阿里妹导读
本文基于实际业务实践，总结了关于客服质检场景的解决方案和处理经验，旨在为相似场景提供可行的借鉴方法。我们是阿里云大模型技术服务团队，专注于通过专业技术服务，推动大模型技术在各行业的场景落地。
一、背景简述
二、问题与需求分析
在客服质检项目中，核心需求是：给定客服与客户的对话，大模型需理解这段长文本，根据给定规则定位到关键的对话片段，并将客服的回答与规则进行比对，判断回答是否合规。
在搭建解决方案的过程中，我们面临了多个挑战和难点。其中，如何设计并优化提示词以提升大模型判定的准确率是关键的一环。
三、经验分享与提示词设计
1. 提示词设计原则
针对质检场景的特殊性，设计提示词时需首要传达对规则的描述，确保大模型依据规则判断对话片段的合规性。考虑到质检任务中多条规则并存的情况，推荐对每条规则都设计一个独立的提示词，避免规则间的冗余和相互干扰。
2. 提示词优化方法
提示词的优化需基于大模型判错例子的数据特征。在人工学习数据特征时，需抽象出规律而非具体化的内容。当数据特征存在冲突时，应优先考虑占多数的数据特征，以保证整体准确率。
3. 处理文本中错别字的方法
考虑到录音转文字可能存在的错别字和遗漏情况，应在提示词中加入相关提示，以帮助大模型更好地处理这些情况。
4. 提高大模型理解依据的方法
5. 抽样反馈策略
当数据集规模巨大时，可采用抽样反馈的方法。随机抽取部分数据进行分析和优化，以加快迭代速度并尽量减少准确率的损失。
四、评测与效果展示
经过五轮的提示词优化，我们使用1200条客服与客户的对话文本数据进行评测。每个规则下的准确率均达到0.9左右，符合我们的预期要求。这充分证明了我们在大模型技术应用方面的实力和经验。
五、参考资料
1. [1]/pdf/2401.14423 文章链接
2. [2]《为什么大模型连"Strawberry"的"r"都数不对？》文章标题及描述性内容