美团到店研发平台质量工程部携手复旦大学计算机学院周扬帆教授团队，深入开展大前端智能化测试领域的科研合作。我们从UI界面内容一致性校验入手，成功研发出一套自动化智能检测流程。该成果不仅被软件工程领域具有国际影响力的ICSE 2024会议收录，更在实际业务中发挥了重要作用。
随着移动App业务页面的日益复杂，技术团队常面临页面信息分散、不易检出影响用户体验的异常等问题。针对这一问题，我们借助大模型的能力，对UI界面进行准确识别与信息提取。通过目标区域识别、目标信息抽取以及一致性判断等关键处理流程，我们实现了低成本、高泛化性的内容一致性检测。
以特价商品营销为例，我们详细介绍了AutoConsis工具的设计过程和工作流程。该工具能够准确识别并提取UI界面中的关键信息，如商品价格、折扣等，并通过多模态识别技术，提高了目标区域识别的准确性。我们通过实验验证了AutoConsis在提取关键信息以及一致性判断上的有效性。
除了在特价商品营销场景中的应用，我们还将AutoConsis的校验流程应用于其他业务场景，如门票运营活动巡检、优选品类巡检等，均取得了良好的效果。这些成功案例不仅证明了AutoConsis的泛化性和适用性，也为我们后续在更多前端测试场景中推广应用提供了有力支持。
与复旦大学周扬帆教授团队的合作，不仅推动了我们在大前端智能化测试领域的技术创新，更为我们带来了与业界同行交流合作的机会。我们期待未来能够结合更多业务需求，对AutoConsis进行持续改进与维护，共同推动智能化技术在软件工程领域的发展。
我们感谢团队成员的辛勤付出，也感谢合作伙伴的支持与信任。我们诚邀更多业界同行加入我们，共同探讨智能化技术在软件工程中的应用，共同推动技术的发展与进步。
通过我们的努力与合作，相信未来能在更多领域实现技术创新与业务价值的双赢。