日志系统的重要角色——Logan实时日志
你是否曾遭遇线上服务需要日志排查问题却难以联系到用户上报日志的窘境？或是因存储空间不足导致日志写不进去的困境？美团的Logan实时日志系统为你提供了一个高效的解决方案。
Logan是面向终端的统一日志服务，已支持移动端App、Web、小程序、IoT等多端环境。它具备日志采集、存储、上传、查询与分析等能力，帮助研发人员快速定位研发问题，大幅提升故障排查效率。其写入性能高、安全性高、日志防丢失等优点，使其成为业内领先的日志系统。
Logan系统的工作流程简洁明了。当终端设备需要上报日志时，可以通过接口主动上传日志到Logan接收服务，接收服务再将原始日志文件转存到对象存储平台。当研发人员需要查看日志时，系统会触发日志下载与解析流程，原始加密日志从存储平台下载成功后进行解密、解析等操作，再投递到日志存储系统。日志平台支持度筛选和可视化展示，满足各种复杂的查询需求。
随着业务复杂度的不断增加，用户对日志的要求也越来越高。针对当前Logan架构存在的问题，如部分场景上报日志受限、缺少实时分析和告警能力以及全链路追踪能力等，我们提出了建设Logan实时日志的解决方案。该方案旨在提供统一的、高性能的实时日志服务，满足美团不同业务系统的需求。
在实现上，我们采用了高扩展性、高性能、高可靠性的架构设计。包括采集端、数据处理层、数据消费层等关键部分都进行了详细设计和优化。特别是采集端，我们设计了一套核心逻辑复用的通用采集端架构，解决多端开发和维护成本高的问题。我们还采用了Flink作为数据处理框架，以实现高吞吐、低延迟的日志处理。
为了满足用户的高阶需求，如指标监控、前后端链路串联、离线数据计算等，我们将标准化后的日志统一投递到Kafka流处理平台，并提供通用的数据转换能力。这使得用户可以按需接入到不同的第三方系统，实现数据的深度利用。
Logan实时日志系统的建设成果显著。截止到2022年第3季度，已有二十余个业务系统接入并上线，包括美团小程序、优选商家、餐饮SaaS等大体量业务。其核心链路还原、内测阶段排障、日志数据分析等典型使用场景，都证明了Logan实时日志系统的实用性和高效性。
未来，Logan实时日志系统将继续优化和升级，以满足用户对日志数据深加工与清洗、统计与告警等高阶需求。我们计划通过蓝绿发布等平滑过渡的发布模式，保证整体系统的稳定性和新功能的顺利发布。