框架的概述与重要性

01 框架的定义

框架，这一IT领域常听到的名词，究竟何意？它如同一个建筑物的框子，既具有约束性，又提供支撑。框架是一个基本概念上的结构，旨在解决或处理复杂问题。在IT软件领域，软件框架是指为了实现某个业界标准或完成特定基本任务的软件组件规范。它提供规范所要求的基础功能，为开发者提供一个半成品的环境，助力快速实现业务需求。

02 大模型推理框架的必要性

在深度学习模型的开发与训练中，我们常使用的框架如TensorFlow、Pytorch及Mxnet等，它们提供了丰富的函数库和模块，帮助研究人员构建和训练模型。随着大模型的崛起，单卡资源已难以满足训练需求，我们需要分布式、多卡等方式进行训练和推理。

大模型推理框架因此应运而生。它基于深度学习技术，支持大规模深度学习模型的训练和部署。这一框架提供了一系列的工具和服务，使开发者能够高效地在大规模数据集上训练和部署模型，进行推理任务。它通常包含模型训练框架、分布式推理引擎、数据存储与检索等功能模块。

03 指标与场景

(1) 吞吐量：衡量系统处理用户能力的重要指标。推理服务器每秒生成的token数即反映了吞吐量，这关系到用户请求的处理效率。

(2) 延迟：反映了服务器和模型在输出序列中生成完整输出所花费的时间，是用户感受服务响应速度的重要体现。

针对不同的应用场景，我们需选择合适的推理框架。如DeepSpeed适合高性能推理，提供优化技术提升效率；ollama则注重易用性，为用户提供简单的命令行界面。Llamafile擅长创建嵌入模型的单个可执行文件，而TGI则在文本生成推理方面表现优秀。

vLLM等框架在批处理和最大速度方面有显著优势，特别适用于大规模自然语言处理任务。对于CPU推理，llama.cpp结合模型int4量化是一个不错的选择。

对于手机终端推理，MLC LLM是一个合适的选择，它可在客户端（边缘计算）上本地部署LLM。

04 总结与展望

LLM及其推理技术日益发展，各种推理框架各有优劣。针对不同需求和应用场景，选择合适的推理框架至关重要。除了引擎功能外，一些推理框架还提供http/rpc api接口，使开发更加便捷。

大模型应用开发平台不仅需要推理引擎功能，还需标准化的api和配套管理工具。推理框架作为大模型应用开发平台的引擎，其选择与评估至关重要。全面、客观、有效的评估是LLM应用场景开发平台成功的关键。