自2022年底ChatGPT诞生以来，我们已然步入生成式人工智能时代，其中“LLM”已成为广泛讨论的核心概念。
近期，业界传言关于LLM的增长趋势趋于平稳。对此，Meta公司为我们提供了一个可能的答案。
Meta最近推出的LCM（大型概念模型），似乎成为了一个新的重要步骤，标志着LLM的重大升级。
Meta的LCM（大型概念模型）代表着一种新颖的语言建模方法。相较于传统的大型语言模型（LLM），它运行于更高的抽象层次上。
在LCM框架中，概念被定义为抽象的原子想法。它们通常对应于文本中的句子或等效的语音话语。这使得模型能够在更高的语义层面上进行推理，不受特定语言或模态（如文本、语音或图像）的限制。
打个比方，传统LLM的工作原理类似于您在写故事时使用ChatGPT这样的模型来预测下一个单词或“token”。而LCM则更进一步，预测的是下一个想法或概念。
举个例子来说明这一概念差异：传统的LLM在处理“The cat sat on the mat.”时只能预测下一个单词。但LCM会预测出接下来可能是“It was a sunny day. Suddenly…”等完整的想法或句子。
这种新型的模型设计具有多语言和多模态的支持能力。它不仅可以处理文本输入，还能处理语音甚至图像信息。
对于撰写长篇内容而言，LCM更能发挥出其优势。它可以规划出整体思路流程，而非仅限于逐个单词的处理。例如，在撰写研究论文时，该模型可以提供整体的要点概述和内容扩展建议。
具体的技术细节方面：
- 输入文本首先会被分割成句子，再通过预先训练的句子编码器（如SONAR）将每个句子编码为固定大小的嵌入。这些嵌入就代表了输入序列中的概念。
- LCM处理这些概念嵌入序列并预测序列中的下一个概念。其输出为概念嵌入的序列，可再通过SONAR解码回文本或语音。
- 基于扩散和量化的生成技术也被应用于LCM的训练中，用以提高其生成能力。
这里有几个关键点值得理解：
- LLM在标记级别上工作，而LCM则在概念层面上工作。
- LLM处理的是单个标记（如单词或子词），而LCM处理的是与语言和模态无关的句子嵌入（即概念）。
- LLM更侧重于局部连贯性，而LCM则更注重整体连贯性和高级推理。
- LLM通常针对特定语言和模态进行训练，而LCM则能灵活处理多种语言和模式（如文本、语音、图像）。
- LLM通常需要针对新语言或模式进行重新训练，而LCM则能实现零样本泛化，无需再训练即可应用于新语言或模式。
Meta的LCM代表了一个重要的飞跃，在概念层面上实现了更加抽象、多语言和多模态的推理与生成方法。这预示着人工智能未来在总结、故事生成以及跨模态理解等更高级任务中的应用前景。随着技术的不断进步，LCM有望为更人性化、更直观的机器交互铺平道路。