西风之语 源自 凹非寺
量子位 QbitAI 公众号
【标题】突破性进展：AI引擎实现实时游戏新纪元！
谷歌DeepMind引领潮流，推出首个全AI驱动的实时游戏引擎——GameNGen。
在谷歌的TPU上，它以惊人的每秒20帧速度模拟了经典射击游戏DOOM（毁灭战士）。
所有游戏画面都根据玩家的实时操作与复杂环境交互，实时生成。这意味着在你走进一之前，门后的内容还不存在。
其质量与预先存储的相比，几乎可以以假乱真，人类评估者都难以察觉其差异。
GameNGen的背后是大家熟知的扩散模型。
这项研究在推特和Reddit上引发了热烈讨论，引起了广泛关注。
许多人认为它提供了一条全新的技术路径：
这不仅仅是一项技术的飞跃，更是构建虚拟世界的基础。未来它可能应用于任何能获取数据的视频游戏，甚至可能为尚未存在的游戏生成数据，创造新游戏。
对于我而言，这是一个个人里程碑。从手动编写在GPU上运行的显式渲染代码到训练同样在GPU上运行的网络，这代表了一个完整的循环。
那么，GameNGen是如何做到的呢？
其训练过程分为两个主要阶段。
通过强化学习Agent玩游戏，并记录所有动作、技能和观察数据，作为第二阶段的训练数据集。
为了生成贴近人类游戏行为的训练数据，研究人员设计了一个特定的奖励函数，根据一系列游戏情况分配分数。
具体来说，模型去除了所有文本条件，改为动作序列。每个动作被编码为一个单一的token，通过交叉注意力机制与模型交互。
历史观察（即之前的帧）被编码到潜在空间，并与当前噪声化的潜在表示在通道维度上拼接。
为了解决自回归生成中的误差累积问题，GameNGen引入了噪声增强技术。
在训练时，模型对输入的上下文帧添加不同程度的高斯噪声，并将噪声级别作为额外输入提供给模型。这有助于模型纠正之前的采样错误，维持长时间序列的图像质量。
为了提高图像质量，特别是细节和HUD（平视显示器）方面的质量，研究者对Stable Diffusion的预训练自编码器的部分进行了微调。
在推理阶段，GameNGen使用DDIM采样方法，并采用了无分类器引导技术。值得一提的是，仅使用4步DDIM采样就能产生高质量的结果，大大提高了生成速度。
GameNGen在TPU-v5硬件上运行，单个去噪器步骤和自编码器评估各需10毫秒。通过使用4步采样和单次自编码器评估，系统实现了每秒20帧的生成速度，足以满足实时交互式游戏体验的需求。
实验中，人类评估者在短时轨迹上几乎无法区分模拟画面与实际游戏画面。
研究人员使用了多种图像质量评估方法，包括基于感知的图像相似度度量方PIPS和衡量图像质量的常用指标PSNR。其结果在一定程度上证明了GameNGen在模拟图像时能够保持较高的视觉质量。
虽然GameNGen取得了巨大成功并备受好评但对于某些专家来说这也并不是完全理想。一些观点指出这一进步尽管具有潜力和影响但也预示着某些转变正要发生:
我们看到的其实只是一种新进发展却不必急于将之称之为“游戏引擎”。某种程度上"游戏引擎"的定义及存在是广大游戏开发者长期实践的产物它承载着无数人的创意与心血并不仅仅是一个简单的渲染工具或AI生成器所能替代的。它代表着一种文化、一种创作方式、一种玩家与开发者之间长期建立的沟通桥梁与桥梁。即便有了新的技术如GameNGen但这并不意味着传统意义上的“游戏引擎”将完全消失或被淘汰它们依然拥有其独特的价值和重要性存在必要和理由甚至在未来的某一天会与这些新兴技术共存共同为玩家带来更丰富多样的游戏体验。而更长远地看无论是GameNGen还是其他类似的技术都只是整个游戏行业乃至整个娱乐行业创新发展的一部分它们会与其他技术、其他元素相互融合、相互促进共同推动整个行业的进步与发展。而关于未来GameNGen如何影响整个行业我们拭目以待……