Roblox发布3D智能基础模型Cube，一句话生成游戏资产

admin管理员组

文章数量:1444095

Roblox发布3D智能基础模型Cube，一句话生成游戏资产

机器之心报道

编辑：2049、Panda

Roblox，这个备受青少年喜爱的在线游戏平台，正通过引入 AI 技术，进一步革新游戏的创作体验。据了解，曾获选「儿童票选奖最受欢迎游戏」的 Roblox 允许用户设计自己的游戏、物品及衣服，以及游玩自己和其他开发者创建的各种不同类型的游戏。而现在，用户可以借助 AI 来完成这些创作了。

近日，Roblox 发布了一个用于 3D 智能的基础模型 Cude。据介绍，Roblox 的目标是构建一个可以生成 Roblox 游戏各方面体验的 3D 智能基础模型，从生成 3D 物体和场景到人物角色，再到描述事物行为的编程脚本。

Roblox 创始人兼 CEO David Baszucki 的推文

Roblox 还在 Hugging Face 上线了一个 Web 应用，也已经有不少网友分享了他们各自的生成结果。这里我们也来尝试一番。

首先，让 Cude 生成一个三头六臂的男孩（a boy with 3 heads and 6 arms）：

这和我们常见的哪吒形态可真是相去甚远。下面再来个更加日常一些的事物：一台老式打字机（An old-fashioned typewriter）。

这一次 Cube 的表现就好多了。多次尝试后，我们发现，Cube 的整体效果目前还只能说是一般 —— 在生成日常可见的事物表现会好一点，略微超出常识的东西都会让它给出与指令不符的结果，比如让它生成一只手叉腰站立的猫（A cat standing with hands on hips）。

下面我们就来具体看看 Roblox 的这项研究。

• 论文标题：Cube: A Roblox View of 3D Intelligence
• 论文地址：.15475
• 项目地址：
• 试用链接：

作为一家游戏公司，Roblox 开发这个 3D 智能基础模型的动机非常明显。

他们表示：「我们将此模型设想为各种协作助手的基础 —— 可以帮助开发者创造 Roblox 体验的各个方面，从创建单个 3D 对象（例如，制作带翅膀的摩托车）到完整的 3D 场景布局（例如，创建一个未来风格云朵城市），再到穿戴装备的人物角色（例如，生成一个能够进行墙壁跳跃的外星忍者）到描述对象行为、交互和游戏逻辑的脚本（例如，当玩家靠近门并携带金钥匙时，让门打开）。」

基于这些设想，他们首先确立了三个核心设计要求：

• 能从稀疏的多模态数据中联合学习；
• 可通过自回归模型处理无界的输入 / 输出大小；
• 能通过多模态输入 / 输出与人类和其他 AI 系统协作。

当然，理想虽然很丰满，甚至涉及到「元宇宙」等概念，但现实的路还是得一步步地走。这一次发布的 Cube 模型是 Roblox 向 3D 智能基础模型迈出的第一步。

具体来说，他们关注的核心是 3D 形状的 token 化——毕竟几何形状应该是这个基础模型的核心数据类型。

他们的研究表明，新提出的 token 化方案可以用来构建多种应用，包括文本到形状生成、形状到文本生成和文本到场景生成，如图 1 和 2 所示。

形状 token 化

为了忠实地捕捉各种几何特性，包括光滑的表面、锐利的边缘、高频细节，需要一种具有足够表现力的 3D 几何表示，其可用作多模态自回归序列模型的输入和输出 token。

立足于这样的需求，Roblox 从 3DShape2VecSet 等连续形状表示开始，并将其调整为离散 token，以实现对跨模态的输入和输出的原生处理 —— 类似于 Chameleon 等混合模态基础模型。

如图 3 所示，Cube 的高层架构采用了编码器 - 解码器设计，其会将输入的 3D mesh 编码成一种隐含表征，而这种隐含表征之后又可被解码成一种隐式占用场（implicit occupancy field）。

其中一个关键区别在于会通过一个额外的向量量化过程来离散化这个连续的隐含表征，而由于其不可微分的性质，这又会带来额外的难题。

为此，他们提出了两种技术：随机梯度捷径和自监督隐含空间正则化。

他们还提出了另一项架构改进：使用相位调制位置编码。其作用是能提高基于感知器的 Transformer 在交叉注意力层中为空间不同点消歧的能力。

该团队表示：「这些架构变化使我们训练出的形状 token 化器可以忠实地捕捉各种形状，同时产生适合用于训练基于 token 的混合模态基础模型的离散 token。」

相位调制位置编码

为了将形状编码成一个紧凑的隐含表示，研究者首先从其表面采样

本文标签：