GET3D by NVIDIA

什么是 GET3D by NVIDIA？

GET3D 是一款生成式 AI 模型，能够从 2D 图像集合中创建带有纹理的 3D 网格。它输出的是可用的几何体，而不是点云。

您可以获得可直接导入的 OBJ 和 GLB 等标准格式。

NVIDIA 公司开发了这款工具，旨在解决 3D 资产手动创建过程缓慢的问题。它主要面向需要庞大资产库的游戏开发者和电影工作室。该软件能够生成可直接用于绑定的高质量拓扑结构。技术美术师可以在 ShapeNet 等特定数据集上训练该模型，从而让团队能够生成各种汽车、动物或家具的变体。

GET3D by NVIDIA 的核心功能与工作原理

几何体与纹理生成

• 网格生成：生成具有可变拓扑结构的 3D 网格。限制：输出质量取决于 2D 训练数据的多样性。
• 纹理合成：生成细节丰富的纹理。限制：每个模型的纹理分辨率最高为 1024×1024 像素。
• 解耦架构：将几何体与纹理生成分离开来。限制：需要手动调整以对齐复杂的表面细节。
• 潜在空间插值：允许在不同的 3D 形状之间进行平滑过渡。限制：需要大型数据集来映射潜在空间。

性能与硬件集成

• 实时推理：在不到 100 毫秒的时间内生成纹理网格。限制：需要 RTX GPU 才能达到此速度。
• 多 GPU 支持：针对 A100 和 H100 集群上的训练进行了优化。限制：硬件门槛高，至少需要 16GB 到 24GB 的显存（VRAM）。
• 可微渲染：使用 NVIDIA Kaolin Wisp 进行优化。限制：与 NVIDIA 软件生态系统深度绑定。

导出与工作流兼容性

• 导出格式：支持 OBJ 和 GLB 等行业标准格式。限制：不支持导出已绑定的骨骼。
• Omniverse 集成：通过 USD 文件格式实现兼容。限制：需要激活的 Omniverse 环境才能发挥全部效用。
• 训练灵活性：可在多样化的 2D 数据集或自定义图像集上进行训练。限制：需要数千张图像才能实现精准生成。

GET3D by NVIDIA 的优缺点

优点

• 高质量的拓扑结构允许直接进行绑定，无需手动重新拓扑。
• 不到 100 毫秒的推理速度能够快速生成数以千计的资产。
• GitHub 上的开源代码允许研究团队进行深度定制。
• 纹理映射精度超越了早期基于点云的生成模型。
• 与 NVIDIA Omniverse 的兼容性可加速企业级工作流。

缺点

• 硬件要求极高，仅运行就需要至少 16GB 的显存（VRAM）。
• 安装设置需要严格匹配 PyTorch、CUDA 和 NVIDIA 驱动程序的版本。（在初步测试时，我花了三个小时才解决 CUDA 版本冲突问题）。
• 纹理分辨率最高仅为 1024×1024，无法满足电影级特写镜头的需求。
• 当训练数据缺乏多摄像机角度时，输出质量会下降。

谁应该使用 GET3D by NVIDIA？

• 企业级游戏工作室：开发开放世界游戏的团队可以在几分钟内生成数千个背景道具，如汽车和家具。
• AI 研究人员：学术团队可以利用开源的 GitHub 仓库来研究潜在空间插值。
• 电影制作工作室：视觉特效（VFX）团队可以为人群模拟合成包含大量背景元素的资产库。
• 独立开发者：苛刻的硬件要求和复杂的 PyTorch 设置，使得这款工具对于没有专属 AI 工程支持的开发者来说不太实用。

GET3D by NVIDIA 的定价与计划

GET3D 采用双轨制模式。核心代码在 GitHub 上以研究许可证免费提供。

开源 / 研究版：$0。包含对训练代码和推理脚本的完全访问权限。此版本不能用于商业项目。开源版本需要您自备计算硬件。

企业许可证：定制价格。希望将 GET3D 用于商业游戏开发或电影制作的工作室必须联系 NVIDIA。预计会有与更广泛的 NVIDIA 软件合同挂钩的企业级定价。商业许可证包含对集成到专有游戏引擎中的支持。

GET3D by NVIDIA 与同类替代品的对比

与 Magic3D 类似，GET3D 专注于高质量的 3D 生成。但 Magic3D 使用两阶段流程将文本提示转换为 3D 模型。而 GET3D 是在 2D 图像集合上进行训练，而不是文本。这使得 GET3D 更适合那些已经拥有海量概念艺术库的工作室。

与 Point-E 不同，该工具生成的是实际的纹理网格。Point-E 创建的是点云。点云需要大量的手动处理才能成为可用的游戏资产。因此，GET3D 为技术美术师节省了数小时的重新拓扑工作。Point-E 可以在较低端的硬件上运行，因此对业余爱好者来说门槛更低。

专为技术美术师打造的最佳 3D 生成器

GET3D 为大型工作室的技术美术师提供了巨大的价值。您可以获得可用的拓扑结构和极快的推理速度。在不到 100 毫秒的时间内生成网格的能力，彻底改变了生产时间线。

独立创作者建议考虑其他工具。

它的硬件要求过高。如果您想要文本到 3D 的生成功能，又不想配置繁重的本地硬件，可以尝试 Shap-E。Shap-E 在云端运行，不需要任何本地显存（VRAM）。

在 12 个月内，NVIDIA 将把这项技术集成到 Maya 和 Blender 等标准建模软件中。