GET3D by NVIDIA

¿Qué es GET3D by NVIDIA?

GET3D es un modelo de IA generativa que crea mallas 3D texturizadas a partir de colecciones de imágenes en 2D. Genera geometría utilizable en lugar de nubes de puntos.

Obtienes formatos estándar como OBJ y GLB listos para importar.

NVIDIA Corporation creó esta herramienta para resolver el lento proceso manual de creación de recursos 3D. Está dirigida a desarrolladores de videojuegos y estudios de cine que necesitan grandes bibliotecas de recursos. El software genera una topología de alta calidad lista para el rigging. Los artistas técnicos pueden entrenar el modelo con conjuntos de datos específicos como ShapeNet. Esto permite a los equipos producir variaciones de coches, animales o muebles.

Características principales y cómo funciona GET3D by NVIDIA

Generación de geometría y texturas

• Generación de mallas: Produce mallas 3D con topología variable. Límite: La calidad de salida depende de la diversidad de los datos de entrenamiento en 2D.
• Síntesis de texturas: Genera texturas detalladas. Límite: Las texturas tienen un límite de 1024×1024 píxeles por modelo.
• Arquitectura desacoplada: Separa la generación de geometría y de texturas. Límite: Requiere ajustes manuales para alinear detalles superficiales complejos.
• Interpolación del espacio latente: Permite transiciones suaves entre diferentes formas 3D. Límite: Requiere grandes conjuntos de datos para mapear el espacio latente.

Rendimiento e integración de hardware

• Inferencia en tiempo real: Genera una malla texturizada en menos de 100 milisegundos. Límite: Requiere una GPU RTX para alcanzar esta velocidad.
• Soporte multi-GPU: Optimizado para el entrenamiento en clústeres A100 y H100. Límite: La alta barrera de hardware requiere al menos de 16 GB a 24 GB de VRAM.
• Renderizado diferenciable: Utiliza NVIDIA Kaolin Wisp para la optimización. Límite: Vinculado al ecosistema de software de NVIDIA.

Exportación y compatibilidad de pipelines

• Formatos de exportación: Soporta formatos estándar de la industria como OBJ y GLB. Límite: No exporta esqueletos con rigging.
• Integración con Omniverse: Compatibilidad a través del formato de archivo USD. Límite: Requiere una configuración activa de Omniverse para su máxima utilidad.
• Flexibilidad de entrenamiento: Se entrena con diversos conjuntos de datos en 2D o conjuntos de imágenes personalizados. Límite: Requiere miles de imágenes para una generación precisa.

Pros y contras de GET3D by NVIDIA

Pros

• La topología de alta calidad permite el rigging inmediato sin retopología manual.
• La velocidad de inferencia inferior a 100 milisegundos permite generar miles de recursos rápidamente.
• El código abierto en GitHub permite una profunda personalización para los equipos de investigación.
• La precisión del mapeo de texturas supera a los modelos generativos más antiguos basados en nubes de puntos.
• La compatibilidad con NVIDIA Omniverse acelera los flujos de trabajo empresariales.

Contras

• Los requisitos de hardware exigen al menos 16 GB de VRAM solo para funcionar.
• La configuración implica una estricta coincidencia de versiones para PyTorch, CUDA y los controladores de NVIDIA. (Pasé tres horas solucionando conflictos de versiones de CUDA durante mi prueba inicial).
• La resolución de las texturas alcanza un máximo de 1024×1024, lo que se queda corto para planos cinematográficos de cerca.
• La calidad de salida disminuye cuando los datos de entrenamiento carecen de múltiples ángulos de cámara.

¿Quién debería usar GET3D by NVIDIA?

• Estudios de videojuegos empresariales: Los equipos que desarrollan juegos de mundo abierto pueden generar miles de accesorios de fondo, como coches y muebles, en minutos.
• Investigadores de IA: Los equipos académicos pueden utilizar el repositorio de código abierto en GitHub para estudiar la interpolación del espacio latente.
• Estudios de producción cinematográfica: Los equipos de efectos visuales (VFX) pueden sintetizar grandes bibliotecas de elementos de fondo para simulaciones de multitudes.
• Desarrolladores independientes en solitario: Los elevados requisitos de hardware y la compleja configuración de PyTorch hacen que esto sea poco práctico para desarrolladores sin soporte dedicado de ingeniería de IA.

Precios y planes de GET3D by NVIDIA

GET3D opera con un modelo de doble vía. El código principal está disponible en GitHub de forma gratuita bajo una licencia de investigación.

Código abierto / Investigación: $0. Incluye acceso completo al código de entrenamiento y a los scripts de inferencia. No puedes utilizar este nivel para proyectos comerciales. La versión de código abierto requiere que proporciones tu propio hardware de computación.

Licencia empresarial: Precios personalizados. Los estudios que deseen utilizar GET3D para el desarrollo de juegos comerciales o la producción cinematográfica deben ponerse en contacto con NVIDIA. Espera precios a nivel empresarial vinculados a contratos de software de NVIDIA más amplios. La licencia comercial incluye soporte para la integración en motores de juegos propietarios.

Cómo se compara GET3D by NVIDIA con sus alternativas

Al igual que Magic3D, GET3D se centra en la generación 3D de alta calidad. Pero Magic3D utiliza un proceso de dos etapas para convertir indicaciones de texto en modelos 3D. GET3D se entrena con colecciones de imágenes en 2D en lugar de texto. Esto hace que GET3D sea mejor para los estudios que ya poseen bibliotecas masivas de arte conceptual.

A diferencia de Point-E, esta herramienta genera mallas texturizadas reales. Point-E crea nubes de puntos. Las nubes de puntos requieren un intenso procesamiento manual para convertirse en recursos de juego utilizables. Por lo tanto, GET3D ahorra a los artistas técnicos horas de trabajo de retopología. Point-E funciona en hardware de gama baja, lo que lo hace más accesible para los aficionados.

El mejor generador 3D para artistas técnicos

GET3D ofrece un valor enorme a los artistas técnicos de los grandes estudios. Obtienes una topología utilizable y velocidades de inferencia rápidas. La capacidad de generar una malla en menos de 100 milisegundos cambia los plazos de producción.

Los creadores en solitario deberían buscar en otra parte.

Las exigencias de hardware son demasiado altas. Si quieres pasar de texto a 3D sin la pesada configuración de hardware local, prueba Shap-E en su lugar. Shap-E se ejecuta en la nube y requiere cero VRAM local.

En un plazo de 12 meses, NVIDIA integrará esta tecnología en software de modelado estándar como Maya y Blender.