GET3D by NVIDIA

Qu'est-ce que GET3D by NVIDIA ?

GET3D est un modèle d'IA générative qui crée des maillages 3D texturés à partir de collections d'images 2D. Il produit une géométrie exploitable plutôt que des nuages de points.

Vous obtenez des formats standards comme OBJ et GLB prêts à être importés.

NVIDIA Corporation a conçu cet outil pour pallier la lenteur du processus manuel de création de ressources 3D. Il cible les développeurs de jeux et les studios de cinéma ayant besoin de vastes bibliothèques de ressources. Le logiciel génère une topologie de haute qualité prête pour le rigging. Les artistes techniques peuvent entraîner le modèle sur des jeux de données spécifiques comme ShapeNet. Cela permet aux équipes de produire des variations de voitures, d'animaux ou de meubles.

Fonctionnalités clés et fonctionnement de GET3D by NVIDIA

Génération de géométrie et de textures

• Génération de maillages : Produit des maillages 3D avec une topologie variable. Limite : La qualité du résultat dépend de la diversité des données d'entraînement 2D.
• Synthèse de textures : Génère des textures détaillées. Limite : Les textures sont plafonnées à 1024×1024 pixels par modèle.
• Architecture découplée : Sépare la génération de la géométrie et celle de la texture. Limite : Nécessite des ajustements manuels pour aligner les détails de surface complexes.
• Interpolation de l'espace latent : Permet des transitions fluides entre différentes formes 3D. Limite : Nécessite de vastes jeux de données pour cartographier l'espace latent.

Performances et intégration matérielle

• Inférence en temps réel : Génère un maillage texturé en moins de 100 millisecondes. Limite : Nécessite un GPU RTX pour atteindre cette vitesse.
• Prise en charge multi-GPU : Optimisé pour l'entraînement sur des clusters A100 et H100. Limite : Barrière matérielle élevée nécessitant au moins 16GB à 24GB de VRAM.
• Rendu différentiable : Utilise NVIDIA Kaolin Wisp pour l'optimisation. Limite : Lié à l'écosystème logiciel NVIDIA.

Exportation et compatibilité des pipelines

• Formats d'exportation : Prend en charge les formats standards de l'industrie comme OBJ et GLB. Limite : N'exporte pas de squelettes riggés.
• Intégration Omniverse : Compatibilité via le format de fichier USD. Limite : Nécessite une configuration Omniverse active pour une utilité optimale.
• Flexibilité d'entraînement : S'entraîne sur divers jeux de données 2D ou des ensembles d'images personnalisés. Limite : Nécessite des milliers d'images pour une génération précise.

Avantages et inconvénients de GET3D by NVIDIA

Avantages

• La topologie de haute qualité permet un rigging immédiat sans retopologie manuelle.
• La vitesse d'inférence inférieure à 100 millisecondes permet de générer rapidement des milliers de ressources.
• Le code open-source sur GitHub permet une personnalisation poussée pour les équipes de recherche.
• La précision du mappage de texture surpasse les anciens modèles génératifs basés sur des nuages de points.
• La compatibilité avec NVIDIA Omniverse accélère les flux de travail en entreprise.

Inconvénients

• Les exigences matérielles imposent au moins 16GB de VRAM rien que pour fonctionner.
• L'installation implique une correspondance stricte des versions pour PyTorch, CUDA et les pilotes NVIDIA. (J'ai passé trois heures à corriger des conflits de version CUDA lors de mon test initial).
• La résolution des textures plafonne à 1024×1024, ce qui est insuffisant pour les plans cinématographiques rapprochés.
• La qualité du résultat baisse lorsque les données d'entraînement manquent d'angles de caméra multiples.

À qui s'adresse GET3D by NVIDIA ?

• Studios de jeux vidéo d'entreprise : Les équipes développant des jeux en monde ouvert peuvent générer des milliers d'accessoires de décor comme des voitures et des meubles en quelques minutes.
• Chercheurs en IA : Les équipes académiques peuvent utiliser le dépôt GitHub open-source pour étudier l'interpolation de l'espace latent.
• Studios de production cinématographique : Les équipes VFX peuvent synthétiser de vastes bibliothèques d'éléments de décor pour les simulations de foules.
• Développeurs indépendants en solo : Les exigences matérielles élevées et la configuration complexe de PyTorch rendent cet outil peu pratique pour les développeurs sans soutien dédié en ingénierie IA.

Tarifs et forfaits de GET3D by NVIDIA

GET3D fonctionne sur un modèle à deux voies. Le code de base est disponible gratuitement sur GitHub sous une licence de recherche.

Open Source / Recherche : $0. Comprend un accès complet au code d'entraînement et aux scripts d'inférence. Vous ne pouvez pas utiliser ce niveau pour des projets commerciaux. La version open-source nécessite que vous fournissiez votre propre matériel de calcul.

Licence Entreprise : Tarification sur mesure. Les studios souhaitant utiliser GET3D pour le développement de jeux commerciaux ou la production cinématographique doivent contacter NVIDIA. Attendez-vous à une tarification d'entreprise liée à des contrats logiciels NVIDIA plus larges. La licence commerciale inclut une assistance pour l'intégration dans des moteurs de jeu propriétaires.

Comment GET3D by NVIDIA se compare aux alternatives

À l'instar de Magic3D, GET3D se concentre sur la génération 3D de haute qualité. Mais Magic3D utilise un processus en deux étapes pour transformer des prompts textuels en modèles 3D. GET3D s'entraîne sur des collections d'images 2D au lieu de texte. Cela rend GET3D plus adapté aux studios qui possèdent déjà d'énormes bibliothèques de concept arts.

Contrairement à Point-E, cet outil génère de véritables maillages texturés. Point-E crée des nuages de points. Les nuages de points nécessitent un lourd traitement manuel pour devenir des ressources de jeu exploitables. GET3D fait donc gagner aux artistes techniques des heures de travail de retopologie. Point-E fonctionne sur du matériel moins performant, ce qui le rend plus accessible pour les amateurs.

Le meilleur générateur 3D pour les artistes techniques

GET3D offre une valeur inestimable aux artistes techniques des grands studios. Vous obtenez une topologie exploitable et des vitesses d'inférence rapides. La capacité de générer un maillage en moins de 100 millisecondes bouleverse les délais de production.

Les créateurs en solo devraient chercher ailleurs.

Les exigences matérielles sont trop élevées. Si vous souhaitez du texte vers 3D sans la lourde configuration matérielle locale, essayez plutôt Shap-E. Shap-E fonctionne dans le cloud et ne nécessite aucune VRAM locale.

D'ici 12 mois, NVIDIA intégrera cette technologie dans des logiciels de modélisation standards comme Maya et Blender.