Snorkel AI

Qu'est-ce que Snorkel AI ?

Les équipes en entreprise s'attendent souvent à ce que les projets de machine learning échouent à cause d'algorithmes complexes. En réalité, ils échouent parce que les humains ne peuvent pas étiqueter les données d'entraînement assez rapidement. L'annotation manuelle de 100,000 documents prend des mois.

Snorkel AI, Inc. a conçu cette plateforme centrée sur les données pour résoudre ce goulot d'étranglement lié à l'étiquetage. Le logiciel utilise la supervision faible et des scripts Python pour étiqueter d'immenses jeux de données. Les data scientists l'utilisent pour affiner des grands modèles linguistiques comme Llama 3 ou extraire du texte à partir de PDF non structurés.

Fonctionnalités clés et fonctionnement de Snorkel AI

Étiquetage programmatique et supervision faible

• Fonctions d'étiquetage : Les utilisateurs écrivent des scripts Python pour baliser les données à grande échelle. Limite : Nécessite de solides compétences en programmation et une expertise métier.
• Agrégation de modèles génératifs : Le système combine des étiquettes bruitées provenant de multiples sources pour créer des ensembles d'entraînement de haute qualité. Limite : La précision dépend de la qualité des fonctions écrites par l'utilisateur.

Développement et ajustement de modèles

• Environnement Snorkel Flow : Un espace de travail de bout en bout pour créer et surveiller des modèles d'IA. Limite : L'interface peut dérouter les utilisateurs non techniques.
• Adaptation de modèles fondateurs : Les workflows adaptent des modèles comme Llama 3 à des domaines métiers spécifiques. Limite : Nécessite d'importantes ressources de calcul pour les grands modèles.

Intégration et exportation des données

• Connecteurs natifs : Se connecte directement à Snowflake, Databricks et AWS S3. Limite : Les intégrations sur mesure nécessitent le développement d'API.
• Exportation de modèles : Exporte les modèles entraînés aux formats ONNX, TensorFlow et PyTorch. Limite : L'exportation d'ensembles complexes nécessite une configuration manuelle.

Avantages et inconvénients de Snorkel AI

Avantages

• L'étiquetage programmatique traite des millions d'enregistrements en quelques minutes, contre des mois de travail manuel.
• Les options de déploiement sur site et en VPC garantissent que les données sensibles restent au sein de l'organisation.
• Les workflows itératifs se concentrent sur la correction de la qualité des données plutôt que sur l'ajustement des hyperparamètres.
• La plateforme gère des jeux de données de plusieurs millions de lignes, qu'il s'agisse de texte, d'images ou de documents.

Inconvénients

• Le prix de départ de $50,000 exclut les startups et les petites équipes.
• L'écriture de fonctions d'étiquetage efficaces implique une courbe d'apprentissage abrupte en Python.
• Les experts métiers doivent définir la logique des fonctions d'étiquetage, ce qui crée des goulots d'étranglement dans le workflow.
• La documentation ressemble à un article universitaire (nous l'avons trouvée difficile à parcourir).

À qui s'adresse Snorkel AI ?

• Équipes de data science en entreprise : Les grandes organisations traitant des millions de documents non structurés ont besoin de l'étiquetage programmatique pour faire évoluer leurs opérations.
• Secteurs hautement réglementés : Les banques et les hôpitaux bénéficient de déploiements sur site qui maintiennent la sécurité des données sensibles.
• Startups soucieuses de leur budget : Cet outil n'est pas adapté aux petites équipes. Son coût élevé et sa configuration complexe nécessitent des ressources d'ingénierie dédiées.

Tarifs et forfaits de Snorkel AI

Snorkel AI ne propose ni essai gratuit ni offre en libre-service.

L'entreprise utilise un modèle de tarification sur mesure basé sur l'utilisation et le type de déploiement. Le contrat Entreprise commence à un montant estimé entre $50,000 et $60,000 par an. Ce niveau inclut des unités d'application hébergées, un accès à l'API et un support de niveau entreprise.

Les acheteurs doivent négocier les limites exactes des ressources de calcul et des licences utilisateurs lors du processus de vente.

Comment Snorkel AI se compare à ses alternatives

À l'instar de Labelbox, Snorkel AI cible les équipes de machine learning en entreprise. Labelbox s'appuie sur l'annotation manuelle avec intervention humaine et sur des équipes d'étiquetage externalisées. Snorkel AI remplace le travail de clic manuel par des fonctions d'étiquetage programmatique basées sur Python. Labelbox propose une version gratuite pour les petits projets, tandis que Snorkel AI nécessite un investissement initial important.

Contrairement à Scale AI, cet outil se concentre sur la supervision faible et l'itération centrée sur les données. Scale AI fournit une importante main-d'œuvre humaine pour étiqueter les données destinées à la conduite autonome et à l'IA générative. Snorkel AI conserve la logique d'étiquetage en interne (les experts métiers rédigent les règles). Scale AI facture à la tâche, tandis que Snorkel AI facture une licence de plateforme annuelle.

Verdict : Le meilleur choix pour les équipes d'entreprise maîtrisant Python

Snorkel AI permet un gain de temps considérable aux grandes organisations qui peuvent se permettre le prix d'entrée de $50,000. Les startups ayant besoin d'une annotation de données basique devraient chercher ailleurs. Les équipes avec des budgets limités devraient utiliser Labelbox pour leurs workflows d'annotation manuelle.