Anyscale

Anyscale est une plateforme cloud gérée basée sur Ray, le framework de calcul distribué open source initialement développé à l'UC Berkeley par Robert Nishihara, Ion Stoica et Philipp Moritz. L'entreprise a été fondée en 2019 par les mêmes chercheurs qui ont écrit Ray, ce qui en fait le produit commercial de référence pour les équipes ayant besoin d'une infrastructure Ray gérée. Le problème central qu'elle résout est opérationnel : l'exécution de charges de travail Python distribuées sur des clusters GPU multi-nœuds est difficile à provisionner, à surveiller et à déboguer sans une équipe plateforme dédiée. Anyscale gère cette couche afin que les ingénieurs ML puissent se concentrer sur le code.

La plateforme couvre l'ensemble du cycle de vie du calcul ML : l'entraînement distribué via Ray Train, le prétraitement de données à grande échelle via Ray Data, le service de modèles en ligne et par lots via Ray Serve, l'apprentissage par renforcement via Ray RLlib, et les pipelines de fine-tuning orchestrés sur des centaines de GPU. En 2025, Anyscale a introduit l'Anyscale Runtime : un moteur compatible API construit sur le Ray open source avec des optimisations propriétaires offrant un prétraitement des caractéristiques jusqu'à 10 fois plus rapide, une réduction des coûts de 6 fois sur l'inférence d'images par lots, et un débit de requêtes 7 fois supérieur pour le service de modèles par rapport au Ray open source standard. Parmi les clients confirmés en production figurent Coinbase, Runway, Character.ai, Physical Intelligence et bien d'autres. OpenAI et Cohere ont tous deux publiquement évoqué l'utilisation de Ray pour l'entraînement de LLM à grande échelle.

Ce que fait réellement Anyscale en 2026

Anyscale se situe entre l'infrastructure cloud brute (AWS, GCP, Azure, CoreWeave, Nebius) et votre code ML. Vous écrivez en Python en utilisant les API Ray : vous décorez les fonctions avec @ray.remote, utilisez Ray Data pour l'ETL distribué, Ray Train pour l'entraînement de modèles multi-GPU, et Ray Serve pour déployer des points de terminaison d'inférence. Anyscale provisionne et gère les clusters, s'occupe de la mise à l'échelle automatique, fournit des tableaux de bord d'observabilité et applique les politiques de sécurité et de gouvernance à travers les espaces de travail.

Le modèle de calcul est basé sur le paiement à l'usage (pay-as-you-go) sans frais de plateforme mensuels : 0,57 $/heure pour un NVIDIA T4, 4,96 $/heure pour un A100, 9,29 $/heure pour un H100, et 10,68 $/heure pour un H200. Les nouveaux comptes reçoivent 100 $ de crédits de départ et l'accès à un espace de travail de développement gratuit (vous ne payez le calcul que lorsque les tâches s'exécutent). Les équipes d'entreprise utilisent des contrats avec engagement offrant des remises sur volume sur leurs réservations de GPU cloud existantes, selon le modèle de déploiement BYOC (Bring Your Own Cloud).

Les ajouts de produits de 2025 sont significatifs. Le Lineage Tracking (en bêta privée depuis le Ray Summit 2025, en octobre 2025) permet aux équipes de visualiser l'intégralité de leur pipeline, des données au modèle, sous forme de graphe interactif, avec des intégrations à MLflow, Weights and Biases et Databricks Unity Catalog. Le Global Resource Scheduler gère les priorités des tâches sur la capacité réservée, les instances à la demande et les GPU spot, ce qui est utile pour les équipes cherchant à équilibrer les coûts et les délais d'exécution de leurs entraînements. Anyscale on Azure a été lancé en préversion privée en tant que service natif du portail Azure avec intégration d'Azure Entra ID, s'étendant ainsi au-delà de son bastion historique AWS/GCP.

Où se situe Anyscale par rapport à Modal et Databricks

Anyscale vs Modal : Modal est une plateforme de fonctions serverless. Vous décorez des fonctions Python avec @app.function(), et Modal lance des conteneurs à chaque invocation avec des démarrages à froid inférieurs à la seconde et une facturation à la seconde. Il n'y a pas de cluster persistant à configurer ou à maintenir. Ce modèle fonctionne bien pour les points de terminaison d'inférence irréguliers, les tâches par lots courtes et les développeurs qui ne souhaitent pas apprendre les primitives du calcul distribué. Anyscale exige que vous compreniez le modèle d'acteurs de Ray, le magasin d'objets, les groupes de placement et la planification des tâches, car ces concepts correspondent directement à la façon dont vos tâches d'entraînement s'exécutent. En contrepartie, pour les entraînements multi-nœuds durant des heures ou des jours sur des clusters H100, la gestion de cluster et les optimisations de performances d'Anyscale sont nettement plus performantes que ce que permet le modèle serverless de Modal. Les publics sont différents : Modal attire les développeurs orientés Python qui exécutent des API d'inférence et des pipelines de données ; Anyscale attire les ingénieurs de plateformes ML qui gèrent des entraînements à grande échelle.

Anyscale vs Databricks : vLLM et d'autres frameworks d'inférence similaires sont souvent exécutés sur Databricks aux côtés de pipelines de données basés sur Spark. Databricks est une plateforme d'intelligence des données de bout en bout : elle couvre l'ingestion de données (Delta Lake), l'analyse SQL (moteur Photon), l'ingénierie des caractéristiques (Spark), le suivi des expériences (MLflow) et le service de modèles (Mosaic AI). Pour les organisations qui ont besoin d'ingénierie des données et de ML dans une seule plateforme gouvernée, Databricks offre une profondeur qu'Anyscale n'égale pas. Anyscale ne dispose pas de couche SQL, d'entrepôt de données ou de support natif pour Spark. L'avantage s'inverse pour les équipes purement ML : Anyscale a une empreinte opérationnelle plus légère, des temps de démarrage de cluster plus rapides et un modèle de programmation natif Ray qui surpasse Spark sur les charges de travail distribuées centrées sur Python, comme l'entraînement de LLM et l'apprentissage par renforcement. Les équipes qui payaient déjà pour Databricks exécutent parfois Anyscale en parallèle pour les pipelines post-entraînement où Spark n'est pas l'outil adéquat.

Une troisième comparaison mérite d'être faite : Ray auto-hébergé via KubeRay (l'opérateur Kubernetes open source). KubeRay est gratuit : vous ne payez que les coûts de calcul cloud. Anyscale ajoute des frais de plateforme en échange de l'élimination du besoin d'expertise Kubernetes, des gains de performances de l'Anyscale Runtime et des SLA de support. Pour les équipes disposant d'une solide équipe d'infrastructure, KubeRay est une véritable alternative. Pour celles qui n'en ont pas, les économies opérationnelles réalisées grâce à Anyscale justifient généralement le surcoût.

« Ray et Anyscale étaient en phase avec notre vision : itérer plus vite, évoluer plus intelligemment et opérer plus efficacement. » - Ingénieur Senior de la Plateforme ML chez Coinbase, anyscale.com, 2025

À quoi ressemble réellement l'exécution de clusters sur Anyscale

L'expérience de développement commence dans un Anyscale Workspace, qui est un environnement de développement cloud persistant connecté à un cluster Ray. Vous écrivez du code dans une interface de type VS Code ou vous vous connectez depuis un IDE local, exécutez des tâches et itérez sans avoir à reprovisionner. Lorsque vous soumettez une tâche de production, Anyscale la planifie sur vos pools de ressources configurés.

La difficulté réside dans le modèle de programmation de Ray lui-même. Les concepts de calcul distribué transparaissent à travers l'abstraction. L'erreur ObjectStoreFullError apparaît lorsque la mémoire de travail de votre cluster se remplit d'objets qui n'ont pas encore été nettoyés par le ramasse-miettes. La surcharge de sérialisation est réelle : le passage de dictionnaires Python de 5 à 10 Mo entre des tâches distantes se heurte à des goulots d'étranglement de performances documentés dans le tracker de problèmes GitHub de Ray. Avant les ajouts d'observabilité d'Anyscale en 2025, le débogage des échecs distribués impliquait de corréler les journaux des nœuds de travail individuels sans trace unifiée. Anyscale propose désormais les tableaux de bord Ray Data, Ray Train et Task en disponibilité générale depuis 2025, ce qui consolide une grande partie de ces informations dans une vue unique, mais les équipes novices en calcul distribué se heurtent toujours à une courbe d'apprentissage abrupte au cours des premières semaines.

La propre documentation d'Anyscale le reconnaît honnêtement : « Les nouveaux utilisateurs de Ray se sentent souvent dépassés par la nécessité de comprendre de multiples concepts complexes dès le premier jour. » Le nouveau produit Agent Skills (disponible pour tous en 2026) utilise l'IA pour aider les ingénieurs à diagnostiquer les pannes de cluster, à planifier l'allocation de la mémoire GPU et à naviguer dans les questions relatives à l'API Ray, ce qui automatise partiellement les points de friction les plus courants.

« Anyscale Endpoints nous offre des avantages en termes de coûts 5 à 8 fois supérieurs aux alternatives. » - Siddartha Saxena, CTO de Merlin, lancement d'Anyscale Endpoints, septembre 2023

À qui s'adresse Anyscale

Anyscale cible les ingénieurs de plateformes ML et les équipes d'infrastructure ML des entreprises qui exécutent régulièrement des charges de travail distribuées. Les principaux cas d'usage sont l'entraînement distribué multi-nœuds (pré-entraînement de LLM, post-entraînement, fine-tuning), l'inférence par lots à grande échelle (traitement de millions d'images ou de documents), le service de modèles en temps réel avec mise à l'échelle automatique, et les pipelines d'apprentissage par renforcement. Des entreprises comme RunPod ou Lambda Labs s'adressent aux chercheurs individuels louant des GPU à l'heure ; Anyscale est destiné aux équipes qui ont besoin d'une orchestration de clusters sur des dizaines ou des centaines de GPU.

Le packaging d'entreprise a ici toute son importance. Le BYOC permet aux grandes organisations de conserver les données dans leurs propres comptes cloud, ce qui satisfait les équipes de sécurité et de conformité. Le niveau de support SLA 24h/24 et 7j/7, les tickets de support illimités et l'intégration de la gouvernance Unity Catalog sont des fonctionnalités que les plateformes individuelles de location de GPU n'offrent pas. Physical Intelligence, Runway et Character.ai, toutes des entreprises d'IA à forte intensité de calcul, utilisent Anyscale en production.

Les équipes évaluant Anyscale aux côtés de Replicate ou Together AI pour des charges de travail d'inférence uniquement doivent noter que ces plateformes sont plus simples mais moins flexibles : elles fonctionnent bien pour servir des modèles pré-entraînés via une API, mais ne prennent pas en charge l'entraînement distribué multi-nœuds ou les pipelines Ray personnalisés. Anyscale est surdimensionné pour les cas d'usage d'inférence pure, à moins que vous ne fassiez également de l'entraînement ou du fine-tuning à grande échelle.

Ce que n'est pas Anyscale

Anyscale n'est pas une plateforme d'inférence serverless. Si vous avez besoin de déployer un seul point de terminaison de modèle et de recevoir des requêtes API, Modal est moins cher et plus simple pour commencer. Ce n'est pas une plateforme de données complète : il n'y a pas de moteur SQL, pas de Delta Lake, pas de gouvernance unifiée des données structurées et non structurées. Ce n'est pas un fournisseur de cloud généraliste : vous avez toujours besoin d'AWS, GCP, Azure ou d'un cloud GPU spécialisé en dessous.

Évitez Anyscale si votre équipe n'a aucune expérience préalable avec Ray et que la charge de travail n'est pas intrinsèquement distribuée. Une tâche de fine-tuning sur un seul GPU A100 loué ne nécessite pas d'orchestration de cluster. Une petite équipe servant un modèle à quelques centaines d'utilisateurs quotidiens n'a pas besoin de Ray Serve. L'investissement d'apprentissage dans le modèle de programmation de Ray ne porte ses fruits qu'à l'échelle où l'exécution distribuée est nécessaire, et non simplement pratique. Pour les équipes à cette échelle, Anyscale est probablement la meilleure option gérée disponible en 2026.