DeepSpeed

DeepSpeed es una biblioteca de optimización de aprendizaje profundo construida sobre PyTorch, desarrollada por Microsoft y lanzada públicamente en 2020 bajo la licencia Apache 2.0. Resuelve un problema específico y complejo: hacer posible el entrenamiento y la ejecución de modelos de lenguaje que son demasiado grandes para caber en una sola GPU, o en un solo nodo, sin requerir que los equipos construyan sistemas distribuidos personalizados desde cero. Con más de 42,000 estrellas en GitHub y un historial de versiones que se extiende hasta la v0.18.9 (marzo de 2026), es el marco de entrenamiento distribuido de propósito general más adoptado en el aprendizaje automático de código abierto.

La tecnología insignia de DeepSpeed es el optimizador ZeRO (Zero Redundancy Optimizer), que elimina la redundancia de memoria que normalmente ocurre cuando los estados del modelo se duplican en GPU con paralelismo de datos. ZeRO Stage 1 fragmenta los estados del optimizador en las GPU, Stage 2 añade la fragmentación de gradientes y Stage 3 fragmenta los propios parámetros del modelo. ZeRO-Infinity amplía esto descargando a la memoria RAM de la CPU y a SSD NVMe, lo que permite el ajuste fino de modelos de billones de parámetros en hardware que de otro modo se quedaría muy corto. Más allá de ZeRO, DeepSpeed proporciona paralelismo de canalización (pipeline parallelism), paralelismo de tensores automático (AutoTP, lanzado en marzo de 2025), entrenamiento de Mixture of Experts, paralelismo de secuencias para contextos de varios millones de tokens y un motor de inferencia con fusión de kernels y cuantización. Se integra de forma nativa con Hugging Face Transformers y Accelerate, PyTorch Lightning y la pila GPT-NeoX de EleutherAI.

Lo que DeepSpeed realmente hace en mayo de 2026

DeepSpeed es una biblioteca de Python que se instala junto a PyTorch. Se le pasa un archivo de configuración JSON (ds_config.json) que especifica qué etapa de ZeRO utilizar, si descargar los estados del optimizador o los parámetros a la CPU, si usar precisión mixta y docenas de otros parámetros de ajuste. A continuación, se envuelve el bucle de entrenamiento con el motor de DeepSpeed. En ese momento, DeepSpeed gestiona automáticamente la fragmentación de parámetros en las GPU, la comunicación de gradientes, la gestión de memoria y el guardado de puntos de control (checkpoints).

El optimizador ZeRO es el corazón del sistema. Antes de ZeRO, entrenar un modelo de 13B en float16 requería aproximadamente 26GB por GPU solo para los pesos del modelo, más los estados del optimizador (las estimaciones de momento de Adam añaden aproximadamente 3 veces el tamaño del modelo) y los gradientes, elevando los requisitos totales de memoria por GPU a 80GB o más para una sola réplica. ZeRO Stage 3 fragmenta todo esto a través de N GPU, por lo que un modelo de 13B en 8 A100 de 40GB necesita aproximadamente 5GB por GPU para los parámetros, dejando margen para el tamaño del lote y las activaciones. Este es el mecanismo que permitió a equipos con presupuestos de GPU modestos ejecutar trabajos de preentrenamiento y ajuste fino que antes requerían infraestructura especializada.

ZeRO-Infinity, anunciado en mayo de 2021, demostró el entrenamiento de un modelo de 32 billones de parámetros en 32 GPU mediante la descarga a NVMe. Ese sigue siendo el techo teórico de lo que el sistema puede coordinar. En la práctica, la mayoría de los usuarios en producción ejecutan ZeRO-2 o ZeRO-3 con descarga a CPU en clústeres de 8 a 256 GPU para modelos en el rango de 7B a 70B.

Las incorporaciones recientes incluyen DeepCompile (abril de 2025), que aplica optimizaciones a nivel de compilador a los gráficos de entrenamiento distribuido; Arctic Long Sequence Training (junio de 2025) para el soporte de secuencias de varios millones de tokens; AutoTP para el paralelismo de tensores automático con modelos de Hugging Face (marzo de 2025); y el motor de descarga sin interrupciones ZenFlow (agosto de 2025). El trabajo de SuperOffload recibió una Mención de Honor en ASPLOS 2026, la principal conferencia de sistemas.

DeepSpeed-Chat, lanzado el 12 de abril de 2023, marcó un hito: un proceso de RLHF de extremo a extremo que cubre el ajuste fino supervisado, el entrenamiento del modelo de recompensa y PPO, todo en un solo script. El sistema entrenó un modelo de 13B en 1.25 horas en una sola GPU A6000 y un modelo de 175B en un día en 64 GPU, afirmando un rendimiento 15 veces superior al de trlX y trl. El hilo de lanzamiento en Hacker News de abril de 2023 atrajo cientos de comentarios debatiendo si el RLHF de código abierto podría alcanzar de manera realista la calidad de GPT-4:

"El ajuste fino no alcanzará la calidad de GPT-4 sin modelos base más grandes y una optimización exhaustiva." -- valine, Hacker News, 12 de abril de 2023

Ese debate fue profético. DeepSpeed-Chat redujo la barrera para el entrenamiento de RLHF lo suficiente como para que los equipos que antes no podían permitirse entrar en este espacio pudieran iterar. La brecha con los modelos de frontera se ha reducido sustancialmente desde 2023, en parte debido a herramientas de infraestructura como esta.

Dónde se sitúa DeepSpeed frente a PyTorch FSDP y Megatron-LM

DeepSpeed no existe en el vacío. Dos marcos compiten por las mismas cargas de trabajo de entrenamiento, y la respuesta honesta sobre cuál usar depende en gran medida del tamaño del modelo, el hardware y la familiaridad del equipo.

PyTorch FSDP (Fully Sharded Data Parallel) está integrado en el núcleo de PyTorch a partir de la versión 1.12 e implementa la fragmentación de parámetros al estilo ZeRO de forma nativa dentro del tiempo de ejecución. La ventaja de FSDP es la simplicidad y el rendimiento bruto a mediana escala. Las pruebas de rendimiento independientes muestran que FSDP se ejecuta hasta 5 veces más rápido por iteración que DeepSpeed ZeRO-3 para modelos en el rango de 100M-1B, porque la integración nativa de PyTorch evita la sobrecarga a nivel de Python y utiliza rutas optimizadas de reducción-dispersión (reduce-scatter) fusionadas. La configuración de FSDP reside en el código Python sin ningún archivo JSON externo. La contrapartida práctica: FSDP no puede descargar a NVMe, por lo que está limitado por la memoria RAM total de GPU+CPU. Para los modelos que encajan en ese límite (por debajo de aproximadamente 30B en float16 en un nodo bien equipado), FSDP es cada vez más la opción predeterminada en Hugging Face Trainer y TorchTitan. DeepSpeed gana cuando se necesita descarga a NVMe o memoria de clase ZeRO-Infinity, y a partir de 10B+ parámetros, donde su madura implementación de ZeRO-3 y el paralelismo de canalización vuelven a ser competitivos.

Megatron-LM es el marco de investigación de NVIDIA para entrenar modelos transformer a escala extrema con kernels de paralelismo de tensores ajustados a mano. La implementación de paralelismo de tensores (TP) de Megatron-LM es la más optimizada para el hardware NVIDIA A100/H100 con NVLink. Sus arquitecturas de modelos (GPT, BERT, T5) están construidas específicamente para TP; cada cabezal de atención y matriz de pesos MLP se divide entre las GPU con kernels CUDA personalizados. La limitación es el estrecho acoplamiento de la arquitectura: ejecutar una arquitectura de modelo novedosa a través de Megatron requiere un esfuerzo de ingeniería significativo. AutoTP de DeepSpeed, por el contrario, maneja el paralelismo de tensores de forma más automática para los modelos de Hugging Face. Fundamentalmente, Megatron-LM y DeepSpeed no son competidores estrictos: el modelo Megatron-Turing NLG 530B (la ejecución de entrenamiento de modelo denso más grande documentada públicamente) utilizó Megatron-LM para el paralelismo de tensores dentro de los nodos y DeepSpeed ZeRO para el paralelismo de datos entre nodos. Los usuarios que necesitan el techo absoluto de rendimiento específico de NVIDIA a menudo combinan ambos.

Si estás utilizando Anyscale o Ray Train para cargas de trabajo distribuidas, DeepSpeed se integra a través de la interfaz Ray-DeepSpeed, que los equipos demostraron en una reunión conjunta en octubre de 2025. Para el seguimiento de experimentos y el control de versiones de modelos junto con el entrenamiento, los equipos combinan DeepSpeed con MLflow. Para servir la inferencia de los modelos entrenados, vLLM es la opción dominante, aunque el propio motor de inferencia de DeepSpeed sigue siendo competitivo para el procesamiento por lotes sin conexión. Los modelos de la serie LLaMA ajustados son una de las cargas de trabajo de DeepSpeed más comunes en la comunidad de código abierto.

Cómo es la realidad del flujo de trabajo de entrenamiento

La brecha entre la documentación y la experiencia diaria de ejecutar DeepSpeed es real, y cualquiera que escriba sobre esta herramienta con honestidad tiene que abordarla.

Configurar una ejecución de entrenamiento ZeRO-3 desde cero implica escribir un archivo ds_config.json con docenas de parámetros: etapa de ZeRO, dispositivo de descarga (CPU o NVMe), tamaño del bucket allgather, tamaño del bucket reduce, stage3_gather_16bit_weights_on_model_save, overlap_comm, etc. Los nombres de los parámetros no siempre son intuitivos. Una coma mal colocada, un campo mal escrito o una falta de coincidencia entre el tipo de optimizador en la configuración y el optimizador instanciado en Python evitarán silenciosamente que el entrenamiento comience o, peor aún, iniciarán el entrenamiento y luego fallarán a mitad de la época. Esta es la categoría más común de solicitudes de soporte en los problemas (issues) de GitHub de DeepSpeed.

La regresión del rendimiento entre las versiones de la biblioteca es una preocupación documentada. El problema #7499 de GitHub registra una regresión del 10% en el rendimiento del entrenamiento en ZeRO-3 entre la v0.13.1 y la v0.15.4 hasta la v0.16.9 en configuraciones de 8x A100, sin que las configuraciones ZeRO-1 y ZeRO-2 se vean afectadas:

"Después de actualizar DeepSpeed, al usar la configuración DeepSpeed Zero3, el rendimiento del entrenamiento se deterioró en aproximadamente un 10% en comparación con la versión 0.13.1." -- frozenleaves, GitHub deepspeedai/DeepSpeed issue #7499, 2024

Este tipo de regresión es un problema grave para los procesos de producción que dependen de un rendimiento estable. La mitigación que utilizan la mayoría de los equipos es la fijación de dependencias (dependency pinning), pero eso crea su propia carga de mantenimiento.

El paralelismo de canalización (PP) en DeepSpeed requiere modificar el código de la arquitectura del modelo para definir explícitamente los límites de las capas. Esto no es trivial para nada que no sea un transformer estándar de estilo GPT. ZeRO-3, por el contrario, es independiente de la arquitectura, razón por la cual la mayoría de los equipos optan por ZeRO-3 + paralelismo de datos antes de considerar el PP.

La utilización de la GPU con ZeRO-3 en modelos pequeños o clústeres pequeños puede ser deficiente. La discusión #5488 en GitHub documenta que los all-gathers fragmentados no logran superponerse con el cálculo en ejecuciones multinodo con modelos más pequeños. El remedio suele ser usar ZeRO-2 o cambiar a FSDP para esa escala, pero diagnosticar el problema de utilización en primer lugar requiere herramientas de creación de perfiles (Nsight, PyTorch Profiler) que tienen sus propias curvas de aprendizaje.

Cuando funciona bien, es genuinamente transformador. Ejecutar un modelo de 70B de parámetros en 8 GPU A100-80GB con ZeRO-3 es una capacidad cualitativamente diferente a cualquier cosa disponible para los investigadores hace cinco años. La fricción existe, pero es proporcional a la escala de lo que la herramienta permite.

Para quién está diseñado DeepSpeed

DeepSpeed está diseñado para ingenieros e investigadores de aprendizaje automático que necesitan entrenar o ajustar grandes modelos de lenguaje (7B+) en infraestructura multi-GPU. El usuario típico tiene conocimientos prácticos de PyTorch, ha alcanzado los límites de memoria de la GPU con un entrenamiento paralelo de datos ingenuo y está dispuesto a invertir 1-2 días en configuración y depuración para desbloquear el entrenamiento a una escala que de otro modo sería imposible.

Equipos en instituciones de investigación (EleutherAI lo usó para GPT-NeoX, BigScience para BLOOM), grandes empresas tecnológicas (LinkedIn documentó el uso de ZeRO++ para la destilación de LLM en sistemas de recomendación en noviembre de 2025) y startups bien financiadas que realizan ajuste de instrucciones, RLHF o preentrenamiento, todos entran en esta categoría. La integración con Hugging Face Accelerate significa que puedes agregar DeepSpeed a muchos scripts de entrenamiento existentes con cambios mínimos en el código, lo que amplía un poco la accesibilidad.

Lo que DeepSpeed no es

DeepSpeed no es una buena opción para modelos de menos de 1B de parámetros. A esa escala, FSDP es más sencillo de configurar, más rápido en la práctica y está integrado en PyTorch. La sobrecarga de configurar ds_config.json y el riesgo de regresiones relacionadas con la versión no se justifican cuando el modelo ya cabe en dos o tres GPU estándar.

No es un servicio alojado ni una plataforma en la nube. No existe un SaaS de DeepSpeed. Tú aportas tu propia computación. Azure, AWS, GCP o los clústeres locales funcionan, pero la responsabilidad operativa es completamente tuya.

No es un sistema de servicio de inferencia para tráfico de API en vivo. El motor de inferencia de DeepSpeed está diseñado para inferencia por lotes optimizada para el rendimiento, no para el servicio de solicitudes de baja latencia. Para las API de inferencia en producción, vLLM es la opción dominante. DeepSpeed Inference es útil para trabajos por lotes sin conexión donde el costo de la infraestructura de procesamiento por lotes continuo no está justificado.

No es una herramienta amigable para principiantes. La documentación es exhaustiva pero asume familiaridad con los conceptos de sistemas distribuidos (NCCL, operaciones colectivas, jerarquías de memoria). Los investigadores nuevos en el entrenamiento distribuido están mejor servidos comenzando con la interfaz más simple de Hugging Face Accelerate, y luego agregando la configuración de DeepSpeed una vez que entiendan lo que significan los parámetros.

Tampoco es un reemplazo directo de Megatron-LM en hardware NVIDIA a escala extrema. Para modelos densos de más de 500B donde el rendimiento de FLOP es la restricción vinculante, los kernels de paralelismo de tensores de Megatron-LM son difíciles de superar. DeepSpeed gana cuando la flexibilidad de memoria y la portabilidad entre hardware importan más que el rendimiento máximo.