LocalAI

LocalAI es un motor de inferencia de IA gratuito y autohospedado creado por Ettore Di Giacinto (GitHub: mudler) que te ofrece un reemplazo directo para la API de OpenAI que se ejecuta completamente en tu propio hardware. Lanzado en 2023 y con licencia MIT, ha acumulado casi 46,000 estrellas en GitHub hasta abril de 2026. La promesa principal es sencilla: apunta cualquier aplicación o SDK que utilice el formato de la API de OpenAI a tu instancia de LocalAI, y tus modelos se ejecutarán localmente sin que ningún dato salga de tu red. Sin suscripciones, sin necesidad de GPU y sin límites de uso.

LocalAI es compatible con más de 36 backends de inferencia, incluyendo llama.cpp, whisper.cpp, vLLM, Transformers, diffusers, Bark y ExLlama2. La cobertura de formatos de modelos es la más amplia en la categoría de autohospedaje: GGUF, GGML, Safetensors, PyTorch, GPTQ y AWQ funcionan de forma nativa. Más allá del texto, una única instancia de LocalAI puede servir LLMs, generación de imágenes con Stable Diffusion, transcripción de voz con Whisper, síntesis TTS, incrustaciones CLIP y generación de video desde un único endpoint de API unificado. La versión v4.0.0 de marzo de 2025 añadió orquestación de agentes nativa, soporte para el protocolo MCP, una interfaz de usuario en React reescrita con modo Canvas y audio en tiempo real WebRTC, transformando a LocalAI de un servidor de inferencia a una plataforma de IA autohospedada completa.

Lo que LocalAI realmente hace en abril de 2026

En su base, LocalAI es un servidor HTTP escrito en Go que traduce las solicitudes de API compatibles con OpenAI en llamadas de inferencia hacia el backend que necesite un modelo determinado. Instálalo a través de Docker, binario o Kubernetes, carga un modelo desde la galería con un solo clic, y tu código SDK de OpenAI existente funcionará sin modificaciones, solo con una URL base diferente.

La galería de modelos abarca cientos de modelos preconfigurados: Llama 3, Mixtral, Phi, Gemma, Qwen, Mistral, DeepSeek y muchos otros, cada uno con una configuración YAML lista para usar que establece el backend correcto, la plantilla de prompts, la ventana de contexto y la cuantización. Para los modelos fuera de la galería, debes escribir un archivo de configuración YAML tú mismo, lo cual es flexible pero añade fricción en la configuración en comparación con herramientas como Ollama.

A partir de la versión v4.1.3 (6 de abril de 2026), el conjunto de características incluye: generación de texto con llamadas a funciones y uso de herramientas, generación de imágenes a través de Stable Diffusion y FLUX, conversión de voz a texto a través de Whisper y Moonshine, TTS a través de Bark, Piper, Kokoro y Pocket-TTS, incrustaciones y reclasificación para pipelines RAG, reconocimiento facial a través de InsightFace, generación de video a través de LTX-2, clústeres distribuidos en múltiples nodos, autenticación OIDC multiusuario con cuotas por usuario, rastreo de solicitudes y un marco de agentes integrado (LocalAGI) con integración de servidor MCP.

El soporte de hardware abarca NVIDIA CUDA, AMD ROCm, Apple Silicon Metal, Intel Arc, Vulkan para GPUs integradas y solo CPU para cualquier máquina sin una tarjeta gráfica dedicada. Una Raspberry Pi puede ejecutar modelos pequeños. Un servidor multi-GPU puede ejecutar modelos grandes distribuidos.

Dónde se sitúa LocalAI frente a Ollama y vLLM

Tres herramientas dominan la categoría de tiempo de ejecución de LLM autohospedados: LocalAI, Ollama y vLLM. No son intercambiables, y elegir incorrectamente genera verdaderos dolores de cabeza.

LocalAI vs. Ollama: Ollama utiliza llama.cpp como su único backend de inferencia y GGUF como su formato de modelo principal. La configuración toma menos de 60 segundos desde un solo comando CLI. Ollama no soporta de forma nativa la generación de imágenes, TTS, STT o cargas de trabajo de difusión: es un servidor LLM de modalidad única optimizado para la simplicidad. También carece de llamadas a herramientas en streaming y del parámetro tool_choice hasta abril de 2026. LocalAI soporta todos esos escenarios, además de seis formatos de modelo frente al único de Ollama, pero requiere significativamente más configuración para alcanzar un estado funcional. El veredicto de la comunidad (desde el espacio homelab y r/selfhosted) es contundente: "LocalAI fue genial para la compatibilidad. Ollama es mejor para todo lo demás". Eso es exacto si solo necesitas modelos de texto. Si necesitas Whisper + Stable Diffusion + un LLM desde un solo endpoint, LocalAI es la única opción de código abierto que hace los tres de forma nativa.

LocalAI vs. vLLM: vLLM es un servidor de inferencia de producción que utiliza PagedAttention, un sistema de gestión de memoria virtual para la caché KV de la GPU que elimina la fragmentación de memoria. Con más de 50 usuarios concurrentes, vLLM alcanza aproximadamente 793 tokens por segundo frente a los 41 tokens por segundo de Ollama; la latencia P99 en su punto máximo es de 80ms (vLLM) frente a 673ms (Ollama). LocalAI no se evalúa en esa liga y no fue diseñado para ese caso de uso. vLLM requiere una GPU NVIDIA o ROCm dedicada, controladores CUDA/ROCm, un entorno Python y paciencia con la resolución de dependencias. No soporta modelos GGUF en absoluto, y no tiene capacidad de generación de imágenes, audio o video. LocalAI se ejecuta solo con CPU en una placa de $50; vLLM necesita una A100 para brillar. Sirven a propósitos diferentes.

"LocalAI es recomendable cuando necesitas agentes de visión o audio, ejecutando Whisper, CLIP y Stable Diffusion localmente con un solo YAML." - glukhov.org, Local LLM Hosting Complete 2025 Guide, noviembre de 2025

Cómo es la realidad de la API autohospedada

El flujo de trabajo típico de LocalAI comienza con Docker. Descarga la imagen, ejecútala con un montaje de volumen para tu directorio de modelos, y la interfaz web aparecerá en el puerto 8080. Desde allí, la Galería de Modelos te permite instalar modelos seleccionados con un solo clic: se coloca un YAML preconfigurado en tu carpeta de modelos y la descarga comienza en segundo plano. Para los modelos de la galería, esto es casi tan fluido como Ollama.

Fuera de la galería, configuras los modelos colocando archivos YAML en el directorio de modelos. Una configuración típica de LLM especifica: el nombre de archivo del modelo, el backend (por ejemplo, llama-cpp), la plantilla de prompts (ChatML, Alpaca, Vicuna, etc.), el tamaño de la ventana de contexto, las capas de GPU a descargar y la temperatura predeterminada. Esto es más trabajo que el enfoque de cero configuración de Ollama, pero te da un control preciso sobre cada parámetro de inferencia. Los modelos de generación de imágenes requieren configuraciones YAML similares que apunten a un pipeline de diffusers o a un archivo .ckpt de SD.

La interfaz de usuario en React de la versión v4.0 añadió un modo Canvas para ver artefactos de código, un Agenthub para importar agentes compartidos por la comunidad y gestión de aplicaciones MCP para que puedas conectar servidores de herramientas directamente en la interfaz de chat. Para los usuarios que anteriormente ejecutaban LocalAI puramente a través de la API sin interfaz de usuario, la interfaz v4.x es una mejora sustancial. Para los flujos de trabajo centrados en CLI, la API compatible con OpenAI permanece sin cambios.

"Lo uso a diario. Rápido, confiable y no te espía." - reseña de usuario anónimo, noizz.io, 22 de enero de 2026

Las frustraciones son reales y están documentadas en los problemas de GitHub. Docker en Windows tiene problemas persistentes: subutilización de la CPU, bloqueos de inicio relacionados con desajustes de rutas entre WSL y el motor de Docker, y contenedores que tardan minutos en iniciarse mientras que Ollama se inicia en segundos. La instalación del backend puede fallar silenciosamente sin un error claro, dejando a los usuarios con un servidor API funcional pero sin capacidad de inferencia. Las actualizaciones de Docker han borrado configuraciones guardadas en al menos un problema bien documentado (#6924). Las importaciones de modelos MLX desde Hugging Face han bloqueado instancias requiriendo reinicios. Estos son problemas solucionables, pero son puntos de fricción reales para los usuarios que esperan la fluidez de Ollama.

Para quién está diseñado LocalAI

LocalAI es la elección correcta para tres situaciones específicas. Primero, desarrolladores que integran IA local en aplicaciones o herramientas internas que ya utilizan la API de OpenAI y desean cero cambios de código al cambiar a la inferencia local. La compatibilidad directa significa que apuntar la URL base del SDK a otro lugar es toda la migración. Segundo, operadores de infraestructura autohospedada y homelab que desean un único servicio que maneje cargas de trabajo de LLM, imagen, audio e incrustaciones sin ejecutar servicios separados de Ollama, ComfyUI y Whisper. Tercero, equipos que priorizan la privacidad en industrias reguladas (salud, legal, finanzas) donde la soberanía de los datos es un requisito estricto. La adición en la v4.1 de autenticación OIDC y cuotas por usuario hace factible una implementación multiusuario adecuada sin una configuración compleja de proxy inverso.

LocalAI también es una excelente opción para usuarios con hardware mixto o antiguo. La opción de solo CPU no es una nota al pie de marketing: los modelos GGUF cuantizados a Q4_K_M se ejecutan adecuadamente en máquinas con 16GB de RAM y sin GPU discreta. Los usuarios de Apple Silicon se benefician de la aceleración Metal a través de los backends MLX y llama.cpp añadidos en agosto de 2025.

Lo que LocalAI no es

Si tu objetivo es chatear con un modelo local con una configuración mínima, usa Ollama o LM Studio. Ambos tienen una incorporación más fluida, mejores experiencias en Windows y aplicaciones GUI dedicadas. La descarga de modelos con un solo comando de Ollama supera la configuración YAML de LocalAI para cualquiera que no esté construyendo una integración.

Si tu objetivo es el servicio en producción bajo cientos de usuarios concurrentes, usa vLLM. Su arquitectura PagedAttention produce de 5 a 20 veces el rendimiento de cualquier tiempo de ejecución basado en llama.cpp a escala, y LocalAI no compite en esa categoría por diseño.

LocalAI también requiere familiaridad con Linux o macOS. Se ejecuta en Windows a través de WSL o Docker Desktop, pero los problemas de GitHub documentan suficiente fricción específica de Windows como para que no sea el camino recomendado para los usuarios que priorizan Windows. Si estás ejecutando un flujo de trabajo de escritorio centrado en GUI en Windows, LM Studio es una mejor opción.

Finalmente, LocalAI no es un servicio gestionado. No hay soporte del proveedor, ni SLA, ni respaldo alojado. La comunidad es activa y los problemas de GitHub se responden, pero si te encuentras con un error bloqueante un viernes por la tarde, estarás por tu cuenta hasta la próxima respuesta de un mantenedor.