BentoML

Empaqueta cualquier modelo en una API de producción

Servidor de inferenciaEmpaquetado y servicio de modelosApache-2.0Ejecuta localmentePythonIntermedio

OSAI Pulse ⓘ ★★★★★★★★★★ /100 señales rastreadas

🐳 descargas de Docker 📦 descargas de PyPI / mes 📦 descargas de npm / mes 🚀 Última versión ·

Visitar sitio web →Ver en GitHub

¿Qué es BentoML?

BentoML empaqueta modelos, código y dependencias en un artefacto reproducible y lo sirve como una API escalable, con agrupamiento adaptativo incorporado.

Por qué la gente elige BentoML

Empaquetado de modelos reproducible
Agrupamiento adaptativo desde el principio
Despliega en Docker, K8s o en la nube

BentoML a simple vista

Categoría	Servidor de inferencia
Tipo	Empaquetado y servicio de modelos
Licencia	Apache-2.0
Ejecuta localmente	Sí
Construido con	Python
Nivel de habilidad	Intermedio
Mejor para	enviar modelos a producción de manera reproducible

Alternativas de código abierto a BentoML

Otras herramientas de servidor de inferencia de código abierto que vale la pena comparar:

vLLMServicio de alto rendimiento para producción

TGIServidor de texto de producción de Hugging Face

SGLangServicio rápido con salidas estructuradas

LMDeployConjunto de herramientas para comprimir y servir LLMs

Aphrodite EngineServicio de LLM de alto rendimiento

TensorRT-LLMMáximo rendimiento en GPUs NVIDIA

OpenLLMSirve cualquier modelo abierto como una API de OpenAI en un comando

KTransformersEjecuta enormes modelos MoE en una GPU de consumo

Ray ServeEscala el servicio de modelos a través de un clúster

BentoML cara a cara

BentoML vs vLLM BentoML vs TGI BentoML vs SGLang BentoML vs LMDeploy BentoML vs Aphrodite Engine BentoML vs TensorRT-LLM BentoML vs OpenLLM BentoML vs KTransformers BentoML vs Ray Serve

Preguntas frecuentes

¿Es BentoML gratis?

BentoML es gratuito y de código abierto (licencia Apache-2.0), por lo que puedes usarlo, autoalojarlo y modificarlo sin costo alguno.

¿Puedo ejecutar BentoML localmente?

Sí. BentoML está diseñado para ejecutarse en tu propia máquina o servidor, manteniendo tus datos privados.

¿Cuál es la mejor alternativa a BentoML?

Las alternativas populares de código abierto incluyen vLLM, TGI, SGLang. Consulta las comparaciones anteriores para elegir.

Explora más IA de código abierto

Navega por el directorio completo de herramientas, modelos y proyectos de IA de código abierto, actualizado diariamente.

Navega todas las herramientas →