OpenLLM

Sirve cualquier modelo abierto como una API de OpenAI en un comando
Servidor de inferenciaMarco de servicioApache-2.0Ejecuta localmentePythonPrincipiante
OSAI Pulse ⓘ ★★★★★★★★★★ /100 señales rastreadas
🐳 descargas de Docker 📦 descargas de PyPI / mes 📦 descargas de npm / mes 🚀 Última versión ·
Visitar sitio web →Ver en GitHub

¿Qué es OpenLLM?

OpenLLM de BentoML ejecuta modelos abiertos detrás de un punto final compatible con OpenAI con un solo comando, añade una interfaz de chat y empaqueta todo para Docker o despliegue en la nube.

Por qué la gente elige OpenLLM

OpenLLM en un vistazo

CategoríaServidor de inferencia
TipoMarco de servicio
LicenciaApache-2.0
Ejecuta localmenteSí
Construido conPython
Nivel de habilidadPrincipiante
Mejor parapasando de nombre de modelo a punto final de producción rápidamente

Alternativas de código abierto a OpenLLM

Otras herramientas de servidor de inferencia de código abierto que vale la pena comparar:

vLLMServicio de alto rendimiento para producciónTGIServidor de texto de producción de Hugging FaceSGLangServicio rápido con salidas estructuradasLMDeployConjunto de herramientas para comprimir y servir LLMsAphrodite EngineServicio de LLM de alto rendimientoTensorRT-LLMMáximo rendimiento en GPUs NVIDIAKTransformersEjecuta enormes modelos MoE en una GPU de consumoRay ServeEscala el servicio de modelos a través de un clústerBentoMLEmpaqueta cualquier modelo en una API de producción

OpenLLM cara a cara

OpenLLM vs vLLMOpenLLM vs TGIOpenLLM vs SGLangOpenLLM vs LMDeployOpenLLM vs Aphrodite EngineOpenLLM vs TensorRT-LLMOpenLLM vs KTransformersOpenLLM vs Ray ServeOpenLLM vs BentoML

Preguntas frecuentes

¿Es OpenLLM gratuito?

OpenLLM es gratuito y de código abierto (licencia Apache-2.0), por lo que puedes usarlo, autoalojarlo y modificarlo sin costo alguno.

¿Puedo ejecutar OpenLLM localmente?

Sí. OpenLLM está diseñado para ejecutarse en tu propia máquina o servidor, manteniendo tus datos privados.

¿Cuál es la mejor alternativa a OpenLLM?

Las alternativas populares de código abierto incluyen vLLM, TGI, SGLang. Consulta las comparaciones anteriores para elegir.

Explora más IA de código abierto

Navega por el directorio completo de herramientas, modelos y proyectos de IA de código abierto, actualizado diariamente.

Navega todas las herramientas →