BentoML

Empacote qualquer modelo em uma API de produção
Servidor de inferênciaEmpacotamento e serviço de modelosApache-2.0Executa localmentePythonIntermediário
OSAI Pulse ⓘ ★★★★★★★★★★ /100 sinais rastreados
🐳 pulls do Docker 📦 downloads do PyPI / mês 📦 downloads do npm / mês 🚀 Última versão ·
Visitar site →Ver no GitHub

O que é o BentoML?

BentoML empacota modelos, código e dependências em um artefato reproduzível e o serve como uma API escalável, com agrupamento adaptativo embutido.

Por que as pessoas escolhem o BentoML

BentoML em um relance

CategoriaServidor de inferência
TipoEmpacotamento e serviço de modelos
LicençaApache-2.0
Executa localmenteSim
Construído comPython
Nível de habilidadeIntermediário
Melhor paraenviando modelos para produção de forma reproduzível

Alternativas de código aberto ao BentoML

Outras ferramentas de servidor de inferência de código aberto que valem a pena comparar:

vLLMServiço de alta capacidade para produçãoTGIServidor de texto de produção da Hugging FaceSGLangServiço rápido com saídas estruturadasLMDeployKit de ferramentas para comprimir e servir LLMsAphrodite EngineServiço de LLM de alto desempenhoTensorRT-LLMMáxima taxa de transferência em GPUs NVIDIAOpenLLMSirva qualquer modelo aberto como uma API OpenAI em um comandoKTransformersExecute enormes modelos MoE em uma GPU de consumidorRay ServeEscalone a entrega de modelos em um cluster

BentoML cara a cara

BentoML vs vLLMBentoML vs TGIBentoML vs SGLangBentoML vs LMDeployBentoML vs Aphrodite EngineBentoML vs TensorRT-LLMBentoML vs OpenLLMBentoML vs KTransformersBentoML vs Ray Serve

FAQ

BentoML é gratuito?

BentoML é gratuito e de código aberto (licença Apache-2.0), então você pode usar, auto-hospedar e modificar sem custo.

Posso executar o BentoML localmente?

Sim. O BentoML é projetado para rodar na sua própria máquina ou servidor, mantendo seus dados privados.

Qual é a melhor alternativa ao BentoML?

Alternativas populares de código aberto incluem vLLM, TGI, SGLang. Veja as comparações acima para escolher.

Explore mais IA de código aberto

Navegue pelo diretório completo de ferramentas, modelos e projetos de IA de código aberto — atualizado diariamente.

Navegue por todas as ferramentas →