BentoML

Imballa qualsiasi modello in un'API di produzione
Server di inferenzaImballaggio e distribuzione dei modelliApache-2.0Esegue localmentePythonIntermedio
OSAI Pulse ⓘ ★★★★★★★★★★ /100 segnali tracciati
🐳 download Docker 📦 download PyPI / mese 📦 download npm / mese 🚀 Ultima versione ·
Visita il sito →Visualizza su GitHub

Cos'è BentoML?

BentoML impacchetta modelli, codice e dipendenze in un artefatto riproducibile e lo serve come API scalabile, con batching adattivo integrato.

Perché le persone scelgono BentoML

BentoML a colpo d'occhio

CategoriaServer di inferenza
TipoImballaggio e distribuzione dei modelli
LicenzaApache-2.0
Esegue localmenteSì
Costruito conPython
Livello di abilitàIntermedio
Migliore perspedire modelli in produzione in modo riproducibile

Alternative open-source a BentoML

Altri strumenti di server di inferenza open-source da confrontare:

vLLMServizio ad alta capacità per la produzioneTGIServer di testo in produzione di Hugging FaceSGLangServizio veloce con output strutturatiLMDeployToolkit per comprimere e servire LLMAphrodite EngineServizio LLM ad alta capacitàTensorRT-LLMMassima capacità su GPU NVIDIAOpenLLMServi qualsiasi modello aperto come un'API OpenAI in un comandoKTransformersEsegui enormi modelli MoE su una GPU consumerRay ServeScala il servizio dei modelli su un cluster

BentoML testa a testa

BentoML vs vLLMBentoML vs TGIBentoML vs SGLangBentoML vs LMDeployBentoML vs Aphrodite EngineBentoML vs TensorRT-LLMBentoML vs OpenLLMBentoML vs KTransformersBentoML vs Ray Serve

FAQ

BentoML è gratuito?

BentoML è gratuito e open-source (licenza Apache-2.0), quindi puoi usarlo, ospitarlo autonomamente e modificarlo senza costi.

Posso eseguire BentoML localmente?

Sì. BentoML è progettato per funzionare sulla tua macchina o server, mantenendo i tuoi dati privati.

Qual è la migliore alternativa a BentoML?

Le alternative open-source popolari includono vLLM, TGI, SGLang. Vedi i confronti sopra per scegliere.

Esplora più AI open-source

Sfoglia l'intero elenco di strumenti, modelli e progetti AI open-source — aggiornato quotidianamente.

Sfoglia tutti gli strumenti →