BentoML

Emballer n'importe quel modèle dans une API de production
Serveur d'inférenceEmballage et service de modèlesApache-2.0S'exécute localementPythonIntermédiaire
OSAI Pulse ⓘ ★★★★★★★★★★ /100 signaux suivis
🐳 téléchargements Docker 📦 téléchargements PyPI / mois 📦 téléchargements npm / mois 🚀 Dernière version ·
Visitez le site →Voir sur GitHub

Qu'est-ce que BentoML ?

BentoML emballe des modèles, du code et des dépendances dans un artefact reproductible et le sert comme une API évolutive, avec un traitement par lots adaptatif intégré.

Pourquoi les gens choisissent BentoML

BentoML en un coup d'œil

CatégorieServeur d'inférence
TypeEmballage et service de modèles
LicenceApache-2.0
S'exécute localementOui
Construit avecPython
Niveau de compétenceIntermédiaire
Meilleur pourexpédition de modèles en production de manière reproductible

Alternatives open-source à BentoML

Autres outils de serveur d'inférence open-source à comparer :

vLLMService à haut débit pour la productionTGIServeur de texte en production de Hugging FaceSGLangService rapide avec des sorties structuréesLMDeployBoîte à outils pour compresser et servir les LLMsAphrodite EngineService LLM à haut débitTensorRT-LLMDébit maximal sur les GPU NVIDIAOpenLLMServez n'importe quel modèle ouvert comme une API OpenAI en une commandeKTransformersExécutez d'énormes modèles MoE sur un GPU grand publicRay ServeÉvoluez le service de modèles à travers un cluster

BentoML en tête-à-tête

BentoML vs vLLMBentoML vs TGIBentoML vs SGLangBentoML vs LMDeployBentoML vs Aphrodite EngineBentoML vs TensorRT-LLMBentoML vs OpenLLMBentoML vs KTransformersBentoML vs Ray Serve

FAQ

BentoML est-il gratuit ?

BentoML est gratuit et open-source (licence Apache-2.0), vous pouvez donc l'utiliser, l'héberger vous-même et le modifier sans frais.

Puis-je exécuter BentoML localement ?

Oui. BentoML est conçu pour fonctionner sur votre propre machine ou serveur, gardant vos données privées.

Quelle est la meilleure alternative à BentoML ?

Les alternatives open-source populaires incluent vLLM, TGI, SGLang. Consultez les comparaisons ci-dessus pour choisir.

Explorez plus d'IA open-source

Parcourez le répertoire complet des outils, modèles et projets d'IA open-source — mis à jour quotidiennement.

Parcourez tous les outils →