OpenLLM

Servez n'importe quel modèle ouvert comme une API OpenAI en une commande

Serveur d'inférenceCadre de serviceApache-2.0S'exécute localementPythonDébutant

OSAI Pulse ⓘ ★★★★★★★★★★ /100 signaux suivis

🐳 téléchargements Docker 📦 téléchargements PyPI / mois 📦 téléchargements npm / mois 🚀 Dernière version ·

Visitez le site →Voir sur GitHub

Qu'est-ce que OpenLLM ?

OpenLLM par BentoML exécute des modèles ouverts derrière un point de terminaison compatible OpenAI avec une seule commande, ajoute une interface utilisateur de chat et emballe tout pour un déploiement Docker ou cloud.

Pourquoi les gens choisissent OpenLLM ?

Une commande du modèle à l'API compatible OpenAI
Interface utilisateur de chat intégrée pour des tests rapides
Chemin clair vers le déploiement Docker et cloud via BentoML

OpenLLM en un coup d'œil

Catégorie	Serveur d'inférence
Type	Cadre de service
Licence	Apache-2.0
S'exécute localement	Oui
Construit avec	Python
Niveau de compétence	Débutant
Meilleur pour	passer rapidement du nom du modèle au point de terminaison de production

Alternatives open-source à OpenLLM

Autres outils de serveur d'inférence open-source à comparer :

vLLMService à haut débit pour la production

TGIServeur de texte en production de Hugging Face

SGLangService rapide avec des sorties structurées

LMDeployBoîte à outils pour compresser et servir les LLMs

Aphrodite EngineService LLM à haut débit

TensorRT-LLMDébit maximal sur les GPU NVIDIA

KTransformersExécutez d'énormes modèles MoE sur un GPU grand public

Ray ServeÉvoluez le service de modèles à travers un cluster

BentoMLEmballer n'importe quel modèle dans une API de production

OpenLLM en tête-à-tête

OpenLLM vs vLLM OpenLLM vs TGI OpenLLM vs SGLang OpenLLM vs LMDeploy OpenLLM vs Aphrodite Engine OpenLLM vs TensorRT-LLM OpenLLM vs KTransformers OpenLLM vs Ray Serve OpenLLM vs BentoML

FAQ

OpenLLM est-il gratuit ?

OpenLLM est gratuit et open-source (licence Apache-2.0), vous pouvez donc l'utiliser, l'héberger vous-même et le modifier sans frais.

Puis-je exécuter OpenLLM localement ?

Oui. OpenLLM est conçu pour fonctionner sur votre propre machine ou serveur, gardant vos données privées.

Quelle est la meilleure alternative à OpenLLM ?

Les alternatives open-source populaires incluent vLLM, TGI, SGLang. Consultez les comparaisons ci-dessus pour choisir.

Explorez plus d'IA open-source

Parcourez le répertoire complet des outils, modèles et projets d'IA open-source — mis à jour quotidiennement.

Parcourez tous les outils →