OpenLLM

Jedes offene Modell als OpenAI API mit einem Befehl bereitstellen
Inference-ServerServing-FrameworkApache-2.0Läuft lokalPythonAnfänger
OSAI Pulse ⓘ ★★★★★★★★★★ /100 verfolgte Signale
🐳 Docker-Pulls 📦 PyPI-Downloads / Monat 📦 npm-Downloads / Monat 🚀 Neueste Version ·
Website besuchen →Auf GitHub ansehen

Was ist OpenLLM?

OpenLLM von BentoML führt offene Modelle hinter einem OpenAI-kompatiblen Endpunkt mit einem Befehl aus, fügt eine Chat-UI hinzu und verpackt alles für Docker oder Cloud-Bereitstellung.

Warum wählen Menschen OpenLLM?

OpenLLM auf einen Blick

KategorieInference-Server
TypServing-Framework
LizenzApache-2.0
Läuft lokalJa
Hergestellt mitPython
FähigkeitsstufeAnfänger
Am besten fürschnell vom Modellnamen zum Produktionsendpunkt

Open-Source-Alternativen zu OpenLLM

Andere Open-Source-Inferenzserver-Tools, die einen Vergleich wert sind:

vLLMHochdurchsatzbereitstellung für die ProduktionTGIHugging Face's Produktions-TextserverSGLangSchnelle Bereitstellung mit strukturierten AusgabenLMDeployToolkit zum Komprimieren und Bereitstellen von LLMsAphrodite EngineHochdurchsatz-LLM-BereitstellungTensorRT-LLMMaximale Durchsatzrate auf NVIDIA GPUsKTransformersFühren Sie riesige MoE-Modelle auf einer Verbraucher-GPU ausRay ServeSkalieren Sie das Modell-Serving über einen ClusterBentoMLPacken Sie jedes Modell in eine Produktions-API

OpenLLM im direkten Vergleich

OpenLLM vs vLLMOpenLLM vs TGIOpenLLM vs SGLangOpenLLM vs LMDeployOpenLLM vs Aphrodite EngineOpenLLM vs TensorRT-LLMOpenLLM vs KTransformersOpenLLM vs Ray ServeOpenLLM vs BentoML

Häufig gestellte Fragen

Ist OpenLLM kostenlos?

OpenLLM ist kostenlos und Open Source (Apache-2.0-Lizenz), sodass Sie es kostenlos verwenden, selbst hosten und modifizieren können.

Kann ich OpenLLM lokal ausführen?

Ja. OpenLLM ist dafür ausgelegt, auf Ihrem eigenen Computer oder Server zu laufen und Ihre Daten privat zu halten.

Was ist die beste Alternative zu OpenLLM?

Beliebte Open-Source-Alternativen sind vLLM, TGI, SGLang. Siehe die Vergleiche oben zur Auswahl.

Entdecken Sie weitere Open-Source-AI

Durchsuchen Sie das vollständige Verzeichnis von Open-Source-AI-Tools, Modellen und Projekten – täglich aktualisiert.

Alle Tools durchsuchen →