TensorRT-LLM

Maximale Durchsatzrate auf NVIDIA GPUs
Inference-ServerInference-Engine (NVIDIA)Apache-2.0Läuft lokalC++/PythonFortgeschritten
OSAI Pulse ⓘ ★★★★★★★★★★ /100 verfolgte Signale
🐳 Docker-Pulls 📦 PyPI-Downloads / Monat 📦 npm-Downloads / Monat 🚀 Neueste Version ·
Website besuchen →Auf GitHub ansehen

Was ist TensorRT-LLM?

TensorRT-LLM kompiliert Modelle in hochoptimierte NVIDIA-Kerne mit In-Flight-Batching, Quantisierung und Multi-GPU-Tensorparallelität — der Referenz für die Maximierung der Tokens pro Sekunde von NVIDIA-Hardware.

Warum wählen Menschen TensorRT-LLM?

TensorRT-LLM auf einen Blick

KategorieInference-Server
TypInference-Engine (NVIDIA)
LizenzApache-2.0
Läuft lokalJa
Hergestellt mitC++/Python
FähigkeitsstufeFortgeschritten
Am besten fürmaximale Leistung auf NVIDIA-Datenzentrum-GPUs

Open-Source-Alternativen zu TensorRT-LLM

Andere Open-Source-Inferenzserver-Tools, die einen Vergleich wert sind:

vLLMHochdurchsatzbereitstellung für die ProduktionTGIHugging Face's Produktions-TextserverSGLangSchnelle Bereitstellung mit strukturierten AusgabenLMDeployToolkit zum Komprimieren und Bereitstellen von LLMsAphrodite EngineHochdurchsatz-LLM-BereitstellungOpenLLMJedes offene Modell als OpenAI API mit einem Befehl bereitstellenKTransformersFühren Sie riesige MoE-Modelle auf einer Verbraucher-GPU ausRay ServeSkalieren Sie das Modell-Serving über einen ClusterBentoMLPacken Sie jedes Modell in eine Produktions-API

TensorRT-LLM im direkten Vergleich

TensorRT-LLM vs vLLMTensorRT-LLM vs TGITensorRT-LLM vs SGLangTensorRT-LLM vs LMDeployTensorRT-LLM vs Aphrodite EngineTensorRT-LLM vs OpenLLMTensorRT-LLM vs KTransformersTensorRT-LLM vs Ray ServeTensorRT-LLM vs BentoML

Häufig gestellte Fragen

Ist TensorRT-LLM kostenlos?

TensorRT-LLM ist kostenlos und Open Source (Apache-2.0-Lizenz), sodass Sie es kostenlos verwenden, selbst hosten und modifizieren können.

Kann ich TensorRT-LLM lokal ausführen?

Ja. TensorRT-LLM ist dafür ausgelegt, auf Ihrem eigenen Computer oder Server zu laufen und Ihre Daten privat zu halten.

Was ist die beste Alternative zu TensorRT-LLM?

Beliebte Open-Source-Alternativen sind vLLM, TGI, SGLang. Siehe die Vergleiche oben zur Auswahl.

Entdecken Sie weitere Open-Source-AI

Durchsuchen Sie das vollständige Verzeichnis von Open-Source-AI-Tools, Modellen und Projekten – täglich aktualisiert.

Alle Tools durchsuchen →