TensorRT-LLM

Débit maximal sur les GPU NVIDIA

Serveur d'inférenceMoteur d'inférence (NVIDIA)Apache-2.0S'exécute localementC++/PythonAvancé

OSAI Pulse ⓘ ★★★★★★★★★★ /100 signaux suivis

🐳 téléchargements Docker 📦 téléchargements PyPI / mois 📦 téléchargements npm / mois 🚀 Dernière version ·

Visitez le site →Voir sur GitHub

Qu'est-ce que TensorRT-LLM ?

TensorRT-LLM compile des modèles en noyaux NVIDIA hautement optimisés avec un traitement en vol, une quantification et un parallélisme tensoriel multi-GPU — la référence pour extraire un maximum de tokens par seconde du matériel NVIDIA.

Pourquoi les gens choisissent TensorRT-LLM ?

Débit de classe mondiale sur le matériel NVIDIA
Quantification FP8/INT4 avec support officiel
Intégration profonde avec Triton et la pile NVIDIA

TensorRT-LLM en un coup d'œil

Catégorie	Serveur d'inférence
Type	Moteur d'inférence (NVIDIA)
Licence	Apache-2.0
S'exécute localement	Oui
Construit avec	C++/Python
Niveau de compétence	Avancé
Meilleur pour	performance maximale sur les GPU de centre de données NVIDIA

Alternatives open-source à TensorRT-LLM

Autres outils de serveur d'inférence open-source à comparer :

vLLMService à haut débit pour la production

TGIServeur de texte en production de Hugging Face

SGLangService rapide avec des sorties structurées

LMDeployBoîte à outils pour compresser et servir les LLMs

Aphrodite EngineService LLM à haut débit

OpenLLMServez n'importe quel modèle ouvert comme une API OpenAI en une commande

KTransformersExécutez d'énormes modèles MoE sur un GPU grand public

Ray ServeÉvoluez le service de modèles à travers un cluster

BentoMLEmballer n'importe quel modèle dans une API de production

TensorRT-LLM en tête-à-tête

TensorRT-LLM vs vLLM TensorRT-LLM vs TGI TensorRT-LLM vs SGLang TensorRT-LLM vs LMDeploy TensorRT-LLM vs Aphrodite Engine TensorRT-LLM vs OpenLLM TensorRT-LLM vs KTransformers TensorRT-LLM vs Ray Serve TensorRT-LLM vs BentoML

FAQ

TensorRT-LLM est-il gratuit ?

TensorRT-LLM est gratuit et open-source (licence Apache-2.0), vous pouvez donc l'utiliser, l'héberger vous-même et le modifier sans frais.

Puis-je exécuter TensorRT-LLM localement ?

Oui. TensorRT-LLM est conçu pour fonctionner sur votre propre machine ou serveur, gardant vos données privées.

Quelle est la meilleure alternative à TensorRT-LLM ?

Les alternatives open-source populaires incluent vLLM, TGI, SGLang. Consultez les comparaisons ci-dessus pour choisir.

Explorez plus d'IA open-source

Parcourez le répertoire complet des outils, modèles et projets d'IA open-source — mis à jour quotidiennement.

Parcourez tous les outils →