TensorRT-LLM
TensorRT LLM fournit aux utilisateurs une API Python facile à utiliser pour définir des modèles de langage large (LLMs) et prend en charge des optimisations à la pointe de la technologie pour effectuer des inférences efficacement sur les GPU NVIDIA. TensorRT LLM contient également des composants pour créer des environnements d'exécution Python et C++
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
TensorRT LLM fournit aux utilisateurs une API Python facile à utiliser pour définir des modèles de langage large (LLMs) et prend en charge des optimisations à la pointe de la technologie pour effectuer des inférences efficacement sur les GPU NVIDIA. TensorRT LLM contient également des composants pour créer des environnements d'exécution Python et C++
Read the full guideWhat is TensorRT-LLM?
TensorRT LLM fournit aux utilisateurs une API Python facile à utiliser pour définir des modèles de langage large (LLMs) et prend en charge des optimisations à la pointe de la technologie pour effectuer des inférences efficacement sur les GPU NVIDIA. TensorRT LLM contient également des composants pour créer des environnements d'exécution Python et C++
Is TensorRT-LLM open source?
TensorRT-LLM is an open-source project.
Is TensorRT-LLM free?
Yes. TensorRT-LLM is free and open source — you can use, modify and self-host it.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://opensourceai.tech/project/nvidia-tensorrt-llm.html)
