TensorRT-LLM

Massima capacità su GPU NVIDIA
Server di inferenzaMotore di inferenza (NVIDIA)Apache-2.0Esegue localmenteC++/PythonAvanzato
OSAI Pulse ⓘ ★★★★★★★★★★ /100 segnali tracciati
🐳 download Docker 📦 download PyPI / mese 📦 download npm / mese 🚀 Ultima versione ·
Visita il sito →Visualizza su GitHub

Cos'è TensorRT-LLM?

TensorRT-LLM compila modelli in kernel NVIDIA altamente ottimizzati con batching in volo, quantizzazione e parallelismo tensoriale multi-GPU — il riferimento per ottenere il massimo di token al secondo dall'hardware NVIDIA.

Perché le persone scelgono TensorRT-LLM

TensorRT-LLM a colpo d'occhio

CategoriaServer di inferenza
TipoMotore di inferenza (NVIDIA)
LicenzaApache-2.0
Esegue localmenteSì
Costruito conC++/Python
Livello di abilitàAvanzato
Migliore permassima prestazione su GPU data-center NVIDIA

Alternative open-source a TensorRT-LLM

Altri strumenti di server di inferenza open-source da confrontare:

vLLMServizio ad alta capacità per la produzioneTGIServer di testo in produzione di Hugging FaceSGLangServizio veloce con output strutturatiLMDeployToolkit per comprimere e servire LLMAphrodite EngineServizio LLM ad alta capacitàOpenLLMServi qualsiasi modello aperto come un'API OpenAI in un comandoKTransformersEsegui enormi modelli MoE su una GPU consumerRay ServeScala il servizio dei modelli su un clusterBentoMLImballa qualsiasi modello in un'API di produzione

TensorRT-LLM testa a testa

TensorRT-LLM vs vLLMTensorRT-LLM vs TGITensorRT-LLM vs SGLangTensorRT-LLM vs LMDeployTensorRT-LLM vs Aphrodite EngineTensorRT-LLM vs OpenLLMTensorRT-LLM vs KTransformersTensorRT-LLM vs Ray ServeTensorRT-LLM vs BentoML

FAQ

TensorRT-LLM è gratuito?

TensorRT-LLM è gratuito e open-source (licenza Apache-2.0), quindi puoi usarlo, ospitarlo autonomamente e modificarlo senza costi.

Posso eseguire TensorRT-LLM localmente?

Sì. TensorRT-LLM è progettato per essere eseguito sulla tua macchina o server, mantenendo i tuoi dati privati.

Qual è la migliore alternativa a TensorRT-LLM?

Le alternative open-source popolari includono vLLM, TGI, SGLang. Vedi i confronti sopra per scegliere.

Esplora più AI open-source

Sfoglia l'intero elenco di strumenti, modelli e progetti AI open-source — aggiornato quotidianamente.

Sfoglia tutti gli strumenti →