TensorRT-LLM

Máxima taxa de transferência em GPUs NVIDIA
Servidor de inferênciaMotor de inferência (NVIDIA)Apache-2.0Executa localmenteC++/PythonAvançado
OSAI Pulse ⓘ ★★★★★★★★★★ /100 sinais rastreados
🐳 pulls do Docker 📦 downloads do PyPI / mês 📦 downloads do npm / mês 🚀 Última versão ·
Visitar site →Ver no GitHub

O que é o TensorRT-LLM?

TensorRT-LLM compila modelos em núcleos NVIDIA altamente otimizados com agrupamento em voo, quantização e paralelismo de tensor multi-GPU — a referência para extrair o máximo de tokens por segundo do hardware NVIDIA.

Por que as pessoas escolhem o TensorRT-LLM

TensorRT-LLM em um relance

CategoriaServidor de inferência
TipoMotor de inferência (NVIDIA)
LicençaApache-2.0
Executa localmenteSim
Construído comC++/Python
Nível de habilidadeAvançado
Melhor paramáximo desempenho em GPUs de data center NVIDIA

Alternativas de código aberto ao TensorRT-LLM

Outras ferramentas de servidor de inferência de código aberto que valem a pena comparar:

vLLMServiço de alta capacidade para produçãoTGIServidor de texto de produção da Hugging FaceSGLangServiço rápido com saídas estruturadasLMDeployKit de ferramentas para comprimir e servir LLMsAphrodite EngineServiço de LLM de alto desempenhoOpenLLMSirva qualquer modelo aberto como uma API OpenAI em um comandoKTransformersExecute enormes modelos MoE em uma GPU de consumidorRay ServeEscalone a entrega de modelos em um clusterBentoMLEmpacote qualquer modelo em uma API de produção

TensorRT-LLM comparado lado a lado

TensorRT-LLM vs vLLMTensorRT-LLM vs TGITensorRT-LLM vs SGLangTensorRT-LLM vs LMDeployTensorRT-LLM vs Aphrodite EngineTensorRT-LLM vs OpenLLMTensorRT-LLM vs KTransformersTensorRT-LLM vs Ray ServeTensorRT-LLM vs BentoML

FAQ

O TensorRT-LLM é gratuito?

TensorRT-LLM é gratuito e de código aberto (licença Apache-2.0), então você pode usá-lo, hospedá-lo e modificá-lo sem custo.

Posso executar o TensorRT-LLM localmente?

Sim. O TensorRT-LLM é projetado para ser executado em sua própria máquina ou servidor, mantendo seus dados privados.

Qual é a melhor alternativa ao TensorRT-LLM?

Alternativas populares de código aberto incluem vLLM, TGI, SGLang. Veja as comparações acima para escolher.

Explore mais IA de código aberto

Navegue pelo diretório completo de ferramentas, modelos e projetos de IA de código aberto — atualizado diariamente.

Navegue por todas as ferramentas →