TensorRT-LLM

Máximo rendimiento en GPUs NVIDIA
Servidor de inferenciaMotor de inferencia (NVIDIA)Apache-2.0Ejecuta localmenteC++/PythonAvanzado
OSAI Pulse ⓘ ★★★★★★★★★★ /100 señales rastreadas
🐳 descargas de Docker 📦 descargas de PyPI / mes 📦 descargas de npm / mes 🚀 Última versión ·
Visitar sitio web →Ver en GitHub

¿Qué es TensorRT-LLM?

TensorRT-LLM compila modelos en núcleos NVIDIA altamente optimizados con agrupamiento en vuelo, cuantización y paralelismo de tensores en múltiples GPUs — la referencia para exprimir el máximo de tokens por segundo del hardware NVIDIA.

Por qué la gente elige TensorRT-LLM

TensorRT-LLM en un vistazo

CategoríaServidor de inferencia
TipoMotor de inferencia (NVIDIA)
LicenciaApache-2.0
Ejecuta localmenteSí
Construido conC++/Python
Nivel de habilidadAvanzado
Mejor paramáximo rendimiento en GPUs de centro de datos NVIDIA

Alternativas de código abierto a TensorRT-LLM

Otras herramientas de servidor de inferencia de código abierto que vale la pena comparar:

vLLMServicio de alto rendimiento para producciónTGIServidor de texto de producción de Hugging FaceSGLangServicio rápido con salidas estructuradasLMDeployConjunto de herramientas para comprimir y servir LLMsAphrodite EngineServicio de LLM de alto rendimientoOpenLLMSirve cualquier modelo abierto como una API de OpenAI en un comandoKTransformersEjecuta enormes modelos MoE en una GPU de consumoRay ServeEscala el servicio de modelos a través de un clústerBentoMLEmpaqueta cualquier modelo en una API de producción

TensorRT-LLM cara a cara

TensorRT-LLM vs vLLMTensorRT-LLM vs TGITensorRT-LLM vs SGLangTensorRT-LLM vs LMDeployTensorRT-LLM vs Aphrodite EngineTensorRT-LLM vs OpenLLMTensorRT-LLM vs KTransformersTensorRT-LLM vs Ray ServeTensorRT-LLM vs BentoML

Preguntas frecuentes

¿Es TensorRT-LLM gratuito?

TensorRT-LLM es gratuito y de código abierto (licencia Apache-2.0), por lo que puedes usarlo, autoalojarlo y modificarlo sin costo alguno.

¿Puedo ejecutar TensorRT-LLM localmente?

Sí. TensorRT-LLM está diseñado para ejecutarse en tu propia máquina o servidor, manteniendo tus datos privados.

¿Cuál es la mejor alternativa a TensorRT-LLM?

Las alternativas populares de código abierto incluyen vLLM, TGI, SGLang. Consulta las comparaciones anteriores para elegir.

Explora más IA de código abierto

Navega por el directorio completo de herramientas, modelos y proyectos de IA de código abierto, actualizado diariamente.

Navega todas las herramientas →