TensorRT-LLM
TensorRT LLM fornece aos usuários uma API Python fácil de usar para definir Modelos de Linguagem Grande (LLMs) e suporta otimizações de ponta para realizar inferência de forma eficiente em GPUs NVIDIA. TensorRT LLM também contém componentes para criar tempos de execução em Python e C++
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
TensorRT LLM fornece aos usuários uma API Python fácil de usar para definir Modelos de Linguagem Grande (LLMs) e suporta otimizações de ponta para realizar inferência de forma eficiente em GPUs NVIDIA. TensorRT LLM também contém componentes para criar tempos de execução em Python e C++
Read the full guideWhat is TensorRT-LLM?
TensorRT LLM fornece aos usuários uma API Python fácil de usar para definir Modelos de Linguagem Grande (LLMs) e suporta otimizações de ponta para realizar inferência de forma eficiente em GPUs NVIDIA. TensorRT LLM também contém componentes para criar tempos de execução em Python e C++
Is TensorRT-LLM open source?
TensorRT-LLM is an open-source project.
Is TensorRT-LLM free?
Yes. TensorRT-LLM is free and open source — you can use, modify and self-host it.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://opensourceai.tech/project/nvidia-tensorrt-llm.html)
