TensorRT-LLM
TensorRT LLM fornisce agli utenti un'API Python facile da usare per definire Modelli di Linguaggio di Grandi Dimensioni (LLM) e supporta ottimizzazioni all'avanguardia per eseguire inferenze in modo efficiente su GPU NVIDIA. TensorRT LLM contiene anche componenti per creare runtime Python e C++
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
TensorRT LLM fornisce agli utenti un'API Python facile da usare per definire Modelli di Linguaggio di Grandi Dimensioni (LLM) e supporta ottimizzazioni all'avanguardia per eseguire inferenze in modo efficiente su GPU NVIDIA. TensorRT LLM contiene anche componenti per creare runtime Python e C++
Read the full guideWhat is TensorRT-LLM?
TensorRT LLM fornisce agli utenti un'API Python facile da usare per definire Modelli di Linguaggio di Grandi Dimensioni (LLM) e supporta ottimizzazioni all'avanguardia per eseguire inferenze in modo efficiente su GPU NVIDIA. TensorRT LLM contiene anche componenti per creare runtime Python e C++
Is TensorRT-LLM open source?
TensorRT-LLM is an open-source project.
Is TensorRT-LLM free?
Yes. TensorRT-LLM is free and open source — you can use, modify and self-host it.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://opensourceai.tech/project/nvidia-tensorrt-llm.html)
