TensorRT-LLM
TensorRT LLM bietet Benutzern eine benutzerfreundliche Python-API zum Definieren von großen Sprachmodellen (LLMs) und unterstützt modernste Optimierungen, um Inferenz effizient auf NVIDIA-GPUs durchzuführen. TensorRT LLM enthält auch Komponenten zur Erstellung von Python- und C++-Laufzeiten.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
TensorRT LLM bietet Benutzern eine benutzerfreundliche Python-API zum Definieren von großen Sprachmodellen (LLMs) und unterstützt modernste Optimierungen, um Inferenz effizient auf NVIDIA-GPUs durchzuführen. TensorRT LLM enthält auch Komponenten zur Erstellung von Python- und C++-Laufzeiten.
Read the full guideWhat is TensorRT-LLM?
TensorRT LLM bietet Benutzern eine benutzerfreundliche Python-API zum Definieren von großen Sprachmodellen (LLMs) und unterstützt modernste Optimierungen, um Inferenz effizient auf NVIDIA-GPUs durchzuführen. TensorRT LLM enthält auch Komponenten zur Erstellung von Python- und C++-Laufzeiten.
Is TensorRT-LLM open source?
TensorRT-LLM is an open-source project.
Is TensorRT-LLM free?
Yes. TensorRT-LLM is free and open source — you can use, modify and self-host it.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://opensourceai.tech/project/nvidia-tensorrt-llm.html)
