llm-serving

5 Projekte teilen dieses GitHub-Topic

Linien verbinden Mitglieder, die messbar miteinander verwandt sind. Die Punktgröße spiegelt die Sterne wider.

🧬 Mitglieder

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and…

High-performance inference framework for large language models, focusing on efficiency, flexibility, and…

Community maintained hardware plugin for vLLM on Ascend

MoBA: Mixture of Block Attention for Long-Context LLMs

🔗 Verwandte Familien

llm-inference 15 blackwell 6 cuda 72 deepseek 88 gpu 51 ascend 5 inference 46

Gemessen anhand der von beiden Projekten geteilten GitHub-Themen, gewichtet nach der Seltenheit jedes Themas.