distributed-inference
4 progetti condividono questo topic GitHub
Le linee collegano membri che sono misurabilmente correlati tra loro. La dimensione dei punti riflette le stelle.
🧬 Membri
flashinfer
FlashInfer: Kernel Library for LLM Serving
★ 6k
gpustack
A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU…
★ 5.4k
llm-d
Achieve state of the art inference performance with modern accelerators on Kubernetes
★ 3.8k
awsome-distributed-ai
Collection of best practices, reference architectures, model training examples and utilities to train large…
★ 465
🔗 Famiglie affini
Misurato dai temi di GitHub condivisi da entrambi i progetti, ponderato in base a quanto è raro ciascun tema.