distributed-inference
4 Projekte teilen dieses GitHub-Topic
Linien verbinden Mitglieder, die messbar miteinander verwandt sind. Die Punktgröße spiegelt die Sterne wider.
🧬 Mitglieder
flashinfer
FlashInfer: Kernel Library for LLM Serving
★ 6k
gpustack
A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU…
★ 5.4k
llm-d
Achieve state of the art inference performance with modern accelerators on Kubernetes
★ 3.8k
awsome-distributed-ai
Collection of best practices, reference architectures, model training examples and utilities to train large…
★ 465
🔗 Verwandte Familien
Gemessen anhand der von beiden Projekten geteilten GitHub-Themen, gewichtet nach der Seltenheit jedes Themas.