distributed-inference

4 proyectos comparten este topic de GitHub

Las líneas conectan a los miembros que están mediblemente relacionados entre sí. El tamaño de los puntos refleja las estrellas.

🧬 Miembros

FlashInfer: Kernel Library for LLM Serving

A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU…

Achieve state of the art inference performance with modern accelerators on Kubernetes

awsome-distributed-ai

Collection of best practices, reference architectures, model training examples and utilities to train large…

🔗 Familias relacionadas

cuda 72 gpu 51 attention 36 ascend 5 deepseek 88 cncf 8 aws 46 distributed-training 11

Medido a partir de los temas de GitHub compartidos por ambos proyectos, ponderado por cuán raros son cada uno de los temas.