kv-cache

4 progetti condividono questo topic GitHub

Le linee collegano membri che sono misurabilmente correlati tra loro. La dimensione dei punti riflette le stelle.

🧬 Membri

KVCache-Factory

Unified KV Cache Compression Methods for Auto-Regressive Models

LLM KV cache compression made easy

[NeurIPS'23] H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models.

Run larger LLMs with longer contexts on Apple Silicon by using differentiated precision for KV cache…

🔗 Famiglie affini

inference 46 gpt-3 50 apple-silicon 29 llama-cpp 5

Misurato dai temi di GitHub condivisi da entrambi i progetti, ponderato in base a quanto è raro ciascun tema.