gguf

9 proyectos comparten este topic de GitHub

Las líneas conectan a los miembros que están mediblemente relacionados entre sí. El tamaño de los puntos refleja las estrellas.

🧬 Miembros

Hundreds of models & providers. One command to find what runs on your hardware.

Distribute and run LLMs with a single file.

⚡ Pure-Rust WebGPU inference engine — OpenAI-API compatible, GGUF native, runs on any GPU. No Python. No…

动手学Ollama，CPU玩转大模型部署，在线阅读地址：https://datawhalechina.github.io/handy-ollam…

Go manage your Ollama models

A SOTA quantization algorithm for high-accuracy low-bit LLM inference, seamlessly optimized for CPU/XPU/CUDA,…

Interface for OuteTTS models.

Llama 3+ inference in pure Java

A desktop app for running Large Language Models locally.

🔗 Familias relacionadas

mlx 13 llama-cpp 5 local-ai 5 api-server 5 command-line-tool 5 developer-tools 50 langchain 77 ggml 12

Medido a partir de los temas de GitHub compartidos por ambos proyectos, ponderado por cuán raros son cada uno de los temas.