GPUStack

Gerencie clusters de GPU para executar modelos
Executar LLMs localmenteGerenciador de cluster GPUApache-2.0Executa localmentePythonAvançado
OSAI Pulse ⓘ ★★★★★★★★★★ /100 sinais rastreados
🐳 pulls do Docker 📦 downloads do PyPI / mês 📦 downloads do npm / mês 🚀 Última versão ·
Visitar site →Ver no GitHub

O que é o GPUStack?

GPUStack agrupa GPUs heterogêneas em várias máquinas em um único cluster e agenda cargas de trabalho de modelos entre elas, com uma interface web e endpoints compatíveis com OpenAI.

Por que as pessoas escolhem GPUStack

GPUStack em um relance

CategoriaExecutar LLMs localmente
TipoGerenciador de cluster GPU
LicençaApache-2.0
Executa localmenteSim
Construído comPython
Nível de habilidadeAvançado
Melhor paraequipes com várias máquinas GPU para agrupar

Alternativas de código aberto ao GPUStack

Outras ferramentas de código aberto para executar LLMs localmente que valem a pena comparar:

OllamaExecutar LLMs abertos localmente com um comandoLM StudioNavegar, baixar e conversar com modelos locaisJanAplicativo de desktop estilo ChatGPT, offline e de código abertoGPT4AllIA local privada que roda em CPUllama.cppO motor C/C++ que alimenta a inferência localLocalAIUma API OpenAI que você hospedaText Generation WebUIInterface web rica em recursos para modelos locaisKoboldCppExecutor de modelo local em um único arquivoMLC LLMExecutar LLMs em qualquer dispositivo, até mesmo em telefonesllamafileUm arquivo executável = modelo + tempo de execuçãoexoExecute grandes modelos em seus dispositivos do dia a diaCortexTempo de execução estilo Ollama da equipe JanNexa SDKExecute qualquer modelo em qualquer dispositivo — CPU, GPU, NPURamaLamaExecute modelos como contêineres OCI

GPUStack em comparação direta

GPUStack vs OllamaGPUStack vs LM StudioGPUStack vs JanGPUStack vs GPT4AllGPUStack vs llama.cppGPUStack vs LocalAIGPUStack vs Text Generation WebUIGPUStack vs KoboldCppGPUStack vs MLC LLMGPUStack vs llamafileGPUStack vs exoGPUStack vs CortexGPUStack vs Nexa SDKGPUStack vs RamaLama

FAQ

GPUStack é gratuito?

GPUStack é gratuito e de código aberto (licença Apache-2.0), então você pode usar, auto-hospedar e modificar sem custo.

Posso executar o GPUStack localmente?

Sim. O GPUStack é projetado para rodar na sua própria máquina ou servidor, mantendo seus dados privados.

Qual é a melhor alternativa ao GPUStack?

Alternativas populares de código aberto incluem Ollama, LM Studio, Jan. Veja as comparações acima para escolher.

Explore mais IA de código aberto

Navegue pelo diretório completo de ferramentas, modelos e projetos de IA de código aberto — atualizado diariamente.

Navegue por todas as ferramentas →