GPUStack

Gestisci cluster GPU per eseguire modelli
Esegui LLM localmenteGestore di cluster GPUApache-2.0Esegue localmentePythonAvanzato
OSAI Pulse ⓘ ★★★★★★★★★★ /100 segnali tracciati
🐳 download Docker 📦 download PyPI / mese 📦 download npm / mese 🚀 Ultima versione ·
Visita il sito →Visualizza su GitHub

Cos'è GPUStack?

GPUStack raggruppa GPU eterogenee su più macchine in un unico cluster e pianifica i carichi di lavoro dei modelli su di esse, con un'interfaccia web e endpoint compatibili con OpenAI.

Perché le persone scelgono GPUStack

GPUStack a colpo d'occhio

CategoriaEsegui LLM localmente
TipoGestore di cluster GPU
LicenzaApache-2.0
Esegue localmenteSì
Costruito conPython
Livello di abilitàAvanzato
Migliore perteam con diverse macchine GPU per raggruppare

Alternative open-source a GPUStack

Altri strumenti open-source per eseguire LLM localmente da confrontare:

OllamaEsegui LLM open localmente con un comandoLM StudioSfoglia, scarica e chatta con modelli localiJanApp desktop in stile ChatGPT open-source e offlineGPT4AllAI locale privata che gira su CPUllama.cppIl motore C/C++ che alimenta l'inferenza localeLocalAIUn'API OpenAI che ospiti autonomamenteText Generation WebUIInterfaccia web ricca di funzionalità per modelli localiKoboldCppEseguitore di modelli locali in un singolo fileMLC LLMEsegui LLM su qualsiasi dispositivo, anche telefonillamafileUn file eseguibile = modello + runtimeexoEsegui modelli grandi sui tuoi dispositivi quotidianiCortexRuntime in stile Ollama del team di JanNexa SDKEsegui qualsiasi modello su qualsiasi dispositivo — CPU, GPU, NPURamaLamaEsegui modelli come contenitori OCI

GPUStack a confronto diretto

GPUStack vs OllamaGPUStack vs LM StudioGPUStack vs JanGPUStack vs GPT4AllGPUStack vs llama.cppGPUStack vs LocalAIGPUStack vs Text Generation WebUIGPUStack vs KoboldCppGPUStack vs MLC LLMGPUStack vs llamafileGPUStack vs exoGPUStack vs CortexGPUStack vs Nexa SDKGPUStack vs RamaLama

FAQ

GPUStack è gratuito?

GPUStack è gratuito e open-source (licenza Apache-2.0), quindi puoi usarlo, ospitarlo autonomamente e modificarlo senza costi.

Posso eseguire GPUStack localmente?

Sì. GPUStack è progettato per funzionare sulla tua macchina o server, mantenendo i tuoi dati privati.

Qual è la migliore alternativa a GPUStack?

Le popolari alternative open-source includono Ollama, LM Studio, Jan. Vedi i confronti sopra per scegliere.

Esplora più AI open-source

Sfoglia l'intero elenco di strumenti, modelli e progetti AI open-source — aggiornato quotidianamente.

Sfoglia tutti gli strumenti →