GPUStack

Gérez des clusters GPU pour exécuter des modèles
Exécuter des LLM localementGestionnaire de cluster GPUApache-2.0S'exécute localementPythonAvancé
OSAI Pulse ⓘ ★★★★★★★★★★ /100 signaux suivis
🐳 téléchargements Docker 📦 téléchargements PyPI / mois 📦 téléchargements npm / mois 🚀 Dernière version ·
Visitez le site →Voir sur GitHub

Qu'est-ce que GPUStack ?

GPUStack regroupe des GPU hétérogènes à travers les machines en un seul cluster et planifie les charges de travail des modèles à travers eux, avec une interface web et des points de terminaison compatibles avec OpenAI.

Pourquoi les gens choisissent GPUStack

GPUStack en un coup d'œil

CatégorieExécuter des LLM localement
TypeGestionnaire de cluster GPU
LicenceApache-2.0
S'exécute localementOui
Construit avecPython
Niveau de compétenceAvancé
Meilleur pouréquipes avec plusieurs machines GPU pour regrouper

Alternatives open-source à GPUStack

Autres outils open-source pour exécuter des LLM localement qui valent la peine d'être comparés :

OllamaExécuter des LLM open-source localement avec une seule commandeLM StudioParcourir, télécharger et discuter avec des modèles locauxJanApplication de bureau de style ChatGPT open-source et hors ligneGPT4AllIA locale privée qui s'exécute sur CPUllama.cppLe moteur C/C++ alimentant l'inférence localeLocalAIUne API OpenAI à auto-hébergerText Generation WebUIInterface web riche en fonctionnalités pour les modèles locauxKoboldCppExécuteur de modèle local en un seul fichierMLC LLMExécuter des LLM sur n'importe quel appareil, même les téléphonesllamafileUn fichier exécutable = modèle + runtimeexoExécutez de grands modèles sur vos appareils quotidiensCortexRuntime de style Ollama de l'équipe JanNexa SDKExécutez n'importe quel modèle sur n'importe quel appareil — CPU, GPU, NPURamaLamaExécutez des modèles en tant que conteneurs OCI

GPUStack en tête-à-tête

GPUStack vs OllamaGPUStack vs LM StudioGPUStack vs JanGPUStack vs GPT4AllGPUStack vs llama.cppGPUStack vs LocalAIGPUStack vs Text Generation WebUIGPUStack vs KoboldCppGPUStack vs MLC LLMGPUStack vs llamafileGPUStack vs exoGPUStack vs CortexGPUStack vs Nexa SDKGPUStack vs RamaLama

FAQ

GPUStack est-il gratuit ?

GPUStack est gratuit et open-source (licence Apache-2.0), donc vous pouvez l'utiliser, l'héberger vous-même et le modifier sans frais.

Puis-je exécuter GPUStack localement ?

Oui. GPUStack est conçu pour fonctionner sur votre propre machine ou serveur, gardant vos données privées.

Quelle est la meilleure alternative à GPUStack ?

Les alternatives open-source populaires incluent Ollama, LM Studio, Jan. Consultez les comparaisons ci-dessus pour choisir.

Explorez plus d'IA open-source

Parcourez le répertoire complet des outils, modèles et projets d'IA open-source — mis à jour quotidiennement.

Parcourez tous les outils →