GPUStack

Gestiona clústeres de GPU para ejecutar modelos
Ejecutar LLMs localmenteGestor de clúster de GPUApache-2.0Ejecuta localmentePythonAvanzado
OSAI Pulse ⓘ ★★★★★★★★★★ /100 señales rastreadas
🐳 descargas de Docker 📦 descargas de PyPI / mes 📦 descargas de npm / mes 🚀 Última versión ·
Visitar sitio web →Ver en GitHub

¿Qué es GPUStack?

GPUStack agrupa GPUs heterogéneas a través de máquinas en un solo clúster y programa cargas de trabajo de modelos entre ellas, con una interfaz web y puntos finales compatibles con OpenAI.

¿Por qué la gente elige GPUStack?

GPUStack de un vistazo

CategoríaEjecutar LLMs localmente
TipoGestor de clúster de GPU
LicenciaApache-2.0
Ejecuta localmenteSí
Construido conPython
Nivel de habilidadAvanzado
Mejor paraequipos con varias máquinas GPU para agrupar

Alternativas de código abierto a GPUStack

Otras herramientas de código abierto para ejecutar LLMs localmente que vale la pena comparar:

OllamaEjecutar LLMs abiertos localmente con un solo comandoLM StudioExplorar, descargar y chatear con modelos localesJanAplicación de escritorio estilo ChatGPT de código abierto y sin conexiónGPT4AllIA local privada que se ejecuta en CPUllama.cppEl motor C/C++ que impulsa la inferencia localLocalAIUna API de OpenAI que autohospedasText Generation WebUIInterfaz web rica en funciones para modelos localesKoboldCppEjecutor de modelo local en un solo archivoMLC LLMEjecutar LLMs en cualquier dispositivo, incluso teléfonosllamafileUn archivo ejecutable = modelo + tiempo de ejecuciónexoEjecuta grandes modelos en tus dispositivos cotidianosCortexTiempo de ejecución estilo Ollama del equipo de JanNexa SDKEjecuta cualquier modelo en cualquier dispositivo — CPU, GPU, NPURamaLamaEjecuta modelos como contenedores OCI

GPUStack cara a cara

GPUStack vs OllamaGPUStack vs LM StudioGPUStack vs JanGPUStack vs GPT4AllGPUStack vs llama.cppGPUStack vs LocalAIGPUStack vs Text Generation WebUIGPUStack vs KoboldCppGPUStack vs MLC LLMGPUStack vs llamafileGPUStack vs exoGPUStack vs CortexGPUStack vs Nexa SDKGPUStack vs RamaLama

Preguntas frecuentes

¿Es GPUStack gratuito?

GPUStack es gratuito y de código abierto (licencia Apache-2.0), por lo que puedes usarlo, autoalojarlo y modificarlo sin costo alguno.

¿Puedo ejecutar GPUStack localmente?

Sí. GPUStack está diseñado para ejecutarse en tu propia máquina o servidor, manteniendo tus datos privados.

¿Cuál es la mejor alternativa a GPUStack?

Las alternativas populares de código abierto incluyen Ollama, LM Studio, Jan. Consulta las comparaciones anteriores para elegir.

Explora más IA de código abierto

Navega por el directorio completo de herramientas, modelos y proyectos de IA de código abierto, actualizado diariamente.

Navega todas las herramientas →