Nexa SDK esegue modelli di testo, visione, audio e immagine localmente su backend CPU, GPU e NPU, con una singola API unificata e un server compatibile con OpenAI.
| Categoria | Esegui LLM localmente |
| Tipo | Runtime locale (SDK) |
| Licenza | Apache-2.0 |
| Esegue localmente | Sì |
| Costruito con | Python |
| Livello di abilità | Intermedio |
| Migliore per | sviluppatori che mirano a molti tipi di dispositivi da un'unica base di codice |
Altri strumenti open-source per eseguire LLM localmente da confrontare:
OllamaEsegui LLM open localmente con un comando
JanApp desktop in stile ChatGPT open-source e offline
GPT4AllAI locale privata che gira su CPU
llama.cppIl motore C/C++ che alimenta l'inferenza locale
LocalAIUn'API OpenAI che ospiti autonomamente
Text Generation WebUIInterfaccia web ricca di funzionalità per modelli locali
KoboldCppEseguitore di modelli locali in un singolo file
MLC LLMEsegui LLM su qualsiasi dispositivo, anche telefoni
llamafileUn file eseguibile = modello + runtime
exoEsegui modelli grandi sui tuoi dispositivi quotidiani
CortexRuntime in stile Ollama del team di Jan
RamaLamaEsegui modelli come contenitori OCI
GPUStackGestisci cluster GPU per eseguire modelliNexa SDK è gratuito e open-source (licenza Apache-2.0), quindi puoi usarlo, self-hostarlo e modificarlo senza costi.
Sì. Nexa SDK è progettato per funzionare sulla tua macchina o server, mantenendo i tuoi dati privati.
Le popolari alternative open-source includono Ollama, LM Studio, Jan. Vedi i confronti sopra per scegliere.
Sfoglia l'intero elenco di strumenti, modelli e progetti AI open-source — aggiornato quotidianamente.
Sfoglia tutti gli strumenti →