OpenLLM

Servi qualsiasi modello aperto come un'API OpenAI in un comando
Server di inferenzaFramework di servizioApache-2.0Esegue localmentePythonPrincipiante
OSAI Pulse ⓘ ★★★★★★★★★★ /100 segnali tracciati
🐳 download Docker 📦 download PyPI / mese 📦 download npm / mese 🚀 Ultima versione ·
Visita il sito →Visualizza su GitHub

Cos'è OpenLLM?

OpenLLM di BentoML esegue modelli aperti dietro un endpoint compatibile con OpenAI con un comando, aggiunge un'interfaccia chat e impacchetta tutto per il deployment su Docker o cloud.

Perché le persone scelgono OpenLLM

OpenLLM a colpo d'occhio

CategoriaServer di inferenza
TipoFramework di servizio
LicenzaApache-2.0
Esegue localmenteSì
Costruito conPython
Livello di abilitàPrincipiante
Migliore perandare dal nome del modello all'endpoint di produzione rapidamente

Alternative open-source a OpenLLM

Altri strumenti di server di inferenza open-source da confrontare:

vLLMServizio ad alta capacità per la produzioneTGIServer di testo in produzione di Hugging FaceSGLangServizio veloce con output strutturatiLMDeployToolkit per comprimere e servire LLMAphrodite EngineServizio LLM ad alta capacitàTensorRT-LLMMassima capacità su GPU NVIDIAKTransformersEsegui enormi modelli MoE su una GPU consumerRay ServeScala il servizio dei modelli su un clusterBentoMLImballa qualsiasi modello in un'API di produzione

OpenLLM a confronto

OpenLLM vs vLLMOpenLLM vs TGIOpenLLM vs SGLangOpenLLM vs LMDeployOpenLLM vs Aphrodite EngineOpenLLM vs TensorRT-LLMOpenLLM vs KTransformersOpenLLM vs Ray ServeOpenLLM vs BentoML

FAQ

OpenLLM è gratuito?

OpenLLM è gratuito e open-source (licenza Apache-2.0), quindi puoi usarlo, ospitarlo autonomamente e modificarlo senza costi.

Posso eseguire OpenLLM localmente?

Sì. OpenLLM è progettato per essere eseguito sulla tua macchina o server, mantenendo i tuoi dati privati.

Qual è la migliore alternativa a OpenLLM?

Le alternative open-source popolari includono vLLM, TGI, SGLang. Vedi i confronti sopra per scegliere.

Esplora più AI open-source

Sfoglia l'intero elenco di strumenti, modelli e progetti AI open-source — aggiornato quotidianamente.

Sfoglia tutti gli strumenti →