LiteLLM

Un'API per oltre 100 fornitori di LLM

Framework LLM / RAGGateway / SDK LLMMITOpzionale in cloudPythonPrincipiante

OSAI Pulse ⓘ ★★★★★★★★★★ /100 segnali tracciati

🐳 download Docker 📦 download PyPI / mese 📦 download npm / mese 🚀 Ultima versione ·

Visita il sito →Visualizza su GitHub

Che cos'è LiteLLM?

LiteLLM è un gateway e SDK che espone oltre 100 fornitori di LLM dietro il formato OpenAI, aggiungendo routing, fallback, budget e osservabilità.

Perché le persone scelgono LiteLLM

Accesso al formato OpenAI per oltre 100 fornitori
Routing, fallback, budget e limiti di velocità
Server proxy per la governance a livello organizzativo

LiteLLM in un colpo d'occhio

Categoria	Framework LLM / RAG
Tipo	Gateway / SDK LLM
Licenza	MIT
Esegue localmente	Opzionale in cloud
Costruito con	Python
Livello di abilità	Principiante
Migliore per	team che standardizzano su un'interfaccia LLM

Alternative open-source a LiteLLM

Altri strumenti open-source per llm / rag da confrontare:

LangChainComponi catene, strumenti e agenti

LlamaIndexIl framework dati per RAG

HaystackPipeline di produzione per ricerca e RAG

DSPyModelli di linguaggio — non prompt —

txtaiDatabase di embeddings all-in-one

RAGFlowRAG per una comprensione profonda dei documenti

Semantic KernelFramework per agenti aziendali di Microsoft

GraphRAGRAG che costruisce prima un grafo della conoscenza

InstructorOutput strutturati affidabili dai LLM

OutlinesGarantire JSON e grammatiche validi

GuidanceIntercalare controllo e generazione

LLMWareRAG aziendale con modelli specializzati di piccole dimensioni

FlashRankReranking ultra-leggero per un migliore RAG

Sentence TransformersIl modo standard per creare embedding

RagasMisura se il tuo RAG è valido

PromptfooTest unitari per i tuoi prompt

LangfuseVedi cosa ha effettivamente fatto la tua app LLM

PhoenixTraccia, valuta e debugga le app LLM

LiteLLM a confronto

LiteLLM vs LangChain LiteLLM vs LlamaIndex LiteLLM vs Haystack LiteLLM vs DSPy LiteLLM vs txtai LiteLLM vs RAGFlow LiteLLM vs Semantic Kernel LiteLLM vs GraphRAG LiteLLM vs Instructor LiteLLM vs Outlines LiteLLM vs Guidance LiteLLM vs LLMWare LiteLLM vs FlashRank LiteLLM vs Sentence Transformers LiteLLM vs Ragas LiteLLM vs Promptfoo LiteLLM vs Langfuse LiteLLM vs Phoenix

FAQ

LiteLLM è gratuito?

LiteLLM è gratuito e open-source (licenza MIT), quindi puoi usarlo, ospitarlo autonomamente e modificarlo senza costi.

Posso eseguire LiteLLM localmente?

LiteLLM può essere utilizzato localmente o nel cloud a seconda della tua configurazione.

Qual è la migliore alternativa a LiteLLM?

Le alternative open-source più popolari includono LangChain, LlamaIndex, Haystack. Consulta i confronti sopra per scegliere.

Esplora più AI open-source

Sfoglia l'intero elenco di strumenti, modelli e progetti AI open-source — aggiornato quotidianamente.

Sfoglia tutti gli strumenti →