LiteLLM

Uma API para mais de 100 provedores de LLM

Framework LLM / RAGGateway / SDK de LLMMITOpcional na nuvemPythonIniciante

OSAI Pulse ⓘ ★★★★★★★★★★ /100 sinais rastreados

🐳 pulls do Docker 📦 downloads do PyPI / mês 📦 downloads do npm / mês 🚀 Última versão ·

Visitar site →Ver no GitHub

O que é LiteLLM?

LiteLLM é um gateway e SDK que expõe mais de 100 provedores de LLM por trás do formato OpenAI, adicionando roteamento, fallback, orçamentos e observabilidade.

Por que as pessoas escolhem LiteLLM

Acesso ao formato OpenAI para mais de 100 provedores
Roteamento, fallbacks, orçamentos e limites de taxa
Servidor proxy para governança em toda a organização

LiteLLM em um relance

Categoria	Framework LLM / RAG
Tipo	Gateway / SDK de LLM
Licença	MIT
Executa localmente	Opcional na nuvem
Construído com	Python
Nível de habilidade	Iniciante
Melhor para	equipes padronizando em uma interface de LLM

Alternativas de código aberto ao LiteLLM

Outras ferramentas de frameworks llm / rag de código aberto que valem a pena comparar:

LangChainCompor cadeias, ferramentas e agentes

LlamaIndexA estrutura de dados para RAG

HaystackPipelines de produção para busca e RAG

DSPyModelos de linguagem — não prompts — de programação

txtaiBanco de dados de embeddings tudo-em-um

RAGFlowRAG de compreensão profunda de documentos

Semantic KernelFramework de agente empresarial da Microsoft

GraphRAGRAG que constrói primeiro um gráfico de conhecimento

InstructorSaídas estruturadas confiáveis de LLMs

OutlinesGaranta JSON e gramáticas válidas

GuidanceIntercale controle e geração

LLMWareRAG empresarial com pequenos modelos especializados

FlashRankReclassificação ultra-leve para melhor RAG

Sentence TransformersA maneira padrão de criar embeddings

RagasMeça se o seu RAG é bom

PromptfooTestes unitários para seus prompts

LangfuseVeja o que seu aplicativo LLM realmente fez

PhoenixRastreie, avalie e depure aplicativos LLM

LiteLLM lado a lado

LiteLLM vs LangChain LiteLLM vs LlamaIndex LiteLLM vs Haystack LiteLLM vs DSPy LiteLLM vs txtai LiteLLM vs RAGFlow LiteLLM vs Semantic Kernel LiteLLM vs GraphRAG LiteLLM vs Instructor LiteLLM vs Outlines LiteLLM vs Guidance LiteLLM vs LLMWare LiteLLM vs FlashRank LiteLLM vs Sentence Transformers LiteLLM vs Ragas LiteLLM vs Promptfoo LiteLLM vs Langfuse LiteLLM vs Phoenix

FAQ

LiteLLM é gratuito?

LiteLLM é gratuito e de código aberto (licença MIT), então você pode usar, auto-hospedar e modificar sem custo.

Posso executar o LiteLLM localmente?

LiteLLM pode ser usado localmente ou na nuvem, dependendo da sua configuração.

Qual é a melhor alternativa ao LiteLLM?

Alternativas populares de código aberto incluem LangChain, LlamaIndex, Haystack. Veja as comparações acima para escolher.

Explore mais IA de código aberto

Navegue pelo diretório completo de ferramentas, modelos e projetos de IA de código aberto — atualizado diariamente.

Navegue por todas as ferramentas →