OpenLLM
Sirva qualquer modelo aberto como uma API OpenAI em um comando
Servidor de inferênciaFramework de atendimentoApache-2.0Executa localmentePythonIniciante
🐳 pulls do Docker
📦 downloads do PyPI / mês
📦 downloads do npm / mês
🚀 Última versão ·
O que é o OpenLLM?
O OpenLLM da BentoML executa modelos abertos por trás de um endpoint compatível com OpenAI com um comando, adiciona uma interface de chat e empacota tudo para implantação em Docker ou nuvem.
Por que as pessoas escolhem o OpenLLM
- Um comando do modelo para API compatível com OpenAI
- Interface de chat embutida para testes rápidos
- Caminho limpo para implantação em Docker e nuvem via BentoML
OpenLLM em um relance
| Categoria | Servidor de inferência |
| Tipo | Framework de atendimento |
| Licença | Apache-2.0 |
| Executa localmente | Sim |
| Construído com | Python |
| Nível de habilidade | Iniciante |
| Melhor para | indo do nome do modelo para o endpoint de produção rapidamente |
Últimas versões
Alternativas de código aberto ao OpenLLM
Outras ferramentas de servidor de inferência de código aberto que valem a pena comparar:
vLLMServiço de alta capacidade para produção
TGIServidor de texto de produção da Hugging Face
SGLangServiço rápido com saídas estruturadas
LMDeployKit de ferramentas para comprimir e servir LLMs
Aphrodite EngineServiço de LLM de alto desempenho
TensorRT-LLMMáxima taxa de transferência em GPUs NVIDIA
KTransformersExecute enormes modelos MoE em uma GPU de consumidor
Ray ServeEscalone a entrega de modelos em um clusterBentoMLEmpacote qualquer modelo em uma API de produçãoOpenLLM comparativo
OpenLLM vs vLLMOpenLLM vs TGIOpenLLM vs SGLangOpenLLM vs LMDeployOpenLLM vs Aphrodite EngineOpenLLM vs TensorRT-LLMOpenLLM vs KTransformersOpenLLM vs Ray ServeOpenLLM vs BentoML
FAQ
O OpenLLM é gratuito?
O OpenLLM é gratuito e de código aberto (licença Apache-2.0), então você pode usá-lo, hospedá-lo e modificá-lo sem custo.
Posso executar o OpenLLM localmente?
Sim. O OpenLLM é projetado para ser executado em sua própria máquina ou servidor, mantendo seus dados privados.
Qual é a melhor alternativa ao OpenLLM?
Alternativas populares de código aberto incluem vLLM, TGI, SGLang. Veja as comparações acima para escolher.
Explore mais IA de código aberto
Navegue pelo diretório completo de ferramentas, modelos e projetos de IA de código aberto — atualizado diariamente.
Navegue por todas as ferramentas →