KTransformers
Execute enormes modelos MoE em uma GPU de consumidor
Servidor de inferênciaOtimizador de inferênciaApache-2.0Executa localmentePythonAvançado
🐳 pulls do Docker
📦 downloads do PyPI / mês
📦 downloads do npm / mês
🚀 Última versão ·
O que é o KTransformers?
KTransformers usa descarregamento inteligente de CPU/GPU para executar modelos muito grandes de mistura de especialistas em uma única GPU de consumidor que não poderia acomodá-los de outra forma.
Por que as pessoas escolhem o KTransformers
- Executa modelos MoE de 600B+ em uma GPU
- Descarregamento heterogêneo de CPU/GPU
- API compatível com OpenAI
KTransformers em um relance
| Categoria | Servidor de inferência |
| Tipo | Otimizador de inferência |
| Licença | Apache-2.0 |
| Executa localmente | Sim |
| Construído com | Python |
| Nível de habilidade | Avançado |
| Melhor para | executando enormes modelos MoE em hardware modesto |
Últimas versões
Alternativas de código aberto ao KTransformers
Outras ferramentas de servidor de inferência de código aberto que valem a pena comparar:
vLLMServiço de alta capacidade para produção
TGIServidor de texto de produção da Hugging Face
SGLangServiço rápido com saídas estruturadas
LMDeployKit de ferramentas para comprimir e servir LLMs
Aphrodite EngineServiço de LLM de alto desempenho
TensorRT-LLMMáxima taxa de transferência em GPUs NVIDIA
OpenLLMSirva qualquer modelo aberto como uma API OpenAI em um comando
Ray ServeEscalone a entrega de modelos em um clusterBentoMLEmpacote qualquer modelo em uma API de produçãoKTransformers confronto direto
KTransformers vs vLLMKTransformers vs TGIKTransformers vs SGLangKTransformers vs LMDeployKTransformers vs Aphrodite EngineKTransformers vs TensorRT-LLMKTransformers vs OpenLLMKTransformers vs Ray ServeKTransformers vs BentoML
FAQ
O KTransformers é gratuito?
O KTransformers é gratuito e de código aberto (licença Apache-2.0), então você pode usar, auto-hospedar e modificar sem custo.
Posso executar o KTransformers localmente?
Sim. O KTransformers é projetado para rodar na sua própria máquina ou servidor, mantendo seus dados privados.
Qual é a melhor alternativa ao KTransformers?
Alternativas populares de código aberto incluem vLLM, TGI, SGLang. Veja as comparações acima para escolher.
Explore mais IA de código aberto
Navegue pelo diretório completo de ferramentas, modelos e projetos de IA de código aberto — atualizado diariamente.
Navegue por todas as ferramentas →