KTransformers
Exécutez d'énormes modèles MoE sur un GPU grand public
Serveur d'inférenceOptimiseur d'inférenceApache-2.0S'exécute localementPythonAvancé
🐳 téléchargements Docker
📦 téléchargements PyPI / mois
📦 téléchargements npm / mois
🚀 Dernière version ·
Qu'est-ce que KTransformers ?
KTransformers utilise un déchargement CPU/GPU astucieux pour exécuter de très grands modèles de mélange d'experts sur un seul GPU grand public qui ne pourrait autrement pas les accueillir.
Pourquoi les gens choisissent KTransformers
- Exécute des modèles MoE de plus de 600B sur un GPU
- Déchargement hétérogène CPU/GPU
- API compatible OpenAI prête à l'emploi
KTransformers en un coup d'œil
| Catégorie | Serveur d'inférence |
| Type | Optimiseur d'inférence |
| Licence | Apache-2.0 |
| S'exécute localement | Oui |
| Construit avec | Python |
| Niveau de compétence | Avancé |
| Meilleur pour | exécution de grands modèles MoE sur du matériel modeste |
Dernières versions
Alternatives open-source à KTransformers
Autres outils de serveur d'inférence open-source à comparer :
vLLMService à haut débit pour la production
TGIServeur de texte en production de Hugging Face
SGLangService rapide avec des sorties structurées
LMDeployBoîte à outils pour compresser et servir les LLMs
Aphrodite EngineService LLM à haut débit
TensorRT-LLMDébit maximal sur les GPU NVIDIA
OpenLLMServez n'importe quel modèle ouvert comme une API OpenAI en une commande
Ray ServeÉvoluez le service de modèles à travers un clusterBentoMLEmballer n'importe quel modèle dans une API de productionKTransformers en tête-à-tête
KTransformers vs vLLMKTransformers vs TGIKTransformers vs SGLangKTransformers vs LMDeployKTransformers vs Aphrodite EngineKTransformers vs TensorRT-LLMKTransformers vs OpenLLMKTransformers vs Ray ServeKTransformers vs BentoML
FAQ
KTransformers est-il gratuit ?
KTransformers est gratuit et open-source (licence Apache-2.0), vous pouvez donc l'utiliser, l'héberger vous-même et le modifier sans frais.
Puis-je exécuter KTransformers localement ?
Oui. KTransformers est conçu pour fonctionner sur votre propre machine ou serveur, gardant vos données privées.
Quelle est la meilleure alternative à KTransformers ?
Les alternatives open-source populaires incluent vLLM, TGI, SGLang. Consultez les comparaisons ci-dessus pour choisir.
Explorez plus d'IA open-source
Parcourez le répertoire complet des outils, modèles et projets d'IA open-source — mis à jour quotidiennement.
Parcourez tous les outils →