Mixture-of-experts मॉडल प्रति टोकन अपने केवल एक अंश पैरामीटर चलाते हैं, यही कारण है कि Tencent Hy3 295B या DeepSeek V3 671B अब उपभोक्ता RAM बजट में फिट हो जाते हैं जो पहले लगभग 70B सघन तक सीमित थे। Tencent ने 6 जुलाई 2026 को Apache 2.0 के तहत Hy3 जारी किया, जिसमें 21B सक्रिय पैरामीटर और 256K संदर्भ विंडो है। DeepSeek V3 अपडेट भेजना जारी रखता है, Mixtral 8x22B लागत में प्रतिस्पर्धी रहता है, और Qwen3 MoE के पास 30B से 235B तक के वेरिएंट हैं। बाधा GPU VRAM से हट गई है कि आपका स्थानीय runner वास्तव में विरल विशेषज्ञ राउटिंग को समझता है या नहीं, और हर runner ऐसा नहीं करता।
हमने Windows, macOS और Linux पर डेस्कटॉप पर खुले MoE LLM मॉडल चलाने के लिए 8 सर्वश्रेष्ठ ऐप्स का परीक्षण किया। प्रत्येक का मूल्यांकन GGUF और safetensors संगतता, विशेषज्ञ राउटिंग नियंत्रण, ठंडे विशेषज्ञों के लिए CPU ऑफलोड व्यवहार, और प्रोजेक्ट कितनी जल्दी hy_v3, qwen3moe और deepseek2 जैसी नई आर्किटेक्चर के लिए समर्थन देता है पर किया गया। कुछ सिंगल-फ़ाइल एक्सीक्यूटेबल हैं। अन्य मानते हैं कि आप Docker जानते हैं। सभी व्यक्तिगत उपयोग के लिए मुफ़्त हैं, और अधिकांश वाणिज्यिक उपयोग के लिए भी मुफ़्त हैं।
सक्षम MoE LLM local runner में क्या देखना है
कुछ मानदंड ऐसी ऐप्स को अलग करते हैं जो पहले दिन एक नई MoE आर्किटेक्चर को संभालती हैं उन ऐप्स से जो चुप्पी से वजन लोड करने में विफल रहती हैं:
- वर्तमान MoE आर्किटेक्चर के लिए मूल समर्थन: Mixtral, DeepSeekMoE, Qwen3MoE, Hunyuan-A13B और hy_v3। Runners आमतौर पर मॉडल रिलीज़ कैलेंडर से 2 से 4 सप्ताह पीछे होते हैं, इसलिए इससे अधिक पुरानी कोई चीज़ एक चेतावनी संकेत है।
- GGUF और safetensors कवरेज। GGUF वह है जो Hugging Face समुदाय वास्तव में स्थानीय उपयोग के लिए प्रकाशित करता है। इसके बिना Runners अधिकांश quantizations से बाहर रखे जाते हैं।
- विशेषज्ञ राउटिंग नियंत्रण। प्रत्येक MoE में एक top-k router होता है। सक्रिय विशेषज्ञों की संख्या को समायोजित करने में सक्षम होने से throughput को गुणवत्ता के विरुद्ध व्यापार होता है, और यह MoE के बीच का अंतर है जो तेज़ लगता है और वह जो घना लगता है।
- चयनात्मक CPU ऑफलोड। एक अच्छी तरह से ट्यून किया गया runner राउटर और साझा ध्यान वजन को GPU पर रखता है और ठंडे विशेषज्ञों को सिस्टम RAM में धकेलता है। यह है कि कैसे एक 295B मॉडल 64 GB DDR5 प्लस मिड-रेंज कार्ड में फिट होता है।
- OpenAI-संगत API सर्वर। लगभग हर संपादक विस्तार, एजेंट फ्रेमवर्क और मेमोरी टूल OpenAI Chat Completions बोली बोलते हैं। यदि runner इसे उजागर नहीं करता है, तो एकीकरण एक होमवर्क प्रोजेक्ट है।
- Quantization की गहराई। Q4_K_M MoE के लिए वर्तमान workhorse है। APEX और IQ4_XS जैसे नए तरीके राउटेड विशेषज्ञों पर मापने योग्य गुणवत्ता हानि के बिना अधिक VRAM बचाते हैं।
त्वरित तुलना
| ऐप्लिकेशन | सर्वश्रेष्ठ के लिए | प्लेटफ़ॉर्म | लाइसेंस | मूल्य | MoE आर्किटेक्चर |
|---|---|---|---|---|---|
| LM Studio | GUI के साथ पहली बार MoE | Windows, macOS, Linux | Proprietary | मुफ़्त | Mixtral, DeepSeek, Qwen3MoE, Hunyuan-A13B |
| Ollama | Terminal-first MoE रन | Windows, macOS, Linux | MIT | मुफ़्त | Mixtral, DeepSeek V3, Qwen3MoE |
| llama.cpp | Upstream हर wrapper पर निर्भर | Windows, macOS, Linux | MIT | मुफ़्त | Mixtral, Qwen3MoE, DeepSeekMoE, Hunyuan-A13B |
| Jan | Open-source LM Studio समकक्ष | Windows, macOS, Linux | AGPLv3 | मुफ़्त | जो कुछ llama.cpp समर्थन करता है |
| KoboldCPP | सिंगल-फ़ाइल इंस्टॉल | Windows, macOS, Linux | AGPLv3 | मुफ़्त | Mixtral, DeepSeek, Qwen3MoE |
| Text Generation WebUI | Power users के लिए | Windows, macOS, Linux | AGPLv3 | मुफ़्त | Mixtral, Qwen3MoE, तीन loaders के माध्यम से DeepSeekMoE |
| vLLM | Multi-GPU MoE serving | Linux (WSL या Docker के माध्यम से Windows/macOS) | Apache 2.0 | मुफ़्त | Mixtral 8x22B, DeepSeek V3, Qwen3MoE |
| LocalAI | Multi-backend OpenAI drop-in | Linux, macOS, Windows (Docker) | MIT | मुफ़्त | जो कुछ llama.cpp या vLLM कवर करते हैं |
ऐप्स
1. LM Studio — अधिकांश लोगों के लिए समग्र सर्वश्रेष्ठ MoE runner
LM Studio एक ताजा इंस्टॉल से एक कार्यशील MoE चैट तक सबसे तेज़ रास्ता है। ऐप में मॉडल कैटलॉग Mixtral वेरिएंट, DeepSeek Coder V2 Lite, Qwen3 MoE और Hunyuan-A13B को आकार और quantization फ़िल्टर के साथ सूचीबद्ध करता है, इसलिए अपने VRAM बजट के लिए एक MoE मॉडल चुनना एक स्क्रॉल करने योग्य कदम है, Hugging Face अभियान नहीं। लोड स्क्रीन एक Number of Experts स्लाइडर को उजागर करती है जो llama.expert_used_count को मैप करती है, जिससे आप जब गुणवत्ता token प्रति सेकंड से अधिक महत्वपूर्ण हो तो डिफ़ॉल्ट top-k को ओवरराइड कर सकते हैं। MoE वर्कफ़्लो के लिए LM Studio भी Apple Silicon पर एक MLX बैकएंड और Nvidia पर एक CUDA पथ भेजता है, इसलिए एक ही इंस्टॉल M3 Max या RTX 5090 वाले workstation पर चलता है।
यह कहां कम हो जाता है: डेस्कटॉप ऐप बंद स्रोत है, और built-in headless सर्वर को सही ढंग से उजागर करने के लिए कुछ सेटिंग्स की आवश्यकता होती है। एक lean CLI runner की तुलना में, GUI पृष्ठभूमि में अधिक RAM रखता है।
मूल्य निर्धारण:
- मुफ़्त: व्यक्तिगत और व्यावसायिक उपयोग के लिए पूर्ण डेस्कटॉप ऐप, कोई दर सीमा नहीं, कोई क्लाउड कॉल नहीं
- भुगतान: SSO, मॉडल और MCP gating, निजी टीम कैटलॉग के लिए $10 प्रति उपयोगकर्ता प्रति माह पर Enterprise योजना
प्लेटफ़ॉर्म: Windows, macOS, Linux
डाउनलोड करें: lmstudio.ai
निचली पंक्ति: विकल्प यदि आप दोपहर के भोजन से पहले अपने डेस्कटॉप पर एक MoE मॉडल चैटिंग चाहते हैं। यदि आप बंद स्रोत बायनेरी स्थापित करने से इनकार करते हैं तो इसे छोड़ दें।
2. Ollama — खुले MoE मॉडल के लिए सर्वश्रेष्ठ मुफ़्त CLI
Ollama एक एकल ollama run के साथ Mixtral, DeepSeek V3, Qwen3 MoE और Hunyuan वेरिएंट को खींचता है और localhost:11434 पर एक REST endpoint को उजागर करता है जो OpenAI Chat Completions प्रारूप बोलता है। रजिस्ट्री नई MoE रिलीज़ के साथ गति बनाए रखता है, और राउटिंग internals एक वर्तमान llama.cpp fork को ट्रैक करता है, इसलिए mixtral, deepseek2 और qwen3moe जैसी आर्किटेक्चर बिना flag संचालन के लोड होती हैं। स्थानीय MoE inference के लिए Ollama वह tool है जिसे अधिकांश डेवलपर्स उपयोग करते हैं जब वे एक राउटेड मॉडल के चारों ओर एक वर्कफ़्लो को स्क्रिप्ट करना चाहते हैं।
यह कहां कम हो जाता है: daemon के पास विशेषज्ञ count को समायोजित करने के लिए कोई UI नहीं है, इसलिए आप एक Modelfile संपादित करते हैं या विरल राउटिंग को ट्यून करने के लिए API के माध्यम से overrides पास करते हैं। डिफ़ॉल्ट Modelfiles भी conservatively context lengths को सीमित करते हैं, जो Hy3 की 256K विंडो पर तब तक चोट करता है जब तक आप num_ctx को बढ़ाते हैं।
मूल्य निर्धारण:
- मुफ़्त: संपूर्ण runtime, मॉडल रजिस्ट्री pulls और API सर्वर
- भुगतान: परियोजना से कुछ नहीं
प्लेटफ़ॉर्म: Windows, macOS, Linux
डाउनलोड करें: ollama.com या GitHub
निचली पंक्ति: सही विकल्प यदि terminal वह जगह है जहां आप पहले से रहते हैं। यदि आप विशेषज्ञ राउटिंग visual नियंत्रण चाहते हैं तो नहीं।
3. llama.cpp — tinkerers के लिए सर्वश्रेष्ठ आधार
llama.cpp वह runtime है जिसे इस सूची में लगभग हर दूसरा ऐप wrap करता है। Direct का मतलब है कि आपको कुछ भी मिलता है upstream commits के लिए पहले दिन MoE आर्किटेक्चर समर्थन: Mixtral, Qwen3MoE, DeepSeekMoE और Hunyuan-A13B के लिए अनुशंसित पथ। आपको flags भी मिलते हैं जो wrappers छिपाते हैं, जैसे top-k tuning के लिए --override-kv llama.expert_used_count=int:4 और ठंडे विशेषज्ञों को सिस्टम RAM में धकेलने के लिए --cpu-moe।
यह कहां कम हो जाता है: कोई GUI नहीं है। मॉडल प्रबंधन, quantization और OpenAI-compatible सर्वर (llama-server) अलग-अलग binaries हैं अपने स्वयं के arguments के साथ। नई आर्किटेक्चर आमतौर पर कागज़ के बाहर आने के 2 से 4 सप्ताह बाद आती हैं, जिसने स्रोत से चलने वाले शुरुआती Hy3 उपयोगकर्ताओं को मारा।
मूल्य निर्धारण:
- मुफ़्त: MIT-licensed स्रोत और CUDA, ROCm, Metal, Vulkan, SYCL और OpenVINO के लिए prebuilt binaries
- भुगतान: कोई नहीं
प्लेटफ़ॉर्म: Windows, macOS, Linux
डाउनलोड करें: llama.app या GitHub
निचली पंक्ति: किसी के लिए जो जानना चाहते हैं कि कौन सी layers GPU पर उतरती हैं। casual chat के लिए overkill।
4. Jan — सर्वश्रेष्ठ open-source LM Studio समकक्ष
Jan AGPLv3 license के साथ llama.cpp पर एक डेस्कटॉप shell है, एक Hugging Face मॉडल ब्राउजर जो GGUF files को size से filter करता है, और localhost:1337 पर एक स्थानीय OpenAI-compatible API सर्वर है। MoE कैटलॉग Mixtral वेरिएंट, DeepSeek Coder V2 Lite और community Qwen3 MoE quantizations को कवर करता है, और ऐप इसके मॉडल सेटिंग्स pane के माध्यम से llama.cpp विशेषज्ञ-राउटिंग ओवरराइड को inherit करता है। GUI चाहने वाले MoE उपयोगकर्ताओं के लिए Jan LM Studio प्रतिस्थापन के लिए निकटतम open-source stand-in है।
यह कहां कम हो जाता है: Jan सबसे हाल ही की MoE आर्किटेक्चर से एक या दो release से पीछे रहता है, इसलिए यदि hy_v3 समर्थन अभी-अभी llama.cpp master में उतरा है, तो आप एक Jan build को पकड़ने के लिए प्रतीक्षा कर सकते हैं। कुछ उपयोगकर्ता बहुत बड़ी मॉडल lists ब्राउज़ करते समय memory pressure की भी रिपोर्ट करते हैं।
मूल्य निर्धारण:
- मुफ़्त: AGPLv3 के अंतर्गत पूर्ण डेस्कटॉप ऐप
- भुगतान: कोई नहीं
प्लेटफ़ॉर्म: Windows, macOS, Linux
डाउनलोड करें: jan.ai या GitHub
निचली पंक्ति: Jan चुनें यदि आप बंद binary के बिना LM Studio-style GUI चाहते हैं। यदि आपको बिल्कुल नई आर्किटेक्चर के लिए release-day समर्थन की आवश्यकता है तो कहीं और देखें।
5. KoboldCPP — सर्वश्रेष्ठ zero-install MoE runner
KoboldCPP एक पूर्ण runtime, KoboldAI chat और story UI और एक OpenAI-compatible endpoint को एक single 200 MB executable में compress करता है। संस्करण 1.8 के बाद से, लोड स्क्रीन Mixtral, DeepSeek और Qwen3 MoE quantizations के लिए Tokens page पर MoE विशेषज्ञ count को expose करती है। Prebuilt CUDA, Vulkan और CPU-only variants Windows, Linux और Apple Silicon के लिए भेज दिए जाते हैं, जो MoE workloads के लिए KoboldCPP को सबसे छोटा संभव install path बनाता है।
यह कहां कम हो जाता है: UI को creative writing और roleplay के लिए optimize किया गया है, जो सीधे assistant work के लिए noisy को पढ़ता है। मॉडल discovery manual है: आप executable के बगल में GGUF को drop करते हैं और इसे point करते हैं।
मूल्य निर्धारण:
- मुफ़्त: AGPLv3 के अंतर्गत संपूर्ण binary, कोई telemetry नहीं
- भुगतान: कोई नहीं
प्लेटफ़ॉर्म: Windows, macOS (Apple Silicon), Linux
डाउनलोड करें: koboldcpp.com या GitHub
निचली पंक्ति: वह जो लें यदि आप पूर्ण framework स्थापित करने से इनकार करते हैं। यदि आप managed मॉडल updates चाहते हैं तो कम pleasant।
6. Text Generation WebUI — सर्वश्रेष्ठ power-user front end
Oobabooga का Text Generation WebUI आपको प्रति मॉडल llama.cpp, ExLlamaV2 और Transformers loaders के बीच switch करने देता है, जो MoE के लिए मायने रखता है क्योंकि प्रत्येक loader एक अलग विशेषज्ञ-count control expose करता है। ExLlamaV2 loader के पास Mixtral-family मॉडल के लिए Number of Experts per Token सेटिंग है, और llama.cpp side --override-kv llama.expert_used_count के माध्यम से ओवरराइड लेता है। एक --cpu-moe flag heavy offload setups के लिए विशेषज्ञ weights को सिस्टम RAM में धकेलता है।
यह कहां कम हो जाता है: प्रत्येक loader के अपने quirks होते हैं, और ऐप मानता है कि आप समझते हैं कि कौन सा quantization किस के साथ fits। पहली बार setup Jan या LM Studio से ज्यादा heavy है।
मूल्य निर्धारण:
- मुफ़्त: AGPLv3 के अंतर्गत संपूर्ण परियोजना
- भुगतान: कोई नहीं
प्लेटफ़ॉर्म: Windows, macOS, Linux
डाउनलोड करें: GitHub
निचली पंक्ति: यदि आप loaders को tune करना पसंद करते हैं और quantizations को A/B test करते हैं तो यह प्राप्त करें। यदि आप one-click MoE चाहते हैं तो इसे छोड़ दें।
7. vLLM — scale पर MoE throughput के लिए सर्वश्रेष्ठ
vLLM वह runner है जिसे लोग अपने single-GPU chat setup बढ़ने पर switch करते हैं। Version 0.6 और बाद में Mixtral 8x22B, DeepSeek V3 और Qwen3 MoE के लिए --enable-expert-parallel के माध्यम से विशेषज्ञ parallelism को समर्थन करते हैं, कई GPUs पर FP8 और BF16 tensor parallelism के साथ। Continuous batching का मतलब है कि एक ही box दर्जनों concurrent MoE requests को एक naive सर्वर को मिलने वाली tail-latency spike के बिना serve कर सकता है।
यह कहां कम हो जाता है: vLLM NVIDIA hardware के साथ Linux को target करता है। macOS और Windows उपयोगकर्ता WSL या एक container के माध्यम से जाते हैं, और single-GPU consumer setups complexity के लिए भुगतान करते हैं जिसका वे उपयोग नहीं करेंगे।
मूल्य निर्धारण:
- मुफ़्त: Apache 2.0 परियोजना,
pip install vllmके साथ install करें - भुगतान: परियोजना से कुछ नहीं
प्लेटफ़ॉर्म: Linux (native), Windows और macOS via WSL या Docker
डाउनलोड करें: vllm.ai या GitHub
निचली पंक्ति: choice का runner जब आप एक team को MoE serve कर रहे हैं। एक laptop के लिए overkill।
8. LocalAI — MoE के लिए सबसे flexible drop-in
LocalAI एक Go binary है जो OpenAI, Anthropic और ElevenLabs-compatible API को present करता है और प्रति मॉडल backends को switch करता है। Hood के अंदर यह llama.cpp, vLLM, MLX, whisper.cpp और stable-diffusion को wrap करता है, इसलिए कोई भी MoE GGUF जो llama.cpp convert कर सकता है उसी endpoint के माध्यम से runs करता है जो आपके embeddings और TTS calls का जवाब देता है। परियोजना MoE tensor roles के लिए tuned अपनी स्वयं की APEX quantization strategy ship करती है, जो Mixtral-class weights को Q8_0 quality को Q4-adjacent sizes पर match करने देता है।
यह कहां कम हो जाता है: multi-backend design एक single-runtime ऐप से ज्यादा heavy है, और configuration YAML में rather than एक GUI में रहता है। Windows और macOS उपयोगकर्ता Docker को default करते हैं।
मूल्य निर्धारण:
- मुफ़्त: MIT-licensed स्रोत और container images
- भुगतान: कोई नहीं
प्लेटफ़ॉर्म: Linux, macOS, Windows (Docker सभी तीनों पर काम करता है)
डाउनलोड करें: localai.io या GitHub
निचली पंक्ति: विकल्प जब एक endpoint को chat, embeddings, TTS और MoE inference के लिए एक साथ answer करना है। यदि आपको केवल एक chat window की आवश्यकता है तो छोड़ दें।
सही वाला कैसे चुनें
यदि आपने कभी एक local मॉडल नहीं चलाया है, तो LM Studio से शुरुआत करें। MoE नियंत्रण UI में हैं, मॉडल कैटलॉग curated है, और पहली Mixtral chat पंद्रह मिनट में होती है।
यदि आप terminal को prefer करते हैं, तो Ollama एक running Qwen3 MoE या DeepSeek V3 का सबसे छोटा path है। बाद में एक lightweight web front end के साथ pair करें यदि आप एक chat window चाहते हैं।
यदि आप hood के नीचे क्या हो रहा है यह समझना चाहते हैं, तो directly llama.cpp जाएं। हर knob एक flag है, और हर architecture को source में documented है।
यदि आपकी priority GUI को sacrifice किए बिना open source है, तो Jan एक LM Studio replacement के सबसे नज़दीक है।
यदि आप एक framework स्थापित करने से इनकार करते हैं, तो KoboldCPP कोई dependencies के साथ एक executable है।
यदि आप पहले से चार loaders को juggle करते हैं और उन्हें एक roof के अंतर्गत चाहते हैं, तो Text Generation WebUI वह है जो आप पहले से जानते हैं कि आप चाहते हैं।
यदि आप एक team को MoE traffic serve कर रहे हैं या दो या अधिक GPUs पर विशेषज्ञ parallelism चाहते हैं, तो vLLM sensible जवाब है।
यदि आपको एक single OpenAI-compatible endpoint की आवश्यकता है जो MoE chat के बगल में TTS, embeddings और vision को भी handle करता है, तो Docker में LocalAI run करें और done।
FAQ
Desktop पर MoE LLMs चलाने के लिए सर्वश्रेष्ठ मुफ़्त ऐप क्या है? Terminal users के लिए Ollama, सभी के लिए LM Studio। दोनों व्यक्तिगत और commercial use के लिए मुफ़्त हैं, दोनों out-of-the-box Mixtral, DeepSeek V3 और Qwen3 MoE को support करते हैं, और दोनों upstream llama.cpp के couple of weeks के भीतर नई MoE releases के साथ tempo रखते हैं।
क्या consumer hardware वास्तव में Tencent Hy3 जैसा 295B model चला सकता है? हाँ, caveats के साथ। Hy3 केवल 295B parameters में से 21B को प्रति token activate करता है, इसलिए throughput एक 295B की तुलना में एक 21B dense model के करीब reads करता है। आपको अभी भी पूर्ण quantized weights को hold करने के लिए पर्याप्त system RAM की आवश्यकता है, Q4 quant के लिए लगभग 180 GB, इसलिए 256 GB DDR5 और 24 GB GPU के साथ एक workstation current entry point है।
Ollama और LM Studio के बीच MoE models के लिए क्या अंतर है? Ollama एक CLI daemon है एक REST सर्वर और एक curated model registry के साथ। LM Studio एक डेस्कटॉप ऐप है एक chat UI, एक load screen के साथ explicit Number of Experts slider के साथ, और एक सर्वर जो toggles on। दोनों समान llama.cpp-based backends को wrap करते हैं। Ollama चुनें यदि आप अपने workflow को script करते हैं, LM Studio यदि आप visual controls चाहते हैं।
क्या llama.cpp Tencent Hy3 और अन्य नई MoE आर्किटेक्चर को support करता है? llama.cpp आमतौर पर model release के 2 से 4 weeks में एक नई MoE architecture add करता है। Mixtral, Qwen3MoE और DeepSeekMoE सभी उनके model drops के तुरंत बाद landed, और Hunyuan-A13B के पास Tencent के अपने docs में recommended llama.cpp path है। Hy3, जो 6 जुलाई 2026 को shipped, community GGUFs और same 2 to 4 week window में upstream merges को है।
क्या मुझे locally एक MoE model चलाने के लिए एक GPU की आवश्यकता है? Strictly नहीं। llama.cpp, KoboldCPP, Ollama और LocalAI सभी CPU-only inference और cold-expert offload को support करते हैं, इसलिए 128 GB या अधिक RAM के साथ एक workstation readable speeds पर छोटे MoE quantizations चला सकता है। 12 to 24 GB VRAM plus system RAM offload के साथ एक modern GPU वह है जहां experience pleasant हो जाता है।
कौन सा MoE runner सर्वश्रेष्ठ OpenAI-compatible API है? एक single machine के लिए, LM Studio और Ollama clean OpenAI Chat Completions endpoints को बिना config expose करते हैं। एक team या fleet के लिए, vLLM का सर्वर highest throughput और native विशेषज्ञ parallelism offer करता है। LocalAI कई backends को एक OpenAI-style API के पीछे stitch करता है, जो उपयोगी है जब chat, embeddings और vision को एक single URL share करना होता है।
