XDA ने मार्च में बदलाव को चिह्नित किया: Ollama 0.19 ने अपने Apple Silicon बैकएंड को MLX में बदल दिया और prefill लगभग 1.6x बढ़ गई, decode समान M-सीरीज़ हार्डवेयर पर 2x के करीब है। कारण Mac आर्किटेक्चर का वह हिस्सा है जो चुप्पी से लोकल AI के लिए प्रमुख विशेषता बन गया है। एकीकृत मेमोरी GPU को वही RAM पढ़ने देती है जो CPU उपयोग करता है, इसलिए एक 64 GB MacBook एक 70B-क्लास मॉडल लोड कर सकता है जो 24 GB RTX कार्ड पर फिट नहीं होगा, और MLX, Apple का अपना ML फ्रेमवर्क, ने उस हार्डवेयर को क्रॉस-प्लेटफॉर्म रनटाइम की तुलना में कठोर धकेलना सीख लिया है।
हमने Mac पर लोकल LLMs चलाने के लिए 7 सर्वश्रेष्ठ ऐप्स का परीक्षण किया, जो उन उपकरणों की ओर पूर्वाग्रह के साथ जो वास्तव में MLX या Metal का उपयोग करते हैं न कि जो संकलित होने के लिए संयोग से होते हैं। बेंचमार्क सामान्य सामान था: एक मॉडल M2 Pro पर कितना तेज़ लोड होता है, ऐप GPU offload का कितना साफ़ उपयोग करता है, क्या चैट UI एक घंटे के बाद सुखद है, और क्या प्रोजेक्ट नई मॉडल आर्किटेक्चर के साथ तालमेल रखता है। अधिकांश मजबूत विकल्प मुफ़्त हैं या उदार व्यक्तिगत स्तर हैं।
Mac लोकल-LLM ऐप में क्या देखें
कुछ मानदंड उन उपकरणों को अलग करते हैं जो MacBook पर बचते हैं उन से जो दूसरे सप्ताह तक अनइंस्टॉल हो जाते हैं:
- MLX समर्थन। Apple का फ्रेमवर्क अब M-सीरीज़ चिप्स पर सबसे तेज़ पथ है। ऐप्स जो MLX बैकएंड भेजते हैं, न कि केवल llama.cpp wrapper, M5 और बाद की सिलिकॉन पर लीड को चौड़ा करते रहेंगे।
- Metal GPU offload। llama.cpp पर अभी भी ऐप्स के लिए, Metal बैकएंड की गुणवत्ता तय करती है कि tokens प्रति सेकंड उपयोग योग्य है या एक स्लाइडशो।
- GGUF संगतता। GGUF वह प्रारूप है जो Hugging Face कैटलॉग भेजता है। एक ऐप जो हाल की GGUF लोड नहीं कर सकता, वह एक मृत अंत है, Apple Silicon पर भी।
- एकीकृत-मेमोरी जागरूकता। अच्छे ऐप्स दिखाते हैं कि एक मॉडल कितनी साझी RAM खाएगा और आपको ऐसा कुछ लोड करने से रोकते हैं जो swap करेगा। बुरे लोग macOS को thrash करने देते हैं और फिर क्रैश हो जाते हैं।
- OpenAI-संगत API।
localhostपर एक लोकल endpoint वह है जो मॉडल को editor extensions, notebooks और shortcuts से जोड़ता है। सबसे मजबूत ऐप्स बिना अतिरिक्त सेटअप के एक को उजागर करते हैं। - गोपनीयता का रुख। कुछ ऐप पूरी तरह से ऑफलाइन चलते हैं। अन्य विश्लेषण के लिए डिफ़ॉल्ट रूप से घर पर कॉल करते हैं और इसे रोकने के लिए एक flag की आवश्यकता है, जो महत्वपूर्ण है यदि आप लोकल गए कारण की शुरुआत में गोपनीयता थी।
त्वरित तुलना
| ऐप | इसके लिए सर्वश्रेष्ठ | Apple Silicon समर्थन | मुफ़्त योजना | विशेषता को उजागर करता है |
|---|---|---|---|---|
| Ollama | MLX बैकएंड के साथ वन-लाइन इंस्टॉल | M-सीरीज़ पर MLX engine | हाँ (open source) | localhost:11434 पर OpenAI-संगत API |
| LM Studio | पॉलिश चैट GGUF और MLX साथ-साथ | Native MLX runtime | हाँ (व्यक्तिगत उपयोग के लिए मुफ़्त) | एक विंडो में GGUF और MLX मॉडल लोड करें |
| Jan | पूरी तरह से open source चैट जो ऑफलाइन मोड का सम्मान करता है | llama.cpp के माध्यम से Metal | हाँ (open source) | कोई telemetry नहीं और पारदर्शी सेटिंग्स panel |
| GPT4All | कम-RAM Macs और पुराने Apple Silicon | llama.cpp के माध्यम से Metal | हाँ (open source) | 8 GB मशीन के लिए afinned CPU-first quants |
| Msty | एक ही prompt पर दो लोकल मॉडल की तुलना | llama.cpp के माध्यम से Metal | हाँ (free tier) | दो मॉडल, एक विंडो, समान prompt |
| MLX Chat (mlx-lm) | अधिकतम throughput और fine-tuning | प्रथम-पक्ष MLX | हाँ (open source) | MLX मॉडल के लिए Apple के reference runtime |
| Llama.cpp | Metal backend पर सीधा नियंत्रण | Hand-tuned Metal kernels | हाँ (open source) | वह runtime जिसे प्रत्येक दूसरा ऐप wrap करता है |
Mac पर लोकल LLMs चलाने के लिए 7 सर्वश्रेष्ठ ऐप्स
1. Ollama — MLX बैकएंड के साथ सर्वश्रेष्ठ वन-लाइन install
Ollama ने अपने Apple Silicon बैकएंड को संस्करण 0.19 में MLX में स्थानांतरित किया और एक स्थिर रनटाइम को उल्लेखनीय रूप से तेज़ में बदल दिया। समान ollama run कमांड एक quantized मॉडल खींचता है और चैटिंग शुरू करता है, लेकिन कम से कम 32 GB एकीकृत मेमोरी के साथ M-सीरीज़ Mac पर नया engine prefill को लगभग 1.6x तेज़ और decode को llama.cpp पथ की तुलना में लगभग 2x तेज़ से बेहतर बनाता है। हाल के अपडेट ने समान मेमोरी लागत पर उच्च गुणवत्ता के लिए NVFP4 4-bit समर्थन जोड़ा।
यह कहाँ कम पड़ता है: MLX engine पर्याप्त एकीकृत मेमोरी के साथ Apple Silicon तक सीमित है, इसलिए पुराने 16 GB MacBooks मानक रनटाइम पर वापस गिरते हैं। पहली-पक्ष UI अभी भी एक CLI और daemon है, इसलिए अधिकांश लोग इसे एक अलग चैट front end के साथ जोड़ते हैं।
मूल्य:
- मुफ़्त: open source, कोई license fee नहीं
- Paid: कोई नहीं
प्लेटफॉर्म: macOS, Windows, Linux
डाउनलोड: ollama.com
निष्कर्ष: Mac पर लोकल LLMs के लिए Ollama चुनें यदि आप सबसे तेज़ बैकएंड चाहते हैं जिसमें सबसे कम setup cost है और आप अपना UI लाने के लिए खुश हैं।
2. LM Studio — GGUF और MLX को मिलाने के लिए सर्वश्रेष्ठ चैट UI
LM Studio उन कुछ ऐप्स में से एक है जो एक ही विंडो में llama.cpp GGUF और MLX मॉडल दोनों चलाता है, जो इसे समान prompt पर Apple Silicon speed अंतर को महसूस करने का सबसे आसान तरीका बनाता है। Apple ने इसी कारण से अपने M5 लॉन्च सामग्री में LM Studio का हवाला दिया। मॉडल browser Hugging Face से जुड़ता है, MLX-optimized variants को flag करता है, और दिखाता है कि क्या आपकी एकीकृत मेमोरी में फ़ाइल फिट होगी।
यह कहाँ कम पड़ता है: License मुफ़्त व्यक्तिगत उपयोग की अनुमति देता है लेकिन व्यावसायिक संदर्भ में paid plan की आवश्यकता होती है, जो कंपनी MacBook पर install करने से पहले जानने लायक है। ऐप closed source है।
मूल्य:
- मुफ़्त: व्यक्तिगत उपयोग
- Paid: व्यावसायिक उपयोग के लिए Work plan
प्लेटफॉर्म: macOS, Windows, Linux
डाउनलोड: lmstudio.ai
निष्कर्ष: Mac पर लोकल LLMs के लिए LM Studio चुनें यदि आप एक विंडो चाहते हैं जो मॉडल discovery, MLX या GGUF चयन, चैट और एक लोकल API को संभालता है।
3. Jan — macOS के लिए सर्वश्रेष्ठ पूरी तरह से open source चैट client
Jan वह है जो होता है जब एक team LM Studio के अनुभव को शुरुआत से ही open source के रूप में फिर से बनाता है। desktop app macOS पर native दिखता है, llama.cpp के माध्यम से Metal backend का उपयोग करता है GPU offload के लिए, और project की declared नीति पूरी तरह से ऑफलाइन चलना है जिसमें कोई telemetry नहीं है। सेटिंग्स panel यह स्पष्ट करता है कि कौन सी switches network calls को प्रभावित करती हैं, जो इस category में असामान्य है।
यह कहाँ कम पड़ता है: Performance Apple Silicon पर Ollama और LM Studio को पीछे छोड़ देता है क्योंकि Jan अभी तक first-class MLX runtime नहीं भेजा है, इसलिए यह M-सीरीज़ throughput का एक हिस्सा मेज पर छोड़ देता है। Mobile और remote-API stories desktop chat की तुलना में नए हैं।
मूल्य:
- मुफ़्त: open source, कोई license fee नहीं
- Paid: कोई नहीं
प्लेटफॉर्म: macOS, Windows, Linux
डाउनलोड: jan.ai
निष्कर्ष: Mac पर लोकल LLMs के लिए Jan चुनें यदि open source आपके GPU से आखिरी 20 प्रतिशत निकालने से अधिक महत्वपूर्ण है।
4. GPT4All — पुराने Apple Silicon और 8 GB Macs के लिए सर्वश्रेष्ठ
GPT4All अभी भी उस hardware पर बोरिंग काम को बेहतर करता है जिसकी बाकी field ने देखभाल करना बंद कर दिया है। डिफ़ॉल्ट मॉडल सूची CPU और modest-GPU inference के लिए tuned है, छोटे quants 8 GB एकीकृत मेमोरी के साथ M1 MacBook Air पर चलते हैं, और चैट UI लोकल document chat को शामिल करता है जो disk पर एक folder को point करता है। base-model Apple Silicon laptops के मालिकों के लिए जो 7B मॉडल slow चल रहे हैं, curated small-model selection सही starting point है।
यह कहाँ कम पड़ता है: Apple Silicon acceleration Metal के माध्यम से supported है लेकिन यह नहीं है जहाँ project की focus है, इसलिए larger models MLX-aware apps को पीछे छोड़ देते हैं। चैट UI functional rather than beautiful है।
मूल्य:
- मुफ़्त: open source, कोई license fee नहीं
- Paid: कोई नहीं
प्लेटफॉर्म: macOS, Windows, Linux
डाउनलोड: gpt4all.io
निष्कर्ष: Mac पर लोकल LLMs के लिए GPT4All चुनें यदि आपकी एकीकृत मेमोरी tight है और आप एक चैट client चाहते हैं जो इसके लिए tuned मॉडल के साथ आता है।
5. Msty — समान prompt पर दो लोकल मॉडल की तुलना के लिए सर्वश्रेष्ठ
Msty macOS पर एक specific gap को भरता है: यह एक साथ दो लोकल मॉडल से बात कर सकता है और उनके उत्तर को बगल में दिखा सकता है। remote APIs के लिए hooks के साथ मिलकर, यह एक नई Qwen MLX release को Gemma GGUF के विरुद्ध समान prompt पर bench करने का आसान तरीका बनाता है बिना दो विंडो को juggle किए। Knowledge stacks आपको एक chat के लिए folders या URLs को attach करने देते हैं retrieval के लिए, और macOS build native लगता है।
यह कहाँ कम पड़ता है: free tier अधिकांश व्यक्तिगत उपयोग को cover करता है, लेकिन कुछ power features paid plan के पीछे बैठते हैं। मॉडल search LM Studio की तुलना में narrower है और कोई first-class MLX runtime नहीं है, इसलिए raw throughput MLX-aware apps को पीछे छोड़ देता है।
मूल्य:
- मुफ़्त: feature-rich व्यक्तिगत योजना
- Paid: advanced features के लिए Aurum plan
प्लेटफॉर्म: macOS, Windows, Linux
डाउनलोड: msty.app
निष्कर्ष: Mac पर लोकल LLMs के लिए Msty चुनें यदि आप actively मॉडल की तुलना करते हैं और एक चैट client चाहते हैं जो उस workflow के लिए बनाया गया है।
6. MLX Chat (mlx-lm) — अधिकतम throughput और fine-tuning के लिए सर्वश्रेष्ठ
MLX Chat mlx-lm पर चैट layer है, जो MLX के साथ LLMs चलाने और fine-tune करने के लिए Apple का reference runtime है। यह framework को उपयोग करने का सबसे सीधा तरीका है जो Ollama और LM Studio के MLX backends को power देता है, और M5-class hardware पर Apple के अपने numbers दिखाते हैं MLX llama.cpp से meaningful margin के साथ अलग हो रहा है, 30B MoE model पर तीन सेकंड के तहत time-to-first-token। pip install mlx-lm plus एक Hugging Face model id आपको working command-line chat देता है।
यह कहाँ कम पड़ता है: यह list पर research project के सबसे करीब tool है। कोई polished installer या मॉडल browser नहीं, आप Python environments को manage करते हैं, और chat UIs जो इसे wrap करते हैं minimal हैं। यह भी macOS-only है, by design।
मूल्य:
- मुफ़्त: open source, कोई license fee नहीं
- Paid: कोई नहीं
प्लेटफॉर्म: macOS (केवल Apple Silicon)
डाउनलोड: github.com/ml-explore/mlx-lm
निष्कर्ष: Mac पर लोकल LLMs के लिए MLX Chat चुनें यदि आप Apple के अपने runtime को अपने हाथों में चाहते हैं और terminal में comfortable हैं।
7. Llama.cpp — Metal backend पर सीधा नियंत्रण के लिए सर्वश्रेष्ठ
Llama.cpp वह runtime है जिसे लगभग हर ऐप इस list में wrap करता है या पहले used करता था। इसे Mac पर source से build करना एक command लेता है, Metal backend Apple Silicon के लिए hand-tuned है, और llama-server binary polished apps के समान OpenAI-compatible API को expose करता है बिना बीच में installer के। किसी के लिए भी जो देखना चाहता है कि कौन सी kernels चलती हैं, sampler parameters को per request tune करना, या brand-new मॉडल architecture को test करना उस दिन जब यह Hugging Face पर उतरता है, यह path है।
यह कहाँ कम पड़ता है: अपना chat UI नहीं एक basic web interface के अलावा, कोई curated मॉडल browser नहीं, और flag surface इतना wide है कि first run आमतौर पर README पढ़ना involves करता है। MLX-aware apps newest M-series chips पर raw throughput में इसे overtake करना शुरू कर चुके हैं।
मूल्य:
- मुफ़्त: open source, कोई license fee नहीं
- Paid: कोई नहीं
प्लेटफॉर्म: macOS, Windows, Linux
डाउनलोड: github.com/ggml-org/llama.cpp
निष्कर्ष: Mac पर लोकल LLMs के लिए Llama.cpp चुनें यदि आप वह runtime चाहते हैं जिसे हर दूसरा ऐप wrap करता है, Metal kernels के बीच कुछ नहीं।
कैसे चुनें
यदि आप Apple Silicon पर काम करने वाले setup के लिए सबसे सरल path चाहते हैं, Ollama install करें और इसे एक chat front end के साथ pair करें जो आपको पसंद है।
यदि आप एक ऐप चाहते हैं जो MLX, GGUF, मॉडल discovery और chat को एक polished विंडो में संभालता है, LM Studio install करें।
यदि open source throughput के आखिरी 20 प्रतिशत से अधिक महत्वपूर्ण है, Jan install करें।
यदि आपके MacBook के पास 8 GB एकीकृत मेमोरी या एक पुरानी M1 है, GPT4All install करें और इसके curated small models पर stick रहें।
यदि आप actively समान prompt पर मॉडल की तुलना करते हैं, Msty install करें।
यदि आप Apple के अपने runtime को अपने हाथों में चाहते हैं और आप terminal mind नहीं करते, MLX Chat को mlx-lm के ऊपर install करें।
यदि आप Metal backend पर सीधा नियंत्रण चाहते हैं बिना कुछ के, Llama.cpp को source से build करें।
FAQ
क्या MLX वास्तव में Mac पर लोकल LLMs को llama.cpp की तुलना में तेज़ बनाता है?
वर्तमान Apple Silicon पर, हाँ। Ollama के अपने numbers MLX में switching के बाद दिखाते हैं prefill लगभग 1.6x तेज़ और decode समान M-सीरीज़ hardware पर llama.cpp path की तुलना में लगभग 2x तेज़। Apple की published M5 benchmarks newest chips पर MLX को और भी आगे निकलते हुए दिखाती हैं। पुराने M1 और M2 machines पर gap smaller है लेकिन अभी भी real है।
Mac पर लोकल LLM चलाने के लिए मुझे कितनी एकीकृत मेमोरी की आवश्यकता है?
4-bit quantization पर 7B मॉडल के साथ आरामदायक experience के लिए, 16 GB एकीकृत मेमोरी काफी है। 14B class models के लिए, 32 GB sweet spot है। 70B dense models या context के लिए headroom के साथ 30B-A3B mixture-of-experts models के लिए, 64 GB या अधिक यह है जो आप चाहते हैं।
क्या Ollama Mac पर लोकल LLMs चलाने के लिए सर्वश्रेष्ठ ऐप है?
अब जब MLX engine shipped हो गया है अधिकांश Mac users के लिए यह सर्वश्रेष्ठ backend है। यदि आप same विंडो में एक polished चैट UI भी चाहते हैं, LM Studio एक-ऐप answer के करीब है। Ollama plus एक अलग UI most common stack रहता है।
क्या मैं अपने Mac पर मेरे code editor के साथ एक लोकल LLM का उपयोग कर सकता हूँ?
हाँ। कोई भी ऐप जो एक OpenAI-compatible endpoint expose करता है, Ollama, LM Studio, Jan और Msty सहित, OpenAI को target करने वाले editor extensions में base URL के रूप में set किया जा सकता है। Continue, Cursor की bring-your-own-key mode, और अधिकांश VS Code extensions यह accept करते हैं और कभी नहीं देखते कि आपका code machine को छोड़ता है।
