XDA ने एक छोटे ओपन-सोर्स प्रोजेक्ट पर एक सप्ताह बिताया जिसे LLMFit कहा जाता है जो स्थानीय-LLM वर्कफ़्लो के सबसे निराशाजनक क्षणों में से एक को हल करता है: आपके पास एक GPU है, आपके पास Hugging Face मॉडल पृष्ठ खुला है, और आपको कोई जानकारी नहीं है कि क्या मॉडल वास्तव में आपकी मशीन पर चलेगा इससे पहले कि आप इसे डाउनलोड करने में एक घंटा बर्बाद करें। लेख एक व्यापक सत्य की ओर इशारा करता था: स्थानीय-LLM दृश्य को हार्डवेयर-फिट टूल्स की उतनी ही ज़रूरत है जितनी कि मॉडल रनर्स की, और कुछ ऐप्स पहले से ही वर्कफ़्लो को कवर करते हैं। हमने 7 डेस्कटॉप ऐप्स का परीक्षण किया जो डाउनलोड शुरू होने से पहले मॉडल को आपके हार्डवेयर के साथ मेल खाते हैं।
मॉडल-हार्डवेयर मैचर में क्या देखना चाहिए
अच्छे टूल्स चार सवालों का स्पष्ट जवाब देते हैं:
- क्या यह सटीक क्वांट इस सटीक मॉडल का मेरे GPU VRAM और सिस्टम RAM में फिट होगा?
- इस कॉन्टेक्स्ट लंबाई पर मेरे GPU पर अपेक्षित टोकन-प्रति-सेकंड क्या है?
- अगर यह फिट नहीं होता है, तो कौन सा क्वांट या मॉडल आकार फिट होगा?
- मैं सही फाइल कहाँ से डाउनलोड करूँ?
कुछ अतिरिक्त विशेषताएं मजबूत टूल्स को कमजोर लोगों से अलग करती हैं।
- आपके वर्तमान GPU का लाइव VRAM पढ़ना (स्थैतिक स्पेक शीट लुकअप नहीं)।
- कॉन्टेक्स्ट-लंबाई VRAM लागत की जागरूकता, केवल आधार मॉडल वजन नहीं।
- Apple Silicon एकीकृत स्मृति गणित, केवल असतत GPU गणित नहीं।
- GPU के बिना मशीनों पर CPU-केवल अनुमान के लिए प्री-फ्लाइट चेक।
त्वरित तुलना
| ऐप | सर्वश्रेष्ठ है | प्लेटफॉर्म | मूल्य | विशिष्ट विशेषता |
|---|---|---|---|---|
| LLMFit | डाउनलोड करने से पहले एक-क्लिक “क्या यह चलेगा” जांच | Windows, macOS, Linux | मुफ्त, ओपन-सोर्स | Hugging Face URL को पढ़ता है और मेल खाता है |
| Hugging Face Hub | मॉडल पृष्ठ में बेक्ड हार्डवेयर अनुमान | वेब (कोई भी OS) | मुफ्त | आधिकारिक क्वांट टेबल और फाइल आकार |
| LM Studio | मॉडल ब्राउज़ करते समय बिल्ट-इन संगतता बैज | Windows, macOS, Linux | व्यक्तिगत उपयोग के लिए मुफ्त | ”पूर्ण GPU ऑफलोड संभव” संकेतक |
| Ollama | विवेकपूर्ण डिफ़ॉल्ट क्वांट्स के साथ मॉडल लाइब्रेरी | Windows, macOS, Linux | मुफ्त, ओपन-सोर्स | आपकी मशीन में फिट होने वाले क्वांट को स्वचालित रूप से चुनता है |
| Can You Run It LLM | वेब-आधारित हार्डवेयर-बनाम-मॉडल कैलकुलेटर | वेब (कोई भी OS) | मुफ्त | कोई इंस्टॉल नहीं, लिंक साझा करने के अनुकूल |
| Llama.cpp benchmarker | आपकी मशीन पर वास्तविक बेंचमार्क, अनुमान नहीं | Windows, macOS, Linux | मुफ्त, ओपन-सोर्स | आपके वास्तविक हार्डवेयर से सत्य |
| Open WebUI | क्वांट फ़िल्टरिंग के साथ स्वयं-होस्टेड चैट | Docker (कोई भी OS) | मुफ्त, ओपन-सोर्स | क्वांट फ़िल्टरिंग के साथ मल्टी-यूजर मॉडल पिकर |
डेस्कटॉप पर आपके हार्डवेयर के साथ स्थानीय LLM को मेल खाने के लिए 7 सर्वश्रेष्ठ ऐप्स
1. LLMFit — सर्वश्रेष्ठ एक-क्लिक “क्या यह चलेगा” जांच
LLMFit वह नई प्रविष्टि है जिस पर XDA लेख ने ध्यान दिया। ऐप आपके GPU के उपलब्ध VRAM को लाइव पढ़ता है, Hugging Face मॉडल URL को पार्स करता है, और आपको बताता है कि कौन से मॉडल के कौन से क्वांट फिट होंगे, साथ ही एक मोटे टोकन-प्रति-सेकंड अनुमान के साथ। एक Hugging Face URL को विंडो पर खींचें और आप कुछ सेकंड में एक हरा चेकमार्क या लाल क्रॉस प्राप्त करेंगे, साथ ही एक क्वांट के लिए सिफारिश जो इसके बजाय फिट होगा।
कोडबेस ओपन-सोर्स है और प्रोजेक्ट तेजी से आगे बढ़ रहा है, नई GGUF फॉर्मेट सपोर्ट अपस्ट्रीम रिलीज के कुछ दिनों के भीतर आ रही है।
यहाँ यह विफल होता है: Apple Silicon सपोर्ट कार्यात्मक है लेकिन अभी तक असतत-GPU मशीनों की तरह एकीकृत-स्मृति गणित को स्पष्ट रूप से संभाल नहीं सकता। समुदाय छोटा है और एज-केस मॉडल को समर्थित होने के लिए एक रिलीज की आवश्यकता हो सकती है।
मूल्य: मुफ्त, ओपन-सोर्स।
प्लेटफॉर्म: Windows, macOS, Linux।
डाउनलोड करें: github.com/llmfit
निचला पंक्ति: जब आप डाउनलोड बर्बाद करने से पहले एक तेजी से “हाँ या नहीं” चाहते हैं तब यह चुनें।
2. Hugging Face Hub — मॉडल पृष्ठ में बेक्ड सर्वश्रेष्ठ हार्डवेयर अनुमान
Hugging Face Hub एक ऐप नहीं है जो आप इंस्टॉल करते हैं लेकिन यह सबसे सटीक शुरुआती बिंदु है क्योंकि मॉडल पृष्ठ स्वयं आधिकारिक फाइल आकार, क्वांट टेबल, और (कई मॉडलों के लिए) समुदाय-योगदान हार्डवेयर नोट्स ले जाते हैं। 2025 Hub UI रिफ्रेश ने एक “इस मॉडल को चलाएं” विजेट जोड़ा जो सामान्य क्वांट्स के लिए अनुमानित VRAM सर्फ़ करता है।
एक मॉडल के लिए जिसे आपने कभी नहीं सुना है, मॉडल कार्ड और फाइल सूची एक अलग टूल के लिए पहुंचने से पहले सही पहली रुकावट हैं।
यहाँ यह विफल होता है: यह एक मॉडल पृष्ठ पढ़ता है; यह आपके हार्डवेयर को नहीं पढ़ता है। आपको अभी भी अपने VRAM और सिस्टम RAM को जानने की आवश्यकता है।
मूल्य: मुफ्त।
प्लेटफॉर्म: वेब (कोई भी OS), तीसरे पक्ष के क्लाइंट से डेस्कटॉप हब के साथ।
डाउनलोड करें: huggingface.co
निचला पंक्ति: जब आप स्रोत से आधिकारिक फाइल आकार और क्वांट गणित चाहते हैं तब यह चुनें।
3. LM Studio — मॉडल ब्राउज़ करते समय सर्वश्रेष्ठ बिल्ट-इन संगतता बैज
LM Studio पॉलिशड चैट क्लाइंट है जिसमें एक मॉडल ब्राउज़र शामिल है, और ब्राउज़र आपकी मशीन के उपलब्ध VRAM के आधार पर प्रत्येक क्वांट पर एक “पूर्ण GPU ऑफलोड संभव” बैज दिखाता है। वह एकल बैज बहुत समय बचाता है: एक मॉडल पृष्ठ पर GGUF के माध्यम से स्क्रॉल करना “स्क्रॉल जब तक मैं बैज देखता हूँ” बन जाता है।
2025 LM Studio रिलीज ने प्रत्येक संगत क्वांट के आगे एक “अपेक्षित गति” अनुमान जोड़ा, जो अनुमान का एक और कदम हटा देता है।
यहाँ यह विफल होता है: मुफ्त स्तर “व्यक्तिगत उपयोग के लिए मुफ्त” है ओपन-सोर्स के बजाय, जो कुछ उपयोगकर्ताओं के लिए महत्वपूर्ण है। बहुत कम-VRAM मशीनों के लिए संगतता बैज कॉन्टेक्स्ट-भारी उपयोग पर बहुत आशावादी हो सकता है।
मूल्य: व्यक्तिगत उपयोग के लिए मुफ्त।
प्लेटफॉर्म: Windows, macOS, Linux।
डाउनलोड करें: lmstudio.ai
निचला पंक्ति: यह चुनें यदि आप भी एक पॉलिशड चैट क्लाइंट चाहते हैं; संगतता बैज एक बोनस है।
4. Ollama — सर्वश्रेष्ठ ऑटो-क्वांट मॉडल लाइब्रेरी
Ollama हार्डवेयर-फिट समस्या को अलग तरीके से हल करता है। आपको यह बताने के बजाय कि कौन से क्वांट फिट होते हैं, मॉडल लाइब्रेरी एक डिफॉल्ट क्वांट के साथ आती है जिसे प्रोजेक्ट विशिष्ट मशीनों के लिए एक विवेकपूर्ण संतुलन मानता है। ollama pull llama3.3 आपको एक क्वांट देता है जो आप चुनने के बिना हार्डवेयर की एक विस्तृत श्रृंखला पर चलता है।
उपयोगकर्ताओं के लिए जो बिल्कुल क्वांट के बारे में नहीं सोचना चाहते हैं, Ollama श्रेणी को “बस मुझे एक मॉडल दें जो काम करता है” देने के लिए सबसे करीब है।
यहाँ यह विफल होता है: डिफॉल्ट क्वांट हमेशा आपके विशेष GPU के लिए सर्वश्रेष्ठ फिट नहीं होता है। 24GB या 48GB कार्ड वाले पावर उपयोगकर्ता मैन्युअल रूप से एक भारी क्वांट चुनना चाहेंगे।
मूल्य: मुफ्त, ओपन-सोर्स।
प्लेटफॉर्म: Windows, macOS, Linux।
डाउनलोड करें: ollama.com
निचला पंक्ति: जब आप क्वांट के बारे में सोचे बिना एक मॉडल चाहते हैं तब यह चुनें।
5. Can You Run It LLM — सर्वश्रेष्ठ वेब-आधारित हार्डवेयर-बनाम-मॉडल कैलकुलेटर
Can You Run It LLM एक वेब टूल है जो एक ड्रॉपडाउन से आपके GPU मॉडल को लेता है, आप जो मॉडल चाहते हैं, और कॉन्टेक्स्ट लंबाई, और एक स्वच्छ हाँ-नहीं साथ ही टोकन-प्रति-सेकंड अनुमान देता है। यह सही टूल है जब आप कुछ नहीं इंस्टॉल करना चाहते हैं और आप एक दोस्त के साथ लिंक साझा करना चाहते हैं जो भी हार्डवेयर के लिए खरीदारी कर रहा है।
टूल एक मॉडल के सबसे छोटे क्वांट को भी सर्फ़ करता है जो आपकी मशीन में फिट होगा, जो अपग्रेड की योजना बनाते समय उपयोगी है।
यहाँ यह विफल होता है: यह एक कैलकुलेटर है, लाइव VRAM पढ़ना नहीं। अगर कुछ और पहले से ही आपकी GPU स्मृति का उपयोग कर रहा है (ब्राउज़र टैब, एक खेल), कैलकुलेटर नहीं जानता।
मूल्य: मुफ्त।
प्लेटफॉर्म: वेब (कोई भी OS)।
डाउनलोड करें: canyourunitllm.com
निचला पंक्ति: डाउनलोड से पहले कोई-इंस्टॉल, साझा करने के अनुकूल जांच के लिए यह चुनें।
6. Llama.cpp benchmarker — आपकी मशीन पर सर्वश्रेष्ठ वास्तविक बेंचमार्क
Llama.cpp एक छोटी बेंचमार्क बाइनरी के साथ आता है (llama-bench) जो एक क्वांट फाइल के विरुद्ध वास्तविक अनुमान चलाता है और प्रॉम्प्ट प्रोसेसिंग और जनरेशन के लिए टोकन-प्रति-सेकंड की रिपोर्ट करता है। अन्य टूल्स जो अनुमान देते हैं वे शिक्षित अनुमान हैं; यह आपके हार्डवेयर से सत्य है।
समान मशीन पर दो निकट क्वांट के बीच चुनने वाले उपयोगकर्ताओं के लिए, दोनों पर बेंचमार्क चलाना कुछ मिनट लेता है और एक वास्तविक तुलना पैदा करता है।
यहाँ यह विफल होता है: llama.cpp बाइनरी को संकलित या डाउनलोड करने और इसे मॉडल फाइल देने की आवश्यकता है जिसे आप परीक्षण करना चाहते हैं, जो अन्य टूल्स की तुलना में अधिक काम है।
मूल्य: मुफ्त, ओपन-सोर्स।
प्लेटफॉर्म: Windows, macOS, Linux।
डाउनलोड करें: github.com/ggerganov/llama.cpp
निचला पंक्ति: जब अनुमान काफी नहीं है और आप वास्तविक माप चाहते हैं तब यह चुनें।
7. Open WebUI — सर्वश्रेष्ठ स्वयं-होस्टेड चैट क्वांट-फ़िल्ट्रेड मॉडल ब्राउज़र के साथ
Open WebUI एक स्वयं-होस्टेड चैट फ्रंट-एंड के रूप में चलता है (आमतौर पर Docker में) और एक Ollama या llama.cpp बैकएंड के साथ जोड़ता है। मॉडल पिकर दिखाता है कि कौन से मॉडल खींचे गए हैं, कौन से चल रहे हैं, और प्रत्येक के लिए क्वांट टैग। घर पर एक मल्टी-यूजर सेटअप या छोटी टीम के लिए जहाँ कई लोग एक LLM सर्वर साझा करते हैं, मॉडल ब्राउज़र टीम के “हमारे साझा GPU में क्या फिट है” संदर्भ के रूप में दोगुना हो जाता है।
2025 Open WebUI रिलीज ने एक हार्डवेयर-जागरूक फिल्टर जोड़ा जो मॉडल को छिपाता है जो बैकएंड अनुरोधित कॉन्टेक्स्ट लंबाई पर सेवा नहीं दे सकता।
यहाँ यह विफल होता है: हार्डवेयर फिल्टर बैकएंड रिपोर्ट जितना अच्छा है। कुछ कॉन्फ़िगरेशन को मैनुअल VRAM संकेत की आवश्यकता है।
मूल्य: मुफ्त, ओपन-सोर्स।
प्लेटफॉर्म: Docker, कोई भी OS।
डाउनलोड करें: openwebui.com
निचला पंक्ति: जब एक साझा चैट फ्रंट-एंड और मॉडल ब्राउज़र एक टूल में हों तब यह चुनें।
सही कैसे चुनें
- यदि आप Hugging Face URL पर सबसे तेजी से “क्या यह चलेगा” जांच चाहते हैं: LLMFit।
- यदि आप स्रोत से आधिकारिक फाइल आकार और क्वांट टेबल चाहते हैं: Hugging Face Hub।
- यदि आप भी एक पॉलिशड चैट क्लाइंट चाहते हैं: LM Studio।
- यदि आप बिल्कुल क्वांट के बारे में नहीं सोचना चाहते: Ollama।
- यदि आप एक दोस्त के साथ साझा करने के लिए कोई-इंस्टॉल वेब कैलकुलेटर चाहते हैं: Can You Run It LLM।
- यदि अनुमान काफी नहीं है और आप वास्तविक बेंचमार्क चाहते हैं: Llama.cpp benchmarker।
- यदि एक साझा LLM सर्वर को मल्टी-यूजर मॉडल ब्राउज़र की आवश्यकता है: Open WebUI।
बार-बार पूछे गए प्रश्न
मैं कैसे जानूँ कि एक स्थानीय LLM को कितने VRAM की आवश्यकता है?
आधार वजन फाइल आकार एक फर्श है; छोटी कॉन्टेक्स्ट लंबाई पर KV-cache और रनटाइम ओवरहेड के लिए लगभग 20% जोड़ें, लंबी कॉन्टेक्स्ट के लिए अधिक। LLMFit और LM Studio आपके लिए यह गणित करते हैं। एक 7B Q4_K_M GGUF को आमतौर पर छोटी कॉन्टेक्स्ट में लगभग 4-5GB VRAM की आवश्यकता है।
क्या मैं बिना GPU के एक स्थानीय LLM चला सकता हूँ?
हाँ। क्वांटाइज़्ड छोटे मॉडल (3B, 7B Q4 या छोटे) 16GB RAM वाली मशीनों पर CPU पर चलते हैं। टोकन-प्रति-सेकंड GPU का एक छोटा अंश होगा लेकिन वर्कफ़्लो काम करता है। Ollama और LM Studio दोनों CPU-केवल अनुमान को स्वच्छ रूप से संभालते हैं।
8GB GPU के लिए सर्वश्रेष्ठ स्थानीय LLM कौन सा है?
7B मॉडल का Q4 या Q5 क्वांट छोटी कॉन्टेक्स्ट के लिए जगह के साथ फिट बैठता है। कई 8B Llama और Qwen मॉडल आक्रामक क्वांटाइजेशन के साथ भी फिट होते हैं। एक विशेष क्वांट चुनने के लिए LLMFit का उपयोग करें बजाय अनुमान लगाएं।
क्या ये सभी टूल्स ओपन-सोर्स हैं?
ज्यादातर। LM Studio “व्यक्तिगत उपयोग के लिए मुफ्त” है ओपन-सोर्स के बजाय। LLMFit, Ollama, Hugging Face क्लाइंट लाइब्रेरी, Llama.cpp, और Open WebUI ओपन-सोर्स हैं। Can You Run It LLM एक मुफ्त वेब टूल है, ओपन-सोर्स नहीं।
क्या ये टूल्स Apple Silicon पर काम करते हैं?
हाँ। Apple Silicon का एकीकृत स्मृति मॉडल Ollama, LM Studio, Llama.cpp, और (उपरोक्त चेतावनी के साथ) LLMFit द्वारा समर्थित है। M-सीरीज चिप्स पर टोकन-प्रति-सेकंड अक्सर तेजी से स्मृति बैंडविड्थ के कारण समान VRAM के असतत GPU को मार देता है।
