स्थानीय दृष्टि भाषा मॉडल पिछले बारह महीनों में पार्टी ट्रिक से वास्तविक उपकरण में बदल गए हैं। Llama 3.2 Vision मध्य-श्रेणी के GPU पर चलता है। Qwen2.5-VL स्क्रीनशॉट को दो साल पहले अधिकांश क्लाउड API की तुलना में बेहतर पढ़ता है। Google का Gemma 3 multimodal चार्ट और रसीदों को बिना किसी परेशानी के संभालता है। जो बदला है वह केवल मॉडल नहीं है। उन्हें होस्ट करने वाली ऐप्स भी आगे बढ़ गई हैं। आप अपने लैपटॉप पर एक चैट विंडो में स्क्रीनशॉट डाल सकते हैं, पूछ सकते हैं कि यह क्या कहता है, और कुछ सेकंड में एक स्पष्ट उत्तर प्राप्त कर सकते हैं, कोई छवि मशीन से बाहर नहीं जाती। हमने Windows, macOS और Linux पर स्थानीय दृष्टि भाषा मॉडल चलाने के लिए सात सर्वश्रेष्ठ डेस्कटॉप ऐप्स का परीक्षण किया, सभी शुरू करने के लिए मुक्त हैं।
क्या देखना चाहिए
कुछ चीजें उपयोगी दृष्टि-सक्षम क्लाइंट को उन लोगों से अलग करती हैं जिन्हें सप्ताहांत तक अनइंस्टॉल कर दिया जाता है।
- मल्टीमॉडल मॉडल समर्थन। ऐप को हाल के दृष्टि-सक्षम GGUF (Llama 3.2 Vision, Qwen2.5-VL, LLaVA, Gemma 3 multimodal) को मैनुअल llama.cpp बिल्ड के बिना लोड करने की आवश्यकता है।
- VRAM हेडरूम। 4-बिट पर एक 7B दृष्टि मॉडल लगभग 6 से 8 GB में फिट बैठता है। ऐप को आपको चेतावनी देनी चाहिए इससे पहले कि वह एक चेकपॉइंट लोड करने की कोशिश करे जो फिट नहीं होगा।
- ड्रैग-एंड-ड्रॉप छवि इनपुट। फ़ाइल पथ पेस्ट करना काम करता है, संदेश फ़ील्ड पर छवि खींचना वास्तविक सॉफ़्टवेयर की तरह लगता है।
- API या GUI, आदर्श रूप से दोनों। एक स्थानीय OpenAI-संगत एंडपॉइंट आपको दृष्टि को संपादक एक्सटेंशन और स्क्रिप्ट में जोड़ने की अनुमति देता है।
- मॉडल खोज। Hugging Face कैटलॉग है; ऐप्स जो इसे in-place खोजते हैं एक मैनुअल डाउनलोड चरण सहेजते हैं।
- बैच और फ़ोल्डर OCR। कुछ वर्कफ़्लो एक बार में एक छवि होती है। अन्य को स्कैन के फ़ोल्डर को पढ़ने की आवश्यकता है।
त्वरित तुलना
| ऐप | के लिए सर्वश्रेष्ठ | प्लेटफॉर्म | मुक्त योजना | शुरुआती मूल्य/माह | रेटिंग |
|---|---|---|---|---|---|
| Ollama | CLI और स्थानीय API जो सब कुछ से जुड़ता है | Windows, macOS, Linux | हाँ (खुला स्रोत) | $0 | 4.8/5 |
| LM Studio | ड्रैग-ड्रॉप छवियों के साथ पॉलिश किया गया GUI | Windows, macOS, Linux | हाँ | $0 | 4.7/5 |
| Open WebUI | होम सर्वर के लिए ब्राउज़र फ्रंट-एंड | Windows, macOS, Linux (Docker) | हाँ (खुला स्रोत) | $0 | 4.6/5 |
| Jan | पूरी तरह से खुला स्रोत ऑफ़लाइन क्लाइंट | Windows, macOS, Linux | हाँ (खुला स्रोत) | $0 | 4.5/5 |
| Msty | साइड-बाय-साइड दृष्टि मॉडल तुलना | Windows, macOS, Linux | हाँ | $0 (भुगतान की गई परत उपलब्ध) | 4.5/5 |
| AnythingLLM | स्थानीय दस्तावेजों पर दृष्टि प्लस RAG | Windows, macOS, Linux | हाँ (खुला स्रोत) | $0 | 4.4/5 |
| GPT4All | कम VRAM मशीनों के लिए हल्का क्लाइंट | Windows, macOS, Linux | हाँ (खुला स्रोत) | $0 | 4.3/5 |
ऐप्स
1. Ollama CLI और स्थानीय API के लिए हर दूसरे ऐप के पीछे
Ollama localhost पर OpenAI-संगत एंडपॉइंट के पीछे स्थानीय मॉडल चलाता है, और मल्टीमॉडल समर्थन अब Llama 3.2 Vision, Qwen2.5-VL, LLaVA और Gemma 3 multimodal को कवर करता है। एक-पंक्ति कमांड के साथ एक मॉडल खींचें, CLI में एक छवि पथ पाइप करें, और टर्मिनल में एक विवरण वापस प्राप्त करें। इस सूची पर प्रत्येक अन्य ऐप अनुमानित परत के लिए एक Ollama एंडपॉइंट की ओर इशारा कर सकता है।
जहाँ यह कम आता है: छवियों को खींचने के लिए कोई मूल GUI नहीं। आप या तो टर्मिनल का उपयोग करते हैं या शीर्ष पर एक चैट क्लाइंट को बोल्ट करते हैं।
कीमत: मुक्त।
प्लेटफॉर्म: Windows, macOS, Linux.
डाउनलोड: Ollama
निष्कर्ष: यहाँ से शुरुआत करें। अन्य क्लाइंट अधिक उपयोगी हो जाते हैं एक बार Ollama पहले से चल रहा है।
2. LM Studio ड्रैग-ड्रॉप छवि इनपुट के साथ पॉलिश किया गया GUI के लिए
LM Studio एक स्वच्छ चैट विंडो को GGUF quant और दृष्टि क्षमता द्वारा फ़िल्टर करने वाली बिल्ट-इन Hugging Face खोज के साथ जोड़ता है। संदेश फ़ील्ड में एक छवि ड्रॉप करें और ऐप इसे मॉडल की प्रोजेक्टर फ़ाइल के माध्यम से रूट करता है, इसलिए एक ही बातचीत किसी भी सेटअप के बिना टेक्स्ट से स्क्रीनशॉट तक चल सकती है। Apple Silicon पर MLX इंजन बिना असतत GPU के MacBook पर प्रयोग करने योग्य गति पर Qwen2.5-VL चलाता है।
जहाँ यह कम आता है: बंद स्रोत। यह अधिक महत्वपूर्ण हो जाता है एक बार वर्कफ़्लो संवेदनशील छवियों को स्पर्श करना शुरू करता है जिन्हें आप अंत से अंत तक ऑडिट करना पसंद करते हैं।
कीमत: व्यक्तिगत और आंतरिक काम उपयोग के लिए निःशुल्क।
प्लेटफॉर्म: Windows, macOS, Linux.
डाउनलोड: LM Studio
निष्कर्ष: टर्मिनल को छुए बिना स्थानीय दृष्टि मॉडल को आजमाने का सबसे तेज़ तरीका।
3. Open WebUI Ollama के साथ जोड़ी गई ब्राउज़र फ्रंट-एंड के लिए
Open WebUI सबसे अधिक Ollama उपयोगकर्ता सामने आने वाली ब्राउज़र-आधारित चैट सतह है। मल्टी-यूजर मोड इसे होम सर्वर के लिए एक अच्छी पिक बनाता है जो नेटवर्क पर हर डिवाइस पहुंच सकता है। चैट पर एक छवि खींचें और ऐप इसे किसी भी मल्टीमॉडल मॉडल को खींचता है। प्रति-चैट मॉडल स्विचिंग का अर्थ है कि आप बातचीत के बीच केवल-पाठ Qwen और दृष्टि-सक्षम Llama 3.2 के बीच हॉप कर सकते हैं।
जहाँ यह कम आता है: आप Docker या Python इंस्टॉल को प्रवेश बिंदु के रूप में चला रहे हैं। यदि dock पर मूल ऐप आइकन महत्वपूर्ण है, तो यह नहीं है।
कीमत: मुक्त।
प्लेटफॉर्म: Docker पर Windows, macOS और Linux; Python के माध्यम से भी bare-metal चलाता है।
डाउनलोड: Open WebUI
निष्कर्ष: जब LLM स्टैक होम सर्वर पर रहता है और नेटवर्क पर हर डिवाइस इससे बात करने में सक्षम होना चाहिए।
4. Jan पूरी तरह से खुला स्रोत ऑफ़लाइन क्लाइंट के लिए
Jan पूरी तरह से खुला स्रोत डेस्कटॉप चैट क्लाइंट है जो ऑफ़लाइन को विकल्प के बजाय डिफ़ॉल्ट के रूप में मानता है। दृष्टि समर्थन LLaVA और Llama 3.2 Vision को कवर करता है, और मॉडल हब मल्टीमॉडल चेकपॉइंट को फ़्लैग करते हैं ताकि आप गलती से केवल-पाठ बिल्ड डाउनलोड न करें। कोई दूरसंचार नहीं जब तक आप विकल्प नहीं देते। हर सेटिंग एक स्पष्ट टॉगल है, मेनू तीन स्तर गहरा नहीं।
जहाँ यह कम आता है: मॉडल कैटलॉग LM Studio की तुलना में छोटा है, और दुर्लभ quants कभी-कभी मैनुअल GGUF आयात की आवश्यकता होती है।
कीमत: मुक्त।
प्लेटफॉर्म: Windows, macOS, Linux.
डाउनलोड: Jan
निष्कर्ष: जब ऑडिट ट्रेल मायने रखता है और बंद-स्रोत क्लाइंट टेबल से बाहर होते हैं।
5. Msty साइड-बाय-साइड दो दृष्टि मॉडल की तुलना के लिए
Msty एक विभाजित दृश्य के साथ एक विंडो में कई स्थानीय मॉडल चलाता है, जो Qwen2.5-VL और Llama 3.2 Vision के बीच एक ही स्क्रीनशॉट पर चुनते समय यह सटीक प्रवाह है। एक बार छवि संलग्न करें, दोनों उत्तर वापस प्राप्त करें, वह रखें जिसने रसीद को सही ढंग से पढ़ा। Knowledge Stacks सुविधा भी स्थानीय दस्तावेजों को RAG के लिए अनुक्रमित करती है, इसलिए छवि और पाठ क्वेरी एक कार्यस्थान साझा करते हैं।
जहाँ यह कम आता है: मुक्त परत उदार है लेकिन कुछ जीवन की गुणवत्ता की सुविधाएं भुगतान की गई Aurum योजना के पीछे बैठती हैं।
कीमत: मुक्त परत उपलब्ध। अतिरिक्त के लिए भुगतान की गई Aurum योजना।
प्लेटफॉर्म: Windows, macOS, Linux.
डाउनलोड: Msty
निष्कर्ष: सही पिक जब वर्कफ़्लो वास्तव में “किस मॉडल ने इस छवि को बेहतर संभाला”।
6. AnythingLLM स्थानीय मॉडल पर दृष्टि प्लस RAG के लिए
AnythingLLM एक निजी, आत्म-होस्टेड चैटबॉट है जो हर दस्तावेज़ और तेजी से हर छवि को वर्कस्पेस में प्रथम-श्रेणी नागरिक के रूप में मानता है। इसे मल्टीमॉडल मॉडल चलाने वाले स्थानीय Ollama या LM Studio एंडपॉइंट की ओर इशारा करें, और यह चैट के अंदर छवि अपलोड स्वीकार करेगा, उन्हें PDF के साथ अनुक्रमित करेगा, और आपको मिश्रण को क्वेरी करने दे। डेस्कटॉप ऐप एक एकल इंस्टॉलर है; सर्वर बिल्ड Docker में पड़ता है।
जहाँ यह कम आता है: RAG पाइपलाइन चलती हुई भागों को जोड़ती है, इसलिए पहला सेटअप नंगे चैट क्लाइंट से धीमा है।
कीमत: मुक्त डेस्कटॉप ऐप। टीमों के लिए होस्ट की गई परत भुगतान की गई योजना के पीछे बैठती है।
प्लेटफॉर्म: Windows, macOS, Linux.
डाउनलोड: AnythingLLM
निष्कर्ष: जब दृष्टि वर्कफ़्लो वास्तव में “इस छवि को पढ़ें और मेरी बाकी लाइब्रेरी के खिलाफ उत्तर दें”।
7. GPT4All कम VRAM मशीनों पर हल्के क्लाइंट के लिए
Nomic से GPT4All स्थापना को छोटा और हार्डवेयर बार कम रखता है। दृष्टि समर्थन कुछ छोटे मल्टीमॉडल चेकपॉइंट तक सीमित है, जो असतत GPU के बिना लैपटॉप को लक्षित करने वाले ऐप के लिए ब्रांड पर है। LocalDocs सुविधा कंटेनर को स्पिन किए बिना एक फ़ोल्डर को RAG स्रोत में बदल देती है। यह मॉडल की चौड़ाई में LM Studio के साथ प्रतिद्वंद्विता नहीं करेगा, लेकिन Msty या Open WebUI को घुटन देगी हार्डवेयर पर चलेगा।
जहाँ यह कम आता है: बाकी सूची की तुलना में कम समर्थित दृष्टि मॉडल, और बड़े मल्टीमॉडल चेकपॉइंट बस कम spec हार्डवेयर पर लोड करने से इनकार करते हैं।
कीमत: मुक्त।
प्लेटफॉर्म: Windows, macOS, Linux.
डाउनलोड: GPT4All
निष्कर्ष: जब मशीन एक विनम्र लैपटॉप है और मॉडल को सिस्टम RAM में फिट करना होगा।
सही चुनना कैसे करें
क्लाइंट को अपने वास्तविक काम करने के तरीके से मेल खाएं।
- CLI पावर यूजर: Ollama इंस्टॉल करें और रुकें। स्क्रिप्ट, cron, और संपादक एक्सटेंशन OpenAI-संगत एंडपॉइंट के माध्यम से बाकी काम करते हैं।
- GUI-first: एकल-यूजर मशीन पर LM Studio, एक बार से अधिक एक व्यक्ति या एक डिवाइस को एक्सेस की आवश्यकता होती है।
- कम VRAM: छोटे मल्टीमॉडल चेकपॉइंट के साथ GPT4All, या Apple Silicon पर LM Studio यूनिफाइड मेमोरी पर निर्भर।
- निजी OCR स्केल पर: AnythingLLM Ollama एंडपॉइंट की ओर इशारा करते हुए, स्कैन के फ़ोल्डर को अनुक्रमित करता है इसलिए उत्तर विशिष्ट पृष्ठों को उद्धृत कर सकते हैं।
- कोडिंग वर्कफ़्लो के लिए API: Ollama एंडपॉइंट VS Code एक्सटेंशन में प्लग किया गया जो छवि इनपुट स्वीकार करता है।
- एक ही छवि पर मॉडल की तुलना: Msty की विभाजित दृश्य, फिर विजेता को अपनी दैनिक सेटिंग के रूप में रखें।
FAQ
क्या आप GPU के बिना लैपटॉप पर दृष्टि LLM चला सकते हैं?
हाँ, लेकिन धीरे। 4-बिट मात्रा पर 3B या 4B मल्टीमॉडल मॉडल 8 GB RAM और आधुनिक CPU पर एक बार क्वेरी के लिए सहनीय प्रतिक्रिया समय के साथ चलता है। कुछ भी बड़ा असतत GPU या Apple Silicon चाहता है।
रसीद और स्क्रीनशॉट पढ़ने के लिए कौन सा दृष्टि मॉडल सर्वश्रेष्ठ है?
Qwen2.5-VL स्क्रीनशॉट, रसीद और फॉर्म जैसे पाठ-भारी छवि कार्यों के लिए वर्तमान पिक है। Llama 3.2 Vision प्राकृतिक फ़ोटो और दृश्य विवरण पर मजबूत है। दोनों Ollama या LM Studio के माध्यम से स्थानीय रूप से चलते हैं, इसलिए आप दोनों को स्थापित रख सकते हैं और प्रति कार्य स्विच कर सकते हैं।
क्या छवि कभी मेरी मशीन को छोड़ती है?
नहीं अगर ऐप सही तरीके से सेट किया गया है। Ollama, Jan, Open WebUI, GPT4All, और AnythingLLM डिफ़ॉल्ट रूप से स्थानीय रूप से अनुमान चलाते हैं और कभी भी दूरस्थ सर्वर को छवि बाइट नहीं भेजते हैं। LM Studio और Msty भी local-first हैं, हालांकि दोनों वैकल्पिक क्लाउड मॉडल मार्गों की पेशकश करते हैं जिन्हें आप बंद रख सकते हैं।
दृष्टि LLM के लिए मुझे कितना VRAM चाहिए?
एक 7B दृष्टि मॉडल 4-बिट मात्रा पर लगभग 6 से 8 GB VRAM में प्रोजेक्टर फ़ाइल सहित फिट बैठता है। 13B मल्टीमॉडल 10 से 12 GB चाहता है। Apple Silicon यूनिफाइड मेमोरी का उपयोग करता है, इसलिए 16 GB Mac अलग GPU के बिना अधिकांश 7B दृष्टि मॉडल को संभालता है।
क्या मैं एक संपादक एक्सटेंशन के लिए स्थानीय दृष्टि मॉडल प्लग कर सकता हूँ?
हाँ। Ollama की OpenAI-संगत एंडपॉइंट मानक chat/completions पेलोड में छवि इनपुट स्वीकार करता है, इसलिए कोई भी संपादक एक्सटेंशन जो OpenAI प्रारूप बोलता है होस्ट किए गए के बजाय स्थानीय दृष्टि मॉडल को कॉल कर सकता है। सेटअप एक्सटेंशन कॉन्फ़िग में एक बेस URL परिवर्तन है।
क्या स्थानीय दृष्टि मॉडल OCR के लिए क्लाउड API को प्रतिस्थापित करने के लिए काफी अच्छा है?
स्वच्छ स्कैन और स्क्रीनशॉट के लिए, हाँ। मध्य-श्रेणी GPU पर Qwen2.5-VL होस्ट किए गए API के करीब सटीकता के साथ मुद्रित पाठ पढ़ता है। हस्तलेखन, फीके रसीदों या भारी रूप से घुमाए गए पृष्ठों के लिए, एक समर्पित OCR इंजन अभी भी जीतता है। अजीब मामलों के लिए दृष्टि LLM को क्लासिक OCR पास के साथ जोड़ी।
