इस हफ्ते XDA में एक लेख आया जहां एक लेखक ने अपनी स्वयं होस्ट की गई मॉडल को अपनी Docker Compose फ़ाइलें दीं और सुरक्षा छेदों की एक सूची वापस पाई जो उसकी नजरों से कभी नहीं दिखे: एक खुला पोर्ट, एक माउंट जो आवश्यकता से अधिक अनुमति देता था, एक कंटेनर जो root के रूप में चल रहा था। यह सुरक्षा कार्य में स्थानीय LLM के लिए मूल्य प्रस्ताव है। कोड, कॉन्फ़िगरेशन और पर्यावरण मशीन पर रहते हैं, मॉडल कभी भी स्रोत को विक्रेता के पास नहीं भेजता, और एक समीक्षा जिसमें पहले एक चेकलिस्ट और आधी दोपहर लगती थी, अब केवल कॉफी ब्रेक का समय लगता है। नीचे दिए गए कोड और कॉन्फ़िगरेशन ऑडिट के लिए सर्वश्रेष्ठ स्थानीय LLM ऐप्स वे सात हैं जो इस वर्कफ़्लो को Windows, macOS और Linux पर वास्तविक बनाते हैं।
हमने ऐसे ऐप्स चुने हैं जो उपभोक्ता हार्डवेयर पर चलते हैं, वर्तमान खुले-वजन मॉडल के साथ काम करते हैं जो कोड के बारे में सोचने के लिए पर्याप्त अच्छे हैं (Llama 3.3, Qwen 2.5 Coder, DeepSeek Coder V3, Mistral Small, Phi-4), और या तो स्क्रिप्ट किए गए ऑडिट के लिए API प्रदान करते हैं या एक चैट UI प्रदान करते हैं जो रहने के लायक है।
सुरक्षा कार्य के लिए स्थानीय LLM ऐप में क्या देखें
स्थानीय का अर्थ स्थानीय है, लेकिन मॉडल के चारों ओर ऐप अभी भी यह निर्धारित करता है कि आप इसके साथ क्या कर सकते हैं।
- एक मॉडल सूची जिसमें वर्तमान खुली-वजन कोडर मॉडल शामिल हों, न कि केवल क्वांटाइज़्ड Llama 2।
- एक OpenAI-संगत स्थानीय API ताकि ऑडिट स्क्रिप्ट और CI इसे विक्रेता लॉक के बिना कॉल कर सकें।
- एक पुनः प्राप्ति या दस्तावेज़ मोड जो एक पूरे रेपो या Compose फ़ाइल को चबा सकता है, एक बार में एक स्निपेट नहीं।
- उन मॉडलों के लिए फ़ंक्शन या टूल कॉलिंग जो इसे सपोर्ट करते हैं, ताकि ऑडिट git blame या फ़ाइल सूचियों में जंजीर बना सकें।
- दूरसंचार के प्रति शांत दृष्टिकोण, और एक ऑफ़लाइन इंस्टॉलेशन पथ जो एक नेटवर्क-डिस्कनेक्ट मशीन पर जीवित रहता है।
- संदर्भ लंबाई और GPU ऑफ़लोड के लिए समझदारी भरे डिफ़ॉल्ट ताकि आप एक घंटे के लिए llama.cpp फ़्लैग ट्यून न करें।
त्वरित तुलना
| ऐप | किसके लिए सर्वश्रेष्ठ | मुफ्त योजना | सशुल्क टियर | API |
|---|---|---|---|---|
| LM Studio | UI-पहले उपयोगकर्ता जो API भी चाहते हैं | हां | मुफ्त | हां |
| Ollama | CLI-पहले उपयोगकर्ता, स्क्रिप्ट और CI | हां | मुफ्त | हां |
| Jan | पूरी तरह से खुली-स्रोत, Ollama-मुक्त स्टैक | हां | मुफ्त | हां |
| GPT4All | दिन पहले स्थानीय दस्तावेज़ों पर पुनः प्राप्ति | हां | मुफ्त | सीमित |
| Continue | VS Code और JetBrains में IDE-मूल ऑडिट | हां | वैकल्पिक सशुल्क टियर | हां |
| Msty | एक ऐप जो स्थानीय और क्लाउड मॉडल दोनों से बात करता है | हां | वैकल्पिक सशुल्क टियर | हां |
| Open WebUI | Ollama या vLLM पर स्व-होस्ट किए गए टीम चैट | हां | मुफ्त | हां |
ऐप्स
1. LM Studio
LM Studio स्थानीय मॉडल होस्टिंग को ऐसा कुछ बनाता है जो एक गैर-CLI उपयोगकर्ता चला सकता है। मॉडल कैटलॉग सीधे Hugging Face की ओर इशारा करता है, क्वांटाइज़ेशन अपेक्षित VRAM के साथ लेबल किए जाते हैं, और बिल्ट-इन सर्वर localhost पर एक OpenAI-संगत एंडपॉइंट प्रदर्शित करता है। यह वह है जो इसे सुरक्षा कार्य के लिए उपयोगी बनाता है: आपकी ऑडिट स्क्रिप्ट इसे OpenAI की तरह हिट कर सकती हैं, बिना किसी रैपर के, और स्रोत मशीन पर रहता है। संरचित आउटपुट, सपोर्टिंग मॉडलों पर फ़ंक्शन कॉलिंग, और एक चैट UI जो मल्टी-टर्न कोड समीक्षा को अच्छी तरह से संभालता है।
यह कहां कम पड़ता है: यह ओपन-सोर्स नहीं है, और इसका व्यावसायिक मॉडल बड़े पैमाने पर तैनात करने से पहले समझने के लायक है। मेमोरी रिपोर्टिंग और अटके हुए लोडों के लिए डायग्नोस्टिक्स कम हो सकते हैं।
मूल्य निर्धारण:
- मुफ्त: पूर्ण ऐप, व्यक्तिगत उपयोग
- सशुल्क: अनुरोध पर व्यावसायिक लाइसेंसिंग
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: lmstudio.ai
निचली पंक्ति: यदि आप एक इंस्टॉलर से UI और API चाहते हैं तो सबसे मजबूत प्रारंभिक बिंदु।
2. Ollama
Ollama एक मॉडल खींचने और स्थानीय रूप से परोसने के लिए CLI-पहली मानक है। ollama run qwen2.5-coder:14b आपको एक कार्यशील कोडिंग मॉडल एक कमांड में देता है; एक ही daemon एक HTTP API को प्रदर्शित करता है जो अब LLM इकोसिस्टम का आधा डिफ़ॉल्ट रूप से लक्ष्य करता है। एक ऑडिट स्क्रिप्ट के लिए जो एक Compose फ़ाइल को पढ़ता है, मॉडल से समस्याओं के लिए पूछता है और एक रिपोर्ट लिखता है, Ollama शून्य से दौड़ने तक का सबसे छोटा रास्ता है।
यह कहां कम पड़ता है: बिल्ट-इन चैट UI इरादे से न्यूनतम है; यदि आप एक वास्तविक इंटरफेस चाहते हैं तो आप Ollama को Open WebUI या Msty के साथ जोड़ते हैं। मॉडल प्रबंधन टैग द्वारा किया जाता है न कि स्पष्ट पथ द्वारा, जो कुछ सुरक्षा-सचेत टीमें अधिक नियंत्रण पसंद करती हैं।
मूल्य निर्धारण:
- मुफ्त: पूर्ण ऐप
- सशुल्क: होस्ट किए गए मॉडलों के लिए क्लाउड टियर
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: ollama.com
निचली पंक्ति: जब वर्कफ़्लो स्क्रिप्ट किया हो तो चुनें, और जब न हो तो UI के साथ जोड़ने के लिए चुनें।
3. Jan
Jan LM Studio के लिए पूरी तरह से खुली-स्रोत विकल्प है। एक ही आकार: एक स्थानीय मॉडल रनटाइम, एक OpenAI-संगत सर्वर, एक चैट UI, और एक Hugging Face-लिंक्ड मॉडल कैटलॉग। अंतर लाइसेंस और पूरे स्टैक को निरीक्षण और संशोधित करने की क्षमता है। सुरक्षा टीमों को जो अंत बिंदु पर क्या चलता है यह न्यायसंगत करना चाहिए, इसे पसंद करने की प्रवृत्ति है।
यह कहां कम पड़ता है: मॉडल कैटलॉग और नई क्वांटाइज़ेशन की पहचान LM Studio से थोड़ी पिछड़ी है, हालांकि अंतर हर रिलीज़ में सिकुड़ता है। विस्तार अभी भी पकड़ रहे हैं।
मूल्य निर्धारण:
- मुफ्त: पूर्ण ऐप
- सशुल्क: लागू नहीं
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: jan.ai
निचली पंक्ति: जब आपको रनटाइम को देखना और ऑडिट करना होता है, तो विकल्प, केवल मॉडल आउटपुट नहीं।
4. GPT4All
GPT4All ने दस्तावेज़ पुनः प्राप्ति पर अपने अधिकांश समकक्षों से अधिक समय बिताया है, और यह LocalDocs सुविधा में दिखाता है। आप इसे Compose फ़ाइलों, IaC टेम्पलेट्स के एक फ़ोल्डर या पूरे रेपो की ओर इशारा करते हैं, और ऐप एक स्थानीय सूचकांक बनाता है जिससे चैट निकलता है। यह एक सुरक्षा समीक्षा के लिए सही आकार है जो एक कोडबेस को फैलाता है, एक स्निपेट को नहीं।
यह कहां कम पड़ता है: API सतह LM Studio या Ollama की तुलना में संकीर्ण है। ऐप में मॉडल कार्यक्षमता ठीक है लेकिन इसके चारों ओर पारिस्थितिकी तंत्र इस सूची के नेताओं की तुलना में छोटा है।
मूल्य निर्धारण:
- मुफ्त: पूर्ण ऐप
- सशुल्क: enterprise समर्थन टियर
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: nomic.ai/gpt4all
निचली पंक्ति: जब ऑडिट एक रेपो को फैलाता है और आप बिल्ट-इन पुनः प्राप्ति चाहते हैं तो चुनें।
5. Continue
Continue स्थानीय-LLM सहायक है जो VS Code और JetBrains IDEs के अंदर रहता है। इसे Ollama, LM Studio या एक स्व-होस्ट किए गए vLLM की ओर इशारा करें, और आप इनलाइन व्याख्या, रिफ़ैक्टर सुझाव और एक चैट प्राप्त करते हैं जो आपकी खुली फ़ाइल को देख सकता है। सुरक्षा ऑडिटिंग के लिए यह प्राकृतिक सतह है: एक फ़ंक्शन को हाइलाइट करें, पूछें कि क्या गलत हो सकता है, फिर एक पूरी फ़ाइल में एक ही प्रॉम्प्ट चलाएं। एक्सटेंशन ओपन-सोर्स है और कॉन्फ़िगरेशन एक सादे JSON फ़ाइल में रहता है जो आप समीक्षा कर सकते हैं।
यह कहां कम पड़ता है: यह आपको मॉडल होस्ट प्रदान करने पर निर्भर करता है। यह एक मॉडल चलाने के लिए जगह नहीं है, यह एक का उपयोग करने के लिए जगह है। यह सुरक्षा टीम के लिए एक सुविधा है; यह एक शौकीन के लिए एक कदम है।
मूल्य निर्धारण:
- मुफ्त: ओपन-सोर्स एक्सटेंशन
- सशुल्क: वैकल्पिक टीम टियर
प्लेटफॉर्म: Windows, macOS, Linux (VS Code या JetBrains के माध्यम से)
डाउनलोड: continue.dev
निचली पंक्ति: स्थानीय LLM ऑडिट को उस संपादक में लाने के लिए चुनें जिसमें आप पहले से काम कर रहे हैं।
6. Msty
Msty व्यावहारिकतावादी का चैट ऐप है: एक इंटरफेस जो Ollama, LM Studio और दूर के API से बात करता है। यह एक सुरक्षा वर्कफ़्लो के लिए उपयोगी है जो वॉल्यूम के लिए स्थानीय रूप से एक छोटा मॉडल चलाता है और एक मुश्किल खोज के अंतिम मील के लिए एक बड़ा क्लाउड मॉडल। विभाजन दृश्य और समानांतर मॉडल चैट तुलना ऑडिट तेज़ बनाते हैं।
यह कहां कम पड़ता है: ऐप ओपन-सोर्स नहीं है। मूल्य UX के बजाय मॉडल रनटाइम में है, इसलिए यह चुनाव समझदारी में है जब एक अच्छा UX बाधा है।
मूल्य निर्धारण:
- मुफ्त: व्यक्तिगत उपयोग के लिए पूर्ण ऐप
- सशुल्क: उन्नत सुविधाओं के लिए वैकल्पिक Aura टियर
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: msty.app
निचली पंक्ति: जब टीम पहले से ही Ollama चलाती है और ऊपर बस एक बेहतर चैट क्लाइंट चाहती है तो चुनें।
7. Open WebUI
Open WebUI स्व-होस्ट किए गए टीम चैट है जो Ollama या vLLM को ऐसा कुछ बनाता है जिसे पूरी टीम मार सकती है। साइन-इन, प्रति-उपयोगकर्ता मॉडल पहुंच, और दस्तावेज़ों पर RAG सभी यहां हैं। एक सुरक्षा टीम के लिए, इसका मतलब है एक on-prem मॉडल होस्ट प्रत्येक समीक्षक को एक साझा UI के माध्यम से ऑडिट परोसना, प्रति-उपयोगकर्ता टेलीमेट्री और नियंत्रण के साथ।
यह कहां कम पड़ता है: यह एक स्व-होस्ट किया गया सेवा है, इसलिए सेटअप आपके ऊपर है। ऑडिट सतह चैट और दस्तावेज़ है एक स्क्रिप्ट किए गए API पाइपलाइन के बजाय, जो अंतर्निहित Ollama आपके लिए परत के लिए प्रदर्शित करता है।
मूल्य निर्धारण:
- मुफ्त: ओपन-सोर्स
- सशुल्क: लागू नहीं
प्लेटफॉर्म: स्व-होस्ट किया गया (किसी भी OS से ब्राउज़र पहुंच)
डाउनलोड: openwebui.com
निचली पंक्ति: जब ऑडिट एक टीम गतिविधि हो तो चुनें, एकल नहीं।
सही वाला कैसे चुनें
- यदि आप एक इंस्टॉलर से UI प्लस API चाहते हैं: LM Studio.
- यदि ऑडिट स्क्रिप्ट किए गए होंगे और CI द्वारा चलाए गए होंगे: Ollama.
- यदि आपको ऊपर से नीचे तक ओपन-सोर्स चलाना होता है: Jan.
- यदि एक पूरे रेपो पर पुनः प्राप्ति मायने रखती है: GPT4All.
- यदि ऑडिट IDE के अंदर रहना चाहिए: Continue Ollama के ऊपर।
- यदि एक महान चैट UX वह है जो वर्कफ़्लो को अनलॉक करता है: Msty.
- यदि टीम को एक साझा समीक्षा सतह की आवश्यकता है: Open WebUI Ollama के ऊपर।
FAQ
क्या एक स्थानीय LLM वास्तव में सुरक्षा छेद खोज सकता है जो एक स्थिर विश्लेषक मिस करता है?
हाँ और नहीं। एक स्थिर विश्लेषक नियतात्मक है और LLM से ज्ञात पैटर्न को बेहतर तरीके से पकड़ता है। एक स्थानीय LLM शब्दार्थ पकड़ता है: कौन सी माउंट आवश्यकता से अधिक देता है, कौन सा पोर्ट उजागर होने का कोई कारण नहीं है, कौन सा env var एक गुप्त का खुलासा करता है। दोनों एक साथ केवल एक से अधिक मजबूत हैं; LLM को समीक्षक के रूप में, स्कैनर के रूप में नहीं मानें।
आज कोड ऑडिट करने के लिए कौन सा खुला मॉडल सर्वश्रेष्ठ है?
24GB VRAM के लिए, Qwen 2.5 Coder 32B और DeepSeek Coder V3 वर्तमान स्टैंडआउट हैं। 16GB के लिए, Qwen 2.5 Coder 14B या Llama 3.3 70B कम क्वांटाइज़ेशन पर। 8GB के लिए, Phi-4 या Qwen 2.5 Coder 7B अभी भी उपयोगी समीक्षा वापस करते हैं। तस्वीर महीने दर महीने बदलती है; एक रनटाइम चुनें और जैसे ही वे आते हैं मॉडल स्वैप करें।
क्या ये ऐप्स क्लाउड को कुछ भी भेजते हैं?
मॉडल सभी सातों में स्थानीय रूप से चलते हैं। कुछ ऐप्स टेलीमेट्री (क्रैश रिपोर्ट, सुविधा उपयोग) करते हैं जब तक अक्षम नहीं होता। ऐप के टेलीमेट्री दस्तावेज़ पढ़ें और जो आप नहीं चाहते उसे बंद करें। Ollama, Jan और GPT4All ऑफ़लाइन रहने के बारे में सबसे सख्त हैं।
क्या मैं एक नेटवर्क-डिस्कनेक्ट मशीन पर इनमें से कोई भी उपयोग कर सकता हूं?
Ollama, Jan और GPT4All सभी पूरी तरह से ऑफ़लाइन इंस्टॉलेशन का समर्थन करते हैं यदि आप मॉडल फ़ाइलें साइड-लोड करते हैं। LM Studio कर सकता है, हालांकि मॉडल कैटलॉग को इंटरनेट की अपेक्षा है। Open WebUI आपके स्वयं के हार्डवेयर पर चलता है और कॉन्फ़िगर किए जाने के बाद बाहरी कनेक्टिविटी की आवश्यकता नहीं है।
Continue बनाम LM Studio में एक मॉडल चलाने के बीच क्या अंतर है?
Continue मॉडल को स्वयं नहीं चलाता है; यह एक स्थानीय सर्वर (Ollama, LM Studio, vLLM) से बात करने वाला एक ग्राहक है जो आपके IDE के अंदर है। LM Studio सर्वर है। उन्हें जोड़ी करें: LM Studio या Ollama चलाएं, Continue को इससे कनेक्ट करें, और संपादक के अंदर कोड ऑडिट करें।
