XDA के Hermes Agent पर लेख ने उस अंतर को चिह्नित किया जो दो सालों से लोकल-LLM उत्साही लोगों को खींच रहा है: चैट विंडो में एक मॉडल वास्तविक काम करने वाले मॉडल के समान नहीं है। आपके अपने GPU पर चलने वाला 70B मॉडल प्रभावशाली है। एक 7B मॉडल जो आपकी फाइलें पढ़ सकता है, स्क्रिप्ट चला सकता है, और आउटपुट वापस लिख सकता है, वह चैट बॉक्स की तुलना में एक उपयोगी तरीके से उपयोगी है।
हमने सात डेस्कटॉप ऐप्स का परीक्षण किया जो लोकल LLMs में एजेंट क्षमताओं को जोड़ते हैं, Ollama और LM Studio को Windows, macOS, और Linux पर मॉडल बैकएंड के रूप में चलाते हुए। चुनी गई चीजें ओपन-सोर्स फ्रेमवर्क से लेकर जो स्क्रिप्ट, फाइलें, और शेल को संभालते हैं, और हल्के उपकरण जो एक काम को अच्छी तरह करने पर ध्यान केंद्रित करते हैं।
लोकल-LLM एजेंट में क्या मायने रखता है
- बैकएंड लचीलापन। एक उपयोगी एजेंट उसके साथ काम करता है जो भी मॉडल सर्वर आप पहले से चलाते हैं। Ollama, LM Studio, llama.cpp, और OpenAI-संगत एंडपॉइंट सभी यहाँ दिखाई देते हैं।
- टूल निष्पादन जिसका आप ऑडिट कर सकते हैं। एजेंट जो शेल कमांड चलाते हैं उन्हें एक पुष्टिकरण चरण या सैंडबॉक्स की आवश्यकता होती है। एक वास्तविक वर्कस्टेशन पर ब्लैक-बॉक्स टूल रन यही है कि लोकल-LLM प्रयोग कैसे क्षतिग्रस्त डॉटफाइल के साथ समाप्त होते हैं।
- फाइल एक्सेस सीमाएं। “किसी भी फाइल को पढ़ें” सुविधाजनक है लेकिन खतरनाक है। बेहतर उपकरण आपको एक एजेंट को एक प्रोजेक्ट फोल्डर तक सीमित करने देते हैं।
- रन के बीच स्मृति। कुछ कार्य एक ताजा बातचीत चाहते हैं। अन्य कल के रन से संदर्भ चाहते हैं। उपकरण भिन्न होते हैं कि क्या स्मृति ऑप्ट-इन है।
- विफलता की लागत। एक विफल क्लाउड एजेंट एक बर्बाद API कॉल है। एक विफल लोकल एजेंट जिसने गलत शेल कमांड चलाया वह एक रिकवरी कार्य है। ऐसे उपकरण चुनें जो सुरक्षित रूप से विफल हों।
त्वरित तुलना
| ऐप | सर्वश्रेष्ठ के लिए | बैकएंड समर्थन | टूल निष्पादन | लाइसेंस |
|---|---|---|---|---|
| Open Interpreter | कोड निष्पादन के साथ प्राकृतिक-भाषा शेल | Ollama, LM Studio, llama.cpp, OpenAI-संगत | हाँ, वैकल्पिक सेफ मोड के साथ | AGPLv3 |
| OpenHands | वास्तविक कोडबेस के लिए सॉफ्टवेयर-इंजीनियरिंग एजेंट | OpenAI-संगत, Ollama | हाँ, Docker में सैंडबॉक्सित | MIT |
| Hermes Agent | Hermes मॉडल के लिए बंधा हल्का रनर | Ollama, LM Studio, llama.cpp | हाँ, स्क्रिप्टेड उपकरण | MIT |
| AutoGPT | दीर्घ-क्षितिज स्वायत्त कार्य रनर | OpenAI-संगत, shim के माध्यम से Ollama | हाँ, प्लग-इन-संचालित | MIT |
| AgentGPT | सेल्फ-होस्टेड विकल्प के साथ ब्राउजर-होस्टेड एजेंट | OpenAI-संगत, Azure, लोकल प्रॉक्सी | हाँ, ब्राउजर में | GPL-3.0 |
| Continue | इन-एडिटर कोडिंग एजेंट | Ollama, LM Studio, OpenAI-संगत | हाँ, IDE तक सीमित | Apache 2.0 |
| CrewAI | मल्टी-एजेंट ऑर्केस्ट्रेशन फ्रेमवर्क | कोई भी OpenAI-संगत एंडपॉइंट | हाँ, Python उपकरण के माध्यम से | MIT |
ऐप्स
1. Open Interpreter — सर्वश्रेष्ठ सामान्य-उद्देश्य शेल
Open Interpreter “एक लोकल LLM जो आपके कंप्यूटर का उपयोग कर सकता है” के सबसे करीब है। इसे pip से इंस्टॉल करें, इसे एक Ollama या LM Studio एंडपॉइंट की ओर इंगित करें, और इसे एक फोल्डर की सामग्री को सारांशित करने, तारीख के अनुसार फाइलों का नाम बदलने, या SQLite डेटाबेस की क्वेरी करने के लिए कहें। यह Python लिखता है, चलाने से पहले पूछता है, और आउटपुट को बातचीत में वापस पाइप करता है।
जहाँ यह कम पड़ता है: डिफ़ॉल्ट मोड पुष्टिकरण के साथ लोकल कोड चलाता है; सेफ मोड एक सैंडबॉक्स जोड़ता है लेकिन उपकरण क्या कर सकते हैं यह सीमित करता है। छोटे लोकल मॉडल कभी-कभी फ़ंक्शन कॉल को हॉलुसिनेट करते हैं जो निष्पादन पर विफल होते हैं। इंटरेक्टिव REPL बहुत अच्छा है; डेस्कटॉप GUI नया और अधिक खुरदरा है।
मूल्य निर्धारण:
- मुफ़्त: AGPLv3 ओपन सोर्स
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: Open Interpreter | स्रोत
निचला रेखा: इसे चुनें जब आप एक एकल CLI चाहते हैं जो एक लोकल LLM को कार्यशील शेल असिस्टेंट में बदल देता है।
2. OpenHands — सॉफ्टवेयर इंजीनियरिंग कार्यों के लिए सर्वश्रेष्ठ
OpenHands (पहले OpenDevin के रूप में जाना जाता था) कोडबेस-स्केल काम के लिए बनाया गया है। एजेंट Docker सैंडबॉक्स के अंदर चलता है, एक वास्तविक शेल पाता है, ब्राउजर का उपयोग कर सकता है, और Git रिपोजिटरी के खिलाफ बहु-चरणीय योजनाएं निष्पादित कर सकता है। यह OpenAI-संगत एंडपॉइंट में प्लग करता है, जिसमें स्थानीय Ollama और LM Studio प्रॉक्सी शामिल हैं, इसलिए मॉडल आपके हार्डवेयर पर रहता है जबकि एजेंट को पूर्ण विकास उपकरण मिलते हैं।
जहाँ यह कम पड़ता है: Open Interpreter की तुलना में भारी सेटअप; आपको Docker चल रहा होना चाहिए और कंटेनर को पर्याप्त संसाधन देने के लिए तैयार होना चाहिए। छोटे लोकल मॉडल (13B के तहत) OpenHands जो बहु-चरणीय योजना की उम्मीद करता है उसमें संघर्ष करते हैं। वेब UI कार्यात्मक है लेकिन क्लाउड-होस्टेड संस्करण जितना चिकना नहीं है।
मूल्य निर्धारण:
- मुफ़्त: MIT ओपन सोर्स
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Windows, macOS, Linux (Docker के माध्यम से)
डाउनलोड: OpenHands
निचला रेखा: इसे चुनें जब एजेंट को एक वास्तविक कोडबेस पढ़ना, परीक्षण चलाना, और एक पुल रिक्वेस्ट तैयार करना हो।
3. Hermes Agent — सर्वश्रेष्ठ हल्का रनर
Hermes Agent वह प्रोजेक्ट है जिसे XDA ने प्रकाश डाला। यह एक लोकल LLM को एक छोटे, केंद्रित एजेंट रनटाइम के साथ जोड़ता है जो स्क्रिप्ट चला सकता है और फाइलें पढ़ सकता है, Hermes परिवार के सूक्ष्म-समायोजित मॉडल के चारों ओर डिज़ाइन किया गया है लेकिन Ollama या llama.cpp के माध्यम से परोसे गए किसी भी चैट-समायोजित मॉडल के साथ संगत। पदचिह्न छोटा है और कॉन्फ़िगरेशन छोटा है।
जहाँ यह कम पड़ता है: युवा प्रोजेक्ट; दस्तावेज़ और कम्युनिटी ज्ञान आधार पतले हैं। सर्वश्रेष्ठ परिणाम इसे Hermes-परिवार मॉडल के साथ चलाने से आते हैं जिसके लिए रनटाइम समायोजित था; सामान्य ओपन मॉडल काम करते हैं लेकिन कम विश्वसनीय रूप से। जॉब ऑर्केस्ट्रेशन OpenHands की तुलना में सरल है।
मूल्य निर्धारण:
- मुफ़्त: MIT ओपन सोर्स
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: Hermes Agent on GitHub
निचला रेखा: इसे चुनें जब आप एक छोटा रनर चाहते हैं जो रास्ते से हट जाए और आप जो स्क्रिप्ट पहले से रखते हैं उन्हें चलाए।
4. AutoGPT — सर्वश्रेष्ठ स्वायत्त कार्य रनर
AutoGPT ने “एक LLM को एक लक्ष्य दें और इसे चरणों का पता लगाने दें” पैटर्न को लोकप्रिय बनाया। हाल के पुनर्लेखन एक ग्राफ-शैली एजेंट बिल्डर, वेब खोज, फाइल हेरफेर, और टूल उपयोग के लिए प्लग-इन, और एक स्व-होस्टेड बैकएंड जो OpenAI-संगत प्रॉक्सी के माध्यम से लोकल मॉडल एंडपॉइंट से बात करता है।
जहाँ यह कम पड़ता है: छोटे लोकल मॉडल पर स्वायत्त लूप अनावश्यक रूप से बढ़ सकते हैं, प्रगति किए बिना टूल कॉल को जमा कर सकते हैं। प्लग-इन इकोसिस्टम 2023 के हाइप साइकिल के दौरान बड़ा हुआ, फिर पतला हुआ; फाइलसिस्टम एक्सेस देने से पहले प्लग-इन का सत्यापन करें। इंटरफेस CLI विकल्प की तुलना में व्यस्ततर है।
मूल्य निर्धारण:
- मुफ़्त: MIT ओपन सोर्स
- सशुल्क: वैकल्पिक प्रबंधित क्लाउड
- बनाम OpenHands: व्यापक लक्ष्य, कम संरचित निष्पादन
प्लेटफॉर्म: Windows, macOS, Linux
डाउनलोड: AutoGPT
निचला रेखा: इसे चुनें जब कार्य व्यापक हो और लक्ष्य “देखें कि एजेंट क्या सुझाता है” हो बजाय “इस परिभाषित योजना को निष्पादित करें।“
5. AgentGPT — सर्वश्रेष्ठ ब्राउजर-प्रथम विकल्प
AgentGPT ब्राउजर टैब में चलता है। यह एक लक्ष्य-आधारित इंटरफेस प्रकट करता है जो एक उच्च-स्तरीय उद्देश्य को उप-कार्यों में विघटित करता है और उन्हें एक मॉडल एंडपॉइंट के माध्यम से चलाता है। स्व-होस्टेड Docker बिल्ड आपको एक लोकल मॉडल सर्वर की ओर इंगित करने देता है, जो मॉडल को आपके हार्डवेयर पर रखता है जबकि गैर-तकनीकी उपयोगकर्ताओं के लिए एक उपयोगी वेब UI प्रदान करता है।
जहाँ यह कम पड़ता है: टूल निष्पादन Open Interpreter या OpenHands की तुलना में अधिक सीमित है; यह फाइलसिस्टम एक्सेस पर खोज और तर्क को झुकाता है। होस्टेड संस्करण एक सशुल्क SaaS है; स्व-होस्टेड संस्करण मुफ़्त पथ है।
मूल्य निर्धारण:
- मुफ़्त: GPL-3.0 स्व-होस्टेड
- सशुल्क: होस्टेड योजनाएं प्रति माह लगभग 40 USD से शुरू होती हैं उच्च सीमाओं के लिए
प्लेटफॉर्म: Windows, macOS, Linux (ब्राउजर; बैकएंड Docker के माध्यम से)
डाउनलोड: AgentGPT
निचला रेखा: इसे चुनें जब आप एक वेब UI चाहते हैं जिसे गैर-तकनीकी साथी उपयोग कर सकते हैं, आपके लोकल मॉडल सर्वर की ओर इंगित किया गया।
6. Continue — सर्वश्रेष्ठ इन-एडिटर एजेंट
Continue एक VS Code और JetBrains एक्सटेंशन है जो एडिटर को एक एजेंट UI में बदलता है। यह Ollama, LM Studio, llama.cpp, और OpenAI-संगत एंडपॉइंट में प्लग करता है, वर्कस्पेस तक सीमित टूल उपयोग का समर्थन करता है, और IDE को छोड़े बिना ऑटोकंप्लीट, चैट, और बहु-चरणीय संपादन को संभालता है।
जहाँ यह कम पड़ता है: एजेंटिक गहराई OpenHands की तुलना में उथली है; यह “इस प्रॉम्प्ट के आधार पर इन फाइलों को संपादित करें” पर उत्कृष्ट है और “इस कोडबेस का अंत से अंत तक अन्वेषण करें” पर कमजोर है। टूल सतह पूरी मशीन के बजाय IDE तक सीमित है।
मूल्य निर्धारण:
- मुफ़्त: Apache 2.0 ओपन सोर्स
- सशुल्क: वैकल्पिक टीम विशेषताएं
प्लेटफॉर्म: Windows, macOS, Linux (VS Code या JetBrains एक्सटेंशन के रूप में)
निचला रेखा: इसे चुनें जब काम IDE में होता है और आप एजेंट को एक अलग विंडो में नहीं बल्कि एडिटर के अंदर चाहते हैं।
7. CrewAI — मल्टी-एजेंट सेटअप के लिए सर्वश्रेष्ठ
CrewAI एक Python फ्रेमवर्क है, पॉलिश किया गया ऐप नहीं। समावेश का बिंदु: जब “एक एजेंट” काम की गलत इकाई है और आपको वास्तव में एक शोधकर्ता, लेखक, और आलोचक की समन्वय चलाना चाहिए, यह एक लोकल मॉडल सर्वर के खिलाफ सेट अप करने के लिए सबसे मित्रवत पथ है। यह Python डेवलपर दर्शकों को लक्षित करता है और चैट इंटरफेस के बजाय ऑर्केस्ट्रेशन कोड का उत्पादन करता है।
जहाँ यह कम पड़ता है: कोड-प्रथम, कोई GUI नहीं। आपको कार्यदल, उपकरण, और कार्य को Python में परिभाषित करना आवश्यक है। सीखने की वक्र वास्तविक है और दस्तावेज़ LangChain-शैली पैटर्न की परिचितता की उम्मीद करता है।
मूल्य निर्धारण:
- मुफ़्त: MIT ओपन सोर्स
- सशुल्क: वैकल्पिक CrewAI Enterprise
प्लेटफॉर्म: Windows, macOS, Linux (Python लाइब्रेरी के रूप में)
निचला रेखा: इसे चुनें जब एक एजेंट पर्याप्त नहीं है और आप Python लिख सकते हैं।
सही विकल्प कैसे करें
- यदि आप एक एकल कमांड-लाइन टूल चाहते हैं जो काम निकाले: Open Interpreter।
- यदि आप एक एजेंट चाहते हैं जो वास्तविक सॉफ्टवेयर प्रोजेक्ट को संभाले: OpenHands।
- यदि आप Hermes परिवार के लिए बंधा एक छोटा रनर चाहते हैं: Hermes Agent।
- यदि आप व्यापक स्वायत्तता चाहते हैं और आप लागत स्वीकार करते हैं: AutoGPT।
- यदि आप गैर-तकनीकी उपयोगकर्ताओं के लिए ब्राउजर UI चाहते हैं: AgentGPT।
- यदि काम IDE में होता है: Continue।
- यदि आपको कई समन्वित एजेंटों की आवश्यकता है: CrewAI।
FAQ
लोकल LLM एजेंट और चैट मॉडल के बीच क्या अंतर है?
एक चैट मॉडल पाठ का उत्पादन करता है। एक एजेंट एक लूप में चलता है: सोचना, एक उपकरण को कॉल करना, परिणाम को देखना, फिर से सोचना, दूसरे उपकरण को कॉल करना, जब तक लक्ष्य पूरा न हो जाए या लूप समाप्त न हो। उपकरण स्क्रिप्ट, फाइल पढ़ना, वेब खोज, शेल कमांड, या कुछ और हैं जो फ्रेमवर्क प्रकट करता है। समान मॉडल रनटाइम रैपर के आधार पर दोनों हो सकता है।
क्या मैं इन्हें Raspberry Pi पर चला सकता हूँ?
कुछ छोटे मॉडल के साथ कर सकते हैं। Open Interpreter और Hermes Agent शुरू करने के लिए पर्याप्त हल्के हैं। OpenHands को Docker संसाधनों की जरूरत है जो Pi सुविधाजनक रूप से प्रदान करता है। कम से कम 16 GB RAM और किसी भी एजेंट के लिए 13B या बड़े मॉडल के चारों ओर GPU या Apple Silicon की योजना बनाएं।
कौन सा वास्तविक वर्कस्टेशन पर चलाने के लिए सबसे सुरक्षित है?
OpenHands डिफ़ॉल्ट रूप से Docker के अंदर सब कुछ सैंडबॉक्स करता है, जो सबसे मजबूत अलगाववादिता देता है। Open Interpreter का एक सेफ मोड है जो एक सैंडबॉक्स परत जोड़ता है। बाकी को आप किसी भी उपकरण के रूप में मानते हैं जो मनमानी स्क्रिप्ट चलाता है: इसे एक प्रोजेक्ट फोल्डर तक सीमित करें, रूट के रूप में न चलाएं, और महत्वपूर्ण चीज़ों को छूने के लिए इसे जाने देने से पहले बैकअप लें।
क्या मुझे GPU की जरूरत है?
उपयोगी एजेंट 13B मॉडल के चारों ओर प्रतिक्रियाशील महसूस करने लगते हैं। GPU के बिना, एक आधुनिक CPU पर 7B मॉडल सरल कार्यों के लिए कार्यशील है। 32 GB एकीकृत स्मृति वाला Apple Silicon Mac आश्चर्यजनक रूप से अच्छी तरह चलता है। 16 GB+ के साथ एक अलग NVIDIA GPU सबसे लचीला सेटअप है।
क्या मैं इन्हें OpenAI के API के बजाय स्थानीय मॉडल के साथ उपयोग कर सकता हूँ?
हाँ उनमें से अधिकांश के लिए। सूचीबद्ध फ्रेमवर्क किसी भी OpenAI-संगत एंडपॉइंट को स्वीकार करते हैं, इसलिए समान सेटअप GPT-4o, प्रॉक्सी के माध्यम से Anthropic, Groq, Together, या आपके लोकल Ollama उदाहरण के खिलाफ काम करता है। लोकल का बिंदु आपके हार्डवेयर पर डेटा रखना है; एजेंट कोड स्रोत की परवाह नहीं करता है।
OpenHands और Open Interpreter के बीच क्या अंतर है?
OpenHands एक कोडबेस के खिलाफ इंजीनियरिंग कार्यों के लिए बनाया गया है, मजबूत सैंडबॉक्सिंग और एक योजना लूप के साथ। Open Interpreter पूरी मशीन पर “प्राकृतिक-भाषा शेल” उपयोग के लिए बनाया गया है, एक हल्के सैंडबॉक्स और चैट-प्रथम इंटरफेस के साथ। रिपो के अंदर OpenHands का उपयोग करें; मशीन पर Open Interpreter का उपयोग करें।
