एक XDA-Developers लेखक ने अपने Docker सर्वर को स्थानीय LLM के ढेर से जोड़ने में एक सप्ताहांत बिताया और एक वर्कस्टेशन के साथ चला गया जो अब स्वयं को प्रबंधित करता है। वह पाठ जो टुकड़ा चुपचाप बनाता है वह है जो महत्वपूर्ण है: Docker स्थानीय AI के लिए काम की सही इकाई है। एक मॉडल सर्वर छवि खींचो, एक UI खींचो, उन्हें एक compose फ़ाइल के साथ चिपकाओ, और पूरी चीज़ मशीनों और रीबूट्स में पुनरुत्पादन योग्य है। अगले CUDA अपडेट के बाद कोई और Python virtualenv पुरातत्व नहीं।
हमने self-hosted LLM वर्कफ़्लो के लिए सर्वश्रेष्ठ ऐप्स का परीक्षण किया जो उस पैटर्न को फिट करते हैं। इस सूची पर प्रत्येक विकल्प एक आधिकारिक छवि के साथ आता है, एक नामित वॉल्यूम के माध्यम से स्थिति बनाए रखता है, और Postgres, Redis और एक रिवर्स प्रॉक्सी के साथ एक compose फ़ाइल में बिना किसी आश्चर्य के फिट बैठता है। हमने उबाऊ सामान को रेट किया: एक ताज़ी docker compose up कितनी तेजी से एक काम करने वाली चैट तक पहुंचती है, GPU passthrough कितनी अच्छी तरह काम करता है, क्या छवि rootless Docker और Podman के साथ अच्छी तरह खेलता है, और जब कोई मॉडल क्रैश होता है तो प्रत्येक कंटेनर कितना लीक करता है।
Self-Hosted LLM Stack में क्या देखना है
कुछ विशेषताएं उन कंटेनरों को अलग करती हैं जो आपकी compose फ़ाइल में एक स्थायी स्लॉट पाते हैं उन लोगों से जो एक सप्ताह के बाद निकाल दिए जाते हैं:
- OpenAI-API संगतता। वास्तविक तार प्रारूप। यदि कोई कंटेनर इसे बोलता है, तो हर मौजूदा क्लाइंट (संपादक एक्सटेंशन, एजेंट फ्रेमवर्क, नोटबुक) बिना कोड परिवर्तन के काम करता है।
- आधिकारिक Docker छवि। रखरखाव-निर्मित छवियों को CVE प्रकटीकरण पर फिर से बनाया जाता है और upstream रिलीज़ के विरुद्ध टैग किया जाता है। कम्युनिटी forks पिछड़ते हैं और चलते हैं।
- GPU passthrough। Linux पर NVIDIA Container Toolkit, जहां समर्थित ROCm, होस्ट इंटेंशन के माध्यम से Apple Silicon। सबसे मजबूत छवियां
--gpus allआह्वान को दस्तावेज़ित करती हैं और समझदारी से भरी डिफ़ॉल्ट के साथ आती हैं। - स्थायी वॉल्यूम सम्मेलन। मॉडल बड़े हैं। एक अनुमानित माउंट बिंदु (
/root/.ollama,/app/backend/data) आपकेdocker-compose.ymlको छोटा और आपके बैकअप को सरल रखता है। - OpenTelemetry और संरचित लॉगिंग। जो कुछ भी प्रोडक्शन में चलता है उसे ट्रेस और JSON लॉग्स की आवश्यकता होती है, बस stdout चैट नहीं।
- मल्टी-यूजर ऑथ। होम लैब single-user मोड को तब तक आगे बढ़ाता है जब तक कोई दूसरा व्यक्ति अंदर नहीं आना चाहता। SSO, OIDC, या कम से कम असली पासवर्ड हैशिंग मायने रखती है।
त्वरित तुलना
| ऐप | परत | मुफ़्त योजना | पेड tier | Docker छवि |
|---|---|---|---|---|
| Ollama | Model server | हाँ (open source) | कोई नहीं | ollama/ollama |
| Open WebUI | Chat UI | हाँ (open source) | कोई नहीं | ghcr.io/open-webui/open-webui |
| LocalAI | Model server (multimodal) | हाँ (open source) | कोई नहीं | localai/localai |
| LiteLLM | Gateway / proxy | हाँ (open source) | Enterprise | ghcr.io/berriai/litellm |
| vLLM | Production inference | हाँ (open source) | कोई नहीं | vllm/vllm-openai |
| Text Generation WebUI | Tinkerer UI | हाँ (open source) | कोई नहीं | atinoda/text-generation-webui |
| AnythingLLM | Full-stack workspace | हाँ (open source) | Hosted plan | mintplexlabs/anythingllm |
2026 में Docker के साथ Self-Hosted LLM के लिए 7 सर्वश्रेष्ठ ऐप्स
1. Ollama — home lab के लिए सर्वश्रेष्ठ मॉडल सर्वर
Ollama श्रेणी में “Docker for LLM” के सबसे करीब है। आधिकारिक छवि छोटी है, डेमॉन localhost:11434 पर एक OpenAI-संगत API को उजागर करता है, और एक docker exec ollama ollama pull llama3.2 सब कुछ है जो एक मॉडल जोड़ने के लिए आवश्यक है। लाइब्रेरी लोकप्रिय परिवारों में 4500+ टैग किए गए बिल्ड को कवर करती है जिसमें समझदारी से भरी हुई डिफ़ॉल्ट हैं, और GPU स्टोरी NVIDIA और AMD दोनों होस्ट के लिए अच्छी तरह से प्रलेखित है।
जहां यह कम पड़ता है: Ollama एक रनटाइम है, चैट ऐप नहीं। छवि UI के साथ नहीं आती, इसलिए आप इसे Open WebUI या किसी अन्य फ्रंट-एंड के साथ जोड़ते हैं। Modelfile प्रारूप शक्तिशाली है लेकिन एक बिल्ड स्टेप पेश करता है जब आप एक कस्टम सिस्टम प्रॉम्प्ट चाहते हैं।
मूल्य निर्धारण:
- मुफ़्त: open-source, कोई लाइसेंस शुल्क नहीं
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Linux कंटेनर; Docker के माध्यम से Windows, macOS और Linux होस्ट पर चलता है।
डाउनलोड: ollama.com
निचली पंक्ति: किसी भी self-hosted stack के मॉडल-सर्वर परत के रूप में Ollama चुनें। कुछ और एक compose फ़ाइल में इतना आसानी से फिट बैठता है।
2. Open WebUI — Ollama के सामने रखने के लिए सर्वश्रेष्ठ चैट UI
Open WebUI वह फ्रंट-एंड है जिसे Ollama कम्युनिटी ने मानकीकृत किया है। कंटेनर मल्टी-यूजर अकाउंट, प्रति-कथोपकथन मॉडल स्विचिंग, अपलोड की गई दस्तावेजों पर RAG, MCP टूल सपोर्ट और एक एक्सटेंशन सिस्टम के साथ एक पॉलिश्ड ChatGPT-स्टाइल इंटरफेस के साथ आता है जो इमेज जेनरेशन, वेब सर्च और कोड इंटरप्रेटेशन जोड़ता है। आधिकारिक छवि HTTPS और OIDC के साथ एक रिवर्स प्रॉक्सी के पीछे बॉक्स से काम करती है।
जहां यह कम पड़ता है: यह एक अलग backend मानता है, इसलिए यह कभी अकेले काम नहीं करता। सेटिंग्स सतह व्यापक है, जो उन शुरुआती admins को भारी कर सकता है जो केवल एक चैट बॉक्स चाहते हैं।
मूल्य निर्धारण:
- मुफ़्त: open-source, कोई लाइसेंस शुल्क नहीं
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Linux कंटेनर; Docker के माध्यम से Windows, macOS और Linux होस्ट पर चलता है।
डाउनलोड: openwebui.com
निचली पंक्ति: घरेलू या छोटी टीम के सेटअप के लिए चैट-UX परत के रूप में Open WebUI चुनें। यह श्रेणी में सबसे स्वच्छ ब्राउज़र-आधारित इंटरफेस है।
3. LocalAI — OpenAI के लिए सर्वश्रेष्ठ multimodal drop-in
LocalAI OpenAI API के लिए एक drop-in replacement है जो एक एंडपॉइंट के माध्यम से पाठ, छवि, ऑडियो और embeddings को हैंडल करता है। एक सिंगल कंटेनर Llama चैट पूर्ण, Whisper ट्रांसक्रिप्शन, Stable Diffusion इमेज और sentence-embedding कॉल को अलग-अलग सर्विसेज़ के साथ जॉग्लिंग के बिना सेवा कर सकता है। मॉडल बंडल one-liner के साथ इंस्टॉल होते हैं, और प्रोजेक्ट CUDA और ROCm दोनों के लिए GPU छवियों के साथ आता है।
जहां यह कम पड़ता है: चौड़ाई throughput को खर्च करता है। एक workload जो एक modality को हथौड़ा मारता है अक्सर एक dedicated server पर तेजी से चलता है (text के लिए vLLM, image के लिए अलग diffusion कंटेनर)। Configuration YAML में भारी है, जो शुरुआती लोगों को ठोकर देता है।
मूल्य निर्धारण:
- मुफ़्त: open-source, कोई लाइसेंस शुल्क नहीं
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Linux कंटेनर; Docker के माध्यम से Windows, macOS और Linux होस्ट पर चलता है।
डाउनलोड: localai.io
निचली पंक्ति: LocalAI चुनें जब एक कंटेनर को एक single OpenAI-संगत URL के पीछे कई modalities serve करने की आवश्यकता हो।
4. LiteLLM — mixed stack के लिए सर्वश्रेष्ठ gateway
LiteLLM एक lightweight proxy है जो 100+ providers (OpenAI, Anthropic, Vertex, Bedrock, Ollama, vLLM, LocalAI) को एक single OpenAI-संगत API में map करता है। इसे अपने local backends और remote API keys के सामने रखें, हर client को proxy पर point करें, और आपको एक जगह पर unified logging, budgets, per-user keys, rate limits और routing rules मिलते हैं। कंटेनर छोटा है और admin UI सक्षम है।
जहां यह कम पड़ता है: मुफ़्त छवि में अधिकांश home labs को जो कुछ चाहिए वह है, लेकिन SSO, audit logs और कुछ advanced routing Enterprise tier के पीछे हैं। config.yaml के माध्यम से configuration एक बार जल्दी बढ़ता है जब आप कुछ से अधिक मॉडल जोड़ते हैं।
मूल्य निर्धारण:
- मुफ़्त: open-source self-host
- सशुल्क: SSO, audit logging और support के साथ Enterprise plan
प्लेटफॉर्म: Linux कंटेनर; Docker के माध्यम से Windows, macOS और Linux होस्ट पर चलता है।
डाउनलोड: litellm.ai
निचली पंक्ति: जब आपके stack में दो से अधिक backends हों तो LiteLLM चुनें। Gateway pattern वह है जो बाकी सिस्टम को समझदारी से रखता है।
5. vLLM — production load के लिए सर्वश्रेष्ठ inference engine
vLLM उच्च-throughput inference server है जिसकी अधिकांश टीमें तलाश करती हैं जब ट्रैफिक वास्तविक हो जाता है। PagedAttention और continuous batching tokens-per-second को समान hardware पर नैve servers से बहुत आगे धकेलते हैं, और OpenAI-संगत API का मतलब है कि मौजूदा clients बिना परिवर्तन के काम करते हैं। आधिकारिक vllm/vllm-openai छवि वह है जिसे आप खींचें, और प्रोजेक्ट NVIDIA driver और CUDA combinations को दस्तावेज़ित करता है।
जहां यह कम पड़ता है: Image बड़ी है। Server को reasonable VRAM के साथ NVIDIA GPU की उम्मीद है, इसलिए यह laptops या CPU-only hosts के लिए fit नहीं है। Configuration “production engineer” की ओर झुकता है “weekend tinkerer” की बजाय।
मूल्य निर्धारण:
- मुफ़्त: open-source, कोई लाइसेंस शुल्क नहीं
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Linux कंटेनर; NVIDIA Container Toolkit के साथ Docker के माध्यम से Windows, macOS और Linux होस्ट पर चलता है।
डाउनलोड: vllm.ai
निचली पंक्ति: जब concurrency और throughput पांच मिनट की setup time से अधिक महत्वपूर्ण हों तो vLLM को model server के रूप में चुनें।
6. Text Generation WebUI — tinkerers के लिए सर्वश्रेष्ठ playground
Text Generation WebUI (जिस प्रोजेक्ट को अधिकांश लोग अभी भी oobabooga कहते हैं) kitchen-sink option है। कंटेनर multiple backends (Transformers, llama.cpp, ExLlamaV2), हर sampler को sun के नीचे, character cards, LoRA training hooks और एक extension system को बंडल करता है जो RAG और voice जोड़ता है। शोधकर्ता जो sampler tuning, contrastive decoding या obscure quant formats की परवाह करते हैं वहां आते हैं।
जहां यह कम पड़ता है: आधिकारिक छवि बाकी से बड़ी है, पहली-बूट dependency dance अधिक समय लेता है, और UI surface area घनी है। यदि आप knobs के लिए आए तो कोई भी महत्व नहीं रखता, लेकिन यदि आप केवल एक chat box चाहते हैं तो महत्व रखता है।
मूल्य निर्धारण:
- मुफ़्त: open-source, कोई लाइसेंस शुल्क नहीं
- सशुल्क: कोई नहीं
प्लेटफॉर्म: Linux कंटेनर; Docker के माध्यम से Windows, macOS और Linux होस्ट पर चलता है।
डाउनलोड: github.com/oobabooga/text-generation-webui
निचली पंक्ति: Text Generation WebUI चुनें जब आप हर dial को exposed करना चाहते हैं और उसके साथ खेलने के लिए एक शाम हो।
7. AnythingLLM — सर्वश्रेष्ठ one-container workspace tool
AnythingLLM दुर्लभ full-stack pick है: एक image, एक volume, और परिणाम RAG, agents, workspace-scoped permissions और एक bring-your-own-LLM model picker वाली एक multi-user workspace है जो Ollama, LocalAI, vLLM, OpenAI और Anthropic को target करती है। कंटेनर vector database, document ingestion pipeline, chat UI और agent runtime को एक single process में हैंडल करता है। एक team के लिए जो “internal ChatGPT with documents” चाहते हैं चार services को assemble किए बिना, यह सबसे छोटा रास्ता है।
जहां यह कम पड़ता है: all-in-one approach flexibility को simplicity के लिए trade करता है। Heavy RAG workloads dedicated vector DB से benefit करते हैं, और बहुत बड़ी user counts bundled stack को outgrow करेंगी। Hosted plan उन teams के लिए exist करता है जो container को स्वयं operate नहीं करना पसंद करते हैं।
मूल्य निर्धारण:
- मुफ़्त: open-source self-host
- सशुल्क: managed updates और storage के साथ hosted plan
प्लेटफॉर्म: Linux कंटेनर; Docker के माध्यम से Windows, macOS और Linux होस्ट पर चलता है।
डाउनलोड: anythingllm.com
निचली पंक्ति: AnythingLLM चुनें जब एक team को “our documents के साथ private ChatGPT” की जरूरत हो और “one container” operational budget हो।
सही कैसे चुनें
यदि आप एक solo home lab चलाते हैं और सबसे सरल stack चाहते हैं, तो एक reverse proxy के पीछे Ollama plus Open WebUI चलाएं। दो containers, एक network, documents के साथ पूर्ण chat।
यदि आपकी team के पास दो से अधिक backends हैं या एक budget है जिसे आप वास्तव में लागू करना चाहते हैं, तो LiteLLM को सब कुछ के सामने रखें और clients को proxy की ओर point करें।
यदि workload production-grade है (real concurrency, real latency targets), तो vLLM के साथ LiteLLM के पीछे text serve करें, और Ollama या LocalAI को developer machines को हैंडल करने दें।
यदि stack को एक endpoint पर (transcription, image generation, embeddings) से अधिक की आवश्यकता है, तो LocalAI surface area को छोटा रखता है।
यदि goal “team-internal ChatGPT with our documents” है और operational budget एक container है, तो AnythingLLM A और B के बीच सबसे छोटी लाइन है।
यदि आप knobs के लिए आए हैं और sampler experimentation की एक शाम, तो Text Generation WebUI आपके लिए बनाया गया है।
FAQ
क्या Docker के साथ LLM को self-host करने के लिए मुझे GPU की आवश्यकता है?
7B और 14B models पर आरामदायक inference के लिए, हाँ। CPU-only containers छोटे quants और casual use के लिए काम करते हैं। NVIDIA hosts सबसे smooth path हैं; AMD ROCm support real है लेकिन narrower है; Apple Silicon आमतौर पर host पर model चलाता है (Ollama या LM Studio के माध्यम से) container के अंदर की बजाय।
एक काम करने वाले self-hosted LLM के लिए minimum compose file क्या है?
दो services: एक Ollama container with एक named volume mounted on /root/.ollama and एक port published on 11434, and एक Open WebUI container with OLLAMA_BASE_URL set to Ollama service। पूरी चीज़ YAML की लगभग 25 lines में फिट बैठती है।
मुझे किस container को सब कुछ के सामने रखना चाहिए?
एक gateway जैसे LiteLLM, एक reverse proxy (Caddy, Traefik या nginx) के पीछे जो HTTPS को हैंडल करता है। Clients proxy को एक base URL और एक key के साथ hit करते हैं। LiteLLM model name के आधार पर Ollama, vLLM या किसी भी remote provider को route करता है।
क्या मैं एक self-hosted LLM को multiple लोगों के साथ share कर सकता हूँ?
हाँ। Open WebUI और AnythingLLM दोनों role-based access control और per-workspace permissions के साथ multi-user accounts को support करते हैं। यदि आप programmatic access के लिए per-user API keys भी चाहते हैं तो किसी को LiteLLM के साथ जोड़ी।
मैं container restarts में models और chat history को कैसे persist करूँ?
Named volumes को documented paths पर mount करें: /root/.ollama for Ollama models, /app/backend/data for Open WebUI state, /app/server/storage for AnythingLLM। उन volumes को किसी अन्य data dir की तरह backup करें; model files magnitude का सबसे बड़ा piece हैं।
क्या API का उपयोग करने की तुलना में Docker के साथ LLM को self-host करना वास्तव में सस्ता है?
Volume पर निर्भर करता है। एक used RTX 3090 plus electricity hosted API pricing को beat करता है एक बार आपकी team प्रति दिन कुछ hundred thousand से अधिक tokens बनाती है। इससे नीचे, hosted APIs आमतौर पर amortized hardware की तुलना में सस्ते होते हैं। Self-hosting privacy और predictability पर cost से पहले जीतता है।
