XDA-Developers ने इस महीने एक लेख प्रकाशित किया कि कैसे Codex के नवीनतम अपडेट ने अंत में एक असली उपयोग संकेतक जोड़ा, और लेखक ने इसे अपने लिए सबसे महत्वपूर्ण सुधार बताया। निराशा सरल थी: एक कोडिंग एजेंट जो चुपचाप चेतावनी के बिना टोकन जला रहा था जब तक दर सीमा खत्म न हो जाए। एक दृश्यमान काउंटर जोड़ने से Codex उपयोगकर्ताओं के लिए समस्या का समाधान हुआ। समस्या यह है कि अब लगभग कोई एक ही मॉडल चलाता है। यदि आपका स्टैक रिफैक्टरिंग के लिए Claude, चैट के लिए GPT और लंबे संदर्भ के काम के लिए Gemini का उपयोग करता है, तो एक एकल प्रदाता के CLI में एक उपयोग संकेतक मदद नहीं करता है। AI उपयोग ट्रैकिंग के लिए सर्वश्रेष्ठ ऐप्स एक साथ प्रत्येक प्रदाता को देखते हैं, प्रत्येक कॉल को लॉग करते हैं, और आपको बताते हैं कि बिल आने से पहले प्रत्येक की लागत क्या है। हमने 2026 में सात का परीक्षण किया जो यह अच्छी तरह से करते हैं।
AI उपयोग ट्रैकिंग में क्या देखना है
पाँच चीजें महत्वपूर्ण हैं। पहला, इनपुट टोकन, आउटपुट टोकन और उस सटीक अनुरोध की USD लागत पर प्रति-कॉल दृश्यमानता। प्रदाता डैशबोर्ड आमतौर पर एक दिन देरी से कुल रिपोर्ट करते हैं; उपयोगी ट्रैकिंग प्रति-अनुरोध और वास्तविक समय है। दूसरा, बहु-प्रदाता कवरेज। Anthropic, OpenAI, Google, Mistral, AWS Bedrock, Azure OpenAI और कम से कम प्रमुख ओपन-वेट प्रदाताओं को सभी एक ही दृश्य में लॉगिन करना चाहिए। तीसरा, कठोर सीमाएं और बजट। नरम सतर्कताएं उपयोगी हैं, लेकिन एक वास्तविक सर्किट ब्रेकर जो एक भाग रहे एजेंट को एक महीने का बजट रातों-रात खर्च करने से पहले काट देता है यह वह सुविधा है जो खुद को भुगतान करती है। चौथा, डैशबोर्ड, ट्रेस और सतर्कताएं ताकि टीम उस एक प्रश्न को खोज सके जिसने पिछले मंगलवार को लागत दोगुनी कर दी। पाँचवां, स्व-होस्ट विकल्प उन दुकानों के लिए जो तीसरे पक्ष के माध्यम से प्रश्न और समापन को रूट नहीं कर सकते।
त्वरित तुलना
| ऐप | ओपन सोर्स? | स्व-होस्ट? | मुक्त स्तर | विशेष सुविधा |
|---|---|---|---|---|
| Helicone | हाँ | हाँ | हाँ, 100k अनुरोध/माह | एक-हेडर प्रॉक्सी, मिनटों में एकीकृत |
| Langfuse | हाँ | हाँ | हाँ, होस्ट की गई शौक स्तर | USD लागत के साथ स्पैन-स्तरीय ट्रेस |
| LangSmith | नहीं | नहीं | हाँ, सीमित | LangChain एकीकरण |
| LiteLLM | हाँ | हाँ | मुक्त OSS गेटवे | आभासी कुंजियाँ और प्रति-टीम बजट |
| Portkey | आंशिक | हाँ (Enterprise) | हाँ, सीमित | गेटवे, अवलोकनीयता और guardrails एक में |
| OpenLLMetry | हाँ | हाँ | मुक्त SDK | OpenTelemetry-देशी, किसी भी APM में प्लग करता है |
| Arize Phoenix | हाँ | हाँ | मुक्त | स्थानीय डैशबोर्ड, नोटबुक में चलता है |
2026 में AI उपयोग ट्रैकिंग के लिए 7 सर्वश्रेष्ठ ऐप्स
1. Helicone, आज लागत दृश्यमानता के लिए सर्वश्रेष्ठ
Helicone “हमें पता नहीं है कि हम क्या खर्च करते हैं” से एक लाइव डैशबोर्ड तक सबसे तेजी है। अपने OpenAI या Anthropic क्लाइंट में एक लाइन बदलें Helicone प्रॉक्सी के माध्यम से रूट करने के लिए, और प्रत्येक कॉल टोकन, लेटेंसी, USD लागत और पूर्ण प्रश्न और प्रतिक्रिया के साथ डैशबोर्ड पर आता है। ओपन-सोर्स कोर 100 से अधिक मॉडल का समर्थन करता है और स्व-होस्ट किए गए के रूप में होस्ट की गई मुक्त परत पर भी काम करता है।
जहां यह कम पड़ता है: प्रॉक्सी के माध्यम से रूटिंग एक छोटा लेटेंसी टैक्स जोड़ता है, आमतौर पर 20 से 50 ms। जिन टीमों को 100 ms से कम बजट चाहिए वे कभी-कभी OpenLLMetry में SDK-आधारित दृष्टिकोण पसंद करते हैं।
कीमत: मुक्त होस्टेड स्तर प्रति माह 100,000 अनुरोधों को कवर करता है। पेड प्लान उच्च वॉल्यूम और टीम सुविधाओं के लिए लगभग $20 प्रति माह से शुरू होते हैं। स्व-होस्टिंग MIT-लाइसेंस कोर के तहत मुक्त है।
प्लेटफॉर्म: SaaS वेब ऐप प्लस macOS, Windows और Linux के लिए स्व-होस्ट Docker।
डाउनलोड: helicone.ai
सारांश: Helicone चुनें यदि आप दिन के अंत में एक काम कर रहे लागत डैशबोर्ड चाहते हैं, SDK पुनर्लेखन के बिना।
2. Langfuse, टीमों के लिए सर्वश्रेष्ठ जो स्व-होस्ट चाहते हैं
Langfuse ओपन-सोर्स अवलोकनीयता मंच है जो अधिकांश गंभीर टीमें प्रदाता डैशबोर्ड से आगे बढ़ने पर अपनाती हैं। यह प्रत्येक LLM कॉल, टूल कॉल और एजेंट चरण के स्पैन-स्तरीय ट्रेस रिकॉर्ड करता है, OpenAI, Anthropic, Gemini और अधिकांश प्रमुख प्रदाताओं के लिए बिल्ट-इन टोकनाइजर और USD लागत गणना के साथ। स्व-होस्टिंग एक दस्तावेज्य प्रथम-श्रेणी पथ है, एक पादटिप्पणी नहीं।
जहां यह कम पड़ता है: सेटअप प्रॉक्सी की तुलना में भारी है। आप एक SDK जोड़ते हैं, अपने कॉल को उपकरण करते हैं, और यदि आप स्व-होस्ट करते हैं तो Postgres-समर्थित स्टैक चलाते हैं। टीमों के लिए इसके लायक है, एकल स्क्रिप्ट के लिए अत्यधिक।
कीमत: होस्ट किए गए क्लाउड पर मुक्त शौक स्तर। टीमों के लिए लगभग $59 प्रति माह से पेड प्लान। MIT लाइसेंस के तहत स्व-होस्टिंग मुक्त है, SSO और ऑडिट लॉगिंग के लिए पेड Enterprise स्तर के साथ।
प्लेटफॉर्म: SaaS वेब ऐप प्लस macOS, Windows और Linux पर स्व-होस्ट Docker।
डाउनलोड: langfuse.com
सारांश: Langfuse चुनें यदि आपका डेटा आपके बुनियादी ढांचे पर रहना चाहिए और आप एक ट्रैकिंग मंच चाहते हैं जो पैमाने पर टिके।
3. LangSmith, LangChain पर पहले से ही टीमों के लिए सर्वश्रेष्ठ
LangSmith LangChain टीम से होस्ट की गई अवलोकनीयता उत्पाद है। यदि आपके एजेंट पहले से ही LangChain या LangGraph पर बनाए गए हैं, तो एकीकरण एक पर्यावरण चर है, और आप एक एकल दृश्य में ट्रेस, evals और लागत रिपोर्टिंग प्राप्त करते हैं। टोकन और USD लागत प्रत्येक रन के बगल में बैठती है, प्रति-मॉडल ब्रेकडाउन और परियोजना-स्तरीय रोलअप के साथ जो वित्त वास्तव में पढ़ सकता है।
जहां यह कम पड़ता है: बंद-स्रोत और केवल होस्ट किया गया। कीमत ट्रेस द्वारा स्केल करती है, इसलिए बातूनी एजेंट फ्लैट-दर विकल्पों की तुलना में तेजी से जमा होते हैं। यदि आपका स्टैक LangChain-आधारित नहीं है तो कम उपयोगी।
कीमत: महीने में सीमित ट्रेस के साथ मुक्त स्तर। लगभग $39 प्रति सीट प्रति माह से पेड प्लान।
प्लेटफॉर्म: SaaS वेब ऐप। Python और JavaScript के लिए SDK macOS, Windows और Linux पर चलते हैं।
डाउनलोड: smith.langchain.com
सारांश: LangSmith चुनें यदि आप पहले से ही LangChain में रहते हैं और अपने evals के बगल में लागत डेटा चाहते हैं।
4. LiteLLM, एक बाइनरी में गेटवे और खाता सर्वश्रेष्ठ
LiteLLM एक हल्का प्रॉक्सी है जो सामने OpenAI API बोलता है और पीछे 100 से अधिक प्रदाताओं में अनुवाद करता है। प्रॉक्सी बिल्ट-इन उपयोग ट्रैकिंग, प्रति उपयोगकर्ता या टीम आभासी API कुंजी और प्रति-कुंजी कठोर बजट सीमा के साथ आता है। कैप को हिट करें और प्रॉक्सी 429 लौटाता है; कोई बिल आश्चर्य नहीं। यह उन दुकानों के लिए एक-बाइनरी उत्तर के लिए सबसे करीब है जो एक गेटवे और खाता एक साथ चाहते हैं।
जहां यह कम पड़ता है: डैशबोर्ड कार्यात्मक के बजाय सुंदर है। जो टीमें पॉलिश्ड ट्रेस और प्रश्न-स्तरीय समीक्षा चाहती हैं, वे आमतौर पर गेटवे के रूप में LiteLLM चलाती हैं और UI के लिए इसे Langfuse या Helicone के साथ जोड़ी जाती है।
कीमत: ओपन-सोर्स MIT लाइसेंस के तहत मुक्त। होस्ट किए गए एंटरप्राइज प्लान अनुरोध पर।
प्लेटफॉर्म: macOS, Windows और Linux पर स्व-होस्ट Docker, Python पैकेज या स्टैंडअलोन बाइनरी।
डाउनलोड: litellm.ai
सारांश: LiteLLM चुनें यदि आप एक प्रक्रिया चाहते हैं जो हर मॉडल को रूट करता है और दरवाजे पर एक कठोर बजट लागू करता है।
5. Portkey, production टीमों के लिए सर्वश्रेष्ठ जो एक पैन चाहते हैं
Portkey production-झुकी विकल्प है उन टीमों के लिए जिन्हें अवलोकनीयता, रूटिंग गेटवे, guardrails और एक जगह पर प्रश्न प्रबंधन की आवश्यकता है। यह प्रत्येक अनुरोध रिकॉर्ड करता है, सुरक्षा फ़िल्टर के विरुद्ध स्कोर प्रश्न करता है, और ops को एक प्रदाता से दूसरे पर गिरने देता है जब दर सीमा हिट होती है। डैशबोर्ड USD लागत को प्रदाताओं में ट्रैक करता है जिस विस्तृलता के साथ वित्त टीमें पूछती है।
जहां यह कम पड़ता है: कोर होस्ट किया गया उत्पाद भुगतान किया जाता है, स्व-होस्टिंग Enterprise स्तर के लिए गेटेड होता है। एकल डेवलपर्स या ओपन-सोर्स-पहली टीमों के लिए कम आकर्षक।
कीमत: सीमित अनुरोधों के साथ मुक्त स्तर। टीमों के लिए लगभग $49 प्रति माह से पेड प्लान। अनुरोध पर Enterprise कीमत, स्व-होस्टिंग शामिल।
प्लेटफॉर्म: SaaS वेब ऐप macOS, Windows और Linux पर Enterprise स्व-होस्ट Docker के साथ।
डाउनलोड: portkey.ai
सारांश: Portkey चुनें यदि आप गेटवे, अवलोकनीयता और guardrails को कवर करने वाले एक पैन चाहते हैं, और बजट एक भुगतान उत्पाद का समर्थन करता है।
6. OpenLLMetry, OpenTelemetry पर पहले से ही दुकानों के लिए सर्वश्रेष्ठ
OpenLLMetry Traceloop से एक ओपन-सोर्स SDK है जो LangChain, LlamaIndex, Haystack और प्रत्यक्ष SDK उपयोग में LLM कॉल, वेक्टर स्टोर क्वेरी और फ्रेमवर्क संचालन के लिए OpenTelemetry-मानक ट्रेस उत्सर्जित करता है। ट्रेस जो भी APM आप पहले से चला रहे हैं में उतरते हैं: Datadog, New Relic, Honeycomb, Grafana Tempo, Jaeger, या स्व-होस्ट OTel कलेक्टर। टोकन गिनती और USD लागत स्पैन विशेषताओं के रूप में यात्रा करते हैं।
जहां यह कम पड़ता है: अपना डैशबोर्ड नहीं; आप बैकेंड लाते हैं। मौजूदा अवलोकनीयता मंच के बिना टीमें आमतौर पर Helicone या Langfuse द्वारा बेहतर परोसे जाते हैं।
कीमत: Apache-2.0 लाइसेंस के तहत मुक्त। Traceloop का होस्ट किया गया उत्पाद उपयोग-आधारित मूल्य निर्धारण के साथ परतें।
प्लेटफॉर्म: macOS, Windows और Linux पर Python और TypeScript SDK।
डाउनलोड: github.com/traceloop/openllmetry
सारांश: OpenLLMetry चुनें यदि आप पहले से ही एक APM रखते हैं और आप अपनी बाकी spans के समान स्थान पर LLM ट्रेस चाहते हैं।
7. Arize Phoenix, एकल डेवलपर्स के लिए सर्वश्रेष्ठ जो एक स्थानीय डैशबोर्ड चाहते हैं
Phoenix Arize से ओपन-सोर्स अवलोकनीयता टूल है जो पूरी तरह आपकी मशीन पर चलता है। इसे एक नोटबुक, कंटेनर या स्थानीय प्रक्रिया में चलाएं, और आपके LLM कॉल और RAG पाइपलाइन से ट्रेस एक डैशबोर्ड में बहते हैं जो आप localhost पर पहुंचते हैं। यह OpenInference को सपोर्ट करता है, खुली ट्रेस प्रारूप जो OpenLLMetry के साथ ओवरलैप होता है, और RAG गुणवत्ता, मतिभ्रम और विषाक्तता के लिए मूल्यांकनकर्ता शामिल हैं।
जहां यह कम पड़ता है: दीर्घकालीन production लॉगिंग के बजाय विकास और मूल्यांकन के लिए डिज़ाइन किया गया। जिन टीमों को निरंतर भंडारण और टीम पहुंचने की आवश्यकता है वे आमतौर पर Arize का होस्ट किया गया मंच या Langfuse तक जाती हैं।
कीमत: Elastic-2.0 लाइसेंस के तहत मुक्त। Arize होस्ट किया गया मंच भुगतान किया जाता है।
प्लेटफॉर्म: macOS, Windows और Linux पर Python पैकेज और Docker छवि।
डाउनलोड: phoenix.arize.com
सारांश: Phoenix चुनें यदि आप RAG या एजेंट प्रोटोटाइप अकेले बनाते हैं और कोई खाता के बिना एक स्थानीय डैशबोर्ड चाहते हैं।
सही चुनना कैसे करें
एकल डेवलपर दुष्प्रभाव परियोजना परीक्षण: गेटवे के लिए Helicone, या Phoenix यदि आप सभी स्थानीय चाहते हैं तीसरे पक्ष की कोई कूद नहीं।
उत्पादन एजेंट चल रहे छोटे टीम: Langfuse स्व-होस्ट, या Helicone होस्ट यदि आप तीसरे पक्ष के माध्यम से ट्रैफिक रूट कर सकते हैं। दोनों आपको प्रति कॉल लागत, सतर्कता और एक डैशबोर्ड देते हैं गैर-इंजीनियर पढ़ सकते हैं।
अनुपालन बाध्यताओं के साथ एंटरप्राइज: कठोर बजट के लिए गेटवे के रूप में LiteLLM के साथ जोड़ी गई Langfuse स्व-होस्ट अपने स्वयं के VPC पर। Portkey Enterprise यदि आप पूरे स्टैक के लिए एक विक्रेता चाहते हैं।
OpenTelemetry दुकान एक काम APM के साथ: OpenLLMetry। ट्रेस Datadog या Grafana में बाकी सब कुछ के बगल में गिरते हैं, और लागत डेटा spans पर बैठता है।
LangChain-पहली टीम: LangSmith। एकीकरण एक चर है और eval tooling लागत ट्रैकिंग जितना महत्वपूर्ण है।
RAG-भारी विकास में टीम: तेजी प्रतिक्रिया के लिए Phoenix स्थानीय रूप से, फिर आप लॉन्च करने के बाद Langfuse या LangSmith।
अक्सर पूछे जाने वाले सवाल
केवल प्रदाता डैशबोर्ड क्यों नहीं? प्रदाता डैशबोर्ड समय से पहले कुल रिपोर्ट करते हैं, आमतौर पर एक दिन देरी से, और केवल उस प्रदाता के लिए। यदि आपका स्टैक Claude, GPT और Gemini का उपयोग करता है, तो आपको तीनों में एक एकल दृश्य चाहिए। ऊपर दिए गए उपकरण चलने के दौरान प्रति-अनुरोध लागत भी उजागर करते हैं, बिल आने के बाद नहीं।
क्या प्रॉक्सी मेरे कॉल को धीमा करेगा? थोड़ा सा। Helicone, LiteLLM और Portkey क्षेत्र और नेटवर्क पथ के आधार पर प्रति कॉल लगभग 20 से 50 ms जोड़ते हैं। अधिकांश एजेंट कार्यभार के लिए यह अदृश्य है। वास्तविक समय वॉयस या 100 ms से कम लूप के लिए, OpenLLMetry या Langfuse के साथ SDK-आधारित ट्रैकिंग अतिरिक्त कूद से बचाता है।
क्या ये उपकरण एक कठोर खर्च सीमा लागू कर सकते हैं? LiteLLM और Portkey कर सकते हैं। दोनों प्रति-कुंजी और प्रति-टीम बजट कैप समर्थन करते हैं जो एक बार सीमा हिट होने पर एक त्रुटि लौटाते हैं। Helicone और Langfuse सतर्कताएं भेजते हैं लेकिन डिफ़ॉल्ट रूप से अनुरोधों को ब्लॉक नहीं करते। एक अवलोकनीयता उपकरण को गेटवे के साथ जोड़ी जाती है यदि आप दृश्यमानता और एक सर्किट ब्रेकर चाहते हैं।
क्या ओपन-सोर्स AI उपयोग ट्रैकर production के लिए अच्छे पर्याप्त हैं? हाँ। Langfuse, Helicone, LiteLLM, Phoenix और OpenLLMetry सभी प्रसिद्ध कंपनियों में production कार्यभार चलाते हैं। ट्रेड-ऑफ संचालन है: आप उन्हें होस्ट करते हैं, उन्हें पैच करते हैं, और जब आपकी ट्रेस वॉल्यूम बढ़ता है तो डेटाबेस को मापते हैं।
Codex विशेष रूप से ट्रैकिंग के बारे में क्या? Codex अपने जून 2026 अपडेट में एक बिल्ट-इन उपयोग संकेतक जोड़ा, जो CLI के अंदर “क्या मैं काट दिया जा रहा हूँ” की तत्काल समस्या का समाधान करता है। टीम-स्तरीय लागत रिपोर्टिंग और प्रदाता-पार तुलना के लिए, आप अभी भी ऊपर दिए गए उपकरणों में से एक चाहते हैं। Helicone या LiteLLM के माध्यम से OpenAI ट्रैफिक रूट करें और आपको Codex कॉल के लिए सब कुछ जैसी ही दृश्यमानता मिल जाती है।
क्या इनमें से कोई भी स्थानीय रूप से चल रहे ओपन-वेट मॉडल ट्रैक करता है? हाँ। Langfuse, Helicone, LiteLLM, OpenLLMetry और Phoenix सभी OpenAI-संगत एंडपॉइंट के माध्यम से Ollama, vLLM और llama.cpp सहित स्थानीय प्रदाताओं का समर्थन करते हैं। USD लागत स्व-होस्ट मॉडल के लिए डिफ़ॉल्ट रूप से शून्य है, लेकिन टोकन गिनती, लेटेंसी और ट्रेस डेटा होस्ट किए गए प्रदाताओं के समान काम करते हैं।
