इंसानों के सबसे मुश्किल टेस्ट में भी AI फेल, 'Humanity's Last Exam' क्या है और क्यों बनाया गया?

Humanity's Last Exam: एआई यानी कृत्रिम बुद्धिमत्ता की प्रगति ने पिछले कुछ वर्षों में एक विचित्र समस्या पैदा कर दी है - AI को परखने के लिए बनाए गए पुराने परीक्षण इतने आसान पड़ने लगे कि वे अब यह ठीक से बता ही नहीं पा रहे कि सबसे एडवांस्ड मॉडल वास्तव में कितने सक्षम हैं। कभी विश्वविद्यालय स्तर के सामान्य ज्ञान, गणित, इतिहास, विज्ञान और तर्क पर आधारित प्रश्न AI के लिए बहुत कठिन माने जाते थे। लेकिन बड़े भाषा मॉडलों ने MMLU जैसे प्रसिद्ध बेंचमार्कों पर 90 प्रतिशत से अधिक अंक प्राप्त करने शुरू कर दिए। इसका मतलब यह नहीं था कि AI ने मानव ज्ञान की अंतिम सीमा पार कर ली। इसका अर्थ केवल यह था कि मापने का पैमाना छोटा पड़ गया था। यदि कक्षा के सभी मेधावी छात्र परीक्षा में 98 या 99 अंक ला रहे हों तो उस प्रश्नपत्र से यह पता लगाना कठिन हो जाता है कि उनमें सबसे गहरी समझ किसके पास है। AI शोधकर्ताओं के सामने यही संकट आया। इसी पृष्ठभूमि में Humanity’s Last Exam (HLE) तैयार किया गया। इसे Scale AI और Center for AI Safety ने मिलकर विकसित किया और उद्देश्य रखा कि ऐसा अत्यंत कठिन शैक्षणिक परीक्षण बनाया जाए जो वर्तमान AI मॉडलों को मानव विशेषज्ञता की वास्तविक सीमा पर परखे। अप्रैल 2025 में इसे अंतिम रूप से लगभग 2,500 प्रश्नों तक सीमित किया गया।

जानबूझ कर रखा नाटकीय नाम

इस परीक्षा का नाम जानबूझकर नाटकीय रखा गया - ‘मानवता की अंतिम परीक्षा।’ इसका अर्थ यह नहीं कि इसके बाद मानव सभ्यता कोई परीक्षा नहीं बनाएगी या AI के बुद्धिमान होते ही परीक्षा प्रणाली समाप्त हो जाएगी। नाम का मतलब है कि यह शायद उस प्रकार के पारंपरिक, बंद-उत्तर वाले व्यापक अकादमिक बेंचमार्क की अंतिम पीढ़ी हो सकती है, जिसमें कठिन विशेषज्ञ प्रश्न पूछे जाएँ और मॉडल का उत्तर सही या गलत के रूप में अंकित किया जाए। HLE के निर्माताओं का तर्क था कि यदि कोई AI इस स्तर के हजारों प्रश्नों पर लगातार विशेषज्ञ मानव जैसी सफलता प्राप्त करने लगे, तो उसके बाद केवल सामान्य प्रश्नोत्तरी से AI की प्रगति मापना पर्याप्त नहीं होगा। तब शोधकर्ताओं को अधिक वास्तविक दुनिया वाले परीक्षण चाहिए होंगे. HLE के आयोजकों ने स्पष्ट किया है कि इस परीक्षा में उच्च अंक आ जाना अपने-आप ‘AGI’ या पूर्ण स्वायत्त वैज्ञानिक बुद्धिमत्ता सिद्ध नहीं करेगा। यह केवल इतना दिखाएगा कि मॉडल बंद-उत्तर वाले अत्यंत कठिन अकादमिक प्रश्नों पर मानव विशेषज्ञ स्तर की क्षमता के करीब पहुँच चुका है।

कैसे चुने गए सवाल?

इस परीक्षा को इतना कठिन बनाने का विचार केवल शोधकर्ताओं के एक छोटे समूह ने बंद कमरे में बैठकर नहीं बनाया। इसके लिए दुनिया भर के विशेषज्ञों से प्रश्न आमंत्रित किए गए। अंतिम आधिकारिक विवरण के अनुसार लगभग 1,000 विषय विशेषज्ञों ने प्रश्न बनाने में योगदान दिया। ये विशेषज्ञ 50 देशों की 500 से अधिक संस्थाओं से जुड़े थे। उनमें बड़ी संख्या प्रोफेसरों, शोधकर्ताओं तथा स्नातकोत्तर या उससे उच्च योग्यता वाले विद्वानों की थी। Scale AI और Center for AI Safety ने इस वैश्विक अभियान के लिए 5 लाख डॉलर का पुरस्कार कोष भी रखा। सर्वश्रेष्ठ 50 प्रश्नों के लिए प्रत्येक को 5,000 डॉलर और अगले 500 उत्कृष्ट प्रश्नों के लिए 5,00,000 डॉलर तक देने की व्यवस्था थी।

प्रश्नों के चयन की प्रक्रिया अपने-आप में इस बेंचमार्क की सबसे रोचक विशेषता है। आयोजकों को कुल 70,000 से अधिक प्रश्न भेजे गए। हर कठिन दिखने वाला प्रश्न सीधे परीक्षा में नहीं डाल दिया गया। पहले उसे उस समय के कई अग्रणी AI मॉडलों पर चलाया गया। यदि प्रश्न छोटा उत्तर वाला था, तो उसे तभी मानव समीक्षा के लिए आगे भेजा गया, जब प्रमुख मॉडल उसे हल न कर पाएँ। इस प्रारंभिक कठिनाई कसौटी को लगभग 13,000 प्रश्न ही पार कर पाए। इसके बाद विषय विशेषज्ञों ने उन्हें दो स्तर पर जाँचा - क्या प्रश्न वास्तव में वैध है? क्या उत्तर स्पष्ट और निर्विवाद है ? क्या कहीं ऐसा शब्द नहीं है जिससे दो उत्तर संभव हो जाएँ? क्या समाधान सही है, क्या प्रश्न मात्र इंटरनेट खोज से तुरंत नहीं मिलता और क्या यह वास्तव में उच्च स्तरीय ज्ञान या तर्क की माँग करता है। इस लंबे छनाव के बाद लगभग 2,700 सार्वजनिक प्रश्न और अलग निजी प्रश्न-समूह रखा गया; बाद की समीक्षा में त्रुटिपूर्ण तथा आसानी से खोजे जा सकने वाले प्रश्न हटाए गए और अंतिम सार्वजनिक सेट लगभग 2,500 प्रश्नों का बना।

इंसानी ज्ञान की पूरी गहराई

HLE की एक खास बात यह है कि इसमें केवल गणित या कंप्यूटर विज्ञान नहीं है। इसे मानव ज्ञान की चौड़ाई और गहराई दोनों परखने के लिए बनाया गया है। इसमें गणित, भौतिकी, रसायन, जीवविज्ञान, चिकित्सा, अभियांत्रिकी, अर्थशास्त्र, इतिहास, भाषाविज्ञान, दर्शन, कानून, कला, मानविकी और अनेक अत्यंत विशिष्ट उपविषयों के प्रश्न शामिल हैं। आधिकारिक विवरण के अनुसार अंतिम प्रश्न-संग्रह सौ से अधिक विषयों में फैला है। लगभग 14 प्रतिशत प्रश्नों में आरेख, चित्र या अन्य दृश्य सामग्री समझनी होती है और लगभग 24 प्रतिशत प्रश्न बहुविकल्पीय हैं। बाकी में छोटे, निश्चित उत्तर अपेक्षित हैं। इसका मतलब यह है कि यह केवल भाषा मॉडल की याददाश्त नहीं, बल्कि कई मामलों में दृश्य समझ, गहरी विषय-विशेषज्ञता और बहु-चरणीय तर्क की परीक्षा भी है।

HLE का उद्देश्य केवल ‘ट्रिविया’ या दुर्लभ तथ्य संग्रह बनाना नहीं था। इसलिए प्रश्न बनाते समय यह कोशिश की गई कि उत्तर ज्ञात, स्पष्ट और जाँचा जा सकने वाला हो लेकिन केवल गूगल खोज से तुरंत न मिल जाए। इसी कारण बहुत से प्रश्न विशेषज्ञ शोध या उन्नत विश्वविद्यालय स्तर की समझ पर आधारित हैं।

किसी परिक्षा से तुलना नहीं

HLE कोई ऐसी परीक्षा नहीं है जिसे सामान्य इंसान बैठकर आसानी से पास कर सकता है। इसकी तुलना UPSC, IIT-JEE, मेडिकल प्रवेश परीक्षा या सामान्य विश्वविद्यालय परीक्षा से करना गलत होगा। इसे इस तरह बनाया गया है कि अलग-अलग क्षेत्रों के विशेषज्ञ अपने विषय के अत्यंत कठिन प्रश्न दें। कोई महान गणितज्ञ जीवविज्ञान के दुर्लभ प्रश्न पर असफल हो सकता है और कोई उत्कृष्ट चिकित्सक उच्च स्तरीय संख्या सिद्धांत नहीं हल कर पाएगा। इसलिए HLE में ‘मानव बनाम AI’ का अर्थ यह नहीं कि एक औसत व्यक्ति 90 प्रतिशत अंक ला लेगा और AI केवल 10 प्रतिशत। यह हजारों विशेषज्ञों की सामूहिक विशेषज्ञता की सीमा है। प्रश्नों का उत्तर वे लोग जानते हैं जिन्होंने संबंधित क्षेत्र में वर्षों या दशकों का प्रशिक्षण लिया है। एक ही मशीन से अपेक्षा की जाती है कि वह गणितज्ञ, चिकित्सक, इतिहासकार, भाषाविद् और भौतिकविद्, सभी क्षेत्रों में एक साथ उत्कृष्ट हो। इसीलिए यह परीक्षण ‘मानवता की सामूहिक ज्ञान सीमा’ के अधिक निकट है, किसी एक मनुष्य की सामान्य परीक्षा के नहीं।

विश्वसनीयता और आत्मविश्वास की परीक्षा

HLE के शुरुआती परिणामों में केवल कम अंक ही चिंता का विषय नहीं थे। AI का अतिविश्वास भी महत्वपूर्ण निष्कर्ष था। कई मॉडल गलत उत्तर देते हुए भी बहुत अधिक आत्मविश्वास दिखाते थे। इसे ‘कैलिब्रेशन’ की समस्या कहा जाता है। बुद्धिमान प्रणाली से केवल सही उत्तर अपेक्षित नहीं है। उसे यह भी पता होना चाहिए कि वह कब अनिश्चित है। यदि किसी चिकित्सीय या कानूनी प्रश्न में AI गलत हो लेकिन 99 प्रतिशत आत्मविश्वास से उत्तर दे, तो उसका जोखिम बहुत बढ़ जाता है। HLE के निर्माताओं ने इसी कारण केवल शुद्ध अंक नहीं, मॉडल की विश्वसनीयता और आत्मविश्वास को भी देखा। शुरुआती अध्ययनों में शीर्ष मॉडल कम सटीक होने के साथ अनेक मामलों में जरूरत से अधिक विश्वास व्यक्त कर रहे थे। इसलिए यह बेंचमार्क केवल ज्ञान का नहीं, ‘मुझे कितना पता है कि मुझे कितना पता है’ जैसी मेटा-क्षमता का भी अप्रत्यक्ष परीक्षण बन गया।

एआई बेंचमार्क की चुनौती

AI बेंचमार्क बनाने वालों के सामने सबसे बड़ी समस्या यह होती है कि मॉडल स्वयं इंटरनेट और विशाल पाठ-संग्रहों पर प्रशिक्षित होते हैं। यदि परीक्षा का प्रश्न पहले से ऑनलाइन मौजूद है, तो मॉडल उसे प्रशिक्षण के दौरान देख चुका हो सकता है। तब उच्च अंक वास्तविक बुद्धिमत्ता के बजाय याददाश्त का परिणाम हो सकते हैं। इसे ‘डेटा कंटैमिनेशन’ यानी परीक्षण सामग्री का प्रशिक्षण डेटा में मिल जाना कहा जाता है। HLE ने इस समस्या से निपटने के लिए दो उपाय किए। पहला, ऐसे नए प्रश्न बनवाए गए जो पहले इंटरनेट पर व्यापक रूप से उपलब्ध न हों। दूसरा, सार्वजनिक प्रश्न-संग्रह के साथ एक निजी, गुप्त प्रश्न-संग्रह भी रखा गया जिसे मॉडल निर्माताओं को नहीं दिया जाता। भविष्य में यदि कोई मॉडल सार्वजनिक HLE पर बहुत ऊँचा स्कोर प्राप्त करे लेकिन निजी सेट पर अचानक गिर जाए, तो यह संकेत हो सकता है कि वह परीक्षा को वास्तविक रूप से समझने के बजाय सार्वजनिक प्रश्नों पर विशेष रूप से प्रशिक्षित या अनुकूलित हुआ है। यह उसी तरह है जैसे स्कूल में बच्चों को पिछले साल का पूरा प्रश्नपत्र पहले से रटा दिया जाए। तब पुराने प्रश्नपत्र पर अच्छे अंक वास्तविक क्षमता का सही माप नहीं रहेंगे।

ऐसे बेंचमार्क कौन बनाता है, इसका उत्तर भी रोचक है। इसके लिए कोई एक वैश्विक ‘AI परीक्षा बोर्ड’ नहीं है। विश्वविद्यालयों के शोधकर्ता, स्वतंत्र अनुसंधान संस्थान, गैर-लाभकारी संगठन, AI कंपनियाँ, सरकारी एजेंसियाँ और तीसरे पक्ष की मूल्यांकन प्रयोगशालाएँ अपने-अपने परीक्षण बनाती हैं। उदाहरण के लिए HLE को Center for AI Safety और Scale AI ने बनाया; कई अन्य बेंचमार्क Stanford, Berkeley, OpenAI, Google DeepMind, Anthropic, Meta या स्वतंत्र अकादमिक समूहों ने विकसित किए हैं। एक अच्छे बेंचमार्क की विश्वसनीयता इस पर निर्भर करती है कि प्रश्न किसने बनाए, क्या विशेषज्ञ समीक्षा हुई, क्या उत्तर स्पष्ट हैं, क्या डेटा सार्वजनिक है, मॉडल प्रशिक्षण डेटा में प्रश्न पहले से थे या नहीं और क्या स्वतंत्र शोधकर्ता परिणाम दोहरा सकते हैं। यदि कोई कंपनी स्वयं परीक्षा बनाए, स्वयं अपने मॉडल को उसमें पहले स्थान पर दिखाए और प्रश्न सार्वजनिक न करे, तो परिणाम पर स्वाभाविक रूप से अधिक संदेह होगा। इसलिए स्वतंत्र मूल्यांकन संस्थाओं का महत्व बढ़ रहा है।

Humanity’s Last Exam की कहानी यह भी दिखाती है कि बेंचमार्क स्वयं त्रुटिहीन नहीं होते। 2025 में अंतिम प्रश्न-संग्रह जारी होने के बाद समुदाय ने कुछ प्रश्नों और उत्तरों में त्रुटियाँ बताईं। आयोजकों ने ‘बग बाउंटी’ जैसी प्रक्रिया चलाई, गलत प्रश्न हटाए और खोज से आसानी से मिलने वाले प्रश्न बदल दिए। 2026 में एक स्वतंत्र शोध समूह ने HLE-Verified नामक अध्ययन प्रकाशित किया, जिसमें उसने मूल 2,500 प्रश्नों की अधिक व्यवस्थित पुनःजाँच की। उस अध्ययन ने दावा किया कि मूल HLE में कुछ प्रश्न अस्पष्ट, त्रुटिपूर्ण या गलत संदर्भ उत्तर वाले थे। उन्होंने 641 प्रश्न सीधे सत्यापित किए, 1,170 प्रश्न संशोधित करके प्रमाणित किए और 689 प्रश्नों को अनिश्चित श्रेणी में रखा। संशोधित संस्करण पर सात उन्नत मॉडलों के औसत अंक मूल HLE की तुलना में सात से दस प्रतिशत अंक तक बढ़े। यह परिणाम एक महत्वपूर्ण चेतावनी है, यदि परीक्षा का प्रश्न या ‘सही उत्तर’ ही गलत हो तो AI का कम अंक उसकी कमजोरी नहीं, बेंचमार्क की कमजोरी भी हो सकता है।

अभी भी ये अंतिम परीक्षा नहीं

क्या HLE सचमुच ‘मानवता की अंतिम परीक्षा’ सिद्ध होगी? संभवतः नाम जितना दावा करता है, वास्तविकता उतनी अंतिम नहीं होगी। AI प्रगति इतनी तेज है कि आज अत्यंत कठिन दिखने वाले प्रश्न कुछ वर्षों में सामान्य हो सकते हैं। पहले शतरंज विश्व चैंपियन को हराना मशीन बुद्धिमत्ता का लगभग अंतिम प्रतीक माना जाता था। 1997 के बाद वह समस्या सामान्य कंप्यूटर क्षमता बन गई। फिर ImageNet पर वस्तु पहचान बड़ी कसौटी थी। बाद में मशीनों ने उसमें मानव स्तर पार कर लिया। MMLU और GPQA भी कभी अत्यंत कठिन थे। HLE इसी श्रृंखला का अगला पड़ाव है। यदि कुछ वर्षों में मॉडल 80 या 90 प्रतिशत तक पहुँचते हैं, तो शोधकर्ता संभवतः ऐसी परीक्षा बनाएँगे जिसमें AI को महीनों लंबा वैज्ञानिक अनुसंधान करना पड़े, प्रयोगशाला उपकरण चलाने हों, वास्तविक दुनिया के अनिश्चित डेटा से निर्णय लेना हो या अन्य मनुष्यों और मशीनों के साथ सहयोग करना हो। इसलिए ‘Last Exam’ का वास्तविक अर्थ शायद यह है कि यह स्थिर, बंद-उत्तर वाले अकादमिक प्रश्नों की अंतिम बड़ी परीक्षा बनने की कोशिश है, न कि बुद्धिमत्ता का आखिरी परीक्षण।

फिर भी HLE का महत्व बहुत बड़ा है, क्योंकि यह AI के बारे में दो अतिवादी धारणाओं के बीच वास्तविकता दिखाता है। एक तरफ वे लोग हैं जो कहते हैं कि आधुनिक AI लगभग सब कुछ जानती है और मानव विशेषज्ञ अब अप्रासंगिक होने वाले हैं। दूसरी तरफ वे लोग हैं जो AI को केवल ‘ऑटो-कम्प्लीट’ या शब्द जोड़ने वाली मशीन मानते हैं। Humanity’s Last Exam दिखाती है कि दोनों दृष्टियाँ अधूरी हैं। आधुनिक AI इतनी उन्नत हो चुकी है कि पुराने विश्वविद्यालय-स्तरीय बेंचमार्क उसके लिए अपर्याप्त हो गए। लेकिन मानव ज्ञान की सबसे कठिन विशेषज्ञ सीमा पर उसकी कमजोरी अभी स्पष्ट है। वह कुछ असाधारण प्रश्न हल कर सकती है, जिन्हें अधिकांश मनुष्य नहीं हल कर पाएँगे, लेकिन हजारों विशेषज्ञ क्षेत्रों में लगातार विश्वसनीय प्रदर्शन अभी भी उसके लिए चुनौती है।

Humanity’s Last Exam का निर्माण इसलिए केवल एक कठिन प्रश्नपत्र बनाने की कहानी नहीं है। यह उस गहरी समस्या की कहानी है कि मशीन बुद्धिमत्ता को मापा कैसे जाए। लगभग एक हजार विशेषज्ञों, पचास देशों और पाँच सौ से अधिक संस्थाओं से प्रश्न मँगाकर, सत्तर हजार से अधिक प्रस्तावों में से कठिनतम चुनकर, कई AI मॉडलों से उन्हें पहले ही जाँचकर, विशेषज्ञ समीक्षाओं से छाँटकर और सार्वजनिक तथा निजी प्रश्न-संग्रह बनाकर इस परीक्षा ने दिखाया कि आज AI का परीक्षण भी उतना ही जटिल हो चुका है जितना AI का निर्माण।

और शायद इसका सबसे महत्वपूर्ण निष्कर्ष यही है कि AI की प्रगति को केवल इस बात से नहीं मापा जा सकता कि वह बोर्ड परीक्षा, मेडिकल परीक्षा या सामान्य ज्ञान प्रश्नों में मनुष्य को पीछे छोड़ती है या नहीं। जैसे-जैसे मशीनें पुराने प्रश्नपत्रों पर सफल होती जाएँगी, मानव समाज नई और कठिन कसौटियाँ बनाएगा। कभी परीक्षण यह था कि मशीन शतरंज खेल सकती है या नहीं; फिर यह कि वह चित्र पहचान सकती है या नहीं; फिर विश्वविद्यालय स्तर के प्रश्न; अब मानव विशेषज्ञता की सीमा। भविष्य में कसौटी शायद यह होगी कि क्या मशीन कोई ऐसी वैज्ञानिक खोज कर सकती है जिसे मनुष्य नहीं जानता, क्या वह वर्षों तक विश्वसनीय तरीके से किसी जटिल लक्ष्य पर काम कर सकती है और क्या वह अपनी शक्ति का सुरक्षित तथा जिम्मेदार उपयोग कर सकती है।