AI चैटबॉट अगले शब्द का अनुमान कैसे लगाता है? मूड कैसे पहचानता है?

AI Explained: चैटजीपीटी (ChatGPT), क्लाउड (Claude), डीपसीक (DeepSeek) या किसी भी चैटबॉट का इस्तेमाल तो आज तमाम लोगों के लिए रोजमर्रा का काम हो गया है। दिलचस्प बात ये है कि चैटबॉट से आप कुछ पूछिए तो वह आपकी लिखी हुई बातों को पूरा हुए बगैर आगे की बात पहचान लेता है, मानो उसको पता है अप क्या कहने जा रहे हैं। उसका ये पूर्वानुमान एक रहस्य की तरह लगता है।

दरअसल, किसी आधुनिक चैटबॉट का सबसे बुनियादी काम यह है कि वह आपके लिखे हुए शब्दों को पढ़कर यह अनुमान लगाए कि अगला सबसे संभावित शब्द, या अधिक सही कहें तो अगला ‘टोकन’, क्या होना चाहिए। यह सुनने में बहुत साधारण लगता है। लेकिन यही साधारण-सा सिद्धांत अरबों मानकों, विशाल प्रशिक्षण सामग्री और जटिल गणित के कारण इतना शक्तिशाली बन जाता है कि चैटबॉट निबंध लिख सकता है। सवाल का जवाब दे सकता है। भाषा बदल सकता है। कविता लिख सकता है। कोड समझ सकता है। बातचीत के भाव को भी काफी हद तक पकड़ सकता है।

मान लीजिए आप लिखते हैं—‘भारत की राजधानी…’। इस वाक्य के बाद ‘दिल्ली’ आने की संभावना बहुत अधिक है। यदि आप लिखें, ‘आज मौसम बहुत…’ तो ‘गर्म’, ‘ठंडा’, ‘अच्छा’, खराब’ जैसे कई शब्द संभव हैं। चैटबॉट केवल एक शब्दकोश नहीं देखता। वह पूरे वाक्य, उससे पहले की बातचीत, विषय, व्याकरण और अर्थ - इन सबको मिलाकर संभावनाएँ बनाता है। फिर उन संभावनाओं में से अगला टोकन चुनता है। उसके बाद नया टोकन वाक्य का हिस्सा बन जाता है और अगला अनुमान शुरू होता है। इस तरह शब्द-दर-शब्द पूरा उत्तर बनता है।

क्या होता है टोकन?

यहाँ ‘टोकन’ समझना जरूरी है। एआई हमेशा पूरा शब्द नहीं पढ़ता। कभी एक पूरा शब्द एक टोकन हो सकता है। कभी शब्द का हिस्सा। कभी विराम-चिह्न। उदाहरण के लिए हिंदी, अंग्रेजी या दूसरी भाषाओं में लंबे शब्द कई छोटे हिस्सों में टूट सकते हैं। मॉडल उन्हीं हिस्सों पर गणना करता है। इसलिए तकनीकी रूप से वह ‘अगला शब्द’ नहीं। बल्कि अगला टोकन अनुमानित करता है।

यह अनुमान वह सीखता कैसे है?

प्रशिक्षण के दौरान एआई मॉडल को बहुत बड़ी मात्रा में टेक्स्ट पाठ दिखाया जाता है। वाक्य का एक हिस्सा दिया जाता है और उससे अगला टोकन अनुमान लगाने को कहा जाता है। अगर अनुमान गलत हो, तो उसके अंदर के गणितीय मान थोड़ा बदलते हैं। यह प्रक्रिया अरबों-खरबों उदाहरणों पर दोहराई जाती है। धीरे-धीरे मॉडल सीखने लगता है कि कौन-से शब्द किन संदर्भों में साथ आते हैं, वाक्य की संरचना कैसी होती है, किसी विषय में कौन-सी बातें सामान्यतः जुड़ी होती हैं और भाषा में अर्थ किस तरह बनता है।

इसे एक छोटे उदाहरण से समझें। यदि प्रशिक्षण में बार-बार ऐसे वाक्य मिलें - ‘पानी 100 डिग्री सेल्सियस पर उबलता है’, ‘समुद्र तल पर पानी का बोइलिंग पॉइंट 100 डिग्री सेल्सियस है’ - तो मॉडल के भीतर ‘पानी’, ‘100 डिग्री’, ‘उबलना’ जैसी अवधारणाओं के बीच संबंध मजबूत हो जाते हैं। मॉडल इसे किसी किताब की तरह शब्दशः याद रखने की कोशिश नहीं करता; वह सांख्यिकीय और अर्थगत संबंध सीखता है।

यही कारण है कि आधुनिक बड़े भाषा मॉडल केवल अगले शब्द की सतही भविष्यवाणी नहीं करते। उनके अंदर भाषा का एक प्रकार का गणितीय प्रतिनिधित्व बन जाता है। वे यह सीखते हैं कि ‘राजा’ और ‘रानी’ का संबंध क्या है? ‘ डॉक्टर’ और ‘अस्पताल’ का संबंध क्या है? ‘बारिश’ और ‘छाता’ क्यों जुड़े हैं? ‘खुशी’ और ‘दुख’ किस अर्थक्षेत्र में आते हैं। इस प्रतिनिधित्व को हम सरल भाषा में अर्थ का गणितीय नक्शा कह सकते हैं।

तकनीक ट्रांसफॉर्मर का सिस्टम

आधुनिक भाषा मॉडल में एक महत्वपूर्ण तकनीक ट्रांसफॉर्मर नामक संरचना है। इसकी खासियत यह है कि वह वाक्य के अलग-अलग हिस्सों के बीच संबंध देख सकता है। मान लीजिए आप लिखते हैं - “राम ने श्याम से कहा कि वह कल आएगा।” यहाँ ‘वह’ किसके लिए आया है, यह संदर्भ से समझना पड़ता है। मॉडल वाक्य के अलग-अलग हिस्सों पर ध्यान देकर अनुमान बनाता है कि कौन-सा शब्द किससे जुड़ा है। इसी प्रक्रिया को व्यापक अर्थ में ध्यान-तंत्र कहा जाता है।

यही ध्यान-तंत्र लंबी बातचीत में भी काम आता है। यदि आपने पहले बताया कि आप किसी किताब पर काम कर रहे हैं और बाद में केवल लिखें - “इसका अगला अध्याय तैयार करें” - तो मॉडल पहले की बातचीत से समझने की कोशिश करता है कि ‘इसका’ किस चीज की ओर संकेत कर रहा है। यह समझ हमेशा पूर्ण नहीं होती। लेकिन आधुनिक मॉडल काफी लंबे संदर्भ को एक साथ देख सकते हैं।

एआई आपकी बातों से आपका मूड कैसे पहचान लेता है?

यह भी कोई जादू नहीं है। एआई आपकी भावनाएँ सीधे नहीं देख सकता। वह आपकी आवाज, चेहरे या शरीर को तब तक नहीं जानता जब तक उसे वह जानकारी दी न जाए। अगर बातचीत केवल लिखित है तो वह आपके शब्दों, वाक्य-विन्यास, विराम-चिह्न, शब्दों की पुनरावृत्ति, लिखने की गति से मिलने वाले संकेतों, बड़े अक्षरों, भावसूचक शब्दों और बातचीत के संदर्भ से अनुमान लगाता है।

मान लीजिए कोई लिखता है - “बहुत अच्छा हुआ! आखिरकार काम पूरा हो गया।” इसमें ‘बहुत अच्छा’, ‘आखिरकार’ विस्मयादिबोधक चिह्न और पूरा संदर्भ सकारात्मक भाव की ओर संकेत करते हैं। यदि कोई लिखे - “अब मुझसे नहीं हो रहा। सब गड़बड़ है।” तो शब्दों का चयन थकान, निराशा या तनाव का संकेत दे सकता है।

मॉडल ने प्रशिक्षण में असंख्य ऐसे भाषाई उदाहरण देखे होते हैं जहाँ भाव और शब्दों के बीच संबंध मौजूद होते हैं। इसलिए वह सीखता है कि खुश, उत्साहित, बेकार, परेशान, डर, गुस्सा, थका हुआ, निराश जैसे शब्द किन संदर्भों में आते हैं। लेकिन केवल सीधे भावसूचक शब्द ही नहीं, सूक्ष्म संकेत भी महत्वपूर्ण होते हैं। उदाहरण के लिए - “ठीक है, रहने दीजिए” - यह वाक्य कभी सामान्य हो सकता है, कभी नाराजगी का संकेत। अर्थ पिछले संवाद पर निर्भर करेगा।

इसीलिए एआई मूड को पहचानता नहीं। उसका अनुमान लगाता है। यह फर्क बहुत महत्वपूर्ण है। मनुष्य के चेहरे, आवाज और परिस्थिति को देखकर भी हम कभी गलत अनुमान लगा सकते हैं। केवल लिखित शब्दों से काम करने वाला मॉडल भी गलत हो सकता है। उदाहरण के लिए कोई व्यक्ति व्यंग्य में लिखे - “वाह, क्या शानदार काम किया है!” यदि संदर्भ न हो तो एआई इसे प्रशंसा मान सकता है, जबकि व्यक्ति वास्तव में नाराज हो सकता है। इसी तरह कोई व्यक्ति स्वभाव से बहुत छोटे वाक्य लिखता हो - ‘ठीक। कर दें।’ इससे यह निष्कर्ष निकालना गलत होगा कि वह गुस्से में है। इसलिए अच्छे चैटबॉट केवल एक वाक्य नहीं। पूरी बातचीत का संदर्भ देखते हैं।

सेंटिमेंट विश्लेषण जैसी तकनीकों का उपयोग

भाव पहचानने में कुछ मॉडल सेंटिमेंट विश्लेषण जैसी तकनीकों का उपयोग कर सकते हैं। इसमें किसी पाठ को सकारात्मक, नकारात्मक या तटस्थ भाव के रूप में वर्गीकृत किया जाता है। उन्नत प्रणालियाँ इससे आगे जाकर खुशी, चिंता, क्रोध, निराशा, उत्साह या उलझन जैसे भावों के संकेत भी पहचानने की कोशिश कर सकती हैं। लेकिन ये कोई चिकित्सा-निदान नहीं होते।

इसमें एक और दिलचस्प बात है। आधुनिक भाषा मॉडल को अलग से ‘भावना पहचान मशीन’ होना जरूरी नहीं। चूँकि उसने भाषा के विशाल पैटर्न सीखे हैं, वह सामान्य भाषा समझ के भीतर ही भाव का अनुमान लगा सकता है। यदि आपने लिखा - ‘तीन महीने से मेहनत कर रहा था, आज आखिर किताब पूरी हुई’ तो मॉडल ‘मेहनत’, ‘तीन महीने, ‘आखिर’, ‘पूरी हुई जैसे संकेतों से उपलब्धि और राहत की भावना का अनुमान लगा सकता है।

लेकिन क्या एआई वास्तव में ‘महसूस’ करता है कि आप दुखी हैं? नहीं। वह आपके दुख का अनुभव नहीं करता। वह भाषा में मौजूद संकेतों से यह गणना करता है कि ऐसी स्थिति में दुख, चिंता या निराशा होने की संभावना कितनी है। मनुष्य और एआई के बीच यही मूल अंतर है—मनुष्य भावना अनुभव करता है, मॉडल भावना के भाषाई संकेत पहचानने का प्रयास करता है।

यही बात चैटबॉट के अपने उत्तरों पर भी लागू होती है। यदि वह लिखता है कि “मुझे खुशी है कि आपकी समस्या हल हुई” तो यह मनुष्य जैसी वास्तविक अनुभूति का प्रमाण नहीं। यह बातचीत की सामाजिक भाषा का हिस्सा है। मॉडल ने सीखा है कि ऐसी परिस्थिति में कौन-सा उत्तर उपयुक्त होता है।

सबसे संभावित शब्द क्यों नहीं चुने जाते?

अब सवाल यह है कि अगला टोकन चुनते समय मॉडल हमेशा सबसे अधिक संभावित शब्द ही क्यों नहीं चुनता? यदि वह हर बार केवल सबसे संभावित टोकन चुने, तो उत्तर बहुत यांत्रिक और दोहराव भरे हो सकते हैं। इसलिए कई प्रणालियाँ संभावनाओं में नियंत्रित विविधता रखती हैं। इसी वजह से एक ही प्रश्न दो बार पूछने पर शब्दशः समान उत्तर आवश्यक नहीं मिलता। वह अर्थ में समान लेकिन भाषा में अलग उत्तर दे सकता है।

इसे पासे की तरह नहीं समझना चाहिए कि मॉडल पूरी तरह मनमाना चुनाव कर रहा है। कल्पना करें कि किसी स्थान पर ‘दिल्ली’ की संभावना 90 प्रतिशत है और दूसरे शब्दों की कुल 10 प्रतिशत। मॉडल अधिक संभावना वाले विकल्पों को अधिक प्राथमिकता देगा। लेकिन रचनात्मक लेखन में कई संभव शब्दों के बीच अधिक विविधता उपयोगी हो सकती है।

यही कारण है कि तथ्यात्मक सवाल और कविता लिखने में भाषा मॉडल का व्यवहार अलग हो सकता है। ‘भारत की राजधानी क्या है?’ में विविधता की जरूरत कम है। लेकिन ‘बारिश पर कविता लिखिए’ में हजारों सही संभावनाएँ हैं।

यदि मॉडल केवल अगले शब्द का अनुमान करता है, तो वह इतने लंबे तर्क कैसे बना लेता है? इसका कारण यह है कि अगले टोकन की सही भविष्यवाणी के लिए उसे अक्सर पूरे अर्थ और संरचना का अनुमान करना पड़ता है। मान लीजिए वाक्य है - “क्योंकि पृथ्वी सूर्य के चारों ओर घूमती है…”। अगला हिस्सा सही लिखने के लिए मॉडल को खगोल विज्ञान के संदर्भ, वाक्य की दिशा और संभावित निष्कर्ष को समझना होगा। इसलिए अगला-टोकन भविष्यवाणी की साधारण प्रशिक्षण विधि धीरे-धीरे जटिल भाषा और ज्ञान पैटर्न सीखने का माध्यम बन जाती है।

एआई की भी सीमायें हैं

फिर भी इसकी सीमाएँ हैं। मॉडल कभी आत्मविश्वास से गलत उत्तर दे सकता है। ऐसा इसलिए क्योंकि उसका मूल लक्ष्य भाषा में संभावित अगला उत्तर बनाना है, न कि हर वाक्य की सत्यता का स्वतंत्र भौतिक परीक्षण करना। इसी वजह से अच्छे चैटबॉट को ताजा या संवेदनशील तथ्य के लिए बाहरी स्रोतों से सत्यापन करना पड़ सकता है।

मूड पहचान में भी यही सीमा है। कोई व्यक्ति लिखे - “आज सब खत्म लग रहा है।” यह सामान्य निराशा हो सकती है, गंभीर संकट का संकेत हो सकता है या केवल साहित्यिक वाक्य भी हो सकता है। इसलिए एआई को संदर्भ, पिछले संदेश और शब्दों की तीव्रता देखनी पड़ती है। फिर भी वह निश्चित रूप से व्यक्ति के मन की स्थिति नहीं जान सकता।

एआई आपके मूड के बारे में कुछ और संकेत भी पकड़ सकता है - यदि आपकी भाषा अचानक बहुत छोटी हो जाए, शब्दों में कठोरता बढ़े, बार-बार एक ही चिंता दोहराई जाए या पहले उत्साहपूर्ण भाषा अचानक निराशा में बदल जाए। लेकिन यहाँ सावधानी जरूरी है। भाषा में बदलाव भाव का संकेत हो सकता है, प्रमाण नहीं। इसीलिए जिम्मेदार एआई को ऐसे अनुमान को विनम्रता से संभालना चाहिए - जैसे ‘आप परेशान लग रहे हैं’ कहना भी तभी उचित है जब संदर्भ स्पष्ट हो। ‘आप अवसाद में हैं’ जैसी चिकित्सकीय घोषणा केवल लिखित बातचीत देखकर करना उचित नहीं।

यदि इस पूरी प्रक्रिया को एक सरल उदाहरण से समझें तो चैटबॉट कुछ वैसा है जैसे किसी व्यक्ति ने जीवन भर करोड़ों किताबें, लेख और बातचीत पढ़ी हों और फिर आप उससे अधूरा वाक्य पूरा करने को कहें। फर्क यह है कि वह मनुष्य की तरह यादों के सहारे नहीं। बल्कि विशाल गणितीय जाल में सीखे संबंधों के आधार पर संभावना निकालता है। और मूड पहचानने में वह कुछ वैसा है जैसे कोई बहुत अनुभवी पाठक किसी पत्र की भाषा देखकर अनुमान लगा ले कि लेखक खुश है, परेशान है या नाराज। लेकिन अनुभवी पाठक की तरह एआई भी गलत हो सकता है।

इसलिए सबसे छोटा उत्तर यह है - चैटबॉट अगले शब्द को ‘जानता’ नहीं।वह उसकी संभावना गणना करता है। और आपका मूड ‘पढ़ता’ नहीं। बल्कि आपकी भाषा में छिपे संकेतों से उसका अनुमान लगाता है।यही आधुनिक भाषा आधारित एआई का मूल जादू है - असल में जादू नहीं, बहुत बड़े पैमाने पर सीखी हुई संभावनाएँ, संदर्भ और भाषा के पैटर्न।