Google अरबों वेबसाइटों में से सही जवाब कैसे खोजता है? सर्च इंजन से AI तक की पूरी कहानी

Google Search Algorithm: Google पर हम कोई भी सवाल लिखते हैं, ‘भारत की राजधानी क्या है।’ ‘लखनऊ में आज बारिश होगी या नहीं।’ ‘ब्लड प्रेशर कितना होना चाहिए।’ ‘1857 की क्रांति क्यों हुई।’ या किसी अनजान व्यक्ति, किताब, बीमारी अथवा घटना का नाम, और अक्सर एक सेकंड से भी कम समय में हमारे सामने परिणाम आ जाते हैं। स्क्रीन पर यह प्रक्रिया इतनी सरल दिखती है कि लगता है Google ने उसी क्षण पूरे इंटरनेट पर दौड़ लगाई। अरबों वेबसाइटें खोलीं। उनमें हमारा प्रश्न तलाशा और सबसे अच्छा उत्तर हमारे सामने रख दिया। लेकिन वास्तविकता बिल्कुल अलग है। Google आपके प्रश्न पूछने के बाद पूरे इंटरनेट को खोजना शुरू नहीं करता। वह इंटरनेट के विशाल हिस्से को पहले से लगातार पढ़ता, समझता और उसका एक अत्यंत विशाल सूचकांक तैयार करके रखता है। जब हम सवाल पूछते हैं तो Google मुख्यतः उसी पहले से तैयार सूचकांक में खोज करता है। इसी कारण उत्तर कुछ सेकंड में नहीं बल्कि अक्सर सेकंड के छोटे हिस्से में आ जाता है। Google स्वयं अपनी खोज प्रक्रिया को तीन मुख्य चरणों में बाँटता है - वेब पन्नों को ढूँढना और पढ़ना, उनकी जानकारी को सूचकांक में व्यवस्थित करना, और फिर उपयोगकर्ता के प्रश्न के अनुसार सबसे उपयोगी परिणाम चुनकर दिखाना।

इसे किसी बहुत विशाल पुस्तकालय की तरह समझना सबसे आसान है। कल्पना कीजिए कि दुनिया का सबसे बड़ा पुस्तकालय है, जिसमें अरबों किताबें हैं। यदि आप पुस्तकालयाध्यक्ष से पूछें कि “अशोक के कलिंग युद्ध के बारे में सबसे अच्छी किताब कौन-सी है?” और वह उसी समय अरबों किताबें एक-एक करके पढ़ना शुरू करे, तो उत्तर मिलने में वर्षों लग जाएँगे। लेकिन यदि उसने पहले से हर किताब पढ़कर उसके विषय, लेखक, शब्द, अध्याय और संदर्भ का विशाल सूचकांक बना रखा है। तो वह कुछ क्षणों में बता सकता है कि कौन-सी पुस्तकें आपके प्रश्न से संबंधित हैं। Google भी इंटरनेट के साथ लगभग यही करता है। फर्क सिर्फ इतना है कि पुस्तकालय लगातार बदल रहा है, हर सेकंड नए पन्ने जुड़ रहे हैं, पुराने बदल रहे हैं और कुछ गायब हो रहे हैं।

Google को पता कैसे चलता है कि इंटरनेट पर कौन-कौन सी वेबसाइटें हैं?

इंटरनेट की कोई एक केंद्रीय सूची नहीं है जिसमें दुनिया की सारी वेबसाइटें दर्ज हों। कोई ऐसा ‘विश्व वेबसाइट कार्यालय’ नहीं है।जहाँ नई वेबसाइट बनने पर उसका नाम जमा करना जरूरी हो। इसलिए Google को स्वयं वेब पर घूमकर पन्ने खोजने पड़ते हैं। इसके लिए वह स्वचालित प्रोग्राम इस्तेमाल करता है, जिन्हें सामान्यतः crawler या Googlebot कहा जाता है। हिंदी में इन्हें वेब अन्वेषक या स्वचालित खोजी कार्यक्रम कह सकते हैं। Google के अनुसार उसके ये कार्यक्रम लगातार इंटरनेट पर मौजूद पन्नों को खोजते हैं, उन्हें डाउनलोड करते हैं और उनमें मिले नए संपर्कों के सहारे दूसरे पन्नों तक पहुँचते जाते हैं।

मान लीजिए Google को पहले से A.com नाम की वेबसाइट मालूम है। Googlebot उस वेबसाइट पर जाता है और पन्ने में पाँच दूसरी वेबसाइटों के संपर्क देखता है। उनमें से एक B.com है, जिसे Google पहले नहीं जानता था। अब वह B.com को अपनी भविष्य की खोज-सूची में डाल सकता है। फिर B पर दस और संपर्क मिलते हैं और प्रक्रिया आगे बढ़ती जाती है। वेब को ‘जाल’ कहने का कारण ही यही है—एक पन्ना दूसरे से, दूसरा तीसरे से और तीसरा हजारों अन्य पन्नों से जुड़ा हुआ है। Google स्वयं बताता है कि वह नई सामग्री खोजने के लिए पहले से ज्ञात पन्नों के संपर्कों का उपयोग करता है; वेबसाइटें अपनी sitemap फ़ाइल देकर भी Google को बता सकती हैं कि उनके यहाँ कौन-कौन से पन्ने मौजूद हैं।

लेकिन Google हर वेबसाइट के हर पन्ने को अनिवार्य रूप से नहीं पढ़ता। वेबसाइट मालिक robots.txt नाम की निर्देश फ़ाइल के माध्यम से यह बता सकता है कि Googlebot किन हिस्सों में जाए और किनमें न जाए। इसी तरह किसी पन्ने पर noindex निर्देश देकर वेबसाइट यह कह सकती है कि उसे Google के खोज परिणामों में शामिल न किया जाए। Google भी स्पष्ट करता है कि किसी पन्ने का तकनीकी रूप से उपलब्ध होना यह गारंटी नहीं देता कि वह उसे अवश्य पढ़ेगा। सूचकांक में रखेगा या खोज परिणाम में दिखाएगा।

आज की वेबसाइटें केवल साधारण लिखित HTML पन्ने नहीं हैं। अनेक वेबसाइटों में सामग्री JavaScript द्वारा बाद में बनती है। इसलिए Google कई मामलों में केवल मूल स्रोत नहीं पढ़ता। बल्कि पन्ने को वैसे प्रस्तुत करने की कोशिश भी करता है, जैसे आधुनिक ब्राउज़र उसे दिखाता है। Google की तकनीकी जानकारी के अनुसार उसका तंत्र पहले पन्ना प्राप्त करता है, उसमें मिले संपर्कों को खोजता है, आवश्यकता होने पर उसे प्रस्तुत करता है और फिर प्राप्त सामग्री को प्रसंस्करण तथा सूचकांक के लिए आगे भेजता है।

वेबसाइट पढ़ लेने के बाद Google करता क्या है?

यही सूचीकरण या indexing का चरण है। Google पन्ने के शब्दों, शीर्षक, चित्र, वीडियो और दूसरी उपलब्ध जानकारी का विश्लेषण करता है और उसे अपने विशाल सूचकांक में व्यवस्थित करता है। Google स्वयं इस सूचकांक को एक बहुत बड़ा डेटाबेस बताता है।

यहाँ फिर पुस्तकालय की उपमा उपयोगी है। सामान्य पुस्तक की अंतिम पृष्ठों वाली अनुक्रमणिका में यदि ‘गांधी’ लिखा है तो उसके सामने पृष्ठ 25, 92 और 146 हो सकते हैं। Google के पास इसी विचार का अत्यंत विशाल डिजिटल रूप है। वह केवल यह नहीं रखता कि ‘इस पन्ने में गांधी शब्द है।’ बल्कि पन्ना किस विषय पर है। कौन-से शब्द महत्वपूर्ण हैं।उसका शीर्षक क्या है।किन दूसरी वेबसाइटों ने उसे जोड़ा है। सामग्री कितनी नई है। किस भाषा में है।अनेक दूसरे संकेतों का विश्लेषण कर सकता है।

यहीं सबसे महत्वपूर्ण रहस्य छिपा है, Google का तेज होना मुख्यतः खोज की गति का नहीं, पहले से की गई तैयारी का चमत्कार है। जब आप सवाल पूछते हैं, तब अरबों वेब पन्नों को शून्य से पढ़ने की आवश्यकता नहीं होती। अरबों पन्नों की भारी मेहनत पहले ही Google के सर्वरों पर हो चुकी होती है। इसे शब्दकोश से भी समझ सकते हैं। आपको ‘हिमालय’ शब्द का अर्थ खोजना है, तो आप पूरी पुस्तक का हर शब्द नहीं पढ़ते। वर्णक्रम के कारण सीधे ‘ह’ वाले हिस्से में पहुँचते हैं। खोज इंजन का सूचकांक इसी अवधारणा का अरबों गुना जटिल रूप है।

प्रश्न पूछते ही Google सही पन्ने कैसे चुनता है?

यहीं खोज इंजन की असली बुद्धिमत्ता शुरू होती है। आपने यदि ‘ताजमहल कब बना’ लिखा तो Google केवल उन सभी पन्नों की सूची नहीं दिखाता जिनमें ‘ताजमहल’, ‘कब’ और ‘बना’ शब्द हैं। ऐसा करता तो लाखों निरर्थक परिणाम सामने आते। उसे यह समझना होता है कि उपयोगकर्ता वास्तव में निर्माण का समय या इतिहास पूछ रहा है। Google के वर्तमान दस्तावेजों के अनुसार उसके स्वचालित क्रम-निर्धारण तंत्र अपने सूचकांक में मौजूद सैकड़ों अरब वेब पन्नों और दूसरी सामग्री को अनेक कारकों और संकेतों के आधार पर देखते हैं। उद्देश्य उपयोगकर्ता के प्रश्न के लिए सबसे उपयोगी और प्रासंगिक जानकारी ऊपर लाना है। इन संकेतों का पूरा सूत्र सार्वजनिक नहीं है। ऐसा हो भी नहीं सकता, क्योंकि यदि Google अपने पूरे क्रम-निर्धारण का गणित सार्वजनिक कर दे तो वेबसाइट मालिक आसानी से उसे धोखा देने लगेंगे। फिर भी उसके घोषित सिद्धांतों से कई महत्वपूर्ण बातें समझ में आती हैं - पन्ने की सामग्री प्रश्न से कितनी संबंधित है, स्रोत कितना उपयोगी और भरोसेमंद है, दूसरे पन्ने उससे किस प्रकार जुड़े हैं, जानकारी कितनी ताजा होनी चाहिए, पन्ना उपयोगकर्ता के उपकरण पर ठीक काम करता है या नहीं और कुछ प्रश्नों में उपयोगकर्ता का स्थान तथा भाषा क्या है।

उदाहरण के लिए ‘भारत की स्वतंत्रता कब हुईँ’ में स्थान की भूमिका बहुत कम है। लेकिन ‘मेरे पास सबसे अच्छा अस्पताल’ या ‘आज मौसम कैसा रहेगा’ लिखने पर स्थान अत्यंत महत्वपूर्ण हो जाता है। इसी तरह ‘भारत के राष्ट्रपति’ पूछने पर ताजगी महत्वपूर्ण है क्योंकि पदधारक बदल सकता है। लेकिन ‘पाइथागोरस प्रमेय’ पूछने पर ताजगी का महत्व बहुत कम होगा।

शब्द वही न हों तो भी Google अर्थ कैसे समझता है?

पुराने खोज इंजन मुख्यतः शब्द मिलाने पर बहुत निर्भर थे। यदि उपयोगकर्ता ने ‘सस्ती कार’ लिखा और वेबसाइट पर केवल ‘कम कीमत वाली मोटर गाड़ी’ लिखा था। तो पुराना तंत्र संबंध समझने में कमजोर हो सकता था। आधुनिक खोज में मशीन सीखने और भाषा-समझ प्रणालियाँ अर्थ, समानार्थी शब्द और संदर्भ पहचानने में मदद करती हैं। यही कारण है कि आज Google को प्रश्न बिल्कुल पुस्तक की भाषा में लिखना जरूरी नहीं। आप बोलचाल की भाषा में पूछ सकते हैं - ‘पेट में जलन क्यों होती है?’ और वह ऐसे चिकित्सकीय पन्ने खोज सकता है जहाँ ‘अम्ल प्रतिवाह’ या संबंधित चिकित्सा शब्दावली इस्तेमाल हुई हो।

Google की क्रम-निर्धारण प्रणाली कोई एक महान एल्गोरिद्म नहीं है। कंपनी स्वयं ranking systems बहुवचन में बात करती है। अर्थात अनेक प्रणालियाँ मिलकर काम करती हैं। इनमें भाषा समझ, सामग्री की प्रासंगिकता, संपर्कों की गुणवत्ता, ताजगी और स्पैम पहचान जैसे अलग कार्य करने वाली प्रणालियाँ शामिल हो सकती हैं। Google SpamBrain सहित अनेक स्वचालित प्रणालियाँ स्पैम और खोज परिणामों में हेरफेर के प्रयास पहचानने के लिए इस्तेमाल करता है।

PageRank क्या था, जिसने Google को बदल दिया?

Google की कहानी समझने के लिए हमें 1990 के दशक में जाना होगा। उस समय इंटरनेट तेजी से फैल रहा था और कई खोज इंजन मौजूद थे। लेकिन एक बड़ी समस्या थी—किस पन्ने को ऊपर रखा जाए? मान लीजिए ‘विश्वविद्यालय’ शब्द दस लाख वेबसाइटों में लिखा है। सिर्फ शब्द की संख्या देखकर तय करना कि सबसे महत्वपूर्ण कौन-सी है, पर्याप्त नहीं। वेबसाइट मालिक अपने पन्ने में ‘विश्वविद्यालय’ शब्द हजार बार डालकर खोज इंजन को धोखा दे सकता था।

Stanford University के शोधछात्र Larry Page और Sergey Brin ने एक अलग दृष्टि अपनाई। उनका विचार था कि वेब के संपर्क केवल रास्ते नहीं, मतों या उद्धरणों जैसे संकेत भी हैं। यदि बहुत-सी महत्वपूर्ण वेबसाइटें किसी खास वेबसाइट की ओर संपर्क देती हैं, तो संभव है वह पन्ना महत्वपूर्ण हो। यह वैज्ञानिक शोध-पत्रों जैसा विचार था—जिस शोध-पत्र को महत्वपूर्ण दूसरे शोध बार-बार उद्धृत करते हैं, उसकी प्रतिष्ठा बढ़ती है। Stanford के अनुसार Page और Brin ने 1996 के आसपास PageRank विकसित किया। इसमें केवल कितने संपर्क किसी पन्ने की ओर आ रहे हैं यह नहीं, बल्कि संपर्क देने वाले पन्नों की महत्ता भी मायने रखती थी। Stanford इसे Google की मूलभूत तकनीक बताता है।

इसे एक सरल उदाहरण से समझिए। यदि दस अनजान ब्लॉग आपकी वेबसाइट को अच्छा बताते हैं और दूसरी वेबसाइट को केवल तीन संपर्क मिलते हैं। लेकिन वे तीन संपर्क Harvard, NASA और किसी प्रतिष्ठित वैज्ञानिक संस्थान से हैं, तो तीन संपर्क अधिक मूल्यवान हो सकते हैं। मूल PageRank इसी तरह वेब की संपर्क संरचना से महत्व का संकेत निकालने की कोशिश करता था। 1998 के Brin और Page के मूल शोध-पत्र में Google को ऐसा बड़े पैमाने का खोज इंजन बताया गया था जो वेब की hypertext संरचना का व्यापक उपयोग करता था। उस समय उनके प्रायोगिक Google में कम-से-कम लगभग 2.4 करोड़ पन्नों का पूर्ण पाठ और संपर्क डेटाबेस था—आज के पैमाने की तुलना में छोटा। लेकिन उस समय बहुत बड़ा।

आज Google केवल पुराना PageRank चलाकर परिणाम तय नहीं करता। इंटरनेट इतना बदल चुका है कि सैकड़ों प्रकार के संकेत और मशीन-सीख प्रणालियाँ उपयोग होती हैं। लेकिन संपर्क को गुणवत्ता-संकेत मानने का विचार आधुनिक वेब खोज के विकास में ऐतिहासिक छलांग था।

Search Engine की कहानी Google से बहुत पहले शुरू हो चुकी थी

सर्च इंजन का इतिहास वास्तव में World Wide Web से भी थोड़ा पुराना है। 1989 के आसपास McGill University में Alan Emtage नामक छात्र और प्रणाली प्रशासक को इंटरनेट पर अलग-अलग सर्वरों में रखी सार्वजनिक फाइलें खोजनी पड़ती थीं। यह काम हाथ से करना कठिन था। उन्होंने इसे स्वचालित करने के लिए Archie बनाया। McGill इसे दुनिया का पहला इंटरनेट खोज इंजन मानता है। Archie मूलतः सार्वजनिक FTP सर्वरों की फाइल-सूचियों को इकट्ठा कर खोज योग्य बनाता था। यह आज की तरह वेब पन्नों के भीतर पूरे लेख का अर्थ नहीं समझता था, लेकिन विचार क्रांतिकारी था—इंटरनेट की बिखरी जानकारी का पहले से सूचकांक बनाओ और उपयोगकर्ता को उसमें तेज खोज करने दो। नाम Archie भी रोचक था। McGill के ऐतिहासिक विवरण के अनुसार यह ‘archive’ शब्द से निकला था।न कि प्रसिद्ध कॉमिक पात्र से।

इसके बाद इंटरनेट पर Gopher जैसी सूचना व्यवस्था आई और उसके लिए Veronica तथा Jughead जैसे खोज साधन विकसित हुए। फिर 1990 के शुरुआती दशक में World Wide Web तेजी से बढ़ने लगा। अब केवल फाइल का नाम नहीं, वास्तविक वेब पन्ने खोजने की जरूरत थी।1990 के दशक के मध्य में Lycos, Infoseek, Excite, AltaVista और HotBot जैसे खोज इंजन सामने आए। Stanford के वेब-खोज संबंधी अकादमिक साहित्य में इन्हें crawler आधारित शुरुआती व्यावसायिक खोज इंजनों की प्रमुख पीढ़ी के रूप में दर्ज किया गया है।

Yahoo! ने शुरुआत में थोड़ा अलग रास्ता अपनाया। वह बड़े पैमाने पर मनुष्यों द्वारा वर्गीकृत वेबसाइट निर्देशिका के रूप में प्रसिद्ध हुआ—समाचार, शिक्षा, खेल, व्यापार जैसी श्रेणियों में वेबसाइटों को रखा जाता था। शुरुआती वेब में यह तरीका उपयोगी था क्योंकि वेबसाइटें कम थीं। लेकिन जैसे-जैसे वेब लाखों और फिर करोड़ों पन्नों तक पहुँचा, मनुष्य द्वारा सब कुछ वर्गीकृत करना असंभव होने लगा। Stanford का सूचना-पुनर्प्राप्ति साहित्य उस युग को दो प्रमुख मॉडल के रूप में वर्णित करता है—AltaVista, Excite और Infoseek जैसे पूर्ण खोज इंजन, और Yahoo जैसी मानव-वर्गीकृत निर्देशिकाएँ।

AltaVista विशेष रूप से महत्वपूर्ण था क्योंकि उसने विशाल मात्रा में वेब पन्नों का पूर्ण पाठ तेज गति से खोजने की क्षमता दिखाई। उस समय उपयोगकर्ताओं को पहली बार लगा कि वे सचमुच विशाल वेब में शब्द खोज सकते हैं। लेकिन जैसे-जैसे वेबसाइटों की संख्या बढ़ी, केवल अधिक पन्ने सूचीबद्ध करना पर्याप्त नहीं रहा। असली समस्या थी—सही पन्ना पहले दिखाना।यहीं Google का प्रवेश हुआ...आगे की खबर Next Page पर पढ़ें...