Google अरबों वेबसाइटों में से सही जवाब कैसे खोजता है? सर्च इंजन से AI तक की पूरी कहानी

Google की शुरुआत पहले BackRub के रूप में हुई

Larry Page और Sergey Brin Stanford में शोध कर रहे थे। उनकी परियोजना वेब के संपर्क-जाल का विश्लेषण करती थी। शुरुआती परियोजना का नाम BackRub था। क्योंकि वह वेबसाइटों के backlinks यानी उनकी ओर आने वाले संपर्कों का अध्ययन करती थी। Stanford के इतिहास के अनुसार 1998 की शुरुआत तक परियोजना का नाम Google हो चुका था और उसी वर्ष कंपनी स्थापित हुई।

Google नाम गणितीय शब्द googol - 1 के बाद 100 शून्य - से प्रेरित था। और विशाल मात्रा में जानकारी व्यवस्थित करने की महत्वाकांक्षा का प्रतीक बन गया। शुरुआती Google का आकर्षण केवल सफेद सरल मुखपृष्ठ नहीं था। उसकी असली शक्ति परिणामों की गुणवत्ता थी। उपयोगकर्ता को अक्सर पुराने खोज इंजनों की तुलना में अधिक उपयोगी पन्ने ऊपर मिलने लगे।Stanford के मूल Google भंडारण तंत्र की कहानी भी रोचक है। Page और Brin ने अपेक्षाकृत सस्ते हार्ड ड्राइव जोड़कर अपना प्रारंभिक भंडारण तंत्र बनाया था। Stanford Engineering आज भी उस मूल सर्वर का प्रदर्शन करता है और बताता है कि शुरुआती व्यवस्था लगभग 2.4 करोड़ पन्नों के सूचकांक के पैमाने तक पहुँच चुकी थी। 1998 में Google कंपनी बन गई और आगे का इतिहास इंटरनेट की सबसे बड़ी व्यावसायिक कहानियों में बदल गया।

Google परिणाम ऊपर-नीचे किस आधार पर रखता है?

यहाँ सबसे बड़ी सावधानी यह है कि कोई व्यक्ति यदि दावा करे कि उसे Google का ‘पूरा एल्गोरिद्म’ मालूम है। तो उस दावे पर संदेह करना चाहिए। पूरा क्रम-निर्धारण सूत्र सार्वजनिक नहीं है और समय के साथ लगातार बदलता रहता है।लेकिन Google कुछ मूल सिद्धांत सार्वजनिक करता है। उसके अनुसार उसकी स्वचालित प्रणालियाँ ऐसी सामग्री को प्राथमिकता देने के लिए बनाई गई हैं जो लोगों के लिए उपयोगी और विश्वसनीय हो, केवल खोज इंजन को प्रभावित करने के लिए न बनाई गई हो। मान लीजिए आपने पूछा - ‘डायबिटीज का इलाज क्या है?’ Google को केवल सबसे अधिक बार ‘डायबिटीज’ शब्द लिखने वाली वेबसाइट नहीं दिखानी चाहिए। स्वास्थ्य का प्रश्न संवेदनशील है, इसलिए स्रोत की विश्वसनीयता भी महत्वपूर्ण हो जाती है। इसी तरह ‘आज भारत का स्कोर क्या है?’ में नवीनता निर्णायक होगी।

Google अलग-अलग प्रश्नों के लिए संकेतों का महत्व अलग कर सकता है। समाचार प्रश्न में नया होना बड़ा संकेत हो सकता है; ऐतिहासिक दस्तावेज में पुराना आधिकारिक स्रोत ही अधिक उपयोगी हो सकता है। वेबसाइट की भाषा और उपयोगकर्ता की भाषा भी महत्वपूर्ण हैं। यदि कोई हिंदी में प्रश्न करता है तो Google प्रासंगिक हिंदी सामग्री को प्राथमिकता दे सकता है, हालांकि अधिक उपयोगी सामग्री दूसरी भाषा में हो तो उसका अनुवाद या दूसरी प्रस्तुति संभव है।

नकली वेबसाइटें ऊपर आने से कैसे रोकी जाती हैं?

जहाँ परिणामों में ऊपर आने से पैसा और प्रतिष्ठा मिलती है, वहाँ लोग व्यवस्था को धोखा देने की कोशिश भी करेंगे। खोज इंजन के शुरुआती दिनों में वेबसाइटें लोकप्रिय शब्दों को बार-बार लिखकर परिणामों में ऊपर आ सकती थीं। इसे keyword stuffing कहा जाने लगा।फिर लोगों ने हजारों नकली वेबसाइट बनाकर एक-दूसरे को संपर्क देना शुरू किया। कुछ लोगों ने सफेद पृष्ठभूमि पर सफेद अक्षरों में छिपे शब्द लिखे ताकि इंसान न देखे लेकिन खोज इंजन पढ़ ले।

Google की वर्तमान स्पैम नीति ऐसे कई तरीकों को साफ तौर पर प्रतिबंधित करती है—छिपा हुआ पाठ, अस्वाभाविक शब्द भरना, भ्रामक पुनर्निर्देशन, बड़े पैमाने पर कम-मूल्य सामग्री बनाना, नकली संपर्कों के माध्यम से क्रम प्रभावित करना और उपयोगकर्ता व खोज इंजन को अलग सामग्री दिखाना। Google कहता है कि वह स्वचालित प्रणालियों और आवश्यकता पड़ने पर मानव समीक्षा दोनों का उपयोग करता है; उसकी प्रमुख स्वचालित स्पैम-रोधी प्रणालियों में SpamBrain भी शामिल है।

यानी Google के सामने लगातार एक युद्ध चलता है - एक तरफ खोज गुणवत्ता सुधारने वाली टीम, दूसरी तरफ ऐसे लोग जो किसी तरह पहले पन्ने पर पहुँचना चाहते हैं।

Google अरबों पन्नों को इतनी तेजी से छाँट कैसे लेता है?

यह केवल अच्छे एल्गोरिद्म से संभव नहीं है; इसके पीछे विशाल कंप्यूटिंग ढाँचा है। खोज इंजन का सूचकांक एक अकेले कंप्यूटर में नहीं रखा जा सकता। उसे अनेक मशीनों और डेटा केंद्रों में बाँटा जाता है। प्रश्न आने पर काम समानांतर रूप से कई प्रणालियों में बाँटा जा सकता है। मान लीजिए पुस्तकालय की दस करोड़ किताबें एक ही व्यक्ति देख रहा है तो खोज धीमी होगी। यदि दस हजार प्रशिक्षित कर्मचारी अलग-अलग हिस्सों के सूचकांक को एक साथ खोज रहे हों और फिर परिणाम एक केंद्रीय तंत्र कुछ मिलीसेकंड में जोड़ दे, तो गति बहुत बढ़ जाएगी। विशाल वितरित कंप्यूटिंग इसी सिद्धांत का अत्यधिक स्वचालित रूप है।

मूल Google शोध-पत्र में भी खोज इंजन को सीमित हार्डवेयर पर बड़े पैमाने पर crawl और index करने के लिए तैयार किए गए वितरित तंत्र के रूप में प्रस्तुत किया गया था। आज इसका पैमाना उस शुरुआती व्यवस्था से असाधारण रूप से बड़ा है। Google की वर्तमान दस्तावेज़ी भाषा सीधे किसी एक कुल ‘वेबसाइट संख्या’ पर निर्भर नहीं करती; वह अपने सूचकांक में सैकड़ों अरब वेब पन्नों और अन्य सामग्री पर काम करने वाली क्रम-निर्धारण प्रणालियों की बात करता है।

यहाँ ‘वेबसाइट’ और ‘वेब पेज’ में अंतर भी समझना जरूरी है। एक वेबसाइट के लाखों अलग पन्ने हो सकते हैं। Amazon, Wikipedia या किसी समाचार वेबसाइट को एक वेबसाइट कहना आसान है। लेकिन खोज इंजन के लिए उसके प्रत्येक लेख, उत्पाद और पृष्ठ अलग दस्तावेज हो सकते हैं।

Google इंटरनेट की हर चीज क्यों नहीं दिखा सकता?

क्योंकि पूरा इंटरनेट और Google का सूचकांक एक ही चीज नहीं हैं। कुछ पन्नों को वेबसाइट मालिक Google से छिपाते हैं। कुछ लॉगिन के पीछे होते हैं। कुछ निजी डेटाबेस में रहते हैं। कुछ इतने नए होते हैं कि crawler अभी पहुँचा नहीं। कुछ तकनीकी कारणों से पढ़े नहीं जा सकते। कुछ नीति के कारण हटाए जा सकते हैं और कुछ Google अपने सूचकांक में रखने योग्य नहीं समझता। यही वह क्षेत्र है जहाँ ‘Surface Web’ और ‘Deep Web’ का अंतर आता है। आपकी बैंक खाते की निजी जानकारी इंटरनेट पर उपलब्ध हो सकती है। लेकिन Google Search में सूचीबद्ध नहीं होनी चाहिए। इसी प्रकार ईमेल, निजी क्लाउड फाइलें और सदस्यता के पीछे की अनेक सामग्री सामान्य सार्वजनिक खोज का हिस्सा नहीं होती।इसलिए Google को ‘पूरे इंटरनेट की कॉपी’ समझना गलत है। वह सार्वजनिक और उपलब्ध वेब के विशाल हिस्से का खोज योग्य प्रतिनिधित्व है।

नई खबर प्रकाशित होते ही Google को कुछ मिनटों में कैसे पता चल जाता है?

सभी वेबसाइटें समान आवृत्ति से नहीं देखी जातीं। कोई छोटी वेबसाइट महीनों न बदले तो Google को हर मिनट वहाँ जाने की जरूरत नहीं। दूसरी ओर बड़ी समाचार वेबसाइट हर कुछ मिनट में नई सामग्री प्रकाशित कर सकती है।Google के crawler संसाधनों का उपयोग वेबसाइट के परिवर्तन और महत्त्व के अनुसार अलग हो सकता है। समाचार प्रकाशक विशेष news sitemap के माध्यम से ताजा लेखों की जानकारी दे सकते हैं। Google की वर्तमान मार्गदर्शिका बताती है कि समाचार sitemap हाल के लेखों की जानकारी देने में मदद करता है और दो दिन के भीतर प्रकाशित सामग्री के लिए विशेष समाचार जानकारी रखी जा सकती है। फिर भी sitemap देना तत्काल सूचीकरण की गारंटी नहीं है। Google स्पष्ट करता है कि पुनः crawling के अनुरोध के बाद भी प्रक्रिया दिनों या कभी सप्ताहों तक ले सकती है और inclusion की गारंटी नहीं होती।

Google आपके प्रश्न का उत्तर दिखाता है या केवल वेबसाइटें?

पुराने खोज इंजन मूलतः ‘दस नीले संपर्क’ दिखाते थे। आप प्रश्न लिखते और दस वेबसाइटों में से किसी को खोलते।धीरे-धीरे खोज इंजन ने उत्तर को सीधे पृष्ठ पर लाना शुरू किया। मौसम, गणना, खेल स्कोर, शब्दकोश अर्थ, किसी प्रसिद्ध व्यक्ति की जानकारी, मानचित्र, खरीदारी और दूसरी संरचित जानकारी सीधे खोज परिणाम में दिखाई जा सकती है। वेबसाइटें अपनी सामग्री में संरचित जानकारी जोड़ सकती हैं—जैसे यह उत्पाद है, यह कीमत है, यह समीक्षा है, यह रेसिपी है। Google इसका उपयोग विशेष समृद्ध परिणाम बनाने के लिए कर सकता है, हालांकि वह स्पष्ट करता है कि ऐसी संरचना जोड़ देने से विशेष प्रस्तुति की गारंटी नहीं मिलती।

अब खोज में कृत्रिम बुद्धिमत्ता आधारित सुविधाएँ भी जुड़ चुकी हैं। Google Search Central की वर्तमान जानकारी बताती है कि उसकी AI आधारित खोज सुविधाएँ भी मौजूदा crawling, indexing और खोज-योग्यता व्यवस्था पर निर्भर करती हैं—अर्थात वेबसाइट को पहले सामान्य खोज व्यवस्था के लिए उपलब्ध और समझने योग्य होना पड़ता है। इससे खोज इंजन का स्वरूप बदल रहा है। पहले प्रश्न था - ‘मुझे कौन-सी वेबसाइट खोलनी चाहिए?’ अब बढ़ते मामलों में प्रश्न है - ‘इन स्रोतों में जो जानकारी है उसका सीधा उत्तर क्या है?’

क्या Google का पहला परिणाम हमेशा सही होता है?

Google अत्यंत प्रभावशाली सूचना-पुनर्प्राप्ति प्रणाली है, सत्य का अंतिम न्यायालय नहीं।उसका काम उपलब्ध सामग्री में से उपयोगी परिणाम चुनना है। यदि इंटरनेट पर गलत जानकारी व्यापक है, कोई बहुत नई घटना अभी अस्पष्ट है, स्रोत आपस में असहमत हैं या किसी विषय में वैज्ञानिक बहस जारी है, तो खोज परिणाम भी पूर्ण सत्य की गारंटी नहीं दे सकते।Google स्वयं अपनी सामग्री संबंधी मार्गदर्शिका में उपयोगी और विश्वसनीय जानकारी को प्राथमिकता देने की बात करता है, लेकिन वह यह दावा नहीं करता कि हर परिणाम तथ्यात्मक रूप से अचूक है। इसीलिए चिकित्सा, कानून, वित्त और इतिहास जैसे गंभीर मामलों में केवल पहले परिणाम का शीर्षक पढ़ना पर्याप्त नहीं। स्रोत देखना आवश्यक है—क्या वह सरकारी संस्था है, मूल शोध-पत्र है, विश्वविद्यालय है, प्रतिष्ठित समाचार संस्थान है या केवल कोई अज्ञात ब्लॉग?

Search Engine Optimization का जन्म कैसे हुआ?

जैसे ही व्यवसायों ने समझा कि Google के पहले पन्ने पर आना ग्राहकों तक पहुँचने का बड़ा साधन है, SEO, यानी खोज इंजन अनुकूलन का पूरा उद्योग विकसित हो गया।इसका वैध रूप सरल है- वेबसाइट ऐसी बनाइए कि Google उसे आसानी से समझ सके। साफ शीर्षक रखें, उपयोगी सामग्री दें, पन्ने आपस में ठीक से जोड़ें, मोबाइल पर वेबसाइट सही चले और उपयोगकर्ता के प्रश्न का वास्तविक उत्तर दें।

Google स्वयं कहता है कि उसके परिणामों में शामिल होने के लिए भुगतान नहीं करना पड़ता और कोई व्यक्ति पैसे देकर सामान्य organic ranking खरीद नहीं सकता। Google की अपनी Search Essentials सलाह वेबसाइट निर्माताओं से लोगों के लिए उपयोगी सामग्री बनाने, ऐसे शब्द इस्तेमाल करने और ऐसे संपर्क बनाने को कहती है जिन्हें search crawler समझ सके।

लेकिन SEO का दूसरा चेहरा व्यवस्था को धोखा देने की कोशिश है - नकली संपर्क, शब्द भरना, कॉपी की गई सामग्री, छिपा पाठ या हजारों कम-मूल्य पन्ने बनाना। इसलिए Google और SEO उद्योग के बीच लगातार “बिल्ली और चूहे” जैसा खेल चलता रहता है।

Search Engine और Browser एक ही चीज नहीं हैं

यह भ्रम भी बहुत सामान्य है। Google Search एक सर्च इंजन है। Chrome एक ब्राउज़र है। इसी तरह Bing एक खोज इंजन है और Edge एक ब्राउज़र।ब्राउज़र वह कार्यक्रम है जो वेबसाइट खोलता है। खोज इंजन वह सेवा है जो आपको वेबसाइट ढूँढने में मदद करती है।आप Firefox ब्राउज़र में Google Search चला सकते हैं और Chrome में Bing चला सकते हैं। दोनों को एक समझना इसलिए आसान है क्योंकि Chrome में Google खोज पहले से प्रमुख रूप में उपलब्ध रहती है।

हमें लगता क्यों है कि Google “हमारा मन पढ़ लेता है”?

क्योंकि आधुनिक खोज केवल शब्दों की समानता नहीं देखती। वह प्रश्न का अर्थ, भाषा, संदर्भ, स्थान और कभी उपयोगकर्ता के लिए उपयुक्तता से संबंधित संकेतों को जोड़ सकती है। आप ‘जगह जहाँ ताजमहल है’ लिखें तो Google को ‘आगरा’ समझना चाहिए, भले आपके प्रश्न में आगरा शब्द न हो। इसी प्रकार ‘वह अभिनेता जिसने गांधी फिल्म में गांधी का रोल किया’ जैसे प्रश्न को समझने के लिए शब्दों के संबंध समझने पड़ते हैं। यही खोज का बड़ा विकास है, शब्द खोजने से आशय खोजने तक।

सर्च इंजन के पूरे सफर को देखें तो चार बड़ी क्रांतियाँ दिखाई देती हैं

पहली क्रांति थी इंटरनेट की जानकारी का सूचकांक बनाना—Archie ने दिखाया कि दुनिया भर के सर्वरों की बिखरी फाइलें एक जगह खोज योग्य बनाई जा सकती हैं। McGill के Alan Emtage का यह 1989–90 का प्रयोग इंटरनेट खोज की शुरुआत का ऐतिहासिक बिंदु माना जाता है।

दूसरी क्रांति थी पूरे वेब पन्नों को स्वचालित रूप से पढ़ना। 1990 के दशक के Lycos, AltaVista, Excite और दूसरे crawler आधारित खोज इंजनों ने वेब के विशाल विस्तार को मशीन से खोज योग्य बनाया।

तीसरी क्रांति थी परिणामों की गुणवत्ता और प्राधिकार का आकलन। PageRank ने वेब के संपर्कों को महत्व के संकेत की तरह इस्तेमाल करके Google को अलग पहचान दी। Stanford के Page और Brin का यही शोध 1998 में Google कंपनी के रूप में विकसित हुआ।

चौथी क्रांति अब अर्थ और कृत्रिम बुद्धिमत्ता आधारित खोज है। खोज इंजन केवल यह नहीं पूछता कि किन पन्नों में आपके शब्द हैं; वह यह भी समझने की कोशिश करता है कि आपका प्रश्न क्या चाहता है और कई स्थितियों में अलग स्रोतों से सीधे उपयोगी उत्तर सामने ला सकता है। Google की वर्तमान AI खोज सुविधाएँ भी उसके पुराने विशाल crawling और indexing ढाँचे पर ही निर्मित हैं।

सबसे बड़ा रहस्य फिर भी स्पीड का है

जब आप Google के खोज खाने में कोई शब्द लिखकर Enter दबाते हैं तो आपकी विनती इंटरनेट से Google की नजदीकी उपलब्ध संरचना तक पहुँचती है। वहाँ प्रश्न का विश्लेषण होता है, विशाल सूचकांक में संभावित पन्ने खोजे जाते हैं, क्रम-निर्धारण प्रणालियाँ उन्हें अनेक संकेतों के आधार पर छाँटती हैं, स्पैम और अनुपयोगी सामग्री नीचे की जाती है, विशेष परिणामों की आवश्यकता देखी जाती है और अंततः परिणाम पृष्ठ बनाकर आपके उपकरण तक भेज दिया जाता है।

यह सब संभव इसलिए है क्योंकि सबसे कठिन काम, वेब को ढूँढना, डाउनलोड करना, पढ़ना और सूचकांक बनाना, आपके सवाल से पहले ही किया जा चुका होता है। इसलिए Google की गति का रहस्य ‘अरबों वेबसाइटें एक सेकंड में पढ़ लेना’ नहीं है। रहस्य है—अरबों वेब पन्नों को लगातार पहले से पढ़ते रहना, उन्हें अत्यंत व्यवस्थित ढंग से संग्रहित करना और प्रश्न आने पर केवल सही हिस्से को बिजली जैसी गति से खोज लेना। और यही सर्च इंजन की पूरी कहानी का सार भी है। Alan Emtage के Archie ने इंटरनेट की फाइलों की सूची बनाई; शुरुआती वेब खोज इंजनों ने पन्नों का पूर्ण पाठ खोजना सीखा; Yahoo ने मनुष्यों द्वारा बनाई श्रेणियों से इंटरनेट को व्यवस्थित करने की कोशिश की; AltaVista जैसे इंजनों ने विशाल वेब खोज की गति दिखाई; Larry Page और Sergey Brin ने संपर्कों को महत्व का संकेत बनाकर PageRank के जरिए परिणामों की गुणवत्ता बदल दी; और अब कृत्रिम बुद्धिमत्ता खोज को शब्दों से अर्थ और वेबसाइटों से सीधे उत्तर की दिशा में ले जा रही है।

Google का असली जादू इसलिए खोज में नहीं, सूचकांक में है। जिस क्षण हम प्रश्न पूछते हैं, उसके बहुत पहले हजारों-लाखों मशीनें वेब को खोज चुकी होती हैं, सामग्री को समझ चुकी होती हैं और उसे ऐसी व्यवस्था में रख चुकी होती हैं जहाँ “सही जानकारी कहाँ है?” का उत्तर बहुत तेजी से निकाला जा सके। हम स्क्रीन पर केवल आधा सेकंड देखते हैं; उसके पीछे वर्षों से लगातार चल रही एक विशाल मशीन काम कर रही होती है।