موتورهاي جست وجوگر دومين فعاليت کاربران در دنياي وب، اعتماد

رضا جوالچي

امروزه موتورهاي جست وجو نقش بسيار پررنگي در فضاي وب دارند تا آنجا که دنياي مجازي بدون حضور موتورهاي جست وجو معنا پيدا نمي کند اما در اينجا اين سوال مطرح مي شود که به چه دليلي نياز به موتورهاي جست وجو داريم که در پاسخ بايد گفت با وجود حجم روزافزون طراحي و راه اندازي سايت هاي وب مختلف، نياز به دستيابي به مرکزي براي شناسايي اين پايگاه ها براي استفاده بهتر و بيشتر کاربران وب، امر مهمي به شمار آمده است و از آنجا که سايت ها و مطالبي که در وب منتشر مي شوند، توسط هيچ مرکز رسمي بين المللي مسوول در اينترنت اعلام نمي شود تنها راه پيدا کردن يک موضوع، اطلاع داشتن دقيق از آدرس آن سايت به نظر مي رسد. موتور هاي جست وجو براي سهولت دسترسي کاربران به مطالب موجود در سايت هاي وب راه اندازي شده اند.

در واقع بدون نياز به موتور هاي جست وجو کاربران قادر نخواهند بود از به روزرساني سايت هاي وب اطلاع کسب کنند و نيازهاي تحقيقاتي و آموزشي و تجاري و خبري و... خود را پوشش دهند و در مجموع بايد گفت مهم ترين توانايي موتورهاي جست وجو جذب مخاطبان واقعي سايت است چرا که مخاطبان وبگرد و سرگردان معمولاً در اين جست وجوها نقش به خصوصي ندارند.

توجه به اين نکته بسيار حائز اهميت است که هر چه بر محبوبيت وب افزوده مي شود، نياز به بايگاني کردن اطلاعات آن نيز بيشتر مي شود؛ موتور جست وجوگر نيز در واقع اين اطلاعات را بايگاني کرده، در زمان مورد نياز و به سرعت در اختيار کاربران قرار مي دهد. بدون موتور جست وجوگر، وب تنها به بخش کوچکي از موفقيت امروزين خود دست مي يافت زيرا موتور جست وجوگر، اينترنت را به رسانه يي قابل استفاده براي همه تبديل کرده است. آنچه موتورهاي جست وجوگر انجام مي دهند، فراهم کردن يک وسيله جست وجوي ساده است. وقتي يک کاربر وب عبارتي را جست وجو مي کند، موتور جست وجوگر ليستي از سايت ها ارائه مي کند که تعداد آنها از چند صد مورد تا چند ميليون متغير خواهد بود و سايت هايي که موتور جست وجوگر به عنوان نتايج جست وجويش ارائه مي کند، بر حسب ميزان ارتباط با عبارت جست وجو شده به ترتيب نزولي ليست مي شوند. به عبارت ديگر سايتي که به عنوان اولين سايت در نتايج جست وجو معرفي شده است، مرتبط ترين سايت با عبارت جست وجوشده از ديد آن موتور جست وجوگر خواهد بود.

دقت در ارائه نتايج يک جست وجو مساله بسيار مهمي است که کاربران وب همواره از موتورهاي جست وجوگر انتظار خواهند داشت هر چه نتايج جست وجوي يک موتور جست وجوگر دقيق تر و مرتبط تر باشد، محبوب تر خواهد بود و کاربران بيشتري به آن مراجعه خواهند کرد و اگر عبارت يکساني در تمام موتورهاي جست وجوگر جست وجو شود هيچ کدام از آنها نتايج يکساني را ارائه نمي دهند و با نتايج کاملاً متفاوتي روبه رو مي شويم. تفاوت در ارائه نتايج جست وجو در موتورهاي جست وجوگر از تفاوت آنها در الگوريتم يا همان سيستم رتبه بندي و بايگاني داده شان ناشي مي شود. حتي اگر همه آنها از بايگاني داده يکساني نيز استفاده کنند، بازهم نتايج جست وجويشان متفاوت خواهد بود. موتور جست وجوگر براي رده بندي صفحات وب از الگوريتم خاصي استفاده مي کند که فوق العاده سري است چرا که الگوريتم نيز مجموعه يي از دستورالعمل ها است که موتور جست وجوگر به کمک آن تصميم مي گيرد سايت ها را چگونه در خروجي اش مرتب کند.

براي اينکه سايت ها با هم مقايسه شوند و بر حسب ميزان ارتباط با موضوع جست وجو شده مرتب شوند، موتور جست وجوگر، الگوريتم را بر مجموعه يي از پارامترها اعمال مي کند. پارامترهاي مورد توجه موتور جست وجوگر نيز همانند الگوريتم آنها ناشناخته است و اين ناشناخته ها جذابيت دنياي موتورهاي جست وجوگر را دوچندان مي کنند.

عملکرد موتورهاي جست وجوگر

وقتي ما واژه مورد جست وجوي خود را در موتور جست وجوي خود تايپ کرده و روي آن کليک مي کنيم و بنا بر سرعت اينترنت نتايج نمايان مي شود، اين سوال در ذهن بسياري از کاربران شکل مي گيرد که موتورهاي جست وجو به چه صورتي عمل مي کنند که در اين خصوص بايد گفت وقتي جست وجويي در يک موتور جست وجوگر انجام و نتايج جست وجو ارائه مي شود، کاربران در واقع نتيجه کار بخش هاي متفاوت موتور جست وجوگر را مي بينند. موتور جست وجوگر قبلاً پايگاه داده اش را آماده کرده و اين گونه نيست که درست در همان لحظه جست وجو، تمام وب را بگردد. بسياري از خود مي پرسند چگونه ممکن است گوگل در کمتر از يک ثانيه تمام سايت هاي وب را بگردد و ميليون ها صفحه را در نتايج جست وجوي خود ارائه کند که در اين مورد گفته مي شود گوگل و هيچ موتور جست وجوگر ديگري توانايي انجام اين کار را ندارند. همه آنها در زمان پاسخگويي به جست وجوهاي کاربران، تنها در پايگاه داده يي که در اختيار دارند، به جست وجو مي پردازند نه در تمامي وب. موتور جست وجوگر به کمک بخش هاي متفاوت خود، اطلاعات مورد نياز را قبلاً جمع آوري، تجزيه و تحليل مي کند، آن را در پايگاه داده اش ذخيره مي کند و هنگام جست وجوي کاربر تنها در همين پايگاه داده مي گردد. در خصوص بخش هاي يک موتور جست وجو بايد گفت شامل قسمت هايي همچون Spider يا عنکبوت، Crawler يا خزنده، Indexer يا بايگاني کننده، Database يا پايگاه داده، Ranker يا سيستم رتبه بندي و... مي شود که در توضيح هر بخش شامل موارد زير است.

- Spider عنکبوت

اسپايدر نرم افزاري است که کار جمع آوري اطلاعات مورد نياز يک موتور جست وجوگر را بر عهده دارد. اسپايدر به صفحات مختلف سر مي زند، محتواي آنها را مي خواند، لينک ها را دنبال مي کند، اطلاعات مورد نياز را جمع آوري مي کند و آن را در اختيار ساير بخش هاي موتور جست وجوگر قرار مي دهد. کار يک اسپايدر، بسيار شبيه کار کاربران وب است. همان طور که کاربران، صفحات مختلف را بازديد مي کنند، اسپايدر هم درست اين کار را انجام مي دهد با اين تفاوت که اسپايدر کدهاي HTML صفحات را مي بيند اما کاربران نتيجه حاصل از کنار هم قرار گرفتن اين کدها را مشاهده مي کنند.

Crawler - خزنده

کراولر نرم افزاري است که به عنوان يک فرمانده براي اسپايدر عمل مي کند به اين صورت که مشخص مي کند کدام صفحات را مورد بازديد قرار دهد. در واقع کراولر تصميم مي گيرد کدام يک از لينک هاي صفحه يي که اسپايدر در حال حاضر در آن قرار دارد، دنبال شود. ممکن است همه آنها را دنبال کند، بعضي ها را دنبال کند يا هيچ کدام را دنبال نکند. کراولر ممکن است قبلاً برنامه ريزي شده باشد که آدرس هاي خاصي را طبق برنامه، در اختيار اسپايدر قرار دهد تا از آنها ديدن کند. دنبال کردن لينک هاي يک صفحه به اين بستگي دارد که موتور جست وجوگر چه حجمي از اطلاعات يک سايت را مي تواند در پايگاه داده اش ذخيره کند. همچنين ممکن است اجازه دسترسي به بعضي از صفحات به موتورهاي جست وجوگر داده نشده باشد.

Indexer -بايگاني کننده

تمام اطلاعات جمع آوري شده توسط اسپايدر در اختيار ايندکسر قرار مي گيرد. در اين بخش اطلاعات ارسالي مورد تجزيه و تحليل قرار مي گيرند و به بخش هاي متفاوتي تقسيم مي شوند. تجزيه و تحليل به اين معني است که مشخص مي شود اطلاعات از کدام صفحه ارسال شده است، چه حجمي دارد، کلمات موجود در آن کدامند، کلمات چندبار تکرار شده اند، کلمات در کجاي صفحه قرار دارند و... در حقيقت ايندکسر، صفحه را به پارامترهاي آن خرد مي کند و تمام اين پارامترها را به يک مقياس عددي تبديل مي کند تا سيستم رتبه بندي بتواند پارامترهاي صفحات مختلف را با هم مقايسه کند. در زمان تجزيه و تحليل اطلاعات، ايندکسر براي کاهش حجم داده ها از بعضي کلمات که بسيار رايج هستند صرف نظر مي کند. کلماتي نظير a ، an ، the ، www ، is و... از اين گونه کلمات هستند.

DataBase -پايگاه داده

تمام داده هاي تجزيه و تحليل شده در ايندکسر، به پايگاه داده ارسال مي شود. در اين بخش داده ها گروه بندي، کدگذاري و ذخيره مي شود. همچنين داده ها قبل از آنکه ذخيره شوند، طبق تکنيک هاي خاصي فشرده مي شوند تا حجم کمي از پايگاه داده را اشغال کنند. يک موتور جست وجوگر بايد پايگاه داده عظيمي داشته باشد و به طور مداوم حجم محتواي آن را گسترش دهد و البته اطلاعات قديمي را هم به روز رساني کند. بزرگي و به روز بودن پايگاه داده يک موتور جست وجوگر براي آن امتياز به شمار مي آيد. يکي از تفاوت هاي اصلي موتورهاي جست وجوگر در حجم پايگاه داده آنها و همچنين روش ذخيره سازي داده ها در پايگاه داده است.

- Ranker سيستم رتبه بندي

بعد از آنکه تمام مراحل قبل انجام شد، موتور جست وجوگر آماده پاسخگويي به سوالات کاربران است. کاربران چند کلمه را در جعبه جست وجوي آن وارد مي کنند و سپس با فشردن Enter منتظر پــاسخ مي مانند. براي پاسخگويي به درخواست کاربر، ابتدا تمام صفحات موجود در پايگاه داده که به موضوع جست وجو شده مرتبط هستند، مشخص مي شوند. پس از آن سيستم رتبه بندي وارد عمل شده، آنها را از بيشترين ارتباط تا کمترين ارتباط مرتب مي کند و به عنوان نتايج جست وجو به کاربر نمايش مي دهد. حتي اگر موتور جست وجوگر بهترين و کامل ترين پايگاه داده را داشته باشد اما نتواند پاسخ هاي مرتبطي را ارائه کند، يک موتور جست وجوگر ضعيف خواهد بود. در حقيقت سيستم رتبه بندي قلب تپنده يک موتور جست وجوگر است و تفاوت اصلي موتورهاي جست وجوگر در اين بخش قرار دارد. سيستم رتبه بندي براي پاسخگويي به سوالات کاربران، پارامترهاي بسياري را در نظر مي گيرد تا بتواند بهترين پاسخ ها را در اختيار آنها قرار دهد.

---

روزانه در دنياي وب هزاران سايت متولد مي شود تا آنجا که بايد گفت اگر تا ديروز نبود اطلاعات در محيط اينترنت به مشکل اساسي براي کاربران بدل شده بود، امروزه به لطف همين رشد صعودي دسترسي به اطلاعات انبوه جدي تر از نبود اطلاعات است و به نوعي بايد گفت چالش عمده اکثر کاربران دستيابي دقيق به اطلاعات است به اين صورت که کاربران اگر دنبال موضوعي خاص هستند، به چه روشي مي توانند به آن دسترسي پيدا کنند که موتورهاي جست وجو با نقش حيات بخش خود به راحتي اين حجم اطلاعات را در اختيار کاربران قرار مي دهند. اين روزها آمارها نشان از اين واقعيت غير قابل انکار دارد که افراد بسياري سفر در دنياي مجازي را با موتورهاي جست وجو گر آغاز مي کنند تا آنجا که جست وجو در موتورهاي جست وجوگر به دومين فعاليت کاربران در دنياي وب تبديل شده است.