موتور جستجو چیست و چگونه کار می کند؟

موتور جستجو چیست؟

موتور جست وجو به برنامه ای گفته می شود که کلمات کلیدی موجود در فایل ها وسندها و آرشیوهای FTP و گروه های خبری و..... را جست وجو می نماید . هر کدام از موتورهای جست وجو برای تکمیل فهرست خود از روش خاصی استفاده می نمایند. بهینه سازی سایت برای موتورهای جست وجو یکی از مواردی است که امروزه مورد توجه مدیران سایت ها قرار گرفته است .موتور جستجوی وب یک سیستم نرم افزاری است که برای جستجوی اطلاعات در شبکه جهانی وب طراحی شده است. نتایج جستجو به طور کلی در یک خط از نتایج ارائه می شود که اغلب به عنوان صفحات نتایج موتورهای جستجو (SERPs) نامیده می شود. اطلاعات ممکن است ترکیبی از صفحات وب، تصاویر و انواع دیگر فایل ها باشد. همچنین برخی از موتورهای جستجو، داده های موجود در پایگاه های داده یا دایرکتوری های باز را در دسترس دارند. بر خلاف دایرکتوری های وب که تنها توسط ویراستاران انسانی نگهداری می شوند، موتورهای جستجو با استفاده از یک الگوریتم در یک پایشگر وب، اطلاعات بلادرنگ را حفظ می کنند. محتوای اینترنتی که توسط موتور جستجوی وب قابل جستجو نیست عموما به عنوان deep web توصیف می شود.
آغاز کار موتورهای جستجوی اینترنتی دسامبر سال 1990 پیش بینی شده بود. اما جستجوی کاربران از سال 1982 آغاز شد، و جستجوی سرویس اطلاعاتی  Knowbot برای اولین بار در سال 1989 اجرا شد. اولین موتور جستجو مستقل که فایل های محتوا یا به عبارتی FTP  را جستجو می کرد، Archie بود که در تاریخ 10 سپتامبر 1990 عرضه شد. قبل از سپتامبر 1993، World Wide Web به طور کامل لیست بندی شد. یک لیست از وب سرورهای ویرایش شده توسط تیم برنرز لی و میزبانی وب سرور CERN وجود داشت. یک تصویر تاریخی از لیست در سال 1992 باقی مانده است ، اما هرچه وب سرور های بیشتری  آنلاین می شدند، نگهداری لیست مرکزی دشوارتر می شد. در سایت NCSA، سرورهای جدید تحت عنوان "تازه چه خبر" منتشر شد.
حدود سال 2000، موتور جستجوی گوگل به برجسته سازی رسید. این شرکت با نوآوری به نام PageRank برای جستجو به نتایج بهتری دست یافت. این الگوریتم صفحات وب را براساس تعداد و امتیاز سایر وب سایت ها و صفحاتی که به آن لینک می دهند، رتبه بندی می کرد.

نحوه کار موتورهای جستجو چگونه است؟

موتورهای جستجو کار کردن با اینترنت را بسیار آسان کردند آنها پایگاه بزرگ اطلاعاتی هستند ، که اطلاعات خود را از قبل آماده می کنند.و این گونه نیست كه درست در همان لحظه جستجو، تمام وب را بگردند . آنها اطلاعات مورد نیاز را قبلا" جمع آوری، تجزیه و تحلیل می كنند، آنرا در پایگاه داده اش ذخیره می نماید و به هنگام جستجوی کاربر تنها در همین پایگاه داده می گردد. بخش های مجزای یك موتور جستجوگر عبارتند از:
Spider یا عنکبوت
Crawler یا خزنده
Indexer یا بایگانی کننده
Database یا پایگاه داده
Ranker یا سیستم رتبه بندی

الف Spider- (عنکبوت)

اسپایدر یا روبوت (Robot)،  اسپایدر به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینکها را دنبال می کند، اطلاعات مورد نیاز را جمع آوری می كند و آنرا در اختیار سایر بخش های موتور جستجوگر قرار می دهد. اسپایدر كدهای HTML صفحات را می بیند .
اسپایدر، به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می گذارد. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقات انجام شده در آن را داشته باشید، می توانید مشخص كنید كه اسپایدر كدام یک از موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یکی از فعالیتهای اصلی که در SEM انجام می شود تحلیل آمار همین دید و بازدیدها است.
اسپایدرها كاربردهای دیگری نیز دارند، به عنوان مثال عده ای از آنها به سایت های مختلف مراجعه می كنند و فقط به بررسی فعال بودن لینك های آنها می پردازند و یا به دنبال آدرس ایمیل (Email) می گردند.

ب- Crawler (خزنده)

كراولر، نرم افزاری است كه به عنوان یك فرمانده برای اسپایدر عمل می كند. آن مشخص می كند که اسپایدر كدام صفحات را مورد بازدید قرار دهد. در واقع کراولر تصمیم می گیرد كه كدام یك از لینك های صفحه ای كه اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضی ها را دنبال كند و یا هیچ كدام را دنبال نكند.
کراولر، ممكن است قبلا" برنامه ریزی شده باشد که آدرس های خاصی را طبق برنامه، در اختیار اسپایدر قرار دهد تا از آنها دیدن کند. دنبال كردن لینك های یک صفحه به این بستگی دارد كه موتور جستجوگر چه حجمی از اطلاعات یک سایت را می تواند (می خواهد) در پایگاه داده اش ذخیره كند. همچنین ممكن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.

ج- Indexer (بایگانی كننده)

تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار می گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به بخش های متفاوتی تقسیم می شوند. تجزیه و تحلیل بدین معنی است كه مشخص می شود اطلاعات از كدام صفحه ارسال شده است، چه حجمی دارد، كلمات موجود در آن كدامند،  و ... .
در حقیقت ایندکسر، صفحه را به پارامترهای آن خرد می کند و تمام این پارامترها را به یک مقیاس عددی تبدیل می کند تا سیستم رتبه بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند. در زمان تجزیه و تحلیل اطلاعات، ایندکسر برای كاهش حجم داده ها از بعضی كلمات كه بسیار رایج هستند صرفنظر می کند. كلماتی نظیر a ، an ، the ، www ، is و ... . از این گونه كلمات هستند.

د - DataBase (پایگاه داده)

تمام داده های تجزیه و تحلیل شده در ایندکسر، به پایگاه داده ارسال می گردد. در این بخش داده ها گروه بندی، كدگذاری و ذخیره می شود. همچنین داده ها قبل از آنكه ذخیره شوند، طبق تکنیکهای خاصی فشرده می شوند تا حجم كمی از پایگاه داده را اشغال كنند. یك موتور جستجوگر باید پایگاده داده عظیمی داشته باشد و به طور مداوم حجم محتوای آنرا گسترش دهد و البته اطلاعات قدیمی را هم به روز رسانی نماید. بزرگی و به روز بودن پایگاه داده یك موتور جستجوگر برای آن امتیاز محسوب می گردد. یكی از تفاوتهای اصلی موتورهای جستجوگر در حجم پایگاه داده آنها و همچنین روش ذخیره سازی داده ها در پایگاه داده است.

و- Ranker (سیستم رتبه بندی)

بعد از آنكه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گویی به سوالات كاربران است. كاربران چند كلمه را در جعبه جستجوی (Search Box) آن وارد می كنند و سپس با فشردن Enter منتظر پــاسخ می مانند. برای پاسخگویی به درخواست کاربر، ابتدا تمام صفحات موجود در پایگاه داده كه به موضوع جستجو شده، مرتبط هستند، مشخص می شوند. پس از آن سیستم رتبه بندی وارد عمل شده، آنها را از بیشترین ارتباط تا كمترین ارتباط مرتب می كند و به عنوان نتایج جستجو به كاربر نمایش می دهد.
حتی اگر موتور جستجوگر بهترین و كامل ترین پایگاه داده را داشته باشد اما نتواند پاسخ های مرتبطی را ارایه كند، یك موتور جستجوگر ضعیف خواهد بود. در حقیقت سیستم رتبه بندی قلب تپنده یك موتور جستجوگر است و تفاوت اصلی موتورهای جستجوگر در این بخش قرار دارد. سیستم رتبه بندی برای پاسخ گویی به سوالات كاربران، پارامترهای بسیاری را در نظر می گیرد تا بتواند بهترین پاسخ ها را در اختیار آنها قرار دارد.
حرفه ای های دنیای SEM به طور خلاصه از آن به Algo ( الگوریتم) یاد می كنند. الگوریتم، مجموعه ای از دستورالعمل ها است كه موتور جستجوگر با اعمال آنها بر پارامترهای صفحات موجود در پایگاه داده اش، تصمیم می گیرد که صفحات مرتبط را چگونه در نتایج جستجو مرتب كند. در حال حاضر قدرتمندترین سیستم رتبه بندی را گوگل در اختیار دارد.

همچنین بخوانید
در این مقاله از سایت وب24 به بررسی و معرفی بهترین افزونه‌های بهینه سازی و کاهش حجم تصاویر در وردپرس پرداخته‌ایم. پیشنهاد می‌شود که حتما این مقاله را مطالعه کنید.
نقشه سفر مشتری (Customer Journey) چیست؟ در این مقاله از وب 24 با اهمیت نقشه سفر مشتری آشنا شوید و از مراحل و نحوه ارزیابی Customer Journey آگاه شوید.
محتوای ستونی pillar content چیست؟ در این مقاله از وب 24 با مفهوم پیلار کانتنت آشنا شوید و از مزایا، کاربرد و روش اجرای محتوای خوشه‌ای آگاه شوید.
آشنایی کامل با انواع، مراحل و چگونگی طراحی یک استراتژی سئو موفق. با مطالعه این مقاله از سایت وب24 یک استراتژی بی‌نقص طراحی کنید.
دیدگاه خود را با ما در میان بگذارید
امتیاز:
captcha