همه ما به اهمیت ایندکس شدن صفحات سایت در گوگل واقف هستیم. بدون ایندکس شدن صفحات سایت رتبه ای هم به صفحات داده نمی شود. نکته ای که در ایندکس شدن صفحات وجود دارد این است که اگر صفحات ایندکس شده سایت زیاد باشند ولی صفحاتی که رتبه بالا در گوگل دارند کم باشند اعتبار دامنه افت می کند. هر چه اعتبار دامنه کمتر شود. رتبه گرفتن برای سایت سخت تر خواهد شد.
این موارد باعث شده است که سایت ها بفکر راهکاری برای جلوگیری از ایندکس شدن صفحاتی از سایت باشند. برای این منظور متا تگ Robots ایجاد شد. کار این متا تگ این است که با رسیدن ربات جستجو به آن ربات با دیدن این متا تگ بصورت کلی صفحه را نادیده گرفته و بصراغ صفحات دیگر میرود.
متا تگ Robots در صفحاتی مانند صفحه جستجو سایت مهم هستند زیرا این صفحات برای کاربران خود سایت بسیار حائز اهمیت هستند و پل ارتباطی بین صفحات سایت محسوب میشوند. اما برای کاربری که از گوگل به سایت منتقل میشود این صفحه فاقد اهمیت است. کاربر مسلما نمی خواهد از گوگل به صفحه جستجوی دیگری منتقل شود. با جلوگیری از ایندکس شدن این صفحه مانع از ورود کاربران از گوگل به آن شده ولی کاربران خود سایت به این صفحه دسترسی دارند.
