متا تگ robots چیست و چگونه از آن استفاده کنیم؟

متا تگ robots یک تگ HTML است که در تگ head صفحه قرار می‌گیرد و دستورالعمل‌هایی را به ربات‌ها ارائه می‌دهد و به خزنده‌های موتورهای جستجو می‌گوید که آیا مجاز به ایندکس کردن یک صفحه هستند یا خیر. در این مقاله ابتدا می‌گوییم که Meta tag robots چیست و پس از آن به بررسی انواع متا تگ‌ها، توضیح کامل متا تگ robots و آموزش دستورات آن می‌پردازیم. پس تا انتهای این مطلب، همراه ما باشید.

متا تگ robots چیست؟

متا تگ‌ها بخش‌هایی از یک وب‌سایت هستند که به خزنده‌های موتورهای جستجو کمک می‌کنند تا موضوع وب‌سایت شما را درک کنند و صفحات آن را ایندکس کنند که به رتبه گرفتن سایت شما برای کلمات کلیدی بسیار مهم است. هدف اصلی متا تگ‌ها توصیف محتوای وب‌سایت است.

متا تگ‌های زیادی وجود دارند که برخی از آن‌ها برای موتورهای جستجو مهم هستند مانند متا تگ ربات (Meta tag robots) که به کمک این تگ می‌توانید موتورهای جستجو را برای خزش و ایندکس کردن سایت خود، هدایت کنید. متا تگ‌ها انواع مختلفی دارند که با دانستن ویژگی هرکدام می‌توانید به درستی از آن‌ها در وب‌سایت خود استفاده کنید. در ادامه به معرفی و توضیح هرکدام می‌پردازیم.

تگ‌های کنونیکال (Canonical Tags)

اگر در سایتی چند آدرس URL، یک صفحه را نمایش می‌دهند یا صفحات متفاوت با محتوای بسیار مشابه دارید، گوگل این را به عنوان محتوای کپی شده و تکراری می‌شناسد و در یکی از این صفحات نمی‌خزد؛ بنابراین این صفحه هیچ ورودی‌ای از گوگل دریافت نمی‌کند؛ زیرا این دو صفحه را به عنوان کپی یکدیگر می‌شناسد تا زمانی که مشخص کنید کدام یک ورژن اصلی است. برای مقابله با این خطا باید یک تگ کنونیکال در کدهای HTML سایت خود قرار دهید.

پیشنهاد وب24: طراحی سایت حرفه ای با کدنویسی اختصاصی

نوع محتوای متا (Meta Content Type)

این متا تگ، نوع محتوا و کارکترهایی که در سایت استفاده شده را مشخص می‌کند. به همین دلیل باید در تمام صفحات سایت استفاده شود. این متا تگ تضمین می‌کند که سایت شما و همه صفحات آن، روی تمام مرورگرها به درستی دیده شود و به هم نریزد.

تگ‌های عنوان (Title Tags)

تگ‌ عنوان، به بینندگان محتوا و موتورهای جستجو کمک می‌کنند تا بفهمند موضوع محتوای شما چیست. چیزی که در این تگ نوشته می‌شود در عنوان صفحه بالای مرورگر و پیش‌نمایش لینک صفحه در شبکه‌های اجتماعی قابل مشاهده است. در صورتی که شما این تگ را به صفحات سایت اضافه نکنید، خود گوگل این کار را انجام می‌دهد و بخشی از محتوا را در این تگ قرار می‌دهد که به رتبه سایت شما آسیب می‌زند.

متا کلمات کلیدی (Meta Keywords)

متا کلمات کلیدی، یکی از ویژگی‌های متا تگ نام (Name) است که به کد آن اضافه می‌شود و برای نشان دادن کلمات کلیدی صفحه به موتورهای جستجو به کار می‌رود. طبق اعلام گوگل در سال 2019 این دسته از متا تگ‌ها دیگر در نتایج رتبه‌بندی و الگوریتم‌های سرچ استفاده نمی‌شوند.

متا تگ دیسکریپشن (Meta Descriptions)

این متا تگ، یک کد متنی است که 160 کارکتر محدودیت دارد و در صفحه نتایج جستجو به کاربر نمایش داده می‌شود. این متا تگ، مستقیما بر رتبه‌بندی نتایج تاثیری ندارد؛ اما یک توضیح خوب می‌تواند کاربر را تشویق به کلیک روی سایت شما کند که همین عامل باعث افزایش نرخ تبدیل می‌شود که تاثیر مثبت روی سئوی سایت شما دارد.

پیشنهاد مطالعه: بهینه سازی نرخ تبدیل

متا تگ ربات (Robots Meta Tags)

متا تگ ربات، این امکان را می‌دهد که به روبات‌های موتورهای جستجو بفهمانید که یک صفحه خاص یا یک سایت را ایندکس نکند یا لینک‌هایی که در این صفحه وجود دارد را دنبال نکند. این تگ حاوی دستورات خاصی است که در ادامه معرفی می‌کنیم.

انواع دستورهای متا تگ robots

متا تگ ربات دارای مقادیر مختلفی است که توسط آن‌ها می‌توانید دستورات مختلفی به موتورهای جستجو بدهید. در ادامه به تشریح این دستورها می‌پردازیم:

دستور index در متا تگ robots

این دستور به موتورهای جستجو اعلام می‌کند که این صفحه را ایندکس کنند. البته به صورت پیش فرض، خود موتورهای جستجو این کار را می‌کنند اما اگر بخواهید فقط به یک موتور جستجوی خاص اجازه دهید صفحه را ایندکس کند باید از این دستور استفاده کنید.

دستور noindex در متا تگ robots

برعکس دستور قبل، این دستور به موتورهای جستجو اعلام می‌کند که این صفحه را ایندکس نکنند و در نتایج جستجوهای نمایش ندهند.

بیشتر بخوانید: تگ Noindex

دستور follow در متا تگ robots

این دستور به موتورهای جستجو اعلام می‌کند که لینک‌های داخل یک صفحه را دنبال کنند؛ مانند دستور Index این دستور هم به صورت پیش فرض انجام می‌شود.

دستور nofollow در متا تگ robots

دقیقا برعکس دستور قبل، این دستور به موتورهای جستجو اعلام می‌کند که لینک‌های درون یک صفحه را دنبال نکنند. البته می‌توانید این دستور را برای فقط یک لینک در صفحه هم اعلام کنید.

دستور noimageindex در متا تگ robots

به موتورهای جستجو اعلام می‌کند که تصاویری که در صفحه هستند را ایندکس نکنند؛ اما اگر این عکس در جای دیگری لینک شده باشد موتورهای جستجو می‌توانند آن را ایندکس کنند.

دستور all در متا تگ robots

این دستور معادل دو دستور index و follow است که به موتورهای جستجو اعلام می‌کند که این صفحه را هم‌زمان ایندکس و لینک‌های آن را دنبال کنند.

دستور none در متا تگ robots

این دستور معادل دو دستور noindex و nofollow است که به موتورهای جستجو اعلام می‌کند که این صفحه را ایندکس نکنند و لینک‌های موجود در آن را نیز دنبال نکنند.

دستور nosnippet در متا تگ robots

این دستور به موتورهای جستجو اعلام می‌کند که متادسکریپشن این صفحه را در نتایج جستجو نشان ندهند.

پیشنهاد مطالعه: فایل Robots.txt

معرفی خدمات وب24: طراحی سایت با وردپرس و کدنویسی

دستور unavailable_after در متا تگ robots

به موتورهای جستجوی اعلام می‌کند که بعد از یک تاریخ مشخص، دیگر این صفحه را در نتایج جستجو نمایش ندهد.

دستور noarchive در متا تگ robots

این دستور به موتورهای جستجو اعلام می‌کند که نسخه‌های ذخیره شده از این صفحه را در صفحه نتایج نشان ندهند.

دستور nocache در متا تگ robots

این دستور شبیه به دستور noarchive است که برای موتورهای جستجوی MSN و Live استفاده می‌شود.

دستور notranslate در متا تگ robots

این دستور مخصوص ربات‌های گوگل است و به آن‌ها اعلام می‌کند که هیچ ترجمه‌ای از این صفحه انجام ندهند.

دستور nositelinkssearchbox در متا تگ robots

این دستور از نمایش کادر جستجو در صفحه نتایج توسط موتورهای جستجو جلوگیری می‌کند.

دستور nopagereadaloud در متا تگ robots

این دستور از خواندن اطلاعات صفحه توسط ابزارهای صوتی جلوگیری می‌کند و همچنین باعث می‌شود این صفحه در صفحه نتایج جستجوهای صوتی نمایش داده نشود.

دستور max-snippet در متا تگ robots

با استفاده از این دستور می‌توانید حداکثر تعداد کارکترهای متادیسکریپشن را مشخص کنید.

دستور max-video-preview در متا تگ robots

این دستور حداکثر زمان یک ویدئو (به ثانیه) را برای پیش نمایش مشخص می‌کند.

دستور rating در متا تگ robots

این دستور به موتورهای جستجو اعلام می‌کند که محتوای صفحه مخصوص بزرگ‌سالان است.

دستور noydir در متا تگ robots

این دستور به موتورهای جستجو اعلام می‌کند که در اسنیپت از توضیحات صفحه دایرکتوری یاهو استفاده نکند.

دستور noodp در متا تگ robots

به سایت‌های دایرکتوری ODP گفته می‌شود که از هر سایتی اطلاعات جمع‌آوری می‌کنند و ممکن است در نتایج موتورهای جستجو ظاهر شوند مانند سایت dmoz. این دستور اعلام می‌کند که سایت‌ها OPD توضیحات سایت شما را در نتایج جستجو نشان ندهند.

کاربرد متا تگ robots چیست؟

نخستین کاری که یک وبمستر پس از طراحی سایت باید انجام دهد، معرفی سایت و صفحات آن به موتورهای جستجو است تا در نتایج جستجو نشان داده شود و بتواند ورودی دریافت کند. به کمک متا تگ robots می‌توانید به موتورهای جستجو اعلام کنید که می‌توانند یک صفحه خاص را ایندکس کنند و یا برعکس و همچنین لینک‌های درون صفحه‌ها را دنبال کنند یا خیر.

با توجه به توضیحاتی که ارائه دادیم، ممکن است این پرسش ایجاد شود که اگر هدف متا تگ robots بهبود سئوی وب‌سایت است، پس کاربرد دستورات نوفالو و نو ایندکس در این متا تگ چیست و چرا باید اعلام کنیم که صفحات خاصی را ایندکس نکند؟

در پاسخ به این سوال، باید گفت که ممکن است به هر دلیلی محتوایی را در وب‌سایت خود منتشر کنید که نمی‌خواهید هرکسی به آن دسترسی داشته باشد (البته توصیه می‌شود از ارائه این نوع محتواهای حساس و خصوصی بپرهیزید) در این موارد می‌توانید با متا تگ robots آن صفحه یا لینک‌ها را مسدود کنید تا توسط گوگل ایندکس نشوند.

گاهی هم ممکن است، برخی صفحات شما ارزش خاصی نداشته باشند و یا می‌خواهید در آینده آن‌ها را بهبود ببخشید و می‌خواهید فعلا در نتایج جستجو ظاهر نشوند. می‌توانید این صفحات را مسدود کنید تا خزنده‌های گوگل، صفحات ارزشمندتر را ایندکس کنند.

چرا Meta Tag Robots در سئو اهمیت دارد؟

اکثر متا تگ‌هایی که در سایت استفاده می‌شوند روی سئو سایت شما موثر هستند. برنامه‌نویسان و وبمسترها با استفاده از این متا تگ‌ها، دستورات مهمی را به موتورهای جستجو می‌دهند که باعث می‌شوند سئوی سایت بهبود یابد. متا تگ robots یکی از تگ‌هایی است که روی سئوی داخلی تاثیر فراوانی دارد و بهتر است به آن توجه شود.

یکی از کارهای مهمی که باید برای صفحات سایت خود انجام دهید، این است که مشخص کنید کدام یک از آن‌ها ارزش کمتری دارند و نباید توسط ربات‌های گوگل ایندکس شوند. به این ترتیب فقط صفحاتی در نتایج جستجو نمایش داده می‌شوند که ارزش بیشتری داشته و می‌توانند کاربر بیشتری جذب سایت شما کنند و همچنین Crawl Demand یا درخواست خزیدن سایت شما افزایش پیدا می‌کند.

نحوه استفاده از متا تگ robots

برای استفاده از متا تگ robots می‌توانید از طریق بخش Head سایت دستورات را وارد کنید. به این نکته توجه کنید که به صورت پیش‌فرض صفحات و لینک‌های درون آن‌ها توسط موتورهای جستجو ایندکس و فالو می‌شوند و فقط در صورتی نیاز به وارد کردن این دستورات دارید که می‌خواهید دستور نوایندکس و نوفالو را بدهید یا قبلا وارد کرده بودید و می‌خواهید به ایندکس و فالو تغییر دهید.

برای وارد کردن دستور نوفالو در متا تگ Robots کد زیر را در بخش Head صفحه قرار دهید:

<meta name="robots" content="noindex">

اگر تنها می‌خواهید که ربات‌های گوگل از ایندکس کردن این صفحه خودداری کنند می‌توانید کد بالا را به ‌صورت زیر وارد کنید:

<meta name="googlebot" content="noindex">

اگر می‌خواهید صفحه شما ایندکس نشود ولی لینک‌های آن فالو شوند دستور زیر را وارد کنید:

<meta name=”robots” content=”noindex, follow” />

اگر می‌خواهید صفحه شما ایندکس شود ولی لینک‌های آن فالو نشوند، دستور زیر را وارد کنید:

<meta name=”robots” content=”index, nofollow/” >

و اگر می‌خواهید هم دستور نوایندکس و هم نوفالو را صادر کنید کد زیر را وارد کنید:

<meta name=”robots” content=”noindex, nofollow” />

در سایت‌های وردپرسی نیز می‌توانید با افزونه yoast seo به راحتی این دستورها را وارد کنید. کافی است هنگام اضافه کردن پست، به قسمت پایین صفحه بروید و از قسمت تنظیمات، تغییرات مدنظر خود را اعمال کنید.

البته این بخش فقط برای یکی از صفحات است. اگر می‌خواهید تنظیمات کلی متا تگ robots را تغییر دهید به قسمت عنوان‌ها و متاها بروید و در بخش‌های طبقه‌بندی، بایگانی‌ها و... می‌توانید تنظیمات روبات متا را روی حالت index یا noindex تنظیم کنید.

X-Robots-Tag چیست؟

یک روش جایگزین برای کنترل چگونگی خزیدن و وضعیت ایندکس صفحات وب سایت شما در موتورهای جستجو، استفاده از برچسب x-robots به‌جای برچسب‌های ربات‌های متا است. درحالی‌که استفاده از برچسب‌های ربات‌های متا در صفحات HTML نسبتاً ساده است، برچسب x-robots کمی پیچیده‌تر هستند. اگر می‌خواهید نحوه مدیریت محتوای غیر HTML، به‌عنوان‌مثال PDF را کنترل کنید، باید از برچسب x-robots استفاده کنید. این‌یک پاسخ هدر HTTP است که می‌تواند به‌جای یک برچسب HTML و هر دستورالعملی به‌عنوان یک برچسب ربات متا استفاده شود همچنین می‌تواند به‌عنوان یک برچسب x-robots استفاده شود. برای استفاده از برچسب x-robots، باید بتوانید به header .php, .htaccess یا فایل تنظیمات سرور وب‌سایت خود دسترسی پیدا کنید.

x-robots-tag: noindex, nofollow

از برچسب x-robots استفاده کنید زمانی که:

• زمانی که می‌خواهید نحوه خزیدن و فهرست بندی انواع فایل‌های غیر HTML توسط موتورهای جستجو را کنترل کنید
• زمانی که باید دستورالعمل‌ها را روی کل سایت و نه در هر صفحه تنظیم کنید

جمع‌ بندی

متا تگ‌ها، کدهایی هستند که به درک بهتر محتوای سایت شما توسط موتورهای جستجو کمک می‌کنند. در این مطلب به بررسی متا تگ‌های مختلف مخصوصا متا تگ robots پرداختیم که یکی از متا تگ‌های مهم برای سئوی سایت محسوب می‌شود. با استفاده از این متا تگ می‌توانید به ربات‌های گوگل بفهمانید که کدام صفحات را ایندکس کنند یا نکنند و لینک‌های موجود در کدام صفحات را دنبال کنند و برعکس. گاهی اتفاق می‌افتد که به اشتباه تگ noindex به یک صفحه یا کل سایت اضافه می‌شود و ضربه سنگینی به سئوی سایت وارد می‌شود؛ بنابراین درک درست این متا تگ و استفاده از آن بسیار مهم است.