در این مطلب با نحوه عملکرد فایل robots.txt، نحوه ساخت، بهینه‌سازی و معرفی آن به گوگل آشنا خواهید شد. برای اینکه در مورد نحوه خزش و کرال کردن سایتمان به موتورهای جستجو و گوگل کمک کنیم، فایلی به نام robots.txt می‌سازیم که در این فایل متنی به کمک دستورات مختلف به کرالرها می‌گوییم که کدام صفحات را خزش کرده یا نکنند.
