فایل robots.txt چیست و چه کاربردی در سئو دارد؟
بعد از اینکه سایتتان را ساختید، باید به ربات‌های گوگل و دیگر موتورهای جستجو اعلام کنید کدام صفحات سایتتان را کرال (crawl) کنند و کدام را نکنند. برای این منظور فایل robots.txt را می‌سازیم. از آنجا که این فایل راهنمای ربات‌های موتورهای جستجوست، از نظر سئو نیز تأثیر بسیار زیادی بر نحوه ایندکس شدن سایت …