فایل robots.txt چیست و چه کاربردی در سئو دارد؟
بعد از اینکه سایتتان را ساختید، باید به رباتهای گوگل و دیگر موتورهای جستجو اعلام کنید کدام صفحات سایتتان را کرال (crawl) کنند و کدام را نکنند. برای این منظور فایل robots.txt را میسازیم. از آنجا که این فایل راهنمای...