فایل robots.txt چیست و چه کاربردی در سئو دارد؟

بعد از اینکه سایتتان را ساختید، باید به ربات‌های گوگل و دیگر موتورهای جستجو اعلام کنید کدام صفحات سایتتان را کرال (crawl) کنند و کدام را نکنند. برای این منظور فایل robots.txt را می‌سازیم. از آنجا که این فایل راهنمای ربات‌های موتورهای جستجوست، از نظر سئو نیز تأثیر بسیار زیادی بر نحوه ایندکس شدن سایت خواهد گذاشت. در این مطلب با نحوه عملکرد فایل robots.txt، نحوه ساخت، بهینه‌سازی و معرفی آن به گوگل آشنا خواهید شد. با هاست سرور ایران تا انتهای مقاله همراه باشید.

فایل robots.txt چیست؟

تنها افراد عادی نیستند که به سایت شما سر می‌زنند؛ بلکه ربات‌های گوگل نیز در دوره‌های زمانی مختلف از سایت شما بازدید می‌کنند و به این کار Crawl گفته می‌شود. بازدید ربات‌های گوگل از سایت شما به دلیل یافتن صفحات جدید یا ایندکس کردن صفحات سایت انجام می‌شود.

فایل robots.txt یک فایل متنی است که نحوه کراول کردن ربات‌ها و ایندکس کردن صفحات در سایت را مشخص می‌کند؛ یعنی به طور کلی، به ربات‌های گوگل برای سر زدن و گردش در سایت راهنمایی می‌رساند.

فایل robots.txt از پروتکل REF یا Robots Exclusion Protocol تشکیل می‌شود که لینک‌های فالو و نوفالو هم جزء همین پروتکل هستند. این فایل توسط وب‌مسترها برای ربات‌های گوگل ساخته می‌شوند تا از طریق آن به ربات‌ها دستور دهند کدام صفحات سایت را کراول یا ایندکس کنند و کدام صفحات را خیر؛ بنابراین اگر به‌عنوان یک متخصص سئو، وب‌مستر یا مدیر سایت فعالیت می‌کنید، در ادامه این مقاله جزئیات بیشتری درباره نحوه استفاده از این فایل را در اختیار شما می‌گذاریم.

دستورات قابل پشتیبانی در فایل robots.txt

به طور کلی پنج دستور مهم در فایل robots.txt وجود دارد که در ادامه با آن‌ها آشنا خواهید شد:

دستور user-agent

دستور user-agent به تنهایی نمی‌تواند یک دستور کامل باشد، بلکه باید در کنار یکی از سه دستور بعدی استفاده شود. این دستور نوع رباتی که باید از دستورات بعدی اطاعت کند را مشخص می‌کند.
برای مثال اگر قصد داشته باشید برای ربات‌های گوگل دستوری صادر کنید، نام ربات‌های گوگل (googlebot) را می‌نویسید. هم‌چنین اگر دستور برای تمام ربات‌هاست باید در مقابل user-agent: از علامت ستاره (*) استفاده شود.

دستور disallow

بعد از اینکه ربات‌های موردنظر مشخص شدند، وقت آن است تا برایشان دستور صادر شود. دستور disallow به معنی «اجازه ندادن» است. بنابراین طبعاً باید صفحاتی را که ربات مذکور نباید کرول کند (بخزد) را در مقابل آن نوشت. توجه داشته باشید که روت دامین نباید نوشته شود و فقط بعد از اسلش را بنویسید.  نکته دیگر این‌که، چنانچه قصد دارید چندین صفحه را disallow کنید، باید چند دستور disallow بنویسید. به مثال زیر توجه کنید:
User-agent: *
Disallow: /products/content/
Disallow: /local/enterprise/confirm
Disallow: /researchtools/ose/
Disallow: /page-strength/*
Disallow: /thumbs/*

دستور allow

دستور allow به معنی اجازه دادن است و همان طور که حدس می‌زنید به ربات‌های مشخص‌شده اجازه می‌دهد صفحاتی را که در مقابل این دستور نوشته می‌شوند بخزند.
البته نوشتن این دستور ضرورتی ندارد؛ چراکه ربات‌ها به صورت پیش‌فرض تمام صفحات سایت را می‌خزند. با این حال برخی وبمستران برای تأکید بر برخی صفحات سایتشان، از دستور allow استفاده می‌کنند. نحوه استفاده از دستور allow نیز دقیقاً مانند دستور disallow است.

دستور crawl-delay

این دستور می‌تواند بر سرعت لود صفحات سایتتان اثر بگذارد. به این ترتیب سرعت سایت به دلیل ورود تعداد زیاد خزنده‌ها کاهش پیدا نمی‌کند. شما می‌توانید عددی را در مقابل این دستور تایپ کنید. این عدد نشان می‌دهد که ربات‌های تعیین شده باید به آن مقدار ثانیه صبر کرده و سپس سایت را بخزند. البته توجه داشته باشید که این دستور برای ربات‌های گوگل اثر ندارد.

دستور sitemap

در مقابل این دستور باید آدرس سایت مپ را وارد کنید. این دستور نیازی به دستور user-agent ندارد.

اهمیت استفاده از فایل robots.txt

شما می‌توانید با استفاده درست از فایل robots.txt، نحوه عملکرد سایت خودتان را بهبود ببخشید و این فایل می‌تواند برای شما بسیار مفید باشد. در این بخش به بررسی نکاتی می‌پردازیم که اهمیت استفاده از فایل robots.txt را برای شما شفاف می‌کنند.

— جلوگیری از کنیبالیزیشن

گاهی اوقات پیش می‌آید که دو صفحه از سایت شما در صفحه نتایج گوگل رتبه می‌گیرند و در این صورت کاربر دو صفحه یکسان از وب‌سایت شما را مشاهده می‌کند؛ به این اتفاق کنیبالیزیشن می‌گویند که به هیچ وجه برای ترافیک سایت شما مفید نیست.

زمانی که این اتفاق رخ می‌دهد، شما می‌توانید با استفاده از فایل robots.txt، صفحات تکراری در سایت‌تان را مشخص کنید و دستور ایندکس‌ نشدنِ آن‌ها را بدهید.

— جلوگیری از ایندکس شدن فایل‌های خاص در سایت شما

اگر شما در سایت‌تان فایلی دارید که نمی‌خواهید در نتایج جستجو در گوگل نشان داده شوند (PDF، عکس و ویدیو)، می‌توانید به راحتی با دستور ایندکس نشدن از طریق فایل robots.txt، از نمایش آن‌ها در گوگل جلوگیری کنید. این قابلیت می‌تواند برای سایت‌هایی که فایل‌ و دوره‌های آموزشی می‌فروشند، بسیار مفید باشد.

— جلوگیری از نمایش برخی از محتواهای سایت شما

برخی از محتواها در سایت شما وجود دارند که دوست ندارید تا در نتایج جستجوی گوگل به نمایش گذاشته شوند (درباره ما و تماس با ما). در این صورت می‌توانید از طریق فایل robots.txt دستور ایندکس نشدنِ آن‌ها را بدهید و از این کار جلوگیری کنید.

— مدیریت ترافیک ربات‌ها

اگر شما هیچ معیار مشخصی برای بازدید ربات‌ها از صفحات سایت‌تان نداشته باشید، تعداد ربات‌هایی که برای کراول کردن به سایت شما سر می‌زنند، در مقایسه با وقتی که این معیار را دارید بیشتر است.

برخی از سرویس‌های میزبانی؛ دارای محدودیت هستند و ممکن است به دلیلِ این موضوع بعضی از سایت‌ها به مشکل بر بخوردند. شما می‌توانید با استفاده از فایل robots.txt، ترافیک ربات‌های گوگل را مدیریت کنید و مانع بروز اختلال در سرورِ میزبانی سایت‌تان شوید.

یک فایل Robots.txt باید حاوی چه چیزی باشد؟

معمولاً در این فایل، چنانچه سایت وردپرسی باشد، صفحات /wp-admin/ و /readme.html/ که حاوی اطلاعات نسخه وردپرس شماست و هم‌چنین صفحه افزونه‌ها /plugins/ باید disallow شوند. هم‌چنین آدرس sitemap را در این فایل تعریف می‌کنند تا خزنده‌های گوگل جایگاه صفحات مختلف سایت را پیدا کنند. موارد گفته‌شده از ضروریات ساخت یک فایل robots است؛ اما شما می‌توانید بنا بر نیاز خود هر فایلی که تمایل دارید را disallow کرده و یا برای تأکید فایل‌های ضروری را allow نمایید.

چرا باید از فایل robots.txt برای سایت خود استفاده کنیم؟

این فایل در برخی موارد می‌تواند خیلی به کار شما بیاید. برای مثال:
1- در مواقعی که محتوای تکراری روی سایت داشته باشید، یکی از صفحات را disallow کنید.
2- بخشی از سایت را در دسترس عموم قرار ندهید. برای مثال صفحه عقد قراردادها.
3- مکان نقشه سایت را برای ربات‌های گوگل با دستور allow مشخص کنید.
4- اجازه ندهید ربات‌ها برخی فایل‌های روی سایتتان (مانند فایل‌های PDF یا تصاویر) را ایندکس کرده و در فهرست نتایج نمایش دهند.
5- برای ربات‌ها یک زمان تأخیر در خزیدن تعریف کنید تا وقتی سایت شلوغ می‌شود، سرعت پایین نیاید.

فایل robots.txt چگونه کار می‌کند؟

ربات‌ها لینک‌ها را دنبال می‌کنند. پس اگر از یک سایت به سایت دیگری لینک داده شود، ربات‌ها آن لینک را دنبال کرده و به سایت دیگر راه پیدا می‌کنند. اما پیش از اینکه سایت جدید را بخزند به فایل robots.txt نگاه می‌کنند. اگر این فایل وجود داشته باشد از اطلاعات آن پیروی می‌کنند و اگر وجود نداشته باشد، تمام صفحات سایت را می‌خزند.

چک کردن وجود فایل robots.txt برای یک سایت

برای اینکه فایل robots.txt یک سایت را ببینید کافی است در انتهای ریشه دامین اصلی سایت یک اسلش گذاشته و عبارت robots.txt را تایپ کنید. مانند مثال زیر:
Example.com/robots.txt
به این ترتیب، محتویات فایل robots.txt آن سایت را مشاهده خواهید کرد.
چنانچه سایت دارای فایل robots.txt نباشد، با تایپ کردن آدرس ذکرشده در آدرس بار، با خطای 404 مواجه خواهید شد.

ساخت فایل robots.txt

1- برای ساخت فایل robots.txt به صفحه اصلی‌هاست خود در سی پنل یا دایرکت ادمین بروید.
2- سپس بر روی file manager کلیک کنید.
3- وارد پوشه public_html شوید.
4- در این پوشه یک فایل جدید ایجاد کنید به نام robots.txt.
5- بر روی فایلی که ایجاد کرده‌اید دو بار کلیک نمایید تا در کامپیوترتان ذخیره شود. سپس آن را با برنامه notepad باز کنید و دستورات لازم را در آن وارد کرده و تغییرات را ذخیره کنید.
6- فایل را مجدداً در هاست خود جایگزین فایل قبلی نمایید.
در تمام مراحل توجه داشته باشید که فایل robots.txt نسبت به کوچکی و بزرگی حروف حساس است. نام خود فایل باید با حروف کوچک نوشته شود. در نوشتن دستورات نیز به کوچکی یا بزرگی نام فایل‌ها توجه کنید.

بهینه‌سازی فایل robots.txt برای سئو

از نظر سئو چند مورد در مورد فایل robots.txt وجود دارد که باید به آن‌ها توجه شود:
–    فایل‌هایی که در دستور disallow قرار می‌گیرند، به طور کلی خزیده نمی‌شوند. به این معنا که حتی لینک‌های داخل این فایل‌ها نیز تبدیل به نوفالو می‌شوند. بنابراین اگر قصد دارید لینک‌های داخل صفحه فالو باشند از روش دیگری به جای disallow استفاده کنید.
–    استفاده از دستور disallow برای عدم نمایش اطلاعاتی مانند اطلاعات خصوصی کاربران بی‌فایده است؛ چراکه ممکن است شما از صفحات دیگر سایت به این صفحه لینک داده باشید و در نتیجه خزنده‌ها یا ربات‌ها از طریق آن لینک‌ها به صفحه مذکور رسیده و آن را ایندکس نمایند.
–    معمولاً اطلاعات فایل robots.txt در موتورهای جستجو برای یک روز در کش ذخیره می‌شود؛ لذا اگر محتوای این فایل را تغییر دادید و قصد دارید موتورهای جستجو زودتر از این تغییرات مطلع شوند، لازم است فایل را مجدداً در کنسول گوگل قرار دهید.