فایل robots.txt: تابلوی ورود ممنوع هوشمند سایت شما
فایل robots.txt شاید سادهترین فایل متنی روی سرور شما باشد، اما بیشترین قدرت را در نابود کردن یا شکوفا ساختن سئوی سایت دارد. بارها دیدهایم که یک توسعهدهنده بعد از بالا آوردن سایت از محیط تست به پروداکشن، فراموش کرده عبارت Disallow: / را پاک کند و ظرف چند روز ورودی ارگانیک سایت به صفر رسیده است!
در این راهنما یاد میگیرید که فایل robots.txt طبق استاندارد بینالمللی RFC 9309 چگونه کار میکند، چه چیزهایی را نباید در آن ببندید و چطور آن را بدون ریسک تست کنید.
قانون طلایی اول: robots.txt برای جلوگیری از ایندکس نیست!
یکی از بزرگترین سوءتفاهمها در سئو این است که فکر میکنند با نوشتن Disallow جلوی ایندکس صفحه را میگیرند. این تصور کاملاً غلط است!
- کار robots.txt: دستور دادن به خزندهها که آیا اجازه دارند وارد یک صفحه شوند و پهنای باند سرور را مصرف کنند یا نه (مدیریت خزش).
- اگر صفحهای Disallow باشد چه میشود؟ ربات وارد صفحه نمیشود؛ اما اگر از سایتهای دیگر به آن آدرس لینک داده شده باشد، گوگل آن را ایندکس میکند! منتها با یک عنوان خام و این پیام در سرچ: "اطلاعاتی برای این صفحه وجود ندارد زیرا robots.txt آن را مسدود کرده است".
- راهحل جلوگیری از ایندکس: اگر میخواهید صفحهای کلاً در سرچ نباشد، نباید آن را در robots.txt ببندید! بلکه باید اجازه دهید ربات وارد شود و تگ
را بخواند.
۴ اشتباه مرگبار که سئوی سایت را تهدید میکند
۱. مسدود کردن فایلهای CSS و جاوااسکریپت
سالها پیش وبمسترها پوشه /wp-content/ یا فولدرهای اسکریپت را میبستند. امروز گوگل مثل یک مرورگر کامل صفحه را رندر میکند. اگر خزندهها نتوانند استایلها و فایلهای js را بخوانند، صفحه را به هم ریخته تشخیص میدهند و رتبه موبایلفرندلی سایت سقوط میکند.
۲. قانون طولانیترین تطابق (Longest-Match Precedence)
طبق استاندارد RFC 9309، اگر دو دستور متناقض وجود داشته باشد، دستوری که کاراکترهای دقیقتر و طولانیتری دارد برنده است. مثلاً:
User-agent: *
Disallow: /blog/
Allow: /blog/seo-guideدر این حالت، ربات کل مقالات وبلاگ را میبندد به جز صفحه seo-guide چون دستور Allow طولانیتر است.
۳. پاسخ خطای ۵۰۰ در هاست برای robots.txt
اگر هاست شما دچار اختلال شود و برای درخواست فایل robots.txt کد ۵۰۰ (Server Error) برگرداند، گوگل فرض میکند مشکلی اضطراری در دسترسیها رخ داده و خزش کل وبسایت را تا برطرف شدن خطا به حالت تعلیق درمیآورد!
۴. بستن کاراکترهای علامت سوال یا پارامترهای مهم
اگر بدون احتیاط بنویسید Disallow: /? ممکن است پارامترهای سرچ داخلی و فیلترها را ببندید که خوب است، اما همزمان پارامترهای یوتیام یا ردیابی کمپینهای ضروری را هم از کار بیندازید.
نمونه یک فایل robots.txt استاندارد و امن
برای اغلب سایتهای وردپرسی و فروشگاهی، این ساختار ساده و بیخطر است:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Sitemap: https://yourdomain.com/sitemap.xmlتوصیه تخصصی: همیشه قبل از ذخیره تغییرات روی سرور اصلی، فایل خود را با ابزار بررسی و تست robots.txt ما ارزیابی کنید تا مطمئن شوید هیچ قانون حیاتی به اشتباه مسدود نشده باشد.