کابوس برزخ ایندکس: چرا مطالب جدید در گوگل دیده نمیشوند؟
برای خیلی از مدیران وبسایتها و کارشناسان سئو این سناریو آشناست: ساعتها برای نوشتن یک مقاله فوقالعاده، محصول جدید یا صفحه لندینگ وقت گذاشتهاید، آدرس آن را با ذوق در گوگل ثبت کردهاید، اما بعد از دو هفته هنوز اثری از آن در نتایج جستجو نیست. بدتر از آن، وقتی به سرچ کنسول سر میزنید، با پیامهای گنگی مثل Discovered - currently not indexed روبرو میشوید.
واقعیت این است که موتورهای جستجو با هیچ سایتی خصومت شخصی ندارند؛ ایندکس نشدن همیشه یک یا چند علت فنی، ساختاری یا اعتباری دارد. در این راهنما به زبان کاملاً خودمانی و تجربی بررسی میکنیم که مشکل دقیقاً از کجاست و چطور باید آن را برطرف کنید.
رمزگشایی از دو پیام کلیدی در سرچ کنسول
گوگل در بخش Pages سرچ کنسول معمولاً صفحات معلق را به دو گروه تقسیم میکند:
۱. وضعیت Discovered - currently not indexed
این یعنی گوگل آدرس صفحه شما را پیدا کرده (مثلاً از طریق نقشه سایت یا لینکی در یک صفحه دیگر)، اما هنوز حتی زحمت خزش و خواندن محتوا را به خود نداده است! علت این موضوع معمولاً:
- کمبود بودجه خزش (Crawl Budget) به دلیل کندی یا خطاهای سرور
- اعتبار پایین دامنه در نگاه گوگل
- اضافه شدن ناگهانی صدها آدرس بیکیفیت به سایت است.
۲. وضعیت Crawled - currently not indexed
این هشدار نگرانکنندهتر است؛ یعنی ربات گوگل صفحه را کامل باز کرده، کدها را خوانده، اما تصمیم گرفته آن را در پایگاه داده اصلی خود ذخیره نکند! این موضوع ۹۰ درصد مواقع نشاندهنده:
- محتوای کمارزش، کپی یا به اصطلاح Thin Content
- تشابه بیش از حد به صفحات دیگر همین سایت (مشکل همنوعخواری یا Cannibalization)
- ساختار فنی ضعیف و عدم دریافت سیگنال رضایت کاربر است.
۳ مانع فنی پنهان که جلوی ایندکس را میگیرند
گاهی محتوای شما عالی است، اما کدهای سایت به خزندهها دستور عقبنشینی میدهند:
۱. تگهای مخفی noindex و هدر X-Robots-Tag
خیلی از وبمسترها فقط سورس HTML صفحه را برای پیدا کردن چک میکنند؛ در حالی که سرور میتواند مستقیماً در هدرهای پاسخ شبکه (HTTP Response Headers) عبارت X-Robots-Tag: noindex را ارسال کند. این مشکل در افزونههای کش وردپرس و سایتهای اختصاصی زیاد رخ میدهد.
۲. اشتباه در تگ Canonical
اگر صفحه A به صفحه B کانونیکال شده باشد، گوگل صفحه A را ایندکس نمیکند و تمام اعتبار را به صفحه B میفرستد. اگر افزونه سئوی شما به اشتباه آدرس تمام مقالات را به صفحه اصلی یا صفحه دستهبندی کانونیکال کند، مقالات هرگز ایندکس نخواهند شد.
۳. مسدودسازی در فایل robots.txt
اگر در فایل robots.txt شاخهای از سایت را Disallow کرده باشید، خزندهها اجازه ورود به صفحه را ندارند. جالب است بدانید اگر ربات نتواند صفحه را بخواند، ممکن است فقط عنوان خام و آدرس آن را بدون توضیحات ثبت کند یا کلاً آن را نادیده بگیرد.
راهنمای گامبهگام برای نجات صفحات از برزخ
برای اینکه صفحات معلق را با موفقیت وارد ایندکس گوگل کنید، این ۴ اقدام را به ترتیب انجام دهید:
- سلامت فنی صفحه را بسنجید: با استفاده از ابزار آنالیز رایگان سئو مطمئن شوید که پاسخ سرور ۲۰۰ است، تگ کانونیکال خود-ارجاع (Self-referencing) تنظیم شده و هیچ هدر noindex وجود ندارد.
- لینکسازی داخلی هوشمند ایجاد کنید: صفحه معلق را بدون لینک در سایت رها نکنید. به ۳ تا از محبوبترین و پربازدیدترین مقالات یا صفحات سایت خود بروید و با متنی معنادار (Anchor Text جذاب) به این صفحه جدید لینک بدهید. این کار مثل تزریق خون تازه به صفحه عمل میکند.
- محتوا را عمیقتر و متمایز کنید: یک پاراگراف پاسخ مستقیم، یک مثال بومی و کاربردی و یک تصویر اختصاصی به صفحه اضافه کنید تا ارزش خزش مجدد برای گوگل ایجاد شود.
- درخواست بازبینی (Request Indexing) ثبت کنید: در ابزار URL Inspection سرچ کنسول، دکمه Test Live URL را بزنید و سپس Request Indexing کنید.
نکته کلیدی: اگر دامنهتان تازهتاسیس است، صبور باشید. گوگل برای سایتهای جدید با احتیاط منابع خزش اختصاص میدهد؛ حفظ ریتم انتشار منظم و رفع خطاهای تکنیکال این زمان را به حداقل میرساند.