ایندکس گوگل چیست: چرا صفحه ایندکس نمی‌شود
ایندکس گوگل چیست و چرا صفحه ایندکس نمی‌شود: تفاوت کشف، خزش و ایندکس‌شدن، و معنای وضعیت‌هایی که Search Console به کار می‌برد.
نوشته Roozbeh Nazari · CEO
پرسش ایندکس گوگل چیست معمولا وسط یک مشکل پرسیده می‌شود: صفحه منتشر شده، لینک کار می‌کند، اما در گوگل دیده نمی‌شود. در این نقطه بیشتر تیم‌ها مستقیم سراغ یافتن راه‌حل می‌روند و جای نادرست را درست می‌کنند. حال آنکه پاسخ پرسش ایندکس گوگل چیست همان چیزی است که به شما امکان می‌دهد مرحله‌ای را که مشکل در آن ایستاده نام‌گذاری کنید؛ و مشکلی که نامش گذاشته نشده اصلاح نمی‌شود. این مقاله یک جریان تشخیص نیست بلکه تمرینی در واژگان است: ایندکس چیست، کدام وضعیت‌ها با هم فرق دارند، و زبانی که Search Console به کار می‌برد واقعا چه معنایی دارد.
ایندکس گوگل چیست: یک سابقه، نه یک کپی
ایندکس یک پایگاه دادهٔ بزرگ است که گوگل اطلاعات استخراج‌شده از صفحه‌هایی را که می‌خزد در آن نگه می‌دارد. اینجا یک بدفهمی مهم هست: ایندکس نسخهٔ پشتیبان سایت شما یا کپی مو‌به‌موی آن نیست. صفحه خزیده می‌شود، محتوایش تحلیل می‌شود و نتیجهٔ این تحلیل ذخیره می‌شود. وقتی کاربری جستجو می‌کند، گوگل در همین سابقه می‌گردد نه در وب. بنابراین جملهٔ «صفحه‌ام منتشر شده» و جملهٔ «صفحه‌ام در ایندکس است» مستقل از هم‌اند؛ اولی به سرور شما مربوط است و دومی به سابقهٔ گوگل.
نتیجهٔ عملی این است: اینکه بتوانید صفحه‌ای را در مرورگر باز کنید نشان نمی‌دهد که در جستجو پیدا می‌شود. به همین ترتیب، برداشتن یک صفحه از سایت هم سابقهٔ آن را در ایندکس بی‌درنگ پاک نمی‌کند. میان سایت شما و نتایج جستجو همیشه تاخیر و واسطه‌ای هست. کل این زنجیره را پیش‌تر در مقالهٔ موتور جستجو چیست بررسی کردیم.
کشف‌شده، خزیده‌شده، ایندکس‌شده: سه وضعیت جدا
دانستن اینکه یک URL از نگاه گوگل می‌تواند در سه وضعیت متفاوت باشد، نیمی از مشکل‌ها را از همان آغاز کنار می‌گذارد. URL کشف‌شده نشانی‌ای است که گوگل از وجودش خبر دارد اما هنوز آن را دانلود نکرده؛ معمولا از راه یک لینک یا نقشهٔ سایت آن را شناخته است. URL خزیده‌شده دانلود شده و محتوایش دیده شده است. اما URL ایندکس‌شده تحلیل و ذخیره شده و نامزد نمایش در نتایج جستجوست.
این سه وضعیت پشت‌سرهم‌اند و هر گذار میانشان تصمیمی جداگانه است. گوگل ناچار نیست هر صفحه‌ای را که می‌خزد ایندکس کند؛ در مستندات خود به‌روشنی می‌گوید که خزش، ایندکس‌شدن یا نمایش یک صفحه را تضمین نمی‌کند، حتی اگر قواعد را رعایت کرده باشد. به همین دلیل پاسخ «چرا ایندکس نمی‌شود» معمولا یک خرابی فنی نیست بلکه نتیجهٔ یک ارزیابی است.
باید افزود که برنامه‌های خزنده هم یک‌نوع نیستند. مستندات گوگل خزنده‌های مشترک، خزنده‌های موارد خاص و ابزارهای واکشی را که با درخواست کاربر کار می‌کنند جداگانه تعریف می‌کند. این تفکیک هنگام خواندن گزارش‌های سرور برای فهمیدن معنای یک درخواست به کار می‌آید: یک درخواست بازرسی دستی و خزش منظم یک چیز نیستند.
وضعیت خارج‌شدن از ایندکس هم هست. صفحه‌ای که پیش‌تر ایندکس شده ممکن است وقتی محتوایش تغییر کند، وقتی مدتی طولانی در دسترس نباشد، یا وقتی دیگر نمایندهٔ محتوا انتخاب نشود، از سابقه بیفتد. پس وضعیت ایندکس نشانی نیست که یک بار گرفته شود و بماند، بلکه حالتی است که با زمان تغییر می‌کند؛ و فرض اینکه صفحه‌ای که سه ماه پیش بررسی شده امروز هم در ایندکس است نادرست است.
چرا صفحه ایندکس نمی‌شود: زبان وضعیت‌ها
گزارش ایندکس صفحه‌ها در Search Console برای هر URL یک وضعیت می‌دهد و این وضعیت‌ها عبارت‌هایی تصادفی نیستند؛ هرکدام به دلیلی متفاوت و صاحبی متفاوت اشاره می‌کنند. نگاه به چند نمونه منطق این زبان را نشان می‌دهد.
وضعیت «خزیده‌شده - در حال حاضر ایندکس نشده» می‌گوید گوگل صفحه را دیده اما انتخاب کرده که ذخیره‌اش نکند. اینجا مانع فنی وجود ندارد؛ این نتیجهٔ یک ارزیابی است و درمانش تبدیل خود صفحه به پاسخی بهتر است. در مقابل، وضعیت «کشف‌شده - در حال حاضر ایندکس نشده» می‌گوید صفحه هنوز دانلود نشده؛ و این بیشتر به اولویت خزش و ساختار سایت مربوط است.
اما دو وضعیت «با برچسب noindex کنار گذاشته شده» و «مسدودشده توسط robots.txt» دستورهایی عمدی‌اند و بیشتر وقت‌ها مشکل نیستند. به‌جای وحشت و برداشتنشان، پرسشی که باید پرسید این است: این دستور را چه کسی، چه زمانی و چرا گذاشته است؟ برچسب noindex که سهوا جا مانده و صفحهٔ تشکری که عمدا بیرون ایندکس نگه داشته شده، در همان گزارش با همان عبارت دیده می‌شوند.
دستهٔ دیگری به canonical مربوط است: صفحهٔ جایگزین با تگ canonical درست، تکراری بدون canonical انتخاب‌شده توسط کاربر، یا انتخاب canonical متفاوت از سوی گوگل نسبت به آنچه کاربر برگزیده است. این وضعیت‌ها از خرابی خبر نمی‌دهند؛ بلکه می‌گویند همان محتوا روی بیش از یک نشانی هست و گوگل کدام را نماینده می‌شمارد. مشکل وقتی پدید می‌آید که نماینده‌ای که گوگل برگزیده همانی نباشد که شما می‌خواستید. ترتیب تشخیص و اصلاح این موارد را در مقالهٔ مشکلات ایندکس و اینکه گزارش کدام تصمیم را تغذیه می‌کند در راهنمای Search Console آوردیم.
بودن در ایندکس یعنی دیده‌شدن نیست
این دومین سردرگمی رایج است. بودن یک صفحه در ایندکس به این معنا نیست که در هر پرس‌وجویی در رتبه‌های بالا ظاهر می‌شود. صفحه‌ای که در ایندکس است و برای هیچ پرس‌وجویی به‌اندازهٔ کافی مرتبط شناخته نشود ممکن است تقریبا هیچ نمایشی نگیرد. پس پیش از تشخیص «ما مشکل ایندکس داریم»، به گزارش عملکرد نگاه کنید: اگر صفحه نمایش می‌گیرد در ایندکس است و مشکل در ارتباط یا نرخ کلیک است نه در ایندکس‌شدن.
عکسش هم درست است: برای صفحه‌ای که نمایش نمی‌گیرد، بررسی اینکه آیا در ایندکس هست سریع‌تر از شروع کار روی محتواست. یک بازرسی URL دو دقیقه‌ای می‌تواند دو هفته کار محتوایی را بی‌مورد کند. این ترتیب ارزش دارد که درون تیم به یک قاعده تبدیل شود: وقتی شکایتی دربارهٔ دیده‌شدن می‌رسد، نخست وضعیت بررسی می‌شود و سپس دربارهٔ محتوا بحث می‌شود.
حجم هم وارد این تصویر می‌شود. در سایت‌های بزرگ انتظار خزش همهٔ صفحه‌ها با یک آهنگ واقع‌بینانه نیست؛ خزش اولویتی دارد که از ساختار سایت، لینک‌های داخلی و بسامد به‌روزرسانی صفحه‌ها اثر می‌گیرد. در سایتی با هزاران صفحه، بیرون‌بودن چند صفحه از ایندکس به‌خودی‌خود نشانهٔ خرابی نیست؛ مهم نسبت است و اینکه کدام صفحه‌ها بیرون مانده‌اند.
چه چیزی را کنترل می‌کنید و چه چیزی را نه
سودمندترین نتیجهٔ این واژگان آن است که مرز مسئولیت شما را می‌کشد. آنچه می‌توانید کنترل کنید: در دسترس بودن صفحه، بازگرداندن کد وضعیت درست، نداشتن noindex ناخواسته، اشارهٔ تگ canonical به نسخه‌ای که می‌خواهید، آمدن در نقشهٔ سایت و دسترس‌پذیری از راه لینک‌های داخلی. تنها چیزی که کنترل نمی‌کنید تصمیم ایندکس‌کردن صفحه‌ای است که خزیده شده؛ این تصمیم با گوگل است و هیچ روشی که وعدهٔ تسریع آن را بدهد تغییرش نمی‌دهد.
در عمل این یعنی تقسیم کار به دو بخش: برداشتن موانع کار شماست و سزاوارشدن ارزیابی کار محتواست. بستن این بررسی‌های زیرساختی به یک ممیزی منظم در دامنهٔ خدمت سئوی فنی ما قرار می‌گیرد.
منابع
- راهنمای Search Console — گزارش ایندکس صفحه‌ها: دلیل‌های ایندکس‌نشدن و تعریف وضعیت‌ها.
- Google Search Central — مرور خزنده‌های گوگل: خزنده‌های مشترک، خزنده‌های موارد خاص و ابزارهای واکشی.
- Google Search Central — Search Essentials: الزام‌های فنی و مهم‌ترین شیوه‌های درست.