موتور جستجو چیست؟ خزش، ایندکس و رتبه‌بندی

موتور جستجو چیست؟ کوتاه‌ترین پاسخ این است که سیستمی است که صفحه‌های وب را پیدا می‌کند، می‌فهمد، ذخیره می‌کند و مناسب‌ترین آن‌ها را برای یک جست‌وجو به‌ترتیب نمایش می‌دهد. اما این تعریف به‌تنهایی برای صاحب یک وب‌سایت کافی نیست؛ مهم این است که بداند سایتش در کدام حلقه این زنجیره ممکن است گیر کند. این مقاله با تکیه بر مستندات خود گوگل، سه مرحله اصلی موتور جستجو، یعنی خزش، ایندکس و ارائه نتایج را به زبانی ساده توضیح می‌دهد و نشان می‌دهد در هر مرحله چه چیزی را در سایتتان باید بررسی کنید. این نوشته برای پاسخ دادن به پرسش موتور جستجو چیست برای تصمیم‌گیرنده نوشته شده است، نه برای یک تیم فنی.

موتور جستجو چیست: زنجیره‌ای سه‌مرحله‌ای

راهنمای Google Search Central درباره نحوه کار جست‌وجو، این فرایند را در سه مرحله تعریف می‌کند. در مرحله خزش، برنامه‌های خودکاری به نام خزنده متن، تصویر و ویدیو را از صفحه‌هایی که در اینترنت یافت شده‌اند دانلود می‌کنند. در مرحله ایندکس، محتوای صفحه تحلیل می‌شود و اطلاعات در یک پایگاه داده بزرگ ذخیره می‌شود. در مرحله ارائه نتایج، وقتی کاربری جست‌وجو می‌کند، صفحه‌های مرتبط با جست‌وجو پیدا و به‌ترتیب نمایش داده می‌شوند.

این سه مرحله پشت سر هم‌اند: صفحه‌ای که خزیده نشود ایندکس نمی‌شود و صفحه‌ای که در ایندکس نباشد در نتایج دیده نمی‌شود. بنابراین وقتی صفحه‌ای در جست‌وجو دیده نمی‌شود، نخستین پرسش نباید «چرا رتبه نمی‌گیرد» باشد، بلکه «در کدام حلقه زنجیره مانده است». گوگل همچنین به‌روشنی می‌گوید که خزش، ایندکس یا نمایش هیچ صفحه‌ای را تضمین نمی‌کند؛ این حتی برای سایتی که قواعد را رعایت می‌کند هم صدق می‌کند.

نکته دیگری که راهنما بر آن تأکید می‌کند این است که گوگل برای خزش بیشتر یک سایت یا رتبه بالاتر دادن به آن پول نمی‌پذیرد. تبلیغات سیستمی جداگانه است و نتایج ارگانیک را نمی‌توان خرید. این همچنین توضیح می‌دهد که چرا کار سئو زمان می‌برد: رتبه پرداختی مالی نیست، بلکه نتیجه گذشتن موفق صفحه از همه مراحل زنجیره است.

خزش: موتور جستجو چگونه صفحه‌ها را پیدا می‌کند

خزنده‌ها صفحه‌های تازه را بیشتر از طریق لینک‌ها پیدا می‌کنند: لینکی که از یک صفحه شناخته‌شده به صفحه‌ای تازه داده می‌شود رایج‌ترین راه کشف است. نقشه‌های سایت هم به این کشف کمک می‌کنند. بر اساس مستند نقشه سایت گوگل، نقشه سایت فایلی است که درباره صفحه‌ها و فایل‌های مهم سایت به موتور جستجو اطلاعات می‌دهد؛ به‌ویژه برای سایت‌های بزرگ، تازه یا کم‌لینک از بیرون مفید است.

ابزار اصلی کنترل خزش فایل robots.txt است. اینجا یک اشتباه رایج وجود دارد: robots.txt راهی برای پنهان کردن یک صفحه از گوگل نیست. بر اساس مستندات گوگل، robots.txt جلوی خزش را می‌گیرد اما جلوی ایندکس را نمی‌گیرد؛ نشانی‌ای که از سایت‌های دیگر لینک می‌گیرد ممکن است بدون خزیده شدن هم در ایندکس دیده شود. برای دور نگه داشتن یک صفحه از جست‌وجو باید از noindex استفاده کرد یا صفحه را با رمز عبور محافظت کرد.

آنچه در این مرحله باید در سایتتان بررسی کنید: آیا صفحه‌های مهم لینک داخلی دارند، آیا نقشه سایت به‌روز است و فقط صفحه‌هایی را دارد که می‌خواهید ایندکس شوند، و آیا robots.txt به‌اشتباه بخش مهمی را مسدود می‌کند؟ چگونگی ساختن معماری نقشه سایت در سایت‌های چندزبانه را هم در مقاله ما درباره sitemap سایت چندزبانه بررسی کرده‌ایم.

ایندکس: افزودن به ایندکس و نسخه کانونیکال

صفحه خزیده‌شده پیش از ایندکس شدن تحلیل می‌شود: متن، سرتیترها، تصاویر و ساختار صفحه بررسی می‌شوند. بخش مهمی از این مرحله جدا کردن محتوای تکراری است. گوگل صفحه‌هایی را که بسیار شبیه هم‌اند گروه‌بندی می‌کند و یکی از آن‌ها را به‌عنوان نسخه کانونیکال، یعنی نسخه اصلی‌ای که در نتایج نماینده گروه خواهد بود، برمی‌گزیند. وجود یک محتوا در چند نشانی مختلف سایت ممکن است موتور جستجو را به انتخاب نسخه‌ای بکشاند که شما ترجیح نمی‌دادید.

مشکلات ایندکس اغلب بی‌صدا هستند: صفحه منتشر شده است، کاربران به آن دسترسی دارند، اما در جست‌وجو دیده نمی‌شود. راه دیدن این وضعیت، گزارش ایندکس صفحه‌ها در Search Console است. خواندن وضعیت‌های این گزارش و ترتیب اصلاح‌ها را گام‌به‌گام در مقاله ما درباره مشکلات ایندکس شرح داده‌ایم.

رتبه: نتایج چگونه مرتب می‌شوند

در آخرین مرحله، وقتی کاربر جست‌وجویی می‌نویسد، موتور جستجو در ایندکس صفحه‌های منطبق را می‌جوید و نتایجی را نمایش می‌دهد که مرتبط‌ترین و باکیفیت‌ترین می‌داند. بر اساس راهنمای گوگل، عوامل بسیاری مانند موقعیت، زبان و دستگاه کاربر در این ارزیابی نقش دارند. یک جست‌وجو ممکن است در شهرهای مختلف یا روی دستگاه‌های مختلف نتایج متفاوتی بدهد؛ به همین دلیل بررسی دستی از یک رایانه، سنجش قابل اعتمادی از رتبه نیست.

صفحه نتایج هم فقط از ده لینک آبی تشکیل نمی‌شود. بسته به نیت جست‌وجو، ویژگی‌های مختلفی مانند نتایج محلی، تصاویر، ویدیوها یا خلاصه‌های مبتنی بر هوش مصنوعی ممکن است ظاهر شوند. اینکه بهینه‌سازی موتور جستجو در دوران جست‌وجوی هوش مصنوعی به چه چیزی تبدیل می‌شود را در مقاله ما درباره اینکه سئو چیست بحث کرده‌ایم.

فهرست کامل عوامل رتبه‌بندی و وزن آن‌ها عمومی نیست؛ گوگل فقط اصول و رهنمودهای کلی را منتشر می‌کند. بنابراین با ادعاهایی از نوع «این عامل را اصلاح کنید تا رتبه اول شوید» باید با تردید برخورد کرد. رویکرد قابل اعتماد این است که مطمئن شوید صفحه واقعاً به پرسش کاربر پاسخ می‌دهد، از نظر فنی در دسترس است و تجربه و تخصص در موضوع را به‌روشنی نشان می‌دهد.

یک راه عملی برای فهمیدن دیدگاه موتور جستجو این است که سایت خودتان را از چشم آن بررسی کنید. ابزار بازرسی URL در Search Console نشان می‌دهد گوگل یک صفحه مشخص را چگونه می‌بیند، آخرین بار کی آن را خزیده و کدام نسخه کانونیکال را برگزیده است. این اطلاعات به شما امکان می‌دهد دلیل دیده نشدن یک صفحه در جست‌وجو را با داده توضیح دهید، نه با حدس.

در ایندکس بودن یک صفحه و دیده شدنش در یک جست‌وجوی مشخص هم دو چیز متفاوت‌اند. صفحه ایندکس‌شده‌ای که برای هیچ جست‌وجویی به اندازه کافی مرتبط شناخته نشود، ممکن است تقریباً هرگز در نتایج دیده نشود. گزارش عملکرد در Search Console نشان می‌دهد یک صفحه در کدام جست‌وجوها نمایش گرفته است؛ اگر نمایشی نباشد، مشکل اغلب فنی نیست، بلکه ناهمخوانی میان محتوا و جست‌وجوست.

فهرست بررسی عملی برای صاحب سایت

تبدیل زنجیره به یک فهرست بررسی، یافتن مرحله‌ای را که مشکل در آن است سریع می‌کند. برای خزش: آیا صفحه‌های مهم از طریق لینک‌های داخلی در دسترس‌اند و آیا robots.txt و پاسخ‌های سرور اجازه خزش می‌دهند؟ برای ایندکس: آیا صفحه‌ها noindex ندارند، آیا تگ‌های canonical به نسخه درست اشاره می‌کنند و آیا در Search Console حذف‌های غیرمنتظره‌ای وجود دارد؟ برای ارائه نتایج: آیا صفحه واقعاً نیت جست‌وجوی هدف را برآورده می‌کند و از چه نظر با نتایج رقیب تفاوت دارد؟

دو بخش نخست این فهرست به زیرساخت فنی مربوط است و اغلب باید پیش از کار روی محتوا حل شود؛ محتوای خوب در صفحه‌ای که خزیده یا ایندکس نمی‌شود هیچ نتیجه‌ای نمی‌دهد. ساختن این پایه فنی و ممیزی منظم آن، نقطه شروع خدمت سئو فنی ما است.

منابع

• Google Search Central — جست‌وجوی Google چگونه کار می‌کند: مراحل خزش، ایندکس و ارائه نتایج.
• Google Search Central — آشنایی با robots.txt: robots.txt چگونه خزش را کنترل می‌کند و محدودیت‌هایش.
• Google Search Central — نقشه سایت چیست: نقشه سایت چه زمانی مفید است.