ابزار Coverage سرچ کنسول، راه‌حل ایندکس سایت!

جذب بازدیدکننده از طریق موتورهای جست‌وجو یکی از اصلی‌ترین راه‌های گرفتن ورودی برای سایت است. سهم گوگل در این ورودی‌ها بیشتر از نود درصد است. این موتورهای جست‌وجو با سر زدن به صفحات سایت‌ها و ذخیره محتوای درون آنکه به ایندکس کردن معروف است؛ می‌توانند این صفحات را در جست‌وجوهای مرتبط کاربران به آن‌ها نشان دهند. 

به همین دلیل ایندکس شدن یک سایت شرط اولیه برای ورود به نتایج جست‌وجو و گرفتن بازدیدکننده است. ابزار سرچ کنسول گوگل که هدفش کمک به صاحبان سایت و متخصصان سئو است؛ در یک بخش مجزا با نام Coverage اطلاعات کاملی از نحوه ایندکس شدن سایت توسط گوگل را نمایش می‌دهد.

در این مقاله به‌صورت کامل با این بخش مهم آشنا می‌شویم تا تمامی مشکلات احتمالی در ایندکس شدن صفحات سایتمان را برطرف کنیم. با این کار شانس گرفتن رتبه‌های برتر در نتایج جست‌وجو و دیده شدن بهتر سایت را افزایش می‌دهیم. 

پس با ادامه این مقاله مهم همراه ما باشید. 

ایندکس شدن چیست؟

ایندکس به معنای فهرست‌بندی‌ست! در واقع ایندکس یک مرحله از روشی است که موتورهای جست‌وجو برای نمایش نتایج مرتبط با عبارت موردنظر کاربر استفاده می‌کنند. خزنده‌ها ربات‌هایی هستند که وارد سایت‌ها می‌شوند و به صفحات مختلف آن سر می‌زنند. سپس آدرس و محتوای صفحات را در سرورهای موتور جست‌وجو ذخیره می‌کنند. به این کار ایندکس کردن می‌گویند. 

سپس هوش مصنوعی این سایت‌ها توسط الگوریتم‌های پیچیده شروع به رتبه‌دهی این صفحات ایندکس شده می‌کنند و بهترین نتایج را به کاربران نشان می‌دهند.

نقشه سایت فایلی است که به خزنده‌های گوگل کمک می‌کند تا صفحات موجود در سایت و ارتباط آن‌ها را بهتر متوجه شوند. در سایت‌های با تعداد صفحات بالا مثل فروشگاه‌های اینترنتی بزرگ؛ نقشه سایت می‌تواند کمک زیادی به ایندکس کردن صفحات و رتبه‌بندی بهتر آن‌ها کند. 

لازم نیست که تمامی صفحات یک سایت در موتور جست‌وجو ذخیره شود و دلایل متعددی برای ایندکس نشدن یک صفحه وجود دارد که در قسمت بعد به آن‌ها اشاره می‌کنیم. 

دلایل عمومی ایندکس نشدن صفحات سایت

در این قسمت به دلیل‌هایی پرداخته می‌شود که ممکن است یک صفحه به‌صورت عمدی یا به دلیل وجود یک مشکل توسط موتور جست‌وجو ایندکس نشود. 

در ادامه قدم‌به‌قدم با مشکلات ایندکس سایت که در قسمت Coverage سرچ کنسول وجود دارد، آشنا می‌شوید.

جلوگیری عمدی از ایندکس توسط تگ noindex

نیازی نیست بعضی از صفحات سایت در معرض دید موتورهای جست‌وجو قرار بگیرند. به همین دلیل سئوکارها در کد این صفحات یک خط با تگ noindex اضافه می‌کنند. به این شکل زمانی که خزنده‌ها وارد این صفحه می‌شوند دیگر صفحه را ایندکس نمی‌کنند و به صفحات دیگر می‌روند. 

معمولاً صفحات خاص سایت مانند تماس با ما، سبد خرید و شرایط پرداخت به این شکل از ایندکس آن‌ها جلوگیری می‌شود. سایت‌هایی که عضویت‌های ویژه دارند و قسمتی از محتوای آن‌ها برای عموم بازدیدکننده‌ها قفل است؛ باید از این روش استفاده کنند. 

جلوگیری عمدی از ایندکس توسط فایل robot. txt

یکی دیگر از راه‌های اجازه ندادن به خزنده‌ها برای ایندکس کردن صفحات، اضافه کردن آدرس آن‌ها به فایل robot. txt است. وظیفه اصلی این فایل مشخص کردن محدوده‌هایی از سایت است که خزنده‌ها اجازه ورود دارند. این کار می‌تواند جلوی فشار اضافی خزنده‌ها به سرورهای سایت را بگیرد. 

به‌صورت کلی اضافه کردن تگ noindex مناسب‌تر از این روش است؛ اما برای بعضی قسمت‌ها مانند فایل‌های PDF یا عکس‌ها نمی‌توان از تگ استفاده کرد. سایت‌های فروش دانلودی از این روش استفاده زیادی می‌کنند.

نبود محتوا در صفحه و ارور ۴۰۴

سومین دلیل وجود مشکل در ایندکس سایت که دیگر به‌صورت عمدی انجام نمی‌شود؛ وجود ارور ۴۰۴ است. این ارور زمانی رخ می‌دهد که محتوایی در یک صفحه وجود نداشته باشد که می‌تواند دلایل مختلفی پشت آن باشد. 

حذف یک صفحه، لینک اشتباه به یک صفحه و نوشتن اشتباه آدرس توسط کاربر می‌تواند باعث ایجاد این ارور شود. برای مطالبی حذف شدند یا به صفحهٔ دیگری منتقل شدند از ریدایرکت استفاده می‌شود. با این کار بازدیدکننده و خزنده گوگل در موقع ورود به یک صفحه، به صفحه موردنظر دیگر منتقل می‌شوند. 

آموزش کلی قسمت Coverage

وظیفه این قسمت از سرچ کنسول نمایش وضعیت ایندکس صفحات سایت است. اگر در سرچ کنسول و منوی سمت چپ روی گزینه Coverage کلیک کنید؛ صفحه این گزارش باز می‌شود. 

این گزارش از سه قسمت اصلی تشکیل‌شده است. یک منو بالایی و یک نمودار و جدول که اطلاعات انتخاب‌شده در منو را نشان می‌دهند. این منو دارای چهار وضعیت کلی است که نحوه ایندکس صفحات را با تعداد آن‌ها نشان می‌دهد. این چهار حالت در ادامه معرفی می‌شود. 

Error: صفحاتی که قبلاً ایندکس شدند؛ اما در بررسی مجدد ایندکس آن‌ها با مشکلاتی روبرو شده است.

Valid with warning: صفحاتی که ایندکس شدند؛ اما اخطارهایی در آن‌ها وجود دارد. 

Valid: صفحاتی که بدون مشکل ایندکس شدند. 

Excluded: صفحاتی که ایندکس نشدند؛ اما دلایل بیرونی مانند تگ noindex باعث آن شده است که مشکل به‌حساب نمی‌آید؛ اما این صفحات باید بررسی شوند. 

هرکدام از این ۴ وضعیت که به حالت انتخاب دربیایند؛ اطلاعات آن‌ها در نمودار و جدول نشان داده می‌شود. نمودار این گزارش اطلاعاتی از تغییرات تعداد صفحات هر وضعیت در طول زمان را نشان می‌دهد. 

اگر مدت‌زمان زیادی به این گزارش سر نزدید؛ باید به شما بگوییم که ممکن است اطلاعات مهمی را از دست داده باشید!

به‌عنوان مثال اگر تعداد صفحات Valid در یک بازه زمانی کاهش پیداکرده است می‌تواند زنگ خطری برای سایت باشد. اگر صفحات با Error سایت نیز افزایش ناگهانی داشته باشد؛ دلایل آن باید به‌سرعت مورد بررسی قرار گیرد. به‌صورت کلی هر افزایش یا کاهش زیاد در نمودار هر چهار وضعیت این گزارش باید بررسی شود. 

در جدول گزارش Coverage اطلاعات کامل‌تری از مشکلات ایندکس نمایش داده می‌شود. در قسمت Status نوع وضعیت و در قسمت Type انواع مختلف ایندکس در هر وضعیت مشاهده می‌شود. این نوع‌ها را در قسمت بعد به‌صورت کامل توضیح می‌دهیم.

در قسمت Trend نحوه کلی تغییر تعداد صفحات از این نوع و در قسمت Pages تعداد صفحات هر نوع در حال حاضر نشان داده می‌شود. 

اگر روی هر یک از Type‌های مختلف کلیک کنید؛ صفحه مربوط به آن باز می‌شود. در این صفحه نمودار تغییرات این Type در طول زمان و سپس جدول آدرس‌های مختلف صفحات این نوع وجود دارد.

اگر روی هر آدرس کلیک و سپس گزینه INSPECT URL انتخاب کنید؛ اطلاعات کاملی از نحوه ایندکس آن صفحه نشان داده می‌شود که می‌توان مشکلات احتمالی موجود در صفحه را مشاهده و برطرف کرد. 

می‌توان در همین صفحه با کلیک روی گزینه REQUEST INDEXING درخواست بررسی صفحه به گوگل را بدهید. در این حالت گوگل صفحه را کنترل می‌کند و در صورت حل مشکل وضعیت آن را به Valid تغییر می‌دهد. 

اگر مشکلات تمامی صفحات موجود در یک Type حل کردید؛ می توانید در صفحه Type با کلیک روی گزینه VALIDATE FIX درخواست بررسی کل صفحات را به گوگل بدهید.

آشنایی با Typeهای مختلف قسمت Coverage

به مهم‌ترین قسمت مقاله رسیدیم. همان‌طور که گفته شد؛ در جدول گزارش Coverage برای هر وضعیت انواع مختلفی از مشکلات و اخطارها وجود دارد که نشان‌دهنده وضعیت ایندکس صفحات سایت است. در این قسمت برای هر وضعیت به‌صورت جدا Typeهای موجود را توضیح دادیم.

وضعیت Valid

این وضعیت نشان‌دهنده ایندکس کامل و درست صفحات است که شامل دو حالت زیر می‌شود.

Submitted and indexed: درخواست ایندکس صفحه از نقشه سا‌یت تأیید و صفحه با موفقیت ایندکس شده است. 

Indexed, not submitted in sitemap: صفحه توسط خزنده گوگل با موفقیت ایندکس شده است؛ اما آدرس آن در نقشه سایت وجود ندارد. بهتر است نقشه سایت با اضافه کردن این صفحات به‌روزرسانی شود. 

وضعیت Valid with warning

در این وضعیت ایندکس سایت انجام‌شده است؛ اما یکی از اخطارهای زیر پدیدار می‌شود!

Indexed, though blocked by robots.txt: خزنده گوگل توسط لینک‌های دیگر وارد صفحه شده و آن را ایندکس کرده است؛ اما آدرس صفحه در قسمت بلاک شده‌ها در فایل robots. txt وجود دارد. اگر می‌خواهید این صفحه ایندکس نشود؛ باید آن را با تگ noindex بلاک کنید و از قسمت removal سرچ کنسول، درخواست حذف ایندکس را بدهید.

وضعیت Excluded

این حالت مخصوص صفحه‌هایی است که با دلیل عمدی از ایندکس آن‌ها جلوگیری شده است یا برخلاف وضعیت Error، ایندکس آن‌ها در اولین بار به مشکل خورده است به همین دلیل در نتایج گوگل ثبت نشدند و مشکلی برای رتبه سایت ایجاد نمی‌کنند. گوگل این صفحات را در انواع زیر تقسیم‌بندی کرده است. 

Excluded by noindex tag: خزنده گوگل به دلیل وجود تگ noindex در کد صفحه آن را ایندکس نکرده است. 

Blocked by page removal tool: آدرس صفحه به‌صورت دستی در ابزار removal سرچ کنسول واردشده است تا از ایندکس گوگل حذف شود.

Blocked by robots.txt: گوگل به دلیل وجود آدرس صفحه در قسمت بلاک فایل robots. txt آن را ایندکس نکرده است. 

Blocked due to unauthorized request (۴۰۱): خزنده گوگل وقتی برای اولین بار به صفحه سرزده؛ با ارور ۴۰۱ که مربوط به مشکلات سرور است؛ روبرو شده است به همین دلیل صفحه را در قسمت Excluded و بدون ایندکس قرار داده است. 

Crawl anomaly: ایندکس صفحه به دلیل ارورهای نامشخص که معمولاً از نوع ۴۰۰ و ۵۰۰ هستند؛ ناموفق بوده است. این صفحات باید به‌صورت مشخص و مجزا بررسی شوند تا علت ایندکس نشدن پیدا و حل شود. 

Crawled – currently not indexed: صفحه توسط خزنده مشاهده شده است؛ اما به دلایل نامعلوم ایندکس انجام‌نشده است. بهتر است این صفحات کنترل شوند و در صورت نبود مشکل درخواست دوباره ایندکس به سمت گوگل ارسال شود. 

Discovered – currently not indexed: آدرس صفحه موردتوجه گوگل قرار گرفته است؛ اما به دلیل مشکلات خزنده بررسی و ایندکس نشده است. برای این صفحات هم باید درخواست مجدد ایندکس ارسال شود. 

Alternate page with proper canonical tag: یکی از راه‌های اصلی جلوگیری از ایندکس صفحات با محتوای مشابه اما آدرس‌های متفاوت، استفاده از تگ canonical و آدرس‌دهی به صفحه اصلی در این صفحات مشابه است. در این حالت آن صفحه مشابه در لیست این نوع قرار می‌گیرد و مشکلی برای رتبه سایت ایجاد نمی‌کند. 

Not found ۴۰۴: این صفحات توسط خزنده گوگل در سایت پیدا شدند و دارای ارور ۴۰۴ یعنی صفحه بدون محتوا هستند. چون این صفحات قبلاً ایندکس نشدند و درخواست ایندکس از طرف نقشه سایت نبوده است؛ گوگل آن‌ها در قسمت Excluded قرار داده است. بهتر است در صورت لزوم این صفحات را به صفحه مرتبط ریدایرکت کنید؛ چراکه بعد از یک ماه آدرس صفحات از این قسمت گزارش حذف می‌شوند. 

Page with redirect: این آدرس‌ها به صفحات دیگر ریدایرکت شدند به همین دلیل آدرس اولیه در این قسمت قرار گرفته است. 

Duplicate: چند مدل از این نوع وجود دارد که در تصویر مشاهده می‌شود. تمامی این حالات مربوط به صفحاتی است که از نظر گوگل دارای محتوای تکراری هستند. این صفحات باید بررسی شوند و با تگ canonical به صفحه محتوای اصلی متصل شوند. 

وضعیت Error

این وضعیت اهمیت زیادی دارد و باید به‌سرعت مورد بررسی قرار گیرد. این مشکلات مربوط به صفحاتی هستند که قبلاً با موفقیت ایندکس شدند؛ اما در بررسی مجدد ایندکس آن‌ها دچار مشکل شده است. چون این صفحات در نتایج گوگل ثبت‌شده‌اند؛ وجود مشکل در آن‌ها بر خلاف قسمت Excluded، باعث رتبه منفی سایت در گوگل می‌شود.

Server error 5xx: این صفحات در بررسی مجدد با ارورهای سرور مواجه شدند. این دلایل باید به‌سرعت رفع شوند و درخواست بررسی مجدد انجام شود. 

Submitted URL blocked by robots.txt: این صفحات که قبلاً ایندکس شدند؛ اکنون جلو ایندکس مجدد آن‌ها توسط فایل robots.txt گرفته شده است. 

Submitted URL marked noindex: همانند مورد قبل اما این بار تگ noindex از ایندکس مجدد صفحه ثبت شده جلوگیری می‌کند.

Submitted URL returns unauthorized request ۴۰۱: خزنده گوگل در بررسی مجدد این صفحات با ارور ۴۰۱ روبرو شده است. 

Redirect error: این صفحات ریدایرکت شدند؛ اما ریدایرکت آن‌ها مشکل دارد و بنا به دلایلی خزنده گوگل نتوانسته است به صفحه ریدایرکت شده وارد شود. 

Submitted URL not found ۴۰۴: خزنده گوگل در بررسی مجدد این صفحات با ارور ۴۰۴ روبرو شده است. 

Submitted URL has crawl issue: بررسی مجدد این صفحات به دلایل نامشخص انجام نشده است. صفحه باید بررسی شود و درخواست بررسی مجدد ارسال شود. 

Submitted URL seems to be a Soft 404: ارور Soft 404 دلایل مختلفی دارد. یکی از این دلایل صفحاتی هستند که به کاربر ارور ۴۰۴ را نشان می‌دهند؛ اما این ارور از سمت سرور ارسال نمی‌شود. اگر صفحه‌ای به صفحه نامربوط ریدایرکت شود نیز این ارور مشاهده می‌شود. در هر صورت باید دلیل این ارور برطرف شود و درخواست مجدد ایندکس ارسال شود. 

در این مقاله با گزارش Coverage در گوگل سرچ کنسول به‌صورت کامل آشنا شدیم و انواع مختلف مشکلات و ارورها را در زمان ایندکس صفحات سایت یاد گرفتیم. نظر خود را در مورد این مقاله و مشکلاتتان در هنگام کار با گزارش Coverage را در زیر با ما به اشتراک بگذارید.