رفع Discovered - Currently Not Indexed در 7 مرحله ساده!

“Discovered – currently not indexed” یک وضعیت از آدرس یک صفحه در گوگل سرچ کسنول است. این بدان معناست که گوگل یک صفحه مشخص را کشف، اما آن نه آن را خزیده و نه آن را ایندکس کرده است. سه دلیل برای URL های با وضعیت “Discovered – currently not indexed” وجود دارد: کیفیت محتوا، لینک های داخلی و بودجه خزیدن. هر مسئله راه حل های متفاوتی دارد. بیایید نگاهی به آنها بیندازیم.

وضعیت “Discovered – currently not indexed” به چه معناست؟

“Discovered – currently not indexed” به معنای دو چیز است. یکی، گوگل صفحه شما را پیدا کرده است. دوم، گوگل در حال حاضر صفحه شما را خزش و ایندکس نکرده است.
این بدان معنا نیست که محتوای شما هرگز خزیده و نمایه نمی شود. همانطور که در اسناد گوگل آمده است، ممکن است گوگل بعداً بدون هیچ اقدامی به صفحه شما بازگردد. با این حال، زمان بندی مجدد خزیدن توسط گوگل تنها یکی از چندین دلیل احتمالی برای این مشکل است.
بیایید هر یک از دلایل احتمالی “Discovered – currently not indexed” و نحوه رسیدگی به آنها را برای بهبود سئو خود بررسی کنیم.

7 راه حل برای URL های “Discovered – currently not indexed”

1. رفع مشکلات کیفیت محتوا

گوگل نمی تواند همه چیز را در وب بخزد و ایندکس کند. هر سایتی باید استانداردهای کیفی را رعایت کند. گوگل روی خزیدن صفحات با کیفیت بالاتر تمرکز دارد و ممکن است به طور کلی از خزیدن صفحات با کیفیت پایین صرف نظر کند.
بنابراین، اگر محتوای شما خزیده و ایندکس نشده است، ممکن است لازم باشد کیفیت آن را بررسی کنید.
این فقط در مورد صفحات گزارش شده به “Discovered – currently not indexed” اعمال نمی شود. همچنین می تواند در مورد کیفیت کل سایت باشد. جان مولر از گوگل اشاره کرد که “Discovered – currently not indexed” می تواند ناشی از یک مشکل کیفیت محتوا در سطح سایت باشد.

دستورالعمل های ارزیابی کیفیت را بخوانید

توصیه می‌کنیم دستورالعمل‌های ارزیابی کیفیت Google را بررسی کنید. دستورالعمل‌های ارزیابی کیفیت نحوه رتبه‌ بندی کیفیت محتوای صفحه وب را شرح می‌دهد. به آن نگاه کنید تا به درک خود از محتوای با کیفیت همانطور که توسط Google تعریف شده است کمک کنید. سپس می توانید ایده گوگل در مورد کیفیت را در صفحات خود اعمال کنید.
اگر می‌خواهید عمیق‌تر به موضوع بپردازید، مقاله ما را در مورد E-A-T بررسی کنید. این مفهومی است که در دستورالعمل های ارزیابی کیفیت برای تعیین تخصص، اعتبار و قابل اعتماد بودن یک صفحه وب استفاده می شود.

اطمینان حاصل کنید که محتوای منحصر به فرد دارید

اگر گوگل فکر کند URL های شما تکراری هستند، ممکن است نادیده بگیرد. از آنجایی که منابع گوگل محدود است، بر خزیدن (و نمایه سازی) با ارزش ترین URL ها تاکید دارد. این مستلزم داشتن محتوای منحصر به فرد است که هدف کاربر خاص را هدف قرار می دهد.
وب سایت خود را برای محتوای تکراری دوباره بررسی کنید. اگر محتوای تکراری دارید، مقاله ما را در مورد نحوه بهینه سازی محتوای تکراری بررسی کنید. اگر URL های مشابه زیادی دارید، از تگ های کنونیکال استفاده کنید. این تگ ها به گوگل می گویند که فقط نسخه اصلی صفحه شما را ایندکس کند.
به یاد داشته باشید که گوگل می تواند تگ های کنونیکال ایجاد شده به درستی را نادیده بگیرد. اگر Google تگ کنونیکال شما را نادیده بگیرد، می‌توانید با وضعیت Duplicate, Google chose different canonical than user آن را را در GSC تشخیص دهید.
لیست URL های تحت تأثیر را مرور کنید و مطمئن شوید که هر صفحه حاوی محتوای منحصر به فرد است. این احتمال خزیدن و ایندکس شدن صفحه شما را افزایش می دهد. به علاوه، به کیفیت وب سایت شما می افزاید و رضایت کاربران را افزایش می دهد.

2. بهترین شیوه های لینک سازی داخلی را دنبال کنید

Googlebot پیوندهای داخلی را دنبال می کند تا صفحات مختلف سایت شما را کشف کند و ارتباطات آنها را درک کند. پیوندهای داخلی همچنین به گسترش پیج رنک کمک می کنند، سیگنالی از اهمیت صفحه که در رتبه بندی استفاده می شود.
فرض کنید گوگل لینک های کافی به یک URL را پیدا نمی کند. در این صورت، ممکن است به دلیل سیگنال‌های ناکافی که به اهمیت آن اشاره می‌کنند، از خزیدن آن منصرف شود. ممکن است گوگل فرض کند صفحاتی که لینک های داخلی ضعیفی دارند، بی اهمیت هستند. در نتیجه، این صفحات ممکن است تحت وضعیت “Discovered – currently not indexed” قرار بگیرند.
لینک سازی داخلی مناسب شامل اتصال صفحات شما برای ایجاد یک ساختار منطقی است. این ساختار به موتورهای جستجو و کاربران اجازه می دهد تا سلسله مراتب صفحات شما و نحوه اتصال آنها را درک کنند.
با استفاده صحیح از پیوندهای داخلی، هم به Googlebot کمک می‌کنید همه محتوای شما را پیدا کند و هم شانس آن را برای رتبه‌بندی بالا افزایش دهید.
برخی از بهترین روش ها برای پیوند داخلی عبارتند از:

• به محتوای اصلی خود لینک های داخلی بیشتری بدهید
• پیوندهای متنی را در محتوای خود اعمال کنید
• پیوند صفحات را بر اساس سلسله مراتب بدهید، به عنوان مثال، پیوند به صفحات اصلی به صفحات تکمیلی و بالعکس
• وب سایت خود را با لینک ها اسپم نکنید
• انکر تکست را بیش از حد بهینه نکنید
• پیوندهایی به محصولات یا پست های مرتبط اضافه کنید
• پیوندهای داخلی را به صفحات یتیم اضافه کنید

بودجه خزش تعداد صفحاتی است که Googlebot می تواند و می خواهد در یک وب سایت بخزد. عواملی که بودجه خزیدن سایت را تعیین می کنند عبارتند از:

• محدودیت سرعت خزیدن: چند صفحه را Google می تواند بخزد. محدودیت نرخ بر اساس قابلیت های سرور شما تنظیم می شود.
• تقاضای خزیدن: بر اساس اهمیت صفحه، گوگل می‌خواهد چند صفحه را بخزد. محبوبیت صفحه و دفعات به روز رسانی صفحه اهمیت را تعیین می کند.

هر وب سایتی ممکن است از مشکلات بودجه خزیدن رنج ببرد. با این حال، آنها در وب سایت های بزرگ رایج هستند. هرچه یک وب سایت بزرگتر باشد، به دلیل بودجه ناکافی برای خزیدن، احتمال بیشتری وجود دارد که صفحات خزیده نشده داشته باشد.
“Discovered – currently not indexed” اغلب نتیجه مسائل مربوط به بودجه خزش است. ساده است. اگر تقاضای خزیدن خیلی کم باشد یا سرعت خزیدن محدود باشد، برخی از صفحات شما خزیده نخواهند شد.
عوامل زیادی می توانند باعث مشکلات مربوط به بودجه خزیدن شوند، از جمله:

• لینک سازی داخلی ضعیف
• به Google اجازه داده می شود محتوای با کیفیت پایین را بخزد
• نداشتن نقشه سایت کافی
• اشتباهات در اجرای تغییر مسیرها
• سرورهای پسنگین
• وب سایت های سنگین

ما قبلاً اهمیت پیوند داخلی را بررسی کرده ایم. اکنون، بیایید به عوامل دیگری که باعث مشکلات بودجه خزش می‌شوند بپردازیم.

3. از خزیدن و ایندکس کردن صفحات با کیفیت پایین توسط گوگل جلوگیری کنید

اجازه خزش دادن به گوگل بدون محدودیت در کل وب سایت شما دو پیامد منفی دارد.
اول از همه، Googlebot از هر صفحه در وب سایت شما بازدید می کند تا زمانی که بودجه خزیدن آن تمام شود. اگر Googlebot صفحات با کیفیت پایین را بخزد، ممکن است قبل از اینکه به ضروری ترین صفحات شما برسد، به حد مجاز خزیدن خود برسد.
ثانیاً، اگر به گوگل اجازه دهید صفحات با کیفیت پایین را بخزد و ایندکس کند، ممکن است کیفیت سایت شما را پایین در نظر بگیرد. این می تواند به رتبه بندی شما آسیب برساند و همچنین تقاضای خزیدن را کاهش می دهد و یک چرخه معیوب از مسائل مربوط به بودجه خزیدن ایجاد می کند.
صفحات با کیفیت پایین عبارتند از:

• مطالب قدیمی
• صفحاتی که توسط کادر جستجو در یک وب سایت ایجاد می شوند
• محتوای تکراری
• صفحات ایجاد شده با اعمال فیلترها
• محتوای تولید شده به صورت خودکار
• محتوای ایجاد شده توسط کاربر

اگر در حال حاضر با محتوای ایندکس نشده مشکل دارید، باید از خزیدن و ایندکس کردن آن صفحات توسط گوگل جلوگیری کنید. از فایل robots.txt برای جلوگیری از خزش این صفحات استفاده کنید و از متا تگ noindex برای جلوگیری از ایندکس آن ها استفاده کنید.

4. یک نقشه سایت بهینه ایجاد کنید

یک نقشه سایت بهینه شده می تواند ربات گوگل را در فرآیند خزیدن و ایندکس راهنمایی کند. این در اصل نقشه ای است که گوگل از آن برای یافتن محتوای شما استفاده می کند.
اما، اگر نقشه سایت شما به درستی بهینه نشده باشد، می تواند بر بودجه خزش شما تأثیر منفی بگذارد و منجر به از دست دادن محتوای مهم شما توسط Googlebot شود.
نقشه سایت باید شامل موارد زیر باشد:

• ادرس هایی که شامل status code 200 هستند
• نشانی‌های اینترنتی بدون تگ نوایندکس
• فقط نسخه های اصلی صفحات شما (به صفحه دیگری کنونیکال نشده باشد)

تصویر زیر نمونه ای از فایل فهرست نقشه سایت XML است.

5. مشکلات ریدایرکتی را برطرف کنید

باید از تغییر مسیر زنجیره ای و حلقه ای اجتناب کنید.
زنجیره‌های ریدایرکت زمانی هستند که می‌خواهید ترافیک را از صفحه A به صفحه B هدایت کنید، اما ابتدا به صفحه C تغییر مسیر دهید.
حلقه های ریدایرکت زمانی هستند که یک زنجیره تغییر مسیر ایجاد می کنید که در همان صفحه شروع و به پایان می رسد و کاربران و ربات ها را در یک حلقه بی پایان به دام می اندازد.
هم زنجیره‌های تغییر مسیر و هم حلقه‌ها، گوگل را مجبور می‌کنند تا چندین درخواست غیرضروری را به سرور شما ارسال کند و بودجه خزیدن شما را کاهش دهد. برای اینکه بودجه خزیدن خود را صرف تغییر مسیرهای غیرضروری نکنید، به صفحات تغییر مسیر داده شده پیوند ندهید. در عوض، آنها را به روز کنید تا به صفجه با وضعیت 200 اشاره کنند.

6. برطرف کردن سنگینی سرور

مشکلات خزیدن ممکن است به دلیل بارگیری بیش از حد سرور شما اتفاق بیفتد (کمتر از حد انتظار پاسخ می دهد). اگر Googlebot به دلیل بارگیری بیش از حد سرور شما نتواند از صفحه خاصی بازدید کند، فعالیت خزیدن خود را کاهش می دهد. این ممکن است باعث شود برخی از محتوای شما خزیده نشود.
گوگل سعی خواهد کرد در آینده از وب سایت شما بازدید کند، اما کل فرآیند ایندکسینگ به تعویق خواهد افتاد. شما باید با ارائه دهنده هاست خود برای هر گونه مشکل سرور در سایت خود بررسی کنید.
در همین حال، گزارش آمار خزیدن خود را در گوگل سرچ کنسول بررسی کنید. گزارش را باز کنید، دامنه خود را انتخاب کنید و روی میانگین زمان پاسخ (ms) کلیک کنید. این به شما نشان می دهد که چقدر طول می کشد تا سرور شما بارگذاری شود. احتمالاً متوجه ارتباطی بین کل درخواست‌های خزیدن و میانگین زمان پاسخ خواهید شد.

7. رفع سنگینی وب سایت

وب سایت های پر منابع دلیل دیگری برای مشکلات خزیدن هستند. اگر صفحه ای خواستار خزیدن و رندر شدن چندین منبع اضافی باشد (مانند چندین فایل CSS یا فایل های جاوا اسکریپت)، تأثیر منفی خاصی بر بودجه خزیدن شما دارد. این به این دلیل است که هر منبعی که Googlebot برای ارائه صفحه شما استفاده می کند در بودجه خزیدن شما به حساب می آید. شما باید فایل های جاوا اسکریپت و CSS سایت خود را بهینه کنید. بهینه سازی این فایل ها تاثیر منفی کد شما را کاهش می دهد.

چه زمانی صفحات “Discovered – currently not indexed” را بهینه کنیم

در برخی موارد، نشانی‌های اینترنتی که وضعیت “Discovered – currently not indexed”دارند، نیازی به به‌روزرسانی ندارند. لازم نیست کاری انجام دهید اگر:
تعداد URL های تحت تأثیر کم است و با گذشت زمان خزیده و فهرست می شوند.
این گزارش حاوی نشانی‌های وب است که نباید خزیده یا فهرست‌بندی شوند، به‌عنوان مثال، آن‌هایی که دارای تک کنونیکال یا «noindex» هستند، یا آن‌هایی که توسط robots.txt مسدود شده‌اند.
بسیار مهم است که بررسی کنید آیا URL های شما باید در وهله اول خزیده شوند یا خیر. طبیعی است که برخی از صفحات به عنوان “Discovered – currently not indexed” گزارش شوند. اما اگر:

• تعداد URL ها افزایش می یابد
• URL های ضروری وضعیت “Discovered – currently not indexed” هستند

باید URL های آسیب دیده را بررسی و بهینه سازی کنید؛ زیرا این امر می تواند منجر به افت قابل توجه رتبه و ترافیک شود.

ابزار بازرسی URL

هنگامی که تصمیم گرفتید محتوا و URL های خود را به روز کنید، می توانید درخواست کنید که صفحات خاصی از طریق ابزار بازرسی URL گوگل ایندکس شوند. The URL inspection tool را در کنسول جستجوی گوگل باز کنید. URL مورد نظر برای ایندکس کردن را در نوار جستجو در بالای صفحه جای‌گذاری کنید.
پس روی دکمه “درخواست ایندکس” کلیک کنید. استفاده از The URL inspection tool برای درخواست ایندکس تضمین نمی‌کند که صفحه خزیده و ایندکس می‌شود. این فقط یک سیگنال به Google ارسال می کند که می خواهید این صفحه با اولویت بالا خزیده و ایندکس شود.

جمع بندی

نشانی‌های وب در “Discovered – currently not indexed” به دلیل کیفیت سایت، پیوندهای داخلی و مشکلات بودجه خزیدن ایجاد می‌شوند.
در اینجا نکات کلیدی وجود دارد که می تواند به خزیدن و ایندکس شدن صفحات شما کمک کند:

• کیفیت و اصالت صفحات آسیب دیده خود را بررسی کنید
• پیوندهای داخلی را به خصوص برای صفحات حیاتی اعمال کنید
• از robots.txt برای جلوگیری از خزیدن Googlebot در صفحات با کیفیت پایین استفاده کنید
• یک استراتژی ایندکس داشته باشید که بر مهمترین صفحات متمرکز باشد
• بودجه خزیدن خود را بهینه کنید تا Google منابع بیشتری برای خزیدن در این صفحات داشته باشد.

آیا صفحه‌هایی با “Discovered – currently not indexed”نیز دارید؟ امیدواریم این مطلب به حل این مشکل به شما کمک کند.

---