خوانده شدن یا خوانده نشد، مساله برای robots.txt این است! ایجاد و حفظ فایل‌های صحیحrobots.txtمیتواند در برخی موقع دشوار باشد. در حالی که بیشتر سایت‌ها این کار را ساده می‌دانند (نکته: بیشتر این سایت‌ها اغلب به فایل‌های robots.txt نیزی ندارند) قرار داشتن دستورات درون فایل‌های پر حجم robot.txt که میتواند URLهای مجزا را بلاک کند ممکن است دارای ریسک باشد. به منظور آنکه این امر ساده تر شود، ما تمایل داریم تا ابزار وبمستر جدید خود با عنوان robots.txt testing toolرا به شما معرفی نمائیم. شما میتوانید ابزار تست گیری آپدیت شده را در Webmaster Toolsو در بخش Crawl مشاهده نمائید: در اینجا شما میتوانید فایل‌های موجود robots.txt را مشاهده نمائید و URLهای جدید را مورد بررسی قرار دهید که آیا قابل خوانده شدن هستند یا خیر. به منظور آنکه راه شما در میان دستورات پیچیده مشخص شود، این ابزار به شما نکته اصلی را به موجب به وجود آمدن موضوع شده است را نشان میدهد. شما میتوانید در فایل‌ها تغییراتی را اعمال کرده و آن‌ها را نیز مورد آزمایش قرار دهید. تنها کاری که پس از آن لازم است انجام دهید این است که فایل اصلاح شده را پس از انجام آزمایش‌های خود در سرور سایت آپلود نمائید تا تغییرت لازم در صفحه‌های شما ایجاد شود.
به علاوه شما قادر هستید تا مروری بر نسخه‌های قدیمی فایل‌های robots.txt قدیمی خود داشته باشید و مشاهده نمائید که در چه زمانی عدم دسترسی برای روبات‌های ما وجود داشته است. برای مثال در صورتی که googlebot ۵۰۰مورد خطای سرور برای یک فایل robots.txt مشاهده کند، به طور اتوماتیک بررسی بیشتر برای آن سایت را متوقف خواهد کرد.
.png "لوگو")
