ربات گوگل ( Googlebot ) از محرک های
robot.txt برای کلیه فایل هایی استفاده می کند که خوانده می شوند. در صورتی که شما مانع crawl شدن برخی از این فایل ها شوید (و یا در صورتی که این فایل ها به کمک
سرور واسطه ای در اختیار قرار گیرند که آن
سرور ربات گوگل را از crawl باز دارد)، این امکان برای گوگل وجود نخواهد داشت تا این فایل ها را به صورت render شده به شما نشان دهد. همچنین، در صورتی که
سرور قادر به پاسخگویی یا بازتاب خطاها نباشد، باز هم این امکان برای گوگل وجود نخواهد داشت تا از این منابع نیز استفاده کند (می توانید مسائل مشابه را در بخش Crawl Errors در webmaster Tools مشاهده نمایید). در صورتی که گوگل با هریک از این مسائل مواجه شود، آن ها را در زیر پیش نمایش تصویر نشان میدهد.
توصیه گوگل به شما این است که اطمینان داشته باشید ربات گوگل قادر است به کلیه منابع سایت شما که تاثیر زیادی بر ظاهر سایت دارند، دسترسی داشته باشد. این امر موجب میشود که Fetch as Google برای شما ساده تر شود و این امکان را برای ربات گوگل فراهم می سازد تا محتوای شما را به خوبی پیدا کرده و ایندکس دهی نماید. برخی گونه های محتوا مانند دکمه های شبکه های اجتماعی، فونت ها و اسکریپت های آنالیز سایت تاثیر زیادی بر ظاهر سایت نخواهند داشت و می توان Crawl آن ها را مسدود کرد. برای اطلاعات بیشتر می توانید به پست
how Google is working to understand the web better مراجعه نمایید.
.png "لوگو")
