• Telegram
  • Google Plus
  • Linked In

فایل robot.txt و کاربرد آن در طراحی سایت

فایل robot.txt و کاربرد آن در طراحی سایت

تاریخ درج: خلاصه

طراحی سایت، فایل robot.txt ، کاربرد فایل robot.txt در طراحی سایت

فایل robot.txt و کاربرد آن در طراحی سایت

یکی از قسمت هایی که باید در طراحی سایت به آن توجه زیادی شود طراحی فایل robot.txt است. این فایل در واقع به موتورهای جستجو میگوید کدام صفحه از سایت را در چه زمان هایی و با چه فاصله زمانی پویش کنند.



این فایل را یا برنامه نویس در زمان طراحی وب سایت و یا وب مستر بعداً به صورت جداگانه طراحی میکند و در محل مناسب در سایت آپلود میکند. پس به خاطر داشته باشید در صورتی که شما زیر دامنه های متفاوتی دارید باید با هر کدام از آن ها یک فایل robots.txt ایجاد کنید و از متد های فایل robots.txt به خوبی استفاده نمایید. با این حال استفاده از تگ متا را در موارد خاص حتماً در نظر بگیرید. بهترین روش برای جلوگیری از دسترسی موتور های جستجو به پوشه های شما قرار دادن رمز برای پوشه ها توسط htaccess. است.
شکل کلی این فایل را در زیر توضیح میدهیم:
اگر بخواهید اجازه دهید موتور جستجو کل اطلاعاتتان را پویش کند شکل استفاده ی آن به صورت زیر است:
User-agent: *
Disallow:
یا
User-agent: *
Allow: /
اگر بخواهید اجازه ندهید کل اطلاعاتتان را پویش کند شکل استفاده ی آن به صورت زیر است:
User-agent: *
Disallow:

اگر بخواهید اجازه ندهید تعدادی از فولدر ها را پویش کند شکل استفاده ی آن به صورت زیر است:
User-agent: *
Disallow: /folder/

اگر بخواهید اجازه دهید یکی یا تعدادی از فایل ها در آن فولدر که اجازه ی پویش کردن را از آن سلب کردید را پویش کند، شکل استفاده ی آن به صورت زیر است:
User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html

یکی دیگر از استفاده های فایل robot.txt این است که زمانی که شما صفحه ای را نمی خواهید گوگل ایندکس کند و در نتایج جستجو نشان دهد این است که از این فایل استفاده کنید که به طور قطع از نتایج برداشته شود. شکل استفاده از این فایل به صورت زیراست:
با این خط صفحه ایندکس نمی شود، اما لینک های صفحه ممکن است دنبال شوند.

با این خط صفحه ایندکس نمی شود و لینک ها هم دنبال نمی شوند.

تاکنون نظری ارسال نشده است،شما اولین نفر باشید

سؤال یا نظر خود را ارسال کنید

  • Telegram
  • Google Plus
  • Linked In