فایل Robots.txt چیست و تاثیر آن در سئو


منتشر شده در : دوشنبه, 30 اردیبهشت 98


فایل Robots.txt چیست و تاثیر آن در سئو

فایل Robots.txt چیست

یک فایل txt ساده هست که دسترسی موتورهای جستجو و ایندکس کردن همه یا قسمتی از محتوای سایت شما را محدود می کند در واقع این فایل به ما کمک می کند تا از ایندکس شدن صفحاتی مثل بخش مدیریت یا صفحات که ارزشی از لحاظ سئو ندارند جلوگیری کنیم. فایل Robots.txt در ریشه اصلی سایت قرار میگیرد تا برای موتورهای جستجو قابل شناسایی باشد.

هنگامی که ربات های موتورهای جستجو به سایت ما می رسند اول از همه این فایل را باز می کنند و دسترسی های موجود در آن را مطالعه می کنند و طبق آن دستور ها شروع به ایندکس کردن صفحات سایت ما می کنند. اگر ایندکس شدن صفحات سایت مان مهم نمی باشد قرار دادن این فایل هم اجباری ندارد فقط می توانید برای کمتر شدن error های مربوط به درخواست این فایل از سرور می توانید آن را قرار دهید.

آموزش ساخت فایل robots.txt

دستوراتی که در این فایل قرار میگیرند به شرح زیر می باشد : 

  • User-agent :  شما با این دستور نوع ربات را معین می کنید.
  • Disallow : آدرس صفحه ایی که قرار است موتورهای جستجو آن را ایندکس نکنند .

اسم همه ربات ها را می توانید از آدرس زیر بدست آورید :

http://www.robotstxt.org/db.html

User-agent: *

Disallow: /admin/

 

منظور از * یعنی همه ربات های موتورهای جستجویی که از قانون فایل robots.txt پیروی می کنند و منظور از خط دوم این است که پوشه admin در دایرکتوری را ایندکس نکنند.

محدود کردن فایل ها : 

User-agent: *

Disallow: /private.png

 

 

برای محدود کردن یک ربات خاص که اسامی آن در لینک بالا مشاهده کردید : 

User-Agent: Googlebot

Disallow: /folder2/

برای دسترسی کامل ربات ها به همه صفحات دستورات زیر که در حالت پیشفرض هم همینطور هست : 

User-agent: *

Allow: /

 

برای مسدود کردن همه صفحات برای همه ی ربات هایی که به قوانین فایل robots.txt  پایبندند : 

User-agent: *

Disallow: /

 

اعمال محدودیت در صفحات 

برای اینکه برای یک صفحه خاص محدودیت هایی را اعمال کنید دستورات زیر را بکار ببرید :

</"meta name="robots" content="noindex >

 مثال :

</"meta name="googlebot" content="noindex >

 

نمایش صفحات محدود شده در گوگل وب مستر

شما همچنین می توانید در قسمت crawl > robots.txt Tester   صفحاتی که با استفاده از فایل robots.txt محدود شده اند را مشاهده کنید  و از درست کار کردن فایل robots.txt اطمینان حاصل کنید.

 


نظر شما: