فایل robotx.txt فایل robots.txt

[erfan98_ 0]

سلام دوستان

میدونیم که فایل robots باید بسته به نوع سایت و نیازهاش ساخته بشه.

کسی میدونه چه معیارهایی رو باید ملاک قرار بدیم برای ساخت فایل ربات برای یه سایت خاص؟

 

مثلا بستن feed

خطاهای وبمستر و ...                         

 

سپاس

[poshenama 145]

سلام

آموزش فایل robots.txt در لینک زیر

https://websima.com/robots-txt/

 

[erfan98_ 0]

سلام خیلی ممنون از راهنمایی تون. بله با سرچ میشه به این آموزش ها رسید.

 

اجازه بدین دقیق تر بگم:

 

مثلا اینو همه دارن:

Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: http://www.example.com/sitemap.xml

 

 

مثلا یه عالمه خطای اکسکلود در وبمستر که آخرش با feed تموم میشه دارم.

یا مثلا یه سری فایل ها و لینکا بلاک یا though block شده توی وبمستر

 

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin

Disallow: /wp-content/plugins/

Disallow: /feed

Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/

 
Sitemap: http://www.example.com/sitemap.xml

 

مثلا از کجا مطمئن بشم که دستورای بالا برای ساتم خوبه یا نه؟