robots.txt

[علی زینلی 2114]

با سلام.

دوستان میشه بگین یه robots.txt خوب و درست حسابی چه شکلی هست؟

یه سری سایت ها رو گشتم امّا هرکدومشون یه جوری این فایل ها رو درست میکردند و یه سری چیز های عجیب غریب :|

کسی اطلاعاتی در مورد این فایل داره که به اشتراک بذاره؟

ممنون

[majid1889 733]

این پیشنهاد خود وردپرسه :

http://codex.wordpress.org/Search_Engine_Optimization_for_Wordpress#Robots.txt_Optimization

[Alireza Xn 1644]

همین دوتا پوشه wp-admin و wp-includes رو بلوک کنید کافیه .

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes

[Danny 0]

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

# Google AdSense
User-agent: Mediapartners-Google*
Allow: /


User-agent: Googlebot-Image
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

sitemap: Address Sitemap

 

[نوین ادمین 3860]

پوشه تم و پلاگین ها نباید بلاک بشه . گوگل باید به کلیه فایل های css و javascript دسترسی داشته باشه تا بتونه سایت به به صورت کامل ببینه . از طریق fetch as google میتونید این مورد رو بررسی کنید