روش بلوک کردن آدرس در robots.txt ؟

[jafar1374 15]

سلام

الان در robots.txt گوگل وب مستر من این موارد هستند :

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Sitemap: http://site.com/sitemap.xml.gz

و پایینشم ی کادره که

URLs Specify the URLs and user-agents to test against.

و اسم سایتم.

اول اینکه می خوام ببینم اینها درست هستند یا نه و دوم اینکه اکه بخوام آدرسی رو در اینجا اضافه کنم به چه شکلی هستش؟

مثلا http://site.com/activity و یا چون قبلا از بادی پرس استفاده می کردم و نوع ادرس به شکل archive بودش و الان ساختار لینک رو عوض کردم می خوام این نوع آدرس دیگه تو گوگل نباشه که خطای 404 بزنه

حالا برای اینکه از طریق robots.txt :

http://site.com/activity و این نوع ادرس رو http://patomatlovers.com/archives/2824 حذف کنم کنم چی به روبوت تکست اضافه کنم ؟

Disallow: /؟؟؟؟؟؟؟؟؟؟؟/

نیاز به راهنمایی شدید

با سپاس

[arman100000 1264]

404 رو ميشه با ريدايرکت 301 حل کرد

براي بلاک کردن آدرس هم بعد از disallow نام پوشه رو قرار ميديد

مثلا :

Disallow:/activity/

[SEOmoz 350]

روبات تکست برای حذف کردن آدرس نیست بلکه برای استثنا قرار دادن یک آدرس از خزش هست.

اطلاعات بیشتر:

http://www.forum.seomoz.ir/f44/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D9%86%D9%88%D8%B4%D8%AA%D9%86-robots-txt-%D8%A7%D8%A8%D8%AA%D8%AF%D8%A7%DB%8C%DB%8C-%D8%AA%D8%A7-%D9%BE%DB%8C%D8%B4%D8%B1%D9%81%D8%AA%D9%87-263/

[imanfakhar 26231]

http://www.askapache.com/seo/updated-robotstxt-wordpress.html#WordPress_robots-txt_SEO

http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress

در بخش

Robots.txt Optimization

نمونه های پیشنهادی وردپرس