فایل robots.txt

[elahe1055 4]

یه سری مطالب خوندم در موردش من می خوام همه سایت سرچ بشه و ممنوعیت نداشته باشه این کد کافیه

User-agent: *

بعد اگه من نخوام ممنوعیتی بهش بدم از نظر امنیتی مشکل پیش می یاد برای سایتم

چون من می خوام همه نوشته ها و برگه ها و عکس ها رو سرچ کنه گوگل

این اسم سایت هم هست

http://www.shaddone.ir/

اگه کد دیگه هم مهم که اضافه بشه بگید بهم

مگه این فایل برای بهتر دیده شدن در گوگل نیست پس چرا همش باید بهش disallow بهش بدیم

[imanfakhar 26231]

این فایل ربطی به امنیت نداره

اگر این فایل را درست پر نکنید بهتره نباشه

وظیفه این فایل اینه که جلوی اتلاف وقت ربات ها را بگیره و بهشون بگه چه پوشه هایی نمی تونند حاوی مطالب برای نتایج جستجو باشند و اگر قرار باشه ربات را بیشتر به سمت پوشه های بیمورد هدایت کنه خیلی زود وارد بلاک لیست گوگل می شید و از لیست جستنجو حذفتون می کنند

مسلما جستجوی پوشه های ادمین - اینکلود - افزونه ها و قالب ها بجز اتلاف وقت چیزی عایدتون نمی کنه

این نمونه پیشنهادی وردپرسه

بهتره از همین استفاده کنید

Sitemap: http://www.example.com/sitemap.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
# digg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress#Robots.txt_Optimization

یادتون نره سایت مپ را در خط اول با آدرس سایتتون ست کنید

[isk 4447]

مگه این فایل برای بهتر دیده شدن در گوگل نیست پس چرا همش باید بهش disallow بهش بدیم

اصولاً همه چیز دیده میشه مگر اینکه شما نخواین دیده بشه - برای همین هم هست نیازی نیست بگید که چه چیزهایی دیده بشن (چون همه چیز بطور پیشفرض دیده میشن) - پس کافیه بگید که چه چیزهایی دیده نشن (Disallow). مثلاً ممکنه شما نیاز داشته باشید تا فایل های امنیتی و یا فولدر ارتباط با بانک خودتون رو برملا نکنید.

و یا خیلی از ابزارهایی که درون سایت شما سرویس های داخلی به سایر بخش های سایتتون میدن و نیازی نیست که دیده بشن.