رفتن به مطلب

بهترین فایل robots.txt


ofpersia

پست های پیشنهاد شده

درود بر شما؛

یه فایل واسه ربات پیدا کردم ولی چند تا سوال دارم:

1. آیا این محتویات بیشترین نتیجه رو به رباط ها و در نتیجه به گوگل معرفی و نمایش میده؟

(اگه خطی ازش نمیذاره توی نتایج گوگل باشم رو بگید حذف کنم)مرسی

2. من رو هاستم دو تا زیر دامنه با سیستم وردپرس و یه زیردامنه انجمن و یکی دو تا زیر دامنه ی دیگه دارم

آیا واسه هر کدام از اونها که به وبمستر معرفی کردم باید یه فایل رباط جداگانه در دایرکتوری مربوطه قرار بدم یا اینکه یه فایل روت واسه همش کافیه و در ریشه باید قرارش بدم؟

چند خط آخرشو به این منظور تغییر دادم که همه ی ساب دامینهامو جسنجو کنه:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

Sitemap: http://www.site.ir/sitemap.xml

Sitemap: http://www.site.ir/1/sitemap.xml

Sitemap: http://www.site.ir/2/sitemap.xml

Sitemap: http://www.site.ir/3/sitemap.xml

Sitemap: http://www.site.ir/4/sitemap.xml

لینک به ارسال

بهترین وجود ندارد

برای هر سایت میتواند متفاوت باشد

در محتوا بخشهایی که دسترسی داده نمیشود مشخص هست

برای زیردامنه هم به صورت جدا ایجاد کنید

لینک به ارسال

پس اون 5 تا خط آخری رو باید پاک کنم

و پنج تا فایل robots.txt مثه هم درست کنم و آخر هر فایل یکی از اون کدها رو قرار بدم

1. درسته؟

2. اگه از اون فایل کدهایی که میتونه نباشه رو حذف کنید و بهم بدید ممنون میشم

لینک به ارسال

3. پس برای هر زیردامنه(subdomain.site.ir) باید یه فایل ربات جدا نوشت. درسته؟

4.میشه آخر همه ی فایلهای ربات این کدو اضافه کرد که همه همدیگه رو به همدیگه معرفی کنن؟

Sitemap: http://www.site.ir/sitemap.xml

Sitemap: http://www.site.ir/1/sitemap.xml

Sitemap: http://www.site.ir/2/sitemap.xml

Sitemap: http://www.site.ir/3/sitemap.xml

Sitemap: http://www.site.ir/4/sitemap.xml

ارسال قبل توضیح دادم.

؟

لینک به ارسال

شما هر سایت باید درروت خودش روبوت معرفی کنید و درباره نوع روبوت هم قبلا بحث شده

تاپیک زیر هم بررسی کنید

http://forum.wp-parsi.com/topic/4613-%D8%B1%D8%A7%D9%87%D9%86%D9%85%D8%A7%DB%8C-%DA%A9%D8%A7%D9%85%D9%84-%D8%A8%D9%87%DB%8C%D9%86%D9%87-%D8%B3%D8%A7%D8%B2%DB%8C-%D8%B3%D8%A7%DB%8C%D8%AA-%D9%88-%D8%A7%D9%81%D8%B2%D8%A7%DB%8C%D8%B4-%D8%B3%D8%A6%D9%88/page__st__30

لینک به ارسال

آقا مهدی سپاسگزارم

سوال چهارمو جواب میدی داداش؟ :unsure:

میتونم اون 5 تا خط رو به آخر همه ی فایل های روبوت اضافه کنم؟ یا اینکه آخر هر فایل روبوت (فقط باید یه لینک) به سایت مپ خودش داده بشه؟

لینک به ارسال

ممنونم آقا پارسا

فایل ربوت وردپرسمو اینطوری تنظیم کردم:

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

Disallow: /trackback/

Disallow: /feed/

Disallow: */trackback/

Allow: /wp-content/uploads/

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

Sitemap: http://www.site.ir/shop/sitemap.xml

سوال 1. این کدها بهینه هستن؟ نمیخوام زیاد گوگل رو محدود کنم

این نمونه کد خوبیه؟

واسه سایر sobdomainها که وردپرسی توش نیستن و یا انجمن مای بی بی هستن و یا اینکه صفحه ی html هست، فقط یه کد توی فایل روبوت گذاشتم:

بازهم نمیخوام گوگل رو محدودش کنم/.

سوال دوم: این کد مشکلی ایجاد نمیکنه؟

سوال سوم:

پست هایی که توی وردپرس میذاریم توی کدوم پوشه میرن؟ میخوام اشتباهی اون پوشه رو Disallow نکنم.

ممنون میشم هر سه تا سوالمو جواب بدید/.

ویرایش شده توسط ofpersia
لینک به ارسال

1- مشکلی نیست

2- اگر انجمن سایت‌مپ دارد آدرس را قرار دهید

بودن سایت‌مپ و فایل روبوت الزامی نیست

3- فایل سایت‌مپ براساس آدرس هست

وردپرس هم پستها را در دیتابیس ذخیره میکند

لینک به ارسال

آخه وبمستر اخطار میده که فایل روبوتی وجود نداره! واسه همین خواستم اونو بزارم.

انجمنو یادم نیست، اگه باشه همونو بهش میدم;)

3.آهان! حق با شماست:)

آقا پارسا، یه دنیا سپاس :wub:

لینک به ارسال
  • 1 ماه بعد...

به گفتگو بپیوندید

هم اکنون می توانید مطلب خود را ارسال نمایید و بعداً ثبت نام کنید. اگر حساب کاربری دارید، برای ارسال با حساب کاربری خود اکنون وارد شوید .

مهمان
ارسال پاسخ به این موضوع ...

×   شما در حال چسباندن محتوایی با قالب بندی هستید.   حذف قالب بندی

  تنها استفاده از 75 اموجی مجاز می باشد.

×   لینک شما به صورت اتوماتیک جای گذاری شد.   نمایش به صورت لینک

×   محتوای قبلی شما بازگردانی شد.   پاک کردن محتوای ویرایشگر

×   شما مستقیما نمی توانید تصویر خود را قرار دهید. یا آن را اینجا بارگذاری کنید یا از یک URL قرار دهید.

×
×
  • اضافه کردن...