رفتن به مطلب

مشکل با robots.txt


Seyed Ali

پست های پیشنهاد شده

سلام

بعضی عنوان های سایتم رو تو گوگل سرچ می کنم زیر لینکی که نمایش می ده اینو می نویسه :

« به دلیل robots.txt این سایت، توضیحی برای این نتیجه وجود ندارد »

این محتویات فایل روبوت منه ، بی زحمت ببینید مشکلی داره ؟ :



# All Bots
User-agent: *
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Allow: /sitemap.xml.gz$

# Sitemap
Sitemap: http://razva.ir/sitemap.xml.gz

لینک به ارسال

سلام

یک سرچ با گوگل در با اسم سایت تون زدم ؛ ولی موردی که اینطوری باشه رو ندیدم.

شما در این فایل آدرس هایی از سایت تون که نمیخواید کراول بشه رو با Disallow مشخص کردید.

اگه موردی هم گوگل پیام دسترسی رو نشون میده ؛ توی همین فایل روبوتس دسترسی بات ها رو محدود کردید.

لینک به ارسال

php را حذف کنید وتست بگیرید در ضمن نمونه اصلی این فایل هم در وردپرس موجوده

لینک به ارسال

php را حذف کنید وتست بگیرید در ضمن نمونه اصلی این فایل هم در وردپرس موجوده

منظورت این کده؟ :


Disallow: /*.php$

اگه چیزی هم برای بهتر شدنش هست لطفا بفرمائید

لینک به ارسال

در مورد این فایل نمی شه قضاوت عام کرد هر سایتی خودش می داند چگونه می خواهد دیده شود این نمونه را وردپرس ارائه داده است


Sitemap: http://www.example.com/sitemap.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
# digg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

همینطور بخوانید

http://www.askapache.com/seo/updated-robotstxt-wordpress.html

و

http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress

لینک به ارسال

به گفتگو بپیوندید

هم اکنون می توانید مطلب خود را ارسال نمایید و بعداً ثبت نام کنید. اگر حساب کاربری دارید، برای ارسال با حساب کاربری خود اکنون وارد شوید .

مهمان
ارسال پاسخ به این موضوع ...

×   شما در حال چسباندن محتوایی با قالب بندی هستید.   حذف قالب بندی

  تنها استفاده از 75 اموجی مجاز می باشد.

×   لینک شما به صورت اتوماتیک جای گذاری شد.   نمایش به صورت لینک

×   محتوای قبلی شما بازگردانی شد.   پاک کردن محتوای ویرایشگر

×   شما مستقیما نمی توانید تصویر خود را قرار دهید. یا آن را اینجا بارگذاری کنید یا از یک URL قرار دهید.

×
×
  • اضافه کردن...