سوال راجب robots.txt

[alam7o 92]

با سلام

این کد فایل robots.txt منه

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
Sitemap: http://www.98tarfand.com/sitemap.xml

تو اینترنت سرچ کردم بهترین robots.txt اینو پیدا کردم و سریع آپلود کردم

حالا چند تا سوال من هیچ اطلاعاتی راجب این فایل ندارم الان این میگه که اینارو ایندکس نکن ؟

اگه اره کدومارو از کد حذف کنم

اینم بگم بعد 2 ماه ورودی گوگلم فقط خودمم که بعضی وقتا از گوگل میام تو سایت

و تو وبمستر هم یه سری ارور مربوط به این فایل دارم خواستم بدونم مشکل از این فایله ؟ اینم عکس ارور

ویرایش شده آبان 93 توسط alam7o

[bestdata 830]

این کد ها رو از این فایل حذف کنید

Disallow: /category/*/*
Disallow: /*?*
Disallow: /*?

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

[alam7o 92]

ممنون از پاسختون ، اگه امکانش هست میشه یه توضیحی هم راجبشون بدید ؟

[amirali123 38]

این فایل واقعا نیازه؟

اگه نباشه چ اتفاقی میوفته؟

[alam7o 92]

این فایل واقعا نیازه؟ اگه نباشه چ اتفاقی میوفته؟

من هم زیاد وارد نیستم ولی تا اونجا که گشتم و تحقیق کردم از اهمیت خیلی بالایی برخورداره ولی گویا تنظیماتش راحت نیست

[bestdata 830]

آیا وجود robots.txt نیاز هست؟

جواب بنده اینه تا حالا حس کردید وارد یه شهر بی قانون بشید چطوریه؟ (حتی اگه اون شهر آروم و بدون اغتشاش باشه)

نبود این فایل یعی نبود قانون

اما ضرر بزرگی توی سئو نداره همونطور که وجودش هم سود زیادی نداره

اما مزایای وجودش یکیش اینه میتونید بخش هایی که نمیخواهی ایندکس بشن رو جلو گیری کنی (قدرت بازدارندگیش یکی از بالاترین قدرت هست)

دستورات Disallow باز دارنده هستند دستورات allow اجازه میده (که لازم نیست نوشته بشه)

مثلا این دستور

Disallow: /category/*/*

میگه هر وقت داخل ادرس سایت category بود حق نداری بری (البته خیلی دقیقتر از اینچیزی که گفتم مفهومشه) واسه همین دسته ها ایندکس نمیشن و همچنین اگر آدرس پیوند یکتا پست ها شامل category باشه اونا هم ایندکس نمیشن

برای اطلاعات بیشتر و دقیق تر

http://www.robotstxt.org/robotstxt.html

اینم ربات تکس گوگل

http://www.google.com/robots.txt

اینم ی نمونه ربات تکس وردپرس

http://seo.qalebfa.ir/robots.txt

[حاج ایمان 486]

ببینید اگر نباشه مشکلی پیش نمیاد این رو در نظر بگیرید ، اگر نباشه RObot هاای Crawler به این معنی میگیرن که همه جای سایت قابل خزش یا Crawl هستش ، زمانی قابل استفاده هستش که شما میخوایید بگید که قسمتی از سایت رو ایندکس نکنه ، شما اومدی Catergory رو Disalow کردی خوب عزیزم ، بعد توی سایت مپ گوگل ثبت شده و بهت اخطار داده ک آقا شما بستی دسته بندی هارو ، پس بهتره فقط wp-admin و wp-content و wp-inxludes رو disallow کنید بقیه رو نه

بهترین روش

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content

موفق باشید

[alam7o 92]

حالا بنظرتون چرا ورودی گوگل ندارم ؟ حداقل ده تایی باید باشه دیگه بعد دو ماه!!!