فایل .htaccess و robots.txt

[Sina_Hp 15]

سلام

ببخشید الان محتویات robots.txt من اینه:

http://fashionstar1.ir/robots.txt

یکی از دوستان توو انجمن گفتن که وردپرس اینارو مد نظر قرار داده:

Sitemap: http://www.example.com/sitemap.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
# digg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

الان من اینارو جایگزین robots خودم کنم؟

راسی سایت من در زمینه ی عکسه.

راسی من از افزونه ی yoast استفاده میکنم ولی توو قسمت ادیت فایلز فقط به من اجازه ی تغییر محتویات htaccess رو داده که اونم به شرح زیره:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# END WordPress
RewriteCond %{HTTP_REFERER} !^http://fashionstar1.ir/.*$	 [NC]
RewriteCond %{HTTP_REFERER} !^http://fashionstar1.ir$	 [NC]
RewriteCond %{HTTP_REFERER} !^http://www.fashionstar1.ir/.*$	 [NC]
RewriteCond %{HTTP_REFERER} !^http://www.fashionstar1.ir$	 [NC]
RewriteRule .*\.(jpg|jpeg|gif|png|bmp)$ - [F,NC]
## EXPIRES CACHING ##
ExpiresActive On
ExpiresByType image/jpg "access plus 1 year"
ExpiresByType image/jpeg "access plus 1 year"
ExpiresByType image/gif "access plus 1 year"
ExpiresByType image/png "access plus 1 year"
ExpiresByType text/css "access plus 1 month"
ExpiresByType application/pdf "access plus 1 month"
ExpiresByType text/x-javascript "access plus 1 month"
ExpiresByType application/x-shockwave-flash "access plus 1 month"
ExpiresByType image/x-icon "access plus 1 year"
ExpiresDefault "access plus 2 days"
## EXPIRES CACHING ##

نیاز به تغییرات نداره؟!

من نمیدونم بخاطر ایناست یا نه ولی من الان 3هفته نیست که سایتم رو راه انداختم، بعدش نزدیک 2گیگ از ترافیک پهنای باندم استفاده شده! واسه منی که بارگزاریام 100mb هستن غیر طبیعی نیست؟؟ ممنونم از کمک دوستان

ویرایش شده دی 92 توسط Sina_Hp

[Parsa 23463]

برای هر سایت میتونه متفاوت باشه

و یک مسیله شخصی هست

مشکلی هم فایلها ندارد

[Sina_Hp 15]

برای هر سایت میتونه متفاوت باشه

و یک مسئله شخصی هست

مشکلی هم فایلها ندارد

ممنون پارسا جان... robots الان تایپش توو هاست text/plain هست ولی htaccess تایپش text/x-generic هست... مشکلی نداره الان؟ یعنی میگم این دوتا نباید یکی باشه تایپشون؟

ویرایش شده دی 92 توسط Sina_Hp

[Parsa 23463]

اگر نیست ایجاد کنید در روت سایت

[نوین ادمین 3860]

در مورد روبوت تکستون زیاد حساسیت به خرج ندید . کدهایی که استفاده میکنید درست هستند . کافیه بدونید کدها چکار براتون انجام میدن (بخونید متوجه میشید گوگل به کجها دسترسی داره به کجاها نداره) طبق نظر خودتون ویرایشش کنید .

نوع فایل htaccess و robot هم فکر میکنم باید به همین صورت باشه . مشکل خاصی نداره .

[Sina_Hp 15]

این کد یعنی چی؟

Disallow: /category/*/*

یعنی اجازه ی دسترسی به موضوعات رو نمیده؟

[Black_Sky 6349]

ببینید شما میتونید دسترسی بدید و میتونید جلوش رو هم بگیرید

فقط شما نباید به چیزهایی که گوگل میخواد عدم دسترسی بدید

[Sina_Hp 15]

خب الان این

Disallow: /category/*/*

چیزی نیست که گوگل میخواد؟!

از کجا بدونم گوگل چی میخواد چی نمیخواد؟!

[Black_Sky 6349]

قبلا دربارش صحبت شده کافیست فقط جستجو کنید

بهترین و کامل ترین روبوت ها که از نظر سئو و امنیت کامل باشند در سایت وجود دارد

[Sina_Hp 15]

جستجو کردم ولی من که نمیدونم کدوم خوبه کدوم بده! هر کی یه چیزی گفته!

[Parsa 23463]

این کد یعنی چی؟

 Disallow: /category/*/* 

یعنی اجازه ی دسترسی به موضوعات رو نمیده؟

به آدرسهایی که ابتدای آن category باشد دسترسی نمیده

[Sina_Hp 15]

خب این که بد بود! پس حذفش کردم اینو

[سعید حسینی 2409]

جستجو کردم ولی من که نمیدونم کدوم خوبه کدوم بده! هر کی یه چیزی گفته!

روبات جستجوگر گوگل هرچه بیشتر به مطالب شما دسترسی داشته باشه در گوگل رتبه بهتری پیدا خواهید کرد و فقط مطالب و قسمت هایی که شخصی و محرمانه و نیاز به انتشار عمومی ندارند حذف دسترسی (Disallow) کنید.

[Sina_Hp 15]

روبات جستجوگر گوگل هرچه بیشتر به مطالب شما دسترسی داشته باشه در گوگل رتبه بهتری پیدا خواهید کرد و فقط مطالب و قسمت هایی که شخصی و محرمانه و نیاز به انتشار عمومی ندارند حذف دسترسی (Disallow) کنید.

خب الان توو روبوت من چیزه عمومی ای هست که من اجازه ی دسترسی نداده باشم؟!

[نوین ادمین 3860]

خب این که بد بود! پس حذفش کردم اینو

این حرف شما در همه جا صادق نیست . مثلاً در مورد تگ ها بعضی از دوستان اعتقاد به ایندکسش دارن ولی بعضی ها ندارن. در مورد دسته بندی ها هم همینطوره . در نقشه سایت دسته بندی ها رو لحاظ نمیکنن و در روبوت هم جلوی ایندکسش رو میگیرن بعضی از دوستان برخی هم اعتقاد به ایندکسش دارن . من فکر میکنم دسته بندی ها نباید ایندکس بشه تا محتوای تکراری ایجاد نکنه .

[Sina_Hp 15]

محتوای تکراری ایجاد بشه چی میشه؟ از نظر سئو مشکلی داره؟

[نوین ادمین 3860]

ببینید گوگل وقتی به سایت شما میرسه از راه صفحه تگ ها به پست هاتون دسترسی داره - از صفحه اصلی دسترسی داره - از آرشیو دسترسی داره و از دسته بندی ها هم میتونه وارد بشه و میتونه صفحات مختلف رو با آدرس های متفاوت لیست کنه و در این بین صفحات مشابه با آدرس های گوناگون ذخیره میشه . بهتره مسیرهای مختلف که زیاد مهم نیست رو ببیندید . آرشیو و دسته بندی و . . از این موارده .