بهترین فایل robots.txt برای وردپرس

[حسین 323]

دیدم بازار پست های سئو داغ هست گفتم منم داغ ترش کنم :دی

لطفا نظرتون رو درباره فایل مناسب برای robots.txt وردپرس اعلام کنید.

فایل زیر چگونه هست به نظرتون:

User-agent: *
# Directories
Disallow: /?theme=
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /go/
Disallow: /share/
Disallow: /logo/
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss/
Disallow: /comments/feed/
Disallow: /date/
Disallow: /tag/
Disallow: /author/
Disallow: /wp-content/cache/
Disallow: /wp-content/languages/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/backup-db/
Disallow: /xmlrpc.php
Disallow: /wp-cron.php
Disallow: /wp-register.php
Disallow: /wp-signup.php
Disallow: /wp-trackback.php
Disallow: /wp-settings.php
Disallow: /wp-mail.php
Disallow: /wp-login.php
Disallow: /wp-comments-post.php
Disallow: /wp-activate.php

Sitemap: http://domain.com/sitemap.xml.gz

[mob-98 28]

دوستان لطفا نظرتون رو اعلام کنید میخوام بدونم اگه این خوبه جایگزین کنم

[Masoud 296]

سلام،

خود وردپرس ، اینجا :

https://codex.wordpress.org/Search_Engine_Optimization_for_WordPress

این محتویات رو برای فایل robots.txt مد نظر قرار داده :

Sitemap: http://www.example.com/sitemap.xml

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:

# digg mirror
User-agent: duggmirror
Disallow: /

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

محتویات فایل robots.txt می‌تونه بسته به نیازتون تغییر کنه.

ولی به طور پیش‌فرض robots.txtی که خود وردپرس معرفی کرده ، بهتره !

[imanfakhar 26231]

نکته: اگر می شد فایل واحدی را برای robots.txt معرفی کرد وردپرس در بسته اش این فایل را آماده قرار می داد

تمام نمونه ها فقط در حد نمونه اند و هرکسی باید به فراخور سایت خودش این فایل را باز نویسی کنه (اصلا اگه قرار باشه همشون یکجور باشند که دیگه نیازی بهش نیست گوگل در موتور جستجوش اعمالشون می کنه)

[BahramElf 3]

سلام

من فایل زیر رو برای

robots.txt قرار دادم اما متاسفانه گوگل این ارور رو بهم میده

Googlebot cannot access CSS and JS files on http://www.mashin-baz.com

Google systems have recently detected an issue with your homepage that affects how well our algorithms render and index your content. Specifically, Googlebot cannot access your Javascript and/or CSS files because of restrictions in your robots.txt file. These files help Google understand that your website works properly so blocking access to these assets can result in suboptimal rankings.

که فکر میکنم داره میگه گوگل بات نمیتونه به فایل های css , js سایت دسترسی داشته باشه. فایل ربات این هست:

User-agent: *
Disallow: /wp-admin/
Disallow: /cgi-bin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/languages
Disallow: /wp-content/ngg
Disallow: /wp-content/ngg_styles
Disallow: /wp-content/updraft
Disallow: /wp-content/upgrade
Disallow: /trackback/
Disallow: /feed/

با اینکه من پشه theme رو از Disallow بودن خارج کردم اما باز هم همین ارور رو میده و ورودی گوگل هم چند وقته نصف شده. ممنون میشم راهنماییم کنین

[icseo 21]

با تشکر از کاربر imanfakhar بابت راهنمایی خوب و دقیقشون .

در تکمیل صحبت های ایشون باید بگم . که هدف از robots.txt هدایت موتور های جستجوگر میباشد . با محدود کردن گوگل میتوانید بازدهی سایت خود را در گوگل چند برار بکنید . منظور از هدایت نیز این مورد میباشد که پوشه ها و فایل هایی

که ارزش ایندکس شدن را ندارند رو محدود کنید . دقت کنید که فایل های js&css رو تحت هیچ شرایطی محدود نکنید . محدود کردن این فایل ها نتیجه منفی در سئو سایت شما دارد .

پیشنهاد بنده این است که دو پیج زیر رو حتما مطالعه بفرماید :

robots.txt چیست ؟

آموزش ساخت robots.txt بهینه

آخرین اخبار گوگل در سئو

موفق و سرفراز باشید.

[chem 61]

دوستان ممنون میشم اساتید یه فایل

robots.txt ایده ال که حداقل باید روی هر سیستم وردپرسی باشند قرار بدن

[علی زینلی 2114]

سلام ، این همه روی فایل robots.txt مانور ندید هیچ گونه تأثیری نداره (اینقدر که راجع بهش بحث میشه)

شما فقط یه فایل میخواین که آدرس سایت مپتون رو مشخّص کنه و اگر بخشی از سایتتون هست که خصوصی هست رو بپوشونه (مثلاً توی سایت شما ممکن هست یه قسمتی باشه که شما دوست نداشته باشین ایندکس شه)

مراقب باشید که فایل های js و CSS نباید توی فایل ربات ها دسترسیشون بسته بشه.

پس اگر شما سایتتون زیاد به فایل های جاوا اسکریپت و سی اس اس افزونه ها لینک نشده از کد زیر استفاده کنید:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Sitemap: http://آدرس سایت/sitemap.xml

ولی اگر شده حتّی همون قسمت wp-plugins رو هم ببنیدید

User-agent: *
Disallow: /wp-admin/
Sitemap: http://آدرس سایت/sitemap.xml

بقیّه قسمت ها که توی برخی فایل های robots.txt نوشته اصلاً چرته محضه! خب گوگل چیه یه فرم رو میخواد ایندکس کنه دقیقاً؟

درضمن گوگل برای شما محدودیّتی توی تعداد صفحات که میخواد بگرده نذاشته ، هرچند اگر صفحات بی ارزش رو قفل کنین بهتره! علاوه بر این بگم که تا موقعی که linkـی به گوگل داده نشه که گوگل نمیره مثل یه نرم افزار شروع کنه از site.com/1 ، site.com/2 و... شروع به گشتن کنه!

تنها زمانی گوگل آدرسی رو بررسی میکنه که یا توی سایت شما بهش لینک شده باشه مثل: www.site.com/wp-content که برای قسمت ورود در سایتی لینک شده یا توی سایت مپتون هست ، اون موقع گوگل واردش میشه و بررسیش میکنه! خب موقعی که یه فرم اونجاست اصلاً گوگل چی اون رو میخواد ایندکس کنه براتون؟ :|

اگرم همون موقع روی لینک یه no="follow" بفرستید که دیگه هیچی اصلاً نیازی نیست

بهترین مصداق حرف من فایل ربات خود گوگل هست:

http://www.google.com/robots.txt

ببینید که تنها قسمت هایی رو disallow کرده که مربوط به کاربر هست نه موتور های جستجو.

(مهم ترین قسمت فایل ربات هم قسمت معرفی سایت مپش هست)

موفّق باشید.

[سیدرضا بازیار 257]

فکر کنم این کاملترین باشه

#######################################################
#TCJ Robots
# All Bots
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /wp-content/
Disallow:/wp-content/themes
Disallow:/wp-content/upgrade
Disallow:/wp-content/plugins
Disallow:wp-content/cache
Disallow:/wp-content/bps-backup
Disallow:/wp-content/languages
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /wp-
Disallow: /trackback
Disallow: /trackback/
Disallow: */trackback/*
Disallow: /*/trackback/$
Disallow: /author
Disallow: /wget/
Disallow: /httpd/
Disallow: /cgi-bin
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /search
Disallow: /feed
Disallow: /feed/
Disallow: /rss
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /useronline/
Disallow: /*?
Disallow: /*.xhtml$
Disallow: /stats*
Disallow: /about/legal-notice/
Disallow: /about/copyright-policy/
Disallow: /about/terms-and-conditions/
Disallow: /docs*
Disallow: /manual*
Disallow: /category/uncategorized*
Disallow: /bargozari
Disallow: /graphic
Disallow: /error_log
Disallow: /php.ini
Disallow: /xmlrpc.php
Allow: /wp-content/uploads/*.gif
Allow: /wp-content/uploads/*.png
Allow: /wp-content/uploads/*.jpg
Allow: /sitemap.xml.gz$
# Dugg Mirror
User-agent: duggmirror
Disallow: /
# disallow files ending with the following extensions
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$
Disallow: /*.wmv$
Disallow: /*.php*
Disallow: /*.gz$
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
#disallow WayBack archiving site
User-agent: ia_archiver
Disallow: /
# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.yoursite.ir/sitemap.xml
# END XML-SITEMAP-PLUGIN
#######################################################

[U3F 79]

همه دارن دستری روبات ها رو از همه جا میگیرن!!! الان گوگل اختار میده که باید دسترسی به فیل های CSS و JS هم داشته باشیم یعنی فولدر های مثل plugins رو نباید Disallow کنید

این فایل منه

User-Agent: *
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /out/
Sitemap: http://wpsaz.ir/post-sitemap.xml
Sitemap: http://wpsaz.ir/page-sitemap.xml

[style 4]

درود دوستان میشه یه کد آماده از فایل ربوتکست قرار بدید که سایت مپ سایت رو بهش معرفی کنم ...

با تشکر*

[ilbeygi.m 136]

درود دوستان میشه یه کد آماده از فایل ربوتکست قرار بدید که سایت مپ سایت رو بهش معرفی کنم ...

با تشکر*

سلام

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/js
Disallow: /trackback
Disallow: /category/*/*
Disallow: */trackback
Disallow: /*?*
Disallow: /*?
Disallow: /*~*
Disallow: /*~

منبع : https://wordpress.org/ideas/topic/wordpress-needs-a-default-robotstxt-file-and-more

[style 4]

بسیار ممنونم از شما

اینجوری درسته »

# User-agent: *
# Disallow: /wp-admin/
# Disallow: /wp-includes/
# Disallow: /wp-trackback
# Disallow: /wp-feed
# Disallow: /wp-comments
# Disallow: /wp-content/plugins
# Disallow: /wp-content/themes
# Disallow: /wp-login.php
# Disallow: /wp-register.php
# Disallow: /feed
# Disallow: /trackback
# Disallow: /cgi-bin
# Disallow: /comments
# Disallow: *?s=
Sitemap: http://style-teenage...temap_index.xml

ویرایش شده شهریور 94 توسط style

[farhadpm 0]

اصلا به چه درد میخوره این؟http://womb.asia

 

[imanfakhar 26231]

http://wp-parsi.com/article/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%DA%A9%D8%A7%D9%85%D9%84-%D8%B3%D8%A7%D8%AE%D8%AA-robots-txt/

[آساپل 9]

سلام دوستان این فایل را باید به صلیقه خودتان اصلاح کنید این فایل خود گوگله که کلیه :

http://www.google.com/robots.txt

برای اینکار آموزشی را قرار میدهم که امیدوارم به درد دوستان بخوره 

ابتدا وارد سلیت زیر شوید :

http://www.seostation.xyz/robots-txt-generator

سپس برای تنظیمات فایل robots.TXT   گزینه های خالی را پر میکنیم .

ابتدا آدرس سایت مپ خود را وارد میکنیم :

Sitemap: (leave blank if you don't have) : http://www.CompnyName.com/sitemapindex.xml

 

و قسمت بعد میخواهیم دسترسی موتورهای جستجوگر را تنظبم کنیم از میان موتورهای زیر من میخواهم این روبوتها به سایت من دسترسی داشته باشند :

google

google image

google mobile

alexa

baidu

naver

پس جلوی این قسمتها را  Allowed  یعنی آزاد قرار میدیم و مابقی را  Refused  یعنی رد کردن قرار میدیم و پس از اینکه تنظیمات موتورهای جستجوگر را انجام دادیم میریم سراغ اینکه موتورهایی که آزادند که ربوت کنند سایت را چه فایلهایی را دسترسی نداشته باشند .

خوب ما میخواهیم ربوتها به این قسمت یا فایلها دسترسی نداشته باشند :

 /wp-login.php
/comments
 /cgi-bin
 /wp-admin/
/wp-content/plugins
/wp-register.php
 /wp-feed
 /trackback
 

خوب پس این ها را درون ستوناهای خالی بعد نیز وارد میکنید که باز انتخاب فایلها به انتخاب خودتونه که من بهترینها رو انتخاب کردم .

Disallow: /wp-login.php
Disallow: /comments
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-feed
Disallow: /trackback

خوب در انتها بر روی گزینه  Create Robots.txt  کلیک میکنیم تا تنظیمات را خروجی بدهد .

الان شما این تنظیمات را در قسمت robots.TXT  میتوانید کپی و پیست کنید و از تنظیمات خود در بهینه سازی وبسایت لذت ببرید :

# robots.txt generated by atozseotools.com
User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: MSNBot
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Nutch
Disallow: /
User-agent: ia_archiver
Disallow: 
User-agent: baiduspider
Disallow: 
User-agent: naverbot
Disallow: 
User-agent: yeti
Disallow: 
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: psbot
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: *
Disallow: /wp-login.php
Disallow: /comments
Disallow: /comments
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-feed
Disallow: /trackback
Sitemap: http://www.CompnyName.com/sitemapindex.xml

 

این بهترین نوع تنظیمات میباشد .

آزمایش Robots.txt  در بخش Blocked URLs وبمستر

وبمستر گوگل قسمت مشخصی را برای نمایش صفحاتی از سایت شما که توسط robots.txt دسترسی روبات به آنها محدود شده، در نظر گرفته است. این صفحه با نام Blocked URLs و بعنوان زیر مجموعه ای از بخش Crawl تعریف شده است.
برای اطمینان از عملکرد صحیح فایل robots.txt به بخش Blocked URLs در اکانت وبمستر خود مراجعه کرده و مانند تصویر زیر در بخش اول محتویات فایل را کپی کنید. در بخش دوم آدرس صفحاتی که قصد دارید میزان محدودیت روبات های گوگل در دسترسی به آنها را بسنجید وارد کنید. (در هر خط یک آدرس)
در بخش انتهایی شما میتوانید یک نوع از روبات های گوگل را علاوه بر روبات اصلی که وظیفه ایندکس صفحات را برعهده دارد انتخاب کنید.

نمایی از صفحه Blocked urls در وبمستر گوگل

با فشردن دکمه Test نتایج آزمون و میزان دسترسی روبات ها به هریک از این آدرس ها به شما نمایش داده خواهد شد.

نمونه ای از نتایج آزمایش فایل Robots.txt

نحوه انتخاب صفحاتی که در فایل robots.txt معرفی میشوند و پنهان کردن آنها از دید موتورهای جستجو وابستگی مستقیم با سیاست های شما در انتشار محتوا و سئو سایت خواهد داشت. قبل از انجام تغییرات اساسی در این فایل حتما با متخصصان سئو مشورت کرده و کدهای وارد شده را چندین بار آزمون و بازنویسی نمایید.

امیدوارم این آموزش برای دوستان مفید باشه . به امید روزهای آفتابی

لطفا تشکر فراموشتون نشه 

 

 

[آساپل 9]

دوست عزیز از همان راهی که گفتم پیش بروید به جواب عالی میرسید در ضمن Google XML Sitemaps را هم طبق آموزش زیر عمل کنید در زمان بسیار کمی شاهد پیشرفت سایت خود میشوید .

نصیحت : سعی کنید برای سئو خود موارد را خود اعمال کنید و از افزونه ها کمتر استفاده کنید. صاحب خلق این افزونه ها برای اینکه بتواند از کاربران خود کسب درآمد کند یک سری مشکلاتی در نرم افزار خود ایجاد میکند که کاربر مجبور به پرداخت هزینه بشود و مجبور شود اکانت خود را پریمیوم کند و کلی هرینه کند اونم ماهیانه و سالیانه . البته بعضی افزونه ها شروع کارشونه و اینگونه نیستند بیشتر افزونه هایی که تعداد کاربرشون به بالای 100 هزار و حتی بالای ملیون یا ملیارد میرسند تجربه نشون داده که نصب نکردنشون بهتر از نصب کردنه .

خوب شروع آموزش : ایجاد سایت مپ جهت ایندکس بهتر در موتورهای جستجوگر مانند گوگل ( Google XML Sitemaps )

ابتدا وارد سایت زیر میشوید :

http://www.seostation.xyz/xml-sitemap-generator

سپس آدرس سایت خود را در قسمت Enter a domain name وارد کنید .

سپس در ستون Modified date گزینه را روی قسمت  Custom date  قرار دهید .

و قسمت dd/mm/yyy تاریخ همان روز مثلا امروز این تاریخه 25/07/2016 قرار میدیم البته این تاریخ را به روز وارد کنید .

وقسمت Change frequenc را بر روی  Always  قرار بدید و قسمت Default priorit که هما اولویت پیش فرض که گوگل برای ایندکس صفحات از تنظیم شما انتخاب میکنه را روی 1.0 قرار میدهیم که البته این کار برای زمانی است که شما چند ساب دامنه دارید و هر ساب دامنه یک سایت مپ جدا دارد میخواهید با این کار به گوگل سایت مپها را امتیاز بندی کنید که گوگل بفهمد سایت اصلی کدومه و بعد از سایت اصلی کدوم ساب دامنه ارجعیت ایندکس و سرچ گوگل را دارد .

خوب قسمت How many pages do I need to crawl که آخرین قسمت تنظیمات شماست تعداد فحات ایندکستونو میخواد برای اینکه متوجه شوید که چند صفحه ایندکس دارید ابتدا گزینه را بر روی یکی به آخر یعنی 4500 صفحه ایندکس بگذارید و گزینه  Generate sitemap  را بزنید و صبر کنید ببینید چند صفحه ایندکس را این برنامه ثبت میکنه برای مثال 60 صفحه را ایندکس کرد خوب این صفحه را دوباره ریفرش میکنید و همان  تنظیمات را دوباره انجام میدهید و به این قسمت که رسیدید تعداد را روی 50 میگذارید و گزینه  Generate sitemap  را انتخاب میکنید تا خروجی فایل sitemaps.XML را به شما بدهد و در نهایت وارد سی پنل سایت خود میشوید و در قسمت ریشه سایت همان سی پنل ( قسمتی که فایل کانفیگ وردپرس موجود هست منظور میباشد ) در همان قسمت فایل را آپلود میکنید .

هنوز کارمان تمام نشده است . پس از اینکه این مراحل را پیش بردید وارد وبمستر گوگل یا بینگ و یا هر موتور جستجوگری که فعال کرده اید میشوید برای مثال وبمستر گوگل :

وارد منو سمت چپ یعنی  Crawl  میشوید و از زیر مجموعه منو بر روی  Sitemaps کلیک میکنید و در قسمت بالا سمت راست بر وری گزینه قرمز رنگ ADD/TEST SITEMAP  کلیک میکنید و متن  sitemap.xml  را وارد میکنید و تائیید میکنید .

 

تشکر فراموشتون نشه

ویرایش شده مرداد 95 توسط آساپل

[آساپل 9]

دوستان آدرس سایت برای ساخت سایت مپ یا همان نقشه سایت اینه : www.xml-sitemap.com 

که بهتره از این وبسایت برای ساخت سایت مپ استفاده کنید و یا از روش بالا اقدام کنید .

[h4mid_2009 3]

عالی هست فقط باید موتورهای جستجوگر هم بهش افزایش بدی

[webx 3]

سلام و خسته نباشید

فایل منو یه چک می کنید

http://5ee.ir/S

 

فقط یه مشکل دارم ، فایل ها یا فولدرهایی که disallow هستند تو گوگل وبمستر  قسمت  Blocked Resources زیاد میشه و این برای سایت بده؟؟

[mamir 4]

عرض سلام و ادب

 

ممنون میشم من رو راهنمایی بفرمایید

 

الان گوگل وب مستر برام پیام داده که برو چک کن بعضی قسمت های سایتت بلاک شده با فایل روبوت.

 

آیا 

category/ باید محدود باشه در فایل روبوت ؟

[mehran-b 2385]

سلام و درود

 

در 1 دقیقه قبل، mamir گفته است :

آیا 

category/ باید محدود باشه در فایل روبوت ؟

نه category رو معمولا نمیبندن.

[mamir 4]

در 7 دقیقه قبل، mehran-b گفته است :

سلام و درود

 

نه category رو معمولا نمیبندن.

خیلی ممنونم از پاسخ شما

در مورد feed ها چطور ؟

چرا باید محدود باشن ؟ و یا اصلا باید محدود بشن ؟

[mehran-b 2385]

در 27 دقیقه قبل، mamir گفته است :

در مورد feed ها چطور ؟

چرا باید محدود باشن ؟ و یا اصلا باید محدود بشن ؟

نه فید هم نباید محدود بشه.

[mamir 4]

در ۱ ساعت قبل، mehran-b گفته است :

نه فید هم نباید محدود بشه.

ضمن تشکر

هر دو حالت زیر نباید محدود باشه ?

/feed/

feed/*