رفتن به مطلب

مصرف 100% cpu به علت ربات ها


پست های پیشنهاد شده

چند وقتیه که دنبال راه حل برای کاهش مصرف cpu سایتم هستم که پدرمو در اورده ...

به این گزارش که برای 7 روز گذشته هست نگاه کنید :

http://www.imageupload.co.uk/files/cc2cwwooqetho8y4eh39.png

فقط 4 تا افزونه روی سایتم فعاله :

1. Captcha

2. CloudFlare

3. W3 Total Cache

4. WP-HTML-Compressio

سایت هم روی کلودفار گذاشتم .

هرچی فکر کنید رو انجام دادم . چند روزی هست که روی کلود هست و آمار جالبی دیدم و فکر میکنم مشکل ساایتمو فهمیده باشم که احتمالا به دلیل بازدید بالا هست اما

این بازدید به دلیل ربات ها هست تا بازدید کننده واقعی مثلا برای دیروز این امار صادقه :

regular traffic

1644

crawlers/bots

3299

threats

87

که 3299 تا مربوط به رباتها بود . افزونه ecstate رو نصب کردم توی کمتر از 5 ساعت که از نصبش گزشت آماری دیدم که باعث شد این سوال رو ازتون بپرسم نگاه به امار کنید :

Visits:1646

Pages:28221

RSS: 214

Bots: 17275

یعنی توی این چند ساعت 17275 تا بازدید روبات اومده روی سایتم نمیدونم دقیق هست یانه ؟ اما اگر این طور باشه که وحشتناکه ...

اولا اگر افزونه ی دیگه ای میشناسید که بتونه رباتها رو آمارشونو بده ممنون میشم راهنمایی کنید تا دوباره بررسی کنم ...

اما اگر دو امار بالا رو هم مقایسه کنیم تعداد ربات ها خیلی زیاد هست .

robots.txt سایت رو هم این طور گذاشتم :

User-agent: Googlebot

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

User-agent: Adsbot-Google

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: Googlebot-Image

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: Googlebot-Mobile

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: MSNBot

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: bingbot

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackbackUser-agent: Slurp

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-Agent: Yahoo! Slurp

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

user-agent: Mediapartners-Google

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

Sitemap: http://www.***/sitemap.xml

Sitemap: http://www.***/sitemap.xml.gz

User-agent: *

Disallow: /

دیگه چیزی به ذهنم نمیرسه . بنظرتون چیکار کنم که این ربات ها شرشون کمتر بشه.

ویرایش شده توسط Morteza
  • امتیاز 1
لینک به ارسال

منظورش از روبات فایل robot.txt نیست

احتمالاً شما سایتتونو از بعضی روش ها به 400-500 سایت لینک ساز معرفی نکردید؟ که در اینصورت اونها هم دارن کارشونو می کنند

  • امتیاز 4
لینک به ارسال

robots.txt همون فایل تکس هست که در پابلیک قرار میگیره و ربات ها رو هدایت میکنه هست . robot.txt رو نمیدونم چی هست ...

منظورتون بک لینک هست ؟ اگر اره باید بگم نه . اما حالا من باید چیکار کنم که این bots خیرشون کمتر بشه

به نظرم که آماری که این افزونه نشون میده خیلی غیر منتقی و زیاده الان بعد از اینکه من این تاپیک رو زدم امار بازدید این طور شده :

visit : 6000

page :65000

rss : 450

bots : 60000

جالبی و گیج کننده ترین قسمت کار هم اینجاست که من اصلا حتی یه دیدگاه اسپم هم ندارم .

و رباتایی که الان از سایتم بازدید کردن فقط google , bing بودن . هنوز چیز دیگه ای رو ثبت نکرده ...

آیا افزونه یا چیزی سراغ دارید که بشه رباتا رو مدیریت کرد یا اماری دیگه بشه گرفت ...

یا اینکه اگر درخواستی میدن مثلا بعد از چند بار درخواست ورود اشتباه آی پی برای چند دقیقه بلوک بشه ... اصلا نمیدونم چیکار کنم چند ماهی هست درگیر این موضوع هستم و الان تازه فهمیدم مشکل چیه .

ویرایش شده توسط sos
  • امتیاز 1
لینک به ارسال

نه هیچ نغییری ندادم امروزم که متوجه شدم رفتم چکش کردم دیدم اینو نوشته که اصلا اجازه نمیده

Crawl rate

Your site has been assigned special crawl rate settings. You will not be able to change the crawl rate.

من تغییری بدم که همینشم برام علامت سوال بود . اما بینگ رو رفتم از حالت دیفالتش که 50% هست روی مینیموم گزاشتم

شاید ربات دیگه ای هم باشه که نتونسته نشون بده .

ویرایش شده توسط sos
  • امتیاز 1
لینک به ارسال

بله دارم اونجا که چیزی نمیگه . منظورم از مشخصات آی پی یا Crawl rate هست وگرنه تعداد بازدید بازدید روزانه رو الان همون حدود 5000 تا که کلود گفته بود داده ...

اما الان ecstate تعداد بازدید روباتا تا الان رو به 128000 رسونده و تعداد نمایش page ها رو 159000 تا

به نظرتون چیکار کنم.

  • امتیاز 1
لینک به ارسال

ربات که نباید باعث مصرف سی پی یو تا این حد بشه. وگرنه الان سایتهایی پربازدید باید دان بشن.

مشکل شما اید از جای دیگه ایی باشه.

  • امتیاز 1
لینک به ارسال

من که هرچی به ذهنم میومد رو انجام دادم . از نصب وردپرس جدید گرفته تا درون ریزی و برون ریزی یا نصب وردپرس با دیتابیس قدیم و جدید ... تا کم کردن تعداد پلاگینا یا انتقال تصاویر به سابدامین ...

هیچی به ذهنم نمیرسه ... تنها گزینه ای که دیگه الان برام مونده که درحقیقت راه حل نیست پاک کردن صورت مسئله هست اونم اینه که از وردپرس مهاجرت کنم که اونوقت دوتا سوال دیگه به وجود میاد به کجا برم و اینکه چطور وردپرس رو به اون سیستم مدیریت محتوا تبدیل کنم ....

لینک به ارسال

رم سرور شما چقدر هست؟

چه افزونه هایی دارید؟

چون اولین بار هست مشکلی در ربات ها میبینم!

  • امتیاز 1
لینک به ارسال

در مورد رم و مشخصات سرور نمیدونم چون الان توی برزخ هستم و سرورم داره با یه سرور دیگه جابه جا میشن به محض انتقال ازشون میپرسم چون نمیشه تیکت داد .

درمورد افزونه هم توی متن اول گفتم . اما الان کل وردپرس رو پاک کردم و دوباره نصب کردم و فقط : Captcha و W3 Total Cache نصب هستن

فکر کنم این دوتا عکس هم کمک کنه : این تنظیمات سایت مپ هست :

moe6uq54v5a8dwa8ihxu.jpg

اینم آمار دیروز کلود :

نگاه کنید همینجوریشم رباتا زیادن :

4wj8z0khtmcxtf0zdzrs.jpg

لینک به ارسال
  • 1 ماه بعد...

قالب مشکلی نداره چون حتی دیفالت وردپرس هم همینطوریه .

هاستمو تغییر دادم یعنی صورت مسئله پاک شد ...

عجب بدبختیتی داریما که داریم از وردپرس استفاده میکنیم چراکه هاستیگا به این بهونه که منابع زیادی وردپرس میگیره پول بیشتری در قبال سرور قوی تر میگیرن ...

لینک به ارسال

مشکل شما جالب و عجیبه !

آموزش قدم به قدم امنیت وردپرس رو مطالعه بکنید.

شاید ظاهرا ربط چندانی نداره اما هر کدوم از این پلاگینهای امنیتی رو میتونید برای تست چند ساعتی فعال کنید ببینید چیزی فرق میکنه یا نه ؟

چون بعضی پلاگینها برای جلوگیری از رباتها خوب عمل میکنند.

یه مساله دیگه که به ذهنم میرسه اینه که اگه سایت شما کپی کننده زیاد داشته باشه احتمالا ربات های سایتها اونا برای گرفتن مطلب به سایت شما مراجعه میکنند.

اینو هم بررسی بکنید خوبه.

در صورتی که جواب نگرفتید آدرس سایتتون رو هم بزارید شاید بتونیم دلیل رو پیدا کنیم.

  • امتیاز 2
لینک به ارسال

لطفا برای ارسال دیدگاه وارد شوید

شما بعد از اینکه وارد حساب کاربری خود شدید می توانید دیدگاهی ارسال کنید



ورود به حساب کاربری
×
×
  • اضافه کردن...