今天又被蜘蛛把CPU和内存抓到了100%
我在nginx里限制蜘蛛后，发现adsense又报错了。
无奈又放开蜘蛛。
一下子又来了8488个。
无奈之下。我只能设置抓取频率了。
设置很简单。
打开网址（如果能访问）
https://www.google.com/webmasters/tools/settings
选择网址
点击“限制 Google 的最大抓取速度”
设置下频率，保存下即可
原文出处:http://www.sanshu.cn/a/75799.html
群主管理都是支付大佬
