如何降低谷歌蜘蛛的抓取频率和速度

SEO 蜘蛛 谷歌 文章 5 天前 0 全屏看文

今天又被蜘蛛把CPU和内存抓到了100%

image.png

我在nginx里限制蜘蛛后,发现adsense又报错了。

无奈又放开蜘蛛。

image.png

一下子又来了8488个。

无奈之下。我只能设置抓取频率了。

设置很简单。

打开网址(如果能访问)

https://www.google.com/webmasters/tools/settings

选择网址

image.png

点击“限制 Google 的最大抓取速度”

image.png

设置下频率,保存下即可

-EOF-