如何降低谷歌蜘蛛的抓取频率和速度(谷歌官方教程)

谷歌 文章 2022-09-13 22:32 623 0 全屏看文

AI助手支持GPT4.0

减慢 Googlebot 的抓取速度

bookmark_border

Google 会通过先进的算法确定最佳的网站抓取速度。我们的目标是,每次访问您的网站时都尽可能多地抓取网页,但不会过多地占用服务器的带宽。在某些情况下,Google 抓取您的网站可能会给您的基础架构带来沉重负载,或在服务中断期间带来不必要的成本。为了避免这种情况,您可以决定减少 Googlebot 发出的请求数量。

如果您决定减慢 Googlebot 的抓取速度,可以采用以下方法:

通过 Search Console 减慢抓取速度(推荐做法)

如需快速减慢抓取速度,您可以在 Search Console 中更改 Googlebot 抓取速度。对此设置所做的更改通常会在几天内得以体现。如需使用此设置,请先验证您的网站所有权。设置抓取速度时,请务必避免将速度值设得过低,导致无法满足您网站的需求。详细了解抓取预算对 Googlebot 而言有何意义

如果您的网站无法使用抓取速度设置,请提交特殊请求以降低抓取速度。 您不能请求提高抓取速度。

让 Google 自动减慢抓取速度

如果您急需让抓取速度在短时间(如几个小时或 1-2 天)内减慢,应该返回包含 500、503 或 429 HTTP 响应状态代码(而非所有内容)的信息性错误页面。在遇到大量包含 500、503 或 429 HTTP 响应状态代码的网址时(例如,如果您停用了您的网站),Googlebot 会减慢对您网站的抓取速度。这项更改会在 Googlebot 抓取返回这些错误的网址以及整个网站时体现出来。这些错误的数量减少后,抓取速度会自动重新开始提升。


-EOF-

AI助手支持GPT4.0