腾讯网

曾让全球大面积“断网”的网站揭秘：AI 爬虫正在疯狂“掏空”互联网

单看 AI 爬虫占 HTML 请求的比例，平均是 4.2%，但全年波动极大，4 月跌到 2.4% 的谷底，6 月底又冲到 6.4% 的峰值。不过这都不算啥，真正的「爬虫一哥」永远是 Googlebot。