滥用爬虫正在消耗 Linux 内核 Git 服务的 CPU

滥用爬虫的“背景辐射”正在变重

Konstantin Ryabitsev 从 Linux 内核官方 Git 仓库的运维视角，讨论了滥用爬虫带来的持续压力。他将这种现象形容为一种越来越严重的“背景辐射”：服务并非遭遇一次性攻击，而是长期承受大量自动化抓取带来的资源消耗。

文中提到的核心情况是：

用于给抓取器渲染 commit HTML 页面的 CPU 周期，已经超过了所有其他合法访问的总和，其中包括 git clone。在任意时刻，分布在 5 个地理节点上的系统中，大约有 14 个 CPU 核心只是在把 Git commit 渲染成 HTML。

这个案例值得关注，因为它说明公共开发基础设施面对的不只是正常用户、开发者和镜像同步请求，还要持续承担大量爬虫访问的成本。

对于那些天然拥有大量可抓取页面的项目，这类问题同样值得警惕。例如，提供大量可索引网页的数据浏览服务，也可能面临类似的爬虫压力：页面越多，越容易成为自动化抓取系统长期消耗资源的目标。

这并不是关于某一次流量峰值的故事，而是公共 Web 服务正在面对的一个更普遍问题：当爬虫规模足够大、行为足够频繁时，即使每个请求看似普通，整体也可能变成显著的基础设施负担。