机器流量将超人类流量千倍？Cloudflare 数据背后的安全隐忧与 AI 时代的信任危机

bingdada

八月 15, 202672 次阅读约 8 分钟阅读

快速回答

Cloudflare 预测五年内机器流量将达人类流量的 1000 倍。但更关键的是，机器流量的性质正在改变，恶意扫描器开始伪装成 AI 爬虫，针对网站敏感配置和 AI Agent 凭证发起攻击，这给网站安全带来了全新的挑战。

核心要点

Cloudflare 预测机器流量将在五年内达到人类流量的 1000 倍，且其历史预测往往偏于保守。
实际流量日志分析显示，大量 AI 爬虫流量实为针对 .env、.ssh 等敏感文件的凭证扫描器。
攻击者已开始将 AI Agent 工具链的配置文件（如 .mcp.json）纳入自动扫描字典，构成新型威胁。
这类恶意流量在安全日志中隐身，仅在 AI 爬虫仪表盘中可见，造成巨大的安全盲区。
网站运营者需通过精细化日志分析与主动防御策略，应对 AI 时代机器流量的质变。

当“访客”不再是“人”：解读 Cloudflare 千倍流量预测背后的真相

近期，Cloudflare 的首席财务官 Thomas Seifert 在财报电话会议中抛出了一个令人震惊的预测：按照当前趋势，未来五年内，互联网上的非人类流量（机器流量）将达到人类流量的 1000 倍。他甚至直言，“人类将成为互联网上的一个四舍五入误差”。这一言论迅速引发了行业热议。然而，当我们深入探究支撑这一预测的数据时，会发现一个远比“量级增长”更值得警惕的现象：机器流量的构成正在发生质变，从“爬虫”演变为“扫描器”，甚至可能是“攻击者”。

数据透视：机器流量的真实面貌与增长引擎

Seifert 的预测并非空穴来风。Cloudflare 官方在同一时期发布的研究报告也证实，目前互联网上仅有不到一半的 HTML 页面请求来自真实人类。机器流量超越人类流量已成为既成事实，且增长速度惊人。值得注意的是，Seifert 本人也承认，他过去的预测总是偏向保守——Cloudflare 曾预计机器流量将在 2027 年超过人类流量，但实际上这一拐点在 2026 年 5 月就已到来。这种“屡屡低估”的历史，反而让这次“千倍”的预测显得更具分量。

安全视角：当“爬虫”变成“扫描器”，AI 流量中的安全危机

一个更令人不安的趋势隐藏在流量增长的数字背后。以知名技术博客作者 Slobodan Manic 的网站 nohacks.co 为例，他在分析一天的 AI 爬虫日志时发现，最大的“访客”并非来自 OpenAI 或 Google，而是名为 CCBot（Common Crawl 的爬虫）的流量。但这部分流量的行为却完全偏离了“抓取网页内容”的初衷。

在近 3000 次请求中，高居榜首的路径竟然是 /.ssh/known_hosts、/phpinfo.php、/.env.production 等敏感文件路径。这些请求并非为了阅读文章，而是在系统地扫描网站配置错误和潜在的密钥泄露。这本质上是一个凭证扫描器，而非内容爬虫。更值得关注的是，其中出现了 /.mcp.json 和 /.continue/config.json 的请求，这两个文件是 AI Agent（智能体）工具链的配置文件，通常包含 API 密钥和访问令牌。这意味着，攻击者已经开始将 AI Agent 的凭证纳入自动化扫描的“字典”中，针对新兴技术栈的攻击向量已经出现。

信任危机：AI 数据采集的“身份”与“意图”双重困境

Cloudflare 的“AI 爬虫”仪表盘将这些请求标记为 Common Crawl 的“AI 爬虫”流量。但 Slobodan 的测试表明，真正的 CCBot 流量来自可验证的 IP 段，并且会反向解析到 crawl.commoncrawl.org 域名。这引发了严重的信任问题：要么是有人伪造了 CCBot 的身份（IP 欺骗），要么是 Common Crawl 的爬虫行为出现了异常。

更令人担忧的是，这类恶意扫描流量在安全日志中完全不显示。因为安全日志只记录触发规则的请求，而这些扫描请求并未被拦截，直接通过了防火墙，因此不会留下任何安全事件记录。这意味着，它们作为“AI 爬虫”在仪表盘上清晰可见，但在安全监控层面却完全隐身。这种“身份”与“意图”的错位，使得现有的安全防护体系出现了巨大的盲区。

国内视角：AI Agent 安全与数据治理的同步演进

这一现象对国内蓬勃发展的 AI 产业同样具有警示意义。随着百度文心一言、阿里通义千问、DeepSeek、智谱 GLM 等大模型及各类 AI Agent 应用的普及，国内互联网同样面临着机器流量激增与恶意扫描的双重压力。国内的安全厂商如奇安信、深信服等，也面临着如何在海量 AI 流量中精准识别“恶意意图”的挑战。与 Cloudflare 类似，国内云服务商也需要在提供 AI 数据服务的同时，加强对 Agent 凭证、API 密钥等新型敏感数据的防护。从产业发展的角度看，建立针对 AI 流量的统一身份认证与行为审计标准，将是构建可信 AI 基础设施的关键一步。

应对策略：在 AI 时代重构网站安全与流量管理

面对这一趋势，网站运营者需要转变思路，从“被动防御”转向“主动识别”：

精细化流量日志分析：不要只看聚合数据，要深入分析访问路径。定期检查是否有针对 .env、/.ssh、/.git/config、/.mcp.json 等敏感路径的异常请求。
加强安全日志审计：确保所有请求（包括未触发安全规则的请求）都有完整的日志记录，以便事后追溯。安全监控不应只依赖规则引擎，还应结合行为分析。
拥抱“机器人管理”：使用 Cloudflare 等平台的“机器人管理”功能，对流量进行细粒度分类。对于 AI 爬虫，应区分“善意”的搜索引擎爬虫（如 Googlebot）与“恶意”的扫描器，并分别制定处理策略。
关注 Agent 安全：如果您的业务涉及 AI Agent 或提供 MCP 服务，务必保护好 mcp.json 等配置文件，避免将 API 密钥硬编码在可公开访问的路径中。

结论

Cloudflare 的“千倍”预测，与其说是一个关于流量规模的预言，不如说是一个关于互联网信任体系的警示。当机器流量成为绝对主流，我们不仅需要应对带宽和算力的挑战，更需要重新审视“身份”与“意图”的定义。AI 时代的网络攻防，正在从“漏洞扫描”演变为“凭证收割”和“Agent 劫持”。对于每一位网站运营者和技术决策者而言，理解并适应这一变化，将是未来五年最重要的安全课题之一。

常见问题

什么是机器流量？为什么它可能超过人类流量？

机器流量是指由自动化程序（如搜索引擎爬虫、AI 抓取机器人、监控脚本等）而非真实用户产生的网络流量。随着 AI 模型的训练和推理需求爆炸式增长，以及自动化工具在数据采集、内容聚合、性能监控等领域的广泛应用，机器流量的增长速度已远超人类用户的增长速度，因此 Cloudflare 预测其数量将在未来几年内达到人类流量的千倍级别。

如何区分正常的 AI 爬虫和恶意的凭证扫描器？

正常的 AI 爬虫（如 Googlebot、Common Crawl）通常会遵循 robots.txt 协议，其访问路径多为公开的网页内容，且来源 IP 可验证。恶意扫描器则往往针对敏感路径（如 /.env、/.ssh、/wp-login.php）发起大量请求，行为模式与爬虫完全不同，且其来源 IP 可能经过伪装或来自数据中心。通过分析访问日志的路径和频率，可以有效区分两者。