
虽然出版商都在与谷歌谈判AI抓取授权,但Meta的爬虫已成为网络上最大的内容读取者,且几乎不回流流量。这源于两者历史角色的差异:谷歌过去以流量换内容,而Meta从未承诺输送流量。出版商应通过日志文件了解真实爬虫行为,而非仅关注头条中的AI公司。
当全球内容出版商的注意力都集中在与谷歌的AI抓取谈判桌上时,一场更深刻的权力转移正在悄然发生。真正在互联网上大规模读取内容的,可能并非那个被反复讨价还价的对手。
围绕AI抓取器的争论,几乎都聚焦在谷歌和OpenAI身上。出版商们忙着决定是屏蔽谷歌的AI,还是与其签订授权协议。Reddit在最近的财报电话会议上,就专门讨论了这个问题。然而,根据机器人防御服务商DataDome的数据,2026年第二季度其网络上的AI代理请求达到177亿次,环比增长45%。增长的主要来源并非谷歌或OpenAI,而是Meta。Meta的ExternalAgent代理环比增长74%,WebIndexer增长163%,两者合计已占据DataDome观测到的大部分AI代理流量。
值得注意的是,DataDome作为机器人防护服务商,其数据天然带有商业立场,具体数字应视为单一网络视角。但趋势方向难以忽视,尤其在查看robots.txt文件时:GPTBot仍是网络上被屏蔽最多的AI爬虫。我们精心设防的,并非真正在阅读的机器人。
这种认知差距源于谷歌与Meta截然不同的历史定位。谷歌曾是流量的主要驱动者,二十年来,双方默认的契约是:谷歌读取网站,谷歌带来访客。当谷歌的AI摘要开始截留这些访客时,出版商感到契约被打破,因此以屏蔽、授权谈判和法律诉讼作为回应。
而Meta始终致力于将用户留在平台内部,从不承诺带来外部流量。当Meta的爬虫成为开放网络最重的读者时,由于从未有过承诺,也就不存在违约感。但吊诡之处在于:那个将"留住用户"模式做到极致的公司,如今成为他人劳动成果的最大消费者;而被各方谈判的谷歌,正在努力模仿这种模式。
如果平台都试图将用户留存在自己生态内,出版商将失去谈判筹码。旧契约赖以成立的流量正在被淘汰,谈判空间被压缩到仅为训练和供给AI的内容付费。这对大多数出版商而言都是不利位置,除非自身规模足够庞大。
Meta确实会支付费用,但仅限于金字塔顶端:2026年3月,它与新闻集团签署了价值高达每年5000万美元的授权协议,涵盖Meta AI回答和模型训练,同时与CNN、福克斯新闻、今日美国等少数媒体达成了类似安排。这张谈判桌上只坐着几十家最大的媒体品牌,而Meta的爬虫却在读取所有人的内容。
Reddit可以在财报电话会议上讨论授权交易和"可能退出"的选项,但普通商店、博客或行业刊物在2026年无法做到这一点。对出版商而言,唯一诚实的获胜路径是:"没有你们,我们也能行",并真正创造这种现实。建立与受众更直接的联系,打造平台无法稀释的自有渠道,或许这看起来像是向去中心化网络回归的一步。这些方法都不快捷,也不会发生在与谷歌谈判的会议室里。
Meta从未向网站输送过流量,也从未承诺过这一点,因此它的爬虫读取数十亿页面,并未夺走你曾拥有的任何东西,直接成本几乎为零。但这是Meta在未给予补偿的情况下,建立在真实劳动者付出之上的商业模式。无论单个网站能否感受到成本,这不公平的本质不会改变。
DataDome的报告只是这类访问者的初步行为。今天读取你网站的机器,明天可能成为付费阅读或购买的客户。网络依据品牌知名度设定的访问条款,将长期影响未来的访问规则。
对于拥有普通网站的人,诚实的答案是:"今天无需行动,但需保持关注。"保持关注意味着了解谁真正在读取你的网站,而非仅关注头条中的AI公司,因为两者正在分化。所有人都能看到的是与谷歌的谈判,而几乎无人关注的是Meta的读取。你的日志文件能区分这两者,即使头条新闻不能。
深入了解技术SEO审计的新维度,可以参考Google关于AI搜索退出的官方说明以及AI代理如何通过可访问性树读取网站的技术文档。
这一趋势对国内内容生态同样具有警示意义。百度、字节跳动等平台的AI产品也在大量抓取网络内容,而内容创作者同样面临流量留存与收益分配的双重挑战。国内大模型如文心一言、通义千问、DeepSeek等在训练数据获取上,也需建立更透明的授权机制。百度推出的AI搜索答案功能,与谷歌AI摘要面临类似的出版商关系问题。
因为Meta从未承诺向网站输送流量,其读取行为不构成对既有契约的破坏,因此未触发出版商的心理损失感。
目前无需立即行动,但应通过服务器日志监控实际爬虫行为,关注Meta爬虫的访问模式,为未来可能的商业条款变化做准备。
谷歌历史上以流量交换内容访问权,其AI摘要截留流量被视为违约;Meta从未提供流量,其读取不涉及契约违约,但涉及公平补偿问题。
建立自有受众渠道,减少对平台流量的依赖,创造平台无法稀释的直接用户关系,是更可持续的策略。
Bingdada 是一个专注 SEO、GEO(生成式引擎优化)与 AEO(答案引擎优化)的内容平台,由资深内容编辑、SEO 技术工程师与 AI 研究专家组成的团队持续运营。我们追踪搜索引擎与生成式 AI 的最新动态,为读者提供准确、实用、可落地的方法论与行业洞察。
编辑团队:内容策划 · 技术编辑 · AI 研究组
网站:bingdada.com
© 2026 Bingdada. 保留所有权利。
SEO & GEO 技术探索者,专注于搜索引擎优化和生成式引擎优化。

本文从 Search Engine Journal 的报道出发,分析了 Google 生成式 UI、Preferred Sources 等功能对搜索生态的重塑,探讨了 AI 引用波动带来的挑战,并为 SEO 从业者提供了从“排名优化”转向“信任构建”的策略建议。

Google organic clicks下降42%、LinkedIn reach下降47%等数据引发行业焦虑,但核心问题在于我们如何理解这场变革:这是结构性重构而非衰退信号。文章深入分析数据背后的真相,提供应对策略,并区分渠道指标与功能指标的重要性。

AI搜索衡量体系正经历从提及量、引用量等表面指标到真实流量数据的范式转移。本文基于数百个网站AI机器人数据分析,提出四类关键决策信号,帮助营销团队建立从机器行为到人类转化的完整衡量闭环。
获取最新的 SEO 与 GEO 技术资讯。
我们尊重您的隐私,随时可以取消订阅。