Bingdada 技术博客Bingdada 技术博客
首页博客SEOGEOAEOAI工具关于
登录注册
Logo

Bingdada 技术博客

专注于SEO搜索引擎优化和GEO生成式引擎优化以及未来人工智能发展趋势的技术博客

快速链接

  • 首页
  • 博客文章
  • 关于我们

联系方式

  • 398848662@qq.com

订阅我们的 Newsletter,获取最新的 SEO 和 GEO 技术资讯。

© 2024 Bingdada 技术博客. All rights reserved.

首页博客SEO基础机器访问之争:为何我们盯错了谈判对象?
机器访问之争:为何我们盯错了谈判对象?
SEO基础

机器访问之争:为何我们盯错了谈判对象?

bingdadabingdada
八月 19, 202651 次阅读约 6 分钟阅读
快速回答

虽然出版商都在与谷歌谈判AI抓取授权,但Meta的爬虫已成为网络上最大的内容读取者,且几乎不回流流量。这源于两者历史角色的差异:谷歌过去以流量换内容,而Meta从未承诺输送流量。出版商应通过日志文件了解真实爬虫行为,而非仅关注头条中的AI公司。

核心要点
  • Meta的AI爬虫流量已占DataDome网络的大多数,而GPTBot仍是被屏蔽最多的爬虫
  • 谷歌以流量交换内容访问权,Meta从未承诺输送流量,导致认知差距
  • 平台留人模式下,出版商的谈判筹码被压缩至仅为AI训练付费
  • Meta的授权协议仅覆盖极少数大型媒体品牌,绝大多数创作者无法获益
  • 普通网站应通过日志文件监控真实爬虫行为,而非仅关注头条新闻
目录

目录

  • 被忽视的流量巨头
  • 历史角色的错位
  • 平台留人模式下的出版商困境
  • 成本之外的公平问题
  • 普通网站的应对之道
  • 国内视角
  • 常见问题
  • Meta的爬虫为何很少被讨论?
  • 出版商应如何应对Meta的爬虫?
  • 谷歌与Meta在AI抓取上的本质区别是什么?
  • 小型出版商在AI时代如何生存?
  • 授权协议能解决所有问题吗?
  • 关于 Bingdada

当全球内容出版商的注意力都集中在与谷歌的AI抓取谈判桌上时,一场更深刻的权力转移正在悄然发生。真正在互联网上大规模读取内容的,可能并非那个被反复讨价还价的对手。

被忽视的流量巨头

围绕AI抓取器的争论,几乎都聚焦在谷歌和OpenAI身上。出版商们忙着决定是屏蔽谷歌的AI,还是与其签订授权协议。Reddit在最近的财报电话会议上,就专门讨论了这个问题。然而,根据机器人防御服务商DataDome的数据,2026年第二季度其网络上的AI代理请求达到177亿次,环比增长45%。增长的主要来源并非谷歌或OpenAI,而是Meta。Meta的ExternalAgent代理环比增长74%,WebIndexer增长163%,两者合计已占据DataDome观测到的大部分AI代理流量。

值得注意的是,DataDome作为机器人防护服务商,其数据天然带有商业立场,具体数字应视为单一网络视角。但趋势方向难以忽视,尤其在查看robots.txt文件时:GPTBot仍是网络上被屏蔽最多的AI爬虫。我们精心设防的,并非真正在阅读的机器人。

历史角色的错位

这种认知差距源于谷歌与Meta截然不同的历史定位。谷歌曾是流量的主要驱动者,二十年来,双方默认的契约是:谷歌读取网站,谷歌带来访客。当谷歌的AI摘要开始截留这些访客时,出版商感到契约被打破,因此以屏蔽、授权谈判和法律诉讼作为回应。

而Meta始终致力于将用户留在平台内部,从不承诺带来外部流量。当Meta的爬虫成为开放网络最重的读者时,由于从未有过承诺,也就不存在违约感。但吊诡之处在于:那个将"留住用户"模式做到极致的公司,如今成为他人劳动成果的最大消费者;而被各方谈判的谷歌,正在努力模仿这种模式。

平台留人模式下的出版商困境

如果平台都试图将用户留存在自己生态内,出版商将失去谈判筹码。旧契约赖以成立的流量正在被淘汰,谈判空间被压缩到仅为训练和供给AI的内容付费。这对大多数出版商而言都是不利位置,除非自身规模足够庞大。

Meta确实会支付费用,但仅限于金字塔顶端:2026年3月,它与新闻集团签署了价值高达每年5000万美元的授权协议,涵盖Meta AI回答和模型训练,同时与CNN、福克斯新闻、今日美国等少数媒体达成了类似安排。这张谈判桌上只坐着几十家最大的媒体品牌,而Meta的爬虫却在读取所有人的内容。

Reddit可以在财报电话会议上讨论授权交易和"可能退出"的选项,但普通商店、博客或行业刊物在2026年无法做到这一点。对出版商而言,唯一诚实的获胜路径是:"没有你们,我们也能行",并真正创造这种现实。建立与受众更直接的联系,打造平台无法稀释的自有渠道,或许这看起来像是向去中心化网络回归的一步。这些方法都不快捷,也不会发生在与谷歌谈判的会议室里。

成本之外的公平问题

Meta从未向网站输送过流量,也从未承诺过这一点,因此它的爬虫读取数十亿页面,并未夺走你曾拥有的任何东西,直接成本几乎为零。但这是Meta在未给予补偿的情况下,建立在真实劳动者付出之上的商业模式。无论单个网站能否感受到成本,这不公平的本质不会改变。

DataDome的报告只是这类访问者的初步行为。今天读取你网站的机器,明天可能成为付费阅读或购买的客户。网络依据品牌知名度设定的访问条款,将长期影响未来的访问规则。

普通网站的应对之道

对于拥有普通网站的人,诚实的答案是:"今天无需行动,但需保持关注。"保持关注意味着了解谁真正在读取你的网站,而非仅关注头条中的AI公司,因为两者正在分化。所有人都能看到的是与谷歌的谈判,而几乎无人关注的是Meta的读取。你的日志文件能区分这两者,即使头条新闻不能。

深入了解技术SEO审计的新维度,可以参考Google关于AI搜索退出的官方说明以及AI代理如何通过可访问性树读取网站的技术文档。

国内视角

这一趋势对国内内容生态同样具有警示意义。百度、字节跳动等平台的AI产品也在大量抓取网络内容,而内容创作者同样面临流量留存与收益分配的双重挑战。国内大模型如文心一言、通义千问、DeepSeek等在训练数据获取上,也需建立更透明的授权机制。百度推出的AI搜索答案功能,与谷歌AI摘要面临类似的出版商关系问题。

常见问题

Meta的爬虫为何很少被讨论?

因为Meta从未承诺向网站输送流量,其读取行为不构成对既有契约的破坏,因此未触发出版商的心理损失感。

出版商应如何应对Meta的爬虫?

目前无需立即行动,但应通过服务器日志监控实际爬虫行为,关注Meta爬虫的访问模式,为未来可能的商业条款变化做准备。

谷歌与Meta在AI抓取上的本质区别是什么?

谷歌历史上以流量交换内容访问权,其AI摘要截留流量被视为违约;Meta从未提供流量,其读取不涉及契约违约,但涉及公平补偿问题。

小型出版商在AI时代如何生存?

建立自有受众渠道,减少对平台流量的依赖,创造平台无法稀释的直接用户关系,是更可持续的策略。

授权协议能解决所有问题吗?

不能。Meta的授权协议仅覆盖极少数大型媒体品牌,绝大多数内容创作者无法获得补偿,需要更广泛的行业解决方案。

关于 Bingdada

Bingdada 是一个专注 SEO、GEO(生成式引擎优化)与 AEO(答案引擎优化)的内容平台,由资深内容编辑、SEO 技术工程师与 AI 研究专家组成的团队持续运营。我们追踪搜索引擎与生成式 AI 的最新动态,为读者提供准确、实用、可落地的方法论与行业洞察。

编辑团队:内容策划 · 技术编辑 · AI 研究组
网站:bingdada.com

© 2026 Bingdada. 保留所有权利。

目录

  • 被忽视的流量巨头
  • 历史角色的错位
  • 平台留人模式下的出版商困境
  • 成本之外的公平问题
  • 普通网站的应对之道
  • 国内视角
  • 常见问题
  • Meta的爬虫为何很少被讨论?
  • 出版商应如何应对Meta的爬虫?
  • 谷歌与Meta在AI抓取上的本质区别是什么?
  • 小型出版商在AI时代如何生存?
  • 授权协议能解决所有问题吗?
  • 关于 Bingdada
常见问题
黄金广告位 · 限时招商
广告位招商中

把品牌放进读者的阅读流

文章内广告位,高注意力场景,适合新品发布与活动招募。

商务合作

标签

#SEO策略#内容授权#谷歌AI#AI爬虫#Meta爬虫#机器访问#出版商困境
bingdada

bingdada

SEO & GEO 技术探索者,专注于搜索引擎优化和生成式引擎优化。

相关文章

AI 搜索时代的内容策略:从排名算法到用户信任的范式转移
SEO基础

AI 搜索时代的内容策略:从排名算法到用户信任的范式转移

本文从 Search Engine Journal 的报道出发,分析了 Google 生成式 UI、Preferred Sources 等功能对搜索生态的重塑,探讨了 AI 引用波动带来的挑战,并为 SEO 从业者提供了从“排名优化”转向“信任构建”的策略建议。

8月 23约 7 分钟阅读
AI搜索时代流量暴跌42%?别慌,这是结构性重构而非衰退信号
SEO基础

AI搜索时代流量暴跌42%?别慌,这是结构性重构而非衰退信号

Google organic clicks下降42%、LinkedIn reach下降47%等数据引发行业焦虑,但核心问题在于我们如何理解这场变革:这是结构性重构而非衰退信号。文章深入分析数据背后的真相,提供应对策略,并区分渠道指标与功能指标的重要性。

8月 22约 9 分钟阅读
AI搜索衡量指标大洗牌:从提及量到真实流量的数据思维转变
SEO基础

AI搜索衡量指标大洗牌:从提及量到真实流量的数据思维转变

AI搜索衡量体系正经历从提及量、引用量等表面指标到真实流量数据的范式转移。本文基于数百个网站AI机器人数据分析,提出四类关键决策信号,帮助营销团队建立从机器行为到人类转化的完整衡量闭环。

8月 22约 7 分钟阅读

订阅我们的 Newsletter

获取最新的 SEO 与 GEO 技术资讯。

我们尊重您的隐私,随时可以取消订阅。

评论 ({count}) (0)

登录后即可参与讨论

登录注册
还没有评论,来抢沙发吧