
llms.txt V2 是专为 AI 代理设计的内容发现规范更新。它通过新增链接关系,让代理能准确定位网站的 Markdown 版本页面。该更新不影响 Google 搜索排名,但有助于优化 AI 工具的内容摄取效率。
随着大型语言模型(LLM)和 AI 代理(Agent)技术的快速发展,如何让这些智能体高效、准确地获取网页内容,已成为内容创作者和技术开发者共同关注的焦点。2024年,由 Answer.AI 开发者 Jeremy Howard 提出的 llms.txt 标准,旨在为 AI 代理提供一个站点内容的“导读”文件。近期,该规范迎来了首次重大更新——V2 版本,其核心变化在于为 AI 代理正式定义了发现 Markdown 版本页面的标准方法。
在 V1 时代,llms.txt 文件的作用类似于一个网站内容的清单,它告诉 AI 代理站点上有哪些页面,但这些页面通常以 HTML 格式存在。对于 AI 代理而言,直接解析 HTML 不仅效率低下,而且容易受到页面中导航、广告等非核心元素的干扰。因此,提供一种更纯净、更易解析的格式——Markdown,成为了提升 AI 代理信息摄取效率的关键。
V2 规范的核心改进在于,它不再仅仅是一个“清单”,而是成为了一张“地图”,明确标注了通往 Markdown 内容的路径。具体来说,V2 引入了两种并行的 URL 模式来定位 Markdown 文件:一种是延续 V1 的约定,在完整文件名后添加 .md 后缀(例如 /docs/tutorial.html 变为 /docs/tutorial.html.md);另一种则是直接替换扩展名(例如 /docs/tutorial.html 变为 /docs/tutorial.md)。这种灵活性允许网站所有者根据自身的技术架构选择最合适的方式。
更关键的是,V2 规范新增了两种链接关系(Link Relations),为 AI 代理提供了机器可读的“路标”。通过 rel="alternate" 属性搭配 type="text/markdown",页面可以直接指明其对应的 Markdown 版本所在位置。同时,rel="describedby" 属性则指向描述当前页面的 llms.txt 文件。这两种链接关系既可以通过 HTML 的 <link> 标签在页面头部声明,也可以通过 HTTP 响应头(HTTP Link header)来传递。后一种方式尤其值得关注,因为它无需修改网站模板或代码,仅通过服务器或 CDN 配置即可生效,甚至能应用于非 HTML 文件(如 Markdown 页面本身),极大地降低了部署门槛。
从行业视角看,llms.txt V2 的发布并非孤立事件,它反映了 AI 基础设施层正在经历一场深刻的变革。在传统搜索引擎时代,网页通过 URL 进行寻址,搜索引擎爬虫通过复杂的算法来理解页面内容。而在 AI 代理时代,信息获取的逻辑正在向“结构化、语义化”转变。AI 代理需要的是能够直接“投喂”给大模型的干净、结构化的文本数据。
这种需求催生了类似 llms.txt 这样的新标准。V2 规范的推出,正是对这一趋势的积极响应。它通过定义标准化的链接关系,让 AI 代理能够像网页爬虫遵循 robots.txt 一样,遵循一套明确的协议来发现和获取最适合处理的内容格式。这不仅仅是技术上的便利,更是在构建一种 AI 时代的“内容寻址”新范式。
值得注意的是,这一规范的采纳速度相当快。包括 Anthropic、OpenAI 以及 Google 的 Gemini 团队在内,众多头部 AI 公司已开始在其开发者文档中发布 llms.txt 文件。同时,像 Mintlify 这样的文档平台也提供了自动生成该文件的服务,这极大地推动了标准的普及。Google 的 Chrome 团队甚至在其 Lighthouse 工具中加入了针对 llms.txt 的“Agentic Browsing”检查项,旨在帮助浏览器代理更快速地理解站点结构。
对于长期关注搜索引擎优化的从业者而言,llms.txt V2 的出现引发了一个关键问题:它会影响 SEO 排名吗?从目前 Google 官方搜索团队的立场来看,答案是否定的。Google 搜索团队已明确表示,其搜索引擎不会使用 llms.txt 文件作为排名信号,并指出维护该文件“既不会损害也不会帮助你的网站在搜索结果中的可见性或排名”。
然而,这并不意味着 llms.txt V2 对 SEO 无关紧要。它的价值在于“面向未来”和“服务特定场景”。随着越来越多的用户通过 AI 聊天机器人、AI 编程助手(如 GitHub Copilot)等工具获取信息,网站能否被这些 AI 代理准确引用,将直接影响其在 AI 时代的“可见度”。虽然这不等同于传统意义上的搜索排名,但它代表了一种新兴的流量和影响力入口。
对于网站运营者而言,正确的策略是:不必将 llms.txt 视为提升 Google 排名的工具,而应将其视为优化 AI 代理体验、为未来 AI 驱动的信息分发做好准备的基础设施。就像当初为移动端优化网站一样,现在为 AI 代理优化内容结构,可能是一种具有前瞻性的投资。
llms.txt 标准的演进,也为国内的大模型生态提供了参考。目前,国内主流的大模型厂商,如百度(文心一言)、阿里(通义千问)、深度求索(DeepSeek)、字节跳动(豆包)等,都在积极构建自己的应用生态。虽然国内尚未有类似 llms.txt 的通用标准被广泛采纳,但各家的开放平台和文档中心都在努力提升内容的结构化程度,以便于其 AI 产品更好地引用和解析。
例如,百度百炼平台和阿里云百炼平台都提供了结构化的 API 文档,并支持多种格式的输出,这在一定程度上实现了与 llms.txt 类似的目标。未来,国内可能会发展出与自身生态紧密结合的标准,或者直接采纳 llms.txt 这样的国际通用规范。对于国内的内容创作者和开发者来说,关注并尝试适配这类标准,将有助于其内容在国内外 AI 产品中获得更广泛的传播。
llms.txt V2 规范目前仍在 GitHub 上开放反馈,这意味着其语法在最终定稿前仍有可能调整。对于希望立即尝试的开发者,以下几点建议值得参考:
<link> 标签还是 HTTP 响应头来添加链接关系。如果希望快速部署且不修改代码,HTTP 响应头是更优选择。总而言之,llms.txt V2 是 AI 代理内容发现领域的一个重要里程碑。它虽然不会直接影响传统搜索排名,但为网站如何更好地服务于 AI 时代的信息需求提供了清晰的技术路径。对于所有希望在 AI 浪潮中保持竞争力的内容平台而言,理解并拥抱这一变化,无疑是一项明智的战略选择。
V2 版本正式引入了两种链接关系(rel="alternate" 和 rel="describedby"),为 AI 代理明确指出了 Markdown 版本页面和 llms.txt 文件的发现路径,而 V1 仅提供了文件命名约定。
不会。Google 搜索团队已明确表示不会使用 llms.txt 文件作为排名信号,因此它既不会提升也不会损害你的搜索排名。它的主要价值在于优化 AI 代理和开发工具的内容获取体验。
你可以通过两种方式实现:一是在 HTML 页面的 <head> 区域添加 <link> 标签;二是通过服务器或 CDN 配置 HTTP Link 响应头。后者更具灵活性,且无需修改网站模板代码。
目前 V2 规范仍在 GitHub 上公开征求意见,其语法细节可能还会调整。建议关注官方仓库以获取最新更新,在稳定版发布前,生产环境使用需谨慎评估。
Bingdada 是一个专注 SEO、GEO(生成式引擎优化)与 AEO(答案引擎优化)的内容平台,由资深内容编辑、SEO 技术工程师与 AI 研究专家组成的团队持续运营。我们追踪搜索引擎与生成式 AI 的最新动态,为读者提供准确、实用、可落地的方法论与行业洞察。
编辑团队:内容策划 · 技术编辑 · AI 研究组
网站:bingdada.com
© 2026 Bingdada. 保留所有权利。
SEO & GEO 技术探索者,专注于搜索引擎优化和生成式引擎优化。

信息增益是SEO中衡量内容独特性的关键概念,源自Google专利,强调提供超越现有结果的新信息。本文解析其机制、重要性,并提供实用策略,帮助你在AI时代脱颖而出。

Cloudflare 预测未来五年机器流量将达人类流量的 1000 倍。本文深入剖析其数据背后的安全隐忧:AI 爬虫可能沦为凭证扫描器,攻击者已开始针对 AI Agent 配置文件发起攻击,并给出应对策略。

Anthropic为Claude引入全球水印,营销人需了解其原理、对SEO的影响及合规策略。
获取最新的 SEO 与 GEO 技术资讯。
我们尊重您的隐私,随时可以取消订阅。