简要结论
llms.txt 是一份可选的文本指南,供支持它的程序参考,并非 Google 搜索的要求。以实用的 HTML 页面作为公开内容的来源,再按需生成其他格式,并检查内容是否完整。我们的 25 页发布对应表展示了如何修正内容不全的 llms-full 文件。
区分内容编写、发布与被发现
讨论格式时,先分清三个层面:编写,是团队用什么方式写内容;发布,是公开 URL 返回什么;发现,是人或工具如何找到该 URL。把它们混在一起,容易误判问题。
团队可以用 Markdown 写文章,构建成 HTML,再从博客目录链接到文章;也可以直接编写语义化 HTML,发布同类页面。只看格式选择,无法判断内容是否准确、实用,或容易被找到。
llms.txt 这类可选文件,需要单独考虑:目标程序是否会用它了解网站内容?文件存在,并不能证明搜索引擎使用了它、引用了网站,或带来了客户。
格式实验能说明什么,不能说明什么
Profound 的 Markdown 实验报告称,在测试的 Markdown 和 HTML 条件下,AI 机器人流量没有统计上的显著差异。这项结果限于研究中的样本、时间段和流量指标,不能证明所有格式在每个系统中表现都相同,也没有衡量客户咨询。
增加另一套发布系统前,先确认实际需求:哪个工具需要这种格式?它读取现有内容时遇到了什么问题?怎样才算解决了?“AI 更喜欢这个”太模糊,无法作为验收标准。
如果已确认某项集成会读取 Markdown,提供该格式可能有用。如果问题只是关键服务说明要等几个脚本运行后才出现,那么直接修复公开页面的 HTML 更合适。
根据实用性和维护成本选择
| 格式 | 主要用途 | 维护时要问的问题 |
|---|---|---|
| HTML 页面 | 供客户和工具浏览的公开页面 | 响应是否包含预期信息? |
| Markdown 源文件 | 便于写作和版本控制的格式 | 构建是否保留标题、链接和表格? |
| Markdown 端点 | 供明确需要该格式的程序读取 | 是否从同一份经确认的内容生成? |
| llms.txt | 供支持该格式的程序参考的可选指南 | 描述和目标地址是否仍然有效? |
| PDF 宣传册 | 可下载或打印的文档 | 读者能否识别当前版本? |
每增加一种格式,就多一份需要保持一致的内容。如果四个人各改一份副本,HTML、Markdown、PDF 和 AI 目录中的服务价格就可能对不上。即使暂不考虑搜索,这也会带来日常管理问题。
统一使用经确认的内容源
将文章标题、描述、日期和正文统一保存在一处。在可行时,从这里生成公开页面,以及帮助发现页面的相关文件。发布一篇新文章,不应还要靠人记住并更新五份 URL 列表。
小型静态网站可以在一次构建中,同时生成文章 HTML、博客目录、站点地图和订阅源。替换上一个正常版本前,构建流程可以拦截重复路由、缺失描述、失效的相关文章引用和无效日期。
除非确有用途,否则不要将写作源文件一并公开。内容仓库可能含有内部编辑笔记,这些笔记应与读者看到的正式文章分开。
如果需要公开其他格式,也应使用同一份经确认的文本和稳定的链接。检查目标程序如何找到并读取它,不要把某个文件名或响应格式当作通用协议。
我们如何保持 FoundUp 各种公开格式一致
| 呈现形式 | 所含内容 | 完整性检查 |
|---|---|---|
| sitemap.xml | 25 个规范页面 URL 与修改日期 | URL 与页面清单一致,不含预览页、错误页或别名地址 |
| robots.txt | 公开的抓取规则与生产环境站点地图 URL | 不存在相互矛盾的全面阻止规则 |
| llms.txt | 每个规范页面有一个说明内容的链接,另附参考文件 | 全部九个核心页面、十篇指南和六篇比较文章各出现一次 |
| llms-full.txt | 全部 25 个 HTML 页面的可读主内容 | 保留文章正文、可见常见问答的答案、表格和来源链接 |
| blog/feed.xml | 十个博客条目,包含日期和规范链接 | 每个条目与已发布文章的元数据一致 |
我们发现,旧的 llms-full 文件只有较详细的公司介绍和文章链接,并没有像文件名所暗示的那样包含完整页面正文。现在,它从同一批渲染后的页面中提取可读文本,省略导航、脚本和表单控件,并用来源 URL 标明规范页面。这样就无需再为每篇文章人工维护一份副本。
9 月 28 日记录的这些数量只反映本地版本,不能证明页面已在线发布,或文件已被爬虫使用。后续线上检查见下文。维护这些文件,可以帮助使用它们的程序获得一致的内容,但不能保证搜索引擎收录或 AI 引用。
检查客户实际访问到的内容
构建后,直接打开最终 URL 检查响应,不要只通过站内导航进入页面。确认主标题、摘要、服务信息和联系渠道都在,并验证文章位于多级路径时,相对资源路径仍可正常使用。
接着测试内部链接,再访问一个无效 URL。如果静态服务器对所有未知路径都返回首页,开发时就可能看不出失效链接。应按部署平台实际的路由方式测试,再作判断。
如果提供可选的 llms 文件,应检查它是否只包含公开信息,链接地址是否有效。访问权限应由相应系统控制,文本目录无法承担安全防护。服务有变动时,也要删除过时描述。
最后,检查最初希望改善的结果是否发生。更小的响应可能有利于某个程序,但机器人请求增加,并不代表引用或客户也增加了。可通过技术审查确认内容是否正常提供,再参考衡量指南,分别评估各类结果。
添加另一种格式前,先检查平台
Google 当前的 AI 优化指南说明,Google 搜索不要求 llms.txt,它也不会对 Google 搜索中的可见度或排名产生正面或负面影响。AI 功能同样不要求特殊的 Markdown 文件或固定内容格式。只有程序或工作流程确有需要时,才值得维护额外格式,并让它与规范 HTML 保持一致。
这与 Profound 的实验是两回事:即使测得爬虫流量变化,也不能单凭这一点证明引用或客户增加。在将研究用于自己的发布系统前,应先说明衡量的是哪项结果。
文件能加载,内容仍可能过时
2026 年 9 月 29 日检查生产环境时,线上的 llms-full.txt 仍将咨询表单描述为只在本地生成 JSON 需求简报;线上条款则说明,表单会向 FoundUp 提交信息。文件即使返回 HTTP 200,内容仍可能过时。应从同一份经确认的页面内容生成参考文件,部署后再次核对。
本地生成器已改为从发布所用的同一批渲染页面中提取主要内容。这说明代码已修改,不能证明生产环境已发布,或爬虫已采用。发布后,还应将生成的表单说明与页面上的隐私政策、条款和表单实际运行情况对照。
发布后的参考文件
2026 年 9 月 29 日 07:42 UTC,线上站点地图列出 25 个规范页面,llms.txt 也列入了这 25 页,llms-full.txt 包含 25 个可读的主内容区块。RSS 订阅源包含十篇文章。五个参考资源全部返回 HTTP 200,25 个 HTML 页面也均可访问。至此,这些原本只在本地确认的数量,在该公开版本中得到了验证。
带日期的网站检查记录了详情页面从无法访问到正常打开的变化。除自动生成的内容外,也应检查手写介绍:全文生成器可以让正文保持一致,但手写的公司摘要仍可能停留在较早的业务阶段。页面已发布、内容一致、搜索引擎收录和 AI 引用,仍需分别确认。
问答
我需要为每页单独提供 Markdown 副本吗?
一般不需要。只有程序确实需要,而且你能让两种格式保持同步时,才增加另一种格式。先检查现有 HTML 的质量。
llms.txt 可以替代 robots.txt 吗?
不可以。它们用途不同。不要在 llms.txt 中放置访问控制或敏感信息,也不要假定它会改变爬虫权限。
用 Markdown 编写的博客仍能生成 HTML 吗?
可以。静态构建可以将 Markdown 源文件转换成完整 HTML 页面。写作格式和公开响应格式是两项独立选择。
参考来源与延伸阅读
来源核查日期:。平台行为可能变化。文中流程为 FoundUp 的编辑建议;虚构示例与研究观察已分别标明。