|
LLMs.txt 对于SEO到底有没有好处?Google 官方对它的态度如何?读完本文,你应该很清楚了。 先说 Google 的态度,基本可以概括为: llms.txt 绝非为了传统的搜索引擎优化(SEO)而存在,它与 Google 搜索的抓取、索引和排名毫无关系。它的存在是为了网站的功能性 (Functionality),主要是为了现阶段方便 AI 编码工具和 Agent 更加高效、廉价地解析开发者文档。 刚在新加坡参加 Ahrefs Evolve 大会的时候,有个圆桌讨论,一个嘉宾提到了这个问题,而且说他朋友做了一个实验可以证明 LLMs.txt 对于SEO有好处,当时他朋友也在场,但主持人问了他后,从他的回答可以基本得出结论,它的这个实验不具备说服力。 然后我也参加了上海的 Google Search Central Live 大会,也提及了 LLMs.txt。 感觉大家(特别是刚刚学习SEO的程序员)对这个话题的讨论乐此不疲,所以,今天来特地深挖梳理一下。 以下是时间线和最新的信息。 关于 LLMs.txt 的发展时间线及 Google 的态度演变1)早期引发关注:Google 开发者文档的尝试与模糊回应 2025年12月3日,知名 SEO 媒体 Search Engine Roundtable 报道称,Google 在其开发者文档(developers.google.com)中添加了 llms.txt 文件,随后又进行了删除或调整。
当时 SEO 圈对此感到讽刺(因为 Google 一直强调这不影响搜索),面对一个 SEO 人询问,Google Search 的发言人 John Mueller 仅以一个简短的 “hmmm :-/” 模糊带过,没有给出正面解释。 2)中期官方定调:在 Search Central Live 大会(包括上海场)明确“三不”原则 Google 官方在各大线下活动中公开给出了极其明确且强硬的官方口径: Google Search does not currently read or use llms.txt files for crawling, indexing, or ranking purposes. https://www.seroundtable.com/openai-crawling-llms-txt-files-39811.html
态度:从传统网页搜索的角度来看,Google 完全无视 llms.txt。 它不会帮助网站被更好地抓取,不会促进索引,也不会提升排名。 3)近期深度澄清:John Mueller 具体解释背后的真实逻辑 5月19日,Lily Ray 在推特上直接指出了这种“一边说对搜索没用,一边自己又在用”的讽刺现象,逼出了 John Mueller 的长文深度回复。 态度:John Mueller 首次彻底剥离了“SEO”视角,从“网站整体运营与 AI 生态”的角度解释了 Google 为什么要这么做。 拆解 John Mueller 最新回应的核心观点从以上推特的回复来看,John Mueller 的回复包含以下四个核心逻辑: 1)发现(Discovery)与功能(Functionality)的分离 做网站不仅仅是为了 SEO。 John Mueller 将其比作传统网页上的 CTA(行动呼吁按钮),你放一个“购买”或“注册”按钮,并不是为了让搜索引擎更好地找到你(Discovery/SEO),而是为了让进入网站的用户能更好地完成任务(Functionality/转化)。 llms.txt 也是同理,它不是为了让搜索引擎“发现”网页,而是为了让已经进来的特定“访客”(比如 AI)更好地使用网页。 2)核心服务对象:AI 编码系统(AI Coding Systems) llms.txt 和 Markdown 页面在 Google 开发者文档中的存在,是为了服务日益普及的 AI 编程工具。 当前的 AI 编码辅助工具需要频繁阅读、解析技术文档以保证产出代码的准确性。 虽说大模型完全可以读懂 HTML,但提供一个干净的 Markdown 版本或 llms.txt 摘要,更像是一种“临时的拐杖(temporary crutch)”。 它的实际好处是:帮助这些 AI 工具节省 Token(字符开销),并能更快、更省钱地理解文档上下文。 3)普通网站(非技术/非开发类)完全没必要跟风 不要盲目模仿 Google 开发者网站的做法。 如果你的网站不是技术文档类的(例如一个卖鞋的电商网站),搞一个 Markdown 版本的鞋子规格参数是毫无意义的。 即便是未来 Agent 流量增加,这也不会帮你卖出更多商品,反而可能只是方便了你的竞争对手来抓取数据。 4)经典金句:“现阶段,务实重于梦想”(Prioritize needs before dreams) John Mueller 的最后一句很经典,我也单独拿出来分享给大家。 不要为了追逐虚无缥缈的未来而牺牲当下的 SEO。 很多 SEO 人认为现在做 llms.txt 是为了“当未来 Agent 无处不在时做好准备”。 John Mueller 犀利地反驳:现阶段,所有网站都有比这重要得多的 SEO 核心工作要做。去为一个可能来、也可能永远不来的“未来 Agent 时代”做准备,属于不切实际的幻想。 你应该先满足眼前的核心搜索需求(Needs),再去考虑未来的梦想(Dreams)。 我们应该如何看待 Google 的态度?对于普通站长和SEO从业者:可以彻底放下对 llms.txt 的焦虑,Google Search 的底层算法现在不看、未来短期内也不会把这当作排名的信号。 对于技术/工具/开发者文档类网站:你可以效仿 Google,提供 llms.txt 或 Markdown 版本,不是为了从 Google 那里捞到搜索流量,而是为了对对口来访的 AI 智能体“展现善意”,降低它们阅读你文档的成本(省 Token),从而让你的技术栈在 AI 辅助编程时代更容易被 AI 推荐和正确引用。 大家读懂了吗?还有其他关于 LLMs.txt 的问题么?欢迎留言。
|