什么时候真的可以核查
OpenAI 的搜索文档在这件事上写得很具体:使用了联网搜索的回答可能带引用,点开引用就打开来源页,桌面端还可以悬停预览;当界面提供「来源」按钮时,它会列出被引用的来源以及其他相关链接。1
这就是「可核查」的全部范围,而且值得说得精确一点。引用是请你核查某个主张的邀请,不是这次回答如何拼装出来的说明。打开它,找到它似乎支持的那句话,然后读那句话周围的段落。
- 这一页支持的是原文的主张,还是一个更弱的版本?
- 它讲的是这个问题问到的那款产品、那个方案、那个版本吗?
- 它是最新的吗?发布方有资格知道这件事吗?
- 你愿意把这一页当作证据,放到客户面前吗?
什么时候没什么可核查
很多回答一条链接都没有。这种情况下没有来源可打开,也没有东西可核对。缺少引用,并不构成「某一页在不在训练数据里」的证据;任何工具也没法诚实地给出这种归因。
反过来的陷阱同样常见:即使真有引用,也可能是弱的。链接打开的可能只是提到了你所在品类、却没提到你的页面;可能是三年没更新的页面;也可能根本不区分你的产品和它描述的那款产品。有一条来源,并不会让它旁边那句话变得更可靠。
| 你看到的 | 能证明的 | 不能证明的 |
|---|---|---|
| 回答旁边带一条链接 | 这一页存在,并且和这次回答一起被返回 | 这次回答是由这一页造成的 |
| 完全没有链接 | 什么都无法核对 | 某一页在或不在训练数据里 |
| 链到目录页或社区帖 | 有第三方页面在讨论这个品类 | 它在推荐你的产品 |
| 链到竞争对手的对比页 | 竞争对手发布过一份对比内容 | 这份对比是公平、最新或完整的 |
网站能不能出现,由谁决定
站主真正能控制的机制,比这场讨论通常暗示的要小、也要具体得多。OpenAI 记录了两种相关代理。OAI-SearchBot 负责把网站呈现在 ChatGPT 的搜索结果里;把它屏蔽掉的网站不会出现在搜索回答中,但仍可能作为导航链接被给出。而 robots.txt 文件的改动大约要 24 小时才生效。2
ChatGPT-User 是另一种代理。它只在用户要求 ChatGPT 或自定义 GPT 打开某个页面时行动,它不会自动爬取网页,也不用来决定内容能否出现在搜索里。所以,「搜索可见性」要管的是 OAI-SearchBot,而不是对训练数据做猜测。
Google 对其自家 AI 界面的说明指向同一个结论:想在 AI 概览或 AI 模式里出现,除了「可抓取、可索引」之外没有额外的技术要求;而你发布的结构化数据必须和页面可见文字一致。3
五类公开来源,各自值多少
一旦开始打开引用,规律很快就出来了。先给它们分类,后面每个决定都会变快,因为五类里有两类根本不值得去追。
| 来源类别 | 典型页面 | 能证明什么 | 到此为止 |
|---|---|---|---|
| 自有 | 你自己的产品页、价格页或文档 | 这个事实是你自己发布的 | 别人有没有注意到,一概不知 |
| 独立目录 | 评测站或软件目录的收录页 | 有运营者把你归进了某个类目 | 这份收录是否准确、是否最新,一概不知 |
| 社区 | 论坛帖或板块讨论 | 有人在讨论这个问题 | 任何你能主导的情绪 |
| 媒体 | 行业媒体或新闻报道 | 有出版物认为这件事值得报道 | 任何你能合法买到的东西 |
| 竞品自有 | 对手的对比页或替代方案页 | 竞争对手在定义这个品类 | 任何你能改变的东西 |
五分钟核验一条引用
这一步的目的是把一条看着诱人的链接变成可用的证据。它刻意做得很机械。
- 把这条引用所依附的那句话原样抄下来,不要抄整段回答。
- 在干净的浏览器会话里打开链接,在页面里搜那句话的主语,而不是只搜你的产品名。
- 看这一页自己的发布或更新时间。
- 按上面的表格给它分类,并记下页面里有没有哪一处该由你来更正。
- 存下链接、你核对它的日期,以及你核对的那次回答的运行条件。
为什么同一个问题下周引用的来源变了
重复采样的研究反复发现同一种结构:完全相同的问题会产生不同的回答、引用不同的来源,引用分布极度倾斜,被引域名的排序在不同样本之间并不稳定——不只是在头部,而是贯穿整个高频被引集合。5很多两个域名之间看起来明显的差距,落在测量本身的噪声里。
有好几个变量会同时推动结果:问题的措辞、模型、语言、市场或位置语境、这次有没有真的联网搜索,以及采样本身的随机性。所以单条引用是线索,不是发现。记下运行条件,晚些时候再问一次,并且只比较「用同样方法测出来的」那部分。
一篇关于重复查询审计的方法论文,给「省掉重复」这件事标了代价:5 次重复的信度约 0.58,10 次约 0.74,15 次约 0.81。6跑五次是快速看一眼,不是结论。
把发现变成合规的工作
来源发现最有用的时候,是被当成一份待办清单——而清单要从你自己拥有的页面开始。如果某个回答在奖励某项属性,先检查你自己的页面上有没有用机器能读的文字写出这项属性。只存在于图片、视频或可下载文档里的证明,对这个流程等于不存在。
对第三方来源,贡献准确的信息,并遵守发布方自己的规则。必须避免的,是把「独立报道」的样子制造出来:买评论、到社区里安排帖子、或者付费换取写得像编辑内容的版面,在 Google 的政策里都属于搜索作弊手法,而后果会落到参与其中的域名上。4
我们说的「引用差距」指什么
在我们的报告里,引用差距指的是某一条问题上,竞争对手的回答关联到了公开来源、而你没有——并且是在同一次运行里。它描述的是一次测量,不是说「少了某条引用」导致了什么。
后续动作被刻意收得很窄:给来源分类,判断这一处是否该由你来更正,然后修掉你在自有页面上找到的最清楚的那个事实缺口。之后,在同样条件下再跑一次同样的问题,拿同类去比同类。
如果你想在一处看完整的边界说明,价格页写明了免费基线覆盖哪些内容、哪些留在付费方案里。