公开来源

ChatGPT 回答旁边那条引用,能证明什么、不能证明什么

来源链接值得打开,是因为你能亲手核对它。但它不是这次回答如何生成的收据。这条界线画在哪里,顺着这条线你又能做什么。

先说结论

  • 联网搜索的回答如果带链接,你可以打开它,核对那一页是否支持它旁边的那句话。
  • 回答没有任何链接时,就没有东西可核对。你无法把那段文字归因到某一张具体的训练网页。1
  • 网站能不能出现在 ChatGPT 的搜索回答里,取决于某个爬虫的 robots.txt 规则,而这是站主真正能控制的。2
  • 买评论、或者到社区里刷帖来做出引用的样子,属于搜索作弊手法,不是策略。4

什么时候真的可以核查

OpenAI 的搜索文档在这件事上写得很具体:使用了联网搜索的回答可能带引用,点开引用就打开来源页,桌面端还可以悬停预览;当界面提供「来源」按钮时,它会列出被引用的来源以及其他相关链接。1

这就是「可核查」的全部范围,而且值得说得精确一点。引用是请你核查某个主张的邀请,不是这次回答如何拼装出来的说明。打开它,找到它似乎支持的那句话,然后读那句话周围的段落。

  • 这一页支持的是原文的主张,还是一个更弱的版本?
  • 它讲的是这个问题问到的那款产品、那个方案、那个版本吗?
  • 它是最新的吗?发布方有资格知道这件事吗?
  • 你愿意把这一页当作证据,放到客户面前吗?

什么时候没什么可核查

很多回答一条链接都没有。这种情况下没有来源可打开,也没有东西可核对。缺少引用,并不构成「某一页在不在训练数据里」的证据;任何工具也没法诚实地给出这种归因。

反过来的陷阱同样常见:即使真有引用,也可能是弱的。链接打开的可能只是提到了你所在品类、却没提到你的页面;可能是三年没更新的页面;也可能根本不区分你的产品和它描述的那款产品。有一条来源,并不会让它旁边那句话变得更可靠。

你看到的能证明的不能证明的
回答旁边带一条链接这一页存在,并且和这次回答一起被返回这次回答是由这一页造成的
完全没有链接什么都无法核对某一页在或不在训练数据里
链到目录页或社区帖有第三方页面在讨论这个品类它在推荐你的产品
链到竞争对手的对比页竞争对手发布过一份对比内容这份对比是公平、最新或完整的

网站能不能出现,由谁决定

站主真正能控制的机制,比这场讨论通常暗示的要小、也要具体得多。OpenAI 记录了两种相关代理。OAI-SearchBot 负责把网站呈现在 ChatGPT 的搜索结果里;把它屏蔽掉的网站不会出现在搜索回答中,但仍可能作为导航链接被给出。而 robots.txt 文件的改动大约要 24 小时才生效。2

ChatGPT-User 是另一种代理。它只在用户要求 ChatGPT 或自定义 GPT 打开某个页面时行动,它不会自动爬取网页,也不用来决定内容能否出现在搜索里。所以,「搜索可见性」要管的是 OAI-SearchBot,而不是对训练数据做猜测。

Google 对其自家 AI 界面的说明指向同一个结论:想在 AI 概览或 AI 模式里出现,除了「可抓取、可索引」之外没有额外的技术要求;而你发布的结构化数据必须和页面可见文字一致。3

五类公开来源,各自值多少

一旦开始打开引用,规律很快就出来了。先给它们分类,后面每个决定都会变快,因为五类里有两类根本不值得去追。

来源类别典型页面能证明什么到此为止
自有你自己的产品页、价格页或文档这个事实是你自己发布的别人有没有注意到,一概不知
独立目录评测站或软件目录的收录页有运营者把你归进了某个类目这份收录是否准确、是否最新,一概不知
社区论坛帖或板块讨论有人在讨论这个问题任何你能主导的情绪
媒体行业媒体或新闻报道有出版物认为这件事值得报道任何你能合法买到的东西
竞品自有对手的对比页或替代方案页竞争对手在定义这个品类任何你能改变的东西

五分钟核验一条引用

这一步的目的是把一条看着诱人的链接变成可用的证据。它刻意做得很机械。

  • 把这条引用所依附的那句话原样抄下来,不要抄整段回答。
  • 在干净的浏览器会话里打开链接,在页面里搜那句话的主语,而不是只搜你的产品名。
  • 看这一页自己的发布或更新时间。
  • 按上面的表格给它分类,并记下页面里有没有哪一处该由你来更正。
  • 存下链接、你核对它的日期,以及你核对的那次回答的运行条件。

为什么同一个问题下周引用的来源变了

重复采样的研究反复发现同一种结构:完全相同的问题会产生不同的回答、引用不同的来源,引用分布极度倾斜,被引域名的排序在不同样本之间并不稳定——不只是在头部,而是贯穿整个高频被引集合。5很多两个域名之间看起来明显的差距,落在测量本身的噪声里。

有好几个变量会同时推动结果:问题的措辞、模型、语言、市场或位置语境、这次有没有真的联网搜索,以及采样本身的随机性。所以单条引用是线索,不是发现。记下运行条件,晚些时候再问一次,并且只比较「用同样方法测出来的」那部分。

一篇关于重复查询审计的方法论文,给「省掉重复」这件事标了代价:5 次重复的信度约 0.58,10 次约 0.74,15 次约 0.81。6跑五次是快速看一眼,不是结论。

把发现变成合规的工作

来源发现最有用的时候,是被当成一份待办清单——而清单要从你自己拥有的页面开始。如果某个回答在奖励某项属性,先检查你自己的页面上有没有用机器能读的文字写出这项属性。只存在于图片、视频或可下载文档里的证明,对这个流程等于不存在。

对第三方来源,贡献准确的信息,并遵守发布方自己的规则。必须避免的,是把「独立报道」的样子制造出来:买评论、到社区里安排帖子、或者付费换取写得像编辑内容的版面,在 Google 的政策里都属于搜索作弊手法,而后果会落到参与其中的域名上。4

我们说的「引用差距」指什么

在我们的报告里,引用差距指的是某一条问题上,竞争对手的回答关联到了公开来源、而你没有——并且是在同一次运行里。它描述的是一次测量,不是说「少了某条引用」导致了什么。

后续动作被刻意收得很窄:给来源分类,判断这一处是否该由你来更正,然后修掉你在自有页面上找到的最清楚的那个事实缺口。之后,在同样条件下再跑一次同样的问题,拿同类去比同类。

如果你想在一处看完整的边界说明,价格页写明了免费基线覆盖哪些内容、哪些留在付费方案里。