先明确决策,再写买家问题
先确定这次研究要支持什么决策:买家能否发现某项能力、产品声明是否被正确理解,或哪些事实还缺少清楚的依据。写明目标市场、语言和采购角色。“希望在AI里更多出现”不足以定义可测量的观察。
按买家的表达组织问题,区分发现、比较和核验三类意图。为问题设置稳定编号并保存准确措辞。直接点名品牌的问题,与不提品牌的供应商问题属于不同测试;比较过程中不能悄悄更换问法。
| 问题类型 | 方法示例问题 | 观察重点 |
|---|---|---|
| 发现 | 采购团队选择专业供应商时,应检查哪些条件? | 相关品类及是否自发出现品牌 |
| 比较 | 如何比较两份服务方案背后的证据? | 选择标准、来源和不确定性 |
| 核验 | 哪些资料支持这个页面所描述的能力? | 是否识别具体声明及其依据 |
分别记录不同观测通道
模型API回答、带搜索工具的API回答、消费者产品界面和搜索AI摘要,是不同的观测通道。每条观测都要记录实际通道;API结果不能证明同一回答曾出现在消费者界面或搜索结果中。
当前托管实现已有API模型观测代码;真正运行仍需获准的模型配置、已确认计划和证据验收。其他通道需要单独约定并实际观察。本指南没有发布生产实测结果。
- 模型API:保留服务商、接口、模型标识、请求设置和回答原文。
- 搜索API:另外保留实际工具配置、检索来源和搜索证据。
- 消费者界面:标明实际产品、观察时间与获准的账号情境,保存原始可见证据。
- 搜索AI摘要:标明实际搜索体验、问题、市场和日期;未出现与访问失败分别记录。
执行前冻结一份小而清楚的协议
对每条计划观测,固定问题版本、语言、市场、通道、可取得的模型或产品版本、重复次数及相关工具设置。付费调用之前先确定费用上限和停止条件。平台没有公开的字段应记录为未知。
用运行编号将计划、执行尝试与证据连接起来。服务商错误、超时和不完整回答应记为失败或缺测。连接测试只能说明某个连接可以响应,不能等同于完成品牌审计。
| 协议字段 | 记录原因 |
|---|---|
| 问题编号与准确原文 | 能够恢复实际问法,避免依赖回忆 |
| 通道与模型/产品标识 | 避免把不同体验混在同一个可见度数字中 |
| 市场、语言、观测时间 | 明确目标买家的实际情境 |
| 重复次数、上限与完成状态 | 展示约定工作究竟完成了多少 |
先保留回答,再解释结果
保存回答原文、可取得的引用、时间、模型元数据及用量或费用依据。使用不可变版本或内容指纹,让审核者能定位每项结论背后的准确材料;保存或展示前应去除凭据。
品牌提及、输出链接和已核验的支持来源是不同发现。模型回答里出现引用后,仍需核对链接是否存在、能否支持对应陈述,以及相关内容在当时是否可取得。不能因为模型输出了网址,就将声明标为已核验。
同时报告覆盖率、结果比例与分母
以下仅为方法计算示例,使用合成数字,不是客户成果:计划24条观测,得到18条有效回答,其中6条提及品牌。覆盖率为18/24=75%;有效回答中的品牌提及率为6/18=33.3%。缺少的6条观测不能算作6条未提及。
汇总数字应能下钻到问题级证据。某一通道只有少量有效回答时,应说明限制,不宜平均成一个看似确定的跨平台总分。同时保留“怎样算提及、怎样算引用”的判断规则。
| 合成示例指标 | 计算方式 | 表示什么 |
|---|---|---|
| 观测覆盖率 | 18条有效/24条计划=75% | 约定计划中实际观察到多少 |
| 有效回答提及率 | 6条提及/18条有效=33.3% | 实际有效回答中的提及频率 |
| 缺测数 | 24条计划-18条有效=6条 | 尚未观察到的结果,不是已证实的负面回答 |
把可发现性检查对应到准确结论
作为Google AI搜索功能中的支持链接,页面需要已被索引,并符合搜索摘要展示条件;满足条件并不保证被展示。页面可以访问,只能记为访问检查通过,不能记为已经获得AI引用。
OpenAI分别提供搜索爬虫与训练爬虫的控制。应按实际目标核对搜索访问,不必把“可被搜索”理解成必须同意所有训练用途。运营工作台和客户材料仍应受到保护。
本节依据:Google Search Central — AI features and your website · OpenAI — Overview of OpenAI Crawlers
一份可审核的基线交接应包含什么
后续应围绕明确问题改进,再按可比口径复测。多发布页面、取得一次模型回答或保存一份报告,本身都不足以证明可见度提升。
- 冻结的问题协议、计划观测清单及排除范围。
- 有效观测的回答原文、引用记录,以及失败和缺测。
- 每项指标的定义和明确分母。
- 关联实际证据的改进优先级,而非排名或订单保证。
- 绑定证据版本的审核结论,并保留尚未解决的问题。