笔记验证与查证
让另一个 AI 来审
我看不懂每一行脚本,也没法复核每一个数字。所以给 AI 定了一条规矩:下面三类东西,交给我之前,先派一个独立的 AI 助手审核。
- 会影响线上服务、数据或费用的命令、脚本和配置,包括让我自己手动执行的步骤;
- 没有测试覆盖的代码改动;
- 我会据此做决定的结论,特别是含计算和统计的。
怎么审
- 审核者不继承主会话的上下文,只拿到草稿本身和原始数据,这样不会被前面的推理带偏。
- 明确要求它「先假设有错,再去找」,按「阻断、应修、建议」三级报告,每条写出依据。
- 审核者只读:不改文件,不登录服务器。
- 它提出的新事实,主 AI 要亲自核实之后才采纳。
真实拦下的问题
有一次,AI 给我写一份网络故障的分析报告。审核拦下了四处实质错误:
- 前后两处用的分母不一样;
- 一处加法算错;
- 比较「哪天报错最多」时,没有按当天的用量换算,结论正好反了;
- 一组小样本对照用错了统计方法,把没有达到显著的差异算成了显著。
它还补出了两个被漏掉的背景:对比的日子里有一天是周日;导出的数据最后两天并不完整。这些错误,我自己是发现不了的。