AI使用笔记

笔记验证与查证

让另一个 AI 来审

我看不懂每一行脚本,也没法复核每一个数字。所以给 AI 定了一条规矩:下面三类东西,交给我之前,先派一个独立的 AI 助手审核。

  1. 会影响线上服务、数据或费用的命令、脚本和配置,包括让我自己手动执行的步骤;
  2. 没有测试覆盖的代码改动;
  3. 我会据此做决定的结论,特别是含计算和统计的。

怎么审

  • 审核者不继承主会话的上下文,只拿到草稿本身和原始数据,这样不会被前面的推理带偏。
  • 明确要求它「先假设有错,再去找」,按「阻断、应修、建议」三级报告,每条写出依据。
  • 审核者只读:不改文件,不登录服务器。
  • 它提出的新事实,主 AI 要亲自核实之后才采纳。

真实拦下的问题

有一次,AI 给我写一份网络故障的分析报告。审核拦下了四处实质错误:

  • 前后两处用的分母不一样;
  • 一处加法算错;
  • 比较「哪天报错最多」时,没有按当天的用量换算,结论正好反了;
  • 一组小样本对照用错了统计方法,把没有达到显著的差异算成了显著。

它还补出了两个被漏掉的背景:对比的日子里有一天是周日;导出的数据最后两天并不完整。这些错误,我自己是发现不了的。