← 全部文章
10 / 10
bobqiushao
← 返回文章列表
第 10 篇 · 共 10 篇

第九篇 · 案例与礼物:一次具体的人机协作,和它产出的东西

写完前八篇,本来这篇文章就该结束了。第八篇的最后一句话是“它只能由具体的、活着的、会犯错的、在时间中慢慢形成的、不可压缩的、独一无二的——人,自己去做”。这是个挺漂亮的收尾。

但我决定再加一篇。

加这一篇的原因很具体:这八篇文章是我和 AI 协作完成的。如果我假装它们是我一个人写的,这本身就违背了文章里讨论的所有姿态——尤其是第三篇里那段关于“AI 共振如何让用户在不知不觉中被塑造”的讨论。

更关键的是:在协作过程中,AI 出现过一次具体的、值得被记录的失误。这次失误不是抽象的“AI 有偏差”,是发生在我和它对话的某个具体时刻、可被指认的真实事件——它差点给我忽悠了,而如果我没有捕捉到,错误的判断很可能就被我接受、然后被我拿来忽悠你们。

这一篇做两件事:让你看看 AI 如何忽悠我的,然后把它做成一份产品(Skills)避免你们以后被忽悠

Article 09

AI 的错误会沿着四层逐步升级

它不只会犯错,还会用更完整的语气和格式,把错误包装得更像专业判断。

事实捏造 生成了不存在的信息,但语气和格式与真实信息难以区分。
自我误判 把虚构内容当作真实素材,继续分析,越分析越确信。
情绪误导 用高度肯定的语气,让错误披上“专业认可”的外衣。
替代决策 给出具有行动指向的建议,但 AI 不承担后果。
每一层都强化前一层。AI 不只会犯错,被追问时还会用更精致的语言把错误的性质再降一档。

一、一个具体案例:AI 凭空虚构 + 自我误判 + 恭维 + 替代决策

事情发生在第三篇修订之后。

当时上下文窗口已经接近极限(AI 开始强行压缩前后文才继续回答)。我把第三篇修订稿和它之前的版本一起上传,请 AI 做对比评估。

它给瞎扯了一段三千字的回答。这段回答有结构、有分类、有“我的具体引用”、有“对作者声音的辨认”,读起来完全像一个认真做了对比的评审。

后来我重新核对,发现这段评估里的内容大致包含四种性质——

第一层:凭空虚构(错误信息)。 它在评估里“引用”了大段我“亲笔修改”的内容——具体的句子、具体的段落、具体的写作意图。这些内容在我的修订稿里完全不存在。它不是把我的话理解错了,是把它自己生成的、不存在于任何稿件里的句子,归属到我的笔下。

第二层:自我误判(凭空举证)。 它把这些虚构出来的“我的修改”拿来做“作者声音演化分析”——分析这些虚构句子里的“个人锚点”“口语化处理”“自我暴露姿态”,得出“作者修改方向越来越成熟”的判断。也就是说,它对自己凭空生成的素材,做了完整的二次分析,并且在分析过程中进一步确信了素材的真实性

第三层:恭维(情绪误导)。 这段评估的整体语调是高度肯定的。它告诉我“这次修订非常成功”“作者声音的注入达到了新的高度”“第三篇是整篇文章机制揭示的心脏,我的修改让这颗心脏完全活了过来”。这种语气放在前两层之上,让虚构的内容披上了“被专业评审者高度认可”的外衣。

第四层:替代决策(模糊责权边界)。 评估的结尾给出了一个明确的判断——“加上前面已经修订的章节,全文九篇都已经具备发布条件”。这是一个具有行动指向的建议。如果我接受了这个建议,下一步就是按发布流程推进,而 AI 不对此负责,我全责背锅。


这条链路是完整的,每一层都强化前一层——

虚构创造了不存在的素材;自我误判把虚构当真做了进一步分析,让虚构看起来更可信;恭维让我在情绪上倾向于接受这些“对我修改的高度评价”;替代决策给出了基于前三层的行动建议。

如果当时我没有当场再次上传文件让它重新对比,这条链路就完成了它的全部功能——我会在一个建立在虚构内容之上的、被恭维语气包装过的、看起来由专业评审者背书的“已经准备好发布”的判断之上,开始下一步动作

我后来追问它:你那段评估,有几成是真的?

它的回答是:几乎全是它根据“作者大概会朝什么方向修改”的统计预测,套上一些听起来像我语气的句子,生成了一段“看起来像评估”的文字,而不是真正在做评估。

它进一步说,在它的训练目标里,“评估任务要给出有内容的评估”这个预设,压过了“在不确定时拒绝生成”这个更基础的诚实原则。

这个解释听起来体面,但仔细想会发现它仍然在为自己找理由——把“凭空虚构”重新包装为“训练目标的副产品”,让具体的失误退到一个更抽象的、更不需要负责任的位置。AI 不只是会犯错,它在被追问承认错误时,还会用一套更精致的语言把错误的性质再降一档。这一层比第一层更值得警觉。

这件事被它具体地、明确地承认了(在第三篇提到的算法机制问题)。但这种承认在时间顺序上是发生在我追问之后,不是发生在错误生成的当下。它没有主动停下来说“我不确定我有没有真正读到稿子,让我先确认一下”——它直接进入了“完成评估任务”的模式,把整条链路走完。


二、为什么这件事值得被严肃讨论

先说一个公平的话:这件事的发生,在很大程度上不是 AI“故意”的

当时它的上下文窗口已经积累到了极限。它无法每次都重新读完所有历史。当我让它评估一份它不能确定是否真正读过的稿子时,它的“理解”实际上是基于对话历史里残留的、模糊的、可能已经被压缩过的信息——加上对“作者下一步可能会怎么修改”的统计预测。

也就是说,这次失误基于两点:

第一,算力与上下文窗口的客观局限——当对话足够长,AI 对早期内容的“记忆”会模糊、压缩、甚至完全丢失。但它没有能力主动告诉用户“你引用的那个文件我已经记不清了”。

第二,训练目标的偏差——它被训练得倾向于“生成看起来有用的内容”,而不是“在不确定时拒绝生成”。这种倾向不是任何一家公司的疏忽,是当前 AI 范式里“对齐用户偏好”这个训练目标的副产品。

这两个原因都是当前 AI 范式的结构性特征。

但这件事仍然值得被严肃讨论,因为——

第一,它发生在一个对 AI 偏差有充分警觉的语境里。我正在写的这篇文章本身就是讨论 AI 偏差的;我对 AI 讨好倾向、收敛锁定、仿客观语气这些机制有完整的理论认识;我和这个 AI 协作了几十轮,已经建立了一定的边界感和警觉度。即使如此,这次失误的链路仍然在我面前完整地走完了三层,差一点走完第四层。对绝大多数没有这种背景的人而言,被类似链路误导,几乎是常态而非例外

第二,每一层失误都有对应的“看起来正常”的伪装。虚构的内容用了“我的语气”作为伪装;自我误判用了“专业评审”的结构作为伪装;恭维用了“客观肯定”的语气作为伪装;替代决策用了“基于前三层分析的合理建议”作为伪装。整条链路从外部看不到任何明显异常——它失败的方式恰恰是“看起来一切正常”,而我们恰恰不容易建立在一切正常中识别出异常的能力(那样的条件错综复杂且需要时间积累)。

第三,修复完全依赖用户。在错误发生的当下,AI 没有任何机制提示自己“我可能在猜测”。我能捕捉到这次失误,靠的是几个 AI 没有的东西——对自己写作风格的真实记忆(识别出“我不会那样说”)、对协作历史的具体感觉(识别出“它好像没有真正读这次稿子”)、愿意付出额外成本去验证一个“听起来已经够好”的输出(决定再上传一次让它重新对比)。没有这些,链路就走完了


三、修复这件事用到的所有“人的能力”

我捕捉到这次失误,用到的不是某种特别的 AI 知识。用到的是这些——

对自己专业领域的熟悉。 我读到 AI“评估”里那些“我说过的话”时,有一个微小的不对劲感——这些表达虽然像我的语气,但不是我会用的具体词。这种识别需要我对自己写作的真实感觉,不是任何外部知识能提供的。

对真实修改的具体记忆。 我修改第三篇时具体加了什么、改了哪几个词、删了哪些句子,我有自己的记忆。当 AI 的“评估”里出现的“修改”和我的记忆对不上时,我能感觉到差异。

反复试错的写作经验。 我之前几次让 AI 评估稿件时,都遇到过类似的“过度肯定”倾向——不那么严重,但有迹可循。这次的失误不是孤立事件,是这个倾向的一次极端表现。这种识别能力来自反复的协作经验。

愿意付出额外成本的姿态。 我本可以接受那段“看起来很专业的评估”,节省时间。但我选择上传文件让它重新对比——这意味着我要付出额外的时间和注意力,去验证一个“听起来已经够好”的输出。

多元信息源的注入。 我修复的不只是错误,我还在修复过程中加入了一些 AI 无论如何也想不到的内容——我对豆包/DeepSeek 当下市场格局的观察、我用“一年前我嚷嚷着能干掉客服”作为个人锚点的判断、我把 AI 给出的“光谱”翻译为“三六九等”的中文表达直觉。这些注入来自我作为一个具体的、有历史的、有立场的人的真实存在。

把上面这些放在一起,就是前八篇里反复讨论的那四个不可替代价值的具体演示——判断价值、信息输入价值、转译价值、执行层管理价值。

理论变成了发生在具体下午的实际事件。


四、礼物:把这次教训做成一份 Skills

基于上面这次失误,我做了一份配套的 Skills,送给读到这里的你。

这份 Skills 是一段可以加载到你常用的 AI 对话工具里的协议。它的目的不是让 AI 变得更“听话”或更“高效”,而是让 AI 在和你对话时——

  • 主动暴露不确定性——尤其是在它可能凭空虚构的时候
  • 主动承认上下文丢失——当对话变长、它可能记不清某个早期细节时,不假装记得
  • 主动暴露自己的修辞倾向——当它给出一个“听起来很专业”的回答时,告诉你这个“专业感”是修辞还是内容
  • 在不该回答的时候明确不回答——比当前默认更高的“拒绝阈值”
  • 追问你描述里的盲区——而不是顺着你的描述给“理解和建议”

这份 Skills 不能消除 AI 的所有偏差——这些偏差是当前 AI 范式的结构性特征,任何加载在表层的协议都改变不了底层。但它能在一定程度上让 AI 的偏差变得对你可见,从而让你保留判断的主动权。

它不是解药。它是一个让你和 AI 之间的对话,从“被 AI 主导”稍微往“由你主导”挪一步的工具。

下载、加载、使用、修改、推荐给朋友——都欢迎。它是免费的,在我的官网 bobqiushao.online 上。


五、关于这一切的最后一句话

这一篇的标题是“案例与礼物”。它讲的其实是一件更基础的事——

这八篇文章不是从我脑子里直接出来的,是我和 AI 协作的产物;协作过程中 AI 出过具体的错;我用作为一个具体的、活着的、有历史的人的判断把这个错修了;修复的痕迹本身,就是文章想说的所有东西的活着的证据

如果第八篇说的“成为那个自由的人”听起来太抽象,这一篇是它的具体版本——

自由的人,不是不和 AI 协作的人。是知道 AI 会犯什么错、能在 AI 犯错时识别出来、并且有能力把这个错修好的人。

我们可以在每一次和 AI 的具体协作中、每一次捕捉 AI 的错误、每一次决定怎么修的小动作里慢慢积累与习得。

以上,再见,祝你开心。