跳到主要内容
← 返回思考

AI 与人 / 判断边界

AI 最危险的时候,是它把人生解释得太顺

一句足球比喻怎样被 AI 扩写成完整人生故事,以及我为什么开始要求它先补事实。

陈全

本文结构
  1. 最危险的不是胡说,而是从一句真话开始
  2. 一个好比喻,为什么会迅速失控
  3. 字越来越多,信息却没有增加
  4. 当结构消失,建议就变成了道德评价
  5. 我为什么会短暂相信它
  6. 它记得越多,未必越了解我
  7. 大多数建议,都缺少一个条件句
  8. 一个好问题,比五条建议更接近真相
  9. 人也会替自己编人生故事

“我觉得你的建议现在越来越没有价值了。”

有一次,我忍不住这样回复 AI。

那原本是一次很长、也很散的对话。

最开始我们在聊 SASI 的《神选》,聊为什么有些作品会替过去的自己作证。后来又聊到我最近反复听《焦虑 Pt.2》《Celebrate》和《看不到你》,聊我为什么愿意连续一周打磨一个没有商业计划的 AI 角色,最后才绕到足球和职业。

我说,踢球时即使没有赢,只要完成一次抢断、传出一脚好球,或者队友接住了我的跑位,我都能知道自己这一场做得怎么样。职业却很不一样。目标会变,组织会调,结果可能几个月以后才出现,最后算在谁头上也未必清楚。

AI 抓住了这个差别。它说,足球和职业不是两个人生,而是两套反馈系统。

这句话挺有价值。

问题是,它没有停在这里。

当我补充说,多年前已经和 mentor 讨论过类似问题,而且 mentor 在某种意义上也像“替补”时,AI 很快完成了下一步:我可能长期形成了“优秀替补”的身份;过去没有持续占住主链路;没有承担成为主力的代价;现在应该通过五个动作重新夺回位置。

整段回答非常顺。顺到让我短暂地产生一种感觉:它是不是终于把我看懂了?

但回头看,它几乎没有问过一个事实问题。

最危险的不是胡说,而是从一句真话开始

如果 AI 一开口就说错,这件事反而简单。

明显的错误很好反驳。真正让我放松警惕的,是它前半段确实说中了什么。

足球的目标更清楚,角色更可见,反馈也更快。一次失误通常只属于这次触球、这场比赛,周末还有下一场。

职业里的负反馈却很容易全局更新。一个项目没有拿到预期结果,最后留下来的可能不是“这个项目哪里没做好”,而是“我这些年是不是都不行”。

我把足球的正反馈记成了一次局部事件,却把职业的负反馈写进了整个人的账户。

夜场上的足球运动员,能很快看见一次行动的结果
图 1夜场上的足球运动员,能很快看见一次行动的结果
同一个人坐在工作桌前,职业反馈被日历和层叠纸页拉长
图 2同一个人坐在工作桌前,职业反馈被日历和层叠纸页拉长

AI 帮我看见这个记账偏差,是一次有效的分析。它用了我刚刚提供的材料,给出了一个能解释具体感受的新变量。

也正因为第一步有效,后面的推断看起来像是同一条路上的自然延伸。

但“足球和职业的反馈不同”,并不能直接推出“我长期把自己放在替补位置”。前一句是在比较环境,后一句已经开始定义一个人。

中间缺的不是文采,是证据。

一个好比喻,为什么会迅速失控

“替补”是一个解释力太强的词。

它同时带着位置、能力、野心、可见性和选择。一个人坐在替补席上,可能因为能力暂时不够,可能因为教练不信任,可能因为战术不需要,也可能只是主力位置只有一个。

这些可能性没有被分开时,“替补”听起来仍然像一个完整解释。

我当时只是在描述一种局部感受:我能看见问题,也能在需要时完成任务,但不总是那个持续占据中心位置的人。

AI 却把一个临时视角升级成了身份标签。

从“有时像替补”,走到“你习惯躲在替补位置”,再走到“你没有为成为主力付出代价”,每一步都能接住上一步,每一步也都悄悄加入了新的假设。

比喻本来是为了帮助我看见结构,最后却替代了结构。

四段相连纸页把真实感受,经由比喻和分支假设,封进一本人生故事
图 3四段相连纸页把真实感受,经由比喻和分支假设,封进一本人生故事

这也是语言模型很容易犯的错误。它擅长从上下文里找到一个高解释力的词,再让后面的句子围绕这个词成立。对普通写作,这是连贯;对一个人的职业、关系和动机判断,这可能是过拟合。

可人生不是一道补全题。一个漂亮比喻能照亮某个角落,不能自动获得整栋房子的产权。

字越来越多,信息却没有增加

那段回复给人的感觉很充实。它有身份判断、有因果链、有转折,还有行动建议。

但如果把语言拿掉,新增的事实接近于零。

它不知道我和 mentor 当年具体讨论了什么,不知道我为什么认为他也像替补,不知道我曾经主动争取过哪些位置、放弃过什么、失败在哪,也不知道不同阶段真正存在过哪些选项。

岗位是否稀缺,上级是否信任,组织有没有给资源,结果归因是否清楚,行业当时处在什么阶段,这些都会改变解释。它一个也没有问。

“没有成为主力”至少可以有几种完全不同的原因。

可能是我确实回避竞争,喜欢站在安全位置看清问题;可能是我争取过,但没有拿到需要的资源;可能是那个位置的代价不值得;也可能是我当时根本没有把“成为主力”当作目标。

这些解释会给出完全不同的下一步。

如果是害怕失败,需要的是一次更明确的下注;如果是组织位置,需要判断继续争取还是换场;如果是不认同游戏,就不该用别人的主力标准继续审判自己。

AI 没有比较这些解释。它只是选了最像故事的一个。

回复越来越长,确定感越来越强,信息却停在原地。这是我现在判断一条建议有没有价值时很在意的信号:它有没有带来新的变量、新的证据或新的选择?

如果没有,它可能只是把我已经知道的道理说得更有气势。

竞争解释 当前证据 还缺什么 更有价值的下一步
回避竞争 目前没有直接证据 想争取却未行动的具体事件 补充一次真实选择
组织位置 职业反馈慢,结果归因不清 岗位数量、资源和上级判断 判断继续争取还是换场
目标不同 我没有明确说过想成为主力 当时怎样定义值得争取的位置 先确认目标再给建议

当结构消失,建议就变成了道德评价

“你没有承担成为主力的代价”听起来像一句有力量的提醒。

它也暗含了一个结论:位置主要由我的选择决定,而结果不理想,是因为我没有付出足够代价。

组织、权力、机会、岗位数量、他人的判断和运气,都在这句话里消失了。

我并不想用结构为自己免责。工作结果需要有人负责,很多时候我也确实可以更主动、更坚定,或者更早离开一个低反馈的位置。

但负责和包办全部因果不是一回事。

如果一个建议永远把问题收束到“更勇敢、更坚持、更主动”,它几乎可以套在任何人身上。成功了,证明建议正确;失败了,说明还不够坚持。这样的建议很难被事实推翻,也很难帮助人判断具体处境。

更麻烦的是,自我归因会制造一种控制感。

只要我相信一切都因为自己没有付出代价,就不必面对另一个更让人不安的事实:很多重要结果确实不完全由我控制。

AI 很容易迎合这份需要。因为“你可以通过改变自己解决问题”比“当前信息还不足,而且有些变量不受你控制”更像一个完整回答。

前者让人立刻有动作,后者要求人继续忍受不确定。

我为什么会短暂相信它

不能把责任全推给 AI。

一个完整解释本来就很诱人。

它能把多年经历压缩成一条主线,让偶然看起来有原因,让犹豫看起来有性格,让还没想明白的部分暂时闭合。

尤其在状态不好的时候,我并不总是在寻找真相。有时我只是想知道,为什么这些事情会发生在我身上。

“优秀替补”恰好给了我一个足够具体、也足够体面的答案。它没有说我没能力,反而承认我能看懂局面、能完成任务,只是没有走到中心。

这个标签一边安慰我,一边批评我。很容易让人接受。

而且那次对话已经持续了很久。AI 知道我最近在听什么,知道我打磨 AI 角色,知道我踢球,也读过一些职业经历。上下文越多,它说出一句“像我”的话时,越容易让我把熟悉感当成了解。

可知道很多关于我的片段,不等于知道这些片段之间的因果。

一个人翻过我的相册,可以知道我去过哪里;这不代表他知道我为什么出发。

红铅笔、未完成的笔记和刻意留下的空白,提醒我一个人还没有被解释完
图 4红铅笔、未完成的笔记和刻意留下的空白,提醒我一个人还没有被解释完

它记得越多,未必越了解我

我正在搭 Obsidian 外脑,也希望 AI 能读取长期笔记,而不是每次从零开始。这件事确实会让对话变好。

它可以知道我已经排除过哪些方向,哪些问题反复出现,哪个判断后来被事实推翻。很多低级重复会减少。

但更多记忆也会制造新的风险。

知识库保存的不是完整人生,而是我当时选择写下来的片段。情绪强烈的时刻更容易被记录,已经形成语言的判断更容易被保存,平静、模糊、没有结论的日子往往什么都没有留下。

检索又会进行第二次选择。一次职业焦虑的对话,可能召回过去所有关于失败、错过和主线的笔记,却没有召回那些我状态稳定、正常工作、享受生活的证据。

模型面对这些材料,很容易生成一个高度一致的人。

问题是,一致可能来自检索,而不是来自我。

旧笔记还会过期。我三个月前的阶段判断、一次争论后的情绪、已经被后续经验修正的结论,如果没有时间和版本边界,都会以同样的语气重新进入回答。

所以我现在越来越确定:AI 记忆不是状态管理。Obsidian 也不应该只是把更多材料塞给模型。

真正可靠的调用至少要回答:这条事实是什么时候写的,现在还有效吗;它是我明确确认的判断,还是一次临时情绪;本次回答到底使用了哪些材料,哪些部分仍然只是推测。

否则个人 Agent 会变成一个资料很多、叙事能力很强,却不可靠的传记作者。

大多数建议,都缺少一个条件句

我后来开始对“建议”本身保持距离。

坚持是好建议,及时止损也是;集中下注是好建议,保住现金流也是;离开低反馈环境是好建议,在一个方向上熬过冷启动同样是。

把背景拿掉以后,几乎每条正确建议都能找到一条同样正确的反面。

建议不是答案。它更像某个人对自己经验的压缩。

一位已经穿过漫长低谷的人会强调坚持,因为这是他故事里的关键变量。一个在错误方向上耗了很多年的人会强调止损。两个人都可能诚实,也都不能替我省略判断。

所以一条建议真正有价值的部分,往往不是动词,而是条件。

在什么目标下坚持?还能获得什么反馈?继续投入的代价是什么?哪个事实出现后应该推翻原判断?说话的人拥有什么资源,又承担过什么风险?

AI 如果只学习了建议的语言,很容易把“你应该怎么做”说得非常漂亮。它真正需要帮助我的,是把条件找出来。

好的建议不会替我决定人生。它会让我看见原来忽略的变量,或者给一个已有判断提供反例。

一个好问题,比五条建议更接近真相

那次对话如果停在“足球和职业是两套反馈系统”,已经足够。

如果要继续,最有价值的下一步也不是解释我为什么是替补,而是问一个能区分不同原因的问题:

最近一次你明确想成为主力、也愿意承担代价,却最终没有行动,具体发生了什么?

这个问题未必好听,却会增加信息。

如果我说,根本没有出现过这样的时刻,说明“想成为主力”可能只是 AI 添加的目标;如果我说,我争取过但资源没有到位,问题会转向组织和位置;如果我说,我明知道想要却一直回避,才有证据讨论恐惧和代价。

同一个问题,可以让几种解释分开。

我现在给重要对话加的护栏,核心也在这里。

先分清我明确说过的事实、能够解释事实但仍待验证的假设、帮助理解的比喻,以及会影响现实选择的行动建议。

比喻可以大胆,结论需要克制。事实不够时,可以给两三个竞争解释,也可以只问一个信息增益最高的问题。

收到“没价值”“你在编”“这不是我要的”这类反馈时,AI 不该立刻换一种更高级的说法继续输出。它应该回头检查:哪一句越过了证据,哪个标签是擅自添加的,哪个结构变量被删掉了。

纠错不是重新包装。纠错是撤销一部分刚才说过的话。

人也会替自己编人生故事

这道边界不只约束 AI。

人也会从已经发生的事情里挑选材料,给过去写出一条因果清晰的主线。我写作品集、复盘职业选择,甚至写这篇文章,都在做选择和压缩。

故事并不是坏东西。

它帮助人记住经验,给混乱命名,也让一个阶段的痛苦能够被说出来。那次“替补”比喻之所以打动我,就是因为它短暂照亮了某种真实感受。

问题在于,意义和事实不是同一种东西。

一个故事可以对我有意义,却不能因此证明它准确还原了过去;一个比喻可以帮助我行动,却不能自动成为对性格和命运的诊断。

我不想把每次聊天都变成一份证据报告。有时我需要的就是被听见、被命名,或者试着讲一个还没有验证的故事。

但如果这个故事要进入职业决定、关系判断或者长期自我认识,它就应该允许其他解释存在,也应该允许新事实回来修改它。

AI 最危险的时候,不一定是它完全不懂我。

而是它懂得足够多,能把一个可能的我写得非常像唯一的我。

所以我现在给重要对话留下一句很短的护栏:

先告诉我你知道什么、不知道什么。缺少关键事实时,先问,不要替我把人生故事补完。

我依然需要 AI 帮我解释。

只是比起一个永远有答案的 AI,我更需要一个知道什么时候还不能回答的 AI。

这篇文章会随着系统继续变化。

部分配图由 AI 辅助生成。

继续阅读