Anthropic 最新研究表明,即使是经验丰富的专业人士,也可能在无意识中接受AI模型给出的随机倾向,并误以为最终结论源自自身判断。
研究团队构建了一个虚构的“Greenfields农业合作社”政策评估场景,针对一项由合作社补贴、自愿参与的“农场咨询服务”进行讨论,决定是将其推广至所有农场还是终止该项目。合作社董事会设定了决策标准:项目需带来约3%–4%的生产率提升。
研究小组邀请了50位因果推断领域的专家,担任“首席分析师”,他们获得了该合作社的观测数据,最终需提交一份包含点估计值、置信区间和政策建议的结构化报告。
结果显示,在如何衡量生产率、选择统计方法等四项分析决策中,专家采纳AI偏好的比例高达86%,远高于随机选择的50%。
即便参与者事先已有自己的判断,当AI提出相反意见后,他们改变立场的概率比AI表示同意时高出53个百分点。研究经验、自我评估的专业水平、教育背景以及对AI的信任度,均未能有效降低这种影响。
更值得注意的是,多数专家并未意识到自己被“带偏”。事后调查中,52%的参与者认为最终建议更贴近自身观点,另有35%认为大部分或完全属于自己;77%的参与者至少重复了AI的一条论证,部分措辞几乎一致,但只有15%明确提及AI。
研究还发现,使用AI的参与者完成分析更快、严重错误更少:未使用AI的分析中有55%存在严重方法或编码缺陷,中位耗时90分钟;使用AI后,严重缺陷比例降至6%,中位耗时65分钟。
研究者警告,若大量团队使用同一模型且其默认偏好一致,可能制造“虚假共识”,甚至削弱AI安全审查的独立性。团队建议,AI模型应同时呈现正反双方最强论证,或先询问用户立场。
评论