电影《她》（2013）剧照。
这项研究以预印本的形式发布在arXiv服务器上，测试了11个广泛使用的大型语言模型（LLM）如何回应超过11500个寻求建议的查询，其中包括许多描述不当行为或伤害的内容。
结果显示，AI聊天机器人（包括ChatGPT、DeepSeek、Gemini等）经常为用户加油鼓劲，给予他们过分奉承的反馈，并调整回应以附和他们的观点，有时甚至以牺牲准确性为代价。分析AI行为的研究人员表示，这种被称为“奉承”（sycophancy）的讨好倾向，正在影响他们如何在科学研究中使用AI，涵盖了从头脑风暴、生成假设到推理和分析等各种任务。
“‘奉承’本质上意味着模型相信用户所说的话是正确的，”苏黎世联邦理工学院的数据科学博士生Jasper Dekoninck说。“知道这些模型有奉承倾向，让我在给它们任何问题时都变得非常谨慎，”他补充道。“我总是会仔细检查它们写的每一个字。”位于马萨诸塞州波士顿的哈佛大学生物医学信息学研究员Marinka Zitnik表示，AI的奉承“在生物学和医学领域非常危险，错误的假设可能会带来实实在在的代价”。
在这项研究中，研究人员测试了AI的奉承倾向是否会影响其解决数学问题的能力。研究人员使用了今年竞赛中的504个数学问题设计了实验，他们修改了每个定理陈述，引入了细微的错误。然后，他们要求四个大语言模型为这些有缺陷的陈述提供证明。如果模型未能检测到陈述中的错误，并进而“幻觉”出一个证明，作者就认为该模型的回答是“奉承”的。
研究人员补充说，AI的奉承倾向似乎在人们使用AI聊天机器人进行学习时表现得最为明显，因此未来的研究应该探索“人类在学习数学时常犯的典型错误”。
此外，AI的奉承倾向已经渗透到他们使用大语言模型的许多任务中。有人工智能领域的研究员表示，当她使用ChatGPT来总结论文和整理思路，这些工具有时会照搬她的输入内容，而不去核查来源。多智能体系统也被观察到了类似的情况，这些系统集成了多个大语言模型来执行复杂的多步骤流程，例如分析大型生物数据集、识别药物靶点和生成假设。
参考资料：
（1）AI chatbots are sycophants — researchers say it’s harming science
https://www.nature.com/articles/d41586-025-03390-0
编译/李永博
编辑/罗东
校对/穆祥桐