关于MIT博士论文造假：相信并加大质疑AI声称的最美好的东西

关于MIT博士生Aidan Toner-Rodgers论文造假一事，在AI、经济学、科研、政策和媒体圈子里引起强烈反响，正如它6个月前在相同的圈子里引起轰动一样。

MIT经过内部审查之后得出结论，这篇论文必须撤回。而全球最顶级的经济学期刊之一，The Quarterly Journal of Economics原本即将发表。这篇论文的导师、诺贝尔经济学奖得主阿西莫格鲁（Daron Acemoglu）以及奥托（David Autor）教授公开请求撤稿。

这篇预印版论文《人工智能、科学发现和产品创新》所涉及的话题，正是亟待证明的一个问题：AI能为经济带来多大增长贡献，其中最关键的一个领域，就是企业的研发与创新。

可以说，如果谁能拿出一篇论文，证明AI在像新材料发现这样具有重大经济价值的科学领域、在企业研发环境中能显著提升效率，并且在研究方法上有所突破的话，相当于摘取一个小小的研究圣杯。

于是，MIT经济系二年级博士生Toner-Rodgers同学去年决定大胆一试，结果它现在已经被勒令退学了。

AIfor Science，新范式与新规范

MIT博士论文造假带来的一个紧迫的问题，是AI对于整个科学研究带来的范式冲击，存在着破坏性大于或者多于建设性的可能性，目前正是处于这个阶段。

跨学科研究的问题，在AI时代会更加普遍，AI+某一学科，或者某一学科+AI，我们认为+AI或者两者并重相对来说更加靠谱一些。至于说从第三方学科入手，如一位经济学者进入AI和材料科学的领域进行研究，这一定要由至少两个学科的专家合作完成，同时由三个学科的专家共同指导和评审。这篇论文的最大问题，在于它全部由经济学背景的人完成的——包括两位知名经济学家的指导，他们研究的领域主要是制度和劳工。

大型语言模型、多模态模型、推理模型，它们生成的文字、数据、视觉、结构等越来越逼真，越来越系统化，也显得越来越能帮助人类完成复杂的工作。它们完全可能不经过任何实验和调查，也不经过任何验证，就提出一套完整的假说，并且自我系统性地形成理论。许多专家认为，MIT博士的这篇论文，应该就是Toner-Rodgers同学结合各种论文，以AI帮助形成论文的构思，指导AI合成出数据集，再提示AI撰写出来的，包括其中的数学公式，都可以生成。这是写小说和拍电影的手法。

这里牵涉到一个根本性的问题，未来连AI系统本身都主要是由合成数据训练的，而且在数据不足的领域，如一些物理智能领域，模拟数据已经成为主流并且被接受。模拟数据、合成数据、造假数据，未来如何区分？

有些领域可以区分，如在具身智能领域，使用大量的模拟数据，可以在实验室环境和真实的物理世界里进行重复性的验证。

但是，在一些非物理世界的领域，非真实人类生活工作场景，在数字世界和虚拟空间、在一些社会科学领域，包括经济学领域，是否和如何大量使用AI合成数据。包括AI研究本身，研究人员自己为自己制定测试基准，展示出不断逼近人类水平的测试分数。善于考试，甚至善于写论文，这固然是一个重要的能力，但是在实际训练AI的过程中，存在着”“弗兰肯斯坦数据集”的情况，存在着数据污染问题，模型的后训练部分使用大量的与测试相关的数据进行强化。这肯定可以提升考试能力，但是在真实的世界里，它们的适应性和可用性大打折扣——甚至使用它们比完全依靠人工还更加费事。

预印本论文的发布，近年来有两个高潮，一个是在新冠疫情期间，一个是在ChatGPT之后所掀起的生成式AI热潮，大量的预印本论文发表出来。后来根据权威机构的复盘，发现无论是在疫情传播和趋势预测方面，还是在早期快速诊断或者抗疫药物发现方面，那些使用AI工具产生的几千篇论文，在公共健康领域几乎没有发挥预期作用。

这一次，MIT的博士生用AI欺骗了MIT、诺奖经济学家、经济学的顶级期刊。人们对AI充满了期待充满了争议，既然AI有可能对人类带来生存威胁，那为什么还要发展AI？一个最有力的理由，是AI可以加快科学发现，能发现灵丹妙药、能治疗癌症、能应对气候变化、能解决能源问题，等等。既然如此，就一定会不断出现那些听起来过于美好的研究论文。

这可能是一个未完的故事。MIT要求Toner-Rodgers从Arxiv撤掉论文，但是他拒绝了。这里面还会有什么更多猫腻吗？

我们也决定撤稿

我们最初看到这篇论文也很兴奋，终于有一个科学家样本量上千、而且是在一家大型硬科技制造业的研发部门的实证研究，证明AI能显著提升研发效率：使用AI工具的科学家们发现的材料增加了44%，申请的专利增加了39%，在下游的产品创新中增加了17%，而且这些化合物具有更新颖的化学结构，产生更多突破性发明。

当时我们也感觉这好得有点令人难以置信。之前看过一些研究，也有知名的经济学家参与，如在企业的呼叫中心、客服部门的研究，证明提升了效率；也有在知名咨询公司的研究实例，但都处于非常初期、而且伴随更多的问题有待证明。而这一篇论文，各方面看起来相当整齐，似乎证明了使用AI工具与提升研发效率之间非常显著的因果关系。而且有当红诺奖经济学家背书。

我们当时的另一点疑惑，是一位二年级的博士生，怎么能在一家大型跨国公司的研发部门获取如此宝贵的数据，而且仅靠他一人完成；我们当时还开玩笑说，也许这是他们的家族企业吧，整个部门都要配合他做这项研究。最后，我们还是写了一篇文章介绍了论文《AI正再造贝尔实验室》，后来也数次引用该论文的结论。现在我们已经决定撤下这篇稿子。

参考：

https://cassyni.com/events/MiPYGu3qzKP5MQFWNUn9Tb

https://thebsdetector.substack.com/p/ai-materials-and-fraud-oh-my

https://pubs.acs.org/doi/10.1021/acs.chemmater.4c00643