人工智能工具生成的模板化论文数量激增

2025-07-04 来源:中国社会科学网-中国社会科学报

微信公众号

分享
链接已复制

  中国社会科学报记者 练志闲

  人工智能工具不仅影响了科研范式,更让数据驱动型研究进入快速生成的时代,同时打开了学术不端行为的“潘多拉魔盒”。近期,英国萨里大学研究团队在深入探索大数据与开放科学的过程中发现,借助人工智能的大数据研究正在被滥用,炮制出了大量低质量甚至虚假的科研成果。该研究的作者团队成员、萨里大学健康科学学院讲师马特·斯皮克(Matt Spick)和研究人员图尔西·苏查克(Tulsi Suchak)共同在世界大学新闻网撰文介绍了该研究的主要发现。

  模板化论文催生劣质研究

  该研究团队注意到,基于大数据资源的出版物数量呈爆发式增长。在医学领域内,这一趋势在两类研究中表现得尤为突出,一类是两样本孟德尔随机化研究,另一类是简单的关联研究,即把暴露因素或预测因素与疾病联系起来的研究。这两类分析均得益于机器学习方法带来的自动化操作。此外,在人工智能的帮助下,论文手稿的撰写速度也迅速提升,进一步推动了研究的发展速度。这一现象不禁让该研究团队开始思考是否存在更为恶劣的情况,以及人工智能是否正被用于大规模炮制劣质研究成果。

  研究人员通过美国国家健康与营养调查数据库(NHANES)可以直接将数据导入机器学习,因此使用该数据来源发表的文章数量呈指数级增长。研究团队发现,近几年提及该数据库的文章发表量迅速增加,但是分析NHANES数据的模板化研究文章存在诸多严重问题。该研究团队对众多文章中的一个子集展开研究,发现模板化论文的比例呈上升趋势,且这些论文常常出现标题相似、统计和机器学习方法相同的情况。

  该研究发现了三个严重的方法论问题。首先,文章经常存在选择性使用数据的情况。例如,在没有明确依据的情况下,仅分析有限的日期范围或数据子集,这暗示着可能存在数据挖掘和事后假设的问题。其次,研究人员必须防止出现错误成果,因为人工智能能够测试潜在的数千种关系,这也意味着从数据中找到虚假关系的概率大幅增加。虚假发现率校正(false discovery rate correction)可以解决这一问题,这是一种统计方法。当该研究团队把这一校正方法应用到所审查的研究中时发现,超过一半的研究在校正后并不具备统计学意义。最后,这些研究对单一预测因素开展分析,进而将其与单一疾病建立联系。简而言之,它们将复杂的多因素问题歪曲成了简单的单因素关联事件。这种简化的表述或许乍一看颇具吸引力,但研究团队强调,在医疗保健领域,要准确区分根本原因与混杂因素绝非易事。

  尽管人们正在利用大数据资源开展有价值的研究,但存在问题或模板化的研究数量远远超过优质研究。可以说,行为不当的研究者能够迅速行动,而深思熟虑的研究者则行动缓慢且谨慎,这种情况可能会误导研究人员以及普通公众。与此同时,由于生成式人工智能是在公开获取的数据源上进行训练的,其中就包括这些已发表的研究成果,因此人工智能工具正在学习并吸收这些误导性结论。

  多方采取措施予以应对

  研究团队对此深感担忧,因为经过同行评议并公开发表的研究本应是防止错误信息的屏障,而非误导性结论的源头。人工智能具有惊人的潜力,可以通过提高生产力和标准化工作流程来改变科研工作。然而,并非只有诚实的科研人员才能利用这些优势,人人都有机会,必然也意味着包括有学术不端行为的研究人员。“论文工厂”或想要剽窃已发表方法的个人也有机会应用这些技术来制造大量低质量研究成果。

  从长远来看,这些问题只能通过调整对研究人员的激励机制来解决。在“发表或灭亡”(publish or perish)生存法则的驱动下,科研人员正陷入恶性循环:学术晋升、基金申请乃至职业发展都严重依赖论文发表数量,这种量化考核机制迫使研究者不得不在创新思考、研究深度与发表速度之间做出选择。该研究团队揭示了一个残酷现实:当人工智能工具将论文生产周期缩短至数周甚至数日时,那些恪守科研伦理的学者反而因严谨的研究周期而处于竞争劣势。

  萨里大学的研究团队开展此项研究,一方面是为了推动自身学术进展,另一方面也是为了深入了解政策制定者如何通过开放科学举措激励信息共享。这对政策制定者而言是一个现实挑战,且目前尚未找到有效的解决方案。事实上,以往改变研究生态系统的尝试,如将期刊转向由文章处理费支持的开放存取模式,非但无法解决旧问题,还会带来新问题。因此,该研究团队认为,更为直接的做法或许是期刊编辑和同行评议人员采取更为强硬的态度,拒绝那些没有价值或有明显错误的模板化研究文章。当然,包括学生、科研人员和普通公众等在内的已发表研究成果的受众也需要意识到,并非所有研究成果都具有同等价值,有些研究成果甚至可能并非由人类创造。

【编辑:王俊美(报纸) 张赛(网络)】