随着AI工具的出现，可疑的论文或引文可能很难与真实的论文或引文区分开来。再加上编辑、同行评审和出版过程高度依赖信任的复杂关系，导致学术造假频发。目睹着AI在学术界使用日益泛滥，法国图卢兹大学计算机科学家Guillaume Cabanac决定要做点什么。于是在2015年，他和同事发起了一项专项“打假行动”，专门针对那些使用了AI技术却未做出声明的问题论文。

一开始，他只是出于好奇而志愿做这件事；如今，他创造的工具帮助学术侦探们持续不断地揭露论文造假行为。

撰文 | 路飞

今年4月，全球独立学术出版商Sage忍痛清理门户，从一本名为Journal of Intelligent & Fuzzy Systems（《智能与模糊系统杂志》，简称JIFS）的期刊上，一口气撤回了467篇论文。

Sage发言人表示，自从科睿唯安（Clarivate）“向我们通报了对该期刊部分内容存在质量担忧”之后，“我们展开了彻底的调查”，且自调查日起该刊停止收录文章。至于撤稿的原因，Sage对外声称是“同行评议程序不合理”。

目前在科睿唯安网站上，该期刊仍然能够正常检索。如果科睿唯安将该期刊从科学引文索引数据库（SCI）中剔除，后续将不再对其论文进行索引及统计论文的引文数目，也不再给该期刊赋予影响因子。这个惩罚对涉事期刊或许不冤，但对此前发表在该期刊上的作者来说，多米诺效应将带来一系列严重后果。

在这件事上，Sage也是个输家。因为在2023年11月，Sage才收购了IOS Press，由此获得近100本期刊，涵盖神经科学、医学信息学、癌症研究、人工智能（AI）、数据科学和语义网等相关领域。出事的JIFS正是IOS Press旗下的期刊。

对于Sage收购后的大幅撤稿，JIFS主编Reza Langari颇有微词。他自诩编辑部对投稿进行了严格把控。他表示，该期刊近年来在AI相关领域的投稿量突飞猛进，去年更是飙升至10000篇，期刊内部为此制定预审机制，拒掉了80%以上的投稿，尤其是一眼看上去是论文工厂生产的或者明显使用AI工具的论文。

撤稿并非空穴来风。其实早在Sage收购IOS Press之前，JIFS期刊就被曝出诸多问题。一方面是PubPeer上的匿名志愿者多次在问题论文评论区指出错误，如PubPeer用户“Rhipiduraalbiventris”对几篇现已撤回的论文发表了评论，指出了计算中的缺陷并质疑引用文献的相关性。另一方面是有人利用“问题论文筛选器”（Problematic Paper Screener，PPS）发现该期刊11篇文章中使用“费解的短语”（Tortured Phrases）——即论文中出现的奇怪术语或令人困惑的替代短语，可能是使用自动翻译软件或AI工具躲避查重而导致的结果。例如，将论文从英语翻译成其他语言，然后再翻译回英语时，常常会发生这样的情况。

另外，通过PPS的插件Feet of Clay Detector来检索期刊中引用了撤稿论文的文章时，发现该期刊有674篇文章被标记。

问题论文的克星

给JIFS杂志“找麻烦”的，是法国图卢兹大学计算机科学家Guillaume Cabanac。他是著名的学术侦探，自从2015年起，他和同事就发起了一项专项“打假行动”，专门针对那些使用了AI工具却未做出声明的问题论文。PPS便是其开发的一款监测软件。

一开始，他只是出于好奇而志愿做这件事，然而，随着AI在学术界使用日益泛滥，污染了学术环境，他便持续不断地揭露论文造假行为。

2021年2月，Cabanac推出了PPS，它可以在论文中标记“AI生成的文本”，梳理文献中荒谬的“费解的短语”。

当读者第一次遇到“费解的短语”时，可以打上标签，将其作为“指纹”添加到检索文献的数据库Dimensions中，该数据库囊括了1.3亿份科学文献，提供极大的分析样本。如果数据库中有其他论文也使用了“费解的短语”，就可以被标记出来。截至目前，数据平台已经梳理了5800个“指纹”。必要时，读者还需要进行把关，以检查是否存在误报。

图一：PPS主页截图

PPS并不能保证检测出来的问题论文会被撤稿。即使是充斥着数十个“费解的短语”的已发表论文，也很难被调查、纠正或撤回。截至9月13日，PPS已经标记了16654篇论文。这里需要说明，为了避免假阳性，PPS只对使用了5次及以上“费解的短语”的论文打上标记——其中只有18%被撤回。

图二：费解的短语示例

为了促进对文献的持续检查和持续清理，Cabanac为PPS设计了两个插件。一个是Annulled Detector，它可以跟踪撤稿、撤回或删除的论文——这些是出版商用来标记失效论文的各种标签。该检测器从各个出版商、Crossref数据库（包括撤稿观察数据库）和生物医学数据库Pub Med收集数据，以跟踪全球论文撤稿、撤回和删除的情况。截至目前，大约62000篇问题论文已被引用了超过836000次。

另一个是Feet of Clay Detector，它可用于快速发现那些在参考文献中引用了撤稿论文的文章。Cabanac为1700多篇此类文章添加了PubPeer评论，以提示读者评估参考文献的可靠性。

学术打假路漫漫

PPS确实对出版商起到了一定的震慑作用。自从Cabanac和同事报告指出，“费解的短语”污染了学术环境，一些出版商——不仅仅是那些被认为是掠夺性的出版商——已经撤回了数百篇论文。例如，仅施普林格·自然（Springer Nature）就撤回了300多篇充斥着荒谬文字的论文。

但是学术打假路漫漫，从“发现”到“撤稿”，这中间免不了蹉跎。

在Cabanac和同事Alexander Magazinov首次对Environmental Science and Pollution Research（《环境科学与污染研究》，ESPR）发表的文章中存在可疑引文、费解的短语表示“关切”之后，大规模撤稿行动开展了一年多。

Cabanac利用PPS在ESPR上标注了1850篇文章，大多数被标注的文章是因为引用了已撤稿的论文。另有超过100篇论文使用了“费解的短语”，考虑到仅统计使用五次及以上“费解的短语”的论文，这意味着很多有嫌疑的论文可能没有显示。

例如，一篇2019年3月的论文《影响道路交通事故频率的环境因素：巴基斯坦郊区个案研究》，Cabanac在PubPeer上指出，论文作者使用了“monetary misfortunes”而不是“financial damages”，用“creating nations”来代替“developing countries”，该论文显示今年3月已被撤回。

还有一些论文使用了AI工具但是并未在文章中说明，例如2023年9月的论文《复兴我们的地球：在土壤修复中释放绿色能源的力量，实现可持续的未来》。论文的第3节以短语“Regenerate response”（重新生成回复）结束，这显然是ChatGPT中生成文本的按钮，作者忘记删除了。Cabanac在PubPeer的评论中指出了这个错误。该论文于今年7月被撤回。

2022年11月，Magazinov联系了ESPR杂志的主编Philippe Garrigues，后者是法国国家科学研究中心（CNRS）的研究员。他在另一家杂志上发表了一篇论文，其中“超过四分之一”的文献引用来源于自家期刊ESPR。“我们有理由怀疑ESPR的审稿人或编辑在进行引文操纵，请予以核实。毫无疑问，ESPR需要进行大扫除，”Magazinov在邮件中写道。

Cabanac隔天再次给Garrigues发了邮件。后者表示，正在采取行动。

但是直到2023年4月，Garrigues和ESPR没有任何动静。于是，Cabanac向COPE（出版伦理委员会）通报了该期刊中存在的问题。COPE的一名人员接着向施普林格·自然发了邮件，询问该期刊是否在进行调查。施普林格·自然集团研究诚信顾问Tim Kersjes回复称，该杂志和出版商正在展开调查，如有进展会通知Cabanac。

但据邮件显示，Cabanac后续并没有得到关于该杂志的信息，尽管COPE在2023年6月多次进行跟进。不过据统计显示，ESPR自2024年2月以来确实开展了大规模的撤稿，撤回了136篇论文，最近的一篇撤稿是在8月2日。Cabanac对此很不满，“当你无偿付出了这么多努力，却连出版商的反馈都没有，这有点让人沮丧。”

施普林格·自然集团研究诚信主管Chris Graf表示，“撤稿是我们研究诚信部门调查的结果，也受到了学术侦探指出问题的影响。”他补充说明，撤稿的原因有很多，如“作者对人工智能LLMs（大语言模型）的使用在某些论文中并没有明确说明。”

诸多被撤回的论文在通知上显示：根据出版商的调查发现，包括本文在内的一些文章存在若干问题，包括但不限于同行评审程序受损，引用不相关的文献，使用不标准措辞，引用根本不存在的期刊。

科睿唯安今年没有提供ESPR的影响因子，施普林格·自然集团的一名代表表示，他们对该决定感到“失望”。该期刊目前在科睿唯安网站上被标记为“搁置”，检索结果显示，该期刊正在“重新评估”，并可能被从web of Science的索引中删除。

Graf表示，施普林格·自然正在“更新”ESPR的编辑和编辑委员会，以确保稿件处理的质量。

Cabanac认为接受调查的期刊至少应该发布一份披露声明，警告打算向期刊投稿的研究人员。如果没有这样的声明，“潜在作者将不知道期刊的历史，他们事后会觉得被欺骗。”

如何提高文献可靠性

出版物和引文是学术界的“硬通货”。然而，随着AI工具的出现，可疑的论文或引文可能很难与真实的论文或引文区分开来。再加上编辑、同行评审和出版过程高度依赖信任的复杂关系，导致学术造假频发。那么，在引文时如何提高文献可靠性？Cabanac提供了一些思路。

学会使用科研工具，只需要一些简单的步骤，便可以显著提高科学文献的可靠性。作者在引用文献时，应检查是否有人提出质疑或撤稿情况。PubPeer两个扩展程序插件是检查文献可靠性的得力助手，当作者浏览期刊网站时，一个插件会自动标记PubPeer上收到评论的任何论文，其中可能包括正在更正的文献和已经撤稿的文献。另一个插件是在文献管理器Zotero中工作，可以识别用户数据库中存在的相似度较高的文章。对于下载的PDF文件，出版行业使用Crossmark：读者可以单击Crossmark按钮，在出版商网站的登录页面上查看文献的状态。有一些工具可以检查参考文献列表，例如RetractoBot，当学者引用的论文被撤回时，它会提醒他们。Feet of Clay Detector，可以免费用于检查已发表文章的参考文献列表是否有任何危险信号。

除了作者要小心谨慎，Cabanac认为出版商最应该对其实践和审稿流程做出改变，他们应该定期检查存在剽窃、篡改图像、费解的短语、引用撤稿文献，以及由AI工具等生成的论文，并及时作出处理。

特 别 提 示

1. 进入『返朴』微信公众号底部菜单“精品专栏“，可查阅不同主题系列科普文章。

2. 『返朴』提供按月检索文章功能。关注公众号，回复四位数组成的年份+月份，如“1903”，可获取2019年3月的文章索引，以此类推。

版权说明：欢迎个人转发，任何形式的媒体或机构未经授权，不得转载和摘编。转载授权请在「返朴」微信公众号内联系后台。

来源: 返朴

内容资源由项目单位提供