人工智能产生的无稽之谈正在泄露到科学期刊中

今年 2 月，一篇已撤回的《细胞与发育生物学前沿》文章中出现了一个荒谬的人工智能生成的老鼠阴茎。现在看来，这一奇怪的闹剧可能只是科学文献中一个更持久的问题的一个特别响亮的例子。期刊目前正处于十字路口，不知道如何最好地回应研究人员使用流行但事实上值得怀疑的生成人工智能工具来帮助起草手稿或制作图像。检测人工智能使用的证据并不总是那么容易，但404 Media的一份新报告 本周，数十篇部分由人工智能生成的已发表文章被公之于众。死者泄露秘密？常用的计算机生成的术语。

404 Media在 Google Scholar 的公共数据库中搜索了 AI 生成的短语“截至我上次知识更新”，据报道发现了 115 篇不同的文章，这些文章似乎依赖于复制和粘贴的 AI 模型输出。这串词是大型语言模型（如 OpenAI 的 ChatGPT）经常产生的众多短语之一。在这种情况下，“知识更新”是指模型的参考数据更新的时间段。聊天。其他常见的生成式 AI 短语包括“作为 AI 语言模型”和“再生响应”。除了学术文献之外，这些 AI 成果还零散地出现在亚马逊产品评论和社交媒体平台上。

404 Media引用的几篇论文似乎直接将人工智能文本复制到同行评议论文中，这些论文旨在解释复杂的研究课题，如量子纠缠和锂金属电池的性能。上周末，X（前身为 Twitter）上还分享了其他一些期刊文章，这些文章似乎包含了常见的生成式人工智能短语“我无法访问实时数据”。PopSci 审查的至少一些例子确实与人工智能模型研究有关。换句话说，在这些情况下，人工智能话语是主题材料的一部分。

尽管其中一些短语出现在著名的期刊上，但404 Media声称，它发现的大多数例子都来自所谓的小型“论文工厂”，这些工厂专门快速发表论文，通常需要收费，并且不进行科学审查或严格的同行评审。研究人员声称，这些论文工厂的激增导致了近年来虚假或剽窃学术成果的增加。

不可靠的人工智能生成声明可能会导致更多撤回

最近，在已发表的期刊文章中出现了明显由人工智能生成的文本，而撤稿数量总体呈上升趋势。 《自然》杂志最近对去年发表的研究论文进行了分析，发现撤稿数量超过 10,000 篇，比以往任何一年都要多。尽管这些案例中的大部分与人工智能生成的内容无关，但多年来，相关研究人员一直担心，这些工具的使用增加可能会导致更多虚假或误导性内容通过同行评审流程。在令人尴尬的老鼠阴茎案例中，奇怪的图像和荒谬的人工智能生成的标签（如“dissiliced”和“testtomcels”）被多名审阅者忽视或未报告。

我们有充分的理由相信，使用人工智能生成的文本提交的文章可能会变得更加普遍。早在 2014 年，IEEE 和 Springer 期刊就删除了 120 多篇被发现包含无意义的人工智能生成语言的文章。自那以后的十年里，随着 OpenAI 的 ChatGPT 等更复杂、更易于使用的工具得到更广泛的采用，人工智能生成的文本在期刊中的流行程度几乎肯定会增加。

《自然》杂志在 2023 年对科学家进行的一项调查发现，1,600 名受访者（约占受访者的 30%）承认使用人工智能工具帮助他们撰写稿件。虽然“作为人工智能算法”这样的短语可以清楚地表明一个句子的来源是大型语言模型 (LLM)，但该技术的许多其他更微妙的用途更难根除。用于识别人工智能生成文本的检测模型已被证明令人沮丧地不足。

在某些情况下，支持允许使用人工智能生成文本的人表示，这可以帮助非母语人士更清楚地表达自己，并可能降低语言障碍。另一些人则认为，如果负责任地使用这些工具，可以加快出版时间并提高整体效率。但发表这些模型生成的不准确数据或虚假发现可能会损害期刊的长期声誉。 《当代骨质疏松症报告》最近发表的一篇论文比较了人类撰写的评论文章报告和 ChatGPT 生成的评论文章报告，发现人工智能生成的示例通常更容易阅读。同时，人工智能生成的报告也充斥着不准确的参考资料。

印第安纳大学医学院教授兼论文作者 Melissa Kacena 在最近接受《时代》杂志采访时表示：“说实话，ChatGPT 的一些虚假陈述相当有说服力。它使用了正确的语法，并将它们与段落中的正确陈述结合起来，所以有时没有任何警示。”

期刊应就生成式人工智能的共同标准达成一致

主要出版商对于是否首先允许使用人工智能生成的文本仍未达成一致。自 2022 年以来， 《科学》杂志严格禁止使用未经编辑接受的人工智能生成的文本或图像。另一方面， 《自然》杂志去年发表声明称，他们不会允许在其期刊中使用人工智能生成的图像或视频，但会在某些情况下允许使用人工智能生成的文本。《JAMA》目前允许使用人工智能生成的文本，但要求研究人员披露其出现的时间以及使用了哪些具体模型。

这些政策分歧可能会给提交作品的研究人员和负责审查作品的审稿人带来不必要的困惑。研究人员已经有动力使用他们掌握的工具来帮助快速发表文章并增加他们发表作品的总数。大型期刊对人工智能生成内容的一致标准将为研究人员设定明确的界限。大型知名期刊还可以通过对该技术的某些用途划定明确的界限，或在试图提出事实主张的情况下完全禁止使用该技术，进一步将自己与不太谨慎的论文工厂区分开来。