2024年08月08日 星期四
“帮手”还是“帮凶”?
生成式AI学术使用亟须关注
图片来源:《自然》网站

    【今日视点】

    ◎本报记者 刘 霞

    生成式人工智能(AI)工具快速普及,在学术写作领域呈现爆炸式应用势头。使用基于大语言模型(LLM)的生成式AI工具能节省时间,减少语言障碍,让论文更加明白通畅。但这些工具的应用也让剽窃问题变得更复杂。

    英国《自然》网站在近日的报道中指出,对利用AI写作是否构成剽窃,以及在什么情况下允许利用AI进行写作,科研界应充分探讨并制定更明确的学术写作AI使用指南。

    AI学术写作应用增多

    德国蒂宾根大学数据科学家德米特里·科巴克领导的团队,分析了学术数据库PubMed中2010年至2024年6月期间发表的1400万篇论文摘要。他们估计,2024年上半年,至少有10%的生物医学论文摘要(约7.5万篇)使用了LLM进行写作,以LLM为基础的写作“助理”的出现,对学术界产生了前所未有的影响。

    同时,有些人认为,AI工具是学术写作的“好帮手”。它们可使文本和概念更清晰,减少语言障碍,使科学家能腾出更多时间进行实验和思考。

    剽窃行为很难揪出

    2015年的一项研究估计,1.7%的科学家承认有剽窃行为,30%的科学家认识有剽窃行为的同事。

    LLM经过训练,可通过“消化”大量以前发表的文章来生成文本。因此,使用它们可能会导致类似剽窃的情况。例如,研究人员将AI生成的论文冒充自己撰写的论文;或者机器生成的论文与某人的论文非常接近,但没有注明来源等等。英国普利茅斯大学生态学家皮特·科顿指出,在AI时代,定义学术不诚信或剽窃,以及合理使用AI的边界,将变得非常困难。

    如果LLM稍微修改一下措辞,那么其剽窃人类撰写文本内容的情况很容易被掩盖。因为人们可给出提示,让这些AI工具以复杂的方式(如以某个学术期刊的风格)撰写论文。在2023年对1600名研究人员开展的一项调查中,68%的受访者表示,AI将使剽窃更难被发现。

    另外一个核心问题是,使用完全由机器而非人类编写的未署名内容是否算剽窃。德国柏林应用科学大学专家黛博拉·韦伯·沃尔夫表示,尽管有的生成式AI生成的文本看起来与人类书写的内容相差无几,但不能被视为剽窃。

    使用界限急需制定

    美国马里兰大学可靠人工智能实验室主任索海尔·菲兹副教授认为,使用LLM改写现有论文的内容显然构成抄袭。但使用LLM来帮助表达想法,无论是根据详细的提示生成文本,还是编辑草稿,如果透明地完成,都不应该受到惩罚。科学界应该允许研究人员利用LLM,来轻松、清晰地表达他们的想法。

    许多期刊现在都制定了相关政策,允许投稿者在一定程度上使用LLM。《科学》杂志于2023年11月更新了其政策,称作者应该全部披露其在撰写论文过程中的AI技术使用情况,包括使用了哪些AI系统,提示词有哪些等。《自然》杂志也表示,作者应该记录LLM的使用情况。

    一项对100家大型学术出版商和100家排名靠前的期刊开展的分析发现,截至2023年10月,24%的出版商和87%的期刊都制定了使用生成式AI的指导方针。几乎所有这些期刊都声明,AI工具不能被列为作者。

    沃尔夫强调,科学家迫切需要更明确的学术写作AI使用指南。

    检测工具亟待提升

    在一部分科学家利用LLM撰写学术论文的同时,也有另一部分科学家正在开发旨在检测LLM使用情况的工具。尽管一些工具的准确率较高,在某些情况下超过90%,但研究表明,大多数工具“名不副实”。在去年12月发表的一项研究中,沃尔夫及其同事评估了学术界广泛使用的14种AI检测工具。结果显示,只有5款工具的准确率高于70%,没有一款工具的得分超过80%。

    当研究团队通过替换同义词及重排句子顺序,对AI生成的文本进行微调后,检测工具的准确率下降到平均不足50%。如果研究人员让AI多次改写由人类撰写的文本,检测工具的准确率也会大大降低。

    AI检测工具还面临其他问题,比如非英语母语者用英语写作,更有可能被误认为由AI生成。菲兹指出,AI检测工具无法可靠地区分完全由AI编写的文本和作者使用AI润色文本的情况。被错误地指控滥用AI,可能会对这些学者或学生的声誉造成相当大的损害。

京ICP备06005116