一項近日發(fā)表于《科學》的研究指出,像ChatGPT 這樣的人工智能(AI)寫作工具正在大幅提升科研生產力。研究人員借助AI工具使論文發(fā)表數(shù)量最多增加了50%。但這也有不利的一面,AI生成的文本雖然文筆流暢,但不具備科學價值。此類文本數(shù)量的不斷增加,使同行評議、資金決策和科研監(jiān)督變得更為復雜,因為決策者很難區(qū)分有價值的研究成果和低質內容。
自2022年末ChatGPT廣泛投入使用后,許多研究人員都表示,借助這些新AI工具,能完成更多工作。與此同時,期刊編輯們發(fā)現(xiàn),大量文筆流暢但沒有多少科學價值的文章數(shù)量激增。
為了探究大語言模型(LLM)如何影響科學出版。美國康奈爾大學的尹易安(音)團隊收集了2018年1月至2024年6月arXiv、bioRxiv 和社會科學研究網(SSRN)這3個主要預印本平臺接收的超200 萬篇論文,涵蓋了物理科學、生命科學和社會科學領域。這些論文尚未經過同行評議。研究人員將其中2023 年前的據(jù)推測由人撰寫的論文與AI生成的論文進行比較。通過這種對比,他們構建了一個旨在標記可能借助LLM撰寫的論文的模型。利用這個檢測器,他們估計了哪些作者使用LLM 進行寫作,并追蹤了這些科學家利用AI工具前后投遞的論文數(shù)量及被科學期刊接收的數(shù)量。
研究結果表明,使用LLM與科研生產力顯著提升相關。在arXiv上,被標記為使用了LLM的科學家發(fā)表的論文數(shù)量比那些未使用AI的科學家多出約1/3,而在bioRxiv和SSRN上,這一增幅超過了50%。特別是對于那些非英語母語者的科學家來說,這種提升尤為顯著。例如,使用LLM的亞洲機構研究人員比未采用該工具的研究人員在不同預印本網站發(fā)表的論文數(shù)量多43.0%~89.3%。尹易安預計,這最終可能改變全球科研生產力格局,使那些因語言障礙而受阻的地區(qū)迎頭趕上。
該研究還指出,在文獻檢索和引用構建方面AI工具可能具有潛在優(yōu)勢,在呈現(xiàn)較新論文和相關書籍方面比傳統(tǒng)搜索工具表現(xiàn)更佳?!笆褂肔LM的人能夠接觸到更多樣化的知識,這或許能激發(fā)更多富有創(chuàng)意的想法?!毖芯空撐牡谝蛔髡逰eigo Kusumegi說。
盡管LLM幫助個人創(chuàng)作出更多的手稿,但更讓人難以判斷哪些是真正高質量的科學研究。尹易安表示,這種寫作質量與研究質量之間的差距可能會產生嚴重后果。編輯和審稿人可能更難識別出最具價值的投稿,而大學和資助機構可能發(fā)現(xiàn),單純的發(fā)表數(shù)量已不再能反映科學貢獻。
研究人員強調,這些發(fā)現(xiàn)是觀察性的結果。下一步,他們希望采用諸如控制實驗之類的方法來測試因果關系。
相關論文信息:https://doi.org/10.1126/science.adw3000