Więcej tekstów, mniej treści. AI zmienia publikacje naukowe w papkę 

Generatywna sztuczna inteligencja błyskawicznie zwiększyła tempo powstawania tekstów naukowych. Nowe badania pokazują jednak, że wzrost produktywności idzie w parze z zalewem publikacji niskiej jakości, których język staje się coraz bardziej złożony, podczas gdy treść coraz słabsza. Zjawisko to zaczyna podważać dotychczasowe mechanizmy oceny dorobku naukowego

W ciągu ostatnich trzech lat generatywna sztuczna inteligencja (AI) wywarła ogromny wpływ na społeczeństwo. Szczególnie silnie zmieniła sposób, w jaki ludzie piszą. Duże modele językowe, jak ChatGPT, są trenowane na zróżnicowanych zbiorach tekstów i potrafią dziś samodzielnie tworzyć rozbudowane, poprawne oraz pozornie wysokiej jakości treści.

Najważniejszym skutkiem masowego użycia tych narzędzi jest jednak hiperprodukcja tak zwanej „papki AI” – niskiej jakości tekstów generowanych przez sztuczną inteligencję przy minimalnym, a czasem zerowym, udziale człowieka.

Dużo mówi się o tym, co pisanie z użyciem AI oznacza dla edukacji, pracy i kultury. Rzadziej zadaje się pytanie o naukę. Czy sztuczna inteligencja rzeczywiście poprawia jakość pisarstwa akademickiego, czy raczej prowadzi do produkcji „naukowej papki AI”?

Zgodnie z badaniem naukowców z Uniwersytetu Kalifornijskiego w Berkeley oraz Uniwersytetu Cornella, opublikowanym w czasopiśmie Science, to drugie zjawisko zaczyna dominować.

Generatywna AI zwiększa produktywność akademicką

Badacze przeanalizowali streszczenia ponad miliona preprintów, czyli publicznie dostępnych artykułów naukowych, które nie przeszły jeszcze recenzji, które opublikowano w latach 2018–2024. Sprawdzali, czy korzystanie z AI wiąże się ze wzrostem produktywności naukowej, poprawą jakości manuskryptów oraz większą różnorodnością wykorzystywanej literatury.

Liczba preprintów publikowanych przez autora była miarą jego produktywności, natomiast późniejsze przyjęcie artykułu do czasopisma naukowego traktowano jako wskaźnik jakości pracy.

Badanie wykazało, że w momencie, gdy autor zaczyna korzystać z AI, liczba publikowanych przez niego preprintów gwałtownie rośnie. W zależności od platformy preprintowej średnia liczba artykułów publikowanych miesięcznie po wdrożeniu AI wzrosła od 36,2 do 59,8 proc.

Największy wzrost odnotowano wśród autorów, dla których język angielski nie jest językiem ojczystym, zwłaszcza wśród badaczy z Azji, gdzie wzrost wynosił od 43 do 89,3 proc. W przypadku autorów pracujących w instytucjach anglojęzycznych oraz noszących nazwiska klasyfikowane jako „białe” wzrost był wyraźnie mniejszy i mieścił się w przedziale od 23,7 do 46,2 proc.

Wyniki te sugerują, że AI była często wykorzystywana przez osoby niebędące rodzimymi użytkownikami języka angielskiego przede wszystkim do poprawy formy językowej tekstów.

Złożony język niskiej jakości 

Badanie wykazało, że artykuły pisane z użyciem AI charakteryzowały się przeciętnie bardziej złożonym językiem niż teksty tworzone bez jej wsparcia. Jednocześnie w grupie artykułów napisanych bez udziału AI prace o bardziej złożonym języku miały większe szanse na publikację. Sugeruje to, że precyzyjny, rozbudowany język bywa postrzegany jako sygnał wyższej wartości naukowej.

W przypadku artykułów tworzonych z pomocą AI zależność ta ulegała jednak odwróceniu: im bardziej złożony był język, tym mniejsze było prawdopodobieństwo publikacji. Wskazuje to, że skomplikowana, generowana przez AI forma bywa wykorzystywana do maskowania słabej jakości merytorycznej badań.

Badacze przyjrzeli się również różnicom w liczbie pobrań artykułów pochodzących z wyszukiwarek Google i Microsoft. W lutym 2023 r. wyszukiwarka Bing wprowadziła funkcję Bing Chat opartą na AI, co umożliwiło porównanie publikacji rekomendowanych przez wyszukiwanie wspierane przez AI z tymi wskazywanymi przez tradycyjne algorytmy.

Okazało się, że użytkownicy Binga mieli kontakt z bardziej zróżnicowanymi źródłami oraz z nowszymi publikacjami niż użytkownicy Google. Najprawdopodobniej wynika to z techniki zwanej generowaniem wspomaganym wyszukiwaniem, która łączy klasyczne wyniki wyszukiwania z podpowiedziami generowanymi przez AI.

Obawy, że wyszukiwanie oparte na AI będzie jedynie wzmacniać dominację starych i często cytowanych prac, nie potwierdziły się.

Ogień zwalczać ogniem 

Sztuczna inteligencja już teraz wywiera znaczący wpływ na publikacje akademickie. Dla wielu badaczy – zwłaszcza tych, dla których angielski nie jest językiem ojczystym – stała się integralnym elementem procesu pisania i wszystko wskazuje na to, że pozostanie nim na stałe.

Ponieważ AI jest coraz częściej wbudowywana w edytory tekstu, aplikacje pocztowe i arkusze kalkulacyjne, wkrótce korzystanie z niej stanie się w praktyce nieuniknione, niezależnie od osobistych preferencji.

Z punktu widzenia nauki kluczowe jest jednak to, że AI podważa dotychczasowe traktowanie złożonego, wyszukanego języka jako wskaźnika wartości naukowej. Szybka ocena tekstów oparta wyłącznie na formie językowej staje się coraz mniej wiarygodna, a potrzeba nowych metod selekcji – coraz pilniejsza.

Skoro coraz częściej złożony język służy do ukrywania słabych treści naukowych, decydujące znaczenie zyskują rzetelne, pogłębione oceny metod badawczych i rzeczywistego wkładu pracy na etapie recenzji.

Jednym z możliwych rozwiązań jest zasada „zwalczania ognia ogniem”, czyli wykorzystanie narzędzi recenzenckich opartych na AI, takich jak system zaprezentowany niedawno przez Andrew Nga na Uniwersytecie Stanforda. Przy rosnącej liczbie zgłoszeń do czasopism i coraz większym obciążeniu redakcji takie podejście może okazać się jedynym realistycznym wyjściem.

Oryginał:
https://theconversation.com/what-the-hyperproduction-of-ai-slop-is-doing-to-science-270905

• aktualności
• Nauki humanistyczne i społeczne
• Polityka naukowa
• popularyzacja