Czy AI może recenzować literaturę naukową?

Sztuczna inteligencja robi postępy w dziedzinie syntez badań, ale eksperci są podzieleni co do jej zdolności do pełnej analizy i podsumowania ogromnego obszaru literatury naukowej, jak podano w środę w przeglądzie literatury opublikowanym na stronie Nature.

Artykuł autorstwa Helen Pearson bada, jak ta technologia wydaje się mieć ogromny potencjał do usprawnienia przeglądów naukowych, ale nadal istnieją znaczne wyzwania.

Sam Rodriques, były student neurobiologii i dyrektor w amerykańskim startupie FutureHouse, należy do grona osób promujących wykorzystanie sztucznej inteligencji do analizy literatury naukowej, jak donosi Nature.

We wrześniu jego zespół uruchomił system oparty na sztucznej inteligencji, który w ciągu kilku minut stworzył streszczenia tysięcy genów człowieka, uzupełniając szczegóły, które wcześniej nie były odnotowane.

To narzędzie, o nazwie PaperQA2, pokazało obiecujące wyniki w generowaniu streszczeń, które czasami przewyższają treści napisane przez ludzi pod względem precyzji, według wstępnych testów, jak podaje Nature.

Zalety zastosowania AI do przeglądu literatury są oczywiste. Tradycyjne przeglądy badań, często obszerne i czasochłonne, mogą zająć lata do ukończenia i ryzykują przestarzałość do momentu ich publikacji.

AI, a szczególnie duże modele językowe (LLM) takie jak ChatGPT, oferują możliwość szybkiego kompilowania danych i podsumowywania informacji z ogromnych baz danych, co ułatwia pracę badaczom, jak zauważono na Nature.

Pomimo tych postępów, recenzje oparte na AI są dalekie od całkowitego zastąpienia przeprowadzanych przez ludzi systematycznych przeglądów, które obejmują rygorystyczne kryteria oceny badań i syntezowania wyników, zauważa Pearson.

Narzędzia takie jak Consensus i Elicit, silniki wyszukiwania oparte na sztucznej inteligencji, pozwalają badaczom filtrować i podsumowywać artykuły akademickie, dostarczając pierwszą warstwę wglądu.

Jednakże, ich możliwości przeprowadzania wyczerpujących, standardowych recenzji są ograniczone. Paul Glasziou, specjalista od systematycznych recenzji na Uniwersytecie Bond, sugeruje, że pełna automatyzacja tych przeglądów może nadal być dziesięciolecia przed nami, jak donosi Pearson.

Artykuł opisuje, jak ograniczenia sztucznej inteligencji budzą obawy o dokładność i przejrzystość. Na przykład, LLM mogą generować treści, które nie mają kontekstu lub źle interpretują dane, często czerpiąc z niewiarygodnych źródeł, nie zważając na jakość informacji.

Ponadto, są one podatne na „halucynacje” błędów – tworzą odniesienia czy punkty danych, które nie istnieją.

Aby zminimalizować ten problem, niektóre systemy pozwalają użytkownikom na przesyłanie konkretnych opracowań do LLM, które następnie mogą opierać swoją analizę tylko na przesłanych źródłach. Zmniejsza to niedokładności, choć nie eliminuje ich całkowicie – mówi Pearson.

Krytycy ostrzegają, że AI może zalać naukowy krajobraz niskiej jakości lub nawet wprowadzającymi w błąd streszczeniami. James Thomas z University College London ostrzega, że źle przeprowadzone recenzje mogą podważyć lata praktyk opartych na dowodach, jak zauważono na Nature.

Ostatecznie, choć sztuczna inteligencja stanowi obiecujące narzędzie do przyspieszania procesu recenzji, eksperci podkreślają konieczność rygorystycznego nadzoru i przejrzystości, jeśli ma ona rzeczywiście przyczynić się do pogłębienia naukowego zrozumienia.