Trudności ChatGPT z Dokładnymi Cytowaniami, Budząc Obawy Wydawców

Częste błędy ChatGPT w cytowaniu, nawet przy wykorzystaniu licencjonowanych treści, podważają zaufanie wydawców i zwracają uwagę na ryzyko związane z niewłaściwym przedstawianiem dziennikarstwa przez narzędzia AI generujące treści.

Niedawne badania przeprowadzone przez Tow Center for Digital Journalism na Columbia Journalism School rzucają krytyczne światło na praktyki cytowania ChatGPT, ujawniając istotne wyzwania dla wydawców polegających na generatywnym narzędziu AI od OpenAI.

Wyniki sugerują, że wydawcy mogą napotkać potencjalne ryzyko reputacyjne i komercyjne z powodu niespójnego i często nieprecyzyjnego źródłowania ChatGPT, nawet gdy są na miejscu umowy licencyjne.

Studium przetestowało zdolność ChatGPT do przypisywania cytatów z 200 artykułów pochodzących od 20 wydawców, w tym tych z umowami licencyjnymi, a także tych, którzy są w sporach sądowych z OpenAI, jak to zostało zgłoszone w tym tygodniu przez Columbia Journalism Review (CJR).

Pomimo zapewnień OpenAI o dostarczaniu dokładnych cytowań, chatbot zwrócił niepoprawne lub częściowo niepoprawne odpowiedzi w 153 przypadkach. Tylko siedem razy przyznał, że nie jest w stanie zlokalizować poprawnego źródła, często decydując się na zmyślanie cytowań.

Przykłady obejmują fałszywe przypisywanie przez ChatGPT cytatu z Orlando Sentinel do Time oraz odwoływanie się do splagiatyzowanych wersji treści New York Times z nieautoryzowanych źródeł.

Nawet gdy wydawcy udzielali robotom OpenAI dostępu, cytaty często były błędnie przypisywane, na przykład linkowano do syndykowanych wersji zamiast do oryginalnych artykułów.

Mat Honan, redaktor naczelny MIT Tech Review, wyraził sceptycyzm wobec przejrzystości ChatGPT, zauważając, że jego odpowiedzi mogą wprowadzać w błąd użytkowników nieznających ograniczeń AI.

„Z mojego punktu widzenia, bardzo dobrze znam tendencje chatbotów do tworzenia niewiarygodnych rzeczy i zmyślania […] Ale zdaję sobie sprawę, że większość ludzi prawdopodobnie tego nie wie. […] Nie sądzę, aby małe zastrzeżenia, które widzisz w tych chatbotach, były wystarczające,” powiedział w CJR.

CJR zauważa, że OpenAI broni swoich działań, podkreślając narzędzia dla wydawców do zarządzania widocznością treści i zobowiązując się do poprawy dokładności cytowań.

Jednakże, Tow Center stwierdziło, że umożliwienie działania crawlerów czy licencjonowanie treści nie gwarantuje dokładnego przedstawienia, z niekonsekwencjami pojawiającymi się zarówno u wydawców biorących, jak i nie biorących udziału w tych procesach.

Niedokładności ChatGPT w odnoszeniu do treści wydawców mogą podważać zaufanie do dziennikarstwa i szkodzić reputacji wydawców. Kiedy dochodzi do błędnej atrybucji lub przekłamania artykułów, publiczność może mieć problemy z identyfikacją oryginalnych źródeł, co z kolei rozmywa rozpoznawalność marki.

Nawet wydawcy, którzy zezwalają na korzystanie z crawlerów OpenAI lub posiadają umowy licencyjne, nie są odporni na te błędy, co podkreśla systemowe wady. Skłonność ChatGPT do udzielania myląco pewnych odpowiedzi, zamiast przyznawania się do luk w swojej wiedzy, wprowadza użytkowników w błąd i podważa przejrzystość.

Takie praktyki mogą oddalać publiczność od wiarygodnych źródeł informacji, zachęcać do plagiatu i osłabiać widoczność wysokiej jakości dziennikarstwa. Skutki te zagrażają integralności wymiany informacji i zaufaniu do platform mediów cyfrowych.