AI zmagające się z kryzysem danych: Musk ostrzega przed wyczerpaniem ludzkiej wiedzy

Firmy zajmujące się sztuczną inteligencją wyczerpały dostępną ludzką wiedzę do treningu swoich modeli, jak ujawnił Elon Musk podczas transmitowanego na żywo wywiadu, jak donosi The Guardian.

Miliarder sugeruje, że firmy muszą coraz bardziej polegać na „syntetycznych” danych – treści generowanych przez samą sztuczną inteligencję – do rozwijania nowych systemów, metoda ta zdobywa już popularność. „Całkowita suma ludzkiej wiedzy została wyczerpana w treningu AI. Stało się to zasadniczo w zeszłym roku,” powiedział Musk, jak podaje The Guardian.

To wyznacza znaczące wyzwanie dla modeli AI, takich jak GPT-4, które opierają się na ogromnych zestawach danych zaczerpniętych z internetu, aby identyfikować wzorce i przewidywać wyniki tekstu.

Musk, który założył xAI w 2023 roku, wskazał sztuczne dane jako główne rozwiązanie dla postępu AI. Jednak ostrzegł przed ryzykiem związanym z tą praktyką, szczególnie z AI „halucynacjami”, gdzie modele generują niedokładne lub nonsensowne informacje, jak donosi The Guardian.

The Guardian zauważa, że czołowe firmy technologiczne, w tym Meta i Microsoft, zaczęły korzystać z danych syntetycznych dla swoich modeli AI, takich jak Llama i Phi-4. Google i OpenAI również zastosowały ten podejście.

Na przykład, Gartner szacuje, że 60% danych używanych do projektów AI i analiz w 2024 roku zostało wygenerowanych syntetycznie, jak podaje TechCrunch.

Dodatkowo, szkolenie na danych syntetycznych oferuje znaczne oszczędności kosztów. TechCrunch zauważa, że startup AI o nazwie Writer twierdzi, że jego model Palmyra X 004, opracowany prawie wyłącznie na podstawie źródeł syntetycznych, kosztował zaledwie 700 000 dolarów do stworzenia.

W porównaniu, szacunki sugerują, że podobnej wielkości model od OpenAI kosztowałby około 4,6 miliona dolarów do opracowania, powiedział TechCrunch. Jednak, chociaż dane syntetyczne umożliwiają ciągłe doskonalenie modelu, eksperci ostrzegają przed potencjalnymi wadami.

The Guardian informował, że Andrew Duncan, dyrektor ds. podstawowej sztucznej inteligencji w Instytucie Alana Turinga, zauważył, że poleganie na syntetycznych danych niesie ze sobą ryzyko „załamania modelu”, gdzie wydajność maleje z biegiem czasu.

„Kiedy zaczynasz karmić model syntetycznymi danymi, zaczynasz doświadczać malejących zysków,” powiedział Duncan, dodając, że mogą również pojawić się uprzedzenia i zmniejszona kreatywność.

Rosnąca liczba treści generowanych przez AI w internecie stanowi kolejne źródło obaw. Duncan ostrzegał, że takie materiały mogą nieumyślnie trafiać do zestawów danych służących do szkolenia, co dodatkowo komplikuje wyzwania, jak donosi The Guardian.

Duncan odwołał się do badania opublikowanego w 2022 roku, które przewiduje, że wysokiej jakości dane tekstowe do szkolenia AI mogą zostać wyczerpane do 2026 roku jeśli obecne trendy się utrzymają. Badacze przewidują również, że niskiej jakości dane językowe mogą się wyczerpać między 2030 a 2050 rokiem, podczas gdy niskiej jakości dane obrazowe mogą zostać wyczerpane między 2030 a 2060 rokiem.

Ponadto, bardziej niedawne badanie opublikowane w lipcu ostrzega, że modele AI ryzykują degradację, gdy dane generowane przez AI coraz bardziej nasycą internet. Badacze odkryli, że modele szkolone na wynikach generowanych przez AI z czasem generują nonsensowne rezultaty, zjawisko zwane „kolapsem modelu”.

Ta degradacja mogłaby spowolnić postęp AI, podkreślając potrzebę wysokiej jakości, zróżnicowanych i generowanych przez ludzi źródeł danych.

Obejrzyj wywiad CEO Stagwell, Marka Penna z Elonem Muskiem na CES! https://t.co/BO3Z7bbHOZ

— Na żywo (@Live) 9 stycznia 2025