Boty AI Przeciążają Serwery Wikipedii

Fundacja Wikimedia wyraziła zaniepokojenie rosnącym obciążeniem swoich serwerów spowodowanym przez automatyczne boty gromadzące dane do szkolenia modeli sztucznej inteligencji.

Fundacja poinformowała w ostatnim poście, że ruch generowany przez maszyny nadal rośnie w niezwykłym tempie, podczas gdy ludzie stanowią tylko niewielką część tego ruchu.

„Od stycznia 2024 roku obserwujemy wzrost o 50% ilości przepustowości używanej do pobierania treści multimedialnych,” mówi wpis.

„Ten wzrost nie wynika z aktywności ludzkich czytelników, ale głównie z automatycznych programów, które przeszukują katalog obrazów Wikimedia Commons o otwartej licencji, aby dostarczać obrazy do modeli AI,” dodano w poście.

Boty znane jako crawlers kradną ogromne ilości danych z projektów Wikimedia, w tym z Wikipedii i Wikimedia Commons, bez właściwego uznanie autorstwa lub oficjalnych narzędzi dostępu. Proces ten utrudnia nowym użytkownikom odkrywanie Wikimedia i nadmiernie obciąża ich systemy techniczne.

Na przykład, post zauważa, że strona Wikipedii o Jimmy’m Carterze odnotowała ponad 2,8 miliona wyświetleń w dniu jego śmierci w grudniu 2024 roku. Film z debaty z 1980 roku spowodował znaczny wzrost ruchu na stronie. Również film z jego debaty z 1980 roku spowodował wzrost ruchu. Wikimedia poradziło sobie z tym – ale ledwo. Głównym problemem, według inżynierów, jest ciągły napływ ruchu botów.

„65% naszego najdroższego ruchu pochodzi od botów” – napisała Fundacja. Boty „masowo czytają” treści, zwłaszcza mniej popularne strony, co wywołuje kosztowne zapytania do głównych centrów danych Wikimedia.

Chociaż treści Wikimedia są dostępne za darmo, ich serwery już nie. „Nasza treść jest darmowa, nasza infrastruktura już nie” – powiedziała Fundacja. Zespół nadal opracowuje metody promowania „odpowiedzialnego korzystania z infrastruktury”, zachęcając deweloperów do korzystania z API, zamiast skrobania całej strony.

Problem dotyka Wikimedia, jak również liczne inne strony internetowe i wydawców. Jednak dla największej na świecie platformy otwartej wiedzy, stanowi zagrożenie dla stabilności usług, na które polega miliony osób.