Projekty typu Open-Source zmagają się z przeciążeniem swoich systemów przez crawlerów AI

Sztuczna inteligencja sterująca internetowymi robotami indeksującymi stała się poważnym zagrożeniem dla społeczności tworzących oprogramowanie open-source, powodując szeroko zakrojone zakłócenia w ich infrastrukturze.

Popularne repozytoria doświadczają obciążenia zasobów spowodowanego przez boty, które zostały wdrożone przez firmy zajmujące się sztuczną inteligencją w celu zbierania danych do uczenia modeli językowych, co skutkuje spowolnieniem rozwoju, jak pierwotnie zgłosił ArsTechnica.

Drew DeVault z SourceHut podzielił się swoimi spostrzeżeniami na temat tych crawlerów w wpisie na blogu, opisując ich destrukcyjne skutki. Te boty AI ominęły instrukcje zawarte w pliku robots.txt, które kierują crawlerów do unikania pewnych stron, powodując tym samym poważne awarie na platformie SourceHut.

Crawlery atakowały konkretne punkty końcowe, takie jak logi i commity git, poprzez losowe adresy IP, aby zamaskować swoją aktywność jako normalny ruch użytkowników. Metody botów uniemożliwiły skuteczne blokowanie, powodując długie opóźnienia w realizacji zadań projektowych i zakłócenia w usługach dla użytkowników.

Infrastruktura GitLab KDE doświadczyła tymczasowego wyłączenia z powodu botów, które pochodziły z puli adresów IP firmy Alibaba. Otwarte projekty źródłowe, takie jak GNOME i inne, cierpiały na identyczne ataki, więc wdrożyły Anubisa jako system, który wymaga od botów ukończenia obliczeniowych zadań, zanim udzieli im dostępu do strony, jak podaje The LibreNews.

„Ostateczne rozwiązanie” wprowadzone przez Anubisa spowodowało wydłużenie czasu oczekiwania dla rzeczywistych użytkowników, którzy doświadczyli znaczącego wzrostu ruchu w żądaniach scalenia GNOME, donosi LibreNews.

Ben, pracujący jako administrator systemu KDE, zauważył, że boty maskują swoją tożsamość, używając agentów użytkowników Microsoft Edge, aby naśladować prawdziwych użytkowników i uniknąć wykrycia przez prawidłowy ruch. Zespół Fedora zareagował na zakłócenia, całkowicie blokując ruch internetowy z Brazylii, aby zapobiec dalszym zakłóceniom, informuje LibreNews.

Raport LibreNews wskazuje, że obecnie wiele projektów open-source doświadcza 97% ruchu internetowego pochodzącego od firm AI, które wysyłają swoje boty. Projekty open-source stają przed coraz większymi wyzwaniami, ponieważ koszty przepustowości ciągle rosną, a zarządcy systemów zmagają się z rosnącą presją, aby utrzymać płynną pracę systemów.

Obecnie projekty open-source wykorzystują listy blokujące i filtrowanie agentów użytkowników specyficznych dla AI jako rozwiązania awaryjne, jednak ciągłe adaptacje botów skutecznie niszczy te metody.

Narastający problem z crawlerami AI pokazuje, jak projekty open-source stają się narażone na zagrożenia, ponieważ są zależne od infrastruktury publicznej i wsparcia wolontariuszy.

Otwarte dane przynoszą korzyści firmom AI, jednak ich skrajne praktyki skrobania danych w końcu niszczą systemy, które umożliwiają dostępność otwartego internetu.