Precedensowy Proces Kwestionuje AI w Dziedzinie Mieszkalnictwa

W przełomowym procesie ukazującym potencjalne szkody wynikające z decyzji podejmowanych przez AI w dziedzinie mieszkaniowej, SafeRent, firma zajmująca się przesiewem najemców za pomocą sztucznej inteligencji, zgodziła się na ugadę w wysokości 2,3 miliona dolarów i zaprzestanie swojego systemu oceniania.

Pozew, wniesiony przez najemczynie Mary Louis i Monicę Douglas, zarzucał, że algorytm używany przez SafeRent nieproporcjonalnie dyskryminował czarnych i hiszpańskich najemców, którzy korzystali z bonów na mieszkanie, naruszając tym samym Ustawę o Sprawiedliwym Mieszkaniu, jak pierwotnie poinformował The Guardian.

Mary Louis, strażnik z Massachusetts, była jedną z ponad 400 osób wynajmujących mieszkania, które ucierpiały na skutek kontrowersyjnego systemu SafeRent. Pomimo otrzymania pozytywnych referencji od swojego wynajmującego po 17 latach oraz korzystania z bonu na mieszkanie dla osób o niskich dochodach, gwarantującego częściową opłatę za czynsz, jej wniosek został odrzucony.

Odrzucenie nastąpiło po tym, jak SafeRent przyznało jej wynik 324, znacznie poniżej minimalnego wymogu firmy zarządzającej wynoszącego 443. Nikt nie udzielił wyjaśnień dotyczących wyniku ani nie zaproponował procesu odwoławczego, jak donosi The Guardian.

Pozew, złożony w 2022 roku, oskarżał firmę SafeRent o stosowanie nieprzejrzystego systemu oceny, który uwzględniał nieistotne dane finansowe, takie jak zadłużenie na kartach kredytowych, ignorując przy tym gwarantowane płatności zapewniane przez bony mieszkaniowe – informuje The Guardian.

Badania pokazują, że czarnoskórzy i hiszpańscy najemcy mają częściej niż biali kandydaci niższy scoring kredytowy i są bardziej zależni od bonów mieszkaniowych, co pogłębia istniejące nierówności, jak podaje National Consumer Law Center.

Louis opisała swoje rozczarowanie brakiem kontekstu w algorytmie. „Wiedziałam, że moja zdolność kredytowa nie jest dobra. Ale AI nie zna mojego zachowania – wiedziała, że zaległam z płaceniem karty kredytowej, ale nie wiedziała, że zawsze płacę czynsz,” powiedziała dla The Guardian.

Zatwierdzone 20 listopada porozumienie jest godne uwagi nie tylko ze względu na jego finansowy składnik, ale także za wymuszenie zmian operacyjnych.

SafeRent nie może już korzystać z systemu oceniania ani rekomendować decyzji dotyczących najmu dla wnioskodawców korzystających z bonów na mieszkanie bez niezależnej weryfikacji przez organizację zajmującą się sprawiedliwością mieszkaniową. Takie zmiany są rzadkością w ugódach z firmami technologicznymi, które zwykle unikają modyfikacji głównych produktów, jak zauważył The Guardian.

„Usunięcie decyzji opartej na systemie ‚kciuk w górę, kciuk w dół’ naprawdę pozwala najemcy powiedzieć: ‚Jestem świetnym najemcą’,” powiedział Todd Kaplan, prawnik reprezentujący powodów, jak donosi The Guardian.

Sprawa podkreśla rosnące obawy dotyczące wykorzystania sztucznej inteligencji w podstawowych aspektach życia, takich jak mieszkanie, zatrudnienie i opieka zdrowotna.

Ankieta Consumer Reports z 2024 roku ujawniła powszechne niezadowolenie z decyzji podejmowanych przez algorytmy, zwłaszcza w obszarach o wysokich stawkach. Krytycy argumentują, że te systemy często opierają się na wadliwych założeniach statystycznych, prowadząc do dyskryminujących wyników.

Kevin de Liban, ekspert ds. szkód wynikających z AI, zauważył, że firmy mają niewielką motywację do tworzenia sprawiedliwych systemów dla osób o niskich dochodach. „Siły rynkowe nie działają, gdy chodzi o biednych ludzi” – powiedział, podkreślając potrzebę wprowadzenia silniejszych regulacji, jak informuje The Guardian.

„O ile to jest przełomowe rozwiązanie, ma potencjał do stworzenia drogowskazu, jak patrzeć na te przypadki i zachęcać do innych wyzwań” – powiedział Kaplan, chociaż eksperci ostrzegają, że samo dochodzenie sądowe nie może utrzymać firm na odpowiedzialnej pozycji, jak informuje The Guardian.

Dla wynajmujących jak Louis, jednak, ugoda stanowi ciężko wywalczoną zwycięstwo, torując drogę do sprawiedliwszego traktowania osób korzystających z programów pomocy mieszkaniowej.