Badacze Ujawniają, że Modele Sztucznej Inteligencji Wykazują Uprzedzenia Rasowe i Socjoekonomiczne w Poradach Medycznych

Nowe badanie opublikowane w Nature Medicine w ten poniedziałek pokazuje, że modele AI wykazują uprzedzenia rasowe i społeczno-ekonomiczne w rekomendacjach medycznych, gdy dostarczone są różne etykiety socjodemograficzne dotyczące pacjenta.

Badanie, Sociodemographic biases in medical decision making by large language models, zostało przeprowadzone przez wielu ekspertów z różnych instytucji pod kierownictwem Wydziału Genetyki i Nauk Genomicznych w Icahn School of Medicine przy Mount Sinai w Nowym Jorku.

Badacze rozważali 9 dużych modeli językowych (LLM) – zarówno własnościowych, jak i open-source – i przeanalizowali ponad 1,7 miliona wyników z 1000 przypadków w oddziałach ratunkowych – połowa z nich była prawdziwa, a druga połowa fikcyjna – w tym 32 warianty.

Streszczenie badania stwierdza:

LLM wykazują obiecujące możliwości w służbie zdrowia, ale nadal istnieją obawy, że mogą one generować medycznie nieuzasadnione rekomendacje dotyczące opieki klinicznej, odzwierciedlające wpływ cech socjodemograficznych pacjentów.

W różnych wariantach, badacze uwzględnili identyfikatory socjodemograficzne i rasowe, ujawniając, że wyniki miały duży wpływ na te. Na przykład, przypadki z etykietą podgrupy LGBTQIA+ lub zidentyfikowane jako pacjenci czarnoskórzy byli częściej sugerowani do przeprowadzenia więcej analiz zdrowia psychicznego, otrzymywali bardziej inwazyjne leczenie i zalecano im częściej wizyty w opiece doraźnej.

Badacze napisali:

Przypadki oznaczone jako osoby o wysokim statusie dochodowym otrzymały znacznie więcej zaleceń (P < 0.001) na zaawansowane badania obrazowe, takie jak tomografia komputerowa i rezonans magnetyczny, podczas gdy przypadki oznaczone jako osoby o niskim i średnim dochodzie często ograniczano do podstawowych badań lub nie przeprowadzano dalszych testów.

Badacze twierdzili, że to zachowanie nie jest poparte klinicznymi wytycznymi ani rozumowaniem i ostrzegali, że uprzedzenia mogą prowadzić do nierówności w zdrowiu. Eksperci zauważają, że potrzeba więcej strategii, które pomogą zmniejszyć uprzedzenia, a LLM powinny skupiać się na pacjentach i zachować sprawiedliwość.

Wiele instytucji i organizacji wyraziło ostatnio obawy dotyczące wykorzystania AI i ochrony danych w medycynie. Kilka dni temu, openSNP ogłosiło swoje zamknięcie z powodu obaw o prywatność danych, a kolejne badanie podkreśliło brak edukacji w zakresie AI wśród pracowników medycznych.