Nowe narzędzie MIT poprawia weryfikację odpowiedzi modeli AI

Naukowcy z MIT niedawno ogłosili rozwój SymGen, narzędzia mającego na celu usprawnienie procesu weryfikacji odpowiedzi generowanych przez duże modele językowe (LLM). Ten system pozwala użytkownikom śledzić dane, do których odwołuje się AI, potencjalnie zwiększając wiarygodność jego wyników.

LLM, mimo swoich zaawansowanych możliwości, często generują niedokładne lub niepoparte informacje, zjawisko znane jako „halucynacje”.

To stawia wyzwania w dziedzinach o wysokim ryzyku, takich jak opieka zdrowotna i finanse, gdzie często potrzebni są ludzie do sprawdzania faktów w celu walidacji informacji generowanych przez AI. Tradycyjne metody weryfikacji mogą być czasochłonne i podatne na błędy, ponieważ wymagają od użytkowników przeglądania długich dokumentów, jak zauważono w ogłoszeniu.

Jest to szczególnie istotne, biorąc pod uwagę rosnące znaczenie AI w medycynie. Na przykład, NHS niedawno otrzymało zgodę na rozpoczęcie korzystania z technologii AI w celu ulepszenia wykrywania złamań na rentgenach.

SymGen radzi sobie z tymi wyzwaniami, umożliwiając LLM-om generowanie odpowiedzi z bezpośrednimi cytowaniami z materiału źródłowego, takiego jak konkretne komórki w bazie danych, jak podano w komunikacie prasowym MIT.

Użytkownicy mogą najechać kursorem na podświetlony tekst w odpowiedzi AI, aby szybko uzyskać dostęp do danych, które stanowią podstawę dla tej części tekstu. Ta funkcja ma na celu pomóc użytkownikom zidentyfikować, które segmenty odpowiedzi wymagają dalszego sprawdzenia.

Shannon Shen, studentka podyplomowa na kierunku inżynieria elektryczna i informatyka, będąca współautorką badania na temat SymGen, powiedziała w komunikacie prasowym: „Dajemy ludziom możliwość selektywnego skupienia się na tych fragmentach tekstu, które powinny ich najbardziej niepokoić.”

Ta zdolność ma na celu zwiększenie zaufania użytkowników do wyników generowanych przez model, umożliwiając dokładniejsze zbadanie przedstawionych informacji.

Badanie użytkowników wykazało, że SymGen skrócił czas weryfikacji o około 20% w porównaniu do standardowych procedur. Ta efektywność mogłaby być korzystna w różnych kontekstach, w tym przy generowaniu notatek klinicznych i podsumowywaniu raportów finansowych.

Aktualne systemy weryfikacji często traktują generowanie cytowań jako coś dodatkowego, co może prowadzić do niewydolności. Shen zauważyła, że choć generatywna sztuczna inteligencja ma na celu usprawnienie zadań użytkowników, uciążliwe procesy weryfikacji podważają jej użyteczność.

Narzędzie działa poprzez wymaganie od użytkowników dostarczania danych w uporządkowanym formacie, takim jak tabela z odpowiednimi statystykami. Zanim wygeneruje odpowiedź, model tworzy symboliczną reprezentację, łącząc segmenty tekstu ze swoimi źródłowymi danymi.

Na przykład, kiedy wspomina się o „Portland Trail Blazers”, model cytuję odpowiadającą im komórkę w tabeli wejściowej, umożliwiając użytkownikom śledzenie źródła informacji, jak zauważono w komunikacie prasowym.

Jednakże, jak zauważa artykuł, skuteczność SymGen zależy od jakości źródłowych danych. Jeśli model odnosi się do niepoprawnych zmiennych, ludzcy weryfikatorzy mogą nie wykryć tych błędów.

Obecnie system obsługuje jedynie dane tabularne, ale zespół badawczy pracuje nad rozszerzeniem jego możliwości o obsługę różnych formatów tekstowych i typów danych. Przyszłe plany obejmują testowanie SymGen w środowisku klinicznym, aby ocenić jego potencjał w identyfikowaniu błędów w sztucznie generowanych podsumowaniach medycznych.

Niniejsze badania mają na celu przyczynić się do trwających starań, mających na celu zwiększenie niezawodności i odpowiedzialności technologii AI, które stają się coraz bardziej zintegrowane z różnymi dziedzinami.