Badacze z MIT Opracowują „ContextCite” do Weryfikacji Treści Generowanych przez Sztuczną Inteligencję

Badacze z Laboratorium Informatyki i Sztucznej Inteligencji MIT (CSAIL) ogłosili ContextCite, narzędzie mające na celu poprawę wiarygodności treści generowanych przez AI.

Śledząc źródła, na których polegają systemy AI i identyfikując pochodzenie potencjalnych błędów, ContextCite oferuje nowy sposób oceny wiarygodności dużych modeli językowych (LLM).

Systemy AI często generują odpowiedzi, korzystając z zewnętrznych źródeł, ale mogą także generować błędy lub w całości zmyślać informacje. ContextCite radzi sobie z tym, podkreślając dokładne fragmenty źródła, które wpłynęły na odpowiedź AI.

Na przykład, jeśli asystent nieprawidłowo twierdzi, że model ma 1 bilion parametrów na podstawie źle zinterpretowanego kontekstu, ContextCite pomaga zidentyfikować konkretną zdanie, które przyczyniło się do błędu.

Ben Cohen-Wang, doktorant z MIT i główny badacz, wyjaśnia w komunikacie prasowym MIT: „Asystenci AI mogą być bardzo pomocni w syntezowaniu informacji, ale nadal popełniają błędy.”

„Istniejące asystenty AI często dostarczają linki do źródeł, ale użytkownicy musieliby żmudnie przeglądać sami artykuły, aby znaleźć ewentualne błędy. ContextCite może pomóc bezpośrednio znaleźć konkretne zdanie, które model użył, ułatwiając weryfikację twierdzeń i wykrywanie błędów”, dodał.

Narzędzie korzysta z „ablacji kontekstowej”, metody polegającej na systematycznym usuwaniu części zewnętrznego kontekstu, aby ustalić, które sekcje były kluczowe dla odpowiedzi AI. Ten sposób pozwala badaczom na efektywne identyfikowanie najbardziej istotnych źródeł materiału bez wyczerpującej analizy.

ContextCite ma szersze zastosowania, w tym poprawę dokładności odpowiedzi poprzez usunięcie nieistotnych informacji oraz wykrywanie „ataków zatruwających”. Takie ataki polegają na wprowadzaniu mylących stwierdzeń do wiarygodnie wyglądających źródeł, aby manipulować wynikami AI.

Narzędzie może śledzić błędne odpowiedzi do ich źródeł, potencjalnie ograniczając rozprzestrzenianie się dezinformacji.

Pomimo swojego potencjału, badacze twierdzą, że ContextCite ma swoje ograniczenia. Obecny system wymaga wielokrotnego przeprowadzenia inferencji, co może spowolnić jego zastosowanie. Dodatkowo, wzajemne zależności między zdaniami w skomplikowanych tekstach mogą utrudniać izolowanie konkretnych wpływów.

Badacze pracują nad udoskonaleniem narzędzia, aby sprostać tym wyzwaniom i usprawnić jego procesy.

Harrison Chase, CEO firmy LangChain, widzi to narzędzie jako znaczące dla deweloperów tworzących aplikacje LLM. Zwrócił uwagę, że weryfikacja, czy wyniki są rzeczywiście oparte na danych, jest krytycznym, ale zasobożernym zadaniem, a narzędzia takie jak ContextCite mogłyby uprościć ten proces.

Aleksander Madry, główny badacz CSAIL, podkreślił znaczenie niezawodnych systemów AI. ContextCite reprezentuje jeden ze sposobów adresowania tego zapotrzebowania, szczególnie w kontekście rosnącej roli AI w przetwarzaniu i syntezie informacji.