Zleceniobiorcy ostrzegają, że nowe wytyczne Google mogą wpłynąć na dokładność Gemini w sprawach wrażliwych

Niedawna zmiana wewnętrznych wytycznych w Google wywołała obawy co do dokładności jego sztucznej inteligencji Gemini, zwłaszcza jeśli chodzi o obsługę delikatnych lub wysoce specjalistycznych tematów.

Kontraktorzy pracujący nad projektem Gemini, którym powierzono zadanie oceny dokładności odpowiedzi generowanych przez AI, nie mogą już pomijać zadań spoza swojej dziedziny specjalizacji. Ta zmiana, o której po raz pierwszy poinformował TechCrunch, może potencjalnie wpłynąć na wiarygodność informacji dostarczanych przez AI na tematy takie jak opieka zdrowotna, gdzie precyzyjna wiedza jest kluczowa.

TechCrunch zauważa, że wcześniej kontraktorzy z GlobalLogic, firmy outsourcingowej należącej do Hitachi, mieli za zadanie ocenianie odpowiedzi AI pod kątem takich czynników jak „prawdziwość”, a także mieli możliwość pominięcia pytań leżących poza ich specjalizacją.

Na przykład, gdy poproszono by ocenić techniczne pytanie z zakresu kardiologii, kontraktor bez naukowego tła mógł go pominąć.

Jednakże, zgodnie z nowymi wytycznymi, wykonawcy otrzymali teraz instrukcje, aby oceniać odpowiedzi na wszystkie pytania, w tym te wymagające specjalistycznej wiedzy, i zaznaczać obszary, w których brakuje im ekspertyzy, jak donosi TechCrunch.

Nowe zasady wywołały obawy dotyczące jakości ocen udzielanych dla skomplikowanych tematów. Wykonawcy, często bez niezbędnego doświadczenia, są teraz zobowiązani do oceniania odpowiedzi AI na tematy takie jak rzadkie choroby lub zaawansowane matematyka.

Jeden z wykonawców wyraził w korespondencji wewnętrznej swoje frustracje do TechCrunch, kwestionując logikę eliminacji opcji pominięcia: „Myślałam, że celem pominięcia jest zwiększenie dokładności poprzez przekazanie tego komuś bardziej doświadczonemu?”

TechCrunch informuje, że zaktualizowane wytyczne pozwalają wykonawcom pominąć wskazówki tylko w dwóch przypadkach: jeśli wskazówka lub odpowiedź jest niekompletna lub zawiera szkodliwą treść, która wymaga specjalnej zgody na ocenę.

To ograniczenie wywołało niepokój wśród osób pracujących nad Geminim, które obawiają się, że AI może generować nieprecyzyjne lub mylące informacje w obszarach o dużym stopniu wrażliwości.

TechCrunch informuje, że Google nie udzieliło szczegółowej odpowiedzi na obawy wyrażone przez kontraktorów.

Jednak rzecznik podkreślił w rozmowie z TechCrunch, że firma „nieustannie pracuje nad poprawą rzetelności faktów w Gemini”. Dodatkowo wyjaśnił, że chociaż oceniający dostarczają cenne informacje zwrotne na podstawie wielu czynników, ich oceny nie mają bezpośredniego wpływu na algorytmy, ale są wykorzystywane do oceny ogólnej wydajności systemu.

Mashable zauważył, że raport kwestionuje rygor i standardy, które Google twierdzi, że stosuje podczas testowania Gemini pod kątem precyzji.

W sekcji „Budowanie odpowiedzialnie” ogłoszenia Gemini 2.0, Google stwierdziło, że „pracuje z zaufanymi testerami i ekspertami zewnętrznymi, przeprowadza obszerne oceny ryzyka oraz ewaluacje bezpieczeństwa i gwarancji.”

Chociaż wydaje się, że jest rozsądny nacisk na ocenę odpowiedzi na treści wrażliwe i szkodliwe, mniej uwagi wydaje się poświęcać odpowiedziom, które, choć nie są szkodliwe, są po prostu nieprecyzyjne, jak zauważył Mashable.