Agent AI w słuchawkach dousznych, ciągle nasłuchujący w celu świadczenia pomocy zorientowanej na kontekst

Zespół badaczy z Uniwersytetu Michigan i Uniwersytetu Fudan zaprezentował Buddie – system otwartoźródłowych słuchawek z AI, zaprojektowany do ulepszania interakcji opartych na głosie poprzez wprowadzanie świadomości kontekstu.

Buddie wykorzystuje energooszczędną kompresję, aby zredukować zużycie energii podczas ciągłego słuchania. Projekt pod kierunkiem profesora inżynierii elektrycznej i komputerowej, Roberta Dicka, uruchomił kampanię na Kickstarterze 23 grudnia, aby udostępnić technologię konsumentom i programistom.

Buddie łączy słuchawki typu earbuds z aplikacją na smartfona, tworząc interfejs głosowy zdolny do zrozumienia kontekstu rozmów. System nasłuchuje rozmów, aby zbierać informacje zaplecza, co umożliwia asystentom AI dostarczenie bardziej precyzyjnych odpowiedzi. Na przykład, mógłby przypomnieć niedawno wspomniane imię lub podsumować zadania z spotkania.

Według Dicka, świadomość kontekstu rozwiązuje istotne ograniczenie w obecnych systemach AI, które często wymagają od użytkowników wielokrotnego dostarczania informacji zaplecza. Buddie ma na celu usprawnienie tych interakcji, pozwalając asystentom AI na dostęp do niezbędnego kontekstu.

Słuchawki Buddie umożliwiają integrację sztucznej inteligencji z codziennym życiem, przekształcając ChatGPT lub inne agenty SI w asystenta osobistego świadomego kontekstu. Dzięki ciągłemu nasłuchiwaniu, Buddie dostarcza systemom SI kontekst, który potrzebują do dostarczania dostosowanych odpowiedzi, bez konieczności ciągłego wyjaśniania sytuacji przez użytkowników.

Ta interakcja bez użycia rąk wspiera komunikację głosową, gwarantując, że użytkownicy mogą korzystać z SI w dowolnym miejscu i czasie. Buddie obejmuje inteligentne słuchawki oraz aplikację mobilną o otwartym kodzie źródłowym dla iOS i Android, wspierającą takie agenty SI jak ChatGPT. Dostępne są także opcjonalne usługi premium od stron trzecich, umożliwiające użytkownikom dostosowanie swojego doświadczenia.

Stworzony zarówno do użytku zawodowego, jak i osobistego, Buddie ma na celu zwiększenie efektywności poprzez transkrypcję i podsumowywanie spotkań, rejestrowanie zadań do wykonania oraz udzielanie szybkich, istotnych wskazówek podczas rozmów.

Na przykład, jeśli twój szef użyje nieznanej Ci słów, Buddie szybko poda jego definicję. Integracja z różnymi platformami do prowadzenia spotkań, w tym Zoom i Microsoft Teams, oferuje wsparcie dla różnorodnych stylów komunikacji.

Poza miejscem pracy, Buddie pomaga w codziennym życiu, ucząc się preferencji użytkownika i oferując dostosowane sugestie. Dostarcza codzienne podsumowania, które pozwalają zastanowić się nad osiągnięciami, śledzić zadania i podkreślać ważne momenty.

Naukowcy twierdzą, że słuchawki Buddie zostały zaprojektowane tak, aby chronić prywatność użytkownika, jednocześnie zapewniając świadomość kontekstu zasilaną przez AI. Dane audio są przechwytywane i przesyłane bezprzewodowo do aplikacji na smartfona Buddie, gdzie są transkrybowane na tekst i usuwane w ciągu kilku sekund.

Transkrypty są szyfrowane i przechowywane lokalnie na urządzeniu użytkownika, co zapobiega nieautoryzowanemu dostępowi. Dane nie są przesyłane na zdalne serwery, chyba że użytkownik wyraźnie o to poprosi. Dla tych, którzy wybierają korzystanie z usług AI firm trzecich

ciągłe słuchanie Buddie’s stanowi również wyzwania techniczne, szczególnie jeśli chodzi o zużycie energii. Aby temu zaradzić, słuchawki wykorzystują energooszczędne techniki kompresji, aby zmniejszyć obciążenie baterii.

Otwarte podejście projektu zachęca użytkowników i programistów do eksplorowania nowych zastosowań, modyfikowania oprogramowania i przyczyniania się do jego rozwoju. Buddie jest dostępny za cenę – 40 dolarów – dla wczesnych wspierających.

Jednak, choć innowacyjny, kontekstowy design Buddie jest, rzuca on światło na rosnące obawy w dziedzinie cyberbezpieczeństwa. Eksperci ds. cyberbezpieczeństwa z Morphisec ostrzegają, że atakujący coraz częściej wykorzystują generatywne systemy AI do wykorzystania zaawansowanych możliwości, takich jak te, które znajdują się w urządzeniach świadomych kontekstu.

Na przykład, techniki ekstrakcji modelu mogłyby potencjalnie zostać wykorzystane do odwrotnego projektowania systemów AI, naśladując ich zachowanie w celu uzyskania nieautoryzowanych informacji lub przeprowadzenia skomplikowanych ataków.

Stała zdolność do słuchania Buddie również stawia pytania o podatności takie jak ataki poprzez iniekcję poleceń. Poprzez manipulowanie poleceniami systemu AI, atakujący mogliby potencjalnie zmusić go do generowania szkodliwych lub niezamierzonych wyników, jak donosi Morphisec.

Zaawansowane modele AI, podobne do tych, które umożliwiają funkcjonalność świadomą kontekstu Buddie, mogą tworzyć adaptacyjne monity, omijając filtry, aby zidentyfikować skuteczne strategie ataku – mówi Morphisec.

Przyszłe wersje Buddie mają na celu poprawę funkcji prywatności, wprowadzenie pokładowej inteligencji i zapewnienie możliwości wyboru systemów AI o silniejszych politykach ochrony danych. Na razie skupiamy się na doskonaleniu interakcji opartych na dźwięku i zrozumieniu potencjału AI świadomej kontekstu w codziennym użytkowaniu.