Amerykańscy Naukowcy Budują Zaawansowany Model Rozumowania Za Mniej Niż 50 Dolarów

Naukowcy zajmujący się sztuczną inteligencją z Uniwersytetu Waszyngtońskiego i Stanfordu przeszkolili model rozumowania AI za mniej niż 50 dolarów – w kredytach na chmurę obliczeniową – o nazwie s1. Zespół opublikował artykuł zatytułowany s1: Proste skalowanie w czasie testów, z większą ilością szczegółów na temat swojej metodyki w ten poniedziałek.

Według TechCrunch, nowy model działa na podobnym poziomie do zaawansowanych modeli, takich jak R1 od DeepSeek, czy o1 od OpenAI i jest dostępny na GitHubie.

Aby opracować model AI, badacze zastosowali proces znanym jako destylacja – kiedy większy model AI dostarcza dane mniejszemu modelowi – czerpiąc zdolności rozumowania z Google’a Gemini 2.0 Flash Thinking Experimental.

Ten proces zyskuje na popularności w branży AI, jako że OpenAI twierdzi, że DeepSeek użył tego procesu, bez autoryzacji, aby opracować swój zaawansowany model rozumowania. Naukowcy z Uniwersytetu Kalifornijskiego w Berkeley z Laboratorium Sky Computing również niedawno udało się wytrenować model rozumowania za mniej niż $450 tą techniką, co wywołuje debatę w Dolinie Krzemowej i złość wśród dużych firm AI.

Badacze rozwijający model s1 rozważali również podejście „skalowania w czasie testu” – zmuszając model do zatrzymania i dokładniejszego przemyślenia przed udzieleniem odpowiedzi – oraz przeprowadzili nadzorowane dostrajanie od wcześniej wytrenowanego modelu, aby zbudować jego model rozumowania AI.

„Rozwijamy wymuszanie budżetu, aby kontrolować obliczenia w czasie testu poprzez siłowe zakończenie procesu myślenia modelu lub przedłużenie go poprzez dołączanie wielokrotnie ‚Czekaj’ do generacji modelu, kiedy próbuje on się zakończyć” – stwierdza artykuł. „To może skłonić model do ponownego sprawdzenia swojej odpowiedzi, często poprawiając nieprawidłowe rozumowanie”.

Eksperci użyli zestawu danych zawierającego 1 000 starannie wyselekcjonowanych pytań i odpowiedzi, aby w mniej niż 30 minut wyszkolić swój model, korzystając z kart graficznych Nvidia H100. Pokazali tym samym, że możliwe jest osiągnięcie zaawansowanych wyników przy użyciu niewielkiej bazy danych i wykorzystując inne technologie oraz modele AI.

„Najnowsze postępy w dziedzinie rozumowania, takie jak o1 OpenAi i R1 DeepSeek, brakują przejrzystości, co ogranicza szerszy postęp w badaniach” – napisali badacze. „Nasza praca ma na celu przesuwanie granic rozumowania w pełni otwarty sposób, promując innowacje i współpracę w celu przyspieszenia postępów, które ostatecznie przynoszą korzyści społeczeństwu.”