Firma Cerebras Systems, producent największego na świecie procesora, pobiła rekord najbardziej złożonego modelu AI wyszkolonego na jednym urządzeniu.
Wykorzystując system CS-2, zasilany firmowym chipem wielkości płytki (WSE-2), Cerebras może teraz trenować modele AI z nawet 20 miliardami parametrów dzięki nowym optymalizacjom na poziomie oprogramowania.
Firma twierdzi, że to przełomowe rozwiązanie rozwiąże jeden z najbardziej frustrujących problemów inżynierów AI: potrzebę podzielenia modeli na dużą skalę na tysiące procesorów graficznych. Rezultatem jest możliwość radykalnego skrócenia czasu potrzebnego do opracowania i szkolenia nowych modeli.
Cerebras udostępnia sztuczną inteligencję masom
W subdyscyplinach, takich jak przetwarzanie języka naturalnego (NLP), wydajność modelu jest liniowo skorelowana z liczbą parametrów. Innymi słowy, im większy model, tym lepszy efekt końcowy.
Obecnie opracowywanie produktów opartych na sztucznej inteligencji na dużą skalę tradycyjnie wiąże się z przesyłaniem strumieniowym modelu przez dużą liczbę procesorów graficznych lub akceleratorów, ponieważ albo jest zbyt wiele parametrów do przechowywania w pamięci, albo wydajność obliczeniowa jest niewystarczająca do obsługi obciążeń szkoleniowych.
„Ten proces jest bolesny i zwykle trwa miesiące” – wyjaśnił Cerebras. Co gorsza, proces jest unikalny dla każdej pary klastrów obliczeniowych w sieci, więc pracy nie można przenosić pomiędzy różnymi klastrami obliczeniowymi lub sieciami neuronowymi. Jest całkowicie wykonany na zamówienie. »
Chociaż najbardziej złożone modele składają się z ponad 20 miliardów parametrów, możliwość trenowania stosunkowo dużych modeli AI na jednym urządzeniu CS-2 usuwa te wąskie gardła dla wielu, przyspieszając rozwój istniejących graczy i demokratyzując dostęp dla tych, którzy wcześniej nie mogli. . . uczestniczyć w kosmosie.
„Zdolność firmy Cerebras do dostarczania szerokiej publiczności dużych modeli językowych z łatwym i ekonomicznym dostępem zapoczątkowuje ekscytującą nową erę sztucznej inteligencji. Daje to organizacjom, które nie mogą wydać dziesiątek milionów, łatwy i niedrogi wstęp do NLP wielkiej ligi” — powiedział Dan Olds, dyrektor ds. badań w firmie Intersect360 Research.
„Ciekawie będzie zobaczyć, jakich nowych zastosowań i odkryć dokonają klienci CS-2, ucząc modele klasy GPT-3 i GPT-J na ogromnych zbiorach danych”.
Ponadto Cerebras zasugerował, że jego system CS-2 może w przyszłości obsłużyć jeszcze większe modele, z „nawet bilionami parametrów”. Tymczasem połączenie wielu systemów CS-2 może utorować drogę sieciom AI większymi niż ludzki mózg.