Żyjemy w coraz bardziej cyfrowym świecie.
Jeśli zwracałeś uwagę, nie powinno to być wielką niespodzianką. Jeszcze przed pandemią technologie takie jak rzeczywistość wirtualna i rzeczywistość rozszerzona cieszyły się dużym zainteresowaniem. Wśród zamknięć i środków kwarantanny zainteresowanie to wzrosło tylko wykładniczo.
Do tej pory prawdopodobnie słyszałeś cały szum wokół Metaverse. W najlepszym razie luźno zdefiniowana, a w najgorszym niewiele więcej niż marketingowe hasło, sednem jest co najmniej jedna koncepcja, która daje duże nadzieje: idea połączenia jednego dnia ze sobą za pośrednictwem wirtualnej rzeczywistości nie tylko jako konfigurowalnych awatarów, ale także jako cyfrowych obrazów. reprezentacje nas samych.
Idea połączonych środowisk online wypełnionych realistycznymi, symulowanymi, dynamicznymi awatarami naszych przyjaciół i rodziny.
Może to brzmieć jak coś prosto z annałów science fiction. Ale tak nie jest. Jest to raczej coś, co chińska firma technologiczna OPPO właśnie uczyniła bardziej wykonalną niż kiedykolwiek dzięki technologii rekonstrukcji ciała 3D opartej na sztucznej inteligencji.
Tworzenie wirtualnych ciał
Jeśli chodzi o rekonstrukcję ciała 3D, jednym z największych wyzwań w historii było realistyczne odwzorowanie ubrań, zwłaszcza tych, które są workowate. Sam szkielet nie jest problemem – od dłuższego czasu opanowaliśmy realistycznie proporcjonalne wirtualne bryły. Problem w tym, że ubrania reagują jak… no cóż, prawdziwe ubrania.
Tradycyjne cyfrowe metody rekonstrukcji awatarów bez zbytniego podejścia do kwestii technicznych prowadzą do rozmytych lub po prostu fałszywych ubrań. Problem polega na tym, że między różnymi pozycjami ciała istnieje znaczna luka w złożoności. Zapewnienie, że odzież realistycznie dostosowuje się do tych ruchów, wymaga ogromnego wysiłku.
Do niedawna nie było innego realnego rozwiązania tego problemu niż „wyślij tam więcej inżynierów”. I tu wkracza OPPO. Jak zademonstrowano na konferencji Computer Vision and Pattern Recognition Conference 2022 (otwiera się w nowej karcie), firma w końcu poradziła sobie z jednym z najstarszych problemów w tej dziedzinie.
Jak opisano w tym artykule (otwiera się w nowej karcie), proces OPPO rozpoczął się od wyszkolenia udoskonalonego algorytmu, aby zrozumieć, w jaki sposób tkanina formuje się i odkształca podczas ruchu. Początkowo skupiał się na identyfikacji i zrozumieniu drobnych szczegółów, takich jak logo, obszycia i tekstury. Kluczem do sukcesu jest tutaj traktowanie tych tkanek jako warstwy oddzielnej od ruchów szkieletu awatara, czego tradycyjne metody renderowania wciąż nie osiągają.
Wraz z tym szkoleniem algorytm wykorzystuje szereg predefiniowanych punktów ruchomych dołączonych do modelu ciała modelu SMPL (zasadniczo standardowy model 3D ludzkiego ciała (otwiera się w nowej karcie)). Punkty te są następnie łączone z ustrukturyzowanymi lokalnymi polami promieniowania, procesami, które jednocześnie modelują wygląd i geometrię, aby wygenerować bardziej atrakcyjne obrazy (otwiera się w nowej karcie).
W oparciu o nową metodę OPPO może generować trójwymiarowe modele dynamiczne jeden po drugim poprzez prostą analizę wideo, co jest innowacją o bardzo ciekawych zastosowaniach.
Proces tworzenia wirtualnego awatara OPPO: przewodnik krok po kroku
Jak ustaliliśmy wcześniej, cyfrowe modelowanie człowieka jest tradycyjnie niezwykle złożonym zadaniem. Skanowanie modelu to dopiero pierwszy krok. Pomijając koszty, sukces zazwyczaj wymaga serii ręcznej obróbki i prac wymagających prac inżynieryjnych.
Jak widać na powyższym filmie, proces OPPO zasadniczo wyrzuca te trudności przez okno.
1. Po pierwsze, dane ciała modelu są gromadzone przez laboratorium OPPO Digital Avatar Lab.
2. Po tym, jak oprogramowanie smartfona zbierze wystarczającą ilość danych na temat tematu, sztuczna inteligencja zaczyna generować awatar 3D.
3. Profesjonalna tancerka działała jako modelka ludzkiego ciała, a ruchy były rejestrowane. Pierwszym krokiem w procesie renderowania jest wygenerowanie szkieletu z serią predefiniowanych węzłów kotwiczących.
4. Algorytm kontynuuje analizę ruchów szkieletu, aby odróżnić go od kształtu i ruchu dowolnego ubrania nałożonego na awatara.
5. Wreszcie, kilka godzin później, renderowanie sceny neuronowej generuje w pełni ubraną postać cyfrową z realistyczną fizyką i ruchami odzieży.
Nie masz rytmu i wstydzisz się, że nie umiesz tańczyć? Twój awatar nie będzie miał tego problemu, gdy będziesz się kręcić i obracać, twoje ubrania unoszą się wokół ciebie jak na parkiecie. Chociaż algorytm jest nadal opracowywany w laboratorium, stopniowo stanie się bardziej wydajny i skuteczny w miarę odbierania większej liczby danych treningowych, co ostatecznie sprawi, że będzie można go zastosować w nieograniczonych sytuacjach rzeczywistych poza tańcem.
Wizualizuj cyfrowy świat z OPPO
To duży krok w stronę wirtualnej rzeczywistości w całkowitym zanurzeniu. Wraz z poprawą technologii stojącej za algorytmem OPPO, cyfrowe i fizyczne będą coraz bardziej łączone. Nic dziwnego, że ma to kilka bardzo interesujących zastosowań.
Po pierwsze, centra handlowe i inni detaliści mogą zapewnić bardziej wciągające doświadczenia online dzięki technologiom, takim jak wirtualne szatnie i food courty. Można to połączyć z realistycznymi, niestandardowymi awatarami, które pozwalają ludziom wchodzić w interakcję z wirtualnym światem na poziomie, który wcześniej był niemożliwy. Te awatary pozwoliłyby również przyjaciołom i bliskim zobaczyć „naprawdę ważnych” i zachowywać się tak, jak sobie tego życzymy, nawet na duże odległości.
Istnieje również wiele innych zastosowań.
Bardziej przekonujące i dynamiczne postacie oparte na rzeczywistych ruchach ludzi w grach wideo w połączeniu z obniżonymi kosztami rozwoju. Praca zdalna wspierana przez sale konferencyjne w wirtualnej rzeczywistości w całkowitym zanurzeniu. Treningi personalne i zajęcia fitness z wykorzystaniem sztucznej inteligencji.
Realistycznie, to niebo jest tutaj granicą.
Wierzcie lub nie, taka technologia nie jest dla OPPO niczym nowym – firma od kilku lat jest w czołówce sztucznej inteligencji. Początkowo badania nad rozwojem sztucznej inteligencji rozpoczął w 2015 roku, od tego czasu znacznie pogłębił swoje zainteresowania. Obecnie prowadzi Instytut Inteligentnej Percepcji i Interakcji z dedykowanymi zespołami badawczo-rozwojowymi skoncentrowanymi na szeregu różnych technologii i zastosowań sztucznej inteligencji.
Oprócz rekonstrukcji ciała 3D, technologia OPPO została również wykorzystana w takich produktach, jak generator przestrzennego AR w czasie rzeczywistym CybeReal (otwiera się w nowej karcie), OPPO Air Glass (otwiera się w nowej karcie) i Omoji (otwiera się w nowej ), która wykorzystuje rozpoznawanie twarzy do tworzenia emotikonów 3D.
Wszystko po to, by powiedzieć, że ta innowacja, choć jest ekscytująca, tylko zarysowuje powierzchnię badań OPPO. Firma każdego dnia projektuje nowe technologie. I nie ma wątpliwości, że w przyszłym roku będzie coś jeszcze bardziej ekscytującego do podzielenia się.