Jak działa optymalizacja sceny AI w aparacie w telefonie

Jak działa optymalizacja sceny AI w aparacie w telefonie
Jeśli masz flagowy telefon z aparatem, prawdopodobnie zastanawiasz się, jak robi tak niesamowite zdjęcia. Telefony rozjaśniają cienie, rozmywają tło dla portretów podobnych do lustrzanek cyfrowych, wydobywają kolory i ogólnie dodają smaku zdjęciom w sposób, w jaki nie robią tego tradycyjne aparaty. Duża część tego procesu sprowadza się do optymalizacji sceny AI, którą można znaleźć do pewnego stopnia w większości dzisiejszych smartfonów, w najlepszym wydaniu na najlepszych dostępnych smartfonach. Telefony z aparatem są inteligentne; w końcu to minikomputery. Chip, który zasila Twój telefon, zapewnia moc obliczeniową, o jakiej nie mogliśmy marzyć dziesiątki lat temu. Producenci smartfonów łączą tę inteligencję z małym modułem aparatu z tyłu telefonu, aby dać ci sztuczne oczy. Dzięki tym oczom Twój telefon może zrozumieć, co robisz, określić, co należy zoptymalizować, i przygotować ostateczne ujęcie na Instagramie bez wielogodzinnego retuszu. Najbardziej imponujące; W niektórych scenach aparat w smartfonie może przewyższyć lustrzankę cyfrową o ponad XNUMX USD, dzięki całej inteligencji i mocy obliczeniowej procesora oraz sprytnym efektom HDR. Krótko mówiąc, jest to opowieść o tym, jak frustracja (małe czujniki smartfonów) spowodowała kolejną ewolucję fotografii komputerowej.

Na czym polega optymalizacja scen za pomocą sztucznej inteligencji?

Wskazówka tkwi w nazwie. Optymalizacja scen AI to proces, w ramach którego telefon optymalizuje zrobione zdjęcie w zależności od przechwyconej sceny. Podczas rozmowy podczas robienia zdjęcia, gdy skierujesz telefon z aparatem na obiekt, światło przechodzi przez obiektyw i pada na czujnik. To światło jest przetwarzane jako obraz przez procesor sygnału obrazu (ISP), który zazwyczaj jest częścią układu smartfona, niezależnie od tego, czy jest to Qualcomm Snapdragon 11, czy Apple AXNUMX Bionic. Dostawcy usług internetowych nie są nowi. Od lat używają aparatów cyfrowych i robią te same podstawowe rzeczy na smartfonach. Niektóre z jego zadań to wyświetlanie obrazu do podglądu, redukcja szumów, regulacja ekspozycji, liczenie bieli itp. Rzeczą w dzisiejszych smartfonach jest to, jak sprytni są ci dostawcy usług internetowych. Na początek, dzięki ulepszonym możliwościom obliczeniowym, dostawcy usług internetowych telefonów z aparatem mogą lepiej zrozumieć, co nagrywasz. Gdy korzystałeś ze starej lustrzanki cyfrowej lub kompaktowego aparatu cyfrowego, być może musiałeś ręcznie dostosować scenę. Teraz smartfony mogą to zrobić samodzielnie. Jednak to tylko zarysowuje powierzchnię.

Samsung galaxy s21

(Źródło zdjęcia: Samsung) Dzięki obecnej optymalizacji sceny AI telefon z aparatem może zrozumieć wiele elementów obrazu i dostosować przetwarzanie każdego z nich w bardzo określony sposób. Na przykład, jeśli zrobisz zdjęcie osoby na tle pola trawy z błękitnym niebem w ramce, dostawca usług internetowych Twojego telefonu może oświetlić jej twarz, ponieważ prawdopodobnie to jest temat, wzmocnij zieleń w ramce. nadaj im bogatszy wygląd i osobno wydobądź błękit nieba, a w zależności od telefonu możesz nawet nieco zmiękczyć tło, aby wyostrzyć obiekt. Dziś wiele smartfonów idzie jeszcze dalej. Na przykład wysokiej klasy smartfony Sony mają śledzenie oczu zwierząt domowych, podczas gdy smartfony Huawei mają automatyczne wykrywanie nocy, które działa tak dobrze na statkach flagowych, że może oświetlić prawie ciemną scenę, sprawiając, że wydaje się, że jest to noc w dzień Ta technologia jest dostępna na iPhone’ach, jak np. w idealnym trybie portretowym, który pozwala na maksymalną kontrolę nad rozmyciem tła i efektami świetlnymi podczas robienia zdjęcia osobie, a telefony Google Pixel słyną z astrofotografii. Chociaż nie obsługuje sztucznej inteligencji, po włączeniu patrzy na nocne niebo i inteligentnie ocenia, jak długo cyfrowa migawka powinna pozostać otwarta, aby uchwycić gwiazdy, a nawet galaktyki. Więc prawdopodobnie smartfony powinny blednąć w porównaniu z lustrzankami cyfrowymi, jeśli chodzi o fotografię AI? Prawdę mówiąc, nie. Co ciekawe, producenci aparatów dowiadują się dwóch rzeczy na temat przetwarzania zdjęć od inżynierów aparatów telefonicznych.

iPhone 13 Pro Max

(Zdjęcie: LaComparacion)

Małe czujniki; Inteligentne rozwiązania

Jeśli cofniesz się myślami dziesięć lat temu, Nokia wypuściła smartfony z dużymi, mocnymi ksenonowymi lampami błyskowymi, takimi jak Nokia XNUMX Pureview. Musiał podnieść specyfikacje sprzętowe swoich telefonów z aparatem, ponieważ zdjęcia zrobione większością telefonów w nocy wyglądały jak nieznośny, ziarnisty bałagan. Nawet telefon taki jak Nokia Pureview nie poradził sobie w niektórych naprawdę trudnych scenach. Powodem, dla którego aparaty mobilne były tak szeroko dyskutowane, jest to, że telefony muszą mieścić się w naszych dłoniach i kieszeniach, a zatem muszą być małe. Smartfony muszą mieć też wiele innych elementów: ekrany, głośniki, baterie, anteny itp. Krasnoludzkie czujniki ruchu z soczewkami karłowatymi mają trudności z przepuszczaniem dużej ilości światła. Więcej światła oznacza lepszy obraz i na tym polega problem: małe czujniki, ograniczone możliwości wychwytywania światła, słaba jakość obrazu. Te ograniczenia dotyczące aparatów mobilnych zmusiły producentów telefonów do zaprzestania prób rozwiązania problemu za pomocą lepszego, droższego, dużego, zużywającego baterię sprzętu i zamiast tego zwrócili się ku oprogramowaniu. L'une des premieres fois où cela a vraiment fait les gros titres, c'est lorsque Google a sorti le Pixel, un téléphone sans image stabilization optics, mais avec une si bonne stabilization électronique qu'il a surpassé une grande partie de the Competition . Następnie Pixel i Pixel XNUMX zaprezentowały niesamowite możliwości przetwarzania zdjęć, które zmieniły zdjęcia z meh w oszałamiające na twoich oczach, gdy rozpoznałeś scenę. Doprowadziło to następnie do tego, że marki takie jak Huawei wprowadziły jednostki przetwarzania neuronowego do chipsetów, Mate XNUMX z wykrywaniem scen AI oraz funkcję znajdującą się w telefonach innych producentów smartfonów, a telefony Samsung ostrzegały o trzydziestu dwóch scenach.

Huawei maty dla 40

(Zdjęcie: Huawei)

Czego nie potrafi wykrywanie scen AI?

W ten sposób inteligentni ludzie, którzy podjęli wyzwanie fotograficzne, sprawili, że coś niemożliwego do pokonania przy użyciu samego sprzętu (wysokiej jakości zdjęcia smartfonem w każdych warunkach oświetleniowych) stało się możliwe dzięki oprogramowaniu i detekcji ruchu.sceny wykonane przez sztuczną inteligencję. Kolejną granicą jest wykrywanie scen AI w wideo. Chociaż w pewnym stopniu są już dostępne, ultrainteligentne funkcje fotografii nocnej wykorzystywane w fotografii przez Apple, Google (Night Sight) i Huawei nie zostały udostępnione do czyszczenia nocnego wideo. Wideo ma co najmniej XNUMX klatki na sekundę, więc to kolejny poziom mocy obliczeniowej. W miarę jak procesory stają się coraz potężniejsze, rozwój sztucznej inteligencji osiąga nowe wyżyny, a czujniki smartfonów stają się coraz bardziej zdolne do wychwytywania światła pomimo ich niewielkich rozmiarów, wykrywanie scen AI wydaje się być gotowe do ciągłego zmieniania oblicza fotografii dla każdego.

LaComparacion stworzył tę zawartość w ramach płatnego partnerstwa z Huawei. Treść tego artykułu jest całkowicie niezależna i odzwierciedla jedynie opinię redakcyjną LaComparacion.