Fotografia cyfrowa zmieniła sposób, w jaki robimy zdjęcia za pomocą naszych telefonów. Być może nie zauważyliście, bo efekt końcowy jest taki, że nie musimy już zastanawiać się nad ograniczeniami aparatów w telefonie i czy konkretna scena to dla nich za dużo.

Kiedy spojrzymy wstecz na wczesne lata smartfonów, to, co uważaliśmy za „dobry” aparat telefoniczny, wydaje się dziś niemal komiczne.

Prześwietlone fragmenty obrazów pojawiały się częściej, a nawet najlepsze aparaty robiły kiepskie zdjęcia w słabym świetle w porównaniu z niedrogim smartfonem ze średniej półki w 2022 roku.

Wszystko zależy od radykalnie ulepszonego zakresu dynamicznego i trybów nocnych z wielokrotną ekspozycją, napędzanych technikami obliczeniowymi. Często pozwalają one telefonom z czujnikami aparatu wielkości dziecięcych paznokci na generowanie rezultatów porównywalnych z obrazem lustrzanki cyfrowej, po edycji i dopracowaniu w Photoshopie.

Główne typy scen, które odnoszą największe korzyści, to środowiska o słabym oświetleniu i te o bardzo wysokim kontraście, w których części obrazu były zbyt jasne lub zbyt ciemne. Na przykład zachody słońca.

Czekam na komputerową rewolucję wideo

Jednak do tej pory nie mieliśmy takich samych doświadczeń z wideo. Zaawansowane telefony świetnie nadają się do robienia zdjęć, ale większość zawodzi podczas nagrywania wideo w trudniejszym oświetleniu. Wspaniałe doświadczenie fotograficzne tylko podkreśla problem. Właśnie to ma rozwiązać wideo obliczeniowe.

Wideo obliczeniowe stawia nowe wyzwania, ponieważ czas nie jest po naszej stronie. Telefonowi może zająć kilka sekund, zanim zorientuje się, jak powinien wyglądać nieruchomy obraz z aparatu, zbuduje go z kilkunastu oddzielnych ekspozycji i spędzi dużo czasu na łączeniu ich ze sobą.

Nie mamy tego luksusu z wideo, gdzie każda sekunda materiału może zawierać 30 lub 60 oddzielnych klatek na sekundę. Telefon nie może utworzyć każdej klatki wideo z wielu ekspozycji, ponieważ po prostu nie ma czasu na ich uchwycenie, nie mówiąc już o ich przetwarzaniu.

Znalezienie nowego zestawu rozwiązań wideo komputerowego jest obecnie jednym z głównych celów wszystkich głównych producentów telefonów z wyższej półki. I to stało się jednym z wielkich zadań procesorów NPU, które teraz zwiększają swoją moc szybciej niż jakakolwiek inna część telefonów.

Samsung Galaxy S22 Ultra ma wiele czujników aparatu (Źródło zdjęcia: Peter Hoffmann)

Technologia stojąca za oprogramowaniem.

NPU to jednostka przetwarzania neuronowego, która obsługuje uczenie maszynowe i obciążenia związane ze sztuczną inteligencją. Kiedy po raz pierwszy zaczęły się pojawiać, pomyśleliśmy, że będą używane do obsługi doświadczeń rzeczywistości rozszerzonej, takich jak gry, w których elementy gry są renderowane w widoku rzeczywistym widzianym przez kamerę. Tak, ale okazuje się, że sposoby wykorzystania sztucznej inteligencji, uczenia maszynowego i przetwarzania neuronowego w fotografii są w rzeczywistości znacznie ważniejsze.

Specyficzną siłą tych procesorów neuronowych jest to, że mogą obsłużyć dużą liczbę instrukcji w krótkim czasie przy bardzo małej mocy. Jak już odkryliśmy, jest to dokładnie to, czego potrzebujemy do wideo obliczeniowego.

To jednak tylko zasób. Co mogą z tym zrobić producenci telefonów i jakie techniki mogą sprawić, że wideo obliczeniowe będzie tak potężne, jak obrazy nieruchome? Przyjrzyjmy się niektórym technikom, których możesz użyć.

Zestaw technik

Wracając do podstaw, mamy redukcję szumów 2DNR i 3DNR, XNUMXD i XNUMXD. Jest to proces oddzielania szczegółów od szumu, mający na celu wygładzenie szumu bez zmniejszania prawdziwych informacji wizualnych obrazu.

Wszystkie aparaty już wykorzystują redukcję szumów, ale wyższa moc przetwarzania neuronowego umożliwia nowszym telefonom korzystanie z bardziej zaawansowanych algorytmów NR, aby wydajniej wykonywać pracę.

Jaka jest różnica między 2D i 3D NR? W redukcji szumów 2D przeanalizuj pojedynczy obraz. Możesz zastosować techniki uczenia maszynowego oparte na milionach podobnych obrazów, które zrobili inni, ale każdy obraz jest skutecznie traktowany jako nieruchomy obraz. Piksele są porównywane z grupami pobliskich pikseli w celu zidentyfikowania i usunięcia szumu z obrazu.

Dodatkowy wymiar dodany przez 3DNR to nie głębia, ale czas. Redukcja szumów opiera się na tym, co pojawia się w kolejnych klatkach, a nie tylko na danych z pojedynczej klatki.

iPhone 13 Pro Max

Apple iPhone 13 Pro Max również przesuwa granice aparatu (Źródło zdjęcia: TechRadar)

Zadaniem wideo obliczeniowego jest spowodowanie, by oba rodzaje redukcji szumów zachodziły w tym samym czasie, ale przy użyciu właściwej techniki we właściwych częściach sceny. 3DNR działa cuda na stosunkowo nieruchomych obszarach obrazu.

Podczas fotografowania przy słabym oświetleniu wymagane wysokie poziomy czułości mogą powodować, że obraz będzie migotać z szumem. Czasowa redukcja szumów 3D daje telefonowi większą szansę na zachowanie autentycznych szczegółów bez sprawiania wrażenia zanikania z klatki na ramkę.

Jednak 3DNR nie jest świetnym rozwiązaniem do poruszania się obiektów, ponieważ w końcu próbujesz porównać zasadniczo różne zestawy danych obrazu. Telefon musi oddzielić ruchome części obrazu od nieruchomych obszarów, zastosować różne formy przetwarzania i być gotowym na przesunięcie tych obszarów z pół sekundy do pół sekundy.

I oczywiście intensywność renderowania powinna również zmieniać bieg, gdy zmienia się poziom światła w środku klipu.

idź do źródła

Potrzebujemy również telefonu, aby przechwytywać lepsze dane, aby przede wszystkim mniej hałasować. Jak możemy to zrobić bez użycia większego czujnika o wyższej czułości na światło natywne?

Lepsze wykorzystanie stabilizacji optycznej (OIS) to jeden ze sposobów. W telefonach zwykle wiąże się to z silnikiem, który nieznacznie porusza obiektywem, aby skompensować wszelkie ruchy rąk użytkownika, chociaż stabilizacja opóźnienia czujnika jest teraz dostępna również w telefonach. Ta ostatnia jest kluczową cechą wysokiej klasy bezlusterkowców.

Ta kompensacja ruchu umożliwia telefonowi stosowanie dłuższego czasu otwarcia migawki, unikając jednocześnie rozmazanych danych obrazu. Podczas fotografowania w nocy im dłuższa ekspozycja, tym lepsze dane ma aparat w telefonie do zbudowania kadru. A przy fotografowaniu z prędkością 30 kl./s maksymalne teoretyczne okno to oczywiście 1/30 sekundy.

Wideo obliczeniowe może dynamicznie wykorzystywać tę koncepcję okna maksymalnego naświetlenia, używając obiektywu stabilizatora OIS.

W niektórych sytuacjach słabego oświetlenia telefon skorzysta na zmniejszeniu liczby klatek na sekundę do 30 kl./s, nawet po wybraniu przechwytywania z 60 kl./s. Podwaja to maksymalny czas naświetlania, dzięki czemu aparat może rejestrować obrazy z większą ilością szczegółów i mniejszymi szumami.

„Brakujące” klatki mogą być generowane przez interpolację, gdzie klatki pełnoekranowe są generowane na podstawie różnicy w danych obrazu między klatkami, które posiadamy. Dla konwencjonalnych fotografów może się to wydawać herezją, ale trafia do sedna komputerowego podejścia do obrazowania.

Wyniki mają znaczenie. To, jak się tam dostaniesz, ma mniejsze znaczenie.

Dlaczego zatrzymać się przy 30 klatkach na sekundę? Telefon może nawet spaść do znacznie niższej liczby klatek na sekundę, na przykład 15 klatek na sekundę, jednocześnie tworząc wideo 60 klatek na sekundę, co może wyglądać dobrze, jeśli scena jest rozsądnie nieruchoma.

Im niższa liczba klatek na sekundę, tym większe okno maksymalnej ekspozycji. Jednak w tym miejscu mówimy o technikach teoretycznych. O ile nam wiadomo, żaden telefon jeszcze nie zajdzie tak daleko.

OnePlus 9 Pro

Tylne kamery OnePlus 9 Pro (Źródło zdjęcia: Truls Steinung)

ujawnić problemy

Jest jednak problem. OIS, technologia, na której opieramy się, aby długi czas otwarcia migawki był opłacalny, może kompensować ruch tylko w jednym ekstremum. Możesz uniknąć rozmycia po uścisku dłoni, a nie rozmycia ruchu osoby przechodzącej przez kadr.

Jak widzieliśmy w przypadku redukcji szumów, najlepsze rozwiązanie obliczeniowe może zmieniać się z chwili na chwilę w zależności od tego, co dzieje się na obrazie. Jedną z funkcji wideo obliczeniowego jest zarządzanie tym, zmieniając szybkość przechwytywania w locie.

Istnieje również technika sprzętowa, która może pomóc o nazwie DOL-HDR. Być może znasz „normalne” tryby HDR dla zdjęć. W tym miejscu wiele ramek jest łączonych w jeden obraz. W świecie telefonów może to oznaczać od trzech do 36 obrazów.

W przypadku wideo nie ma na to czasu i jest minimalny czas, aby uwzględnić subtelne zmiany, które zaszły w scenie podczas uchwycenia tych ekspozycji, co prowadzi do efektu zwanego zjawami w źle zarządzanych trybach HDR. DOL-HDR pozwala uniknąć tych problemów, robiąc dwa zdjęcia jednocześnie przy użyciu jednego czujnika aparatu.

W jaki sposób? 'Albo co? Dane z typowego czujnika aparatu są odczytywane linia po linii, podobnie jak głowica drukująca przesuwająca się po kartce papieru. Jeden rząd pikseli następuje po drugim.

DOL-HDR zapisuje jednocześnie dwie wersje każdej linii, jedną z klatki o dłuższej ekspozycji, a drugą z klatki krótszej. Ten rodzaj HDR może być często używany w scenach, w których występuje duży kontrast w poziomie światła, takich jak zachód słońca.

Jednak, chociaż może być używany do przechwytywania zestawów klatek wideo z różnymi czasami otwarcia migawki, a nie tylko z różnymi ustawieniami czułości (ISO), DOL-HDR może być również używany do maksymalizacji szczegółów ruchu i dynamiki ruchu.

Wyobraź sobie scenę, o której wspomnieliśmy wcześniej. Kręcimy stosunkowo słabo oświetlone wideo, ale osoba przechodzi przez kadr i nie chcemy, żeby wyglądało to jak bałagan w ruchu.

Dzięki DOL-HDR mogliśmy wykorzystać krótką ekspozycję, aby uzyskać wyraźniejszy obraz naszej poruszającej się postaci, a dłuższą ekspozycję, aby uzyskać lepsze wyniki w scenie. „HDR” w DOL-HDR może oznaczać wysoki zakres dynamiki, ale może być przydatny w inny sposób.

Zadaniem wideo obliczeniowego jest bezproblemowe poruszanie się po niezliczonych różnych stylach i technikach nagrywania oraz dostosowywanie się do stale rosnącego obciążenia przetwarzania.

Te, które wymieniliśmy, to prawdopodobnie tylko kilka, z których będą korzystać również producenci telefonów. Teraz pytanie brzmi, które telefony najlepiej poradzą sobie z wideo obliczeniowym w 2022 roku i później.

TechRadar stworzył tę zawartość w ramach płatnego partnerstwa z Huawei. Treść tego artykułu jest całkowicie niezależna i odzwierciedla jedynie opinię redakcyjną LaComparacion.

Udostępnij to