Tylko jeden aparat i świetne zdjęcia portretowe – jak robi to Pixel 2?

5 minut czytania
Komentarze

Smartfony cały czas się rozwijają. Jednak wyraźnych zmian nie widać, co zaznaczyłem w swoim artykule na temat elastycznych wyświetlaczy. W tym roku główne zmiany to bezramkowe ekrany o proporcjach 18:9 i podwójne aparaty. Wielu producentów na siłę montuje te elementy, co nie zawsze jest doceniane przez konsumentów. Co z tego, że smartfon posiada dodatkowy obiektyw, gdy w ogóle nie widać jego zalet? Google jest wyjątkiem. Firma postanowiła pozostać przy jednym aparacie, ale oferować większość funkcji charakterystycznych dla Samsunga Galaxy Note8, OnePlus 5, LG G6 i innych. Zabrakło optycznego zoomu, ale Pixele 2 mogą pochwalić się świetnym trybem portretowym.  Jak to możliwe przy użyciu jednego aparatu?

Konferencja amerykanów skupiła się wokół sztucznej inteligencji. To przyszłość według Google. Wraz z jej rozwojem i w połączeniu z maszynowym uczeniem otrzymujemy zupełnie nowe możliwości. Jedną z nich jest tryb portretowy. Zamiast stosować dodatkowy moduł aparatu, który ocenia głębię zdjęcia, firma postanowiła pozostawić to zadanie między innymi sztucznej inteligencji. To tylko jeden z wielu etapów przetwarzania zdjęć. Na potrzeby przystępności tekstu, skorzystałem z wielu uproszczeń.

Początkiem jest HDR+

HDR (High Dynamic Range) to nic innego jak – bazując na Wikipedii –  obraz o zakresie jasności (luminancji) porównywalnej do zakresu jasności widzianego przez człowieka. Zakres jasności definiowany jest jako stosunek najjaśniejszego punktu na obrazie do punktu najciemniejszego. W przypadku zdjęć ten tryb najczęściej sprawia, że ciemne obszary zdjęcia są rozjaśniane poprzez zastosowanie specjalnych algorytmów.

Lewa część – HDR+ wyłączone. Prawa część – HDR+ włączone.

Teoretycznie wykonywane są przynajmniej dwie fotografie – ze skupieniem na najciemniejszy i najjaśniejszy punkt – które następnie są ze sobą scalane. Rozwiązanie Google, HDR+, sprowadza się do robienia do 10 zdjęć, co pozwala na precyzyjne określenie jakości obrazu i uniknięciu prześwietleń.

Do gry wkracza sztuczna inteligencja

Po zrobieniu zdjęcia w trybie HDR+, oprogramowanie zaczyna je analizować. Sztuczna inteligencja ma za zadanie ocenić, który obszar powinien zostać rozmazany. Google już dawno udowodniło, że ich algorytmy są w stanie rozpoznawać ludzi, zwierzęta, kwiaty i inne przedmioty. Sieć neuronowa uczy się każdego zdjęcia, więc precyzja cały czas rośnie.

Proces analizy fotografii rozpoczyna się od wyróżnienia kluczowych kolorów i krawędzi obiektów. Następnie wyznaczane są obszar twarzy, charakterystyczne elementy, okulary, kapelusze. Rezultatem tego procesu jest ustalenie konturów przedmiotów na obrazie i wyznaczenie obszarów do rozmycia.

Dual Pixel z lustrzanek, czyli ostrość i głębia zdjęcia w smartfonach

Samsung Galaxy S7 i S7 Edge były pierwszymi w historii smartfonami, które wykorzystały technologię Dual Pixel. Dzisiaj wiele modeli chwali się tym rozwiązaniem – PDAF (Phase Detection Auto Focus). Jest to bardzo zaawansowany system automatycznej regulacji ostrości. Firmą, która odpowiedzialna jest za stworzenie Dual Pixel jest Canon, który swoją technologię opisuje następująco:

Wszystkie aktywne piksele na powierzchni matrycy CMOS składają się z dwóch fotodiod, z których dane są odczytywane niezależnie w kontekście pracy autofokusa z detekcją fazy i łącznie w przypadku przetwarzania obrazu. Technologia Dual Pixel CMOS AF jest skuteczna w zakresie ponad 80 procent wysokości i szerokości kadru Live View, a do tego bardzo precyzyjna, i to bez uszczerbku dla jakości obrazu.

W przeciwieństwie do innych metod automatycznej regulacji ostrości opartej na matrycy, które przypisują zadania autofokusa lub przetwarzania obrazu do określonych pikseli matrycy, w tym przypadku piksele matrycy wyposażonej w technologię Dual Pixel CMOS AF mogą obsługiwać dwie funkcje: przetwarzanie obrazu i autofokus z detekcją fazy. Dzięki temu nie jest potrzebna dodatkowa obróbka obrazu w przypadku pikseli przeznaczonych do obsługi funkcji AF. Zapewnia to szybką pracę autofokusa i maksymalną jakość obrazu podczas fotografowania i filmowania.

W celu wykonania detekcji fazy na płaszczyźnie obrazu dane z lewej i prawej fotodiody są odczytywane niezależnie. Różnica faz jest obliczana na podstawie niepokrywających się obrazów wynikowych.

Samsung i wiele innych firm wykorzystuje Dual Pixel/PDAF do szybkiego ustawiania ostrości. Google znalazło inne zastosowanie dwóch fotodiod. Zbierają one niemalże te same informacje, ale pod innym kątem. Google na bazie subtelnych różnic w odczytach fotodiod jest w stanie stworzyć mapę głębi zdjęcia.

W końcu wyróżnienie fotografowanego obiektu poprzez kontury nie przyniosłoby oczekiwanego efektu. Widoczny na zdjęciu stół również zostałby zamazany. Problem ten eliminuje technologia PDAF dzięki precyzyjnemu określeniu odległości obiektów.

HDR+, rozpoznanie fotografowanego obiektu, mapa głębi, a na koniec tradycyjne rozmycie

Znając już tak dużo szczegółów na temat jednego zdjęcia, Pixele są w stanie cyfrowo rozmazać obszar znajdujący się w tle. Efekt końcowy trybu portretowego jest naprawdę imponujący. Szczególnie, że cały proces może trwać ułamek sekundy. To robi wrażenie.

Zobacz też: Apple może uruchomić nową usługę w Polsce!

Poniżej możecie obejrzeć zdjęcia wykonane w trybie portretowym za pomocą najnowszych Pixeli. Zostały one udostępnione przez Google, ale pierwsze recenzje tych smartfonów wskazują, że nie ma mowy o żadnym oszustwie.

Tymczasem czekamy, aż Amerykanie wydadzą Androida 8.1 Oreo. Wtedy dowiemy się, co wprowadza dedykowany układ Pixel Visual Core.

źródło: Phone Arena, Wikipedia, Canon, Samsung, Google

Motyw