Smartfony cały czas się rozwijają. Jednak wyraźnych zmian nie widać, co zaznaczyłem w swoim artykule na temat elastycznych wyświetlaczy. W tym roku główne zmiany to bezramkowe ekrany o proporcjach 18:9 i podwójne aparaty. Wielu producentów na siłę montuje te elementy, co nie zawsze jest doceniane przez konsumentów. Co z tego, że smartfon posiada dodatkowy obiektyw, gdy w ogóle nie widać jego zalet? Google jest wyjątkiem. Firma postanowiła pozostać przy jednym aparacie, ale oferować większość funkcji charakterystycznych dla Samsunga Galaxy Note8, OnePlus 5, LG G6 i innych. Zabrakło optycznego zoomu, ale Pixele 2 mogą pochwalić się świetnym trybem portretowym. Jak to możliwe przy użyciu jednego aparatu?
Konferencja amerykanów skupiła się wokół sztucznej inteligencji. To przyszłość według Google. Wraz z jej rozwojem i w połączeniu z maszynowym uczeniem otrzymujemy zupełnie nowe możliwości. Jedną z nich jest tryb portretowy. Zamiast stosować dodatkowy moduł aparatu, który ocenia głębię zdjęcia, firma postanowiła pozostawić to zadanie między innymi sztucznej inteligencji. To tylko jeden z wielu etapów przetwarzania zdjęć. Na potrzeby przystępności tekstu, skorzystałem z wielu uproszczeń.
Początkiem jest HDR+
HDR (High Dynamic Range) to nic innego jak – bazując na Wikipedii – obraz o zakresie jasności (luminancji) porównywalnej do zakresu jasności widzianego przez człowieka. Zakres jasności definiowany jest jako stosunek najjaśniejszego punktu na obrazie do punktu najciemniejszego. W przypadku zdjęć ten tryb najczęściej sprawia, że ciemne obszary zdjęcia są rozjaśniane poprzez zastosowanie specjalnych algorytmów.
Teoretycznie wykonywane są przynajmniej dwie fotografie – ze skupieniem na najciemniejszy i najjaśniejszy punkt – które następnie są ze sobą scalane. Rozwiązanie Google, HDR+, sprowadza się do robienia do 10 zdjęć, co pozwala na precyzyjne określenie jakości obrazu i uniknięciu prześwietleń.
Do gry wkracza sztuczna inteligencja
Po zrobieniu zdjęcia w trybie HDR+, oprogramowanie zaczyna je analizować. Sztuczna inteligencja ma za zadanie ocenić, który obszar powinien zostać rozmazany. Google już dawno udowodniło, że ich algorytmy są w stanie rozpoznawać ludzi, zwierzęta, kwiaty i inne przedmioty. Sieć neuronowa uczy się każdego zdjęcia, więc precyzja cały czas rośnie.
Proces analizy fotografii rozpoczyna się od wyróżnienia kluczowych kolorów i krawędzi obiektów. Następnie wyznaczane są obszar twarzy, charakterystyczne elementy, okulary, kapelusze. Rezultatem tego procesu jest ustalenie konturów przedmiotów na obrazie i wyznaczenie obszarów do rozmycia.
Dual Pixel z lustrzanek, czyli ostrość i głębia zdjęcia w smartfonach
Samsung Galaxy S7 i S7 Edge były pierwszymi w historii smartfonami, które wykorzystały technologię Dual Pixel. Dzisiaj wiele modeli chwali się tym rozwiązaniem – PDAF (Phase Detection Auto Focus). Jest to bardzo zaawansowany system automatycznej regulacji ostrości. Firmą, która odpowiedzialna jest za stworzenie Dual Pixel jest Canon, który swoją technologię opisuje następująco:
Wszystkie aktywne piksele na powierzchni matrycy CMOS składają się z dwóch fotodiod, z których dane są odczytywane niezależnie w kontekście pracy autofokusa z detekcją fazy i łącznie w przypadku przetwarzania obrazu. Technologia Dual Pixel CMOS AF jest skuteczna w zakresie ponad 80 procent wysokości i szerokości kadru Live View, a do tego bardzo precyzyjna, i to bez uszczerbku dla jakości obrazu.
W przeciwieństwie do innych metod automatycznej regulacji ostrości opartej na matrycy, które przypisują zadania autofokusa lub przetwarzania obrazu do określonych pikseli matrycy, w tym przypadku piksele matrycy wyposażonej w technologię Dual Pixel CMOS AF mogą obsługiwać dwie funkcje: przetwarzanie obrazu i autofokus z detekcją fazy. Dzięki temu nie jest potrzebna dodatkowa obróbka obrazu w przypadku pikseli przeznaczonych do obsługi funkcji AF. Zapewnia to szybką pracę autofokusa i maksymalną jakość obrazu podczas fotografowania i filmowania.
W celu wykonania detekcji fazy na płaszczyźnie obrazu dane z lewej i prawej fotodiody są odczytywane niezależnie. Różnica faz jest obliczana na podstawie niepokrywających się obrazów wynikowych.
Samsung i wiele innych firm wykorzystuje Dual Pixel/PDAF do szybkiego ustawiania ostrości. Google znalazło inne zastosowanie dwóch fotodiod. Zbierają one niemalże te same informacje, ale pod innym kątem. Google na bazie subtelnych różnic w odczytach fotodiod jest w stanie stworzyć mapę głębi zdjęcia.
W końcu wyróżnienie fotografowanego obiektu poprzez kontury nie przyniosłoby oczekiwanego efektu. Widoczny na zdjęciu stół również zostałby zamazany. Problem ten eliminuje technologia PDAF dzięki precyzyjnemu określeniu odległości obiektów.
HDR+, rozpoznanie fotografowanego obiektu, mapa głębi, a na koniec tradycyjne rozmycie
Znając już tak dużo szczegółów na temat jednego zdjęcia, Pixele są w stanie cyfrowo rozmazać obszar znajdujący się w tle. Efekt końcowy trybu portretowego jest naprawdę imponujący. Szczególnie, że cały proces może trwać ułamek sekundy. To robi wrażenie.
Zobacz też: Apple może uruchomić nową usługę w Polsce!
Poniżej możecie obejrzeć zdjęcia wykonane w trybie portretowym za pomocą najnowszych Pixeli. Zostały one udostępnione przez Google, ale pierwsze recenzje tych smartfonów wskazują, że nie ma mowy o żadnym oszustwie.
Tymczasem czekamy, aż Amerykanie wydadzą Androida 8.1 Oreo. Wtedy dowiemy się, co wprowadza dedykowany układ Pixel Visual Core.
źródło: Phone Arena, Wikipedia, Canon, Samsung, Google