Zamiana filmu z 1896 roku na produkcję 4K przy 60 klatkach na sekundę wymaga podbicia rozdzielczości i liczny klatek i jest banalnie proste. Jednak jeśli chcemy przy tym zagwarantować wysoką jakość tego nagrania, to staje się to już wręcz tytaniczną pracą. Okazuje się jednak, że może nas w tym wyręczyć sztuczna inteligencja. Oczywiście wygenerowany obraz nie wygląda idealnie. Natomiast sam materiał źródłowy wciąż prezentuje się stosunkowo nieźle. Mimo to różnica jest wręcz miażdżąca.
AI poprawiła stary film
Denis Shiryaev przy pomocy sztucznej inteligencji dokonał poprawy jakości słynnego krótkometrażowego klipu braci Lumière z 1896 roku Arrival of a Train at La Ciotat. Zamienił go w film 4K, 60 FPS, który wygląda o wiele lepiej niż oryginał. Ten jest skromnym klipem o rozdzielczości 640 na 480 pikseli przy zaledwie 20 klatkach na sekundę. Denis wykorzystał mieszankę sieci neuronowych z Gigapixel AI i techniki zwanej głęboką interpolacją klatek wideo, aby nie tylko zwiększyć rozdzielczość obrazu, ale także zwiększyć jego szybkość klatek. Dzięki temu film wygląda dużo płynniej dla ludzkiego oka.
Zobacz też: Disney+ radzi sobie wyśmienicie! Czy Netflix ma się czego obawiać?
Gigapikselowa AI używana w procesie upscalingu została opracowana przez Topaz Labs i jest szkolona do wypełniania informacji w obrazie za pomocą wzorów i struktur z dużej puli obrazów źródłowych. Dodatkowo wyniki są porównywane z oryginałami. Umożliwia to więc nie tylko powiększenie obrazu, ale dodanie do niego nowych szczegółów wygenerowanych przez sztuczną inteligencję. Oczywiście wiąże się to z możliwością wprowadzania nieistniejących elementów. Z drugiej strony w takim filmie nie one są istotne, a przy okazji znacznie poprawia to odbiór materiału.
Źródło: TechSpot