Badacze Google wymyślili rozwiązanie, które mogłoby jednocześnie zautomatyzować proces modelowania 3D i poprawić jego wyniki. Ma ono wykorzystywać sieć neuronową, która będzie przetwarzała zdjęcia danych lokalizacji wykonane przez tłumy turystów. To umożliwi nie tylko oddanie przekonującego wyglądu obiektów w 3D, ale także prawidłowego dla danej lokalizacji oświetlenia. I to właśnie ono ma tutaj tak naprawdę kluczowe znaczenie.
Google NeRF-W
Ideą stojącą za neuronowymi polami promieniowania (NeRF) jest wydobycie trójwymiarowych danych głębi z obrazów 2D. Robi to poprzez określenie, gdzie kończą się promienie światła. Jest to dość wyrafinowana technika, która sama w sobie może tworzyć wiarygodne, teksturowane modele 3D punktów orientacyjnych. Google NeRF w systemie Wild (NeRF-W) idzie o krok dalej. I to na kilka sposobów. Po pierwsze, używa kolekcji zdjęć z sieci jako punktu wejścia. Tym samym rozszerza możliwości komputera do oglądania punktów orientacyjnych pod wieloma kątami. Następnie ocenia obrazy w celu znalezienia struktur, oddzielając fotograficzne i środowiskowe różnice, takie jak ekspozycja obrazu, oświetlenie sceny, post-processing i warunki pogodowe.
Zobacz też: Zmiany i zwolnienia w WarnerMedia dotkną DC i DC Universe
Określa nawet różnice pomiędzy obiektami, takimi jak ludzie. Jest to bardzo ważne. Ci bowiem zwykle są tylko na jednym zdjęciu i nie stanowią części obiektu. Następnie odtwarza sceny jako mieszaninę elementów statycznych — geometrii struktury i tekstur — z elementami przejściowymi, które zapewniają promieniowanie objętościowe. W rezultacie trójwymiarowe modele punktów orientacyjnych NeRF-W mogą być płynnie oglądane pod wieloma kątami bez rozmycia czy artefaktów. Dodatkowo system oświetleniowy wykorzystuje wykryte wariacje, aby zapewnić wskazówki dotyczące oświetlenia sceny i cieniowania. NeRF-W może również traktować różnice między obrazem a obiektem jako pole niepewności, eliminując je lub demaskując. Dla porównania NeRF pozwala na pojawianie się tych różnic jako artefaktów okluzyjnych w chmurach, ponieważ nie oddziela ich od struktur w trakcie przyjmowania obrazu.
Źródło: VentureBeat