Modelul generativ care poate construi imagini 3D fotorealiste in timp real este realitate

De multi ani vizualizarea 3D a fost foarte utila atunci cand s-a dorit crearea unor forme realiste, vizuale apartinand unui produs. Prin vizualizarea 3D s-a incercat gasirea unor modalitati cat mai bune de simulare eficienta si detaliata a unor caracteristici cheie ale unui proiect, produs. Vizualizarea fotorealista 3D are mai multe etape, cea mai importanta fiind randarea. Este procesul de creare a unor imagini detaliate si realiste pornind de la un model 3D digital. Cu ajutorul sau stii cum va arata un produs, un prototip si in realitate pana sa il vezi realizat. Recent insa oamenii de stiinta au dezvoltat un model generativ 3D care reuseste sa creeze imagini fotorealiste cu o rezolutie uriasa in stransa legatura cu imagini 2D nestructurate.

Daca in trecut era suficient sa poti face o fotografie cu un aparat foto, acum, cand totul e digital si posibilitatile de procesare si prelucrare sunt uriase se trece rapid dincolo de fotografia banala si se incearca obtinerea unui realism mult mai mare in fotografii prin diverse metode. Imaginea 3D fotorealista este una dintre cele mai interesante tipuri de imagini studiate si imbunatatite in urma diverselor cercetari realizate.

Imaginile 3D fotorealiste sunt folosite adesea la conferinte, la prezentari si la expozitii. Si in cazul imaginilor 3D fotorealiste, si in cazul randarii pornind de la model 3D digitale fotografiile seamana la inceput foarte mult cu o fotografie normala, facuta cu un aparat foto normal, doar ca e foarte greu sa distingi in compartie cu realitatea. Aici intervine randarea si anumite motoare de randare. Imaginile 3D perfecte sunt rezultatul unei combinatii de editare, procesare, lumina atent aleasa si texturi aduse in atentia ochiului avizat.

Dar cercetarorii de la Institutul de Informatica Max Planck si de la Universitatea din Hong Kong au dezvoltat StyleNeRF, modelul generativ 3D care permite de acum obtinerea unor fotografii excelente 3D realiste fara prea mare efort. Modelul este capabil sa sintetizeze imaginile cu o consistenta/densitate tip multi-view, spre deosebire de metodele folosite pana acum care incercau sa obtina o imagine cu o rezolutie mare cu detalii foarte fine sau sa obtina artefacte 3D inconsistente. StyleNeRF poate sa ofere imagini eficiente si mai consistente datorita integrarii NeRF (camp radiant neural) intr-un generator special. Modelele generative „forteaza” structuri 3D prin incorporarea NeRF. Dar nu se poate sintetiza o imagine cu rezolutie foarte mare care sa aiba si detalii foarte fine surprinse din cauza procesului de generare pe computer a procesului implicat de NeRF, care e prea scump.

Conform oamenilor de stiinta implicati in acest proiect ambitios, se realizeaza randare bazata pe volum doar pentru a produce o mapare cu o rezolutie scazuta si pentru a aplica proceduri avansate in 2D pentru corectarea problemelor de fond ale modelului, detaliile foarte fine care se doresc a fi vazute in fotografiile realiste 3D. Problema inconsistentei supraesantionarii 2D se folosesc diverse tipuri de design.

StyleNeRF permite controlul camerei 3D si control unor atribute legate de stil, incorporand reprezentari 3D ale scenelor fotografiate intr-un model generativ bazat pe stil. Asa se obtin perspectiva la care nici nu te gandesti in cazul fotografiilor, putandu-se ajunge la un zoom mai bun, mai clar, la inversiuni mai simple.

Combinarea stilurilor e simpla: imaginile au fost generate prin copierea unor stiluri specifice din sursa B in sursa A. Toate imaginile au fost randate pornind de la aceeasi camera foto. In cazul interpolarii stilurilor s-au interpolat doua seturi de stiluri vectoriale in timp ce a fost rotit aparatul foto.

Modelul stie sa foloseasca imagini din lumea reala, nestructurate. Imbunatatirea modelului imbunatateste si stabilitatea intregului proces. Sistemul a fost prezentat si intr-un video interesant, in care vedem modelul folosit pentru combinarea a doua imagini intr-una singura pentru a crea una noua care ar putea fi „reglata” cu mare finete foarte rapid si suporta anumite unghiuri de vizualizare unice care nu apar in niciuna dintre cele doua imagini originale folosite pentru input, crearea imaginii noi.

Pe viitor, aplicatiile unui astfel de model si ale modelarii in universul fotografiei vor depasi cu mult bariera impusa de acest domeniu si vor fi utilizate si in alte sectoare, de exemplu in medicina, in imagistica, de ce nu. Pana atunci nu ne ramane decat sa speram ca toate cercetarile pornite si evolutiile notabile pe care le vedem mereu vor contribui la modele generative si la noi tipuri de aplicatii ale fotografiilor 3D fotorealiste dincolo de ce poate sa isi doreasca un fotograf pasionat sau unul profesionist. Oricum primul pas a fost facut cu acest nou tip de model generativ pentru imagini 3D fotorealiste, asa ca putem spera la o evolutie si mai buna a tehnologiei pe viitor si la cercetari din ce in ce mai ambitioase, cu rezultate foarte bune mereu, asta daca exista si bugete pe masura si interes, desigur.