Un nou pas in stiinta fotografiei: Reconstructia camerelor cu ajutorul imaginilor oferite de reflexiile de pe ochiul uman

In domeniul fotografiei e mereu loc de inovatie si de descoperiri, de tehnologii noi. Daca pana acum reconstruiam fel de fel de imagini pornind de la cele mai complicate detalii si aspecte din jurul nostru, de la fotografii vechi sau anumite reflexii de la nivelul unor geamuri, sa spunem, in prezent, stiinta a avansat atat de mult incat putem reconstrui camere intregi doar… privind pe cineva in ochi. Reflexiile de pe ochiul uman, care apar imediat ce ne indreptam privirea intr-o directie anume, ne vor ajuta pe viitor sa avem o munca mai simpla in privinta reconstruirii unor scene 3D fara prea multa aparatura sofisticata cu noi.

Ochiul uman este un organ uimitor. Ne ajuta sa vedem, sa interpretam realitatea din jurul nostru, cu ajutorul vederii putem analiza tot ce se intampla in jurul nostru si putem sa luam deciziile corecte, sa ne ferim de anumite obstacolelor. Reflexia obiectelor pe ochiul uman este naturala si se intampla fara sa ne propunem asa ceva. Lumina reflectata de un obiect ajunge pe suprafata ochiului, este detectata de retina, se formeaza o imagine clara daca ne uitam de aproape la ea.

Este stiut deja ca o sursa de lumina care atinge un obiect, se reflecta o parte din lumina incidenta in toate directiile. Dar daca obiectul e deja in campul vizual al ochiului, lumina reflectata de obiect ajunge la ochi. Daca lumina ajunge fix pe cornee, ea va fi curbata, focalizata in interiorul ochiului. Lumina ce ajunge pe retina este prelucrata si interpretata, apare o imagine formata de obicei, se combina imaginile de la ambii ochi si avem deja imaginea tridimensionala la ceea ce se afla in fata noastra.

Un experiment banal iti va demonstra cum arata reflexia obiectelor din fata ta pe ochi. Te apropii de un prieten si te uiti fix in ochii lui. Vei vedea o reflectie curbata a fetei tale, a tot ce se afla in jurul tau, fereastra, banca, poate un copac. Ochii actioneaza atunci ca niste oglinzi ce reflecta exact ce se afla in fata ta.

O echipa de cercetarori de la Universitatea din Maryland a dezvoltat o metoda bazata pe Ai pentru a reconstrui scene complexe si obiecte 3D doar din reflexiile de la nivelul ochiului uman, de pe suprafata sa. Desi te gandesti ca e usor sa refaci realitatea 3D doar cu ajutor unei reflexii de pe ochiul uman, in realitate sunt doua probleme ce intervin.

Este greu sa estimezi pozitia ochilor si fotografia de acolo, cam cum a aparut, deci e foarte dificil sa reconstruiesti o scena doar pe baza acelei reflexii. Ochiul uman si irisul, textura sa interactioneaza intr-un mod complex cu reflexiile de pe ochiul uman. Reflexiile pot fi afectate de texturile ochiului, ce se afla sub partea pe care o vedem la exterior.

Geometria corneei este cam la fel la toti adultii. Daca se masoara marimea pixelilor imaginii aparute pe ochiul uman ca reflexie a realitatii se va calcula fix locul unde se afla ochii la un moment dat. Se obtin in laborator reflexii aproximative care seamana foarte bine cu ce se intampla pe ochiul uman, „aruncand” raze dinspre camera spre dispozitivele de testare. Ca sa nu vezi si irisul in fotografii se prelucreaza pozele astfel obtinute prin descompunerea texturii si prin obtinerea si „antrenarea” unei harti pentru textura 2D care invata textura irisului. Toate cercetarile din prezent se bazeaza pe cele anterioare bazate pe campul de radiatie neural NeRF si tehnologia aferenta-se pornea de la input 2D pentru a recrea scene 3D.

Ca sa treaca de iris si de cornee, de texturile lor si sa le scoata din pozele finale oamenii de stiinta au estimat textura ochiului uman, au transalatat forma reflexiei pe o cornee tipica intr-o perspectiva naturala tipica. In lumea reala s-a reusit reconstruirea unei camere intregi 3D doar din reflexiile aparute pe ochi. Da, nu e o rezolutie uimitoare la pozele obtinute, dar inceputul e foarte promitator.

Reflexiile au insa rezolutie mica, mai intervine si „zgomotul” de la localizarea corneei, complexitatea texturilor irisului, asa ca e mult de lucru pana la perfectiune. S-au facut optimizari ale fotografiilor, ale modului in care ar putea fi reflectata imaginea la nivel de cornee, s-a imbunatatit si modul de reconstruire a imaginii in momentul in care omul isi misca si capul, metodele NeRF foloseau o miscare tipica pentru camera in locul miscarii subiectului.

Daca subiectii misca si capul intr-o parte si alta deja imaginea captata de pe reflexie e mult mai buna, datele captate sunt mai multe, apar mai multe detalii. Viitorul suna foarte bine cel putin in aceasta faza a cercetarii, asa ca s-ar putea sa vedem tot mai des reconstructii de scene si chiar evenimente 3D doar cu ajutorul reflexiei de la nivelul ochiului uman. E atat de simplu si pana acum nimeni nu s-a gandit la asa ceva.. Bine ca s-au gandit cercetatorii de la Maryland…