No objekta atspulga var iegūt vērtīgu un bieži vien slēptu informāciju par cilvēka tuvāko apkārtni. Pārvēršot tās par kamerām, var veikt iepriekš neiedomājamus varoņdarbus, piemēram, skatīties cauri sienām vai debesīs. Tas ir sarežģīti, jo atspulgu ietekmē daudzi faktori, tostarp objekta ģeometrija, materiāla īpašības, 3D vide un novērotāja skatījums. Dekonstruējot objekta ģeometriju un iekšēji izgaismojot to no spožā starojuma, kas no tā atstarojas, cilvēki var iegūt dziļas norādes un secinājumus par apkārtējās vides aptvertajām daļām.
Datorredzes pētnieki MIT un Rice ir izstrādājuši veidu, kā izmantot atspulgus, lai radītu reālās vides attēlus. Izmantojot atspulgus, tie pārvērš spīdīgus objektus par “kamerām”, radot iespaidu, ka lietotājs skatās uz pasauli caur tādu parastu priekšmetu kā keramikas kafijas krūze vai metāla papīra svaru “lēcas”.
Pētnieku izmantotā metode ietver nenoteiktas ģeometrijas spilgtu objektu pārvēršanu radiācijas lauka kamerās. Galvenā ideja ir izmantot objekta virsmu kā digitālu sensoru, lai fiksētu no apkārtējās vides atstarotās gaismas divās dimensijās.
Pētnieki skaidro, ka jaunā skata sintēze sniedz jaunas perspektīvas, kas ir tieši redzamas tikai spilgtajam objektam ainā, bet ne novērotājam, pateicoties vides radiācijas lauku atjaunošanai. Turklāt mēs varam iedomāties aglodrātus, ko ģenerē tuvumā esošie objekti, izmantojot starojuma lauku. Pētnieku izstrādātā metode tiek mācīta pilnībā, izmantojot vairākas objekta fotogrāfijas, lai vienlaikus novērtētu tā ģeometriju, difūzo starojumu un 5D vides starojuma lauku.
Pētījuma mērķis ir atdalīt objektu no tā atspulga, lai objekts “redzētu” pasauli tā, it kā tā būtu kamera, un ierakstītu apkārtējo vidi. Datorredze kādu laiku ir cīnījusies ar atspīdumiem, jo tie ir izkropļots nezināmas formas 3D ainas 2D attēls.
Pētnieki modelē objekta virsmu kā virtuālu sensoru un savāc 5D vides starojuma lauka divdimensiju projekciju ap objektu, lai izveidotu trīsdimensiju pasaules attēlojumu, kā to redz objekts. Lielāko daļu vides starojuma lauka bloķē, izņemot objekta atspulgus. Ārpus redzes lauka, romāna attēlojuma sintezēšana vai jaunu perspektīvu prezentēšana, kas ir tieši redzami tikai spilgtajam objektam ainas, bet ne novērotājam, ir iespējama, izmantojot vides starojuma laukus, kas arī ļauj lai novērtētu dziļumu un spilgtumu no objekta līdz tā apkārtnei.
Īsāk sakot, komanda rīkojās šādi:
- Tie parāda, kā klusās virsmas var pārvērst virtuālos sensoros ar iespēju uzņemt 3D attēlus no to vides, izmantojot tikai virtuālos konusus.
- Kopā viņi aprēķina objekta 5D apkārtējo starojuma lauku un novērtē tā difūzo starojumu.
- Tie parāda, kā izmantot apkārtējās vides gaismas lauku, lai radītu jaunas, cilvēka acīm neredzamas perspektīvas.
Šī projekta mērķis ir rekonstruēt okeāna piecdimensiju starojuma lauku no daudzām fotogrāfijām, kurās redzams nezināmas formas spilgts elements un albedo. Atspīdums no atstarojošām virsmām atklāj ainas elementus ārpus redzes lauka. Konkrēti, spilgtā objekta virsmas noteikumi un izliekums nosaka, kā novērotāja attēli tiek kartēti uz reālo pasauli.
Pētniekiem var būt nepieciešama precīzāka informācija par atspoguļotā objekta formu vai realitāti, kas veicina izkropļojumus. Ir iespējams arī, ka spīdīga objekta krāsa un faktūra saplūst ar atspulgiem. Turklāt atstarotajās ainās nav viegli saskatīt dziļumu, jo atspulgi ir trīsdimensiju vides divdimensiju projekcijas.
Pētnieku komanda pārvarēja šos šķēršļus. Viņi sāk, fotografējot spīdīgo objektu no dažādiem leņķiem, tverot dažādus atspulgus. Orca (Objects Like Radiance-Field Cameras) ir to trīs posmu procesa akronīms.
Orca var ierakstīt vairāku skatu atspulgus, attēlojot objektu no dažādiem leņķiem, kurus pēc tam izmanto, lai novērtētu dziļumu starp spilgto objektu un citiem objektiem ainā, kā arī paša spilgtā objekta formu. Plašāku informāciju par gaismas staru stiprumu un virzienu, kas nāk no katra attēla punkta un sasniedz katru attēla punktu, tver ORCa 5D starojuma lauka modelis. Pateicoties datiem šajā 5D starojuma laukā, Orca var veikt precīzākus dziļuma aprēķinus. Tā kā aina tiek renderēta kā 5D starojuma lauks, nevis 2D attēls, lietotājs var redzēt detaļas, kuras varētu aizklāt leņķi vai citi šķēršļi. Pētnieki skaidro, ka, tiklīdz ORCa ir savācis 5D starojuma lauku, lietotājs var novietot virtuālo kameru jebkurā vietā un izveidot sintētisko attēlu, ko kamera radīs. Lietotājs var arī mainīt priekšmeta izskatu, piemēram, no keramikas uz metālu, vai iekļaut ainā virtuālus objektus.
Paplašinot radiācijas lauka definīciju ārpus tradicionālā redzamības lauka starojuma lauka, pētnieki var pavērt jaunas iespējas vides un tajā esošo objektu izpētei. Izmantojot projicētos virtuālos platumus un dziļumus, darbs var pavērt iespējas virtuālo objektu ievietošanā un 3D uztverē, piemēram, ekstrapolējot informāciju ārpus kameras redzes lauka.
skenēt papīrs Un Projekta lapa. Neaizmirsti pievienoties 22 k+ML Sub RedditUn nesaskaņu kanālsUn Un E-pasta biļetens, kurā mēs dalāmies ar jaunākajām AI pētniecības ziņām, lieliskiem AI projektiem un daudz ko citu. Ja jums ir kādi jautājumi par iepriekš minēto rakstu vai ja mēs kaut ko esam palaiduši garām, lūdzu, rakstiet mums uz e-pastu [email protected]
🚀 Apskatiet 100. gadu AI rīkus AI rīku klubā
Dhanshree Shenwai ir datorzinātņu inženieris ar ievērojamu pieredzi FinTech uzņēmumos, kas aptver finanšu, karšu, maksājumu un banku darbības jomas, ar lielu interesi par AI lietojumprogrammām. Viņa aizraujas ar jaunu tehnoloģiju izpēti un attīstību mūsdienu mainīgajā pasaulē, kas atvieglo ikviena dzīvi.
