Multimodális jellemzők fúziója új 3D szaliencia modellek kidolgozásához

 
2017. dec. 1. – 2019. nov. 30.
Külső azonosító
NKFIH KH-126688
Támogatás mértéke %
100
 

A projekt fő célja az egyre szélesebb alkalmazási területen elérhetővé váló 3D-s szenzorok (Microsoft Kinect, Lidar, MRI, CT, stb.) jeleit feldolgozva és fuzionálva a képi modalitások adataival olyan új szaliencia modellek kidolgozása, melyek képesek automatikusan és hatékonyan kiemelni a vizuális figyelmet vonzó régiókat. A hatékony modell nemcsak leszűkíti a keresési teret a további képfeldolgozási lépésekhez, de egyúttal felgyorsíthatja és pontosíthatja a képszegmentáció eredményét, különös tekintettel olyan különböző alkalmazási területekre, ahol 3D-s szenzorok rendelkezésre állnak, pl. távérzékelés, orvosi képelemzés, 3D rekonstrukció és videofelügyeleti rendszerek.

Összefoglaló:

Napjainkban a 2D-s érzékelők (kamerák, fényképezőgépek, stb.) mellett egyre inkább megjelennek a 3D-s szenzorok, melyek ma már a hétköznapi ember számára is elérhetőek (pl. Microsoft Kinect). Ezek az érzékelők olyan 3D-s információt is képesek rögzíteni, melyek a korábbi 2D-s kamerákkal nem voltak elérhetők. Ilyen fontos adatmodalitás például a mélységinformáció. A lényeges képi tartalom (ú.n. szaliencia) automatikus feltérképezése a gépi látás egyik alapkérdése, melynek célja automatikusan megbecsülni, hogy egy humán megfigyelő hova nézne a képeken, melyek a vizuális figyelmet vonzó területek. Ahhoz, hogy a lényeges képi tartalom modellezése hatékony legyen, az emberi látást is segítő jellemzőkre kell építeni: pl. egy 2D-s képen a szín/kontraszt szempontjából kiemelkedő területeket feltérképezni. Az emberi látásban hasonlóan fontos 3D-s jellemző a mélységinformáció, mely a fent említett új típusú szenzorokkal ma már gépi látásban is
rendelkezésre áll. A szín/kontraszt és mélység jellemzők fuzionálásával pontosabb automatikus becslés tehető, mely hozzásegít több képfeldolgozási lépés felgyorsításához és pontosításához. A 3D-s adatok egyre több alkalmazási területen érhetőek el, így pl. a távérzékelésben a Lidar szenzorok, a gyógyászatban az MRI, CT készülékekből származó adatok feldolgozását tudjuk segíteni az ilyen adatokat is beépítő, pontosabb szaliencia modellek kidolgozásával.

Szaliens képi objektum kontúrjának keresése.
Szaliens képi objektum kontúrjának keresése: (a) Eredeti kép; (b) Textúra alapú szaliencia detekció;               (c) Automatikusan meghatározott kezdőkontúr és szaliens ponthalmaz; (d) A szaliens objektum körvonala.

Részleg

Vezető

E-mail
kovacs.andrea@sztaki.mta.hu
Telefon
+36 1 279 6158