Multimodális jellemzők fúziója új 3D szaliencia modellek kidolgozásához

 
2017. dec. 1. – 2019. nov. 30.
Külső azonosító
NKFIH KH-126688
Támogatás mértéke %
100
 

A projekt fő célja az egyre szélesebb alkalmazási területen elérhetővé váló 3D-s szenzorok (Microsoft Kinect, Lidar, MRI, CT, stb.) jeleit feldolgozva és fuzionálva a képi modalitások adataival olyan új szaliencia modellek kidolgozása, melyek képesek automatikusan és hatékonyan kiemelni a vizuális figyelmet vonzó régiókat. A hatékony modell nemcsak leszűkíti a keresési teret a további képfeldolgozási lépésekhez, de egyúttal felgyorsíthatja és pontosíthatja a képszegmentáció eredményét, különös tekintettel olyan különböző alkalmazási területekre, ahol 3D-s szenzorok rendelkezésre állnak, pl. távérzékelés, orvosi képelemzés, 3D rekonstrukció és videofelügyeleti rendszerek.

A projekt első évében két alkalmazási területen végeztünk kutatásokat.

Szaliencia alapú célpont felismerési eljárást dolgoztunk ki passzív radar (ISAR) képekre, illetve a felismerés eredményét felhasználva egy klasszifikációs lépéssel azonosítottuk a célpont objektumot. A célpontok - szaliens objektumként kezelve -, a viszonylag zajos képeken hatékonyan kiemelhetőek és a kiválasztott képi jellemzőkkel hatékony reprezentációt biztosítanak a sikeres klasszifikáció megvalósításához.

Montázs ISAR képek.
Szaliencia alapú célpont felismerés ISAR képeken: (a) Eredeti ISAR felvétel; (b) Méret szerint újraskálázott felvétel; (c) Bemeneti kép; (d) A kinyert szaliens objektum; (e) A kinyert objektum becsült hossza. Forrás: [3].

 

Agyi MRI illetve hasi CT felvételek tartalom alapú feldolgozása, szaliencia információ és konvolúciós neurális hálózatok fúziójával. Az agyi MRI felvételeken kóros elváltozások automatikus kiemelésére dolgoztunk ki szaliencia alapú modellt, a hasi CT-k esetén a máj automatikus körvonalázására tettünk kísérletet. Mindkét esetben a detekció eredményét konvolúciós neurális hálózatok predikciós maszkjaival fúzionáltuk a teljesítmény további javítására. A kidolgozott eljárás egyesíti a két megközelítés előnyeit: a háló által felhasznált prior tudást ötvözi a varianciát jobban kezelő, adaptálhatóságot biztosító „handcrafted” leírókkal. 

Tumor detekció montázs
Szaliencia alapú tumor detekció agyi MRI felvételeken: (a) Eredeti FLAIR szelet; (b) Konvolúciós neurális hálózat (U-Net) predikciós kimenete; (c) Kiszámított szaliencia térkép; (d) Fúzió után kapott detekció; (e) Referencia eredmény. Forrás: [4].

Publikációk:

[1] A. Manno-Kovacs, E. Giusti, F. Berizzi, L. Kovács, "Automatic Target Classification in Passive ISAR Range-Crossrange Images", 2018 IEEE Radar Conference (RadarConf'18), Oklahoma City, USA, April 23-27, 2018.

[2] A. Manno-Kovacs, "Direction Selective Contour Detection for Salient Objects", IEEE Transactions on Circuits and Systems for Video Technology, https://ieeexplore.ieee.org/document/8288650, accepted, 2019.

[3] A. Manno-Kovacs, E. Giusti, F. Berizzi, L. Kovács, "Image Based Robust Target Classification for Passive ISAR", IEEE Sensors Journal, vol. 19., no. 1., pp. 268-276, 2019. https://ieeexplore.ieee.org/document/8501978

[4] P. Takacs and A. Manno-Kovacs, "MRI Brain Tumor Segmentation Combining Saliency and Convolutional Network Features", 16th International Conference on Content-Based Multimedia Indexing (CBMI), La Rochelle, France, September 4-6, 2018.

[5] A. Kriston, V. Czipczer, A. Manno-⁠Kovács, L. Kovács, Cs. Benedek and T. Szirányi, “Segmentation of multiple organs in Computed Tomography and Magnetic Resonance Imaging measurements”, 4th International Interdisciplinary 3D Conference, Pécs, Hungary, October 5-6, 2018.

Részleg

Vezető

E-mail
kovacs.andrea@sztaki.mta.hu
Telefon
+36 1 279 6158