Sok ember életét határozza meg a folyamatos video-folyam, miközben környezetünkben is egyre több kamera települ. Egyrészt szükség van a video-anyag értékelésére, besorolására, másrészt a számunkra érdekes részletek visszakeresésére, vagy a video felügyeleti rendszerekben az érdemleges események azonosítására. Mindez szükségessé teszi a video események jellegének automatikus felismerését és az archiválás, illetve figyelmeztetés esetére az indexelését.

A jelenleg alkalmazott eljárások a video-indexálás területén csak alacsonyszintű tulajdonságokat mérnek. Eddigi munkáink, amiben filmek digitális felújítása illetve video felügyeleti képek értelmezése a cél, olyan hátteret adnak, amelyek alapján a jelenetek automatikus csoportosítása is lehetővé válik. Ezen munkákat átültethetjük a video-megfigyelés eltérő körülményei (nincsen rendezői elv a beállításban) közé is, de ehhez eseménysor-analízis és magas-szintű tanítási eljárások kidolgozására, valamint a jelenetek szemantikai leírására van szükség.

A kidolgozott eljárásokat beépítjük kereskedelembe bocsátott kamerarendszerekbe, valamint lehetővé tesszük a műsoros video-indexelési alkalmazások támogatását is.

A tervezett feladatok rövid ismertetése:

A videókkal kapcsolatos alkalmazásokban az események kategorizálása és ezen keresztül az indexálása függ az alkalmazástól is, hiszen egy rendezett film jeleneteinek a besorolása sokkal könnyebb is lehet, mint egy utcai jelenet kiértékelése. Ugyanis a rendezői elvek éppen azon alapulnak, hogy a lényeget észrevegyük, míg egy szokványos utcai felvételen keresni kell a lényegeset, ha van.

A rendezett filmes és a spontán megfigyelt esetek között azonban van hasznos átmenet. Ha a rendezői elveket sikerült beépíteni a kategorizálásba, akkor kísérletet tehetünk a spontán eseménysor elemeire becslést tenni a sztochasztikus idősor-analízis olyan optimalizálásával, hogy a színteret a rendezői elveknek megfelelő strukturált felállásba transzformáljuk.

A munka során az alábbi fontosabb feladatokat kívánjuk megoldani:

Rendezői modellek algoritmikus kidolgozása
Biometrikai jellemzők beállított jeleneteknél
XML jelenetleírás video adatbázisok alapján csoportosítva
XML jelenetleírás tesztelése video adatbázison
Video-megfigyelés képsorainak HMM modellezése és kategorizálása
Video-megfigyelés besorolásának tesztelése
XML adatbázisok alapján szemantikus értelmezési nyelv kialakítása
Öntanuló osztályozási programok tesztelése
XML leírások és a keretrendszer tesztelése

Rövid Összefoglaló

A munka összetevői:

A munka elvégzésének feltétele volt számos, önmagában is munkaigényes rutinfeladat megoldása:

Videófelvételek kézi annotációja:

Rendezési elvvel bíró felvételek, mint sportesemények;
Utcai felvételek;

Képi tulajdonságok és eseményleíró paraméterek leprogramozása, tesztelése;
Jellmezők tesztelése és válogatása videó adatbázisokon;
Annotációs keresés problémáinak kezelése kötött szavas (kb. rendezett) és szabad szavas (pl. köztéri beszámolók) formában;
Beágyazott számítógépes megoldások algoritmikus problémái, feladatok átfogalmazása.

A munka kimenetét befolyásoló szakmai döntések:

1. Filmes adatbázisok eredményeinek beépítése

Az indulásnál a hangsúly inkább az annotált filmes adatbázisok feldolgozásán volt. Ebben a hátteret a jelenetek automatikus csoportosítását is lehetővé tevő filmes adatbázisok és részletes annotációs bejegyzéseik rendelkezésre állása jelentette volna, aminek költsége messze túlmutat a jelen projekt lehetőségein.A Filmarchívum ezen tevékenységének kiszervezése, és a digitális filmjavítás /digitálius filmjegyzet készítés tevékenység időleges szüneteltetése miatt saját videóannotációs adatbázist kellett létrehozni: sport, játékfilmes és köztéri felvételekből. A projekt elején megvizsgáltuk a rendezői elvek alkalmazhatóságát, amit később három fő szempontra szűkítettünk: főszereplő (fókuszált objektum) megtalálása, kameramozgás kompenzációja és a résztvevők sztochasztikus kölcsönhhatásai.

2. Beépítés speciális hardveres eszközökbe

A videóesemények annotációja és a videószűrés jelenleg a szakma egyik nagy kihívása. Jelen projektben fontos eredményeket értünk el ezen a területen is. A hardveres megvalósítás két helyen: videómegfigyelés céljaira szolgáló intelligens kamera-rendszerekben, valamint az úgynevezett set-top-box TV-vevő egységek hardverében képzelhető el. Az intelligens kameraegységbe való beépítést előkészítettük (Analogic Kft. hardver terméke), míg a set-top-box felprogramozhatóságát tanulmány szinten megvizsgáltuk és a piaci trendektől függ a továbblépés. Egyrészt, terjedőben van az eleve annotált (digitális) TV adások továbbítása, másrészt a set-top-box-ok rendszervédelme és korlátozott programozhatósága kockázatossá teszi egy célhardver kifejlesztését és piacra dobását, ami eleve nem volt a jelen projekt célja. A projekt során kifejlesztett gépi tulajdonságkinyerő rutinokban cél volt a valós idejű futtathatóság és algoritmikus kompatibilitás.

3. Jelenet paraméterek és biometrikai jellemzők mérése

A videó események mérése során az alkalmazható leíró paraméterek halmaza a jelenettől függően változik. Biometrikai jellemzők (arc, mozgás, grimasz) mérésére, ezek adatbázisba vitelére csak ritkán van alkalom, és a feladat szempontjából kevésbé jellemzőek. A projekt során végzett nagyszámú kísérlet azt mutatta, hogy a bőrszín vagy tárgy/árnyék jellemzők hasznosabbak, mint pl. a járás detektálása, amit szintén megoldottunk. A rendezői elvek közül a fókuszált cél-objektum jó leírónak bizonyult, de valós időben nehezen használható. A lekérdezésnél meghívott paraméterek alapján válik el, hogy a leíró paraméterek közül melyeket használjuk az adott esetben. Az annotációs adatbázis generálása és a visszakereső program külön futtatható, köztük a kapcsolatot az adatbázis interfésze jelenti.

Főbb eredmények

A korábbi jelentések és a jelen 3. munkabeszámoló részletesen tartalmazza a kidolgozott elméletileg új algoritmusok és az elkészített szoftverek leírását:

· Új algoritmusok:

1. Kép fókuszált területei alapján visszakeresési eljárás kidolgozása;

2. Előtér/háttér elkülönítése;

3. Járókelő detekciója (Kétláb detekció);

4. Kálmán szűrős mozgáskövetés és esménydetekció;

5. Járókelő detekciója alapján képek regisztrálása;

6. Az előtér/háttér elkülönítésének színtani kérdései;

7. Annotált szövegek összevetése nem-szabályos szótárban;

8. Kameramozgás-kompenzáció.

· Elkészült rendszer:

9. Annotációs keretrendszer;

1. Video annotáció megjelenítő,

2. Video adatbázisok: 47 videó ( kb. 545 perc), 24-25 fps-sel, kb. 1/3-a van annotálva;

3. Valós időbeni jelenetleíró paraméterek mérése;

4. Paraméterek adtabázis-kezelése;

5. Paraméterek alapján a visszakereshetőség;

6. A mért paraméterek tanítórendszerbe illesztése;

7. Speciális harveres megoldások algoritmikus környezetének kidolgozása.

Az annotációs felület részlete.

Vágások szerkesztése.

Objektumok annotációja.

Kereső felület

Keresési minta (jobb felső sarok) és találatok (lenn).

Keresési minta (fent) és találatok (lent),

Keresési minta (fent) és találatok (lent).

Publikációk a projekt témájában és támogatásával

1. Ákos Utasi, László Czúni: Anomaly Detection with Low-level Processes in Videos, Proc. of VISAPP, Funchal, Portugal, accepted, January, 2008

2. Ákos Utasi, László Czúni: Unusual Event Detection in Low-Quality Urban Surveillance Videos with Modeling Motion Directions, Asia-Pacific Workshop on Visual Information Processing, accepted, 2007

3. Ákos Utasi, László Czúni: Reducing the Foreground Aperture Problem in Mixture of Gaussians Based Motion Detection, Proc. of the 6th EURASIP Conference Focused on Speech and Image Processing, Multimedia Communications and Services EC-SIPMCS 2007, Maribor, Slovenia

4. L. Havasi, T. Szirányi, ”Estimation of Vanishing Point in Camera-Mirror Scenes Using Video”, Optics Letters, Vol. 31, No. 10, pp: 1411-1413, 2006

5. Z. Szlavik, L. Havasi, T. Sziranyi: ”Analysis of dynamic scenes by using co-motion statistics", The Sixth IEEE International Workshop on Visual Surveillance on ECCV, Graz, 2006

6. Cs. Benedek, L. Havasi, T. Sziranyi, Z. Szlavik: “Motion-Based Flexible Camera Registration”, IEEE International Conference on Advanced Video and Signal-Based Surveillance, Como, pp.439-444, 2005

7. L. Kovács, T. Szirányi: “Image Indexing by Focus Map”, Lecture Notes in Computer Science, Vol. LNCS 3708, p.300, ACIVS 2005, 2005

Web oldal

· web.eee.sztaki.hu/joomla/index.php?option=com_content&task=view&id=26&Itemid=53