LREC, Conference on Language Resources and Evaluation (Istanbul, 2012)

A LREC konferencia a nyelvi erőforrásokkal és nyelvtechnológiai eszközökkel kapcsolatos kutatások fontos fóruma. A Nyelvtechnológiai Kutatócsoport cikkében ismertetjük a nagyméretű nyelvi erőforrások (webkorpusz és gyakorisági szólista) előállításához használt eszköztárat. Az eszköztárunk elemei vagy nyelvfüggetlenek, vagy könnyen elérhetők az egyes nyelvekre, a nagy futásidejű lépéseket (ilyenek például a szó - és mondatszintű tokenizáció, közel-duplikátumok detekciója) újraimplementáltuk. Az eszköztárat, valamint a felhasználásával létrehozott erőforrásokat közzétettük, utóbbiakhoz olyan európai nyelveket választottunk, amelyekhez közepes mennyiségű digitalizált szöveg áll rendelkezésre.