Megerősítéses tanulás: a játékvilágból jól ismert MI módszer képes komplex ipari struktúrák optimalizálására – a SZTAKI kutatóinak részvétele mellett

Amikor a számítógép először megverte az embert a GO játékban, akkor önmagát tanította be az optimális stratégiára a „megerősítéses tanítás” segítségével. Ugyanezt a módszert lehetséges alkalmazni komplex szabályzási problémákra termékek összeszerelésénél és jártművek motorjának szabályzásában is. Az osztrák FFG (Osztrák Kutatástámogatási Ügynökség) által támogatott REINFORCE projekt – amelyet a Fraunhofer Austria vezet és amelyben a SZTAKI is résztvevő – kutatói vizsgálják, hogy ezen tanulási eljárásnak milyen előnyei vannak gyárakban üzemelő önvezető szállítójárművek útvonalvezérlésében (az Engel Austria GmbH-nál) és személyautók motorszabályzásában (a Robert Bosch AG-nál).

A gépi tanulás általában óriási mennyiségű tanítási adatot igényel és a vonatkozó mesterséges intelligencia módszerek minták alapján tanulnak. Más a helyzet megerősítéses tanulás esetén: E helyett a környezeti feltételek kerülnek definiálásra, szakértők meghatározzák, hogy milyen akciók (beavatkozások) lehetségesek az adott környezetben és a tanuló ágens minden konkrét próbálkozás után jutalmat kap(hat) annak függvényében, hogy az sikeres vagy sikertelen volt. Mint a kisgyermek, az algoritmus sikeres és sikertelen eseteken keresztül tanul, és így a saját aktuális tudásának kiaknázását és/vagy egyidejűleg a környezet felfedezését valósítja meg. Tekintve, hogy nem csak előkészített minták kerülnek felhasználásra a tanítás során, így alapjaiban új megoldásokat lehet feltárni – még olyanokat is, amelyekre korábban egy ember akár nem is gondolt volna.

A SZTAKI tudományos partnerként vesz részt ebben az osztrák nemzeti projektben, mint a megerősítéses tanulás és alkalmazásainak szakértője különböző ipari területeken, pl. termelési minőségirányításban vagy autonóm járművek driftelésében. Dr. Viharos Zsolt János, a SZTAKI tudományos főmunkatársa ismerteti:

„Nagyon örülünk, hogy egy osztrák nemzeti projektbe kaptunk meghívást. A Fraunhofer Austria-val kiváló a tudományos együttműködésünk már hosszú évek óta, pl. a megerősítéses tanulás területén rendszeresen megosztjuk és megvitatjuk az eredményeinket és a feltáruló kihívásokat, tanácsokat adunk egymásnak és egymástól tanulunk. Ez egy nagyon gyümölcsöző együttműködés, számos szempont szerint is, az EPIC projektünk ennek zászlóshajója, amelyben több további Fraunhofer intézet is részt vesz. A kooperációnk támogatja az ipari partnerekkel való együttműködést, ennek jó példája az Opel (Stellantis) Szentgotthárd Kft-vel megvalósuló közös kutatás, a Mesterséges Intelligencia Nemzeti Laboratórium keretein belül, ahol diákommal, Pálvölgyi Bencével megerősítéses tanulást alkalmazunk tömegtermelő folyamatok minőségirányítására és gyártócellák anyagellátásának optimalizálására. Látható, „nyitott szemmel” megvalósuló együttműködések további potenciálokat és eredményeket szülnek, továbbá, a feltárulkozó kihívások újabb elvárásokat és ötleteket szolgálnak újabb megerősítéses tanulási algoritmusok, mint alapkutatási feladatok számára is.”

A REINFORCE projekt a megerősítéses tanulást, mint komplex rendszerek szabályzási megoldását vizsgája. Egyrészről, a REINFORCE projekt a megerősítéses tanulás technikai aspektusaival foglalkozik, pl. olyan algoritmusok kidolgozásával, amelyek a valós kihívásokat kezelnek. Másrészt, az emberi szempontok és a gazdaságossági szempontok is kellő figyelmet kapnak. Különös hangsúlyt kap az eredmények értelmezhetősége és hihetősége is, a megtanultak visszacsatolása az ember számára és az is, hogyan lehetséges ezen technológiát a meglévő szabályzási folyamatokba beépíteni.

A REINFORCE projekt megerősítéses tanulás alapú megközelítéseket épít ki komplex rendszerek szabályzására, humán és technikai elemek szimbiotikus egyesítésével. Két pilot implementáció lesz intelligens járművek alkalmazási területeken. A magasabb szintű rendszerteljesítményen túl az emberi szabályzási beavatkozás ráfordítását is 50%-al csökkenteni kívánjuk. A megközelítés teljesítménye valós adatokon kerül kiértékelésre és összevetésre más módszerekkel. A tapasztalatok, mint ajánlások segítenek majd a megerősítéses tanulás gyakorlati bevezetéseiben – nem csak az intelligens járművek alkalmazási területein – hanem általánosan, komplex rendszerek kihívó tervezési és szabályzási problémáiban.

Részletek:

Projektcím: Megerősítéses tanulás potenciáljának kiaknázása komplex, dinamikus rendszerek optimalizálására (REINFORCE)

Támogató: Ministry of Climate Action and Energy (Austria) / Bundesministerium für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie (BMK), Call 2020 of the Program: „Information- and communication technology of the Future“ / IKT der Zukunft, project ID: 887500

Konzorciumi tagok:

Projektütemezés: 2022.01.01 – 2024.06.30, 30 hónap

Kapcsolódó linkek:


Kép: Bosch Engineering