Az NKFI Alap támogatásával megvalósuló NKP Mesterséges Intelligencia projektünkhöz kapcsolódóan szeminárium sorozatot indítunk. Az előadásokat csütörtök délelőttönként, várhatóan egy-két hetente tartjuk meg. Az első előadás október 11-én, 10:15-től 11:45-ig tart a SZTAKI kende utcai épületének Nagytanácstermében.
- Szegedy Balázs (MTA Rényi Alfréd Matematikai Kutatóintézet): Tensor networks and deep learning
- Daróczy Bálint (MTA SZTAKI): Expressive power of generalized outer product manifolds on feed-forward neural networks
Abstract: Hierarchical neural networks are exponentially more efficient than their corresponding "shallow" counterpart with the same expressive power, but involve huge number of parameters and require tedious amounts of training. Our main idea is to mathematically understand and describe the hierarchical structure of feedforward neural networks by reparametrization invariant Riemannian metrics. By computing or approximating the tangent subspace, we better utilize the original network via sparse representations that enables switching to shallow networks after a very early training stage. Our experiments show that the proposed approximation of the metric improves and sometimes even surpasses the achievable performance of the original network significantly even after a few epochs of training the original feedforward network.
Az esemény nyilvános, minden érdeklődőt szeretettel várunk!