Apache Hadoop az MTA Cloud-on

 
 

Az Apache Hadoop klaszter segítségével képesek lehetünk nagy mennyiségű adat feldolgozására, tipikus Big Data alkalmazások futtatására a MapReduce keretrendszer segítségével.
Az MTA Cloud honlapján található bemutató (
https://cloud.mta.hu/apache-hadoop-klaszter-kiepitese) áttekintés ad arról, hogy hogyan lehet létrehozni egy skálázható Apache Hadoop infrastruktúrát az Occopus eszköz segítségével. Az automatikusan felépülő Apache Hadoop architektúra kiépítése az Occopus eszköz segítségével fog megvalósulni, ezért elsőként telepítenünk kell az Occopus eszközt. A Hadoop klaszter telepítéséhez szükséges leírókat elkészítettük a felhasználók számára és azokat közzétettük számukra. A leírók letöltése és rövid személyre szabása után, csupán két parancs segítségével képesek leszünk felépíteni egy skálázható Apache Hadoop infrastruktúrát az MTA Cloudon.
 

Publikációk:

  • Lovas R, Nagy E, Kovacs J: Cloud agnostic orchestration for big data research platforms, CIVIL-COMP PROCEEDINGS 111: p. III/15. 16 p. (2017), The Fifth International Conference on Parallel, Distributed, Grid and Cloud Computing for Engineering (ISBN 978-1-905088-66-9)
    Kiadó: http://www.ctresources.info/ccp/paper.html?id=9237
    Eprint: http://eprints.sztaki.hu/9246/
     
  • Nagy E, Kovács J, Lovas R: Automated and Portable Hadoop Cluster Orchestration on Clouds with Occopus for Big Data Applications, In: Bubak M, Turala M, Wiatr K (szerk.)
    Proceedings of Cracow Grid Workshop'16, CGW 2016. 92 p. Academic Computer Centre CYFRONETAGH, 2016. pp. 47-48.(ISBN:978-83-61433-20-0)
    Eprint: http://eprints.sztaki.hu/9030/

Részleg