Data Avenue az MTA Cloud-on

A Data Avenue egy olyan tároló menedzsment szolgáltatás, amely lehetővé teszi a különböző típusú tárolási források (beleértve S3, sftp, GridFTP, iRODS, SRM szerverek) elérését egy egységes felület segítségével. A rendelkezésre álló REST API lehetővé teszi az összes tipikus tárolási műveletet, mint például mappák/bucketek készítése, fájlok/mappák átnevezése vagy törlése, fájlok feltöltése/letöltése, fájlok/mappák másolása vagy áthelyezése a különböző tárolási erőforrások között, akár egyszerűen a "curl" parancs használatával a parancssorból. A DataAvenue automatikusan lefordítja a felhasználók REST parancsát a megfelelő tárolási protokollokra, és kezeli a hosszú távú adatátvitelt a háttérben.

A Data Avenue szolgáltatás elérhető az MTA Cloud honlapján, a felhasználást segítő alkalmazások között. (https://cloud.mta.hu/dataavenue).  Az MTA Cloud honlapján található bemutatóban létrehozunk egy klasztert, amely két csomóponttípust tartalmaz. A DataAvenue csomóponton a DataAvenue alkalmazás fog futni, és egy előre meghatározott számú tárolási csomóponton (storage node) pedig egy S3 tároló fog futni, hogy képesek legyünk kipróbálni a DataAvenue fájlátviteli szoftvert, mint például bucketek létrehozását, a fájlok letöltését vagy másolását. Ceph és Docker komponenseket használtunk fel a klaszter felépítésére.

Publikációk:

• Hajnal Á, Márton I, Farkas Z, Kacsuk P: Remote storage management in science gateways via data bridging, CONCURRENCY AND COMPUTATION: PRACTICE AND EXPERIENCE 27:(16) pp. 4398-4411. (2015)
  Kiadó: https://onlinelibrary.wiley.com/doi/abs/10.1002/cpe.3520
  Eprint: http://eprints.sztaki.hu/8593/
   
• Hajnal, A., Farkas, Z., and Kacsuk, P.  Data Avenue: Remote Storage Resource Management in WS-PGRADE/gUSE, 6th IEEE International Workshop on Science Gateways (IWSG), pp. 1–5, 2014
  Kiadó: https://hungary.pure.elsevier.com/hu/publications/data-avenue-remote-storage-resource-management-in-ws-pgradeguse
  Eprint: http://eprints.sztaki.hu/8097/
   
• Hajnal Á, Farkas Z, Kacsuk P, Pintér T: Remote Storage Resource Management in WS-PGRADE/gUSE. In: Kacsuk P (szerk.)Science Gateways for Distributed Computing Infrastructures: Development Framework and Exploitation by Scientific User Communities. 301 p. Cham (Németország): Springer, 2014. pp. 69-81. (ISBN:978-3-319-11267-1)
  Kiadó: https://www.springer.com/gb/book/9783319112671
  Eprint: http://eprints.sztaki.hu/8116/