Budovanie infraštruktúry pre vysokovýkonné počítanie
15. 11. 2010 | videné 1550-krát
Ústav informatiky SAV zorganizoval v dňoch 8.-10.11.2010 6. ročník medzinárodného workshopu "Grid Computing for Complex Problems GCCP2010".
Prvý ročník GCCP zorganizoval ústav v r. 2005, s cieľom osloviť vedeckú a odbornú komunitu, ktorá pri svojej práci využíva vysokovýkonnú výpočtovú techniku a pomôcť pri vytvorení konzorcia pre vysokovýkonné počítanie.
ÚI SAV sa zúčastňuje tvorby európskej gridovej infraštruktúry od roku 2002, kedy v projekte CROSSGRID riešeného v rámci IST 5RP začal prispievať k tvorbe tzv. európskych testbedov. Od roku 2004 bol ÚI SAV v projektoch EGEE, EGEEII a EGEEIII partnerom rozsiahleho európskeho konzorcia, ktoré budovalo Paneurópsku gridovú infraštruktúru do mája 2010. Od 1.6. 2010 je partnerom projektu EGI-InSPIRE, ktorý pokračuje v budovaní a udržiavaní Paneurópskej gridovej infraštruktúry a je založený na národných iniciatívach a projektoch. „ÚI SAV do Paneurópskej gridovej infraštruktúry prispieval svojimi vlastnými počítačovými zdrojmi. Zatiaľ na Slovensku nebola vytvorená stratégia na budovanie trvalo udržateľnej národnej gridovej infraštruktúry.“ - povedal riaditeľ ÚI SAV doc. Ing. Ladislav Hluchý, CSc.
ÚI SAV je spoluriešiteľom národného projektu SIVVP (Slovenská infraštruktúra pre vysokovýkonné počítanie), financovaného zo štrukturálnych fondov, ktorého sa zúčastňujú slovenské univerzity a výskumné inštitúcie z SAV. Národný projekt SIVVP je však venovaný len nákupu hardvéru a softvéru bez zabezpečenia trvalo udržateľnej prevádzky, a to aj so zdĺhavým administratívno-byrokratickým procesom. Slovensko v porovnaní s ostatnými krajinami EÚ ako aj s niektorými asociovanými krajinami je len na začiatku budovania vysokovýkonnej distribuovanej infraštruktúry, ktorá má slúžiť na podporu ESFRI (European Strategy Forum on Research Infrastructures).
Od roku 2007 má riaditeľ ÚI SAV doc. Ladislav Hluchý poverenie od ministra školstva SR koordinovať vznik Slovenskej gridovej iniciatívy za účelom jej integrovania s národnými gridovými iniciatívami (NGI). Vláda SR v roku 2009 schválila členstvo Slovenskej republiky v medzinárodnej organizácii EGI.eu so sídlom v Amsterdame, podľa holandského právneho poriadku, s názvom European Grid Initiative EGI, ktorej členmi sú NGI európskych krajín.
Na tlačovej besede odborníci na vysokovýkonné počítanie z celého Slovenska, ako aj hostia z Poľska, Švédska, Maďarska, Nemecka a Českej republiky poskytli informácie o význame vysokovýkonnej výpočtovej infraštruktúry, o rôznych národných stratégiách pri budovaní infraštruktúry, o medzinárodných projektoch, ktoré koordinovali budovanie infraštruktúry v celej Európe a o dosiahnutých úspechoch:
Dipl.Inform. Stefan Freitag, Institut für Roboterforschung - Abteilung Informationstechnik, Universitaet Dortmund, Germany:
Spoločné rokovania a postup výskumných pracovísk a priemyselnej sféry v Nemecku viedli v roku 2004 k zriadeniu Nemeckej gridovej iniciatívy, nazývanej D-Grid. Jedným z hlavných cieľov D-Gridu je vytvorenie a prevádzka trvale udržateľnej e-Science infraštruktúry v Nemecku D-Grid poskytoval v prvej fáze, a to najmä pre akademickú obec, IT služby navrhnuté a vyvinuté pre prvých používateľov vytvárajúcej sa gridovej komunity. V druhej fáze sa dôraz preniesol na integráciu ďalších IT služieb pre širšiu komunitu, zahŕňajúcu už okrem akademickej obce i priemysel. V súčasnej tretej fáze slúžia existujúce prostriedky a ponúkané služby ako základ pre vývoj riadiacej a operačnej vrstvy, včítane napr. znalostného manažmentu.
Prostredníctvom D-Gridu majú výskumníci prístup k viac ako 30.000 CPU jadier a približne 5.000 Terabytov úložného priestoru. Využívanie prostriedkov je relatívne dobré, napr. v roku 2009 používatelia spotrebovali viac ako 140 miliónov hodín CPU.
V súčasnosti existujú v Nemecku dve národné gridové iniciatívy. Druhá iniciatíva vznikla v súvislosti s transformáciou ukončeného projektu EGEE (Enabling Grids for E-sciencE – Sprístupnenie gridu pre elektronickú vedu) do organizácie EGI (European Grid Initiative – Európska gridová iniciatíva) a národných gridových iniciatív (National Grid Initiatives NGI), ktoré táto organizácia zastrešuje. Zjednotenie dvoch nemeckých iniciatív do jednej je jednou z hlavných aktuálnych výziev pre D-Grid.
Dr. Erwin Laure
is Guest Professor in Computer Science and Director of PDC-HPC, the High Performance Computing Center at the Royal Institute of Technology (KTH) in Stockholm, Sweden:
Švédsku výpočtovú infraštruktúru organizuje SNIC (Swedish National Infrastructure for Computing – Švédska národná infraštruktúra pre výpočty), ktorá poskytuje pre švédsky výskum výpočtové prostriedky a úložiská dát. SNIC pozostáva zo 6 centier, ktoré ponúkajú úplnú paletu služieb od základnej úrovne vysoko-priepustných klastrov až po európsku úroveň superpočítačov a národnú infraštruktúru pre úschovu dát. Tieto prostriedky sú zabudované do Európskej gridovej infraštruktúry EGI ako i do infraštruktúry PRACE pre vysokovýkonné počítanie a sú prístupné švédskym výskumným pracovníkom na základe vedeckého posúdenia. Snahou SNIC je pokryť švédsku potrebu výpočtových prostriedkov a úložísk dát a poskytnúť švédskym výskumníkom odrazový mostík k dosiahnutiu prostriedkov na európskej úrovni.
SNIC pracuje s ročným rozpočtom na infraštruktúru a podporu vo výške približne 100 miliónov SEK (približne 10 miliónov €). Tento rozpočet je doplnený významnými príspevkami od hostiteľských organizácií. Prostredníctvom nedávno zahájenej národnej e-Science iniciatívy je k dispozícii ďalších 7 miliónov € ročne na podporu pokročilých používateľov a rozvoj výpočtovej vedy.
Prof. Dr. Jacek Kitowski
is the Head of Computer Systems Group at the Institute of Computer Science of the AGH University of Science and Technology in Cracow, Poland:
Poľská gridová iniciatíva zahájila svoju činnosť v roku 2009 počas projektu PL-Grid, financovaného v rámci operačného programu Inovatívna ekonomika. Hlavným cieľom tohto projektu je poskytnúť poľskej vedeckej komunite IT platformu založenú na počítačových klastroch, zapojených do Gridu a podporiť tak elektronickú vedu a výskum v najrôznejších vedných oblastiach.Projekt vytvára pre celú krajinu Poľskú gridovú infraštruktúru, ktorá podporuje vedecký výskum integráciou experimentálnych dát s výsledkami pokročilých počítačových simulácií realizovaných pracovnými skupinami, ktoré sú geograficky rozptýlené po celej krajine.
Cieľom PL-Gridu je významnou mierou rozšíriť množstvo výpočtových prostriedkov, ktoré sú poskytované poľskej vedeckej komunite a vybudovať gridový systém, ktorý uľahčí efektívne a inovatívne použitie dostupných prostriedkov. Poľská gridová iniciatíva je považovaná za prvú fungujúcu národnú gridovú iniciatívu (NGI) v rámci Európy.
Prof. Dr. Peter Kacsuk
is the Head of the Laboratory of the Parallel and Distributed Systems in the Computer and Automation Research Institute of the Hungarian Academy of Sciences, Budapest, Hungary:
Gridové systémy možno v súčasnosti rozdeliť do dvoch základných skupín: servisné gridy (SG) a gridy zostavené zo stolných počítačov (desktop grids DG). DG zhromažďujú veľký počet dobrovoľníckych stolných počítačov za účelom využitia ich voľného, nespotrebovaného počítačového času. Nevýhodou DG je to, že môžu vykonávať iba veľmi obmedzenú skupinu vopred zaregistrovaných aplikácií. Väčšinou sú to výpočtovo náročné aplikácie pozostávajúce z balíkov úloh. Najznámejším gridom takéhoto typu je SETI@home, ktorý zhromaždil viac ako 2 milióny CPU.
Ak porovnáme pomer ceny k výkonu pre SG a DG, vidíme, že vytvorenie a údržba DG je oveľa lacnejšia. Preto by bolo ekonomicky výhodné preniesť výpočtovo náročné aplikácie pozostávajúce z balíkov úloh na DG systémy. Toto poznanie viedlo v roku 2008 k zahájeniu projektu EDGeS (Enabling Desktop Grids for e-Science), s cieľom integrovať tieto dva druhy gridových systémov do jednotnej infraštruktúry a spojiť tak ich výhody do jedného systému. Následne bol v roku 2010 odštartovaný projekt EDGI (European Desktop Grid Initiative).
Pripravila Soňa Koželová
Prvý ročník GCCP zorganizoval ústav v r. 2005, s cieľom osloviť vedeckú a odbornú komunitu, ktorá pri svojej práci využíva vysokovýkonnú výpočtovú techniku a pomôcť pri vytvorení konzorcia pre vysokovýkonné počítanie.
ÚI SAV sa zúčastňuje tvorby európskej gridovej infraštruktúry od roku 2002, kedy v projekte CROSSGRID riešeného v rámci IST 5RP začal prispievať k tvorbe tzv. európskych testbedov. Od roku 2004 bol ÚI SAV v projektoch EGEE, EGEEII a EGEEIII partnerom rozsiahleho európskeho konzorcia, ktoré budovalo Paneurópsku gridovú infraštruktúru do mája 2010. Od 1.6. 2010 je partnerom projektu EGI-InSPIRE, ktorý pokračuje v budovaní a udržiavaní Paneurópskej gridovej infraštruktúry a je založený na národných iniciatívach a projektoch. „ÚI SAV do Paneurópskej gridovej infraštruktúry prispieval svojimi vlastnými počítačovými zdrojmi. Zatiaľ na Slovensku nebola vytvorená stratégia na budovanie trvalo udržateľnej národnej gridovej infraštruktúry.“ - povedal riaditeľ ÚI SAV doc. Ing. Ladislav Hluchý, CSc.
ÚI SAV je spoluriešiteľom národného projektu SIVVP (Slovenská infraštruktúra pre vysokovýkonné počítanie), financovaného zo štrukturálnych fondov, ktorého sa zúčastňujú slovenské univerzity a výskumné inštitúcie z SAV. Národný projekt SIVVP je však venovaný len nákupu hardvéru a softvéru bez zabezpečenia trvalo udržateľnej prevádzky, a to aj so zdĺhavým administratívno-byrokratickým procesom. Slovensko v porovnaní s ostatnými krajinami EÚ ako aj s niektorými asociovanými krajinami je len na začiatku budovania vysokovýkonnej distribuovanej infraštruktúry, ktorá má slúžiť na podporu ESFRI (European Strategy Forum on Research Infrastructures).
Od roku 2007 má riaditeľ ÚI SAV doc. Ladislav Hluchý poverenie od ministra školstva SR koordinovať vznik Slovenskej gridovej iniciatívy za účelom jej integrovania s národnými gridovými iniciatívami (NGI). Vláda SR v roku 2009 schválila členstvo Slovenskej republiky v medzinárodnej organizácii EGI.eu so sídlom v Amsterdame, podľa holandského právneho poriadku, s názvom European Grid Initiative EGI, ktorej členmi sú NGI európskych krajín.
Na tlačovej besede odborníci na vysokovýkonné počítanie z celého Slovenska, ako aj hostia z Poľska, Švédska, Maďarska, Nemecka a Českej republiky poskytli informácie o význame vysokovýkonnej výpočtovej infraštruktúry, o rôznych národných stratégiách pri budovaní infraštruktúry, o medzinárodných projektoch, ktoré koordinovali budovanie infraštruktúry v celej Európe a o dosiahnutých úspechoch:
Dipl.Inform. Stefan Freitag, Institut für Roboterforschung - Abteilung Informationstechnik, Universitaet Dortmund, Germany:
Spoločné rokovania a postup výskumných pracovísk a priemyselnej sféry v Nemecku viedli v roku 2004 k zriadeniu Nemeckej gridovej iniciatívy, nazývanej D-Grid. Jedným z hlavných cieľov D-Gridu je vytvorenie a prevádzka trvale udržateľnej e-Science infraštruktúry v Nemecku D-Grid poskytoval v prvej fáze, a to najmä pre akademickú obec, IT služby navrhnuté a vyvinuté pre prvých používateľov vytvárajúcej sa gridovej komunity. V druhej fáze sa dôraz preniesol na integráciu ďalších IT služieb pre širšiu komunitu, zahŕňajúcu už okrem akademickej obce i priemysel. V súčasnej tretej fáze slúžia existujúce prostriedky a ponúkané služby ako základ pre vývoj riadiacej a operačnej vrstvy, včítane napr. znalostného manažmentu.
Prostredníctvom D-Gridu majú výskumníci prístup k viac ako 30.000 CPU jadier a približne 5.000 Terabytov úložného priestoru. Využívanie prostriedkov je relatívne dobré, napr. v roku 2009 používatelia spotrebovali viac ako 140 miliónov hodín CPU.
V súčasnosti existujú v Nemecku dve národné gridové iniciatívy. Druhá iniciatíva vznikla v súvislosti s transformáciou ukončeného projektu EGEE (Enabling Grids for E-sciencE – Sprístupnenie gridu pre elektronickú vedu) do organizácie EGI (European Grid Initiative – Európska gridová iniciatíva) a národných gridových iniciatív (National Grid Initiatives NGI), ktoré táto organizácia zastrešuje. Zjednotenie dvoch nemeckých iniciatív do jednej je jednou z hlavných aktuálnych výziev pre D-Grid.
Dr. Erwin Laure
is Guest Professor in Computer Science and Director of PDC-HPC, the High Performance Computing Center at the Royal Institute of Technology (KTH) in Stockholm, Sweden:
Švédsku výpočtovú infraštruktúru organizuje SNIC (Swedish National Infrastructure for Computing – Švédska národná infraštruktúra pre výpočty), ktorá poskytuje pre švédsky výskum výpočtové prostriedky a úložiská dát. SNIC pozostáva zo 6 centier, ktoré ponúkajú úplnú paletu služieb od základnej úrovne vysoko-priepustných klastrov až po európsku úroveň superpočítačov a národnú infraštruktúru pre úschovu dát. Tieto prostriedky sú zabudované do Európskej gridovej infraštruktúry EGI ako i do infraštruktúry PRACE pre vysokovýkonné počítanie a sú prístupné švédskym výskumným pracovníkom na základe vedeckého posúdenia. Snahou SNIC je pokryť švédsku potrebu výpočtových prostriedkov a úložísk dát a poskytnúť švédskym výskumníkom odrazový mostík k dosiahnutiu prostriedkov na európskej úrovni.
SNIC pracuje s ročným rozpočtom na infraštruktúru a podporu vo výške približne 100 miliónov SEK (približne 10 miliónov €). Tento rozpočet je doplnený významnými príspevkami od hostiteľských organizácií. Prostredníctvom nedávno zahájenej národnej e-Science iniciatívy je k dispozícii ďalších 7 miliónov € ročne na podporu pokročilých používateľov a rozvoj výpočtovej vedy.
Prof. Dr. Jacek Kitowski
is the Head of Computer Systems Group at the Institute of Computer Science of the AGH University of Science and Technology in Cracow, Poland:
Poľská gridová iniciatíva zahájila svoju činnosť v roku 2009 počas projektu PL-Grid, financovaného v rámci operačného programu Inovatívna ekonomika. Hlavným cieľom tohto projektu je poskytnúť poľskej vedeckej komunite IT platformu založenú na počítačových klastroch, zapojených do Gridu a podporiť tak elektronickú vedu a výskum v najrôznejších vedných oblastiach.Projekt vytvára pre celú krajinu Poľskú gridovú infraštruktúru, ktorá podporuje vedecký výskum integráciou experimentálnych dát s výsledkami pokročilých počítačových simulácií realizovaných pracovnými skupinami, ktoré sú geograficky rozptýlené po celej krajine.
Cieľom PL-Gridu je významnou mierou rozšíriť množstvo výpočtových prostriedkov, ktoré sú poskytované poľskej vedeckej komunite a vybudovať gridový systém, ktorý uľahčí efektívne a inovatívne použitie dostupných prostriedkov. Poľská gridová iniciatíva je považovaná za prvú fungujúcu národnú gridovú iniciatívu (NGI) v rámci Európy.
Prof. Dr. Peter Kacsuk
is the Head of the Laboratory of the Parallel and Distributed Systems in the Computer and Automation Research Institute of the Hungarian Academy of Sciences, Budapest, Hungary:
Gridové systémy možno v súčasnosti rozdeliť do dvoch základných skupín: servisné gridy (SG) a gridy zostavené zo stolných počítačov (desktop grids DG). DG zhromažďujú veľký počet dobrovoľníckych stolných počítačov za účelom využitia ich voľného, nespotrebovaného počítačového času. Nevýhodou DG je to, že môžu vykonávať iba veľmi obmedzenú skupinu vopred zaregistrovaných aplikácií. Väčšinou sú to výpočtovo náročné aplikácie pozostávajúce z balíkov úloh. Najznámejším gridom takéhoto typu je SETI@home, ktorý zhromaždil viac ako 2 milióny CPU.
Ak porovnáme pomer ceny k výkonu pre SG a DG, vidíme, že vytvorenie a údržba DG je oveľa lacnejšia. Preto by bolo ekonomicky výhodné preniesť výpočtovo náročné aplikácie pozostávajúce z balíkov úloh na DG systémy. Toto poznanie viedlo v roku 2008 k zahájeniu projektu EDGeS (Enabling Desktop Grids for e-Science), s cieľom integrovať tieto dva druhy gridových systémov do jednotnej infraštruktúry a spojiť tak ich výhody do jedného systému. Následne bol v roku 2010 odštartovaný projekt EDGI (European Desktop Grid Initiative).
Pripravila Soňa Koželová