Kategorie
#Technologie: Projekty PIONIERa

Od Clusterixa do obliczeń kampusowych w PIONIERze

Krajowy Klaster Linuksowy CLUSTERIX (National CLUSTER of LInuX System) był wspólną inicjatywą realizowaną w latach 2003-2006 przez dwanaście polskich Jednostek Wiodących: Politechnikę Białostocką, Politechnikę Częstochowskiej, Centrum Informatyczne TASK, Politechnikę Łódzką, Uniwersytet Marii Curie-Skłodowskiej w Lublinie, Akademickie Centrum Komputerowe CYFRONET AGH, Uniwersytet Opolski, Poznańskie Centrum Superkomputerowo-Sieciowego (PCSS), Politechnikę Szczecińską, Politechnikę Warszawską, Wrocławskie Centrum Sieciowo-Superkomputerowego oraz Uniwersytet Zielonogórski, wspieranych przez ówczesne Ministerstwo Nauki i Informatyzacji (obecne Ministerstwo Nauki i Edukacji). Był to projekt celowy z udziałem firmy Intel. Koordynatorem projektu była Politechnika Częstochowska, wspólnie z PCSS odgrywająca wiodącą rolę w realizowanych pracach badawczo-rozwojowych i wdrożeniowych, a jego kierownikiem profesor Roman Wyrzykowski.

Zadaniem systemu CLUSTERIX było umożliwienie wszechstronnego wykorzystania rozproszonych zasobów obliczeniowych w zakresie prowadzenia zaawansowanych obliczeń wielkiej skali w zależności od potrzeb. Łącząc zasoby dwunastu ośrodków (klastrów lokalnych), dzięki zastosowaniu krajowej sieci optycznej PIONIER i systemu operacyjnego Linux, stworzono rozproszony geograficznie system zbudowany w architekturze gridowej – meta-klaster, który obejmował 252 procesory Intel®
Itanium® 2 w infrastrukturze szkieletowej. Opracowany mechanizm zautomatyzowanego dołączania kolejnych klastrów lokalnych oraz uwierzytelniania komponentów programowych, umożliwiły dynamiczne zwiększanie dostępnych zasobów, pozwalając na stworzenie konfiguracji testowej obejmującej 802 procesory o łącznej wydajności wynoszącej 4,4 Tflop/s.

Oprogramowanie CLUSTERIXa opierało się na dwóch filarach: systemie zarządzania zasobami GMRS (Grid Resource Management System) – powstałym w projekcie europejskim GridLab oraz systemie uwierzytelniania i kontroli uprawnień użytkowników wirtualnych VUS (Virtual User System) – rozwijanym w PCSS. VUS umożliwił łatwe zarządzanie użytkownikami bez potrzeby zakładania kont dla poszczególnych osób na wszystkich klastrach, co obniżyło koszty wykonywania nawet bardzo dużych zadań obliczeniowych. Czynnikiem dodatkowo wyróżniającym CLUSTERIX spośród innych tego typu projektów była całkowita zgodność z protokołem IPv6, a pełne wykorzystanie jego zalet, w szczególności większej możliwości sterowania pasmem oraz gwarancji jakości usług, pozwoliło usprawnić jakość działania całego rozwiązania.

Krajowy Klaster Linuksowy wykorzystywano m.in. do obliczeń związanych z badaniami naukowymi w zakresie: modelowania zjawisk (np. termomechanicznych), złożonych symulacji (np. przepływu krwi, przepływów w aerodynamice – oprogramowanie HADRON i zaawansowanych zagadnień 3D mechaniki płynów), przewidywania struktur białek czy projektowania układów elektroniki molekularnej oraz nano-urządzeń i nanonosystemów (np. XMD – pakiet oprogramowania Open Source do symulacji zagadnień dynamiki molekularnej) itp.

Uroczystość otwarcia Krajowego Klastra Linuksowego odbyła się 15 grudnia 2004 r. w Pałacu Prezydenckim w Warszawie w obecności Prezydenta RP Aleksandra Kwaśniewskiego oraz Ministra Nauki i Informatyzacji prof. Michała Kleibera. Doceniając pracę polskiego środowiska naukowego włożoną w realizację projektu CLUSTERIX, prof. Michał Kleiber powiedział: „Pomysł (…) prosty, jednak jego realizacja – bardzo trudna. Naukowcy uczestniczący w projekcie stworzyli oprogramowanie, które jest w stanie tak zarządzać procesem obliczeniowym, aby poszczególne procesory nie powielały nawzajem swojej pracy”.

Projekt CLUSTERIX miał istotne znaczenie dla PIONIERowej społeczności, otwierając przestrzeń dla kolejnych wspólnych projektów, a w szczególności usługi obliczeń kampusowych U3, jako jednej z pięciu usług udostępnionych w ramach projektu PLATON. W stworzeniu usługi w latach 2009-2012 uczestniczyło 20 Jednostek Wiodących – członków Konsorcjum PIONIER. Liderem była Politechnika Częstochowska, ściśle współpracująca z PCSS w pracach rozwojowych i wdrożeniowych, którymi kierował profesor Roman Wyrzykowski wraz mgr inż. Markiem Zawadzkim (PCSS), jako zastępcą kierownika.

Rezultatem przedsięwzięcia była pierwsza w kraju chmura obliczeniowa dla potrzeb polskiego środowiska naukowo-akademickiego. Zbudowana infrastruktura obejmowała 20 klastrów lokalnych rozlokowanych w ośrodkach uczestniczących w projekcie i połączonych za pośrednictwem sieci PIONIER – 12 większych klastrów „XL” zawierających 48 serwerów oraz 12 mniejszych klastrów „L” złożonych z 30 węzłów. W sumie wspomniane klastry zawierały 1488 procesorów Intel Xeon (architektura Nehalem z czteroma rdzeniami) wspieranych przez 248 kart graficznych NVIDIA Quadro FX 580, które wchodziły w skład 496 serwerów kasetowych IBM HS22 oraz 248 serwerów IBM x3550M3 typu rack. Każdy klaster lokalny był wyposażony w macierz dyskową IBM DS3200 udostępniającą 48 lub 24 TB współdzielonej pamięci dyskowej. Serwery w klastrze lokalnym oraz ich współdzielona pamięć dyskowa połączone były siecią 10-Gigabit Ethernet. Maksymalna łączna moc obliczeniowa wszystkich węzłów wynosiła około 120 TFlops/s (bez uwzględnienia kart graficznych).

Stworzona infrastruktura obliczeniowo-usługowa była w stanie dostarczyć szerokiemu gronu użytkowników ze środowiska akademickiego i naukowo-badawczego specjalistycznych aplikacji na żądanie, zarówno w systemie MS Windows, jak i Linux, z uwzględnieniem wymagań i potrzeb konkretnych grup zawodowych w tych środowiskach. Wśród zaoferowanych w ten sposób usług w pierwszej kolejności należy wymienić:

  • zdalną pracę z aplikacjami interakcyjnymi (graficznymi) w środowisku MS Windows, takimi jak np. Matlab/Simulink, Ansys/Fluent czy też narzędzia graficzne AutoCad, 3DstudioMax, Corel;
  • uruchamianie na żądanie maszyn wirtualnych z systemem Windows lub Linux, stanowiących dedykowane środowisko pracy dla aplikacji użytkownika, np. naukowca, programisty czy projektanta;
  • możliwość zestawienia wirtualnego mini-klastra, np. laboratorium dla grupy studentów lub naukowców korzystających z określonych aplikacji.

Aplikacje dostępne w usłudze kampusowej dzięki wieloletniej licencji i powszechności pozwoliły na kumulowanie doświadczeń i dobrych praktyk użytkowania profesjonalnych narzędzi komputerowych. Aplikacje te, często dobrze już znane użytkownikom z praktyki obliczeń na komputerach osobistych, mogły być wykorzystane do zadań o znacznie większej skali skomplikowania.

Zastosowaniu odpowiednich protokołów komunikacyjnych i opracowanego w projekcie oprogramowania zarządzającego oraz portalu internetowego zaimplementowanego z użyciem technologii Php/MySQL, pozwoliło zapewnić wygodny sposób korzystania z aplikacji przez użytkownika maksymalnie zbliżony do tego, z czym użytkownik miał do czynienia w przypadku swojego osobistego komputera. W szczególności, stworzone oprogramowanie zarządzające obejmowało system zarządzania kontami użytkowników i dyspozytor zasobów, który pozwalał m.in. na uruchamianie maszyn wirtualnych w środowisku wirtualizacyjnym MS Hyper-V. Po zaakceptowaniu przez system rezerwacji użytkownika, dokonywanych z użyciem interfejsu graficznego w postaci kalendarza, otrzymywał on dostęp do prostego panelu umożliwiającego uruchomienia wybranej wcześnie aplikacji lub maszyny wirtualnej. Aby użytkownik mógł skorzystać z wybranej aplikacji wystarczyło, żeby posiadał on komputer osobisty lub też komputer w laboratorium, na którym zainstalowano system operacyjny MS Windows lub Linux oraz przeglądarkę internetową. Komputer taki pełnił rolę terminala graficznego z zapewnionym dostępem do sieci.

Zagwarantowanie możliwości korzystania z zaawansowanych usług teleinformatycznych w dosłownie każdym zakątku kraju to ambitny cel, który stawiali sobie twórcy całego Projektu PLATON, w tym i usługi obliczeń kampusowych U3. Zapewnieniu jak najlepszej jakości dostępu do stworzonej chmury służyła pełna integracja z siecią Polskiego Internetu Optycznego PIONIER, sieciami miejskimi i regionalnymi. W trakcie realizacji projektu i po jego zakończeniu dużo wysiłku włożono w szkolenia dla użytkowników i akcje promocyjne. W rezultacie, jeśli liczba użytkowników usługi U3 na zakończenie realizacji projektu w czerwcu 2012 wynosiła około 1050, to w sierpniu 2014 wzrosła już do ponad 6200 zarejestrowanych użytkowników

Roman Wyrzykowski