EXMAG na FZÚ AV ČR počítá s Intelem a M Computers


Na FZÚ AV ČR provozují naše servery na bázi procesorů Intel® Xeon E5 2630 V4, které jsou součástí projetku EXMAG. V rámci tohoto projektu dochází k výpočtům a simulacím chování materiálů na makroskopické úrovni. Více informací o projektu EXMAG i o námi dodávaných serverech se můžete dočíst díky článku, který vyšel na sciencemag.cz


Projekt EXMAG

Ve Fyzikálním ústavu Akademie věd ČR za účelem simulace kvantových jevů potřebují pro projekt EXMAG (Excitonic magnetism of strongly correlated materials) velmi vysoký výpočetní výkon. Ve FZÚ AV ČR simulují mimo jiné fyziku kvantových jevů za účelem zkoumání vlastností materiálů jako supravodivosti, topologie izolantů, nových exotických vlastností materiálů, které se projevují za velmi nízkých teplot a mají vliv na jejich vodivost, tepelnou kapacitu, magnetické vlastnosti apod.

V projektu EXMAG na FZÚ AV ČR simulují chování materiálů na makroskopické úrovni. Začínají popisem jejich kvantově mechanických vlastností, čímž získají první principiální popis, z něhož vycházejí při simulacích na vyšších úrovních. Vědci se například snaží spočítat tunelový efekt pro průchod elektronů mezi dvěma místy v měděném vodiči, který se nachází v supravodivém stavu. Na rozdíl od výpočtů běžných úloh, jejichž náročnost roste polynomicky, jde o mnohem složitější výpočty, jejichž náročnost roste exponenciálně. Klasické počítače proto brzy dojdou k limitu svých možností. K výpočtům v projektu EXMAG využívají open source software a jako procesorovou platformu zejména Intel.

Na počítače pro každý projekt vypisují otevřené výběrové řízení, kde je kvůli dosažení co největšího výkonu většinou hlavním parametrem poměr cena/výkon za dostupné prostředky. Pro jednotlivé projekty si na FZÚ AV ČR pořizují vlastní výpočetní servery, které jsou sdruženy do jednoho velkého clustru Goliáš. Dílčí subclustery mají odlišné parametry i stáří a jsou průběžně obnovovány. Centrální servery řídí celou farmu a dílčí uzly slouží jednotlivým projektům. Nový cluster EXMAG je zapojen do MetaCentra CESNETu, které tvoří ještě rozsáhlejší virtuální cluster umístěný na různých univerzitních a vědeckých pracovištích.

Naše servery

Pro tento projekt výpočtů a simulací kvantových mechanických vlastností dodala servery na bázi procesorů Intell® Xeon E5 2630 V4 společnost M Computers, která se na výrobu vlastních serverů s vysokým výkonem specializuje. Některé paralelní výpočty potřebují mnoho desítek až stovek jader, proto jsou servery také vybaveny sítí Infiniband, která je jednak rychlejší než Ethernet, jednak má nižší latenci ohledně odezvy.

„Platformu Intel využíváme z několika důvodů,“ říká Jiří Chudoba, který má na FZÚ AV ČR výpočetní cluster na starosti. „Je výkonná, dostupná, a pro procesory Intel je daleko více softwaru než pro ostatní platformy, zejména open source, který zde pro výpočty využíváme. S každou novou generací procesorů Intel navíc klesá jejich spotřeba.“

Jiří Chudoba, FZÚ AV ČR
Jiří Chudoba, FZÚ AV ČR

„Řešení od M Computers má navíc dva zdroje pro čtyři servery, přičemž jeden zdroj utáhne všechny, což je příjemná redundance. Takovou redundance většina našich jiných výpočetních serverů nemá. Klastr EXMAG jsme převzali na konci května 2016, už v červnu uživatelé propočítali přes 90 000 hodin v 771 úloze. Za srpen 2016 jsou tato čísla již dvojnásobná. Vysoký výpočetní výkon je umožněn tím, že jsme nepořizovali ani řídící a přístupové servery, ani sdílený diskový prostor. Tyto služby poskytuje MetaCentrum CESNETu, které také ve spolupráci s FZÚ zajišťuje podporu a správu uživatelů. Obvykle tyto činnosti vyžadují polovinu rozpočtu.“

Server projektu EXMAG od M Computers
Server projektu EXMAG od M Computers

Už v roce 2008 měli v FZÚ AV ČR superpočítač na Intelu, který měl teoretický výkon 5,1 Tera Flops a spotřebu 17 kW. Jeho náhrada z roku 2013 poskytla až 15,6 Tera Flops a se spotřebou 15 kW, současný superpočítač od M Computers má 25,3 Tera Flops, ale za dvě třetiny ceny a se spotřebou jen 9 kW.

Konfigurace serveru Exmag
Intell® Twin Server (Intel Compute Module HNS2600KP + AXXRMM4LITE)
2U rack-mount – 4 uzly
Konfigurace jednoho uzlu:
20 fyzických CPU – 2x 10-core Intel Xeon E5-2630 v4, 2.2GHz, 64-bit
128 GB RAM – 8x 16 GB DDR4 ECC, 2 133 MHz
2x 600 GB Hitachi HDD, SAS, 10 krpm
Intell® QDR single port QSFP+
BIOS verze 6.20.04.1
OS Debian8
Reálný výkon, naměřený pomocí linpack testu (36 uzlů): 21 826 Gflops
Teoretický výkon (36 uzlů): 25 344 Gflops