„Novian Technologies“ Vilniaus universiteto Matematikos ir informatikos fakultete suprojektavo unikalią aukšto našumo skaičiavimo įrenginių architektūrą, suteikiančią galimybę greitai ir efektyviai vykdyti tyrimus dirbtinio intelekto kūrimo, neuroninių tinklų mokymo srityse bei kitose kūrybinėse bei tiriamosiose veiklose, kurioms atlikti reikalingi labai didelio masto skaičiavimai.
Situacija
Vilniaus universiteto mokslininkai aukšto našumo skaičiavimo įrenginiais naudojasi jau daugiau nei dešimt metų. Pastarąjį dešimtmetį technologijos sparčiai vystėsi, atitinkamai kito ir mokslo tiriamoji veikla bei jo pritaikomumo galimybės visame pasaulyje.
Anksčiau įdiegtos technologijos ribojo universiteto bendruomenės galimybes efektyviai konkuruoti tarptautinėje plotmėje. Taigi universitetui būtinai reikėjo iš esmės atnaujinti turimą infrastruktūrą.
Problema
Dauguma gaminamų įrenginių, naudojant juos atskirai, yra dedikuoti sąlyginai siauro pobūdžio užduotims atlikti. Nei vienas toks įrenginys negali tobulai atitikti visų atskiros organizacijos poreikių.
Populiarėjanti pasaulinė praktika – kurti šios įrangos telkinius taip, kad jie geriausiai patenkintų konkrečius kompleksinius tam tikros organizacijos poreikius.
Svarbiausia tokių junginių teikiama nauda yra ta, kad jie leidžia efektyviai ir greitai gauti reikiamą priemonę iškilus konkrečiam sudėtingam skaičiavimo uždaviniui. Be to, tokio klasterio specifinis architektūros kompleksiškumas ir išbaigtumas, suteikia greitį ir efektyvumą.
Sprendimas
Suprojektuotas klasteris
Aukšto našumo skaičiavimo sistemas bei jų komponentes šiuo metu gamina daugelis pasaulinių technologijų įmonių. Pastaraisiais metais aukšto našumo skaičiavimo (HPC) klasteriai yra atnaujinami ir jų skaičiavimo našumas didinamas naudojant grafinius akseleratorius (angl. graphics processing unit), o juos gaminantys NVIDIA yra šio rinkos segmento lyderiai.
Sprendimo fizinei (technologinei) daliai „Novian Technologies“ (anksčiau veikė kaip BAIP) architektai suprojektavo kompleksinį aukšto našumo skaičiavimo klasterį, kurį sudaro 1 728 vienetų „Intel“ procesorių gamintojo neakseleruotus skaičiavimo branduoliai bei 20 480 vienetų NVIDIA gamintojo „Tensor“ skaičiavimo branduoliai.
Skaičiavimo klasteris turi daugiau negu 13TB operatyviosios atminties. Bendras šio HPC klasterio projektuojamas skaičiavimo našumas siekia 361 TeraFLOP (angl. floating point operations per second) DP (angl. dual precision) bei 4 PetaFLOP skaičiavimo našumą giluminio mokymosi (angl. deep learning) srityje. Tad dabartinio klasterio TeraFLOP skaičiavimo našumas išaugo apie 12 kartų.
Duomenų saugojimo sprendimas
Duomenims saugoti suprojektuotas dviejų lygių duomenų saugojimo sprendimas, veikiantis Lustre ZFS failų sistemos pagrindu. Valdymo ir duomenų modulis turi apie 20TB greitos, SSD technologija paremtos naudingos talpos, o visiems kitiems duomenims skirta apie 0,8PB naudingos talpos.
Skaičiavimo bei duomenų saugojimo resursai sujungti naudojant InfiniBand EDR, 100Gb/s greitaveikos, mažo vėlinimo tinklų technologiją. Tai leidžia skaičiavimo bei duomenų saugojimo resursams keistis informacija 2 kartus greičiau negu ankstesniame VU MIF skaičiavimo klasteryje.
Suprojektuotos fizinės (technologinės) dalies optimaliam resursų panaudojimui bei sujungimui su kitais HPC klasteriais įdiegtas paslaugų valdymo, savitarnos ir apjungimo programinis modulis. Programinis sprendimas užtikrina galimybę sujungti visus aukšto našumo skaičiavimo mazgus tiek su VU priklausančiai, tiek išoriniais, ne VU priklausančiais, kitais didelio našumo mazgais.
Sujungti HPC resursai
Įdiegtas paslaugų valdymo, savitarnos ir sujungimo programinis modulis leidžia Vilniaus universitetui sujungti turimus HPC resursus į vieną bendrą skaičiavimo resursą, taip pat dalyvauti EuroHPC ir panašiuose projektuose.
Lygiagrečiai universitetui paruoštas verslo planas, paslaugų katalogas ir sistemos apskaitos modulis. Taigi atsirado galimybė pasiūlyti rinkai platų skirtingų technologijų paketą, jį lengvai pritaikyti kliento poreikiams, operatyviai paruošti reikiamą aplinką ir po to apskaityti.
Tikimasi, kad atnaujinto ir modernizuoto VU HPC klasterio teikiamomis galimybėmis sėkmingai naudosis ir universiteto bendruomenė, ir pažangūs šalies verslai.
Rezultatas
Projekto metu „Novian Technologies“ įdiegė ir integravo moderniausias pasaulinių gamintojų technologijas: pasiūlytas skirtingų gamintojų technologijų sujungimas leidžia efektyviai panaudoti skaičiavimo resursus, operatyviai parinkti technologijas konkretiems uždaviniams spręsti.
Modernizuotas VU HPC klasteris yra bent 10 kartų našesnis nei anksčiau naudotas. Jis bus naudojamas modeliuojant šviesos energijos surinkimo elektronines sistemas ir fotosintetines molekulinės elektronikos medžiagas kvantinės chemijos metodais. Bus analizuojamos pagrindinės ir sužadintos fotosintetinių junginių būsenos, modeliuojami Ramano spektrai, sužadintų būsenų dinaminės charakteristikos, protonų perdavimo galimybė konjuguotose sistemose bei grafeno sluoksniai.
Tikimasi, kad organinės medžiagos ir prietaisai bus plačiai naudojami įvairiose srityse, pradedant medicina, baigiant energetika ir kompiuterija. Naudodami galingesnę HPC sistemą, VU tyrėjai galės modeliuoti kvantinius kompiuterius, pagrįstus molekuliniais junginiais, ir kurti kvantinių skaičiavimų algoritmus. Be VU tyrimų projektų, atviros prieigos centro HPC infrastruktūra gali naudotis kitų Lietuvos mokslo įstaigų ir įmonių tyrėjai.
Šių HPC resursų ir atliekamų darbų pagrindu Lietuva tapo Europos projekto „EuroHPC“ nare, o Vilniaus universitetas – Lietuvos atstovu jungtiniame „EuroHPC“ našaus skaičiavimo kompetencijų centre. Planuojama narystė ir EGI (Europe Grid Infrastructure – Europos superkompiuterių tinkle).
