Cluster Eulogia

El cluster Eulogia surge en 2017 cuando se realizan gestiones en el Rector Hugo Juri a fin de reemplazar la Supercomputadora Cristina, que presentaba una desfavorable relación potencia de cálculo vs. consumo eléctrico.

El primer módulo de 2U se compra a través del Rectorado y luego dos módulos más a través del Sistema Nacional de Computación de Alto Desempeño (SNCAD).

Hardware

Cada módulo se compone de 4 computadoras basadas en el producto Intel Xeon Phi:

  • KNL Xeon Phi 7210/7250 + 16 GiB MCDRAM.
  • 96 GiB DDR4-2400 RAM.
  • Placa madre Intel S7200AP.
  • Placa Mellanox ConnectX dual port MT26428 Infiniband QDR.

Respecto a la potencia de cálculo, cada Xeon Phi 7210 tiene un desempeño de pico teórico de 2.66 TFLOPS en doble precisión, gracias a sus 64 núcleos con SMT-4 (256 núcleos virtuales en total), y unidades vectoriales de 512 bits que soportan operaciones FMA. El Xeon Phi 7250 con sus 68 núcleos y un reloj ligeramente superior (1.4GHz en vez de 1.3GHz) eroga 3.04 TFLOPS, un 14% más.

El mix de procesadores es 12*7210+8*7250 y esto implica una potencia de cálculo pico doble precisión de 56.32 TFLOPS, también denominada Rpeak.
Respecto a Rmax, la potencia de cálculo medida corriendo HPL, el benchmark utilizado para rankear en TOP500, medimos un conjunto de 4 procesadores 7250 arrojando:

T/V                N    NB     P     Q               Time                 Gflops
--------------------------------------------------------------------------------
WR00C2R2      204000   336    16    16            1167.03              4.850e+03

Resultados absolutamente a la par de los obtenidos en los nodos de Stampede 2, una configuración casi idéntica a Eulogia.
Extrapolando esta información, el conjunto de toda Eulogia arrojaría un Rmax de alrededor de 22 TFLOPS.

Nuestra computadora más potente es 36 veces más chica que la última computadora del Top500-201811.

El NAS se comparte con Mendieta a través de un enlace Infiniband.

Software

Eulogia hace provisioning a los nodos utilizando Ansible sobre la distribución de Linux CentOS 7.6. El administrador de recursos es SLURM-17.02.

El software instalado incluye:

  • Compiladores: gcc-7.3, intel-2018
  • Bibliotecas: mkl-2018, tbb-2018, libxsmm-1.9, elpa-2017.05
  • Debugging y profiling: vtune-2018, gdb-8.2
  • Comunicación: openmpi-3.1
  • Simuladores: QuantumESPRESSO-{6.2,6.2.1}, OpenFOAM-{6,v1812}, GROMACS-2018.4, LAMMPS-2018.03.16, NAMD-2.13

Materiales

  • Seminario sobre KNL y su instalación en Eulogia dictado por Carlos Bederián, 20180425.