Con un aporte de R$ 63M (14.4M USD) provenientes del 1% del valor bruto de la producción anual de petróleo del Campo de Mero en la Cuenca de Santos bajo el Consorcio de Libra, el Laboratório Nacional de Computação Científica (LNCC) en Petrópolis, Brasil, compró nuevo equipamiento para HPC.
La asignación de recursos para actividades de investigación y desarrollo forma parte de las obligaciones del contrato de reparto de la producción de petróleo.
Con este aporte se adquirieron 4 componentes principales:
- Célula BullSequana X1000 con 94 blades X1120 SKL de 3*(2*Xeon 6252).
- Célula BullSequana X1000 con 94 blades X1125 GPU de 2*Xeon 6252+4*Tesla V100.
- 4 servidores de visualización BullSequana X410 de 2*Xeon 6152+4*Tesla V100.
- Almacenamiento de 1 PiB en crudo con Lustre.
Gabinete de Cómputo X1000, hay 2 iguales
Módulo CPU
Módulo CPUX1120 con 3 nodos 2*Xeon 6252
Cada Xeon 6252 tiene dos unidades FMA AVX-512 en cada uno de sus 24 núcleos, que cuando están todos activos permite una frecuencia máxima de 2 GHz según las turbo tables que da el fabricante. Esto totaliza 2*2*(512/64)*24*2 = 1536 GFLOPS por socket de doble presición pico.
Con 3*2 procesadores por blade se obtiene 9.216 TFLOPS en cada uno. Todo el gabinete eroga entonces 866.304 TFLOPS. Esto lo pone bien lejos del mínimo del TOP500-Nov19, ya que con una eficiencia aproximada del 95% para este tipo de procesadores en DGEMM, no llega a los 1293 TFLOPS Rpeak mínimo.
Módulo GPU X1125 con 2*Xeon 6252 + 4*V100Módulo GPU
Módulo GPU
Cada V100 SXM2 tiene una potencia pico en fp64 de 7.45 TFLOPS, con lo cual sumando las 4 GPUs y las 2 CPUs cada blade totaliza 32.87 TFLOPS.
Todo el gabinete con sus 94 blades suma 3.09 PFLOPS Rpeak de doble precisión. Para este gabinete se corrió HPL y esta medida es la que le permitió a Brasil volver al TOP500 con el puesto #193 en el ranking de noviembre de 2019.
Los números que se consignan en el ranking son 1.84 y 2.72 de Rmax y Rpeak, lo que indica que para HPL solo se utilizaron las V100 (94*4*7.45 = 2.8 PFLOPS pico).
Notas periodísticas
- «Brazilian supercomputer back on Top 500 list after funding boost«, ZDNet, 20191127.
- «Supercomputador do LNCC se torna a maior plataforma computacional da América Latina«, G1, Globo, 20191125.
- «LNCC expands capacity supercomputer processing Santos Dumont PFLOPS 1.1 to 5.1 PFLOPS«, LNCC, 20191122.
