Huayra Muyu, el cluster del SMN es #1 en Argentina

(c) Peter Feibert

En la cosmogonía Inca se hace culto a cuatro vientos. El Huarya Muyu o viento circular, es el que anuncia inminentes lluvias y se considera un buen augurio. Asi se denominó al nuevo cluster #1 de Argentina. El Servicio Metereológico Nacional ya tiene en funcionamiento a su remolino, 370.4 TFLOPS de procesamiento dedicado para pronósticos metereológicos.

La (super)computadora llega a través del concurso CyT Alerta que lanzara en diciembre de 2017 por un monto de 60 millones de pesos argentinos. El proyecto se adjudicó a un consorcio público-privado constituído por SMN, CIMA-UBA-CONICET, Frontec e INVAP.
El proceso de compra fue adjudicado a la empresa Lenovo, que fue la que mejor se ajustó a lo que el consorcio necesitaba: costos, consumo, soporte continuo, llave en mano, benchmarks predefinidos sobre WRF y experiencia en TOP500.

Los 3 racks y la UPS llegaron armados a Argentina, y luego de una ampliación del datacenter del SMN que se encuentra en CABA pegadito al Aeropuerto Jorge Newbery, se instaló el equipamiento, que para inicios de diciembre, ya estaba en la fase final de puesta a punto. Al momento de publicar esta nota los técnicos de Lenovo expertos en WRF ya realizaron la certificación final de los benchmarks e hicieron entrega a los técnicos e investigadores del SMN esta importante herramienta de pronóstico metereológico.

El hardware

Huayra Muyu se compone de 128 nodos 2U, cada uno con 2 Xeon Gold 6142, 96 GiB RAM DDR4-2666, red Omni-Path para comunicación de procesos y 10 GigE para red de datos y administración. Tiene un consumo pico de 91 kVA y está refrigerado con el sistema in-row cooling de 40KW y 136485 BTU. Tiene un rack con una UPS de 150 kVA para lograr un shutdown ordenado en caso de que los dos grupos electrógenos externos fallen. El sistema de almacenamiento es un IBM Spectrum Scale DSS-G de 1.29 PiB concentrado en 4 cajones que manejan 166 discos de 8 TiB SAS manejados por el sistema de archivos GPFS, nos detalla Pablo Loyber del SMN.

Todo esto suma una potencia pico de cálculo (Rmax) de 370.4 TFLOPS en double precision, posicionándola un orden de magnitud por arriba de cualquier otra máquina en Argentina. Lo más cercano podría ser TUPAC con 54 TFLOPS, Eulogia con 37 TFLOPS y Pirayú con 26 TFLOPS, con lo cual Huayra Muyu representa un importante salto hacia adelante.

El uso

La #1 en Argentina será un caso diferente a la mayoría de los clusters que conocemos, ya que forma parte de una cadena de producción de pronósticos metereológicos, por lo que su uso será exclusivo. No se correrá otra cosa que Weather Research and Forecasting (WRF) Model; nada de GROMACS, QuantumEspresso, u OpenFOAM para desilusión del sistema científico en general.

Yanina Skabar del SMN nos indicó que inicialmente no se refinará la grilla de aproximadamente 4Km de resolución, pero si se aumentará la cantidad de ensambles de predicción que actualmente es determinístico (1 solo) a más de 20, con lo cual se podrá cuantificar la incertidumbre del pronóstico. Además se bajará el tiempo corrida del pronóstico de 3hs a 0.5hs. La Dra. Skabar también comentó que se irá a generar condiciones iniciales propias a través de asimilación de datos y pronósticos de corto plazo en vez de depender de datos del Global Forecast System que usa el NCEP de EEUU, generando valor agregado en los pronósticos.

Aunque el almacenamiento parece desproporcionado (1.29 PiB), Yanina comenta que es chico ya que cada corrida determinística genera 200 GiB que multiplicado por 4 pronósticos diarios y 20 días, ya generan 16 TiB de datos por mes. Solo multiplicando por los 20 ensambles, entendemos rápidamente que el problema de resguardo para hacer calibraciones, es altamente demandante en espacio también.

Actualización

El 20 de febrero visitamos Huayra Muyu en la sede CABA del SMN. Todo el equipo nos recibió y estuvimos charlando y visitando el #1 de Argentina.
¡Muchas gracias Yanina Skabar y Pablo Loyber!

Notas de prensa

• «Dos nuevas supercomputadoras argentinas ayudarán a predecir el sistema caótico del tiempo«, La Nación, 12 de diciembre 2019.
• «Presentan una supercomputadora para mejorar los pronósticos meteorológicos«, Perfil, 12 de octubre 2019.