Encender una supercomputadora

El viernes se prendió Serafín completo por primera vez. Se hicieron 2 corridas de 20 minutos del HPL de AMD para probar que todo estuviera funcionando. La prueba pasó con éxito, lo que indica que a priori todos los componentes funcionan correctamente.

El 2 de julio se encendió la chispa, por primera vez los técnicos del CCAD prendieron a través de la red de administración IPMI los 60 nodos dual EPYC 7532 que componen Serafín. Solo esto ya implica un gran paso, ya que sabemos que las 60 motherboards funcionan correctamente, así como la red de administración.

Luego se hicieron dos corridas de 20 minutos de AMD HPL, un benchmark que utiliza todos los núcleos y gran parte de la memoria RAM de los nodos. Durante estas corridas el consumo es máximo y sirve para probar otras partes de Serafín. Ahora sabemos que no hay problemas de alimentación tanto en PDUs como en cables, todos los microprocesadores funcionan, las turbinas internas de los nodos enfrían, que el sandwich CPU/compuesto/disipador tiene baja resistencia térmica, que la RAM está OK, y que el aire acondicionado del UNC Data Center está operativo.
Tal vez la única falla que se detectó es un nodo que no baja la velocidad de sus turbinas cuando no está con carga y por lo tanto sigue generando parte del ruido ensordecedor que se escucha dentro del centro de datos.

En plena corrida de HPL, el Rack 53, uno de los dos donde hay mayor densidad con 6 chasis y por lo tanto 24 nodos, acusó un consumo de 23.6 amperios. Esto indica un consumo por nodo un poco más bajo de lo esperado. Si dividimos por 6 y luego por 4 y multiplicamos por 220 voltios, da un total de 216 watts por nodo. Seguramente haremos más pruebas porque el valor está muy por debajo del TDP de cada procesador que son 200W, y cada nodo tiene 2 de estos.

Debido a la ola de frío que hay en todo el país, el UNC Data Center estaba a muy baja temperatura, y a pesar que los chasis generaban mucho calor, el aire acondicionado solo encendió en un momento y para re-circular el aire. También hay que hacer más pruebas en este aspecto, ya que los veranos resultan tórridos en Córdoba Capital.

Los próximos pasos serán mover Mulatona, Eulogia y el server de provisioning desde el Data Center de la PSI.
Ya falta menos para que podamos dar acceso a Serafín a partir de las cuentas de CCAD y utilizar este recurso tan valioso para la ciencia.