El LNCC de Petrópolis, Brasil, está terminando la instalación de Santos Dumont, una supercomputadora cuya capacidad pico agregada supera el PetaFLOPS de potencia de cálculo (1018 operaciones de punto flotante por segundo), lo que la convierte en la supercomputadora más potente por debajo del Río Bravo.
La máquina está dividida en 4 secciones:
- CPU+K40: #146 Top500 06/2015
- CPU+XeonPhi: #178 Top500 06/2015
- CPU: #208 Top500 06/2015
- Fat-node: 16 Ivy Bridge (15 cores), 6 TiB RAM (24 TiB max), ccNUMA
Lo que más llama la atención es la densidad de cómputo y el sistema de refrigeración.
Cada rack incorpora 4 filas de 9 blades, donde en cada blade se acomodan 2 placas madre con 2 procesadores de 12 núcleos, totalizando 1728 núcleos IvyBridge por rack. En comparación en nuestro cluster Mendieta (2012) tenemos 408 núcleos por rack y en el cluster Cristina (2008) unos 128 núcleos por rack.
Los blades con aceleradores (K40 o Xeon Phi 7120P) contienen además de la aceleradora, 2 procesadores de 12 núcleos.
En la parte superior de los racks están las fuentes de alimentación hotswap y en la parte inferior el conexionado de red y refrigeración.
La refrigeración es por circulación de agua y tiene dos circuitos, uno de agua templada (entrada 30-35 grados, salida 45 grados, caño marrón) y el otro de agua fría (entrada 7 grados, salida 20 grados, caño negro aislado térmicamente). El circuito de agua templada es el que enfría los cool plates de los blades que se pueden ver de color aluminio a la derecha. En realidad el circuito caliente intercambia calor con un circuito interno independiente que utiliza un líquido especial para mejorar la conductividad del calor. El circuito frío es para absorber la temperatura del resto de los componentes: red, almacenamiento, fat-node.
El fat-node es interesante ya que es un SMP (symetric multi-processor) masivo de 16 sockets de 15 núcleos con una cantidad muy grande de memoria. Para esto se tuvo que implementar en chip el protocolo que permite comunicar los distintos buses QPI de cada uno de los sockets IvyBridge.
Agradecemos a Gerardo Ares, Ing. en Computación del INCO/UdelaR que está trabajando en Bull/Atos por la excelente predisposición para mostrarnos la computadora.
