Guacolda llega al NLHPC de Chile

El pasado 15 de enero, se inauguró en el NLHPC de la Universidad de Chile el cluster Guacolda (2019) que se suma a Leftraru (2014), con una inversión cercana a 630.000 USD.

Guacolda es una mezcla de tres tipos de unidades.

La conexión es infiniband FDR de 56 Gbps y tiene 312 TiB de almacenamiento Lustre a través de un equipo DDN EXAScaler.

Respecto al cómputo puro, los 37U de espacio en rack contienen 118 pastillas Intel Gold 6152 que totalizan 2596 núcleos Skylake. Teniendo en cuenta la documentación «Intel ® Xeon ® Processor Scalable Family, Specification Update, November 2019«, se indica que para los 22 núcleos funcionando con AVX-512 la frecuencia máxima es de 2.0 GHz con una frecuencia base de 1.4 GHz. Suponiendo condiciones inmejorables de disipación de calor y poca corriente de fuga, la Rpeak por pastilla es de 22*4*(512/64)*2.0GHz = 1408 GFLOPS en frecuencia máxima y 22*4*(512/64)*1.4 GHz = 985.6 GFLOPS en base frequency. El conjunto de 118 processor SKUs erogan un Rpeak de 166 TFLOPS a máxima frecuencia y como mínimo tiene 116 TFLOPS. Con una eficiencia aproximada de 0.94 en HPL para estos procesadores, el Rmax está en un rango de 109 a 156 TFLOPS.

Teniendo en cuenta las 4 Tesla V100 que tienen un Rpeak de 7 TFLOPS y Rmax de 5 TFLOPS, el conjunto total debería erogar un máximo de 176 TFLOPS Rmax.

Ginés Guerrero, Director Ejecutivo del NLHPC, gentilmente nos facilitó el HPL.dat que arrojó 111 TFLOPS efectivos de Rmax de CPU pura. También nos facilitó una muy buena galería de fotos.

Adjudicación Período de Uso Exclusivo CCAD, verano 2020

Luego de analizar los pedidos de uso exclusivo realizamos la asignación del área de cómputo 32 nodos * 45 días de la siguiente forma, totalizando 1440 días*nodo de cómputo exclusivo.

Como en el período de uso exclusivo invierno 2019, la asignación de recursos computacionales es con prioridad. Si los adjudicados no están utilizando o quedan huecos de cualquier tipo, los usuarios fuera de este mosaico tendrán tiempo de ejecución.

Llamado uso exclusivo, verano 2019-2020

Se llama a propuestas para el período de uso intensivo y exclusivo de parte de los recursos computacionales del CCAD durante el receso de verano de la UNC, 6/12/2019 al 26/1/2020 inclusive.
Este llamado está destinado a quienes utilizan habitualmente los recursos pero cuentan con simulaciones cuya demanda de recursos provoca una gran espera con la carga normal de trabajos (30 días).

Además se promueve el uso multinodo, por lo que sólo se aceptarán pedidos que hagan uso conjunto de al menos dos nodos con buen scaling (todo los paquetes científicos que hacen uso MPI como QE, LAMMPS, GROMACS, OpenFOAM, escalan bien).

Para los usuarios beneficiarios se dispondrán colas exclusivas en SLURM con preemption, lo que significa que en caso de que no se utilicen los recursos, se podrá continuar con la ejecución de los trabajos de la cola general.
El resto de las facilidades (Mulatona y Mendieta fase 1) podrán ser utilizadas normalmente como se viene haciendo.

Los recursos disponibles son:
Eulogia: 20 nodos KNL con 64 o 68 cores y 96 GiB de RAM por nodo.
Mendieta: 11 nodos con 2 * Intel Xeon E5-2680 v2 de 10 cores cada uno a 2.8 GHz. 64 GiB de RAM por nodo.

Fechas:
Postulacion:
desde jueves 5/12 hasta el miércoles 11/12.
Comunicado de resultados:
Viernes 13/12.
Pruebas de escalabilidad multinodo:
16/12 – 22/12.
Uso exclusivo:
23/12 – 26/1/2020.

El pedido deberá ser formalizado a través del siguiente formulario.

Brasil vuelve al TOP500 con una Santos Dumont renovada

Con un aporte de R$ 63M (14.4M USD) provenientes del 1% del valor bruto de la producción anual de petróleo del Campo de Mero en la Cuenca de Santos bajo el Consorcio de Libra, el Laboratório Nacional de Computação Científica (LNCC) en Petrópolis, Brasil, compró nuevo equipamiento para HPC.

La asignación de recursos para actividades de investigación y desarrollo forma parte de las obligaciones del contrato de reparto de la producción de petróleo.

Con este aporte se adquirieron 4 componentes principales:

Gabinete de Cómputo X1000, hay 2 iguales

Módulo CPU

Módulo CPUX1120 con 3 nodos 2*Xeon 6252

Cada Xeon 6252 tiene dos unidades FMA AVX-512 en cada uno de sus 24 núcleos, que cuando están todos activos permite una frecuencia máxima de 2 GHz según las turbo tables que da el fabricante. Esto totaliza 2*2*(512/64)*24*2 = 1536 GFLOPS por socket de doble presición pico.

Con 3*2 procesadores por blade se obtiene 9.216 TFLOPS en cada uno. Todo el gabinete eroga entonces 866.304 TFLOPS. Esto lo pone bien lejos del mínimo del TOP500-Nov19, ya que con una eficiencia aproximada del 95% para este tipo de procesadores en DGEMM, no llega a los 1293 TFLOPS Rpeak mínimo.

Módulo GPU X1125 con 2*Xeon 6252 + 4*V100Módulo GPU

Módulo GPU

Cada V100 SXM2 tiene una potencia pico en fp64 de 7.45 TFLOPS, con lo cual sumando las 4 GPUs y las 2 CPUs cada blade totaliza 32.87 TFLOPS.

Todo el gabinete con sus 94 blades suma 3.09 PFLOPS Rpeak de doble precisión. Para este gabinete se corrió HPL y esta medida es la que le permitió a Brasil volver al TOP500 con el puesto #193 en el ranking de noviembre de 2019.
Los números que se consignan en el ranking son 1.84 y 2.72 de Rmax y Rpeak, lo que indica que para HPL solo se utilizaron las V100 (94*4*7.45 = 2.8 PFLOPS pico).

Notas periodísticas

Curso de posgrado usando ADF para Química Orgánica y Organometálica

Del 2 al 6 de diciembre el Dr. Diego Andrada de la la Universitat des Saarlandes, en Alemania (https://inorg-comp-chem.com) dará un curso de posgrado en la FQC sobre «Métodos Computacionales en Química Orgánica y Organometálica».

El programa tiene 8 temas (Introducción, Métodos Mecano-cuánticos I, Métodos Mecano-cuánticos II, Modelos de Solvente, Aplicación del Modelado al estudio de Reacciones Orgánicas, Predicción de Propiedades Químicas, Estudios de Sistemas Organométalicos y Fotoquímica Computacional) y 4 trabajos prácticos (Análisis Normal. Propiedades Moleculares y Reactividad, Estudio de mecanismos de reacción empleando DFT. SEP, Sistemas organometálicos. Análisis y descripción del enlace, Estado excitado. Absorvancia/Fluorescencia.)

Los trabajos prácticos serán sobre el software Amsterdam Density Function (ADF) que lo produce y mantiene una empresa spinoff de la VU de Amsterdam.

Licitación Pública para la compra de 386 mil dólares de cómputo de alto desempeño

A través de la Resolución Rectoral RR-2019-2617 del viernes pasado, el Rector de la UNC Hugo Juri convoca a la Licitación Pública para la adquisición de equipamiento de Computación de Alto Desempeño (CAD) por un monto de 386.000 dólares del proyecto PAGE que el CCAD ganó.

Este proceso se inició en marzo de este año con la presentación al Programa de Adquisición de Grandes Equipamientos (PAGE) de la UNC. Se realizó una presentación conjunta que involucra 40 investigadores y sus proyectos, 119 investigadores colaboradores, becarios y personal técnico, siendo el titular de la presentación el Dr. Marcelo Mariscal de la FCQ. Además la presentación incluyó un plan de gestión donde se detallan las potenciales demandas de la academia y la industria. En este último punto el Córdoba Technology Cluster apoyó la iniciativa manifestando la intención de utilizar el equipamiento.

El 15 de julio la comisión evaluadora calificó nuestra propuesta no solo admisible junto a otras trece propuestas, sino que fue la primera en el orden de mérito de las tres propuestas financiadas.

Ahora inicia el Proceso de Licitación con las Especificaciones Técnicas diseñadas por el Secretario Técnico del CCAD, el Lic. Carlos Bederián.
Las propuestas admisibles se ordenarán por:

  1. El equipo cuya potencia de cálculo efectiva agregada (suma de la potencia de cada nodo de cómputo) sea mayor en términos absolutos. Definimos la potencia de cálculo efectiva para este propósito como:
    P = min(LINPACK, STREAM × FLOP/byte) × Nodos
    Donde:

    1. LINPACK es la potencia de un nodo medida en GFLOPS con el benchmark HPL 2.3.
    2. STREAM​ es el ancho de banda de memoria de un nodo medida en GBps con el benchmark STREAM Triad, que utilizamos para acotar la potencia a problemas con una intensidad aritmética de hasta 8 FLOP/byte para evitar equipos desbalanceados.
  2. El equipo que presente la mejor relación posible entre la potencia de cálculo efectiva agregada y su precio.
  3. El equipo que presente la mejor relación posible entre la potencia de cálculo efectiva agregada y el consumo eléctrico expresado en GFLOPS por Watt.

Estimamos que obtendremos como mínimo un Rmax de 65 TFLOPS, con lo cual estaremos triplicando la potencia de cálculo efectiva de Eulogia (22 TFLOPS). Todo estará supeditado a obtener las mejores propuestas para poder maximizar el poder de compra. El objetivo también es poner en funcionamiento el equipo lo más rápidamente posible para poder satisfacer en parte una demanda que supera 10 veces la capacidad de cómputo que tenemos en la UNC.

Aunque representa un esfuerzo y apoyo enorme por parte de la UNC, estamos aun muy lejos de estándares mínimos. Esta computadora será aproximadamente 3 veces más lenta que Huayra Muyu del SMN (uso exclusivo para producción de pronósticos temporales) y 16 veces más lenta que la computadora más lenta del Top500 de junio 2019.

El equipamiento residirá en el nuevo UNC Data Center construido en el «bosquecito» entre la FCS y el Edificio de Campus Virtual. El sistema de archivos, será el nuevo NAS adquirido recientemente que ya se está armando con los discos de compra comunitaria, tanto los rotacionales como los de estado sólido para hacer de burst buffer.

Agradecemos a Marysol Farneda del Área Comunicaciones del Parque Científico Tecnológico por su nota en la Agencia de Noticias UNCiencia que está siendo replicada por medios locales y nacionales, dándole visibilidad al proceso.

Resultados convocatoria IPAC 4

Ya están disponibles los resultados de la cuarta convocatoria a los Proyectos IPAC del SNCAD.

Proyectos PADS

  • Turbulencia en Plasmas Espaciales, Nahuel Andrés, CSC – TUPAC.
  • Flujos de Gas en Galaxias Discoidales: origen e impacto en la actividad de formación estelar, Cecilia Scannapieco, CSC – TUPAC.
  • Reactividad de Metanol y Etanol sobre Catalizadores Bimetálicos PtCo. Estudio DFT, Alfredo Juan, CSC – TUPAC.
  • Cálculos basados en la Teoría de la Funcional Densidad para el estudio y caracterización de propiedades físicas y químicas de nuevos materiales con aplicaciones tecnológicas y remediación del medio ambiente, Arles Victor Gil Rebaza, FCEN UBA – CECAR.

Proyectos PDC

  • Cálculos de Primeros Principios Aplicados al Estudio de Caolinitas, Diego Richard, HPC ROSARIO.
  • Relación entre la estructura y la dinámica en proteínas, PDC, Dra. Cristina Marino, UNC – CCAD.
  • Interacción de Compuestos Orgánicos Bio-activos con Membranas Lipídicas, Marcelo Puiatti, FCEN UBA – CECAR.
  • Síntesis, Funcionalización y Reactividad de Materiales Bidimensionales, Patricia Paredes, GTIC CNEA.
  • Simulaciones de Nanosistemas con Defectos, Eduardo Bringa, IFIBA.
  • Desequilibrios Orden/Desorden en Alfasinucleína: mecanismos de reconocimiento de curvatura en membranas durante la formación de cuerpos de Lewy, Diego Masone, CAB CNEA.
  • Electrodinámica Force-Free: Magnetósferas de Objetos Astrofísicos Compactos, Oscar Reula, CIMEC.
  • Análisis de los efectos de la electroporación en bicapas lipídicas. Modelización de electroporos, María Laura Fernández, FCEN UBA – CECAR.
  • Cálculo de Procesos Colisionales con Aplicación en el Diagnóstico de Plasmas Astrofísicos y de Fusión, Darío Mitnik, HPC ROSARIO.

La Resolución y el Anexo con Listado de Proyectos y Puntajes ya están disponibles.

Damos también la bienvenida a Cristina Marino, y su Grupo de Bioinformática Estructural de la Fundación Instituto Leloir.

Artículo periodístico en Página 12 sobre HPC en Argentina

El diario de tirada nacional Página 12 publicó en el suplemento Universidad del día 24 de octubre el artículo «Los cerebros de la Ciencia«. En el, Ezequiel Bergonzi describe el panorama del HPC argentino con intervenciones de Esteban Mocskos (UBA, CONICET, CSC) y Nicolás Wolovick (UNC, FaMAF, CCAD).

El artículo se ilustra con una foto del UNC Data Center, una de las inversiones más importantes de los últimos dos años en este área dentro de Argentina.

Curso de LAMMPS para Simulaciones de Materia Condensada

Del 2 al 13 de diciembre la FCQ dará un curso teórico-práctico de posgrado en «Simulaciones Computacionales en Sistemas de Materia Condensada. Desde materiales hasta sistemas biológicos«.

El curso utilizará LAMMPS para realizar el modelado computacional de los sistemas, uno de los paquetes más utilizados y soportados en el CCAD-UNC, y el plantel docente se compone de power-users de nuestros clusters.

Buscando donaciones para hacer más nodos de Aprendizaje Automático

Durante 2017 y 2018 armamos de manera colectiva la computadora Nabucodonosor para usos de Aprendizaje Automático, pensando en la necesidad de brindar a la academia, la industria y a la Diplomatura en Ciencia de Datos, una herramienta potente pero fácil de alcanzar y utilizar.

Con más de 200 cuentas de usuarios, con un segundo nodo armado en mayo de este año, con dos máquinas completamente saturadas en sus seis GTX 1080 Ti, decidimos encarar el armado de más nodos.

¿Qué necesitamos? Lo mismo que pedimos para Nabu1 y Nabu2, pero actualizado para seguir la Ley de Moore: el doble de transistores para las GPUs y el doble de transistores para los dispositivos de almacenamiento.

¿Qué uso le daremos?
Potenciar aun más el NodoAI, que ya dió resultados más que positivos, apoyar la formación de recursos profesionales en machine learning, brindar más poder de cómputo para workloads científicos como visión por computadora, investigación en aprendizaje automático y dinámica molecular.

Gracias al aporte de BITLOGIC.IO, nuevamente haciendo punta en esta computadora colaborativa, ya tenemos la primera donación: uno de los dispositivos de almacenamientos de estado sólido.

Es importante remarcar que por ser la Universidad Nacional de Córdoba sujeto exento de impuesto a las ganancias, y como tiene objetivo principal la investigación científica tecnológica y la educación superior, es posible efectuar las deducciones por este concepto con un tope del 5% de la ganancia neta sujeta a impuesto.

Para más información y recepción de donaciones contactar al miembro del CCAD-UNC Nicolás Wolovick.

Donaciones Recibidas

201911: Oixxio, 1*RTX 2080 Ti.
201910: BITLOGIC.IO, 1*SSD 2TiB