Licitación Pública para la compra de 386 mil dólares de cómputo de alto desempeño

A través de la Resolución Rectoral RR-2019-2617 del viernes pasado, el Rector de la UNC Hugo Juri convoca a la Licitación Pública para la adquisición de equipamiento de Computación de Alto Desempeño (CAD) por un monto de 386.000 dólares del proyecto PAGE que el CCAD ganó.

Este proceso se inició en marzo de este año con la presentación al Programa de Adquisición de Grandes Equipamientos (PAGE) de la UNC. Se realizó una presentación conjunta que involucra 40 investigadores y sus proyectos, 119 investigadores colaboradores, becarios y personal técnico, siendo el titular de la presentación el Dr. Marcelo Mariscal de la FCQ. Además la presentación incluyó un plan de gestión donde se detallan las potenciales demandas de la academia y la industria. En este último punto el Córdoba Technology Cluster apoyó la iniciativa manifestando la intención de utilizar el equipamiento.

El 15 de julio la comisión evaluadora calificó nuestra propuesta no solo admisible junto a otras trece propuestas, sino que fue la primera en el orden de mérito de las tres propuestas financiadas.

Ahora inicia el Proceso de Licitación con las Especificaciones Técnicas diseñadas por el Secretario Técnico del CCAD, el Lic. Carlos Bederián.
Las propuestas admisibles se ordenarán por:

  1. El equipo cuya potencia de cálculo efectiva agregada (suma de la potencia de cada nodo de cómputo) sea mayor en términos absolutos. Definimos la potencia de cálculo efectiva para este propósito como:
    P = min(LINPACK, STREAM × FLOP/byte) × Nodos
    Donde:

    1. LINPACK es la potencia de un nodo medida en GFLOPS con el benchmark HPL 2.3.
    2. STREAM​ es el ancho de banda de memoria de un nodo medida en GBps con el benchmark STREAM Triad, que utilizamos para acotar la potencia a problemas con una intensidad aritmética de hasta 8 FLOP/byte para evitar equipos desbalanceados.
  2. El equipo que presente la mejor relación posible entre la potencia de cálculo efectiva agregada y su precio.
  3. El equipo que presente la mejor relación posible entre la potencia de cálculo efectiva agregada y el consumo eléctrico expresado en GFLOPS por Watt.

Estimamos que obtendremos como mínimo un Rmax de 65 TFLOPS, con lo cual estaremos triplicando la potencia de cálculo efectiva de Eulogia (22 TFLOPS). Todo estará supeditado a obtener las mejores propuestas para poder maximizar el poder de compra. El objetivo también es poner en funcionamiento el equipo lo más rápidamente posible para poder satisfacer en parte una demanda que supera 10 veces la capacidad de cómputo que tenemos en la UNC.

Aunque representa un esfuerzo y apoyo enorme por parte de la UNC, estamos aun muy lejos de estándares mínimos. Esta computadora será aproximadamente 3 veces más lenta que Huayra Muyu del SMN (uso exclusivo para producción de pronósticos temporales) y 16 veces más lenta que la computadora más lenta del Top500 de junio 2019.

El equipamiento residirá en el nuevo UNC Data Center construido en el «bosquecito» entre la FCS y el Edificio de Campus Virtual. El sistema de archivos, será el nuevo NAS adquirido recientemente que ya se está armando con los discos de compra comunitaria, tanto los rotacionales como los de estado sólido para hacer de burst buffer.

Agradecemos a Marysol Farneda del Área Comunicaciones del Parque Científico Tecnológico por su nota en la Agencia de Noticias UNCiencia que está siendo replicada por medios locales y nacionales, dándole visibilidad al proceso.

Resultados convocatoria IPAC 4

Ya están disponibles los resultados de la cuarta convocatoria a los Proyectos IPAC del SNCAD.

Proyectos PADS

  • Turbulencia en Plasmas Espaciales, Nahuel Andrés, CSC – TUPAC.
  • Flujos de Gas en Galaxias Discoidales: origen e impacto en la actividad de formación estelar, Cecilia Scannapieco, CSC – TUPAC.
  • Reactividad de Metanol y Etanol sobre Catalizadores Bimetálicos PtCo. Estudio DFT, Alfredo Juan, CSC – TUPAC.
  • Cálculos basados en la Teoría de la Funcional Densidad para el estudio y caracterización de propiedades físicas y químicas de nuevos materiales con aplicaciones tecnológicas y remediación del medio ambiente, Arles Victor Gil Rebaza, FCEN UBA – CECAR.

Proyectos PDC

  • Cálculos de Primeros Principios Aplicados al Estudio de Caolinitas, Diego Richard, HPC ROSARIO.
  • Relación entre la estructura y la dinámica en proteínas, PDC, Dra. Cristina Marino, UNC – CCAD.
  • Interacción de Compuestos Orgánicos Bio-activos con Membranas Lipídicas, Marcelo Puiatti, FCEN UBA – CECAR.
  • Síntesis, Funcionalización y Reactividad de Materiales Bidimensionales, Patricia Paredes, GTIC CNEA.
  • Simulaciones de Nanosistemas con Defectos, Eduardo Bringa, IFIBA.
  • Desequilibrios Orden/Desorden en Alfasinucleína: mecanismos de reconocimiento de curvatura en membranas durante la formación de cuerpos de Lewy, Diego Masone, CAB CNEA.
  • Electrodinámica Force-Free: Magnetósferas de Objetos Astrofísicos Compactos, Oscar Reula, CIMEC.
  • Análisis de los efectos de la electroporación en bicapas lipídicas. Modelización de electroporos, María Laura Fernández, FCEN UBA – CECAR.
  • Cálculo de Procesos Colisionales con Aplicación en el Diagnóstico de Plasmas Astrofísicos y de Fusión, Darío Mitnik, HPC ROSARIO.

La Resolución y el Anexo con Listado de Proyectos y Puntajes ya están disponibles.

Damos también la bienvenida a Cristina Marino, y su Grupo de Bioinformática Estructural de la Fundación Instituto Leloir.

Artículo periodístico en Página 12 sobre HPC en Argentina

El diario de tirada nacional Página 12 publicó en el suplemento Universidad del día 24 de octubre el artículo «Los cerebros de la Ciencia«. En el, Ezequiel Bergonzi describe el panorama del HPC argentino con intervenciones de Esteban Mocskos (UBA, CONICET, CSC) y Nicolás Wolovick (UNC, FaMAF, CCAD).

El artículo se ilustra con una foto del UNC Data Center, una de las inversiones más importantes de los últimos dos años en este área dentro de Argentina.

Curso de LAMMPS para Simulaciones de Materia Condensada

Del 2 al 13 de diciembre la FCQ dará un curso teórico-práctico de posgrado en «Simulaciones Computacionales en Sistemas de Materia Condensada. Desde materiales hasta sistemas biológicos«.

El curso utilizará LAMMPS para realizar el modelado computacional de los sistemas, uno de los paquetes más utilizados y soportados en el CCAD-UNC, y el plantel docente se compone de power-users de nuestros clusters.

Buscando donaciones para hacer más nodos de Aprendizaje Automático

Durante 2017 y 2018 armamos de manera colectiva la computadora Nabucodonosor para usos de Aprendizaje Automático, pensando en la necesidad de brindar a la academia, la industria y a la Diplomatura en Ciencia de Datos, una herramienta potente pero fácil de alcanzar y utilizar.

Con más de 200 cuentas de usuarios, con un segundo nodo armado en mayo de este año, con dos máquinas completamente saturadas en sus seis GTX 1080 Ti, decidimos encarar el armado de más nodos.

¿Qué necesitamos? Lo mismo que pedimos para Nabu1 y Nabu2, pero actualizado para seguir la Ley de Moore: el doble de transistores para las GPUs y el doble de transistores para los dispositivos de almacenamiento.

¿Qué uso le daremos?
Potenciar aun más el NodoAI, que ya dió resultados más que positivos, apoyar la formación de recursos profesionales en machine learning, brindar más poder de cómputo para workloads científicos como visión por computadora, investigación en aprendizaje automático y dinámica molecular.

Gracias al aporte de BITLOGIC.IO, nuevamente haciendo punta en esta computadora colaborativa, ya tenemos la primera donación: uno de los dispositivos de almacenamientos de estado sólido.

Es importante remarcar que por ser la Universidad Nacional de Córdoba sujeto exento de impuesto a las ganancias, y como tiene objetivo principal la investigación científica tecnológica y la educación superior, es posible efectuar las deducciones por este concepto con un tope del 5% de la ganancia neta sujeta a impuesto.

Para más información y recepción de donaciones contactar al miembro del CCAD-UNC Nicolás Wolovick.

Aporte de usuarios: almacenamiento de estado sólido para nuevo NAS

Se adquirieron 4 dispositivos de almacenamiento de estado sólido (SSD) de alto desempeño y durabilidad. Cada unidad es un Intel Optane SSD 900p de 280 GiB de capacidad. Los discos tienen un ancho de banda de 2 GiB/s a través del bus PCIe 3.0 x4, y su durabilidad es de 5 años con 1.5 DWPD.

Estos dispositivos se utilizarán como SLOG para el mecanismo ZIL (ZFS Intent Log) del sistema de archivos Open-ZFS que tendrá el NAS de reciente adquisición, a fin de agilizar las escrituras.

Los discos resultan de aportes de los usuarios del CCAD:

También se adquirió un SSD WD Blue 1 TiB SATA3 comprado por Jorge A. Sánchez para sumar al segundo nodo de Nabucodonosor y completar los 3 TiB de almacenamiento sólido.

Visita del Secretario de Articulación Científica de la Nación al UNC Data Center

Marcos Mazzini sacó la foto, el tacho para la gotera no puede faltar.Secretario de Articulación Científica de la Nación, Agustín Campero, visitó el UNC Data Center para conocer el estado de avance de las obras.

La visita la acompañaron Patricia Paredes (representante del CIN en el consejo asesor del SNCAD y miembro del CCAD-UNC), Carla Giacomelli (Secretaria de CyT-UNC), Miguel Montes (Prosecretario de Informática-UNC) y Marcos Mazzini (CPA, CCAD-UNC).

El UNC Data Center ya cuenta con piso técnico, instalación eléctrica, racks, sistema detector y extintor de incendios y grupo electrógeno.

En total son 12 racks para el CCAD-UNC con 40 KVA de potencia cada uno y 22 racks para la PSI con 4 KVA. El piso técnico es de 1,2 mts de despeje. El sistema extintor de incendios es por agente químico con dos sistemas complementarios de detección de incendios. El grupo electrógeno son dos generadores de 200 KVA cada uno montados en configuración redundante.

El cerramiento y aires acondicionados ya fueron adjudicados y serán instalados en los próximos meses.

Ploonets, una simulación con divulgación y supercomputadoras

A principios de agosto se publicó un trabajo científico con la participación de Cristian Giuppone, Dr. en Astronomía de la UNC y usuario del CCAD.

Mario Sucerquia, Jaime A. Alvarado-Montes, Jorge I. Zuluaga, Nicolás Cuello, Cristian Giuppone, Ploonets: formation, evolution, and detectability of tidally detached exomoons, Monthly Notices of the Royal Astronomical Society, , stz2110, https://doi.org/10.1093/mnras/stz2110

Parte de este trabajo involucró el uso de los recursos del CCAD, en particular de Mulatona. Aprovechando que el trabajo recibió mucha divulgación por parte de los medios (Comunicación OAC, Clarín, Canal U, Canal 12), entrevistamos a Cristian para que nos cuente el costado HPC del paper.


CCAD: ¿El software ya estaba hecho, vos lo adaptaste o es propio?
Cristian Giuppone
: Es un soft que voy customizando de acuerdo a lo que quiera estudiar. Es básicamente un integrador n-cuerpos al que se le pueden agregar fuerzas adicionales para modelar procesos físicos y pedirle distintos tipos de salidas variando planos de referencia y orígenes de coordenadas. La versión original del código es desarrollada y mantenida por el fundador del grupo, el Dr. Cristian Beaugé, y es utilizada por todo el Grupo de Sistemas Planetarios del OAC, así como otros investigadores que han estado en contacto o colaborando con nosotros. Es el mismo código que utilizo en mi máquina personal, por lo cual puedo hacer infinitas pruebas y una vez que está ajustado/optimizado utilizo los clusters disponibles. Está escrito en Fortran, tiene unas 4000 líneas y no posee dependencias externas. He utilizado otros códigos reconocidos a nivel mundial como REBOUND o Mercury, pero me siento más a gusto modificando o acondicionando el propio.

CCAD: ¿Cómo se compara el software que usás con el resto en términos de desempeño, precisión y tipo de simulaciones que podés hacer?
CG
: En términos de desempeño, para simulaciones individuales se comporta de la misma manera. Existen módulos que no son libres de REBOUND o Mercury que trabajan más eficientemente efectos de marea, o evolución estelar (es decir acoplan parámetros físicos). Tenemos un Proyecto SECyT-UNC que apunta en esa dirección para mejorar el código y tenemos una implementación de efectos de mareas con un modelo autoconsistente que aún está en desarrollo (Cristian Beaugé). En términos de paralelización nos hemos encontrado con dificultades mayores que requieren alto conocimiento de lenguaje de alto nivel y MPI que requieren dedicación exclusiva al problema computacional. De hecho, hace unos años incursionamos con otros códigos que calculan n-cuerpos para millones de partículas, con el objeto de estudiar la dinámica en los anillos de Saturno. No obstante nunca llegamos a hacer pruebas definitivas en ninguno de los clusters del CCAD. Actualmente la alumna de Doctorado, Lic. Mondino decidió emigrar a la Universidad de Oulu (Finlandia), cambiando el enfoque de su tesis para modificar acordemente el código REBOUND tal que reproduzca efectos físicos conocidos.

CCAD: ¿De qué manera paralelizaron?
CG: La paralelización la desarrollé cuando estuve realizando mi postdoc durante 2011, en la Universidad de Aveiro (Portugal). Había recursos disponibles en la universidad, pero el software hasta esa época no funcionaba en paralelo. Dada mi formación, me costó bastante, pero lo tomé como un desafío personal. En dicho posdoc utilicé unos ejemplos que me pasaron de códigos en MPI, para utilizar las prestaciones del código en paralelo y también incluí indicadores de estructuras de resonancias como variaciones de acciones y ángulos.
Generalmente construyo mapas dinámicos para analizar estructuras de resonancias en sistemas de n-cuerpos por lo cual, cada punto en mi mapa dinámico es una corrida independiente del código. En los problemas que generalmente estudiamos, el número de cuerpos es reducido (3 a 7) y nos interesa mucho la posición exacta de cada órbita sin suavizar los potenciales durante cientos de miles de períodos del sistema. En la Universidad de Aveiro el sistema de distribución de tareas era muy interesante: cada facultad aportante de dinero para el cluster tenía asignado un proporcional de nodos a su disposición siempre; si los nodos estaban ociosos eran liberados para todos los usuarios. En el caso de que todos los nodos de un grupo estuvieran siendo utilizados por otro grupo y se necesitaba hacer uso, se recibía un email del administrador que solicitaba anular los trabajos y uno tenía una ventana de tiempo para hacerlo. De esta forma el usuario no debía esperar más de unas pocas horas para utilizar el cluster. También con esta forma de trabajo aprendí a ser solidario con el uso de los recursos y no acapararlos todos para mí, cuando sé que hay otras personas esperando para sus simulaciones.

CCAD: ¿Cuál es la Eficiencia Paralela?
CG
: El nivel de eficiencia es lineal con la cantidad de nodos (parallel efficiency = 1), porque cada nodo corre su propia versión del programa. Si utilizo 56 nodos, ¡la tarea es 56 veces más rápida! Hay que tener mucho cuidado de meterle presión al filesystem, porque podemos escribir demasiados archivos o abrir demasiados archivos a la vez y de esa forma saturar el ancho de banda de discos o incluso llenarlos afectando a todos los otros usuarios del cluster. Este tipo de problemas es recurrente en usuarios que no prestan demasiada atención a esos detalles.

CCAD: ¿Qué compilador y opciones de optimización usás?
CG: A ver, he encontrado muy buenas prestaciones compilando con

mpif90 -o -O3 ejecutable simulacion.f

es decir el wrapper MPI del compilador GNU Fortran. En un principio utilizaba mpifortran de Intel pero luego me mudé porque no conseguía una versión para correr en mis computadoras personales. Una mejora en prestaciones de una 10 veces para integradores con paso adaptativo (tanto BS como RK7/8) es cuantificable con la opción -O3. La integración de órbitas que poseen mucho caos no tienen los mismos resultados con -O3 que sin esa opción, pero como estudio espacios de parámetros y dinámica global del sistema, es algo que incluso cambiando de servidor o de computadora, arrojará resultados diferentes.

CCAD: ¿Cuál fue aproximadamente la cantidad de horas/core de cálculo en total?
CG: Normalmente mis tareas corren unas 8 a 12 hs en unos 24 a 56 nodos. La labor de investigación requiere estudiar distintos planos representativos, muchas veces sólo una reducida parte de los cálculos se ve reflejada en los resultados obtenidos.
Durante el último año y medio he corrido 250000 horas/core en los clusters Mulatona y Clemente (cluster interno del IATE), de los cuales un 20% son del paper de Ploonets y hay un alto porcentaje de otros papers que salieron este último tiempo como órbitas polares alrededor de binarias o estudio de la evolución de los satélites de Saturno.

CCAD: ¿Mucha RAM o poca RAM?
CG: La cantidad de memoria RAM es de unos 2 GiB a la hora de compilar. La compilación dura unos 30 segundos. Luego el uso de RAM en la simulación es despreciable.

CCAD: ¿Usaron bibliotecas? ¿Cuáles?
CG: Algunas subrutinas del Numerical Recipes son utilizadas, pero no bibliotecas.

CCAD: ¿Cómo te sentís corriendo en CCAD y cómo se compara con otras experiencias de uso de recursos de HPC?
CG: Tengo muy buena relación con Darío Graña que me ha ayudado muchas veces con los inconvenientes y otra gente de IATE que tiene mucho mejor conocimiento en paralelización (Dante Paz, Marcelo Lares, Federico Stasyszyn). En otros clusters suelen tener ejemplos de programas para que los usuarios indaguen un poco y ejemplos de los scripts para ejecutar tal cual están subidos. De hecho muchas veces me ha pasado que actualizan los sistemas, nos dejan sin alguna biblioteca que anda y renegamos un tiempo hasta que descubrimos como solucionarlo. Pero siempre he encontrado buena disposición del equipo de CCAD y aprecio el trabajo que hace todo el equipo.
Creo que falta información para los usuarios de que es efectivo y que no, corriendo en un cluster del tamaño de los que tenemos. Obvio que me gustaría hacer una simulación de la evolución del universo o de la dinámica de partículas en anillos de Saturno por largo tiempo, pero soy consciente de las limitaciones propias. A veces una computadora personal con buenas prestaciones puede realizar el trabajo. A veces el sistema es tan complejo que la capacidad de CCAD no alcanza, y sería bueno buscar convenios internacionales que permitan utilizar computadoras más potentes.

CCAD: Muchas gracias Cristian por la predisposición para divulgar el uso del HPC y nuestros equipos.
CG: Gracias a ustedes y les dejo una breve explicación de que objetos simulamos y que buscamos.


Análisis de algunas de las simulaciones de Ploonets

Pensemos en un sistema con marco de referencia en el planeta como Neptuno, ubicado a 0.5 unidades astronómicas de su estrella el Sol. Para cada uno de estos sistemas generaremos condiciones iniciales con una lunita alrededor de la masa de Titán a distintas distancias de su planeta (eje x) y distintas orientaciones respecto a la posición de la estrella (eje y). El esquema básico de nuestro estudio seríaLa imagen que continúa representa cada una de las condiciones iniciales que exploramosEsta distribución de condiciones iniciales implica que nuestro programa se ejecutará 14600 veces. Cada integración demora unos 40 segundos en ejecutarse para monitorear el comportamiento de cada sistema por unas 100000 veces el período orbital del sistema. Para obtener todo el mapa dinámico necesitamos unas 162 horas. Si ejecutamos en 48 nodos, sólo esperaremos 3.4 horas para completar las corridas.

En cada integración se analiza la variación de la órbita de la lunita, su configuración final y muchos otros cuantificadores de órbita. Es así que se construyen los mapas dinámicos de las figuras siguientes:


La primera usa como escala de color la variación de la excentricidad de la luna durante la integración. Aquellas órbitas más regulares son las que tienen ese indicador menor a 1. En el caso de la segunda imagen, se usan las mismas integraciones, pero la escala de color corresponde al tipo de configuración que se obtuvo: el color 19 indica órbitas estables alrededor del planeta, el color celeste indica aquellas lunas que escaparon del sistema y el color rojo es una mezcla de 2 tipos de configuraciones: aquellas que alternativamente orbitan al planeta o a la estrella y aquellas que se convierten en ploonets.

Refrencias
Paper ploonets: [pago] [libre]
Paper orbitas polares: [pago] [libre]

Minicurso de HPC en el Centro Atómico Bariloche

Del 5 al 7 de agosto, Carlos Bederián y Nicolás Wolovick, miembros del CCAD, fueron invitados por la Gerencia de Física del Centro Atómico Bariloche a dar un curso de HPC. Originalmente se pensó para la Gerencia de Física, pero rápidamente se abrió a otras y tuvimos cerca de 60 investigadores de la CNEA anotados para tomar el curso.

El curso fue horizontal en vez de vertical. ¿Qué significa esto? Bueno, en vez de dar un solo tema profundo, se tocaron muchísimos temas sencillos, pero que hacen al día a día de la computación de alto desempeño.

 - Dilbert by Scott Adams

¿Cómo funciona una arquitectura de CPU/GPU moderna? ¿Qué tipos de paralelismo hay en ellas? ¿Cuáles son sus límites? ¿Cómo es posible medir si estamos utilizando bien los 10⁹ transistores que lo componen? Se vieron ejemplos prácticos de uso y se dejó en claro que la low hanging fruit es suficiente en HPC para lograr un rendimiento razonable con poco trabajo.

El trabajo se dividió en 5 sesiones:

Durante la tarde del miércoles 7 de agosto tuvimos una reunión plenaria con un tópico particular «¿Qué hacer en el CAB para potenciar HPC?». Allí, moderado por Ezequiel Ferrero y Alejandro Kolton, contamos la experiencia de CCAD respecto al difícil balance entre utilización plena de recursos, generación de demanda en HPC, retención de esa demanda y sobre todo como hacer HPC en contextos presupuestarios adversos. El Gerente de Física, Alejandro Fainstein y el SysAdmin de los clusters de la Gerencia Gustavo Berman, estuvieron presentes en la reunión, brindando apoyo para que HPC sea un tema estratégico dentro del Centro Atómico.

Nueva compra comunitaria, baterías para la UPS

Ya está operativa la APC Smart-UPS XL 3000VA con su XL 48V Battery Pack que permite saltar cortes de luz de hasta una hora y media (1.5 hs) en el NAS y rack de servicios, o bien apagarlos de manera ordenada si el tiempo de apagón es mayor.

Las baterías estaban completamente agotadas y en la foto se puede ver que ya estaban hinchadas y con riesgo de rajarse y tener pérdidas de ácidos que pueden dañar los equipos.

El conjunto de UPS+BatteryPack necesita 4+8=12 baterías 12V 18A/H. Los baterías fueron una compra comunitaria con subsidios de los investigadores:

Las baterías fueron cambiadas y calibradas dentro de la UPS por el Taller de Electrónica de FaMAF, como un servicio para el CCAD-UNC.