Workshop en Técnicas de Programación Científica llega a la UNC

El Workshop en Técnicas de Programación Científica (WTPC) se realizará este año en la UNC, más específicamente en la Facultad de Ciencias Químicas.

El WTPC es un curso intensivo de dos semanas (80 horas en total), orientado a estudiantes e investigadores en formación que posean nociones básicas de programación, para obtener estrategias y buenas prácticas en el diseño de software científico (GIT, Python, línea de comandos, C, Fortran, debugging, profiling, documentación)

Para inscribirse, completar el siguiente formulario. Las inscripciones son hasta el viernes 31 de mayo.
Más información en http://wtpc.github.io/

Alumno de la UNC obtiene GSoC para «Optimizador de Código para R»

Juan Cruz Rodriguez es alumno del Doctorado en Ciencias de la Computación de FaMAF-UNC bajo la dirección de Elmer Fernández (UCC). Recientemente dictó junto a CPA-CONICET Marcos Mazzini el curso «R en el CCAD«.

Durante la GSoC 2019 Juan Cruz presentó la propuesta «R Code Optimizer» que fue aceptada y comenzará a trabajar desde el 27 de mayo en el optimizador de código para R.

La propuesta es simple, clara y extremadamente útil para una comunidad cada vez más grande de usuarios.

R is slow compared to other popular languages. “The R interpreter is not fast and execution of large amounts of R code can be unacceptably slow”. This is because “R was purposely designed to make data analysis and statistics easier for you to do. It was not designed to make life easier for your computer”. Although there are several R interpreters that attempt to improve execution speed, “switching interpreters is something to consider carefully”.

“Beyond performance limitations due to design and implementation, it has to be said that a lot of R code is slow simply because it’s poorly written. Few R users have any formal training in programming or software development. This means that it’s relatively easy to make most R code much faster”. “A good deal of work is going into making R more efficient. Much of this work consists of reimplementing interpreted R code”.

The main goal of this project is to provide an R package with functions that allow users to automatically apply strategies to optimize their R code. The developed functions will have as input and output R code so that the resulting code will allow the user to understand what modifications in the code cause its optimization.

Felicitamos a «Cancu» por su logro y esperamos que su contribución sea parte de R y que esto implique un uso más eficiente de los recursos computacionales actuales.

Eulogia y el trabajo del CCAD reseñados en Nature

Scientific Computing With Limited ResourcesLa revista Nature en su volúmen 569 del 2 de mayo de 2019, entrevistó al Dr. Nicolás Wolovick miembro del CCAD-UNC sobre como hacemos para sostener una infraestructura de HPC decente con un magro presupuesto.

Agradecemos al periodista Charles Q. Choi por mostrar el trabajo que realizamos, y a Lorena Barba y Natalia Clementi de la GWU por el contacto.

Las palabras de uno de nuestros técnicos resume nuestro trabajo y tal vez por eso una de las revistas de ciencia más prestigiosas haya puesto el ojo en nosotros: «El CCAD-UNC es un centro pequeño, con un presupuesto ínfimo, pero manejado con estándares world-class».

Más clusters monitoreados en ClustersArg

Sumamos recientemente dos clusters al «Estado de operación de Clusters en Argentina«.

Incorporamos al Cluster Oro Verde de la Facultad de Ingeniería de la Universidad de Entre Ríos en Oro Verde y al Cluster TUCU de la Universidad de Tucumán.
Oro Verde es una máquina interesante con Xeones v4 y 128 GiB de RAM por nodo que devenga un poco mas de 8 TFLOPS pico. En tanto TUCU es una máquina rara para los estándares de clusters argentinos, tiene solo dos nodos, pero cuatro pastillas Xeon 46xx v2 y 256 GiB por nodo, lo que totaliza un potencia de cálculo pico de casi 3 TFLOPS.

También se arreglaron algunos detalles de TUPAC que cambió de URL en su Ganglia y estamos averiguando que sucede con los clusters Sheldon y Isaac de la CNEA en Constituyentes.

R en el CCAD

Maestría en Estadística Aplicada y el CCAD organizan el Curso de Posgrado «R en el CCAD«.

Disertantes:
Lic. Juan Cruz Rodriguez. CIDIE-CONICET, FaMAF-UNC
Lic. Marcos Mazzini. CCAD, CONICET, IFEG, FaMAF

Fecha y horario de dictado: 20 y 21 de marzo y 24 y 25 de abril de 2019. 17.00 a 19.00 horas.

Lugar: auditorio 1 Escuela de Graduados de la Facultad de Ciencias Económicas. Bv. De la Reforma esquina Av. Los Nogales. Ciudad Universitaria.

Aranceles: arancel General: $ 500. Alumnos, ex-alumnos y docentes de la Maestría en Estadística Aplicada: sin cargo.

Temas: uso no interactivo de R. Conexión remota al cluster de cómputo del CCAD. Cómo lanzar simulaciones en el cluster: sistema de colas SLURM. Paralelizar código R – mcapply/parLapply (windows).

Inscripciones: dirigirse a maestria.estadistica.unc@gmail.com

Programa

Clase 1: miércoles 20 de marzo de 2019
Limitaciones de una computadora de escritorio.
Uso interactivo de R vs uso no interactivo.
Rscript: como invocarlo y pasar parámetros a un script.
Conexión remota al cluster, diferenciar cabecera y nodos de cómputo.
Sistema de Colas, ejemplo de submit básico y comandos útiles: sinfo, squeue.

Clase 2: jueves 21 de marzo
¿Qué paralelizar? Cómo elegir el bloque de código a paralelizar.
Utilizar parámetros de línea de comando dentro de mi script R.
For a apply: Cómo traducir un ciclo “for” a uno de la familia “apply”. guarda, return, scope.
mclapply: Paralelizando.
parLapply: Paralelizando en Windows.

Clase 3: miércoles 24 de abril
Hands-on: Acceso remoto al cluster del CCAD Paralelización: conceptos de memoria compartida y memoria distribuida.
Ley de Amdahl: parte paralela y secuencial de un código.
Características de los nodos del CCAD: arquitectura, cantidad de cores, RAM, conectividad, almacenamiento.
SLURM: script de submit para varios cores.
SLURM: script de submit para fat node (mas RAM).
SLURM: enviar varias copias de la misma tarea con distinto input.

Clase 4: jueves 25 de abril
Secuencial a CCAD: Taller colaborativo, llevando mi script a correr en paralelo en el CCAD.
Clusters y R: ¿Cómo utilizar múltiples nodos? Intro a Rmpi.
Matrices masivas y R: ¿Cómo manejar matrices masivas con poca RAM? Intro a bigmemory.

Coordinador Académico: Dr. Nicolás Wolovick. Prof. Asociado FaMAF-UNC. Miembro del CCAD-UNC.

Actualización

R en el CCAD – Clase 2

R en el CCAD – Clase 3

R en el CCAD – Clase 4

 

¡Mendieta cumple 100.000 trabajos ejecutados!

Con 23.691.915 de horas/core y más de 100.000 trabajos ejecutados, Mendieta sigue produciendo.

Su primera etapa es de mayo de 2013 y la segunda de junio de 2014, con lo que este cluster con sus 6 años de vida está ya en la mira para desconectarse.

Mientras tanto y como forma de reutilizar el material, hemos transformados los nodos #22 y #21 en Nabucodonosor, ganando un poco de vida extra a estos equipos que han resistido más que bien los problemas de refrigeración, electricidad y hasta humedad que se han dado en estos seis años.

Huayra Muyu, el cluster del SMN es #1 en Argentina

(c) Peter Feibert

En la cosmogonía Inca se hace culto a cuatro vientos. El Huaya Muyu o viento circular, es el que anuncia inminentes lluvias y se considera un buen augurio. Asi se denominó al nuevo cluster #1 de Argentina. El Servicio Metereológico Nacional ya tiene en funcionamiento a su remolino, 370.4 TFLOPS de procesamiento dedicado para pronósticos metereológicos.

La (super)computadora llega a través del concurso CyT Alerta que lanzara en diciembre de 2017 por un monto de 60 millones de pesos argentinos. El proyecto se adjudicó a un consorcio público-privado constituído por SMN, CIMA-UBA-CONICET, Frontec e INVAP.
El proceso de compra fue adjudicado a la empresa Lenovo, que fue la que mejor se ajustó a lo que el consorcio necesitaba: costos, consumo, soporte continuo, llave en mano, benchmarks predefinidos sobre WRF y experiencia en TOP500.

Los 3 racks y la UPS llegaron armados a Argentina, y luego de una ampliación del datacenter del SMN que se encuentra en CABA pegadito al Aeropuerto Jorge Newbery, se instaló el equipamiento, que para inicios de diciembre, ya estaba en la fase final de puesta a punto. Al momento de publicar esta nota los técnicos de Lenovo expertos en WRF ya realizaron la certificación final de los benchmarks e hicieron entrega a los técnicos e investigadores del SMN esta importante herramienta de pronóstico metereológico.

El hardware

Huayra Muyu se compone de 128 nodos 2U, cada uno con 2 Xeon Gold 6142, 96 GiB RAM DDR4-2666, red Omni-Path para comunicación de procesos y 10 GigE para red de datos y administración. Tiene un consumo pico de 91 kVA y está refrigerado con el sistema in-row cooling de 40KW y 136485 BTU. Tiene un rack con una UPS de 150 kVA para lograr un shutdown ordenado en caso de que los dos grupos electrógenos externos fallen. El sistema de almacenamiento es un IBM Spectrum Scale DSS-G de 1.29 PiB concentrado en 4 cajones que manejan 166 discos de 8 TiB SAS manejados por el sistema de archivos GPFS, nos detalla Pablo Loyber del SMN.

Todo esto suma una potencia pico de cálculo (Rmax) de 370.4 TFLOPS en double precision, posicionándola un orden de magnitud por arriba de cualquier otra máquina en Argentina. Lo más cercano podría ser TUPAC con 54 TFLOPS, Eulogia con 37 TFLOPS y Pirayú con 26 TFLOPS, con lo cual Huayra Muyu representa un importante salto hacia adelante.

El uso

La #1 en Argentina será un caso diferente a la mayoría de los clusters que conocemos, ya que forma parte de una cadena de producción de pronósticos metereológicos, por lo que su uso será exclusivo. No se correrá otra cosa que Weather Research and Forecasting (WRF) Model; nada de GROMACS, QuantumEspresso, u OpenFOAM para desilusión del sistema científico en general.

Yanina Skabar del SMN nos indicó que inicialmente no se refinará la grilla de aproximadamente 4Km de resolución, pero si se aumentará la cantidad de ensambles de predicción que actualmente es determinístico (1 solo) a más de 20, con lo cual se podrá cuantificar la incertidumbre del pronóstico. Además se bajará el tiempo corrida del pronóstico de 3hs a 0.5hs. La Dra. Skabar también comentó que se irá a generar condiciones iniciales propias a través de asimilación de datos y pronósticos de corto plazo en vez de depender de datos del Global Forecast System que usa el NCEP de EEUU, generando valor agregado en los pronósticos.

Aunque el almacenamiento parece desproporcionado (1.29 PiB), Yanina comenta que es chico ya que cada corrida determinística genera 200 GiB que multiplicado por 4 pronósticos diarios y 20 días, ya generan 16 TiB de datos por mes. Solo multiplicando por los 20 ensambles, entendemos rápidamente que el problema de resguardo para hacer calibraciones, es altamente demandante en espacio también.

Actualización

El 20 de febrero visitamos Huayra Muyu en la sede CABA del SMN. Todo el equipo nos recibió y estuvimos charlando y visitando el #1 de Argentina.
¡Muchas gracias Yanina Skabar y Pablo Loyber!

Adjudicación Período de Uso Exclusivo Eulogia, verano 2019

Luego de dos años volvimos a lanzar el llamado a Período de Uso Exclusivo. Esta vez para nuestro Cluster Eulogia con sus 14 nodos KNL de 96 GiB cada uno. Para este llamado se priorizaron los pedidos de mayor uso simultáneo de nodos para asi fomentar el uso de la potencia de cálculo agregada de todo el conjunto.

Se pudieron otorgar casi todos los pedidos que muestran un fuerte sesgo hacia el uso en las ciencias químicas: Quantum Espresso y LAMMPS. Solo desde el Laboratorio de Hidráulica de la UNC utilizarán OpenFOAM para CFD.

Eulogia está creciendo

Ya están operativos dos de los cuatro nodos de Eulogia#5, el quinto módulo 2U que contienen 4 Xeon Phi 7250 que fuera recibido en agosto de 2018 y adquirido en forma conjunta entre la FaMAF y el CCAD-UNC.

Cada computadora de Eulogia#5 venía con 48 GiB de RAM (3 módulos de 16 GiB), ya que se trataba de una oferta de Intel ya que discontinuaron los Xeon Phi, un excelente producto para HPC. Para uniformar, solo tenemos dos de los cuatro procesadores activos, con los 96 GiB de RAM que tienen los anteriores nodos.

La RAM de Eulogia#5 se completará con aportantes del Sistema Científico Nacional y empresas locales. Se necesitan 12 módulos 16 GB DDR4-2400 2RX8 ECC RDIMM, con un precio estimado de 310 USD cada uno. Ya tenemos dos módulos comprados aportados por:

  • Guillermo Montich, subsidio PICT, FCQ.
  • Franco Luque, subsidio PICT, FaMAF.

También está por llegar Eulogia#4 que será adquirida con fondos del PMT-2017 No. 33520170100032CB de SeCyT-UNC pedidos entre el OAC y FaMAF.
En el camino Eulogia#4 sufrió el proceso devaluatorio de agosto, por lo que también aportará el CCAD-UNC, la UNC y el ex-MinCyT para tener este nuevo nodo que estimamos que llegará en febrero de 2019.
Con toda esta potencia de cálculo agregada Eulogia llegará a 53.20 TFLOPS DP pico.

Compra colaborativa Universidad y Empresas: 20 discos 8 TiB

En mayo de este año comenzamos una compra colaborativa, comunmente conocida como "vaquita", de 20 discos de 8 TiB SAS para llenar los dos nuevos Network-attached Storage (NAS) el CCAD que estarán llegando próximamente.
Este NAS reemplazará al ya viejo y parchado 9U Chenbro RM91250 que originalmente se compró en 2010 para Cristina.

Esta compra colaborativa tiene dos objetivos

  • Bajar el valor del aporte mínimo en equipamiento para el CCAD por parte de los grupos y unidades académicas que hacen uso de los recursos computacionales del Centro.
  • Involucrar a las PyMEs tecnológicas del medio local que quieren apoyar al CCAD para seguir manteniendo el ecosistema de HPC en Córdoba.

Con este tipo de compras bajamos dos órdenes de magnitud el nivel de aporte, con lo cual podemos recibir equipamiento valioso que ronda el centenar de dólares estadounidenses y no la decena de miles que es lo que cuesta típicamente un nodo de cómputo. Esto posibilita utilizar de manera eficiente pequeños subsidios o subsidios que sufrieron la devaluación como los de SeCyT o los PICT. Y en la parte empresarial, podemos acceder a donaciones de la gran cantidad de PyMEs tecnológicas cordobesas.

Los aportantes fueron:

  • 5 discos INFIQC, FCQ.
  • 4 discos subsidio PICT de Marcelo Mariscal, FCQ.
  • 4 discos subsidio PICT Jorge Sánchez, FaMAF.
  • 2 discos Departamento de Química Teórica y Computacional (DQTC), FCQ.
  • 2 discos subsidio PICT Franco Luque, FaMAF.
  • 1 disco subsidio FonCyT Cecilia Giménez, FaMAF.
  • 1 disco empresa EMSER.
  • 1 disco empresa DeepVisionAI.

Agradecemos especialmente a las empresas por su apoyo e invitamos a quien quiera donar equipamiento al CCAD a contactarse con nosotros.

Aceptación de las donaciones de empresas por parte de la UNC: Resolución Rectoral 2061/2018, Anexo.