¡Nuevo NAS!

Dante Paz y Federico Stasyszyn sacando uno de los NAS de su caja.

El viejo NAS con un chasis de 9U Chenbro RM91250 remozado en 2016 con dos Xeon E5-2620v3 y 64 GiB de RAM que fuera originalmente comprado para Cristina en 2010, consiguió finalmente un apoyo para almacenar los datos de los usuarios del CCAD-UNC.

El financiamiento fue provisto en dos terceras partes por la UNC y el tercio restante fue asignado en 2016 por parte del SNCAD. Como siempre la compra estuvo plagada de problemas y luego de declarar desierto el concurso de precios en varias oportunidades accedimos por parte del SNCAD a la posibilidad de una compra directa en noviembre del año pasado. Transcurrieron cinco meses hasta obtener los fondos del ex-MinCyT y poder finalizar la compra.

 

El equipamiento son dos servidores de archivos idénticos con las siguientes características técnicas:

El espacio para los 48 discos que serán ocupados por una mezcla entre los discos de 4 TiB intercambiados con DF@UBA que recibimos hace un mes y los discos de 8 TiB de compra comunitaria que hicimos a fin del año pasado.

Se espera que luego de las vacaciones de julio esté activo, a fin de mejorar la velocidad de los home y de la partición scratch.

El CPA Darío Graña en Barcelona

Darío Graña, uno de los tres CPA-CONICET trabajando en el CCAD-UNC, está en una estancia de trabajo en Barcelona, España.
Su lugar de trabajo es Instituto de Ciencias del Espacio (ICECSIC) a través del programa LACEGAL, y sus tareas diarias se desarrollan en el PIC.
Actualmente está trabajando en un algoritmo para calcular la función de correlación de galaxias sobre grandes volúmenes de datos, obtenidos a partir de observaciones y también simulaciones. Las herramientas utilizadas son Hadoop y la biblioteca TreeCorr. El objetivo es realizar el cálculo de la función de manera distribuida, utilizando distintos tipos de coordenadas que varían de acuerdo a los datos.
Este intercambio ha sido posible gracias al Instituto de Astronomía Teórica y Experimental (IATECONICET) donde Darío tiene radicado su cargo de CPA, que forma parte como uno de los nodos de LACEGAL. La estancia tiene una duración total de tres meses.

Eulogia suma 10 TFLOPS

Aunque parezca mentira, hace minutos al ejecutar la lista de trabajos pendientes tenemos 4 nuevos KNLs 7250 en Eulogia.

$ squeue -a
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
...
8509 soporte xhpl build R 24:16 4 knl[17-20]

Esta es la conclusión de un larguísimo proceso de compra que empezó a fines de 2017 con la adjudicación de un PMT de $300.000 de la SeCyT-UNC para la compra de un nodo más para Eulogia. En este año y medio, los fondos perdieron la mitad de su poder adquisitivo, el ROECYT se venció, tuvimos innumerables problemas para que el SNCAD desenbolse un remanente de dinero que había quedado para gastar; además de tener que buscar nosotros mismos quien nos provea del equipamiento, ya que con la demora, el proveedor adjudicado solo podía encontrar KNMs, luego de que Intel discontinuara toda la línea Xeon Phi a mediados de 2018.

Con este agregado Eulogia ahora cuenta con 5 unidades de 2U de altura, cada una con 4 nodos KNL, totalizando más de 50 TFLOPS Rpeak de potencia de cálculo pico en doble precisión.
La medición del nuevo nodo de 4 KNLs arroja 4.85 TFLOPS, lo cual implica que en conjunto tenemos 24.25 TFLOPS Rmax. Recordemos que la computadora más lenta del Top500 11/2018 tiene 36 veces más potencia que Eulogia, nuestra computadora más potente.

T/V                N    NB     P     Q               Time                 Gflops
--------------------------------------------------------------------------------
WR00C2R2      204000   336    16    16            1167.03              4.850e+03

Estimamos que luego de las pruebas, y conociendo la cantidad de trabajos encolados que hay en espera, estos 4 nuevos procesadores se ocuparán instantáneamente.

Actualización

Se ocupó instantáneamente. Ver lado derecho del gráfico de utilización.

UNC y UBA intercambian partes para mantener infraestructura de HPC

¿Qué hacer cuando no hay plata para comprar más figuritas y querés completar el álbum? Una estrategia posible es intercambiar con otros, lo que para unos es una «repe» para otros es necesaria y viceversa.

En abril de este año los técnicos que mantienen los clusters del DF@UBA, Roberto Dhios, y los clusters del CCAD-UNC, Carlos Bederián, entran en contacto para intercambiar partes. Por un lado el Departamento de Física de UBA había recibido la donación de servidores y discos y el Centro de Computación de Alto Desempeño tenía también producto de una donación, placas y switches Infiniband. Dirac necesitaba mejorar su red y Mendieta, Mulatona y Eulogia necesitaban ampliar un poco su viejo NAS que data de la época de Cristina.

El viernes 31 de mayo se produjo el intercambio. Martín Santos, encargado del hardware del DF, vino de CABA con su auto y trajo infraestructura de almacenamiento:

llevándose a su regreso infraestructura Infiniband DDR:

  • 1 switch Flextronics FX-430073.
  • 33 adaptadores Mellanox MHGS18-XTC.
  • 33 cables Mellanox MCC4L30-002.

 

El resultado del intercambio será provechoso para ambas partes, aunque los discos sean de 2012 y la red de 2005.
El DF@UBA migrará Dirac de gigabit Ethernet que es rápida, pero de alta latencia, a una red Infiniband, que aunque tiene más de 12 años de antigüedad, su prestaciones para el cálculo distribuido son muy superiores gracias a su baja latencia.
Nosotros, en el CCAD-UNC podremos aumentar la capacidad de almacenamiento de nuestro NAS compuesto de 9 Western Digital WD40EFRX-68WT0N0 de 4 TiB y 6 WD WD10EADS-65M2B0 de 1 TiB, pasando de 42 TiB de almacenamiento crudo a 120 TiB de almacenamiento crudo.

Seguimos buscando formas de mantenernos productivos y no tan desactualizados.
Tal vez este sea un tip más para agregar en el artículo de Nature «Seven ways scientists handle technology challenges in resource-poor settings«. Esperemos que sea el último.

Segundo nodo de cómputo para IA: Nabucodonosor 2

Ya esá listo el segundo nodo de cómputo específico para IA, más conocido como Nabucodonosor 2.

 

 

La base de la computadora para machine learning fue mendieta21, la cual Alejandro Gustowski del Taller de Electrónica de FaMAF adaptó para poder alojar 3 placas NVIDIA GeForce GTX 1080 Ti de 10 TFLOPS de potencia de cálculo pico de simple precisión. Dos placas fueron donadas por la Oficina Córdoba de Mercado Libre mientras que la tercera por el particular Hernán Amiune. La máquina tiene 2 TiB de almacenamiento de estado sólido gracias al Córdoba Technology Cluster.

El equipo es una apuesta más del NodoAI Córdoba que conforman el CTC, FaMAF-UNC y nuestro CCAD-UNC. Este recurso proveerá de fuerza computacional específica para aprendizaje automático para la industria y la academia.

Workshop en Técnicas de Programación Científica llega a la UNC

El Workshop en Técnicas de Programación Científica (WTPC) se realizará este año en la UNC, más específicamente en la Facultad de Ciencias Químicas.

El WTPC es un curso intensivo de dos semanas (80 horas en total), orientado a estudiantes e investigadores en formación que posean nociones básicas de programación, para obtener estrategias y buenas prácticas en el diseño de software científico (GIT, Python, línea de comandos, C, Fortran, debugging, profiling, documentación)

Para inscribirse, completar el siguiente formulario. Las inscripciones son hasta el viernes 31 de mayo.
Más información en http://wtpc.github.io/

Alumno de la UNC obtiene GSoC para «Optimizador de Código para R»

Juan Cruz Rodriguez es alumno del Doctorado en Ciencias de la Computación de FaMAF-UNC bajo la dirección de Elmer Fernández (UCC). Recientemente dictó junto a CPA-CONICET Marcos Mazzini el curso «R en el CCAD«.

Durante la GSoC 2019 Juan Cruz presentó la propuesta «R Code Optimizer» que fue aceptada y comenzará a trabajar desde el 27 de mayo en el optimizador de código para R.

La propuesta es simple, clara y extremadamente útil para una comunidad cada vez más grande de usuarios.

R is slow compared to other popular languages. “The R interpreter is not fast and execution of large amounts of R code can be unacceptably slow”. This is because “R was purposely designed to make data analysis and statistics easier for you to do. It was not designed to make life easier for your computer”. Although there are several R interpreters that attempt to improve execution speed, “switching interpreters is something to consider carefully”.

“Beyond performance limitations due to design and implementation, it has to be said that a lot of R code is slow simply because it’s poorly written. Few R users have any formal training in programming or software development. This means that it’s relatively easy to make most R code much faster”. “A good deal of work is going into making R more efficient. Much of this work consists of reimplementing interpreted R code”.

The main goal of this project is to provide an R package with functions that allow users to automatically apply strategies to optimize their R code. The developed functions will have as input and output R code so that the resulting code will allow the user to understand what modifications in the code cause its optimization.

Felicitamos a «Cancu» por su logro y esperamos que su contribución sea parte de R y que esto implique un uso más eficiente de los recursos computacionales actuales.

Eulogia y el trabajo del CCAD reseñados en Nature

Scientific Computing With Limited ResourcesLa revista Nature en su volúmen 569 del 2 de mayo de 2019, entrevistó al Dr. Nicolás Wolovick miembro del CCAD-UNC sobre como hacemos para sostener una infraestructura de HPC decente con un magro presupuesto.

Agradecemos al periodista Charles Q. Choi por mostrar el trabajo que realizamos, y a Lorena Barba y Natalia Clementi de la GWU por el contacto.

Las palabras de uno de nuestros técnicos resume nuestro trabajo y tal vez por eso una de las revistas de ciencia más prestigiosas haya puesto el ojo en nosotros: «El CCAD-UNC es un centro pequeño, con un presupuesto ínfimo, pero manejado con estándares world-class».

Más clusters monitoreados en ClustersArg

Sumamos recientemente dos clusters al «Estado de operación de Clusters en Argentina«.

Incorporamos al Cluster Oro Verde de la Facultad de Ingeniería de la Universidad de Entre Ríos en Oro Verde y al Cluster TUCU de la Universidad de Tucumán.
Oro Verde es una máquina interesante con Xeones v4 y 128 GiB de RAM por nodo que devenga un poco mas de 8 TFLOPS pico. En tanto TUCU es una máquina rara para los estándares de clusters argentinos, tiene solo dos nodos, pero cuatro pastillas Xeon 46xx v2 y 256 GiB por nodo, lo que totaliza un potencia de cálculo pico de casi 3 TFLOPS.

También se arreglaron algunos detalles de TUPAC que cambió de URL en su Ganglia y estamos averiguando que sucede con los clusters Sheldon y Isaac de la CNEA en Constituyentes.

R en el CCAD

Maestría en Estadística Aplicada y el CCAD organizan el Curso de Posgrado «R en el CCAD«.

Disertantes:
Lic. Juan Cruz Rodriguez. CIDIE-CONICET, FaMAF-UNC
Lic. Marcos Mazzini. CCAD, CONICET, IFEG, FaMAF

Fecha y horario de dictado: 20 y 21 de marzo y 24 y 25 de abril de 2019. 17.00 a 19.00 horas.

Lugar: auditorio 1 Escuela de Graduados de la Facultad de Ciencias Económicas. Bv. De la Reforma esquina Av. Los Nogales. Ciudad Universitaria.

Aranceles: arancel General: $ 500. Alumnos, ex-alumnos y docentes de la Maestría en Estadística Aplicada: sin cargo.

Temas: uso no interactivo de R. Conexión remota al cluster de cómputo del CCAD. Cómo lanzar simulaciones en el cluster: sistema de colas SLURM. Paralelizar código R – mcapply/parLapply (windows).

Inscripciones: dirigirse a maestria.estadistica.unc@gmail.com

Programa

Clase 1: miércoles 20 de marzo de 2019
Limitaciones de una computadora de escritorio.
Uso interactivo de R vs uso no interactivo.
Rscript: como invocarlo y pasar parámetros a un script.
Conexión remota al cluster, diferenciar cabecera y nodos de cómputo.
Sistema de Colas, ejemplo de submit básico y comandos útiles: sinfo, squeue.

Clase 2: jueves 21 de marzo
¿Qué paralelizar? Cómo elegir el bloque de código a paralelizar.
Utilizar parámetros de línea de comando dentro de mi script R.
For a apply: Cómo traducir un ciclo “for” a uno de la familia “apply”. guarda, return, scope.
mclapply: Paralelizando.
parLapply: Paralelizando en Windows.

Clase 3: miércoles 24 de abril
Hands-on: Acceso remoto al cluster del CCAD Paralelización: conceptos de memoria compartida y memoria distribuida.
Ley de Amdahl: parte paralela y secuencial de un código.
Características de los nodos del CCAD: arquitectura, cantidad de cores, RAM, conectividad, almacenamiento.
SLURM: script de submit para varios cores.
SLURM: script de submit para fat node (mas RAM).
SLURM: enviar varias copias de la misma tarea con distinto input.

Clase 4: jueves 25 de abril
Secuencial a CCAD: Taller colaborativo, llevando mi script a correr en paralelo en el CCAD.
Clusters y R: ¿Cómo utilizar múltiples nodos? Intro a Rmpi.
Matrices masivas y R: ¿Cómo manejar matrices masivas con poca RAM? Intro a bigmemory.

Coordinador Académico: Dr. Nicolás Wolovick. Prof. Asociado FaMAF-UNC. Miembro del CCAD-UNC.

Actualización

R en el CCAD – Clase 2

R en el CCAD – Clase 3

R en el CCAD – Clase 4