Compra colaborativa Universidad y Empresas: 20 discos 8 TiB

En mayo de este año comenzamos una compra colaborativa, comunmente conocida como "vaquita", de 20 discos de 8 TiB SAS para llenar los dos nuevos Network-attached Storage (NAS) el CCAD que estarán llegando próximamente.
Este NAS reemplazará al ya viejo y parchado 9U Chenbro RM91250 que originalmente se compró en 2010 para Cristina.

Esta compra colaborativa tiene dos objetivos

  • Bajar el valor del aporte mínimo en equipamiento para el CCAD por parte de los grupos y unidades académicas que hacen uso de los recursos computacionales del Centro.
  • Involucrar a las PyMEs tecnológicas del medio local que quieren apoyar al CCAD para seguir manteniendo el ecosistema de HPC en Córdoba.

Con este tipo de compras bajamos dos órdenes de magnitud el nivel de aporte, con lo cual podemos recibir equipamiento valioso que ronda el centenar de dólares estadounidenses y no la decena de miles que es lo que cuesta típicamente un nodo de cómputo. Esto posibilita utilizar de manera eficiente pequeños subsidios o subsidios que sufrieron la devaluación como los de SeCyT o los PICT. Y en la parte empresarial, podemos acceder a donaciones de la gran cantidad de PyMEs tecnológicas cordobesas.

Los aportantes fueron:

  • 5 discos INFIQC, FCQ.
  • 4 discos subsidio PICT de Marcelo Mariscal, FCQ.
  • 4 discos subsidio PICT Jorge Sánchez, FaMAF.
  • 2 discos Departamento de Química Teórica y Computacional (DQTC), FCQ.
  • 2 discos subsidio PICT Franco Luque, FaMAF.
  • 1 disco subsidio FonCyT Cecilia Giménez, FaMAF.
  • 1 disco empresa EMSER.
  • 1 disco empresa DeepVisionAI.

Agradecemos especialmente a las empresas por su apoyo e invitamos a quien quiera donar equipamiento al CCAD a contactarse con nosotros.

Tres casos de uso industrial de Nabuconodosor

Les hicimos algunas preguntas a Leonardo David González de EMSER, Mirko Panozzo Zénere de ASCENTIO y a Maximiliano Armesto de Taller Technologies para conocer su experiencia en el uso de Nabuconodosor la computadora para ML del CCAD-UNC que tuvo aportes de empresas locales.

Leonardo David Gonzalez

¿En qué empresa trabajás?
EMSER EMPRESA DE SERVICIOS S.A.

¿En que proyecto están trabajando?
Estoy trabajando en varios proyectos de IA. Algunos proyectos requieren reconocimiento de imágenes.

Contanos brevemente tu experiencia con Nabucodonosor y que cosas te permitió hacer que antes no podías.
Utilicé Nabocodonosor para entrenar una red neuronal para el reconocimiento de unos pocos productos. La ventaja fue la de poder experimentar y tomar una idea de los tiempos y recursos que conlleva este tipo de operaciones.

¿Necesitarían más potencia de cálculo? ¿Qué planes tienen para suplirla?
Para producción se requerirá mas potencia y dedicación ya que hay que entrenar muchos productos. Entendemos no es la razón de Nabucodonosor por lo que vamos a alquilar potencia de calculo en AWS. Seria genial no tener que recurrir a este tipo de proveedores en el exterior, ojalá algún día contemos con algún tipo de servicio similar y de costos accesibles que sea Industria Argentina.

¿Cómo se podría mejorar esta experiencia de relación universidad-industria?
Entiendo sería interesante para toda la industria poder tener acceso a un sitio que funcione como showroom permanente o laboratorio muestren de que cosas se puede implementar con inteligencia artificial y/o con big data en el día de hoy, con referencia a los investigadores responsables de publicarlos que sirvan como consultores (y si se los pudiera contratar, mejor!). Algo que no sea netamente documental, algo sencillo pero que se pueda ejecutar sobre Nabu. Un lugar que sea una vidriera de lo que se investiga en FaMAF en cuestión de estos términos, donde se puedan visualizar novedades regulares al respecto.

 

Mirko Panozzo Zénere

¿En qué empresa trabajás?
Ascentio Technologies S.A.

¿En que proyecto están trabajando?
Estamos trabajando en un sistema llamado Galatea Watcher, encargado de procesar imágenes SAR (Radares de Apertura Sintética) y de datos de posicionamiento AIS (Automatic Identification System) de buques para cruzar la información y realizar la detección de buques ilegales y derrames de petróleo. El sistema está operativo hace un año en la Prefectura Naval Argentina monitoreando el mar Argentino.

Contanos brevemente tu experiencia con Nabucodonosor y que cosas te permitió hacer que antes no podías.
Estamos expandiendo el sistema para soportar nuevas misiones SAR (entre ellas la misión argentina SAOCOM) para brindar servicios con nuevas imágenes, principalmente las de distribución gratuitas como las de la misión Sentinel-1 de la Agencia Espacial Europea y la aplicación de máscaras de tierra para eliminar áreas de costa utilizando DEMs (Modelos de Elevación Digital). La capacidad de procesamiento de Nabucodonosor nos permite avanzar sobre las pruebas de concepto de procesamiento de estas imágenes, algunas de las cuales tienen más de 20 mil x 20 mil píxeles, ya que podemos parelizar el procesamiento de las mismas y no preocuparnos tanto por el manejo de la memoria RAM durante la etapa de validación de los resultados.

Habiendo validado los resultados, ahora estamos trabajando en mejorar el manejo de la memoria RAM para dejar de depender exclusivamente de Nabucodonosor. Pero hasta el momento, nos sirvió de forma tal que si no lo hubiésemos tenido a mano, habríamos tardado mucho más tiempo en validar nuestros resultados porque el esfuerzo se hubiera centrado en la eficiencia a nivel performance.

¿Necesitarían más potencia de cálculo? ¿Qué planes tienen para suplirla?
No necesitamos más potencia. Actualmente estamos trabajando en lograr que el procesador de las imágenes trabaje de forma más eficiente a nivel memoria RAM. A nivel procesamiento no es necesario hacer una mejora significativa, dado que en el tiempo total transcurrido entre la adquisición de la imagen y la entrega del reporte al cliente nuestro procesamiento representa apenas un 10% de dicho tiempo.

¿Cómo se podría mejorar esta experiencia de relación universidad-industria?
En lo que a nuestra experiencia respecta, todo ha sido para bien. Hemos tomado provecho de este nodo creado entre el cluster y la facultad para mejorar nuestro producto. Contar con Nabucodonosor nos permitió, además, poder empezar a generar productos para otros países de Latinoamérica tales como Perú, Colombia y Brasil. Tal vez podríamos mejorar esta relación desde nuestro sector, mostrando los resultados obtenidos para poner en valor lo importante que es disponer de una herramienta como Nabucodonosor.


Maximiliano Armesto

¿En qué empresa trabajás?
Taller Technologies.

¿En que proyecto están trabajando?
GreenVisual: diseño y entrenamiento de una red neuronal para la distinción de cultivos y malezas en el sector agrícola. Estamos utilizando redes neuronales convolucionales para hacer la clasificación. Contamos con un dataset de 8000 imágenes.

Contanos brevemente tu experiencia con Nabucodonosor y que cosas te permitió hacer que antes no podías.
Pudimos entrenar nuestro modelo en Tensor Flow de una manera mucho más rápida. Pasamos de 3 días de entrenamiento a unas 5 horas. Esto nos permitió jugar con más parámetros en el diseño del mismo. Le experiencia fue muy buena el único problema fue cuando los usuarios no respetaban el sistema de encolado de las tasks.

¿Necesitarían más potencia de cálculo? ¿Qué planes tienen para suplirla?
Por ahora no necesitamos más potencia. Nuestro dispositivo deberá correr los modelos en el campo sin conexión, con lo que estamos tramitando un kit de desarrollo NVIDIA.

¿Cómo se podría mejorar esta experiencia de relación universidad-industria?
Creo que muchas veces los usuarios no encolan las tareas por no saber que deben hacerlo. Mejoraría la capacitación en este sentido.

Alejandra Foggia, una física en el Master de HPC

Alejandra Foggia MHPCAlejandra Foggia es Lic. en Física de la FaMAF. Hace un par de años tomó un rumbo distinto respecto a sus compañeras y compañeros y empezó a cursar el Master en High Performance Computing (MHPC) un programa conjunto entre el SISSA y el ICTP en Trieste, Italia. Le consultamos acerca de la relación entre su título de grado y este nuevo campo de estudio.

CCAD: Hola Alejandra. Contanos cual es tu título de grado y que estás haciendo actualmente.
Alejandra Foggia: ¡Hola! Soy Licenciada en Física desde hace un año y medio aproximadamente. Ahora estoy terminando una maestría en High Performance Computing (MHPC). La maestría es "corta" porque dura sólo 12-15 meses (en general los masters suelen ser de 2 años), y los cursos son todos prácticos, uno aprende haciendo, literal.

CCAD: El cambio de tema parece radical. ¿Qué te costó más y que te costó menos para hacer la MHPC con tu formación de base en física?
AF
: Sí, es un gran cambio, sobre todo porque, como decía, es todo práctico. Estaba muy acostumbrada a primero leer sobre un tema y tener clases teóricas y después hacer ejercicios. Acá (y creo que en esta área) no es así, los ejercicios son la forma de aprender, leer material bibliográfico es sumamente recomendado pero no es esencial. Esa forma de trabajar me gusta.
Respecto de los temas tratados acá, no tuve grandes dificultades porque en la FaMAF tuve en el último año un muy buen curso de Análisis Numérico (dejé esa materia para casi el final) en el cual aprendimos no solo los algoritmos sino a programar correctamente, particularmente en Fortran, siguiendo las "prácticas del buen programador". Una vez que uno sabe eso para un lenguaje es aplicable a todos. Lo que más me costó de todas las cosas que aprendí fue el concepto de puntero en C, porque en Fortran no es algo que surja naturalmente, mientras que en C es muy normal. Pero estaba casi obligada a programar en C, entonces eventualmente lo empecé a manejar sin problemas. El resto de los temas fueron fáciles de comprender, siento que la formación en física nos da capacidad de abstracción y de extrapolación que permite cambiar de tema de trabajo fácilmente sin grandes complicaciones.

CCAD: No sos la primera física que se especializa en HPC, pero tal vez dentro de FaMAF-UNC la experiencia no sea de lo más común. ¿Qué mensaje le darías a los estudiantes de los últimos años de carreras de ciencias duras respecto a tu experiencia?
AF: Me dí cuenta que más allá de la investigación, hay mucho mucho más en lo que uno puede aplicar la formación en física (en particular, porque es mi rama) y los conocimientos y habilidades relacionados al HPC. Cuando terminé la carrera para mí el siguiente paso era empezar un doctorado, no había otra, pero no es así. La investigación no es para todo el mundo, puede que haya muchas personas que terminan la carrera y no quieran seguir en lo académico, pero que no tienen idea de qué otras cosas se pueden hacer. Es la respuesta que nunca podía dar cuando me preguntaban: ¿Y qué hace un físico cuando se recibe? En mi experiencia, durante la carrera no se habla de estas otras posibilidades entonces uno no sabe ni cómo ni dónde buscar. Mi mensaje en parte es sobre esto, existen infinidad de cosas para hacer a parte de la investigación, lo que sí, para descubrirlas muchas veces uno tiene que pasarse varias horas al frente de la compu visitando páginas de empresas de software/hardware, de universidades (porque muchas veces las universidades tienen acuerdos con empresas y hacen investigaciones aplicadas), de proyectos (como bibliotecas de álgebra lineal, de elementos finitos, graficadores, por decir algunos), etc. No es la única forma de hacerlo pero, según mi experiencia y la de mi entorno, es la más común.
En particular hablando de la investigación, depende de lo que uno haga dentro de su ciencia, pero para mí es muy claro que, si uno no hace algo experimental, e incluso en esos casos puede ser necesario también, saber hacer simulaciones eficientemente es muy muy importante. Los problemas que actualmente son investigados suelen tratar de sistemas complejos, de muchas variables, que requieren de mucha memoria y muchas horas de cómputo para correr, y si uno apunta a esos sistemas los conceptos asociados al HPC son un requerimiento.
Mi modo de verlo (y después del máster lo puedo confirmar) es que las grandes simulaciones, y por grandes me refiero al volumen de datos y al tiempo de ejecución, son claves tanto en la ciencia como en la industria. Por eso, el conocimiento de los conceptos relacionados al HPC es un complemento, una herramienta, de mucho uso y peso para una persona con formación en ciencias duras.

CCAD: ¿Nos contás de que estás planeando a futuro? ¿HPC, física, ambas?
AF: Me gustaría hacer un doctorado en el área de la física, algo así como física con biología, para probar la "experiencia académica", y me gustaría hacerlo en algo donde el HPC sea un componente fuerte de mi trabajo.

CCAD: Muchas gracias Alejandra por tu tiempo
AF
: Gracias a ustedes por la entrevista, espero que sirva para visibilizar estas cosas.

Dirac, el nuevo cluster del DF@UBA

Hace menos de un mes Roberto Dhios, el SysAdmin del Departamento de Física de la Universidad de Buenos Aires (DF@UBA), nos contaba que el nuevo cluster Dirac estaba completamente operativo luego de un proceso de instalación que empezó aproximadamente en junio de este año.

El equipo son 30 Dell Poweredge R720xd recibidos como donación. Los nodos se dividen en:

  • 19 nodos de cálculo con dos Intel Xeon E5-2670v1 con 64 GiB de RAM.
  • 6 nodos de cálculo con las mismas pastillas, pero el doble de memoria: 128 GiB de RAM.
  • 4 nodos de almacenamiento con 2*E5-2670v1 y 64 GiB de RAM, para mantener un /scratch de 149 TiB.
  • 1 headnode también con 2*E5-2670v1 y 64 GiB de RAM manteniendo el /home de 30 TiB.

El conjuto totaliza 400 núcleos de cálculo y una potencia pico teórica de 8.32 TFLOPS, a razón de 166.4 GFLOPS por pastilla E5-2670v1.
El equipo ya está incorporado al Monitor de Clusters Argentinos que el CCAD-UNC mantiene.

Respecto al software es OpenHPC 1.3.5 (CentOS 7) con SLURM y BeeGFS para el scratch.

Resultados IPAC 3

El pasado 20 de septiembre se conoció el resultado del tercer llamado a los IPAC.

Los proyectos PADS seleccionados que corren en TUPAC por 1.000.000 de hs/core fueron:

  • Fabio Busnengo, Simulación computacional de propiedades electrónicas y magnéticas, y reactivad de especies metálicas y organometálicas soportadas sobre superficies.
  • Cecilia Scannapieco, Acreción de gas y su impacto en la formación del disco galáctico.
  • Marta Ferraro, Simulaciones computacionales de conexinas en membrana: identificación de blancos moleculares.

Para los proyectos PDC de hasta 500.000 hs/core los seleccionados fueron:

  • Claudia Tomes, Dinámica del poro de fusión: una descripción in-silico-experimental para nuevas estrategias terapéuticas. Correrá en CAB-CNEA.
  • Oscar Reula, Electrodinámica force-free: Magnetosferas de Objetos Astrofísicos Compactos. Correrá en CIMEC-UNL.
  • María Laura Fernández, Simulación computacional de membranas biológicas expuestas a campos eléctricos. Estudio de los mecanismos moleculares que participan de la formación de poros transitorios durante el proceso de electroporación. Correrá en CCAD-UNR.
  • Claudio Cavasotto, Efectos de hidratación en la interacción proteína-ligando: simulaciones con métodos clásicos y cuánticos. Correrá en CCAD-UNC, en nuestra Mendieta.
  • Darío Mitnik, Cálculo de procesos colisionales con aplicación en el diagnóstico de plasmas astrofisicos y de fusión. Correrá en CCAD-UNR.
  • Sergio A. Elaskar, Simulaciones numéricas de explosiones y detonaciones. Correrá en CECAR-UBA.

Resolución e Informe

RS-2018-46637478-APN-SECACT-MECCYT

IF-2018-45075784-APN-DNPRF-MECCYT

“De 0 a CCAD en 90 minutos” y Reunión de Usuarios

El miércoles 3 de octubre de 9:00 a 18:00hs en el Aula 5 del Edificio del Campus PLM en la FCEyN (mapa), se realizará el Encuentro Anual de Usuarios y anteriormente tendremos cursos introductorios al uso de los equipos del CCAD.

El programa de actividades es el siguiente:
09:00-10:30 – "De 0 al CCAD en 90 minutos", por el Lic. Marcos Mazzini [Slides]
11:00-12:00 – "Bash: uso cotidiano y trucos", por el Lic. Marcos Mazzini [Slides]
14:00-18:00 – Reunión abierta de Usuarios de CCAD.

Cursos

Los dos cursos que se darán, tienen como objetivo que cualquier persona que tenga alguna necesidad de cómputo, pueda saber como utilizar los recursos del CCAD.

La introducción será desde cero, pensado en un usuario típico que corre en su máquina local con interactivdad gráfica.

Desde ahí el Lic. Mazzini lo llevará a logueo remoto, uso de colas, ejecución en equipamiento de gran porte y obtención de los resultados. El segundo curso será un día a día con el uso de la línea de comados, es también apto para quienes ya saben algo.

Reunión Abierta de Usuarios del CCAD

Luego del almuerzo, en la reunión de usuarios, se informará sobre el estado actual del CCAD, uso de equipos y nuevas
adquisiciones.

También diferentes usuarios presentarán en charlas cortas los usos y métodos que utilizan. La idea es compartir las
experiencias y trucos haciendo hincapié en las soluciones a problemas comunes en diferentes disciplinas.

Listado de charlas:

Milagro Teruel
Título: "Redes con Atención para PLN" [Slides]
Software: Keras/Tensorflow
Grupo: Grupo de Procesamiento del Lenguaje Natural, FAMAF

Carla Rosetti, Ubeiden Cifuente
Título: "Modelando membranas con gromacs, gaussian, sudor y lágrimas" [Slides]
Software: Gromacs, y Gaussian 09
Grupo: Grupo de biofísica del Departamento de Química Biológica, FCQ.

Nicolás Jares
Título: "Paralelización de búsqueda de rutas en grafos"
Software: C++, OpenMP
Grupo: GANyC, Grupo de Análisis Numérico y Computación, FAMAF

Carlos Mauricio Correa, Dante Paz
Título: "Paralelizando cadenas de Markov y una integral compleja para ajustar los parámetros de un modelo cosmológico" [Slides]
Software: Fortran 90, OpenMP
Grupo: IATE-OAC

Carlos Dario Graña, Dante Paz, Federico Stasyszyn
Título: "Gadget, apolicaciones y magias sobre el SMT" [Slides]
Software: MPI, OpenMP, FFTW
Grupo: IATE-OAC

Marcelo Puiatti
Título: "¿De dónde venimos? ¿Quiénes somos? ¿Adónde vamos? – Aplicaciones de QM en Qca. Orgánica con g09"
Software: Gaussian09
Grupo: Síntesis Orgánica Asistida por Modelado Molecular, INFIQC

Sergio Elaskar
Título: "Modelización numérica de problemas de flujos compresibles y plasmas astrofísicos en ingeniería aeronáutica y aeroespacial" [Slides]
Software: OpenFOAM
Grupo: Aeronáutica, FCEyN

#MeGusta en el CCAD-UNC

Andrés Oliva en su programa #MeGusta que se emite por Canal U de la Universidad Nacional de Córdoba, visitó las instalaciones del CCAD-UNC dentro del Datacenter de la PSI.

Los entrevistados fueron el Director del CCAD, el Dr. Oscar Reula, el CPA de CONICET, Lic. Marcos Mazzini y el miembro del CCAD por FaMAF, el Dr. Nicolás Wolovick. En el programa habló de los inicios del CCAD, el equipamiento con el que cuenta y la situación de la Supercomputación en Argentina respecto a otros paises de PBI similar. También se mostró como trabajamos en generación de demanda de HPC donde tal vez la computadora Nabucodonosor es un de los ejemplos más claros.

El programa se emitió el día 27 de agosto a las 23hs por Canal 5 de la Televisión Digital y por los canales 31.2 y 30.2 de la TDA.
[Video completo]
Agradecemos a Andrés y a todo el equipo de Canal U por el excelente trabajo realizado.

Préstamo de redes Inifiband al IFIR y CAB

El CCAD-UNC recibió a principios de 2018 una donación de equipamiento de conectividad Infiniband de parte del centro de desarrollo de software de McAfee en Córdoba e Intel Software de Argentina. Un subconjunto de este equipamiento se está utilizando actualmente en los equipos del CCAD (Mendieta, Eulogia, Mulatona).

Para que el sistema científico nacional aproveche al máximo estos equipos, contactamos a investigadores del CAB (Bariloche) y del IFIR (Rosario) para saber si estaban interesados en obtener a préstamo switches, placas y cableado Infiniband de 20 Gbps. En menos de una semana el Dr. Ezequiel Ferrero de CAB primero y luego el Dr. Fabio Busnengo del IFIR, se hicieron presentes en Córdoba para buscar los equipos que ya están en sus respectivas instituciones. Estos equipos servirán para aumentar la conectividad de sus clusters y poder asi agregar potencia de cálculo de sus nodos para problemas fuertemente acoplados.

Agradecemos la nota del IFIR-CONICET sobre esta colaboración.

Nodo de ML+GPU en SemanaTIC

El pasado 15 de agosto dentro de la SemanaTIC, el Dr. Oscar Reula director del CCAD-UNC presentó la iniciativa del server para Machine Learning Nabucodonosor. En la mesa redonda también participaron la Dra. Mirta Iriondo, Decana de la FaMAF y el Ing. Diego Casalli, presidente del Córdoba Technology Cluster.

La presentación de Oscar Reula mostró el proceso de construcción de la computadora colaborativa, mientras que David Gonzalez de EMSER, mostró como utilizó esta herramienta para potenciar sus negocios.

La colaboración con el Córdoba Technology Cluster, la FaMAF y otras empresas del medio local como Apex América y Mercado Libre, continua potenciando en la temática de Machine Learning a todos los actores involucrados.

Headnode para Eulogia y Mulatona

Ya está funcionando en headnode de los Clusters del CCAD que se aprovisionan con Ansible.

La cabecera de Eulogia y Mulatona ahora es un Intel Xeon Silver 4108 de 8 núcleos y 24 GiB de RAM DDR4. Está montado sobre una placa Supermicro X11SPi-TF y el almacenamiento es un SSD Intel de 256 GiB conectado por PCIe 3.0 4x via conector M.2.

El software de base es CentOS 7.5 y se virtualizan dos servidores. Gracias a que Skylake Xeon provee de extensiones AVX-512, la cabecera para Eulogia se reporta como Skylake para usar el AVX-512 que comparte con los Xeon Phi 7210. La cabecera para Mulatona se reporta como Broadwell para producir código compatible con los Xeon E5-2683v4. Destacamos que es una solución de software muy particular para distribuir el costo de la cabecera en dos clusters.

Gracias a este pequeño server se pudo liberar un nodo de Eulogia y uno de Mulatona. Eso implica un aumento de la capacidad de cómputo de aproximadamente 10% respecto a como se estaba utilizando y permite utilizar a pleno los 12 nodos de Eulogia y los 7 de Mulatona.