Más clusters monitoreados en ClustersArg

Sumamos recientemente dos clusters al “Estado de operación de Clusters en Argentina“.

Incorporamos al Cluster Oro Verde de la Facultad de Ingeniería de la Universidad de Entre Ríos en Oro Verde y al Cluster TUCU de la Universidad de Tucumán.
Oro Verde es una máquina interesante con Xeones v4 y 128 GiB de RAM por nodo que devenga un poco mas de 8 TFLOPS pico. En tanto TUCU es una máquina rara para los estándares de clusters argentinos, tiene solo dos nodos, pero cuatro pastillas Xeon 46xx v2 y 256 GiB por nodo, lo que totaliza un potencia de cálculo pico de casi 3 TFLOPS.

También se arreglaron algunos detalles de TUPAC que cambió de URL en su Ganglia y estamos averiguando que sucede con los clusters Sheldon y Isaac de la CNEA en Constituyentes.

R en el CCAD

Maestría en Estadística Aplicada y el CCAD organizan el Curso de Posgrado “R en el CCAD“.

Disertantes:
Lic. Juan Cruz Rodriguez. CIDIE-CONICET, FaMAF-UNC
Lic. Marcos Mazzini. CCAD, CONICET, IFEG, FaMAF

Fecha y horario de dictado: 20 y 21 de marzo y 24 y 25 de abril de 2019. 17.00 a 19.00 horas.

Lugar: auditorio 1 Escuela de Graduados de la Facultad de Ciencias Económicas. Bv. De la Reforma esquina Av. Los Nogales. Ciudad Universitaria.

Aranceles: arancel General: $ 500. Alumnos, ex-alumnos y docentes de la Maestría en Estadística Aplicada: sin cargo.

Temas: uso no interactivo de R. Conexión remota al cluster de cómputo del CCAD. Cómo lanzar simulaciones en el cluster: sistema de colas SLURM. Paralelizar código R – mcapply/parLapply (windows).

Inscripciones: dirigirse a maestria.estadistica.unc@gmail.com

Programa

Clase 1: miércoles 20 de marzo de 2019
Limitaciones de una computadora de escritorio.
Uso interactivo de R vs uso no interactivo.
Rscript: como invocarlo y pasar parámetros a un script.
Conexión remota al cluster, diferenciar cabecera y nodos de cómputo.
Sistema de Colas, ejemplo de submit básico y comandos útiles: sinfo, squeue.

Clase 2: jueves 21 de marzo
¿Qué paralelizar? Cómo elegir el bloque de código a paralelizar.
Utilizar parámetros de línea de comando dentro de mi script R.
For a apply: Cómo traducir un ciclo “for” a uno de la familia “apply”. guarda, return, scope.
mclapply: Paralelizando.
parLapply: Paralelizando en Windows.

Clase 3: miércoles 24 de abril
Hands-on: Acceso remoto al cluster del CCAD Paralelización: conceptos de memoria compartida y memoria distribuida.
Ley de Amdahl: parte paralela y secuencial de un código.
Características de los nodos del CCAD: arquitectura, cantidad de cores, RAM, conectividad, almacenamiento.
SLURM: script de submit para varios cores.
SLURM: script de submit para fat node (mas RAM).
SLURM: enviar varias copias de la misma tarea con distinto input.

Clase 4: jueves 25 de abril
Secuencial a CCAD: Taller colaborativo, llevando mi script a correr en paralelo en el CCAD.
Clusters y R: ¿Cómo utilizar múltiples nodos? Intro a Rmpi.
Matrices masivas y R: ¿Cómo manejar matrices masivas con poca RAM? Intro a bigmemory.

Coordinador Académico: Dr. Nicolás Wolovick. Prof. Asociado FaMAF-UNC. Miembro del CCAD-UNC.

Actualización

R en el CCAD – Clase 2

¡Mendieta cumple 100.000 trabajos ejecutados!

Con 23.691.915 de horas/core y más de 100.000 trabajos ejecutados, Mendieta sigue produciendo.

Su primera etapa es de mayo de 2013 y la segunda de junio de 2014, con lo que este cluster con sus 6 años de vida está ya en la mira para desconectarse.

Mientras tanto y como forma de reutilizar el material, hemos transformados los nodos #22 y #21 en Nabucodonosor, ganando un poco de vida extra a estos equipos que han resistido más que bien los problemas de refrigeración, electricidad y hasta humedad que se han dado en estos seis años.

Huayra Muyu, el cluster del SMN es #1 en Argentina

(c) Peter Feibert

En la cosmogonía Inca se hace culto a cuatro vientos. El Huaya Muyu o viento circular, es el que anuncia inminentes lluvias y se considera un buen augurio. Asi se denominó al nuevo cluster #1 de Argentina. El Servicio Metereológico Nacional ya tiene en funcionamiento a su remolino, 370.4 TFLOPS de procesamiento dedicado para pronósticos metereológicos.

La (super)computadora llega a través del concurso CyT Alerta que lanzara en diciembre de 2017 por un monto de 60 millones de pesos argentinos. El proyecto se adjudicó a un consorcio público-privado constituído por SMN, CIMA-UBA-CONICET, Frontec e INVAP.
El proceso de compra fue adjudicado a la empresa Lenovo, que fue la que mejor se ajustó a lo que el consorcio necesitaba: costos, consumo, soporte continuo, llave en mano, benchmarks predefinidos sobre WRF y experiencia en TOP500.

Los 3 racks y la UPS llegaron armados a Argentina, y luego de una ampliación del datacenter del SMN que se encuentra en CABA pegadito al Aeropuerto Jorge Newbery, se instaló el equipamiento, que para inicios de diciembre, ya estaba en la fase final de puesta a punto. Al momento de publicar esta nota los técnicos de Lenovo expertos en WRF ya realizaron la certificación final de los benchmarks e hicieron entrega a los técnicos e investigadores del SMN esta importante herramienta de pronóstico metereológico.

El hardware

Huayra Muyu se compone de 128 nodos 2U, cada uno con 2 Xeon Gold 6142, 96 GiB RAM DDR4-2666, red Omni-Path para comunicación de procesos y 10 GigE para red de datos y administración. Tiene un consumo pico de 91 kVA y está refrigerado con el sistema in-row cooling de 40KW y 136485 BTU. Tiene un rack con una UPS de 150 kVA para lograr un shutdown ordenado en caso de que los dos grupos electrógenos externos fallen. El sistema de almacenamiento es un IBM Spectrum Scale DSS-G de 1.29 PiB concentrado en 4 cajones que manejan 166 discos de 8 TiB SAS manejados por el sistema de archivos GPFS, nos detalla Pablo Loyber del SMN.

Todo esto suma una potencia pico de cálculo (Rmax) de 370.4 TFLOPS en double precision, posicionándola un orden de magnitud por arriba de cualquier otra máquina en Argentina. Lo más cercano podría ser TUPAC con 54 TFLOPS, Eulogia con 37 TFLOPS y Pirayú con 26 TFLOPS, con lo cual Huayra Muyu representa un importante salto hacia adelante.

El uso

La #1 en Argentina será un caso diferente a la mayoría de los clusters que conocemos, ya que forma parte de una cadena de producción de pronósticos metereológicos, por lo que su uso será exclusivo. No se correrá otra cosa que Weather Research and Forecasting (WRF) Model; nada de GROMACS, QuantumEspresso, u OpenFOAM para desilusión del sistema científico en general.

Yanina Skabar del SMN nos indicó que inicialmente no se refinará la grilla de aproximadamente 4Km de resolución, pero si se aumentará la cantidad de ensambles de predicción que actualmente es determinístico (1 solo) a más de 20, con lo cual se podrá cuantificar la incertidumbre del pronóstico. Además se bajará el tiempo corrida del pronóstico de 3hs a 0.5hs. La Dra. Skabar también comentó que se irá a generar condiciones iniciales propias a través de asimilación de datos y pronósticos de corto plazo en vez de depender de datos del Global Forecast System que usa el NCEP de EEUU, generando valor agregado en los pronósticos.

Aunque el almacenamiento parece desproporcionado (1.29 PiB), Yanina comenta que es chico ya que cada corrida determinística genera 200 GiB que multiplicado por 4 pronósticos diarios y 20 días, ya generan 16 TiB de datos por mes. Solo multiplicando por los 20 ensambles, entendemos rápidamente que el problema de resguardo para hacer calibraciones, es altamente demandante en espacio también.

Actualización

El 20 de febrero visitamos Huayra Muyu en la sede CABA del SMN. Todo el equipo nos recibió y estuvimos charlando y visitando el #1 de Argentina.
¡Muchas gracias Yanina Skabar y Pablo Loyber!

Adjudicación Período de Uso Exclusivo Eulogia, verano 2019

Luego de dos años volvimos a lanzar el llamado a Período de Uso Exclusivo. Esta vez para nuestro Cluster Eulogia con sus 14 nodos KNL de 96 GiB cada uno. Para este llamado se priorizaron los pedidos de mayor uso simultáneo de nodos para asi fomentar el uso de la potencia de cálculo agregada de todo el conjunto.

Se pudieron otorgar casi todos los pedidos que muestran un fuerte sesgo hacia el uso en las ciencias químicas: Quantum Espresso y LAMMPS. Solo desde el Laboratorio de Hidráulica de la UNC utilizarán OpenFOAM para CFD.

Eulogia está creciendo

Ya están operativos dos de los cuatro nodos de Eulogia#5, el quinto módulo 2U que contienen 4 Xeon Phi 7250 que fuera recibido en agosto de 2018 y adquirido en forma conjunta entre la FaMAF y el CCAD-UNC.

Cada computadora de Eulogia#5 venía con 48 GiB de RAM (3 módulos de 16 GiB), ya que se trataba de una oferta de Intel ya que discontinuaron los Xeon Phi, un excelente producto para HPC. Para uniformar, solo tenemos dos de los cuatro procesadores activos, con los 96 GiB de RAM que tienen los anteriores nodos.

La RAM de Eulogia#5 se completará con aportantes del Sistema Científico Nacional y empresas locales. Se necesitan 12 módulos 16 GB DDR4-2400 2RX8 ECC RDIMM, con un precio estimado de 310 USD cada uno. Ya tenemos dos módulos comprados aportados por:

  • Guillermo Montich, subsidio PICT, FCQ.
  • Franco Luque, subsidio PICT, FaMAF.

También está por llegar Eulogia#4 que será adquirida con fondos del PMT-2017 No. 33520170100032CB de SeCyT-UNC pedidos entre el OAC y FaMAF.
En el camino Eulogia#4 sufrió el proceso devaluatorio de agosto, por lo que también aportará el CCAD-UNC, la UNC y el ex-MinCyT para tener este nuevo nodo que estimamos que llegará en febrero de 2019.
Con toda esta potencia de cálculo agregada Eulogia llegará a 53.20 TFLOPS DP pico.

Compra colaborativa Universidad y Empresas: 20 discos 8 TiB

En mayo de este año comenzamos una compra colaborativa, comunmente conocida como "vaquita", de 20 discos de 8 TiB SAS para llenar los dos nuevos Network-attached Storage (NAS) el CCAD que estarán llegando próximamente.
Este NAS reemplazará al ya viejo y parchado 9U Chenbro RM91250 que originalmente se compró en 2010 para Cristina.

Esta compra colaborativa tiene dos objetivos

  • Bajar el valor del aporte mínimo en equipamiento para el CCAD por parte de los grupos y unidades académicas que hacen uso de los recursos computacionales del Centro.
  • Involucrar a las PyMEs tecnológicas del medio local que quieren apoyar al CCAD para seguir manteniendo el ecosistema de HPC en Córdoba.

Con este tipo de compras bajamos dos órdenes de magnitud el nivel de aporte, con lo cual podemos recibir equipamiento valioso que ronda el centenar de dólares estadounidenses y no la decena de miles que es lo que cuesta típicamente un nodo de cómputo. Esto posibilita utilizar de manera eficiente pequeños subsidios o subsidios que sufrieron la devaluación como los de SeCyT o los PICT. Y en la parte empresarial, podemos acceder a donaciones de la gran cantidad de PyMEs tecnológicas cordobesas.

Los aportantes fueron:

  • 5 discos INFIQC, FCQ.
  • 4 discos subsidio PICT de Marcelo Mariscal, FCQ.
  • 4 discos subsidio PICT Jorge Sánchez, FaMAF.
  • 2 discos Departamento de Química Teórica y Computacional (DQTC), FCQ.
  • 2 discos subsidio PICT Franco Luque, FaMAF.
  • 1 disco subsidio FonCyT Cecilia Giménez, FaMAF.
  • 1 disco empresa EMSER.
  • 1 disco empresa DeepVisionAI.

Agradecemos especialmente a las empresas por su apoyo e invitamos a quien quiera donar equipamiento al CCAD a contactarse con nosotros.

Aceptación de las donaciones de empresas por parte de la UNC: Resolución Rectoral 2061/2018, Anexo.

Tres casos de uso industrial de Nabuconodosor

Les hicimos algunas preguntas a Leonardo David González de EMSER, Mirko Panozzo Zénere de ASCENTIO y a Maximiliano Armesto de Taller Technologies para conocer su experiencia en el uso de Nabuconodosor la computadora para ML del CCAD-UNC que tuvo aportes de empresas locales.

Leonardo David Gonzalez

¿En qué empresa trabajás?
EMSER EMPRESA DE SERVICIOS S.A.

¿En que proyecto están trabajando?
Estoy trabajando en varios proyectos de IA. Algunos proyectos requieren reconocimiento de imágenes.

Contanos brevemente tu experiencia con Nabucodonosor y que cosas te permitió hacer que antes no podías.
Utilicé Nabocodonosor para entrenar una red neuronal para el reconocimiento de unos pocos productos. La ventaja fue la de poder experimentar y tomar una idea de los tiempos y recursos que conlleva este tipo de operaciones.

¿Necesitarían más potencia de cálculo? ¿Qué planes tienen para suplirla?
Para producción se requerirá mas potencia y dedicación ya que hay que entrenar muchos productos. Entendemos no es la razón de Nabucodonosor por lo que vamos a alquilar potencia de calculo en AWS. Seria genial no tener que recurrir a este tipo de proveedores en el exterior, ojalá algún día contemos con algún tipo de servicio similar y de costos accesibles que sea Industria Argentina.

¿Cómo se podría mejorar esta experiencia de relación universidad-industria?
Entiendo sería interesante para toda la industria poder tener acceso a un sitio que funcione como showroom permanente o laboratorio muestren de que cosas se puede implementar con inteligencia artificial y/o con big data en el día de hoy, con referencia a los investigadores responsables de publicarlos que sirvan como consultores (y si se los pudiera contratar, mejor!). Algo que no sea netamente documental, algo sencillo pero que se pueda ejecutar sobre Nabu. Un lugar que sea una vidriera de lo que se investiga en FaMAF en cuestión de estos términos, donde se puedan visualizar novedades regulares al respecto.

 

Mirko Panozzo Zénere

¿En qué empresa trabajás?
Ascentio Technologies S.A.

¿En que proyecto están trabajando?
Estamos trabajando en un sistema llamado Galatea Watcher, encargado de procesar imágenes SAR (Radares de Apertura Sintética) y de datos de posicionamiento AIS (Automatic Identification System) de buques para cruzar la información y realizar la detección de buques ilegales y derrames de petróleo. El sistema está operativo hace un año en la Prefectura Naval Argentina monitoreando el mar Argentino.

Contanos brevemente tu experiencia con Nabucodonosor y que cosas te permitió hacer que antes no podías.
Estamos expandiendo el sistema para soportar nuevas misiones SAR (entre ellas la misión argentina SAOCOM) para brindar servicios con nuevas imágenes, principalmente las de distribución gratuitas como las de la misión Sentinel-1 de la Agencia Espacial Europea y la aplicación de máscaras de tierra para eliminar áreas de costa utilizando DEMs (Modelos de Elevación Digital). La capacidad de procesamiento de Nabucodonosor nos permite avanzar sobre las pruebas de concepto de procesamiento de estas imágenes, algunas de las cuales tienen más de 20 mil x 20 mil píxeles, ya que podemos parelizar el procesamiento de las mismas y no preocuparnos tanto por el manejo de la memoria RAM durante la etapa de validación de los resultados.

Habiendo validado los resultados, ahora estamos trabajando en mejorar el manejo de la memoria RAM para dejar de depender exclusivamente de Nabucodonosor. Pero hasta el momento, nos sirvió de forma tal que si no lo hubiésemos tenido a mano, habríamos tardado mucho más tiempo en validar nuestros resultados porque el esfuerzo se hubiera centrado en la eficiencia a nivel performance.

¿Necesitarían más potencia de cálculo? ¿Qué planes tienen para suplirla?
No necesitamos más potencia. Actualmente estamos trabajando en lograr que el procesador de las imágenes trabaje de forma más eficiente a nivel memoria RAM. A nivel procesamiento no es necesario hacer una mejora significativa, dado que en el tiempo total transcurrido entre la adquisición de la imagen y la entrega del reporte al cliente nuestro procesamiento representa apenas un 10% de dicho tiempo.

¿Cómo se podría mejorar esta experiencia de relación universidad-industria?
En lo que a nuestra experiencia respecta, todo ha sido para bien. Hemos tomado provecho de este nodo creado entre el cluster y la facultad para mejorar nuestro producto. Contar con Nabucodonosor nos permitió, además, poder empezar a generar productos para otros países de Latinoamérica tales como Perú, Colombia y Brasil. Tal vez podríamos mejorar esta relación desde nuestro sector, mostrando los resultados obtenidos para poner en valor lo importante que es disponer de una herramienta como Nabucodonosor.


Maximiliano Armesto

¿En qué empresa trabajás?
Taller Technologies.

¿En que proyecto están trabajando?
GreenVisual: diseño y entrenamiento de una red neuronal para la distinción de cultivos y malezas en el sector agrícola. Estamos utilizando redes neuronales convolucionales para hacer la clasificación. Contamos con un dataset de 8000 imágenes.

Contanos brevemente tu experiencia con Nabucodonosor y que cosas te permitió hacer que antes no podías.
Pudimos entrenar nuestro modelo en Tensor Flow de una manera mucho más rápida. Pasamos de 3 días de entrenamiento a unas 5 horas. Esto nos permitió jugar con más parámetros en el diseño del mismo. Le experiencia fue muy buena el único problema fue cuando los usuarios no respetaban el sistema de encolado de las tasks.

¿Necesitarían más potencia de cálculo? ¿Qué planes tienen para suplirla?
Por ahora no necesitamos más potencia. Nuestro dispositivo deberá correr los modelos en el campo sin conexión, con lo que estamos tramitando un kit de desarrollo NVIDIA.

¿Cómo se podría mejorar esta experiencia de relación universidad-industria?
Creo que muchas veces los usuarios no encolan las tareas por no saber que deben hacerlo. Mejoraría la capacitación en este sentido.

Alejandra Foggia, una física en el Master de HPC

Alejandra Foggia MHPCAlejandra Foggia es Lic. en Física de la FaMAF. Hace un par de años tomó un rumbo distinto respecto a sus compañeras y compañeros y empezó a cursar el Master en High Performance Computing (MHPC) un programa conjunto entre el SISSA y el ICTP en Trieste, Italia. Le consultamos acerca de la relación entre su título de grado y este nuevo campo de estudio.

CCAD: Hola Alejandra. Contanos cual es tu título de grado y que estás haciendo actualmente.
Alejandra Foggia: ¡Hola! Soy Licenciada en Física desde hace un año y medio aproximadamente. Ahora estoy terminando una maestría en High Performance Computing (MHPC). La maestría es "corta" porque dura sólo 12-15 meses (en general los masters suelen ser de 2 años), y los cursos son todos prácticos, uno aprende haciendo, literal.

CCAD: El cambio de tema parece radical. ¿Qué te costó más y que te costó menos para hacer la MHPC con tu formación de base en física?
AF
: Sí, es un gran cambio, sobre todo porque, como decía, es todo práctico. Estaba muy acostumbrada a primero leer sobre un tema y tener clases teóricas y después hacer ejercicios. Acá (y creo que en esta área) no es así, los ejercicios son la forma de aprender, leer material bibliográfico es sumamente recomendado pero no es esencial. Esa forma de trabajar me gusta.
Respecto de los temas tratados acá, no tuve grandes dificultades porque en la FaMAF tuve en el último año un muy buen curso de Análisis Numérico (dejé esa materia para casi el final) en el cual aprendimos no solo los algoritmos sino a programar correctamente, particularmente en Fortran, siguiendo las "prácticas del buen programador". Una vez que uno sabe eso para un lenguaje es aplicable a todos. Lo que más me costó de todas las cosas que aprendí fue el concepto de puntero en C, porque en Fortran no es algo que surja naturalmente, mientras que en C es muy normal. Pero estaba casi obligada a programar en C, entonces eventualmente lo empecé a manejar sin problemas. El resto de los temas fueron fáciles de comprender, siento que la formación en física nos da capacidad de abstracción y de extrapolación que permite cambiar de tema de trabajo fácilmente sin grandes complicaciones.

CCAD: No sos la primera física que se especializa en HPC, pero tal vez dentro de FaMAF-UNC la experiencia no sea de lo más común. ¿Qué mensaje le darías a los estudiantes de los últimos años de carreras de ciencias duras respecto a tu experiencia?
AF: Me dí cuenta que más allá de la investigación, hay mucho mucho más en lo que uno puede aplicar la formación en física (en particular, porque es mi rama) y los conocimientos y habilidades relacionados al HPC. Cuando terminé la carrera para mí el siguiente paso era empezar un doctorado, no había otra, pero no es así. La investigación no es para todo el mundo, puede que haya muchas personas que terminan la carrera y no quieran seguir en lo académico, pero que no tienen idea de qué otras cosas se pueden hacer. Es la respuesta que nunca podía dar cuando me preguntaban: ¿Y qué hace un físico cuando se recibe? En mi experiencia, durante la carrera no se habla de estas otras posibilidades entonces uno no sabe ni cómo ni dónde buscar. Mi mensaje en parte es sobre esto, existen infinidad de cosas para hacer a parte de la investigación, lo que sí, para descubrirlas muchas veces uno tiene que pasarse varias horas al frente de la compu visitando páginas de empresas de software/hardware, de universidades (porque muchas veces las universidades tienen acuerdos con empresas y hacen investigaciones aplicadas), de proyectos (como bibliotecas de álgebra lineal, de elementos finitos, graficadores, por decir algunos), etc. No es la única forma de hacerlo pero, según mi experiencia y la de mi entorno, es la más común.
En particular hablando de la investigación, depende de lo que uno haga dentro de su ciencia, pero para mí es muy claro que, si uno no hace algo experimental, e incluso en esos casos puede ser necesario también, saber hacer simulaciones eficientemente es muy muy importante. Los problemas que actualmente son investigados suelen tratar de sistemas complejos, de muchas variables, que requieren de mucha memoria y muchas horas de cómputo para correr, y si uno apunta a esos sistemas los conceptos asociados al HPC son un requerimiento.
Mi modo de verlo (y después del máster lo puedo confirmar) es que las grandes simulaciones, y por grandes me refiero al volumen de datos y al tiempo de ejecución, son claves tanto en la ciencia como en la industria. Por eso, el conocimiento de los conceptos relacionados al HPC es un complemento, una herramienta, de mucho uso y peso para una persona con formación en ciencias duras.

CCAD: ¿Nos contás de que estás planeando a futuro? ¿HPC, física, ambas?
AF: Me gustaría hacer un doctorado en el área de la física, algo así como física con biología, para probar la "experiencia académica", y me gustaría hacerlo en algo donde el HPC sea un componente fuerte de mi trabajo.

CCAD: Muchas gracias Alejandra por tu tiempo
AF
: Gracias a ustedes por la entrevista, espero que sirva para visibilizar estas cosas.

Dirac, el nuevo cluster del DF@UBA

Hace menos de un mes Roberto Dhios, el SysAdmin del Departamento de Física de la Universidad de Buenos Aires (DF@UBA), nos contaba que el nuevo cluster Dirac estaba completamente operativo luego de un proceso de instalación que empezó aproximadamente en junio de este año.

El equipo son 30 Dell Poweredge R720xd recibidos como donación. Los nodos se dividen en:

  • 19 nodos de cálculo con dos Intel Xeon E5-2670v1 con 64 GiB de RAM.
  • 6 nodos de cálculo con las mismas pastillas, pero el doble de memoria: 128 GiB de RAM.
  • 4 nodos de almacenamiento con 2*E5-2670v1 y 64 GiB de RAM, para mantener un /scratch de 149 TiB.
  • 1 headnode también con 2*E5-2670v1 y 64 GiB de RAM manteniendo el /home de 30 TiB.

El conjuto totaliza 400 núcleos de cálculo y una potencia pico teórica de 8.32 TFLOPS, a razón de 166.4 GFLOPS por pastilla E5-2670v1.
El equipo ya está incorporado al Monitor de Clusters Argentinos que el CCAD-UNC mantiene.

Respecto al software es OpenHPC 1.3.5 (CentOS 7) con SLURM y BeeGFS para el scratch.