Visita del Secretario de Articulación Científica de la Nación al UNC Data Center

Marcos Mazzini sacó la foto, el tacho para la gotera no puede faltar.Secretario de Articulación Científica de la Nación, Agustín Campero, visitó el UNC Data Center para conocer el estado de avance de las obras.

La visita la acompañaron Patricia Paredes (representante del CIN en el consejo asesor del SNCAD y miembro del CCAD-UNC), Carla Giacomelli (Secretaria de CyT-UNC), Miguel Montes (Prosecretario de Informática-UNC) y Marcos Mazzini (CPA, CCAD-UNC).

El UNC Data Center ya cuenta con piso técnico, instalación eléctrica, racks, sistema detector y extintor de incendios y grupo electrógeno.

En total son 12 racks para el CCAD-UNC con 40 KVA de potencia cada uno y 22 racks para la PSI con 4 KVA. El piso técnico es de 1,2 mts de despeje. El sistema extintor de incendios es por agente químico con dos sistemas complementarios de detección de incendios. El grupo electrógeno son dos generadores de 200 KVA cada uno montados en configuración redundante.

El cerramiento y aires acondicionados ya fueron adjudicados y serán instalados en los próximos meses.

Ploonets, una simulación con divulgación y supercomputadoras

A principios de agosto se publicó un trabajo científico con la participación de Cristian Giuppone, Dr. en Astronomía de la UNC y usuario del CCAD.

Mario Sucerquia, Jaime A. Alvarado-Montes, Jorge I. Zuluaga, Nicolás Cuello, Cristian Giuppone, Ploonets: formation, evolution, and detectability of tidally detached exomoons, Monthly Notices of the Royal Astronomical Society, , stz2110, https://doi.org/10.1093/mnras/stz2110

Parte de este trabajo involucró el uso de los recursos del CCAD, en particular de Mulatona. Aprovechando que el trabajo recibió mucha divulgación por parte de los medios (Comunicación OAC, Clarín, Canal U, Canal 12), entrevistamos a Cristian para que nos cuente el costado HPC del paper.


CCAD: ¿El software ya estaba hecho, vos lo adaptaste o es propio?
Cristian Giuppone
: Es un soft que voy customizando de acuerdo a lo que quiera estudiar. Es básicamente un integrador n-cuerpos al que se le pueden agregar fuerzas adicionales para modelar procesos físicos y pedirle distintos tipos de salidas variando planos de referencia y orígenes de coordenadas. La versión original del código es desarrollada y mantenida por el fundador del grupo, el Dr. Cristian Beaugé, y es utilizada por todo el Grupo de Sistemas Planetarios del OAC, así como otros investigadores que han estado en contacto o colaborando con nosotros. Es el mismo código que utilizo en mi máquina personal, por lo cual puedo hacer infinitas pruebas y una vez que está ajustado/optimizado utilizo los clusters disponibles. Está escrito en Fortran, tiene unas 4000 líneas y no posee dependencias externas. He utilizado otros códigos reconocidos a nivel mundial como REBOUND o Mercury, pero me siento más a gusto modificando o acondicionando el propio.

CCAD: ¿Cómo se compara el software que usás con el resto en términos de desempeño, precisión y tipo de simulaciones que podés hacer?
CG
: En términos de desempeño, para simulaciones individuales se comporta de la misma manera. Existen módulos que no son libres de REBOUND o Mercury que trabajan más eficientemente efectos de marea, o evolución estelar (es decir acoplan parámetros físicos). Tenemos un Proyecto SECyT-UNC que apunta en esa dirección para mejorar el código y tenemos una implementación de efectos de mareas con un modelo autoconsistente que aún está en desarrollo (Cristian Beaugé). En términos de paralelización nos hemos encontrado con dificultades mayores que requieren alto conocimiento de lenguaje de alto nivel y MPI que requieren dedicación exclusiva al problema computacional. De hecho, hace unos años incursionamos con otros códigos que calculan n-cuerpos para millones de partículas, con el objeto de estudiar la dinámica en los anillos de Saturno. No obstante nunca llegamos a hacer pruebas definitivas en ninguno de los clusters del CCAD. Actualmente la alumna de Doctorado, Lic. Mondino decidió emigrar a la Universidad de Oulu (Finlandia), cambiando el enfoque de su tesis para modificar acordemente el código REBOUND tal que reproduzca efectos físicos conocidos.

CCAD: ¿De qué manera paralelizaron?
CG: La paralelización la desarrollé cuando estuve realizando mi postdoc durante 2011, en la Universidad de Aveiro (Portugal). Había recursos disponibles en la universidad, pero el software hasta esa época no funcionaba en paralelo. Dada mi formación, me costó bastante, pero lo tomé como un desafío personal. En dicho posdoc utilicé unos ejemplos que me pasaron de códigos en MPI, para utilizar las prestaciones del código en paralelo y también incluí indicadores de estructuras de resonancias como variaciones de acciones y ángulos.
Generalmente construyo mapas dinámicos para analizar estructuras de resonancias en sistemas de n-cuerpos por lo cual, cada punto en mi mapa dinámico es una corrida independiente del código. En los problemas que generalmente estudiamos, el número de cuerpos es reducido (3 a 7) y nos interesa mucho la posición exacta de cada órbita sin suavizar los potenciales durante cientos de miles de períodos del sistema. En la Universidad de Aveiro el sistema de distribución de tareas era muy interesante: cada facultad aportante de dinero para el cluster tenía asignado un proporcional de nodos a su disposición siempre; si los nodos estaban ociosos eran liberados para todos los usuarios. En el caso de que todos los nodos de un grupo estuvieran siendo utilizados por otro grupo y se necesitaba hacer uso, se recibía un email del administrador que solicitaba anular los trabajos y uno tenía una ventana de tiempo para hacerlo. De esta forma el usuario no debía esperar más de unas pocas horas para utilizar el cluster. También con esta forma de trabajo aprendí a ser solidario con el uso de los recursos y no acapararlos todos para mí, cuando sé que hay otras personas esperando para sus simulaciones.

CCAD: ¿Cuál es la Eficiencia Paralela?
CG
: El nivel de eficiencia es lineal con la cantidad de nodos (parallel efficiency = 1), porque cada nodo corre su propia versión del programa. Si utilizo 56 nodos, ¡la tarea es 56 veces más rápida! Hay que tener mucho cuidado de meterle presión al filesystem, porque podemos escribir demasiados archivos o abrir demasiados archivos a la vez y de esa forma saturar el ancho de banda de discos o incluso llenarlos afectando a todos los otros usuarios del cluster. Este tipo de problemas es recurrente en usuarios que no prestan demasiada atención a esos detalles.

CCAD: ¿Qué compilador y opciones de optimización usás?
CG: A ver, he encontrado muy buenas prestaciones compilando con

mpif90 -o -O3 ejecutable simulacion.f

es decir el wrapper MPI del compilador GNU Fortran. En un principio utilizaba mpifortran de Intel pero luego me mudé porque no conseguía una versión para correr en mis computadoras personales. Una mejora en prestaciones de una 10 veces para integradores con paso adaptativo (tanto BS como RK7/8) es cuantificable con la opción -O3. La integración de órbitas que poseen mucho caos no tienen los mismos resultados con -O3 que sin esa opción, pero como estudio espacios de parámetros y dinámica global del sistema, es algo que incluso cambiando de servidor o de computadora, arrojará resultados diferentes.

CCAD: ¿Cuál fue aproximadamente la cantidad de horas/core de cálculo en total?
CG: Normalmente mis tareas corren unas 8 a 12 hs en unos 24 a 56 nodos. La labor de investigación requiere estudiar distintos planos representativos, muchas veces sólo una reducida parte de los cálculos se ve reflejada en los resultados obtenidos.
Durante el último año y medio he corrido 250000 horas/core en los clusters Mulatona y Clemente (cluster interno del IATE), de los cuales un 20% son del paper de Ploonets y hay un alto porcentaje de otros papers que salieron este último tiempo como órbitas polares alrededor de binarias o estudio de la evolución de los satélites de Saturno.

CCAD: ¿Mucha RAM o poca RAM?
CG: La cantidad de memoria RAM es de unos 2 GiB a la hora de compilar. La compilación dura unos 30 segundos. Luego el uso de RAM en la simulación es despreciable.

CCAD: ¿Usaron bibliotecas? ¿Cuáles?
CG: Algunas subrutinas del Numerical Recipes son utilizadas, pero no bibliotecas.

CCAD: ¿Cómo te sentís corriendo en CCAD y cómo se compara con otras experiencias de uso de recursos de HPC?
CG: Tengo muy buena relación con Darío Graña que me ha ayudado muchas veces con los inconvenientes y otra gente de IATE que tiene mucho mejor conocimiento en paralelización (Dante Paz, Marcelo Lares, Federico Stasyszyn). En otros clusters suelen tener ejemplos de programas para que los usuarios indaguen un poco y ejemplos de los scripts para ejecutar tal cual están subidos. De hecho muchas veces me ha pasado que actualizan los sistemas, nos dejan sin alguna biblioteca que anda y renegamos un tiempo hasta que descubrimos como solucionarlo. Pero siempre he encontrado buena disposición del equipo de CCAD y aprecio el trabajo que hace todo el equipo.
Creo que falta información para los usuarios de que es efectivo y que no, corriendo en un cluster del tamaño de los que tenemos. Obvio que me gustaría hacer una simulación de la evolución del universo o de la dinámica de partículas en anillos de Saturno por largo tiempo, pero soy consciente de las limitaciones propias. A veces una computadora personal con buenas prestaciones puede realizar el trabajo. A veces el sistema es tan complejo que la capacidad de CCAD no alcanza, y sería bueno buscar convenios internacionales que permitan utilizar computadoras más potentes.

CCAD: Muchas gracias Cristian por la predisposición para divulgar el uso del HPC y nuestros equipos.
CG: Gracias a ustedes y les dejo una breve explicación de que objetos simulamos y que buscamos.


Análisis de algunas de las simulaciones de Ploonets

Pensemos en un sistema con marco de referencia en el planeta como Neptuno, ubicado a 0.5 unidades astronómicas de su estrella el Sol. Para cada uno de estos sistemas generaremos condiciones iniciales con una lunita alrededor de la masa de Titán a distintas distancias de su planeta (eje x) y distintas orientaciones respecto a la posición de la estrella (eje y). El esquema básico de nuestro estudio seríaLa imagen que continúa representa cada una de las condiciones iniciales que exploramosEsta distribución de condiciones iniciales implica que nuestro programa se ejecutará 14600 veces. Cada integración demora unos 40 segundos en ejecutarse para monitorear el comportamiento de cada sistema por unas 100000 veces el período orbital del sistema. Para obtener todo el mapa dinámico necesitamos unas 162 horas. Si ejecutamos en 48 nodos, sólo esperaremos 3.4 horas para completar las corridas.

En cada integración se analiza la variación de la órbita de la lunita, su configuración final y muchos otros cuantificadores de órbita. Es así que se construyen los mapas dinámicos de las figuras siguientes:


La primera usa como escala de color la variación de la excentricidad de la luna durante la integración. Aquellas órbitas más regulares son las que tienen ese indicador menor a 1. En el caso de la segunda imagen, se usan las mismas integraciones, pero la escala de color corresponde al tipo de configuración que se obtuvo: el color 19 indica órbitas estables alrededor del planeta, el color celeste indica aquellas lunas que escaparon del sistema y el color rojo es una mezcla de 2 tipos de configuraciones: aquellas que alternativamente orbitan al planeta o a la estrella y aquellas que se convierten en ploonets.

Refrencias
Paper ploonets: [pago] [libre]
Paper orbitas polares: [pago] [libre]

Minicurso de HPC en el Centro Atómico Bariloche

Del 5 al 7 de agosto, Carlos Bederián y Nicolás Wolovick, miembros del CCAD, fueron invitados por la Gerencia de Física del Centro Atómico Bariloche a dar un curso de HPC. Originalmente se pensó para la Gerencia de Física, pero rápidamente se abrió a otras y tuvimos cerca de 60 investigadores de la CNEA anotados para tomar el curso.

El curso fue horizontal en vez de vertical. ¿Qué significa esto? Bueno, en vez de dar un solo tema profundo, se tocaron muchísimos temas sencillos, pero que hacen al día a día de la computación de alto desempeño.

 - Dilbert by Scott Adams

¿Cómo funciona una arquitectura de CPU/GPU moderna? ¿Qué tipos de paralelismo hay en ellas? ¿Cuáles son sus límites? ¿Cómo es posible medir si estamos utilizando bien los 10⁹ transistores que lo componen? Se vieron ejemplos prácticos de uso y se dejó en claro que la low hanging fruit es suficiente en HPC para lograr un rendimiento razonable con poco trabajo.

El trabajo se dividió en 5 sesiones:

Durante la tarde del miércoles 7 de agosto tuvimos una reunión plenaria con un tópico particular «¿Qué hacer en el CAB para potenciar HPC?». Allí, moderado por Ezequiel Ferrero y Alejandro Kolton, contamos la experiencia de CCAD respecto al difícil balance entre utilización plena de recursos, generación de demanda en HPC, retención de esa demanda y sobre todo como hacer HPC en contextos presupuestarios adversos. El Gerente de Física, Alejandro Fainstein y el SysAdmin de los clusters de la Gerencia Gustavo Berman, estuvieron presentes en la reunión, brindando apoyo para que HPC sea un tema estratégico dentro del Centro Atómico.

Nueva compra comunitaria, baterías para la UPS

Ya está operativa la APC Smart-UPS XL 3000VA con su XL 48V Battery Pack que permite saltar cortes de luz de hasta una hora y media (1.5 hs) en el NAS y rack de servicios, o bien apagarlos de manera ordenada si el tiempo de apagón es mayor.

Las baterías estaban completamente agotadas y en la foto se puede ver que ya estaban hinchadas y con riesgo de rajarse y tener pérdidas de ácidos que pueden dañar los equipos.

El conjunto de UPS+BatteryPack necesita 4+8=12 baterías 12V 18A/H. Los baterías fueron una compra comunitaria con subsidios de los investigadores:

Las baterías fueron cambiadas y calibradas dentro de la UPS por el Taller de Electrónica de FaMAF, como un servicio para el CCAD-UNC.

Como lograr el 100% de ocupación en los Clusters Argentinos

HPC y Argentina, donde estamos

En Argentina el recurso computacional para HPC es escaso. La máquina más potente es Huayra Muyu, con 370.4 TFLOPS Rpeak, que es algo asi como 31% de la máquina más lenta del Top500-Jun19. Aunque este número es más o menos lo que se tuvo con TUPAC cuando se puso en producción (26.5% del sistema más lento del Top500-Jun15. Hoy esta máquina es 4.12% del sistema más lento del Top500-Jun19), hay un detalle no menor, Huayra Muyu es una supercomputadora que tiene que producir diariamente pronósticos meteorológicos. Simplemente el sistema de Ciencia y Tecnología de Argentina no lo puede usar.

¿Qué pasa con los sistemas #2, #3 y siguientes en Argentina? Bueno, estos si están disponibles para la comunidad de CyT, pero son 10 veces más chicos que el #1. Esto quiere decir que la comunidad científica accede a clusters que son, con todo el viento a favor, el 5% del sistema más lento del Top500. El panorama del HPC en Argentina resulta desalentador.

¿Qué hacemos frente a esta situación? Compramos hardware con la mejor relación GFLOPS/USD, hacemos compras comunitarias para el centro, hacemos intercambios de partes con otros centros de HPC, utilizamos GPU gamers para calcular, y miramos todos los clusters que conocemos en Argentina para saber si están sub-utilizados y migramos usuarios de manera temporal.

¡Hay un cluster libre! ¡Al abordaje!

Recientemente nos enteramos de la existencia del cluster Oro Verde de la Facultad de Ingeniería de la UNER, a través del Decano Dr. Bioing. Diego Martín Campana. Rápidamente nos pusimos de acuerdo y nuestros investigadores pudieron utilizar sus equipos. Durante parte de abril y todo mayo un grupo de cinco usuarios del CCAD dispusieron de casi los 240 cores del recurso computacional como se nota en el gráfico de abajo. Más que uso, nuestros usuarios hicieron abuso del recurso. Simplemente lo necesitan y en un mes de uso de Oro Verde, varios pudieron terminar cálculos que tenían pendientes desde hace meses.

Es todo tuyo, pero si no lo usás, lo uso yo

¿Se puede compartir el recurso con el resto de la comunidad científica, pero tener exclusividad en el uso?
El manejador de recursos para clusters SLURM, se puede configurar para dividir los usuarios en dos grupos, que podemos llamar locales y visitantes. Los locales tienen prioridad absoluta sobre los recursos y los visitantes solo pueden ejecutar si hay recursos libres. Si un vistante está ejecutando cuando un local necesita correr, el planificado interrumpe el trabajo visitante y lo reencola para que eventualmente se ejecute. Esto no es problema, ya que cualquier paquete importante de HPC admite checkpointing y restarting por diseño (GROMACS, OpenFOAM, etc.)
Así implementamos la política de uso en Mulatona, que es propiedad del IATE, pero si ningún local del IATE lo está usando todos los visitantes del resto del CCAD pueden aprovechar el recurso de cómputo. Abajo se muestran las partes fundamentales del archivo /etc/slurm/slurm.conf que permite definir esta política.

...
# PREEMPTION IATE
PreemptMode=REQUEUE
PreemptType=preempt/partition_prio
...
# COMPUTE NODES
ReturnToService=1
NodeName=head Sockets=1 CoresPerSocket=8 ThreadsPerCore=1 State=UNKNOWN
NodeName=bdw[01-07] Sockets=2 CoresPerSocket=16 ThreadsPerCore=1 State=UNKNOWN

EnforcePartLimits=YES
PartitionName=multi Nodes=bdw[01-07] Default=YES Shared=No MaxTime=4-0:00 State=UP PriorityTier=1
PartitionName=batch Nodes=bdw[01-07] Default=NO Shared=No AllowAccounts=iate Priority=20000 MaxTime=7-0:00 State=UP PriorityTier=2

Los resultados son los esperados como se puede ver en la carga de Mulatona durante el último año. Si Mulatona no se usa por parte del IATE, solo envejece y se vuelve obsoleta. El uso por el resto de la comunidad implica hacer más eficiente la inversión a nivel global.

El hardware en HPC no es un bien mueble, es un consumible que agota su vida útil en cinco (5) años. Utilizarlo lo más rápidamente posible y a plena capacidad debería ser una prioridad para todos los Centros de Computación de Alto Desempeño de Argentina.

 

Experiencia con Oro Verde

La política de visitantes con preemption la implementaron los administradores Gastón Schlotthauer, Juan Ignacio Etchart y Víctor Ojeda a principios de julio y desde entonces el grado de utilización subió considerablemente, nuestros investigadores pueden migrar si lo ven con poca carga y el hardware, tan escaso en nuestro país, tiene un factor de utilización entre el 90% y el 100%.

Tal vez esta sea la manera correcta de implementar las políticas de uso compartido del SNCAD, donde repartimos migajas entre muchísimos investigadores.

Adjudicación Período de Uso Exclusivo CCAD, invierno 2019

Se adjudicó un nuevo periodo de uso exclusivo de los recursos del CCAD.
En esta ocasión se decidió priorizar el uso de todos los recursos disponibles la mayor cantidad de tiempo. Es por eso que:

  • Se extendió el periodo de invierno a 1 mes.
  • Se va a utilizar toda Mendieta Fase 2 y toda Eulogia.
  • Se priorizaron los pedidos que hicieran uso extendido en el tiempo de muchos nodos, para así atacar problemas que usualmente tardan mucho en entrar durante los períodos de uso compartido.
  • Se definió una política de preemption respecto a los usuarios comunes, en vez de inhabilitarlos. Se podrá seguir ejecutando en tanto haya nodos disponibles, pero serán desplazados cuando los usuarios exclusivos quieran ejecutar (en breve se publicará una experiencia con esta política).

El objetivo planteado es claro, producir resultados relevantes con equipamiento que cada año resulta menos competitivo a nivel mundial. Confiamos en que esta es la manera de aprovechar mejor nuestros escasos recursos.

Actualización 20190903

Hicimos un pedido de devolución a las/los usuarios, y con su consentimiento, las publicamos a continuación. Creemos que resultan valiosos para comprender el ciclo de modelización computacional y uso de recursos de computación de alto desempeño en las ciencias básicas.

Fabio Ribeiro:
«Para mi anduvo todo bien, todo lo que yo quería calcular lo calculé, ahora estoy juntando los resultados y escribiendo. La única limitación que veo (y que pasó con 1 cálculo solamente) es de disco rígido. A veces necesito salvar en mi home los archivos temporarios de Quantum Espresso, por un tiempo (1, 2 semanas). Si el sistema es grande, esos archivos pueden fácilmente pasar de 100GB, y se tengo muchos cálculos, tengo que hacer de a uno cada vez. Hago uno, analizo, termino en 1-2 semanas, limpio todo, y hago el próximo. No puedo correr todos en un intervalo corto de tiempo. Pero este tipo de sistema no es frecuente, entonces no importa mucho.»
Alexis Paz:
«El uso exclusivo fue fundamental para mi investigación. Por supuesto que obtuve resultados, aunque no fueron lo esperado.

En general, para lo que hago yo (cálculo de superficies de energía libre en proteínas), uno tiene que concebir un modelo mental de como funciona la proteína y utilizar 1 o 2 grados de libertad que capturen ese modelo. Luego la simulación se acelera usando esos grados de libertad y se colecta el comportamiento del sistema sobre ellos. Si se comportan como se espera, entonces el modelo esta bien, y se comprueba que la proteína funciona como se pensó. Sin embargo, si se obtienen resultados diferentes, es probable que el modelo no sea el adecuado, y la proteína en realidad funcione diferente. Entonces hay que volver a pensar o corregir el modelo, proponer otros grados de libertad que capturen su esencia, acelerarlos y evaluar los resultados. En resumen es necesario muchas simulaciones que mediante prueba y error nos permitan de apoco entender como funciona la proteína. El uso exclusivo me permitió explorar muchas variables y reconstruir muchas superficies de energía potencial y empezar a considerar que la proteína tiene un mecanismo diferente del que inicialmente concebimos.

Con toda la información colectada en ese periodo estamos trabajando para darle una explicación y decidir que nuevas simulaciones largar para lograr capturar el mecanismo de funcionamiento de esta proteína (la proteína BAX, que inicia el proceso de muerte celular programada).
De haber tenido que largar esto en 1 nodo, tendría que esperar 20 días para poder ver los resultados de 1 o 2 grados de libertad, y luego analizar y proponer otros … meses … en cambio fue todo mucho mas fácil, ya que al poder largar en 6 o 7 nodos los 20 días se hacen 3 y así el trabajo científico de modelar y pensar en el sistema se hace mas dinámico, pudiendo probar muchas mas cosas en poco tiempo.
Por otro lado, ensaye una simulación de réplicas paralelas, pero quedo muy justa para Eulogia. Usando los 14 nodos, alcanzaba una aceleración cuestionable en los modos de libertad del sistema (lo que es el objetivo de esta técnica). Hubiera necesitado mas de 30 nodos para que la aceleración sea importante. Pero esto es una limitación del sistema y del método de simulación. Es decir, ya cuando se vuelve tan caro, mejor dejar la fuerza bruta y volver a trabajar como mencione más arriba. Así que opte por concentrarme en eso, que es igual o mas importante.»
Marcelo Puiatti:
«Lamentablemente por superposición del tiempo asignado con el Workshop en Programación y la tardía comunicación de los resultados, la tesista que lleva adelante el proyecto no puede realizar las simulaciones. Aclaro que al momento de realizar el pedido, no teníamos confirmada la participación de la Tesista en el Workshop y por eso no aclaré la situación en el pedido, error mio.
Nuestro proyecto tiene 2 etapas, realizamos la primer etapa, con archivos que teníamos preparados previamente, pero para la segunda etapa necesitamos dedicación full-time y no llegamos. Yo realicé unas pruebas en estos días, pero no pude resolver un problema que se presentó y no voy a poder utilizar el tiempo que resta. Entre la formación de la Tesista y el avance del proyecto, asignamos prioridad a la formación»
Dante Paz y Federico Stasyszyn:
«Nosotros realizamos varias simulaciones de la estructura de gran escala del Universo con un software que permite seguir la evolución de la materia oscura, de la componente bariónica, y modela algunos proceso astrofísicos, el mas importante la formación estelar (Federico forma parte del equipo de desarrollo de este soft). Realizamos una caja cosmológica de 500 mega parsecs de tamaño, y allí adentro identificamos la regiones conocidas como vacíos, o cosmic voids. En la estructura del Universo las galaxias se agrupan en altas concentraciones que se denominan cúmulos de galaxias, entre estos se forman puentes de materia que se conocen como filamentos. Los filamentos se alinean sobre planos que encierran regiones muy grandes que son los voids que estudiamos. Gracias a este uso exclusivo pudimos realizar varias re-simulaciones de alta resolución del interior de estos vacíos, seleccionados de la caja cosmológica a partir de una clasificación dinámica que desarrollamos acá. Esto nos esta permitiendo estudiar como es la formación estelar, la física de los bariones en ambientes extremos, ya que en el interior de los voids, el universo se expande a mayor taza que la ley de Hubble universal. Las simulaciones ya están siendo analizadas por Agustín Rodríguez, estudiante de la licenciatura en Astronomía, bajo la dirección de Federico Stasyszyn y Dante Paz.»

IPAC 2019, charla de Fabio Busnengo, 15 julio

Se abre la cuarta Iniciativa de Proyectos Acelerados de Cálculo (IPAC) por parte del SNCAD. Para dar guías y ayudas en la presentación el Dr. Fabio Busnengo del IFIR-CONICET y UNR, dará una charla virtual el lunes 15 de julio a las 10am.

La iniciativa IPAC fomenta el uso de equipamiento de HPC adquirido y/o adherido al Sistema Nacional de Computación de Alto Desempeño y te permite, por ejemplo, ejecutar en nuestros clusters asociados Mendieta y Eulogia.

¡Nuevo NAS!

Dante Paz y Federico Stasyszyn sacando uno de los NAS de su caja.

El viejo NAS con un chasis de 9U Chenbro RM91250 remozado en 2016 con dos Xeon E5-2620v3 y 64 GiB de RAM que fuera originalmente comprado para Cristina en 2010, consiguió finalmente un apoyo para almacenar los datos de los usuarios del CCAD-UNC.

El financiamiento fue provisto en dos terceras partes por la UNC y el tercio restante fue asignado en 2016 por parte del SNCAD. Como siempre la compra estuvo plagada de problemas y luego de declarar desierto el concurso de precios en varias oportunidades accedimos por parte del SNCAD a la posibilidad de una compra directa en noviembre del año pasado. Transcurrieron cinco meses hasta obtener los fondos del ex-MinCyT y poder finalizar la compra.

 

El equipamiento son dos servidores de archivos idénticos con las siguientes características técnicas:

El espacio para los 48 discos que serán ocupados por una mezcla entre los discos de 4 TiB intercambiados con DF@UBA que recibimos hace un mes y los discos de 8 TiB de compra comunitaria que hicimos a fin del año pasado.

Se espera que luego de las vacaciones de julio esté activo, a fin de mejorar la velocidad de los home y de la partición scratch.

El CPA Darío Graña en Barcelona

Darío Graña, uno de los tres CPA-CONICET trabajando en el CCAD-UNC, está en una estancia de trabajo en Barcelona, España.
Su lugar de trabajo es Instituto de Ciencias del Espacio (ICECSIC) a través del programa LACEGAL, y sus tareas diarias se desarrollan en el PIC.
Actualmente está trabajando en un algoritmo para calcular la función de correlación de galaxias sobre grandes volúmenes de datos, obtenidos a partir de observaciones y también simulaciones. Las herramientas utilizadas son Hadoop y la biblioteca TreeCorr. El objetivo es realizar el cálculo de la función de manera distribuida, utilizando distintos tipos de coordenadas que varían de acuerdo a los datos.
Este intercambio ha sido posible gracias al Instituto de Astronomía Teórica y Experimental (IATECONICET) donde Darío tiene radicado su cargo de CPA, que forma parte como uno de los nodos de LACEGAL. La estancia tiene una duración total de tres meses.

Eulogia suma 10 TFLOPS

Aunque parezca mentira, hace minutos al ejecutar la lista de trabajos pendientes tenemos 4 nuevos KNLs 7250 en Eulogia.

$ squeue -a
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
...
8509 soporte xhpl build R 24:16 4 knl[17-20]

Esta es la conclusión de un larguísimo proceso de compra que empezó a fines de 2017 con la adjudicación de un PMT de $300.000 de la SeCyT-UNC para la compra de un nodo más para Eulogia. En este año y medio, los fondos perdieron la mitad de su poder adquisitivo, el ROECYT se venció, tuvimos innumerables problemas para que el SNCAD desenbolse un remanente de dinero que había quedado para gastar; además de tener que buscar nosotros mismos quien nos provea del equipamiento, ya que con la demora, el proveedor adjudicado solo podía encontrar KNMs, luego de que Intel discontinuara toda la línea Xeon Phi a mediados de 2018.

Con este agregado Eulogia ahora cuenta con 5 unidades de 2U de altura, cada una con 4 nodos KNL, totalizando más de 50 TFLOPS Rpeak de potencia de cálculo pico en doble precisión.
La medición del nuevo nodo de 4 KNLs arroja 4.85 TFLOPS, lo cual implica que en conjunto tenemos 24.25 TFLOPS Rmax. Recordemos que la computadora más lenta del Top500 11/2018 tiene 36 veces más potencia que Eulogia, nuestra computadora más potente.

T/V                N    NB     P     Q               Time                 Gflops
--------------------------------------------------------------------------------
WR00C2R2      204000   336    16    16            1167.03              4.850e+03

Estimamos que luego de las pruebas, y conociendo la cantidad de trabajos encolados que hay en espera, estos 4 nuevos procesadores se ocuparán instantáneamente.

Actualización

Se ocupó instantáneamente. Ver lado derecho del gráfico de utilización.