El nodo #23

Mendieta tiene un nuevo nodo. En realidad es un fatnode, ya que incorpora el cúadruple de memoria que el resto de los nodos. El nodo #23 además tiene procesadores casi idénticos a los 8 nodos originales de Mendieta, por lo que la integración al cluster resulta directa.

Los datos duros del nodo #23: servidor Dell R720, 2 pastillas Xeon E5-2670 (8 + 8 núcleos), 256 GiB de RAM, Infiniband QDR, 332.8 GFLOPS de potencia de cálculo pico.

Este nodo es parte de una donación que Arris realizó a FaMAF-UNC, a través de los oficios del Lic. Edgardo Hames y del Ing. Federico Aguirre, ex-integrantes de esa firma que en febrero del 2016 cerró sus oficinas en Córdoba.
FaMAF prestó al CCAD-UNC este servidor que tiene excelentes prestaciones de cálculo y que ya se encuentra produciendo en Mendieta.

Mejora de desempeño de OpenMPI, contribución del CCAD-UNC

Peter Cushing, Top Secret, Lens EyeEl licenciado Carlos Bederián, quién ademas de ser docente de la FAMAF y profesional principal del CONICET es uno de los integrantes históricos del CCAD-UNC, introdujo una mejora de desempeño en una de las implementaciones más usadas a nivel mundial de Message Passing Interface (MPI). Dicha mejora tendrá un impacto considerable en el rendimiento de todas las aplicaciones que utilizan la biblioteca OpenMPI, reduciendo de este modo los tiempos de cálculo y de consumo eléctrico de la mayoría de clusters HPC del planeta, incluyendo los equipos publicados en la lista TOP500.

Durante el Periodo de uso exclusivo de Mendieta verano 2017 se ejecutaron diversos programas de manera intensiva en grandes porciones de nuestro cluster. Una de las tareas de nuestros técnicos es el monitoreo regular de la ejecución de las aplicaciones a fin de maximizar el uso de la infraestructura computacional.

Durante la ejecución de Quantum ESPRESSO, el Lic. Bederián usando perf, notó que una parte importante del tiempo de ejecución se la llevaba la función opal_progress que está relacionada con los llamados a la función MPI_Wtime, dentro de la implementación OpenMPI. Como no debería haber sobrecarga alguna en una función que solo mide el tiempo, Carlos empezó a investigar por qué tomaba tanto tiempo en arquitecturas modernas como la que usamos en Mendieta (Ivy Bridge).

Su aporte fue explorar todo el stack trace y dar con el responsable de esta demora innecesaria. La modificación fué reemplazar una instrucción en assembler dentro de opal_sys_timer_get_cycles, además de cambiar la lógica para evitar en lo posible usar la operación de división de enteros que resulta cara.

La discusión del pull-request se puede ver en Improve x86-64 timer performance #2926 que finalmente fué aceptado ayer en el head por Nathan Hjelm y formará parte de openmpi-2.0.3.

En tests preliminares se logró una mejora decente en los tiempos de ejecución de QUANTUM Espresso y de NPB.

Para tener una idea de lo que significa este aporte, basta con revisar la licencia de la biblioteca y ver las organizaciones que contribuyen o han contribuido en el código. Se trata de Centros de HPC reconocidos internacionalmente o empresas multinacionales con recursos económicos y/o materiales que son órdenes de magnitud más grandes que los nuestros.

Es importante también señalar que el trabajo del CCAD-UNC respeta los standards de calidad de los grandes centros de cálculo de los países desarrollados a pesar del déficit en equipamiento que caracteriza nuestro país desde el surgimiento de la computación de alto desempeño hasta la fecha.

Escuela de Computación de Alto Rendimiento (ECAR2017)

>>ATENCIÓN: fue replanificada del 18 al 29 de septiembre.<


Entre el 6 y el 17 de marzo de 2017 se realizará en CABA (Pabellón 1, Ciudad Universitaria, UBA) la ECAR2017: Escuela de Computación de Alto Desempeño.
La ECAR2017 está organizada en tres tracks simultáneos orientados a

  • programadores,
  • usuarios y
  • administradores.

Los cursos serán dictados por expertos nacionales e internacionales en las temáticas relacionadas con la Computación de Alto Desempeño.

Techniques and methodology for parallel programming
Módulo 1: HPC Technology and GPU Technology (Markus Rampp & Klaus Reuter, Max Planck Computing and Data Facility, Germany) – in English
Módulo 2: Distributed memory programming using MPI (Sergio Nesmachnow, UdelaR, Uruguay) – in Spanish
Módulo 3: Programming with shared memory using OpenMP y CILK (A. Soba y E. Mocskos, CSC, Argentina) – in Spanish
Módule 4: Programming with parallel objects (Esteban Meneses, National High Technology Center, Costa Rica) – in Spanish

HPC Applications
Módulo 1: Instability analysis using eigenvalues in large scale dynamical systems (Leo González, UPM, Spain) – in Spanish
Módule 2: Visualization (Klaus Reuter & Markus Rampp, Max Planck Computing and Data Facility, Germany) – in English
Módulo 3: Salome Suite (Mario Storti, CIMEC, Argentina) – in Spanish –
Módulo 4: Introduction to computational mechanics in multiphysics problems from Engineering (Mariano Vázquez, BSC, Spain) – in Spanish

HPC Operations
Módulo 1: SLURM (Gilberto Diaz, Universidad Industrial de Santander, Colombia) – in Spanish –
Módulo 2: Parallel Filesystems (Christian Guggenberger, Max Planck Computing and Data Facility, Germany) – in English
Módulo 3: Supporting HPC operations through collaboration, version control tools and continuous integration (Florian Kaiser, Max Planck Computing and Data Facility, Germany) – in English –
Módulo 4: Networking for HPC (Albino Aveleda, Universidade Federal do Rio de Janeiro, Brasil) – in English (or Portuguese)

Además, se espera la confirmación de expertos que darán charlas técnicas abiertas a la comunidad tanto desde la industria como de la Academia.

El Sistema Nacional de Cómputo de Alto Desempeño (SNCAD) ha otorgado financiamiento para la asistencia a este evento: los administradores de clusters de aquellos centros asociados al SNCAD podrán anotarse y pedir asistencia económica de viaje y estadía para el evento completo orientado al track "HPC Operations" en http://ecar2017.hpclatam.org/about/#registry.


Se espera contar con fuentes adicionales de financiamiento para asistentes de toda latinoamerica. La inscripción general se abrirá en Febrero.

El CCAD en la iniciativa OpenPOWER

En el marco de la cooperación académica con Fundación OpenPOWER, Carlos Bederián y Nicolás Wolovick del CCAD pudieron conocer la iniciativa de manera cercana cuando visitaron SC16 y el IBM T. J. Watson Research Center en noviembre de 2016.

Ganesan Narayanasamy, líder del OpenPOWER Academic Discussion Group, incluye una reseña de la visita de Bederián y Wolovick a algunos miembros de la OpenPOWER Foundation.

Ganesan Narayanasamy muestra el premio que recibió de HPC Wired, junto a Bederián, Wolovick, además están Constanza Caorsi de IBM Argentina y Augusto Vega de IBM T. J. Watson Research Center.

Asignación de uso exclusivo Mendieta, verano 2017

En el periodo de uso exclusivo de Mendieta, verano 2017, hubo 9 pedidos que fueron evaluados por el directorio del CCAD. La asignación de uso quedó de la siguiente manera.

  • Cecilia Elena Pozzi Piacenza, Matías Ragessi: los investigadores del CETA (Centro de Estudios y Tecnologías del Agua) LH (Laboratorio de Hidráulica) de la FCEFyN, van a seguir trabajando en el modelado numérico de la Presa Los Molinos (Jujuy). Utilizando OpenFOAM se validará datos experimentales, contrastando campos de velocidad media, zonas de recirculación y separación del flujo, caudales volumétricos de flujo, entre otros.
  • Federico Stasyszyn: desde el IATE, este investigador trabajará en resimulaciones de regiones subdensas del universo. Para el estudio se utilizará GIZMO que ya fue previamente corrido en este cluster.
  • Patricia Paredes: desde el INFIQC la Dra. Paredes continuará con diseño computacional de materiales bidimensionales utilizando QuantumEspresso.
  • Virginia Miguel: desde el IIBYT se hará caracterización bioinformática de la modulación del receptor gabaa y de su entorno molecular por productos naturales bioactivos. Las simulaciones se harán utilizando GROMACS con soporte para GPU.
  • Cinthia Ragone: la investigadora del IATE realizará resimulación de cúmulos de galaxias a través del software Gadget-3.

En vísperas de Navidad, Pirayú entró en producción

El Cluster Pirayú de CIMEC-CONICET en Santa Fe empezó a producir el miércoles pasado.

Con 600 núcleos Haswell en 50 pastillas Intel Xeon E5-2650v3, 5 Tesla K40 de arquitectura Kepler y 1 Xeon Phi 7120P de arquitectura Knights Corner, eroga una potencia pico teórica de 22.08 TFLOPS en CPU, 7.15 TFLOPS en GPU y 1.20 TFLOPS en la aceleradora, totalizando Rpeak de 30.43 TFLOPS, casi cuadruplicando la potencia de su cluster anterior Seshat.

Este cluster fue financiado por la Agencia Santafesina de Ciencia, Tecnología e Innovación (ASaCTeI), a través de un subsidio para Equipamientos de Alta Complejidad Tecnológica de $4.800.000.

Pirayú que se utilizará en un consorcio de unidades de doble dependencia UNL-CONICET.

Pirayú se agrega a la lista de Clusters Argentinos monitoreados por el CCAD y monitoreados por CIMEC, este último a pedido del SNCAD.

Llamado uso exclusivo Mendieta: verano 2017

inodoro_und_mendietaSe llama a propuestas para el uso intensivo y exclusivo del cluster "mendieta" en los nodos de la cola "capability" y en las GPU de la cola "capacity" durante el Periodo de Receso de la UNC, del 02/01/2017 al 31/01/2017 inclusive. Este llamado está destinado a aquellos usuarios que desean ejecutar trabajos de simulación numérica que requieran una potencia de cálculo importante durante un tiempo prolongado. El resto de las facilidades podrán ser utilizadas según la alocación efectiva de los recursos, en otros términos, los nodos libres quedan a disposición de los usuarios ocasionales que se conecten al cluster.

280 cores E5-2680v2, 12 aceleradoras NVIDIA Tesla M2090, 8 aceleradoras NVIDIA Tesla K20x y 14 aceleradoras Intel Xeon Phi 31SP1 constituyen los recursos disponibles, totalizando 40.436 TFLOPS de RPeak.

El pedido deberá ser formalizado a través del siguiente formulario.
El mismo estará habilitado hasta las 22h00m del día Martes 13 de Diciembre de 2016.

CCAD en Supercomputing 2016

img_20161115_080056Este año estuvimos en la conferencia más importante de supercomputación (HPC) del planeta. La experiencia fue importante y sobre todo necesaria. No solo vimos lo que hay para este año, sino lo que se planifica a 5 o 10 años. Tocamos KNL, P100, POWER9. Nos cruzamos con Thomas Sterling (Beowulf), Satoshi Matsuoka (Tsubame), Morris Jette (SLURM). Presentamos un trabajo en EduHPC'16 y fue elegido best paper. Asistimos a workshops específicos. Hablamos con muchísima gente de IBM, NVIDIA, Penguin Computing, Mellanox, OpenPOWER.

Aunque estamos a un orden de magnitud por debajo de la computadora más lenta del TOP500, resulta clave para nuestro desarrollo participar en estas conferencias, ya que la única forma de acercarnos es adquirir, de manera sostenida, la tecnología más adecuada en términos de usabilidad y relación costo/beneficio, a fin de maximizar el presupuesto que el sistema científico vuelca en supercomputación.

No podemos estar ausentes como país en 2017, nos comprometemos a sensibilizar las autoridades, en particular para que el próximo año muchos mas colegas puedan participar de esta experiencia.

La conclusión de visitar SC16 fue: tenemos que estar en SC17.

eduhpc16 whatsapp-image-2016-11-15-at-8-21-10-am img_20161113_092756

Análisis del Estado del HPC en Argentina, algunos números

A partir del informe de Antonio Russo "Computación de Alto Desempeño, Estado del arte en Argentina y en los países del G20" donde establece que Argentina es el único país del G20 que nunca entró al TOP500, investigamos cuan lejos estamos del último peldaño del TOP500 en algunos clusters de Argentina.

Año Nombre Modelo Rpeak %Rpeak_min
1962 Clementina Ferranti Mercury 5 KFLOPS
2000 Clementina 2 SGI Origin 2000 (40 cores) 24 GFLOPS 68.1%
2001 Deepblue 2 16×2×PentiumII 25 GFLOPS 40%
2010 Cristina 70×2×Xeon 5420 5600 GFLOPS 24%
2010 ISAAC 144xXeon X3220 5000 GFLOPS 17.8%
2014 Mendieta (fase 2) 14×2×Xeon 2680v2 23624 GFLOPS 17.5%
2015 TUPAC 58×4×Opteron 6276 48000 GFLOPS 26.5%

La última columna refleja que porcentaje es el Rpeak de la máquina (potencia teórica de cálculo) respecto al mínimo Rpeak del ranking TOP500 al momento que la máquina entró en producción.
Estos números reflejan claramente, no solo que estamos fuera del TOP500, sino que además nuestra potencia de cálculo se está deteriorando en términos relativos.

Agradecemos a Gustavo del Dago por los datos sobre Clementina y a Fernando Cucchietti por los datos sobre Clementina 2.

Reunión anual usuarios CCAD

img_20161031_153255El lunes 31 de octubre a las 15:00 tendrá lugar en la Sala del Consejo Directivo de la FAMAF, la Reunión Anual de Usuarias/os de los clusters bajo administración del CCAD.
Esta es una muy buena oportunidad para conocernos, intercambiar información, alertar y posteriormente corregir posibles problemas, planear el futuro, etc. Creemos también en la importancia de aprovechar estos momentos para aunar esfuerzos en pos de hacer del CCAD un Centro de referencia a nivel nacional.

Programa

  • 1500: Que hicimos y que estamos haciendo. (Presentación a cargo del personal del Centro)
  • 1530: La demanda de recursos computacionales y estrategias tendientes a satisfacerla. (Discusión abierta con los usuarios y posibles estrategias para aumentar la potencia de cálculo)
  • 1600: Mejorar la convivencia cuando se llena la plaza. (Consejos para utilizar los recursos de manera eficaz)
  • 1645: Pausa. (y algo para picar)
  • 1700: Todo lo que tenés que saber sobre los coprocesadores Xeon Phi. (Sesión de preguntas y respuestas a cargo de Carlos Bederián)

[Actualización]

La reunión contó con la presencia de casi 40 usuarios del cluster, colmando la capacidad de la Sala del Consejo Directivo de la FaMAF. Durante el transcurso además de tocar todos los temas referentes al HPC, se pudo disfrutar de una variada picada y bebidas carbonatadas.

img_20161031_153322        img_20161031_153659