Todos los racks del CCAD con energía

La empresa PROIMA energizó 6 racks con 150 KVA, duplicando así la capacidad de alojar equipamiento de cómputo de alto desempeño. El costo de la obra aportados por el Rectorado de la UNC fue cercano a 40.000 dólares estadounidenses.

En marzo de 2022 en una fructífera reunión con el entonces Rector de la UNC, el Dr. Hugo Juri, se acordó iniciar una obra de ampliación eléctrica en el UNC Data Center para que la sección que ocupa del CCAD tenga 150 KVA para energizar los seis racks que están al frente de Serafín, Mulatona y Eulogia.

El Ing. Hugo Dallegre y el Arq. Luis A. Vélez de la Secretaría de Planemiento Físico de la UNC, se pusieron a trabajar y diseñaron la obra.

Luego de una readecuación presupuestaria por inflación que apoyaron el actual Rector de la UNC, Mgtr. Jhon Boretto y el Secretario de Gestión Institucional, Mgtr. Marcelo Adrián Sánchez, se adjudicó a la empresa PROIMA. En agosto de 2023 el Ing. Sergio Cirbián de Planeamiento y el Ing. Ricardo Osmar de PROIMA realizaron la inspección del sitio para verificar los planos, constatando que estaba todo adecuado para empezar la obra.

Luego de analizar un problema con la conexión al circuito principal, la obra se terminó en febrero de 2024 y finalmente hay para cada uno de los 6 racks, 6 conectores de 32A balanceando dos por fase.

Tenemos recursos humanos, espacio en racks, potencia, refrigeración, seguridad física y anti-incendios para un equipo TOP500, que será el/la sucesora de Serafín. Esperemos pronto encontrar equipamiento para utilizar nuestras capacidades.

Nicolás Wolovick
Director CCAD-UNC

Todo Serafín con 256 GiB de RAM

Supermicro, el proveedor de Serafín, terminó de realizar el cambio de memorias. Ahora los 60 nodos de cómputo tienen 256 GiB de RAM y el nodo cabecera 128 GiB, duplicando la memoria de la configuración original.

En agosto de 2023 llegó un lote de memoria de recambio para reemplazar módulos DDR4-3200 de 8 GiB que presentaban problemas. Estos módulos eran de 16 GiB, por lo que 43 nodos quedaron con 256 GiB de RAM y los 17 restantes con 128 GiB.
Ulysses Galasso gestionó con Supermicro el cambio para que todos los nodos de Serafín estén uniformes y no sólo los que fallaban.

Se cambiaron 272 sticks de RAM, de los cuales se encontraron 160 malas (serie 2032) y 112 reemplazos (series 2121-2237), por lo que potencialmente habría problemas si seguíamos con esos 160 módulos.

Actualmente tenemos 58 nodos operativos. Un nodo tiene una falla mecánica o eléctrica en el zócalo de uno de los bancos de memoria, mientras que el otro simplemente no enciende y los CPAs de CONICET lo tendrán que analizar.

Los tres grandes problemas del HPC son dos, el metadata server

El sistema de archivos de Serafín fue actualizado en hardware y en software. Más capacidad de SSD para metadatos, nuevos procesadores, nueva placa de comunicaciones y actualizaciones de software. Te contamos de que se trata.

¿Para que tener mucho cómputo si el almacenamiento tiene mucha latencia o poco ancho de banda? ¿Y si te decimos el sistema de archivos subyacente tiene un bug que puede corromper toda la estructura de datos del disco? Da pena y miedo a la vez. Los CPA del IFEG (Bederián, Mazzini) y del CIEM (Silva, Schachner) que trabajan en el CCAD se lo tomaron seriamente.

A mediados de noviembre apareció un bug horrible de ZFS, tal vez el peor de los escenarios, una secuencia de comandos o llamadas a sistema podría potencialmente corromper toda la estructura lógica del disco y perder datos. La comunidad rápidamente trabajó y a principios de noviembre ya había parches para ZFS 2.1.4, la versión que usamos por debajo de BeeGFS para el servidor de archivos de Serafín.

En septiembre, un usuario de OpenFOAM generó tantos archivos pequeños que el metadataserver se llenó, es decir, había espacio en los discos de datos, pero no en los discos que almacenan los metadatos. Luego de hacer un escaneo de las y los más consumidores de i-nodos obtuvimos el siguiente Top-10 debidamente anonimizado.

17.96M user1
6.18M user2
5.69M user3
3.97M user4
3.08M user5
2.72M user6
2.47M user7
1.90M user8
1.53M user9

El user0, el que más usaba, no pudo ser listado, aunque Carlos Bederián calculó «un output de OpenFOAM con 9 archivos pequeños + 3 directorios * 64 procesadores * 259000 time steps son ~200M i-nodos«.
Para solucionar esto se compraron 3 Intel Optane 900D de 280 GiB cada uno y se re-compiló OpenFOAM con la opción -fileHandler collated por defecto, hasta poder agregar los discos.

Desde el jueves pasado hasta hoy ser realizaron varias tareas para aliviar el cuello de botella en capacidad, latencia y ancho de banda que estaba poniendo el metadataserver de BeeGFS:

  • Agregado de un Optane 900D (quedan 2 de repuesto).
  • Mejora de placa Infiniband a una de 100 Gbps.
  • Cambio de procesadores, salieron dos pastillas de E5-2680v1 y pusieron dos E5-2690v2.
  • Actualizar la versión de ZFS por el bug.

El metadataserver está en orden. Felices fiestas.

Nicolás Wolovick
Director del CCAD

Instalamos 18 GPUs en Mendieta Fase 2

MendietaF2, el cluster de GPUs para dinámica molecular y aprendizaje automático fue expandido con 18 GPUs y llegó a la capacidad máxima planificada. Los 22 nodos de Mendieta ya están completamente llenos de NVIDIA A30.

Con fondos del Rectorado de la UNC, empezó un proceso de compra de abril a noviembre donde se invirtieron 57708 USD para la compra de 18 GPUs NVIDIA A30 a la empresa SIASA SA. El proceso fue largo porque implica un concurso de precios, el giro de fondos al exterior, la demora que están teniendo la cadena de producción de las GPUs, y la importación de las mismas utilizando los mecanismos de ROECYT.

Las GPUs llegaron el 29 de noviembre y el día 30 ya estaban instaladas y funcionando 12 de las 18 GPUs. Sólo Carlos, Marcos, Alejandro, Álvaro y Tolca pueden hacer esto.

La preparación fue larga e incluyó la compra de:

  • 18 procesadores Intel Xeon E5-2680v2 y 2 E5-2690v2 para actualizar los E5-2680v1 y asi tener PCIe 3.0 en 8 de los nodos de Mendieta que fueron los primeros comprados por FaMAF en 2012.
  • 24 cables de power PCIe 8 a 6+2 pines.

Todo el equipo trabajó, no solo los técnicos. La compra involucró al equipo contable de la PSI (Laura Grassetti, Gonzalo Jaimez, Ana Laura Calderón) y al equipo de ComEx de la UNC (Marcela Giomi y Mario Farías). Nuestros proveedores fueron pacientes y atentos, entre ellos SIASA (Andrés S. Marcone y Sonia Alonso) y MET Servers (Edwar Gomez). Finalmente nuestro operador de logística FedEx (Adriana LaGattina).

Ya se colocaron 12 de las 18 placas, por lo que MendietaF2 pasó de 24 a 36 placas. Las 8 restantes serán colocadas en 3 nodos más de MendietaF2 que deberán ser recuperados de otras funciones que estaban realizando. Un nodo se agregará antes de que termine el año.

El HPC no es solo software, implica, como en esta larga jornada de trabajo, el desarmar y armar muchas computadoras. Los dedos sucios también son parte de lo que hacemos.

Por Nicolás Wolovick
Director del CCAD-UNC

Desentrañar el ADN de las poblaciones argentinas: el CCAD participa de PoblAr

El Centro de Computación de Alto Desempeño de la UNC colabora en el procesamiento de datos genómicos recolectados en diversos puntos del territorio argentino, con el fin de constituir el primer biobanco del país.

Desde la conquista de América y el establecimiento de colonias en el continente, se inició un proceso de mestizaje entre las poblaciones indígenas, los conquistadores europeos (principalmente españoles en el caso de Argentina) y las poblaciones africanas capturadas y traídas a la región como esclavos. Posteriormente, los movimientos migratorios masivos contribuyeron a modificar la diversidad cultural, fenotípica y genética latinoamericana1

Como consecuencia de esta historia tumultuosa, Argentina es hoy un territorio compuesto por personas que descendemos de diferentes grupos étnicos y de los múltiples cruces que surgieron entre ellos. Se presupone, entonces, que nuestra composición genética es sumamente compleja y diversa. Sin embargo, conocemos muy poco al respecto porque, hasta hace no mucho tiempo, los biobancos que cuentan con datos genéticos que existían procedían en su gran mayoría de los países centrales con un claro sesgo hacía la ancestría genética europea. PoblAr llegó para revertir esta situación en nuestro país. 

“El Programa de referencia y biobanco genómico de la población argentina (PoblAr), que depende de la Secretaría de Planeamiento y Políticas en Ciencia, Tecnología e Innovación del MINCyT, tiene por objetivo fortalecer los lazos entre miembros de la comunidad científica y especialistas de la salud de todo el país para conformar un biobanco de referencia genómica y de metadatos asociados de la población argentina con el fin de fomentar la investigación científica con potencial beneficio para la población local”, según señalan en su página web.

PoblAr “busca constituirse como el primer repositorio de datos genéticos, hábitos alimentarios y de estilo de vida, y características fenotípicas y sociales de interés biomédico específicos y característicos de las poblaciones de Argentina”.

El programa se estructura en distintos nodos donde se recolectan muestras de personas donantes, distribuidos en distintas regiones del país. Posteriormente, el Nodo Digital se encarga del procesamiento de los datos generados. Justamente, en este último participa el Centro de Computación de Alto Desempeño (CCAD, UNC). “El CCAD es un recurso primordial para las actividades del Nodo Digital, y su política de libre acceso para cualquier integrante del sistema científico nacional se alinea con el espíritu federalista que anima PoblAr”, asegura Pierre Luisi, responsable del Nodo Digital del PoblAr y referente en bioinformática.

“El principal desafío computacional que enfrentamos en el Nodo Digital es acerca del procesamiento de los datos genómicos. En una primera fase, se están generando con secuenciación de alto rendimiento genomas completos a alta y baja cobertura. La cobertura de profundidad de un genoma se refiere al número de veces que se lee cada nucleótido (de los 3000 millones que componen el genoma humano) durante la secuenciación. Una mayor profundidad de cobertura aumenta la confianza en los resultados finales ya que la profundidad de cobertura ayuda a diferenciar las variantes genéticas reales de los errores de secuenciación. En la primera fase, vamos a generar genomas con profundidad de cobertura promedio de 30 (es decir en la jerga de la genómica, genomas a 30X)”, explica el científico, matemático de formación, doctor en biomedicina y especialista en el análisis de datos genómicos de las poblaciones humanas.

Además, agrega que “generar genomas a tan alta profundidad es muy costoso, y se está comprobando la viabilidad para nuestras poblaciones de una alternativa mucho menos costosa que consiste en generar genomas a muy baja cobertura (a 1X) que no permite leer directamente los genomas de los individuos pero sí proceder a una estimación de los mismos mediante un algoritmo de inteligencia artificial entrenado con miles de genomas de referencia. Tanto el procesamiento de genomas a alta profundidad como la aplicación del algoritmo para genomas de baja profundidad requieren grandes capacidades computacionales, que serán aportadas desde el CCAD. Por esta razón, el Centro de Computación de Alto Desempeño es un recurso primordial para las actividades del Nodo Digital, y su política de libre acceso para cualquier integrante del sistema científico nacional, se alinea con el espíritu federal que anima PoblAr”.

Por su parte, Nicolás Wolovick expresa que “PoblAr es un proyecto de alto impacto, así que lo apoyamos en todo lo que se pueda. Queremos que donde haya una necesidad de cómputo, ésta se satisfaga y claramente PoblAr la tiene. Estamos muy contentos de poder ser el músculo computacional del Programa y que este proyecto haga uso intensivo de recursos de computación de alto desempeño. Esta colaboración está siendo virtuosa, vamos a seguir apostando por este tipo de proyectos que de maneras muy directas mejoran la calidad de vida de los y las habitantes de Argentina”.

“El convenio entre PoblAr y el CCAD abre entonces la oportunidad de implementar localmente las técnicas de secuenciación, genotipificación masiva y análisis bioinformáticos, y así reducir el sesgo histórico en la implementación de estas herramientas a nivel nacional”, concluye Luisi.

  1. Una gran parte de los inmigrantes en Argentina procedía de países europeos como Italia, España, Alemania, Gran Bretaña, Rusia, Polonia, Francia y Eslovenia, entre otros, pero también de países del Levante (principalmente Líbano y Siria), el Cáucaso (Armenia), Asia y el norte de África (Egipto y Marruecos). En cuanto a los orígenes genéticos africanos en nuestro país, los registros históricos sobre la llegada de esclavos africanos al Río de la Plata muestran que Luanda, en el actual territorio de Angola, en la región centro-occidental de África, fue el principal puerto de salida, seguido de puertos situados en el Golfo de Guinea y en la costa de los actuales territorios de Senegal, Gambia y Sierra Leona. Las costas del océano Índico, en el actual territorio de Mozambique, también eran un importante lugar de salida. Sin embargo, el puerto de salida es un mal indicador para deducir el origen real de los esclavos. En cuanto al componente indígena, es difícil estudiar su origen centrándose en las comunidades actuales, ya que su organización ha cambiado drásticamente tras la llegada de los primeros conquistadores en el siglo XVI. Durante el periodo de conquista y colonización, las guerras, las enfermedades y los trabajos forzados diezmaron las poblaciones nativas. El sistema de explotación colonial también supuso a menudo la reubicación de individuos, familias y comunidades. Después, la expansión del Estado-nación a finales del siglo XIX puede describirse como un proceso de anexión territorial y subyugación de los pueblos indígenas perpetrado por las fuerzas armadas nacionales argentinas entre 1876 y 1917. ↩︎

Área Económico-Financiera visita sus Compras

Las trabajadoras y trabajadores del Área Económico-Financiera de la PSI que prestan servicios al CCAD, visitaron el UNC Data Center para conocer todos lo bienes que posibilitaron comprar.

Laura Grassetti, Ana Laura Calderón y Gonzalo Jaimez, están detrás de la operación diaria del CCAD. Ellos gestionan los fondos y realizan todas y cada una de las compras, desde Serafín a un cable miniSAS. Hasta ayer nunca habían visto siquiera un stick de memoria que han comprado.

En la visita, tal vez la más curiosa que haya realizado, los dos contadores y la administradora de empresas hicieron un recorrido diferente. El énfasis no estaba en como se refrigera, o en que tecnologías se utilizan para el cómputo y el almacenamiento, tampoco en que tipos de redes usamos. Su recorrido fue por proveedores, marcas, licitaciones y compras directas. Cada objeto del UNC Data Center pasó, de alguna manera, por sus teclados.

Ayer tratamos de acercar a las personas con su objeto de trabajo. Esperemos haberlo logrado.

Nicolás Wolovick
Director del CCAD

Observabilidad en Kubernetes por Fer Gleiser

Los contenedores y sus orquestadores son una gran oportunidad para facilitar la innovación manteniendo la resiliencia de los servicios en centros de datos. Fernando Gleiser de DC Solutions, brindó una charla sobre «Observabilidad en Kubernetes» dada en FaMAF e invitado por el CCAD-UNC.

Kubernetes está de moda, todo se dockeriza y se orquesta. Las ventajas son muchas. Podés hacer deploy incremental de nuevas features, con posibilidad de rápido rollback para que la QoS siga siendo alta, pero favoreciendo la innovación, el cambio en las infraestructuras que brindan servicios.

Sin embargo esto tiene costos muchas veces ocultos. ¿Cómo lograr debugging y performance analysis de una maraña de containers con microservicios orquestados? La respuesta está en la observabilidad y esto es lo que el Ing. Fernando Gleiser mostró el pasado lunes en el Auditorio de FaMAF.

Utilizando herramientas en containers que por debajo se paran sobre eBPF, Fernando mostró que esta galleta de µservicios se pueden comprender para que el ciclo de mejora ya sea en bugs o en desempeño, no se convierta en un arte oscuro que solo pocas/os dominan. La clave está en saber que existen las herramientas para hacerle las preguntas adecuadas al sistema.
Esto es lo que presentó durante 45 minutos de charla y 45 minutos de live-demo, que dejaron slides, videos y todos los punteros para seguir estudiando y profundizando en el tema.

Materiales

 

 

por Nicolás Wolovick, Director del CCAD-UNC

UNITEFA conforma la primera comunidad del Proyecto Catalyst en la UNC, a través del CCAD.

A partir de una colaboración académica se podrá acceder a cómputo interactivo en la nube y esto permite utilizar técnicas avanzadas de procesamiento de datos aplicados al desarrollo de las Ciencias Farmacéuticas.

 

Desde hace algunos meses, el Centro de Computación de Alto Desempeño (CCAD, UNC) participa de Catalyst Project, un proyecto que busca crear un servicio de cómputo interactivo para América Latina y África (ver más). En este marco, y a través del CCAD, la Unidad de Investigación y Desarrollo en Tecnología Farmacéutica (UNITEFA, CONICET-UNC) creó la primera comunidad en la UNC, dirigida por el investigador Mario Alfredo Quevedo.

UNITEFA es una unidad ejecutora del CONICET y la UNC, donde se llevan a cabo una gran diversidad de estudios relacionados con las Ciencias Farmacéuticas. “En ese contexto, se planean y ejecutan una gran diversidad de experimentos, lo cuáles generan alta cantidad de datos que requieren manejo y procesamiento adecuado a los fines de extraer/analizar las conclusiones correspondientes. En ese marco, la disciplina de Ciencia de Datos, constituye una herramienta muy valiosa en el nicho científico que ocupa UNITEFA” explica Quevedo. “Sin embargo, la mayor parte del personal no se encuentra entrenada en técnicas avanzadas de manejo y procesamientos de datos a escala media-alta, como así tampoco respecto de la automatización de workflows para análisis de rutina. En la actualidad gran parte del personal emplea las técnicas clásicas y de baja eficiencia para atender dicho procesamiento de datos”, agregó el investigador.

En ese contexto, un grupo de investigadores que poseen conocimientos en el manejo y procesamiento de datos empleando el lenguaje de programación Python, decidieron socializar estas habilidades. En el marco de un proyecto más amplio (más información) y con el objetivo de potenciar las capacidades del UNITEFA para el aprovechamiento de recursos de cómputo en la nube, se realizó una Jornada de Ciencia de Datos. Dicha jornada de capacitación estuvo orientada a investigadores/as, becarios/as y estudiantes que desempeñan sus tareas en el UNITEFA, con la finalidad de potenciar sus capacidades científicas a través del procesamiento de datos y el acceso a recursos de cómputo en la nube.

Según explican desde UNITEFA, esta tecnología “nos permite analizar nuestros datos experimentales con mayor capacidad, tanto en el tipo de análisis, como así también en el volúmen de datos que se pueden manejar. A esos beneficios hay que sumarle una mayor rapidez y facilidad de procesamiento una vez que se han programado los procedimientos requeridos”.


“El CCAD es parte del Catalyst Project, y además de haber generado esta primera comunidad, colaborará para desplegar el servicio de JupyterHub de 2i2c (https://2i2c.org/) en infraestructura propia, logrando asi la soberanía del cómputo. Alejandro Silva comenzó el pasado martes 17 de octubre, su pasantía en 2i2c, donde se entrenará para entender el flujo de trabajo y así ganar knowhow para en el plazo de un año poder desplegar desde el CCAD el servicio de cómputo interactivo en infraestructura propia dentro del UNC Data Center. Este es el objetivo planteado en colaboración con 2i2c y CCAD que por un lado le permitirá a 2i2c validar que es posible desplegar su servicio en nubes locales y por el otro lado dará a Latinoamérica mayor soberanía en el cómputo interactivo”, explicó Nicolás Wolovick.

Marcos Mazzini expuso sobre Clementina XXI

Agrupaciones estudiantiles de UNC y UNLP organizaron una charla para conocer más sobre la supercomputadora Clementina Siglo XXI recientemente inaugurada. Nuestro CPA, el Lic. Marcos Mazzini estuvo contando sobre las características del primer TOP500 de la Argentina.

¿Qué es, cómo funciona y para qué se va a usar un TOP500 en Argentina? Durante una hora, el CPA de CONICET que trabaja en CCAD-UNC, el Lic. Marcos Mazzini estuvo tratando de responder estas preguntas, en una charla organizada por las agrupaciones estudiantiles La Fuente de Info-UNLP y GURI de FaMAF-UNC.

Marcos dejó en claro que lo más importante es lograr que le máquina esté al 100% por lo cual se requiere un trabajo intenso de generación de demanda de supercómputo. También contó los desafíos de aprovechamiento de las GPUs Intel Ponte Vecchio (PVC) que son las que erogan la mayor potencia de cómputo.

Materiales

Por Nicolás Wolovick
Director del CCAD-UNC

SIMULACIONES QUE CAMBIAN PARADIGMAS: los líquidos ya no son incompresibles

Investigadores del Instituto Interdisciplinario de Ciencias Básicas (ICB, CONICET-UNCUYO), usando simulaciones realizadas en el CCAD, participaron de un trabajo internacional que creó líquidos con alta compresibilidad.

«La compresibilidad es la capacidad que tiene un material de cambiar su volumen ante un cambio de presión, y que da origen a aplicaciones tecnológicas en neumática e hidráulica. Es una propiedad inherente a todos los materiales, pero los líquidos son prácticamente incompresibles. No obstante, puede obtenerse un líquido compresible si se suspenden nanopartículas porosas con cavidades hidrofóbicas en una solución acuosa: al aplicar una presión externa suficiente, las moléculas de solución logran ingresar a las cavidades. Tal líquido pudo desarrollarse a partir de nanopartículas suspendidas en agua y en soluciones acuosas de metanol», explica Mario Del Pópolo, investigador del CONICET en el ICB y docente en la Universidad Nacional de Cuyo. 

«El material obtenido, además de ser compresible, se comportó como un amortiguador y pudo volver a su volumen original cuando se liberó la presión. Se observó además que si se agregan sales o metanol, se puede aumentar o disminuir, respectivamente, la presión necesaria para comprimir el sistema», agregó el científico.

El trabajo fue producto de una colaboración entre grupos experimentales y computacionales del Reino Unido y de Argentina. «En nuestro país, esta labor se llevó a cabo en el grupo de Simulaciones en Biofísica y Materia Blanda del ICB CONICET/UNCUYO. La mayor parte de las simulaciones y cálculos con los que contribuyó el equipo argentino se llevó a cabo en los clústeres Mendieta Fase 2 y Serafín del Centro de Cómputo de Alto Desempeño (CCAD) de la Universidad Nacional de Córdoba. Hubiera sido imposible emprender esta tarea, que insumió un gran tiempo de cómputo por la extensión de las simulaciones y el tamaño de los sistemas simulados, sin los recursos y la asistencia del CCAD«, expresó Del Pópolo.

A propósito de las posibles implicancias prácticas del trabajo, el científico comentó que estos materiales «todavía no tienen aplicaciones concretas, pero tampoco están tan lejos. Podrían usarse para fabricar amortiguadores, que son dispositivos que sirven para absorber impactos».

Finalmente, tal como se afirma en una nota aparecida en el portal de CONICET, «El estudio cambia el paradigma sobre la incompresibilidad de los líquidos y aporta datos sobre potenciales aplicaciones industriales que podrían estar relacionadas con la amortiguación o la absorción de impactos. Por lo pronto, los investigadores continúan trabajando para entender cómo funciona el proceso a nivel molecular. Nuestro trabajo es simular el proceso y el comportamiento de las moléculas adentro de este material. Seguimos trabajando en eso. Todavía quedan muchas preguntas por responder», concluye Del Pópolo.

Referencia bibliográfica