Paolo Sebastianelli es usuario de Mendieta en el CCAD y nos cuenta su experiencia corriendo su código en la máquina estrella del TACC, Stampede2, la #12 del TOP500.
CCAD: Hola Paolo, comentanos cual es tu trabajo de investigación y donde lo estuviste realizando en el último año.
PS: Hola Nicolás.
Mi trabajo de investigación se enmarca dentro de un proyecto más amplio que se desarrolla en el Grupo de Física de la Atmósfera del FaMAF con el cual estoy trabajando desde el 2012. Soy docente de la Universidad Nacional de la Pampa (UNLPAM), donde vivo con mi familia. Por esta razón, mi trabajo de tesis, a partir del 2014, se desarrolla a distancia con todo lo que eso conlleva. Se trata de investigar con Density Functional Theory (DFT) algunos aspectos de los procesos de conversión gas-to-particle que inician la formación de clusters moleculares de pre-nucleación de nuevas partículas atmosféricas.
CCAD: ¿Desde cuando sos usuario de HPC y desde cuando usás el Cluster Mendieta?
PS: Soy usuario HPC desde el 2015, cuando, justamente, empecé a utilizar Mendieta. Las dimensiones de los sistemas moleculares que estudio y los métodos que he elegido para la caracterización de los mismos requieren una potencia computacional que no puede ser alcanzada por computadoras comunes ni por workstations individuales.
CCAD: ¿Qué código corrés? ¿Qué características numéricas tiene?
PS: En la medida de lo posible elijo códigos abiertos. Actualmente he optado por utilizar GAMESS del Gordon Research Group, Iowa State University.
Los cálculos que realizo están basados en la teoría DFT. Con las simulaciones obtengo optimizaciones de geometrías moleculares y hago estimación de frecuencias vibracionales, con el objetivo de estudiar la termoquímica de sistemas moleculares presentes en la atmósfera. La implementación del código en la mayoría de las simulaciones no requiere mucha memoria, habitualmente no se llega a 1 GiB de RAM. Las corridas que potencialmente utilizan más memoria son los cálculos de frecuencia con métodos RHF (Hartree-Fock) o los tipos en MP2 (Møller–Plesset pertubation theory). Particularmente, uso GAMESS como código numéricamente más que memoria intensivo.
CCAD: ¿Cómo surgió la posibilidad de correr en Stampede2, la #12 del mundo?
PS: La posibilidad de acceder en Stampede2 fue gracias a Antonio Russo, uno de los técnicos del CCAD, que conociendo algunos aspectos del desarrollo de mi doctorado a distancia me propuso contactar al TACC y reforzar la potencia computacional a mi disposición. Entonces, presenté mi curriculum y mi propuesta de trabajo, pasé la fase de evaluación y acá estamos, aprovechando la oportunidad.
CCAD: Aunque sabemos que hay varios órdenes de magnitud de diferencia, nos gustaría saber cual es la diferencia entre correr en Stampede2 y correr en Mendieta u otro cluster que hayas usado.
PS: El código GAMESS está en constante desarrollo y los diferentes grupos de investigación lo modifican según las necesidades. En los nodos de Stampede2 (Intel Xeon Phi 7250 de arquitectura Knights Landing – KNL) se está estudiando la performance para optimizar las simulaciones. Hasta ahora he podido utilizar el código con las mismas prestaciones que tuve en Mendieta, pero con la mitad de nodos. Una gran diferencia es el tiempo de espera en la cola de cálculos, ¡El tiempo de espera es 0! Usualmente en Mendieta para lanzar mi corrida típica en 80 núcleos o sea 4 nodos, tenía que esperar dos o tres días ya que el cluster tiene utilización plena, en Stampede2, solo encolo el job de 2 nodos y ya.
El próximo paso de mi trabajo de tesis será aumentar todavía más las dimensiones de los sistemas moleculares que estoy estudiando, en ese momento tendré más información para poder comparar. Además Stampede2 será equipado adicionalmente con procesadores Skylake, asi que tendremos más material para poder charlar.
Algo relacionado es que en Mendieta, por los tiempos de cola, resultaba difícil que entren trabajos más grandes, en Stampede2 puedo escalar todo lo que mi investigación necesite.
CCAD: ¿Cómo ves la importancia de adquirir equipamiento de gran porte como el que usaste en el TACC?
PS: No creo decir nada nuevo si afirmo que hoy en día, con los ritmos de trabajo que estamos invitados a mantener, es necesario contar con equipamiento que permita lograr los objetivos en tiempos relativamente cortos. Tiempos de cálculo cortos junto con buena calidad de la producción científica, son los parámetros esenciales en este ámbito. A igual cantidad de trabajo, un equipamiento de gran porte permite las dos cosas: se pueden producir resultados en menor tiempo y además garantizar que esos resultados hayan sido corroborados bajo diferentes métodos de estudio, aumentando el nivel de confiabilidad en los mismos.
CCAD: Si querés agregar algo, bienvenido y desde ya muchas gracias por tu tiempo.
PS: Me gustaría agradecer el equipo que se ocupa del CCAD de la UNC, formado por personas muy amables como Nicolás Wolovick y Carlos Bederián, y también aquellas personas que me han iniciado al análisis DFT, en las personas de Ezequiel Leiva, Patricia Paredes, Patricio Velez, Cristián G. Sánchez y todos los otros colegas que trabajan en este contexto. Un agradecimiento particular a todo el Grupo de Física del Atmósfera, a Eldo Ávila y a mi Director de tesis Rodolfo Pereyra.
