Software desarrollado por científicos de la UB mejora la gestión de grandes procesos de cálculo mediante sistemas comerciales de computación

Imagen del experimento LHCb
Imagen del experimento LHCb
(29/06/2010)

Investigadores del Instituto de Ciencias del Cosmos de la Universidad de Barcelona (ICCUB) han desarrollado DIRAC, un software que gestiona el procesamiento de los datos de uno de los grandes experimentos realizados en el Gran Colisionador de Hadrones (LHC) de la Organización Europea para la Investigación Nuclear, para utilizar sistemas comerciales de provisión de potencia de cálculo y optimizar el coste de los recursos computacionales necesarios para realizar grandes tareas de cálculo. El objetivo del trabajo, financiado por el Proyecto CPAN (Centro Nacional de Física de Partículas, Astropartículas y Nuclear), dentro del marco Consolider - Ingenio 2010, es desarrollar el software DIRAC para gestionar los recursos de computación en cualquier disciplina científica y grupo de usuarios. El software desarrollado se ha probado con éxito en simulaciones del experimento Belle (Japón), utilizando 2.000 procesadores de Amazon Elastic Compute Cloud (EC2).

Imagen del experimento LHCb
Imagen del experimento LHCb
29/06/2010

Investigadores del Instituto de Ciencias del Cosmos de la Universidad de Barcelona (ICCUB) han desarrollado DIRAC, un software que gestiona el procesamiento de los datos de uno de los grandes experimentos realizados en el Gran Colisionador de Hadrones (LHC) de la Organización Europea para la Investigación Nuclear, para utilizar sistemas comerciales de provisión de potencia de cálculo y optimizar el coste de los recursos computacionales necesarios para realizar grandes tareas de cálculo. El objetivo del trabajo, financiado por el Proyecto CPAN (Centro Nacional de Física de Partículas, Astropartículas y Nuclear), dentro del marco Consolider - Ingenio 2010, es desarrollar el software DIRAC para gestionar los recursos de computación en cualquier disciplina científica y grupo de usuarios. El software desarrollado se ha probado con éxito en simulaciones del experimento Belle (Japón), utilizando 2.000 procesadores de Amazon Elastic Compute Cloud (EC2).

 

DIRAC gestiona la ejecución de los programas de procesamiento de la información de los detectores del Large Hadron Collider (LHCb) para identificar los distintos tipos de partículas medidos. Controla también la ejecución de los algoritmos informáticos para seleccionar los datos más relevantes entre la gran cantidad registrada (son necesarias 10 millones de colisiones para reconstruir una partícula B, que nos permitirá estudiar la asimetría entre materia y antimateria en el universo). Asimismo, distribuye los datos a través de una red de centros de cálculo llamada worldwide LHC computing grid (WLCG), con más de 300 centros de cálculo en 57 países de todo el mundo, 120 de ellos utilizados por el LHCb, y permite recuperar los datos necesarios para su posterior análisis. En el desarrollo del software DIRAC han participado, entre otros, científicos del Instituto de Ciencias del Cosmos de la Universidad de Barcelona y de la Universidad de Santiago de Compostela. beauty experiment
 
Según explica el responsable del proyecto, Ricardo Graciani, profesor del departamento de Estructura y Constituyentes de la Materia de la Facultad de Física de la UB e investigador del ICCUB, «la simulación mediante herramientas informáticas de las colisiones y la respuesta del detector es fundamental para nuestra investigación, pero precisa una gran cantidad de recursos de cálculo». En realidad, construir una red de computación (grid) con recursos dedicados en exclusiva a procesar datos de un experimento es algo costoso y no es plenamente eficiente, ya que, en palabras de Graciani, «su uso tiene picos y valles de demanda». Graciani toma como ejemplo Belle, colaboración internacional desarrollada en el acelerador de partículas KEK (Japón) que realiza estudios similares a los del LHCb. En Belle se recogen datos durante seis meses al año y se necesitan otros tres meses para llevar a cabo las simulaciones informáticas correspondientes. «Esta necesidad de computación requiere sobredimensionar los recursos informáticos durante el resto del año», explica Graciani, lo que implica «costes extras» de instalación y funcionamiento.
Relación coste-beneficio 
Para optimizar el coste de estos recursos, los investigadores españoles, con el apoyo del Proyecto CPAN, han adaptado el software DIRAC para que pueda utilizar recursos de computación de Amazon, uno de los líderes de la venta de estos servicios en Internet. En colaboración con científicos de la Universidad de Melbourne (Australia), participantes en Belle, los investigadores del ICCUB han realizado simulaciones informáticas para el experimento Belle utilizando 250 máquinas virtuales de Amazon EC2, el equivalente a 2.000 procesadores interconectados. «Los primeros resultados demuestran que la eficiencia en el uso de estos recursos computacionales ha sido superior al 95 %», afirma Graciani.
La prueba, desarrollada a lo largo de 10 días y cuyos resultados han sido enviados a la publicación Journal of Grid Computing, ha utilizado unas 7.500 horas de cálculo con un «pico» de funcionamiento de 2.000 procesadores usados de manera simultánea durante unas 18 horas. «DIRAC ha permitido aprovechar la elasticidad del sistema de Amazon para optimizar los recursos utilizados en función de las necesidades», aclara el investigador. El ejercicio realizado ha permitido determinar un coste preliminar de unos 6.000 dólares para realizar 1.426 tareas de simulación (el equivalente a 120 millones de colisiones o 2.700 GB de información del experimento).
«Esta relación coste-beneficio, que aún presenta margen de mejora, permitirá valorar la idoneidad de utilizar los recursos ofrecidos por Amazon u otras empresas, adquirir recursos en grid para el proyecto, o bien una combinación de ambas soluciones», explica Graciani. Las grandes colaboraciones científicas internacionales, como los experimentos del LHC o las desarrolladas en biotecnología, necesitan grandes sistemas de cálculo para su desarrollo. El objetivo final del proyecto desarrollado por el ICCUB es completar DIRAC para que pueda gestionar grandes necesidades de computación en cualquier disciplina científica usando sistemas comerciales de provisionamiento de capacidad de cálculo como los ofrecidos por Amazon o Google, junto con recursos compartidos en grid o recursos propios de una manera transparente. Según Graciani, esto permitiría «optimizar el coste los recursos computacionales».