Un nuevo compresor de datos permite reducir el tamaño del catálogo de la misión Gaia en un 15 %
El grupo Gaia de la Universidad de Barcelona (IEEC-ICCUB), en colaboración con
, spin-off participada por la UB y la UPC, ha publicado una copia alternativa de los ficheros del segundo catálogo de la misión Gaia (
), que recogen datos de 1.700 millones de estrellas. La copia se ha realizado en FAPEC Archiver 19.0, un formato nuevo que permite reducir el tamaño de los archivos un 15 % más que los compresores habituales.
El grupo Gaia de la Universidad de Barcelona (IEEC-ICCUB), en colaboración con
, spin-off participada por la UB y la UPC, ha publicado una copia alternativa de los ficheros del segundo catálogo de la misión Gaia (
), que recogen datos de 1.700 millones de estrellas. La copia se ha realizado en FAPEC Archiver 19.0, un formato nuevo que permite reducir el tamaño de los archivos un 15 % más que los compresores habituales.
FAPEC Archiver 19.0 es un software profesional que ofrece una alta capacidad de compresión de datos con una gran rapidez de ejecución. Una de las opciones que proporciona es la compresión de archivos de texto tabulados (tipo CSV), con el espesor de los de Gaia DR2. Para mostrar las capacidades de FAPEC, Dapcom ha convertido todos los archivos CSV de Gaia DR2 a este formato, lo que ha reducido el tamaño total: de los 554 GB originales (en formato GZIP) se ha pasado a solo 471 GB, es decir, FAPEC comprime estos archivos CSV un 15 % más que GZIP. Otros compresores de datos como Bzip2, RAR, Zstandard o 7-Zip no llegan a esta capacidad de reducción.
El catálogo Gaia DR2, además de la posición de 1.700 millones de estrellas, incluye datos sobre la distancia, el movimiento y el color de más de 1.300 millones de estrellas de la Vía Láctea y de galaxias cercanas. Además del catálogo en línea —publicado en abierto el 25 de abril de 2018—, se puso a disposición de la comunidad científica una versión en ficheros CSV para la descarga. Esta opción permite hacer análisis más exhaustivos de los datos.
Rapidez, eficiencia y adaptabilidad
Este nuevo software ofrece una mejora en la compresión de datos que puede oscilar, típicamente, entre un 10 y un 15 % respecto a otros estándares de facto como el ZIP. En varios casos la mejora puede llegar a ser del 50 % o incluso del 100 %, es decir, que puede llegar a doblar la compresión conseguida por otros sistemas. El factor de compresión depende principalmente del tipo de datos. FAPEC soporta ficheros binarios y de texto (como los mencionados CSV), series temporales, matrices multidimensionales, imágenes con varias bandas de color, o formatos específicos como los usados en genómica.
Otra de las ventajas principales es la gran rapidez en el proceso de compresión, así como la posibilidad de adaptarse al caso particular de una clase concreta de datos, como los de un experimento científico, un sensor o una cámara. FAPEC, por ejemplo, se está usando actualmente para comprimir datos de radio ocultación GNSS a bordo de satélites.
Grandes volúmenes de datos
FAPEC es un compresor pensado para profesionales que trabajan con grandes volúmenes de datos: experimentos científicos, instrumentos de alto rendimiento, entornos de investigación, o incluso fotografía profesional. En el campo de la investigación, además de la física o la astronomía, se puede aplicar a datos de sondas marinas utilizadas en geociencias, al campo de la genómica, o a la medicina (resonancias magnéticas, por ejemplo).
Catálogo Gaia DR2 en formato FAPEC