Media Library

The IO Software for Exascale Architecture (IO-SEA) project is part of EuroHPC and is being pursued collaboratively across Europe by partners Atos, CEA, CEITEC, ECMWF, FZJ, ICHEC, IT4I, JGU Mainz, KTH, ParTec and Seagate. It aims to create a novel data management and storage platform for exascale computing based on Hierarchical Storage Management (HSM) and on-demand provisioning of storage services. One of its core tools is an API for the storage system that allows user applications to do semantic tagging of the data. It’s called Data Access and Storage application Interface (DASI). Another key element is ephemeral data lifecycle management, where storage provisioning services are brought up as directed by a user-specified workflow. This is achieved using data nodes that can be summoned dynamically as needed, unlike traditional fixed endpoints. They are also compatible with a variety of compute architectures (many-core CPU, CPU and GPU, EPI...), and multiple data nodes can serve independent compute nodes. These nodes work with multi-tiered storage that goes from NVMe devices to SSD and HDD, all the way to tapes for longer term storage. While they’re slower, they’re also cheaper and have a larger capacity. The goal of the IO-SEA project is to integrate them in a way that's performant and seamless for the user, which is where hierarchical storage management comes into play. Using a HSM solution for object stores makes it possible to use NVMe devices, SSD, HDD and tapes inside the same storage tier, therefore making it possible to complete the entire data lifecycle inside the same system. That’s because these tiers are abstractions of a physical storage system that mix multiple storage types, much like an object store is an abstraction to facilitate the storing and retrieval of unstructured data. Those tiers are characterized by things like bandwidth, capacity, reliability, which is bundled as metadata into the HSM object as it's being passed around the system. This way, pieces of the data can exist on different tiers as needed by the system. A key component of the IO-SEA system is Hestia, a library that allows the migration of data between multiple object stores in different network locations via a distributed copy tool. Two types of object stores are supported. The first is Motr, developed by Seagate. It’s a distributed object store targeted and built for exoscale applications, and it uses NVRAM, SSD & HDD. The second is Phobos, developped by the CEA, which is used for tapes and is also relevant for exoscale. The challenge lies in getting these two store types to talk to each other in a way that the rest of the system doesn't have to care about it. And the goal is to have not just data stores, but also policy engines when moving the data and receiving user instructions. This is complemented by instrumentation tools that monitor I/O behaviors to provide feedback and model data workflows. At this point, the IO-SEA project is two years old with one year to go before the first meaningful release. The teams are finishing up each component and getting them all to work together. One of the main focuses is deploying the system on a prototype exascale cluster to test it. A few real applications are being used with it, like weather modeling and quantum chromodynamics. It is all open source, so interested parties are welcome to take a look at the github repositories.

This project is about detecting periodic I/O behavior using frequency techniques. It is a collaboration between the Technical University of Darmstadt and the University of Bordeaux-Inria. It also is part of the DEEP SEA project as well as of the Admire project. Applications tend to alternate between compute and I/O phases. And while compute phases are usually allocated to a user exclusively, I/O, which is a shared resource, has several problems like variability, contention and low utilization. The project demonstrates an approach which could decrease I/O contention as a step towards exascale systems. By knowing the temporal I/O behavior of the system you could know or how much resources your application requires and for how long, as well as whether it's okay to share them with others or not. I/O tends to be periodic in HPC (periodicity being the time between the start of two consecutive I/O phases), and this can be used for contention avoidance strategies. This is helpful for HPC to help enhance the system throughput, for example by improving I/O scheduling, burst buffers management, I/O-aware batch scheduling and so on. However in practice it’s difficult to precisely define the time between the end of one phase and the start of another because the thresholds you choose are applicaton and system dependent. The project uses frequency techniques to better detect these thresholds. Its approach is implemented in four steps: First, the fluctuation of the bandwidth over time is treated as a discrete signal. Second, a discrete Fourier transformation (DFT) is applied on that signal. Third, one must find the dominant frequency which tells you what the periodicity of the I/O is. Last, it produces a confidence metric that can be used to assess the exactitude of the measurement Using that method, not only can we predict the periodicity, but also the presence of I/O. It can be performed offline as well as online, during the execution of a job, which is preferable as it gives more accurate results. There are also several parameters you can tune for optimal detection and performance. The work will be made publically available next month for those who wish to test it. In the future, it will be integrated into the Admire project, which has a monitoring framework. As for the next step of the project, it will be to examine different processing techniques, like the wavelet transformation.

Biomemory développe une solution de stockage sur ADN. Pourquoi l’ADN ? Car les supports de stockage traditionnels – disques durs, SSD et bandes magnétiques – ne peuvent plus suivre l’explosion du nombre de données. Il est estimé que de 30% de données conservées aujourd’hui, on passera à seulement 3% à l’avenir, forçant les entreprises à faire des arbitrages de plus en plus difficiles. Ces supports de stockage sont également fragiles. Les disques durs et SSD doivent être renouvelés tous les trois à quatre ans. L’ADN a trois avantages qui lui permettent de répondre à ces problématiques. Sa stabilité, 10 000 fois supérieure aux supports actuels. Son inertie, car il peut durer 50 000 ans tant qu’on le préserve de trois facteurs : les UVs, l’oxygène et les solvants. Et surtout son extraordinaire densité. En théorie, 100 grammes d’ADN peuvent contenir 100 zettaoctets, soit l’ensemble des données conservées dans le monde aujourd’hui. En pratique, cela prendrait la taille de quelques baies de stockages. Le problème est que la synthétisation classique de l’ADN est trop complexe et coûteuse pour qu’il puisse être utilisé de cette manière. Biomemory a donc adopté une approche novatrice qui réutilise au maximum les phénomènes du vivants. Les autres entreprises du secteur synthétisent l’ADN par la chimie, de la même manière que les laboratoires pharmaceutiques, produisant des millions de brins d’ADN très courts (oligos) et désorganisés qu’il est difficile d’exploiter. Biomemory s’appuie sur la biologie de synthèse pour créer des plasmides. Ces polymères circulaires, plus simples que les chromosomes, sont très utilisés dans les laboratoires du monde entier. Ils sont déjà beaucoup plus gros que les oligos à la base, et comme la matière première est le sucre, il est facile de les dupliquer à répétition, puis de les assembler grâce à des enzymes pour créer au final d’énormes molécules. La stratégie de Biomemory est de recréer l’équivalent d’un disque dur de cette manière, et elle appelle cette technologie brevetée DNA Drive. Elle est la seule entreprise au monde à la maîtriser. DNA Drive permet de créer un « disque » de n’importe quelle taille, jusqu’à 1000 zettaoctets si nécessaire. Il est facile à copier, produit très peu d'erreurs et peut intégrer tout type de fichier. Biomemory développe aussi un système de fichier optimisé pour l'ADN, qui permettra la compression et l'accès direct. Une première version de ce disque ADN, de la taille d’un grain de sel, a été produite il y a quelques années. Elle est déposée aux archives nationales et contient 100 milliards de copies de la déclaration des droits de l'Homme. L’objectif final de Biomemory est que sa technologie fonctionne de façon transparente avec les datacenters, sans qu’ils aient à être adaptés. Tout se passe à l’intérieur du système de stockage. L’entreprise développe également des supports de stockage amovibles qu��elle appelle DNA Cards, et permettent de passer d'un serveur à l'autre, d’être placées dans un coffre-fort, etc. La différence la plus notable par rapport aux technologies actuelles est que l’écriture sur le disque est impossible sans nouveau matériau. Le système fonctionne donc plus comme une imprimante, pour laquelle Biomemory doit fournir l’équivalent de cartouches d’encre. Ce stockage biologique, avec une faible empreinte environnementale et 100% fabriqué en France est, selon Biomemory, le futur du stockage en datacenter. La technologie reste encore proche du laboratoire, mais l’entreprise estime qu’elle pourra remplacer les bandes magnétiques pour certains usages d’ici 2030. 

Sur le marché concurrentiel d'aujourd'hui, votre entreprise doit faire des investissements technologiques stratégiques pour garantir l'efficacité, la sécurité et la compétitivité à long terme. De nombreuses entreprises négligent d'investir dans du nouveau matériel, tel que des serveurs, par crainte du coût initial. Pourtant, le fait de ne pas mettre à niveau et de ne pas entretenir les serveurs peut souvent entraîner des coûts d'investissement et d'exploitation plus élevés. Cela signifie que les dépenses quotidiennes associées à un matériel obsolète peuvent rapidement dépasser les temps d'arrêt à court terme ou l'investissement initial nécessaire pour un nouveau système.

Les entreprises qui passent à de nouveaux systèmes ont plus de chances d'accéder à des technologies telles que l'intelligence artificielle (IA) et l'analyse des données massives (BDA), qui peuvent leur permettre de prendre des décisions plus rapidement, d'acquérir de nouvelles connaissances et d'augmenter leur productivité comme jamais auparavant. Cela signifie que les organisations qui continuent d'exploiter des systèmes vieillissants risquent de prendre du retard sur leurs concurrents en matière d'innovation, ainsi que de s'aliéner des clients et des consommateurs qui exigent des expériences modernes et personnalisées.

Grâce au nombre élevé de cœurs et à l'évolutivité des serveurs basés sur les processeurs AMD EPYC™ de 3e génération' les entreprises peuvent facilement héberger des applications telles que l'apprentissage automatique (ML) et les simulations scientifiques, et tirer le meilleur parti des nouvelles capacités en matière d'intelligence artificielle (IA), de calcul haute performance (HPC) et d'analyse de données. 

À une époque où les données sont plus vitales que jamais, et où la sécurité et les performances sont primordiales, les processeurs AMD EPYC™ de 3e génération constituent un choix judicieux pour les organisations qui cherchent à mettre à niveau leur matériel obsolète. Non seulement cela peut aider votre entreprise à réduire le coût total de possession (TCO), mais cela peut supercharger la productivité et l'agilité dans un marché en constante évolution. Les calculateurs en ligne d'AMD peuvent aider à comparer de manière compétitive les performances et les coûts de différents processeurs, les économies d'énergie prévues, les émissions de CO2 et bien plus encore. Pour accéder à ces outils et en savoir plus sur nos produits, rendez-vous sur: https://www.amd.com/en/processors/epyc-tools. 

However, these strategic systems can be difficult to deploy at scale, especially if there is a need to share that investment across multiple research domains. Building an AI/HPC Centre of Excellence helps to focus resources and expertise, to accelerate collaboration between different teams, which can maximize the return on this strategic investment, and encourages cross-functional collaboration with a shared resource of people and skills to accelerate knowledge transfer.

DDN’s AI optimized storage is a key component of at-scale AI and HPC systems, as it provides the high-performance storage necessary for AI and HPC workloads. With DDN's storage technology, research teams can achieve the extreme levels of performance required for the largest workloads, while also ensuring data reliability and availability.

Find out why DDN is the most successful vendor at delivering AI and HPC at-scale – meet us at our Teratec Booth #D06 on 31st May-1st June, or join us at this session: 

On Thursday June 1st at 14h45 Dr. James Coomer, VP Products at DDN, will be presenting on Addressing data challenges of the second wave of AI. 

High Performance Computing (HPC) plays a critical role in Artificial Intelligence (AI), simulation and digital twins by providing the computing power and infrastructure to perform complex, data-intensive calculations. Altair provides easy access and intuitive, efficient management of HPC resources, whether those resources are in on-premises data centres or in the cloud. Altair is the only innovation partner that can offer simulation, AI, digital twin and HPC, all converged into a single solution, customized to each customer's needs.

In the data centre and in the cloud, Altair's industry-leading HPC tools enable you to orchestrate, visualize, optimize and analyze your most demanding workloads, easily migrate to the cloud and eliminate I/O bottlenecks. Altair's workload management solutions improve productivity, optimize utilization and efficiency while simplifying the management of clusters, clouds and supercomputers - from the largest HPC workloads to millions of small, high-throughput jobs. Altair offers decades of expertise in helping organizations meet their needs for efficient access and management of HPC resources, partnering with industry leaders to help organizations navigate the complex landscape of HPC in the cloud. 

We automate and improve human decision making with High Performance Computing. We create digital twins and intelligent models leveraging the convergence of simulation, AI and HPC. We help you make informed decisions to compete in an increasingly connected world, while creating a greener, more sustainable future. For more information, visit https://altairengineering.fr/

For twenty years now, the CEA and its partners have been sharing increasingly powerful machines to meet industrial or research needs in HPC, data processing and AI! The success of the CCRT is based on a solid, long-term relationship of trust, established on the basis of a multi-year commitment and a dynamic of exchanges (training, technological and scientific seminars). Located within the TGCC, in Essonne, the Research and Technology Computing Centre (https://www-ccrt.cea.fr/) relies on the CEA's expertise in the co-development and administration of large-scale systems to provide a robust and secure production environment, as well as innovative services (storage, remote display, virtualisation) and full user support. Today, the twenty CCRT partners have access to the Topaze machine, installed in 2021 by Atos and delivering more than 10 Pflops thanks to 864 scalar nodes (110,592 AMD Milan cores) and 75 accelerated computing nodes (300 Nvidia A100 GPUs). A storage capacity of 3 PB, provided by DDN, completes the package. The CCRT is also looking to the future with an Atos QLM 30 quantum emulator. Meet the CEA team on the forum stand and make a date for the CCRT's 20th anniversary celebration on 5 December 2023.