79 - HPC Café on February 11, 2025: Handling many small files and managing AI data sets/ClipID:56285 vorhergehender Clip nächster Clip

Die automatischen Untertitel, die mit Whisper Open AI in diesem Video-Player (und im Multistream-Video-Player) generiert werden, dienen der Bequemlichkeit und Barrierefreiheit. Es ist jedoch zu beachten, dass die Genauigkeit und Interpretation variieren können. Für mehr Informationen lesen Sie bitte die FAQs (Absatz 14)
Aufnahme Datum 2025-02-11

Kurs-Verknüpfung

HPC4FAU / NHR@FAU

Lehrende(r)

Dr. Georg Hager

Zugang

Frei

Sprache

Englisch

Einrichtung

Zentrum für Nationales Hochleistungsrechnen Erlangen (NHR@FAU)

Produzent

Zentrum für Nationales Hochleistungsrechnen Erlangen (NHR@FAU)

Speaker: Dr. Anna Kahler, NHR@FAU

Slides: https://hpc.fau.de/files/2025/02/HPC-Cafe-Small-Files-AI-DataSets-Feb-11-2025.pdf

Abstract:

We invite you to join us for a discussion on data handling, including the possibility of NHR@FAU providing access to popular data sets. As part of this discussion, we will present an overview of the various file systems available for data storage at NHR@FAU, covering key topics such as data archive formats, data copying, archiving, compressing, and unpacking, as well as recommendations for the most effective programs to use. Additionally, we will share best practices for efficient data storage and access in your SLURM scripts.

By taking a few simple steps, many common data handling issues can be resolved, which is crucial given that NHR@FAU supports over 1,000 users and inefficient data usage can impact not only individual workflows but also those of colleagues. Despite the importance of this issue, we continue to observe inefficient data handling practices and believe it is essential to revisit this topic time and again.

Material from past events is available at: https://hpc.fau.de/teaching/hpc-cafe/

Mehr Videos aus der Kategorie "Friedrich-Alexander-Universität Erlangen-Nürnberg Zentralbereich"

2025-02-04
IdM-Anmeldung
geschützte Daten  
2025-02-03
Passwort
geschützte Daten  
2025-02-03
IdM-Anmeldung
geschützte Daten  
2025-02-03
IdM-Anmeldung
geschützte Daten  
2025-01-30
IdM-Anmeldung
geschützte Daten