24 - HPC-Cafe 2022-01-18: Using File Systems Properly/ClipID:40199 vorhergehender Clip nächster Clip

Die automatischen Untertitel, die mit Whisper Open AI in diesem Video-Player (und im Multistream-Video-Player) generiert werden, dienen der Bequemlichkeit und Barrierefreiheit. Es ist jedoch zu beachten, dass die Genauigkeit und Interpretation variieren können. Für mehr Informationen lesen Sie bitte die FAQs (Absatz 14)
Aufnahme Datum 2022-01-18

Kurs-Verknüpfung

HPC4FAU / NHR@FAU

Lehrende(r)

Dr. Georg Hager

Zugang

Frei

Sprache

Englisch

Einrichtung

Zentrum für Nationales Hochleistungsrechnen Erlangen (NHR@FAU)

Produzent

Zentrum für Nationales Hochleistungsrechnen Erlangen (NHR@FAU)

Speakers: Markus Wittmann and Georg Hager, NHR@FAU

Slides available at https://hpc.fau.de/files/2022/01/2022-01-11-hpc-cafe-file-systems.pdf

We provide some guidelines for handling large collections of files in your batch jobs on our  systems. We have observed phases of heavy overload on NFS file servers when certain types of jobs are running. This is caused by jobs which handle data ineffectively - especially data scattered over many thousands of files, but also data that is accessed frequently -, thereby slowing down file operations to a crawl. This has an impact on all users, not only those who  actually cause the problem.

In this talk we give a quick overview of the available file systems and show you some strategies to avoid such situations by using local disks within the compute nodes instead of the shared NFS servers.

Nächstes Video

Schloss1
Dr. Georg Hager
2022-04-27
IdM-Anmeldung
Schloss1
Thomas Gruber
2022-05-09
IdM-Anmeldung

Mehr Videos aus der Kategorie "Friedrich-Alexander-Universität Erlangen-Nürnberg Zentralbereich"

2024-11-14
IdM-Anmeldung
geschützte Daten  
2024-11-14
IdM-Anmeldung / Studon
geschützte Daten  
2024-11-11
IdM-Anmeldung
geschützte Daten  
2024-11-11
IdM-Anmeldung / Studon
geschützte Daten  
2024-11-14
Frei
freie Daten  
2024-11-14
IdM-Anmeldung
geschützte Daten