E-Locus - Ιδρυματικό Καταθετήριο Πανεπιστημίου Κρήτης - Genisys, a resource management and placement mechanism for HPC and datacenter applications under Kubernetes

Αρχική Genisys, a resource management and placement mechanism for HPC and datacenter applications under Kubernetes

Αποτελέσματα - Λεπτομέρειες

[Προσθήκη στο καλάθι]

Κωδικός Πόρου

000452895

Τίτλος

Genisys, a resource management and placement mechanism for HPC and datacenter applications under Kubernetes

Άλλος τίτλος

Genisys, ένας μηχανισμός διαχείρισης πόρων και τοποθέτησης εφαρμογών υψηλών επιδόσεων κάτω από το σύστημα Kubernetes

Συγγραφέας

Ζέρβας, Γεώργιος Μ.

Σύμβουλος διατριβής

Μπίλας, Άγγελος

Μέλος κριτικής επιτροπής

Μαγκούτης, Κωνσταντίνος
Πρατικάκης, Πολύβιος

Περίληψη

Σήμερα οι εφαρμογές του νέφους καθώς και τα φορτία εργασίας υπερυπολογιστικών συστημάτων τείνουν να χρησιμοποιούν διαφορετικές μεθόδους για την διαχείριση των υλικών πόρων πάνω από τους οποίους τρέχουν. Ωστόσο όλο και περισσότερες εφαρμογές χρειάζονται έναν συνδυασμό από βήματα τα οποία αφορούν υπολογιστικές διαδικασίες υψηλών επιδόσεων αλλά και επεξεργασία μεγάλου όγκου δεδομένων. Αυτό έχει σαν αποτέλεσμα, η ενσωμάτωση μηχανισμών διαχείρισης πόρων υπερυπολογιστικών συστημάτων στο υπολογιστικό νέφος να γίνεται ανάγκη. Η διαχείριση πόρων στο νέφος ,τείνει να προτιμάει τον διαμοιρασμό υλικών πόρων σε πολλαπλές εφαρμογές ταυτόχρονα ,προκειμένου να πετυχαίνει υψηλή και αποδοτική αξιοποίηση των υποδομών. Από την άλλη, οι μηχανισμοί διαχείρισης πόρων στα υπερυπολογιστικά συστήματα βασίζονται στην τοποθέτηση των εργασιών σε ουρές προτεραιότητας, ευνοώντας την αποκλειστική χρήση πόρων από κάθε εφαρμογή. Σε αυτή την δουλειά, σχεδιάσαμε ένα σύστημα το οποίο συνδυάζει τις πλατφόρμες Slurm και Kubernetes. Το σύστημα αυτό είναι σε θέση να τρέξει υπερυπολογιστικά φορτία χωρίς τροποποιήσεις μαζί με άλλες εφαρμογές του νέφους, κάτω από την πλατφόρμα Kubernetes. Πρώτον, μεταφέρουμε όλο το περιβάλλον εκτέλεσης σε συστάδες από κοντέινερς τα οποία ονομάζουμε εικονικές συστάδες. Με αυτόν τον τρόπο κάθε χρήστης ο οποίος τρέχει υπερυπολογιστικά φορτία έχει έναν ιδιωτικό χώρο, ο οποίος περιέχει έναν Slurm κατανεμητή εργασιών καθώς και όλα τα εργαλεία και βιβλιοθήκες που ο χρήστης χρειάζεται. Δεύτερον, σχεδιάζουμε ένα ειδικό πρωτόκολλο επικοινωνίας μεταξύ Slurm και Kubernetes, το οποίο επιτρέπει στον Slurm να αιτείται υλικούς πόρους από τον Kubernetes με δυναμικό τρόπο. Με αυτόν τον τρόπο στο σύστημα μας, ο Slurm controller προωθεί τις αποφάσεις για την τοποθέτηση και κατανομή φορτίων εργασίας στον Kubernetes εξασφαλίζοντας έτσι ένα κεντρικοποιημένο τρόπο διαχείρισης πόρων. Τρίτον, υλοποιούμε έναν ειδικό κατανεμητή Kubernetes , ο οποίος εφαρμόζει διαφορετικές πολιτικές τοποθέτησης εργασιών ανάλογα με τον τύπο τους. Αξιολογούμε την απόδοση του συστήματος μας, συγκρίνοντάς το με στατικά διαχωρισμένες συστάδες Kubernetes και Slurm καθώς δείχνουμε την ικανότητα του να τρέχει φορτία διαφορετικού τύπου κάτω από κοινή υποδομή με την λιγότερη δυνατή πτώση της απόδοσης τους.

Φυσική περιγραφή

57 σ. : σχεδ., πιν., εικ. (μερ. εγχρ.) ; 30 εκ.

Γλώσσα

Αγγλικά

Θέμα

Cloud

Docker

Genisys

Integration

Scheduler

Slurm

Virtual-clusters