| Περίληψη |
Τα τελευταία χρόνια, η Εμβριθής Μάθηση έχει αναχθεί σε δομικό συστατικό για πάρα πολλές υπολογιστικές εφαρμογές, έχοντας καταφέρει να αυτοματοποιήσει την διαδικασία παραγωγής γνωρισμάτων και συνεπώς να εκτοπίσει άλλες, πιο συμβατικές τεχνικές Μηχανικής Μάθησης. Για να είναι αποδοτική, η Εμβριθής Μάθηση πρέπει να έχει πρόσβαση τόσο σε δεδομένα μεγάλου όγκου, όσο και σε μηχανήματα με μεγάλα αποθέματα υπολογιστικής ισχύς και μνήμης. Παράλληλα, τα μηχανήματα χαμηλών υπολογιστικών πόρων είναι ευρέως διαδεδομένα τόσο στην έρευνα όσο και στη βιομηχανία, κυρίως λόγο της άμεσης διαθεσιμότητας τους αλλά και του χαμηλού κόστους τους. Όμως τέτοια υπολογιστικά συστήματα δεν έχουν ούτε τον χώρο που απαιτείται για την αποθήκευση δεδομένων μεγάλου όγκου, ούτε τα αποθέματα μνήμης για να εκτελέσουν αποτελεσματικά εμβριθή μοντέλα. Μια πρόταση για την αντιμετώπιση αυτού του προβλήματος, είναι η μεταφορά αυτών των μοντέλων σε κατανεμημένα περιβάλλοντα, με την ομαδοποίηση μηχανημάτων περιορισμένων πόρων σε Συστάδες. Ο βασικός στόχος αυτής της μεταπτυχιακής εργασίας είναι η παρουσίαση και η εφαρμογή τεχνικών Κατανεμημένης Εμβριθούς Μάθησης, σε επίπεδο τόσο δεδομένων όσο και αρχιτεκτονικών, με σκοπό να εκμεταλλευτούμε στο μέγιστο βαθμό τους διαθέσιμους πόρους μιας Συστάδας, αλλά και να αξιοποιήσουμε την επίδραση που μπορεί να έχει ένα τέτοιο κατανεμημένο περιβάλλον στην συμπεριφορά συνελικτικών μοντέλων. Παρουσιάζουμε τα αποτελέσματά της μελέτης μας με την μορφή περιπτωσιολογικών μελετών σε δύο σημαντικά ερευνητικά πεδία, εκείνο της κοσμολογίας και αυτό της τηλεπισκόπησης, χρησιμοποιώντας μια Συστάδα πέντε μηχανημάτων με περιορισμένους πόρους. Στην πρώτη μελέτη, χρησιμοποιούμε τεχνικές κατανομής δεδομένων ώστε να εξετάσουμε την απόδοση ενός συνελικτικού νευρωνικού δικτύου που χρησιμοποιείται για εκτίμηση ερυθρής μετατόπισης, ως προς των αριθμό των μηχανημάτων μιας Συστάδας αλλά και ως προς τον τρόπο που μοιράζονται σε αυτά τα δεδομένα. Στην δεύτερη μελέτη, προσπαθούμε να σπάσουμε ένα διακλαδωμένο συνελικτικό μοντέλο με πολλές παραμέτρους μεταξύ των μηχανημάτων της Συστάδας, με σκοπό την ταξινόμηση κάλυψης γης. Στόχος μας μέσω της εφαρμογής αυτής είναι να πετύχουμε βέλτιστο διαμοιρασμό φόρτου υπολογιστικής ισχύς, αλλά και να ελαττώσουμε την κίνηση του δικτύου που προκύπτει λόγω της συχνής μεταφοράς δεδομένων μεταξύ των υπολογιστικών συστημάτων.
|
Architectures of distributed deep learning on commodity clusters
