Your browser does not support JavaScript!

Αρχική    Συλλογές    Τύπος Εργασίας    Διδακτορικές διατριβές  

Διδακτορικές διατριβές

Τρέχουσα Εγγραφή: 16 από 2221

Πίσω στα Αποτελέσματα Προηγούμενη σελίδα
Επόμενη σελίδα
Προσθήκη στο καλάθι
[Προσθήκη στο καλάθι]
Κωδικός Πόρου 000446363
Τίτλος Simulating spiking neural networks on multiple GPUs
Άλλος τίτλος Προσομοίωση νευρωνικών δικτύων δυναμικών ενέργειας σε πολλαπλές μονάδες επεξεργασίας γραφικών
Συγγραφέας Bautembach, Dennis A.
Σύμβουλος διατριβής Αργυρός, Αντώνιος
Μέλος κριτικής επιτροπής Παπαγιαννάκης, Γεώργιος
Τραχανιάς, Παναγιώτης
Σαββίδης, Αντώνιος
Κομοδάκης, Νικόλαος
Τόλλης, Ιωάννης
Ποϊράζη, Παναγιώτα
Περίληψη Τα Νευρωνικά Δίκτυα Δυναμικών Ενέργειας (ΝΔΔΕ) είναι μια κατηγορία Τεχνητών Νευρωνικών Δικτύων (ΤΝΔ) που επιχειρούν να μοντελοποιήσουν, με μεγαλύτερη ακρίβεια, τις διαδικασίες σε βιολογικά νευρωνικά δίκτυα όπως ο (ανθρώπινος) εγκέφαλος. Είναι μια γενίκευση των «συμβατικών» ή «βαθέων» ΤΝΔ. Τα συμβατικά νευρωνικά δίκτυα, είτε είναι συνελικτικά, επαναλαμβανόμενα ή άλλης μορφής, τυπικά είναι διαστρωματωμένα και παράγουν συνεχείς εξόδους, οι οποίες μπορούν να υπολογιστούν μέσω απλών πολλαπλασιασμών μήτρας σε συνδυασμό με μη γραμμικές συναρτήσεις ενεργοποίησης. Αντίθετα, τα ΝΔΔΕ μπορούν να μοιάζουν με αυθαίρετους κατευθυνόμενους γράφους. Αποτελούνται από νευρώνες, που αντιστοιχούν στις κορυφές του γράφου, οι οποίοι συνδέονται μέσω συνάψεων, που αντιστοιχούν στις ακμές του γράφου. Τόσο οι νευρώνες όσο και οι συνάψεις έχουν τη δική τους κατάσταση, που αποτελείται από ποικιλία χαρακτηριστικών, τα οποία μπορούν να διέπονται από αυθαίρετες δυναμικές. Επιπλέον, οι νευρώνες έχουν ένα σχήμα πυροδότησης με μορφή ακίδας, οπότε ένα σήμα/μήνυμα πρέπει να μεταδοθεί στους γείτονές τους μέσω των εξερχόμενων συνάψεών τους. Η έξοδος ενός ΝΔΔΕ είναι το μοτίβο πυροδότησης του. Μπορούμε αμέσως να δούμε την ομοιότητα αυτής της συμπεριφοράς με τις ηλεκτροχημικές διεργασίες που συμβαίνουν στον εγκέφαλο. Πολλά πλεονεκτήματα μπορούν να προκύψουν από αυτή την ομοιότητα: Ο Maass απέδειξε το 1996 ότι τα ΝΔΔΕ είναι θεμελιωδώς πιο ισχυρά υπολογιστικά από τα συμβατικά ΤΝΔ. Στην πράξη, τα ΝΔΔΕ εξακολουθούν να υστερούν σε σχέση με τα ΤΝΔ, αλλά η έρευνα γύρω από αυτά παραμένει ζωντανή και πολλά υποσχόμενη. Το χάσμα συρρικνώνεται συνεχώς, έτσι ώστε τα ΝΔΔΕ να μπορούν μια μέρα να ανταποκρίνονται στη φήμη τους. Μια πτυχή στην οποία τα ΝΔΔΕ έχουν ήδη ξεπεράσει τα ΤΝΔ είναι η απόδοση ισχύος, ειδικά σε συνδυασμό με νευρομορφικό υλικό. Στην πραγματικότητα, είναι τόσο αποτελεσματικά που η μετατροπή των ΤΝΔ σε ΝΔΔΕ οριοθετεί ένα συγκεκριμένο πεδίο έρευνας. Η καινοτομία των ΝΔΔΕ έχει επίσης μειονεκτήματα. Πολλά λυμένα προβλήματα, όπως η αποτελεσματική εξαγωγή συμπερασμάτων και η εκπαίδευση των ΤΝΔ, πρέπει να επανεξεταστούν για τα ΝΔΔΕ λόγω της δραστικά διαφορετικής φύσης τους. Η διαδικασία εξαγωγής συμπερασμάτων (inferencing) απαιτεί πλήρη προσομοίωση. Ενώ η εκπαίδευση μέσω μετααλγορίθμων όπως ο Αλγόριθμος Οπισθοδιάδοσης (ΑΟ) (Backpropagation) είναι δυνατή (έχουν γίνει αρκετές προσπάθειες προσαρμογής του ΑΟ σε ΝΔΔΕ), τα ΝΔΔΕ προσφέρονται για ένα διαφορετικό είδος εκπαίδευσης: τη νευροπλαστικότητα. Καθώς ένα ΝΔΔΕ προσομοιώνεται, αυτοπροσαρμόζεται συνεχώς, παράγοντας συνεχώς βελτιούμενα αποτελέσματα. Η εκπαίδευση γίνεται εγγενές μέρος του μοντέλου και ο προσομοιωτής γίνεται υπεύθυνος για την οδήγησή του. Αυτός είναι ο λόγος για τον οποίο αφιερώσαμε τη συγκεκριμένη έρευνα στην προσομοίωση, την οποία θεωρούμε ακόμη πιο θεμελιώδες ζήτημα από την εκπαίδευση: Ένας γρήγορος, αποδοτικός από πλευράς πόρων και φιλικός προς το χρήστη προσομοιωτής όχι μόνο επιταχύνει τις υπάρχουσες προσομοιώσεις αλλά και επιταχύνει τη σχεδίαση δικτύου (πρωτότυπο/συντονισμό παραμέτρων, κ.λπ.) και την έρευνα σε άλλους αλγόριθμους, συμπεριλαμβανομένης της εκπαίδευσης, προάγοντας το πεδίο στο σύνολό του. Για το σκοπό αυτό παρουσιάζουμε το Spice, έναν προσομοιωτή ΝΔΔΕ που αναπτύξαμε. Το Spice υπερτερεί όσον αφορά την απόδοση (ταχύτητα, χρόνο ρύθμισης, κατανάλωση μνήμης) και ευκολία χρήσης έναντι των υφιστάμενων προσομοιωτών. Είναι επίσης ο πρώτος προσομοιωτής που κλιμακώνεται γραμμικά σε οκτώ Μονάδες Επεξεργασίας Γραφικών (GPUs). Αυτό επιτυγχάνεται με νέους αλγόριθμους για την δημιουργία των ακίδων και την πλαστικότητα, ένα νέο σχήμα παραλληλοποίησης, καθώς και μία σύγχρονη Διεπαφή Προγραμματισμού Εφαρμογών (Application Programming Interface - API). Η διατριβή αυτή διερευνά αυτά τα ζητήματα και παρουσιάζει την αντιμετώπισή τους σε διάφορα επίπεδα βελτιστοποίησης, ξεκινώντας από κάποιες πρώτες βασικές υλοποιήσεις μέχρι την τελευταία τους εκδοχή η οποία ξεπερνά σε επιδόσεις τις καλύτερες υφιστάμενες τεχνικές.
Φυσική περιγραφή xi, 85 σ. : σχεδ., πιν., εικ. ; 30 εκ.
Γλώσσα Αγγλικά
Θέμα GPGPU
HPC
SNN
Δίκτυα ακίδων
Νευρωνικά δίκτυα
Ημερομηνία έκδοσης 2022-03-18
Συλλογή   Σχολή/Τμήμα--Σχολή Θετικών και Τεχνολογικών Επιστημών--Τμήμα Επιστήμης Υπολογιστών--Διδακτορικές διατριβές
  Τύπος Εργασίας--Διδακτορικές διατριβές
Μόνιμη Σύνδεση https://elocus.lib.uoc.gr//dlib/5/e/9/metadata-dlib-1646387914-433550-388.tkl Bookmark and Share
Εμφανίσεις 47

Ψηφιακά τεκμήρια
No preview available

Κατέβασμα Εγγράφου
Προβολή Εγγράφου
Εμφανίσεις : 1