| Περίληψη |
Όταν η συναπτική πλαστικότητα συνεπάγεται αποτελεσματική μάθηση, στους νευρώνες
ανατίθεται το εύσημο που κατάλληλα αντιστοιχεί στην συγκεκριμένη τους συνεισφορά.
Στα ιεραρχικά νευρωνικά δίκτυα (ΝΔ), η δυσκολία της διάκρισης μεταξύ νευρωνικής
δραστηριότητας σχετιζόμενης με το εύσημο και ασυσχέτιστης με αυτό καθιστά το
πρόβλημα της ανάθεσης ευσήμου ένα μη-τετριμμένο πρόβλημα. Παρόλο που έχουν προταθεί
βιολογικές λύσεις, αυτές δεν είναι τόσο αποτελεσματικές όσο ο κύριος αλγόριθμος
βελτιστοποίησης που χρησιμοποιείται ευρέως στο πεδίο της βαθιάς μάθησης. Η μέθοδος της
κατάβασης μέγιστης κλίσης (ΜΚ) αλλάζει τις συνάψεις ενός τεχνητού ΝΔ
χρησιμοποιώντας τη κλίση (παράγωγο), μια ποσότητα που υποδηλώνει την κατεύθυνση της
πιο γρήγορης βελτίωσης της απόδοσης. Η επιτυχία της ΜΚ οφείλεται στην αποτελεσματική
βελτιστοποίηση της απόδοσης με την ελάχιστη τροποποίηση των μη-χρήσιμων παραμέτρων
ενός δικτύου. Κατά συνέπεια, πολλοί ερευνητές προτείνουν ότι το εγκέφαλος ενδέχεται να
χρησιμοποιεί έναν αλγόριθμο που προσεγγίζει την ΜΚ. Το κοινό στοιχείο που μοιράζονται
οι προτεινόμενες βιολογικά-εφικτές υλοποιήσεις της ΜΚ είναι ότι όλες τους υποθέτουν ότι
ο εγκέφαλος χρησιμοποιεί έναν επαρκώς απλό κανόνα μάθησης που ένας επιστήμονας
μπορεί να κατανοήσει και να περιγράψει εύκολα, αλλά και που να επιτρέπει μια
μαθηματική απόδειξη ότι το εν λόγω σύστημα μπορεί να υλοποιήσει την ΜΚ. Ωστόσο, δεν
υπάρχουν σημαντικοί λόγοι για να υποθέσουμε ότι η εξέλιξη παράγει μηχανισμούς μάθησης
που είναι εύκολα ερμηνεύσιμοι από ανθρώπους. Αντιθέτως, υποθέτουμε ότι κάποιοι νευρικοί
μηχανισμοί όπως η αναστολή, η πυροδότηση κατά ριπές και η ανταμοιβή, μεταξύ πολλών
άλλων, συνεισφέρουν από κοινού στην αποτελεσματική ανάθεση ευσήμου όμοια της ΜΚ.
Στην παρούσα εργασία, εφαρμόζουμε μετα-μάθηση, έναν αλγόριθμο που μπορεί να θεωρηθεί
ως μια προσέγγιση του τι κάνει η εξέλιξη στο βιολογικό εγκέφαλο, σε κανόνες συναπτικής
πλαστικότητας με πολλές παραμέτρους και εξερευνούμε πως να προσεγγίσουμε την ΜΚ με
τον καλύτερο δυνατό τρόπο. Δείχνουμε πως η μέθοδός μας μπορεί να λύσει μη-τετριμμένα
προβλήματα καλύτερα από αντίστοιχους κανόνες πλαστικότητας που δεν έχουν υποστεί
μετα-μάθηση, με απόδοση συγκρίσιμη με την απόδοση της ΜΚ. Τα αποτελέσματά μας
υποδεικνύουν πως ένα ευρύ φάσμα ποικιλόμορφων μηχανισμών φυσιολογίας και
πλαστικότητας μπορεί να καταστήσει δυνατή την αποδοτική βιολογικά-εφικτή ανάθεση
ευσήμου.
|
Meta-learning synaptic plasticity rules to approximate gradient descent
