Περίληψη |
Η Αυτοματοποιημένη Μηχανική Μάθηση (AutoML) είναι ένα ταχέως αναπτυσσόμενο
υπο-πεδίο της Μηχανικής Μάθησης (MM). Το AutoML στοχεύει στην πλήρη
αυτοματοποίηση της διαδικασίας της MM από άκρο σε άκρο, εκδημοκρατώντας τη
Μηχανικής Μάθησης σε μη ειδικούς και αυξάνοντας δραστικά την παραγωγικότητα
των τελευταίων. Μέχρι στιγμής, οι περισσότερες συγκρίσεις των συστημάτων
AutoML εστιάζονται αποκλειστικά σε ποσοτικά κριτήρια όπως η πραγματική
προβλεπτική απόδοση και ο χρόνος εκτέλεσης. Σε αυτή τη διατριβή, παρουσιάζουμε
μια μεθοδολογία πολλαπλών επιπέδων για την επαρκή αξιολόγηση αυτών των
πολύπλοκων συστημάτων. Ξεκινάμε εξετάζοντας τις υπηρεσίες AutoML για τη
δημιουργία μοντέλων ΜΜ από την οπτική γωνία ενός χρήστη, μη εξετάζοντας την
προγνωστική απόδοση. Παρουσιάζουμε μια μεγάλη γκάμα κριτηρίων για την
αξιολόγηση και σύγκριση αυτών των υπηρεσιών απο την πλευρά του χρήστη. Η
σύγκριση δείχνει τα πλεονεκτήματα και τις αδυναμίες κάθε υπηρεσίας, τις ανάγκες
που καλύπτει, τη μερίδα χρηστών που είναι καταλληλότερο και τις δυνατότητες
βελτίωσης. Για να αξιολογήσουμε περαιτέρω την εμπειρία του χρήστη,
δημιουργούμε και διεξάγουμε μια μελέτη, εστιάζοντας στη χρηστικότητα των
συστημάτων AutoML. Σε αυτήν τη μελέτη, οι χρήστες καλούνται να
πραγματοποιήσουν μια ανάλυση ML χρησιμοποιώντας 3 συστήματα και να
βαθμολογήσουν την ευκολία χρήσης τους. Οι απαντήσεις τους μπορούν να
παρέχουν πληροφορίες στις ομάδες ανάπτυξης των συστημάτων AutoML σχετικά με
τα σημεία συμφόρησης του UX και τις λανθασμένες αποφάσεις σχεδιασμού.
Συνεχίζοντας, παρουσιάζουμε τη δική μας μεθοδολογία ποσοτικής αξιολόγησης,
θέτοντας κανόνες για την επιλογή υποψηφίων συστημάτων AutoML, δεδομένων
που θα αναλυθούν και μετρήσεων απόδοσης. Για τα ποσοτικά μας κριτήρια, δίνουμε
έμφαση στην ακρίβεια της εκτίμησης της προγνωστικής απόδοσης, καθώς και στην
πραγματική απόδοσή τους. Επιπλέον, πραγματοποιούμε μια ανάλυση με βάση
πληροφορίες για τη δομή των δεδομένων μας και αξιολογούμε πώς τα διαφορετικά
χαρακτηριστικά δεδομένων συσχετίζονται με το αποτέλεσμα. Τα αποτελέσματα
δείχνουν ότι τα περισσότερα συστήματα υπερεκτιμούν την απόδοση του
παραχθέντος προβλεπτικού μοντέλου, ενώ δεν υπάρχουν σημαντικές διαφορές
μεταξύ τους όσον αφορά την κατάταξή με βάση τις επιδόσεις τους. Και στις δύο
περιπτώσεις, τα αποτελέσματα έχουν στατιστικά σημαντικούς συσχετισμούς με τα
επιλεγμένα χαρακτηριστικά των δεδομένων μας.
|