E-Locus - Ιδρυματικό Καταθετήριο Πανεπιστημίου Κρήτης - A qualitative, quantitative and user-based methodology of automated machine learning systems evaluation

Αρχική A qualitative, quantitative and user-based methodology of automated machine learning systems evaluation

Αποτελέσματα - Λεπτομέρειες

[Προσθήκη στο καλάθι]

Κωδικός Πόρου

000434154

Τίτλος

A qualitative, quantitative and user-based methodology of automated machine learning systems evaluation

Άλλος τίτλος

Μια ποιοτική, ποσοτική και επικεντρωμένη στον χρήστη μεθοδολογία αξιολόγησης συστημάτων αυτοματοποιημένης μηχανικής μάθησης

Συγγραφέας

Ξανθόπουλος, Ιορδάνης Π.

Σύμβουλος διατριβής

Τσαμαρδινός, Ιωάννης

Μέλος κριτικής επιτροπής

Χριστοφίδης, Βασίλης
Vanschoren Joaquin

Περίληψη

Η Αυτοματοποιημένη Μηχανική Μάθηση (AutoML) είναι ένα ταχέως αναπτυσσόμενο υπο-πεδίο της Μηχανικής Μάθησης (MM). Το AutoML στοχεύει στην πλήρη αυτοματοποίηση της διαδικασίας της MM από άκρο σε άκρο, εκδημοκρατώντας τη Μηχανικής Μάθησης σε μη ειδικούς και αυξάνοντας δραστικά την παραγωγικότητα των τελευταίων. Μέχρι στιγμής, οι περισσότερες συγκρίσεις των συστημάτων AutoML εστιάζονται αποκλειστικά σε ποσοτικά κριτήρια όπως η πραγματική προβλεπτική απόδοση και ο χρόνος εκτέλεσης. Σε αυτή τη διατριβή, παρουσιάζουμε μια μεθοδολογία πολλαπλών επιπέδων για την επαρκή αξιολόγηση αυτών των πολύπλοκων συστημάτων. Ξεκινάμε εξετάζοντας τις υπηρεσίες AutoML για τη δημιουργία μοντέλων ΜΜ από την οπτική γωνία ενός χρήστη, μη εξετάζοντας την προγνωστική απόδοση. Παρουσιάζουμε μια μεγάλη γκάμα κριτηρίων για την αξιολόγηση και σύγκριση αυτών των υπηρεσιών απο την πλευρά του χρήστη. Η σύγκριση δείχνει τα πλεονεκτήματα και τις αδυναμίες κάθε υπηρεσίας, τις ανάγκες που καλύπτει, τη μερίδα χρηστών που είναι καταλληλότερο και τις δυνατότητες βελτίωσης. Για να αξιολογήσουμε περαιτέρω την εμπειρία του χρήστη, δημιουργούμε και διεξάγουμε μια μελέτη, εστιάζοντας στη χρηστικότητα των συστημάτων AutoML. Σε αυτήν τη μελέτη, οι χρήστες καλούνται να πραγματοποιήσουν μια ανάλυση ML χρησιμοποιώντας 3 συστήματα και να βαθμολογήσουν την ευκολία χρήσης τους. Οι απαντήσεις τους μπορούν να παρέχουν πληροφορίες στις ομάδες ανάπτυξης των συστημάτων AutoML σχετικά με τα σημεία συμφόρησης του UX και τις λανθασμένες αποφάσεις σχεδιασμού. Συνεχίζοντας, παρουσιάζουμε τη δική μας μεθοδολογία ποσοτικής αξιολόγησης, θέτοντας κανόνες για την επιλογή υποψηφίων συστημάτων AutoML, δεδομένων που θα αναλυθούν και μετρήσεων απόδοσης. Για τα ποσοτικά μας κριτήρια, δίνουμε έμφαση στην ακρίβεια της εκτίμησης της προγνωστικής απόδοσης, καθώς και στην πραγματική απόδοσή τους. Επιπλέον, πραγματοποιούμε μια ανάλυση με βάση πληροφορίες για τη δομή των δεδομένων μας και αξιολογούμε πώς τα διαφορετικά χαρακτηριστικά δεδομένων συσχετίζονται με το αποτέλεσμα. Τα αποτελέσματα δείχνουν ότι τα περισσότερα συστήματα υπερεκτιμούν την απόδοση του παραχθέντος προβλεπτικού μοντέλου, ενώ δεν υπάρχουν σημαντικές διαφορές μεταξύ τους όσον αφορά την κατάταξή με βάση τις επιδόσεις τους. Και στις δύο περιπτώσεις, τα αποτελέσματα έχουν στατιστικά σημαντικούς συσχετισμούς με τα επιλεγμένα χαρακτηριστικά των δεδομένων μας.

Φυσική περιγραφή

vi, 71 σ. : σχεδ., πιν., εικ. ; 30 εκ.

Γλώσσα

Αγγλικά

Θέμα

AutoML

Data analysis

H2O

Model

Ανάλυση δεδομένων

Επιλογή μεταβλητών

Προβλεπτικά μοντέλα