E-Locus - Ιδρυματικό Καταθετήριο Πανεπιστημίου Κρήτης

Αρχική Συλλογές Τύπος Εργασίας Διδακτορικές διατριβές

Διδακτορικές διατριβές

Εντολή Αναζήτησης : Συγγραφέας="Λιγκοβανλής" Και Συγγραφέας="Στέφανος"

Τρέχουσα Εγγραφή: 7 από 2427

[Προσθήκη στο καλάθι]

Κωδικός Πόρου

000462988

Τίτλος

Human action prediction and forecasting based on visual data

Άλλος τίτλος

Πρόβλεψη και πρόγνωση ανθρώπινων δραστηριοτήτων με βάση οπτική πληροφορία

Συγγραφέας

Μανουσάκη, Βικτωρία Ε

Σύμβουλος διατριβής

Αργυρός, Αντώνης

Μέλος κριτικής επιτροπής

Κοσμόπουλος, Δημήτριος
Ρούσσος, Αναστάσιος
Πλεξουσάκης, Δημήτριος
Τραχανιάς, Παναγιώτης
Στεφανίδης, Κωνσταντίνος
Παναγιωτάκης, Κώστας

Περίληψη

Η ικανότητα παρατήρησης των ανθρώπινων κινήσεων και η πρόβλεψη των δράσεων τους είναι μια αναπτυξιακή δεξιότητα που αποκτάται από τον άνθρωπο στα πρώιμα στάδια της ζωή του. Όταν βλέπουμε ένα άτομο να εκτελεί μια εργασία, μπορούμε εύκολα να προβλέψουμε τις επόμενες ενέργειές του με βάση την παρατήρηση του περιβάλλοντος και τις εμπειρίες του παρελθόντος. Σε αυτή την εργασία, στοχεύουμε στην ανάπτυξη τέτοιων δεξιοτήτων για μηχανές, εστιάζοντας στη πρόβλεψη και πρόγνωση δράσεων και στη πρόβλεψη του επόμενου ενεργού αντικειμένου. Η πρόβλεψη δράσης ορίζεται ως η αναγνώριση της ετικέτας μιας δράσης ενώ η ενέργεια είναι ακόμη σε εξέλιξη. Μια τέτοια ικανότητα είναι χρήσιμη για έγκαιρη απόκριση και περαιτέρω σχεδιασμό δράσης. Εξετάζουμε το πρόβλημα της πρόβλεψης δράσης σε σενάρια που περιλαμβάνουν ανθρώπους που αλληλεπιδρούν με αντικείμενα. Δημιουργήσαμε μια προσέγγιση που δημιουργεί αναπαραστάσεις χρονοσειρών για τη κίνηση των ανθρώπων και των αντικειμένων. Μια τέτοια αναπαράσταση μιας εν-εξελίξει δράσης συγκρίνεται στη συνέχεια με πρωτότυπες δράσεις. Αυτό επιτυγχάνεται με ένα πλαίσιο ευθυγράμμισης χρονολογικών σειρών που βασίζεται στον αλγόριθμο Dynamic Time Warping (DTW), το οποίο προσδιορίζει την καλύτερη αντιστοίχιση μεταξύ της ενεξελίξει δράσης και των πρωτότυπων δράσεων. Προβλέπουμε ενέργειες σε περικομμένες και μη περικομμένες ακολουθίες ενεργειών με τη χρήση του αλγόριθμου DTW. Στο ίδιο πλαίσιο, για την πρόβλεψη των ενεργειών προτείνουμε δύο νέους αλγόριθμους ευθυγράμμισης που ονομάζονται OBE-S-DTW και OE-S-DTW που δείχνουν βελτιωμένα αποτελέσματα στο έργο της πρόβλεψης ενεργειών σε σύγκριση με το DTW. Στη συνέχεια, προτείνουμε μια μεθοδολογία βασισμένη σε γραφήματα για την οπτική πρόβλεψη των αλληλεπιδράσεων ανθρώπου-αντικειμένου σε βίντεο. Αντί να προβλέψουμε την κίνηση του ανθρώπου και του αντικειμένου, στοχεύουμε στην πρόβλεψη (α) της κλάσης της προς πρόβλεψη αλληλεπίδρασης ανθρώπου-αντικειμένου και (β) των κλάσεων των επόμενων ενεργών αντικειμένων (NAOs), δηλ. τα αντικείμενα που προβλέπεται να εμπλακούν στην αλληλεπίδραση στο εγγύς μέλλον καθώς και τη χρονική στιγμή που θα συμβεί αυτό. Τέλος, αντιμετωπίζουμε το πρόβλημα της πρόγνωσης μιας δράσης λαμβάνοντας υπόψη το ιστορικό όλων των ενεργειών που εκτελέστηκαν σε μακρές ακολουθίες δραστηριοτήτων. Προτείνουμε μια νέα προσέγγιση που ονομάζεται ως οπτικο-λεξιλογική μοντελοποίηση του ιστορικού των δράσεων (VLMAH) που συνδυάζει το άμεσο παρελθόν με τη μορφή οπτικών χαρακτηριστικών καθώς και το μακρινό παρελθόν με βάση μια οικονομικά αποδοτική μορφή γλωσσικών χαρακτηριστικών (σημασιολογικές ετικέτες των ουσιαστικών, ρημάτων ή δράσεων). Η προσέγγισή μας δημιουργεί ακριβείς προβλέψεις για τις δράσεις που θα γίνουν στο κοντινό μέλλον κατά τη διάρκεια δραστηριοτήτων αξιοποιώντας πληροφορίες από το απώτερο αλλά και το εγγύτερο παρελθόν. Οι προτεινόμενες μέθοδοι αποτελούν λύσεις για τα προβλήματα της πρόβλεψης και πρόγνωσης δράσεων και πρόβλεψης του επόμενου ενεργού αντικειμένου. Οι προαναφερθείσες μεθοδολογίες έχουν αξιολογηθεί σε ανταγωνιστικά σύνολα δεδομένων και δίνουν καλύτερα αποτελέσματα σε σχέση με τις υφιστάμενες κορυφαίες μεθόδους που εμφανίζονται στη βιβλιογραφία.

Φυσική περιγραφή

xi, 115 σ. : πίν., σχήμ., εικ. (μερ. εγχρ.) ; 30 εκ.

Γλώσσα

Αγγλικά

Θέμα

Action forecasting

Activity forecasting

Deep neural networks

Graphs

Next-active-object prediction

Temporal alignment

Γράφοι