| Περίληψη |
Η εργασία αυτή έχει ως σκοπό την ανάκτηση της 3Δ δομής και κίνησης ενός ανθρώπινου χεριού από ακολουθίες εικόνων που προέρχονται από μία κάμερα. Ένα 3Δ γεωμετρικό μοντέλο του χεριού δημιουργείται από κόλουρους κώνους, κυλίνδρους και ελλειψοειδή. Η 2Δ προβολή του μοντέλου παράγεται με αποδοτικό τρόπο, χρησιμοποιώντας εργαλεία από την προβολική γεωμετρία. Η παρακολούθηση του χεριού διατυπώνεται σαν ένα πρόβλημα εκτίμησης καταστάσεων. Οι παράμετροι του 3Δ μοντέλου του χεριού ορίζουν την εσωτερική κατάσταση, η οποία εκτιμάται από χαρακτηριστικά εικόνων που αποτελούνται από χάρτες ακμών και ανιχνευμένο χρώμα δέρματος.
Σε σχέση με το πρόβλημα της εκτίμησης καταστάσεων ερευνήθηκαν δύο προσεγγίσεις. Στην πρώτη προσέγγιση, ακολουθείται η μεθοδολογία του Stenger [53] και χρησιμοποιείται ένα Unscented Kalman φίλτρο (UKF), που ενημερώνει τις παραμέτρους του μοντέλου με βάση την τοπική φωτεινότητα της εικόνας αλλά και τις ακμές που αντιστοιχούν στο χρώμα του δέρματος. Ο αλγόριθμος που προκύπτει είναι σε θέση να παρακολουθεί ομαλή κίνηση ενός χεριού. Ωστόσο, απαιτείται εκ των προτέρων αρχικοποίηση των παραμέτρων του μοντέλου για την πρώτη εικόνα και δεν υπάρχει δυνατότητα εφαρμογής κάποιας εύρωστης στρατηγικής ανάκτησης της τροχιάς σε περίπτωση που αυτή χαθεί. Η δεύτερη προσέγγιση συνδυάζει ιδέες από τα γραφικά μοντέλα (graphical models) και τα φίλτρα σωματιδίων (particle filters) για την παρακολούθηση βασισμένη στον αλγόριθμο μη παραμετρικής διάδοσης πεποιθήσεων (Nonparametric Belief Propagation, NBP) [59]. Χρησιμοποιώντας μεθόδους Monte Carlo, εφαρμόζεται μια γενική μεθοδολογία προκειμένου να ενημερωθούν αναδρομικά, προσεγγίσεις συνεχών συναρτήσεων πυκνότητας πιθανότητας βασισμένες σε φίλτρα σωματιδίων (particle-based filters). Ένα γραφικό μοντέλο (graphical model) περιγράφει την 3Δ δομή, την κινηματική και την δυναμική του χεριού. Ο εν λόγω γράφος κωδικοποιεί την γενική διάταξη του χεριού μέσω της 3Δ θέσης και του προσανατολισμού των άκαμπτων τμημάτων του μοντέλου, και ως εκ τούτου εκφράζει την τοπική δομή σε ένα αρθρωτό μοντέλο πολλών μεταβλητών. Επίσης, ο NBP επεκτείνεται με τη χρήση του αλγόριθμου mean shift [21] για την επιτάχυνση της επίδοσης της διαδικασίας παρακολούθησης. Η εφαρμογή του αλγορίθμου NBP επιτρέπει την ανάκτηση της διάταξης του χεριού με εύρωστο τρόπο, παρά την παρουσία θορύβου και τοπικών οπτικών αμφισημιών.
Οι δύο προσεγγίσεις παρακολούθησης που αναπτύχθηκαν, εφαρμόστηκαν σε ακολουθίες εικόνων οι οποίες απεικονίζουν στερεή κίνηση ενός χεριού, δεικτικές χειρονομίες (pointing gestures) και χέρια που λαμβάνουν μέρος σε δραστηριότητες λάβης κάποιου αντικειμένου.
|
Vision based tracking of a 3D model of a human hand
