E-Locus - Ιδρυματικό Καταθετήριο Πανεπιστημίου Κρήτης - Exploring real-time data analytics using distributed stream processing systems

Αρχική Exploring real-time data analytics using distributed stream processing systems

Αποτελέσματα - Λεπτομέρειες

[Προσθήκη στο καλάθι]

Κωδικός Πόρου

000438731

Τίτλος

Exploring real-time data analytics using distributed stream processing systems

Άλλος τίτλος

Διερεύνηση τεχνικών ανάλυσης δεδομένων σε πραγματικό χρόνο με χρήση κατανεμημένων συστημάτων επεξεργασίας ροών

Συγγραφέας

Μποφίλη Αρβανίτη, Ιωάννα Μαρία

Σύμβουλος διατριβής

Μαγκούτης, Κωνσταντίνος

Μέλος κριτικής επιτροπής

Πλεξουσάκης, Δημήτρης
Πρατικάκης, Πολύβιος

Περίληψη

Η κλιμακώσιμη επεξεργασία ροών δεδομένων είναι πολύ σημαντική τεχνολογία στους τομείς των υπηρεσιών του Διαδικτύου των Πραγμάτων (IoT), της κοινωνικής δικτύωσης, και άλλων τομέων των ηλεκτρονικών υπηρεσιών, έχοντας πρόσφατα οδηγήσει την ανάπτυξη μιας νέας γενιάς τέτοιων συστημάτων. Σε αυτή την εργασία εφαρμόζουμε μοντέρνες τεχνολογίες επεξεργασίας ροών προκειμένου να βελτιώσουμε την τεχνολογική στάθμιση σε δύο εφαρμογές που βασίζονται στον εντοπισμό στο φυσικό χώρο σε πραγματικό χρόνο: την δημιουργία του προφίλ κίνησης των επισκεπτών σε εκθεσιακούς χώρους και την πρόβλεψη παραβίασης συμφωνιών επιπέδου υπηρεσίας στον τομέα των μέσων μαζικής μεταφοράς. Προκειμένου να εξασφαλίσουμε πως τα κλιμακώσιμα συστήματα επεξεργασίας ροών μπορούν να προσαρμοστούν σε αλλαγές του φόρτου με αυτόματη προσαρμογή των πόρων τους, σε αυτή την εργασία υλοποιούμε ένα μηχανισμό με τον οποίο τα συστήματα επεξεργασίας ροών μπορούν να κλιμακωθούν δυναμικά ακόμα κι όταν αυτή η δυνατότητα δεν υποστηρίζεται από τα ίδια τα συστήματα και την υποκείμενη πλατφόρμα διαχείρισης πόρων. Η πρώτη εφαρμογή των τεχνολογιών επεξεργασίας ροών δεδομένων σε συστήματα ανάλυσης δεδομένων σε πραγματικό χρόνο είναι στην ανάπτυξη δυναμικών προφίλ της συμπεριφοράς των επισκεπτών εκθεσιακών χώρων με βάση την κίνηση τους στο φυσικό χώρο. Η παρούσα εργασία εφαρμόζει τεχνολογίες ροών δεδομένων για την υποστήριξη θεωριών συμπεριφοράς από τις κοινωνικές επιστήμες και για την συλλογή πληροφορίας για πιθανά ενδιαφέροντα των χρηστών. Τέτοια προφίλ μπορούν να χρησιμοποιηθούν για την παραγωγή προτάσεων για τους επισκέπτες σχετικά με το ποια εκθέματα να επισκεφτούν, ποιο είναι το περιεχόμενο που θα ενδιέφερε περισσότερο το χρήστη ή για τη σχεδίαση προσωποποιημένων ερωτηματολογίων. Η δεύτερη εφαρμογή των τεχνολογιών επεξεργασίας ροών σε συστήματα ανάλυσης δεδομένων σε πραγματικό χρόνο είναι στην εκπαίδευση κατάλληλων μοντέλων για την πρόβλεψη οχημάτων που είναι πιθανό να παραβιάσουν τους στόχους που ορίζει η συμφωνία επιπέδου υπηρεσίας τους κατά τη διάρκεια δρομολογίου τους. Σε αυτή την εργασία επεκτείνουμε υπάρχουσες τεχνικές πρόβλεψης καθυστέρησης με τη δυνατότητα να εφαρμοστούν προβλέψεις σε πραγματικό χρόνο. Σε αυτή την εργασία εξετάζουμε τις κατάλληλες ρυθμίσεις συστήματος για την επίτευξη κλιμακώσιμης και προσαρμόσιμης ανάλυσης δεδομένων ελέγχοντας την επίδραση διαφόρων παραμέτρων στο συνολικό σύστημα επεξεργασίας ροών δεδομένων. Ακόμα και σε περιπτώσεις που η δυναμική κλιμακωσιμότητα δεν υποστηρίζεται από την πλατφόρμα επεξεργασίας ροών, παρουσιάζουμε μια τεχνική που μπορεί να επιτύχει οριζόντια κλιμακωσιμότητα με μικρό χρόνο μη διαθεσιμότητας κατά την προσαρμογή.

Φυσική περιγραφή

vi, 74 σ. : σχεδ., πιν., εικ. (μερ.εγχρ.) ; 30 εκ.

Γλώσσα

Αγγλικά

Θέμα

Big data

Data analysis

Spark structured streaming

Streaming data

Δεδομένα μεγάλου όγκου

Ροές δεδομένων

Ημερομηνία έκδοσης