|
Κωδικός Πόρου |
000408044 |
Τίτλος |
Execution of Recursive Queries in Apache Spark |
Άλλος τίτλος |
Εκτέλεση αναδρομικών ερωτημάτων στο Apache Spark |
Συγγραφέας
|
Κατσογριδάκης, Παύλος Σ.
|
Επιλέξτε τιμή
|
Μπίλας, Άγγελος
|
Μέλος κριτικής επιτροπής
|
Πρατικάκης, Πολύβιος
Φατούρου, Παναγιώτα
|
Περίληψη |
Τα περιβάλλοντα
MapReduce
επιτρέπουν την επεξεργασία τεράστιου
όγκου δεδομένων
με το να περιορίζουν το προγραμματιστικό μοντέλο σε τελεστές
map
και
reduce. Αυτό το
επίπεδο αφαίρεσης απλοποιεί πολλά δύσκολα
προβλήματα που προκύπτουν στα
κατανεμημένα συστήματα, όπως το συγχρονισμό
και την ανοχή σε σφάλματα, και τα
κρύβουν από
τον προγραμματιστή.
Παρ' όλα αυτά, υπάρχουν αλγόριθμοι οι οποίοι δεν
μπορούν να εκφραστούν
εύκολα σε
MapReduce, όπως οι αναδρομικοί αλγόριθμοι.
Στην εργασία αυτή επεκτείναμε το
Apache
Spark
(ένα σύστημα χρόνου εκτέλεσης
MapReduce),
ώστε να υποστηρίζει αναδρομικούς αλγορίθμους.
Οι αναδρομικοί
αλγόριθμοι
MapReduce
δημιουργούν μεγάλο αριθμό εργασιών,
οι οποίες δυσκολεύουν
το πρόβλημα της χρονοδρομολόγησης.
Γι αυτό εισάγουμε ένα νέο παράλληλο και πιο
ελαφρύ αλγόριθμο χρονοδρομολόγησης.
Ο αλγόριθμος αυτός
είναι κατάλληλος για
χρονοδρομολόγηση ενός μεγάλου
αριθμού από
εργασίες οι οποίες παίρνουν πολύ λίγο
χρόνο. Υλοποιήσαμε
τον παραπάνω αλγόριθμο και βρήκαμε ότι απλοποιεί την έκφραση
αναδρομικών
ερωτημάτων, και παράλληλα μπορεί να πετύχει μέχρι 2,5 φορές καλύτερο
χρόνο από
τον ήδη υπάρχων αλγόριθμο του
Spark
σε κάποια είδη εργασιών.
|
Φυσική περιγραφή |
vi, 39 σ. : σχεδ., πιν., εικ. (μερ. έγχ.) ; 30 εκ. |
Γλώσσα |
Αγγλικά |
Ημερομηνία έκδοσης |
2017-03-17 |
Συλλογή
|
Σχολή/Τμήμα--Σχολή Θετικών και Τεχνολογικών Επιστημών--Τμήμα Επιστήμης Υπολογιστών--Μεταπτυχιακές εργασίες ειδίκευσης
|
|
Τύπος Εργασίας--Μεταπτυχιακές εργασίες ειδίκευσης
|
Εμφανίσεις |
617 |