| Περίληψη |
Τα συστήματα συνεχόμενης ροής και επεξεργασίας ηλεκτρονικής πληροφορίας προσέφεραν στο παρελθόν περιορισμένη υποστήριξη για μόνιμη αποθήκευση των δεδομένων που παράγουν για τρεις βασικούς λόγους. πρώτον, η επεξεργασία γίνεται κυρίως πάνω στα τρέχοντα δεδομένα και υπό την υπόθεση οτι δεν θα υπάρξουν αποτυχίες λειτουργίας στο σύστημα, δεν χρειάζεται πρόσβαση σε δεδομένα που δημιουργήθηκαν στο παρελθόν. Δεύτερον, οι περισσότερες λύσεις που υπάρχουν σήμερα για την αντιμετώπιση λαθών ή για την πρόληψη αποτυχιών στην λειτουργία τέτοιων συστημάτων, βασίζονται κυρίως στην διαθέσιμη μνήμη για την προσωρινή αποθήκευση των δεδομένων. Πιο αναλυτικά η πληροφορία που έχει ήδη επεξεργαστεί, αποθηκεύεται στη μνήμη όμοιων κόμβων, ειδικά προσαρμοσμένων να αναλάβουν λειτουργία σε περίπτωση αποτυχίας των αρχικών μονάδων που συμμετέχουν στο δίκτυο επεξεργασίας. Τέλος, οι συσκευές αποθήκευσης (όπως για παράδειγμα σκληροί δίσκοι) θεωρούνται ότι περιορίζουν την απόδοση του συστήματος αλλά και τον χρόνο απόκρισης σε σχέση με την απόδοση της κύριας μνήμης, και έτσι δεν χρησιμοποιήθηκαν εκτενώς στο παρελθόν.
Σε αυτήν την εργασία παρέχουμε στα συστήματα αυτά τη δυνατότητα μόνιμης αποθήκευσης με τη χρήση ενός κλιμακώσιμου κατανενημένου μέσου αποθήκευσης. Το μονοπάτι αποθήκευσης που αναπτύξαμε επιτρέπει δύο βασικές βελτιώσεις στις δυνατότητες αυτών των συστημάτων.
Αρχικά επιτρέπει μόνιμη αποθήκευση των δεδομένων που παράγονται για να μπορεί να επιτευχθεί αργότερα αναφορά σε αυτά. Με άλλα λόγια, επερωτήσεις, πάνω στα δεδομένα μπορούν τώρα να συνδυάσουν την τρέχουσα πληροφορία με το παρλεθόν οποτεδήποτε ζητηθεί. Επιπλέον, η ανοχή απέναντι σε λάθη επιτυγχάνεται χωρίς να περιορίζεται στο σύστημα από το μέγεθος της διαθέσιμης μνήμης, αποθηκεύοντας συγκεκριμένα κομμάτια της τρέχουσας πληροφορίας ως σημεία ελέγχου. Αργότερα και σε περίπτωση όπου συνέβη κάποιο λάθος, τα σημεία ελέγχου χρησιμοποιούνται σαν αρχικό σημείο από το οποίο και ύστερα πρέπει να ξαναεπεξεργαστεί το σύστημα τα δεδομένα τα οποία χάθηκαν λόγο αποτυχίας. Για το σκοπό αυτό αναπτύσουμε ένα νέο μηχανισμό που ονομάζεται continuous eventual checkpoints - CEC, ο οποίος παρέχει στο συστημα ανοχή σε λάθη λειτουργιας χωρίς να χρειαστεί να καθυστερήσει ή να παγώσει την τρέχουσα επεξεργασία δεδομένων για τη δημιουργία των σημείων ελέγχου. Αυτο επιτυγχάνεται χωρίζοντας την τρέχουσα επεξεργασμένη πληροφορία σε κομμάτια και προγραμματίζοντας την αποθήκευση των επιμέρους κομματιών σε συγκεκριμένες και ανεξάρτητες χρονικές στιγμές.
Τα αποτελέσματα μας δείχνουν πως ένα τέτοιο σύστημα μπορεί να επιτύχει κλιμακώσιμη αποθήκευση των δεδομένων πάνς από ένα κατάλληλα προσαρμοσμένο μέσο αποθήκευσης. Επίσης επιτυγχάνεται προστασία από αποτυχίες λειτουργίας με μικρό κόστος αφιερώνοντας ένα προσαρμίσιμο χρονικό διάστημα για την παραγωγή και αποθήκευση των σημείων ελέγχου. Η διάρκεια αυτού του διαστήματος καθορίζει το κόστος ανάμεσα στην απόδοση του συστήματος σε κανονική λειτουργία και στο χρόνο που θα απαιτηθεί για την ανάκαμψη του μετά από μια ενδεχόμενη αποτυχία.
|
Scalable storage support and fault-tolerance for data stream processing systems
