Παράλληλος προγραμματισμός clusters με το μοντέλο mapreduce χρησιμοποιώντας το apache hadoop

Abstract

Κατά την ανάπτυξη και ολοκλήρωση της πτυχιακής μου εργασίας ερευνήθηκαν διάφορα θέματα που σχετίζονται με τον παράλληλο προγραμματισμό και πιο συγκεκριμένα με το Apache Hadoop και το MapReduce. Στα πλαίσια αυτής της εργασίας μελετήθηκαν, το μοντέλο MapReduce θεωρητικά, οι βασικές συναρτήσεις του που πρέπει να υλοποιηθούν από τον προγραμματιστή και ο τρόπος διαχωρισμού των δεδομένων και εξαγωγής των αποτελεσμάτων. Ειδικότερα μελετήθηκε το Hadoop, μία συγκεκριμένη, ανοιχτού κώδικα υλοποίηση του μοντέλου MapReduce η οποία είναι γραμμένη σε Java. Η εργασία αυτή επίσης παρέχει έναν πλήρη και καθόλα σαφή οδηγό για το πώς γίνεται η εγκατάσταση του Hadoop σε έναν υπολογιστή : ( pseudo- distributed,single- node cluster ), αλλά και τις απαραίτητες ρυθμίσεις που πρέπει να γίνουν σε αυτό ώστε να έχουμε ένα δίκτυο υπολογιστών που να λειτουργούν παράλληλα σαν μία συστάδα : (fully- distributed, multi-node cluster). Επίσης δίνονται οδηγίες για την παραμετροποίηση του Eclipse ώστε να μπορούμε να γράψουμε κώδικα σε Java, σύμφωνα με τους κανόνες του MapReduce, έχοντας παράλληλα και τη βοήθεια του compiler. Τέλος έγινε υλοποίηση ενός παράλληλου προγράμματος σε Java, για λόγους επίδειξης (demo), το οποίο επεξεργάζεται μεγάλο όγκο δεδομένων προερχόμενων από τον server του Α.Τ.Ε.Ι.Θ. και παράγει τα επιθυμητά αποτελέσματα.