ColorSense – Εφαρμογή Αναγνώρισης Χρωμάτων
Η αχρωματοψία είναι η διαταραχή της αντίληψης των χρωμάτων, μπορεί να είναι πλήρης, όταν επηρεάζονται όλα τα χρώματα, ή μερική όταν επηρεάζονται ορισμένα χρώματα. Είναι μια πάθηση που δεν εξελίσσεται και δεν διορθώνεται, αλλά με την βοήθεια της τεχνολογίας θα μπορούσε να βελτιωθεί η καθημερινή ζωή όσων ταλαιπωρούνται από αυτήν. Μ’ αυτή την σκέψη ξεκινήσαμε την εφαρμογή μας με την ονομασία ColorSense, η οποία είναι μια “έξυπνη” εφαρμογή που αναγνωρίζει χρώματα μέσα από εικόνες.
Στην προσπάθεια μας ψάξαμε πληροφορίες στο διαδίκτυο για την αχρωματοψία και μιλήσαμε με τον ιδιώτη χειρουργό οφθαλμίατρο, πρώην Διευθυντή της οφθαλμολογικής κλινικής του νοσοκομείου Κομοτηνής. Η συζήτησή μαζί του μας βοήθησε να κατανοήσουμε ακόμη περισσότερο το θέμα με το οποίο επιλέξαμε να ασχοληθούμε. Μάθαμε ότι η αντίληψη των χρωμάτων είναι μια πολύπλοκη διαδικασία στην οποία συμμετέχει το ανθρώπινο μάτι, ο εγκέφαλος και το φως και ότι όσοι έχουν πρόβλημα αχρωματοψίας έχουν επί μέρους ή πλήρη έλλειψη σε μια ή σε παραπάνω από μια χρωστικές ουσίες και έτσι ανάλογα ποικίλει και ο βαθμός της. Επίσης μας έκανε εντύπωση ότι περίπου ένας στους 20 ανθρώπους πάσχει από κάποια μορφή ανεπάρκειας χρωματικής όρασης (CVD), όπως ονομάζεται επίσημα η αχρωματοψία.
Στο χρόνο που εργαστήκαμε, ασχοληθήκαμε αρχικά με την δημιουργία του μοντέλου μηχανικής μάθησης μέσω της πλατφόρμας του Machine Learning For Kids, το οποίο είναι ένα διαδικτυακό εργαλείο, που σχεδιάστηκε για να εισάγει παιδιά και εφήβους στον κόσμο της μηχανικής μάθησης. Συγκεκριμένα, εκπαιδεύσαμε ένα μοντέλο Machine Learning για την αναγνώριση 8 διαφορετικών χρωμάτων, κόκκινο, πράσινο, μπλε, κίτρινο, πορτοκαλί, καφέ, ροζ και μωβ. Για την εκπαίδευσή του καταχωρίσαμε από 10-14 διαφορετικές αποχρώσεις για κάθε χρώμα, κάναμε δοκιμές και στο τέλος εξάγαμε το αρχείο ml4k.aix το οποίο χρησιμοποιήθηκε ως επέκταση στο ΜΙΤ AppInventor για την δημιουργία της εφαρμογής.
Στο σχεδιασμό της εφαρμογής χρησιμοποιήθηκαν component όπως Label, Buttons, Canvas, Horizontal Arrangement, Clock, Camera, TextToSpeech και φυσικά το ML4Component από το Machine Learning for Kids. Τα Blocks συναρμολογήθηκαν κατάλληλα ώστε η εφαρμογή να μπορεί να αναλύσει τη φωτογραφία που θα «τραβήξει» η κάμερα της συσκευής και να αναγνωρίσει το χρώμα σύμφωνα με το μοντέλο μηχανικής εκμάθησης που δημιουργήσαμε.
Η διεπαφή της εφαρμογής είναι απλή προς στη χρήση, αποτελούμενη από ένα βασικό κουμπί για την λήψη φωτογραφίας, ένα καμβά που φιλοξενεί την φωτογραφία, 8 ετικέτες για τα 8 διαφορετικά χρώματα που αναγνωρίζονται και μία ετικέτα για να εμφανίζει το ποσοστό εμπιστοσύνης.
Η λειτουργία της εφαρμογής είναι η ακόλουθη:
- Όταν ο χρήστης επιλέξει το κουμπί “Take a photo” ενεργοποιείται η κάμερα της συσκευής και γίνεται λήψη εικόνας.
- Η εικόνα εμφανίζεται στον καμβά της οθόνης της συσκευής και
- το μοντέλο “αποφασίζει” σε ποιο χρώμα ταιριάζει περισσότερο η εικόνα λήψης
- αμέσως εκφωνείται το χρώμα, εμφανίζεται το ποσοστό εμπιστοσύνης και χρωματίζεται η ετικέτα με το χρώμα που αναγνωρίστηκε, ενώ οι υπόλοιπες παίρνουν χρώμα γκρι.
Μετά από τις δοκιμές μας παρατηρήσαμε ότι η ακρίβεια της εφαρμογής μας εξαρτάται από την πληθώρα των διαφορετικών αποχρώσεων του κάθε χρώματος του μοντέλου μηχανικής μάθησης, αλλά και από την ποιότητα της κάμερας που διαθέτει η συσκευή.
Μια εφαρμογή για smartphone ή tablet που αναγνωρίζει χρώματα μέσα από εικόνες μπορεί να έχει σημαντικό κοινωνικό αντίκτυπο, ιδίως για άτομα με αχρωματοψία, στα οποία η αναγνώριση χρωμάτων μπορεί να είναι δύσκολη ή αδύνατη κάποιες φορές. Έτσι πιστεύουμε ότι η εφαρμογή μας θα μπορούσε να τους βοηθήσει να αντιμετωπίσουν καθημερινές καταστάσεις όπου η αναγνώριση χρωμάτων είναι σημαντική, όπως ο χειρισμός κάποιων μηχανημάτων με χρήση έγχρωμων κουμπιών ή η επιλογή χρώματος αντικειμένων, χαπιών, κλπ και γενικότερα να τους βοηθήσει να έχουν καλύτερη εικόνα του γύρω κόσμου τους.
Η ομάδα μας αποτελείται από τους
Δελίδου Θωμαή, Α΄ τάξη (2ο ΓΕΛ Κομοτηνής)
Σκαμνού Βασιλική, Α΄ τάξη (3ο Πειραματικό ΓΕΛ Κομοτηνής)
Τζαμπάζογλου Αμυγδαλία, Α΄ τάξη (3ο Πειραματικό ΓΕΛ Κομοτηνής)
Στην προσπάθεια αυτή μας στήριξε η καθηγήτρια του Ομίλου Ρομποτικής & Προγραμματισμού κα. Βερρή Ανδρονίκη, πληροφορικός