Μηχανικοί του UCLA σχεδίασαν ένα οικονομικό, εύκαμπτο και ανθεκτικό γάντι που είναι σε θέση να μεταφράζει την αμερικανική νοηματική γλώσσα σε ομιλία στα αγγλικά σε πραγματικό χρόνο, μέσω μιας εφαρμογής για smartphone. Η σχετική έρευνα δημοσιεύτηκε στο Nature Electronics.
«Ελπίδα μας είναι πως αυτό θα ανοίξει ένα εύκολο τρόπο για να επικοινωνούν αυτοί που χρησιμοποιούν νοηματική απευθείας με αυτούς που δεν ξέρουν τη νοηματική χωρίς να χρειάζεται κάποιος να μεταφράσει» είπε ο Τζουν Τσεν, επίκουρος καθηγητής βιο-μηχανολογίας στο UCLA Samueli School of Engineering και επικεφαλής ερευνητής. «Επιπρόσθετα, ελπίζουμε πως μπορεί να βοηθήσει περισσότερους ανθρώπους να μάθουν οι ίδιοι τη νοηματική».
Το σύστημα περιλαμβάνει ένα ζεύγος γαντιών με λεπτούς, εύκαμπτους αισθητήρες κατά μήκος των δακτύλων. Οι αισθητήρες αυτοί, φτιαγμένοι από ηλεκτρικά αγώγιμα νήματα, πιάνουν τις κινήσεις των χεριών και των δακτύλων που αντιστοιχούν σε μεμονωμένα γράμματα, αριθμούς, λέξεις και φράσεις.
Η συσκευή μετά μετατρέπει τις κινήσεις σε ηλεκτρικά σήματα, που αποστέλλονται σε ένα κύκλωμα μεγέθους κέρματος, που φοριέται στον καρπό. Ο πίνακας αυτός μεταδίδει στη συνέχεια τα σήματα αυτά ασύρματα σε ένα smartphone, που με τη σειρά του τα κάνει λέξεις, με ταχύτητα περίπου μιας λέξης το δευτερόλεπτο. Οι ερευνητές επίσης κόλλησαν αισθητήρες στα πρόσωπα αυτών που το δοκίμασαν, ανάμεσα στα φρύδια και στη μια πλευρά του στόματος, για να πιάνουν τις εκφράσεις του προσώπου που αποτελούν μέρος της αμερικανικής νοηματικής.
Προηγούμενα wearable συστήματα που παρείχαν υπηρεσίες μετάφρασης περιορίζονταν από τους ογκώδεις και βαριούς σχεδιασμούς τους, ή ήταν άβολα στο να τα φορά κανείς, είπε ο Τσεν. Η συσκευή του UCLA αποτελείται από ελαφρά και φθηνά, μα μακράς διαρκείας και εύκαμπτα πολυμερή. Οι ηλεκτρονικοί αισθητήρες επίσης είναι πολύ εύκαμπτοι και φθηνοί.
Κατά τις δοκιμές οι ερευνητές δούλεψαν με τέσσερις κωφάλαλους που χρησιμοποιούν την αμερικανική νοηματική. Οι χρήστες επανέλαβαν κάθε χειρονομία 15 φορές. Ένας ειδικός αλγόριθμος machine learning μετέτρεψε αυτές τις χειρονομίες σε γράμματα, αριθμούς και λέξεις. Το σύστημα αναγνώρισε 660 σήματα, μεταξύ των οποίων κάθε γράμμα του αλφαβήτου και οι αριθμοί 0-9.
