Επιστήμονες ανέπτυξαν ενα πρόγραμμα υπολογιστή που μπορεί να κερδίζει μια σειρά παιχνιδιών πλατφόρμας/ εξερεύνησης της δεκαετίας του 1980, ανοίγοντας έτσι των δρόμο για πιο αυτόνομα ρομπότ.
Όπως γράφει το BBC, οι ερευνητές δημιούργησαν μια «οικογένεια» αλγορίθμων ικανών να κερδίζουν κλασικά παιχνίδια στο Atari, όπως το Pitfall. Στο παρελθόν αυτά τα παιχνίδια ήταν δύσκολο να κερδηθούν μέσω τεχνητής νοημοσύνης (ΑΙ).
Οι αλγόριθμοι αυτοί θα μπορούσαν να βοηθήσουν ρομπότ να πλοηγούνται καλύτερα σε περιβάλλοντα πραγματικού κόσμου- κάτι που συνεχίζει να αποτελεί σημαντική πρόκληση στους τομείς της ρομποτικής και της τεχνητής νοημοσύνης. Τα επίμαχα περιβάλλοντα περιλαμβάνουν περιοχές που έχουν πληγεί από καταστροφές, όπου τα ρομπότ θα μπορούσαν να αποστέλλονται προς αναζήτηση επιζώντων, ή ακόμα και το μέσο σπίτι.
Η συγκεκριμένη έρευνα εντάσσεται στο ευρύτερο πλαίσιο της έρευνας τεχνητής νοημοσύνης που είναι γνωστή ως reinforcement learning. Κάποια από τα παιχνίδια που χρησιμοποιήθηκαν στην έρευνα θέλουν ο παίκτης να εξερευνά λαβυρίνθους που περιέχουν ανταμοιβές, εμπόδια και κινδύνους. Η οικογένεια των αλγορίθμων, που είναι γνωστή συλλογικά ως Go-Explore, έχει δώσει σημαντικές βελτιώσεις σε σχέση με προηγούμενες προσπάθειες για να κερδίζονται τέτοια παιχνίδια- όπως πχ τα Montezuma’s Revenge, Freeway και Pitfall.
Μεταξύ άλλων, οι ερευνητές ανέπτυξαν αλγορίθμους που μπορούσαν να δημιουργούν αρχεία περιοχών που είχαν ήδη επισκεφθεί. «Η μέθοδός μας είναι όντως πολύ απλή και άμεση, αν και αυτό ισχύει συχνά με τα επιστημονικά επιτεύγματα» δήλωσαν στο BBC οι ερευνητές Αντριέν Εκοφέτ, Τζουστ Χουϊζίνγκα και Τζεφ Κλουν. «Ο λόγος που η προσέγγισή μας δεν είχε εξεταστεί στο παρελθόν είναι πως διαφέρει πολύ από την κυρίαρχη προσέγγιση που παραδοσιακά εχρησιμοποιείτο για την αντιμετώπιση αυτών των προβλημάτων στην κοινότητα του reinforcement learning, το αποκαλούμενο “intrinsic motivation”. Σε αυτό, αντί να διαχωρίζεται η εξερεύνηση στην επιστροφή και τη διερεύνηση όπως κάνουμε εμείς, ο δρων απλά ανταμείβεται για την ανακάλυψη νέων περιοχών».
Ένα πρόβλημα με την προσέγγιση του intrinsic motivation είναι πως, ενώ αναζητείται λύση, ο αλγόριθμος μπορεί να «ξεχνά» τις πολλά υποσχόμενες περιοχές που πρέπει ακόμα να εξερευνώνται. Αυτό είναι γνωστό ως «detachment». Οι ερευνητές βρήκαν τρόπο να το προσπερνούν αυτό: Δημιουργώντας αρχεί με τις περιοχές που έχει επισκεφθεί, ο αλγόριθμος μπορεί να επιστρέψει σε ένα υποσχόμενο ενδιάμεσο στάδιο του παιχνιδιού, ως ένα σημείο από όπου μπορεί να εξερευνά περαιτέρω.
Ωστόσο υπήρχε και ένα άλλο πρόβλημα με τις προηγούμενες προσεγγίσεις σε αυτά τα παιχνίδια: «Βασίζονται σε τυχαίες ενέργειες που μπορεί να ληφθούν σε οποιοδήποτε σημείο στον χρόνο, μεταξύ των οποίων και ενώ ο δρων πηγαίνει ακόμα προς την περιοχή που πρέπει να εξερευνηθεί» είπαν στο BBC News οι επιστήμονες. «Αν έχεις ένα περιβάλλον όπου οι ενέργειές σου πρέπει να είναι ακριβείς, όπως ένα παιχνίδι με πολλούς κινδύνους που μπορούν να σε σκοτώσουν άμεσα, τέτοιες τυχαίες ενέργειες μπορούν να σε εμποδίσουν από το να φτάσεις στην περιοχή που θες στα αλήθεια να εξερευνήσεις» (ο τεχνικός όρος για αυτό είναι derailment, εκτροχιασμός).
Η νέα μέθοδος, που περιγράφεται στο Nature, επιλύει το πρόβλημα του εκτροχιασμού διαχωρίζοντας τη διαδικασία της επιστροφής σε προηγούμενες περιοχές από τη διαδικασία της εξερεύνησης νέων- και το επιλύει με διαφορετικούς τρόπους.
