Ξέρω τι βλέπεις: Τεχνητή νοημοσύνη ερμηνεύει τις αντανακλάσεις των ματιών (βίντεο)

 

Σύστημα που βασίζεται σε κάμερες υψηλής ανάλυσης και αλγορίθμους τεχνητής νοημοσύνης (ΑΙ) καταγράφει τις εικόνες που ανακλώνται στα μάτια των ανθρώπων και δημιουργεί τρισδιάστατες απεικονίσεις των αντικειμένων που κοιτάζουν.

Το εντυπωσιακό επίτευγμα του Πανεπιστημίου του Μέριλαντ περιγράφεται σε μελέτη που παρουσιάστηκε ως προδημοσίευση στο αποθετήριο arXiv με τίτλο «Βλέποντας τον κόσμο με τα μάτια σου».

Το σύστημα δημιούργησε 3D μοντέλα των παιχνιδιών που κοίταζαν οι εθελοντές (Hadi Alzayer et al)

Οι κάμερες του συστήματος αρχικά εστιάζουν στο κεφάλι και συλλέγουν πολλαπλές φωτογραφίες των ματιών. Οι εικόνες τροφοδοτούνται στη συνέχεια σε ένα σύστημα που έχει εκπαιδευτεί να απομακρύνει την εικόνα της ίριδας.

Ακόμα, το σύστημα υπολογίζει τη γωνία υπό την οποία τραβήχτηκε κάθε εικόνα εξετάζοντας την ημισφαιρική γεωμετρία του κερατοειδούς.

Οι επεξεργασμένες εικόνες αναλύονται στη συνέχεια από έναν δεύτερο αλγόριθμο που έχει εκπαιδευτεί να αναδημιουργεί τρισδιάστατα μοντέλα αντικειμένων από δισδιάστατες εικόνες που έχουν τραβηχτεί από διαφορετικές γωνίες.

Ο αλγόριθμος, με την ονομασία NeRF, «παραγάγει τρισδιάστατες αναπαραστάσεις με τέτοιο  βάθος και λεπτομέρεια ώστε σχεδόν δεν ξεχωρίζουν από βίντεο» λέει η ερευνητική ομάδα.

Σε μια από τις δοκιμές του συστήματος, εθελοντές τοποθετήθηκαν ανάμεσα σε φώτα και κλήθηκαν να περπατήσουν μπροστά στην κάμερα για τη λήψη πολλαπλών εικόνων.

Σε ένα άλλο τεστ, η τεχνική εφαρμόστηκε σε βιντεοκλίπ της Μάιλι Σάιρους και της Lady Gaga σε μια προσπάθεια να προσδιοριστεί τι έβλεπαν οι δύο τραγουδίστριες στη διάρκεια των γυρισμάτων.

Η Μάιλι Σάιρους φαίνεται πως κοιτάει έναν προβολέα με LED καθώς ρίχνει ένα δάκρυ μπροστά στην κάμερα, ενώ η Lady Gaga έχει μπροστά της κάτι που μοιάζει με κάμερα τοποθετημένη σε τρίποδο.

Οι χαμηλές επιδόσεις της μεθόδου σε αυτή την περίπτωση οφείλεται στο γεγονός ότι τα αντικείμενα πίσω από τις κάμερες με τις οποίες γυρίστηκαν τα βιντεοκλίπ δεν είναι καλά φωτισμένα.

Καλύτερα, λένε οι ερευνητές, θα ήταν τα αποτελέσματα σε σέλφι ή εικόνες από τηλεδιασκέψεις Zoom.

Κάτι που θα δημιουργούσε βέβαια ζήτημα παραβίασης της ιδιωτικότητας.