Movimenti oculari extra potrebbero migliorare le auto a guida autonoma / Extra eye movements could improve self-driving cars

Movimenti oculari extra potrebbero migliorare le auto a guida autonoma. Il procedimento del brevetto ENEA RM2012A000637 è molto utile in questo tipo di applicazione. / Extra eye movements could improve self-driving cars. The process of the ENEA patent RM2012A000637 is very useful in this type of application.

Segnalato dal Dott. Giuseppe Cotellessa / Segnalato dal Dott. Giuseppe Cotellessa 

Gli scienziati del RIKEN Center for Brain Science (CBS) hanno sviluppato un modo per applicare i movimenti dell'occhio umano alla visione artificiale, consentendo alle auto a guida autonoma di riconoscere meglio le caratteristiche della strada.

Lo studio, recentemente pubblicato su PLOS Computational Biology, si concentra sui movimenti oculari inosservati che gli esseri umani fanno, dimostrando che hanno uno scopo vitale nel consentire alle persone di riconoscere stabilmente gli oggetti. 

Attraverso questo lavoro, Andrea Benucci e colleghi della RIKEN CBS in Giappone hanno sviluppato un modo per creare reti neurali artificiali che, secondo quanto riferito, possono imparare a riconoscere gli oggetti più velocemente e con maggiore precisione.

Nonostante i continui movimenti della testa e degli occhi durante il giorno, gli oggetti nel mondo non si confondono o diventano irriconoscibili, anche se le informazioni fisiche che colpiscono le retine umane cambiano costantemente. 

Ciò che probabilmente rende possibile questa stabilità percettiva sono le copie neurali dei comandi di movimento. Queste copie vengono inviate in tutto il cervello ogni volta che gli esseri umani si muovono e si pensa che consentano al cervello di rendere conto dei movimenti delle persone e di mantenere stabile la percezione.

Oltre alla percezione stabile, le prove suggeriscono che i movimenti oculari e le loro copie motorie potrebbero anche aiutare le persone a riconoscere stabilmente gli oggetti nel mondo, ma come ciò avvenga rimane un mistero. 

Benucci ha sviluppato una rete neurale convoluzionale (CNN) che offre una soluzione a questo problema. La CNN è stata progettata per ottimizzare la classificazione degli oggetti in una scena visiva mentre gli occhi si muovono.

Secondo i ricercatori, la rete è stata prima addestrata a classificare 60.000 immagini in bianco e nero in dieci categorie. Sebbene abbia funzionato bene su queste immagini, quando testato con immagini spostate che imitavano input visivi naturalmente alterati che si sarebbero verificati quando gli occhi si muovevano, le prestazioni sono scese drasticamente ad un livello casuale. 

Tuttavia, la classificazione è migliorata in modo significativo dopo aver addestrato la rete con immagini spostate, purché siano state incluse anche la direzione e le dimensioni dei movimenti oculari che hanno provocato il cambiamento, hanno confermato i ricercatori.

In particolare, l'aggiunta dei movimenti oculari e delle loro copie motorie al modello di rete ha consentito al sistema di affrontare meglio il rumore visivo nelle immagini.

"Questo avanzamento aiuterà ad evitare pericolosi errori nella visione artificiale", ha affermato Benucci. "Con una visione artificiale più efficiente e robusta, è meno probabile che le alterazioni dei pixel, note anche come "attacchi contraddittori", inducano, ad esempio, le auto a guida autonoma ad etichettare un segnale di stop come un palo della luce od i droni militari a classificare erroneamente un edificio ospedaliero come bersaglio nemico”.

Benucci ha aggiunto che i vantaggi dell'imitazione dei movimenti oculari e delle loro copie efferenti implicano che "forzare" un sensore di visione artificiale ad avere tipi di movimento controllati, informando la rete di visione responsabile dell'elaborazione delle immagini associate sui movimenti autogenerati, sarebbe rendere la visione artificiale più robusta e simile a quella sperimentata nella visione umana.

I prossimi passi riguarderanno la collaborazione con i colleghi che lavorano con le tecnologie neuromorfiche. I ricercatori hanno affermato che l'idea è quella di implementare circuiti reali a base di silicio basati sui principi evidenziati nello studio e testare se migliorano le capacità di visione artificiale nelle applicazioni del mondo reale.

ENGLISH

Scientists at the RIKEN Center for Brain Science (CBS) have developed a way to apply human eye movements to machine vision, allowing self-driving cars to better recognise road features.

The study, recently published in PLOS Computational Biology, focuses on the unnoticed eye movements humans make, showing that they serve a vital purpose in allowing people to stably recognise objects. 

Through this work, Andrea Benucci and colleagues at the RIKEN CBS in Japan have developed a way to create artificial neural networks that can reportedly learn to recognise objects faster and more accurately.

Despite making constant head and eye movements throughout the day, objects in the world do not blur or become unrecognisable, even though the physical information hitting human retinas changes constantly. 

What likely makes this perceptual stability possible are neural copies of the movement commands. These copies are sent throughout the brain each time humans move, and are thought to allow the brain to account for people’s own movements and keep perception stable.

In addition to stable perception, evidence suggests that eye movements, and their motor copies, might also help people to stably recognise objects in the world, but how this happens remains a mystery. 

Benucci developed a convolutional neural network (CNN) that offers a solution to this problem. The CNN was designed to optimise the classification of objects in a visual scene while the eyes are moving.

According to researchers, the network was first trained to classify 60,000 black and white images into ten categories. Although it performed well on these images, when tested with shifted images that mimicked naturally altered visual input that would occur when the eyes move, performance dropped drastically to chance level. 

However, classification improved significantly after training the network with shifted images, as long as the direction and size of the eye movements that resulted in the shift were also included, researchers confirmed.

In particular, adding the eye movements and their motor copies to the network model allowed the system to better cope with visual noise in the images.

“This advancement will help avoid dangerous mistakes in machine vision,” said Benucci. “With more efficient and robust machine vision, it is less likely that pixel alterations — also known as ‘adversarial attacks’— will cause, for example, self-driving cars to label a stop sign as a light pole, or military drones to misclassify a hospital building as an enemy target.”

Benucci added that the benefits of mimicking eye movements and their efferent copies implies that ‘forcing’ a machine-vision sensor to have controlled types of movements, while informing the vision network in charge of processing the associated images about the self-generated movements, would make machine vision more robust and akin to what is experienced in human vision.

Next steps will involve collaboration with colleagues working with neuromorphic technologies. Researchers said the idea is to implement actual silicon-based circuits based on the principles highlighted in the study, and test whether they improve machine-vision capabilities in real world applications.

Da:

https://www.theengineer.co.uk/content/news/extra-eye-movements-could-improve-self-driving-cars