Neuroingegneria, una nuova tecnologia traduce i pensieri in parole / Neuroengineering, a new technology translates thoughts into words

Segnalato dal Dott. Giuseppe Cotellessa / Reported by Dr. Giuseppe Cotellessa

Un nuovo sistema, basato sull’intelligenza artificiale, traduce in parole a voce alta i segnali cerebrali prodotti dal cervello mentre pensiamo. E potrebbe servire ai pazienti che non possono parlare. Lo studio dei neuroscienziati della Columbia University.

Poter parlare senza parlare, soltanto pensando. Un nuovo dispositivo, sviluppato dai neuroscienziati della Columbia University, è riuscito a sviluppare una nuova tecnologia che trasferisce in linguaggio verbale i segnali prodotti dal cervello mentre pensa. Così il pensiero potrebbe essere in futuro tradotto in parole: uno strumento utile soprattutto per chi non può parlare, come pazienti con la sclerosi laterale amiotroficao che hanno avuto un ictus. I risultati dello studio sono pubblicati su Scientific Reports.

Non è la prima volta che neuroscienziati rivolgono l’attenzione a sistemi per tradurre i pensieri in parole (anche scritte su schermo). Oggi algoritmi basati su sistemi di intelligenza artificiale hanno consentito di raggiungere questo obiettivo. In questo caso, però, i ricercatori hanno decodificato i segnali cerebrali associati alle parole, sia ascoltate che pensate, per tradurli in parole pronunciate ad alta voce.

Si tratta della stessa tecnologia di base utilizzata da Siri o Alexa, spiega Nima Mesgarani, che ha coordinato lo studio.

L’idea alla base è che ci sia un decoder, o meglio un vocoder, che trasferisce un pensiero in una parola. In generale, un vocoder – un termine che nasce dalla fusione dei vocaboli inglesi voice e decoder – è un dispositivo elettronico o un programma (uno strumento utilizzato nel settore delle telecomunicazioni) capace di codificare un segnale sonoro sulla base di parametri impostati attraverso un modello matematico.

I ricercatori hanno realizzato proprio questo strumento, insegnando al vocoder a “interpretare i pensieri”. Ricerche precedenti hanno mostrato che mentre le persone parlano – o anche immaginano di parlare e mentre ascoltano – nel cervello si attivano specifici percorsi (o pattern) cerebrali, riconoscibili se studia l’attività del cervello. Quest’attivazione corrisponde al segnale del cervello che gli autori intendevano decodificare.

Gli autori sono partiti da queste conoscenze per trovare un metodo per tradurre questi segnali in parole. Inizialmente avevano provato ad utilizzare modelli computazionali basati sull’analisi degli spettrogrammi, che sono rappresentazioni grafiche – visive – di frequenze sonore. Questi grafici sono simili a immagini che riproducono l’intensità del suono sulla base del tempo e della frequenza. Tuttavia questo approccio è fallito perché non è riuscito a produrre espressioni orali comprensibili.

Così gli autori hanno scelto una tecnologia diversa, basata appunto sull’uso del vocoder, insegnando al sistema a interpretare le rappresentazioni cerebrali. In questo caso, è stato chiesto a pazienti con epilessia, già operati, di ascoltare frasi pronunciate a voce alta da persone diverse, mentre i ricercatori analizzavano i percorsi cerebrali attivati. “Questi pattern neurali hanno addestrato il vocoder”, spiega Mesgarani.

Successivamente, i pazienti ascoltavano voci che pronunciavano le cifre da 0 a 9, mentre i ricercatori hanno registrato i segnali cerebrali, che venivano sottoposti all’attenzione del vocoder. Il vocoder interpretava i segnali e produceva suoni, che sono stati poi analizzati e ripuliti da un sistema di intelligenza artificiale. In particolare, gli autori hanno utilizzato una rete neurale artificiale, ovvero un modello computazionale costituito da neuroni artificiali ispirato ad una rete biologica. Dopo questa operazione, i ricercatori hanno ottenuto una voce robotica che recitava la sequenza di numeri.

“Abbiamo osservato che le persone riuscivano a capire e ripetere i suoni [senza parlare, ma con questo sistema ndr] il 75% delle volte”, sottolinea Mesgarani, “un risultato che è ben al di là di qualsiasi previsione precedente”. La sensibilità del vocoder, unita alla potenza della rete neurale ha riprodotto i suoni originariamente ascoltati dai pazienti con una precisione sorprendente”.

Il prossimo passo, spiegano gli autori, sarà quello di provare a tradurre i pensieri collegati a parole e frasi più complesse e testare lo strumento sui segnali cerebrali prodotti da persone non solo mentre ascoltano ma anche mentre parlano o pensano di parlare. L’obiettivo ultimo è quello di poter sviluppare un dispositivo che i pazienti possano indossare ed utilizzare per parlare attraverso i pensieri.

ENGLISH

A new system, based on artificial intelligence, translates the brain signals produced by the brain into words as we think. And it could serve patients who can not speak. The study of neuroscientists at Columbia University.

Being able to speak without speaking, just thinking. A new device, developed by neuroscientists at Columbia University, has succeeded in developing a new technology that transfers the signals produced by the brain into verbal language as it thinks. Thus thought could be translated into words in the future: a tool useful especially for those who can not speak, as patients with amyotrophic lateral sclerosis who have had a stroke. The results of the study are published in Scientific Reports.

It is not the first time that neuroscientists turn their attention to systems for translating thoughts into words (also written on screen). Today, algorithms based on artificial intelligence systems have made it possible to achieve this goal. In this case, however, the researchers have decoded the brain signals associated with words, both heard and thought, to translate them into words spoken aloud.

This is the same basic technology used by Siri or Alexa, explains Nima Mesgarani, who coordinated the study.

The basic idea is that there is a decoder, or rather a vocoder, which transfers a thought into a word. In general, a vocoder - a term that arises from the fusion of English vocals and decoders - is an electronic device or program (a tool used in the telecommunications industry) capable of encoding a sound signal based on parameters set through a mathematical model .

The researchers have created this instrument, teaching the vocoder to "interpret the thoughts". Previous research has shown that while people are speaking - or even imagining they are talking and listening - the brain activates specific pathways (or patterns) that are recognizable if they study brain activity. This activation corresponds to the brain signal that the authors intended to decode.

The authors started from this knowledge to find a method to translate these signals into words. Initially they had tried to use computational models based on the analysis of spectrograms, which are graphic - visual representations of sound frequencies. These graphs are similar to images that reproduce the intensity of the sound based on time and frequency. However, this approach failed because it failed to produce comprehensible oral expressions.

So the authors chose a different technology, based precisely on the use of the vocoder, teaching the system to interpret the brain representations. In this case, patients with epilepsy, already operated, were asked to listen to sentences pronounced aloud by different people, while the researchers analyzed the brain pathways activated. "These neural patterns have trained the vocoder," explains Mesgarani.

Subsequently, the patients listened to voices that read the numbers 0 to 9, while the researchers recorded the brain signals, which were subjected to the vocoder's attention. The vocoder interpreted the signals and produced sounds, which were then analyzed and cleaned up by an artificial intelligence system. In particular, the authors used an artificial neural network, a computational model made up of artificial neurons inspired by a biological network. After this operation, the researchers obtained a robotic voice that recited the sequence of numbers.

"We observed that people could understand and repeat the sounds [without speaking, but with this system ed] 75% of the time", underlines Mesgarani, "a result that is well beyond any previous predictions". The sensitivity of the vocoder, combined with the power of the neural network, reproduced the sounds originally heard by the patients with amazing precision ".

The next step, the authors explain, will be to try to translate the thoughts connected to more complex words and phrases and test the instrument on brain signals produced by people not only while they listen but also while they speak or think to speak. The ultimate goal is to develop a device that patients can wear and use to talk through thoughts.

Da:

https://www.wired.it/scienza/medicina/2019/02/01/neuroingegneria-pensieri-parole/