La dimenticanza temporanea potrebbe far parte del processo di apprendimento. / Temporary Forgetting May Be Part of Learning

La dimenticanza temporanea potrebbe far parte del processo di apprendimento. / Temporary Forgetting May Be Part of Learning

Segnalato dal Dott. Giuseppe Cotellessa / Reported by Dr. Giuseppe Cotellessa


I ricercatori hanno identificato uno schema transitorio di oblio che potrebbe essere utile per studiare come il cervello apprende.

Il modo in cui il cervello apprende è uno dei più grandi misteri irrisolti della scienza. I ricercatori nel campo dell'intelligenza artificiale dell'Università di Groningen (Paesi Bassi) e della KU Leuven (Belgio) sperano che una particolare forma di oblio nelle reti neurali artificiali possa aiutare a comprendere cosa accade nel cervello umano. Lo studio è stato pubblicato sulla rivista Trends in Cognitive Sciences.


Le reti neurali artificiali sono sistemi informatici modellati sul cervello umano: analogamente al cervello, sono costituite da una rete di unità (i neuroni) che comunicano tra loro. Una rete neurale artificiale di questo tipo può apprendere un nuovo compito attraverso un processo graduale, rafforzando o indebolendo le connessioni tra le unità per avvicinarsi il più possibile al risultato desiderato. Questo processo è chiamato apprendimento per discesa del gradiente.

Oblio duraturo e transitorio

Una volta che il sistema è completamente addestrato per un compito (ad esempio, per riconoscere l'immagine di una barca), si può iniziare l'addestramento per un secondo compito (come l'addestramento per riconoscere un'automobile). Tuttavia, gli informatici sanno da tempo che, durante l'apprendimento di questo secondo compito, la rete neurale "dimentica" rapidamente ed in modo permanente come svolgere il primo compito. Questo fenomeno è chiamato "oblio catastrofico" .

La soluzione più comune per ridurre questo tipo di oblio è un approccio chiamato "replay". Prendiamo ad esempio uno studente che ha imparato il francese e poi passa a studiare lo spagnolo. Per mantenere allenate le sue competenze in francese, potrebbe ripetere alcune lezioni di francese durante il corso di spagnolo. Una rete neurale con replay fa qualcosa di simile: mentre apprende il nuovo compito, continua a esercitarsi con esempi del compito precedente. Questo metodo spesso funziona bene, tanto che alla fine dell'addestramento la rete è in grado di svolgere entrambi i compiti.


I ricercatori hanno però notato qualcosa di sorprendente quando hanno monitorato le prestazioni della rete durante l'intero processo di addestramento, e non solo alla fine. Hanno scoperto che, anche quando la rete continua ad esercitarsi sul vecchio compito, le sue prestazioni su quel compito peggiorano man mano che inizia ad apprendere il nuovo compito, per poi recuperare in seguito. I ricercatori hanno chiamato questa forma di oblio transitorio "gap di stabilità".

Presenza di un divario di stabilità nell'apprendimento umano

Alcuni scienziati dell'Università di Groningen e della KU Leuven si sono chiesti se un gap di stabilità si verifichi anche nell'apprendimento umano. Hanno condotto un'analisi della letteratura scientifica in ambito cognitivo ed identificato diversi tipi di oblio transitorio negli esseri umani, ma nessuno corrispondeva direttamente al gap di stabilità. È importante sottolineare che non hanno trovato alcuna prova contraria all'esistenza di un gap di stabilità nell'apprendimento umano, il che li ha spinti a suggerire come studi futuri potrebbero verificarne l'esistenza.


Gli scienziati hanno ipotizzato che il gap di stabilità possa fornire importanti spunti di riflessione su come il cervello umano apprende. Un'importante questione ancora aperta è se il cervello umano apprenda attraverso un processo che approssima la discesa del gradiente. Nel loro articolo, dimostrano che il gap di stabilità è una sorta di impronta digitale lasciata dall'apprendimento tramite discesa del gradiente. Ciò significa che, se in futuri esperimenti gli scienziati dovessero riscontrare un gap di stabilità nell'apprendimento umano, sarebbe un segnale eclatante del fatto che il nostro cervello apprende più come una macchina di quanto si pensi. Se, al contrario, lo riscontrassero con grande attenzione, sarebbe altrettanto rivelatore, suggerendo che il cervello possiede un proprio metodo di apprendimento, del tutto diverso.


ENGLISH

Researchers identified a transient forgetting pattern that may help test how the brain learns.

How the brain learns is one of the biggest unsolved mysteries in science. Researchers in Artificial Intelligence from the University of Groningen (the Netherlands) and KU Leuven (Belgium) hope that a specific type of forgetting in artificial neural networks will help to capture what is happening in the human brain. The study is published in the journal Trends in Cognitive Sciences.


Artificial neural networks are computer systems that are modeled on the human brain: similar to the brain, they consist of a network of units (the neurons) that signal to each other. Such an artificial neural network can learn a new task through a stepwise process, strengthening or weakening the connections between the units to approach the desired outcome as best as possible. This is called gradient descent learning.

Lasting and transient forgetting

Once the system is fully trained on a task (for example, to recognize the image of a boat), training for a second task can begin (such as training to recognize a car). However, computer scientists have known for a while that when learning this second task, the neural network rapidly and lastingly ‘forgets’ how to perform the first task. This is called ‘catastrophic forgetting’.

The usual fix to reduce this kind of forgetting is an approach called replay. Take a student who has learned French and then switches to learning Spanish. To keep their French in shape, they might repeat some French lessons during the Spanish course. A network with replay does something similar: while it learns the new task, it keeps practicing on examples from the old task. This often works well, so that by the end of training, the network can do both tasks.


But researchers noticed something surprising when they checked the network’s performance throughout training, and not just at the end. They found that even when the network keeps practicing the old task, its performance on that task still worsens as it starts learning the new task, before recovering later. The researchers called this form of transient forgetting the ‘stability gap’ (see figure).

Presence of a stability gap in human learning

Scientists from the University of Groningen and KU Leuven asked whether a stability gap also occurs in human learning. They performed a survey of the cognitive science literature and identified different types of transient forgetting in humans, but none directly matched the stability gap. Importantly, they found no evidence against a stability gap in human learning either, which prompted them to suggest how future studies could test for it.


The scientists reasoned that the stability gap can provide important insight about how the human brain learns. An important open question is whether the human brain learns by a process that approximates gradient descent. In their paper, they show that the stability gap is a kind of fingerprint left behind by gradient descent learning. This means that if scientists find a stability gap in human learning in future experiments, it would be a striking sign that our brains learn more like machines than we might think. If they look very carefully and it’s not there, that would be just as revealing, suggesting the brain has its own, quite different way of learning.


Da:

https://www.technologynetworks.com/neuroscience/news/temporary-forgetting-may-be-part-of-learning-418333?utm_campaign=NEWSLETTER_TN_Neuroscience&utm_medium=email&_hsenc=p2ANqtz-8om9yyw-B8YcqXNUaa7d4o-vtPe5jAaEXHamMbIKA9F2QGWQWG9edmZb12ZCOgfyHpstoYaRPTQO4d6cMVFtI1XeDVT0o9LLlgAywbixFJWgaZHd0&_hsmi=450027910&utm_content=450027910&utm_source=hs_email




Commenti

Post popolari in questo blog

Paracetamolo, ibuprofene o novalgina: quali le differenze? / acetaminophen, ibuprofen, metamizole : what are the differences?

De-estinzione, così faremo resuscitare le specie estinte. / De-extinction, so we resurrect the extinct species.

This is to acknowledge that Giuseppe Cotellessa Attended a one-hour webinar and Q&A session entitled " CLINICAL24: Simplifying & automating clinical mass spec workflows with real-world case studies " / Si attesta che Giuseppe Cotellessa ha partecipato ad un webinar di un'ora, comprensivo di sessione di domande e risposte, dal titolo "CLINICAL24: Semplificare e automatizzare i flussi di lavoro di spettrometria di massa in ambito clinico attraverso casi studio reali" /#28/10/2026 bis