DeepMind research brings strong AI one step closer / La ricerca DeepMind porta IA a un forte passo più vicino.

Segnalato dal Dott. Giuseppe Cotellessa / Reported by Dr. Joseph Cotellessa

This week DeepMind, the Google-owned company at the forefront of artificial intelligence research, revealed that it has successfully trained a neural network to learn sequentially.

While this may not sound particularly impressive, it represents a major step forward for AI and brings us one step closer to the holy grail/terrifying existential threat of artificial general intelligence (AGI), sometimes referred to as strong AI. In the past, neural networks have used machine learning to specialise in individual tasks, such as the AlphaGo program developed by DeepMind to compete at the board game Go. By initially learning from the moves of Go masters, then playing millions of games against itself, AlphaGo developed a highly specialised neural network capable of beating the world’s best human players.
However, if you asked AlphaGo to take on Gary Kasparov in a game of chess, it would have to start learning that game from scratch, permanently leaving behind its enormous Go knowledge. This is known in cognitive science as catastrophic forgetting, and has been widely acknowledged as a significant barrier for neural networks.
In contrast, humans learn incrementally, building our skill sets as we experience new things in our lives and using previous knowledge from other tasks to guide our decisions. Highly important skills such as motor function and language are strongly embedded in our brains via a process called synaptic consolidation. The more often a neural pathway fires, the less likely it is to be overwritten or forgotten. It’s this process that the team at DeepMind have sought to replicate.
Known as Elastic Weight Consolidation (EWC), DeepMind’s new algorithm enables neural networks to ‘remember’ previous tasks by making it more difficult to overwrite the skills it deems most important. To test its effectiveness, the researchers used a programme called Deep Q-Network (DQN), which had previously mastered a series of Atari games from scratch without being taught the rules. However, DQN scrapped knowledge of each game once it progressed to the next. Now, the addition of the EWC algorithm has allowed the neural network to remember facets of each game, learning them sequentially and using knowledge from one to assist with others.

“Previously, DQN had to learn how to play each game individually,” explains the research paper, which is published in the PNAS journal. “Whereas augmenting the DQN agent with EWC allows it to learn many games in sequence without suffering from catastrophic forgetting.”
So, DeepMind has shown that the problem of catastrophic forgetting is not insurmountable, and in doing so has made a big leap forward in AI. However, this method of sequential learning is, for now, not a particularly effective way for computers to solve problems. EWC allowed DQN to remember how to play a range of Atari games, transferring knowledge from one game to another, but learning each game from scratch still brings about better results. The challenge for DeepMind now is to find out how EWC can be used to improve overall performance.
According to James Kirkpatrick, DeepMind’s lead researcher on the project, we’re still a long way from the type of AGI that can mimic the complex, layered intelligence exhibited by humans. But teaching neural networks to ‘remember’ is a major breakthrough, and takes us one step closer to the possibility of strong AI. Many prominent figures, including Stephen Hawking, Elon Musk and Bill Gates, have warned of the potential threat that AI poses to humanity, as well as its capacity to solve some of our biggest problems. As we travel along this uncertain path, we would do well to avoid some catastrophic forgetting of our own.

ITALIANO

Questa settimana DeepMind, l'azienda di proprietà di Google in prima linea nella ricerca sull'intelligenza artificiale, ha rivelato che si è allenato con successo una rete neurale per imparare in modo sequenziale.
Anche se questo può non sembrare particolarmente impressionante, rappresenta un importante passo avanti per AI e ci porta un passo avanti verso il Santo Graal / della terrificante minaccia esistenziale di intelligenza artificiale forte (AGI), a volte indicato come l'IA forte. In passato, le reti neurali hanno usato la macchina di apprendimento per specializzarsi in compiti individuali, come ad esempio il programma AlphaGo sviluppato da DeepMind per competere al gioco da tavolo Go. Inizialmente per imparare dalle mosse dei maestri Go, poi giocando milioni di partite contro se stessa, AlphaGo ha sviluppato una rete neurale altamente specializzata in grado di battere i migliori giocatori umani del mondo.
Tuttavia, se lei ha chiesto ad AlphaGo di sfidare Gary Kasparov in una partita a scacchi, avrebbe dovuto iniziare ad imparare quella partita da zero, lasciando definitivamente alle spalle il suo enorme sapere Go. Questo è noto nelle scienze cognitive come l'oblio catastrofico, ed è stato ampiamente riconosciuto come un ostacolo significativo per le reti neurali.
Al contrario, gli esseri umani imparano in modo incrementale, costruendo i nostri set di abilità, come sperimentiamo nuove cose nella nostra vita e l'utilizzo di conoscenze da altri compiti per guidare le nostre decisioni. competenze altamente importanti come la funzione motoria e la lingua sono fortemente integrati nel nostro cervello attraverso un processo chiamato di consolidamento sinaptico. Più spesso un percorso neurale viene stimolato , meno probabile è di essere sovrascritto o dimenticato. E' questo processo che il gruppo di DeepMind ha cercato di replicare.
Conosciuto come peso elastico di consolidamento (CER), il nuovo algoritmo di DeepMind permette alle reti neurali di "ricordare" le attività precedenti, rendendo più difficile di sovrascrivere le competenze che ritiene più importante. Per testare la sua efficacia, i ricercatori hanno utilizzato un programma chiamato profonda Q-Network (DQN), che in precedenza aveva imparato una serie di giochi Atari da zero senza  aver appreso le regole. Tuttavia, DQN ha scartato la conoscenza di ogni gioco, una volta che è progredito a quella successiva. Ora, l'aggiunta dell'algoritmo CAE ha permesso alla rete neurale di ricordare sfaccettature di ogni gioco, l'apprendimento di sequenza e usando la conoscenza di uno di assistere gli altri.
"In precedenza, DQN ha dovuto imparare a giocare ogni partita singolarmente", spiega il documento di ricerca, che è pubblicato sulla rivista PNAS. "Considerando che aumentando l'agente DQN con CAE permette di imparare molti giochi in sequenza senza affetti sul dimenticare catastrofico".
Così, DeepMind ha dimostrato che il problema di dimenticare catastrofico non è insormontabile, e così facendo ha fatto un grande balzo in avanti nel progresso dell' AI. Tuttavia, questo metodo di apprendimento sequenziale è, per ora, non un modo particolarmente efficace per i computer per risolvere i problemi. CAE ha permesso a DQN di ricordare come giocare una serie di giochi Atari, con il trasferimento di conoscenze da un gioco all'altro, ma imparare ogni partita da zero porta ancora a risultati migliori. La sfida per DeepMind ora è quello di scoprire come CAE può essere utilizzata per migliorare le prestazioni complessive.
Secondo James Kirkpatrick, ricercatore di DeepMind sul progetto, siamo ancora lontani dal tipo di AGI in grado di mimare il complesso, l'intelligenza a strati esibito da esseri umani. Ma l'insegnamento con reti neurali per 'ricordare' è un importante passo avanti, e ci porta un passo più vicini alla possibilità di IA forte. Molte figure di spicco, tra cui Stephen Hawking, Elon Musk e Bill Gates, hanno avvertito della minaccia potenziale che l'intelligenza artificiale rappresenta per l'umanità, così come la sua capacità di risolvere alcuni dei nostri problemi più grandi. Mentre percorriamo questa strada incerta, faremmo bene ad evitare alcuni dimenticanze catastrofiche della nostra.

Da:

https://www.theengineer.co.uk/deepmind-research-brings-strong-ai-one-step-closer/?cmpid=tenews_3199353