Più di un sentimento / More than a feeling

Più di un sentimento. Il principio di funzioanmento del brevetto ENEA RM2012A000637 è molto utile in questo tipo di applicazione. / More than a feeling. The operating principle of the ENEA patent RM2012A000637 is very useful in this type of application.

Segnalato dal Dott. Giuseppe Cotellessa / Reported by Dr. Giuseppe Cotellessa

In alto: Digit 360 è stato progettato per essere utilizzato come un dito, con sensori in grado di rilevare vibrazioni, pressione e persino gas. /  The Digit 360 has been designed for use as a fingertip with sensors that can detect vibration, pressure and even gases.

Vent'anni fa, abbiamo visto i Sony Aibo giocare a calcio. Sembravano carini, ma avevano lo stesso controllo di palla di un bambino piccolo

Anche per i finalisti umanoidi delle recenti RoboCups, la sfida tradizionale in cui le macchine cercano di dimostrare le loro abilità nel gioco più bello del mondo, le mosse delle macchine sono spesso tutt'altro che belle.

In una conferenza organizzata dall'Università del Michigan sull'intelligenza artificiale incarnata, Gabe Margolis, dottorando presso il Massachusetts Institute of Technology (MIT), ha osservato come le macchine seguano ancora una rigida serie di passaggi: si avvicinano alla palla, si allineano e poi la calciano da qualche parte. Ciò che finora non hanno dimostrato in questi campionati è la capacità di palleggiare, qualcosa che viene naturale ai giocatori umani.

Gran parte del problema deriva dalla difficoltà dei robot camminatori ad adattarsi alle sottili differenze tra ciò che l'algoritmo di controllo si aspetta dalla realtà di un piede che entra in contatto con il terreno ed, alternativamente, con la palla. Persino le ruote si rivelano difficili da controllare al di fuori delle superfici piane di una tipica fabbrica o magazzino, dove la maggior parte dei robot mobili è ancora tenuta a operare. Presso Farm-ng, il responsabile dell'autonomia David Weikersdorfer sta progettando robot su ruote per spostarsi su e giù tra file di piante in serre e campi più piccoli. Sebbene la simulazione sia importante per la pianificazione di livello superiore, il controllo del movimento di livello inferiore si basa in larga misura sui dati acquisiti dal mondo reale e dal terreno accidentato, anche in un ambiente interno più controllato. Le ruote possono facilmente slittare su terreni bagnati o polverosi e le buche possono compromettere l'allineamento dell'intera piattaforma durante il movimento.

"C'è ancora molto da fare in termini di fisica accurata del rapporto pneumatico-suolo. L'interazione con il terreno non è banale e spesso viene trascurata", ha spiegato Weikersdorfer alla conferenza Actuate dello scorso autunno.

I nastri trasportatori, che presumibilmente si muovono a velocità costante, presentano problemi per i robot addetti al prelievo. Tuttavia, secondo Rajat Bhageria, fondatore e CEO della startup di automazione per la preparazione degli alimenti Chef Robotics, la velocità dei nastri trasportatori risulta essere piuttosto irregolare, il che può rendere difficile per i robot prelevare gli oggetti in modo affidabile.

Differenze così minime tra teoria e pratica richiedono la capacità di percepire rapidamente i cambiamenti e di reagire ad essi. La domanda è: quanti sensori? Il robot ha bisogno di una serie di accelerometri ed altri sensori di posizione da abbinare alle telecamere ed agli altri sensori di percezione? Non necessariamente.

Propriocezione

I sistemi sfruttano sempre di più la propriocezione, una consapevolezza interna della posizione e del movimento del corpo. Gli algoritmi di controllo motore basati su vettori si basano sulla capacità di rilevare la posizione del rotore con precisione ed in tempo reale. I controllori possono farlo semplicemente misurando le variazioni del flusso di corrente ed applicandole ad un modello interno. "Si può pensare a questo come alla sensazione nelle articolazioni del robot", ha spiegato Margolis.

Sebbene il feedback di posizione sia ormai quasi integrato nei motori elettrici, i tendini artificiali dei futuri robot morbidi potrebbero sfruttare sensi interni simili. Diversi anni fa, la Disney Research ha inserito corde estensibili in tentacoli artificiali. Collegati a sensori di deformazione, questi potrebbero fornire un feedback che consente ad un modello di ricostruire un modello virtuale di come i tentacoli si sono piegati ed allungati.

La propriocezione dei robot motorizzati sta contribuendo a guidare le strategie di apprendimento per rinforzo. Un robot alto mezzo metro, modificato dai ricercatori di Google DeepMind per gestire una rete neurale, ha mostrato una maggiore agilità sul manto erboso artificiale di un campo da calcetto. L'approccio potrebbe anche consentire alla macchina di imparare a palleggiare. Utilizzando le stesse strutture Transformers utilizzate dai modelli linguistici, il team del professor Jitendra Malik dell'Università della California a Berkeley ha modificato il software di un Digit prodotto da Agility Robotics e lo ha lasciato andare a fare escursioni lungo sentieri accidentati sulle colline che dominano il campus.

La propriocezione non è un'arma a doppio taglio. In progetti come quelli del gruppo di Malik, la telecamera "egocentrica" ​​svolge un ruolo importante nell'aiutare il robot a percepire la propria posizione su scale o superfici inclinate. E questo dimostra la crescente importanza dei sensori di immagine nella progettazione dei robot. Questo, fortunatamente, ha coinciso con la riduzione dei costi da parte dell'industria telefonica.

Molti robot da magazzino utilizzano una combinazione di lidar e telecamere per osservare lo spazio in cui si trovano. Tuttavia, le telecamere stanno assumendo un'importanza sempre maggiore man mano che l'intelligenza artificiale supporta sempre più compiti di controllo di livello superiore. Il lidar ha il vantaggio principale di essere in grado di rilevare gli ostacoli in modo più chiaro. Tuttavia, rimane uno strumento relativamente costoso e di grandi dimensioni. Aziende come Ambi Robotics hanno dato priorità ai dati delle telecamere per il recupero di dati sul campo dai bracci utilizzati dalle sue macchine. E gli ultimi modelli di intelligenza artificiale di Nvidia, progettati per generare dati sintetici per l'addestramento dei robot in diverse condizioni di illuminazione ed atmosferiche, danno priorità alla generazione di immagini video.

Tuttavia, gli inizi del lavoro di Ambi risalgono a progetti come Dex-Net presso l'Università della California, Berkeley, che ha costruito un set di dati di modelli di nuvole di punti di oggetti di forme diverse. Queste rappresentazioni 3D hanno aiutato ad addestrare i robot ad elaborare i diversi modi in cui le mani o le pinze dei robot potevano afferrarli e spostarli nella simulazione. Questi oggetti sono stati modellati come solidi e duri. Dove i robot devono fare maggiori progressi è sui materiali più morbidi o friabili. La propriocezione basata sul movimento non è poi così efficace se si è già alla forza di schiacciamento quando il robot ha capito di aver afferrato un lampone.

Sensori di immagine

È qui che i sensori di immagine possono rivelarsi cruciali in modi meno previsti. Una soluzione per migliorare la capacità di un robot di percepire l'oggetto che sta toccando o tenendo in mano è quella di utilizzare elastomeri per formare una pelle sulle dita del robot. Sensori conduttivi o magnetici distribuiti lungo la membrana trasmettono dati su come l'oggetto sta deformando la morbida pelle.

I ricercatori dell'istituto di ricerca KAIST in Corea del Sud hanno proposto di incorporare minuscoli microfoni MEMS in un sandwich di silicone e idrogel. Un modello di rete neurale nel controller del sensore utilizza la localizzazione della sorgente per determinare il punto in cui il robot ha avuto contatto con un altro oggetto.

In un lavoro di quasi un decennio fa, i ricercatori del MIT hanno utilizzato un approccio simile basato su reti neurali per rilevare le variazioni di luce che raggiungono un sensore di immagini dall'interno di un sandwich di gomma. Commercializzati dalla spin-off GelSight, questi sensori utilizzano un rivestimento riflettente all'interno dello strato di gomma per deviare la luce trasmessa da un LED. Le variazioni nei pattern luminosi dovute alla curvatura della superficie attorno all'oggetto afferrato consentono alla rete di dedurre come la superficie si è deformata.

A partire da questo sensore di base, GelSight ed il MIT hanno sviluppato sensori che avvolgono la metà interna di un dito robotico. Una coppia di specchi consente ad una singola telecamera di catturare le deformazioni sulla superficie interna. L'anno scorso, è stata sviluppata una versione a cupola chiamata Digit 360 in un progetto con Meta. Questa è progettata per essere utilizzata come polpastrello. Include sensori aggiuntivi per rilevare vibrazioni, temperatura, pressione e persino gas. Questi sensori possono essere abbinati ad altre telecamere egocentriche installate nei polsi del robot per concentrarsi su ciò che stanno cercando di manipolare.

Una caratteristica di questi nuovi sensori tattili è il loro sfruttamento dell'intelligenza artificiale integrata nel dispositivo. Ricercatori come Pieter Abbeel, direttore del laboratorio di apprendimento robotico presso l'Università della California, Berkeley, vedono questa intelligenza distribuita come un modo per migliorare la capacità dei robot di reagire alle situazioni e ridurre gli effetti del ritardo di elaborazione. Indica il sistema nervoso animale come esempio del perché la distribuzione potrebbe essere un'idea migliore, dove i fasci nervosi nella colonna vertebrale reagiscono rapidamente alle sensazioni senza dover attendere una risposta dal cervello.

Per Abbeel, un ulteriore vantaggio potrebbe derivare dalla distribuzione del compito di addestramento su più modelli in esecuzione all'interno del modello, anziché cercare di utilizzare l'apprendimento per rinforzo su un unico modello onnicomprensivo. È un ulteriore esempio di come la percezione e il comportamento dei robot stiano diventando intimamente correlati.

ENGLISH

Twenty years ago, we saw Sony Aibos playing soccer. It looked cute but they had about as much ball control as a toddler.

Even for the humanoid finalists in recent RoboCups, the regular challenge where machines try to demonstrate their skills at the beautiful game, the machines’ moves are often less than pretty.

At a conference organised by the University of Michigan on embodied AI, Gabe Margolis, PhD student at the Massachusetts Institute of Technology (MIT), noted how the machines still go through a rigid series of steps where they walk up to the ball, line themselves up and then kick it somewhere. What they have not shown in these championships so far is the ability to dribble the ball around, something that comes naturally to human players.

Much of the problem stems from the problems that walking robots have in adapting to subtle differences in what the control algorithm expects to the reality of a foot making contact with the ground and alternately with the ball. Even wheels prove tough to control outside the flat surfaces of the typical factory or warehouse, where most mobile robots are still expected to perform. At Farm-ng, head of autonomy David Weikersdorfer is designing wheeled robots to trundle up and down rows of plants in greenhouses and smaller fields. Though simulation is important to higher-level planning, low-level motion control relies heavily on data captured from the real world and the rough terrain, even in a more controlled indoor environment. Wheels can easily slip on wet or dusty ground and divots will throw off the alignment of the whole platform as it rolls along.

“There is a lot to do in terms of accurate tyre-ground physics. The interaction with the ground is non-trivial and often neglected,” Weikersdorfer explained at the Actuate conference last autumn.

Conveyor belts, which supposedly move at a constant rate, present issues for picking robots. But, according to Rajat Bhageria, founder and CEO of food-preparation automation startup Chef Robotics, conveyor speed turns out to be quite spiky, which can make it hard for robots to pick objects from them reliably.

Such minute differences between theory and practice call for the ability to sense changes quickly and react to them. The question is how many sensors? Does the robot need an array of accelerometers and other position sensors to go along with the cameras and other perception sensors? Not necessarily.

Proprioception

Systems are increasingly taking advantage of proprioception, an internal awareness of body position and movement. Vector-based motor-control algorithms rely on the ability to detect rotor position accurately in real time. The controllers can do this simply by measuring changes in current flow and applying those to an internal model. “You can think of this as the feeling in the robot’s joints,” explained Margolis.

Though position feedback is almost baked into electric motor drives now, the artificial tendons of future soft robots may take advantage of similar internal senses. Several years ago, Disney Research put stretchable cords into artificial tentacles. Attached to strain sensors, these could provide feedback that let a model reconstruct a virtual model of how the tentacles have bent and stretched.

The proprioception of motor-propelled robots is helping to drive reinforcement learning strategies. A half-metre tall robot modified by Google DeepMind researchers to run a neural network showed greater agility on the artificial turf of a mini football field. The approach might yet let the machine learn to dribble a ball. Using the same Transformers structures as those used by language models, Professor Jitendra Malik’s team at the University of California at Berkeley altered the software of a Digit made by Agility Robotics and let it go for hikes along rough trails in the hills overlooking the campus.

Proprioception only gets you so far. In designs like those of Malik’s team, the “egocentric” camera plays an important role in helping the robot sense its own position on stairs or tilted surfaces. And it points to the increasing importance of image sensors in robot design. That, luckily, has coincided with the phone industry driving down cost.

Many warehouse robots use a combination of lidar and cameras to look around the space they are in. But cameras are taking on greater importance as AI underpins more of the higher-level control duties. Lidar has the major advantage of being able to sense obstructions more clearly. But it remains a relatively expensive and large instrument. Companies such as Ambi Robotics have prioritised camera data for retrieving in-field data from the arms its machines use. And Nvidia’s latest AI models designed to generate synthetic data for training robots under different lighting and atmospheric conditions prioritise the generation of video imagery.

However, the beginnings of the Ambi work lay in work like Dex-Net at UC Berkeley, which built a dataset of point-cloud models of objects of many different shapes. These 3D representations helped train robots to work out the many ways in which robot hands or grippers could pick them up and move them in simulation. Those objects were modelled as being solid and hard. Where robots need to make better progress is on softer or friable materials. Motor-based proprioception is not that great if you are already at crushing force by the time the robot has worked out that it has picked up a raspberry.

Image sensors

This is where image sensors may prove crucial in less expected ways. One answer to improving a robot’s ability to sense the object it is touching or holding is to use elastomers to form a skin over the fingers of a robot. Conductive or magnetic sensors spread throughout the membrane transmit a data on how the object is deforming the soft skin.

Researchers at the KAIST research institute in South Korea proposed embedding tiny MEMS microphones in a sandwich of silicone and hydrogels. A neural network model in the sensor controller uses source localisation to work out where the robot has made contact with another object.

In work from almost a decade ago, MIT researchers used a similar neural-network approach to detect changes in light reaching an image sensor from inside a rubber skin sandwich. Commercialised by the spinout GelSight, these sensors use a reflective coating on the inside of the rubber layer to deflect light transmitted from an LED. Changes in light patterns as the surface bends around the grasped object lets the network infer how the surface has deformed.

From this basic sensor, GelSight and MIT developed sensors that wrap around the inner half of a robotic finger. A pair of mirrors let a single camera capture the deformations across the inner surface. Last year, saw a domed version called Digit 360 developed in a project with Meta. This one is designed for use as a fingertip. It includes extra sensors to detect vibration, temperature, pressure and even gases. Those sensors may couple with additional egocentric cameras sitting in the robot’s wrists to focus on what they are trying to manipulate.

A characteristic of these new touch sensors is their harnessing of on-device AI. Researchers such as Pieter Abbeel, director of the robot learning lab at UC Berkeley see this distributed intelligence as a way of improving robots’ ability to react to situations and reduce the effects of processing lag. He points to the animal nervous system as an example of why distribution might be a better idea, where nerve bundles in the spinal column react quickly to sensations without the need to wait for a response from the brain.

For Abbeel, a further benefit may come from distributing the job of training across multiple models running inside the model rather than trying to use reinforcement learning on a single, all-encompassing model. It is one more example of the ways in which robot sensing and behaviour are becoming intimately linked.

Da:

https://www.newelectronics.co.uk/content/features/more-than-a-feeling?utm_source