WildFusion aiuta il robot ad attraversare terreni difficili / WildFusion helps robot traverse difficult terrain

 WildFusion aiuta il robot ad attraversare terreni difficili / WildFusion helps robot traverse difficult terrain

Segnalato dal Dott. Giuseppe Cotellessa / Reported by Dr. Giuseppe Cotellessa

WildFusion della Duke University aiuta i robot a navigare nelle foreste e nelle zone disastrate utilizzando l'intelligenza artificiale, il tatto, il suono, il LiDAR e la fusione di apprendimento profondo /  WildFusion from Duke University helps robots navigate forests and disaster zones using AI, touch, sound, LiDAR, and deep learning fusion

Gli ingegneri hanno sviluppato WildFusion, una combinazione di tecnologie che consente ad un robot di "percepire" ambienti esterni complessi in modo simile agli esseri umani.

Il lavoro della Duke University, North Carolina, è stato accettato per la conferenza internazionale IEEE su robotica e automazione ( ICRA 2025 ), che si terrà dal 19 al 23 maggio 2025 ad Atlanta, Georgia.

"WildFusion apre un nuovo capitolo nella navigazione robotica e nella mappatura 3D", ha affermato Boyuan Chen, Professore Associato di Ingegneria Meccanica e Scienza dei Materiali, Ingegneria Elettrica e Informatica e Informatica presso la Duke University. "Aiuta i robot ad operare con maggiore sicurezza in ambienti non strutturati e imprevedibili come foreste, zone disastrate e terreni fuoristrada."

"I robot tipici si affidano in larga misura alla sola visione od al LiDAR, che spesso falliscono in assenza di percorsi chiari o punti di riferimento prevedibili", ha affermato Yanbaihui Liu, autore principale dello studio e dottorando al secondo anno nel laboratorio di Chen. "Anche i metodi di mappatura 3D più avanzati faticano a ricostruire una mappa continua quando i dati dei sensori sono scarsi, rumorosi od incompleti, un problema frequente negli ambienti esterni non strutturati. È proprio questa la sfida che WildFusion è stato progettato per risolvere."

Costruito su un robot quadrupede, WildFusion integra diverse modalità di rilevamento, tra cui una telecamera RGB, un LiDAR, sensori inerziali, microfoni a contatto e sensori tattili. La telecamera ed il LiDAR catturano la geometria, il colore, la distanza ed altri dettagli visivi dell'ambiente. Secondo Duke, gli elementi unici di WildFusion sono l'uso di vibrazioni acustiche ed il tatto.

Mentre il robot cammina, i microfoni a contatto registrano le vibrazioni generate da ogni passo, catturando sottili differenze, come lo scricchiolio delle foglie secche rispetto al leggero fruscio del fango. Nel frattempo, i sensori tattili misurano la forza applicata a ciascun piede, aiutando il robot a percepire la stabilità o la scivolosità in tempo reale. Questi sensori aggiuntivi sono inoltre integrati dal sensore inerziale che raccoglie i dati di accelerazione per valutare l'entità delle oscillazioni, del beccheggio o del rollio del robot mentre attraversa terreni sconnessi.

Ogni tipo di dato sensoriale viene quindi elaborato tramite encoder specializzati e fuso in un'unica, ricca rappresentazione. Il cuore di WildFusion è un modello di deep learning basato sul concetto di rappresentazioni neurali implicite. A differenza dei metodi tradizionali che trattano l'ambiente come un insieme di punti discreti, questo approccio modella in modo continuo superfici e caratteristiche complesse, consentendo al robot di prendere decisioni più intuitive su dove muoversi, anche quando la sua visione è bloccata o ambigua.

 "L'approccio multimodale di WildFusion consente al robot di 'colmare le lacune' quando i dati dei sensori sono scarsi o rumorosi, proprio come fanno gli esseri umani", ha affermato Chen.

WildFusion è stato testato presso l'Eno River State Park nella Carolina del Nord, vicino al campus di Duke, dove il robot si è orientato tra fitte foreste, praterie e sentieri di ghiaia.

"Vedere il robot muoversi con sicurezza sul terreno è stato incredibilmente gratificante", ha detto Liu. "Questi test nel mondo reale hanno dimostrato la straordinaria capacità di WildFusion di prevedere con precisione la percorribilità, migliorando significativamente il processo decisionale del robot su percorsi sicuri su terreni difficili."

Il gruppo ora prevede di espandere il sistema integrando sensori aggiuntivi, come rilevatori termici o di umidità, per migliorare ulteriormente la capacità del robot di comprendere ed adattarsi ad ambienti complessi.

Questa ricerca è stata sostenuta dalla DARPA e dall'US Army Research Laboratory.

ENGLISH

Engineers have developed WildFusion, a combination of technologies that enable a robot to ‘sense’ complex outdoor environments in a similar way to humans.

The work from Duke University, North Carolina, has been accepted to the IEEE International Conference on Robotics and Automation (ICRA 2025), which will be held May 19-23, 2025, in Atlanta, Georgia.

“WildFusion opens a new chapter in robotic navigation and 3D mapping,” said Boyuan Chen, the Dickinson Family Assistant Professor of Mechanical Engineering and Materials Science, Electrical and Computer Engineering, and Computer Science at Duke University. “It helps robots to operate more confidently in unstructured, unpredictable environments like forests, disaster zones and off-road terrain.”

"Typical robots rely heavily on vision or LiDAR alone, which often falter without clear paths or predictable landmarks," said Yanbaihui Liu, the lead student author and a second-year PhD  student in Chen’s lab. “Even advanced 3D mapping methods struggle to reconstruct a continuous map when sensor data is sparse, noisy or incomplete, which is a frequent problem in unstructured outdoor environments. That’s exactly the challenge WildFusion was designed to solve.”

Built on a quadruped robot, WildFusion integrates multiple sensing modalities, including an RGB camera, LiDAR, inertial sensors, plus contact microphones and tactile sensors. The camera and the LiDAR capture the environment’s geometry, colour, distance and other visual details. According to Duke, the unique elements of WildFusion are its use of acoustic vibrations and touch.

As the robot walks, contact microphones record the vibrations generated by each step, capturing subtle differences, such as the crunch of dry leaves versus the soft squish of mud. Meanwhile, the tactile sensors measure how much force is applied to each foot, helping the robot sense stability or slipperiness in real time. These added senses are also complemented by the inertial sensor that collects acceleration data to assess how much the robot is wobbling, pitching or rolling as it traverses uneven ground.

Each type of sensory data is then processed through specialised encoders and fused into a single, rich representation. At the heart of WildFusion is a deep learning model based on the idea of implicit neural representations. Unlike traditional methods that treat the environment as a collection of discrete points, this approach models complex surfaces and features continuously, allowing the robot to make more intuitive decisions about where to step, even when its vision is blocked or ambiguous.

 “WildFusion’s multimodal approach lets the robot ‘fill in the blanks’ when sensor data is sparse or noisy, much like what humans do,” said Chen.

WildFusion was tested at the Eno River State Park in North Carolina near Duke’s campus where the robot navigated dense forests, grasslands and gravel paths.

“Watching the robot confidently navigate terrain was incredibly rewarding,” said Liu. “These real-world tests proved WildFusion’s remarkable ability to accurately predict traversability, significantly improving the robot’s decision-making on safe paths through challenging terrain.”

The team now plans to expand the system by incorporating additional sensors, such as thermal or humidity detectors, to further enhance a robot’s ability to understand and adapt to complex environments.

This research was supported by DARPA and the US Army Research Laboratory.

Da:

https://www.theengineer.co.uk/content/news/wildfusion-helps-robot-traverse-difficult-terrain