La metasuperficie e gli algoritmi focalizzano le immagini per la microcamera / Metasurface and algorithms focus images for micro-camera

La metasuperficie e gli algoritmi focalizzano le immagini per la microcamera / Metasurface and algorithms focus images for micro-camera

Segnalato dal Dott. Giuseppe Cotellessa / Reported by Dr. Giuseppe Cotellessa

Una nuova superficie ottica e algoritmi di elaborazione del segnale sono stati combinati per sviluppare una microcamera che un giorno potrebbe essere utilizzata da robot medici per condurre procedure endoscopiche minimamente invasive. 

I ricercatori della Princeton University e dell'Università di Washington hanno superato la sfocatura, la distorsione ed i campi visivi limitati associati alle precedenti microcamere per produrre una fotocamera ultracompatta delle dimensioni di un granello di sale. Si dice che il nuovo sistema produca immagini a colori alla pari con un obiettivo della fotocamera composto convenzionale. I ricercatori hanno riportato le loro scoperte in Nature Communications .

Grazie alla progettazione congiunta dell'hardware della fotocamera e dell'elaborazione computazionale, il sistema potrebbe consentire l'endoscopia minimamente invasiva con robot medici per diagnosticare e curare malattie e migliorare l'imaging per altri robot con limiti di dimensioni e peso. Schiere di migliaia di tali telecamere potrebbero essere utilizzate per il rilevamento dell'intera scena, trasformando le superfici in telecamere.

Il nuovo sistema ottico utilizza una metasuperficie larga mezzo millimetro ricoperta da 1,6 milioni di perni cilindrici. Ogni palo ha una geometria unica e funziona come un'antenna ottica. È necessario variare il progetto di ciascun palo per modellare correttamente l'intero fronte d'onda ottico. Utilizzando algoritmi basati sull'apprendimento automatico, le interazioni dei post con la luce si combinano per produrre immagini della massima qualità ed un campo visivo più ampio per una fotocamera a metasuperficie a colori sviluppata fino ad oggi.

Un'innovazione chiave nella creazione della fotocamera è stata il progetto integrato della superficie ottica e gli algoritmi di elaborazione del segnale che producono l'immagine. Ciò ha migliorato le prestazioni della fotocamera in condizioni di luce naturale, in contrasto con le precedenti fotocamere a metasuperficie che richiedevano la pura luce laser di un laboratorio od altre condizioni ideali per produrre immagini di alta qualità, ha affermato Felix Heide, autore senior dello studio e assistente professore di computer scienza a Princeton.

I ricercatori hanno confrontato le immagini prodotte con il loro sistema con i risultati di precedenti fotocamere a metasuperficie, nonché le immagini catturate da un'ottica composta convenzionale che utilizza una serie di sei lenti rifrangenti. A parte un po' di sfocatura ai bordi dell'inquadratura, le immagini della fotocamera di dimensioni nanometriche erano paragonabili a quelle della configurazione dell'obiettivo tradizionale.

"È stata una sfida progettare e configurare queste piccole microstrutture per fare ciò che vuoi", ha affermato  Ethan Tseng , uno studente di dottorato in informatica a Princeton che ha co-diretto lo studio. "Per questo compito specifico di acquisire immagini RGB di ampio campo visivo, è impegnativo perché ci sono milioni di queste piccole microstrutture e non è chiaro come progettarle in modo ottimale".

Il co-autore principale Shane Colburn ha affrontato questa sfida creando un simulatore computazionale per automatizzare i test di diverse configurazioni di nano-antenna. A causa del numero di antenne e della complessità delle loro interazioni con la luce, questo tipo di simulazione può utilizzare "enormi quantità di memoria e tempo", ha affermato Colburn. Ha sviluppato un modello per approssimare in modo efficiente le capacità di produzione di immagini delle metasuperfici con sufficiente precisione.

Il coautore James Whitehead, uno studente di dottorato presso l'UW ECE, ha fabbricato le metasuperfici, che sono basate sul nitruro di silicio. Questo materiale è compatibile con i metodi di produzione standard di semiconduttori, consentendo la produzione di massa a un costo inferiore rispetto agli obiettivi delle fotocamere convenzionali.

Heide e colleghi stanno ora lavorando per aggiungere più capacità di calcolo alla fotocamera. Oltre all'ottimizzazione della qualità dell'immagine, vorrebbero aggiungere funzionalità per il rilevamento di oggetti ed altre modalità di rilevamento rilevanti per la medicina e la robotica.

ENGLISH

A novel optical surface and signal processing algorithms have been combined to develop a micro-camera that could one day be employed by medical robots to conduct minimally invasive endoscopy procedures. 

Researchers at Princeton University and the University of Washington have overcome fuzziness, distortion and limited fields of view associated with previous micro-cameras to produce an ultra-compact camera the size of a grain of salt. The new system is claimed to produce full-colour images on par with a conventional compound camera lens. The researchers have reported their findings in Nature Communications.

Enabled by a joint design of the camera’s hardware and computational processing, the system could enable minimally invasive endoscopy with medical robots to diagnose and treat diseases, and improve imaging for other robots with size and weight constraints. Arrays of thousands of such cameras could be used for full-scene sensing, turning surfaces into cameras.

The new optical system uses a half a millimetre wide metasurface covered with 1.6 million cylindrical posts. Each post has a unique geometry, and functions like an optical antenna. Varying the design of each post is necessary to correctly shape the entire optical wavefront. Using machine learning-based algorithms, the posts’ interactions with light combine to produce the highest-quality images and widest field of view for a full-colour metasurface camera developed to date.

A key innovation in the camera’s creation was the integrated design of the optical surface and the signal processing algorithms that produce the image. This boosted the camera’s performance in natural light conditions, in contrast to previous metasurface cameras that required the pure laser light of a laboratory or other ideal conditions to produce high-quality images, said Felix Heide, the study’s senior author and an assistant professor of computer science at Princeton.

The researchers compared images produced with their system to the results of previous metasurface cameras, as well as images captured by a conventional compound optic that uses a series of six refractive lenses. Aside from a bit of blurring at the edges of the frame, the nano-sized camera’s images were comparable to those of the traditional lens setup.

“It’s been a challenge to design and configure these little microstructures to do what you want,” said Ethan Tseng, a computer science PhD student at Princeton who co-led the study. “For this specific task of capturing large field of view RGB images, it’s challenging because there are millions of these little microstructures, and it’s not clear how to design them in an optimal way.”

Co-lead author Shane Colburn tackled this challenge by creating a computational simulator to automate testing of different nano-antenna configurations. Because of the number of antennas and the complexity of their interactions with light, this type of simulation can use “massive amounts of memory and time,” said Colburn. He developed a model to efficiently approximate the metasurfaces’ image production capabilities with sufficient accuracy.

Co-author James Whitehead, a PhD student at UW ECE, fabricated the metasurfaces, which are based on silicon nitride. This material is compatible with standard semiconductor manufacturing methods, enabling mass-production at a lower cost than lenses in conventional cameras.

Heide and colleagues are now working to add more computational abilities to the camera. Beyond optimising image quality, they would like to add capabilities for object detection and other sensing modalities relevant for medicine and robotics.

Da:

https://www.theengineer.co.uk/metasurface-algorithms-focus-images-for-micro-camera/