Project looks at human eye to sharpen sight of robots and drones. Il progetto guarda all'occhio umano per affinare la vista di robot e droni.
Project looks at human eye to sharpen sight of robots and drones. The patent process ENEA RM2012A000637 is however better than the human vision system. / Il progetto guarda all'occhio umano per affinare la vista di robot e droni. Il procedimetno del brevetto ENEA RM2012A000637 è comunque migliore del sistema umano di visione.
Segnalato dal Dott. Giuseppe Cotellessa / Reported by Dr. Joseph Cotellessa
Robots, surveillance cameras and drones could one day detect
changes to their environment far more quickly and efficiently, using a
vision system based on the way the human eye and brain process
information.
The EPSRC-funded Internet of Silicon Retinas (IOSIRE) project, led by researchers from Kings College London and also involving University College London and Kingston University, is aiming to develop advanced machine-to-machine communication systems that capture and transmit images from highly efficient vision sensors mimicking the human retina.
Conventional cameras generate entirely new images for each frame, despite the fact that much of the picture remains the same as that of the previous one. This wastes a considerable amount of memory, computing power and time, according to the UCL principal investigator Yiannis Andreopoulos.
“If you are processing an image to analyse what is happening in a scene, you often end up throwing away most of the background information, because you are only interested in particular shapes or objects,” he said.
In contrast, recently developed dynamic vision sensors (DVS) mimic the way the retina works, by only updating the image at those points where a movement or change in the scene has occurred. When an object moves within a scene it reflects light, which is detected instantly by the sensor, said Andreopoulos.
This significantly increases the speed at which the sensors can produce video frames, resulting in rates of up to 1000 frames per second compared to 20-30 frames per second for conventional cameras.
“And because it is not recording the background, just any changes in the scene, the power consumption is very low – just 10 to 20 milliwatts compared to up to 200 milliwatts,” said Andreopoulos.
Basic processing of images produced by the DVS camera could be carried out locally by the device itself, to produce information needed there and then.
But certain information could also be transmitted to a server in the cloud, at which point more advanced processing and analysis could be carried out, said Andreopoulos.
This resembles the way the mammalian eye is thought to capture scene information, and then transmit it to the visual cortex where the information is processed to generate the three-dimensional rendering of the scene that we “see”.
“In a way, this gives us the illusion that we see this 3D super high-resolution world, but in reality there is very little information being captured by the eye, and to a large extent, the rest is “rendered” in the brain,” said Andreopoulos.
The researchers are aiming for a 100-fold decrease in the amount of energy consumed by the system, when compared to conventional designs for pixel-based visual processing and transmission over machine-to-machine networks.
The project involves Thales, Ericsson, neuromorphic technologies specialist iniLabs, Keysight Technologies UK, and semiconductor company MediaTek.
ITALIANO
Robot, telecamere di sorveglianza e droni potrebbero un giorno rilevare le modifiche al loro ambiente di gran lunga più rapido ed efficiente, utilizzando un sistema di visione in base al modo in cui l'occhio e il cervello processino le informazioni umane.
Internet EPSRC-il finanziato progetto Silicon retine (IOSIRE), condotto da ricercatori provenienti da Kings College di Londra e coinvolgendo anche University College London e Kingston University, mira a sviluppare sistemi di comunicazione machine-to-machine avanzate che cattura e trasmettere immagini da sensori di visione di alta efficienza che simulano la retina umana.
Le telecamere convenzionali generano completamente nuove immagini per ogni frame, nonostante il fatto che gran parte del quadro rimane la stessa di quella del precedente. Questo spreca una notevole quantità di memoria, potenza di calcolo e il tempo, secondo il ricercatore principale UCL Yiannis Andreopoulos.
"Se si sta elaborando nell'immagine da analizzare ciò che sta accadendo in una scena, spesso si finisce per gettare via la maggior parte delle informazioni di base, perché si è interessati solo a particolari forme o oggetti", ha detto.
Al contrario, sensori di visione dinamica recentemente sviluppati (DVS) imitano il modo come la retina funziona, soltanto aggiornando l'immagine nei punti in cui si è verificato un movimento o cambiamento nella scena. Quando un oggetto si muove all'interno di una scena riflette la luce, che viene rilevata immediatamente dal sensore, detto Andreopoulos.
Questo aumenta notevolmente la velocità alla quale i sensori possono produrre fotogrammi video, con conseguente velocità fino a 1000 fotogrammi al secondo rispetto a 20-30 fotogrammi al secondo per le telecamere convenzionali.
"E perché non sta registrando lo sfondo, a eventuali cambiamenti nella scena, il consumo di energia è molto basso - solo da 10 a 20 milliwatt rispetto a fino a 200 milliwatt,", ha detto Andreopoulos.
La trasformazione di base di immagini prodotte dalla fotocamera DVS potrebbe essere effettuata localmente dal dispositivo stesso, per produrre informazioni necessarie.
Ma alcune informazioni potrebbero essere trasmesse anche a un server in the cloud, a quel punto potrebbe essere effettuato il trattamento più avanzato e l'analisi, ha detto Andreopoulos.
Questo assomiglia al modo dell'occhio dei mammiferi ed è pensato per catturare informazioni della scena, e quindi trasmettere alla corteccia visiva in cui l'informazione viene elaborata per generare la rappresentazione tridimensionale della scena che "vediamo".
"In un certo senso, questo ci dà l'illusione che vediamo la realtà in 3D, un eccellente mondo ad alta risoluzione, ma in realtà ci sono molte poche informazioni che vengono catturate dall'occhio, e in larga misura, il resto è " elaborato "nel cervello ", ha detto Andreopoulos.
I ricercatori puntano alla diminuzione 100 volte della quantità di energia consumata dal sistema, rispetto alle soluzioni tradizionali per l'elaborazione visiva basata su pixel e trasmissione su reti da macchina a macchina.
Il progetto coinvolge Thales, Ericsson, neuromorfici iniLabs tecnologie specialistiche, Keysight Technologies UK, e società di semiconduttori MediaTek.
Da:
https://www.theengineer.co.uk/project-looks-at-human-eye-to-sharpen-sight-of-robots-and-drones/?cmpid=tenews_3128376
The EPSRC-funded Internet of Silicon Retinas (IOSIRE) project, led by researchers from Kings College London and also involving University College London and Kingston University, is aiming to develop advanced machine-to-machine communication systems that capture and transmit images from highly efficient vision sensors mimicking the human retina.
Conventional cameras generate entirely new images for each frame, despite the fact that much of the picture remains the same as that of the previous one. This wastes a considerable amount of memory, computing power and time, according to the UCL principal investigator Yiannis Andreopoulos.
“If you are processing an image to analyse what is happening in a scene, you often end up throwing away most of the background information, because you are only interested in particular shapes or objects,” he said.
In contrast, recently developed dynamic vision sensors (DVS) mimic the way the retina works, by only updating the image at those points where a movement or change in the scene has occurred. When an object moves within a scene it reflects light, which is detected instantly by the sensor, said Andreopoulos.
This significantly increases the speed at which the sensors can produce video frames, resulting in rates of up to 1000 frames per second compared to 20-30 frames per second for conventional cameras.
“And because it is not recording the background, just any changes in the scene, the power consumption is very low – just 10 to 20 milliwatts compared to up to 200 milliwatts,” said Andreopoulos.
Basic processing of images produced by the DVS camera could be carried out locally by the device itself, to produce information needed there and then.
But certain information could also be transmitted to a server in the cloud, at which point more advanced processing and analysis could be carried out, said Andreopoulos.
This resembles the way the mammalian eye is thought to capture scene information, and then transmit it to the visual cortex where the information is processed to generate the three-dimensional rendering of the scene that we “see”.
“In a way, this gives us the illusion that we see this 3D super high-resolution world, but in reality there is very little information being captured by the eye, and to a large extent, the rest is “rendered” in the brain,” said Andreopoulos.
The researchers are aiming for a 100-fold decrease in the amount of energy consumed by the system, when compared to conventional designs for pixel-based visual processing and transmission over machine-to-machine networks.
The project involves Thales, Ericsson, neuromorphic technologies specialist iniLabs, Keysight Technologies UK, and semiconductor company MediaTek.
ITALIANO
Robot, telecamere di sorveglianza e droni potrebbero un giorno rilevare le modifiche al loro ambiente di gran lunga più rapido ed efficiente, utilizzando un sistema di visione in base al modo in cui l'occhio e il cervello processino le informazioni umane.
Internet EPSRC-il finanziato progetto Silicon retine (IOSIRE), condotto da ricercatori provenienti da Kings College di Londra e coinvolgendo anche University College London e Kingston University, mira a sviluppare sistemi di comunicazione machine-to-machine avanzate che cattura e trasmettere immagini da sensori di visione di alta efficienza che simulano la retina umana.
Le telecamere convenzionali generano completamente nuove immagini per ogni frame, nonostante il fatto che gran parte del quadro rimane la stessa di quella del precedente. Questo spreca una notevole quantità di memoria, potenza di calcolo e il tempo, secondo il ricercatore principale UCL Yiannis Andreopoulos.
"Se si sta elaborando nell'immagine da analizzare ciò che sta accadendo in una scena, spesso si finisce per gettare via la maggior parte delle informazioni di base, perché si è interessati solo a particolari forme o oggetti", ha detto.
Al contrario, sensori di visione dinamica recentemente sviluppati (DVS) imitano il modo come la retina funziona, soltanto aggiornando l'immagine nei punti in cui si è verificato un movimento o cambiamento nella scena. Quando un oggetto si muove all'interno di una scena riflette la luce, che viene rilevata immediatamente dal sensore, detto Andreopoulos.
Questo aumenta notevolmente la velocità alla quale i sensori possono produrre fotogrammi video, con conseguente velocità fino a 1000 fotogrammi al secondo rispetto a 20-30 fotogrammi al secondo per le telecamere convenzionali.
"E perché non sta registrando lo sfondo, a eventuali cambiamenti nella scena, il consumo di energia è molto basso - solo da 10 a 20 milliwatt rispetto a fino a 200 milliwatt,", ha detto Andreopoulos.
La trasformazione di base di immagini prodotte dalla fotocamera DVS potrebbe essere effettuata localmente dal dispositivo stesso, per produrre informazioni necessarie.
Ma alcune informazioni potrebbero essere trasmesse anche a un server in the cloud, a quel punto potrebbe essere effettuato il trattamento più avanzato e l'analisi, ha detto Andreopoulos.
Questo assomiglia al modo dell'occhio dei mammiferi ed è pensato per catturare informazioni della scena, e quindi trasmettere alla corteccia visiva in cui l'informazione viene elaborata per generare la rappresentazione tridimensionale della scena che "vediamo".
"In un certo senso, questo ci dà l'illusione che vediamo la realtà in 3D, un eccellente mondo ad alta risoluzione, ma in realtà ci sono molte poche informazioni che vengono catturate dall'occhio, e in larga misura, il resto è " elaborato "nel cervello ", ha detto Andreopoulos.
I ricercatori puntano alla diminuzione 100 volte della quantità di energia consumata dal sistema, rispetto alle soluzioni tradizionali per l'elaborazione visiva basata su pixel e trasmissione su reti da macchina a macchina.
Il progetto coinvolge Thales, Ericsson, neuromorfici iniLabs tecnologie specialistiche, Keysight Technologies UK, e società di semiconduttori MediaTek.
Da:
https://www.theengineer.co.uk/project-looks-at-human-eye-to-sharpen-sight-of-robots-and-drones/?cmpid=tenews_3128376
Commenti
Posta un commento