Per monitorare l'ambiente e navigare nel mondo reale, il robot dovrebbe essere in grado di acquisire immagini e misurazioni ambientali in diverse condizioni di illuminazione di fondo. Negli ultimi anni, ricercatori e ingegneri di tutto il mondo hanno lavorato per sviluppare sensori sempre più avanzati da integrare in robot, sistemi di sorveglianza o altri dispositivi in grado di rilevare l'ambiente circostante.
Secondo Memes Consulting, i ricercatori del Politecnico di Hong Kong, dell'Università di Pechino, dell'Università di Yonsei e dell'Università di Fudan hanno recentemente sviluppato un nuovo tipo di sensore di visione bionico che utilizza un meccanismo che simula artificialmente la funzione retinica e può essere utilizzato in una varietà di dati sono stati raccolti in condizioni di luce. Questo sensore di visione bionico si basa su fototransistor fatti di bisolfuro di molibdeno.
Foto dell'array di sensori di visione biomimetici (a sinistra); struttura schematica dell'unità sensore di visione e immagine del microscopio ottico (a destra)
"Our research team started work on optoelectronic memory five years ago," said Yang Chai, one of the researchers who developed the vision sensor. "This emerging device can output light-dependent and history-dependent signals, enabling image integration. , Weak signal accumulation, spectral analysis and other complex image processing functions, the multi-functional integration of sensing, data storage and data processing into one device."
Nel 2018, Yang Chai e i suoi colleghi hanno pubblicato il primo articolo sulla memoria optoelettronica, in cui hanno introdotto un dispositivo di memoria a commutazione resistiva in grado di eseguire il rilevamento della luce e operazioni logiche. Un anno dopo, il team ha introdotto un nuovo tipo di memoria ad accesso casuale fotoresistiva con tre diverse funzioni. In particolare, il nuovo dispositivo può rilevare l'ambiente, archiviare le informazioni in memoria ed eseguire operazioni di preelaborazione visiva neuromorfica.
"We studied the concepts of near-sensor and in-sensor computing paradigms in 2020 and published our views in the field." Yang Chai continued, "This new research on biomimetic vision sensors builds on our On top of all previous efforts."
The intensity of ambient natural light varies widely, with a total range of 280 dB. When the human retina senses external light signals, it adjusts the light sensitivity of its photoreceptors (i.e., rods and cones) according to the strength of the signal. This ultimately enables the human eye to gradually adapt to varying levels of lighting, allowing it to see clearly in both dark and bright environments, an ability known as "visual adaptation."
"For example, when you enter a dark cinema from a bright hall, you can hardly see anything at first, but after a while in the cinema, it becomes easier to see things," explains Yang Chai. "This phenomenon is called scotopic adaptation. Conversely, if you go from a dark movie theater to a sunny outdoors, you'll feel very dazzled at first, and it takes a while to get used to seeing what's going on around you. The process The opposite of dark adaptation is called photopic adaptation."
The main goal of Yang Chai and his colleagues' recent work is to build a vision sensor inspired by the structure and function of the human retina. To do this, they first started by studying the human retina and then tried to design perceptual strategies that would allow them to artificially simulate visual adaptations.
I sensori di immagine all'avanguardia-dell'--arte basati sulla tecnologia CMOS hanno in genere una gamma dinamica limitata di 70 dB. Tuttavia, questa gamma dinamica è molto più ristretta della gamma di illuminazione delle scene naturali (280 dB).
"To achieve visual perception over a wide range of light intensities, researchers have explored the use of controlled optical apertures, liquid lenses, adjustable exposure times, and denoising algorithms in post-processing," said Yang Chai. "However, these Methods often require complex hardware and software resources."
Dark and light adaptation of biomimetic vision sensor arrays. (a) Schematic of the dark adaptation test: recognition of low-light images using an 8 x 8 pixel array in a dark environment. (b) Schematic diagram of light adaptation test: recognition of high-illuminance images using an 8 x 8 pixel array in a bright environment. (c) Dark adaptation process to identify the "8" pattern. (d) The photoadaptation process to identify the "8" pattern.
I dispositivi optoelettronici con-visione adattiva alla luce e ampio raggio di rilevamento sui terminali sensoriali potrebbero avere applicazioni molto preziose. Ad esempio, possono aiutare a migliorare le prestazioni degli strumenti di visione artificiale, ridurre la complessità hardware richiesta per costruire robot o altri sistemi di rilevamento e migliorare la precisione dei sistemi di riconoscimento delle immagini.
Tuttavia, altri gruppi di ricerca hanno sviluppato in passato dispositivi optoelettronici in grado di adattarsi a diverse condizioni di illuminazione. Tuttavia, la maggior parte dei dispositivi precedentemente dimostrati può solo imitare il meccanismo di adattamento alla luce della retina. Finora il processo di adattamento al buio si è rivelato più difficile da simulare.
"There is still a long way to go to fully replicate the visual adaptation function of the retina," explains Yang Chai. "To achieve this, we designed a phototransistor-based vision sensor using ultra-thin semiconductors that can The degree of dark adaptation and light adaptation in the same device was controlled by applying different gate voltages. In this way, we simulated photoreceptors and horizontal cells in the retina and successfully achieved a sensing range of 199 dB. Vision-adaptive devices in biomimetic sensors."
Simulazione artificiale di fotorecettori e cellule orizzontali nella retina per l'adattamento visivo (adattamento al buio e adattamento alla luce)
Il sensore di visione biomimetico sviluppato da Yang Chai e colleghi si basa su fototransistor realizzati con un materiale semiconduttore ultrasottile noto come bisolfuro di molibdeno. I fototransistor utilizzati hanno più stati di trappola di carica che possono intrappolare o rilasciare elettroni all'interno del canale a diverse tensioni di gate.
Ultimately, these states allow researchers to dynamically tune the conductance of their devices. This, in turn, allowed them to artificially simulate the dark- and light-adaptive mechanisms of the human retina, thereby expanding the range of their sensor's perception of different lighting conditions.
"Our bionic vision sensor has several advantages and features," said Yang Chai. "First, the visual adaptation function is implemented in a single device, which greatly reduces the footprint. Second, multiple functions can be implemented on a single device. , including light sensing, memory, and processing. Finally, dark and light adaptation under different light intensities can be achieved by controlling its gate voltage."
Yang Chai e i suoi colleghi hanno valutato il sensore di visione bionico in una serie di test e hanno scoperto che potrebbe imitare efficacemente la funzione della retina umana, ottenendo risultati notevoli nell'adattamento sia al buio che alla luce. Inoltre, ha un range percettivo significativamente più alto (199 dB) rispetto alle soluzioni proposte in precedenza.
"Our vision sensor can enrich machine vision functions, reduce hardware complexity, and achieve high image recognition efficiency," said Yang Chai, "All these advantages are available in areas such as autonomous driving, face recognition, and industrial manufacturing in complex lighting environments. great application prospects."
Negli studi futuri, i ricercatori intendono migliorare ulteriormente le prestazioni del sensore di visione, utilizzandolo anche per fabbricare sistemi{0}}su larga scala costituiti da array di sensori. Idealmente, vogliono costruire questo array di sensori su un substrato flessibile o semisferico per consentire un campo visivo più ampio.
"One area that needs improvement is the adaptation time of our vision sensor, as it is still not enough to support machine vision applications." Yang Chai added, "Our goal is to reduce the adaptation time to the microsecond level. In addition, the vision sensor array scale Further improvements are also needed. Our near-term target for array size is greater than 100 x 100 pixels. Finally, the heterogeneous integration of vision sensors and post-processing units, including silicon-based control circuits, is a very important step toward practical applications."
La tecnologia GMKJ è profondamente impegnata in sorgenti luminose sane e intelligenti, fornendo al mercato una gamma completa di prodotti e soluzioni LED UVA UVB UVC, LED IR a infrarossi VCSEL. Ha centinaia di partner di{0}}alta qualità nei mercati nazionali ed esteri per promuovere congiuntamente l'uso della tecnologia della luce per creare una vita sana e intelligente. .