Sensor de visión dinámico
Descripción de DVS
Los sensores convencionales de visión ven el mundo como una serie de marcos. Las tramas sucesivas contienen enormes cantidades de información redundante, desperdiciando el acceso a la memoria, la RAM, el espacio en disco, la energía, el poder computacional y el tiempo. Además, cada fotograma impone el mismo tiempo de exposición en cada píxel, por lo que es difícil tratar con escenas que contienen regiones muy oscuras y muy brillantes.
El sensor de visión dinámica (DVS) resuelve estos problemas mediante el uso de tecnología patentada que funciona como su propia retina. En lugar de desperdiciar imágenes enteras a velocidades de fotogramas fijos, sólo se transmiten los cambios locales a nivel de píxeles causados por el movimiento en una escena - en el momento en que se producen . El resultado es una corriente de eventos a una resolución de tiempo de microsegundo, equivalente o mejor que los sensores convencionales de visión de alta velocidad que funcionan a miles de fotogramas por segundo. El consumo de energía, el almacenamiento de datos y los requisitos de cálculo también se reducen drásticamente, y el rango dinámico del sensor se incrementa en órdenes de magnitud debido al procesamiento local.
Áreas de aplicación
- Vigilancia y detección ambiental
- Robótica rápida: móvil (por ejemplo , Quadcopter , vídeo del grupo de Robótica y Percepción de la Universidad de Zurich), fijo (por ejemplo , RoboGoalie , vídeo del grupo de sensores INI de la Universidad de Zurich)
- Automatización industrial
- Microscopía
- Análisis de movimiento, por ejemplo movimiento humano o animal
- Hidrodinámica
- Investigación del sueño y cronobiología
- Imágenes fluorescentes
- Seguimiento de Partículas
Ventajas
| Sistemas convencionales de visión de alta velocidad | DVS | Beneficios DVS |
|---|---|---|
| Requiere una PC rápida | Funciona con cualquier laptop | Menores costos Menor consumo de energía |
| Almacenamiento de datos extremadamente grande (a menudo varios TB) Datos altamente redundantes | Bajo requerimiento de almacenamiento No hay datos redundantes | Costos más bajos Más portátil Más fácil y rápido manejo de datos |
| Tarjetas de interfaz personalizadas | Webcam de tamaño, USB 2.0 API de Java | Más portátil Programación más fácil |
| Adquisición en modo por lotes Posproducción fuera de línea | Adquisición en tiempo real Latencia extremadamente baja | Procesamiento continuo Sin tiempo de inactividad, costes más bajos |
| Bajo rango dinámico, sensibilidad ordinaria Necesita iluminación especial brillante (láseres, estrobos, etc.) para cortos tiempos de exposición | Alta sensibilidad No necesita iluminación especial | Costos más bajos Adquisición de datos más sencilla |
| Rango dinámico limitado, típicamente 50 dB | Muy alto rango dinámico (120 dB) | Utilizable en situaciones más reales |
Funcionalidad
La funcionalidad DVS se logra al tener píxeles que responden con eventos temporizados con precisión al contraste temporal. El movimiento de la escena o de un objeto con reflectancia e iluminación constantes causa un cambio de intensidad relativa; por lo tanto los píxeles son intrínsecamente invariantes a la iluminación de la escena y codifican directamente el cambio de la reflectancia de la escena .
Resolución temporal y latencia
Los eventos se producen de forma asíncrona y casi instantáneamente en un bus de eventos de direcciones, por lo que tienen una precisión de sincronización mucho mayor que la velocidad de fotogramas de un generador de imágenes basado en tramas . Esto se demuestra por estas grabaciones de un disco giratorio pintado con cuñas de varios contrastes. El disco gira a 17 rev / seg, y los eventos se pintan con color-tiempo en la imagen de la derecha. Nuestras mediciones muestran que a menudo podemos lograr una precisión de tiempo de 1 nosotros y una latencia de 15 nosotros con iluminación brillante. Debido a que no hay marcos, los eventos se pueden reproducir a cualquier velocidad deseada, como se muestra en el video correcto. La baja latencia es muy útil para sistemas robóticos, como el robot de equilibrado de lápices .
Gama dinámica
Debido a que los píxeles responden localmente al cambio relativo de intensidad, el dispositivo tiene un gran rango dinámico intra-escena . Este amplio rango dinámico se demuestra en la gráfica de escala de gris de Edmund, que se ilumina diferencialmente con una relación de iluminación de 135: 1 - a 42dB, lo que significa que un dispositivo basado en CCD normal de alta calidad como el Nikon 995 utilizado a continuación debe exponer la parte brillante u oscura de la imagen para obtener datos sensibles. La mayoría de los píxeles del sensor de visión siguen respondiendo a los pasos de contraste del 10% en ambas mitades de la escena. Esto significa que el DVS puede ver esencialmente a través de las gafas de sol bajo condiciones de iluminación normales.
Tecnología
Cuatro innovaciones clave en este desarrollo son el diseño de píxeles, los generadores de polarización digital en chip, la implementación USB altamente utilizable y el software de procesamiento jAER.
El píxel utiliza un fotorreceptor frontal de tiempo continuo (inspirado en el fotorreceptor adaptativo), seguido de un diferenciador de condensador conmutado auto-temporizado de precisión (inspirado en el amplificador de columna utilizado en el generador bipolar pulsado). Los aspectos más novedosos de este píxel son la idea de auto-sincronización de la diferenciación de la tapa de conmutación y la auto-polarización del fotorreceptor. Este píxel hace una conversión de AD orientada a datos (como la biología, pero muy diferente de la arquitectura ADC usual). El ajuste de la relación de capacitor local da al circuito de diferenciación una ganancia definida con precisión para cambios en la intensidad del registro, reduciendo así la imprecisión efectiva de los comparadores que detectan cambios positivos y negativos en la intensidad del registro.
El píxel se dibuja para utilizar la simetría del espejo del cuadrilátero para aislar las piezas análogas y digitales. La mayor parte del área del pixel es capacitancia. La periferia utiliza circuitos AER desarrollados por Kwabena Boahen. El chip incluye un generador de corriente de polarización completamente programable que hace que el funcionamiento del chip sea en gran medida independiente de la temperatura y las variaciones del proceso - los chips se comportan de manera indistinguible con configuraciones de polarización digital idénticas.
DAVIS = DVS + Marcos
El sensor de visión de píxeles dinámico y activo (DAVIS) amplía la funcionalidad del DVS añadiendo una lectura de intensidad basada en tramas. En este video, un jugador de tenis hace un disparo; puede ver los fotogramas globales del obturador y luego superponerse, los datos de eventos dinámicos que indican que aumenta (y disminuye) la intensidad se representan en verde (y rojo):
El DAVIS240 tiene una IMU a bordo, con datos IMU integrados en el flujo de eventos, junto con DVS y APS (marcos) de datos, lo que permite la estabilización, como en el siguiente video:
Integración de sistema
Los modelos DVS y DAVIS seleccionados están integrados con una interfaz USB que se conecta a cualquier PC o computadora portátil. El proyecto de software de código abierto jAER permite procesar eventos en una variedad de formatos, capturarlos, reproducirlos y, lo más importante, procesarlos usando eventos y su tiempo preciso. Como alternativa, use cAER como un canal ligero para el entorno de su elección o como un marco para el desarrollo personalizado.
El eDVS (incorporado) tiene un microcontrolador integrado que le permite realizar procesos visuales basados en eventos con muy poca latencia y controlar directamente motores, o puentear a través de UART / SPI a otro hardware. Los circuitos de entrada y carga de la batería, la tarjeta SD integrada y la conectividad WLAN opcional son especializaciones para implementaciones remotas, mientras que la IMU integrada permite la marcación inercial de entradas visuales para plataformas móviles.
No hay comentarios:
Publicar un comentario