Development and implementation of a selective change-driven vision sensor for high speed movement analysis

Zusammenfassung

Un sistema de vision artificial esta compuesto, en su forma más basica, por un sensor VLSI, habitualmente fabricado en tecnología CMOS o CCD, y una etapa de procesado. En la gran mayoría de los sistemas de visión artificial implementados hoy en día la etapa sensora del sistema consiste en un sensor de imágenes tradicional. Este tipo de sensores trabajan bajo unos principios muy simples y conocidos: el nivel de iluminación del entorno es muestreado y transmitido a intervalos de tiempo regulares; y todos los píxeles de la matriz, sin excepción, son transmitidos secuencialmente y en orden. Esto es así aunque no se hayan producido cambios en la escena bajo observación. Esto implica que una gran parte de la información que se genera y transmite puede ser considerada como redundante. En muchos casos esta estrategia es la más adecuada. Algunos ejemplos de ello son los escáneres, los sistemas de captura de imágenes para diagnóstico médico o los sistemas de video para entretenimiento. Todas estas aplicaciones necesitan la mayor cantidad de información posible sobre el entorno, aunque este no cambie o muestre variaciones muy pequeñas en intervalos de tiempo largos. Para otro tipo de aplicaciones, como los sistemas de visión artificial o las redes de sensores inalámbricas, la gran cantidad de información redundante que genera y transmite un sensor tradicional de imágenes puede convertirse en una limitación para la implementación de sistemas en muchos entornos reales. Muchos sistemas de visión biológicos trabajan de manera completamente distinta a los sensores de captura de imágenes tradicionales. Una de sus principales características es que las celdas sensibles (el equivalente de los píxeles en tecnología de silicio) reaccionan de manera independiente y asíncrona a los cambios de iluminación. Tomando como punto de partida los trabajos de C.Mead y M.Mahowald realizados a finales de los años 80, las últimas dos décadas han presenciado avances muy significativos en el diseño de sensores de visión, todos estos fundamentalmente orientados a transmitir y procesar solo la información considerada importante o relevante dentro de la escena bajo análisis. La mayor parte de estos diseños han tomado, en mayor o menor medida, el funcionamiento del sistema biológico de visión como base de sus desarrollos. El objetivo de muchos de los trabajos realizados en este área es imitar de la mejor manera posible, y mediante las más avanzadas tecnologías de silicio, el comportamiento de los sistemas biológicos en sus facetas visual, auditiva y cognitiva. Otros trabajos han seguido otra filosofía, tomando la biología como fuente de inspiración, pero no como un objetivo en sí mismo. La estrategia de visión selectiva guiada por cambios (SCD por sus siglas en inglés) pertenece a este último grupo. Orientada a la detección y análisis de objetos moviéndose a alta velocidad, la estrategia SCD asume que solo un parte de la imagen muestra cambios entre dos frames consecutivos, mientras que la mayor parte de los píxeles permanecen igual. Esta hipótesis cobra especial sentido cuando se capturan frames a alta velocidad. Teniendo en cuenta que muchos de los píxeles de una determinada imagen no han cambiado respecto de sus valores en las imágenes anteriores de la secuencia, los algoritmos de procesado pueden utilizar la información ya almacenada para realizar sus cálculos. Es decir, que esta información redundante podría no transmitirse. Se podría incluso considerar que los píxeles de la matriz que muestran cambios pequeños, tendrán poco impacto en los resultados de los algoritmos. En la estrategia SCD estas hipótesis son trabajadas de forma tal que se consigue reducir sustancialmente la cantidad de información transmitida por el sensor, y por lo tanto la cantidad de información procesada fuera del mismo. En la estrategia SCD ya no se trabaja con imágenes de forma estática, sino que la información es transportada y transmitida en la forma de un flujo de píxeles. Estos píxeles son seleccionados de forma tal que contengan solo la información con cambios temporales relevantes dentro de la escena bajo análisis. Bajo estas nuevas condiciones, sería necesario el rediseño de muchos de los algoritmos de visión tradicionales, ya que estos trabajan en base a una secuencia de imágenes estáticas transmitidas a intrevalos de tiempo regulares. El paradigma de procesado por flujo de datos (data-flow processing) parace ajustarse de manera más adecuada a esta nueva forma de trabajo. En esta tesis, se presenta el primer sensor de visión basado en los principios SCD. Dicho sensor consiste en una matriz de 32x32 píxeles fabricada en tecnología CMOS de 350 nm. La mayor dificultad del diseño microelectrónico presentado en esta tesis es el diseño del bloque que selecciona el pixel de mayor cambio entre todos los de la matriz. Este problema ha sido resuelto mediante un circuito winner-takes-all (WTA). La propuesta de un circuito digital para la selección de un unico ganador en una matriz WTA compuesta por una gran cantidad de celdas es uno de los aportes originales de esta tesis. El sensor fue empotrado en un sistema de visión artifical portátil basado en un microcontrolador de 32 bits trabajando a 80 MHz. Este sistema ha sido utilizado para la implementación de un algoritmo de seguimiento de objetos así como para la caracterización misma del sensor. Con la experimentación presentada en esta tesis se demuestra como una sistema SCD simple y portátil, como el desarrollado aquí, se puede hacer el seguimiento de un objeto en movimiento con la resolución temporal de una cámara de alta velocidad trabajando a 2000 frames por segundo, pero utilizando solo el ancho de banda que utilizaría una cámara estándar de baja velocidad trabajando a 25 frames por segundo. Esto demuestra claramente que la utilización de la estrategia SCD implica una reducción substancial en los requisitos de ancho de banda y potencia de cálculo del sistema.