WO2015140364A1 - Hardware para cómputo de la imagen integral - Google Patents
Hardware para cómputo de la imagen integral Download PDFInfo
- Publication number
- WO2015140364A1 WO2015140364A1 PCT/ES2015/000037 ES2015000037W WO2015140364A1 WO 2015140364 A1 WO2015140364 A1 WO 2015140364A1 ES 2015000037 W ES2015000037 W ES 2015000037W WO 2015140364 A1 WO2015140364 A1 WO 2015140364A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- capacitor
- switches
- integral image
- cells
- voltage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
Definitions
- the present invention consists of mixed signal hardware for computation of the integral image in the focal plane by means of a grouping of basic sensing-processing cells whose interconnection can be reconfigured by peripheral circuitry that It makes possible a very efficient implementation of a very useful processing task in artificial vision such as the calculation of the integral image in scenarios such as monitoring of natural spaces, robotics, aid to unmanned aerial navigation etc.
- the scientific-technical area of the invention is that of physical technologies, specifically microelectronics. Its general application framework would be that of very low power consumption electronic systems designed to carry out artificial vision tasks, that is, image capture, analysis of them and action in case the results of said analysis so require. As specific applications of these devices, numerous examples could be proposed: industrial process monitoring, natural space monitoring, automated surveillance of public places, robotics, unmanned aerial navigation aid etc.
- the hardware object of the present invention would be physically located within recessed artificial vision systems, that is, compact systems capable of visually analyzing a scene autonomously and drawing conclusions about it. Specifically, it would be part of the photosensitive device responsible for capturing images that are subsequently processed by the rest of the system elements.
- This device known as an image sensor, would not only limit itself to capturing images and, possibly, to perform quality improvement tasks - such as noise filtering - but could also perform the computation of images integrals corresponding to the images captured thanks to the hardware proposed in this document.
- Each pixel of an integral image is obtained as the sum of the pixels located above and to the left of that pixel in the original image, according to the definition established in the OpenVX industrial specification [OpenVX [Provisional] Specification, version 1.0, KhronosGrouphttDs: / www. Khronos org / ODenvx. November 2013].
- OpenVX OpenVX [Provisional] Specification, version 1.0, KhronosGrouphttDs: / www. Khronos org / ODenvx. November 2013].
- Many examples could be cited, both commercial and reported in research articles, of "intelligent" image sensors capable of preprocessing images as an added value to their basic functionality, that is, capturing images with the highest possible quality. However, this number is considerably reduced when the mode of operation of said intelligent sensors is restricted to that of the hardware object of this invention.
- Image sensor having output of integral image US patent US 2010/0238312 A1]
- the operation is not based on an array of sensing-processing elements where the processing is carried out in a massively parallel manner.
- the sensors form an exclusively sensing matrix, sending the information they capture to the periphery of said matrix where it is processed in aggregate form.
- the basic structure of the proposed hardware consists of a regular two-dimensional spatial distribution of locally interconnected sensing-processing cells. This interconnection is independently reconfigured for each pair of adjacent rows and columns by peripheral control circuitry.
- the elementary sensing-processing cell includes, at least, the elementary processing circuitry for computation of the integral image, which must be included in each inner cell of the referred regular spatial distribution.
- the cells located on the right and bottom edges of the distribution would have only one switch connecting south or east respectively.
- the cell in the lower right corner would not have any switches.
- each pixel is represented by the voltage associated with a capacitor connected to the non-inverting input of an operational amplifier whose output is connected to its inverting input so that it is configured as an analog buffer.
- This buffer copies the voltage V i ⁇ into the voltage V c .. of a second capacitor connected to its output.
- the copy operation is only performed when activated by the CPJEN signal. Once copying is completed and this signal is deactivated, signals EN c07li £ + i and EN with; .
- the activation of these signals generated independently for each pair of adjacent columns and rows of the matrix by control circuitry located on the periphery of the cluster, closes two switches, causing a redistribution of the charge stored in the capacitors.
- Figure 1 basic structure of the proposed hardware, that is, a regular two-dimensional spatial distribution of locally interconnected sensing-processing cells. This interconnection can be reconfigured independently for each pair of adjacent rows and columns by peripheral control circuitry.
- Figure 2 elementary processing circuitry for computation of the integral image, which must be included in each inner cell of the regular spatial distribution shown in Figure 1.
- the cells located on the right and bottom edges of the distribution would have only one switch connecting to the south or east respectively.
- the cell in the lower right corner would not have any switches.
- Figure 3 Simplified scheme of how the reconfiguration by rows and columns of the interconnection of basic cells such as those detailed in Figure 2 is carried out in the proposed hardware.
- Figure 4 Example of realization of the elementary processing circuitry for calculation of the integral image shown in Figure 2. This example is designed for a standard CMOS technology of 0.18 ⁇ and 1.8V.
- Figure 5 Example of realization of the elementary peripheral circuitry of reconfiguration control by columns for calculation of the integral image. This example has been designed for a standard CMOS technology of 0.18 ⁇ and 1.8V.
- Figure 6 Example of realization of the elementary peripheral circuitry of reconfiguration control by rows for calculation of the integral image. This example has been designed for a standard CMOS technology of 0.18 ⁇ and 1.8V.
- the cell in the lower right corner would not include any connection to the east or south.
- the interconnection between cells can be activated or deactivated for each pair of adjacent columns and rows through control signals sent from the periphery of the cluster.
- the elementary sensing-processing cell (1) includes, at least, the circuitry shown in Figure 2. It would also be necessary to include in this cell a photosensor device that carries out the transduction of light to electrical signal representing The value of each pixel. However, said device and its circuit connection topology described below are not part of this invention, and therefore have been removed from Figure 2.
- the pixel value is represented by the voltage associated with a capacitor (4) connected to the non-inverting input of an operational amplifier (5) whose output is connected to its inverting input so that it is configured as an analog buffer.
- This buffer copies the voltage Vy to the voltage v CiJ of the capacitor (6) connected to its output.
- the copy operation is only performed when activated by the CP_EN signal, which controls the internal circuitry of the operational amplifier. Once copying is completed and this signal deactivated, the signals EN ctm .. + i and EN with would be conveniently activated.
- Eti c ⁇ mj end, after such redistribution, maintaining the same value, which will correspond to the average value of the copy of the pixel values V Clj prior to enabling the interconnection.
- This average is proportional to the sum of these pixels, and therefore can be used to extract the value of each pixel from the integral image.
- Figure 3 shows a simplified scheme of how such reconfiguration is carried out. There are signs of enabling / disabling connections between cells neighbors belonging to adjacent rows and columns. For example, EN ctmi 2c in Figure 3 would correspond to the signal EN with .. + i in Figure 2 for the cell located in the upper left corner of the cluster.
- EN con in Figure 3 would correspond to the signal EN conj + i in Figure 2 for this same cell.
- These signals can enable or disable the interconnection, by means of switches, of all the cells located in columns 1 and 2 and in rows 1 and 2 of the grouping respectively. Since each pixel of the integral image is defined, according to the OpenVX standard, as the sum of all the pixels located in the original image above and to the left of that pixel, the scheme and mode of operation represented in simplified form in Figure 3 they constitute hardware capable of providing said computation. For example, to calculate the value of the integral image of the pixel located at position (2,2), we must add the values of the pixels (1,1), (1,2), (2, l) and (2 ,2).
- Figures 4, 5 and 6 show, respectively, an operative example of implementation of the basic processing cell (1) of Figure 2 and of the peripheral digital cells for reconfiguration by rows and columns that generate the signals shown in Figure 3
- the design has been carried out in both cases for the same standard CMOS technology of 0.18 ⁇ and 1 .8V.
- Figure 4 shows the mapping of the different circuit elements listed in Figure 2 as well as the dimensions of each of the transistors that make up the proposed processing circuitry.
- a possible topology of the photosensor device connection (a photodiode in this case) has been included as well as a possible realization of the operational amplifier with activation signal CP_EN acting as an analog buffer.
- capacitors (4) and (6) are implemented in this exemplary embodiment by means of nMOS transistors, as well as switches (7) and (8).
- the copy time of the pixel value V i ⁇ at the voltage V c .. is approximately 150ns for a signal range V i ⁇ e [0.5,1-4 ⁇ ].
- the time required to carry out the redistribution of load once the EN signals with . . + 1 and EN with depends directly on the number of cells involved in such redistribution: the greater the number of cells, the greater the time of redistribution of load is necessary. Therefore, the computation time of each pixel value of the integral image will increase as more pixels of the original image are to be added.
- the maximum computation time of one pixel of the integral image is 3 ⁇ .
- An example of circuitry performance capable of generating each of the signals EN with .. + i and EN with is shown in Figure 5 and 6. It is based on a shift register formed by a sequential chain of interconnected flip-flops. This record must be pre-loaded with the interconnection pattern required for the pixel of the integral image that you want to calculate at any time. Once said pre-load has been made, the signals EN with .. + i and EN cm are generated when the signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
La presente invención, consiste en hardware de señal mixta para cómputo de la imagen integral en el plano focal mediante una agrupación de celdas básicas de sensado-procesamiento cuya interconexión puede ser reconfigurada mediante circuitería periférica que hace posible una implementación muy eficiente de una tarea de procesamiento muy útil en visión artificial como es el cálculo de la imagen integral en escenarios tales como monitorización de espacios naturales, robótica, ayuda a la navegación aérea no tripulada etc. El área científico-técnica de la invención es la de tecnologías físicas, concretamente microelectrónica. Su marco de aplicación general sería el de sistemas electrónicos de muy bajo consumo de potencia diseñados para llevar a cabo tareas de visión artificial, es decir, captura de imágenes, análisis de las mismas y actuación en caso de que los resultados de dicho análisis así lo requieran.
Description
DESCRIPCIÓN
Hardware para cómputo de la imagen integral. OBJETO DE LA INVENCION
La presente invención, según se expresa en el enunciado de esta memoria descriptiva, consiste en hardware de señal mixta para cómputo de la imagen integral en el plano focal mediante una agrupación de celdas básicas de sensado-procesamiento cuya interconexión puede ser reconfigurada mediante circuitería periférica que hace posible una implementación muy eficiente de una tarea de procesamiento muy útil en visión artificial como es el cálculo de la imagen integral en escenarios tales como monitorización de espacios naturales, robótica, ayuda a la navegación aérea no tripulada etc. El área científico-técnica de la invención es la de tecnologías físicas, concretamente microelectrónica. Su marco de aplicación general sería el de sistemas electrónicos de muy bajo consumo de potencia diseñados para llevar a cabo tareas de visión artificial, es decir, captura de imágenes, análisis de las mismas y actuación en caso de que los resultados de dicho análisis así lo requieran. Como aplicaciones específicas de estos dispositivos se podrían proponer a su vez numerosos ejemplos: monitorización de procesos industríales, monitorización de espacios naturales, vigilancia automatizada de lugares públicos, robótica, ayuda a la navegación aérea no tripulada etc.
ESTADO DE LA TÉCNICA
El hardware objeto de la presente invención se localizaría físicamente dentro de sistemas empotrados de visión artificial, es decir, sistemas compactos capaces de analizar visualmente una escena de manera autónoma y extraer conclusiones sobre la misma. En concreto, formaría parte del dispositivo fotosensible encargado de capturar las imágenes que son posteriormente procesadas por el resto de elementos del sistema. Este dispositivo, conocido como sensor de imagen, no solo se limitaría a capturar imágenes y, posiblemente, a realizar tareas de mejora de calidad de las mismas-como por ejemplo filtrado de ruido- sino que también podría llevar a cabo el cómputo de las imágenes integrales correspondientes a las imágenes capturadas gracias al hardware propuesto en este documento. Cada pixel de una imagen integral se obtiene como la suma de los pixeles
situados por encima y a la izquierda de ese pixel en la imagen original, de acuerdo a la definición establecida en la especificación industrial OpenVX [OpenVX [Provisional] Specification, versión 1.0, KhronosGrouphttDs:/www. khronos. org/ODenvx. noviembre 2013]. Se podrían citar muchos ejemplos, tanto comerciales como reportados en artículos de investigación, de sensores de imagen "inteligentes" capaces de pre-procesar imágenes como valor añadido a su funcionalidad básica, esto es, captura de imágenes con la mayor calidad posible. Sin embargo, este número se reduce considerablemente cuando el modo de operación de dichos sensores inteligentes se restringe al del hardware objeto de esta invención. Hablamos de una operación basada en una agrupación matricial de celdas básicas de sensado-procesamiento interconectadas entre sí dentro de un circuito integrado, también comúnmente conocido como chip. Estas celdas explotan el uso de circuitería de señal mixta para llevar a cabo, de forma masivamente paralela, determinadas tareas de bajo nivel sobre las imágenes sensadas. Alrededor de esta matriz se localiza circuitería periférica que realiza labores de control, polarización y configuración de dicha matriz. A nivel comercial, el mejor exponente de esta estructura hardware son los sensores inteligentes diseñados por la compañía "Innovaciones Microelectrónica S.L", comercialmente conocida como Anafocus [Innovaciones Microelectrónicas S.L, www, anafocus. com] . A nivel académico, numerosos grupos de investigación de diferentes países han propuesto sensores inteligentes que integran elementos fotosensibles, como por ejemplo fotodiodos, con circuitería a nivel de pixel capaz de manejar tanto señales analógicas como digitales (señal mixta) con el objeto de pre-procesar imágenes [Nilchi A, Aziz J, Genov R. "Focal- planealgorithmically-multiplying CMOS computationalimage sensor," IEEE J. Solid- StateCircuits 2009; 44(6) :1829-1839]; [ Jendernalik W, Blakiewicz G, Jakusz J, Szczepanski S, Piotrowski R. "Ananalog sub-miliwatt CMOS image sensor with pixel- levelconvolutionprocessing, " IEEE Trans. CircuitsSyst. I 2013; 60(2): 279-289]; [ Femández- Berni J, Carmona-Galan R. "AII-MOS implementation of RC networksfor time- controlledGaussianspatialFHtering, " Int. J. of CircuitTheory and Applications 2012; 40(8):859- 876];[Gottardi M, Massari N, Jawed SA. "A 100W 12864 pixelscontrast- basedasynchronousbinaryvisión sensor for sensor networksapplications, " IEEE J. Solid- StateCircuits 2009; 44(5):1582-1592]; [ Leñero-Bardallo JA, Serrano-Gotarredona T, Linares- Barranco B. "A 3.6us latencyasynchronousframe-freeevent-drivendynamic-vision-sensor, " IEEE J. Solid-StateCircuits 2011; 46(6): 1443-1455].
Si nos centramos exclusivamente en la operación de cómputo de la imagen integral basada en la arquitectura de sensado-procesamiento que acabamos de describir, no hemos encontrado ninguna referencia proponiendo una implementación remotamente similar. Sí se pueden citar dos ejemplos de incorporación del cálculo de la imagen integral sobre un sensor inteligente [Hoseini YD, Sayedi SM, Sadrí S. "A novel CMOS image sensor for high speed parallel integral image computation, " 21 st Iranian Conference on Electrícal Engineering (ICEE), 2013];[Jing-Shan Liang, Chien-Hong Lin, Tzu-Fang Lee, Kuo-Yu Chuang. "Image sensor having output of integral image," US patent US 2010/0238312 A1], pero en ambos casos la operación no está basada en una matriz de elementos de sensado- procesamiento donde el procesamiento se realice de forma masivamente paralela. En estos chips, los sensores conforman una matriz exclusivamente de sensado, enviándose la información que captan a la periferia de dicha matriz donde se procesa de forma agregada.
DESCRIPCIÓN DE LA INVENCIÓN
A modo de descripción de la invención, la estructura básica del hardware propuesto consiste en una distribución espacial regular bidimensional de celdas de sensado-procesamiento localmente interconectadas. Esta interconexión es reconfigurada de manera independiente para cada par de filas y columnas adyacentes mediante circuitería de control periférica.
En ella se presenta una agrupación de celdas elementales de sensado-procesamiento de señal mixta interconectadas entre sí localmente. Esta interconexión puede ser activada o desactivada para cada par de columnas y filas adyacentes por medio de señales enviadas desde la periferia de la agrupación. La celda elemental de sensado-procesamiento incluye, al menos, la circuitería elemental de procesamiento para cómputo de la imagen integral, que se debe incluir en cada celda interior de la distribución espacial regular referida. Las celdas situadas en los bordes derecho e inferior de la distribución presentarían solamente un interruptor conectando al sur o al este respectivamente. La celda de la esquina inferior derecha no presentaría ningún interruptor.
El valor de cada pixel se representa mediante el voltaje asociado a un condensador conectado a la entrada no inversora de un amplificador operacional cuya salida se conecta a su entrada inversora de manera que éste quede configurado como buffer analógico. Este buffer realiza la copia del voltaje Vi} en la tensión Vc.. de un segundo condensador conectado a su salida. La operación de copia solo se realiza cuando es activada por la señal CPJEN.
Una vez completada la copia y desactivada esta señal, se activarían convenientemente las señales ENc07li£+i y ENcon; . La activación de estas señales, generadas de forma independiente para cada par de columnas y filas adyacentes de la matriz por circuitería de control situada en la periferia de la agrupación, cierra sendos interruptores, provocando que se produzca una redistribución de la carga almacenada en los condensadores que mantienen la copia del valor de su pixel correspondiente, esto es, VCij. Esta redistribución de carga, por la propia naturaleza física de la operación, supone a su vez que todas las tensiones Vc.. de los condensadores interconectados mediante los dos interruptores ya citados acaben, tras dicha redistribución, manteniendo el mismo valor, que corresponderá al valor promedio de los valores de pixel VClJ previos a habilitar la interconexión. Este promedio es directamente proporcional a la suma de dichos pixeles, y por tanto puede ser utilizado para extraer el valor de cada pixel de la imagen integral. Para el cálculo de cada uno de estos pixeles se requiere una reconfiguración de las interconexiones entre celdas acorde a la localización del pixel concreto que se esté considerando.
DESCRIPCIÓN DE LAS FIGURAS
Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de esta descripción, un juego de figuras en las que, con carácter ilustrativo y no limitativo, se ha representado lo siguiente:
Figura 1 : estructura básica del hardware propuesto, esto es, una distribución espacial regular bidimensional de celdas de sensado-procesamiento localmente interconectadas. Esta interconexión puede ser reconfigurada de manera independiente para cada par de filas y columnas adyacentes mediante circuitería de control periférica.
Figura 2: circuitería elemental de procesamiento para cómputo de la imagen integral, que se debe incluir en cada celda interior de la distribución espacial regular mostrada en la Figura 1. Las celdas situadas en los bordes derecho e inferior de la distribución presentarían solamente un interruptor conectando al sur o al este respectivamente. La celda de la esquina inferior derecha no presentaría ningún interruptor.
Figura 3: esquema simplificado de cómo se lleva a cabo en el hardware propuesto la reconfiguración por filas y columnas de la interconexión de celdas básicas como las que se detallan en la Figura 2. Figura 4: ejemplo de realización de la circuitería elemental de procesamiento para cálculo de la imagen integral mostrada en la Figura 2. Este ejemplo se ha diseñado para una tecnología CMOS estándar de 0.18μηι y 1.8V.
Figura 5: ejemplo de realización de la circuitería periférica elemental de control de reconfiguración por columnas para cálculo de la imagen integral. Este ejemplo se ha diseñado para una tecnología CMOS estándar de 0.18μηι y 1.8V.
Figura 6: ejemplo de realización de la circuitería periférica elemental de control de reconfiguración por filas para cálculo de la imagen integral. Este ejemplo se ha diseñado para una tecnología CMOS estándar de 0.18μηι y 1.8V.
En las citadas figuras se pueden destacar los siguientes elementos constituyentes:
1. Celda elemental de sensado-procesamiento
2. Señales de reconfiguración por cada par de columnas adyacentes.
3. Señales de reconfiguración por cada par de filas adyacentes.
4. Condensador.
5. Amplificador operacional conectado por su entrada no inversora al condensador anterior.
6. Condensador conectado a la salida.
7. Interruptor.
8. Interruptor.
EJEMPLO DE REALIZACIÓN PREFERENTE
A modo de ejemplo de realización preferente del hardware objeto de esta invención,, consideramos la Figura 1. En ella podemos ver una agrupación de celdas elementales de sensado-procesamiento de señal mixta (1) interconectadas entre sí localmente. La interconexión de cada celda con sus vecinas se reduce a aquellas celdas vecinas existentes al norte, sur, este y oeste. Por tanto, mientras que las celdas localizadas en el interior de la
agrupación estarán conectadas a cuatro celdas vecinas, las celdas en los bordes estarán conectadas como máximo a tres celdas vecinas, reduciéndose a dos celdas vecinas en las celdas de las esquinas. Para construir la agrupación, solo es necesario incluir en cada celda interior conexiones al este y al sur, que constituirán las conexiones al oeste y norte, respectivamente, de las celdas vecinas que las reciban. Las celdas situadas en los bordes derecho e inferior de la distribución presentarían solamente una conexión al sur o al este respectivamente. La celda de la esquina inferior derecha no incluiría ninguna conexión ni al este ni al sur. La interconexión entre celdas puede ser activada o desactivada para cada par de columnas y filas adyacentes a través de señales de control enviadas desde la periferia de la agrupación. La celda elemental de sensado-procesamiento (1) incluye, al menos, la circuitería que se muestra en la Figura 2. Sería necesaria también la inclusión en esta celda de un dispositivo fotosensor que lleve a cabo la transducción de luz a señal eléctrica que represente el valor de cada pixel. Sin embargo, dicho dispositivo y su topología de conexión a la circuitería que se describe a continuación no forman parte de esta invención, y por tanto han sido eliminados de la Figura 2. En el presente caso, consideramos que el valor del pixel se representa mediante el voltaje asociado a un condensador (4) conectado a la entrada no inversora de un amplificador operacional (5) cuya salida se conecta a su entrada inversora de manera que éste quede configurado como buffer analógico. Este buffer realiza la copia del voltaje Vy en la tensión vCiJ del condensador (6) conectado a su salida. La operación de copia solo se realiza cuando es activada por la señal CP_EN, la cual controla circuitería interna del amplificador operacional. Una vez completada la copia y desactivada esta señal, se activarían convenientemente las señales ENctm..+i y ENcon . La activación de estas señales cierra los correspondientes interruptores (7) y/o (8), provocando que se produzca una redistribución de la carga almacenada en los condensadores que mantienen la copia del valor de su pixel correspondiente, esto es, VCij. Esta redistribución de carga supone, por la propia naturaleza física de la operación, que todas las tensiones Vc de los condensadores interconectados mediante los interruptores controlados por ENC0Tl..+ly
Etic<mj acaben, tras dicha redistribución, manteniendo un mismo valor, que corresponderá al valor promedio de la copia de los valores de pixel VClj previos a habilitar la interconexión. Este promedio es proporcional a la suma de dichos pixeles, y por tanto puede ser utilizado para extraer el valor de cada pixel de la imagen integral. Esto a su vez requiere una reconfiguración de interconexiones entre celdas para el cálculo de cada uno de estos pixeles. La Figura 3 muestra un esquema simplificado de cómo se lleva a cabo dicha reconfiguración. Existen señales de habilitación/deshabilitación de conexiones entre celdas
vecinas pertenecientes a filas y columnas adyacentes. Por ejemplo, ENctmi 2c en la Figura 3 correspondería a la señal ENcon..+i en la Figura 2 para la celda situada en la esquina superior izquierda de la agrupación. Igualmente, ENcon , en la Figura 3 correspondería a la señal ENconj +i en la Figura 2 para esta misma celda. Estas señales pueden habilitar o deshabilitar la interconexión, mediante interruptores, de todas las celdas situadas en las columnas 1 y 2 y en las filas 1 y 2 de la agrupación respectivamente. Dado que cada pixel de la imagen integral se define, de acuerdo al estándar OpenVX, como la suma de todos los pixeles situados en la imagen original por encima y a la izquierda de ese pixel, el esquema y modo de operación representados simplificadamente en la Figura 3 constituyen hardware capaz de proveer dicho cómputo. Por ejemplo, para calcular el valor de la imagen integral del pixel situado en la posición (2,2), debemos sumar los valores de los pixeles (1,1), (1,2), (2,l)y (2,2). Esto lo podemos conseguir, una vez copiados los valores de estos pixeles en las correspondientes tensiones VCíj, mediante la activación exclusivamente de las señales ENconi 2c y ENconi 2F , manteniendo desactivadas el resto de señales de interconexión tanto para columnas como para filas. Una vez activadas, estas señales provocan la redistribución de carga en los pixeles anteriormente mencionados, alcanzando cada una de las señales Vc.. implicadas el mismo valor al finalizar este proceso de redistribución: el valor promedio de sus valores previos a la redistribución de carga, que en última instancia implica el valor promedio de los pixeles (1,1), (1,2), (2,l)y (2,2). Este valor promedio es proporcional a la suma requerida para ese valor de pixel de la imagen integral. Reconfigurando convenientemente la interconexión de celdas, todos los valores de pixel de dicha imagen integral pueden ser calculados.
Las Figuras 4, 5 y 6 muestran, respectivamente, un ejemplo operativo de implementación de la celda básica de procesamiento (1) de la Figura 2 y de las celdas digitales periféricas para reconfiguración por filas y columnas que generen las señales mostradas en la Figura 3. El diseño ha sido realizado en ambos casos para una misma tecnología CMOS estándar de 0.18μιη y 1 .8V. En la Figura 4 se puede observar el mapeo de los diferentes elementos de circuito enumerados en la Figura 2 así como las dimensiones de cada uno de los transistores que componen la circuitería de procesamiento propuesta. Asimismo, se ha incluido una posible topología de conexión de dispositivo fotosensor (un fotodiodo en este caso) así como una posible realización del amplificador operacional con señal de activación CP_EN actuando como buffer analógico. Se puede destacar el hecho de que los condensadores (4) y (6) se implementan en este ejemplo de realización mediante
transistores nMOS, al igual que los interruptores (7) y (8). En esta realización, el tiempo de copia del valor de pixel Vi} en la tensión Vc.. es de aproximadamente 150ns para un rango de señal Vi} e [0.5,1-4·]. El tiempo requerido para llevar a cabo la redistribución de carga una vez activadas convenientemente las señales ENcon. .+ly ENcon depende directamente del número de celdas implicadas en dicha redistribución: a mayor número de celdas, mayor tiempo de redistribución de carga es necesario. Por tanto, el tiempo de cómputo de cada valor de pixel de la imagen integral se incrementará conforme más pixeles de la imagen original se deban sumar. Como referencia, para esta realización, con una imagen de resolución 320^240 pixeles, el tiempo máximo de cómputo de un pixel de la imagen integral es de 3με. En la Figura 5 y 6 se muestra un ejemplo de realización de circuitería capaz de generar cada una de las señales ENcon..+iy ENcon . Se basa en un registro de desplazamiento formado por una cadena secuencial de circuitos biestables (flip-flops) interconectados. Este registro se debe pre-cargar con el patrón de interconexión requerido para el pixel de la imagen integral que se desee calcular en cada momento. Una vez realizada dicha pre-carga, las señales ENcon..+iy ENcm se generan cuando la señal
SUM EN se activa.
Claims
1. - Hardware para cómputo de la imagen integral formado por una pluralidad de celdas elementales (1) de procesamiento de señal mixta interconectadas entre sí localmente, de tal forma que cada celda está solamente interconectada con las celdas vecinas existentes al norte, sur, este y oeste, no habiendo interacción directa más allá de esa periferia; y que se caracteriza porque cada celda comprende al menos un condensador (4) cuyo voltaje representa el valor de pixel; y donde este condensador (4) se conecta al terminal no inversor de un amplificador operacional (5) cuya salida se conecta a su entrada inversora de manera que éste quede configurado como buffer analógico; y donde este amplificador operacional incorpora una señal de control que habilita la copia de la tensión de pixel fijada en el condensador (4) a su tensión de salida; y donde un condensador (6) conectado a la salida del amplificador operacional mantiene dicha copia del valor de pixel; y donde el condensador (6) se interconecta mediante interruptores (7,8) con celdas vecinas existentes al este y sur; y donde la activación/desactivación de los interruptores se realiza mediante señales digitales de control generadas en la periferia de la pluralidad de forma independiente para cada par de filas y columnas adyacentes de celdas de dicha pluralidad; y donde se produce una redistribución de la carga almacenada en el condensador (6) con los correspondientes condensadores de las celdas vecinas cuando se active cualquiera de los interruptores (7,8); y donde el valor final de tensión en el condensador (6) tras esta redistribución de carga constituye un valor directamente proporcional al de un determinado pixel de la imagen integral.
2. - Hardware para cómputo de la imagen integral según reivindicación 1 , caracterizado por que el valor de la tensión del condensador (4), que representa el valor de un pixel de la imagen, puede ser copiado en cualquier momento al valor de tensión del condensador (6) mediante la activación de un señal de control del amplificador operacional (5) que los interconecta.
3. - Hardware para cómputo de la imagen integral según una cualquiera de las reivindicaciones 1 a 2, caracterizado por incorporar un condensador (6) que mantiene una copia del valor de pixel representado por la tensión en el condensador (4) y se conecta mediante interruptores (7,8) con celdas vecinas existentes al este y sur.
4. - Hardware para cómputo de la imagen integral según una cualquiera de las reivindicaciones 1 a 3, caracterizado por llevar a cabo la activación/desactivación de los interruptores (7,8) mediante señales digitales de control.
5.- Hardware para cómputo de la imagen integral según una cualquiera de las reivindicaciones 1 a 4 caracterizado por que las señales digitales de activación/desactivación de los interruptores (7,8) se generan en la periferia de la pluralidad, de manera independiente por cada par de filas y columnas adyacentes de celdas de dicha pluralidad.
6. - Método para cómputo de la imagen integral que opera sobre una pluralidad de celdas elementales (1) de procesamiento de señal mixta interconectadas entre sí localmente, de tal forma que cada celda está solamente interconectada con las celdas vecinas existentes al norte, sur, este y oeste, no habiendo interacción directa más allá de esa periferia, implementado en un hardware según se define en las reivindicaciones anteriores, caracterizado por una primera etapa de copia del valor de pixel representado por la tensión del condensador (4) en la tensión del condensador (6), haciendo uso de un amplificador operacional (5); y por una segunda etapa en la que se lleva a cabo un proceso de redistribución de la carga almacenada en el condensador (6) con la carga almacenada en otras celdas de la pluralidad determinado por señales de activación de los interruptores (7,8) provenientes de la periferia y establecidas de manera independiente por cada par de filas y columnas adyacentes de celdas de dicha pluralidad.
7. - Método para cómputo de la imagen integral según reivindicación 6, caracterizado por que la activación de los interruptores (7,8) conlleva un proceso de redistribución de la carga almacenada en la tensión del condensador (6) de cada una de las celdas de la pluralidad interconectadas por los interruptores activados.
8.- Método para cómputo de la imagen integral según una cualquiera de las reivindicaciones 6 a 7, caracterizado por que el proceso de redistribución de carga iniciado por la activación de los interruptores (7,8) conduce a un estado final de las tensiones del condensador (6) de las celdas implicadas tal que el valor de dicha tensión es el mismo para todas las celdas y coincide con el valor promedio de esas mismas tensiones antes de la activación de los interruptores.
9.- Método para cómputo de la imagen integral según una cualquiera de las reivindicaciones 6 a 8, caracterizado porque el valor promedio de tensión mantenido por el condensador (6) tras el proceso de redistribución de carga habilitado por la activación de los interruptores (7,8) constituye un valor directamente proporcional al de un determinado pixel de la imagen integral, cuya localización vendrá determinada por las filas y columnas adyacentes interconectadas mediante las señales provenientes de la periferia que controlan la activación/desactivación de los interruptores (7,8).
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201400224A ES2548791B1 (es) | 2014-03-20 | 2014-03-20 | Hardware para cómputo de la imagen integral |
| ESP201400224 | 2014-03-20 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015140364A1 true WO2015140364A1 (es) | 2015-09-24 |
Family
ID=54143783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/ES2015/000037 Ceased WO2015140364A1 (es) | 2014-03-20 | 2015-03-19 | Hardware para cómputo de la imagen integral |
Country Status (2)
| Country | Link |
|---|---|
| ES (1) | ES2548791B1 (es) |
| WO (1) | WO2015140364A1 (es) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1478171A1 (en) * | 2003-05-12 | 2004-11-17 | Istituto Trentino Di Cultura | A light-sensitive pixel and an integrated vision sensor comprising a plurality of shuch pixels |
| US20070279508A1 (en) * | 2006-06-05 | 2007-12-06 | Boyd Fowler | Capacitive transimpedance amplifier for CCD arrays |
| US20090091648A1 (en) * | 2007-10-09 | 2009-04-09 | Shengmin Lin | Multi-resolution Image Sensor Array with High Image Quality Pixel Readout Circuitry |
| US20100238312A1 (en) * | 2009-03-20 | 2010-09-23 | Industrial Technology Research Institute | Image sensor having output of integral image |
-
2014
- 2014-03-20 ES ES201400224A patent/ES2548791B1/es not_active Expired - Fee Related
-
2015
- 2015-03-19 WO PCT/ES2015/000037 patent/WO2015140364A1/es not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1478171A1 (en) * | 2003-05-12 | 2004-11-17 | Istituto Trentino Di Cultura | A light-sensitive pixel and an integrated vision sensor comprising a plurality of shuch pixels |
| US20070279508A1 (en) * | 2006-06-05 | 2007-12-06 | Boyd Fowler | Capacitive transimpedance amplifier for CCD arrays |
| US20090091648A1 (en) * | 2007-10-09 | 2009-04-09 | Shengmin Lin | Multi-resolution Image Sensor Array with High Image Quality Pixel Readout Circuitry |
| US20100238312A1 (en) * | 2009-03-20 | 2010-09-23 | Industrial Technology Research Institute | Image sensor having output of integral image |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2548791A1 (es) | 2015-10-20 |
| ES2548791B1 (es) | 2016-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3340306B1 (en) | Physical layout and structure of rgbz pixel cell unit for rgbz image sensor | |
| EP3238206B1 (en) | Rgbz pixel cell unit for an rgbz image sensor | |
| EP3238205B1 (en) | Rgbz pixel unit cell with first and second z transfer gates | |
| CN112866592B (zh) | 图像传感器和操作成像装置的方法 | |
| TWI707464B (zh) | 影像感測器及其操作方法 | |
| US20160198141A1 (en) | Imaging systems with phase detection pixels | |
| CN105282459A (zh) | 图像传感器中的像素分选 | |
| CN108886590A (zh) | 具有动态像素分仓的图像传感器 | |
| KR20210037302A (ko) | 이미지 센서 및 그 동작 방법 | |
| KR20150000250A (ko) | 단위 픽셀 및 그것을 포함하는 이미지 센서 | |
| JP2015159463A5 (es) | ||
| TWI615032B (zh) | 堆疊式晶片共享像素架構 | |
| US20260039973A1 (en) | Image sensing device and automotive device | |
| ES2548791B1 (es) | Hardware para cómputo de la imagen integral | |
| CN112311963B (zh) | 图像传感器和操作该图像传感器的方法 | |
| CN103782585A (zh) | 具有可编程集群的像素矩阵 | |
| US20260101126A1 (en) | Imaging sensor device using an array of single-photon avalanche diode photodetectors | |
| US20250168507A1 (en) | Image sensor, electronic device including image sensor and operating method thereof | |
| WO2014057146A1 (es) | Dispositivo para la detección hardware de extremos locales en una imagen | |
| US9749555B2 (en) | Arithmetic memory with horizontal binning capabilities for imaging systems | |
| JP2018057048A5 (es) | ||
| ES2421581B1 (es) | Procesador de imágenes para extracción de características | |
| WO2013164499A1 (es) | Dispositivo para la detección de bordes y mejora de calidad en una imagen |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15765003 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15765003 Country of ref document: EP Kind code of ref document: A1 |