WO2018158482A1 - Sensor de imágenes - Google Patents
Sensor de imágenes Download PDFInfo
- Publication number
- WO2018158482A1 WO2018158482A1 PCT/ES2018/070149 ES2018070149W WO2018158482A1 WO 2018158482 A1 WO2018158482 A1 WO 2018158482A1 ES 2018070149 W ES2018070149 W ES 2018070149W WO 2018158482 A1 WO2018158482 A1 WO 2018158482A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- linked
- transistor
- column
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/10—Integrated devices
- H10F39/12—Image sensors
Definitions
- the object of the invention is an image sensor with "on-chip” compressive sampling for the capture and transmission of compressed complete images.
- the image sensors comprise a matrix of pixels, with rows and columns, where each pixel in turn comprises a photosensitive element, such as a reverse polarized photodiode, to convert the incident light into an electrical signal.
- the level of lighting that each pixel receives is determined by integrating the electric current produced by the photosensitive element, since the number of electrons generated during integration is proportional to the amount of incident light.
- CMOS sensors Complement / Metal Oxide Semiconductor
- CCD sensors Charge Coupled Device
- Both types of image sensors digitize the electrical signal generated by the photosensitive elements and transmit it to memories, usually off-chip, ie memories that are not part of the image sensor. These memories are where images are stored in the form of digital data. Usually, to reduce the amount of data stored, these digital data are compressed, generating a compressed image of smaller size and stored in said memory.
- the fundamental requirement for successful compressive sampling is that the ⁇ signal is sufficiently dispersed ("sparse").
- a scattered signal is one that has a small number of nonzero components compared to its total length. This property can occur either in the original domain or with respect to another base. For example, it is possible to express an image, in the Fourier domain, or in the form of wavelets.
- the compression strategy ⁇ is the method by which linear combinations of the coefficients of the signal expressed in a domain in which it is especially dispersed are formed.
- the scattering dictionary ⁇ is a matrix that multiplied by an original signal returns a vector that contains the transformation coefficients of the original signal of that domain.
- An application of compressive sampling in image sensors is the implementation of a compression strategy ⁇ within the sensor itself, so that each of the samples obtained is the linear combination of a group of pixels from the original image.
- This compression strategy into the image sensor, there are currently two methodologies: selecting the elements of ⁇ of a random distribution, or randomly rearranging the rows of a matrix that constitutes an incoherent orthonormal basis. Each of these methods results in a different physical implementation.
- the use of an incoherent orthonormal base is behind interventions in the optical elements of the sensor, while the use of random distributions has been used to design specific optical or electronic elements for the implementation of the compression strategy.
- An example of an image sensor with compressive sampling performed by optical elements is the single-pixel camera described in "An Architecture for Compressive Imaging" by MB Wakin, et al., Where a first attempt at implementing a strategy is described.
- compression sampling More specifically, light is projected onto a matrix of micro-mirrors whose position is controlled by a pseudo-random pattern. The selected mirrors project the light intensity on a photosensor that integrates all the contributions resulting in a compressed sample consisting of the linear combination of the light intensities incident on all the micro-mirrors selected by the pattern.
- the image sensor with compressive sampling by optical elements have a very high cost of production because they require micro-electromechanical devices, such as micro-mirrors that are very expensive to manufacture.
- Another disadvantage is that these parts are mobile, which requires high-precision actuators that consume electricity and occupy an important space in the sensor. Additionally, having moving parts require preventive maintenance of these to ensure the correcting operation.
- image sensors have been developed with compressive sampling performed by electronic elements.
- the first of these image sensors was described by V. Majidzadeh et al in "A (256x256) Pixel 76.7mW CMOS Imager / Compressor Based on Real-Time In-Pixel Compressive Sensing”.
- This image sensor comprises a pixel in current mode and in-pixel selection elements, and by means of a programmable two-dimensional coding technique guarantees the randomness of the coefficients used in the successive samples. These random patterns are generated using an external source and distributed to each pixel through the use of shift registers. The currents generated by all the pixels that contribute to the sample are added with a transimpedance amplifier. The sample is then digitized using a 1-bit converter. This results in a loss of information due to the low resolution of the quantization performed during image processing.
- CMOS Image Sensor With Per-Column ⁇ ADC and Programmable Compressed Sensing (DOI: 10.1 109 / JSSC.2012.2214851)
- DOE Programmable Compressed Sensing
- the pixel blocks and columns are selected using an external pattern generator.
- the compression strategy is done in 16x 16 pixel blocks. To average the contributions within each block, averaging is performed, resulting in a loss of resolution and a poorer subsequent reconstruction of the compressed image.
- Another image sensor with compressive sampling that operates on sub-images is also known, as described in "A Low Power CMOS Imager Based on Distributed Compressed Sensing (DOI: 10.1 109 / VLSID.2014.99)" by B. Kaliannan , et al.
- This image sensor operates in blocks of 8x8 pixels. More specifically, block sampling is performed according to a binary pseudo-random sequence that is stored on a chip. The linear combination is done by averaging the selected pixels. In order to reduce the dynamic range necessary for the sum of contributions, the pixels are selected by a Rademacher matrix, so that there are positive and negative contributions. The latter are obtained by changing the polarity of the capacitors used to perform the averaging by redistribution of charge.
- the optimal solution for the problem of reconstructing an image from compressed samples is obtained when each of these samples has been obtained by linear combination of all image pixels multiplied each by a random weight
- the strategies implemented are a simplification of this procedure that leads to a sub-optimal reconstruction.
- Such reconstruction is usually carried out by means of reconstruction methods such as the Nesterov algorithm which is an image reconstruction method based on the acceleration of the descending gradient method or rapid descent algorithm.
- these image sensors with compression sampling are also limited in practice by the need to share the compression strategy between the image sensor and the image reconstruction mechanisms. For this, it is necessary to generate said strategy in the sensor and retransmit it to the reconstruction mechanisms, or have it stored in advance. In both cases, the practical limitations of the implementation lead to the application of compression strategies to small pixel blocks, resulting in a sub-optimal reconstruction
- the present invention describes an image sensor with compressive sampling comprising a matrix of pixels with rows and columns, wherein each pixel in turn comprises a photosensitive element for converting the incident light into an electrical signal. More specifically, the image sensor comprises:
- each column bus for each column of the pixel matrix, where each column bus is linked to all the pixels of its corresponding column, and where each column bus in turn comprises two pulse transmission lines, one for positive pulses and another for negative pulses, - a first circuit, to generate a pseudo-random sequence of binary numbers, comprising respectively a vertical element and an element horizontal, for each row and column of the pixel matrix; wherein the vertical and horizontal elements are connected to each other in a ring, each vertical element is linked to all the pixels of its corresponding row, each horizontal element is linked to all the pixels of its corresponding column; and each vertical and horizontal element generates a pixel selection signal, which selects the pixels that contribute to compression,
- a second circuit that receives the pixel selection signal to establish by which pulse transmission line, positive or negative, the contribution of each pixel is transmitted
- a third circuit to generate in each pixel a pulse frequency coding of the pixel value and transmit it to the transmission line selected by the second circuit of its corresponding column bus, and
- a fourth circuit linked to at least the third circuit, through a column bus, for each column of the pixel matrix to receive the pulse frequency coding of the pixel value of each compressed pixel, to obtain a compressed digital signal of the full image.
- Said first circuit is a digital circuit that implements a class III cellular automaton to generate, from an initial seed, the pseudo-random sequence of binary numbers.
- the rows and columns of the pixel matrix are selected in a pseudo-random manner, without the need to store anything beyond the initial seed, and without the need to retransmit the pseudo-random sequence. This is because this pseudo-random sequence is reproduced in a decompression device using a similar digital circuit that will start from the same seed.
- a mathematical model of a dynamic system that evolves and generates complex pseudo-random patterns from a logical rule is considered as a cellular automaton.
- This cellular automaton comprises cells that are implemented by digital electronics and linked to each other.
- the cellular automaton as the first circuit or digital circuit that implements it, as well as to the cells or as the digital electronics that implements them.
- Each element of the first circuit is a digital element, as a cell of the cellular automaton, comprising three inputs: L, C, R and a current state output S, wherein said current state output S is fed back through the input C and is transmitted to the two anterior and posterior neighboring cells through their R and L inputs respectively so that the class III cellular automaton follows rule 30.
- the anterior neighboring cell of the first cell of the column is the last cell of the row and the posterior neighboring cell of the last cell of the row is the last cell of the column.
- each digital element, or cell comprises:
- a first XOR gate that receives the output of the OR gate and the R input, and whose output is equal to the next NS state of the cell
- the logical rule specifically rule 30, relates the next state of each cell to its current state and the current states of its nearest neighboring cells for each clock cycle, resulting in a truth table easily obtainable from the initial seed, and therefore it is possible to decompress the compressed image through reconstruction mechanisms that reverse the applied logic rule.
- the clock is an electrical signal external to the array of pixels that in each clock cycle allows the image sensor to generate a new compressed sample.
- an FPGA Field Programmable Gate Array
- IC 555 timer an IC 555 timer
- each photosensitive element is a photodiode and the third circuit for each photodiode comprises:
- an operational amplifier comprising a positive input and a negative input, the negative input being linked to said node, with the positive input linked to a reference voltage and the output linked to the first and second transistors,
- the second circuit for each photodiode comprises: a second XOR gate, an inverter, a third transistor and a fourth transistor, so that:
- the two inputs of the second XOR gate are linked to the selection signals generated in the vertical cell and by the horizontal cell corresponding to this pixel, and its output is linked to the input of the inverter and the gate of the third transistor,
- the output of the inverter is linked to the door of the fourth transistor
- the output of the operational amplifier is linked to the door of the first and second transistor
- the drain of the third transistor is linked to the positive line of the column bus and its source with the drain of the first transistor that in turn has its source grounded
- the drain of the fourth transistor is linked to the negative line of the column bus and its source with the drain of the second transistor which in turn has its source grounded, and
- the second XOR gate when the pulse train is generated, the second XOR gate combines the selection signals per column and per row at the pixel level, to account for the contribution of this pixel as positive, activating the third transistor, or as negative activating the fourth transistor, and transmit them through the column bus to form the pulse frequency coding of the pixel value
- the fourth circuit comprises: a battery of counters for each column linked to its corresponding column bus to accumulate the contributions that the bus of column transports during a period of integration, that is the period of exposure of the pixel matrix to the light that is determined by the lighting conditions of the scene, and a cascade of adders linked to the counter batteries to sum the contributions of each column and compress the image captured by the sensor. In this way an image sensor is obtained that compresses a complete image without breaking down the image into blocks and maintaining the dynamic range of the image. Additionally, this image sensor allows to implement a compression strategy for the complete image without needing to retransmit or store said strategy.
- Figure 1. Shows a diagram of the sensor architecture.
- Figure 2. Shows a view of the architecture of the cellular automaton in which the connection of each cell of the cellular automaton is shown.
- Figure 3. Shows a graphic representation of the application of rule 30 on the cells of the cellular automaton.
- Figure 4. Shows a schematic diagram of a preferred implementation of each of the cells of the cellular automaton.
- Figure 5. Shows a schematic diagram of one of the pixels of the pixel matrix.
- a preferred embodiment of the invention is an image sensor (100) with compressive sampling generated “on-chip", wherein the Compression is performed on the entire image and an adaptation of the dynamic range is performed for precise coding of the compressed samples.
- the image sensor (100) comprises an array of pixels (5) with rows and columns, a cellular automaton (1) linked to said pixel array (5), a column bus (10) for each column of the array of pixels (5), a battery of counters (21) linked to each column bus (10) and a cascade of adders (22) linked to the counter batteries (21).
- This cellular automaton (1) follows rule 30 so it has a class III behavior and comprises a plurality of cells (3). Specifically, a vertical cell (3v) for each column and a horizontal cell (3h) for each row of the pixel matrix (5), so that each vertical cell (3v) is linked to each pixel of its column and each horizontal cell (3h) is linked to each pixel in the row to generate selection signals (4).
- These cells have a ring structure that implements aperiodic behavior to generate a pseudo-random sequence of binary numbers with as many digits as the sum of the rows and columns of the pixel matrix (5).
- the selection signals (4) select the pixels of the rows and columns to compress their information.
- each vertical and horizontal cell (3v, 3h) generates a selection signal (4) comprising a selection bit to select, or not, the pixel and thereby compress the entire image.
- each column bus (10) comprises two pulse transmission lines, one for positive pulses and one for negative pulses.
- the pulses of each column bus (10) are accumulated, during an integration period, by the meter battery (21) to which it is linked.
- the cascade of adders (22) will add the accounts made in each column to form the compressed sample.
- the integration period is the time window during which the cascade of adders (22) counts the pulses. That is, at that time all the pulses are counted, that is, the positive or negative contributions of the pixels, and the result it is the sum of all the pulses that have been received in the adder cascade (22) forming the compressed sample.
- each cell (3) of the cellular automaton (1) is shown in Figure 2.
- Each cell (3) is implemented by a digital element comprising three inputs: L, C, R and one output of current state S, wherein said current state output S is fed back through input C and transmitted to the two neighboring cells anterior (3a) and posterior (3p) through its inputs R and L respectively.
- These inputs L, C R are used to generate the next state of the current state output S following a truth table (8) as shown in Figure 3.
- Figure 3 shows the graphic representation of the application of rule 30 on the cells (3) of the cellular automaton (1) and the current state of each cell (3) and its neighboring cells (3) immediately anterior and posterior.
- input C represents its current state of input
- L represents the current value of its previous cell (3)
- input R represents the current value of its subsequent cell (3).
- each of the cells (3) of the cellular automaton (1) comprises an OR gate (23), a first XOR gate (24) and a D-type flip-flop (25). ).
- the truth table (8) can be made by said OR gate (23) linked to the XOR gate (24) with which the entries corresponding to the anterior and posterior neighbors, L and R, and the feedback itself are combined from state S through C.
- flip-flop type D (25) is used so that the next state NS will not become the current one until Next flank of the CLK clock.
- Figure 5 shows the schematic diagram of one of the pixels of the matrix (5).
- each pixel comprises a photodiode (19) whose photogenerated current is discharged into a node (18).
- the image sensor (100) comprises an operational amplifier (13) and a reset transistor (20), for each pixel, wherein the operational amplifier (13) comprises a positive input and a negative input, the negative input being linked to said node (18) and with the positive input linked to a reference voltage (Vref).
- Vref reference voltage
- the operational amplifier (13) will again offer a low voltage value at the output. This cycle will be repeated as long as the photodiode (19) is illuminated, thus generating a pulse train whose frequency will be proportional to the light intensity incident on the photodiode (19).
- the image sensor (100) comprises a second XOR gate (9), an inverter (16), a first transistor (1 1), a second transistor (12), a third transistor (14) and a fourth transistor (15 ), so that:
- the two inputs of the second XOR gate (9) are linked to the selection signals (4) generated by the vertical cell (3) and by the horizontal cell (3) corresponding to this pixel, and its output is linked to the input of the inverter (16) and with the door of the third transistor (14),
- the output of the operational amplifier (13) is linked to the gate of the first and second transistor (1 1, 12), the drain of the third transistor (14) is linked to the positive line of the column bus (10) and its source with the drain of the first transistor (1 1) which in turn has its source grounded, and
- the drain of the fourth transistor (15) is linked to the negative line of the column bus (10) and its source with the drain of the second transistor (12) which in turn has its source grounded.
- the second XOR gate (9) combines the selection signals (4) per column and per row at the pixel level, so that it decides if the pixel contribution is to be counted as positive, activating the third transistor (14) or negative, activating the fourth transistor (15), so that the pulses generated by the operational amplifier (13) are reproduced by the first and second transistor (1 1, 12) and transmitted as positive or negative contributions through their respective positive or negative lines of the column bus (10).
- the high active pulses generated are transmitted as low active pulses by the structure of the lines, which have pull-up resistors (17) so that the voltage is high if none of the pixels in the column are emitting a pulse.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
El objeto de la invención es un sensor de imágenes (100) con muestreo compresivo "on-chip" para la captura, comprensión y transmisión de imágenes completas. Más concretamente, este sensor de imágenes (100) que comprende una matriz de pixeles (5) con filas y columnas, para convertir la luz incidente en una señal eléctrica, un primer circuito, para generar una secuencia pseudo-aleatoria de números binarios que selecciona los pixeles a comprimir, un segundo y un tercer circuito para recibir la señal de selección (4) de cada pixel y generar para cada pixel comprimido una codificación en frecuencia de pulsos del valor del pixel, y un cuarto circuito que recibe la codificación en frecuencia de pulsos del valor del pixel de cada pixel comprimido, para obtener una señal digital comprimida de la imagen completa.
Description
SENSOR DE IMÁGENES
DESCRIPCIÓN OBJETO DE LA INVENCIÓN
El objeto de la invención es un sensor de imágenes con muestreo compresivo "on-chip" para la captura y transmisión de imágenes completas comprimidas. ANTECEDENTES DE LA INVENCIÓN
Los sensores de imágenes comprenden una matriz de pixeles, con filas y columnas, en donde cada pixel a su vez comprende un elemento fotosensible, tal como un fotodiodo polarizado inversamente, para convertir la luz incidente en una señal eléctrica. El nivel de iluminación que recibe cada pixel se determina integrando la corriente eléctrica producida por el elemento fotosensible, ya que el número de electrones generado durante la integración es proporcional a la cantidad de luz incidente.
Actualmente, los sensores de imágenes se dividen principalmente en dos grupos, sensores CMOS (Complementan/ Metal Oxide Semiconductor) y sensores CCD (Charge Coupled Device). Generalmente, estos se diferencian entre sí porque el sensor CMOS comprende un amplificador de la señal eléctrica para cada elemento fotosensible, mientras que el sensor CCD envía la señal eléctrica producida por cada elemento fotosensible al exterior del pixel para ser amplificada.
Ambos tipos de sensores de imágenes digitalizan la señal eléctrica generada por los elementos fotosensibles y la transmiten a memorias, generalmente off-chip, es decir memorias que no forman parte del sensor de imágenes. En estas memorias es donde se almacenan las imágenes en forma de datos digitales. Habitualmente, para disminuir la cantidad de datos almacenados estos datos digitales son comprimidos generando una imagen comprimida de menor tamaño y almacenada en dicha memoria.
Estas imágenes comprimidas requieren un menor ancho de banda a la hora de ser transmitidas a expensas de un esfuerzo computacional para su reconstrucción. Debido a este menor ancho de banda, actualmente diferentes métodos de compresión se aplican en fotografía, tomografía, resonancia magnética y radioastronomía, con el fin de obtener la
máxima información en las imágenes comprimidas y por tanto de menor tamaño.
Los métodos más comunes que se utilizan para comprimir estas señales eléctricas digitalizadas y obtener las imágenes comprimidas presentan una serie de inconvenientes. Entre estos inconvenientes se encuentra un tiempo elevado para adquirir la imagen digitalizada completa debido a que es necesario un elevado número de muestras de la imagen digitalizada, un consumo eléctrico elevado de los convertidores analógico/digital que digitalizan la imagen y una complejidad elevada del propio método de compresión que puede llegar a necesitar de un procesador completamente dedicado a implementar dicha compresión.
Actualmente, con tal de reducir estos inconvenientes se ha comenzado a implementar en sensores de imágenes técnicas de muestreo compresivo, obteniendo los primeros sensores de imágenes con muestreo compresivo. La característica principal de las técnicas de muestreo compresivo está contenida en la siguiente ecuación: γ=φψα (1) donde "y" son las muestras de la señal eléctrica comprimidas, "Φ" es la estrategia de compresión, "Ψ" es el diccionario de dispersión ("sparsification"), y "a" son los coeficientes de la señal eléctrica original.
El requisito fundamental para un muestreo compresivo exitoso es que la señal α sea suficientemente dispersa ("sparse"). Una señal dispersa es la que tiene un pequeño número de componentes distintos de cero en comparación con su longitud total. Esta propiedad puede darse bien en el dominio original o bien con respecto a otra base. Por ejemplo, es posible expresar una imagen, en el dominio de Fourier, o en forma de wavelets. La estrategia de compresión Φ es el método mediante el cual se forman combinaciones lineales de los coeficientes de la señal expresada en un dominio en el cual resulta especialmente dispersa. El diccionario de dispersión Ψ es una matriz que multiplicada por una señal original devuelve un vector que contiene los coeficientes de la transformación de la señal original de dicho dominio.
Una aplicación del muestreo compresivo en sensores de imágenes es la implementación de una estrategia compresiva Φ dentro del propio sensor, de modo que cada una de las muestras obtenidas sea la combinación lineal de un grupo de píxeles de la imagen original.
Para incorporar esta estrategia compresiva en el sensor de imágenes existen en la actualidad dos metodologías: seleccionar los elementos de Φ de una distribución aleatoria, o bien reorganizar de forma aleatoria las filas de una matriz que constituya una base ortonormal incoherente. Cada uno de estos métodos resulta en una implementacion física diferente. Hasta la fecha, el uso de una base ortonormal incoherente está detrás de las intervenciones en los elementos ópticos del sensor, mientras que el uso de distribuciones aleatorias se ha utilizado para diseñar elementos ópticos o electrónicos específicos para la implementación de la estrategia de compresión. Un ejemplo de sensor de imágenes con muestreo compresivo realizado por elementos ópticos es la cámara de un solo píxel descrita en "An Architecture for Compressive Imaging" por M. B. Wakin, et al., en donde se describe un primer intento de implementación de una estrategia de muestreo compresivo. Más concretamente, la luz se proyecta sobre una matriz de micro-espejos cuya posición está controlada por un patrón pseudo-aleatorio. Los espejos seleccionados proyectan la intensidad luminosa sobre un fotosensor que integra todas las contribuciones resultando en una muestra comprimida consistente en la combinación lineal de las intensidades luminosas incidentes en todos los micro-espejos seleccionados por el patrón. Sin embargo, los de sensor de imágenes con muestreo compresivo por elementos ópticos presentan un coste muy elevado de producción debido a que requieren dispositivos micro- electromecánicos, tal como micro-espejos que son muy caros de fabricar. Otra desventaja, es que estas partes son móviles con lo cual requiere de actuadores de alta precisión que consumen electricidad y ocupan un espacio importante en el sensor. Adicionalmente, al haber partes móviles requieren un mantenimiento preventivo de estas para asegurar el corrector funcionamiento.
Debido a esto, se han desarrollaron sensores de imágenes con muestreo compresivo realizado por elementos electrónicos. El primero de estos sensores de imágenes fue descrito por en V. Majidzadeh et al en "A (256x256) Pixel 76.7mW CMOS Imager/Compressor Based on Real-Time In-Pixel Compressive Sensing". Este sensor de imágenes comprende un píxel en modo de corriente y elementos de selección in-pixel, y mediante una técnica de codificación bidimensional programable garantiza la aleatoriedad de los coeficientes utilizados en las sucesivas muestras. Estos patrones aleatorios se generan utilizando una fuente externa y se distribuyen a cada píxel mediante el uso de registros de desplazamiento. Las corrientes generadas por todos los píxeles que
contribuyen a la muestra se agregan con un amplificador de transimpedancia. A continuación la muestra es digitalizada mediante un convertidor de 1 1 bits. Esto produce una pérdida de información debido a la baja resolución de la cuantización realizada durante el procesado de la imagen.
Otro ejemplo de sensor de imágenes con muestreo compresivo por medios electrónicos es descrito por Y. Oike et al. en "CMOS Image Sensor With Per-Column ΣΔ ADC and Programmable Compressed Sensing (DOI: 10.1 109/JSSC.2012.2214851 )" donde emplea un modulador ΣΔ por columna. La selección de los bloques de píxeles y las columnas se realiza mediante un generador de patrones externo. La estrategia de compresión se realiza a bloques de 16x 16 píxeles. Para hacer la suma de las contribuciones dentro de cada bloque se realiza un promediado, lo que resulta en una pérdida de resolución y una reconstrucción posterior más pobre de la imagen comprimida. También es conocido otro de sensor de imágenes con muestreo compresivo que opera sobre sub-imágenes, tal y como se describe en "A Low Power CMOS Imager Based on Distributed Compressed Sensing (DOI: 10.1 109/VLSID.2014.99) " por B. Kaliannan, et al. Este sensor de imágenes opera en bloques de 8x8 píxeles. Más concretamente, el muestreo del bloque se realiza de acuerdo a una secuencia binaria pseudo-aleatoria que está almacenada en un chip. La combinación lineal se realiza mediante el promediado de los píxeles seleccionados. Con el fin de reducir el rango dinámico necesario para la suma de contribuciones, los píxeles son seleccionados mediante una matriz de Rademacher, de modo que hay contribuciones positivas y negativas. Estas últimas se obtienen cambiando la polaridad de los condensadores empleados para realizar el promediado mediante redistribución de carga.
Cabe destacar que la solución óptima para el problema de la reconstrucción de una imagen a partir de las muestras comprimidas se obtiene cuando cada una de estas muestras ha sido obtenida mediante la combinación lineal de todos los píxeles de la imagen multiplicados cada uno de ellos por un peso aleatorio. Actualmente, las estrategias implementadas son una simplificación de este procedimiento que desemboca en una reconstrucción sub-óptima. Habitualmente dicha reconstrucción se realiza mediante métodos de reconstrucción tal como el algoritmo de Nesterov que es un método de reconstrucción de imágenes basado en la aceleración del método de gradiente descendente o algoritmo del descenso rápido.
Adicionalmente, también estos sensores de imagen con muestreo compresión están limitados en la práctica por la necesidad de compartir la estrategia de compresión entre el sensor de imagen y los mecanismos de reconstrucción de la imagen. Para ello es necesario generar dicha estrategia en el sensor y retransmitirla a los mecanismos de reconstrucción, o bien tenerla almacenada de antemano. En ambos casos, las limitaciones prácticas de la implementación conducen a la aplicación de las estrategias de compresión a bloques de pixeles de tamaño reducido, resultando en una reconstrucción sub-óptima
Otro problema recurrente en la aplicación de estrategias de muestreo compresivo a una matriz de pixeles es el rango dinámico de las muestras compresivas. Formalmente el rango dinámico de las muestras compresivas necesario será tantas veces mayor que el rango dinámico de una muestra original como pixeles contenga la imagen. Es decir ya que una muestra compresiva se obtiene a partir de la combinación lineal de los valores de los pixeles, es bastante habitual que el valor de una muestra compresiva sea más grande que el valor de un único pixel, pero no se puede descartar que la muestra compresiva sea muy pequeña, entonces el rango dinámico que necesitamos para expresar una muestra compresiva (comprimida) es bastante mayor que el que necesitamos para expresar un único pixel. En la práctica esto significa que para representar las muestras comprimidas correspondientes a la imagen completa necesitaríamos demasiados recursos. Debido a esto, actualmente se trabaja con bloques de la imagen, cuyas muestras comprimidas cubren un rango dinámico más asequible. DESCRIPCIÓN DE LA INVENCIÓN
La presente invención describe un sensor de imágenes con muestreo compresivo que comprende una matriz de pixeles con filas y columnas, en donde cada pixel a su vez comprende un elemento fotosensible para convertir la luz incidente en una señal eléctrica. Más concretamente, el sensor de imágenes comprende:
un bus de columna para cada columna de la matriz de pixeles, en donde cada bus de columna está vinculado con todos los pixeles de su correspondiente columna, y en donde cada bus de columna a su vez comprende dos líneas de trasmisión de pulsos, una para pulsos positivos y otra para pulsos negativos, - un primer circuito, para generar una secuencia pseudo-aleatoria de números binarios, que comprende respectivamente un elemento vertical y un elemento
horizontal, por cada fila y columna de la matriz de pixeles; en donde los elementos verticales y horizontales están conectados entre sí en anillo, cada elemento vertical está vinculado con todos los pixeles de su correspondiente fila, cada elemento horizontal está vinculado con todos los pixeles de su correspondiente columna; y cada elemento vertical y horizontal genera una señal de selección de pixeles, que selecciona los pixeles que contribuyen a la compresión,
un segundo circuito que recibe la señal de selección de pixeles para establecer por cual línea de trasmisión de pulsos, positiva o negativa, se trasmite la contribución de cada pixel,
un tercer circuito para generar en cada pixel una codificación en frecuencia de pulsos del valor del pixel y trasmitirla a la línea de transmisión seleccionada por el segundo circuito de su bus de columna correspondiente, y
un cuarto circuito vinculado con al menos el tercer circuito, a través de un bus de columna, para cada columna de la matriz de pixeles para recibir la codificación en frecuencia de pulsos del valor del pixel de cada pixel comprimido, para obtener una señal digital comprimida de la imagen completa.
Dicho primer circuito es un circuito digital que implementa un autómata celular de clase III para generar, a partir de una semilla inicial, la secuencia pseudo-aleatoria de números binarios.
De este modo, las filas y columnas de la matriz de pixeles se seleccionan de manera pseudo-aleatoria, sin necesidad de almacenar nada más allá de la semilla inicial, y sin necesidad de retransmitir la secuencia pseudo-aleatoria. Esto es debido a que esta secuencia pseudo-aleatoria se reproduce en un dispositivo de descompresión mediante un circuito digital similar que partirá desde la misma semilla.
En la presente descripción se considera como un autómata celular a un modelo matemático de un sistema dinámico que evoluciona y que genera patrones complejos pseudo-aleatorios a partir de una regla lógica. Este autómata celular comprende células que están implementadas por electrónica digital y vinculadas entre sí. A lo largo de la descripción también nos referimos al autómata celular como el primer circuito o circuito digital que lo implementa, así como a las células o como la electrónica digital que las implementa.
Cada elemento del primer circuito es un elemento digital, a modo de célula del autómata celular, que comprende tres entradas: L, C, R y una salida de estado actual S, en donde dicha salida de estado actual S se realimenta a través de la entrada C y se transmite a las dos células vecinas anterior y posterior a través de sus entradas R y L respectivamente para que el autómata celular de clase III que siga la regla 30.
Al presentar una topología de conexión en anillo, preferentemente la célula vecina anterior de la primera célula de la columna es la última célula de la fila y la célula vecina posterior de la última célula de la fila es la última célula de la columna.
Más concretamente cada elemento digital, o célula, comprende:
una puerta OR que recibe las entradas C y L,
una primera puerta XOR que recibe la salida de la puerta OR y la entrada R, y cuya salida es igual al próximo estado NS de la célula, y
- un flip-flop tipo D que recibe la salida de la puerta XOR y una entrada de reloj
CLK; y cuya salida, que es la señal de selección de pixel, no pasará a ser igual al próximo estado NS hasta el siguiente flanco del reloj CLK.
De este modo, la regla lógica, concretamente la regla 30, relaciona el próximo estado de cada una de las células con su estado actual y los estados actuales de sus células vecinas más próximas para cada ciclo de reloj, resultando en una tabla de verdad fácilmente obtenible a partir de la semilla inicial, y por tanto es posible descomprimir la imagen comprimida mediante mecanismos de reconstrucción que invierten la regla lógica aplicada.
Preferentemente, el reloj es una señal eléctrica externa a la matriz de pixeles que en cada ciclo reloj permite al sensor de imágenes generar una nueva muestra comprimida. Concretamente una FPGA ("Field Programmable Gate Array") previamente programada para generar esta señal, o un temporizador IC 555.
Preferentemente, cada elemento fotosensible es un fotodiodo y el tercer circuito para cada fotodiodo comprende:
un primer transistor,
un segundo transistor,
- un nudo vinculado con el fotodiodo para recibir la corriente fotogenerada en el fotodiodo,
un amplificador operacional que comprende una entrada positiva y una entrada negativa, estando la entrada negativa vinculada con dicho nudo, con la entrada positiva vinculada con un voltaje de referencia y la salida vinculada con el primer y el segundo transistor,
- un transistor de reset vinculado con el nudo y activado por la salida del amplificador operacional, y
en donde dicha salida del amplificador operacional es un tren de pulsos cuya frecuencia es proporcional a la intensidad luminosa incidente sobre el fotodiodo. También el segundo circuito para cada fotodiodo comprende: una segunda puerta XOR, un inversor, un tercer transistor y un cuarto transistor, de modo que:
las dos entradas de la segunda puerta XOR están vinculadas con la señales de selección generadas en la célula vertical y por la célula horizontal correspondiente a este pixel, y su salida está vinculada con la entrada del inversor y con la puerta del tercer transistor,
la salida del inversor está vinculada con la puerta del cuarto transistor, la salida del amplificador operacional está vinculada con la puerta del primer y del segundo transistor, el drenador del tercer transistor está vinculado con la línea positiva del bus de columna y su fuente con el drenador del primer transistor que a su vez tiene conectada su fuente a tierra, y
el drenador del cuarto transistor está vinculado con la línea negativa del bus de columna y su fuente con el drenador del segundo transistor que a su vez tiene conectado su fuente a tierra, y
cuando se genera el tren de pulsos, la segunda puerta XOR combina a nivel de pixel las señales de selección por columna y por fila, para contabilizar la contribución del este pixel como positiva, activando el tercer transistor, o como negativa activando el cuarto transistor, y transmitirlos a través del bus de columna para formar la codificación en frecuencia de pulsos del valor del pixel Por otro lado que el cuarto circuito comprende: una batería de contadores para cada columna vinculada con su correspondiente bus de columna para acumular las contribuciones que el bus de columna transporta durante un periodo de integración, es decir el periodo de exposición de la matriz de pixel a la luz que viene determinado por las condiciones de iluminación de la escena, y
una cascada de sumadores vinculados con las baterías de contadores para sumar las contribuciones de cada columna y comprimir la imagen captada por el sensor. De este modo se obtiene un sensor de imágenes que comprime una imagen completa sin necesidad de descomponer la imagen en bloques y manteniendo el rango dinámico de la imagen. Adicionalmente, este sensor de imágenes permite implementar una estrategia de compresión para la imagen completa sin necesitada de retrasmitir o almacenar dicha estrategia.
DESCRIPCIÓN DE LOS DIBUJOS
Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:
Figura 1.- Muestra un diagrama de la arquitectura del sensor.
Figura 2.- Muestra una vista de la arquitectura del autómata celular en la que se muestra el conexionado de cada célula del autómata celular.
Figura 3.- Muestra una representación gráfica de la aplicación de la regla 30 sobre las células del autómata celular.
Figura 4.- Muestra un diagrama esquemático de una implementación preferente de cada una de las células del autómata celular. Figura 5.- Muestra un diagrama esquemático de uno de los píxeles de la matriz de pixeles.
REALIZACIÓN PREFERENTE DE LA INVENCIÓN Una realización preferente de la invención, tal y como se muestra en la figura 1 , es un sensor de imágenes (100) con muestreo compresivo generado "on-chip", en donde la
compresión se realiza sobre la imagen completa y se realiza una adecuación del rango dinámico para una codificación precisa de las muestras comprimidas.
Más concretamente, el sensor de imágenes (100) comprende una matriz de pixeles (5) con filas y columnas, un autómata celular (1) vinculado con los dicha matriz de pixeles (5), un bus de columna (10) para cada columna de la matriz de pixeles (5), una batería de contadores (21) vinculada con cada bus de columna (10) y una cascada de sumadores (22) vinculados con las baterías de contadores (21). Este autómata celular (1) sigue la regla 30 por lo que tiene un comportamiento de clase III y comprende una pluralidad de células (3). Concretamente una célula vertical (3v) por cada columna y una célula horizontal (3h) por cada fila de la matriz de pixeles (5), de modo que cada célula vertical (3v) está vinculada con cada pixel de su columna y cada célula horizontal (3h) está vinculada con cada pixel de la fila para generar unas señales de selección (4). Estas células tienen una estructura de anillo que implementa un comportamiento aperiódico para generar una secuencia pseudo-aleatoria de número binarios con tantos dígitos como la suma de las filas y las columnas de la matriz de pixeles (5). De este modo, a partir de la secuencia pseudo-aleatoria, las señales de selección (4) seleccionan los pixeles de las filas y columnas para comprimir su información.
Es decir, cada célula vertical y horizontal (3v, 3h) genera una señal de selección (4) que comprende un bit de selección para seleccionar, o no, el pixel y de este modo comprimir la imagen completa.
Adicionalmente, la salida de cada uno de los pixeles de una de las columnas está conectada a uno de los buses de columna (10). Cada bus de columna (10) comprende dos líneas de trasmisión de pulsos, una para pulsos positivos y otra para los negativos. Los pulsos de cada bus de columna (10) son acumulados, durante un periodo de integración, por la batería de contadores (21) a la que este se encuentre vinculada. Al final del periodo de integración, la cascada de sumadores (22), agregará las cuentas realizadas en cada columna para conformar la muestra comprimida.
Destacar que el periodo de integración es la ventana de tiempo durante la cual la cascada de sumadores (22) cuenta los pulsos. Es decir, en ese tiempo se cuentan todos los pulsos, es decir las contribuciones positivas o negativas de los pixeles, y el resultado
es la suma de todos los pulsos que se han recibido en la cascada de sumadores (22) formando la muestra comprimida.
Más concretamente, las conexiones en anillo de cada célula (3) del autómata celular (1) se muestran en la figura 2. Cada célula (3) está implementada por un elemento digital que comprende tres entradas: L, C, R y una salida de estado actual S, en donde dicha salida de estado actual S se realimenta a través de la entrada C y se transmite a las dos células vecinas anterior (3a) y posterior (3p) a través de sus entradas R y L respectivamente. Estas entradas L, C R se emplean para generar el próximo estado de la salida de estado actual S siguiendo una tabla de verdad (8) tal y como se muestra en la figura 3.
Más concretamente, en la figura 3 se muestra la representación gráfica de la aplicación de la regla 30 sobre las células (3) del autómata celular (1) y el estado actual de cada célula (3) y de sus células (3) vecinas inmediatamente anterior y posterior. En donde, para cada célula (3) la entrada C representa su estado actual de la entrada L representa el valor actual de su la célula (3) anterior y la entrada R representa el valor actual de su la célula (3) posterior. Estas entradas L, C y R respectivamente, están representadas por los primeros cuadrados (7), y a partir de ellos y siguiendo la tabla de verdad (8), teniendo en cuenta que un cuadro en negro equivale a un "1" lógico y un cuadro en blanco a un "0", se obtienen los próximos estados, NS, de cada célula (3), representados por los segundos cuadrados (6).
Por otro lado, en la figura 2 puede verse una representación gráfica de una posible semilla inicial (2) que iniciaría al autómata celular (1) para generar una pseudo-aleatoria que si inicia con los valores de bit de dicha semilla inicial (2).
Preferente, tal y como se muestra en la figura 4, cada una de las células (3) del autómata celular (1) comprende una puerta OR (23), una primera puerta XOR (24) y un flip-flop tipo D (25). De este modo la tabla de verdad (8) puede realizarse mediante dicha puerta OR (23) vinculada con la puerta XOR (24) con las que se combinan las entradas correspondientes a los vecinos anterior y posterior, L y R, y la propia realimentación del estado S a través de C. Con el fin de separar el próximo estado, NS, del estado actual S, se utiliza la flip-flop tipo D (25) de forma que el próximo estado NS no pasará a ser el actual hasta el siguiente flanco del reloj CLK.
Por otro lado cada, la figura 5 muestra el diagrama esquemático de uno de los píxeles de la matriz (5). De este modo, cada pixel comprende un fotodiodo (19) cuya corriente fotogenerada se descarga en un nudo (18). Adicionalmente, tal y como se muestra dicha figura 5, el sensor de imágenes (100) comprende un amplificador operacional (13) y un transistor de reset (20), por cada pixel, en donde amplificador operacional (13) comprende una entrada positiva y una entrada negativa, estando la entrada negativa vinculada con dicho nudo (18) y con la entrada positiva vinculada con un voltaje de referencia (Vref). De este modo, cuando la tensión en este nudo (18) pasa a estar por debajo del voltaje de referencia (Vref), el amplificador operacional (13) que hace las veces de comparador, pondrá su salida en alto. Esto hará que el transistor de reset (20) entre en conducción, restableciendo la tensión en el nudo (18) al valor de reset. Por efecto de esto, el amplificador operacional (13) volverá a ofrecer un valor de tensión bajo en la salida. Este ciclo se repetirá mientras que se ilumine el fotodiodo (19), generándose así un tren de pulsos cuya frecuencia será proporcional a la intensidad luminosa incidente sobre el fotodiodo (19).
Adicionalmente, sensor de imágenes (100) comprende una segunda puerta XOR (9), un inversor (16), un primer transistor (1 1), un segundo transistor (12), un tercer transistor (14) y un cuarto transistor (15), de modo que:
- las dos entradas de la segunda puerta XOR (9) están vinculadas con la señales de selección (4) generada la célula (3) vertical y por la célula (3) horizontal correspondiente a este pixel, y su salida está vinculada con la entrada del inversor (16) y con la puerta del tercer transistor (14),
- la salida del inversor (16) está vinculada con la puerta del cuarto transistor (15),
- la salida del amplificador operacional (13) está vinculada con la puerta del primer y del segundo transistor (1 1 , 12), el drenador del tercer transistor (14) está vinculado con la línea positiva del bus de columna (10) y su fuente con el drenador del primer transistor (1 1) que a su vez tiene conectada su fuente a tierra, y
- el drenador del cuarto transistor (15) está vinculado con la línea negativa del bus de columna (10) y su fuente con el drenador del segundo transistor (12) que a su vez tiene conectada su fuente a tierra. De este modo, mientras se genera el tren de pulsos la segunda puerta XOR (9) combina a nivel de pixel las señales de selección (4) por columna y por fila, de modo que decide
si la contribución del píxel va a contabilizarse como positiva, activando el tercer transistor (14) o negativa, activando el cuarto transistor (15), de modo que los pulsos generados por el amplificador operacional (13) son reproducidos por el primer y el segundo transistor (1 1 , 12) y transmitidos como contribuciones positivas o negativas a través de una sus respectiva líneas positiva o negativa del bus de columna (10). Los pulsos activos en alto generados se transmiten como pulsos activos en bajo por la estructura de las líneas, que tienen unas resistencias "pull-up" (17) para que la tensión esté en alto si ninguno de los píxeles de la columna está emitiendo un pulso.
Claims
1. - Sensor de imágenes (100) con muestreo compresivo que comprende una matriz de pixeles (5) con filas y columnas, en donde cada pixel a su vez comprende un elemento fotosensible para convertir la luz incidente en una señal eléctrica, caracterizado por que el sensor de imágenes (100) comprende:
un bus de columna (10) para cada columna de la matriz de pixeles (5), en donde cada bus de columna (10) está vinculado con todos los pixeles de su correspondiente columna, y en donde cada bus de columna (10) a su vez comprende dos líneas de trasmisión de pulsos, una para pulsos positivos y otra para pulsos negativos,
un primer circuito, para generar una secuencia pseudo-aleatoria de números binarios, que comprende respectivamente un elemento vertical y un elemento horizontal por cada fila y columna de la matriz de pixeles (5) conectados entre sí en anillo; en donde cada elemento vertical está vinculado con cada uno de los pixeles de su correspondiente fila, y cada elemento horizontal está vinculado con cada uno de los pixeles de su correspondiente columna; de modo que cada elemento vertical y horizontal genera una señal de selección (4) de pixeles que selecciona los pixeles que contribuyen a la compresión,
- un segundo circuito que recibe la señal de selección (4) de pixeles para establecer por cual línea de trasmisión de pulsos, positiva o negativa, se trasmite la contribución de cada pixel,
un tercer circuito para generar en cada pixel una codificación en frecuencia de pulsos del valor del pixel y trasmitirla a la línea de transmisión seleccionada por el segundo circuito de su bus de columna correspondiente, y
un cuarto circuito vinculado con al menos el tercer circuito, a través de un bus de columna (10), para cada columna de la matriz de pixeles (5) para recibir la codificación en frecuencia de pulsos del valor del pixel de cada pixel comprimido, para obtener una señal digital comprimida de la imagen completa.
2. - Sensor de imágenes (100) según la reivindicación 1 , caracterizado por que el primer circuito es un circuito digital que implementa un autómata celular (1) de clase III para generar, a partir de una semilla inicial (2), la secuencia pseudo-aleatoria de números binarios.
3.- Sensor de imágenes (100) según la reivindicación 2, caracterizado por que cada
elemento del primer circuito es un elemento digital, a modo de célula (3) del autómata celular (1), que comprende tres entradas: L, C, R y una salida de estado actual S, en donde dicha salida de estado actual S se realimenta a través de la entrada C y se transmite a las dos células vecinas anterior (3a) y posterior (3p) a través de sus entradas R y L respectivamente para que el autómata celular (1) de clase III que siga la regla 30.
4. - Sensor de imágenes (100) según la reivindicación 3, caracterizado por que cada elemento digital comprende:
una puerta OR (23) que recibe las entradas C y L,
- una primera puerta XOR (24) que recibe la salida de la puerta OR (23) y la entrada R, y cuya salida es igual al próximo estado NS de la célula (3) y un flip-flop tipo D (25) que recibe la salida de la puerta XOR (24) y una entrada de reloj CLK; y cuya salida, que es la señal de selección (4) de pixel, no pasará a ser igual al próximo estado NS hasta el siguiente flanco del reloj CLK.
5. - Sensor de imágenes (100) según la reivindicación 1 , caracterizado por que cada elemento fotosensible es un fotodiodo (19).
6. - Sensor de imágenes (100) según la reivindicación 5, caracterizado por que el tercer circuito para cada fotodiodo (19) comprende:
un primer transistor (1 1),
un segundo transistor (12),
un nudo (18) vinculado con el fotodiodo (19) para recibir la corriente fotogenerada en el fotodiodo (19),
- un amplificador operacional (13) que comprende una entrada positiva y una entrada negativa, estando la entrada negativa vinculada con dicho nudo (18), la entrada positiva vinculada con un voltaje de referencia (Vref) y la salida vinculada con el primer y el segundo transistor (11 , 12), y
un transistor de reset (20) vinculado con el nudo (18) y activado por la salida del amplificador operacional (13),
en donde dicha salida del amplificador operacional (13) es un tren de pulsos cuya frecuencia es proporcional a la intensidad luminosa incidente sobre el fotodiodo (19).
7.- Sensor de imágenes (100) según la reivindicación 6, caracterizado por que el segundo circuito para cada fotodiodo (19) comprende: una segunda puerta XOR (9), un
inversor (16), un tercer transistor (14) y un cuarto transistor (15), de modo que:
las dos entradas de segunda puerta XOR (9) están vinculadas a la señales de selección (4) generadas en la célula vertical (3v) y por la célula horizontal (3h) correspondiente a este pixel, y su salida está vinculada con la entrada del inversor (16) y con la puerta del tercer transistor (14),
la salida del inversor (16) está vinculada con la puerta del cuarto transistor (15), la salida del amplificador operacional (13) está vinculada con la puerta del primer y el segundo transistor (1 1 , 12), el drenador del tercer transistor (14) está vinculado con la línea positiva del bus de columna (10) y su fuente con el drenador del primer transistor (11) que a su vez tiene conectada su fuente a tierra, y
el drenador del cuarto transistor (15) está vinculado con la línea negativa del bus de columna (10) y su fuente con el drenador del segundo transistor (12) que su vez tiene conectada su fuente a tierra, y
- cuando se genera el tren de pulsos, la segunda puerta XOR (9) combina a nivel de píxel las señales de selección (4) por columna y por fila, para contabilizar la contribución del este píxel como positiva, activando el tercer transistor (14), o como negativa activando el cuarto transistor (15), y transmitirlos a través del bus de columna (10) para formar la codificación en frecuencia de pulsos del valor del pixel.
8.- Sensor de imágenes (100) según la reivindicación 7, caracterizado por que el cuarto circuito comprende: - una batería de contadores (21) para cada columna vinculada con su correspondiente bus de columna (10) para acumular las contribuciones que el bus de columna (10) transporta durante un periodo de integración o periodo de exposición determinado por las condiciones de iluminación de la escena, y una cascada de sumadores (22) vinculados con las baterías de contadores para sumar las contribuciones de cada columna y comprimir la imagen captada por el sensor.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201730285A ES2684521B1 (es) | 2017-03-02 | 2017-03-02 | Sensor de imagenes |
| ESP201730285 | 2017-03-02 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018158482A1 true WO2018158482A1 (es) | 2018-09-07 |
Family
ID=63370772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/ES2018/070149 Ceased WO2018158482A1 (es) | 2017-03-02 | 2018-02-28 | Sensor de imágenes |
Country Status (2)
| Country | Link |
|---|---|
| ES (1) | ES2684521B1 (es) |
| WO (1) | WO2018158482A1 (es) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11877079B2 (en) | 2020-12-22 | 2024-01-16 | Samsung Electronics Co., Ltd. | Time-resolving computational image sensor architecture for time-of-flight, high-dynamic-range, and high-speed imaging |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2846535A1 (fr) * | 2013-09-10 | 2015-03-11 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Dispositif et procédé d'acquisition compressive d'images |
| EP2846533A1 (fr) * | 2013-09-10 | 2015-03-11 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Dispositif d'acquisition compressive d'une image |
-
2017
- 2017-03-02 ES ES201730285A patent/ES2684521B1/es not_active Expired - Fee Related
-
2018
- 2018-02-28 WO PCT/ES2018/070149 patent/WO2018158482A1/es not_active Ceased
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2846535A1 (fr) * | 2013-09-10 | 2015-03-11 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Dispositif et procédé d'acquisition compressive d'images |
| EP2846533A1 (fr) * | 2013-09-10 | 2015-03-11 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Dispositif d'acquisition compressive d'une image |
Non-Patent Citations (1)
| Title |
|---|
| GUICQUERO WILLIAM ET AL.: "An Algorithm Architecture Co-Design for CMOS Compressive High Dynamic Range Imaging", IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING, 20160901 IEEE, vol. 2, no. 3, 9 January 2016 (2016-01-09), pages 190 - 203, XP011618751 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11877079B2 (en) | 2020-12-22 | 2024-01-16 | Samsung Electronics Co., Ltd. | Time-resolving computational image sensor architecture for time-of-flight, high-dynamic-range, and high-speed imaging |
| US12335647B2 (en) | 2020-12-22 | 2025-06-17 | Samsung Electronics Co., Ltd. | Time-resolving computational image sensor architecture for time-of-flight, high-dynamic-range, and high-speed imaging |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2684521A1 (es) | 2018-10-03 |
| ES2684521B1 (es) | 2019-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Pulse-modulation imaging—Review and performance analysis | |
| ES2714161T3 (es) | Sensor de imagen de salidas de imagines entrelazadas | |
| KR102612718B1 (ko) | 복수의 슈퍼-픽셀(super-pixel)들을 포함하는 이미지 센서 | |
| US10012534B2 (en) | Photodetection circuit having at least one counter operative in response to a mode switching circuit and operating method thereof | |
| JP6029286B2 (ja) | 光電変換装置および撮像システム | |
| CN110034140A (zh) | 摄像器件 | |
| TW200822707A (en) | Mixed analog and digital pixel for high dynamic range readout | |
| US10834349B2 (en) | Solid-state image sensor, image capturing apparatus and image capturing method | |
| WO1999027708A1 (en) | Strobe compatible digital image sensor with low device count per pixel analog-to-digital conversion | |
| JP2015056902A (ja) | Cmos固体撮像素子及び圧縮センシング方法 | |
| JP2015056903A (ja) | Cmos固体撮像素子 | |
| TWI615029B (zh) | 圖像感測器及終端與成像方法 | |
| CN110557585A (zh) | 图像传感器、操作图像传感器的方法及系统 | |
| JP2018061183A5 (es) | ||
| KR20160145217A (ko) | 카운팅 회로, 그 카운팅 회로를 포함하는 이미지 센싱 장치 및 그 이미지 센싱 장치의 리드아웃 방법 | |
| KR20060125552A (ko) | 이미징 장치, 이미지 캡쳐 시스템 및 방법 | |
| Gulve et al. | 39 000-subexposures/s dual-adc cmos image sensor with dual-tap coded-exposure pixels for single-shot hdr and 3-d computational imaging | |
| JP6461429B2 (ja) | 画像センサ、制御方法及び電子機器 | |
| JP7189735B2 (ja) | 信号処理回路及び撮像素子 | |
| WO2025092230A1 (zh) | 一种基于多尺度时空差分技术的视觉传感器芯片 | |
| ES2684521B1 (es) | Sensor de imagenes | |
| Lenero-Bardallo et al. | A high dynamic range image sensor with linear response based on asynchronous event detection | |
| KR20160119587A (ko) | 카운팅 마스크를 이용한 dds 글로벌 카운팅 장치 및 그에 따른 씨모스 이미지 센서 | |
| KR102424155B1 (ko) | 이미지 센싱 장치 | |
| US12464268B2 (en) | Solid-state imaging device by compressive sensing technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18761688 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18761688 Country of ref document: EP Kind code of ref document: A1 |