WO2004042822A1 - Arquitectura de circuito integrado programable de señal mixta para la realizacion de sistemas autonomos de vision en un unico chip y/o preprocesamiento de imagenes en sistemas de nivel superior - Google Patents

Arquitectura de circuito integrado programable de señal mixta para la realizacion de sistemas autonomos de vision en un unico chip y/o preprocesamiento de imagenes en sistemas de nivel superior Download PDF

Info

Publication number
WO2004042822A1
WO2004042822A1 PCT/ES2003/000564 ES0300564W WO2004042822A1 WO 2004042822 A1 WO2004042822 A1 WO 2004042822A1 ES 0300564 W ES0300564 W ES 0300564W WO 2004042822 A1 WO2004042822 A1 WO 2004042822A1
Authority
WO
WIPO (PCT)
Prior art keywords
integrated circuit
processing
circuitry
cell
architecture
Prior art date
Application number
PCT/ES2003/000564
Other languages
English (en)
French (fr)
Inventor
Angel Rodriguez Vazquez
Servando Espejo Meana
Rafael Dominguez Castro
Original Assignee
Innovaciones Microelectronicas, S.L.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovaciones Microelectronicas, S.L. filed Critical Innovaciones Microelectronicas, S.L.
Priority to EP03769516.0A priority Critical patent/EP1580814B1/en
Priority to AU2003278200A priority patent/AU2003278200A1/en
Publication of WO2004042822A1 publication Critical patent/WO2004042822A1/es

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Definitions

  • the present application refers to a mixed signal programmable integrated circuit architecture for the realization of autonomous vision systems on a single chip and / or preprocessing of images in higher level systems, as can be seen from the preamble of the first claim .
  • the invention is applicable in integrated electronic systems, artificial vision systems, autonomous artificial vision systems, optoelectronic systems for image processing, image capture systems and image processors with concurrent sensing for visual preprocessing tasks with applications in: artificial vision, autonomous vision systems, systems of transmission of visual information, automatic inspection and quality control systems, automatic control and guidance systems, visual perception systems, toys, and in general applications that require the taking of decisions based on visual information, or image processing as part of a superior system, with one or more of the following characteristics in relation to the conventional approach based on digital cameras and digital processors: high speed, low cost, small size and low consumption of power BACKGROUND OF THE INVENTION
  • Latency is the time that elapses from the beginning of the sensing until the generation of the response (reaction time), while the "throughput” is the frequency with which the system updates its output.
  • preprocessing the retina
  • the task of processing and sensing is done concurrently (simultaneously and spatially distributed), based on a set of simple elements that combine sensing and processing, locally interconnected with each other.
  • the processing structure is composed of several parallel layers, each with distinct functions, in turn interconnected with each other locally.
  • the information transmitted from the retina to different parts of the brain for the higher tasks of perception is very small in relation to the raw information of the visual flow, with the consequent advantages.
  • This architecture is related to the obvious quality, efficiency and simplicity with which living beings perform vision-related tasks that are unimaginable today for the most advanced electronic systems.
  • the invention claimed in this patent application is a specific integrated circuit architecture for the acquisition and processing of images that can be used in the realization of autonomous vision systems on a single chip, and which can also be used as a coprocessor element specialized in processing of images in higher level systems.
  • the proposed architecture is based on a combination of the three lines of research and development mentioned and currently present in the state of the art, combining them in a specific way, introducing programmability, and adding a digital information processing and storage system as the main element of control and decision-making, which allows the system to Vision act autonomously once programmed for the performance of some specific function.
  • the proposed architecture is built around a central element, the sensor-processor, which in turn consists of a regular two-dimensional distribution of identical cells, each of which has certain elements of photosensing, storage, processing, control, and data transfer.
  • the performance of these operations, as well as the specific parameters with which they are performed, are controlled globally (for all cells at once, with spatially uniform values) from circuit elements located on the periphery of the cell distribution.
  • the use of local information (in each cell) for selective enablement or modification of operations that are performed globally is not excluded.
  • each of the identical cells of the two-dimensional regular distribution contains the following elements, without excluding the possibility that any of them can be eliminated in specific embodiments,
  • One or more photosensors (1) and their adaptation and interphase circuitry (2) without excluding the possible existence of interconnections between the different sensors of the same cell or neighboring cells at the level of the interphase circuitry, nor the global programmability and / or local of the relevant parameters in the process of acquisition and spatial-temporal, linear or non-linear filtering of the images.
  • the sensors in the set of all cells constitute one or more image sensors.
  • the significant parameters of the optical interface and space-time filtering can be programmable based on global (spatially invariant) and / or local parameters (using local cell information).
  • a circuitry and local connection (5) that allow the transfer of the content of a certain analog or binary memory to another specified nearby cell according to a spatially invariably programmable displacement vector, resulting globally in a shift of the entire image .
  • This displacement could be done directly or iteratively, depending on the optimization criteria of the circuitry.
  • a processing circuitry (6) based on performing simple analog operations on weighted amounts of contributions from neighboring cells and the cell itself.
  • the term sum must be understood in an algebraic sense: both the variables to be weighted and the weighting factors can be positive or negative.
  • the contributions are proportional to the pixel values of some image (analog or binary) corresponding to each cell and stored in it. For each cell, the set of contributions will proceed, without excluding other variants, from the set of 3 x 3 adjacent cells centered on it.
  • the nine contributions are weighted according to a set of 3 x 3 analog weighting factors, which are electrically programmable globally (spatially invariant).
  • weighted sum is the result of the realization and accumulation of more than one of the previous weighted sums, in general with different sets of weighting factors and with different source images.
  • the realization of the different weighted contributions and their accumulation can be done in parallel, using enough weighting and sum circuitry, or multiplexed in time, using a smaller circuitry and an accumulation element.
  • Extreme cases of using a single weighting element applied sequentially to the different neighbors and / or images are not excluded, nor is the use of sufficient weighting elements to obtain weighted contributions in a single step. proportional to different source images with different sets of weighting coefficients.
  • some examples of simple operations to be carried out on the result of the weighted sum are: an integration without losses, an integration with linear losses, an integration with non-linear losses, any of the previous variants with or without saturation, a Sign function or a threshold comparison, an escalation, or simply the operator identity.
  • the analog coefficients used in carrying out the planned operations on the result of the weighted sum are also programmable electrically and spatially invariably.
  • circuitry necessary to perform an analog multiplication, pixel by pixel, between two stored images (6).
  • control circuitry (7,8) necessary for the optional use of selective local enabling or modification of some of the processing and / or data transfer operations based on the content of any of the binary pixel memories of the cell .
  • control circuitry (7) connection and possibly conversion AD and DA necessary for the control of operations and for the exchange of information (9) with the outside of the regular two-dimensional distribution of identical cells, of any of the predictable ways based on the functionality previously described.
  • a contour cell ring (10), which surrounds the regular two-dimensional distribution of cells. These cells, used to establish the spatial boundary conditions, contain the circuitry necessary to generate the contributions expected by the adjacent inner cells, but not the one used to perform the calculations.
  • the pixel values of the contour cells are globally programmable (for the entire ring).
  • a digital system (11) for processing, controlling, and storing data and program consisting for example of a microprocessor, a microcontroller, or a digital signal processor, in combination with blocks of digital memory.
  • the memories will contain volatile (non-volatile) and non-volatile memory blocks, being the nonvolatile at least partially programmable.
  • the function of this digital system is the superior control of the tasks performed by the distribution of cells, the communication of the chip with the outside, and in his case, the processing of the information preprocessed by the distribution of cells for the decision making of high level.
  • Global computing circuitry (12) of varied purpose, aimed at obtaining very simplified information of some image stored in the distribution of cells.
  • this circuitry could allow the calculation of the average value of an analog image, the extreme values, the dispersion, and other statistical parameters.
  • the need to incorporate some circuitry at the cell level is not excluded.
  • This extracted information can serve, among other purposes, for the automatic adjustment of the image acquisition parameters (exposure times, focus, etc.), the selection of a certain type of sensor among those available, and for decision making Global in general.
  • a control circuitry (13) for the distribution of cells consisting essentially of a set of digital registers and simple state machines, addressable and controllable by the digital processing system. The function of this circuitry is to allow the generation and application, to the distribution of cells, of sequences of digital control vectors.
  • a bank of D / A converters (14), one per programmable analog coefficient used in the set of cells.
  • the converters can be linear or not, including the possibility of conveniently predistorting the eventual non-linearity between the analog voltage control of the coefficient and the effective value thereof, for example based on a feedback mechanism that employs the same type of scaling block used in the circuitry of the cells.
  • the digital input data to this converter bank comes again from simple registers and state machines addressable and controllable by the digital control and processing system.
  • the use of an analog voltage signal responds to reasons of connection efficiency.
  • a bank of AD and DA converters (15) to exchange analog images with the outside of the integrated circuit, when necessary or convenient, in a fully digital way and serially through one or more data buses, with the corresponding address buses and control signals.
  • These converters like the rest of the system, will be directly or indirectly controlled by the superior digital control system.
  • this circuitry could identify if a certain binary image is completely white or black by means of some global logical operation on all the pixels of a binary image, detect the position of an individual pixel in the regular distribution of cells if this is the only white pixel or black of the image through the use of encoders and decoders of "rows and columns" or similar, or generate a sequence of spatial coordinates corresponding to those of each of the minor pixels (white on a black background or vice versa) using strategies of priority, usually asynchronous.
  • Interface circuitry Apart from the optical input, the electrical interface of the integrated circuit is essentially digital, controlled by the internal digital system according to a master clock, and consists mainly of address and digital data buses, as well as typical control signals used to read / write processes / protocols, general chip enablement, interruptions, selection of operating modes, program execution, etc. In practical embodiments, this interface will conform to some existing digital standard.
  • a figure is included as an integral part of said description.
  • Illustrative and not limiting, a concrete example of the vision system architecture integrated in a single chip has been schematically represented, with a symbolic indication of the circuitry and the architecture of a basic sensor-processor cell, indicating the blocks of the cell circuitry that are controlled and / or programmed by signals global, the digital memories being able to exercise local control functions, and the set of neighbors of each cell including in general the cell itself.
  • control and digital processing system external to the distribution of cells, an example of architecture based on a processing unit (CPU, DSP, or Microcontroller), volatile and non-volatile memory, generic peripherals, and a unit of control is reflected.
  • memory control based on a processing unit (CPU, DSP, or Microcontroller), volatile and non-volatile memory, generic peripherals, and a unit of control is reflected.
  • the Figure shows a schematic representation of the system described below as an embodiment.
  • the system has been designed in a single integrated circuit using standard 0.18 micrometer CMOS technology with 2 layers of polysilicon and 6 layers of metal.
  • the digital processing and control system used in the example is a high performance, low power digital microprocessor with RISC architecture and 32-bit wide address bus.
  • Said microprocessor includes cache memory for data and addresses and an arithmetic unit for performing multiplications and divisions at a fixed point.
  • a 32kbyte SRAM memory block and a FLASH-RAM type non-volatile memory block both integrated have been used as digital storage units.
  • an internal bus to which the digital processing and control system, integrated memories, control circuitry, cell distribution, and data converters an integrated 32-bit bus of width operating at 66 Megahertz.
  • the distribution of cells contains 88 x 72 elements, corresponding to a quarter of the format known as QCIF (quarter CIF).
  • Each inner cell contains 10 weighting and sum elements, corresponding to contributions from the 3 x 3 neighboring cells (including the cell itself) and an additional contribution that implements an invariant term in space, also programmable.
  • the operation performed on the result of the weighted sum can be chosen by programming between the simple evaluation of the result, a continuous time integration with saturation at the exit of the integrator, or a binarization based on a threshold comparison.
  • the cells include eight analog memories, which can also be used as binary memories by direct conversion of the data. These pixel memories act as a centralizing element of the information transfer processes within the cell. It has also included a programmable logic operator with two inputs, which acts on the contents of the "binary memories". The contents of the "binary memories” can be used to enable the dynamic evolution of each cell locally (integration), as well as the data transfer functions (for example, the writing of another memory).
  • the photosensors used which allow sensing of the image focused on the surface of the chip by the optical system, provide various modes of operation, including the integration of the photogenerated current in any of several diodes of different nature or even vertical bipolar, resulting in a linear representation in discrete time of the pixel value, and also other schemes that result in representations with logarithmic compression in continuous time.
  • the local processing and memory circuitry allows for easy calibration of the sensors, solving the greatest inconvenience of CMOS sensors.
  • compression circuitry of the output data two global gates are used, one NAND and another ⁇ OR, each with one input per cell, which allows you to instantly evaluate from the outside if a given image is completely white or completely black
  • a circuitry capable of generating the sequence of coordinate pairs of all black pixels of a binary image has been included, according to a specific asynchronous priority strategy.
  • the digital-analog converters used for cell distribution programming use conventional architectures. Their outputs represent values of the weighting factors corresponding to the described weighted sum circuitry, values of the spatial boundary conditions, and reference levels employed by the analog circuitry. Each value of each coefficient is coded by 7 bits plus a sign bit.
  • the digital vector of control of the distribution of cells has a width of 48 bits.
  • the external interface consists essentially of the data and address buses of the digital control system, together with a small number of signals that serve the usual purposes of synchronization and control of the reading and writing processes, of general enabling of the external interface of the chip, reset, and selection of operating modes (eg programming, execution, etc).
  • the total area of silicon occupied by the system described in the Figure, in the 0.18 ⁇ m technology used, is 25mm.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

La arquitectura diseñada realiza el sensado, almacenamiento y procesamiento de las imágenes en forma masivamente paralela, concurrente, y espacialmente distribuida, y comprende una distribución espacial regular bidimensional de celdas idénticas, localmente interconectadas, que combinan las capacidades de foto-transducción, procesamiento, y almacenamiento y un sistema de procesamiento y almacenamiento digital. Las operaciones, así como los parámetros específicos con los que son realizadas, se controlan de forma global, es decir, para todas las celdas simultáneamente con valores espacialmente uniformes, desde circuitos emplazados en la periferia de la distribución de celdas. Un procesador digital se encarga de controlar el sensor / procesador analógico y de realizar tareas de procesamiento de alto nivel, tomando decisiones en base a las imágenes adquiridas y procesadas en paralelo por el procesador de plano focal.

Description

ARQUITECTURA DE CIRCUITO INTEGRADO PROGRAMABLE
DE SEÑAL MIXTA PARA LA REALIZACIÓN DE SISTEMAS
AUTÓNOMOS DE VISIÓN EN UN ÚNICO CHIP Y/O
PREPROCESAMIENTO DE IMÁGENES EN SISTEMAS DE NIVEL SUPERIOR.
D E S C R I P C I Ó N
OBJETO DE LA INVENCIÓN
La presente solicitud se refiere a una arquitectura de circuito integrado programable de señal mixta para la realización de sistemas autónomos de visión en un único chip y/o preprocesamiento de imágenes en sistemas de nivel superior, tal y como se desprende del preámbulo de la primera reivindicación.
Mas concretamente, la Invención es de aplicación en sistemas electrónicos integrados, sistemas de visión artificial, sistemas autónomos de visión artificial, sistemas optoelectrónicos para el procesamiento de imágenes, sistemas de captación de imágenes y procesadores de imágenes con sensado concurrente para tareas de preprocesamiento visual con aplicaciones en: visión artificial, sistemas autónomos de visión, sistemas de transmisión de información visual, sistemas automáticos de inspección y control de calidad, sistemas automáticos de control y guiado, sistemas de percepción visual, juguetería, y en general aplicaciones que requieran la toma de decisiones en base a información visual, o el procesamiento de imágenes como parte de un sistema superior, con una o varias de las siguientes características en relación a la aproximación convencional basada en cámaras digitalizadoras y procesadores digitales: alta velocidad, bajo coste, pequeño tamaño y bajo consumo de potencia. ANTECEDENTES DE LA INVENCIÓN
Los sistemas que se emplean actualmente en tareas de visión artificial y en procesamiento de imágenes en general se basan fundamentalmente en procesadores digitales aplicados a imágenes previamente digitalizadas. Para aplicaciones en las que se requiere procesamiento en tiempo real es frecuente utilizar una cámara convencional (por ejemplo CCD), un sistema de digitalización de imágenes (por ejemplo un "frame graber") y un procesador digital. Existe un número creciente de aplicaciones en las que la separación del sensado y del procesado en los sistemas de procesamiento de imágenes resulta en inconvenientes significativos y límites a las prestaciones deseables.
Los sistemas convencionales tienen dificultades para alcanzar valores elevados de "throughput" (número de "actuaciones" por unidad de tiempo) y/o valores reducidos de latencia (retraso). Esto es causado por una parte por el tiempo requerido por el sistema para captar, convertir y transferir cantidades muy elevadas de datos (imágenes), y por otra por la elevada carga de procesamiento a la que se ve sometido el procesador digital. La diferenciación entre latencia y "throughput" es relevante en muchas aplicaciones. Latencia es el tiempo que transcurre desde el comienzo del sensado hasta la generación de la respuesta (tiempo de reacción), mientras que el "throughput" es la frecuencia con la que el sistema actualiza su salida. Los sistemas de procesamiento de imágenes convencionales, basados en el uso de cámaras y procesadores digitales, podrían llegar a ofrecer un "throughput" relativamente elevado en base a paralelismo, con dificultades y aceptando una multiplicación del coste, pero tienen serias dificultades para reducir la latencia, incluso asumiendo costes elevados. En numerosas aplicaciones es la latencia el parámetro más relevante. Por otra parte, los costes, el tamaño, y el consumo de energía de un sistema convencional con "throughput" elevado son excesivos en general. Por estos motivos, existen diversas líneas de investigación y desarrollo orientadas a la realización de sistemas de procesamiento de imágenes que eviten o reduzcan dichos inconvenientes. Varias de estas líneas se focalizan en el desarrollo de sistemas que se inspiran o que intentan emular de una u otra manera la arquitectura de los sistemas de visión de los seres vivos.
En los sistemas de visión naturales existe una parte frontal de "preprocesamiento" (la retina) en la cual la tarea de procesamiento y sensado se hace de forma concurrente (simultánea y espacialmente distribuida), en base a un conjunto de elementos sencillos que combinan sensado y procesamiento, localmente interconectados entre sí. En los seres vivos superiores, la estructura de procesamiento se compone de varias capas paralelas, cada una con funciones distintas, a su vez interconectadas entre sí de forma local. La información transmitida desde la retina a diferentes partes del cerebro para las tareas superiores de percepción es muy reducida en relación a la información en bruto del flujo visual, con las consiguientes ventajas. Esta arquitectura se relaciona con la evidente calidad, eficiencia y sencillez con la que los seres vivos realizan tareas relacionadas con la visión que son inimaginables hoy en día para los sistemas electrónicos más avanzados. La emulación tecnológica de esta "aproximación natural al procesamiento de información visual" se apoya en las tecnologías de fabricación de circuitos integrados actuales, que permiten la coexistencia en el mismo sustrato de silicio de dispositivos fotosensores y circuitería convencional de procesamiento. De esta manera, se abre la posibilidad de realizar sistemas artificiales de procesamiento de imágenes en los que tanto la fototransducción como el preprocesamiento de las imágenes se realizan de forma concurrente, espacialmente distribuidas, asociándose a cada píxel un elemento de sensado y también un elemento de procesamiento. Los sistemas optoelectrónicos que resultan de esta aproximación reciben el nombre genérico de "sistemas de procesamiento en el plano focal", por estar concebidos para ser emplazados en el plano focal de un sistema óptico, en el que se forma la imagen y donde ésta es sensada y procesada de forma concurrente. Por otra parte, la introducción de memoria distribuida y concurrente con el sensado y el procesamiento, permite emular la estructura multicapa de las retinas naturales mediante la utilización de multiplexación temporal.
De forma simultánea, existe en la actualidad un gran esfuerzo de desarrollo de cámaras, sin funciones de procesamiento, basadas en tecnología CMOS convencionales. Esto es debido a ciertas ventajas inherentes al uso de esta tecnología en relación a la actualmente extendida utilización de cámaras basadas en dispositivos acoplados por carga (CCD). Entre otras podemos citar la posibilidad de acceder aleatoriamente a los diferentes píxeles, un menor consumo de potencia, una tecnología mas accesible y económica, y la facilidad para incluir algún tipo de circuitería de procesamiento y/o de conversión analógica-digital en el mismo chip.
Otra línea de investigación relacionada, que podemos denominar la de los procesadores analógicos masivamente paralelos, se centra en sistemas de procesamiento de estructuras de datos multidimensionales basadas en distribuciones regulares de procesadores más o menos sencillos, interconectados localmente, y que actúan realizando todos ellos la misma función en cada instante.
Finalmente, es bien conocida la versatilidad y eficiencia de los bloques de procesamiento y almacenamiento de información digital actuales.
En lo que se refiere a los sistemas de procesamiento en el plano focal, la gran mayoría de las arquitecturas concretas, algoritmos de procesamiento, y prototipos realizados o propuestos hasta la fecha persiguen la realización de tareas simples y específicas, que además están fijadas de antemano y por tanto son "programadas en el hardware". En la línea de cámaras de visión CMOS existen ya numerosos productos comerciales, así como numerosos avances basados en diferentes formas de compresión del rango de intensidad luminoso, técnicas de calibración para compensar las no idealidades presentes, y algunas técnicas de filtrado espacio-temporal de la imagen para evitar problemas de contraste y otros. Esta última vertiente intersecta sustancialmente con la línea de procesadores en el plano focal. En lo referente a los procesadores analógicos masivamente paralelos, las contribuciones, realizaciones y propuestas realizadas hasta la fecha son muy variadas, siendo su característica mas significativa en relación a los procesadores de plano focal habituales la incorporación de programabilidad en alguna medida, así como espacio de almacenamiento para una o varias imágenes, en forma analógica o digital, siguiendo la estrategia general de concurrencia y distribución espacial para mantener la velocidad de las operaciones de transferencia de datos. Estos sistemas realizan normalmente algoritmos de procesamiento específicos, sobre imágenes previamente almacenadas o adquiridas mediante un dispositivo externo, que son transmitidas al procesador masivamente paralelo en forma eléctrica y serial, y por tanto no pueden considerarse sistemas de procesamiento en el plano focal.
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN
La invención que se reivindica en esta solicitud de patente es una arquitectura específica de circuito integrado para la adquisición y procesamiento de imágenes empleable en la realización de sistemas autónomos de visión en un único chip, y que también puede emplearse como elemento coprocesador especializado en el procesamiento de imágenes en sistemas de nivel superior. La arquitectura propuesta se fundamenta en una combinación de las tres líneas de investigación y desarrollo mencionadas y actualmente presentes en el estado de la técnica, aunándolas de una forma concreta, introduciendo programabilidad, y añadiéndole un sistema de procesamiento y almacenamiento de información digital como elemento principal de control y de toma de decisiones, lo que permite que el sistema de visión actúe de forma autónoma una vez programado para la realización de alguna función específica.
La arquitectura propuesta está constituida entorno a un elemento central, el sensor- procesador, que a su vez consiste en una distribución regular bidimensional de celdas idénticas, cada una de las cuales dispone de ciertos elementos de fotosensado, almacenamiento, procesamiento, control, y de transferencia de datos. La realización de estas operaciones, así como los parámetros específicos con los que son realizadas, se controlan de forma global (para todas las celdas a la vez, con valores espacialmente uniformes) desde elementos de circuito situados en la periferia de la distribución de celdas. No se excluye la utilización de información local (en cada celda) para la habilitación selectiva o la modificación de las operaciones que se realicen globalmente.
De forma específica, cada una de las celdas idénticas de la distribución regular bidimensional contiene los siguientes elementos, sin excluir la posibilidad de que alguno de ellos pueda eliminarse en realizaciones concretas,
• Uno o varios fotosensores (1) y su circuitería de adaptación y entrefase (2), sin excluir la posible existencia de interconexiones entre los diferentes sensores de una misma celda o de celdas vecinas a nivel de la circuitería de entrefase, ni la programabilidad global y/o local de los parámetros relevantes en el proceso de adquisición y filtrado espacio- temporal, lineal o no-lineal, de las imágenes. A nivel de sistema, los sensores del conjunto de todas las celdas constituyen uno o varios sensores de imágenes. Los parámetros significativos de la entrefase óptica y de filtrado espacio-temporal pueden ser programables en base a parámetros globales (espacialmente invariantes) y/o locales (empleando información local de la celda).
• Uno o varios elementos de almacenamiento analógicos (3) y/o binarios (4), que podemos considerar elementos de memoria de píxel. A nivel global constituyen una memoria de una o varias imágenes en tonos de grises y/o en "blanco y negro". No se excluye la inclusión de algunas "memorias de imágenes de sólo lectura" que permitan el acceso a niveles de referencia significativos para el procesamiento, como por ejemplo los niveles extremos e intermedios del rango de valores analógicos.
• Una circuitería y conexionado local (5) que permiten transferir el contenido de una determinada memoria analógica o binaria a otra celda cercana especificada de acuerdo a un vector de desplazamiento programable de manera espacialmente invariante, resultando a nivel global en un desplazamiento de toda la imagen. Este desplazamiento podría realizarse de forma directa o iterativa, según criterios de optimización de la circuitería.
• Una circuitería de procesamiento (6) basada en la realización de operaciones analógicas sencillas sobre sumas ponderadas de contribuciones de las celdas vecinas y de la propia celda. El término suma debe entenderse en sentido algebraico: tanto las variables a ponderar como los factores de ponderación pueden ser positivos o negativos. Las contribuciones son proporcionales a los valores de los píxeles de alguna imagen (analógica o binaria) correspondientes a cada celda y almacenados en ella. Para cada celda, el conjunto de contribuciones procederá, sin excluir otras variantes, del conjunto de 3 x 3 celdas adyacentes centrado en ella misma. Las nueve contribuciones son ponderadas con arreglo a un conjunto de 3 x 3 factores de ponderación analógicos, que son programables eléctricamente de manera global (espacialmente invariante). No se excluye la extensión al caso en que la
"suma ponderada" sea el resultado de la realización y acumulación de más de una de las sumas ponderadas anteriores, en general con diferentes conjuntos de factores de ponderación y con diferentes imágenes de origen. La realización de las diferentes contribuciones ponderadas y su acumulación puede hacerse en paralelo, empleando para ello la suficiente circuitería de ponderación y suma, o de forma multiplexada en el tiempo, empleando una circuitería más reducida y un elemento de acumulación. No se excluyen los casos extremos de utilización de un único elemento de ponderación aplicado secuencialmente a los diferentes vecinos y/o imáge- nes, ni el de la utilización de los suficientes elementos de ponderación para la obtención en un sólo paso de sumas ponderadas de contribuciones proporcionales a diferentes imágenes de origen con diferentes conjuntos de coeficientes de ponderación. Sin perjuicio de otros, algunos ejemplos de operaciones sencillas a realizar sobre el resultado de la suma ponderadas son: una integración sin pérdidas, una integración con pérdidas lineales, una integración con pérdidas no lineales, cualquiera de las variantes anteriores con o sin saturación, una función signo o una comparación umbralizada, un escalado, o simplemente el operador identidad. Los coeficientes analógicos empleados en la realización de las operaciones previstas sobre el resultado de la suma ponderada (por ejemplo las pérdidas, niveles de saturación, factor de escalado, umbral de comparación, etc.) también son programables de manera eléctrica y espacialmente invariante.
• Una circuitería que permite la acumulación del resultado de la suma ponderada (6) al contenido de las memorias de píxel (analógico) de la celda (3).
• Opcionalmente, la circuitería necesaria para realizar una multiplicación analógica, píxel a píxel, entre dos imágenes almacenadas (6).
• Un operador lógico elemental (7) que actúa sobre el contenido de las memorias binarias de cada celda. La operación lógica a realizar en cada momento es globalmente programable.
• La circuitería de control, de conexionado, y de conversión (8) para permitir la transmisión de información entre los diferentes elementos de cada celda (e.g. sensores, memorias, y circuitos de procesamiento), siempre de forma simultánea en todas las celdas, de manera que a nivel de sistema constituyen transferencias de imágenes en forma totalmente paralela, con una anchura de bus igual al número de píxeles de la imagen.
• La circuitería de control (7,8) necesaria para el empleo opcional de habilitación o modificación local selectiva de algunas de las operaciones de procesamiento y/o de transferencia de datos en base al contenido de alguna de las memorias de píxel binarias de la celda.
• La circuitería de control (7), de conexionado y eventualmente de conversión AD y DA necesaria para el control de las operaciones y para el intercambio de información (9) con el exterior de la distribución regular bidimensional de celdas idénticas, de alguna de las maneras previsibles en base a la funcionalidad previamente descrita.
Rodeando a la distribución regular bidimensional de celdas idénticas se emplazan los diferentes elementos de circuito necesarios para el funcionamiento de las celdas, así como los siguientes elementos de control y de interconexión con el exterior:
• Un anillo de celdas de contorno (10), que rodea a la distribución regular bidimensional de celdas. Estas celdas, utilizadas para establecer las condiciones de contorno espaciales, contienen la circuitería necesaria para generar las contribuciones que esperan las celdas interiores adyacentes, pero no la utilizada para realizar los cálculos. Los valores de los píxeles de las celdas de contorno son globalmente programables (para todo el anillo).
• Un sistema digital (11) de procesamiento, control, y almacenamiento de datos y de programa, consistente por ejemplo en un microprocesador, un microcontrolador, o un procesador digital de señales, en combinación con bloques de memoria digital. En el caso más general, las memorias contendrán bloques de memoria volátil (RAM) y no volátil, pudiendo ser la no volátil programable al menos parcialmente. La función de este sis- tema digital es el control superior de las tareas realizadas por la distribución de celdas, la comunicación del chip con el exterior, y en su caso, el procesamiento de la información preprocesada por la distribución de celdas para la toma de decisiones de alto nivel. • Circuitería de cómputo global (12) de propósito variado, destinada a la obtención de información muy simplificada de alguna imagen almacenada en la distribución de celdas. Como ejemplos, esta circuitería podría permitir el cálculo del valor medio de una imagen analógica, los valores extremos, la dispersión, y otros parámetros estadísticos. No se excluye la necesidad de incorporar alguna circuitería a nivel de celda. Esta información extractada puede servir, entre otros propósitos, para el ajuste automático de los parámetros de adquisición de la imagen (tiempos de exposición, enfoque, etc), la selección de un determinado tipo de sensor entre los disponibles, y para la toma de decisiones globales en general. • Una circuitería de control (13) de la distribución de celdas, consistente esencialmente en un conjunto de registros digitales y máquinas de estado sencillas, direccionables y controlables por el sistema de procesamiento digital. La función de esta circuitería es permitir la generación y aplicación, a la distribución de celdas, de secuencias de vectores digitales de control.
• Un banco de convertidores D/A (14), uno por coeficiente analógico programable empleado en el conjunto de celdas. Los convertidores pueden ser lineales o no, incluyendo la posibilidad de predistorsionar convenientemente la eventual no-linealidad existente entre la tensión analógica de control del coeficiente y el valor efectivo del mismo, por ejemplo en base a un mecanismo de realimentación que emplee el mismo tipo de bloque de escalado empleado en la circuitería de las celdas. Los datos digitales de entrada a este banco de convertidores proceden de nuevo de registros y máquinas de estado sencillas direccionables y controlables por el sistema digital de control y procesamiento. La salida de cada convertidor , en tensión, ataca a un nudo global que se distribuye al conjunto de celdas. La utilización de una señal analógica de tensión responde a razones de eficiencia de conexionado. • Un banco de convertidores AD y DA (15) para realizar el intercambio de imágenes analógicas con el exterior del circuito integrado, cuando sea necesario o conveniente, en forma totalmente digital y de manera serial a través de uno o más buses de datos, con los correspondientes buses de direcciones y señales de control. Estos convertidores, al igual que el resto del sistema, estarán controlados directa o indirectamente por el sistema digital de control superior. No se excluye la posibilidad de que estos convertidores se realicen dentro de la distribución de celdas "a nivel de píxel", empleando técnicas apropiadas. Tampoco se excluye la posibilidad de comunicación mediante buses de datos analógicos, pudiendo prescindirse en ese caso de los bancos de convertidores AD y DA.
• Circuitería de compresión de datos de salida (16). Conjunto de circuitos que permiten la compresión y transmisión de imágenes binarias dispersas
(con pocos unos o con pocos ceros) de manera altamente eficiente. La inclusión de estos elementos responde a la observación de que la mayoría de los algoritmos de visión emplean representaciones binarias y normalmente dispersas de las imágenes en los niveles superiores de la cadena de decisión. Como ejemplo, esta circuitería podría identificar si cierta imagen binaria es completamente blanca o negra mediante alguna operación lógica global sobre todos los píxeles de una imagen binaria, detectar la posición de un píxel individual en la distribución regular de celdas si éste es el único píxel blanco o negro de la imagen mediante el uso de codificadores y decodificadores de "filas y columnas" o similar, o generar una secuencia de coordenadas espaciales correspondientes a las de cada uno de los píxeles minoritarios (blancos en un fondo negro o viceversa) empleando estrategias de prioridad, normalmente asincronas. Otro ejemplo sería la identificación de las coordenadas espaciales de los vértices opuestos de zonas que engloben los píxeles negros minoritarios en un fondo blanco (o viceversa) de la imagen. No se excluye la inclusión de la circuitería necesaria a nivel de píxel. • Circuitería de entrefase (17). Aparte de la entrada óptica, la entrefase eléctrica del circuito integrado es esencialmente digital, controlada por el sistema digital interno con arreglo a un reloj maestro, y consiste fundamentalmente en buses de dirección y de datos digitales, así como de señales de control típicas empleadas para los procesos/protocolos de lectura/escritura, habilitación general del chip, interrupciones, selección de modos de funcionamiento, ejecución de programa, etc. En realizaciones prácticas, esta entrefase se amoldará a algún estándar digital existente. Esto responde al objetivo de facilitar las tareas de programación y depuración de los algoritmos de visión artificial del sistema autónomo mediante el uso de sistemas de desarrollo, así como a la conveniencia de permitir la utilización alternativa de estos dispositivos como elementos "esclavos" especializados en la captación y procesamiento de imágenes dentro de sistemas digitales superiores.
DESCRD?CIÓN DE LOS DIBUJOS
Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características del invento, de acuerdo con un ejemplo preferente de realización práctica del mismo, se acompaña como parte integrante de dicha descripción, una figura en donde con carácter ilustrativo y no limitativo, se ha representado esquemáticamente un ejemplo concreto de la arquitectura del sistema de visión integrado en un único chip, con indicación simbólica de la circuitería y la arquitectura de una celda básica del sensor-procesador, indicándose mediante símbolos los bloques de la circuitería de celda que son controlados y/o programados mediante señales globales, las memorias digitales pudiendo ejercer funciones de control local, y el conjunto de vecinas de cada celda incluyendo en general a la propia celda.
En cuanto al sistema de control y procesamiento digital externo a la distribución de celdas, se refleja un ejemplo de arquitectura basada en una unidad de procesamiento (CPU, DSP, o Microcontrolador), memoria volátil y no volátil, periféricos genéricos, y una unidad de control de memoria.
EJEMPLO DE REALIZACIÓN
La Figura muestra una representación esquemática del sistema que a continuación se describe como ejemplo de realización. En este caso particular el sistema se ha diseñado en un solo circuito integrado utilizando tecnología CMOS estándar de 0,18 micrómetros con 2 capas de polisilicio y 6 capas de metal. El sistema digital de procesamiento y control utilizado en el ejemplo es un microprocesador digital de altas prestaciones y bajo consumo de potencia con arquitectura RISC y bus de direcciones de 32 bits de anchura. Dicho microprocesador incluye memoria Caché para datos y direcciones y una unidad aritmética para la realización de multiplicaciones y divisiones en punto fijo. En el ejemplo de realización presentado se ha utilizado como unidades de almacenamiento digital un bloque de memoria SRAM de 32kbytes y un bloque de memoria no volátil de tipo FLASH-RAM ambas integradas.
En este ejemplo de realización se ha utilizado como bus interno al que se conectan el sistema digital de procesamiento y control, las memorias integradas, la circuitería de control, la distribución de celdas, y los convertidores de datos, un bus integrado de 32 bits de anchura operando a 66 Megahertzios.
La distribución de celdas, en este ejemplo, contiene 88 x 72 elementos, correspondiendo a la cuarta parte del formato conocido como QCIF (quarter CIF). Cada celda interior contiene 10 elementos de ponderación y suma, correspondientes a contribuciones procedentes de las 3 x 3 celdas vecinas (incluyéndose la propia celda) y a una contribución adicional que implementa un término invariante en el espacio, también programable. La operación realizada sobre el resultado de la suma ponderada puede ser elegida mediante programación entre la simple evaluación del resultado, una integración de tiempo continuo con saturación a la salida del integrador, o una binarización basada en una comparación umbralizada.
Las celdas incluyen ocho memorias analógicas, que pueden ser utilizadas también como memorias binarias mediante conversión directa del dato. Estas memorias de píxel actúan como elemento centralizador de los procesos de transferencia de información dentro de la celda. Se ha incluido también un operador lógico programable de dos entradas, que actúa sobre el contenido de las "memorias binarias". El contenido de las "memorias bina- rias" puede ser empleado para habilitar localmente la evolución dinámica de cada celda (integración), así como las funciones de transferencia de datos (por ejemplo, la escritura de otra memoria).
Los fotosensores empleados, que permiten realizar el sensado de la imagen enfocada sobre la superficie del chip por el sistema óptico, proporcionan diversos modos de operación, incluyendo la integración de la corriente fotogenerada en alguno de entre varios diodos de diferente naturaleza o incluso bipolares verticales, lo que resulta en una representación lineal en tiempo discreto del valor del píxel, y también otros esquemas que resultan en representaciones con compresión logarítmica en tiempo continuo. La circuitería local de procesamiento y memoria permite una fácil calibración de los sensores, resolviendo el mayor inconveniente de los sensores CMOS.
Como ejemplos de circuitería de compresión de los datos de salida, se emplean dos puertas globales, una NAND y otra ÑOR, cada una de ellas con una entrada por cada celda, que permiten evaluar instantáneamente desde el exterior si una determinada imagen es completamente blanca o completamente negra. Además, se ha incluido una circuitería capaz de generar la secuencia de pares de coordenadas de todos los píxeles negros de una imagen binaria, con arreglo a una determinada estrategia de prioridad asincrona. Los convertidores digital-analógico empleados para la programación de la distribución de celdas emplean arquitecturas convencionales. Sus salidas representan valores de los factores de ponderación correspondientes a la circuitería de suma ponderada descrita, valores de las condiciones de contorno espaciales, y niveles de referencia empleados por la circuitería analógica. Cada valor de cada coeficientes es codificado mediante 7 bits mas un bit de signo. Por su parte, el vector digital de control de la distribución de celdas tiene una anchura de 48 bits.
La entrefase externa consiste esencialmente en los buses de datos y de direcciones del sistema digital de control, junto a un número reducido de señales que sirven a los propósitos habituales de sincronización y de control de los procesos de lectura y escritura, de habilitación general de la entrefase externa del chip, de reset, y de selección de modos de funcionamiento (e.g. programación, ejecución, etc).
En este ejemplo, el área total de silicio ocupada por el sistema descrito en la Figura, en la tecnología de 0.18μm empleada, es de 25mm .

Claims

REIVINDICACIONES
Ia.- Arquitectura de circuito integrado programable de señal mixta para la realización de sistemas autónomos de visión en un único chip y/o el preprocesamiento de imágenes en sistemas de nivel superior, caracterizado por realizar el sensado, almacenamiento y procesamiento de las imágenes en forma masivamente paralela, concurrente, y espacialmente distribuida.
2a.- Arquitectura de circuito integrado de señal mixta según reivindicación Ia, caracterizada por comprender; a) una distribución espacial regular bidimensional de celdas idénticas, localmente interconectadas, que combinan las capacidades de foto-transducción, procesamiento, y almacenamiento y b) un sistema de procesamiento y almacenamiento digital
3a.- Arquitectura de circuito integrado de señal mixta según reivindicaciones anteriores, caracterizada porque cada celda de la distribución espacial regular bidimensional de celdas idénticas computa mediante circuitería analógica programable una o varias sumas ponderadas de contribuciones de las celdas vecinas, entendiéndose el término suma en sentido algebraico, es decir, que tanto las variables a ponderar como los factores de ponderación pueden ser positivos o negativos, y consiguiéndose estas sumas ponderadas como la base de los algoritmos de procesamiento de las imágenes.
4a.- Arquitectura de circuito integrado de señal mixta según reivindicaciones 2a y 3a, caracterizada porque cada celda de la distribución espacial regular bidimensional de celdas idénticas comprende;
- al menos un fotosensor (1) y su circuitería de adaptación y entrefase (2), - al menos una memoria analógica (3) y/o binaria (4) , que a nivel de sistema constituyen memorias de imágenes cuyos píxeles tienen valores analógicos y/o binarios,
- una circuitería de ponderación y suma (6) en la cual los factores de ponderación utilizados en el cómputo de las sumas ponderadas son programables eléctricamente de manera espacialmente uniforme
- circuitería de procesamiento (6) encargada de realizar operaciones sencillas sobre el resultado de agregar una o varias sumas ponderadas de contribuciones de las celdas vecinas proporcionales a una o varias imágenes, siendo los coeficientes relevantes para la realización de dichas operaciones también programables eléctricamente de manera espacialmente invariante, - circuitería (8) de control, de conexionado y de conversión, para el intercambio de datos entre los diferentes elementos de cada celda (sensores, memorias, y circuitos de procesamiento) a nivel de celda, simultáneamente en todas las celdas, de manera que a nivel de sistema constituyen transferencias de imágenes en forma totalmente paralela, con una anchura de bus igual al número de píxeles de la imagen,
- circuitería (7, 8) para el empleo opcional de habilitación o modificación local selectiva de algunas de las operaciones de procesamiento y/o de transferencia de datos a nivel de celda en base al contenido de alguna de las memorias de píxel binarias de la celda.
5a.- Arquitectura de circuito integrado de señal mixta según reivindicación 4a, caracterizada porque a nivel de la circuitería de entrefase (2) existen interconexiones entre sensores de la misma celda y/o entre sensores de celdas adyacentes para propósitos de filtrado espacio-temporal, lineal o no- lineal, y siendo los parámetros significativos de la entrefase óptica y de filtrado espacio-temporal programables en base a parámetros globales y/o locales.
6a.- Arquitectura de circuito integrado de señal mixta según reivindicación 4a, caracterizado porque cada una de las celdas comprende una circuitería para realizar la multiplicación píxel a píxel de dos imágenes previamente almacenadas.
7a.- Arquitectura de circuito integrado de señal mixta según reivindicación 4a, caracterizada porque cada una de las celdas comprende una circuitería para realizar operaciones lógicas, programables de manera espacialmente invariante, entre valores binarios de píxeles correspondientes a diferentes imágenes previamente almacenadas.
8a.- Arquitectura de circuito integrado de señal mixta según reivindicación 4a, caracterizada porque cada una de las celdas comprende una circuitería para transferir el contenido de una determinada memoria analógica (3) o binaria (4) a otra celda cercana especificada de acuerdo a un vector de desplazamiento programable de manera espacialmente invariante, resultando a nivel global en un desplazamiento de toda la imagen, y realizándose dicho desplazamiento de forma directa o iterativa, según criterios de optimización de la circuitería.
9a.- Arquitectura de circuito integrado de señal mixta según reivindicación 4a, caracterizada porque comprende en la periferia de la matriz de celdas, bancos de convertidores AD y DA (15) para el intercambio bidireccional con el exterior del circuito integrado, de imágenes digitalizadas en escala de grises en forma serial, a través de uno o más buses de datos digitales, y de los correspondientes buses de direcciones y señales de control.
10a.- Arquitectura de circuito integrado de señal mixta según reivindicación 9a, caracterizada porque el intercambio bidireccional con el exterior del circuito integrado se realiza mediante buses de datos analógicos, prescindiéndose por tanto de los bancos de convertidores AD y DA.
11a.- Arquitectura de circuito integrado de señal mixta según reivindicaciones 2a a 10a, caracterizada por comprender, rodeando a la distribución de celdas espacialmente regular, un anillo de celdas (10) utilizadas para establecer las condiciones de contorno espaciales en los algoritmos de procesamiento de imágenes, y siendo estas condiciones de contorno programables eléctricamente.
12a.- Arquitectura de circuito integrado de señal mixta según reivindicaciones 2a a 11a, caracterizada porque comprende una circuitería de computo global para la compresión (16) y transmisión al exterior de imágenes binarias dispersas, con componentes tanto en el interior de la celda (12) como en la circuitería periférica (16), tales como la determinación de si cierta imagen es totalmente blanca o negra, la detección de los vértices opuestos de regiones que incluyan los píxeles minoritarios (blancos o negros), o la generación de una secuencia de las coordenadas espaciales del conjunto de píxeles minoritarios.
13a.- Arquitectura de circuito integrado de señal mixta según reivindicaciones 2a a 12a, caracterizada porque comprende, a nivel de celda y a nivel global, una circuitería analógica (12) de cómputo de parámetros globales de las imágenes, tales como el valor medio, los valores máximos y mínimos, la dispersión media, la varianza, u otros parámetros estadísticos. 14a.- Arquitectura de circuito integrado de señal mixta según reivindicaciones 2a a 13a, caracterizada porque comprende un sistema digital (11) de procesamiento, almacenamiento y control, que realiza las tareas de control de la distribución de celdas y del sistema en su conjunto, de procesamiento de información, y de las comunicaciones extemas, con arreglo a un programa preestablecido y almacenado en las memorias internas.
PCT/ES2003/000564 2002-11-04 2003-11-04 Arquitectura de circuito integrado programable de señal mixta para la realizacion de sistemas autonomos de vision en un unico chip y/o preprocesamiento de imagenes en sistemas de nivel superior WO2004042822A1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP03769516.0A EP1580814B1 (en) 2002-11-04 2003-11-04 Programmable mixed-signal integrated circuit architecture for the production of autonomous vision systems in a single chip and/or pre-processing of images in higher-level systems
AU2003278200A AU2003278200A1 (en) 2002-11-04 2003-11-04 Programmable mixed-signal integrated circuit architecture for the production of autonomous vision systems in a single chip and/or pre-processing of images in higher-level systems

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ES200202707A ES2209642B1 (es) 2002-11-04 2002-11-04 Arquitectura de circuito integrado programable de señal mixta para la realizacion de sistemas autonomos de vision de un unico chip y/o preprocesamiento de imagenes en sistemas de nivel superior.
ESP200202707 2002-11-04

Publications (1)

Publication Number Publication Date
WO2004042822A1 true WO2004042822A1 (es) 2004-05-21

Family

ID=32309641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2003/000564 WO2004042822A1 (es) 2002-11-04 2003-11-04 Arquitectura de circuito integrado programable de señal mixta para la realizacion de sistemas autonomos de vision en un unico chip y/o preprocesamiento de imagenes en sistemas de nivel superior

Country Status (4)

Country Link
EP (1) EP1580814B1 (es)
AU (1) AU2003278200A1 (es)
ES (1) ES2209642B1 (es)
WO (1) WO2004042822A1 (es)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821047A (zh) * 2023-08-31 2023-09-29 北京犀灵视觉科技有限公司 一种感存算一体化电路、系统及方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8063350B2 (en) 2007-08-03 2011-11-22 Cognex Corporation Circuits and methods allowing for pixel array exposure pattern control
US8570393B2 (en) 2007-11-30 2013-10-29 Cognex Corporation System and method for processing image data relative to a focus of attention within the overall image
US9451142B2 (en) 2007-11-30 2016-09-20 Cognex Corporation Vision sensors, systems, and methods
US9189670B2 (en) 2009-02-11 2015-11-17 Cognex Corporation System and method for capturing and detecting symbology features and parameters
ES2432855B1 (es) 2012-05-03 2014-09-09 Universidad De Sevilla Dispositivo para la detección de bordes y mejora de calidad en una imagen
ES2459869B2 (es) 2012-10-08 2014-12-04 Universidad De Sevilla Dispositivo para la detección Hardware de extremos locales en una imagen
US9762834B2 (en) * 2014-09-30 2017-09-12 Qualcomm Incorporated Configurable hardware for computing computer vision features

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0853427A2 (en) * 1994-06-01 1998-07-15 Simage Oy Imaging devices, systems and methods
WO2000052639A2 (en) * 1999-03-05 2000-09-08 Clarity, Llc Two architectures for integrated realization of sensing and processing in a single device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0853427A2 (en) * 1994-06-01 1998-07-15 Simage Oy Imaging devices, systems and methods
WO2000052639A2 (en) * 1999-03-05 2000-09-08 Clarity, Llc Two architectures for integrated realization of sensing and processing in a single device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821047A (zh) * 2023-08-31 2023-09-29 北京犀灵视觉科技有限公司 一种感存算一体化电路、系统及方法
CN116821047B (zh) * 2023-08-31 2023-10-31 北京犀灵视觉科技有限公司 一种感存算一体化电路、系统及方法

Also Published As

Publication number Publication date
EP1580814B1 (en) 2016-11-02
ES2209642A1 (es) 2004-06-16
ES2209642B1 (es) 2005-10-01
EP1580814A1 (en) 2005-09-28
AU2003278200A1 (en) 2004-06-07

Similar Documents

Publication Publication Date Title
US7098437B2 (en) Semiconductor integrated circuit device having a plurality of photo detectors and processing elements
JP6039889B2 (ja) モノクロ画像データおよびカラー画像データを出力する端末
US9449257B2 (en) Dynamically reconstructable multistage parallel single instruction multiple data array processing system
US9462207B2 (en) Read-out circuitry for an image sensor
ES2209642B1 (es) Arquitectura de circuito integrado programable de señal mixta para la realizacion de sistemas autonomos de vision de un unico chip y/o preprocesamiento de imagenes en sistemas de nivel superior.
Suarez et al. CMOS-3D smart imager architectures for feature detection
JP7136204B2 (ja) 演算方法
CN100487522C (zh) 模糊校正方法及摄像装置
Schmitz et al. A 1000 frames/s vision chip using scalable pixel-neighborhood-level parallel processing
Cembrano et al. ACE16k: a 128× 128 focal plane analog processor with digital I/O
Linan et al. ACE16K: An advanced focal-plane analog programmable array processor
Forchheimer et al. Single-chip image sensors with a digital processor array
Földesy et al. Configurable 3D‐integrated focal‐plane cellular sensor–processor array architecture
Dudek Implementation of SIMD vision chip with 128/spl times/128 array of analogue processing elements
Ito et al. A computational digital pixel sensor featuring block-readout architecture for on-chip image processing
Linan et al. Architectural and basic circuit considerations for a flexible 128× 128 mixed-signal SIMD vision chip
CN115242990A (zh) 图像传感器模块和操作图像传感器模块的方法
Johansson et al. A multi-resolution 100 GOPS 4 Gpixels/s programmable CMOS image sensor for machine vision
Rodríguez-Vázquez et al. A 3D chip architecture for optical sensing and concurrent processing
Schmitz et al. A programmable vision chip with pixel-neighborhood level parallel processing
US6930597B2 (en) Electro-optical device for the acquisition and processing of images
Jendernalik et al. Analog CMOS processor for early vision processing with highly reduced power consumption
EP4117278B1 (en) Image signal processor, operation method of image signal processor, and image sensor device including image signal processor
Dudek A 39× 48 general-purpose focal-plane processor array integrated circuit.
EP1353499A1 (en) Electronic selector device for electro-optical sensors

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
REEP Request for entry into the european phase

Ref document number: 2003769516

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2003769516

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2003769516

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Ref document number: JP