WO2004010378A1 - Circuito de adaptación de luminancia basado en interacciones locales - Google Patents

Circuito de adaptación de luminancia basado en interacciones locales Download PDF

Info

Publication number
WO2004010378A1
WO2004010378A1 PCT/ES2003/000366 ES0300366W WO2004010378A1 WO 2004010378 A1 WO2004010378 A1 WO 2004010378A1 ES 0300366 W ES0300366 W ES 0300366W WO 2004010378 A1 WO2004010378 A1 WO 2004010378A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
values
local
global
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/ES2003/000366
Other languages
English (en)
French (fr)
Inventor
Matthias Sven Keil
Gabriel CRISTOBAL PÉREZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Consejo Superior de Investigaciones Cientificas CSIC
Original Assignee
Consejo Superior de Investigaciones Cientificas CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Consejo Superior de Investigaciones Cientificas CSIC filed Critical Consejo Superior de Investigaciones Cientificas CSIC
Priority to AU2003250253A priority Critical patent/AU2003250253A1/en
Publication of WO2004010378A1 publication Critical patent/WO2004010378A1/es
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/36Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Definitions

  • the present invention relates to software integration in intelligent pixel sensors (cellular neural networks). Specifically in this invention a method is described that allows the sensor to adjust the overall luminance incident through local processing operations. Specifically, the scope within which this patent may have the greatest impact is in companies that manufacture both analog and digital video cameras, monitors, videoconferencing, mobile telephony, etc.
  • Other patents http://www.de1phion.com related to this proposal are: (1) Chua, L. and Yang, L., "Cellular neural network", Pat. US5140670 (2) Werblin, F., Roska, T. and Chua, L.O. "CNN programmable topographic sensory device ', Pat. US5717834.
  • normalization is a global process.
  • the usual calculation procedure is the search for a global maximum and minimum.
  • the current values of the maximum and minimum are stored in a temporary memory. These values are compared with the current (local) value and are substituted by that value if it is less than the minimum stored or greater than the maximum stored.
  • the temporary memory will contain the maximum and minimum global values.
  • the original values ie the inputs
  • the overall nature of the algorithmic approach clearly limits its use in electronic applications, and therefore other approaches have been suggested in order to obtain an approximate solution to the problem. These include (data collected from http://www.eleceng.adelaide.edu.au/Groups/GAAS/ Bugeye / visionchips / vision_chips /)
  • This method finds the average value of the values and feeds that value in order to control the gain. It is easily implementable in VLSI using the current sum mode.
  • the methods based on the average error can provide information about the deviation of the variables at the hierarchy level. This can be interpreted as an indication of the level of activity. Therefore, system activity can be controlled by this method.
  • This method provides a decision based on the higher value of the variables.
  • the hardware realization of this method is called the winner-take-all circuit (winner-take-all (WTA)).
  • the proposed circuit can carry out a win-take-all operation if the processing regions are not interconnected. Therefore, in each of these regions, an independent normalization will be carried out, that is, the maximum or minimum regions will be determined.
  • a threshold we get the WTA operation.
  • the network does not eliminate any value at the expense of others, so it is different from WTA architectures. Instead, what the system does is to re-scale the values in each region independently.
  • Other methods for mapping arbitrary values in a given dynamic range include the use of compression or sigmoidal functions. Without the presence of an adaptive mechanism, these functions provide a worse outcome than in the case of incorporating adaptability.
  • the system proposed here can also be used for the adaptation of non-linear functions, through the use of the local value available in the parameterization of the maximum and minimum global values.
  • the mechanism proposed here in addition to its simple implementation both from the algorithmic point of view and through electronic circuit, provides the global maximum and minimum in a local way, that is, each cell has access to the maximum and minimum value without making any reference to global variable values.
  • the proposed system can be implemented as a local WTA network or as a new retinal circuit (eg through cellular neural networks).
  • There is currently a large set of artificial retinal circuits i.e. electronic implementations of models of the vertebrate retina
  • the circuit of adaptation to light changes is carried out locally, extracting only the information from local contrast of the luminance distribution.
  • VLSI silicon retina
  • the local average is subtracted from the signal in each cell.
  • two local averages with different spatial distribution are subtracted from each other.
  • This method has two disadvantages. First, the signal will "center" around zero, and therefore the variation of the signal will depend on the local average. For example, if the average current is 1 nA, the variation of the signal will be around that value. Second, this method is not able to reproduce the response to intensity dependence. Due to its simplicity, this method has been used in many VLSI implementations of artificial retinas, such as:
  • Linear lateral inhibition is a simple case of lateral inhibition, where the signal in a cell is subtracted from fractions of neighboring cells.
  • This model can explain the characteristics of edge enhancement and dynamic range. However, it cannot reproduce the dependence phenomenon with intensity.
  • This method has been used in the implementation of some chips based on lateral inhibition. They include: • S. Wolpert & E. Micheli-Tzanakou, "Silicon models of lateral inhibition,” IEEE Trans. Neural Networks, Vol. 4, No. 6, pp. 955-961, Nov. 1993.
  • the method proposed here is completely different from other existing models. It is also different from other algorithms that fill in surfaces with some color. In this case, the maximum value of the neighbors is assigned to the central value of each pixel. A similar strategy can be followed for the search of the global minimum, but nevertheless the VLSI implementations of the surface filling programs require a higher computational cost than the method proposed here.
  • the method proposed here provides a definitive solution to the problem of finding the global maximum and minimum of a set of numbers based on local information and non-algorithm interactions.
  • non-algorithmic refers to the fact that we do not use explicit comparisons between values (eg if ... then).
  • local refers to the fact that a global memory or "buffer” is not used, but only local interactions between neighboring cells.
  • the method consists of three differential equations. Each equation can be interpreted as an independent processing layer of an ordered array of cells. The topology is the same for all three layers. The first layer performs a nonlinear diffusion converging to the global maximum. This means that the global maximum is locally available, despite only local interactions between the cells in each layer.
  • the second layer will converge to the local minimum.
  • the third layer connects both the maximum and the minimum in order to obtain a normalized representation of the input.
  • the values can be used for the adaptation (normalization) of arbitrary signals, as mentioned in the section Detailed description of the invention Definitions
  • x, j be the input data that we wish to process, with it
  • Nki is a set of indexes that specify a von-Neumann type neighborhood, that is - H ' ⁇ M' + ) . , j - 0-t '+') r. Note that the diffusion equation is linear.
  • each cell a obtains the global maximum A at the end of the process, and cell b, j the global minimum B.
  • the reason for this behavior is due to the fact that the HWR operator only allows a cell to increase its activity If one of your closest neighbors has a greater activity. If there is no more gradient between the cells, there will be no further increase in activity in them. This corresponds to the state of convergence of the network. Propagation activity It is therefore non-conservative, since all cells will increase their activity to the maximum global value.
  • the dynamics of b, j cells take place in a similar way. Each b, j is only allowed to decrease its activity if one of its closest neighbors has a lower activity. This diffusion ceases if there are no more gradients, and say when all cells have reached the global minimum.
  • each island W can therefore be defined by a set of matrix coordinates (row / column indices) together with their corresponding non-zero values (pesos). It is not possible for two islands to be spatially exceeded (in our analogy that means that two connected islands can merge and create a single island).
  • the simple dynamics (that is, for small values of the integration steps) of the network equations (3,4 and 8) reveals responses that are similar to those produced in retinal ganglion cells that have an excitatory center and an inhibitory environment. .
  • Such cells are called ON cells, and are characterized by responding to the brightest part of a luminance ramp.
  • An OFF biological cell has an excitatory environment and an inhibitory center. Responses that are similar to retinal OFF cells can be calculated by modifying equation (7) as 'a -fc;
  • leakage conductance (leakage) g ⁇ ea k > 0 and the resting potential V res t must be chosen with a small zero value without loss of generality.
  • ON cells can be modeled as:
  • g ⁇ eak and V res t can be taken as zero, or with very small values.
  • the temporary variable t has been omitted for simplicity of each variable.
  • the input x ⁇ comes from the photoreceptors.
  • Laplacian can be easily obtained by calculating '" ⁇ / - y , Y (responses of OFF cells of the Laplacian type).
  • Figure 1 (a) Original image; (b) Response of the ON channel of a model based on the use of filters based on Gaussian differences; (c) Expanded detail of the previous response displayed with the inverted contrast. As you can see this model is not able to correctly reproduce the contrast at the intersections of the lines
  • FIG. 2 The retinal circuit model proposed in this patent is able to provide a more efficient response by facilitating a better contrast compared to the classical methods based on the Gaussian difference.
  • the proposed model does not present the problem described above.
  • Figure 3 Original image; (bd) Dynamic response of the network for various values (multiples of integration time, indicated in the legends of the figures).
  • Figure 4 (ad) Dynamic network response for various values (multiples of integration time, indicated in the legends of the figures). Note that high luminance values accelerate the network normalization process, and as the network evolves the response obtained is almost identical to the original image.
  • Figure 5 (ac) Dynamic response of the network for various values (multiples of integration time, indicated in the legends of the figures). Note that high luminance values accelerate the network normalization process, and as the network evolves the response obtained is almost identical to the original image.
  • Figure 6 (ac) Network response for images with different range of contrasts (low values).
  • Figure 10 The figure represents a scheme of the proposed artificial retina. This model allows simultaneous transmission of contrast and luminance information. It facilitates a mechanism of global luminance adaptation with a wide dynamic range, providing a very compact code of visual information.
  • Figure 11 This figure represents a schematic of a cellular neural network where the processing elements are interconnected according to a von-Neumann type neighborhood scheme (4 closest neighbors).

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Multimedia (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Image Analysis (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

El sistema propuesto está basado en un automáta celular. Su funcionamiento consiste esencialmente en un conjunto de ecuaciones diferenciales. Las ecuaciones estan acopladas exclusivamente por medio de interacciones entre los elementos vecinos, es decir, cada célula intercambia información exclusivamente con los cuatro vecinos más próximos. Debido a su naturaleza local, el sistema es susceptible de ser implementado en VLSI, y utilizado por una amplia gama de circuitos en donde sea precisa una normalización de la señal de entrada en una etapa de procesado posterior, que tenga un rango dinámico de niveles de luminosidad restringido.

Description

TITULO
CIRCUITO DE ADAPTACIÓN DE LUMINANCIA BASADO EN
INTERACCIONES LOCALES
SECTOR DE LA TÉCNICA
Dentro del sector de la tecnología de la información y las comunicaciones la presente invención está referida a integración de software en sensores de pixel inteligente (redes neuronales celulares). Concretamente en esta invención se describe un método que permite al sensor un ajuste global de la luminancia incidente a través de operaciones de procesado locales. Concretamente el ámbito dentro del cual esta patente puede tener mayor grado de impacto es en empresas fabricantes de cámaras de video tanto analógico como digital, monitores, videoconferencia, telefonía móvil, etc. Otras patentes http://www.de1phion.com relacionadas con esta propuesta son: (1) Chua, L. y Yang, L., "Cellular neural network", Pat. US5140670 (2) Werblin, F., Roska, T. y Chua, L.O. "CNN programmable topographic sensory device', Pat. US5717834.
ESTADO DE LA TÉCNICA
Aproximaciones generales al problema de la normalización En general, la normalización es un proceso global. El procedimiento habitual de cálculo es la búsqueda de un máximo y mínimo globales. Para ello se almacenan en una memoria temporal los valores actuales del máximo y mínimo. Dichos valores se comparan con el valor actual (local) y son sustituidos por dicho valor si éste es menor que el mínimo almacenado o mayor que el máximo almacenado. Después de pasar por todos los puntos de análisis, la memoria temporal contendrá los valores máximo y mínimo globales. Entonces, los valores originales (es decir las entradas) pueden ser escalados linealmente utilizando los valores máximo y mínimo globales con objeto de ocupar un determinado rango de valores, por ejemplo entre 0 y . El carácter global de la aproximación algorítmica claramente limita su utilización en aplicaciones electrónicas, y por tanto otras aproximaciones han sido sugeridas con objeto de obtener una solución aproximada al problema. Entre ellas cabe citar (datos recopilados de http://www.eleceng.adelaide.edu.au/Groups/GAAS/ Bugeye/visionchips/vision_chips/)
• Adaptación basada en el valor medio.
Este método encuentra el valor medio de los valores y realimenta dicho valor con objeto de controlar la ganancia. Es fácilmente implementable en VLSI utilizando el modo de suma de corriente.
• Adaptación basada en el error medio o error cuadrático medio.
Los métodos basados en el error medio pueden proporcionar información acerca de la desviación de las variables al nivel de la jerarquía. Esto puede ser interpretado como una indicación del nivel de actividad. Por tanto, la actividad del sistema puede ser controlada mediante éste método.
• Adaptación basada en el valor máximo.
Este método proporciona una decisión en base al valor mayor de las variables. La realización hardware de éste método se denomina circuito ganador-toma-todo "winner- take-all (WTA)".
Es preciso señalar que el circuito propuesto puede llevar a cabo una operación de tipo ganador-toma-todo si las regiones de procesado no se encuentran interconectadas. Por tanto, en cada una de dichas regiones, se llevará a cabo una normalización independiente, es decir se determinarán las regiones de máximo o mínimo. Con la introducción de un umbral, obtenemos la operación WTA. En general, sin embargo, la red no elimina ningún valor a costa de otros, por lo que es diferente de las arquitecturas WTA. En su lugar lo que hace el sistema es re-escalar los valores en cada región de un modo independiente. Otros métodos para el mapeado de valores arbitrarios en un determinado rango dinámico incluyen la utilización de funciones de compresión o sigmoidales. Sin la presencia de un mecanismo adaptativo, dichas funciones proporcionan un resultado peor que en el caso de incorporar adaptabilidad. Obsérvese, que el sistema aquí propuesto puede ser también utilizado para la adaptación de funciones no-lineales, a través de la utilización del valor local disponible en la parametrización de los valores globales máximo y mínimo. El mecanismo que aquí se propone además de su implementación simple tanto desde el punto de vista algorítmico como a través de circuito electrónico, proporciona el máximo y mínimo globales de un modo local, es decir, cada célula tiene acceso al valor máximo y mínimo sin hacer ninguna referencia a valores de variables globales. El sistema propuesto puede ser implementado como una red local WTA o bien como un nuevo circuito retiniano (p.e. a través de redes neuronales celulares). Existen en la actualidad un amplio conjunto de circuitos retiñíanos artificiales (es decir implementaciones electrónicas de modelos de la retina de los vertebrados), pero en donde el circuito de adaptación a los cambios de luz se efectúa de un modo local, extrayendo solo la información de contraste local de la distribución de luminancia. Como ejemplo de implementación de una retina de silicio (VLSI) cabe citar:
• H. Kobayashi, T. Matsumoto, T. Yagi & K. Tanaka, em Light-adaptive architectures for regularization visión chips", Neural Networks, Vol. 8, No. 1, pp. 87-101, 1995. Este método está basado en la teoría de la regularización. Diferencia a partir del promedio local: retinas de silicio
En los métodos que se citan a continuación, el promedio local es substraído de la señal en cada célula. En algunas ocasiones, dos promedios locales con diferente distribución espacial son substraídos uno del otro. Este método presenta dos desventajas. En primer lugar, la señal se "centrará" en torno al cero, y por tanto la variación de la señal dependerá del promedio local. Por ejemplo, si la corriente media es de 1 nA, la variación de la señal se situará en torno a dicho valor. En segundo lugar, este método no es capaz de reproducir la respuesta a la dependencia de la intensidad. Debido a su sencillez, este método ha sido utilizado en muchas implementaciones VLSI de retinas artificiales, como por ejemplo:
• C. Mead & M.A. Mahowald, "A silicon model of early visual processing, " Neural Networks, Vol. 1, pp. 91-97, 1988. Este método está inspirado en los diferentes componentes individuales de una retina. • W. Bair & C. Koch, "An analog VLSI chip for finding edges from zero- crossings," Neural Information Processing Systems, Vol. 3, pp. 399-405, 1991.
• C-Y. Wu & C-F. Chiu, "A new structure of the 2-D silicon retina," IEEE Journal of Solid State Circuits, Vol. 30, No. 8, pp. 890-897, August 1995.
División por el promedio local En los métodos que se indican a continuación, el valor en cada célula se divide por el promedio local. La ventaja fundamental de la división frente a la resta de los métodos anteriores, es que la salida ahora se encuentra centrada en torno a "uno". Por tanto, la salida puede ser normalizada ahora al valor deseado. En los métodos que usan la resta, si un valor offset (por ejemplo 100 nA) se añade en torno al cero, los valores pequeños se perderán. Otra ventaja de éste método es la denominada característica de supresión de ruido multiplicativa (MNC). Al dividir la señal por el promedio local, el ruido de continua (AC noise), que puede provenir de la reflexión de la superficie de los objetos (de ahí su carácter multiplicativo), puede ser reducido a una fracción pequeña. De hecho, éstos métodos han sido propuestos con dicho propósito. Han sido usados como pre-procesadores en chips para la detección de movimiento, con objeto de reducir el efecto de fuentes de luz continuas (AC). Entre los métodos que utilizan división por el promedio local, cabe citar:
• A. Moini, A. Bouzerdoum, K. Eshraghian, A. Yakovleff, X.T. Nguyen, A. Blanksby, R. Beare, D. Abbott & R.E. Bogner, "An insect vision-based motion detection chip," IEEE J. Solid State Circuits, Vol. 32, No. 2, pp. 279-284, February 1997.
• A. Moini, A. Bouzerdoum, K. Eshraghian, A. Yakovleff & X.T. Nguyen, The architecture of an insect visión based VLSI motion detection chip," Australian Microelectronics Conference, pp. 68-73, 1995.
• A. Moini, A. Bouzerdoum, K. Eshraghian, A. Yakovleff, X.T. Nguyen, A. Blanksby, R. Beare, D. Abbott & R.E. Bogner, "An insect vision-based motion detection chip," IEEE J. Solid State Circuits, Vol. 32, No. 2, pp. 279-284, February 1997.
• A. Moini, A. Bouzerdoum, K. Eshraghian, A. Yakovleff & X.T. Nguyen, "The architecture of an insect visión based VLSI motion detection chip," Australian Microelectronics Conference, pp. 68-73, 1995.
Inhibición lateral lineal
Inhibición lateral lineal es un caso simple de inhibición lateral, donde la señal en una célula es substraída a partir de fracciones de las células vecinas. Este modelo puede explicar las características de mejora de bordes y del rango dinámico. Sin embargo, no puede reproducir el fenómeno de dependencia con la intensidad. Este método se ha usado en la implementación de algunos chips basados en la inhibición lateral. Entre ellos cabe citar: • S. Wolpert & E. Micheli-Tzanakou, "Silicon models of lateral inhibition," IEEE Trans. Neural Networks, Vol. 4, No. 6, pp. 955-961, Nov. 1993.
Inhibición lateral multiplicativa "Shunting inhibition"
En la inhibición lateral, un porcentaje de las señales de salida de cada célula y de sus vecinas es sustraída de la señal en cada canal. Este modelo ha sido desarrollado de hecho para modelar el comportamiento de una retina biológica. Permite demostrar todas las propiedades de una retina biológica. Algunos chips de visión han sido diseñados basados en la inhibición lateral.
• R.B. Darling & W.T. Dietze, "Implementation of multiplicative lateral inhibition in a gaas sensory neural -network photodetector array," IEEE J.
Quantum Electronics, Vol. 29, No. 2, pp. 645-654, February 1993.
• A. Moini, A. Bouzerdoum & K. Eshraghian, "A current mode implementation of shunting inhibition," ISCAS, June 9-12, Hong Kong, pp. 557-560, 1997.
El método aquí propuesto es completamente diferente de otros modelos existentes. También es diferente de otros algoritmos que realizan el rellenado de superficies con algún color. En este caso, al valor central de cada pixel se le asigna el valor máximo de los vecinos. Una estrategia similar puede seguirse para la búsqueda del mínimo global, pero sin embargo las implementaciones VLSI de los programas de rellenado de superficies requieren mayor coste computacional que el método aquí propuesto.
Descripción de la invención
Breve descripción de la invención
El método aquí propuesto proporciona una solución definitiva al problema de la búsqueda del máximo y mínimo globales de un conjunto de números a partir de la información local y de interacciones no-algoritmicas. El término "no-algorítmico" se refiere a que no utilizamos comparaciones explícitas entre valores (p.e. del tipo if ... then). El término local se refiere a que no se utiliza una memoria global o "buffer", sino tan solo interacciones locales entre células vecinas. En su forma más simple, el método consiste en tres ecuaciones diferenciales. Cada ecuación puede ser inteφretada como una capa de procesado independiente de un array ordenado de células. La topología es la misma para las tres capas. La primera capa realiza una difusión no lineal convergiendo al máximo global. Esto significa que el máximo global está localmente disponible, a pesar de llevarse a cabo tan sólo interacciones locales entre las células de cada capa. Análogamente la segunda capa convergerá al mínimo local. La tercera capa conecta tanto el máximo como el mínimo con objeto de obtener una representación normalizada de la entrada. Por supuesto, los valores pueden ser utilizados para la adaptación (normalización) de señales arbitrarias, como se mencionó en el apartado Descripción detallada de la invención Definiciones Sea x,j los datos de entrada que deseamos procesar, con i t | l Λ| v j e |1. |
Sea yy(t) la salida de la red para un determinado tiempo t. La red produce un re- mapeado del rango de valores de entrada > ' 1 '' en los valores de salida ^ e P !1 A y B son constantes con A > B. Operadores para la difusión no-lineal
Considérese el operador Laplaciano y2l -1 ≡ *^ ≡ «M-J )- De este modo, una versisión simple de la ecuación de reacción-difusión es:\\
donde P es el coeficiente de difusión que determina la velocidad de propagación de la actividad y y ••¡r s (a^>
En una retícula discreta, la dinámica anterior puede describirse mediante una aproximación de la Laplaciana por medio de diferencias finitas centradas, es decir
Figure imgf000008_0001
El factor 1/4 garantiza la estabilidad numérica.
Nki es un conjunto de índices que especifican una vecindad de tipo von-Neumann, es decir — H' ~ M' + ). , j - 0-t' + ' )r. Obsérvese que la ecuación de difusión es lineal. Vamos a introducir los operadores rectificación de media onda o HWR[ . ]+, y el operador rectificación de inverso de media onda o iHWR[ .]"' que se definen comol l ' ≡ >i -") y 1 1" = itl|ll( .°í .
Dicho de otro modo, [ . ]+ devuelve el valor positivo de su argumento y [. ]" el valor negativo de su argumento. Se verifica que 'J' ~ l_ '
Nota: Ambas ecuaciones pueden ser entendidas en el contexto de lo que se denomina rectificación de las sinapsis eléctricas. Los operadores de rectificación lo que llevan a cabo es que los pulsos neuronales se produzcan a partir del umbral cero}. Podemos entonces aplicar esos operadores a la última ecuación, con lo que tendremos:
Figure imgf000009_0001
Figure imgf000009_0002
Aunque esto parece que es una simple modificación, sin embargo representa el núcleo básico de la presente patente. Así hemos dividido la ecuación lineal de difusión \ref{linDiff} en dos ecuaciones no-lineales de difusión (3) y (4).\\ Si inicializamos pw '- ^) -=^u > <w = °. "' 1t^< la dinámica de la ecuación (3) viene dada por: Jim ati{ t} = íT .xffl.:., } = A V Vj (5)
y la dinámica de \ref{disB} es
Figure imgf000009_0003
Obsérvese que cada célula a,, obtiene el máximo global A al final del proceso, y la célula b,j el mínimo global B. La razón de ese comportamiento es debido al hecho de que el operador HWR sólo permite a una célula incrementar su actividad si uno de sus vecinos más próximos tiene una actividad mayor. En caso de no existir más gradiente entre las células, no existirá en ese caso mayor incremento de actividad en las mismas. Esto corresponde con el estado de convergencia de la red. La actividad de propagación es por tanto no conservativa, puesto que las todas las células a incrementarán su actividad hasta el valor global del máximo. La dinámica de las células b,j tiene lugar de una manera similar. Cada b,j solo le está permitido decrementar su actividad si uno de sus vecinos más próximos presenta una actividad más baja. Esta difusión cesa si no existen más gradientes, e decir cuando todas las células han alcanzado el mínimo global. Para la integración de las ecuaciones diferenciales 3,4 es suficiente con emplear el método de Euler, en el supuesto que P <=1 Normalización
Teniendo acceso de esta manera al máximo y mínimo globales, la normalización se puede llevar a cabo a través de un escalado lineal,
La última ecuación debe ser evaluada después de la convergencia de las ecuaciones (3,4). Alternativamente, la solución puede venir dada mediante:
Figure imgf000010_0001
que en el equilibrio (es decir, cuando se verifica "3* " s' τ ^ '), da lugar a la Ec. 7. La exponencial se ha introducido por estabilidad numérica, y tau debe ser elegido con un valor alto, p.e. r = 10J. En general, el método es numéricamente estable. La última ecuación permite además simular la dinámica de la red (veáse más adelante). Normalización local La red por tanto lleva a cabo una normalización local que puede entenderse como un mecanismo del tipo ganador-toma-todo mencionado antes en una región definida mediante pesos distintos de cero. Considérese una matriz de pesos W que contiene todo ceros. Podemos definir entonces de modo arbitrario dentro de dicha matriz algunas regiones que tomen valores distintos de cero. Para ello considérese la analogía de considerar la matriz W como una región de agua (pesos cero) y las regiones W, como islas (pesos distintos de cero). Considérese por tanto a la matriz W que contenga m de tales islas (o regiones aisladas) *v = M- 1 Φ I » — €J H, TO < Las regiones se encuentran aisladas por pesos iguales a cero. El operador * denota composición. Cada isla W, por tanto puede definirse mediante un conjunto de coordenadas matriciales(indices fila/columna) junto con sus correspondientes valores distintos de cero (pesos). No es posible que dos islas se supeφongan espacialmente (en nuestra analogía eso significa que dos islas conectadas puedan fusionarse y crear una sola isla). Para lograr que el modelo pueda funcionar, es importante señalar que una normalización como la descrita anteriormente producirá siempre un valor igual a cero como mínimo global, debido a que en el modelo original las islas no se consideran como aisladas. Podemos modificar las ecuaciones (3) y (4) de tal manera que la matriz W represente una matriz de ponderación para la constante de difusión P, produciendo de esta manera un coeficiente de difusión espacialmente variante. La actividad solo puede ser transferida en el interior de las islas pero no entre ellas.
Figure imgf000011_0001
y
Figure imgf000011_0002
Mediante este método se pueden normalizar diferentes regiones de una imagen de entrada x de manera independiente. Esto puede ser muy útil para eliminar grandes variaciones en el rango de lumninancia con objeto de obtener una imagen independiende del grado y forma de iluminación. De esta manera, tenemos un mecanismo para implementar constancia al color o al brillo, si elegimos los pesos W, de tal manera que representen un marco completo de la imagen. Circuito retiniano
La dinámica simple (es decir para valores pequeños de los pasos de integración) de las ecuaciones de la red (3,4 y 8) revela respuestas que son similares a las producidas en las células ganglionares retinianas que presentan un centro excitatorio y un entorno inhibitorio. Tales células se denominan células ON, y se caracterizan por responder a la parte más brillante de una rampa de luminancia. Existen otro tipo de células que responden a la parte más oscura de la rampa, denominadas células OFF. Una célula biológica OFF presenta un entorno excitatorio y un centro inhibitorio. Las respuestas que son similares a las células OFF retinianas pueden ser calculadas modificando la ecuación (7) como ' a - fc;
Con ésta ecuación junto con la ecuación (7) se propone aquí un nuevo circuito retiniano. En primer lugar, modificaremos las ecuaciones dn J (ι)
= -9(,*>.- , í r) - Vrt »• ) + /'(f) Δ* α,, (r) df i")
^J^ - -«_.U*{ >) ~ ^Í) + i*( - Δ-fcy(í) 113»
La conductancia de pérdida (leakage) gιeak>=0 y el potencial de reposo Vrest deben de elegirse con un valor pequeño cero sin pérdida de generalidad.
Puesto que los contrastes de las imágenes "emergen" en la dinámica primaria, podemos "congelar" la dinámica haciendo decrecer la constante de difusión con la constante de tiempo '* ''"'
Figure imgf000012_0001
Por supuesto, cuando se procesen imágenes variantes temporalmente xu(t) otros mecanismos más elaborados pueden ser incoφorados en lugar de una simple exponencial (por ejemplo circuitos activos reset). Las células ON pueden ser modeladas como:
- - = -flfeii - V„Λt ) - {btJ - <>.;j ) t/τ - ,jT) + a-i} (Iñ)
y las células OFF como, d X _ _
- - ~ -ftifrAv,, ~ l'» < *f) + 'v - <'.j) !f¡ + h<ι ~ $*> ( m)
Donde de nuevo gιeak y Vrest pueden tomarse como cero, o con valores muy pequeños. La variable temporal t se ha omitido por simplicidad de cada variable. En el contexto de las células retinianas, la entrada xυ procede de los fotorreceptores. Aunque nuestro modelo extrae contrastes en imágenes, no se presentan efectos espúreos puesto que el modelo puede considerarse como un operador de tipo Laplaciano o del tipo centro- entorno.
El entorno inhibitorio de los últimos operadores decrece las respuestas del contraste, cuando aparecen muchos contrastes concentrados en una región pequeña. Nuestro modelo no presenta tales discontinuidades en los contrastes extraídos. Sin embargo, las respuestas que son cualitativamente iguales a aquellas que resultan del operador
Laplaciano pueden ser fácilmente obtenidos mediante el cálculo de '" τ/ - y ,Y (respuestas de las células OFF del tipo Laplaciano).
DESCRIPCIÓN DE LOS DIBUJOS
Figura 1 (a) Imagen original; (b) Respuesta del canal ON de un modelo basado en la utilización de filtros basados en diferencia de Gaussianas; (c) Detalle ampliado de la respuesta anterior visualizado con el contraste invertido. Como puede observarse este modelo no es capaz de reproducir correctamente el contraste en las intersecciones de las líneas
Figura 2 El modelo de circuito retiniano propuesto en ésta patente es capaz de proporcionar una respuesta más eficiente facilitando un mejor contraste en comparación con los métodos clásicos basados en la diferencia de Gaussianas. (a) Imagen original; (b) Respuesta del canal ON del circuito retiniano; (c) Detalle ampliado de la respuesta anterior visualizado con el contraste invertido. El modelo propuesto no presenta el problema anteriormente descrito.
Figura 3 Imagen original; (b-d) Respuesta dinámica de la red para diversos valores (múltiplos del tiempo de integración, indicados en las leyendas de las figuras). Figura 4 (a-d) Respuesta dinámica de la red para diversos valores (múltiplos del tiempo de integración, indicados en las leyendas de las figuras). Obsérvese que los valores altos de luminancia aceleran el proceso de normalización de la red, y que conforme la red evoluciona la respuesta que se obtiene es casi idéntica a la imagen original. Figura 5 (a-c) Respuesta dinámica de la red para diversos valores (múltiplos del tiempo de integración, indicados en las leyendas de las figuras). Obsérvese que los valores altos de luminancia aceleran el proceso de normalización de la red, y que conforme la red evoluciona la respuesta que se obtiene es casi idéntica a la imagen original. Figura 6 (a-c) Respuesta de la red para imágenes con diferente rango de contrastes (valores bajos). En las leyendas de las figuras se presentan los valores de normalización que están relacionados con el tiempo de integración de la red, es decir que los valores altos del contraste aceleran el proceso de normalización de la red. Figura 7 (a-c) Respuesta de la red para imágenes con diferente rango de contrastes (valores altos). En las leyendas de las figuras se presentan los valores de normalización que están relacionados con el tiempo de integración de la red, es decir que los valores altos del contraste aceleran el proceso de normalización de la red. Figura 8 Ejemplo de normalización del circuito mediante interacciones locales. La figura representa el estado del sistema en diferentes instantes de tiempo (representados mediante los números situados en la cabecera de las columnas. La dinámica de la red es reminiscente de de un fenómeno de propagación de actividad o rellenado "filling-in". Es decir a partir de los bordes representados mediante las imágenes de la columna " 1 " de la figura 8, la información de luminancia se va propagando ("rellenando") en el transcurso del tiempo (fila superior de la Fig.8), así como la información de oscuridad (fila inferior de la Fig. 8). Obsérvese, como el sistema de capaz de proporcionar la imagen positiva y negativa a la vez (columna "500" de la Fig. 8). Figura 9 (a) Imagen test consistente en un damero de ajedrez, (b) Respuesta de la red en función del contraste de la imagen original. Cuando el contraste es bajo el tiempo para alcanzar el estado estacionario es mayor.
Las figuras 10-11 se describen en el apartado denominado Ejemplo de la realización de la invención.
EJEMPLO DE LA REALIZACIÓN DE LA INVENCIÓN
Figura 10 La figura representa un esquema de la retina artificial propuesta. Este modelo permite la transmisión simultánea de la información de contraste y de luminancia. Facilita un mecanismo de adaptación global de la luminancia con un amplio rango dinámico, proporcionando un código muy compacto de la información visual. Figura 11 Esta figura representa un esquema de una red neural celular en donde los elementos de procesado están interconectados según un esquema de vecindad de tipo von-Neumann (4 vecinos más próximos).

Claims

REIVINDICACIONES
1. Método automático de ajuste de la luminancia en sensores de imagen VLSI (chips CCD, 'charged coupled devices') caracterizado por\\ • Arquitectura de pixel inteligente (red neuronal celular)
• La dinámica neuronal de los elementos receptores está basada en operadores de difusión no-lineal a partir de una ecuación de reacción-difusión
2. Método de normalización global de la luminancia a partir del procesado local de los receptores, caracterizado por
• La normalización se produce simplemente a través de un factor de proporcionalidad lineal
• El sistema proporciona el máximo y el mínimo global a través de interacciones locales mediante un procedimiento no algorítmico. El término no-algorítmico significa que no se efectúan comparaciones entre valores del tipo (if ... then).
• El sistema está caracterizado por tres ecuaciones diferenciales. Cada una de ellas puede ser considerada como una capa independiente dentro de un conjunto de matrices celulares.
• La primera capa realiza una difusión no-lineal y converge a través de sus células al máximo global. Eso implica que el máximo global está disponible localmente a pesar de haber sido obtenido mediante interacciones locales.
• La segunda capa converge localmente al mínimo global.
• La tercera capa conecta las dos capas anteriores para proporcionar una representación normalizada de la entrada. • Permite el procesado de un amplio rango de valores de luminancia, de hasta cinco órdenes de magnitud para la implementación del sistema como autómata celular. Para valores bajos del contraste el sistema requiere un mayor tiempo de procesado para producir el resultado final. Sin embargo, ello no supone una restricción por efectuarse el procesado internamente en el propio chip.
3. Un sistema de codificación de la imagen que proporciona un código muy compacto, basado en medidas de contraste local y caracterizado por • Una señal de contraste alto, resultado de la primera fase de la dinámica de la red
• Conforme la dinámica de la red evoluciona en el tiempo, la propagación de la actividad por medio de los mecanismos de difusión no lineal descritos anteriormente proporcionan la reconstrucción de superficies suaves e incluso gradientes de luminancia.
PCT/ES2003/000366 2002-07-19 2003-07-15 Circuito de adaptación de luminancia basado en interacciones locales Ceased WO2004010378A1 (es)

Priority Applications (1)

Application Number Priority Date Filing Date Title
AU2003250253A AU2003250253A1 (en) 2002-07-19 2003-07-15 Luminance-matching circuit based on local interactions

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ES200201703A ES2199076B1 (es) 2002-07-19 2002-07-19 Circuito de adaptacion de luminancia basado en interacciones locales.
ESP200201703 2002-07-19

Publications (1)

Publication Number Publication Date
WO2004010378A1 true WO2004010378A1 (es) 2004-01-29

Family

ID=30470581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2003/000366 Ceased WO2004010378A1 (es) 2002-07-19 2003-07-15 Circuito de adaptación de luminancia basado en interacciones locales

Country Status (3)

Country Link
AU (1) AU2003250253A1 (es)
ES (1) ES2199076B1 (es)
WO (1) WO2004010378A1 (es)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5140670A (en) * 1989-10-05 1992-08-18 Regents Of The University Of California Cellular neural network
EP0702482A2 (en) * 1994-09-15 1996-03-20 Xerox Corporation Error diffusion halftoning with homogeneous response in high/low intensity image regions
US5530559A (en) * 1989-04-27 1996-06-25 Casio Computer Co., Ltd. Image processing apparatus including binary data producing unit
US5717834A (en) * 1993-08-26 1998-02-10 Werblin; Frank S. CNN programamble topographic sensory device
EP0866608A2 (en) * 1997-03-18 1998-09-23 Matsushita Electric Industrial Co., Ltd. Method for correcting luminance gradation in an image pickup apparatus
JPH10293841A (ja) * 1997-04-18 1998-11-04 Agency Of Ind Science & Technol カラー画像の画質改善方法及びその装置
US5936684A (en) * 1996-10-29 1999-08-10 Seiko Epson Corporation Image processing method and image processing apparatus
WO2000063838A1 (en) * 1999-04-16 2000-10-26 Izahi Corporation Automatic black level, luminosity and color compensation for digital still images and digital video
WO2001026054A2 (en) * 1999-10-01 2001-04-12 Microsoft Corporation Locally adapted histogram equalization

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530559A (en) * 1989-04-27 1996-06-25 Casio Computer Co., Ltd. Image processing apparatus including binary data producing unit
US5140670A (en) * 1989-10-05 1992-08-18 Regents Of The University Of California Cellular neural network
US5717834A (en) * 1993-08-26 1998-02-10 Werblin; Frank S. CNN programamble topographic sensory device
EP0702482A2 (en) * 1994-09-15 1996-03-20 Xerox Corporation Error diffusion halftoning with homogeneous response in high/low intensity image regions
US5936684A (en) * 1996-10-29 1999-08-10 Seiko Epson Corporation Image processing method and image processing apparatus
EP0866608A2 (en) * 1997-03-18 1998-09-23 Matsushita Electric Industrial Co., Ltd. Method for correcting luminance gradation in an image pickup apparatus
JPH10293841A (ja) * 1997-04-18 1998-11-04 Agency Of Ind Science & Technol カラー画像の画質改善方法及びその装置
WO2000063838A1 (en) * 1999-04-16 2000-10-26 Izahi Corporation Automatic black level, luminosity and color compensation for digital still images and digital video
WO2001026054A2 (en) * 1999-10-01 2001-04-12 Microsoft Corporation Locally adapted histogram equalization

Also Published As

Publication number Publication date
ES2199076A1 (es) 2004-02-01
ES2199076B1 (es) 2005-06-16
AU2003250253A1 (en) 2004-02-09

Similar Documents

Publication Publication Date Title
JP7532559B2 (ja) ピクセルワイズイメージングの方法及びシステム
CN113412611B (zh) 具有多个光电二极管的像素传感器
JP4036896B2 (ja) イメージングシステム
Steffen et al. Neuromorphic stereo vision: A survey of bio-inspired sensors and algorithms
CN111801693B (zh) 神经网络装置、信号生成方法及程序
CN113792010A (zh) 存算一体芯片及数据处理方法
Healey et al. Radiometric CCD camera calibration and noise estimation
KR102726982B1 (ko) 듀얼 카메라 및 듀얼 픽셀을 통한 조인트 깊이 예측
JP7136080B2 (ja) 撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法
JP2020526104A (ja) 拡張ダイナミックレンジを有するデジタルピクセル
JP2020526044A (ja) 拡張ダイナミックレンジを有するデジタルピクセル
Benosman et al. Asynchronous event-based Hebbian epipolar geometry
JP6100300B2 (ja) 階層グラフに基づく画像マッティングおよび前景推定の方法およびシステム
TWI724449B (zh) 在深度學習人工神經網路中之類比神經記憶體中對於參考電晶體及記憶體單元的補償
CN103533267A (zh) 基于列级adc的像素分裂与合并图像传感器及数据传输方法
Pardo et al. Space-variant nonorthogonal structure CMOS image sensor design
US20200389576A1 (en) Display-based camera apparatus and methods
Luthon et al. A cellular analog network for MRF-based video motion detection
Bridarolli et al. High-density multilevel 3D vertical resistive switching memory (VRRAM) for massively parallel in-memory computing
ES2994452A2 (es) Síntesis de imágenes
CN110363292B (zh) 一种混合信号二进制cnn处理器
CN117848493B (zh) 信号处理装置、传感器芯片、信号处理方法、设备及介质
Bouvier Study and design of an energy efficient perception module combining event-based image sensors and spiking neural network with 3D integration technologies
KR20250131144A (ko) 상미분 방정식을 기반으로 이미지 밝기를 조정하는 이미지 신호 프로세서의 동작 방법, 상기 이미지 신호 프로세서를 포함하는 전자 장치 및 상기 전자 장치의 동작 방법
KR20250086507A (ko) 변환기 기반 디헤이징을 위한 생성적 적대 네트워크

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP