WO2015007927A1

WO2015007927A1 - Método de calibración para mejorar la velocidad de autoenfoque en cámaras digitales

Info

Publication number: WO2015007927A1
Application number: PCT/ES2014/000109
Authority: WO
Inventors: Said David PERTUTZ ARROYO; Domènec Savi PUIG VALLS; Miguel Ángel GARCíA GARCíA
Original assignee: Universitat Rovira I Virgili; Universidad Autónoma de Madrid
Priority date: 2013-07-16
Filing date: 2014-06-30
Publication date: 2015-01-22
Also published as: ES2529068A1; ES2529068B1; WO2015007927A8

Abstract

Método caracterizado por comprender una primera etapa de colocar un patrón de calibración enfrente de la cámara; en un segunda etapa capturar una secuencia de imágenes enfocando la cámara a diferentes distancias alrededor de la posición del patrón; extraer de cada imagen del patrón de calibración un perfil de intensidad de los niveles de gris; para cada perfil, l(x) obtenido se estima un valor del radio de desenfoque ρ ajustando la ecuación (1) al perfil correspondiente: (1) en donde erf es la función error:(II) y obtener el valor de la constante de la cámara ajustando la curva de los valores del radio de desenfoque ρ en función los valores de u, según la siguiente ecuación:(III)

Description

Método de calibración para mejorar la velocidad de autoenfoque en cámaras digitales

Campo de la técnica La presente invención consiste en un método de calibración que tiene como objetivo reducir la duración del tiempo de búsqueda en el autoenfoque de cámaras digitales, es decir que dicho método permite acelerar el proceso de autoenfoque o muestreado de foco (focus sampling) resolviéndolo de una manera muy eficiente.

La invención permite encontrar la constante de la cámara por medio de un proceso de calibración simple y robusto, sin necesidad de conocer parámetros físicos de la cámara tales como longitud focal, diámetro de la lente y tamaño de pixel.

Antecedentes de la invención

Según el modelo de la lente fino existe un intervalo para determinar la profundidad de campo de cámaras convencionales de lente gruesa. Así en A.Hornberg en Wiley-VCH "Handbook of machine visión" de publicado el año 2006 utilizando la variable v que es la distancia entre el dispositivo sensor (CCD) y el primer punto nodal de la lente.

En fotografía y a partir del modelo de lente fino y de las ecuaciones de estimación de la profundidad de campo DOF, es posible determinar aproximadamente los límites próximo y lejano del DOF, y en consecuencia generar unas tablas de consulta que dependen del modelo de cámara. El modelo de cámara se utiliza para determinar el tamaño aproximado del círculo de desenfoque como una función del tamaño del sensor y del número real de píxeles.

En M.Muhammad i T.S. Choi "Sampling for shape from focus in optical microscopy" en IEEE Trans. Image Process., vol.34 no. 3, pp.564-573 publicado el año 2012 se desarrolló un criterio de enfoque a partir de forma, aplicable a microscopía.

Sin embargo estos métodos requieren conocer de forma exacta algunos parámetros de la cámara, tales como la longitud focal, la apertura numérica, el tamaño real del píxel y el círculo de confusión Existen mecanismos para la calibración manual exhaustiva que requieren la realización de cuidadosas medidas en todo el rango de enfoque de la cámara (http://www.edmundoptics.com/technical-resources-center/testing-targets/gauging- depth-of-field-in-your-imaging-system/). En la práctica éstos métodos son de aplicación muy limitada en cámaras de foco variable. La ventaja del método de calibración propuesto, respecto al citado, es que permite realizar la calibración de todo el rango de enfoque de forma rápida y eficiente. Por otro lado el desenfoque máximo admisible pmax es un parámetro empírico definido de acuerdo con las dimensiones en pixeles reales y la resolución del sistema. Como resultado de ello se han diseñado algunos métodos para estimar los límites del DOF y el círculo de desenfoque experimentalmente, pudiendo citar por ejemplo M. Subbarao et al. "Depth recovery from blurred edges" ¡n proc. IEEE Conference on ^"Computer Vision and Pattern Recognition Jun 1998, pp. 498-503.

En la solicitud US2009202235A1 cambia la estrategia de búsqueda de foco dependiendo de si la escena a capturar consiste en una escena interior (indoor) o exterior (outdoor). No se hace ninguna estimación de los parámetros de foco de la cámara ni de su comportamiento.

La patente US8339463B2 involucra una plataforma de calibración especialmente diseñada y está pensada para utilizarse con lentes (no con cámaras ya ensambladas). El objetivo es calibrar la calidad de la imagen a lo largo del campo de visión y no tiene como objetivo facilitar o acelerar el proceso de enfoque.

Son conocidas también las estrategias descritas en las patentes US8366001 B2 y US8416317B2 que implican la utilización de elementos activos para la estimación de la distancia del objeto de interés.

Es evidente la necesidad de un método de calibración que sea independiente del conocimiento de los parámetros de la cámara, y tal es la finalidad de la propuesta de esta invención.

Exposición de la invención

En el método de calibración de esta invención se obtienen los parámetros del conjunto cámara-lente implícitamente, permitiendo una precisa descripción de los límites de la profundidad de campo DOF (deptf of field) sin ningún conocimiento explícito de los parámetros de la cámara. A partir de la obtención de la constante de la cámara se aplica dicho parámetro para realizar un eficiente muestreo del rango de enfoque (focus sampling), en operaciones tales como autofoco y generación de imágenes multi-focales. En particular el muestreo de enfoque minimiza el número de tomas necesarias para cubrir un cierto rango o intervalo de enfoque.

El método consiste en capturar una secuencia de imágenes de un patrón de calibración cambiando el foco de la cámara en cada imagen capturada mientras el patrón y la cámara se mantienen en una misma posición. A partir de las imágenes capturadas, es posible estimar una constante que caracteriza a la cámara y permite predecir el comportamiento del foco para la cámara que es objeto de la calibración. Con esta constante es posible restringir el espacio de búsqueda dentro del rango de enfoque reduciendo así el número de posiciones en las que es necesario hacer la búsqueda del foco ideal. De esta forma, es posible reducir el tiempo de autoenfoque en cualquiera de las técnicas anteriormente mencionadas (activas, pasivas o híbridas) sin conocimiento explícito de parámetros físicos de la cámara (tales como la longitud focal, la apertura, el tamaño del píxel, etc.) basados solo en el resultado de la calibración. Además del autoenfoque, el método de calibración propuesto también se puede explotar para la captura eficiente de secuencias de imágenes para la generación de imágenes de campo de profundidad extendido (extended depth-of-field images).

Breve descripción de los dibujos

Las anteriores y otras ventajas y características se comprenderán más plenamente a partir de la siguiente descripción detallada de un ejemplo de realización con referencia a los dibujos adjuntos, en los que:

la Fig. 1 es una vista en perspectiva del montaje para la calibración de la cámara;

la Fig. 2 es una secuencia de imágenes del patrón de calibración con diferentes niveles de enfoque;

la Fig. 3 es una vista de los perfiles correspondientes a cada imagen de la secuencia;

la Fig. 4 es un gráfico sobre la constante de cámara se obtiene ajustando la curva r vs. u; y

la Fig. 5 es un gráfico sobre el método que consiste en limitar las posiciones focales (barras verticales) admisibles.

la Fig. 6 ilustra los principios del modelo de lente delgada (thin lens model). Descripción detallada de un ejemplo de realización

Con el fin de desarrollar el método de calibración de esta invención se ha partido del modelo teórico de la lente delgada (thin lens model) que es el modelo teórico de cámara más común, adaptándolo para que cumpla dos condiciones:

- la amplitud de desenfoque (blur width) no debe depender de parámetros internos geométricos (tales como el sensor de posición v); en su lugar debe de depender de parámetros externos medibles tales como la posición de foco u;

- el modelo tiene en cuenta implícitamente los efectos de los parámetros del sistema (longitud focal y número f [f-number]) sin necesidad de conocer o estimarlos explícitamente, permitiendo así inmediatamente una eficiente calibración a lo largo de todo el rango de enfoque.

La Fig. 6 es una figura descriptiva de los elementos utilizados en el modelo de lente delgada (thin lens). La medida de la radiancia de un punto P a una distancia particular u_x se extiende por el efecto de la lente en un círculo de desenfoque (blurring cicle) de radio p. La máxima distancia de enfoque u para un círculo de desenfoque dado de radio p se puede computar como: fv

^{11 =} v - f t - ΐ'Λ V

La posición interna de la lente v es a menudo desconocida o difícil de determinar en sistemas de lentes compuestas. En consecuencia es preferible tratar con la distancia entre el objeto y la posición de enfoque (u_x - u). A partir de la ecuación anterior y despejando, resulta:

P = ( «·· - /) -—

N U _r

De acuerdo con la ecuación de la ecuación de lente delgada (thin lens equation) se conoce que 1/f = 1/v + 1/u. En consecuencia: r = u f / i u - / ) _v v - f = f²/( - Reemplazando el valor de v en la ecuación anterior resulta:

Esta última ecuación p no depende de la posición de la lente v sino de la posición de enfoque u. En cámaras digitales convencionales el grosor de la lente se puede despreciar cuando se compara con la posición del foco al ser muy inferior. En consecuencia la última ecuación también se puede aplicar a una lente gruesa. Dicha ecuación es válida para u < u_x y las unidades del círculo de desenfoque se corresponden con aquellas de u, u_x y f, por ejemplo milímetros. Esta ecuación también es válida para u > u_x simplemente tomando el valor absoluto. Además por razones prácticas, el círculo de desenfoque se puede escalar con la resolución del sensor de la cámara s (medido en pixeles por milímetro) con el fin de medir el radio de desenfoque en pixeles:

pl uels =— —

Λ U, ( ll - f)

La diferencia entre las dos últimas ecuaciones que expresan p, son las unidades de medida del círculo de desenfoque (unidades métricas y pixeles, respectivamente debido al facto de escala s. Esta fórmula se puede simplificar toda vía más asumiendo que u es muy superior a f. Esto es válido en particular para cámaras convencionales puesto que, debido a limitaciones mecánicas el sistema de cámara-lente, la mínima distancia de enfoque resulta incrementada con longitudes focales mayores. Por último el radio de desenfoque se puede computar como: ju - u_x \

¡> n .

U_X U que como se verá será la ecuación utilizada en el método de calibración para calcular la constante de cámara, despejando de la expresión.

El método de calibración consiste en los siguientes pasos: 1 ) Colocar el patrón de calibración a una distancia fija ^u* en frente y de forma paralela a la cámara, tal como se ilustra en la figura 1. El patrón de calibración consiste en un plano con al menos dos regiones de alto contraste separadas por una línea recta.

2) Capturar una secuencia ordenada de imágenes enfocando la cámara a diferentes distancias alrededor de la posición del patrón. En la secuencia de imágenes, el patrón se observa con diferentes niveles de enfoque tal como se ilustra en la figura 2. Cada una de las imágenes capturadas tendrá asociada una posición de foco determinada. Así, la imagen 1 corresponde a la posición focal ^{W |} , la imagen 2, corresponde a la posición focal ^Ul , y así sucesivamente.

3) De cada imagen del patrón de calibración se extrae un perfil de intensidad de los niveles de gris, tal como se ilustra en la figura 3.

4) Para cada perfil, l(x) , obtenido se estima un valor del radío de desenfoque

(blur radius) ajusfando la ecuación (1 ) al perfil correspondiente. De esta forma se obtiene un valor de radio de desenfoque para cada posición de focal de la cámara. Así, el radio ^Pl corresponde a la posición focal ^W| , el radio ^Pz corresponde a la posición focal "² , y así sucesivamente.

Ecuación (1 )

Donde erf es la función de error. erííxj =

5) El valor de la constante de cámara, k, se obtiene ajusfando la curva de los valores de r vs. u según la ecuación (2), tal como se ilustra en la figura 4.

\ U—H_X \

p -_ _ Ecuación (2)

La aplicación del método para un muestreado de foco (captura de imágenes de una misma escena con diferentes ajustes de enfoque) eficiente consiste en restringir el número de posiciones de foco posibles para realizar la búsqueda. Normalmente, las diferentes técnicas de autoenfoque mueven el foco de la cámara a determinadas posiciones basadas en alguna estrategia de búsqueda. La clave del método propuesto consiste en limitar el número de posiciones posibles a un conjunto determinado de posiciones de tal forma que si la estrategia de búsqueda sugiere ir a una posición que no se encuentre dentro de éste conjunto, entonces el foco es forzado a ir a la posición focal más cercana que sí se encuentre dentro del conjunto. Esto evita que se exploren innecesariamente posiciones que estén muy cerca entre sí o de las que no se espera que induzcan un cambio en el nivel de foco lo suficientemente apreciable. Este principio se ilustra en la figura 5.

En la figura 5 se muestran dos curvas correspondientes al nivel de foco de dos objetos. El primero colocado a 2.1 m de la cámara y el segundo colocado a 6.1 m. Dependiendo de la estrategia de búsqueda utilizada, el autoenfoque consisten en encontrar el pico de la curva del objeto que nos interese (ya sea el primero o el segundo). Según el método propuesto, en lugar de buscar los máximos en cualquier posición de foco, ésta búsqueda se restringe a las posiciones que se encuentran dentro de un determinado conjunto U (barras verticales en el eje x). Si es necesario, la búsqueda se puede perfeccionar mediante una búsqueda fina una vez se ha determinado el punto de enfoque óptimo dentro del conjunto U.

El conjunto de posiciones permitidas:

se calcula de forma iterativa mediante las ecuaciones (3) y (4).

Ecuación (3)

A_¿ = Ecuación (4)

La primera posición del conjunto, para k = 1 , corresponde a la distancia mínima de enfoque de la cámara y el parámetro sugerido para ^max viene determinado por la ecuación (5):

Ecuación (5)

Claims

REIVINDICACIONES

1- Método de calibración para mejorar la velocidad de autoenfoque en cámaras digitales, caracterizado por comprender las siguientes etapas: a) colocar un patrón de calibración a una distancia fija u_x enfrente y de forma paralela a la cámara;

b) capturar una secuencia ordenada de imágenes enfocando la cámara a diferentes distancias alrededor de la posición del patrón, de manera que cada una de las imágenes capturadas, observada con un diferente nivel de enfoque, tiene asociada una posición de foco u determinada;

c) extraer de cada imagen del patrón de calibración un perfil de intensidad de los niveles de gris;

d) para cada perfil, l(x) obtenido se estima un valor del radio de desenfoque p ajusfando la ecuación (1 ) al perfil correspondiente:

, 1 .Y 1

en donde erf () es la función error:

2

erfu- j =— ~—

\ ^7r e) obtener el valor de la constante de la cámara ajustando la curva de los valores del radio de desenfoque p en función los valores de u, según la siguiente ecuación: —

p -K

«1 » (2)

2. - Método según la reivindicación 1 , caracterizado porque dicho patrón de calibración comprende un plano con al menos dos regiones de alto contraste.

3. - Método según la reivindicación 2, caracterizado por que dichas dos regiones de alto contraste están separadas por una línea recta.

4.- Método según la reivindicación 1 , caracterizado por que dicho ajuste de la curva de los valores de p en función de u se realiza por un método de regresión no lineal.

5.- Método según la reivindicación 1 , caracterizado por que para reducir el tiempo de búsqueda se propone limitar el número de posiciones de enfoque posibles a un conjunto determinado y por que el conjunto de posiciones permitidas U = u_k I k= 0 1 , 2, 3,.. se calcula de forma iterativa mediante las ecuaciones:

(3)

2

^■ r' mmaaxx k

(4) correspondiendo la primera posición del conjunto, para k = 1 a la distancia mínima de p

enfoque de la cámara y ^max es el radio de desenfoque máximo.

6.- Método según reivindicación 5 caracterizado por que comprende calcular el valor de

P ^múX mediante la siguiente equacion:

7.- Método según reivindicación 5 caracterizado por que comprende introducir el valor p

de ^max manualmente por parte del usuario.