WO2009090291A1

WO2009090291A1 - Método y cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales

Info

Publication number: WO2009090291A1
Application number: PCT/ES2009/000031
Authority: WO
Inventors: José Manuel RODRÍGUEZ RAMOS; José Gil MARICHAL HERNÁNDEZ; Fernando ROSA GONZÁLEZ; Fernando PÉREZ NAVA
Original assignee: Universidad De La Laguna
Priority date: 2008-01-15
Filing date: 2009-01-15
Publication date: 2009-07-23
Also published as: ZA201004763B; EP2239706A4; KR101590778B1; MX2010007697A; CN101952855A; ES2372515A1; EG26176A; UA103759C2; AU2009204788A1; IL206807A; AU2009204788B2; RU2010133943A; KR20100136448A; CO6300819A2; CA2711727C; JP5269099B2; BRPI0907392A2; HK1153297A1; CN101952855B; DK2239706T3

Abstract

Método para calcular el "focal stack" asociado a un espacio objeto a partir de su función plenóptica, empleando una transformada de suma a lo largo de planos restringidos en hipercubos discretizados, lo que permite disminuir considerablemente el tiempo de cómputo. Se presenta además un método para aumentar la resolución del "focal stack" obtenido. Adicionalmente, la invención se refiere a dos métodos para recuperar en tiempo real las profundidades y los módulos y fases de la amplitud compleja del frente de onda, respectivamente, en cada posición de las superficies de una escena tridimensional, así como un sistema adaptado para realizar los métodos anteriores.

Description

Método y cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales

OBJETO DE LA INVENCIÓN

La presente invención se refiere a un método para calcular el "focal stack" asociado a un volumen objeto, a un método para mejorar la resolución de las imágenes del "focal stack" obtenido, a un método para la medida de distancias en tiempo real en escenas tridimensionales y a un método para la medida tomográfica en tiempo real de la amplitud compleja del campo electromagnético asociado a un frente de onda.

La presente invención permite conocer la distancia y la amplitud compleja del campo electromagnético en las posiciones de las superficies de la escena.

Adicionalmente, la invención se refiere a una cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales en un amplio rango de volúmenes, caracterizada por la utilización de una lente objetivo y una matriz de microlentes situada en el espacio imagen de la lente objetivo, un sensor colocado en la focal de las microlentes (que recoge la imagen formada por éstas) y unos medios de procesamiento de cómputo paralelo adaptados para calcular el "focal stack" asociado al volumen objeto medido por la cámara, y para calcular sobre éste la amplitud compleja del campo electromagnético (módulo y fase) y la posición tridimensional de las superficies irradiantes en cualquier punto del espacio objeto sensado.

Esta invención puede ser útil en cualquier área o aplicación en que se requiera conocer el frente de onda: observación astronómica terrestre, oftalmología, holografϊa, etc., así como en las que se precise metrología: escenas reales, 3D televisión, pulido de CCDs, mecánica de automóvil, etc.

SECTOR DE LA TÉCNICA

Óptica. Procesamiento de imágenes. ANTECEDENTES DE LAINVENCIÓN

La presente invención está relacionada tanto con la necesidad de lograr una medida tridimensional de la amplitud compleja del frente de onda asociado a todo problema óptico en que la calidad de imagen sea fundamental (p. ej. para diagnosticar), así como con la necesidad de obtener un mapa de profundidades suficientemente fiable y preciso en un amplio rango de volúmenes, desde pocas mieras hasta varios kilómetros, y también con la generación en tiempo real de información tridimensional para televisión 3D, cine 3D, medicina, etc.

ESTADO DE LA TÉCNICA

La Óptica Adaptativa, para los presentes telescopios de gran diámetro (GRANTECAN, Keck,...) y futuros telescopios gigantes (50 ó 100 metros de diámetro), ha tomado el rumbo de medir la distribución tridimensional de la fase atmosférica utilizando una forma de tomografía llamada óptica multiconjugada. La ausencia en el cielo de suficiente número de fuentes puntuales naturales, tal que haya siempre alguna presente dentro del campo de visión del objeto observado por el telescopio, obliga a utilizar fuentes puntuales artificiales: estrellas de Na (90 km. de altura).

Para poder corregir, evitando el anisoplamiento de foco, toda la atmósfera que afecta al haz de luz proveniente del objeto en el cielo es necesario utilizar varias de estas estrellas artificiales (al menos 5). Cada una de ellas, para ser generada, necesita un láser de muy alta resolución, pulsado y de gran potencia, lo que se traduce en una tecnología enormemente cara. Por otra parte, después de tanto coste, la óptica multiconjugada sólo es capaz de medir la fase atmosférica asociada a, como mucho, tres capas horizontales de turbulencia (con tres sensores de fase midiendo simultáneamente), es decir, barre una proporción diminuta del cilindro tridimensional que afecta a la imagen. Además, se recupera una estimación de la fase con cálculos tan complicados que comprometen seriamente la corrección adaptativa del haz óptico dentro del tiempo de estabilidad de la atmósfera en el visible (10 ms).

Sin embargo, los antecedentes de la invención no se centran exclusivamente en el campo de la astrofísica. En el sector de la óptica, o la oftalmología, el interés principal en realizar tomo grafía de ojo humano estriba esencialmente en obtener y disponer, por parte de los especialistas médicos, de una imagen nítida del fondo de retina del paciente, para poder realizar los

diagnósticos con mayor fiabilidad. El humor acuoso, el humor vitreo y el cristalino se comportan en el ojo como medios que aberran la imagen que se puede obtener del fondo de retina.

Aunque para este caso no es necesario realizar medidas tan frecuentemente como en la atmósfera terrestre (una cada 10 ms), pues se trata de una deformación estable, sí que se exige suficiente resolución tridimensional para no sólo obtener una buena imagen de fondo de retina, sino también detectar la situación espacial de posibles lesiones oculares.

Por último, y en otro sector como es el de la imagen televisiva o cinematográfica, se tienen los retos relativos a la televisión tridimensional, donde uno de los problemas fundamentales es la generación de contenidos en tiempo real, dado que las técnicas son tan complejas y laboriosas que necesitan intervención humana durante el proceso de generación de contenidos 3D que puedan ser mostrados por los "displays 3D" ya existentes. En este sentido, la implementación optimizada sobre hardware de cómputo paralelo (GPUs y FPGAs) de las técnicas que aquí se proponen permite generar contenidos tridimensionales en tiempo real.

Se conocen aproximaciones en el estado de la técnica dentro los campos citados, donde se han colocado microlentes en el plano imagen de una lente convergente dando lugar a dispositivos y métodos para la medida de parámetros de imágenes, no obstante, los mismos no utilizan dicho montaje ni para realizar la medida tomo gráfica de la aberración óptica, ni para obtener las distancias en la escena.

Por ejemplo, Adelson y Wang ("Single lens stereo with a plenoptic camera ", IEEE Transactions on Pattern Analysis and Machine Intelligence, VoI. 14, No. 2, 99-106, 1992) utilizan el dispositivo para obtener distancias con una técnica totalmente diferente a la de la presente invención. Los autores Ren Ng et al. ("Light field photography with a hand-held plenoptic camera ", Stanford Tech Report CTSR 2005-02) utilizan la técnica de "Slice" de Fourier asociada a microlentes en el plano imagen sólo para obtener fotografías enfocadas de escenas reales en rangos de unos pocos metros cúbicos de volumen, con calidad aparentemente superior a la habitual técnica de profundidad de campo. En este caso, la técnica propuesta permite calcular el

"focal stack" si se aplica repetidamente para las distancias que cubran el volumen requerido, incurriendo en unos requisitos computacionales que imposibilitarían el procesado en tiempo real.

A lo largo de la presente memoria descriptiva se entenderá por "focal stack" de una escena al volumen de imagen que resultaría al tomar un grupo de imágenes fotográficas convencionales, desde un mismo punto de vista, pero variando la distancia de enfoque.

En cuanto a los procedimientos de extracción de información, se conoce que obtener imagen fotográfica a partir del "light-field" (campo de luz) o función plenóptica cuatridimensional, f(u, v,x_fy), es posible integrando todos los rayos que alcanzan cada punto (x, y) del sensor, provenientes de cada punto (u, v) del plano de la lente. Mediante dicha integración se deshace el efecto de captura plenóptico. Esto es, si al capturar con las microlentes los rayos han sido redirigidos a distintas posiciones espaciales, para rehacer la imagen convencional se han de reagrupar, es decir, volver a integrar en común para una posición (x, y) lo que provino de distintos valores angulares (u, v).

La imagen obtenida por el operador

o integral de formación fotográfica, reimagina la imagen fotográfica que se hubiera obtenido con un sensor convencional enfocado en el plano a una distancia F, conjugado respecto de la lente objetivo del conjunto microlentes-sensor. Si se deseara reimaginar en un plano a distancia F' = a > .%, anterior o posterior a F, Ren Ng demuestra, por semejanza de triángulos que hay que evaluar:

La evaluación de ese operador para cada posible distancia a - F requiere Q(N⁴) operaciones y, por lo tanto, para N planos requeriría C(AF⁵) operaciones, siendo N la resolución con que se muestrea cada una de las dimensiones de la función plenóptica.

Ren Ng demuestra también que si se calcula la transformada de Fourier 4D del "light-field", lo que conlleva Q(N⁴ IQg₂Zf) operaciones de suma y multiplicación compleja, los distintos planos de reenfoque se pueden obtener realizando una rotación, truncado a 2D y antitransformada de Fourier en 2D de la función transformada 4D del "light-field", cada uno de ellos con una complejidad computacional de OζN^2~)+ Oζ_N² log₂ N) a añadir al coste inicial de la transformada de Fourier de la función 4D sensada.

Es necesario, por tanto, un método que permita reducir el coste computacional del cálculo del "focal stack" y, en consecuencia, su tiempo de cálculo.

El antecedente más cercano del método para calcular el "focal stack" de la presente invención es la transformada rápida (o aproximada, según el autor) discreta de Radon, propuesta por Gδtz y Druckmüller ("A fast digital Radon transform - an efficient means for evaluating the Hough transform". Pattern Recognition, vol. 29, no. 4, pp. 711-718, 1996.), y Brady ("A Fast Discrete Approximation Algorithm for the Radon Transform". SIAM J. Comput, vol. 27, no. 1, pp. 107-119, 1998) independientemente, que evalúa simultáneamente el sumatorio de los valores a lo largo de una serie de líneas discretas, caracterizadas cada una por una pendiente y un desplazamiento respecto del origen, dispuestas sobre una rejilla bidimensional de datos, por medio de OζN² iog₂ N) sumas donde la evaluación directa del sumatorio sobre cada línea requería OQl) operaciones, y por lo tanto, la evaluación para N pendientes y N desplazamientos requería O{N⁵) sumas.

Finalmente, dejando a un lado los procedimientos para la obtención de la información de la escena y atendiendo al sistema de la presente invención, Richard M. Clare y Richard G. Lañe ("Wave-front sensing from subdivisión of the focal plañe with a lenslet array", J. Opt. Soc. Am. A, Vol. 22, No. 1, 117-125, 2005) han propuesto un sistema en el que se coloca una matriz de microlentes justo en el foco de la lente convergente, no en cualquier posición del plano imagen, y mediante el cual se obtiene la fase del frente de onda sólo en la pupila de la lente.

Es, pues, necesario, un método que permita determinar la fase del frente de onda topográficamente, es decir, a cualquier distancia dentro del volumen tridimensional del espacio objeto, no sólo en la pupila de la lente.

DESCRIPCIÓN DE LA INVENCIÓN

La presente invención soluciona la problemática anteriormente expuesta, proporcionando en un primer aspecto un método para calcular el "focal stack" asociado a una escena según la reivindicación 1, método que permite reducir significativamente el coste computacional del

proceso y el tiempo de cálculo, lo que supone una mejora apreciable respecto a los métodos conocidos en el estado de la técnica.

Un objeto adicional de la presente invención es proponer un método para medir distancias en escenas y un método para medir la amplitud compleja del campo electromagnético optimizados computacionalmente y adecuados para su cómputo en paralelo.

La presente invención permite: - Ceñirse a una sola medida y a un solo sensor, dentro de cada tiempo de estabilidad atmosférico.

- Una recuperación del módulo y fase asociados a cada capa horizontal turbulenta, es decir, tomografía de toda la atmósfera mediante el método de cálculo del "focal stack", ya de por sí rápido en atención al número y tipo de operaciones (sumas) que utiliza, pero que puede ser acelerado con una adaptación inteligente del mismo a Unidades de Procesamiento Gráfico

(GPU) o a unidades de hardware reconfigurable como son las FPGA (Field Programable

Gate Arrays). - Evitar la necesidad de utilizar estrellas láser artificiales, pues puede recuperar en tiempo real la imagen del objeto a su llegada a la atmósfera terrestre, ya que esta nueva técnica no necesita de calibración con señal puntual para luego deconvolucionar.

El método para calcular el "focal stack" de la invención, denominado Transformada SCPH ("Summation of Constrained Planes in a Hypercube") permite obtener una serie de planos de una escena tridimensional, enfocados en diferentes posiciones a lo largo del eje óptico, reduciendo la complejidad computacional del proceso. El método para calcular el "focal stack" de la invención se basa en los principios de los métodos multiescala para el cómputo de la transformada rápida discreta de Radon, y logra minimizar el número de operaciones a realizar mediante la reutilización de resultados parciales.

Con el objeto de reducir el coste computacional del cálculo del "focal stack", el método de la presente invención emplea una transformada de suma a lo largo de planos restringidos en hipercubos discretizados. Se ha de notar que la integral de formación fotográfica equivale geométricamente a evaluar la integral a lo largo de planos en una función cuyo dominio es un hipercubo de dimensión 4. Así entendida, la integral de formación fotográfica es un caso particular de Ε_Tfg._r (J, k)^~ = JJ f(u, v,u - T₁ + jf, v • τ_z + Ü) άu áv, añadiendo la restricción de que las pendientes T₁ y T₂ que definen los planos de integración son iguales para el caso que nos ocupa, lo cual permite reducir el número de operaciones a realizar.

El método para calcular el "focal stack" que se propone consiste en computar simultáneamente la suma de los valores posicionados en la función 4D discreta, /{u, Vv^y), sobre planos tales que las coordenadas de los puntos ubicados en ellos cumplen simultáneamente que x = V, ^Λ r -j-j e y = v τ -τ k, bajo ciertas condiciones de discretización, reutilizando las sumas parciales de puntos contenidos por más de un plano discreto, siendo « y v> las dimensiones horizontal y vertical sobre el plano de la lente y x e y las dimensiones horizontal y vertical sobre el plano sensor, y /, k y r, las dimensiones en horizontal, vertical y profundidad del "focal stack" que se desea obtener. Es decir, se extiende el algoritmo que computa la transformada aproximada rápida discreta de Radon, que ya existía para el caso de integrales de línea en el plano, hasta llegar a integrales de hiperplanos 4-dimensionales sobre el hipercubo 4-dimensional, con el añadido de que las pendientes en horizontal y en vertical son la misma.

Se define la transformación parcial de los datos, hasta la etapa m, como:

donde se considera que la función tiene dimensiones

la función

a forma discreta en que la sucesión de puntos

une los puntos

formando una línea discreta de pendiente

, y la función

devuelve el valor λ{u) e Ε. correspondiente a la wupla binaria

Si se hacen equivaler los datos transformados hasta la etapa

, con los datos capturados,

: entonces:

que aproxima a la integral de formación fotográfica

para un volumen de N planos de profundidad.

De manera análoga se pueden computar otros N planos de profundidad para pendientes negativas. Como ambos semivolúmenes comparten la profundidad 0, en total se conseguiría un focal stack compuesto por 2M- 1 imágenes reenfocadas a distintas distancias. La fórmula recurrente que mapea dos etapas parciales ÍΪΪ y m + 1, describe completamente el método, y requiere ser aplicada n veces:

Nótese que el dominio para el que está descrita la transformación parcial f™-*¹ es la mitad que el que requiere f^m, transformándose progresivamente de un dominio 4D a (un dominio 3D, en un proceso que requiere O (íV^**) sumas, lo que se traduce en un ahorro de tiempo de cómputo superior al ochenta por ciento respecto a los procesos actuales.

Siguiendo este procedimiento, y con los métodos aquí propuestos, es posible recuperar tanto profundidades como módulos y fases de la amplitud compleja del frente de onda en cada posición de las superficies de la escena, lo que permite escanear tridimensionalmente al completo y en tiempo real la escena, resultando por lo tanto, de gran aplicación en los campos citados anteriormente.

Ventajosamente el método para calcular el "focal stack" de la presente invención no requiere multiplicaciones ni operaciones trigonométricas, sólo sumas y su complejidad computacional es de orden 0(JV⁴) para un volumen final que contiene 2N-1 planos fotográficos enfocados a diferentes profundidades, a partir de un light-field de dimensión N⁴.

El método de la presente invención permite computar el "focal stack" para todo un volumen y con menor número de operaciones de las que los métodos para obtener el "focal stack" descritos en el estado de la técnica (Ren Ng) emplean para el cómputo de un solo plano. No obstante, un problema que aparece en la captura del light-field 4D es la necesidad de utilizar un sensor 2-dimensional. Para obtener todo el volumen de información 4D sobre un sensor 2D es necesario un sensor de resolución muy elevada. Así, para un sensor de O(N⁴) píxeles sólo es posible obtener un "focal stack" compuesto de imágenes de O(N²) píxeles y por tanto únicamente O(N²) distancias. Esta reducción de resolución de orden O(N²) provoca la necesidad de utilizar sensores de coste extraordinariamente elevado.

Para solucionar este problema se proporciona, en un segundo aspecto de la presente invención, un método para mejorar la resolución de las imágenes del "focal stack" según la reivindicación 2. En dicho método se supone que los elementos de la escena tienen reflectancia de tipo Lambertiana, es decir, que la intensidad emitida por un punto en el objeto es independiente del ángulo. En ese caso el light-field tiene información redundante de orden

0(aN²), siendo a una constante arbitraria con 0<α<l. Esta información redundante se puede utilizar para aumentar la resolución de las imágenes del "focal stack".

El método según la reivindicación 2 permite pasar de un "focal stack" con imágenes de resolución O(N²) a otro de resolución 0((1-Ct)N⁴).

Dada una imagen del "focal stack" correspondiente a un plano de a una distancia determinada, el método de aumento de resolución del "focal stack" comprende:

1. Retroproyectar los O(N⁴) rayos del light-field desde ese plano construyendo una imagen a alta resolución con las posiciones fracciónales de esos rayos.

2. Determinar las redundancias debido a la suposición Lambertiana.

3. En esta imagen de resolución aumentada (con superresolución) aparecen dos tipos de píxeles: aquellos para los que no hay redundancias, donde se coloca el valor del rayo retroproyectado, y aquellos para los que existen redundancias, donde se coloca un valor representativo de los rayos redundantes como puede ser la media. Suponiendo O(aN²) redundancias para cada uno de los 0(N²) elementos de la imagen del "focal stack" original, la resolución final de la imagen del "focal stack" se incrementaría de 0(N²) a 0((1-U)N⁴).

En el contexto de la presente memoria descriptiva, entendemos por superresolución cualquier aumento en la definición, tanto de la imagen como del mapa de distancias asociado, respecto a la resolución en microlentes, 0(N²). Su límite máximo está pues en el número de píxeles 0(N⁴), consiguiéndose con el método de la invención, ventajosamente, una resolución de orden 0((1-Ct)N⁴).

Típicamente el valor de a depende de la imagen del "focal stack" que se considere. Para el cálculo de distancias se fija una resolución mínima y se remuestrean las imágenes implícita o explícitamente para obtener dicha resolución mínima.

En un tercer aspecto de la invención se presenta un método para la medida de distancias en tiempo real en escenas tridimensionales según la reivindicación 3. Dicho método comprende obtener una imagen del espacio objeto con una cámara de fase, calcular el "focal stack" mediante el método de la reivindicación 1, aplicar un operador de medida de calidad de enfoque en el "focal stack" (varianza, laplaciano, gradiente), y calcular el estado óptimo sobre un campo aleatorio de Markov.

Se pueden adaptar las etapas del método anterior para su implementación sobre hardware de cómputo paralelo, tal como una GPU o una FPGA, lo que resulta en una optimización aún más ventajosa del tiempo de procesamiento.

En un cuarto aspecto la invención proporciona un método para la medida tomográfica en tiempo real de la amplitud compleja del campo electromagnético asociado a un frente de onda de una escena según la reivindicación 5. Dicho método comprende obtener una imagen del espacio objeto con una cámara de fase, calcular el "focal stack" mediante el método de la reivindicación 1, que proporciona la tomo grafía del módulo cuadrado de la amplitud compleja del frente de onda, aplicar un operador de generación de los gradientes de la fase de frente de onda en cualquier punto del volumen del espacio objeto, y recuperar la fase del frente de onda del campo electromagnético asociado. Se pueden adaptar las etapas del método anterior para su implementación sobre hardware de cómputo paralelo, tal como una GPU o una FPGA, lo que resulta en una optimización aún más ventajosa del tiempo de procesamiento.

Tanto en el método para la medida de distancias en tiempo real en escenas tridimensionales como en el método para la medida tomográfica en tiempo real de la amplitud compleja del campo electromagnético asociado a un frente de onda, las medidas del espacio objeto se realizan una sola vez, es decir, una única imagen contiene la información suficiente para recuperar el entorno tridimensional. Tal imagen puede ser entendida como compuesta de 4 dimensiones: dos coordenadas sobre el detector asociadas al interior de cada microlente y otras dos coordenadas asociadas a la matriz de microlentes.

El montaje comprende una única matriz de microlentes, formando imagen sobre una superficie detectara de suficiente resolución (por ejemplo un dispositivo CCD) que se sitúa en una posición del espacio imagen de una lente convergente, lo que permite realizar medidas tomográficas del espacio tridimensional objeto.

Por último, en un quinto aspecto de la presente invención se proporciona una cámara de fase para la adquisición en tiempo real de la información visual de escenas tridimensionales según la reivindicación 7 que comprende una lente convergente, una matriz de microlentes colocada en una posición del espacio imagen de la lente convergente y que forma imagen sobre una superficie detectora de suficiente resolución, y medios de procesamiento de cómputo paralelo adaptados para calcular el "focal stack" asociado al espacio objeto medido por la cámara mediante el método de la reivindicación 1, para obtener la amplitud compleja del campo electromagnético (módulo y fase) y para obtener la distancia en cualquier posición del espacio objeto sensado.

Frente a los métodos y sistemas del estado de la técnica, el método para calcular el "focal stack" según la presente invención permite determinar la fase del frente de onda topográficamente, es decir, a cualquier distancia dentro del volumen tridimensional del espacio objeto. Además, el método para calcular el "focal stack" de la presente invención permite caracterizar el campo electromagnético no sólo por la fase del frente de onda en un plano, sino por la amplitud compleja del campo electromagnético asociado al frente de onda en todo el volumen.

DESCRIPCIÓN DE LAS FIGURAS

Para complementar la descripción que seguidamente se va a realizar y con objeto de ayudar a una mejor comprensión de las características de la invención, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:

Figura 1: Representación esquemática de los elementos principales de la cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales según la invención.

Figura 2: Esquema conceptual de la invención aplicada a un telescopio con un gran espejo principal (1) para realización de tomografϊa de atmósfera en observación astrofísica de una estrella (8) con óptica adaptativa.

Figura 3: Esquema conceptual de una clásica observación astrofísica de una estrella (8) que utilice óptica adaptativa multiconjugada a dos capas de turbulencia en la atmósfera (9) y (10).

DESCRIPCIÓN DETALLADA DE UN MODO DE REALIZACIÓN PREFERIDA DE

LA INVENCIÓN

En un primer ejemplo de realización práctica de la invención se considera la medida de la distancia a la que se encuentran los objetos de una escena.

Se considera el caso particular de la observación desde nuestra invención de una escena consistente en el interior de una habitación amueblada, donde se distinguen, como componentes, varios objetos situados en un rango de profundidades desde los 0,5 hasta los 4 metros respecto de la posición de la cámara. En la Figura 1 se representa esquemáticamente la disposición de una lente de apertura (1), una matriz de microlentes (2) y una superficie detectora (3) incluidos en la cámara de fase según la invención. Aparecen indicados además la distancia (5) desde la lente convergente a la que enfoca un determinado objeto del espacio objeto, la focal (6) de cada microlente de la matriz de

lentillas, el ángulo de inclinación local del frente de onda (7) y el desplazamiento en camino óptico (4) que sufre el frente de onda turbulento respecto a otro sin aberrar. La cámara de la invención comprende asimismo medios de procesamiento no representados en la figura.

Para conformar la cámara de la invención para la adquisición en tiempo real de la información visual de escenas tridimensionales se utiliza un sensor CCD de resolución máxima 4000x2672 modelo IPX-11M5 de Imperx. Siguiendo el montaje de la Figura 1, previo al CCD se coloca una lente objetivo de igual relación focal que la posterior matriz de microlentes (16x16 y en montura F-Nikon) que enfocan sobre el CCD abarcando 1024 x 1024 píxeles. La cámara presenta en esta disposición una apertura angular de 30° en horizontal, y se enfoca en la región central de la escena, a aproximadamente 2 metros.

La imagen detectada es tratada con unos medios de procesamiento, en este ejemplo una tarjeta gráfica GPU nVidia 8800 GTX adaptada para:

- calcular el "focal stack" por medio del método para calcular el "focal stack" de la invención, adaptado para su implementación óptima sobre hardware de cómputo paralelo; - aplicar un operador de medida de calidad de enfoque en el "focal stack", por ejemplo, el operador "Varianza" para estimación de la calidad del enfoque, adaptado de manera óptima al mismo hardware de cómputo paralelo; y

- recuperar las distancias mediante el cálculo del estado óptimo sobre un campo aleatorio de Markov, por ejemplo, propagación de la creencia basada en el re- ponderado de árboles de Kolmogorov, implementado de manera optimizada sobre hardware de cómputo paralelo.

Con la cámara y el método de la invención se obtiene el mapa de profundidades de la escena. En un segundo ejemplo de realización práctica de la invención se considera la medida de la amplitud compleja del campo electromagnético.

Se considera el caso particular de una observación astrofísica con un telescopio de diámetro superior al diámetro de coherencia r₀ de la atmósfera (aproximadamente 20 cm. en el visible). La turbulencia de la atmósfera provoca pérdida de resolución en la imagen obtenida con el

telescopio, es decir, pérdida de la información de altas frecuencias espaciales. Para evitarlo, debe conocerse la forma en que la turbulencia atmosférica degrada el frente de onda de la luz proveniente de la estrella en estudio. Para ello, pueden usarse como referencia estrellas puntuales naturales o artificiales que permitan caracterizar la deformación que la atmósfera introduce en el frente de onda.

En la Figura 3 se representa esquemáticamente una observación astrofísica de una estrella (8) que utiliza óptica adaptativa multiconjugada clásica a dos capas de turbulencia en la atmósfera. Con óptica adaptativa multiconjugada, un sensor de fase de frente de onda debe ser usado por cada espejo deformable conjugado a una capa de turbulencia individual, es decir, dos sensores de fase (WFS) diferentes que deben ser alineados y puestos en funcionamiento paralelamente y en diferentes posiciones del eje óptico. En la figura se representan un telescopio (1) y dos sensores de frente de onda (11) y (12) asociados conjugadamente a cada capa turbulenta (9) y (10). Con óptica adaptativa multiconjugada clásica sólo es posible recuperar un número muy pequeño de capas de turbulencia individuales (tres capas a lo sumo). La complejidad de los cálculos y la necesidad de velocidad, pues la atmósfera cambia cada 10 milisegundos en el visible, hace actualmente imposible superar la corrección a sólo tres capas de turbulencia atmosférica.

Con la presente invención, siguiendo el diseño mostrado en la Figura 1, y cuyo funcionamiento en este supuesto se muestra en la Figura 2, sólo un sensor es utilizado, colocado en una única posición del eje óptico.

En la Figura 2 se presenta esquemáticamente un sistema según la invención para realizar tomografía de atmósfera en una observación astrofísica de una estrella (8) con óptica adaptativa. Las capas de turbulencia individuales dentro de la atmósfera corresponden a (9) y (10). En este caso, como lente objetivo actúa el propio telescopio (1) descrito anteriormente. En su espacio imagen se coloca un array de microlentes (2) (32x32, montura C) que enfoca sobre una cámara (3) AKDOR modelo IXON 512x512 píxeles. La cámara de fase de la invención permite barrer el cilindro completo de turbulencia atmosférica (13) que afecta a la imagen final del telescopio. Los datos son recogidos y tratados mediante una FPGA modelo ML501 de Virtex previamente adaptada para realizar mediante el siguiente procedimiento:

- calcular el "focal stack" mediante el método de la reivindicación 1, donde la raíz cuadrada del "focal stack" suministra directamente el módulo de la amplitud compleja del campo electromagnético en cualquier punto del volumen del espacio objeto, - aplicar un operador de generación de los gradientes de la fase de frente de anda en cualquier punto del volumen del espacio objeto (operador de Clarke y Lañe, por ejemplo), y

- recuperar la fase del frente de onda del campo electromagnético asociado, por ejemplo, mediante el método con desarrollo en exponenciales complejas, el desarrollo en función de polinomios de Zernike o el algoritmo de Hudgin.

A diferencia de técnicas anteriores, en el método de la invención el operador de generación de los gradientes de la fase de frente de onda se aplica localmente, en lugar de a la imagen plenóptica en su conjunto.

Una sola medida, procesada posteriormente como se ha descrito, permite obtener en tiempo real el mapa tridimensional de turbulencias (amplitud compleja del frente de onda) asociado a toda la columna de atmósfera que afecta a la observación con nuestro telescopio y la altura a la que estas capas de turbulencia se encuentran, así como la distancia y perfil tridimensional si una estrella láser artificial fuese utilizada.

Claims

REIVINDICACIONES

1. Método para calcular un "focal stack" asociado a un espacio objeto a partir de su función plenóptica discreta, f(s,tj,k) , que comprende evaluar la integral de formación fotográfica como una suma a lo largo de planos en un hipercübo 4D, comprendiendo a su vez dicha evaluación de la integral de formación fotográfica las siguientes etapas: hacer equivaler al principio del cómputo los datos capturados,

, con los datos transformados hasta la etapa

es decir:

aplicar a continuación π = log₂ N veces la siguiente transformación parcial:

2. Método para mejorar la resolución de las imágenes del "focal stack" obtenido mediante el método según la reivindicación 1, que comprende las siguientes etapas: dada una imagen del "focal stack" a una distancia determinada, retroproyectar los O(N⁴) rayos del light-field, construyendo una imagen a alta resolución con las posiciones fracciónales de esos rayos, determinar las redundancias que resultan de suponer que los elementos de la escena tienen una reflectancia de tipo Lambertiana, y en las posiciones del "focal stack" con superresolución donde no hay redundancias colocar el valor del rayo retroproyectado y donde hay redundancias colocar un valor representativo de los rayos redundantes, como puede ser la media.

3. Método para la medida de distancias en tiempo real en escenas tridimensionales que comprende las siguientes etapas: obtener una imagen del espacio objeto con una cámara de fase, calcular el "focal stack" mediante el método de la reivindicación 1,

aplicar un operador de medida de calidad de enfoque en el "focal stack", y calcular el estado óptimo sobre un campo aleatorio de Markov.

4. Método para la medida de distancias en tiempo real en escenas tridimensionales según la reivindicación 3 que adicionalmente comprende mejorar la resolución de las imágenes del "focal stack" mediante el método de la reivindicación 2.

5. Método para la medida tomográfica en tiempo real de la amplitud compleja del campo electromagnético asociado a un frente de onda que comprende las siguientes etapas: obtener una imagen del espacio objeto con una cámara de fase, calcular el "focal stack" mediante el método de la reivindicación 1, donde la raíz cuadrada del "focal stack" suministra directamente el módulo de la amplitud compleja del campo electromagnético en cualquier punto del volumen del espacio objeto, aplicar un operador de generación de los gradientes de la fase de frente de onda en cualquier punto del volumen del espacio objeto, y recuperar la fase del frente de onda del campo electromagnético asociado.

6. Método para la medida tomográfica en tiempo real de la amplitud compleja del campo electromagnético asociado a un frente de onda según la reivindicación 5 que adicionalmente comprende mejorar la resolución de las imágenes del "focal stack" mediante el método de la reivindicación 2.

7. Cámara de fase para la adquisición en tiempo real de la información visual de escenas tridimensionales que comprende una lente convergente, una matriz de microlentes colocada en una posición del espacio imagen de la lente convergente y que forma imagen sobre una superficie detectora de suficiente resolución, y medios de procesamiento de cómputo paralelo adaptados para - calcular el "focal stack" asociado al espacio objeto medido por la cámara mediante el método de la reivindicación 1,

- obtener la amplitud compleja del campo electromagnético (módulo y fase) y

- obtener la distancia en cualquier posición del espacio objeto sensado.

8. Cámara de fase para la adquisición en tiempo real de la información visual de escenas tridimensionales según la reivindicación 7, en la que los medios de procesamiento están adaptados para mejorar la resolución de las imágenes del "focal stack" mediante el método de la reivindicación 2.

9. Cámara de fase para la adquisición en tiempo real de la información visual de escenas tridimensionales según la reivindicación 7, en la que los medios de procesamiento están adaptados para obtener la distancia en cualquier posición del espacio objeto mediante el método de la reivindicación 3.

10. Cámara de fase para la adquisición en tiempo real de la información visual de escenas tridimensionales según la reivindicación 7, en la que los medios de procesamiento están adaptados para obtener la amplitud compleja del campo electromagnético mediante el método de la reivindicación 5.