MX2012011134A - Mapas de disparidad 3d. - Google Patents

Mapas de disparidad 3d.

Info

Publication number
MX2012011134A
MX2012011134A MX2012011134A MX2012011134A MX2012011134A MX 2012011134 A MX2012011134 A MX 2012011134A MX 2012011134 A MX2012011134 A MX 2012011134A MX 2012011134 A MX2012011134 A MX 2012011134A MX 2012011134 A MX2012011134 A MX 2012011134A
Authority
MX
Mexico
Prior art keywords
disparity
resolution
disparity value
image
respect
Prior art date
Application number
MX2012011134A
Other languages
English (en)
Other versions
MX340111B (es
Inventor
Thierry Borel
Ralf Ostermann
Wolfram Putzke-Roeming
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of MX2012011134A publication Critical patent/MX2012011134A/es
Publication of MX340111B publication Critical patent/MX340111B/es

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)
  • Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Una implementación particular tiene acceso a un valor de disparidad para una ubicación particular en una imagen, el valor de disparidad indica la disparidad con respecto a una resolución particular. La implementación particular modificar el valor de disparidad accesado con base en múltiples resoluciones para producir un valor de disparidad modificado. Otra implementación tiene acceso a un valor de disparidad para una ubicación particular en una imagen, la imagen tiene una resolución particular, y el valor de disparidad indica la disparidad con respecto a otra resolución que es diferente de la resolución particular y que está con base en múltiples resoluciones. Otra implementación modifica el valor de disparidad accesado para producir un valor de disparidad modificado que indica la disparidad con respecto a la resolución particular.

Description

MAPAS DE DISPARIDAD 3D Referencia Cruzada de Solicitudes Relacionadas Esta solicitud reclama el beneficio de la fecha de presentación de las siguientes Solicitudes Provisionales de Estados Unidos de América, la cual se incorpora aquí como referencia en su totalidad para todos los propósitos: (i) No. de Serie 61/397,418; presentada el 11 de junio de 2010; y titulada "3D DISPA ITY MAPS", y (ii) No. de Serie 61/319,566, presentada el 31 de marzo de 2010, y titulada "DENSE DISPARITY MAPS".
Campo de la Invención Se describen implementaciones que se relacionan con el 3D. Varias implementaciones particulares se relacionan con mapas de disparidad para imágenes de video.
Antecedentes de la Invención El video estereoscópico proporciona dos imágenes de video, que incluyen una imagen izquierda de video y una imagen derecha de video. La información de profundidad y/o disparidad también puede ser provista para estas dos imágenes de video. La información de profundidad y/o disparidad se puede utilizar en una variedad de operaciones de procesamiento en las dos imágenes de video.
Breve Descripción de la Invención De conformidad con un aspecto general, se tiene acceso a un valor de disparidad para una ubicación particular en una imagen. El valor de disparidad indica la disparidad con respecto a la resolución particular. El valor de disparidad accesado se modifica con base en múltiples resoluciones para producir un valor de disparidad modificado.
De conformidad con otro aspecto general, una señal o estructura incluye una porción de disparidad que incluye al valor de disparidad para una ubicación particular en una imagen. La imagen tiene una resolución particular. El valor de disparidad indica la disparidad con respecto a otra resolución que es diferente de la resolución particular y que está con base en múltiples resoluciones.
De conformidad con otro aspecto general, se tiene acceso a un valor de disparidad para una ubicación particular en una imagen. La imagen tiene una resolución particular. El valor de disparidad indica la disparidad con respecto a otra resolución que es diferente a la resolución particular y está con base en múltiples resoluciones. El valor de disparidad accesado se modifica para producir un valor de disparidad modificado, el cual indica la disparidad con respecto a la resolución particular.
Los detalles de una o más ¡mplementaciones se establecen en los dibujos acompañantes y en la siguiente descripción. Incluso cuando se describe en una forma en particular, se debe aclarar que las ¡mplementaciones se pueden configurar o incorporar en varias formas. Por ejemplo, una ¡mplementación se puede realizar como un método o incorporarse como un aparato, tal como por ejemplo, un aparato configurado para realizar un grupo de operaciones o un aparato que almacena instrucciones para llevar a cabo el grupo de operaciones, o se incorpora en una señal. Otros aspectos y características serán evidentes a partir de la siguiente descripción detallada considerada junto con los dibujos y las reivindicaciones acompañantes.
Breve Descripción de los Dibujos La Figura 1 es una representación ilustrativa del valor de profundidad real para cámaras paralelas.
La Figura 2 es una representación ilustrativa del valor de disparidad. La Figura 3 es una representación ilustrativa de la relación entre la profundidad aparente y la disparidad.
La Figura 4 es una representación ilustrativa de las cámaras convergentes.
La Figura 5 es una representación ilustrativa de la oclusión en pares de imagen de video estereoscópico.
La Figura 6 es un diagrama en bloque/de flujo que ilustra una ¡mplementación que tiene un formato nativo diferente y un formato de transmisión.
La Figura 7 es una representación tabular de un ejemplo de una representación múltiple común de valores de disparidad.
La Figura 8 es un diagrama en bloque/de flujo que ilustra un ejemplo de un proceso para la transmisión y uso de una representación múltiple común de los valores de disparidad.
La Figura 9 es un diagrama en bloque/de flujo que ¡lustra un ejemplo de un sistema de transmisión que puede ser usado en una o más implementaciones.
La Figura 10 es un diagrama en bloque/de flujo que ilustra un ejemplo de un sistema receptor que se puede usar con una o más implementaciones.
Descripción Detallada de la Invención Como una explicación de algunas de las características de esta solicitud, por lo menos una implementación describe el uso de valores de disparidad con base en una resolución considerablemente más grande que cualquier resolución más grande de disparidad estándar. En esta aplicación, el término "resolución" se refiere en general a la resolución horizontal, y se mide por ejemplo, en el número de píxeles de un despliegue o el número de bloques de píxeles de un despliegue, o el número de elementos de una imagen digital. La resolución no estándar es un entero que se convierte fácilmente en una o más resoluciones de despliegue estándar. En esta implementación en particular, la resolución de disparidad efectiva es el mínimo común múltiplo de varias resoluciones de despliegue estándar. Los valores de disparidad para la resolución de despliegue efectiva se representan en un formato de enteros. Los valores de disparidad son potencialmente altos como resultado de que están con base en una resolución de no despliegue más grande. Así, las representaciones de entero proporcionan una exactitud para el sub-pixel cuando los valores de disparidad se convierten en una resolución .de despliegue estándar.
Para hacer referencia otra v:ez a lo anterior, la Figura 1 ilustra el concepto de profundidad en una imagen de video. La Figura 1 muestra la cámara 105 derecha con un sensor 107 y la cámara 110 izquierda con un sensor 112. Ambas cámaras 105, 110 capturan imágenes de un objeto 115. Con el propósito de ilustrar, el objeto 115 es físicamente una cruz, que tiene un detalle 116 arbitrario ubicado en el lado derecho de la cruz (consultar la Figura 2). La cámara 105 derecha tiene un ángulo 120 de captura y la cámara 110 izquierda tiene un ángulo 125 de captura. Los dos ángulos 120, 125 de captura se traslapan en un área 130 de estéreo 3D.
Debido a que el objeto 115 está en el área 130 de estéreo 3D, el objeto 115 es visible para ambas cámaras 105, 110 y por lo tanto, el objeto 115 tiene la capacidad de ser percibido como teniendo profundidad. El objeto 115 tiene una profundidad 135 real. La profundidad 135 real, por lo general, es referida como la distancia desde el objeto 115 hasta las cámaras 105, 110. Más específicamente, la profundidad 135 real se refiere como la distancia desde el objeto 115 a una línea 140 de base de la cámara estéreo, que es el plano definido por el plano de pupila de entrada de ambas cámaras 105, 110. El plano de pupila de entrada de la cámara típicamente está dentro de un lente de acercamiento, y por lo tanto, típicamente no se tiene acceso a él físicamente.
Las cámaras 105, 110 también se muestran teniendo una longitud 145 focal. La longitud 145 focal es la distancia desde el plano de pupila de salida hasta los sensores 107, 112. Con el propósito de ilustrar, el plano de pupila de entrada y el plano de pupila de salida se muestran como coincidentes, cuando en la mayoría de los casos, están un poco separados. Además, las cámaras 105, 110 se muestran con una longitud 150 de línea de base. La longitud 150 de línea de base es la distancia entre los centros de las pupilas de entrada de las cámaras 105, 110 y por lo tanto, se mide en la línea de base 140 de la cámara estéreo.
Se forma una imagen del objeto 115 por cada una de las cámaras 105 y 110 como imágenes reales en cada uno de los sensores 107 y 112. Estas imágenes reales incluyen una imagen 117 real del detalle 116 en el sensor 107 y la imagen 118 real del detalle 116 en el sensor 112. Como se muestra en la Figura 1, las imágenes reales están invertidas, como es bien conocido en la técnica.
La profundidad está íntimamente relacionada con la disparidad. La Figura 2 muestra una imagen 205 izquierda capturada por la cámara 110 y una imagen 210 derecha capturada por la cámara 105. Ambas imágenes 205, 210 incluyen una representación del objeto 115 con detalle 116. La imagen 210 incluye una imagen 217 con detalle del objeto 115, y la imagen 205 incluye una imagen 218 con detalle del objeto 115. El punto derecho lejano del detalle 116 es capturado en un pixel 220 en la imagen 218 con detalle en la imagen 205 izquierda, y es capturada en un pixel 225 en la imagen 217 con detalle en la imagen 210 derecha. La diferencia horizontal entre las ubicaciones del pixel 220 y el pixel 225 es la disparidad 230. Las imágenes 217, 218 de objeto se suponen están registradas en forma vertical para que las imágenes del detalle 116 tengan el mismo posicionamiento vertical en ambas imágenes 205, 210. La disparidad 230 proporciona la percepción de la profundidad del objeto 215 cuando las imágenes 205, 210 derecha e izquierda son vistas por el ojo derecho e izquierdo, respectivamente, del observador.
La Figura 3 muestra la relación entre la disparidad y la profundidad percibida. Tres observadores 305, 307, 309 se muestran viento un par de imagen estereoscópica para un objeto en unas pantallas 310, 320, 330 respectivas.
El primer observador 305 ve una vista 315 izquierda del objeto y una vista 317 derecha del objeto que tiene una disparidad positiva. La disparidad positiva refleja el hecho de que la vista 315 izquierda del objeto es para la izquierda de la vista 317 derecha del objeto en la pantalla 310. La disparidad positiva resulta en un objeto 319 virtual o percibido que aparece detrás del plano de la pantalla 310.
El segundo observador 307 ve la vista 325 izquierda del objeto y una vista 327 derecha del objeto que tiene cero disparidad. La disparidad cero refleja el hecho de que la vista 325 izquierda del objeto está en la misma posición horizontal que la vista 327 derecha del objeto en la pantalla 320. La disparidad cero resulta en un objeto 328 virtual o percibido que aparece para estar a la misma profundidad que la pantalla 320.
El tercer observador 309 ve una vista 335 izquierda del objeto y una vista 337 derecha del objeto que tiene una disparidad negativa. La disparidad negativa refleja el hecho de que la vista 335 izquierda del objeto está hacia la derecha de la vista 337 derecha del objeto en la pantalla 330. La disparidad negativa resulta en un objeto 339 virtual o percibido que aparece en el frente del plano de la pantalla 330.
En este punto, se debe hacer notar que la disparidad y la profundidad pueden ser usadas en forma intercambiable en las implementaciones a menos que se indique lo contrario o se requiera por el contexto. Con el uso de la Ecuación 1, se conoce que la disparidad es inversamente proporcional a la profundidad de escena.
D = L± d En donde "D" describe la profundidad (135 en la Figura 1), "b" es la longitud de linea de base (150 en la Figura 1) entre las dos cámaras de imagen estéreo, "f" es la longitud focal de cada cámara (145 en la Figura 1) y "d" es la disparidad para los dos puntos característicos correspondientes (230 en la Figura 2).
La Ecuación 1 anterior es válida para las cámaras paralelas con la misma longitud focal. Se pueden definir fórmulas más complicadas para otros escenarios, pero en la mayoría de los casos la Ecuación 1 se puede utilizar como una aproximación. Sin embargo, además, la Ecuación 2 a continuación, es válida para por lo menos varios arreglos de cámaras convergentes, como es conocido por las personas experimentadas en la técnica: D = ±±- d8 es el valor de disparidad para un objeto en el infinito. d8 depende del ángulo de convergencia y de la longitud focal, y se expresa en metros (por ejemplo) mejor que en el número de pixeles. La longitud focal fue descrita antes con respecto a la Figura 1 y la longitud 145 focal. El ángulo de convergencia se muestra en la Figura 4.
La Figura 4 incluye la cámara 105 y la cámara 110 colocada en una configuración convergente mejor que en la configuración paralela de la Figura 1. Un ángulo 410 muestra las líneas de visión de las cámaras 105, 110 convergentes y el ángulo 410 se puede referir como el ángulo de convergencia.
Los mapas de disparidad se utilizan para proporcionar la información de disparidad para una imagen de video. Un mapa de disparidad por lo general, se refiere a un grupo de valores de disparidad con una geometría correspondiente a los pixeles en la imagen de video asociada.
Un mapa denso de disparidad por lo general, se refiere a un mapa de disparidad con una resolución espacial y temporal que típicamente son idénticas a la resolución de la imagen de video asociada. La resolución temporal se refiere, por ejemplo, a la velocidad de cuadro y por ejemplo, puede ser de 50 Hz o de 60 Hz. Un mapa de disparidad densa por lo tanto, tendrá por lo general una muestra de disparidad por ubicación del pixel. La geometría del mapa de disparidad densa típicamente será el mismo que el de la imagen de video correspondiente, por ejemplo, un rectángulo que tiene un tamaño horizontal y vertical, en pixeles de: (i) 1920 x 1080 (or 1920 x 1200), (¡i) 1440 x 1080 (or 1440x900), (üi) 1280 x 720 (or 1280 x 1024, 1280 x 960, 1280 x 900, 128C (¡v) 960 x 640 (or 960 x 600, 960 x 576, 960 x 540), (v) 2048 x 1536 (or 2048 x 1152), (vi) 4096 x 3072 (or 4096 x 3112 , 4096 x 2304, 4096 x 2400, 4 x 768), or (v¡¡) 8192 x 4302 (or 8192 x 8192, 8192 x 4096, 7680 x 4320).
Es posible que la resolución de un mapa de disparidad densa es esencialmente el mismo que, pero diferente de, la resolución de una imagen asociada. En una implementación, la información de disparidad en los límites de la imagen puede ser difícil de obtener. Por lo tanto, en esa implementación, los valores de disparidad en los píxeles de límite no están incluidos en el mapa de disparidad y el mapa de disparidad es mencr que la imagen asociada.
Un mapa de disparidad muestreado en descendente, por lo general, se refiere a un mapa de disparidad con una menor resolución que la resolución de video nativa (por ejemplo, dividida por un factor de cuatro). Un mapa de disparidad muestreado en descendente por ejemplo, tendrá un valor de disparidad por bloque de píxeles.
Un mapa de disparidad esparcida por lo general, se refiere a un grupo de disparidades que corresponden con un número limitado de píxeles (por ejemplo, 1000) que se consideran que se pueden trazar fácilmente en la imagen de video correspondiente. El número limitado de pixeles que se seleccionan, por lo general, dependerá del contenido en sí. Puede haber con frecuencia, más de uno o dos millones de pixeles en una imagen (1280x720 ó 1920x1080). La opción de sub-grupo de pixel por lo general se lleva a cabo en forma automática o semi-automática por una herramienta rastreadora con la capacidad de detectar los puntos característicos. Las herramientas rastreadoras están disponibles a la venta. Los puntos característicos, por ejemplo, pueden ser los puntos de borde o de esquina en una imagen que se puede rastrear fácilmente en otras imágenes. Las características que representan los altos bordes de contraste de un objeto por lo general, son preferidos para el sub-grupo de pixeles.
Los mapas de disparidad o más en general, la información de disparidad puede ser usada para una variedad de operaciones del proceso. Tales operaciones incluyen, por ejemplo, la interpolación de vista (reproducción) para ajustar el efecto 3DF en un dispositivo del consumidor, proporcionar una colocación inteligente de sub-títulos, efectos visuales e inserción de gráficos.
En una implementación particular, los gráficos se insertan dentro del fondo de la imagen. En esta implementación, una presentación 3D incluye una entrevista de video estereoscópico entre un locutor de deportes y un jugador de football, ambos en el fondo. El fondo incluye una vista del estadio. En este ejemplo, el mapa de disparidad se utiliza para seleccionar los pixeles de la entrevista de video estereoscópico cuando los valores de disparidad correspondientes son menores que (esto es, están más cerca) que un valor predeterminado. Por el contrario, los pixeles se seleccionan de un gráfico cuando los valores de disparidad son mayores que (esto es, están más lejos) que el valor predeterminado. Esto permite, por ejemplo, que un director muestre a los participantes de la entrevista en el frente de la imagen gráfica, mejor que en el frente del fondo real del estadio. En otras variaciones, el fondo es sustituido con otro ambiente, tal como por ejemplo, la cancha de juegos durante una repetición de la jugada más reciente del jugador.
En una implementación, el efecto 3D se suaviza (reduce) con base en la preferencia del usuario. Para reducir el efecto 3D (reducir el valor absoluto de la disparidad), una vista cercana se interpola con el uso de la disparidad y las imágenes de video. Por ejemplo, la nueva vista es colocada en una ubicación entre la vista izquierda y la vista derecha existentes, y la nueva vista reemplaza a una de la vista izquierda y la vista derecha. De este modo, el nuevo par de imágenes estereoscópicas tiene una menor longitud de línea de base y tendrá una disparidad reducida y por lo tanto, un efecto 3D reducido.
En otra implementación, la extrapolación, mejor que la interpolación, se lleva a cabo para exagerar la profundidad aparente y así, incrementar el efecto 3D. en esta implementación, una nueva vista se extrapola correspondiente a la cámara virtual que tiene una longitud de línea de base incrementada con relación a una de las vistas izquierda y derecha originales.
En otro ejemplo, los mapas de disparidad se utilizan para colocar inteligentemente los sub-títulos en una imagen de video para así reducir o evitar la incomodidad del usuario. Por ejemplo, un sub-título debe tener una profundidad percibida que está al frente de cualquier objeto que el sub-titulo está ocultando. Sin embargo, la profundidad percibida por lo general, tendrá una profundidad que se puede comparar con la región de interés, y no tan lejos en frente de los objetos que están en la región de interés.
Para muchas operaciones de procesamiento 3D, se prefiere un mapa de disparidad densa sobre un mapa de disparidad muestreado en descendente o un mapa de disparidad esparcido. Por ejemplo, cuando un mapa de disparidad se utiliza para permitir al usuario los efectos 3D, controlados por el usuario, la información de disparidad en una base por pixel por lo general, es preferida. La información de disparidad con base por pixel por lo general, permite alcanzar mejores resultados, debido a que utilizar un mapa de disparidad muestreado en descendente o esparcido puede degradar la calidad de las vistas sintetizadas.
Un valor de disparidad se puede representar en una variedad de formas. Algunas implementaciones utilizan el siguiente formato para representar el valor de disparidad para el almacenamiento o para su transmisión: (i) Entero firmado: 2 complemento (a) Valores de disparidad negativa indican la profundidad que está al frente de la pantalla. (b) Cero se utiliza para el valor de disparidad de objetos en el planto de la pantalla. (¡i) Unidades de 1/8 de pixel. (iii) 16 bits para representar el valor de disparidad. (a) Un intervalo de disparidad típico varía entre +80 y -150 píxeles. Esto por lo general, es suficiente en una pantalla de cuarenta pulgadas que tiene una resolución de 1920 o de 2048. (b) Con una exactitud de 1/8 de pixel, el intervalo está entre +640 y -1200 unidades, que se pueden representar por 11 bits +1 bit para el signo = 12 bits. (c) Para mantener el mismo efecto 3D en una pantalla de 8k (que tendrá aproximadamente cuatro veces la resolución horizontal de una pantalla que es de 1920 o de 2048 píxeles de ancho), típicamente se necesitan dos bits adicionales para codificar la disparidad: 12 + 2 = 14 bits. (d) Esto proporciona 2 bits para uso futuro.
Además, varias implementaciones que utilizan el formato anterior también proporcionan un mapa de disparidad densa. De este modo, para completar un mapa de disparidad densa para tales implementaciones, el formato de 16 bits anterior es provisto para cada ubicación de pixel en una imagen de video correspondiente.
La disparidad, y las variaciones de profundidad relacionadas, producen oclusiones entre las diferentes vistas de la pantalla. La Figura 5 muestra una vista 510 izquierda y una vista 520 derecha que se combinan en el cerebro del usuario, para producir una escena 530 3D. Cada una de la vista 510 izquierda y la vista 520 derecha, y la escena 530 3D contiene tres objetos, que incluye un cilindro 532 ancho, un óvalo 534, y un cilindro 536 delgado. Sin embargo, como se muestra en la Figura 5, dos de los tres objetos 532, 534 y 536 están en diferentes ubicaciones relativas en cada una de las vistas 510, 420 y la escena 530 3D. Esos dos objetos son el cilindro 532 ancho y el cilindro 536 delgado. El óvalo 534 está en la misma ubicación relativa en cada una de las vistas 510, 520 y la escena 5303DE: Las diferentes ubicaciones relativas producen oclusiones, como se explica a continuación. La vista 510 izquierda se muestra en una imagen 540 izquierda que también revela las áreas 545 y 548 ocluidas. Las áreas 545 y 548 ocluidas solamente son visibles en la vista 510 izquierda y no en la vista 520 derecha. Esto se debe a que (i) el área en la vista 520 derecha que corresponde al área 545 ocluida está cubierta por el cilindro 532 ancho y (ii) el área en la vista 520 derecha que corresponde al área 548 ocluida está cubierta por el cilindro 536 estrecho.
En forma similar, la vista 520 derecha se muestra en una imagen 550 derecha que también revela dos áreas 555 y 558 ocluidas. Las áreas 555 y 558 solamente son visibles en la vista 520 derecha y no en la vista 510 izquierda. Esto se debe a que (i) el área en la vista 510 izquierda que corresponde al área 555 ocluida está cubierta por el cilindro 532 ancho y (ii) el área en la vista 510 izquierda que corresponde al área 558 ocluida está cubierta por el cilindro 536 estrecho.
Dadas las oclusiones que existen en un par de imágenes estereoscópicas, es útil el proporcionar dos mapas de disparidad para un par de imágenes estereoscópicas. En tal ¡mplementación, un mapa de disparidad izquierdo es provisto para la imagen de video izquierda y un mapa de disparidad derecho es provisto para la imagen de video derecha. Se pueden utilizar algoritmos conocidos para designar valores de disparidad a las ubicaciones de pixel en cada imagen para los cuales no se pueden determinar valores de disparidad con el uso de un enfoque de vector de disparidad estándar. Las áreas de oclusión se puede entonces determinar al comparar los valores de disparidad izquierdo y derecho.
Como un ejemplo de comparar los valores de disparidad derecho e izquierdo, se debe considerar la imagen del ojo izquierdo y una imagen del ojo derecho correspondiente. Un pixel L está ubicado en una hilera N y tiene una coordenada XL horizontal en la imagen del ojo izquierdo. El pixel L se determina para tener un valor dL de disparidad. Un pixel R está ubicado en la hilera N de la imagen del ojo derecho correspondiente y tiene una coordenada horizontal más cercana XL + dL. El pixel R se determina para tener un valor dR de disparidad de aproximadamente "-dL". Entonces, con un alto grado de confianza, no hay oclusión en L o R debido a que las disparidades corresponden entre sí. Esto es, los píxeles L y T ambos apuntan entre sí, generalmente, con sus disparidades determinadas.
Sin embargo, cuando dR no es esencialmente la misma que -dL, entonces puede haber una oclusión. Por ejemplo, cuando dos valores de disparidad son esencialmente diferentes, después de contar el signo, entonces hay un alto grado de confianza de que hay una oclusión. La diferencia sustancial se indica, en una implementación, por | d L - d R | > 1. Además, cuando uno de los valores de disparidad (ya sea dR o dL) no está disponible, entonces generalmente hay un alto grado de confianza de que hay una oclusión. Un valor de disparidad puede no estar disponible debido a que, por ejemplo, el valor de disparidad no se puede determinar. La oclusión por lo general, se relaciona con una de las dos imágenes. Por ejemplo, la porción de la escena mostrada por el pixel asociado con la disparidad que tiene menor magnitud o mostrada por el pixel correspondiente al valor de disparidad no disponible, por lo general, se considera como ocluido en la otra imagen.
Una posibilidad para representar los valores de disparidad es utilizar un entero para representar el número de pixeles de disparidad para una ubicación de pixel determinada en una imagen de video. El valor de disparidad representa el número de pixeles de disparidad para una resolución horizontal particular de la imagen de video. El valor de disparidad depende, por lo tanto, en la resolución horizontal particular. Tal implementación es útil y puede ser efectiva.
Sin embargo, otras implementaciones requieren de la exactitud del sub-pixel en los valores de disparidad. Tales implementaciones, por lo general, utilizan número de punto flotante para representar los valores de disparidad para que las fracciones puedan ser incluidas en los valores de disparidad. Varias de estas implementaciones proporcionan valores de disparidad que son específicos para una resolución horizontal determinada. Estas implementaciones también son útiles y pueden ser efectivas.
Otras implementaciones representan los valores de disparidad como valores en porcentaje. Por lo tanto, en lugar de representar la disparidad como el número de pixeles, la disparidad se representa como un porcentaje de la resolución horizontal. Por ejemplo, cuando la disparidad para una ubicación de pixel determinada es diez pixeles, y la resolución horizontal es 1920, entonces el valor de disparidad en porcentaje es (10/1920)*100. Tales implementaciones también proporciona la exactitud de sub-pixel en la disparidad. Una representación de valor en porcentaje típicamente es una representación de punto flotante, mejor que una representación de entero. Por ejemplo, un pixel de disparidad en un despliegue que tiene una resolución horizontal de 1920 es 1/1920, que es 0.0005208 ó .5208%.
Además, tales valores de disparidad en porcentaje se pueden aplicar directamente en otras resoluciones horizontales. Por ejemplo, se supone que (i) una imagen de video que tiene una resolución horizontal de 1920; (ii) la imagen de video se transmite al domicilio del usuario; y (iii) el dispositivo de despliegue del usuario tiene una resolución horizontal de 1440. En este escenario, el dispositivo de despliegue del usuario (o el convertidor-codificador, o algún otro procesador o dispositivo de procesamiento) típicamente convierte la resolución horizontal de la imagen de video de 1920 a 1440, y también convierte los valores de disparidad para que los valores de disparidad correspondan a la resolución horizontal de 1440. La conversión se puede llevar a cabo, por ejemplo, al multiplicar el valor de disparidad en porcentaje por la resolución horizontal. Por ejemplo, cuando la disparidad en porcentaje para una ubicación de pixel determinada es ½%, y la resolución horizontal es 1920, entonces el valor de disparidad absoluto es ½*1920/100. Varias de estas implementaciones utilizan un solo valor de disparidad, que es un valor de disparidad en porcentaje, en la transmisión y en el almacenamiento de los valores de disparidad, sin considerar la resolución horizontal de la imagen de video y el mapa de disparidad. Tales implementaciones también son útiles, y por lo tanto, son efectivas.
Como se menciona antes, un sistema de transmisión puede utilizar una resolución horizontal en el formato de transmisión que es diferente de la resolución horizontal de la imagen de video. Además, un sistema receptor puede utilizar una diferente resolución horizontal para desplegar la imagen de video. De este modo, se puede requerir la conversión de una resolución horizontal a otra resolución horizontal. Tal conversión no solamente cambia la resolución de la imagen de video, sino que también requiere que los valores de disparidad sean ajustados. Tal conversión, por lo general, será requerida para los valores de disparidad absolutos, pero no para los valores de disparidad en porcentaje.
El siguiente ejemplo proporciona más detalles sobre ciertos intercambios entre varias implementaciones: (i) Una implementación formatea el valor de disparidad como un valor absoluto (número de pixeles) para una resolución de video determinada con una precisión de 1/8 de un pixel (por ejemplo, un objeto puede tener 10 pixeles de disparidad en un contenido de video que tiene 1920 pixeles horizontales). (ii) Existen muchas ventajas con tal sistema, incluyendo la simplicidad y la facilidad de manipulación. (¡ii) En tal sistema, se utilizan 11 bits: 8 bits para la parte entera para proporcionar hasta 255 pixeles de disparidad y 3 bits para la décima parte (para obtener la precisión o exactitud de 1/8). Se debe notar que el bit de signo también se puede utilizar o el sistema puede proporcionar valores de disparidad de +/- 127 pixeles. (¡v) Cuando la imagen de video necesita ser reformateada durante la transmisión, el mapa de disparidad se reformatea también, lo que posiblemente lleva a pérdida de información. Por ejemplo, con referencia a la Figura 6, la ¡mplementación utiliza un formato 610 nativo que tiene una resolución horizontal de 1920 y un formato 620 de transmisión que se muestra en descendente para tener una resolución horizontal de 1280 (o 1440 en otra implementación). La profundidad o el mapa de disparidad, como con la imagen de video, se filtra antes del sub-muestreo que típicamente lleva a pérdidas en los detalles de profundidad. La filtración ocurre en una operación 630 de filtración y de sub-muestreo. La operación de filtración y de sub-muestreo se aplican en las imágenes de video y en las imágenes de disparidad. (v) Además, el nuevo valor de disparidad se conviene y típicamente se altera. Por ejemplo, después de muestrear en descendente para reducir la resolución del mapa de disparidad (esto es, reducir el número de valores de disparidad), los valores de disparidad se convierten a la resolución del formato de transmisión. El valor de disparidad de 10 píxeles se vuelve en 6.6666 cuando pasa de 1920 a 1280. Esto resulta por ejemplo, en redondear el valor a 6.625 ya que la décima parte solamente puede ser un múltiplo de 0.125 (1/8). (vi) Después de la transmisión, cuando el despliegue es de 1920 píxeles de ancho, el valor de disparidad final será de 6.625 x 1920/1280 = 9.9375. El valor de 9.9375 representa alguna distorsión comparado con el valor original de 10. El valor de 9.9375 puede redondearse, disminuirse o acercarse al entero más cercano o al más cercano de 1/8, por ejemplo, lo que posiblemente crea pérdida de información. La pérdida será importante cuando el valor se redondea.
Una solución es utilizar una disparidad de porcentaje que puede ser común para todas las resoluciones horizontales. Tal implementación, antes descritas, tiene ventajas y desventajas. El uso de los valores de disparidad en porcentaje permite omitir la operación de conversión antes de la transmisión.
Otra solución es utilizar un valor entero que no es específico para ninguna resolución común. (Se debe notar que las imágenes típicamente se supone que han sido rectificadas en forma vertical, así como otro procesamiento. De conformidad con esto, típicamente es suficiente describir la disparidad en términos del desplazamiento horizontal). La solución propone definir una resolución de referencia (o resolución virtual) de 11,520 píxeles, que es referida en esta solicitud como el mínimo común múltiplo ("SCM") de varias resoluciones horizontales de TV estándar (720, 960, 1280, 1440, 1920). Se debe hacer notar que el SCM también es referido en varias referencias como "el mínimo común múltiplo".
Por lo menos una implementación en esta solución SCM tiene varias ventajas, incluyendo las siguientes (otras implementaciones no necesitan tener todas estas ventajas): (i) Debido a que el valor de disparidad es un entero, el determinar y almacenar el valor de disparidad es sencillo y el valor de disparidad se manipula y procesa fácilmente. (¡i) El valor de disparidad no es estrictamente absoluto pero tiene un aspecto relativo, y por lo tanto, es independiente de la resolución de video nativa. (iii) No se requiere de la décima parte. (iv) El valor de disparidad es como el porcentaje ya que es relativo e independiente de la resolución de video nativa. Sin embargo, el valor de disparidad es un entero, de modo que no hay necesidad aparente de codificar números complicados como 0.00868% para describir el valor mínimo de disparidad. El valor mínimo de disparidad es un pixel y 7/11,520 es 0.00868%. (v) No hay necesidad aparente para transcodificar el valor de disparidad durante el transporte debido a que el valor de disparidad se refiere a 11 ,520. (vi) Cuando los valores de disparidad con base en SCM llegan a por ejemplo, el convertidor-codificador ("STB"), el STB calcula la disparidad absoluta real para una resolución de video determinado al realizar una operación muy sencilla, tal como, por ejemplo: (a) Disparidad/6 para una resolución de 1920. (b) Disparidad/8 para una resolución de 1440. (c) Disparidad/9 para una resolución de 1280. (d) Disparidad/12 para una resolución de 980. (vii) La información de disparidad no se degrada durante el transporte siempre que no haya transcodificación, sin considerar los canales que son utilizados. (viii) Incluso para resoluciones más nuevas como 2k, 4k, 8k, la operación es de implementación sencilla, y se puede implementar fácilmente en una unidad de procesamiento del STB. Se debe hacer notar que 2k por lo general, se refiere a imágenes que tienen una resolución de pixel horizontal de 2048, 4k generalmente se refiere a 4096 y 8k generalmente se refiere a 8192. Las operaciones son, por ejemplo: (a) Disparidad x 8/45 para una resolución de 2048. (b) Disparidad x 16/45 para una resolución de 4096. (c) Disparidad x 32/45 para una resolución de 8192.
En la práctica, una o más implementaciones SCM (1) determinan los valores de disparidad para la resolución horizontal existente del contenido de video correspondiente; (2) convierten los valores de disparidad a la escala de 11,520 con una sencilla multiplicación y/o división para crear un valor de disparidad SCM; (3) almacenan y transmiten los valores de disparidad SCM sin la transcodificación; y (4) convierten los valores de disparidad SCM recibidos a la resolución del despliegue de salida con el uso de una sencilla multiplicación y/o división. Debido a que no hay transcodificación, esta solución por lo general no experimenta la pérdida de información (por ejemplo, pérdidas por redondeo) debido a la transcodificación. Se debe hacer notar que la resolución del mapa de disparidad no se cambia por el proceso anterior. Más bien, los valores de disparidad existentes (para la resolución existente) están a escala de modo que están en base de o reflejan una resolución de referencia (o resolución virtual) que es diferente de la resolución real.
Varias implementaciones crean valores de disparidad al llevar una sencilla operación matemática que es inversa a la antes descrita. Por ejemplo, para crear un valor de disparidad SCM, el valor de disparidad absoluto recibido se multiplica y/o divide por uno o dos enteros como sigue: (i) disparidad 1920 * 6 = disparidad SCM (ii) disparidad 1440 * 8 = disparidad SCM (iii) disparidad 1280 * 9 = disparidad SCM (iv) disparidad 960 * 12 = disparidad SCM (v) disparidad 2048 * 45/8 = disparidad SCM (vi) disparidad 4096 * 45/16 = disparidad SCM (vii) disparidad 8192 * 45/32 = disparidad SCM La Figura 7 proporciona más detalle del proceso de determinar el mínimo común múltiplo para varias resoluciones horizontales diferentes. Una columna 710 enlista las diferentes resoluciones horizontales. Una columna 720 enlista los menores factores de las resoluciones horizontales. Por ejemplo, 960 se factoriza en 26 * 3 * 5, en donde 26 es 2 elevado a la 6 potencia. De este modo, 960 = 64*3*5. También se debe hacer notar, que con respecto a la resolución horizontal de 1280, que 30 es igual 3 uno.
El mínimo común múltiplo de la primera de las cuatro resoluciones de 960, 1280, 1440 y 1920 es 28*32*5, que es 11,520. La resolución 11.520 se utiliza con las resoluciones 2k, 4k y 8k, al multiplicarse por una potencia apropiada de 2 y después dividirse por los factores 32 y 5, que no están presentes en 2k, 4k y 8k. Se debe hacer notar que el multiplicar por una potencia de 2 se lleva a cabo, en varias implementaciones, con el uso de una operación de desplazamiento izquierdo de los bits, mejor que una operación de multiplicación real. La Figura 7 incluye una columna 730 que proporciona la ecuación de conversión para convertir entre 11,520 y las diferentes resoluciones mostradas en la columna 610.
Las ecuaciones de conversión de la columna 630 se pueden utilizar para escalar los valores de disparidad con base en las resoluciones soportadas por los múltiples tamaños de despliegue común (el tamaño de despliegue se refiere al tamaño físico del despliegue, medido, por ejemplo, en pulgadas o centímetros). En el ejemplo de la Figura 6, los valores de disparidad de entrada que están con base, por ejemplo, en la resolución horizontal de 1920 se escalan por un factor de seis para convertir el valor de disparidad en un nuevo valor de disparidad que está con base en la resolución horizontal de 11,520. El nuevo valor de disparidad también está con base en las resoluciones horizontales de 960, 1280 y 1440, debido a que esas resoluciones se acomodan y se utilizan en determinar la resolución de 11,520.
Una implementación alternativa simplemente utiliza la resolución de disparidad de 11,520*25 =368,640. En esta implementación alternativa, no se necesita la multiplicación para convertir 368,640 de regreso a la resolución original.
El valor de 11,520 se utiliza para varias implementaciones. Sin embargo, se pueden utilizar otros valores en otras implementaciones. En una implementación, el valor 11,520 se duplica en 23.040. En una segunda implementación, el valor 368,640 se duplica a 737,280.
En forma alternativa, un juego diferente de resoluciones horizontales se utiliza en varias implementaciones, lo que resulta en un SCM diferente. Por ejemplo, en otra implementación solamente las resoluciones de salida de 1920 y de 1440 son de interés, y por lo tanto, la implementación utiliza un SCM de 5,760. Entonces, para generar valores de disparidad SCM; los valores de disparidad de la resolución 1920 se multiplican por un factor de 3, y los valores de disparidad de la resolución 1440 se multiplican por un factor de 4.
Se debe aclarar que varias implementaciones no son implementaciones SCM. Por ejemplo, incluso el valor 11,520 no es el SCM de todas las siete resoluciones enlistadas en la columna 710. Más bien, el valor 368,640 es el SCM. Sin embargo, las implementaciones descritas en esta solicitud son referidas generalmente como implementaciones SCM incluso cuando el valor de disparidad no es el mínimo común múltiplo de todas las resoluciones horizontales.
Se debe hacer notar que las implementaciones SCM proporcionan la exactitud de sub-pixel. Por ejemplo, para una resolución de 1920, los valores de disparidad utilizan un factor de 6 para convertir de/a la resolución 11,520, lo cual proporciona 1/6 de exactitud de pixel. Más específicamente, cuando el valor de disparidad con base en 11,520 es 83, entonces el valor de disparidad con base en 1920 es 13 5/6. Esto obviamente proporciona la exactitud de 1/6 de pixel. Esto proporciona varias ventajas en términos de calidad, así como un margen para futuras necesidades. Por ejemplo, cuando la resolución 1920 se reemplaza por la resolución 2k, los valores de disparidad con base en 11,520 todavía proporcionarán la exactitud de sub-pixel de la exactitud de pixel 8/45, que es un poco menos exacta que 1/6 (7.5/45) de pixel, pero aún más exacta que 1/5 (9/45) de pixel.
Por lo menos una implementación que utiliza la resolución SCM de 11,520 opera con un formato de dos bytes (dieciséis bits). Un intervalo típico de disparidad con frecuencia varías entre +80 y -150 píxeles en un despliegue de 1920 x 1080 (resolución). El multiplicar esos números por seis, produce un intervalo de +480 a -900 en la resolución de referencia de 11,520. Este intervalo de 1280 se puede representar por once bits (211 = 2048). Una implementación alternativa utiliza diez bits para representar el valor absoluto de la disparidad (el valor absoluto máximo de disparidad es 900) y un bit adicional para representar el signo.
Otra implementación conserva un bit al considerar el signo de la disparidad que está implícito. Por ejemplo, se codifica la disparidad de píxeles en una vista izquierda, junto con el signo de disparidad. Sin embargo, la disparidad de los píxeles correspondientes en una vista derecha correspondiente se supone que tiene el signo opuesto.
Otra implementación, con la capacidad de proporciona un mapa de disparidad denso por vista (vista izquierda y vista derecha) y así, reducir los problemas provocados por oclusiones, asigna un bit para indicar la vista a la cual corresponde el mapa de disparidad densa. Otra implementación proporciona una asociación implícita entre una imagen (ya sea imagen izquierda o imagen derecha) y un mapa de disparidad densa correspondiente, y por lo tanto no necesita asignar un bit para esta información. Las variaciones en estas implementacíones utilizan uno o más bits adicionales para introducir otros tipos de mapas o imágenes. Una implementación utiliza dos bits para indicar sí el mapa es (i) un mapa de disparidad de la imagen izquierda; (¡i) un mapa de disparidad de imagen derecha; (iií) un mapa de oclusión o (iv) un mapa de transparencia. Una ¡mplementación tiene un formato de dieciséis bits y utiliza 11 bits para indicar un intervalo de -900 a +480, y dos bits para indicar el tipo de mapa y deja tres bits sin usar.
La Figura 8 ¡lustra un diagrama en bloque/de flujo de la operación de una o más implementaciones. La Figura 8 también ilustra algunos de los intercambios entre diferentes implementaciones.
La Figura 8 incluye una cadena 810 de procesamiento, que procesa el video. Una imagen de video 811 tiene una resolución horizontal de 1920. Sin embargo, el formato de transmisión de la cadena 810 de procesamiento tiene una resolución horizontal de 1280. De conformidad con esto, la imagen 811 de video es filtrada y muestreada en descendente en una operación 812 para producir una imagen 813 de video que tiene una resolución horizontal de 1280. La filtración y el muestreo descendente se llevan a cabo juntos en la cadena 810 de procesamiento. Otras implementaciones llevan a cabo la filtración y el muestreo descendente en forma separada. La filtración se utiliza por ejemplo, para filtrar de paso bajo la imagen 811 de video con el objetivo de evitar el copiado cuando la imagen 811 de video es muestreada en descendente. La imagen 813 de video se conduce en una operación de transmisión y/o de almacenamiento 814.
Un lado receptor de la cadena 810 tiene acceso a la imagen 815 de video recibida, que puede ser la misma o similar o diferente a la imagen 813 de video. Por ejemplo, en una implementación, la imagen 815 de video es una versión almacenada de la imagen 813 de video. Además, en otra implementación, la imagen 815 de video representa una versión reconstruida de la imagen 813 de video después de las operaciones de codificación y decodificación de fuente (no mostradas). Además, en otra implementación, la imagen 815 de video representa una versión corregida de error de la imagen 813 de video después de las operaciones de codificación de codificación y decodificación de canal (incluyendo la corrección de error) (no mostradas). La imagen 815 de video se procesa en una operación 816 de muestreo ascendente para producir una imagen 817 de video que tiene la resolución horizontal de 1920, como la imagen 811 de video original.
La Figura 8 también incluye una cadena 820 de procesamiento que procesa las imágenes de disparidad correspondientes a las imágenes de video procesadas en la cadena 810. Una imagen 821 de disparidad tiene una resolución horizontal de 1920, e incluye valores de disparidad de valor entero con base en una resolución de 11,520. Se debe hacer notar que la imagen de disparidad se refiere en general a cualquier acumulación de información de disparidad, tal como por ejemplo, un mapa de disparidad densa, un mapa de disparidad muestreada en descendente, o un mapa de disparidad esparcida. Además, el mapa de disparidad puede corresponder por ejemplo, a una imagen, un cuadro, un campo, una rebanada, un macrobloque, una división o alguna otra colección de información de disparidad.
Sin embargo, el formato de transmisión de la cadena 820 de procesamiento tiene una resolución horizontal de 1280. De conformidad con esto, la imagen 821 de disparidad se filtra y se muestrea en descendente en la operación 822 para producir una imagen 823 de disparidad que tiene una resolución horizontal de 1280. La filtración y el muestreo descendente se llevan a cabo juntos en la cadena 820 de procesamiento. Otras implementaciones llevan a cabo la filtración y el muestreo descendente en forma separada. La filtración se utiliza por ejemplo, para filtrar de paso bajo los valores de disparidad de la imagen 821 de disparidad con el objetivo de evitar el copiado cuando la imagen 821 de disparidad se muestrea en descendente.
Los valores de disparidad de la imagen 823 de disparidad son valores enteros. Esto se puede alcanzar en varias formas. En una implementacion, el resultado de las operaciones de filtración y de muestreo descendente se rendondean al entero más cercano. En otra implementacion, cualquier porción fraccionada simplemente se descarta. Otra implementacion utiliza la representación del punto flotante para los valores de disparidad de la imagen 823 de disparidad. Se debe hacer notar que los valores de disparidad todavía están con base en una resolución de 11,520 incluso después de que la filtración y el muestreo descendente produce una resolución para la imagen 823 de disparidad de 1280.
La imagen 823 de disparidad se conduce a una operación de transmisión y/o de almacenamiento 824. Un lado receptor de la cadena 820 accesa a la imagen 825 de disparidad recibida. La imagen 825 de disparidad puede ser la misma, similar o diferente de la imagen 823 de disparidad. Por ejemplo, en una implementacion, la imagen 825 de disparidad es una versión almacenada de la imagen 823 de disparidad. Además, en otra implementacion, la imagen 825 de disparidad representa una versión reconstruida de la imagen 823 de disparidad desees de las operaciones de codificación y decodificación de fuente (no mostradas). Además, en otra implementación, la imagen 825 de despliegue representa una versión corregida de la imagen 823 de disparidad después de las operaciones de codificación y decodificación de canal (incluyendo la corrección de error) (no mostradas). Los valores de disparidad en la imagen 825 de disparidad permanecen como enteros, sin embargo, por ejemplo, se utiliza el redondeo cuando sea necesario.
La imagen 825 de disparidad se procesa en una operación 826 de muestreo ascendente para producir una imagen 827 de disparidad que tiene una resolución horizontal de 1920, como la imagen 821 de disparidad original. La operación 826 produce valores enteros para la imagen 827 de disparidad, con el uso de por ejemplo, el redondeo o el truncado.
Los valores de disparidad de la imagen 827 de disparidad se convierten, en una operación de conversión 828, de estar con base en una resolución de 11,520 a una resolución de 1920. La operación 828 de conversión divide cada valor de disparidad entre seis, como se explica antes. La operación 828 de conversión produce una imagen 829 de disparidad. Los valores de disparidad de la imagen 829 de disparidad están representados como números de punto flotante con el fin de conservar la exactitud del sub-pixel.
Se debe dejar claro que la cadena 820 de procesamiento incluye por lo menos otras ventajas importantes. En primer lugar, los valores de disparidad son enteros a través de la cadena 820 hasta que se proporciona la imagen 829 de disparidad final. En segundo lugar, los valores de disparidad reales no se transcodifican, a pesar del hecho de que la resolución horizontal del formato de transmisión es diferente a la resolución horizontal del mapa 821 de disparidad nativo. De este modo, los valores de disparidad se pueden aplicar como una variedad de diferentes resoluciones horizontales.
Un sistema receptor entonces procesa la imagen 817 de video, con el uso de la imagen 829 de disparidad. El procesamiento puede incluir, como se explica antes, ajustar los efectos 3D, colocar los sub-títulos, insertar gráficos y realizar efectos visuales.
La Figura 8 también ilustra una cadena 830 de procesamiento para propósitos de comparación. La cadena 830 de procesamiento también procesa las imágenes de disparidad correspondientes a las imágenes de video procesadas en la cadena 810. La cadena 830 de procesamiento es una alternativa para la cadena 820 de procesamiento. Debe ser claro que la cadena 830 completa no se muestra con el fin de simplificar la Figura 8, como será explicado más adelante.
Una imagen 831 de disparidad tiene una resolución horizontal de 1920, e incluye valores de disparidad con base en porcentaje que tiene una respuesta de punto flotante. Sin embargo, el formato de transmisión de la cadena 830 de procesamiento tiene una resolución horizontal de 1280. De conformidad con esto, la imagen 831 de disparidad se filtra y se muestrea en descendente en una operación 832 para producir una imagen 833 de disparidad que tiene una resolución horizontal de 1280. la operación 832 puede ser análoga, por ejemplo, a la operación 812 u 822 de filtración y de muestreo descendente. Los valores de disparidad con base en porcentaje en la imagen 833 de disparidad continúan siendo representados en un formato de punto flotante.
El resto de la cadena 830 de procesamiento (no mostrado) es un espejo de la cadena 820 de procesamiento. La imagen 833 de disparidad se conduce a la operación de transmisión y/o de almacenamiento. Un lado receptor de la cadena 830 tiene acceso a la imagen de disparidad recibida. La imagen de disparidad recibida se muestrea en ascendente a una resolución horizontal de 1920, y después, los valores de disparidad se convierten de estar con base en porcentaje a una resolución de 1920. La operación de conversión es una multiplicación de los tiempos 1920 de porcentaje, como se explica antes. Sin embargo, al contrario de la cadena 820 de procesamiento, los valores de disparidad de las imágenes de disparidad en la cadena 830 de procesamiento siempre se representan en un formato de punto flotante.
La Figura 8 también ilustra una cadena 840 de procesamiento para propósitos de comparación. La cadena 840 de procesamiento también procesa las imágenes de disparidad correspondientes a las imágenes de video procesadas en la cadena 810. La cadena 840 de procesamiento es una alternativa para la cadena 820 de procesamiento. Debe ser claro que la cadena 840 completa no se muestra con el fin de simplificar la Figura 8, como será descrito después.
La imagen 841 de disparidad tiene una resolución horizontal de 1920, e incluye valores de despliegue con base en la resolución 1920 y tiene una representación de punto flotante. Sin embargo, el formato de transmisión de la cadena 840 de procesamiento tiene una resolución horizontal de 1280. De conformidad con esto, la imagen de disparidad 841 se filtra y se muestra en descendente en una operación 842 para producir una imagen 843 de despliegue que tiene una resolución horizontal de 1280. La operación 842 puede ser análoga, por ejemplo, a la operación 812, 822 u 823 de filtración y de muestreo descendente. Los valores de despliegue de la imagen 843 de disparidad continúan siendo representados en un formato de punto flotante.
Los valores de disparidad de la imagen 843 de disparidad entonces se convierten, en una operación 850 de conversión para producir una imagen 860 de disparidad. La operación 850 de conversión convierte los valores de disparidad de estar con base en la resolución horizontal de 1920 a de estar con base en una resolución horizontal de 1280. Los valores de despliegue de la imagen 860 de despliegue continúan siendo representados en un formato de punto flotante.
El resto de la cadena 840 de procesamiento (no mostrada) es un espejo de la cadena 820 de procesamiento. La imagen 860 de disparidad se conduce a una operación de transmisión y/o de almacenamiento. El lado receptor de la cadena 840 tiene acceso a la imagen de disparidad recibida. La imagen de disparidad recibida se muestrea en ascendente a una resolución horizontal de 1920, y entonces, los valores de despliegue se convierten de estar con base en una resolución de 1280 a estar con base en una resolución de 1920. La operación de conversión involucra multiplicar los valores de despliegue por 1920/1280. Al igual que con la cadena 830 de procesamiento, y al contrario de la cadena 820 de procesamiento, los valores de disparidad de las imágenes de disparidad en la cadena 840 de procesamiento siempre son representados en un formato de punto flotante.
En otra implementación de la cadena 840 de procesamiento, la operación 850 de conversión no se realiza. De este modo, los valores de disparidad de la imagen 843 de disparidad permanecen como valores de disparidad que están con base en una resolución horizontal de 1920. sin embargo, la resolución horizontal de la imagen 843 de disparidad permanece como 1280. De este modo, esta implementación evita la conversión antes de la transmisión, y posiblemente, evita la re-conversión después de la recepción o recuperación. El evitar la conversión y la reconversión también evita redondear errores en por lo menos algunas implementaciones. Esta implementación, asi como otras implementaciones en esta solicitud tiene ventajas que son muy útiles. Sin embargo, los valores de disparidad están representados con números de punto flotante a través de la implementación.
Con referencia ahora a la Figura 9, se muestra un sistema o aparato 900 de transmisión de video, en el cual se pueden aplicar las características y principios aquí descritos. El sistema o aparato 900 de transmisión de video por ejemplo, puede ser un sistema de transmisión o de extremo superior para transmitir una señal que utiliza cualquier variedad de medios, tal como por ejemplo, satélite, cable, línea telefónica, o transmisión terrestre. El sistema o aparato 900 de transmisión de video también, o alternativamente, puede utilizarse por ejemplo, para proporcionar una señal para su almacenamiento. La transmisión puede ser provista a través de la Internet o de alguna otra red. El sistema o aparato 900 de transmisión de video tiene la capacidad de generar y entregar, por ejemplo, contenido de video y otro contenido, tal como, por ejemplo, indicadores de la profundidad que incluyen, por ejemplo, los valores de profundidad y/o de disparidad. Debe ser claro que los bloques de la Figura 9 proporcionan un diagrama de flujo de un proceso de transmisión de video, además de proporcionar un diagrama en bloque de un sistema o aparato de transmisión de video.
El sistema o aparato 900 de transmisión de video recibe el video de entrada desde un procesador 901. En una implementación, el procesador 901 simplemente proporciona las imágenes de resolución original, tal como las imágenes 821, 831, 841 de disparidad y/o la imagen 811 de video al sistema o aparato 900 de transmisión de video. Sin embargo, en otra implementación, el procesador 901 es un procesador configurado para llevar a cabo la filtración y el muestreo descendente, por ejemplo, como se describe antes con respecto a las operaciones 812, 822, 842 para producir imágenes tales como la imagen 813 de video y/o las imágenes 823, 833, 843 de disparidad. En otra implementación, el procesador 901 está configurado para llevar a cabo la conversión de disparidad, tal como por ejemplo, la operación 850 para producir una imagen de disparidad de los valores de disparidad convertidos, tal como por ejemplo, la imagen 860 de disparidad. El procesador 901 también puede proporcionar metadatos al sistema o aparato 900 de transmisión de video, que indican, por ejemplo, la resolución horizontal de la imagen de entrada. La resolución horizontal en la cual se basan los valores de disparidad, ya sea que los valores de disparidad estén con base en porcentaje o en un mínimo común múltiplo y otra información que describe una o más de las imágenes de entrada.
El sistema o aparato 900 de transmisión de video incluye un codificador 902 y un transmisor 904 con la capacidad de transmitir una señal codificada. El codificador 902 recibe la información de video desde el procesador 901. La información de video puede incluir por ejemplo, imágenes de video y/o imágenes de disparidad (o profundidad). El codificador 902 genera las señales codificadas con base en la información de video y/o la información de disparidad. El codificador 902 por ejemplo, puede ser un codificador AVC. El codificador AVC se puede aplicar en la información de video y de disparidad. El AVC se refiere a la Organización Internacional para la Codificación de Video Avanzado (AVC) Parte 10, del Grupo de Expertos de Imágenes en Movimiento (MPEG-4) de la Comisión Electrotécnica Internacional/Estandarización, de la Unión de Telecomunicación Internacional/estándar, Sector Telecomunicación (ITU-T), Recomendación H.264 (De aquí en adelante, la norma "H.264/MPEG-4 AVC" o variaciones de la misma, tal como la norma "AVC!, la norma "H.264" o simplemente la norma "AVC" o "H.264").
El codificador 902 puede incluir sub-módulos que incluyen, por ejemplo, una unidad de montaje para recibir y ensamblar las diferentes piezas de información en un formato con estructura para su almacenamiento o transmisión. Las diferentes piezas de información pueden incluir, por ejemplo, video codificado o no codificado, valores de disparidad codificados o no codificados (o de profundidad) y elementos codificados o no codificados tales, como por ejemplo, vectores de movimiento, indicadores de modo de cadena, y elementos de sintaxis. En algunas ¡mplementaciones, el codificador 902 incluye al procesador 901 y por lo tanto, lleva a cabo las operaciones del procesador 901.
El transmisión 904 recibe las señales codificadas desde el codificador 902 y transmite las señales codificadas en una o más señales de salida. El transmisor 904 por ejemplo, puede adaptarse para transmitir una señal de programa que tiene una o más corrientes de bits que representan imágenes codificacas y/o información relacionada con la misma. Los transmisores típicos llevan a cabo funciones tales como, por ejemplo, una o más de la codificación de corrección de error, entrelazar los datos en la señal, aleatorizar la energía en la señal, y modular la señal en uno o más portadores con el uso del modulador 906. El transmisor 904 puede incluir o tener una ¡nterfaz como, una antena (no mostrada). Además, las ¡mplementaciones del transmisor 904 se pueden limitar al modulador 906.
El sistema de transmisión de video o aparato 900 también está acoplado en comunicación con una unidad 908 de almacenamiento. En una implementacíón, la unidad 908 de almacenamiento está acoplada con un codificador 902, y la unidad 908 de almacenamiento almacena una corriente de bits codificada desde el codificador 902. En otra implementacíón, la unidad 908 de almacenamiento está acoplada con el transmisor 904 y almacena una corriente de bits desde el transmisor 904. La corriente de bits desde el transmisor 904 puede incluir por ejemplo, una o más corrientes de bits codificadas que ya han sido también procesadas por el transmisor 904. la unidad 906 de almacenamiento es ¡mplementaciones diferentes, una o más de un DVD estándar, un disco Blu-Ray, un disco duro o algún otro medio de almacenamiento.
Con referencia ahora a la Figura 10, se muestra el sistema o aparato 1000 de recepción de video con el cual se pueden aplicar las características y principios antes descritos. El sistema o aparato 1000 de recepción de video se puede configurar para recibir señales sobre una variedad de medios, tal como por ejemplo, satélite, cable, línea telefónica, o transmisión terrestre. Las señales pueden ser recibidas sobre la Internet o sobre alguna otra red. Debe ser claro que los bloques de la Figura 10 proporcionan un diagrama de flujo de un proceso de recepción de video, además de proporcionar un diagrama en bloque de un sistema o aparato de recepción de video.
El sistema o aparato 1000 de recepción de video puede ser por ejemplo, un teléfono celular,, una computadora, un convertidor-codificador, una televisión u otro dispositivo que recibe video y proporciona por ejemplo, la señal de video decodificada para su disparidad (despliegue para el usuario, por ejemplo) para su procesamiento o almacenamiento. De este modo, el sistema o aparato 1000 de recepción de video puede proporcionar su salida a por ejemplo, una pantalla de una televisión, un monitor de computadora, una computadora (para el almacenamiento, procesamiento o despliegue) o algún otro almacenamiento, procesamiento o dispositivo de despliegue.
El sistema o aparato 1000 de recepción de video tiene la capacidad de recibir y procesar información de video, y la información de video puede incluir por ejemplo, imágenes de video, y/o imágenes de disparidad (o de profundidad). El sistema o aparato 1000 de recepción de video incluye un receptor 1002 para recibir una señal codificada, tal como por ejemplo, las señales descritas en las implementaciones de esta solicitud. El receptor 1002 puede recibir, por ejemplo, una señal que proporciona una o más de las imágenes 815 de video y/o la imagen 825 de disparidad o una salida de señal desde el sistema 900 de transmisión de video de la Figura 9.
El receptor 1002 por ejemplo, se puede adaptar para recibir una señal de programa que tiene una pluralidad de corrientes de bits que representan las imágenes codificadas. Los receptores típicos llevan a cabo funciones tales como por ejemplo, una o más de recibir una señal de los datos codificados y modulados, demodular la señal de datos desde uno o más portadores con el uso de un demodulador 1004, des-aleatorizar la energía en la señal, desentrelazar los datos en la señal, y decodificar por corrección de error la señal. El receptor 1002 puede incluir o puede realizar una interfaz con una antena (no mostrada). Las implementaciones del receptor 1002 pueden estar limitadas al demodulador 1004.
El sistema o aparato 1000 receptor de video incluye un decodificador 1006. El receptor 1002 proporciona una señal recibida al decodificador 1006. La señal provista al decodificador 1006 por el receptor 1002 puede incluir una o más corrientes de bits codificadas. El decodificador 1006 emite una señal decodificada tal como por ejemplo, la señal de video decodificada que incluye la información de video. El decodificador 1006 por ejemplo, puede ser un decodificador AVC.
El sistema o aparato 1000 de recepción de video también está acoplado en comunicación con una unidad 1007 de almacenamiento. En una implementación, la unidgd 1007 de almacenamiento está acoplada con un receptor 1002, y el receptor 1002 tiene acceso a una corriente de bits desde la unidad 1007 de almacenamiento. En otra implementación, la unidad 1007 de almacenamiento está acoplada con el decodificador 1006, y el decodificador 1006 tiene acceso a la corriente de bits desde la unidad 1007 de almacenamiento. La corriente de bits accesada desde la unidad 1007 de almacenamiento incluye, en diferentes implementaciones, una o más corrientes de bits codificadas. La unidad 1007 de almacenamiento, en una implementación diferente, es uno o más de un DVD estándar, un disco Blu-Ray, un disco duro o algún otro dispositivo de almacenamiento.
El video de salida desde el decodificador 1006 en una implementación, es provisto a un procesador 1008. El procesador 1008 en una implementación, es un procesador configurado para llevar a cabo el muestreo ascendente tal como el descrito por ejemplo, con respecto a las operaciones 816 y/u 826 de muestreo ascendente. En algunas implementaciones, el decodificador 1006 incluye al procesador 1008 y por lo tanto, lleva a cabo las operaciones del procesador 1008. En otras implementaciones, el procesador 1008 es parte de un dispositivo corriente abajo, tal como por ejemplo, un convertidor-codificador o una televisión.
Se debe notar que por lo menos una implementación utiliza un bit adicional para permitir generar 2 mapas de disparidad. Un primer mapa de disparidad se computa con respecto a la vista "izquierda" y el segundo mapa de disparidad se computa con respecto a la vista "derecha". Debido a que los objetos quedan ocultos, el tener dos mapas de disparidad permite al manejo mejorado de oclusiones. Por ejemplo, al comparar los valores de disparidad correspondientes, el sistema puede determinar si existe una oclusión, y si es así, entonces lleva las etapas de llenar el hueco resultante. Las implementaciones adicionales proporcionan más mapas de disparidad: y asignan un número apropiado de bits para acomodar el número de mapas de disparidad. Por ejemplo, en un contexto de múltiples vistas, tal como MVC (que se refiere a AVC con una extensión MVC (Anexo G)), puede ser deseable transmitir un juego de mapas de disparidad que muestra la disparidad calculada desde cada vista para cada otra vista. En forma alternativa, una implementación puede solamente transmitir los mapas de disparidad con respecto al sub-grupo de vistas. Los mapas de disparidad se pueden calcular, por ejemplo, en una manera similar a calcular los vectores de movimiento. En forma alternativa, la disparidad se puede calcular a partir de los valores de profundidad, como es conocido y se describe antes.
Varias implementaciones también tienen ventajas que resultan del uso de los valores de disparidad en lugar de valores de profundidad. Tales ventajas pueden incluir: (1) valores de disparidad que están unidos, mientras que los valores de despliegue pueden ser infinitos y así, los valores de profundidad son más difíciles de representar/codificar; (2) los valores de disparidad se pueden representar directamente, mientras que el escalado logarítmico puede ser necesario para representar los valores de profundidad potencialmente muy altos. Además, por lo general, es sencillo determinar la profundidad a partir de la disparidad. Los metadatos están incluidos en varias implementaciones para proporcionar información tal como la longitud focal, la distancia de la línea de base (longitud) y el plano de distancia de convergencia. La distancia del plano de convergencia es la distancia a la cual intersecan los ejes de la cámara cuando las cámaras están convergentes. El punto en el cual intersecan los ejes de la c mara se puede observar en la Figura 4 como el vórtice del ángulo 410. Cuando las cámaras son paralelas, la distancia del plano de convergencia es una distancia infinita.
De este modo, se proporcionan una o más implementaciones que tienen características y aspectos particulares. En particular, se proporcionan varias implementaciones relacionadas con mapas de disparidad densa. Los mapas de disparidad densa pueden permitir una variedad de aplicaciones, tales como por ejemplo, un ajuste del efecto 3D relativamente complejo en un dispositivo del consumidor y una colocación de sub-títulos relativamente sencilla en la post-producción. Sin embargo, las variaciones de estas implementaciones y aplicaciones adicionales se contemplan y se encuentran dentro de nuestra descripción y las características y aspectos de las implementaciones descritas se pueden adaptar en otras implementaciones.
Se debe hacer notar que el intervalo de +80 a -150 píxeles, para uno o más tamaños de despliegues particulares, se utiliza en por lo menos una de las implementaciones anteriores. Sin embargo, en otras implementaciones incluso para tamaños de despliegue particular, se utiliza un diferente intervalo de disparidad el cual varía los valores finales del intervalo y/o el tamaño del intervalo en sí. En una ¡mplementación, una presentación de un parque temático utiliza una disparidad negativa más severa (por ejemplo, para mostrar objetos que están más cerca a la mitad de la pantalla) para un efecto más dramático. En otras implementaciones, un dispositivo profesional ofrece el soporte a un intervalo más amplio de disparidad que un dispositivo del consumidor.
Varias implementaciones y características descritas en esta solicitud se pueden utilizar en el contexto de la norma AVC, y/o la norma AVC con la extensión MVC (Anexo H), y/o AVC con una extensión SVC (Anexo G). Además, estas implementaciones y características se pueden utilizar en el contexto de otra norma (existente o futura) o en un contexto que no involucre una norma.
La referencia a "una modalidad" o "la modalidad" o "una implementación" o "la implementación" de los presentes principios, así como otras variaciones de las mismas, significan que una característica, estructura y demás escritas en conexión con la modalidad está incluida en por lo menos una modalidad de los presentes principios. De este modo, la aparición de la frase "en una modalidad" o "en la modalidad" o "en una implementación" o "en la implementación" así como otras variaciones que aparecen en varios lugares a través de la especificación no se refieren necesariamente a la misma modalidad.
Además, esta solicitud o sus reivindicaciones se pueden referir a "determinar" en cierta información. El determinar la información puede incluir uno o más de, por ejemplo, estimar la información, calcular la información, pronosticar la información o recuperar la información desde una memoria.
Se debe entender que un despliegue determinado puede dar soporte a múltiples resoluciones diferentes. Por lo tanto, el despliegue determinado puede tener la capacidad de desplegar contenido de video que tiene una resolución de por ejemplo, 1280, 1440 ó 1920. No obstante, el despliegue determinado con frecuencia, es referido como un despliegue de 19020 ya que la resolución más alta soportada es de 1920. Cuando un despliegue grande despliega una imagen de menor resolución, los elementos individuales de la imagen pueden comprender múltiples píxeles. Por ejemplo, cuando un despliegue puede soportar una resolución horizontal de 800 y 1920, entonces el despliegue típicamente es de por lo menos 1920 píxeles de ancho. Cuando el despliegue está desplegando una imagen de una resolución de 800, es posible que el despliegue asigne por lo menos una porción de tres o más píxeles a cada elemento de la imagen.
Varias implementaciones utilizan las representaciones del punto flotante de los valores de disparidad. Las variaciones particulares de tales implementaciones utilizan representaciones de punto fijo de los valores de disparidad en lugar de representaciones de punto flotante.
Se debe apreciar que el uso de cualquiera de los siguientes 7", "y/o" y "por lo menos uno de", por ejemplo, en los casos de "A/B", "A y/o B" y "por lo menos uno de A y B", tiene la intención de abarcar la selección de la primera opción enlistada (A) solamente, o la selección de la segunda opción enlistada (B) solamente, o la selección de ambas opciones (A) y (B). Como otro ejemplo, en los casos de "A, B y/o C", y "por lo menos uno de A, B y C" y "por lo menos uno de A, B o C", tales frases tienen la intención de abarcar la selección de la primera opción enlistada (A) solamente, o la selección de la segunda opción enlistada (B) solamente, o la selección de la tercera opción enlistada (C) solamente o la selección de la primera y segunda opciones enlistadas (A y B) solamente o la selección de la primera y tercera opciones enlistadas (A y C) solamente o la selección de la segunda y tercera opciones enlistadas (B y C) solamente o la selección de las tres opciones (A y B y C). Esto se puede ampliar, como será evidente para las personas experimentadas en la técnica, para los artículos enlistados.
Además, muchas implementaciones se pueden implementar en uno o más de un codificador (por ejemplo, el codificador 902), un decodificador (por ejemplo, el decodificador 1006), un post-procesador (por ejemplo, el procesador 1008), que procesa la salida desde el decodificador o un pre-procesador (por ejemplo, el procesador 901) que proporciona la entrada al codificador. Además, otras implementaciones se contemplan en esta descripción .
Las implementaciones aquí descritas se pueden implementar por ejemplo, en un método o un proceso, un aparato, un programa de software, una corriente de datos, o una señal. Incluso cuando solamente se describa en el contexto de una sola forma de ¡mplementación (por ejemplo, descrita solamente como un método), la ¡mplementación de las características descritas se pueden también implementar en otras formas (por ejemplo, un aparato o un programa). Un aparato se puede implementar en por ejemplo, un hardware apropiado, software o firmware apropiado. Los métodos se pueden implementar, por ejemplo, en un aparato tal como un procesador, el cual se refiere a dispositivos de procesamiento en general, incluyendo por ejemplo, una computadora, un microprocesador, un circuito integrado, un dispositivo lógico programable.
Los procesadores también incluyen dispositivos de comunicación tal como por ejemplo, computadoras, teléfonos celulares, asistentes digitales portátiles/personales ("PDA") y otros dispositivos que facilitan la comunicación de información entre los usuarios finales.
Las implementaciones de los diferentes procesos y características aquí descritas pueden incorporarse en una variedad de diferente equipo o aplicaciones, en particular, por ejemplo, equipo o aplicaciones asociados con la codificación de datos, decodificación de datos, generación de vistas, procesamiento de profundidad o disparidad y otro procesamiento de imágenes y mapas de profundidad y/o profundidad relacionados. Los ejemplos de tal equipo incluyen un codificador, un decodificador, un postprocesador que procesa la salida desde el decodificador, un pre-procesador que proporciona la entrada a un codificador, un codificador de video, un decodificador de video, un codee de video, un servidor de red, un convertidor-codificador, una computadora portátil, un teléfono celular, un PDA, y otros dispositivos de comunicación. Debe quedar claro que el equipo puede ser móvil o se puede instalar en un vehículo móvil.
Además, los métodos se pueden implementar por instrucciones llevadas a cabo por un procesador y tales instrucciones (y/o valores de datos producidos por una implementacíón) se pueden almacenar en un medio legible por el procesador, tal como por ejemplo, un circuito integrado, un portador de software u otro dispositivo de almacenamiento, tal como por ejemplo, un disco duro, un disco compacto ("CD"), un disco óptico (tal como por ejemplo, un DVD; con frecuencia referido como un disco versátil digital o un disco de video digital), una memoria de acceso aleatorio ("RAM") o una memoria de solamente lectura ("ROM"). Las instrucciones pueden formar un programa de aplicación incorporado tangiblemente en un medio legible por el procesador. Las instrucciones pueden estar en el hardware, firmware, software o en cualquier combinación. Las instrucciones se pueden encontrar por ejemplo, en un sistema operativo, una aplicación separadas o una combinación de los dos. Un procesador se puede caracterizar, por lo tanto, como un dispositivo configurado para llevar a cabo un proceso y un dispositivo que incluye un medio legible por el procesador (tal como un dispositivo de almacenamiento) que tiene instrucciones para llevar a cabo el proceso. Además, el medio legible por el procesador puede almacenar, además o en lugar de las instrucciones, valores de datos producidos por una implementación .
Como será evidente para las personas experimentadas en la técnica, las implementaciones pueden producir una variedad de señales formateadas para llevar información, que por ejemplo, se puede almacenar o transmitir. La información puede incluir por ejemplo, instrucciones para llevar a cabo un método, o datos producidos por una de las implementaciones descritas. Por ejemplo, una señal puede estar formateada para llevar como datos, las reglas para escribir o leer la sintaxis de una modalidad descrita o para llevar como daos, los valores reales de la sintaxis escritas por una modalidad descrita. Tal señal se puede formatear, por ejemplo, como una onda electromagnética (por ejemplo, con el uso de una porción de radio frecuencia del espectro) o como una señal de banda de base. El formateo puede incluir, por ejemplo, codificar una corriente de datos y modular un portador con la corriente de datos codificada. La información que lleva la señal por ejemplo, puede ser información análoga o digital. La señal se puede transmitir sobre una variedad de enlaces cableados o inalámbricos, como es conocido. La señal se puede almacenar en un medio legible por el procesador.
Se han descrito varias implementaciones. Sin embargo, se debe entender que se pueden realizar varias modificaciones. Por ejemplo, los elementos de diferentes implementaciones se pueden combinar, complementar, modificar o removerse para producir otras implementaciones. Además, las personas experimentadas en la técnica podrán comprender que se pueden sustituir otras estructuras y procesos diferentes a las descritas y las implementaciones resultantes realizarán por lo menos la misma función, en esencialmente la misma forma, para alcanzar esencialmente los mismos resultados, que las implementaciones descritas. De conformidad con esto, estas y otras implementaciones son contempladas por esta solicitud.

Claims (37)

REIVINDICACIONES
1. Un método caracterizado porque comprende: tener acceso a un valor de disparidad para una ubicación particular en una imagen, el valor de disparidad indica la disparidad con respecto a la resolución particular; y modificar el valor de disparidad accesado con base en múltiples resoluciones para producir un valor de disparidad modificado.
2. El método de conformidad con la reivindicación 1, caracterizado porque modificar comprende escalar el valor de disparidad accesado por un factor que está con base en múltiples resoluciones.
3. El método de conformidad con las reivindicaciones 1 ó 2, caracterizado porque las múltiples resoluciones corresponden a resoluciones soportadas por un despliegue estándar.
4. El método de conformidad con cualquiera de las reivindicaciones 1 a la 3, caracterizado porque modificar comprende escalar el valor de disparidad accesado con base en un múltiplo común de las múltiples resoluciones.
5. El método de conformidad con la reivindicación 4, caracterizado porque el múltiplo común es el mínimo común múltiplo de las múltiples resoluciones.
6. El método de conformidad con cualquiera de las reivindicaciones 4 a 5, caracterizado porque el múltiplo común es 11,520.
7. El método de conformidad con cualquiera de las reivindicaciones 1 a la 6, caracterizado porque el valor de disparidad modificado indica la disparidad con respecto a una resolución no estándar que es considerablemente más grande que cualquier resolución de un despliegue estándar.
8. El método de conformidad con la reivindicación 7, caracterizado porque la resolución no estándar es diferente de cada una de las múltiples resoluciones.
9. El método de conformidad con cualquiera de 1 a la 8, caracterizado porque la imagen tiene una resolución particular.
10. El método de conformidad con cualquiera de 1 a la 9, caracterizado porque el valor de disparidad modificado es un entero.
11. El método de conformidad con la reivindicación 10, caracterizado porque el entero proporciona una exactitud sub-pixel en la disparidad para múltiples resoluciones.
12. El método de conformidad con la reivindicación 11, caracterizado porque el entero proporciona la exactitud en la disparidad que es más exacta que ¼ de pixel.
13. Un aparato caracterizado porque comprende uno o más procesadores configurados colectivamente para llevar a cabo: tener acceso a un valor de disparidad para una ubicación particular en una imagen, el valor de disparidad indica la disparidad con respecto a una resolución particular; y modificar el valor de disparidad accesado con base en múltiples resoluciones para producir un valor de disparidad modificado.
14. El aparato de conformidad con la reivindicación 13, caracterizado porque además comprende una memoria para almacenar un valor de disparidad modificado.
15. Un aparato caracterizado porque comprende: un medio para tener acceso a un valor de disparidad para una ubicación particular en una imagen, el valor de disparidad indica la disparidad con respecto a la resolución particular; y un medio para modificar el valor de disparidad accesado con base en múltiples resoluciones para producir un valor de disparidad modificado.
16. Un medio legible por un procesador que tiene instrucciones almacenadas en el mismo para provocar que uno o más procesadores colectivamente lleven a cabo: tener acceso a un valor de disparidad para una ubicación particular en una imagen, el valor de disparidad indica la disparidad con respecto a una resolución particular; y modificar el valor de disparidad accesado con base en múltiples resoluciones para producir un valor de disparidad modificado.
17. Un aparato caracterizado porque comprende: un procesador configurado para: tener acceso a un valor de disparidad para una ubicación particular en una imagen, el valor de disparidad indica la disparidad con respecto a una resolución particular; y modificar el valor de disparidad accesado con base en múltiples resoluciones para producir un valor de disparidad modificado; y un modulador configurado para modular una señal con datos que indica el valor de disparidad modificado.
18. Una señal formateada para incluir información, la señal está caracterizada porque comprende: una porción de disparidad que incluye un valor de disparidad para una ubicación particular en una imagen, la imagen tiene una resolución particular y el valor de disparidad indica la disparidad con respecto a otra resolución que es diferente de la resolución particular y que está con base en múltiples resoluciones.
19. Una estructura de señal caracterizada porque comprende: una porción de disparidad que incluye un valor de disparidad para una ubicación particular en una imagen, la imagen tiene una resolución particular y el valor de disparidad indica la disparidad con respecto a otra resolución que es diferente de la resolución particular y que está con base en múltiples resoluciones.
20. Un medio legible por un procesador que tiene almacenada una estructura de señal en el mismo, la estructura de señal está caracterizada porque comprende: una porción de disparidad que incluye un valor de disparidad para una ubicación particular en una imagen, la imagen tiene una resolución particular y el valor de disparidad indica la disparidad con respecto a otra resolución que es diferente de la resolución particular y que está con base en múltiples resoluciones.
21. Un método caracterizado porque comprende: tener acceso a un valor de disparidad para una ubicación particular en una imagen, la imagen tiene una resolución particular, y el valor de disparidad indica la disparidad con respecto a otra resolución que es diferente de la resolución particular y que está con base en múltiples resoluciones; y modificar el valor de disparidad accesado para producir un valor de disparidad modificado que indica la disparidad con respecto a la resolución particular.
22. El método de conformidad con la reivindicación 21, caracterizado porque modificar comprende escalar el valor de disparidad accesado por un factor que está con base en múltiples resoluciones.
23. El método de conformidad con cualquiera de las reivindicaciones 21 a 22, caracterizado porque las múltiples resoluciones corresponden a las resoluciones soportadas por un despliegue estándar.
24. El método de conformidad con cualquiera de las reivindicaciones 21 a la 23, caracterizado porque modificar comprende escalar el valor de disparidad accesado con base en un múltiplo común de las múltiples resoluciones.
25. El método de conformidad con la reivindicación 24, caracterizado porque el múltiplo común es el mínimo común múltiplo de las múltiples resoluciones.
26. El método de conformidad con cualquiera de las reivindicaciones 24 y 25, caracterizado porque el múltiplo común es 11,520.
27. El método de conformidad con cualquiera de las reivindicaciones 21 a la 26, caracterizado porque la otra resolución es una resolución no estándar que es considerablemente más grande que cualquier resolución de un despliegue estándar.
28. El método de conformidad con la reivindicación 27, caracterizado porque la resolución no estándar es diferente de cada una de las múltiples resoluciones.
29. El método de conformidad con cualquiera de las reivindicaciones 21 a la 28, caracterizado porque el valor de disparidad accesado es un entero.
30. El método de conformidad con cualquiera de las reivindicaciones 21 a la 29, caracterizado porque el valor de disparidad modificado es un entero.
31. El método de conformidad con la reivindicación 29, caracterizado porque el entero produce una exactitud de sub-pixel en la disparidad para las múltiples resoluciones.
32. El método de conformidad con la reivindicación 31, caracterizado porque el entero proporciona una exactitud en la disparidad que es más exacta que ¼ de pixel.
33. Un aparato caracterizado porque comprende uno o más procesadores colectivamente configurados para llevar a cabo: tener acceso a un valor de disparidad para una ubicación particular en una imagen, la imagen tiene una resolución particular, y el valor de disparidad indica la disparidad con respecto a una resolución particular y que está con base en las múltiples resoluciones; y modificar el valor de disparidad accesado para producir un valor de disparidad modificado que indica la disparidad con respecto a la resolución particular.
34. El aparato de conformidad con la reivindicación 33, caracterizado porque además comprende una memoria para almacenar un valor de disparidad modificado.
35. Un aparato caracterizado porque comprende: un medio para tener acceso a un valor de disparidad para una ubicación particular en una imagen, la imagen tiene una resolución particular y el valor de disparidad indica la disparidad con respecto a otra resolución que es diferente de la resolución particular y que está con base en múltiples resoluciones; y un medio para modificar el valor de disparidad accesado para producir un valor de disparidad modificado que indica la disparidad con respecto a la resolución particular.
36. Un medio legible por un procesador que tiene instrucciones almacenadas en el mismo para provocar que uno o más procesadores colectivamente lleven a cabo: tener acceso a un valor de disparidad para una ubicación particular en una imagen, la imagen tiene una resolución particular y el valor de disparidad indica la disparidad con respecto a otra resolución que es diferente de la una resolución particular y que está con base en múltiples resoluciones; y modificar el valor de disparidad accesado para producir un valor de disparidad modificado que indica la disparidad con respecto a la resolución particular.
37. Un aparato caracterizado porque comprende: un demodulador para demodular una señal que incluye datos que indican un valor de disparidad para una ubicación particular en una imagen, la imagen tiene una resolución particular y el valor de disparidad indica la disparidad con respecto a otra resolución que es diferente de la resolución particular y que está con base en múltiples resoluciones; y un procesador configurado para modificar el valor de disparidad accesado para producir un valor de disparidad modificado que indica la disparidad con respecto a la resolución particular.
MX2012011134A 2010-03-31 2011-03-31 Mapas de disparidad 3d. MX340111B (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US31956610P 2010-03-31 2010-03-31
US39741810P 2010-06-11 2010-06-11
PCT/IB2011/000708 WO2011121437A1 (en) 2010-03-31 2011-03-31 3d disparity maps

Publications (2)

Publication Number Publication Date
MX2012011134A true MX2012011134A (es) 2012-11-12
MX340111B MX340111B (es) 2016-06-27

Family

ID=44246501

Family Applications (1)

Application Number Title Priority Date Filing Date
MX2012011134A MX340111B (es) 2010-03-31 2011-03-31 Mapas de disparidad 3d.

Country Status (11)

Country Link
US (1) US10791314B2 (es)
EP (1) EP2553933B1 (es)
JP (1) JP6073214B2 (es)
KR (1) KR101825761B1 (es)
CN (2) CN102934451B (es)
AU (1) AU2011234163B2 (es)
BR (1) BR112012024955B1 (es)
CA (1) CA2795021C (es)
HK (1) HK1182245A1 (es)
MX (1) MX340111B (es)
WO (1) WO2011121437A1 (es)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2553933B1 (en) 2010-03-31 2018-10-24 Thomson Licensing 3d disparity maps
WO2012023168A1 (ja) * 2010-08-19 2012-02-23 パナソニック株式会社 立体映像撮像装置および立体映像撮像方法
TWI475515B (zh) * 2011-04-13 2015-03-01 Univ Nat Taiwan 產生立體影片之深度圖的方法
JP6005731B2 (ja) * 2011-05-26 2016-10-12 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ スケール非依存マップ
KR20140120000A (ko) * 2013-04-01 2014-10-13 한국전자통신연구원 3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법
US9460855B2 (en) * 2013-10-01 2016-10-04 Samsung Electro-Mechanics Co., Ltd. Multilayer ceramic capacitor and board having the same
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
KR101882931B1 (ko) * 2014-07-10 2018-07-30 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그의 디스패리티 측정 방법
CN105323573B (zh) * 2014-07-16 2019-02-05 北京三星通信技术研究有限公司 三维图像显示装置和方法
TWI556624B (zh) * 2014-07-18 2016-11-01 友達光電股份有限公司 影像顯示方法以及影像顯示裝置
CN105491277B (zh) * 2014-09-15 2018-08-31 联想(北京)有限公司 图像处理方法和电子设备
JP6205069B2 (ja) * 2014-12-04 2017-09-27 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像化システム及び方法
CN107431797B (zh) 2015-04-23 2019-10-11 奥斯坦多科技公司 用于全视差光场显示系统的方法和装置
WO2016172385A1 (en) 2015-04-23 2016-10-27 Ostendo Technologies, Inc. Methods for full parallax compressed light field synthesis utilizing depth information
US10448030B2 (en) 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US20180350038A1 (en) 2017-06-02 2018-12-06 Ostendo Technologies, Inc. Methods and Systems for Light Field Compression With Residuals
US11051039B2 (en) 2017-06-02 2021-06-29 Ostendo Technologies, Inc. Methods for full parallax light field compression
US10432944B2 (en) 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
CN107436500B (zh) * 2017-08-25 2020-04-24 京东方科技集团股份有限公司 光栅及制备方法、驱动方法、裸眼三维显示系统
US10931956B2 (en) * 2018-04-12 2021-02-23 Ostendo Technologies, Inc. Methods for MR-DIBR disparity map merging and disparity threshold determination
US11172222B2 (en) 2018-06-26 2021-11-09 Ostendo Technologies, Inc. Random access in encoded full parallax light field images
US20200314411A1 (en) * 2019-03-29 2020-10-01 Alibaba Group Holding Limited Synchronizing an illumination sequence of illumination sources with image capture in rolling shutter mode
US11182630B2 (en) 2019-03-29 2021-11-23 Advanced New Technologies Co., Ltd. Using an illumination sequence pattern for biometric authentication

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5025325A (en) * 1989-10-13 1991-06-18 Hewlett-Packard Company Graphics scaling method for high resolution printers
JPH0818954A (ja) * 1994-06-24 1996-01-19 Sharp Corp 画像伝送装置
US5926567A (en) * 1995-03-01 1999-07-20 Compaq Computer Corporation Method and apparatus for storing and rapidly displaying graphic data
CN1132123A (zh) 1995-03-25 1996-10-02 国营无锡市新峰石化管件厂 短半径弯头加工工艺
KR100414629B1 (ko) 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
JPH11127339A (ja) * 1997-10-23 1999-05-11 Fuji Xerox Co Ltd 画像処理装置
US7092003B1 (en) 1999-01-21 2006-08-15 Mel Siegel 3-D imaging arrangements
TW421969B (en) 1999-03-19 2001-02-11 Asustek Comp Inc 3D image processing device and method
JP2000321050A (ja) 1999-05-14 2000-11-24 Minolta Co Ltd ３次元データ取得装置および３次元データ取得方法
US20020145610A1 (en) 1999-07-16 2002-10-10 Steve Barilovits Video processing engine overlay filter scaler
TW452757B (en) 1999-08-17 2001-09-01 Trumpion Microelectronics Inc Image processing device in accordance with the resolution adjustment of flat panel display
JP2001306287A (ja) * 2000-04-25 2001-11-02 Ricoh Co Ltd 異機種間代行印刷システム
JP3736379B2 (ja) * 2001-04-19 2006-01-18 ソニー株式会社 電子透かし埋め込み処理装置、電子透かし検出処理装置、および電子透かし埋め込み処理方法、電子透かし検出処理方法、並びにプログラム記憶媒体、およびプログラム
US6873717B2 (en) * 2002-07-09 2005-03-29 Riverain Medical Group, Llc Input/output interface for computer aided diagnosis (CAD) system
KR100439341B1 (ko) 2002-08-27 2004-07-07 한국전자통신연구원 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
JP4251907B2 (ja) * 2003-04-17 2009-04-08 シャープ株式会社 画像データ作成装置
KR100768837B1 (ko) 2003-04-17 2007-10-19 샤프 가부시키가이샤 3차원 화상 작성 장치, 3차원 화상 재생 장치, 3차원 화상 처리 장치, 3차원 화상 처리 프로그램을 기록한 기록 매체
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
US20050132191A1 (en) 2003-12-16 2005-06-16 Joshi Ajit P. Method for authenticating different rendering devices with different service providers
CN101048803B (zh) 2004-10-26 2011-04-13 皇家飞利浦电子股份有限公司 一种计算输出差异图的方法、器件及相应设备
KR100636221B1 (ko) 2005-01-29 2006-10-19 삼성전자주식회사 컨텐츠를 선택하여 재생/기록하는 방법 및 그 장치
KR100727940B1 (ko) 2005-06-22 2007-06-14 삼성전자주식회사 통신 채널을 이용한 3ｄ 입체 영상의 화질 조정 방법
KR100667810B1 (ko) * 2005-08-31 2007-01-11 삼성전자주식회사 ３ｄ 영상의 깊이감 조정 장치 및 방법
JP2009516447A (ja) 2005-11-17 2009-04-16 ノキア コーポレイション ３次元画像データを生成、転送および処理するための方法および装置
US7738712B2 (en) 2006-01-04 2010-06-15 Aten International Co., Ltd. Mixing 2-D gradient-difference and interpolation/decimation method and device for scaling a digital image
US8044994B2 (en) * 2006-04-04 2011-10-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for decoding and displaying 3D light fields
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
US7609906B2 (en) 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
KR20090071624A (ko) 2006-10-04 2009-07-01 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 개선
KR101311896B1 (ko) 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
US20080136819A1 (en) * 2006-12-11 2008-06-12 Michael Shivas Apparatus and method for screen scaling displays on communication devices
JP4936869B2 (ja) * 2006-12-12 2012-05-23 株式会社東芝 画像処理装置及び画像処理方法
JP4909063B2 (ja) 2006-12-28 2012-04-04 キヤノン株式会社 撮像装置及び画像記録方法
KR20080076628A (ko) 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
KR100778085B1 (ko) 2007-03-14 2007-11-22 주식회사 이시티 주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
JP5299734B2 (ja) * 2007-07-30 2013-09-25 Ｎｌｔテクノロジー株式会社 画像処理方法、画像表示装置及びそのタイミングコントローラ
US8390674B2 (en) 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
WO2009083863A1 (en) 2007-12-20 2009-07-09 Koninklijke Philips Electronics N.V. Playback and overlay of 3d graphics onto 3d video
KR101510099B1 (ko) 2008-01-11 2015-04-08 삼성전자주식회사 디지털 영상 처리 장치에서 다중 심도를 가진 3차원 메뉴디스플레이 방법
CN101680756B (zh) * 2008-02-12 2012-09-05 松下电器产业株式会社 复眼摄像装置、测距装置、视差算出方法以及测距方法
JP2009238117A (ja) 2008-03-28 2009-10-15 Toshiba Corp 多視差画像生成装置および方法
JP4870120B2 (ja) 2008-05-16 2012-02-08 株式会社Ｊｖｃケンウッド 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム
US8571354B2 (en) 2008-09-25 2013-10-29 Tomtom Global Content B.V. Method of and arrangement for blurring an image
JP2010098479A (ja) * 2008-10-15 2010-04-30 Sony Corp 表示装置、表示方法及び表示システム
JP5235604B2 (ja) 2008-10-20 2013-07-10 キヤノン株式会社 画像処理装置および画像処理方法
RU2546546C2 (ru) 2008-12-01 2015-04-10 Аймакс Корпорейшн Способы и системы для представления трехмерных изображений движения с адаптивной к содержимому информацией
CN104065950B (zh) 2008-12-02 2016-06-15 Lg电子株式会社 3d字幕显示方法和设备以及发送3d字幕的方法和设备
TW201101839A (en) 2009-06-26 2011-01-01 Liao Li Shi System for encoding video and method, system for decoding video and method, system for displaying video and method
KR101678968B1 (ko) 2009-08-21 2016-11-25 에스케이텔레콤 주식회사 참조 픽처 보간 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US8374463B1 (en) * 2010-01-06 2013-02-12 Marseille Networks, Inc. Method for partitioning a digital image using two or more defined regions
EP2553933B1 (en) 2010-03-31 2018-10-24 Thomson Licensing 3d disparity maps
GB2479784B (en) 2010-04-23 2012-11-07 Nds Ltd Image scaling
US9035939B2 (en) 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
JP6005731B2 (ja) 2011-05-26 2016-10-12 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ スケール非依存マップ
BR112014014349A2 (pt) 2011-12-15 2017-06-13 Thomson Licensing método e aparelho para medição da qualidade de vídeo

Also Published As

Publication number Publication date
CN102934451A (zh) 2013-02-13
JP6073214B2 (ja) 2017-02-01
AU2011234163B2 (en) 2015-10-29
AU2011234163A1 (en) 2012-10-11
CN106131531A (zh) 2016-11-16
BR112012024955A2 (pt) 2016-07-12
JP2013524608A (ja) 2013-06-17
KR20130088012A (ko) 2013-08-07
CN102934451B (zh) 2016-10-05
CA2795021A1 (en) 2011-10-06
CA2795021C (en) 2020-06-16
US20130010057A1 (en) 2013-01-10
EP2553933B1 (en) 2018-10-24
MX340111B (es) 2016-06-27
EP2553933A1 (en) 2013-02-06
CN106131531B (zh) 2019-04-26
WO2011121437A1 (en) 2011-10-06
BR112012024955B1 (pt) 2021-12-07
KR101825761B1 (ko) 2018-03-22
HK1182245A1 (zh) 2013-11-22
US10791314B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
AU2011234163B2 (en) 3D disparity maps
EP2715661B1 (en) Scale-independent maps
US10055814B2 (en) Image processing device and image processing method
RU2554465C2 (ru) Комбинирование 3d видео и вспомогательных данных
EP2553932B1 (en) Disparity value indications
KR20090007384A (ko) 다중 뷰들의 효율적인 인코딩 방법
US10122986B2 (en) Image processing device and image processing method
US20150062296A1 (en) Depth signaling data

Legal Events

Date Code Title Description
FG Grant or registration