MX2015004381A - Metodo y aparato para procesamiento de fenomeno de violacion de borde en servicio de television en tercera dimension multivistas. - Google Patents

Metodo y aparato para procesamiento de fenomeno de violacion de borde en servicio de television en tercera dimension multivistas.

Info

Publication number
MX2015004381A
MX2015004381A MX2015004381A MX2015004381A MX2015004381A MX 2015004381 A MX2015004381 A MX 2015004381A MX 2015004381 A MX2015004381 A MX 2015004381A MX 2015004381 A MX2015004381 A MX 2015004381A MX 2015004381 A MX2015004381 A MX 2015004381A
Authority
MX
Mexico
Prior art keywords
image
information
edge
view
violation
Prior art date
Application number
MX2015004381A
Other languages
English (en)
Other versions
MX345274B (es
Inventor
Jeehyun Choe
Jongyeul Suh
Original Assignee
Lg Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lg Electronics Inc filed Critical Lg Electronics Inc
Publication of MX2015004381A publication Critical patent/MX2015004381A/es
Publication of MX345274B publication Critical patent/MX345274B/es

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware

Abstract

Un método para recibir una señal de difusión de imagen 3D para procesar violación de borde en una imagen 3D multivistas comprende los pasos de: recibir una señal de difusión para difundir la imagen 3D multivistas; decodificar a partir de la señal de difusión recibida primeros datos de imagen izquierda y primeros datos de imagen derecha que se incluyen en la imagen 3D de una primera vista; analizar a partir de la señal de difusión recibida información de procesamiento de imagen 3D; generar segundos datos de imagen izquierda y/o segundos datos de imagen derecha que se incluyen en una imagen 3D de una segunda vista, usando los primeros datos de imagen izquierda, los primeros datos de imagen derecha y la información de procesamiento de imagen 3D; analizar información de función de detección de área de violación de borde 3D incluida en los datos de procesamiento de imagen 3D; y manejar violación de borde del área usando la información de función de detección de área de violación de borde 3D.

Description

METODO Y APARATO PARA PROCESAMIENTO DE FENOMENO DE VIOLACION DE BORDE EN SERVICIO DE TELEVISIÓN EN TERCERA DIMENSIÓN MULTIVISTAS Campo téenico de la invención La presente invención se refiere a un método de procesamiento de una señal de difusión digital que incluye una imagen 3D multivistas y un aparato para el mismo, y muy particularmente, a un método de procesamiento o de evitación de un fenómeno de violación de borde, que ocurre en una colindancia izquierda/derecha de cada imagen de punto de vista en el curso de proveer un servicio de imagen 3D multivistas, y un aparato para el mismo.
Antecedentes de la invención A medida que la diseminación de una televisión en tercera dimensión (TV 3D) va teniendo más éxito, la transmisión de contenidos de imagen 3D transmitidos por difusión digital asi como la diseminación de los contenidos de imagen 3D realizados por un medio de almacenamiento son impulsadas.
En general, una imagen 3D provee un efecto 3D que usa un principio de visión estereoscópica de dos ojos. Puesto que un ser humano siente perspectiva a través de paralaje de los dos ojos, en otras palabras, paralaje binocular debido a un espacio entre los ojos separados uno del otro por aproximadamente 65 mm, la imagen 3D puede proveer el efecto 3D y la perspectiva de una manera que provee una imagen, que hace que un ojo izquierdo y un ojo derecho vean una imagen plana relacionada, respectivamente.
El método de visualización de imagen 3D incluye una téenica estereoscópica, una técnica volumétrica, una técnica holográfica y similares. En el caso de la técnica estereoscópica, provee una imagen de vista izquierda supuesta para ser mirada por un ojo izquierdo y una imagen de vista derecha supuesta para ser mirada por un ojo derecho. La técnica estereoscópica permite que un humano reconozca un efecto de imagen 3D de una manera que haga que el ojo izquierdo y el ojo derecho miren la imagen de vista izquierda e imagen de vista derecha, respectivamente, usando lentes polarizados o un dispositivo de visualización mismo.
En el caso del contenido de imagen 3D estereoscópico, si dos imágenes similares que tienen puntos de vista diferentes una de la otra son transmitidas, la técnica estereoscópica usa una técnica en la que un receptor visualiza una imagen 3D usando las dos imágenes. Cuando la imagen 3D es visualizada por el receptor, ocurre paralaje binocular debido a disparidad entre una imagen izquierda y una imagen derecha. Al hacer eso, se puede proveer una imagen Cuando se provee una imagen 3D, un objeto de disparidad negativa, que está configurado para saltar al lado frontal de una pantalla (a un lado del televidente), debido a paralaje binocular de acuerdo con cada contenido, una escena dentro del contenido, o un cuadro, puede colgar en el borde izquierdo y el borde derecho de la pantalla. En este caso, ocurre una diferencia entre una profundidad reconocida por paralaje binocular y una profundidad reconocida por un bisel de borde de pantalla y un usuario puede sentir una profundidad distorsionada.
Este fenómeno se denomina violación de borde. Debido al fenómeno de violación de borde, un televidente puede sentir fatiga visual y puede ser difícil que el televidente mire normalmente el contenido. Actualmente, un receptor de imagen 3D no tiene un proceso separado capaz de procesar la violación de borde.
En particular, en el caso de una imagen 3D multivistas, un aspecto de una violación de borde puede variar de acuerdo con cada punto de vista. Actualmente, no hay un método capaz de resolver la violación de borde de varios aspectos.
En un ambiente de difusión 3D multivistas, la inconveniencia y distorsión de diferentes niveles que resulta de la violación de borde puede ocurrir de acuerdo con cada uno de los puntos de vista 3D. Sin embargo, un receptor de TV 3D actual no tiene un método capaz de procesar el fenómeno de distorsión que ocurre de acuerdo con cada uno de los puntos de vista 3D.
En particular, cuando una imagen es incluida en pares de imágenes estereoscópicas (par de vistas) diferentes una de otra de una manera que es duplicada, un método de transmitir contenido, que es realizada por una estación de difusión con anticipación de prevenir un fenómeno de distorsión debido a la violación de borde de que ocurra, no es aplicable.
Descripción de la invención Tarea téenica Una tarea técnica de la presente invención es resolver el problema antes mencionado. De manera más especifica, una tarea técnica de la presente invención es resolver de manera eficaz una violación de borde de varios aspectos que pueden ocurrir en caso de proveer un servicio de difusión de imagen 3D multivistas.
Solución técnica Para lograr estas y otras ventajas y de acuerdo con el propósito de la presente invención, como se representa y se describe ampliamente, de conformidad con una modalidad, un método de recepción de una señal de difusión de imagen 3D multivistas, que procesa violación de borde en imagen 3D multivistas, incluye los pasos de recibir una señal de difusión para un difusión de imagen 3D multivistas, decodificar primeros datos de imagen izquierda y primeros datos de imagen derecha incluidos en una imagen 3D de un primer punto de vista a partir de la señal de difusión recibida, analizar información de procesamiento de imagen 3D de la señal de difusión recibida, generar por lo menos uno o más de datos entre segundos datos de imagen izquierda y segundos datos de imagen derecha incluidos en una imagen 3D de un segundo punto de vista usando los primeros datos de imagen izquierda, los primeros datos de imagen derecha y la información de procesamiento de imagen 3D, analizar la información de función de detección de área de violación de borde 3D incluida en información de procesamiento de imagen 3D, extraer un área de violación de borde que ocurre en la imagen 3D del segundo punto de vista usando la información de función de detección de área de violación de borde 3D y manejar la violación del borde del área, y desplegar la imagen 3D del primer punto de vista y la imagen 3D del segundo punto de vista.
Preferiblemente, la información de función de detección de área de violación de borde 3D incluye información de tipo de función que identifica un tipo de función usado para extraer el área de la violación de borde y la información de coeficiente que indica un valor de coeficiente usado para una función identificada.
Preferiblemente, la información de procesamiento de imagen 3D además incluye información de ubicación de una cámara que se espera que capture la segunda imagen izquierda y la segunda imagen derecha e información que indique un área de violación de borde de la imagen 3D del primer punto de vista.
Preferiblemente, la información de procesamiento de imagen 3D además incluye información de manejo de borde que incluye información sobre violación de borde capaz de que ocurra en una imagen 3D de uno o más puntos de vista generados por un receptor.
Preferiblemente, la información de manejo de borde incluye información sobre el número de pixeles de un área de violación de borde que existe en una imagen izquierda incluida en la imagen 3D del por lo menos uno o más puntos de vista e información sobre el número de pixeles de un área de violación de borde que existe en una imagen derecha incluida en la imagen 3D de por lo menos uno o más puntos de vista.
Preferiblemente, la información de manejo de borde además incluye información que designa un método de manejo de la violación de borde que existe en la imagen izquierda y la imagen derecha incluidas en la imagen 3D de los por lo menos uno o más puntos de vista.
Preferiblemente, la información de manejo de borde además incluye información que identifica una disparidad mínima de la imagen 3D de los por lo menos uno o más puntos de vista después de la violación de borde que existe en la imagen izquierda y la imagen derecha incluidas en la imagen 3D de los por lo menos uno o más puntos de vista es manejada.
Preferiblemente, la información de procesamiento de imagen 3D es transmitida a través de un mensaje de SEI (información de incremento complementario).
Preferiblemente, la información de procesamiento de imagen 3D es transmitida a través de un PMT (tabla de mapa de programas), una VCT (tabla de canales virtuales) y EIT (tabla de información de eventos) o una SDT (tabla de descripción de servicios).
Para lograr además estas y otras ventajas y de conformidad con el propósito de la presente invención, de conformidad con una modalidad diferente, un método de recepción de una señal de difusión de imagen 3D multivistas, que procesa violación de borde en imagen 3D multivistas, incluye los pasos de recibir una señal de difusión para un difusión de imagen 3D multivistas, decodificar primeros datos de imagen izquierda y primeros datos de imagen derecha incluidos en una imagen 3D de un primer punto de vista a partir de la señal de difusión recibida, analizar información de procesamiento de imagen 3D de la señal de difusión recibida, generar por lo menos uno o más de datos entre segundos datos de imagen izquierda y segundos datos de imagen derecha incluidos en una imagen 3D de un segundo punto de vista usando los primeros datos de imagen izquierda, los primeros datos de imagen derecha y la información de procesamiento de imagen 3D, en donde el paso de generar los por lo menos uno o más datos entre los segundos datos de imagen los segundos datos de imagen izquierda y los segundos datos de imagen derecha incluidos en la imagen 3D del segundo punto de vista incluye los pasos de mapear pixeles incluidos en la imagen 3D del primer punto de vista a la imagen 3D del segundo punto de vista y extraer un área de violación de borde que ocurre en la imagen 3D del segundo punto de vista del proceso de mapeo, manejar la violación de borde de la imagen 3D del segundo punto de vista y visualizar la imagen 3D del primer punto de vista y la imagen 3D del segundo punto de vista.
Preferiblemente, la información de procesamiento de imagen 3D incluye información en un parámetro de cámara de una cámara que captura la imagen 3D del primer punto de vista y el paso de generar los por lo menos uno o más datos entre los segundos datos de imagen izquierda y los segundos datos de imagen derecha incluidos en la imagen 3D del segundo punto de vista genera los por lo menos uno o más datos entre los segundos datos de imagen izquierda y los segundos datos de imagen derecha incluidos en la imagen 3D del segundo punto de vista usando la información en el parámetro de cámara.
Preferiblemente, el paso de extraer el área de la violación de borde que ocurre en la imagen 3D del segundo punto de vista respectivamente detecta pixeles incluidos en una imagen izquierda y una imagen derecha de la imagen 3D del segundo punto de vista y detecta un área en la cual un pixel que existe en la imagen izquierda mientras no existe en la imagen derecha o un pixel que existe en la imagen derecha mientras no existe en la imagen izquierda se incluye como el área de violación de borde.
Efectos ventajosos De conformidad con la presente invención, en un caso de mirar una imagen 3D multivistas, es capaz de manejar una violación de borde para cada punto de vista.
De conformidad con la presente invención, es capaz de realizar manejo de borde en una imagen 3D de un punto de vista no transmitido por un extremo de transmisión.
De conformidad con la presente invención, un receptor puede realizar manejo de borde aunque un extremo de transmisión no provee información (información de violación de borde) necesaria para realizar el manejo borde.
Descripción de los dibujos La figura 1 es un diagrama para un método de visualización de una imagen 3D multivistas de conformidad con una modalidad de la presente invención; La figura 2 es un diagrama para una violación de borde de conformidad con una modalidad de la presente invención; La figura 3 es un diagrama para un método de procesamiento de una violación de borde de conformidad con una modalidad de la presente invención; La figura 4 es un diagrama para un método de procesamiento de una violación de borde de conformidad con una modalidad diferente de la presente invención; La figura 5 es una tabla para una estructura de señalización de info de procesamiento de visualización 3D a través de un mensaje de SEI (información de incremento complementario) de conformidad con una modalidad de la presente invención; La figura 6 es una tabla para sintaxis de info de procesamiento de visualización 3D de conformidad con una modalidad de la presente invención; La figura 7 es una tabla para sintaxis de elemento de info() de manejo de borde 3D de conformidad con una modalidad de la presente invención; La figura 8 es una tabla para elemento de información de función de detector de área de violación de borde 3D (infoO de función EVAD 3D) de conformidad con una modalidad de la presente invención; La figura 9 es un diagrama para un caso de señalización de información de manejo de borde de conformidad con una modalidad de la presente invención; La figura 10 es un diagrama para un caso de señalización de una función relevante para permitir que un extremo receptor deduzca información de manejo de borde en una imagen 3D virtual de conformidad con una modalidad de la presente invención; La figura 11 es un diagrama para fórmula usada para un receptor mismo para realizar manejo de violación de borde sin una señalización separada de conformidad con una modalidad de la presente invención; La figura 12 es un diagrama para un caso de realizar manejo de violación de borde realizado por un receptor mismo sin una señalización separada de conformidad con una modalidad de la presente invención; La figura 13 es un diagrama para un receptor de imagen 3D multivistas de conformidad con una modalidad de la presente invención.
Mejor modo Ahora se hará referencia en detalle a las modalidades preferidas de la presente invención, ejemplos de los cuales se ilustran en los dibujos anexos. Sin embargo, la presente invención puede no ser limitada o restringida por las modalidades.
Aunque las terminologías usadas en la presente especificación se seleccionan a partir de terminologías generales usadas actualmente y ampliamente en consideración de funciones, se pueden cambiar de acuerdo con las intenciones de los téenicos e implicados en los campos correspondientes, costumbres, surgimientos de nuevas tecnologías y similares. Ocasionalmente, algunas terminologías pueden ser seleccionadas arbitrariamente por el solicitante (s). En este caso, los significados de las terminologías arbitrariamente seleccionadas se describirán en la parte correspondiente de la descripción detallada de la especificación. Por lo tanto, las terminologías usadas en la presente especificación no necesitan considerarse basadas en los significados sustanciales de las terminologías correspondientes y las materias generales descritas en la presente especificación en vez de considerarse como simples nombres de las terminologías.
El método de expresión para una imagen tridimensional puede incluir una técnica estereoscópica que considera dos puntos de vista y una técnica de imagen de vistas múltiples (o una técnica de multivistas) que considera más de 3 puntos de vista. De manera comparable, una téenica de imagen de vista individual convencional puede denominarse una técnica de imagen monoscópica.
La técnica estereoscópica usa un par de imagen, es decir, una imagen de vista izquierda (en lo sucesivo, una imagen izquierda) y una imagen de vista derecha (en lo sucesivo una imagen derecha) obtenida por fotografía de un mismo sujeto con una cámara izquierda y una cámara derecha, que están alejadas a una cierta distancia una de la otra. O bien, la técnica estereoscópica usa un par de imágenes de una imagen de base y una imagen adicional. La técnica de multivistas usa más de 3 imágenes obtenidas al fotografiar con 3 o más cámaras que tienen una cierta distancia y ángulo. La técnica de multivistas corresponde a una técnica que provee la imagen izquierda/derecha de la técnica estereoscópica en cada punto de vista.
De conformidad con la presente invención, la técnica estereoscópica incluye una técnica lado a lado, de arriba hacia abajo, de tablero de ajedrez, y similar. La técnica de lado a lado es una técnica que configura una imagen estereoscópica al realizar un muestreo de mitad de abajo horizontalmente en cada una de una imagen izquierda y una imagen derecha, respectivamente y situar una imagen muestreada en una región izquierda y la otra imagen muestreada en una región derecha. La técnica de arriba hacia abajo es una téenica que configura una imagen estereoscópica al realizar un muestreo de la mitad de abajo verticalmente en cada una de una imagen izquierda y una imagen derecha, respectivamente y situar una imagen muestreada en una región superior y la otra imagen muestreada en una región inferior. La técnica de tablero de ajedrez es una técnica que configura una imagen al realizar un muestreo de la mitad de abajo de una manera que una imagen izquierda y una imagen derecha intersecan respectivamente horizontalmente y verticalmente. Sin embargo, la técnica estereoscópica de conformidad con la presente invención puede no ser limitada o restringida por el ejemplo antes mencionado.
Como un ejemplo, también es posible proveer un servicio de imagen 3D de una manera de transmitir-recibir dos imágenes que tienen una resolución intacta sin pasar por el proceso de muestreo antes mencionado. En este caso, el flujo de transmisión que transmite respectivamente una imagen izquierda y una imagen derecha puede ser configurado por separado. En particular, un flujo de transmisión especifico transmite imágenes izquierdas y otro flujo de transmisión puede transmitir imágenes derechas. En este caso, cada uno de los flujos de transmisión se puede utilizar como un flujo para un servicio de imagen 2D.
La figura 1 es un diagrama para un método de visualizar una imagen 3D multivistas de conformidad con una modalidad de la presente invención.
Haciendo referencia a la figura 1, una imagen 3D de dos o más puntos de vista se puede proveer por medio de un solo panel de visualización.
La figura 1 muestra un esquema para proveer una imagen 3D de 3 puntos de vista. Una imagen 3D estereoscópica se puede proveer en cada punto de vista. En cada caso, un flujo de elemento de video incluido en cada imagen 3D estereoscópica puede usarse comúnmente en imagen 3D diferentes unas de otras. Por ejemplo, un flujo de elemento 1 (ESI) se usa como una imagen derecha (vista derecha) en una imagen 3D en donde ID de vista 3D corresponde a 0 y se puede usar como una imagen izquierda (vista izquierda) en una imagen 3D en donde una ID de vista 3D corresponde a l. Un flujo de elemento 2 (ES2) se usa como una imagen derecha (vista derecha) en una imagen 3D en donde una ID de vista 3D corresponde a 1 y se puede usar como una imagen izquierda (vista izquierda) en una imagen 3D en donde una ID de vista 3D corresponde a 2.
La figura 2 es un diagrama para una violación de borde de conformidad con una modalidad de la presente invención .
La figura 2 corresponde a una vista superior de un dibujo que muestra una profundidad relativa de cada parte de una imagen reconocida por un televidente que mira una imagen 3D. Un objeto de una forma circular situada en el centro es reconocido como más cercano de un usuario y rectángulos del lado izquierdo y el lado derecho están dispuestos por detrás del objeto de la forma circular. Puesto que los rectángulos, que están situados en el lado izquierdo y derecho, tienen una disparidad negativa, los rectángulos son reconocidos como objetos situados cerca del usuario sobre la base de una pantalla.
Sin embargo, al mismo tiempo, puesto que los rectángulos están situados en el borde de ambos extremos de la pantalla, un usuario puede reconocerlo a medida que parte del rectángulo es bloqueada por un bisel correspondiente a una parte de borde de la pantalla. Por lo tanto, el usuario reconoce a medida que los rectángulos del lado izquierdo y lado derecho están situados en una posición cercana del usuario sobre la base de la pantalla y el usuario también puede reconocer a medida que los rectángulos están situados en la parte posterior de la pantalla puesto que los rectángulos son bloqueados por el bisel de la pantalla. Por lo tanto, el usuario puede sentir confusión en profundidad.
A diferencia de una imagen 2D, cuando una imagen estereoscópica 3D es mirada, un ángulo de visualización es una parte importante para un efecto de visualización. Por ejemplo, cuando varias personas están mirando la televisión mientras se sientan de lado a lado, en cada caso de una TV 2D, todas las personas pueden mirar una imagen de un nivel similar. Sin embargo, en el caso de una TV 3D, puesto que un punto ideal de la TV 3D es limitante, la calidad de una imagen 3D puede variar de acuerdo con una posición de ángulo de la persona que está mirando la imagen 3D. Por lo tanto, en el caso de usar un dispositivo de visualización de imagen de multivistas, que visualiza cada imagen 3D de acuerdo con una posición de observación, cada televidente puede ser capaz de mirar una imagen 3D mientras siente un mejor efecto 3D.
Puesto que un servicio de 3D de imagen multivistas muestra una pantalla de puntos de vista diferentes uno de otro de acuerdo con cada posición, un efecto 3D, un fenómeno de violación de borde y similar tiene un aspecto diferente en cada imagen 3D. Por lo tanto, a fin de eliminar o mitigar el fenómeno de violación de borde, un parámetro separado debe ser enviado de acuerdo con cada imagen 3D. En particular, dos métodos se pueden usar para procesar la violación de borde. En primer lugar, una TV 3D estereoscópica transmite un parámetro relevante requerido por un extremo de recepción al extremo de recepción a través de señalización de difusión para procesar la violación de borde. En segundo lugar, un extremo de transmisión puede transmitir un flujo estereoscópico del cual la violación de borde es procesada con anticipación al extremo de recepción. Sin embargo, una difusión de TV 3D de multivistas, puesto que un método de procesamiento o mitigación de violación de borde cambia de acuerdo con una imagen 3D estereoscópica de un punto de vista en el cual se incluye un solo flujo, es difícil aplicar el método de transmisión de un flujo estereoscópico del cual la violación de borde es eliminada o mitigada en anticipación por el extremo de transmisión. Por lo tanto, es necesario tener señalización de difusión que permita que el extremo de recepción reciba apropiadamente y procese un parámetro de acuerdo con cada punto de vista.
En este caso, una imagen 3D considerada puede corresponder a un flujo directamente transmitido o una imagen 3D sintetizada por un extremo de recepción. Cuando las imágenes son sintetizadas, si una imagen original como una entrada produce violación de borde, una nueva imagen 3D que es generada con base en la imagen original puede causar la violación de borde también. Por lo tanto, si la información para complementar la violación de borde es transmitida de acuerdo con una imagen 3D sintetizada, puede ser capaz de reducir la distorsión o inconveniencia cuando un televidente mira una TV 3D multivistas.
Por lo tanto, la presente invención propone un método de implementar un receptor o un transmisor de un servicio de difusión de video 3D multivistas en una TV 3D proveyendo una imagen 3D multivistas. Y la presente invención propone un método de operar e implementar una TV 3D para controlar la salida de un video 3D multivistas usando información de señalización.
La figura 3 es un diagrama para un método de procesar una violación de borde de conformidad con una modalidad de la presente invención.
Como uno de los métodos de procesamiento de violación de borde, puede ser capaz de usar una téenica HIT (traslación de imagen horizontal) en la que un extremo de transmisión procesa una imagen. De acuerdo con la técnica HIT, a fin de evitar que ocurra un fenómeno de distorsión en un lado de borde para un par de imágenes estereoscópicas izquierda, derecha, un extremo de transmisión realiza un procesamiento de desplazamiento y barra (recorte y enderezamiento) de la imagen y transmite una imagen 3D.
En el caso de no considerar multivistas, un escenario de transmisión del procesamiento de desplazamiento y barra es posible en una manera de ser aplicado desde el extremo de transmi ión. Sin embargo, en el caso de una TV 3D multivistas, puesto que un desplazamiento y una barra que se han de aplicar pueden variar de acuerdo con cada punto de vista, puede ser difícil que el extremo de transmisión espere el desplazamiento y la barra y transmita una imagen 3D.
La figura 3(a) muestra un método de mover y procesar una imagen izquierda y una imagen derecha incluidas en una imagen 3D en dirección horizontal.
Haciendo referencia a la figura 3(a), un procesador de violación de borde mueve una imagen izquierda incluida en una imagen 3D en la dirección horizontal izquierda y mueve una imagen derecha en dirección horizontal derecha. En este caso, una distancia en movimiento en dirección horizontal puede determinarse de acuerdo con un tamaño de visualización de un objeto causando violación de borde. En particular, la imagen izquierda y la imagen derecha son movidas en dirección horizontal para no visualizar el objeto en una pantalla.
En la imagen izquierda y la imagen derecha, el procesador de violación de borde llena un área vacia que resulta de mover en dirección horizontal con una barra y recorta y endereza un área desviada de un tamaño de marco que resulta de mover en dirección horizontal.
Si una imagen 3D es generada usando la imagen izquierda y la imagen derecha generadas por el proceso antes mencionado, puede ser capaz de eliminar o mitigar la violación de borde. En particular, un área que se espera que ocasione violación de borde es recortada y enderezada y una imagen correspondiente ya sea a la imagen izquierda o la imagen derecha puede ser visualizada en un área de borde.
La figura 3 (b) muestra un método de mover y procesar una imagen izquierda y una imagen derecha incluidas en una imagen 3D en dirección horizontal.
Haciendo referencia a la figura 3(b), un procesador de violación de borde mantiene una imagen original de la imagen derecha como tal y mueve la imagen izquierda sólo en la dirección horizontal izquierda. Entre la imagen izquierda movida en la dirección horizontal izquierda, un área desviada del área de marco es recortada y enderezada y la imagen izquierda restante es combinada con la imagen derecha. Al hacer eso, una imagen 3D puede ser configurada.
La figura 4 es un diagrama para un método de procesamiento de una violación de borde de acuerdo con una modalidad diferente de la presente invención.
En una TV de multivistas, una imagen 3D de un nuevo punto de vista aleatorio puede ser generado (o sintetizado), con base en un flujo de video recibido. En este caso, si la violación de borde existe en un par de imagen izquierda/derecha usado para sintetizar la imagen 3D, la violación de borde puede existir en la imagen resultante sintetizada también. En este caso, pueden existir varios métodos capaces de eliminar, mitigar o evitar que exista la violación de borde en la nueva imagen 3D sintetizada.
Un primer método de conformidad con una modalidad de la presente invención es señalizar un área de violación de borde para una pluralidad de imágenes 3D (señalización de área de violación de borde para varias vistas).
De conformidad con el primer método, puede ser capaz de señalizar información en una forma tal como infor() de manejo de borde 3D para todas las imágenes 3D sintetizadas. En particular, para una imagen 3D de muchos puntos de vista, si la información de señalización en un área en la cual ocurre violación de borde es generada y la información es transmitida, un receptor puede ser capaz de reducir o mitigar la violación de borde con referencia a la información sobre el área de violación de borde de un punto de vista correspondiente cuando el receptor sintetiza una imagen 3D. En este caso, la información de señalización generada puede ser suministrada al receptor a través de una señal de difusión y/o una señal de internet. La información usada para complementar, eliminar o mitigar la violación de borde se llamará información de manejo de borde, datos de manejo de borde o información de borde.
Un segundo método de conformidad con una modalidad diferente de la presente invención es proveer información de señalización para una función de detector de área de violación de borde (EVAD). (Información de señalización para función de detector de área de violación de borde (EVAD)).
De conformidad con el segundo método, una entrada corresponde a información sobre una posición de la cámara de una imagen izquierda/derecha y una salida puede señalizar una función de detector de área de violación de borde (EVAD) correspondiente a un valor de intervalo de pixel al cual se puede aplicar manejo de borde. En particular, el segundo método corresponde a un método de señalización de un tipo de una función y un coeficiente relacionado capaz de deducir amplitud de violación de borde LL y amplitud de violación de borde RR (o amplitud de pixeles de borde LL y amplitud de píxeles de borde RR). Por ejemplo, si el método señaliza que los valores de información relacionada corresponden a una forma linealmente en incremento/en disminución, es capaz de definir una función a través de un punto tal que un tipo de función corresponde a una función lineal, un valor de punto de inicio, un valor de punto de terminación y similar. En el caso de una función de un tipo diferente, puede ser capaz de señalizar un coeficiente relacionado adicional.
Un tercer método de conformidad con una modalidad diferente de la presente invención es detectar violación de borde sin señalizar información. (Implementación de detección de violación de borde sin información de señalización).
De conformidad con el tercer método, cuando la información usada para eliminar, mitigar o procesar violación de borde no es señalizada por separado, un extremo de recepción mismo puede detectar y procesar un área de violación de borde. En este caso, para una imagen virtual (vista virtual) generada al sintetizar imágenes (síntesis de vistas), es capaz de deducir un área en la cual ocurre violación de borde a través de información de mapeo entre píxeles en el curso de generación de la imagen virtual.
Cuando el extremo de recepción emite un flujo de video recibido como tal sin sintetizar imágenes (síntesis de vista), es capaz de deducir un área en la cual ocurre violación de borde a través de dicho proceso separado como una coincidencia de característica entre una imagen izquierda y una imagen derecha procesada en el extremo de recepción. Como un ejemplo de la coincidencia de características, un receptor detecta respectivamente un objeto o un píxel incluido en la imagen izquierda y la imagen derecha. Y el receptor puede detectar un objeto o un pixel que existe en la imagen izquierda mientras no existe en la imagen derecha o un objeto o un pixel que existe en la imagen derecha mientras no existe en la imagen izquierda. El receptor puede detectar un área en la cual el objeto o el píxel que existe ya sea en la imagen izquierda o en la imagen derecha como el área en la cual ocurre la violación de borde.
Haciendo referencia a la figura 4, un extremo de recepción puede incluir un detector de área de violación de borde y/o un controlador de violación de borde.
El detector de área de violación de borde detecta un área en la cual ocurre violación de borde en una imagen izquierda y una imagen derecha de una imagen 3D sintetizada para un punto de vista específico. En este caso, uno o más métodos entre los métodos antes mencionados se pueden usar para detectar el área en la cual ocurre la violación de borde.
Si información sobre violación de borde que ocurre en una imagen 3D se provee para cada punto de vista de acuerdo con el primer método, el controlador de violación de borde elimina, mitiga o procesa la violación de borde usando la información. O bien, el controlador de violación de borde recibe información sobre un área de violación de borde detectada por el detector de área de violación de borde y entonces puede ser capaz de eliminar, mitigar o procesar la violación de borde usando la información.
La figura 5 es una tabla para una estructura de señalización de info de procesamiento de vista 3D a través de un mensaje de SEI (información de incremento complementario) de conformidad con una modalidad de la presente invención.
Si la información relacionada con violación de borde es transmitida en un nivel de video, puede ser capaz de hacer frente a un área de violación de borde que cambia de acuerdo con cada trama o una escena.
En el caso de video H.264 (o AVC), la información sobre la violación de borde puede ser transmitida a un área de SEI (información de incremento complementario) que incluye información configurada para asistir dicho proceso como decodificación, emisión y similar. De conformidad con la presente invención, puede ser capaz de designar un mensaje de SEI que va al nivel de video para transmitir la información de violación de borde. La figura 5 corresponde a una modalidad para un caso en el que un mensaje de SEI que señaliza info de procesamiento de vista 3D es designado. Como una modalidad, si un valor de un campo de tipo carga corresponde a '50', el campo puede indicar un mensaje de SEI que transmite la info de procesamiento de vista 3D.
La información de violación de borde o información de manejo de borde 3D corresponde a información usada para eliminar, mitigar o procesar violación de borde que ocurre en una imagen de cada punto de vista de una imagen 3D multivistas. La información de violación de borde o la información de manejo de borde 3D incluye info de procesamiento de vista 3D.
La figura 6 es una tabla para sintaxis de info de procesamiento de vista 3D de conformidad con una modalidad de la presente invención.
Con el fin de procesar una parte en la cual ocurre violación de borde, se puede usar el método de desplazamiento de barra antes mencionado. O bien, un método de trazo de una barra sin un desplazamiento (ventana de flotación), un método de procesamiento de violación de borde por medio de recorte y enderezamiento y escalación parcial sin trazar una barra y similar se puede usar. Puesto que un parámetro aplicado a cada método de procesamiento es diferente uno de otro, es necesario tener un método de transmisión de datos de manejo de información de borde o información de violación de borde para señalizar un parámetro aplicado a cada método de procesamiento. Los datos relacionados con procesamiento de borde se pueden dar como metadatos para contenidos de video.
Información de procesamiento de imagen 3D (infor de procesamiento de vista 3D) de conformidad con una modalidad de la presente invención incluye un campo de id de info de procesamiento de vista 3D, un campo de bandera de actualización de procesamiento de vista 3D, un campo de número de vistas 3D, un campo de ID de vista 3D, un campo de prioridad de vista 3D, un campo de bandera L sintetizada, un campo de bandera R sintetizada, un campo de ID de vista Izquierda, un campo de bandera existente de parámetro de cámara L, un campo de distancia de linea basal de cámara L, un campo de ID de vista derecha, un campo de bandera existente de parámetro de cámara R, un campo de distancia de línea basal de cámara R, un elemento de info() de manejo de borde 3D, y/o un elemento de info() de función EVAD 3D.
El campo de ID de info de procesamiento de vista 3D corresponde a información a que identifica únicamente información de procesamiento de imagen 3D.
El campo de bandera de actualización de procesamiento de vista 3D corresponde a un campo que indica si la información de procesamiento de imagen 3D actualmente transmitida es idéntica a la información anteriormente recibida o si es necesario que la información de procesamiento de imagen 3D actualmente transmitida sea actualizada recientemente. Si se requiere que la información de procesamiento de imagen 3D actualmente transmitida sea actualizada, el campo de bandera de actualización de procesamiento de vista 3D se fija a ?'. Si la información de procesamiento de imagen 3D actualmente transmitida es idéntica a la información anteriormente recibida, un campo de bandera de actualización de procesamiento de vista 3D se fija a ?'.
El campo de número de vistas 3D corresponde a un campo que indica el número de vistas de imágenes 3D virtuales que señalizan una imagen 3D (un par de imagen izquierda e imagen derecha) incluida en un programa actual, un canal o un servicio.
El campo de ID de vista 3D corresponde a un campo que indica un valor capaz de identificar cada imagen 3D.
El campo de prioridad de vista 3D corresponde a un campo que indica prioridad de una imagen 3D.
El campo de bandera L sintetizada o el campo de bandera R sintetizada corresponde a un campo que indica si una imagen izquierda o una imagen derecha que construye una imagen 3D corresponde a una imagen sintetizada por un receptor o una imagen realmente transmitida. Si un valor del campo de bandera X sintetizada corresponde a ?', indica que una vista correspondiente es una imagen de video realmente transmitida. Si un valor del campo de bandera X sintetizada corresponde a ?', indica que una vista correspondiente es una imagen virtual sintetizada por el receptor.
El campo de ID de vista izquierda o el campo de ID de vista derecha corresponde a un identificador que indica un flujo de video incluido en una imagen izquierda o una imagen derecha de una imagen 3D cuando la imagen izquierda y/o la imagen derecha que construye la imagen 3D es realmente transmitida. En algunos casos, un valor del identificador puede ser reemplazado por un valor PID de un video de imagen izquierda o un video de imagen derecha.
El campo de bandera existente de parámetro de cámara L o el campo de bandera existente de parámetro de cámara R corresponde a un campo que indica si un valor de parámetro de cámara (una parámetro necesario para realizar síntesis de vista) para una imagen existe. Por ejemplo, en el caso de un codee MVC, puesto que un parámetro de cámara es transmitido a través de un mensaje de SEI de info de adquisición de multivistas y un parámetro de cámara existe de acuerdo con cada ID de vista, el campo de bandera existente de parámetro de cámara L o el campo de bandera existente de parámetro de cámara R indica si el mensaje de SEI es transmitido por separado. En lugar de transmitir la bandera de existencia de parámetro de cámara, un valor de ID mismo de un parámetro de cámara correspondiente establecido puede ser transmitido. En este caso, un parámetro de cámara intrínseco señalizado por el mensaje de SEI de info de adquisición de multivistas puede existir de acuerdo con cada imagen. O bien, puede existir un parámetro común establecido para todas las imágenes. En el caso de un parámetro de cámara extrínseco, un parámetro separado establecido existe de acuerdo con cada imagen. Aquí, puede transmitir un identificador de una manera que un parámetro de cámara se divida en el parámetro de cámara intrínseco y el parámetro de cámara extrínseco.
Para síntesis de vista, es necesario señalizar no sólo un parámetro de cámara sino también si existe un mapa de profundidad de un punto de vista idéntico a una vista de video. Para este fin, se puede configurar para señalizar dicho campo como un campo de bandera de existencia de mapa de profundidad L y/o un campo de bandera de existencia de mapa de profundidad R y similar. El campo de bandera de existencia de mapa de profundidad L o el campo de bandera de existencia de mapa de profundidad R corresponde a un campo que indica si un mapa de profundidad o una imagen izquierda o una imagen derecha existe.
El campo de distancia de línea basal de cámara L o el campo de distancia de línea basal de cámara R corresponde a un campo que indica información de punto de vista de una imagen virtual izquierda o una imagen virtual derecha. Este campo corresponde a un valor introducido como un valor de entrada en el curso de síntesis de vista de procesamiento. Puesto que un parámetro de cámara o información parcial del parámetro de cámara es necesario como el valor de entrada de acuerdo con un método de síntesis, este campo puede ser configurado para transmitir información relacionada de acuerdo con el método. El campo de distancia de línea basal de cámara L o el campo de distancia de línea basal de cámara R pueden corresponder a información que indica una posición de una cámara virtual que captura una imagen virtual. Por ejemplo, el campo de distancia de línea basal de cámara L o el campo de distancia de línea basal de cámara R puede indicar una posición relativa de una cámara de captura de imagen izquierda virtual o una cámara de captura de imagen derecha virtual o una línea basal.
Los campos antes mencionados o información se pueden usar para información utilizada por un receptor para sintetizar una imagen 3D virtual (imagen izquierda virtual y una imagen derecha virtual) de un punto de vista nuevo.
El elemento de info() de manejo de borde 3D y el elemento de info() de función EVAD 3D se describe a continuación .
La figura 7 es una tabla para sintaxis de elemento de info() de manejo de borde 3D de conformidad con una modalidad de la presente invención.
Los datos relacionados con procesamiento de borde se pueden dar como metadatos para contenidos de video. Como se muestra en la figura 7, un dato relacionado con procesamiento de borde puede ser transmitido a través de un elemento de info() de manejo de borde 3D. En este caso, con el fin de procesar una parte en la cual ocurre violación de borde, se puede usar el método de desplazamiento y barra antes mencionado. O bien, un método de trazo de una barra sin un desplazamiento (ventana de flotación), un método de procesamiento de violación de borde a través de recorte y enderezamiento y escalación parcial sin trazar una barra y similar se puede usar. Puesto que un parámetro aplicado a cada método de procesamiento es diferente uno del otro, es necesario tener un método de transmisión de datos de manejo de violación de borde o información de violación de borde para señalizar un parámetro aplicado a cada método de procesamiento.
Como se mencionó en la descripción anterior, un método para evitar una distorsión no coincidente, es decir, violación de borde, que ocurra en una vista izquierda y una vista derecha incluye un método de enviar contenido 3D después de que se realiza post-procesamiento en el contenido 3D con anticipación, un método de enviar un parámetro de una téenica de manejo de borde recomendada (ventana de flotación/tratamiento de borde vertical/parámetro HIT), un método de enviar un parámetro de tratamiento de borde vertical recomendado y similar. Se puede aplicar un método diferente a cada borde de acuerdo con una situación. Un método de aplicación puede variar de acuerdo con una trama.
En este caso, puede tener por separado bandera de violación de borde para indicar si o no ocurre violación de ventana de acuerdo con un borde de una imagen 3D. Por ejemplo, si un valor de la bandera de violación de borde corresponde a 'OO', puede indicar que la violación de borde no ocurre en un borde izquierdo y en un borde derecho de una imagen 3D. Si un valor de bandera de violación de borde corresponde a ?G , puede indicar que ocurre violación de borde en el borde derecho de la imagen 3D únicamente. Si un valor de bandera de violación de borde corresponde a ?O', puede indicar que ocurre violación de borde en el borde izquierdo de la imagen 3D únicamente. Si un valor de bandera de violación de borde corresponde a ? , puede indicar que ocurre violación de borde tanto en el borde izquierdo como en el borde derecho de la imagen 3D. Si la bandera de violación de borde es señalizada, un receptor puede determinar si realizar post-procesamiento sobre la imagen 3D. La bandera de violación de borde puede ser incluida en la infor de procesamiento de vista 3D o el elemento de info() de manejo de borde 3D.
El elemento info() de manejo de borde 3D incluye un campo de bandera de actualización de manejo de borde 3D, un campo de amplitud de pixel de borde LL, un campo de amplitud de pixel de borde RR, un campo de tipo de manejo L, un campo de tipo de manejo R, un campo de pixel de inicio de estiramiento LL, un campo de pixel de amplitud de estiramiento LL, un elemento de parámetro() de estiramiento LL, un campo de pixel de inicio de estiramiento RR, un campo de pixel de amplitud de estiramiento RR, un elemento de parámetro() de estiramiento RR y/o un campo de disparidad mínima de EH.
El campo de bandera de actualización de manejo de borde 3D corresponde a un campo que indica si información de manejo de borde 3D actualmente transmitida es idéntica a la información anteriormente recibida o si la información de manejo de borde 3D actualmente transmitida es necesaria que sea actualizada. Si se requiere que la información de manejo de borde 3D actualmente transmitida sea actualizada, el campo de bandera de actualización de manejo de borde 3D se fija a ?'. Si la información de manejo de borde 3D actualmente transmitida es idéntica a la información anteriormente recibida, el campo de bandera de actualización de manejo de borde 3D se fija a ?'.
El campo de amplitud de pixel de borde LL y el campo de amplitud de pixel de borde RR indican el número de píxeles de un área de violación de borde que existe en un borde izquierdo de una imagen izquierda y el número de pixeles de un área de violación de borde que existe en un borde derecho de una imagen derecha, respectivamente. Si un valor del campo de amplitud de pixel de borde LL corresponde a '0', indica que la violación de borde no ocurre en el borde izquierdo de la imagen izquierda. En este caso, un campo de bandera de violación de borde puede existir por separado para indicar si o no ocurre violación de ventana de acuerdo con un borde de una imagen 3D.
El campo de tipo de manejo L y el campo de tipo de manejo R respectivamente designan un método de procesamiento de violación de borde aplicado a una imagen izquierda o una imagen derecha. Por ejemplo, si un valor del campo corresponde a 'OO', puede indicar un estado preprocesado (pre-manejado), es decir, un estado en el que la violación de borde es procesada por terminación de transmisión con anticipación. Si un valor del campo corresponde a ? , puede indicar un estado recomendado de barra (ventana de flotación), es decir, un estado en el que un método de llenado de un área en la cual ocurre violación de borde con una barra es recomendado. Si un valor del campo corresponde a ?1', puede indicar un estado recomendado de recorte y enderezamiento y estiramiento (tratamiento de borde vertical), es decir, un estado en el que un método de procesamiento de violación de borde usando recorte y enderezamiento y estiramiento es recomendado. Si un valor del campo corresponde a '10', puede indicar un estado recomendado de desplazamiento y barra (HIT), es decir, un estado en el que un método de desplazamiento de una imagen tanto como un área en la cual ocurre violación de borde, recortando y enderezando una parte desviada de un marco, y llenando una parte restante del marco con una barra es recomendado.
El campo de pixel de inicio de estiramiento LL y el campo de pixel de inicio de estiramiento RR se aplican cuando un valor del campo de tipo de manejo L y un valor del campo de tipo de manejo R corresponde a '10'. El campo de pixel de inicio de estiramiento LL y el campo de pixel de inicio de estiramiento RR respectivamente indican un área en la cual el estiramiento inicia sobre la base de un borde izquierdo de una imagen izquierda o un borde derecho de una imagen derecha.
El campo de pixel de amplitud de estiramiento LL y el campo de pixel de amplitud de estiramiento RR se aplican cuando un valor del campo del tipo de manejo L y/o un valor del campo de tipo de manejo R corresponden a '10'. El campo de pixel de amplitud de estiramiento LL y el campo de pixel de amplitud de estiramiento RR respectivamente indican una amplitud de un área estirada sobre la base de un área en la cual empieza el estiramiento.
El elemento de parámetro() de estiramiento LL y el elemento de parámetro() de estiramiento RR se aplican cuando un valor del campo de tipo de manejo L y/o un valor del campo tipo de manejo R corresponden a '10'. El elemento de parámetro() de estiramiento LL y el elemento de parámetro() de estiramiento RR puede incluir un parámetro usado para estiramiento en el caso de usar un método de recorte y enderezamiento y estiramiento.
El campo de disparidad mínima EH indica un valor de disparidad mínima después del que se realiza el post procesamiento sobre violación de borde. Si la violación de borde que ocurre en el lado frontal de una pantalla es bloqueada, el valor de disparidad mínima puede cambiar de acuerdo con la violación de borde bloqueada. Por lo tanto, cuando un receptor hace que aparezca Visualización en Pantalla (OSD) en una imagen estereoscópica sobre la cual se realiza cada proceso de manejo de borde, el receptor puede determinar una profundidad de visualización de la OSD en consideración del valor de disparidad mínima. Con el fin de notificar un rango de disparidad total, puede tener un escenario de transmisión de un campo de disparidad máxima EH junto con el campo de disparidad mínima EH. En algunos casos, puede configurar un rango de disparidad de una imagen original que sea transmitida también. O bien, puede tener dicho campo separado como un campo de bandera de cambio de rango de disparidad para señalizar si o no un rango de visualización (valor de disparidad mínima y máxima) es cambiado después de que se aplica manejo de borde.
En este caso, cuando un objeto de una imagen 3D está ubicado en una imagen izquierda y una imagen derecha, una disparidad corresponde a una diferencia de una distancia horizontal del objeto ubicado en la imagen izquierda y la imagen derecha. Una profundidad del objeto percibido por el televidente puede variar de acuerdo con un valor de disparidad.
La figura 8 es una tabla para un elemento de información de función de detector de área de violación de borde 3D (info() de función EVAD 3D) de conformidad con una modalidad de la presente invención.
Si tanto una imagen izquierda como una imagen derecha que construyen una imagen 3D corresponden a un video realmente transmitido, un extremo de recepción puede generar una nueva imagen 3D virtual con base en la imagen 3D. En este caso, aunque un área de violación de borde existe en la imagen izquierda recibida y la imagen derecha se puede saber a través de la información de manejo de borde 3D antes mencionada y similar, es difícil conocer un área de violación de borde de una imagen izquierda virtual y una imagen derecha virtual de un punto de vista aleatoriamente seleccionado por el extremo de recepción usando contenido del método antes mencionado únicamente. Aquí, es necesario que el extremo de recepción tenga un método de deducir cada área de violación de borde de una imagen izquierda y una imagen derecha, que son generadas de acuerdo con una vista de cámara (posición de captura de cámara) de una imagen 3D virtual..
De conformidad con la presente invención, una función de detección de área de violación de borde 3D (EVAD 3D) corresponde a una función capaz de deducir un valor de pixel de área de violación de borde en un punto de vista de cámara aleatorio basado en información de parámetro de cámara de una imagen izquierda recibida y una imagen derecha, información adicional (información de profundidad de la imagen izquierda y la imagen derecha, y similar) e información en cada área de violación de borde de la imagen izquierda y la imagen derecha, que se usan para sintesis de vistas. Por ejemplo, cuando las cámaras están dispuestas en una forma de ID paralelo, puede existir una función para deducir información de área de violación de borde en un punto de vista aleatorio poniendo en una linea basal de la disposición de la cámara. En este caso, una posición de vista de una cámara puede ser representada por la forma de una distancia de linea basal. La función recibe un valor de distancia de linea basal de la cámara como un valor de enfada y emite información de área de violación de borde de punto de vista. La distancia de linea basal puede convertirse en un valor que indica una posición de la cámara sobre la linea basal.
La figura 8 muestra una función de EVAD 3D para un caso en el que un valor de posición de cámara es normalizado sobre la base de un centro de una cámara de imagen izquierda o una cámara de imagen derecha. En particular, si la posición de cámara L (o posición de cámara R) corresponde a 1 y una posición de cámara se convierte en un punto central entre dos cámaras corresponde a 0, puede señalizar la función que designa un valor de la posición de la cámara que incrementa de 0 a 1 como un valor de entrada y designar el número de pixeles de un área de violación de borde en un borde izquierdo de una imagen izquierda (o un borde derecho de una imagen derecha) como un valor de salida. En este caso, la posición de cámara L corresponde a un valor que indica una posición de una cámara que captura la imagen izquierda y la posición de cámara R corresponde a un valor que indica una posición de una cámara que captura la imagen derecha. El campo de posición de cámara L y el campo de posición de cámara R pueden ser incluidos en el elemento de info() de función EVAD 3D. O bien, el campo de posición de cámara L y el campo de posición de cámara R pueden corresponder al campo de distancia de linea basal de cámara L antes mencionado y el campo de distancia de linea basal de cámara R, respectivamente.
El elemento de info() de función EVAD 3D incluye un campo de tipo de función LL y un campo de tipo de función RR, un campo de coeficiente LL y/o un campo de coeficiente RR.
El campo de tipo de función LL y el campo de tipo de función RR corresponden a campos que indican un tipo de una función EVAD 3D. Pueden existir varios tipos de función. Como una modalidad, si un valor del campo corresponde a ?', puede ser capaz de indicar 'función lineal'.
El campo de coeficiente de LL y el campo de coeficiente RR corresponden a campos que indican un coeficiente de la función antes mencionada. Si el tipo de función XX corresponde a 'función lineal', una función puede ser definida como sigue.
{Número de pixeles que indican área de violación de borde del borde XX = coeficiente XX * posición de cámara X + amplitud de pixel de borde XX} Como se mencionó en la descripción anterior, puesto que la información de violación de borde es altamente probable que sea cambiada de acuerdo con cada cuadro, la señalización de nivel de video es adecuada. Sin embargo, en algunos casos, se puede aplicar información de manejo de violación de borde idéntica de acuerdo con una escena, un evento y programa/canal/servicio. Si hay un método de manejo de violación de borde recomendado por un extremo de transmisión, la información señalizada por la señalización de nivel de video puede ser transmitida en un evento o en una unidad de sistema. En particular, la información de una unidad de evento puede ser transmitida de una manera que ponga un nuevo descriptor en dicha tabla capaz de transmitir información de una unidad de evento como ATSC PSIP o EIT de DVB SI. O bien, la información de unidad de programa/canal/servicio puede ser transmitida de una manera que ponga un nuevo descriptor en dicha tabla capaz de transmitir información de un nivel de sistema como PMT, VCT, SDT y similar. La información de los campos o elementos antes mencionados se puede incluir en el descriptor.
En el caso de transmitir información de manejo de violación de borde de acuerdo con una escena, información de intervalo (tiempo de inicio y tiempo de terminación de cada escena) de una escena puede ser adicionalmente transmitida a un descriptor de nivel de sistema. O bien, la información de manejo de violación de borde puede ser transmitida en una forma de flujo privado al componer la información de manejo de violación de borde en una unidad de intervalo de acuerdo con el tiempo. En este caso, es necesario tener un procedimiento de sincronización de una señal de video y un flujo de información de manejo de violación de borde una con otra. La violación de borde de una imagen 3D puede ser procesada por la sincronización.
La figura 9 es un diagrama para un caso de señalización de información de manejo de borde de conformidad con una modalidad de la presente invención.
Haciendo referencia a la figura 9(a), un sistema de difusión 3D provee una imagen 3D de 3 puntos de vista (vista 0 de 3D, vista 1 de 3D y vista 2 de 3D). Una imagen 3D de una vista 0 de 3D incluye un video 0 y un video 1. Una imagen 3D de la vista 1 de 3D incluye el video 1 y el video 2. Una imagen 3D de una vista 2 de 3D incluye el video 2 y un video 3. Un extremo de transmisión puede proveer información de manejo de borde de cada punto de vista a través del método de señalización antes mencionado. Y la información de manejo de borde en una imagen 3D de un punto de vista diferente capaz de ser sintetizado por un receptor también puede ser señalizado en conjunto.
Haciendo referencia a la figura 9(b), una imagen 3D de una vista 0 de 3D puede incluir un video 0 y un video 1. Un extremo de transmisión puede señalizar información sobre una posición de una cámara que captura el video 0, información sobre una posición de una cámara que captura el video 1, información sobre una amplitud de un área de violación de borde del video 0 e información sobre una amplitud de un área de violación de borde del video 1. Por ejemplo, información tal como posición de la cámara L, R (0, 1), pixel de amplitud de violación de borde: (LL, RR) = (24, 8) puede ser señalizada para la imagen 3D de una vista 0 de 3D. La posición de cámara L, R (0, 1) corresponde a información que indica que una cámara que captura una imagen izquierda está ubicada en un punto de referencia de una linea basal y una cámara que captura una imagen derecha está separada de la linea basal tanto como ?'. El pixel de amplitud de violación de borde: (LL, RR) = (24, 8) corresponde a información que indica que ocurre violación de borde en un área de amplitud de 24 píxeles en un borde izquierdo de la imagen izquierda y ocurre violación de borde en un área de amplitud de 8 pixeles en un borde derecho de la imagen derecha.
Una imagen 3D de una vista 1 de 3D puede incluir un video 1 y un video 2. Un extremo de transmisión puede señalizar información sobre una posición de una cámara que captura el video 1, información sobre una posición de una cámara que captura el video 2, información sobre una amplitud de un área de violación de borde del video 1 e información sobre una amplitud de un área de violación de borde del video 2. Por ejemplo, información tal como posición de cámara L, R (1, 2), pixel de amplitud de violación de borde: (LL, RR) = (3, 36) puede ser señalizada para la imagen 3D de la vista 1 de 3D. La posición de cámara L, R (1, 2) corresponde a información que indica que una cámara que captura una imagen izquierda es separada de un punto de referencia de una linea basal tanto como ?' y una cámara que captura una imagen derecha es separada de la linea basal tanto como '2 ' . El pixel de amplitud de violación de borde: (LL, RR) = (3, 36) corresponde a información que indica que ocurre violación de borde en un área de amplitud de 3 pixeles en el borde izquierdo de la imagen izquierda y ocurre violación de borde en un área de amplitud de 36 pixeles en un borde derecho de la imagen derecha.
El extremo de transmisión puede señalizar información de manejo de borde para una imagen 3D de un punto de vista diferente capaz de ser sintetizado por un extremo de recepción. Una imagen 3D de una vista X de 3D sintetizada puede incluir un video 0.5 sintetizado y un video 1.5 sintetizado. El video 0.5 sintetizado y el video 1.5 sintetizado corresponden a datos de video recién generados por el extremo de recepción usando datos de video recibidos por el extremo de recepción. En particular, el video 0.5 sintetizado y el video 1.5 sintetizado corresponden a datos de video sintetizados por el extremo de recepción para proveer una imagen 3D de un punto de vista nuevo. El extremo de transmisión puede señalizar información sobre una posición de una cámara virtual que se espera que capture el video 0.5, información sobre una posición de una cámara virtual que se espera que capture video 1.5, información sobre una amplitud de un área de violación de borde del video 0.5 en el cual se espera que ocurra violación de borde e información sobre una amplitud de un área de violación de borde del video 1.5 en la cual se espera que ocurra violación de borde. Por ejemplo, el extremo de transmisión puede señalizar información tal como pixel de amplitud de violación de borde de la posición de la cámara L, R (0.5, 1.5): (LL, RR) = (10, 25). La posición de la cámara L, R (0.5, 1.5) corresponde a la información que indica que una cámara virtual que captura una imagen izquierda está separada de un punto de referencia de una linea basal tanto como ?.5' y una cámara virtual que captura una imagen derecha está separada de la línea basal tanto como ?.5' . El pixel de amplitud de violación de borde: (LL, RR) = (10, 25) corresponde a información que indica que ocurre violación de borde en un área de amplitud de 10 pixeles en un borde izquierdo de la imagen izquierda y ocurre violación de borde en un área de amplitud de 25 pixeles en un borde derecho de la imagen derecha. En particular, el extremo de transmisión puede señalizar información sobre las áreas de violación de borde de la imagen izquierda y la imagen derecha en la cual la violación de borde se espera que ocurra de acuerdo con una posición de una cámara virtual.
La figura 10 es un diagrama para un caso de señalización de una función relevante para permitir que un extremo de recepción deduzca información de manejo de borde en una imagen 3D virtual de conformidad con una modalidad de la presente invención.
Como se mencionó en la descripción anterior, un receptor puede deducir información de área de violación de borde (información de manejo de borde) de una imagen 3D sintetizada en una TV de multivistas. El receptor puede deducir una amplitud de pixel de violación de borde de una vista 0 de 3D sintetizada y una amplitud de pixel de violación de borde de una vista 1 de 3D sintetizada usando una imagen izquierda (video 0) y una imagen derecha (video 2) de una vista 0 de 3D e información relevante (posición de cámara L, amplitud de pixel de borde LL, posición de cámara R y amplitud de pixel de borde RR) como valores de entrada. En este caso, puede usarse un tipo de función LL, coeficiente de LL, tipo de función RR y coeficiente de RR señalizados. La explicación de los parámetros o campos señalizados es reemplazada por los contenidos anteriormente mencionados en la descripción anterior.
De conformidad con el método mencionado anteriormente en la figura 9, puesto que un valor de amplitud de pixel de violación de borde mismo es transmitido de acuerdo con cada imagen 3D sintetizada, información sobre una amplitud de pixel de violación de borde de una vista 3D sintetizada que incluye una posición de cámara aleatoria puede no ser conocida en algunos casos. En este caso, puede conocerse la información de manejo de borde en una imagen 3D de una posición de cámara especifica únicamente. Por el contrario, como se muestra en la figura 10, si una función relevante es señalizada para permitir que un extremo de recepción deduzca información de manejo de borde en una imagen 3D virtual, puesto que una función capaz de deducir una amplitud de pixel de violación de borde de acuerdo con cada intervalo es señalizada, puede deducirse información de manejo de borde en todos los pares de imágenes 3D que existen dentro de un intervalo.
La figura 11 es un diagrama para fórmula usada para el receptor mismo para realizar manejo de violación de borde sin una señalización separada de conformidad con una modalidad de la presente invención.
Cuando un extremo de recepción sintetiza imágenes unas con otras (síntesis de vista), puesto que el extremo de recepción pasa por un proceso de mapeo de cada pixel de las imágenes a una imagen de un nuevo punto de vista, el extremo de recepción puede conocer un pixel de una imagen obsoleta correspondiente a cada pixel del nuevo punto de vista. Al hacer eso, el extremo de recepción puede extraer información sobre un área de violación de borde de un par de imágenes 3D recién compuestas (imagen izquierda y una imagen derecha).
En particular, aunque un área de violación de borde ubicada en un extremo izquierdo de una imagen 3D no existe en una imagen derecha, el área de violación de borde puede corresponder a un área o un objeto que existe en una imagen izquierda únicamente (Fórmulas 1-1, 2-1). Aunque un área de violación de borde ubicada en un extremo derecho de la imagen 3D no existe en la imagen izquierda, el área de violación de borde puede corresponder a un área o un objeto que existe en una imagen derecha únicamente (Fórmulas 1-2, 2-2). En vez de una imagen recién sintetizada, información de violación de borde de una imagen 3D recibida también puede deducir un área de violación de borde por medio de una téenica tal como coincidencia de característica y similares. (Fórmulas 1-1, 2-2).
En particular, haciendo referencia a (Fórmula 1-1), si un píxel (p) que existe en una imagen izquierda (VI) no existe en una imagen derecha (V2), se puede determinar que el pixel está ubicado en un área de violación de borde lateral izquierda.
Haciendo referencia a (Fórmula 1-2), si un píxel (p) que no existe en una imagen izquierda (VI) existe en una imagen derecha (V2), se puede determinar como el píxel que está ubicado en un área de violación de borde de lado derecho.
Haciendo referencia a (Fórmula 2-1), si el píxel (p) que existe en la imagen izquierda (VI) no existe en una imagen derecha sintetizada (S12), se puede determinar como que el píxel está ubicado en un área de violación de borde de lado izquierdo de una imagen 3D sintetizada.
Haciendo referencia a (Fórmula 2-2), si el píxel (p) que no existe en una imagen izquierda (VI) existe en una imagen derecha sintetizada (S12), se puede determinar como que el pixel está ubicado en un área de violación de borde de lado derecho de una imagen 3D sintetizada.
Un receptor determina si cada pixel existe en un área de violación de borde usando la téenica antes mencionada y entonces se puede determinar un área en la cual ocurre violación de borde con una imagen 3D recibida al último (o imagen 3D sintetizada).
La figura 12 es un diagrama para un caso en el que se realiza manejo de violación de borde realizado por un receptor mismo sin una señalización separada de conformidad con una modalidad de la presente invención.
Un VI y un V2 respectivamente corresponden a una imagen izquierda y una imagen derecha de la imagen 3D estereoscópica recibida. Un VI y un S12 respectivamente corresponden a una imagen izquierda y una imagen derecha de una imagen 3D estereoscópica recién sintetizada. El S12 corresponde a una imagen sintetizada basada en el VI y el V2. El VI es idéntico a una imagen recibida. En este caso, una parte sombreada del dibujo indica un área en la cual ha ocurrido violación de borde.
Por ejemplo, cuando la técnica mencionada en un principio en la figura 11 se aplica, si se determina que por lo menos uno de los pixeles dispuestos verticalmente en un cuadro es incluido en un área de violación de borde, es capaz de configurar un receptor para determinarlo ya que todos los píxeles verticalmente dispuestos están incluidos en el área de violación de borde.
La figura 13 es un diagrama para un receptor de imagen 3D multivistas de conformidad con una modalidad de la presente invención.
Un receptor de imagen 3D de conformidad con una modalidad de la presente invención incluye un sintonizador y desmodulador 13010, un decodificador VSB 13020, un desmultiplexor TP 13030, un decodificador de profundidad 13040/13042/13044, un decodificador de video 13050/13052/13054, una síntesis de vista virtual 3D 13060, un procesador de vista virtual 13070/13072, un selector de video 13080, un manejo de borde 3D y procesamiento de vista 13090, un procesador PSI/PSIP/SI 13100, un procesamiento de info de vista 3D 13110 y/o un formateador de salida 13120.
El sintonizador y desmodulador 13010 reciben una señal de difusión amplia. El sintonizador y demodulador 13010 desmodulan una señal de difusión amplia.
El decodificador VSB 13020 realiza desmodulación de acuerdo con un esquema de modulación. El decodificador VSB 13020 desmodula una señal modulada por un esquema de VSB. Una señal modulada por un esquema OFDM y similar. El decodificador VSB 13020 puede ser incluido en el sintonizador y desmodulador o puede existir por separado.
El desmultiplexor TP 13030 extrae un flujo de transporte o un paquete de flujo de transporte de una señal de difusión amplia.
El decodificador de profundidad 13040/13042/13044 decodifica información relacionada con profundidad incluida en una señal de difusión amplia. La información relacionada con profundidad puede ser transmitida en una forma tal como un paquete de difusión amplia, un paquete de transporte, un segmento de datos, una cabecera de video y una cabecera de unidad de acceso a video. Cada decodificador de profundidad decodifica información de profundidad de cada imagen incluida en cada imagen 3D.
El decodificador de video 13050/13052/13054 decodifica cada imagen de video incluida en una señal de difusión amplia. El decodificador de video decodifica cada imagen incluida en una imagen 3D. Por ejemplo, el decodificador de video puede incluir un decodificador de video de imagen de base 13050 que decodifica una imagen de base (imagen izquierda y una imagen derecha) y/o un decodificador de video de imagen adicional 13052/13054 que decodifica una imagen adicional (si una imagen de base corresponde a una imagen izquierda, una imagen derecha, si una imagen de base corresponde a una imagen derecha, una imagen izquierda). La imagen adicional incluye una imagen de video usada para hacer una imagen 3D de un punto de vista de referencia y/o una imagen de video usada para hacer una imagen 3D de punto de vista adicional.
La síntesis de vista virtual 3D 13060 genera una imagen virtual usando una imagen de base decodificada y/o una imagen adicional. La síntesis de vista virtual 3D 13060 puede generar una imagen de video incluida en una imagen 3D de un punto de vista diferente de un punto de vista transmitido a través de una señal de difusión amplia. La síntesis de vista virtual 3D 13060 puede usar información de señalización incluida en PSI, PSIP o DVB-SI en el curso de generar una imagen de video. La síntesis de vista virtual 3D 13060 puede usar información obtenida por el procesamiento de info de vista 3D 13110 en el curso de generación de una imagen de video.
El procesador de vista virtual 13070/13072 separa imágenes virtuales sintetizadas unas de otras y procesa las imágenes. El procesador de vista virtual 13070/13072 identifica una imagen virtual sintetizada incluida en una imagen 3D de cada punto de vista.
El selector de video 13080 selecciona 2 imágenes de video (flujo de video) que ha de ser emitida en cada unidad de punto de vista 3D de una visualización de multivistas. Una imagen de video o un flujo de video incluido en una imagen 3D de cada punto de vista puede convertirse en una imagen de video decodificada (es decir, incluida en una señal de difusión amplia) o una imagen de video virtual sintetizada.
El procesamiento de vista y manejo de borde 3D 13090 procesa violación de borde capaz de ocurrir en una imagen 3D de cada punto de vista usando uno o más esquemas mencionados en la descripción anterior. La explicación de detalles en un método de procesamiento de la violación de borde es reemplazada por el contenido antes mencionado. El procesamiento de vista y manejo de borde 3D 13090 puede usar información de manejo de borde o información de función usada para generar la información de manejo de borde en el curso de realizar manejo de borde. Si la información relacionada con manejo no es señalizada por un extremo de transmisión, el procesamiento de vista y manejo de borde 3D 13090 extrae un área de violación de borde comparando imágenes de video unas con otras y entonces puede realizar manejo de borde en el área de violación de borde extraida.
El procesador PSI/PSIP/SI 13100 analiza información de señalización incluida en una señal de difusión amplia. La información de señalización incluye información tal como PSI, PSIP, DVB-SI y similares. La PSI, la PSIP y la DVB-SI incluyen una tabla de mapa de programas (PMT), una tabla de canales virtuales (VCT), una tabla de información de eventos (EIT) o una tabla de descripción de servicio (SDT).
El procesamiento de info de vista 3D 13100 obtiene un mensaje SEI de un nivel de video, PSI, PSIP o información relacionada con imagen 3D transmitida a través de un descriptor de un nivel de SI. En este caso, la información relacionada con imagen 3D puede incluir información de mapa de profundidad, un parámetro de cámara, información de manejo de borde, información de función usada para generar la información de manejo de borde, información de procesamiento de imagen 3D y/o información antes mencionada y similar.
El formateador de salida 13120 formatea una imagen 3D de cada punto de vista en el cual el manejo de borde se realiza en una forma de salida y visualiza la imagen 3D.
Como se menciona en la descripción anterior, la presente invención propone un método de organizar y utilizar varias variables y datos necesarios para hacer un ambiente que provea una profundidad apropiada al aplicar un método de manejo de borde a un punto de vista en el cual ocurre violación de borde de acuerdo con cada imagen 3D en una TV 3D de multivistas.
De conformidad con la presente invención, en el caso de mirar una imagen 3D multivistas, se puede manejar una violación de borde en cada punto de vista.
De conformidad con la presente invención, se puede realizar manejo de borde en una imagen 3D de un punto de vista no transmitido por un extremo de transmisión.
De conformidad con la presente invención, un receptor puede realizar manejo de borde aunque no se provea información (información de violación de borde) necesaria para realizar el manejo de borde por un extremo de transmisión.
El método de conformidad con la presente invención puede ser implementada en una forma de un comando de programa capaz de ser realizado a través de varios medios de computadora y puede ser grabado en un medio legible por una computadora.
El medio legible por computadora pueden incluir un comando de programa, un archivo de datos, una estructura de datos y similares independientemente o combinación de los mismos. El comando de programa grabado en el medio puede corresponder a un comando de programas especialmente diseñado y configurado para la presente invención o software de computadora útil públicamente conocido por los expertos en la téenica. Los ejemplos de medios de grabación legibles por la computadora pueden incluir un disco duro, un disco flexible, un medio magnético tal como una cinta magnética, un medio óptico tal como una CD-ROM y un DVD, un medio magneto-óptico tal como un disco floptical, una ROM, una RAM, una memoria instantánea y similares especialmente configuradas para almacenar y realizar un comando de programa. Los ejemplos del comando de programa incluyen no sólo un código de lenguaje de máquina hecho por un compilador, sino también un código de lenguaje de alto nivel implementable por una computadora usando un intérprete y similar. El dispositivo de hardware antes mencionado puede ser configurado para trabajar por uno o más módulos de software para realizar operaciones de la presente invención y viceversa.
Aunque la presente invención se ha descrito e ilustrado aquí con referencia a las modalidades preferidas de la misma, puede no ser limitada a las modalidades específicas antes mencionadas y será evidente para los expertos en la téenica que varias modificaciones y variaciones se pueden hacer en la misma sin apartarse de la esencia y alcance de la invención. Por lo tanto, se pretende que la idea técnica y el prospecto de la presente invención cubra las modificaciones y variaciones de esta invención.
Modo para la invención Como se mencionó en la descripción anterior, los puntos relacionados con la presente invención se han descrito en el mejor modo de la presente invención.
Aplicabilidad industrial La presente invención se puede usar en un campo de industria de difusión digital en su totalidad o en parte.

Claims (12)

REIVINDICACIONES
1. Un método para recibir una señal de difusión de imagen 3D multivistas, que procesa violación de borde en una imagen 3D multivistas, que comprende los pasos de: recibir una señal de difusión para una difusión de imagen 3D multivistas; decodificar primeros datos de imagen izquierda y primeros datos de imagen derecha contenidos en una imagen 3D de un primer punto de vista desde la señal de difusión recibida; analizar información de procesamiento de imagen 3D desde la señal de difusión recibida; generar por lo menos uno o más datos entre segundos datos de imagen izquierda y segundos datos de imagen derecha contenidos en una imagen 3D de un segundo punto de vista usando los primeros datos de imagen izquierda, los primeros datos de imagen derecha y la información de procesamiento de imagen 3D; analizar información de función de detección de área de violación de borde 3D contenida en la información de procesamiento de imagen 3D; extraer un área de violación de borde que ocurre en la imagen 3D del segundo punto de vista usando la información de función de detección de área de violación de borde 3D y manejando la violación de borde del área; y visualizar la imagen 3D del primer punto de vista y la imagen 3D del segundo punto de vista.
2. El método de conformidad con la reivindicación 1, en donde la información de función de detección de área de violación de borde 3D comprende información de tipo de función que identifica un tipo de función usado para extraer el área de la violación de borde e información de coeficiente que indica un valor de coeficiente usado para una función identificada.
3. El método de conformidad con la reivindicación 2, en donde la información de procesamiento de imagen 3D además comprende información de ubicación de una cámara que se espera que capture la segunda imagen izquierda y la segunda imagen derecha e información que indique un área de violación de borde de la imagen 3D del primer punto de vista.
4 . El método de conformidad con la reivindicación 1, en donde la información de procesamiento de imagen 3D además comprende información de manejo de borde que contiene información sobre violación de borde capaz de que ocurra en una imagen 3D de uno o más puntos de vista generados por un receptor.
5. El método de conformidad con la reivindicación 4, en donde la información de manejo de borde comprende información sobre el número de pixeles de un área de violación de borde que existe en una imagen izquierda contenida en la imagen 3D de por lo menos uno o más puntos de vista e información sobre el número de pixeles de un área de violación de borde que existe en una imagen derecha contenida en la imagen 3D de por lo menos uno o más puntos de vista.
6. El método de conformidad con la reivindicación 5, en donde la información de manejo de borde además comprende información que designa un método de manejo de la violación de borde que existe en la imagen izquierda y la imagen derecha contenida en la imagen 3D de por lo menos uno o más puntos de vista.
7. El método de conformidad con la reivindicación 6, en donde la información de manejo de borde además comprende información que identifica una disparidad mínima de la imagen 3D de los por lo menos uno o más puntos de vista después de que la violación de borde que existe en la imagen izquierda y la imagen derecha contenidas en la imagen 3D de los por lo menos uno o más puntos de vista es manejada.
8. El método de conformidad con la reivindicación 7, en donde la información de procesamiento de imagen 3D es transmitida a través de un mensaje de SEI (información de incremento complementario).
9. El método de conformidad con la reivindicación 7, en donde la información de procesamiento de imagen 3D es transmitida a través de una PMT (tabla de mapa de programas), una VCT (tabla de canal virtual), una EIT (tabla de información de evento) o una SDT (tabla de descripción de servicio).
10. Un método para recibir una señal de difusión de imagen 3D multivistas, que procesa violación de borde en una imagen 3D multivistas, que comprende los pasos de: recibir una señal de difusión para una difusión de imagen 3D multivistas; decodificar primeros datos de imagen izquierda y primeros datos de imagen derecha contenidos en una imagen 3D de un primer punto de vista desde la señal de difusión recibida; analizar información de procesamiento de imagen 3D desde la señal de difusión recibida; generar por lo menos uno o más datos entre segundos datos de imagen izquierda y segundos datos de imagen derecha contenidos en una imagen 3D de un segundo punto de vista usando los primeros datos de imagen izquierda, los primeros datos de imagen derecha y la información de procesamiento de imagen 3D, en donde el paso de generar los por lo menos uno o más datos entre los segundos datos de imagen izquierda y los segundos datos de imagen derecha contenidos en la imagen 3D del segundo punto de vista comprende los pasos de mapear pixeles contenidos en la imagen 3D del primer punto de vista a la imagen 3D del segundo punto de vista y extraer un área de violación de borde que ocurre en la imagen 3D del segundo punto de vista del proceso de mapeo; manejar la violación de borde de la imagen 3D del segundo punto de vista; y visualizar la imagen 3D del primer punto de vista y la imagen 3D del segundo punto de vista.
11. El método de conformidad con la reivindicación 10, en donde la información de procesamiento de imagen 3D comprende información sobre un parámetro de cámara de una cámara que captura la imagen 3D del primer punto de vista y en donde el paso de generar los por lo menos uno o más datos entre los segundos datos de imagen izquierda y los segundos datos de imagen derecha contenidos en la imagen 3D del segundo punto de vista genera los por lo menos uno o más datos entre los segundos datos de imagen izquierda y los segundos datos de imagen derecha contenidos en la imagen 3D del segundo punto de vista, usando la información en el parámetro de cámara.
12. El método de conformidad con la reivindicación 10, en donde el paso de extraer el área de la violación de borde que ocurre en la imagen 3D del segundo punto de vista respectivamente detecta pixeles contenidos en una imagen izquierda y una imagen derecha de la imagen 3D del segundo punto de vista y detecta un área en la cual un pixel que existe en la imagen izquierda mientras no existe en la imagen derecha o un pixel que existe en la imagen derecha mientras no existe en la imagen izquierda está contenido como el área de la violación de borde. RESUMEN DE LA INVENCIÓN Un método para recibir una señal de difusión de imagen 3D para procesar violación de borde en una imagen 3D multivistas comprende los pasos de: recibir una señal de difusión para difundir la imagen 3D multivistas; decodificar a partir de la señal de difusión recibida primeros datos de imagen izquierda y primeros datos de imagen derecha que se incluyen en la imagen 3D de una primera vista; analizar a partir de la señal de difusión recibida información de procesamiento de imagen 3D; generar segundos datos de imagen izquierda y/o segundos datos de imagen derecha que se incluyen en una imagen 3D de una segunda vista, usando los primeros datos de imagen izquierda, los primeros datos de imagen derecha y la información de procesamiento de imagen 3D; analizar información de función de detección de área de violación de borde 3D incluida en los datos de procesamiento de imagen 3D; y manejar violación de borde del área usando la información de función de detección de área de violación de borde 3D.
MX2015004381A 2012-10-25 2013-10-25 Metodo y aparato para procesamiento de fenomeno de violacion de borde en servicio de television en tercera dimension multivistas. MX345274B (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261718681P 2012-10-25 2012-10-25
PCT/KR2013/009597 WO2014065635A1 (ko) 2012-10-25 2013-10-25 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치

Publications (2)

Publication Number Publication Date
MX2015004381A true MX2015004381A (es) 2015-06-10
MX345274B MX345274B (es) 2017-01-24

Family

ID=50544933

Family Applications (1)

Application Number Title Priority Date Filing Date
MX2015004381A MX345274B (es) 2012-10-25 2013-10-25 Metodo y aparato para procesamiento de fenomeno de violacion de borde en servicio de television en tercera dimension multivistas.

Country Status (8)

Country Link
US (1) US9578300B2 (es)
EP (1) EP2914003A4 (es)
JP (1) JP6139691B2 (es)
KR (1) KR20150079577A (es)
CN (1) CN104769943B (es)
CA (1) CA2888147A1 (es)
MX (1) MX345274B (es)
WO (1) WO2014065635A1 (es)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101999137B1 (ko) * 2013-01-03 2019-07-11 삼성전자주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법
KR102644833B1 (ko) * 2016-10-06 2024-03-07 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템
EP3534817A4 (en) * 2016-11-04 2020-07-29 Intuitive Surgical Operations Inc. RECONFIGURABLE DISPLAY IN COMPUTER-BASED REMOTE-CONTROLLED SURGERY
JP6995294B1 (ja) 2020-11-18 2022-01-31 隆志 矢野 自動車のための、表示装置の映像の視認がステアリングホイール等の障害物によって阻害されない操縦システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100899422B1 (ko) 2007-08-06 2009-05-27 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
US9288470B2 (en) * 2008-12-02 2016-03-15 Lg Electronics Inc. 3D image signal transmission method, 3D image display apparatus and signal processing method therein
JP2011228862A (ja) 2010-04-16 2011-11-10 Sony Corp データ構造、画像処理装置、画像処理方法、およびプログラム
KR101685343B1 (ko) 2010-06-01 2016-12-12 엘지전자 주식회사 영상표시장치 및 그 동작방법
WO2012007867A1 (en) * 2010-07-12 2012-01-19 Koninklijke Philips Electronics N.V. Signaling for multiview 3d video
KR20120023431A (ko) * 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치
KR20120089921A (ko) * 2010-12-23 2012-08-16 한국전자통신연구원 다이나믹 프로그래밍 방식을 이용하는 스테레오 매칭 시스템 및 그 방법
US9582928B2 (en) * 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
WO2012099108A1 (ja) 2011-01-17 2012-07-26 シャープ株式会社 多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法、多視点画像復号方法およびプログラム
US9392249B2 (en) 2011-01-25 2016-07-12 Lg Electronics Inc. Method and apparatus for transmitting/receiving a digital broadcasting signal
JP2012186781A (ja) 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法
KR20120101881A (ko) 2011-03-07 2012-09-17 삼성전자주식회사 영상 디스플레이 방법 및 장치

Also Published As

Publication number Publication date
EP2914003A4 (en) 2016-11-02
MX345274B (es) 2017-01-24
WO2014065635A1 (ko) 2014-05-01
EP2914003A1 (en) 2015-09-02
US9578300B2 (en) 2017-02-21
CN104769943A (zh) 2015-07-08
KR20150079577A (ko) 2015-07-08
CA2888147A1 (en) 2014-05-01
JP2015536608A (ja) 2015-12-21
US20150271464A1 (en) 2015-09-24
JP6139691B2 (ja) 2017-05-31
CN104769943B (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
KR101899821B1 (ko) 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
US8248461B2 (en) Receiving system and method of processing data
US9578304B2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
KR20120128607A (ko) 방송 수신기 및 3d 이미지 디스플레이 방법
US9578305B2 (en) Digital receiver and method for processing caption data in the digital receiver
CN102186023B (zh) 一种双目立体字幕处理方法
CA2824829C (en) Method and apparatus for transmitting/receiving a digital broadcasting signal
KR101844232B1 (ko) 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치
US9578300B2 (en) Method and apparatus for processing edge violation phenomenon in multi-view 3DTV service
US20130293687A1 (en) Stereoscopic image processing apparatus, stereoscopic image processing method, and program

Legal Events

Date Code Title Description
FG Grant or registration