MX2015003590A - Dispositivo y metodo para el procesamiento de imagenes. - Google Patents

Dispositivo y metodo para el procesamiento de imagenes.

Info

Publication number
MX2015003590A
MX2015003590A MX2015003590A MX2015003590A MX2015003590A MX 2015003590 A MX2015003590 A MX 2015003590A MX 2015003590 A MX2015003590 A MX 2015003590A MX 2015003590 A MX2015003590 A MX 2015003590A MX 2015003590 A MX2015003590 A MX 2015003590A
Authority
MX
Mexico
Prior art keywords
section
image
vector
block
predicted
Prior art date
Application number
MX2015003590A
Other languages
English (en)
Other versions
MX339432B (es
Inventor
Yoshitomo Takahashi
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of MX2015003590A publication Critical patent/MX2015003590A/es
Publication of MX339432B publication Critical patent/MX339432B/es

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

se proporciona un dispositivo de procesamiento de imagen, que incluye una sección de generación del vector previsto, configurado para generar un vector previsto para el uso en la codificación de un vector (MV) de movimiento de un bloque actual escalando el MV de un bloque de referencia, el cual es un bloque de una posición desplazada de una posición del bloque actual en una imagen de una vista diferente, por una disparidad obtenida de una periferia del bloque actual en una imagen de una vista sin base conforme a un destino de referencia del bloque actual y un destino de referencia del bloque de referencia, una sección de codificación MV configurada para codificar el MV del bloque actual utilizando el vector previsto generado por la sección de generación del vector previsto, y una sección de codificación configurada para generar un flujo codificado mediante la codificación de la imagen en unidades que tienen una estructura jerárquica.

Description

DISPOSITIVO Y MÉTODO PARA EL PROCESAMIENTO DE IMÁGENES CAMPO TÉCNICO La presente descripción se refiere a un dispositivo y método para el procesamiento de imágenes y más particularmente a un dispositivo y método para el procesamiento de imágenes configurado para permitir la eficiencia de codificación de la codificación o decodificación de un vector de movimiento (MV) en una imagen de puntos de vista múltiples a mejorar.
Recientemente, los dispositivos para comprimir y codificar una imagen adoptando un esquema de codificación que maneja la información de imagen digitalmente y realiza la compresión por una transformada ortogonal tal como la transformada de coseno discreto y compensación de movimiento usando redundancia especifica de información de imágenes para el propósito de transmisión de información y acumulación con alta eficiencia cuando el manejo de la información de imagen digital se ha vuelto extendido. El Grupo de Expertos de Imágenes en Movimiento (MPEG), H.264, Parte 10 MPEG-4 (Codificación de Video Avanzado) (en lo sucesivo denominado como H.264/AVC), y los similares son ejemplos de tales esquemas de codificación.
Por lo tanto, para el propósito de mejorar la eficiencia de codificación comparada a H.264/AVC, la estandarización de un esquema de codificación se refiere a él como una codificación de video de alta eficiencia (HEVC) por la Codificación de Video con Equipo de Colaboración en Conjunto (JCTVC), que es una organización de estandarización en conjunto del Sector de Estandarización de Telecomunicaciones en conjunto con Telecomunicación Internacional (ITU-T) y la Organización Internacional para la Estandarización (ISO)/Comisión Electrotéenica Internacional (IEC), está en progreso actualmente.
En la extracción actual de HEVC, esquemas para mejorar el rendimiento de codificación de punto de vista no base que cambia un nivel de unidad de codificación (CU) a medida que se ha investigado una extensión tridimensional (3D) Literatura 1 Sin Patente.
Como una herramienta para tal esquema, hay una predicción de movimiento de puntos de vista ínter (IVMP) en que los vectores codificados de puntos de vista diferentes sirven como candidatos para un vector previsto de un punto de vista no base.
LISTA DE CITACIÓN Literatura no de patente Literatura 1 No de Patente: Gerhard Tech, Krzysztof Wegner, Ying Chen, Schoon Yea, "Extracción 1 de Descripción de Modelo de Prueba 3D-HEVC", JCT3V-Al005_d0, Equipo Colaborativo en Conjunto con el Desarrollo de Extensión de Codificación de Video 3D de ITU-T SG16 WP3 e ISO/IEC JTC/SC29/WG11 1er encuentro: Estocolmo, SE, 16-20 de Julio del 2012.
BREVE DESCRIPCIÓN DE LA INVENCIÓN Problema téenico Sin embargo, en IVMP, es posible ajustar un MV de una unidad de predicción de referencia (PU) como un candidato para un vector previsto de una PU actual solo cuando el conteo de la orden de imagen de referencia del MV de la PU actual es la misma como un POC de referencia de un MV de un PU de referencia de un punto de vista diferente desde un punto de vista actual.
La presente descripción se ha elaborado en vista de las circunstancias anteriores y permite la eficiencia de codificación o de decodificación de un MV en un punto de vista no base a mejorar.
Solución al problema Un dispositivo de procesamientos de imágenes de acuerdo a un primer aspecto de la presente descripción incluye una sección de generación del vector previsto configurado para generar un vector previsto para usar en la codificación del vector de movimiento (MV) de un blogue actual escalando el MV de un bloque de referencia, que es un bloque de una posición cambiada de una posición del bloque actual en una imagen de un punto de vista diferente, por una disparidad obtenida de una periferia del bloque actual en una imagen de un punto de vista no base de acuerdo a una destinación de referencia del bloque actual y una destinación de referencia del bloque de referencia, una sección de codificación MV configurada para codificar el MV del bloque actual usando el vector previsto generado por la sección de generación del vector previsto, y una sección de codificación configurada para generar una corriente codificada codificando la imagen en unidades que tiene una estructura jerárquica.
La sección de generación del vector previsto puede generar el vector previsto escalando el MV del bloque de referencia de acuerdo a un conteo de la orden de imagen de imágenes de referencia (POC) del bloque actual y una imagen POC de referencia del bloque y emplear el MV escalado como un candidato para el vector previsto.
Una sección de transmisión configurada para transmitir el MV del bloque actual codificado por la sección de codificación MV y la corriente codificada generada por la sección de codificación además puede ser incluida.
Un primer método de procesamiento de imágenes de acuerdo a la presente descripción incluye generación, por un dispositivo de procesamiento de imágenes, un vector previsto para usar en la codificación de un MV de un bloque de corriente escalando el MV de un bloque de referencia, que es un bloque de una posición cambiada desde una posición del bloque actual en una imagen de un punto de vista diferente, por una disparidad obtenida desde una periferia del bloque actual en una imagen de un punto de vista no base de acuerdo a una destinación de referencia del bloque actual y una destinación de referencia del bloque de referencia, codificación, por el dispositivo de procesamiento de imágenes, el MV del bloque actual que usa el vector previsto generado, y la generación, por el dispositivo de procesamiento de imágenes, una corriente codificada codificando la imagen en unidades que tienen una estructura jerárquica.
Un segundo dispositivo de procesamiento de imágenes de acuerdo a la presente descripción incluye una sección de generación del vector previsto configurado para generar un vector previsto para usar en la codificación de un MV de un bloque actual escalando el MV de un bloque de referencia, que es un bloque de una posición cambiada desde una posición el bloque actual en una imagen de un punto de vista diferente, por una disparidad obtenida desde una periferia del bloque actual en una imagen de un punto de vista no base de acuerdo a una destinación de referencia del bloque actual y una destinación de referencia del bloque de referencia, una sección de decodificación MV configurada para decodificar el MV del bloque de corriente que usa el vector previsto generado por la sección de generación del vector previsto, y una sección configurada para generar una imagen decodificando y codificando la corriente codificada en unidades que tienen una estructura jerárquica.
La sección de generación del vector previsto puede generar el vector previsto escalando el MV del bloque de referencia de acuerdo a una imagen POC de referencia del bloque de corriente actual y una imagen POC de referencia del bloque de referencia y emplear el MV escalado como un candidato para el vector previsto.
Una sección de recepción configurada para recibir la corriente codificada y el MV codificado del bloque actual además puede ser incluida.
Un método de procesamiento de imágenes de acuerdo a un segundo aspecto de la presente descripción incluye generar, por un dispositivo de procesamiento de imágenes, un vector previsto para usar en la codificación de un MV de un bloque actual escalando el MV de un bloque de referencia, que es un bloque de una posición cambiada desde una posición del bloque actual en una imagen de un punto de vista diferente, por una disparidad obtenida de una periferia del bloque actual en una imagen de un punto de vista no base de acuerdo a una destinación de referencia del bloque actual y una destinación de referencia del bloque de referencia, decodificación, por el dispositivo de procesamiento de imágenes, el MV del bloque de corriente que usa el vector previsto generado, y la generación por el dispositivo de procesamiento de imágenes, una imagen por decodificación y codificación de una corriente codificada en unidades que tiene una estructura jerárquica.
En el primer aspecto de la presente descripción, un vector previsto para usar en la codificación de un MV de un bloque de corriente se genera escalando el MV de un bloque de referencia, que es un bloque de una posición cambiada desde una posición del bloque de corriente en una imagen de un punto de vista diferente, por una disparidad obtenida desde una periferia del bloque actual en una imagen de un punto de vista no base de acuerdo a una destinación de referencia del bloque actual y una destinación de referencia del bloque de referencia. Por lo tanto el MV del bloque actual se codifica usando el vector previsto generado, y una corriente codificada se genera por codificar la imagen en unidades que tienen una estructura jerárquica.
En el segundo aspecto de la presente descripción, un vector previsto se genera por el uso en la codificación de un MV de un bloque actual escalando el MV de un bloque de referencia, que es un bloque de una posición cambiada desde una posición del bloque actual en una imagen de un punto de vista diferente, por una disparidad obtenida desde una periferia del bloque de corriente en una imagen de un punto de vista no base de acuerdo a una destinación de referencia del bloque actual y una destinación de referencia del bloque de referencia.
También, el dispositivo de procesamiento de imágenes descrito anteriormente puede ser un dispositivo independiente o un bloque interno que constituye un dispositivo de codificación de imágenes o un dispositivo de decodificación de imágenes.
EFECTOS VENTAJOSOS DE LA INVENCIÓN De acuerdo al primer aspecto de la presente descripción, es posible codificar una imagen. En particular, es posible mejorar la eficiencia de codificación de codificación o decodificación de un MV en un punto de vista múltiple de imagen.
BREVE DESCRIPCIÓN DE LOS DIBUJOS La figura 1 es un diagrama que ilustra un IVMP como teenología convencional.
La figura 2 es un diagrama que ilustra un IVMP como tecnología convencional.
La figura 3 es un diagrama que ilustra un esquema de la presente tecnología.
La figura 4 es un diagrama de bloques que ilustra un ejemplo de configuración principal de un codificador que constituye un dispositivo de codificación de imágenes de punto de vista múltiple al que se aplica la presente tecnología.
La figura 5 es un diagrama de bloques que ilustra un ejemplo de configuración de una predicción de movimiento/sección de compensación.
La figura 6 es un diagrama de bloques que ilustra un ejemplo de configuración de una sección de predicción del vector de modo (AMVP) de predicción MV avanzada.
La figura 7 es un diagrama de bloques que ilustra un ejemplo de configuración de una sección de generación del vector previsto.
La figura 8 es un diagrama de flujo que ilustra un ejemplo de un flujo de un proceso de codificación.
La figura 9 es un diagrama de flujo que ilustra un proceso de predicción/compensación de movimiento.
La figura 10 es un diagrama de flujo que ilustra un proceso de predicción del vector de un modo AMVP.
La figura 11 es un diagrama de flujo que ilustra un proceso de generar un vector previsto no espacialmente.
La figura 12 es un diagrama de flujo que ilustra un proceso de generación de un vector LO previsto.
La figura 13 es un diagrama de flujo que ilustra un proceso de generar un vector Ll previsto.
La figura 14 es un diagrama de bloques que ilustra un ejemplo de configuración principal de un decodificador que constituye un dispositivo de decodificación de imágenes de punto de vista múltiple al cual se aplica la presente teenología.
La figura 15 es un diagrama de bloques que ilustra un ejemplo de configuración de una sección de compensación.
La figura 16 es un diagrama de bloques que ilustra un ejemplo de configuración de una sección de predicción del vector del modo AMVP.
La figura 17 es un diagrama de bloques que ilustra un ejemplo de configuración de una sección de generación del vector previsto.
La figura 18 es un diagrama de flujo que ilustra un ejemplo de un flujo de un proceso de decodificación.
La figura 19 es un diagrama de flujo que ilustra un proceso de compensación de movimiento.
La figura 20 es un diagrama de flujo que ilustra un proceso de predicción del vector del modo AMVP.
La figura 21 es un diagrama de flujo que ilustra un proceso de generación de un vector previsto no espacialmente.
La figura 22 es un diagrama de flujo que ilustra un ejemplo de configuración principal de un ordenador.
La figura 23 es un diagrama de bloques que ilustra un ejemplo de una configuración de un dispositivo de televisión.
La figura 24 es un diagrama de bloques que ilustra un ejemplo de una configuración de un teléfono móvil.
La figura 25 es un diagrama de bloques que ilustra un ejemplo de una configuración esquemática de un dispositivo de grabación/reproducción.
La figura 26 es un diagrama de bloques que ilustra un ejemplo de una configuración esquemática de un dispositivo de captura de imágenes.
La figura 27 es un diagrama de bloques que ilustra un ejemplo de uso de codificación de video escalable.
La figura 28 es un diagrama de bloques que ilustra otro ejemplo de un uso de codificación de video escalable.
La figura 29 es un diagrama de bloques que ilustra aun 5 otro ejemplo de un uso de codificación de video escalable.
La figura 30 es un diagrama de bloques que ilustra un ejemplo de una configuración de un conjunto de video.
La figura 31 es un diagrama de bloques que ilustra un ejemplo de una configuración esquemática de un procesador de 10 video.
La figura 32 es un diagrama de bloques que ilustra otro ejemplo de la configuración esquemática del procesador de video.
La figura 33 es un diagrama explicativo que ilustra una ,15 configuración de un sistema de reproducción de contenido.
La figura 34 es un diagrama explicativo que ilustra un flujo de datos en el sistema de reproducción de contenido.
La figura 35 es un diagrama explicativo que ilustra un ejemplo especifico de la descripción de presentación de medios 20 (MPD).
La figura 36 es un diagrama de bloques funcional que ilustra una configuración de un servidor de contenido del sistema de reproducción de contenido.
La figura 37 es un diagrama de bloques funcional que 25 ilustra una configuración de un dispositivo de reproducción de contenido del sistema de reproducción de contenido.
La figura 38 es un diagrama de bloques funcional que ilustra la configuración del servidor de contenido del sistema de reproducción de contenido.
La figura 39 es un diagrama de secuencia que ilustra un ejemplo de proceso de comunicación por cada dispositivo de un sistema inalámbrico de comunicación.
La figura 40 es un diagrama de secuencia que ilustra un ejemplo de proceso de comunicación por cada dispositivo de un sistema inalámbrico de comunicación.
La figura 41 es un diagrama que ilustra esquemáticamente un ejemplo de configuración de un formato de cuadro a transmitir y recibir en un proceso de comunicación por cada dispositivo del sistema inalámbrico de comunicación.
La figura 42 es un diagrama de secuencia que ilustra un ejemplo de proceso de comunicación por cada dispositivo del sistema inalámbrico de comunicación.
DESCRIPCIÓN DE LAS MODALIDADES En lo sucesivo, se describirán los modos (en lo sucesivo denominados como modalidades) para llevar a cabo la presente descripción. También, la descripción se dará en el orden siguiente. 1. Esquemas de la teenología convencional y de la presente tecnología 2. Primera modalidad (dispositivo de codificación de imágenes de puntos de vista múltiples) 3. Segunda modalidad (dispositivo de decodificación de imágenes de puntos de vista múltiples) 4. Tercera modalidad (ordenador) 5. Ejemplo de aplicación 6. Ejemplo de aplicación de codificación escalable 7. Sexta modalidad (ajustar/unidad/módulo/procesador) 8. Ejemplo de aplicación del sistema de reproducción de contenido de corriente adaptada dinámica MPEG sobre el protocolo de transferencia de hipertexto (HTTP) (DASH). 9. Ejemplo de aplicación del sistema inalámbrico de comunicación del estándar (Wi-Fi) inalámbrica de fidelidad. 1. Esquema de la teenología convencional y de la presente tecnología Descripción de la tecnología convencional Como un esquema de mejorar el rendimiento de codificación de un punto de vista no base, hay un IVMP en que un vector de codificación de un punto de vista diferente sirve como un candidato para un vector previsto del punto de vista no base.
IVMP se describirá con referencia a la figura 1. En un ejemplo de la figura 1 el eje vertical representa un punto de vista, un punto de vista VO representa un punto de vista base y un punto de vista VI representa un punto de vista no base. El eje horizontal representa tiempos TI a T4.
El punto de vista VO base ya se codificó. Entonces, la predicción de movimiento y la compensación de un PU actual (Curr PU) de una imagen del tiempo T3 del punto de vista VI no base se realiza y MVs de las direcciones LO y L1 se obtienen. En este tiempo, un POC de una imagen del tiempo TI del mismo punto de vista VI es Ref 1 (Rev POC =1), un POC de una imagen del tiempo T2 es Ref 0 (Ref POC = 0), y un POC de una imagen de tiempo T4 es Ref 0 (Ref POC =0).
Un MV de la dirección LO del PU actual obtenida indica una imagen de Ref 0 (Ref POC = 0) del tiempo T2, y un MV de la dirección L1 indica una imagen de Ref (Ref POC =0) del tiempo T4.
En IVMP, es posible añadir el MV de la PU actual a un MV codificado en el punto de vista base, además a un MV que sirve como un candidato en el AMVP convencional, como un candidato para un vector previsto obtenido en el tiempo de la codificación.
Esto es, porque hay una correlación en el movimiento en el punto de vista V0 base y el punto de vista VI no base, cada uno de los MVs MVL0 y h MVLi de un PU de referencia (Cor PU) en el punto de vista V0 base del mismo tiempo para la PU actual en el punto de vista VI no base puede servir como un candidato para el vector previsto. Aquí, la PU de referencia del punto de vista V0 base se refiere a una PU de una posición cambiada por un vector de disparidad desde la misma posición como la de una PU en una imagen del punto de vista no base después que se encontró el vector de disparidad de entre MVs de PUs alrededor de una PU actual (esto es, PUs vecinas que colinda con la PU actual).
Sin embargo, como se ilustra en la figura 1, esto es solo el caso en que los tiempos T2 y T4 de una imagen en que MVs MVL0 y VLI de la PU de referencia en el punto de vista VO base se refieren a ellos como son los mismos como los tiempos T2 y T4 de una imagen en que se refiere a una MV de la PU actual en el punto de vista VI no base.
Esto es, es posible designar el MV de la PU de referencia como un candidato para una MV prevista de la PU actual solo cuando un Ref POC (Ref 0) de la PU actual es la misma como un Ref POC (Ref 0) de la PU de referencia.
En consecuencia, como se ilustra en la figura 2, se considera el caso en que cada una de ReFIdx LO y ReFIdx L1 de MVs MVL0 y MVLI de la PU de referencia del tiempo T3 en la vista VO es 0.
En este caso, cuando ReFIdx LO de la MV de la PU actual del tiempo T3 del punto de vista no base es 1 y ReFIdx Ll es 0, un Ref POC de un vector previsto PMV Llde la PU actual es la misma como la del MV MVLI de la PU de referencia. Por lo tanto, la MV MVLi de la PU de referencia del tiempo T3 en el punto de vista V0 base se puede usar como un candidato para el vector previsto de la PU actual.
Sin embargo, porque una Ref POC del vector PMV LO previsto de la PU actual es diferente del de la MV MVL0 de la PU de referencia, la MV MVL0 de la PU de referencia no está disponible (falso) y la MV MVL0 de la PU de referencia no se designa como el vector previsto. Esto es, hay una correlación entre un punto de vista y un punto de vista no base como se describe anteriormente, pero la eficiencia de codificación se degrada porque es difícil generar un vector previsto que tiene una correlación alta.
Por lo tanto, en la presente teenología, la MV de la PU de referencia se escala y el MV escalado sirve como un candidato para el vector previsto de la PU actual cuando la Ref POC (Ref 0) de la PU actual es diferente de la Ref POC (Ref 0) de la PU de referencia en un punto de vista diferente.
Por ejemplo, en el ejemplo de la figura 3, como en el ejemplo de la figura 2, un Ref POC del vector PMV LO previsto de la PU actual es diferente del de MV MVLo de la PU de referencia. Por lo tanto, en la presente tecnología, la MV MVLo de la PU de referencia se escala de acuerdo a las destinaciones de referencia de la PU actual y la PU de referencia. Esto es, el MV MVL0 de la PU de referencia se escala de acuerdo a una distancia entre la Ref POCs de la PU actual y la PU de referencia, y la MVL0 escalada se usa como un candidato para el vector previsto de la PU actual.
Por lo que, es posible mejorar la eficiencia de codificación de un MV debido a que se puede generar a un vector previsto que tiene una correlación alta.
Esto es, porque las características de la cámara son ligeramente diferentes en puntos de vista diferentes, las imágenes referidas pueden ser diferentes incluso por MVs del mismo objetivo. En este caso, hay un efecto significante en la mejora de la eficiencia de codificación porque MVS tiene una correlación alta que se puede escalar y usar sin hacer el MVs no disponible. 2. Primera modalidad Ejemplo de configuración del dispositivo de codificación de imágenes de puntos de vista múltiples La figura 4 ilustra una configuración de una modalidad de un codificador que constituye el dispositivo de codificación de imagen de punto de vista múltiple como un dispositivo de procesamiento de imágenes al que se aplica la presente descripción.
El dispositivo de codificación de imágenes de punto de vista múltiple, por ejemplo, incluye codificadores 11-1 a 11-M para codificar imágenes de punto de vista múltiple.
El codificador 11-1 codifica una imagen tal como una imagen de punto de vista múltiple capturada en un esquema HEVC. Por ejemplo, una imagen a color de un punto de vista no base de una unidad de cuadro se introduce como una imagen de entrada al codificador 11-1, y el codificador 11-1 codifica la imagen a color del punto de vista no base.
Por ejemplo, los codificadores 11-M y 11-N para codificar las imágenes a color de otros puntos de vista (que incluyen un punto de vista base) de unidades de cuadro también se configuran similar al codificador 11-1.
El codificador 11-1 se configura para incluir una sección 21 de conversión (A/D) analógica/digital, una sección 21 de conversión, una memoria 22 intermedia de reordenamiento de imágenes, una sección 23 de cálculo, una sección 24 de transformada ortogonal, una sección 25 de cuantificación, una sección 26 de codificación sin perdidas, una memoria 27 intermedia de acumulación, una sección 28 de cuantificación inversa, una sección 29 de transformada ortogonal inversa, una sección 30 de cálculo. Además, el codificador 11-1 se configura para incluir un filtro 31 en bucle, una memoria 32-1 intermedia de imagen decodificada (DPB), una sección 33 de predicción imagen intra, una sección 34 de predicción/compensación de movimiento, una sección 35 de selección de imagen prevista, y una memoria 36-1 MV.
Se suministra secuencialmente una imagen de la imagen de color del punto de vista no base que es una imagen (imagen en movimiento) a codificar a la sección 21 de conversión A/D en el orden de pantalla.
Cuando la imagen suministrada a la sección 21 de conversión A/D es una señal análoga, la sección 22 de conversión A/D convierte la señal análoga de acuerdo a la conversión A/D y suministra la señal análoga convertida a la memoria 112 intermedia de reordenamiento de imagen.
Por ejemplo, el orden de codificación se suministra a la memoria 22 intermedia de reordenamiento de imagen como información de codificación de una sección de codificación de sintaxis de etapa previa (no ilustrada) o las similares. La memoria 22 intermedia de reordenamiento de imagen almacena temporalmente una imagen desde la sección 21 de conversión A/D y lee una imagen de acuerdo a una estructura de un grupo de imágenes (GOP) indicado por el orden de codificación suministrado, de modo que se realiza un proceso de reordenamiento de una secuencia de imagen del orden de pantalla al orden de codificación (orden de decodificación).
La lectura de imagen de la memoria 22 intermedia de reordenamiento de imagen se suministra a la sección 23 de cálculo, la sección 33 de predicción de imagen de imagen intra, y la sección 34 de predicción/compensación de movimiento.
Además al suministro de una imagen de la memoria 22 intermedia de reordenamiento de imagen, una imagen prevista generada por la sección 33 de predicción de imagen intra o la sección 34 de predicción/compensación de la sección 35 de selección de imagen prevista se suministra a la sección 23 de cálculo.
La sección 23 de cálculo designa la lectura de imagen de la memoria 22 intermedia de reordenamiento de imagen como una imagen objetivo que es una imagen a codificar y designar secuencialmente un bloque macro (unidad de codificación más grande (LCU)) que constituye la imagen objetivo como el bloque objetivo a codificar.
Entonces, la sección 23 de cálculo realiza la codificación de predicción después de calcular un valor de sustracción sustrayendo un valor de pixel de la imagen prevista suministrada desde la sección 35 de selección de imagen prevista desde el valor de pixel del bloque objetivo si es necesario, y suministra un resultado de codificación de predicción a la sección 24 de transformada ortogonal.
La sección 24 de transformada ortogonal realiza una transformada ortogonal tal como una transformada de coseno discreta o una transformada Karhunen-Loeve, que usa TU como una unidad, en (un residuo obtenido sustrayendo la imagen prevista o un valor de pixel de) un bloque objetivo de la sección 23 de cálculo, y suministra un coeficiente de transformada obtenido como un resultado del mismo a la sección 115 de cuantificación.
La sección 25 de cuantificación cuantifica el coeficiente de transformada suministrada de la sección 24 de transformada ortogonal y suministra un valor de cuantificación obtenido como un resultado del mismo a la sección 26 de codificación sin perdidas.
La sección 26 de codificación sin perdidas realiza la codificación sin perdidas tal como la codificación de longitud variable (por ejemplo, codificación de longitud de variable de contexto adaptado (CAVLC) o los similares) o la codificación aritmética (por ejemplo, codificación aritmética binaria de contexto adaptado (CABAC) o los similares) sobre un valor de cuantificación de la sección 25 de cuantificación, y suministra datos codificados obtenidos como un resultado del mismo a la memoria 27 intermedia de acumulación.
También, además al suministro de un valor de cuantificación de la sección 25 de cuantificación, la información de encabezado incluye un encabezado de datos codificados desde la sección 33 de predicción de intra imágenes o la sección 34 de predicción/compensación de movimiento se suministra a la sección 26 de codificación sin perdidas.
La sección 26 de codificación sin perdidas codifica la información de encabezado de la sección 33 de predicción de imagen intra o la sección 34 de predicción/compensación de movimiento e incluye la información de encabezado codificada en el encabezado de los datos codificados.
La memoria 27 intermedia de acumulación almacena temporalmente los datos codificados desde la sección 26 de codificación sin perdidas y emite los datos codificados almacenados en una tasa de datos predeterminada. También, la memoria 27 intermedia de acumulación funciona como una sección de transmisión.
La emisión de datos codificados desde la memoria 27 intermedia de acumulación se multiplexan con datos codificados de otro punto de vista codificado por el otro codificador 11-M o los similares y los datos codificados multiplexados se transmiten al dispositivo de decodificación de imágenes de vista múltiple como se describirá después.
El valor de cuantificación obtenido por la sección 25 de cuantificación se suministra a la sección 28 de cuantificación inversa asi como la sección 26 de codificación sin perdidas, y la decodificación local se realiza en la sección 28 de cuantificación inversa, la sección 29 de transformada ortogonal inversa, y la sección 30 de cálculo.
Esto es, la sección 28 de cuantificación inversa cuantifica inversamente el valor de cuantificación desde la sección 25 de cuantificación en un coeficiente de transformada y suministra el coeficiente de transformada desde la sección 28 de cuantificación inversa y suministra el coeficiente de transformada transformado hasta la sección 30 de cálculo.
La sección 29 de transformada ortogonal inversa realiza una transformada ortogonal inversa en el coeficiente de transformada desde la sección 28 de cuantificación inversa y suministra el coeficiente de transformada transformado a la sección 30 de cálculo.
La sección 30 de cálculo obtiene una imagen decodificada en que un bloque objetivo se decodifica (decodificado localmente) añadiendo el valor de pixel de la imagen prevista suministrada desde la sección 35 de selección de imagen prevista a los datos suministrados desde la sección 29 de transformada ortogonal inversa si es necesario, y suministra la imagen decodificada al filtro 31 de bucle.
El filtro 31 de bucle, por ejemplo, se constituye de un filtro de desbloqueo. También, por ejemplo, cuando se adopta el esquema HEVC, el filtro 31 de bucle se constituye de un filtro de desbloqueo y un filtro de desplazamiento adaptado (desplazamiento adaptado de muestra (SAO)). El filtro 31 de bucle remueve (reduce) la distorsión de bloque que ocurre en la imagen decodificada filtrando la imagen decodificada desde la sección 30 de cálculo, y suministra la imagen decodificada después de la remoción de distorsión (reducción) al DPB 32-1. Además, el filtro 31 de bucle suministra la imagen decodificada que no se ha filtrado a la sección 33 de predicción de imagen intra.
Aqui, el DPB 32-1 almacena una imagen decodificada desde el filtro 31 de bucle, esto es, una imagen de una imagen a color de un punto de vista no base codificada en el codificador 11-1 y decodificado localmente, conforme se genera (un candidato para) una imagen de referencia a referirse cuando una imagen prevista a usar en la codificación de predicción (codificación en que la sustracción de una imagen prevista se realiza por la sección 23 de cálculo) a realizar en una vez posterior. También, el DPB 32-1 se comparte por el codificador 11-M del otro punto de vista.
También, la decodificación local por la sección 28 de cuantificación inversa, la sección 29 de transformada ortogonal inversa, y la sección 30 de cálculo, por ejemplo, se realiza por imágenes I y P objetivo que son imágenes referibles capaces de servir como imágenes de referencia. En el DPB 32-1, se almacenan las imágenes decodificadas de las imágenes I y P.
La sección 33 de predicción de imagen intra y la sección 34 de predicción/compensación realiza un proceso de predicción en unidades de PUs como un bloque objetivo.
Cuando el bloque objetivo es una imagen I, una imagen P, o una imagen B (que incluye imágenes Bs) obtenidas por la predicción intra (predicción imagen intra), la sección 33 de predicción imagen intra lee una porción ya decodificada (imagen decodificada) de un bloque objetivo desde el filtro 31 de bucle. Entonces, la sección 33 de predicción imagen intra designa parte de la imagen decodificada de la lectura de imagen objetivo desde el filtro 31 de bucle como la imagen prevista del bloque objetivo de la imagen objetivo suministrada desde la memoria 22 intermedia de reordenamiento de imagen .
Además, la sección 33 de predicción imagen intra obtiene un costo de codificación requerido para codificar el bloque objetivo que usa la imagen prevista, esto es, un costo de codificación requerido para codificar un residuo o los similares para la imagen prevista en el bloque objetivo, y suministra el costo de codificación obtenido a la sección 35 de selección de imagen prevista a lo largo de la imagen prevista.
La sección 34 de predicción/compensación de movimiento realiza un proceso de predicción del vector del modo AMVP y un proceso de predicción del vector de un modo M/S (modo de combinación/salto) cuando una imagen objetivo es una imagen (P) prevista o una imagen (B) prevista obtenida bidireccionalmente por la predicción ínter.
La sección 34 de predicción/compensación de movimiento lee una o más imágenes codificadas antes que la imagen objetivo y decodificadas localmente desde el DPB 32-1 como imágenes de candidato (candidatos para una imagen de referencia de predicción Ínter).
Además, la sección 34 de predicción/compensación de movimiento lee una o más imágenes codificadas antes que la imagen objetico y decodificadas localmente desde el DPB 32-N provista en un codificador (por ejemplo, el codificador 11-N) de un punto de vista diferente como imágenes de candidato (candidato para la imagen de referencia de predicción de puntos de vista ínter).
También, se genera el DPB 32-N almacena una imagen de una imagen de color del punto de vista diferente codificado en el codificador 11-N y decodificado localmente como (un candidato para) una imagen de referencia a referirse cuando la imagen prevista para usar en la codificación de predicción a realizar en un tiempo posterior.
La sección 34 de predicción/compensación de movimiento detecta un vector de cambio (MV) que representa el movimiento que sirve como un cambio entre un bloque objetivo y un bloque correspondiente (un bloque que tiene una suma más pequeña de las diferencias absolutas (SAD) desde el bloque objetivo) de la imagen de candidato que corresponde al bloque objetivo por la estimación de movimiento (ME) (detección de movimiento) que usa un bloque objetivo de una imagen objetivo desde la memoria 22 intermedia de reordenamiento de imágenes y la imagen de candidato en el caso del modo AMVP. En este tiempo, hay un ínter MV que representa un cambio temporal y un MV de punto de vista ínter que representa un cambio de punto de vista ínter como el MV detectado.
La sección 34 de predicción/compensación de movimiento genera una imagen prevista realizando compensación de movimiento por compensación para un cambio de una cantidad de movimiento de una imagen de candidato desde el DPB 32-1 o 32-N de acuerdo al MV del bloque objetivo.
Esto es, la sección de predicción/compensación de movimiento adquiere un bloque correspondiente que es un bloque (región) de una posición movida (cambiada) de acuerdo al MV del bloque objetivo desde la posición del bloque objetivo en la imagen de candidato como una imagen prevista.
Además, la sección 34 de predicción/compensación de movimiento designa el MV como un candidato para el vector previsto para la codificación que usa los bloques vecinos espacialmente adyacentes al mismo en la misma imagen. La sección 34 de predicción/compensación de movimiento lee los MVs de los bloques correspondientes asociados por MVs en imágenes de diferentes tiempos del mismo punto de vista desde la memoria 36-1 MV y designa las MVs leídos como candidatos para el vector previsto. La sección 34 de predicción/compensación de movimiento lee MVs de bloques de referencia en diferentes puntos de vista del mismo tiempo de la memoria 36-N MV en que las MVS de diferentes puntos de vista se almacenan, y designan las MVs leídos como los candidatos para el vector previsto.
También, aquí, el bloque de .referencia (Cor PU de la figura 1) en los diferentes puntos de vista es un bloque de una posición cambiada por un vector de disparidad desde la misma posición como el del bloque objetivo en la imagen del diferente punto de vista después que se encontró el vector de disparidad de entre los MVs de bloques vecinos adyacentes a una periferia del bloque objetivo (PU actual de la figura 1).
Por otro lado, la sección 34 de predicción/compensación de movimiento designa un candidato para el MV que usa bloques espacialmente vecinos adyacentes al mismo en la misma imagen en el caso del modo M/S. La sección 34 de predicción/compensación de movimiento lee los MVs de bloques correspondientes asociados por MVs en imágenes de diferentes tiempos del mismo punto de vista desde la memoria 36-1 MV y designa los MVs leídas como los candidatos para el MV. La sección 34 de predicción/compensación de movimiento lee los MVs de bloques de referencia en diferentes puntos de vista del mismo tiempo desde la memoria 36-N MV en que se almacenan los MVs de los diferentes puntos de vista, y designan los MVs leídos como los candidatos para el MV. La sección 34 de predicción/compensación de movimiento genera imágenes de candidato que usan los candidatos para el MV.
Entonces, la sección 34 de predicción/compensación de movimiento obtiene un costo de codificación requerido para codificar un bloque objetivo que usa una imagen prevista para cada imagen de candidato para usar en generación de una imagen prevista, cada candidato para un MV, cada candidato para un vector previsto, cada modo de predicción ínter (que incluye un modo de predicción de punto de vista ínter) con un tamaño de bloque variable, o cada modo M/S.
La sección 34 de predicción/compensación de movimiento suministra una imagen prevista y un costo de codificación obtenida en un modo de predicción ínter óptimo a la sección 35 de selección de imagen prevista designando un modo de predicción ínter o un modo de predicción de punto de vista ínter que tiene un costo de codificación más pequeño que el modo de predicción ínter óptimo que es un modo de predicción ínter óptimo.
La sección 34 de predicción/compensación de movimiento obtiene una diferencia desde el MV designando un candidato para el vector previsto en el modo de predicción ínter óptimo como un vector previsto, y suministra la diferencia obtenida como la información MV a la sección 26 de codificación sin perdidas a lo largo con un índice del vector previsto. Además, la sección 34 de predicción/compensación de movimiento almacena el MV en el tiempo del modo de predicción ínter óptimo en la memoria 36-1 MV.
La sección 35 de selección de imagen prevista selecciona una que tiene un menor costo de codificación de las imágenes previstas desde la sección 33 de predicción intra imágenes y la sección 34 de predicción/compensación de movimiento, y suministra la imagen prevista seleccionada hasta las secciones 23 y 30 de cálculo.
Aquí, la sección 33 de predicción imagen intra suministra información acerca de la predicción intra como la información de encabezado a la sección 26 de codificación sin perdidas. La sección 34 de predicción/compensación de movimiento suministra la información acerca de la predicción ínter (información del MV o los similares) como la información de encabezado a la sección 26 de codificación sin perdidas.
La sección 26 de codificación sin perdidas selecciona la información de encabezado de una generación de una imagen prevista que tiene un costo de codificación menor en la información de encabezado de la sección 33 de predicción imagen intra y la sección 34 de predicción/compensación de movimiento, e incluye la información de encabezado seleccionado en el encabezado de los datos codificados.
La memoria 36-1 MV almacena un MV determinado en la sección 34 de predicción/compensación de movimiento como (un candidato para) el MV a referirse a ella cuando se genera el vector previsto para la codificación de MV a ejecutar en un tiempo posterior. También, la memoria 36-1 MV se comparte por el codificador 11-M del otro punto de vista.
También, la memoria 36-N MV se proporciona en el codificador 11-N que tiene el punto de vista diferente, y almacena el MV determinado en el codificador 11-N conforme se genera (el candidato para) el MV a referirse a ella cuando el vector previsto para codificar el MV a ejecutar en un tiempo posterior. La memoria 36-N MV se comparte por la sección 34 de predicción/compensación de movimiento o el codificador 11-M del otro punto de vista.
Configuración de sección de predicción/compensación de movimiento La figura 5 es un diagrama de bloques que ilustra un ejemplo de configuración de la sección de predicción/compensación de movimiento de la figura 4.
En el ejemplo de la figura 5, la sección 34 de predicción/compensación de movimiento se configura para incluir una sección 51 de generación de modo de predicción de movimiento, una sección 52 de generación de indice de referencia, una sección 53 de predicción del vector de modo AMVP, una sección 54 de predicción del vector de modo M/S, y una sección 55 de determinación del modo.
La sección 51 de generación del modo de predicción de movimiento genera modos de predicción de movimiento tal como un modo de predicción ínter, un modo de combinación, y un modo de salto. La sección 51 de generación de modo de predicción de movimiento suministra información que indica el modo de predicción ínter y un índice de imagen de referencia (Ref índice) a la sección 53 de predicción del vector del modo AMVP. La sección 51 de generación del modo de predicción de movimiento suministra el modo de combinación o el modo de salto (modo M/S) a la sección 52 de generación de índice de referencia automático.
La sección 52 de generación del índice de referencia automático genera automáticamente un índice de imagen de referencia, y suministra el índice de imagen de referencia generado (índice Ref) a la sección 54 de predicción del vector de modo M/S a lo largo del modo de combinación o el modo de salto de la sección 51 de generación del modo de predicción de movimiento.
La sección 53 de predicción de vector del modo AMVP lee una o más imágenes codificadas antes de una imagen objetico y decodificado localmente desde el DPB 32-1 o 32-N de acuerdo al modo de predicción desde la sección 51 de generación del modo de predicción de movimiento y el índice de imagen de referencia como las imágenes de candidato.
La sección 53 de predicción del vector del modo AMVP detecta un MV que representa el movimiento que sirve como un cambio entre un bloque objetivo y un bloque correspondiente que corresponde al bloque objetivo en una imagen de candidato por la detección de movimiento que usa el bloque objetivo de una imagen objetivo desde la memoria 22 intermedia de reordenamiento de imágenes y la imagen de candidato. La sección 53 de predicción del vector del modo AMVP genera una imagen prevista realizando compensación de movimiento para la compensación para un cambio de una cantidad de movimiento de la imagen de candidato del DPB 32-1 o 32-N de acuerdo al MV del bloque objetivo.
La sección 53 de predicción del vector de modo AMVP designa el MV como un candidato para el vector previsto para codificación usando bloques espacialmente vecinos adyacentes al mismo en la misma imagen. La sección 34 de predicción/compensación de movimiento lee MVs de bloques temporalmente vecinos correspondientes o adyacentes al mismo en imágenes de diferentes tiempos del mismo punto de vista desde la memoria 36-1 MV y designa los MVs leídos como candidatos para el vector previsto. La sección 53 de predicción de vector de modo AMVP lee MVs de bloques de referencia en puntos de vista diferentes del mismo tiempo de la memoria 36-N MV en que se almacenan los MVs de los diferentes puntos de vista, y designa los MVs leídos como los candidatos para el vector previsto.
La sección 53 de predicción del vector de modo AMVP obtiene un costo de codificación requerido para codificar un bloque objetivo usando una imagen prevista para cada imagen de candidato para usar en la generación de una imagen prevista, cada candidato para un MV, cada candidato para un vector de predicción, o cada modo de predicción ínter con un tamaño de bloque variable basado en una imagen original desde la memoria 22 intermedia de reordenamiento de imagen. La sección 53 de predicción del vector de modo AMVP suministra un costo de codificación óptimo entre los costos de codificación obtenidos como un costo de modo a la sección 55 de determinación del modo. En este tiempo, la sección 53 de predicción del vector de modo AMVP designa un candidato para el vector previsto en el tiempo del costo de codificación óptimo como un vector previsto, obtiene una diferencia del MV, y codifica la diferencia Mvd MV y un índice (índice MV) del vector previsto como la información MV.
La sección 54 de predicción del vector de modo M/S lee una o más imágenes codificadas antes de una imagen objetivo y decodificada localmente desde el DPB 32-1 o 32-N de acuerdo al modo y al índice de imagen de referencia desde la sección 52 de generación del índice de referencia automática como las imágenes de candidato.
Además, la sección 54 de predicción del vector de modo M/S designa un candidato para un MV que usa bloques espacialmente vecinos adyacentes al mismo en la misma imagen. La sección 54 de predicción del vector de modo M/S lee MVs de bloques temporalmente vecinos que correspondientes o adyacentes al mismo en imágenes de tiempos diferentes del mismo punto de vista desde la memoria 36-1 MV y designa la lectura MVs como candidatos para el vector previsto. La sección 54 de predicción del vector de modo M/S lee MVs de bloques de referencia en puntos de vista diferentes del mismo tiempo de la memoria 36-N MV en que se almacenan los MVs leídos como los candidatos para el MV. La sección de predicción del vector de modo M/S genera una imagen de candidato para el MV.
La sección 54 de predicción del vector de modo M/S obtiene un costo de codificación requerido para codificar un bloque objetivo que usa una imagen prevista para cada imagen de candidato para uso en la generación de una imagen prevista, cada candidato para un MV, o cada modo M/S basado en una memoria 22 de reordenamiento de imagen. La sección 54 de predicción del vector de modo M/s suministra un costo de codificación óptimo entre el costo de codificación obtenido como un costo de modo a la sección 55 de determinación del modo. Además, la sección 54 de predicción del vector de modo M/S codifica un indice de combinación que indica un MV como información MV.
La sección 55 de determinación de modo se refiere a costos de codificación desde la sección 53 de predicción del vector de modo AMVP y la sección 54 de predicción del vector de modo M/S y determina el modo de predicción ínter o el modo de predicción de punto de vista ínter que tiene un costo de codificación inferior como un modo de predicción óptimo que es un modo de predicción de movimiento óptimo. La sección 55 de determinación de modo regresa un resultado de determinación de modo de predicción óptimo a la sección 53 de predicción del vector de modo AMVP y la sección 54 de predicción del vector de modo M/S.
La sección 53 de predicción del vector de modo AMVP suministra la imagen prevista (imagen prevista) y el costo de codificación obtenido en el modo de predicción óptimo a la sección 35 de selección de imagen prevista basado en el resultado de determinación de la sección 55 de determinación del modo. La sección 53 de predicción del vector de modo AMVP suministra el modo de predicción ínter (modo ínter) determinado como el modo de predicción óptimo, un índice de imagen de referencia (índice Ref), y la información MV codificada a la sección 26 de codificación sin perdidas.
La sección 54 de predicción del vector de modo M/S suministra la imagen prevista (imagen prevista) y el costo de codificación obtenido en el modo de predicción óptimo a la sección 35 de selección de imagen prevista basado en el resultado de determinación desde la sección 55 de determinación de modo. Además, la sección 54 de predicción del vector de modo M/S suministra el modo de predicción (M/S) determinado como el modo de predicción óptimo y la información MV de codificación a la sección 26 de codificación sin perdidas. En este momento, la información del MV del costo de codificación óptimo se salva temporalmente en (sobrescribe sobre) la memoria MV espacial de la figura 6 se describirá después .
Configuración de la sección de predicción del vector de modo AMV La figura 6 es un diagrama de bloques que ilustra un ejemplo de configuración de la sección de predicción del vector de modo AMVP de la figura 5.
En el ejemplo de la figura 6, la sección 53 de predicción del vector de modo AMVP se configura para incluir una sección 61 de búsqueda del vector, una sección 62 de generación de imagen prevista, una sección 63 de determinación de costo del vector, una memoria 64 MV espacial, secciones 65 y 66 de generación del vector previsto, un interruptor 67, una sección 68 de sustracción y una sección 69 de transformada POC.
El indice de imagen de referencia de la sección 51 de generación del modo de predicción del movimiento se suministra a la sección 61 de alcance del vector, la sección 69 de transformada POC, y la sección 26 de codificación sin perdidas. Además, el modo de predicción de la sección 51 de generación de modo de predicción de movimiento también se suministra a la sección 61 de búsqueda del vector.
La sección 61 de búsqueda del vector lee una o más imágenes codificadas antes de una imagen objetivo y decodificado localmente desde el DPB 32-1 o 32-N de acuerdo al modo de predicción y el indice de imagen de referencia desde la sección 51 de generación del modo de predicción de movimiento como las imágenes de candidato. La sección 61 de búsqueda del vector detecta un MV que representa movimiento que sirve como un cabio entre un bloque objetivo y un bloque correspondiente que corresponde al bloque objetivo en una imagen de candidato por detección de movimiento usando un bloque objetivo de una imagen objetivo desde la memoria 22 intermedia de reordenamiento de imágenes y una imagen de candidato. La sección 61 de búsqueda del vector suministra el MV detectado a la sección 62 de generación de imágenes previstas y la sección 63 de determinación de costo del vector.
La sección 62 de generación de imagen prevista genera una imagen prevista realizando compensación de movimiento para compensar por un cambio de una cantidad de movimiento de la imagen de candidato desde el DPB 32-1 o 32-N de acuerdo al MV del bloque objetivo desde la sección 61 de búsqueda del vector. La imagen prevista generada se suministra a la sección 35 de selección de imagen prevista y la sección 63 de determinación de costo del vector.
La sección 63 de determinación de costo del vector obtiene un costo de codificación usando una imagen original desde la memoria 22 intermedia de reordenamiento de imágenes, un MV desde la sección 61 de búsqueda del vector, una imagen prevista desde la sección 62 de generación de imagen prevista, y los vectores previstos y sus indice desde las sección 65 y 66 de generación del vector previsto. Entonces, la sección 63 de determinación de costo del vector determina un costo de codificación menor y suministra el costo de costo inferior (mejor costo) y su modo de predicción a la sección 55 de determinación del modo. La sección 55 de determinación del costo del vector salva temporalmente el MV del costo de codificación inferior en la memoria 64 MV espacial.
La memoria 64 MV espacial almacena el MV del costo de codificación más bajo como el candidato para usar en la generación del vector previsto a realizar en un tiempo posterior. En la memoria 64 MV espacial, el MV se almacena en cada unidad (PU) de un bloque en que el MV se obtiene. También, cuando el costo de codificación del modo M/S es óptimo, el MV de la memoria 64 MV espacial se sobrescribe en el MV del caso del modo M/S.
Además, cuando el MV del costo de codificación más bajo se suministra por la sección 63 de determinación de costo, la memoria 64 MV espacial suministra el MV como la mejor MV a la sección 68 de sustracción.
La sección 65 de generación del vector previsto genera un vector espacialmente previsto lcyendo MVs de los bloques espacialmente vecinos adyacentes al mismo en la misma imagen. La sección 65 de generación del vector previsto suministra el vector espacialmente previsto generado hasta la sección 63 de determinación de costo del vector y hasta la sección 68 de sustracción mediante el interruptor a lo largo del indice MV que indica el vector previsto.
La sección 66 de generación del vector previsto genera un vector previsto por la predicción del vector de movimiento temporal (TMVP). Eso es, la sección 66 de generación de vector previsto genera el vector previsto leyendo MVS de bloques temporalmente vecinos correspondientes o adyacentes al mismo en imágenes de diferentes tiempos del mismo punto de vista desde la memoria 36-1 MV. También, en este tiempo, basado en la información POC de la sección 69 de transformada POC, se realiza el escalado cuando la referencia POC (Ref POC) del bloque objetivo es diferente de una referencia POC (Ref POC) de un bloque temporalmente vecino. Esto es, el MV escalado sirve como el vector previsto. La sección 66 de generación del vector previsto suministra el vector temporalmente previsto generado hasta la sección 63 de determinación de costo del vector y hasta la sección 68 de sustracción mediante el interruptor 67 a lo largo de un incide MV que indica el vector previsto.
Además, la sección 66 de generación del vector previsto genera un vector previsto por la predicción de punto de vista ínter (IVMP). La sección 66 de generación del vector previsto encuentra un vector de disparidad desde los MVs de bloques vecinos adyacentes al bloque objetivo desde la memoria 64 MV espacial y obtiene bloques de referencia en diferentes vistas del mismo tiempo basado en el vector de disparidad encontrado. Entonces, la sección 66 de generación del vector previsto genera un vector previsto lcyendo MVs de bloques de referencia en diferentes puntos de vista del mismo tiempo desde la memoria 36-N MV en que se almacenan los MVs de diferentes puntos de vista.
También, en este tiempo, se realiza el escalado cuando la referencia POC (Ref POC) del bloque objetivo es diferente de una referencia POC (Ref POC) de un bloque de referencia. Esto es, el MV escalado sirve como el vector previsto. La sección 66 de generación del vector previsto suministra el vector previsto de punto de vista Ínter generado hasta la sección 63 de determinación de costo del vector y la sección 68 de sustracción mediante el interruptor 67 a lo largo del índice MV que indica el vector previsto.
El interruptor 67 selecciona el vector previsto desde la sección 65 de generación del vector previsto o el vector previsto desde la sección 66 de generación del vector previsto, y suministra el vector previsto seleccionado y su índice MV hasta la sección 63 de determinación de costo del vector y hasta la sección 68 de sustracción.
La sección 68 de sustracción codifica una diferencia de MVd entre el MV (MV mejor) que tiene el costo más bajo desde la memoria 64 MV espacial y el vector previsto desde el interruptor 67 como información MV a lo largo de un índice MV que representa un índice del vector previsto. La sección 68 de sustracción suministra la información MV codificada a la sección 26 de codificación sin perdidas.
La sección 69 de transformada POC transforma un índice de imagen de referencia (índice Ref) del bloque objetivo desde la sección 51 de generación de modo de predicción de movimiento en un POC y suministra información POC que indica el POC obtenido por la transformada a la sección 66 de generación del vector previsto.
Ejemplo de configuración de la sección de generación del vector previsto no espacialmente La figura 7 es un diagrama de bloques que ilustra el ejemplo de configuración de la sección de generación del vector previsto no espacialmente de la figura 6.
En el ejemplo de la figura 7, la sección 66 de generación del vector previsto se configura para incluir una sección 81 de generación de indice del vector previsto, una sección 82 de generación del vector de referencia de punto de vista intra, y una sección 83 de generación del vector de referencia de punto de vista ínter.
La sección 81 de generación de índice del vector previsto genera un índice del vector previsto (índice MV) del TMVP y suministra el índice del vector previsto generado a la sección 82 de generación del vector de referencia de punto de vista intra. La sección 81 de generación del índice del vector previsto genera un índice del vector previsto (índice MV) del IVMP y suministra el índice del vector previsto generado a la sección 83 de generación del vector de referencia del punto de vista ínter.
La sección 82 de generación del vector de referencia de punto de vista intra genera un vector previsto por el TMVP.
Esto es, la sección 82 de generación del vector de referencia de punto de vista intra genera el vector previsto por MVs leídos de bloques correspondientes asociados por MVs en imágenes de tiempos diferentes del mismo punto de vista desde la memoria 36-1 MV.
También, en este tiempo, basado en la información POC desde la sección 69 de transformada POC, se realiza el escalado en un MV de un bloque correspondiente cuando la referencia POC (Ref POC) del bloque objetivo es diferente desde una referencia POC (Ref POC) del bloque correspondiente. Esto es, el MV escalado sirve como el vector previsto. La sección 82 de generación del vector de referencia de punto de vista intra suministra el vector previsto temporalmente generado (PMV) hasta la sección 63 de determinación de costo del vector y la sección 68 de sustracción mediante el interruptor 67 a lo largo de un índice MV que indica el vector previsto.
La sección 83 de generación del vector de referencia del punto de vista ínter genera un vector previsto por IVMP. La sección 83 de generación del vector de referencia del punto de vista ínter encuentra un vector de disparidad desde MVs de bloques vecinos adyacentes al bloque objetivo, y obtiene un bloque de referencia en puntos de vista diferentes del mismo tiempo basado en el vector de disparidad encontrado. Entonces, la sección 83 de generación del vector de referencia del punto de vista ínter genera el vector previsto por MVs leídos de bloques de referencia en diferentes puntos de vista del mismo tiempo desde la memoria 36-N MV en que se almacenan los MVs de los diferentes puntos de vista.
También, en este tiempo, el escalado se realiza en un MV de un bloque de referencia cuando la referencia POC (Ref POC) del bloque objetivo es diferente de un POC de referencia (Ref POC) del bloque de referencia basado en la información POC desde la sección 69 de transformada POC. Esto es, el MV escalado sirve como el vector previsto. La sección 83 de generación del vector de referencia de punto de vista ínter suministra el vector previsto de punto de vista ínter generado hasta la sección 63 de determinación de costo del vector y hasta la sección 68 de sustracción mediante el interruptor 67 a lo largo de un índice MV que indica el vector previsto.
Operación del codificador Después, un proceso de codificación del codificador 11-1 de la figura 4 se describirá con referencia a un diagrama de flujo de la figura 8. También, los codificadores 11-N y 11-M para realizar los procesos de imágenes de codificación de otros puntos de vista realizan procesos de codificación similares .
Una imagen de la imagen a color del punto de vista no base que es una imagen (imagen en movimiento) a codificar se suministra secuencialmente a la sección 21 de conversión A/D en el orden de pantalla. En el paso Sil, cuando la imagen es una señal analógica, la sección 21 de conversión A/D convierte la señal analógica de acuerdo a la conversión A/D y suministra un resultado de conversión A/D a la memoria 22 intermedia de reordenamiento de imágenes.
La memoria 22 intermedia de reordenamiento de imágenes almacena temporalmente una imagen desde la sección 21 de conversión A/D y lee una imagen de acuerdo a una estructura de un GOP indicado por el orden de codificación suministrado, de modo que se realiza un proceso de reordenamiento de una secuencia de imagen desde el orden de pantalla al orden de codificación (orden de decodificación). La lectura de imagen desde la memoria 22 intermedia de reordenamiento de imágenes se suministra a la sección 23 de cálculo, la sección 33 de predicción de imagen intra, y la sección 34 de predicción/compensación de movimiento.
En el paso S12, la sección 33 de predicción de imagen intra realiza una predicción de imagen intra. Esto es, la sección 33 de predicción de imagen intra lee una parte ya codificada localmente (imagen decodificada) de una imagen objetivo desde el filtro 31 de bucle. Entonces, la sección 33 de predicción de imagen intra designa parte de la imagen decodificada de la lectura de imagen objetivo desde el filtro 31 de bucle como una imagen prevista de un bloque objetivo (PU) de la imagen suministrada desde la memoria 22 intermedia de reordenamiento de imágenes.
La sección 33 de predicción de imagen intra obtiene un costo de codificación requerido para codificar el bloque objetivo que usa la imagen prevista, esto es, un costo de codificación requerido para codificar un residuo o los similares para la imagen prevista en el bloque objetivo, y suministra el costo de codificación obtenido a la sección 35 de selección de imagen prevista a lo largo de la imagen prevista.
En el paso S13, la sección 34 de predicción/compensación de movimiento realiza la predicción y compensación de movimiento. También, la predicción de movimiento y el proceso de compensación se describirán en detalle con referencia a la figura 9.
En el paso S13, la predicción, compensación de movimiento y la generación del vector previsto en todos los modos de predicción ínter, generación MV en el modo M/S, y los similares se realizan y una imagen prevista se genera en todos los modos de predicción ínter (que incluyen el modo M/S). entonces, el costo de codificación requerido para codificar el bloque objetivo (PU) que usa la imagen prevista se obtiene para cada imagen de candidato para usar en la generación de una imagen prevista, cada candidato para un MV, cada candidato para un vector previsto, o cada modo de predicción ínter (que incluye el modo de predicción de punto de vista ínter) con un tamaño de bloque variable, o cada modo M/S, se determina un modo de predicción ínter, y se suministra el costo de codificación a la sección 35 de selección de imagen prevista a lo largo de la imagen prevista.
También, en este tiempo, la sección 33 de predicción de imagen intra suministra información acerca de la predicción intra como información de encabezado hasta la sección 26 de codificación sin perdidas. La sección 34 de predicción/compensación de movimiento suministra información (información MV o los similares) acerca de la predicción ínter como la información de encabezado a la sección 26 de codificación sin perdidas.
En el paso S14, la sección 35 de selección de imagen prevista selecciona una imagen prevista que tiene un costo de codificación inferior de las imágenes previstas desde la sección 33 de predicción de imagen intra y la sección 34 de predicción/compensación de movimiento y suministra la imagen prevista seleccionada a las secciones 23 y 30 de cálculo.
En el paso S15, la sección 34 de predicción/compensación de movimiento (la sección 63 de determinación de costo del vector de la figura 6) salva temporalmente el MV del modo de predicción ínter óptimo cuando se selecciona la predicción de movimiento (otra que la predicción de imagen intra) en el paso S14 en la memoria 64 MV espacial de la figura 6. Esto es, aunque la MV del caso del modo AMVP se salva en la memoria 64 MV espacial incluso en el proceso del paso S13, el MV de la memoria 64 MV espacial de la figura 6 se vuelve el MV del modo M/S, por ejemplo, cuando un modo de un costo de codificación óptimo es el modo M/S en el paso S15.
En el paso S16, la sección 23 de cálculo computa una diferencia entre la imagen original de la memoria 22 intermedia de reordenamiento de imágenes y la imagen prevista desde la sección 35 de selección de imagen prevista, y suministra un resultado de computación a la sección 24 de transformada ortogonal. Esto es, la sección 23 de cálculo realiza la predicción de codificación después de calcular un valor de sustracción sustrayendo un valor de pixel de la imagen suministrada desde la sección 35 de selección de imagen prevista desde el valor de pixel del bloque objetivo si es necesario, y suministra un resultado de codificación de predicción a la sección 24 de transformada ortogonal.
En el paso S17, la sección 24 de transformada ortogonal realiza una transformada ortogonal tal como una transformada de coseno discreto o una transformada Karhunen-Loeve sobre (un residuo obtenido sustrayendo la imagen prevista o un valor de pixel de) un bloque objetivo desde la sección 23 de cálculo usando una unidad de transformada (TU) como una unidad, y suministra un coeficiente de transformada obtenida como un resultado del mismo a la sección 25 de cuantificación.
En el paso S18, la sección 25 de cuantificación cuantifica el coeficiente de transformada suministrado desde la sección 24 de transformada ortogonal y suministra un valor de cuantificación obtenido como un resultado desde la sección 28 de cuantificación inversa y la sección 26 de codificación sin perdidas.
En el paso S19, la sección 28 de cuantificación inversa cuantifica inversamente el valor de cuantificación desde la sección 25 de cuantificación en un coeficiente de transformada y suministra el coeficiente de transformada a la sección 29 de transformada ortogonal inversa.
En el paso S20, la sección 29 de transformada ortogonal inversa se realiza una transformada ortogonal inversa en el coeficiente de transformada desde la sección 28 de cuantificación inversa y suministra el coeficiente de transformada transformado hasta la sección 30 de cálculo.
En el paso S21, la sección 26 de codificación sin perdidas realiza la codificación en un coeficiente de residuo que es el valor de cuantificación desde la sección 25 de cuantificación y suministra los datos codificados obtenidos como un resultado del mismo a la memoria 27 intermedia de acumulación. También, la sección 26 de codificación sin perdidas codifica la información de encabezado tal como información del modo de predicción o la información MV desde la sección 33 de predicción de imagen intra o la sección 34 de predicción/compensación de movimiento e incluye la información de encabezado codificada en el encabezado de los datos codificados.
En el paso S22, la sección 30 de cálculo obtiene una imagen decodificada en que un bloque objetivo se decodifica (decodificado localmente) añadiendo el valor de pixel de la imagen prevista suministrada desde la sección 35 de selección de imagen a los datos suministrados desde la sección 29 de transformada ortogonal inversa si es necesario, y suministra la imagen decodificada obtenida al filtro 31 de bucle.
En el paso S23, el filtro 31 de bucle determina si una unidad de codificación más grande (LCU) termina. Cuando se determina que la LCU no término en el paso S23, se itera el proceso regresa al paso S12 y el proceso subsecuente al mismo.
Cuando se determina que la LCU termina en el paso S23, el proceso procede al paso S24. En el paso S24, el filtro 31 de bucle remueve (reduce) la ocurrencia de distorsión del bloque en la imagen decodificada filtrando la imagen decodificada desde la sección 30 de cálculo.
En el paso S25, el filtro 31 de bucle salva la imagen decodificada después de la filtración en el DPB 32-1.
En el paso S26, la sección 34 de predicción/compensación de movimiento comprende un MV salvado en el paso S15. Esto es, por ejemplo, aunque un MV se salva para cada bloque (4x4) en la memoria 64 MV espacial, el MV se comprende de modo que un MV se salva para cada bloque (16x16). Por ejemplo, un MV de un bloque superior izquierdo se selecciona en el bloque (16x16).
Entonces, la sección 34 de predicción/compensación de movimiento salva el MV comprimido en la memoria 36-1 MV en el paso S27.
En el paso S28, el codificador 11-M de otro punto de vista codifica una imagen del otro punto de vista. También, el proceso de codificación es similar básicamente al proceso de codificación de la figura 8.
Como se describe anteriormente, se realiza el proceso de codificación.
Ejemplo del proceso de predicción/compensación de movimiento Después, se describirá el proceso de predicción/compensación de movimiento del paso S13 de la figura 8 con referencia al diagrama de flujo de la figura 9.
En el paso S41, la sección 51 de generación del modo de predicción de movimiento genera los modos de predicción de movimiento tal como un modo de predicción ínter (que incluye un modo de predicción de punto de vista ínter), un modo de combinación, un modo de salto, y los similares.
La sección 51 de generación de modo de predicción de movimiento determina sí el modo de predicción de movimiento generado es el modo de predicción Ínter en el paso S42. Cuando se determina que el modo de predicción de movimiento generado es el modo de predicción ínter en el paso S42, la sección 51 de generación del modo de predicción de movimiento suministra el modo de predicción ínter (modo ínter) y un índice de imagen de referencia (índice Ref) a la sección 53 de predicción del vector de modo AMVP. Entonces, el proceso procede al paso S43.
En el paso S43, la sección 53 de predicción del vector de modo AMVP realiza la predicción del vector del modo AMVP. Se describirán después los detalles de la predicción del modo AMVP con referencia a la figura 10.
En el proceso del paso S43, se encuentra un MV en el modo de predicción ínter, se genera una imagen prevista, y se genera una imagen residual, se genera cada uno de los vectores previstos espacialmente y no espacialmente. En particular, si el Ref POC del PU actual es diferente del Ref POC de la PU de referencia en el punto de vista diferente cuando se genera el vector previsto no espacialmente, se escala el MV de la PU de referencia y la MV escalada sirve como un candidato para el vector previsto de la PU actual. Entonces, se calcula una diferencia entre el candidato para el vector previsto y el MV, de modo que se selecciona el vector previsto de un costo más bajo. El costo más bajo del vector previsto seleccionado se suministra a la sección 55 de determinación del modo. Además, una diferencia entre el vector previsto del costo más bajo seleccionado y se codifican el MV y un índice del vector previsto como información MV.
Por otro lado, cuando se determina que el modo no es el modo de predicción ínter en el paso S42, la sección 51 de generación de modo de predicción de movimiento suministra el modo de combinación o el modo de salto (modo M/S) a la sección 52 de generación del índice de referencia automático. Entonces, el proceso procede al paso S44.
En el paso S44, la sección 52 de generación del índice de referencia automático genera automáticamente un índice de imagen de referencia y suministra el índice de imagen de referencia generado (índice Ref) a la sección 54 de predicción del vector de modo M/S a lo largo de la información que indica el modo de combinación o el modo de salto de la sección 51 de generación de modo de predicción de movimiento.
En el paso S45, la sección 54 de predicción del vector de modo M/S realiza la predicción del vector del modo de combinación o el modo de salto.
Esto es, la sección 54 de predicción del vector de modo M/S lee una o más imágenes codificadas antes de una imagen objetivo y decodificada localmente desde el DPB 32-1 o 32-N de acuerdo al modo y el índice de imagen de referencia desde la sección 52 de generación de índice de referencia como las imágenes de candidato.
Además, la sección 54 de predicción del vector de modo M/S designa un candidato para el MV que usa bloques vecinos espacialmente adyacentes al mismo en la misma imagen. La sección 54 de predicción del vector de modo M/S lee MVs de bloques vecinos temporalmente correspondientes o adyacentes al mismo en imágenes de diferentes tiempos del mismo punto de vista desde la memoria 36-1 MV y designa las MVs leídas como candidatos para el MV. La sección 54 de predicción del vector de modo M/S lee MVs de bloques de referencia en diferentes puntos de vista del mismo tiempo desde la memoria 36-N MV en que se almacenan los MVs de diferentes puntos de vista, y designa los MVs leídos como los candidatos para el vector previsto. La sección 54 de predicción del vector de modo M/S genera una imagen de candidato que usa los candidatos MV.
La sección 54 de predicción del vector de modo M/S obtiene un costo de codificación requerida para codificar un bloque objetivo que usa una imagen prevista para cada imagen de candidato para usar en la generación de una imagen prevista, cada candidato para un MV, o cada modo M/S basado en una imagen original desde la memoria 22 intermedia de reordenamiento de imágenes. La sección 54 de predicción del vector de modo M/S suministra un costo de codificación óptimo entre los costos de codificación obtenidos como un costo de modo a la sección 55 de determinación del modo. En este tiempo, la sección 54 de predicción del vector de modo M/S codifica un índice de combinación que indica un MV del costo de codificación óptimo como información MV.
En el paso S46, la sección 55 de determinación de modo se refiere a costos de codificación desde la sección 53 de predicción del vector de modo AMVP y la sección 54 de predicción del vector de modo M/S y determina el modo de predicción ínter o el modo de predicción de punto de vista ínter que tiene un costo de codificación más bajo como un modo de predicción óptimo que es un modo de predicción de movimiento óptimo. La sección 55 de determinación de modo regresa un resultado de determinación de modo de predicción ínter óptimo a la sección 53 de predicción del vector de modo AMVP y la sección 54 de predicción del vector de modo M/S.
En el paso S47, la sección 53 de predicción del vector de modo AMVP o la sección 54 de predicción del vector de modo M/S selecciona información de movimiento codificado de un modo que tiene un costo de codificación bajo basado en un resultado desde la sección 55 de determinación de modo y suministra la información de movimiento seleccionado a la sección 26 de codificación sin perdidas.
Ejemplo del proceso de predicción del vector del modo AMVP Después, el proceso de predicción del vector del modo AMVP del paso S43 de la figura 9 se describirá con referencia a un diagrama de flujo de la figura 10.
El modo de predicción de la sección 51 de generación de modo de predicción de movimiento se suministra a la sección 61 de búsqueda del vector a lo largo de un índice de imagen de referencia .
En el paso S61, la sección 61 de búsqueda del vector realiza una búsqueda del vector de acuerdo al modo de predicción y al indice de imagen de referencia desde la sección 51 de generación del modo de predicción de movimiento.
Esto es, la sección 61 de búsqueda del vector lee una o más imágenes codificadas antes de una imagen objetivo y decodificada localmente desde el DPB 32-1 o 32-N de acuerdo al modo de predicción y al indice de imagen de referencia desde la sección 51 de generación del modo de predicción de movimiento como las imágenes de candidato. La sección 61 de búsqueda del vector detecta un MV que representa movimiento que sirve como un cambio entre un bloque objetivo y un bloque correspondiente que corresponde al bloque objetivo en una imagen de candidato por detección de movimiento usando un bloque objetivo de una imagen objetivo desde la memoria 22 intermedia de reordenamiento de imágenes y una imagen de candidato. La sección 61 de búsqueda del vector suministra el MV detectado a la sección 62 de generación de imagen prevista y la sección 63 de determinación de costo del vector.
En el paso S62, la sección 62 de generación de imagen prevista genera una imagen prevista de acuerdo al MV del bloque objetivo desde la sección 61 de búsqueda del vector.
Esto es, la sección 62 de generación de imagen prevista genera la imagen prevista realizando la compensación de movimiento para compensar un cambio de una cantidad de movimiento de la imagen de candidato desde el DPB 32-1 o 32-N de acuerdo al MV del bloque objetivo a la sección 35 de selección de imagen prevista y la sección 36 de determinación de costo del vector.
En el paso S63, la sección 63 de determinación de costo del vector genera una imagen residual que usa la imagen original desde la memoria 22 intermedia de reordenamiento de imagen, el MV desde la sección 61 de búsqueda del vector, y la imagen prevista desde la sección 62 de generación de imagen prevista. La imagen residual generada se usa para computar el costo de codificación en el paso S67 como se describirá después.
En el paso S64, la sección 65 de generación del vector previsto genera un vector previsto espacialmente. Esto es, la sección 65 de generación del vector previsto genera el vector previsto espacialmente lcyendo MVs de los bloques vecinos espacialmente adyacentes al mismo en la misma imagen desde la memoria 64 MV espacial. La sección 65 de generación del vector previsto suministra el vector previsto espacialmente generado hasta la sección 63 de determinación del costo del vector y hasta la sección 68 de sustracción mediante el interruptor 67 a lo largo del indice MV que indica el vector previsto.
En el paso S65, la sección 66 de generación del vector previsto genera un vector previsto no espacialmente. Esto es, la sección 66 de generación del vector previsto genera el vector previsto por el TMVP y el vector previsto por el IVMP.
Se describirá después un proceso para generar el vector con referencia a la figura 11.
En el proceso del paso S65, se realiza un proceso de generar el vector previsto por el TMVP se realiza y un proceso de generar el vector previsto por el IVMP. También, en el tiempo del proceso de generar el vector previsto por el IVMP, un vector de disparidad se encontró desde los MVs de bloques vecinos adyacentes al bloque objetivo y los bloques de referencia en diferentes puntos de vista del mismo tiempo se obtienen basado en el vector de disparidad encontrado. Entonces, los MVs de los bloques de referencia en los diferentes puntos de vista del mismo tiempo se leen desde la memoria 36-N MV en que se almacenan los MVs de los puntos de vista diferentes, y se realiza el escalado cuando el POC de referencia (Ref POC) del bloque objetivo es diferente de un POC de referencia (Ref POC) del bloque de referencia. También, la información POC se transforma desde el indice Ref en la sección 69 de transformada POC y se suministra la información de transformada POC.
El vector previsto por el TMVP y el vector previsto del IMVP generado en el proceso del paso S65 se suministran a la sección 63 de determinación de costo del vector y la sección 68 de sustracción mediante el interruptor 67 a lo largo de un indice MV que indica el vector previsto.
En el paso S66, la sección 63 de determinación de costo del vector computa residuos entre el MV del bloque objetivo y los vectores previstos del bloque objetivo suministrado desde las secciones 65 y 66 de generación del vector previsto.
En el paso S67, la sección 63 de determinación del costo del vector obtiene los costos de codificación usando la imagen residual obtenida en el paso S63, los residuos del vector obtenido en el paso S66, y los similares, selecciona el vector previsto de un costo más bajo de los costos de codificación obtenidos, y acumula un MV (mejor MV) que corresponde al vector previsto seleccionado en la memoria 64 MV espacial.
Este MV (MV mejor) se suministra a la sección 68 de sustracción mediante la memoria 64 MV espacial.
En el paso S68, una diferencia MVd entre el MV (MV mejor) que tiene el costo más bajo desde la memoria 64 MV espacial y el vector previsto desde el interruptor 67 que corresponde al MV mejor se codifica como información MV a lo largo de un indice MV que representa un indice del vector previsto.
Ejemplo del proceso de generar el vector previsto no espacialmente Después, se describirá el proceso de generar el vector previsto no espacialmente en el paso S65 de la figura 10 con referencia al diagrama de flujo de la figura 11.
La sección 81 de generación de índice del vector previsto genera un índice del vector previsto (índice MV) del TMVP y suministra el índice del vector previsto generado a la sección 82 de generación del vector de referencia de punto de vista intra. La sección 81 de generación de índice del vector previsto genera un índice del vector previsto (índice MV) del IVMP y suministra el índice del vector previsto generado a la sección 83 de generación del vector de referencia de punto de vista ínter.
En el paso S81, la sección 82 de generación del vector de referencia de punto de vista intra genera un vector previsto por el TMVP.
Eso es, la sección 82 de generación del vector de referencia del punto de vista intra genera el vector previsto lcyendo MVs de bloques vecinos temporalmente correspondientes o adyacentes al mismo en imágenes de diferentes tiempos de la misma vista desde la memoria 36-1 MV. La sección 82 de generación del vector de referencia de punto de vista intra suministra el vector previsto temporalmente generalmente (PMV) a la sección 63 de determinación de costo del vector y la sección 68 de sustracción mediante el interruptor 67 a lo largo de un índice MV que indica el vector previsto.
En los pasos S82 a S84, la sección 83 de generación del vector de referencia de puntos de vista ínter genera un vector previsto por IVMP.
Esto es, en el paso S82, la sección 83 de generación del vector de referencia de punto de vista ínter encuentra un vector de disparidad desde MVs de bloques vecinos adyacentes a un bloque objetivo (PU) desde la memoria 64 MV espacial, y calcula una disparidad basado en el vector de disparidad encontrado.
En el paso S83, la sección 83 de generación del vector de referencia de punto de vista ínter selecciona una PU de una posición cambiada por la disparidad obtenida en el paso S82 como la PU de referencia en un punto de vista diferente.
En el paso S84, la sección 83 de generación del vector de referencia de punto de vista ínter genera un vector previsto desde un MV de una PU de referencia seleccionada lcyendo el MV de la PU de referencia seleccionada desde la memoria 36-N MV en que se almacenan MVs de los puntos de vista diferentes. Este proceso de generación del vector previsto se describirá después con referencia a las figura 12 y 13.
En el proceso del paso S84, el vector previsto de punto de vista Ínter generado del IVMP se suministra a la sección 63 de determinación de costo del vector y la sección 68 de sustracción mediante el interruptor 67 a lo largo del índice MV que indica el vector previsto.
Ejemplo del proceso de generación del vector previsto Después, el proceso de generación del vector previsto del paso S84 de la figura 11 se describirá con referencia a un diagrama de flujo de la figura 12. También, en el ejemplo de la figura 12, se ilustra un proceso de generación del vector previsto en una dirección LO.
En el paso S101, la sección 83 de generación del vector de referencia del punto de vista Ínter encuentra la memoria 36-N MV en que los MVs de diferentes puntos de vista se almacenan y determina sí está disponible la MVbase = 10 MV de la dirección LO del diferente punto de vista (punto de vista base).
Cuando se determina que MVbase = 10 MV de la dirección LO del punto de vista diferente (punto de vista base) está disponible en el paso S101, el proceso procede al paso S102. En el paso S102, la sección 83 de generación del vector de referencia del punto de vista ínter determina sí la POCcurr_10 que es un Ref POC de la PU objetivo es igual a POCbase_10 que es un Ref POC de la PU de referencia.
Cuando se determina que POCcurr_10 es igual a POCbase_10 en el paso S102, el proceso procede al paso S103. En el paso S103, la sección 83 de generación del vector de referencia de punto de vista ínter designa el MVbase=10 MV de la dirección LO como el vector PMV_L0 previsto de la dirección LO de la PU objetivo. El proceso de generación del vector previsto se termina.
Cuando se determina que el MVbase=10 MV de la dirección LO del punto de vista diferente (punto de vista base) no está disponible en el paso S101 o cuando se determina que POCcurr_10 no es igual a POCbase_10 en el paso S102, el proceso procede al paso S104.
En el paso S104, la sección 83 de generación del vector de referencia del punto de vista ínter encuentra la memoria 36_N MV en que los MVs de las vistas diferentes se almacenan y determinan sí el MVbase=ll MV de la dirección L1 del punto de vista diferente (punto de vista base) está disponible.
Cuando se determina que el MVbase=ll MC de la dirección L1 del punto de vista diferente (punto de vista base) está disponible en el paso S104, el proceso procede al paso S105. En el paso S105, la sección 83 de generación del vector de referencia del punto de vista ínter determina sí POCcurr_10 que es un Ref POC de la PU objetivo es igual a POCbase_ll que es un Ref POC de la PU de referencia.
Cuando se determina que POCcurr_10 es igual a POCbase_ll en el paso S105, el proceso procede al paso S106. En el paso S106, la sección 83 de generación del vector de referencia del punto de vista ínter designa el MVbase=ll MV de la dirección L1 como el vector PMV_L0 previsto de la dirección LO de la PU objetivo. Entonces, se termina el proceso de generación del vector previsto.
Cuando se determina que el MVbase=ll MV de la dirección Ll del punto de vista diferente (punto de vista base) no está disponible en el paso S104 o cuando se determina que POCcurr_10 no es igual a POCbase_ll en el paso S105, el proceso procede al paso S107.
En el paso S107, la sección 83 de generación del vector de referencia del punto de vista ínter vuelve a determinar sí está disponible el MVbase=10 MV de la dirección LO del punto de vista diferente (punto de vista base)· Cuando se determina que está disponible el MVbase=10 MV de la dirección LO del punto de vista diferente (punto de vista base) en el paso S107, el proceso procede al paso S108. En el paso S108, la sección 83 de generación del vector de referencia de punto de vista ínter escala el MVbase=10 MV de la dirección LO de acuerdo a POCcurr_10 que es un Ref POC de la PU objetivo y POCbase_10 que es un Ref POC de la PU de referencia. Entonces, la sección 83 de generación del vector de referencia del punto de vista ínter designa el MVbase=10 MV escalado como el vector PMV_L0 previsto de la dirección LO de la PU objetivo, y se termina el proceso de generación del vector previsto.
Cuando se determina que no está disponible el MVbase=10 MV de la dirección LO del punto de vista diferente (punto de vista base) en el paso S107, el proceso procede al paso S109.
En el paso S109, la sección 83 de generación del vector de referencia del punto de vista ínter vuelve a determinar sí está disponible el MVbase=ll MV de la dirección L1 del punto de vista diferente (punto de vista base).
Cuando se determina que la MVbase=ll MV de la dirección L1 del punto de vista diferente (punto de vista base) está disponible en el paso S107, el proceso procede al paso S110.
En el paso S110, la sección 83 de generación del vector de referencia del punto de vista ínter escala el MVbase=ll MV de la dirección Ll de acuerdo a POCcurr_10 que es un Ref POC de la PU objetivo y POCbase_ll que es un REf POC de la PU de referencia. Entonces, la sección 83 de generación del vector de referencia del punto de vista ínter designa el MVbase=ll MV como el vector PMV_L0 prevista de la dirección LO de la PU objetivo, y se termina el proceso de generación del vector previsto.
Cuando se determina que el MVbase=ll MV de la dirección Ll del punto de vista diferente (punto de vista base) no está disponible en el paso S109, el proceso procede al paso Slll. En el paso Slll, la sección 83 de generación del vector de referencia del punto de vista ínter determina que no hay vector PMV_L0 previsto de la dirección LO de la PU objetivo y se termina el proceso de generación del vector previsto.
Ejemplo del proceso de generación del vector previsto Después, el proceso de generación del vector previsto del paso S84 de la figura 11 se describirá con referencia a un diagrama de flujo de la figura 13. También, en el ejemplo de la figura 13, se muestra un proceso de generación del vector previsto en la dirección Ll.
En el paso S131, la sección 83 de generación del vector de referencia del punto de vista ínter encuentra la memoria 36-N MV en que los MVs de puntos de vista diferentes se almacena y determina sí está disponible la MVbase=ll MV de la dirección L1 del punto de vista diferente (punto de vista base).
Cuando se determina que está disponible la MVbase=ll MV de la dirección L1 del punto de vista diferente (punto de vista base) en el paso S131, el proceso procede al paso S132. En el paso S132, la sección 83 de generación del vector de referencia del punto de vista Ínter determina sí la POCcurr_ll que es un Ref POC de la PU objetivo es igual q POCbase_ll que es un Ref POC de la PU de referencia.
Cuando se determina que POCcurr_ll es igual POCbase_ll en el paso S132, el proceso procede al paso S133. En el paso S133, la sección 83 de generación del vector de referencia del punto de vista ínter designa el MVbase=ll MV de la dirección L1 como el vector PMV_L1 previsto de la dirección L1 de la PU objetivo. Entonces, se termina el proceso de generación del vector previsto.
Cuando se determina que el MVbase=ll MV de la dirección L1 del punto de vista diferente (punto de vista base) no está disponible en el paso S131 o cuando se determina que POCcurr_ll no es igual a POCbase_ll en el paso S132, el proceso procede al paso S134.
En el paso S134, la sección 83 de generación del vector de referencia del punto de vista ínter encuentra la memoria 36-N MV en que MVs de puntos de vista diferentes se almacenan y determinan si está disponible el MVbase=10 MV de la dirección LO del punto de vista diferente (punto de vista base).
Cuando se determina que está disponible el MVbase=10 MV de la dirección LO del punto de vista diferente (punto de vista base) en el paso S134, el proceso procede al paso S135. En el paso S135, la sección 83 de generación del vector de referencia del punto de vista ínter determina sí POCcurr_ll que es un Ref POC de la PU objetivo es igual a POCbase_10 que es un Ref POC de la PU de referencia.
Cuando se determina que POCcurr_ll es igual a POCbase_10 en el paso S135, el proceso procede al paso S136. En el paso S136, la sección 83 de generación del vector de referencia del punto de vista ínter designa el MVbase=10 MV de la dirección LO como el vector PMV_L1 prevista de la dirección L1 de la PU objetivo. Entonces, se termina el proceso de generación del vector previsto.
Cuando se determina que el MVbase MV=10 de la dirección LO del punto de vista diferente (punto de vista base) no está disponible en el paso S134 o cuando se determina que POCcurr_ll no es igual a POCbase_10 en el paso S135, el proceso procede al paso S137.
En el paso S137, la sección 83 de generación del vector de referencia del punto de vista ínter vuelve a determinar sí está disponible el MVbase=ll MV de la dirección L1 del punto de vista diferente (punto de vista base).
Cuando se determina que el MVbase=ll MV de la dirección L1 del punto de vista diferente (punto de vista base) está disponible en el paso S137, el proceso procede al paso S138. En el paso S138, la sección 83 de generación del vector de referencia del punto de vista ínter escala la MVbase=ll MV de la dirección Ll de acuerdo a POCcurr_ll que es un Ref POC de la PU objetivo y POCbase_ll que es un Ref POC de la PU de referencia. Entonces, la sección 83 de generación del vector de referencia del punto de vista ínter designa el MVbase=ll escalado como el vector PMV_L1 previsto de la dirección Ll de la PU objetivo, y se termina el proceso de generación del vector previsto.
Cuando se determina que el MVvase=ll MV de la dirección Ll del punto de vista diferente (punto de vista base) no está disponible en el paso S137, el proceso procede al paso S139.
En el paso S139, la sección 83 de generación del vector de referencia del punto de vista ínter vuelve a determinar sí está disponible el MVbase=10 MV de la dirección LO del punto de vista diferente (punto de vista base).
Cuando se determina que está disponible el MVbase=10 MV de la dirección LO del punto de vista diferente (punto de vista base) en el paso S137, el proceso procede al paso S140. En el paso S140 la sección 83 de generación del vector de referencia de punto de vista ínter escala el MVbase=10 MV de la dirección LO de acuerdo a POCcurr_ll que es un Ref POC de la PU objetivo y POCbase_10 que es un Ref POC de la PU de referencia. Entonces la sección 83 de generación del vector de referencia del punto de vista ínter designa el MVbase=10 escalado como el vector PMV_L1 previsto de la dirección L1 de la PU objetivo, y se termina el proceso de generación del vector previsto.
Cuando se determina que el MVbase=10 MV de la dirección LO del punto de vista diferente (punto de vista base) no está disponible en el paso S139, el proceso procede al paso S141. En el paso S141, la sección 83 de generación del vector de referencia del punto de vista ínter determina que no hay vector PMV_L1 previsto de la dirección L1 de la PU objetivo y se termina el proceso de generación del vector previsto.
En esta manera, cuando el Ref POC (Ref 0) de la PU actual es diferente del Ref POC (Ref 0) de la PU de referencia en el punto de vista diferente, la Mv de la PU de referencia se escala y la MV escalada se configura para servir como un candidato para el vector previsto de la PU actual.
Por lo cual, es posible mejorar la eficiencia de codificación del MV porque es posible generar un vector previsto que tiene una alta correlación. 3. Segunda modalidad Ejemplo de configuración del dispositivo de decodificación de imagen de punto de vista múltiple La figura 16 ilustra una configuración de una modalidad de un decodificador que constituye un dispositivo de decodificación de imágenes de puntos de vista múltiple que sirve como un dispositivo de procesamiento de imágenes al que se aplica la presente descripción.
El dispositivo de decodificación de imágenes de punto de vista múltiple, por ejemplo, incluye decodificadores 211-1 a 211-M para decodificar imágenes de punto de vista múltiple.
El decodificador 211-1 decodifica datos codificados que corresponden a una imagen a color de un punto de vista no base de una corriente codificada codificado por el codificador 11-1 en un esquema HEVC, y genera la imagen a color del punto de vista no base.
Por ejemplo, los decodificadores 211-M y 211-N para decodificar datos codificados correspondientes de corrientes codificados por los codificadores 11-M y 11-N y generar imágenes a color de otros puntos de vista (que incluye un punto de vista base) de unidades de cuadro también se configuran similar al decodificador 211-1. Además, cuando también hay un decodificador para generar imagen de información croma asi como la imagen a color, el decodificador se configura similar al decodificador 211-1.
En el ejemplo de la figura 16, el decodificador 211-1 se configura para incluir una memoria 221 intermedia de acumulación, una sección 22 de decodificación sin pérdidas, una sección 223 de cuantificación inversa, una sección 224 de transformada ortogonal inversa, una sección 225 de cálculo, un filtro 226 de bucle, y una memoria 227 intermedia de reordenamiento de imágenes, y una sección 228 de transformada digital/analógica (D/A). Además, el decodificador 211-1 se configura para incluir un DPB 229-1, una sección 230 de predicción de imagen intra, una sección 231 de compensación de movimiento, una sección 232 de selección de imagen prevista, y una memoria 233-1 MV.
La memoria 221 intermedia de acumulación es una sección de recepción para recibir datos codificados correspondientes en una corriente codificada del codificador 11-1. La memoria 221 intermedia de acumulación almacena temporalmente los datos codificados recibidos y suministra los datos almacenados a la sección 222 de decodificación sin perdidas. Los datos codificados incluyen información de encabezado así como los datos codificados (coeficiente residual cuantificado) de una imagen a color de un punto de vista base.
La sección 222 de decodificación sin perdidas vuelve a almacenar el coeficiente residual cuantificado o información de encabezado realizando la decodificación de longitud variable en los datos codificados desde la memoria 221 intermedia de acumulación. Entonces, la sección 222 de decodificación sin perdidas suministra un valor de cuantificación a la sección 223 de cuantificación inversa y suministra una pieza de correspondencia a la información de encabezado a cada sección 230 de predicción de imagen intra y la sección 231 de compensación de movimiento.
La sección 223 de cuantificación inversa cuantifica inversamente el coeficiente residual desde la sección 222 de decodificación sin perdidas y suministra el coeficiente residual cuantificado inversamente a la sección 224 de transformada ortogonal inversa.
La sección 224 de transformada ortogonal inversa realiza una transformada ortogonal inversa en un coeficiente de transformada desde la sección 223 de cuantificación inversa en unidades de Tus, y suministra un resultado de transformada ortogonal inversa a la sección 225 de cálculo en unidades de bloques (por ejemplo, LCUs).
La sección 225 de cálculo realiza la decodificación designando un bloque suministrado desde la sección 224 de transformada ortogonal inversa como un bloque objetivo de un objetivo de decodificación y añadir una imagen prevista suministrada desde la sección 232 de selección de imagen prevista al bloque objetivo si es necesario. La sección 225 de cálculo suministra una imagen decodificada obtenida como un resultado del mismo al filtro 226 de bucle.
En el filtro 226 de bucle, por ejemplo, se constituye de un filtro de desbloqueo. También, por ejemplo, cuando se adopta el esquema HEVC, el filtro 226 de bucle se constituye de un filtro de desbloqueo y un filtro de desplazamiento adaptativo. El filtro 226 de bucle, por ejemplo, realiza filtración similar al filtro 31 de bucle de la figura 4 sobre la imagen decodificada desde la sección 225 de cálculo y suministra la imagen decodificada después de la filtración a la memoria 227 intermedia de reordenamiento de imágenes.
La memoria 227 de reordenamiento de imágenes reordena una secuencia de imágenes a una secuencia original (orden de pantalla) almacenando y lcyendo temporalmente una imagen de la imagen decodificada del filtro 226 de bucle y suministra un resultado de reordenamiento a la sección 228 de conversión D/A.
Cuando es necesario emitir la imagen desde la memoria 227 intermedia de reordenamiento de imágenes en una señal analógica, la sección 228 de conversión D/A realiza la conversión D/A sobre la imagen y emite un resultado de conversión D/A.
Además, el filtro 226 de bucle suministra el DPB 229-1 con imágenes decodificadas de una imagen (I) intra, una imagen P, e imágenes B que son imágenes referibles entre las imágenes decodificadas filtradas. También, el filtro 226 de bucle suministra una imagen decodificada que no se filtra a la sección 230 de predicción de imágenes intra.
Aquí, el DPB 229-1 almacena una imagen decodificada desde el filtro 226 de bucle, esto es, una imagen de una imagen a color de una vista de un punto de vista no base codificada y decodificada localmente en el decodificador 211-1, como se genera (un candidato para) una imagen de referencia a referirse cuando una imagen prevista usada en la codificación de predicción (codificación en que la sustracción de una imagen prevista se realiza por la sección 225 de cálculo) a realizar en un tiempo posterior. También, el DPB 229-1 se comparte por el decodificador 211-M del otro punto de vista.
La sección 230 de predicción de imagen intra reconoce si el bloque objetivo (PU) se codifica usando la imagen prevista generada en la predicción intra (predicción de imagen intra) basado en la información de encabezado (modo de predicción intra) desde la sección 222 de decodificación sin perdidas.
Cuando el bloque objetivo se codifica usando la imagen prevista generada en la predicción intra, la sección 230 de predicción de imagen intra lee una porción ya codificada (imagen decodificada) desde una imagen (imagen objetivo) que incluye el bloque objetivo desde el filtro 226 de bucle como una sección 33 de predicción de imagen intra de la figura 4. Entonces, la sección 230 de predicción de imagen intra suministra parte de la imagen decodificada de la lectura de imagen objetivo desde el filtro 226 de bucle como la imagen prevista del bloque objetivo a la sección 232 de selección de imagen prevista.
La sección 231 de compensación de movimiento reconoce si el bloque objetivo se codifica usando una imagen prevista generada en la predicción ínter basada en la información de encabezado de la sección 222 de decodificación sin pérdidas.
Cuando se decodifica el bloque objetivo que usa una imagen prevista generada en la predicción ínter, la sección 231 de compensación de movimiento reconoce un modo de predicción óptimo del bloque objetivo basado en la información de encabezado desde la sección 222 de decodificación sin perdidas.
La sección 231 de compensación de movimiento realiza un proceso de predicción del modo AMVP cuando el modo de predicción óptimo es el modo de predicción ínter, y realiza un proceso de predicción del vector del modo M/S (modo de combinación/salto) cuando el modo de predicción óptimo es el modo combinación/salto.
La sección 231 de compensación de movimiento lee una imagen de candidato (imagen de referencia de predicción ínter o imagen de referencia de predicción de punto de vista ínter) que corresponde a un índice de imagen de referencia desde imágenes de candidato almacenadas en el CPB 229-1 o 229-N.
Entonces, la sección 231 de compensación de movimiento genera un vector previsto para usar en la decodificación del MV basado en un índice del vector previsto desde la información de encabezado desde la sección 222 de decodificación sin perdidas en el caso del modo AMVP.
Por ejemplo, cuando el índice del vector previsto indica un vector previsto especialmente, la sección 231 de compensación de movimiento genera un vector previsto que usa bloques vecinos espacialmente adyacentes al mismo en la misma imagen. Cuando el índice del vector previsto indica un vector previsto temporalmente, la sección 231 de compensación de movimiento genera un vector previsto lcyendo MVs de bloques vecinos temporalmente correspondientes o adyacentes al mismo en imágenes de tiempos diferentes del mismo punto de vista desde la memoria 233-1 MV. Cuando el índice del vector previsto indica un vector previsto de punto de vista ínter, la sección 231 de compensación de movimiento lee MVs de bloques de referencia (Cor PU de la figura 1) en puntos de vista diferentes del mismo tiempo desde la memoria 233-N MV en que los MVs de los puntos de vista diferentes se almacenan y generan un vector previsto.
La sección 231 de compensación de movimiento reconoce el MV que representa movimiento usado en la generación de la imagen prevista del bloque objetivo añadiendo información de movimiento de la información de encabezado desde la sección 222 de decodificación sin perdidas al vector previsto generado. Entonces, similar a la sección 34 de predicción/compensación de movimiento de la figura 4, la sección 231 de compensación de movimiento genera una imagen prevista realizando compensación de movimiento de la imagen de referencia de acuerdo al MV.
Esto es, la sección 231 de compensación de movimiento adquiere un bloque (bloque correspondiente) de una posición movida (cambiada) de acuerdo a un vector de cambio del bloque objetivo desde la posición del bloque objetivo en la imagen de candidato como una imagen prevista.
La sección 231 de compensación de movimiento genera un MV en base de un índice de combinación en la información de cabecera de la sección 222 de decodificación sin pérdidas en el caso del modo M/S.
Por ejemplo, cuando el índice de combinación indica un vector previsto espacialmente, la sección 231 de compensación de movimiento genera el MV utilizando los bloques espacialmente vecinos adyacentes en la misma foto. Cuando el índice de combinación indica un vector temporalmente previsto, la sección 231 de compensación de movimiento genera un MV mediante la lectura de los MVs de los bloques temporalmente vecinos correspondientes o adyacentes en las imágenes de diferentes tiempos de la misma vista de la memoria 233-1 MV. Cuando el índice de combinación indica un vector previsto en vista ínter, la sección 231 de compensación de movimiento lee los MVs de los bloques de referencia (Cor PU de la FIGURA 1) en diferentes vistas del mismo tiempo de la memoria 233-N MV en la que los MVs de las diferentes vistas se almacenan y generan un MV.
Luego, como la sección 34 de compensación/predicción de movimiento de las FIGURA 4, la sección 231 de compensación de movimiento genera una imagen prevista llevando a cabo la compensación de movimiento de la imagen de referencia conforme al MV. La sección 231 de compensación de movimiento suministra la imagen prevista a la sección 232 de selección de imagen prevista.
Cuando la imagen prevista se suministra de la sección 230 de predicción intra-imagen, la sección 232 de selección de imagen prevista selecciona la imagen prevista y suministra la imagen prevista seleccionada a la sección 225 de cálculo. Cuando la imagen prevista se suministra de la sección 231 de compensación de movimiento, la sección 232 de selección de imagen prevista selecciona la imagen prevista y suministra la imagen prevista seleccionada a la sección 225 de cálculo.
La memoria 233-1 MV almacena una MV determinada en la sección 231 de compensación de movimiento como (un candidato para) la MV que se refiera cuando el vector previsto para codificar el MV se ejecute en un momento posterior que se genera. También la memoria 233-1 MV se comparte por el decodificador 211-M de la otra vista.
También, la memoria 233-N MV se proporciona en el codificador 11-N que tiene la vista diferente, y almacena el MV determinado en el decodificador 211-N como (el candidato para) el MV a referir cuando el vector previsto para codificar el MV para que se ejecute en un momento posterior que se genera. La memoria 233-N MV se comparte por la sección 231 de compensación de movimiento o el decodificador 211-M de la otra vista.
Configuración de la sección de compensación de movimiento La FIGURA 15 es un diagrama de bloques que ilustra un ejemplo de configuración de la sección de compensación de movimiento de la FIGURA 14.
En el ejemplo de la FIGURA 15, la sección 231 de compensación de movimiento se configura para incluir una sección 251 de generación de índice de referencia automática, una sección 252 de predicción de vector de modo AMVP, y una sección 253 de predicción de vector de modo M/S.
Cuando el modo de predicción no es el modo de ínter predicción, el modo de unión o modo de mezcla y el índice de combinación de la información de cabecera se suministran de la sección 222 de decodificación sin perdidas a la sección 251 de generación de índice de referencia automático.
La sección 251 de generación de índice de referencia automático genera automáticamente un índice de imagen de referencia y suministra el indice de imagen de referencia generado (índice de Ref) y el índice de combinación para la sección 253 de predicción de vector modo M/S junto con el modo de combinación o el modo de salto de la sección 222 de decodificación sin pérdidas.
Cuando el modo de predicción es el modo de ínter predicción, el modo de Ínter predicción (modo Ínter), un índice de imagen de referencia (índice Ref), información de diferencia MV (Mvd), y un índice (índice MV) del vector previsto se suministran de la sección 222 de decodificación sin perdidas a la sección 252 de predicción de vector de modo AMVP.
La sección 252 de predicción del vector de modo AMVP lee una imagen candidata (imagen de referencia ínter predicción o imagen de referencia de predicción de vista ínter) correspondiente a un índice de imagen de referencia de imágenes candidatas almacenadas en el DPB 229-1 o 229-N conforme al modo de predicción ínter.
La sección 252 de predicción de vector de modo AMVP genera un vector previsto para uso en la decodificación de la MV en base del índice del vector previsto.
Por ejemplo, cuando el índice del vector previsto indica un vector previsto espacialmente, la sección 252 de predicción del vector de modo AMVP genera un vector previsto utilizando blogues vecinos espacialmente adyacentes en la misma imagen. Cuando el índice del vector previsto indica un vector previsto temporalmente, la sección 252 de predicción del vector de modo AMVP genera un vector predicho por la lectura de MVs de los bloques vecinos temporalmente correspondientes o adyacentes en las imágenes de tiempos diferentes de la misma vista de la memoria 233-1 MV. Cuando el indice del vector previsto indica un vector previsto de vista ínter, la sección 252 de predicción del vector de modo AMVP lee MVs de los bloques de referencia (Cor PU de la FIGURA 1) en diferentes vistas del mismo tiempo de la memoria 233-N MV en la que se almacenan los MVs de las diferentes vistas, y genera un vector previsto. Luego, la sección 252 de predicción del vector de modo AMVP genera una imagen prevista (imagen prevista) llevando a cabo una compensación de movimiento de la imagen de referencia conforme a MV. La imagen prevista generada se suministra a la sección 232 de selección de imagen prevista.
La sección 253 de predicción del vector de modo M/S lee una imagen candidata (imagen de referencia de ínter predicción) correspondiente al índice de imagen de referencia de las imágenes candidatas almacenadas en el DPB 229-1 o 229-N.
La sección 253 de predicción del vector de modo M/S genera la MV basada en un índice de combinación en la información de cabecera de la sección 222 de decodificación sin perdidas.
Por ejemplo, cuando el índice de combinación indica un vector previsto espacialmente, la sección 253 de predicción del vector de modo M/S genera un MV usando bloques vecinos espacialmente adyacentes en la misma imagen. Cuando el índice de combinación indica un vector previsto temporalmente, la sección 253 de predicción del vector de modo M/S genera un MV lcyendo los MVs de los bloques correspondientes asociados por MVs en las imágenes de tiempos diferentes de la misma vista de la memoria 233-1 MV. Cuando el índice de combinación indica un vector previsto de vista ínter, la sección 253 de predicción del vector del modo M/S interpreta MVs de los bloques de referencia (Cor PU de la FIGURA 1) en diferentes vistas del mismo tiempo de la memoria 233-N MV en la que los MVs de las diferentes vistas se almacenan y genera un MV. La información del MV generado se protege temporalmente en la memoria 262 MV espacial de la FIGURA 16 como se describirá más adelante.
La sección 253 de predicción del vector de modo M/S genera una imagen prevista llevando a cabo la compensación de movimiento de la imagen de referencia conforme al MV. La imagen prevista generada se suministra a la sección 232 de selección de imagen prevista.
Configuración de la sección de predicción del vector de modo AMVP La FIGURA 16 es un diagrama de bloques que ilustra un ejemplo de configuración de la sección de predicción del vector de modo AMVP de la FIGURA 15.
En el ejemplo de la FIGURA 16, la sección 252 de predicción del vector de modo AMVP se configura para incluir una sección 261 de generación de imagen prevista, una memoria 262 MV espacial, una sección 263 de adición, secciones 264 y 265 de generación del vector previsto, un interruptor 266, y una sección 267 de transformación POC.
La sección 261 de generación de imagen prevista ingresa un MV generado por agregar un vector previsto a la información de diferencia MV por la sección 263 de adición a través de la memoria 262 MV espacial. La sección 261 de generación de imagen prevista interpreta una imagen de referencia correspondiente a un índice de imagen de referencia (índice Ref) de la sección 222 de decodificación sin perdidas de DPB 229-1 o 229-N, y genera una imagen prevista (imagen prevista) llevando a cabo la compensación de movimiento la imagen de referencia de la lecturas conforme a MV. La imagen prevista generada se suministra a la sección 232 de selección de imagen prevista.
La memoria 262 MV espacial almacena la MV generada por la sección 263 de adición como el candidato para el uso en la generación del vector previsto para que se realice después. En la memoria 262 MV espacial, se almacena el MV en cada unidad (PU) de un bloque en la que se obtiene el MV. También, el MV del modo M/S se almacena también en la memoria 26264 MV espacial.
La sección 263 de adición genera la MV introduciendo el vector previsto generado por la sección 264 de generación del vector previsto o la sección 265 de generación del vector previsto a través del interruptor 266 y agregando el vector de entrada previsto a la información de diferencia del MV suministrado de la sección 222 de decodificación sin perdidas. La sección 263 de adición causa la MV generada para que se almacene en la memoria 262 MV espacial.
La sección 264 de generación del vector previsto genera un vector previsto espacialmente interpretando el MV indicado por el indice del vector previsto suministrado de la sección 222 de decodificación sin pérdidas de la memoria 262 MV espacial. La sección 264 de generación del vector previsto suministra el vector previsto generado a la sección 263 de adición a través del interruptor 266.
La sección 265 de generación del vector previsto genera un vector previsto (que es, TMVP o IVMP) de manera no espacial lcyendo el MV indicado por el indice del vector previsto suministrado de la sección 222 de decodificación sin perdidas de la memoria 233-1 o 233-N MV. La sección 265 de generación del vector previsto suministra el vector previsto generado a la sección 263 de adición a través del interruptor 266.
Que es, cuando el indice del vector previsto indica un vector previsto temporalmente, la sección 265 de generación del vector previsto genera un vector previsto interpretando los MVs de los bloques correspondientes asociados por los MVs en las imágenes de las diferentes veces de la misma vista de la memoria 233-1 MV. En este momento, en base de la información POC de la sección 267 de transformación POC, se lleva a cabo la escalada en el MV del bloque correspondiente cuando el POC de referencia (POC de Ref) del bloque objetivo es diferente del POC de referencia (POC de Ref) del bloque correspondiente. Que es, el MV escalado sirve como un valor previsto.
Cuando el indice del vector previsto indica un vector previsto de vista Ínter, la sección 252 de predicción del vector modo AMVP interpreta los MVs de los bloques de referencia (Cor PU de la FIGURA 1) en diferentes vistas del mismo tiempo de la memoria 233-N MV en la que los MVs de las diferentes vistas se almacenan y genera un vector previsto. En este momento, basado en la información POC de la sección 267 de transformación POC, se lleva a cabo el escalamiento en el MV del bloque de referencia cuando el POC de referencia (Ref POC) del bloque objetivo es diferente de un POC de referencia (Ref POC) del bloque de referencia. Que es, el MV escalado sirve como vector previsto.
La sección 267 de transformación POC transforma el indice de imagen de referencia (indice de Ref) del bloque de destino de la sección 222 de decodificación sin perdidas en un POC y suministra la información POC que indica el POC obtenido por la transformación para la sección 265 de generación del vector previsto .
Ejemplo de configuración de la sección de generación del vector previsto de manera no espacial La FIGURA 17 es un diagrama de bloques que ilustra un ejemplo de configuración de una sección de generación del vector previsto de forma no espacial de la FIGURA 16.
En el ejemplo de la FIGURA 16, la sección 265 de generación del vector previsto se configura para incluir una sección 281 de generación del vector de referencia de vista intra y una sección 282 de generación del vector de referencia de vista ínter.
Cuando el índice del vector previsto indica un vector previsto (TMVP) temporalmente, el índice (índice MV) del vector previsto se suministra de la sección 222 de decodificación sin pérdidas para la sección 281 de generación del vector de referencia de vista intra.
La sección 281 de generación del vector de referencia de vista intra genera un vector previsto interpretando un MV de un bloque correspondiente indicado por un índice del vector previsto, que se, asocia por el MV, en imágenes de diferentes tiempos de la misma vista de la memoria 233-1 MV.
También, en este momento, en base de la información POC de la sección 267 de transformación POC, se lleva a cabo el escalamiento en un MV de un bloque correspondiente cuando el POC de referencia (POC de Ref) del bloque de destino es diferente de un POC de referencia (POC de Ref) del bloque correspondiente. Que es, el MV escalado sirve como el vector previsto .
La sección 281 de generación del vector de referencia de vista intra suministra el vector previsto generado a la sección 263 de adición a través del interruptor 266.
Cuando el indice del vector previsto indica un vector previsto de la predicción (IVMP) de vista Ínter, el índice (índice MV) del vector previsto se suministra de la sección 222 de decodificación sin pérdidas a la sección 282 de generación del vector de referencia de vista ínter.
La sección 282 de generación del vector de referencia de vista ínter genera un vector previsto por IVMP. La sección 282 de generación del vector de referencia de vista ínter encuentra un vector de disparidad de los MVs de los bloques vecinos adyacentes al bloque destino de la memoria 262 MV y obtiene los bloques de referencia en diferentes vistas del mismo tiempo en base del vector de disparidad ocultado. Entonces, la sección 282 de generación del vector de referencia de vista ínter genera un vector previsto interpretando un MV del bloque de referencia indicado por el índice del vector previsto de la memoria MV 233-N en la cual los MVs de las vistas diferentes se almacenan.
También, en este momento, en base de la información POC de la sección 267 de transformación POC, se lleva a cabo el escalamiento en un MV de un bloque de referencia cuando el POC de referencia (POC de Ref) del bloque de destino es diferente de un POC de referencia (POC de Ref) del bloque de referencia.
Que es, el MV escalado sirve como el vector previsto.
La sección 282 de generación del vector de referencia de vista ínter suministra el vector previsto generado a la sección 263 de adición a través del interruptor 266.
Operación del decodificador Luego, el proceso de decodificación del decodificador 211-1 de la FIGURA 14 será descrito con referencia al diagrama de flujo de la FIGURA 18. También, los decodificadores 211-N y 211-M para decodificar las imágenes de otras vistas realizan similares procesos de decodificación.
La memoria intermedia 221 de acumulación almacena temporalmente los datos codificados correspondientes a una imagen de color recibida de una vista sin base y suministra los datos codificados almacenados para la sección 222 de decodificación sin perdidas.
En el paso S211, la sección 222 de decodificación sin perdidas decodifica un coeficiente residual cuantificado de los daros codificados de la memoria intermedia 221 de acumulación.
En el paso S212, la sección 223 de cuantización inversa cuantifica inversamente el coeficiente residual cuantificado de la sección 222 de decodificación sin perdidas en un coeficiente de transformación y suministra el coeficiente de transformación para la sección 224 de transformación ortogonal nversa .
En el paso S213, la sección 224 de transformación ortogonal inversa lleva a cabo una transformada ortogonal inversa en el coeficiente de transformación de la sección 223 de cuantización inversa y suministra un resultado de transformada ortogonal inversa para la sección 225 de cálculo.
En el paso S214, la sección 230 de predicción de imagen intra determina si la predicción para un bloque de destino (PU) es una predicción de imagen intra en base de la información de cabecera (modo de predicción intra) de la sección 222 de decodificación sin perdidas. Cuando se determina que la predicción es la predicción de imagen intra en el paso S214, el proceso procede al paso S215. En el paso 5215, la sección 230 de predicción de imagen intra realiza la predicción de imagen intra.
Cuando se determina que la predicción no es la predicción de imagen intra en el paso S214, el proceso procede al paso 5216. En el paso S216, la sección 231 de compensación de movimiento realiza un proceso de compensación de movimiento. Este proceso de compensación de movimiento será descrito más tarde con referencia a la FIGURA 19.
En el proceso del paso S216, se genera un vector previsto conforme al indice del vector previsto cuando la predicción de movimiento es un modo de predicción de movimiento y se genera un MV. Además, se lee una imagen de referencia conforme al indice de imagen de referencia, se lleva a cabo la compensación de movimiento conforme al MV generado, y se genera una imagen prevista.
En el caso del modo M/S, se genera un MV conforme a un indice de combinación, se lee una imagen de referencia, se lleva a cabo la compensación de movimiento conforme al MV generado, y se genera una imagen prevista. La imagen prevista generada se suministra a la sección 232 de selección de imagen prevista.
En el paso S217, la sección 231 de compensación de movimiento (sección 263 de adición) guarda el MV generado en la memoria 262 MV espacial.
Cuando se suministra la imagen prevista de la sección 230 de predicción intra-imagen, la sección 232 de selección de imagen prevista selecciona la imagen prevista y suministra la imagen prevista seleccionada a la sección 225 de cálculo. Cuando la imagen prevista se suministra de la sección 231 de compensación de movimiento, la sección 232 de selección de imagen prevista selecciona la imagen prevista y suministra la imagen prevista seleccionada a la sección 225 de cálculo.
En el paso S218, la sección 225 de cálculo agrega un bloque (diferencia) suministrado de la sección 224 de transformada ortogonal inversa a la imagen prevista suministrada de la sección 232 de selección de imagen prevista. La sección 225 de cálculo suministra una imagen decodificada obtenida como un resultado de las mismas para el filtro 226 en lazo.
En el paso S219, el filtro 226 en lazo determina si un LCU termina. Cuando se determina que el LCU no termina en el paso S219, el proceso regresa al paso S211 y se itera el proceso subsecuente al mismo.
Cuando se determina que el LCU termina en el paso S219, el proceso procede al paso S220. En el paso S220, el filtro 226 en lazo remueve (reduce) la distorsión de bloque que ocurre en la imagen decodificada filtrando la imagen decodificada de la sección 225 de cálculo.
En el paso S221, el filtro 226 en lazo guarda la imagen decodificada después del filtro en el DPB 229-1.
En el paso S222, la sección 231 de compensación de movimiento comprende un MV guardado en el paso S217. Qué es, por ejemplo, aunque se guarde un MV para cada bloque (4x4) en la memoria 262 MV espacial como en la memoria 64 MV espacial de la FIGURA 6, se comprime MV de modo que un MV se guarde para cada bloque (16x16). Por ejemplo, un MV de un bloque izquierdo superior se selecciona en el bloque (16x16).
Luego, la sección 231 de compensación de movimiento guarda la MV comprimida en la memoria 233-1 MV.
En el paso S224, el decodificador 211-M de las otras vistas decodifica una imagen de la otra vista. También, el proceso de decodificación es básicamente similar al proceso de decodificación de la FIGURA 18.
Como se describió anteriormente, se lleva a cabo el proceso de decodificación.
Ejemplo del proceso de compensación de movimiento Luego, el proceso de compensación de movimiento del paso S216 de la FIGURA 18 será descrito con referencia a un diagrama de flujo de la FIGURA 19.
La sección 222 de decodificación sin perdidas decodifica el modo de predicción de movimiento en la información de cabecera en el paso S241, y determina si el modo de predicción está en un modo de ínter predicción en el paso S242.
Cuando se determina que el modo de predicción esta en el modo de Ínter predicción en el paso S242, la sección 222 de decodificación sin perdidas suministra el modo de ínter predicción (modo Ínter), un índice de imagen de referencia (índice de Ref), información de diferencia MV (Mvd), y un índice (índice MV) del vector previsto para la sección 252 de predicción del vector de modo AMVP. Luego, el proceso procede al paso S243.
En el paso S243, la sección 252 de predicción del vector de modo AMVP realiza la predicción del vector del modo AMVP. El proceso de predicción de vector del AMVP será descrito más tarde con referencia a un diagrama de flujo de la FIGURA 20.
En el proceso del paso S243, se genera un vector de previsión conforme a un índice del vector previsto, se genera un MV del bloque de destino agregando la información de diferencia MV para el vector previsto generado, y una imagen prevista se genera conforme al MV generado. La imagen prevista generada se suministra a la sección 232 de selección de imagen prevista.
Por el otro lado, cuando se determina que el modo no es el modo de ínter predicción en el paso S242, la sección 222 de decodificación sin perdidas suministra el modo de combinación o el modo de salto y un índice de combinación para la sección 251 de generación de índice de referencia automática. Luego, el proceso procede al paso S244.
En el paso S244, la sección 251 de generación de índice de referencia automática genera automáticamente un índice de imagen de referencia y suministra el índice de imagen de referencia generada (índice de Ref) y el índice de combinación para la sección 253 de sección de predicción del vector de modo M/S junto con el modo de combinación o el modo de omisión de la sección 222 de decodificación sin perdidas.
En el paso S245, la sección 253 de predicción del vector de modo M/S realiza un proceso de predicción del vector del modo de combinación o el modo de omisión. Que es, la sección 253 de predicción del vector de modo M/S que lee una imagen candidata (imagen de referencia de predicción ínter) correspondiente al índice de imagen de referencia de las imágenes candidatas almacenadas en el DPB 228-1 o 229-N.
La sección 253 de predicción del vector de modo M/S genera un MV en base de un indice de combinación en la información de cabecera de la sección 222 de decodificación sin perdidas.
Por ejemplo, cuando el indice de combinación indica un vector previsto espacialmente, la sección 253 de predicción del vector de modo M/S genera un MV usando bloques vecinos espacialmente adyacentes en la misma imagen. Cuando el indice de combinación indica un vector previsto temporalmente, la sección 253 de predicción del vector de modo M/S genera un MV lcyendo MVs de los bloques correspondientes asociados por MVs en imágenes de diferentes tiempos de la misma vista de la memoria 233-1 MV. Cuando el indice de combinación indica un vector previsto de vista ínter, la sección 253 de predicción del vector de modo M/S interpreta los MVs de los bloques de referencia (Cor PU de la FIGURA 1) en diferentes vistas del mismo tiempo de la memoria 233-N MV en la que los MVs de las diferentes vistas se almacenan y genera un MV.
La sección 253 de predicción del vector de modo M/S genera una imagen prevista llevando a cabo la compensación de movimiento de una imagen de referencia conforme al MV. La imagen prevista generada se suministra a la sección 232 de selección de imagen prevista.
Proceso de predicción del vector del modo AMVP Luego, el proceso de predicción del vector del modo AMVP será descrito con referencia a un diagrama de flujo de la FIGURA 20.
En el paso S261, la sección 222 de decodificación sin perdidas decodifica la información (MVd) de diferencia MV de la información de cabecera y suministra la información de diferencia MV decodificada a la sección 263 de adición.
En el paso S262, la sección 222 de decodificación sin perdidas decodifica un indice de imagen de referencia de la información de cabecera y suministra el indice (indice de Ref) de imagen de referencia decodificado a la sección 261 de generación de imagen prevista y la sección 267 de transformación POC.
En el paso S263, la sección 222 de decodificación sin perdidas decodifica un indice de un vector previsto de la información de cabecera.
En el paso S264, la sección 222 de decodificación sin perdidas se refiere al indice de vector previsto en el paso S263 y determina si el vector previsto es espacial.
Cuando se determina que el vector previsto es espacial en el paso S264, la sección 222 de decodificación sin perdidas suministra el indice del vector previsto decodificado a la sección 264 de generación del vector previsto. Luego, el proceso procede al paso S265.
En el paso S265, la sección 264 de generación del vector previsto genera un vector previsto espacialmente. Que es, la sección 264 de generación del vector previsto genera el vector previsto especialmente interpretando un MV indicado por el indice del vector previsto suministrado de la sección 222 de decodificación sin perdidas de la memoria 262 MV espacial. La sección 264 de generación del vector previsto suministra el vector previsto generado a la sección 263 de adición a través del interruptor 266.
Cuando se determina que el vector previsto no es espacial en el paso S264, el proceso procede al paso S266.
En el paso S266, la sección 265 de generación del vector previsto genera un vector previsto de forma no espacial. Un proceso de la generación del vector previsto de manera no espacial será descrito más adelante con referencia a la FIGURA 21.
En el proceso del paso S266, el indice del vector previsto se suministra de la sección 222 de decodificación sin perdidas, un MV indicado por el indice del vector previsto se lee de la memoria 233-1 o 233-N MV, y se genera un vector previsto no espacial (que es, TMVP o IVMP). El vector previsto generado se suministra a la sección 263 de adición a través del interruptor 266.
En el paso S267, la sección 263 de adición genera el MV. Que es, el vector previsto generado por la sección 264 o 265 de generación del vector previsto que se introduce a la sección 263 de adición a través del interruptor 266. La sección 263 de adición genera el MV agregando el vector previsto de entrada para la información de diferencia del MV suministrado de la sección 222 de decodificación sin perdidas.
En el paso S268, la sección 263 de adición acumula el MV generado en la memoria 262 MV espacial. También, en este momento, el MV generado también se suministra a la sección 261 de generación de imagen prevista a través de la memoria 262 MV espacial.
En el paso S269, la sección 261 de generación de imagen prevista genera una imagen prevista (imagen prevista). Que es, la sección 261 de generación de imagen prevista lee una imagen de referencia correspondiente al indice de imagen de referencia (indice Ref) de la sección 222 de decodificación sin perdidas del DPB 229-1 o 229-N. conforme al MV de la memoria 262 MV espacial, la sección 261 de generación de imagen prevista genera una imagen prevista realizando la compensación de movimiento de una imagen de referencia de lectura conforme al MV de la memoria 262 MV espacial.
Proceso de generación del vector previsto de forma no espacial Luego, el proceso de generación del vector previsto no espacialmente en el paso S266 de la FIGURA 10 será descrito con referencia al diagrama de flujo de la FIGURA 21.
En el paso S281, la sección 222 de decodificación sin perdidas se refiere al indice del vector previsto decodificado en el paso S263 de la FIGURA 20 y determina si el vector previsto es temporal. Cuando se determina que el vector previsto es temporal en el paso S281, la sección 222 de decodificación sin perdidas suministra el índice del vector previsto a la sección 281 de generación del vector de referencia intra-vista. Luego, el proceso procede al paso S282.
En el paso S282, la sección 281 de generación del vector de referencia intra-vista genera un vector previsto por el TMVP. Que es, la sección 281 de generación del vector de referencia intra-vista que genera el vector previsto interpretando un MV de un bloque correspondiente indicado por el índice del vector previsto, que se, asocia por el MV, en imágenes de diferentes tiempos de la misma vista de la memoria 233-1 MV. El vector previsto generado se suministra a la sección 263 de adición a través del interruptor 266.
Cuando se determina que el vector previsto no es temporal en el paso S281, la sección 222 de decodificación sin perdidas suministra el índice del vector previsto para la sección 282 de generación de vector de referencia de vista ínter. Luego, el proceso procede al paso S283.
En el paso S283 al S285, la sección 282 de generación del vector de referencia de vista ínter genera un vector previsto por IVMP.
Que es, en el paso S283, la sección 282 de generación del vector de referencia de vista ínter encuentra un vector de disparidad de los MVs de los bloques vecinos adyacentes al bloque (PU) de destino de la memoria 262 MV espacial y calcula una disparidad basada en el vector de disparidad encontrado.
En el paso S284, la sección 282 de generación del vector de referencia de vista ínter selecciona un PU de una posición desplazada por la disparidad obtenida en el paso S283 como el PU de referencia en una vista diferente.
En el paso S285, la sección 282 de generación del vector de referencia de vista ínter genera un vector previsto de un MV de un PU de referencia seleccionado lcyendo el MV del PU de referencia seleccionado de la memoria 233-N MV en la que se almacenan los MVs de las vistas diferentes. Debido al proceso de generación del vector previsto descrito arriba con referencia a las FIGURAS 12 y 13, se omite la descripción redundante de los mismos.
Que se, determino si el POC de referencia (POC de Ref) del bloque de destino es diferente de un POC (POC de Ref) de referencia de un bloque de referencia en base en la información POC de la sección 267 de transformada POC en el paso S285. Cuando se determinó que los POCs de Ref son diferentes, se realizó el escalado en el MV del bloque de referencia. Que es, cuando se determinó que los POCs de Ref son diferentes, un MV del bloque de referencia se escala y se genera un valor previsto.
En el proceso del paso S285, el vector previsto del IVMP generado se suministra a la sección 63 de determinación de costo del vector y la sección 68 de sustracción a través del interruptor 67 junto con un indice MV que indica el vector previsto.
Como se describió arriba, incluso cuando el POC de referencia (POC de Ref) del bloque destino es diferente de un POC de referencia (POC de Ref) de un bloque de referencia en una vista diferente, es posible designar un MV escalado como un vector previsto escalando el MV del bloque de referencia. Que es, el MV del bloque de referencia de la vista diferente que también se puede designar como el candidato del vector previsto. Por lo tanto, hay un efecto significante en la mejora de la eficiencia de codificación debido a los MVs que tienen una alta correlación que se puede escalar y utilizar.
También, aunque el caso del modo AMVP que se ha descrito anteriormente a detalle, también es aplicable la presente teenología al modo de combinación. También, en el caso del modo de combinación, como en el caso del TMVP, el índice Ref se ajusta a 0 y el MV del PU de referencia se escala cuando el POC de Ref del PU de referencia de la vista base es diferente del POC de Ref del PU actual y el MV escalado sirve como vector previsto.
En este caso, un circuito de procesamiento del TMVP y el IVMP se puede hacer común.
Además, un ejemplo en el cual un inter-MV del bloque de referencia desplazado por una disparidad indicada por un vector de disparidad de un bloque adyacente al bloque destino se utiliza después de que se escala en la dirección de tiempo conforme al POC en una vista diferente del bloque destino cuando se obtiene el vector previsto del inter-MV del bloque destino que se ha descrito anteriormente.
Por el otro lado, también es aplicable la presente teenología cuando se utiliza MV de vista ínter como el vector previsto. Qué es, cuando un MV de un bloque correspondiente de un tiempo diferente correspondiente a un bloque destino de un cierto tiempo es un MV de vista ínter que indica una vista diferente del bloque destino, el MV del bloque correspondiente se escala conforme a una vista id y el MV escalado que se puede utilizar como un vector previsto del bloque previsto.
Como se describió, el esquema HEVC se configuro para que se utilice como el esquema de codificación en la base. Sin embargo, la presente divulgación no se limita al mismo. Es posible aplicar otros esquemas de codificación/decodificación.
También, la presente divulgación, por ejemplo, es aplicable a un dispositivo de codificación de imagen y un dispositivo de decodificación de imagen para que se utilice cuando la información de la imagen (flujo de bitios) comprimida por una transformada ortogonal tal como una transformada de coseno discreta y compensación de movimiento como en el esquema HEVC o similar se reciba a través de los medios de comunicación de la red tales como radiodifusión por satélite, una televisión por cable, el Internet, y un teléfono móvil. Además, la presente divulgación es aplicable a un dispositivo de codificación de imagen y un dispositivo de decodificación de imagen para ser utilizado cuando se realice el procesamiento en el medio de almacenamiento tal como un disco óptico, un disco magnético y una memoria flash.
También, la presente teenología es aplicable, por ejemplo, para la transmisión HTTP tal como MPEG DASH para seleccionar y utilizar los datos codificados apropiados de una pluralidad de piezas de los datos codificados en la que las resoluciones preparadas y similares son diferentes de uno de otro en unidades de segmentos. 4. Tercera modalidad Ejemplo de configuración de la computadora Las series descritas arriba de los procesos se pueden ejecutar por hardware o se pueden ejecutar por software. Cuando las series de los procesos se llevan a cabo por software, los programas que forman el software se instalan en una computadora. Aquí, una computadora incluye una computadora que se incorpora en el hardware dedicado o una computadora (PC) personal de propósito general la cual puede ejecutar varias funciones instalando varios programas en la computadora, por ejemplo.
La FIGURA 22 es un diagrama de bloques que ilustra un ejemplo de configuración del hardware de una computadora para ejecutar las series descritas anteriormente de los procesos a través del programa.
En una computadora 800, una unidad (CPU) 801 de procesamiento central, una memoria (ROM) 802 de solo lectura, y una memoria (RAM) 803 de acceso aleatorio se conectan el uno al otro por un bus 804.
Se conecta además una interfaz (I/F) 810805 de entrada y salida al bus 804. Se conectan una sección 811806 de entrada, una sección 812807 de salida, una sección 813808 de almacenamiento, una sección 814809 de comunicación, y una unidad 815810 a la entrada y salida I/F 805.
La sección 811806 se forma con un teclado, un ratón, un micrófono, y similar. La sección 812807 de salida se forma con una exhibición, un altavoz, y similar. La sección 813808 de almacenamiento se forma con un disco duro, una memoria no volátil, o similar. La sección 814809 de comunicación se forma con una interfaz de red o similar. La unidad 815810 condice un medio 821844 removible tal como un disco magnético, un disco óptico, un disco magneto-óptico, o una memoria semiconductora.
En la computadora configurada como se describió arriba, el CPU 801 carga los programas almacenados en la sección 813808 de almacenamiento en la RAM 803 a través del I/F 810805 de entrada y de salida y el bus 804, y ejecuta los programas, de manera que las series de procesos descritas arriba se lleven a cabo .
El programa ejecutado por el computadora 800 (el CPU 801) se puede proporcionar siendo reducid en el medio 821811 removible como un medio envasado o similar. El programa también se puede proporcionar a través de un medio de transferencia cableado o inalámbrico, tal como una red de área local, el Internet, o una emisión de satélite digital.
En la computadora, mediante la carga del medio 821841 removible en la unidad 815810, el programa se puede instalar en la sección 813808 de almacenamiento a través del I/F 810805 de entrada y de salida. También es posible recibir el programa de un medio de transferencia por cable o inalámbrico usando la sección 814809 de comunicación e instalar el programa en la sección 813808 de almacenamiento. Como otra alternativa, el programa se puede instalar en avanzado en el ROM 802 o la sección 813808 de almacenamiento.
Deberá notarse que el programa ejecutado por una computadora pueda ser un programa que se procesa en series de tiempo conforme a la secuencia descrita en esta especificación o un programa que se procese en paralelo o en tiempo necesario tales como en llamar.
En la presente divulgación, los pasos de descripción del programa para ser grabados en el medio de grabación pueden incluir el procesamiento realizado en series de tiempo conforme al orden de descripción y el procesamiento no procesado en series de tiempo pero realizado en paralelo o individualmente.
En la especificación, el sistema se refiere a todo el aparato que incluye una pluralidad de dispositivos (aparatosos).
Además, un elemento descrito como un solo dispositivo (o unidad de procesamiento) anteriormente se puede dividir y configurar como una pluralidad de dispositivos (o unidades de procesamiento). En lo contrario, los elementos descritos como una pluralidad de dispositivos (o unidades de procesamiento) anteriores se pueden configurar colectivamente como un solo dispositivo (o unidad de procesamiento). Además, un elemento distinto que aquellos descritos anteriormente se pueden agregar a cada dispositivo (o unidad de procesamiento). Además, una parte de un elemento de un dispositivo dado (o unidad de procesamiento) se puede incluir en un elemento distinto de otro dispositivo (u otra unidad de procesamiento) siempre que la configuración u operación del sistema como un entero sea sustancialmente el mismo. En otras palabras, una modalidad de la divulgación no se limita a las modalidades descritas anteriormente, y varios cambios y modificaciones de pueden hacer sin salir del alcance de la divulgación.
El dispositivo de codificación de imagen y el dispositivo de decodificación de imagen conforme a la modalidad se puede aplicar a varios dispositivos electrónicos tales como transmisores y receptores para emisión satelital, emisión por cable tal como TV de cable, distribución en internet, distribución a terminales a través de comunicación celular y similar, dispositivos de grabación que graba imágenes en un medio tal como discos ópticos, discos magnéticos y memoria flash, y dispositivos de reproducción que reproduce imágenes de tal medio de almacenamiento. Cuatro aplicaciones serán descritas más adelante. 5. Aplicaciones Primera Aplicación: Receptores de Televisión La FIGURA 23 ilustra un ejemplo de una configuración esquemática de un dispositivo de televisión para la cual se aplica la modalidad. Un dispositivo 900 de televisión incluye una antena 901, un sintonizador 902, un demultiplexor 903, un decodificador 904, una sección 905 de procesamiento de señal de video, una sección 906 de visualización, una sección 907 de procesamiento de señal de audio, un altavoz 908, un i/F 909 externa, una sección 910 de control, un I/F 911 usuario, y un bus 912.
El sintonizador 902 extrae una señal de un canal deseado de señales de radiodifusión recibidas a través de la antena 901, y desmodula la señal extraída. El sintonizador 902 entonces emite una corriente de bitios codificados obtenidos a través de la demodulación al demultiplexor 903. Qué es, el sintonizador 902 sirve como un medio de transmisión del dispositivo 900 de televisión para recibir una corriente codificada en la cual la imagen se codifica.
El demultiplexor 903 demultiplexa la corriente de bitios codificada para obtener una corriente de video y una corriente de audio de un programa para que sea visto, y emita cada corriente obtenida a través del demultiplexeo para el decodificador 904. El demultiplexor 903 también extrae auxiliarmente datos tales como guias (EPGs) de programas electrónicos de la corriente de bitios codificada, y suministra los datos extraídos a la sección 910 de control. Adicionalmente, el demultiplexor 903 puede llevar a cabo el descifrado cuando la corriente de bitios codificada se haya decodificado.
El decodificador 904 decodifica la corriente de video y la entrada de corriente de audio del demultiplexor 903. El decodificador 904 luego emite los datos de video generados en el proceso de decodificación a la sección 905 de procesamiento de señal de video. El decodificador 904 también emite los datos de audio generados en el proceso de decodificación a la sección 907 de procesamiento de señal de audio.
La sección 905 de procesamiento de señal de video reproduce la entrada de los datos de video del decodificador 904, y causa la sección 906 de visualización para visualizar el video. La sección 905 de procesamiento de señal de video también puede causar que la sección 906 de visualización visualice una pantalla de aplicación a través de una red. Además, la sección 905 de procesamiento de señal de video puede realizar un proceso adicional tal como remover el ruido (supresión), por ejemplo, en los datos de video de acuerdo con el ajuste. Además, la sección 905 de procesamiento de señal de video puede generar una imagen de un I/F (GUI) usuario gráfico tal como un menú, un botón y un cursor, y sobreponer la imagen generada en una imagen de salida.
La sección 906 de visualización se acciona por una señal de accionamiento suministrada de la sección 905 de procesamiento de señal de video, y visualiza un video o una imagen en una pantalla de video de un dispositivo de visualización (por ejemplo, pantalla de cristal liquido, pantalla de plasma, pantalla (OLED) de electroluminiscencia orgánica, etc.).
La sección 907 de procesamiento de señal de audio lleva a cabo un proceso de reproducción tal como una conversión D/A y amplificación en la entrada de los datos de audio del decodificador 904, y emite un sonido del altavoz 908. La sección 907 de procesamiento de señal de audio puede realizar un proceso adicional tal como eliminación (supresión) de ruido en los datos de audio.
El I/F 909 externo es un I/F para conectar el dispositivo 900 de televisión a un dispositivo externo o en red. Por ejemplo, una corriente de video o una corriente de audio recibida a través del I/F 909 externo se puede decodificar por el decodificador 904. Que es, el I/F 909 externo también sirve como un medio de transmisión del dispositivo 900 de televisión para recibir una corriente codificada en la que la imagen se codifique.
La sección 910 de control incluye un procesador tal como una unidad (CPU) de procesamiento de señal, y una memoria tal como una memoria (RAM) de acceso aleatorio y memoria (ROM) de solo lectura. La memoria almacena un programa para ser ejecutado por el CPU, datos de programa, datos EPG, datos adquiridos a través de una red, y similares. El programa almacenado en la memoria se lee y se ejecuta por el CPU en el tiempo de activación del dispositivo 900 de televisión, por ejemplo. El CPU controla la operación del dispositivo 900 de televisión, por ejemplo, de acuerdo con una entrada de señal de operación del I/F 911 usuario ejecutando el programa.
El I/F 911 usuario se conecta a la sección 910 de control. El I/F 911 usuario incluye, por ejemplo, un botón y un interruptor utilizado por un usuario para operar el dispositivo 900 de televisión, y una sección de recepción para una señal de control remota. El I/F 911 usuario detecta una operación de un usuario a través de estos elementos estructurales, genera una señal de operación, y emite la señal de operación generada a la sección 910 de control.
El bus 912 conecta el sintonizador 902, el demultiplexor 903, el decodificador 904, la sección 905 de procesamiento de señal de video, la sección 907 de procesamiento de señal de audio, el I/F 909 externa, y la sección 910 de control a cada una.
El decodificador 904 tiene una función del dispositivo 60 de decodificación de imagen conforme a la modalidad en el dispositivo 900 de televisión configurado de esta manera. Es posible mejorar la eficiencia de codificación de la codificación o decodificación de un MV en una imagen de vistas múltiples.
Segunda Aplicación: Teléfonos móviles La FIGURA 24 ilustra un ejemplo de una configuración esquemática de un teléfono móvil para la cual se aplica la modalidad. Un teléfono 920 móvil incluye una antena 921, una sección 922 de comunicación, un códec 923 de audio, un altavoz 924, un micrófono 925, una sección 926 de cámara, una sección 927 de procesamiento de imagen, una sección 928 de demultiplexeo, una sección 929 de grabación/reproducción, una sección 930 de visualización, una sección 931 de control, una sección 932 de operación, y un bus 933.
La antena 921 se conecta a la sección 922 de comunicación. El altavoz 924 y el micrófono 925 se conectan al códec 923 de audio. La sección 932 de operación se conecta a la sección 931 de control. El bus 933 conecta la sección 922 de comunicación, el códec 923 de audio, la sección 926 de cámara, la sección 927 de procesamiento de imagen, la sección 928 de demultiplexeo, la sección 929 de grabación/reproducción, la sección 930 de visualización, y la sección 931 de control a cada una.
El teléfono móvil 920 realiza una operación tal como la transmisión y recepción de una señal de audio, transmisión y recepción de email o datos de imagen, captura de imagen, y grabación de datos en varios modos de operación que incluyen una modo de llamada de audio, un modo de comunicación de datos, una modo de captura de imagen, y un modo de videoteléfono.
Una señal de audio análoga generada por el micro teléfono 925 se suministra al códec 923 de audio en el modo de llamada de audio. El códec 923 de audio convierte la señal de audio análoga en datos de audio, tiene los datos de audio convertidos sometidos a la conversión A/D, y comprende los datos convertidos. El códec 923 de audio luego emite los datos de audio comprimidos a la sección 922 de comunicación. La sección 922 de comunicación codifica y modula los datos de audio, y genera una señal de transmisión. La sección 922 de comunicación luego transmite la señal de transmisión generada a una estación base (no ilustrada) a través de la antena 921. La sección 922 de comunicación también amplifica una señal inalámbrica recibida a través de la antena 921 y convierte la frecuencia de la señal inalámbrica para adquirir una señal recibida. La sección 922 de comunicación luego desmodula y decodifica la señal recibida, genera datos de audio, y emite los datos de audio generados para el códec 923 de audio. El códec 923 de audio extiende los datos de audio, tiene los datos de audio sometidos a la conversión D/A, y genera una señal de audio análoga. El códec 923 de audio luego suministra la señal de audio generada al altavoz 924 para emitir un sonido.
La sección 931 de control también genera datos de texto de acuerdo con una operación hecha por un usuario a través de la sección 932 de operación, los datos de texto, por ejemplo, composición de email. Por otra parte, la sección 931 de control causa la sección 930 de visualización que visualice el texto. Además, la sección 931 de control genera datos de email de acuerdo con una instrucción de transmisión de un usuario a través de la sección 932 de operación, y emite los datos de email generados a la sección 922 de comunicación. La sección 922 de comunicación codifica y modula los datos de email, y genera una señal de transmisión. La sección 922 de comunicación luego transmite la señal de transmisión generada a una estación base (no ilustrada) a través de la antena 921. La sección 922 de comunicación también amplifica una señal inalámbrica recibida a través de la antena 921 y convierte la frecuencia de la señal inalámbrica para adquirir una señal recibida. La sección 922 de comunicación luego desmodula y decodifica la señal recibida para restaurar los datos de email, y emite los datos de email restaurados a la sección 931 de control. La sección 931 de control causa la sección 930 de visualización visualizar el contenido el email, y también causa restaurar el medio de la sección 929 de reproducción/grabación almacenar los datos de email.
La sección 929 de reproducción/grabación incluye un medio de almacenamiento legible y grabable. Por ejemplo, el medio de almacenamiento puede ser un medio de almacenamiento incorporado tal como una RAM y memoria flash, o un medio de almacenamiento montado de manera externa tal como discos duros, discos magnéticos, discos magneto-ópticos, discos ópticos, memoria (USB) de mapa de bitios de espacio no asignado, y tarjetas de memoria.
Además, la sección 926 de cámara, por ejemplo, captura una imagen de un sujeto para generar datos de imagen, y emitir los datos de imagen generados a la sección 927 de procesamiento de imagen en el modo de captura de imagen. La sección 927 de procesamiento de imagen codifica la entrada de datos de imagen de la sección 926 de cámara, y causa que el medio de almacenamiento de la sección 929 de reproducción/almacenamiento almacene la corriente codificada.
Además, la sección 928 de demultiplexado, por ejemplo, multiplexa una corriente de video codificada por la sección 927 de procesamiento de imagen y una entrada de corriente de audio del códec 923 de audio, y emite la corriente multiplexada a la sección 922 de comunicación en el modo videoteléfono. La sección 922 de comunicación codifica y modula la corriente, y genera una señal de transmisión. La sección 922 de comunicación luego transmite la señal de transmisión generada a una estación de base (no ilustrada) a través de la antena 921. La sección 922 de comunicación también amplifica una señal inalámbrica recibida a través de la antena 921 y convierte la frecuencia de la señal inalámbrica que adquiera una señal recibida. Estas señales de transmisión y señales recibidas pueden incluir una corriente de bitios codificadas. La sección 922 de comunicación luego desmodula y decodifica la señal recibida para restaurar la corriente, y emite la corriente restaurada a la sección 928 de demultiplexeo. La sección 928 de demultiplexeo demultiplexa la corriente de entrada para que obtenga una corriente de video y una corriente de audio, y emita la corriente de video a la sección 927 de procesamiento de imagen y la corriente de audio para el códec 923 de audio. La sección 927 de procesamiento de imagen decodifica la corriente de video, y genera datos de video. Los datos de video se suministran a la sección 930 de visualización, y unas series de imágenes se visualizan por la sección 930 de visualización. El códec 923 de audio extiende la corriente de audio, tiene la corriente de audio sometida a la conversión D/A, y genera una señal de audio análoga. El códec 923 de audio entonces suministra la señal de audio generada al altavoz 924, y causa un sonido para que se emita.
La sección 927 de procesamiento de imagen tiene una función del dispositivo de codificación de imagen y el dispositivo de decodificación de imagen conforme a la modalidad en el teléfono móvil 920 configurado de esta manera. Es posible mejorar la eficiencia de codificación de la codificación o decodificación de un MV en una imagen de vistas múltiples.
Tercera Aplicación: dispositivo de grabación/reproducción La FIGURA 25 ilustra un ejemplo de una configuración esquemática de un dispositivo de grabación/reproducción para la cual se aplica la modalidad. Un dispositivo 940 de reproducción/grabación, por ejemplo, codifica datos de audio y datos de video de un programa de emisión recibida y graba los datos de audio codificados y los datos de video codificados en un medio de grabación. Por ejemplo, el dispositivo 940 de reproducción/grabación también puede codificar datos de audio y datos de video adquiridos de otro dispositivo y grabar los datos de audio codificados y los datos de video codificados en un medio de grabación. Además, el dispositivo 940 de grabación/reproducción, por ejemplo, usa un monitor o un altavoz para reproducir los datos grabados en el medio de grabación de acuerdo con una instrucción de un usuario. En este momento, el dispositivo 940 de grabación/reproducción decodifica los datos de audio y los datos de video.
El dispositivo 940 de reproducción/grabación incluye un sintonizador 941, un I/F 942 externo, un codificador 943, una unidad (HDD) 944 de disco duro, una unidad 945 de disco, un selector 946, un decodificador 947, una visualización (OSD) 948 de pantalla, una sección 949 de control, y un I/F 950 usuario.
El sintonizador 941 extrae una señal de un canal deseado de señales de radiodifusión recibidas a través de una antena (no mostrada), y desmodula la señal extraída. El sintonizador 941 entonces emite una corriente de bitios codificada obtenidas a través de la demodulación para el selector 946. Que es, el sintonizador 941 sirve como un medio de transmisión del dispositivo 940 de reproducción/grabación.
El I/F 942 externo es un I/F para conectar el dispositivo 940 de grabación/reproducción a un dispositivo externo o una red. Por ejemplo, el I/F 942 externo puede ser un I/F 1394 de Instituto de Ingenieros Eléctricos y Electrónicos (IEEE), un I/F red, un I/F USB, un I/F de memoria flash, o similar. Por ejemplo, los datos de video y datos de audio recibidos por medio de I/F 942 externo se introducen al codificador 943. Que es, el I/F 942 externo sirve como un medio de transmisión del dispositivo 940 de grabación/reproducción.
Cuando la entrada de los datos de video y los datos de audio I/F 942 no se han codificado, el codificador 943 codifica los datos de video y los datos de audio. El codificador 943 entonces emite una corriente de bitios codificada al selector 946.
El HDD 944 graba, en un disco duro interno, la corriente de bitios codificada en la que los datos de contenido de un video y un sonido se comprimen, varios programas, y otras piezas de datos. El HDD 944 también lee estas piezas de los datos del disco duro al tiempo de la reproducción de un video o de un sonido.
La unidad 945 de disco graba y lee los datos en un medio de grabación que se monta. El medio de grabación que se monta en la unidad 945 de disco puede ser, por ejemplo, un disco DVD (DVD-Video, DVD-RAM, DVD-R, DVD-RW, un DVD+R, DVD+RW, etc.), un disco Blu-ray (marca registrada), o similar.
El selector 946 selecciona, en el tiempo de grabar un video o un sonido, una entrada de corriente de bitios codificada del sintonizador 941 o el codificador 943, y emite la corriente de bitios codificada seleccionada al HDD 944 o la unidad 945 de disco. El selector 946 también emite, en el tiempo de reproducir un video o un sonido, una entrada de corriente de bitios codificada del HDD 944 o la unidad 945 de disco al decodificador 947.
El decodificador 947 decodifica la corriente de bitios codificada, y genera datos de video y datos de audio. El decodificador 947 luego emite los datos de video generados al OSD 948. El decodificador 904 también emite los datos de video codificados a un altavoz externo.
El OSD 948 reproduce la entrada de los datos de video del decodificador 947, y visualiza un video. El OSD 948 también puede sobreponer una imagen de un GUI tal como un menú, botón, y un cursor en un video visualizado.
La sección 949 de control incluye un procesador tal como un CPU, y una memoria tal como RAM y ROM. La memoria almacena un programa para ser ejecutado por el CPU, datos de programa, y similares. Por ejemplo, un programa almacenado en la memoria se lee y se ejecuta por el CPU en el tiempo de activación del dispositivo 940 de reproducción/grabación. El CPU controla la operación del dispositivo 940 de reproducción/grabación, de acuerdo con una entrada de señal de operación del I/F 950 usuario ejecutando el programa.
El I/F 950 usuario se conecta a la sección 949 de control. El I/F 950 usuario incluye, por ejemplo, un botón y un interruptor utilizado por un usuario para operar el dispositivo 940 de reproducción/grabación, y una sección de recepción para una señal de control remoto. El I/F 950 usuario detecta una operación hecha por un usuario a través de estos elementos estructurales, genera una señal de operación, y emite la señal de operación generada a la sección 949 de control .
El codificador 943 tiene una función del dispositivo de codificación de imagen conforme a la modalidad en el dispositivo 940 de reproducción/grabación configurado de esta manera. El decodificador 947 también tiene una función del dispositivo de decodificación de imagen conforme a la modalidad. Es posible mejorar la eficiencia de codificación de la codificación o decodificación de un V en una imagen de vistas múltiples.
Cuarta Aplicación: Dispositivo de captura de imagen La FIGURA 26 ilustra un ejemplo de una configuración esquemática de un dispositivo de captura de imagen para la cual se aplica la siguiente modalidad. Un dispositivo 960 de captura de imagen captura una imagen de un sujeto para generar una imagen, codifica los datos de imagen, y graba los datos de imagen en un medio de grabación.
El dispositivo 960 de captura de imágenes incluye un bloque 961 óptico, una sección 962 de captura de imágenes, una sección 963 de procesamiento de señal, una sección 964 de procesamiento de imagen, una sección 965 de visualización, un I/F 966 externo, una memoria 967, una unidad 968 media, un OSD 969, una sección 970 de control, un I/F 971 usuario, y un bus 972.
El bloque 961 óptico se conecta a la sección 962 de captura de imágenes. La sección 962 de captura de imágenes se conecta a la sección 963 de procesamiento de señal. La sección 965 de visualización se conecta a la sección 964 de procesamiento de imagen. El I/F 971 usuario se conecta a la sección 970 de control. El bus 972 conecta la sección 964 de procesamiento de imagen, el I/F 966 externo, la memoria 967, la unidad 968 de soporte, el OSD 969, y la sección 970 de control para cada una.
El bloque 961 óptico incluye un lente de enfoque, un mecanismo de parada de apertura, y similar. El bloque 961 óptico forma una imagen óptica de un sujeto en una superficie de captura de imagen de la sección 962 de captura de imagen. La sección 962 de captura de imagen incluye un sensor de imagen tal como un dispositivo (CCD) de carga acoplada y un semiconductor (CMOS) de óxido de metal complementario, y convierte la imagen óptica formada en la superficie de captura de imagen en una señal de imagen la cual es una señal eléctrica a través de la conversión fotoeléctrica. La sección 962 de captura de imagen entonces emite la señal de imagen a la sección 963 de procesamiento de imagen.
La sección 963 de procesamiento de imagen realiza varios procesos de señal de cámara tala como corrección de rodilla, corrección gama, y corrección de color en la entrada de señal de imagen de la sección 962 de captura de imagen. La sección 963 de procesamiento de señal emite los datos de imagen sometidos al proceso de señal de cámara a la sección 964 de procesamiento de imagen.
La sección 964 de procesamiento de imagen codifica la entrada de datos de imagen de la sección 963 de procesamiento de señal, y genera datos codificados. La sección 964 de procesamiento de imagen luego emite los datos codificados generados al I/F 966 externo o la unidad 968 de soporte. La sección 964 de procesamiento de imagen también decodifica la entrada de datos codificados del I/F 966 externo o la unidad 968 de soporte, y genera datos de imagen. La sección 964 de procesamiento de imagen entonces emite los datos de imagen generados a la sección 965 de visualización. La sección 964 de procesamiento de imagen también puede emitir la entrada de datos de imagen de la sección 963 de procesamiento de imagen a la sección 965 de visualización, y causa que la imagen sea visualizada. Además, la sección 964 de procesamiento de imagen puede sobreponer datos para la visualización adquirida del OSD 969 en una imagen para que se emita a la sección 965 de visualización.
El OSD 969 genera una imagen de un GUI tal como un menú, un botón, y un cursor, y emite la imagen generada a la sección 964 de procesamiento de imagen.
El I/F 966 externo se configura, por ejemplo, como una entrada USB y una terminal de salida. El I/F 966 externo conecta el dispositivo 960 de captura de imagen y una impresora, por ejemplo, en el momento de imprimir una imagen. Se conecta una unidad al I/F 966 externo según sea necesario. Un medio removible tal como discos magnéticos y discos ópticos se montan en la unidad, y un programa lee del medio removible para que sea instalado en el dispositivo 960 de captura de imagen. Además, el I/F 966 externo se puede configurar como un I/F red para que se conecte a una red tal como una LAN y el Internet. Esto es, el I/F 966 externo sirve como un medio de transmisión del dispositivo 960 de captura de imagen.
Un medio de grabación para ser montado en la unidad 968 media puede ser un medio removible legible y grabable tal como discos magnéticos, discos magneto-ópticos, discos ópticos, y memoria semiconductora. El medio de grabación también puede ser montado fijamente en la unidad 968 de soporte, configurar una sección de almacenamiento no transportable tales como unidades de disco duro incorporado o unidades (SSDs) de estado sólido.
La sección 970 de control incluye un procesador tal como un CPU, y una memoria tal como RAM y ROM. La memoria almacena un programa para que sea ejecutado por el CPU, datos de programa, y similares. Se lee un programa almacenado en la memoria y se ejecuta por el CPU, por ejemplo, en el tiempo de activación del dispositivo 960 de captura de imagen. El CPU controla la operación del dispositivo 960 de captura de imagen, por ejemplo, de acuerdo con una entrada de señal de operación del I/F 971 de usuario ejecutando el programa.
El I/F 971 se conecta a la sección 970 de control. El I/F 971 usuario incluye, por ejemplo, un botón, un interruptor, y similar utilizado por un usuario para operar el dispositivo 960 de captura de imagen. El I/F 971 usuario detecta una operación hecha por un usuario a través de estos elementos estructurales, genera una señal de operación, y emite la señal de operación generada a la sección 970 de control.
La sección 964 de procesamiento de imagen tiene una función del dispositivo de codificación de imagen y el dispositivo de decodificación de imagen conforme a la modalidad en el dispositivo 960 de captura de imagen configurado de esta manera. Es posible mejorar la eficiencia de codificación de la codificación o decodificación de un MV en una imagen de vistas múltiples. 6. Ejemplo de aplicación de la codificación de video escalable Primer Sistema Luego, se describirá un ejemplo especifico de utilizar datos codificados escalables, en la que se realiza la codificación (codificación jerárquica) de video escalable. La codificación de video escalable, por ejemplo, se utiliza para la selección de datos para que se transmitan como ejemplos ilustrados en la FIGURA 27.
En un sistema 100 de transmisión de datos ilustrado en la FIGURA 27, un servidor 1002 de distribución lee datos codificados escalables almacenados en una sección 1001 de almacenamiento de datos codificados escalables, y distribuye los datos codificados escaladles a un dispositivo terminal tal como una PC 1004, un dispositivo 1005 AV, un dispositivo 1006 de tableta, o un teléfono móvil 1007 por medio de una red 1003.
En este momento, el servidor 1002 de distribución selección y transmite los datos codificados que tienen un calidad adecuada conforme a la capacidad del dispositivo terminal, ambiente de comunicación, o similar. Incluso cuando el servidor 1002 de distribución transmite innecesariamente datos de alta calidad, una imagen de alta calidad que no se obtiene necesariamente en el dispositivo terminal y puede ser una causa de que ocurra un retraso o un desbordamiento. Además, se puede ocupar innecesariamente una banda de comunicación o una carga del dispositivo terminal que se puede aumentar innecesariamente. En contraste, incluso cuando el servidor 1002 de distribución transmite innecesariamente datos de baja calidad, una imagen con una calidad suficiente no se puede obtener. Asi, el servidor 1002 de distribución lee apropiadamente y transmite los datos codificados escalables almacenados en la sección 1001 de almacenamiento de datos codificados escalables como los datos codificados que tienen una calidad adecuada conforme a la capacidad del dispositivo terminal, el ambiente de comunicación, o similar.
Por ejemplo, la sección 1001 de almacenamiento de datos codificados escalables se configura para almacenar los datos (BL+EL) 1011 codificados escalables en la que la codificación de video escalable se lleva a cabo. Los datos (BL+EL) 1011 codificados escalables son datos codificados que incluyen tanto una capa base y una capa de mejora, y es dato de la cual la imagen de capa base y la imagen de capa de mejora se pueda obtener llevando a cabo la decodificación.
El servidor 1002 de distribución selecciona una capa apropiada conforme a la capacidad del dispositivo terminal para los datos de transmisión, el ambiente de comunicación, o similar, y lee los datos de la capa seleccionada. Por ejemplo, con respecto al PC 1004 o el dispositivo 1006 de tableta que tiene alta capacidad de procesamiento, el servidor 1002 de distribución lee los datos (BL+EL) 1011 codificados escalables de la sección 1001 de almacenamiento de datos codificados escalables, y transmite los datos (BL+EL) 1011 codificados escalables sin cambios. Por el otro lado, por ejemplo, con respecto al dispositivo 1005 AV o el teléfono móvil 1007 que tiene baja capacidad de procesamiento, el servidor 1002 de distribución extrae los datos de la capa base de los datos (BL+EL) 1011 codificados escalables, y transmite los datos extraídos de la capa base como datos (BL) 1012 codificados escalables de baja calidad que son datos que tienen el mismo contenido como los datos (BL+EL) 1011 codificados escalables pero tiene calidad inferior que los datos (BL+EL) 1011 codificados escalables.
Debido a una cantidad de datos que se pueden ajustar fácilmente empleando los datos codificados escalables, la ocurrencia de retraso o desbordamiento puede ser suprimido o aumenta innecesariamente de la carga del dispositivo terminal o el medio de comunicación puede ser suprimido. Además, debido a una redundancia entre las capas se reduce en los datos (BL+EL) 1011 codificados escalables, es posible además reducir la cantidad de datos que cuando los datos codificados de cada capa se trate como los datos individuales. Por lo tanto, es posible utilizar más eficientemente la región de almacenamiento de la sección 1001 de almacenamiento de datos codificados escalables.
Debido a varios dispositivos tales como la PC 1004 al teléfono móvil 1007 son aplicables como el dispositivo terminal, el rendimiento del hardware de los dispositivos terminales que difieren conforme al dispositivo. Además, porque hay varias aplicaciones las cuales se ejecutan por el dispositivo terminal, el rendimiento del software del mismo también varia. Además, porque todas las redes de comunicación incluyen un cableado, una red inalámbrica, o ambos tales como la Internet y la red (LAN) de área local que son aplicables como la red 1003 que sirve como un medio de comunicación, el rendimiento de la transmisión de datos del mismo varia. Además, el rendimiento de transmisión de datos puede varias por otras comunicaciones, o similar.
Por lo tanto, el servidor 1002 de distribución puede realizar la comunicación con el dispositivo terminal el cual es el destino de transmisión de datos antes de que inicie la transmisión de datos, y luego obtener información relacionada al rendimiento del dispositivo terminal tal como el rendimiento del hardware o el dispositivo terminal, o el rendimiento de las aplicaciones (software) el cual se ejecuta por el dispositivo terminal, y la información relacionada al ambiente de comunicación tal como una banda ancha disponible de la red 1003. Luego, el servidor 1002 de distribución selecciona una capa apropiada en base de la información obtenida.
También, la extracción de la capa se puede llevar a cabo en el dispositivo terminal. Por ejemplo, el PC 1004 puede decodificar los datos (BL+EL) 1011 codificados escalables transmitidos y muestra la imagen de la capa base o muestra la imagen de la capa de mejora. Además, por ejemplo, el PC 1004 se puede configurar para extraer los datos (BL) 1012 codificados escalables de la capa base de los datos (BL+EL) 1011 codificados escalables transmitidos, que almacena los datos (BL) 1012 codificados escalables extraídos de la capa base, transmitir a otro dispositivo, o decodificar y mostrar la imagen de la capa base.
Por supuesto, el número de las secciones 1001 de almacenamiento de datos codificados escalables, los servidores 1002 de distribución, las redes 1003, y los dispositivos terminales son opcionales. Además, aunque el ejemplo del servidor 1002 de distribución que transmite los datos al dispositivo terminal se describe más adelante, el ejemplo del uso no se limita a esto. El sistema 1000 de transmisión de datos es aplicable a cualquier sistema el cual selecciona y transmite una capa apropiada conforme a la capacidad del dispositivo terminal, el ambiente de comunicación, o similar cuando los datos codificados escalables se transmiten al dispositivo terminal.
Incluso en el sistema 1000 de transmisión de datos como en la FIGURA 27, es posible obtener efectos similares para aquellos descritos más adelante con referencia a las FIGURAS 1 a 21 aplicando la presente teenología descrita más adelante con referencia a las FIGURAS 1 a 21.
Segundo Sistema Además, la codificación de video escaladle, por ejemplo, se utiliza para transmisión a través de una pluralidad de medios de comunicación como en un ejemplo en la FIGURA 28.
En un sistema 1100 de transmisión de datos ilustrado en la FIGURA 28, una emisora 1101 transmite los datos (BL) 1121 codificados escalables de la capa base por radiodifusión lili terrestre. Además, la emisora 1101 transmite los datos (EL) 112 codificados escalables de la capa de mejora a través de cualquier red 1112 arbitraria hecha de una red de comunicación que sea alámbrica, inalámbrica, o ambas (por ejemplo, los datos se hacen paquete y se envían).
Un dispositivo 1102 terminal tiene una función de la recepción de la emisión lili terrestre que se emite por la emisora 1101 y recibe los datos (BL) 1121 codificados escalables de la capa base transmitida a través de la emisión lili terrestre. Además, el dispositivo 1102 terminal tiene además una función de comunicación por la cual se lleva a cabo la comunicación a través de una red 1112, y recibe los datos (EL) 112 codificados escalables de la capa de mejora transmitida por medio de la red 1112.
Por ejemplo, conforme a la instrucción del usuario o similar, el dispositivo 1102 terminal decodifica los datos (BL) 1121 codificados escalables de la capa base adquirida por medio de la emisión lili terrestre, de este modo se obtiene y se almacena la imagen de la capa base o transmite la imagen de la capa base a otros dispositivos.
Además, por ejemplo, conforme a la instrucción del usuario, el dispositivo 1102 terminal combina los datos (BL) 1121 codificados escalables de la capa base adquirida a través de la emisión lili terrestre y los datos (EL) 1122 codificados escalables de la capa de mejora adquirida a través de la red 1112, de este modo se obtienen los datos (BL+EL) codificados escalables, se obtiene o se almacena la imagen de la capa de mejora por la decodificación de los datos (BL+EL) codificados escalables, o transmitir la imagen de la capa de mejora a otros dispositivos.
Como se describió más adelante, los datos codificados escalables, por ejemplo, se pueden transmitir a través del medio de comunicación diferente para cada capa. Por lo tanto, es posible dispersar la carga y suprimir la ocurrencia de retraso y desbordamiento.
Además, conforme a la situación, el medio de comunicación utilizado para la transmisión para cada capa se puede configurar para que se seleccione. Por ejemplo, los datos (BL) 1121 escalables codificados de la capa base en la que la cantidad de datos sea comparativamente larga se puede transmitir por el medio de comunicación que tiene una amplia banda ancha, y los datos (EL) 1122 codificados escalables de la capa de mejora en la cual la cantidad de datos es comparativamente pequeña se puede transmitir por medio del medio de comunicación que tiene un ancho de banda estrecho. Además, por ejemplo, si el medio de comunicación que transmite los datos (EL) 1122 codificados escalables de la capa de mejora es la red 1112 o la radiodifusión lili terrestre que se puede cambiar conforme a la banda ancha disponible de la red 1112. Por supuesto, lo mismo es verdadero para los datos de una capa arbitraria.
Para controlar de esta manera, es posible además suprimir el aumento de la carga en la transmisión de datos.
Por supuesto, el número de las capas es opcional, y el número de los medios de comunicación utilizados en la transmisión también es opcional. Además, el número de los dispositivos 1102 terminales los cuales son el destino de la distribución de datos también es opcional. Además, aunque el ejemplo de la radiodifusión de la emisora 1101 se ha descrito anteriormente, el ejemplo de uso no se limita al mismo. El sistema 1100 de transmisión de datos se puede aplicar a cualquier sistema el cual divide los datos codificados escalables utilizando una capa como una unidad y transmite los datos codificados escalables a través de una pluralidad de enlaces.
Incluso en el sistema 1100 de transmisión de datos como en la FIGURA 28, es posible obtener efector similares a los que se ha descrito anteriormente con referencia en las FIGURAS 1 a 21 aplicando la presente teenología descrita arriba con referencia a las FIGURAS 1 a 21.
Tercer Sistema Además, la codificación de video escalable se utiliza en el almacenamiento de los datos codificados como un ejemplo ilustrado en la FIGURA 29.
En un sistema 1200 de captura de imagen ilustrado en la FIGURA 29, un dispositivo 1201 de captura de imagen realiza codificación de video escalable en los datos de imagen obtenidos por la captura de una imagen de un sujeto 1211, y suministra un resultado de video escalable como los datos (BL+EL) 1221 codificados escalables para una dispositivo 1202 de almacenamiento de datos codificados escalables.
El dispositivo 1202 de almacenamiento de datos codificados escalables almacena los datos (BL+EL) 1221 codificados escalables suministrados del dispositivo 1201 de captura de imagen en calidad conforme a la situación. Por ejemplo, en el caso de circunstancias normales, el dispositivo 1202 de almacenamiento de datos codificados escalables extrae datos de la capa base de los datos (BL+EL) 1221 codificados escalables, y almacena los datos extraídos como datos (BL) 1222 codificados escalables de la capa base que tiene una cantidad pequeña de datos en baja calidad. Por el otro lado, por ejemplo, en el caso de circunstancias notables, el dispositivo 1202 de almacenamiento de datos codificados escalables almacena los datos (BL+EL) 1221 codificados escalables que tienen una cantidad larga de datos en alta calidad sin cambios.
De esta manera, debido al dispositivo 1202 de almacenamiento de datos codificados escalables que pueden salvar la imagen en calidad alta solo en un caso necesario, es posible suprimir la disminución del valor de la imagen debido al deterioro de la calidad de imagen y suprimir el aumento de la cantidad de datos, y es posible mejorar la eficiencia de uso de la región de almacenamiento.
Por ejemplo, el dispositivo 1201 de captura de imagen se asume para que sea una cámara de monitoreo. Por el contenido de la imagen capturada que es poco probable para que sea importante cuando un sujeto de monitoreo (por ejemplo, un invasor) no se muestre en la imagen captada (en el caso de las circunstancias normales), la prioridad está en la reducción de la cantidad de datos, y los datos de imagen (datos codificados escalables) se almacena en calidad baja. Por el otro lado, por el contenido de la imagen captada es probable de que sea importante cuando un objetivo de vigilancia se muestre como el sujeto 1211 en la imagen capturada (en el caso de las circunstancias notables), la prioridad está en la calidad de la imagen, y los datos de imagen (datos codificados escalables) se almacenan en alta calidad.
Por ejemplo, si el caso es el caso de las circunstancias normales o las circunstancias notables que se pueden determinar por el dispositivo 1202 de almacenamiento de datos codificados analizando la imagen. Además, el dispositivo 1201 de captura de imágenes se puede configurar para hacer la determinación y transmitir los resultados de determinación al dispositivo 1202 de almacenamiento de datos codificados escalables .
Un criterio de determinación de si el caso es el caso de las circunstancias normales o las circunstancias notables es opcional y el contenido de la imagen la cual es el criterio de determinación es opcional. Por supuesto, una condición distinta al contenido de la imagen se puede configurar para que sea realizada conforme a la magnitud o forma de onda del sonido grabado, por un intervalo de tiempo predeterminado, o por una instrucción externa tal como las instrucciones del usuario.
Además, aunque los dos estados de las circunstancias normales y las circunstancias notables se hayan descrito anteriormente, el número de estados es opcional, y por ejemplo, el interruptor se puede configurar para que sea realizado entre tres o más estado como circunstancias normales, circunstancias poco notables, circunstancias notables, y circunstancias altamente notables. Sin embargo, el número de limite superior se estados para que sea cambiado depende en el número de capas de los datos codificados escalables.
Además, el dispositivo 1201 de captura de imagen puede determinar el número de capas de la codificación de video escaladle conforme al estado. Por ejemplo, en el caso de circunstancias normales, el dispositivo 1201 de captura de imagen puede generar los datos (BL) 1222 codificados escalables de la capa base que tiene una cantidad pequeña de datos en baja calidad y suministra los datos al dispositivo 1202 de almacenamiento de datos codificados escalables. Además, por ejemplo, en el caso de las circunstancias notables, el dispositivo 1201 de captura de imagen puede generar los datos (BL+EL) 1221 codificados escalables de la capa base que tiene una cantidad grande de datos en calidad alta y suministra los datos al dispositivo 1202 de almacenamiento de datos codificados escalables.
Aunque la cámara de monitoreo se haya descrito anteriormente como el ejemplo, el uso del sistema 1200 de captura de imagen es opcional y no se limita a la cámara de monitoreo.
Incluso en el sistema 1200 de captura de imagen como en la FIGURA 29, es posible obtener efectos similares a aquellos descritos anteriormente con referencia a las FIGURAS 1 A 21 aplicando la presente teenología descrita anteriormente con referencia a las FIGURAS 1 a 21. 7. Sexta modalidad Otros ejemplos de implementación Aunque los ejemplos de los dispositivos y el sistema para la cual se aplica la presente tecnología que se ha descrito anteriormente, la presente tecnología no se limita a eso. Por ejemplo, la presente tecnología también se puede implementar como una porción del procesador como integración (LSI) a gran escala del sistema o similar, un módulo que utiliza una pluralidad de procesadores o similares, una unidad que usa una pluralidad de módulos o similares, un conjunto en el cual otras funciones se agregan adicionalmente a la unidad, o similar (que es, una configuración de parte del dispositivo).
Conjunto del video Un ejemplo en el que la presente teenología se implementa como el conjunto será descrito con referencia a la FIGURA 30. La FIGURA 30 ilustra un ejemplo de una configuración esquemática del aparato de video para la cual se aplica la presente tecnología.
Recientemente, la multifuncionalidad de los dispositivos electrónicos ha avanzado, y el caso en el que un conjunto tiene una pluralidad de funciones se implementa combinando una pluralidad de configuraciones que tienen funciones asociadas también como el caso en el cual se implementa una configuración parcial de la multifuncionalidad con el desarrollo y fabricación de los mismos y el caso en el que se implementa la configuración para tener una función que se pueda ver.
Un conjunto 1300 de video ilustrado en la FIGURA 30 es una configuración multifuncional y sirve como un conjunto de video obtenido combinando un dispositivo que tiene una función relacionada a la codificación y decodificación de imagen (ya sea uno o ambos de los cuales puede ser dado) con un dispositivo que tiene otras funciones asociadás con la función.
Como se ilustró en la FIGURA 30, el conjunto de video 1300 tiene un grupo de módulos de un módulo 1311 de vídeo, una memoria 1312 externa, un módulo 1313 de gestión de energía, un módulo 1314 frontal extremo, y similar y un dispositivo que tiene funciones relacionadas de conectividad 1321, una cámara 1322, un sensor 1323, y similar.
El módulo sirve como un componente con una cierta función integrada por la integración de algunas funciones componentes asociadas una con el otro. Aunque es opcional una configuración física específica, por ejemplo, es posible la configuración integrada arreglando una pluralidad de procesadores que tienen funciones, elementos de circuito electrónicos tales como un resistor y un capacitor, otros dispositivos, y similares en una tarjeta de circuitos. Además, un nuevo módulo en el cual se combina el módulo con otros módulos o procesadores también es posible.
En el caso del ejemplo de la FIGURA 30, el módulo 1311 de video es un módulo en las cuales las configuraciones tienen funciones relacionadas a procesamiento de imágenes, se combinan, y tienen un procesador de aplicaciones, un procesador de video, un módem 1333 de banda ancha, y una módulo 1334 (RF) de frecuencia de radio.
El procesador es un proceso en el cual una configuración tiene una función predeterminada que se integra en un chip semiconductor por un sistema en un chip (SoC), y también se refiere como, por ejemplo, integración (LSI) a gran escala del sistema y similares. La configuración tiene la función predeterminada que puede ser un circuito lógico (configuración de hardware) o un CPU, un ROM, una RAM, y similar y un programa (configuración de software) para que sea ejecutado usando el CPU, el ROM, la RAM, y similares. Por ejemplo, el procesador puede tener el circuito lógico, el CPU, el ROM, la RAM, y similares, parte de la función se puede implementar por el circuito lógico (configuración de hardware), y otras funciones se pueden implementar por el programa (configuración del software) para ser ejecutado en el CPU.
Un procesador 1331 de aplicaciones de la FIGURA 30 es un procesador para ejecutar una aplicación relacionada al procesamiento de imagen. La aplicación para que sea ejecutada en el procesador 1331 de aplicación no se puede realizar un proceso de cálculo para implementar una función predeterminada, pero también las configuraciones de control dentro y fuera del módulo 1311 de video, por ejemplo, tal como un procesador 1332 de video, si es necesario.
El procesador 1332 de video es un procesador que tiene una función relacionada a (uno o ambos de) codificación y decodificación de imagen.
El módem 1333 de banda ancha es un procesador (o módulo) para realizar un proceso relacionado a comunicación de banda ancha inalámbrica o alámbrica (o alámbrico e inalámbrico) para que se realice a través de un enlace de una banda ancha tal como el Internet, un red de teléfono publica, o similar. Por ejemplo, el módem 1333 de banda ancha convierte los datos (señal digital) para que sean transmitidos en una señal análoga realizando modulación digital y similar o convierte una señal análoga recibida en datos (una señal digital desmodulando la señal análoga recibida. Por ejemplo, el módem 1333 de banda ancha puede realizar la modulación/demodulación digital en información arbitraria tal como datos de imagen para ser procesados por el procesador 1332 de video o una corriente de datos codificados de imagen, un programa de aplicación, datos de configuración, y similares.
El módulo 1334 RF es un módulo para realizar la conversión de frecuencia, modulación/demodulación, amplificación, y procesos de filtro y similar en una señal RF para ser transmitido y recibido por medio de una antena. Por ejemplo, el módulo 1334 RF genera una señal RF realizando la conversión de frecuencia y similar en una señal de banda base generada por el módem 1333 de banda ancha. Además, por ejemplo, el módulo 1334 RF genera una señal de banda base realizando la conversión de frecuencia y similar en una señal RF recibida a través del módulo 1314 frontal extremo.
También, como se indicó por una linea 1341 punteada en la FIGURA 30, un procesador puede ser configurado integrando el procesador 1331 de aplicación y el procesador 1332 de video.
La memoria 1312 externa es un módulo proporcionado fuera del módulo 1311 de video y tiene un dispositivo de almacenamiento para ser usado por el módulo 1311 de video. Aunque el dispositivo de almacenamiento de la memoria 1312 externa puede ser configurado para que sea implementado por cualquier configuración física, por ejemplo, es deseable implementar el dispositivo de almacenamiento usando una memoria semiconductora de grande capacidad y relativamente barata, por ejemplo, tal como una memoria (DRAM) de acceso aleatorio dinámica, porque el dispositivo de almacenamiento se usa generalmente para almacenar un volumen grande de datos tales como datos de imagen de las unidades de marco en muchos casos.
El módulo 1313 de gestión de energía maneja y controla la fuente de alimentación al módulo 1311 de video (cada configuración dentro del módulo 1311 de video).
El módulo 1314 extremo frontal es un módulo para proporcionar una función extrema frontal (un circuito de un extremo de transmisión/recepción de un lado de la antena) para el módulo 1314 RF. Como se ilustró en la FIGURA 30, el módulo 1314 extremo frontal, por ejemplo, tiene una sección 1351 de antena, un filtro 1352, y una sección 1353 de amplificación.
La sección 1351 de antena tiene una antena para transmitir y recibir una señal de radio y su configuración periférica. La sección 1351 de antena transmite una señal suministrada de la sección 1353 de amplificación como la señal de radio y suministra la señal de radio recibida como una señal eléctrica (señal RF) al filtro 1352. El filtro 1352 realiza un proceso de filtro y similar en la señal RF recibida a través de la sección 1351 de antena y suministra la señal RF procesada para el módulo 1334 RF. La sección 1353 de amplificación amplifica la señal RF suministrada del módulo 1334 RF y suministra la señal RF amplificada a la sección 1351 de antena.
La conectividad 1321 es un módulo que tiene una función relacionada a una conexión hacia el exterior. Una configuración física de la conectividad 1321 es opcional. Por ejemplo, la conectividad 1321 tiene una configuración que tiene una función de comunicación distinta de una comunicación estándar correspondiente al módem 1333 de banda ancha, los puertos externos de entrada y salida, y similares.
Por ejemplo, la conectividad 1321 se puede configurar para tener un módulo que tiene una función de comunicación en base de la comunicación estándar inalámbrica tal como Bluetooth (marca registrada), IEEE 802.11 (por ejemplo, Wi-Fi (marca registrada)), comunicación (NFC) de campo cercano, o asociación (IrDA) de datos infrarrojos, una antena para transmitir y recibir una señal en base de la estándar. Además, la conectividad 1321 se puede configurar para tener un módulo con una función de comunicación en base en una comunicación alámbrica estándar tal como el bus (USB) serial universal o I/F (HDMI) multimedia de alta definición (marca registrada) y un puerto en base del estándar. Además, por ejemplo, la conectividad 1321 puede ser configurada para tener otras funciones de transmisión de datos (señal) de los puertos de entrada y salida de la antena y similares.
También, la conectividad 1321 puede ser configurada para incluir un dispositivo de un destino de transmisión de datos (señales). Por ejemplo, la conectividad 1321 puede ser configurada para tener una unidad (incluyendo un disco duro, una unidad (SSD) de estado sólido, un almacenamiento (ÑAS) conectado a red, y similar también como una unidad de medios removibles) para leer y escribir datos desde y hacia un medio de grabación tal como un disco magnético, un disco óptico, un disco magneto óptico, o una memoria semiconductora. Además, la conectividad 1321 puede ser configurada para tener un dispositivo de emisión de sonido e imagen (un monitor, un altavoz, y similar).
La cámara 1322 es un módulo que tiene una función de captura de una imagen de un sujeto y obtiene datos de imagen del sujeto. Los datos de imagen obtenidos por la captura de imágenes de la cámara 1322, por ejemplo, se suministran al procesador 1332 de video y se codifican.
El sensor 1323, por ejemplo, es un módulo que tiene una función de sensor arbitrario tal como un sensor de sonido, un sensor ultrasónico, un sensor óptico, un sensor de iluminancia, un sensor infrarrojo, un sensor de imagen, un sensor de rotación, un sensor de ángulo, un sensor de velocidad angular, un sensor de velocidad, un sensor de aceleración, un sensor de inclinación, un sensor de identificación magnética, un sensor de impacto, o un sensor de temperatura. Los datos detectados por el sensor 1323, por ejemplo, se suministra al procesador 1331 de aplicación y se utiliza por una aplicación o similar.
La configuración descrita arriba como el módulo puede ser implementada como un procesador a la inversa la configuración descrita como el procesador puede ser implementada como un módulo.
En el conjunto 1300 de video del configurado como se describió anteriormente, es posible aplicar la presente teenología al procesador 1332 de video como se describirá más adelante. Por lo tanto, el conjunto 1300 de video puede ser ejecutado como un conjunto para el cual se aplica la presente tecnología.
Ejemplo de configuración del procesador de video La FIGURA 31 ilustra un ejemplo de una configuración esquemática del procesador 1332 (FIGURA 30) de video para la cual se aplica la presente tecnología.
En el caso del ejemplo de la FIGURA 31, el procesador 1332 de video tiene una función de una señal de video y una señal de audio y codificar las entradas de la señal de video y la señal de audio en una esquema predeterminado y una función de la decodificación de audio codificado y datos de video y reproducir y emitir una señal de video y una señal de audio.
Como se ilustró en la FIGURA 31, el procesador 1332 de video tiene una sección 1401 de procesamiento de entrada de video, una sección 1402 de reducción/ampliación de la primera imagen, una sección 1403 de reducción/ampliación de la segunda imagen, una sección 1404 de procesamiento de emisión de video, una memoria 1405 de marco, y una sección 1406 de control de memoria. Además, el procesador 1332 de video tiene un motor 1407 de codificación y decodificación, memorias intermedias 1408A y 1408B (ES) de flujos elementales de video, y memorias intermedias 1409A y 1409B (ES) de flujo elemental de audio. Además, el procesador 1332 de video tiene un codificador 1410 de audio, un decodificador 1411 de audio, un multiplexor 1412 (MUX), una sección 1413 de multiplexeo inversa (demultiplexor (DMUX)), y una memoria intermedia 1414 de corriente.
La sección 1401 de procesamiento de entrada de video, por ejemplo, adquiere una entrada de señal de video de la conectividad 1321 (FIGURA 30) y convierte la señal de video en los datos de imagen digitales. La primer sección 1402 de reducción/ampliación de imagen realiza un formato de proceso de conversión, un proceso de reducción/ampliación de imagen, o similar en los datos de imagen. La sección 1403 de ampliación/reducción de imagen realiza el proceso de reducción/ampliación de imagen en los datos de imagen de acuerdo a un formato en un destino para la cual los datos de imagen se emiten por medio de la sección 1404 de procesamiento de salida de video o realiza la conversión de formato, un proceso de ampliación/reducción de imagen o similar, y lo similar como en la primera sección 1420 de reducción/ampliación de imagen. La sección 1404 de procesamiento de emisión de video realiza la conversión del formato, la conversión en una señal análoga, o similar en los datos de imagen y emite un resultado de conversión como una señal de video reproducida, por ejemplo, a la conectividad 1321 (FIGURA 30) y similar.
La memoria 1405 marco es una memoria para datos de imagen para que se comparta por la sección 1401 de procesamiento de entrada de video, la primera sección 1402 de reducción/ampliación, la segunda sección 1403 de reducción/ampliación, una sección 1404 de procesamiento de salida de video, y un motor 1407 de decodificación y codificación. La memoria 1405 marco, por ejemplo, se implementa como una memoria semiconductora tal como un DRAM.
La sección 1406 de control de memoria recibe una señal de sincronización del motor 1407 de codificación y decodificación y controla el acceso de escribir/leer para/de la memoria 1405 marco conforme a un horario de acceso para le memoria marco escrita a una tabla 1406A de manejo de acceso. La tabla 1406A de manejo de acceso se actualiza por la sección 1406 de control de memoria conforme al proceso para ser ejecutado por el motor 1407 de codificación y decodificación, la primer sección 1402 de reducción/ampliación de imagen, la segunda sección 1403 de reducción/ampliación de imagen, o similar.
El motor 1407 de decodificación y codificación realiza un proceso de codificación de datos de imagen y un proceso de la decodificación de una corriente de video los cuales son datos en la cual se codifican los datos de imagen. Por ejemplo, el motor 1407 de decodificación y codificación codifica los datos de imagen leídos de la memoria 1405 marco y subsecuentemente escribe los datos de imagen codificados como una corriente de video a la memoria intermedia 1408 ES de video. Además, por ejemplo, una corriente de video de la memoria intermedia 1408B ES de video se lee y se decodifica secuencialmente y la corriente de video decodificada se escribe secuencialmente como datos de imagen para la memoria 1405 de marco. El motor 1407 de decodificación y codificación usa la memoria 1405 de marco como un área de trabajo en la codificación o decodificación de los datos de imagen. Además, el motor 1407 de decodificación y codificación, por ejemplo, emite una señal de sincronización a la sección 1406 de control de memoria en el tiempo para el cual comienza el proceso para cada bloque macro .
La memoria intermedia 1408A ES de video amortigua una corriente de video generada por el motor 1407 de codificación y decodificación y suministra la corriente de video a la sección 1412 (MUX) de multiplexeo. La memoria intermedia 1408B ES de video amortigua una corriente de video suministrada de la sección 1413 (DMUX) de multiplexeo inversa y suministra la corriente de video al motor 1407 de codificación y decodificación.
La memoria intermedia 1409A ES de audio amortigua una corriente de audio generada por un codificador 1410 de audio y suministra la corriente de audio a la sección 1412 (MUX) de multiplexeo.
La memoria intermedia 1409B ES de audio amortigua una corriente de audio suministrada de la sección 1413 (DMUX) de sección de multiplexeo y suministra la corriente de audio al decodificador 1411 de audio.
El codificador 1410 de audio, por ejemplo, convierte digitalmente una entrada de señal de audio de la conectividad 1321 (FIGURA 30) o similar, y por ejemplo, codifica la señal de audio convertida digitalmente en un esquema predeterminad tal como un esquema de audio MPEG o un esquema (AC3) de número 3 de código de audio. El codificador 1410 de audio escribe secuencialmente una corriente de datos de audio el cual son datos en la que una señal de audio se codifica para la memoria intermedia 1409A ES de audio. El decodificador 1411 de audio decodifica una corriente de audio suministrada de la memoria intermedia 1409B ES de audio y suministra la corriente de audio decodificada como una señal de audio reproducida, por ejemplo, para la conectividad 1321 (FIGURA 30) o similar, por ejemplo, realizando la conversión en la señal análoga o similar.
La sección (MUX) 1412 de multiplexeo multiplexa una corriente de video y una corriente de audio. Este método de multiplexeo (que es, un formato de la corriente de bitios generada por el multiplexeo) es opcional. Además, en el tiempo de multiplexeo, la sección (MUX) 1412 de multiplexeo puede agregar información de cabecera predeterminada o similar a la corriente de bitios. Que es, la sección (MUX) 1412 de multiplexeo puede convertir un formato de la corriente por el multiplexeo. Por ejemplo, la sección (MUX) 1412 de multiplexeo realiza la conversión en una corriente de transporte el cual es un flujo de bitio de un formato de transmisión multiplexando la corriente de video y la corriente de audio. Además, el multiplexeo (MUX) 1412 realiza la conversión en datos (datos del archivo) de un formato de archivo de grabación multiplexando la corriente de video y la corriente de audio.
La sección (DMUX) 1413 de multiplexeo inversa demultiplexa la corriente de bitios en la cual la corriente de video y la corriente de audio se multiplexan en un método correspondiente al multiplexeo por la sección 1412 (MUX) de multiplexeo. Que es, la sección (DMUX) 1413 de multiplexeo inversa que extrae la corriente de video y la corriente de audio de la lectura de flujo de bitios de la memoria intermedia 1414 de corriente (demultiplexa la corriente de video y la corriente de audio). Que es, la sección (DMUX) 1413 de multiplexeo inversa que puede convertir el formato de la corriente multiplexada inversamente (conversión inversa a la conversión por la sección (MUX) 1412 de multiplexeo). Por ejemplo, la sección (DMUX) 1413 de multiplexeo inversa, por ejemplo, adquiere un flujo de transporte suministrado de a conectividad 1321, el módem 1333 de banda ancha, o similar (todo en la FIGURA 30) a través de la memoria intermedia 1414 de corriente y demultiplexa la corriente de transporte adquirida, de este modo se convierte el flujo de transporte en el flujo de video y el flujo de audio. Además, por ejemplo, la sección (DMUX) 1413 de multiplexeo inversa puede adquirir lectura de datos de archivo de varios tipos de medios de grabación, por ejemplo, por la conectividad 1321 (FIGURA 30) a través de la memoria intermedia 1414 de corriente y multiplexa inversamente los datos de archivo adquiridos para realizar la conversión en una corriente de video y una corriente de audio.
La memoria intermedia 1414 de corriente amortigua el flujo de bitios. Por ejemplo, la memoria intermedia 1414 de corriente amortigua el flujo de transporte suministrado de la sección (MUX) 1412 de multiplexeo y suministra la corriente de transporte, por ejemplo, a la conectividad 1321, el módem 1333 de banda ancha, o similar (todo en la FIGURA 30) en un tiempo predeterminado o en base en una solicitud externa o similar.
Además, por ejemplo, la memoria intermedia 1414 de corriente amortigua los datos de archivo suministrados de la sección (MUX) 1412 de multiplexeo y suministra los datos de archivo de la memoria intermedia, por ejemplo, a la conectividad 1321 (FIGURA 30) o similar, en un tiempo predeterminado o en base de una solicitud externa o similar para causar que varios tipos de medios de grabación graben los datos de archivo.
Además, la memoria intermedia 1414 de corriente, por ejemplo, amortigüe el flujo de transporte adquirido por medio de la conectividad 1321, el módem 1333 de banda ancha, o similar (todo en la FIGURA 30) y suministra el flujo de transporte a la sección (DMUX) 1413 de multiplexeo inversa en un tiempo predeterminado o en base de una solicitud externa o similar.
Además, la memoria intermedia 1414 de corriente, por ejemplo, amortigua la lectura de los datos de archivo de varios tipo de los medios de grabación en la conectividad 1321 (FIGURA 30) y similar y suministra los datos de archivo a la sección (DMUX) 1413 de multiplexeo inversa en un tiempo predeterminado o basado en una solicitud externa o similar.
Luego, un ejemplo de una operación del procesador 1332 de video de esta configuración será descrito. Por ejemplo, una entrada de señal de video al procesador 1332 de video de la conectividad 1321 (FIGURA 30) o similar que se convierte en los datos de imagen digitales de un esquema predeterminado tal como un esquema 4:2:2Y/Cb/Cr en la sección 1401 de procesamiento de entrada de video y los datos de imagen digitales que se escriben secuencialmente a la memoria 1405 marco. Los datos de imagen digitales se leen para la primera sección 1402 de reducción/ampliación o la segunda sección 1403 de reducción/ampliación, la conversión de formato en un esquema predeterminado tal como un esquema 4:2:0Y/Cb/Cr y el proceso de reducción/ampliación se realizan y los datos de imagen se escriben para la memoria 1405 marco nuevamente. Los datos de imagen se codifican por el motor 1407 de codificación y decodificación y los datos de imagen codificados se escriben como una corriente de video a la memoria intermedia 1408A ES de video.
Además, una entrada de la señal de audio de la conectividad 1321 (FIGURA 30) o similar para el procesador 1332 de video se codifica por el codificador 1410 de audio y la señal de audio codificada se escribe como una corriente de audio para la memoria intermedia 1409A ES de audio.
El flujo de video de la memoria intermedia 1408A ES de video y la corriente de audio de la memoria intermedia 1409A ES de audio se leen para la sección (MUX) 1412 de multiplexeo y se multiplexa para ser convertida en una corriente de transporte, datos de archivo, o similares. Después de que la corriente de transporte generada por la sección (MUX) 1412 de multiplexeo se amortigüe en la memoria intermedia 1414 de corriente, por ejemplo, la corriente de transporte se emite a una red externa por medio (cualquiera (FIGURA 30) de) la conectividad 1321, el módem 1333 de banda ancha, y similar. Además, después de que los datos de archivo generados por la sección 1412 (MUX) de multiplexeo se amortiguan en la memoria intermedia 1414 de corriente, por ejemplo, los datos de archivo se emiten a la conectividad 1321 (FIGURA 30) y similar y se graban a varios tipos del medio de grabación.
Además, por ejemplo, después de la entrada de corriente de transporte de la red externa para el procesador 1332 de video a través (cualquiera (FIGURA 30) de) la conectividad 1321, el odem 1333 de banda ancha, y similar se amortiguan en la memoria intermedia 1414 de corriente, la corriente de transporte se multiplexa inversamente por la sección (DMUX) 1413 de multiplexeo inversa. Además, por ejemplo, después de la lectura de datos de archivo de varios tipos de medios de grabación en la conectividad 1321 (FIGURA 30) y similar y la entrada al procesador 1332 de video se amortigua en la memoria intermedia 1414 de corriente, los datos de archivo se multiplexan inversamente por la sección (DMUX) 1413 de multiplexeo inversa. Que es, la corriente de transporte o los datos de archivo al procesador 1332 de video que se demultiplexa en una corriente de video y una corriente de audio por la sección (DMUX) 1413 de multiplexeo inversa.
Una señal de audio se reproduce suministrando la corriente de audio al decodificador 1411 de audio a través de la memoria intermedia 1409B ES de audio y decodificar la corriente de audio. Además, después de que la corriente de video se escribe para la memoria intermedia 1408B ES de video, la corriente de video se lee secuencialmente y se decodifica por el motor 1407 de codificación y decodificación y se escribe para la memoria 1405 marco. La segunda sección 1403 de reducción/ampliación realiza los datos de imagen decodificados en el proceso de reducción/ampliación y los datos procesador se escriben para la memoria 1405 marco. Entonces, se reproduce una señal de video y emite mediante la lectura de los datos de imagen codificados a la sección 1404 de procesamiento de emisión de video, convierte el formato de los datos de imagen decodificados en un esquema predeterminado tal como un esquema 4 :2:2Y/Cb/Cr, y además convierte los datos de imagen codificado en una señal análoga.
Cuando la presente teenología se aplica al procesador 1332 de video configurado como se describió arriba, solo es necesario aplicar la tecnología presente conforme a cada modalidad descrita anteriormente para el motor 1407 de codificación y decodificación. Que es, por ejemplo, es solo necesario configurar el motor 1407 de decodificación y codificación que tiene funciones del dispositivo (FIGURA 4) de codificación de imagen conforme a la primera modalidad y el dispositivo (FIGURA 14) de decodificación de imagen conforme a la segunda modalidad. Como se describió anteriormente, el procesador 1332 de video obtiene efectos similares para aquellos que se describieron anteriormente con referencia a las FIGURAS 1 a 21.
También, en el motor 1407 de codificación y decodificación, se puede implementar la teenología presente (que es, las funciones del dispositivo de codificación de imagen y el dispositivo de decodificación de imagen conforme a las modalidades descritas anteriormente) por hardware tal como un circuito lógico, implementado por software tal como un programa incrustado, o implementado por tanto los mismos.
Otro ejemplo de configuración del procesador de video La FIGURA 32 ilustra otro ejemplo de una configuración esquemática del procesador 1332 de video (FIGURA 30) para la cual se aplica la presente tecnología. En el caso del ejemplo de la FIGURA 32, el procesador 1332 de video tiene una función de codificar y decodificar los datos de video en un esquema predeterminado .
Más específicamente, como se ilustró en la FIGURA 32, el procesador 1332 de video tiene un control 1511 de sección, un I/F 1512 de visualización, un motor 1513 de visualización, un motor 1514 de procesamiento de imágenes, y una memoria 1515 ínter. Además, el procesador 1332 de video tiene un motor 1516 códec, un I/F 1517 de memoria, una sección (MUX/DMUX) 1518 de multiplexeo inversa/multiplexeo, un I/F 1519 de red, y un I/F 1520 de video.
La sección 1511 de control controla operaciones de secciones de procesamiento dentro de un procesador 1332 de video tal como el I/F 1512 de visualización, el motor 1513 de visualización, el motor 1514 de procesamiento de imagen, el motor 1516 códec, y similar.
Como se ilustró en la FIGURA 32, la sección 1511 de control, por ejemplo, tiene un CPU 1531 principal, un sub-CPU 1532, un controlador 1533 de sistema. El CPU 1531 principal ejecuta un programa para controlar las operaciones de las secciones de procesamiento dentro del procesador 1332 de video. El CPU 1531 principal genera una señal de control conforme al programa o similar y suministra la señal de control para cada sección de procesamiento (que es, controla la operación de cada sección de procesamiento). El sub-CPU 1532 juega un papel auxiliar del CPU 1531 principal. Por ejemplo, el sub-CPU 1532 ejecuta un proceso hijo, una sub rutina, o similar de un programa o parecido para que se ejecuta por el CPU 1531 principal. El controlador 1533 de sistema controla operaciones del CPU 1531 principal y el sub- CPU 1532 tal como designaciones de programas para ser ejecutados por el CPU 153 principal y el sub CPU 1532.
El I/F 1512 de pantalla emite datos de imagen, por ejemplo, para la conectividad 1321 (FIGURA 30) y similar, bajo el control de la sección 1511 de control. Por ejemplo, el I/F 1512 de pantalla convierte los datos de imagen de los datos digitales en una señal análoga y emite la señal análoga como la señal de video reproducida, o los datos de imagen de los datos digitales sin cambios, para el dispositivo monitor o similar de la conectividad 1321 (FIGURA 30).
El motor 1513 de pantalla realiza varios tipos de procesos de conversión tales como conversión de formato, conversión de tamaño, y conversión de gama de colores para que los datos de imagen sean adecuados por especificaciones de hardware de un dispositivo monitor y similar por la visualización de su imagen bajo el control de la sección 1511 de control.
El motor 1514 de procesamiento de imagen realiza procesamiento de imagen predeterminada, por ejemplo, tal como el procesamiento de filtro para mejorar la calidad de la imagen, en los datos de imagen bajo el control de la sección 1511 de control.
La memoria 1515 ínter se comparte por el motor 1513 de visualización, el motor 1514 de procesamiento de imagen, y el motor 1516 códec, y es una memoria proporcionada dentro del procesador 1332 de video. La memoria 1515 ínter, por ejemplo, su utiliza para el intercambio de datos que se realicen entre el motor 1513 de visualización, el motor 1514 de procesamiento de imagen, y el motor 1516 códec. Por ejemplo, la memoria 1515 ínter almacena datos para ser suministrado de motor 1513 de visualización, el motor 1514 de procesamiento de imagen, o el motor 1516 códec y suministra los datos para el motor 1513 de visualización, el motor 1514 de procesamiento de imagen, o el motor 1516 códec, si es necesario (por ejemplo, conforme a una solicitud). Aunque la memoria 1515 ínter se pueda implementar por cualquier dispositivo de almacenamiento, es deseable implementar la memoria 1515 ínter por una memoria semiconductora que tiene una capacidad relativamente pequeña y velocidad de alta respuesta (como se comparó para aquellos de la memoria 1312 externa), por ejemplo, tal como una memoria (SRAM) de acceso aleatorio estática, por un volumen pequeño tal como datos de imagen de una unidad de bloque o parámetros que son generalmente utilizados en muchos casos.
El motor 1516 códec realiza un proceso relacionado a la codificación y decodificación de datos de imágenes. Un esquema de codificación y decodifícación correspondiente a este motor 1516 códec es opcional y el número de esquemas de codificación y decodificación puede ser uno o más. Por ejemplo, el motor 1516 códec puede tener una función códec de una pluralidad de esquemas de codificación y decodificación, y la codificación de los datos de imagen o la decodificación de los datos codificados se puede realizar en una seleccionada de entre los esquemas de codificación y decodificación.
En el ejemplo ilustrado en la FIGURA 32, el motor 1516 códec, por ejemplo, tiene un video 1541 MPEG-2, un AVC/H.264 1542, un HEVC/H.265 1543, un HEVC/H.265 (escalable) 1544, un HEVC/H.265 (vista múltiple) 1545, y un MPEG-DASH 1551 como bloques funcionales para el procesamiento relacionado a un códec.
El video 1541 MPEG-2 es un bloque funcional para codificar o decodificar datos de imagen en un esquema MPEG-2. El AVC/H.264 1542 es un bloque funcional para codificar o decodificar datos de imágenes en un esquema AVC. El HEVC/H.265 1543 es un bloque funcional para codificar o decodificar datos de imagen en un esquema HEVC. El HEVC/H.265 (escalable) 1544 es un bloque funcional para realizar codificación de videos escalables o decodificación de videos escaladles en datos de imágenes en el esquema HEVC. El HEVC/H.265 (vista múltiple) 1545 es un bloque funcional para realizar la codificación de vistas múltiples o decodificación de vistas múltiples en datos de imagen en el esquema HEVC.
El MPEG-DASH 1551 es un bloque funcional para transmitir y recibir datos de imágenes en un esquema MPEG-DASH. El MPEG-DASH es teenología para realizar el transporte de video usando un HTTP y tiene una característica que los datos codificados apropiados se seleccionan de una pluralidad de piezas de datos codificados en la cual las resoluciones preparadas y similares sean diferentes de cada una en unidades de segmentos y los datos codificados seleccionados se transmitan. El MPEG-DASH 1551 realiza generación de una corriente en base de un estándar, el control de transmisión de la corriente, y similar y utiliza el video 1541 MPEG-2 para el HEVC/H.265 (vista múltiple) 1545 descrito anteriormente para codificar y decodificar los datos de imagen.
El I/F 1517 de memoria es un I/F para la memoria 1312 externa. Datos suministrados del motor 1514 de procesamiento de imagen o el motor 1516 codeo se suministra a la memoria 1312 externa a través de la I/F 1517 de memoria. Además, la lectura de datos de la memoria 1312 externa se suministra al procesador 1332 de video (el motor 1514 de procesamiento de imagen o el motor 1516 códec) a través de la I/F 1517 de memoria.
La sección (MUX/DMUX) 1518 de multiplexión inversa/multiplexión realiza el multiplexeo o demultiplexeo de varios tipos de datos relacionados a una imagen tal como una corriente de bitios de datos codificados, datos de imagen, y una señal de video. Un método de este multiplexeo/demultiplexeo es opcional. Por ejemplo, en el tiempo del multiplexeo, la sección (MUX/DMUX) 1518 de multiplexeo inversa/multiplexeo no solo puede integrar una pluralidad de datos de piezas en una pieza, pero también agrega información de cabecera predeterminada o similar a los datos. Además, en el tiempo del multiplexeo inverso, la sección (MUX/DMUX) 1518 de multiplexeo inversa/multiplexeo no solo puede dividir una pieza de datos en una pluralidad de piezas de datos, pero también agrega información de cabecera predeterminada o similar a cada división de datos. Que es, la sección (MUX/DMUX) 1518 de multiplexeo inversa/multiplexeo puede convertir un formato de datos por el multiplexeo/demultiplexeo. La sección (MUX/DMUX) 1518 de multiplexeo inversa/multiplexeo puede llevar a cabo la conversión en un flujo de transporte, el cual es un flujo de bitios de un formato de transmisión, o datos (datos de archivo) de un formato de archivo de grabación multiplexando el flujo de bitios. Por supuesto, la conversión inversa de la misma por la demultiplexión también es posible.
La I/F 1519 de red, por ejemplo, es una I/F para el módem 1333 de banda ancha o la conectividad 1321 (ambos en la FIGURA 30) o similar. El I/F 1520 de video, por ejemplo, es un I/F para la conectividad 1321 o la cámara 1322 (ambos en la FIGURA 30) o similar.
Luego, un ejemplo de una operación de este procesador 1332 de video será descrito. Por ejemplo, cuando se recibe un flujo de transporte de la red externa a través de la conectividad 1321 o el módem 1333 de banda ancha (ambos en la FIGURA 30) o similar, el flujo de transporte se suministra a la sección (MUX/DMUX) 1518 de multiplexión inversa/multiplexión a través de la I/F 1519 de red y se multiplexa inversamente, y se decodifica la corriente de transporte por el motor 1516 códec. Por ejemplo, el motor 1514 de procesamiento de imagen realiza el procesamiento de imagen predeterminada en los datos de imagen obtenidos por la decodificación del motor 1516 códec, el motor 1513 de visualización realiza la conversión predeterminada en los datos de imagen procesados, los datos de imagen procesados, por ejemplo, se suministra a la conectividad 1321 (FIGURA 30) o similar a través del I/F 1512 de pantalla, y su imagen se muestra en un monitor. Además, por ejemplo, el motor 1516 códec re-codifica los datos de imagen obtenidos por la decodificación del motor 1516 códec, la sección (MUX/DMUX) de multiplexión inversa/multiplexión multiplexa los datos de imagen re-codificados para realizar la conversión en los datos de archivo, se emiten los datos de archivo, por ejemplo, a la conectividad 1321 (FIGURA 30) o similar, a través del I/F 1520 de video, y se graban los archivos de emisión para varios tipos de medios de grabación.
Además, por ejemplo, los datos de archivo de los datos codificados en la cual los datos de imagen se codifican leídos por la conectividad 1321 (FIGURA 30) o similar de un medio (no ilustrado) de grabación que se suministra a la sección (MUX/DMUX) 1518 de multiplexión inversa/multiplexión a través del I/F 1520 de video y se multiplexa inversamente, y se decodifica por el motor 1516 códec. El motor 1514 de procesamiento de imagen realiza el procesamiento de imágenes predeterminadas en los datos de imagen obtenidos por la decodificación del motor 1516 códec, el motor 1513 de visualización realiza la conversión predeterminada en los datos de imagen procesados, los datos de imágenes convertidos, por ejemplo, se suministra a la conectividad 1321 (FIGURA 30) o similar a través del I/F 1512 de visualización, y su imagen se muestra en el monitor. Además, por ejemplo, el motor 1516 códec re-codifica los datos de imágenes obtenidos por la decodificación del motor 1516 códec, la sección (MUX/DMUX) 1518 de multiplexión inversa/multiplexión multiplexa los datos de imágenes codificados para realizar la conversión en un flujo de transporte, se suministra el flujo de transporte, por ejemplo, para la conectividad 1321 o el módem de banda ancha 1333 (ambos en la FIGURA 30) o similar, a través del I/F 1519 de red y se transmite a otro dispositivo (no ilustrado).
También, el intercambio de los datos de imágenes entre las secciones de procesamiento dentro del procesador 1332 de video u otros datos, por ejemplo, se realiza utilizando la memoria 151 ínter o la memoria 1312 externa. Además, el módulo 1313 de manejo de energía, por ejemplo, controla el suministro de energía para la sección 1511 de control.
Cuando se aplica la presente teenología al procesador 1332 de video configurado como se describió anteriormente, es solo necesario aplicar la presente teenología conforme a cada modalidad descrita anteriormente para el motor 1516 códec. Que es, por ejemplo, es solo necesario configurar el motor 1516 códec que tiene bloques funcionales que logra el dispositivo (FIGURA 4) de codificación de imagen conforme a la primera modalidad y el dispositivo (FIGURA 14) de decodificación de imagen conforme a la segunda modalidad. Como se describió anteriormente, el procesador de video 1332 puede obtener efectos similares para los que se describieron anteriormente con referencia a las FIGURAS 1 a 21.
También, en el motor 1516 códec, la presente tecnología (que son, las funciones del dispositivo de codificación de imagen y el dispositivo de decodificación de imagen conforme a las modalidades descritas anteriormente) se pueden imple entar por hardware tal como un circuito lógico, implementado por software tal como un programa incrustado, o implementado por tanto los mismos.
Aunque los dos ejemplos de la configuración del procesador 1332 de video se hayan mostrado anteriormente, la configuración del procesador 1332 de video es opcional y puede ser diferente de los dos ejemplos descritos con anterioridad. Además, aunque el procesador 1332 de video se configure como un chip semiconductor, el procesador 1332 de video se puede configurar como una pluralidad de chips semiconductores. Por ejemplo, el procesador 1332 de video se puede configurar para ser LSI apilados tridimensionalmente en la que una pluralidad de semiconductores se apile. Además, el procesador 1332 de video puede ser configurado para que sea implementado por una pluralidad de piezas de LSI.
Ejemplo de aplicación para el dispositivo El conjunto de videos 1300 se pueden incrustar en varios tipos de dispositivo para el procesamiento de datos de imagen. Por ejemplo, el conjunto 1300 de videos se pueden incrustar en el dispositivo 900 (FIGURA 23) de televisión, el teléfono móvil 920 (FIGURA 24), el dispositivo 940 de reproducción/grabación (FIGURA 25), el dispositivo 960 de captura de imágenes (FIGURA 26), o similares. Mediante la incorporación del conjunto de videos 1300, su dispositivo puede obtener efector similares para aquellos descritos anteriormente con referencia a las FIGURAS 1 a 21.
Además, el conjunto de videos 1300, por ejemplo, también se puede incorporar en un dispositivo terminal tal como el PC 1004, el dispositivo AV 1005, el dispositivo 1006 de tableta, o el teléfono móvil 1007 en el sistema 1000 de transmisión de datos de la FIGURA 27, la emisora 1101 y el dispositivo 1102 terminal en el sistema 1100 de transmisión de datos de la FIGURA 28, el dispositivo 1201 de captura de imágenes y el dispositivo 1202 de almacenamiento de datos codificados escalables en el sistema 1200 de captura de imágenes de la FIGURA 29, y similar. Mediante la incorporación del conjunto de videos 1300, el dispositivo puede obtener efector similares para los que se describieron con anterioridad con referencia a las FIGURAS 1 a 21. Además, el conjunto de videos 1300 se puede incorporar en cada dispositivo del sistema de reproducción de contenido de la FIGURA 33 o el sistema de comunicación inalámbrico de la FIGURA 39.
También, si parte de cada configuración del conjunto de videos 1300 descrito anteriormente incluye el procesador 1332 de video, la parte se puede ejecutar como una configuración para la cual se aplica la presente teenología. Por ejemplo, solo el procesador 1332 de video puede ser ejecutado como el procesador de video para la cual se aplica la presente tecnología. Además, por ejemplo, el procesador indicado por la línea 1341 punteada como se describió con anterioridad, el módulo 1311 de video, y similar se puede ejecutar como el procesador, el módulo, o similar para la cual se aplica la presente tecnología. Además, por ejemplo, el módulo 1311 de vídeo, la memoria 1312 externa, el módulo 1313 de manejo de energía, y el módulo 1314 extremos frontal se pueden combinar y ejecutar como una unidad 1361 de video para la cual se aplica a presente tecnología. Cualquier configuración puede obtener efector similares para aquellos descritos anteriormente con referencia a las FIGURAS 1 a 21.
Que es, cualquier configuración que incluye el procesador 1332 de video se puede incorporar en varios tipos de dispositivos para datos de imágenes de procesamiento como en el conjunto de videos 1300. Por ejemplo, el procesador 1332 de video, el procesador indicado por la linea 1341 punteada, el módulo 1311 de video, o la unidad 1361 de video se puede incorporar en el dispositivo 900 de televisión (FIGURA 23), el teléfono móvil 920 (FIGURA 24), el dispositivo 940 de reproducción/grabación (FIGURA 25), el dispositivo 960 de captura de imágenes (FIGURA 26), el dispositivo terminal tal como el PC 1004, el dispositivo AV 1005, el dispositivo de tableta 1006, o el teléfono móvil 1007 en el sistema 1000 de transmisión de datos de la FIGURA 27, la emisora 1101 y el dispositivo 1102 terminal en el sistema 1100 de transmisión de datos de la FIGURA 28, el dispositivo 1201 de captura de imágenes y el dispositivo 1202 de almacenamiento de datos codificados escalables en el sistema 1200 de captura de imágenes de la FIGURA 29, y similar. Además, el procesador 1332 de video se puede incorporar en cada dispositivo del sistema de reproducción de contenido de la FIGURA 33 o el sistema de comunicación inalámbrica de la FIGURA 39. Mediante la incorporación de cualquier configuración para la cual se aplica la presente teenología, su dispositivo puede obtener efectos similares para los que se describieron anteriormente con referencia a las FIGURAS 1 a 21 como en el caso del conjunto 1300 de videos.
También, se aplicable la presente tecnología, por ejemplo, a un sistema de reproducción de contenido del flujo HTTP o un sistema de comunicación inalámbrico de un Wi-Fi estándar tal como MPEG DASH para que se describa más adelante para seleccionar y utilizar los datos codificados apropiadamente de una pluralidad de piezas de los datos codificados en la cual las resoluciones preparadas y similares son diferentes una de otra en unidades de segmentos. 8. Ejemplo de aplicación de MPEG-DASH Esbozo del sistema de reproducción de contenido Primero, con referencia a las FIGURAS 33 a 35, el sistema de reproducción de contenido para la cual la presente teenología es aplicable será descrito esquemáticamente.
En lo sucesivo, primero, una configuración básica común en estas modalidades será descrita con referencia a las FIGURAS 33 y 34.
La FIGURA 33 es un diagrama explicativo que ilustra una configuración de un sistema de reproducción de contenido. Como se ilustró en la FIGURA 33, el sistema de reproducción de contenido incluye servidores 1610 y 1611 de contenido, una red 1612, y un dispositivo 1620 de reproducción de contenido (dispositivo cliente).
Los servidores de contenido 1610 y 1611 y el dispositivo 1620 de reproducción de contenido se conectan a través de la red 1612. La red 1612 es un trayecto de transmisión alámbrico o inalámbrico de información para ser transmitido de un dispositivo conectado a la red 1612.
Por ejemplo, la red 1612 puede incluir redes de linea publicas tales como el Internet, una red de linea telefónica, y una red de comunicación satelital o varios tipos de redes (LANs) de área locales, redes (WANs) de área amplia, y similar que incluyan Ethernet (marca registrada). Además, la red 1612 puede incluir una red de linea dedicada tal como una red privada de protocolo virtual de Internet (IP-VPN).
El servidor 1610 de contenido codifica los datos de contenido y genera y almacena un archivo de datos que incluyen los datos codificados y meta información de los datos codificados. También, cuando el servidor 1610 de contenido genera un archivo de datos de un formato MP4, los datos codificados corresponden a "mdat" y la meta información corresponde a "moov".
Además, los datos de contenido pueden datos de música tales como música, lecturas, y unos programas de radio, datos de video como películas, programas de televisión, programas de video, fotografías, documentos, pinturas, y gráficos, software, y similares.
Aquí, para una solicitud de reproducción del contenido del dispositivo 1620 de reproducción de contenido, el servidor 1610 de contenido genera una pluralidad de archivos de datos en relaciones de bitios diferentes en relación al mismo contenido. Además, para una solicitud de reproducción del contenido del dispositivo 1620 de reproducción de contenido, el servidor 1611 de contenido transmite información de un localizador uniforma de recursos (URL) del servidor 1610 de contenido para el dispositivo 1620 de reproducción de contenido incluyendo información de parámetro agregada al URL en el dispositivo 1620 de reproducción de contenido en la información URL del servidor 1610 de contenido. En lo sucesivo, con referencia a la FIGURA 34, se describirán específicamente artículos relevantes.
La FIGURA 34 es un diagrama explicativo que ilustra un flujo de datos en el sistema de reproducción de contenido de la FIGURA 33. El servidor 1610 de contenido codifica los mismos datos de contenido en relaciones de bitios diferentes y genera, por ejemplo, un archivo A de 2 Mbps, un archivo B de 1.5 Mbps, y un archivo C de 1 Mbps como se ilustró en la FIGURA 34. Relativamente, el archivo A tiene una relación de bitios alta, el archivo B tiene una tasa de bitios estándar, y el archivo C tiene una tasa de bitios baja.
Además, como se ilustró en la FIGURA 34, los datos codificados de cada archivo se dividen en una pluralidad de segmentos. Por ejemplo, los datos codificados del archivo A se dividen en segmentos "Al", "A2", "A3",... "An", los datos codificados del archivo B se dividen en segmentos "Bl", "B2", "B3",... "Bn", y los datos codificados del archivo C se dividen en segmentos "Cl," "C2," "C3,"... "Cn. " También, cada segmento puede incluir una muestra de configuración de una o más piezas de datos codificados de videos reproducibles de forma independiente y datos codificados de audio los cuales comienzan con una muestra de sincronización de MP4 (por ejemplo, un actualizador (IDR) de imagen decodificadora instantáneo en la codificación de video de AVC/H.264). Por ejemplo, cuando los datos de video de 30 cuadros por segundo se codifican en un GOP de una longitud arreglada de 15 cuadros, cada segmento puede ser datos codificados de audio y video de 2 segundos correspondientes a 4 GOPs o datos codificados de video y audio de 10 segundos correspondientes a 20 GOPs.
Además, los intervalos de reproducción (intervalos de posiciones de tiempo desde el principio del contenido) por los segmentos que tienen el mismo orden de colocación en cada archivo, son los mismos. Por ejemplo, cuando los intervalos de reproducción del segmento "A2", el segmento "B2", y el segmento "C2" son lo mismo y cada segmento son datos codificados de 2 segundos, todos los intervalos de reproducción del segmento "A2", el segmento "B2", y el segmento "C2" son de 2 a 4 segundos de contenido.
Cuando se generan los archivos A a C configurados de la pluralidad descrita anteriormente de los segmentos, el servidor 1610 de contenido almacena los archivos A a C. Luego, como se ilustró en la FIGURA 34, el servidor 1610 de contenido transmite secuencialmente los segmentos que constituyen los archivos diferentes al dispositivo 1620 de reproducción de contenido, y el dispositivo 1620 de reproducción de contenido reproduce los segmentos recibidos conforme al flujo de reproducción.
Aquí, el servidor 1610 de contenido conforme a esta modalidad transmite un archivo de la lista de reproducción (aquí en lo referido como MPD) que incluye información de velocidad de bitios e información de acceso de los datos codificados al dispositivo 1620 de reproducción de contenido, y el dispositivo 1620 de reproducción de contenido selecciona cualquier velocidad de bitios de una cantidad de velocidad de bitios basada en MPD y solicita al servidor 1610 de contenido transmitir los segmentos correspondientes para la velocidad de bitios seleccionada.
Aunque solo se ilustra un servidor 161 de contenido en la FIGURA 33, no es necesario decir que la divulgación presente no se limita al ejemplo relevante.
La FIGURA 35 es un diagrama ejemplar que ilustra un ejemplo especifico del MPD. Como se ilustró en la FIGURA 35, el MPD incluye información de acceso relacionada a una pluralidad de piezas codificadas que tienen diferentes velocidades de bitios (anchos de banda). Por ejemplo, el MPD ilustrado en la FIGURA 35 indica que hay datos codificados de 256 Kbps, 1.024 Mbps, 1.384 Mbps, 1.536 Mbps, y 2.048 Mbps, y que incluye información de acceso relacionada a los datos codificados. El dispositivo 1620 de reproducción de contenido puede cambiar dinámicamente la velocidad de bitios de los datos codificados para que se reproduzcan conforme a la reproducción de corriente en base en este MPD.
También, aunque se ilustra una terminal portable como un ejemplo del dispositivo 1620 de reproducción de contenido en la FIGURA 33, el dispositivo 1620 de reproducción de contenido no se limita a este ejemplo. Por ejemplo, el dispositivo 1620 de reproducción de contenido puede ser un dispositivo de procesamiento de información tal como una PC, un dispositivo de procesamiento de video (una grabadora de disco (DVD) versátil digital, una grabadora de casete de video, o similar), asistentes (PDA) digitales personales, un dispositivo de juego en casa, o un dispositivo de electrodomésticos. Además, el dispositivo 1620 de reproducción de contenido puede ser un dispositivo de procesamiento de información tal como un teléfono móvil, un sistema (PHS) de teléfono de mano personal, un dispositivo de reproducción de música portátil, un dispositivo de procesamiento de video portátil, o un dispositivo de juegos portátil.
Configuración del servidor 1610 de contenido Con referencia a las FIGURAS 33 a 35, se ha descrito el contorno del sistema de reproducción de contenido. Luego, con referencia a la FIGURA 36, la configuración del servidor 1610 de contenido será descrita.
La FIGURA 36 es un diagrama de bloques funcional que ilustra la configuración del servidor 1610 de contenido. Como se ilustró en la FIGURA 36, el servidor 1610 de contenido incluye una sección 1631 de generación de archivo, una sección 1632 de almacenamiento, y una sección 1633 de comunicación.
La sección 1631 de generación de archivo incluye un codificador 1641 para codificar los datos de contenido, y genera una variedad de piezas que tienen diferentes tasas de bitios codificadas en el mismo contenido y el MPD descrito anteriormente. Por ejemplo, la sección 1631 de generación de archivo genera el MPD como se ilustró en la FIGURA 35, cuando se generan los datos codificados de 256 Kbps, 1.024 Mbps, 1.384 Mbps, 1.536 Mbps, y 2.048 Mbps.
La sección 1632 de almacenamiento almacena una pluralidad de piezas de los datos codificados que tienen velocidades de bitios diferentes y el MPD generado por la sección 1631 de generación de archivo. La sección 1632 de almacenamiento puede ser un medio de almacenamiento tal como una memoria no volátil, un disco magnético, un disco óptico, un disco (MO) óptico magneto, o similar. Como la memoria no volátil, por ejemplo, se pueden citar una memoria (EEPROM) de solo lectura borradle programable eléctricamente y un ROM (EPROM) programable borrable. También, como el disco magnético, un disco duro, un disco magnético discoide, y similar que se pueden citar. Además, como el disco óptico, un disco (CD) compacto, un DVD grabable (DVD-R), un disco (BD) Blu-ray (marca registrada)), y similares que se pueden citar.
La sección 1633 de comunicación esta en I/F con el dispositivo 1620 de reproducción de contenido, y comunica con el dispositivo 1620 de reproducción de contenido a través de la red 1612. En detalle adicional, la sección 1633 de comunicación tiene una función que sirve como un servidor HTTP el cual comunica con el dispositivo 1620 de reproducción de contenido conforme a un HTTP. Por ejemplo, la sección 1633 de comunicación transmite un MPD al dispositivo 1620 de reproducción de contenido, extrae los datos codificados solicitados en base del MPD del dispositivo 1620 de reproducción de contenido conforme al HTTP, y transmite los datos codificados al dispositivo 1620 de reproducción de contenido como una respuesta HTTP.
Configuración del dispositivo 1620 de reproducción de contenido La configuración del servidor 1610 de contenido conforme a esta modalidad se ha descrito anteriormente. Luego, con referencia a la FIGURA 37, la configuración del dispositivo 1620 de reproducción de contenido será descrita.
La FIGURA 37 es un diagrama de bloques funcional que ilustra la configuración del dispositivo 1620 de reproducción de contenido. Como se ilustró en la FIGURA 37, el dispositivo 1620 de reproducción de contenido incluye una sección 1651 de comunicación, una sección 1652 de almacenamiento, una sección 1653 de reproducción, una sección 1654 de selección, y una sección 1656 de adquisición de ubicación actual.
La sección 1651 de comunicación esta en I/F con el servidos 1610 de contenido, solicitar el servidor 1610 de contenido para proporcionar datos, y adquirir datos del servidor 1610 de contenido. En detalles adicionales, la sección 1651 de contenido tiene la función de servir como un cliente HTTP para la comunicación con el dispositivo 1620 de reproducción de contenido conforme al HTTP. Por ejemplo, la sección 1651 de comunicación puede adquirir selectivamente un MPD o segmentos de los datos codificados del servidor 1610 de contenido empleando un intervalo HTTP.
La sección 1652 de almacenamiento amacena varios tipos de información relacionada a la reproducción del contenido. Por ejemplo, la sección 1652 de almacenamiento amortigua secuencialmente los segmentos adquiridos por la sección 1651 de comunicación del servidor 1610 de contenido. Los segmentos de los datos codificados amortiguados en la sección 1652 de almacenamiento se suministran secuencialmente a la sección 1653 de reproducción en primer en la primera salida (FIFO).
Además, la sección 1652 de almacenamiento almacena una definición para acceder un URL para la cual la sección 1651 de comunicación agrega un parámetro en base de una instrucción de adición del parámetro para el URL del contenido descrito en el MPD pedido del servidor 1611 de contenido que se describirá más adelante.
La sección 1653 de reproducción reproduce secuencialmente los segmentos suministrados de la sección 1652 de almacenamiento. Específicamente, la sección 1653 de reproducción realiza la decodificación, la conversión D/A, y convertido o traducido en los segmentos.
La sección 1654 de selección selecciona secuencialmente si se adquieren secuencialmente los segmentos de los datos codificados correspondientes a una velocidad de bitios incluidas en el MPD para que se adquieran dentro del mismo contenido. Por ejemplo, cuando la sección 1654 de selección selecciona secuencialmente los segmentos "Al", "B2", y "A3" conforme a una banda de la red 1612, la sección 1651 de comunicación adquiere secuencialmente los segmentos "Al", "B2", y "A3" del servidor 1610 de contenido como se ilustró en la FIGURA 34.
La sección 1656 de adquisición de ubicación actual puede ser una sección para adquirir una ubicación actual del dispositivo 1620 de reproducción de contenido, y, por ejemplo, se puede constituir de un módulo para adquirir una ubicación actual de un receptor del sistema (GPS) de posicionamiento global o similar. Además, la sección 1656 de adquisición de ubicación actual puede ser una sección para adquirir una ubicación actual del dispositivo 1620 de reproducción de contenido usando una red inalámbrica.
Configuración del servidor 1611 de contenido La FIGURA 38 es un diagrama explicativo que ilustra un ejemplo de configuración del servidor 1611 de contenido. Como se ilustró en la FIGURA 38, el servidor 1611 de contenido incluye una sección 1671 de almacenamiento y una sección 1672. de comunicación.
La sección 1671 de almacenamiento almacena información de un URL de un MPD. La información del URL del MPD se transmite del servidor 1611 de contenido para el dispositivo 1620 de reproducción de contenido conforme una solicitud del dispositivo 1620 de reproducción de contenido para solicitar la reproducción del contenido. Además, cuando se proporciona la información del URL del MPD por el dispositivo 1620 de reproducción de contenido, la sección 1671 de almacenamiento almacena la información de definición cuando el dispositivo 1620 de reproducción de contenido agrega un parámetro al URL escrito en el MPD.
La sección 1672 de comunicación es un I/F con el dispositivo 1620 de reproducción de contenido, y comunica con el dispositivo 1620 de reproducción de contenido a través de la red 1612. Que es, la sección 1672 de comunicación recibe una solicitud de la información de un URL del MPD del dispositivo 1620 de reproducción de contenido para solicitar la reproducción del contenido y transmita la información del URL del MPD para el dispositivo 1620 de reproducción de contenido. El URL del MPD para que sea transmitido de la sección 1672 de comunicación incluye información para agregar un parámetro en el dispositivo 1620 de reproducción de contenido.
Para que el parámetro se agregue al URL del MPD en el dispositivo 1620 de reproducción de contenido, es posible ajustar diferentes parámetros en la información de definición para que se comparta por el servidor 1611 de contenido y el dispositivo 1620 de reproducción de contenido. Por ejemplo, la información de una ubicación actual del dispositivo 1620 de reproducción de contenido, un ID de usuario que usa el dispositivo 1620 de reproducción de contenido, un tamaño de la memoria del dispositivo 1620 de reproducción de contenido, una capacidad de un almacenamiento del dispositivo 1620 de reproducción de contenido, y similares que se pueden agregar al URL del MPD en el dispositivo 1620 de reproducción de contenido.
En el sistema de reproducción de contenido de la configuración descrita anteriormente, es posible obtener efector similares para los descritos anteriormente con referencia a las FIGURAS 1 a 21 aplicando la teenología presente como se describió anteriormente con referencia a las FIGURAS 1 a 21.
Es decir, el codificador 1641 del servidor 1620 de contenido tiene una función del dispositivo de codificación de imagen (FIGURA 4) conforme a la modalidad descrita anteriormente. Además, la sección 1653 de reproducción del dispositivo 1620 de reproducción de contenido tiene una función del dispositivo de decodificación de imagen (FIGURA 14) conforme a la modalidad descrita anteriormente. De este modo, es posible mejorar la eficiencia de codificación de la codificación o decodificación de un MV en una imagen de múltiples vistas.
Además, porque es posible limitar la dirección V del MV de vista ínter transmitiendo y recibiendo los datos codificados conforme a la teenología presente en el sistema de reproducción de contenido, es posible mejorar la eficiencia de codificación de la codificación o decodificación de un MV en una imagen de vistas múltiples. 9. Ejemplo de Aplicación del sistema de comunicación inalámbrica del Wi-Fi estándar Ejemplo de operación básica del dispositivo de comunicación inalámbrico Se describirá un ejemplo de operación básica de un dispositivo de comunicación inalámbrica en el sistema de comunicación inalámbrica para la cual la presente tecnología es aplicable.
Inicialmente, se opera la transmisión y recepción de paquetes de radio hasta una aplicación especifica mediante el establecimiento de una conexión de un igual a igual (P2P) que se hace.
Luego, antes de que se haga una conexión en una segunda capa, la transmisión y recepción de paquetes de radio hasta que se establezca la conexión P2P y se opere la aplicación especifica después de que se haga la designación de la aplicación especifica. Después de eso, después de que la conexión en la segunda capa, la transmisión y recepción de paquetes de radio cuando se haga la activación de la aplicación especifica.
Ejemplo de comunicación cuando inicie la operación de aplicación especifica Las FIGURAS 39 y 40 son ejemplos de la transmisión y recepción de paquetes de radio hasta que se opere una aplicación especifica mediante el establecimiento de la conexión P2P descrita anteriormente y los gráficos de secuencia ilustren un ejemplo de proceso de comunicación para cada dispositivo en base de la comunicación inalámbrica. Específicamente, un ejemplo de un procedimiento de configuración de una conexión directa que conduce a una conexión en un Wi-Fi estándar directo (también referido como Wi-Fi P2P) estandarizado en el Wi-Fi alianza que se muestra.
Aquí, en el Wi-Fi directo, una pluralidad de dispositivos de comunicación inalámbricos detecta la existencia de uno con otro (detección de dispositivos y detección de servicios). Luego, se establece una conexión directa llevando a cabo la autenticación del dispositivo en un Wi-Fi de configuración protegida (WPS) con un dispositivo seleccionado cuando se lleve a cabo la selección del dispositivo de conexión. Además, en el Wi-Fi directo, se forma un grupo de comunicación determinando un papel de cada una de la pluralidad de dispositivos de comunicación inalámbricos como un dispositivo principal (propietario del grupo) o un dispositivo secundario (cliente).
Sin embargo, en este ejemplo de proceso de comunicación, se omite la poca transmisión y recepción del paquete. Por ejemplo, en el momento de una conexión inicial, como se describió anteriormente, el intercambio de paquetes para usar el WPS es innecesario, y el intercambio de paquetes es necesario incluso en el intercambio de la Respuesta/Solicitud de Autenticación. Sin embargo, en las FIGURAS 39 y 40, se omite la ilustración de estos intercambios de paquetes y solo se muestra una conexión de la segunda vez.
También, aunque un ejemplo de proceso de comunicación entre un primer dispositivo 1701 de comunicación inalámbrica y un segundo dispositivo 1702 de comunicación inalámbrica se ilustra en las FIGURAS 39 y 40, lo mismo es verdadero para los procesos de comunicación con otros dispositivos de comunicación inalámbrica.
Inicialmente, se lleva a cabo la detección de dispositivos entre el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 (1711) de comunicación inalámbrico. Por ejemplo, el primer dispositivo 1701 de comunicación inalámbrica transmite una solicitud de sondeo (señal de solicitud de respuesta), y recibe una respuesta de sondeo (señal de respuesta) para la solicitud de sondeo del segundo dispositivo 1702 de comunicación inalámbrica. De este modo, el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica pueden descubrir la ubicación de una de otra. Además, es posible adquirir un nombre o tipo de dispositivo (TV, PC, teléfono inteligente, o similares) de un asociado por la detección de dispositivos.
Subsecuentemente, la detección de dispositivos se lleva a cabo entre el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica (1702). Por ejemplo, el primer dispositivo 1701 de comunicación inalámbrica transmite un servicio de consulta de descubrimiento para consultar un servicio correspondiente al segundo dispositivo 1702 de comunicación inalámbrica descubierto en la detección de dispositivos. Luego, el primer dispositivo 1701 de comunicación inalámbrica adquiere el servicio correspondiente para el segundo dispositivo 1702 de comunicación inalámbrica recibiendo una respuesta de detección de dispositivos del segundo dispositivo 1702 de comunicación inalámbrica. Es decir, es posible adquirir un servicio socio ejecutable o similar por el descubrimiento de servicios. El servicio socio ejecutable, por ejemplo, es un servicio, un protocolo (alianza de red de convivencia digital (DLNA)), un reproductor (DMR) de medios digitales, o similares.
Subsecuentemente, el usuario lleva a cabo una operación (operación de selección de interlocutor) de seleccionar un interlocutor (1713). Esta operación de selección de interlocutor ocurre solo en cualquiera del primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica. Por ejemplo, se muestra una imagen de selección de interlocutor en la sección de pantalla del primer dispositivo 1701 de comunicación inalámbrica, y el segundo dispositivo 1702 de comunicación inalámbrica que se selecciona como el interlocutor en la imagen de selección del interlocutor conforme a la operación de usuario.
Cuando el usuario lleva a cabo la operación (1713) de selección de interlocutor, se realiza la negociación de propietario del grupo entre el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702(1714) de comunicación inalámbrica. En las FIGURAS 39 y 40, un ejemplo en el cual el primer dispositivo 1701 de comunicación inalámbrica se convierte en un propietario 1715 de grupo y el segundo dispositivo 1702 de comunicación inalámbrica se convierte en un cliente 1716 conforme a un resultado de la negociación del propietario del grupo que se ilustra.
Subsecuentemente, se realizan los procesos 1717 a 1720 entre el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica, de modo que se establece una conexión directa. Es decir, la asociación (configuración de enlace (segunda capa) L2) 1717 y la configuración 1718 de enlace seguro que se realizan secuencialmente. Además, la asignación 1719 de la dirección IP y la configuración 1720 L4 en L3 por un simple protocolo (SSD) de descubrimiento de servicios o los similares que se llevan a cabo. También, L2 (capa 2) se refiere a una segunda capa (capa de enlace de datos), L3 (capa 3) se refiere a una tercera capa (capa de red), y L4 (capa 4) se refiere a una cuarta capa (capa de transporte).
Subsecuentemente, el usuario lleva a cabo una operación de designación o activación en una aplicación especifica y una operación de activación (la operación de la designación/activación de la aplicación) (1721). Esta operación de designación/activación de aplicación ocurre en solo cualquiera del primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica. Por ejemplo, se muestra una imagen de operación de aplicación/designación de aplicación en la sección de la pantalla del primer dispositivo 1701 de comunicación inalámbrica, y se selecciona la aplicación especifica por la operación de usuario en esta imagen de operación activación/designación de aplicación.
Cuando el usuario lleva a cabo la solicitud de operación (1721) de activación/designación, la solicitud especifica correspondiente a esta solicitud de operación de designación/activación se ejecuta entre el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 (1722) de comunicación inalámbrica.
Aquí, el caso en el cual la conexión entre un punto (AP) de acceso y una estación (STA) se configura dentro de un intervalo de especificaciones (especificaciones estandarizadas en IEEE 802.11) antes de que se asuma el Wi-Fi estándar directo. En este caso, antes de que se haga una conexión en la segunda capa (antes de la asociación en la terminología de IEEE 802.11), es difícil conocer que el dispositivo se conecte en avanzado.
Por el otro lado, como se ilustró en las FIGURAS 39 y 40, en el Wi-Fi directo, es posible adquirir información de un interlocutor cuando se encuentra un interlocutor candidato en la detección de dispositivos o detección (opción) de servicios. La información del interlocutor, por ejemplo, es un tipo básico de dispositivo, una aplicación específica correspondiente, o similar. Luego, es posible permitir al usuario seleccionar un interlocutor en base de la información adquirida del interlocutor.
Extendiendo este mecanismo, se establece un sistema de comunicación inalámbrica para designar una aplicación especifica antes de una conexión en la segunda capa, seleccionar un interlocutor, y activar automáticamente una aplicación especifica después de que se pueda también implementar la selección. Un ejemplo de una secuencia que conduce a la conexión de este caso que se ilustra en la FIGURA 42. Además, un ejemplo de configuración de un formato de un marco para que se transmita y se reciba en este proceso de comunicación se ilustra en la FIGURA 41.
Ejemplo de configuración del formato compacto La FIGURA 41 es un diagrama que ilustra esquemáticamente un ejemplo de configuración de un formato de un marco para que se transmita y se reciba en un proceso de comunicación por cada dispositivo usado como la base de la presente teenología. Es decir, en la FIGURA 41, se ilustra un ejemplo de configuración de un marco de control (MAC) de acceso al medio para configurar la conexión en la segunda capa. Específicamente, este es un ejemplo de un formato compacto de una respuesta/solicitud 1787 de asociación para implementar la secuencia ilustrada en la FIGURA 42.
También, los campos del control 1752 de marco para la secuencia 1756 de control son un encabezamiento MAC. Además, cuando se transmite una solicitud de asociación, B3B2="0b00" y B7B6B5B4="ObOOOO" se establecen en el control 1751 de marco.
Además, cuando se encapsula una respuesta de asociación, B3B2="0b00" y B7B6B5B4="0b0001" se ajusta en el control 1751 de marco. También, "ObOO" representa "00" en la notación binaria, "ObOOOO" representa "0000" en la notación binaria, y "ObOOOl" representa "0001" en la notación binaria.
Aquí, el marco MAC ilustrado en la FIGURA 41 es básicamente un formato de trama solicitud/respuesta de asociación escrito en las Secciones 7.2.3.4 y 7.2.3.5 del documento de especificación 802.11-2007 de IEEE. Sin embargo, el formato es diferente en que un IE extendido independientemente también como un elemento de información (en lo sucesivo abreviado como un IE) que se incluye.
Además, con el fin de indicar que es un IE 1760,127 especifica del vendedor se ajusta en decimal en un tipo 1761 IE. En este caso, conforme a la Sección 7.3.2.26 del documento de especificación IEEE 802.11-2007, continua un campo 1762 de longitud y un campo 1763 identificador (OUI) único organizacionalmente, y luego se arregla el contenido 1764 especifico del vendedor.
Como el contenido del contenido 1764 especifico del vendedor, un campo (tipo 1765 IE) indica un tipo del IE especifico del vendedor que se proporciona primero. Luego, después de eso, se configuran una pluralidad de subelementos 1766 para que se almacenen.
Como el contenido del sub-elemento 1766, se utiliza un nombre 1767 de una aplicación especifica o un papel 1768 del dispositivo cuando la aplicación especifica opera se considera que se incluye. Además, la aplicación especifica, la información (información para la configuración L4) 1769 tal como un número de puerto para que se utilice para control, y la información (información de capacidad) relacionada a la capacidad se considera para que se incluya. Aquí, por ejemplo, cuando se designa una aplicación especifica es DLNA, la información de capacidad es la información para especificar la correspondencia a la reproducción/transmisión de audio, la correspondencia a la reproducción/transmisión de video, y similares.
En el sistema de comunicación inalámbrica de la configuración descrita anteriormente, es posible obtener un efecto ventajoso similar al que se describió anteriormente con referencia a las FIGURAS 1 a 21 aplicando la presente teenología descrita anteriormente con referencia a las FIGURAS 1 a 21. Es decir, es posible mejorar la eficiencia de codificación de codificación o decodificación de un MV en una imagen de vistas múltiples. Además, en el sistema de comunicación inalámbrico descrito anteriormente, es posible mejorar la eficiencia de codificación de codificación o decodificación de un MV en una imagen de vistas múltiples transmitiendo y recibiendo datos codificados por la presente teenología.
También, en la presente descripción, un ejemplo en el cual varios tipos de información tales como parámetros de un filtro de desbloqueo o parámetro de un filtro de desplazamiento adaptativo se multiplexa en una corriente codificada y se transmite del lado de codificación al lado de decodificación que se ha descrito. Sin embargo, una técnica de la transmisión de información no se limita a este ejemplo. Por ejemplo, la información se puede transmitir o grabar como datos individuales asociados con una corriente de bitios codificada sin estar multiplexada en la corriente codificada. Aquí, el término "asociado" se refiere para que una imagen incluida en la corriente de bitios (la cual puede ser parte de una imagen tal como rebanada o bloque) y la información correspondiente a la imagen se configure para que se vincule en el momento de la decodificación. Es decir, la información se puede transmitir en un camino de transmisión separada de una imagen (o corriente de bitios). Además, la información se puede grabar en un medio de grabación independiente (o un área de grabación independiente del mismo medio de grabación) de la imagen (o corriente de bitios). Además, la información y la imagen (o corriente de bitios), por ejemplo, se puede asociar uno con el otro en una unidad arbitraria tal como una pluralidad de marcos, un marco, o una porción dentro del marco .
Las modalidades preferidas de la presente divulgación se han descrito anteriormente con referencia a los dibujos que los acompañan, mientras que la presente invención no se limita a los ejemplo de arriba, por supuesto. Una persona habilitada en la téenica puede encontrar varias alteraciones y modificaciones dentro del alcance de las reivindicaciones adjuntas, y deberla entendérse que naturalmente se verán sometidos bajo el alcance técnico de la presente divulgación.
Adicionalmente, la presente tecnología también se puede configurar como sigue.
(I) Un dispositivo de procesamiento de imagen que incluye: una sección de generación de vector prevista configurada para generar un vector previsto para el uso en la codificación de un vector (MV) de movimiento de un bloque actual escalando el MV de un bloque de referencia, el cual es un bloque de un cambio de posición del bloque actual en una imagen de una vista diferente, por una disparidad obtenida de una periferia del bloque actual en una imagen de una vista sin base conforme a un destino de referencia del bloque actual y un destino de referencia .del bloque de referencia; una sección de codificación MV configurada para codificar el MV del bloque actual usando el vector previsto generado por la sección de generación del vector previsto; y una sección de codificación configurada para generar una corriente codificada por la codificación de la imagen en unidades que tienen una estructura jerárquica. (2) El dispositivo de procesamiento de imagen conforme a (1), en donde la sección de generación del vector previsto genera el vector previsto escalando el MV de la corriente de referencia codificada en unidades que tienen una estructura jerárquica. (3) El dispositivo de procesamiento de imagen conforme a (1) o (2), que comprende además: una sección de transmisión configurada para transmitir el MV del bloque actual codificado por la sección de codificación MV y el flujo codificado generado por la sección de codificación. (4) Un método de procesamiento de imagen, que comprende: la generación, por un dispositivo de procesamiento de imagen, un vector pronosticado para el uso en la codificación de un MV de un bloque actual escalando el MV de un bloque de referencia, el cual es un bloque de una posición desplazada de una posición del bloque actual en una imagen de una vista diferente, por una disparidad obtenida de una periferia del bloque actual en una imagen de una vista sin base conforme a un destino de referencia del bloque actual y un destino de referencia del bloque de referencia; la codificación, por el dispositivo de procesamiento de imagen, el MV del bloque actual que utiliza el valor pronosticado generado; y la generación, por el dispositivo de procesamiento de imagen, un flujo codificado por la codificación de la imagen en unidades que tienen una estructura jerárquica. (5) Un dispositivo de procesamiento de imagen, que comprende: una sección de generación del vector previsto configurada para generar un vector pronosticado para el uso en la codificación de un MV de un bloque actual escalando el MV de un bloque de referencia, el cual es un bloque de una posición desplazada de una posición del bloque actual en una imagen de una vista diferente, por una disparidad obtenida de una periferia del bloque actual en una imagen de una vista sin base conforme a un destino de referencia del bloque actual y un destino de referencia del bloque de referencia; una sección de decodificación de MV para decodificar el MV del bloque actual usando el vector previsto generado por la sección de generación del vector pronosticado; y una sección de decodificación configurada para genera una imagen por la decodificación de una corriente codificada que se codifica en unidades que tienen una estructura jerárquica. (6) El dispositivo de procesamiento de imagen conforme a (5), en donde la sección de generación del vector previsto genera el vector previsto escalando el MV del bloque de referencia conforme a un POC de imagen de referencia del bloque actual y un POC de imagen de referencia del bloque de referencia y emplear el MV escalado como un candidato para el vector predicho. (7) El dispositivo de procesamiento de imagen conforme a (5) o (6), incluye además: una sección de recepción configurada para recibir la corriente codificada y el MV codificado del bloque actual. (8) Un método de procesamiento de imagen que incluye: la generación, por un dispositivo de procesamiento de imagen, un vector predicho para el uso en la codificación de un MV de un bloque actual escalando el MV de un bloque de referencia, el cual es un bloque desde una posición desplazada de una posición del bloque actual en una imagen de una vista diferente, por una disparidad obtenida desde una periferia del bloque actual en una imagen de una vista sin base conforme a un destino de referencia del bloque actual y un destino de referencia del bloque de referencia; la decodificación, por el dispositivo de procesamiento de imagen, el MV del bloque actual usando el vector previsto generado; y la generación, por el dispositivo de procesamiento de imagen, una imagen mediante la decodificación de una corriente codificada que se codifica en unidades que tienen una estructura jerárquica.
Lista de Signos de Referencia 11-1, 11-N, 11-M codificador 26 sección de codificación sin pérdidas 32-1. 32-N, 32-M DPB 34 sección de predicción/compensación de movimiento 36-1, 36-N, 36-M memoria MV 51 sección de generación del modo de predicción de movimiento 52 sección de generación del indice de referencia automático 53 sección de predicción del vector de modo AMVP 54 sección de predicción del vector de modo M/S 55 sección de determinación del modo 61 sección de búsqueda del vector 62 sección de generación de imagen pronosticada 63 memoria MV espacial 65, 66 sección de generación del vector pronosticado 67 interruptor 68 sección de sustracción 69 sección de transformación POC 81 sección de generación del indice del vector pronosticado 82 sección de generación del vector de referencia de vista intra 83 sección de generación del vector de referencia de vista ínter 211-1, 211-N, 211-M decodificador 222 sección de decodificación sin pérdidas 233-1, 233-N, 233-M DPB 231 sección de compensación de movimiento 229-1, 229-N, 229-M memoria MV 251 sección de generación del índice de referencia automático 252 sección de predicción del vector de modo AMVP 253 sección de predicción del vector de modo M/S 261 sección de generación de imagen pronosticada 262 memoria MV espacial 263 sección de adición 264, 265 sección de generación del vector pronosticado 266 interruptor 267 sección de transformación POC 281 sección de generación del vector de referencia de vista intra 282 sección de generación del vector de referencia de vista ínter.

Claims (8)

REIVINDICACIONES
1. Un dispositivo de procesamiento de imagen, caracterizado en que comprende: una sección de generación del vector pronosticado configurado para generar un vector pronosticado para el uso en la codificación de un vector (MV) de movimiento de un bloque actual, escalando el MV de un bloque de referencia, el cual es un bloque de una posición desplazada desde una posición del bloque actual en una imagen de una vista diferente, por una disparidad obtenida de una periferia desde el bloque actual en una imagen de una vista sin base conforme a un destino de referencia del bloque actual y un destino de referencia del bloque de referencia; una sección de codificación MV configurada para codificar el MV del bloque de referencia usando el vector pronosticado generado por la sección de generación del vector pronosticado; y una sección de codificación configurada para generar un flujo codificado mediante la codificación de la imagen en unidades que tiene una estructura jerárquica.
2. El dispositivo de procesamiento de imagen conforme a la reivindicación 1, caracterizado en que la sección de generación del vector pronosticado genera el vector pronosticado escalando el MV del bloque de referencia conforme a un contador (POC) de orden de foto imagen de referencia del bloque actual y una imagen POC de referencia del bloque de referencia y empleando el MV escalado como un candidato para el vector pronosticado.
3. El dispositivo de procesamiento de imagen conforme a la reivindicación 1, caracterizado en que comprende además: una sección de transmisión configurada para transmitir el MV del bloque actual codificado por la sección de codificación MV y el flujo codificado generado por la sección de codificación.
4. Un método de procesamiento de imagen, caracterizado en que comprende: la generación, por un dispositivo de procesamiento de imagen, de un vector pronosticado para el uso en la codificación de un MV de un bloque actual escalando el MV de un bloque de referencia, el cual es un bloque de una posición desplazada desde una posición del bloque actual en una imagen de una vista diferente, por una disparidad obtenida desde una periferia del bloque actual en una imagen de una vista sin base conforme a un destino de referencia del bloque actual y un destino de referencia del bloque de referencia; la codificación, por el dispositivo de procesamiento de imagen, el MV del bloque actual que utiliza el valor pronosticado generado; y la generación, por el dispositivo de procesamiento de imagen, un flujo codificado por la codificación de la imagen en unidades que tienen una estructura jerárquica.
5. Un dispositivo de procesamiento de imagen, caracterizado en que comprende: una sección de generación del vector previsto configurada para generar un vector pronosticado para el uso en la codificación de un MV de un bloque actual escalando el MV de un bloque de referencia, el cual es un bloque de una posición desplazada de una posición del bloque actual en una imagen de una vista diferente, por una disparidad obtenida de una periferia del bloque actual en una imagen de una vista sin base conforme a un destino de referencia del bloque actual y un destino de referencia del bloque de referencia; una sección de decodificación de MV para decodificar el MV del bloque actual usando el vector previsto generado por la sección de generación del vector pronosticado; y una sección de decodificación configurada para genera una imagen por la decodificación de una corriente codificada que se codifica en unidades que tienen una estructura jerárquica.
6. El dispositivo de procesamiento de imagen conforme a la reivindicación 5, caracterizado en que la sección de generación del vector previsto genera el vector pronosticado escalando el MV del bloque de referencia conforme a un POC de imagen de referencia del bloque actual y un POC de imagen de referencia del bloque de referencia y empleando el MV escalado como un candidato para el vector pronosticado.
7. El dispositivo de procesamiento de imagen conforme a la reivindicación 5, caracterizado en que comprende además: una sección de recepción configurada para recibir la corriente codificada y el MV codificado del bloque actual.
8. Un método de procesamiento de imagen, caracterizado en que comprende: la generación, por un dispositivo de procesamiento de imagen, un vector pronosticado para el uso en la codificación de un MV de un bloque actual escalando el MV de un bloque de referencia, el cual es un bloque de una posición desplazada de una posición del bloque actual en una imagen de una vista diferente, por una disparidad obtenida de una periferia del bloque actual en una imagen de una vista sin base conforme a un destino de referencia del bloque actual y un destino de referencia del bloque de referencia; la decodificación, por el dispositivo de procesamiento de imagen, el MV del bloque actual usando el vector pronosticado generado; y la generación, por el dispositivo de procesamiento de imagen, una imagen para la decodificación de un flujo codificado que se codifica en unidades que tienen una estructura jerárquica. RESUMEN DE LA INVENCIÓN se proporciona un dispositivo de procesamiento de imagen, que incluye una sección de generación del vector previsto, configurado para generar un vector previsto para el uso en la codificación de un vector (MV) de movimiento de un bloque actual escalando el MV de un bloque de referencia, el cual es un bloque de una posición desplazada de una posición del bloque actual en una imagen de una vista diferente, por una disparidad obtenida de una periferia del bloque actual en una imagen de una vista sin base conforme a un destino de referencia del bloque actual y un destino de referencia del bloque de referencia, una sección de codificación MV configurada para codificar el MV del bloque actual utilizando el vector previsto generado por la sección de generación del vector previsto, y una sección de codificación configurada para generar un flujo codificado mediante la codificación de la imagen en unidades que tienen una estructura jerárquica.
MX2015003590A 2012-09-28 2013-09-19 Dispositivo y metodo para el procesamiento de imagenes. MX339432B (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012218304 2012-09-28
PCT/JP2013/075226 WO2014050675A1 (ja) 2012-09-28 2013-09-19 画像処理装置および方法

Publications (2)

Publication Number Publication Date
MX2015003590A true MX2015003590A (es) 2015-06-22
MX339432B MX339432B (es) 2016-05-26

Family

ID=50388080

Family Applications (1)

Application Number Title Priority Date Filing Date
MX2015003590A MX339432B (es) 2012-09-28 2013-09-19 Dispositivo y metodo para el procesamiento de imagenes.

Country Status (13)

Country Link
US (2) US10516894B2 (es)
EP (1) EP2903286A4 (es)
JP (1) JP6172155B2 (es)
KR (1) KR20150065674A (es)
CN (1) CN104662907B (es)
AU (1) AU2013321313B2 (es)
BR (1) BR112015006317A2 (es)
CA (1) CA2885642A1 (es)
MX (1) MX339432B (es)
MY (1) MY186413A (es)
RU (1) RU2639647C2 (es)
SG (1) SG11201502200RA (es)
WO (1) WO2014050675A1 (es)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081470B (zh) 2010-09-02 2016-08-03 Lg电子株式会社 编码和解码视频的方法和使用该方法的装置
SG10201601307SA (en) * 2012-09-28 2016-03-30 Sony Corp Image processing device and method
EP2982116A1 (en) 2013-04-02 2016-02-10 VID SCALE, Inc. Enhanced temporal motion vector prediction for scalable video coding
US10218644B1 (en) * 2016-09-21 2019-02-26 Apple Inc. Redundant communication path transmission
EP4351146A2 (en) * 2018-04-13 2024-04-10 LG Electronics Inc. Method and apparatus for inter prediction in video processing system
US11418793B2 (en) * 2018-10-04 2022-08-16 Qualcomm Incorporated Adaptive affine motion vector coding
KR102192980B1 (ko) * 2018-12-13 2020-12-18 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7133380B1 (en) * 2000-01-11 2006-11-07 At&T Corp. System and method for selecting a transmission channel in a wireless communication system that includes an adaptive array
US7710462B2 (en) * 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR20080066522A (ko) 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
EP2149262A4 (en) 2007-04-25 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
JP5646994B2 (ja) * 2007-08-15 2014-12-24 トムソン ライセンシングThomson Licensing 多視点符号化ビデオにおける領域視差ベクトルを使用したモーションスキップモードのための方法及び装置
EP2338281A4 (en) * 2008-10-17 2012-08-15 Nokia Corp SHARING THE MOTION VECTOR IN 3D VIDEO CODING
US9124898B2 (en) * 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
US9398308B2 (en) * 2010-07-28 2016-07-19 Qualcomm Incorporated Coding motion prediction direction in video coding
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
JP5747559B2 (ja) * 2011-03-01 2015-07-15 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
WO2012124121A1 (ja) 2011-03-17 2012-09-20 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
JP5786478B2 (ja) * 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
US20130188719A1 (en) * 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc using motion vector for intra-coded block
US9445076B2 (en) * 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding
WO2014049196A1 (en) * 2012-09-27 2014-04-03 Nokia Corporation Method and techniqal equipment for scalable video coding

Also Published As

Publication number Publication date
US20150237365A1 (en) 2015-08-20
EP2903286A4 (en) 2016-05-25
BR112015006317A2 (pt) 2017-07-04
US10516894B2 (en) 2019-12-24
CN104662907B (zh) 2019-05-03
JPWO2014050675A1 (ja) 2016-08-22
AU2013321313A1 (en) 2015-03-26
US20200007887A1 (en) 2020-01-02
EP2903286A1 (en) 2015-08-05
US10917656B2 (en) 2021-02-09
MY186413A (en) 2021-07-22
MX339432B (es) 2016-05-26
SG11201502200RA (en) 2015-07-30
CA2885642A1 (en) 2014-04-03
KR20150065674A (ko) 2015-06-15
JP6172155B2 (ja) 2017-08-02
RU2639647C2 (ru) 2017-12-21
CN104662907A (zh) 2015-05-27
WO2014050675A1 (ja) 2014-04-03
AU2013321313B2 (en) 2016-10-27
RU2015109932A (ru) 2016-10-10

Similar Documents

Publication Publication Date Title
AU2020200093B2 (en) Image processing device and method
US10075719B2 (en) Image coding apparatus and method
RU2706237C2 (ru) Устройство обработки изображения
US20220394253A1 (en) Image encoding device and method and image decoding device and method
US10917656B2 (en) Image processing device and method
US10616598B2 (en) Image processing device and method
KR102289112B1 (ko) 화상 처리 장치 및 방법
MX2015006474A (es) Dispositivo y metodo de procesamiento de imagenes.
JPWO2019039283A1 (ja) 画像処理装置及び画像処理方法
US20150222913A1 (en) Decoding device, decoding method, coding device, and coding method
KR102197557B1 (ko) 화상 처리 장치 및 방법
WO2014203505A1 (en) Image decoding apparatus, image encoding apparatus, and image processing system

Legal Events

Date Code Title Description
FG Grant or registration