MX2015003591A - Dispositivo y metodo para procesamiento de imagen. - Google Patents

Dispositivo y metodo para procesamiento de imagen.

Info

Publication number
MX2015003591A
MX2015003591A MX2015003591A MX2015003591A MX2015003591A MX 2015003591 A MX2015003591 A MX 2015003591A MX 2015003591 A MX2015003591 A MX 2015003591A MX 2015003591 A MX2015003591 A MX 2015003591A MX 2015003591 A MX2015003591 A MX 2015003591A
Authority
MX
Mexico
Prior art keywords
section
image
information
limit
range
Prior art date
Application number
MX2015003591A
Other languages
English (en)
Other versions
MX339554B (es
Inventor
Yoshitomo Takahashi
Ohji Nakagami
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of MX2015003591A publication Critical patent/MX2015003591A/es
Publication of MX339554B publication Critical patent/MX339554B/es

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

Se proporciona un dispositivo para procesamiento de imagen que incluye una sección de recepción, configurada para recibir un flujo codificado establecido en la sintaxis del flujo codificado en el cual la información del límite del rango del vector de movimiento (MV) se codifica en unidades en las cuales los datos de la imagen tienen una estructura jerárquica y la información del límite del rango del MV, la información del límite del rango del MV que es la información sobre el límite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV inter puntos de vista correspondiente al bloque actual, y una sección de decodificación, configurada para decodificar el flujo codificado recibido por la sección de recepción, usando la información del límite del rango del MV recibida por la sección de recepción.

Description

DISPOSITIVO Y MÉTODO PARA PROCESAMIENTO DE IMAGEN CAMPO TÉCNICO La presente descripción se refiere a un dispositivo y método para procesamiento de imagen, y más particularmente a un dispositivo y método para procesamiento de imagen configurados para permitir que las imágenes de una pluralidad de puntos de vista sean procesadas en paralelo.
ANTECEDENTES DE LA INVENCIÓN Recientemente, se han vuelto muy generalizados los dispositivos para comprimir y codificar imágenes al adoptar un esquema de codificación para manejar la información de la imagen digitalmente y llevar a cabo la compresión mediante una transformación ortogonal tal como la transformación discreta del coseno y la compensación del movimiento usando redundancia especifica de la información de la imagen con el propósito de transmisión y acumulación de la información con alta eficiencia cuando la información de la imagen se maneja digitalmente. El Grupo de Expertos de Imágenes en Movimiento (MPEG), H.264, MPEG Parte 10 (Codificación Avanzada de Video) (conocida de aquí en adelante como H.264/AVC), y los similares son ejemplos de tales esquemas de codificación.
Por lo tanto, con el propósito de mejorar la eficiencia de la codificación en comparación con H.264/AVC, la estandarización de un esquema de codificación conocido como codificación de video de alta eficiencia (HEVC) por el Equipo Conjunto de Colaboración (JCTVC), la cual es una organización de estandarización conjunta del Sector de Estandarización de la Unión Internacional de Telecomunicaciones (ITU-T) y la Organización Internacional para la Estandarización (ISO)/Comisión Electrotéenica Internacional (IEC), está actualmente en progreso (por ejemplo, véase la Bibliografía No Relacionada con Patentes 1).
En el anteproyecto del HEVC en la actualidad, una sección dependiente se adopta como una herramienta de procesamiento paralelo. Es posible la decodificación en paralelo de unidades de imagen de cada vista usando la sección dependiente.
LISTA DE CITAS Literatura No Relacionada con Patentes Bibliografía No Relacionada con Patentes 1: Benjamín Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 8", JCTVC-J1003_d7, 2012.7.28 BREVE DESCRIPCIÓN DE LA INVENCIÓN Problema técnico Sin embargo, aun cuando se usa la sección dependiente, es difícil decodificar en paralelo las imágenes de una pluralidad de puntos de vista, puesto gue existe dependencia de la compensación del movimiento entre los puntos de vista.
La presente descripción se ha realizado en vista de las circunstancias anteriores, y permite que las imágenes de una pluralidad de puntos de vista sean procesadas en paralelo.
Solución al Problema Un dispositivo para procesamiento de imagen de acuerdo con un primer aspecto de la presente invención incluye una sección de recepción, configurada para recibir un flujo codificado establecido en la sintaxis del flujo codificado en la cual se codifica la información de limite del rango del vector de movimiento (MVj en unidades en las cuales los datos de la imagen tiene una estructura jerárquica y la información de limite del rango del MV que es la información sobre el limite de un valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista de un bloque actual en un MV ínter puntos de vista correspondiente al bloque actual, y una sección de decodificación, configurada para decodificar el flujo codificado recibido por la sección de recepción, usando la información de límite del rango del MV recibida por la sección de recepción.
La información de límite del rango del MV puede ser una bandera que indica que existe un límite de la dirección vertical en el rango del MV ínter puntos de vista.
La información de límite del rango del MV puede ser un valor que indica el límite de la dirección positiva vertical del rango del MV ínter puntos de vista.
El valor del límite de la dirección positiva vertical del rango del MV ínter puntos de vista puede ser preestablecida y puede ser (el tamaño de la unidad de codificación más grande (LCU)-8).
El valor del límite de la dirección positiva vertical del rango del MV ínter puntos de vista puede ser preestablecido y puede ser (tamaño de la LCU-4) cuando el filtro de bucle se desactiva.
El valor del límite de la dirección positiva vertical del rango del MV ínter puntos de vista puede ser determinado de acuerdo con la resolución vertical del formato de imagen.
El valor del límite de la dirección positiva vertical del rango del MV ínter puntos de vista puede ser determinado de acuerdo con un nivel.
La información del límite del rango del MV puede ser establecida en un conjunto de parámetros de la secuencia (SPS).
La información del límite del rango del MV puede ser establecida en un conjunto de parámetros de video (VPS).
La información del límite del rango del MV puede ser establecida en la información de utilidad del video (VUI).
La sección de decodificación puede decodificar la uno del límite del rango del MV recibida por la sección se recepción, y puede decodificar el flujo codificado recibido por la sección de recepción, usando la información del límite del rango del MV decodificada.
Un primer método para procesamiento de imagen de la presente descripción incluye recibir, mediante el dispositivo para procesamiento de imagen, un flujo codificado establecido en la sintaxis de flujo codificado en el cual, la información del limite del rango del MV se codifica en unidades en las cuales los datos de la imagen tienen una estructura jerárquica y la información del limite del rango del MV, la información del limite del rango del MV que es la información sobre el limite del valor de la dirección vertical de un MV para referirse a un punto de vista distinto del punto de vista de un bloque actual en el MV ínter puntos de vista correspondiente al bloque actual, y decodificar, mediante el dispositivo para procesamiento de imagen, el flujo codificado recibido, usando la información del límite del rango del MV.
Un segundo dispositivo para procesamiento de imagen de la presente descripción incluye una sección de establecimiento, configurada para establecer la información del límite del rango del MV la cual es la información sobre el límite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter vistas correspondiente al bloque actual en la sintaxis de un flujo codificado, una sección de codificación configurada para generar el flujo codificado al codificar los datos de la imagen en unidades que tienen una estructura jerárquica usando la información del límite del rango del MV establecida por la sección de establecimiento, y una sección de transmisión, configurada para transmitir el flujo codificado generado por la sección de codificación y la información del limite del rango del MV establecida por la sección de establecimiento.
La sección de establecimiento puede establecer una bandera que indica que existe un limite de la dirección vertical en un rango del MV ínter puntos de vista como la información del límite del rango del MV.
La sección de establecimiento puede un valor que indica el límite de la dirección positiva vertical en el rango del MV Ínter puntos de vista como la información del límite del rango del MV.
El valor del límite de la dirección positiva vertical del rango del MV ínter puntos de vista puede ser preestablecido y puede ser (el tamaño de la LCU-8).
El valor del límite de la dirección positiva vertical del tanto del MV ínter puntos de vista puede ser preestablecido y puede ser (el tamaño de la LCU-4) cuando el filtro de bucle está desactivado.
El valor del límite de la dirección positiva vertical del rango del MV Ínter puntos de visita puede ser determinado de acuerdo con la resolución vertical del formato de la imagen.
El valor del límite de la dirección positiva vertical del rango del MV Ínter puntos de vista puede ser determinado de acuerdo con un nivel.
La sección de establecimiento puede establecer la información del limite del rango del MV en un SPS.
La sección de establecimiento puede establecer la información del limite del rango del MV en un VPS.
La sección de establecimiento puede establecer la información del limite del rango del MV en una VUI.
La sección de codificación puede generar el flujo codificado al codificar la información del limite del rango del MV, establecida por la sección de establecimiento y codificar los datos de la imagen usando la información del limite del rango del MV codificada.
Un método para procesamiento de imagen de acuerdo con un segundo aspecto de la presente invención incluye establecer, mediante el dispositivo para procesamiento de imagen, la información del limite del rango del MV la cual es la información sobre el limite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista de un bloque actual en un MV ínter punto de vista correspondiente al bloque actual en la sintaxis del flujo codificado, generar, mediante el dispositivo para procesamiento de imagen, el flujo codificado, al codificar los datos de la imagen en unidades que tienen una estructura jerárquica, usando la información del límite del rango del MV, y transmitir, mediante el dispositivo para procesamiento de imagen, el flujo codificado generado y la información del limite del rango del MV establecida.
Un dispositivo para procesamiento de imagen de acuerdo con un tercer aspecto de la presente descripción incluye una sección de recepción, configurada para recibir un flujo codificado establecido por un número de lineas de unidades del árbol de codificación (CTU) en la sintaxis de un flujo codificado en el cual se codifica la información del limite del rango del MV en unidades en las cuales los datos de la imagen tienen una estructura jerárquica y la información del limite del rango del MV, la información del limite del rango del MV que es la información sobre el limite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual, y una sección de decodificación, configurada para decodificar el flujo codificado recibido por la sección de recepción usando la información del límite del rango del MV recibida por la sección de recepción.
La información del límite del rango del MV puede ser establecida por el número de líneas de CTU de la dirección vertical retardado con respecto a la vista distinta.
El número de líneas de CTU de la dirección vertical puede ser Expresión Matemática 3 1<<(6-Log2CTUtamaño) ...(3) La información del limite del rango del MV puede ser establecida en un SPS.
El método para procesamiento de imagen de acuerdo con el tercer aspecto de la presente descripción incluye recibir, mediante el dispositivo para procesamiento de imagen, un flujo codificado establecido por un número de línea de CTU en la sintaxis del flujo codificado en el cual, la información del límite del rango del MV se codifica en unidades en las cuales los datos de la imagen tienen una estructura jerárquica y la información del límite del rango del MV, la información del límite del rango del MV que es la información sobre el límite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista de un bloque actual en un MV ínter puntos de vista correspondiente al bloque actual, y decodificar, mediante el dispositivo para procesamiento de imagen, el flujo codificado recibido, usando la información del límite del rango del MV recibida.
Un dispositivo para procesamiento de imagen de acuerdo con un cuarto aspecto de la presente descripción incluye una sección de establecimiento, configurada para establecer la información el límite del rango del MV por un número de líneas de CTU, la información del límite del rango del MV que es la información sobre el limite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista de un bloque actual en un MV ínter puntos de vista correspondiente al bloque actual en la sintaxis de un flujo codificado, y una sección de codificación configurada para generar el flujo codificado al codificar los datos de la imagen en unidades que tienen una estructura jerárquica usando la información del límite del rango del MV establecida por la sección de establecimiento, y una sección de transmisión, configurada para transmitir el flujo codificado generado por la sección de codificación y la información del límite del rango del MV establecida por la sección de establecimiento.
La sección de establecimiento puede establecer la información del límite del rango del MV mediante el número de líneas de CTU de la dirección vertical, retardado con respecto al punto de vista distinto.
El número de líneas de CTU de la dirección vertical puede ser Expresión Matemática 3 1« (6-Log2CTUtamaño) ...(3) La sección de establecimiento puede establecer la información del límite del rango del MV en un SPS.
Un método para procesamiento de imagen de acuerdo con un cuarto aspecto de la presente descripción incluye establecer, mediante un dispositivo para procesamiento de imagen, la información del limite del rango del MV mediante el número de lineas de CTU, la información del limite del rango del MV que es la información sobre el limite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual en la sintaxis del flujo codificado, generar, mediante el dispositivo para procesamiento de imagen, el flujo codificado, al codificar los datos de la imagen en unidades que tienen una estructura jerárquica usando la información del límite del rango del MV, y transmitir, mediante el dispositivo para procesamiento de imagen, el flujo codificado generado y la información del límite del rango del MV establecida.
En el primer aspecto de la presente invención, el flujo codificado establecido en la sintaxis del flujo codificado en el cual la información del límite del rango del vector de movimiento (MV) se codifica en unidades en las cuales los datos de la imagen tienen una estructura jerárquica y la información del límite del rango del MV se recibe, la información del límite del rango del MV que es la información sobre el límite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual. El flujo codificado recibido se decodifica usando la información del límite del rango del MV recibida.
En el segundo aspecto de la presente descripción, se establece la información del limite del rango del MV la cual es la información sobre el limite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de visita correspondiente al bloque actual, en la sintaxis de un flujo codificado, el flujo codificado se genera al codificar los datos de la imagen en unidades que tienen una estructura jerárquica, usando la información del límite del rango del MV, y el flujo codificado generado y la información del límite del rango del MV se trasmiten.
En el tercer aspecto de la presente invención, el flujo codificado establecido por el número de líneas de unidades del árbol de codificación (CTU) en la sintaxis del flujo codificado en el cual la información del límite del rango del MV se codifica en unidades en las cuales los datos de la imagen tienen una estructura jerárquica y la información del límite del rango del MV se reciben, la información del limite del rango del MV que es la información sobre el valor del límite de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual, y el flujo codificado recibido se decodifica usando la información del límite del rango del MV recibida.
En el cuarto aspecto de la presente invención, la información del limite del rango del MV se establece por el número de lineas de CTU, la información del limite del rango del MV que es la información sobre el limite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual en la sintaxis de un flujo codificado, y el flujo codificado se genera codificando los datos de la imagen en unidades que tienen una estructura jerárquica, usando la información del límite del rango del MV establecida. El flujo codificado generado y la información del límite del rango del MV establecida se transmiten.
También, el dispositivo para procesamiento de imagen descrito anteriormente puede ser un dispositivo independiente o un bloque interno que constituye un dispositivo para codificación de imagen o un dispositivo para decodificación de imagen.
Efectos Ventajosos de la Invención De acuerdo con el primero y el tercer aspectos de la presente invención, es posible decodificar una imagen. En particular, es posible procesar imágenes de una pluralidad de puntos de vista, en paralelo.
De acuerdo con el segundo y el cuarto aspectos de la presente invención, es posible codificar una imagen. En particular, es posible procesar imágenes de una pluralidad de puntos de vista en paralelo.
BREVE DESCRIPCIÓN DE LOS DIBUJOS [FIG. 1] La FIG. 1 es un diagrama que ilustra un ejemplo de un aparato para codificación de imagen de puntos de vista múltiples al cual se aplica la presente teenología.
[FIG. 2] La FIG.2 es un diagrama de blogues que ilustra la configuración principal del dispositivo para decodificación de imagen de puntos de vista múltiples.
[FIG. 3] La FIG.3 es un diagrama de bloques que ilustra un ejemplo de la configuración de una sección de codificación del punto de vista.
[FIG. 4] La FIG. 4 es un diagrama que ilustra la limitación del rango de búsqueda de un vector de movimiento ínter puntos de vista.
[FIG. 5] La FIG. 5 es un diagrama que ilustra la limitación del rango de búsqueda de un vector de movimiento ínter puntos de vista.
[FIG. 6] La FIG.6 es un diagrama que ilustra un ejemplo del efecto de la presente tecnología.
[FIG. 7] La FIG.7 es un diagrama de flujo que ilustra un proceso de codificación de imágenes de puntos de vista múltiples.
[FIG. 8] La FIG.8 es un diagrama de flujo que ilustra un proceso de codificación.
[FIG. 9] La FIG.9 es un diagrama de flujo que ilustra un proceso de codificación de una imagen de punto de vista dependiente.
[FIG. 10] La FIG. 10 es un diagrama que ilustra un ejemplo de un dispositivo para decodificación de puntos de vista múltiples al cual se aplica la presente teenología.
[FIG. 11] La FIG. 11 es un diagrama de bloques que ilustra un ejemplo de la configuración principal del dispositivo para decodificación de imagen de puntos de vista múltiples.
[FIG. 12] La FIG. 12 es un diagrama de bloques que ilustra un ejemplo de la configuración de una sección de decodificación del punto de vista.
[FIG. 13] La FIG.13 es un diagrama de flujo que ilustra el proceso de decodificación de la imagen de puntos de vista múltiples.
[FIG. 14] La FIG.14 es un diagrama de flujo que ilustra un proceso de decodificación.
[FIG. 15] La FIG. 15 es un diagrama que ilustra un ejemplo de la sintaxis.
[FIG.16] La FIG.16 es un diagrama de flujo que ilustra un ejemplo del proceso de codificación de la sintaxis.
[FIG.17] La FIG.17 es un diagrama de flujo que ilustra un proceso de codificación de una imagen de punto de vista dependiente .
[FIG. 18] La FIG. 18 es un diagrama que ilustra un ejemplo de la sintaxis.
[FIG. 19] La FIG. 19 es un diagrama que ilustra un ejemplo de la sintaxis.
[FIG. 20] La FIG. 20 es un diagrama que ilustra un ejemplo del valor limite para un formato general de la imagen.
[FIG. 21] La FIG. 21 es un diagrama que ilustra un ejemplo de la sintaxis.
[FIG. 22] La FIG. 22 es un diagrama que ilustra un ejemplo de la sintaxis.
[FIG. 23) La FIG. 23 es un diagrama que ilustra la limitación necesaria en el caso de la aplicación de HEVC escalable (SHVC).
[FIG. 24] La FIG. 24 es un diagrama que ilustra la limitación del vector de predicción ínter capas = 0.
[FIG. 25] La FIG. 25 es un diagrama que ilustra una limitación en la cual el vector de predicción ínter capas tiene un pixel o menos.
[FIG. 26] La FIG. 26 es un diagrama que ilustra una limitación en la cual el vector de predicción ínter capas tiene X pixeles o menos.
[FIG. 27] La FIG. 27 es un diagrama que ilustra otro ejemplo (conjunto de parámetros de video (VPS)_extensión(EXT)) de la sintaxis.
[FIG. 28] La FIG. 28 es un diagrama que ilustra la limitación del perfil estereoscópico.
[FIG. 29] La FIG. 29 es un diagrama que ilustra un ejemplo de la sintaxis.
[FIG. 30] La FIG. 30 es un diagrama que ilustra las diferencias téenicas del conjunto de parámetros de la secuencia (SPS)_EXT.
[FIG. 31] La FIG. 31 es un diagrama que ilustra las diferencias técnicas con respecto a la tecnología de la literatura de referencia.
[FIG. 32] La FIG. 32 es un diagrama que ilustra aun otro ejemplo (información de utilidad del video (VUI)_EXT) de la sintaxis.
[FIG. 33] La FIG. 33 es un diagrama que ilustra un ejemplo de la sintaxis de la tecnología de otra literatura de referencia.
[FIG. 34] La FIG. 34 es un diagrama que ilustra la tecnología de otra literatura de referencia.
[FIG. 35] La FIG. 35 es un diagrama que ilustra las limitaciones en el perfil estereoscópico.
[FIG. 36] La FIG. 36 es un diagrama que ilustra las diferencias técnicas con respecto a la tecnología de otra literatura de referencia.
[FIG. 37] La FIG. 37 es un diagrama que ilustra un ejemplo de un esquema de codificación de imagen de puntos de vista múltiples.
[FIG. 38] La FIG. 38 es un diagrama que ilustra un ejemplo de la configuración principal de un dispositivo para decodificación de imagen de puntos de vista múltiples al cual se aplica la presente descripción.
[FIG. 39] La FIG. 39 es un diagrama que ilustra un ejemplo de la configuración principal de un dispositivo para decodificación de imagen de puntos de vista múltiples al cual se aplica la presente descripción.
[FIG. 40] La FIG. 40 es un diagrama que ilustra un ejemplo de un esquema de decodificación de imagen jerárquica.
[FIG. 41] La FIG. 41 es un diagrama que ilustra un ejemplo de la configuración principal de un dispositivo para codificación de imagen jerárquica al cual se aplica la presente descripción.
[FIG. 42] La FIG. 42 es un diagrama que ilustra un ejemplo de la configuración principal de un dispositivo para decodificación de imagen jerárquica al cual se aplica la presente descripción.
[FIG. 43] La FIG. 43 es un diagrama de bloques que ilustra un ejemplo de la configuración principal de una computadora .
[FIG. 44] La FIG. 44 es un diagrama de bloques que ilustra un ejemplo de la configuración esquemática de un dispositivo de televisión.
[FIG. 45] La FIG. 45 es un diagrama de bloques que ilustra un ejemplo de la configuración esquemática de un teléfono móvil.
[FIG. 46] La FIG. 46 es un diagrama de bloques que ilustra un ejemplo de la configuración esquemática de un dispositivo de registro/reproducción.
[FIG. 47] La FIG. 47 es un diagrama de bloques que ilustra un ejemplo de la configuración esquemática de un dispositivo de captura de imagen.
[FIG. 48] La FIG. 48 es un diagrama de bloques que ilustra un ejemplo del uso de la codificación de video escaladle.
[FIG. 49] La FIG. 49 es un diagrama de bloques que ilustra otro ejemplo del uso de la codificación de video escalable.
[FIG. 50] La FIG. 50 es un diagrama de bloques que ilustra aun otro ejemplo del uso de la codificación de video escalable.
[FIG. 51] La FIG. 51 es un diagrama de bloques que ilustra un ejemplo de la configuración esquemática de un equipo de video.
[FIG. 52] La FIG. 52 es un diagrama de bloques que ilustra un ejemplo de la configuración esquemática de un procesador de video.
[FIG. 53] La FIG. 53 es un diagrama de bloques que ilustra otro ejemplo de la configuración esquemática del procesador de video.
[FIG. 54] La FIG. 54 es un diagrama explicativo que ilustra la configuración de un sistema de reproducción de contenidos.
[FIG. 55] La FIG. 55 es un diagrama explicativo que ilustra el flujo de datos en el sistema de reproducción de contenidos.
[FIG. 56] La FIG. 56 es un diagrama explicativo que ilustra un ejemplo especifico la descripción de presentación de medios (MPD).
[FIG. 57] La FIG.57 es un diagrama de bloques funcional que ilustra la configuración de un servidor de contenidos del sistema de reproducción de contenidos.
[FIG. 58] La FIG.58 es un diagrama de bloques funcional que ilustra la configuración de un dispositivo de reproducción de contenidos del sistema de reproducción de contenidos.
[FIG.59] La FIG.59 es un diagrama de bloques funcional que ilustra la configuración del servidor de contenidos del sistema de reproducción de contenidos.
[FIG. 60] La FIG. 60 es un diagrama de secuencia que ilustra un ejemplo del proceso de comunicación por cada dispositivo de un sistema inalámbrico de comunicación.
[FIG. 61] La FIG. 61 es un diagrama de secuencia que ilustra un ejemplo del proceso de comunicación por cada dispositivo de un sistema inalámbrico de comunicación.
[FIG. 62] La FIG. 62 es un diagrama que ilustra esquemáticamente un ejemplo de la configuración de un formato de cuadro a ser transmitido y recibido en un proceso de comunicación por cada dispositivo del sistema inalámbrico de comunicación.
[FIG. 63] La FIG. 63 es un diagrama de secuencia que ilustra un ejemplo del proceso de comunicación por cada dispositivo del sistema inalámbrico de comunicación.
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN A partir de aquí, se describirán los modos (llamados de aquí en adelante como modalidades) para llevar a cabo la presente descripción. También, la descripción se dará en el siguiente orden. 1. Primera modalidad (dispositivo para codificación de imagen de puntos de vista múltiples) 2. Segunda modalidad (dispositivo para decodificación de imagen de puntos de vista múltiples) 3. Tercera modalidad (ejemplo de la sintaxis) 4. Cuarta modalidad (otro ejemplo del valor de limite) 5. Quinta modalidad (método de limitación del caso de HEVC escalable) 6. Sexta modalidad (otro ejemplo de la sintaxis) 7. Séptima modalidad (método de limitación por lineas de unidad del árbol de codificación (CTU)) 8. Octava modalidad (dispositivo para codificación de imagen de puntos de vista múltiples, dispositivo para decodificación de imagen de puntos de vista múltiples) 9. Novena modalidad (dispositivo para codificación de imagen jerárquica, dispositivo para decodificación de imagen jerárquica) 10. Décima modalidad (computadora) 11. Ejemplo de aplicación 12. Ejemplo de aplicación de la codificación de video escalable. 13. Décimo primera modalidad (equipo/unidad/módulo/procesador) 14. Ejemplo de aplicación del sistema de reproducción de contenidos de la transmisión continua dinámica, adaptativa a través de protocolo de transferencia de hipertexto (HTTP) (DASH) de MPEG. 15. Ejemplo de aplicación del sistema inalámbrico de comunicación del estándar de fidelidad inalámbrica (WiFi) Primera Modalidad Ejemplo de Configuración del Dispositivo Para Codificación de Imagen de Puntos de Vista Múltiples La FIG. 1 ilustra la configuración de una modalidad el dispositivo para codificación de imagen de puntos de vista múltiples que sirve como un dispositivo para procesamiento de imagen al cual se aplica la presente descripción.
El dispositivo 11 para codificación de imagen de puntos de vista múltiples de la FIG.1 codifica una imagen capturada, tal como una imagen de puntos de vista múltiples capturada en un esquema HEVC y genera un flujo codificado. El flujo codificado se transmite a un dispositivo 211 para decodificación de imagen de puntos de vista múltiples a ser descrito posteriormente y los similares.
La FIG.2 es un diagrama de flujo que ilustra un ejemplo de la configuración de dispositivo para codificación de imagen de puntos de vista múltiples de la FIG. 1. También, en el ejemplo de la FIG. 2, se muestra un ejemplo en el cual una imagen de dos puntos de vista que incluye un punto de vista (punto de vista) base y un punto de vista (punto de vista) dependiente. A partir de aquí, la imagen del punto de vista base se conoce como imagen del punto de vista base, y la imagen del punto de vista dependiente se conoce como imagen del punto de vista dependiente.
En el ejemplo de la FIG. 2, el dispositivo 11 para codificación de imagen de puntos de vista múltiples incluye una sección 21 de codificación de la sintaxis, una sección 22 de control de la temporización, una sección 23 de codificación del punto de vista base, una sección 24 de codificación del punto de vista dependiente, una memoria 25 intermedia de imágenes decodificadas (DPB), y una sección 26 de transmisión.
La sección 21 de codificación de la sintaxis estableces secuencialmente las sintaxis de un flujo codificado tal como un SPS, el conjunto de parámetros de la imagen (PPS), la información de mejoramiento complementaria (SEI), y el encabezamiento de la sección y codifica las sintaxis establecidas. La sección 21 de codificación de la sintaxis suministra las sintaxis codificadas a la sección 26 de transmisión.
En particular, la sección 21 de codificación de la sintaxis establece ínter puntos de vista_vector_v_rango_limitar_bandera la cual es la información sobre el límite de la dirección vertical (V) del rango de búsqueda de un MV ínter puntos de vista como una de la sintaxis. El MV ínter puntos de vista es un mv encontrado entre los puntos de vista.
Inter puntos de vista_vector_v_rango_limitar_bandera es una bandera que indica que el límite de la dirección V del rango de búsqueda del MV ínter puntos de vista está presente en la codificación (decodificación) del punto de vista dependiente. Inter puntos de vista_vector_v_rango_limitar_bandera, por ejemplo, se establece en el SPS. También, la información sobre el límite de la dirección V del rango de búsqueda del MV ínter puntos de vista no se limita a la bandera.
La sección 21 de codificación de la sintaxis suministra el ínter puntos de vista_vector_v_rango_limitar_bandera a la sección 22 de control de la temporización y la sección 24 de codificación del punto de vista dependiente.
De acuerdo con ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 21 de codificación de la sintaxis, la sección 22 de control de la temporización hace referencia a la información de progreso del proceso de codificación de la sección 23 de codificación del punto de vista base y suministra una señal de control para controlar la temporizaciones del proceso de codificación de la imagen de punto de vista base y el proceso de codificación de la imagen de punto de vista dependiente.
Es decir, la sección 22 de control de la temporización inicia el proceso de codificación de la sección 23 de codificación del punto de vista base. Entonces, la sección 22 de control de la temporización hace que la sección 23 de codificación del punto de vista base y la sección 24 de codificación del punto de vista dependiente operen en paralelo, si el proceso de codificación de la sección 21 de codificación de la sintaxis llega a una línea de LCU predeterminada cuando la ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 21 de codificación de la sintaxis es 1 (ACTIVADO).
Por otro lado, la sección 22 de control de la temporización espera por el final del proceso de codificación de la sección 23 de codificación del punto de vista base cuando la ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 21 de codificación de la sintaxis es 0 (DESACTIVADO) y hace que el proceso de codificación de la sección 24 de codificación del punto de vista dependiente sea activado.
La imagen de punto de vista base se introduce a la sección 23 de codificación del punto de vista base. La sección 23 de codificación del punto de vista base codifica la imagen de punto de vista base como el objetivo de codificación externo y suministra los datos codificados de la imagen de punto de vista base, obtenidos, como su resultado, a la sección 26 de transmisión. También, la sección 23 de codificación del punto de vista base selecciona una imagen de referencia a la que debe hacer referencia cuando la imagen a ser codificada se codifica a partir de una imagen decodificada del punto de vista base almacenada en la DPB 25 y codifica una imagen usando la imagen de referencia seleccionada. En este momento, la imagen decodificada del resultado de la decodificación local se almacena temporalmente en la DPB 25.
La imagen de punto de vista dependiente se introduce a la sección 24 de codificación del punto de vista dependiente. La sección 24 de codificación del punto de vista dependiente codifica la imagen de punto de vista dependiente introduce como como el objetivo externo de la codificación y suministra los datos codificados de la imagen de punto de vista dependiente, obtenidos como su resultado, a la sección 26 de transmisión. También, la sección 24 de codificación del punto de vista dependiente selecciona una imagen de referencia a la que se debe hacer referencia cuando la imagen a ser codificada se codifica a partir de una imagen decodificada del punto de vista base o el punto de vista dependiente, almacenada en la DPB 25 y codifica la imagen usando la imagen de referencia seleccionada. En este momento, la imagen decodificada del resultado de la decodificación local se almacena temporalmente en la DPB 25.
En particular, cuando ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 21 de codificación de la sintaxis se activa, la sección 24 de codificación del punto de vista dependiente encuentra un MV Ínter puntos de vista de un bloque actual de la imagen de punto de vista dependiente al limitar la dirección positiva vertical del rango de búsqueda en la imagen decodificada de la imagen de punto de vista base a un valor preestablecido .
La DPB 25 almacena temporalmente la imagen decodificada localmente (la imagen decodificada) obtenida al codificar la imagen a ser codificada por cada una de la sección 23 de codificación del punto de vista base y la sección 24 de codificación del punto de vista dependiente y decodifica localmente la imagen codificada como (un candidato para) una imagen de referencia a la que se debe hacer referencia cuando se genera la imagen pronosticada.
Puesto que la DPB 25 es compartida por la sección 23 de codificación del punto de vista base y la sección 23 de codificación del punto de vista base, cada una de la sección 23 de codificación del punto de vista base y la sección 24 de codificación del punto de vista dependiente pueden hacer referencia, además de a la imagen decodificada obtenida localmente, una imagen decodificada obtenida por otra sección de codificación. Nótese que la sección 23 de codificación del punto de vista base que codifica una imagen de punto de vista base hace referencia solamente a una imagen del mismo punto de vista (punto de vista base).
La sección 26 de transmisión genera un flujo codificado al multiplexar la sintaxis de la sección 21 de codificación de la sintaxis, los datos codificados del punto de vista base de la sección 23 de codificación del punto de vista base y los datos decodificados de punto de vista dependiente de la sección 24 de codificación del punto de vista dependiente.
Ejemplo de configuración de la sección de codificación del punto de vista La FIG. 3 es un diagrama de bloques que ilustra la configuración de la sección 23 de codificación del punto de vista base. Además, la sección 24 de codificación del punto de vista dependiente también se configura para ser básicamente similar a la sección 23 de codificación del punto de vista base.
En la FIG.3, la sección 23 de codificación del punto de vista base tiene una sección 111 de conversión analógico/digital (A/D), una memoria 112 intermedia de reordenamiento de imágenes, una sección 113 de cálculo, una sección 114 de transformación ortogonal, una sección 115 de cuantificación, una sección 116 de codificación de longitud variable, una memoria 117 intermedia de acumulación, una sección 118 de cuantificación inversa, una sección 119 de transformación ortogonal inversa, una sección 120 de cálculo, un filtro 121 dentro del bucle, una sección 122 de predicción intra imágenes, una sección 123 de predicción ínter, y una sección 124 de selección de imágenes pronosticadas.
Las imágenes de la imagen del punto de vista base que es una imagen (imagen en movimiento) a ser codificada, se suministran secuencialmente a la sección 111 de conversión A/D en el orden de despliegue.
Cuando las imágenes suministradas a la sección 111 de conversión A/D son señales analógicas, la sección 111 de conversión A/D convierte las señales analógicas de acuerdo con la conversión A/D y suministra las señales analógicas convertidas a la memoria 112 intermedia de reordenamiento de imágenes.
La memoria 112 intermedia de reordenamiento de imágenes almacena temporalmente las imágenes de la sección 111 de conversión A/D y lee las imágenes de acuerdo con la estructura de un grupo de imágenes (GOP) predeterminado, de modo tal que se lleva a cabo un proceso de reordenamiento de la secuencia de las imágenes del orden de despliegue al orden de codificación (orden de codificación).
Las imágenes leídas desde la memoria 112 intermedia de reordenamiento de imágenes se suministran a la sección 113 de cálculo, la sección 122 de predicción intra imágenes, y la sección 123 de predicción ínter.
Además, de la distribución de las imágenes desde la memoria 112 intermedia de reordenamiento de imágenes, las imágenes pronosticadas generadas por la sección 122 de predicción intra imágenes o la sección 123 de predicción ínter desde la sección 124 de selección de imágenes pronosticadas se suministran a la sección 113 de cálculo.
La sección 113 de cálculo designa las imágenes leídas desde la memoria 112 intermedia de reordenamiento de imágenes como las imágenes objetivo las cuales son las imágenes a ser codificadas y designa secuencialmente un macrobloque (unidad de codificación más grande (LCU)) que constituye la imagen más grande, como el bloque a ser codificado.
Entonces, la sección 113 de cálculo lleva a cabo la codificación de predicción después de calcular el valor de la sustracción al sustraer el valor de los pixeles de la imagen pronosticada suministrada desde la sección 124 de selección de imágenes pronosticadas del valor de los pixeles del bloque objetivo, si es necesario, y suministra el resultado de la codificación de predicción a la sección 114 de transformación ortogonal.
La sección 114 de transformación ortogonal lleva a cabo una transformación ortogonal, tal como una transformación discreta del coseno o una transformación de Karhunen-Loeve sobre (el residuo obtenido al sustraer la imagen pronosticada o el valor de los pixeles de) el bloque objetivo de la sección 113 de cálculo, y suministra el coeficiente de transformación objetivo como resultado de esto a la sección 115 de cuantificación.
La sección 115 de cuantificación cuantifica el coeficiente de transformación suministrado desde la sección 114 de transformación ortogonal y suministra el valor de cuantificación obtenido como resultado de esto, a la sección 116 de codificación de longitud variable.
La sección 116 de codificación de longitud variable lleva a cabo la codificación sin pérdidas, tal como la codificación de longitud variable (por ejemplo, codificación de longitud variable adaptable al contexto (CAVLC) o las similares) o la codificación aritmética (por ejemplo, codificación aritmética binaria adaptable al contexto (CABAC)) o el valor de la cuantificación de la sección 115 de cuantificación, y suministra los datos codificados obtenidos como resultado de esto, a la memoria 117 intermedia de acumulación.
También, además del suministro del valor de cuantificación desde la sección 115 de cuantificación, la información del encabezamiento incluida en el encabezamiento de los datos codificados de la sección 122 de predicción intra imágenes o la sección 123 de predicción ínter se suministra a la sección 116 de codificación de longitud variable.
La sección 116 de codificación de longitud variable codifica la información del encabezamiento desde la sección 122 de predicción intra imágenes o la sección 123 de predicción ínter e incluye la información del encabezamiento codificada en el encabezamiento de los datos codificados.
La memoria 117 intermedia de acumulación almacena temporalmente los datos codificados de la sección 116 de codificación de longitud variable y transmite los datos codificados almacenados a una tasa de transmisión de datos predeterminada .
Los datos codificados transmitidos desde la memoria 117 intermedia de acumulación se suministran a la sección 26 de transmisión de la FIG.1.
El valor de la cuantificación obtenido por la sección 115 de cuantificación se suministra a la sección 118 de cuantificación inversa así como la sección 116 de codificación de longitud variable y se decodifica localmente en la sección 118 de cuantificación inversa, la sección 119 de transformación ortogonal inversa y la sección 120 de cálculo.
Es decir, la sección 118 de cuantificación inversa cuantifica de forma inversa el valor de la cuantificación de la sección 115 de cuantificación en un coeficiente de transformación y suministra el coeficiente de transformación a la sección 119 de transformación ortogonal inversa.
La sección 119 de transformación ortogonal inversa lleva a cabo una transformación ortogonal inversa sobre el coeficiente de transformación de la sección 118 de cuantificación inversa y suministra el coeficiente de transformación a la sección 120 de cálculo.
La sección 120 de cálculo obtiene una imagen decodificada en la cual un bloque objetivo se decodifica (decodifica localmente) al agregar el valor de los pixeles de la imagen pronosticada suministrada desde la sección 124 de selección de imágenes pronosticadas a los datos suministrados desde la sección 119 de transformación ortogonal inversa si es necesario, y suministra la imagen decodificada obtenida al filtro 121 dentro del bucle.
El filtro 121 dentro del bucle, por ejemplo, se compone de un filtro de desbloqueo. También, por ejemplo, cuando se adopta el esquema HEVC, el filtro 121 dentro del bucle se compone de un filtro de desbloqueo y un filtro de compensación adaptativo (compensación adaptativa de muestras (SAO)). El filtro 121 dentro del bucle elimina (reduce) la distorsión de bloque que ocurre en la imagen decodificada, al filtrar la imagen decodificada de la sección 120 de cálculo, y suministra la imagen decodificada después de la eliminación (reducción) de la distorsión, a la DPB 25.
Aquí, la DPB 25 almacena la imagen decodificada del filtro 121 dentro del bucle, es decir, la imagen del punto de vista base codificada en la sección 23 de codificación del punto de vista base y decodificada localmente, como (un candidato para) una imagen de referencia a la que se debe hacer referencia cuando se genera la imagen pronosticada a ser usada en la codificación de predicción (codificación en la cual la sustracción de una imagen pronosticada se lleva a cabo por la sección 113 de cálculo) a ser llevada a cabo posteriormente en el tiempo.
Puesto que la DPB 25 es compartida por la sección 23 de codificación del punto de vista base y la sección 24 de codificación del punto de vista dependiente como se describe anteriormente con referencia a la FIG.2, la DPB 25 también almacena la imagen del punto de vista dependiente codificada en la sección 24 de codificación del punto de vista dependiente y decodificada localmente además de la imagen del punto de vista base, codificada en la sección 23 de codificación del punto de vista base.
Además, la decodificación local por la sección 118 de cuantificación inversa, la sección 119 de transformación ortogonal inversa, y la sección 120 de cálculo, por ejemplo, se llevan a cabo al tomar como objetivos las imágenes I, P, y Bs las cuales son imágenes a las que se puede hacer referencia, que pueden servir como imágenes de referencia. En la DPB 25, se almacenan las imágenes decodificadas de las imágenes I, P, y B.
La sección 122 de predicción intra imágenes y la sección 123 de predicción Ínter llevan a cabo la predicción del movimiento en unidades de PUs.
Cuando el bloque objetivo es una imagen I, una imagen P, o una imagen B (incluyendo imágenes Bs) obtenidas por la predicción intra (predicción intra imágenes), la sección 122 de predicción intra imágenes lee la porción ya codificada (imagen decodificada) del bloque objetivo, desde la DPB 25. Entonces, la sección 122 de predicción intra imágenes designa la parte de la imagen decodificada de la imagen objetivo leída desde la DPB 25 como la imagen pronosticada del bloque objetivo de la imagen objetivo suministrada desde la memoria 112 intermedia de reordenamiento de imágenes.
Además, la sección 122 de predicción intra imágenes obtiene el costo de codificación requerido para codificar el bloque objetivo usando la imagen de predicción, es decir, el costo de codificación requerido para codificar el residuo o los similares para la imagen pronosticada en el bloque objetivo, y suministra el costo de codificación obtenido a la sección 124 de selección de imágenes pronosticadas junto con la imagen pronosticada.
La sección 123 de predicción ínter lee una o más imágenes codificadas antes de una imagen objetivo y la decodifica localmente como la imagen candidata (candidata como la imagen de referencia) desde la DPB 25, cuando la imagen objetivo es una imagen P o una imagen B (incluyendo imágenes Bs) obtenida por la predicción ínter.
La sección 123 de predicción ínter detecta el MV Ínter que representa el movimiento que sirve como el desplazamiento entre un bloque objetivo y un bloque correspondiente (un bloque que tiene la menor suma de diferencias absolutas (SAD) del bloque actual) de la imagen candidata correspondiente al bloque objetivo por estimación del movimiento (ME) (detección del movimiento) usando un bloque objetivo de la imagen objetivo, desde la memoria 112 intermedia de reordenamiento de imágenes y la imagen candidata. También, en la codificación de la imagen de punto de vista dependiente, el MV ínter incluye un MV ínter puntos de vista que indica el desplazamiento ínter puntos de vista así como un MV que indica un desplazamiento temporal. Además, cuando se activa la ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 21 de codificación de la sintaxis de la FIG.2, se limita el rango de búsqueda de la dirección vertical del MV Ínter puntos de vista.
La sección 123 de predicción ínter genera una imagen pronosticada al llevar a cabo la compensación del movimiento para compensar el desplazamiento de la cantidad de movimiento de una imagen candidata desde la DPB 25, de acuerdo con el MV ínter del bloque objetivo.
Es decir, la sección 123 de predicción ínter adquiere un bloque correspondiente que es un bloque (región) de una posición movida (desplazada) de acuerdo con el MV del bloque objetivo desde la posición del bloque objetivo en la imagen candidata, como la imagen pronosticada.
Además, la sección 123 de predicción Ínter obtiene el costo de la codificación requerido para codificar el bloque objetivo usando la imagen pronosticada para cada imagen candidata para ser usada en la generación de la imagen pronosticada o cada modo de predicción ínter que tiene un tipo de macrobloque variable.
Entonces, la sección 123 de predicción ínter suministrar la imagen pronosticada y el costo de codificación obtenidos en un modo de predicción ínter a la sección 124 de selección de imágenes pronosticadas al designar el modo de predicción ínter o el modo de predicción ínter puntos de vista que tiene el costo de codificación más bajo, como el modo de predicción ínter óptimo, el cual es el modo de predicción ínter óptimo. También, en la codificación de la imagen de punto de vista dependiente, el modo de predicción ínter puntos de vista también se incluye en el modo de predicción ínter.
La sección 124 de selección de imágenes pronosticadas selecciona aquella que tiene el costo de codificación menor de entre las imágenes pronosticadas de la sección 122 de predicción intra imágenes y la sección 123 de predicción ínter, y suministra la imagen pronosticada seleccionada a las secciones de cálculo 113 y 120.
Aquí, la sección 122 de predicción intra imágenes suministra la información sobre la predicción intra como la información del encabezamiento, a la sección 116 de codificación de longitud variable. La sección 123 de predicción ínter suministra la información sobre la predicción ínter (la información del MV o las similares) como la información del encabezamiento, a la sección 116 de codificación de longitud variable.
La sección 116 de codificación de longitud variable selecciona la información del encabezamiento que genera una imagen pronosticada que tiene un costo de codificación menor entre la información del encabezamiento de la sección 122 de predicción intra imágenes y la sección 123 de predicción ínter, e incluye la información del encabezamiento seleccionada en el encabezamiento de los datos codificados.
Descripción General de la presente teenología Enseguida, con referencia a la FIG.4, se describirá el límite del rango de búsqueda del MV Ínter puntos de vista por la presente teenología.
En HEVC, una sección dependiente se adopta como una herramienta de procesamiento en paralelo. Es posible la decodificación en paralelo de unidades de imagen de cada punto de vista usando la sección dependiente.
Sin embargo, aun cuando se use la sección dependiente, es difícil decodificar en paralelo imágenes de una pluralidad de puntos de vista puesto que existe dependencia de la compensación del movimiento entre los puntos de vista.
También, por ejemplo, cuando se considera una imagen estereoscópica, una línea horizontal se desplaza en la imagen de punto de vista base y la imagen de punto de vista dependiente, pero el desplazamiento de la dirección vertical es un desplazamiento de una unidad de aproximadamente varios pixeles y por lo tanto, no es un desplazamiento sustancial.
Por lo tanto, en la presente tecnología, el proceso de decodificación en paralelo de una pluralidad de puntos de vista se permite al establecer la dependencia de la compensación del movimiento entre los puntos de vista, es decir, el límite de la dirección vertical (en particular, la dirección positiva vertical) del rango de búsqueda del MV ínter puntos de vista.
En el ejemplo de la FIG. 4, la línea horizontal de la línea sólida representa una línea de LCU en el punto de vista base, y se indica el tamaño de la LCU entre las lineas de LCU. Además, los bloques PU1 y PU2 en una segunda linea de LCU desde la parte superior se indican mediante la linea de puntos para representar las PUs del punto de vista dependiente.
Es necesario decodificar al menos la misma linea de LU en el punto de vista base con el fin de codificar una linea de LCU de PU1 del punto de vista dependiente, y es necesario aplicar un filtro de bucle a cuatro lineas, las cuales son los limites de LCU del lado inferior, con el fin de decodificar la misma linea de LCU. Entre las cuatro lineas las cuales son los limites de LCU del lado inferior, tres lineas son lineas para el filtro de desbloqueo y una es una linea para un filtro de bucle adaptativo (SAO).
Es decir, con el fin de aplicar el filtro de bucle a las cuatro lineas las cuales son el limite de LCU del lado inferior, es necesario decodificar cuatro lineas del limite de LCU del lado superior de una linea de LCU debajo del lado inferior .
Por lo tanto, si la decodificación de la vista dependiente se retrasa en dos lineas para la codificación del punto de vista base, la referencia del punto de vista dependiente se permite puesto que la decodificación hasta la posición de la dirección vertical del bloque de LCU indicado por el retraso de dos lineas de LCU se completa (es decir, a partir del tamaño de LCU de la linea de LCU después de la línea de LCU a la cual pertenece la PU actual a un tamaño de (tamaño de la LCU-4) líneas sin incluir las cuatro líneas inferiores).
En contraste, puesto que es necesario que se permita esperar al filtro de bucle de las cuatro líneas inferiores antes de la referencia, hasta la posición de la dirección vertical de la LCU en la cual se muestra el retardo de tres líneas de LCU (es decir, hasta la línea de LCU después de una línea de LCU a la cual pertenece una PU actual) del punto de vista dependiente, es necesario retrasar la codificación del punto de vista dependiente en tres líneas de LCU para la codificación del punto de vista base.
También, aunque es necesario que las cuatro líneas inferiores en la LCU esperen el filtro de bucle como se describe anteriormente con referencia a la FIG.4, las cuatro líneas superiores a las cuatro líneas de espera del filtro de bucle son realmente las líneas necesarias para el filtro de interpolación de la compensación del movimiento como se ilustra en la FIG.5.
Por lo tanto, cunado la codificación del punto de vista dependiente se retarda en dos líneas con respecto a la codificación del punto de vista base, la referencia del punto de vista dependiente se permite realmente desde el tamaño de la LCU de la LCU después de la línea de LCU actual al tamaño de (tamaño de la LCU-8) líneas sin incluir las ocho líneas inferiores. Es decir, en este caso, el valor máximo de la dirección positiva del componente Vy del MV ínter puntos de vista resulta (tamaño de la LCU-8).
También, cuando el filtro de bucle se ajusta para estar desactivado en el dispositivo 11 para codificación de imagen de puntos de vista múltiples, el rango de referencia del MV ínter puntos de vista se restringe a las líneas que no incluyen las cuatro líneas para el filtro de interpolación de la compensación del movimiento entre las líneas de LCU después de la línea de LCU actual puesto que no es necesario esperar a las cuatro líneas de espera del filtro de bucle descritas con referencia a las FIG.4 Como se describe anteriormente, es posible iniciar la decodificación de la imagen del punto de vista dependiente en una posición en la cual terminan dos líneas de LCU de la decodificación de la imagen de punto de vista dependiente, en la presente teenología, como se ilustra en la FIG. 6, al limitar el rango de referencia de la dirección vertical del MV ínter puntos de vista.
Es decir, aunque la decodificación de la imagen de punto de vista dependiente no indica si la decodificación de la imagen de punto de vista base no termina en la tecnología convencional, (HEVC), es posible llevar a cabo el procesamiento en paralelo de la decodificación de la imagen de punto de vista base y la decodificación de la imagen de punto de vista dependiente desde una segunda linea de LCU de la imagen de punto de vista base en la presente teenología.
También, aunque en el ejemplo de la FIG.6 se ha descrito un ejemplo de la decodificación, lo mismo es cierto inclusive en la codificación. Además, puesto que el rango de referencia se limita en la codificación, el proceso de búsqueda de MV ínter puntos de vista se vuelve simple.
Operación del dispositivo para codificación de imagen de puntos de vista múltiples Enseguida, con referencia a diagrama de flujo de la FIG. 7, se describirá un proceso para la codificación de la imagen de puntos de vista múltiples, como la operación del dispositivo 11 para codificación de imagen de puntos de vista múltiples de la FIG. 1. En el ejemplo de la FIG. 7, lo retardos del proceso de codificación y el proceso de decodificación son dos líneas de LCU y se preestablecen para ser limitados a (tamaño de la LCU-8) o menos cuando existe un límite de la dirección positiva del componente Vy del MV Ínter puntos de vista. Además, el número de líneas del retardo durante el procesamiento del punto de vista y el valor del límite de la dirección positiva del componente V de MV ínter puntos de vista son ejemplificantes y la presente descripción no se limita a los valores descritos anteriormente.
En la etapa Sil, la sección 21 de codificación de la sintaxis establece y codifica las sintaxis del punto de vista base y del punto de vista dependiente. También, en este momento, la sección 21 de codificación de la sintaxis establece la ínter puntos de vista_vector_v_rango_limitar_bandera, la cual es la información sobre el límite de la dirección V del rango de búsqueda del MV ínter puntos de vista, como una de las sintaxis.
La sección 21 de codificación de la sintaxis suministra la ínter puntos de vista_vector_v_rango_limitar_bandera a la sección 22 de control de la temporización y la sección 24 de codificación del punto de vista dependiente. Además, la sintaxis decodificada se suministra a la sección 26 de transmisión.
En la etapa S12, la sección 23 de codificación del punto de vista base codifica una imagen del punto de vista base bajo el control de la sección 22 de control de la temporización. También, el proceso de codificación se describirá en detalle con referencia a la FIG.8. En el proceso de la etapa S12, los datos codificados de la imagen de punto de vista base se suministran a la sección 26 de transmisión. En este momento, la sección 23 de codificación del punto de vista base suministra la información de progreso del proceso de codificación, de la imagen de punto de vista base a la sección 22 de control de la temporización.
En la etapa S13, la sección 22 de control de la temporización determina si la sección 23 de codificación del punto de vista base ha codificado las lineas de LCU predeterminadas (por ejemplo, dos lineas de LCU) al hacer referencia a la información del progreso de la sección 23 de codificación del punto de vista base. El número de lineas de LCU predeterminadas difiere con cada ejemplo.
Cuando se determina que la sección 23 de codificación del punto de vista base no ha codificado aun las lineas de LCU predeterminadas, en la etapa S13, el proceso regresa a la etapa S12. El proceso posterior se repite. Por otro lado, cuando se determina que la sección 23 de codificación del punto de vista base ha codificado las lineas de LCU predeterminadas, en la etapa S13, el proceso procede a la etapa S14.
En la etapa S14, la sección 22 de control de la temporización determina si ínter puntos de vista_vector_v_rango_limitar_bandera (la bandera del límite del rango de búsqueda de la dirección V) suministrada desde la sección 21 de codificación de la sintaxis es 1. Cuando se determina que Ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 21 de codificación de la sintaxis es 0, en la etapa S14, el proceso procede a la etapa S15.
La sección 22 de control de la temporización hace que la sección 23 de codificación del punto de vista base codifique las lineas de LCU restantes de la imagen del punto de vista base, en la etapa S15. Entonces, la sección 22 de control de la temporización hace que la sección 24 de codificación del punto de vista dependiente lleve a cabo un proceso de codificación de la imagen de punto de vista dependiente en la etapa S16 después que se termina la codificación de la imagen de punto de vista base en la etapa S15.
Es decir, en la etapa S15, la sección 23 de codificación del punto de vista base codifica las lineas de LCU restantes de la imagen de punto de vista base. Entonces, en la etapa S16, la sección 24 de codificación del punto de vista dependiente codifica la imagen dependiente. También, el proceso de codificación en las etapas S15 y S16 también es básicamente similar al proceso de codificación a ser descrito posteriormente con referencia a la FIG.8. En el proceso de la etapa S15, los datos codificados del punto de vista base se suministran a la sección 26 de transmisión. En el proceso de la etapa S16, los datos codificados de la imagen de punto de vista dependiente se suministran a la sección 26 de transmisión.
Por otro lado, cuando se determina que ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 21 de codificación de la sintaxis es 1, en la etapa S14, el proceso procede a la etapa S17.
La sección 22 de control de la temporización hace que la sección 24 de codificación del punto de vista dependiente lleve a cabo un proceso de codificación de la imagen de punto de vista dependiente en la etapa S17. En paralelo con esto, la sección 22 de control de la temporización hace que la sección 23 de codificación del punto de vista base codifique las lineas de LCU restantes de la imagen de punto de vista base en la etapa S18.
Es decir, en la etapa S17, la sección 24 de codificación del punto de vista dependiente codifica la imagen dependiente. También, el proceso de codificación de la imagen de punto de vista dependiente se describirá posteriormente con referencia a la FIG. 9. En este proceso de codificación, el rango de búsqueda de la dirección V del MV ínter puntos de vista se limita de acuerdo con ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 21 de codificación de la sintaxis y el proceso de codificación se lleva a cabo. Los datos codificados de la imagen de punto de vista dependiente se suministran a la sección 26 de transmisión.
Además, en paralelo con el proceso de la etapa S17, la sección 23 de codificación del punto de vista base codifica las líneas de LCU restantes de la imagen de punto de vista base, en la etapa S18. También, el proceso de codificación en la etapa S18 también es similar al proceso de codificación a ser descrito posteriormente con referencia a la FIG.8. En el proceso de la etapa S18, los datos codificados de la imagen de punto de vista base se suministran a la sección 26 de transmisión.
En la etapa S19, la sección 26 de transmisión genera un flujo codificado al multiplexar la sintaxis de la sección 21 de codificación de la sintaxis, los datos codificados del punto de vista base de la sección 23 de codificación del punto de vista base, y los datos codificados del punto de vista dependiente de la sección 24 de codificación del punto de vista dependiente.
Ejemplo del proceso de codificación Enseguida, se describirá el proceso de codificación de la etapa S12 de la FIG.7, con referencia al diagrama de flujo de la FIG.8. También, el proceso de las etapas S15, S16 y S18 de la FIG.7 se lleva a cabo como en el proceso de la FIG.8.
Las imágenes de la imagen del punto de vista base que es una imagen (imagen en movimiento) a ser codificada se suministran secuencialmente a la sección 111 de conversión A/D en el orden de despliegue. En la etapa S31, la sección 111 de conversión A/D convierte las señales analógicas de acuerdo con la conversión A/D cuando las imágenes suministradas son señales analógicas, y suministra las señales analógicas a la memoria 112 intermedia de reordenamiento de imágenes.
En la etapa S32, la memoria 112 intermedia de reordenamiento de imágenes almacena temporalmente las imágenes de la sección 111 de conversión A/D y lee las imágenes de acuerdo con la estructura de un GOP predeterminado, de modo tal que se lleva a cabo el proceso para reordenar la secuencia de imágenes del orden de despliegue al orden de codificación. Las imágenes leídas desde la memoria 112 intermedia de reordenamiento de imágenes se suministran a la sección 113 de cálculo, la sección 122 de predicción intra imágenes, y la sección 123 de predicción ínter.
En la etapa S33, la sección 122 de predicción intra imágenes lleva a cabo la predicción intra (predicción intra imágenes) para generar una imagen pronosticada. En este momento, la sección 122 de predicción intra imágenes obtiene el costo de la codificación requerido para codificar el bloque objetivo, usando la imagen pronosticada, es decir, el costo de la codificación requerido para codificar el residuo o los similares para la imagen pronosticada en el bloque objetivo, y suministra el costo de la codificación obtenido a la sección 124 de selección de imágenes pronosticadas junto con la imagen pronosticada.
En la etapa S34, la sección 123 de predicción Ínter lleva a cabo el proceso de predicción/compensación del movimiento para generar una imagen pronosticada. Es decir, la sección 123 de predicción Ínter lleva a cabo la detección del movimiento usando un bloque objetivo de una imagen objetivo desde la memoria 112 intermedia de reordenamiento de imágenes y una imagen candidata de la DPB 25 y detecta el MV ínter (el cual también incluye el MV ínter puntos de vista). La sección 123 de predicción ínter genera la imagen pronosticada al llevar a cabo la compensación del movimiento para compensar el desplazamiento de la cantidad de movimiento de la imagen candidata de la DPB 25, de acuerdo con el MV ínter del bloque objetivo.
En la etapa S35, la sección 124 de selección de imágenes pronosticadas selecciona aquella que tiene el menor costo de codificación de entre las imágenes de la sección 122 de predicción intra imágenes y la sección 123 de predicción ínter, y suministra la imagen pronosticada, seleccionada, a las secciones de cálculo 113 y 120.
Aquí, la sección 122 de predicción intra imágenes suministra la información sobre la predicción intra como la información del encabezamiento a la sección 116 de codificación de longitud variable. La sección 123 de predicción ínter suministra la información sobre la predicción ínter (la información del MV o los similares) como la información del encabezamiento a la sección 116 de codificación de longitud variable.
En la etapa S36, la sección 113 de cálculo calcula la diferencia entre la imagen original de la memoria 112 intermedia de reordenamiento de imágenes y la imagen pronosticada suministrada desde la sección 124 de selección de imágenes pronosticadas, y suministra la diferencia calculada a la sección 114 de transformación ortogonal.
En la etapa S37, la sección 114 de transformación ortogonal lleva a cabo la transformación ortogonal, tal como la transformación discreta del coseno o la transformación de Loeve-Karhunen sobre (el residuo obtenido al sustraer la imagen pronosticada o el valor de los pixeles de) el bloque objetivo de la sección 113 de cálculo, y suministra el coeficiente de transformación obtenido como resultado del mismo, a la sección 115 de cuantificación.
En la etapa S38, la sección 115 de cuantificación cuantifica el coeficiente de transformación suministrado desde la sección 114 de transformación ortogonal y suministra el valor de la cuantificación obtenido como resultado de esto a la sección 118 de cuantificación inversa.
En la etapa S39, la sección 118 de cuantificación inversa cuantifica de forma inversa el valor de la cuantificación de la sección 115 de cuantificación en un coeficiente de transformación y suministra el coeficiente de transformación a la sección 119 de transformación ortogonal inversa.
En la etapa S40, la sección 119 de transformación ortogonal inversa lleva a cabo la transformación ortogonal inversa sobre el coeficiente de transformación de la sección 118 de cuantificación inversa y suministra el coeficiente de transformación transformado a la sección 120 de cálculo.
En la etapa S41, la sección 120 de cálculo obtiene una imagen decodificada en la cual se decodifica (decodifica localmente) el bloque objetivo al agregar el valor de los pixeles de la imagen pronosticada suministrada desde la sección 124 de selección de imágenes pronosticadas a los datos suministrados desde la sección 119 de transformación ortogonal inversa, si es necesario, suministra la imagen decodificada obtenida al filtro 121 dentro del bucle.
En la etapa S42, el filtro 121 dentro del bucle lleva a cabo el proceso de filtrado dentro del bucle. Por ejemplo, cuando el filtro 121 dentro del bucle se constituye por un filtro de desbloqueo, el filtro 121 dentro del bucle elimina (reduce) la distorsión de bloque que ocurre en la imagen decodificada al filtrar la imagen decodificada de la sección 120 de cálculo, y suministra la imagen decodificada después de la eliminación (reducción) de la distorsión a la DPB 25.
En la etapa S43, la DPB 25 almacena la imagen decodificada del filtro 121 dentro del bucle.
El valor de la cuantificación, cuantificado en la etapa S38 descrita anteriormente se suministra a la sección 116 de codificación de longitud variable asi como a la sección 118 de cuantificación inversa.
En la etapa S44, la sección 116 de codificación de longitud variable lleva a cabo la codificación sin pérdidas sobre el valor de la cuantificación de la sección 115 de cuantificación y suministra los datos codificados obtenidos como resultado de esto a la memoria 117 intermedia de acumulación.
En la etapa S45, la memoria 117 intermedia de acumulación almacena los datos codificados de la sección 116 de codificación de longitud variable y transmite los datos codificados almacenados a una velocidad de transmisión de datos predeterminada. Los datos codificados transmitidos desde la memoria 117 intermedia de acumulación se suministran a la sección 26 de transmisión de la FIG.1.
Ejemplo del proceso de codificación Enseguida, se describirá el proceso de codificación de la imagen de punto de vista dependiente de la etapa S17 de la FIG. 7, con referencia a diagrama de flujo de la FIG.9.
En el caso de SÍ en la etapa S14 de la FIG.7, la sección 24 de codificación del punto de vista dependiente recibe una señal de control que indica el inicio del proceso de codificación, desde la sección 22 de control de la temporización . En correspondencia con esto, en la etapa S61, la sección 24 de codificación del punto de vista dependiente determina si ínter puntos de vista_vector_v_rango_limitar_bandera (la bandera del límite del rango de búsqueda de la dirección V) suministrada desde la sección 21 de codificación de la sintaxis es 1.
En la etapa S61, cuando se determina que ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 21 de codificación de la sintaxis es 1, en la etapa S14, el proceso procede a la etapa S62.
En la etapa S62, la sección 24 de codificación del punto de vista dependiente limita el rango de búsqueda en la dirección V del MV ínter puntos de vista, por ejemplo, a un rango de (tamaño de la LCU-8) líneas. Es decir, el componente V de la dirección positiva del MV ínter puntos de vista se limita a (tamaño de la LCU-8) o menos. También, el componente V de la dirección negativa del MV Ínter puntos de vista también puede ser limitado.
Cuando se determina que Ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 21 de codificación de la sintaxis es 0, en la etapa S61, el proceso de la etapa S62 se omite. El proceso procede a la etapa S63.
En la etapa S63, la sección 24 de codificación del punto de vista dependiente codifica una imagen de punto de vista dependiente. Este proceso de codificación es básicamente similar al proceso de codificación descrito anteriormente de la FIG.8, excepto que el rango de búsqueda de la dirección V del MV ínter puntos de vista se limita en el proceso de predicción/compensación del movimiento de la etapa S34 de la FIG. 8. Por lo tanto, la descripción del mismo se omite para evitar la redundancia.
En el proceso de la etapa S15, los datos codificados de la imagen de punto de vista dependiente se generan y los datos codificados de la imagen de punto de vista dependiente se suministran a la sección 26 de transmisión.
Cuando ínter puntos de vista_vector_v_rango_limitar_bandera es 1, de esta forma, el rango de búsqueda de la dirección V del MV Ínter puntos de vista se limita a un rango hasta un valor preestablecido cuando el proceso de predicción/compensación del movimiento se lleva a cabo en la imagen de punto de vista dependiente.
Por consiguiente, puesto que no se usa la imagen fuera del rango de búsqueda limitado, es posible llevar a cabo el procesamiento en paralelo de una imagen de punto de vista base y una imagen de punto de vista dependiente en el lado de la codificación o el lado de la decodificación. 2. Segunda modalidad Ejemplo de la configuración del dispositivo para decodificación de imagen de puntos de vista múltiples La FIG. 10 ilustra la configuración de una modalidad de un dispositivo para decodificación de imagen de puntos de vista múltiples que sirve como un dispositivo para procesamiento de imagen al cual se aplica la presente descripción.
El dispositivo 211 para decodificación de imagen de puntos de vista múltiples de la FIG. 10 decodifica un flujo codificado, codificado por el dispositivo 11 para codificación de imagen de puntos de vista múltiples de la FIG.1. Es decir, en la sintaxis del flujo codificado, se establece la información del limite del rango de búsqueda del MV ínter puntos de vista, la cual es la información sobre el límite del rango de referencia de la dirección vertical del MV ínter puntos de vista.
La FIG. 11 es un diagrama de bloques que ilustra un ejemplo de la configuración del dispositivo 211 para decodificación de imagen de puntos de vista múltiples de la FIG. 10. También, en el ejemplo de la FIG.11, un ejemplo en el cual se codifica una imagen de dos puntos de vista que incluye un punto de vista (punto de vista) base y un punto de vista (punto de vista) dependiente, se muestra en asociación con el ejemplo de la FIG.2.
En el ejemplo de la FIG. 11, el dispositivo 211 para decodificación de imagen de puntos de vista múltiples se configura para incluir una sección 221 de recepción, una sección 222 de decodificación de la sintaxis, una sección 223 de control de la temporización, una sección 224 de decodificación del punto de vista base, una sección 225 de decodificación del punto de vista dependiente, y una DPB 226. Es decir, el dispositivo 211 para decodificación de imagen de puntos de vista múltiples recibe un flujo codificado transmitido desde el dispositivo 11 para codificación de imagen de puntos de vista múltiples, y decodifica los datos codificados de una imagen de punto de vista base y los datos codificados de una imagen de punto de vista dependiente.
La sección 221 de recepción recibe el flujo codificado transmitido desde el dispositivo 11 para codificación de imagen de puntos de vista múltiples de la FIG.1. La sección 221 de recepción separa los datos codificados de la imagen de punto de vista base, los datos codificados de la imagen de punto de vista dependiente, y los similares del flujo de bitios recibido.
Entonces, la sección 221 de recepción suministra los datos codificados de la imagen de punto de vista base a la sección 224 de decodificación del punto de vista base. La sección 221 de recepción suministra los datos codificados de la imagen de punto de vista dependiente a la sección 225 de decodificación del punto de vista dependiente. Además, la sección 221 de recepción suministra los datos codificados de la imagen de punto de vista base y los datos codificados de la imagen de punto de vista dependiente a la sección 222 de decodificación de la sintaxis.
La sección 222 de decodificación de la sintaxis extrae y decodifica secuencialmente un SPS, un PPS, SEI, y el encabezamiento de la sección, a partir de los datos codificados de la imagen de punto de vista base y los datos codificados de la imagen de punto de vista dependiente.
Entonces, la sección 222 de decodificación de la sintaxis, por ejemplo, decodifica ínter puntos de vista_vector_v_rango_limitar_bandera establecida en el SPS y suministra la ínter puntos de vista_vector_v_rango_limitar_bandera decodificada a la sección 223 de control de la temporización.
De acuerdo con ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 222 de decodificación de la sintaxis, la sección 223 de control de la temporización hace referencia a la información de progreso del proceso de decodificación, de la sección 224 de decodificación del punto de vista base y suministra una señal de control para controlar las temporizaciones del proceso de decodificación de la imagen de punto de vista base y el proceso de decodificación de la imagen de punto de vista dependiente.
Es decir, la sección 223 de control de la temporización inicia el proceso de decodificación de la sección 224 de decodificación del punto de vista base. Entonces, la sección 223 de control de la temporización hace que la sección 224 de decodificación del punto de vista base y la sección 225 de decodificación del punto de vista dependiente operen en paralelo, si el proceso de decodificación de la sección 224 de decodificación del punto de vista base llega a una línea de LCU predeterminada cuando ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 222 de decodificación de la sintaxis es 1 (ACTIVADO).
Por otro lado, la sección 223 de control de la temporización inicia el proceso de decodificación de la sección 225 de decodificación del punto de vista dependiente cuando el proceso de decodificación de la sección 224 de decodificación del punto de vista base termina si ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 222 de decodificación de la sintaxis es 0 (DESACTIVADO).
La sección 224 de decodificación del punto de vista base decodifica los datos codificados del punto de vista base, suministrados desde la sección 221 de recepción y genera una imagen de punto de vista base. También, la sección 224 de decodificación del punto de vista base selecciona una imagen de referencia a la que se debe hacer referencia cuando se decodifica una imagen objetivo de la decodificación, a partir de la imagen decodificada del punto de vista base, almacenada en la DPB 226 y decodifica la imagen usando la imagen de referencia seleccionada. En este momento, la imagen decodificada del resultado de la decodificación se almacena temporalmente en la DPB 226.
La sección 225 de decodificación del punto de vista dependiente decodifica los datos codificados del punto de vista dependiente suministrados desde la sección 221 de recepción y genera una imagen del punto de vista dependiente. También, la sección 225 de decodificación del punto de vista dependiente selecciona una imagen de referencia a la que se debe hacer referencia cuando la imagen objetivo de la decodificación a partir de la imagen decodificada del punto de vista dependiente almacenada en la DPB 226 y decodifica la imagen usando la imagen de referencia seleccionada. En este momento, la imagen decodificada del resultado de la decodificación se almacena temporalmente en la DPB 226.
También, cuando ínter puntos de vista_vector_v_rango_limitar_bandera se activa, la sección 225 de decodificación del punto de vista dependiente decodifica los datos codificados del punto de vista dependiente codificados al limitar la dirección vertical del rango de búsqueda en la imagen decodificada del punto de vista base. Por lo tanto, el componente vertical (V) del MV obtenido se incluye en el rango de búsqueda limitado.
La DPB 226 almacena temporalmente una imagen (imagen decodificada) después de la decodificación, obtenida al decodificar una imagen del objetivo de la decodificación en cada una de la sección 224 de decodificación del punto de vista base y la sección 225 de decodificación del punto de vista dependiente como (un candidato para) unja imagen de referencia a la que se debe hacer referencia cuando se genera la imagen pronosticada.
Puesto que la DPB 226 es compartida por la sección 224 de decodificación del punto de vista base y la sección 225 de decodificación del punto de vista dependiente, cada una de la sección 224 de decodificación del punto de vista base y la sección 225 de decodificación del punto de vista dependiente puede hacer referencia a, además de la imagen decodificada obtenida localmente, una imagen decodificada obtenida por la otra sección de codificación del punto de vista. Nótese que, la sección 23 de codificación del punto de vista base que codifica la imagen de punto de vista base hace referencia solamente a una imagen del mismo punto de vista (punto de vista base).
Ejemplo de la configuración de la sección de decodificación del punto de vista La FIG. 12 es un diagrama de bloques que ilustra un ejemplo de la configuración de la sección 24 de codificación del punto de vista dependiente. Además, la sección 225 de decodificación del punto de vista dependiente también se configura para ser básicamente similar a la sección 224 de decodificación del punto de vista base.
En el ejemplo de la FIG. 12, la sección 224 de decodificación del punto de vista base incluye una memoria 311 intermedia de acumulación, una sección 312 de decodificación de longitud variable, una sección 313 de cuantificación inversa, una sección 314 de transformación ortogonal inversa, una sección 315 de cálculo, un filtro 316 dentro del bucle, una memoria 317 intermedia de reordenamiento de imágenes, una sección 318 de conversión digital/analógico (D/A), una sección 319 de predicción intra imágenes, una sección 320 de predicción ínter, una sección 321 de selección de imágenes pronosticadas, y una memoria 322 asociada.
Los datos codificados de la imagen de punto de vista base de la sección 221 de recepción (FIG.11) se suministran a la memoria 311 intermedia de acumulación.
La memoria 311 intermedia de acumulación almacena temporalmente los datos codificados a ser suministrados a la misma y suministra los datos codificados, almacenados, a la sección 312 de decodificación de longitud variable.
La sección 312 de decodificación de longitud variable restablece el valor de cuantificación o la información del encabezamiento al llevar a cabo la decodificación de longitud variable sobre los datos codificados de la memoria 311 intermedia de acumulación. Entonces, la sección 312 de decodificación de longitud variable suministra el valor de la cuantificación a la sección 313 de cuantificación inversa y suministra la información del encabezamiento a la sección 319 de predicción intra imágenes y a la sección 320 de predicción ínter.
La sección 313 de cuantificación inversa cuantifica de forma inversa el valor de la cuantificación de la sección 312 de decodificación de longitud variable en un coeficiente de transformación y suministra el coeficiente de transformación a la sección 314 de transformación ortogonal inversa.
La sección 314 de transformación ortogonal inversa transforma de forma inversa el coeficiente de transformación de la sección 313 de cuantificación inversa y suministra el coeficiente de transformación transformado inversamente, a la sección 315 de cálculo en unidades de macrobloque (LCUs).
La sección 315 de cálculo lleva a cabo la decodificación al agregar la imagen pronosticada suministrada desde la sección 321 de selección de imágenes pronosticadas a bloque objetivo si es necesario, usando el macro bloque suministrado desde la sección 314 de transformación ortogonal inversa como el bloque objetivo del objetivo de la decodificación. La sección 315 de cálculo suministra la imagen decodificada obtenida como resultado de la misma, al filtro 316 dentro del bucle .
El filtro 316 dentro del bucle, por ejemplo, se constituye de un filtro de desbloqueo. También, por ejemplo, cuando se adopta el esquema HEVC, el filtro 316 dentro del bucle se constituye por un filtro de desbloqueo y un filtro de compensación adaptativo. El filtro 316 dentro del bucle, por ejemplo, lleva a cabo el filtrado similar al filtro 121 dentro del bucle de la FIG. 3 sobre la imagen decodificada de la sección 315 de cálculo y suministra la imagen decodificada después del filtrado a la memoria 317 intermedia de reordenamiento de imágenes.
La memoria 317 intermedia de reordenamiento de imágenes reordena la secuencia de las imágenes a la secuencia original (el orden de despliegue) al almacenar temporalmente las imágenes de la imagen decodificada del filtro 316 dentro del bucle y suministra el resultado reordenado a la sección 318 de conversión D/A.
Cuando es necesario transmitir las imágenes desde la memoria 317 intermedia de reordenamiento de imágenes en una señal analógica, la sección 318 de conversión D/A lleva a cabo la conversión D/A sobre las imágenes y transmite el resultado de la conversión D/A.
Además, el filtro 316 dentro del bucle suministra a la DPB 226 con las imágenes decodificadas de la imagen (I), la imagen P, y las imágenes Bs intra que son imágenes a las que se puede hacer referencia entre las imágenes decodificadas, filtradas.
Ahi, la DPB 226 almacena las imágenes de una imagen decodificada desde el filtro 316 dentro del bucle, es decir, las imágenes de una imagen de punto de vista base, como candidatas de (imágenes candidatas) de las imágenes de referencia a las que se debe hacer referencia cuando se genera la imagen pronosticada a ser usada en la decodificación a ser llevada a cabo en un momento posterior.
Puesto que la DPB 226 es compartida por la sección 224 de decodificación del punto de vista base y la sección 225 de decodificación del punto de vista dependiente como se describe con referencia a la FIG.11, se almacena la imagen del punto de vista dependiente decodificada en la sección 225 de decodificación del punto de vista dependiente o las similares asi como la imagen de punto de vista base decodificada en la sección 224 de decodificación del punto de vista base.
La sección 319 de predicción intra imágenes reconoce si el bloque objetivo se codifica usando la imagen pronosticada generada en la predicción intra (predicción intra imágenes) con base en la información del encabezamiento de la sección 312 de decodificación de longitud variable.
Cuando se codifica el bloque objetivo usando la imagen pronosticada generada en la predicción intra, la sección 319 de predicción intra imágenes lee una porción ya codificada (imagen decodificada) de las imágenes (imágenes objetivo) que incluyen el bloque objetivo, desde la DPB 226, como en la sección 33 de predicción intra imágenes de la FIG. 3. Entonces, la sección 319 de predicción intra imágenes suministra parte de la imagen decodificada de las imágenes objetivo leídas desde la DPB 226 como la imagen pronosticada del bloque actual a la sección 321 de selección de imágenes pronosticadas .
La memoria 322 asociada lee los pixeles del rango disponibles en la sección 320 de predicción ínter de entre las imágenes de la DPB 226 y acumula temporalmente los pixeles leídos.
La sección 320 de predicción ínter reconoce si el bloque objetivo se codifica usando la imagen pronosticada generada en la predicción intra con base en la información del encabezamiento de la sección 312 de decodificación de longitud variable.
Cuando el bloque objetivo se codifica usando una imagen pronosticada generada en la predicción ínter, la sección 320 de predicción Ínter reconoce el modo de predicción ínter óptimo (incluyendo el modo de predicción ínter puntos de vista) .del bloque actual con base en la información del encabezamiento de la sección 312 de decodificación de longitud variable, y lee las imágenes candidatas correspondientes al modo de predicción ínter óptimo como las imágenes de referencia, de entre las imágenes candidatas almacenadas en la memoria 322 asociada.
Además, la sección 320 de predicción ínter genera una imagen pronosticada al recocer el MV ínter que representa el movimiento usado en la generación de la imagen pronosticada del bloque objetivo, con base en la información del encabezamiento de la sección 312 de decodificación de longitud variable y lleva a cabo la compensación del movimiento de las imágenes de referencia de acuerdo con el MV ínter como en la sección 123 de predicción ínter de la FIG.3. También, en el punto de vista dependiente, el MV ínter incluye un MV Ínter puntos de vista que representa el desplazamiento ínter puntos de vista así como un MV que representa el desplazamiento temporal.
Es decir, la sección 320 de predicción Ínter adquiere un bloque (bloque correspondiente) de una posición movida (desplaza) de acuerdo con el MV ínter del bloque objetivo, desde la posición del bloque objetivo en las imágenes candidatas, como la imagen pronosticada.
Entonces, la sección 320 de predicción ínter suministra la imagen pronosticada a la sección 321 de selección de imágenes pronosticadas.
Cuando la imagen pronosticada se suministra desde la sección 319 de predicción intra imágenes, la sección 321 de selección de imágenes pronosticadas selecciona la imagen pronosticada y suministra la imagen pronosticada a la sección 315 de cálculo. Cuando la imagen pronosticada se suministra desde la sección 320 de predicción Ínter, la sección 21 de codificación de la sintaxis selecciona la imagen pronosticada y suministra la imagen pronosticada a la sección 315 de cálculo.
Operación del dispositivo para decodificación de imagen de puntos de vista múltiples Enseguida, se describirá el proceso para la decodificación de imagen de puntos de vista múltiples como la operación del dispositivo 211 para decodificación de imagen de puntos de vista múltiples de la FIG. 10, con referencia al diagrama de flujo de la FIG. 13. También, como se describe anteriormente con referencia a la FIG.7, en el ejemplo de la FIG. 13, los retardos de los proceso de codificación y decodificación sobre el punto de vista base y el punto de vista dependiente son dos lineas de LCU y el componente Y se preestablece para estar limitado a (tamaño de la LCU-8) o menos cuando se limita la dirección positiva del componente Vy de MV ínter puntos de vista. Es decir, el rango de búsqueda de la dirección positivas, vertical (V) del MV ínter puntos de vista se establece en (tamaño de la LCU-8) líneas.
En la etapa Slll, la sección 221 de recepción recibe el flujo codificado transmitido desde el dispositivo 11 para codificación de imagen de puntos de vista múltiples de la FIG. 1. La sección 221 de recepción separa los datos codificados de la imagen de punto de vista base, los datos codificados de la imagen de punto de vista dependiente, y los similares, del flujo de bitios recibido.
Entonces, la sección 221 de recepción suministra los datos codificados de la imagen de punto de vista base a la sección 224 de decodificación del punto de vista base. La sección 221 de recepción suministra los datos codificados de la imagen de punto de vista dependiente a la sección 225 de decodificación del punto de vista dependiente. Además, la sección 221 de recepción suministra los datos codificados de la imagen de punto de vista base y los datos codificados de la imagen de punto de vista dependiente a la sección 222 de decodificación de la sintaxis.
La sección 222 de decodificación de la sintaxis decodifica la sintaxis en la etapa S112. Es decir, la sección 222 de decodificación de la sintaxis extrae y decodifica secuencialmente un SPS, un PPS, SEI, y el encabezamiento de la sección de los datos codificados de la imagen de punto de vista base y los datos codificados de la imagen de punto de vista dependiente. Entonces, la sección 222 de decodificación de la sintaxis, por ejemplo, decodifica ínter puntos de vista_vector_v_rango_limitar_bandera en el SPS y suministra la ínter puntos de vista_vector_v_rango_limitar_bandera a la sección 223 de control de la temporización.
En la etapa S113, la sección 224 de decodifícación del punto de vista base decodifica los datos codificados de la imagen de punto de vista base bajo el control de la sección 223 de control de la temporización. Además, este proceso de decodificación se describirá posteriormente con referencia a la FIG. 14. En el proceso de la etapa S113, los datos codificados se decodifican y se genera la imagen de punto de vista base para cada LCU. En este momento, la sección 224 de decodificación del punto de vista base suministra la información del progreso del proceso de codificación de la imagen de punto de vista base a la sección 22 de control de la temporización.
En la etapa S114, la sección 223 de control de la temporización determina si la sección 224 de decodificación del punto de vista base ha decodificado las lineas de LCU predeterminadas (por ejemplo, dos lineas de LCU) al hacer referencia a la información del progreso de la sección 224 de decodificación del punto de vista base. El número de lineas de LCU difiere con cada ejemplo.
Cuando se determina que la sección 224 de decodificación del punto de vista base no ha codificado aun las lineas de LCU predeterminadas, en la etapa S114, el proceso regresa a la etapa S113. El proceso posterior se repite. Por otro lado, cuando se determina que la sección 224 de decodificación del punto de vista base ha decodificado las lineas de LCU predeterminadas en la etapa S114, el proceso procede a la etapa S115.
En la etapa S115, la sección 223 de control de la temporización determina si ínter puntos de vista_vector_v_rango_limitar_bandera (la bandera de límite del rango de búsqueda de la dirección V) suministrada desde la sección 22 de control de la temporización es 1. Cuando se determina que ínter puntos de vista_vector_v_rango_limitar_bandera suministrada desde la sección 222 de decodificación de la sintaxis es 0, en la etapa 5115, el proceso procede a la etapa S116.
La sección 223 de control de la temporización hace que la sección 224 de decodificación del punto de vista base decodifique las lineas de LCU restantes de la imagen de punto de vista base, en la etapa S116. Entonces, la sección 223 de control de la temporización hace que la sección 225 de decodificación del punto de vista dependiente lleve a cabo un proceso de decodificación de la imagen de punto de vista dependiente en la etapa S117 después que se termina la decodificación de la imagen de punto de vista base en la etapa 5116.
Es decir, en la etapa S116, la sección 224 de decodificación del punto de vista base decodifica las lineas de LCU restantes de la imagen de punto de vista base.
Entonces, en la etapa S117, la sección 225 de decodificación del punto de vista dependiente decodifica la imagen dependiente. Además, el proceso de decodificación en las etapas S116 y S117 también es básicamente similar al proceso de decodificación a ser descrito posteriormente con referencia a la FIG.14. En el proceso de la etapa S116, se genera el punto de vista base. En el proceso de la etapa S117 se genera la imagen de punto de vista dependiente.
Por otro lado, cuando se determina que ínter puntos de vista_vector v_rango_limitar_bandera suministrada desde la sección 222 de decodificación de la sintaxis es 1, en la etapa S115, el proceso procede a la etapa S118.
La sección 223 de control de la temporización hace que la sección 225 de decodificación del punto de vista dependiente lleve a cabo un proceso de decodificación de la imagen de punto de vista dependiente, en la etapa S118. En paralelo con esto, la sección 223 de control de la temporización hace que la sección 224 de decodificación del punto de vista base decodifique las lineas de LCU restantes de la imagen de punto de vista base, en la etapa S119.
Es decir, en la etapa S118, la sección 225 de decodificación del punto de vista dependiente decodifica la imagen dependiente. El proceso de decodificación en S118 también es básicamente similar al proceso de decodificación a ser descrito posteriormente con referencia a la FIG. 14. Es decir, la única diferencia es que los datos codificados sobre los cuales se lleva a cabo el proceso de codificación al limitar el rango de búsqueda de la dirección V del MV ínter puntos de vista se decodifican, y el proceso de decodificación de la imagen de punto de vista dependiente es básicamente el mismo que el proceso de decodificación de la etapa S117. En el proceso de la etapa S118, se genera una imagen de punto de vista dependiente.
Además, en paralelo con el proceso de la etapa S118, en la etapa S119, la sección 224 de decodificación del punto de vista base codifica las lineas de LCU restantes de la imagen de punto de vista base. También, el proceso de codificación en la etapa S119 es básicamente similar al proceso de decodificación a ser descrito posteriormente con referencia a la FIG. 14. En el proceso de la etapa S119 se genera una imagen de punto de vista base.
Ejemplo del proceso de decodificación Enseguida, se describirá el proceso de decodificación de la etapa S113 de la FIG. 13, con referencia al diagrama de flujo de la FIG.14. Además, el proceso de decodificación de las etapas S116 a S119 de la FIG. 13 también es básicamente similar al proceso de la FIG.14.
Los datos codificados de la imagen del punto de vista base se suministran desde la sección 221 de recepción (FIG.1) a la memoria 311 intermedia de acumulación. En la etapa S131, la memoria 311 intermedia de acumulación almacena temporalmente los datos codificados suministrados y suministra los datos codificados almacenados a la sección 312 de decodificación de longitud variable, En la etapa S132, la sección 312 de decodificación de longitud variable restablece el valor de la cuantificación o la información del encabezamiento al llevar a cabo la decodificación de longitud variable sobre los datos codificados de la memoria 311 intermedia de acumulación.
Entonces , la sección 312 de decodificación de longitud variable suministra el valor de la cuantificación a la sección 313 de cuantificación inversa y suministra la información del encabezamiento a la sección 319 de predicción intra imágenes y la sección 320 de predicción ínter.
En la etapa S133, la memoria 322 asociada lee los pixeles del rango disponible en la sección 320 de predicción ínter, de entre las imágenes de la DPB 226 y acumula temporalmente los pixeles leídos.
Es decir, en el proceso de decodificación de las etapas S113, S116, S117 y S119 de la FIG.13, por ejemplo, el rango de los pixeles mediante el cual puede ser encontrado el MV se lee a la memoria 322 asociada. Por otro lado, en el proceso de decodificación de la etapa S118 de la FIG.13, se decodifican los datos codificados sobre los cuales se lleva a cabo el proceso de codificación al limitar el rango de búsqueda de la dirección V del MV ínter puntos de vista. Es decir, el rango de búsqueda de la dirección V del MV Ínter puntos de vista se limita. Por lo tanto, puesto que solo es necesario leer los pixeles del rango de búsqueda limitado en el momento de la codificación cuando la imagen de referencia ínter puntos de vista se lee a la memoria 322 asociada en la decodificación de la imagen de punto de vista dependiente, la memoria 322 asociada no necesita tener gran capacidad.
En la etapa S134, la sección 319 de predicción intra imágenes o la sección 320 de predicción ínter genera una imagen pronosticada de acuerdo con el modo de predicción de la información del encabezamiento de la sección 312 de decodificación de longitud variable, también, en este momento, la sección 319 de predicción intra imágenes lee una porción ya decodificada (imagen decodificada) de las imágenes que incluyen el bloque objetivo, y suministra la parte de la imagen decodificada de la imagen objetivo desde la DPB 226, como la imagen pronosticada del bloque objetivo a la sección 321 de selección de imágenes pronosticadas.
Por otro lado, la sección 320 de predicción ínter reconoce el modo de predicción ínter óptimo del bloque objetivo, con base en la información del encabezamiento de la sección 312 de decodificación de longitud variable, y lee las imágenes candidatas correspondientes al modo de predicción ínter óptimo, como las imágenes de referencia de las imágenes candidatas almacenadas en la memoria 322 asociada. Además, la sección 320 de predicción ínter reconoce el MV ínter que representa el movimiento usado en la generación de la imagen pronosticada del bloque objetivo con base en la información del encabezamiento de la sección 312 de decodificación de longitud variable, y genera la imagen pronosticada al llevar a cabo la compensación del movimiento de la imagen de referencia de acuerdo con el MV ínter puntos de vista como en la sección 123 de predicción ínter de la FIG.3. La imagen pronosticada, generada, se suministra a la sección 321 de selección de imágenes pronosticadas.
En la etapa S135, cuando la imagen pronosticada se suministra desde la sección 319 de predicción intra imágenes, la sección 321 de selección de imágenes pronosticadas selecciona la imagen pronosticada y suministra la imagen pronosticada a la sección 315 de cálculo. Cuando la imagen pronosticada se suministra desde la sección 320 de predicción ínter, la sección 321 de selección de imágenes pronosticadas selecciona la imagen pronosticada y suministra la imagen pronosticada a la sección 315 de cálculo.
En la etapa S136, la sección 313 de cuantificación inversa cuantifica de forma inversa el valor de la cuantificación de la sección 312 de decodificación de longitud variable en un coeficiente de transformación y suministra el coeficiente a la sección 314 de transformación ortogonal inversa.
En la etapa S137, la sección 314 de transformación ortogonal inversa transforma de forma inversa el coeficiente de transformación de la sección 313 de cuantificación inversa y suministra el coeficiente de transformación transformado de forma inversa a la sección 315 de cálculo, en unidades de macroblogues (LCUs).
En la etapa S138, la sección 315 de cálculo lleva a cabo la decodificación al agregar la imagen pronosticada, suministrada desde la sección 321 de selección de imágenes pronosticadas, al bloque objetivo si es necesario, usando el macrobloque suministrado desde la sección 314 de transformación ortogonal inversa, como el bloque objetivo del objetivo de la decodificación. La imagen pronosticada asi obtenida se suministra al filtro 316 dentro del bucle.
En la etapa S139, el filtro 316 dentro del bucle, por ejemplo, lleva a cabo el filtrado para el filtro 121 dentro del bucle de la FIG. 3 sobre la imagen decodificada de la sección 315 de cálculo y suministra la imagen decodificada después del filtrado, a la DPB 226 y la memoria 317 intermedia de reordenamiento de imágenes.
En la etapa S140, la DPB 226 almacena las imágenes de la imagen decodificada del filtro 316 dentro del bucle, es decir, las imágenes de la imagen de punto de vista base, como los candidatos (imágenes candidatas) de las imágenes de referencia a las que se debe hacer referencia cuando se genera la imagen pronosticada a ser usada en la decodificación a ser llevada a cabo en un momento posterior.
En la etapa S141, la memoria 317 intermedia de reordenamiento de imágenes reordena la secuencia de imágenes a la secuencia original (orden de despliegue) al almacenar temporalmente las imágenes de la imagen decodificada del filtro 316 dentro del bucle y suministra el resultado reordenado a la sección 318 de conversión D/A.
En la etapa S142, cuando es necesario transmitir las imágenes de la memoria 317 intermedia de reordenamiento de imágenes en una señal analógica, la sección 318 de conversión D/A lleva a cabo la conversión D/A sobre las imágenes y transmite el resultado de la conversión D/A.
Como se describe anteriormente, cuando ínter puntos de vista_vector_v_rango_limitar_bandera es 1, y el proceso de predicción/compensación del movimiento se lleva a cabo sobre la imagen de punto de vista dependiente, el rango de búsqueda de la dirección V del MV ínter puntos de vista se limita a un valor preestablecido. Por lo tanto, puesto que no se usa la imagen fuera del rango de búsqueda, es posible llevar a cabo el procesamiento en paralelo de una imagen de punto de vista base y una imagen de punto de vista dependiente en el lado de la codificación o el lado de la decodificación.
Además, puesto que no es necesario leer una imagen fuera del rango de búsqueda, es posible reducir la capacidad de la memoria 322 asociada. 3. Tercera modalidad Ejemplo de la sintaxis La FIG. 15 es un diagrama que ilustra ejemplos de la sintaxis de un SPS y la semántica sobre el SPS. También, el ejemplo de la FIG.15 es un ejemplo en el cual se usa (tamaño de la LCU-8) preestablecido como el valor del límite del rango de la dirección V.
En el caso del ejemplo de la FIG.15, como se muestra en la sintaxis, por ejemplo, cuando el perfil es un "perfil de soporte de puntos de vista múltiples" que es un perfil para soportar puntos de vista múltiples en el SPS, se establece la ínter puntos de vista_vector_v_rango_limitar_bandera, la cual es la información sobre el límite de la dirección V del rango de búsqueda del MV ínter puntos de vista.
Además, la semántica se define de la siguiente forma.
Cuando ínter puntos de vista_vector_v_rango_limitar_bandera es 1, el componente vertical del MV ínter puntos de vista usado en la imagen de punto de vista dependiente se representa como (tamaño de la LCU-8) o menos en unidades de pixeles de luma. Sic esta bandera está ausente, su valor se considera como 0. Si el perfil es igual a un "perfil estereofónico", su valor se establece en 1.
Otro ejemplo del proceso de codificación de la sintaxis Enseguida, se describirá el proceso de codificación de la sintaxis (SPS en el caso de la FIG.15) a ser llevado a cabo en la etapa Sil de la FIG.7, en el caso de la sintaxis de la FIG. 15, con referencia al diagrama de flujo de la FIG.16.
En la etapa S201, la sección 21 de codificación de la sintaxis determina si el perfil soporta puntos de vista múltiples. Es decir, se determina si el perfil es el "perfil de soporte de puntos de vista múltiples".
Cuando se determina que el perfil soporta los puntos de vista múltiples en la etapa S201, el proceso procede a la etapa S202. En la etapa S202, la sección 21 de codificación de la sintaxis establece la ínter puntos de vista_vector_v_rango_limitar_bandera en 1 y transmite el SPS al lado de la decodificación.
Por otro lado, cuando se determina que el perfil no soporta los puntos de vista múltiples en la etapa S201, el proceso procede a la etapa S203. En la etapa S203, la sección 21 de codificación de la sintaxis no transmite la ínter puntos de vista_vector_v_rango_limitar_bandera al lado de la decodificación. Es decir, cuando, ínter puntos de vista_vector_v_rango_limitar_bandera se considera como 0 en el lado de la decodificación, la sección 21 de codificación de la sintaxis no establece la ínter puntos de vista_vector_v_rango_limitar_bandera en el SPS, en la etapa S202.
Otro ejemplo del proceso para codificación de la imagen de punto de vista dependiente Enseguida, se describirá un ejemplo del proceso para la decodificación de la imagen de punto de vista dependiente a ser llevado a cabo en la etapa S17 de la FIG.7 en el caso de la sintaxis de la FIG.15, con referencia al diagrama de flujo de la FIG. 17. Además, este proceso es otro ejemplo del proceso para codificación de la imagen de punto de vista dependiente de la FIG.9.
Además, en el caso de este ejemplo perfil_idc se suministra desde la sección 21 de codificación de la sintaxis a la sección 22 de control de la temporización y la sección 24 de codificación del punto de vista dependiente. Inter puntos de vista_vector_v_rango_limitar_bandera se suministra solo cuando perfil_idc soporta puntos de vista múltiples.
La sección 24 de codificación del punto de vista dependiente recibe una señal de control que indica el inicio del proceso de codificación, desde la sección 22 de control de la temporización, en el caso de SÍ en la etapa S14 de la FIG. 7. En respuesta, en la etapa S221, la sección 24 de codificación del punto de vista dependiente hace referencia a perfil_idc suministrado desde la sección 21 de codificación de la sintaxis y determina si perfil_idc soporta puntos de vista múltiples.
Cuando en la etapa S221 se determina que perfil_idc soporta puntos de vista múltiples, el proceso procede a la etapa S222. En la etapa S222, la sección 24 de codificación del punto de vista dependiente determina si Ínter puntos de vista_vector_v_rango_limitar_bandera (la bandera de límite del rango de búsqueda de la dirección V) suministrada desde la sección 21 de codificación de la sintaxis es 1.
Cuando se determina que ínter puntos de vista vector v_rango_limitar_bandera suministrada desde la sección 21 de codificación de la sintaxis es 1, en la etapa S222, el proceso procede a la etapa S223.
En la etapa S223, la sección 24 de codificación del punto de vista dependiente limita el componente vertical (V) del MV ínter puntos de vista a x (por ejemplo, (tamaño de la LCU-8) el cual se preestablece)) en el punto de vista dependiente.
Por otro lado, cuando se determina que perfil_idc no soporta los puntos de vista múltiples en la etapa S221, o cuando se determina que ínter puntos de vista_vector_v_rango_limitar_bandera es 0, en la etapa S222, el proceso procede a la etapa S224.
En la etapa S224, la sección 24 de codificación del punto de vista dependiente no limita el componente V del MV de ínter puntos de vista en el punto de vista dependiente, como en el pasado.
Después del proceso en la etapa S223 o S224, el proceso procede a la etapa S225. En la etapa S225, la sección 24 de codificación del punto de vista dependiente codifica la imagen de punto de vista dependiente. Este proceso de codificación es básicamente similar al proceso de codificación de la FIG. 8 descrito anteriormente, excepto que el valor del componente V (es decir, el rango de búsqueda de la dirección V) del MV ínter puntos de vista se limita en el proceso de predicción/compensación del movimiento de la etapa S34 de la FIG. 8. Por lo tanto, la descripción del mismo se omite, para evitar la redundancia.
En el proceso de la etapa S15, se generan los datos codificados de la imagen de punto de vista dependiente y los datos codificados de la imagen de punto de vista dependiente se suministran a la sección 26 de transmisión.
Cuando se lleva a cabo el proceso de predicción/compensación del movimiento en la imagen de punto de vista dependiente, si perfil_idc soporta los puntos de vista múltiples e Ínter puntos de vista_vector_v_rango_limitar_bandera es 1, como se describe anteriormente, (la dirección positiva de) el componente V del V Ínter puntos de vista se limita a un valor preestablecido.
Por lo tanto, puesto que no se usa la imagen fuera del rango de búsqueda limitado, es posible llevar a cabo el procesamiento en paralelo de la imagen de punto de vista base y la imagen de punto de vista dependiente del lado de la codificación o del lado de la decodificación.
Otro ejemplo de la sintaxis La FIG. 18 es un diagrama que ilustra los ejemplos de la sintaxis del SPS y la semántica sobre el SPS. Además, el ejemplo de la FIG.18 es un ejemplo en el cual, el valor del límite del rango de la dirección V se escribe como la sintaxis .
Como se muestra en la sintaxis del ejemplo de la FIG.18, por ejemplo, cuando el perfil es un "perfil de soporte de puntos de vista múltiples" que es un perfil para soportar puntos de vista múltiples en el SPS, se establece ínter puntos de vista_vector_v_rango_limitar_bandera, la cual es la información sobre el límite de la dirección V del rango de búsqueda del MV ínter puntos de vista. Además, cuando ínter puntos de vista_vector_v_rango_limitar_bandera es 1, el valor del límite del rango de la dirección V se establece como ínter puntos de vista__vector_v_rango.
La semántica se define de la siguiente forma.
Cuando ínter puntos de vista_vector_v_rango_limitar_bandera es 1, el componente vertical del MV ínter puntos de vista, usado en la imagen de punto de vista dependiente se representa para ser menor que o igual al valor establecido en ínter puntos de vista_vector_v_rango en unidades de pixeles de luma. Si esta bandera está ausente, su valor se considera como 0. Si el perfil es igual al "perfil estereoscópico" su valor se establece en 1.
Este ínter puntos de vista_vector_v_rango representa el valor máximo del componente vertical del MV ínter puntos de vista en unidades de pixeles de luma. Si este ajuste está ausente, su valor se considera como 0.
Aun otro ejemplo de la sintaxis La FIG. 19 es un diagrama que ilustra ejemplos de la sintaxis del SPS y la semántica sobre el SPS. Además, el ejemplo de la FIG. 19 es un ejemplo en el cual el valor del limite del rango de la dirección V y la dirección H se escriben como la sintaxis.
Como se muestra en la sintaxis del ejemplo de la FIG.19, por ejemplo, cuando el perfil es un "perfil de soporte de puntos de vista múltiples" que es un perfil para soportar puntos de vista múltiples en el SPS, se establece ínter puntos de vista_vector_v_rango_limitar_bandera, la cual es la información sobre el límite de la dirección V del rango de búsqueda del MV ínter puntos de vista. Además, cuando ínter puntos de vista_vector_v_rango_limitar_bandera es 1, el valor del límite del rango de la dirección V y el valor del límite del rango de la dirección H se establecen como Ínter puntos de vista_vector_v_rango.
La semántica se define de la siguiente forma.
Cuando ínter puntos de vista_vector_v_rango_limitar_bandera es 1, el componente vertical del MV ínter puntos de vista sado en la imagen de punto de vista dependiente se representa para ser menor que o igual a un valor establecido en inter puntos de vista_vector_v_rango en unidades de pixeles de luma. Si esta bandera está ausente, su valor se considera como 0. Si el perfil es igual al "perfil estereoscópico" su valor se establece en 1.
Este inter puntos de vista_vector_v_rango representa el valor máximo del componente vertical del MV inter puntos de vista en unidades de pixeles de luma. Si este ajuste está ausente, su valor se considera como 0.
Además, ínter puntos de vista_vector_h_rango representa el valor máximo del componente horizontal del MV ínter puntos de vista en unidades de pixeles de luma. Si su ajuste está ausente, su valor se considera como 0. Si el valor es 255, este representa que no hay límite para el componente horizontal.
De esta forma, el componente horizontal (es decir, el rango de búsqueda de la dirección horizontal (H)) del MV ínter puntos de vista puede ser establecido para ser limitado. En este caso, puesto que el rango de los pixeles a ser leídos a la memoria 322 asociada de la FIG.12 adicionalmente se reduce más que en el caso de solo la dirección V en el lado de la decodificación, es posible reducir adicionalmente la capacidad de la memoria 322 asociada. Por lo tanto, es posible configurar a bajo precio el dispositivo.
También, el rango de la dirección horizontal también puede ser estimado a partir del valor mínimo y el valor máximo de la profundidad (o la disparidad) tal como una SEI. Los valores mínimo y máximo que pueden ser estimados a partir de la SEI resultan Dmin y Dmax en el caso de la disparidad y resultan Zcercano y Zlejano en el caso de la profundidad.
La disparidad puede ser obtenida al comparar el valor mínimo y el valor máximo del valor de límite Ivx del componente H del MV ínter puntos de vista desde Dmax. Igualmente, la profundidad puede ser obtenida como IVx=fL/Zmax (f: longitud focal y L: distancia ínter cámaras) al calcular el valor mínimo y el valor máximo del valor de límite Ivx del componente H del MV ínter puntos de vista desde Zcercano.
En este caso, puesto que el rango de los pixeles a ser laidos a la memoria 322 asociada de la FIG.12 se reduce más que en el caso de solo la dirección V en el lado de la decodificación, como en el límite del componente horizontal, al llevar a cabo la decodificación usando el valor IVx, es posible reducir adicionalmente la capacidad de la memoria 322 asociada. Por lo tanto, es posible configurar el dispositivo de forma barata.
Como se describe anteriormente, de acuerdo con la presente teenología, el rango (longitud) del MV del resultado de la decodificación no es superior al límite. Por lo tanto, la información de si su límite está presente, se transmite desde el lado de la codificación, y el rango del MV se limita cuando la información transmitida es verdadera.
Además, aunque se ha descrito anteriormente el caso en el cual el valor del límite del rango del MV es un valor fijo, su limitación puede ser estricta cuando el tamaño de las imágenes crece, cuando el valor del límite es el valor fijo. Entonces, enseguida, se describirá el caso en el cual, el valor del límite no es un valor fijo. También, a partir de aquí, el valor del límite se describirá como un valor de limitación. 4. Cuarta modalidad Valor de limitación de acuerdo con la resolución vertical de las imágenes Primero, se describirá un método para obtener el valor de limitación de acuerdo con la resolución vertical de las imágenes. Por ejemplo, el valor de la limitación se representa por la siguiente Fórmula (1) la cuales una fórmula de cálculo por la relación de la resolución vertical de las imágenes.
Fórmula matemática 1 limitación=((l+pic_altura_en_luma_muestras*a) >>Log2LCUtamaño)<<Log2LCUtamaño)-8 ...(1) Aquí, pic_altura_en_luma_muestras prescribe la resolución vertical de una imagen (formato de imagen) en el SPS. a denota la cantidad permitida para el desplazamiento hacia arriba/hacia debajo de las imágenes, entre los puntos de vista. Por ejemplo, aunque a=0.05, ano se limita a 0.05 si este es un valor de aproximadamente 0.01 a 0.3. También, a puede ser transmitida como una variable al lado de la decodificación .
Además, 2 en la Fórmula (1) es la base de Log, y Log2LCUtamaño=4 .5, o 6 (el tamaño de la LCU es 16, 32, o 64).
Por ejemplo, cuando Log2LCUtamaño=9, >>6 y « 6 en la Fórmula (1) representa que el valor de la limitación aumenta en una unidad del tamaño máximo del bloque del árbol de codificación (CTB), es decir, un tamaño de LCU de 64. Esto se debe a que es una unidad de procesamiento en el peor caso cuando se considera el proceso de decodificación en paralelo.
Entonces, la sustracción final de 8 se lleva a cabo puesto que hay 4 pixeles para el filtro dentro del bucle y 4 pixeles para el filtro de compensación del movimiento.
La FIG.20 es un diagrama que ilustra un ejemplo de los valores de limitación para el formato general de la imagen. Estos valores de limitación se calculan como a=0.05 y Log2LCUtamaño=6 en la Fórmula (1).
En el ejemplo de la FIG. 20, se ilustra el nombre neumónico, la resolución horizontal, la resolución vertical y el valor de limitación del formato de la imagen desde la izquierda. El valor de limitación del caso de la resolución vertical hasta un tamaño de aproximadamente 1200 es de 56. El valor de limitación del caso de la resolución vertical hasta un tamaño de 1536 o más o aproximadamente 2304 es 120. El valor de limitación del caso de la resolución vertical de aproximadamente 4096 es 248.
Ejemplo de la sintaxis La FIG. 21 es un diagrama que ilustra un ejemplo de la sintaxis de un SPS, la semántica sobre el SPS, y el perfil. El ejemplo de la FIG.21 es un ejemplo en el cual, se usa la formula (1) en la cual, los valores de limitación de acuerdo con la resolución, es decir, a=0.05 y Log2LCUtamaño=6, se determinan como el valor de limite del rango (valor de limitación) de la dirección V.
En el caso del ejemplo de la FIG.21, como se muestra en la sintaxis, disparidad_vector_limitación_bandera se establece en una extensión del SPS.
La semántica para esto se define de la siguiente forma. disparidad_vector_limitación_bandera =1 especifica que el vector de disparidad está limitado en una secuencia de video codificado (CVS).
Cuando la disparidad_vector_limitación_bandera es 1, el componente vertical del vector de disparidad es igual o menor al valor de limitación (dv_limitación_valor) en pixeles. Varios valores de limitación se especifican en la Fórmula (1) en la cual a=0.05 y Log2LCUtamaño=6.
Cuando disparidad_vector_limitación_bandera es 0, la longitud del vector de disparidad no está limitada. Entonces, cuando la bandera está ausente, es preferible que su valor sea 0.
Además, el perfil estereoscópico se define de la siguiente forma. Los flujos de bitios que se conforman al perfil estereofónico obedecen las siguientes limitaciones. La extensión del SPS en un punto de vista no base tiene solo la disparidad_vector_limitación_bandera la cual es igual a 1.
Valor de limitación de acuerdo con el nivel Enseguida, se describirá un método para obtener el valor de limitación de acuerdo con el nivel. Aunque el valor de limitación en si es igual como en el caso de la resolución vertical descrito anteriormente, el método de representación en el estándar escrito es diferente. Además, cuando se codifican cuadros de imagen pequeños a alto nivel, la limitación se mitiga. Es decir, por ejemplo, cuando se codifica una imagen de alta definición (HD) a un nivel 5, el valor de limitación es solo de 56 en el caso de la resolución vertical, pero el valor de limitación resulta de 120 en el caso del nivel, de modo tal que es posible mitigar la limitación más allá que en el caso de la resolución vertical.
La FIG. 22 es un diagrama que ilustra un ejemplo de la semántica. También, el ejemplo de la FIG.22 es un ejemplo en el cual, el valor de la limitación de acuerdo con el nivel, se usa como el valor de limite del rango (valor de limitación) de la dirección V. El nivel representa cómo muchos pixeles se incluyen y el rango de una cierta extensión puede ser establecido en el lado de la codificación.
Disparidad_vector_limitación_bandera=l específica que el vector de disparidad está limitado en la CVS.
Cuando disparidad_vector_limitación_bandera=l, el componente vertical del vector de disparidad es igual o menos al valor de limitación (dv_limitación_valor) en pixeles. Varios valores de limitación se especifican en la Tabla A (a la derecha en la FIG.22).
En la Tabla A, se muestra el nivel, la altura máxima, y el valor de limitación (dv_limitación_valor). También, el valor después del punto decimal en el nivel representa la diferencia de la velocidad de transmisión de imágenes de la dirección temporal. El valor de limitación es 56 cuando el valor entero del nivel es hasta 4. El valor de limitación es 120 cuando el valor entero del nivel es 5. El valor de limitación es 248 cuando el valor entero del nivel es 6.
Además, cuando disparidad_vector_limitación_bandera es 0, la longitud del vector de disparidad no está limitada. Entonces, cuando la bandera está ausente, es preferible gue su valor sea 0.
Como se describe anteriormente, es posible mitigar la limitación estricta en el aumento del tamaño de las imágenes usando un valor de limitación de acuerdo con la resolución vertical de las imágenes o el nivel. Por lo tanto, aun cuando el tamaño de las imágenes aumente, es posible procesar en paralelo imágenes de una pluralidad de puntos de vista.
También, aunque anteriormente se ha descrito un ejemplo de dos puntos de vista del punto de vista base y el punto de vista dependiente, la presente teenología no se limita a los dos puntos de vista. La presente tecnología también puede ser aplicada a la codificación y la decodificación de imágenes de puntos de vista múltiples además de los dos puntos de vista.
Además, aunque la presente tecnología también puede ser aplicada a una SHVC el cual es un estándar para la codificación escalable de video (codificación jerárquica) a ser descrita posteriormente, la necesidad de las siguientes limitaciones también se considera, además del ejemplo descrito anteriormente, cuando la presente teenología se aplica a la SHVC. 5. Quinta modalidad Limitaciones cuando la presente tecnología se aplica a la SHVC Enseguida, se describirán las limitaciones necesarias cuando la presente tecnología se aplica a la SHVC.
En el ejemplo de la FIG.23, se muestra una capa base y una capa de mejoramiento. En la imagen actual Curr. De la capa de mejoramiento, el MV se encuentra para una imagen de referencia ref como un vector pronosticado a corto plazo. Además, en la imagen actual Curr. de la capa de mejoramiento, V_IL (Inter Capas) se encuentra para una imagen rSpic como un vector pronosticado a largo plazo. Esta imagen rSpic, es una imagen obtenida al aplicar muestreo ascendente a una imagen de referencia de baja resolución ripie de una capa base dentro de la DPB, por ejemplo, la DPB 235 de la FIG.2 (la DPB 226 de la FIG. 11), de acuerdo con un proceso de remuestreo.
En este caso, la necesidad de los siguientes tres tipos de limitaciones se considera para MV_IL el cual es un vector pronosticado entre las capas (vector pronosticado ínter capas) .
• MV_IL obligatoriamente necesita ser 0.
• MV_IL necesita ser de un pixel o menos.
• MV_IL necesita ser de X pixeles o menos.
En términos de la limitación MV_IL=0 Primero, con referencia a la FIG.24, se describirá la limitación de MV_IL=0. En el ejemplo de la FIG. 24, en la imagen actual Curr. de la capa de mejoramiento, el vector pronosticado ínter capas MV_IL se encuentra para una imagen rSpic. Como se describe anteriormente con referencia a la FIG. 23, la imagen rSpic es una imagen obtenida al aplicar muestreo ascendente a una imagen de referencia de baja resolución ripie de la capa base dentro de la DPB 25 (la DPB 226) de acuerdo con un proceso de remuestreo.
Aquí, cuando la limitación de MV_IL=0 está presente, el perfil de video escalable se define de la siguiente forma. Los flujos de bitios que se conforman al perfil de video escalable obedecen las siguientes limitaciones. Los vectores ínter capas pronosticados tanto del componente horizontal y el componente vertical son iguales a 0.
Puesto que solo se hace referencia a los pixeles de la misma posición por la limitación de MV_IL=0 como se describe anteriormente, la implementación resulta más fácil.
En términos de la limitación (MV IL es de un pixel o menos) Primero, con referencia a la FIG.25, se describirá la limitación de que MV_IL sea de un pixel o menos. En el ejemplo de la FIG. 25, en la imagen actual Curr. de la capa de mejoramiento, el vector ínter capas pronosticado MV_IL se encuentra para una imagen rSpic. Como se describe anteriormente con referencia a la FIG.23, la imagen rSpic es una imagen obtenida al aplicar muestreo ascendente a una imagen de referencia de baja resolución ripie de la capa base dentro de la DPB 25 (la DPB 226) de acuerdo con un proceso de remuestreo.
Aquí, los filtros en el momento del muestreo descendente del momento de creación de la imagen de baja resolución de la imagen original en la capa base y el momento del muestreo ascendente en la DPB 25 (la DPB 226) son diferentes, de modo tal que se puede provocar desplazamiento de fase.
Por ejemplo, la imagen original de la entrada de la capa de mejoramiento se configura para incluir el primero al cuarto pixeles desde la izquierda. Entonces, aun cuando haya una imagen reducida A con muestreo descendente a la temporización de un segundo pixel y la temporización de un cuarto pixel desde la izquierda de la imagen original y la imagen reducida B con muestreo descendente en la temporización entre el primero y el segundo pixeles y la temporización entre el tercero y el cuarto pixeles desde la izquierda de la imagen original, solo el lado de la codificación conoce el método de creación de la imagen reducida.
Es decir, puesto que el lado de la decodificación no conoce el método de creación de la imagen reducida, una imagen agrandada muestreada de forma ascendente por el lado de la decodificación tiene un desplazamiento con relación a la imagen original cuando el muestreo ascendente se lleva a cabo en segundo lugar para los quintos pixeles desde la izquierda en el tiempo del muestreo en la DPB 25 (la DPB 226).
Por lo tanto, de acuerdo con la limitación de que MV_IL sea de un pixel o menos, es posible absorber el desplazamiento de fase en el MV_IL aun cuando el desplazamiento de fase sea provocado por la diferencia del filtro entre el tiempo del muestreo descendente en el momento de creación de la imagen de baja resolución de la imagen original en la capa base y el tiempo de muestreo ascendente en la DPB 25 (la DPB 226).
Aquí, cuando está presente la restricción de que MV_IL sea de un pixel o menos, el perfil de video escalable se define de la siguiente forma. Los flujos de bitios que se conforman al perfil de video escalable obedecen las siguientes limitaciones. Los vectores ínter capas pronosticados tanto del componente horizontal y el componente vertical son iguales a 0 son menores a 1 en pixeles.
En términos de la limitación (MV_IL es X pixeles o menos) Primero, con referencia a la FIG. 26, se describirá la limitación de que MV_IL es X pixeles o menos. En el ejemplo de la FIG. 26, en la imagen actual Curr. de la capa de mejoramiento, se encuentra un vector Ínter capas pronosticado MV_IL para una imagen rSpic. Como se describe anteriormente con referencia a la FIG.23, la imagen rSpic es una imagen obtenida al aplicar muestreo ascendente a una imagen de referencia de baja resolución ripie de la capa base dentro de la DPB 25 (la DPB 226) de acuerdo con un proceso de remuestreo.
Aquí, por ejemplo, cuando se lleva a cabo la captura de imágenes en diferentes sistemas, de modo tal que una imagen de baja resolución y una imagen de alta resolución usan diferentes lentes o cuando la imagen de baja resolución se crea mediante la segmentación de la imagen de alta resolución en el centro de una región de interés (ROI), es efectivo que no haya limites en el MV_IL.
Sin embargo, aun en este caso, es preferible que esté presente una limitación que considera la decodificación en paralelo. Por ejemplo, si existe el MV_IL dentro de la limitación indicada por la siguiente Fórmula (2), es posible decodificar la capa base y la capa de mejoramiento en paralelo .
Fórmula Matemática 2 limitación = (escala_factor*BL-CTBtamaño-EL_CTBtamaño)-8...(2) Aquí, el escala_factor denota la relación de alargamiento, BL_CTBtamaño y EL_CTBtamaño denotan el tamaño del CTB de la capa base y el CTB de la capa de mejoramiento, respectivamente.
Como se ilustra a la derecha de la FIG. 26, específicamente, cuando el tamaño del CTB de la capa base es 64 y la relación de alargamiento es 2, la decodificación puede iniciar si un CTB de la capa base se decodifica y un MV de un primer CTB de la capa de mejoramiento es de 56 pixeles o menos.
Aquí, cuando está presente la limitación de que MV_IL sea de X pixeles o menos, el perfil de video escalable se define de la siguiente forma. Los flujos de bitios que se conforman al perfil de video escalable obedecen las siguientes limitaciones. Los vectores ínter capas pronosticados tanto del componente horizontal y el componente vertical son iguales a 0 o menores a 1 en pixeles. Varios valores de limitación ínter capas se especifican en la Fórmula (2) descrita anteriormente. Por ejemplo, el valor de limitación ínter capas resulta de (2x64-64)-8=56 [pixeles].
Como se describe anteriormente, en el caso de la SHVC (es decir, la codificación de video escalable), es posible procesar imágenes de una pluralidad de capas (puntos de vista) en paralelo, aun cuando se aplique una limitación del rango del MV como se describe anteriormente.
Además, aunque han sido descritos tres ejemplos en los cuales se define un límite del MV en el perfil, por ejemplo, una bandera puede ser transmitida desde el lado de la codificación al lado de la decodificación al establecer la ACTIVACIÓN/DESACTIVACIÓN de la presencia/ausencia del límite, como la bandera.
Además, aunque se ha descrito un ejemplo en el cual la bandera relacionada con el valor de limite del rango del MV, descrita anteriormente se escribe en el SPS o SPS_EXT, la bandera también puede ser transmitida al lado de la decodificación al establecer la bandera en VPS_EXT, o los similares como se describirá posteriormente. También, a partir de aquí, inter_puntos de vista_mv_vert_limitación_bandera representa una bandera relacionada con el valor de límite del rango del MV. 6. Sexta modalidad Otro ejemplo (VPS_EXT) de la sintaxis La FIG. 27 es un diagrama que ilustra un ejemplo de la sintaxis de VPS_EXT y la semántica sobre VPS_EXT.
Como se muestra en la sintaxis del ejemplo de la FIG.27, inter_puntos de vista_mv_vert_limitación_bandera se establece para cada una a (número máximo de capas-1) de las capas (es decir, cada capa). También, puesto que esto es innecesario en el punto de vista base el número de capas es superior a 0.
La semántica se define de la siguiente forma.
Inter_puntos de vista_mv_vert_li itación_bandera[i] especifica el valor de inter_puntos de vista_mv_vert_limitación_bandera el cual es un elemento de la sintaxis en unidades de capa de abstracción de red (NAL) de una capa de codificación de video de la iésima capa. Para i en un rango de 1 a vps_max_capas_menosl, inclusive, cuando no existe la bandera, inter_puntos de vista_mv_vert_limitación_bandera[i] se supone que es igual a 0.
Inter_puntos de vista_mv_vert_limitación_bandera igual a 1 especifica que el componente vertical de los MVs usados para la predicción ínter capas se limita en el CVS. Cuando inter_puntos de vista_mv_vert_limitación_bandera es igual a 1, el componente V de los MVs usados para la predicción ínter capas serán iguales o menores a 56 en unidades de pixeles de luma .
Cuando inter_puntos de vista_mv_vert__limitación_bandera es igual a 0, no hay limitación indicada por esta bandera para el componente V de los MVs usados para la predicción ínter capas .
Limitación en el perfil estereoscópico La FIG. 28 ilustra un ejemplo de la limitación en el perfil estereoscópico de cada una de los casos (llamados de aquí en adelante como el caso de SPS_EXT) en los cuales una bandera relacionada con el valor de límite del rango del MV se escribe en la sintaxis de SPS_EXT y el caso (llamado de aquí en adelante como el caso del VPS EXT) en el cual una bandera relacionada con el valor del límite del rango del MV se escribe en la sintaxis de VPS_EXT. En el perfil estereoscópico del caso de la escritura en la sintaxis de SPS_EXT, solo la parte rodeada por un cuadro se cambia si la bandera se escribe en la sintaxis de VPS_EXT.
Es decir cuando la bandera se escribe en SPS_EXT, se escribe "Cuando punto de vistaID[i] es mayor a 0, inter_puntos de vista_mv_vert_limitación_bandera es igual a 1 en la estructura de SPS_EXT del SPS de la capa activa en una imagen codificada en la cual el id de la capa es i".
Por otro lado, cuando la bandera se escribe en la sintaxis de VPS_EXT, se hace un cambio a "Cuando punto de vistaID[i] es mayor a 0, inter_puntos de vista_mv_vert_limitación_bandera de punto de vista[i] es igual a 1 en la estructura de VPS_EXT del SPS de la capa activa en una imagen codificada con un id del punto de vista igual a i".
Diferencia entre el caso de SPS_EXT y el caso de VSP_EXT La FIG. 29 es un diagrama que ilustra la diferencia téenica entre el caso de SPS_EXT y el caso de VSP_EXT.
Puesto que la codificación para cada punto de vista es posible en el caso de VSP_EXT como el mismo punto como el caso de SPS_EXT, la transcodificación del nivel del flujo de bitios se proporciona como permitida.
Por otro lado, como un primer punto, de los diferentes puntos del caso de VSP_EXT del caso de SPS_EXT, el VSP se posiciona en la parte superior de la secuencia y es una sintaxis de nivel más alto que SPS, y la información resumida para cada SPS (punto de vista) se incluye. Por lo tanto, cuando se realiza la escritura en VSP_EXT y el punto de vista es múltiples puntos de vista, la limitación del flujo de bitios se conoce en cada punto de vista previo antes que cada SPS sea procesado. Por lo tanto, la dispersión de la carga del núcleo del decodificador resulta sencilla.
Específicamente, como se ilustra en la FIG. 30, es preferible establecer una bandera relacionada con el valor del límite del rango del MV en 0 puesto que la eficiencia de la codificación es deficiente en una relación de referencia de la dirección vertical en la FIG.30, por ejemplo, en el caso de nueve puntos de vistas. Por otro lado, en una relación de referencia de la dirección horizontal en la FIG. 30, se puede aplicar una limitación al establecer a 1 la bandera relacionada con el valor de limite del rango del MV.
Puesto que la información de esta limitación es conocida previamente en el caso de VSP_EXT, dos puntos de vista los cuales se posicionan horizontalmente, por ejemplo, en la FIG. 30, se conocen previamente para estar basados en un perfil estereoscópico en el cual se establece la limitación del rango del MV y los dos puntos de vista pueden ser extraídos como un par estereoscópico. Por lo tanto, se facilita la dispersión de la carga.
Además, regresando a la FIG.29, como un segundo punto de vista diferente al caso de VSP_EXT del caso de SPS_EXT, cuando se transmite la sintaxis que indica que una bandera se establece solamente en el caso de un perfil 3D como un ejemplo modificado, su determinación se facilita.
Además, en Ying Chen, Ye-Kui Wang "AHG7: Comments on parameter sets for MV-HEVC", JCT3V-D0196, 2013.4.13 (conocido de aquí en adelante como Literatura de Referencia 1), se propone un proceso en el cual inter_puntos de vista_mv_vert_limitación_bandera se establece en VPS_EXT.
Sin embargo, como se ilustra en la FIG.31, solo 1 bitio se establece en la bandera en la sintaxis. Por lo tanto, en la propuesta de la Literatura de Referencia 1, es difícil escribir la información para cada punto de vista cuando el número de puntos de vista es de dos o más.
Por lo tanto, aun en la FIG.31, la bandera relacionada con el valor del límite del rango del MV se establece en 0 puesto que la eficiencia de la codificación es deficiente en la relación de referencia de la dirección vertical como en el caso de la FIG.30, por ejemplo, en el caso de nueve puntos de vista. Sin embargo, en el caso de la propuesta de la Literatura de Referencia 1, a diferencia del caso de la presente teenología, es difícil aplicar individualmente la limitación del rango del MV a la literatura de referencia de la dirección horizontal de la FIG.31.
Otro ejemplo (VUI_EXT) de la sintaxis La FIG. 32 es un diagrama que ilustra un ejemplo de la sintaxis de VUI_EXT.
Como se ilustra en la sintaxis del ejemplo de la FIG.32, inter_puntos de vista_mv_vert_limitación_bandera se incluye en flujo de bitios_restricción_bandera en VUI_EXT. La limitación del flujo de bitios se escribe en flujo de bitios_restricción_bandera.
También, puesto que VUI_EXT es uno de SPS_EXT y se incluye en la segunda mitad del SPS como se ilustra en la sintaxis del ejemplo de la FIG. 32, la semántica de la limitación del perfil estereoscópico es sustancialmente igual al caso de SPS_EXT.
Además, en términos de la diferencia téenica, el caso de VUI_EXT es sustancialmente el mismo que el caso de SPS_EXT. Sin embargo, en el caso de VUI_EXT, como la diferencia con el caso de SPS_EXT, existe la ventaja de que el resultado de la decodificación (= imagen decodificada) es obviamente idéntico independientemente del valor de la bandera y se conoce fácilmente puesto que la VUI es un lugar en el cual se escribe la información que no afecta el resultado de la decodificación. Además, puesto que esta bandera es una bandera de limitación de la codificación, es apropiado que la bandera este en las limitaciones del flujo de bitios.
También, puesto que solo el lugar se establecimiento de la bandera es diferente y se proporciona un proceso básicamente similar en comparación con el caso en el cual la bandera se establece en SPS(_EXT) aun cuando la bandera relacionada con el valor de limite del rango del MV descrito anteriormente se establece en VPS_EXT o VUI_EXT, se omite la descripción redundante de la misma.
Es decir, cada proceso relacionado con la bandera a ser establecida en VPS_EXT o VUI_EXT es un proceso a ser llevado a cabo por el dispositivo para codificación de imagen de puntos de vista múltiples de la FIG. 1 y el dispositivo 211 para decodificación de imagen de puntos de vista múltiples de la FIG. 10 descrito anteriormente. Por consiguiente, el dispositivo para codificación de imagen de puntos de vista múltiples de la FIG. 1 y el dispositivo 211 para decodificación de imagen de puntos de vista múltiples de la FIG. 10 descritos anteriormente llevan a cabo procesos básicamente similares a aquellos (el proceso de codificación de imagen de puntos de vista múltiples de la FIG. 7, el proceso para codificación de imagen de puntos de vista dependiente de la FIG. 9, el proceso de decodificación de imagen de puntos de vista múltiples de la FIG.13, el proceso de codificación de la sintaxis de la FIG.16, el proceso de decodificación de imagen de punto de vista dependiente, y los similares) del caso del SPS.
Como se describe anteriormente, aun cuando la bandera relacionada con el valor de limite del rango del MV descrita anteriormente, se establece en VPS_EXT, VUI_EXT, o los similares, es posible procesar imágenes de una pluralidad de puntos de vista en paralelo, como en el caso en el cual la bandera se establece en SPS_EXT.
También, ha sido descrito anteriormente un ejemplo en el cual la bandera relacionada con el valor de limite se transmite como un método para limitar (restringir) el rango del MV. Aquí, un proceso en el cual la información del retardo de la decodificación ínter capas se escribe en VUI_EXT se propone en Robert Skupin Suhring, Yago Sánchez de la Fuente, Thomas Schierl, A.K. Ramasibramonian, Y. Chen, Y.-K. Wang V.
Seregin, L. Zhang, T. Ikai, y Y. Yamamoto, "Inter-layer delay indication in VUI (combining aspects of JCTVC-M0200, JCT3V-D0064 y JCT3V-D0199) ", JCTVC-M0463, 2013.5.24 (llamado de aquí en adelante como la Literatura de Referencia 2).
Como se describe enseguida, como un método distinto a aquel de la bandera descrita anteriormente, el rango del MV también puede ser limitado (restringido) en un método (es decir, establecimiento por una línea de CTU) descrito en la propuesta de la Literatura de Referencia 2.
También, aquí, en la presente descripción, una CTU se establece como una unidad que incluye un parámetro cuando el procesamiento se lleva a cabo en un bloque del árbol de codificación (CTB) de una LCU y su tamaño de LCU (nivel).
Además, una unidad de codificación (CU) que constituye la CTU se establece como una unidad que incluye un parámetro cuando el procesamiento se lleva a cabo en un bloque de codificación (CB) y su base (nivel) de CU. 7. Séptima modalidad Otro ejemplo de la limitación del rango del MV La FIG. 33 es un diagrama que ilustra un ejemplo de la sintaxis en la propuesta de la Literatura de Referencia 2.
Como se ilustra en la FIG. 33, en la propuesta de la Literatura de Referencia 2, la información de retardo de la decodificación ínter capas (la información del retardo de la decodificación) se escribe en flujo de bitios_restricción_bandera en VUI_EXT o SPS_EXT.
La sintaxis de la FIG. 33 se describirá en el orden desde la parte superior. En la información de retardo de la decodificación ínter capas, o 0 el número de capas de referencia se escribe en num_retardo_ref_capas. Si num_retardo_ref_capas es 0, se indica que no hay limitaciones del rango del MV. El siguiente bucle se repite el número escrito de capas de referencia en el mismo.
El número de líneas de CTU de la dirección vertical a ser retardado desde la capa de referencia se escribe en min_espacial_segmento_retardo[i]. Este tamaño de la CTU depende del tamaño de la CTU a la que se debe hacer referencia. La información del retardo (presencia/ausencia del retardo) de la dirección x se escribe en CTU_basado_retardo_habilitado_bandera[i]. El número de CTUs (de la dirección X) a ser retardados desde el CTB de la misma posición como aquella de la capa de referencia se escribe en min_retardo_ctb_horizontal[i].
Además, puesto que la información del retardo de la decodificación ínter capas está presente en la VUI (SPS_EXT), la información puede ser escrita para cada capa. Por ejemplo, como se ilustra en la FIG.33, no se puede hacer referencia a la información en el caso de la capa 2 y es posible escribir la información del retardo tanto para la capa 0 y la capa 1 o cualquiera de las mismas.
Ejemplo de establecimiento de la sintaxis Además, con referencia a la FIG. 34, se describirá el ejemplo de establecimiento de la sintaxis de la FIG.33. En el ejemplo de la FIG.34, se muestra la capa 0 (capa base) y la capa 1.
La CU actual de la capa 1 se muestra. En la capa 0, una CU colocalizada (llamada de aquí en adelante como Col CU), la cual es una CU correspondiente a la CU actual (llamada de aquí en adelante como Curr CU) se muestra en la misma posición que aquella de la CU actual de la capa 1.
Aquí, por ejemplo, si se completa la decodificación hasta la CU sombreada, en la capa 0, SPS_EXT_VUI de la capa 1 se establece como sigue, cuando la Curr CU de la capa 1 puede ser decodif icada . num_retardo_ref_capas=l min_espacial_segmento_retardo[0]=2 ctu_basado_retardo_habilitado_bandera[0]=1 min_retardo_ctb_horizontal[0]=3 Es decir, el número de capas de referencia es 1 y el número de lineas de CTU a ser retardadas desde la casa de referencia es 2. El retardo de la dirección x está presente y el valor del retardo se establece para ser 3 CTUs desde la Col CU.
Aquí, la limitación del rango del MV por la presente teenología es MV_V £ 56 pixeles. Esto corresponde a un retardo de una línea cuando CTUtamaño = 64, corresponde a un retardo de dos líneas cuando CTUtamaño = 32 y corresponde a un retardo de cuatro líneas cuando CTUtamaño =16.
Es decir, esto corresponde al retardo de líneas indicado por la siguiente Fórmula (3). También, la base del Log en la Fórmula (3) es 2.
Fórmula Matemática 3 1<< (6-Log2CTUtamaño) ...(3) Por lo tanto, el mismo método de escritura como en el caso de la bandera como la información de retardo es posible al establecer un valor de retardo de la dirección vertical mediante la Fórmula (3) en el establecimiento de las líneas de CTU .
Limitación del perfil estereoscópico La FIG.35 ilustra un ejemplo de la limitación del perfil estereoscópico de cada uno de los casos en los cuales la bandera relacionada con el valor de limite del rango del MV se escribe en la sintaxis de SPS_EXT, y el caso en el cual la bandera se establece en la linea de CTU en la VUI. También, en el perfil estereoscópico del caso en el cual la bandera se escribe en la sintaxis de SPS_EXT, solo la parte rodeada por un cuadro se cambia si la bandera se escribe en la linea de CTU en la VUI.
Es decir, cuando la bandera se escribe en SPS_EXT, se escribe "Cuando punto de vistaID[i] es mayor a 0, inter_puntos de vista_mv_vert_limitación_bandera es igual a 1 en la estructura de SPS_EXT del SPS de la capa activa en una imagen codificada en la cual el id de la capa es i".
Por otro lado, cuando la bandera se establece por la linea de CTU, se hace un cambio a "Cuando Punto de VistaID[i] es mayor a 0, num_retardo_ref_capas es igual a 1 y min_espacial_segmento_retardo [0] es igual a 1 << (6-refLog2CtbTamañoY) en la estructura de SPS_EXT del SPS de la capa activa en la imagen codificada con un id de la capa igual a i".
Es decir, el caso de la bandera en SPS_EXT significa que el vector se limita a su rango, el caso del establecimiento por la línea de CTU significa que la decodificación puede iniciar si esta espera a esa extensión, y ambos son sinónimos para el lado de la decodificación.
Diferencia entre el caso de SPS_EXT y el caso de la limitación por la linea de CTU La FIG. 36 es y diagrama que ilustra la diferencia téenica entre el caso de SPS_EXT (es decir, el caso de la bandera) y la limitación por la linea de CTU.
Como la información de retardo del lado de la decodificación, la limitación por la linea de CTU es sustancialmente igual al caso de SPS_EXT como se describe anteriormente.
Por otro lado, en términos de la limitación por la linea de CTU, la diferencia con el caso de SPS_EXT es que la limitación de MV_V £ 56 pixeles puede ser cambiada de acuerdo con la ACTIVACIÓN/DESACTIVACIÓN de un filtro de bucle en un plano de referencia para el lado de la decodificación o si el vector de disparidad de la dirección Y tiene precisión entera.
Específicamente, cuando el filtro de bucle se desactiva, es posible extender el rango del MV a MV_V £ 60 (= 64-4 el cual es el desplazamiento del filtro de compensación del movimiento (MC) pixeles. Además, puesto que el filtro de MC es innecesario cuando la longitud del MV es un entero, es posible extender el rango del MV a MV_V £ 60 (=64-4 el cual es el desplazamiento del filtro de bucle) pixeles. Además, cuando el filtro de bucle se desactiva y la longitud del MV es un entero, es posible extender el rango del MV a MV_V <) 64 pixeles.
Es decir, es posible mitigar la limitación en el lado de la codificación. Además, por el contrario, es difícil llevar a cabo un ajuste fino de 56 pixeles en la limitación por la línea de CTU.
También, en el caso de la limitación por la línea de CTU y el caso del establecimiento de la bandera, solo existe una diferencia en la información de establecimiento de si la bandera se establece o si el valor de retardo de la dirección vertical en la limitación de la línea de CTU se establece en la Fórmula (3) descrita anteriormente. Es decir, puesto que solo existe una diferencia en la información de establecimiento y la diferencia de si se determina una ramificación en el proceso por la bandera o el valor del retardo de la dirección vertical en el establecimiento de la línea de CTU, y otras (por ejemplo, el contenido del procesamiento, los tiempos de procesamiento, y los similares) son básicamente similares en el proceso, la descripción redundante de los mismos se omite.
Es decir, cada proceso relacionado con el establecimiento por la CTU también se lleva a cabo por el dispositivo 11 para codificación de imagen de puntos de vista múltiples de la FIG. 11 y el dispositivo 211 para decodificación de imagen de puntos de vista múltiples de la FIG. 10, descritos anteriormente. Excepto por las diferencias de la determinación en la ramificación de la información de establecimiento, se llevan a cabo procesos básicamente similares a los procesos (el proceso para codificación de imagen de puntos de vista múltiples de la FIG.7, el proceso para codificación de imagen de punto de vista dependiente de la FIG. 9, el proceso para decodificación de imagen de puntos de vista múltiples de la FIG. 13, el proceso de codificación de la sintaxis de la FIG. 16, el proceso para codificación de imagen de punto de vista dependiente de la FIG.17, y los similares) del caso del SPS por el dispositivo 11 para codificación de imagen de puntos de vista múltiples de la FIG. 1 y el dispositivo 211 para decodificación de imagen de puntos de vista múltiples de la FIG. 10, descritos anteriormente.
Como se describe anteriormente aun en el establecimiento de la linea de CTU, es posible procesar imágenes de una pluralidad de puntos de vista en paralelo como en la bandera de limitación del MV.
Como se describe anteriormente, el esquema de HEVC se configura para ser usado como el esquema de codificación en la base. Sin embargo, la presente descripción no se limita a esto. Es posible aplicar otros esquemas de codificación/decodificación.
Además, la presente descripción, por ejemplo, puede ser aplicada a un dispositivo para codificación de imagen y un dispositivo para decodificación de imagen a ser usados cuando la información de la imagen (el flujo de bitios) comprimida mediante una transformación ortogonal, tal como una transformación discreta del coseno y compensación del movimiento como en el esquema HEVC o los similares, se recibe a través de medios de red tales como radiodifusión por satélite, televisión por cable, la Red Internacional, y un teléfono móvil. Además, la presente descripción puede ser aplicada a un dispositivo para codificación de imagen y un dispositivo para decodificación de imagen a ser usados cuando el procesamiento se lleva a cabo sobre los medios de almacenamiento tales como discos ópticos, discos magnéticos y memorias de destello. 8. Octava modalidad Aplicación la codificación y la decodificación de imagen de puntos de vista múltiples La serie de procesos descrita anteriormente puede ser aplicada a la codificación y la decodificación de imagen de puntos de vista múltiples. La FIG. 37 ilustra un ejemplo del esquema de codificación de la imagen de puntos de vista múltiples .
Como se ilustra en la FIG. 37, la imagen de puntos de vista múltiples incluye imágenes de una pluralidad de puntos de vista, y una imagen de un punto de vista predeterminado entre la pluralidad de puntos de vista se designa para una imagen de un punto de vista base. Una imagen de cada punto de vista distinto a la imagen del punto de vista base se trata como una imagen de un punto de vista no base.
Cuando se lleva a cabo la codificación de la imagen de puntos de vista múltiples como en la FIG.37, la información de la limitación del rango de búsqueda de un MV ínter puntos de vista, la cual es la información relacionada con el límite de la dirección V del rango de búsqueda del MV ínter puntos de vista puede ser establecida en cada punto de vista (mismo punto de vista). Además, en cada punto de vista (punto de vista distinto), la información del límite del rango de búsqueda del MV ínter puntos de vista, establecida en otro punto de vista, puede ser compartida.
En este caso, la información del límite del rango de búsqueda del MV ínter puntos de vista, establecida en el punto de vista base se usa en al menos un punto de vista no base. Alternativamente, por ejemplo, la información del límite del rango de búsqueda del MV ínter puntos de vista establecida en el punto de vista no base (punto de vista_id=l) se usa en la menos uno del punto de vista base y el punto de vista no base (punto de vista_id= ).
Por lo tanto, es posible limitar la dirección V del rango de búsqueda del MV ínter puntos de vista. Por lo tanto, es posible procesar las imágenes de la pluralidad de puntos de vista en paralelo.
Dispositivo para codificación de imagen de puntos de vista múltiples La FIG.38 es un diagrama que ilustra un dispositivo para codificación de imagen de puntos de vista múltiples el cual lleva a cabo la codificación de la imagen de puntos de vista múltiples descrita anteriormente. Como se ilustra en la FIG. 38, el dispositivo 600 para codificación de imagen de puntos de vista múltiples tiene una sección 601 de codificación, una sección 602 de codificación, y una sección 603 de multiplexión.
La sección 601 de codificación codifica una imagen de punto de vista base y genera un flujo codificado de la imagen de punto de vista base. La sección 602 de codificación codifica una imagen de punto de vista no base y genera un flujo codificado de la imagen de punto de vista no base. La sección 603 de multiplexión multiplexa el flujo codificado de la imagen de punto de vista base generado en la sección 601 de codificación y el flujo codificado de la imagen de punto de vista no base generado en la sección 602 de codificación, y genera el flujo codificado de la imagen de puntos de vista múltiples .
El dispositivo 11 para codificación de imagen de puntos de vista múltiples (FIG.1) puede ser aplicado a la sección 601 de codificación y la sección 601 de codificación del dispositivo 600 para codificación de imagen de puntos de vista múltiples. En este caso, el dispositivo 600 para codificación de imagen de puntos de vista múltiples establece y transmite la información del limite del rango de búsqueda de un MV ínter puntos de vista establecida por la sección 601 de codificación y la información del límite del rango de búsqueda del MV ínter puntos de vista establecida por la sección 602 de codificación.
También, la información del límite del rango de búsqueda del MV ínter puntos de vista establecida por la sección 601 de codificación como se describe anteriormente, pueden ser configuradas para ser establecidas y transmitidas de modo tal que la información el límite del rango de búsqueda se comparte y se usa por las secciones de codificación 601 y 602. En contraste, la información del límite del rango de búsqueda del MV ínter puntos de vista establecida colectivamente por la sección 602 de codificación puede ser establecida y transmitida de modo tal que la información del límite del rango de búsqueda del sea compartida y usada por las secciones de codificación 601 y 602.
Dispositivo para decodificación de imagen de puntos de vista múltiples La FIG. 39 es un diagrama que ilustra el dispositivo para decodificación de imagen de puntos de vista múltiples para llevar a cabo la decodificación de la imagen de puntos de vista múltiples descrita anteriormente. Como se ilustra en la FIG. 39, el dispositivo 610 para decodificación de imagen de puntos de vista múltiples tiene una sección 611 de multiplexión, una sección 612 de decodificación, y una sección 613 de decodificación.
La sección 611 de multiplexión multiplexa de forma inversa el flujo codificado de la imagen de puntos de vista múltiples en el cual se multiplexan el flujo codificado de la imagen de punto de vista base y el flujo codificado de la imagen de punto de vista no base, y extrae el flujo codificado de la imagen de punto de vista base y el flujo codificado de la imagen de punto de vista no base. La sección 612 de decodificación decodifica el flujo codificado de la imagen de punto de vista base extraído por la sección 611 de multiplexión y obtiene una imagen de punto de vista base. La sección 613 de decodificación decodifica el flujo codificado de la imagen de punto de vista no base extraído por la sección 611 de multiplexión y obtiene una imagen de punto de vista no base .
Es posible aplicar el dispositivo 211 para decodificación de imagen de puntos de vista múltiples (FIG.10) a la sección 612 de decodificación y la sección 613 de decodificación del dispositivo 610 para decodificación de imagen de puntos de vista múltiples. En este caso, el dispositivo 610 para decodificación de imagen de puntos de vista múltiples lleva cabo un proceso usando la información del limite del rango de búsqueda del MV ínter puntos de vista establecida por la sección 601 de codificación y decodificada por la sección 612 de decodificación y la información del límite del rango de búsqueda del MV ínter puntos de vista establecida por la sección 602 de codificación y decodificada por la sección 613 de decodificación.
También, la información del límite del rango de búsqueda del MV ínter puntos de vista establecida por la sección 601 de codificación (o la sección 602 de codificación) como se describe anteriormente, puede ser establecida y transmitidas para ser compartida y usada por las secciones 601 y 602. En este caso, en el dispositivo 610 para decodificación de imagen de puntos de vista múltiples, se lleva cabo un proceso usando la información del límite del rango de búsqueda del MV ínter puntos de vista, establecida por la sección 601 de codificación (o la sección 602 de codificación) y decodificada por la sección 612 de decodificación (o la sección 613 de decodificación) .
. Novena modalidad Aplicación para la codificación y la decodificación de imagen jerárquica La serie de procesos descrita anteriormente puede ser aplicada a la codificación y la decodificación de imágenes jerárquicas. La FIG. 40 ilustra un ejemplo de un esquema de codificación de imagen de puntos de vista múltiples.
Como se ilustra en la FIG. 40, una imagen jerárquica incluye imágenes de una pluralidad de capas (resoluciones), y una imagen de una capa de una predeterminada de la pluralidad de resoluciones se designa en la capa o la imagen base. La imagen de cada capa distinta a la imagen de la capa base se maneja como imagen de la capa no base.
Cuando se lleva a cabo la codificación de la imagen jerárquica (escalabilidad espacial) como en la FIG. 40, es posible establecer la información del limite del rango de búsqueda del MV ínter puntos de vista en cada capa (la misma capa). También, en el caso de la imagen jerárquica. El MV ínter puntos de vista se muestra como el mismo MV ínter puntos de vista. Además, es posible compartir la información del límite del rango de búsqueda del MV ínter puntos de vista establecida por otra capa, en cada capa (distinta capa).
En este caso, la información del límite del rango de búsqueda del MV ínter puntos de vista establecida en la capa base se usa en al menos una capa no base. Alternativamente, por ejemplo, la información del límite del rango de búsqueda del MV ínter puntos de vista, establecida en la capa no base (capa_id=l) se usa en la menos una de la capa base y la capa no base (capa_id=j).
Por lo tanto, es posible limitar la dirección V del rango de búsqueda del MV ínter puntos de vista. Por lo tanto, es posible procesar las imágenes de la pluralidad de puntos de vista en paralelo.
Dispositivo para codificación de imagen jerárquica La FIG.41 es un diagrama que ilustra un dispositivo para codificación de imagen jerárquica para llevar a cabo la codificación de la imagen jerárquica descrita anteriormente. Como se ilustra en la FIG. 41, el dispositivo 620 para codificación de imagen jerárquica tiene una sección 621 de codificación, una sección 622 de codificación, y una sección 623 de multiplexión.
La sección 621 de codificación codifica la imagen de la capa base y genera el flujo codificado de la imagen de la capa base. La sección 622 de codificación codifica la imagen de la capa no base y genera el flujo codificado de la imagen de la capa no base. La sección 623 de multiplexión multiplexa el flujo codificado de la imagen de la capa base generado en la sección 621 de codificación y el flujo codificado de la imagen de la capa no base, generado en la sección 622 de codificación, y genera el flujo codificado de la imagen jerárquica .
El dispositivo 11 para codificación de imagen de puntos de vista múltiples (FIG.1) puede ser aplicado a la sección 621 de codificación y la sección 622 de codificación del dispositivo 620 para codificación de imagen jerárquica. En este caso, el dispositivo 620 para codificación de imagen jerárquica establece y transmite la información del limite del rango de búsqueda de un MV ínter puntos de vista establecida por la sección 621 de codificación y la información del límite del rango de búsqueda de un MV ínter puntos de vista establecida por la sección 602 de codificación.
También, la información del límite del rango de búsqueda del MV ínter puntos de vista, establecida por la sección 621 de codificación como se describe anteriormente puede ser configurada para ser establecida y transmitida de modo tal que la información del límite del rango de búsqueda sea compartida y usada por las secciones de codificación 621 y 622. En contraste, la información del límite del rango de búsqueda del MV ínter puntos de vista, establecida por la sección 622 de codificación puede ser establecida y transmitida de modo tal que la información del límite del rango de búsqueda sea compartida y usada por las secciones de codificación 621 y 622.
Dispositivo para decodificación de imagen jerárquica La FIG.42 es un diagrama que ilustra un dispositivo para decodificación de imagen jerárquica para lleva a cabo la decodificación de la imagen jerárquica descrita anteriormente. Como se ilustra en la FIG. 42, el dispositivo 630 para decodificación de imagen jerárquica tiene una sección 631 de multiplexión inversa, una sección 632 de decodificación, y una sección 633 de decodificación.
La sección 631 de multiplexión inversa multiplexa de forma inversa el flujo codificado de una imagen jerárquica en el cual se multiplexa el flujo codificado de la imagen de la capa base y el flujo codificado de la imagen de la capa no base, y extrae el flujo codificado de la imagen de la capa base y el flujo codificado de la imagen de la capa no base. La sección 632 de decodificación decodifica el flujo codificado de la imagen de la capa base extraído por la sección 631 de multiplexión inversa y obtiene la imagen de la capa base. La sección 633 de decodificación decodifica el flujo codificado de la imagen de la capa no base, extraído por la sección 631 de multiplexión inversa y obtiene la imagen de la capa no base.
Es posible aplicar el dispositivo 211 para decodificación de imagen de puntos de vista múltiples (FIG.10) a la sección 632 de decodificación y la sección 633 de decodificación del dispositivo 630 para decodificación de imagen jerárquica. En este caso, el dispositivo 630 para decodificación de imagen jerárquica lleva a cabo un proceso usando la información del límite del rango de búsqueda del MV ínter puntos de vista establecida por la sección 621 de codificación y decodificada por la sección 632 de decodificación y la información del límite del rango de búsqueda del MV ínter puntos de vista, establecida por la sección 622 de codificación y decodificada por la sección 633 de decodificación.
También, la información del límite del rango de búsqueda del MV ínter puntos de vista establecida por la sección 621 de codificación (o la sección 622 de codificación) como se describe anteriormente, puede ser establecida y transmitida para ser compartida y usada por las secciones de codificación 621 y 622. En este caso, en el dispositivo 630 para decodificación de imagen jerárquica, se lleva a cabo un proceso usando la información del límite del rango de búsqueda del MV ínter puntos de vista establecida por la sección 621 de codificación (o la sección 622 de codificación) y decodificada por la sección 632 de decodificación (o la sección 633 de decodificación). 10. Décima modalidad Ejemplo de configuración de una computadora La serie de procesos descrita anteriormente puede ser ejecutada mediante dispositivos físicos o puede ser ejecutada mediante componentes lógicos, los programas que forman los componentes lógicos se instalan en una computadora. Aquí, una computadora incluye una computadora la cual se incorpora en un equipo dedicado o una computadora personal (PC) de propósito general, la cual puede ejecutar varias funciones al instalar varios programas en la computadora, por ejemplo.
La FIG. 43 es un diagrama de bloques que ilustra un ejemplo de la configuración de los componentes físicos de una computadora para ejecutar la serie de procesos descritos anteriormente a través de un programa.
En la computadora 800, una unidad central de procesamiento (CPU) 801, una memoria de solo lectura (ROM) 802, y una memoria de acceso aleatorio (RAM) 803 se conectan entre si a través de una linea 804 común de transmisiones.
Una interfaz (I/F) 810 de entrada y salida se conecta además a la linea 804 común de transmisiones. Una sección 811 de entrada, una sección 812 de salida, una sección 813 de almacenamiento, una sección 814 de comunicaciones, y una unidad 815 de lectura, se conectan a la I/F 810 de entrada y salida.
La sección 811 de entrada se forma con un teclado, un ratón, un micrófono, y los similares. La sección 812 de salida se forma con una pantalla, un altavoz, y los similares. La sección 813 de almacenamiento se forma con un disco duro, una memoria no volátil, o los similares. La sección 814 de comunicaciones se forma con una interfaz de red o las similares. La unidad 815 de lectura acciona un medio 821 removible tal como un disco magnético, un disco óptico, un disco magnetoóptico, o una memoria de semiconductores.
En la computadora configurada como se describe anteriormente, la CPU 801 carga en la RAM 803 los programas almacenados en la sección 813 de almacenamiento, a través de la I/F 810 de entrada y salida y la linea 804 común de transmisiones, y ejecuta los programas, de modo tal que se lleve a cabo la serie de procesos descrita anteriormente.
El programa ejecutado por la computadora 800 (las CPU 801) puede ser proporcionado al ser registrado en el medio 821 removible, como un medio empacado o los similares. El programa también puede ser proporcionado a través de un medio de transferencia cableado o inalámbrico, tal como una red de área local, la Red internacional, o una radiodifusión digital por satélite.
En la computadora, al cargar el medio 821 removible en la unidad 815 de lectura el programa puede ser instalado en la sección 813 de almacenamiento, a través de la I/F 810 de entrada y salida. También es posible recibir el programa desde un medio de transferencia cableado o inalámbrico, usando la sección 814 de comunicaciones e instala el programe en la sección 813 de almacenamiento. Como otra alternativa, el programa puede ser instalado por adelantado en la ROM 802 o la sección 813 de almacenamiento.
Se debe notar que el programa ejecutado por la computadora puede ser un programa que se procesa en una serie de tiempo de acuerdo con la secuencia descrita en esta especificación o un programa que se procesa en paralelo o con una temporización necesaria, como por ejemplo, tras ser invocado .
En la presente descripción, las etapas para describir el programa a ser registrado en el medio de registro pueden incluir el procesamiento llevado a cabo en una serie de tiempo de acuerdo con el orden de la descripción y el procesamiento no procesado en una serie de tiempo sino llevado a cabo en paralelo o individualmente.
En la especificación, el sistema se refiere al aparato completo que incluye una pluralidad de dispositivos (aparatos).
Además, un elemento descrito como un dispositivo (o unidad de procesamiento) único anteriormente, puede ser dividido y configurado como una pluralidad de dispositivos (o unidades de procesamiento). Por el contrario, los elementos descritos como una pluralidad de dispositivos (o unidades de procesamiento) anteriormente pueden ser configurados colectivamente como un dispositivo (o unidad de procesamiento) único. Además, los elementos distintos a aquellos descritos anteriormente pueden ser agregados a cada dispositivo (o unidades de procesamiento). Además, una parte de los elementos de un dispositivo (o unidad de procesamiento) dado) pueden ser incluidos en los elementos de otro dispositivo (u otras unidades de procesamiento) siempre y cuando la configuración o la operación del sistema como un todo sean sustancialmente las mismas. En otras palabras, las modalidades de la descripción no se limitan a las modalidades descritas anteriormente, y se pueden hacer varios cambios y modificaciones, sin apartarse del ámbito de la descripción.
El dispositivo para codificación de imagen y el dispositivo para decodificación de imagen de acuerdo con las modalidades pueden ser aplicados a varios dispositivos electrónicos, tales como transmisores y receptores para radiodifusión por satélite, radiodifusión por cable tal como Tv por cable, distribución a través de la Red Internacional, distribución a terminales a través de comunicaciones celulares y las similares, dispositivos de registro gue registran imágenes en medios tales como discos ópticos, discos magnéticos y memorias de destello, y dispositivos de reproducción que reproducen imágenes desde tales medios de almacenamiento. A continuación se describirán cuatro aplicaciones. 11. Aplicaciones Primera Aplicación: Receptores de Televisión La FIG. 44 ilustra un ejemplo de la configuración esquemática de un dispositivo de televisión al cual se aplican las modalidades. El dispositivo 900 de televisión incluye una antena 901, un sintonizador 902, un desmultiplexor 903, un decodificador 904, una sección 905 de procesamiento de señales de video, una sección 906 de visualización, una sección 907 de procesamiento de señales de audio, un altavoz 908, una I/F 909 externa, una sección 910 de control, una I/F 911 de usuario, y una linea 912 común de transmisiones.
El sintonizador 902 extrae la señal de un canal deseado, de entre las señales de radiodifusión recibidas a través de la antena 901, y desmodula la señal extraída. El sintonizador 902 transmite entonces al sintonizador 902 un flujo de bitios codificado, obtenido a través de la demodulación. Es decir, el sintonizador 902 sirve como un medio de transmisión del dispositivo 900 de televisión para recibir el flujo codificado en el cual se codifica la imagen.
El desmultiplexor 903 desmultiplexa el flujo de bitios codificado para obtener el flujo de video y el flujo de audio de un programa a ser visualizado, y transmite al decodificador 904 cada flujo obtenido a través de la desmultiplexión. El desmultiplexor 903 también extrae los datos auxiliares, tales como las guías electrónicas de programación (EPGs) del flujo de bitios codificado, y suministra los datos extraídos a la sección 910 de control. Adicionalmente el desmultiplexor 903 puede llevar a cabo la desencriptación cuando el flujo de bitios codificado ha sido encriptado.
El decodificador 904 decodifica el flujo de video y el flujo de audio introducidos desde el desmultiplexor 903. El decodificador 904 trasmite entonces los datos de ideo generados en el proceso de decodificación, a la sección 905 de procesamiento de señales de video. El decodificador 904 también transmite los datos de audio, generados en el proceso de decodificación, a la sección 907 de procesamiento de señales de audio.
La sección 905 de procesamiento de señales de video reproduce los datos de video introducidos desde el decodificador 904, y hace que la sección 906 de visualización despliegue el video. La sección 905 de procesamiento de señales de video también puede hacer que la sección 906 de visualización despliegue una pantalla de aplicación suministrada a través de una red. Además, la señal 905 puede llevar a cabo un proceso adicional, tal como una eliminación (supresión) del ruido, por ejemplo, sobre los datos de video, de acuerdo con la configuración. Además, la sección 905 de procesamiento de señales de video puede generar una imagen de una I/F gráfica de usuario (GUI) tal como un menú, botones y un señalador, y sobrepone la imagen generada sobre la imagen de salida.
La sección 906 de visualización es controlada por una señal de accionamiento suministrada desde la sección 905 de procesamiento de señales de video, y despliega el video o una imagen sobre la pantalla de video del dispositivo de visualización (por ejemplo, una pantalla de cristal liquido, una pantalla de plasma, una pantalla de electroluminiscencia orgánica (OLED), etc.).
La sección 907 de procesamiento de señales de audio lleva a cabo un proceso de reproducción tal como la conversión D/A y la amplificación sobre los datos de audio introducidos desde el decodificador 904, y transmite el sonido desde el altavoz 908. La sección 907 de procesamiento de señales de audio también puede llevar a cabo un proceso adicional, tal como la eliminación (supresión) del ruido, sobre los datos de audio.
La I/F 909 externa es una I/F para conectar el dispositivo 900 de televisión a un dispositivo o red externa. Por ejemplo, el flujo de video o el flujo de audio recibidos a través de la I/F 909 externa pueden ser decodificados por el decodificador 904. Es decir, la I/F 909 externa también sirve como un medio de transmisión del dispositivo 900 de televisión para recibir un flujo codificado en el cual se decodifica la imagen.
La sección 910 de control incluye un procesador, tal como una unidad central de procesamiento (CPU), y una memoria, tal como una memoria de acceso aleatorio (RAM) y una memoria de solo lectura (ROM). La memoria almacena un programa a ser ejecutado por la CPU, datos de programa, datos de la EPG, datos adquiridos a través de una red, y los similares. El programa almacenado en la memoria es leído y ejecutado por la CPU en el momento de la activación del dispositivo 900 de televisión, por ejemplo. La CPU controla la operación del dispositivo 900 de televisión, por ejemplo, de acuerdo con las señales de operación introducidas desde la I/F 911 de usuario, al ejecutar el programa.
La I/F 911 de usuario se conecta a la sección 910 de control. La I/F 911 de usuario incluye por ejemplo, botones e interruptores usados por el usuario para operar el dispositivo 900 de televisión, y una sección de recepción, para una señal de control remoto. La I/F 911 de usuario detecta la operación del usuario a través de estos elementos estructurales, genera una señal de operación y transmite la señal de operación generada a la sección 910 de control.
La linea 912 común de transmisiones conecta entre si el sintonizador 902, el desmultiplexor 903, el decodificador 904, la sección 905 de procesamiento de señales de video, la sección 907 de procesamiento de señales de audio, la I/F 909 externa, y la sección 910 de control.
El decodificador 904 tiene la función del dispositivo 60 para decodificación de imagen de acuerdo con las modalidades, en el dispositivo 900 de televisión configurado de esta forma. Es posible procesar en paralelo imágenes de una pluralidad de puntos de vista durante la decodificación del video de una imagen en el dispositivo 900 de televisión.
Segunda Aplicación: Teléfonos móviles La FIG. 45 ilustra un ejemplo de la configuración esquemática de un teléfono móvil al cual se aplican las modalidades. Un teléfono 920 móvil incluye una antena 921, una sección 922 de comunicación, un codificador-decodificador 923 de audio, un altavoz 924, un micrófono 925, una sección 926 de cámara, una sección 927 de procesamiento de imagen, una sección 928 de desmultiplexión, una sección 929 de registro/reproducción, una sección 930 de visualización, una sección 931 de control, una sección 932 de operación, y una linea 933 común de transmisiones.
La antena 921 se conecta a la sección 922 de comunicación, el altavoz 924 y el micrófono 925 se conectan al codificador-decodificador 923 de audio. La sección 932 de operación se conecta a la sección 931 de control. La linea 933 común de transmisiones conecta entre si la sección 922 de comunicación, el 923, la sección 926 de cámara, la sección 927 de procesamiento de imagen, la sección 928 de desmultiplexión, la sección 929 de registro/reproducción, la sección 930 de visualización, y la sección 931 de control.
El teléfono 920 móvil lleva a cabo operaciones tales como la transmisión y la recepción de señales de audio, la transmisión y la recepción de correos electrónicos o de datos de imagen, captura de imagen, y registro de datos en varios modos de operación, incluyendo un modo de llamada de audio, un modo de comunicación de datos, un modo de captura de imagen, y un modo de videoteléfono.
La señal de audio analógico generada por el micrófono 925 se suministra al codificador-decodificador 923 de audio en el modo de llamada de audio. El codificador-decodificador 923 de audio convierte la señal de audio analógico en datos de audio, somete los datos de audio convertidos a la conversión A/De, y comprime los datos convertidos. El codificador-decodificador 923 de audio transmite entonces los datos de audio comprimidos a la sección 922 de comunicación. La sección 922 de comunicación codifica y modula los datos de audio, y genera una señal de transmisión. La sección 922 de comunicación transmite entonces la señal de transmisión generada a una estación base (no ilustrada) a través de la antena 921. La sección 922 de comunicación también amplifica las señales inalámbricas recibidas a través de la antena 921 y convierte la frecuencia de las señales inalámbricas para adquirir las señales recibidas. La sección 922 de comunicación desmodula y decodifica entonces las señales recibidas, genera los datos de audio, y transmite los datos de audio generados, al codificador-decodificador 923 de audio. El codificador-decodificador 923 de audio extiende los datos de audio, somete los datos de audio a la conversión D/A, y genera una señal de audio analógica. El codificador-decodificador 923 de audio suministra entonces la señal de audio generada al altavoz 924 para producir un sonido.
La sección 931 de control también genera datos de texto de acuerdo con las operaciones realizadas por el usuario a través de la sección 932 de operación, los datos de texto, por ejemplo, que componen un correo electrónico. Además, la sección 931 de control hace que la sección 930 de visualización despliegue el texto. Además, la sección 931 de control genera los datos del correo electrónico de acuerdo con una instrucción de transmisión de un usuario a través de la sección 932 de operación, y transmite los datos del correo electrónico, generados, a la sección 922 de comunicación. La sección 922 de comunicación codifica y modula los datos del correo electrónico, y genera una señal de transmisión, la sección 922 de comunicación transmite entonces la señal de transmisión generada a una estación base (no ilustrada) a través de la antena 921. La sección 922 de comunicación también amplifica las señales inalámbricas recibidas a través de la antena 921 y convierte la frecuencia de las señales inalámbricas para adquirir una señal recibida. La sección 922 de comunicación desmodula y decodifica entonces la señal recibida para restablecer los datos del correo electrónico, y transmite los datos del correo electrónico, restablecidos, a la sección 931 de control. La sección 931 de control hace que la sección 930 de visualización despliegue el contenido del correo electrónico, y también hace que el medio de almacenamiento de la sección 929 de registro/reproducción almacene los datos del correo electrónico.
La sección 929 de registro/reproducción incluye un medio de almacenamiento escribible y legible. Por ejemplo, el medio de almacenamiento puede ser un medio de almacenamiento integrado tal como una RAM y memoria de destello, o un medio de almacenamiento instalado externamente tal como discos duros, discos magnéticos, discos magnetoópticos, memorias de linea común de transmisiones serial universal (USB), y tarjetas de memoria.
Además, la sección 926 de cámara, por ejemplo, captura la imagen de un sujeto para generar datos de imagen, y transmite los datos de imagen generados a la sección 927 de procesamiento de imagen, en el modo de captura de imagen. La sección 927 de procesamiento de imagen codifica los datos de imagen de la sección 926 de cámara y hace que el medio de almacenamiento de la sección 929 de registro/reproducción almacene el flujo codificado.
Además, la sección 928 de desmultiplexión, por ejemplo, multiplexa el flujo de video codificado por la sección 927 de procesamiento de imagen y el flujo de audio introducido desde el codificador-decodificador 923 de audio, y transmite el flujo multiplexado a la sección 922 de comunicación en el modo de videoteléfono. La sección 922 de comunicación codifica y modula el flujo, y genera una señal de transmisión. La sección 922 de comunicación transmite entonces la señal de transmisión generada a una estación base (no se muestra), a través de la antena 921. La sección 922 de comunicación también amplifica las señales inalámbricas recibidas a través de la antena 921 y convierte la frecuencia de las señales inalámbricas para adquirir una señal recibida. Estas señales de transmisión y la señal recibida pueden incluir un flujo de bitios codificados. La sección 922 de comunicación desmodula y decodifica entonces la señal recibida para restablecer el flujo, y transmite el flujo restablecido a la sección 928 de desmultiplexión. La sección 928 de desmultiplexión desmultiplexa el flujo de entrada para obtener un flujo de video y un flujo de audio, y transmite el flujo de video a la sección 927 de procesamiento de imagen y el flujo de audio al codificador-decodificador 923 de audio. La sección 927 de procesamiento de imagen decodifica el flujo de ideo, y genera datos de video. Los datos de video se suministran a la sección 930 de visualización, y una serie de imágenes se despliega en la sección 930 de visualización. El codificador-decodificador 923 de audio extiende el flujo de audio, somete el flujo de audio a la conversión D/A, y genera una señal de audio analógico. El codificador-decodificador 923 de audio suministra entonces la señal de audio generada a la 924, y hace que el sonido sea producido.
La sección 927 de procesamiento de imagen tiene la función del dispositivo para codificación de imagen y el dispositivo para decodificación de imagen de acuerdo con las modalidades en el teléfono 920 móvil configurado de esta forma. Es posible procesar imágenes de una pluralidad de puntos de vista en paralelo, durante la codificación y la decodificación escalable de video de una imagen en el teléfono 920 móvil.
Tercera aplicación: Dispositivo de Registro/reproducción La FIG. 46 ilustra un ejemplo de la configuración esquemática de un dispositivo de registro/reproducción al cual se aplican las modalidades. Un dispositivo 940 de registro/reproducción, por ejemplo, codifica datos de audio y datos de video de un programa de radiodifusión recibido y registra los datos de audio codificados y los datos de video codificados en un medio de registro. Por ejemplo, el dispositivo 940 de registro/reproducción puede codificar también los datos de audio y los datos de video adquiridos de otro dispositivo y registra los datos de audio codificados y los datos de video codificados en un medio de registro. Además, el dispositivo 940 de registro/reproducción, por ejemplo, usa un monitor o un altavoz para reproducir los datos registrados en el medio de registro, de acuerdo con las instrucciones del usuario. En este momento, el dispositivo 940 de registro/reproducción decodifica los datos de audio y los datos de video.
El dispositivo 940 de registro/reproducción incluye un sintonizador 941, una I/F 942 externa, un codificador 943, una unidad 944 de disco duro (HDD), un lector 945 de discos, un selector 946, un decodificador 947, una pantalla en pantalla (OSD) 948, una sección 949 de control, una I/F 950 de usuario.
El 941 extrae una señal de un canal deseado de entre las señales recibidas a través de una antena (no se muestra) y desmodula la señal extraída. El 041 trasmite entonces al selector 946 el flujo de bitios codificado a través de la desmodulación. Es decir, el sintonizador 941 sirve como el medio de trasmisión del dispositivo 940 de registro/reproducción.
La I/F 942 externa es una I/F para conectar el dispositivo 940 de registro/reproducción a un dispositivo externo o una red. Por ejemplo, la I/F 942 externa puede ser una I/F del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE) 1394, una I/F de red, una I/F USB, una I/F de memoria de destello, o las similares, por ejemplo, los datos de video y los datos de audio recibidos a través de la I/F 942 externa se introducen al codificador 943. Es decir, la I/F 942 externa sirve como un medio de transmisión del dispositivo 940 de registro/reproducción.
Cuando los datos de video y los datos de audio introducios desde la I/F 942 externa no han sido codificados, el codificador 943 codifica los datos de video y los datos de audio. El codificador 943 trasmite entonces un flujo de bitios codificados al selector 946.
La HDD 944 registra, en un disco duro interno, el flujo de bitios codificados en el cual se comprimen los datos de video y sonido del contenido, varios programas y otros fragmentos de datos. La HDD 944 también lee estos fragmentos de datos del disco duro en el momento de la reproducción del video y el sonido.
El lector 945 de discos registra y lee los datos en un medio de registro que se instala. El medio de registro que se instala en el lector 945 de discos puede ser, por ejemplo, un disco DVD, (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW, etc.), un disco Blu-ray (marca registrada), o los similares.
El selector 946 selecciona, en el momento del registro del video o el sonido el flujo de bitios codificados introducido desde el sintonizador 941 o el codificador 943, y transmite el flujo de bitios codificado a la HDD 944 o el lector 945 de discos. El selector 946 también transmite al decodificador 947, en el momento de la reproducción del video o el sonido, un flujo de bitios codificado introducido desde la HDD 944 o el lector 945 de discos.
El decodificador 947 decodifica el flujo de bitios codificado, y genera datos de video y datos de audio. El decodificador 947 trasmite entonces los datos de video generados a la OSD 948. El decodificador 904 también transmite los datos de audio generados a un altavoz externo.
La OSD 948 reproduce los datos de video introducidos desde el decodificador 947, y despliega el video. La OSD 948 también puede sobreponer la imagen de una GUI tal como un menú, botones, y un señalador sobre el video desplegado.
La sección 949 de control incluye un procesador, tal como una CPU, y una memoria, tal como RAM y ROM. La memoria almacena un programa a ser ejecutado por la CPU, datos de programa y los similares. Por ejemplo, un programa almacenado en la memoria, es leído y ejecutado por la CPU en el momento de la activación del dispositivo 940 de registro/reproducción. La CPU controla la operación del dispositivo 940 de registro/reproducción, por ejemplo, de acuerdo con una señal de operación introducida desde la I/F 950 de usuario al ejecutar el programa.
La I/F 950 de usuario se conecta a la sección 949 de control. La I/F 950 de usuario incluye por ejemplo, botones e interruptores usados para que un usuario opere el dispositivo 940 de registro/reproducción y una sección de recepción para una señal de control remoto. La I/F 950 de usuario detecta las operaciones realizadas por el usuario a través de estos elementos estructurales, genera una señal de operación, y transmite la señal de operación generada a la sección 949 de control.
El codificador 943 tiene la función del dispositivo para codificación de imagen de acuerdo con las modalidades en el dispositivo 940 de registro/reproducción configurado de esta forma. El decodificador 947 también tiene la función del dispositivo para decodificación de imagen de acuerdo con las modalidades. Es posible por lo tanto procesar en paralelo imágenes de una pluralidad de puntos de vista durante la codificación de ya decodificación de video de una imagen en el dispositivo 940 de registro/reproducción.
Cuarta Aplicación: Dispositivo de captura de imagen La FIG. 47 ilustra un ejemplo de la configuración esquemática de un dispositivo de captura de imagen al cual se aplican las modalidades. El dispositivo 960 de captura de imagen captura la imagen de un sujeto para generar una imagen, codifica los datos de imagen, y registra los datos de imagen en un medio de registro.
El dispositivo 960 de captura de imagen incluye un bloque 961 óptico, una sección 962 de captura de imagen, una sección 963 de procesamiento de señales, una sección 964 de procesamiento de imagen, una sección 965 de visualización, una I/F 966 externa, una memoria 967, un lector 968 de medios, una OSD 969, una sección 970 de control, una I/F 971 de usuario, y una linea 972 común de transmisiones.
El bloque 961 óptico se conecta a la sección 962 de captura de imagen. La sección 962 de captura de imagen se conecta a la sección 963 de procesamiento de señales. La sección 965 de visualización se conecta a la sección 964 de procesamiento de imagen. La I/F 971 de usuario se conecta a la sección 970 de control. La linea 972 común de transmisiones conecta entre si la sección 964 de procesamiento de imagen, la I/F 966 externa, la memoria 967, el lector 968 de medios, la OSD 969, y la sección 970 de control.
El bloque 961 óptico incluye una lente de enfoque, un mecanismo de detención de la apertura, y los similares. El bloque 961 óptico forma una imagen óptica de un sujeto sobre una superficie de captura de imagen de la sección 962 de captura de imagen. La sección 962 de captura de imagen incluye un detector de imágenes tal como un dispositivo acoplado a carga (CCD) y un semiconductor complementario de óxido metálico (CMOS), y convierte la imagen óptica formada sobre la superficie de captura de imagen en una señal de imagen la cual es una señal eléctrica, a través de conversión fotoeléctrica. La sección 962 de captura de imagen transmite entonces la señal de imagen a la sección 963 de procesamiento de señales.
La sección 963 de procesamiento de señales lleva a cabo varios procesos de señales de la cámara tales como la corrección de codo, corrección de gama, y corrección de color sobre la señal de imagen introducida desde la sección 962 de captura de imagen. La sección 963 de procesamiento de señales transmite los datos de imagen sometidos al proceso de señales de la cámara, a la sección 964 de procesamiento de imagen.
La sección 964 de procesamiento de imagen codifica los datos de imagen introducidos desde la sección 963 de procesamiento de señales, y genera datos codificados. La sección 964 de procesamiento de imagen transmite entonces los datos codificados a la I/F 966 externa o el lector 968 de medios. La sección 964 de procesamiento de imagen también decodifica los datos codificados introducidos desde la I/F 966 externa o el lector 968 de medios, y genera los datos de imagen, la sección 964 de procesamiento de imagen transmite entonces los datos de imagen codificados a la sección 965 de visualización. La sección 964 de procesamiento de imagen también puede transmitir los datos de imagen introducidos desde la sección 963 de procesamiento de señales, a la sección 965 de visualización, y hace que la imagen sea desplegada. Además, la sección 964 de procesamiento de imagen puede sobreponer datos para el despliegue, adquiridos desde la OSD 969 sobre la imagen a ser transmitida a la sección 965 de visualización.
La OSD 969 genera una imagen de una GUI, tal como un menú, botones, y un señalador, y transmite la imagen generada a la sección 964 de procesamiento de imagen.
La I/F 966 externa se configura por ejemplo, como una terminal de entrada y salida de USB. La I/F 966 externa conecta el dispositivo 960 de captura de imagen y una impresora, por ejemplo, al momento de imprimir una imagen. Un lector se conecta además a la I/F 966 externa cuando sea necesario. Un medio removible, tal como discos magnéticos y discos ópticos se instalan en el elector, y un programa leído desde el medio removible puede ser instalado en el dispositivo 960 de captura de imagen. Además, la I/F 966 externa puede ser configurada como una I/F de red a ser conectada a una red tal como una LAN y la Red Internacional. Es decir, la I/F 966 externa sirve como un medio de transmisión del dispositivo 960 de captura de imagen.
Un medio de registro a ser instalado en el lector 968 de medios puede ser un medio removible, legible y escribible, tales como discos magnéticos, discos magnetoópticas, discos ópticos, y memorias de semiconductores. El medio de registro también puede ser instalado de forma fija en el lector 968 de medios, que configura una sección de almacenamiento no transportable, tal como unidades de disco duro integradas o unidades de estado sólido (SSDs).
La sección 970 de control incluye un procesador, tal como una CPU, y una memoria, tal como una RAM y ROM. La memoria almacena un programa a ser ejecutado por la CPU, datos de programa, y los similares. Un programa almacenado en la memoria es leído y ejecutado por la CPU, por ejemplo, en el momento de la activación del dispositivo 960 de captura de imagen. La CPU controla la operación del dispositivo 960 de captura de imagen, por ejemplo, de acuerdo con una señal de operación introducida desde la I/F 971 de usuario al ejecutar el programa.
La I/F 971 de usuario se conecta a la sección 970 de control. La I/F 971 de usuario incluye, por ejemplo, botones, interruptores, y los similares usados por un usuario para operar el dispositivo 960 de captura de imagen. La I/F 971 de usuario detecta las operaciones realizadas por el usuario a través de estos elementos estructurales, genera una señal de operación, y transmite la señal de operación generada a la sección 970 de control.
La sección 964 de procesamiento de imagen tiene la función del dispositivo para codificación de imagen y el dispositivo de decodificación de imagen de acuerdo con las modalidades, en el dispositivo 960 de captura de imagen configurado de esta forma. Es posible por lo tanto, procesar imágenes de una pluralidad de puntos de vista en paralelo, durante la codificación y la decodificación del video de una imagen, en el dispositivo 960 de captura de imagen. 12. Ejemplo de aplicación de la codificación de video escalable Primer sistema Enseguida, se describirá un ejemplo especifico para usar los datos con codificación escalable, en el cual se lleva a cabo una codificación de video escalable (codificación jerárquica) . La codificación de video escalable, por ejemplo, se usa para la selección de los datos a ser transmitidos como los ejemplos ilustrados en la FIG.48.
En el sistema 1000 de transmisión de datos ilustrado en la FIG.58, un servidor 1002 de distribución lee los datos con codificación escalable almacenados en la sección 1001 de almacenamiento de datos con codificación escalable, y distribuye los datos con codificación escalable a un dispositivo de terminal, tal como una PC 1004, un dispositivo 1005 de AV, un dispositivo 1006 de tableta, o un teléfono 1007 móvil, a través de una red 1003.
En este momento, el servidor 1002 de distribución selecciona y transmite los datos codificados que tienen la calidad apropiada, de acuerdo con la capacidad del dispositivo terminal, el ambiente de comunicación, o los similares. Aun cuando el servidor 1002 de distribución transmita los datos de alta calidad innecesariamente, la imagen de alta calidad no necesariamente se puede obtener una imagen de alta calidad en el dispositivo terminal y esta puede ser una causa de la aparición de retrasos o de desbordamiento. Además, la banda de comunicación puede ser ocupada innecesariamente o la carga del dispositivo terminal puede ser aumentada innecesariamente. En contraste, aun cuando el servidor 1002 de distribución de distribución transmita datos de baja calidad innecesariamente, no puede ser obtenida una imagen con calidad suficiente. Por lo tanto, el servidor 1002 de distribución lee y trasmite apropiadamente los datos con codificación escalable almacenados en la sección 1001 de almacenamiento de datos con codificación escalable, como los datos codificados que tienen la calidad apropiada de acuerdo con la capacidad del dispositivo terminal, el ambiente de comunicación, o los similares.
Por ejemplo, la sección 1001 de almacenamiento de datos con codificación escalable se configura para almacenar los datos 1011 con codificación escalable (BL+EL) en los cuales se lleva a cabo la codificación de video escalable. Los datos 1011 con codificación escalable (BL+EL) son datos codificados que incluyen tanto una capa base y una capa de mejoramiento, y son datos de los cuales puede ser obtenida la imagen de la capa base y la imagen de la capa de mejoramiento al llevar a cabo la decodificación.
El servidor 1002 de distribución selecciona una capa apropiada de acuerdo con la capacidad del dispositivo terminal para transmitir los datos, el ambiente de comunicación, o los similares, y lee los datos de la capa seleccionada. Por ejemplo, con respecto a la PC 1004 o el dispositivo 1006 de tableta que tienen capacidad de procesamiento alta, el servidor 1002 de distribución lee los datos 1011 con codificación escalable (BL+EL) de la sección 1001 de almacenamiento de datos con codificación escalable, y transmite los datos 1011 con codificación escalable (BL+EL) sin cambio. Por otro lado, por ejemplo, con respecto al dispositivo 1005 de AV o el teléfono 1007 móvil que tienen capacidad de procesamiento baja, el servidor 1002 de distribución extrae los datos de la capa base de los datos 1011 con codificación escalable (BL+EL), y transmite los datos extraídos de la capa base, como los datos 1012 con codificación escalable (BL) de baja calidad que son datos que tienen el mismo contenido que los datos 1011 con codificación escalable (BL+EL) pero tienen menos calidad que los datos 1011 con codificación escalable (BL+EL).
Puesto que la cantidad de datos puede ser ajustada fácilmente al emplear los datos con codificación escalable, la aparición de retardos o de desbordamiento puede ser suprimida o puede ser suprimido el aumento innecesario de la carga del dispositivo terminal o de los medios de comunicación. Además, puesto que la redundancia entre las capas se reduce en los datos con codificación escalable (BL+EL) 1011, es posible reducir adicionalmente la cantidad de datos que cuando los datos codificados de cada capa se tratan como los datos individuales. Por lo tanto, es posible usar de forma más eficiente la región de almacenamiento de la sección 1001 de almacenamiento de datos con codificación escalable.
Puesto que varios dispositivos tales como la PC 1004 al teléfono 1007 móvil son aplicables como el dispositivo terminal, el desempeño de los componentes físicos de los dispositivos terminales difiere de acuerdo con el dispositivo. Además, puesto que hay varias aplicaciones las cuales son ejecutadas por el dispositivo terminal, el desempeño de los componentes lógicos de las mismas también varía. Además, puesto que todas las redes de comunicación que incluyen redes cableadas, inalámbricas o ambas, tales como la Red internacional y las redes de área local (LAN), son aplicables como la red 1003 que sirve como el medio de comunicación, el desempeño de transmisión de datos de las mismas varia. Además, el desempeño de transmisión de datos puede variar por otras comunicaciones, o las similares.
Por lo tanto, el servidor 1002 de distribución puede llevar a cabo la comunicación con el dispositivo terminal el cual es el destino de la transmisión de datos antes de iniciar la transmisión de los datos, y después obtiene la información relacionada con el desempeño del dispositivo terminal como por ejemplo el desempeño de los componentes físicos del dispositivo terminal, o el desempeño de la aplicación (componentes lógicos) la cual se ejecuta por el dispositivo terminal, y la información relacionada con el ambiente de comunicación, tal como el ancho de banda de la red 1003. Entonces, el servidor 1002 de distribución puede seleccionar una capa apropiada con base en la información obtenida.
También, la extracción de la capa puede ser llevada a cabo en el dispositivo terminal. Por ejemplo, la PC 1004 puede decodificar los datos 1011 con codificación escalable (BL+EL) transmitidos, y despliega la imagen de la capa base o despliega la imagen de la capa de mejoramiento. Además, por ejemplo, la PC 1004 puede ser configurada para extraer los datos con codificación escalable (BL) 1012 de la capa base, de los datos 1011 con codificación escalable (BL+EL) transmitidos, almacena los datos con codificación escalable (BL) 1012 extraídos, de la capa base, transmite a otro dispositivo, o decodifica y despliega la imagen de la capa base.
Por supuesto, el número de secciones 1001 de almacenamiento de datos con codificación escalable, los servidores 1002 de distribución, las redes 1003, y los dispositivos terminales es opcional. Además, aunque anteriormente se describe el ejemplo del servidor 1002 de distribución que trasmite los datos al dispositivo terminal, el ejemplo de uso no se limita a este. El sistema 1000 de transmisión de datos es aplicable a cualquier sistema el cual selecciona y transmite una capa apropiada de acuerdo con la capacidad del dispositivo terminal, el ambiente de comunicación, o los similares cuando los datos con codificación escalable se transmiten al dispositivo terminal.
Aun en el sistema 1000 de transmisión de datos como en la FIG. 48, es posible obtener efectos similares a aquellos descritos anteriormente con referencia a las FIGS.1 a 36, al aplicar la presente teenología, de forma similar a las aplicaciones para el dispositivo para codificación de imagen de puntos de vistas múltiples y el dispositivo para decodificación de puntos de vista múltiples descritos anteriormente con referencia a las FIGS.1 a 36.
Segundo Sistema Además, la codificación de video escalable, por ejemplo, se usa para la transmisión a través de una pluralidad de medios de comunicación como en un ejemplo ilustrado en la FIG. 49.
En el sistema 1100 de transmisión de datos ilustrado en la FIG. 49, una estación 1101 de radiodifusión transmite los datos 1121 con codificación escalable (BL) de la capa base, mediante radiodifusión lili terrestre. Además, la estación 1101 de radiodifusión transmite los datos 1122 con codificación escalable (EL) de la capa de mejoramiento, a través de cualquier red 1112 arbitraria formada por una red de comunicación por cable, inalámbrica, o ambas (por ejemplo, los datos se empaquetan y se transmuten).
Un dispositivo 1102 terminal tiene la función de recibir la radiodifusión lili terrestre que se transmite por la estación 1101 de radiodifusión y recibe los datos 1121 con codificación escalable (BL) de la capa base, transmitidos a través de la radiodifusión lili terrestre. Además, el dispositivo 1102 terminal tiene además una función de comunicación mediante la cual se lleva a cabo la comunicación a través de la red 1112, y recibe los datos 1122 con codificación escalable (EL) de la capa de mejoramiento, transmitidos a través de la red 1112.
Por ejemplo, de acuerdo con una instrucción del usuario o las similares, el dispositivo 1102 terminal decodifica los datos 1121 con codificación escalable (BL) de la capa base, adquiridos a través de la radiodifusión lili terrestre, obteniendo o almacenando por ello la imagen de la capa base o transmitiendo la imagen de la capa base a otros dispositivos.
Además, por ejemplo, de acuerdo con la instrucción del usuario, el dispositivo 1102 terminal combina los datos 1121 con codificación escalable (BL) de la capa base, adquiridos a través de la radiodifusión lili terrestre, y los datos 1122 con codificación escalable (EL) 1122 de la capa de mejoramiento, adquiridos a través de la red 1112, obteniendo por ello los datos con codificación escalable (BL+EL), obteniendo o almacenando la imagen de la capa de mejoramiento al decodificar los datos con codificación escalable (BL+EL), o transmitiendo la imagen de la capa de mejoramiento a otros dispositivos.
Como se descrine anteriormente, los datos con codificación escalable, por ejemplo, pueden ser transmitidos a través de diferentes medios de comunicación para cada capa. Por lo tanto, es posible dispersar la carga y suprimir la aparición de retardos o de desbordamiento.
Además, de acuerdo con la situación, el medio de comunicación usado para la transmisión, para cada capa, puede ser configurado para ser seleccionado. Por ejemplo, los datos 1121 con codificación escalable (BL) de la capa base, en la cual la cantidad de datos en comparativamente grande, pueden ser transmitidos a través del medio de comunicación que tiene un ancho de banda amplio, y los datos 1122 con codificación escalable (EL) de la capa de mejoramiento en la cual la cantidad de datos es comparativamente pequeña, pueden ser transmitidos a través de los medios de comunicación que tienen un ancho de banda estrecho. Además, por ejemplo, si el medio de comunicación que transmite los datos 1122 con codificación escalable (EL) de la capa de mejoramiento es la red 1112 o la radiodifusión lili terrestre, puede ser conmutado de acuerdo con el ancho de banda disponible de la red 1112. Por supuesto, lo mismo es cierto para los datos de una capa arbitraria.
Al llevar a cabo el control de esta forma, es posible suprimir adicionalmente el aumento de la carga en la transmisión de los datos.
Por supuesto, el número de capas es opcional, y el número de medios de comunicación usados en la transmisión también es opcional. Además, el número de dispositivos 1102 terminales los cuales son el destino de la distribución de los datos también es opcional. Además, aunque el ejemplo de la radiodifusión de la estación 1101 de radiodifusión ha sido descrito anteriormente, el ejemplo de uso no se limita a este. El sistema 1100 de transmisión de datos puede ser aplicado a cualquier sistema el cual divide los datos con codificación escalable usando una capa como una unidad y transmite los datos con codificación escalable a través de una pluralidad de enlaces .
Aun en el sistema 1100 de transmisión de datos como en la FIG. 49, es posible obtener efectos similares a aquellos descritos con referencia a las FIGS. 1 a 36 al aplicar la presente teenología de forma similar a las aplicaciones para el dispositivo para codificación de imagen de puntos de vista múltiples y el dispositivo para decodificación de puntos de vista múltiples descritos anteriormente con referencia a las FIGS. 1 a 36.
Tercer sistema Además, la codificación de video escalable se usa en el almacenamiento de los datos codificados como un ejemplo ilustrado en la FIG.50.
En el sistema 1200 de captura de imagen ilustrado en la FIG. 50, un dispositivo 1201 para captura de imagen lleva a cabo la codificación de video escalable sobre los datos de imagen obtenidos al capturar una imagen de un sujeto 1211, y suministra el resultado del video escalable como los datos 1221 con codificación escalable (BL+EL), a un dispositivo 1202 de almacenamiento de datos con codificación escalable.
El dispositivo 1202 de almacenamiento de datos con codificación escalable almacena los datos 1221 con codificación escalable (BL+EL) suministrados desde el dispositivo 1201 de captura de imagen con la calidad de acuerdo con la situación. Por ejemplo, en el caso de las circunstancias normales, el dispositivo 1202 de almacenamiento de datos con codificación escalable extrae los datos de la capa base de los datos 1221 con codificación escalable (BL+EL), y almacena los datos extraídos como los datos 1222 con codificación escalable (BL) de la capa base que tienen una cantidad de datos pequeña con baja calidad.
Por otro lado, por ejemplo, en el caso de las circunstancias notables, el dispositivo 1202 de almacenamiento de datos con codificación escalable almacena los datos 1221 con codificación escalable (BL+EL) que tiene una cantidad de datos grande, con alta calidad, sin cambio.
De este modo, puesto que el dispositivo 1202 de almacenamiento de datos con codificación escalable puede guardar la imagen con alta calidad solo en un caso necesario, es posible suprimir la reducción del valor de la imagen debido al deterioro de la calidad de la imagen y suprime el aumento de la cantidad de datos, y es posible mejorar la eficiencia de uso de la región de almacenamiento.
Por ejemplo, se asume que el dispositivo 1201 de captura de imagen es una cámara de monitoreo. Puesto que es poco probable que el contenido de la imagen capturada sea importante cuando los sujetos monitoreados (por ejemplo, un invasor), no se muestran en la imagen formada (en el caso de las circunstancias normales) se da prioridad a la reducción de la cantidad de datos, y los datos de la imagen (los datos con codificación escalable) se almacenan con baja calidad. Por otro lado, puesto que es probable que el contenido de la imagen formada sea importante cuando el objetivo monitoreado se muestra como el sujeto 1211 en la imagen formada (en el caso de las circunstancias notables), se da prioridad a la calidad de la imagen, y los datos de la imagen (datos con codificación escalable) se almacenan con alta calidad.
Por ejemplo, si el caso es el caso de las circunstancias normales o las circunstancias notables, puede ser determinado por el dispositivo 1202 de almacenamiento de datos con codificación escalable al analizar la imagen. Además, el dispositivo 1201 de captura de imagen puede ser configurado para hacer la determinación y transmitir el resultado de la determinación al dispositivo 1202 de almacenamiento de datos con codificación escalable.
El criterio de la determinación de si el caso es el caso de las circunstancias normales o las circunstancias notables es opcional y el contenido de la imagen la cual es el criterio de la determinación es opcional. Por supuesto, una condición distinta al contenido de la imagen puede ser designada como el criterio de determinación. Por ejemplo, se puede configurar que se lleve a cabo la conmutación de acuerdo con la magnitud o la forma de onda del sonido registrado, por un intervalo de tiempo predeterminado, o por una instrucción externa tal como las instrucciones del usuario.
Además, aunque los dos estados de las circunstancias normales y las circunstancias notables han sido descritos anteriormente, el número de estados es opcional, y por ejemplo, se puede configurar que se lleve a cabo la conmutación entre tres o más estados tales como las circunstancias normales, las circunstancias ligeramente notables, las circunstancias notables y las circunstancias muy notables. Sin embargo, el número de limite superior de estados a ser conmutados depende del número de capas de los datos con codificación escalable.
Además, el dispositivo 1201 de captura de imagen puede determinar el número de capas de la codificación de video escalable de acuerdo con el estado. Por ejemplo, en el caso de las circunstancias normales, el dispositivo 1201 de captura de imagen puede generar los datos 1222 con codificación escalable (BL) de la capa base que tienen una cantidad de datos pequeña a baja calidad y suministra los datos al dispositivo 1202 de almacenamiento de datos con codificación escalable. Además, por ejemplo, en el caso de las circunstancias notables, el dispositivo 1201 de captura de imagen puede generar los datos 1221 con codificación escalable (BL+EL) de la capa base que tienen una cantidad de datos grande, a alta calidad, y suministra los datos al dispositivo 1202 de almacenamiento de datos con codificación escalable.
Aunque la cámara de monitoreo ha sido descrita anteriormente como el ejemplo, el uso del sistema 1200 de captura de imagen es opcional y no se limita a la cámara de monitoreo.
Aún en el sistema 1200 de captura de imagen como en la FIG. 50, es posible obtener efectos similares a aquellos descritos anteriormente con referencia a las FIGS.1 a 36, al aplicar la presente teenología de forma similar a las aplicaciones del dispositivo para codificación de imagen de puntos de vista múltiples y el dispositivo para decodificación de puntos de vista múltiples descritos anteriormente con referencia a las FIGS.1 a 36. 13. Décimo primera modalidad Otros ejemplos de implementación Aunque anteriormente se han descrito los ejemplos de los dispositivos y el sistema al cual se aplica la presente tecnología, la presente tecnología no se limita a estos. Por ejemplo, la presente tecnología también puede ser implementada como un procesador que sirve como la integración del sistema a gran escala (LSI) o los similares, un módulo que usa una pluralidad de procesadores o los similares, una unidad que usa una pluralidad de módulos o los similares, un equipo en el cual se agregan adicionalmente otras funciones a la unidad, o los similares (es decir, una configuración de parte del dispositivo).
Equipo de video Un ejemplo en el cual se implementa la presente tecnología como el equipo, se describirá con referencia a la FIG. 51. La FIG. 51 ilustra un ejemplo de la configuración esquemática del equipo de video al cual se aplica la presente teenología.
Recientemente, la multi-funcionalidad de los dispositivos electrónicos ha avanzado, y se podría observar el caso en el cual un equipo que tiene una pluralidad de funciones se implementa al combinar una pluralidad de configuraciones que tienen funciones asociadas así como el caso en el cual una configuración parcial de la multi funcionalidad se implementa con el desarrollo y la producción de los mismos y el caso en el cual la configuración se mantiene para tener una función.
Un equipo 1300 de video ilustrado en la FIG.51 es una configuración multi funcional y sirve como un equipo de video obtenido al combinar un dispositivo que tiene una función relacionada con la codificación y la decodificación de imagen (alguna o ambas de las cuales pueden estar dadas) con un dispositivo que tiene otras funciones asociadas con la función.
Como se ilustra en la FIG.51, el equipo 1300 de video tiene un grupo de módulos de un módulo 1311 de video, una memoria 1312 externa, un módulo 1313 de administración de energía, un módulo 1314 de terminal de entada, y los similares y un dispositivo que tiene las funciones relacionadas de conectividad 1321, una cámara 1322, un detector 1323, y los similares .
El módulo sirve como un componente con una cierta función integrada al integrar algunas funciones de los componentes asociados entre si. Aunque la configuración física específica es opcional, por ejemplo, es posible una configuración integrada al disponer una pluralidad de procesadores que tienen funciones, elementos de circuito electrónico tales como resistores y capacitores, otros dispositivos, y los similares sobre una placa de circuito. Además, también es posible un nuevo módulo en el cual se combina el módulo con otros módulos o procesadores.
En el caso del ejemplo de la FIG. 51, el módulo 1311 de video es un módulo en el cual se combina la configuraciones que tienen funciones relacionadas con el procesamiento de imagen, y tiene un procesador de aplicación, un procesador de video, un modulador 1333 desmodulador de radiodifusión, y un módulo 1334 de radio frecuencia (RF).
El procesador es un proceso en el cual una configuración que tiene una función predeterminada se integra en un microcircuito integrado de semiconductor mediante un sistema en un circuito integrado (SoC), y también se conoce como, por ejemplo, integración del sistema a gran escala (LSI) y los similares. La configuración que tiene la función predeterminada puede ser un circuito lógico (configuración por componentes físicos) o una CPU, una ROM, una RAM, y las similares, y un programa (configuración por componentes lógicos) a ser ejecutado usando la CPU, la ROM, la RAM y las similares. Por ejemplo, el procesador puede tener el circuito lógico, la CPU, la ROM, la RAM y las similares, parte de la función puede ser implementada por el circuito lógico (configuración por componentes físicos) y las otras funciones pueden ser implementadas por el programa (configuración por componentes lógicos) a ser ejecutado en la CPU.
El procesador 1331 de aplicación de la FIG. 15 es un procesador para ejecutar una aplicación relacionada con el procesamiento de imagen. La aplicación a ser ejecutada en el procesador 1331 de aplicación puede no solo llevar a cabo un proceso de cálculo para implementar una función predeterminada, sino que también controla las configuraciones dentro y fuera del módulo 1311 de video, por ejemplo, tal procesador 1332 de video, si es necesario.
El procesador 1332 de video es un procesador que tiene una función relacionada con (uno o ambas de) la codificación y la decodificación de imagen.
El modulador-desmodulador 1333 de banda ancha es un procesador (o módulo) para llevar a cabo un proceso relacionado con la comunicación de banda ancha inalámbrica o cableada (o cableada e inalámbrica) a ser llevada a cabo a través de un enlace de banda ancha tal como la Red internacional, una red de teléfono público, o las similares. Por ejemplo, el modulador 1333 desmodulador de banda ancha convierte los datos (señal digital) a ser transmitidos, a una señal analógica, al llevar a cabo la modulación digital y las similares o convierte una señal analógica recibida en datos (datos digitales, al desmodular la señal analógica recibida. Por ejemplo, el modulador-desmodulador 1333 de banda ancha puede llevar a cabo la modulación/desmodulación digital sobre la información arbitraria, tal como los datos de imagen a ser procesados por el procesador 1332 de video o un flujo codificado de datos de imagen, un programa de aplicación, datos de configuración, y los similares.
El módulo 1334 de RF es un módulo para llevar a cabo los procesos de conversión de la frecuencia, modulación/desmodulación, amplificación, y filtrado y los similares sobre una señal de RF a ser transmitida y recibida a través de una antena. Por ejemplo, el módulo 1334 de RF genera una señal de RF al llevar a cabo la conversión de la frecuencia y los similares sobre una señal de banda base generada por el modulador-desmodulador 1333 de banda ancha. Además, por ejemplo, el módulo 1334 de RF genera una señal de banda base al llevar a cabo la conversión de la frecuencia y los similares sobre una señal de RF recibida a través del módulo 1314 de terminal de entrada.
También, como se indica por la linea 1341 de puntos en la FIG. 51, un procesador puede ser configurado al integrar el procesador 1331 de aplicación y el procesador 1332 de video.
La memoria 1312 externa es un módulo proporcionado fuera del módulo 1311 de video y que tiene un dispositivo de almacenamiento a ser usado por el módulo 1311 de video. Aunque el dispositivo de almacenamiento de la memoria 1312 externa puede ser configurado para ser implementado por una configuración física, por ejemplo, es deseable implementar el dispositivo de almacenamiento usando una memoria de semiconductores relativamente barata y de gran capacidad, por ejemplo, tal como una memoria de acceso aleatorio dinámico (DRAM), puesto que el dispositivo de almacenamiento se usa por lo general para almacenar un gran volumen de datos, tales como los datos de imagen de las unidades de cuadro, en muchos casos.
El módulo 1313 de administración de energía, administra y controla el suministro de energía al módulo 1311 de video (cada configuración dentro del módulo 1311 de video).
El módulo 1314 de terminal de entrada es un módulo para proporcionar una función de terminal de entrada (el circuito del extremo de transmisión/recepción del lado de la antena) al módulo 1334 de RF. Como se ilustra en la FIG.51, el módulo 1314 de terminal de entrada, por ejemplo, tiene una sección 1351 de antena; un filtro 1352, y una sección 1353 de amplificación .
La sección 1351 de antena tiene una antena para transmitir y recibir una señal de radio y su configuración periférica. La sección 1351 de antena transmite una señal suministrada desde la sección 1353 de amplificación como la señal de radio y suministra la señal de radio recibida como la señal eléctrica (señal RF) al filtro 1352. El filtro 1352 realiza un proceso de filtración y los similares sobre la señal RF recibida mediante la sección 1351 de antena y suministra la señal RF procesada al módulo 1334 RF. La sección 1353 de amplificación amplifica la señal RF suministrada desde el módulo 1334 RF y suministra la señal amplificada a la sección 1351 de antena.
La conectividad 1321 es un módulo que tiene una función relacionada a una conexión al exterior. Una configuración física de la conectividad 1321 es opcional. Por ejemplo, la conectividad 1321 tiene una configuración que tiene una función de comunicación otra que un estándar de comunicación que corresponde al modem 1333 de banda ancha, entrada externa y puertos de salida, y los similares.
Por ejemplo, la conectividad 1321 se puede configurar para tener un módulo que tiene una función de comunicación basada en un estándar inalámbrico de comunicación tal como Bluetooth (marca registrada), IEEE 802.11 (por ejemplo, Wi-Fi (marca registrada)), comunicación de campo cercano (NFC), o asociación de datos infrarrojos (IrDA), una antena para transmitir y recibir una señal basada en el estándar. Además, la conectividad 1321 se puede configurar para tener un módulo de con una función de comunicación basado en un estándar de comunicación por cable tal como un puerto de serie universal (USB) o una I/F multimedia de alta definición (HDMI) (marca registrada) y un puerto basado en el estándar. Además, por ejemplo, la conectividad 1321 se puede configurar para tener otras funciones de transmisión de datos (señal) de puertos de entrada y salida y los similares.
También la conectividad se puede configurar para incluir un dispositivo de una destinación de transmisión de datos (señales). Por ejemplo, la conectividad 1321 se puede configurar para tener una unidad (que incluye un disco duro, una unidad de estado sólido (SSD), un almacenamiento conectado a red (ÑAS), y los similares asi como una unidad de medios removible) para leer y escribir datos desde y hasta un medio de grabación tal como un disco magnético, un disco óptico, un disco magneto-óptico, o una memoria de semiconductor. Además, la conectividad 1321 se puede configurar para tener un dispositivo de salida de imagen y sonido (un monitor, un altavoz, y los similares).
La cámara 1322 es un módulo que tiene una función de capturar una imagen de un sujeto y obtener datos de imagen del sujeto. Los datos de imagen obtenidos por la captura de imagen de la cámara 1322, por ejemplo, se suministran al procesador 1332 de video y se codifican.
El sensor 1323, por ejemplo, es un módulo que tiene una función de sensor arbitraria tal como un sensor de sonido, un sensor ultrasónico, un sensor óptico, un sensor de iluminancia, un sensor infrarrojo, un sensor de imagen, un sensor de rotación, un sensor de ángulo, un sensor de velocidad angular, un sensor de velocidad, un sensor de aceleración, un sensor de inclinación, un sensor de identificación magnética, un sensor de impacto, o un sensor de temperatura. Los datos detectados por el sensor 1323, por ejemplo se suministran al procesador 1331 de aplicación y usados por una aplicación o los similares.
La configuración descrita anteriormente como el módulo se puede implementar como un procesador y a la inversa la configuración descrita como el procesador se puede implementar como un módulo.
El aparato 1300 de video del configurado como se describe anteriormente, es posible aplicar la presente teenología al procesador 1332 de video como se describirá después. Por lo tanto, el aparato 1300 de video se puede ejecutar como un aparato al que se aplica la presente tecnología.
Ejemplo de configuración de procesador de video La figura 52 ilustra un ejemplo de una configuración esquemática del procesador 1332 de video (figura 51) al que se aplica la presente tecnología.
En el caso del ejemplo 52, el procesador 1332 de video tiene una función de recibir entradas de una señal de video y codificar las entradas de la señal de video y la señal de audio en un programa predeterminado y una función de decodificar datos de audio y video codificados y reproducir y emitir una señal de video y una señal de audio.
Como se ilustra en la figura 52, el procesador 1332 de video tiene una sección 1401 para procesamiento de entrada de video, una primera sección 1402 de alargamiento/reducción de imagen, una segunda sección 1403 de alargamiento/reducción de imagen, una sección 1404 para procesamiento de salida de video, una memoria 1405 de cuadro, y una sección 1406 de memoria de control. Además, el procesador 1332 de video tiene un mecanismo 1407 de codificación y de decodificación, memorias 1408A y 1408B intermedias (ES) de flujo elemental de video, y memorias 1409A y 1409B intermedias (ES) de flujo elemental de audio. Además, el procesador 1332 de video tiene un codificador 1410 de audio, un decodificador 1411, un multiplexor 1412 (MUX), una sección 1413 de multiplexión inversa (demultiplexor (DMUX)), y una memoria 1414 intermedia de flujo.
La sección 1401 para procesamiento de entrada de video, por ejemplo, adquiere una entrada de señal de video desde la conectividad 1321 (figura 51) y convierte la señal de video en datos de imagen digital. La primera sección 1402 de alargamiento/reducción de imagen realiza un proceso de conversión de formato, un proceso de alargamiento/reducción de imagen, o los similares sobre los datos de imagen. La segunda sección 1403 de alargamiento/reducción de imagen realiza el proceso de alargamiento/reducción de imagen sobre los datos de imagen de acuerdo a un formato en una destinación a la que los datos de imagen se emiten mediante la sección 1404 para procesamiento de salida o realiza la conversión de formato, un proceso de alargamiento/reducción de imagen o los similares, y los similares como en la primera sección 1420 de alargamiento/reducción de imagen. La sección 1404 para procesamiento de salida de video realiza la conversión de formato, la conversión en una señal análoga, o los similares sobre los datos de imagen y emite un resultado de conversión como una señal de video reproducido, por ejemplo, a la conectividad 1321 (figura 51) y los similares.
La memoria 1405 de cuadro es una memoria para datos de imagen a compartir por la sección 1401 para procesamiento de entrada de video, la primera sección 1402 de alargamiento/reducción de imagen, la segunda sección 1403 de alargamiento/reducción de imagen, una sección 1404 para procesamiento de salida de video, y un mecanismo 1407 de codificación y de decodificación. La memoria 1405 de cuadro, por ejemplo, se implementa como una memoria de semiconductor tal como una DRAM.
La sección 1406 de memoria de control recibe una señal de sincronización desde el mecanismo 1407 de codificación y de decodificación y controla el acceso de escritura/lectura de/a la memoria 1405 de cuadro de acuerdo al esquema de acceso para la memoria de cuadro escrito a una tabla 1406A de administración de acceso. La tabla 1406A de administración de acceso se actualiza por la sección 1406 de memoria de control de acuerdo a un proceso a ejecutar por el mecanismo 1407 de codificación y de decodificación, la primera sección 1402 de alargamiento/reducción de imagen, la segunda sección 1403 de alargamiento/reducción de imagen, o los similares.
El mecanismo 1407 de codificación y de decodificación realiza un proceso de codificación de datos de imagen y un proceso de decodificación un flujo de video que son datos en que se codifican los datos de imagen. Por ejemplo, el mecanismo 1407 de codificación y de decodificación codifica los datos de imagen leídos desde la memoria 1405 de cuadro y escribe secuencialmente los datos de imagen codificados como un flujo de video a la memoria 1408 intermedia ES de video. Además, por ejemplo, una flujo de video de la memoria 1408B intermedia ES de video se lee secuencialmente y el flujo de video decodificada se escribe secuencialmente como datos de imagen en la memoria 1405 de cuadro. El mecanismo 1407 de codificación y de decodificación usa la memoria 1405 de cuadro como un área de trabajo en la codificación o decodificación de los datos de imagen. Además, el mecanismo 1407 de codificación y de decodificación, por ejemplo, emite una señal de sincronización a la sección 1406 de memoria de control al momento en que inicia el procesamiento para cada macro bloque.
La memoria 1408A intermedia ES de video amortigua una flujo de video generada por el mecanismo 1407 de codificación y de decodificación y suministra el flujo de video a la sección 1412 de multiplexión (MUX). La memoria 1408B intermedia ES de video amortigua una flujo de video suministrada desde la sección 1413 de multiplexión inversa (DMUX) y suministra el flujo de video al mecanismo 1407 de codificación y de decodificación.
La memoria 1409A intermedia ES de audio amortigua una flujo de audio generada por un codificador 1410 de audio y suministra el flujo de audio a la sección 1412 de multiplexión (MUX). La memoria 1409B intermedia ES de audio amortigua una flujo de audio suministrada desde la sección 1413 de multiplexión inversa (DMUX) y suministra el flujo de audio al decodificador 1411 de audio.
El decodificador 1410 de audio, por ejemplo, convierte digitalmente una entrada de señal de señal de audio desde la conectividad 1321 (figura 51) o las similares, y por ejemplo, codifica la señal de audio convertida digitalmente en un esquema predeterminado tal como un esquema de audio MPEG o un esquema número 3 de código de audio (AC3). El codificador 1410 de audio escribe secuencialmente un flujo de datos de audio que son datos en que una señal de audio se codifica en la memoria 1409A intermedia ES de audio. El decodificador 1411 de audio decodifica una flujo de audio suministrada desde la memoria 1409B intermedia ES de audio y suministra el flujo de audio decodificada como una señal de audio reproducida, por ejemplo, a la conectividad 1321 (figura 51) o los similares, por ejemplo, realizando la conversión en la señal análoga o los similares.
La sección 1412 de multiplexión (MUX) multiplexa una flujo de video y una flujo de audio. Este método de multiplexión (esto es, un formato del flujo de bitios generados por la multiplexión) es opcional. Además, en el tiempo de la multiplexión, la sección 1412 de multiplexión (MUX) puede añadir información del encabezamiento predeterminada o los similares al flujo de bitios. Esto es, la sección 1412 de multiplexión (MUX) puede convertir un formato del flujo por la multiplexión. Por ejemplo, la sección 412 de multiplexión (MUX) realiza la conversión en un flujo de transporte que es un flujo de bitios de un formato de transmisión por la multiplexión del flujo de video y el flujo de audio. Además, la multiplexión 1412 (MUX) realiza la conversión en datos (datos de archivo) de un formato de archivos de grabación por la multiplexión del flujo de video y el flujo de audio.
La sección 1413 de multiplexión inversa (DMUX) demultiplexa el flujo de bitios en que el flujo de video y el flujo de audio se multiplexan en un método que corresponde a la multiplexión por la sección 1412 de multiplexión (MUX). Esto es, la sección 1413 de multiplexión inversa (DMUX) extrae el flujo de video y el flujo de audio de la lectura del flujo de bitios desde la memoria 1414 intermedia de flujo (demultiplexa el flujo de video y el flujo de audio). Esto es, la sección 1413 de multiplexión inversa (DMUX) puede convertir el formato del flujo multiplexada inversamente (conversión inversa a la conversión por la sección 1412 de multiplexión (MUX)). Por ejemplo, la sección 1413 de multiplexión inversa (DMUX), por ejemplo, adquiere una flujo de transporte suministrada desde la conectividad 1321, el modem 133 de banda ancha, o los similares (todo en la figura 51) mediante la memoria 1414 intermedia y demultiplexa el flujo de transporte, por lo que convierte el flujo de transporte en el flujo de video y el flujo de audio. Además, por ejemplo, la sección 1413 de multiplexión inversa puede adquirir lectura de datos de archivos de varios tipos de medios grabados, por ejemplo, por la conectividad 1321 (figura 51) mediante la memoria 1414 intermedia de flujo y multiplexa inversamente los datos de archivos adquiridos para realizar la conversión en una flujo de video y una flujo de audio.
La memoria 1414 intermedia de flujo amortigua el flujo de bitios. Por ejemplo, la memoria 1414 intermedia de flujo amortigua el flujo de transporte suministrada desde la sección 1412 de multiplexión (MUX) suministra el flujo de transporte, por ejemplo, a la conectividad 1321, el modem 1333 de banda ancha, a los similares (todo en la figura 51) en un momento predeterminado o basado en una solicitud externa o los similares.
Además, por ejemplo, la memoria 1414 intermedia de flujo amortigua datos de archivo suministrado desde la sección 1412 de multiplexión (MUX) y suministra los datos de archivos de memoria intermedia, por ejemplo, a la conectividad 1321 (figura 51) o los similares, en un momento predeterminado o basado en una solicitud externa o los similares para hacer varios tipos de medios grabados a grabar los datos de archivos.
Además, la memoria 1414 intermedia de flujo, por ejemplo, amortigua el flujo de transporte adquirida mediante la conectividad 1321, el modem 1333 de banda ancha, o los similares (todo en la figura 51) y suministra el flujo de transporte a la sección 1413 de multiplexión inversa (DMUX) en un momento predeterminado o basado en una solicitud externa o los similares.
Además, la memoria 1414 intermedia de flujo, por ejemplo, amortigua la lectura de datos de archivo de varios tipos de medios grabados en la conectividad 1321 (figura 51) y los similares suministran los datos de archivo a la sección 1413 de multiplexión inversa (DMUX) en un momento predeterminado o basado en una solicitud externa o los similares.
Después, se describirá un ejemplo de una operación del procesador 1332 de video de esta configuración. Por ejemplo, una entrada de señal de video o al procesador 1332 de video desde la conectividad 1321 (figura 51) o los similares se convierten en datos de imagen digital de un esquema predeterminado tal como un esquema 4:2:2Y/Cb/Cr en la sección 1401 para procesamiento de entrada de video y los datos de imagen digital se escribe secuencialmente en la memoria 1405 de cuadro. Estos datos de imagen digital se leen a la primera sección 1402 de alargamiento/reducción de imagen o la segunda sección 1403 de alargamiento/reducción de imagen, la conversión de formato en un esquema predeterminado tal como un esquema 4:2:0Y/Cb/Cr y el proceso de alargamiento/reducción se realizan y los datos de imagen se escriben en la memoria 1405 de marco de nuevo. Los datos de imagen se codifican por el mecanismo 1407 de codificación y de decodificación y los datos de imagen codificados se escriben como un flujo de video en la memoria 108A ES de video.
Además, una entrada de señal de audio desde la conectividad 1321 (figura 51) o los similares al procesador 1332 de video se codifica por el codificador 1410 de audio y la señal de audio codificada se escribe como un flujo de audio en la memoria 1409A intermedia ES de audio.
El flujo de video de la memoria 1408A intermedia ES de video y el flujo de audio de la memoria 1409A intermedia ES de audio se leen a la sección 1412 (MUX) y multiplexado para convertirse en una flujo de transporte, datos de archivos, o los similares. Después el flujo de transporte generada por la sección 1412 de multiplexión (MUX) se amortigua en la memoria 1414 de flujo, por ejemplo, el flujo de transporte se emite a una red externa mediante (cualguiera de una (figura 51) de) la conectividad 1321, el modem 1333 de banda ancha, y los similares. Además, después gue se amortiguaron los datos de archivos generados por la sección 1412 de multiplexión (MUX= se amortiguan en la memoria 1414 de flujo, por ejemplo, los datos de archivo se emiten a la conectividad 1321 (figura 51) y los similares y grabados a varios tipos de medios grabados.
Además, por ejemplo, después la entrada de flujo de transporte de la red externa al procesador 1332 de video mediante (cualquiera de una (figura 51) de) la conectividad 1321, el modem 1333 de banda ancha, y los similares se amortiguan en la memoria 1414 intermedia de flujo, el flujo de transporte se ultiplexa inversamente por la sección 1413 de multiplexión inversa (DMUX). Además, por ejemplo, después la lectura de datos de archivo de varios tipos de medios grabados en la conectividad 1312 (figura 51) y los similares y la entrada al procesador 1332 de video se amortiguan en la memoria 1414 intermedia de vapor, los datos de archivo se multiplexan inversamente por la sección 1413 de multiplexión inversa (DMUX). Esto es, el flujo de transporte o la entrada de datos de archivo al procesador 1332 de video se demultiplexa en una flujo de video y una flujo de audio por la sección 1413 de multiplexión inversa (DMUX).
Se reproduce una señal de audio por suministrar el flujo de audio al decodificador 1411 de audio mediante la memoria 1049B intermedia ES de audio y decodificar el flujo de audio. Además, después el flujo de video se escribe en la memoria 1408B intermedia ES de video, el flujo de video se lee y decodifica secuencialmente por el mecanismo de codificación y de decodificación 1407 y escribe en la memoria 1405 de cuadro. La segunda sección 1413 de alargamiento/reducción de imagen ejecuta los datos de imagen decodificados en el proceso de alargamiento/reducción y los datos procesados se escriben en la memoria 1405 de cuadro. Entonces, una señal de video se reproduce y emite considerando los datos de imagen decodificados en la sección 1404 para procesamiento de salida de video, que convierte el formato de los datos de imagen decodificados en un esquema predeterminado tal como esquema 4:2:2Y/Cb/Cr y además convertir los datos de imagen decodificados en una señal análoga.
Cuando se aplica la presente teenología al procesador 1332 de video configurado como se describe anteriormente, solo es necesario aplicar la presente tecnología de acuerdo a cada modalidad descrita anteriormente al mecanismo 1407 de codificación y de decodificación. Esto es, por ejemplo, solo es necesario configurar el mecanismo 1407 de codificación y de decodificación que tienen funciones del dispositivo 11 de codificación de imagen de puntos de vista múltiples (figura 1) de acuerdo con la primera modalidad y al dispositivo 211 de decodificación de imagen de puntos de vista múltiples (figura 10) de acuerdo con la segunda modalidad. Como se describe anteriormente, el procesador 1332 de video puede obtener efectos similares a aquellos descritos con referencia a las figuras 1 a 36.
También, en 'el mecanismo 1407 de codificación y de decodificación, la presente teenología (esto es, las funciones del dispositivo de codificación de imagen y el dispositivo de decodificación de imagen de acuerdo con las modalidades descritas anteriormente) se puede implementar por el hardware tal como un circuito lógico, implementado por el software tal como un programa incorporado, o implementado por ambos del mismo.
Otro ejemplo de configuración del procesador de video La figura 53 ilustra otro ejemplo de una configuración esquemática del procesador 1332 de video (figura 51) al que se aplica la presente tecnología. En el caso del ejemplo de la figura 53, el procesador 1332 de video tiene una función de codificar y decodificar datos de video en un esquema predeterminado .
Más específicamente, como se ilustra en la figura 53, el procesador 1332 de video tiene una sección 1511 de control, una I/F 1512 de pantalla, un mecanismo 1513 de pantalla, un mecanismo 1514 para procesamiento de imagen, y una memoria 1515 interna. Además, el procesador 1332 tiene un mecanismo 1516 de códec, una I/F 1517 de memoria, una sección 1518 de multiplexión multiplexión/inversa (MUX/DMUX), una I/F 1519 de red, y una I/F 1520 de video.
La sección 1511 de control controla operaciones de secciones para procesamiento dentro del procesador 1332 de video tal como la I/F 1512 de pantalla, el mecanismo 1513 de pantalla, el mecanismo 1514 para procesamiento de imagen, el mecanismo 1516 de códec, y los similares.
Como se ilustra en la figura 53, la sección 1511 de control, por ejemplo, tiene un CPU 1531 principal, un sub CPU 1532, y un controlador 1533 del sistema. El CPU 1531 principal ejecuta un programa para controlar las operaciones de las secciones para procesamiento dentro del procesador 1332 de video. El CPU 1531 principal genera una señal de control de acuerdo al programa o los similares y suministra la señal de control a cada sección para procesamiento (esto es, controla la operación de cada sección para procesamiento). El sub CPU 1532 desempeña un papel auxiliar del CPU 1531 principal. Por ejemplo, el sub CPU 1532 ejecuta un proceso secundario, una sub rutina, o los similares de un programa o los similares a ejecutar por el CPU 1531 principal. El controlador 1533 del sistema controla las operaciones del CPU 1531 principal y el sub-CPU 1532 tal como designaciones de programas a ejecutar por el CPU 153 principal y el sub CPU 1532.
La I/F 1512 de pantalla emite datos de imagen, por ejemplo, a la conectividad 1321 (figura 51) y los similares, bajo control de la sección 1511 de control. Por ejemplo, el I/F 1512 de pantalla convierte datos de imagen de datos digitales en una señal análoga y emite la señal análoga como la señal de video reproducida, o los datos de imagen de los datos digitales sin cambio, al dispositivo de monitor o los similares a la conectividad 1321 (figura 51).
El mecanismo 1513 de pantalla realiza varios tipos de procesos de conversión tales como conversión de formato, conversión de tamaño, y conversión de gama de colores de modo que datos de imagen se adecúan por especificaciones de hardware de un dispositivo de monitor y los similares visualizando su imagen bajo control de la sección 1511 de control .
El mecanismo 1514 para procesamiento de imagen realiza procesamiento de imágenes predeterminadas, por ejemplo, tales como procesamiento de filtración mejorando la calidad de imagen, sobre los datos de imagen bajo control de la sección 1511 de control.
La memoria 1515 interna se comparte por el mecanismo 1513 de pantalla, el mecanismo 1514 para procesamiento de imagen, y el mecanismo 1516 de códec, y es una memoria provista dentro del procesador 1332 de video. La memoria 1515 interna, por ejemplo se usa para cambiar datos a ejecutar entre el mecanismo 1513 de pantalla, el mecanismo 1514 para procesamiento de imagen, y el mecanismo 1516 de códec. Por ejemplo, la memoria 1515 interna almacena datos a suministrar desde el motor 1513 de pantalla, el mecanismo 1514 para procesamiento de imagen, o desde el mecanismo 1516 de códec y suministra los datos al mecanismo 1513 de pantalla, el mecanismo 1514 para procesamiento de imagen, o el mecanismo 1516 de códec, si es necesario (por ejemplo, de acuerdo con la solicitud). Aunque la memoria 1515 interna se puede implementar por cualquier dispositivo de almacenamiento, se desea implementar la memoria 1515 interna por una memoria de semiconductor que tiene una capacidad relativamente pequeña y velocidad de respuesta rápida (comparada a aquella de la memoria 1312 externa), por ejemplo, tal como una memoria de acceso al azar estática (SRAM), debido a que un volumen pequeño de datos tales como datos de imagen de una unidad de bloque o parámetros se usan generalmente en algunos casos.
El mecanismo 1516 de códec realiza un proceso relacionado a codificación y decodificación de datos de imagen. Un esquema de codificación y de decodificación que corresponde a este motor 1516 de códec es opcional y el número de esquemas de codificación y de decodificación puede ser uno o más. Por ejemplo, el motor 1516 de códec puede tener una función de códec de una pluralidad de esquemas de codificación y de decodificación, y la codificación de datos de imagen o la decodificación de datos codificados se puede realizar en uno seleccionado entre los esquemas de codificación y de decodificación.
En el ejemplo ilustrado en la figura 53, el mecanismo 1516 de códec, por ejemplo, tiene un video 1541 MPEG-2, un AVC/H.264 1542. Un HEVC/H.265 1543, un HEVC/H.265 1544 (escalable), un HEVC/H.2.65 1545 (puntos de vista múltiples), y un MPEG DASH 1551 como bloques funcionales para procesamiento relacionado a un códec.
El video 1541 MPEG-2 es un bloque funcional para codificar o decodificar datos de imagen en un esquema MPEG-2. El ABC/H.264 1542 es un bloque funcional para codificar o decodificar datos de imagen en un esquema AVC. El HEVC/H.265 1543 es un bloque funcional para codificar o decodificar datos de imagen en un esquema HEVC. El HEVC/H.265 1544 (escalable) es un bloque funcional para realizar codificación de video escalable o decodificación de video escalable en datos de imagen en el esquema HEVC. El HEVC/H.2651545 (puntos de vista múltiples) es un bloque funcional para realizar codificación de puntos de vista múltiples o decodificación de puntos de vista múltiples sobre datos de imagen en el esquema HEVC.
El MPEG-DASH 1551 es un bloque funcional para transmitir y recibir datos de imagen en un esquema MPEG-DASH. El MPEG-DASH es teenología para ejecutar transmisión de video que usa un HTTP y tiene una característica que se selecciona de datos codificados apropiados de una pluralidad de piezas de datos codificados en que las resoluciones preparadas y los similares son diferentes uno de otro en unidades de segmentos y se transmiten los datos codificados seleccionados. El MPEG-DASH 1551 realiza la generación de un flujo basado en un estándar, control de transmisión del flujo, y los similares y usa el video 1541 MPEG-2 al HEVC/H.265 1545 (puntos de vista múltiples) descrita anteriormente para codificación y codificación de los datos de imagen.
La I/F de memoria 1517 es una I/F para la memoria 1312 externa. Los datos suministrados desde el mecanismo 1514 para procesamiento de imagen o el mecanismo 1516 de códec se suministra a la memoria 1312 externa mediante la I/F 1517 de memoria. Además, la lectura de datos de la memoria 1312 externa se suministra al procesador 1332 de video (el mecanismo 1514 para procesamiento de imagen o el mecanismo 1516 de códec) mediante la I/F 1517 de memoria.
La sección 1518 de multiplexión multiplexión/inversa (MUX/DMUX) realiza la multiplexión o demultiplexión de varios tipos de datos relacionados a una imagen tal como un flujo de bitios de datos codificados, datos de imagen, y señal de video. Un método de esta multiplexión/demultiplexión es opcional. Por ejemplo, al momento de la multiplexión, la sección 1518 de multiplexión multiplexión/inversa (MUX/DMUX) puede no solo integrar una pluralidad de datos de piezas en una pieza, sino también añadir información del encabezamiento o los similares a los datos. Además, en el momento de la multiplexión inversa, la sección 1518 de multiplexión multiplexión/inversa (MUX/DMUX) puede no solo dividir una pieza de datos en una pluralidad de piezas de datos, sino también añadir información de encabezamiento predeterminada o los similares a cada división de datos. Esto es, la sección 1518 de multiplexión multiplexión/inversa puede convertir un formato de datos por la multiplexión/demultiplexión. La sección 1518 de multiplexión multiplexión/inversa (MUX/DMUX) puede realizar la conversión en un flujo de transporte, que es un flujo de bitios de un formato de transmisión, o datos (datos de archivo) de un formato de archivo grabado por multiplexión del flujo de bitios. Por supuesto, también es posible la conversión inversa del mismo por la demultiplexión.
La I/F 1519 de red, por ejemplo, es una I/F para el modem 1333 de banda ancha o la conectividad 1321 (ambas en la figura 51) o los similares. El I/F 1520 de video, por ejemplo es una I/F para la conectividad 1321 o la cámara 1322 (ambas en la figura 51) o los similares.
Después, se describirá un ejemplo de una operación de este procesador 1332 de video. Por ejemplo, cuando un flujo de transporte se recibe desde la red externa mediante la conectividad 1321 o el modem 1333 de banda ancha (ambas en la figura 51) o los similares, la corriente de transporte se suministra a la sección 1518 de multiplexión multiplexión/inversa (MUX/DMUX) mediante la I/F 1519 de red y multiplexada inversamente, y el flujo de transporte se decodifica por el mecanismo 1516 de códec. Por ejemplo, el mecanismo 1514 de procesamiento de imagen realiza el procesamiento de imagen predeterminada en los datos de imagen obtenidos por la decodificación del mecanismo 1516 de códec, el mecanismo 1513 de pantalla realiza la conversión predeterminada en los datos de imagen procesados, los datos de imagen convertidos, por ejemplo, se suministra a la conectividad 1321 (figura 51) o los similares mediante la I/F de pantalla, y su imagen se proyecta en un monitor. Además, por ejemplo, el mecanismo 1516 de códec vuelve a codificar los datos de imagen obtenidos por la decodificación del mecanismo 1516 de códec, la sección 1518 de multiplexión multiplexión/inversa (MUX/DMUX) multiplexa los datos de imagen vueltos a codificar para ejecutar la conversión en datos de archivo, los datos de archivo se emite, por ejemplo, a la conectividad 1321 (figura 51) o los similares, mediante el I/F de video, y los datos de archivo de salida se vuelve a grabar a varios tipos de medios de grabación.
Además, por ejemplo, los datos de archivo de los datos codificados en que los datos de imagen se leen codificados por la conectividad 1321 (figura 51) o los similares de un medio de grabación (no ilustrado) se suministra a la sección 1518 de multiplexión multiplexión/inversa mediante el I/F 1520 de video y multiplexado inversamente, y decodificado por el mecanismo 1516 de códec. El mecanismo 1514 de procesamiento de imagen realiza procesamiento de imagen predeterminado en datos de imagen obtenidos por la decodificación del mecanismo 1516 de códec, el mecanismo 1513 de pantalla realiza la conversión predeterminada sobre los datos de imagen procesados, los datos de imagen convertidos, por ejemplo, se suministra a la conectividad 1321 (figura 51) o los similares mediante la I/F 1512 de pantalla, y su imagen se proyecta en un monitor. Además, por ejemplo, el mecanismo 1516 de códec vuelve a codificar los datos de imagen obtenidos por la decodificación del mecanismo 1516 de códec, la sección 1518 de multiplexión multiplexión/inversa (MUX/D UX) multiplexa los datos de imagen codificados para realizar la conversión en un flujo de transporte, se suministra el flujo de transporte, por ejemplo, a la conectividad 1321 o el modera 1333 de banda ancha (ambos en la figura 51) o los similares, mediante la I/F 1519 de red y transmitidos a otro dispositivo (no ilustrado).
También, el intercambio de datos de imagen entre las secciones de procesamiento dentro del procesador 1332 de video u otros datos, por ejemplo, se ejecuta usando la memoria 1515 interna o la memoria 1312 externa. Además, el módulo 1313 de administración de energía, por ejemplo, controla el suministro de energía en la sección 1511 de control.
Cuando se aplica la presente teenología al procesador 1332 de video configurado como se describe anteriormente, solo es necesario aplicar la presente tecnología de acuerdo a cada modalidad descrita anteriormente al mecanismo 1516 de códec. Esto es, por ejemplo, solo es necesario configurar el mecanismo 1516 de códec que tiene bloques funcionales que logran el dispositivo 11 de codificación de imagen de puntos de vista múltiples (figura 1) de acuerdo con la primera modalidad y el dispositivo 211 de decodificación de imagen de puntos de vista múltiples (figura 10) de acuerdo con la segunda modalidad. Como se describe anteriormente, el procesador 1332 de video puede obtener efectos similares a aquellos descritos anteriormente con referencia a las figuras 1 a 36.
También, en el mecanismo 1516 de códec, la presente tecnología (esto es, las funciones del dispositivo de codificación de imagen y el dispositivo de decodificación de acuerdo con las modalidades descritas anteriormente) se puede implementar por hardware tal como un circuito lógico, implementado por software tal como un programa incorporado, o implementado por ambos del mismo.
Aunque dos ejemplos de la configuración del procesador 1332 de video se han mostrado anteriormente, la configuración del procesador 1332 de video es opcional y puede ser diferente desde los dos ejemplos descritos anteriormente. Además, aunque el procesador 1332 de video se configura como un chip semiconductor, el procesador 1332 de video se puede configurar como una pluralidad de chips semiconductores. Por ejemplo, el procesador 1332 de video se puede configurar para ser LSI apilado tridimensional en que se apilan una pluralidad de semiconductores. Además, el procesador 1332 de video se puede configurar para implementar por una pluralidad de piezas de LSI.
Ejemplo de aplicación para el dispositivo El conjunto 1300 de video se puede incorporar en varios tipos de dispositivos para procesar datos de imagen. Por ejemplo, el conjunto 1300 de video se puede realizar en el dispositivo 900 de televisión (figura 44), el teléfono móvil 920 (figura 45), el dispositivo 940 de grabación/reproducción (figura 46), el dispositivo 960 de imagen (figura 47), o los similares. Integrando el conjunto 1300 de video, su dispositivo puede obtener efectos similares a aquellos descritos anteriormente con referencia a las figuras 1 a 36.
Además, el conjunto 1300 de video, por ejemplo, también se puede integrar en un dispositivo terminal tal como la PC 1004, el dispositivo 1005 AV, el dispositivo 1006 de tableta, o el teléfono 1007 móvil en el sistema 1000 de transmisión de datos de la figura 48, la estación 1101 de radiodifusión y el dispositivo 1102 terminal en el sistema 1100 de transmisión de datos de la figura 49, el dispositivo 1201 de captura de imagen y el dispositivo 1202 de almacenamiento de datos codificados escalables en el sistema 1200 de captura de imagen de la figura 50, y los similares. Incorporando el conjunto 1300 de video, el dispositivo puede obtener efectos similares a aquellos descritos anteriormente con referencia a las figuras 1 a 36. Además, el conjunto 1300 de video se puede incorporar en cada dispositivo del sistema de reproducción de contenidos de la figura 54 o el sistema inalámbrico de comunicación de la figura 60.
También, si parte de cada configuración del conjunto 1300 de video descrito anteriormente incluye el procesador 1332 de video, la parte se puede ejecutar como una configuración al que se aplica la presente invención. Por ejemplo, solo el procesador 1332 de video se puede ejecutar como el procesador de video al que se aplica la presente teenología. Además, por ejemplo, el procesador indicado por la línea 1341 punteada como se describe anteriormente, el módulo 1311 de video, y los similares se pueden ejecutar como el procesador, el módulo, o los similares a los que se aplica la presente tecnología. Además, por ejemplo, el módulo 1311 de video, la memoria 1312 externa, el módulo 1313 de administración de energía, y el módulo 1314 de interfaz se puede combinar y ejecutar como una unidad 1361 de video al que se aplica la presente teenología. Cualquier configuración puede obtener efectos similares a aquellas descritas anteriormente con referencia a las figuras 1 a 36.
Esto es, cualquier configuración que incluye el procesador 1332 de video se puede incorporar en varios tipos de dispositivos para el procesamiento de datos de imagen como en el conjunto 1300 de video. Por ejemplo, el procesador 1332 de video, el procesador indicado por la línea 1341 punteada, el módulo 1311 de video, o la unidad 1361 de video se puede incorporar en el dispositivo 900 de televisión (figura 44), el teléfono 920 móvil (figura 45), el dispositivo 940 de grabación/reproducción (figura 46), el dispositivo 960 de captura de imagen (figura 47), el dispositivo terminal tal como la PC 1004, el dispositivo 1005 AV, el dispositivo 1006 de tableta, o el teléfono 1007 móvil en el sistema 1000 de transmisión de la figura 48, la estación 1101 de radiodifusión y el dispositivo 1102 terminal en el sistema 110 de transmisión de datos de la figura 49, el dispositivo 1201 de captura de imagen y el dispositivo 1202 de almacenamiento de datos codificados escalables en el sistema 1200 de captura de imagen de la figura 50, y los similares. Además, el procesador 1332 de video se puede incorporar en cada dispositivo del sistema de reproducción de contenidos de la figura 54 o el sistema inalámbrico de comunicación de la figura 60. Incorporando cualquier configuración a la que se aplica la presente teenología, su dispositivo puede obtener efectos similares a aquellos descritos anteriormente con referencia a las figuras 1 a 36 como en el caso del conjunto 1300 de video.
También, la presente tecnología es aplicable, por ejemplo, a un sistema de reproducción de contenidos del flujo HTTP o un sistema inalámbrico de comunicación de un estándar Wi-FI tal como MPEG DASH a describir después para seleccionar y usar datos codificados apropiados de una pluralidad de piezas de datos codificados en que las resoluciones preparadas y las similares son diferentes a cada una en las unidades de los segmentos. 14. Ejemplo de aplicación MPEG-DASH Perfil del sistema de reproducción de contenido Primero, con referencia a las figuras 54 a 56, el sistema de reproducción de contenidos al cual la presente tecnología es aplicable se describirá esquemáticamente.
En lo sucesivo, primero, una configuración básica común en esas modalidades se describirá con referencia a las figuras 54 y 55.
La figura 54 es un diagrama explicativo que ilustra una configuración de un sistema de reproducción de contenido. Como se ilustra en la figura 54, el sistema de reproducción de contenidos. Como se ilustra en la figura 54, el sistema de reproducción de contenidos incluye servidores 1610 y 1611 de contenidos, una red 1612, y un dispositivo 1620 de reproducción de contenidos (dispositivo de cliente).
Los servidores 1610 y 1611 de contenidos y el dispositivo 1620 de reproducción de contenidos se conectan mediante la red 1612. La red 1612 es un camino inalámbrico o alámbrico de transmisión de información a transmitir desde un dispositivo conectado a la red 1612.
Por ejemplo, la red 1612 puede incluir redes de lineas publicas tales como el Internet, una red de linea de teléfono, y una red de comunicación de satélite o varios tipos de redes de área local (LANs), redes de área ancha (WANs), y las similares que incluyen Ethernet (marca registrada). Además, la red 1612 puede incluir una red de linea dedicada tal como una red privada de protocolo virtual de Internet (IP-VNP).
El servidor 1610 de contenidos codifica datos de contenido y genera y almacena un archivo de datos que incluye datos codificados e información meta de los datos codificados. También, cuando el servidor 1610 de contenido genera un archivo de datos de un formato MP4, los datos codificados corresponden a "mdat" y la información meta corresponde a "moov".
Además, el contenido de datos puede ser datos de música tales como música, lecturas, y unos programas de radio, datos de video tales como películas, programas de televisión, programas de video, fotografías, documentos, pinturas, y diagramas, juegos, software, y los similares.
Aquí, para una solicitud de reproducción de contenido del dispositivo 1620 de reproducción de contenido, el servidor 1610 de contenido genera una pluralidad de archivos de datos en diferentes tasas de bitios en relación al mismo contenido. Además, para una solicitud de reproducción de contenido del dispositivo 1620 de reproducción de contenido, el servidor 1611 de contenido transmite información de un localizador de fuente uniforme (URL) del servidor 1610 de contenido al dispositivo 1620 de reproducción de contenido incluyendo información de parámetro añadido a la URL en el dispositivo 1620 de reproducción de contenido en la información del servidor 1610 de contenido. En lo sucesivo, con referencia a las figuras 55, artículos relevantes se describirán después.
La figura 55 es un diagrama explicativo que ilustra un flujo de datos en el sistema de reproducción de contenidos de la figura 54. El servidor 1610 de contenidos codifica los mismos datos contenidos en diferentes tasas de bitios y genera, por ejemplo, un archivo A de 2 Mbps, un archivo B de 1.5 Mbps, y un archivo C de 1 Mbps como se ilustra en la figura 55. Relativamente, el archivo A tiene una tasa de bitios grande, el archivo B tiene una tasa de bitios estándar, y el archivo C tiene una tasa de bitios baja.
Además, como se ilustra en la figura 55, los datos codificados de cada archivo se dividen en una pluralidad de segmentos. Por ejemplo, los datos codificados del archivo A se dividen en los segmentos "Al", "A2", "A3", ... "An", los datos codificados del archivo B se dividen en segmentos "Bl", "B2", "B3", ... "Bn", y los datos codificados del archivo C se dividen en los segmentos "C2", "C2", "C3", ... "Cn".
También cada segmento puede incluir una muestra de configuración de una o más piezas de datos codificados de video reproducibles independientemente y datos codificados de audio que empiezan con una muestra de sincronización de MP4 (por ejemplo, una imagen (IDR) de actualización instantánea del decodificador en la codificación de video de AVC/H.264). Por ejemplo, cuando los datos de video de los 30 cuadros por segundo se codifican en un GOP de una longitud fija de 15 cuadros, cada segmento puede ser datos codificados de video y audio de 2 segundos que corresponden a 4 GOPs o datos codificados de video y audio de 10 segundos que corresponden a 20 GOPs.
Además, los rangos de reproducción (rangos de posiciones de tiempo desde el inicio de contenido) por segmentos que tienen el mismo orden de colocación en cada archivo son los mismos. Por ejemplo, cuando los rangos de reproducción del segmento "A2", el segmento "B2", y el segmento "C2" son los mismos y cada segmento son datos codificados de 2 segundos, todos los rangos de reproducción del segmento "A2", el segmento "B2", y el segmento "C2" son de 2 a 4 segundos de contenido.
Cuando se generan los archivos A a C configurados de la pluralidad descrita anteriormente de segmentos, el servidor 1610 de contenido almacena los archivos A a C. entonces, como se ilustra en la figura 55, el servidor 1610 de contenidos transmite secuencialmente segmentos que constituyen diferentes archivos al dispositivo 1620 de contenidos, y el dispositivo 1620 de reproducción de contenidos reproduce los segmentos recibidos de acuerdo con la reproducción de flujo.
Aquí, el servidor 1610 de contenidos de acuerdo a esta modalidad transmite un archivo de lista de reproducción (en lo sucesivo referida a ella como MPD) que incluye información de tasa de bitios e información de acceso de datos codificados al dispositivo 1620 de reproducción de contenidos, y el dispositivo 1620 de reproducción de contenidos selecciona cualquier tasa de bitios de una pluralidad de tasas de bitios basadas en la MPD y solicita al servidor 1610 de contenidos transmitir segmentos que corresponden a la tasa de bitios seleccionada .
Aunque solo se ilustra un servidor 161 de contenidos en la figura 54, es innecesario decir que la presente descripción no se limita al ejemplo relevante.
La figura 56 es un diagrama explicativo que ilustra un ejemplo especifico de la MPD. Como se ilustra en la figura 56, la MPD incluye información de acceso relacionada a una pluralidad de piezas de codificación que tiene diferentes tasas de bitios (bandas anchas). Por ejemplo, la MPD ilustrada en la figura 56 indica que hay datos codificados de 256 Kbps, 1.024 Mbps, 1.384 Mbps, 1.536 Mbps, y 2.048 Mbps, e incluye información de acceso relacionada a los datos codificados. El dispositivo 1620 de reproducción de contenidos puede cambiar dinámicamente la tasa de bitios de datos codificados a reproducir de acuerdo con la reproducción de flujo basada en esta MPD.
También, aunque una terminal portable se ilustra como un ejemplo del dispositivo 1620 de reproducción de contenidos en la figura 54, el dispositivo 1620 de reproducción de contenidos no se limita a este ejemplo. El dispositivo 1620 de reproducción de contenidos puede ser un dispositivo de procesamiento de información tal como una PC, un dispositivo de procesamiento de video en casa (un reproductor de disco versátil digital (DVD), un reproductor de videocasete, o los similares), asistentes digitales personales (PDA), un dispositivo de juego en casa, un dispositivo de electrodomésticos. Además, el dispositivo 1620 de reproducción de contenidos puede ser un dispositivo de procesamiento de información tal como un teléfono móvil, un sistema de teléfono practico personal (PHS), un dispositivo de reproducción de música portable, un dispositivo de procesamiento de video portable, o un dispositivo de juegos portable.
Configuración del servidor de contenidos Con referencia a las figuras 54 a 56, se ha descrito el perfil del sistema de reproducción de contenidos. Después, con referencia a la figura 57, se describirá la configuración del servidor 1610 de contenidos.
La figura 57 es un diagrama de bloques funcional que ilustra la configuración del servidor 1610 de contenidos. Como se ilustra en la figura 57, el servidor 1610 de contenidos incluye una sección 1631 de generación de archivos, una sección 1632 de almacenamiento, y una sección 1633 de comunicación.
La sección 1631 de generación de archivos incluye un codificador 1641 para codificar datos de contenidos, y generar una pluralidad de piezas de codificación que tienen diferentes tasas de bitios en el mismo contenido y la MPD descrita anteriormente. Por ejemplo, la sección 1631 de generación de archivos genera la MPD como se ilustra en la figura 56 cuando se generan los datos codificados de 256 Kbps, 1.024 Mbps, 1384 Mbps, 1.536 Mbps, 2.048 Mbps.
La sección 1632 de almacenamiento almacena una pluralidad de piezas de datos codificados que tienen diferentes tasas de bitios y la MPD generada por la sección 1631 de generación. La sección 1632 de almacenamiento puede ser un medio de almacenamiento tal como una memoria no volátil, un disco magnético, un disco óptico, un disco (MO) de magneto óptico, o los similares. Como la memoria no volátil, por ejemplo, se pueden citar una memoria de solo lectura programable borrable eléctricamente (EEPROM) y una ROM programable borrable (EPROM). También, como el disco magnético, se pueden citar un disco duro, un disco magnético discoideo, y los similares. Además, como el disco óptico, se pueden citar un disco compacto (CD), un DVD regrabable (DVD-R), un disco Blu-ray (BD) (marca registrada)), y los similares.
La sección 1633 de comunicación es una I/F con el dispositivo 1620 de reproducción de contenido, y comunica con el dispositivo 1620 de reproducción de contenidos mediante la red 1612. En detalle adicional, la sección 1633 de comunicación tiene una función que sirve como un servidor HTTP que comunica con el dispositivo 1620 de reproducción de contenidos de acuerdo a un HTTP. Por ejemplo, la sección 1633 de comunicación transmite un MPD al dispositivo 1620 de reproducción de contenidos, extrae los datos codificados solicitados basados en la MPD del dispositivo 1620 de reproducción de contenidos de acuerdo al HTTP, y transmite los datos codificados al dispositivo 1620 de reproducción de contenidos como una respuesta HTTP.
Configuración de dispositivo de reproducción de contenidos La configuración del servidor 1610 de contenidos de acuerdo a esta modalidad se ha descrito anteriormente.
Después, con referencia a la figura 58, se describirá la configuración del dispositivo 1620 de reproducción de contenidos.
La figura 58 es un diagrama de bloques funcional que ilustra la configuración del dispositivo 1620 de reproducción de contenidos. Como se ilustra en la figura 58, el dispositivo 1620 de reproducción de contenidos incluye una sección 1651 de comunicación, una sección 1652 de almacenamiento, una sección 1653 de reproducción, una sección 1654 de selección, y una sección 1656 de adquisición de locación actual.
La sección 1651 de comunicación es una I/F con el servidor 1610 de contenido, solicitan al servidor 1610 de contenidos proporcionar datos, y adquirir datos del servidor 1610 de contenidos. En detalle adicional, la sección 1651 de comunicación tiene una función que sirve como un cliente HTTP para comunicar con el dispositivo 1620 de reproducción de contenidos de acuerdo al HTTP. Por ejemplo, la sección 1651 de comunicación puede adquirir selectivamente una MPD o segmentos de datos codificados del servidor 1610 de contenidos empleando un rango HTTP.
La sección 1652 de almacenamiento almacena varios tipos de información relacionados a la reproducción de contenidos. Por ejemplo, la sección 1652 de almacenamiento amortigua secuencialmente los segmentos adquiridos por la sección 1651 de comunicación del servidor 1610 de contenidos. Los segmentos de los datos codificados amortiguados en la sección 1652 de almacenamiento se suministran secuencialmente a la sección 1653 de reproducción en la primera entrada primera salida (FIFO).
Además, la sección 1653 de almacenamiento almacena una definición para acceder a la URL a la que la sección 1651 añade un parámetro basado en una instrucción de adición del parámetro para la URL de los contenidos descritos en MPD solicitados del servidor 1611 de contenidos a describir después.
La sección 1653 de reproducción reproduce secuencialmente segmentos suministrados desde la sección 1652 de almacenamiento. Específicamente, la sección 1653 de reproducción realiza la decodificación, conversión D/A, y la representación sobre los segmentos.
La sección 1654 de selección selecciona secuencialmente sí adquiere secuencialmente los segmentos de los datos codificados que corresponden a una tasa de bitios incluidos en la MPD a adquirir dentro de los mismos contenidos. Por ejemplo, cuando la sección 1654 de selección selecciona secuencialmente los segmentos "Al", "B2", y "A3" de acuerdo a una banda de la red 1612, la sección 1651 de comunicación adquiere secuencialmente los segmentos "Al", B2", y "A3" del servidor 1610 de contenidos como se ilustra en la figura 55.
La sección 1656 de adquisición de locación actual puede ser una sección para adquirir una locación actual del dispositivo 1620 de reproducción de contenidos, y, por ejemplo, se puede constituir de un módulo para adquirir una locación actual de recibidor de un sistema de posicionamiento global (GPS) o los similares. Además, la sección 1656 de adquisición de locación actual puede ser una sección para adquirir una locación actual del dispositivo 1620 de reproducción de contenidos que usa una red inalámbrica.
Configuración del servidor de contenidos La figura 59 es un diagrama explicativo que ilustra un ejemplo de configuración del servidor 1611 de contenidos. Como se ilustra en la figura 59, el servidor 1611 de contenidos incluye una sección 1671 de almacenamiento y una sección 1672 de comunicación.
La sección 1671 de almacenamiento almacena información de un URL de una MPD. La información de la URL de la MPD se transmite del servidor 1611 de contenidos al dispositivo 1620 de reproducción de contenidos de acuerdo a una solicitud del dispositivo 1620 de reproducción de contenidos para solicitar la reproducción de contenidos. Además, cuando se proporciona la información de la URL de la MPD para el dispositivo 1620 de reproducción de contenidos, la sección 1671 de almacenamiento almacena la información de definición cuando el dispositivo 1620 de reproducción de contenidos añade un parámetro a la URL escrita en la MPD.
La sección 1672 de comunicación es una I/F con el dispositivo 1620 de reproducción de contenidos, y comunica con el dispositivo 1620 de reproducción de contenidos mediante la red 1612. Esto es, la sección 1672 de comunicación recibe una solicitud de información de una URL de la MPD del dispositivo 1620 de reproducción de contenidos para solicitar la reproducción del contenido y transmite la información de la URL de la MPD al dispositivo 1620 de reproducción de contenidos. La URL de la MPD a transmitir desde la sección 1672 de comunicación incluye información para añadir un parámetro en el dispositivo 1620 de reproducción de contenidos.
Para el parámetro a añadir a la URL de la MPD en el dispositivo 1620 de reproducción de contenidos. Es posible ajustar varios parámetros en la información de definición a compartir por el servidor 1611 de contenidos y el dispositivo 1620 de reproducción de contenidos. Por ejemplo, la información de una locación actual del dispositivo 1620 de reproducción de contenidos, un usuario ID de un usuario que usa el dispositivo 1620 de reproducción de contenidos, un tamaño de memoria del dispositivo 1620 de reproducción de contenidos, una capacidad de un almacenamiento del dispositivo 1620 de reproducción de contenidos, y los similares se pueden añadir a la URL de la MPD en el dispositivo 1620 de reproducción de contenidos.
En el sistema de reproducción de contenidos de la configuración descrita anteriormente, es posible obtener efectos similares a aquellos descritos anteriormente con referencia a las figuras 1 a 36 aplicando la presente teenología como se describe anteriormente con referencia a las figuras 1 a 36.
Esto es, el codificador 1641 del servidor 1610 de contenidos tiene una función del dispositivo 11 de codificación de imagen (figura 1) de acuerdo con la modalidad descrita anteriormente. Además, la sección 1653 de reproducción del dispositivo 1620 de reproducción de contenidos tiene una función del dispositivo 211 de decodificación de imágenes (figura 10) de acuerdo con la modalidad descrita anteriormente. Por lo que, es posible realizar el procesamiento paralelo de una imagen de punto de vista de base y una imagen dependiente en el lado de codificación o el lado de decodificación.
Además, debido a que es posible limitar la dirección V del MV ínter puntos de vista transmite y recibe datos codificados de acuerdo a la presente tecnología en el sistema de reproducción de contenidos, es posible realizar el procesamiento paralelo de una imagen de puntos de vista base y una imagen dependiente en el lado de codificación o el lado de decodificación .
Ejemplo de aplicación del sistema inalámbrica de comunicación de comunicación de estándar Wi-Fi Ejemplo de operación básica del dispositivo inalámbrico de comunicación Se describirá un ejemplo de operación básica de un dispositivo inalámbrico de comunicación en el sistema inalámbrico de comunicación al que la presente teenología es aplicable.
Inicialmente, la transmisión de paquete de radio y recepción hasta que se opera una aplicación especifica de conexión de igual a igual (P2P) están bien.
Después, antes se hace una conexión en una segunda capa, están bien la transmisión de paquete de radio y la recepción hasta que se configura la conexión P2P y la aplicación especifica se opera después que se designa la aplicación especifica.
Ejemplo de comunicación cuando la operación de aplicación especifica inicia Las figuras 60 y 61 son ejemplos de transmisión del paquete de radio y la recepción hasta que se opera una aplicación específica configurando de la conexión P2P descrito anteriormente y son diagramas de secuencia que ilustran un ejemplo de procesamiento de comunicación por cada dispositivo basado en la comunicación inalámbrica. Específicamente, se muestra un ejemplo de un proceso de configuración de una conexión directa que lleva hacia una conexión en un estándar directo de Wi-Fi (también se refiere a él como P2P Wi-Fi) estandarizado en la alianza Wi-Fi.
Aquí, en el Wi-Fi directo, una pluralidad de dispositivos inalámbricos de comunicación detecta la existencia de una a otra (descubrimiento del dispositivo y el descubrimiento del servicio). Entonces, una conexión directa configura realizando la autentificación del dispositivo en la configuración protegida de Wi-Fi (WPS) con un dispositivo seleccionado cuando se realiza la selección del dispositivo de conexión. Además, en el directo de Wi-Fi, un grupo de comunicación se forma determinando un rol de cada una de la pluralidad de dispositivos inalámbricos de comunicación como un dispositivo principal (propietario del grupo) o un dispositivo secundario (cliente).
Sin embargo, en este ejemplo del proceso de comunicación, se omiten algunos paquetes de transmisión y recepción. Por ejemplo, al tiempo de una conexión inicial, como se describe anteriormente, el intercambio de paquete para usar la WPS es necesaria, y el intercambio de paquete es necesario incluso en el intercambio de la Solicitud/Respuesta de Autentificación o los similares. Sin embargo, en las figuras 60 y 61, la ilustración de esos intercambios de paquetes se omitan y solo se muestra una conexión de la segunda vez.
También, aunque un ejemplo del proceso de comunicación entre un dispositivo 1701 inalámbrico de comunicación y un segundo dispositivo 1702 inalámbrico de comunicación se ilustra en las figuras 60 y 61, lo mismo es cierto para los procesos de comunicación con otros dispositivos inalámbricos de comunicación.
Inicialmente, se realiza el descubrimiento del dispositivo entre el primer dispositivo 1701 inalámbrico de comunicación y el segundo dispositivo 1702 inalámbrico de comunicación (1711). Por ejemplo, el primer dispositivo 1701 inalámbrico de comunicación transmite una solicitud de prueba (señal de solicitud de respuesta), y recibe una respuesta de prueba (señal de respuesta) para la solicitud de prueba desde el segundo dispositivo 1702 inalámbrico de comunicación. Por lo gue, el primer dispositivo 1701 inalámbrico de comunicación y el segundo dispositivo 1702 inalámbrico de comunicación puede descubrir la locación entre si. Además, es posible adquirir un nombre o tipo del dispositivo (TV, PC, teléfono inteligente, o los similares) de un patrón por el descubrimiento del dispositivo.
Subsecuentemente, el descubrimiento del servicio se realiza entre el primer dispositivo 1701 inalámbrico de comunicación y el segundo dispositivo 1702 inalámbrico de comunicación (1712). Por ejemplo, el primer dispositivo 1701 inalámbrico de comunicación transmite una pregunta de descubrimiento de servicio para la consulta de un servicio que corresponde al segundo dispositivo 1702 inalámbrico de comunicación descubierto en el descubrimiento del dispositivo. Entonces, el primer dispositivo 1701 inalámbrico de comunicación adquiere el servicio que corresponde al segundo dispositivo 1702 inalámbrico de comunicación que recibe una respuesta de descubrimiento de servicio desde el segundo dispositivo 1702 inalámbrico de comunicación. Esto es, es posible adquirir un servicio de patrón ejecutable o los similares por el descubrimiento de servicio. El servicio de patrón ejecutable, por ejemplo, es un servicio, un protocolo (Alianza de Red de Vida Digital (DLNA)), un Representación de Medios Digitales (DMR), o los similares.
Subsecuentemente, el usuario realiza una operación (operación de selección de patrón de conexión) de seleccionar un patrón de conexión (1713). Esta operación de selección del patrón de conexión ocurre en solo alguno del primer dispositivo 1701 inalámbrico de comunicación y el segundo dispositivo 1702 inalámbrico de comunicación. Por ejemplo, una imagen de selección de patrón de conexión se proyecta en la sección de pantalla del primer dispositivo 1701 inalámbrico de comunicación, y el segundo dispositivo 1702 inalámbrico de comunicación, se selecciona como el patrón de conexión en la imagen de selección del patrón de conexión de acuerdo a la operación del usuario.
Cuando el usuario realiza la operación (1713) de selección del patrón de conexión, se realiza la negociación del propietario del grupo entre el primer dispositivo 1701 inalámbrico de comunicación y el segundo dispositivo 1702 inalámbrico de comunicación (1714). En las figuras 60 y 61, se ilustra un ejemplo en que el primer dispositivo 1701 inalámbrico de comunicación se vuelve un propietario 1715 del grupo y el segundo dispositivo 1702 inalámbrico del grupo se vuelve un cliente 1716 de acuerdo a un resultado de la negociación del propietario del grupo.
Subsecuentemente, los procesos 1717 a 1720 se realizan entre el primer dispositivo 1701 inalámbrico de comunicación y el segundo dispositivo 1702 inalámbrico de comunicación, de modo que se configura una conexión directa. Esto es, se ejecutan secuencialmente la asociación 1717 (L2 (segunda capa) configuración de enlace) y la configuración 1718 de enlace seguro. Además, se ejecutan secuencialmente la asignación 1719 de dirección IP y la configuración 1720 L4 sobre L3 por un protocolo de descubrimiento de servicio simple (SSD) o los similares. También, L2 (capa 2) se refiere a una segunda capa (capa de datos de enlace), L3 (capa 3) se refiere a una tercera capa (capa de red), y L4 (capa 4) se refiere a una cuarta capa (capa de transporte).
Subsecuentemente, el usuario realiza una designación u operación de activación sobre una aplicación especifica y una operación activación (operación de designación/activación de aplicación) (1721). Esta operación de designación/activación de aplicación ocurre solo en alguno del primer dispositivo 1701 inalámbrico de comunicación y el segundo dispositivo 1702 inalámbrico de comunicación. Por ejemplo, una imagen de operación de designación/activación de aplicación se proyecta en la sección de pantalla del primer dispositivo 1701 inalámbrico de comunicación, y la aplicación especifica se selecciona por la operación del usuario en esta imagen de operación de designación/activación de aplicación.
Cuando el usuario realiza la operación de designación/activación de aplicación (1721), la aplicación especifica gue corresponde a esta operación de designación/activación se ejecuta entre el primer dispositivo 1701 inalámbrico de comunicación y el segundo dispositivo 1702 inalámbrico de comunicación.
Aquí, el caso en que una conexión entre un punto de acceso (AP) y una estación (STA) se configura dentro de un rango de especificaciones (especificaciones estandarizadas en IEEE 802.11) antes que se asuma el estándar directo de Wi-Fi. En este caso, antes que se haga una conexión en la segunda capa (antes de la asociación en la terminología de IEEE 802.11) es difícil conocer que dispositivo se conecta por adelantado .
Por otro lado, como se ilustra en las figuras 60 y 61, en el directo de Wi-Fi, es posible adquirir información de un patrón de conexión cuando un patrón candidato de conexión se encuentra en el descubrimiento del dispositivo o descubrimiento de servicio (opción). La información del patrón de conexión, por ejemplo, es un tipo básico del dispositivo, una aplicación especifica de correspondencia, o los similares. Entonces, es posible para permitir al usuario seleccionar un patrón de conexión basado en la información adquirida del patrón de conexión.
Extendiendo este mecanismo, un sistema inalámbrico de comunicación para designar una aplicación específica antes que se configure una conexión en la segunda capa, seleccionar un patrón de conexión, y también se puede implementar la activación automáticamente una aplicación específica después de la selección. Se ilustra un ejemplo de una secuencia que lleva a la conexión de este caso. Además, se ilustra un ejemplo de configuración de un formato de un cuadro a transmitir y recibir en este proceso de comunicación en la figura 62.
Ejemplo de configuración del formato de cuadro La figura 62 es un diagrama que ilustra un ejemplo de configuración de un formato de un cuadro a transmitir y recibir en un proceso de comunicación por cada dispositivo usado como la base de la presente teenología. Esto es, en la figura 62, se ilustra un ejemplo de configuración de un cuadro de control de acceso de medios (MAC) para configurar la conexión en la segunda capa. Específicamente, este es un ejemplo de un formato de cuadro de una respuesta/solicitud 1787 de asociación para implementar la secuencia ilustrada en la figura 63.
También, los campos desde el control 1751 de cuadro hasta el control 1765 de secuencia son un encabezamiento MAC. Además, cuando se transmite una solicitud de asociación, B2B2= "ObOO" y B7B6B5B4= "ObOOOO" se ajusta en el control 1751 de cuadro. Además, cuando se encapsula una respuesta de asociación B3B2= "ObOO" y B7B6B5B4= "ObOOOO" se ajustan en el control 1751 de cuadro. También, "ObOO" representa "00" en la notación binaria, "ObOOOO" representa "0000" en la notación binaria, y "ObOOOl" representa "0001" en la notación binaria.
Aquí, el cuadro MAC ilustrado en la figura 62 es básicamente un formato de cuadro de solicitud/respuesta de asociación escrito en las Secciones 7.2.3.4 y 7.2.3.5 del documento de especificación IEEE 802.11-2007. Sin embargo, el formato es diferente en que se incluye un IE extendido independientemente así como un elemento de información (en lo sucesivo abreviado como un IE).
Además, para indicar que hay un IE 1760 especifico del vendedor, 127 se ajusta en decimal en un tipo 1761 IE. En este caso, de acuerdo a la sección 7.3.2.26 del documento de especificación IEEE 802.11-2007, un campo 1762 de longitud y un campo 1763 identificador (OUI) único organizacionalmente continua, y entonces se dispone el contenido 1764 de especificación del vendedor.
Como el contenido del contenido 1764 especifico del vendedor, un campo (tipo 1765 IE) que indica un tipo del especifico IE del vendedor se proporciona primero. Entonces por lo tanto, una pluralidad de subelementos 1766 se configura para ser almacenada.
Como el contenido del subelemento 1766, se considera un nombre 1767 de una aplicación especifica a usar o un rol 1768 del dispositivo cuando la aplicación especifica a incluir. Además, la aplicación especifica, la información 1769 (información para configuración L4) tal como un numero de puerto a usar para el control, y la información (información de capacidad) relacionada a la capacidad se considera a ser incluida. Aquí, por ejemplo, cuando una aplicación especifica designada es DLNA, la información de capacidad es información para especificar la correspondencia a la transmisión/reproducción de audio, correspondencia a la transmisión/reproducción de video, y los similares.
En el sistema inalámbrico de comunicación de la configuración descrita anteriormente, es posible obtener efectos similares a aquellos descritos anteriormente con referencia a las figura 1 a 36 aplicando la presente teenología como se describe anteriormente con referencia a las figuras 1 a 36. Esto es, es posible realizar el procesamiento paralelo de una imagen de punto de vista base y una imagen dependiente sobre el lado de codificación o el lado de decodificación. Además, debido a que es posible limitar la dirección V del MV ínter puntos de vista por transmitir y recibir datos codificados de acuerdo a la presente teenología en el sistema inalámbrico de comunicación descrito anteriormente, es posible realiza el procesamiento paralelo de una imagen de vista base y una imagen dependiente sobre el lado de codificación o el lado de decodificación.
También en la presente descripción, un ejemplo en que se ha descrito varios tipos de información tales como información de límite de rango de búsqueda de un MV de ínter puntos de vista que es información relacionada a un límite de la dirección V del rango de búsqueda del MV ínter puntos de vista se multiplexa en un flujo codificado y transmitido desde el lado de codificación al lado de decodificación. Sin embargo, una técnica de transmitir la información no se limita a este ejemplo. Por ejemplo, la información se puede transmitir o regrabar como datos individuales asociados con un flujo de bitios sin ser multiplexado en el flujo codificado. Aquí, el término "asociado" se refiere a él como una imagen incluida en el flujo de bitios (que puede ser parte de una imagen tal que una sección o un bloque) e información que corresponde a la imagen se configura para enlazar en el momento de la decodificación. Esto es, la información se puede transmitir sobre un camino de transmisión separado de una imagen (o flujo de bitios). Además, la información se puede regrabar sobre un medio de grabación separado (o un área de grabación separada del mismo medio de grabación) desde la imagen (o flujo de bitios). Además, la información y la imagen (o el flujo de bitios, por ejemplo se puede asociar una con otra en una unidad arbitraria tal como una pluralidad de cuadros, un cuadro, o una porción dentro del cuadro.
Además, aunque se ha descrito anteriormente el caso en que se ajusta el proceso de codificación se realiza después la información de limite de rango de búsqueda de conjunto, cualquiera puede ser el primer realizado en el orden. Además, en la codificación de los datos de imagen, se puede usar la información limite de rango de búsqueda codificada o la información de rango de búsqueda después de la codificación.
Las modalidades preferidas de la presente descripción se han descrito anteriormente con referencia a los dibujos adjuntos, mientras que la presente invención no se limita a los ejemplos anteriores, por supuesto. Una persona hábil en el arte puede encontrar varias alteraciones y modificaciones dentro de la cercanía de las reivindicaciones adjuntas, y se debe entender que vendrá naturalmente bajo la cercanía téenica de la presente descripción.
Adicionalmente, la presente tecnología también se puede configurar a continuación. (1) Un dispositivo para procesamiento de imagen que incluye: una sección de recepción, configurada para recibir un flujo codificado establecido en la sintaxis del flujo codificado en el cual la información del limite del rango del vector de movimiento (MVj se codifica en unidades en las cuales los datos de imagen tienen una estructura jerárquica y la información del limite del rango del MV, la información del limite del rango del MV que es la información sobre el limite del valor de la dirección vertical del MV para hacer referencia a un punto de vista distinto al punto de vista de un bloque actual en un MV ínter puntos de vista correspondiente al bloque actual; y una sección de decodificación, configurada para decodificar el flujo codificado recibido por la sección de recepción usando la información del límite del rango del MV recibida por la sección de recepción. (2) El dispositivo para procesamiento de imagen de acuerdo con el punto (1), en donde, la información del límite del rango del MV es una bandera que indica que existe un límite de la dirección vertical en el rango del MV Ínter puntos de vista . (3) El dispositivo para procesamiento de imagen de acuerdo con los puntos (1) o (2), en donde, la información del limite del rango del MV es un valor que indica el limite de la dirección vertical positiva del rango del MV ínter puntos de vista. (4) El dispositivo para procesamiento de imagen de acuerdo con el punto (1) o (2), en donde, el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista está preestablecido y es (tamaño de la unidad de codificación más grande (LCU)-8). (5) El dispositivo para procesamiento de imagen de acuerdo con los puntos (1) o (2) en donde, el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista está preestablecido y es (tamaño de la LCU-4) cuando el filtro de bucle está desactivado. (6) El dispositivo para procesamiento de imagen de acuerdo con los puntos (1) o (2), en donde, el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista se determina de acuerdo con la resolución vertical del formato de la imagen. (7) El dispositivo para procesamiento de imagen de acuerdo con los puntos (1) o (2), en donde, el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista se determina de acuerdo con un nivel. (8) El dispositivo para procesamiento de imagen de acuerdo con cualquiera de los puntos (1) a (7), en donde la sección de establecimiento establece la información del límite del rango de búsqueda en un SPS. (9) El dispositivo para procesamiento de imagen de acuerdo con cualquiera de los puntos (1) a (7), en donde la información del límite del rango del MV se establece en un conjunto de parámetros de video (VPS). (10) El dispositivo para procesamiento de imagen de acuerdo con cualquiera de los puntos (1) a (7), en donde, la información del límite del rango del MV se establece en la información de utilidad del video (VUI). (11) El dispositivo para procesamiento de imagen de acuerdo con cualquiera de los puntos (1) a (10), en donde, la sección de decodificación decodifica la información del límite del rango del MV recibida por la sección de recepción, y decodifica el flujo codificado recibido por la sección de recepción usando la información del límite del rango del MV decodificada. (12) Un método para procesamiento de imagen, que incluye: recibir, mediante el dispositivo para procesamiento de imagen, un flujo codificado establecido en la sintaxis del flujo codificado en el cual la información del limite del rango del MV se codifica en unidades en las cuales los datos de la imagen tienen una estructura jerárquica y la información del limite del rango del MV, la información del limite del rango del MV que es la información sobre el limite del valor de la dirección positiva del MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en el MV ínter puntos de vista correspondiente al bloque actual; y decodificar, mediante el dispositivo para procesamiento de imagen, el flujo codificado recibido, usando la información del límite del rango del MV recibida, (13) Un dispositivo para procesamiento de imagen que incluye: una sección de establecimiento, configurada para establecer la información del límite del rango del MV la cual es la información sobre el límite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual, en la sintaxis de un flujo codificado; una sección de codificación, configurada para generar el flujo codificado al codificar los datos de la imagen en unidades que tienen una estructura jerárquica usando la información del limite del rango del MV establecida por la sección de establecimiento; y una sección de transmisión, configurada para transmitir el flujo codificado generado por la sección de codificación y la información del limite del rango del MV establecida por la sección de establecimiento. (14) El dispositivo para procesamiento de imagen de acuerdo con el punto (13), en donde, la sección de establecimiento establece una bandera que indica que existe un limite de la dirección vertical en el rango del MV Ínter puntos de vista como la información del límite del rango el MV. (15) El dispositivo para procesamiento de imagen de acuerdo con los puntos (13) o (14), en donde, la sección de establecimiento establece un valor que indica el límite de la dirección vertical positiva en el rango del MV Ínter puntos de vista, como la información del límite del rango del MV. (16) El dispositivo para procesamiento de imagen de acuerdo con el punto (13) o (14), en donde, el valor del límite de la dirección vertical positiva del rango del MV Ínter puntos de vista está preestablecido y es (tamaño de la LCU-8). (17) El dispositivito para procesamiento de imagen de acuerdo con el punto (13) o (14), en donde, el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista está preestablecido y es (tamaño de la LCU-4) cuando el filtro de bucle se desactiva. (18) El dispositivo para procesamiento de imagen de acuerdo con el punto (13) o (14), en donde, el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista se determina de acuerdo con la resolución vertical del formato de la imagen. (19) El dispositivo para procesamiento de imagen de acuerdo con el punto (13) o (14), en donde, el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista se determina de acuerdo con un nivel. (20) El dispositivo para procesamiento de imagen de acuerdo con el punto (13) o (14), en donde, la sección de establecimiento establece la información del límite del rango del MV en un SPS. (21) El dispositivo para procesamiento de imagen de acuerdo con el punto (13) o (14), en donde, la sección de establecimiento establece la información del limite del rango del MV en un VPS. (22) El dispositivo para procesamiento de imagen de acuerdo con el punto (13) o (14), en donde, la sección de establecimiento establece la información del limite del rango el MV en la VUI. (23) El dispositivo para procesamiento de imagen de acuerdo con cualquiera de los puntos (13) a (22), en donde, la sección de codificación genera el flujo codificado al codificar la información del limite del rango del MV establecida por la sección de establecimiento y codificar los datos de la imagen usando la información del limite del rango del MV codificada. (24) Un método para procesamiento de imagen que incluye; establecer, mediante un dispositivo para procesamiento de imagen, la información del limite del rango del MV la cual es la información sobre el limite del valor de la dirección vertical del MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en el MV ínter puntos de vista correspondiente al bloque actual en la sintaxis del flujo codificado; generar, mediante el dispositivo para procesamiento de imagen, el flujo codificado, al codificar los datos de imagen en unidades que tienen una estructura jerárquica, usando la información del limite del rango del MV; y transmitir, mediante el dispositivo para procesamiento de imagen, el flujo codificado generado y la información del limite del rango del MV establecida. (25) Un dispositivo para procesamiento de imagen que incluye: una sección de recepción, configurada para recibir el flujo codificado establecido por un número de lineas de unidades del árbol de codificación en la sintaxis de un flujo codificado en el cual la información del limite del rango del MV se codifica en unidades en las cuales los datos de la imagen tienen una estructura jerárquica y la información del limite del rango del MV, la información del limite del rango del MV que es la información sobre el limite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual; y una sección de decodificación, configurada para decodificar el flujo codificado recibido por la sección de recepción usando la información del limite del rango del MV recibida por la sección de recepción. (26) El dispositivo para procesamiento de imagen de acuerdo con el punto (25), en donde, la información del limite del rango del MV se establece mediante el número de lineas de CTU de la dirección vertical retardadas con relación al punto de vista distinto. (27) El dispositivo para procesamiento de imagen de acuerdo con el punto (25) o (26), en donde, el número de lineas de CTU de la dirección vertical es Expresión Matemática 3 1« ( 6-Log2CTUtamafto) . . . ( 3) (28) El dispositivo para procesamiento de imagen de acuerdo con cualquiera de los puntos (25) a (27), en donde, la información del limite del rango del MV se establece en el SPS. (29) Un método para procesamiento de imagen que incluye: recibir, mediante un dispositivo para procesamiento de imagen, un flujo codificado establecido por el número de lineas de CTU en la sintaxis de un flujo codificado en el cual la información del limite del rango del MV se codifica en unidades en las cuales los datos de la imagen tienen una estructura jerárquica y la información del limite del rango del MV, la información del limite del rango del MV que es la información sobre el limite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual; y decodificar, mediante el dispositivo para procesamiento de imagen, el flujo codificado recibido, usando la información del límite del rango del MV recibida. (30) Un dispositivo para procesamiento de imagen que incluye: una sección de establecimiento, configurada para establecer la información del límite del rango del MV mediante el número de líneas de CTU, la información del límite del rango del MV que es la información sobre el límite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual en la sintaxis de un flujo codificado; una sección de codificación, configurada para generar el flujo codificado al codificar los datos de la imagen en unidades que tienen una estructura jerárquica usando la información del límite del rango del MV establecida por la sección de establecimiento; y una sección de transmisión, configurada para transmitir el flujo codificado generado por la sección de codificación y la información del límite del rango del MV establecida por la sección de establecimiento. (31) El dispositivo para procesamiento de imagen de acuerdo con el punto (30), en donde la sección de establecimiento establece la información del limite del rango del MV mediante el número de lineas de CTU de la dirección vertical retardadas del punto de vista distinto. (32) El dispositivo para procesamiento de imagen de acuerdo con el punto (30) o (31), en donde, el número de lineas de CTU de la dirección vertical es Expresión Matemática 3 1<<(6-Log2CTUtamaño) ...(3) (33) El dispositivo para procesamiento de imagen de acuerdo con cualquiera de los puntos (30) a (32), en donde, la sección de establecimiento establece la información del limite del rango del MV en un SPS. (34) Un método para procesamiento de imagen que incluye: establecer, mediante un dispositivo para procesamiento de imagen, la información del limite del rango del MV mediante un número de lineas de CTU, la información del limite de rango del MV que es la información sobre el limite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista de un bloque actual en un MV ínter puntos de vista correspondiente al bloque actual en la sintaxis de un flujo codificado; generar, mediante el dispositivo para procesamiento de imagen, el flujo codificado al codificar los datos de imagen en unidades que tienen una estructura jerárquica usando la información del límite del rango del MV establecida; y transmitir, mediante el dispositivo para procesamiento de imagen, el flujo codificado generado y la información del límite del rango del MV establecida. (35) Un dispositivo para procesamiento de imagen que incluye: una sección de codificación, configurada para generar un flujo codificado al codificar los datos de imagen en unidades que tienen una estructura jerárquica usando la información del límite del rango del MV la cual es la información sobre el límite del valor de la dirección V de un MV, para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual; y una sección de transmisión, configurada para transmitir el flujo codificado generado mediante la sección de codificación. (36) El dispositivo para procesamiento de imagen de acuerdo con el punto (35), en donde, la información del límite del rango del MV es la información que indica el limite en el cual el MV ínter puntos de vista es de 0 pixeles. (37) El dispositivo para procesamiento de imagen de acuerdo con el punto (35), en donde, la información del límite el rango del MV es la información que indica el límite en el cual el MV ínter puntos de vista es de un pixel o menos. (38) El dispositivo para procesamiento de imagen de acuerdo con el punto (35), en donde, la información del límite del rango del MV es la información que indica el límite en el cual, el MV ínter puntos de vista es de X pixeles o menos.
LISTA DE REFERENCIAS NUMÉRICAS 11 dispositivo para codificación de imagen de puntos de vista múltiples 21 sección de codificación de la sintaxis 22 sección de control de la temporización 23 sección de codificación del punto de vista base 24 sección de codificación del punto de vista dependiente 25 DPB 26 sección de transmisión 123 sección de predicción ínter 211 dispositivo para decodificación de imagen de puntos de vista múltiples 221 sección de recepción 222 sección de decodificación de la sintaxis 223 sección de control de la temporización 224 sección de decodificación del punto de vista base 225 sección de decodificación del punto de vista dependiente 226 DPB 320 sección de predicción ínter 322 memoria asociada

Claims (34)

REIVINDICACIONES
1. Un dispositivo para procesamiento de imagen, caracterizado porque comprende: una sección de recepción, configurada para recibir un flujo codificado establecido en la sintaxis del flujo codificado en el cual la información del limite del rango del vector de movimiento (MV) se codifica en unidades en las cuales los datos de imagen tienen una estructura jerárquica y la información del limite del rango del MV, la información del limite del rango del MV que es la información sobre el limite del valor de la dirección vertical del MV para hacer referencia a un punto de vista distinto al punto de vista de un bloque actual en un MV ínter puntos de vista correspondiente al bloque actual; y una sección de decodificación, configurada para decodificar el flujo codificado recibido por la sección de recepción usando la información del límite del rango del MV recibida por la sección de recepción.
2. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 1, caracterizado porque la información del límite del rango del MV es una bandera que indica que existe un límite de la dirección vertical en el rango del MV ínter puntos de vista.
3. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 2, caracterizado porque la información del limite del rango del MV es un valor que indica el limite de la dirección vertical positiva del rango del MV ínter puntos de vista.
4. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 2, caracterizado porque el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista está preestablecido y es (tamaño de la unidad de codificación más grande (LCU)-8).
5. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 2, caracterizado porque el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista está preestablecido y es (tamaño de la LCU-4) cuando el filtro de bucle está desactivado.
6. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 2, caracterizado porque el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista se determina de acuerdo con la resolución vertical del formato de la imagen.
7. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 2, caracterizado porque el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista se determina de acuerdo con un nivel.
8. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 2, caracterizado porque la información del límite del rango del MV se establece en un SPS.
9. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 2, caracterizado porque, la información del limite del rango del MV se establece en un conjunto de parámetros de video (VPS).
10. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 2, caracterizado porque la información del limite del rango del MV se establece en la información de utilidad del video (VUI).
11. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 1, caracterizado porque la sección de decodificación decodifica la información del limite del rango del MV recibida por la sección de recepción, y decodifica el flujo codificado recibido por la sección de recepción usando la información del limite del rango del MV decodificada.
12. Un método para procesamiento de imagen, caracterizado porque comprende: recibir, mediante el dispositivo para procesamiento de imagen, un flujo codificado establecido en la sintaxis del flujo codificado en el cual la información del limite del rango del MV se codifica en unidades en las cuales los datos de la imagen tienen una estructura jerárquica y la información del limite del rango del MV, la información del limite del rango del MV que es la información sobre el limite del valor de la dirección positiva del MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en el MV Ínter puntos de vista correspondiente al bloque actual; y decodificar, mediante el dispositivo para procesamiento de imagen, el flujo codificado recibido, usando la información del límite del rango del MV recibida,
13. Un dispositivo para procesamiento de imagen caracterizado porque comprende: una sección de establecimiento, configurada para establecer la información del límite del rango del MV la cual es la información sobre el límite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual, en la sintaxis de un flujo codificado; una sección de codificación, configurada para generar el flujo codificado al codificar los datos de la imagen en unidades que tienen una estructura jerárquica usando la información del límite del rango del MV establecida por la sección de establecimiento; y una sección de transmisión, configurada para transmitir el flujo codificado generado por la sección de codificación y la información del límite del rango del MV establecida por la sección de establecimiento.
14. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 13, caracterizado porque la sección de establecimiento establece una bandera que indica que existe un limite de la dirección vertical en el rango del MV ínter puntos de vista como la información del límite del rango el MV.
15. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 14, caracterizado porque la sección de establecimiento establece un valor que indica el límite de la dirección vertical positiva en el rango del MV ínter puntos de vista, como la información del límite del rango del MV.
16. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 14, caracterizado porque el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista está preestablecido y es (tamaño de la LCU-8).
17. El dispositivito para procesamiento de imagen de acuerdo con la reivindicación 14, caracterizado porque el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista está preestablecido y es (tamaño de la LCU-4) cuando el filtro de bucle está desactivado.
18. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 14, caracterizado porque el valor del límite de la dirección vertical positiva del rango del MV ínter puntos de vista se determina.de acuerdo con la resolución vertical del formato de la imagen.
19. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 14, caracterizado porque el valor del limite de la dirección vertical positiva del rango del MV ínter puntos de vista se determina de acuerdo con un nivel.
20. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 14, caracterizado porque la sección de establecimiento establece la información del límite del rango del MV en un SPS.
21. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 14, caracterizado porque la sección de establecimiento establece la información del límite del rango del MV en un VPS.
22. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 14, caracterizado porque la sección de establecimiento establece la información del límite del rango el MV en la VUI.
23. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 13, caracterizado porque la sección de codificación genera el flujo codificado al codificar la información del límite del rango del MV establecida por la sección de establecimiento y codificar los datos de la imagen usando la información del límite del rango del MV codificada.
24. Un método para procesamiento de imagen caracterizado porque comprende; establecer, mediante un dispositivo para procesamiento de imagen, la información del limite del rango del MV la cual es la información sobre el limite del valor de la dirección vertical del MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en el MV ínter puntos de vista correspondiente al bloque actual en la sintaxis del flujo codificado; generar, mediante el dispositivo para procesamiento de imagen, el flujo codificado, al codificar los datos de imagen en unidades que tienen una estructura jerárquica, usando la información del límite del rango del MV; y transmitir, mediante el dispositivo para procesamiento de imagen, el flujo codificado generado y la información del límite del rango del MV establecida.
25. Un dispositivo para procesamiento de imagen, caracterizado porque comprende: una sección de recepción, configurada para recibir el flujo codificado establecido por un número de líneas de unidades del árbol de codificación en la sintaxis de un flujo codificado en el cual, la información del límite del rango del MV se codifica en unidades en las cuales los datos de la imagen tienen una estructura jerárquica y la información del límite del rango del MV, la información del límite del rango del MV que es la información sobre el limite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual; y una sección de decodificación, configurada para decodificar el flujo codificado recibido por la sección de recepción usando la información del límite del rango del MV recibida por la sección de recepción.
26. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 25, caracterizado porque la información del límite del rango del MV se establece mediante el número de líneas de CTU de la dirección vertical retardadas con relación al punto de vista distinto.
27. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 26, caracterizado porque el número de lineas de CTU de la dirección vertical es Expresión Matemática 3 1« (6-Log2CTUtamaño) ...(3)
28. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 26, caracterizado porque, la información del límite del rango del MV se establece en el SPS.
29. Un método para procesamiento de imagen caracterizado porque comprende: recibir, mediante un dispositivo para procesamiento de imagen, un flujo codificado establecido por el número de lineas de CTU en la sintaxis de un flujo codificado en el cual la información del limite del rango del MV se codifica en unidades en las cuales los datos de la imagen tienen una estructura jerárquica y la información del limite del rango del MV, la información del límite del rango del MV que es la información sobre el límite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual; y decodificar, mediante el dispositivo para procesamiento de imagen, el flujo codificado recibido, usando la información del límite del rango del MV recibida.
30. Un dispositivo para procesamiento de imagen, caracterizado porque comprende: una sección de establecimiento, configurada para establecer la información del límite del rango del MV mediante el número de líneas de CTU, la información del límite del rango del MV que es la información sobre el límite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual en la sintaxis de un flujo codificado; una sección de codificación, configurada para generar el flujo codificado al codificar los datos de la imagen en unidades que tienen una estructura jerárquica usando la información del limite del rango del MV establecida por la sección de establecimiento; y una sección de transmisión, configurada para transmitir el flujo codificado generado por la sección de codificación y la información del limite del rango del MV establecida por la sección de establecimiento.
31. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 30, caracterizado porque la sección de establecimiento establece la información del limite del rango del MV mediante el número de lineas de CTU de la dirección vertical retardadas con relación al punto de vista distinto.
32. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 31, caracterizado porque el número de lineas de CTU de la dirección vertical es Expresión Matemática 3 1« (6-Log2CTUtamaño) ...(3)
33. El dispositivo para procesamiento de imagen de acuerdo con la reivindicación 31, caracterizado porque la sección de establecimiento establece la información del limite del rango del MV en un SPS.
34. Un método para procesamiento de imagen caracterizado porque comprende: establecer, mediante un dispositivo para procesamiento de imagen, la información del limite del rango del MV mediante un número de lineas de CTU, la información del limite de rango del MV que es la información sobre el limite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista de un bloque actual en un MV ínter puntos de vista correspondiente al bloque actual en la sintaxis de un flujo codificado; generar, mediante el dispositivo para procesamiento de imagen, el flujo codificado al codificar los datos de imagen en unidades que tienen una estructura jerárquica usando la información del límite del rango del MV establecida; y transmitir, mediante el dispositivo para procesamiento de imagen, el flujo codificado generado y la información del límite del rango del MV establecida. RESUMEN DE LA INVENCIÓN Se proporciona un dispositivo para procesamiento de imagen que incluye una sección de recepción, configurada para recibir un flujo codificado establecido en la sintaxis del flujo codificado en el cual la información del limite del rango del vector de movimiento (MV) se codifica en unidades en las cuales los datos de la imagen tienen una estructura jerárquica y la información del limite del rango del MV, la información del limite del rango del MV que es la información sobre el límite del valor de la dirección vertical de un MV para hacer referencia a un punto de vista distinto del punto de vista del bloque actual en un MV ínter puntos de vista correspondiente al bloque actual, y una sección de decodificación, configurada para decodificar el flujo codificado recibido por la sección de recepción, usando la información del límite del rango del MV recibida por la sección de recepción.
MX2015003591A 2012-09-28 2013-09-19 Dispositivo y metodo para procesamiento de imagen. MX339554B (es)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012218306 2012-09-28
JP2013041903 2013-03-04
JP2013134839 2013-06-27
PCT/JP2013/075294 WO2014050695A1 (ja) 2012-09-28 2013-09-19 画像処理装置および方法

Publications (2)

Publication Number Publication Date
MX2015003591A true MX2015003591A (es) 2015-06-05
MX339554B MX339554B (es) 2016-05-30

Family

ID=50388100

Family Applications (2)

Application Number Title Priority Date Filing Date
MX2015003591A MX339554B (es) 2012-09-28 2013-09-19 Dispositivo y metodo para procesamiento de imagen.
MX2016006873A MX352012B (es) 2012-09-28 2013-09-19 Dispositivo y método para procesamiento de imagen.

Family Applications After (1)

Application Number Title Priority Date Filing Date
MX2016006873A MX352012B (es) 2012-09-28 2013-09-19 Dispositivo y método para procesamiento de imagen.

Country Status (11)

Country Link
US (3) US9924189B2 (es)
EP (2) EP2899984B1 (es)
KR (2) KR102135986B1 (es)
AU (3) AU2013321333B2 (es)
BR (1) BR112015006323A2 (es)
CA (1) CA2885408C (es)
MX (2) MX339554B (es)
MY (1) MY187250A (es)
RU (2) RU2673100C1 (es)
SG (3) SG11201502126RA (es)
WO (1) WO2014050695A1 (es)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9924189B2 (en) * 2012-09-28 2018-03-20 Sony Corporation Image processing device and method
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
EP3041233A1 (en) * 2014-12-31 2016-07-06 Thomson Licensing High frame rate-low frame rate transmission technique
US10027989B2 (en) * 2015-05-06 2018-07-17 Integrated Device Technology, Inc. Method and apparatus for parallel decoding
GB2538997A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
CN107683606B (zh) 2015-06-05 2021-11-05 索尼公司 图像处理装置和图像处理方法
CN108028924B (zh) * 2015-09-08 2020-12-01 Lg 电子株式会社 用于编码/解码图像的方法及其装置
KR102476207B1 (ko) * 2015-11-12 2022-12-08 삼성전자주식회사 반도체 장치의 동작 방법 및 반도체 시스템
US10848768B2 (en) 2018-06-08 2020-11-24 Sony Interactive Entertainment Inc. Fast region of interest coding using multi-segment resampling
CN117676134A (zh) * 2019-04-25 2024-03-08 北京字节跳动网络技术有限公司 对运动矢量差的约束
CN117499667A (zh) 2019-06-25 2024-02-02 北京字节跳动网络技术有限公司 对运动矢量差的约束
JP2021057767A (ja) * 2019-09-30 2021-04-08 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置および画像データ転送方法
US11164339B2 (en) 2019-11-12 2021-11-02 Sony Interactive Entertainment Inc. Fast region of interest coding using multi-segment temporal resampling
US11785205B2 (en) * 2019-12-24 2023-10-10 Qualcomm Incorporated Shared decoder picture buffer for multiple layers

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0935396A3 (en) * 1998-02-09 2004-08-11 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus
JP2002245451A (ja) 2001-02-19 2002-08-30 Nippon Hoso Kyokai <Nhk> 立体画像評価装置
US7277587B2 (en) * 2002-04-26 2007-10-02 Sharp Laboratories Of America, Inc. System and method for lossless video coding
CN101627634B (zh) * 2006-10-16 2014-01-01 诺基亚公司 用于将可并行解码片用于多视点视频编码的系统和方法
US7822280B2 (en) * 2007-01-16 2010-10-26 Microsoft Corporation Epipolar geometry-based motion estimation for multi-view image and video coding
KR101083379B1 (ko) * 2007-03-14 2011-11-14 니폰덴신뎅와 가부시키가이샤 움직임 벡터 탐색 방법 및 장치 그리고 프로그램을 기록한 기록매체
BR122012021799A2 (pt) * 2007-10-05 2015-08-04 Thomson Licensing Método para incorporar informação de usabilidade de vídeo (vui) em um sistema de codificação de vídeo de múltiplas visualizações (mvc)
CN101282478A (zh) 2008-04-24 2008-10-08 上海华平信息技术股份有限公司 实现高清视频并行编码的方法及系统
JP2009296443A (ja) * 2008-06-06 2009-12-17 Mitsubishi Electric Corp ベクトル探索範囲制限装置および動画像符号化装置
JP5163429B2 (ja) 2008-11-05 2013-03-13 ソニー株式会社 動きベクトル検出装置、その処理方法およびプログラム
EP2603002A4 (en) 2010-08-03 2014-12-31 Sony Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CN101917619B (zh) 2010-08-20 2012-05-09 浙江大学 一种多视点视频编码快速运动估计方法
JP5616984B2 (ja) * 2011-01-26 2014-10-29 株式会社日立製作所 画像復号化装置
KR20120090740A (ko) * 2011-02-07 2012-08-17 (주)휴맥스 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
TWI461066B (zh) * 2011-11-03 2014-11-11 Ind Tech Res Inst 彈性調整估算搜尋範圍的移動估算方法及視差估算方法
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US10863170B2 (en) * 2012-04-16 2020-12-08 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding on the basis of a motion vector
US9998726B2 (en) * 2012-06-20 2018-06-12 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
CN104521236B (zh) * 2012-07-27 2017-10-20 寰发股份有限公司 三维视频编码或解码方法
BR112015006317A2 (pt) * 2012-09-28 2017-07-04 Sony Corp dispositivo e método de processamento de imagem
US9924189B2 (en) * 2012-09-28 2018-03-20 Sony Corporation Image processing device and method

Also Published As

Publication number Publication date
BR112015006323A2 (pt) 2017-07-04
RU2015110062A (ru) 2016-10-10
WO2014050695A1 (ja) 2014-04-03
US20150229945A1 (en) 2015-08-13
AU2017251760B2 (en) 2019-10-10
MX352012B (es) 2017-11-06
US20180152725A1 (en) 2018-05-31
EP3579562A1 (en) 2019-12-11
KR102135986B1 (ko) 2020-07-20
KR102245026B1 (ko) 2021-04-27
AU2013321333A1 (en) 2015-03-12
CA2885408C (en) 2021-11-30
SG10201601308UA (en) 2016-03-30
US20220124361A1 (en) 2022-04-21
US9924189B2 (en) 2018-03-20
AU2017251760A1 (en) 2017-11-16
AU2020200093B2 (en) 2021-05-20
EP2899984B1 (en) 2019-11-20
RU2673100C1 (ru) 2018-11-22
RU2645284C2 (ru) 2018-02-19
EP2899984A4 (en) 2016-05-25
MY187250A (en) 2021-09-15
CA2885408A1 (en) 2014-04-03
SG11201502126RA (en) 2015-05-28
MX339554B (es) 2016-05-30
EP2899984A1 (en) 2015-07-29
AU2020200093A1 (en) 2020-01-30
KR20200088512A (ko) 2020-07-22
KR20150067142A (ko) 2015-06-17
AU2013321333B2 (en) 2017-07-27
EP3579562B1 (en) 2021-09-08
SG10201601307SA (en) 2016-03-30

Similar Documents

Publication Publication Date Title
AU2020200093B2 (en) Image processing device and method
US20220394253A1 (en) Image encoding device and method and image decoding device and method
US10917656B2 (en) Image processing device and method
US20150288963A1 (en) Image processing apparatus and image processing method
WO2015005132A1 (ja) 画像符号化装置および方法、並びに画像復号装置および方法

Legal Events

Date Code Title Description
FG Grant or registration