MX2013014734A - Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion y decodificacion de imagenes. - Google Patents

Abstract

Se describe un método de codificación de imágenes para codificar una imagen sobre una base por unidad de codificación, el método comprende: aplicar una transformada de frecuencia a datos de luminancia y datos de crominancia de unidades de transformada en la unidad de codificación incluyendo bloques predeterminados que cada uno corresponde a una o más de las unidades de transformada (S501); y codificar los datos de luminancia y los datos de crominancia a los que se ha aplicado la transformada de frecuencia para generar un flujo de bits en el que los datos de luminancia y los datos de crominancia se agrupen sobre una base por bloques predeterminados (S502).

Description

METODO DE CODIFICACION DE IMAGENES, METODO DE DECODIFICACION DE IMAGENES, APARATO DE CODIFICACION DE IMAGENES, APARATO DE DECODIFICACION DE IMAGENES Y APARATO DE CODIFICACION Y DECODIFICACION DE IMAGENES Campo de la Invención La presente invención se refiere a métodos de codificación de imágenes para codificar una imagen sobre una base por bloques y a métodos de decodificación de imágenes para decodificar una imagen sobre una base por bloques.

Antecedentes de la Invención La literatura no de patente (NPL, por sus siglas en inglés) 1 describe una técnica relacionada con un método de codificación de imágenes para codificar una imagen (incluyendo una imagen en movimiento) sobre una base por bloques y un método de decodificación de imágenes para decodificar una imagen sobre una base por bloques.

Lista de citas Literatura de patente NPL 1 ISO/IEC 14496-10 "MPEG-4 PartlO Advanced Video Coding" Breve Descripción de la Invención Problema técnico Sin embargo, algunos métodos de codificación de imágenes y métodos de decodificación de imágenes Ref. 245542 convencionales incluyen procesos ineficientes.

Así, la presente invención proporciona un método de codificación de imágenes para codificar eficientemente una imagen, y un método de decodificación de imágenes para decodificar eficientemente una imagen.

Solución al problema El método de decodificación de imágenes para codificar una imagen sobre una base de unidades de codificación de acuerdo con una modalidad de la presente invención incluye: aplicar una transformada de frecuencia a datos de luminancia y datos de crominancia de unidades de transformación en la unidad de codificación incluyendo bloques predeterminados que cada uno corresponden a una o más de las unidades de transformación; y codificar los datos de luminancia y los datos de crominancia a los cuales se han aplicado la transformada de frecuencia para generar un flujo de bits en el cual los datos de luminancia y los datos de crominancia se agrupen sobre una base de bloques predeterminados .

Estos aspectos generales y específicos pueden implementarse usando un sistema, un aparato, un circuito integrado, un programa de computadora o un medio de grabación legible por computadora no transitorio tal como un CD-ROM, o cualquier combinación de sistemas, aparatos, métodos, circuitos integrados, programas de computadora o medios de grabación legibles por computadora.

Efectos adecuados de la invención El método de codificación de imágenes y el método de decodificación de imágenes de acuerdo con la presente invención proporcionan un método para codificar o decodificar eficientemente una imagen.

Breve Descripción de las Figuras Las figuras 1A, IB y 1C ilustran un flujo de bits convencional .

La figura 2 es un diagrama de. bloques que ilustra una configuración del aparato de codificación de imágenes de acuerdo con la primera modalidad.

Las figuras 3A, 3B y 3C ilustran el flujo de bits de acuerdo con la primera modalidad.

La figura 4 es un diagrama de flujo que ilustra la operación de codificación de acuerdo con la primera modalidad.

La figura 5 ilustra el flujo de bits de acuerdo con una variación de la primera modalidad.

La figura 6 es un diagrama de flujo que ilustra la operación de codificación de acuerdo con una variación de la primera modalidad.

La figura 7 es un diagrama de bloques que ilustra una configuración del aparato de codificación de imágenes de acuerdo con la segunda modalidad.

Las figuras 8A, 8B y 8C ilustran el flujo de bits de acuerdo con la segunda modalidad.

La figura 9 es un diagrama de flujo que ilustra la operación de codificación de acuerdo con la segunda modalidad.

Las figuras 10A y 10B ilustran la división y asignación de procesamiento para las unidades de cómputo múltiples de acuerdo con la segunda modalidad.

La figura 11 es un diagrama de bloques que ilustra una configuración del aparato de decodificación de imágenes de acuerdo con la tercera modalidad.

La figura 12 es un diagrama de flujo que ilustra la operación de decodificación de acuerdo con la tercera modalidad.

La figura 13 es un diagrama de bloques que ilustra una configuración del aparato de decodificación de imágenes de acuerdo con la cuarta modalidad.

La figura 14 es un diagrama de flujo que ilustra la operación de decodificación de acuerdo con la cuarta modalidad.

La figura 15A es un diagrama de bloques que ilustra una configuración del aparato de codificación de imágenes de acuerdo con la quinta modalidad.

La figura 15B es un diagrama de flujo que ilustra la operación de codificación de acuerdo con la quinta modalidad.

La figura 16A es un diagrama de bloques que ilustra una configuración del aparato de decodificación de imágenes de acuerdo con la quinta modalidad.

La figura 16B es un diagrama de flujo que ilustra la operación de decodificación de acuerdo con la quinta modalidad.

La figura 17 es una configuración general de un sistema de provisión de contenidos para implementar servicios de distribución de contenido.

La figura 18 es una configuración general de un sistema de difusión digital.

La figura 19 es un diagrama de bloques que ilustra un ejemplo de una configuración de una televisión.

La figura 20 es un diagrama de bloques que ilustra un ejemplo de una configuración de una unidad de reproducción/grabación de información que lee y escribe información de y sobre un medio de grabación que es un disco óptico .

La figura 21 es un ejemplo de una configuración de un medio de grabación que es un disco óptico.

La figura 22A es un ejemplo de un teléfono celular. La figura 22B es un diagrama de bloques que muestra un ejemplo de una configuración de un teléfono celular.

La figura 23 es una estructura de datos multiplexados .

La figura 24 muestra cómo multiplexar cada flujo en datos multiplexados .

La figura 25 muestra cómo almacenar un flujo de video en un flujo de paquetes PES en más detalle.

La figura 26 es una estructura de paquetes TS y paquetes de origen en los datos multiplexados.

La figura 27 es una estructura de datos de una PMT.

La figura 28 es una estructura interna de información de datos multiplexada .

La figura 29 es una estructura interna de información de atributos de flujo.

La figura 30 muestra las etapas para identificar datos de video.

La figura 31 es un ejemplo de una configuración de un circuito integrado para implementar el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento de acuerdo con cada una de las modalidades.

La figura 32 es una configuración para cambiar entre frecuencias de excitación.

La figura 33 muestra las etapas para identificar datos de video y cambiar entre frecuencias de excitación.

La figura 34 es un ejemplo de un ejemplo de una tabla de consulta en la cual normas de datos de video están asociadas con frecuencias de excitación.

La figura 35A es un diagrama que muestra un ejemplo de una configuración para compartir un módulo de una unidad de procesamiento de señales .

La figura 35B es un diagrama que muestra otro ejemplo de una configuración para compartir un módulo de la unidad de procesamiento de señales .

Descripción Detallada de la Invención Conocimiento subyacente que forma la base de la presente invención En relación con la técnica relacionada con un aparato de codificación de imágenes para codificar una imagen sobre una base por bloques y un aparato de decodificación de imágenes para decodificar una imagen sobre una base por bloques descritos en la sección de antecedentes, los inventores han encontrado el siguiente problema: En años recientes se ha visto un rápido avance en la tecnología de equipo de video digital . La capacidad de comprimir una señal de video (una pluralidad de imágenes dispuestas en una serie de tiempo) ingresada desde una cámara de video o un sintonizador de televisión y almacenar la señal comprimida en un medio grabable tal como un DVD o un disco duro se ha vuelto común.

Cuando se codifica una señal de video, datos de imagen son generalmente desmultiplexados en información de luminancia (Y) , primera información de crominancia (U) y segunda información de crominancia (V) . Una transformada de frecuencia se aplica a cada una de éstas, y el valor de coeficiente obtenido como resultado se codifica usando una técnica de codificación tal como codificación de longitud variable o codificación aritmética.

Todavía más específicamente, una sola imagen se divide en unidades de codificación (en adelante denominadas CU, por sus siglas en inglés) , una CU se divide más en unidades de transformada (en adelante denominadas TU, por sus siglas en inglés) , luego una transformada de frecuencia se aplica a cada una de la Y, U, y V en una TU. Un flujo de bits es luego generado al combinar los resultados de codificación de Y, U y V. Además, en la decodificación, el valor de coeficiente de cada una de la Y, U y V se decodifica a partir del flujo de bits, e información de imagen para cada una de la Y, U y V se obtiene de los valores de coeficiente por transformación inversa.

Se debe notar que una CU es una unidad de datos para codificar una imagen que corresponde a un macrobloque de acuerdo con las normas de codificación de video H.264/AVC y MPEG-4 AVC (véase NPL 1) . La CU está incluida en una imagen o en un segmento dentro de una imagen. Una unidad de codificación más grande (en adelante denominada LCU, por sus siglas en inglés) es un cuadrado de un tamaño fijo predeterminado. La CU es un cuadrado más pequeño que el tamaño fijo predeterminado. Dos CUs en la misma imagen o en el mismo segmento pueden ser cuadrados de diferentes tamaños.

Por ejemplo, cada uno de los cuatro bloques definidos al dividir un cuadrado de un tamaño fijo predeterminado en una imagen o segmento en cuatro partes puede designarse como la CU. Más aún, entre una pluralidad de bloques jerárquicos definidos al dividir un cuadrado de un tamaño fijo predeterminado en cuatro partes en etapas múltiples, el bloque jerárquico más bajo puede ser designado como la CU. Cuando un cuadrado de un tamaño fijo predeterminado no se divide en cuatro partes, la LCU puede ser designada como la CU. Una imagen es codificada sobre una base por CU y un flujo de bits se genera de acuerdo con las designaciones descritas arriba.

En el ejemplo convencional mostrado en las figuras 1A-1C, para cada CU, cada una de las Y, U y V se disponen en secuencia y se genera un flujo de bits. En las figuras 1A-1C, Yn es información Y para TUn, Un es información U para TUn y Vn es información V para TUn. Más aún, las figuras 1A-1C son un ejemplo de un formato 4:2:0, que significa que el número de pixeles en U y V están uno delante de aquél de Y.

Sin embargo, en la estructura de flujo de bits convencional, ya que los flujos de bits U y V no pueden ser enviados hasta que cada Y en la CU sea codificada y enviada en un flujo de bits, incluso si la situación permitiera que un flujo de bits de U o V fuera enviado después de una porción de Y en la CU, no sería posible hacerlo. En otras palabras, se requiere almacenamiento temporal. Usando la figura 1C para explicar, el flujo de bits para U0 no puede ser enviado hasta que el flujo de bits para Y9 sea enviado, requiriendo que la información en U0 sea puesta en la memoria o registro de almacenamiento temporal. Por esta razón, se origina un problema en el cual se requiere una memoria o registro de almacenamiento temporal más grande.

Además, en la decodificación también, aunque video no puede ser enviado hasta que Y, U y V sean decodificadas , U y V no pueden ser decodificadas hasta que cada Y en la CU sea decodificada . Esto significa que el almacenamiento temporal del resultado de decodificación de Y es necesario. Usando la figura 1C para explicar, el bloque T0 no puede ser enviado a video hasta que V0 sea decodificado, requiriendo que YO a Y9 y U0 a U9 sean puestas en la memoria o registro de almacenamiento temporal .

Para resolver el problema descrito arriba, el método de codificación de imágenes para codificar una imagen sobre una base de unidades de codificación de acuerdo con una modalidad de la presente invención incluye: aplicar una transformada de frecuencia a datos de luminancia y datos de crominancia de unidades de transformada en la unidad de codificación incluyendo bloques predeterminados que corresponden cada uno a una o más de las unidades de transformada; y codificar los datos de luminancia y los datos de crominancia a los cuales se ha aplicado la transformada de frecuencia para generar un flujo de bits en el cual los datos de luminancia y los datos de crominancia sean agrupados sobre una base de bloques predeterminados.

Con esto, los flujos de bits U y V pueden ser enviados incluso antes de que los flujos de bits para cada Y en la CU hayan sido enviados, eliminando así la necesidad de almacenar temporalmente U y V y permitiendo una memoria o registro de almacenamiento temporal reducido.

Por ejemplo, cada uno de los bloques predeterminados puede corresponder a unidades de transformada en un bloque de un tamaño predeterminado, o a una unidad de transformada de un tamaño más grande que o igual al tamaño predeterminado, y en la decodificación, los datos de luminancia y los datos de crominancia pueden ser codificados para generar el flujo de bits en el cual los datos de luminancia y los datos de crominancia sean agrupados sobre una base de bloques predeterminados.

Con esto, la Y, U y V se disponen en un flujo de bits sobre una base de unidades de datos adecuadas, dando como resultado eficiencia de procesamiento incrementada.

Además, por ejemplo, en la aplicación: la transformada de frecuencia puede aplicarse a los datos de luminancia sobre una base de unidades de transformada; cuando un número total de pixeles de los datos de crominancia y un número total de pixeles de los datos de luminancia sean iguales, la transformada de frecuencia puede aplicarse a los datos de crominancia sobre una base por unidades de transformada; y cuando el número total de pixeles de los datos de crominancia sea menor que el número total de pixeles de los datos de luminancia, la transformada de frecuencia puede aplicarse a los datos de crominancia sobre una base por bloques predeterminados.

Con esto, se aplica una transformada de frecuencia sobre una base de unidades de datos a la Y, U y V, la unidad de datos siendo una unidad de datos adecuada para el número de pixeles. Como resultado, se incrementa la eficiencia de procesamiento .

Más aún, por ejemplo,' en la aplicación: de entre los datos de crominancia de las unidades de transformada en la unidad de codificación, datos de crominancia de unidades de transformada en un bloque de un tamaño que es más pequeño que o igual al tamaño predeterminado pueden ser combinados, y la transformada de frecuencia puede aplicarse a los datos de crominancia combinados en una transformada de frecuencia.

Con esto, se puede impedir que la unidad de datos para transformación se vuelva demasiado pequeña. Como resultado, no es necesario proporcionar un circuito de transformada más pequeño. Más aún, en contraste con un caso en el cual Y tuvo que hacerse más grande que la TU de tamaño más pequeño en un esfuerzo por impedir que U o V fueran más pequeñas que la TU más pequeña, con esta configuración, Y puede hacerse el tamaño TU más pequeño, dando como resultado eficiencia de codificación incrementada.

Además, por ejemplo, en la aplicación, cuando un tamaño de una de las unidades de transformada es un tamaño más pequeño predeterminado y en la unidad de transformada un número total de pixeles de datos de crominancia es menor que un número total de pixeles de datos de luminancia, de entre los datos de crominancia de las unidades de transformada en la unidad de codificación, datos de crominancia de unidades de transformada en un bloque que incluya la unidad de transformada pueden' combinarse, y la transformada de frecuencia puede aplicarse a los datos de crominancia combinados en una transformada de frecuencia.

Con esto, incluso cuando el tamaño de TU es el tamaño de TU más pequeño y el número de pixeles en U o V es menor que el número de pixeles en Y, como es el caso en un formato 4:2:0 ó 4:2:2, ni U ni V son más pequeñas que el tamaño de TU más pequeño. Como resultado, no es necesario proporcionar un circuito de transformada que sea más pequeño que la TU más pequeña. Además, en contraste con un caso en el cual Y tenía que hacerse más grande que el tamaño de TU más pequeño en un esfuerzo por impedir que U o V fueran más pequeñas que la TU más pequeña, con esta configuración, Y se puede hacer como el tamaño de TU más pequeño, dando como resultado eficiencia de codificación incrementada.

Además, por ejemplo, en la codificación, datos de luminancia y datos de crominancia de unidades de transformada en uno de los bloques predeterminados pueden codificarse para generar el flujo de bits en el cual, en el bloque predeterminado, los datos de crominancia de todas las unidades de transformada sigan a los datos de luminancia de todas las unidades de transformada.

Con esto, U y V siguen a Y, y esta secuencia se mantiene. Como resultado, no es necesario tomar en consideración el cambio de esta secuencia. En consecuencia, es posible reducir la complejidad del procesamiento de imágenes .

Además, por ejemplo, cada uno de los bloques predeterminados puede corresponder a unidades de transformada en un bloque de un tamaño predeterminado, o a una unidad de transformada de un tamaño más grande que o igual al tamaño predeterminado, en la aplicación, la transformada de frecuencia puede aplicarse a los datos de luminancia y los datos de crominancia sobre una base por unidades de transformada, y en la codificación, los datos de luminancia y los datos de crominancia pueden codificarse para generar el flujo de bits en el cual los datos de luminancia y los datos de crominancia sean agrupados sobre una base de bloques predeterminados .

Con esto, es posible combinar y procesar la Y, U y V en bloques múltiples respectivos e ingresar las imágenes de entrada casi en un lote para cada una de la Y, U y V, incrementando de esta manera la eficiencia de transferencia de datos. Además, se puede suprimir la variación en el número de pixeles en un conjunto de Y o V, y la velocidad operativa de la unidad de cálculo puede incrementarse cuando se procese en paralelo unidades de datos Y o V con varias unidades de cómputo .

Además, por ejemplo, cada uno de los bloques predeterminados puede corresponder a una diferente de las unidades de transformada, en la aplicación, la transformada de frecuencia puede aplicarse a los datos de luminancia y los datos de crominancia sobre una base por unidades de transformada, y en la codificación, los datos de luminancia y los datos de crominancia pueden codificarse para generar el flujo de bits en el cual los datos de luminancia y los datos de crominancia se agrupen sobre una base de unidades de transformada .

Con esto, la Y, U y V se disponen en un flujo de bits en unidades de datos simples y adecuadas. Como resultado, se incrementa la eficiencia de procesamiento.

Más aún, el método de decodificación de imágenes para decodificar una imagen sobre una base por unidades de codificación de acuerdo con una modalidad de la presente invención puede incluir: decodificar datos de luminancia y datos de crominancia de unidades de transformada en la unidad de codificación incluyendo bloques predeterminados que cada uno corresponde a una o más de las unidades de transformada, la decodificación incluye obtener un flujo de bits, y los datos de luminancia y los datos de crominancia son datos a los cuales se ha aplicado una transformada de frecuencia y los datos han sido codificados y agrupados en el flujo de bits sobre una base por bloques predeterminados; y aplicar una transformada de frecuencia inversa a los datos de luminancia decodificados y los datos de crominancia decodificados .

Con esto, U y V pueden decodificarse incluso antes de que cada Y en la CU haya sido decodificada, eliminando así la necesidad de almacenar temporalmente el resultado de decodificación de U y V y permitiendo una memoria o registro de almacenamiento temporal reducido.

Por ejemplo, cada uno de los grupos predeterminados puede corresponder a unidades de transformada en un bloque de un tamaño predeterminado, o a una unidad de transformada de un tamaño más grande que o igual al tamaño predeterminado, y en la decodificación, el flujo de bits en el cual los datos de luminancia y los datos de crominancia sean agrupados sobre una base por bloques predeterminados puede obtenerse, y los datos de luminancia y los datos de crominancia son decodificados .

Con esto, se usa un flujo de bits en el cual la Y, U y V son dispuestas en unidades de datos adecuadas. Como resultado, se incrementa la eficiencia de procesamiento.

Además, por ejemplo, en la aplicación: la transformada de frecuencia inversa puede aplicarse a los datos de luminancia sobre una base por unidades de transformada; cuando un número total de pixeles de los datos de crominancia y un número total de pixeles de los datos de luminancia sean iguales, la transformada de frecuencia inversa puede aplicarse a los datos de crominancia sobre una base de unidades de transformada; y cuando el número total de pixeles de los datos de crominancia sea menor que el número total de pixeles de los datos de luminancia, la transformada de frecuencia inversa puede aplicarse a los datos de crominancia sobre una base por bloques predeterminados.

Con esto, una transformada de frecuencia inversa se aplica por unidad de datos a la Y, U y V, la unidad de datos siendo una unidad de datos adecuada para el número de pixeles. Como resultado, se incrementa la eficiencia de procesamiento .

Más aún, por ejemplo, en la aplicación, la transformada de frecuencia inversa puede aplicarse a, de entre los datos de crominancia y las unidades de transformada en la unidad de codificación, datos de crominancia de unidades de transformada en un bloque de un tamaño que sea más pequeño que o igual al tamaño predeterminado en una transformada de frecuencia inversa.

Con esto, se puede evitar que la unidad de datos para transformación se vuelva demasiado pequeña. Como resultado, no es necesario proporcionar un circuito de transformada inversa pequeño. Además, en contraste con un caso en el cual Y tenía que hacerse más grande que el tamaño de TU más pequeño en un esfuerzo por impedir que U o V fueran más pequeñas que la TU más pequeña, con esta configuración, Y se puede hacer del tamaño de TU más pequeño, dando como resultado eficiencia de codificación incrementada.

Además, por ejemplo, en la aplicación, cuando un tamaño de una de las unidades de transformada es un tamaño más pequeño predeterminado y en la unidad de transformada un número total de pixeles de los datos de crominancia es menor que un número de pixeles de los datos de luminancia, la transformada de frecuencia inversa puede aplicarse a, de entre los datos de crominancia de las unidades de transformada en la unidad de codificación, datos de crominancia de unidades de transformada en un bloque que incluya la unidad de transformada en una transformada de frecuencia inversa.

Con esto, incluso cuando el tamaño de TU sea el tamaño de TU más pequeño y el número de pixeles en U o V sea menor que el número de pixeles en Y, como es el caso en un formato 4:2:0 ó 4:2:2, ni U ni V son más pequeñas que el" tamaño de TU más pequeño. Como resultado, no es necesario proporcionar un circuito de transformada inversa que sea más pequeño que la TU más pequeña. Además, en contraste con un caso en el cual Y tenía que hacerse más grande que el tamaño de TU más pequeño en un esfuerzo por impedir que U o V fueran más pequeñas que la TU más pequeña, con esta configuración, Y puede hacerse del tamaño de TU más pequeño, dando como resultado eficiencia de codificación incrementada.

Más aún, por ejemplo, en la decodificación, puede obtenerse el flujo de bits en el cual, en uno de los bloques predeterminados, datos de crominancia de todas las unidades de transformada sigan a datos de luminancia de todas las unidades de transformada, y los datos de luminancia y los datos de crominancia de las unidades de transformada en los bloques predeterminados pueden ser decodificados .

Con esto, U y V siguen a Y, y esta secuencia se mantiene. Como resultado, no es necesario tomar en consideración el cambio de esta secuencia. En consecuencia, es posible reducir la complejidad del procesamiento de imágenes .

Por ejemplo, cada uno de los bloques predeterminados puede corresponder a unidades de transformada en un bloque de un tamaño predeterminado, o a una unidad de transformada de un tamaño más grande que o igual al tamaño predeterminado, en la decodificación, el flujo de bits en el cual los datos de luminancia y los datos de crominancia se agrupan sobre una base por bloques predeterminados puede obtenerse, y los datos de luminancia y los datos de crominancia son decodificados , y en la aplicación, la transformada de frecuencia inversa puede aplicarse a los datos de luminancia y los datos de crominancia sobre una base por unidades de transformación.

Con esto, es posible combinar y procesar la Y, U y V en bloques múltiples respectivos y enviar las imágenes de salida casi en un lote para cada una de la Y, U y V, incrementando así la eficiencia de transferencia de datos. Además, una variación en el número de pixeles en un conjunto de Y o V puede suprimirse, y la velocidad operativa de la unidad de cálculo puede incrementarse cuando se procese en paralelo unidades de datos Y o V con varias unidades de cómputo .

Además, por ejemplo, cada uno de los bloques predeterminados puede corresponder a una diferente de las unidades de transformada, en la decodificación, el flujo de bits en el cual los datos de luminancia y los datos de crominancia se agrupen sobre una base de unidades de transformación puede obtenerse, y los datos de luminancia y los datos de crominancia pueden decodificarse , y en la aplicación, la transformada de frecuencia inversa puede aplicarse a los datos de luminancia y los datos de crominancia sobre una base por unidades de transformación.

Con esto, se usa un flujo de bits en el cual la Y, U y V se disponen en unidades de datos simples y adecuadas. Como resultado, se incrementa la eficiencia de procesamiento.

Se debe notar que estos aspectos generales y específicos pueden implementarse usando un sistema, un aparato, un circuito integrado, un programa de computadora o un medio de grabación legible por computadora no transitorio tal como un CD-ROM, o cualquier combinación de sistemas, aparatos, métodos, circuitos integrados, programas de computadora o medios de grabación legibles por computadora.

En adelante, se describen ciertas modalidades ejemplares en mayor detalle con referencia a las figuras acompañantes. Cada una de las modalidades ejemplares descritas abajo muestra un ejemplo general o específico. Los valores numéricos, formas, materiales, elementos estructurales, la disposición y relación de los alimentos estructurales, etapas, el orden de procesamiento de las etapas etc. Mostrados en las siguientes modalidades ejemplares son simples ejemplos, y por lo tanto no limitan la presente invención. Por lo tanto, entre los elementos estructurales en las siguientes modalidades ejemplares, los elementos estructurales no mencionados en ninguna de las reivindicaciones independientes se describen como elementos estructurales arbitrarios.

Modalidad 1 Configuración La figura 2 muestra una configuración del aparato de codificación de imágenes de acuerdo con la primera modalidad. El aparato de codificación de imágenes divide las imágenes de entrada en CUs y TUs, lleva a cabo un proceso de transformada y codifica la Y, U y V, luego envía un flujo de bits de las mismas. El aparato de codificación de imágenes incluye una unidad de división de CU 101, una unidad de división de TU 102, una unidad de desmultiplexión de YUV 103, una unidad de combinación de bloques adyacentes 104, una unidad de transformación Y 105, una unidad de transformación de U 106, una unidad de transformación de V 107, un codificador 108 y una unidad de cambio de YUV 109.

La unidad de división de CU 101 ingresa una imagen y divide la imagen de acuerdo con un tamaño de CU especificado. La unidad de división de TU 102 divide la CU de acuerdo con un tamaño de TU especificado. La unidad de desmultiplexión de YUV 103 desmultiplexa la TU en componentes Y, U y V. En esta modalidad, el formato de imágenes 4:2:0. En este formato, el tamaño del componente U y el componente V son un cuarto del tamaño del componente V.

La unidad de combinación de bloques adyacentes 104 combina bloques U adyacentes y combina bloques V adyacentes de acuerdo con tamaño de TU y el tamaño de TU más pequeño. La unidad de transformación de Y 105, la unidad de transformación de U 106 y la unidad de transformación de V 107 llevan a cabo cada una un proceso de transformada en Y, U y V, respectivamente. El codificador 108 codifica los datos transformados y envía un flujo de bits de los datos transformados. La unidad de cambio de YUV 109 cambia la. entrada al codificador 108 de acuerdo con el tamaño de TU.

Las figuras 3A, 3B y 3C muestran un ejemplo de un flujo de bits. Cuando el tamaño de CU y el tamaño de TU son iguales como en la figura 3A esto es lo mismo que en el ejemplo convencional mostrado en las figuras 1A-1C, pero cuando el tamaño de TU es más pequeño que la CU como en la figura 3B, esto es diferente del ejemplo convencional. En este caso, Yl , Ul y VI en la TU1 son codificados después de YO, U0 y V0 en la TU0. Además, cuando el tamaño de TU es el tamaño de TU más pequeño como es TU0 en la figura 3C, el formato es 4:2:0. De esta manera, los bloques U y los bloques V los más pequeños que el tamaño de TU más pequeño. En este caso, los bloques U y bloques V respectivos en TU0 , TU1 , TU2 y TU3 son combinados, y se lleva a cabo transformación y codificación en los bloques combinados, con lo cual se genera un flujo de bits.

Operación A continuación se describirá el flujo de codificación con referencia a la figura 4. Primero, la unidad de división de CU 101 divide la imagen de entrada de acuerdo con el tamaño de CU especificado, genera la CU, y envía la CU a la unidad de división de TU 102 (S101) . La unidad de división de TU 102 divide la CU de acuerdo con un tamaño de TU especificado, y envía el resultado a la unidad de desmultiplexión de YUV 103 (S102) . Debe notarse que el aparato de codificación de imágenes repite los procesos de CU (S102 a S116) un número de veces en el que hay CUs en una sola imagen ya que los procesos se llevan a cabo en todas las CUs dentro de una sola imagen.

Después, la unidad de desmultiplexión de YUV 103 desmultiplexa la TU en componentes Y, U y V (S103) . En esta modalidad, el formato de imagen es 4:2:0. En este formato, el tamaño del componente U y el componente V son un cuarto el tamaño del componente Y. Los componentes Y desmultiplexados son enviados a la unidad de transformación de Y 105, y los componentes U y componentes V son enviados a la unidad de combinación de bloques adyacentes 104. Se debe notar que el aparato de codificación de imágenes repite los procesos de TU (S103 a S116) un número de veces en los que hay TUs en una sola CU ya que los procesos se llevan a cabo en todas las TUs dentro de una sola CU.

Después, la unidad de cambio de YUV 109 cambia la entrada al codificador 108 para ser enviada a la unidad de transformación de Y 105 (S104) . La unidad de transformación de Y 105 lleva a cabo el proceso de transformada en Y, y envía el resultado transformado al codificador 108 (S105) . El codificador 108 codifica la Y transformada y envía un flujo de bits de la Y codificada (S106) .

Después, la unidad de combinación de bloques adyacentes 104 determina si el bloque U actual que será transformado y codificado ya está combinado con otro bloque U (S107) . Si el bloque U ya está combinado con otro bloque U (sí en S107) , se saltan los procesos para el bloque U y el bloque V (S108 a S116) . Si el bloque U aún no está combinado con otro bloque U (no en S107) , se lleva a cabo el siguiente proceso (S108) .

Específicamente, cuando el bloque U aún no está combinado con otro bloque U (no en S107) , la unidad de combinación de bloques adyacentes 104 determina si el tamaño de la U en la TU es más pequeño que el tamaño de TU más pequeño (S108) . Si el tamaño de la U es más pequeño que el tamaño de TU más pequeño (sí en S108) , el proceso de combinación de bloques U és llevado a cabo (S109) . Si el tamaño de la U no es más pequeño que el tamaño de TU más pequeño (no en S108) , la unidad de combinación de bloques adyacentes 104 envía el bloque U actual y el bloque V actual que serán transformados y codificados a la unidad de transformación de U 106 y la unidad de transformación de V 107, respectivamente. Luego se lleva a cabo un proceso de cambio de YUV (Slll) .

Si el tamaño de la U es más pequeño que el tamaño de TU más pequeño (sí en S108) , la unidad de combinación de bloques adyacentes 104 combina el bloque U actual que será transformado y codificado con tres bloques U que van a estar a la derecha, abajo y parte inferior derecha del mismo, y genera y envía un bloque U combinado de cuatro bloques a la unidad de transformación de U 106 (S109) . La unidad de combinación de bloques adyacentes 104 combina entonces el bloque V actual que será transformado y codificado con tres bloques V que van a estar a la derecha, parte inferior y parte inferior derecha del mismo, y genera y envía un bloque V combinado de cuatro bloques a la unidad de transformación de V 107 (S110) .

Después, la unidad de cambio de YUV 109 cambia la entrada al codificador 108 que será enviado de la unidad de transformación de U 106 (Slll) . La unidad de transformación de U 106 lleva a cabo el proceso de transformada en U, y envía el resultado transformado al codificador 108 (S112) .

El codificador 108 codifica la U transformada y envía un flujo de bits de la U codificada (S113) .

Después, la unidad de cambio de YUV 109 cambia la entrada al codificador 108 que será enviado desde la unidad de transformación de V 107 (S114) . La unidad de transformación de V 107 lleva a cabo el proceso de transformada en V, y envía el resultado transformado al codificador 108 (S115) . El codificador 108 codifica la V transformada y envía un flujo de bits de la V codificada (S116) .

Resultado De acuerdo con la primera modalidad, flujos de bits U y V pueden enviarse incluso antes de que los flujos de bits para cada Y en la CU hayan sido enviados, eliminando así la necesidad de almacenar temporalmente U y V y permitiendo una memoria o registro de almacenamiento temporal reducidos.

Además, incluso cuando el tamaño de TU es el tamaño de TU más pequeño y el número de pixeles en U o V es menor, que el número de pixeles en Y, como es el caso en un formato 4:2:0 ó 4:2:2, ni U ni V son más pequeñas que el tamaño de TU más pequeño. Como resultado, no es necesario proporcionar un circuito de transformada que sea más pequeño que la TU más pequeña. Además, en contraste con un caso en el cual Y tenía que hacerse más grande que el tamaño de TU más pequeño en un esfuerzo por impedir que U o V fueran más pequeños que la TU más pequeña, con esta configuración, Y puede hacerse el tamaño de TU más pequeño, dando como resultado eficiencia de codificación incrementada.

Debe notarse que en la primera modalidad se usa un formato 4:2:0, pero se puede usar un formato 4:2:2, 4:4: o diferente .

Más aún, en la primera modalidad, el tamaño de CU y el tamaño de TU se ingresan externamente. Sin embargo, se puede usar un tamaño óptimo que se calcule al calcular la eficiencia de codificación del tamaño de varios o todos los patrones internamente en el aparato.

Además, en la primera modalidad, bloques U combinado y V combinado se ponen directamente después del flujo de bits para la Y de la TU a la izquierda superior en la TU combinada, como se muestra en las figuras 3A, 3B y 3C. Sin embargo, los bloques U combinado y V combinado pueden ponerse directamente después del flujo de bits para la Y de al TU hacia la parte inferior y derecha en la TU combinada, como se muestra en la figura 5. En este caso, la operación mostrada en la figura 4 se modifica para que sea la operación mostrada en la figura 6, por ejemplo.

Específicamente, como se muestra en la figura 6, cuando el tamaño de la U en la TU es más grande que o igual al tamaño de TU más pequeño (no en S108) , los bloques U y V se procesan tal cual (Slll a S116) .

Cuando el tamaño de la U en la TU es más pequeño que el tamaño de TU más pequeño (sí en S108) y la TU que será procesada es la cuarta TU (sí en S120) , el proceso de combinación de bloques U (S109) y el proceso de combinación de bloques V (S110) son llevados a cabo. Aquí, la cuarta TU corresponde a la cuarta TU que será procesada entre las cuatro TUs más pequeñas, tal como TU3 o TU9 en la figura 5.

En el proceso de combinación de bloques U (S109) , la unidad de combinación de bloques adyacentes 104 combina el bloque U que será procesado con los tres bloques U que están a la izquierda, parte superior y parte superior izquierda del mismo, y genera un bloque U combinado de cuatro bloques. Además, en el proceso de combinación de bloques U (S110) , la unidad de combinación de bloques adyacentes 104 combina el bloque V que será procesado con los tres bloques V que están a la izquierda, parte superior y parte superior izquierda del mismo, y genera un bloque V combinado de cuatro bloques. Los bloques U y V son luego procesados (Slll a S116) .

Cuando el tamaño de la U en la TU es más pequeño que el tamaño TU más pequeño (sí en S108) , y la TU que será procesada no es la cuarta TU (no en S120) , se salta el procesamiento de los bloques U y V (Slll a S116) . Otras operaciones son iguales a las mostradas en la figura 4. De esta manera, el flujo de bits mostrado en la figura 5 es enviado como resultado de que se modifique la operación.

En la figura 5, U y V siguen a Y, y esta secuencia se mantiene. Como resultado, no es necesario tomar en consideración cambiar la secuencia de Y, U y V. En consecuencia, es posible reducir la complejidad del procesamiento de imágenes. En la figura 6, se determina si la TU que será procesada es o no la cuarta TU, pero se puede determinar si la TU que será procesada es o no la última TU por ser combinada. Cuando la TU que será procesada es la última TU que será combinada, los procesos de combinación (S109 y S110) pueden ser llevados a cabo.

Además, en la primera modalidad, se combinan cuatro bloques, pero es aceptable que dos bloques se combinen en un formato 4:2:2. Por ejemplo, se pueden combinar dos bloques horizontalmente adyacentes entre sí. Luego, entre los dos bloques, es aceptable si el proceso de combinación se lleva a cabo en el primero o segundo bloque a ser procesados .

Además, el procesamiento llevado a cabo en la primera modalidad puede ejecutarse con software. El software puede distribuirse por descarga. Además, el software puede almacenarse en un medio de almacenamiento tal como un CD-ROM y distribuirse. Debe notarse que esto aplica a todas las demás modalidades a lo largo de la descripción también.

Modalidad 2 Configuración La figura 7 muestra una configuración del aparato de codificación de imágenes de acuerdo con la segunda modalidad. Aquí, sólo la unidad de cambio de YUV 109 se describe toda vez que la unidad de cambio de YUV 109 es diferente a la de la primera modalidad.

La unidad de cambio de YUV 109 cambia la entrada al codificador 108 de acuerdo con el tamaño de TU y el tamaño de bloque más pequeño especificado. Específicamente, la unidad de cambio de YUV 109 cambia la entrada al codificador 108 sobre una base por unidad de datos para que sea ya sea Y, U o V, la unidad de datos siendo la más grande del tamaño de TU y el tamaño de bloque más pequeño. En la segunda modalidad, el tamaño de bloque más pequeño es un tamaño fijo y predeterminado que es más grande que el tamaño de TU más pequeño .

Las figuras 8A, 8B y 8C muestran un ejemplo de un flujo de bits. Cuando el tamaño de TU no es más pequeño que el tamaño de bloque más pequeño tal como en la figura 8A o figura 8B, el flujo de bits es el mismo que en la primera modalidad, pero cuando el tamaño de TU es más pequeño que el tamaño de bloque más pequeño tal como en la figura 8C, esto es diferente de la primera modalidad. Aquí, para TU0 a TU3 , primero U0 a U3 y V0 a v3 son codificados después de YO a Y3 , seguidos por Y4 , U4 y V4 de TU4.

Operación A continuación se describe el flujo de codificación con referencia a la figura 9. Primero, la unidad de división de CU 101 divide al imagen de entrada de acuerdo con el tamaño de CU especificado, genera la CU, y envía la CU a la unidad de división de TU 102 (S201) . La unidad de división de TU 102 divide la CU de acuerdo con un tamaño de TU especificado, y envía el resultado a la unidad de desmultiplexión de YUV 103 (S202) . Se debe notar que el aparto de codificación de imágenes repite los procesos de CU (S202 a S222) un número de veces en los que hay CUs en una sola imagen toda vez que los procesos se llevan a cabo en todas las CUs dentro de una sola imagen.

Luego, la unidad de cambio de YUV 109 determina si el tamaño de TU es más pequeño que el tamaño de bloque más pequeño (S203) . Si el tamaño de TU es más pequeño que el tamaño de bloque más pequeño (sí en S203) , se lleva a cabo un proceso de determinación de codificación (S213) . Si el tamaño de TU no es más pequeño que el tamaño de bloque más pequeño (no en S203), se lleva a cabo un proceso de cambio de YUV (S204) . Se debe notar que el aparato de codificación de imágenes repite los procesos de TU (S203 a S222) un número de veces en los que hay TUs en una sola CU ya que los procesos se llevan a cabo en todas las TUs dentro de una sola CU.

Si el tamaño de TU no es más pequeño que el tamaño de bloque más pequeño (no en S203) , la unidad de cambio de YUV 109 cambia la entrada al codificador 108 para que sea la salida de la unidad de transformación de Y 105 (S204) . La unidad de transformación de Y 105 lleva a cabo el proceso de transformación en Y, y envía el resultado transformado al codificador 108 (S205) . El codificador 108 codifica la Y transformada y envía un flujo de bits de la Y codificada (S206) .

Después, la unidad de cambio de YUV 109 cambia la entrada al codificador 108 para que sea la salida de la unidad de transformación de U 106 (S208) . La unidad de transformación de U 106 lleva a cabo el proceso de transformación en U, y envía el resultado transformado al codificador 108 (S208) . El codificador 108 codifica la U transformada y envía un flujo de bits de la U codificada (S209) .

Luego, la unidad de cambio de YUV 109 cambia la entrada al codificador 108 para que sea la salida de la unidad de transformación de V 107 (S210) . La unidad de transformación de V 107 lleva a cabo el proceso de transformada en V, y envía el resultado transformado al codificador 108 (S211) . El codificador 108 codifica la V transformada y envía un flujo de bits de la V codificada (S212) .

Si el tamaño de TU es más pequeño que el tamaño de bloque más pequeño (sí en S203), la unidad de cambio de YUV 109 determina si el bloque Y actual, bloque U y bloque V que serán transformados y codificados ya están codificados (S213) . Si ya están codificados (sí en S213) , los procesos para la TU (S214 a S222) son saltados. Si no está codificado (no en S213), un proceso de cambio de YUV (S214) se lleva a cabo .

Específicamente, si los bloques Y, U y V no están ya codificados (no en S213) , la unidad de cambio YUV 109 cambia la entrada al codificador 108 para que sea la salida de la unidad de transformación Y 105 (S214) . La unidad de transformación de Y 105 lleva a cabo el proceso de transformación en Y, y envía el resultado transformado al codificador 108 (S215) . Debe notarse que el aparato de codificación de imágenes repite los procesos Y (S215 a S216) un número de veces en los que hay TUs en un bloque más pequeño ya que los procesos se llevan a cabo en todas las TUs dentro del bloque más pequeño. El codificador 108 codifica la Y transformada y envía un flujo de bits de la Y codificada (S216) .

Luego, la unidad de cambio de YUV 109 cambia la entrada al codificador 108 para que sea la salida de la unidad de transformación de U 106 (S217) . La unidad de transformación de U 106 lleva a cabo el proceso de transformada en U, y envía el resultado transformado al codificador 108 (S218) . Debe notarse que el aparato de codificación de imágenes repite los procesos de U (S218 a S219) un número de veces en los que haya TUs en un bloque más pequeño toda vez que los procesos se llevan a cabo en todas las TUs dentro del bloque más pequeño. El codificador 108 codifica la U transformada y envía un flujo de bits de la U codificada (S219) .

Luego, la unidad de cambio de YUV 109 cambia la entrada al codificador 108 para que sea la salida de la unidad de transformación de V 107 (S220) . La unidad de transformación de V 107 lleva a cabo el proceso de transformada en V, y envía el resultado transformado al codificador 108 (S221) . Debe notarse que el aparato de codificación de imágenes repite los procesos de V (S221 a S222) un número de veces en los que haya TUs en un bloque más pequeño toda vez que los procesos se llevan a cabo en todas las TUs dentro del bloque más pequeño. El codificador 108 codifica la V transformada y envía un flujo de bits de la V codificada (S222) .

Resultado Con la segunda modalidad, es posible combinar y procesar la Y, U y V en bloques múltiples respectivos e ingresar imágenes de entrada en casi un lote para cada una de la Y, U y V, de esa manera incrementado la eficiencia de transferencia de datos. Esto es especialmente efectivo en un sistema que usa memoria de alta velocidad tal como memoria caché, ya que la capacidad de procesar Y o U o V en secuencia lleva a una mejora en la relación de aciertos de la memoria caché.

Más aún, la variación en el número de pixeles en un conjunto de YUV puede ser suprimida, y la velocidad operativa de la unidad de cálculo puede incrementarse cuando se procesen en paralelo unidades de datos YUV con varias unidades de cómputo. Un ejemplo específico se dará con referencia a la figuras 10A y 10B.

Las figuras 10A y 10B ilustran un sistema en el cual se usan cuatro unidades de cómputo para procesar el conjunto de YUV en donde el conjunto de YUV se divide y asigna a las unidades de cómputo A a D en orden desde el principio. Cuando las YUV son dispuestas de manera consistente por tamaño de TU tal como en la figura 10A, la carga de procesamiento requerida de la unidad de cómputo C y la unidad de cómputo D es pequeña en comparación con aquella de la unidad de cómputo A y la unidad de cómputo B. En consecuencia, se reduce la velocidad operativa de la unidad de cómputo C y la unidad de cómputo D. Sin embargo, al disponer la YUV por unidad de datos desde el más grande del tamaño de bloque más pequeño y el tamaño de TU tal como en la segunda modalidad, la carga de procesamiento es igual para cada una de las unidades de cómputo A a D, incrementando así la velocidad de operación de la unidad de cómputo C y la unidad de cómputo D.

Modalidad 3 Configuración La figura 11 muestra una configuración del aparato de decodificación de imágenes de acuerdo con la tercera modalidad. El aparato de decodificación de imágenes se usa cuando se decodifica el flujo de bits codificado por el aparato de. decodificación de imágenes descrito en la primera modalidad. El aparato de decodificación de imágenes incluye un decodificador 301, una unidad de transformación inversa de Y 302, una unidad de transformación inversa de U 303, una unidad de transformación inversa de V 304, una unidad de combinación de YUV 305, una unidad de combinación de TU 306, una unidad de combinación de CU 307, una unidad de cambio de YUV 308, y una unidad de división de bloques adyacentes 309.

El decodificador 301 decodifica el flujo de bits y envía los datos YUV transformados. La unidad de transformación inversa de Y 302, la unidad de transformación inversa de U 303, y la unidad de transformación inversa de V 304 llevan a cabo cada una un proceso de transformada inversa en Y, U y V, respectivamente. La unidad de combinación de YUV 305 combina los componentes Y, U y V. En esta modalidad, el formato de imágenes 4:2:0. En este formato, el tamaño del componente U y el componente V son un cuarto del tamaño del componente Y.

La unidad de combinación de TU 306 combina la TU en la CU de acuerdo con un tamaño de TU especificado, y genera la CU. La unidad de combinación de CU 307 combina la CU en una imagen de acuerdo con un tamaño de CU especificado y genera la imagen. La unidad de cambio de YUV 308 cambia el destino de salida del decodificador 301 de acuerdo con el tamaño de TU. La unidad de división de bloques adyacentes 309 divide el resultado de transformación inversa para cada una de U y V de cuatro maneras de acuerdo con el tamaño de TU y el tamaño de TU más pequeño.

Operación A continuación se describirá el flujo de decodificación con referencia a la figura 12. Primero, la unidad de cambio de YUV 308 cambia el destino de salida del decodificador 301 para que sea la unidad de transformación inversa de Y 302 (S301) . Se debe notar que el aparato de decodificación de imágenes repite los procesos de TU (S301 a S314) un número de veces en los que hay TUs en una sola CU ya que los procesos se llevan a cabo en todas las TUs dentro de una sola CU. Además, el aparato de decodificación de imágenes repite los procesos de CU (S301 a S315) un número de veces en los que hay CUs en una sola imagen toda vez que los procesos se llevan a cabo en todas las CUs dentro de una sola imagen .

Luego, el decodificador 301 decodifica y envía un flujo de bits a la unidad de transformación inversa de Y 302 (S302) . La unidad de transformación inversa de Y 302 lleva a cabo un proceso de transformada inversa en Y, y envía el resultado transformado inverso a la unidad de combinación de YUV 305 (S303) .

Después, la unidad de división de bloques adyacentes 309 determina si el bloque U actual que será decodificado ya ha sido decodificado (S304) . Si el bloque U ya ha sido decodificado (sí en S304) , se saltan los procesos para el bloque U y el bloque V (S305 a S313) . Si aún no ha sido decodificado (no en S304) , se lleva a cabo un proceso de cambio de YUV (S305) .

Específicamente, si el bloque U aún no ha sido decodificado (no en S304) , la unidad de cambio de YUV 308 cambia la salida del decodificador 301 para que sea la entrada a la unidad de transformación inversa de U 303 (S305) . Luego, el decodificador 301 decodifica y envía un flujo de bits a la unidad de transformación inversa de 303 (S306) . La unidad de transformación inversa de U 303 lleva a cabo un proceso de transformada inversa en U, y envía el resultado transformado inverso a la unidad de división de bloques adyacentes 309 (S307) .

Luego, la unidad de cambio de YUV 308 cambia el destino de salida del decodificador 301 para que sea la unidad de transformación inversa de V 304 (S308) . El decodificador 301 decodifica después y envía un flujo de bits a la unidad de transformación inversa de V 304 (S309) . La unidad de transformación inversa de V 304 lleva a cabo un proceso de transformada inversa de V, y envía el resultado transformado inverso a la unidad de división de bloques adyacentes 309 (S310) .

Después, la unidad de división de bloques adyacentes 309 determina si el tamaño de la U dentro de la TU es más pequeño que el tamaño de TU más pequeño (S311) . Si el tamaño de la U es más pequeño que el tamaño de TU más pequeño (sí en S311) , se lleva a cabo un proceso de división de bloque de U (S312) . Si el tamaño de la U no es más pequeño que el tamaño de TU más pequeño (no en S311) , el resultado transformado inverso de la U y V ingresadas se envía a la unidad de combinación de YUV 305 tal cual, y se lleva a cabo un proceso de combinación de YUV (S314) .

Si el tamaño de la U es más pequeño que el tamaño de TU más pequeño (sí en S311) , la unidad de división de bloques adyacentes 309 divide el bloque U transformado inverso a la mitad a lo alto y a lo largo dando como resultado cuatro partes divididas, y envía el resultado a la unidad de combinación de YUV 305 (S312) . La unidad de división de bloques adyacentes 309 divide el bloque V transformado inverso a la mitad a lo alto y a lo largo dando como resultado cuatro partes divididas, y envía el resultado a la unidad de combinación de YUV 305 (S313) .

La unidad de combinación de YUV 305 combina los componentes Y, U y V y genera un valor de pixel TU (S314) . La unidad de combinación de TU 306, combina la TU en la CU y genera la CU (S15) . La unidad de combinación de CU 307 combina la CU en una imagen y genera la imagen (S316) .

Resultado Con la tercera modalidad, es posible decodificar U y V incluso antes de que cada Y en la CU haya sido decodificada, eliminando así la necesidad de almacenar temporalmente el resultado de decodificación de U y V y permitiendo una memoria de almacenamiento temporal o registro reducidos .

Además, incluso cuando el tamaño de TU es el tamaño de TU más pequeño y el número de pixeles en U o V es menor que el número de pixeles en Y, como es el caso en un formato 4:2:0 o 4:2:2, ni U ni V son más pequeños que el tamaño de TU más pequeño. Como resultado, no es necesario proporcionar un circuito de transformada inversa que sea más pequeño que la TU más pequeña. Además, en contraste con un caso en el cual Y tenía que hacerse más grande que el tamaño de TU más pequeño en un esfuerzo por impedir que U o V fueran más pequeñas que la TU más pequeña, con esta configuración, Y puede hacerse ser el tamaño de TU más pequeño, dando como resultado eficiencia de codificación incrementada.

Se debe notar que en la tercera modalidad se usa un formato de 4:2:0, pero se puede usar un formato 4:2:2, 4:4:4, o diferente. Cuando se usa un formato 4:2:2, la unidad de división de bloques adyacentes 309 puede dividir los bloques U y V a lo alto en dos partes en lugar de dividir los bloques U y V en cuatro partes (S312 y S313 en la figura 12) .

Además, en la tercera modalidad, el tamaño de CU y el tamaño de TU se ingresan externamente. Sin embargo, el tamaño de CU y el tamaño de TU pueden estar presentes dentro del flujo de bits. El decodificador 301 puede decodificar y obtener el tamaño de CU y el tamaño de TU.

Más aún, cuando se usa el flujo de bits mostrado en la figura 5, la unidad de división de bloques adyacentes 309 puede determinar si el bloque U que será procesado está presente o no en lugar de determinar si el bloque U ya ha sido decodificado o no (S304 en la figura 12) . Si el bloque U que será procesado no está presente, el aparato de decodificación de imágenes puede saltarse los procesos U y V (S305 a S314 en la figura 12) . Con esto, el aparato de decodificación de imágenes puede decodificar el flujo de bits mostrado en la figura 5 al igual que puede el flujo de bits mostrado en las figuras 3A, 3B y 3C.

Modalidad 4 Configuración La figura 13 muestra una configuración del aparato de decodificación de imágenes de acuerdo con la cuarta modalidad. El aparato de decodificación de imágenes se usa cuando se decodifica el flujo de bits codificado por el aparato de decodificación de imágenes descrito en la segunda modalidad. Aquí, sólo la unidad de cambio de YUV 308 se describe ya que la unidad de cambio de YUV 308 es diferente de la tercera modalidad.

La unidad de cambio de YUV 308 cambia el destino de salida del decodificador 301 de acuerdo con el tamaño de TU y el tamaño de bloque más pequeño especificado. Específicamente, la unidad de cambio de YUV cambia la salida del decodificador 301 sobre una base por unidad de datos a la unidad de transformación inversa de Y 302, la unidad de transformación inversa de U 303 o la unidad de transformación inversa de V 304. Aquí, la unidad de datos es la más grande del tamaño de TU y el tamaño de bloque más pequeño.

Operación A continuación se describirá el flujo de decodificación con referencia a la figura 14. Primero, la unidad de cambio de YUV 308 determina si el tamaño de TU es más pequeño que el tamaño de bloque más pequeño (S401) . Si el tamaño de TU es más pequeño que el tamaño de bloque más pequeño (sí en S401) , se lleva a cabo un proceso de determinación de decodificación (S411) . Si el tamaño de TU no es más pequeño que el tamaño de bloque más pequeño (no en S401) , se lleva a cabo un proceso de cambio de YUV (S402) .

Cabe mencionar que el aparato de decodificación de imágenes repite los procesos de TU (S401 a S421) un número de veces en los que hay TUs en una sola CU toda vez que los procesos se llevan a cabo en todas las TUs dentro de una sola CU. Además, el aparato de decodificación de imágenes repite los procesos de CU (S401 a S422) un número de veces en los que haya CUs en una sola imagen toda vez que los procesos se llevan a cabo en todas las CUs dentro de una sola imagen.

Después de que se ha hecho una determinación, cuando el tamaño de TU no es más pequeño que el tamaño de bloque más pequeño (no en S401) , la unidad de cambio de YUV 308 cambia el destino de salida del decodificador 301 para ser la unidad de transformación inversa de Y 302 (S402). Luego, el decodificador 301 decodifica y envía un flujo de bits a la unidad de transformación inversa de Y 302 (S403) . La unidad de transformación inversa de Y 302 lleva a cabo un proceso de transformada inversa en Y, y envía el resultado transformado inverso a' la unidad de combinación de YUV 305 (S404) .

Después, la unidad de cambio de YUV 308 cambia el destino de salida del decodificador 301 para ser la unidad de transformación inversa de U 303 (S405) . El decodificador 301 decodifica y envía un flujo de bits a la unidad de transformación inversa de U 303 (S406) . La unidad de transformación inversa de U 303 lleva a cabo un proceso de transformada inversa en U, y envía el resultado transformado inverso a la unidad de combinación de YUV 305 (S407) .

Luego, la unidad de cambio de YUV 308 cambia el destino de salida del decodificador 301 para ser la unidad de transformación inversa de V 304 (S408) . El decodificador 301 decodifica y envía después un flujo de bits a la unidad de transformación inversa de V 304 (S409) . La unidad de transformación inversa de V 304 lleva a cabo un proceso de transformada inversa en V, y envía el resultado transformado inverso a la unidad de combinación de YUV 305 (S410) .

Si el tamaño de TU es más pequeño que el tamaño de bloque más pequeño (sí en S401) , la unidad de cambio de YUV 308 determina si el bloque actual que será decodificado ya ha sido decodificado (S411) . Si el bloque ya ha sido decodificado (sí en S411) , se lleva a cabo un proceso de combinación de YUV (S421) . Si aún no ha sido decodificado (no en S411) , se lleva a cabo un proceso de cambio de YUV (S412) .

Específicamente, cuando el bloque aún no ha sido decodificado (no en S411) , la unidad de cambio de YUV 308 cambia el destino de salida del decodificador 301 para ser la unidad de transformación inversa de Y 302 (S412). Después, el decodificador 301 decodifica y envía un flujo de bits a la unidad de transformación inversa de Y 302 (S413) . Se debe notar que el aparato de decodificación de imágenes repite los procesos Y (S413 a S414) un número de veces en los que haya TUs en un bloque más pequeño toda vez que los procesos se llevan a cabo en todas las TUs dentro del bloque más pequeño. La unidad de transformación inversa de Y 302 lleva a cabo un proceso de transformada inversa en Y, y envía el resultado transformado inverso a la unidad de combinación de YUV 305 (S414) .

Después, la unidad de cambio de YUV 308 cambia el destino de salida del decodificador 301 para ser la unidad de transformación inversa de U 303 (S415) . El decodificador 301 decodifica y envía un flujo de bits a la unidad de transformación inversa de U 303 (S416) . Debe notarse que el aparato de decodificación de imágenes repite los procesos U (S416 a S417) un número de veces en los que haya TUs en un bloque más pequeño toda vez que los procesos se llevan a cabo en todas las TUs dentro del bloque más pequeño. La unidad de transformación inversa de U 303 lleva a cabo un proceso de transformada inversa en U, y envía el resultado transformado inverso a la unidad de combinación de YUV 305 (S417) .

Después, la unidad de cambio de YUV 308 cambia el destino de salida del decodificador 301 para ser la unidad de transformación inversa de V 304 (S418) . El decodificador 301 decodifica y envía después un flujo de bits a la unidad de transformación inversa de V 304 (S419) . Cabe mencionar que el aparato de decodificación de imágenes repite los procesos V (S419 a S420) un número de veces en los que haya TUs en un bloque más pequeño ya que los procesos son diferentes en todas las TUs dentro del bloque más pequeño. La unidad de transformación inversa de V 304 lleva a cabo un proceso de transformada inversa en V, y envía el resultado transformado inverso a la unidad de combinación de YUV 305 (S420) .

Una vez que los procesos han sido llevados a cabo en cada una de la Y, U y V, la unidad de combinación de YUV 305 combina los componentes Y, U y V y genera un valor de pixel de TU (S421) . La unidad de combinación de TU 306 combina la TU en la CU y genera la CU (S422) . La unidad de combinación de CU 307 combina la CU en una imagen y genera la imagen (S423) .

Resultado Con la cuarta modalidad, es posible combinar y procesar la Y, U y V en bloques múltiples respectivos y enviar las imágenes de salida casi en un lote para cada una de la Y, U y V, incrementando así la eficiencia de transferencia de datos. Además, una variación en el número de pixeles en un conjunto de YUV puede ser suprimida, y la velocidad operativa de la unidad de cómputo puede incrementarse cuando se procese en paralelo unidades de datos YUV con varias unidades de cómputo.

Modalidad 5 En la quinta modalidad, las configuraciones y procedimientos característicos de la primera a cuarta modalidades se describen para efectos de confirmación. Las configuraciones y procedimientos de acuerdo con la quinta modalidad corresponden a la configuración y procedimientos descritos en la primera a cuarta modalidades. Es decir, los conceptos descritos en la primera a cuarta modalidades incluyen las configuraciones y procedimientos de acuerdo con la quinta modalidad.

La figura 15A es un diagrama de bloques que ilustra una configuración del aparato de codificación de imágenes de acuerdo con la quinta modalidad. El aparato de codificación de imágenes 500 mostrado en la figura 15A codifica una imagen sobre una base por unidad de codificación. Más aún, el aparato de codificación de imágenes 500 incluye una unidad de transformada de frecuencia 501 y un codificador 502. La unidad de transformada de frecuencia 501 corresponde a, por ejemplo, la unidad de transformación de Y 105, la unidad de transformación de U 106 y la unidad de transformación de V 107 descritas en la primera o segunda modalidad. El codificador 502 corresponde a, por ejemplo, el codificador 108 descrito en la primera o segunda modalidad.

La figura 15B es un diagrama de flujo que ilustra las operaciones del aparato de codificación de imágenes 500 mostrado en la figura 15A.

Primero, la unidad de transformada de frecuencia 501 aplica una transformada de frecuencia a los datos de luminancia y los datos de crominancia de la pluralidad de unidades de transformada en una unidad de codificación (S501) . La unidad de codificación incluye una pluralidad de bloques predeterminados. Cada uno de los bloques predeterminados corresponde a una o más unidades de transformada .

Después, el codificador 502 codifica los datos de luminancia transformados en frecuencia y los datos de crominancia transformados en frecuencia, y envía un flujo de bits de los mismos (S502) . Este flujo de bits es un flujo de bits de los datos de luminancia y los datos de crominancia combinados sobre una base por bloques predeterminados .

Con esto, la memoria o registro para almacenar temporalmente los datos de la pluralidad de unidades de transformada puede reducirse. Es decir, una imagen se codifica eficientemente.

La figura 16A es un diagrama de bloques que ilustra una configuración del aparato de decodificación de imágenes de acuerdo con la quinta modalidad. El aparato de decodificación de imágenes 600 mostrado en la figura 16A decodifica una imagen sobre una base por unidad de codificación. Más aún, el aparato de decodificación de imágenes 600 incluye un decodificador 601 y una unidad de transformada de frecuencia inversa 602. El decodificador 601 corresponde a, por ejemplo, el decodificador 301 descrito en la tercera o cuarta modalidad. La unidad de transformada de frecuencia inversa 602 corresponde a, por ejemplo, la unidad de transformación inversa Y 302, la unidad de transformación inversa de U 303 y la unidad de transformación inversa de V 304 descritas en la tercera o cuarta modalidad.

La figura 16B es un diagrama de flujo que ilustra las operaciones del aparato de decodificación de imágenes 600 mostrado en la figura 16A.

Primero, el decodificador 601 tiene un flujo de bits y decodifica los datos de luminancia y los datos de crominancia (S601) . Este flujo de bits es un flujo de bits de datos de luminancia y datos de crominancia combinados (por bloque predeterminado) , transformados en frecuencia y codificados de la pluralidad de unidades de transformada en una unidad de codificación. Además, la unidad de codificación incluye una pluralidad de bloques predeterminados. Cada uno de los bloques predeterminados corresponde á una o más unidades de transformada.

Luego, la unidad de transformada de frecuencia inversa 602 aplica una transformada de frecuencia inversa a los datos de luminancia decodificados y los datos de crominancia decodificados (S602) .

Con esto, la memoria o registro para almacenar temporalmente los datos de la pluralidad de unidades de transformada puede reducirse. Es decir, una imagen se decodifica eficientemente.

Debe notarse que, por ejemplo, cada uno de los bloques predeterminados puede corresponder a una unidad de transformada. Más aún, por ejemplo, cada uno de los bloques predeterminados puede corresponder a una pluralidad de unidades de transformada en un bloque de un tamaño predeterminado, o a una unidad de transformada de un tamaño más grande que o igual al tamaño predeterminado. El tamaño predeterminado puede ser dos veces o cuatro veces el tamaño de un tamaño más pequeño predeterminado de la unidad de transformada. El tamaño predeterminado puede ser cambiado con base en el formato de imagen.

Además, por ejemplo, en el flujo de bits, en cada uno de los bloques predeterminados, los datos de luminancia pueden ser dispuestos en sucesión y agruparse juntos, y los datos de crominancia pueden ser dispuestos en sucesión y agrupados juntos. Más aún, por ejemplo, en el flujo de bits, todos los datos de crominancia de una pluralidad de unidades de transformada en un bloque predeterminado pueden disponerse después de todos los datos de luminancia de una pluralidad de unidades de transformada en un bloque predeterminado. Más aún, por ejemplo, en el flujo de bits, los datos de luminancia y los datos de crominancia de un segundo bloque predeterminado pueden disponerse después de los datos de luminancia y los datos de crominancia de un primer bloque predeterminado .

Más aún, por ejemplo, la unidad de transformada de frecuencia 501 puede aplicar una transformada de frecuencia a los datos de luminancia y los datos de crominancia sobre una base por unidad de transformada, y la unidad de transformada de frecuencia inversa 602 puede aplicar una transformada de frecuencia inversa a los datos de luminancia y los datos de crominancia sobre una base por unidad de transformada. Más aún, por ejemplo, cuando el número de pixeles en los datos de crominancia es menor que el número de pixeles en los datos de luminancia, la unidad de transformada de frecuencia 501 puede aplicar una transformada de frecuencia a los datos de crominancia sobre una base por bloque predeterminado, y la unidad de transformada de frecuencia inversa 602 puede aplicar una transformada de frecuencia inversa a los datos de crominancia sobre una base de bloque predeterminado.

Más aún, por ejemplo, la unidad de transformada de frecuencia 501 puede combinar los datos de crominancia de una pluralidad de unidades de transformada en un bloque que sea más pequeño que o igual a un tamaño predeterminado, y puede aplicar una transformada de frecuencia a los datos de crominancia combinados de una sola vez. La unidad de transformada de frecuencia 501 puede llevar a cabo estos tipos de procesos cuando el tamaño de la unidad de transformada sea el tamaño más pequeño predeterminado y el número de pixeles en los datos de crominancia en la unidad de transformada sea menor que el número de pixeles en los datos de luminancia en la unidad de transformada. El aparato de codificación de imágenes 500 puede incluir una unidad de combinación que combine los datos de crominancia de una pluralidad de unidades de transformada.

Más aún, por ejemplo, la unidad de transformada de frecuencia inversa 602 puede, de una sola vez, aplicar una transformada de frecuencia inversa a los datos de crominancia de una pluralidad de unidades de transformada en un bloque que sea más pequeño que o igual a un tamaño predeterminado. La unidad de transformada de frecuencia inversa 602 puede llevar a cabo este tipo de proceso cuando el tamaño de la unidad de transformada sea el tamaño más pequeño predeterminado y el número de pixeles en los datos de crominancia en la unidad de transformada sea menor que el número de pixeles en los datos de luminancia en la unidad de transformada. El aparato de decodificación de imágenes 600 puede incluir una unidad de división que divida los datos de crominancia .

Más aún, por ejemplo, el aparato de codificación y decodificación de imágenes puede incluir el aparato de codificación de imágenes 500 y el aparato de decodificación de imágenes 600. Además, los elementos estructurales descritos en otras modalidades pueden añadirse al aparato de codificación de imágenes 500 o al aparato de decodificación de imágenes 600.

En cada una de las modalidades anteriores, cada uno de los bloques de función normalmente puede lograrse por medio de MPU o memoria, por ejemplo. Además, el procesamiento para cada uno de los bloques de función normalmente se puede lograr por medio de software (programa) almacenado en un medio de almacenamiento tal como ROM. El software puede distribuirse por medio de descarga, o distribuirse en un medio de almacenamiento tal como un CD-ROM. Debe notarse que cada bloque de función también se puede lograr por medio de hardware (circuito dedicado) .

Además, el procesamiento descrito en cada una de las modalidades puede lograrse por medio de procesamiento integrado usando un solo aparato (sistema) , o lograrse por medio de procesamiento descentralizado usando una pluralidad de aparatos. Más aún, la computadora que ejecuta el programa anterior puede ser una sola computadora o una pluralidad de computadoras. En otras palabras, se puede llevar a cabo procesamiento integrado o procesamiento descentralizado.

La presente invención no está limitada a las modalidades anteriores. No sobra decir que varios tipos de modificaciones son aceptables y también se incluyen en el alcance de la presente invención. Por ejemplo, un proceso ejecutado por cierta unidad de procesamiento puede ejecutarse por una unidad de procesamiento diferente. Además, el orden de ejecución del proceso puede cambiarse, y una pluralidad de procesos pueden ejecutarse en paralelo.

Cada uno de los elementos estructurales en cada una de las modalidades descritas arriba puede configurarse en forma de un producto de hardware exclusivo, o se puede lograr al ejecutar un programa en software adecuado para el elemento estructural . Cada uno de los elementos estructurales puede lograrse por medio de una unidad de ejecución de programas, tal como una CPU y un procesador, que lea y ejecute el programa de software grabado en un medio de grabación tal como un disco duro o una memoria semiconductora. Aquí, el programa de software para lograr el aparato de codificación de imágenes de acuerdo con cada una de las modalidades es un programa descrito abajo.

Es decir, el programa hace que la computadora ejecute el método de codificación de imágenes para codificar una imagen sobre una base por unidad de codificación que incluye: aplicar una transformada de frecuencia a datos de luminancia y datos de crominancia de unidades de transformada en la unidad de codificación que incluya bloques predeterminados que cada uno correspondan a una o más de las unidades de transformada; y codificar los datos de luminancia y los datos de crominancia a los cuales se haya aplicado la transformada de frecuencia para generar un flujo de bits en el cual los datos de luminancia y los datos de crominancia se agrupen sobre una base por bloques predeterminados.

Más aún, el programa puede causar que la computadora ejecute el método de decodificación de imágenes para decodificar una imagen sobre una base por unidad de codificación que incluye: decodificar datos de luminancia y datos de crominancia de unidades de transformada en la unidad de codificación incluyendo bloques predeterminados que cada uno correspondan a una o más de las unidades de transformada luego de obtener un flujo de bits en el cual datos de luminancia y datos de crominancia transformados en frecuencia y codificados se agrupen sobre una base de bloques predeterminados; y aplicar una transformada de frecuencia inversa a los datos de luminancia codificados y los datos de crominancia decodificados .

Arriba en la presente el método de codificación de imágenes y método de decodificación de imágenes de acuerdo con uno o más aspectos se describieron con base en las modalidades, pero la presente invención no está limitada a estas modalidades. Varias modificaciones de las modalidades así como las modalidades que resulten a partir de combinaciones de elementos constituyentes de las diferentes modalidades que pueden ser concebidas por aquellos expertos en la técnica se intenta que sean incluidas dentro del alcance del uno o más aspectos siempre y cuando éstas no se alejen de la esencia de la presente invención.

Modalidad 6 El procesamiento descrito en cada una de las modalidades puede simplemente implementarse en un sistema de computadora independiente, al grabar, en un medio de grabación, un programa para implementar las configuraciones del método de codificación de imágenes en movimiento (método de codificación de imágenes) y el método de decodificación de imágenes en movimiento (método de decodificación de imágenes) descritos en cada una de las modalidades. Los medios de grabación pueden ser cualquier medio de grabación siempre y cuando el programa pueda ser grabado, tal como un disco magnético, un disco óptico, un disco magnético óptico, una tarjeta IC o una memoria semiconductora.

En adelante se describirán las aplicaciones al método de codificación de imágenes en movimiento (método de codificación de imágenes) y al método de decodificación de imágenes en movimiento (método de decodificación de imágenes) descritos en cada una de las modalidades y sistemas que usan los mismos. El sistema tiene una característica de tener un aparato de codificación y decodificación de imágenes que incluye un aparato de codificación de imágenes que usa el método de codificación de imágenes y un aparato de decodificación de imágenes que usa el método de decodificación de imágenes. Otras configuraciones en el sistema pueden ser cambiadas según sea adecuado dependiendo de los casos .

La figura 17 ilustra una configuración general de un sistema de provisión de contenido exlOO para implementar servicios de distribución de contenido. El área para proporcionar servicios de comunicación se divide en células de tamaño deseado, y estaciones base exl06, exl07, exl08, exl09 y exllO, las cuales son estaciones inalámbricas fijas se ponen en cada una de las células.

El sistema de provisión de contenido exlOO se conecta a dispositivos, tales como una computadora exlll, un asistente digital personal (PDA, por sus siglas en inglés) exll2, una cámara exll3, un teléfono celular exll4 y una máquina de juegos exll5, por medio de Internet exlOl, un proveedor de servicios de Internet exl02, una red telefónica exl04, así como las estaciones base exl06 y exllO, respectivamente .

Sin embargo, la configuración del sistema de provisión de contenido exlOO no está limitada a la configuración mostrada en la figura 17, y es aceptable una combinación en la cual se conecten cualquiera de los elementos. Además, cada dispositivo puede ser conectado directamente a la red telefónica exl04, en lugar de por medio de las estaciones base ex!06 a exllO las cuales son las estaciones inalámbricas fijas. Más aún, los dispositivos pueden ser interconectados entre sí por medio de comunicación inalámbrica de corta distancia y otros.

La cámara exll3, tal como una cámara de video digital, es capaz de capturar video. Una cámara exll6, tal como una cámara de video digital, es capaz de capturar tanto imágenes fijas como video. Más aún, el teléfono celular exll4 puede ser el que cumpla con cualquiera de las normas tales como sistema global para comunicaciones móviles (GSM, por sus siglas en inglés) (marca registrada) , Acceso Múltiple por División de Códigos (CDMA, por sus siglas en inglés) , Acceso Múltiple por División de Códigos de Banda Ancha (W-CDMA) , Evolución a Largo Plazo (LTE, por sus siglas en inglés) y Acceso por Paquetes de Alta Velocidad (HSPA, por sus siglas en inglés) . Como alternativa, el teléfono celular exll4 puede ser un Sistema de Teléfonos Personales (PHS, por sus siglas en inglés) .

En el sistema de provisión de contenido exlOO, un servidor de flujo continuo exl03 está conectado a la cámara exll3 y otros por medio de la red telefónica exl04 y la estación base exl09, lo cual hace posible la distribución de imágenes de un programa en vivo y otros . En tal distribución, un contenido (por ejemplo, video de un programa musical en vivo) capturado por el usuario usando la cámara exll3 es codificado como se describió arriba en cada una de las modalidades (es decir, la cámara funciona como el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención) , y el contenido codificado es transmitido al servidor de flujo continuo exl03. Por otro lado, el servidor de flujo continuo exl03 lleva a cabo la distribución de flujos de los datos de contenido transmitidos a los clientes a sus solicitudes. Los clientes incluyen la computadora exlll, el PDA exll2, la cámara exll3, el teléfono celular exll4 y la máquina de juegos exll5 que son capaces de decodificar los datos codificados mencionados arriba. Cada uno de los dispositivos que han recibido los datos distribuidos decodifica y reproduce los datos codificados (es decir, funciona como el aparato de decodificación de imágenes de acuerdo con un aspecto de la presente invención) .

Los datos capturados pueden ser codificados por la cámara exll3 o el servidor de flujo continuo exl03 que transmita los datos, o el proceso de codificación puede compartirse entre la cámara exll3 y el servidor de flujo continuo exl03. De manera similar, los datos distribuidos pueden ser decodificados por los clientes o el servidor de flujo continuo exl03, o los procesos de decodificación pueden ser compartidos entre los clientes y el servidor de flujo continuo exl03. Además, los datos de las imágenes fijas y video capturados no sólo por la cámara exll3 sino también por la cámara exll6 sino también por la cámara exll6 pueden ser transmitidos al servidor de flujo continuo exl03 a través de la computadora exlll. Los procesos de codificación pueden llevarse a cabo por la cámara exll6, la computadora exlll, o el servidor de formación de flujos exll3, o compartirse entre ellos.

Además, los procesos de codificación · y decodificación pueden llevarse a cabo por un LSI ex500 incluido generalmente en cada uno de la computadora exlll y los dispositivos. El LSI ex500 puede configurarse de un solo chip o una pluralidad de chips . Software para codificar y decodificar video puede ser integrado en cierto tipo de un medio de grabación (tal como un CD-ROM, un disco flexible y un disco duro) que sea legible por la computadora exlll y otros, y los procesos de codificación y decodificación pueden llevarse a cabo usando el software. Además, cuando el teléfono celular exll4 esté equipado con una cámara, los datos de imagen obtenidos por la cámara pueden ser transmitidos. Los datos de video son datos codificados por el LSI ex500 incluido en el teléfono celular exll4.

Más aún, el servidor de flujo continuo exl03 puede estar compuesto de servidores y computadoras, y puede descentralizar datos y procesar los datos descentralizados, grabar o distribuir datos.

Como se describió arriba, los clientes pueden recibir y reproducir los datos codificados en el sistema de provisión de contenido exlOO. En otras palabras, los clientes pueden recibir y decodificar información transmitida por el usuario, y reproducir los datos decodificados en tiempo real en el sistema de provisión de contenido exlOO, de tal forma que el usuario que no tenga ningún derecho y equipo particular puede implementar difusión personal.

Aparte del ejemplo del sistema de provisión de contenido exlOO, al menos uno del aparato de codificación de imágenes en movimiento (aparato de codificación de imágenes) y el aparato de decodificación de imágenes en movimiento (aparato de decodificación de imágenes) descritos en cada una de las modalidades pueden implementarse en un sistema de difusión digital ex200 ilustrado en la figura 18. Más específicamente, una estación de difusión ex201 comunica o transmite, por medio de ondas de radio con un satélite de difusión ex202, datos multiplexados obtenidos al mutliplexar datos de audio y otros datos de video. Los datos de video son datos codificados por el método de codificación de imágenes en movimiento descrito en cada una de las modalidades (es decir, datos codificados por el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención) . Después de la recepción de los datos multiplexados, el satélite de difusión ex202 transmite ondas de radio para difusión. Luego, una antena de uso doméstico ex204 con una función de recepción de difusión por satélite recibe las ondas de radio. Después, un dispositivo tal como una televisión (receptor) ex300 y un decodificador de caja (STB) ex217 decodifica los datos multiplexados recibidos, y reproduce los datos decodificados (es decir, funciona como el aparato de codificación de imágenes en la presente invención) .

Más aún, un lector/grabador ex218 (i) lee y decodifica los datos multiplexados grabados en un medio de grabación ex215, tal como un DVD y un BD, o (ii) codifica señales de video en el medio de grabación ex215, y en algunos casos, escribe datos obtenidos al multiplexar una señal de audio en los datos codificados. El lector/grabador ex218 puede incluir el aparato de decodificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento como los mostrados en cada una de las modalidades. En este caso, las señales de video reproducidas son presentadas visualmente en el monitor ex219, y se pueden reproducir por otro dispositivo o sistema usando el medio de grabación ex215 en el cual estén grabados los datos multiplexados. También es posible implementar el aparato de decodificación de imágenes en movimiento en el decodificador de caja ex217 conectado al cable ex203 para una televisión por cable o a la antena ex204 para difusión vía satélite y/o terrestre, para de esta manera presentar visualmente las señales de video en el monitor ex219 de la televisión ex300.

El aparato de decodificación de imágenes en movimiento puede ser implementado no en el decodificador de caja sino en la televisión ex300.

La figura 19 ilustra la televisión (receptor) ex300 que usa el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento descritos en cada una de las modalidades. La televisión ex300 incluye: un sintonizador ex301 que obtiene o proporciona datos multiplexados obtenidos al multiplexar datos de audio en datos de video, a través de la antena ex204 o el cable ex203, etc., que recibe una difusión; una unidad de modulación/desmodulación ex302 que desmodula los datos multiplexados recibidos o modula datos en datos multiplexados para ser suministrados al exterior; y una unidad multiplexora/desmultiplexora ex303 que desmultiplexa los datos multiplexados modulados en datos de video y datos de audio, o multiplexa datos de video y datos de audio codificados por una unidad de procesamiento de señales ex306 en datos .

La televisión ex300 incluye además: una unidad de procesamiento de señales ex306 que incluye una unidad de procesamiento de señales de audio ex304 y una unidad de procesamiento de señales de video ex305 que decodifican datos de audio y datos de video y codifican datos de audio y datos de video, respectivamente (las cuales funcionan como el aparato de codificación de imágenes y el aparato de decodificación de imágenes de acuerdo con los aspectos de la presente invención) ; y una unidad de salida ex309 que incluye un altavoz ex307 que proporciona la señal de audio decodificada , y una unidad de presentación visual ex302 que presenta visualmente la señal de video decodificada, tal como una pantalla. Además, la televisión ex300 incluye una unidad de interfaz ex317 que incluye una unidad de entrada de operación ex312 que recibe una entrada de una operación de usuario. Además, la televisión ex300 incluye una unidad de control ex310 que controla sobretodo cada elemento constituyente de la televisión ex300, y una unidad de circuito de suministro de energía a cada uno de los elementos. A diferencia de la unidad de entrada de operación ex312, la unidad de interfaz ex317 puede incluir: un puente ex313 que esté conectado a un dispositivo externo, tal como el lector/grabador ex218, una unidad de ranura exl4 para hacer posible la inserción de un medio de grabación ex216, tal como una tarjeta SD; un controlador ex315 que será conectado a un medio de grabación externo, tal como un disco duro; y un módem ex316 que será conectado a una red telefónica. Aquí, el medio de grabación ex216 puede grabar eléctricamente información usando un elemento de memoria semiconductora no volátil/volátil para almacenamiento. Los elementos constituyentes de la televisión ex300 están conectados entre sí a través de un bus sincronizado.

Primero se describirá la configuración en la cual la televisión ex300 decodifica datos multiplexados obtenidos del exterior a través de la antena ex304 y otros y reproduce los datos decodificados . En la televisión ex300, después de una operación de usuario a través de un control remoto ex220 y otros, la unidad multiplexora/desmultiplexora ex303 desmultiplexa los datos multiplexados desmodulados por la unidad de modulación/desmodulación ex302, bajo control de la unidad de control ex310 que incluye una CPU. Además, la unidad de procesamiento de señales de audio ex304 decodifica los datos de audio desmultiplexados, y la unidad de procesamiento de señales de video ex305 decodifica los datos de video desmultiplexados, usando el método de decodificación descrito en cada una de las modalidades, en la televisión ex300. La unidad de salida ex309 proporciona la señal de video y señal de audio decodificadas al exterior, respectivamente. Cuando la unidad de salida ex309 proporciona la señal de video y la señal de audio, las señales pueden ser almacenadas temporalmente en memoria de almacenamiento temporal ex318 y ex319, y otras de tal forma que las señales sean reproducidas en sincronización unas con otras. Más aún, la televisión ex300 puede leer datos multiplexados no a través de una difusión y otros sino provenientes de medios de grabación ex215 y ex216, tal como un disco magnético, un disco óptico y una tarjeta SD. A continuación se describirá una configuración en la cual la televisión ex300 codifique una señal de audio y una señal de video, y transmite los datos al exterior o escribe los datos en un medio de grabación. En la televisión ex300, después de una operación de usuario a través del control remoto ex220 y otros, la unidad de procesamiento de señales de audio ex304 codifica una señal de audio, y la unidad de procesamiento de señales de video ex305 codifica una señal de video, bajo control de la unidad de control ex310 usando el método de codificación descrito en cada una de las modalidades. La unidad mutliplexora/desmultiplexora ex303 multiplexa la señal de video y señal de audio codificadas, y proporciona la señal resultante al exterior. Cuando la unidad multiplexora/desmultiplexora ex303 multiplexa la señal de video y la señal de audio, las señales pueden ser almacenadas temporalmente en las memorias de almacenamiento temporal ex320 y ex321, y otros de tal manera que las señales sean reproducidas en sincronización unas con otras. Aquí, las memorias de almacenamiento temporal ex318, ex319, ex320 y ex321 pueden ser varias como se ilustra, o al menos una memoria de almacenamiento temporal puede ser compartida en la televisión ex300. Además, datos pueden ser almacenados en una memoria de almacenamiento temporal de tal manera que el desbordamiento y subdesbordamiento de sistema puedan evitarse entre la unidad de modulación/desmodulación ex302 y la unidad multiplexora/desmultiplexora ex300, por ejemplo.

Más aún, la televisión ex300 puede incluir una configuración para recibir una entrada de AV desde un micrófono o una cámara que no sea la configuración para obtener datos de audio y video de una difusión o un medio de grabación, y puede codificar los datos obtenidos. Aunque la televisión ex300 puede codificar, multiplexar y proporcionar datos al exterior en la descripción, puede ser capaz sólo de recibir, decodificar y proporcionar datos al exterior pero no decodificar, multiplexar y proporcionar datos al exterior.

Además, cuando el lector/grabador ex218 lee o escribe datos multiplexados de o sobre un medio de grabación, una de la televisión ex300 y el lector/grabador ex218 pueden decodificar o codificar los datos multiplexados, y la televisión ex300 y el lector/grabados ex218 pueden compartir la decodificación o codificación.

Como un ejemplo, la figura 20 ilustra una configuración de una unidad de reproducción/grabación de información ex400 cuando datos son leídos o escritos de o sobre un disco óptico. La unidad de reproducción/grabación de información ex400 incluye elementos constituyentes ex400, ex402, ex403, ex404, ex405, ex406 y ex407 que se describirán más adelante en la presente. La cabeza óptica ex401 irradia un punto láser en una superficie de grabación del medio de grabación ex215 que es un disco óptico para escribir información, y detecta la luz reflejada desde la superficie de grabación del medio de grabación ex215 para leer la información. La unidad de grabación por modulación ex402 excita eléctricamente un láser semiconductor incluido en la cabeza óptica ex401, y modula la luz láser de, acuerdo con los datos grabados. La unidad de desmodulación de reproducción ex403 amplifica una señal de reproducción obtenida al detectar eléctricamente la luz reflejada desde la superficie de grabación usando un fotodetector incluido en la cabeza óptica ex401, y desmodula la señal de reproducción al separar un componente de señal grabado en el medio de grabación ex215 para reproducir la información necesaria. La memoria de almacenamiento temporal ex404 contiene temporalmente la información que será grabada en el medio de grabación ex215 y la información reproducida del medio de grabación ex215. El motor de disco ex405 hace girar el medio de grabación ex215. La unidad de servo control ex406 mueve la cabeza óptica ex401 a una pista de información predeterminada mientras controla el impulso de rotación del motor de disco ex405 para que siga al punto láser. La unidad de control de sistema ex407 controla sobretodo la unidad de reproducción/grabación de información ex400. Los procesos de lectura y escritura pueden implementarse por la unidad de control de sistema ex407 usando información variada almacenada en la memoria de almacenamiento temporal ex404 y generando y añadiendo información nueva según sea necesario, y por la unidad de grabación por modulación ex402, la unidad de desmodulación de reproducción ex403 y la unidad de servo control ex406 que graban y reproducen información a través de la cabeza óptica ex 401 mientras son operadas de una manera coordinada. La unidad de control de sistema ex407 incluye, por ejemplo, un microprocesador, y ejecuta procesamiento al hacer que una computadora ejecute un programa para leer y escribir.

Aunque la cabeza óptica ex401 irradia un punto láser en la descripción, puede llevar a cabo grabación de alta densidad usando luz de campo cercano.

La figura 21 ilustra el medio de grabación ex215 que es el disco óptico. Sobre la superficie de grabación del medio de grabación ex215, se forman espiralmente ranuras de guía, y una pista de información ex230 graba, por adelantado, información de dirección que indica una posición absoluta en el disco de acuerdo con cambio en una forma de las ranuras de guía. La información de dirección incluye información para determinar posiciones de bloques de grabación ex231 que son una unidad para grabar datos . La reproducción de la pista de información ex230 y lectura de la información de dirección en un aparato que graba y reproduce datos pueden llevara a la determinación de las posiciones de los bloques de grabación. Además, el medio de grabación ex215 incluye un área de grabación de datos ex233, un área de circunferencia interior ex232 y un área de circunferencia exterior ex234. El área de grabación de datos ex233 es un área para usarse en la grabación de los datos de usuario. El área de circunferencia interior ex232 y el área de circunferencia exterior ex234 que están dentro y fuera del área de grabación de datos ex233, respectivamente, son para uso específico excepto para grabar los datos de usuario. La unidad de reproducción/grabación de información 400 lee y escribe datos" de audio codificados, datos de video codificados o datos multiplexados obtenidos al multiplexar los datos de audio y video codificados, de y en el área de grabación de datos ex233 del medio de grabación ex215.

Aunque un disco óptico que tiene una capa, tal como un DVD y BD se describen como un ejemplo en la descripción, el disco óptico no está limitado a ellos, y puede ser un disco óptico que tenga una estructura de capas múltiples y sea capaz de ser grabado en una parte que no sea la superficie. Más aún, el disco óptico puede tener una estructura para grabación/reproducción multidimensional , tal como grabación de información usando luz de colores con diferentes longitudes de onda en la misma porción del disco óptico y para grabar información que tenga diferentes capas desde varios ángulos.

Además, un auto ex210 que tenga una antena ex205 puede recibir datos desde el satélite ex202 y otros, y reproducir video en un dispositivo de presentación visual tal como un sistema de navegación de vehículo ex211 instalado en el auto ex210, en el sistema de difusión digital ex200. Aquí, una configuración del sistema de navegación vehicular ex211 será una configuración, por ejemplo, que incluya una unidad de recepción GPS de la configuración ilustrada en la figura 19. Lo mismo será cierto para la configuración de la computadora exlll, el teléfono celular exll4 y otros.

La figura 22A ilustra el teléfono celular exll4 que usa el método de decodificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento descritos en las modalidades. El teléfono celular exll4 incluye: Una antena ex350 para transmitir y recibir ondas de radio a través de la estación base exllO; una unidad de cámara ex365 capaz de capturar imágenes en movimiento y fijas; y una unidad de presentación visual ex358 tal como un presentador visual de cristal líquido para presentar visualmente los datos tales como video decodificado capturado por la unidad de cámara ex365 o recibido por la antena ex350. El teléfono celular exll4 incluye además: una unidad de cuerpo principal que incluye una unidad de tecla de operación ex366; una unidad de salida de audio ex357 tal como un altavoz para salida de audio; una unidad de entrada de audio ex356 tal como un micrófono para entrada de audio; una unidad de memoria ex367 para almacenar video capturado o imágenes fijas, audio grabado, datos codificados o decodificados del video recibido, las imágenes fijas, correos electrónicos u otros; y una unidad de ranura ex364 que es una unidad de interfaz para un medio de grabación que almacena datos de la misma manera que la unidad de memoria ex367.

A continuación se describirá un ejemplo de una configuración del teléfono celular exll4 con referencia a la figura 22B. En el teléfono celular exll4, una unidad de control principal ex360 diseñada para controlar totalmente cada unidad del cuerpo principal incluyendo la unidad de presentación visual ex358 así como la unidad de tecla de operación ex366 que se conecta mutuamente, por medio de un bus sincronizado ex370, a una unidad de circuito de suministro de energía ex361, una unidad de control de entrada de operación ex362, una unidad de procesamiento de señales de video ex355, una unidad de interfaz de cámara ex366, una unidad de control de presentador visual de cristal líquido (LCD) ex359, una unidad de modulación/desmodulación ex352, una unidad multiplexora/desmultiplexora ex353, una unidad de procesamiento de señales de audio ex354, la unidad de ranura ex364 y la unidad de memoria ex367.

Cuando una tecla fin de llamada o una tecla de encendido es encendida por la operación de un usuario, la unidad de circuito de suministro de energía ex361 suministra a las unidades respectivas energía desde una batería para activar así el teléfono celular exll4.

En el teléfono celular exll4, la unidad de procesamiento de señales de audio ex354 convierte las señales de audio recolectadas por la unidad de entrada de audio ex356 en modo de conversación de voz en señales de audio digitales bajo el control de la unidad de control principal ex360 que incluye una CPU, ROM y RAM. Luego, la unidad de modulación/desmodulación ex352 lleva a cabo procesamiento de espectro disperso en las señales de audio o digital, y la unidad de transmisión y recepción ex305 no lleva a cabo conversión digital a análoga y conversión de frecuencia en los datos, para de esta manera transmitir los datos resultantes por medio de la antena ex350. Asimismo, en el teléfono celular exll4, la unidad de transmisión y recepción ex351 amplifica los datos recibidos por la antena ex350 en modo de conversación de voz y lleva a cabo conversión de frecuencia y la conversión análoga a digital en los datos. Luego, la unidad de modulación/desmodulación ex352 lleva a cabo procesamiento de espectro disperso inverso en los datos, y la unidad de procesamiento de señales de audio ex354 los convierte en señales de audio análogas, para de esta manera ingresarlas por medio de la unidad de salida de audio ex357.

Además, cuando un correo electrónico en modo de comunicación de datos es transmitido, datos de texto del correo electrónico ingresados al operar la unidad de teclas de operación ex366 y otros del cuerpo principal son enviados a la unidad de control principal ex360 por medio de la unidad de control de entrada de operación ex362. La unidad de control principal ex360 hace que la unidad de modulación/desmodulación ex352 lleve a cabo procesamiento de espectro disperso en los datos de texto, y la unidad de transmisión y recepción ex351 lleva a cabo la conversión digital a análoga y la conversión de frecuencia en los datos resultantes para transmitir los datos a la estación base exllO por medio de la antena ex350. Cuando se recibe un correo electrónico, el procesamiento que sea aproximadamente inverso al procesamiento para transmitir un correo electrónico se lleva a cabo en los datos recibidos, y los datos resultantes son provistos a la unidad de presentación visual ex358.

Cuando video, imágenes fijas o video y audio en modo de comunicación de datos es o son transmitidos, la unidad de procesamiento de señales de video ex355 comprime y codifica señales de video suministradas desde la unidad de cámara ex365 usando el método de codificación de imágenes en movimiento mostrado en cada una de las modalidades (es decir, funciona como el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención) , y transmite los datos de video codificados a la unidad multiplexora/desmultiplexora ex353. En contraste, durante el tiempo en que la unidad de cámara ex365 captura video, imágenes fijas y otros, la unidad de procesamiento de señales de audio ex354 codifica señales de audio recolectadas por la unidad de entrada de audio ex356, y transmite los datos de audio codificados a la unidad multiplexora/desmultiplexora ex353.

La unidad multiplexora/desmultiplexora ex353 multiplexa los datos de video codificados suministrados desde la unidad de procesamiento de señales de video ex355 y los datos de audio codificados suministrados desde la unidad de procesamiento de señales de audio ex354, usando un método predeterminado. Luego, la unidad de modulación/desmodulación (unidad de circuito de modulación/desmodulación) ex352 lleva a cabo procesamiento de espectro disperso en los datos multiplexados , y la unidad de transmisión y recepción ex351 lleva a cabo conversión digital a análoga y conversión de frecuencia en los datos para de esta manera transmitir los datos resultantes por medio de la antena ex350.

Cuando se reciben datos de un archivo de video que está enlazado a una página web y otros en modo de comunicación de datos o cuando se recibe un correo electrónico con video y/o audio adjunto, para poder decodificar los datos multiplexados recibidos por medio de la antena ex350, la unidad multiplexora/desmultiplexora ex353 desmultiplexa los datos mutiplexados en un flujo de bits de datos de video y un flujo de bits de datos de audio, y suministra a la unidad de procesamiento de señales de video ex355 los datos de video codificados y la unidad de procesamiento de señales de audio ex354 con los datos de audio codificados, a través del bus sincronizado ex370. La unidad de procesamiento de señales de video ex355 decodifica la señal de video usando un método de decodificación de imágenes en movimiento que corresponde al método de codificación de imágenes en movimiento mostrado en cada una de las modalidades (es decir, funciona como el aparato de decodificación de imágenes de acuerdo con un aspecto de la presente invención) , y luego la unidad de presentación visual ex358 presenta visualmente, por ejemplo, el video e imágenes fijas incluidos en el archivo de video enlazado a la página web por medio de la unidad de control LCD ex359. Además, la unidad de procesamiento de señales de audio ex354 decodifica la señal de audio, y la unidad de salida de audio ex357 proporciona el audio.

Además, de manera similar a la televisión ex300, una terminal tal como el teléfono celular exll4 probablemente tendrá tres tipos de configuraciones de implementación incluyendo no sólo (i) una terminal de transmisión y recepción que incluye tanto un aparato de codificación como un aparato de decodificación, sino también (ii) una terminal de transmisión que incluye sólo un aparato de codificación y (iii) una terminal de recepción que incluye sólo un aparato de decodificación. Aunque el sistema de difusión digital ex200 recibe y transmite los datos multiplexados obtenidos al multiplexar datos de audio en datos de video en la descripción, los datos multiplexados pueden ser datos obtenidos al multiplexar no datos de audio sino datos de caracteres relacionados con video en datos de video, y puede no ser datos multiplexados sino los propios datos de video.

De esta manera, el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento en cada una de las modalidades puede usarse en cualquiera de los dispositivos y sistemas descritos. Así, se pueden obtener las ventajas descritas en cada una de las modalidades.

Más aún, la presente invención no está limitada a modalidades, y varias modificaciones y revisiones son posibles sin alejarse del alcance de la presente invención.

Modalidad 7 Datos de video pueden ser generados al cambiar, según sea necesario, entre (i) el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento mostrados en cada una de las modalidades y (ii) un método de codificación de imágenes en movimiento o un aparato de codificación de imágenes en movimiento de conformidad con un estándar diferente, tal como MPEG-2, MPEG4-AVC, y VC-1.

Aquí, cuando una pluralidad de datos de video que se conforman a las diferentes normas se genera y es luego decodificada, los métodos de decodificación tienen que seleccionarse para conformarse a las normas diferentes. Sin embargo, ya que no puede detectarse a cuál norma se conforma cada una de la pluralidad de datos de video que serán decodificados , existe un problema de que un método de decodificación adecuado no puede seleccionarse.

Para resolver el problema, datos multiplexados obtenidos al multiplexar datos de audio y otros datos de video tienen una estructura que incluye información de identificación que indica a qué norma se conforman los datos de video. La estructura específica de los datos multiplexados incluyendo los datos de video generados en el método de codificación de imágenes en movimiento y por el aparato de codificación de imágenes en movimiento mostradas en cada una de las modalidades se describirán a continuación en la presente. Los datos multiplexados es un flujo digital en el formato de flujos de transporte MPEG-2.

La figura 23 ilustra una estructura de los datos multiplexados. Como se ilustra en la figura 23, los datos multiplexados pueden ser obtenidos al multiplexar al menos uno de un flujo de video, un flujo de audio, un flujo de gráficos de presentación (PG) y un flujo de gráficos interactivos. El flujo de video representa video primario y video secundario de una película, el flujo de audio (IG) representa una parte de audio primaria y una parte de audio secundaria que se mezclará con la parte de audio primaria, y el flujo de gráficos de presentación representa subtítulos de la película. Aquí, el video primario es video normal que será presentado visualmente en una pantalla, y el video secundario es video que será presentado visualmente en una ventana más pequeña en el video primario. Además, el flujo de gráficos interactivos representa una pantalla interactiva que se generará al disponer los componentes GUI en una pantalla. El flujo de video es codificado en el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento mostradas en cada una de las modalidades, o en un método de codificación de imágenes en movimiento o por un aparato de codificación de imágenes en movimiento de conformidad con un estándar convencional, tal como MPEG-2, MPEG4-AVC, y VC-1. El flujo de audio es codificado de acuerdo con un estándar, tal como Dolby-AC-3, Dolby Digital Plus, LP, DTS, DTS-HD y PCM lineal .

Cada flujo incluido en los datos multiplexados se identifica por PID. Por ejemplo, 0x1011 se asigna al flujo de video que será usado para video de una película, 0x1100 a OxlllF se asignan en los flujos de audio, 0x1200 a 0xl21F se asignan a los flujos de gráficos de presentación, 0x1400 a 0xl41F se asignan a los flujos de gráficos interactivos, OxlBOO a 0xlB12F se asignan a los flujos de video que se usarán para video secundario de la película, y OxlAOO a OxlAlF se asignan a los flujos de audio que se usarán para el video secundario que se mezclará con el audio primario.

La figura 24 ilustra esquemáticamente cómo se multiplexan datos. Primero, un flujo de video ex235 compuesto de cuadros de video y un flujo de audio ex238 compuesto de cuadros de audio se transportan en un flujo de paquetes PES ex236 y un flujo de paquetes PES ex239, y además en paquetes TS ex237 y paquetes TS ex240, respectivamente. En forma similar, datos de un flujo de gráficos de presentación ex241 y datos de un flujo de gráficos interactivos ex244 se transforman en un flujo de paquetes PES ex242 y un flujo de paquetes PES ex245, y además en paquetes TS ex243 y paquetes TS ex246, respectivamente. Estos paquetes TS son multiplexados en un flujo para obtener datos multiplexados ex247.

La figura 25 ilustra cómo se almacena un flujo de video en un flujo de paquetes PES en más detalle. La primera barra en la figura 25 muestra un flujo de cuadros de video en un flujo de video. La segunda barra muestra el flujo de paquetes PES. Como se indica por flechas indicadas como yyl, yy2 , yy3 y yy4 en la figura 25, el flujo de video es dividido en imágenes como imágenes I, imágenes B e imágenes P cada una de las cuales es una unidad de presentación de video, y las imágenes se almacenan en una carga útil de cada uno de los paquetes PES . Cada uno de los paquetes PES tiene un encabezado de PES, y el encabezado de PES almacena una marca de tiempo de presentación (PTS, por sus siglas en inglés) que indica una hora de presentación visual de la imagen, y una marca de tiempo de decodificación (DTS, por sus siglas en inglés) que indica un tiempo de decodificación de la imagen.

La figura 26 ilustra un formato de paquetes TS que serán finalmente escritos en los datos multiplexados . Cada uno de los paquetes TS es un paquete con una longitud fija de 188 bytes que incluye un encabezado TS de 4 bytes que tiene información, tal como una PID para identificar un flujo y una carga útil TS de 184 bytes para almacenar datos. Estos paquetes PES se dividen, y almacenan en las cargas útiles TS, respectivamente. Cuando se usa un BD ROM, cada uno de los paquetes TS se le da un TP_Extra_Header de 4 bytes, dando como resultado entonces paquetes de origen de 192 bytes. Los paquetes de origen son escritos en los datos multiplexados. El TP_Extra_Header almacena información tal como un Arrival_Time_Stamp (ATS) . La ATS muestra una hora de inicio de transferencia a la cual cada uno de los paquetes TS van a ser transferidos a un filtro PID. Los paquetes de origen son dispuestos en los datos multiplexados como se muestran en el fondo de la figura 26. Los números que se incrementan desde la parte superior de los datos multiplexados son llamados números de paquetes de origen (SPNs, por sus siglas en inglés) .

Cada uno de los paquetes TS incluidos en los datos multiplexados incluye no sólo flujos de audio, video, subtítulos y otros, sino también una tabla de asociación de programas (PAT, por sus siglas en inglés) , una tabla de mapas de programas (PMT, por sus siglas en inglés) y una referencia de reloj de programa (PCR, por sus siglas en inglés) . La PAT muestra lo que indica una PID en una PMT usada en los datos multiplexados, y una PID de la propia PAT se registra como cero. La PMT almacena PIDs de los flujos de video, audio, subtítulos y otros incluidos en los datos multiplexados, información de atributo de los flujos que correspondan a los PIDs. La PMT tiene también varios descriptores que se refieren a los datos multiplexados. Los descriptores tienen información tal como información de control de copias que muestra si se permite o no la copia de los datos multiplexados. La PCR almacena información de tiempo STC que corresponde a una ATS que muestra cuando el paquete PCR se transfiere a un decodificador, para lograr de esta manera sincronización entre un reloj de tiempo de llegada (ATC) que es un eje de tiempo de ATSs, y un reloj de tiempo de sistema (STC) que es un eje de tiempo de PTSs y DTSs .

La figura 27 ilustra la estructura de datos de la PMT en detalle. Un encabezado de PMT se dispone en la parte superior de la PMT. El encabezado de PMT describe la longitud de datos incluidos en la PMT y otros. Una pluralidad de descriptores que se refieren a los datos multiplexados se dispone después del encabezado de PMT. Información tal como la información de control de copia se describe en los descriptores. Después de los descriptores, se dispone una pluralidad de piezas de información de flujo que se refieren a los flujos incluidos en los datos multiplexados . Cada pieza de información de flujo incluye descriptores de flujo que describen cada uno información, tal como un tipo de flujo para identificar un codee de compresión de un flujo, un PID de flujo e información de atributos de flujo (tal como una velocidad de cuadros o una relación de aspecto) . Los descriptores de flujo son iguales en número al número de flujos en los datos multiplexados .

Cuando los datos multiplexados son grabados en un medio de grabación y otros, se graban junto con archivos de información de datos multiplexados.

Cada uno de los archivos de información de datos multiplexados es información de administración de los datos multiplexados como se muestra en la figura 28. Los archivos de información de datos multiplexados están en correspondencia uno a uno con los datos multiplexados , y cada uno de los archivos incluye información de datos multiplexados , información de atributo de flujos y un mapa de entrada .

Como se ilustra en la figura 28, la información de datos multiplexados incluye una velocidad de sistema, una hora de inicio de reproducción y una hora de fin de reproducción. La velocidad de sistema indica la velocidad de transferencia máxima a la cual un decodificador objetivo de sistema que será descrito más adelante transfiere los datos multiplexados a un filtro PID. Los intervalos de los ATSs incluidos en los datos multiplexados se establecen para no ser más altos que una velocidad de sistema. La hora de inicio de reproducción indica una PTS en un cuadro de video en el encabezado de los datos multiplexados. Un intervalo de un cuadro se añade a un PTS en un cuadro de video al final de los datos multiplexados, y el PTS se establece en la hora de fin de reproducción.

Como se muestra en la figura 29, una pieza de información de atributos se registra en la información de atributos de flujo, para cada PID de cada flujo incluido en los datos mul iplexados. Cada pieza de información de atributos tiene información diferente dependiendo de si el flujo correspondiente es un flujo de video, un flujo de audio, un flujo de gráficos de presentación o un flujo de gráficos interactivos. Cada pieza de información de atributo de flujos de video porta información que incluye qué tipo de codee de compresión se usa para comprimir el flujo de video, y la resolución, relación de aspecto y velocidad de cuadros de las piezas de datos de imagen que se incluyen en el flujo de video. Cada pieza de información de atributos de flujo de audio porta información que incluye qué tipo de codee de compresión se usa para comprimir el flujo de audio, cuántos canales están incluidos en el flujo de audio, qué idioma soporta el flujo de audio y qué tan alta es la frecuencia de muestreo. La información de atributos de flujo de video y la información de atributos de flujos de audio se usan para inicialización de un decodificador antes de que el reproductor reproduzca la información.

En la presente modalidad, los datos multiplexados que se usarán son de un tipo de flujo incluido en la PMT. Además, cuando los datos multiplexados son grabados en un medio de grabación, se usa la información de atributos de flujos de video incluida en la información de datos multiplexados. Más específicamente, el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descritos en cada una de las modalidades incluyen una etapa o una unidad para asignar información única que indique datos de video generados por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las modalidades, al tipo de flujo incluido en la PMT o la información de atributos de flujos de video. Con la configuración, los datos de video generados por el método de decodificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descritos en cada una de las modalidades pueden distinguirse de datos de video que se conformen a otra norma.

Más aún, la figura 30 ilustra etapas del método de decodificación de imágenes en movimiento de acuerdo con la presente modalidad. En la etapa exSlOO, el tipo de flujo incluido en la PMT o la información de atributos de flujos de video se obtienen de los datos multiplexados. Después, en la etapa exSlOl, se determina si el tipo de flujo o la información de atributos de flujos de video indican o no que los datos multiplexados se generan por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las modalidades. Cuando se determina que el tipo de flujo o la información de atributos de flujos de video indica que los datos multiplexados se generan por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las modalidades, en la etapa exS112, se lleva a cabo decodificación por el método de decodificación de imágenes en movimiento en cada una de las modalidades. Además, cuando e tipo de flujo o la información de atributos de flujos de video indican que cumplen con las normas convencionales, tales como MPEG-2, MPEG4-AVC y VC-1, en la etapa exS103, la decodificación se lleva a cabo por un método de decodificación de imágenes en movimiento de conformidad con las normas convencionales.

De esta manera, asignar un nuevo valor único al tipo de flujo o la información de atributos de flujos de video hace posible la determinación de si el método de decodificación de imágenes en movimiento o el aparato de decodificación de imágenes en movimiento que se describen en cada una de las modalidades pueden o no llevar a cabo la decodificación. Incluso cuando datos multiplexados se conformen a un estándar diferente, un método de decodificación o aparato de decodificación o apropiado puede ser seleccionado. Así, se hace posible decodificar información sin ningún error. Más aún, el método o aparato de codificación de imágenes en movimiento, o el método o aparato de decodificación de imágenes en movimiento en la presente modalidad pueden usarse en los dispositivos y sistemas descritos arriba.

Modalidad 8 Cada uno del método de codificación de imágenes en movimiento, el aparato de codificación de imágenes en movimiento, el método de decodificación de imágenes en movimiento y el aparato de decodificación de imágenes en movimiento en cada una de las modalidades se logra típicamente en forma de un circuito integrado o un circuito integrado a gran escala (LSI). Como un ejemplo del LSI, la figura 31 ilustra una configuración del LSI x500 que se hace en un chip . El LSI ex500 incluye elementos ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 y ex509 que se describirán abajo, y los elementos están conectados entre sí a través de un bus ex510. La unidad de circuito de suministro de energía ex505 es activada al suministrar cada uno de los elementos con energía cuando la unidad de circuito del suministro de energía ex505 sea encendida.

Por ejemplo, cuando se lleva a cabo codificación, el LSI ex500 recibe una señal de AV proveniente de un micrófono exll7, una cámara exll3, y otros a través de un AV 10 ex509 bajo control de una unidad de control ex501 que incluye una CPU ex502, un controlador de memoria ex503, un controlador de flujo ex504 y una unidad de control de frecuencias de excitación ex512. La señal de AV recibida se almacena temporalmente en una memoria externa ex511, tal como una SDRAM. Bajo control de la unidad de control ex501, los datos almacenados son segmentados en porciones de datos de acuerdo con la cantidad de procesamiento y velocidad que serán transmitidos a una unidad de procesamiento de señales ex507. Luego, la unidad de procesamiento de señales ex507 codifica una señal de audio y/o una señal de video. Aquí, la codificación de la señal de video es la codificación descrita en cada una de las modalidades. Además, la unidad de procesamiento de señales ex507 algunas veces multiplexa los datos de audio codificados y los datos de videos codificados, y un 10 de flujo ex506 proporciona los datos multiplexados al exterior. Los datos mutliplexados provistos son transmitidos a la estación base exl07, o escritos en el medio de grabación ex215. Cuando conjuntos de datos son multiplexados, los datos deben ser temporalmente almacenados en la memoria de almacenamiento temporal ex508 de tal manera que los conjuntos de datos sean sincronizados unos con otros.

Aunque la memoria ex511 es un elemento fuera del LSI ex500, puede estar incluida en el LSI ex500. La memoria de almacenamiento temporal ex508 no está limitada a una memoria del almacenamiento temporal, sino que puede estar compuesta de memorias de almacenamiento temporal. Además, el LSI ex500 puede hacerse en un chip o una pluralidad de chips .

Más aún, aunque la unidad de control ex501 incluye la CPU ex502, el controlador de memoria ex503, el controlador de flujo ex504, la unidad de control de frecuencias de excitación ex512, la configuración de la unidad de control ex501 no está limitada a éstos. Por ejemplo, la unidad de procesamiento de señales ex507 puede incluir además una CPU. La inclusión de otra CPU en la unidad de procesamiento de señales ex507 puede mejorar la velocidad de procesamiento. Además, como otro ejemplo, la CPU ex502 puede servir como o ser parte de la unidad de procesamiento de señales ex507, y, por ejemplo, puede incluir una unidad de procesamiento de señales de audio. En tal caso, la unidad de control ex501 incluye la unidad de procesamiento de señales ex507 o la CPU ex502 que incluye una parte de la unidad de procesamiento de señales ex507.

El nombre usado aquí es LSI, pero también se puede llamar IC, LSI de sistema, súper LSI o ultra LSI dependiendo del grado de integración.

Además, las maneras de lograr integración no están limitadas al LSI, y un circuito especial o un procesador de propósitos generales y así sucesivamente también pueden lograr la integración. Una disposición de puertas programable por campo (FPGA, por sus siglas en inglés) que puede programarse después de la fabricación de LSIs o un procesador reconfigurable que permita la reconfiguración de la conexión o configuración de un LSI se puede usar para el mismo efecto.

En el futuro, con el avance en la tecnología de semiconductores, una tecnología muy nueva puede reemplazar LSI. Los bloques funcionales pueden ser integrados usando tal tecnología. La posibilidad es que la presente invención se aplique a biotecnología. ' Modalidad 9 Cuando datos de video generados en el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento descritos en cada una de las modalidades son decodificados , en comparación con cuando datos de video que se conforman a un estándar convencional, tal como MPEG-2, MPEG4-AC, y VC-1 son decodificados , la cantidad de procesamiento probablemente se incrementa. Así, el LSI ex500 tiene que ser puesto en una frecuencia de excitación más alta que aquella de la CPU ex502 para usarse cuando datos de video de conformidad con el estándar convencional sean decodificados . Sin embargo, cuando la frecuencia de excitación se establece más alta, existe un problema de que se incrementa el consumo de energía .

Para resolver el problema, el aparato de decodificación de imágenes en movimiento, tal como la televisión ex300 y el LSI ex500 se configuran para determinar a qué norma se conforman los datos de video, y cambiar entre las frecuencias de excitación de acuerdo con el estándar determinada. La figura 32 ilustra una configuración ex800 en la presente modalidad. Una unidad de cambio de frecuencias de excitación ex803 establece una frecuencia de excitación en una frecuencia de excitación más alta cuando datos de video se generan por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descritos en cada una de las modalidades. Después, la unidad de cambio de frecuencias de excitación ex803 instruye a una unidad de procesamiento de decodificación ex801 que ejecute el método de decodificación de imágenes en movimiento descrito en cada una de las modalidades para decodificar los datos de video. Cuando los datos de video se conforman al estándar convencional, la unidad de cambio de frecuencias de excitación ex803 establece una frecuencia de excitación a una frecuencia de excitación más baja que aquella de los datos de video generados por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descritos en cada una de las modalidades. Después, la unidad de cambio de frecuencias de excitación ex803 instruye a la unidad de procesamiento de decodificación ex802 que se conforma al estándar convencional para decodificar los datos de video.

Más específicamente, la unidad de cambio de frecuencias de excitación ex803 incluye la CPU ex502 y la unidad de control de frecuencias de excitación ex512 en la figura 31. Aquí, cada una de la unidad de procesamiento de decodificación ex801 que ejecuta el método de decodificación de imágenes en movimiento descrito en cada una de las modalidades y la unidad de procesamiento de decodificación ex802 que se conforma al estándar convencional corresponde a la unidad de procesamiento de señales ex507 en la figura 31. La CPU ex502 determina a qué norma se conforman los datos de video. Después, la unidad de control de frecuencias de excitación ex512 determina una frecuencia de excitación con base en una señal proveniente de la CPU ex502. Más aún, la unidad de procesamiento de señales ex507 decodifica los datos de video con base en la señal proveniente de la CPU ex502. Por ejemplo,' la información de identificación descrita en la modalidad 7 se usa de preferencia para identificar los datos de video. La información de identificación no está limitada a la descrita en la modalidad 7, sino que puede ser cualquier información siempre y cuando la información indique a qué norma se conforman los datos de video. Por ejemplo, cuando se vaya a determinar a qué norma se conforman los datos de video con base en una señal externa para determinar que los datos de video se usan para una televisión o un disco, etc., la determinación se puede hacer con base en esta señal externa. Más aún, la CPU ex502 selecciona una frecuencia de excitación con base en, por ejemplo, una tabla de consulta en la cual se asocien las normas de los datos de video con las frecuencias de excitación como se muestra en la figura 34. La frecuencia de excitación puede seleccionarse al almacenar la tabla de consulta en la memoria de almacenamiento temporal x508 y en una memoria interna de un LSI, y con referencia a la tabla de consulta por la CPU ex502.

La figura 33 ilustra etapas para ejecutar un método en la presente modalidad. Primero, en la etapa exS200, la unidad de procesamiento de señales ex507 obtiene información de identificación de los datos multiplexados . Después, en la etapa ex201, la CPU ex502 determina si los datos de video se generan o no por el método de codificación y el aparato de codificación descritos en cada una de las modalidades, con base en la información de identificación. Cuando los datos de video se generan por el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las modalidades, en la etapa exS202, la CPU ex502 transmite una señal para establecer la frecuencia de excitación a una frecuencia de excitación más alta a la unidad de control de frecuencias de excitación ex512. Luego, la unidad de control de frecuencias de excitación ex512 establece la frecuencia de excitación en la frecuencia de excitación más alta. Por otro lado, cuando la información de identificación indica que los datos de video se conforman al estándar convencional, tal como MPEG-2, MPEG4-AVC y VC-1, en la etapa exS203, la CPU ex502 transmite una señal para establecer la frecuencia de excitación a una frecuencia de excitación más baja a la unidad de control de frecuencias de excitación ex512. Después, la unidad de control de frecuencias de excitación ex512 establece la frecuencia de excitación a la frecuencia de excitación más baja que aquella en el caso cuando los datos de video se generan por el método de decodificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las modalidades .

Además, junto con el cambio de las frecuencias de excitación, el efecto de conservación de energía puede mejorarse al cambiar el voltaje que se aplicará al LSI ex500 o a un aparato que incluya el LSI ex500. Por ejemplo, cuando la frecuencia de excitación se establezca más baja, el voltaje que será aplicad al LSI ex500 o al aparato que incluya el LSI ex500 probablemente se establecerá en un voltaje más bajo que aquél en el caso en que la frecuencia de excitación se establezca más alta.

Más aún, cuando la cantidad de procesamiento para decodificación es más grande, la frecuencia de excitación puede establecerse más alta, y cuando la cantidad de procesamiento para decodificación sea más pequeña, la frecuencia de excitación puede establecerse más baja que el método para establecer la frecuencia de excitación. Así, el método de establecimiento no se limita a los descritos arriba. Por ejemplo, cuando la cantidad de procesamiento para decodificar datos de video de conformidad con MPEG4-AVC sea más grande que la cantidad de procesamiento para decodificar datos de video generados por el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las modalidades, la frecuencia de excitación se establece probablemente en orden inverso al establecimiento descrito arriba.

Más aún, el método para establecer la frecuencia de excitación no está limitado al método para establecer la frecuencia de excitación más baja. Por ejemplo, cuando la información de identificación indique que los datos de video se generan por el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las modalidades, el voltaje que será aplicado al LSI ex500 o al aparato que incluya el LSI ex500 probablemente se establecerá más alto. Cuando la información de identificación indique que los datos de video se conforman al estándar convencional, tal como MPEG- 2, MPEG4-AVC, y VC-1, el voltaje que será aplicado al LSI ex500 o al aparato que incluya al LSI ex500 probablemente se establecerá más bajo. Como otro ejemplo, cuando la información de identificación indique que los datos de video se generan por el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las modalidades, la excitación de la CPU ex502 probablemente no tendrá que ser suspendida. Cuando la información de identificación indique que los datos de video se conforman al estándar convencional, tal como MPEG- 2, MPEG4-AVC y VC-1 la excitación de la CPU ex502 probablemente se suspenderá en un momento dado toda vez que la CPU ex502 tiene capacidad de procesamiento adicional. Incluso cuando la información de identificación indique que los datos de video se generan por el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las modalidades, en caso de que la CPU ex502 tenga capacidad de procesamiento adicional, la excitación de la CPU ex502 probablemente se suspenda en un momento dado. En tal caso, el tiempo de suspensión probablemente se establece más corto que aquél en caso de cuando la información de identificación indica que los datos de video se conforman al estándar convencional, tal como MPEG-2, MPEG4-AVC y VC-1.

En consecuencia, el efecto de conservación de energía puede mejorarse al cambiar entre las frecuencias de excitación de acuerdo con el estándar a la cual se conformen los datos de video. Además, cuando el LSI ex500 o el aparato que incluye el LSI ex500 se excita usando una batería, la vida de la batería puede extenderse con el efecto de conservación de energía.

Modalidad 10 Hay casos en los que una pluralidad de datos de video que se conforman a diferentes normas, se proporcionan a los dispositivos y sistemas, tales como una televisión y un teléfono móvil. Para hacer posible la decodificación de la pluralidad de datos de video que se conforman a las diferentes normas, la unidad de procesamiento de señales ex507 del LSI ex500 tiene que conformarse a las diferentes normas. Sin embargo, los problemas de incremento en la escala del circuito del LSI ex500 e incrementan el costo se originan con el uso individual de las unidades de procesamiento de señales ex507 que se conforman a las normas respectivas .

Para resolver el problema, lo que se concibe es una configuración en la cual se compartan parcialmente la unidad de procesamiento de decodificación para implementar el método de decodificación de imágenes en movimiento descrito en cada una de las modalidades y la unidad de procesamiento de decodificación que se conforma al estándar convencional, tal como MPEG-2, MPEG4-AVC y VC-1. Ex900 en la figura 35A muestra un ejemplo de la configuración. Por ejemplo, el método de decodificación de imágenes en movimiento descrito en cada una de las modalidades y el método de decodificación de imágenes en movimiento que se conforma a la MPEG4-AVC tienen, parcialmente en común, los detalles de procesamiento, tales como codificación por entropía, cuantificación inversa, filtración por desbloqueo y predicción compensada en movimiento. Es posible que una unidad de procesamiento de decodificación ex902 que se conforme a MPEG4-AVC sea compartida por operaciones de procesamiento comunes, y que una unidad de procesamiento de decodificación dedicada ex901 se use para procesamiento que sea único para un aspecto de la presente invención y no se conforme a se conforme a MPEG4-AVC. En particular, ya que el aspecto de la presente invención se caracteriza por inter predicción, es posible, por ejemplo, que la unidad de procesamiento de decodificación dedicada ex901 se use para intra predicción, y que la unidad de procesamiento de decodificación sea compartida por cualquiera o todo del otro procesamiento, tal como decodificación por entropía, cuantificación inversa, filtración por desbloqueo y compensación de movimiento. La unidad de procesamiento de decodificación para implementar el método de decodificación de imágenes en movimiento descrito en cada una de las modalidades puede compartirse para que el procesamiento sea compartido, y una unidad de procesamiento de decodificación dedicada puede usarse para producir una señal única para ese MPEG4-AVC.

Más aún, exlOOO en la figura 35B muestra otro ejemplo en el que se comparte parcialmente el procesamiento. Este ejemplo usa una configuración que incluye una unidad de procesamiento de decodificación dedicada exlOOl que soporta el procesamiento único para la presente invención, una unidad de procesamiento de decodificación dedicada exl002 que soporta el procesamiento único para la otra norma convencional, y una unidad de procesamiento de decodificación exl003 que soporta el procesamiento que será compartido entre el método de decodificación de imágenes en movimiento en la presente invención y el método de decodificación de imágenes en movimiento convencional. Aquí, las unidades de procesamiento de decodificación dedicadas exlOOl y exl002 no necesariamente están especializadas para el procesamiento de la presente invención y el procesamiento de el estándar convencional, respectivamente, y pueden ser aquellas capaces de implementar procesamiento general. Además, la configuración de la presente modalidad puede ser implementada en el LSI ex500.

De esta manera, reducir la escala del circuito de un LSI y reducir el costo son posible al compartir la unidad de procesamiento de decodificación para que se comparta el procesamiento entre el método de decodificación de imágenes en movimiento en la presente invención y el método de decodificación de imágenes en movimiento de conformidad con el estándar convencional .

Aplicación industrial El método de codificación de imágenes y el método de decodificación de imágenes según la presente invención son útiles en diversos aparatos de codificación de imágenes y aparatos de decodificación de imágenes, tales como videocámaras , teléfonos celulares con cámaras, grabadores DVD y televisiones, por ejemplo.

Lista de signos de referencia 101 Unidad de división de CU 102 Unidad de división de TU 103 Unidad de demultiplexión de YUV 104 Unidad de combinación de bloques adyacentes 105 Unidad de transformación de Y 106 Unidad de transformación de U 107 Unidad de transformación de V 108, 502 Codificador 109, 308 Unidad de cambio de YUV 301, 601 Decodificador 302 Unidad de transformación inversa de Y 303 Unidad de transformación inversa de U 304 Unidad de transformación inversa de V 305 Unidad de combinación de YUV 306 Unidad de combinación de TU 307 Unidad de combinación de CU 309 Unidad de división de bloques adyacentes 500 Aparato de codificación de imágenes 501 Unidad de transformación de frecuencias 600 Aparato de descodificación de imágenes 602 Unidad de transformada de frecuencias inversa Se hace constar que con relación a esta fecha, el mejor método conocido por la solicitante para llevar a la práctica la citada invención, es el que resulta claro de la presente descripción de la invención.

Claims (19)

REIVINDICACIONES Habiéndose descrito la invención como antecede, se reclama como propiedad lo contenido en las siguientes reivindicaciones:

1. Un método de codificación de imágenes para codificar una imagen sobre una base de unidades de codificación, caracterizado porque comprende: aplicar una transformada de frecuencia a datos de luminancia y datos de crominancia de unidades de transformada en la unidad de codificación incluyendo bloques predeterminados que corresponden cada uno a una o más de las unidades de transformada; y codificar los datos de luminancia y los datos de crominancia a los cuales se ha aplicado la transformada de frecuencia para generar un flujo de bits en el cual los datos de luminancia y los datos de crominancia sean agrupados sobre una base de bloques predeterminados .

2. El método de codificación de imágenes de conformidad con la reivindicación 1, caracterizado porque cada uno de los bloques predeterminados corresponde a unidades de transformada en un bloque de un tamaño predeterminado, o a una unidad de transformada de un tamaño más grande que o igual al tamaño predeterminado, y en la codificación, los datos de luminancia y los datos de crominancia son codificados para generar el flujo de bits en el cual los datos de luminancia y los datos de crominancia sean agrupados sobre una base de bloques predeterminados .

3. El método de codificación de imágenes de conformidad con la reivindicación 1 ó 2, caracterizado porque en la aplicación: la transformada de frecuencia se aplica a los datos de luminancia sobre una base de unidades de transformada; cuando un número total de pixeles de los datos de crominancia y un número total de pixeles de los datos de luminancia son iguales, la transformada de frecuencia se aplica a los datos de crominancia sobre una base por unidades de transformada; y cuando el número total de pixeles de los datos de crominancia es menor que el número total de pixeles de los datos de luminancia, la transformada de frecuencia se aplica a los datos de crominancia sobre una base por bloques predeterminados .

4. El método de codificación de imágenes de conformidad con cualquiera de las reivindicaciones 1 a 3, caracterizado porque en la aplicación, de entre los datos de crominancia de las unidades de transformada en la unidad de codificación, datos de crominancia de unidades de transformada en un bloque de un tamaño que es más pequeño que o igual al tamaño predeterminado son combinados, y la transformada de frecuencia se aplica a los datos de crominancia combinados en una transformada de frecuencia.

5. El método de codificación de imágenes de conformidad con cualquiera de las reivindicaciones 1 a 4, caracterizado porque en la aplicación, cuando un tamaño de una de las unidades de transformada es un tamaño más pequeño predeterminado y en la unidad de transformada un número total de pixeles de datos de crominancia es menor que un número total de pixeles de datos de luminancia, de entre los datos de crominancia de las unidades de transformada en la unidad de codificación, datos de crominancia de unidades de transformada en un bloque que incluye la unidad de transformada son combinados, y la transformada de frecuencia se aplica a los datos de crominancia combinados en una transformada de frecuencia.

6. El método de codificación de imágenes de conformidad con cualquiera de las reivindicaciones 1 a 5, caracterizado porque en la codificación, datos de luminancia y datos de crominancia de unidades de transformada en uno de los bloques predeterminados son codificados para generar el flujo de bits en el cual, en el bloque predeterminado, los datos de crominancia de todas las unidades de transformada siguen a los datos de luminancia de todas las unidades de transformada.

7. El método de codificación de imágenes de conformidad con la reivindicación 1 ó 2, caracterizado porque cada uno de los bloques predeterminados corresponde a unidades de transformada en un bloque de un tamaño predeterminado, o a una unidad de transformada de un tamaño más grande que o igual al tamaño predeterminado, en la aplicación, la transformada de frecuencia puede aplicarse a los datos de luminancia y los datos de crominancia sobre una base por unidades de transformada, y en la codificación, los datos de luminancia y los datos de crominancia pueden codificarse para generar el flujo de bits en el cual los datos de luminancia y los datos de crominancia sean agrupados sobre una base de bloques predeterminados.

8. El método de codificación de imágenes de conformidad con la reivindicación 1, caracterizado porque cada uno de los bloques predeterminados corresponde a una diferente de las unidades de transformada, en la aplicación, la transformada de frecuencia puede aplicarse a los datos de luminancia y los datos de crominancia sobre una base por unidades de transformada, y en la codificación, los. datos de luminancia y los datos de crominancia se codifican para generar el flujo de bits en el cual los datos de luminancia y los datos de crominancia se agrupan sobre una base de unidades de transformada .

9. Un método de decodificación de imágenes para decodificar una imagen sobre una base por unidades de codificación, caracterizado porque comprende: decodificar datos de luminancia y datos de crominancia de unidades de transformada en la unidad de codificación incluyendo bloques predeterminados que cada uno corresponde a una o más de las unidades de transformada, la decodificación incluye obtener un flujo de bits, y los datos de luminancia y los datos de crominancia son datos a los cuales se ha aplicado una transformada de frecuencia y los datos han sido codificados y agrupados en el flujo de bits sobre una base por bloques predeterminados; y aplicar una transformada de frecuencia inversa a los datos de luminancia decodificados y los datos de crominancia decodificados .

10. El método de decodificación de imágenes de conformidad con la reivindicación 9, caracterizado porque cada uno de los grupos predeterminados corresponde a unidades de transformada en un bloque de un tamaño predeterminado, o a una unidad de transformada de un tamaño más grande que o igual al tamaño predeterminado, y en la decodificación, se obtiene el flujo de bits en el cual los datos de luminancia y los datos de crominancia son agrupados sobre una base por bloques predeterminados, y los datos de luminancia y los datos de crominancia son decodificados .

11. El método de decodificación de imágenes de conformidad con la reivindicación 9 ó 10, caracterizado porque en la aplicación: la transformada de frecuencia inversa se aplica a los datos de luminancia sobre una base por unidades de transformada; cuando un número total de pixeles de los datos de crominancia y un número total de pixeles de los datos de luminancia son iguales, la transformada de frecuencia inversa se aplica a los datos de crominancia sobre una base de unidades de transformada; y cuando el número total de pixeles de los datos de crominancia es menor que el número total de pixeles de los datos de luminancia, la transformada de frecuencia inversa se aplica a los datos de crominancia sobre una base por bloques predeterminados .

12. El método de decodificación de imágenes de conformidad con cualquiera de las reivindicaciones 9 a 11, caracterizado porque en la aplicación, la transformada de frecuencia inversa se aplica a, de entre los datos de crominancia y las unidades de transformada en la unidad de codificación, datos de crominancia de unidades de transformada en un bloque de un tamaño que es más pequeño que o igual al tamaño predeterminado en una transformada de frecuencia inversa.

13. El método de decodificación de imágenes de conformidad con cualquiera de las reivindicaciones 9 a 12, caracterizado porque en la aplicación, cuando un tamaño de una de las unidades de transformada es un tamaño más pequeño predeterminado y en la unidad de transformada un número total de pixeles de los datos de crominancia es menor que un número de pixeles de los datos de luminancia, la transformada de frecuencia inversa se aplica a, de entre los datos de crominancia de las unidades de transformada en la unidad de codificación, datos de crominancia de unidades de transformada en un bloque que incluye la unidad de transformada en una transformada de frecuencia inversa.

14. El método de decodificación de imágenes de conformidad con cualquiera de las reivindicaciones 9 a 13, caracterizado porque en la decodificación, se obtiene el flujo de bits en el cual, en uno de los bloques predeterminados, datos de crominancia de todas las unidades de transformada siguen a datos de luminancia de todas las unidades de transformada, y los datos de luminancia y los datos de crominancia de las unidades de transformada en los bloques predeterminados son decodificados .

15. El método de decodificación de imágenes de conformidad con la reivindicación 9 ó 10, caracterizado porque cada uno de los bloques predeterminados corresponde a unidades de transformada en un bloque de un tamaño predeterminado, o a una unidad de transformada de un tamaño más grande que o igual al tamaño predeterminado, en la decodificación, se obtiene el flujo de bits en el cual los datos de luminancia y los datos de crominancia se agrupan sobre una base por bloques predeterminados, y los datos de luminancia y los datos de crominancia son decodificados , y en la aplicación, la transformada de frecuencia inversa se aplica a los datos de luminancia y los datos de crominancia sobre una base por unidades de transformación.

16. El método de decodificación de imágenes de conformidad con la reivindicación 9, caracterizado porque cada uno de los bloques predeterminados corresponde a una diferente de las unidades de transformada, en la decodificación, se obtiene el flujo de bits en el cual los datos de luminancia y los datos de crominancia se agrupan sobre una base de unidades de transformación, y los datos de luminancia y los datos de crominancia son decodificados , y en la aplicación, la transformada de frecuencia inversa se aplica a los datos de luminancia y los datos de crominancia sobre una base por unidades de transformación.

17. Un aparato de codificación de imágenes que codifica una imagen sobre una base por unidad de codificación, caracterizado porque comprende: una unidad de transformada de frecuencia configurado para aplicar una transformada de frecuencia a datos de luminancia y datos de crominancia de unidades de transformada en la unidad de codificación incluyendo bloques predeterminados que cada uno corresponde a una o más de las unidades de transformada; y un codificador que codifica los datos de luminancia y los datos de crominancia a los que se ha aplicado la transformada de frecuencia para generar un flujo de bits en el que los datos de luminancia y los datos de crominancia se agrupen sobre una base por bloques predeterminados.

18. Un aparato de decodificación de imágenes que decodifica una imagen sobre una base por unidad de codificación, caracterizado porque comprende: un decodificador que (i) obtiene un flujo de bits en el que datos de luminancia y datos de crominancia transformados en frecuencia y codificados se agrupan sobre una base por bloques predeterminados, y (ii) decodifica los datos de luminancia y los datos de crominancia de unidades de transformada en la unidad de codificación que incluye bloques predeterminados que cada uno corresponde a una o más de las unidades de transformada; y una unidad de transformada de frecuencia inversa configurada para aplicar una transformada de frecuencia inversa a los datos de luminancia decodificados y los datos de crominancia decodificados .

19. Un aparato de codificación y decodificación de imágenes caracterizado porque comprende: un aparato de codificación de imágenes que codifica una imagen sobre una .base por unidad de codificación; y un aparato de decodificación de imágenes que decodifica una imagen sobre una base por unidad de codificación, en donde el aparato de codificación de imagen incluye : una unidad de transformación de frecuencia configurada para aplicar una transformada de frecuencia a datos de luminancia y datos de crominancia de unidades de transformada en la unidad de codificación incluyendo bloques predeterminados que cada uno corresponde a una o más de las unidades de transformada; y un codificador que codifica los datos de luminancia y los datos de crominancia a los que se ha aplicado la transformada de frecuencia para generar un flujo de bits en el que los datos de luminancia y los datos de crominancia se agrupen sobre una base por bloque predeterminado, y el aparato de decodificación de imágenes incluye: un decodificador que (i) obtiene un flujo de bits en el que datos de luminancia y datos de crominancia transformados en frecuencia y codificados se agrupan sobre una base por bloques ' redeterminados, y (ii) decodifica los datos de luminancia y los datos de crominancia de unidades de transformada en la unidad de codificación que incluye bloques predeterminados que cada uno corresponde a una o más de las unidades de transformada; y una unidad de transformada de frecuencia inversa configurada para aplicar una transformada de frecuencia inversa a los datos de luminancia decodificados y los datos de crominancia decodificados .