MX2012012333A

MX2012012333A - Aparato y metodo para codificar imagen.

Info

Publication number: MX2012012333A
Application number: MX2012012333A
Authority: MX
Inventors: Soo-Mi Oh
Original assignee: Oh Soomi
Priority date: 2010-04-23
Filing date: 2011-04-22
Publication date: 2013-02-26
Also published as: US20150222896A1; CN105245884B; SG10201503182WA; JP2016165125A; RU2658148C2; SG10201503183TA; RU2014118774A; ES2618917T3; HUE046331T2; PT2950534T; AU2014202819B2; BR122014030026A2; BR112012026809A2; PT2947877T; CA2857849A1; SG10201503176SA; SG10201503178RA; PE20170652A1; CY1118907T1; ES2632996T3

Abstract

Se describe un dispositivo de codificación de video para mantener alta calidad de imagen y aumentar la velocidad de compresión de una señal de video. Con el fin de maximizar el número de bits necesarios para bloques residuales, los coeficientes de transformada cuantificados de conformidad con el tamaño de un bloque de codificación de transformada se dividen de forma adaptable en una pluralidad de subgrupos, y los coeficientes de cuantificación que no son cero se escanean y codifican en cada unidad de subgrupo. Además, después que se han filtrado píxeles de referencia válidos de un bloque actual, que están adyacentes al bloque actual, y píxeles de referencia generados, se determina un modo de intra predicción del bloque actual al utilizar los píxeles de referencia filtrados. De esa forma, se minimiza una cantidad de datos requeridos para bloques residuales del bloque actual.

Description

APARATO Y METODO PARA CODIFICAR IMAGEN Campo de la Invención La presente invención se refiere a un aparato y un método de procesamiento de imagen, y más particularmente, un aparato para reducir las cantidades de señales residuales de una imagen y codificar por entropía las señales residuales.

Antecedentes de la Invención Para transmitir eficientemente una señal de imagen en movimiento a una velocidad de datos baja mientras mantiene calidad de imagen alta, se han propuesto varias tecnologías de compresión de imagen en movimiento digitales. Estas tecnologías de compresión de imagen en movimiento incluyen H.261, Grupo de Expertos de Imagen en Movimientos (MPEG, por sus siglas en inglés ) -2/H .262 , H.263, mpeg-4, Codificación de Video Avanzada (AVC, por siglas en inglés) /H.264 , y así sucesivamente. Las tecnologías de compresión incluyen un esquema de Transformada de Coseno de Discreta (DCT, por sus siglas en inglés) como un esquema de compensación eFn movimiento (MC, por sus siglas en inglés) , un esquema de cuantificación, un esquema de codificación por entropía, y así sucesivamente.

Para codificación de imagen, cada imagen está dividida en una pluralidad de fragmentos, y cada fragmento ef. 236632 está dividido en una pluralidad de bloques de codificación de un tamaño predeterminado. Ya que una imagen de un grado de alta definición (HD, por sus siglas en inglés) o superior tiene muchas áreas planas, puede mejorarse una compresión de imagen al codificar la imagen con bloques de codificación que son más grandes que un macro bloque (MB, por sus siglas en inglés) .

Por lo tanto, se requiere una nueva técnica de predicción y cambios en la codificación de transformada, codificación por entropía, intra predicción e inter predicción se requiere a medida que el tamaño de la unidad de codificación aumenta para aumentar la relación de compresión de imagen sin aumento de la complejidad de compresión de imagen .

Breve Descripción de la Invención Problema Técnico La presente invención esta dirigida a un aparato para codificar una imagen en movimiento, y más particularmente, un aparato para codificar efectivamente señales residuales transformadas de una imagen en movimiento que tiene un tamaño predeterminado o más .

Solución Técnica Un aspecto de la presente invención proporciona un aparato para codificar una imagen en movimiento, incluyendo: un determinador de modo de codificación configurado para dividir una imagen de entrada en unidades de codificación y determinar un modo de predicción de la unidad de codificación y un tamaño de un bloque de codificación predictivo de la unidad de codificación; una unidad de transíormada/cuantificación configurada para transformar y cuantificar un bloque residual entre el bloque de codificación predictivo y un bloque de predicción generado a través de la intra predicción o la inter predicción; una unidad de cuantificación/transformada inversa configurada para cuantificar inversamente y transformar inversamente el bloque de transformada cuantificado en un dominio de frecuencia; un filtro de desbloqueo configurado para aplicar un proceso de filtración de desbloqueo a datos de imagen recibidos desde la unidad de decodificación de cuantificación/transformada inversa; un generador de bloque de predicción configurada para generar el bloque de codificación predictivo; y un codificador de entropía configurado para codificar los coeficientes de transformada cuantificados desde la unidad de codificación/cuantificación de transformada, en donde, cuando un tamaño de un bloque de transformada es igual a o mayor que un tamaño predeterminado, el codificador de entropía divide los coeficientes de transformada cuantificados en una pluralidad de subgrupos, y escanea y codifica por entropía coeficientes de transformada cuantificados de no cero de cada subgrupo.

Efectos Ventajosos La presente invención permite que se mejore la eficiencia de codificación al reducir las cantidades de señales residuales de un bloque que se va a codificar. También, al escanear efectivamente un coeficiente de transformada cuantificado diferente a cero durante la codificación por entropía, el número de bits requerido para la codificación de entropía se minimiza, para que pueda mejorarse la eficiencia de codificación.

Breve Descripción de las Figuras La Figura 1 muestra una estructura de división de bloque de conformidad con una modalidad ilustrativa de la presente invención.

La Figura 2 ilustra un método para determinar un modo de codificación de conformidad con la presente invención .

La Figura 3 ilustra un aparato para codificar una imagen en movimiento de conformidad con la presente invención.

Las Figuras 4 a 6 son diagramas que ilustran un método de división de bloque adaptivo de conformidad con la presente invención.

La Figura 7 es un diagrama que ilustra un método para codificar una señal residual.

Descripción Detallada de la Invención En lo sucesivo, se describirán varias modalidades de la presente invención en detalle con referencia a las figuras anexas. Sin embargo, la presente invención no esta limitada a las modalidades ilustrativas descritas a continuación, sino que pueden implementarse en varios tipos. Por lo tanto, muchas otras modificaciones y variaciones de la presente invención son posibles y se debe entender que están dentro del alcance del concepto descrito, la presente invención puede practicarse en una forma diferente a lo que se ha descrito específicamente.

Para codificación de imagen, cada imagen se divide en una pluralidad de fragmentos, y cada fragmento se divide en una pluralidad de unidades de codificación de un tamaño predeterminado. Ya que una imagen de un grado de alta definición o superior tiene muchas áreas planas, puede mejorarse una relación de compresión de imagen al codificar la imagen con unidades de codificación que son mayores que un macro bloque que tiene un tamaño de 16x16.

La unidad de codificación de conformidad con la presente invención puede ser un bloque que tiene un tamaño de 32x32 o un bloque que tiene un tamaño de 66x66 así como MB que tienen el tamaño de 16x16. También, un bloque que tiene un tamaño de 8x8 o menor puede ser la unidad de codificación. Para conveniencia, una unidad de codificación más grande se denomina como un súper macrobloque (SMB, por sus siglas en inglés) . Un tamaño del SMB puede determinarse de conformidad con la información que indica un tamaño de la unidad de codificación más pequeña y la información de profundidad. La información de profundidad indica una diferenciación de un tamaño del SMB y un tamaño de la unidad de codificación más pequeña .

De esa forma, la unidad de codificación que se utilizará para codificar todas las imágenes de una secuencia de imagen puede ser SMB o un sub-bloque del SMB. Los tamaños permisibles de las unidades de codificación pueden diseñarse por omisión o en un encabezado de secuencia. Cuando los tamaños permisibles de unidades de codificación están designados en el encabezado de secuencia, los tamaños permisibles de las unidades de codificación están diseñados de conformidad con el tamaño y la unidad de codificación más pequeña y la información en profundidad.

Cada imagen o fragmento se divide en una pluralidad de unidades SMB. Cada SMB o sub-bloque del SMB puede estar intra codificado o inter codificado y decodificado.

Para permitir que la unidad de codificación (es decir, un SMB o un sub-bloque del SMB) se decodifique de forma precisa, un codificador debe agregar información de tamaño en un bloque de codificación predictivo de la unidad de codificación y la información de modo de predicción que indica que la unidad de codificación ha sido codificada en un modo de intra predicción o en modo de inter predicción a una corriente de bits. Con este fin, la información de modo de predicción y la información que indica el tamaño del bloque de codificación predictivo deben incluirse en la corriente de bits en la unidad de codificación. El modo de predicción varía de conformidad con un tipo del fragmento.

En donde el tipo del fragmento es intra (I) , todos los bloques de codificación predictivos en el fragmento se intra predicen, y un tipo de predicción de un bloque de codificación predictivo puede determinarse de conformidad con un tamaño del bloque de codificación predictivo. Sin embargo, cuando el tipo de fragmento es predicción unidireccional (P) o predicción bidireccional (B) , un tipo de predicción de un bloque de codificación predictivo puede determinarse de conformidad con información de modo de predicción y un tamaño de bloque de codificación predictivo. De esa forma, es preferible generar el tipo de predicción del bloque de codificación predictivo sobre la base del tipo de fragmento, la información de modo de predicción y la información que indica el tamaño del bloque de codificación predictivo, e insertar el tipo de predicción generado en un encabezado de la unidad de codificación.

Cuando el bloque de codificación predictivo es intra-codificado, la información de modo de intra predicción utilizada para intra predicción así como el tipo de predicción necesitan transmitirse a un decodificador .

Cuando el bloque de codificación predictivo es inter-codificado, el bloque de codificación predictivo se codifica por cualquiera de predicción unidireccional y predicción bidireccional . En el caso de predicción unidireccional, una corriente de bits debe incluir información sobre una imagen de referencia e información de lector de movimiento utilizada para predicción así como un tipo de predicción del bloque de codificación predictivo para predicción unidireccional. En el caso de predicción bidireccional, un encabezado del bloque de codificación predictivo debe incluir información sobre dos imágenes de referencia e información de vector de movimiento utilizada para predicción bidireccional así como un tipo de predicción del bloque para predicción bidireccional. En la información de vector en movimiento puede incluir información que indica un vector de movimiento residual y un pronosticador de vector de movimiento .

La Figura 1 muestra una estructura de división jerárquica que ilustra bloques de codificación predictivos ¦ permisibles para un SMB que tiene un tamaño de 64x64 de conformidad con una modalidad ilustrativa de la presente invención.

Cuando se utiliza un SMB como una unidad de codificación, es preferible tener cuatro pasos de división de sub-bloque como se muestra en la Figura 1, pero la división de bloque no esta limitada a los cuatro pasos de división de sub-bloque. Cuando existen cuatro pasos de división de sub-bloque, puede definirse un total de 13 tipos de bloque predictivo (64x64, 64x32, 32x64, 32x32, 32x16, 16x32, 16x16, 16x8, 8x16, 8x8, 8x4, 4x8 y 4x4) .

Aquí, puede que no haya datos para transmitirse para bloques de codificación inter predictivos que tienen un tamaño mayor que un MB. De esa forma, es preferible agregar recientemente un modo MB64_SKIP cuando un tamaño de un bloque de codificación predictivo de 64x64, y un modo de MB32_SKIP cuando el tamaño de bloque de codificación predictivo es 32x32. Para transmitir la información de modo al decodificador, puede utilizarse un B64_SKIP_flag o un MB32_SKIP_flag . Cuando los valores de estos indicadores son uno, no existen datos de transmisión de bloque de codificación predictivo correspondiente.

Mientras tanto, cuando no se codifican SMB sucesivos plurales, puede insertarse un MB64_SKIP_flag en un primer SMB únicamente, y puede omitirse en los siguientes SMB. En este caso, el número de SMB que se saltan sucesivamente puede agregarse al fragmento o al primer SMB. Específicamente, cuando no se codifica la pluralidad de SMB sucesivos, un SMB_SKIP_flag del primer SMB se establece a l, y también puede aplicarse a varios SMB sucesivos en común. En este caso, la información correspondiente del número de SMB que no se codifican sucesivamente (por ejemplo, un SMB_SALTAR_número) puede agregarse al fragmento.

Cuando una unidad de codificación tiene un tamaño de 32x32, el bloque que tiene un tamaño de 32x32, 32x16 ó 16x32 además del bloque existente que tiene un tamaño de 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, o 4x4 puede utilizarse como un bloque codificación predictivo.

En un modo de ínter predicción, un tipo de predicción (Mb32_type) de una unidad de codificación puede indicar una división de 32x32 cuando el tipo de predicción es cero, una división de 32x16 cuando el tipo de predicción es 1, una división de 16x32 cuando el tipo de predicción es 2, y una división de 16x16 cuando el tipo de predicción es 3.

Cuando una unidad de codificación se divide en cuatro unidades de sub-codificación, las cuatro unidades de sub-codificación se codifican y transmiten en un orden de escaneo de cuadrícula. En este caso, un parámetro de cuantificación puede transmitirse para cada unidad de codificación, y puede transmitirse únicamente una vez en un encabezado de una unidad de súper codificación cuando el mismo parámetro de codificación se aplica a todas las unidades de sub-codificación. Sin embargo, cuando un parámetro de cuantificación necesita cambiarse en una unidad de sub-codificación, únicamente un valor de diferencia con respecto a un parámetro de cuantificación de la unidad de codificación de capa superior o la unidad de codificación precedente del mismo nivel puede transmitirse.

Cada unidad de sub-codificación puede dividirse utilizando un método de árbol cuádruple, y un patrón de bloque codificado (cbp, por sus siglas en inglés) y un coeficiente residual también puede transmitirse utilizando el método de árbol cuádruple. Cuando se utiliza un cbp de 1 bit, un valor de cbp de 1 puede indicar que la unidad de codificación tiene al menos un coeficiente diferente a 0, y un valor de cbp de 0 puede indicar que todos los coeficientes son 0.

La Figura 2 ilustra un método para determinar un nodo de codificación cuando un tamaño de un SMB es 64x64 de conformidad con la presente invención.

Como se ilustra en la Figura 2, cuando un SMB es un bloque de 64x64, un codificador determina si es posible o no saltar el bloque 64x64, y determina un modo de SALTAR, un modo de codificación cuando es posible saltar el bloque de 64x64. En este momento, debe transmitirse un MB64_SKIP_flag al decodificador . Cuando el bloque de 64x64 tiene datos para codificar pero no está dividido en bloques de 32x32, el tamaño de codificación del SMB que es uno de 64x64, 64x32 y 32x64 e información sobre si el SMB es intra-codificado o inter-codificado se inserta en un encabezado de SMB, y se genera un bloque de datos SMB utilizando datos codificados.

Cuando el bloque de 64x64 tiene datos para codificar y se divide en bloques de 32x32, de forma similar se determina si existen datos para codificarse en los bloques de 32x32 correspondientes. Cuando no existen datos para codificarse en los bloques de 32x32 correspondientes, se determina el modo SKIP como el modo de bloque de 32x32 y se transmite un MB32_SKIP_flag al decodificador .

Sin embargo, cuando el bloque de 32x32 tiene datos para codificarse pero no está dividido en bloques de 16x16, el tamaño de codificación de bloque de 32x32 que es uno de 32x32, 32x16 y 16x32 e información sobre si los bloques de 32x32 son intra-codificados o inter-codificados se insertan encabezados de los bloques de 32x32, y se generan bloques de datos utilizando datos codificados.

Cuando el bloque de 32x32 tiene datos para codificarse y se divide en bloques de 16x16, se determina si existen datos para codificarse en los bloques de 16x16 correspondientes. Cuando no existen datos para codificarse en los bloques de 16x16 correspondientes, se determina . el modo de SALTAR como el modo de bloque de 16x16, y se transmite un mbl6_saltar_indicador al decodificador . Por otro lado, cuando existen datos para codificar en los bloques de 16x16 correspondientes, el tamaño de codificación del bloque de 16x16 es uno de 16x16, 16x16 e información sobre si el bloque de 16x16 es intra-codificado o inter-codificado se inserta en un encabezado del bloque de 16x16, que se genera en el bloque de datos utilizando datos codificados.

Cuando el bloque de 32x32 tienen datos para codificar y se divide en bloques de 16x16, se determina si existen datos para codificar en los bloque de 16x16 correspondientes. Cuando no existen datos para codificar en los bloques de 16x16 correspondientes, se determina el modo de SKIP como el modo de bloque de 16x16, y se transmite un mbl6_skip flag al decodificador . Por otro lado, cuando existen datos para codificar en los bloques de 16x16 correspondientes, el tamaño de codificación del bloque de 16x16 que es uno de 16x16, 16x8 y 8x16 e información sobre si el bloque de 16x16 es intra-codificado o inter-codificado se inserta en un encabezado del bloque de 16x16, y se genera un bloque de datos utilizando datos codificados.

Cuando se utilizan los bloques que tienen tal variedad de tamaños, la información del tamaño de bloque puede variar de conformidad con cada nivel de secuencia, nivel de imagen, nivel de fragmento, SMB o unidad de sub-codificación del SMB.

Al hacer referencia a la Figura 3, un aparato para codificar una imagen en movimiento de conformidad con la presente invención incluye un determinador de modo de codificación 110, una unidad de transíormada/cuantificación 120, un codificador de entropía 130, un intra predictor 140, un compensador de movimiento 150, un estimador de movimiento 155, una unidad de cuantificación/transformada inversa 160, un filtro de desbloqueo 170, un almacenamiento de imagen 180, un sumador y un restador.

El determinador de modo de codificación 110 analiza una señal de video de entrada para dividir una imagen en unidades de codificación, y determina un tamaño de un bloque de codificación predictivo y un modo de predicción para cada unidad de codificación. También, el determinador de modo de codificación 110 envía el bloque de codificación predictivo correspondiente al tamaño determinado al restador.

La unidad de transíormada/cuantificación 120 determina un tamaño de un bloque de transformada para transformar la señal residual recibida desde el restador. El tamaño de un bloque de transformada puede ser igual a o menor que un bloque de codificación predictivo, pero puede establecerse diferente en un inter modo. En otras palabras, el tamaño de bloque de transformada puede ser mayor que el del bloque de codificación predictivo en el inter modo. En este caso, la unidad de transformada/cuantificación 120 recibe múltiples bloques residuales del restador y genera un bloque de transformada que consiste de los múltiples bloques residuales. Un tamaño de bloque de transformada es igual a o menor que el de la unidad de codificación. La unidad de transformada/cuantificación 120 realiza una transformada de coseno discreta (DCT, por sus siglas en inglés) bidimensional (2D) sobre el bloque de transformada para generar coeficientes de transformada. La DCT puede ser una DCT de entero .

También, la unidad de transformada/cuantificación 120 determina un tamaño de paso de cuantificación utilizado para cuantificar los coeficientes de transformada, y cuantifica los coeficientes de transformada utilizando una matriz de cuantificación determinada de conformidad con el tamaño de paso de cuantificación determinado y un modo de codificación.

La unidad de cuantificación/transformada inversa 160 cuantifica inversamente y transforma inversamente los coeficientes de cuantificación cuantificados por la unidad de codificación/cuantificación de transformada 120, restaurando consecuentemente un bloque residual en el dominio espacial de un bloque residual transformado en el dominio de frecuencia.

Un filtro de desbloqueo 170 recibe datos de imagen que se cuantifican inversamente y se transforma inversamente de la unidad de cuantificación/transformada inversa 160 y realiza un proceso de filtración para remover un efecto de bloqueo. El proceso de filtración de desbloqueo puede aplicarse a un límite entre bloques de codificación predictivos y entre bloques de transformada. El límite es un borde de una cuadrícula que tiene un tamaño predeterminado o más y el tamaño predeterminado puede ser 8x8. El proceso de filtración de desbloqueo incluye un paso para determinar un límite que se va a filtrar, un paso para determinar una resistencia de filtración de límite que se va a aplicar al límite, un paso para determinar si se aplica o no un filtro de desbloqueo, y un paso para seleccionar un filtro que se va a aplicar a un límite cuando se determina aplicar el filtro de desbloqueo.

Si se determina que se aplica o no el filtro de desbloqueo de conformidad con i) si la resistencia de filtración en el límite es mayor o no que 0 e ii) si un valor que indica la diferencia entre píxeles de límite de bloque P y bloque Q es o no menor que un primer valor de referencia determinado de conformidad con un parámetro de cuantificación.

Pueden existir dos o más filtros. Cuando un valor absoluto de una diferencia entre dos píxeles adyacentes al límite de bloque es igual a o mayor que un segundo valor de referencia, se selecciona un filtro débil. El segundo valor de referencia se determina por el parámetro de cuantificación y la resistencia de filtración del límite.

El almacenamiento de imagen 180 recibe en la imagen filtrada del bloque de desbloqueo 170, almacena la imagen en unidades de imagen. La imagen puede ser una imagen de un cuadro o una imagen de un campo. El almacenamiento de imagen 180 tiene un búfer (no mostrado) capaz de almacenar una pluralidad de imágenes.

El estimador de movimiento 155 realiza estimación de movimiento utilizando al menos una imagen de referencia almacenada en el almacenamiento de imagen 180, y envía un índice de imagen de referencia que representa la imagen de referencia y un vector de movimiento.

El compensador de movimiento 150 extrae un bloque de predicción correspondiente a un bloque que se va a codificar desde la imagen de referencia utilizada para estimación de movimiento entre una pluralidad de imágenes de referencia almacenadas en el almacenamiento de imagen 180 de conformidad con el índice de imagen de referencia y la entrada de vector de movimiento del estimador de movimiento 155, y envía el bloque de predicciones extraído.

El intra predictor 140 realiza intra predicción utilizando valores de píxel reconstruidos en la misma imagen.

El intra predictor 140 recibe un bloque actual para codificarse de forma predictiva, selecciona uno de un número predeterminado de modos de intra predicción de conformidad con un tamaño del bloque actual, y realiza intra predicción.

El codificador de entropía 180 codifica por entropía los coeficientes de cuantificación cuantificados mediante la unidad de transformada/cuantificación 120, información de movimiento generada mediante el estimador de movimiento 175, y así sucesivamente. Los coeficientes de transformada cuantificados se convierten en la información de transformada cuantificada unidimensional (ID) por un método de escaneo predeterminado y codificados por entropía.

Un proceso de intra predicción se describirá a continuación con referencia a la Figura 3.

Primero, el intra predictor 140 recibe información de posición y tamaño sobre un bloque de codificación que se va a codificar a partir del determinador de modo de codificación 110.

Después, el intra predictor 140 recibe píxeles de referencia válidos para determinar un modo de intra predicción del bloque de codificación predictivo actual desde el almacenamiento de imagen 180. Los píxeles de referencia ya han sido codificados y restaurados, y están adyacentes al bloque de codificación predictivo actual (en lo sucesivo, denominado como bloque actual) . Cuando el bloque actual se coloca en un límite superior de la imagen actual, los píxeles adyacentes al lado superior del bloque actual no se definen. Cuando el bloque actual se coloca en un límite izquierdo de la imagen actual, los pixeles adyacentes al lado izquierdo del bloque actual no se definen. También, cuando el bloque actual se coloca en el límite superior o izquierdo del fragmento, los pixeles adyacentes al lado superior o izquierdo no se definen.

Cuando no existen pixeles adyacentes al lado izquierdo o superior del bloque actual o no existen pixeles que se hayan codificado y restaurado previamente como se menciona anteriormente, uno de intra predicción del bloque actual puede determinarse utilizando únicamente pixeles válidos .

Sin embargo, los pixeles de referencia inválidos pueden generarse utilizando pixeles adyacentes al bloque actual o píxel disponible. Por ejemplo, cuando los pixeles de un bloque superior no son válidos, los pixeles sobre el lado superior pueden generarse utilizando uno o más pixeles de referencia disponibles sobre el lado izquierdo.

Mientras tanto, incluso cuando existen pixeles sobre el lado superior o izquierdo del bloque actual, los pixeles pueden determinarse como pixeles inválidos de conformidad con un modo de codificación de un bloque al cual pertenecen los pixeles. Por ejemplo, cuando un bloque al cual pertenecen los pixeles adyacentes al lado superior del bloque actual ha sido inter-codificado y restaurado, los pixeles pueden determinarse como pixeles inválidos. En este caso, los píxeles de referencia pueden generarse utilizando píxel de referencia de un bloque que tiene intra modo.

Después, el intra predictor 140 determina el modo de intra predicción del bloque actual utilizando los píxeles de referencia. El número de modos de intra predicción depende de un tamaño del bloque.

De conformidad con el tamaño del bloque, se permiten 33, 16 ó 2 modos direccionales y al menos un modo no direccional . El modo no direccional puede ser un modo de corriente directa (DC, por sus siglas en inglés) o un modo plano .

Diferentes números de modos de intra predicción pueden asignarse a bloques que tienen el mismo tamaño. Para indicar que diferentes números de modos de intra predicción se permiten, puede insertarse información que indica el número de modos de intra predicción en al menos uno de un encabezado de secuencia, un encabezado de imagen, un encabezado de fragmento y un encabezado de unidad de codificación. Es preferible insertar la información en un encabezado de secuencia o un encabezado de imagen.

Después, cuando se determina el modo de intra predicción del bloque actual, se genera un bloque de predicción del bloque actual. El bloque de predicción se genera utilizando píxeles de referencia incluyendo un píxel generado o utilizando una combinación lineal de los píxeles de referencia sobre la base del modo de intra predicción del bloque actual. Por ejemplo, en un modo direccional de una dirección específica, puede generarse un modo de predicción utilizando píxeles de referencia sobre el lado superior del bloque actual y aquellos del lado izquierdo del bloque actual .

Los píxeles de referencia válidos utilizados para generar el bloque de predicción pueden ser píxeles de referencia filtrados. Un filtro que se va a aplicar a los píxeles de referencia válidos puede ser de un gran número. También, la pluralidad de filtros puede aplicarse adaptivamente de conformidad con un tamaño del bloque actual y el modo de intra predicción.

Después, un bloque residual obtenido al utilizar el bloque actual y el bloque de predicción generados por el pro inter pronosticador 140 se codifican mediante la unidad de transformada/cuantificación 120 y el codificador de entropía 130.

Mientras tanto, el modo de intra predicción del bloque actual se codifica separadamente. El modo de intra predicción puede codificarse mediante el intra predictor 140, un codificador de modo de intra predicción separado (no mostrado) o el codificador de entropía 130.

El modo de intra predicción del bloque actual se codifica utilizando modos de intra predicción de un bloque superior y un bloque izquierdo del bloque actual.

En primer lugar, se derivan los modos de intra predicción de los bloques izquierdo superior del bloque actual. Cuando el bloque superior es de número grande, el bloque superior izquierdo o un bloque que tiene el número de modo mínimo se establece como un bloque superior del bloque actual. También, cuando el bloque izquierdo es de un número grande, un bloque izquierdo superior o un bloque que tiene el número de modo mínimo se establece como un bloque izquierdo del bloque actual. Cuando el bloque superior o el bloque izquierdo no se codifican en modo de intra predicción, el modo DC (número de modo 2) puede establecerse como modo de intra predicción del bloque superior o el bloque izquierdo.

Después, cuando el número de modo 20 a predicción del bloque superior o izquierdo es igual a o mayor que el número de modos de intra predicción permisibles del bloque actual, el modo de intra predicción del bloque superior izquierdo se convierte en uno de los modos de intra predicción permitidos para el bloque actual.

Después, cuando el modo de intra predicción del bloque actual es igual a uno del modo de intra predicción del izquierdo y el modo de intra predicción del bloque superior, se transmiten un indicador que indica el modo de intra predicción del bloque actual es igual a 1 y el modo de intra predicción de bloque izquierdo y el modo de intra predicción del bloque superior, y un indicador que indica uno de los modos de intra predicción de los bloques superior izquierdo. En este caso, cuando los bloques izquierdo y superior del bloque actual tienen el mismo modo de intra predicción, únicamente puede transmitirse el indicador que indica que el modo de intra predicción del bloque actual es igual a 1 del modo de intra predicción del bloque izquierdo y el modo de intra predicción del bloque superior. De forma similar, cuando únicamente uno de los modos de intra predicción de los bloques superior e izquierdo es válido e igual al del bloque actual, únicamente puede transmitirse el indicador que indica que el modo de intra predicción del bloque actual es igual a 1 del modo de intra predicción del bloque izquierdo y el modo de intra predicción del bloque superior.

Sin embargo, cuando el modo de intra predicción del bloque actual es diferente de aquellos de los bloques izquierdo y superior, se determina si el número de modo de intra predicción del bloque actual es o no menor que aquellos de los bloques izquierdo y superior.

Cuando se determina que ambos números de modo de intra predicción de los bloques izquierdo y superior del bloque actual son mayores que el número de modo de intra predicción del bloque actual, el modo de intra predicción del bloque actual se determina como un modo de intra predicción final. Sin embargo, cuando únicamente uno de los números de modo de intra predicción de los bloques izquierdo y superior del bloque actual no es mayor que el número de modo de intra predicción del bloque actual, un modo de intra predicción que tiene un número de modo obtenido al restar uno del número de modo de intra predicción del bloque actual se determina como el modo de intra predicción final del bloque actual. También, cuando ninguno de los números de modo de intra predicción de los bloques izquierdo y superior del bloque actual es mayor que el número de modo de intra predicción del bloque actual, un modo de intra predicción que tiene un número de modo obtenido al restar dos del número de modo de intra predicción del bloque actual se determina como el modo de intra predicción final del bloque actual.

Después, el modo de intra predicción final del bloque actual se codifica. Utilizando diferentes tablas de codificación de conformidad con si el bloque superior del bloque actual tiene o no el mismo modo de intra predicción que el bloque izquierdo del bloque actual, el modo de intra predicción final del bloque actual se codifica. El modo de intra predicción del bloque actual o el bloque izquierdo del bloque actual puede ser un modo de intra predicción modificado. En otras palabras, el modo de intra predicción del bloque superior o el bloque izquierdo del bloque actual puede ser un modo de intra predicción modificado por una tabla para trazar modos de intra predicción permisibles para el bloque superior y el bloque izquierdo a un número predeterminado de modos de intra predicción. El número predeterminado puede ser 9 ó 3.

Se describirá a continuación un proceso de codificación de coeficiente de transformada cuantificado del codificador de entropía 130 de la Figura 3.

Los coeficientes de transformada cuantificados se codifican por entropía utilizando codificación de longitud variable adaptable por contexto (CAVLC, por sus siglas en inglés) o codificación aritmética binaria adaptable por contexto (CABAC, por sus siglas en inglés) . Cuando un tamaño del bloque de transformada se vuelve grande, existe una alta posibilidad de que se requiera un gran número de bits para escanear y codificar por entropía coeficientes diferentes a 0. De esa forma, es preferible introducir un nuevo método de escaneo para reducir el número de bits para un bloque de transformada que en un tamaño igual a o mayor que un tamaño predeterminado .

Primero, se determina si se divide o no los coeficientes de transformada cuantificados en una pluralidad de subgrupos. Depende de un tamaño de bloque transformada. En otras palabras, cuando el tamaño de un bloque de transformadas es igual o mayor que un tamaño predeterminado, los coeficientes de transformada cuantificados se dividen en una pluralidad de subgrupos. El tamaño predeterminado puede ser 8x8 ó 16x16. La pluralidad de subgrupos consiste de un subgrupo principal y uno o más subgrupos residuales. El subgrupo principal está colocado en un lado izquierdo superior incluyendo un coeficiente DC, y uno o más subgrupos residuales cubren un área diferente al área que cubre el subgrupo principal.

Después, cuando el tamaño del bloque de transformada es igual o mayor que el tamaño predeterminado, los coeficientes de transformada cuantificados se dividen en un subgrupo principal y uno o más subgrupos residuales, y los coeficientes de transformada cuantificados incluidos en cada subgrupo se escanean y codifican. Los coeficientes de transformada cuantificados en el subgrupo pueden escanearse utilizando una de una pluralidad de patrones de escaneo. Un patrón de escaneo en el cual el número de bits que se va a codificar se vuelve el mínimo puede seleccionarse de conformidad con la distribución de píxeles de no cero de los coeficientes de transformada cuantificados en el subgrupo. La pluralidad de patrones de escaneo puede incluir escaneo zigzag, escaneo vertical y escaneo horizontal. También, el escaneo vertical o el escaneo horizontal de MPEG-4 pueden incluirse. Cuando se transmite un patrón de escaneo para cada subgrupo, se requiere un gran número de bits. Por lo tanto puede aplicarse un patrón de escaneo a una pluralidad de subgrupos .

Mitras tanto, el patrón de escaneo puede seleccionarse de forma adaptable de conformidad con el modo de predicción y la dirección de intra predicción. Por ejemplo, en el modo de inter predicción, es posible aplicar únicamente un patrón de escaneo predeterminado (por ejemplo, escaneo zigzag) o uno de la pluralidad de patrones de escaneo. En el caso anterior, la información de patrón de escaneo no necesita transmitirse al decodificador, pero en el último caso, la información de patrón de escaneo necesita transmitirse al decodificador . En el modo de intra predicción, puede seleccionarse un patrón de escaneo de conformidad con la dirección de intra predicción. Por ejemplo, es posible aplicar escaneo vertical en un modo de intra predicción vertical, escaneo vertical en un modo de interpretación horizontal, y escaneo zigzag en un modo DC.

Un patrón de escaneo que se va a aplicar al subgrupo principal y uno o más subgrupos residuales pueden ser un patrón predeterminado. El patrón predeterminado puede ser escaneo zigzag. Además del escaneo zigzag, el escaneo horizontal o el escaneo vertical pueden aplicarse a los subgrupos . El patrón de escaneo aplicado a los subgrupos también puede determinarse de forma adaptable de conformidad con el modo de predicción y la dirección de intra predicción. En otras palabras, en el modo de inter predicción, un patrón de escaneo predeterminado puede aplicarse a los subgrupos. En la intra predicción, un patrón de escaneo seleccionado por la dirección de intra predicción puede aplicarse a los subgrupos .

Puede ser efectivo escanear los coeficientes de transformada cuantificados en el subgrupo en una dirección inversa. En otras palabras, los coeficientes de transformada cuantificados pueden escanearse del último coeficiente de no cero del subgrupo en una dirección inversa de conformidad con un patrón de escaneo. De forma similar, la pluralidad de subgrupos se escanean desde un subgrupo incluyendo el último coeficiente de no cero del bloque de transformada a un subgrupo principal en una dirección inversa.

Mientras tanto, para la decodificación de entropía correcta del decodificador, un codificador codifica información capaz de indicar una posición del último coeficiente de no cero en el bloque de transformada e información capaz de indicar una posición del último coeficiente de no cero en cada subgrupo, y transmite la información codificada al decodificador . La información puede indicar una posición del último coeficiente de no cero en cada subgrupo. También, la información puede ser información de mapa que consiste de indicadores que indican si cada uno de los coeficientes de transformada es cero o no e indicadores que indican si el coeficiente de no cero es el último coeficiente no cero o no en el bloque de transformada.

Un patrón de escaneo para generar la información de mapa puede ser el mismo que el patrón de escaneo en los subgrupos.

En otro ejemplo para escanear coeficientes de transformada cuantificado de bloque transformada, los coeficientes de transformada cuantificados de un bloque de transformada pueden redistribuirse utilizando un método de intercalación y convertirse en una pluralidad de sub-bloques, y cada uno de los sub-bloques puede escanearse y codificarse.

Mientras tanto, cuando una imagen tiene un limite en una dirección específica y se utiliza un modo de predicción equivalente, se utilizan diferentes sub-bloques para datos similares en una porción de limite de movimiento, y pueden ocurrir gastos innecesarios. En este caso, además puede ser efectivo dividir una unidad de codificación en una dirección específica de conformidad con una forma de la porción del límite de imagen y realizar estimación de movimiento en cada área dividida.

Con referencia a las Figuras 4 a 6, se describirá un método para dividir de forma adaptable por dirección un bloque en consideración de características de una imagen. En las Figuras 4 , 5 y 6 , se describirá una unidad de codificación de 32x32 como un ejemplo. Sin embargo, el tamaño de una unidad de codificación no está limitado a 32x32, y el método también puede aplicarse a un bloque de 64x64 o un bloque de 16x16.

En un ejemplo del modo adaptable más simple, una unidad de codificación se divide en dos bloques por una línea recta para extraer dependencia estadística de un área de predicción en topografía local. En otras palabras, una porción de límite de la imagen se hace coincidir con líneas rectas y se divide.

Como se muestra en las figuras 1-7, cuando existe un límite que atraviesa una imagen de un bloque 32x32, una porción del límite que atraviesa la imagen debe dividirse en bloques pequeños para comprimir eficientemente la imagen de conformidad con un método de división, de imagen convencional.

De esa forma, como se muestra en la Figura 4, un bloque de 32x32 debe dividirse en al menos diez bloques y codificarse. Por lo tanto, deben transmitirse diez vectores de movimiento a un decodificador junto con la información para representar división de imagen, y de esa forma se requiere gran parte de la información adicional diferente a la información de imagen.

Mientras tanto, como se muestra en las Figuras 5 ó 6, cuando existe un límite que atraviesa la imagen del bloque de 32x32, el número de piezas de información adicional que se van a transmitir al decodificador puede reducirse notablemente al hacer coincidir el límite de imagen con al menos una línea recta que indica el límite de imagen.

Por ejemplo, cuando el límite que atraviesa el bloque de 32x32 se hace coincidir con dos líneas rectas como se muestra en la Figura 5, el bloque 32 se divide en cuatro bloques de 16x16, y pueden obtenerse líneas rectas que hacen coincidir el primer y cuarto bloques de 16x16 respectivos a un límite de bloque. En este caso, se requieren seis áreas de división, y los vectores de movimiento que se van a transmitir al decodificador pueden reducirse a 6.

De forma similar, cuando el limite que atraviesa el bloque se hace coincidir con una línea recta como se muestra en la Figura 6, el bloque de 32x32 se divide en dos bloques, y únicamente una pieza de la información de modo de bloque y dos vectores de movimiento necesita transmitirse al decodificador .

Mientras tanto, cuando un bloque se divide utilizando una línea recta, la información sobre la línea recta utilizada debe transmitirse adicionalmente al decodificador . La información de línea recta que se va a transmitir se describirá a continuación.

La información de línea recta que se va a transmitir puede transmitirse utilizando varios métodos.

Un primer ejemplo es representar la información sobre la línea recta utilizando una distancia y un ángulo con respecto a una posición predeterminada. En este caso, la posición predeterminada puede ser un píxel en la esquina izquierda superior o el centro del bloque. La distancia puede ser un entero o a un valor cuantificado. El ángulo puede ser 0 a 180, y también puede ser un valor cuantificado.

Un segundo ejemplo es para transmitir valores de posición de ambos extremos de la línea recta que atraviesa el bloque al codificador. Los valores de posición pueden expresarse como valores que indican que tan lejos están ambos extremos del píxel en la esquina izquierda superior del bloque mientras pasan alrededor del límite del bloque en contra del sentido de las manecillas del reloj comenzando en la esquina izquierda superior. En este caso, cualquiera de los extremos puede representarse como una posición desde el píxel mientras pasan alrededor del bloque en el sentido de las manecillas del reloj , y el otro puede representarse como una posición desde el píxel mientras pasa alrededor del límite en contra del sentido de las manecillas del reloj, para que pueda expresarse la información de línea recta. En este caso, la información sobre líneas rectas cerca de más formas puede expresarse utilizando un pequeño número de bits.

Cuando existen bloques vecinos que han sido divididos de forma adaptable por dirección y ya codificados, es efectivo transmitir información de diferencial entre información de línea recta sobre el bloque actual e información de línea recta sobre uno seleccionado de los bloques vecinos. Es más preferible codificar información de diferencial utilizando información de dirección sobre bloques divididos en la misma dirección que el bloque actual. La información de línea recta o la información de diferencial sobre el bloque actual puede expresarse como un índice correspondiente, que puede ser codificado por longitud variable y transmitido.

Mientras tanto, si se aplica o no el método de división adaptable por dirección puede de terminarse de conformidad con un tamaño de un bloque de codificación predictivo. Ya que el método de división adaptable por dirección aplicado a un bloque de codificación excesivamente pequeño puede aumentar la cantidad de información y complejidad que se va a transmitir, es preferible no aplicar el método.

Como se muestra en la Figura 7, el método para dividir un bloque de codificación predictivo de conformidad con una forma de una porción del límite de una imagen puede aplicarse únicamente a direcciones específicas limitadas a un número predeterminado. Por ejemplo, el método para dividir un bloque puede limitarse a cuatro direcciones de una dirección horizontal, una dirección vertical, una dirección/ascendente y una dirección/descendente, o dos direcciones de la dirección horizontal y la dirección vertical. El número de casos para dividir el bloque en las direcciones específicas puede variar de conformidad con un tamaño del bloque de codificación predictivo. Por ejemplo, un bloque de codificación predictivo que tiene un tamaño de 32x32 puede dividirse en una dirección específica (por ejemplo, la dirección horizontal) utilizando siete métodos, y un bloque de codificación predictivo que tiene un tamaño de 16x16 puede dividirse utilizando tres métodos. También, sin importar el tamaño del bloque de codificación predictivo, es posible dividir el bloque de codificación predictivo utilizando el mismo número de métodos .

De conformidad con crominancia, el bloque de codificación predictivo también puede dividirse en las mismas divisiones, y todos los siguientes métodos también pueden aplicarse a la división. El bloque de codificación predictivo que tiene áreas de división respectivas debe incluir, en un encabezado, un indicador que indica la presencia de un bloque de división, información que indica como se ha hecho la división, e índices de imagen de referencia codificados a los que se hace referencia de conformidad con áreas de división respectivas .

Cuando un bloque se predice de forma adaptable por dirección, debe realizarse estimación de movimiento y compensación de movimiento en cada una de las dos áreas divididas. De esa forma, un vector de movimiento debe derivarse de cada una de las áreas divididas, y una señal residual entre cada una de las áreas divididas y un área de referencia obtenida con base en el vector de movimiento debe derivarse y codificarse.

Una señal residual puede codificase utilizando cualquiera de los siguientes métodos .

Primero, una señal residual puede derivarse de cada una de dos áreas divididas de un bloque de codificación predictivo, y entonces las dos señales residuales pueden agregarse para formar una señal de bloque residual y codificarse por transformada. En este caso, es muy posible que exista una diferencia entre la distribución global de señales residuales en las áreas respectivas divididas a lo largo de un borde, de un límite, y de esa forma es preferible aplicar un filtro al límite.

En otro método, la codificación puede realizarse al aplicar transformada adaptable por forma a cada una de las áreas divididas. Como se muestra en la Figura 7, cuando un bloque se divide en dos áreas, un bloque izquierdo superior se somete a transformada ID horizontal en el estado en el que se encuentra y entonces transformada ID vertical, y se redistribuye o gira un bloque derecho inferior por 180 grados como se muestra en la figura y se somete transformada a ID y entonces transformada ID vertical. En este caso, los coeficientes residuales codificados separadamente de conformidad con las áreas de división respectivas pueden transmitirse al decodificador , o pueden combinarse y transmitirse.

Incluso en otro método, la protección puede realizarse de conformidad con áreas divididas respectivas para generar y codificar un bloque. En otras palabras, cuando se codifica un área de división actual, la otra área de división que constituye el bloque se protege con un valor del área de división actual para constituir un bloque y entonces se somete a codificación de transformada 2D. La protección puede ser protección horizontal (copiar horizontalmente un área indefinida de un área definida) y protección vertical (copiar verticalmente un área indefinida de un área definida) . En este caso, es preferible realizar protección horizontal y entonces protección vertical. También, un píxel indefinido adyacente a uno o más píxeles definidos pueden protegerse a través de combinación lineal de los píxeles definidos. También, direccionalmente puede proporcionarse de conformidad con una dirección de división, para que cualquiera de la protección horizontal y la protección vertical pueda realizarse primero.

Después, se describirá estimación de vector de movimiento.

Cuando un bloque se divide en dos áreas utilizando una línea recta, un vector de movimiento de cada una de las áreas divididas se codifica diferencialmente utilizando un vector de movimiento ya codificado.

En un primer método, una primera área de las áreas divididas puede seleccionar uno de los vectores de movimiento de bloques adyacentes como un pronosticador de vector de movimiento, y una segunda área puede seleccionar uno de los vectores de movimiento de bloques adyacentes diferentes a la primera área como un pronosticador de vector de movimiento.

En un segundo método, una primera área de las áreas divididas puede seleccionar uno de los vectores de movimiento de bloques adyacentes como un pronosticador de vector de movimiento, y una segunda área puede seleccionar un vector de movimiento de la primera área como un pronosticador de vector de movimiento .

En un tercer método, cuando existe un bloque dividido de forma adaptable por dirección entre bloques adyacentes a un bloque actual, un vector de movimiento del bloque dividido de forma adaptable por dirección se utiliza con un vector de movimiento de referencia en consideración de directividad de los bloques divididos. De esa forma, cuando existe una pluralidad de bloques divididos de forma adaptable por dirección, los vectores de movimiento en una secuencia predeterminada o los vectores de movimiento de bloques que tienen direcciones de división similares pueden utilizarse como vectores de movimiento de referencia.

En un cuarto método, una primer área de las áreas divididas puede establecer un vector de movimiento de uno de los bloques adyacentes a la primer área como un pronosticador de vector de movimiento de la primer área, y una segunda área puede seleccionar cualquiera de los vectores de movimiento de bloques adyacentes a la segunda área y un vector de movimiento de un bloque o un área de división en la misma posición en una imagen previa cuando un pronosticador de vector de movimiento y codificar un vector de movimiento diferencial .

Aquí, se utiliza una línea recta para división de bloque. Sin embargo, también es posible dividir un bloque en al menos dos áreas de división utilizando información que consiste de al menos dos líneas rectas, y puede realizarse la codificación de las áreas divididas como se describe anteriormente .

Aunque la invención ha sido mostrada y descrita con referencia a ciertas modalidades ilustrativas de la misma, se entenderá por aquellos expertos en la técnica que pueden hacerse varios cambios en la forma y los detalles aquí sin apartarse del espíritu y alcance de la invención como se define por las reivindicaciones anexas.

Se hace constar que con relación a esta fecha, el mejor método conocido por la solicitante para llevar a la práctica la citada invención, es el que resulta claro de la presente descripción de la invención.

Claims

REIVINDICACIONES Habiéndose descrito la invención como antecede, se reclama como propiedad lo contenido en las siguientes reivindicaciones:

1.- Un aparato para codificar una imagen en movimiento, caracterizado porque comprende: un determinador de modo de codificación configurado para dividir una imagen ingresada en unidades de codificación y determinar un modo de predicción de unidad de codificación y un tamaño de un bloque de codificación predictivo de la unidad de codificación; un intra predictor configurado para generar un bloque de predicción utilizando intra predicción; una unidad de transíormada/cuantificación configurada para transformar y cuantificar un bloque de transformada de señales residuales obtenidas utilizando el bloque de codificación predictivo y un bloque de predicción; y un codificador de entropía configurado para codificar por entropía el bloque de transformada cuantificado, en donde, si el tamaño de bloque transformada cuantificado es igual a o mayor que un tamaño predeterminado, el bloque de transformada cuantificado se divide en una pluralidad de subgrupos y los coeficientes de transformada cuantificados de cada subgrupo se escanean utilizando un patrón de escaneo y se codifican por entropía.

2. - El aparato de conformidad con la reivindicación 1, caracterizado porque los coeficientes de transformada cuantificados de cada subgrupo se escanean en una dirección inversa

3. - El aparato de conformidad con la reivindicación 1, caracterizado porque el patrón de escaneo para escanear la pluralidad de subgrupos es el mismo que el patrón de escaneo para escanear los coeficientes de transformada cuantificados de cada subgrupo.

4. - El aparato de conformidad con la reivindicación 1, caracterizado porque un patrón de escaneo para escanear los coeficientes de transformada cuantificados de selecciona de conformidad con un modo de intra predicción del bloque de codificación predictivo.

5. - El aparato de conformidad con la reivindicación 1, caracterizado porque el codificador de entropía codifica una posición de un último coeficiente de no cero del bloque de transformada.

6. - El aparato de conformidad con la reivindicación 1, caracterizado porque el tamaño predeterminado es 8x8.