PT2996337T - Método e aparelho para codificação e descodificação de imagem utilizando a unidade de transformação grande - Google Patents

Description

DESCRIÇÃO "MÉTODO E APARELHO PARA CODIFICAÇÃO E DESCODIFICAÇÃO DE IMAGEM UTILIZANDO A UNIDADE DE TRANSFORMAÇÃO GRANDE"

Campo Técnico

Modelos de realização exemplificativos referem-se a aparelhos para descodificação de uma imagem.

Antecedentes da Técnica

Na maioria dos métodos e aparelhos para codificação e descodificação de uma imagem, uma imagem de um domínio de píxeis é transformada num domínio de frequência e a imagem transformada é codificada para comprimir a imagem. A transformada discreta de cosseno (DCT) é uma tecnologia bem conhecida usada para comprimir dados de áudio/vídeo (AV) . Em anos recentes, foram feitas muitas tentativas para encontrar métodos de codificação mais eficientes. Na codificação de áudio, a codificação paramétrica realiza melhor do que a DCT e, em dados bidimensionais, a transformada de Karhunen Loeve (KLT) tem um tamanho de bit mínimo, mas tem um grande tamanho de sobrecarga. 0 documento WIEGAND T EL AL/'Overview of the H.264/AVC video coding standard", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE SERVICE CENTER, PISCATAWA, NJ, US, vol. 13, n° 7, PÁGINA 560-576 fornece uma vista geral das caraterísticas técnicas de H.264/AVC, descreve perfis e aplicações para o padrão e descreve a história do processo de padronização. Os objetivos principais do esforço da padronização de H.264/AVC têm sido melhorar do desempenho de compressão e proporcionar uma representação de video de "amiga da rede" abordando aplicações "conversacionais" (telefonia de video) e "não conversacionais" (armazenamento, difusão ou transferência em continuo)

Divulgação da Invenção

Solução para o Problema

Modelos de realização exemplificativos fornecem um aparelho para descodificação de uma imagem usando uma transformação efetiva.

Efeitos Vantajosos da Invenção

De acordo com os modelos de realização exemplificativos, uma imagem é mais eficientemente comprimida e codificada uma vez que uma unidade de transformação pode ser definida para ter um tamanho maior que uma unidade de previsão e a transformação pode ser realizada na unidade de transformação.

Breve Descrição dos Desenhos

Os aspetos anteriores e/ou outros tornar-se-ão mais evidentes ao descrever certos modelos de realização exemplificativos, com referência aos desenhos em anexo, nos quais: A FIG. 1 é um diagrama de blocos de um aparelho para codificação de uma imagem; A FIG. 2 é um diagrama de blocos de um aparelho para descodificação de uma imagem de acordo com um modelo de realização exemplificativo; A FIG. 3 ilustra unidades de codificação hierárquicas; A FIG. 4 é um diagrama de blocos de um codificador de imagem com base numa unidade de codificação; A FIG. 5 é um diagrama de blocos de um descodificador de imagem com base numa unidade de codificação de acordo com um modelo de realização exemplificativo; A FIG. 6 ilustra uma unidade de codificação máxima, uma unidade de sub-unidade de codificação e uma unidade de previsão; A FIG. 7 ilustra uma unidade de codificação e uma unidade de transformação;

As FIGS. 8A, 8B, 8C e 8D ilustram formas de divisão de uma unidade de codificação, uma unidade de previsão e uma unidade de transformação; A FIG. 9 é um diagrama de blocos de um aparelho para codificação de uma imagem; A FIG. 10 é um diagrama para descrever um método de previsão; A FIG. 11 é um diagrama de blocos de um transformador;

As FIGS. 12A a 12C são diagramas de tipos de unidades de transformação;

As FIGS. 13A a 13D são diagramas de tipos de unidades de transformação; A FIG. 14 é um diagrama de diferentes unidades de transformação; A FIG. 15 é um diagrama de blocos de um aparelho para descodificação de uma imagem de acordo com outro modelo de realização exemplificativo; A FIG. 16 é um fluxograma que ilustra um método de codificação de uma imagem, e A FIG. 17 é um fluxograma que ilustra um método de descodificação de uma imagem.

Melhor Modo da Realizar a Invenção

De acordo com outro aspeto de um modelo de realização exemplificativo, é fornecido um aparelho para descodificar uma imagem, o aparelho tal como definido na reivindicação 1 em anexo.

[Modo para a Invenção]

Certos modelos de realização exemplificativos são descritos com maior detalhe a seguir com referência aos desenhos em anexo. Expressões como "pelo menos uma de", quando precedendo uma lista de elementos, modificam toda a lista de elementos e não modificam os elementos individuais da lista. Na presente especificação, uma "imagem" pode denotar uma imagem estática para um video ou uma imagem em movimento, ou seja, o próprio vídeo.

Na descrição a seguir, numerais de referência de desenho semelhantes são usados para os elementos semelhantes, mesmo em desenhos diferentes. Os assuntos definidos na descrição, tais como construção detalhada e elementos, são fornecidos para auxiliar na compreensão abrangente de modelos de realização exemplificativos. No entanto, modelos de realização exemplificativos podem ser praticados sem os assuntos definidos especificamente. A FIG. 1 é um diagrama de blocos de um aparelho de codificação de imagem 100 para codificar uma imagem. O aparelho de codificação de imagem 100 pode ser implementado como um aparelho de hardware tal como, por exemplo, um processador de um computador ou um sistema informático. O aparelho de codificação de imagem 100 pode também ser implementado como um módulo de software residente no sistema informático.

Referindo-se à FIG. 1, o aparelho de codificação de imagem 100 inclui um divisor de unidade de codificação máxima 110, um determinador de profundidade de codificação 120, um codificador de dados de imagem 130 e um codificador de informação de codificação 140 que pode ser implementado, por exemplo, como módulos de hardware ou software integrados dentro do aparelho de codificação de imagem 100 ou separadamente do aparelho de codificação de imagem 100. O divisor de unidade de codificação máxima 110 pode dividir uma trama ou segmento atual com base numa unidade de codificação máxima que é uma unidade de codificação do tamanho maior. Ou seja, o divisor de unidade de codificação máxima 110 pode dividir a trama ou o segmento atual em pelo menos uma unidade de codificação máxima.

Uma unidade de codificação pode ser representada utilizando uma unidade de codificação máxima e uma profundidade. Conforme descrito anteriormente, a unidade de codificação máxima indica uma unidade de codificação com o maior tamanho entre unidades de codificação da trama atual e a profundidade indica um grau de redução hierárquica da unidade de codificação. À medida que uma profundidade aumenta, uma unidade de codificação pode diminuir de uma unidade de codificação máxima para uma unidade de codificação minima, em que uma profundidade da unidade de codificação máxima é definida como uma profundidade minima e uma profundidade da unidade de codificação minima é definida como uma profundidade máxima. Uma vez que o tamanho de uma unidade de codificação diminui a partir de uma unidade de codificação máxima à medida que uma profundidade aumenta, uma sub-unidade de codificação de uma k-éssima profundidade pode incluir uma pluralidade de sub-unidades de codificação de uma (k+n)-éssima profundidade (k e n são inteiros iguais a ou maiores que 1).

De acordo com um aumento do tamanho de uma trama a ser codificada, codificar uma imagem numa unidade de codificação maior pode causar uma maior taxa de compressão de imagem. No entanto, se uma unidade de codificação maior for determinada, uma imagem pode não ser codificada de forma eficiente, refletindo as caracteristicas de imagem que mudam continuamente.

Por exemplo, quando uma área lisa como o mar ou o céu é codificada, quanto maior for uma unidade de codificação, mais pode aumentar a taxa de compressão. No entanto, quando uma área complexa tal como pessoas ou edifícios é codificada, quanto menor for uma unidade de codificação, mais a taxa de compressão pode aumentar.

Consequentemente, uma unidade de codificação de imagem máxima diferente e uma profundidade máxima diferente são definidas para cada trama ou segmento. Uma vez que uma profundidade máxima denota o número máximo de vezes pelo qual uma unidade de codificação pode diminuir, o tamanho de cada unidade de codificação mínima incluída numa unidade de codificação de imagem máxima pode ser configurado de forma variável de acordo com uma profundidade máxima. A profundidade máxima pode ser determinada de forma diferenciada para cada trama ou segmento ou para cada unidade de codificação máxima. 0 determinador de profundidade de codificação 120 determina uma forma de divisão da unidade de codificação máxima. A forma da divisão pode ser determinada com base no cálculo dos custos de distorção de taxa (RD) . A forma de divisão determinada da unidade de codificação máxima é fornecida ao codificador de informação de codificação 140, e dados de imagem de acordo com unidades de codificação máxima são fornecidos ao codificador de dados de imagem 130.

Uma unidade de codificação máxima pode ser dividida em sub-unidades de codificação com diferentes tamanhos de acordo com profundidades diferentes, e as sub-unidades de codificação com tamanhos diferentes, que estão incluídas na unidade de codificação máxima, podem ser previstas ou transformadas por frequência com base em unidades de processamento que tenham diferentes tamanhos. Por outras palavras, o aparelho de codificação de imagem 100 pode realizar uma pluralidade de operações de processamento para codificação de imagem com base em unidades de processamento com vários tamanhos e várias formas. Para codificar dados de imagem, são realizadas operações de processamento tais como a previsão, a transformação e a codificação por entropia, em que unidades de processamento com o mesmo tamanho ou tamanhos diferentes podem ser usadas para cada operação.

Por exemplo, o aparelho de codificação de imagem 100 pode selecionar uma unidade de processamento que é diferente de uma unidade de codificação para prever a unidade de codificação.

Quando o tamanho de uma unidade de codificação é 2N*2N (onde N é um número inteiro positivo), as unidades de processamento para previsão podem ser 2Νχ2Ν, 2ΝχΝ, Νχ2Ν e ΝχΝ. Por outras palavras, a previsão do movimento pode ser realizada com base numa unidade de processamento com uma forma, pelo que pelo menos uma de uma altura e uma largura de uma unidade de codificação é igualmente dividida por dois. Daqui em diante, uma unidade de processamento, que é a base da previsão, é definida como uma unidade de previsão.

Um modo de previsão pode ser pelo menos um de um modo intra, um modo inter e um modo de salto, e um modo de previsão especifico pode ser realizado apenas para uma unidade de previsão com um tamanho especifico ou uma forma especifica. Por exemplo, o modo intra pode ser realizado apenas para unidades de previsão com os tamanhos de 2Νχ2Ν ou ΝχΝ e a forma de um quadrado. Além disso, o modo de salto pode ser realizado apenas para uma unidade de previsão com o tamanho de 2Νχ2Ν. Se uma pluralidade de unidades de previsão existe numa unidade de codificação, o modo de previsão com o menores erros de codificação pode ser selecionado depois da realização de previsão para cada unidade de previsão.

Em alternativa, o aparelho de codificação de imagem 100 pode realizar transformação de frequência em dados de imagem com base numa unidade de processamento com um tamanho diferente do tamanho da unidade de codificação. Para a transformação de frequência na unidade de codificação, a transformação de frequência pode ser realizada com base numa unidade de processamento com um tamanho igual ou menor do que o da unidade de codificação. Daqui em diante, uma unidade de processamento, que é a base da transformação de frequência, é definida como uma unidade de transformação. A transformação de frequência pode ser a transformada discreta de cosseno (DCT) ou a transformada de Karhunen Loeve (KLT). 0 determinador de profundidade de codificação 120 pode determinar sub-unidades de codificação incluídas numa unidade de codificação máxima usando otimização de RD com base num multiplicador de Lagrange. Por outras palavras, o determinador de profundidade de codificação 120 pode determinar uma forma de uma pluralidade de sub-unidades de codificação divididas a partir da unidade de codificação máxima, em que as sub-unidades de codificação têm tamanhos diferentes de acordo com as profundidades das sub-unidades de codificação. O codificador de dados de imagem 130 emite um fluxo de bits codificando a unidade de codificação máxima com base nas formas de divisão determinadas pelo determinador de profundidade de codificação 120. O codificador de informação de codificação 140 codifica informação sobre um modo de codificação da unidade de codificação máxima determinada pelo determinador de profundidade de codificação 120. Por outras palavras, o codificador de informação de codificação 140 emite uma fluxo de bits codificando informação sobre uma forma de divisão da unidade de codificação máxima, a informação sobre a profundidade máxima e informação sobre um modo de codificação de uma sub-unidade de codificação para cada profundidade. A informação sobre o modo de codificação da sub-unidade de codificação pode incluir informação sobre uma unidade de previsão da sub-unidade de codificação, informação sobre um modo de previsão para cada unidade de previsão e informação sobre uma unidade de transformação da sub-unidade de codificação. A informação sobre a forma de divisão da unidade de codificação máxima pode ser flag informação, indicando se cada unidade de codificação está dividida. Por exemplo, quando a unidade de codificação máxima é dividida e codificada, a informação que indica se a unidade de codificação máxima é dividida é codificada. Além disso, quando uma sub-unidade de codificação dividida a partir da unidade de codificação máxima é dividida e codificada, a informação que indica se a sub-unidade de codificação está dividida é codificada.

Uma vez que sub-unidades de codificação que têm tamanhos diferentes existem para cada unidade de codificação máxima e a informação sobre um modo de codificação é determinada para cada sub-unidade de codificação, a informação sobre pelo menos um modo de codificação pode ser determinada para uma unidade de codificação máxima. 0 aparelho de codificação de imagem 100 pode gerar sub-unidades de codificação dividindo igualmente a altura e a largura de uma unidade de codificação máxima em dois de acordo com um aumento de profundidade. Ou seja, quando o tamanho de uma unidade de codificação de uma k-éssima profundidade é 2Νχ2Ν, o tamanho de uma unidade de codificação de uma (k+l)-éssima profundidade é N*N.

Consequentemente, o aparelho de codificação de imagem 100 pode determinar uma forma de divisão ótima para cada unidade de codificação máxima com base nos tamanhos das unidades de codificação máxima e uma profundidade máxima tendo em consideração as caracteristicas da imagem. Ajustando de forma variável o tamanho de uma unidade de codificação máxima tendo em consideração as caracteristicas da imagem e codificando uma imagem através da divisão de uma unidade de codificação máxima em sub-unidades de codificação de profundidades diferentes, as imagens que têm várias resoluções podem ser codificadas de forma mais eficiente. A FIG. 2 é um diagrama de blocos de um aparelho de descodificação de imagem 200 para descodificação de uma imagem de acordo com um modelo de realização exemplificativo. O aparelho de descodificação de imagem 200 pode ser implementado como um aparelho de hardware tal como, por exemplo, um processador de um computador, ou um sistema informático. O aparelho de descodificação de imagem 200 pode também ser implementado como um módulo de software residente no sistema informático.

Em referência à FIG. 2, o aparelho de descodificação de imagem 200 inclui uma unidade de aquisição de dados de imagem 210, um extrator de informação de codificação 220 e um descodificador de dados de imagem 230 que podem ser implementados, por exemplo, como módulos de hardware ou software integrados no aparelho de descodificação de imagem 200 ou separadamente do aparelho de codificação de imagem 200. A unidade de aquisição de dados de imagem 210 adquire dados de imagem de acordo com unidades de codificação máxima analisando um fluxo de bits recebido pelo aparelho de descodificação de imagem 200 e emite os dados de imagem para o descodif icador de dados de imagem 230. A unidade de aquisição de dados de imagem 210 pode extrair informação sobre uma unidade de codificação máxima de uma trama atual ou segmento de um cabeçalho da trama ou segmento atual. Por outras palavras, a unidade de aquisição de dados de imagem 210 divide o fluxo de bits na unidade de codificação máxima de modo que o descodificador de dados de imagem 230 pode descodificar os dados de imagem de acordo com as unidades de codificação máxima. O extrator de informação de codificação 220 extrai informação sobre uma unidade de codificação máxima, uma profundidade máxima, uma forma de divisão da unidade de codificação máxima, um modo de codificação de sub-unidades de codificação do cabeçalho da trama atual analisando o fluxo de bits recebido pelo aparelho de descodificação de imagem 200. A informação sobre uma forma de divisão e a informação sobre um modo de codificação são fornecidas ao descodificador de dados de imagem 230. A informação sobre uma forma de divisão da unidade de codificação máxima pode incluir informação sobre sub-unidades de codificação com diferentes tamanhos de acordo com as profundidades e incluídas na unidade de codificação máxima, e pode ser uma flag informação indicando se cada unidade de codificação é dividida. A informação sobre um modo de codificação pode incluir informação sobre uma unidade de previsão de acordo com sub-unidades de codificação, informação sobre um modo de previsão e informação sobre uma unidade de transformação. O descodificador de dados de imagem 230 restaura a trama atual descodificando dados de imagem de cada unidade de codificação máxima com base na informação extraida pelo extrator de informação de codificação 220. O descodificador de dados de imagem 230 pode descodificar sub-unidades de codificação incluídas numa unidade de codificação máxima com base na informação sobre uma forma de divisão da unidade de codificação máxima. Um processo de descodificação pode incluir um processo de previsão incluindo a intra previsão e a compensação de movimento e um processo de transformação inversa. 0 descodificador de dados de imagem 230 pode realizar intra previsão ou inter previsão com base em informação sobre uma unidade de previsão e informação sobre um modo de previsão para prever uma unidade de previsão. O descodificador de dados de imagem 230 também pode realizar a transformada inversa para cada sub-unidade de codificação com base em informação sobre uma unidade de transformação de uma sub-unidade de codificação. A FIG. 3 ilustra unidades de codificação hierárquicas.

Em referência à FIG. 3, as unidades de codificação hierárquicas podem incluir unidades de codificação cujas larguras e alturas são 64x64, 32x32, 16χ16, 8χ8 e 4x4. Além destas unidades de codificação com formas quadradas perfeitas, também podem ser existir unidades de codificação cujas larguras e alturas são 64x32, 32x64, 32x16, 16x32, 16x8, 8x16, 8x4 e 4x8.

Em referência à FIG. 3, para o conjunto de dados de imagem 310 cuja resolução é 1920x1080, o tamanho de uma unidade de codificação máxima é definido como 64x64 e uma profundidade máxima é definida como 2.

Para o conjunto de dados de imagem 320 cuja resolução é 1920x1080, o tamanho de uma unidade de codificação máxima é definido como 64x64 e uma profundidade máxima é definida como 3. Para o conjunto de dados de imagem 330 cuja resolução é 352x288, o tamanho de uma unidade de codificação máxima é definido como 16x16 e uma profundidade máxima é definida como 1.

Quando a resolução é alta ou a quantidade de dados é excelente, um tamanho máximo de uma unidade de codificação pode ser configurado relativamente grande para aumentar a taxa de compressão e refletir as caracteristicas da imagem de forma mais precisa. Consequentemente, para os conjuntos de dados de imagem 310 e 320 com resolução superior ao conjunto de dados de imagem 330, 64x64 pode ser selecionado como o tamanho de uma unidade de codificação máxima.

Uma profundidade máxima indica o número total de camadas nas unidades de codificação hierárquicas. Uma vez que a profundidade máxima do conjunto de dados de imagem 310 é 2, uma unidade de codificação 315 do conjunto de dados de imagem 310 pode incluir uma unidade de codificação máxima cujo tamanho de eixo mais longo é 64 e sub-unidades de codificação cujos tamanhos de eixo mais longos são 32 e 16, de acordo com um aumento de uma profundidade.

Por outro lado, uma vez que a profundidade máxima do conjunto de dados de imagem 330 é 1, uma unidade de codificação 335 do conjunto de dados de imagem 330 pode incluir uma unidade de codificação máxima cujo tamanho de eixo mais longo é 16 e unidades de codificação cujos tamanhos de eixo mais longos são 8, de acordo com um aumento de uma profundidade.

No entanto, uma vez que a profundidade máxima dos dados de imagem 320 é 3, uma unidade de codificação 325 do conjunto de dados de imagem 320 pode incluir uma unidade de codificação máxima cujo tamanho de eixo mais longo é 64 e sub-unidades de codificação cujos tamanhos de eixo mais longos são 32, 16, 8 e 4 de acordo com um aumento de uma profundidade. Uma vez que uma imagem é codificada com base numa sub-unidade de codificação menor à medida que a profundidade aumenta, os exemplos são adequados para codificação de uma imagem incluindo cenários mais pormenorizados. A FIG. 4 é um diagrama de blocos de um codificador de imagem 400 com base numa unidade de codificação. O codificador de imagem 400 pode ser implementado como um dispositivo de hardware tal como, por exemplo, um processador de um computador ou como um módulo de software residente no sistema informático.

Um intra preditor 410 realiza a intra previsão em unidades de previsão do modo intra numa trama atual 405, e um estimador de movimento 420 e um compensador de movimento 425 realizam a inter previsão e a compensação de movimento em unidades de previsão do modo inter usando a trama atual 405 e uma trama de referência 495. O intra preditor 410, o estimador de movimento 420, o compensador de movimento 425 e a trama de referência 495 podem ser implementados, por exemplo, como módulos de hardware ou software integrados no codificador de imagem 400 ou separadamente do codificador de imagem 400.

Os valores residuais são gerados com base nas unidades de previsão emitidos a partir do intra preditor 410, o estimador de movimento 420 e o compensador de movimento 425. Os valores residuais gerados são emitidos como coeficientes de transformação quantificados passando por um transformador 430 e um quantificador 440.

Os coeficientes de transformação quantificados são restaurados para os valores residuais passando por um quantificador inverso 460 e um transformador inverso 470, e os valores residuais restaurados são pós-processados passando por uma unidade de desbloqueio 480 e uma unidade de filtro em loop 490 e emitidos como a trama de referência 495. Os coeficientes de transformação quantificados podem ser emitidos como um fluxo de bits 455 passando por um codificador por entropia 450.

Para realizar a codificação com base num método de codificação, o intra preditor 410, o estimador de movimento 420, o compensador de movimento 425, o transformador 430, o quantificador 440, o codificador por entropia 450, o quantificador inverso 460, o transformador inverso 470, a unidade de desbloqueio 480 e a unidade de filtro em loop 490 do codificador de imagem 400 realizam processos de codificação de imagem com base numa unidade de codificação máxima, uma sub-unidade de codificação de acordo com as profundidades, uma unidade de previsão e uma unidade de transformação. A FIG. 5 é um diagrama de blocos de um descodif icador de imagem 500 com base numa unidade de codificação, de acordo com um modelo de realização exemplificativo. O descodificador de imagem 500 pode ser implementado como um dispositivo de hardware tal como, por exemplo, um processador de um computador ou como um módulo de software residente no sistema informático.

Um fluxo de bits 505 passa através de um analisador 510 de modo que são analisados os dados de imagem codificados a serem descodificados e a informação de codificação necessária para a descodificação. Os dados de imagem codificados são emitidos como dados quantificados inversamente passando por um descodificador por entropia 520 e um quantificador inverso 530 e restaurados para valores residuais passando por um transformador inverso 540. Os valores residuais são restaurados de acordo com as unidades de codificação sendo adicionados a um resultado de intra previsão de um intra preditor 550 ou um resultado de compensação de movimento de um compensador de movimento 560. As unidades de codificação restauradas 585, 595 são usadas para prever as próximas unidades de codificação ou uma próxima trama passando por uma unidade de desbloqueio 570 e uma unidade de filtro em loop 580. 0 analisador 510, o descodificador por entropia 520, o quantificador inverso 530, o transformador inverso 540, o intra preditor 550, o compensador 550, a unidade de desbloqueio 570 e a unidade de filtro em loop 580 podem ser implementados, por exemplo, como módulos de hardware ou software integrados no descodificador de imagem 500 ou separadamente do descodificador de imagem 500.

Para realizar a descodificação com base num método de descodificação de acordo com um modelo de realização exemplificativo, o analisador 510, o descodificador por entropia 520, o quantificador inverso 530, o transformador inverso 540, o intra preditor 550, o compensador de movimento 560, a unidade de desbloqueio 570 e a unidade de filtro em loop 580 do descodif icador de imagem 500 realizam processos de descodificação de imagem com base numa unidade de codificação máxima, uma sub-unidade de codificação de acordo com as profundidades, uma unidade de previsão e uma unidade de transformação.

Em particular, o intra preditor 550 e o compensador de movimento 560 determinam uma unidade de previsão e um modo de previsão numa sub-unidade de codificação considerando uma unidade de codificação máxima e uma profundidade, e o transformador inverso 540 realiza a transformação inversa tendo em consideração o tamanho de uma unidade de transformação. A FIG. 6 ilustra uma unidade de codificação máxima, uma sub-unidade de codificação e uma unidade de previsão. 0 aparelho de codificação de imagem 100 ilustrado na FIG. 1 e o aparelho de descodificação de imagem 200 ilustrado na FIG. 2 usam unidades de codificação hierárquicas para realizar codificação e descodificação tendo em consideração as caracteristicas da imagem. Uma unidade de codificação máxima e uma profundidade máxima podem ser definidas adaptativamente de acordo com as caracteristicas da imagem ou configurações variadas de acordo com os requisitos de um utilizador.

Na FIG. 6, uma estrutura de unidade de codificação hierárquica 600 tem uma unidade de codificação máxima 610 que é uma unidade de codificação máxima cuja altura e largura são 64 e a profundidade máxima é 4. Uma profundidade aumenta ao longo de um eixo vertical da estrutura da unidade de codificação hierárquica 600 e à medida que a profundidade aumenta, diminuem as alturas e as larguras das sub-unidades de codificação 620 a 650. As unidades de previsão da unidade de codificação máxima 610 e as sub-unidades de codificação 620 a 650 são mostradas ao longo de um eixo horizontal da estrutura da unidade de codificação hierárquica 600. A unidade de codificação máxima 610 tem uma profundidade de 0 e o tamanho de uma unidade de codificação, ou uma altura e uma largura de 64><64. Uma profundidade aumenta ao longo do eixo vertical, e existe uma primeira sub-unidade de codificação 620 cujo tamanho é 32x32 e a profundidade é 1, uma segunda sub-unidade de codificação 630 cujo tamanho é 16x16 e a profundidade é 2, uma terceira sub-unidade de codificação 640 cujo tamanho é 8x8 e a profundidade é 3, e uma unidade de codificação minima 650 cujo tamanho é 4x4 e a profundidade é 4. A unidade de codificação minima 650 cujo tamanho é 4x4 e a profundidade é 4 é uma unidade de codificação minima, e a unidade de codificação minima pode ser dividida em unidades de previsão, cada uma das quais é um tamanho menor do que a unidade de codificação minima.

Em referência à FIG. 6, exemplos de unidades de previsão são mostrados ao longo do eixo horizontal de acordo com cada profundidade. Ou seja, uma unidade de previsão da unidade de codificação máxima 610 cuja profundidade é 0 pode ser uma unidade de previsão cujo tamanho é igual ao tamanho 64x64 da unidade de codificação máxima ou uma unidade de previsão 612 cujo tamanho é de 64x32, uma unidade de previsão 614 cujo tamanho é 32x64 ou uma unidade de previsão 616 cujo tamanho é 32x32 que tem um tamanho menor que o da unidade de codificação máxima cujo tamanho é de 64x64.

Uma unidade de previsão da primeira sub-unidade de codificação 620 cuja profundidade é 1 e o tamanho é 32x32 pode ser uma unidade de previsão cujo tamanho é igual ao tamanho 32x32 da primeira sub-unidade de codificação ou uma unidade de previsão 622 cujo tamanho é de 32x16, uma unidade de previsão 624 cujo tamanho é 16x32 ou uma unidade de previsão 62 6 cujo tamanho é 16x16 que tem um tamanho menor que o da primeira sub-unidade de codificação 620 cujo tamanho é de 32x32.

Uma unidade de previsão da segunda sub-unidade de codificação 630 cuja profundidade é 2 e o tamanho é 16x16 pode ser uma unidade de previsão cujo tamanho é igual ao tamanho 16x16 da segunda sub-unidade de codificação 630 ou uma unidade de previsão 632 cujo tamanho é 16x8, uma unidade de previsão 634 cujo tamanho é 8x16, ou uma unidade de previsão 63 6 cujo tamanho é 8x8, que tem um tamanho menor que o da segunda sub-unidade de codificação 630 cujo tamanho é 16x16.

Uma unidade de previsão da terceira sub-unidade de codificação 640 cuja profundidade é 3 e o tamanho é 8x8 pode ser uma unidade de previsão cujo tamanho é igual ao tamanho 8x8 da terceira sub-unidade de codificação 640 ou uma unidade de previsão 642 cujo tamanho é de 8x4, uma unidade de previsão 644 cujo tamanho é 4x8, ou uma unidade de previsão 64 6 cujo tamanho é 4x4, que tem um tamanho menor que o da terceira sub-unidade de codificação 640 cujo tamanho é 8x8. A unidade de codificação minima 650 cuja profundidade é 4 e o tamanho é 4><4 é uma unidade de codificação minima e uma unidade de codificação de uma profundidade máxima. Uma unidade de previsão da unidade de codificação minima 650 pode ser uma unidade de previsão 650 cujo tamanho é 4x4, uma unidade de previsão 652 com um tamanho de 4x2, uma unidade de previsão 654 com um tamanho de 2x4 ou uma unidade de previsão 656 com um tamanho de 2x2 . A FIG. 7 ilustra uma unidade de codificação e uma unidade de transformação. 0 aparelho de codificação de imagem 100 ilustrado na FIG. 1 e o aparelho de descodificação de imagem 200 ilustrado na FIG. 2 realizam a codificação e a descodificação com uma unidade de codificação máxima ou com sub-unidades de codificação, que têm tamanho igual ou menor que a unidade de codificação máxima, dividida a partir da unidade de codificação máxima. No processo de codificação e descodificação, o tamanho de uma unidade de transformação para a transformação de frequência é selecionado para não ser maior que o de uma unidade de codificação correspondente. Por exemplo, se uma unidade de codificação atual 710 tiver o tamanho de 64x64, a transformação de frequência pode ser realizada usando uma unidade de transformação 720 com o tamanho de 32x32.

As FIGS. 8A, 8B, 8C e 8D ilustram formas de divisão de uma unidade de codificação, uma unidade de previsão e uma unidade de transformação.

As FIGS. 8A e 8B ilustram, respetivamente uma unidade de codificação e uma unidade de previsão. A FIG. 8A mostra uma forma de divisão selecionada pelo aparelho de codificação de imagem 100 ilustrada na FIG. 1, para codificar uma unidade de codificação máxima 810. 0 aparelho de codificação de imagem 100 divide a unidade de codificação máxima 810 em várias formas, realiza a codificação e seleciona uma forma de divisão ótima comparando os resultados de codificação de várias formas de divisão entre si com base nos custos de RD. Quando é ótimo que a unidade de codificação máxima 810 seja codificada, a unidade de codificação máxima 810 pode ser codificada sem dividir a unidade de codificação máxima 810, como ilustrado nas FIGS. 8A a 8D.

Em referência à FIG. 8A, a unidade de codificação máxima 810 cuja profundidade é 0 é codificada dividindo a unidade de codificação máxima 810 em sub-unidades de codificação 812, 854 cujas profundidades são iguais ou superiores a 1. Ou seja, a unidade de codificação máxima 810 é dividida em 4 sub-unidades de codificação cujas profundidades são 1 e todas ou algumas das sub-unidades de codificação cujas profundidades são 1 são divididas em sub- unidades de codificação 814, 816, 818, 828, 850 e 852 cujas profundidades são 2.

Uma sub-unidade de codificação localizada num lado superior direito e uma sub-unidade de codificação localizada num lado inferior esquerdo entre as sub-unidades de codificação cujas profundidades são 1 são divididas em sub-unidades de codificação cujas profundidades são iguais ou superiores a 2. Algumas das sub-unidades de codificação cujas profundidades são iguais ou superiores a 2 podem ser ainda divididas em sub-unidades de codificação 820, 822, 824, 826, 830, 832, 840, 842, 844, 846 e 848 cujas profundidades são iguais ou superiores a 3. A FIG. 8B mostra uma forma de divisão de uma unidade de previsão para a unidade de codificação máxima 810.

Em referência à FIG. 8B, uma unidade de previsão 860 para a unidade de codificação máxima 810 pode ser dividida de forma diferenciada da unidade de codificação máxima 810. Por outras palavras, uma unidade de previsão para cada uma das sub-unidades de codificação pode ser menor que uma sub-unidade de codificação correspondente.

Por exemplo, uma unidade de previsão para uma sub-unidade de codificação 854 localizada num lado inferior direito entre as sub-unidades de codificação 812, 854 cujas profundidades são 1 pode ser menor do que a sub-unidade de codificação 854. Além disso, as unidades de previsão para as sub-unidades de codificação 814, 816, 850 e 852 das sub-unidades de codificação 814, 816, 818, 828, 850 e 852 cujas profundidades são 2 podem ser menores do que as sub-unidades de codificação 814, 816, 850 e 852, respetivamente.

Além disso, as unidades de previsão para as sub-unidades de codificação 822, 832 e 848 cujas profundidades são 3 podem ser menores do que as sub-unidades de codificação 822, 832 e 848, respetivamente. As unidades de previsão podem ter uma forma pelo que as respetivas sub-unidades de codificação são igualmente divididas por duas numa direção de altura ou largura ou têm uma forma em que as respetivas sub-unidades de codificação são igualmente divididas por quatro em direções de altura e largura.

As FIGS. 8C e 8D ilustram uma unidade de previsão e uma unidade de transformação. A FIG. 8C mostra uma forma de divisão de uma unidade de previsão para a unidade de codificação máxima 810 mostrada na FIG. 8B e FIG. 8D mostra uma forma de divisão de uma unidade de transformação da unidade de codificação máxima 810.

Em referência à FIG. 8D, uma forma de divisão de uma unidade de transformação 870 pode ser definida de forma diferenciada da unidade de previsão 860.

Por exemplo, mesmo que uma unidade de previsão para a sub-unidade de codificação 854 cuja profundidade é 1 seja selecionada com uma forma pela qual a altura da sub-unidade de codificação 854 é igualmente dividida por dois, uma unidade de transformação pode ser selecionada com o tamanho original da sub-unidade de codificação 854. Do mesmo modo, mesmo que as unidades de previsão para sub-unidades de codificação 814 e 850 cujas profundidades sejam 2 sejam selecionadas com uma forma pela qual a altura de cada uma das sub-unidades de codificação 814 e 850 é igualmente dividida por dois, uma unidade de transformação pode ser selecionada com o mesmo tamanho que o tamanho original de cada uma das sub-unidades de codificação 814 e 850 .

Uma unidade de transformação pode ser selecionada com um tamanho menor do que uma unidade de previsão. Por exemplo, quando uma unidade de previsão para a sub-unidade de codificação 852 cuja profundidade é 2 é selecionada com uma forma pela qual a largura da sub-unidade de codificação 852 é igualmente dividida por dois, uma unidade de transformação pode ser selecionada com uma forma pela qual a sub-unidade de codificação 852 é igualmente dividida por quatro em direções de altura e largura que tem um tamanho menor do que a forma da unidade de previsão.

Em alternativa, como será descrito com referência às FIGS. 13A a 13D, uma unidade de transformação pode ser definida para ter um tamanho maior do que uma unidade de codificação, independentemente da unidade de codificação. A FIG. 9 é um diagrama de blocos de um aparelho 900 para codificação de uma imagem.

Em referência à FIG. 9, o aparelho de codificação de imagem 900 inclui um previsor 910, um transformador 920, um quantificador 930 e um codificador por entropia 940. O previsor 910 gera valores residuais realizando a intra previsão ou a inter previsão numa ou mais unidades de codificação. Como será descrito mais adiante, os valores residuais incluídos numa pluralidade de unidades de previsão podem ser agrupados numa unidade de transformação e depois transformados num domínio de frequência e, assim, os valores residuais são gerados por previsão de uma ou mais unidades de codificação com base na pluralidade de unidades de previsão. A transformação para o domínio de frequência pode ser DCT ou KLT.

Conforme descrito anteriormente com referência à FIG. 8A, no método de codificação de imagem, uma unidade de codificação pode incluir uma pluralidade de unidades de previsão. Assim, o previsor 910 pode prever cada uma das unidades de previsão e gerar os valores residuais das unidades de previsão incluídas numa unidade de codificação.

Em alternativa, a unidade de previsão 910 pode prever a pluralidade de unidades de codificação de uma só vez. Como será descrito mais tarde, uma pluralidade de unidades de previsão incluídas numa pluralidade de unidades de codificação podem ser agrupadas numa unidade de transformação e, assim, os valores residuais são gerados por previsão de cada uma das unidades de previsão incluídas nas unidades de codificação. Por exemplo, todas as sub-unidades de codificação incluídas numa unidade de codificação máxima podem ser previstas para gerar os valores residuais das unidades de codificação.

De acordo com a tecnologia convencional, uma vez que a transformação (e.g. DCT ou KLT) é realizada com um tamanho menor ou igual a uma unidade de previsão, uma unidade de previsão pré-determinada é codificada de forma independente, restaurada e depois usada para prever uma próxima unidade de previsão. No entanto, de acordo com um método de codificação de uma imagem, que será descrita mais tarde, uma vez que a transformação é realizada agrupando unidades de previsão incluídas em uma ou mais unidades de codificação numa unidade de transformação, uma unidade de previsão pré-determinada não pode ser independente codificada e restaurada. Isto será descrito em detalhes com referência à FIG. 10. A FIG. 10 é um diagrama para descrever um método de previsão.

Em referência à FIG. 10, uma unidade de codificação 1000 pode incluir uma pluralidade de unidades de previsão 1010 a 1040. Se a transformação for realizada com um tamanho menor ou igual a uma unidade de previsão, como na tecnologia convencional, as unidades de previsão 1010 a 1030 podem ser codificadas e restauradas antes de codificar a unidade de previsão 1040 num lado inferior direito.

Consequentemente, se a unidade de previsão 1040 é para ser prevista através de intra previsão de acordo com a tecnologia convencional, a unidade de previsão 1040 é intra prevista usando píxeis adjacentes à unidade de previsão 1040, de entre os pixeis gerados por codificação e depois restaurando as unidades de previsão 1010 a 1030.

Por outro lado, aqui, uma pluralidade de unidades de previsão são agrupadas numa unidade de transformação e depois é realizada a transformação. Aqui, se as unidades de previsão 1010 a 1040 da FIG. 10 são agrupadas numa unidade de transformação, a unidade de previsão 1040 no lado inferior direito é codificada com as outras unidades de previsão 1010 a 1030 e, portanto, as unidades de previsão 1010 a 1030 não são codificadas antes de codificar a unidade de previsão 1040. Consequentemente, a unidade de previsão 1040 não pode ser intra prevista utilizando os pixeis gerados por codificação e depois restaurando as unidades de previsão 1010 a 1030.

Consequentemente, a unidade de previsão 910 da FIG. 9 pode prever a unidade de previsão 1040 usando valores de previsão das unidades de previsão 1010 a 1030. A unidade de previsão 1040 no lado inferior direito é prevista usando os valores de previsão das unidades de previsão 1010 a 1030, em vez dos pixeis gerados por codificação e depois restaurando as unidades de previsão 1010 a 1030.

Por outras palavras, se houver uma primeira unidade de previsão prevista através de intra previsão entre unidades de previsão agrupadas numa unidade de transformação, a primeira unidade de previsão pode ser intra prevista usando valores de previsão de pelo menos uma unidade de previsão adjacente.

Em alternativa, as unidades de previsão agrupadas numa unidade de transformação podem ser previstas através da inter previsão. Conforme descrito com referência à FIG. 10, uma vez que uma unidade de previsão que é prevista através de intra previsão está em questão enquanto agrupa uma pluralidade de unidades de previsão numa unidade de transformação, todas as unidades de previsão agrupadas na unidade de transformação podem ser previstas usando apenas a inter previsão.

Novamente em referência à FIG. 9, o transformador 920 recebe uma unidade de processamento de imagem num domínio de pixeis e transforma a unidade de processamento de imagem num domínio de frequência. 0 transformador 920 transforma os valores residuais gerados pela unidade de previsão 910 no domínio da frequência.

Conforme descrito anteriormente, o transformador 920 agrupa as unidades de previsão numa unidade de transformação e realiza DCT ou KLT de acordo com a unidade de transformação. Os valores residuais podem ser valores residuais de uma pluralidade de unidades de previsão incluídas numa ou mais unidades de codificação. Coeficientes de componentes de frequência são gerados como um resultado de transformação do domínio de píxeis para o domínio de frequência. A transformação para o domínio da frequência pode ser realizada via DCT ou KLT, e os coeficientes discretos de cosseno são gerados como um resultado da DCT ou KLT. No entanto, pode ser usada qualquer transformação para transformar uma imagem num domínio de píxeis no o domínio de frequência. A FIG. 11 é um diagrama de blocos do transformador 920.

Em referência à FIG. 11, o transformador 920 inclui um seletor 1110 e um realizador de transformação 1120 . 0 seletor 1110 define uma unidade de transformação selecionando uma pluralidade de unidades de previsão adjacente. De acordo com os aparelhos de codificação de imagem convencionais descritos acima, a intra previsão ou a inter previsão é realizada de acordo com uma unidade de previsão pré-determinada e a DCT ou KLT é realizada com um tamanho menor ou igual à unidade de previsão pré-determinada. Por outras palavras, os aparelhos de codificação de imagem convencionais realizam DCT ou KLT com base numa unidade de transformação com um tamanho menor ou igual a uma unidade de previsão.

No entanto, uma taxa de compressão da codificação de imagem está deteriorada uma vez que uma sobrecarga adicional aumenta à medida que o tamanho de uma unidade de transformação diminui devido à informação de cabeçalho adicionado a cada unidade de transformação. Consequentemente, o aparelho de codificação de imagem 900 agrupa as unidades de previsão adjacentes numa unidade de transformação e depois realiza DCT ou KLT de acordo com a unidade de transformação. Especificamente, uma vez que é altamente provável que as unidades de previsão adjacentes tenham valores residuais similares, uma taxa de compressão da codificação pode ser aumentada de forma notável quando DCT ou KLT é realizado de acordo com a unidade de transformação gerada agrupando as unidades de previsão adj acentes.

Consequentemente, o seletor 1110 seleciona as unidades de previsão para serem agrupadas numa unidade de transformação e em que DCT ou KLT devem ser executadas. As unidades de previsão podem ser adjacentes uma á outra. Isto será descrito em detalhe com referência às FIGS. 12A a 12C e 13A a 13D.

As FIGS. 12A a 12C são diagramas de tipos de unidades de transformação 1230 a 1250.

Em referência às FIGS. 12A a 12C, uma unidade de previsão 1220 pode ter uma forma pela qual uma unidade de codificação 1210 é igualmente dividida por dois numa direção de largura. A unidade de codificação 1210 pode ser uma unidade de codificação máxima como descrito anteriormente ou uma sub-unidade de codificação com um tamanho mais pequeno do que a unidade de codificação máxima.

Mesmo quando a unidade de codificação 1210 e a unidade de previsão 1220 são idênticas, as unidades de transformação 1230 a 1250 podem ser diferentes. Um tamanho da unidade de transformação 1230 pode ser menor que o da unidade de previsão 1220 tal como mostrado na FIG. 12A, ou um tamanho da unidade de transformação 1240 podem ser idênticos ao da unidade de previsão 1220 tal como mostrado na FIG. 12B. Em alternativa, um tamanho da unidade de transformação 1250 pode ser maior que o da unidade de previsão 1220 tal como mostrado na FIG. 12C.

As unidades de previsão agrupadas numa unidade de transformação podem ser uma pluralidade de unidades de previsão incluídas numa unidade de codificação como mostrado nas FIGS. 12A a 12C, ou podem ser uma pluralidade de unidades de previsão incluídas em diferentes unidades de codificação. Por outras palavras, uma pluralidade de unidades de previsão incluídas em pelo menos uma unidade de codificação podem ser agrupadas numa unidade de transformação e depois transformadas no domínio da frequência.

As FIGS. 13A a 13D são diagramas de tipos de unidades de transformação.

Uma unidade de codificação máxima 1300 pode ser dividida em sub-unidades de codificação 1302 a 1308 tendo tamanhos diferentes e depois codificadas como mostrado na FIG. 13A e cada uma das sub-unidades de codificação 1302 a 1308 podem incluir pelo menos uma unidade de previsão 1310 a 1340, como mostrado na FIG. 13B. O seletor 1110 pode agrupar as unidades de previsão 1310 a 1340 mostradas na FIG. 13B numa unidade de transformação 1350 mostrada na FIG. 13C e depois transformar a unidade de transformação 1350 no domínio da frequência.

Em alternativa, o seletor 1110 pode agrupar as unidades de previsão 1310 e 1330 a 1339 das sub-unidades de codificação 1302 e 1306 à esquerda para uma unidade de transformação 1360 e agrupar as unidades de previsão 1320 a 1328 e 1340 das sub-unidades de codificação 1304 e 1308 à direita para uma única unidade de transformação 1362, tal como mostrado na FIG. 13D.

Referindo-se de volta à FIG. 11, não está limitado um critério para o seletor 1110 para selecionar uma pluralidade de unidades de previsão adjacentes. No entanto, num exemplo o seletor 1110 pode selecionar uma unidade de transformação com base numa profundidade. Conforme descrito anteriormente, a profundidade indica um grau de diminuição hierárquica de uma unidade de codificação a partir de uma unidade de codificação máxima de um segmento ou trama atual para sub-unidades de codificação. Conforme descrito anteriormente com referência às FIGS. 3 e 6, à medida que a profundidade aumenta, um tamanho de uma sub-unidade de codificação diminui e, assim, o tamanho de uma unidade de previsão incluída na sub-unidade de codificação diminui. Aqui, quando DCT ou KLT é realizada de acordo com uma unidade de transformação com um tamanho menor ou igual a uma unidade de previsão, uma taxa de compressão da codificação de imagem é diminuída porque a informação do cabeçalho é adicionada a cada unidade de transformação tal como descrito anteriormente.

Consequentemente, as unidades de previsão incluídas numa sub-unidade de codificação cuja profundidade é igual ou superior a um valor pré-determinado podem ser agrupadas numa unidade de transformação, e depois DCT ou KLT podem ser realizadas na unidade de transformação. Assim, o seletor 1110 pode configurar a unidade de transformação com base na profundidade da sub-unidade de codificação. Por exemplo, quando uma profundidade da unidade de codificação 1210 da FIG. 12C é superior a k, o seletor 1110 agrupa as unidades de previsão 1220 numa unidade de transformação 1250.

Em alternativa, quando uma unidade de codificação máxima inclui uma pluralidade de sub-unidades de codificação cujas profundidades são iguais ou superiores a um valor pré-determinado, o seletor 1110 pode agrupar unidades de previsão das sub-unidades de codificação numa unidade de transformação. A FIG. 13C ilustra um exemplo de agrupamento de unidades de previsão de sub-unidades de codificação cuja profundidade é maior que uma unidade de codificação máxima, i.e., cuja profundidade é maior do que 1, numa unidade de transformação.

De acordo com outro exemplo, o seletor 1110 pode definir uma pluralidade de unidades de previsão adjacentes, em que a previsão é realizada de acordo com um mesmo tipo de modo de previsão, numa unidade de transformação. As unidades de previsão adjacentes que são previstas usando a intra previsão ou a inter previsão são agrupadas numa unidade de transformação. Uma vez que é altamente provável que as unidades de previsão adjacentes que são previstas de acordo com o mesmo tipo de modo de previsão tenham valores residuais similares, DCT ou KLT podem ser realizados agrupando as unidades de previsão adjacentes numa unidade de transformação.

Quando o seletor 1110 define a unidade de transformação, o realizador de transformação 1120 transforma as unidades de previsão adjacentes num domínio de frequência de acordo com a unidade de transformação definida. Coeficientes de domínio de frequência (e.g., coeficientes discretos de cosseno) são gerados por transformação das unidades de previsão selecionadas numa unidade de transformação.

Novamente em referência à FIG. 9, o quantificador 930 quantifica os coeficientes de componente de frequência gerados pelo transformador 920. O quantificador 930 pode quantificar a entrada de coeficientes de acordo com um processo de quantificação pré-determinado. O codificador por entropia 940 codifica os coeficientes quantificados pelo quantificador 930. Aqui, os coeficientes de cosseno discretos podem ser codificados por entropia usando codificação aritmética binária adaptável ao contexto (CABAC) ou codificação de comprimento variável adaptável ao contexto (CAVLC). 0 aparelho de codificação de imagem 900 pode codificar a flag informação indicando se a unidade de transformação gerada agrupando as unidades de previsão inclui os coeficientes. Se não houver coeficientes para serem codificados por entropia, i.e., quando os coeficientes quantificados são todos "0", a flag informação indicando que a unidade de transformação não inclui os coeficientes é codificada e os coeficientes quantificados não são codificados por entropia separadamente. O aparelho de codificação de imagem 900 de acordo com o exemplo de realização atual pode determinar uma unidade de transformação ótima realizando repetidamente transformação, quantificação e codificação por entropia em diferentes unidades de transformação. A unidade de transformação ótima pode ser determinada por repetição mecânica de um processo de seleção de uma pluralidade de unidades de previsão usando vários métodos, em vez de selecionar as unidades de previsão com base num critério pré-determinado, tal como uma profundidade ou um mesmo tipo de modo de previsão. A unidade de transformação ótima pode ser determinada com base no cálculo de custos de RD, e isso será descrito em detalhe com referência à FIG. 14. A FIG. 14 é um diagrama de diferentes unidades de transformação exemplificativas 1430 a 1460.

Em referência à FIG. 14, o aparelho de codificação de imagem 900 codifica repetidamente diferentes unidades de transformação 1430 a 1460.

Tal como mostrado na FIG. 14, uma unidade de codificação 1410 pode ser prevista e codificada com base numa unidade de previsão 1420 com um tamanho menor do que a unidade de codificação 1410. A DCT ou KLT são realizadas em valores residuais gerados como resultado da previsão, e aqui, a DCT ou KLT podem ser realizadas com base nas diferentes unidades de transformação 1430 a 1460 tal como mostrado na FIG. 14. A unidade de transformação 1430 tem o mesmo tamanho que a unidade de codificação 1410 e é gerada agrupando todas as unidades de previsão incluídas na unidade de codificação 1410.

As unidades de transformação 1440 têm um tamanho pelo qual a unidade de codificação 1410 é igualmente dividida por dois numa direção de largura e são geradas agrupando as unidades de previsão que são adjacentes numa direção vertical.

As unidades de transformação 1450 têm um tamanho pelo qual a unidade de codificação 1410 é igualmente dividida por dois numa direção de altura e são geradas agrupando as unidades de previsão que são adjacentes numa direção horizontal.

As unidades de transformação 1460 têm os mesmos tamanhos que as unidades de previsão 1420. O aparelho de codificação de imagem 900 pode determinar a unidade de transformação ótima realizando repetidamente a transformação, a quantificação e a codificação por entropia nas unidades de transformação 1430 a 1460.

Em alternativa, o aparelho de codificação de imagem 900 pode codificar flag informação indicando se a unidade de transformação é gerada agrupando uma pluralidade de unidades de previsão incluídas numa ou mais unidades de codificação. Por exemplo, quando uma unidade de transformação é definida agrupando uma pluralidade de unidades de previsão incluídas numa unidade de codificação como mostrado nas FIGs. 12A a 12C, a flag informação é definida como ' 0' e quando uma unidade de transformação é definida agrupando uma pluralidade de unidades de previsão incluídas numa pluralidade de unidades de codificação como mostrado nas FIGs. 13A a 13D, a flag informação é definida como '1'. A FIG. 14 ilustra um exemplo de determinação da unidade de transformação ótima quando uma unidade de transformação é definida agrupando unidades de previsão incluídas numa unidade de codificação. No entanto, a unidade de transformação ótima pode ser determinada pela realização repetida de DCT, quantificação e codificação por entropia em diferentes unidades de transformação, tal como mostrado na FIG. 14, mesmo quando uma unidade de transformação é definida agrupando unidades de previsão incluídas numa pluralidade de unidades de codificação. A FIG. 15 é um diagrama de blocos de um aparelho 1500 para descodificação de uma imagem, de acordo com outro modelo de realização exemplificativo.

Em referência à FIG. 15, o aparelho de descodificação de imagem 1500 inclui um descodificador por entropia 1510, um quantificador inverso 1520, um transformador inverso 1530 e um restaurador 1540. 0 descodificador por entropia 1510 decodifica por entropia os coeficientes dos componentes de frequência de uma unidade de transformação pré-determinada. Como descrito anteriormente com referência às FIGS. 12A a 12C e 13A a 13D, a unidade de transformação pode ser gerada agrupando uma pluralidade de unidades de previsão. Conforme descrito anteriormente, as unidades de previsão podem ser adjacentes uma à outra e podem ser incluídas numa unidade de codificação ou numa pluralidade de unidades de codificação diferentes.

Conforme descrito anteriormente com referência ao aparelho de codificação de imagem 900, a unidade de transformação pode ser gerada agrupando uma pluralidade de unidades de previsão adjacentes com base numa profundidade ou agrupando uma pluralidade de unidades de previsão adjacentes nas quais a previsão é realizada de acordo com um mesmo tipo do modo de previsão, i.e., de acordo com um modo de intra previsão ou um modo de inter previsão. Em alternativa, como descrito com referência à FIG. 14, uma unidade de transformação ótima pode ser selecionada realizando repetidamente transformação, quantificação e descodificação por entropia em diferentes unidades de transformação repetindo mecanicamente um processo de agrupamento de uma pluralidade de unidades de previsão.

Se uma unidade de transformação não incluir coeficientes (e.g., coeficientes discretos de cosseno), o descodificador por entropia 1510 pode não descodifica' por entropia separadamente coeficientes quantificados. Se a unidade de transformação não incluir os coeficientes quantificados, os coeficientes quantificados não são separadamente codificados por entropia referindo-se a uma flag informação pré-determinada. O quantificador inverso 1520 quantifica inversamente os coeficientes de componente de frequência que são decodificados por entropia pelo descodificador por entropia 1510. Os coeficientes de componente de frequência que são decodificados por entropia de acordo com um passo de quantificação utilizado durante a codificação da unidade de transformação são quantificados inversamente. 0 transformador inverso 1530 transforma inversamente os coeficientes de componentes de frequência quantificados inversamente num dominio de pixeis. A DCT inversoa ou KLT inversa é realizada nos coeficientes de cosseno discreto quantificados inversamente para restaurar uma unidade de transformação num dominio de pixeis. Como resultado da transformação inversa, os valores residuais da unidade de transformação são restaurados. A unidade de transformação restaurada inclui uma pluralidade de unidades de previsão, e como descrito anteriormente, as unidades de previsão podem ser incluídas numa unidade de codificação ou numa pluralidade de unidades de codificação diferentes. O restaurador 1540 gera valores de previsão ao prever uma pluralidade de unidades de previsão incluídas na unidade de transformação restaurada. Os valores de previsão de uma unidade de codificação são gerados se as unidades de previsão agrupadas numa unidade de transformação forem incluídas numa unidade de codificação e os valores de previsão de uma pluralidade de unidades de codificação são gerados se as unidades de previsão agrupadas numa unidade de transformação estiverem incluídas numa pluralidade de unidades de codificação. Uma unidade de codificação ou uma pluralidade de unidades de codificação é restaurada adicionando os valores de previsão gerados e os valores residuais restaurados pelo transformador inverso 1530.

Se os valores de previsão são gerados para uma unidade de codificação ou uma pluralidade de unidades de codificação podem ser determinadas com base na flag informação indicando se o aparelho de codificação de imagem 900 gerou uma unidade de transformação agrupando uma pluralidade de unidades de previsão incluídas numa unidade de codificação ou numa pluralidade de unidades de codificação.

De acordo com um exemplo, se as unidades de previsão agrupadas numa unidade de transformação incluírem uma unidade de previsão que é intra prevista, a intra previsão pode ser realizada com base em valores de previsão de pelo menos uma unidade de previsão adjacente, conforme descrito com referência à FIG. 10. Em alternativa, uma pluralidade de unidades de previsão agrupadas numa unidade de transformação podem ser todas previstas usando a inter previsão. A FIG. 16 é um fluxograma que ilustra um método de codificação de uma imagem.

Em referência à FIG. 16, um aparelho para codificação de uma imagem gera valores residuais realizando a previsão numa ou mais unidades de codificação na operação 1610.

Uma pluralidade de unidades de previsão agrupadas numa unidade de transformação pode ser incluída numa unidade de codificação ou numa pluralidade de unidades de codificação. Consequentemente, quando as unidades de previsão são incluídas numa unidade de codificação, os valores residuais são gerados realizando a previsão numa unidade de codificação e, quando as unidades de previsão são incluídas numa pluralidade de unidades de codificação, os valores residuais são gerados realizando a previsão na pluralidade de unidades de codificação.

Um método para gerar os valores residuais prevendo as unidades de previsão todas ao mesmo tempo foi descrito anteriormente com referência à FIG. 10.

Na operação 1620, o aparelho define uma unidade de transformação selecionando uma pluralidade de unidades de previsão. As unidades de previsão podem ser incluídas numa unidade de codificação ou numa pluralidade de unidades de codificação. As unidades de previsão adjacentes podem ser selecionadas com base na profundidade, ou unidades de previsão adjacentes nas quais a previsão é realizada num mesmo tipo de modo de previsão podem ser selecionadas.

Na operação 1630, o aparelho transforma as unidades de previsão num domínio de frequência de acordo com a unidade de transformação definida na operação 1620. Coeficientes de domínio de frequência são gerados realizando a transformação na unidade de transformação definida agrupando as unidades de previsão.

Na operação 1640, o aparelho quantifica os coeficientes de componente de frequência, e.g. os coeficientes de cosseno discretos gerados na operação 1630, de acordo com um processo de quantificação pré-determinada.

Na operação 1650, o aparelho codifica por entropia os coeficientes dos componentes de frequência quantificados na operação 1640. A codificação por entropia é realizada via CABAC ou CAVLC.

Conforme descrito com referência à FIG. 14, o método pode ainda incluir a configuração de uma unidade de transformação ótima, repetindo as operações 1610 a 1640 em diferentes unidades de transformação. A unidade de transformação ótima pode ser definida realizando repetidamente transformação, quantificação e codificação por entropia nas diferentes unidades de transformação como mostrado na FIG. 14. A FIG. 17 é um fluxograma que ilustra um método de descodificação de uma imagem.

Em referência à FIG. 17, o aparelho descodifica por entropia coeficientes dos componentes de frequência de uma unidade de transformação pré-determinada, na operação 1710. Os coeficientes de componente de frequência podem ser coeficientes discretos de cosseno. A unidade de transformação pode ser definida agrupando uma pluralidade de unidades de previsão. Conforme descrito anteriormente, as unidades de previsão podem ser adjacentes uma à outra e podem ser incluidas numa unidade de codificação ou numa pluralidade de unidades de codificação diferentes.

Na operação 1720, o aparelho quantifica inversamente os coeficientes de componente de frequência que são decodificados por entropia na operação 1710. Os coeficientes de cosseno discretos são quantificados inversamente usando um passo de quantificação usado durante a codificação.

Na operação 1730, o aparelho transforma inversamente os coeficientes de componente de frequência que são quantificados inversamente na operação 1720 num dominio de pixeis para restaurar uma unidade de transformação. A unidade de transformação restaurada é definida agrupando uma pluralidade de unidades de previsão. Os valores residuais incluídos na unidade de transformação são restaurados. Os valores residuais de uma unidade de codificação são restaurados se as unidades de previsão estiverem incluidas numa unidade de codificação e os valores residuais de uma pluralidade de unidades de codificação são restaurados se as unidades de previsão estiverem incluidas nas unidades de codificação.

Conforme descrito anteriormente, a unidade de transformação pode ser definida agrupando unidades de previsão adjacentes com base numa profundidade ou agrupando unidades de previsão adjacentes nas quais a previsão é realizada de acordo com um mesmo tipo de modo de previsão.

Na operação 1740, o aparelho restaura uma ou mais unidades de codificação com base nos valores residuais incluídos na unidade de transformação restaurada na operação 1730. Os valores de previsão são gerados pela previsão de uma ou mais unidades de codificação, e uma ou mais unidades de codificação são restauradas adicionando os valores de previsão gerados e os valores residuais restaurados na operação 1730. Um método de previsão dos valores de previsão incluídos numa ou mais unidades de codificação foi descrito anteriormente com referência à FIG. 10.

Se a unidade de transformação for definida agrupando as unidades de previsão incluídas numa unidade de codificação, uma unidade de codificação é restaurada e, se a unidade de transformação é definida agrupando as unidades de previsão incluídas numa pluralidade de unidades de codificação, a pluralidade de unidades de codificação são restauradas.

De acordo com os modelos de realização exemplificativos, uma imagem é mais eficientemente comprimida e codificada uma vez que uma unidade de transformação pode ser definida para ter um tamanho maior que uma unidade de previsão e a transformação pode ser realizada na unidade de transformação.

Embora a presente invenção tenha sido particularmente ilustrada e descrita com referência aos seus modelos de realização exemplificativos, será tido em conta por um especialista na técnica que várias mudanças na forma e detalhes podem ser ai realizadas sem se afastar do âmbito da invenção conforme definido pelas reivindicações que se sequem. 0 aparelho de codificação ou descodificação de imagem ou o codificador ou descodificador de imagem ilustrado na FIG. 1, 2, 4, 5, 9, 11 ou 15 podem incluir um barramento acoplado a cada unidade do aparelho ou codificador ou descodificador, pelo menos um processador que está ligado ao barramento e serve para executar comandos e a memória ligada ao barramento para armazenar os comandos, mensagens recebidas e mensagens geradas.

Lisboa, 11 de outubro 2017

Claims (2)

1. REIVINDICAÇÕES
2. 1. Um aparelho para descodificar uma imagem, compreendendo o aparelho: um processador que está configurado para determinar a pluralidade de unidades de codificação máximas quadradas de uma imagem e determinar uma unidade de codificação quadrada que é separada hierarquicamente de uma unidade de codificação máxima entre a pluralidade de unidades de codificação máxima usando informação sobre uma unidade de codificação, em que a informação sobre uma unidade de codificação é analisada a partir do fluxo de bits; e um descodificador que é configurado para reconstruir residuos realizando quantificação inversa e transformação inversa em coeficientes de transformação quantificados de uma unidade de transformação analisada a partir do fluxo de bits, realizar intra previsão ou inter previsão usando pelo menos uma unidade de previsão incluída na unidade de codificação para gerar um preditor, e reconstruir a unidade de codificação usando os resíduos e o preditor, em que o processador está configurado para determinar pelo menos uma unidade de previsão, que é dividida a partir da unidade de codificação usando informações sobre uma unidade de previsão, em que a informação sobre uma unidade de previsão é analisada do fluxo de bits, e determinar pelo menos uma unidade de transformação, que é dividida da unidade de codificação usando informação sobre uma unidade de transformação, em que a informação sobre a unidade de transformação é analisada do fluxo de bits, em que quando um modo de previsão é determinado ser um modo de inter previsão e não um modo de intra previsão, o aparelho para descodificação é configurado para suportar uma unidade de transformação, entre pelo menos uma unidade de transformação, tendo um tamanho de 2Nx2N, isso inclui quatro unidades de previsão, entre pelo menos uma unidade de previsão, tendo um tamanho de NxN, em que pelo menos uma unidade de previsão é uma entre blocos incluindo: um bloco igual em tamanho à unidade de codificação; e um bloco entre uma pluralidade de blocos gerados dividindo de forma igual pelo menos uma da altura e largura da unidade de codificação, e em que a unidade de transformação é uma entre blocos incluindo; um bloco igual em tamanho à unidade de codificação; e um bloco entre uma pluralidade de blocos gerados dividindo de forma igual a altura e a largura da unidade de codificação. Lisboa, 11 de outubro de 2017