PT2652954E

PT2652954E - Codificação e descodificação de vídeo utilizando transformadas

Info

Publication number: PT2652954E
Application number: PT127296986T
Authority: PT
Inventors: Mrak Marta; Gabriellini Andrea; Sprljan Nikola; Flynn David
Original assignee: British Broadcasting Corp
Priority date: 2011-06-27
Filing date: 2012-06-19
Publication date: 2016-06-07
Also published as: GB201110873D0; JP2017098975A; JP2014523175A; WO2013001278A1; CN105847815A; CN105847815B; GB2492333A; EP2652954B1; TW201320751A; US20140056362A1; CN103404141B; JP6328220B2; EP2652954A2; JP6063935B2; PL2652954T3; GB2492333B; CN103404141A; US8923406B2; KR20140027932A; TWI516095B

Description

DESCRIÇÃO "CODIFICAÇÃO E DESCODIFICAÇÃO DE VÍDEO UTILIZANDOTRANSFORMADAS"

CAMPO DA INVENÇÃO A presente invenção refere-se a sistemas de compressão edescompressão de vídeo e, em particular, a uma estrutura paramodelar, de forma adaptativa, uma representação de sinal entrecodificação por predição e entropia, pela utilização adaptativade funções de transformadas e ferramentas relacionadas,incluindo escalonamento, quantificação, varrimento esinalização.

ANTECEDENTES DA INVENÇÃO

Transmissão e armazenamento de sequências de video sãoempregues em diversas aplicações, como, e. g., transmissões deTV, serviços de transferência de dados em contínuo de vídeo daInternet e videoconferência.

As sequências de vídeo num formato em bruto obrigam àrepresentação de uma grande quantidade de dados, uma vez quecada segundo de uma sequência pode ser constituído por dezenasde fotogramas individuais e cada fotograma é representado,tipicamente, pelo menos, por 8 bits por pixel, exigindo cadafotograma várias centenas ou milhares de pixéis. De modo a minimizar os custos de transmissão e armazenamento, utiliza-secompressão de vídeo nos dados de vídeo em bruto. 0 objetivo érepresentar a informação original com tão pouca capacidadequanto possível, i. e., com o menor número de bits possível. Aredução da capacidade necessária para representar uma sequênciade vídeo vai afetar a qualidade de vídeo da sequênciacomprimida, i. e., a sua semelhança com a sequência de vídeooriginal não comprimida.

Os codificadores de vídeo do estado da técnica, tais como oAVC/H.264, utilizam quatro processos principais para obter onível máximo de compressão de vídeo, obtendo, simultaneamente,um nível desejado de qualidade de vídeo para a sequência devídeo comprimida: codificação por predição, transformação, quantificação e entropia. 0 processo de predição explora aredundância temporal e espacial encontrada em sequências devídeo para reduzir, significativamente, a capacidade necessáriapara representar os dados. 0 mecanismo utilizado para preverdados é conhecido pelo codificador e pelo descodificador e,assim, só tem que ser enviado um sinal de erro, ou resíduo, parao descodificador para este reconstruir o sinal original. Esteprocesso é, tipicamente, realizado em blocos de dados (e. g.,8x8 pixéis), e não em fotogramas inteiros. A predição é,tipicamente, realizada por comparação com fotogramas járeconstruídos ou blocos de pixéis reconstruídos pertencentes aomesmo fotograma. 0 processo de transformação visa explorar a correlaçãopresente nos sinais residuais. Fá-lo por concentração da energiado sinal em alguns coeficientes. Assim, os coeficientes detransformada exigem, tipicamente, menos bits para seremrepresentados do que os pixéis do resíduo. H.264 utiliza transformadas de tipo inteiro 4x4 e 8x8 com base na TransformadaDiscreta de Cosseno (DCT). A capacidade necessária para representar os dados na saidado processo de transformação pode, ainda, ser demasiado elevadapara muitas aplicações. Além disso, não é possível modificar oprocesso de transformação para obter o nível desejado decapacidade para o sinal comprimido. 0 processo de quantificaçãoresolve esse problema ao permitir uma maior redução dacapacidade necessária para representar o sinal. Devesalientar-se que este processo é destrutivo, i. e., a sequênciareconstruída será diferente da original 0 processo de codificação por entropia processa todos oscoeficientes de transformada não nulos quantificados de modo aserem eficientemente representados num fluxo de bits. Istoobriga a ler, ou a varrer, os coeficientes de transformadasegundo uma ordem determinada para minimizar a capacidadenecessária para representar a sequência de vídeo comprimida. A descrição acima aplica-se a um codificador de vídeo; umdescodificador de vídeo irá executar todos os processos acimacom uma ordem aproximadamente inversa. Em particular, o processode transformação do lado do descodificador irá obrigar autilizar a inversa da transformada utilizada no codificador. Damesma forma, a codificação por entropia transforma-se emdescodificação por entropia e o processo de quantificaçãotransforma-se num escalonamento inverso. 0 processo de prediçãoé, tipicamente, realizado exatamente da mesma forma nocodificador e descodificador. A presente invenção refere-se à parte de transformação dacodificação e, assim, uma avaliação mais completa do processo detransformação é aqui apresentada.

As propriedades estatísticas do resíduo afetam a capacidadeda transformada (i. e., DCT) para comprimir a energia do sinalde entrada num pequeno número de coeficientes. 0 resíduo mostrapropriedades estatísticas muito diferentes, dependendo daqualidade da predição e do facto de a predição explorarredundância espacial ou temporal. Outros fatores que afetam aqualidade da predição são o tamanho dos blocos a utilizar e ascaracterísticas espaciais/temporais da sequência a processar.

Sabe-se, com segurança, que a DCT se aproxima do desempenhode compactação máxima de energia para sinais de Markov deprimeira ordem altamente correlacionados. 0 desempenho decompactação de energia da DCT começa a degradar-se quando acorrelação de sinal se torna mais fraca. Por exemplo, é possívelmostrar como é que a Transformada Discreta de Seno (DST) podeter um melhor desempenho que a DCT para sinais de entrada comcaracterísticas de correlação adjacentes inferiores. A DCT e DST na codificação de imagem e vídeo são,normalmente, utilizadas em blocos, i. e., sinais 2D; istosignifica que uma transformada unidimensional é, em primeirolugar, realizada numa direção (e. g., horizontal), seguida poruma transformada unidimensional executada na outra direção. Comojá mencionado, a capacidade de compactação de energia de umatransformada é dependente das estatísticas do sinal de entrada.É possível, e de facto é também comum em algumas circunstâncias,que a entrada de sinal bidimensional para a transformada exibadiferentes estatísticas ao longo dos dois eixos vertical e horizontal. Neste caso, seria desejável escolher a transformadacom melhor desempenho em cada eixo. Uma abordagem semelhante jáfoi tentada no âmbito da recente norma de codificação de videoISO e ITU em desenvolvimento, Codificação de Video de EficiênciaElevada (HEVC). Em particular, uma combinação de duastransformadas unidimensionais separáveis, tais como uma de tipoDCT e DST, foi utilizada na norma HEVC em desenvolvimento.

Embora normas de codificação anteriores com base numa DCTutilizem uma transformada bidimensional (DCT 2D) , soluções maisrecentes aplicam uma combinação de DCT e DST a blocos preditoscom predição intra, i. e., em blocos que são preditosespacialmente. Tem sido demonstrado que a DST é uma melhorescolha do que a DCT para a transformação de linhas, quando apredição direcional resulta de uma direção que se encontra maisperto da horizontal do que da vertical e, de modo semelhante, éuma melhor escolha para a transformação de colunas quando apredição direcional se encontra mais perto da vertical. Nadireção restante (e. g., em filas, quando a DST é aplicada emcolunas), utiliza-se a DCT.

Para fins de implementação, na codificação de video, é comumutilizar aproximações de números inteiros de DCT e DST que nadescrição que se segue, serão simplesmente designadas por DCT eDST. Uma das soluções para uma transformada tipo DCT de númerosinteiros utiliza uma representação de dados intermédia de16 bits e é conhecida como borboleta parcial devido à sua forma.As suas principais propriedades são iguais às propriedades de(anti)simetria da DCT, vetores de base quase ortogonais,representação de dados de 16 bits antes e depois de cada fase detransformação, multiplicadores de 16 bits para todas asmultiplicações internas e sem necessidade de correção de diferentes normas de vetores de base durante a (des)quantificação. 0 documento da técnica anterior, MALVAR H S ET AL:"LOW—COMPLEXITY TRANSFORM AND QUANTIZATION IN H.264/AVC", IEEETRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEESERVICE CENTER, PISCATAWAY, NJ, US, vol. 13, N.2 7, páginas 598-603 de 1 de julho de 2003, apresenta uma visão genérica das conceções de transformadas e quantificação na normaH.264/AVC com um foco especial nas considerações sobre implementações de baixa complexidade utilizando aritmética denúmeros inteiros de 16 bits. O documento da técnica anterior, YUMI SOHN ET AL: "OneDimensional Transform For H.264 Based Intra Coding", 26. PICTURECODING SYMPOSIUM, Lisboa, 7 de novembro de 2007, divulga aadição de modos de transformadas alternativos para a normaH.264/AVC. O codificador pode selecionar entre a aplicação deuma transformada 2D convencional, uma transformada 1D vertical,uma transformada 1D horizontal ou nenhuma transformação ao sinalresidual de predição.

SUMÁRIO DA INVENÇÃO

Num aspeto, a presente invenção consiste num método decodificação de vídeo como definido na reivindicação 1. A presente invenção também consiste num método de descodificação de vídeo como definido na reivindicação 2.

Podem utilizar-se os mesmos fatores de escalonamento paratodos os coeficientes numa linha ou coluna escalonada.

De um modo preferido, uma matriz de quantificação que tem osmesmos valores em cada coluna é aplicada quando uma transformadaagindo sobre as colunas é ignorada e uma matriz de quantificaçãoque tem os mesmos valores em cada linha é aplicada quando umatransformada agindo sobre as linhas é ignorada.

Pode realizar-se um varrimento duplo quando um bloco decoeficientes de transformada é representado com sub-blocos decoeficientes; cada sub-bloco é visitado num varrimento ao níveldos sub-blocos e utiliza-se um varrimento no interior de cadasub-bloco.

As características preferidas que se seguem são relevantespara cada um dos aspetos da invenção definida acima. 0 conjunto de modos de salto de transformadas podecompreender os dois modos seguintes: transformada sobre linhas ecolunas; e nenhuma transformada. Em alternativa, o conjunto demodos de salto de transformadas pode compreender os seguintesquatro modos de: transformada sobre linhas e colunas; transformada apenas sobre as linhas; transformada apenas sobreas colunas; e nenhuma transformada. A seleção de modo pode ser sinalizada para umdescodificador, sendo atribuída a cada modo uma palavra decódigo. 0 mesmo modo de salto de transformadas pode serutilizado em todos os componentes (luminância - Y e crominância- U e V) de um bloco YUV. 0 modo de salto de transformadas podeser sinalizado para todos os componentes YUV de um bloco, para um grupo de blocos, e é sinalizado separadamente para cadacomponente, para outro grupo de blocos. Assim, em HEVC pode serútil ter uma sinalização de modo YUV conjunta para blocoscodificados de modo INTER, e um modo TSM separado para cadacomponente para os blocos codificados de modo INTRA.

Pode não ser necessário sinalizar o modo de salto detransformadas para blocos tendo apenas coeficientes de valornulo. Pode não ser necessário sinalizá-lo quando o componente deluminância tem apenas valores nulos; neste caso, utiliza-se umatransformada 2D em componentes de crominância. Pode não sernecessário sinalizá-lo quando o único coeficiente de valor nãonulo do componente de luminância é o canto superior esquerdo dobloco (componente DC) e, neste caso, utiliza-se uma transformada2D em componentes de crominância. 0 modo de salto detransformadas pode ser apenas sinalizado para blocos com outrosmodos predefinidos (e. g. preditos apenas a partir de outrosfotogramas).

Em alguns exemplos, a ordem de varrimento de coeficientesdentro de um bloco na fase de codificação por entropia pode seradaptada de acordo com o modo de salto de transformadas. Assim,pode ser empregue um varrimento linha-a-linha quando atransformada sobre linhas é ignorada e a transformada sobrecolunas é mantida, ser empregue um varrimento coluna-a-colunaquando a transformada sobre colunas é ignorada e a transformadasobre linhas é mantida.

DESCRIÇÃO DETALHADA DA PRESENTE INVENÇÃO A presente invenção irá agora, ser descrita a titulo deexemplo e recorrendo aos desenhos anexos, nos quais: A Figura 1 é um diagrama de blocos ilustrando umacaracteristica num codificador de acordo com uma forma derealização da invenção; A Figura 2 é um diagrama de blocos ilustrando a caracteristica num descodificador de acordo com a forma derealização; A Figura 3 é um diagrama ilustrando uma alternativa àabordagem de varrimento em ziguezague conhecido; A Figura 4 é um diagrama ilustrando outra abordagem devarrimento alternativa; A Figura 5 é um diagrama de blocos ilustrando uma caracteristica num codificador de acordo com outra forma derealização da invenção; A Figura 6 é um diagrama de blocos ilustrando a caracteristica num descodificador de acordo com a forma derealização; A Figura 7 é um diagrama de blocos ilustrando uma caracteristica num descodificador de acordo com outra formade realização da invenção

Esta invenção apresenta um modo para executar o processo detransformação - Modo de Salto de Transformadas (TSM). Como descrito acima, a transformada mais comum utilizada na codificação de vídeo é a DCT. 0 seu desempenho de compactação deenergia depende da correlação do resíduo. Também se descreveucomo é que o resíduo pode ser significativamente descorrelacionado ou correlacionado apenas numa direção, fazendo com que a DCT 2D seja menos eficiente. Propõe-se ignorar oprocesso de transformação quando o codificador toma essa decisãonum sentido de distorção-taxa. 0 modo de transformada selecionado deve ser sinalizado ao descodificador, que, emseguida, realiza uma combinação de transformada/salto detransformada conforme definido na sinalização. É possível funcionar com dois modos, isto é, um primeiromodo com uma transformada 2D (compreendendo a transformada sobrelinhas e a transformada sobre colunas) e um segundo modo semtransformadas.

Em grande parte da descrição que se segue, esses modos sãocomplementados com modos adicionais formados ao ignorar apenas atransformada sobre linhas ou apenas a transformada sobrecolunas. Assim, são definidos quatro modos de transformada, comoapresentado no Tabela 1.

Tabela 1 - Opções de Modo de Salto de Transformadas 0 modo TSO corresponde a uma transformada 2D, i. e., DCT 2D.0 modo TS1 define a aplicação de uma DCT unidimensional horizontal seguida por um salto de transformada na direçãoortogonal, i. e., ignora-se a transformada sobre colunas. TS2define a ignorância da transformada horizontal, enquanto apenasas colunas são transformadas. Finalmente, o modo TS3 ignoracompletamente as transformadas em ambos os eixos, i. e., nenhumatransformada é aplicada ao sinal de entrada.

As Figuras 1 e 2 mostram diagramas de blocos nucleares demodos de salto de transformadas, para codificador edescodificador, respetivamente. Cada modo de salto detransformadas é selecionado com um correspondente (TfO, Tfl) parde sinalizadores, de modo a que TSO: (1, 1), TS1: (1, 0), TS2:(0, 1) e TS3: (0, 0) .

Quanto a quaisquer outros bits adicionais de um fluxo debits comprimido que permitem uma opção adaptativa, umasinalização do modo de salto de transformadas pode serdispendiosa. Por conseguinte, são concebidas várias estratégiaspara maximizar a eficiência da codificação.

Quatro opções do TSM podem ser sinalizadas utilizandopalavras de código cuidadosamente concebidas. Essas palavras decódigo não precisam de ser transmitidas para cada bloco, masalguns outros métodos podem ser utilizados para poupar avelocidade de transmissão de bits necessária

Algumas das possibilidades para reduzir o custo desinalização são enunciadas em seguida; influenciando cada opçãopartes relacionadas com as transformadas do codificador edescodificador: 1. 0 mesmo modo de transformada utilizado em todos oscomponentes (luminância - Y e crominância - U e V) deum bloco YUV; por conseguinte, para blocoscolocalizados Y, U e V apenas uma escolha de TSM étransmitida. 2. 0 TSM não é sinalizado quando todos os blocosquantificados (Y, U e V) têm apenas coeficientes comvalores nulos. 3. 0 TSM não é sinalizado para blocos quando o bloco Y temapenas coeficientes de valor nulo e, depois, DCT 2D éutilizada em componentes U e V. 4. 0 TSM é sinalizado apenas para blocos com determinadosoutros modos (e. g.r bidirecional predito); de outraforma, aplica-se DCT 2D. 5. Aplicação de TSM sinalizado num conjunto de blocos (se"Ligado", então, modos TS sinalizados para cada blocodo conjunto) . 6. 0 TSM é sinalizado num conjunto de blocos (e. g., todosos sub-blocos partilham o mesmo TSM). 7. 0 TSM é sinalizado se determinadas outras características do bloco estiverem presentes; e. g., oTSM não é sinalizado quando o bloco Y tem apenas umvalor não nulo e esse valor se encontra no cantosuperior esquerdo do bloco (componente DC); nesse caso,utiliza-se DCT 2D para todos os componentes.

Quatro modos TSM (transformada 2D, duas transformadas debloco 1D e transformada ignorada num bloco) podem ser definidoscom várias palavras de código, e. g., com palavras simples de2 bits ou com mais bits (i. e., com códigos unários):

Se se utilizar codificação aritmética, cada elemento binárioda palavra de código pode ser codificado com diferentes modelosde probabilidade (i. e., estados de contexto inicial para cadasegmento), dependendo do tamanho de bloco atual e do valor QP.

Por outro lado, se se utilizar codificação de comprimentovariável, as palavras de código de TSM podem ser codificadas deforma independente de ou misturada com outros elementos desintaxe, para reduzir a carga adicional de sinalização.

Em algumas abordagens, um bloco nem sempre é transformado deuma só vez, mas são aplicadas, em vez disso, opções para a suadivisão em subunidades mais pequenas e transformadas sãoaplicadas em cada subunidade. 0 método de Árvore QuaternáriaResidual (RQT) é representativo de uma tal estrutura detransformadas. Embora a aplicação do TSM em blocos que nãocontinuam a ser subdivididos em unidades mais pequenas tenhasido assumido até agora, o TSM também pode ser aplicado em taisestruturas de transformadas com múltiplas divisões. Váriasopções são identificadas: 1. 0 TSM é decidido a um nível de blocos e a mesma escolhade transformada é aplicada em cada subunidade. 2. 0 TSM é ativado apenas ao nível da raiz da estrutura detransformação, i. e.r quando um bloco não continua aser dividido em unidades mais pequenas quando umaestrutura com múltiplas divisões é habilitada; se umbloco for dividido em unidades mais pequenas, cadaunidade é transformada utilizando uma transformada 2D. 3. 0 TSM é decidido e sinalizado para cada subunidade,independentemente da sua profundidade. 4. 0 TSM é decidido e sinalizado para subunidades, até umaprofundidade (tamanho) específica das unidades; parasubunidades mais pequenas, quando 0 TSB não ésinalizado, utiliza—se uma transformada 2D.

Os coeficientes dentro de um bloco podem ter característicasdiferentes, quando a transformada não é realizada numa ou emambas as direções. Deste modo, podem ser aplicadas diferentesestratégias de codificação, dependendo do modo de salto detransformadas, para comprimir com mais eficácia determinadoscoeficientes.

Quando uma transformada 2D é aplicada num bloco, oscoeficientes resultantes são, frequentemente, agrupados emdireção do canto superior esquerdo de um bloco, ou seja, sãocomponentes de baixa frequência. Um varrimento convencional,e. g., varrimento em ziguezague, é, por conseguinte, uma boaescolha para a codificação de tais sinais.

Se apenas se aplicar uma transformada ID (TS1 ou TS2), podeutilizar-se um varrimento adaptativo. Por exemplo, pode utilizar-se um varrimento linha-a-linha ou coluna-a-coluna para os casos TS2 e TS1, respetivamente, uma vez que se pode esperarque a transformada aplicada concentre os coeficientes no sentidodas frequências mais baixas.

No caso TS3, quando uma transformada não é aplicada emqualquer direção, pode utilizar-se um varrimento convencional(utilizado para um bloco transformado em 2D) . Em alternativa,pode empregar-se um padrão de varrimento diferente, queconsidera a probabilidade (implícita na decisão de não realizarqualquer transformada) de os coeficientes não nulos não seremuniformemente distribuídos. Por exemplo, os coeficientes podemser agrupados em "ilhas" cercadas por "mares" de coeficientesnulos.

Assim, numa nova configuração, as posições do primeiro eúltimo coeficientes significativos dentro de um bloco podem sertransmitidas no fluxo de bits e um varrimento convencional decoeficientes dentro de um bloco pode, então, ser realizado. Istoé mostrado na Figura 3, onde os quadrados brancos representamcoeficientes que não são codificados e têm um valor zero, osquadrados cinzentos representam coeficientes que serão codificados, i. e., incluem coeficientes significativos (nãonulos), em que o primeiro coeficiente codificado é identificadopela letra "F" e o último coeficiente codificado é identificadocom a letra "L" . 0 varrimento é efetuado apenas em linhas e colunas que pertencem a área definida pelo primeiro e o últimocoeficiente. Neste método de varrimento, as coordenadas x e y doprimeiro coeficiente têm que ser iguais ou menores do que ascoordenadas x e y do último coeficiente significativo.

Esta configuração deve conduzir a uma codificação altamenteeficiente no caso em que os coeficientes não nulos estão agrupados, mas requer uma complexidade adicional no codificadorpara determinar as posições do primeiro e último coeficientessignificativos dentro de um bloco, em conjunto com a necessidadede sinalizar essas posições para o descodificador.

Em alternativa, utiliza-se um varrimento duplo emziguezague, como retratado na Figura 4, onde um bloco decoeficientes de transformada está representado com sub-blocos decoeficientes. Cada sub-bloco é visitado no varrimento emziguezague ao nivel dos sub-blocos e utiliza-se um varrimento emziguezague dentro de cada bloco (ou qualquer outro varrimento).Isto permite um melhor agrupamento de coeficientes não nulos,que tendem a ficar espacialmente próximos.

Será desejável, quando é tomada a decisão de ignorar uma ouambas as transformadas 1D, minimizar ou eliminar a necessidadede alterar outros elementos do processo para acomodar atransformada ou transformadas ignoradas.

Aqui, identificam-se duas estratégias de implementação dafase de transformada adaptativa: 1) ignorar transformada selecionada de linhas/colunas emodificar fase de quantificação. 2) substituir transformada selecionada de linhas/colunaspor um passo de escalonamento adequado e adaptar opasso de quantificação, se necessário.

Embora a primeira estratégia seja adequadamente apresentadacom as Figuras 1 e 2, a segunda estratégia que empregaescalonamento é retratada nas Figuras 5 e 6. Uma das principaisrazões pelas quais o escalonamento é realizado é para manter os níveis de sinal, com a precisão mais elevada suportada, entreblocos de transformada. Isto é indicado utilizando a linha atracejado nas Figuras 5 e 6. 0 escalonamento é realizado ao escalonar cada valor de pixelde entrada por um fator que é derivado da norma-2 de vetores detransformada correspondentes (que seriam utilizados para obterum valor de coeficiente de transformada, na mesma posição numalinha/coluna, se a transformada fosse selecionada). Algumastransformadas têm propriedades próximo das propriedadesortonormais de cada vetor e essa propriedade pode simplificarainda mais a conceção de escalonamento já que pode utilizar-seum único valor para escalonar adequadamente uma linha/colunainteira na qual a transformada é ignorada.

Em seguida, discutem-se estratégias de escalonamento nocontexto de uma transformada DCT inteira com uma representaçãode dados intermédia de 16 bits. Deve reconhecer-se, no entanto,que este é apenas um exemplo.

As transformadas utilizadas em HEVC têm as normas (TNn) , emque N é o tamanho da transformada, próximo dos seguintesnúmeros:

Transformada de 4-pontos: TN4 = 128 = 27; TNS4 = 7;

Transformada de 8-pontos: TN8 = 181 = 27'5; TNSs = 7,5;

Transformada de 16-pontos: TN46 = 256 = 28; TNS46 = 8;

Transformada de 32-pontos: TN32 = 362 = 28'5. TNS32 = 8,5; em que TNS é o parâmetro correspondente de Deslocamento de Normade Transformada (potência de 2 representada por deslocamento debit para a esquerda). Deve salientar-se que, em HEVC, cada vetor de transformada pode ter uma norma ligeiramente diferente, masestes números são boas aproximações para implementaçõespráticas. Este facto também está refletido nas conceções dequantificação e no ajuste do nivel de transformada parapreservar a representação de dados intermédia de 16 bits. Porexemplo, na conceção de um descodificador HEVC, um valor de16 bits introduz uma transformada inversa. Para obter umaprecisão de 16 bits entre as transformadas sobre colunas (lâfase inversa) e linhas (2a fase inversa) e uma precisão de 9+DBdepois da transformada sobre as linhas, ocorrem os seguintesdeslocamentos de bits ao nivel de sinal (considerando um tamanhode bloco de N x N): SHIFT = TNSn - SHIFTJNVJST + TNSn - (SHIFT_INV_2ND - DB), em que, pela norma, SHIFT_INV_1ST = 7 e SHIFT_INV_2ND = 12, e DBé o incremento de profundidade de bits para processamento(e. g., 0 ou 2) . A profundidade de bits de processamento interno é B=8+DB. Por conseguinte, SHIFT é igual a: SHIFT = 2 · TNSn -19 + DB = 2 · TNSn - 27 + B.

Isto corresponde ao parâmetro deslocamento de transformadautilizado na quantificação HEVC. Isto conduz a, para o exemploem que se considera um bloco 4x4 (TNS4 = 7) , -SHIFT4= 13-B, i. e., um deslocamento para a direita de 13-B.

Embora este exemplo possa ser utilizado para resolverajustes do nível de sinal para TS3, algumas considerações adicionais têm de ser tidas em conta quando a transformada é aplicada apenas numa direção. Isso acontece porque TNSn nemsempre são números inteiros e, assim, o deslocamento de bits nãoé a única opção para ajustes de nivel. Outras opções pararesolver conceções unificadas para tais combinações sãoabordadas no texto a seguir.

Quando uma transformada é substituída por escalonamento, afase de transformada adaptativa é concebida de modo a poder serintercalada na transformada DCT inteira com representação de dados intermédia de 16 bits, i. e., com o objetivo de substituiralgumas das suas partes e de ser compatível com o resto do codec que suporta uma transformada 2D original. Por exemplo, uma não aplicação de uma transformada pode ser utilizada em linhas de ummodo que seja ainda compatível com a parte da transformada 2Dque é aplicada em colunas. Isto significa que a quantificaçãoaplicada para a transformada 2D também pode ser utilizada comuma escolha de transformada adaptativa. 0 salto da transformada para diante é definido para linhas ecolunas separadamente.

Em amostras x de linhas o salto de transformada é aplicado como: y = (x.scale + offset) deslocado para a direita por S bits (a) em que:

S = M - 1 + DB offset = 1 deslocado para a esquerda por (S - 1) bits DB = B - incremento de profundidade de 8 bits paraprocessamento M = log2 (N), em que N é o tamanho da linha/coluna no númerode pixéis e scale é um multiplicador inteiro sem sinal.

Nas colunas, o salto de transformada é aplicado como em (a),em que x são amostras de colunas, mas com: S = M + 6 offset = 1 deslocado para a esquerda por (S - 1) bits

Desta forma, é assegurada uma largura de bits de 16, depoisde cada fase de transformada, como na transformada 2D.

Novamente, fatores de escala são concebidos de modo a haveruma aproximação à norma-2 de vetores de transformadarelacionados (scaleN2 = TNn2 = N. 642) e a ser um número inteiro.Em amostras x de colunas o salto de transformada inversa éaplicado como y = (x.scale + offset) deslocado para a direita por S bitsem que: S=7 offset = 1 deslocado para a esquerda por (S - 1) bits e a escala é igual à do salto para diante.

Nas linhas, é aplicada a mesma operação de salto detransformada, mas com: S = 12 DB, em que DB é igual ao caso do salto de transformada para diante.

De modo a poupar um processamento desnecessário de pixéis,em que uma ou ambas as transformadas 1D são ignoradas, o escalonamento pode ser passado para quantificação. Além disso(por exemplo), mesmo que seja mantida apenas a transformadavertical, esta pode ser adaptada, para assegurar uma representação de pixéis máxima de 16 bits. Isso permite umaplena utilização da largura de bits disponível. Por conseguinte,o escalonamento em quantificação tem de ser adaptado, não só devido ao escalonamento relacionado com a transformada ignorada,mas também relacionado com um novo escalonamento dentro de umatransformada. TSM = TSO (transformada 2D)

Utiliza-se uma transformada 2D regular e quantificaçãocorrespondente. TSM - TS1 (transformada 1D em linhas) e TS2 (transformada 1Dem colunas)

Em ambos os casos, a transformada para diante corresponde àtransformada original de linhas y = (x + offset) deslocado para a direita por S bits (b)em que: x é o valor original do bloco residual, S = Μ - 1 + DB, offset = 1 deslocado para a esquerda por (S - 1) bits e M e DB são os mesmos que em (a).

Isso garante uma precisão de dados intermédia de 16 bits. A quantificação é adaptada e tem em conta o nível a que osinal se encontra agora. TSM = TS3 (sem transformada)

Os pixéis residuais são diretamente quantificados utilizandoa matriz plana, de modo a que o nível de sinal corresponda aosníveis de coeficientes quantificados que são transformados em 2De quantificados.

Outro exemplo de como o nível do sinal pode ser ajustadoquando uma transformada é ignorada é apresentado a seguir, comreferência à Figura 7. Neste exemplo, o objetivo é reduzir umnúmero de operações necessárias para atingir o desempenhodesejado. Neste contexto, em que uma transformada ou suas partespodem ser ignoradas ou substituídas, esta técnica utiliza umacombinação de uma ou mais operações básicas: 1. Mudanças do deslocamento de bits dentro de fases detransformada; 2. Ajuste de quantificação que corresponde ao escalonamentode um sinal por um fator inferior a 2; 3. Substituição da transformada ou suas partes por umescalar fora da quantificação.

Cada escalonamento do sinal pode ser representado por umescalonamento por um fator de 2N (em que N é um número inteiropositivo) e por um escalonamento por um fator M que é menor doque 2. Deve salientar-se que, neste caso, N é o tamanho detransformada, como no exemplo anterior). Nesta invenção,Operação 1 possibilita um escalonamento de sinal por um fator de2n (deslocamento de bits) e Operação 2 possibilita um escalonamento por Μ. A escolha de M é, tipicamente, limitada edepende da conceção de quantificação. Um componente típico deuma transformada 1D em codificação de vídeo é o deslocamento debits. Por conseguinte, a Operação 1 aplicada aqui permite, facilmente, o ajuste de um nível de sinal por um fator de 2N. No caso em que ambas as transformadas são ignoradas, o ajuste donível do sinal pode ser realizado no bloco "Escalonamento" daFigura 7, que corresponde a Operação 3. Em qualquer caso, o ajuste do sinal por um fator inferior a 2, um deslocamento deparâmetro de quantificação ou fator de escalonamento de quantificação, podem ser adequadamente escolhidos para efetuar oajuste de nível de sinal requerido. Por exemplo, na Codificaçãode Vídeo de Eficiência Elevada (HEVC), a adição de um deslocamento de 3 a um parâmetro de quantificação é equivalentea ajustar o nível do sinal por raiz quadrada de (2) (raiz 2).

Deve compreender-se que a invenção foi descrita apenas atítulo de exemplo e que uma grande variedade de modificações sãopossíveis sem se divergir do âmbito da invenção como definidonas reivindicações anexas. Aspetos que são aqui descritos emdeterminadas combinações podem ser aplicados utilmente em outrascombinações, além das especificamente mencionadas e podem, emcertos casos, ser utilizados individualmente. Por exemplo, as abordagens de varrimento na codificação de vídeo oudescodificação, em que: as posições dos primeiro e último coeficientes a codificar/descodifrear dentro de um bloco são sinalizadaspara o descodificador e um varrimento dos coeficientes éefetuado entre os referidos primeiro e último coeficientes; ou um varrimento duplo é efetuado quando um bloco de coeficientes de transformada é representado com sub-blocosde coeficientes; sendo cada sub-bloco visitado por um varrimento em ziguezague ao nível dos sub-blocos e dentro decada sub-bloco é utilizado um padrão de varrimentoadicional; podem ser úteis para além do caso de modo de salto de transformada.

Embora aspetos da presente invenção tenham sido ilustradoscom quatro modos de salto de transformadas é possível, como seobservou acima, em determinadas aplicações, funcionar com apenasdois desses modos.

Lisboa, 31 de maio de 2016

Claims

REIVINDICAÇÕES

1. Método de codificação de video de acordo com HEVC utilizandouma transformada de linhas agindo sobre linhas de um blocode valores de imagem e tendo um vetor de transformada delinhas, e uma transformada de colunas agindo sobre colunasdo bloco de valores de imagem e tendo um vetor detransformada de colunas, compreendendo os passos deestabelecer um conjunto de modos de transformada incluindoum modo de salto, em que uma ou ambas de entre atransformada de linhas e transformada de colunas sãoignoradas; selecionar um dos referidos modos; para qualquerbloco onde uma transformada é ignorada, aplicar um fator deescalonamento aos valores de imagem correspondentes dessebloco, em que o fator de escalonamento é o produto de 64pela raiz quadrada do tamanho do vetor de transformada datransformada ignorada e é um número inteiro; e para, pelomenos, alguns blocos ou conjuntos de blocos, fornecer umaindicação do modo selecionado para um descodificador.
2. Método de descodificação de vídeo de acordo com HEVC quetenha sido codificado utilizando uma transformada de linhasoperando sobre linhas de um bloco de valores de imagem etendo um vetor de transformada de linhas, e uma transformadade colunas agindo sobre colunas do bloco de valores deimagem e tendo um vetor de transformada de colunas;compreendendo os passos de receber para, pelo menos, algunsblocos ou conjuntos de blocos, uma indicação do modo desalto de transformadas, em que uma ou ambas de entre atransformada de linhas e transformada de colunas sãoignoradas; aplicar transformadas inversas de acordo com o modo e aplicar escalonamento inverso a quaisquer valores deimagem não transformados, sendo o fator de escalonamento oproduto de 64 pela raiz quadrada do tamanho do vetor de transformada da transformada ignorada e sendo um númerointeiro.
3. Método, de acordo com a Reivindicação 1 ou Reivindicação 2, em que se utilizam os mesmos fatores de escalonamento para todos os coeficientes na linha ou coluna escalonadas.
4. Método, de acordo com qualquer uma das reivindicações anteriores, em que uma matriz de quantificação que tem osmesmos valores em cada coluna é aplicada quando uma transformada agindo sobre as colunas é ignorada, e umamatriz de quantificação que tem os mesmos valores em cadalinha é aplicada quando uma transformada agindo sobre as linhas é ignorada.
5. Método, de acordo com qualquer uma das reivindicações anteriores, em que se executa um varrimento duplo quando umbloco de coeficientes de transformada é representado comsub-blocos de coeficientes; cada sub-bloco é visitado numvarrimento ao nivel dos sub-blocos e utiliza-se umvarrimento dentro de cada sub-bloco.
6. Método, de acordo com qualquer uma das reivindicações anteriores, em que o conjunto de modos de salto detransformadas compreende: transformada sobre linhas e colunas;transformada apenas sobre as linhas;transformada apenas sobre as colunas; sem transformada.
7. Método, de acordo com qualquer uma das reivindicaçõesanteriores, em que a seleção de modo é sinalizada a umdescodificador, sendo atribuída uma palavra de código a cadamodo.
8. Método, de acordo com qualquer uma das reivindicações anteriores, em que a ordem de varrimento dos coeficientesdentro de um bloco na fase de codificação por entropia éadaptada de acordo com o modo de salto de transformadas e,de um modo preferido, em que se emprega um varrimentolinha-a-linha quando a transformada de linhas é ignorada e atransformada de colunas é mantida, e se emprega umvarrimento coluna-a-coluna quando a transformada de colunasé ignorada e a transformada de linhas é mantida.
9. Método, de acordo com qualquer uma das reivindicações anteriores, em que o modo de salto de transformadas ésinalizado para todos os componentes YUV de um bloco, paraum grupo de blocos, e é sinalizado separadamente para cadacomponente para outro grupo de blocos.
10. Método, de acordo com qualquer uma das reivindicações anteriores, em que o mesmo modo de salto de transformadas éutilizado em todos os componentes (luminância - Y ecrominância - U e V) de um bloco YUV.
11. Método, de acordo com qualquer uma das reivindicações anteriores, em que o modo de salto de transformadas não ésinalizado para blocos tendo apenas coeficientes de valornulo ou quando o componente de luminância tem apenas valores nulos; neste caso, uma transformada 2D é utilizada emcomponentes de crominância ou quando o único coeficiente devalor não nulo do componente de luminância é o cantosuperior esquerdo do bloco (componente DC), neste caso, umatransformada 2D é utilizada em componentes de crominância oué sinalizada apenas para blocos com outros modospredefinidos (e. g., preditos apenas a partir de outrosfotogramas).
12. Produto de programa de computador contendo instruções quefazem com que meios programáveis implementem um método deacordo com qualquer uma das reivindicações anteriores.
13. Descodificador de vídeo adaptado e configurado para funcionar de acordo com a Reivindicação 2 ou qualquerreivindicação dependente da Reivindicação 2.
14. Codificador de vídeo adaptado e configurado para funcionarde acordo com a Reivindicação 1 ou qualquer reivindicaçãodependente da Reivindicação 1.