PT104083A - Método para transcodificar imagens de vídeo h.264/avc em mpeg-2 - Google Patents

Abstract

A PRESENTE INVENÇÃO ESTÁ RELACIONADA COM A CONVERSÃO (4) ENTRE FORMATOS DE VÍDEO DIGITAL COMPRIMIDO, CONSISTINDO NUM PROCESSO DE TRANSCODIFICAÇÃO ENTRE OS FORMATOS DEFINIDOS PELAS NORMAS H.264/AVC (1) E MPEG-2 (8). ESTE PROCESSO DE TRANSCODIFICAÇÃO É CONSTITUÍDO POR MÉTODOS QUE CONVERTEM A SINTAXE E A SEMÂNTICA DOS FLUXOS DE DADOS BINÁRIOS EM FORMATO H.264/AVC (1) NAS SUAS CORRESPONDENTES DO FORMATO MPEG-2 (8), UTILIZANDO TÉCNICAS COM REDUZIDA COMPLEXIDADE E ELEVADA EFICIÊNCIA DE COMPRESSÃO. DESTA FORMA, A PRESENTE INVENÇÃO É ÚTIL NA IMPLEMENTAÇÃO EM SOFTWARE OU HARDWARE DE TRANSCODIFICADORES USANDO POR EXEMPLO PLATAFORMAS COM HARDWARE PARTILHADO POR VÁRIOS PROCESSOS, PODENDO SER APLICADA EM NÓS DE INTERLIGAÇÃO DE REDES DE COMUNICAÇÃO HETERÓGENEAS, ISTO É, USANDO DIFERENTES TECNOLOGIAS, SERVIDORES DE VÍDEO COM CAPACIDADE DE ADAPTAÇÃO DO FORMATO COMPRIMIDO, MÓDULOS DE CONEXÃO ENTRE REDES DE DISTRIBUIÇÃO DE VÍDEO E REDES E EQUIPAMENTOS DOMÉSTICOS (SERVIDORES DOMÉSTICOS E LEITORES/GRAVADORES DE VÍDEO MULTIFORMATO), INSERINDO-SE NA ÁREA DOS SERVIÇOS E APLICAÇÕES MULTIMÉDIA.

Description

1

DESCRIÇÃO

«MÉTODO PARA TRANSCODIFICAR IMAGENS DE VÍDEO H.264/AVC EM MPEG-2»

Domínio técnico da invenção

Esta invenção insere-se na área tecnológica da transcodificação de vídeo (23), concretamente no campo do processamento de sinais vídeo comprimidos. No contexto da presente invenção, transcodificação de vídeo (23) consiste na conversão de conteúdos vídeo entre padrões de codificação diferentes. É divulgado um método eficiente para transcodificar (23) para o formato MPEG-2 (8) imagens de vídeo originalmente codificadas no formato H.264/AVC (1), usando predição temporal. 0 método de transcodificação (23) é composto, por sua vez, de métodos de conversão de (i) modos de codificação entre imagens (interframe) (4) e de (ii) informação do movimento integrada no vídeo codificado em H.264/AVC (1), para o formato MPEG-2 (8). Os métodos (i) processam a informação de modo de codificação associada a cada macrobloco H.264/AVC (1) temporalmente predito, e produzem a nova informação de modo de codificação correspondente, na semântica MPEG-2 (8); e os métodos (ii) processam a informação do movimento associada com as imagens de referência múltipla, e produzem a informação do movimento correspondente na semântica MPEG-2 (8).

Os algoritmos propostos fornecem um método eficiente de conversão de modo (4), que pode ser usado por exemplo em servidores domésticos (22) como uma camada ou módulo adicional, assim como em sistemas de gravação de vídeo 2 pessoal. 0 uso destes esquemas permite a recepção de conteúdo vídeo em H.264/AVC (1), que pode ser difundido em casa em MPEG-2 (8), através de conexões com fios (27), ou sem fios (26), com qualquer outro dispositivo que inclua um descodificador MPEG-2 comum.

Sumário da invenção A presente invenção diz respeito a um método de transcodificação (23) que reduz significativamente a complexidade computacional de um transcodificador (23) de H.264/AVC (1) para MPEG-2 (8), extraindo e processando de uma forma adequada a informação de codificação entre imagens (interframe) contida no fluxo de bits H.264/AVC (1). A qualidade objectiva do sinal que é conseguida por um tal transcodificador (23), usando o Rácio de Pico de Sinal para Ruído enquanto métrica de qualidade, é idêntica à da recodificação total, mas com um tempo de processamento muito menor. Os resultados experimentais de uma implementação baseada no software mostram que a poupança em complexidade computacional chega aos 60%. O transcodificador (23) mostrado na figura 1 é composto de um descodificador H.264/AVC (2), um módulo de conversão de dados entre imagens (interframe) (4) e um codificador MPEG-2 (6). O descodificador H.264/AVC (2) e o codificador MPEG-2 (6) possuem, respectivamente, saídas (3) e entradas (5) de sinais e parâmetros de codificação que constituem a entrada e saída do módulo de conversão (4), conforme será descrito mais adiante. A presente invenção é essencialmente composta pelos métodos de conversão incluídos no módulo de conversão de dados entre imagens (interframe) (4). 3

Antecedentes da invenção São aqui considerados quatro documentos que integram o estado da técnica mais próximo da invenção que se pretende patentear. 0 documento W02004093461 divulga um transcodificador de video que recebe um sinal codificado num primeiro formato de codificação de sinal de video, descodifica esse sinal de forma a gerar um sinal descodificado, extrai um conjunto de dados de movimento estimado a partir do primeiro sinal de video (ainda segundo o primeiro formato), e gera um segundo conjunto de dados de movimento estimado a partir do primeiro conjunto de dados de movimento estimado, sendo este segundo conjunto de dados de movimento estimado codificado num segundo formato de codificação. Não ataca a novidade da presente invenção porque ao contrário do presente invento, onde a determinação do melhor candidato a vector de movimento é baseada apenas no critério de mínimo resíduo, independentemente do tamanho do bloco, enquanto no documento citado, a determinação dos vectores de movimento é efectuada usando a média do conjunto de vectores candidatos e a selecção do melhor candidato a vector de movimento é baseada no tamanho do bloco, sendo o método do presente invento mais eficaz na selecção do melhor vector porque resulta num sinal de resíduo com menor energia. Também no presente invento a determinação da melhor posição com precisão de meio-pixel é efectuada através de uma pesquisa numa janela com dimensão de lxl pixels, enquanto no documento referido isto se obtém por simples translação para a posição inteira, ou de meio-pixel, mais próxima. A pesquisa numa janela de lxl, tal como é efectuada neste invento, permite obter melhores vectores de movimento dos quais resultam sinais residuais com menos energia. Para 4 além disto, o documento citado não constrói uma lista exaustiva de todos os candidatos possíveis que resultam de todas as imagens de referência e todos os subblocos do macrobloco situado na mesma posição espacial nas imagens H.264/AVC, para efectuar a determinação de vectores de movimento (VM) de um macrobloco em formato MPEG-2. A utilização desta lista, aumenta a probabilidade de seleccionar um melhor candidato a vector de movimento, do que no caso do documento citado. 0 documento citado também não define a forma de conversão de vectores do tipo "unrestricted motion vectors", enquanto que o presente invento apresenta um método baseado em inversão e espelhamento temporal. Também no documento citado não se apresenta nenhum método de criação de referências bidireccionais a partir de um único vector de movimento, ao invés do presente invento onde se define um método baseado na conjunção da técnica de espelhamento temporal com a aplicação de um factor de escala e refinamento. 0 documento US20070030903 divulga um método para transcodificar de um formato H.264/AVC para MPEG-2, compreendendo os seguintes passos: (A) descodificação do formato H.264/AVC para gerar uma imagem com pares de macroblocos que usaram uma codificação H.264/AVC; (B) determinar um modo indicador para cada par de macroblocos; (C) codificar os pares de macroblocos numa saída de vídeo no formato MPEG-2, usando ou (i) uma codificação de modo de campo MPEG-2, ou (ii) uma codificação de modo de imagem (frame) MPEG-2. Tem semelhanças com o presente invento, porque tanto o método divulgado no documento US20070030903 como o método da presente invenção - de acordo com a informação fornecida - consistem na descodificação de uma entrada de vídeo no formato H.264/AVC para um conjunto de 5 macroblocos, em usá-los para produzir nova informação de codificação, e codificá-los no formato MPEG-2. No entanto, não ataca a novidade do presente método, que se distingue por incluir, tal como descrito mais acima, a determinação de vectores de movimento (VM) em formato MPEG-2, a partir de outros vectores de movimento no formato H.264/AVC, através da criação de uma lista de VM candidatos constituída por todos os VM extraídos do macrobloco original em formato H.264/AVC, redimensionando apenas os VM candidatos que utilizem imagens de referência diferentes das permitidas pelo MPEG-2. 0 documento citado também não define a forma de conversão de vectores do tipo "unrestricted motion vectors", enquanto que o presente invento apresenta um método baseado em inversão e espelhamento temporal. Também no documento citado não se apresenta nenhum método de criação de referências bidireccionais a partir de um único vector de movimento, ao invés do presente invento onde se define um método baseado na conjunção da técnica de espelhamento temporal com a aplicação de um factor de escala e refinamento. Ao contrário do presente invento, onde a determinação do melhor candidato a vector de movimento é efectuada é baseada apenas no critério de mínimo resíduo, independentemente do tamanho do bloco, no documento citado, a determinação dos vectores de movimento é efectuada usando a média, mediana ou moda do conjunto de vectores candidatos e a selecção do melhor candidato a vector de movimento pode ser baseada no tamanho do bloco, sendo o método do presente invento mais eficaz na selecção do melhor vector porque conduz a um sinal de resíduo com menor energia. 6 0 documento US20070030905 divulga um transcodificador de vídeo composto por um primeiro processador, e um segundo processador de sinal digital de vídeo acoplado ao primeiro, este segundo processador tendo (i) um primeiro módulo configurado para realizar uma primeira operação de descodificação de uma sequência de vídeo de entrada num primeiro formato, e (ii) um segundo módulo configurado para realizar uma segunda operação de codificação de uma sequência de vídeo de saída num segundo formato, sendo a primeira operação e a segunda realizadas em paralelo. Estas operações incluem reconstruções de cada macrobloco através dos vectores de movimento, e compensação do movimento. Não ataca a novidade da presente invenção porque a presente invenção se distingue por incluir, tal como descrito mais acima, a determinação de vectores de movimento (VM) em formato MPEG-2, a partir de outros vectores de movimento no formato H.264/AVC, através da criação de uma lista de VM candidatos constituída por todos os VM extraídos do macrobloco original, em formato H.264/AVC, redimensionando apenas os VM candidatos que utilizem imagens de referência diferentes das permitidas pelo MPEG-2. 0 documento citado também não define a forma de conversão de vectores do tipo "unrestricted motion vectors", enquanto que o presente invento apresenta um método baseado em inversão e espelhamento temporal. Também no documento citado não se apresenta nenhum método de criação de referências bidireccionais a partir de um único vector de movimento, ao invés do presente invento onde se define um método baseado na conjunção da técnica de espelhamento temporal com a aplicação de um factor de escala e refinamento. Ao contrário do presente invento, onde a determinação do melhor candidato a vector de movimento é efectuada com base apenas no critério de mínimo resíduo, independentemente do 7 tamanho do bloco, no documento citado, a determinação dos vectores de movimento é efectuada usando a média, mediana ou moda do conjunto de vectores candidatos e a selecção do melhor candidato a vector de movimento pode ser baseada no tamanho do bloco, sendo o método do presente invento mais eficaz na selecção do melhor vector porque conduz a um sinal de residuo com menor energia. 0 documento WO2007124491 divulga um método de remover um vector de movimento de um grupo de vectores de movimento usados num processo de codificação; elaborar uma lista de vectores de movimento; seleccionar um vector de movimento inicial da lista de vectores de movimento; fornecer um vector de movimento intermédio usando um processo de refinamento do vector de movimento, processo esse que utiliza em parte o vector de movimento inicial; formar uma região definida por um ou mais parâmetros associados com o vector de movimento inicial e um ou mais parâmetros associados com o vector de movimento intermédio; seleccionar um vector de movimento adicional da lista de vectores de movimento; determinar que o vector de movimento adicional aponta para a região; e modificar um estado do vector de movimento adicional. Não ataca a novidade da presente invenção, porque o método divulgado destina-se a transcodificar apenas os vectores de movimento, enquanto a presente invenção transcodifica tanto a informação de movimento como os modos de codificação entre imagens (interframe), e porque o método da presente invenção transcodifica especificamente entre os formatos H.264/AVC e MPEG-2, determinando os vectores de movimento (VM) em formato MPEG-2, a partir de outros vectores de movimento no formato H.264/AVC, através da criação de uma lista de VM candidatos constituída por todos os VM extraídos do 8 macrobloco original, em formato H.264/AVC, redimensionando apenas os VM candidatos que utilizem imagens de referência diferentes das permitidas pelo MPEG-2. 0 documento citado também não define a forma de conversão de vectores do tipo "unrestricted motion vectors", enquanto que o presente invento apresenta um método baseado em inversão e espelhamento temporal. Também no documento citado não se apresenta nenhum método de criação de referências bidireccionais a partir de um único vector de movimento, ao invés do presente invento onde se define um método baseado na conjunção da técnica de espelhamento temporal com a aplicação de um factor de escala e refinamento. A presente invenção apresenta actividade inventiva relativamente à matéria divulgada nos documentos W02004093461, US20070030903, US20070030905 e WO2007124491, porque, ao contrário do documento WO2007124491, se trata de um método aplicável tanto a vectores de movimento como a modos de codificação entre imagens (interframe), e ainda porque, ao contrário dos documentos W02004093461, US20070030903, US20070030905 e WO2007124491, inclui a determinação de vectores de movimento (VM) em formato MPEG-2, a partir de outros vectores de movimento no formato H.264/AVC, através da criação de uma lista de VM candidatos constituída por todos os VM extraídos do macrobloco original em formato H.264/AVC, redimensionando apenas os VM candidatos que utilizem imagens de referência diferentes das permitidas pelo MPEG-2.

Os documentos referidos não especificam de forma exacta o método usado para determinar vectores de movimento (VM) em formato MPEG-2 a partir de outros vectores de movimento no formato H.264/AVC. Referem apenas algumas 9 possibilidades de conversão para os vectores de movimento do formato H.264/AVC para o MPEG-2, mas não incluem os seguintes aspectos, que por sua vez fazem parte integrante do método proposto.

Principais diferenças face ao estado da técnica A. Criação de uma lista de vectores de movimento (VM) candidatos, constituída por todos os VM extraídos do macrobloco original em formato H.264/AVC (1). B. 0 procedimento descrito em A apenas inclui o redimensionamento dos VM candidatos que utilizem imagens de referência diferentes das permitidas pelo MPEG-2 (8). C. 0 procedimento A inclui um método de espelhamento invertido («inverted mirroring»), para VM que ultrapassem os limites da imagem (VM não restritos, «Unrestricted MV») em imagens do tipo bidireccional. Consiste na inversão dos VM em relação a ambos os eixos, horizontal e vertical, conjuntamente com a troca da imagem de referência pela temporalmente oposta, em relação à imagem a ser codificada. D. Em imagens do tipo bidireccional, os VM com predição unidireccional são usados para gerar VM candidatos do tipo bidireccional, combinando o VM da predição unidireccional com um VM invertido de acordo com o procedimento descrito em C. E. Selecção do melhor VM candidato, a partir da lista criada em A, B, C e D, usando um critério de menor resíduo, por exemplo Soma das Diferenças Quadráticas (SSD=£i£j (f(i,j) - p(i,j) )2), ou Soma das Diferenças Absolutas (SAD=£i£j | f(i,j) - p(i,j) |), ou outro. F. 0 VM seleccionado é posteriormente refinado usando o mesmo critério do menor resíduo, numa janela de 10 pesquisa centrada na posição descrita pelo VM candidato seleccionado.

Principais vantagens face ao estado da técnica

Este método tem a vantagem de produzir melhores resultados em termos de qualidade de imagem, pelo facto de a selecção ser feita com base no critério do menor resíduo (em vez de médias ou medianas de todos os VM) . Apresenta uma solução mais eficiente do que a trivial (por exemplo, truncagem) para o caso dos VM que ultrapassam os limites da imagem (VM não restritos, «Unrestricted MV») nas imagens do tipo B (bipreditivas). Apresenta um método para melhorar a predição de macroblocos representados por um VM unidireccional em imagens do tipo B (bipreditivas), possibilitando a sua predição bidireccional.

Descrição geral da invenção

Divulga-se um método eficiente para transcodificar (23) imagens do formato H.264/AVC (1) para o formato MPEG-2 (8). O método de transcodificação (23) compreende os métodos de conversão tanto de (i) modos de codificação entre imagens (interframe) (4), como de (ii) informação de movimento inserida num vídeo codificado, do formato H.264/AVC (1) para o formato MPEG-2 (8) . Os métodos (a) processam a informação de modo de codificação associada com cada macrobloco H.264/AVC (1) temporalmente predito, e produzem nova informação de modo de codificação, emparelhada com a semântica do MPEG-2 (8); e os métodos (b) processam a informação de movimento associada com as imagens (frames) de referência múltipla, e produzem informação de movimento, emparelhada com a semântica do MPEG-2 (8). 11 0 método caracteriza-se ainda por determinar vectores de movimento (VM) em formato MPEG-2 (8) a partir de outros vectores de movimento no formato H.264/AVC (1), através da criação de uma lista de VM candidatos, constituída por todos os VM extraídos do macrobloco no formato H.264/AVC (1), redimensionando apenas os VM candidatos que utilizem imagens de referência diferentes das permitidas pelo MPEG-2 (8). Este procedimento inclui ainda um método de espelhamento invertido (inverted mirroring) para VM que ultrapassem os limites da imagem (VM não restritos, «Unrestricted MV») em imagens do tipo bidireccional, e que consiste na inversão dos VM em relação a ambos os eixos, horizontal e vertical, conjuntamente com a troca da imagem de referência pela temporalmente oposta em relação à imagem a ser codificada. Os algoritmos propostos fornecem um método de conversão de modo eficiente, que pode ser usado em sistemas de gravação vídeo pessoais (25), para recepção de conteúdos vídeo pessoais e transmissão em formato MPEG-2 (8), através de conexões com fios (27), ou sem fios (26), para um descodificador MPEG-2 comum.

Este método tem a vantagem de produzir melhores resultados em termos da qualidade de imagem, pelo facto de a selecção ser feita com base no critério do menor resíduo (em vez de médias ou medianas de todos os VM) . Apresenta também uma solução mais eficiente do que a trivial (por exemplo, truncagem), para o caso dos VM que ultrapassam os limites da imagem (VM não restritos, «Unrestricted MV») nas imagens do tipo B (bipreditivas) , e apresenta ainda um método para melhorar a predição de macroblocos representados por um VM unidireccional em imagens do tipo B (bipreditivas), possibilitando a sua predição bidireccional. 12 0 padrão actual H.264/AVC apresenta uma performance de compressão muito melhor do que os padrões competidores, nomeadamente o MPEG-2. Todavia, o padrão video MPEG-2 ainda é o formato de compressão video mais comum, e o seu amplo uso em equipamento profissional e de utilizador deve durar, espera-se, por ainda muitos anos, nomeadamente em televisão digital (DTV), gravadores de video pessoais (PVR) e disco versátil digital (DVD).

Devido à sua eficiência de compressão mais elevada, o H.264/AVC está a ganhar cada vez mais aceitação em aplicações e serviços de multimédia, tais como Televisão Digital de Alta Definição (HDTV), a televisão móvel (MTV) e a Internet. 0 uso simultâneo de padrões de codificação diversos traz, decididamente, problemas de inter-operacionalidade, porque o mesmo tipo de material fonte pode estar disponível num formato incompatível com o equipamento alvo. Mais ainda: é pouco provável que a migração de tecnologia de H.264/AVC para MPEG-2, tanto em equipamento profissional como de utilizador, aconteça num período de tempo tão curto que os problemas resultantes da co-existência de ambos os padrões possam ser ignorados. Por conseguinte, transcodificar (23) de H.264/AVC (1) para o formato MPEG-2 (8) é necessário para manter retrocompatibilidade e facilitar a tecnologia de migração.

Até agora, muito do esforço de investigação e desenvolvimento tem sido posto em construir sistemas de transcodificação (23) eficazes de MPEG-2 (8) para H.264/AVC (1), de modo a migrar conteúdo vídeo herdado para o novo 13 formato. Em contraste, pouco esforço tem sido dedicado ao problema da retrocompatibilidade.

Uma implementação trivial de um transcodificador (23) é uma cascata de um descodificador H.264/AVC e um codificador MPEG-2. Todavia, um tal método ignora completamente a informação de codificação H.264/AVC integrada no fluxo de bits (1), que é o resultado de decisões de optimização entre a taxa de transferência de bits e a distorção, com o objectivo de codificar cada bloco com a eficiência mais elevada que for possível. Usando um transcodificador (23) tão trivial, as imagens (frames) descodificadas de H.264/AVC (1) têm que ser plenamente codificados em MPEG-2 (8), como se não existisse informação de codificação prévia. Isto aumenta enormemente a complexidade do transcodificador (23) e os recursos computacionais necessários, sem atingir uma melhor eficiência de codificação.

Descrição das figuras

Figura 1: representação esquemática de um transcodificador (23) de vídeo de H.264/AVC (1) para MPEG-2 (8), na qual (2) representa um descodificador compatível com a norma H.264/AVC, modificado de forma a exportar os parâmetros de codificação incluídos nos fluxos de entrada (3), e em que (4) representa o módulo onde se inclui parte da presente invenção, e (6) representa um codificador compatível com a norma MPEG-2 (8), modificado de forma a poder usar parâmetros de codificação de saída (5) fornecidos pelo módulo (4), podendo ainda optimizar valores de forma a maximizar a eficiência de codificação. 14

Figura 2: representação esquemática do método de inversão de vectores de movimento, na qual, no cenário A (9), se representa um vector vl do tipo não-restrito (unrestricted) (9a) e respectiva imagem de referência (9b), e, no cenário B (10), se representa o vector v2 resultante da conversão por aplicação do método de inversão (10a), juntamente com a nova imagem de referência (10b). Neste caso, o factor de escala usado no vector de movimento é 1.

Figura 3: representação esquemática do método de conversão de previsões unidireccionais do cenário A (9c) com uma imagem de referência (9e), para bidireccionais no cenário B (10c), por inversão de vector de movimento vl (9d) com manutenção do original vl (lOd) resultando o vector inverso v2 (lOe) . Resultam assim duas imagens de referência (lOf) no cenário B (10c).

Figura 4: representação esquemática do método de redimensionamento dos vectores de movimento. Consiste na multiplicação do vector original por um factor, definido através da equação 3 pela distância temporal entre as imagens de referência. Na figura 4, (11) é H.264ref-fn, (12) é MPEG-2ref-fn, (13) é Cfn e (14) é o tipo de codificação de cada imagem (Frame Coding Type) .

Figura 5: representação esquemática do método de conversão de múltiplas imagens de referência usadas nos fluxos binários H.264/AVC (1) para apenas 2 ou 1 imagem de referência, como é usado em MPEG-2 (8).

Figura 6: representação esquemática da janela usada para refinamento dos vectores de movimento: vectores de movimento com uma precisão pixel inteiro (15), vectores de 15 movimento com uma precisão de meio (½) de pixel (16) e vectores de movimento com uma precisão de um quarto (¼) de pixel (17).

Figura 7: representação esquemática de um exemplo de aplicação da presente invenção, onde (18) representa as instalações do fornecedor de serviços, (19) representa a conexão entre o fornecedor de serviços e as instalações do utilizador, (20) representa as instalações do utilizador, (21) representa o equipamento terminal nas instalações do utilizador, (22) representa um servidor doméstico (home gateway), (23) representa o transcodificador, (24) representa a transmissão de vídeo no formato H.264/AVC, (25) representa o servidor do fornecedor de serviços, (26) representa a ligação sem fios com os equipamentos terminal, (27) representa a ligação com fios com equipamentos terminal.

Descrição detalhada da invenção

Geração da lista de VM e selecção do melhor candidato

Para cada macrobloco a transcodificar, é criada uma lista inicial de VM candidatos, que consiste nos VM de todos os subblocos do macrobloco H.264/AVC. Os que possuem imagens de referência não compatível com MPEG-2 sofrem o processo de redimensionamento descrito na figura 4. Aos do tipo "Unrestricted MV" é adicionalmente aplicado o método descrito na figura 2. No caso do macrobloco original, no formato H.264/AVC, estar codificado em modo de predição unidireccional e o macrobloco transcodificado, em formato MPEG-2, permitir o modo bidireccional, então pode-se ainda aplicar o método descrito na figura 3. Após as operações anteriores, a lista resultante contém apenas vectores para 16 uma ou duas imagens de referência, conforme permitido pela norma MPEG-2. A selecção do melhor candidato é efectuada a partir desta segunda lista, calculando o sinal residual que resulta da aplicação de cada VM ao macrobloco em causa, e escolhendo aquele que produz o menor sinal residual usando como critério de medida o SSD (Sum of Square Differences) ou SAD (Sum of Absolute Differences).

Inversão dos Vectores de Movimento (VM) 0 método proposto reivindica uma solução para lidar com uma restrição H.264/AVC (1), solução que consiste em permitir Vectores de Movimento através das fronteiras da imagem, de modo a compensar o movimento de áreas próximas dos limites da imagem. Como esta caracteristica não está presente em MPEG-2 (8), todos os vectores de movimento com esta caracteristica são imediatamente excluídos do processo de conversão (4).

Um método capaz de recuperar este tipo de vectores de movimento, quando eles pertencem a uma imagem do tipo B (bidireccional), é reivindicado do modo seguinte: em imagens do tipo bidireccional, a predição permite o uso de imagens adjacentes como referência; portanto, o método proposto explora esta caracteristica para resolver a restrição do MPEG-2 (8) . 0 vector de movimento vl (9a) do cenário inicial A (9) apresentado na figura 2 descreve uma predição inválida para MPEG-2 (8). De modo a re-utilizar a informação de predição no codificador (6), v2 (10a) é obtido invertendo o vector de movimento vl (9a) de acordo com a equação 1 e aplicando-o à imagem de referência simétrica como no cenário B (10). Como estas imagens podem usar predição bidireccional, aqueles vectores de movimento que apontam para além dos limites da imagem são invertidos 17 de acordo com a equação 1, de modo a usarem a imagem de referência oposta e portanto apontarem para dentro dos limites da imagem. Isto permite recuperar um número significativo de vectores de movimento, especialmente em sequências de filme com panorâmica horizontal da câmara («camera panning»), e movimento constante. MVxMPEG-2= - (MVXh.264 x Sf) equação 1 MVyMPEG-2= - (MVyH.264 * Sf)

Sf é o factor de escala que será descrito mais adiante (ver equação 3)

Conversão unidireccional para bidireccional 0 uso de previsões bidireccionais é um método conhecido por produzir boas previsões de resultados. A conjugação de imagens avançadas e recuadas como referência reduz a informação residual a ser codificada. 0 método proposto reivindica a conversão de previsões unidireccionais para bidireccionais (ver Figura 3) quando codificando imagens do tipo B (bipreditivas). 0 método é baseado na mesma base teórica da secção prévia, onde o vector de movimento fonte vl (9d) é invertido de forma a gerar o vector de movimento v2 (10e) . A predição bidireccional é obtida combinando vl (lOd) e v2 (lOe), como ilustrado no cenário B (10c), para produzir uma predição única que usa simultaneamente imagens de referência avançadas e recuadas (lOf) . MVxMPEg-2= (MVXh.264 x Sf) and - (MVxH.264 x Sf) equação 2 MVyMPEG-2= (MVyH.264 x Sf) and - (MVyn.264 x Sf) 18

Conversão de escala 0 padrão H.264/AVC (1) permite o uso de múltiplas imagens de referência, o que está para além do âmbito do MPEG-2 (8) . A conversão (4) das previsões da imagem de referência para um formato compatível com MPEG-2 (8) é necessária para manter previsões válidas. De modo a efectuar esta conversão (4), é necessário alterar a escala do vector de movimento de acordo com a distância temporal entre a imagem actual e a imagem de referência. É encontrado um factor multiplicativo, baseado na nova distância temporal, e o vector de movimento com a escala modificada é determinado usando esse tal factor. 0 factor de escala é determinado como se segue: a computação do factor de escala para a conversão do vector de movimento assume um movimento constante da área correspondente predita. Portanto, o factor de escala é obtido através de uma interpolação linear ilustrada na figura 4 e descrita pela equação 3, onde (11) é H.264ref-fn correspondente ao número da imagem (frame number) de referência H264, (12) é MPEG-2ref-fn correspondente ao número da imagem (frame number) de referência MPEG-2, e (13) é Cfn, correspondente ao número da imagem actual (current frame number).

Sf=(Cfn - MPEG2ref-fn) / (Cfn - H.264ref-fn) equação 3

Em MPEG-2 (8), a estimativa do movimento é baseada em uma ou em duas das últimas imagens de referência que são usadas para prever a imagem actual, enquanto em H.264/AVC (1) até 16 imagens de referência podem ser usadas para a mesma finalidade. Portanto, vectores de movimento H.264/AVC (1), que apontam para uma imagem de referência numa posição temporal diferente daquela das imagens de referência MPEG-2 19 (8) actuais, alteram a sua escala de acordo com o método ilustrado na figura 5.

De modo a mudar a predição da imagem de referência, é necessário recalcular o vector de movimento associado para manter o seu significado. 0 recalcular do vector de movimento de H.264/AVC (VMH.264) para MPEG-2 (VMmpeg-2) implica uma alteração de escala, de acordo com a diferença temporal entre a nova imagem de referência e a imagem de referência original, como descrito pela equação 4. ^Mmpeg-2= VMn.264xSf equação 4

Refinamento A predição H.264/AVC pode usar vectores de movimento com uma precisão de um quarto {H) de pixel (17) , enquanto em MPEG-2 a precisão de movimento máxima é de um meio (½) de pixel (16), como ilustrado na figura 6. Portanto, a conversão de vectores de movimento implica também uma conversão de precisão se um quarto (¼) de pixel (17) for usado em H.264/AVC. Um método para converter vectores de movimento com uma precisão de um quarto (¼) de pixel (17) para inteiros (15) ou um meio (½) (16) sem realizar novas buscas de vectores de movimento nem refinamentos de vectores de movimento é reivindicada. 0 vector de movimento com um quarto (¼) de precisão (17) é arredondado bidireccionalmente para a posição de pixel um meio (½) (16) ou inteira (15) mais próxima na grelha de imagens de pixel, de acordo com as regras a seguir descritas.

Como a computação de vectores de movimento MPEG-2 pode envolver tanto a alteração de escala como a conversão da 20 precisão de pixel, o método usa arredondamento em vez de truncagem, de modo a atingir uma predição eficiente.

Um método de refinamento VM constrangido para uma distância de meio pixel (16) é implementado para providenciar um ajuste fino no processo de conversão. A conversão directa de VM, com precisão de 1/4 de pixel, de H.264/AVC (1) para MPEG-2 (8) é um método com perdas, que reduz a precisão de vectores de movimento. O método aqui reivindicado, primeiramente, faz corresponder cada vector de movimento à posição de meio pixel, mais próxima. De seguida, o vector de movimento final é pesquisado entre as posições de pixel ou meio pixel mais próximas, numa janela de busca com dimensão máxima de lxl pixel (16). O processo de pesquisa consiste em cálculos múltiplos da informação residual para cada posição da janela de refinamento da pesquisa, sendo o melhor vector aquele que produz menor informação residual. O residuo é um indicador da qualidade dos previsores, e é conseguido através da «Soma do Quadrado das Diferenças» («Sum of Squared Differences»-SSD) entre a área original do macrobloco e a área predita, como na equação 5. A melhor posição de janela de busca é seleccionada de acordo com o valor mais baixo de SSD. Na equação 5, f(i,j) representa o pixel na posição (i,j) do macroboloco a transcodificar e p(i,j) representa o pixel correspondente no macrobloco de referência que também constitui a predição respectiva. SSD=EiEj (f(i,j) - p(i,j))2 equação 5

Exemplos de aplicação

Claims (11)

1 REIVINDICAÇÕES 1. Método para transcodificar imagens de vídeo H.264/AVC (1) em MPEG-2 (8) caracterizado por converter os modos de codificação entre imagens (interframe) de H.264/AVC (1) para os modos permitidos por MPEG-2 e converter a informação do movimento de H.264/AVC (1) na semântica correspondente MPEG-2 (8), determinando o vector de movimento mais adequado para cada macrobloco MPEG-2 (8) a partir dos vectores de movimento das imagens de referência e dos subblocos do macrobloco H.264/AVC (1) correspondente ao referido macrobloco MPEG-2 (8).

2. Método para transcodificar imagens de vídeo H.264/AVC (1) em MPEG-2 (8) de acordo com a reivindicação anterior caracterizado por determinar o vector de movimento mais adequado para cada macrobloco MPEG-2 (8) por um método que compreende os seguintes passos: a) criar uma lista de vectores de movimento a partir dos vectores de movimento das imagens de referência e dos subblocos do macrobloco H.264/AVC (1) correspondente ao referido macrobloco MPEG-2 (8), desde que os referidos vectores de movimento sejam permitidos em MPEG-2 (8), b) acrescentar à referida lista os vectores de movimento que não foram incluídos no passo anterior, sujeitando-os a um ou mais métodos de adaptação, de forma a que sejam permitidos em MPEG-2, c) seleccionar desta lista o vector de movimento que produz o menor sinal residual que resulta da aplicação de cada vector de movimento ao referido macrobloco, independentemente da dimensão do macrobloco. 2

3. Método para transcodificar imagens de vídeo H.264/AVC (1) em MPEG-2 (8) de acordo com a reivindicação anterior caracterizado por adaptar os vectores de movimento H.264/AVC (1) que não sejam compatíveis com MPEG-2 (8) através de uma ou mais das seguintes operações: a) redimensionar os vectores de movimento que utilizem imagens de referência diferentes das permitidas pelo MPEG-2 (8), de forma a utilizar imagens de referência permitidas pelo MPEG-2 (8), através da alteração da escala do vector de movimento por interpolação linear baseada na nova distância temporal, b) converter os vectores de movimento que ultrapassem os limites da imagem, referidos como vectores de movimento não restritos, em vectores compatíveis com MPEG-2 (8) por inversão e espelhamento temporal, que consiste na inversão em relação a ambos os eixos, horizontal e vertical, conjuntamente com a troca da imagem de referência pela temporalmente oposta, em relação à imagem a ser codificada, c) criar referências bidireccionais a partir de unidireccionais, usando os vectores de movimento com predição unidireccional em imagens do tipo bidireccional, combinando o referido vector de movimento com outro vector de movimento obtido por inversão e espelhamento temporal do primeiro vector de movimento,

4. Método para transcodificar imagens de vídeo H.264/AVC (1) em MPEG-2 (8) de acordo com as reivindicações 2 ou 3 caracterizado por calcular o sinal residual que resulta da aplicação de cada vector de movimento a um macrobloco pela soma dos quadrados das diferenças (SSD, Sum of Square Differences) - SSD=£i£j ( f(i,j) — p (i,j) )2. 3

5. Método para transcodificar imagens de vídeo H.264/AVC (1) em MPEG-2 (8) de acordo com as reivindicações 2 ou 3 caracterizado por calcular o sinal residual que resulta da aplicação de cada vector de movimento a um macrobloco pela soma dos valores absolutos das diferenças (SAD, Sum of Absolute Differences) - SAD=^iEj I f (i,j) - p(i,j) |.

6. Método para transcodificar imagens de vídeo H.264/AVC (1) em MPEG-2 (8) de acordo com qualquer uma das reivindicações anteriores caracterizado por refinar com precisão de meio-pixel a posição do vector de movimento seleccionado, por arredondamento bidireccional para a posição de pixel um meio (½) (16) ou inteira (15) mais próxima.

7. Método para transcodificar imagens de vídeo H.264/AVC (1) em MPEG-2 (8) de acordo com a reivindicação anterior caracterizado por refinar com precisão de meio pixel a posição do vector de movimento seleccionado, por arredondamento bidireccional para a posição de pixel um meio (½) (16) ou inteira (15) mais próxima, através de um método que compreende os seguintes passos: a) fazer corresponder cada vector de movimento à posição de meio pixel, mais próxima, b) pesquisar o vector de movimento entre as posições de pixel ou meio pixel mais próximas, numa janela de pesquisa com dimensão de meio pixel, c) calcular, para cada posição da janela de pesquisa, a informação residual entre a área original do macrobloco e a área predita, d) escolher a melhor posição da janela de busca, a que corresponde a menor informação residual. 4

8. Método para transcodificar imagens de vídeo H.264/AVC (1) em MPEG-2 (8) de acordo com a reivindicação 7 caracterizado por calcular a informação residual, que resulta da aplicação de cada posição do vector de movimento na janela de pesquisa, pela soma dos quadrados das diferenças (SSD, Sum of Square Differences) - SSD=£iEj ( f (i, j ) - p(i,j) )2.

9. Método para transcodificar imagens de vídeo H.264/AVC (1) em MPEG-2 (8) de acordo com a reivindicação 7 caracterizado por calcular a informação residual, que resulta da aplicação de cada posição do vector de movimento na janela de pesquisa, pela soma dos valores absolutos das diferenças (SAD, Sum of Absolute Differences) - SAD=^iEj I f(i,j) - p (i,j) |.

10. Dispositivo para execução de método para transcodificar imagens (23) de vídeo H.264/AVC (1) em MPEG-2 (8) de acordo com qualquer uma das reivindicações anteriores caracterizado por compreender: a) um descodificador (2) compatível com a norma H.264/AVC, modificado de forma a exportar (3) os parâmetros de codificação incluídos nos fluxos de entrada H.264/AVC, b) um módulo de conversão de dados (4) que implementa os métodos de conversão, c) um codificador (6) compatível com a norma MPEG-2 (8), modificado de forma a poder usar parâmetros de codificação de saída (5) fornecidos pelo módulo de conversão de dados (4), ou parâmetros de codificação obtidos directamente (7) do descodificador H.264/AVC 5 (2), podendo ainda optimizar valores de forma a maximizar a eficiência de codificação.

11. Dispositivo para execução de método para transcodificar imagens (23) de video H.264/AVC (1) em MPEG-2 (8) de acordo com a reivindicação anterior caracterizado por compreender adicionalmente: a) ligação a um fornecedor de serviços através do formato H.264/AVC (19), b) ligação opcional a um servidor doméstico (22), c) ligação opcional sem fios com equipamentos terminais (26), d) ligação opcional com fios com equipamentos terminais (27) . Lisboa, 02 de Junho de 2008