PT2278816E

PT2278816E - Gestão de memória tampão pós-descodificador para um fluxo de bits de mpeg de h.264-svc

Info

Publication number: PT2278816E
Application number: PT101799450T
Authority: PT
Inventors: Satoshi Kondo; Shinya Kadono; Makoto Hagai; Kiyofumi Abe; Chong Soon Lim; Teck Wee Foo; Sheng Mei Shen
Original assignee: Panasonic Corp
Priority date: 2002-07-11
Filing date: 2003-07-07
Publication date: 2013-05-10
Also published as: SI1742479T1; KR100959969B1; EP2053863B1; DK1742479T3; ATE350861T1; US8189680B2; DK1406451T3; TW201534110A; ATE548856T1; CA2460471C; EP1406451A1; JP2008172821A; AU2003281129B2; KR100961037B1; US20120213287A1; US20070076801A1; JP4914459B2; US9094666B2; TWI573442B; JP4651685B2

Description

DESCRIÇÃO

"GESTÃO DE MEMÓRIA TAMPÃO PÓS-DESCODIFICADOR PARA UM FLUXO DE BITS DE MPEG DE H.264-SVC"

CAMPO TÉCNICO A presente invenção refere-se a um método de descodificação de imagem para descodificar correctamente a imagem codificada e exibi-la.

TÉCNICA ANTERIOR

Recentemente, com a chegada da idade da multimédia que trata integralmente áudio, video e outros valores de elementos de imagem, os meios de informação existentes, i. e., jornais, revistas, TV, rádios e telefones e outros meios através dos quais a informação é levada à população, passaram a ser abrangidos pelo termo multimédia. Falando de uma forma geral, o termo multimédia refere-se a algo que é representado pela associação não só a caracteres mas, também, a gráficos, áudio e, especialmente, imagens e semelhantes em conjunto. No entanto, de forma a incluir os meios de informação existentes já mencionados no âmbito da multimédia, surge como um pré-requisito representar tal informação na forma digital.

Contudo, quando se calcula a quantidade de informação contida em cada meio de informação já mencionado como a 1 quantidade de informação digital, a quantidade de informação por carácter requer 1~2 bytes enquanto o áudio requer mais de 64 kbits (qualidade telefónica) por segundo e quando se consideram imagens em movimento, estas requerem mais de 100 Mbits (qualidade actual de recepção de televisão) por segundo.

Por essa razão, não é realista tratar uma informação tão vasta directamente no formato digital através dos meios de informação mencionados anteriormente. Por exemplo, um videofone já foi utilizado para uma aplicação prática através da Rede Digital de Serviços Integrados (ISDN) com uma taxa de transmissão de 64 kbit/s ~ 1,5 Mbit/s, no entanto, esta não é prática para transmitir vídeo capturado no ecrã de TV ou filmado por uma câmara de TV. Portanto, isto requer a utilização de técnicas de compressão de informação e, por exemplo, no caso do videotelefone, são empregues técnicas de compressão de acordo com as normas H.261 e H.263, normalizadas internacionalmente pela ITU-T (Sector de Normalização das Telecomunicações da União Internacional de Telecomunicações). De acordo com as técnicas de compressão de informação concordantes com a norma MPEG-1, a informação de imagem, bem como a informação de música, podem ser armazenadas num CD (Disco Compacto) de música vulgar.

Neste caso, o MPEG (Grupo de Especialistas em Imagens em Movimento) é uma norma internacional para compressão de sinais de imagens em movimento e o MPEG-1 é uma norma que comprime sinais de vídeo até 1,5 Mbit/s, isto é, comprime a informação de sinais de TV até aproximadamente uma centésima . A taxa de transmissão dentro do âmbito da norma MPEG-1 está limitada principalmente a cerca de 1,5 Mbit/s, portanto, o MPEG-2, que foi normalizado com vista a alcançar os requisitos de imagens de alta qualidade, permite a transmissão de dados de sinais de imagens em movimento a uma taxa de 2~15 Mbit/s. Nas 2 circunstâncias presentes, um grupo de trabalho (ISO/IEC JTC1/SC29/WG11) encarregado da normalização do MPEG-1 e do MPEG-2, conseguiu uma taxa de compressão que ultrapassa a conseguida no MPEG-1 e no MPEG- 2, realizando operações de codificação/descodificação baseadas em objectos e normalizou o MPEG-4 de forma a realizar uma nova função requerida pela era da multimédia. No processo de normalização do MPEG-4, a normalização do método de codificação para um baixo débito binário era o alvo, contudo, o alvo foi presentemente alargado a uma codificação de imagens em movimento mais versátil com um débito binário elevado, incluindo imagens entrelaçadas.

Recentemente, uma nova codificação de imagem, como uma codificação da próxima geração do MPEG-4 intitulada H SVC, está com um processo de normalização trabalhado conjuntamente pela ITU-T e pelo ISO/IEC. A Fig. 24 é um diagrama mostrando uma estrutura de predição, uma ordem de descodificação e uma ordem de visualização de imagens. "Imagem" é um termo indicando ou uma trama ou um campo e o termo "imagem" é utilizado aqui em vez de trama ou campo na presente descrição. As figuras sombreadas na Fig. 24 apresentam as imagens a armazenar na memória para referência quando outras imagens são codificadas/descodifiçadas. 10 é uma imagem intra codificada e P3, P6 e P9 são imagens codificadas preditas (imagens P) . A codificação preditiva no esquema da norma JVT difere da utilizada no MPEG-1/2/4 convencional. Uma imagem arbitrária é seleccionada como imagem de referência de entre uma pluralidade de imagens codificadas e uma imagem predictiva pode ser gerada a partir da imagem de referência. Por exemplo, uma imagem P9 pode seleccionar uma 3 imagem arbitrária de entre as três imagens ΙΟ, P3 e P6 e gerar uma imagem predictiva utilizando a imagem seleccionada. Por conseguinte, aumenta a possibilidade de seleccionar a imagem predictiva mais apropriada em relação ao caso convencional de aplicar MPEG-1/2/4 e, portanto, melhora a taxa de compressão. Bl, B2, B4, B5, B7 e B8 são imagens codificadas preditas bidireccionalmente (imagens B), diferenciando-se da predição entre imagens, em que uma pluralidade de imagens (duas imagens) são seleccionadas e uma imagem predictiva é gerada utilizando as imagens seleccionadas e, depois, codificada. É especialmente conhecido que a precisão da imagem predictiva pode ser grandemente melhorada e o mesmo pode acontecer com a taxa de compressão, executando uma predição por interpolação, utilizando um valor médio de duas imagens temporalmente anterior e posterior para gerar uma imagem predictiva. As marcas "I" para uma imagem intra codificada, "P" para uma imagem codificada predictiva e "B" para uma imagem codificada predictiva bidireccionalmente são utilizadas de forma a diferenciar o método de codificação de cada imagem.

De forma a referir-se às imagens temporalmente anterior e posterior para as imagens B, as imagens temporalmente anteriores devem ser codificadas/descodifiçadas em primeito lugar. Isto é apelidado de reordenação de imagens e ocorre, frequentemente, no MPEG-1/2/4 convencional. Portanto, em contraste com uma ordem de codificação (Ordem de Fluxo), uma ordem de visualização das imagens que são descodificadas (Ordem de Visualização) é reordenada, como mostrado na Fig. 24, mostrando uma estrutura de predição, uma ordem de descodificação e uma ordem de visualização das figuras. As imagens B no exemplo da Fig. 24 são visualizadas no instante de tempo em que o fluxo é descodificado, portanto, não existe necessidade de as armazenar 4 quando não servirem de referência para outras imagens. Contudo, as imagens I e imagens P têm de ser armazenadas numa memória, uma vez que são visualizadas depois de serem descodificadas, quando a descodificação da imagem B seguinte está terminada.

Os termos e os significados das imagens sombreadas no diagrama mostrando a estrutura de predição, a ordem de descodificação e a ordem de visualização das imagens são os mesmos que são utilizados na Fig. 24. A Fig. 26 é um diagrama de blocos mostrando um aparelho de codificação de imagem para a realização de um método convencional de codificação de imagem. 0 texto que se segue ilustra o funcionamento de um aparelho de codificação de imagem para realizar o método de codificação de imagem convencional na Fig. 26 .

Uma unidade de determinação de estrutura de imagem, PictStruct, determina um tipo de codificação (imagem I, imagem P e Imagem B) para cada imagem, notifica uma unidade de controlo de imagem de referência, RefPicCtrl, do tipo de codificação e das imagens que podem servir de referência na codificação e informa também uma unidade de reordenação, ReOrder, da ordem de codificação das imagens. A unidade de reordenação, ReOrder, reordena a ordem de uma imagem introduzida, Picln, numa ordem de codificação e envia as imagens reordenadas para uma unidade de estimação de movimento ME e uma unidade de subtracção Sub. A unidade de estimação de movimento ME refere-se às imagens de referência armazenadas numa memória de imagens PicMeml, determina uma imagem de referência aplicável e detecta um vector de movimento indicando a posição de um elemento de imagem da imagem de referência e envia-os para uma unidade de codificação 5 de comprimento variável VLC, para a memória de imagens PicMeml e para a unidade de compensação de movimento MC. A memória de imagens PicMeml emite os elementos de imagem da imagem de referência de acordo com o vector de movimento MV para a unidade de compensação de movimento MC, ao passo que a unidade de compensação de movimento MC gera uma imagem predictiva utilizando os elementos de imagem da imagem de referência obtidos a partir da memória de imagens PicMeml e do vector de movimento MV. A unidade de subtracção Sub-calcula uma diferença entre a imagem reordenada pela unidade de reordenação ReOrder e a imagem predictiva. A diferença é convertida para coeficientes de frequência por uma unidade de transformação ortogonal T e, depois, os coeficientes de frequência são quantificados pela unidade de quantificação Q e emitidos como valores quantificados Coef.

Uma unidade de quantificação inversa IQ inverte a quantificação dos valores quantificados Coef e restitui-os como coeficientes de frequência. A unidade de transformação ortogonal inversa IT executa a conversão inversa de frequências para que os coeficientes de frequência sejam emitidos como valores diferenciais dos elementos de imagem. Uma unidade de adição Add adiciona a imagem predictiva aos valores diferenciais dos elementos de imagem e obtém uma imagem descodificada. A unidade de controlo da imagem de referência RefPicCtrl, de acordo com o tipo de codificação da imagem, avalia se a imagem descodificada deve ou não ser armazenada na memória de imagens PicMeml para servir como imagem de referência e se a imagem descodificada deve ou não ser retirada da memória de 6 imagens PicMeml (já nao referida como imagem de referência) e notifica a operação utilizando um comando de controlo de memória MMCO.

Um comutador SW é ligado quando o comando de controlo de memória MMCO ordenou um armazenamento e, assim, a imagem descodificada é armazenada na memória de imagens PicMeml como uma imagem de referência. A memória de imagens PicMeml liberta a área onde a imagem descodificada está armazenada para que outras imagens descodificadas possam ser armazenadas quando a memória de imagens PicMeml indicar que a imagem descodificada deve ser removida da memória de imagens PicMeml. A unidade de codificação de comprimento variável VLC codifica os valores quantificados Coef, o vector de movimento MV e o comando de controlo da memória MMCO e emite um fluxo codificado Str. É mostrado o caso no qual a codificação inclui a conversão de frequência e a quantificação, contudo, a codificação pode ser uma que não as utilize, tal como DPCM, ADPCM e codificação preditiva linear. A codificação pode ser aquela na qual a conversão de frequência e a quantificação estão integradas ou aquela que não é acompanhada pela quantificação após a conversão de frequência, como numa codificação de plano binário. A Fig. 27 mostra fluxos de bits do comando de controlo da memória MMCO. A unidade de codificação de comprimento variável VLC codifica "000", que significa a libertação de uma área completa de memória para que a memória de imagens seja inicializada no inicio da codificação/descodificação ou no cabeçalho do GOP (Grupo de Imagem) . Além disso, a unidade de 7 codificação de comprimento variável VLC codifica "01" quando a imagem descodificada é armazenada na memória de imagens. Quando uma imagem armazenada na memória de imagens é libertada ao mesmo tempo, a unidade de codificação de comprimento variável codifica um número da imagem a seguir a "0 01", uma vez que o número da imagem a ser libertada tem de ser indicado. Quando uma pluralidade de imagens é libertada, o comando para libertar uma imagem necessita de ser codificado para um número plural de vezes, portanto, um comando para armazenar uma imagem é codificado em adição ao comando para libertar uma imagem. A unidade de codificação de comprimento variável VLC codifica sequencialmente uma pluralidade de comandos de controlo de memória MMCO e codifica, finalmente, "1" indicando que o comando de controlo de memória MMCO está completo. Desta forma, o comando de controlo de memória MMCO é codificado como um fluxo codificado Str. A Fig. 28 é um diagrama de blocos mostrando um aparelho de descodificação de imagem para realizar um método convencional de descodificação de imagem. Os mesmos números são colocados para os dispositivos que funcionam do mesmo modo que o aparelho de descodificação de imagem para realizar o método convencional de descodificação de imagem ilustrado na Fig. 26.

Uma unidade de descodificação de comprimento variável VLD descodifica um fluxo codificado Str e emite um comando de controlo de memória MMCO, um vector de movimento MV e os valores quantificados Coef. Um instante de tempo de imagem Time é introduzido a partir do exterior e é um sinal para especificar uma imagem a ser visualizada. Quando uma imagem a ser visualizada é uma imagem descodificada, é seleccionada uma saída da unidade de adição Add num selector Sei e a imagem é enviada para uma unidade de visualização Disp. Quando uma imagem a ser visualizada é uma imagem armazenada na memória de imagens PicMeml, esta é lida a partir da memória de imagens PicMeml, seleccionada no selector Sei e a imagem é enviada para uma unidade de visualização Disp.

Como descrito anteriormente, a memória de imagens PicMeml emite, para a unidade de compensação de movimento MC, elementos de imagem de acordo com o vector de movimento MV, ao passo que a unidade de compensação de movimento MC gera uma imagem predictiva de acordo com os elementos de imagem obtidos a partir da memória de imagens PicMeml juntamente com o vector de movimento MV. A unidade de quantificação inversa IQ quantifica inversamente os valores quantificados Coef e restitui-os como coeficientes de frequência. Além disso, a unidade de transformação ortogonal inversa IT executa a conversão inversa de frequências para que os coeficientes de frequência sejam emitidos como valores diferenciais dos elementos de imagem. A unidade de adição Add adiciona a imagem predictiva aos valores diferenciais dos elementos de imagem para gerar uma imagem descodificada. A memória de imagens PicMeml liberta a área na qual a imagem descodificada está armazenada para que outra imagem descodificada possa ser armazenada. 0 exemplo da descodificação incluindo a conversão de frequência inversa e a quantificação inversa é descrito anteriormente, contudo, a descodificação pode ser aquela que não as utiliza, tal como DPCM, ADPCM e uma codificação preditiva 9 linear. A descodificação pode ser aquela na qual a conversão de frequência inversa e a quantificação inversa estão integradas ou aquela que não é acompanhada pela quantificação inversa após a conversão de frequência, tal como numa codificação de plano binário.

Com a utilização do aparelho de descodificação de imagens para realizar o método convencional de descodificação de imagens mostrado na Fig. 28, é óbvio que a combinação dos tipos de codificação de imagens convencionais mostrado nas Fig. 24 e 25 permite uma descodificação correcta do fluxo codificado Str, codificado pelo aparelho de codificação de imagens para realizar o método convencional de codificação de imagens mostrado na Fig. 26. A combinação mais flexível é aqui considerada como um tipo de codificação de imagem. A Fig. 1 é um diagrama mostrando uma estrutura de predição, uma ordem de descodificação e uma ordem de visualização das imagens, que não existe na técnica relacionada. A estrutura de predição no que respeita à imagem B difere da anterior na vizinhança da Imagem 4 na Fig. 1. Nomeadamente, a Imagem 2 que é uma imagem B, é armazenada na memória de imagens para ser referida como uma imagem predictiva da Imagem 1 e da Imagem 3. Em consequência, a ordem de codificação e a ordem de visualização de cada imagem são as mostradas na Fig. 1.

As imagens B5 e B6 são imagens B que não estão armazenadas, uma vez que estas não são referidas numa codificação preditiva. Contudo, de forma distinta da Fig. 24, o instante de tempo de visualização para as imagens B5 e B6 ainda não foi alcançado 10 quando estas são descodificadas, uma vez que este é o instante de tempo de visualização para outra imagem. Isto é, no instante de tempo de descodificação da imagem B5, é visualizada a imagem B4 e no instante de tempo de descodificação da imagem B6, é visualizada a imagem B5. Uma vez que as imagens B5 e B6 não são armazenadas, estas não podem ser retiradas da memória de imagens no instante de tempo de visualização. Assim, as imagens que não são referidas para a codificação preditiva não são armazenadas na memória de imagens, portanto, as imagens B5 e B6 não podem ser visualizadas depois de terem sido descodificadas utilizando um método de codificação/descodificação convencional.

Nomeadamente no caso de não armazenamento das imagens que não são referidas na codificação preditiva, tal como no exemplo mostrado na Fig. 24, apenas as Imagens 1, 2, 4 e 7 podem ser visualizadas.

Assim, considerando a combinação mais flexível como um tipo de codificação de imagem, é um problema que ocorram as imagens que não podem ser visualizadas depois de serem descodificadas. É concebível a adição de outra memória de imagens para visualização e armazenar as imagens que não são armazenadas na memória de imagens PicMeml nesta memória de imagens para visualização, para que estas possam ser visualizadas; contudo, o ponto fraco é que esta memória de imagens requer, neste caso, uma enorme memória.

Além disso, aparece um novo problema na reprodução de uma imagem no meio do fluxo mesmo que seja introduzida uma outra memória de imagens para visualização. A Fig. 2 é um diagrama mostrando uma estrutura de predição, uma ordem de descodificação e uma ordem de visualização de imagens. A diferença em comparação com a Fig. 25 é que a estrutura de predição na 11 vizinhança da Imagem 7 se torna completamente independente. As imagens que se seguem à imagem 17 não são referidas quando as imagens com o instante de tempo de visualização anterior à imagem 17 são codificadas/descodifiçadas. Portanto, as imagens que se seguem à imagem 17 podem ser codificadas correctamente se a descodificação começar a partir da imagem 17 e a imagem 17 pode ser reproduzida independentemente. Deste modo, a inserção de uma imagem I no fluxo ocorre frequentemente. Este sistema para reproduzir uma imagem no meio do fluxo, que concorda com a norma MPEG-2, é chamado GOP (Grupo de Imagem). A correspondência de uma imagem reproduzida do aparelho de descodificação de imagem e aquela do aparelho de codificação de imagem no caso da reprodução da imagem no meio do fluxo ter de ser assegurada e o método fácil é inicializar toda a área da memória de imagens. Contudo, a Imagem 6 não foi, ainda, visualizada e armazenada na memória de imagens quando a Imagem 7 é descodificada, a Imagem 6, portanto, não pode ser visualizada a partir da memória de imagens no seu instante de tempo de visualização se toda a memória de imagens for inicializada antes que a visualização da Imagem 6 tenha lugar. 0 documento US 5909224 define uma memória tampão de 4 tramas. Tramas obsoletas são removidas após terem sido definidas como já não necessárias (para visualização ou para referência). Não define avaliação antecipada de se uma trama não de referência é necessária para visualização. O documento EP 0729276 define uma memória tampão de descodificador para um fluxo de bits de H.262. A memória tampão está dividida em várias camadas correspondentes à memória tampão de imagem de referência, memória tampão de imagem de 12 visualização, memória tampão de dados codificados temporários. Para tamanhos respectivos de imagens introduzidas, são definidos padrões de capacidade de memória tampão de visualização respectivos. Além disso, as tramas são divididas em sub-segmentos para se ajustarem às memórias tampão de capacidade limitada de 16 Mbits.

Os documentos XP030005105 e XP030005106, normas ITU-H.264, definem uma Actualização Instantânea de Descodificador e memórias tampão de longo-prazo/curto-prazo de imagem de referência. Imagens P e B também podem utilizar esta memória tampão. 0 tamanho de imagem não pode mudar excepto quando MMCO = reinicializar. Contudo, o documento XP030005106 não se refere a "instante de tempo de visualização". 0 documento XP030005106 refere-se a memória tampão pré-descodificador e a estampilhas temporais de apresentação para transmissão. 0 objectivo da presente invenção é, portanto, permitir a visualização das imagens que não podem ser visualizadas depois de terem sido descodificadas tomando em consideração a quantidade de memória necessária para a codificação/descodificação da imagem.

DIVULGAÇÃO DA INVENÇÃO A invenção é definida pelas reivindicações anexas.

BREVE DESCRIÇÃO DOS DESENHOS 13 A Fig. 1 é um diagrama mostrando uma estrutura de predição, uma ordem de descodificação e uma ordem de visualização de imagens. A Fig. 2 é um diagrama mostrando uma estrutura de predição, uma ordem de descodificação e uma ordem de visualização de imagens. A Fig. 3 é um diagrama de blocos mostrando um aparelho de codificação de imagem para realizar um método de codificação de imagem descrito numa primeira forma de realização. A Fig. 4 é um diagrama de fluxo mostrando uma operação duma unidade de controlo da imagem de referência descrita na primeira forma de realização.

As Fig. 5A, 5B e 5C são diagramas de estados mostrando o estado de armazenamento de imagens na memória. A Fig. 6 é um diagrama de fluxo mostrando a operação do aparelho de codificação de imagem descrito numa segunda forma de realização. A Fig. 7 é um diagrama de fluxo mostrando a operação do aparelho de codificação de imagem descrito numa terceira forma de realização. A Fig. 8 é um diagrama de fluxo mostrando a operação do aparelho de codificação de imagem descrito numa quarta forma de realização. A Fig. 9 é um diagrama de blocos mostrando um aparelho de 14 descodificação de imagem para realizar um método de descodificação de imagem da presente invenção descrito numa quinta forma de realização. A Fig. 10 é um diagrama de fluxo mostrando a operação do aparelho de descodificação de imagem da presente invenção descrito na quinta forma de realização. A Fig. 11 é um diagrama de fluxo mostrando outra operação do aparelho de descodificação de imagem da presente invenção descrito na quinta forma de realização. A Fig. 12 é um diagrama de fluxo mostrando ainda outra operação do aparelho de descodificação de imagem da presente invenção descrito na quinta forma de realização. A Fig. 13 é um diagrama de fluxo mostrando outra operação do aparelho de descodificação de imagem da presente invenção descrito na quinta forma de realização. A Fig. 14 é um diagrama de blocos mostrando a utilização de uma memória tampão virtual de atraso de visualização de um aparelho de codificação de imagem. A Fig. 15 é um diagrama de blocos mostrando um processamento da operação da memória tampão pós-descodificador para a codificação de acordo com a presente invenção. A Fig. 16 é um diagrama de blocos mostrando um processamento da operação da memória tampão pós-descodificador para a descodificação de acordo com a presente invenção. 15 A Fig. 17 é um exemplo da utilização da memória tampão virtual de atraso de visualização do aparelho de codificação de imagem para limitar o número máximo de imagens de referência. A Fig. 18 é um exemplo da utilização da memória tampão virtual de atraso de visualização para decidir o instante de tempo para visualizar uma primeira imagem. A Fig. 19 é uma ilustração do meio de armazenamento de forma a armazenar um programa para realizar o método de codificação de imagem e o método de descodificação de imagem de cada forma de realização num sistema de computação, descrito numa sétima forma de realização. A Fig. 20 é um diagrama de blocos mostrando a estrutura global de um sistema de fornecimento de conteúdos descrito numa oitava forma de realização. A Fig. 21 é uma vista de esboço mostrando um exemplo de um telefone celular utilizando o método de codificação/descodificação de imagem da presente invenção descrito na oitava forma de realização. A Fig. 22 é um diagrama de blocos do telefone celular. A Fig. 23 é um diagrama de blocos mostrando um exemplo de um sistema de difusão digital descrito na oitava forma de realização. A Fig. 24 é um diagrama mostrando uma estrutura de predição, uma ordem de descodificação e uma ordem de visualização de imagens. 16 A Fig. 25 é um diagrama mostrando uma estrutura de predição, uma ordem de descodificação e uma ordem de visualização de imagens. A Fig. 26 é um diagrama de blocos do aparelho de descodificação de imagem para realizar o método convencional de codificação de imagem. A Fig. 27 é um diagrama de mapeamento mostrando exemplos de códigos para os comandos de controlo de memória MMCO. A Fig. 28 é um diagrama de blocos do aparelho de descodificação de imagem para realizar o método convencional de descodificação de imagem.

MELHOR MODO DE EXECUÇÃO DA INVENÇÃO

Em seguida descreve-se uma primeira forma de realização útil para perceber a presente invenção. (Primeira Forma de Realização) (nao abrangida pelas reivindicações) A Fig. 3 é um diagrama de blocos mostrando um aparelho de codificação de imagem para realizar um método de codificação de imagem. Os mesmos números de referência são colocados nos dispositivos que operam da mesma maneira, como descrito no bloco mostrando um aparelho de codificação de imagem para realizar um método convencional de codificação mostrado na Fig. 26 e a 17 explicação é assim abreviada.

As diferenças entre o diagrama de blocos na Fig. 26 mostrando o aparelho de codificação de imagem para realizar o método convencional de codificação de imagem e o diagrama de blocos na Fig. 3, mostrando o aparelho de codificação de imagem para realizar o método de codificação de imagem são que a unidade de controlo de visualização de imagem DisPicCtrl é adicionada à Fig. 3 e que as instruções enviadas a partir da unidade de controlo de visualização de imagem DisPicCtrl são emitidas para uma unidade de controlo da imagem de referência RefPicCtrl e uma memória de imagens PicMem2.

No aparelho 100 de codificação de imagem, mostrado na

Fig. 3, é introduzida uma unidade de modificação de tamanho de imagem PicSize para obter um tamanho de imagem modificado por operações externas bem como um tipo de codificação de cada imagem (imagem I, imagem P e imagem B) a partir da unidade de determinação de estrutura de imagem PicStruct e enviar informação indicando o tamanho de imagem para ser modificado a uma unidade de controlo da imagem de referência RefPicCtrl. A operação da memória de imagens PicMem2 é quase a mesma que a da memória de imagens PicMeml, portanto, apenas as operações diferentes serão explicadas. A unidade de controlo de visualização de imagem DispPicCtrl obtém um instante de tempo de imagem Time e avalia se uma imagem, que não está armazenada uma vez que não é para referência, pode ser ou não visualizada imediatamente (se é necessário armazenar a imagem na memória de imagens até ao seu instante de tempo de visualização). O instante de tempo de 18 imagem Time, um sinal para especificar uma imagem para ser visualizada, é introduzido a partir do exterior. 0 instante de tempo de imagem pode ser obtido dos seguintes modos: a partir da informação temporal emitida a partir do sistema para transmitir imagens através duma linha de transmissão, tal como um pacote, a partir da informação temporal no processo de formatação dum fluxo de vídeo e dum fluxo de áudio para a sua multiplexagem; ou a partir da informação temporal no processo de formatação de um fluxo de vídeo. 0 instante de tempo de imagem pode ser ou um instante de tempo absoluto que informa do instante de tempo para cada imagem ou um instante de tempo relativo que informa sobre a ordem das imagens. Além disso, os intervalos de visualização de imagens são normalmente fixos, portanto, a ordem de visualização das imagens pode ser considerada como o instante de tempo de visualização.

Agora, o caso no qual a imagem é visualizável de imediato é um caso no qual a imagem obtida após o cálculo no somador Add corresponde com a imagem a ser visualizada indicada pelo instante de tempo de imagem Time. Neste caso, uma imagem a ser visualizada antes da imagem que ainda não foi visualizada e emitida para codificação não é encontrada na memória de imagens PicMem2. Quando a imagem não pode ser visualizada de imediato, a unidade de controlo de visualização de imagem DispPicCtrl ordena à unidade de controlo de imagem de referência RefPicCtrl para armazenar a imagem, apesar de não ser para referência, na memória de imagens PicMem2. Deste modo, a imagem que não é visualizada de imediato é armazenada na memória de imagens PicMem2 sem falha independentemente de ser para referência ou não e pode ser visualizada a partir da memória de imagens PicMem2 no aparelho de descodificação. 19 A Fig. 4 é um diagrama de fluxo mostrando uma operaçao da unidade de controlo de imagem de referência RefPicCtrl. A unidade de controlo de imagem de referência RefPicCtrl avalia se uma imagem descodificada (imagem) deve ser ou não armazenada para referência para uma imagem predictiva (Passo 10) . Quando a imagem descodificada é utilizada para referência, a operação prossegue para o Passo 12, caso contrário para o Passo 11.

No Passo 11, a unidade de controlo de imagem de referência RefPicCtrl avalia se uma imagem descodificada é ou não visualizável de imediato. "Visualizável de imediato" significa, neste caso, que a imagem descodificada pode ser visualizada no instante de tempo em que está a ser descodificada (ver, por exemplo, a Imagem 1 na Fig. 1). A imagem descodificada que não é visualizável de imediato significa que necessita de ser visualizada mais tarde (por exemplo, B5 mostrada na Fig. 1). Quando a imagem é visualizável de imediato, a operação está terminada, caso contrário, prossegue para o Passo 12.

No Passo 12, a unidade de controlo da imagem de referência RefPicCtrl obtém uma área capaz de armazenar uma imagem na memória de imagens PicMem2 e ordena o armazenaento da imagem descodificada na área obtida na memória de imagens PicMem2 utilizando um comando de controlo de memória MMCO no Passo 13.

Desta forma, a imagem que não é visualizada de imediato é armazenada na memória de imagens PicMem2 e pode ser emitida para visualização a partir da memória de imagens PicMem2 quando chega o instante de tempo para a sua visualização. Isto não requer uma memória de imagens desnecessária atribuída para uma imagem para 20 visualização e uma imagem que necessite de ser armazenada para visualização pode ser armazenada na memória de imagens atribuída para uma imagem para referência. A memória de imagens PicMem2 inclui uma área para referência na qual uma imagem de referência é armazenada para gerar uma imagem predictiva e uma área para visualização na qual uma imagem para visualização é armazenada.

Entretanto, um tamanho de imagem pode ser modificado para cada GOP (Grupo de Imagem) mencionado anteriormente. A modificação do tamanho de imagem toma lugar apenas quando uma área inteira para referência na memória, armazenando uma imagem de referência desnecessária, é libertada (tornar o estado da memória reutilizável).

Contudo, quando a modificação do tamanho da imagem toma lugar como descrito anteriormente, a imagem para visualização que ainda não foi visualizada, é armazenada na área de memória e é necessário determinar explicitamente uma estratégia de cópia de como tratar esta imagem para visualização mas ainda não visualizada (se apagá-la ou se armazená-la até que esta seja visualizada).

Em seguida, é explicado em fases o estado de armazenamento das imagens na memória quando tem lugar a alteração do tamanho da imagem.

As Fig. 5A, 5B e 5C são diagramas de estados mostrando o estado de armazenamento em fases das imagens na memória.

Em 5A, as imagens 200a, 200b e 200c são as imagens para 21 referência (as imagens para serem utilizadas para referência de forma a gerar uma imagem predictiva) ao passo que as imagens 201a, 201b, 201c, 201d e 201e são as imagens para visualização (imagens para serem visualizadas e ainda não visualizadas).

As imagens 201a, 201b, 201c, 201d e 201e serão visualizadas por ordem numérica como mostrado na Fig. 5A. A Fig. 5A ilustra o estado no qual todas as áreas de memória atrbuidas para as imagens 200a, 200b e 200c são libertadas para serem reutilizadas. A Fig. 5B mostra que o tamanho da imagem é modificado a seguir ao estado mostrado na Fig. 5A. Uma imagem 202A de referência, sendo modificada para um tamanho maior, é armazenada na área de memória na qual a imagem 200a de referência tinha sido armazenada. Além disso, a imagem 201a para visualização é emitida para visualização e a sua área de memória é libertada. A Fig. 5C mostra um estado no qual a área de memória que armazena a imagem 201b para visualização é libertada depois do estado mostrado na Fig. 5B. Uma imagem 202b de referência, sendo modificada para um tamanho maior, é armazenada na área de memória na qual as imagens 201a e 201b para visualização foram armazenadas e sobra uma pequena área 203 de memória. Apesar da área de memória que armazena a imagem 201c para visualização ser libertada, a imagem de referência (cujo tamanho de imagem foi aumentado) não pode ser armazenada novamente.

Assim, quando o tamanho da imagem é modificado, as imagens de diferentes tamanhos de imagem são misturadas na memória (as imagens de referência cujos tamanhos de imagem são aumentados e 22 as imagens para visualização que ainda nao foram visualizadas e cujos tamanhos ainda não foram modificados).

Em consequência, a memória é utilizada de forma fragmentada, o que produz uma pequena área de memória que não pode ser utilizada e a utilizabilidade é, portanto, deteriorada. Quando os dados na memória são reposicionados de forma a que a pequena área de memória causada pela modificação da imagem desapareça, o acesso à memória aumenta grandemente e, portanto, é difícil realizar as operações de codificação e descodificação em tempo real.

Quando o tamanho da imagem é modificado, dois métodos são concebíveis. 0 primeiro método é libertar a área para visualização na qual estão armazenadas as imagens para visualização que ainda não foram visualizadas e a área para referência na qual estão armazenadas as imagens de referência (como um estado reutilizável) e permite a visualização de imagens para visualização que ainda não foram visualizadas. Isto pode evitar a utilização da memória de forma fragmentada causada pela mistura de imagens de diferentes tamanhos e portanto a deterioração da utilizabilidade da memória pode ser reduzida. A modificação do tamanho da imagem, descrita anteriormente, toma lugar como descrito no seguinte. A unidade de modificação do tamanho da imagem PicSize mostrada na Fig. 3 recebe o tipo de codificação (imagem I, imagem P e imagem B) de cada imagem determinado pela unidade de determinação da estrutura de imagem PicStruct e o tamanho da imagem para a modificação introduzida a partir do exterior e emite para a unidade de controlo de imagem de referência RefPicCtrl uma instrução para modificar o tamanho da imagem com o instante de tempo para começar a codificar a 23 imagem I. A imagem I é uma imagem I especial (imagem IDR (Actualização Instantânea de Descodificação) para ser inserida, por exemplo, no inicio do GOP. 0 segundo método é trocar o método para libertar toda a área da memória e descartar as imagens para visualização que ainda não foram visualizadas e um método para libertar apenas a área para referência na qual as imagens de referência são armazenadas e visualizar as imagens para visualização que ainda não tenham sido visualizadas antes que a modificação de tamanho tenha lugar com uma avaliação feita por um aparelho de descodificação de imagem (descodificador) para descodificar um sinal codificado (fluxo) o qual é referido mais tarde, de forma a que a visualização das imagens para visualização que ainda não foram visualizadas não seja obrigatória. Neste caso, o aparelho de descodificação de imagem permite a visualização das imagens visualizáveis, por exemplo, as imagens não danificadas de acordo com a ordem de visualização.

Para operar esta troca, informação de instrução (indicador) indicando um dos métodos seguintes: o método para libertar toda a área da memória; e o método para libertar apenas a área para referência na qual a imagem de referência está armazenada, ou outra informação identificável está contida no fluxo Str emitido a partir do aparelho 100 de codificação de imagem.

No lado do aparelho de descodificação de imagem, o processamento é operado baseado na informação de instrução colocada no fluxo.

Os seguintes exemplos são concebíveis para os critérios de avaliação de forma a trocar os dois métodos indicados pela informação de instrução: um criador de conteúdos pode decidir o método de acordo com uma aplicação; apenas a área para referência é libertada mas não a área para visualização armazenando uma imagem para visualização que ainda não tenha sido visualizada (não libertando toda a área da memória) quando a memória pode permitir fornecer o espaço.

Com a construção descrita anteriormente, o aparelho de codificação de imagem pode ser realizado para resolver os problemas existentes. (Segunda Forma de Realizaçao) (nao abrangida pelas reivindicações)

Em seguida descreve-se uma segunda forma de realização útil para perceber a presente invenção.

Na presente forma de realização, a unidade de controlo de imagem de visualização DispPicCtrl mostrada na Fig. 3 ordena à memória de imagens PicMem2 para não armazenar uma imagem nova na área armazenando a imagem que ainda não foi visualizada, quando uma imagem é armazenada na área de memória libertada. Normalmente, mesmo quando uma área para imagens é libertada, uma imagem armazenada imediatamente antes pode ser reproduzida enquanto não for novamente armazenada uma imagem (escrevendo por cima) na área. Mesmo se uma área de memória na qual a imagem que ainda não foi visualizada é libertada, a imagem que ainda não foi visualizada e é libertada no instante de tempo de visualização mas que é deixada sem ser escrita por cima pode ser visualizada armazenando uma nova imagem, não na área de memória mas na área onde a imagem que já foi visualizada está 25 armazenada. A imagem na área de imagens libertada da memória de imagens é chamada imagem para visualização. Neste caso "já visualizada" é praticamente um sinónimo de "já emitida para um dispositivo de visualização". A Fig. 6 é um diagrama de fluxo mostrando uma operação do aparelho 100 de codificação de imagem da presente forma de realização. A presente forma de realização caracteriza-se na determinação do armazenamento da imagem ao avaliar se a imagem armazenada na área libertada na memória já foi visualizada ou não.

Primeiramente, no Passo 20, o aparelho 100 de codificação de imagem avalia se a imagem descodificada deve ou não ser armazenada na memória de imagens PicMem2 baseado nas instruções indicadas no comando de controlo de memória MMCO.

No caso de armazenar a imagem descodificada na memória de imagens, é obtida a área de imagens libertada (Passo 21) e é verificado se uma imagem armazenada na área de imagens libertada já foi visualizada ou não (Passo 22). Quando esta ainda não foi visualizada, a operação volta para o Passo 21 e o processamento continua até que a área libertada na qual a imagem já visualizada foi armazenada é encontrada.

Quando essa área libertada é encontrada, a imagem descodificada é armazenada na área (Passo 23).

Assim, quando a imagem a ser visualizada é visualizada, a imagem que ainda não foi visualizada é armazenada na memória sem ser escrita por cima até ao seu instante de tempo de visualização, uma vez que a área armazenando a imagem 26 visualizada é reutilizada.

Se uma imagem armazenada na memória já foi visualizada ou não, pode ser avaliado pela unidade de controlo de imagem de visualização DispPicCtrl gerindo informação sobre se a imagem foi visualizada ou não.

Se uma área de imagens é uma área libertada ou não, pode ser avaliado fazendo referência à informação de que cada área de imagem é libertada ou não, por exemplo, "utilizada (utilizável como imagem de referência)" ou "não utilizada (já não utilizada como imagem de referência)" armazenada na memória de imagens PicMem2 de acordo com o comando de controlo de memória MMCO.

Com a estrutura descrita anteriormente, o aparelho de codificação de imagem pode ser realizado de forma a ultrapassar os problemas existentes.

Assim, a escrita de uma imagem nova por cima da imagem que ainda não foi visualizada pode ser evitada, de forma a que a última imagem possa ser emitida para visualização a partir da área que já está libertada mas ainda não escrita por cima no instante de tempo de visualização. A imagem que necessita de ser armazenada para visualização pode ser armazenada sem requerer uma memória desnecessária.

Como uma operação no caso que requer a modificação no tamanho da imagem é a mesma que na primeira forma de realização, a explicação é abreviada. 27 (Terceira Forma de Realizaçao) (nao abrangida pelas reivindicações)

Em seguida descreve-se a terceira forma de realização útil para perceber a presente invenção. A Fig. 7 é um diagrama de fluxo de uma operação do aparelho 100 de codificação de imagem da terceira forma de realização. A presente forma de realização caracteriza-se na determinação do armazenamento da imagem de acordo com o instante de tempo em que a memória é libertada.

Primeiramente, no Passo 30, o aparelho 100 de codificação de imagem avalia se a imagem descodificada deve ou não ser armazenada na memória de imagens PicMem2 baseado nas instruções indicadas no comando de controlo de memória MMCO.

No caso de armazenar a imagem descodificada na memória de imagens, é obtida a área de memória de imagens libertada cujo instante de tempo de visualização é o primeiro dentro da área libertada (Passo 31) e a imagem descodificada é armazenada na área obtida (Passo 32). A área de memória na qual a imagem é descodificada e armazenada no primeiro instante de tempo, em vez da área de memória libertada no primeiro instante de tempo de visualização, pode ser atribuída como uma área para armazenar a imagem. Porque, existe uma possibilidade elevada de que as imagens armazenadas nestas áreas de memória já tenham sido visualizadas.

Estes primeiros instantes de tempo não são, necessariamente, baseados no tempo e podem ser o primeiro 28 instante de tempo de acordo com uma ordem, por exemplo, pode ser o primeiro instante de tempo de acordo com uma ordem de visualização. Por exemplo, é fortemente possível que uma imagem cuja ordem de visualização é a primeira já tenha sido visualizada e uma área de memória armazenando essa imagem pode ser reutilizada alternadamente como a área de armazenamento na memória independentemente de já ter sido visualizada ou não. Normalmente, os intervalos de visualizar imagens são regulares, portanto, a ordem de visualização de imagens pode ser considerada como o instante de tempo de visualização.

Assim, a escrita de uma imagem nova por cima da imagem que ainda não foi visualizada pode ser evitada de forma a que a última imagem possa ser emitida para visualização a partir da área que já está libertada mas ainda não escrita por cima no instante de tempo de visualização. A imagem que necessita de ser armazenada para visualização pode ser armazenada sem requerer uma memória desnecessária. 0 processamento de armazenar a imagem que necessita de ser armazenada para visualização pode ser executada, independentemente da imagem armazenada na memória de imagens PicMem2 já tiver sido visualizada ou não. Quando o primeiro instante de tempo indica o primeiro instante de tempo no instante de tempo de visualização, se a imagem está ou não armazenada no primeiro instante de tempo pode ser avaliado pela unidade de controlo de imagem de visualização DispPicCtrl gerindo a informação se a imagem é visualizada ou não.

Como uma operação num caso em que se requer uma modificação no tamanho da imagem é a mesma que a descrita na primeira forma de realização, a explicação é abreviada. 29 (Quarta Forma de Realizaçao) (nao abrangida pelas reivindicações)

Em seguida ilustra-se uma quarta forma de realização útil para perceber a presente invenção. A Fig. 8 é um diagrama de fluxo de uma operação do aparelho 100 de codificação de imagem de acordo com a quarta forma de realização. A presente forma de realização caracteriza-se na determinação do armazenamento da imagem de acordo com uma ordem para libertar a memória.

Primeiramente, no Passo 40, o aparelho 100 de codificação de imagem avalia se a imagem descodificada deve ou não ser armazenada na memória de imagens PicMem2 com base nas instruções indicadas no comando de controlo de memória MMCO.

No caso de armazenar a imagem descodificada na memória de imagens, obém-se a área de memória de imagens libertada no primeiro instante de tempo dentro da área libertada (Passo 41) e a imagem descodificada é armazenada na área obtida (Passo 42).

Uma vez que este é um sistema que gere a informação sobre instante de tempo de visualização, é difícil obter o instante de tempo de visualização dependendo de um método para fabricar um aparelho de descodificação de vídeo. É muito possível que a imagem com o primeiro instante de tempo de visualização seja armazenada na área libertada em primeiro lugar do que na imagem libertada mais tardiamente. Nomeadamente, é fortemente possível que a imagem libertada primeiro já tenha sido visualizada. Portanto, existe uma forte possibilidade que a imagem que ainda não foi visualizada não tenha sido escrita por cima quando a 30 imagem descodificada é armazenada na área da imagem libertada em primeiro lugar.

Se uma área de imagens é uma área libertada ou não pode ser avaliado fazendo referência à informação de que cada área de imagem é libertada ou não, por exemplo, "utilizada (utilizável como imagem de referência)" ou "não utilizada (já não utilizada como imagem de referência)" armazenada na memória de imagens PicMem2 de acordo com o comando de controlo de memória MMCO. Ou, a utilização da área das imagens pode ser fixa antecipadamente para um processo pré-determinado de forma a avaliar se a área das imagens é aquela que foi libertada primeiro de acordo com o processo. Por exemplo, isto pode ser avaliado pela memória de imagens PicMem2 funcionando como uma memória utilizando um método primeiro a entrar, primeiro a sair (FIFO) pelo qual os conteúdos da gravação cujas gravações de instante de tempo registam que uma imagem deve ser armazenada novamente é descartada sequencialmente, alternadamente, e as últimas imagens de um número fixo de tramas (ou número de imagens) são sempre armazenadas. Assim, a escrita de uma imagem nova por cima da imagem que ainda não foi visualizada pode ser evitada de forma a que a última imagem possa ser emitida para visualização a partir da área que já está libertada mas ainda não escrita por cima no instante de tempo de visualização.

Como uma operação no caso que requer a modificação no tamanho da imagem é a mesma que na primeira forma de realização, a explicação é abreviada. 31 (Quinta Forma de Realizaçao)

Em seguida ilustra-se uma quinta forma de realização da presente invenção. A Fig. 9 é um diagrama de blocos de um aparelho de descodificação de imagem para realizar o método de descodificação de imagem da presente invenção. Os mesmos números de referência são utilizados para os dispositivos que operam do mesma modo que um aparelho de codificação de imagem para realizar o método de codificação de imagem de acordo com a presente invenção mostrado no diagrama de blocos da Fig. 3 e um aparelho de descodificação de imagem para realizar o método convencional de descodificação de imagem mostrado no diagrama de blocos da Fig. 28 e a explicação é assim abreviada. A diferença entre o aparelho 150 de descodificação de imagem mostrado na Fig. 9 e o exemplo do aparelho convencional mostrado na Fig. 28 é que a unidade de detecção de modificação de tamanho de imagem PicSizeDet e uma unidade de controlo de imagem de visualização DispPicCtrl são estabelecidas de novo. A unidade de detecção de modificação de tamanho de imagem PicSizeDet emite um comando para modificar o tamanho da imagem no instante de tempo de inicio da codificação de uma imagem I especial (imagem IDR) baseado no tamanho da imagem para a modificação obtido a partir do exterior e do comando de controlo de memória MMCO obtido a partir da unidade de descodificação de comprimento variável VLD. A unidade de controlo de imagem de visualização DispPicCtrl ordena à memória de imagens PicMem2 para não armazenar uma imagem nova na área para a imagem que ainda não foi visualizada 32 ao armazenar a nova imagem na área libertada. Normalmente, mesmo quando uma área para imagens é libertada, dados de uma imagem armazenada imediatamente antes permanecem na memória e podem ser reproduzidos enquanto não for novamente armazenada uma imagem (escrevendo por cima) na área. A imagem que é libertada no instante de tempo de visualização, mas que é deixada sem ser escrita por cima, pode ser visualizada armazenando uma imagem nova na área onde a imagem que já foi visualizada está armazenada mesmo que a área de memória na qual a imagem que ainda não foi visualizada seja libertada. Neste caso "já visualizada" é praticamente um sinónimo de "já emitida para um dispositivo de visualização".

Assim, quando a imagem a ser visualizada é visualizada, a imagem que ainda não foi visualizada é armazenada na memória sem ser escrita por cima até ao seu instante de tempo de visualização uma vez que a área armazenando a imagem visualizada é reutilizada.

Com a estrutura descrita anteriormente, o aparelho de descodificação de imagem da presente invenção pode ser realizado de forma a ultrapassar os problemas existentes. 0 aparelho 150 de descodificação de imagem pode descodificar um sinal codificado que é codificado pelo aparelho 100 de codificação de imagem mostrado na terceira e quarta formas de realização. Neste caso, a operação para a utilização da memória de imagens é a mesma que aquela descrita para o aparelho de codificação de imagem mostrado na terceira e quarta formas de realização. Nomeadamente, para a re-utilizabilidade da área de imagem que é libertada (já não utilizada para referência) na memória de imagens, pode ser empregue qualquer dos métodos de decidir a área para a imagem a ser novamente armazenada descritos nas 33 primeira a terceira formas de realizaçao.

Em seguida descrevem-se métodos de armazenar a imagem na memória quando se descodifica o sinal codificado pelo aparelho de codificação de imagem mostrado na terceira e quarta formas de realização.

Primeiro, é explicado o método de armazenamento da imagem na memória no instante de tempo de descodificação do sinal codificado pelo aparelho de codificação de imagem mostrado na terceira forma de realização. 0 aparelho 150 de descodificação de imagem avalia se a imagem descodificada emitida a partir da unidade de adição Add no aparelho 150 de descodificação de imagem deve ou não ser armazenada na memória de imagens PicMem2 baseado na ordem indicada no comando de controlo de memória MMCO.

Quando se armazena a imagem descodificada na memória de imagens, é obtida a área da memória de imagens libertada em primeiro lugar e a imagem descodificada é armazenada na área obtida.

Neste caso, a área de memória na qual a imagem é descodificada e armazenada no primeiro instante de tempo ou a área de memória na qual a imagem com o primeiro instante de tempo de visualização é armazenada em vez da área de memória libertada no primeiro instante de tempo pode ser atribuída como uma área para armazenar a imagem. Porque existe uma possibilidade elevada de que as imagens armazenadas nestas áreas de memória já tenham sido visualizadas. 34

Uma vez que é um sistema que gere a informação sobre instante de tempo de visualização, é difícil obter o instante de tempo de visualização dependendo de um método para fabricar um aparelho de descodificação de imagem. É fortemente possível que a imagem com o primeiro instante de tempo de visualização seja armazenada na área na qual a imagem é armazenada no primeiro instante de tempo do que aquela na qual a imagem é armazenada mais tardiamente. É fortemente possível que a imagem armazenada no primeiro instante de tempo já tenha sido visualizada uma vez que é natural que a imagem com o primeiro instante de tempo de visualização já tenha sido visualizada. Portanto, existe uma forte possibilidade que a imagem que ainda não foi visualizada não tenha sido escrita por cima quando a imagem descodificada é armazenada na área na qual a imagem armazenada num primeiro instante de tempo tenha sido armazenada. Quando o primeiro instante de tempo corresponde ao primeiro instante de tempo quando a imagem é codificada, se a imagem foi codificada no primeiro instante de tempo, por exemplo, pode ser avaliado pela estrutura de predição e pela ordem de descodificação da imagem.

Estes primeiros instantes de tempo não são, necessariamente, baseados no tempo e podem ser o primeiro instante de tempo de acordo com uma ordem, por exemplo, pode ser o primeiro instante de tempo de acordo com uma ordem de visualização. Por exemplo, é fortemente possível que uma imagem cuja ordem de visualização é a primeira já tenha sido visualizada e uma área de memória armazenando essa imagem pode ser reutilizada alternadamente como uma área de armazenamento na memória independentemente de já ter sido visualizada ou não. Normalmente, os intervalos de visualizar imagens são regulares, portanto, a ordem de visualização de imagens pode ser considerada como o instante de tempo de visualização. 35

Assim, a escrita de uma imagem nova por cima da imagem gue ainda não foi visualizada pode ser evitada de forma a que a última imagem possa ser emitida para visualização a partir da área que já está libertada mas ainda não escrita por cima no instante de tempo de visualização. Também, a imagem que necessita de ser armazenada para visualização pode ser armazenada sem requerer uma memória desnecessária. 0 processamento de armazenar a imagem que necessita de ser armazenada para visualização pode ser executado independentemente da imagem armazenada na memória de imagens PicMem2 já tiver sido visualizada ou não. Quando o primeiro instante de tempo indica o primeiro instante de tempo no instante de tempo de visualização, se a imagem está ou não armazenada no primeiro instante de tempo pode ser avaliado pela unidade de controlo de imagem de visualização DispPicCtrl gerindo a informação sobre se a imagem é visualizada ou não.

Em seguida descreve-se um método de armazenar uma imagem na memória quando se descodifica o sinal codificado pelo aparelho de codificação de imagem mostrado na quarta forma de realização. 0 aparelho 150 de descodificação de imagem avalia se a imagem descodificada emitida a partir da unidade de adição Add mencionada anteriormente do método 150 de descodificação de imagem deve ou não ser armazenada na memória de imagens PicMem2 baseado na ordem indicada no comando de controlo de memória MMCO.

No caso de se armazenar a imagem descodificada na memória de imagens, é obtida a área da memória de imagens libertada em primeiro lugar e a imagem descodificada é armazenada na área 36 obtida.

Uma vez que este é um sistema que gere a informação sobre instante de tempo de visualização, é difícil obter o instante de tempo de visualização dependendo de um método para fabricar um aparelho de descodificação de vídeo. É fortemente possível que a imagem com o primeiro instante de tempo de visualização seja armazenada na área libertada em primeiro lugar do que a imagem libertada mais tardiamente. Nomeadamente, é fortemente possível que a imagem libertada primeiro já tenha sido visualizada. Portanto, existe uma forte possibilidade que a imagem que ainda não foi visualizada não tenha sido escrita por cima armazenando a imagem descodificada na área da imagem libertada em primeiro lugar.

Se uma área de imagens é uma área de imagens libertada em primeiro lugar ou não pode ser avaliado fazendo referência à informação de que cada área de imagem é libertada ou não, por exemplo, "utilizada (utilizável como imagem de referência)" ou "não utilizada (já não utilizada como imagem de referência)" armazenada na memória de imagens PicMem2 de acordo com o comando de controlo de memória MMCO, incluindo a ordem de libertação das imagens. Ou, a utilização da área das imagens pode ser fixa antecipadamente para um processo pré-determinado de forma a avaliar se a área das imagens é aquela que foi libertada primeiro de acordo com o processo. Por exemplo, isto pode ser avaliado pela memória de imagens PicMem2 funcionando como uma memória utilizando um método primeiro a entrar, primeiro a sair (FIFO) pelo qual os conteúdos da gravação com instante de tempo de gravação antigo são descartados sequencialmente quando os novos dados são gravados de forma a que as últimas imagens de um número fixo de tramas (ou número de imagens) são sempre 37 armazenadas .

Assim, a escrita de uma imagem nova por cima da imagem que ainda não foi visualizada pode ser evitada e a imagem pode ser emitida para visualização a partir da área que já está libertada mas ainda não escrita por cima no instante de tempo de visualização. A unidade de visualização Disp pode ser instalada no exterior do aparelho 150 de descodificação de imagem em vez de nele estar incluído, de forma a que o aparelho 150 de descodificação de imagem possa enviar apenas os dados necessários para visualizar uma imagem na unidade de visualização Disp.

Neste caso, a operação do aparelho 150 de descodificação de imagem quando o tamanho de imagem é modificado, é ilustrada como já explicado na segunda forma de realização. Contudo, a operação é a mesma que aquela descrita na terceira e quarta formas de realização, portanto, a explicação é abreviada.

Um método correspondente ao primeiro método no caso no qual o tamanho da imagem é modificado, mostrado na segunda forma de realização, é que o aparelho 150 de descodificação de imagem liberta toda uma área de memória incluindo a área para referência na qual a imagem de referência está armazenada e a área para visualização na qual a imagem para visualização está armazenada e executa uma inicialização quando recebe um comando para modificar o tamanho da imagem. A Fig. 10 é um diagrama de fluxo mostrando uma operação do aparelho 150 de codificação de imagem. 38 0 aparelho 150 de codificação de imagem avalia um sinal emitido a partir da unidade de detecção de modificação de tamanho da imagem PicSizeDet indica, ou não, uma modificação dum tamanho de imagem (Passo 100). Quando este indica uma modificação (Sim no Passo 100), o aparelho 150 de codificação de imagem liberta toda uma área de memória da memória de imagens PicMem2 (como um estado reutilizável), inicializa-a (Passo 102) e termina o processamento.

Quando o tamanho da imagem não é modificado (Não no

Passo 100), o aparelho 150 de descodificação de imagem avalia se o comando de controlo da memória MMCO, emitido a partir da unidade de descodificação de comprimento variável VLD indica, ou não, a libertação (inicialização) de toda a área de memória na memória de imagens PicMem2 (Passo 101) e se isso acontece (Sim no Passo 101), liberta toda a área de memória (Passo 102), se não (Não no Passo 101), liberta apenas a área para referência na qual a imagem de referência está armazenada (Passo 103) e termina o processamento.

Assim, libertar toda a área de memória evita a utilização fragmentada da memória provocada pela mistura das imagens de tamanhos diferentes e, deste modo, pode ser reduzida a deterioração na usabilidade da memória.

Em seguida, é explicada uma operação do aparelho 150 de descodificação de imagem correspondente ao segundo método no caso da modificação do tamanho da imagem mostrado na segunda forma de realização.

No caso de modificação do tamanho da imagem, os métodos são 39 trocados entre si: um método para libertar toda a área de memória ou um método para libertar apenas a área para referência, na qual a imagem de referência está armazenada e visualizar a imagem visualizável de entre as imagens que ainda não foram visualizadas com a avaliação feita pelo aparelho 150 de descodificação de imagem.

Como descrito na segunda forma de realização, a informação de instrução (indicador) indicando a libertação de toda a área de memória ou apenas a libertação da área para referência, está contida no comando de controlo da memória MMCO no fluxo Str emitido a partir do aparelho 100 de codificação de imagem. O aparelho 150 de descodificação de imagem determina qualquer dos dois métodos descritos anteriormente com base na informação de ordem contida no comando de controlo de memória MMCO. A Fig. 11 é um diagrama de fluxo mostrando uma operação de determinação.

Primeiro, o aparelho 150 de descodificação de imagem avalia se a informação de instrução (indicador) indica ou não a inicialização de toda a área de memória (Passo 150) . Quando indica a inicialização de toda a área (Sim no Passo 150), o aparelho 150 de descodificação de imagem liberta toda a área, para inicialização, incluindo a área para visualização armazenando a imagem para visualização que ainda não foi visualizada (Passo 151), se não (Não no Passo 150), liberta apenas a área para referência para inicialização (Passo 152).

Quando a informação de instrução (indicador) não indica a 40 inicialização de toda a área, o aparelho 150 de descodificação de imagem liberta apenas a área para referência. Quanto à imagem que ainda não foi visualizada e armazenada numa área diferente da área de referência, o aparelho 150 de descodificação de imagem avalia a imagem e visualiza o visualizável.

Em seguida descreve-se a operação do aparelho 150 de descodificação de imagem no caso de inicializar apenas a área para referência, em referência a um diagrama de fluxo. A Fig. 12 é um diagrama de fluxo mostrando uma operação do aparelho 150 de descodificação de imagem (descodificador). 0 aparelho 150 de descodificação de imagem avalia se o sinal emitido a partir da unidade de detecção de modificação do tamanho de imagem PicSizeDet indica, ou não, uma modificação do tamanho de imagem (Passo 200). A não ser que indique uma modificação no tamanho da imagem (Não no Passo 200), o aparelho 150 de descodificação de imagem visualiza a imagem para ser visualizada que ainda não foi visualizada armazenada na área para visualização (Passo 203).

Entretanto, quando o sinal indica a modificação do tamanho da imagem (Sim no Passo 200), o aparelho 150 de descodificação de imagem determina se a imagem para visualização armazenada na área de visualização é, ou não, aquela antes da modificação do tamanho ter lugar (Passo 201) . Quando tal não é o caso (Não no Passo 201), o aparelho 150 de descodificação de imagem visualiza a imagem para ser visualizada que ainda não foi visualizada (Passo 203). Quando é o caso (Sim no Passo 201), o aparelho 150 de descodificação de imagem avalia se a imagem para visualização é ou não visualizável e visualiza-a baseado na avaliação 41 (Passo 202).

Em seguida descreve-se uma operação do aparelho 150 de descodificação de imagem para uma avaliação sobre se a imagem pode ser ou não visualizada. A Fig. 13 é um diagrama de fluxo mostrando a operação do aparelho 150 de descodificação de imagem no que respeita à visualização da imagem.

Na Fig. 13, as mesmas marcas são utilizadas para o mesmo processamento tal como foi descrito na Fig. 12. O aparelho 150 de descodificação de imagem avalia se a imagem para visualização armazenada na área de visualização é, ou não, aquela antes da modificação de tamanho ter tido lugar (Passo 201). Quando a imagem não é aquela antes da modificação ter tido lugar (Não no Passo 201), o aparelho 150 de descodificação de imagem visualiza a imagem. Doutro modo, quando a imagem é aquela antes da modificação ter tido lugar (Sim no Passo 201), o aparelho 150 de descodificação de imagem determina se a imagem a ser visualizada está ou não danificada (Passo 211). Quando a imagem não está danificada (Não no Passo 211) a imagem é considerada como visualizável e, deste modo, visualizada (Passo 210) . Quando esta está danificada (Sim no Passo 211), a imagem precedente, por exemplo, é visualizada na vez desta. Neste caso, não estar danificada significa que a imagem a ser visualizada não foi escrita por cima de forma a que os dados de uma imagem nova sejam armazenados mesmo que a imagem seja uma parte de uma imagem que está a ser armazenada nesse instante. Desta forma, o aparelho 150 de descodificação de imagem avalia se a imagem para ser visualizada está ou não 42 danificada, determina que uma imagem nao danificada é visualizável e visualiza-a.

Assim, como explicado nos diagramas de fluxo das Fig. 11, 12 e 13, o aparelho 150 de descodificação de imagem visualiza a imagem que ainda não foi visualizada de acordo com a informação de instrução (indicador) indicando se se deve, ou não, inicializar toda a área de memória quando a modificação do tamanho da imagem tem lugar.

Devido ao método de descodificação de imagem do aparelho 150 de descodificação de imagem, como descrito anteriormente, é realizada uma descodificação apropriada, trocando para inicializar toda a área de memória ou para inicializar apenas a área para referência e visualizar a imagem para visualização que ainda não tenha sido visualizada mesmo quando é executada a modificação do tamanho da imagem. Nomeadamente, quando a área livre na memória é pequena, por exemplo, toda a área de memória é inicializada para reutilização enquanto que quando a área livre é grande, o caso pode ser tratado de forma flexível permitindo a visualização da imagem que ainda não foi visualizada após inicializar apenas a área para referência. (Sexta Forma de Realização)

Os seguintes termos são utilizados na sexta forma de realização. Nomeadamente, uma memória tampão de imagem de referência é uma área combinando uma área de referência e aquela para visualização na memória de imagens PicMem2 num aparelho de codificação de imagem. Uma memória tampão virtual de atraso de 43 visualização, é uma memória tampão virtual para cada imagem para visualização a ser armazenada na área de visualização que é retida na memória PicMem2 no aparelho de codificação de imagem e que armazena números de referência temporal das imagens para visualização (números das imagens ou equivalente). Uma memória tampão de memória de referência é uma área para referência na memória de imagens PicMem2 num aparelho de descodificação de imagem. Uma memória tampão pós-descodificador é uma área para visualização na memória de imagens PicMem2 no aparelho de descodificação de imagem. Os números de referência temporal são os números que são atribuídos para as imagens de acordo com a ordem de instante de tempo de visualização e pode ser um equivalente do instante de tempo de imagem Time.

Primeiro, a explicação inicia-se com o aparelho de codificação de imagem. A memória tampão virtual de atraso de visualização é utilizada para limitar o número máximo de imagens de referência utilizadas para a codificação preditiva pelo aparelho de codificação de imagem. A Fig. 14 mostra o processamento da determinação de uma relação entre a memória tampão virtual de atraso de visualização e o número máximo de imagens de referência para trás. Cada módulo na Fig. 14 apresenta um bloco de funções ou passo de processamento de uma unidade de determinação de estrutura de imagem PicStrut, uma unidade de controlo de imagem de referência RefPicCtrl e uma unidade de controlo de imagem de visualização DispPicCtrl. Como mostrado no diagrama, o número máximo permitido de imagens de referência, NR para este perfil e nível é determinado no módulo 401. Este valor é definido para cada perfil e nível e assim o codificador codifica o valor do perfil/nível, um equivalente de NR, como informação num fluxo e 44 um descodificador obtém NR de acordo com o valor do perfil/nível no fluxo. 0 aparelho de codificação de imagem, estabelece então o número máximo de imagens de referência para trás, NB, óptimo para codificar uma sequência de vídeo no módulo 402. O tamanho da memória tampão virtual de atraso de visualização pode ser determinado baseado neste valor de NB. Quando o NB é menor que 2, não é necessária a memória tampão virtual de atraso de visualização. Contudo quando o NB é maior ou igual a 2, é criada uma memória tampão virtual de atraso de visualização que possa armazenar um número de imagens igual a NB-1 no módulo 404. A informação sobre a imagem armazenada na memória tampão virtual de atraso de visualização é retida na memória ou num registo qualquer. A memória tampão virtual de atraso de visualização não requer um grande espaço físico de memória no aparelho de codificação de imagem. Isto acontece porque apenas as descrições das imagens de referência (números de imagens ou equivalente), para identificar, não toda uma parte da imagem reconstruída (descodificada) , mas qual a imagem reconstruída, são armazenadas na memória tampão virtual de atraso de visualização dado que a avaliação para ver que imagem está armazenada na memória tampão virtual de atraso de visualização a não ser que a imagem descodificada pelo aparelho de descodificação de imagem necessite de ser visualizada (emitida). Além da memória tampão virtual de atraso de visualização, um contador de visualização é criado no módulo 405 e o valor é retido ou na memória ou num registo qualquer. O contador de visualização é utilizado para avaliar se se deve remover uma imagem desnecessária da memória tampão virtual de atraso de visualização. O aparelho de codificação de imagem gera, então, um tamanho de imagem para um número NR de imagens de referência no espaço de memória baseado na definição de perfil e de nível. 45 Máximo tamanho da memória tampao virtual de atraso de visualização = NB-1 (1)

em que NB < NR A Fig. 15 mostra o processamento pós-codificação no aparelho de codificação de imagem, isto é, um processamento de armazenar uma imagem descodificada depois de ser codificada (referida como uma imagem codificada ou simplesmente uma imagem) na memória tampão da memória de referência. 0 módulo no diagrama apresenta um bloco de funções ou um passo de processamento na unidade de controlo de imagem de referência RefPicCtrl e na unidade de controlo de imagem de visualização DispPicCtrl. Após uma imagem isolada ser codificada no módulo 501, é determinado no módulo 502 se a imagem é ou não uma imagem de referência. Quando a imagem é uma imagem de referência, o número máximo de possíveis imagens de referência é calculado com base na equação (2) . NMax = Nr - Fv (2 )

Neste caso, NMax representa o número máximo de possíveis imagens de referência enquanto NR representa o número máximo de imagens de referência permitidas na definição do perfil e do nível. Fv representa o estado de enchimento da memória tampão virtual de atraso de visualização, isto é, o número actualmente utilizado fora do tamanho da memória tampão virtual de atraso de visualização (NB-1).

Quando o número de imagens de referência na memória tampão de imagem de referência é menor do que NMax, a imagem codificada é reconstruída (descodificada) no módulo 506 e armazenada na 46 memória tampão de imagem de referência no módulo 507. Quando não existe espaço suficiente, o aparelho de codificação de imagem retém uma área necessária na memória tampão de imagem de referência removendo da memória tampão algumas imagens de referência não utilizadas (já não utilizadas como imagens de referência), como mostrado no módulo 504. Quando não existem imagens de referência não utilizadas para serem removidas da memória tampão, a imagem codificada não é utilizada como uma imagem de referência. Quando a imagem codificada não é uma imagem de referência, o número de referência temporal da imagem codificada é comparado com aquele indicado no contador de visualização no módulo 505. Quando o número de referência temporal da imagem não de referência é menor que o indicado no contador de visualização, a memória tampão virtual de atraso de visualização é actualizada no módulo 508. No módulo 508, a memória tampão virtual de atraso de visualização remove a imagem possuindo um número de referência temporal igual ou anterior ao indicado no contador de visualização e soma o número de referência temporal da imagem não de referência actual na memória tampão. O número de imagens na memória tampão virtual possuindo um número de referência temporal menor que aquele indicado no contador de visualização torna-se no preenchimento da memória tampão. O contador de visualização apenas toma a iniciativa de começar a operação de actualização quando o número de imagens codificadas é igual a NB ou quando o contador de visualização virtual está cheio, não importa qual deles ocorra primeiro. Depois disso, o contador de visualização é actualizado para cada imagem que é codificada no módulo 509. A Fig. 16 mostra o processamento pós-codificação no aparelho de descodificação de imagem, isto é, um processamento de armazenar uma imagem descodificada pelo aparelho de 47 descodificação de imagem (referida como uma imagem descodificada ou simplesmente uma imagem) na memória tampão da imagem de referência. Os módulos no diagrama mostram os blocos de funções ou os passos de processamento na unidade de controlo de imagem de visualização DispPicCtrl. Uma imagem é descodificada no módulo 601. No módulo 602, o aparelho de descodificação de imagem determina se a imagem necessita, ou não, de ser armazenada como uma imagem de referência. Se a imagem descodificada tiver de ser armazenada como uma imagem de referência, esta é armazenada na memória tampão de imagem de referência no módulo 606, caso contrário, o aparelho de descodificação de imagem examina se está ou não no instante de tempo de visualizar (emitir) a imagem no módulo 603. Se o instante de tempo para a imagem ser visualizada (emitida) ainda não tiver chegado, a imagem é armazenada na memória tampão pós-descodificador no módulo 604 até ao seu instante de tempo de visualização. Tanto a memória tampão pós-descodificador como a memória tampão de imagem de referência partilham fisicamente a mesma área de memória. Por outras palavras, cada área da mesma memória pode ser utilizada como uma memória tampão de imagem de referência em algumas ocasiões e como uma memória tampão pós-descodificador para outras ocasiões.

No módulo 605, o aparelho de descodificação de imagem determina, então, a imagem a ser visualizada (enviada) ou a partir da memória tampão de imagem de referência ou da memória tampão de pós-descodificador baseado na temporização de visualização. Uma vez que uma imagem da memória tampão pós-descodificador seja visualizada (emitida), esta é removida da memória tampão. Por outro lado, uma imagem de referência só é removida da memória tampão de imagem de referência ou deslocada para a memória tampão pós-descodificador quando o fluxo indica 48 que a imagem de referência deixou de ser utilizada para referência. A Fig. 17 é um exemplo de um método utilizando uma memória tampão virtual de atraso de visualização para determinar o número máximo de imagens de referência em cada intervalo de imagens. Neste exemplo, o número máximo de imagens de referência permitido, NR, será 4. 0 aparelho de codificação de imagem estabelece o número máximo de imagens de referência para trás, Nb, para ser 3. Assim, é gerada (a área é retida) uma memória tampão virtual de atraso de visualização na qual se podem armazenar duas imagens. 0 contador de visualização é utilizado para armazenar e actualizar o número de referência temporal da imagem a ser visualizada virtualmente (emitida). Na memória tampão de memória de referência mostrada no diagrama, a área livre mostra que a área está livre, a área descrita com o seu tipo de imagem e o número mostra que a imagem para referência está armazenada, e a área a sombreado mostra que a imagem para visualização está armazenada. Também, na memória tampão virtual de atraso de visualização, a área livre mostra que a área está livre, a área descrita com o seu tipo de imagem e o seu número mostra que o número de referência temporal da imagem para ser visualizada na memória tampão de memória de referência está armazenada e a área a sombreado mostra que a memória tampão de memória de referência não possui uma área de armazenamento para a imagem para visualização. A memória tampão virtual de atraso de visualização cujo número corresponde ao número da área a sombreado na memória tampão de memória de referência armazena os números de referência temporal das imagens para serem visualizadas.

Como mostrado no diagrama, as imagens B2 e B3 são 49 utilizadas como imagens de referência e, portanto, estas são armazenadas na memória tampão de memória de referência juntamente com 10 e P4, e o contador de visualização começa a atualizar depois de a imagem B3 ter sido codificada. No instante de tempo T6, B5 não é utilizada como imagem de referência, no entanto, isto acontece porque o número de referência temporal é maior do que o indicado pelo contador de visualização e necessita de ser actualizado pela memória tampão virtual de atraso de visualização. Portanto, o preenchimento da memória tampão virtual de atraso de visualização Fv, nesse instante de tempo é 1 e o número máximo de imagens de referência possíveis NMax é 3.

De forma semelhante, no instante de tempo T7, a imagem B6 necessita de ser actualizada pela memória tampão virtual de atraso de visualização enquanto que B5 não pode ser ainda removida devido ao seu número de referência temporal ser maior do que o indicado no contador de visualização. Assim, NMax nesse instante de tempo indica 2. A imagem de referência 10 tem de ser removida da memória tampão de memória de referência devido à memória insuficiente. B7, nesse instante de tempo, pode apenas ser predictiva com a utilização de P4 e P8. A Fig. 18 mostra um exemplo no qual o contador de visualização é, primeiro, incrementado utilizando a memória tampão virtual de atraso de visualização. NR será 5 neste exemplo. O aparelho de codificação de imagem estabelece que o número máximo NB de múltiplas imagens de referência atrasadas é 3. Assim é gerada uma memória tampão virtual de atraso de visualização na qual se podem armazenar duas imagens.

Como mostrado no diagrama, Bl, B2, B3 e B4 não são 50 utilizadas para imagens de referência, enquanto que B7 e B8 o são. BI e B2 são, assim, armazenadas na memória tampão virtual de atraso de visualização no instante de tempo T3 de forma a esperar pela visualização. Uma vez que a memória tampão virtual de atraso de visualização está cheia no instante de tempo T3, o contador de visualização começa a actualização no instante de tempo T3. A razão pela qual o contador de visualização necessita de esperar, pelo menos, até a memória tampão virtual de atraso de visualização estar cheia antes de poder começar a fazer a actualização, é que este necessita de tratar da reordenação das imagens B, que é provável que ocorra no aparelho de descodificação de imagem.

Como mostrado na Fig. 17, o aparelho de descodificação de imagem, por vezes, utiliza uma parte da memória tampão de imagem de referência com uma memória tampão pós-descodificador. 0 aparelho de descodificação de imagem, portanto, opera a memória tampão de imagem de referência baseado num tamanho de memória física fixo da memória tampão de imagem de referência, de forma a que algumas partes da memória tampão de imagem de referência sejam utilizadas para imagens de referência e o resto seja utilizado coma memória tampão pós-descodificador. Por exemplo, no instante de tempo T3, toda a memória tampão de imagem de referência é utilizada para armazenar imagens de referência enquanto que no instante de tempo T7, apenas duas áreas da memória tampão de imagem de referência são utilizadas para armazenar as imagens de referência de P4 e P8. 0 resto é utilizado para armazenar as imagens pós-descodificador B5 e B6. 0 número máximo de imagens de referência a serem utilizadas do lado do aparelho de descodificação de imagem é definido na definição de perfil e de nível para o aparelho de codificação de 51 imagem. 0 aparelho de codificação de imagem pode, portanto, utilizar imagens de referência até ao número máximo definido pelo perfil e nivel. Assim, é requerido que o aparelho de codificação de imagem controle as imagens de referência e execute a codificação de forma a que a mesma operação possa ser realizada (o número de imagens de referência não ultrapassa o valor pré-determinado) quando o aparelho de descodificação de imagem opera baseado nas condiçoes de limitação.

De forma semelhante, o aparelho de descodificação de imagem tem o mesmo número de imagens de referência que o aparelho de codificação de imagem tem. Em adição, é necessário espaço adicional de memória para a memória tampão pós-descodificador. 0 número máximo de imagens pós-descodificador é definido pela equação (3).

Np — Nr 2 (3)

Neste caso, NP representa o número máximo de imagens pós-descodificador enquanto que NR representa o número máximo de imagens de referência definido pela definição de perfil e de nivel. 0 número máximo de imagens pós-descodificador será, portanto, considerado no projecto do aparelho de descodificação de imagem de forma a que o aparelho de descodificação de imagem esteja de acordo com a definição de perfil e de nível. 0 número máximo de imagens pós-descodificador pode ser calculado recorrendo à equação (3) ou especificado na definição de perfil e de nível. Uma vez que o número máximo de imagens pós-descodificador esteja especififiçado na definição de perfil e de nível, o número máximo de imagens de predição para trás 52 pode ser calculado baseado na equação (4).

Nb = Np + 1 (4)

Neste caso, NB representa o número máximo de imagens de predição para trás na memória tampão de imagem de referência. Na presente forma de realização, NB representa os requisitos de memória mínimos requeridos pelo aparelho de descodificação de imagem de forma a descodificar um fluxo de forma concordante com a definição de perfil e de nível. É possível limitar o número de imagens utilizadas para a predicção para trás de forma a reduzir o número de imagens adicionais pós-descodificador adicionadas à memória tampão de imagem de referência pelo lado do aparelho de descodificação de imagem. Por exemplo, quando o número máximo de imagens utilizado para predicção para trás é limitado a 2, apenas é necessária uma imagem adicional pós-descodificador para ser adicionada à memória tampão de imagem de referência, o que pode evitar a atribuição de espaço de memória física desnecessário para as imagens pós-descodificador do lado do aparelho de descodificação de imagem. (Sétima Forma de Realização)

Além disso, é possível executar o processamento mostrado nas formas de realização precedentes de uma forma simples num sistema independente de computação gravando um programa para realizar o método de codificação de imagem e o método de descodificação de imagem mostrados nas formas de realização mencionadas anteriormente num meio de armazenamento, tal como um 53 disco flexível. A Fig. 19 é uma ilustração para realizar o método de codificação/descodificação de imagem das formas de realização mencionadas anteriormente utilizando um programa gravado num meio de armazenamento como um disco flexível. A Fig. 19B mostra a aparência completa de um disco flexível, a sua estrutura em corte e o próprio disco flexível, enguanto que a Fig. 19A mostra um exemplo de um formato físico do disco flexível como o corpo principal de um meio de armazenamento. Um disco flexível FD1 está contido numa caixa F, é formada uma pluralidade de faixas Tr concentricamente da periferia para o interior na superfície do disco e cada faixa é dividida em 16 sectores Se na direcção angular. Portanto, no caso do disco flexível armazenando o programa mencionado anteriormente, os dados do programa mencionado anteriormente são armazenados numa área que lhe é atribuída no disco flexível FD1. A Fig. 19C mostra uma estrutura para gravar e ler o programa no disco flexível FD1. Quando o programa é gravado no disco flexível FD1, o sistema de computação Cs escreve os dados do programa através de periférico de disco flexível FDD. Quando o método de codificação de imagem e o método de descodificação de imagem para realizar o método de codificação de imagem e o método de descodificação de imagem como o programa no disco flexível são construídos no sistema de computação, o programa é lido a partir do disco flexível pelo periférico de disco flexível FDD e é, então, transferido para o sistema de computação Cs. A explicação anterior é feita na suposição de que um meio 54 de armazenamento é um disco flexível, mas o mesmo processamento pode ser executado utilizando um disco óptico. Além disso, o meio de armazenamento não está limitado a um disco flexível e a um disco óptico, mas pode ser utilizado qualquer outro meio capaz de gravar um programa, como um cartão IC e uma cassette ROM. (Oitava Forma de Realizaçao) 0 que se segue é uma explicação das aplicações do método de codificação de imagem bem como do método de descodificação de imagem como mostrados nas formas de realização mencionadas anteriormente, e de um sistema que as utiliza. A Fig. 2 0 é um diagrama de blocos mostrando uma configuração geral de um sistema fornecedor de conteúdos exlOO para realizar um serviço de distribuição de conteúdos. A área para fornecimento do serviço de comunicações é dividida em células do tamanho desejado e os sítios das células exl07~exll0 que são estações fixas sem fios estão colocados nas células respectivas.

Este sistema de fornecimento de conteúdos exlOO está ligado a dispositivos tais como a Internet exlOl, um fornecedor de serviços de Internet exl02, uma rede telefónica exl04, tal como a um computador exlll, um PDA exll2 (Assistente Pessoal Digital), uma câmara exll3, um telefone celular exll4, e um telefone celular com uma câmara exllõ através dos sítios das células exl07~exll0.

No entanto, o sistema de fornecimento de conteúdos exlOO 55 não está limitado à configuração tal como mostrado na Fig. 20 e pode ser ligado a uma combinação de qualquer de entre eles. Também, cada dispositivo pode ser ligado directamente à rede telefónica exl04, sem ser através dos sítios das células exl07~exll0. A Câmara exll3 é um dispositivo capaz de filmar um vídeo tal como uma câmara de vídeo digital. O telefone celular exll4 pode ser um telefone celular de qualquer dos seguintes sistemas: um sistema PDC (Comunicações Pessoais Digitais), um sistema de CDMA (Acesso Múltiplo por Divisão de Código), um sistema W-CDMA (Acesso Múltiplo por Divisão de Código em Banda Larga) ou um sistema GSM (Sistema Global para Comunicações Móveis), um PHS (Personal Handyphone System) ou semelhantes.

Um servidor de fluxo exl03 está ligado à câmara exll3 através da rede telefónica exl04 e também o sítio da célula exl09, que realiza uma distribuição ao vivo ou semelhante utilizando a câmara exll3 baseado nos dados codificados transmitidos a partir do utilizador. Ou a câmara exll3 ou o servidor que transmite os dados podem codificar os dados. Também, os dados de imagem obtidos por uma câmara exllô podem ser transmitidos para o servidor de fluxo exl03 através do computador exlll. Neste caso, ou a câmara exll6 ou o computador exlll podem codificar os dados da imagem. Um LSI exll7 incluído no computador exlll ou a câmara exll6 executam na verdade o processamento da codificação. O software para codificar e descodificar imagens pode ser integrado em qualquer tipo de meio de armazenamento (tal como um CD-ROM, um disco flexível e um disco rígido) que é um meio de gravação que é legível pelo computador exlll ou semelhantes. Além disso, um telefone celular com uma câmara exllõ pode transmitir os dados da imagem. Estes 56 dados da imagem sao os dados codificados pelo LSI incluído no telefone celular exll5. 0 sistema 100 de fornecimento de conteúdos codifica os conteúdos (tal como um vídeo de música ao vivo) filmados por um utilizador utilizando a câmara exll3, a câmara exll6 ou semelhante da mesma forma como mostrado nas formas de realização nencionadas anteriormente e transmite-os para o servidor de fluxo exl03, enquanto que o servidor de fluxo exl03 faz a distribuição do fluxo dos dados de conteúdo para os clientes a seu pedido. Os clientes incluem o computador exlll, o PDA exll2, a câmara exll3, o telefone celular exll4, etc., capazes de descodificar os dados codificados mencionados anteriormente. No sistema de fornecimento de conteúdos exlOO, os clientes podem assim receber e reproduzir os dados codificados, e podem também receber, descodificar e reproduzir os dados em tempo real de forma a realizar a difusão pessoal.

Quando cada dispositivo neste sistema executa a codificação ou a descodificação, pode ser utilizado o método de codificação de imagem ou o método de descodificação da imagem mostrados nas formas de realização mencionadas anteriormente.

Será explicado um telefone celular como um exemplo do dispositivo. A Fig. 21 é um diagrama mostrando um telefone celular exll5 utilizando um método de codificação de imagem e um método de descodificação de imagem explicados nas formas de realização mencionadas anteriormente. O telefone celular exll5 tem uma antena ex201 para comunicar com o sítio da célula exllO através de ondas rádio, uma unidade de câmara ex203, tal como uma câmara 57 CCD capaz de obter imagens fixas e em movimento, uma unidade de visualização ex202, tal como um monitor de cristais líquidos para visualizar os dados, tais como imagens descodificadas e semelhantes obtidas pela unidade de câmara ex203 ou recebidas pela antena ex201, uma unidade de corpo incluindo um conjunto de teclas de operação ex204, uma unidade de emissão de áudio ex208, tal como um altifalante para emitir áudio, uma unidade de introdução de áudio ex205, tal como um microfone para introdução de áudio, um meio de armazenamento ex207 para armazenar dados codificados ou descodificados, tais como dados de imagens fixas ou em movimento obtidas pela câmara, dados de correio electrónico e imagens fixas e em movimento recebidas, e uma unidade de leitura ex206 para interligar o meio de armazenamento ex207 ao telefone celular exll5. 0 meio de armazenamento ex207 contém um elemento de memória flash, uma espécie de EEPROM (Memória Apenas de Leitura, Apagável e Programável Electricamente) que é uma memória não-volátil, apagável electricamente a partir de e que permite tornar a escrever dentro de um invólucro plástico, tal como um cartão SD ou semelhantes.

Em seguida, será explicado o telefone celular exll5 com referência à Fig. 22. No telefone celular exll5, uma unidade de controlo principal ex311, projectada de forma a efectuar o controlo geral de cada unidade do corpo principal que contém a unidade de visualização ex202 bem como as teclas de operação ex204, é mutuamente ligada a uma unidade de circuitos de fornecimento de energia ex310, a uma unidade de controlo de introdução de operações ex304, a uma unidade de codificação de imagem ex312, a uma unidade de interface de câmara ex303, a uma unidade de controlo de LCD (Monitor de Cristais Líquidos) ex302, a uma unidade de descodificação de imagem ex309, a uma unidade 58 de multiplexagem/desmultiplexagem ex308, a uma unidade de leitura/escrita ex307, a uma unidade de circuito de modem ex306 e a uma unidade de processamento de áudio ex305 através de um barramento síncrono ex313.

Quando uma tecla de fim de chamada ou uma tecla de activação é ligada pela acção de um utilizador, a unidade de circuitos de fornecimento de energia ex310 fornece as unidades respectivas com energia de uma bateria, de forma a activar a câmara ligada ao telefone celular digital exll5 e colocá-la num estado pronto a utilizar.

No telefone celular exll5, a unidade de processamento de áudio ex305 converte os sinais de áudio recebidos pela unidade de introdução de áudio ex205 no modo de conversação, em dados de áudio digitais sob o controlo da unidade de controlo principal ex311 incluindo uma CPU, ROM e RAM, a unidade de circuito de modem ex306 executa o processamento de espalhamento de espectro dos dados de áudio digitais e a unidade de circuito de comunicação ex301 executa a conversão digital-analógica e a transformação de frequência dos dados, de forma a transmitir-los através da antena ex201. Também, no telefone celular exll5, a unidade de circuito de comunicações ex301 amplifica os dados recebidos pela antena ex201 no modo de conversação e executa a transformação de frequência e a conversão analógica-digital dos dados, a unidade de circuito de modem ex306 executa o processamento de espalhamento de espectro inverso dos dados e a unidade de processamento áudio ex305 converte-os em dados de áudio analógico, de forma a emiti-los através da unidade de emissão de áudio ex208.

Além disso, quando se transmite uma mensagem de correio 59 electrónico no modo de comunicação de dados, os dados de texto da mensagem introduzida operando as teclas de operação ex204 do corpo principal são enviados para a unidade de controlo principal ex311 através da unidade de controlo de introdução de operações ex304. Na unidade de controlo principal ex311, depois da unidade de circuito de modem ex306 executar o processamento de espalhamento de espectro dos dados de texto e a unidade de circuito de comunicações ex301 executar a conversão digital-analógica e a transformação de frequência para os dados de texto, os dados são transmitidos para o sitio da célula exllO através da antena ex201.

Quando dados de imagem são transmitidos no modo de comunicação de dados, os dados de imagem filmados pela unidade de câmara ex203 são fornecidos à unidade de codificação de imagem ex312 através da unidade de interface de câmara ex303. Quando estes não são transmitidos, é também possível visualizar os dados de imagem filmados pela unidade de câmara ex203 directamente na unidade de visualização ex202 através da unidade de interface de câmara ex303 e da unidade de controlo de LCD ex302 . A unidade de codificação de imagem ex312, que inclui o aparelho de codificação de imagem como explicado na presente invenção, comprime e codifica os dados de imagem fornecidos pela unidade de câmara ex203 com o método de codificação utilizado pelo aparelho de codificação de imagem, como mostrado na primeira forma de realização mencionada anteriormente, de forma a transformá-los em dados de imagem codificados, e envia-os para a unidade de multiplexagem/desmultiplexagem ex308. Neste instante de tempo, o telefone celular exll5 envia o áudio recebido pela unidade de introdução de áudio ex205, durante a 60 filmagem com a unidade de câmara ex2 03, para a unidade de multiplexagem/desmultiplexagem ex308 como dados de áudio digitais através da unidade de processamento áudio ex305. A unidade de multiplexagem/desmultiplexagem ex308 multiplexa os dados de imagem codificados fornecidos pela unidade de codificação de imagem ex312 e os dados de áudio fornecidos pela unidade de processamento de áudio ex305 utilizando um método pré-determinado, então, a unidade de circuito de modem ex306 executa o processamento de espalhamento de espectro dos dados multiplexados obtidos como resultado da multiplexagem e, finalmente, a unidade de circuito de comunicações ex301 executa a conversão digital-analógica e a transformação de frequências dos dados para a transmissão através da antena ex201.

Quanto aos dados recebidos de um ficheiro de uma imagem em movimento que está ligado a uma página Web ou semelhante no modo de comunicação de dados, a unidade de circuito de modem ex306 executa o processamento de espalhamento de espectro inverso dos dados recebidos a partir do sitio da célula exllO através da antena ex201 e envia os dados multiplexados obtidos como resultado do processamento de espalhamento de espectro inverso.

De forma a descodificar os dados multiplexados recebidos através da antena ex201, a unidade de multiplexagem/desmultiplexagem ex308 separa os dados multiplexados num fluxo codificado de dados de imagem e outro de dados de áudio, e fornece os dados de imagem codificados à unidade de descodificação de imagem ex309 e os dados de áudio à unidade de processamento de áudio ex305 respectivamente através do barramento sincrono ex313. 61

Em seguida, a unidade de descodificação de imagem ex309, incluindo o aparelho de descodificação de imagem como explicado na invenção mencionada anteriormente, descodifica o fluxo codificado de dados de imagem utilizando o método de descodificação correspondente ao método de codificação como mostrado nas formas de realização mencionadas anteriormente para gerar dados de imagens em movimento reproduzidas e fornece estes dados à unidade de visualização ex202 através da unidade de controlo de LCD ex302 e, assim, os dados de imagem incluídos no ficheiro de imagem em movimento ligado a uma página Web, por exemplo, são visualizados. Simultaneamente, a unidade de processamento de áudio ex305 converte os dados de áudio em dados de áudio analógico e fornece estes dados à unidade de emissão de áudio ex208 e, assim, os dados de áudio incluídos no ficheiro de imagem em movimento ligado a uma página Web, por exemplo, são reproduzidos. A presente invenção não está limitada ao sistema mencionado anteriorment, e uma vez que a difusão digital terrestre ou por satélite tem aparecido nas notícias nos últimos tempos e, pelo menos, ou o aparelho de codificação de imagem ou o aparelho de descodificação de imagem descritos nas formas de realização mencionadas anteriormente podem ser incorporados num sistema de difusão digital como mostrado na Fig. 23. Mais especificamente, um fluxo codificado de informação de vídeo é transmitido a partir de uma estação de difusão ex409 para ou comunicando com um satélite de difusão ex410 através de ondas rádio. Após a sua recepção, o satélite de difusão ex410 transmite ondas rádio para difusão. Então, uma antena de utilização doméstica ex406 com uma função de recepção de difusão por satélite recebe as ondas rádio e um televisor (receptor) ex401 ou uma caixa descodificadora 62 (STB) ex407 descodifica o fluxo codificado para reprodução. 0 aparelho de descodificação de imagem como mostrado na forma de realização mencionada anteriormente pode ser implementado num aparelho de reprodução ex403 para ler e descodificar o fluxo codificado gravado num meio de armazenagem ex402 que é um meio de gravação tal como um CD e DVD. Neste caso, os sinais de vídeo reproduzidos são visualizados num monitor ex404. Também é concebível implementar o aparelho de descodificação de imagem na caixa descodificadora ex407 ligada a um cabo ex405 para uma televisão por cabo ou uma antena ex406 para a difusão por satélite e/ou terrestre de forma a reproduzi-las num monitor ex408 do televisor ex401. 0 aparelho de descodificação de imagem pode ser incorporado no televisor, mas não na caixa descodificadora. Também um carro ex412 possuindo uma antena ex411 pode receber sinais a partir do satélite ex410 ou do sítio da célula exl07 para reproduzir imagens em movimento num dispositivo de visualização, tal como um sistema de navegação do carro ex413 colocado no carro ex412.

Além disso, o aparelho de codificação de imagem como mostrado nas formas de realização mencionadas anteriormente pode codificar sinais de imagem e gravá-los num meio de gravação. Como um exemplo concreto, um gravador ex420, tal como um gravador DVD para gravar sinais de imagem num disco DVD ex421, um gravador de disco para os gravar num disco rígido, ou semelhante pode ser citado. Estes podem ser gravados num cartão SD ex422. Se o gravador ex420 inclui o aparelho de descodificação de imagem como mostrado nas formas de realização mencionadas anteriormente, os sinais de imagem gravados no disco DVD ex421 ou no cartão SD ex422 pode ser reproduzido para visualização no monitor ex408. 63

Quanto à estrutura do sistema de navegação do carro ex413 é concebível, por exemplo, a estrutura sem a unidade de câmara ex203, a unidade de interface de câmara ex303 e a unidade de codificação de imagem ex312, dos componentes mostrados na Fig. 22. 0 mesmo se aplica ao computador exlll, o televisor (receptor) ex401 e outros.

Além disso, podem ser concebidos três tipos de implementação para um terminal, tal como o telefone celular exll4 mencionado anteriormente; um terminal emissor/receptor implementado com um codificador e um descodificador, um terminal emissor implementado apenas com um codificador e um terminal receptor implementado com apenas um descodificador.

Como descrito anteriormente, é possível utilizar o método de codificação de imagem ou o método de descodificação de imagem descritos nas formas de realização mencionadas anteriormente para qualquer dos dispositivos e sistemas mencionados anteriormente, e assim fazendo, podem ser obtidos os efeitos descritos nas formas de realização mencionadas anteriormente.

Também, a presente invenção não está limitada às formas de realização mencionadas anteriormente e são possíveis uma vasta gama de variações e modificações dentro do âmbito das reivindicações seguintes.

Na presente forma de realização, o termo "visualizar" significa emitir após reordenação da ordem das imagens numa ordem de visualização. Nomeadamente, um processo para emitir uma imagem descodificada para um dispositivo de visualização é descrito como "visualizar". Uma operação de emitir a imagem descodificada de forma a gravá-la num outro dispositivo de 64 gravação, por exemplo, aplica-se a esta utilização especial de "visualizar". Quando o dispositivo de visualização possui uma memória de imagens, é possível transmitir a imagem descodificada para o dispositivo de visualização em avanço em relação ao instante de tempo de visualização real.

APLICABILIDADE INDUSTRIAL A presente invenção é utilizada para um aparelho de codificação de imagem para codificar uma imagem através de uma codificação preditiva com referência a uma imagem descodificada armazenada numa memória tampão de imagem descodificada, descodificando a imagem codificada e armazenando a imagem descodificada na memória tampão de imagem descodificada e um aparelho de codificação de imagem para descodificar a imagem codificada através de uma codificação preditiva com referência a uma imagem descodificada armazenada numa memória tampão de imagem descodificada e armazenando a imagem descodificada na memória tampão de imagem descodificada.

Lisboa, 2 de Maio de 2013 65

Claims

REIVINDICAÇÕES 1. Método pós-descodificação para descodificar um sinal de imagem codificado preditivamente de um sinal de imagens em movimento composto por uma pluralidade de imagens, o referido sinal de imagem codificado incluindo uma imagem codificada a que é feita referência em codificação preditiva por uma imagem anterior numa ordem de visualização pré-determinada para visualizar as imagens descodificadas, o sinal de imagem codificada sendo recebido como um fluxo codificado de imagens de MPEG, o método compreendendo: um passo de descodificação de descodificar o sinal de imagem codificado para obter uma imagem descodificada; um primeiro passo (602) de avaliação de avaliar se a imagem descodificada é uma imagem de referência ou uma imagem não de referência; um passo de armazenagem de armazenar (606) a imagem descodificada numa memória tampão PicMem2 quando a imagem descodificada é avaliada como sendo uma imagem de referência no primeiro passo de avaliação; um terceiro passo de avaliação de avaliar baseado numa temporização de visualização se a imagem de referência descodificada na memória tampão é uma imagem a ser emitida; 1 um passo de emissão para emitir a imagem de referência descodificada, baseado no resultado do terceiro passo de avaliação; um quarto passo de avaliação de avaliar se a imagem de referência descodificada armazenada na memória tampão é uma imagem à qual já não é feita referência; e um passo re-utilizável de memória tampão de tornar re-utilizável uma área da memória tampão em que a imagem descodificada está armazenada depois de a imagem descodificada armazenada na memória tampão ter sido emitida, baseado no resultado do quarto passo de avaliação; caracterizado por: um segundo passo (603) de avaliação de avaliar se a imagem descodificada é uma imagem que é necessária para ser armazenada na memória tampão até um instante de tempo de visualização quando a imagem descodificada é avaliada como sendo uma imagem não de referência no primeiro passo de avaliação; em que o referido passo de armazenagem é ainda operável para armazenar (604) a imagem descodificada na referida área da memória tampão, quando a imagem descodificada é avaliada como sendo uma imagem não de referência que é necessária para ser armazenada na memória tampão até um instante de tempo de visualização; 2 o referido terceiro passo de avaliação é ainda operável para avaliar baseado numa temporização de visualização se a imagem não de referência descodificada armazenada na memória tampão for uma imagem a ser emitida; e o referido passo re-utilizável de memória tampão é ainda operável para tornar re-utilizável a área da memória tampão depois de a imagem descodificada armazenada na memória tampão ter sido emitida, baseado no resultado do terceiro passo de avaliação. Lisboa, 2 de Maio de 2013 3