JPWO2008114403A1 - デコード方法、デコーダ及びデコード装置 - Google Patents

Abstract

画像を矩形に分割し、動き補償に基づく動画像圧縮データを復号して画像に展開して画像メモリに格納するデコーダは、圧縮データを復号して係数データと動きベクトルデータとを記憶部に格納する符号データ復号部と、記憶部から読み出した係数データに基づいて逆量子化処理及び逆周波数変換処理を行い矩形の残差画像を生成する係数データ処理部と、記憶部から読み出した動きベクトルデータに基づいて画像メモリから参照画像を読み出して矩形の予測画像を生成する動きベクトルデータ処理部と、残差画像と予測画像とを加算して復号画像を生成し画像メモリに格納する動き補償部と、デコーダ内の動作タイミングを制御する制御部とを備える。動きベクトルデータ処理部は、少なくとも２つ以上の矩形に対する予測画像を記憶する予測画像バッファと、前記少なくとも２つ以上の矩形に対する予測画像が生成されたことを予測画像レディ信号で制御部に通知する予測画像生成通知部とを有し、制御部は予測画像レディ信号に応答して動作タイミングを制御する。

Description

本発明は、デコード方法、デコーダ及びデコード装置に係り、特にデジタル放送の受信時やDVDのビデオデータの再生時等に圧縮符号化された動画像データを復号するデコード方法、デコーダ及びデコード装置に関する。

デジタル放送やＤＶＤビデオ等で視聴される動画像は、１秒間当たり３０枚程度のデジタル画像で構成されているため、これらの動画像データを何ら加工することなく放送波で搬送したり、ＤＶＤ等の記憶媒体に格納したりすることは、限られた周波数帯域や記憶媒体の容量の観点から困難であり、現実のアプリケーションでは動画像データに何らかの圧縮処理が施されている。一般に、これらの圧縮処理はアプリケーションの公共性や市場での普及を考慮して、標準化団体で規定された規約に沿って行われている。圧縮方式としては、ISO/IECで規定されているMPEG-2と呼ばれる圧縮方式が広く普及しているが、近年ではH.264/AVCと呼ばれる新たな圧縮方式がMPEG-2の２倍以上の圧縮率を実現することから、モバイル機器向けの地上デジタル放送、HD-DVD、ブルーレイプレーヤー等の再生装置で採用される次世代の圧縮方式として期待されている。

MPEG-2やH.264/AVCの動画像圧縮処理では、動画像を構成する画像間で相関の強い、即ち、絵柄の似ている領域を検出して、その冗長情報を排除するという考え方が基本になっている。各画像は、圧縮の処理単位である矩形領域（マクロブロック）に分割され、各マクロブロックに対し、参照画像と呼ばれる時間的に近接した画像から絵柄の似た矩形領域を探し出し、これらの空間的な位置の差分が動きベクトルデータとして、又、これらの画像の残差データが係数データとして圧縮符号化される。デジタル放送を受信して動画像を表示したり、DVDのビデオデータを再生する装置には、圧縮符号化されたデータを復号展開する動画像デコード装置が搭載されている。動画像デコード装置では、動きベクトルデータに基づいて類似している絵柄の画像を参照して予測画像を生成し、残差画像と加算する動き補償処理が必須である。H.264/AVCの場合、MPEG-2より細かい矩形領域の処理単位で動きベクトルデータを定義することが可能であるため、これに伴う動画像デコード装置の処理負荷が大きくなっている（非特許文献１参照）。

例えば、MPEG-2では処理単位である１６×１６画素＝２５６画素の矩形領域（マクロブロック）に対して参照画像として、最大で１７×９画素の輝度値を２回、即ち、３０６画素分読み出す必要がある。一方、H.264/AVCでは同じく２５６画素のマクロブロックに対して、最大で９×９画素の輝度値を１６回、即ち、１２９６画素分読み出す必要がある。これは、ワーストケースでH.264/AVCがMPEG-2の4倍以上のデータ読み出しを必要とすることを意味する。

図１は、従来のデコーダの一例を示すブロック図である。図１に示すデコーダは、符号データ復号部１、係数データ処理部４、動きベクトルデータ処理部５、動き補償部６、制御部７及び画像メモリ８を有する。符号データ復号部１は、マクロブロック毎に符号データを解析して係数データと動きベクトルデータとに分類し、係数データ処理部４に係数データを供給すると共に、動きベクトルデータ処理部５に動きベクトルデータを供給する。

制御部７は、後述する同期信号ＳＹＮＣに基づいて符号データ復号部１、係数データ処理部４、動きベクトルデータ処理部５及び動き補償部６の動作を制御する。

係数データ処理部４は、係数データ解釈部４１、逆量子化部４２及び逆周波数変換部４３を有する。係数データ解釈部４１は、マクロブロック内の係数データの並びを解釈する等圧縮規格に従ったマクロブロック属性をハードウェアが扱うデータ形式に変換して出力する。係数データ解釈部４１から出力された係数テータは、圧縮時に量子化が行われているため、逆量子化部４２にて逆量子化処理を施される。又、画像圧縮データは、圧縮規約に従って空間・周波数変換が施されているため、逆量子化処理に続いて逆周波数変換部４３で逆周波数変換処理を施され、原画像から予測画像を差し引いた残差画像が出力される。尚、残差画像には量子化、空間・周波数変換等の圧縮処理に伴う誤差成分が含まれており、これが復号画像の歪となって現れる。

一方、動きベクトルデータ処理部５は、動きベクトルデータ解釈部５１及び予測画像生成部５３を有する。動きベクトルデータ解釈部５１は、動きベクトルデータを圧縮規約に従って参照画像を指し示す動きベクトルに変換し、予測画像生成部５３は、変換された動きベクトルを用いて画像メモリ８から参照画像を読み出し、圧縮規約に基づいて予測画像を生成して出力する。

動き補償部６は、係数データ処理部４が出力する残差画像と動きベクトルデータ処理部５が出力する予測画像を加算して復号画像を生成し、画像メモリ８に格納する。

従来のデコーダでは、上記の処理をハードウェアで実現する場合、マクロブロック毎のパイプライン処理として構成し、符号データ復号部１、係数データ処理部４、動きベクトルデータ処理部５及び動き補償部６の各々からマクロブロック処理毎の同期を取るための同期信号ＳＹＮＣが制御部７に出力されている。このようなマクロブロック毎の同期を採用するデコーダにおいては、MPEG-2のように予測画像の参照方式が単純な場合、参照画像の読み出し性能を見積もり易く、パイプラインシステムがストールすることなく安定したデコード性能が得られる。しかし、H.264/AVCのように予測画像の読み出し方がマクロブロックの分割数等によって多様な場合、特にマクロブロックの分割数が多い場合には参照画像の読み出し性能が著しく低下し、パイプラインシステムがストールしてデコーダ全体の性能劣化を招くことになる。このようなパイプラインシステムのストールを回避するため、参照画像の読み出しのワーストケースに着目して必要となるメモリ性能を見積ってデコーダを構築することは可能であるが、MPEG-2の数倍の高速メモリが必要になり、設計難易度やコストの向上につながってしまう。

従来の動画像デコーダにおいて、性能劣化が発生するタイミングの例を図２及び図３と共に説明する。図２は、復号画像のマクロブロックの構成を示す図である。図２中、各矩形内の番号はマクロブロックに便宜上付けられたマクロブロック番号を示す。又、白いマクロブロックは、イントラマクロブロックと呼ばれるマクロブロックであり、動き補償を行うことなく復号することが可能なマクロブロックである。更に、ハッチングで示すマクロブロックは、インターマクロブロックと呼ばれる動き補償を必要とするマクロブロックである。図３は、従来のデコーダの動作を説明するタイミングチャートである。図３は、符号データ復号部１の符号データ復号処理、動きベクトルデータ処理部５の動きベクトルデータ解釈処理・予測画像生成処理（参照画像読み出し処理）、係数データ処理部４の係数データ解釈・逆量子化・逆周波数変換処理、及び動き補償部６の動き補償処理のタイミングを示す。図３中、破線の矢印はベクトルデータを示し、実線の矢印は係数データを示し、Ｘはイントラマクロブロックでは参照画像がないために参照画像読み出し処理はＮＯＰで直ちに終了することを示す。

図１のデコーダは、マクロブロックをパイプラインで処理しており、符号データ復号部１がマクロブロック番号Ｎを処理している時、係数データ処理部４と動きベクトルデータ処理部５は符号データ復号処理が完了したマクロブロック番号Ｎ−１を処理し、動き補償部６は逆周波数変換部４３の逆周波数変換処理と予測画像生成部５３の予測画像生成処理が完了したマクロブロック番号Ｎ−２の残差画像と予測画像との加算処理を行っている。このため、例えば図２の動き補償を必要とするマクロブロック番号４，５，６のブロック分割が複雑で、図３のマクロブロック番号４，５，６のように参照画像の読み出しに要する処理時間が長くなって予測画像生成部５３の予測画像生成処理に遅延が生じると、マクロブロック番号６に対する動き補償部６の動き補償処理の開始が待たされ、各パイプラインステージで次のマクロブロック処理への移行に遅延が発生し、デコーダ全体の性能が劣化してしまう。
特開平８−２１４３０７号公報 インプレス標準教科書シリーズ「H.264/AVC教科書」、株式会社インプレスネットビジネスカンパニー発行、第１１３頁〜第１１５頁、２００４年８月１１日

従来のデコーダでは、マクロブロック番号に対する参照画像の読み出しに要する処理時間が長くなって予測画像生成処理に遅延が生じると、マクロブロックに動き補償処理の開始が待たされ、各パイプラインステージで次のマクロブロック処理への移行に遅延が発生し、デコーダ全体の性能が劣化してしまうという問題があった。

そこで、本発明は、予測画像生成処理に遅延が生じても、マクロブロック処理毎に発生し得る遅延を低減してデコード性能の劣化を防止可能なデコード方法、デコーダ及びデコード装置を提供することを目的とする。

上記の課題は、画像を矩形に分割し、動き補償に基づく動画像圧縮データを復号して画像に展開して画像メモリに格納するデコード方法であって、該圧縮データを復号して係数データと動きベクトルデータとを出力し、該係数データを係数データ記憶部に格納し、該動きベクトルデータを動きベクトルデータ記憶部に格納し、該係数データ記憶部から読み出した係数データに基づいて、逆量子化処理及び逆周波数変換処理を行い矩形の残差画像を生成し、該動きベクトルデータ記憶部から読み出した動きベクトルデータに基づいて、該画像メモリから参照画像を読み出して矩形の予測画像を生成し、該残差画像と該予測画像とを加算して復号画像を生成し、該画像メモリに該復号画像を格納し、該係数データの該係数データ記憶部への格納及び該動きベクトルデータの該動きベクトルデータ記憶部への格納の処理タイミングを制御し、該画像メモリから該参照画像を読み出して矩形の該予測画像を生成するときに、少なくとも２つ以上の矩形に対する予測画像を予測画像バッファに記憶し、該少なくとも２つ以上の矩形に対する予測画像が生成されたことを予測画像レディ信号で通知し、該処理タイミングは、該予測画像レディ信号に応答して制御されることを特徴とするデコード方法により達成できる。

上記の課題は、画像を矩形に分割し、動き補償に基づく動画像圧縮データを復号して画像に展開して画像メモリに格納するデコーダであって、該圧縮データを復号して係数データと動きベクトルデータとを出力する符号データ復号部と、該係数データを格納する係数データ記憶部と、該動きベクトルデータを格納する動きベクトルデータ記憶部と、該係数データ記憶部から読み出した係数データに基づいて、逆量子化処理及び逆周波数変換処理を行い矩形の残差画像を生成する係数データ処理部と、該動きベクトルデータ記憶部から読み出した動きベクトルデータに基づいて、該画像メモリから参照画像を読み出して矩形の予測画像を生成する動きベクトルデータ処理部と、該係数データ処理部により生成された該残差画像と該動きベクトルデータ処理部により生成された該予測画像とを加算して復号画像を生成し、該画像メモリに格納する動き補償部と、該デコーダ内の動作タイミングを制御する制御部とを備え、該動きベクトルデータ処理部は、少なくとも２つ以上の矩形に対する予測画像を記憶する予測画像バッファと、該少なくとも２つ以上の矩形に対する予測画像が生成されたことを予測画像レディ信号で該制御部に通知する予測画像生成通知部とを有し、該制御部は、該予測画像生成通知部からの該予測画像レディ信号に応答して該動作タイミングを制御することを特徴とするデコーダにより達成できる。

上記の課題は、上記構成ののデコーダと、圧縮されたデジタルオーディオビジュアルデータを復号化に適した形式の符号化ビデオデータと符号化オーディオデータとに変換し、該符号化ビデオデータを該動画像圧縮データとして該デコーダに入力する入力部とを備えたことを特徴とするデコード装置により達成できる。

本発明によれば、予測画像生成処理に遅延が生じても、マクロブロック処理毎に発生し得る遅延を低減してデコード性能の劣化を防止可能なデコード方法、デコーダ及びデコード装置を実現することができる。

従来のデコーダの一例を示すブロック図である。 復号画像のマクロブロックの構成を示す図である。 従来のデコーダの動作を説明するタイミングチャートである。 本発明が適用されるデコード装置を示すブロック図である。 本発明の第１実施例を示すブロック図である。 第１実施例のデコーダの動作を説明するタイミングチャートである。 本発明の第２実施例を示すブロック図である。 ３つの連続するマクロブロックを示す図である。 動きベクトルバッファが設けられた場合の処理タイミングを説明する図である。 動きベクトルデータ記憶部に格納されるマクロブロックデータのフォーマットの一例を示す図である。

符号の説明

１０ デコード装置
１１ フロントエンド処理部
１２ デマルチプレクサ部
１３ ビデオデコーダ
１４ オーディオデコーダ
１５ ビデオ出力系
１６ オーディオ出力系
６１ 符号データ復号部
６２ 係数データ記憶部
６３ 動きベクトルデータ記憶部
６４ 係数データ処理部
６５ 動きベクトルデータ処理部
６６ 動き補償部
６７ 制御部
６８ 画像メモリ

本発明では、画像を矩形に分割し、動き補償に基づく動画像圧縮データを復号して画像に展開して画像メモリに格納する。符号データ復号部は、圧縮データを復号して係数データと動きベクトルデータとを出力する。係数データ記憶部は、係数データを格納し、動きベクトルデータ記憶部は、動きベクトルデータを格納する。係数データ処理部は、係数データ記憶部から読み出した係数データに基づいて、逆量子化処理及び逆周波数変換処理を行い矩形の残差画像を生成し、動きベクトルデータ処理部は、動きベクトル記憶部から読み出した動きベクトルデータに基づいて、画像メモリから参照画像を読み出して矩形の予測画像を生成する。動き補償部は、係数データ処理部により生成された残差画像と動きベクトルデータ処理部により生成された予測画像とを加算して復号画像を生成し、画像メモリに格納する。制御部は、係数データ処理部及び動きベクトル処理部の動作タイミングを制御する。

動きベクトルデータ処理部は、少なくとも２つ以上の矩形に対する予測画像を記憶する予測画像バッファと、前記少なくとも２つ以上の矩形に対する予測画像が生成されたことを予測画像レディ信号で制御部に通知する予測画像生成通知部を有する。従って、制御部は、予測画像レディ信号に応答して前記動作タイミングを制御する。

以下に、本発明のデコード方法、デコーダ及びデコード装置の各実施例を図４以降と共に説明する。

図４は、本発明が適用されるデコード装置を示すブロック図である。デコード装置１０は、図４に示す如く接続されたフロントエンド処理部１１、デマルチプレクサ部１２、ビデオデコーダ１３、オーディオデコーダ１４、ビデオ出力系１５及びオーディオ出力系１６を有する。少なくともデマルチプレクサ部１２、ビデオデコーダ１３、オーディオデコーダ１４、ビデオ出力系１５及びオーディオ出力系１６からなる部分は、単一の半導体チップ又はＭＣＭ等のモジュールで構成可能である。

圧縮されたデジタルオーディオビジュアル（ＡＶ）データは、フロントエンド処理部１１及びデマルチプレクサ部１２によりデコーダ１３，１４による復号化に適した形式の符号化ビデオデータと符号化オーディオデータに変換される。符号化ビデオデータは、ビデオデコーダ１３により復号化され、ビデオ出力系１５を介してモニタ１７に表示される。一方、復号化オーディオデータは、オーディオデコーダ１４により復号化され、オーディオ出力系１６を介してスピーカ１８より出力される。

デコード装置１０は、例えばビデオプレーヤ／レコーダやビデオカメラ等のビデオ再生機能を備えた装置に搭載される。このようなデコード装置１０の基本構成自体は周知であるが、本発明は、ビデオデコーダ１３の構成に特徴がある。

デコーダ１３は、MPEG-2、MPEG-4、H.264等の規格に代表されるフレーム間予測を行う動画圧縮方式に準拠した動画像のビデオストリーム（符号化ビデオデータ）を伸張（復号）する。

図５は、本発明の第１実施例を示すブロック図である。画像を矩形に分割し、動き予測に基づき動画像圧縮データを復号して画像に展開するビデオデコーダ１３は、図５に示す如く接続された符号データ復号部６１、係数データ記憶部６２、動きベクトル記憶部６３、係数データ処理部６４、動きベクトルデータ処理部６５、動き補償部６６、制御部６７及び画像メモリ６８を有する。尚、画像メモリ６８は、デコーダ１３に接続可能な外部メモリで構成されていても良く、デコーダ１３の必須構成要素ではない。

符号データ復号部６１は、係数データ処理部６４及び動きベクトルデータ処理部６５のマクロブロック処理と同期することなく、マクロブロック毎に符号データを解析して係数データと動きベクトルデータとに分類し、係数データ記憶部６２に係数データを格納すると共に、動きベクトル記憶部６３に動きベクトルデータを格納する。本実施例では、動きベクトルデータ記憶部６３は、動きベクトルデータを少なくとも２つ以上格納可能である。係数データ記憶部６２及び動きベクトル記憶部６３は、別体の記憶部により構成されていても、同じ記憶部の異なる記憶領域により構成されていても良い。

制御部６７は、符号データ復号部６１、係数データ処理部６４、動きベクトルデータ処理部６５及び動き補償部６６の動作タイミングを制御する。

係数データ処理部６４は、係数データ解釈部６４１、逆量子化部６４２及び逆周波数変換部６４３を有する。係数データ解釈部６４１は、係数データ記憶部６２から読み出したマクロブロック内の係数データの並びを解釈する等圧縮規格に従ったマクロブロック属性をハードウェアが扱うデータ形式に変換して出力する。係数データ解釈部６４１から出力された係数テータは、圧縮時に量子化が行われているため、逆量子化部６４２にて逆量子化処理を施される。又、画像圧縮データは、圧縮規約に従って空間・周波数変換が施されているため、逆量子化処理に続いて逆周波数変換部６４３で逆周波数変換処理を施され、原画像から予測画像を差し引いた残差画像が出力される。尚、残差画像には量子化、空間・周波数変換等の圧縮処理に伴う誤差成分が含まれており、これが復号画像の歪となって現れる。

一方、動きベクトルデータ処理部６５は、動きベクトルデータ解釈部６５１、予測画像生成部６５３、予測画像バッファ６５４及び予測画像生成通知部６５５を有する。動きベクトルデータ処理部６５は、動きベクトル記憶部６３から動きベクトルデータを読み出して解釈し、解釈した動きベクトルが指し示す参照画像を画像メモリ６８から読み出して予測画像を生成し、少なくともマクロブロック２個以上の予測画像を格納可能な予測画像バッファ６５４に格納する。動きベクトルデータ処理部６５はマクロブロック単位の同期を取ることなく、動きベクトル記憶部６３に処理するべきデータがあり、且つ、予測画像バッファ６５４に空きがある場合、次のマクロブロックの動きベクトルデータ処理を実行して予測画像を生成し、予測画像バッファ６５４に格納する。

動きベクトルデータ処理部６５は、予測画像バッファ６５４に予測画像処理を格納する毎に、予測画像生成通知部６５５により予測画像レディ信号を制御部６７に出力する。制御部６７は、動き補償を必要とするマクロブロックに対しては、予測画像レディ信号の受信を確認して、動き補償部６６の予測画像レディ信号に対応するマクロブロックの動き補償動作の開始を制御する。これにより、動きベクトルデータ処理部６５は、動きベクトル補償を必要としないマクロブロックやブロック分割の単純なマクロブロック等の高速に処理可能なマクロブロックと動き補償の複雑なマクロブロック等の低速に処理されるマクロブロックとの間で性能を平均化することで、低速な参照画像の読み出しによるデコーダ１３全体の性能劣化を抑止することが可能である。

動き補償部６６は、係数データ処理部６４が出力する残差画像と動きベクトルデータ処理部６５が出力する予測画像を加算して復号画像を生成し、画像メモリ６８に格納する。

図６は、本実施例のデコーダ１３の動作を説明するタイミングチャートである。図６は、復号画像のマクロブロックの構成が図２に示す如き場合のデコーダ１３のマクロブロック処理タイミングを示す。図６は、符号データ復号部６１の符号データ復号処理の結果、動きベクトルデータ処理部６５の動きベクトルデータ解釈処理・予測画像生成処理（参照画像読み出し処理）、係数データ処理部６４の係数データ解釈・逆量子化・逆周波数変換処理、及び動き補償部６６の動き補償処理のタイミングを示す。

動きベクトルデータ処理部６５は、係数データ処理部６４とマクロブロック毎のタイミング同期を取っていない。従って、図６に示すように、動き補償を必要としないマクロブロック番号０から３については、動きベクトルデータ処理は必要無しと判断すると、直ちに次のマクロブロック処理に移行する。そして、動き補償を必要とするマクロブロック番号４についても、参照画像を読み出して予測画像を生成して予測画像バッファ６５４に格納し、予測画像レディ信号を出力した後、即ちに次のマクロブロック番号５の処理に移行することができる。予測画像レディ信号を出力した時点で、動き補償部６６はまだマクロブロック番号４の予測画像を必要としないため、図３に見られたようなマクロブロック番号４の予測画像生成による遅延は発生しない。次の処理対象である動き補償を必要とするマクロブロック番号５についても同様である。図６において動き補償を必要とするマクロブロック番号６は、参照画像の読み出し及び予測画像の生成が極端に遅くなった例を示している。マクロブロック番号６の予測画像生成処理時間中に、動き補償部６６はマクロブロック番号５の動き補償処理を完了するため、動き補償部６６は予測画像の生成を待つことになる。動き補償部６６を待たせる制御は、動きベクトルデータ処理部６５の予測画像生成通知手段６５５からの予測画像レディ信号に応答して制御部６７が行う。尚、予測画像レディ信号を直接動き補償部６６に供給して動き補償部６６を待たせる制御を行うようにしても良い。

このように、図６においてＸ１で示すように、イントラマクロブロックの処理は短時間で完了し、次のマクロブロックの処理に移行する。一方、図６においてＸ２で示すように、マクロブロック番号６のように予測画像の生成が極端に遅い場合には制御部６７が予測画像レディ信号に基づいて動き補償部６６を待たせる制御を行いので遅延が発生するが、図３の場合と比較するとマクロブロック処理毎に発生の可能性がある遅延を低減することができ、デコーダ１３全体の性能を低下を防止する上では効果的である。

図７は、本発明の第２実施例を示すブロック図である。図７中、図５と同一部分には同一符号を付し、その説明は省略する。本実施例では、係数データ処理部６４内に残差画像バッファ６４４及び残差画像生成通知部６４５が設けられており、動きベクトルデータ処理部６５内に動きベクトルバッファ６５２が設けられている。

上記第１実施例では、ブロックの分割に起因する参照画像の読み出し性能の平均化の効果を図６と共に説明したが、ブロックの分割が複雑であればある程、動きベクトルデータ解釈部６５１の処理速度も劣化する。本実施例では、動きベクトルデータ処理部６５内の動きベクトルデータ解釈部６５１の性能劣化がデコーダ１３全体の性能を低下させることを抑止するために動きベクトルバッファ６５２が設けられている。この動きベクトルバッファ６５２の効果を図８及び図９と共に説明する。

図８は、３つの連続するマクロブロックを示す図であり、本実施例では図８に示す如きマクロブロック番号Ｎ−１，Ｎ，Ｎ＋１を処理するものとする。図８に示すように、マクロブロック番号Ｎ−１は１６個の小ブロックに分割され、マクロブロック番号Ｎは８個の小ブロックに分割され、マクロブロック番号Ｎ＋１は４個の小ブロックに分割されている。

図９は、動きベクトルバッファ６５２が設けられた場合の図８に示すマクロブロック番号Ｎ−１，Ｎ，Ｎ＋１の処理タイミングを説明する図である。図９（ａ）は、動きベクトルバッファ６５２が設けられていない場合の処理タイミングを示し、マクロブロック番号Ｎ−１，Ｎ，Ｎ＋１に対する動きベクトルデータ解釈部６５１による動きベクトルデータ解釈処理と予測画像生成部６５３による予測画像生成処理が順次実行されている様子を示す。一方、図９（ｂ）は、動きベクトルバッファ６５２が設けられている場合の処理タイミングを示し、マクロブロック番号Ｎ−１，Ｎ，Ｎ＋１に対する動きベクトルデータ解釈部６５１による動きベクトルデータ解釈処理と予測画像生成部６５３による予測画像生成処理が順次実行されている様子を示す。図９（ｂ）からもわかるように、動きベクトルバッファ６５２が設けられていることにより、マクロブロック番号Ｎ−１の動きベクトルデータ解釈処理後、マクロブロック番号Ｎ−１の予測画像生成処理が完了していない状態であっても、マクロブロック番号Ｎ及びマクロブロック番号Ｎ＋１の動きベクトル解釈処理を実行することが可能である。これにより、本実施例によれば、図９（ａ）と図９（ｂ）の比較からもわかるように、マクロブロック番号Ｎ−１，Ｎ，Ｎ＋１の処理時間が短縮され、動きベクトルデータ処理部６５の処理性能を向上することができる。

又、本実施例では、係数データ処理部６４内の逆周波数変換部６４３の後段に残差画像バッファ６４４を設け、図６のマクロブロック番号６のような場合でも、逆周波数変換部６４３がマクロブロック番号６に続いてマクロブロック番号７を即ちに実行できるようにしている。

図１０は、動きベクトルデータ記憶部６３に格納される動きベクトルデータのフォーマットの一例を示す図である。図１０に示すように、動きベクトルデータ（マクロブロックベクトルデータ）には、マクロブロック毎にｎビット固定長のマクロブロックヘッダが付加され、動き補償を必要とするマクロブロックか否かを示すイントラ／インターフラグのフィールドが設けられている。イントラ／インターフラグのフィールド内の値がイントラマクロブロックを示すか或いはインターマクロブロックを示すかに応じて、ヘッダ内の情報が異なるフォーマットとされている。イントラ／インターフラグが動き補償を必要としないイントラマクロブロックを示す場合は、ヘッダ内に連続するイントラマクロブロック数が設定される。一方、イントラ／インターフラグが動き補償を必要とするインターマクロブロックを示す場合は、動き補償に必要な制御情報がヘッダ内で設定さると共に、ヘッダに続いて必要な数分だけ動きベクトルデータが付加される。つまり、ヘッダはイントラ／インターフラグと、イントラマクロブロックであるかインターマクロブロックであるかに応じた制御情報からなる。制御情報は、イントラマクロブロックの場合には連続するイントラマクロブロックの個数を含み、インターマクロブロックの場合にはブロック分割情報、参照画像情報等を含む。動きベクトルデータは、ヘッダ内の制御情報に従ったベクトルデータからなり、イントラマクロブロックの場合にはペイロードデータが無い。

上記ヘッダの情報に基づいて、図２に示すマクロブロック番号０から３のようにイントラマクロブロックが連続する場合は、動きベクトルデータ解釈部６５１が連続する４個のイントラマクロブロックを同時に処理することが可能になり、動きベクトルデータ解釈部６５１の処理速度を向上させることができる。つまり、動き補償が必要でない場合は、ベクトルデータ処理部６５において一又は複数個の矩形データの処理をスキップして次の動き補償を必要とする矩形データ処理に移行することができる。

更に、本実施例では、係数データ処理部５３内の逆周波数変換部６４３による逆周波数変換処理により生成された矩形単位の残差画像を１つ以上格納する残差画像バッファ６４４と残差画像が生成されことを残差画像レディ信号で通知する残差画像生成通知手段６４５が設けられている。このため、制御部６７は、予測画像レディ信号と残差画像生成通知手段６４５からの残差画像レディ信号とに基づいて、符号データ復号部６１、係数データ処理部６４、動きベクトルデータ処理部６５及び動き補償部６６の動作タイミングを制御する。

本発明に係る動画像デコード装置で、外部画像メモリに蓄積されている参照画像の読み出し負荷のばらつきを隠蔽し、デコード処理性能の安定した動画デコード処理装置を提供することが可能になり、同分野において有用である。

以上、本発明を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。

Claims (14)

1. 画像を矩形に分割し、動き補償に基づく動画像圧縮データを復号して画像に展開して画像メモリに格納するデコード方法であって、
   該圧縮データを復号して係数データと動きベクトルデータとを出力し、
   該係数データを係数データ記憶部に格納し、
   該動きベクトルデータを動きベクトルデータ記憶部に格納し、
   該係数データ記憶部から読み出した係数データに基づいて、逆量子化処理及び逆周波数変換処理を行い矩形の残差画像を生成し、
   該動きベクトルデータ記憶部から読み出した動きベクトルデータに基づいて、該画像メモリから参照画像を読み出して矩形の予測画像を生成し、
   該残差画像と該予測画像とを加算して復号画像を生成し、該画像メモリに該復号画像を格納し、
   該係数データの該係数データ記憶部への格納及び該動きベクトルデータの該動きベクトルデータ記憶部への格納の処理タイミングを制御し、
   該画像メモリから該参照画像を読み出して矩形の該予測画像を生成するときに、少なくとも２つ以上の矩形に対する予測画像を予測画像バッファに記憶し、該少なくとも２つ以上の矩形に対する予測画像が生成されたことを予測画像レディ信号で通知し、
   該処理タイミングは、該予測画像レディ信号に応答して制御されることを特徴とする、デコード方法。
2. 該動きベクトルデータの各矩形データには動き補償が必要か否かを示すフラグが付加されており、
   該画像メモリから該参照画像を読み出して矩形の該予測画像を生成するときに、該フラグが、動き補償が必要でないことを示す場合に、対応する矩形データの処理をスキップして次の矩形データの処理に移行することを特徴とする、請求項1記載のデコード方法。
3. 該動きベクトルデータには動き補償を必要としない矩形データが連続する個数を示す制御情報が付加されており、
   該画像メモリから該参照画像を読み出して矩形の該予測画像を生成するときに、該制御情報が示す個数の矩形データの処理を同時にスキップして、次の動き補償を必要とする矩形データの処理に移行することを特徴とする、請求項１又は２記載のデコード方法。
4. 該制御情報は、動き補償を必要とする矩形データに対しては矩形分割情報及び該参照画像の情報を含むことを特徴とする、請求項２又は３記載のデコード方法。
5. 該画像メモリから該参照画像を読み出して矩形の該予測画像を生成するときに、矩形単位の同期を取ることなく、該動きベクトルデータ記憶部に処理するべきデータがあり、且つ、該予測画像バッファに空きがある場合に、次の矩形の動きベクトルデータの処理を実行して予測画像を生成し、該次の矩形の動きベクトルデータに基づく予測画像を該予測画像バッファに格納することを特徴とする、請求項1乃至４のいずれか一項記載のデコード方法。
6. 矩形の該残差画像を生成するときに、該逆周波数変換処理により生成された矩形単位の該残差画像を１つ以上格納可能な残差画像バッファに格納し、該残差画像が生成されたことを残差画像レディ信号で通知し、
   該処理タイミングは、該予測画像レディ信号と該残差画像レディ信号とに基づいてされることを特徴とする、請求項１乃至５のいずれか一項記載のデコード方法。
7. 画像を矩形に分割し、動き補償に基づく動画像圧縮データを復号して画像に展開して画像メモリに格納するデコーダであって、
   該圧縮データを復号して係数データと動きベクトルデータとを出力する符号データ復号部と、
   該係数データを格納する係数データ記憶部と、
   該動きベクトルデータを格納する動きベクトルデータ記憶部と、
   該係数データ記憶部から読み出した係数データに基づいて、逆量子化処理及び逆周波数変換処理を行い矩形の残差画像を生成する係数データ処理部と、
   該動きベクトルデータ記憶部から読み出した動きベクトルデータに基づいて、該画像メモリから参照画像を読み出して矩形の予測画像を生成する動きベクトルデータ処理部と、
   該係数データ処理部により生成された該残差画像と該動きベクトルデータ処理部により生成された該予測画像とを加算して復号画像を生成し、該画像メモリに格納する動き補償部と、
   該デコーダ内の動作タイミングを制御する制御部とを備え、
   該動きベクトルデータ処理部は、少なくとも２つ以上の矩形に対する予測画像を記憶する予測画像バッファと、該少なくとも２つ以上の矩形に対する予測画像が生成されたことを予測画像レディ信号で該制御部に通知する予測画像生成通知部とを有し、
   該制御部は、該予測画像生成通知部からの該予測画像レディ信号に応答して該動作タイミングを制御することを特徴とする、デコーダ。
8. 該動きベクトルデータの各矩形データには動き補償が必要か否かを示すフラグが付加されており、
   該ベクトルデータ処理部は、該フラグが動き補償が必要でないことを示す場合には対応する矩形データの処理をスキップして次の矩形データの処理に移行することを特徴とする、請求項７記載のデコーダ。
9. 該動きベクトルデータには動き補償を必要としない矩形データが連続する個数を示す制御情報が付加されており、
   該動きベクトルデータ処理部は、該制御情報が示す個数の矩形データの処理を同時にスキップして、次の動き補償を必要とする矩形データの処理に移行することを特徴とする、請求項７又は８記載のデコーダ。
10. 該制御情報は、動き補償を必要とする矩形データに対しては矩形分割情報及び該参照画像の情報を含むことを特徴とする、請求項７乃至９のいずれか一項記載のデコーダ。
11. 該動きベクトルデータ処理部は、矩形単位の同期を取ることなく、該動きベクトルデータ記憶部に処理するべきデータがあり、且つ、該予測画像バッファに空きがある場合に、次の矩形の動きベクトルデータの処理を実行して予測画像を生成し、該次の矩形の動きベクトルデータに基づく予測画像を該予測画像バッファに格納することを特徴とする、請求項７乃至１０のいずれか一項記載のデコーダ。
12. 該係数データ処理部は、該逆周波数変換処理により生成された矩形単位の残差画像を１つ以上格納する残差画像バッファと、該残差画像が生成されたことを残差画像レディ信号で該制御部に通知する残差画像生成通知部とを有し、
    該制御部は、該予測画像レディ信号と該残差画像レディ信号とに基づいて該動作タイミングを制御することを特徴とする、請求項７乃至１１のいずれか一項記載のデコーダ。
13. 該画像メモリを更に備えたことを特徴とする、請求項７乃至１２のいずれか一項項記載のデコーダ。
14. 請求項７乃至１３のいずれか一項記載のデコーダと、
    圧縮されたデジタルオーディオビジュアルデータを復号化に適した形式の符号化ビデオデータと符号化オーディオデータとに変換し、該符号化ビデオデータを該動画像圧縮データとして該デコーダに入力する入力部とを備えたことを特徴とする、デコード装置。

Images