JP5437807B2 - 動画像符号化装置および動画像復号装置 - Google Patents

Description

本発明は、動き補償機能を備える動画像符号化装置および動画像復号装置に係わる。

動画像データの符号化方式として、動き補償予測フレーム間符号化が知られている。動き補償予測フレーム間符号化では、符号化装置において、フレーム間での画像要素の「動き」を表す動きベクトルが検出される。また、検出した動きベクトルを利用して、過去のフレームから（あるいは、過去および未来のフレームから）原フレームの画像を予測し、実際の画像と予測画像との差分が検出される。そして、動きベクトル情報およびその差分値情報が伝送される。復号装置は、動きベクトル情報および差分値情報を利用して動画像を再生する。

動き補償予測フレーム間符号化では、いったんエラーが発生すると、そのエラーが後続のフレームに伝搬してゆく。このため、動き補償予測フレーム間符号化では、通常、フレーム内符号化ピクチャが周期的に挿入される。ここで、フレーム内符号化ピクチャは、他のフレームから独立して符号化される。よって、エラーが発生したとしても、そのエラーはフレーム内符号化ピクチャよりも後のフレームに伝搬することはなくなる。

ところが、フレーム内符号化ピクチャは、フレーム間符号化ピクチャと比べて情報量が大幅に大きい。このため、周期的にフレーム内符号化ピクチャを挿入すると、トラヒックのピーク値が高くなってしまう。そして、このトラヒックを保証するためには、バッファサイズを大きくする必要がある。

この問題を解決する技術の１つとして、順次リフレッシュと呼ばれる符号化方式が提案されている。順次リフレッシュ方式について図１を参照しながら説明する。なお、「リフレッシュ」とは、フレーム内符号化を行うことを意味する。また、以下の説明では、各フレームは、４つの領域５０１〜５０４から構成されるものとする。

図１に示すように、第ｎフレームにおいて、領域５０１の画像はフレーム内符号化で符号化され、領域５０２〜５０４の画像はフレーム間符号化で符号化される。続いて、第ｎ＋１フレームにおいては、領域５０２の画像はフレーム内符号化で符号化され、領域５０１、５０３、５０４の画像はフレーム間符号化で符号化される。同様に、第ｎ＋２フレームにおいては領域５０３の画像がフレーム内符号化で符号化され、第ｎ＋３フレームにおいては領域５０４の画像がフレーム内符号化で符号化される。このように、図１に示す例では、４フレームをサイクルとして、全領域がリフレッシュされる。なお、順次リフレッシュ方式については、例えば、特許文献１〜特許文献３に記載されている。
特開２００３−１７９９３８号公報 特開平６−１１３２８６号公報 特開２００５−２６０９３６号公報

ところで、順次リフレッシュ方式を導入した動き補償予測フレーム間符号化において、エラーの伝搬を抑えたり、あるいは「頭だし再生機能」を実現するためには、動き補償のために参照可能な領域を制限する必要がある。以下、図２〜図４を参照しながら参照領域の制限について説明する。なお、図２〜図４では、図１と同様に、第ｎフレーム、第ｎ＋１フレーム、第ｎ＋２フレーム、第ｎ＋３フレームにおいて、それぞれ、領域５０１、５０２、５０３、５０４が順番にリフレッシュされるものとする。この場合、第ｎフレームにおいては、領域５０２〜５０４はリフレッシュが完了していない。すなわち、領域５０２〜５０４はリフレッシュ未完了領域である。第ｎ＋１フレームでは、領域５０１のリフレッシュは完了しており、領域５０３〜５０４のリフレッシュは未完了である。同様に、第ｎ＋２フレームでは、領域５０１〜５０２がリフレッシュ完了領域であり、領域５０４がリフレッシュ未完了領域である。第ｎ＋３フレームでは、領域５０１〜５０３がリフレッシュ完了領域である。

フレーム間符号化で画像を符号化する際には、例えば、前フレームの画像が参照される。ここで、リフレッシュ未完了領域の画像を符号化する際には、任意の領域の画像を参照することができる。すなわち、図２において、参照５１１、５１２は許される。しかし、エラーの伝搬を抑えるためには、リフレッシュ完了領域の画像を符号化する際にリフレッシュ未完了領域の画像を参照することはできない。すなわち、図２において、参照５１３、５１４は許されるが、参照５１５は許されない。

また、動画像の「頭だし再生」を実現するためにも、リフレッシュ完了領域の画像を符号化する際にリフレッシュ未完了領域の画像を参照することはできない。例えば、図３に示す例においては、いずれもリフレッシュ領域またはリフレッシュ完了領域の画像が参照されている（参照５２１〜５２３）。よって、この場合、第ｎ＋３フレームから動画像の再生を開始することができる。これに対して、図４に示す例では、リフレッシュ完了領域の画像を符号化する際にリフレッシュ未完了領域の画像が参照されている（参照５２４）。この場合、第ｎ＋１フレームを復号化できないので、結果として第ｎ＋２フレームおよび第ｎ＋３フレームも再生できない。すなわち、第ｎ＋３フレームから動画像の再生を開始することができない。

図５は、順次リフレッシュ方式において解決すべき課題について説明する図である。ここでは、第ｎフレームの画像を参照して第ｎ＋１フレームのブロックＡの画像が符号化されるものとする。また、ブロックＡが参照すべき画像の候補として、ブロックＢおよびブロックＣが検出されているものとする。ここで、ブロックＢは、リフレッシュ未完了領域の画像を含んでいない。一方、ブロックＣは、リフレッシュ未完了領域の画像を含んでいる。

このような状況において、従来技術（例えば、特許文献１に記載の技術）によれば、ブロックＣの参照を禁止することによって、エラーの伝搬を抑えるようにしている。しかしながら、ブロックＡの動き補償のために参照すべき画像として、ブロックのＢの画像よりもブロックＣの画像の方が好ましい場合には、従来技術においてブロックＢの画像を利用して符号化／復号化が行われると、画像が劣化してしまう。

このように、従来の動き補償予測フレーム間符号化においては、順次リフレッシュを導入した場合、画像が劣化するおそれがあった。すなわち、従来の動き補償予測フレーム間符号化においては、情報量のピークの抑制と、良好な画像品質の双方を実現することが難しかった。

本発明は、動き補償予測フレーム間符号化において、情報量のピークを抑制しながら、良好な画像品質を得ることを目的とする。
本発明の動画像符号化装置は、入力画像を分割することにより得られる複数のブロックのそれぞれについて符号化を行う構成であって、フレーム間符号化の参照画像において参照することができる有効領域を定義する定義手段と、前記参照画像において対象ブロックのフレーム間符号化のために参照すべき参照領域を検出する検出手段と、前記有効領域に属する前記参照領域についてはその参照領域の画像を出力し、前記有効領域に属しない前記参照領域については補完画像を出力することにより、フレーム間符号化のための予測画像を生成する予測画像生成手段と、前記予測画像を利用して入力画像を符号化する符号化手段、を有する。

上記構成の動画像符号化装置においては、フレーム間符号化のための参照領域が有効領域外の画素を含んでいる場合には、予測画像を作成する際に、その有効領域外の画像の代わりに補完画像が使用される。したがって、エラーの伝搬が抑制される。

予測画像生成手段は、有効領域内の画素に基づいて補完画像を生成する補完手段を備えるようにしてもよい。この場合、補完手段は、予め用意されている複数の補完方法の中から選択した補完方法で前記補完画像を生成するようにしてもよい。

本発明の動画像復号装置は、入力画像を分割することにより得られる複数のブロックのそれぞれについて符号化を行う動画像符号化装置により得られる符号化データを復号化する構成であって、フレーム間符号化の参照画像において参照することができる有効領域を定義した有効領域情報を取得する取得手段と、前記参照画像において対象ブロックのフレーム間符号化のために参照すべき参照領域を検出する検出手段と、前記有効領域に属する前記参照領域についてはその参照領域の画像を出力し、前記有効領域に属しない前記参照領域については補完画像を出力することにより、フレーム間符号化のための予測画像を生成する予測画像生成手段と、前記予測画像を利用して前記符号化データを復号化する復号手段、を有する。

本発明によれば、動き補償予測フレーム間符号化において、情報量のピークを抑制しながら、良好な画像品質を得ることができる。

順次リフレッシュ方式について説明する図である。 参照領域の制限について説明する図である。 動画像の頭だしについて説明する図である。 動画像の頭だしに係わる問題点を説明する図である。 順次リフレッシュ方式において解決すべき課題について説明する図である。 本発明の実施形態の動画像符号化装置の構成を示す図である。 動画像符号化装置が備える予測画像生成部の構成を示す図である。 参照領域の検出について説明する図である。 有効領域情報について説明する図である。 予測画像生成部の動作を説明する図（その１）である。 予測画像生成部の動作を説明する図（その２）である。 第１の補完方法について説明する図である。 第２の補完方法について説明する図である。 第３の補完方法について説明する図である。 補完方法を選択する機能を備える予測画像生成部の構成を示す図である。 補完方法を選択する機能を備える補完部の構成を示す図である。 有効領域／非有効領域の通知方法について説明する図である。 本発明の実施形態の動画像復号装置の構成を示す図である。 動画像復号装置が備える実施形態の予測画像生成部の構成および動作を説明する図である。

図６は、本発明の実施形態の動画像符号化装置の構成を示す図である。この動画像符号化装置１００は、画像を分割することによって得られる複数のブロックのそれぞれについて、動き補償予測を利用して動画像データを符号化する。フレーム間符号化においては、図１を参照しながら説明した順次リフレッシュ方式が採用されている。なお、フレーム間符号化は、順方向予測であってもよいし、双方向予測であってもよい。

予測誤差信号生成部１は、フレーム毎（或いは、フレームを構成するブロック毎）に、原画像と予測画像との差分を算出して予測誤差信号として出力する。なお、予測画像については後で説明する。直交変換部２は、予測誤差信号について直交変換を行う。直交変換は、この実施例では、例えばＤＣＴ変換である。ＤＣＴ変換においては、各画素値が周波数成分に変換され、各周波数成分を表す係数データが生成される。量子化部３は、直交変換部３の出力信号（この実施例では、係数データ）を量子化する。係数符号化部４は、量子化された係数データに対してエントロピ符号化を行う。多重化部５は、符号化された係数データ、符号化された動きベクトル情報、および符号化された制御データを多重化して送信する。なお、制御データについては後で説明する。

多重化部５から出力されるデータは、例えば、ネットワークを介して復号装置へ伝送される。あるいは、多重化部５から出力されるデータは、記録装置へ書込まれる。多重化方式は、特に限定されるものではないが、例えばＴＤＭである。

逆量子化部６および逆直交変換部７は、それぞれ量子化部３および直交変換部２に対応する変換処理を実行し、予測誤差信号を再生する。復号画像生成部８は、再生された予測誤差信号および予測画像に基づいて、復号画像を生成する。この復号画像は、復号装置において得られるであろう画像である。

復号画像記憶部１１は、例えば半導体メモリであり、復号画像生成部８により生成される復号画像を一時的に格納する。このとき、復号画像は、デジタルブロッキングフィルタ１２によりブロック歪を除去された後に復号画像記憶部１１に格納されるようにしてもよい。

動きベクトル計算部１３は、原画像および復号画像記憶部１１に格納されている復号画像に基づいて、対象ブロックの動きベクトルを計算する。動きベクトルの計算は、特に限定されるものではないが、公知の技術により実現可能である。なお、対象ブロックの動きベクトルを計算することは、その対象ブロックが参照すべき参照領域を検出することと実質的に同じことである。

予測画像生成部１４は、復号画像記憶部１１に格納されている復号画像、および動きベクトル計算部１３により得られた動きベクトルに基づいて、予測画像を生成する。なお、予測画像生成部１４の構成および動作については、後で詳しく説明する。

リフレッシュ制御部１５は、図１を参照しながら説明した順次リフレッシュを実現するためのリフレッシュ制御信号を生成する。選択部１６は、リフレッシュ制御信号に従って、予測画像生成部１４により生成される予測画像または「ゼロ」を選択する。このとき、リフレッシュを実行しない領域においては、予測画像生成部１４により生成される予測画像が選択される。この場合、予測誤差信号生成部１は、原画像と予測画像との差分を表す予測誤差信号を出力する。すなわち、フレーム間符号化が行われる。一方、リフレッシュを実行する領域においては、「ゼロ」が選択される。この場合、予測誤差信号生成部１は、原画像をそのまま予測誤差信号を出力する。すなわち、フレーム内符号化が行われる。

動きベクトルデータ符号化部２１は、動きベクトル計算部１３により得られる動きベクトルを表す動きベクトル情報を符号化する。動きベクトル情報を符号化する方法は、例えば、エントロピ符号化である。制御データ符号化部２２は、予測画像生成部１４において生成される制御データを符号化する。制御データを符号化する方法は、例えば、エントロピ符号化である。なお、制御データについては後で詳しく説明する。

図７は、予測画像生成部１４の構成を示す図である。予測画像生成部１４には、図６を参照しながら説明したように、動きベクトル情報およびリフレッシュ制御信号が与えられる。

参照領域検出部３１には、動きベクトル情報が与えられる。動きベクトル情報は、動きベクトル計算部１３により生成され、図８に示すように、対象ブロックの動きベクトルを表す。そして、参照領域検出部３１は、その動きベクトル情報に基づいて、符号化対称ブロックが参照すべき参照画像内の参照領域の位置（すなわち、座標）を検出する。たとえば、対象ブロックの４隅の座標が「（89, 121）（96, 121）（89, 128）（96, 128）」であり、その対象ブロックの動きベクトルが「（7, 9）」であったものとすると、参照領域の位置として「（82, 112）（89, 112）（82, 119）（89, 119）」が得られる。なお、参照画像は、特に限定されるものではないが、たとえば、原画像の直前フレームの画像である。そして、参照領域検出部３１は、検出した参照領域を表す参照領域情報を、抽出部３２および判断部３４に与える。

抽出部３２は、復号画像記憶部１１から参照画像を抽出し、さらに、参照領域情報に基づいて参照画像内の参照領域の画素データを抽出する。対称ブロックのサイズが８×８である場合には、６４個の画素データが抽出される。

リフレッシュ管理部３３には、リフレッシュ制御信号が与えられる。リフレッシュ制御信号は、順次リフレッシュを実現するためにリフレッシュ制御部１５において生成され、各フレーム内でフレーム内符号化を行うべき領域を指示する。そして、リフレッシュ管理部３３は、そのリフレッシュ制御信号に従って、他の画像において参照されることが許される有効領域を表す有効領域情報を生成する。

図９は、有効領域情報について説明する図である。なお、ここでは説明を簡単にするために、図９（ａ）に示すように、各フレームの画像領域が５つの領域４１ａ〜４１ｅから構成されており、各領域４１ａ〜４１ｅが順番にリフレッシュされるものとする。すなわち、第ｎフレーム、第ｎ＋１フレーム、第ｎ＋２フレーム、第ｎ＋３フレーム、第ｎ＋４フレームにおいて、それぞれ、領域４１ａ、領域４１ｂ、領域４１ｃ、領域４１ｄ、領域４１ｅがリフレッシュされるものとする。

実施形態において、有効領域は、図９（ｂ）に示すように「リフレッシュ領域およびそのリフレッシュ領域の上側の領域」と定義される。すなわち、第ｎフレームでは、領域４１ａが有効領域である。第ｎ＋１フレームでは、領域４１ａ、４１ｂが有効領域である。第ｎ＋２フレームでは、領域４１ａ〜４１ｃが有効領域である。第ｎ＋３フレームでは、領域４１ａ〜４１ｄが有効領域である。第ｎ＋４フレームでは、領域４１ａ〜４１ｅが有効領域である。

或いは、有効領域は、図９（ｃ）に示すように「リフレッシュ領域および所定期間内にリフレッシュが行われた領域」と定義されるようにしてもよい。図９（ｃ）では「所定期間」は２フレーム時間である。すなわち、例えば、第ｎ＋２フレームに注目すると、第ｎ＋１フレームでは領域４１ｂがリフレッシュされ、第ｎフレームでは、領域４１ａがリフレッシュされている。よって、第ｎ＋２フレームの有効領域は、領域４１ａ〜４１ｃである。他のフレームについても同様に有効領域が定義される。なお、以下の説明では、フレーム内の有効領域以外の領域を「非有効領域」と呼ぶことがある。

判断部３４は、参照領域検出部３１により検出される参照領域が、有効領域のみに属するのか否かを調べる。すなわち、判断部３４は、参照領域が有効領域の画素のみを含むのか、非有効領域の画素も含むのかを調べる。なお、有効領域（および非有効領域）を表す有効領域情報は、上述したように、フレーム毎にリフレッシュ管理部３３により生成される。

補完部３５は、後で説明するアルゴリズムに従って補完画像を生成する。補完画像は、復号画像記憶部１１に格納されている復号画像（すなわち、参照画像）を利用して生成されてもよいし、復号画像と独立して生成されてもよい。選択部３６は、判断部３４による判断結果に応じて、抽出部３２により抽出された参照領域の画素または補完部３５により生成される補完画像の画素を選択する。すなわち、有効領域に属する参照領域についてはその参照領域の画像が出力され、非有効領域に属する参照領域については補完画像が出力される。

予測画像生成部１４の動作を図１０、図１１を参照しながら説明する。ここでは、符号化対象ブロックが８×８画素であるものとする。この場合、参照領域も８×８画素である。

図１０は、参照領域が有効領域の画素のみを含む場合の動作を示す。この場合、予測画像生成部１４は、フレーム間符号化のための予測画像として、復号画像内の参照領域の画像をそのまま出力する。すなわち、選択部３５は、予測画像の画素データとして、それぞれ復号画像の参照領域の画素データを選択する。

図１１は、参照領域が非有効領域の画素を含む場合の動作を示す。この例では、参照領域の第１〜第７ラインが有効領域に属し、第８ラインが非有効領域に属しているものとする。この場合、予測画像生成部１４は、予測画像として、有効領域に属する参照領域についてはその参照領域の画像を出力し、非有効領域に属する参照領域については補完画像を出力する。すなわち、８×８ブロックの第１〜第７ラインの画素データとして復号画像の参照領域の画素データが選択され、第８ラインの画素データとして補完画像の画素データが選択される。

上述にようにして生成された予測画像は、予測誤差信号生成部１に送られる。そして、原画像と予測画像の差分（すなわち、誤差）が計算され、その誤差が符号化される。ただし、リフレッシュ領域においては、フレーム内符号化が行われるので、選択部１６により予測画像の変わりに「ゼロ」が選択される。

リフレッシュ管理部３３により生成される有効領域情報は、制御データ符号化部２２において符号化される。すなわち、有効領域情報は、制御データとして送信される。
次に、補完画像を生成する方法の実施例について説明する。なお、以下の説明では、図１２（ａ）に示すように、符号化対象ブロック（または、動き予測の単位）を１６×１６画素とする。そして、（０，０）〜（１５，ｊ）が有効領域に属しているものとする。

第１の補完方法においては、非有効領域の画素データ（すなわち、補完画像の画素データ）は、図１２（ｂ）に示すように、有効領域内の最も近い画素の画素データをコピーすることにより生成される。この処理は、下記（１）式で表される。
pred (x,y) ＝ pred (x,j) ・・・（１）
ここで、「pred (x,y)」は、非有効領域の画素の画素データである。また、「pred (x,j)」は、非有効領域に隣接するライン上の各画素の画素データである。

第１の補完方法は、図１２（ｃ）に示す構成により実現される。すなわち、第１の補完方法を実現するためには、補完部３５はコピー部４１を備える。コピー部４１は、参照領域を構成する画素のうち、非有効領域に属する画素について、上記（１）式の演算を実行する。

第２の補完方法においては、非有効領域の各画素の画素データは、図１３（ａ）に示すように、有効領域内の非有効領域に隣接する画素の画素データを平均化することによって生成される。この処理は、下記（２）式で表される。

第２の補完方法は、図１３（ｂ）に示す構成により実現される。すなわち、第２の補完方法を実現するためには、補完部３５は、有効参照画素記憶部４２、境界画素選択手段４３、平均化部４４を備える。有効参照画素記憶部４２は、有効領域情報に基づいて、参照領域を構成する画素のうちの有効領域に属する画素の画素データを記憶する。境界画素選択手段４３は、有効参照画素記憶部４２に記憶されている画素のうち、非有効領域に隣接するライン上の画素の画素データを選択する。平均化部４４は、境界画素選択手段４３により選択された画素データを平均化する。すなわち、上記（２）式の演算が実行される。

第３の補完方法においては、非有効領域の画素データは、図１４（ａ）に示すように、有効領域内の非有効領域に隣接する画素の画素データをフィルタリングすることによって生成される。この処理は、下記（３）式で表される。

なお、（３）式においてフィルタ係数は「１」であるものとする。すなわち、例えば、斜め４５度方向に補完する場合には、下記の条件によりフィルタリングが行われる。
ｗ_x,y （ｘ−ｙ＋ｊ−１）＝０．２５
ｗ_x,y （ｘ−ｙ＋ｊ）＝０．５
ｗ_x,y （ｘ−ｙ＋ｊ＋１）＝０．２５
「ｉ」が「ｘ−ｙ＋ｊ−１」「ｘ−ｙ＋ｊ」「ｘ−ｙ＋ｊ＋」のいずれにも該当しないときには、「ｗ_x,y （ｉ）＝０」
第３の補完方法は、図１４（ｂ）に示す構成により実現される。すなわち、第４の補完方法を実現するためには、補完部３５は、有効参照画素記憶部４２、境界画素選択手段４３、フィルタ４５を備える。有効参照画素記憶部４２および境界画素選択手段４３は、第２の補完方法と同じである。フィルタ４５は、境界画素選択手段４３により選択された画素データについて上記（３）式のフィルタリングを実行する。

第４の補完方法は、有効領域の画素とは無関係に、補完画像の画素データとして、予め決められた色、輝度を表すデータが生成される。
実施形態の予測画像生成部１４は、例えば、上記第１〜第４の補完方法の中の任意の方法で補完画像を生成する。また、予測画像生成部１４は、第１〜第４の補完方法のうちの２以上の補完方法の中から最適な方法を動的に（例えば、ブロック単位で）選択し、その選択した方法で補完画像を生成するようにしてもよい。

図１５は、補完方法を選択する機能を備える予測画像生成部の構成を示す図である。図１５において、参照領域検出部３１、抽出部３２、リフレッシュ管理部３３、判断部３４は、図７を参照しながら説明した通りである。

補完部３７は、複数の補完方法（例えば、上述した第１〜第４の補完方法）を実行することができる。計算部３８は、複数の補完方法の中から最適な方法を選択する。そして、補完部３７は、選択された補完方法で生成した補完画像を出力する。計算部３８は、選択した補完方法を表す補完方法情報を出力する。なお、補完方法情報は、制御データ符号化部２３において符号化され、復号装置へ送られる。

図１６は、補完方法を選択する機能を備える補完部３７の構成を示す図である。補完部３７は、この実施例では、第１〜第４の補完方法で補完画素データを生成する第１〜第４の補完処理部４１ａ〜４１ｄを備えるものとする。誤差計算部４２ａ〜４２ｄは、それぞれ、参照領域内の非有効領域に属する画素の画素データと、補完処理部４１ａ〜４１ｄにより生成される補完画素データとの誤差を計算する。なお、「参照領域内の非有効領域に属する画素」は、補完部３７において補完画素によって置きかえられる画素である。判定部４３は、補完処理部４１ａ〜４１ｄの中から、誤差が最小となる画素データを生成する補完処理部を選択する。選択部４４は、判定部４３による判定結果に従って、対応する補完処理部により生成される画素データを選択する。

なお、補完方法を選択する方法は、上記方法に限定されるものではない。例えば、符号化対象ブロックの動きベクトルまたは周辺ブロックの動きベクトルに基づいて補完方法を決定するようにしてもよい。この場合、例えば、対象ブロックの動きベクトルが小さければ第１の補完方法に従って補完画像を生成し、対象ブロックの動きベクトルが大きければ第２の補完方法に従って補完画像を生成するようにしてもよい。

また、補完画像は、上述したように、参照領域が非有効領域の画素を含むときに生成される。換言すれば、参照領域が非有効領域の画素を含まないときは、補完画像を生成する必要はなく、補完方法情報を復号装置へ送信する必要もない。したがって、予測画像生成部は、参照領域が非有効領域の画素を含むときにのみ補完方法情報を制御データ符号化部２３へ導くスイッチ３９を備えるようにしてもよい。この構成を導入すれば、復号装置へ送信される制御データの情報量を削減できる。なお、参照領域が非有効領域の画素を含むか否かは、リフレッシュ管理部３３により生成される有効領域情報により判断される。

図１７は、有効領域／非有効領域の通知方法について説明する図である。ここでは、各フレームは、領域５０１〜５０５から構成されているものとする。また、原画像（符号化対象フレーム）は、直前のフレームの画像を参照するものとする。さらに、参照画像においては領域５０３がリフレッシュされ、原画像では領域５０４がリフレッシュされるものとする。

図１７に示す例において、原画像の領域５０１〜５０３に属する各ブロックにとっての有効領域は、参照画像の領域５０１〜５０３のみである。一方、原画像の領域５０５に属する各ブロックにとっての有効領域は、参照画像の全領域（すなわち、領域５０１〜５０５）である。すなわち、有効領域は、ブロック毎に異なる。

有効領域を示す有効領域情報は、上述したように、制御データ符号化部２３を介して復号装置へ送信される。このとき、有効領域情報は、ブロック単位で生成して復号装置へ送信するようにしてもよい。また、原画像を構成する複数のブロックを、参照領域が制限される領域（領域５０１〜５０３）に属するブロックと、参照領域が制限されない領域（領域５０５）に属するブロックとにグループ化し、グループ毎に有効領域情報を復号装置へ送信するようにしてもよい。なお、Ｈ．２６４では、複数のブロックから構成されるスライスを単位として処理を行うことができる。この場合、スライスヘッダに有効領域情報を付与して復号装置へ送信するようにしてもよい。

上記構成の動画像符号化装置により符号化された動画像データは、動画像復号装置へ送信され、復号化される。あるいは、符号化された動画像データは、いったん記録媒体に記録された後、動画像復号装置により読み出されて復号化される。

図１８は、本発明の実施形態の動画像復号装置の構成を示す図である。この動画像復号装置は、上述の動画像符号化装置により生成される符号化データを復号化して動画像を再生する。なお、以下の説明では、動画像符号化装置が備える予測画像生成部１４は、予め決められた補完方法で補完画像を生成するものとする。

分離部５１は、受信した符号化データを、係数データ、動きベクトルデータ、制御データに分離する。係数復号部５２は、係数データをエントロピ復号化する。係数復号部５２によるエントロピ復号化は、動画像符号化装置の係数符号化部４によるエントロピ復号化に対応する。逆量子化部５３は、エントロピ復号化された係数データを逆量子化する。逆量子化部５３による逆量子化は、量子化部３による量子化に対応する。逆直交変換部５４は、逆量子化された係数データを逆直交変換する。逆直交変換部５４による逆直交変換は、直交変換部２による直交変換に対応する。

復号画像生成部５５は、予測画像を利用して原画像を再生する。再生された原画像は、復号画像として復号画像記憶部５６に一時的に記憶される。このとき、復号画像は、デジタルブロッキングフィルタ５７によりブロック歪を除去された後に復号画像記憶部５６に格納されるようにしてもよい。

動きベクトルデータ復号部５８は、受信した動きベクトルデータを復号化する。動きベクトルデータ復号部５８による復号化は、動画像符号化装置の動きベクトルデータ符号化部２１による符号化に対応する。これにより、各ブロックについての動きベクトルを得ることができる。制御データ復号部５９は、受信した制御データを復号化する。制御データ復号部５９による復号化は、制御データ符号化部２２による符号化に対応する。なお、制御データは、ここでは、フレーム間符号化において参照可能な領域を表す有効領域情報である。予測画像生成部６０は、復号画像記憶部５６に格納されている復号画像、動きベクトル、有効領域情報に基づいて、予測画像を生成する。そして、この予測画像を利用して復号画像生成部５５において原画像が再生される。

なお、図１８においては省略されているが、復号対象ブロックがリフレッシュ領域に属する場合には、予測画像生成部６０は「ゼロ」を出力する。この場合、復号画像生成部５５は、逆直交変換部５４により得られる画素データから構成される画像を復号画像として復号画像記憶部５６に格納する。すなわち、この領域については、フレーム内復号化が行われることになる。

図１９は、実施形態の予測画像生成部６０の構成および動作を説明する図である。この予測画像生成部６０の動作は、基本的には、動画像符号化装置が備える予測画像生成部１４と同じである。ただし、予測画像生成部６０は、動画像復号装置に設けられるものであり、有効領域情報は符号化装置から与えられる。

補完画素生成部７１は、復号対象ブロックの動きベクトルを取得し、その動きベクトルが指し示す参照領域の画像を復号画像記憶部５６から取り出す。判定部７２は、有効領域情報を利用し、補完画素生成部７１が取得した参照領域が非有効領域の画素を含んでいるか否かを判定する。選択部７３は、参照領域の画素が有効領域に属するときには、復号画像記憶部５６から読み出した画素データを選択する。一方、選択部７３は、参照領域の画素が非有効領域に属するときには、補完画素生成部７１が生成する補完画像の画素データを選択する。

なお、補完画素生成部７１は、符号化装置における補完方法と同じ方法で補完画像の画素データを生成する。また、符号化装置において複数の補完方法の中からブロック毎に実行すべき補完方法が動的に選択される場合には、選択された補完方法を表す補完方法情報が予測画像生成部６０に与えられる。そして、予測画像生成部６０は、与えられた補完方法情報に従って、対応する補完方法で補完画像を生成する。

このように、実施形態の動画像符号化装置および動画像復号装置においては、順次リフレッシュ方式を採用しているので、フレーム毎の符号化データの情報量のピークは抑制される。また、フレーム間符号化を行う際に最適な参照領域の画像を使用することができるので、画像の品質の劣化は抑えられる。さらに、参照領域が非有効領域の画素を含んでいる場合には、その非有効領域の画像の代わりに有効領域の画素データから生成される補完画像が使用されるので、非有効領域のエラーの伝搬を抑えることができる。

なお、順次リフレッシュは、ブロック毎に実行されてもよいし、１または複数のライン毎に実行されてもよいし、他の単位で実行されてもよい。
また、実施形態の動画像符号化装置において、補完部は、予め用意されている複数の補完方法の中から選択した補完方法で補完画像を生成するようにしてもよい。この場合、実施形態の動画像符号化装置は、選択された補完方法を表す補完方法情報を復号装置へ送信する送信部を備えるようにしてもよい。このとき、送信部は、参照領域の一部が有効領域外に及んでいるときにのみ、補完方法情報を復号装置へ送信するようにしてもよい。さらに、実施形態の動画像復号装置が備える補完部は、動画像符号化装置において使用された補完方法で補完画像を生成するようにしてもよい。

Claims (7)

1. 入力画像を分割することにより得られる複数のブロックのそれぞれについて符号化を行う動画像符号化装置であって、
   フレーム間符号化の参照画像において参照することができる有効領域を定義する定義手段と、
   前記参照画像において対象ブロックのフレーム間符号化のために参照すべき参照領域を検出する検出手段と、
   参照領域が前記有効領域内で検出されたときは、その参照領域の画像を出力することにより予測画像を生成し、参照画像が前記有効領域および非有効領域にまたがって検出されたときは、前記有効領域に属する参照領域についてはその参照領域の画像を出力し、非有効領域に属する参照領域については、複数の異なる補完方法でそれぞれ前記有効領域内の画像に基づいて複数の補完画像を生成し、それら複数の補完画像の中で前記参照領域内の非有効領域の画像との誤差が最小となる補完画像を選択して出力することにより予測画像を生成する予測画像生成手段と、
   前記予測画像を利用して入力画像を符号化する符号化手段、を有し、
   前記有効領域を表す有効領域情報および前記予測画像生成手段により選択された補完画像を生成した補完方法を表す補完方法情報を、複数のブロックから構成されるグループ毎に復号装置へ送信することを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置であって、
   画像をリフレッシュするリフレッシュ領域を指定する指定手段をさらに備え、
   前記指定手段は、直前のフレームとは異なる領域をリフレッシュ領域に指定し、
   前記定義手段は、リフレッシュ領域および所定期間内にリフレッシュが行われた領域を有効領域と定義する
   ことを特徴とする動画像符号化装置。
3. 請求項１に記載の動画像符号化装置であって、
   前記予測画像生成手段は、前記有効領域内の画素に基づいて前記補完画像を生成する補完手段を備える
   ことを特徴とする動画像符号化装置。
4. 入力画像を分割することにより得られる複数のブロックのそれぞれについて符号化を行う動画像符号化方法であって、
   フレーム間符号化の参照画像において参照することができる有効領域を定義する工程と、
   前記参照画像において対象ブロックのフレーム間符号化のために参照すべき参照領域を検出する工程と、
   参照領域が前記有効領域内で検出されたときは、その参照領域の画像を出力することにより予測画像を生成し、参照画像が前記有効領域および非有効領域にまたがって検出されたときは、前記有効領域に属する参照領域についてはその参照領域の画像を出力し、非有効領域に属する参照領域については、複数の異なる補完方法でそれぞれ前記有効領域内の画像に基づいて複数の補完画像を生成し、それら複数の補完画像の中で前記参照領域内の非有効領域の画像との誤差が最小となる補完画像を選択して出力することにより予測画像を生成する工程と、
   前記予測画像を利用して入力画像を符号化する工程と、
   前記有効領域を表す有効領域情報および前記選択された補完画像を生成した補完方法を表す補完方法情報を、複数のブロックから構成されるグループ毎に復号装置へ送信する工程、
   を有することを特徴とする動画像符号化方法。
5. 入力画像を分割することにより得られる複数のブロックのそれぞれについて符号化を行う動画像符号化装置により得られる符号化データを復号化する動画像復号装置であって、
   フレーム間符号化の参照画像において参照することができる有効領域を定義した有効領域情報を符号化時の情報から取得する取得手段と、
   前記参照画像において対象ブロックのフレーム間符号化のために参照すべき参照領域を検出する検出手段と、
   参照領域が前記有効領域内で検出されたときは、その参照領域の画像を出力することにより予測画像を生成し、参照画像が前記有効領域および非有効領域にまたがって検出されたときは、前記有効領域に属する参照領域についてはその参照領域の画像を出力し、非有効領域に属する参照領域については、複数の異なる補完方法の中で前記動画像符号化装置から受信する補完方法情報により指定される補完方法で前記有効領域内の画像に基づいて補完画像を生成して出力することにより予測画像を生成する予測画像生成手段と、
   前記予測画像を利用して前記符号化データを復号化する復号手段、を有し、
   前記補完方法情報は、前記動画像符号化装置において、非有効領域に属する参照領域について、複数の異なる補完方法でそれぞれ有効領域内の画像に基づいて複数の補完画像が生成され、それら複数の補完画像の中で参照領域内の非有効領域の画像との誤差が最小となる補完画像が選択されるときの、前記選択された補完画像を生成した補完方法を表す
   ことを特徴とする動画像復号装置。
6. 請求項５に記載の動画像復号装置であって、
   前記予測画像生成手段は、前記有効領域内の画素に基づいて前記補完画像を生成する補完手段を備える
   ことを特徴とする動画像復号装置。
7. 入力画像を分割することにより得られる複数のブロックのそれぞれについて符号化を行う動画像符号化装置により得られる符号化データを復号化する動画像復号方法であって、
   フレーム間符号化の参照画像において参照することができる有効領域を定義した有効領域情報を符号化時の情報から取得する工程と、
   前記参照画像において対象ブロックのフレーム間符号化のために参照すべき参照領域を検出する工程と、
   参照領域が前記有効領域内で検出されたときは、その参照領域の画像を出力することにより予測画像を生成し、参照画像が前記有効領域および非有効領域にまたがって検出されたときは、前記有効領域に属する参照領域についてはその参照領域の画像を出力し、非有効領域に属する参照領域については、複数の異なる補完方法の中で前記動画像符号化装置から受信する補完方法情報により指定される補完方法で前記有効領域内の画像に基づいて補完画像を生成して出力することにより予測画像を生成する工程と、
   前記予測画像を利用して前記符号化データを復号化する工程、を有し、
   前記補完方法情報は、前記動画像符号化装置において、非有効領域に属する参照領域について、複数の異なる補完方法でそれぞれ有効領域内の画像に基づいて複数の補完画像が生成され、それら複数の補完画像の中で参照領域内の非有効領域の画像との誤差が最小となる補完画像が選択されるときの、前記選択された補完画像を生成した補完方法を表す
   ことを特徴とする動画像復号方法。

Images