JPWO2010026770A1 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路 - Google Patents

Abstract

画像符号化方法は、符号化対象信号を量子化して量子化係数を算出する量子化ステップ（Ｓ１１）と、量子化係数を逆量子化して復号信号を生成する逆量子化ステップ（Ｓ１２）と、復号信号を複数の画像領域に分割する領域形成ステップ（Ｓ１３）と、領域形成ステップで分割された画像領域より大きな領域毎に符号化対象信号及び復号信号の相関を示す第１の相関データを予測すると共に、領域形成ステップで特定された画像領域毎に復号信号自体の相関を示す第２の相関データを予測する予測ステップ（Ｓ１４）と、第１及び第２の相関データに基づいて、画像領域毎にフィルタ係数を算出するフィルタ係数算出ステップ（Ｓ１５）と、フィルタ係数算出ステップで算出されたフィルタ係数を用いて、画像領域毎に復号信号をフィルタリングするフィルタリングステップと、第１及び第２の相関データのうち、第１の相関データのみを出力する出力ステップとを含む。

Description

本願は、動画像信号のフィルタリング用の適応的フィルタを用いて動画像を符号化および復号するための方法および装置に関する。

現在、標準的な動画像符号化アルゴリズムの大多数は、ハイブリッド動画像符号化に基づくものである。典型的には、ハイブリッド動画像符号化方法は、所望の圧縮成果を達成するために、それぞれ異なるロスが生じない圧縮方式とロスが生じる圧縮方式とを組み合わせたものである。ハイブリッド動画像符号化は、ＩＳＯ／ＩＥＣ標準規格（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４のようなＭＰＥＧ−Ｘ標準規格）と同様に、ＩＴＵ−Ｔ標準規格（Ｈ．２６１やＨ．２６３のようなＨ．２６ｘ標準規格）の基礎でもある。最新の動画像符号化標準規格は、Ｈ．２６４／ＭＰＥＧ−４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と称されるものである。これは、ジョイントビデオチーム（ＪＶＴ）およびＩＴＵ−ＴとＩＳＯ／ＩＥＣ ＭＰＥＧグループとのジョイントチームによる標準化活動の成果である。

エンコーダへ入力される動画像信号は、フレーム（又はピクチャ）と呼ばれる画像のシーケンスであり、各フレームは２次元配列された画素からなる。ハイブリッド動画像符号化に基づく上述の標準規格の全てにおいて、個々の動画像フレームは複数の画素からなる小ブロックへ細分化される。典型的には、マクロブロック（通常は１６×１６画素ブロックを意味する）が基本的な画像エレメントであり、これに対して符号化がおこなわれる。しかしながら、より小さい画像エレメントに対してさまざまな特定の符号化ステップがおこなわれる場合がある。例えば、８×８、４×４、１６×８などのサイズのブロックやサブブロックが挙げられる。

典型的には、ハイブリッド動画像符号化における符号化ステップには、空間的および／または時間的予測が含まれる。したがって、各符号化対象ブロックは、まず、既に符号化された動画像フレームから空間的に隣接したブロックか時間的に隣接したブロックかを用いて予測される。符号化対象ブロックと予測残差とも呼ばれる予測結果との差分ブロックが、次に求められる。次の符号化ステップでは、残差ブロックが空間（画素）ドメインから周波数ドメインへ変換される。変換の目的は、入力ブロックの冗長性を削減することである。次の符号化ステップにおいて、変換係数が量子化される。このステップにおいて、実質的にロスが生じる（不可逆的な）圧縮がおこなわれる。通常、圧縮変換係数値は、エントロピー符号化によって（ロスを生じさせずに）さらに圧縮される。さらに、符号化動画像信号を再構築するために必要な補助情報が符号化され、符号化動画像信号とともに提供される。この情報は、例えば、空間的および／または時間的予測や量子化量に関するものである。

図１は、Ｈ．２６４／ＡＶＣ標準規格に準拠した、典型的な動画像符号化装置１００の一例を示す。Ｈ．２６４／ＡＶＣ標準規格は、上述の符号化ステップの全てを組み合わせたものである。減算器１０５は、まず、動画像（入力信号）の対象ブロック（符号化対象ブロック）と、対応する予測ブロック（予測信号）との差分を特定する。

時間的予測ブロックは、メモリ１４０に格納されている符号化画像から得られるブロックである。空間的予測ブロックは、符号化されてメモリ１４０に格納された隣接ブロック内の境界画素の画素値から補間される。よって、メモリ１４０は、対象信号値と過去の信号値から生成された予測信号とを比較する遅延手段として動作する。メモリ１４０は、複数の符号化動画像フレームを格納可能である。

入力信号と予測信号との差分は予測誤差または残差と称され、変換／量子化部１１０によって変換され量子化される。ロスが生じない方法でデータ量をさらに削減するために、エントロピー符号化部１９０によって量子化係数がエントロピー符号化（「可変長符号化」ともいう。以下同じ。）される。具体的には、値の発生確率に基づいて長さが決められる複数の符号語を用いるエントロピー符号化によりデータ量が削減される。

Ｈ．２６４／ＡＶＣ標準規格には、動画像符号化層（ＶＣＬ）とネットワーク抽象レイヤ（ＮＡＬ）という２つの機能層が備えられている。ＶＣＬは、既に簡単に触れた符号化機能を提供する。ＮＡＬは、さらなるアプリケーション（チャネル上伝送や格納手段への格納）にしたがって、復号時に必要な補助情報とともに符号化データを、ＮＡＬユニットと呼ばれる標準単位にカプセル化する。圧縮動画像データおよびその関連情報を含むＶＣＬ＿ＮＡＬユニットと呼ばれるものがある。

一方、付加データをカプセル化する非ＶＣＬユニットと呼ばれるものもある。付加データは、例えば、動画像シーケンス全体に関するパラメータセットや、ポストフィルタヒントのような復号性能を改善するために用いることができる付加情報を提供する、最近追加された補助的拡張情報（ＳＥＩ）などである。

動画像符号化装置１００内に、復号動画像信号を取得する復号手段が備えられる。符号化ステップに準拠して、復号ステップには逆量子化／逆変換部１２０が含まれる。復号予測誤差信号は、量子化ノイズとも呼ばれる量子化誤差が原因で原画入力信号とは異なる。加算器１２５によって復号予測誤差信号を予測信号に加算することにより、再構築信号が取得される。エンコーダ側とデコーダ側の互換性を保つために、符号化された後に復号された動画像信号に基づいて、双方に知られる予測信号を求める。

量子化によって、量子化ノイズが再構築動画像信号に重畳される。ブロック単位での符号化により、重畳されたノイズはしばしば、ブロッキング特性を有し、特に強い量子化がおこなわれた場合は、復号画像のブロック境界が目立つ結果になる。ブロッキングアーチファクトは、人間の視覚的認識上マイナスの効果がある。アーチファクトを削減するために、再構築画像ブロックごとにデブロッキングフィルタ１３０が適用される。デブロッキングフィルタ１３０は、予測信号と復号予測誤差信号との加算結果である再構築信号に適用される。デブロッキング後の動画像信号は、通常は（ポストフィルタリングが適用されなければ）デコーダ側で表示される復号信号である。Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタ１３０は、局所的に適用可能なものである。ブロッキングノイズの程度が高い場合は、強い（帯域幅が狭い）ローパスフィルタが適用され、ブロッキングノイズの程度が低い場合は、弱い（帯域幅が広い）ローパスフィルタが適用される。デブロッキングフィルタ１３０は、通常、ブロックのエッジを平滑化して復号画像の主観的画質を改善する。さらに、画像内のフィルタリング済みの部分が次の画像の動き補償予測に用いられるため、フィルタリングによって予測誤差が削減され、符号化効率を改善することができる。復号信号は、次にメモリ１４０に格納される。

Ｈ．２６４／ＡＶＣにおける予測信号は、時間的予測か空間的予測によって取得される。予測タイプは、マクロブロック単位で異ならせることができる。時間的予測で予測されたマクロブロックは、インター符号化マクロブロックと呼ばれ、空間的予測で予測されたマクロブロックは、イントラ符号化マクロブロックと呼ばれる。ここで、「インター」という用語は、インターピクチャ予測、つまり先行フレームか後続フレームから得られた情報を用いる予測に関する。「イントラ」という用語は、空間的予測、つまり対象動画像フレーム内で既に符号化された情報のみを用いる予測に関する。可能な限り高い圧縮成果を達成するために、動画像フレームの予測タイプは、ユーザが設定することもでき、動画像符号化装置１００に選択させることもできる。選択された予測タイプにしたがって、スイッチ１７５は、対応する予測信号を減算器１０５へ提供する。

イントラ符号化画像（Ｉタイプ画像またはＩフレームとも呼ばれる）は、イントラ符号化されたマクロブロックのみからなる。つまり、イントラ符号化された画像は、他の復号画像を参照することなく復号可能である。イントラ符号化画像は、符号化動画像シーケンスに対しエラー耐性を与える。なぜなら、時間的予測によって動画像シーケンス内でフレームからフレームへ伝播する可能性があるエラーを取り除く（リフレッシュする）からである。さらに、Ｉフレームは、符号化動画像シーケンス内でランダムアクセスを可能にする。

イントラフレーム予測では、基本的には、既に符号化された隣接マクロブロックの境界に位置する画素を用いて対象マクロブロックを予測する、定義済みのイントラ予測モードの組が用いられる。空間的予測タイプが異なるということは、エッジの方向、つまり適用された２次元補間の方向が異なるということである。補間によって得られた予測信号は、次に、上述の減算器１０５によって、入力信号から減算される。また、空間的予測タイプ情報は、エントロピー符号化され、符号化動画像信号とともに信号送信される。

インター符号化画像を復号するには、符号化された後に復号された画像が必要である。時間的予測は、単一方向つまり符号化対象フレームより早い順序の動画像フレームのみを用いておこなってもよく、後続動画像フレームも用いておこなってもよい。単一方向の時間的予測をおこなえば、Ｐフレームと呼ばれるインター符号化画像が得られ、双方向の時間的予測をおこなえば、Ｂフレームと呼ばれるインター符号化画像が得られる。一般的に、インター符号化画像は、Ｐタイプマクロブロック、Ｂタイプマクロブロック、及びＩタイプマクロブロックのいずれかから構成される。

インター符号化マクロブロック（ＰまたはＢマクロブロック）は、動き補償予測部１６０を採用して予測される。まず、動き補償予測部１６０によって、符号化された後に復号された動画像フレーム内で、対象ブロックに最適なブロックが検出される。この最適ブロックは予測信号となり、対象ブロックと最適ブロック間の相対的なずれ（動き）が、符号化動画像データとともに提供される補助情報内に含められる２次元の動きベクトルの形で動きデータとして信号送信される。

予測精度を最適化するため、１／２画素解像度や１／４画素解像度などの小数画素解像度で動きベクトルを特定してもよい。小数画素解像度の動きベクトルは、復号フレーム内の、小数画素位置のように実存する画素値がない位置を指してもよい。よって、動き補償をおこなうには、そのような画素値の空間的補間が必要である。補間は、補間フィルタ１５０によっておこなわれる。Ｈ．２６４／ＡＶＣ標準規格にしたがって、小数画素位置の画素値を得るために、固定フィルタ係数を用いた６タップ・ウィナー補間フィルタとバイナリフィルターとが適用される。

イントラ符号化モードおよびインター符号化モードにおいて、変換／量子化部１１０によって、対象入力信号と予測信号間の差分が変換されて量子化され、量子化変換係数が得られる。一般的に、２次元離散コサイン変換（ＤＣＴ）またはその整数版のような直交変換が採用される。なぜなら、これにより自然動画像の冗長性を効率的に削減できるからである。通常、低周波数成分は高周波成分よりも画質にとって重要であるため、高周波数よりも低周波数に多くのビットが費やされるように変換される。

量子化後、２次元配列の量子化係数が１次元配列に変換されてエントロピー符号化部１９０に送信される。典型的には、いわゆるジグザグ走査によって変換される。ジグザグ走査においては、２次元配列の左上隅から右下隅まで所定の順序で走査される。典型的には、エネルギーは低周波に相当する画像の左上部分に集中するため、ジグザグ走査をおこなうと、最後のほうでゼロ値が続く配列になる。これにより、実際のエントロピー符号化の一部として、またはそれ以前の段階で、ラン−レングス符号を用いた効率的な符号化をおこなうことが可能になる。

画質を改善するために、ポストフィルタ２８０と呼ばれるものを、動画像復号装置２００で適用してもよい。Ｈ．２６４／ＡＶＣ標準規格においては、補助的拡張情報（ＳＥＩ）メッセージを通して、ポストフィルタ２８０のためのポストフィルタ情報を送信することが可能である。ポストフィルタ情報は、ローカル復号信号と原画入力信号とを比較するポストフィルタ設計部１８０によって動画像符号化装置１００側で特定される。ポストフィルタ設計部１８０の出力は、エントロピー符号化部１９０に送られ、符号化されて符号化信号に挿入される。エントロピー符号化部１９０は、統計を適用した、符号化対象情報のタイプが異なれば長さが異なる可変長コードを採用する。

図２は、Ｈ．２６４／ＡＶＣ動画像符号化標準規格に準拠した例示的な動画像復号装置２００を説明する図である。符号化動画像信号（デコーダへの入力信号）は、まずエントロピー復号部２９０へ送信される。エントロピー復号部２９０は、量子化係数や動きデータおよび予測タイプなどの復号に必要な情報エレメントや、ポストフィルタ情報を復号する。量子化係数は、逆走査されて２次元配列となり、逆量子化／逆変換部２２０へ送信される。逆量子化／逆変換部２２０による逆量子化および逆変換後、復号（量子化）予測誤差信号が得られる。これは、エンコーダへ入力された信号から予測信号を減算して得られた差分に相当する。

予測信号は、動き補償予測部（時間的予測部）２６０またはイントラフレーム予測部（空間的予測部）２７０からそれぞれ得られる。どちらの予測信号を採用するかは、エンコーダで適用された予測を信号送信する情報エレメントにしたがってスイッチ２７５によって切り替えられる。

復号情報エレメントは、さらに、イントラ予測の場合には、予測タイプなどの予測に必要な情報を含み、動き補償予測の場合には、動きデータなどの予測に必要な情報を含む。動きベクトルの値によっては、動き補償予測をおこなうには画素値を補間する必要がある。補間は、補間フィルタ２５０によっておこなわれる。

空間領域の量子化予測誤差信号は、次に、加算器２２５によって、動き補償予測部２６０かイントラフレーム予測部２７０から得られる予測信号へ加算される。再構築画像を、デブロッキングフィルタ２３０へ送信してもよい。復号信号は、メモリ２４０に格納され、後続ブロックの時間的予測または空間的予測に用いられる。

ポストフィルタ情報は、ポストフィルタ２８０へ送信され、ポストフィルタがそれに応じて設定される。さらに画質を改善するために、ポストフィルタ２８０は、次に復号信号に適用される。よって、ポストフィルタ２８０は、フレームごとにエンコーダへ入力される動画像信号の特性に適応する能力を備える。

要約すると、最新のＨ．２６４／ＡＶＣ標準規格で用いられるフィルタは以下の３種類である。すなわち、補間フィルタ、デブロッキングフィルタ、及びポストフィルタである。一般に、あるフィルタが適切かどうかは、フィルタリング対象の画像内容次第で決まる。それゆえ、画像の特性に適応可能なフィルタ設計は有利である。フィルタ係数を、ウィナーフィルタ係数として設計してもよい。

最新のＨ．２６４／ＡＶＣ標準規格は、分離可能な固定補間フィルタを採用している。しかしながら、この分離可能な固定補間フィルタを分離可能または分離不可能な適応的補間フィルタに置き換える提案がなされており、一例として、Ｓ．Ｗｉｔｔｍａｎｎと Ｔ．Ｗｅｄｉによる、「Ｓｅｐａｒａｂｌｅ ａｄａｐｔｉｖｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒ（非特許文献１）」（ＩＴＵ−Ｔ Ｑ．６／ＳＧ１６、ｄｏｃ． Ｔ０５−ＳＧ１６−Ｃ−０２１９、ジュネーブ、スイス、２００７年６月）がある。最新のＨ．２６４／ＡＶＣ標準規格においては、さらに、適応的ポストフィルタを利用可能である。この目的で、上述のように、ポストフィルタ設計部１８０によって画像ごとにエンコーダでポストフィルタが評価される。ポストフィルタ設計部１８０は、フィルタ情報（ポストフィルタヒントと呼ばれるもの）を生成し、これをＳＥＩメッセージの形でデコーダへ送信する。デコーダでの表示に先立って復号信号に適用されるポストフィルタ２８０によって、このフィルタ情報を利用してもよい。エンコーダからデコーダへ送信されるフィルタ情報は、フィルタ係数か相互相関ベクトルである。補助情報を送信すれば、フィルタリングの質を改善できる場合があるが、帯域を広げる必要が生じる。送信または計算されたフィルタ係数を用いて、画像全体にポストフィルタリングが施される。Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタは、ブロックのエッジに生じるブロッキングアーチファクトを削減するループフィルタとして用いられる。３タイプのフィルタは、ウィナーフィルタとして評価される。

図３は、ノイズを削減するためのウィナーフィルタ３００を用いた信号の流れを説明する図である。ノイズｎが入力信号ｓに加算されると、フィルタリング対象のノイズを含む信号ｓ’になる。ノイズｎを削減するという目的は、信号ｓ’にウィナーフィルタ３００を適用してフィルタリング済み信号ｓ’’を得ることである。ウィナーフィルタ３００は、所望の信号である入力信号ｓとフィルタリング済み信号ｓ’’との間の平均二乗誤差を最小限にするよう設計される。ウィナー係数はウィナーＨｏｐｆ方程式と呼ばれるシステムとして表現される最適化問題ａｒｇＷ ｍｉｎ Ｅ［（ｓ−ｓ’’）²］の解に相当する。解は以下の式１で求められる。

ここで、ｗは、正の整数であるＭ桁の最適ウィナーフィルタ係数を含むＭ×１のベクトルである。Ｒ^-1は、フィルタリング対象のノイズを含む信号ｓ’のＭ×Ｍの自己相関マトリクスＲの逆数を表す。ｐは、フィルタリング対象のノイズを含む信号ｓ’と原画信号ｓとの間のＭ×１の相互相関ベクトルを表す。適応的フィルタ設計に関する詳細については、Ｓ．Ｈａｙｋｉｎの、「Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒ Ｔｈｅｏｒｙ（非特許文献２）」（第４版、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓシリーズ、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、２００２年）を参照のこと。これをここに引用して援用する。

Ｓｅｐａｒａｂｌｅ ａｄａｐｔｉｖｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒ」（Ｓ．Ｗｉｔｔｍａｎｎ、Ｔ．Ｗｅｄｉ、ＩＴＵ−Ｔ Ｑ．６／ＳＧ１６、ｄｏｃ． Ｔ０５−ＳＧ１６−Ｃ−０２１９、ジュネーブ、スイス、２００７年６月） Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒ Ｔｈｅｏｒｙ（Ｓ．Ｈａｙｋｉｎ、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓシリーズ、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、２００２年）

よって、ウィナーフィルタ３００のメリットの１つは、破損した（ノイズを含む）信号の自己相関と、破損信号と所望の信号間の相互相関に基づいて、フィルタ係数を求めることができるという点である。フィルタ係数は、画像または画像シーケンスのフィルタリングのために用いられるので、画像信号は、少なくとも広い意味では定常的であり、つまり、最初の２つの統計的モーメント（平均と相関）は、経時変化しないことが暗示的に示される。非定常的な信号にフィルタを適用すれば、そのパフォーマンスはかなり悪化する。一般的に、自然動画像シーケンスは、定常的ではない。一般的に、動画像シーケンスの画像は定常的ではない。よって、フィルタリング済みの非定常的な画像の画質は低下する。

本発明の目的は、符号化の成果という観点から効率よく、画像の局所的な特性に適応する能力を備えた、動画像信号の適応的フィルタリングを伴う符号化・復号メカニズムを提供することである。

本発明の一形態に係る画像符号化方法は、画像を構成する符号化対象信号を符号化する方法である。具体的には、前記符号化対象信号を量子化して量子化係数を算出する量子化ステップと、前記量子化係数を逆量子化して復号信号を生成する逆量子化ステップと、前記復号信号を複数の画像領域に分割する領域形成ステップと、前記領域形成ステップで分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成ステップで特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測ステップと、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出ステップと、前記フィルタ係数算出ステップで算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタリングステップと、前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力ステップとを含む。

上記構成の画像符号化方法では、符号化側でのみ生成可能な第１の相関データを比較的大きな領域毎に生成し、符号化側及び復号側の双方で生成可能な第２の相関データを比較的小さな領域毎に生成している。このように、第１の相関データの生成頻度を低下させることにより、符号化効率が向上する。また、第２の相関データの生成頻度を向上させることにより、より適応的なフィルタ係数を算出することができる。

また、前記フィルタ係数算出ステップでは、前記符号化対象信号及び前記符号化信号の間の相互相関ベクトルと、前記復号信号の自己相関マトリクスとに基づいて、前記フィルタ係数を算出する。前記相互相関ベクトルは、前記復号信号の自己相関を示す第１の部分と、量子化ノイズの自己相関を示す第２の部分とで構成される。そして、前記第１の相関データは、前記第１及び第２の部分のうち、前記第２の部分のみを含み、前記第２の相関データは、前記第１の部分と、前記自己相関ベクトルとを含んでもよい。これにより、さらに符号化効率が向上する。

また、該画像符号化方法は、前記符号化対象信号を複数のブロックに分割し、当該ブロック毎に符号化する方法である。そして、前記領域形成ステップでは、前記ブロック毎に決定される量子化ステップ、予測タイプ、及び動きベクトルの少なくとも１つに基づいて、前記復号信号を前記複数の画像領域に分割してもよい。これにより、より適応的なフィルタ係数を算出することができる。

また、前記フィルタリングステップでは、隣接する前記ブロックの境界に生じるブロック歪みを除去するデブロッキングフィルタ処理、前記復号信号の主観的な画質を改善するためのループフィルタ処理、及び前記復号信号の画素値を空間的に補間する補間フィルタ処理の少なくとも１つが実行されてもよい。

また、前記予測ステップでは、前記符号化対象信号毎に前記第１の相関データを算出してもよい。これにより、さらに符号化効率が向上する。

また、前記出力ステップは、前記量子化係数と、前記第１の相関データとをエントロピー符号化して符号化信号を出力するエントロピー符号化ステップであってもよい。

本発明の一形態に係る画像復号方法は、符号化された画像を復号する方法である。具体的には、量子化係数、及び符号化対象信号と復号信号との相関を示す第１の相関データを取得する取得ステップと、前記量子化係数を逆量子化して前記復号信号を生成する逆量子化ステップと、前記復号信号を複数の画像領域に分割する領域形成ステップと、前記領域形成ステップで特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測ステップと、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出ステップと、前記フィルタ係数算出ステップで算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタリングステップとを含む。

また、前記フィルタリングステップでは、隣接する前記ブロックの境界に生じるブロック歪みを除去するデブロッキングフィルタ処理、前記復号信号の主観的な画質を改善するためのポストフィルタ処理、及び前記復号信号の画素値を空間的に補間する補間フィルタ処理の少なくとも１つが実行されてもよい。

本発明の一形態に係る画像符号化装置は、画像を構成する符号化対象信号を符号化する。具体的には、前記符号化対象信号を量子化して量子化係数を算出する量子化部と、前記量子化係数を逆量子化して復号信号を生成する逆量子化部と、前記復号信号を複数の画像領域に分割する領域形成部と、前記領域形成部で分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部と、前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力部とを備える。

本発明の一形態に係る画像復号装置は、符号化された画像を復号する。具体的には、量子化係数、及び符号化対象信号と復号信号との相関を示す第１の相関データを取得する取得部と、前記量子化係数を逆量子化して前記復号信号を生成する逆量子化部と、前記復号信号を複数の画像領域に分割する領域形成部と、前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部とを備える。

本発明の一形態に係るシステムは、画像を構成する符号化対象信号を符号化する画像符号化装置と、符号化された画像を復号する画像復号装置とを備える。前記画像符号化装置は、前記符号化対象信号を量子化して量子化係数を算出する量子化部と、前記量子化係数を逆量子化して復号信号を生成する逆量子化部と、前記復号信号を複数の画像領域に分割する領域形成部と、前記領域形成部で分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部と、前記量子化係数と、前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力部とを備える。前記画像復号装置は、量子化係数、及び前記第１の相関データを取得する取得部と、前記量子化係数を逆量子化して前記復号信号を生成する逆量子化部と、前記復号信号を複数の画像領域に分割する領域形成部と、前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部とを備える。

本発明の一形態に係るプログラムは、コンピュータに、画像を構成する符号化対象信号を符号化させる。具体的には、前記符号化対象信号を量子化して量子化係数を算出する量子化ステップと、前記量子化係数を逆量子化して復号信号を生成する逆量子化ステップと、前記復号信号を複数の画像領域に分割する領域形成ステップと、前記領域形成ステップで分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成ステップで特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測ステップと、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出ステップと、前記フィルタ係数算出ステップで算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタリングステップと、前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力ステップとを含む。

本発明の他の形態に係るプログラムは、コンピュータに、符号化された画像を復号させる。具体的には、量子化係数、及び符号化対象信号と復号信号との相関を示す第１の相関データを取得する取得ステップと、前記量子化係数を逆量子化して前記復号信号を生成する逆量子化ステップと、前記復号信号を複数の画像領域に分割する領域形成ステップと、前記領域形成ステップで特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測ステップと、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出ステップと、前記フィルタ係数算出ステップで算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタリングステップとを含む。

本発明の一形態に係る集積回路は、画像を構成する符号化対象信号を符号化する。具体的には、前記符号化対象信号を量子化して量子化係数を算出する量子化部と、前記量子化係数を逆量子化して復号信号を生成する逆量子化部と、前記復号信号を複数の画像領域に分割する領域形成部と、前記領域形成部で分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部と、前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力部とを備える。

本発明の他の形態に係る集積回路は、符号化された画像を復号する。具体的には、量子化係数、及び符号化対象信号と復号信号との相関を示す第１の相関データを取得する取得部と、前記量子化係数を逆量子化して前記復号信号を生成する逆量子化部と、前記復号信号を複数の画像領域に分割する領域形成部と、前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部とを備える。

なお、本発明は、画像符号化方法（装置）及び画像復号方法（装置）として実現できるだけでなく、これらの機能を実現する集積回路として実現したり、そのような機能をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

好ましい実施形態は、従属クレームの主題である。

本発明に特有な手法では、局所適応的な方法で、エンコーダおよび／またはデコーダで、復号動画像信号をフィルタリングするフィルタを設計する。まず、画像領域が動画像信号において特定され、相関のような統計的情報に基づいてフィルタ係数が算出される。相関情報の第１の部分は、符号化前の動画像信号と復号動画像信号に関連している。よって、この第１の部分は、エンコーダ側で特定されてデコーダ側へ提供される。この相関情報の第２の部分は、復号動画像信号に関連しており、エンコーダおよび／またはデコーダで、局所的つまり画像領域ごとに予測される。

この手法は、動画像（フレーム）の局所的な特性に応じてフィルタを適応させることにより、得られる画質を改善する。さらには、デコーダ側で統計的な情報の局所部分を予測することによって、信号送信時のオーバーヘッドも削減される場合がある。

本発明の第１の態様によれば、少なくとも１つの動画像フレームを含む入力動画像信号を符号化する方法が提供される。入力動画像信号は符号化され、符号化動画像信号は復号される。復号動画像信号の動画像フレームにおいて、画像領域が特定される。次に、入力動画像信号と復号動画像信号とに基づいて、フィルタ係数を算出するための情報である第１の相関情報が特定される。第２の相関データは、復号動画像信号に基づいて、画像領域ごとに予測される。第１相関情報は、デコーダ側へ提供され、画像領域をフィルタリングするためのフィルタ係数が導出される。このフィルタ係数は、第１相関情報と第２相関情報とに基づいて算出される。算出されたフィルタ係数を用いて、画像領域がフィルタリングされる。

本発明の他の態様によれば、少なくとも１つの動画像フレームを含む符号化動画像信号を復号する方法が提供される。符号化動画像信号は復号され、第１相関情報が取得される。この第１相関情報は、エンコーダで処理された動画像信号に基づいて、エンコーダ側で特定される。さらに、復号動画像信号の動画像フレームにおける画像領域が導出され、特定された画像領域ごとの第２相関情報が、復号動画像信号に基づいて予測される。特定された画像領域はフィルタリングされ、第１相関情報と第２相関情報とに基づいて、特定された画像領域のフィルタリングに用いられるフィルタ係数が算出される。

本発明の他の態様によれば、少なくとも１つの動画像フレームを含む入力動画像信号を符号化する装置が提供される。この装置は、入力動画像信号を符号化するビデオエンコーダと、符号化動画像信号を復号するビデオデコーダと、入力動画像信号と復号動画像信号とに基づいて、フィルタ係数を算出するための第１相関情報を特定する第１エスティメータとを備える。この装置は、第１相関情報をデコーダ側へ提供する能力を有する。この装置はさらに以下を備える。すなわち、動画像信号の動画像フレームにおける画像領域を特定する画像領域形成手段と、復号動画像信号に基づいて画像領域ごとの第２相関情報を予測する第２エスティメータと、画像領域をフィルタリングするフィルタと、第１相関情報と第２相関情報とに基づいて、フィルタ係数を算出する係数算出手段である。

本発明の他の態様によれば、少なくとも１つの動画像フレームを含む符号化動画像信号を復号する方法が提供される。この装置は、符号化動画像信号を復号するビデオデコーダを備え、このビデオデコーダは、エンコーダで処理された動画像信号に基づいて、エンコーダ側で特定される第１相関情報を取得する能力を備える。この装置はさらに以下を備える。すなわち、動画像信号の動画像フレームにおける画像領域を特定する画像領域形成手段と、復号動画像信号に基づいて画像領域ごとの第２相関情報を予測する第２エスティメータと、画像領域をフィルタリングするフィルタと、第１相関情報と第２相関情報とに基づいてフィルタ係数を算出する係数算出手段である。

本発明の実施形態において、第１相関情報は、入力動画像信号と復号動画像信号間の、相互相関ベクトルなどである第２の統計的モーメントの予測を含む。この情報を、フィルタ係数を算出するために有利に用いてもよい。復号動画像信号は、任意の復号ステップを経た後の動画像信号である。任意の復号ステップとは、例えば、逆量子化、逆変換、残差と予測信号を加算することによる再構築動画像信号の取得、フィルタリングなどである。

符号化動画像信号は、一般に、入力動画像信号と、入力信号を悪化させるノイズとが加算されたものである。ノイズは符号化ステップで生じる場合がある。したがって、例えば、符号化動画像信号にのみ関する部分や、ノイズ信号にのみ関する部分、またはその両方に関する部分を含む複数の部分において、相互相関ベクトルを分割してもよい。本発明の好ましい実施形態において、第１相関情報は、入力画像信号と復号画像信号間の、相互相関ベクトルの一部に関する予測を含む。デコーダ側ではこの情報を導出できないため、ノイズ信号に関する相互相関ベクトルの一部が提供されることが好ましい（ノイズ信号とは、符号化前の動画像信号つまりビデオエンコーダへの入力と、復号動画像信号との差分である）。このノイズ信号は、例えば、符号化ステップのうちの１つである動画像信号の量子化によって生じる量子化ノイズである。第１相関情報は、量子化ノイズの自己相関であってもよい。第２相関情報は、デコーダ側が予測することができる相互相関ベクトルの一部を含んでおり、復号動画像信号のみに関する。第２相関情報は、復号動画像信号の自己相関マトリクスを含む。

復号動画像信号の自己相関マトリクスと、入力動画像信号とそれに対応する復号動画像信号間の相互相関ベクトルの知識があれば、フィルタ係数を算出可能になる。本発明の好ましい実施形態によれば、ウィナーフィルタ設計にしたがって、つまり逆自己相関マトリクスと相互相関ベクトルの積として、フィルタ係数が算出される。

フィルタは、任意の復号ステップ後に適用することができる。フィルタリングは、再構築動画像信号の空間ドメインにおいて実施されることが好ましい。しかしながら、ハイブリッド符号化の場合は、フィルタリングを、例えば、復号残差（予測誤差信号）や、残差と予測信号とを加算して得られる再構築動画像信号や、フィルタリング済み再構築動画像信号へ適用してもよい。

第２の統計的情報が局所つまり画像領域ごとに予測される一方で、第１相関データが動画像フレームごとに提供されることが好ましい。または、第１相関情報は、画像領域ごとに予測され提供されてもよい。画像領域ごとの第１相関データを提供すれば、より正確に第１フィルタ係数を算出することができる。よって、特に、入力動画信号とノイズ間に非定常的な関係がある場合においては、フィルタリング後の画像の画質を改善することにつながる。しかしながら、符号化動画像データの伝送に必要な帯域も増加することになるため、符号化効率は下がる。第１相関情報を予測し提供するための他の解決策として、１つまたは複数の動画像フレーム内で複数の画像領域ごとに第１情報を提供することが考えられる。

本発明の他の好ましい実施形態によれば、予測タイプ、空間的予測タイプ、動きベクトル、量子化ステップなどの、符号化動画像データ内の動画像信号とともに信号送信された情報に基づいて、画像領域が特定される。一般に、信号送信された情報から画像領域を導出するには、演算量が少なく、かつ、エンコーダとデコーダとで同様に導出可能である必要がある。結果的に、追加的な情報を信号送信する必要はなくなる。または、画像領域を、復号動画像信号から特定された情報に基づいて導出することも可能である。例えば、符号化動画像信号の自己相関マトリクスの定義済み値や、自己相関マトリクス値の任意の関数を用いてもよい。画像領域をそのようにして導出すれば、信号送信された情報に頼る場合よりも柔軟性が高くなることがあり、類似した統計的特性を有する画像領域を特定するという所望のアプリケーションによりよく適合することがある。しかしながら、画像領域を、エンコーダで任意に特定してもよく、画像領域を示す情報を、第２の統計的情報とともにデコーダ側へ提供してもよい。デコーダは、この情報に基づいて画像領域を導出する。画像領域を導出するこの手法により、最高の柔軟性が提供される。

画像領域は、動画像符号化における異なる段階で用いられるブロックやマクロブロックなどの１つ以上の画像エレメントからなることが好ましい。しかしながら、画像領域は、符号化と復号のさまざまなステップにおいてビデオエンコーダとビデオデコーダでそれぞれ実施される画像分割とは無関係であってもよい。画像領域のサイズおよび形状は、画像領域が導出される方法次第で決まるものでもある。

本発明の好ましい実施形態において、ループフィルタ、ポストフィルタ、補間フィルタ、デブロッキングフィルタのうち少なくとも１つのフィルタ係数は、第１および第２相関データに基づいて算出される。一般に、本発明に準拠した局所適応的フィルタは、ループフィルタであってもよい。つまり、そのフィルタリング結果がメモリに格納され、予測のようなさらなる符号化ステップにおいて用いられてもよく、復号後の再構築信号にポストフィルタが適用されてもよい。

第１相関情報は、格納手段において格納されて提供されるか格納手段から抽出されて取得される、または、符号化動画像データ内の符号化動画像信号とともに伝送チャネルを通して送受信される。特に格納または伝送に必要な帯域を削減するために、第１の統計的情報をエントロピー符号化することもできる。順方向誤り訂正のような他の符号化を用いてもよい。

本発明の好ましい実施形態によれば、動画像信号は、Ｈ．２６４／ＡＶＣ標準規格に基づいて符号化され復号される。第１相関データは、特に、補助的拡張情報（ＳＥＩ）メッセージ内に格納される。しかしながら、本発明は、フィルタリングを用いる動画像符号化・復号標準規格のいずれにも適用可能である。例えば、ハイブリッド符号化に基づく、標準化された符号化・復号方法のいずれも用いることができる。それらは例えば、ＭＰＥＧ−Ｘ、Ｈ．２６Ｘ、ＪＰＥＧ２０００、Ｄｉｒａｃまたはそれらの拡張標準規格や、非標準化（特許化）符号化・復号方法である。

本発明の他の態様によれば、本発明を実行するよう適応させた、コンピュータで読み取り可能なプログラムコードが記録された、コンピュータで読み取り可能な媒体からなるコンピュータプログラム製品が提供される。

本発明の他の態様によれば、エンコーダ側からデコーダ側へ動画像信号を送信するためのシステムが提供される。このシステムは、上述のエンコーダと、符号化動画像信号を格納または送信するためのチャネルと、上述のデコーダとを備える。本発明の実施形態によれば、このチャネルは記憶手段に相当し、例えば、揮発性または非揮発性のメモリや、ＣＤ、ＤＶＤまたはＢＤのような光学または磁気記憶手段、ハードディスク、フラッシュメモリ、またはその他の記憶手段である。本発明の他の実施形態において、チャネルは伝送手段である。これは、インターネット、ＷＬＡＮ、ＵＭＴＳ、ＩＳＤＮ、ｘＤＳＬなどの標準化または特許化された伝送技術／システムに準拠した、無線システム、優先システム、またはその両方の組み合わせであるリソースによって形成可能である。

本発明の目的および特徴は、上記以外のものも含め、付随する図面を参照しながら以下に説明される記述および好ましい実施形態によりさらに明確になる。

本発明によれば、符号化側から復号側に送信される第１の相関データの算出頻度を低下させ、符号化側及び復号側双方で算出可能な第２の相関データの算出頻度を向上させたことにより、符号化効率が向上すると共に、適応的なフィルタ処理が可能となる。

図１は、従来の動画像符号化装置のブロック図である。 図２は、従来の動画像復号装置のブロック図である。 図３は、ウィナーフィルタ設計を説明する概略図である。 図４Ａは、符号化前に画像をブロックへ分割する例を説明する概略図である。 図４Ｂは、本発明に係る、サイズと形状が異なる画像領域の例を説明する概略図である。 図５Ａは、本発明に係る動画像符号化装置のブロック図である。 図５Ｂは、図５Ａに示す動画像符号化装置のフローチャートである。 図６Ａは、本発明に係る動画像復号装置のブロック図である。 図６Ｂは、図６Ａに示す動画像復号装置のフローチャートである。 図７は、ノイズ削減用ウィナーポストフィルタを用いる符号化システムを説明する図である。 図８は、ノイズ削減用ウィナーポストフィルタを用いる符号化システムを説明する図である。 図９は、画像をＬ＝３個の局所領域に分割した例を示す図である。 図１０は、本発明の実施形態に係るループフィルタを備えた動画像符号化装置のブロック図である。 図１１は、本発明の実施形態に係るポストフィルタを備えた動画像復号装置のブロック図である。 図１２は、本発明の他の実施形態に係る補間フィルタを備えた動画像符号化装置のブロック図である。 図１３は、本願の他の実施の形態に係る補間フィルタを備えた動画像復号装置のブロック図である。 図１４は、本発明に係るエンコーダおよびデコーダを備えたシステムの概略図である。 図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図１６は、本発明の各実施の形態に係る画像符号化方法及び画像復号方法を用いた携帯電話を示す図である。 図１７は、図１６に示す携帯電話のブロック図である。 図１８は、ディジタル放送用システムの全体構成図である。 図１９は、テレビの構成例を示すブロック図である。 図２０は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図２１は、ディスクである記録メディアの構造例を示す図である。 図２２は、各実施の形態の動画像符号化方法及び動画像復号方法を実現する集積回路の構成例を示すブロック図である。

本願の根底にある課題は、動画像シーケンスの画像、特に自然動画像シーケンスは非定常的、つまり統計的に異なるという観察に基づく。それゆえ、画像全体に同じフィルタを適用した場合、再構築画像の品質の観点から最適な結果を得られないことがある。

この課題を解決するために、本発明は以下を提供する。すなわち、動画像信号を、符号化する方法と、復号する方法と、符号化する装置と、復号する装置と、エンコーダ側からデコーダ側へ符号化動画像信号を送信するシステムである。さらには、これらの方法を実現するプログラムや集積回路を提供する。

上記の各方法、装置、及びシステムにおいて、フィルタリングは、局所適応的な方法でおこなわれ、動画像フレームの一部を形成する画像領域ごとに予測される相関データによって制御される。相関データは、復号動画像信号に基づくものである。また、フィルタ係数を算出するために、復号動画像信号と動画像復号装置側でのみ利用可能な動画像信号とに基づいて、動画像符号化装置側で特定された相関データが用いられる。この相関データは、動画像復号装置側へ提供される。局所的な適応の度合いやフィルタリング後の画質は、画像領域の決定方法とフィルタリングがおこなわれる画像領域のサイズおよび形状次第で決まる。

図４Ａは、典型的には符号化後におこなわれる、動画像フレーム４００の複数のブロック４０１への分割を説明する図である。Ｈ．２６４／ＡＶＣ符号化の場合、画像は１６×１６のマクロブロックに分割され、４×４画素または８×８画素のサブブロックへさらに分割されて変換されるか、４×４画素、８×８画素、１６×８画素などのサブブロックへさらに分割されて時間的予測に用いられる。

図４Ｂは、本発明に係る画像領域の４つの例を説明する図である。ここで、画像領域とは、動画像フレーム（ピクチャ）の一部を指す。一般に、図４Ａに示された符号化ステップのうちの１つにおいておこなわれる、画像エレメントへの基礎分割に位置合わせした画像領域としてもよい。

例示的な画像領域４１０ａは、マクロブロックか標準符号化ステップの１つにおいて用いられるブロックに相当する。他の例示的な画像領域４１０ｂは、長方形を構成する複数のマクロブロック又は複数のブロックからなる。他の例示的な画像領域４１０ｃは、任意の形状を構成する複数のブロック又は複数のマクロブロックからなる。たとえばＨ．２６４／ＡＶＣ標準規格における動画像符号化装置でスライシングがおこなわれる場合、画像領域はスライスに相当する。他の例示的な画像領域４１０ｄは、複数の画像サンプルからなる任意の形状を有する。つまり、画像領域の分割方法は、動画像符号化装置でおこなわれる基礎的な画像分割に位置合わせされたものである必要はない。

画像領域は、単一の画像画素（基本画像エレメント）で形成されてもよい。例示的な画像領域４１０ａ、４１０ｂ、４１０ｃ、４１０ｄは全て連続している。つまり、各画素は、同じ画像領域内に少なくとも１つの隣接画素を有する。しかしながら、本発明は、連続的でない画像領域にも適用可能である。本願においては、画像領域の特定の形状およびサイズが適切であるかどうかは、後述するように、動画像フレームの内容と画像領域の特定方法によって決まる。

（実施の形態１）
図５Ａは、本発明の実施の形態１に係る動画像符号化装置５００の概略説明図である。また、図５Ｂは、動画像符号化装置５００の動作を示すフローチャートである。なお、以下の説明では、処理対象として動画像信号の例を示すが、これに限ることなく、他の信号（例えば、静止画）を入力してもよい。動画像符号化装置５００は、図５Ａに示されるように、符号化部５１０と、復号部５２０と、フィルタ設計部５３０と、フィルタ５４０とを備える。

符号化部５１０は、入力信号（「符号化対象信号」ともいう。以下同じ。）を符号化する。入力信号は、典型的には、１枚のピクチャ（フレーム）を構成する信号である。なお、ここでの「符号化」とは、例えば、入力信号を量子化する処理を指す。より具体的には、入力信号から予測信号を減算して予測誤差信号を生成し、予測誤差信号をＤＣＴ変換し、さらに量子化して量子化係数を生成する処理を指す。

復号部５２０は、符号化部５１０によって符号化された信号を復号する。なお、ここでの「復号」とは、例えば、量子化係数を逆量子化する処理を指す。より具体的には、量子化係数を逆量子化し、さらにＤＣＴ逆変換して再構築信号を生成し、再構築信号に予測信号を加算して復号信号を生成する処理を指す。

フィルタ設計部５３０は、入力信号及び復号信号に基づいてフィルタ係数を算出する。具体的には、領域形成部５３２と、予測部５３４と、係数算出部５３６とを備える。

領域形成部５３２は、復号信号を複数の画像領域に分割する。画像領域の具体例は、既に図４Ａ及び図４Ｂを用いて説明しているので、ここでは省略する。また、分割方法の具体例は、後述する。

予測部５３４は、第１及び第２の相関データを予測する。第１の相関データは、入力信号と復号信号との相関を示す値である。この第１の相関データは、領域形成部５３２で決定された画像領域より大きな領域毎に予測される。一方、第２の相関データは、復号信号の空間的又は時間的な相関を示す値である。この第２の相関データは、領域形成部５３２で決定された画像領域毎に予測される。すなわち、第１の相関データの予測頻度は、第２の相関データより小さいことになる。

係数算出部５３６は、第１及び第２の相関データに基づいて、フィルタ係数を算出する。つまり、フィルタ係数は、領域形成部５３２で決定された画像領域毎に算出される。フィルタ係数の算出方法としては、例えば、第１及び第２の相関データから相互相関ベクトルと自己相関マトリクスとを算出し、相互相関ベクトルと自己相関マトリクスの逆数との積をフィルタ係数としてもよい。

フィルタ５４０は、フィルタ設計部５３０によって算出されたフィルタ係数を用いて、復号信号にフィルタ処理を施す。つまり、フィルタ５４０は、領域形成部５３２で決定された画像領域毎に、復号信号に対してフィルタ処理を施す。なお、フィルタ５４０の具体例としては、デブロッキングフィルタ、ループフィルタ、補間フィルタ等を挙げることができる。

なお、符号化部５１０で符号化された信号は、動画像復号装置５０１に出力される。同様に、予測部５３４で予測された相関データのうち、第１の相関データも動画像復号装置５０１に出力される。これらは、別々に出力されてもよいが、両者を合わせてエントロピー符号化してから出力してもよい。また、「出力」とは、通信回線等を介して動画像復号装置５０１に送信する場合のみならず、記録媒体に出力することをも含む。

次に、図５Ｂを参照して、動画像符号化装置５００の動作を説明する。

まず、動画像信号である入力信号（「符号化対象信号」ともいう。以下同じ。）は、符号化部５１０へ入力される（Ｓ１１）。ここで、符号化部５１０は、フィルタリングおよび／またはフィルタ係数の予測がおこなわれるドメインに応じて、ハイブリッド動画像符号化でおこなわれる符号化ステップのうち任意の１つまたは符号化ステップの組み合わせを実施してもよい。

言い換えれば、本発明においては、符号化部５１０は、入力動画像信号に対する符号化動画像信号を不可逆的に変化させる結果となる任意の符号化ステップである。したがって、本発明における入力信号は、動画像信号を表す任意のデータであってよい。例えば、符号化部５１０が図１に示される変換／量子化部１１０である場合、入力信号は残差（予測誤差信号）に相当する。残差とは、原動画信号と予測信号との差分である。

符号化部５１０は、時間的予測部および／または空間的予測部を含んでもよい。この場合、入力信号は、動画像フレームの画像サンプルからなる動画像信号に相当する。入力動画像信号のフォーマットは、符号化部５１０に対応するものであれば任意のものでよい。ここで、フォーマットとは、色空間およびサンプリング解像度を指す。サンプリング解像度は、フレームレートや空間におけるサンプルの配列および周波数をカバーする。サンプルには、グレイスケール画像かカラー画像の色成分のみの輝度値を含んでもよい。

復号動画像信号を得るために、符号化部５１０による符号化で得られた動画像データは、動画像符号化装置５００内の復号部５２０において復号される（Ｓ１２）。ここで、復号動画像信号は、上述の入力信号の例に相当する入力信号としての、同一ドメイン内の動画像信号を指す。この入力信号は、逆量子化／逆変換済み残差か再構築動画像サンプルである。

入力信号および復号信号はともに、フィルタ係数を算出するために必要な相関情報を予測する予測部５３４に入力される。この予測は、画像領域つまり動画像フレームの一部に対しておこなわれる。画像領域は、領域形成部５３２によって特定される。３つのステップ、すなわち、領域形成部５３２と、予測部５３４と、係数算出部５３６とで、本発明に係るフィルタ設計部５３０を構成する。算出されたフィルタ係数は、次に、特定された画像領域をフィルタ５４０でフィルタリングするために用いられる。

予測された相関情報の一部（第１の相関データ）は、動画像復号装置５０１側へ提供される。この相関情報の一部は、動画像復号装置５０１側で特定することができない部分であり、動画像符号化装置５００側でのみ利用可能な信号から得られる知識に頼る部分であることが好ましい。ここで、相関データは、入力信号および／または復号信号に関連する、自己相関、相互相関、自己共分散、相互共分散などの第２の統計的モーメントを任意の形で表現したものである。この相関データは、信号（入力信号または復号信号）のフォーマットに応じて異なる、関数、マトリクス、ベクトル、値などである。一般的に、フィルタ設計部５３０またはその任意の一部は、フィルタリングがおこなわれるドメインとは異なるドメインでおこなわれてもよい。

領域形成部５３２は、フィルタ設計部５３０の必須部分であって、復号信号を複数の画像領域に分割する（Ｓ１３）。フィルタリングの性能上、あるグループに属するエレメントは統計的に同じであることが理想的であるから、画像を基本画像エレメントのグループに細分化することが不可欠である。グループのサイズによって、局所適応処理単位（の細かさ）が決まる。本発明によると、画像のグループ分割は、固定的であっても適応的であってもよい。固定的分割の場合、各グループが単一の画像エレメントからなるならば、最終的な処理単位が得られる。

しかしながら、各画像エレメントごとに最適なフィルタ係数を算出することは、特に動画像復号装置５０１でおこなうとすれば、ややもすると複雑なタスクである。さらに、補助情報が信号送信されれば、動画像の符号化効率が削減される。それゆえ、特に同じような統計的特性を備えた複数の画像エレメントを含む画像は、複数の画像エレメントから画像エレメントグループを形成するには有益となりうる。特に、自然動画像シーケンスの変化する内容に応じて適応的に分割すれば有利である。

よって、適応的に分割した結果は、動画像符号化装置５００から信号送信してもよいし、動画像符号化装置５００及び動画像復号装置５０１それぞれで導出してもよい。符号化されて動画像符号化装置５００から動画像復号装置５０１へ送信される明示的な分割結果は、完全に階層的であるというメリットがある。つまり、画像エレメントを、特定の画像エレメントグループへ任意に割り当ててもよい。

一般に、画像領域を、基本ピクチャエレメントの一部として、任意の方法で特定してもよい。基本ピクチャエレメントは、画素、ブロック、およびマクロブロックの値であってもよい。その部分は連続していなくてもよい。画像の任意部分が送信されるならば、画像領域を特定する上で最大の柔軟性が提供される。動画像符号化装置５００で選択された画像領域を動画像復号装置５０１側に通知するためには、画像領域情報を提供しなければならない。画像領域情報は、例えば、画像領域が属する各基本画像エレメントごとに指定されたパターンを含んでもよい。しかしながら、例えば、定義済みパラメータセットを用いて領域の形状およびサイズを定義するなど他の記述も可能である。

他の可能性としては、クラスタリングなどのオブジェクト認識アルゴリズムによって画像を分割したり、オブジェクトに応じた画像領域を定義することが考えられる。画像領域情報は信号送信されてもよく、動画像復号装置５０１における分割と同様に分割されてもよい。動画像符号化装置５００と動画像復号装置５０１との両方で、同一の入力情報に基づいて同様に復号画像内の画像領域を特定できるようにすると有利である。この入力情報は、送信された符号化動画像信号と、その関連動画像データに含まれる任意の情報であってもよい。追加的な補助情報からではなく入力データから画像領域を導出すれば、信号送信時のオーバーヘッドを削減でき、符号化効率を高めることにつながる。定常性を有する可能性がある画像領域を特定するために画像領域を導出するパラメータが適切な方法で選ばれた場合、つまり本発明においては、フィルタリング性能は必ずしも悪化しない。

例えば、画像内の異なるオブジェクトに相当する、異なる動き部分に画像を分割するために動きベクトルを用いてもよい。なぜなら、そのようなオブジェクトは、定常性を有するか略定常性を有すると考えられるからである。または、予測タイプや量子化ステップサイズなどに関する情報を、分割のために用いることもできる。レート−歪み最適化に応じた符号化パラメータを選択済みの動画像符号化装置５００においては、特に、それらのパラメータは、画像内容の特性を確実に示すものである。

動画像符号化装置５００及び動画像復号装置５０１の両方で導出可能であるため、動画像符号化装置５００から動画像復号装置５０１へ送信する必要がないパラメータを用いて、画像を画像エレメントグループに分割してもよい。例えば、ローカル自己相関マトリクスのような画像エレメントの統計的特徴を直接的に用いてもよい。したがって、ある位置におけるローカル自己相関マトリクスのサイズに基づいて、画像エレメントを異なるグループに細分化してもよい。または、ローカル自己相関マトリクスエレメントの任意の関数を、画像エレメントを複数のグループに細分化するために用いてもよい。信号送信された動画像データの複数のパラメータおよび／または符号化動画像信号から直接的に導出された複数のパラメータを組み合わせることも、有益となる場合がある。

予測部５３４は、入力信号及び復号信号から第１及び第２の相関データを予測する（Ｓ１４）。具体的には、領域形成部５３２から、決定された画像領域情報か画像領域を決定可能にする情報を取得する。さらに、フィルタ５４０の設計を制御する統計的情報を導出するための復号動画像信号とともに、入力動画像信号を用いてもよい。本発明によれば、ローカル相関関数によってフィルタ設計が制御される。ローカル相関情報（第２の相関データ）は、画像領域ごとに、復号（符号化され復号された）動画像信号に基づいて特定される。

復号画像が双方で同じなら、つまり、動画像符号化装置５００側の復号部５２０と動画像復号装置５０１側の復号部５５０とが、同一の入力信号（画像領域）に対して同様の働きをするならば、同じローカル自己相関情報を、動画像復号装置５０１側の予測部５６４で導出してもよい。さらに、予測部５６４では、復号動画像信号と入力動画像信号とに基づいて、他の相関データ（第１の相関データ）も導出される。動画像復号装置５０１は入力信号を知らされていないため、この情報を動画像復号装置５０１側で同様に導出することはできない。それゆえ、本発明にしたがって、このデータは、動画像符号化装置５００から動画像復号装置５０１へ信号送信される。

係数算出部５３６は、予測部５３４で予測された第１及び第２の相関データに基づいてフィルタ係数を算出する（Ｓ１５）。そして、フィルタ５４０は、領域形成部５３２で決定された画像領域情報と、係数算出部５３６で算出されたフィルタ係数とを取得して、復号信号に対して、画像領域毎にフィルタ処理を施す。これにより、復号信号の主観的な画質が改善する。

図６Ａは、本発明の実施の形態１に係る動画像復号装置５０１の説明図である。図６Ｂは、動画像復号装置５０１の動作を示すフローチャートである。動画像復号装置５０１は、図６Ａに示されるように、復号部５５０と、フィルタ設計部５６０と、フィルタ５７０とを備える。

復号部５５０は、動画像符号化装置５００から取得した符号化信号を復号する。ここでの「復号」とは、例えば、量子化係数を逆量子化する処理を指す。より具体的には、量子化係数を逆量子化し、さらにＤＣＴ逆変換して再構築信号を生成し、再構築信号に予測信号を加算して復号信号を生成する処理を指す。

または、復号部５５０による処理に先立って、エントロピー復号処理を実施してもよい。例えば、動画像符号化装置５００において、量子化係数と第１の相関データとをエントロピー符号化して、符号化信号を生成した場合を考える。この場合、エントロピー復号部（図示省略）で符号化信号をエントロピー復号することによって、量子化係数と第１の相関データとを取得する。そして、量子化係数は復号部５５０に入力されて復号信号に変換され、第１の相関データは直接フィルタ設計部に入力されるようにしてもよい。

フィルタ設計部５６０は、動画像符号化装置５００から取得した第１の相関データと、復号部５５０によって生成された復号信号とに基づいてフィルタ係数を算出する。具体的には、領域形成部５６２と、予測部５６４と、係数算出部５６６とを備える。

領域形成部５６２は、図５Ａに示される領域形成部５３２と同様の方法で、復号信号を複数の画像領域に分割してもよい。または、画像領域情報を動画像符号化装置５００から取得する場合には、省略してもよい。予測部５６４は、図５Ａに示される予測部５３４と同様の方法で、第２の相関データを算出する。係数算出部５６６は、図５Ａに示される係数算出部５３６と同様の方法で、第１及び第２の相関データに基づいてフィルタ係数を算出する。

フィルタ５７０は、フィルタ設計部５６０によって算出されたフィルタ係数を用いて、復号信号にフィルタ処理を施す。つまり、フィルタ５７０は、領域形成部５６２で決定された画像領域毎に、復号信号に対してフィルタ処理を施す。なお、フィルタ５７０の具体例としては、デブロッキングフィルタ、ループフィルタ、補間フィルタ、ポストフィルタ等を挙げることができる。

次に、図６Ｂを参照して、動画像復号装置５０１の動作を説明する。

まず、符号化動画像信号は、復号部５５０へ送信されて復号される（Ｓ２１）。次に、復号動画像信号は、フィルタ設計部５６０へ送信される。領域形成部５６２は、復号動画像信号における画像領域を特定する（Ｓ２２）。追加的画像領域情報（図示しない）を、画像領域を特定するために、領域形成部５６２へ送信してもよい。第１の相関データが、動画像符号化装置５００側から取得される。画像領域の決定後、予測部５６４でローカル相関データ（第２の相関データ）が予測される（Ｓ２３）。

動画像符号化装置５００から取得した第１の相関データ及び予測部５６４で予測された第２の相関データは、次に、特定された画像領域のフィルタリングに用いられるフィルタ係数を算出する係数算出部５６６に送信される。係数算出部５６６は、取得した第１及び第２の相関データに基づいて画像領域毎にフィルタ係数を算出し、フィルタ５７０に提供する（Ｓ２４）。フィルタ５７０は、画像領域情報とフィルタ係数とを取得して、画像領域毎に復号信号に対してフィルタ処理を実行する。

動画像符号化装置５００と動画像復号装置５０１とが適合していれば、つまり、それらの対応する機能ブロックが同様の働きをし、かつ、同一の信号に対して同様の動作をすれば有利である。例えば、動画像符号化装置５００側の復号部５２０と、動画像復号装置５０１側の復号部５５０とが同じなら、かつ／または、動画像符号化装置５００の領域形成部５３２と予測部５３４と係数算出部５３６とが、動画像復号装置５０１の領域形成部５６２と予測部５６４と係数算出部５６６と適合していれば有利である。しかしながら、必ずしもそうでなくてもよい。

さらに、本発明の実施の形態１に係る動画像復号装置５０１は、一般に、ポストフィルタ設計がおこなわれる場合に第１の相関データが提供されるならば、Ｈ．２６４／ＡＶＣに基づく標準的な動画像符号化装置によって符号化された動画像信号に対して用いてもよい。よって、本発明の実施の形態１に係る動画像復号装置５０１によって復号される符号化データを符号化する動画像符号化装置５００は、動画像復号装置５０１で施されるようなフィルタリングを必ずしも施す必要はない。

動画像符号化装置５００側及び動画像復号装置５０１側の双方で導出可能な共通相関情報（第２の相関データ）は、例えば、復号（符号化された後に復号された）画像領域に基づく自己相関関数である。動画像符号化装置５００でのみ導出可能な相関情報（第１の相関データ）は、例えば、入力動画信号と復号動画信号間との相互相関に基づくものである。第１および第２相関のデータは、次に、係数算出部５３６、５６６でフィルタ係数を導出するために用いられる。続いて、本発明の好ましい実施形態を記載する。本実施形態においては、フィルタ係数は、ウィナーフィルタ係数として算出される。

画像領域の入力動画像信号は、ｓ_Lで表される。ここで、下付き文字_Lは、「ｌｏｃａｌ（ローカル）」の略である。入力動画像信号（「原画信号」ともいう。以下同じ）ｓ_Lは、ベクトルにおいて２次元の動画像信号を重ねることによって得られる１次元の信号であることが好ましい。ロスが多い圧縮方法を用いる符号化後の画像信号（「復号信号」ともいう。以下同じ。）ｓ_L’は、原画信号ｓ_Lと、量子化ノイズのような符号化／圧縮による悪化を示すノイズｎ_Lとの加算結果として表される。ノイズｎ_Lの量を削減するために、ウィナーフィルタが復号信号ｓ_L’に適用されて、フィルタリング済み信号ｓ_L’’が得られる。

ウィナーフィルタのフィルタ係数を得るために、まず、復号信号ｓ_L’の自己相関マトリクスが特定される。Ｍ×Ｍサイズの自己相関マトリクスＲ_Lを、対象画像領域と空間的および／または時間的に隣接する領域から具現化されたものを用いて予測してもよい。さらに、局所適応的ウィナーフィルタの係数を算出するためには、フィルタリング対象の（符号化され復号された）復号信号ｓ_L’と所望の信号（原画信号）ｓ_Lとの間のローカル相互相関ベクトルｐ_Lを予測しなければならない。ウィナーＨｏｐｆ等式システムを解くことにより、これらの係数を求めることができる。例えば、以下の式２により解が求められる。

ここで、Ｒ_L ^-1は、ローカル自己相関マトリクスＲ_Lの逆数を表す。パラメータＭは、ウィナーフィルタの桁を示す。

ローカル自己相関マトリクスＲ_Lは、ノイズｎ_Lを含む復号信号ｓ_L’を用いればよいため、動画像符号化装置５００及び動画像復号装置５０１の双方で特定することができる。一方、復号信号（フィルタリング対象信号）ｓ_L’と原画信号ｓ_Lとの間のローカル相互相関ベクトルｐ_Lは、原画信号ｓ_Lの知識が必要なため、動画像符号化装置５００でのみ算出されればよい。

本発明の実施の形態１によれば、ローカル相互相関ベクトルｐ_Lは、動画像符号化装置５００での導出後、符号化され、自己相関マトリクスＲ_Lが特定される画像領域ごとに、符号化動画像データとともに動画像復号装置５０１側に提供される。本実施の形態１は、画像特性に最大の柔軟性を持たせ、ひいては最高品質のフィルタリング済み画像を提供するものである。しかしながら、ローカル相互相関ベクトルｐ_Lが緩やかに異なる場合や、画像領域のサイズが小さくなるにつれて、信号送信時のオーバーヘッドが増加し、符号化効率が低下する場合がある。

また、フレーム（ピクチャ）毎に算出されたＫ個のローカル相互相関ベクトルｐ_L,k（ｋ＝１〜Ｋ）は、動画像復号装置５０１側へ提供される。動画像復号装置５０１では、各画像領域ごとに、Ｋ個のローカル相互相関ベクトルｐ_L,kのうち１つが選択される。一方、この選択は、例えば、各画像領域ごとに予測されるローカル自己相関マトリクスＲ_Lから別々に導出される。この目的で、ローカル自己相関マトリクスＲ_Lの特定エレメントの値またはそのエレメントの関数を用いてもよい。例えば、Ｋ個のローカル相互相関ベクトルｐ_L,kのそれぞれを、自己相関マトリクスＲ_Lの所定のエレメントの値の間隔ごとに関連付けてもよい。しかしながら、Ｋ個のローカル相互相関ベクトルｐ_L,kのうちの１つを、動画像データの一部として信号送信された情報に基づいて選択してもよい（この情報とは、例えば、画像領域を特定するためのパラメータ同様、予測タイプ、動き情報、量子化ステップなどである）。Ｋ個のローカル相互相関ベクトルｐ_L,kのうち選択された１つを、明示的に信号送信してもよい。

本発明の他の実施形態によれば、フレーム（ピクチャ）毎にただ１つのグローバル相互相関ベクトルｐのみを、動画像復号装置５０１側に提供してもよい。よって、送信されたグローバル相互相関ベクトルｐとローカル予測された自己相関マトリクスＲ_Lとを用いて、画像領域ごとにウィナーフィルタを特定してもよい。ウィナーフィルタ係数は、以下の式３で求められる。

グローバル相互相関ベクトルｐを与えても、送信される補助情報の量が削減されるだけである。同時に、自己相関マトリクスＲ_Lを局所的に算出することによって、局所適応性が得られる。

しかしながら、本発明の好ましい実施形態によれば、ローカル相互相関ベクトルｐ_Lはそれぞれ、式４のように２つの部分に分けられる。

ここで、第１の部分ｐ_L,S’は、フィルタリング対象の復号信号ｓ_L’の統計のみに基づき、第２の部分ｐ_nは、加算されたノイズ信号ｎの統計のみに基づく。ローカル相互相関ベクトルｐ_Lの細分化は、次に述べる前提のもとで可能である。

まず、ノイズ信号ｎ_Lと入力信号ｓ_Lとの相関は、次式５、６で示されるようにゼロである。

次に、加算されたノイズの統計は、次式７、８で示されるようにローカル画像領域とは無関係である。

ここで、ｓ_L（ｘ）は、確率的なローカル入力信号ベクトルｓ_L＝［ｓ_L（ｘ），ｓ_L（ｘ−１）〜ｓ_L（ｘ−Ｍ＋１）］のエレメントを表す。ｓ_L’（ｘ）は、確率的なローカルノイズ信号ベクトルｓ_L’＝［ｓ_L’（ｘ），ｓ_L’（ｘ−１）〜ｓ_L’（ｘ−Ｍ＋１）］のエレメントを表す。ｎ（ｘ）は、確率的なローカルノイズベクトルｎ＝［ｎ（ｘ），ｎ（ｘ−１）〜ｎ（ｘ−Ｍ＋１）］のエレメントを表す。ｎ_L（ｘ）は、確率的なローカルノイズベクトルｎ_L＝［ｎ_L（ｘ），ｎ_L（ｘ−１）〜ｎ_L（ｘ−Ｍ＋１）］のエレメントを表す。演算子Ｅは、期待値を表す。

Ｍ＝２桁のウィナーフィルタのローカルフィルタ係数ｗ_1,Lおよびｗ_2,Lは、次式９に示すようにウィナーＨｏｐｆ方程式を用いて算出される。

方程式をｓ_L（ｘ）＝ｓ_L’（ｘ）−ｎ_L（ｘ）で置換後の、ローカル相互相関ベクトルｐ_Lの第１の部分は、次式１０のように書ける。

同様に、ローカル相互相関ベクトルｐ_Lの第２の部分は、次式１１のようになる。

上述の前提を考慮すると、ローカル相互相関ベクトルｐ_Lは、最終的には、次式１２のようになる。

第１の部分ｐ_L,s’は、局所的に破損した復号信号ｓ_L’にのみに基づくため、動画像符号化装置５００側および動画像復号装置５０１側の双方で特定することができる。一方、第２の部分ｐ_L,nは、加算されたノイズ信号のみに基づく。この第２の部分は、動画像符号化装置５００側でのみ知られ、動画像符号化装置５０１側では知られていない。それゆえ、この第２の部分は、符号化データとともに動画像復号装置５０１側へ提供されなければならない。

加算されたノイズの統計は、ローカル画像領域とは無関係という前提であるため、必ずしも各画像領域ごとにこの情報を提供する必要はない。相互相関ベクトルｐ_Lの当該部分は、フレーム（ピクチャ）ごとに１度提供されることが好ましい。上述のように、復号信号のみに関連する相互相関ベクトルｐ_Lの対応部分とともに、提供された加算ノイズの統計および測定されたローカル自己相関マトリクスＲ_Lを用いることにより、動画像符号化装置５００及び動画像復号装置５０１は、画像領域ごとにウィナーフィルタの最適係数を求めることができる。これらの最適係数を用いて、各画像領域がフィルタリングされる。

第２条件、すなわち、ローカル画像領域とは無関係な加算ノイズの統計が適用されない場合、ノイズの自己相関をより頻繁に予測して信号送信すれば有利である。次に、各ローカル相互相関ベクトルｐ_Lは、次式１３のように２つの部分に分割される。

ここで、ノイズｐ_L,nの自己相関も局所的である。ノイズと入力信号間との相関がゼロという前提も、分散値が小さく粗い量子化（高い量子化パラメータ値に相当するもの）がなされた画像信号の場合は特に、常に満たされるものではない。なぜなら、量子化によって画像信号の分散値が減少するからである。したがって、ノイズ信号は、画像信号そのものの部分を表す場合があり、相関が高いことがある。一方で、分散値が大きく細かく量子化された、信号対ノイズ比が高い画像信号の場合、ゼロ相関であるという前提は成り立つ。ノイズと入力信号がゼロ相関という前提でなければ、つまり、Ｅ［ｓ_L（ｘ）ｎ_L（ｘ）］及びＥ［ｓ_L（ｘ−１）ｎ_L（ｘ）］の値が予測されるなら、ローカルウィナー係数の算出においてさらなる改善が可能である。

予測後、それらを動画像復号装置５０１側へ提供してもよい。しかしながら、これら２項は、追加的な補助情報を交換することなく、動画像符号化装置５００及び動画像復号装置５０１で局所的に予測されることが好ましい。例えば、フィルタリング対象の復号信号の分散値などの統計に基づき、複数の量子化重みマトリクスと組み合わせた量子化パラメータなどの送信された量子化情報を用いて、これらを予測することができる。予測のため、さらなるパラメータを動画像符号化装置５００から動画像復号装置５０１へ送信してもよい。パラメータは、例えば、フィルタリング対象の復号信号の分散値に基づいて、２項の関数を定義してもよい。関数は、線形関数であってもよいし、そうでなくてもよい。

本発明の他の実施形態によれば、ノイズの自己相関関数ｐ_nは、（ローカルであれグローバルであれ、）重みマトリクスと組み合わせた量子化パラメータによって定義される周知の量子化ステップサイズを用いて予測される。１次元信号ｓ_L’（ｘ）の場合でＭ＝２であるとき、ローカル最小２乗平均誤差は、次式１４に示されるように、周知のｐ_nで求めることができる。

したがって、ローカルフィルタ係数を、動画像符号化装置５００側および動画像復号装置５０１側で補助情報を交換することなく算出してもよい。補助情報が提供されない場合、提供された補助情報に基づくフィルタ係数の算出に代わって、このようにして有益に算出することができる。

したがって、補助情報を交換することなく、局所フィルタ係数を動画像符号化装置５００側と動画像復号装置５０１側とで算出してもよい。補助情報が提供されない場合には、補助情報に基づいてフィルタ係数を算出する方法に代えて、この算出方法を有益に用いることができる。

本発明の他の実施形態によれば、以下に示す図７のブロック図にしたがったノイズ削減用ウィナーポストフィルタを用いる符号化システムが用いられる。次に挙げるような従来技術において、ポストフィルタは、次式１５にしたがった線形ウィナーフィルタである。

・Ｔ．Ｗｉｅｇａｎｄ、Ｇ．Ｓｕｌｌｉｖａｎ、Ｊ．Ｒｅｉｃｈｅｌ、Ｈ．Ｓｃｈｗａｒｚ、Ｍ．Ｗｉｅｎ、"合同草案 ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０／Ａｍｄ．３ Ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ（スケーラブル映像符号化）"（非特許文献３）、文献ＪＶＴ−Ｘ２０１、ＩＳＯ／ＩＥＣ ＭＰＥＧ＆ＩＴＵ−Ｔ ＶＣＥＧ ジョイントビデオチーム、スイス、ジュネーブ会議、２００７年６月２９日〜７月５日
・Ｓ． Ｗｉｔｔｍａｎｎ、Ｔ．Ｗｅｄｉ、"ＳＥＩ ｍｅｓｓａｇｅ ｏｎ ｐｏｓｔ−ｆｉｌｔｅｒ ｈｉｎｔｓ（ポストフィルタリングヒントに関するＳＥＩメッセージ）"（非特許文献４）、ジョイントビデオチーム(ＪＶＴ)、文献ＪＶＴ−Ｕ０３５、中国、杭州、２００６年１０月
・Ｓ．Ｗｉｔｔｍａｎｎ、Ｔ．Ｗｅｄｉ、手順書"Ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ Ｐｏｓｔ−Ｆｉｌｔｅｒ Ｈｉｎｔｓ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｃｈｅｍｅｓ（映像符号化用ポストフィルタリングヒントの伝送）"（非特許文献５）、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＥＥＥ画像処理に関する国際会議） （ＩＣＩＰ ２００７）、米国テキサス州サン・アントニオ、２００７年９月

ここで、ｓ’’（ｘ）は、位置ｘにおけるフィルタリング後の信号である。Ｋ個のフィルタ係数は、ａ₁，・・・，ａ_Kと表される。ｓ’（ｘ_k）は、Ｋ個の位置ｘ_kにおけるフィルタリング前の信号であり、フィルタリングプロセスで用いられる。ｓとｓ’’との間の平均２乗誤差の最小化（Ｅ［（ｓ’’−ｓ）²］→min）は、次に挙げる周知の式１６、１７、１８を導く。

ここで、Ｒ_s's'は、信号ｓ’の自己相関マトリクスであり、動画像符号化装置５００及び動画像復号装置５０１の双方で算出可能である。ベクトルａ→は、Ｋ個のフィルタ係数ａ₁，・・・，ａ_Kを含む。ここで、記号「→（ベクトル）」は、それぞれ直前の文字の上に付される記号を示し、本明細書では、以下、記号「→（ベクトル）」を同様な意味で使用する。ベクトルｋ→は、原画信号ｓと復号信号ｓ’との間の、Ｋ個の相互相関値を含む。この相互相関ベクトルｋ→は、動画像符号化装置５００のみが知っており、動画像復号装置５０１は知らないため、これらを動画像復号装置５０１へ送信する必要がある。

原画信号ｓは、復号信号ｓ’と、動画像符号化装置５００量子化プロセスで付加されたノイズｎとの加算結果として、次式１９のように表すことができる。

よって、図７における符号化器および復号器から出力される復号信号ｓ’は、原画信号ｓからノイズ信号ｎを減算することによって表すことができる。図７に示された符号化システムは、図８に示されるものへ変わる。ｓ＝ｓ’＋ｎで、上記相互相関ベクトルｋ→は、次式２０のように記すことができる。

上記式２０から分かるように、相互相関ベクトルｋ→は、ｒ→とｇ→との２つの部分に分けることができる。ｒ→は、動画像符号化装置５００及び動画像復号装置５０１の双方で算出可能である。よって、ｋ→の代わりにｇ→のみを送信することも可能である。これにより、最適フィルタ係数ａ→を次式２１から導出することができる。

自己相関マトリクスＲ_s's'の逆数で各辺を乗算すると、次式２２になる。

ここで、ある画像をＬ個の局所領域（画像領域）ｌ＝１，・・・，Ｌに分割すると仮定する。Ｌ＝３個の例を、図９に図示する。各局所領域に対し、領域ｌ内のサンプル数と画像全体のサンプル数との指数である確率Ｐ_lが次式２３のように関連付けられる。

各局所領域用の最適フィルタ係数を以下の式２４によって算出することができる。

なお、下付き文字ｌは当該領域を示す。また、局所適応フィルタリングには以下に述べる２つの解がある。

第１に、独立した各領域ｌ用の個別のフィルタ係数が符号化され送信される。これは、ａ→_lかｇ→_lを符号化し送信することによって実現可能である。グローバル適応的フィルタリングと比べ、符号化され送信されるデータ量は、係数Ｌで乗算される。

第２に、ｇ→_l=ｇ→ （Ａ^-1） ｌ＝１，・・・，Ｌと仮定する。なお、（Ａ^-1）は、全称量子化（ターンエー）を示す。この場合、ｇ→のみ符号化され、動画像符号化装置５００から動画像復号装置５０１へ送信される。グローバル適応的フィルタリングの場合と比べても、符号化され送信されるデータ量は同じである。式２４を用いて、局所適応的フィルタ係数が動画像符号化装置５００及び動画像復号装置５０１で算出される。グローバル適応的フィルタリングと比較した場合の局所適応的フィルタリングのメリットは、局所自己相関マトリクスＲ_s's',lの知識を、各局所領域に対して活用できることである。

動画像符号化装置５００は、上記解の最適ベクトルｇ→をどのようにして予測可能であるかについて、次に説明する。最適ベクトルｇ→とは、原画信号ｓと局所適応的にフィルタリングされた信号ｓ’’との間の平均２乗誤差を最小にするものである。最小平均２乗誤差Ｅ［（ｓ’’−ｓ）²］→minは、局所適応的フィルタリングの場合に、次式２５のように導かれる。

次式２６のようにショートカットが用いられる。

これらのショートカットを用いて、平均２乗誤差を次式２７、２８、２９，３０のように表すことができる。

最適ベクトルｇ→を算出するために、Ｋ個のＥ［（ｓ−ｓ’’）²］が次式３１、３２のように算出されて、ゼロへ設定される。

これにより、式３３が導かれる。

上記式３３から、最適ベクトルｇ→を、次式３４のように算出することができる。

動画像復号装置５０１は、次に述べる復号処理をおこなう必要があるだろう。まず、符号化最適ベクトルｇ→を復号する。次に、例えば、後述のセクションで説明する技術によって、復号画像をＬ個の局所領域に分割する。次に、Ｌ個の自己相関関数Ｒ_s's',l，・・・Ｒ_s's',Lを算出する。次に、式２４を用いて、インデックスｌ＝１，・・・，Ｌが付された各局所領域用の最適フィルタ係数ａ→_lを算出する。そして、インデックスｌ＝１，・・・，Ｌが付された各局所領域を、最適フィルタ係数ａ→_lを用いてフィルタリングする。

本発明の他の実施形態によれば、局所自己相関関数Ｒ_s's',Lに応じて、画像信号をＬ個の局所領域に分割する。この分割では、動画像符号化装置５００及び動画像復号装置５０１の双方で利用可能な情報のみが用いられる。この場合、動画像復号装置５０１は、追加的な補助情報なしで、動画像符号化装置５００がおこなった分割と同様の分割をおこなうことができる。

フィルタ係数の算出の際に局所自己相関関数Ｒ_s's',lをそのまま用いるため、この局所自己相関関数Ｒ_s's',lを、分割プロセスでも用いることが好ましい。一例として、ｌ_large＝１，・・・Ｌ_largeを用いて、画像を多くの（Ｌ_large＞＞Ｌ）小領域に分割することがあげられる。インデックスｌ_largeが付された各小領域用に、自己相関関数Ｒ_s's',llarge（「large」は「ｌ」の下付文字。以下同じ）が算出される。各局所自己相関関数Ｒ_s's',llargeの要素は、ベクトルとみなされる。ここで、ＬＢＧまたはＬｌｏｙｄアルゴリズムにしたがったベクトル量子化器用のコードブックが設計される。このコードブック設計において、種としてＲ_s's',llarge＝１，・・・，Ｒ_s's',Llargeから導出されたベクトルを用いて、Ｌ個の代表ベクトルが導出される。

次に、インデックスｌ_largeが付された各局所領域は、例えば、ベクトル要素つまり局所自己相関関数Ｒ_s's',lの要素間の平均２乗誤差などの算出結果を最小化することにより、インデックスｌが付された局所領域と関連付けられる。

この分割方法は、複数の局所領域の局所自己相関関数Ｒ_s's',lを、確実に大きく異ならせる。局所自己相関関数Ｒ_s's',lが大きく異なれば、大きく異なるフィルタ係数が導かれる。よって、符号化効率が最大限に向上する。

本発明の他の実施形態によれば、復号信号ｓ’は、局所予測タイプ、局所動きベクトルおよび／または量子化ステップに応じた、Ｌ個の局所領域に分割される。これらの情報はすべて、動画像符号化装置５００及び動画像復号装置５０１の双方に知られているため、ビットレートを増加させることなく用いることができる。

局所動きベクトルは、次に説明するように用いられる。復号信号ｓ’は、一般的にブロックに分割され、動きベクトルは各ブロックに付与される。例えば、動きベクトルの大きさが第１の閾値未満である小さい動きベクトルを有するブロックの全てで第１の局所領域を構成し、動きベクトルの大きさが第１の閾値以上、且つ第２の閾値（＞第１の閾値）未満である中程度の大きさの動きベクトルを有するブロックの全てで第２の局所領域を構成し、動きベクトルの大きさが第２の閾値以上である大きい動きベクトルを有するブロックの全てで第３の局所領域を構成してもよい。

これは、動きベクトルのサイズによる分類であろう。動きベクトルのサイズは、動きの絶対値を算出することによって導出することができる。この分類は、閾値演算によっておこなわれることが好ましい。例えば、ビットレートのラグランジアン・コストや平均２乗再構築誤差を最小化することによって、動画像符号化装置５００側で閾値を求めてもよい。

そして、それらを符号化して、動画像復号装置５０１へ送信してもよい。他の例として、動きベクトルをそれらの方向によって分類することがあげられる。各動きベクトルの方向を、角度によって表すことができる。この角度は、逆正接関数を用いたベクトルの空間的成分から算出できる。これらのベクトルは、閾値を用いて角度によって分類することができる。例えば、ビットレートのラグランジアン・コストや平均２乗再構築誤差を最小化することによって、動画像符号化装置５００側で閾値を求めてもよい。そして、それらを符号化し、動画像復号装置５０１へ送信してもよい。動きベクトルに応じて局所領域を形成するメリットは、局所画像の統計的特性は、類似した動きベクトルのブロック間で類似しているということである。

局所予測タイプは、次に説明するように用いられる。画像信号のすべてのブロックを、局所予測タイプによって分類する。このことが意味するのは、例えば、ある予測タイプを有する全てのブロックで第１の局所画像領域を構成し、他の予測タイプを有する全てのブロックで第２の局所画像領域を構成するということである。予測タイプに応じて局所領域を構成するメリットは、局所画像の統計的特性は、予測タイプが同一のブロック間で類似しているということである。なお、「予測タイプ」とは、イントラ予測（Ｉピクチャ）とインター予測との２種類としてもよいし、インター予測をＰピクチャ及びＢピクチャにさらに分類して、３種類（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）としてもよい。

局所量子化ステップサイズは、次に説明するように用いられる。画像信号のすべてのブロックを、局所量子化ステップサイズによって分類する。各局所領域に対する局所量子化ステップサイズは、動画像符号化装置５００から動画像復号装置５０１へ送信される。局所量子化ステップサイズは、原画信号に付加されて復号信号に現れる量子化ノイズに影響する。復号信号の統計的特性と最適ウィナーフィルタ係数は、付加された量子化ノイズに応じて決まるため、分類のために局所量子化ステップサイズを用いることは非常に有益である。このことが意味するのは、例えば、第１の量子化ステップサイズを有する全てのブロックで第１の局所画像領域を構成し、第２の量子化ステップサイズ（≠第１の量子化ステップサイズ）を有する全てのブロックで第２の局所画像領域を構成するということである。

本発明の好ましい実施形態によれば、本発明に準拠した動画像符号化装置５００及び動画像復号装置５０１は、Ｈ．２６４／ＡＶＣ標準規格に基づくものである。つまり、それらの動画像符号化装置５００及び動画像復号装置５０１は、発明の背景の項で説明したようなハイブリッド動画像符号化に基づくものである。それらの動画像符号化装置５００及び動画像復号装置５０１は、例えば、現在のＨ．２６４／ＡＶＣ標準規格の拡張標準規格や、将来の動画像符号化標準規格、Ｈ．２６４／ＡＶＣ符号化・復号の原理に基づく特許であってもよい。

Ｈ．２６４／ＡＶＣは、サイズが異なる複数のブロックに応用するため、異なる２つの逆量子化を採用している。すなわち、４×４および８×８逆変換である。逆変換は、ノイズの自己相関関数を定義する。ノイズ信号の個々の自己相関ベクトル（相互相関ベクトルの対応する項または相互相関ベクトル全体であってもよい）を予測し、かつ提供することも可能であるというメリットがある。個々の自己相関ベクトルのうち一方は、４×４変換で処理されるピクチャエレメント用に用いられ、他方は、８×８変換で処理されるピクチャエレメント用に用いられる。

ブロック、マクロブロック、グループのいずれかであるイントラ符号化ピクチャエレメントおよびインター符号化ピクチャエレメント用に、ノイズ信号の個々の自己相関ベクトルを提供し、かつ／または、予測するというメリットもある。ピクチャエレメントのタイプを考慮に入れて画像領域を決定してもよい。また、同じタイプ（インター／イントラ、Ｉ／Ｐ／Ｂ）のピクチャエレメントのみを含む画像領域であることというルールを適用してもよい。イントラ符号化およびインター符号化で用いられるさまざまなブロックサイズごとに、ノイズ信号の個々の自己相関ベクトルを提供し、かつ／または予測すれば、さらなる改良も可能である。

他の例として、大きな量子化誤差および小さな量子化誤差に関連付けられたピクチャエレメント用に、ノイズ信号の個々の自己相関ベクトルを提供し、かつ／または予測する例にもメリットがある。例えば、量子化予測誤差の（平均）値の間隔が複数であってもよく、各間隔ごとにノイズ信号の相関ベクトルを提供してもよい。

他の例としては、関連づけられた動きベクトルおよびその周囲の動きベクトルに応じて、ノイズ信号の個々の自己相関ベクトルを提供し、かつ／または予測する例にもメリットがある。関連付けられた動きベクトルがその周囲の動きベクトルと大きく異なる点は、前者がローカルオブジェクトのインジケータであるという点である。ローカルオブジェクトでは、通常、大きな予測誤差が生じ、量子化が粗ければ、大きな量子化誤差につながる。

なお、上記全ての例で述べた提供される情報は、ノイズの自己相関ベクトルである必要はない。上記情報は相互相関ベクトル全体であってもよいし、その中の任意の部分であってもよい。また、提供されたエレメントの数を、相関データのエレメントとともに信号送信してもよい。

動画像復号装置５０１側のために、動画像符号化装置５００側がフィルタ係数を算出するための補助情報（相互相関ベクトルまたはその部分）を提供する例は、上述の例に限られない。補助情報を提供する頻度は、定期的である必要はない。補助情報を予測する頻度と提供する頻度は、同じである必要はない。

本発明の他の実施形態によれば、補助情報は、画像領域ごとに予測される。動画像符号化装置５００は、伝送／格納に必要なレートを考慮して、補助情報を送信すればフィルタリング後の画像の画質を改善できるか否かを決定する能力を備えるレート−歪み最適化部をさらに備える。

レート−歪み最適化部は、相互相関ベクトルのどの部分を提供すべきか、つまり、互いに対応する項を含む部分を送信する必要があるか、それともノイズの自己相関に関する部分を送信すれば十分であろうかをさらに決定してもよい。この決定は、さまざまな方法で予測される相互相関ベクトルに基づいて算出された係数を用いたフィルタリングの結果を比較することによりおこなってもよいし、レート−歪み最適化に基づいておこなってもよい（相互相関ベクトルは、例えば、ノイズに関連する部分のみ、互いに対応する項、画像全体で共通の相互相関ベクトル、所定の相互相関ベクトルの組の中の相互相関ベクトルなど）。レート−歪み最適化部は、動画像符号化装置５００のレート−歪み最適化部の一部であってもよい。また、フィルタリングとは無関係なパラメータである、予測タイプや量子化ステップなど他のさまざまな符号化パラメータも最適化してもよい。

また、補助情報を送信するかどうかに関する決定は、ノイズの統計または信号に対するノイズの統計に基づいておこなってもよい。例えば、相互相関ベクトルのエレメントまたはその一部の値を閾値と比較して、比較結果に基づいて決定がなされてもよい。異なる画像領域間の統計変化に基づいて決定されてもよい。

復号動画像信号のみに基づくローカル相関データを予測するよりも少ない頻度で第１の相関データを送信すると、画像領域ごとにフィルタ係数を送信する場合よりも符号化効率を改善することができる。それと同時に、復号動画像信号のみに関連する第２の相関データを局所的に予測することにより、動画像の局所的な特性への適応が可能になり、非定常的な動画像信号の場合もフィルタリング性能を改善することができる。

上述したようなフィルタ設計部５３０、５６０によって算出されるフィルタ係数は、例えば、Ｈ．２６４／ＡＶＣにおいては、補間フィルタやポストフィルタ、デブロッキングフィルタまたはループフィルタのような他のフィルタに適用可能である。また、将来当該標準規格に導入される可能性があるか、標準化されることなく採用される可能性がある、そのようなフィルタにも適用可能である。

（実施の形態２）
図１０は、本発明の実施の形態２に係る、Ｈ．２６４／ＡＶＣ動画像符号化標準規格に基づいて改良した動画像符号化装置６００の説明図である。

動画像符号化装置６００は、図１０に示されるように、減算器１０５と、変換／量子化部１１０と、逆量子化／逆変換部１２０と、加算器１２５と、デブロッキングフィルタ１３０と、エントロピー符号化部１９０と、予測ブロック生成部（図示省略）とを備える。この動画像符号化装置６００は、画像を構成する符号化対象信号を複数のブロックに分割し、当該ブロックを順次符号化する。

減算器１０５は、符号化対象ブロック（入力信号）から予測ブロック（予測信号）を減算して予測誤差信号を生成する。変換／量子化部１１０は、予測誤差信号をＤＣＴ変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散コサイン変換）すると共に、量子化して量子化係数を生成する。エントロピー符号化部１９０は、量子化係数をエントロピー符号化して符号化信号を生成する。なお、量子化係数と共に、動き予測部１６５で生成される動き補償データや、ループフィルタ設計部６８０で算出される第１の相関データ等を含めてエントロピー符号化してもよい。

逆量子化／逆変換部１２０は、量子化係数を逆量子化すると共に、ＤＣＴ逆変換して量子化予測誤差信号を生成する。加算器１２５は、量子化予測誤差信号と予測ブロックとを加算して再構築信号を生成する。デブロッキングフィルタ１３０は、再構築信号からブロック歪みを除去して復号信号を生成する。

ループフィルタ６７０は、ループフィルタ設計部６８０で算出されるフィルタ係数等を用いて、復号信号にフィルタ処理を実行する。これにより、復号信号の主観的な画質が向上する。詳細は後述する。

予測ブロック生成部は、符号化対象ブロック（入力信号）より前に符号化された画像に基づいて、当該符号化対象ブロックを予測した予測ブロックを生成する。この予測ブロック生成部は、メモリ１４０と、補間フィルタ１５０と、動き補償予測部１６０と、動き予測部１６５と、イントラフレーム予測部１７０と、スイッチ１７５とによって構成されている。

メモリ１４０は、ループフィルタ６７０が適用された復号信号を一時記憶する遅延器として機能する。より具体的には、変換／量子化部１１０で量子化され、且つ逆量子化／逆変換部１２０で逆量子化され、デブロッキングフィルタ１３０及びループフィルタ６７０が適用されたたブロックを順次記憶し、１枚の画像（ピクチャ）を記憶する。

補間フィルタ１５０は、動き補償予測に先立って復号信号の画素値を空間的に補間する。動き予測部１６５は、復号信号と次の符号化対象ブロックとに基づいて動き予測を行い、動きデータ（動きベクトル）を生成する。動き補償予測部１６０は、復号信号と動きデータとに基づいて動き補償予測を行い、予測ブロックを生成する。

イントラフレーム予測部１７０は、復号信号を画面内予測して予測信号を生成する。スイッチ１７５は、予測モードとして「イントラ」モード及び「インター」モードのいずれかを選択する。そして、スイッチ１７５から出力される予測ブロックは、次の符号化対象ブロックを予測した信号となる。

図１０に示される動画像符号化装置６００は、図１に示される従来の動画像符号化装置１００と比較すると、ポストフィルタ設計部１８０の代わりにループフィルタ設計部６８０が備える点が異なる。また、ループフィルタ設計部６８０によって算出されたフィルタ係数を用いて、復号信号にフィルタ処理を施すループフィルタ６７０を備える。ループフィルタ設計部６８０は、図５Ａを参照して説明したフィルタ設計部５３０同様に動作し、領域形成部５３２と、予測部５３４と、係数算出部５３６とを備える。

フィルタ係数は、入力信号と復号信号とに基づいて算出され、ループフィルタ６７０へ送信される。ループフィルタ設計部６８０は、画像領域の分割に関する情報もループフィルタ６７０へ送信する。ループフィルタリング済み信号は、メモリ１４０に格納され、後続符号化画像を予測するための参照用に活用される。この例では、ループフィルタの設計のために用いられる復号動画像信号と入力動画像信号とは、画素ドメインに存在する。つまり、動画像信号の画素値を表す。しかしながら、ループフィルタ６７０および／またはループフィルタ設計部６８０は、予測誤差信号とそれに対応する量子化予測誤差信号に対し動作してもよい。なお、この例では、ポストフィルタ２８０の代わりにループフィルタ６７０を適用する場合であっても、一般には、ポストフィルタ２８０も備えておくと有利になる場合がある。

本実施の形態２における動画像復号装置７００側に提供されたループフィルタ情報は、ループフィルタ設計部６８０の予測部５３４によって特定される第１の相関データを含む。上述のように、第１の相関データは、入力動画像信号と復号動画像信号との両方に基づくものである。例えば、入力動画像信号と復号動画像信号間との差分として定義されるノイズの自己相関などである相互相関ベクトルまたはその一部を含んでもよい。

ここで、ループフィルタ情報は、信号送信に必要なオーバーヘッドを削減するために、量子化係数及び動きデータ等と共にエントロピー符号化部１９０によってエントロピー符号化される。符号化に用いられるエントロピー符号は、符号化動画像信号またはその復号に必要な補助情報に関連した情報エレメントを符号化するためにＨ．２６４／ＡＶＣにおいて用いられるエントロピー符号のうちの任意のものに相当する。この符号は、例えば、ゴロム符号、指数ゴロム符号、ユニタリー符号、エリアス符号など任意の整数可変長符号であればよい。値の発生確率にしたがって、符号語を相関データの値に割り当ててもよい。ハフマン符号、シャノン・ファノ符号、算術符号など特別に設計されたか文脈に応じて適応的にエントロピー符号化された符号を用いてもよい。また、相関データを、固定長符号を用いて送信してもよい。

図１１は、本発明の他の実施の形態２に係るポストフィルタリングを伴う動画像復号装置７００のブロック説明図である。

画像復号装置７００は、図１１に示されるように、エントロピー復号部２９０と、逆量子化／逆変換部２２０と、加算器２２５と、デブロッキングフィルタ２３０と、ポストフィルタ設計部７７０と、ポストフィルタ７８０と、予測ブロック生成部（図示省略）とを備える。この画像復号装置７００は、図１０に示される画像符号化装置６００で符号化された符号化信号を復号して復号ブロック（復号信号）を生成する。

エントロピー復号部２９０は、画像符号化装置６００から出力された符号化信号（入力信号）をエントロピー復号して、量子化係数、動きデータ、及び第１の相関データを取得する。

ポストフィルタ７８０は、例えば、ポストフィルタ設計部７７０で算出されたフィルタ係数を用いて、復号信号に適用されるウィナーフィルタであって、画像の主観的な画質を改善する。これらの詳細は後述する。

予測ブロック生成部は、メモリ２４０と、補間フィルタ２５０と、動き補償予測部２６０と、イントラフレーム予測部２７０と、スイッチ２７５とを備える。この予測ブロック生成部は、基本的な構成及び動作は図１０と共通するが、動き予測部１６５を省略して、動きデータをエントロピー復号部２９０から取得する点が異なる。

図１１に示される動画像復号装置７００は、図２に示される従来の動画像復号装置２００と比較して、さらにポストフィルタ設計部７７０を備える点が異なる。

ポストフィルタ設計部７７０は、図６Ａを参照して説明したフィルタ設計部５６０同様に動作し、領域形成部５６２と、予測部５６４と、係数算出部５６６とを備える。ポストフィルタ設計部７７０は、第１の相関データ（可能性として画像領域情報も）を含む信号送信されたポストフィルタ情報と復号動画像信号とに基づいて、領域形成部５６２が画像領域を特定し、予測部５６４がローカル相関データを予測し、予測結果に基づいて、係数算出部５６６がフィルタ係数を算出する。フィルタ係数は、次に、ローカルフィルタリングのための画像領域情報とともに、ポストフィルタ７８０へ提供される。画像領域情報は、フィルタ係数が適用される画像領域を示す。

なお、図１１に示される動画像復号装置７００は、ポストフィルタ設計部７７０及びポストフィルタ７８０に代えて、又はこれらに加えて、ループフィルタ設計部及びループフィルタを備えてもよい。このループフィルタ設計部は、第１の相関データを動画像符号化装置６００から取得する以外は、図１０に示されるループフィルタ設計部６８０と同様の処理を行う。または、ループフィルタは、図１０に示されるループフィルタ６７０と同様の処理を行う。

（実施の形態３）
本発明の他の実施の形態３によれば、補間フィルタを備える動画像符号化装置８００および動画像復号装置９００が提供される。図１２は、補間フィルタ及び設計部８５０を備える動画像符号化装置８００の説明図である。なお、上記の各実施の形態との共通点の詳しい説明は省略し、相違点を中心に説明する。

補間フィルタ及び設計部８５０は、図５Ａを参照して説明したフィルタ設計部５３０と同様に動作し、同様の構造を持つ。また、補間フィルタ及び設計部８５０は、図１０を参照して説明した補間フィルタ１５０と同様に動作し、同様の構造を持つ。つまり、補間フィルタ及び設計部８５０は、復号信号に補間フィルタ処理を実行すると共に、自らが使用するフィルタ係数を算出する機能を持つ。

補間フィルタ及び設計部８５０が局所的に特定した相関データは、フィルタ設計のために用いられ、相関データの一部は、エントロピー符号化部１９０へ送信されて、動画像復号装置９００側へ提供される。繰り返しになるが、相関データを符号化するために用いるエントロピー符号化は、Ｈ．２６４／ＡＶＣにおけるデータに対して用いられるエントロピー符号またはポストフィルタ情報と同様であってもよい。しかしながら、このデータの特性に対し、独立的・適応的にエントロピー符号を設計すれば有利になる場合もある。

図１３は、図６Ａを参照して説明したフィルタ設計部５６０と同様に動作する補間フィルタ設計部９５５を備えた動画像復号装置９００を説明する図である。なお、上記の各実施の形態との共通点の詳しい説明は省略し、相違点を中心に説明する。

補間フィルタ設計部９５５は、図５Ｂを参照して説明したフィルタ設計部５６０と同様に動作し、同様の構造を持つ。つまり、第１の相関情報を含む補間フィルタ情報と、メモリ２４０からの復号動画像信号データとに基づき、ローカルフィルタ係数を特定し、画像領域情報とともに補間フィルタ９５０へ提供する。補間フィルタ９５０は、補間フィルタ設計部９５５から取得した情報を、メモリ２４０からの復号局所（画像領域）動画像信号をフィルタリングするために用いられる。

動画像復号装置９００のデブロッキングフィルタ２３０同様に、動画像符号化装置８００のデブロッキングフィルタ１３０を、本発明にしたがって、局所画像特性に対し適応的に、または、相関情報により制御して採用してもよい。

図１０〜図１３を参照して説明した動画像符号化装置６００、８００と、動画像復号装置７００、９００の２つの実施形態を組み合わせてもよい。また、補間フィルタとともに局所適応ループフィルタおよび／またはポストフィルタを備えた動画像符号化装置及び動画像復号装置を採用してもよい。共通フィルタ設計部を、異なる入力データに基づいて同様の演算（領域形成、予測、係数算出）をおこなうために用いてもよい。

図１４は、動画像符号化装置１００１側から動画像復号装置１００３側へ動画像信号を送信するシステムを説明する図である。入力画像信号は、動画像符号化装置１００１によって符号化され、チャネル１００２へ提供される。上述したように、動画像符号化装置１００１は、本発明の任意の実施形態に係る動画像符号化装置である。

チャネル１００２は、格納手段か伝送チャネルである。格納手段は、例えば、任意の揮発性または非揮発性メモリや、任意の磁気または光学媒体や、大容量格納手段などである。任意の伝送システムや、無線あるいは配線または固定的あるいは移動可能な、ｘＤＳＬ、ＩＳＤＮ、ＷＬＡＮ、ＧＰＲＳ、ＵＭＴＳ、Ｉｎｔｅｒｎｅｔのようなものや、標準化または特許化されたシステムの物理的リソースによって、伝送チャネルを形成してもよい。

動画像符号化装置１００１側は、符号化部以外にも、チャネル１００２を通して符号化動画像信号を伝送するフォーマットコンバータおよび／またはトランスミッタなどによる入力動画像信号の前処理や、符号化動画像信号を記録媒体に送信するためのアプリケーションを含んでもよい。符号化動画像信号は、チャネル１００２を通じて動画像復号装置１００３によって取得される。

上述したように、動画像復号装置１００３は、本発明の任意の実施形態に係る動画像復号装置である。動画像復号装置１００３は、符号化動画像信号を復号する。動画像復号装置１００３側は、復号部以外にも、さらに、伝送チャネルからの符号化動画像信号または格納手段からの符号化動画像データを抽出するためのアプリケーションを受信するレシーバと、さらに／または、フォーマット変換など復号動画像信号の後処理をおこなう後処理手段を備えてもよい。

本発明の他の実施形態は、ハードウェアおよびソフトウェアを用いる、上述のさまざまな実施形態の実施態様に関連するものである。本発明のさまざまな実施形態は、演算装置（プロセッサ）を用いて実現され実施されると分かる。演算装置またはプロセッサは、例えば、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、アプリケーション用集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または、プログラマブルロジックデバイスなどであってもよい。本発明のさまざまな実施形態は、それらの装置を組み合わせて実施または具現化されてもよい。

さらに、本発明のさまざまな実施形態を、プロセッサまたはハードウェア内で直接的に実行されるソフトウェアモジュールを用いて実現してもよい。ソフトウェアモジュールとハードウェアの実施態様を組み合わせることも可能であろう。例えばＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、レジスタ、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤなど、任意の種類のコンピュータで読み取り可能な記憶媒体にソフトウェアモジュールを格納してもよい。

Ｈ．２６４／ＡＶＣに基づく動画像符号化システムに関連して上述の例の大半を概要説明した。用語は、主として、Ｈ．２６４／ＡＶＣの用語に関連したものである。しかしながら、Ｈ．２６４／ＡＶＣに基づく符号化に対するさまざまな実施形態の用語および記述は、本発明の原理および考えを、当該システムに限定することを意図しない。Ｈ．２６４／ＡＶＣ標準規格に準拠した符号化および復号に関する詳細な説明は、ここで説明した例示的な実施形態についての理解を深めることを意図しており、動画像符号化におけるプロセスおよび機能を、説明した特定の実施態様に本発明が限定されるように理解されるべきではない。一方、ここで提案した改良策は、動画像符号化において容易に応用可能であろう。さらに、本発明のコンセプトは、ＪＶＴによって現在討議されているＨ．２６４／ＡＶＣの拡張符号化においても容易に利用可能であろう。

要約すると、本発明は、局所相関データにより制御された局所適応的フィルタリングを用いて動画像信号を符号化する方法と、復号する方法と、符号化する装置と、復号する装置とを提供する。まず、相関データは、動画像符号化装置で予測され、動画像復号装置側へ提供される。予測は、入力動画像信号と復号動画像信号とに基づいてなされる。さらに、動画像フレームの一部である画像領域が特定され、特定された画像領域用に、復号動画像信号に基づいて第２相関データが予測される。第１および第２の相関データは、フィルタ係数の算出に用いられる。局所的に特定されたフィルタ係数にしたがって、この画像領域はフィルタリングされる。よって、本発明に係る符号化および復号は、動画像の局所的な特性に応じてフィルタリングを適応させる能力を備え、これによりフィルタリング性能を改善する。第１の相関データを画像領域ごとに送る必要がないので、符号化効率も改善する。

（実施の形態４）
上記各実施の形態で示した動画像符号化方法又は動画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法や動画像復号方法の応用例とそれを用いたシステムを説明する。

図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２及び電話網ｅｘ１０４、及び基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図１５のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はディジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はディジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、又はＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像及び／又は動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

このコンテンツ供給システムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。

その一例として携帯電話ｅｘ１１４について説明する。

図１６は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１４について図１７を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２及び操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６及び音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。

電源回路部ｅｘ７１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ６０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データをカメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３及びＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。

画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を音声処理部ｅｘ７０５を介してディジタルの音声データとして多重分離部ｅｘ７０８に送出する。

多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。

また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。

次に、画像復号部ｅｘ７０９は、本願発明で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１８に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データ又はそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ２０４で受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置によりビットストリームを復号してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の記録メディアｅｘ２１５、２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で放送衛星ｅｘ２０２からまたは基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した画像データと、音声データが多重化された符号化ビットストリームを読み取り復号する、又は記録メディアｅｘ２１５に画像データと、音声データを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号装置又は動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３又は衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号装置を組み込んでもよい。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データ又はそれらのデータが多重化された符号化ビットストリームを読み取り復号する、又は記録メディアｅｘ２１５に音声データ、映像データ又はそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号装置又は動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３又は衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号装置を組み込んでもよい。

図１９は、上記各実施の形態で説明した動画像復号方法及び動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４又はケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、又は出力するチューナｅｘ３０１と、受信した符号化データを復調する、又は外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、又は符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、又はそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信又は記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、及び外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、又は書き込む場合には、上記復号処理又は符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込み又は書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２０に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報及び記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図２１に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周又は外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データ又はそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、ディジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で放送衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図１９に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明は係る上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。

（実施の形態５）
上記各実施の形態で示した動画像符号化方法及び装置、動画像復号方法及び装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図２２に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化及び／又は映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、又は記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して、又は記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号及び／又は映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５、テレビｅｘ３００等の各出力部から出力される。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。また、上記の各実施の形態は、任意に組み合わせることができるものとする。

本発明は、画像符号化方法及び画像復号方法に有利に利用される。

１００，５００，６００，８００，１００１ 動画像符号化装置
１０５ 減算器
１１０ 変換／量子化部
１２０，２２０ 逆量子化／逆変換部
１２５，２２５ 加算器
１３０，２３０ デブロッキングフィルタ
１４０，２４０ メモリ
１５０，２５０，９５０ 補間フィルタ
１６０，２６０ 動き補償予測部
１６５ 動き予測部
１７０，２７０ イントラフレーム予測部
１７５，２７５ スイッチ
１８０，７７０ ポストフィルタ設計部
１９０ エントロピー符号化部
２００，５０１，７００，９００，１００３ 動画像復号装置
２８０，７８０ ポストフィルタ
２９０ エントロピー復号部
３００ ウィナーフィルタ
４００ 動画像フレーム
４０１ ブロック
４１０ａ，４１０ｂ，４１０ｃ，４１０ｄ 画像領域
５１０ 符号化部
５２０，５５０ 復号部
５３０，５６０ フィルタ設計部
５３２，５６２ 領域形成部
５３４，５６４ 予測部
５３６，５６６ 係数算出部
５４０，５７０ フィルタ
６７０ ループフィルタ
６８０ ループフィルタ設計部
８５０ 補間フィルタ及び設計部
９５５ 補間フィルタ設計部
１００２ チャネル

本願は、動画像信号のフィルタリング用の適応的フィルタを用いて動画像を符号化および復号するための方法および装置に関する。

現在、標準的な動画像符号化アルゴリズムの大多数は、ハイブリッド動画像符号化に基づくものである。典型的には、ハイブリッド動画像符号化方法は、所望の圧縮成果を達成するために、それぞれ異なるロスが生じない圧縮方式とロスが生じる圧縮方式とを組み合わせたものである。ハイブリッド動画像符号化は、ＩＳＯ／ＩＥＣ標準規格（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４のようなＭＰＥＧ−Ｘ標準規格）と同様に、ＩＴＵ−Ｔ標準規格（Ｈ．２６１やＨ．２６３のようなＨ．２６ｘ標準規格）の基礎でもある。最新の動画像符号化標準規格は、Ｈ．２６４／ＭＰＥＧ−４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と称されるものである。これは、ジョイントビデオチーム（ＪＶＴ）およびＩＴＵ−ＴとＩＳＯ／ＩＥＣ ＭＰＥＧグループとのジョイントチームによる標準化活動の成果である。

エンコーダへ入力される動画像信号は、フレーム（又はピクチャ）と呼ばれる画像のシーケンスであり、各フレームは２次元配列された画素からなる。ハイブリッド動画像符号化に基づく上述の標準規格の全てにおいて、個々の動画像フレームは複数の画素からなる小ブロックへ細分化される。典型的には、マクロブロック（通常は１６×１６画素ブロックを意味する）が基本的な画像エレメントであり、これに対して符号化がおこなわれる。しかしながら、より小さい画像エレメントに対してさまざまな特定の符号化ステップがおこなわれる場合がある。例えば、８×８、４×４、１６×８などのサイズのブロックやサブブロックが挙げられる。

典型的には、ハイブリッド動画像符号化における符号化ステップには、空間的および／または時間的予測が含まれる。したがって、各符号化対象ブロックは、まず、既に符号化された動画像フレームから空間的に隣接したブロックか時間的に隣接したブロックかを用いて予測される。符号化対象ブロックと予測残差とも呼ばれる予測結果との差分ブロックが、次に求められる。次の符号化ステップでは、残差ブロックが空間（画素）ドメインから周波数ドメインへ変換される。変換の目的は、入力ブロックの冗長性を削減することである。次の符号化ステップにおいて、変換係数が量子化される。このステップにおいて、実質的にロスが生じる（不可逆的な）圧縮がおこなわれる。通常、圧縮変換係数値は、エントロピー符号化によって（ロスを生じさせずに）さらに圧縮される。さらに、符号化動画像信号を再構築するために必要な補助情報が符号化され、符号化動画像信号とともに提供される。この情報は、例えば、空間的および／または時間的予測や量子化量に関するものである。

図１は、Ｈ．２６４／ＡＶＣ標準規格に準拠した、典型的な動画像符号化装置１００の一例を示す。Ｈ．２６４／ＡＶＣ標準規格は、上述の符号化ステップの全てを組み合わせたものである。減算器１０５は、まず、動画像（入力信号）の対象ブロック（符号化対象ブロック）と、対応する予測ブロック（予測信号）との差分を特定する。

時間的予測ブロックは、メモリ１４０に格納されている符号化画像から得られるブロックである。空間的予測ブロックは、符号化されてメモリ１４０に格納された隣接ブロック内の境界画素の画素値から補間される。よって、メモリ１４０は、対象信号値と過去の信号値から生成された予測信号とを比較する遅延手段として動作する。メモリ１４０は、複数の符号化動画像フレームを格納可能である。

入力信号と予測信号との差分は予測誤差または残差と称され、変換／量子化部１１０によって変換され量子化される。ロスが生じない方法でデータ量をさらに削減するために、エントロピー符号化部１９０によって量子化係数がエントロピー符号化（「可変長符号化」ともいう。以下同じ。）される。具体的には、値の発生確率に基づいて長さが決められる複数の符号語を用いるエントロピー符号化によりデータ量が削減される。

Ｈ．２６４／ＡＶＣ標準規格には、動画像符号化層（ＶＣＬ）とネットワーク抽象レイヤ（ＮＡＬ）という２つの機能層が備えられている。ＶＣＬは、既に簡単に触れた符号化機能を提供する。ＮＡＬは、さらなるアプリケーション（チャネル上伝送や格納手段への格納）にしたがって、復号時に必要な補助情報とともに符号化データを、ＮＡＬユニットと呼ばれる標準単位にカプセル化する。圧縮動画像データおよびその関連情報を含むＶＣＬ＿ＮＡＬユニットと呼ばれるものがある。

一方、付加データをカプセル化する非ＶＣＬユニットと呼ばれるものもある。付加データは、例えば、動画像シーケンス全体に関するパラメータセットや、ポストフィルタヒントのような復号性能を改善するために用いることができる付加情報を提供する、最近追加された補助的拡張情報（ＳＥＩ）などである。

動画像符号化装置１００内に、復号動画像信号を取得する復号手段が備えられる。符号化ステップに準拠して、復号ステップには逆量子化／逆変換部１２０が含まれる。復号予測誤差信号は、量子化ノイズとも呼ばれる量子化誤差が原因で原画入力信号とは異なる。加算器１２５によって復号予測誤差信号を予測信号に加算することにより、再構築信号が取得される。エンコーダ側とデコーダ側の互換性を保つために、符号化された後に復号された動画像信号に基づいて、双方に知られる予測信号を求める。

量子化によって、量子化ノイズが再構築動画像信号に重畳される。ブロック単位での符号化により、重畳されたノイズはしばしば、ブロッキング特性を有し、特に強い量子化がおこなわれた場合は、復号画像のブロック境界が目立つ結果になる。ブロッキングアーチファクトは、人間の視覚的認識上マイナスの効果がある。アーチファクトを削減するために、再構築画像ブロックごとにデブロッキングフィルタ１３０が適用される。デブロッキングフィルタ１３０は、予測信号と復号予測誤差信号との加算結果である再構築信号に適用される。デブロッキング後の動画像信号は、通常は（ポストフィルタリングが適用されなければ）デコーダ側で表示される復号信号である。Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタ１３０は、局所的に適用可能なものである。ブロッキングノイズの程度が高い場合は、強い（帯域幅が狭い）ローパスフィルタが適用され、ブロッキングノイズの程度が低い場合は、弱い（帯域幅が広い）ローパスフィルタが適用される。デブロッキングフィルタ１３０は、通常、ブロックのエッジを平滑化して復号画像の主観的画質を改善する。さらに、画像内のフィルタリング済みの部分が次の画像の動き補償予測に用いられるため、フィルタリングによって予測誤差が削減され、符号化効率を改善することができる。復号信号は、次にメモリ１４０に格納される。

Ｈ．２６４／ＡＶＣにおける予測信号は、時間的予測か空間的予測によって取得される。予測タイプは、マクロブロック単位で異ならせることができる。時間的予測で予測されたマクロブロックは、インター符号化マクロブロックと呼ばれ、空間的予測で予測されたマクロブロックは、イントラ符号化マクロブロックと呼ばれる。ここで、「インター」という用語は、インターピクチャ予測、つまり先行フレームか後続フレームから得られた情報を用いる予測に関する。「イントラ」という用語は、空間的予測、つまり対象動画像フレーム内で既に符号化された情報のみを用いる予測に関する。可能な限り高い圧縮成果を達成するために、動画像フレームの予測タイプは、ユーザが設定することもでき、動画像符号化装置１００に選択させることもできる。選択された予測タイプにしたがって、スイッチ１７５は、対応する予測信号を減算器１０５へ提供する。

イントラ符号化画像（Ｉタイプ画像またはＩフレームとも呼ばれる）は、イントラ符号化されたマクロブロックのみからなる。つまり、イントラ符号化された画像は、他の復号画像を参照することなく復号可能である。イントラ符号化画像は、符号化動画像シーケンスに対しエラー耐性を与える。なぜなら、時間的予測によって動画像シーケンス内でフレームからフレームへ伝播する可能性があるエラーを取り除く（リフレッシュする）からである。さらに、Ｉフレームは、符号化動画像シーケンス内でランダムアクセスを可能にする。

イントラフレーム予測では、基本的には、既に符号化された隣接マクロブロックの境界に位置する画素を用いて対象マクロブロックを予測する、定義済みのイントラ予測モードの組が用いられる。空間的予測タイプが異なるということは、エッジの方向、つまり適用された２次元補間の方向が異なるということである。補間によって得られた予測信号は、次に、上述の減算器１０５によって、入力信号から減算される。また、空間的予測タイプ情報は、エントロピー符号化され、符号化動画像信号とともに信号送信される。

インター符号化画像を復号するには、符号化された後に復号された画像が必要である。時間的予測は、単一方向つまり符号化対象フレームより早い順序の動画像フレームのみを用いておこなってもよく、後続動画像フレームも用いておこなってもよい。単一方向の時間的予測をおこなえば、Ｐフレームと呼ばれるインター符号化画像が得られ、双方向の時間的予測をおこなえば、Ｂフレームと呼ばれるインター符号化画像が得られる。一般的に、インター符号化画像は、Ｐタイプマクロブロック、Ｂタイプマクロブロック、及びＩタイプマクロブロックのいずれかから構成される。

インター符号化マクロブロック（ＰまたはＢマクロブロック）は、動き補償予測部１６０を採用して予測される。まず、動き補償予測部１６０によって、符号化された後に復号された動画像フレーム内で、対象ブロックに最適なブロックが検出される。この最適ブロックは予測信号となり、対象ブロックと最適ブロック間の相対的なずれ（動き）が、符号化動画像データとともに提供される補助情報内に含められる２次元の動きベクトルの形で動きデータとして信号送信される。

予測精度を最適化するため、１／２画素解像度や１／４画素解像度などの小数画素解像度で動きベクトルを特定してもよい。小数画素解像度の動きベクトルは、復号フレーム内の、小数画素位置のように実存する画素値がない位置を指してもよい。よって、動き補償をおこなうには、そのような画素値の空間的補間が必要である。補間は、補間フィルタ１５０によっておこなわれる。Ｈ．２６４／ＡＶＣ標準規格にしたがって、小数画素位置の画素値を得るために、固定フィルタ係数を用いた６タップ・ウィナー補間フィルタとバイナリフィルターとが適用される。

イントラ符号化モードおよびインター符号化モードにおいて、変換／量子化部１１０によって、対象入力信号と予測信号間の差分が変換されて量子化され、量子化変換係数が得られる。一般的に、２次元離散コサイン変換（ＤＣＴ）またはその整数版のような直交変換が採用される。なぜなら、これにより自然動画像の冗長性を効率的に削減できるからである。通常、低周波数成分は高周波成分よりも画質にとって重要であるため、高周波数よりも低周波数に多くのビットが費やされるように変換される。

量子化後、２次元配列の量子化係数が１次元配列に変換されてエントロピー符号化部１９０に送信される。典型的には、いわゆるジグザグ走査によって変換される。ジグザグ走査においては、２次元配列の左上隅から右下隅まで所定の順序で走査される。典型的には、エネルギーは低周波に相当する画像の左上部分に集中するため、ジグザグ走査をおこなうと、最後のほうでゼロ値が続く配列になる。これにより、実際のエントロピー符号化の一部として、またはそれ以前の段階で、ラン−レングス符号を用いた効率的な符号化をおこなうことが可能になる。

画質を改善するために、ポストフィルタ２８０と呼ばれるものを、動画像復号装置２００で適用してもよい。Ｈ．２６４／ＡＶＣ標準規格においては、補助的拡張情報（ＳＥＩ）メッセージを通して、ポストフィルタ２８０のためのポストフィルタ情報を送信することが可能である。ポストフィルタ情報は、ローカル復号信号と原画入力信号とを比較するポストフィルタ設計部１８０によって動画像符号化装置１００側で特定される。ポストフィルタ設計部１８０の出力は、エントロピー符号化部１９０に送られ、符号化されて符号化信号に挿入される。エントロピー符号化部１９０は、統計を適用した、符号化対象情報のタイプが異なれば長さが異なる可変長コードを採用する。

図２は、Ｈ．２６４／ＡＶＣ動画像符号化標準規格に準拠した例示的な動画像復号装置２００を説明する図である。符号化動画像信号（デコーダへの入力信号）は、まずエントロピー復号部２９０へ送信される。エントロピー復号部２９０は、量子化係数や動きデータおよび予測タイプなどの復号に必要な情報エレメントや、ポストフィルタ情報を復号する。量子化係数は、逆走査されて２次元配列となり、逆量子化／逆変換部２２０へ送信される。逆量子化／逆変換部２２０による逆量子化および逆変換後、復号（量子化）予測誤差信号が得られる。これは、エンコーダへ入力された信号から予測信号を減算して得られた差分に相当する。

予測信号は、動き補償予測部（時間的予測部）２６０またはイントラフレーム予測部（空間的予測部）２７０からそれぞれ得られる。どちらの予測信号を採用するかは、エンコーダで適用された予測を信号送信する情報エレメントにしたがってスイッチ２７５によって切り替えられる。

復号情報エレメントは、さらに、イントラ予測の場合には、予測タイプなどの予測に必要な情報を含み、動き補償予測の場合には、動きデータなどの予測に必要な情報を含む。動きベクトルの値によっては、動き補償予測をおこなうには画素値を補間する必要がある。補間は、補間フィルタ２５０によっておこなわれる。

空間領域の量子化予測誤差信号は、次に、加算器２２５によって、動き補償予測部２６０かイントラフレーム予測部２７０から得られる予測信号へ加算される。再構築信号を、デブロッキングフィルタ２３０へ送信してもよい。復号信号は、メモリ２４０に格納され、後続ブロックの時間的予測または空間的予測に用いられる。

ポストフィルタ情報は、ポストフィルタ２８０へ送信され、ポストフィルタがそれに応じて設定される。さらに画質を改善するために、ポストフィルタ２８０は、次に復号信号に適用される。よって、ポストフィルタ２８０は、フレームごとにエンコーダへ入力される動画像信号の特性に適応する能力を備える。

要約すると、最新のＨ．２６４／ＡＶＣ標準規格で用いられるフィルタは以下の３種類である。すなわち、補間フィルタ、デブロッキングフィルタ、及びポストフィルタである。一般に、あるフィルタが適切かどうかは、フィルタリング対象の画像内容次第で決まる。それゆえ、画像の特性に適応可能なフィルタ設計は有利である。フィルタ係数を、ウィナーフィルタ係数として設計してもよい。

最新のＨ．２６４／ＡＶＣ標準規格は、分離可能な固定補間フィルタを採用している。しかしながら、この分離可能な固定補間フィルタを分離可能または分離不可能な適応的補間フィルタに置き換える提案がなされており、一例として、Ｓ．Ｗｉｔｔｍａｎｎと Ｔ．Ｗｅｄｉによる、「Ｓｅｐａｒａｂｌｅ ａｄａｐｔｉｖｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒ（非特許文献１）」（ＩＴＵ−Ｔ Ｑ．６／ＳＧ１６、ｄｏｃ． Ｔ０５−ＳＧ１６−Ｃ−０２１９、ジュネーブ、スイス、２００７年６月）がある。最新のＨ．２６４／ＡＶＣ標準規格においては、さらに、適応的ポストフィルタを利用可能である。この目的で、上述のように、ポストフィルタ設計部１８０によって画像ごとにエンコーダでポストフィルタが評価される。ポストフィルタ設計部１８０は、フィルタ情報（ポストフィルタヒントと呼ばれるもの）を生成し、これをＳＥＩメッセージの形でデコーダへ送信する。デコーダでの表示に先立って復号信号に適用されるポストフィルタ２８０によって、このフィルタ情報を利用してもよい。エンコーダからデコーダへ送信されるフィルタ情報は、フィルタ係数か相互相関ベクトルである。補助情報を送信すれば、フィルタリングの質を改善できる場合があるが、帯域を広げる必要が生じる。送信または計算されたフィルタ係数を用いて、画像全体にポストフィルタリングが施される。Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタは、ブロックのエッジに生じるブロッキングアーチファクトを削減するループフィルタとして用いられる。３タイプのフィルタは、ウィナーフィルタとして評価される。

図３は、ノイズを削減するためのウィナーフィルタ３００を用いた信号の流れを説明する図である。ノイズｎが入力信号ｓに加算されると、フィルタリング対象のノイズを含む信号ｓ’になる。ノイズｎを削減するという目的は、信号ｓ’にウィナーフィルタ３００を適用してフィルタリング済み信号ｓ’’を得ることである。ウィナーフィルタ３００は、所望の信号である入力信号ｓとフィルタリング済み信号ｓ’’との間の平均二乗誤差を最小限にするよう設計される。ウィナー係数はウィナーＨｏｐｆ方程式と呼ばれるシステムとして表現される最適化問題ａｒｇＷ ｍｉｎ Ｅ［（ｓ−ｓ’’）²］の解に相当する。解は以下の式１で求められる。

ここで、ｗは、正の整数であるＭ桁の最適ウィナーフィルタ係数を含むＭ×１のベクトルである。Ｒ^-1は、フィルタリング対象のノイズを含む信号ｓ’のＭ×Ｍの自己相関マトリクスＲの逆数を表す。ｐは、フィルタリング対象のノイズを含む信号ｓ’と原画信号ｓとの間のＭ×１の相互相関ベクトルを表す。適応的フィルタ設計に関する詳細については、Ｓ．Ｈａｙｋｉｎの、「Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒ Ｔｈｅｏｒｙ（非特許文献２）」（第４版、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓシリーズ、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、２００２年）を参照のこと。これをここに引用して援用する。

Ｓｅｐａｒａｂｌｅ ａｄａｐｔｉｖｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒ」（Ｓ．Ｗｉｔｔｍａｎｎ、Ｔ．Ｗｅｄｉ、ＩＴＵ−Ｔ Ｑ．６／ＳＧ１６、ｄｏｃ． Ｔ０５−ＳＧ１６−Ｃ−０２１９、ジュネーブ、スイス、２００７年６月） Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒ Ｔｈｅｏｒｙ（Ｓ．Ｈａｙｋｉｎ、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓシリーズ、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、２００２年）

よって、ウィナーフィルタ３００のメリットの１つは、破損した（ノイズを含む）信号の自己相関と、破損信号と所望の信号間の相互相関に基づいて、フィルタ係数を求めることができるという点である。フィルタ係数は、画像または画像シーケンスのフィルタリングのために用いられるので、画像信号は、少なくとも広い意味では定常的であり、つまり、最初の２つの統計的モーメント（平均と相関）は、経時変化しないことが暗示的に示される。非定常的な信号にフィルタを適用すれば、そのパフォーマンスはかなり悪化する。一般的に、自然動画像シーケンスは、定常的ではない。一般的に、動画像シーケンスの画像は定常的ではない。よって、フィルタリング済みの非定常的な画像の画質は低下する。

本発明の目的は、符号化の成果という観点から効率よく、画像の局所的な特性に適応する能力を備えた、動画像信号の適応的フィルタリングを伴う符号化・復号メカニズムを提供することである。

本発明の一形態に係る画像符号化方法は、画像を構成する符号化対象信号を符号化する方法である。具体的には、前記符号化対象信号を量子化して量子化係数を算出する量子化ステップと、前記量子化係数を逆量子化して復号信号を生成する逆量子化ステップと、前記復号信号を複数の画像領域に分割する領域形成ステップと、前記領域形成ステップで分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成ステップで特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測ステップと、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出ステップと、前記フィルタ係数算出ステップで算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタリングステップと、前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力ステップとを含む。

上記構成の画像符号化方法では、符号化側でのみ生成可能な第１の相関データを比較的大きな領域毎に生成し、符号化側及び復号側の双方で生成可能な第２の相関データを比較的小さな領域毎に生成している。このように、第１の相関データの生成頻度を低下させることにより、符号化効率が向上する。また、第２の相関データの生成頻度を向上させることにより、より適応的なフィルタ係数を算出することができる。

また、前記フィルタ係数算出ステップでは、前記符号化対象信号及び前記復号信号の間の相互相関ベクトルと、前記復号信号の自己相関マトリクスとに基づいて、前記フィルタ係数を算出する。前記相互相関ベクトルは、前記復号信号の自己相関を示す第１の部分と、量子化ノイズの自己相関を示す第２の部分とで構成される。そして、前記第１の相関データは、前記第１及び第２の部分のうち、前記第２の部分のみを含み、前記第２の相関データは、前記第１の部分と、前記自己相関マトリクスとを含んでもよい。これにより、さらに符号化効率が向上する。

また、該画像符号化方法は、前記符号化対象信号を複数のブロックに分割し、当該ブロック毎に符号化する方法である。そして、前記領域形成ステップでは、前記ブロック毎に決定される量子化ステップ、予測タイプ、及び動きベクトルの少なくとも１つに基づいて、前記復号信号を前記複数の画像領域に分割してもよい。これにより、より適応的なフィルタ係数を算出することができる。

また、前記フィルタリングステップでは、隣接する前記ブロックの境界に生じるブロック歪みを除去するデブロッキングフィルタ処理、前記復号信号の主観的な画質を改善するためのループフィルタ処理、及び前記復号信号の画素値を空間的に補間する補間フィルタ処理の少なくとも１つが実行されてもよい。

また、前記予測ステップでは、前記符号化対象信号毎に前記第１の相関データを算出してもよい。これにより、さらに符号化効率が向上する。

また、前記出力ステップは、前記量子化係数と、前記第１の相関データとをエントロピー符号化して符号化信号を出力するエントロピー符号化ステップであってもよい。

本発明の一形態に係る画像復号方法は、符号化された画像を復号する方法である。具体的には、量子化係数、及び符号化対象信号と復号信号との相関を示す第１の相関データを取得する取得ステップと、前記量子化係数を逆量子化して前記復号信号を生成する逆量子化ステップと、前記復号信号を複数の画像領域に分割する領域形成ステップと、前記領域形成ステップで特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測ステップと、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出ステップと、前記フィルタ係数算出ステップで算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタリングステップとを含む。

また、前記フィルタリングステップでは、隣接する前記ブロックの境界に生じるブロック歪みを除去するデブロッキングフィルタ処理、前記復号信号の主観的な画質を改善するためのポストフィルタ処理、及び前記復号信号の画素値を空間的に補間する補間フィルタ処理の少なくとも１つが実行されてもよい。

本発明の一形態に係る画像符号化装置は、画像を構成する符号化対象信号を符号化する。具体的には、前記符号化対象信号を量子化して量子化係数を算出する量子化部と、前記量子化係数を逆量子化して復号信号を生成する逆量子化部と、前記復号信号を複数の画像領域に分割する領域形成部と、前記領域形成部で分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部と、前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力部とを備える。

本発明の一形態に係る画像復号装置は、符号化された画像を復号する。具体的には、量子化係数、及び符号化対象信号と復号信号との相関を示す第１の相関データを取得する取得部と、前記量子化係数を逆量子化して前記復号信号を生成する逆量子化部と、前記復号信号を複数の画像領域に分割する領域形成部と、前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部とを備える。

本発明の一形態に係るシステムは、画像を構成する符号化対象信号を符号化する画像符号化装置と、符号化された画像を復号する画像復号装置とを備える。前記画像符号化装置は、前記符号化対象信号を量子化して量子化係数を算出する量子化部と、前記量子化係数を逆量子化して復号信号を生成する第１の逆量子化部と、前記復号信号を複数の画像領域に分割する第１の領域形成部と、前記第１の領域形成部で分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記第１の領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する第１の予測部と、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出する第１のフィルタ係数算出部と、前記第１のフィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングする第１のフィルタ部と、前記量子化係数と、前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力部とを備える。前記画像復号装置は、量子化係数、及び前記第１の相関データを取得する取得部と、前記量子化係数を逆量子化して前記復号信号を生成する第２の逆量子化部と、前記復号信号を複数の画像領域に分割する第２の領域形成部と、前記第２の領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する第２の予測部と、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出する第２のフィルタ係数算出部と、前記第２のフィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングする第２のフィルタ部とを備える。

本発明の一形態に係るプログラムは、コンピュータに、画像を構成する符号化対象信号を符号化させる。具体的には、前記符号化対象信号を量子化して量子化係数を算出する量子化ステップと、前記量子化係数を逆量子化して復号信号を生成する逆量子化ステップと、前記復号信号を複数の画像領域に分割する領域形成ステップと、前記領域形成ステップで分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成ステップで特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測ステップと、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出ステップと、前記フィルタ係数算出ステップで算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタリングステップと、前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力ステップとを含む。

本発明の他の形態に係るプログラムは、コンピュータに、符号化された画像を復号させる。具体的には、量子化係数、及び符号化対象信号と復号信号との相関を示す第１の相関データを取得する取得ステップと、前記量子化係数を逆量子化して前記復号信号を生成する逆量子化ステップと、前記復号信号を複数の画像領域に分割する領域形成ステップと、前記領域形成ステップで特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測ステップと、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出ステップと、前記フィルタ係数算出ステップで算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタリングステップとを含む。

本発明の一形態に係る集積回路は、画像を構成する符号化対象信号を符号化する。具体的には、前記符号化対象信号を量子化して量子化係数を算出する量子化部と、前記量子化係数を逆量子化して復号信号を生成する逆量子化部と、前記復号信号を複数の画像領域に分割する領域形成部と、前記領域形成部で分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部と、前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力部とを備える。

本発明の他の形態に係る集積回路は、符号化された画像を復号する。具体的には、量子化係数、及び符号化対象信号と復号信号との相関を示す第１の相関データを取得する取得部と、前記量子化係数を逆量子化して前記復号信号を生成する逆量子化部と、前記復号信号を複数の画像領域に分割する領域形成部と、前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部とを備える。

なお、本発明は、画像符号化方法（装置）及び画像復号方法（装置）として実現できるだけでなく、これらの機能を実現する集積回路として実現したり、そのような機能をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

好ましい実施形態は、従属クレームの主題である。

本発明に特有な手法では、局所適応的な方法で、エンコーダおよび／またはデコーダで、復号動画像信号をフィルタリングするフィルタを設計する。まず、画像領域が動画像信号において特定され、相関のような統計的情報に基づいてフィルタ係数が算出される。相関情報の第１の部分は、符号化前の動画像信号と復号動画像信号に関連している。よって、この第１の部分は、エンコーダ側で特定されてデコーダ側へ提供される。この相関情報の第２の部分は、復号動画像信号に関連しており、エンコーダおよび／またはデコーダで、局所的つまり画像領域ごとに予測される。

この手法は、動画像（フレーム）の局所的な特性に応じてフィルタを適応させることにより、得られる画質を改善する。さらには、デコーダ側で統計的な情報の局所部分を予測することによって、信号送信時のオーバーヘッドも削減される場合がある。

本発明の第１の態様によれば、少なくとも１つの動画像フレームを含む入力動画像信号を符号化する方法が提供される。入力動画像信号は符号化され、符号化動画像信号は復号される。復号動画像信号の動画像フレームにおいて、画像領域が特定される。次に、入力動画像信号と復号動画像信号とに基づいて、フィルタ係数を算出するための情報である第１の相関情報が特定される。第２の相関データは、復号動画像信号に基づいて、画像領域ごとに予測される。第１相関情報は、デコーダ側へ提供され、画像領域をフィルタリングするためのフィルタ係数が導出される。このフィルタ係数は、第１相関情報と第２相関情報とに基づいて算出される。算出されたフィルタ係数を用いて、画像領域がフィルタリングされる。

本発明の他の態様によれば、少なくとも１つの動画像フレームを含む符号化動画像信号を復号する方法が提供される。符号化動画像信号は復号され、第１相関情報が取得される。この第１相関情報は、エンコーダで処理された動画像信号に基づいて、エンコーダ側で特定される。さらに、復号動画像信号の動画像フレームにおける画像領域が導出され、特定された画像領域ごとの第２相関情報が、復号動画像信号に基づいて予測される。特定された画像領域はフィルタリングされ、第１相関情報と第２相関情報とに基づいて、特定された画像領域のフィルタリングに用いられるフィルタ係数が算出される。

本発明の他の態様によれば、少なくとも１つの動画像フレームを含む入力動画像信号を符号化する装置が提供される。この装置は、入力動画像信号を符号化するビデオエンコーダと、符号化動画像信号を復号するビデオデコーダと、入力動画像信号と復号動画像信号とに基づいて、フィルタ係数を算出するための第１相関情報を特定する第１エスティメータとを備える。この装置は、第１相関情報をデコーダ側へ提供する能力を有する。この装置はさらに以下を備える。すなわち、動画像信号の動画像フレームにおける画像領域を特定する画像領域形成手段と、復号動画像信号に基づいて画像領域ごとの第２相関情報を予測する第２エスティメータと、画像領域をフィルタリングするフィルタと、第１相関情報と第２相関情報とに基づいて、フィルタ係数を算出する係数算出手段である。

本発明の他の態様によれば、少なくとも１つの動画像フレームを含む符号化動画像信号を復号する装置が提供される。この装置は、符号化動画像信号を復号するビデオデコーダを備え、このビデオデコーダは、エンコーダで処理された動画像信号に基づいて、エンコーダ側で特定される第１相関情報を取得する能力を備える。この装置はさらに以下を備える。すなわち、動画像信号の動画像フレームにおける画像領域を特定する画像領域形成手段と、復号動画像信号に基づいて画像領域ごとの第２相関情報を予測する第２エスティメータと、画像領域をフィルタリングするフィルタと、第１相関情報と第２相関情報とに基づいてフィルタ係数を算出する係数算出手段である。

本発明の実施形態において、第１相関情報は、入力動画像信号と復号動画像信号間の、相互相関ベクトルなどである第２の統計的モーメントの予測を含む。この情報を、フィルタ係数を算出するために有利に用いてもよい。復号動画像信号は、任意の復号ステップを経た後の動画像信号である。任意の復号ステップとは、例えば、逆量子化、逆変換、残差と予測信号を加算することによる再構築動画像信号の取得、フィルタリングなどである。

符号化動画像信号は、一般に、入力動画像信号と、入力信号を悪化させるノイズとが加算されたものである。ノイズは符号化ステップで生じる場合がある。したがって、例えば、符号化動画像信号にのみ関する部分や、ノイズ信号にのみ関する部分、またはその両方に関する部分を含む複数の部分において、相互相関ベクトルを分割してもよい。本発明の好ましい実施形態において、第１相関情報は、入力画像信号と復号画像信号間の、相互相関ベクトルの一部に関する予測を含む。デコーダ側ではこの情報を導出できないため、ノイズ信号に関する相互相関ベクトルの一部が提供されることが好ましい（ノイズ信号とは、符号化前の動画像信号つまりビデオエンコーダへの入力と、復号動画像信号との差分である）。このノイズ信号は、例えば、符号化ステップのうちの１つである動画像信号の量子化によって生じる量子化ノイズである。第１相関情報は、量子化ノイズの自己相関であってもよい。第２相関情報は、デコーダ側が予測することができる相互相関ベクトルの一部を含んでおり、復号動画像信号のみに関する。第２相関情報は、復号動画像信号の自己相関マトリクスを含む。

復号動画像信号の自己相関マトリクスと、入力動画像信号とそれに対応する復号動画像信号間の相互相関ベクトルの知識があれば、フィルタ係数を算出可能になる。本発明の好ましい実施形態によれば、ウィナーフィルタ設計にしたがって、つまり逆自己相関マトリクスと相互相関ベクトルの積として、フィルタ係数が算出される。

フィルタは、任意の復号ステップ後に適用することができる。フィルタリングは、再構築動画像信号の空間ドメインにおいて実施されることが好ましい。しかしながら、ハイブリッド符号化の場合は、フィルタリングを、例えば、復号残差（予測誤差信号）や、残差と予測信号とを加算して得られる再構築動画像信号や、フィルタリング済み再構築動画像信号へ適用してもよい。

第２の統計的情報が局所つまり画像領域ごとに予測される一方で、第１相関データが動画像フレームごとに提供されることが好ましい。または、第１相関情報は、画像領域ごとに予測され提供されてもよい。画像領域ごとの第１相関データを提供すれば、より正確に第１フィルタ係数を算出することができる。よって、特に、入力動画信号とノイズ間に非定常的な関係がある場合においては、フィルタリング後の画像の画質を改善することにつながる。しかしながら、符号化動画像データの伝送に必要な帯域も増加することになるため、符号化効率は下がる。第１相関情報を予測し提供するための他の解決策として、１つまたは複数の動画像フレーム内で複数の画像領域ごとに第１情報を提供することが考えられる。

本発明の他の好ましい実施形態によれば、予測タイプ、空間的予測タイプ、動きベクトル、量子化ステップなどの、符号化動画像データ内の動画像信号とともに信号送信された情報に基づいて、画像領域が特定される。一般に、信号送信された情報から画像領域を導出するには、演算量が少なく、かつ、エンコーダとデコーダとで同様に導出可能である必要がある。結果的に、追加的な情報を信号送信する必要はなくなる。または、画像領域を、復号動画像信号から特定された情報に基づいて導出することも可能である。例えば、符号化動画像信号の自己相関マトリクスの定義済み値や、自己相関マトリクス値の任意の関数を用いてもよい。画像領域をそのようにして導出すれば、信号送信された情報に頼る場合よりも柔軟性が高くなることがあり、類似した統計的特性を有する画像領域を特定するという所望のアプリケーションによりよく適合することがある。しかしながら、画像領域を、エンコーダで任意に特定してもよく、画像領域を示す情報を、第２の統計的情報とともにデコーダ側へ提供してもよい。デコーダは、この情報に基づいて画像領域を導出する。画像領域を導出するこの手法により、最高の柔軟性が提供される。

画像領域は、動画像符号化における異なる段階で用いられるブロックやマクロブロックなどの１つ以上の画像エレメントからなることが好ましい。しかしながら、画像領域は、符号化と復号のさまざまなステップにおいてビデオエンコーダとビデオデコーダでそれぞれ実施される画像分割とは無関係であってもよい。画像領域のサイズおよび形状は、画像領域が導出される方法次第で決まるものでもある。

本発明の好ましい実施形態において、ループフィルタ、ポストフィルタ、補間フィルタ、デブロッキングフィルタのうち少なくとも１つのフィルタ係数は、第１および第２相関データに基づいて算出される。一般に、本発明に準拠した局所適応的フィルタは、ループフィルタであってもよい。つまり、そのフィルタリング結果がメモリに格納され、予測のようなさらなる符号化ステップにおいて用いられてもよく、復号後の再構築信号にポストフィルタが適用されてもよい。

第１相関情報は、格納手段において格納されて提供されるか格納手段から抽出されて取得される、または、符号化動画像データ内の符号化動画像信号とともに伝送チャネルを通して送受信される。特に格納または伝送に必要な帯域を削減するために、第１の統計的情報をエントロピー符号化することもできる。順方向誤り訂正のような他の符号化を用いてもよい。

本発明の好ましい実施形態によれば、動画像信号は、Ｈ．２６４／ＡＶＣ標準規格に基づいて符号化され復号される。第１相関データは、特に、補助的拡張情報（ＳＥＩ）メッセージ内に格納される。しかしながら、本発明は、フィルタリングを用いる動画像符号化・復号標準規格のいずれにも適用可能である。例えば、ハイブリッド符号化に基づく、標準化された符号化・復号方法のいずれも用いることができる。それらは例えば、ＭＰＥＧ−Ｘ、Ｈ．２６Ｘ、ＪＰＥＧ２０００、Ｄｉｒａｃまたはそれらの拡張標準規格や、非標準化（特許化）符号化・復号方法である。

本発明の他の態様によれば、本発明を実行するよう適応させた、コンピュータで読み取り可能なプログラムコードが記録された、コンピュータで読み取り可能な媒体からなるコンピュータプログラム製品が提供される。

本発明の他の態様によれば、エンコーダ側からデコーダ側へ動画像信号を送信するためのシステムが提供される。このシステムは、上述のエンコーダと、符号化動画像信号を格納または送信するためのチャネルと、上述のデコーダとを備える。本発明の実施形態によれば、このチャネルは記憶手段に相当し、例えば、揮発性または非揮発性のメモリや、ＣＤ、ＤＶＤまたはＢＤのような光学または磁気記憶手段、ハードディスク、フラッシュメモリ、またはその他の記憶手段である。本発明の他の実施形態において、チャネルは伝送手段である。これは、インターネット、ＷＬＡＮ、ＵＭＴＳ、ＩＳＤＮ、ｘＤＳＬなどの標準化または特許化された伝送技術／システムに準拠した、無線システム、優先システム、またはその両方の組み合わせであるリソースによって形成可能である。

本発明の目的および特徴は、上記以外のものも含め、付随する図面を参照しながら以下に説明される記述および好ましい実施形態によりさらに明確になる。

本発明によれば、符号化側から復号側に送信される第１の相関データの算出頻度を低下させ、符号化側及び復号側双方で算出可能な第２の相関データの算出頻度を向上させたことにより、符号化効率が向上すると共に、適応的なフィルタ処理が可能となる。

図１は、従来の動画像符号化装置のブロック図である。 図２は、従来の動画像復号装置のブロック図である。 図３は、ウィナーフィルタ設計を説明する概略図である。 図４Ａは、符号化前に画像をブロックへ分割する例を説明する概略図である。 図４Ｂは、本発明に係る、サイズと形状が異なる画像領域の例を説明する概略図である。 図５Ａは、本発明に係る動画像符号化装置のブロック図である。 図５Ｂは、図５Ａに示す動画像符号化装置のフローチャートである。 図６Ａは、本発明に係る動画像復号装置のブロック図である。 図６Ｂは、図６Ａに示す動画像復号装置のフローチャートである。 図７は、ノイズ削減用ウィナーポストフィルタを用いる符号化システムを説明する図である。 図８は、ノイズ削減用ウィナーポストフィルタを用いる符号化システムを説明する図である。 図９は、画像をＬ＝３個の局所領域に分割した例を示す図である。 図１０は、本発明の実施形態に係るループフィルタを備えた動画像符号化装置のブロック図である。 図１１は、本発明の実施形態に係るポストフィルタを備えた動画像復号装置のブロック図である。 図１２は、本発明の他の実施形態に係る補間フィルタを備えた動画像符号化装置のブロック図である。 図１３は、本願の他の実施の形態に係る補間フィルタを備えた動画像復号装置のブロック図である。 図１４は、本発明に係るエンコーダおよびデコーダを備えたシステムの概略図である。 図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図１６は、本発明の各実施の形態に係る画像符号化方法及び画像復号方法を用いた携帯電話を示す図である。 図１７は、図１６に示す携帯電話のブロック図である。 図１８は、ディジタル放送用システムの全体構成図である。 図１９は、テレビの構成例を示すブロック図である。 図２０は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図２１は、ディスクである記録メディアの構造例を示す図である。 図２２は、各実施の形態の動画像符号化方法及び動画像復号方法を実現する集積回路の構成例を示すブロック図である。

本願の根底にある課題は、動画像シーケンスの画像、特に自然動画像シーケンスは非定常的、つまり統計的に異なるという観察に基づく。それゆえ、画像全体に同じフィルタを適用した場合、再構築画像の品質の観点から最適な結果を得られないことがある。

この課題を解決するために、本発明は以下を提供する。すなわち、動画像信号を、符号化する方法と、復号する方法と、符号化する装置と、復号する装置と、エンコーダ側からデコーダ側へ符号化動画像信号を送信するシステムである。さらには、これらの方法を実現するプログラムや集積回路を提供する。

上記の各方法、装置、及びシステムにおいて、フィルタリングは、局所適応的な方法でおこなわれ、動画像フレームの一部を形成する画像領域ごとに予測される相関データによって制御される。相関データは、復号動画像信号に基づくものである。また、フィルタ係数を算出するために、復号動画像信号と動画像復号装置側でのみ利用可能な動画像信号とに基づいて、動画像符号化装置側で特定された相関データが用いられる。この相関データは、動画像復号装置側へ提供される。局所的な適応の度合いやフィルタリング後の画質は、画像領域の決定方法とフィルタリングがおこなわれる画像領域のサイズおよび形状次第で決まる。

図４Ａは、典型的には符号化後におこなわれる、動画像フレーム４００の複数のブロック４０１への分割を説明する図である。Ｈ．２６４／ＡＶＣ符号化の場合、画像は１６×１６のマクロブロックに分割され、４×４画素または８×８画素のサブブロックへさらに分割されて変換されるか、４×４画素、８×８画素、１６×８画素などのサブブロックへさらに分割されて時間的予測に用いられる。

図４Ｂは、本発明に係る画像領域の４つの例を説明する図である。ここで、画像領域とは、動画像フレーム（ピクチャ）の一部を指す。一般に、図４Ａに示された符号化ステップのうちの１つにおいておこなわれる、画像エレメントへの基礎分割に位置合わせした画像領域としてもよい。

例示的な画像領域４１０ａは、マクロブロックか標準符号化ステップの１つにおいて用いられるブロックに相当する。他の例示的な画像領域４１０ｂは、長方形を構成する複数のマクロブロック又は複数のブロックからなる。他の例示的な画像領域４１０ｃは、任意の形状を構成する複数のブロック又は複数のマクロブロックからなる。たとえばＨ．２６４／ＡＶＣ標準規格における動画像符号化装置でスライシングがおこなわれる場合、画像領域はスライスに相当する。他の例示的な画像領域４１０ｄは、複数の画像サンプルからなる任意の形状を有する。つまり、画像領域の分割方法は、動画像符号化装置でおこなわれる基礎的な画像分割に位置合わせされたものである必要はない。

画像領域は、単一の画像画素（基本画像エレメント）で形成されてもよい。例示的な画像領域４１０ａ、４１０ｂ、４１０ｃ、４１０ｄは全て連続している。つまり、各画素は、同じ画像領域内に少なくとも１つの隣接画素を有する。しかしながら、本発明は、連続的でない画像領域にも適用可能である。本願においては、画像領域の特定の形状およびサイズが適切であるかどうかは、後述するように、動画像フレームの内容と画像領域の特定方法によって決まる。

（実施の形態１）
図５Ａは、本発明の実施の形態１に係る動画像符号化装置５００の概略説明図である。また、図５Ｂは、動画像符号化装置５００の動作を示すフローチャートである。なお、以下の説明では、処理対象として動画像信号の例を示すが、これに限ることなく、他の信号（例えば、静止画）を入力してもよい。動画像符号化装置５００は、図５Ａに示されるように、符号化部５１０と、復号部５２０と、フィルタ設計部５３０と、フィルタ５４０とを備える。

符号化部５１０は、入力信号（「符号化対象信号」ともいう。以下同じ。）を符号化する。入力信号は、典型的には、１枚のピクチャ（フレーム）を構成する信号である。なお、ここでの「符号化」とは、例えば、入力信号を量子化する処理を指す。より具体的には、入力信号から予測信号を減算して予測誤差信号を生成し、予測誤差信号をＤＣＴ変換し、さらに量子化して量子化係数を生成する処理を指す。

復号部５２０は、符号化部５１０によって符号化された信号を復号する。なお、ここでの「復号」とは、例えば、量子化係数を逆量子化する処理を指す。より具体的には、量子化係数を逆量子化し、さらにＤＣＴ逆変換して再構築信号を生成し、再構築信号に予測信号を加算して復号信号を生成する処理を指す。

フィルタ設計部５３０は、入力信号及び復号信号に基づいてフィルタ係数を算出する。具体的には、領域形成部５３２と、予測部５３４と、係数算出部５３６とを備える。

領域形成部５３２は、復号信号を複数の画像領域に分割する。画像領域の具体例は、既に図４Ａ及び図４Ｂを用いて説明しているので、ここでは省略する。また、分割方法の具体例は、後述する。

予測部５３４は、第１及び第２の相関データを予測する。第１の相関データは、入力信号と復号信号との相関を示す値である。この第１の相関データは、領域形成部５３２で決定された画像領域より大きな領域毎に予測される。一方、第２の相関データは、復号信号の空間的又は時間的な相関を示す値である。この第２の相関データは、領域形成部５３２で決定された画像領域毎に予測される。すなわち、第１の相関データの予測頻度は、第２の相関データより小さいことになる。

係数算出部５３６は、第１及び第２の相関データに基づいて、フィルタ係数を算出する。つまり、フィルタ係数は、領域形成部５３２で決定された画像領域毎に算出される。フィルタ係数の算出方法としては、例えば、第１及び第２の相関データから相互相関ベクトルと自己相関マトリクスとを算出し、相互相関ベクトルと自己相関マトリクスの逆数との積をフィルタ係数としてもよい。

フィルタ５４０は、フィルタ設計部５３０によって算出されたフィルタ係数を用いて、復号信号にフィルタ処理を施す。つまり、フィルタ５４０は、領域形成部５３２で決定された画像領域毎に、復号信号に対してフィルタ処理を施す。なお、フィルタ５４０の具体例としては、デブロッキングフィルタ、ループフィルタ、補間フィルタ等を挙げることができる。

なお、符号化部５１０で符号化された信号は、動画像復号装置５０１に出力される。同様に、予測部５３４で予測された相関データのうち、第１の相関データも動画像復号装置５０１に出力される。これらは、別々に出力されてもよいが、両者を合わせてエントロピー符号化してから出力してもよい。また、「出力」とは、通信回線等を介して動画像復号装置５０１に送信する場合のみならず、記録媒体に出力することをも含む。

次に、図５Ｂを参照して、動画像符号化装置５００の動作を説明する。

まず、動画像信号である入力信号（「符号化対象信号」ともいう。以下同じ。）は、符号化部５１０へ入力される（Ｓ１１）。ここで、符号化部５１０は、フィルタリングおよび／またはフィルタ係数の予測がおこなわれるドメインに応じて、ハイブリッド動画像符号化でおこなわれる符号化ステップのうち任意の１つまたは符号化ステップの組み合わせを実施してもよい。

言い換えれば、本発明においては、符号化部５１０は、入力動画像信号に対する符号化動画像信号を不可逆的に変化させる結果となる任意の符号化ステップである。したがって、本発明における入力信号は、動画像信号を表す任意のデータであってよい。例えば、符号化部５１０が図１に示される変換／量子化部１１０である場合、入力信号は残差（予測誤差信号）に相当する。残差とは、原動画信号と予測信号との差分である。

符号化部５１０は、時間的予測部および／または空間的予測部を含んでもよい。この場合、入力信号は、動画像フレームの画像サンプルからなる動画像信号に相当する。入力動画像信号のフォーマットは、符号化部５１０に対応するものであれば任意のものでよい。ここで、フォーマットとは、色空間およびサンプリング解像度を指す。サンプリング解像度は、フレームレートや空間におけるサンプルの配列および周波数をカバーする。サンプルには、グレイスケール画像かカラー画像の色成分のみの輝度値を含んでもよい。

復号動画像信号を得るために、符号化部５１０による符号化で得られた動画像データは、動画像符号化装置５００内の復号部５２０において復号される（Ｓ１２）。ここで、復号動画像信号は、上述の入力信号の例に相当する入力信号としての、同一ドメイン内の動画像信号を指す。この入力信号は、逆量子化／逆変換済み残差か再構築動画像サンプルである。

入力信号および復号信号はともに、フィルタ係数を算出するために必要な相関情報を予測する予測部５３４に入力される。この予測は、画像領域つまり動画像フレームの一部に対しておこなわれる。画像領域は、領域形成部５３２によって特定される。３つのステップ、すなわち、領域形成部５３２と、予測部５３４と、係数算出部５３６とで、本発明に係るフィルタ設計部５３０を構成する。算出されたフィルタ係数は、次に、特定された画像領域をフィルタ５４０でフィルタリングするために用いられる。

予測された相関情報の一部（第１の相関データ）は、動画像復号装置５０１側へ提供される。この相関情報の一部は、動画像復号装置５０１側で特定することができない部分であり、動画像符号化装置５００側でのみ利用可能な信号から得られる知識に頼る部分であることが好ましい。ここで、相関データは、入力信号および／または復号信号に関連する、自己相関、相互相関、自己共分散、相互共分散などの第２の統計的モーメントを任意の形で表現したものである。この相関データは、信号（入力信号または復号信号）のフォーマットに応じて異なる、関数、マトリクス、ベクトル、値などである。一般的に、フィルタ設計部５３０またはその任意の一部は、フィルタリングがおこなわれるドメインとは異なるドメインでおこなわれてもよい。

領域形成部５３２は、フィルタ設計部５３０の必須部分であって、復号信号を複数の画像領域に分割する（Ｓ１３）。フィルタリングの性能上、あるグループに属するエレメントは統計的に同じであることが理想的であるから、画像を基本画像エレメントのグループに細分化することが不可欠である。グループのサイズによって、局所適応処理単位（の細かさ）が決まる。本発明によると、画像のグループ分割は、固定的であっても適応的であってもよい。固定的分割の場合、各グループが単一の画像エレメントからなるならば、最終的な処理単位が得られる。

しかしながら、各画像エレメントごとに最適なフィルタ係数を算出することは、特に動画像復号装置５０１でおこなうとすれば、ややもすると複雑なタスクである。さらに、補助情報が信号送信されれば、動画像の符号化効率が削減される。それゆえ、特に同じような統計的特性を備えた複数の画像エレメントを含む画像は、複数の画像エレメントから画像エレメントグループを形成するには有益となりうる。特に、自然動画像シーケンスの変化する内容に応じて適応的に分割すれば有利である。

よって、適応的に分割した結果は、動画像符号化装置５００から信号送信してもよいし、動画像符号化装置５００及び動画像復号装置５０１それぞれで導出してもよい。符号化されて動画像符号化装置５００から動画像復号装置５０１へ送信される明示的な分割結果は、完全に階層的であるというメリットがある。つまり、画像エレメントを、特定の画像エレメントグループへ任意に割り当ててもよい。

一般に、画像領域を、基本ピクチャエレメントの一部として、任意の方法で特定してもよい。基本ピクチャエレメントは、画素、ブロック、およびマクロブロックの値であってもよい。その部分は連続していなくてもよい。画像の任意部分が送信されるならば、画像領域を特定する上で最大の柔軟性が提供される。動画像符号化装置５００で選択された画像領域を動画像復号装置５０１側に通知するためには、画像領域情報を提供しなければならない。画像領域情報は、例えば、画像領域が属する各基本画像エレメントごとに指定されたパターンを含んでもよい。しかしながら、例えば、定義済みパラメータセットを用いて領域の形状およびサイズを定義するなど他の記述も可能である。

他の可能性としては、クラスタリングなどのオブジェクト認識アルゴリズムによって画像を分割したり、オブジェクトに応じた画像領域を定義することが考えられる。画像領域情報は信号送信されてもよく、動画像復号装置５０１における分割と同様に分割されてもよい。動画像符号化装置５００と動画像復号装置５０１との両方で、同一の入力情報に基づいて同様に復号画像内の画像領域を特定できるようにすると有利である。この入力情報は、送信された符号化動画像信号と、その関連動画像データに含まれる任意の情報であってもよい。追加的な補助情報からではなく入力データから画像領域を導出すれば、信号送信時のオーバーヘッドを削減でき、符号化効率を高めることにつながる。定常性を有する可能性がある画像領域を特定するために画像領域を導出するパラメータが適切な方法で選ばれた場合、つまり本発明においては、フィルタリング性能は必ずしも悪化しない。

例えば、画像内の異なるオブジェクトに相当する、異なる動き部分に画像を分割するために動きベクトルを用いてもよい。なぜなら、そのようなオブジェクトは、定常性を有するか略定常性を有すると考えられるからである。または、予測タイプや量子化ステップサイズなどに関する情報を、分割のために用いることもできる。レート−歪み最適化に応じた符号化パラメータを選択済みの動画像符号化装置５００においては、特に、それらのパラメータは、画像内容の特性を確実に示すものである。

動画像符号化装置５００及び動画像復号装置５０１の両方で導出可能であるため、動画像符号化装置５００から動画像復号装置５０１へ送信する必要がないパラメータを用いて、画像を画像エレメントグループに分割してもよい。例えば、ローカル自己相関マトリクスのような画像エレメントの統計的特徴を直接的に用いてもよい。したがって、ある位置におけるローカル自己相関マトリクスのサイズに基づいて、画像エレメントを異なるグループに細分化してもよい。または、ローカル自己相関マトリクスエレメントの任意の関数を、画像エレメントを複数のグループに細分化するために用いてもよい。信号送信された動画像データの複数のパラメータおよび／または符号化動画像信号から直接的に導出された複数のパラメータを組み合わせることも、有益となる場合がある。

予測部５３４は、入力信号及び復号信号から第１及び第２の相関データを予測する（Ｓ１４）。具体的には、領域形成部５３２から、決定された画像領域情報か画像領域を決定可能にする情報を取得する。さらに、フィルタ５４０の設計を制御する統計的情報を導出するための復号動画像信号とともに、入力動画像信号を用いてもよい。本発明によれば、ローカル相関関数によってフィルタ設計が制御される。ローカル相関情報（第２の相関データ）は、画像領域ごとに、復号（符号化され復号された）動画像信号に基づいて特定される。

復号画像が双方で同じなら、つまり、動画像符号化装置５００側の復号部５２０と動画像復号装置５０１側の復号部５５０とが、同一の入力信号（画像領域）に対して同様の働きをするならば、同じローカル自己相関情報を、動画像復号装置５０１側の予測部５６４で導出してもよい。さらに、予測部５６４では、復号動画像信号と入力動画像信号とに基づいて、他の相関データ（第１の相関データ）も導出される。動画像復号装置５０１は入力信号を知らされていないため、この情報を動画像復号装置５０１側で同様に導出することはできない。それゆえ、本発明にしたがって、このデータは、動画像符号化装置５００から動画像復号装置５０１へ信号送信される。

係数算出部５３６は、予測部５３４で予測された第１及び第２の相関データに基づいてフィルタ係数を算出する（Ｓ１５）。そして、フィルタ５４０は、領域形成部５３２で決定された画像領域情報と、係数算出部５３６で算出されたフィルタ係数とを取得して、復号信号に対して、画像領域毎にフィルタ処理を施す。これにより、復号信号の主観的な画質が改善する。

図６Ａは、本発明の実施の形態１に係る動画像復号装置５０１の説明図である。図６Ｂは、動画像復号装置５０１の動作を示すフローチャートである。動画像復号装置５０１は、図６Ａに示されるように、復号部５５０と、フィルタ設計部５６０と、フィルタ５７０とを備える。

復号部５５０は、動画像符号化装置５００から取得した符号化信号を復号する。ここでの「復号」とは、例えば、量子化係数を逆量子化する処理を指す。より具体的には、量子化係数を逆量子化し、さらにＤＣＴ逆変換して再構築信号を生成し、再構築信号に予測信号を加算して復号信号を生成する処理を指す。

または、復号部５５０による処理に先立って、エントロピー復号処理を実施してもよい。例えば、動画像符号化装置５００において、量子化係数と第１の相関データとをエントロピー符号化して、符号化信号を生成した場合を考える。この場合、エントロピー復号部（図示省略）で符号化信号をエントロピー復号することによって、量子化係数と第１の相関データとを取得する。そして、量子化係数は復号部５５０に入力されて復号信号に変換され、第１の相関データは直接フィルタ設計部に入力されるようにしてもよい。

フィルタ設計部５６０は、動画像符号化装置５００から取得した第１の相関データと、復号部５５０によって生成された復号信号とに基づいてフィルタ係数を算出する。具体的には、領域形成部５６２と、予測部５６４と、係数算出部５６６とを備える。

領域形成部５６２は、図５Ａに示される領域形成部５３２と同様の方法で、復号信号を複数の画像領域に分割してもよい。または、画像領域情報を動画像符号化装置５００から取得する場合には、省略してもよい。予測部５６４は、図５Ａに示される予測部５３４と同様の方法で、第２の相関データを算出する。係数算出部５６６は、図５Ａに示される係数算出部５３６と同様の方法で、第１及び第２の相関データに基づいてフィルタ係数を算出する。

フィルタ５７０は、フィルタ設計部５６０によって算出されたフィルタ係数を用いて、復号信号にフィルタ処理を施す。つまり、フィルタ５７０は、領域形成部５６２で決定された画像領域毎に、復号信号に対してフィルタ処理を施す。なお、フィルタ５７０の具体例としては、デブロッキングフィルタ、ループフィルタ、補間フィルタ、ポストフィルタ等を挙げることができる。

次に、図６Ｂを参照して、動画像復号装置５０１の動作を説明する。

まず、符号化動画像信号は、復号部５５０へ送信されて復号される（Ｓ２１）。次に、復号動画像信号は、フィルタ設計部５６０へ送信される。領域形成部５６２は、復号動画像信号における画像領域を特定する（Ｓ２２）。追加的画像領域情報（図示しない）を、画像領域を特定するために、領域形成部５６２へ送信してもよい。第１の相関データが、動画像符号化装置５００側から取得される。画像領域の決定後、予測部５６４でローカル相関データ（第２の相関データ）が予測される（Ｓ２３）。

動画像符号化装置５００から取得した第１の相関データ及び予測部５６４で予測された第２の相関データは、次に、特定された画像領域のフィルタリングに用いられるフィルタ係数を算出する係数算出部５６６に送信される。係数算出部５６６は、取得した第１及び第２の相関データに基づいて画像領域毎にフィルタ係数を算出し、フィルタ５７０に提供する（Ｓ２４）。フィルタ５７０は、画像領域情報とフィルタ係数とを取得して、画像領域毎に復号信号に対してフィルタ処理を実行する。

動画像符号化装置５００と動画像復号装置５０１とが適合していれば、つまり、それらの対応する機能ブロックが同様の働きをし、かつ、同一の信号に対して同様の動作をすれば有利である。例えば、動画像符号化装置５００側の復号部５２０と、動画像復号装置５０１側の復号部５５０とが同じなら、かつ／または、動画像符号化装置５００の領域形成部５３２と予測部５３４と係数算出部５３６とが、動画像復号装置５０１の領域形成部５６２と予測部５６４と係数算出部５６６と適合していれば有利である。しかしながら、必ずしもそうでなくてもよい。

さらに、本発明の実施の形態１に係る動画像復号装置５０１は、一般に、ポストフィルタ設計がおこなわれる場合に第１の相関データが提供されるならば、Ｈ．２６４／ＡＶＣに基づく標準的な動画像符号化装置によって符号化された動画像信号に対して用いてもよい。よって、本発明の実施の形態１に係る動画像復号装置５０１によって復号される符号化データを符号化する動画像符号化装置５００は、動画像復号装置５０１で施されるようなフィルタリングを必ずしも施す必要はない。

動画像符号化装置５００側及び動画像復号装置５０１側の双方で導出可能な共通相関情報（第２の相関データ）は、例えば、復号（符号化された後に復号された）画像領域に基づく自己相関関数である。動画像符号化装置５００でのみ導出可能な相関情報（第１の相関データ）は、例えば、入力動画信号と復号動画信号間との相互相関に基づくものである。第１および第２相関のデータは、次に、係数算出部５３６、５６６でフィルタ係数を導出するために用いられる。続いて、本発明の好ましい実施形態を記載する。本実施形態においては、フィルタ係数は、ウィナーフィルタ係数として算出される。

画像領域の入力動画像信号は、ｓ_Lで表される。ここで、下付き文字_Lは、「ｌｏｃａｌ（ローカル）」の略である。入力動画像信号（「原画信号」ともいう。以下同じ）ｓ_Lは、ベクトルにおいて２次元の動画像信号を重ねることによって得られる１次元の信号であることが好ましい。ロスが多い圧縮方法を用いる符号化後の画像信号（「復号信号」ともいう。以下同じ。）ｓ_L’は、原画信号ｓ_Lと、量子化ノイズのような符号化／圧縮による悪化を示すノイズｎ_Lとの加算結果として表される。ノイズｎ_Lの量を削減するために、ウィナーフィルタが復号信号ｓ_L’に適用されて、フィルタリング済み信号ｓ_L’’が得られる。

ウィナーフィルタのフィルタ係数を得るために、まず、復号信号ｓ_L’の自己相関マトリクスが特定される。Ｍ×Ｍサイズの自己相関マトリクスＲ_Lを、対象画像領域と空間的および／または時間的に隣接する領域から具現化されたものを用いて予測してもよい。さらに、局所適応的ウィナーフィルタの係数を算出するためには、フィルタリング対象の（符号化され復号された）復号信号ｓ_L’と所望の信号（原画信号）ｓ_Lとの間のローカル相互相関ベクトルｐ_Lを予測しなければならない。ウィナーＨｏｐｆ等式システムを解くことにより、これらの係数を求めることができる。例えば、以下の式２により解が求められる。

ここで、Ｒ_L ^-1は、ローカル自己相関マトリクスＲ_Lの逆数を表す。パラメータＭは、ウィナーフィルタの桁を示す。

ローカル自己相関マトリクスＲ_Lは、ノイズｎ_Lを含む復号信号ｓ_L’を用いればよいため、動画像符号化装置５００及び動画像復号装置５０１の双方で特定することができる。一方、復号信号（フィルタリング対象信号）ｓ_L’と原画信号ｓ_Lとの間のローカル相互相関ベクトルｐ_Lは、原画信号ｓ_Lの知識が必要なため、動画像符号化装置５００でのみ算出されればよい。

本発明の実施の形態１によれば、ローカル相互相関ベクトルｐ_Lは、動画像符号化装置５００での導出後、符号化され、自己相関マトリクスＲ_Lが特定される画像領域ごとに、符号化動画像データとともに動画像復号装置５０１側に提供される。本実施の形態１は、画像特性に最大の柔軟性を持たせ、ひいては最高品質のフィルタリング済み画像を提供するものである。しかしながら、ローカル相互相関ベクトルｐ_Lが緩やかに異なる場合や、画像領域のサイズが小さくなるにつれて、信号送信時のオーバーヘッドが増加し、符号化効率が低下する場合がある。

また、フレーム（ピクチャ）毎に算出されたＫ個のローカル相互相関ベクトルｐ_L,k（ｋ＝１〜Ｋ）は、動画像復号装置５０１側へ提供される。動画像復号装置５０１では、各画像領域ごとに、Ｋ個のローカル相互相関ベクトルｐ_L,kのうち１つが選択される。一方、この選択は、例えば、各画像領域ごとに予測されるローカル自己相関マトリクスＲ_Lから別々に導出される。この目的で、ローカル自己相関マトリクスＲ_Lの特定エレメントの値またはそのエレメントの関数を用いてもよい。例えば、Ｋ個のローカル相互相関ベクトルｐ_L,kのそれぞれを、自己相関マトリクスＲ_Lの所定のエレメントの値の間隔ごとに関連付けてもよい。しかしながら、Ｋ個のローカル相互相関ベクトルｐ_L,kのうちの１つを、動画像データの一部として信号送信された情報に基づいて選択してもよい（この情報とは、例えば、画像領域を特定するためのパラメータ同様、予測タイプ、動き情報、量子化ステップなどである）。Ｋ個のローカル相互相関ベクトルｐ_L,kのうち選択された１つを、明示的に信号送信してもよい。

本発明の他の実施形態によれば、フレーム（ピクチャ）毎にただ１つのグローバル相互相関ベクトルｐのみを、動画像復号装置５０１側に提供してもよい。よって、送信されたグローバル相互相関ベクトルｐとローカル予測された自己相関マトリクスＲ_Lとを用いて、画像領域ごとにウィナーフィルタを特定してもよい。ウィナーフィルタ係数は、以下の式３で求められる。

グローバル相互相関ベクトルｐを与えても、送信される補助情報の量が削減されるだけである。同時に、自己相関マトリクスＲ_Lを局所的に算出することによって、局所適応性が得られる。

しかしながら、本発明の好ましい実施形態によれば、ローカル相互相関ベクトルｐ_Lはそれぞれ、式４のように２つの部分に分けられる。

ここで、第１の部分ｐ_L,S’は、フィルタリング対象の復号信号ｓ_L’の統計のみに基づき、第２の部分ｐ_nは、加算されたノイズ信号ｎの統計のみに基づく。ローカル相互相関ベクトルｐ_Lの細分化は、次に述べる前提のもとで可能である。

まず、ノイズ信号ｎ_Lと入力信号ｓ_Lとの相関は、次式５、６で示されるようにゼロである。

次に、加算されたノイズの統計は、次式７、８で示されるようにローカル画像領域とは無関係である。

ここで、ｓ_L（ｘ）は、確率的なローカル入力信号ベクトルｓ_L＝［ｓ_L（ｘ），ｓ_L（ｘ−１）〜ｓ_L（ｘ−Ｍ＋１）］のエレメントを表す。ｓ_L’（ｘ）は、確率的なローカルノイズ信号ベクトルｓ_L’＝［ｓ_L’（ｘ），ｓ_L’（ｘ−１）〜ｓ_L’（ｘ−Ｍ＋１）］のエレメントを表す。ｎ（ｘ）は、確率的なローカルノイズベクトルｎ＝［ｎ（ｘ），ｎ（ｘ−１）〜ｎ（ｘ−Ｍ＋１）］のエレメントを表す。ｎ_L（ｘ）は、確率的なローカルノイズベクトルｎ_L＝［ｎ_L（ｘ），ｎ_L（ｘ−１）〜ｎ_L（ｘ−Ｍ＋１）］のエレメントを表す。演算子Ｅは、期待値を表す。

Ｍ＝２桁のウィナーフィルタのローカルフィルタ係数ｗ_1,Lおよびｗ_2,Lは、次式９に示すようにウィナーＨｏｐｆ方程式を用いて算出される。

方程式をｓ_L（ｘ）＝ｓ_L’（ｘ）−ｎ_L（ｘ）で置換後の、ローカル相互相関ベクトルｐ_Lの第１の部分は、次式１０のように書ける。

同様に、ローカル相互相関ベクトルｐ_Lの第２の部分は、次式１１のようになる。

上述の前提を考慮すると、ローカル相互相関ベクトルｐ_Lは、最終的には、次式１２のようになる。

第１の部分ｐ_L,s'は、局所的に破損した復号信号ｓ_L'にのみに基づくため、動画像符号化装置５００側および動画像復号装置５０１側の双方で特定することができる。一方、第２の部分ｐ_L,nは、加算されたノイズ信号のみに基づく。この第２の部分は、動画像符号化装置５００側でのみ知られ、動画像復号装置５０１側では知られていない。それゆえ、この第２の部分は、符号化データとともに動画像復号装置５０１側へ提供されなければならない。

加算されたノイズの統計は、ローカル画像領域とは無関係という前提であるため、必ずしも各画像領域ごとにこの情報を提供する必要はない。相互相関ベクトルｐ_Lの当該部分は、フレーム（ピクチャ）ごとに１度提供されることが好ましい。上述のように、復号信号のみに関連する相互相関ベクトルｐ_Lの対応部分とともに、提供された加算ノイズの統計および測定されたローカル自己相関マトリクスＲ_Lを用いることにより、動画像符号化装置５００及び動画像復号装置５０１は、画像領域ごとにウィナーフィルタの最適係数を求めることができる。これらの最適係数を用いて、各画像領域がフィルタリングされる。

第２条件、すなわち、ローカル画像領域とは無関係な加算ノイズの統計が適用されない場合、ノイズの自己相関をより頻繁に予測して信号送信すれば有利である。次に、各ローカル相互相関ベクトルｐ_Lは、次式１３のように２つの部分に分割される。

ここで、ノイズｐ_L,nの自己相関も局所的である。ノイズと入力信号間との相関がゼロという前提も、分散値が小さく粗い量子化（高い量子化パラメータ値に相当するもの）がなされた画像信号の場合は特に、常に満たされるものではない。なぜなら、量子化によって画像信号の分散値が減少するからである。したがって、ノイズ信号は、画像信号そのものの部分を表す場合があり、相関が高いことがある。一方で、分散値が大きく細かく量子化された、信号対ノイズ比が高い画像信号の場合、ゼロ相関であるという前提は成り立つ。ノイズと入力信号がゼロ相関という前提でなければ、つまり、Ｅ［ｓ_L（ｘ）ｎ_L（ｘ）］及びＥ［ｓ_L（ｘ−１）ｎ_L（ｘ）］の値が予測されるなら、ローカルウィナー係数の算出においてさらなる改善が可能である。

予測後、それらを動画像復号装置５０１側へ提供してもよい。しかしながら、これら２項は、追加的な補助情報を交換することなく、動画像符号化装置５００及び動画像復号装置５０１で局所的に予測されることが好ましい。例えば、フィルタリング対象の復号信号の分散値などの統計に基づき、複数の量子化重みマトリクスと組み合わせた量子化パラメータなどの送信された量子化情報を用いて、これらを予測することができる。予測のため、さらなるパラメータを動画像符号化装置５００から動画像復号装置５０１へ送信してもよい。パラメータは、例えば、フィルタリング対象の復号信号の分散値に基づいて、２項の関数を定義してもよい。関数は、線形関数であってもよいし、そうでなくてもよい。

本発明の他の実施形態によれば、ノイズの自己相関関数ｐ_nは、（ローカルであれグローバルであれ、）重みマトリクスと組み合わせた量子化パラメータによって定義される周知の量子化ステップサイズを用いて予測される。１次元信号ｓ_L’（ｘ）の場合でＭ＝２であるとき、ローカル最小２乗平均誤差は、次式１４に示されるように、周知のｐ_nで求めることができる。

したがって、ローカルフィルタ係数を、動画像符号化装置５００側および動画像復号装置５０１側で補助情報を交換することなく算出してもよい。補助情報が提供されない場合、提供された補助情報に基づくフィルタ係数の算出に代わって、このようにして有益に算出することができる。

したがって、補助情報を交換することなく、局所フィルタ係数を動画像符号化装置５００側と動画像復号装置５０１側とで算出してもよい。補助情報が提供されない場合には、補助情報に基づいてフィルタ係数を算出する方法に代えて、この算出方法を有益に用いることができる。

本発明の他の実施形態によれば、以下に示す図７のブロック図にしたがったノイズ削減用ウィナーポストフィルタを用いる符号化システムが用いられる。次に挙げるような従来技術において、ポストフィルタは、次式１５にしたがった線形ウィナーフィルタである。

・Ｔ．Ｗｉｅｇａｎｄ、Ｇ．Ｓｕｌｌｉｖａｎ、Ｊ．Ｒｅｉｃｈｅｌ、Ｈ．Ｓｃｈｗａｒｚ、Ｍ．Ｗｉｅｎ、"合同草案 ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０／Ａｍｄ．３ Ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ（スケーラブル映像符号化）"（非特許文献３）、文献ＪＶＴ−Ｘ２０１、ＩＳＯ／ＩＥＣ ＭＰＥＧ＆ＩＴＵ−Ｔ ＶＣＥＧ ジョイントビデオチーム、スイス、ジュネーブ会議、２００７年６月２９日〜７月５日
・Ｓ． Ｗｉｔｔｍａｎｎ、Ｔ．Ｗｅｄｉ、"ＳＥＩ ｍｅｓｓａｇｅ ｏｎ ｐｏｓｔ−ｆｉｌｔｅｒ ｈｉｎｔｓ（ポストフィルタリングヒントに関するＳＥＩメッセージ）"（非特許文献４）、ジョイントビデオチーム(ＪＶＴ)、文献ＪＶＴ−Ｕ０３５、中国、杭州、２００６年１０月
・Ｓ．Ｗｉｔｔｍａｎｎ、Ｔ．Ｗｅｄｉ、手順書"Ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ Ｐｏｓｔ−Ｆｉｌｔｅｒ Ｈｉｎｔｓ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｃｈｅｍｅｓ（映像符号化用ポストフィルタリングヒントの伝送）"（非特許文献５）、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＥＥＥ画像処理に関する国際会議） （ＩＣＩＰ ２００７）、米国テキサス州サン・アントニオ、２００７年９月

ここで、ｓ’’（ｘ）は、位置ｘにおけるフィルタリング後の信号である。Ｋ個のフィルタ係数は、ａ₁，・・・，ａ_Kと表される。ｓ’（ｘ_k）は、Ｋ個の位置ｘ_kにおけるフィルタリング前の信号であり、フィルタリングプロセスで用いられる。ｓとｓ’’との間の平均２乗誤差の最小化（Ｅ［（ｓ’’−ｓ）²］→min）は、次に挙げる周知の式１６、１７、１８を導く。

ここで、Ｒ_s's'は、信号ｓ’の自己相関マトリクスであり、動画像符号化装置５００及び動画像復号装置５０１の双方で算出可能である。ベクトルａ→は、Ｋ個のフィルタ係数ａ₁，・・・，ａ_Kを含む。ここで、記号「→（ベクトル）」は、それぞれ直前の文字の上に付される記号を示し、本明細書では、以下、記号「→（ベクトル）」を同様な意味で使用する。ベクトルｋ→は、原画信号ｓと復号信号ｓ’との間の、Ｋ個の相互相関値を含む。この相互相関ベクトルｋ→は、動画像符号化装置５００のみが知っており、動画像復号装置５０１は知らないため、これらを動画像復号装置５０１へ送信する必要がある。

原画信号ｓは、復号信号ｓ’と、動画像符号化装置５００量子化プロセスで付加されたノイズｎとの加算結果として、次式１９のように表すことができる。

よって、図７における符号化器および復号器から出力される復号信号ｓ’は、原画信号ｓからノイズ信号ｎを減算することによって表すことができる。図７に示された符号化システムは、図８に示されるものへ変わる。ｓ＝ｓ’＋ｎで、上記相互相関ベクトルｋ→は、次式２０のように記すことができる。

上記式２０から分かるように、相互相関ベクトルｋ→は、ｒ→とｇ→との２つの部分に分けることができる。ｒ→は、動画像符号化装置５００及び動画像復号装置５０１の双方で算出可能である。よって、ｋ→の代わりにｇ→のみを送信することも可能である。これにより、最適フィルタ係数ａ→を次式２１から導出することができる。

自己相関マトリクスＲ_s's'の逆数で各辺を乗算すると、次式２２になる。

ここで、ある画像をＬ個の局所領域（画像領域）ｌ＝１，・・・，Ｌに分割すると仮定する。Ｌ＝３個の例を、図９に図示する。各局所領域に対し、領域ｌ内のサンプル数と画像全体のサンプル数との指数である確率Ｐ_lが次式２３のように関連付けられる。

各局所領域用の最適フィルタ係数を以下の式２４によって算出することができる。

なお、下付き文字ｌは当該領域を示す。また、局所適応フィルタリングには以下に述べる２つの解がある。

第１に、独立した各領域ｌ用の個別のフィルタ係数が符号化され送信される。これは、ａ→_lかｇ→_lを符号化し送信することによって実現可能である。グローバル適応的フィルタリングと比べ、符号化され送信されるデータ量は、係数Ｌで乗算される。

第２に、ｇ→_l=ｇ→ （Ａ^-1） ｌ＝１，・・・，Ｌと仮定する。なお、（Ａ^-1）は、全称量子化（ターンエー）を示す。この場合、ｇ→のみ符号化され、動画像符号化装置５００から動画像復号装置５０１へ送信される。グローバル適応的フィルタリングの場合と比べても、符号化され送信されるデータ量は同じである。式２４を用いて、局所適応的フィルタ係数が動画像符号化装置５００及び動画像復号装置５０１で算出される。グローバル適応的フィルタリングと比較した場合の局所適応的フィルタリングのメリットは、局所自己相関マトリクスＲ_s's',lの知識を、各局所領域に対して活用できることである。

動画像符号化装置５００は、上記解の最適ベクトルｇ→をどのようにして予測可能であるかについて、次に説明する。最適ベクトルｇ→とは、原画信号ｓと局所適応的にフィルタリングされた信号ｓ’’との間の平均２乗誤差を最小にするものである。最小平均２乗誤差Ｅ［（ｓ’’−ｓ）²］→minは、局所適応的フィルタリングの場合に、次式２５のように導かれる。

次式２６のようにショートカットが用いられる。

これらのショートカットを用いて、平均２乗誤差を次式２７、２８、２９，３０のように表すことができる。

最適ベクトルｇ→を算出するために、Ｋ個のＥ［（ｓ−ｓ’’）²］が次式３１、３２のように算出されて、ゼロへ設定される。

これにより、式３３が導かれる。

上記式３３から、最適ベクトルｇ→を、次式３４のように算出することができる。

動画像復号装置５０１は、次に述べる復号処理をおこなう必要があるだろう。まず、符号化最適ベクトルｇ→を復号する。次に、例えば、後述のセクションで説明する技術によって、復号画像をＬ個の局所領域に分割する。次に、Ｌ個の自己相関関数Ｒ_s's',l，・・・Ｒ_s's',Lを算出する。次に、式２４を用いて、インデックスｌ＝１，・・・，Ｌが付された各局所領域用の最適フィルタ係数ａ→_lを算出する。そして、インデックスｌ＝１，・・・，Ｌが付された各局所領域を、最適フィルタ係数ａ→_lを用いてフィルタリングする。

本発明の他の実施形態によれば、局所自己相関関数Ｒ_s's',Lに応じて、画像信号をＬ個の局所領域に分割する。この分割では、動画像符号化装置５００及び動画像復号装置５０１の双方で利用可能な情報のみが用いられる。この場合、動画像復号装置５０１は、追加的な補助情報なしで、動画像符号化装置５００がおこなった分割と同様の分割をおこなうことができる。

フィルタ係数の算出の際に局所自己相関関数Ｒ_s's',lをそのまま用いるため、この局所自己相関関数Ｒ_s's',lを、分割プロセスでも用いることが好ましい。一例として、ｌ_large＝１，・・・Ｌ_largeを用いて、画像を多くの（Ｌ_large＞＞Ｌ）小領域に分割することがあげられる。インデックスｌ_largeが付された各小領域用に、自己相関関数Ｒ_s's',llarge（「large」は「ｌ」の下付文字。以下同じ）が算出される。各局所自己相関関数Ｒ_s's',llargeの要素は、ベクトルとみなされる。ここで、ＬＢＧまたはＬｌｏｙｄアルゴリズムにしたがったベクトル量子化器用のコードブックが設計される。このコードブック設計において、種としてＲ_s's',llarge＝１，・・・，Ｒ_s's',Llargeから導出されたベクトルを用いて、Ｌ個の代表ベクトルが導出される。

次に、インデックスｌ_largeが付された各局所領域は、例えば、ベクトル要素つまり局所自己相関関数Ｒ_s's',lの要素間の平均２乗誤差などの算出結果を最小化することにより、インデックスｌが付された局所領域と関連付けられる。

この分割方法は、複数の局所領域の局所自己相関関数Ｒ_s's',lを、確実に大きく異ならせる。局所自己相関関数Ｒ_s's',lが大きく異なれば、大きく異なるフィルタ係数が導かれる。よって、符号化効率が最大限に向上する。

本発明の他の実施形態によれば、復号信号ｓ’は、局所予測タイプ、局所動きベクトルおよび／または量子化ステップに応じた、Ｌ個の局所領域に分割される。これらの情報はすべて、動画像符号化装置５００及び動画像復号装置５０１の双方に知られているため、ビットレートを増加させることなく用いることができる。

局所動きベクトルは、次に説明するように用いられる。復号信号ｓ’は、一般的にブロックに分割され、動きベクトルは各ブロックに付与される。例えば、動きベクトルの大きさが第１の閾値未満である小さい動きベクトルを有するブロックの全てで第１の局所領域を構成し、動きベクトルの大きさが第１の閾値以上、且つ第２の閾値（＞第１の閾値）未満である中程度の大きさの動きベクトルを有するブロックの全てで第２の局所領域を構成し、動きベクトルの大きさが第２の閾値以上である大きい動きベクトルを有するブロックの全てで第３の局所領域を構成してもよい。

これは、動きベクトルのサイズによる分類であろう。動きベクトルのサイズは、動きの絶対値を算出することによって導出することができる。この分類は、閾値演算によっておこなわれることが好ましい。例えば、ビットレートのラグランジアン・コストや平均２乗再構築誤差を最小化することによって、動画像符号化装置５００側で閾値を求めてもよい。

そして、それらを符号化して、動画像復号装置５０１へ送信してもよい。他の例として、動きベクトルをそれらの方向によって分類することがあげられる。各動きベクトルの方向を、角度によって表すことができる。この角度は、逆正接関数を用いたベクトルの空間的成分から算出できる。これらのベクトルは、閾値を用いて角度によって分類することができる。例えば、ビットレートのラグランジアン・コストや平均２乗再構築誤差を最小化することによって、動画像符号化装置５００側で閾値を求めてもよい。そして、それらを符号化し、動画像復号装置５０１へ送信してもよい。動きベクトルに応じて局所領域を形成するメリットは、局所画像の統計的特性は、類似した動きベクトルのブロック間で類似しているということである。

局所予測タイプは、次に説明するように用いられる。画像信号のすべてのブロックを、局所予測タイプによって分類する。このことが意味するのは、例えば、ある予測タイプを有する全てのブロックで第１の局所画像領域を構成し、他の予測タイプを有する全てのブロックで第２の局所画像領域を構成するということである。予測タイプに応じて局所領域を構成するメリットは、局所画像の統計的特性は、予測タイプが同一のブロック間で類似しているということである。なお、「予測タイプ」とは、イントラ予測（Ｉピクチャ）とインター予測との２種類としてもよいし、インター予測をＰピクチャ及びＢピクチャにさらに分類して、３種類（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）としてもよい。

局所量子化ステップサイズは、次に説明するように用いられる。画像信号のすべてのブロックを、局所量子化ステップサイズによって分類する。各局所領域に対する局所量子化ステップサイズは、動画像符号化装置５００から動画像復号装置５０１へ送信される。局所量子化ステップサイズは、原画信号に付加されて復号信号に現れる量子化ノイズに影響する。復号信号の統計的特性と最適ウィナーフィルタ係数は、付加された量子化ノイズに応じて決まるため、分類のために局所量子化ステップサイズを用いることは非常に有益である。このことが意味するのは、例えば、第１の量子化ステップサイズを有する全てのブロックで第１の局所画像領域を構成し、第２の量子化ステップサイズ（≠第１の量子化ステップサイズ）を有する全てのブロックで第２の局所画像領域を構成するということである。

本発明の好ましい実施形態によれば、本発明に準拠した動画像符号化装置５００及び動画像復号装置５０１は、Ｈ．２６４／ＡＶＣ標準規格に基づくものである。つまり、それらの動画像符号化装置５００及び動画像復号装置５０１は、発明の背景の項で説明したようなハイブリッド動画像符号化に基づくものである。それらの動画像符号化装置５００及び動画像復号装置５０１は、例えば、現在のＨ．２６４／ＡＶＣ標準規格の拡張標準規格や、将来の動画像符号化標準規格、Ｈ．２６４／ＡＶＣ符号化・復号の原理に基づく特許であってもよい。

Ｈ．２６４／ＡＶＣは、サイズが異なる複数のブロックに応用するため、異なる２つの逆量子化を採用している。すなわち、４×４および８×８逆変換である。逆変換は、ノイズの自己相関関数を定義する。ノイズ信号の個々の自己相関ベクトル（相互相関ベクトルの対応する項または相互相関ベクトル全体であってもよい）を予測し、かつ提供することも可能であるというメリットがある。個々の自己相関ベクトルのうち一方は、４×４変換で処理されるピクチャエレメント用に用いられ、他方は、８×８変換で処理されるピクチャエレメント用に用いられる。

ブロック、マクロブロック、グループのいずれかであるイントラ符号化ピクチャエレメントおよびインター符号化ピクチャエレメント用に、ノイズ信号の個々の自己相関ベクトルを提供し、かつ／または、予測するというメリットもある。ピクチャエレメントのタイプを考慮に入れて画像領域を決定してもよい。また、同じタイプ（インター／イントラ、Ｉ／Ｐ／Ｂ）のピクチャエレメントのみを含む画像領域であることというルールを適用してもよい。イントラ符号化およびインター符号化で用いられるさまざまなブロックサイズごとに、ノイズ信号の個々の自己相関ベクトルを提供し、かつ／または予測すれば、さらなる改良も可能である。

他の例として、大きな量子化誤差および小さな量子化誤差に関連付けられたピクチャエレメント用に、ノイズ信号の個々の自己相関ベクトルを提供し、かつ／または予測する例にもメリットがある。例えば、量子化予測誤差の（平均）値の間隔が複数であってもよく、各間隔ごとにノイズ信号の相関ベクトルを提供してもよい。

他の例としては、関連づけられた動きベクトルおよびその周囲の動きベクトルに応じて、ノイズ信号の個々の自己相関ベクトルを提供し、かつ／または予測する例にもメリットがある。関連付けられた動きベクトルがその周囲の動きベクトルと大きく異なる点は、前者がローカルオブジェクトのインジケータであるという点である。ローカルオブジェクトでは、通常、大きな予測誤差が生じ、量子化が粗ければ、大きな量子化誤差につながる。

なお、上記全ての例で述べた提供される情報は、ノイズの自己相関ベクトルである必要はない。上記情報は相互相関ベクトル全体であってもよいし、その中の任意の部分であってもよい。また、提供されたエレメントの数を、相関データのエレメントとともに信号送信してもよい。

動画像復号装置５０１側のために、動画像符号化装置５００側がフィルタ係数を算出するための補助情報（相互相関ベクトルまたはその部分）を提供する例は、上述の例に限られない。補助情報を提供する頻度は、定期的である必要はない。補助情報を予測する頻度と提供する頻度は、同じである必要はない。

本発明の他の実施形態によれば、補助情報は、画像領域ごとに予測される。動画像符号化装置５００は、伝送／格納に必要なレートを考慮して、補助情報を送信すればフィルタリング後の画像の画質を改善できるか否かを決定する能力を備えるレート−歪み最適化部をさらに備える。

レート−歪み最適化部は、相互相関ベクトルのどの部分を提供すべきか、つまり、互いに対応する項を含む部分を送信する必要があるか、それともノイズの自己相関に関する部分を送信すれば十分であろうかをさらに決定してもよい。この決定は、さまざまな方法で予測される相互相関ベクトルに基づいて算出された係数を用いたフィルタリングの結果を比較することによりおこなってもよいし、レート−歪み最適化に基づいておこなってもよい（相互相関ベクトルは、例えば、ノイズに関連する部分のみ、互いに対応する項、画像全体で共通の相互相関ベクトル、所定の相互相関ベクトルの組の中の相互相関ベクトルなど）。レート−歪み最適化部は、動画像符号化装置５００のレート−歪み最適化部の一部であってもよい。また、フィルタリングとは無関係なパラメータである、予測タイプや量子化ステップなど他のさまざまな符号化パラメータも最適化してもよい。

また、補助情報を送信するかどうかに関する決定は、ノイズの統計または信号に対するノイズの統計に基づいておこなってもよい。例えば、相互相関ベクトルのエレメントまたはその一部の値を閾値と比較して、比較結果に基づいて決定がなされてもよい。異なる画像領域間の統計変化に基づいて決定されてもよい。

復号動画像信号のみに基づくローカル相関データを予測するよりも少ない頻度で第１の相関データを送信すると、画像領域ごとにフィルタ係数を送信する場合よりも符号化効率を改善することができる。それと同時に、復号動画像信号のみに関連する第２の相関データを局所的に予測することにより、動画像の局所的な特性への適応が可能になり、非定常的な動画像信号の場合もフィルタリング性能を改善することができる。

上述したようなフィルタ設計部５３０、５６０によって算出されるフィルタ係数は、例えば、Ｈ．２６４／ＡＶＣにおいては、補間フィルタやポストフィルタ、デブロッキングフィルタまたはループフィルタのような他のフィルタに適用可能である。また、将来当該標準規格に導入される可能性があるか、標準化されることなく採用される可能性がある、そのようなフィルタにも適用可能である。

（実施の形態２）
図１０は、本発明の実施の形態２に係る、Ｈ．２６４／ＡＶＣ動画像符号化標準規格に基づいて改良した動画像符号化装置６００の説明図である。

動画像符号化装置６００は、図１０に示されるように、減算器１０５と、変換／量子化部１１０と、逆量子化／逆変換部１２０と、加算器１２５と、デブロッキングフィルタ１３０と、エントロピー符号化部１９０と、予測ブロック生成部（図示省略）とを備える。この動画像符号化装置６００は、画像を構成する符号化対象信号を複数のブロックに分割し、当該ブロックを順次符号化する。

減算器１０５は、符号化対象ブロック（入力信号）から予測ブロック（予測信号）を減算して予測誤差信号を生成する。変換／量子化部１１０は、予測誤差信号をＤＣＴ変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散コサイン変換）すると共に、量子化して量子化係数を生成する。エントロピー符号化部１９０は、量子化係数をエントロピー符号化して符号化信号を生成する。なお、量子化係数と共に、動き予測部１６５で生成される動き補償データや、ループフィルタ設計部６８０で算出される第１の相関データ等を含めてエントロピー符号化してもよい。

逆量子化／逆変換部１２０は、量子化係数を逆量子化すると共に、ＤＣＴ逆変換して量子化予測誤差信号を生成する。加算器１２５は、量子化予測誤差信号と予測ブロックとを加算して再構築信号を生成する。デブロッキングフィルタ１３０は、再構築信号からブロック歪みを除去して復号信号を生成する。

ループフィルタ６７０は、ループフィルタ設計部６８０で算出されるフィルタ係数等を用いて、復号信号にフィルタ処理を実行する。これにより、復号信号の主観的な画質が向上する。詳細は後述する。

予測ブロック生成部は、符号化対象ブロック（入力信号）より前に符号化された画像に基づいて、当該符号化対象ブロックを予測した予測ブロックを生成する。この予測ブロック生成部は、メモリ１４０と、補間フィルタ１５０と、動き補償予測部１６０と、動き予測部１６５と、イントラフレーム予測部１７０と、スイッチ１７５とによって構成されている。

メモリ１４０は、ループフィルタ６７０が適用された復号信号を一時記憶する遅延器として機能する。より具体的には、変換／量子化部１１０で量子化され、且つ逆量子化／逆変換部１２０で逆量子化され、デブロッキングフィルタ１３０及びループフィルタ６７０が適用されたたブロックを順次記憶し、１枚の画像（ピクチャ）を記憶する。

補間フィルタ１５０は、動き補償予測に先立って復号信号の画素値を空間的に補間する。動き予測部１６５は、復号信号と次の符号化対象ブロックとに基づいて動き予測を行い、動きデータ（動きベクトル）を生成する。動き補償予測部１６０は、復号信号と動きデータとに基づいて動き補償予測を行い、予測ブロックを生成する。

イントラフレーム予測部１７０は、復号信号を画面内予測して予測信号を生成する。スイッチ１７５は、予測モードとして「イントラ」モード及び「インター」モードのいずれかを選択する。そして、スイッチ１７５から出力される予測ブロックは、次の符号化対象ブロックを予測した信号となる。

図１０に示される動画像符号化装置６００は、図１に示される従来の動画像符号化装置１００と比較すると、ポストフィルタ設計部１８０の代わりにループフィルタ設計部６８０が備える点が異なる。また、ループフィルタ設計部６８０によって算出されたフィルタ係数を用いて、復号信号にフィルタ処理を施すループフィルタ６７０を備える。ループフィルタ設計部６８０は、図５Ａを参照して説明したフィルタ設計部５３０同様に動作し、領域形成部５３２と、予測部５３４と、係数算出部５３６とを備える。

フィルタ係数は、入力信号と復号信号とに基づいて算出され、ループフィルタ６７０へ送信される。ループフィルタ設計部６８０は、画像領域の分割に関する情報もループフィルタ６７０へ送信する。ループフィルタリング済み信号は、メモリ１４０に格納され、後続符号化画像を予測するための参照用に活用される。この例では、ループフィルタの設計のために用いられる復号動画像信号と入力動画像信号とは、画素ドメインに存在する。つまり、動画像信号の画素値を表す。しかしながら、ループフィルタ６７０および／またはループフィルタ設計部６８０は、予測誤差信号とそれに対応する量子化予測誤差信号に対し動作してもよい。なお、この例では、ポストフィルタ２８０の代わりにループフィルタ６７０を適用する場合であっても、一般には、ポストフィルタ２８０も備えておくと有利になる場合がある。

本実施の形態２における動画像復号装置６００側に提供されたループフィルタ情報は、ループフィルタ設計部６８０の予測部５３４によって特定される第１の相関データを含む。上述のように、第１の相関データは、入力動画像信号と復号動画像信号との両方に基づくものである。例えば、入力動画像信号と復号動画像信号間との差分として定義されるノイズの自己相関などである相互相関ベクトルまたはその一部を含んでもよい。

ここで、ループフィルタ情報は、信号送信に必要なオーバーヘッドを削減するために、量子化係数及び動きデータ等と共にエントロピー符号化部１９０によってエントロピー符号化される。符号化に用いられるエントロピー符号は、符号化動画像信号またはその復号に必要な補助情報に関連した情報エレメントを符号化するためにＨ．２６４／ＡＶＣにおいて用いられるエントロピー符号のうちの任意のものに相当する。この符号は、例えば、ゴロム符号、指数ゴロム符号、ユニタリー符号、エリアス符号など任意の整数可変長符号であればよい。値の発生確率にしたがって、符号語を相関データの値に割り当ててもよい。ハフマン符号、シャノン・ファノ符号、算術符号など特別に設計されたか文脈に応じて適応的にエントロピー符号化された符号を用いてもよい。また、相関データを、固定長符号を用いて送信してもよい。

図１１は、本発明の他の実施の形態２に係るポストフィルタリングを伴う動画像復号装置７００のブロック説明図である。

画像復号装置７００は、図１１に示されるように、エントロピー復号部２９０と、逆量子化／逆変換部２２０と、加算器２２５と、デブロッキングフィルタ２３０と、ポストフィルタ設計部７７０と、ポストフィルタ７８０と、予測ブロック生成部（図示省略）とを備える。この画像復号装置７００は、図１０に示される画像符号化装置６００で符号化された符号化信号を復号して復号ブロック（復号信号）を生成する。

エントロピー復号部２９０は、画像符号化装置６００から出力された符号化信号（入力信号）をエントロピー復号して、量子化係数、動きデータ、及び第１の相関データを取得する。

ポストフィルタ７８０は、例えば、ポストフィルタ設計部７７０で算出されたフィルタ係数を用いて、復号信号に適用されるウィナーフィルタであって、画像の主観的な画質を改善する。これらの詳細は後述する。

予測ブロック生成部は、メモリ２４０と、補間フィルタ２５０と、動き補償予測部２６０と、イントラフレーム予測部２７０と、スイッチ２７５とを備える。この予測ブロック生成部は、基本的な構成及び動作は図１０と共通するが、動き予測部１６５を省略して、動きデータをエントロピー復号部２９０から取得する点が異なる。

図１１に示される動画像復号装置７００は、図２に示される従来の動画像復号装置２００と比較して、さらにポストフィルタ設計部７７０を備える点が異なる。

ポストフィルタ設計部７７０は、図６Ａを参照して説明したフィルタ設計部５６０同様に動作し、領域形成部５６２と、予測部５６４と、係数算出部５６６とを備える。ポストフィルタ設計部７７０は、第１の相関データ（可能性として画像領域情報も）を含む信号送信されたポストフィルタ情報と復号動画像信号とに基づいて、領域形成部５６２が画像領域を特定し、予測部５６４がローカル相関データを予測し、予測結果に基づいて、係数算出部５６６がフィルタ係数を算出する。フィルタ係数は、次に、ローカルフィルタリングのための画像領域情報とともに、ポストフィルタ７８０へ提供される。画像領域情報は、フィルタ係数が適用される画像領域を示す。

なお、図１１に示される動画像復号装置７００は、ポストフィルタ設計部７７０及びポストフィルタ７８０に代えて、又はこれらに加えて、ループフィルタ設計部及びループフィルタを備えてもよい。このループフィルタ設計部は、第１の相関データを動画像符号化装置６００から取得する以外は、図１０に示されるループフィルタ設計部６８０と同様の処理を行う。または、ループフィルタは、図１０に示されるループフィルタ６７０と同様の処理を行う。

（実施の形態３）
本発明の他の実施の形態３によれば、補間フィルタを備える動画像符号化装置８００および動画像復号装置９００が提供される。図１２は、補間フィルタ及び設計部８５０を備える動画像符号化装置８００の説明図である。なお、上記の各実施の形態との共通点の詳しい説明は省略し、相違点を中心に説明する。

補間フィルタ及び設計部８５０は、図５Ａを参照して説明したフィルタ設計部５３０と同様に動作し、同様の構造を持つ。また、補間フィルタ及び設計部８５０は、図１０を参照して説明した補間フィルタ１５０と同様に動作し、同様の構造を持つ。つまり、補間フィルタ及び設計部８５０は、復号信号に補間フィルタ処理を実行すると共に、自らが使用するフィルタ係数を算出する機能を持つ。

補間フィルタ及び設計部８５０が局所的に特定した相関データは、フィルタ設計のために用いられ、相関データの一部は、エントロピー符号化部１９０へ送信されて、動画像復号装置９００側へ提供される。繰り返しになるが、相関データを符号化するために用いるエントロピー符号化は、Ｈ．２６４／ＡＶＣにおけるデータに対して用いられるエントロピー符号またはポストフィルタ情報と同様であってもよい。しかしながら、このデータの特性に対し、独立的・適応的にエントロピー符号を設計すれば有利になる場合もある。

図１３は、図６Ａを参照して説明したフィルタ設計部５６０と同様に動作する補間フィルタ設計部９５５を備えた動画像復号装置９００を説明する図である。なお、上記の各実施の形態との共通点の詳しい説明は省略し、相違点を中心に説明する。

補間フィルタ設計部９５５は、図６Ａを参照して説明したフィルタ設計部５６０と同様に動作し、同様の構造を持つ。つまり、第１の相関情報を含む補間フィルタ情報と、メモリ２４０からの復号動画像信号データとに基づき、ローカルフィルタ係数を特定し、画像領域情報とともに補間フィルタ９５０へ提供する。補間フィルタ９５０は、補間フィルタ設計部９５５から取得した情報を、メモリ２４０からの復号局所（画像領域）動画像信号をフィルタリングするために用いられる。

動画像復号装置９００のデブロッキングフィルタ２３０同様に、動画像符号化装置８００のデブロッキングフィルタ１３０を、本発明にしたがって、局所画像特性に対し適応的に、または、相関情報により制御して採用してもよい。

図１０〜図１３を参照して説明した動画像符号化装置６００、８００と、動画像復号装置７００、９００の２つの実施形態を組み合わせてもよい。また、補間フィルタとともに局所適応ループフィルタおよび／またはポストフィルタを備えた動画像符号化装置及び動画像復号装置を採用してもよい。共通フィルタ設計部を、異なる入力データに基づいて同様の演算（領域形成、予測、係数算出）をおこなうために用いてもよい。

図１４は、動画像符号化装置１００１側から動画像復号装置１００３側へ動画像信号を送信するシステムを説明する図である。入力画像信号は、動画像符号化装置１００１によって符号化され、チャネル１００２へ提供される。上述したように、動画像符号化装置１００１は、本発明の任意の実施形態に係る動画像符号化装置である。

チャネル１００２は、格納手段か伝送チャネルである。格納手段は、例えば、任意の揮発性または非揮発性メモリや、任意の磁気または光学媒体や、大容量格納手段などである。任意の伝送システムや、無線あるいは配線または固定的あるいは移動可能な、ｘＤＳＬ、ＩＳＤＮ、ＷＬＡＮ、ＧＰＲＳ、ＵＭＴＳ、Ｉｎｔｅｒｎｅｔのようなものや、標準化または特許化されたシステムの物理的リソースによって、伝送チャネルを形成してもよい。

動画像符号化装置１００１側は、符号化部以外にも、チャネル１００２を通して符号化動画像信号を伝送するフォーマットコンバータおよび／またはトランスミッタなどによる入力動画像信号の前処理や、符号化動画像信号を記録媒体に送信するためのアプリケーションを含んでもよい。符号化動画像信号は、チャネル１００２を通じて動画像復号装置１００３によって取得される。

上述したように、動画像復号装置１００３は、本発明の任意の実施形態に係る動画像復号装置である。動画像復号装置１００３は、符号化動画像信号を復号する。動画像復号装置１００３側は、復号部以外にも、さらに、伝送チャネルからの符号化動画像信号または格納手段からの符号化動画像データを抽出するためのアプリケーションを受信するレシーバと、さらに／または、フォーマット変換など復号動画像信号の後処理をおこなう後処理手段を備えてもよい。

本発明の他の実施形態は、ハードウェアおよびソフトウェアを用いる、上述のさまざまな実施形態の実施態様に関連するものである。本発明のさまざまな実施形態は、演算装置（プロセッサ）を用いて実現され実施されると分かる。演算装置またはプロセッサは、例えば、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、アプリケーション用集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または、プログラマブルロジックデバイスなどであってもよい。本発明のさまざまな実施形態は、それらの装置を組み合わせて実施または具現化されてもよい。

さらに、本発明のさまざまな実施形態を、プロセッサまたはハードウェア内で直接的に実行されるソフトウェアモジュールを用いて実現してもよい。ソフトウェアモジュールとハードウェアの実施態様を組み合わせることも可能であろう。例えばＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、レジスタ、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤなど、任意の種類のコンピュータで読み取り可能な記憶媒体にソフトウェアモジュールを格納してもよい。

Ｈ．２６４／ＡＶＣに基づく動画像符号化システムに関連して上述の例の大半を概要説明した。用語は、主として、Ｈ．２６４／ＡＶＣの用語に関連したものである。しかしながら、Ｈ．２６４／ＡＶＣに基づく符号化に対するさまざまな実施形態の用語および記述は、本発明の原理および考えを、当該システムに限定することを意図しない。Ｈ．２６４／ＡＶＣ標準規格に準拠した符号化および復号に関する詳細な説明は、ここで説明した例示的な実施形態についての理解を深めることを意図しており、動画像符号化におけるプロセスおよび機能を、説明した特定の実施態様に本発明が限定されるように理解されるべきではない。一方、ここで提案した改良策は、動画像符号化において容易に応用可能であろう。さらに、本発明のコンセプトは、ＪＶＴによって現在討議されているＨ．２６４／ＡＶＣの拡張符号化においても容易に利用可能であろう。

要約すると、本発明は、局所相関データにより制御された局所適応的フィルタリングを用いて動画像信号を符号化する方法と、復号する方法と、符号化する装置と、復号する装置とを提供する。まず、相関データは、動画像符号化装置で予測され、動画像復号装置側へ提供される。予測は、入力動画像信号と復号動画像信号とに基づいてなされる。さらに、動画像フレームの一部である画像領域が特定され、特定された画像領域用に、復号動画像信号に基づいて第２相関データが予測される。第１および第２の相関データは、フィルタ係数の算出に用いられる。局所的に特定されたフィルタ係数にしたがって、この画像領域はフィルタリングされる。よって、本発明に係る符号化および復号は、動画像の局所的な特性に応じてフィルタリングを適応させる能力を備え、これによりフィルタリング性能を改善する。第１の相関データを画像領域ごとに送る必要がないので、符号化効率も改善する。

（実施の形態４）
上記各実施の形態で示した動画像符号化方法又は動画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法や動画像復号方法の応用例とそれを用いたシステムを説明する。

図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２及び電話網ｅｘ１０４、及び基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図１５のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はディジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はディジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、又はＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像及び／又は動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

このコンテンツ供給システムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。

その一例として携帯電話ｅｘ１１４について説明する。

図１６は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１４について図１７を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２及び操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６及び音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。

電源回路部ｅｘ７１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ６０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データをカメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３及びＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。

画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を音声処理部ｅｘ７０５を介してディジタルの音声データとして多重分離部ｅｘ７０８に送出する。

多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。

また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。

次に、画像復号部ｅｘ７０９は、本願発明で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１８に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データ又はそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ２０４で受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置によりビットストリームを復号してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の記録メディアｅｘ２１５、２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で放送衛星ｅｘ２０２からまたは基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した画像データと、音声データが多重化された符号化ビットストリームを読み取り復号する、又は記録メディアｅｘ２１５に画像データと、音声データを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号装置又は動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３又は衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号装置を組み込んでもよい。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データ又はそれらのデータが多重化された符号化ビットストリームを読み取り復号する、又は記録メディアｅｘ２１５に音声データ、映像データ又はそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号装置又は動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３又は衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号装置を組み込んでもよい。

図１９は、上記各実施の形態で説明した動画像復号方法及び動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４又はケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、又は出力するチューナｅｘ３０１と、受信した符号化データを復調する、又は外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、又は符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、又はそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信又は記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、及び外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、又は書き込む場合には、上記復号処理又は符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込み又は書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２０に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報及び記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図２１に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周又は外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データ又はそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、ディジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で放送衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図１９に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明は係る上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。

（実施の形態５）
上記各実施の形態で示した動画像符号化方法及び装置、動画像復号方法及び装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図２２に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化及び／又は映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、又は記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して、又は記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号及び／又は映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５、テレビｅｘ３００等の各出力部から出力される。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。また、上記の各実施の形態は、任意に組み合わせることができるものとする。

本発明は、画像符号化方法及び画像復号方法に有利に利用される。

１００，５００，６００，８００，１００１ 動画像符号化装置
１０５ 減算器
１１０ 変換／量子化部
１２０，２２０ 逆量子化／逆変換部
１２５，２２５ 加算器
１３０，２３０ デブロッキングフィルタ
１４０，２４０ メモリ
１５０，２５０，９５０ 補間フィルタ
１６０，２６０ 動き補償予測部
１６５ 動き予測部
１７０，２７０ イントラフレーム予測部
１７５，２７５ スイッチ
１８０，７７０ ポストフィルタ設計部
１９０ エントロピー符号化部
２００，５０１，７００，９００，１００３ 動画像復号装置
２８０，７８０ ポストフィルタ
２９０ エントロピー復号部
３００ ウィナーフィルタ
４００ 動画像フレーム
４０１ ブロック
４１０ａ，４１０ｂ，４１０ｃ，４１０ｄ 画像領域
５１０ 符号化部
５２０，５５０ 復号部
５３０，５６０ フィルタ設計部
５３２，５６２ 領域形成部
５３４，５６４ 予測部
５３６，５６６ 係数算出部
５４０，５７０ フィルタ
６７０ ループフィルタ
６８０ ループフィルタ設計部
８５０ 補間フィルタ及び設計部
９５５ 補間フィルタ設計部
１００２ チャネル

Claims (15)

1. 画像を構成する符号化対象信号を符号化する画像符号化方法であって、
   前記符号化対象信号を量子化して量子化係数を算出する量子化ステップと、
   前記量子化係数を逆量子化して復号信号を生成する逆量子化ステップと、
   前記復号信号を複数の画像領域に分割する領域形成ステップと、
   前記領域形成ステップで分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成ステップで特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測ステップと、
   前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出ステップと、
   前記フィルタ係数算出ステップで算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタリングステップと、
   前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力ステップとを含む
   画像符号化方法。
2. 前記フィルタ係数算出ステップでは、前記符号化対象信号及び前記符号化信号の間の相互相関ベクトルと、前記復号信号の自己相関マトリクスとに基づいて、前記フィルタ係数を算出し、
   前記相互相関ベクトルは、前記復号信号の自己相関を示す第１の部分と、量子化ノイズの自己相関を示す第２の部分とで構成され、
   前記第１の相関データは、前記第１及び第２の部分のうち、前記第２の部分のみを含み、
   前記第２の相関データは、前記第１の部分と、前記自己相関ベクトルとを含む
   請求項１に記載の画像符号化方法。
3. 該画像符号化方法は、前記符号化対象信号を複数のブロックに分割し、当該ブロック毎に符号化する方法であり、
   前記領域形成ステップでは、前記ブロック毎に決定される量子化ステップ、予測タイプ、及び動きベクトルの少なくとも１つに基づいて、前記復号信号を前記複数の画像領域に分割する
   請求項１に記載の画像符号化方法。
4. 前記フィルタリングステップでは、隣接する前記ブロックの境界に生じるブロック歪みを除去するデブロッキングフィルタ処理、前記復号信号の主観的な画質を改善するためのループフィルタ処理、及び前記復号信号の画素値を空間的に補間する補間フィルタ処理の少なくとも１つが実行される
   請求項３に記載の画像符号化方法。
5. 前記予測ステップでは、前記符号化対象信号毎に前記第１の相関データを算出する
   請求項１に記載の画像符号化方法。
6. 前記出力ステップは、前記量子化係数と、前記第１の相関データとをエントロピー符号化して符号化信号を出力するエントロピー符号化ステップである
   請求項１に記載の画像符号化方法。
7. 符号化された画像を復号する画像復号方法であって、
   量子化係数、及び符号化対象信号と復号信号との相関を示す第１の相関データを取得する取得ステップと、
   前記量子化係数を逆量子化して前記復号信号を生成する逆量子化ステップと、
   前記復号信号を複数の画像領域に分割する領域形成ステップと、
   前記領域形成ステップで特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測ステップと、
   前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出ステップと、
   前記フィルタ係数算出ステップで算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタリングステップとを含む
   画像復号方法。
8. 前記フィルタリングステップでは、隣接する前記ブロックの境界に生じるブロック歪みを除去するデブロッキングフィルタ処理、前記復号信号の主観的な画質を改善するためのポストフィルタ処理、及び前記復号信号の画素値を空間的に補間する補間フィルタ処理の少なくとも１つが実行される
   請求項７に記載の画像復号方法。
9. 画像を構成する符号化対象信号を符号化する画像符号化装置であって、
   前記符号化対象信号を量子化して量子化係数を算出する量子化部と、
   前記量子化係数を逆量子化して復号信号を生成する逆量子化部と、
   前記復号信号を複数の画像領域に分割する領域形成部と、
   前記領域形成部で分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、
   前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、
   前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部と、
   前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力部とを備える
   画像符号化装置。
10. 符号化された画像を復号する画像復号装置であって、
    量子化係数、及び符号化対象信号と復号信号との相関を示す第１の相関データを取得する取得部と、
    前記量子化係数を逆量子化して前記復号信号を生成する逆量子化部と、
    前記復号信号を複数の画像領域に分割する領域形成部と、
    前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、
    前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、
    前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部とを備える
    画像復号装置。
11. 画像を構成する符号化対象信号を符号化する画像符号化装置と、符号化された画像を復号する画像復号装置とを備えるシステムであって、
    前記画像符号化装置は、
    前記符号化対象信号を量子化して量子化係数を算出する量子化部と、
    前記量子化係数を逆量子化して復号信号を生成する逆量子化部と、
    前記復号信号を複数の画像領域に分割する領域形成部と、
    前記領域形成部で分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、
    前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、
    前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部と、
    前記量子化係数と、前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力部とを備え、
    前記画像復号装置は、
    量子化係数、及び前記第１の相関データを取得する取得部と、
    前記量子化係数を逆量子化して前記復号信号を生成する逆量子化部と、
    前記復号信号を複数の画像領域に分割する領域形成部と、
    前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、
    前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、
    前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部とを備えるシステム。
12. コンピュータに、画像を構成する符号化対象信号を符号化させるプログラムであって、
    前記符号化対象信号を量子化して量子化係数を算出する量子化ステップと、
    前記量子化係数を逆量子化して復号信号を生成する逆量子化ステップと、
    前記復号信号を複数の画像領域に分割する領域形成ステップと、
    前記領域形成ステップで分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成ステップで特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測ステップと、
    前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出ステップと、
    前記フィルタ係数算出ステップで算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタリングステップと、
    前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力ステップとを含む
    プログラム。
13. コンピュータに、符号化された画像を復号させるプログラムであって、
    量子化係数、及び符号化対象信号と復号信号との相関を示す第１の相関データを取得する取得ステップと、
    前記量子化係数を逆量子化して前記復号信号を生成する逆量子化ステップと、
    前記復号信号を複数の画像領域に分割する領域形成ステップと、
    前記領域形成ステップで特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測ステップと、
    前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出ステップと、
    前記フィルタ係数算出ステップで算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタリングステップとを含む
    プログラム。
14. 画像を構成する符号化対象信号を符号化する集積回路であって、
    前記符号化対象信号を量子化して量子化係数を算出する量子化部と、
    前記量子化係数を逆量子化して復号信号を生成する逆量子化部と、
    前記復号信号を複数の画像領域に分割する領域形成部と、
    前記領域形成部で分割された前記画像領域より大きな領域毎に前記符号化対象信号及び前記復号信号の相関を示す第１の相関データを予測すると共に、前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、
    前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、
    前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部と、
    前記第１及び第２の相関データのうち、前記第１の相関データのみを出力する出力部とを備える
    集積回路。
15. 符号化された画像を復号する集積回路であって、
    量子化係数、及び符号化対象信号と復号信号との相関を示す第１の相関データを取得する取得部と、
    前記量子化係数を逆量子化して前記復号信号を生成する逆量子化部と、
    前記復号信号を複数の画像領域に分割する領域形成部と、
    前記領域形成部で特定された前記画像領域毎に前記復号信号自体の相関を示す第２の相関データを予測する予測部と、
    前記第１及び第２の相関データに基づいて、前記画像領域毎にフィルタ係数を算出するフィルタ係数算出部と、
    前記フィルタ係数算出部で算出された前記フィルタ係数を用いて、前記画像領域毎に前記復号信号をフィルタリングするフィルタ部とを備える
    集積回路。

Images