JPWO2010061607A1 - 動画像復号方法、動画像符号化方法、動画像復号装置、動画像符号化装置、プログラム、及び集積回路 - Google Patents

Abstract

動画像復号方法は、符号化信号及びフィルタ情報を取得するステップと、符号化信号を復号して復号信号を生成するステップ（Ｓ２１）と、動画像信号を符号化する過程で重畳されたノイズを、周波数領域の前記復号信号の周波数成分毎に除去するフィルタ処理を、フィルタ情報を用いて周波数領域の復号信号に適用するステップ（Ｓ２２）とを含む。そして、フィルタ情報は、周波数領域の前記動画像信号と、フィルタ処理が適用された後の周波数領域の復号信号との平均二乗誤差を最小にするための情報を含む。

Description

本発明は、動画像信号をフィルタリングするためのフィルタを用いて動画像を符号化および復号する方法および装置に関する。

現在、標準的な動画像符号化アルゴリズムの大多数はハイブリッド動画像符号化に基づくものである。典型的には、ハイブリッド動画像符号化方法は、所望の圧縮成果を達成するために、それぞれ異なるロスが生じない圧縮方式とロスが生じる圧縮方式とを組み合わせたものである。ハイブリッド動画像符号化は、ＩＳＯ／ＩＥＣ標準規格（ＭＰＥＧ‐１、ＭＰＥＧ‐２、ＭＰＥＧ‐４のようなＭＰＥＧ−Ｘ標準規格）と同様に、ＩＴＵ‐Ｔ標準規格（Ｈ．２６１やＨ．２６３のようなＨ．２６ｘ標準規格）の基礎でもある。最新の動画像符号化標準規格は、Ｈ．２６４／ＭＰＥＧ‐４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と称されるものである。これは、ジョイントビデオチーム（ＪＶＴ）およびＩＴＵ‐ＴとＩＳＯ／ＩＥＣ ＭＰＥＧグループとのジョイントチームによる標準化活動の成果である。

エンコーダへ入力される動画像信号は、フレーム（又はピクチャ）と呼ばれる画像のシーケンスであり、各フレームは２次元マトリクスの画素からなる。ハイブリッド動画像符号化に基づく上述の標準規格の全てにおいて、個々の動画像フレームは複数の画素からなる小ブロックへ細分化される。典型的には、マクロブロック（通常は１６×１６画素ブロックを意味する）が基本的な画像エレメントであり、これに対して符号化がおこなわれる。しかしながら、より小さい画像エレメントに対してさまざまな特定の符号化ステップがおこなわれる場合がある。例えば、８×８、４×４、１６×８などのサイズのサブマクロブロックや単なるブロックが挙げられる。

典型的には、ハイブリッド動画像符号化における符号化ステップには、空間的および／または時間的予測が含まれる。したがって、各符号化対象ブロックは、まず、既に符号化された動画像フレームから空間的に隣接したブロックか時間的に隣接したブロックかを用いて予測される。符号化対象ブロックと予測残差とも呼ばれる予測結果との差分ブロックが、次に求められる。次の符号化ステップでは、残差ブロックが空間（画素）領域から周波数領域へ変換される。変換の目的は、入力ブロックの冗長性を削減することである。次の符号化ステップにおいて、変換係数が量子化される。このステップにおいて、実質的にロスが生じる（不可逆的な）圧縮がおこなわれる。通常、圧縮変換係数値は、エントロピー符号化によって（ロスを生じさせずに）さらに圧縮される。さらに、符号化動画像信号を再構築するために必要な補助情報が符号化され、符号化動画像信号とともに提供される。この情報は、例えば、空間的および／または時間的予測や量子化量に関するものである。

図１は、Ｈ．２６４／ＭＰＥＧ ＡＶＣ標準規格に準拠した、典型的な動画像符号化装置（「エンコーダ」ともいう。以下同じ。）１００の一例を示す。Ｈ．２６４／ＭＰＥＧ ＡＶＣ標準規格は、上述の符号化ステップの全てを組み合わせたものである。減算器１０５は、まず、動画像（入力信号）の対象ブロック（符号化対象ブロック）と、対応する予測ブロック（予測信号）との差分を特定する。

時間的予測ブロックは、メモリ１４０に格納されている符号化画像から得られるブロックである。空間的予測ブロックは、符号化されてメモリ１４０に格納された隣接ブロック内の境界画素の画素値から補間される。よって、メモリ１４０は、対象信号値と過去の信号値から生成された予測信号とを比較する遅延手段として動作する。メモリ１４０は、複数の符号化動画像フレームを格納可能である。

入力信号と予測信号との差分は予測誤差または残差と称され、変換／量子化部１１０によって変換され量子化される。ロスが生じない方法でデータ量をさらに削減するために、エントロピー符号化部１９０によって量子化係数がエントロピー符号化（「可変長符号化」ともいう。以下同じ。）される。具体的には、値の発生確率に基づいて長さが決められる複数の符号語を用いる可変長符号化によりデータ量が削減される。

Ｈ．２６４／ＭＰＥＧ ＡＶＣ標準規格には、動画像符号化層（ＶＣＬ）とネットワーク抽象レイヤ（ＮＡＬ）という２つの機能層が備えられている。ＶＣＬは、既に簡単に触れた符号化機能を提供する。ＮＡＬは、チャネル上伝送や格納手段への格納といった、さらなるアプリケーションにしたがって、動画像の復号時に必要な補助情報とともに符号化予測誤差信号を、ＮＡＬユニットと呼ばれる標準単位にカプセル化する。圧縮動画像データおよびその関連情報を含むＶＣＬ ＮＡＬユニットと呼ばれるものがある。

一方、付加データをカプセル化する非ＶＣＬユニットと呼ばれるものもある。付加データは、例えば、動画像シーケンス全体に関するパラメータセットや、ポストフィルタヒントのような復号性能を改善するために用いることができる付加情報を提供する、最近追加された補助的拡張情報（ＳＥＩ）などである。

動画像符号化装置１００内に、復号動画像信号を取得する復号手段が備えられる。符号化ステップに準拠して、復号ステップには逆量子化／逆変換部１２０での処理が含まれる。復号予測誤差信号は、量子化ノイズとも呼ばれる量子化誤差が原因で原予測誤差信号とは異なる。加算器１２５によって復号予測誤差信号を予測信号に加算することにより、再構築信号が取得される。エンコーダ側とデコーダ側の互換性を保つために、符号化された後に復号された動画像信号に基づいて、双方に知られる予測信号を求める。量子化によって、量子化ノイズが再構築動画像信号に重畳される。

ブロック単位での符号化により、重畳されたノイズはしばしば、ブロッキング特性を有し、特に強い量子化がおこなわれた場合は、復号画像のブロック境界が目立つ結果になる。ブロッキングアーチファクトは、人間の視覚的認識上マイナスの効果がある。アーチファクトを削減するために、再構築画像ブロックごとにデブロッキングフィルタ１３０が適用される。デブロッキングフィルタ１３０は、予測信号と復号予測誤差信号との加算結果である再構築信号に適用される。デブロッキング後の動画像信号は、通常は（ポストフィルタリングが適用されなければ）デコーダ側で表示される復号信号である。

Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタ１３０は、局所的に適用可能なものである。ブロッキングノイズの程度が高い場合は、強い（帯域幅が狭い）ローパスフィルタが適用され、ブロッキングノイズの程度が低い場合は、弱い（帯域幅が広い）ローパスフィルタが適用される。デブロッキングフィルタ１３０は、通常、ブロックのエッジを平滑化して復号画像の主観的画質を改善する。さらに、画像内のフィルタリング済みの部分が次の画像の動き補償予測に用いられるため、フィルタリングによって予測誤差が削減され、符号化効率を改善することができる。復号動画像信号は、次にメモリ１４０に格納される。

Ｈ．２６４／ＡＶＣにおける予測信号は、時間的予測か空間的予測によって取得される。予測タイプは、マクロブロック単位で異ならせることができる。時間的予測で予測されたマクロブロックは、インター符号化マクロブロックと呼ばれ、空間的予測で予測されたマクロブロックは、イントラ符号化マクロブロックと呼ばれる。

ここで、「インター」という用語は、インターピクチャ予測、つまり先行フレームか後続フレームから得られた情報を用いる予測に関する。「イントラ」という用語は、空間的予測、つまり対象動画像フレーム内で既に符号化された情報のみを用いる予測に関する。可能な限り高い圧縮成果を達成するために、動画像フレームの予測タイプは、ユーザが設定することもでき、動画像符号化装置１００に選択させることもできる。選択された予測タイプにしたがってスイッチ１７５は、対応する予測信号を減算器１０５へ提供する。

イントラ符号化画像（Ｉタイプ画像またはＩフレームとも呼ばれる）は、イントラ符号化されたマクロブロックのみからなる。つまり、イントラ符号化された画像は、他の復号画像を参照することなく復号可能である。イントラ符号化画像は、符号化動画像シーケンスに対しエラー耐性を与える。なぜなら、時間的予測によって動画像シーケンス内でフレームからフレームへ伝播する可能性があるエラーを取り除く（リフレッシュする）からである。さらに、Ｉフレームは、符号化動画像シーケンス内でランダムアクセスを可能にする。

イントラフレーム予測では、基本的には、既に符号化された隣接マクロブロックの境界に位置する画素を用いて対象マクロブロックを予測する、予め定められたイントラ予測モードの組が用いられる。空間的予測タイプが異なるということは、エッジの方向、つまり適用された２次元補間の方向が異なるということである。補間によって得られた予測信号は、次に、上述の減算器１０５によって、入力信号から減算される。また、空間的予測タイプ情報は、エントロピー符号化され、符号化動画像信号とともに提供される。

インター符号化画像を復号するには、符号化された後に復号された画像が必要である。時間的予測は、単一方向つまり符号化対象フレームより早い順序の動画像フレームのみを用いておこなってもよく、後続動画像フレームも用いておこなってもよい。単一方向の時間的予測をおこなえば、Ｐフレームと呼ばれるインター符号化画像が得られ、双方向の時間的予測をおこなえば、Ｂフレームと呼ばれるインター符号化画像が得られる。一般的に、インター符号化画像は、ＰタイプマクロブロックとＢタイプマクロブロックとＩタイプマクロブロックのいずれかから構成される。

インター符号化マクロブロック（ＰまたはＢマクロブロック）は、動き補償予測部１６０を採用して予測される。まず、動き予測部１６５によって、符号化された後に復号された動画像フレーム内で、対象ブロックに最適なブロックが検出される。この最適ブロックは予測信号となり、対象ブロックと最適ブロック間の相対的なずれ（動き）が、符号化動画像データとともに提供される補助情報内に含められる２次元の動きベクトルの形で動きデータとして信号送信される。

予測精度を最適化するため、１／２画素解像度や１／４画素解像度などの小数画素解像度で動きベクトルを特定してもよい。小数画素解像度の動きベクトルは、復号フレーム内の、小数画素位置のように実存する画素値がない位置を指してもよい。よって、動き補償をおこなうには、そのような画素値の空間的補間が必要である。補間は、補間フィルタ１５０によっておこなわれる。Ｈ．２６４／ＭＰＥＧ ＡＶＣ標準規格にしたがって、小数画素位置の画素値を得るために、固定フィルタ係数を用いた６タップ・ウィナー補間フィルタとバイナリフィルターが適用される。

イントラ符号化モードおよびインター符号化モードにおいて、変換／量子化部１１０によって、対象入力信号と予測信号間の差分が変換されて量子化され、量子化変換係数が得られる。一般的に、２次元離散コサイン変換（ＤＣＴ）またはその整数版のような直交変換が採用される。なぜなら、これにより自然動画像の冗長性を効率的に削減できるからである。通常、低周波数成分は高周波成分よりも画質にとって重要であるため、高周波数よりも低周波数に多くのビットが費やされるように変換される。

量子化後、２次元マトリクスの量子化変換係数が１次元配列に変換されてエントロピー符号化部１９０に送信される。典型的には、いわゆるジグザグ走査によって変換される。ジグザグ走査においては、２次元マトリクスの左上隅から右下隅まで所定の順序で走査される。典型的には、エネルギーは低周波に相当する画像の左上部分に集中するため、ジグザグ走査をおこなうと、最後のほうでゼロ値が続く配列になる。これにより、実際のエントロピー符号化の一部として、またはそれ以前の段階で、ラン‐レングス符号を用いた効率的な符号化をおこなうことが可能になる。

Ｈ．２６４／ＭＰＥＧ−４ＡＶＣは、量子化パラメータ（ＱＰ）およびカスタマイズ可能な量子化マトリクス（ＱＭ）によって制御可能なスカラ量子化を採用している。量子化パラメータにより、５２の量子化器のうちの１つがマクロブロック毎に選択される。加えて、量子化マトリクスは、画質の損失を避けるため、特に、ソース内で特定の周波数を保つように設計される。Ｈ．２６４／ＭＰＥＧ−４ＡＶＣにおける量子化マトリクスは、動画像シーケンスに適応可能であり、動画像データと共に信号送信される。

画質を改善するために、ポストフィルタ２８０と呼ばれるものを、動画像復号装置（「デコーダ」ともいう。以下同じ。）２００で適用してもよい。Ｈ．２６４／ＭＰＥＧ ＡＶＣ標準規格においては、補助的拡張情報（ＳＥＩ）メッセージを通して、ポストフィルタ２８０のためのポストフィルタ情報を送信することが可能である。ポストフィルタ情報は、ローカル復号信号と原画入力信号とを比較するポストフィルタ設計部１８０によって動画像符号化装置１００側で特定される。ポストフィルタ設計部１８０の出力は、エントロピー符号化部１９０に送られ、符号化されて符号化信号に挿入される。エントロピー符号化部１９０は、統計を適用した、符号化対象情報のタイプが異なれば長さが異なる可変長コードを採用する。

図２は、Ｈ．２６４／ＡＶＣ動画像符号化標準規格に準拠した例示的な動画像復号装置２００を説明する図である。符号化動画像信号（動画像復号装置２００への入力信号）は、まずエントロピー復号部２９０へ送信される。エントロピー復号部２９０は、量子化変換係数や動きデータおよび予測タイプなどの復号に必要な情報エレメントや、ポストフィルタ情報を復号する。量子化変換係数は、逆走査されて２次元マトリクスとなり、逆量子化／逆変換部２２０へ送信される。逆量子化／逆変換部２２０による逆量子化および逆変換後、復号（量子化）予測誤差信号が得られる。これは、動画像符号化装置１００へ入力された信号から予測信号を減算して得られた差分に相当する。

予測信号は、動き補償予測部（時間的予測手段）２６０またはイントラフレーム予測部（空間的予測手段）２７０からそれぞれ得られる。どちらの予測信号を採用するかは、動画像符号化装置１００で適用された予測を信号送信する情報エレメントにしたがってスイッチ２７５によって切り替えられる。

復号情報エレメントは、さらに、イントラ予測の場合には、予測タイプなどの予測に必要な情報を含み、動き補償予測の場合には、動きデータなどの予測に必要な情報を含む。動きベクトルの値によっては、動き補償予測をおこなうには画素値を補間する必要がある。補間は、補間フィルタ２５０によっておこなわれる。

空間領域の量子化予測誤差信号は、次に、加算器２２５によって、動き補償予測部２６０かイントラフレーム予測部２７０から得られる予測信号へ加算される。再構築画像を、デブロッキングフィルタ２３０へ送信してもよい。復号信号は、メモリ２４０に格納され、後続ブロックの時間的予測または空間的予測に用いられる。

ポストフィルタ情報は、ポストフィルタ２８０へ送信され、ポストフィルタ２８０がそれに応じて設定される。さらに画質を改善するために、ポストフィルタ２８０は、次に復号信号に適用される。よって、ポストフィルタ２８０は、フレームごとに動画像符号化装置１００へ入力される動画像信号の特性に適応する能力を備える。

要約すると、最新のＨ．２６４／ＭＰＥＧ ＡＶＣ標準規格で用いられるフィルタは以下の３種類である。すなわち、補間フィルタとデブロッキングフィルタとポストフィルタである。一般に、あるフィルタが適切かどうかは、フィルタリング対象の画像内容次第で決まる。それゆえ、画像の特性に適応可能なフィルタ設計は有利である。フィルタ係数を、ウィナーフィルタ係数として設計してもよい。

最新のＨ．２６４／ＭＰＥＧ ＡＶＣ標準規格においては、さらに、適応的ポストフィルタを利用可能である。この目的で、上述のように、ポストフィルタ設計部１８０によって画像ごとに動画像符号化装置１００でポストフィルタが評価される。ポストフィルタ設計部１８０は、フィルタ情報（ポストフィルタヒントと呼ばれるもの）を生成し、これをＳＥＩメッセージの形で動画像復号装置２００へ送信する。動画像復号装置２００での表示に先立って復号信号に適用されるポストフィルタ２８０によって、このフィルタ情報を利用してもよい。動画像符号化装置１００から動画像復号装置２００へ送信されるフィルタ情報は、フィルタ係数か相互相関ベクトルである。補助情報を送信すれば、フィルタリングの質を改善できる場合があるが、帯域を広げる必要が生じる。送信または計算されたフィルタ係数を用いて、画像全体にポストフィルタリングが施される。Ｈ．２６４／ＭＰＥＧ ＡＶＣにおけるデブロッキングフィルタは、ブロックのエッジに生じるブロッキングアーチファクトを削減するループフィルタとして用いられる。３タイプのフィルタは、ウィナーフィルタとして評価される。

図３は、ノイズを削減するためのウィナーフィルタ３００を用いた信号の流れを説明する図である。ノイズｎが入力信号ｓに加算されると、フィルタリング対象のノイズを含む信号ｓ’になる。ノイズｎを削減するという目的は、信号ｓ’にウィナーフィルタ３００を適用してフィルタリング済み信号ｓ’’を得ることである。ウィナーフィルタ３００は、所望の信号である入力信号ｓとフィルタリング済み信号ｓ間の平均二乗誤差を最小限にするよう設計される。ウィナー係数はウィナーＨｏｐｆ方程式と呼ばれるシステムとして表現される最適化問題ａｒｇ_Ｗ ｍｉｎ Ｅ［（ｓ‐ｓ’’）^２］の解に相当する。演算子Ｅ［ｘ］は、期待されるｘの値である。解は以下の式１で求められる。

ここで、ｗは、正の整数であるＭ桁の最適ウィナーフィルタ係数を含むＭ×１のベクトルである。Ｒ^−１は、フィルタリング対象のノイズを含む信号ｓ’のＭ×Ｍの自己相関マトリクスＲの逆数を表す。ｐは、フィルタリング対象のノイズを含む信号ｓ’と原画信号ｓとの間のＭ×１の相互相関ベクトルを表す。適応的フィルタ設計に関する詳細については、Ｓ．Ｈａｙｋｉｎの、「Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒ Ｔｈｅｏｒｙ（特許文献１）」（第４版、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓシリーズ、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、２００２年）を参照のこと。これをここに引用して援用する。

よって、ウィナーフィルタ３００のメリットの１つは、破損した（ノイズを含む）信号の自己相関と、破損信号と所望の信号間の相互相関に基づいて、フィルタ係数を求めることができるという点である。動画像符号化の際に、量子化ステップにおいて、量子化ノイズが原画（入力）動画像信号に重畳される。動画像符号化（のコンテキスト）におけるウィナーフィルタリングは、平均二乗再構築誤差を最小化するために、重畳された量子化ノイズを削減することを目的としている。

図４は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣのデブロッキングフィルタ１３０の代わりにウィナーフィルタ及び設計部４４０が用いられる、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの動画像符号化装置４００を示すブロック図である。これは、特許文献１に記載されており、これをここに引用して援用する。ウィナーフィルタ及び設計部４４０は、動き補償予測の前に、予測ループ内で実行される。フィルタリングされた画像は、メモリ１４０に格納され、予測のために提供される。

インループフィルタリングによる利点は、予測および表示に用いられる信号の質が向上することである。デブロッキングフィルタ１３０がウィナーフィルタ及び設計部４４０として実装されれば、入力信号と再構築信号を用いて係数が予測される。算出されたフィルタ係数４４１は、同じ復号結果、つまり同じ画質を保証する目的で、デコーダに提供されなければならない。送信または格納する前に、フィルタ係数４４１はエントロピー符号化部４９０によってエントロピー符号化され、補助情報として符号化動画像データに組み込まれる。そのような動画像符号化装置４００と互換性を持つデコーダは、フィルタ係数等の符号化されたであろうフィルタ情報４４１を取得し、それにしたがってデコーダ自体のフィルタを設定する。

図５は、特許文献１に記載されている、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣのデブロッキングフィルタ１３０の後にウィナーフィルタ及び設計部５４０がさらに適用された動画像符号化装置５００の他の例を示す。ウィナーフィルタ及び設計部５４０は、入力信号とデブロッキングフィルタ１３０によってフィルタリングされた再構築信号とに基づいてフィルタ係数５４１を算出する。フィルタ係数５４１は、エントロピー符号化部５９０によって符号化されるが、この符号化は、フィルタ係数の統計に適応していてもよい。

欧州出願第０８０１２０３６．３号において、これをここに引用して援用するが、予測信号、量子化予測誤差信号、および復号信号をフィルタ設計において別々に考慮することが提案されている。これにより、これら３つの信号の各々のノイズを個々に考慮できる。

図６は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに基づくそのような例示的な動画像符号化装置６００を示す。図７は、それに対応する動画像復号装置７００を示す。したがって、ポストフィルタ係数は、入力信号、デブロッキングフィルタ１３０適用後の復号信号、予測信号および量子化予測誤差信号に基づいて、動画像符号化装置６００においてポストフィルタ設計部６４０で算出される。ポストフィルタ設計部６４０は、その後、直接的にフィルタ係数を提供するか、またはデコーダにおいて対応するポストフィルタ７４０の設定に使用できる、他の種類の新たなポストフィルタ情報６４１を提供する。そのような新たなポストフィルタ情報６４１は、例えば、相互相関ベクトル、または他の任意の情報である。やはり、ポストフィルタ情報６４１はエントロピー符号化部６９０でエントロピー符号化され、それに対応して動画像復号装置７００においてエントロピー復号されてもよい。

次に、図８は、非線形ノイズ除去フィルタを備える動画像復号装置を示すブロック図である。この非線形ノイズ除去フィルタは、動き補償予測部から出力される予測信号と、復号部から出力される復号誤差（量子化予測誤差信号）との和である再構築画像信号に対して適用される。

図９Ａ及び図９Ｂは、非線形ノイズ除去フィルタのアルゴリズムのフローを示す。まず、図９Ａに示される変換部は、平行移動不変変換（translation invariant transform。ブロック開始位置を水平・垂直方向に１画素ずつ平行移動させた変換の組であり、変換の画素数に比例した個数が定義される）により、再構築画像信号ｙの複数の表現を生成する。具体的には、図１０に示されるように、２次元４×４変換の場合、１６個の表現が生成される。これらはｄ_１，…，ｄ_１６と表される。ｄ_１，…，ｄ_１６は、再構築信号ｙの互いに異なるサンプルのセットから生成されたものである。

動画像符号化装置側において、同じ変換が原画信号ｘにも適用可能である。これは、ハイブリッド符号化される前の信号である。これはもちろん動画像復号装置側では入手できない。この結果、図１１Ｂに示されるように、原画信号の１６個の表現ｃ_１，…，ｃ_１６が得られる。図１１Ａ及び図１１Ｂに示される処理によって得られる各ｃ_ｉおよび各ｄ_ｉは、１６個の係数ｃ_ｉ（ｊ），ｄ_ｉ（ｊ）のベクトルであり、ここでｊ＝１，…，１６である。典型的に動画像符号化装置で実行される量子化により、量子化ノイズは、再構築信号の係数に重畳されるｑ_ｉ（ｊ）である。この量子化ノイズにより、再構築信号の係数ｄ_ｉ（ｊ）と原画信号の係数ｃ_ｉ（ｊ）の間の依存性は、ｃ_ｉ（ｊ）＝ｄ_ｉ（ｊ）＋ｑ_ｉ（ｊ）と表すことができる。ノイズ除去フィルタの核となる部分は、ノイズ除去ルールである。このノイズ除去ルールを、式２に示す。

式２の条件１は、原画信号の係数ｃ_ｉ（ｊ）と、予測された係数ｃ_i＾（ｊ）との間の平均二乗誤差を最小化する目的で選択される。つまり、式２をより具体的に記述すると、式３のようになる。ここで、記号「＾（ハット）」は、それぞれ直前の文字の上に付される記号を示し、本明細書では、以下、記号「＾（ハット）」を同様な意味で使用する。

上記式３によると、再構築画像信号の係数ｄ_ｉ（ｊ）またはゼロが予測値として用いられるが、その予測値としては、二乗再構築誤差がより低くなるものが選択される。その選択は、係数ｄ_ｉ（ｊ）と閾値τ_ｉを比較することにより実現できる。つまり、τ_ｉを用いて式３を書き換えると、式４のようになる。

よって、１６個の表現ｄ_ｉ（ｊ）から、原画信号の係数に対する１６個の予測値ｃ_i＾（ｊ）が、閾値演算により導き出される。これら１６個の予測値ｃ_i＾（ｊ）は、図１２に示されるように、重み付け逆変換部で逆変換されて値ｕ＾となる。重み付け逆変換とは、１６個の予測値ｃ_i＾（ｊ）を周波数成分毎に重み付け加算し、得られた結果を空間領域に変換する処理である。すなわち、この値ｕ＾は、空間領域の値である。さらに、ｕ＾をマスキング部でマスキングしてもよい。ｕ＾をマスキングすると、画像信号ｘ＾となる。マスキング処理により、原画信号ｘに対する画像信号ｘ＾の急激な変化を抑制することができる。

ここまで、ノイズ除去の１つのループのみを説明した。図９Ｂから分かるように、ｋ＝０，…，２によって示される３つのループが実行される。これは、第１ループの結果であるｘ＾＝ｘ_k=0＾＝ｘ₀＾に対し、平行移動不変変換が適用され、ｋを１増加させた後（ｋ＋＝１）、係数ｆ_1,k-1,・・・, ｆ_16,k-1となる。これらの係数に対するノイズ除去ルールは、以下の式５にしたがって適用される。各ループにおいて、個々の閾値τ_ｉ，ｋが適用される。

欧州特許出願公開第１８４１２３０号明細書

Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒ Ｔｈｅｏｒｙ（Ｓ．Ｈａｙｋｉｎ、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓシリーズ、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、２００２年）

本発明の根底にある課題は、周波数領域において実行される量子化が、恐らく個々の量子化ノイズをもつ各周波数成分を重畳したものと見なされる可能性があることに基づく。これは、ノイズの統計が、各周波数成分毎に異なる可能性があることを意味する。現在のところ動画像符号化に適用されている手法は、空間領域においてフィルタリング（ループおよび／またはポストフィルタリング）を適用することである。しかし、空間領域に適用されたフィルタリングでは、各周波数成分における量子化ノイズの個々の統計は考慮されない。

本発明の目的は、効率的なフィルタリング手法によって符号化および／または復号動画像信号の質を向上させる、符号化および復号メカニズムを提供することである。

本発明の一形態に係る動画像符号化方法は、動画像信号を符号化して得られる符号化信号を復号する方法である。具体的には、前記符号化信号及びフィルタ処理を特定するフィルタ情報を取得するステップと、前記符号化信号を復号して復号信号を生成するステップと、前記動画像信号を符号化する過程で重畳されたノイズを、周波数領域の前記復号信号の周波数成分毎に除去する前記フィルタ処理を、前記フィルタ情報を用いて周波数領域の復号信号に適用するステップとを含む。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記復号信号との平均二乗誤差を最小にするための情報を含む。

上記構成によれば、量子化の過程で重畳されたノイズを適切に除去することが可能となる。なお、「量子化の過程で重畳されるノイズ」とは、典型的には、量子化ノイズであり、周波数変換された信号に重畳される。そこで、空間領域の信号に対してではなく、周波数領域の信号に対してフィルタ処理を適用することにより、より効果的にノイズを除去することができる。また、量子化ノイズは、全周波数成分に一様に重畳されるのではなく、周波数成分毎に異なる。そこで、周波数成分毎に独立してフィルタ処理を適用することにより、より適応的に量子化ノイズを除去することができる。さらに、フィルタ情報を符号化側から取得することにより、原動画像信号を考慮したフィルタ処理が可能となる。

なお、本明細書中における「符号化」とは、動画像信号を周波数変換し、量子化し、エントロピー符号化する処理の一部又は全部を含む概念である。また、「復号」とは、符号化信号を逆量子化し、空間領域に変換し、予測信号を加算して再構築信号を生成し、再構築信号にデブロッキングフィルタ処理を適用して復号信号を生成する処理、又は再構築信号から予測信号を生成する処理の一部又は全部を含む概念である。

また、前記フィルタ処理は、前記復号信号を構成する複数のブロックそれぞれについて、処理対象ブロックの各周波数成分の値と、前記処理対象ブロックに時間的又は空間的に隣接するブロックの対応する周波数成分の値とを、前記フィルタ情報に含まれる重み係数を用いて重み付け加算するステップを含む。そして、前記重み係数は、前記フィルタ処理が適用された後の周波数領域の前記処理対象ブロックと、周波数領域の前記動画像信号に含まれる前記処理対象ブロックに対応するブロックとの平均二乗誤差が最小になるように決定されてもよい。

さらに、前記フィルタ処理は、前記重み付け加算を実行する前の前記処理対象ブロックに対して、各周波数成分の値から第１のオフセット値を減算するステップと、前記重み付け加算した後の前記処理対象ブロックに対して、各周波数成分の値に前記フィルタ情報に含まれる第２のオフセット値を加算するステップとを含む。そして、前記第１のオフセット値は、周波数領域の前記復号信号に含まれるブロックのうち、前記処理対象ブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に算出され、前記第２のオフセット値は、周波数領域の前記動画像信号に含まれるブロックのうち、前記処理対象ブロックに対応するブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に算出されてもよい。

一形態として、前記符号化信号は、前記動画像信号が空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られるものであある。前記復号信号を生成するステップには、前記符号化信号をエントロピー復号して前記復号信号としての量子化係数を生成する処理が含まれる。そして、前記フィルタ処理を適用するステップには、前記量子化係数に前記フィルタ処理を適用すると共に、当該量子化係数を逆量子化する処理が含まれてもよい。これにより、量子化係数に重畳されたノイズを適応的に除去することができる。

他の形態として、前記符号化信号は、前記動画像信号から予測信号が減算され、空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られるものである。前記復号信号を生成するステップには、前記符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換し、前記予測信号を加算して前記復号信号としての再構築信号を生成する処理が含まれる。そして、前記フィルタ処理を適用するステップには、前記再構築信号を空間領域から周波数領域に変換する処理と、周波数領域の前記再構築信号に前記フィルタ処理を適用する処理と、前記フィルタ処理を適用した後の前記再構築信号を周波数領域から空間領域に逆変換する処理とが含まれてもよい。これにより、再構築信号に重畳されたノイズを適応的に除去することができる。

他の形態として、前記符号化信号は、前記動画像信号から予測信号が減算されて予測誤差信号が生成され、当該予測誤差信号が空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られるものである。前記復号信号を生成するステップには、前記符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換して量子化予測誤差信号を生成し、前記量子化予測誤差信号と前記予測信号とを加算して再構築信号を生成する処理が含まれる。前記フィルタ処理は、前記復号信号としての前記量子化予測誤差信号、前記予測信号、及び前記再構築信号の互いに対応するブロックに含まれる同一周波数成分の値を前記フィルタ情報に含まれる重み係数を用いて重み付け加算するステップを含む。そして、前記重み係数は、周波数領域の前記予測誤差信号と、前記フィルタ処理が適用された後の周波数領域の前記量子化予測誤差信号との平均二乗誤差が最小になるように決定されてもよい。これにより、量子化予測誤差信号に重畳されたノイズを適応的に除去することができる。

他の形態として、前記符号化信号は、前記動画像信号から予測信号が減算され、空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られるものである。前記復号信号を生成するステップには、前記符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換して量子化予測誤差信号を生成し、前記量子化予測誤差信号と前記予測信号とを加算して再構築信号を生成する処理が含まれる。そして、前記フィルタ処理を適用するステップには、前記予測信号を空間領域から周波数領域に変換する処理と、周波数領域の前記予測信号に前記フィルタ処理を適用する処理と、前記フィルタ処理が適用された後の前記予測信号を周波数領域から空間領域に逆変換する処理とが含まれてもよい。これにより、予測信号に重畳されたノイズを適応的に除去することができる。

本発明の一形態に係る動画像符号化方法は、動画像信号を符号化して符号化信号を生成する方法である。具体的には、少なくとも、前記動画像信号を空間領域から周波数領域に変換し、量子化して、前記符号化信号を生成するステップと、量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するステップと、前記符号化信号及び前記フィルタ情報を出力するステップとを含む。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される。これにより、量子化の過程で重畳されたノイズを適応的に除去することができる。

さらに、前記動画像符号化方法は、量子化後の周波数領域の信号に、前記フィルタ情報を用いて前記フィルタ処理を適用するステップを含む。前記フィルタ処理は、前記量子化後の信号を構成する複数のブロックそれぞれについて、処理対象ブロックの各周波数成分の値と、前記処理対象ブロックに時間的又は空間的に隣接するブロックの対応する周波数成分の値とを、前記フィルタ情報に含まれる重み係数を用いて重み付け加算するステップを含む。そして、前記フィルタ情報を生成するステップは、前記フィルタ処理が適用された前記処理対象ブロックと、周波数領域の前記動画像信号に含まれる前記処理対象ブロックに対応するブロックとの平均二乗誤差が最小になるように前記重み係数を決定してもよい。

さらに、前記フィルタ処理は、前記重み付け加算を実行する前の前記処理対象ブロックに対して、各周波数成分の値から第１のオフセット値を減算するステップと、前記重み付け加算した後の前記処理対象ブロックに対して、各周波数成分の値に第２のオフセット値を加算するステップとを含む。そして、前記フィルタ情報を生成するステップでは、量子化後の周波数領域の信号に含まれるブロックのうち、前記処理対象ブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に前記第１のオフセット値が算出され、周波数領域の前記動画像信号に含まれるブロックのうち、前記処理対象ブロックに対応するブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に前記第２のオフセット値を算出され、少なくとも前記第２のオフセット値を前記フィルタ情報に含められてもよい。

一形態として、前記符号化信号を生成するステップには、前記動画像信号から予測信号を減算して予測誤差信号を生成し、前記予測誤差信号を空間領域から周波数領域に変換し、量子化して量子化係数を生成する処理が含まれる。そして、前記フィルタ情報を生成するステップでは、周波数領域の前記予測誤差信号と、前記フィルタ処理が適用された後の周波数領域の量子化予測誤差信号との平均二乗誤差が最小になるように前記フィルタ情報が決定されてもよい。

他の形態として、前記符号化信号を生成するステップには、周波数領域の前記動画像信号を量子化し、逆量子化して再構築信号を生成する処理が含まれる。そして、前記フィルタ情報を生成するステップでは、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記再構築信号との平均二乗誤差が最小になるように前記フィルタ情報が決定されてもよい。

他の形態として、前記符号化信号を生成するステップには、前記動画像信号から予測信号を減算して予測誤差信号を生成し、前記予測誤差信号を空間領域から周波数領域に変換し、量子化し、逆量子化し、周波数領域から空間領域に変換して量子化予測誤差信号を生成し、前記量子化予測誤差信号に前記予測信号を加算して再構築信号を生成する処理が含まれる。そして、前記フィルタ情報を生成するステップでは、周波数領域の前記予測信号、周波数領域の前記量子化予測誤差信号、及び周波数領域の前記再構築信号に基づいて、周波数領域の前記予測誤差信号と、前記フィルタ処理が適用された後の周波数領域の前記量子化予測誤差信号との平均二乗誤差が最小になるように前記フィルタ情報が決定されてもよい。

他の形態として、前記符号化信号を生成するステップには、前記動画像信号から予測信号を減算して予測誤差信号を生成し、前記予測誤差信号を空間領域から周波数領域に変換し、量子化し、逆量子化し、周波数領域から空間領域に変換して量子化予測誤差信号を生成し、前記量子化予測誤差信号に前記予測信号を加算して再構築信号を生成する処理が含まれる。そして、前記フィルタ情報を生成するステップでは、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記予測信号との平均二乗誤差が最小になるように前記フィルタ情報が決定されてもよい。

本発明の一形態に係る動画像復号装置は、動画像信号を符号化して得られる符号化信号を復号する。具体的には、前記符号化信号及びフィルタ処理を特定するフィルタ情報を取得する取得部と、前記符号化信号を復号して復号信号を生成する復号部と、前記動画像信号を符号化する過程で重畳されたノイズを、周波数領域の前記復号信号の周波数成分毎に除去する前記フィルタ処理を、前記フィルタ情報を用いて周波数領域の復号信号に適用するフィルタ部とを備える。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記復号信号との平均二乗誤差を最小にするための情報を含む。

本発明の一形態に係る動画像符号化装置は、動画像信号を符号化して符号化信号を生成する。具体的には、少なくとも、前記動画像信号を空間領域から周波数領域に変換し、量子化して、前記符号化信号を生成する符号化部と、量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するフィルタ設計部と、前記符号化信号及び前記フィルタ情報を出力する出力部とを備える。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される。

本発明の一形態に係るプログラムは、コンピュータに、動画像信号を符号化して得られる符号化信号を復号させる。具体的には、前記符号化信号及びフィルタ処理を特定するフィルタ情報を取得するステップと、前記符号化信号を復号して復号信号を生成するステップと、前記動画像信号を符号化する過程で重畳されたノイズを、周波数領域の前記復号信号の周波数成分毎に除去する前記フィルタ処理を、前記フィルタ情報を用いて周波数領域の復号信号に適用するステップとを含む。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記復号信号との平均二乗誤差を最小にするための情報を含む。

本発明の他の形態に係るプログラムは、コンピュータに、動画像信号を符号化して符号化信号を生成させる。具体的には、少なくとも、前記動画像信号を空間領域から周波数領域に変換し、量子化して、前記符号化信号を生成するステップと、量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するステップと、前記符号化信号及び前記フィルタ情報を出力するステップとを含む。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される。

本発明の一形態に係る集積回路は、動画像信号を符号化して得られる符号化信号を復号する。具体的には、前記符号化信号及びフィルタ処理を特定するフィルタ情報を取得する取得部と、前記符号化信号を復号して復号信号を生成する復号部と、前記動画像信号を符号化する過程で重畳されたノイズを、周波数領域の前記復号信号の周波数成分毎に除去する前記フィルタ処理を、前記フィルタ情報を用いて周波数領域の復号信号に適用するフィルタ部とを備える。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記復号信号との平均二乗誤差を最小にするための情報を含む。

本発明の他の形態に係る集積回路は、動画像信号を符号化して符号化信号を生成する。具体的には、少なくとも、前記動画像信号を空間領域から周波数領域に変換し、量子化して、前記符号化信号を生成する符号化部と、量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するフィルタ設計部と、前記符号化信号及び前記フィルタ情報を出力する出力部とを備える。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される。

なお、本発明は、画像復号方法（装置）及び画像符号化方法（装置）として実現できるだけでなく、これらの機能を実現する集積回路として実現したり、そのような機能をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

これは、独立クレームに定義された特徴によって達成される。

好適な実施形態は、従属クレームの主題である。

周波数領域の動画像信号に基づいてフィルタパラメータを決定し、それにしたがってフィルタを設定し、周波数領域に当該フィルタを適用することは、本発明に特有の手法である。

そのような手法により、信号内の様々な周波数成分に対しノイズが異なる場合のフィルタリング後の画質が向上する。そのようなノイズ特性は、典型的に、周波数領域において量子化が実行される場合、特に量子化重み行列が用いられるか、粗量子化が適用された場合に、量子化ノイズにおいて見られるものである。しかしながら、ある特定の送信方法によって、誤差の結果として周波数選択ノイズが生じる場合もある。

本発明の第１の態様によれば、少なくとも１つの動画像フレームを含む動画像信号を符号化する方法が提供される。まず、動画像信号が周波数領域に変換される。その後、周波数領域の動画像信号のフィルタリングに用いられるフィルタデータが、周波数領域に変換された動画像信号に基づいて決定される。フィルタデータは、デコーダ側に提供される。

本発明の他の態様によれば、少なくとも１つの動画像フレームを含む符号化動画像信号を復号する方法が提供される。周波数領域の動画像信号をフィルタリングするフィルタが、周波数領域の動画像信号ブロックに対し個々に設定される。その後、動画像信号ブロックは、周波数領域において当該フィルタを用いて個々にフィルタリングされる。

本発明のさらに他の態様によれば、少なくとも１つの動画像フレームを含む動画像信号を符号化するエンコーダが提供される。当該エンコーダは、動画像信号を周波数領域に変換する変換手段と、フィルタデータを決定するフィルタ設計手段を備える。フィルタデータは、周波数領域の動画像信号のフィルタリングに用いられ、周波数領域に変換された動画像信号に基づいて決定される。さらに、エンコーダは、デコーダ側にフィルタデータを提供することができる。

本発明のさらに他の態様によれば、少なくとも１つの動画像フレームを含む符号化動画像信号を復号する装置が提供される。当該デコーダは、動画像信号ブロックに対し、周波数領域において個々にフィルタを設定する設定手段を備える。当該デコーダはさらにまた、周波数領域において、かつブロック単位で、当該フィルタによって動画像信号をフィルタリングするフィルタ手段を備える。

好ましくは、フィルタを設定するブロック、フィルタ設計、および／またはフィルタリングは、変換されるブロックに対応する。ここで、当該変換は動画像信号を符号化するために実行される変換、または動画像信号を復号するために実行される逆変換に対応してもよい。そのような場合、エンコーダにおいて動画像信号がフレームおよびブロックにセグメント化され、デコーダに信号送信されるか、一般的な方法でデコーダに通知される。しかしながら、符号化／復号に用いられたラスタと異なるラスタ（サイズおよび動画像信号フレーム内の位置）を有するブロックにはまた、追加の変換が適用されてもよい。この場合、エンコーダとデコーダの両方において動画像信号をブロックにセグメント化する必要があってもよく、またはエンコーダでセグメント化し、デコーダに信号送信／知らせてもよい。ラスタのフィルタリングは、変換に用いられるブロックラスタ、または時間的および／または予測に用いられるブロックラスタ等の、符号化／復号において使用されるブロックラスタに依存してもよい。特に、フィルタリングに用いられるブロックラスタは、基礎的な符号化／復号ブロックラスタのブロック群から設定されてもよい。しかしながら、フィルタリングに用いられるブロックラスタは、（もしあれば）符号化／復号に用いられる基礎的なブロックラスタから独立していてもよい。そのようなフィルタリングラスタのブロックのサイズおよび形状は、必ずしも同一とは限らず、異なる形状やサイズのブロックが使用されてもよい。好ましくは、効率よくソフトウェア／ハードウェアに実装できるようなサイズの四角形が用いられる。しかしながら、ラスタのブロックのサイズおよび形状は、例えば動画像信号の内容にしたがって任意に選択されてもよい。

好ましくは、デコーダ側で、エンコーダ側から、周波数領域の動画像信号のフィルタリングに用いられるフィルタデータを取得する。その後、取得されたフィルタデータに基づいてフィルタを設定する。エンコーダ側からフィルタデータを取得することで、デコーダは、（符号化前の）原動画像信号に関する情報等の、エンコーダのみが入手可能な情報を取得することができ、よって、そのような情報にしたがってフィルタを設定することができる。

好ましくは、本発明の符号化はまた、空間領域において入力動画像信号を空間的または時間的に予測し、予測信号を得ることを含む。予測誤差信号は、入力動画像信号と予測信号の差分として取得される。本発明の実施形態によれば、変換された動画像信号は変換された予測誤差信号に対応し、フィルタデータは周波数領域に変換された予測誤差信号に基づいて決定され、変換された予測誤差信号にフィルタリングが適用される。または、予測信号と（量子化）予測誤差信号の和であり、周波数領域に変換された再構築動画像信号に基づいて、フィルタデータが決定される。

好ましくは、符号化は、さらに、変換された動画像信号を量子化することを含み、フィルタデータは、量子化の前と後に、周波数領域に変換された動画像信号に基づいて算出された相関情報またはフィルタ係数を含む。特に、相関情報は、量子化の前と後の周波数領域の動画像信号の相互相関ベクトルであってもよく、または量子化の前と後の周波数領域の動画像信号間の差分によって生じる量子化ノイズの自己相関であってもよい。そのような情報は、エンコーダおよび／またはデコーダにおいて、例えばウィナーフィルタ係数のような、フィルタ係数の算出に有利に用いてもよい。しかしながら、係数はまた、直接的にデコーダに提供されてもよい。フィルタ係数は、ウィナーフィルタリングの場合のように平均二乗誤差を最小化するよりも、他の最適化の課題を解決することに基づいて予測されてもよい。フィルタは、入力信号のみに重み付けする有限インパルス応答フィルタか、または出力信号にも重み付けする無限インパルス応答フィルタであってもよい。

本発明の他の実施形態によれば、当該符号化はまた、フィルタデータに基づいて動画像信号をフィルタリングするフィルタを設定することと、周波数領域においてフィルタによって動画像信号をフィルタリングすることとを含む。特に、エンコーダで実行されるフィルタリングは、予測ループ内で適用されたループフィルタリングであってもよい。しかしながら、フィルタリングは必ずしもエンコーダで実行されるとは限らない。符号化は、デコーダに提供されるフィルタデータを決定するフィルタ設計のみを含んでもよい。その後、デコーダはそれにしたがって自己のフィルタを設定し、ポストフィルタリング等のフィルタリングを実行する。好ましくは、エンコーダにおけるフィルタリングも、ブロック単位で適用される。特に、ループフィルタの場合、エンコーダにおいて適用されたフィルタリングと、デコーダにおいて適用されたフィルタリングとは、同じフィルタデータに基づいており、類似している。

しかしながら、本発明の復号メカニズムは、ループフィルタリングとポストフィルタリングの両方を含んでもよい。それに対応して、フィルタデータは、エンコーダにおいてループフィルタとポストフィルタの両方に用いるために決定され、供給されてもよく、ループフィルタリングはまた、エンコーダとデコーダで等しく実行されてもよい。特に、ループフィルタはデブロッキングフィルタリングも実行してもよい。しかしながら、ループフィルタはまた、既存のデブロッキングフィルタに加えて動作してもよく、デブロッキングフィルタを使う必要が全くなくてもよい。

本発明の他の実施形態によれば、デコーダは、周波数領域に変換された予測誤差信号をエンコーダ側から取得し、それを空間領域に逆変換する。さらに、空間領域の動画像信号は、エンコーダ側から受け取った符号化データに基づいて、予測信号によって空間的または時間的に予測される。その後、再構築動画像信号は、空間領域の予測誤差信号と予測信号との和として算出される。好ましくは、周波数領域に変換された再構築信号か、周波数領域における取得された予測誤差信号の何れかである動画像信号にフィルタリングを適用する。

フィルタデータは、フィルタ係数、および／または周波数領域の動画像信号のオフセットを直接的に含んでもよい。好ましくは、フィルタデータは各スライス、特にスライスヘッダ内に提供される。しかしながら、フィルタデータは、他の定期的または不定期的な時間間隔でも、例えば、ピクチャ単位、マクロブロック単位、ブロック単位、または、そのようなピクチャ要素の数個単位で提供されてもよい。フィルタデータは、ストレージに格納されるか、符号化動画像信号と共に伝送チャネルを通して送信されることで提供される。

設計およびフィルタリングは、選択された周波数のみに対して実行されてもよい。特に、フィルタリングはＤＣ周波数成分のみに適用されてもよい。

本発明の他の実施形態によると、周波数領域のフィルタリングは、フィルタリングに用いられた同一周波数の変換係数の評価に基づいて無効にされる。特に、係数の分散が、閾値と比較される。閾値は、固定されていてもよく、または、例えば量子化設定に基づいて動的に決定されてもよい。係数間の差分といった、他の評価基準が用いられてもよい。

本発明のフィルタリングは、好ましくは、フィルタリングされる対象ブロックに隣接する異なるブロックにおける同一周波数の変換係数に重み付けする。具体的には、隣接ブロックは、空間的に隣接するブロックであり、対象ブロックを囲む復号済みのブロックである。または、あるいはそれに加えて、隣接ブロックは、時間的に隣接するブロックであり、対象ブロックに対応する異なるフレーム（タイムインスタント）内のブロックである。好ましくは、その対応は動き予測を用いて決定される。しかしながら、フレーム内で対象ブロックと同じ位置にあるブロックが用いられてもよく、先行および／または後続フレームの他のブロックが用いられてもよい。

好ましくは、動画像信号はＨ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格に基づいて符号化および／または復号され、フィルタデータは補助的拡張情報メッセージ内に提供される。しかしながら、本発明はＨ．２６４／ＭＰＥＧ−４ ＡＶＣや、その拡張版や後続規格に限定されるものではなく、標準化または特許化されたあらゆる動画像符号化メカニズムに用いられてもよい。

本発明のさらに他の実施形態によれば、予測信号と、量子化予測誤差信号と、再構築信号とが、フィルタリングのプロセスにおいて、つまり、エンコーダでフィルタデータを決定するとき、および／またはデコーダでフィルタを設定するときに別々に考慮される。または、予測信号または予測誤差信号のみがフィルタリングされる。２次以上のフィルタを用いるフィルタリングを実行する目的で、予測信号および／または既にフィルタリングされたブロックの予測誤差信号が、メモリに格納される。

本発明の他の態様によれば、本発明を実行するように適応した、コンピュータ読み取り可能なプログラムコードを実装したコンピュータ読み取り可能媒体を備えるコンピュータプログラム製品が提供される。

本発明の他の態様によれば、エンコーダ側からデコーダ側へ動画像信号を送信するためのシステムが提供される。このシステムは、上述のエンコーダと、符号化動画像信号を格納または送信するためのチャネルと、上述のデコーダとを備える。本発明の実施形態によれば、このチャネルは記憶手段に相当し、例えば、揮発性または非揮発性のメモリや、ＣＤ、ＤＶＤまたはＢＤのような光学または磁気記憶手段、ハードディスク、フラッシュメモリ、またはその他の記憶手段である。本発明の他の実施形態において、チャネルは伝送手段である。これは、インターネット、ＷＬＡＮ、ＵＭＴＳ、ＩＳＤＮ、ｘＤＳＬなどの標準化または特許化された伝送技術／システムに準拠した、無線システム、有線システム、またはその両方の組み合わせであるリソースによって形成可能である。

本発明の目的および特徴は、上記以外のものも含め、付随する図面を参照しながら以下に説明される記述および好ましい実施形態によりさらに明確になる。

本発明によれば、符号化の過程で重畳されたノイズを、適切に除去することが可能となる。

図１は、従来のＨ．２６４／ＭＰＥＧ−４ ＡＶＣビデオエンコーダを示すブロック図である。 図２は、従来のＨ．２６４／ＭＰＥＧ−４ ＡＶＣビデオデコーダを示すブロック図である。 図３は、ウィナーフィルタ設計を示す概略図である。 図４は、デブロッキングフィルタの代わりに、ウィナーフィルタを備えるビデオエンコーダを示すブロック図である。 図５は、デブロッキングフィルタの補足としてウィナーフィルタを備えるビデオエンコーダを示すブロック図である。 図６は、予測信号、量子化予測誤差信号、および復号信号を伴う入力信号を別々に考慮することで設計されたポストフィルタを備えるビデオエンコーダを示すブロック図である。 図７は、取得されたポストフィルタ情報を用いて設定されたポストフィルタを備えるビデオデコーダを示すブロック図である。 図８は、従来の動画像復号装置の例を示すブロック図である。 図９Ａは、平行移動不変変換のブロック図である。 図９Ｂは、非線形ノイズ除去フィルタのブロック図である。 図１０は、平行移動不変変換の結果の例を示す図である。 図１１Ａは、原画信号ｘに平行移動不変変換を適用した例を示す図である。 図１１Ｂは、再構築信号ｙに平行移動不変変換を適用した例を示す図である。 図１２は、非線形ノイズ除去フィルタの処理を示す図である。 図１３は、周波数領域に加えられたノイズを伴う符号化システムの例を示す概略図である。 図１４は、周波数領域に加えられたノイズと空間領域に適用されたフィルタリングとを伴う符号化システムの例を示す概略図である。 図１５は、空間領域に加えられたノイズと空間領域に適用されたフィルタリングとを伴う符号化システムの等価な例を示す概略図である。 図１６は、周波数領域に加えられたノイズと周波数領域に適用されたフィルタリングとの両方を伴う符号化システムの例を示す概略図である。 図１７は、符号化システムの例に用いられる空間領域ではなく、周波数領域においてフィルタリングを設計かつ適用することで達成される、最小平均二乗誤差の削減を表すグラフである。 図１８Ａは、本発明のビデオエンコーダを示すブロック図である。 図１８Ｂは、本発明の他のビデオエンコーダを示すブロック図である。 図１９Ａは、本発明の好適な実施形態のビデオデコーダを示すブロック図である。 図１９Ｂは、本発明の好適な実施形態の他のビデオデコーダを示すブロック図である。 図２０Ａは、周波数領域においてインループフィルタを実施する本発明の実施形態のビデオエンコーダを示すブロック図である。 図２０Ｂは、図２０Ａに示される動画像符号化装置の動作を示すフローチャートである。 図２１Ａは、周波数領域においてインループフィルタを実施する本発明の実施形態のビデオデコーダを示すブロック図である。 図２１Ｂは、図２１Ａに示される動画像符号化装置の動作を示すフローチャートである。 図２２は、本発明のエンコーダまたはデコーダに適用される周波数領域のフィルタリングの例を示すブロック図である。 図２３は、周波数領域においてポストフィルタを実施する本発明の他の実施形態のビデオエンコーダを示すブロック図である。 図２４は、周波数領域においてポストフィルタを実施する本発明の他の実施形態のビデオデコーダを示すブロック図である。 図２５は、本発明のエンコーダまたはデコーダに適用される周波数領域のフィルタリングの例を示すブロック図である。 図２６は、周波数領域においてループフィルタを実施する本発明のビデオエンコーダの例を示すブロック図である。 図２７は、デブロッキングフィルタに加え、周波数領域においてループフィルタを実施する本発明のビデオエンコーダの例を示すブロック図である。 図２８は、周波数領域においてポストフィルタ設計を実施する本発明のビデオエンコーダの例を示すブロック図である。 図２９は、周波数領域においてポストフィルタ設計を実施する本発明のビデオデコーダの例を示すブロック図である。 図３０は、本発明のエンコーダまたはデコーダに適用される周波数領域のフィルタリングの他の例を示すブロック図である。 図３１Ａは、フィルタリングに用いられてもよい、空間的に隣接し、かつ重複していないブロックの例を示す概略図である。 図３１Ｂは、フィルタリングに用いられてもよい、空間的に隣接し、かつ重複しているブロックの例を示す概略図である。 図３２Ａは、フィルタリングに用いられてもよい、時間的に隣接しているブロックの例を示す概略図である。 図３２Ｂは、フィルタリングに用いられてもよい、時間的に隣接しているブロックの他の例を示す概略図である。 図３３は、周波数領域において予測信号のフィルタリングを実施する本発明のビデオエンコーダの例を示すブロック図である。 図３４は、周波数領域において予測信号のフィルタリングを実施する本発明のビデオデコーダの例を示すブロック図である。 図３５は、予測誤差信号または予測信号にフィルタリングが適用される、本発明のエンコーダの例の一部分を示すブロック図である。 図３６は、予測誤差信号または予測信号に無限インパルス応答フィルタリングが適用される、本発明のエンコーダの例の一部分を示すブロック図である。 図３７は、本発明のエンコーダおよびデコーダを備えるシステムを示す概略図である。 図３８は、本発明の符号化および復号を適用することで達成される結果を、技術水準の符号化および復号と比較して示すグラフである。 図３９Ａは、実施の形態６に係る変換部の一例を示す図である。 図３９Ｂは、実施の形態６に係るフィルタ部の処理フローの一例を示す図である。 図４０Ａは、実施の形態６に係る変換部の他の例を示す図である。 図４０Ｂは、実施の形態６に係るフィルタ部の処理フローの他の例を示す図である。 図４１Ａは、実施の形態６に係る変換部の他の例を示す図である。 図４１Ｂは、実施の形態６に係るフィルタ部の処理フローの他の例を示す図である。 図４２は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。 図４３は、携帯電話の外観を示す図である。 図４４は、携帯電話の構成例を示すブロック図である。 図４５は、デジタル放送用システムの全体構成の一例を示す模式図である。 図４６は、テレビの構成例を示すブロック図である。 図４７は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。 図４８は、光ディスクである記録メディアの構造例を示す図である。 図４９は、各実施の形態に係る画像符号化方法および画像復号方法を実現する集積回路の構成例を示すブロック図である。

本発明によれば、動画像信号のフィルタ設計およびフィルタリングは、空間周波数の領域（周波数領域）で実行される。さらに、デコーダが適切にフィルタリングを設定できるようにする目的で、エンコーダ側で入手できるがデコーダ側では入手できない情報が、符号化動画像データと共に提供される。本発明のデコーダでは、周波数領域においてブロック単位でフィルタが設定され、フィルタリングが適用される。

動画像信号をフィルタリングするフィルタを設計することと、周波数領域においてフィルタリングを行うことは、周波数領域にノイズが加えられた場合にも特に利点をもたらす。このことは実際、周波数領域に変換された動画像信号を量子化および送信／格納する今日の動画像符号化方法の大半に該当する。

以下に、空間領域で動作するウィナーフィルタと比較して、周波数領域で動作するウィナーフィルタの利点を、２つのサンプルを伴う１次元信号を符号化する例示的な符号化システムを用いて示す。

図１３は、周波数領域における量子化を採用する考慮された例示的な符号化システムを示す。信号ｓがＤＣＴ変換部８１０に入力される。ここに適用されたＤＣＴ変換部８１０は、ブロックサイズが２の１次元離散コサイン変換（ＤＣＴ）である。したがって、信号ｓの２つの連続したサンプルｓ（ｘ）とｓ（ｘ＋１）とは、そのようなＤＣＴ変換部８１０を用いて周波数領域に変換される。その結果である２つの変換係数ｃ_１およびｃ_２は、下記の式６によって得られる。

２つの変換係数ｃ_１およびｃ_２は、独立して量子化され、その結果、量子化変換係数ｃ₁’およびｃ₂’が得られる。よって量子化変換係数ｃ₁’およびｃ₂’は、変換係数ｃ_１およびｃ_２と、この例において量子化ノイズに対応するノイズｎ_１およびｎ_２との和として式７のように表されてもよい。

ＤＣＴ逆変換部８２０は、量子化変換係数ｃ₁’およびｃ₂’に逆ＤＣＴ変換を適用することによって、再構築サンプルｓ’（ｘ）およびｓ’（ｘ＋１）を生成する。再構築サンプルｓ’（ｘ）及びｓ’（ｘ＋１）は、式８で表される。

離散コサイン変換は単一変換であるため、空間領域の平均二乗量子化誤差Ｅ［（ｓ−ｓ’）^２］は、変換（周波数）領域の平均二乗量子化誤差Ｅ［（ｃ−ｃ’）^２］と同じであり、その結果は上記例では式９のようになる。

以下に、周波数領域のウィナーフィルタによるノイズ削減を、空間領域のウィナーフィルタによるノイズ削減と比較する。比較の単純性を保つため、以下の通り仮定する。ノイズの２つの成分ｎ_１およびｎ_２は、ゼロ平均であり、変換係数ｃ_１およびｃ_２とペア単位で無相関である。信号ｓはゼロ平均であり、少なくとも広義に定常である。これらの仮定に基づき、量子化ノイズ信号の最初の２つのモーメントは式１０及び式１１の通りである。

さらに、変換係数ｃ_２に適用される量子化がないと仮定すると、式１２のようになる。

各ｉ＝０，１，２，…，に対する信号ｓの成分ｓ（ｘ＋ｉ）＝ｓ_ｉの最初の２つのモーメントは式１３及び式１４の通りである。

変換信号ｓおよびノイズのジョイントモーメントは、式１５の通りである。

信号ｓの任意の２つの連続するサンプルｓ_ｉおよびｓ_ｉ＋１の相関係数は式１６の通りである。

ノイズを削減するウィナーフィルタは、フィルタの長さが１であり、１フィルタ係数のみを有する。このフィルタ係数は、空間領域のフィルタリングの場合はｈ_ｓと表され、周波数領域のフィルタリングの場合はｈ_ｃと表される。これらの仮定により、変換係数ｃ_１およびｃ_２の分散は、下記の式１７及び式１８によって得られる。

図１４は、周波数領域の量子化と、空間領域の１フィルタ係数を有するノイズ削減ウィナーフィルタとを備える対応する符号化システムを示す。ＤＣＴ変換部９１０、量子化部、およびＤＣＴ逆変換部９２０を備える符号化システムは、上記仮定を適用すること、および空間領域において１つのフィルタ係数ｈ_ｓのみを有するノイズ削減のためのウィナーフィルタ９３０を用いることで簡易化されている。変換係数ｃ_１の量子化により、フィルタリング後の入力信号ｓと信号ｓ’の間の平均二乗誤差は、式１９の通りになる。

図１５に示される符号化システムは、図１４に示される符号化システムと等価である。ゼロ平均のノイズ信号ｎ_ｑ、分散σ² _q＝（σ² _n／２）、および相関Ｅ［ｓ・ｎ_ｑ］＝０は、周波数領域に挿入されるノイズｎ_１と等価であり、空間領域の信号ｓに追加される。

入力信号ｓとフィルタリング後の信号ｓ”との間の平均二乗誤差を最小化するフィルタ係数ｈ_ｓは、Ｅ［（ｓ−ｓ”）^２］→ｍｉｎを意味するが、式２０の微分関数をゼロに設定することで算出できる。

上記式２０の解により、式２１の通り、平均二乗誤差を最小化するフィルタ係数ｈ_ｓの最適値を得る。

信号ｓと、空間領域のフィルタ係数ｈ_ｓの最適値を用いてノイズ削減ウィナーフィルタリングを行った後の信号ｓ”との間の対応する最小平均二乗誤差は、下記の式２２によって得られる。

図１６は、ＤＣＴ変換部１１１０の後に周波数領域において量子化を適用し、かつ、変換後に（周波数領域において）、１つの係数ｈ_ｃを有するノイズ削減のためのウィナーフィルタ１１３０を適用する符号化システムを示す。ＤＣＴ逆変換部１１２０は、ウィナーフィルタ１１３０から出力される信号ｃ_１”に対して実行される。

変換係数ｃ_１の量子化により、また上記と同じ仮定に基づき、変換係数ｃ１と変換量子化信号ｃ₁’の間の平均二乗誤差は、σ² _nである。

フィルタリング後の変換された信号ｃ_１と変換された量子化信号ｃ”との間の平均二乗誤差を最小化するウィナーフィルタ１１３０のフィルタ係数ｈ_ｃは、Ｅ［（ｃ_１−ｃ_１”）^２］→ｍｉｎを意味するが、式２３の微分項をゼロに設定することで算出できる。

上記式２３の解により、平均二乗誤差を最小化するフィルタ係数ｈ_ｃの最適値は、式２４のように表される。

信号ｃ_１と、最適なフィルタ係数ｈ_ｃを用いてウィナーフィルタでフィルタリングを行った後の信号ｃ_１”との間の対応する最小平均二乗誤差は、下記の式２５によって得られる。

したがって、信号ｓと、周波数領域のノイズ削減のためのウィナーフィルタ１１３０による信号ｓ”との間の最小平均二乗誤差は、式２６の通りである。

図１７は、上記例における、空間領域のフィルタリングから生じる最小平均二乗誤差と、周波数領域のフィルタリングから生じる最小平均二乗誤差との比較である。当該グラフは、式２７をグラフ化したものである。

より具体的には、周波数領域の信号ｃ_１’に適用されるウィナーフィルタ１１３０によって達成される最小平均二乗誤差の削減を、相関係数ρの値と、信号ｓの分散によって正規化された量子化ノイズｎ_１の分散とに関して、空間領域の信号ｓ’に適用されるウィナーフィルタ９３０と比較して示したものである。

この例に関するグラフから分かるように、相関係数ρが１と等しくなく、量子化ノイズの分散がゼロよりも大きい場合は常に、平均二乗誤差が削減できる。したがって、２つのサンプルを有する１次元信号に関するこの例は、ノイズが挿入された領域のフィルタリングを行うことにより、平均二乗誤差を削減する結果となることを示している。

これらの考慮に基づき、本発明は、フィルタ設計およびフィルタリングが周波数領域で実行される、動画像符号化装置及び動画像復号方法、ならびに動画像信号の符号化方法および復号方法を提供する。

動画像符号化装置側で、周波数領域においてフィルタ設計が実行され、周波数領域の動画像信号のフィルタリングに用いられるフィルタデータが動画像復号装置側に提供される。動画像復号装置では、フィルタにフィルタ情報が設定され、周波数領域においてブロック単位で適用される。

動画像符号化装置と動画像復号装置とで類似の動作を保証する目的で、本発明の好適な実施形態によれば、フィルタ情報が符号化動画像データと共に、動画像符号化装置で供給される。動画像復号装置は、当該フィルタ情報を取得し、それにしたがってフィルタ特性を設定することができる。

図１８Ａおよび図１８Ｂは、本発明の動画像符号化装置１３００Ａ、１３００Ｂを概略的に示すものである。動画像符号化装置１３００Ａは、動画像信号１３０１を周波数領域に変換する変換部１３１０と、周波数領域に変換された動画像信号１３１１に基づいてフィルタ情報１３３１を生成するフィルタ設計部１３３０とを備える。

ここで動画像信号１３０１とは、画素値、または予測符号化が適用される場合は予測誤差値といった２次元信号を指す。動画像信号を周波数領域に変換する変換は、フーリエ変換、離散コサイン変換、ＫＬ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）変換、またはそのような変換の高速および／または整数版等の任意の変換であり得る。

その後、周波数領域に変換された動画像信号１３１１は、周波数領域の動画像信号のフィルタリングに用いられるフィルタ情報１３３１を決定するフィルタ設計部１３３０に用いられる。そのようなフィルタ情報１３３１は、フィルタ係数および／または周波数領域の動画像信号のオフセットであってもよい。しかしながら、そのようなフィルタ情報１３３１はまた、フィルタ係数の算出および／またはフィルタの設定に用いることができる周波数領域に変換された動画像信号に関連する任意の統計的情報であってもよい。フィルタ情報１３３１はまた、（変換、またはフィルタ設計部１３３０の一部として）量子化が変換後に適用される場合は、量子化および非量子化変換係数に基づいて決定されてもよい。

その後、フィルタ情報１３３１は、動画像復号装置側に提供される。ここで、動画像復号装置側にフィルタ情報１３３１を提供する利点は、動画像復号装置自体が取得できないフィルタ設定のための情報を、動画像復号装置に提供できる可能性があることである。そのような情報は、例えば、何らかの不可逆圧縮が行われる前の動画像信号に関連する情報である。

フィルタ情報１３３１と、周波数領域に変換された動画像信号１３１１の両方が、さらに符号化されてもよい。フィルタ設計部１３３０はまた、好ましくは、本発明の特定の実施形態に関して説明されるように、周波数領域の符号化および／または圧縮動画像信号を用いてフィルタ情報１３３１を決定する。

図１８Ｂに示される動画像符号化装置１３００Ｂは、さらに、周波数領域に変換された動画像信号１３１１にフィルタ処理を適用するフィルタ１３４０と、フィルタ設計部１３３０で生成されたフィルタ情報１３３１をフィルタ１３４０に設定するフィルタ設定部１３３５とを備える。

フィルタ１３４０を設定することは、実行されるフィルタリング動作を定義するフィルタ係数、動画像信号オフセット等のフィルタパラメータを提供することを含む。これらのパラメータは、フィルタ情報１３３１から取得されるか、フィルタ情報１３３１および恐らく変換された動画像信号１３１１に基づいて算出されるかの何れかである。

図１９Ａは、本発明の動画像復号装置１４００Ａ、１４００Ｂの概略的に示すものである。図１９Ａに示される動画像復号装置１４００Ａは、周波数領域の動画像信号１４１１にフィルタ処理を適用するフィルタ１４４０と、フィルタ１４４０の設定を行うフィルタ設定部１４３５と、フィルタ１４４０によってフィルタ処理が施された周波数領域の動画像信号１４１１を空間領域の動画像信号１４２１に変換する逆変換部１４２０とを備える。

動画像復号装置１４００Ａには、フィルタ情報１４３１と、動画像信号１４１１とが入力される。フィルタ情報１４３１は、動画像符号化装置側、例えば、図１８Ａおよび１３Ｂに示される動画像符号化装置１３００Ａ、１３００Ｂのうちの１つによって提供される。フィルタ情報１４３１は、周波数領域の動画像信号１４１１のフィルタリングに用いられるフィルタ１４４０の設定に用いられる。

動画像復号装置１４００Ｂに入力される動画像信号１４０１が周波数領域になければ、まず、図１９Ｂに示されるように、変換部１４１０で周波数領域の動画像信号１４１１に変換されなければならない。フィルタ設定部１４３５は、フィルタ情報１４３１に加えて、周波数領域に変換された動画像信号１４１１を用いてフィルタ１４４０の設定を行ってもよい。

周波数領域のフィルタリング済み動画像信号１４４１は、逆変換部１４２０で空間領域に逆変換されてもよく、さらに処理されてもよい。しかしながら、フィルタ設定部１４３５は、フィルタ情報１４３１を取得も考慮もせずにフィルタ１４４０の設定を行ってもよい。フィルタ１４４０でのフィルタ処理は、ブロック単位で適用される。

（実施の形態１）
図２０Ａ及び図２０Ｂを参照して、本発明の実施の形態１に係る動画像符号化装置１５００を説明する。図２０Ａは、動画像符号化装置１５００の機能ブロック図である。図２０Ｂは、動画像符号化装置１５００の動作を示すフローチャートである。

実施の形態１における符号化信号を生成する処理には、動画像信号から予測信号を減算して予測誤差信号を生成し、予測誤差信号を空間領域から周波数領域に変換し、量子化して量子化係数を生成する処理が含まれる。また、フィルタ情報は、周波数領域の予測誤差信号と、フィルタ処理が適用された後の周波数領域の量子化予測誤差信号との平均二乗誤差が最小になるように決定される。

動画像符号化装置１５００は、図２０Ａに示されるように、減算器１０５と、変換／量子化部１１０と、加算器１２５と、デブロッキングフィルタ１３０と、逆変換部１５２０と、フィルタ設計部１５３０と、フィルタ１５４０と、エントロピー符号化部１５９０と、符号化信号を出力する出力部（図示省略）と、予測ブロック生成部（図示省略）とを備える。

この動画像符号化装置１５００は、入力信号としての動画像信号を符号化し、符号化信号を出力する。出力先は特に限定されないが、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）等の記録媒体でもよいし、伝送路を通じて動画像復号装置１６００に伝送してもよい。

減算器１０５は、符号化対象ブロック（入力信号）から予測ブロック（予測信号）を減算して予測誤差信号を生成する。変換／量子化部１１０は、予測誤差信号をＤＣＴ変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散コサイン変換）すると共に、量子化して量子化係数を生成する。エントロピー符号化部１５９０は、量子化係数をエントロピー符号化して符号化信号を生成する。なお、量子化係数と共に、動き予測部１６５で生成される動き補償データやフィルタ設計部１５３０で生成されるフィルタ情報１５３０等を含めてエントロピー符号化してもよい。

フィルタ設計部１５３０は、フィルタ係数と、第１及び第２のオフセット値とを含むフィルタ情報１５３１を生成する。より具体的には、周波数領域に変換された動画像信号と、フィルタ１５４０での処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように、各種フィルタ情報が決定される。フィルタ情報１５３１は、フィルタ１５４０に提供されると共に、エントロピー符号化部１５９０を経由して出力される。なお、出力されるフィルタ情報１５３１は、少なくともフィルタ係数及び第２のオフセット値が含まれている必要があり、第１のオフセット値は省略することができる。

フィルタ１５４０は、量子化後の周波数領域の信号に、フィルタ情報を用いてフィルタ処理を適用する。より具体的には、量子化の過程で重畳されたノイズを、周波数成分毎に除去する処理を適用する。実施の形態１におけるフィルタ１５４０は、変換／量子化部１１０で生成された量子化係数を逆量子化する。そして、逆量子化された信号に重畳されたノイズを、周波数成分毎に除去する。フィルタ処理の詳細は、後述する。

逆変換部１５２０は、フィルタ１５４０でフィルタ処理されると共に逆量子化された量子化係数をＤＣＴ逆変換して量子化予測誤差信号を生成する。加算器１２５１２０は、量子化予測誤差信号と予測ブロックとを加算して再構築信号を生成する。デブロッキングフィルタ１３０は、再構築信号からブロック歪みを除去して復号信号を生成する。

予測ブロック生成部は、符号化対象ブロック（入力信号）より前に符号化された画像に基づいて、当該符号化対象ブロックを予測した予測ブロックを生成する。この予測ブロック生成部は、メモリ１４０と、補間フィルタ１５０と、動き予測部１６５と、動き補償予測部１６０と、イントラフレーム予測部１７０と、スイッチ１７５とによって構成されている。

メモリ１４０は、復号信号を一時記憶する遅延器として機能する。より具体的には、変換／量子化部１１０で量子化され、且つ逆量子化されたブロックを順次記憶し、１枚の画像（ピクチャ）を記憶する。補間フィルタ１５０は、動き補償予測に先立って復号信号の画素値を空間的に補間する。動き予測部１６５は、復号信号と次の符号化対象ブロックとに基づいて動き予測を行い、動きデータ（動きベクトル）を生成する。動き補償予測部１６０は、復号信号と動きデータとに基づいて動き補償予測を行い、予測ブロックを生成する。イントラフレーム予測部１７０は、復号信号を画面内予測して予測信号を生成する。スイッチ１７５は、予測モードとして「イントラ」モード及び「インター」モードのいずれかを選択する。そして、スイッチ１７５から出力される予測ブロックは、次の符号化対象ブロックを予測した信号となる。

次に、図２０Ｂを参照して、動画像符号化装置１５００の動作を説明する。

まず、減算器１０５は、入力信号から予測信号を減算して、予測誤差信号を生成する（Ｓ１１）。次に、変換／量子化部１１０は、予測誤差信号をＤＣＴ変換すると共に、量子化して量子化係数を生成する（Ｓ１２）。

次に、フィルタ設計部１５３０は、予測誤差信号と量子化係数とを取得して、フィルタ情報１５３１を生成する。より具体的には、予測信号を周波数領域に変換（ＤＣＴ変換）し、量子化係数を逆量子化する。そして、周波数領域の予測信号と、逆量子化され、且つフィルタ処理された後の信号との平均二乗誤差が最小となるようなフィルタ情報１５３１を生成する。

次に、エントロピー符号化部１５９０は、量子化係数、動きデータ、及びフィルタ情報１５３１をエントロピー符号化して符号化信号を生成する（Ｓ１４）。なお、フィルタ情報１５３１は、量子化係数等と合わせてエントロピー符号化してもよいし、これらとは別に出力してもよい。一方、エントロピー符号化部１５９０の動作と平行して、フィルタ１５４０は、フィルタ情報１５３０を用いて、量子化係数にフィルタ処理を適用する（Ｓ１５）。

次に、逆変換部１５２０は、フィルタ１５４０からの出力信号をＤＣＴ逆変換して量子化予測誤差信号を生成する。また、加算器１２５は、量子化予測誤差信号と予測ブロックとを加算して再構築信号を生成する。デブロッキングフィルタ１３０は、再構築信号からブロック歪みを除去して復号信号を生成する。そして、予測ブロック生成部は、復号信号に基づいて予測ブロックを生成する（Ｓ１６）。

次に、図２１Ａ及び図２１Ｂを参照して、本発明の一実施形態に係る動画像復号装置１６００の構成及び動作を説明する。図２１Ａは、動画像復号装置１６００のブロック図である。図２１Ｂは、動画像復号装置１６００の動作を示すフローチャートである。

実施の形態１における符号化信号は、動画像信号が空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られる。また、復号信号を生成する処理には、符号化信号をエントロピー復号して復号信号としての量子化係数を生成する処理が含まれる。さらに、フィルタ処理には、量子化係数にフィルタ処理を適用すると共に、当該量子化係数を逆量子化する処理が含まれる。

動画像復号装置１６００は、図２１Ａに示されるように、符号化信号を取得する取得部（取得部）と、エントロピー復号部１６９０と、フィルタ１６４０と、逆変換部１６２０と、加算器２２５と、デブロッキングフィルタ２３０と、予測ブロック生成部（図示省略）とを備える。この動画像復号装置１６００は、図２０Ａに示される動画像符号化装置１５００で符号化された符号化信号を復号して復号ブロック（復号信号）を生成する。

エントロピー復号部１６９０は、動画像符号化装置１５００から出力された符号化信号をエントロピー復号して、量子化係数、動きデータ、及びフィルタ情報１６９１を取得する。フィルタ１６４０は、フィルタ１５４０と同様に、フィルタ情報１６９１を用いて、量子化係数にフィルタ処理を適用する。

逆変換部１６２０は、フィルタ１６４０から出力される信号をＤＣＴ逆変換することにより、量子化予測誤差信号を生成する。加算器２２５は、逆変換部１６２０から出力される量子化予測誤差信号と、予測ブロック生成部から出力される予測信号とを加算して、再構築信号を生成する。デブロッキングフィルタ２３０は、加算器２２５から出力される再構築信号に対して適用され、ブロックのエッジを平滑化して主観的画質を改善する。

予測ブロック生成部は、メモリ２４０と、イントラフレーム予測部２７０と、動き補償予測部２６０と、補間フィルタ２５０と、スイッチ２７５とを備える。この予測ブロック生成部は、基本的な構成及び動作は共通するが、動き予測部１７０を省略して、動きデータをエントロピー復号部１６９０から取得する点が異なる。

次に、図２１Ｂを参照して、動画像復号装置１６００の動作を説明する。

まず、エントロピー復号部１６９０は、符号化信号をエントロピー復号して、量子化係数、動きデータ、及びフィルタ情報１６９１を取得する（Ｓ２１）。次に、フィルタ１６４０は、フィルタ情報１６９１を用いて、量子化係数にフィルタ処理を適用する（Ｓ２２）。

次に、逆変換部１６２０は、フィルタ１６４０から出力される信号をＤＣＴ逆変換することにより、量子化予測誤差信号を生成する。次に、加算器２２５は、量子化予測誤差信号と予測ブロックとを加算して再構築信号を生成する（Ｓ２３）。また、デブロッキングフィルタ２３０は、再構築信号からブロック歪みを除去する。次に、予測ブロック生成部は、予測ブロックを生成する（Ｓ２４）。 本発明の実施形態によれば、周波数領域のフィルタ設計およびフィルタリングは、ループフィルタリング用に採用される。図２０Ａおよび図２１Ａは、それぞれ、そのような動画像符号化装置１５００および動画像復号装置１６００の例を示す。

（変換された）予測誤差信号、および対応する量子化変換係数に基づき、フィルタ設計部１５３０が、周波数フィルタ１５４０が使用するフィルタ係数を予測し、量子化変換係数をフィルタリングする。その後、フィルタ係数は、符号化のために新たなループフィルタ情報１５３１内のエントロピー符号化部１５９０に提供されてもよい。しかしながら、フィルタ係数そのものを提供／符号化する必要がなくてもよい。

新たなループフィルタ情報１５３１は、概して、動画像符号化装置１５００と類似の方法で動画像復号装置１６００側にフィルタを設定するために必要な情報を含むべきである。それは、動画像復号装置１６００がフィルタ係数を決定できるようにするいかなる情報でもよい。

エントロピー符号化部１５９０は、指数ゴロム、ゴロム、ユニタリー符号、または符号化される新たなループフィルタ情報の特定の統計を考慮して設計された符号等の整数可変長符号を用いてもよい。符号化された新たなループフィルタ情報は、その後、他の符号化動画像データと共に動画像復号装置１６００側に提供される。動画像符号化装置１５００におけるフィルタリング済み変換係数は、逆変換部１５２０で逆変換され、フィルタリング済み量子化予測誤差信号が取得される。

動画像復号装置１６００において、新たなループフィルタ情報１６９１が、エントロピー復号部１６９０によって復号され、フィルタ設計およびフィルタ処理を実行するフィルタ１６４０に提供される。フィルタ設計は、フィルタ係数が動画像符号化装置１５００から直接提供されない場合に、新たなループフィルタ情報に基づいてフィルタ係数を算出するために必要である。フィルタ１６４０は、そのように算出されたフィルタ係数を用いて設定されるか、またはフィルタ係数および恐らく新たなループフィルタ情報１６９１内で取得された他の必要なデータを取得したエントロピー復号部１６９０から直接設定される。

その後、量子化変換係数がフィルタ１６４０によってフィルタリングされ、逆変換部１６２０によって逆変換され、対応するフィルタリング済み量子化予測誤差信号値となり、さらに予測信号に加えられ、再構築信号を得る。再構築信号は、例えば、デブロッキングフィルタ２３０によって、さらにフィルタリングされてもよい。

図２２は、動画像符号化装置１５００および／または動画像復号装置１６００に採用された例示的な周波数領域のフィルタ１５４０、１６４０の詳細を示す。Ｋ個の量子化変換係数ｃ₁’，…，ｃ_k’から、個々のオフセットｏ₁’，…，ｏ_k’（第１のオフセットに相当する。以下同じ。）が減算され、オフセット無しの変換係数ｃ₁”，…，ｃ_k”となる。好ましくは、オフセットｏ₁’，…，ｏ_k’は、各量子化変換係数ｃ₁’，…，ｃ_k’の平均値Ｅ［ｃ₁’］，…，Ｅ［ｃ_k’］に対応する。

各変換係数ｃ₁”，…，ｃ_k”は、その後、フィルタ１７４０でフィルタリングされ、Ｋ個の量子化変換係数ｃ₁”’，…，ｃ_k”’となる。なお、フィルタ１７４０は、各変換係数ｃ₁”，…，ｃ_k”それぞれに対応する独立したフィルタ１〜Ｋを含む。このフィルタ１〜Ｋには、各変換係数ｃ₁”，…，ｃ_k”それぞれに適応するフィルタ係数が個別に設定される。

フィルタリング後に、個々のオフセットｏ_１，…，ｏ_ｋ（第２のオフセットに相当する。以下同じ。）の各々がＫ個のフィルタリング済み変換係数ｃ₁”’，…，ｃ_k”’の各々に加算される。オフセットｏ_１，…，ｏ_ｋは、好ましくは、原予測誤差信号ｓの変換係数ｃ_１，…，ｃ_ｋの平均値である。結果として得られた変換係数１７４１は、逆変換部１５２０、１６２０で逆変換される。逆変換部１５２０、１６２０からの出力信号ｅ’は、フィルタリング済み量子化予測誤差値（残差）に対応する。

動画像符号化装置１５００において、（Ｍ個のフィルタ係数によって得られる）Ｍ次のフィルタでＫ個の変換係数（ｋ＝ｌ，…，Ｋ）をフィルタリングするフィルタ係数ｗ_ｌ，ｋ，…，ｗ_Ｍ，ｋが、例えば、ウィナーフィルタとして算出される。動画像復号装置１６００が動画像符号化装置１５００と同じフィルタリングを行えるようにする目的で、フィルタ情報１５３１は、オフセットｏ_１，…，ｏ_ｋおよびフィルタ係数ｗ_1,k，…，ｗ_M,kを含む。

図２２に示されるフィルタ処理は、復号信号を構成する複数のブロックそれぞれについて、処理対象ブロックの各周波数成分の値と、処理対象ブロックに時間的又は空間的に隣接するブロックの対応する周波数成分の値とを、フィルタ情報に含まれる重み係数を用いて重み付け加算するステップと、重み付け加算を実行する前の処理対象ブロックに対して、各周波数成分の値から第１のオフセット値を減算するステップと、重み付け加算した後の処理対象ブロックに対して、各周波数成分の値にフィルタ情報に含まれる第２のオフセット値を加算するステップとを含む。

なお、重み係数は、フィルタ処理が適用された後の周波数領域の処理対象ブロックと、周波数領域の動画像信号に含まれる処理対象ブロックに対応するブロックとの平均二乗誤差が最小になるように決定されている。また、第１のオフセット値は、周波数領域の復号信号に含まれるブロックのうち、処理対象ブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に算出される。さらに、第２のオフセット値は、周波数領域の動画像信号に含まれるブロックのうち、処理対象ブロックに対応するブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に算出されている。

より具体的には、フィルタ１５４０、１６４０は、量子化の行われるブロック単位の信号に対して適用される。すなわち、ｃ₁’，…，ｃ_k’は、量子化係数の各周波数成分の値（すなわち、ｋ＝６４）に相当する。

フィルタ処理の第１の工程では、量子化係数の各周波数成分の値（ｃ₁’，…，ｃ_k’）から第１のオフセット値（ｏ₁’，…，ｏ_k’）を減算する。この第１のオフセット値（ｏ₁’，…，ｏ_k’）は、量子化係数の各周波数成分の値（ｃ₁’，…，ｃ_k’）を、時間的又は空間的に連続する複数のブロックから抽出して同一周波数成分毎に平均した値である。

次に、フィルタ処理の第２の工程では、第１のオフセット値（ｏ₁’，…，ｏ_k’）が減算された後の量子化係数（ｃ₁”，…，ｃ_k”）を逆量子化し、フィルタ１７４０を適用する。フィルタ１７４０は、周波数成分毎のフィルタ１〜Ｋで構成されており、それぞれにフィルタ係数ｗ₁，…，ｗ_kが提供される。また、フィルタ係数ｗ_kは、Ｍ（たとえば、Ｍ＝９）個の重み係数ｗ_1,k，…，ｗ_M,kで構成される。この重み係数は、処理対象ブロックの各周波数成分の値と、処理対象ブロックに時間的又は空間的に隣接するブロックの対応する周波数成分の値とを、重み付け加算するのに使用される。

なお、この重み係数ｗ_1,k，…，ｗ_M,kは、フィルタ１７４０から出力されるフィルタリング済み変換係数（ｃ₁”’，…，ｃ_k”’）と、原予測誤差信号ｓの変換係数（ｃ_１，…，ｃ_ｋ）から第２のオフセット値（ｏ₁，…，ｏ_k）が減算された値（ｃ_１−ｏ₁，…，ｃ_ｋ−ｏ_k）との平均二乗誤差が最小となるように決定される。

次に、フィルタ処理の第３の工程では、フィルタリング済み変換係数（ｃ₁”’，…，ｃ_k”’）に第２のオフセット値（ｏ₁，…，ｏ_k）が加算される。この第２のオフセット値（ｏ₁，…，ｏ_k）は、原予測誤差信号ｓの変換係数（ｃ_１，…，ｃ_ｋ）を、時間的又は空間的に連続する複数のブロックから抽出して同一周波数成分毎に平均した値である。

フィルタ係数を送信する代わりに、動画像復号装置１６００で取得できないフィルタ係数取得に必要な情報を送信してもよい。そのような情報は、量子化前の入力変換係数ｃ_１，…，ｃ_ｋに関連する任意の情報であり、フィルタ係数ｗ_1,k，…，ｗ_M,kの算出に用いることができる。ウィナーフィルタ設計の場合、例えば、入力変換係数とフィルタリング済み変換係数との間の相互相関ベクトル、またはノイズの自己相関等が送信されてもよい。符号化動画像信号と共にオフセットｏ_１，…，ｏ_ｋを提供することで、フィルタリング後の画質が向上する。しかしながら、オフセットｏ_１，…，ｏ_ｋを提供せずに本発明を実施することも可能である。

この例において、Ｍ次のフィルタは、個々の変換係数のフィルタリングに用いられる個々の係数フィルタに対して等しい。しかしながら、異なる変換係数のフィルタリングに用いられるフィルタ次数が異なれば、利点となる場合がある。様々な変換係数に対する特定のフィルタ次数Ｍ_１，…，Ｍ_ｋは、その後、固定される（デフォルトまたは動画像符号化装置／動画像復号装置に設定される）か、フィルタ情報と共に信号送信される。

（実施の形態２）
図２３及び図２４を参照して、本発明の実施の形態２に係る動画像符号化装置１８００及び動画像復号装置１９００を説明する。本発明の実施の形態２によれば、周波数領域のフィルタ設計およびフィルタリングは、再構築画像／動画像信号に対し動作するポストフィルタに適用される。図２３および図２４は、それぞれ、そのような動画像符号化装置１８００および動画像復号装置１９００を示す。なお、実施の形態１に係る動画像符号化装置１５００及び動画像復号装置１６００と共通する構成要素には同一の参照番号を付し、詳しい説明を省略する。

実施の形態２に係る符号化信号を生成する処理には、周波数領域の動画像信号を量子化し、逆量子化して再構築信号を生成する処理が含まれる。また、フィルタ情報は、周波数領域の動画像信号と、フィルタ処理が適用された後の周波数領域の再構築信号との平均二乗誤差が最小になるように決定される。

動画像符号化装置１８００は、図２３に示されるように、フィルタ設計部１５３０及びフィルタ１５４０を省略する代わりに、フィルタ設計部１８３０を備える点で図２０Ａに示される動画像符号化装置１５００と相違する。

フィルタ設計部１８３０は、動画像復号装置１９００のフィルタ１９４０で使用されるフィルタ情報１８３１を生成する。具体的には、入力信号と再構築信号とを取得し、それぞれを周波数領域に変換する。そして、周波数領域の入力信号と、フィルタ１９４０でフィルタ処理された後の周波数領域の再構築信号との平均二乗誤差が最小となるようにフィルタ情報１８３１を決定する。

動画像復号装置１９００は、図２４に示されるように、フィルタ１６４０を省略する代わりに、フィルタ１９４０を備える点で図６Ａに示される動画像復号装置１６００と相違する。

実施の形態２に係る符号化信号は、動画像信号から予測信号が減算され、空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られる。また、復号信号を生成する処理には、符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換し、予測信号を加算して復号信号としての再構築信号を生成する処理が含まれる。さらに、フィルタ処理には、再構築信号を空間領域から周波数領域に変換する処理と、周波数領域の再構築信号にフィルタ処理を適用する処理と、フィルタ処理を適用した後の再構築信号を周波数領域から空間領域に逆変換する処理とが含まれる。

フィルタ１９４０は、加算器２２５から出力される再構築信号を空間領域から周波数領域に変換し、周波数領域の信号に対してフィルタ情報１９９１を用いてフィルタ処理を適用し、フィルタ処理後の信号を周波数領域から空間領域に逆変換する。

動画像符号化装置１８００内に実装された周波数領域のポストフィルタを設計するフィルタ設計部１８３０が、新たなポストフィルタ情報１８３１をエントロピー符号化部１８９０に提供する。ここで、新たなポストフィルタ情報１８３１は、フィルタ係数を直接含むか、動画像復号装置１９００がポストフィルタ係数を算出できるようにする任意の他の情報を含んでもよい。

動画像符号化装置１８００側において、ポストフィルタリングは予測ループで用いられないため、適用される必要はない。フィルタ設計部１８３０は、入力信号と再構築信号とに基づいて提供されるフィルタ係数、または他の関連情報を算出する。フィルタ係数は、例えば、ウィナーフィルタ係数として予測されてもよく、またはその代わりに、入力信号と再構築信号との間の相互相関、ノイズの自己相関、もしくはノイズと信号との間の相関といった統計的データとして提供されてもよい。

動画像復号装置１９００において、符号化動画像データと共に動画像符号化装置１８００により提供された新たなポストフィルタ情報１９９１は、エントロピー復号部１９９０によって復号される。フィルタ１９４０は、新たなポストフィルタ情報１９９１と再構築動画像信号とを取得することができ、かつ、フィルタを設定し、再構築信号をフィルタリングすることができる。

図２５は、本発明のこの実施形態に用いられる周波数領域の例示的なフィルタ１９４０の詳細を示す。再構築信号ｓ’が、変換部２０１０で周波数領域に変換される。好ましくは、予測誤差の符号化に、動画像符号化装置１８００の変換／量子化部１１０における変換と同じ変換手法が用いられる。これにより、ソフトウェアおよび／またはハードウェアにおいて可能な実施態様を簡易化してもよい。しかしながら、動画像符号化装置１８００による変換手法と異なる変換、例えば機能および／またはサイズに基づく変換もまた用いられてもよい。当該変換はまた、フィルタ設計部１８３０の一部として選択されてもよく、選択された変換は、符号化動画像データと共に動画像復号装置１９００に提供されてもよい。当該選択は、予め定められた変換の組から実行されてもよく、または、変換マトリクス全体が決定され信号送信されてもよい。

変換部２０１０は、入力再構築信号ｓ’をＫ個の変換係数ｃ₁’，…，ｃ_k’に変換する。Ｋ個の変換係数ｃ₁’，…，ｃ_k’から、個々のオフセットｏ₁’，…，ｏ_k’（第１のオフセット値）が減算され、変換係数ｃ₁”，…，ｃ_k”となる。やはり、オフセットｏ₁’，…，ｏ_k’は、好ましくは、対応する変換係数ｃ₁’，…，ｃ_k’を、時間的又は空間的に隣接する複数のブロックから抽出して平均した値である。

オフセットを減算した後の変換係数ｃ₁”，…，ｃ_k”の各々は、フィルタ２０４０でフィルタリングされ、Ｋ個のフィルタリング済み変換係数ｃ₁’”，…，ｃ_k’”となる。

Ｋ個のフィルタリング済み変換係数ｃ₁’”，…，ｃ_k’”の各々に対し、個々のオフセットｏ_１，…，ｏ_ｋ（第２のオフセット値）が加算される。オフセットｏ_１，…，ｏ_ｋは、好ましくは、原入力信号ｓの変換係数ｃ₁，…，ｃ_ｋを、時間的又は空間的に隣接する複数のブロックから抽出して平均した値に対応する。結果として得られた変換係数２０４１は、逆変換部２０２０で逆変換される。出力信号ｓ”は、フィルタリング済み再構築画像を表す。

既に説明した本発明の実施の形態１と同様に、フィルタ係数ｗ_1,k，…，ｗ_M,kおよびオフセットｏ_１，…，ｏ_ｋは、好ましくは、エントロピー符号化部１８９０でエントロピー符号化され、動画像符号化装置１８００から動画像復号装置１９００に提供される。さらに、変換部２０１０および／または逆変換部２０２０で適用される変換手法を信号で伝える変換情報が、動画像符号化装置１８００から動画像復号装置１９００に送信されてもよい。そのような変換情報は、予め定められた固定の組となっている実行可能な変換のうちの１つを指定するものであってもよい。または、変換および／または逆変換マトリクスが信号送信されてもよい。他の可能性として、受信した動画像データに基づいて変換を暗示的に決定すること等も実施されてもよい。動画像データという用語は、符号化済み量子化変換係数と共に送信される、動画像シーケンスを正しく復号するために必要な全てのシンタックス要素を指す。

（実施の形態３）
図２６及び図２７を参照して、本発明の実施の形態３に係る動画像符号化装置２１００、２２００を説明する。本発明の実施の形態３によれば、周波数領域のフィルタリングは、再構築動画像信号に適用される。図２６および図２７は、そのような動画像符号化装置２１００、２２００の例を示す。なお、実施の形態１に係る動画像符号化装置１５００及び動画像復号装置１６００と共通する構成要素には同一の参照番号を付し、詳しい説明を省略する。

特に、図２６に示される動画像符号化装置２１００は、デブロッキングフィルタ１３０の代わりにフィルタ及び設計部２１４０を備える点で図２０Ａに示される動画像符号化装置１５００と相違する。フィルタ及び設計部２１４０は、フィルタ設計およびフィルタ処理を実行する。フィルタの係数は、入力動画像信号（所望の信号）と再構築動画像信号とに基づいて、周波数領域において算出される。その後、フィルタ情報２１３１が、符号化のためエントロピー符号化部２１９０に提供される。

図２７に示される動画像符号化装置２２００は、デブロッキングフィルタ１３０に加えて、その後に動作するフィルタ及び設計部２２３０を備える点で図２０Ａに示される動画像符号化装置２２００と相違する。フィルタ及び設計部２２３０は、入力（所望の）動画像信号と、再構築かつデブロッキングされた動画像信号とに基づいて、周波数領域において算出されたフィルタ係数等のフィルタ情報２２３１を、エントロピー符号化部２２９０に提供する。

なお、図２６及び図２７に示されるフィルタ及び設計部２１４０、２２３０は、例えば、図２３に示されるフィルタ設計部１８３０と同様の方法でフィルタ情報２１３１、２２３１を生成すると共に、図２５に示されるような方式でフィルタ処理を実行する。但し、図２７に示されるフィルタ及び設計部２２３０は、デブロッキングフィルタ１３０から出力される信号を取得する点で、加算器１２５から出力される信号を直接取得する図２３及び図２６の例と異なる。

周波数領域のループフィルタを備える動画像符号化装置２１００、２２００に対応する動画像復号装置は、基本的に、フィルタリングに用いられる動画像符号化装置２１００、２２００と類似の機能的ブロックを備える。フィルタ設計は、取得されたフィルタ情報および／または局所的に算出された情報に基づいて実行される。フィルタ設定後、再構築動画像信号は、周波数領域においてフィルタリングされる。

（実施の形態４）
図２８〜図３０を参照して、本発明の実施の形態４に係る動画像符号化装置２３００及び動画像復号装置２４００を説明する。本発明の実施の形態４によれば、予測信号と、量子化予測誤差信号と、再構築信号とが、フィルタリング（設計）のプロセスにおいて別々に考慮される。図２８は、動画像符号化装置２３００の機能ブロック図である。図２９は、動画像復号装置２４００の機能ブロック図である。図３０は、実施の形態４に係るフィルタリングのプロセスの例を示す。なお、実施の形態１に係る動画像符号化装置１５００及び動画像復号装置１６００と共通する構成要素には同一の参照番号を付し、詳しい説明を省略する。

実施の形態４に係る符号化信号を生成する処理には、動画像信号から予測信号を減算して予測誤差信号を生成し、予測誤差信号を空間領域から周波数領域に変換し、量子化し、逆量子化し、周波数領域から空間領域に変換して量子化予測誤差信号を生成し、量子化予測誤差信号に予測信号を加算して再構築信号を生成する処理が含まれる。また、フィルタ情報は、周波数領域の予測信号、周波数領域の量子化予測誤差信号、及び周波数領域の再構築信号に基づいて、周波数領域の予測誤差信号と、フィルタ処理が適用された後の周波数領域の量子化予測誤差信号との平均二乗誤差が最小になるように決定される。

図２８に示される動画像符号化装置２３００は、入力（所望の）動画像信号、予測信号、量子化予測誤差信号、および復号（再構築かつデブロッキングされた）動画像信号に基づいて周波数領域のフィルタ情報２３３１を決定するフィルタ設計部２３３０を備える点で図２０Ａに示される動画像符号化装置１５００と相違する。フィルタ情報２３３１は、エントロピー符号化部２３９０に提供される。

フィルタ設計部２３３０は、周波数領域の予測誤差信号と、フィルタ２４４０でフィルタ処理が適用された後の周波数領域の量子化予測誤差信号との平均二乗誤差が最小になるように、フィルタ情報２３３１を決定する。

図２９に示される動画像復号装置２４００は、動画像符号化装置２３００に対応する動画像復号装置２４００を示す。

エントロピー復号部２４９０は、フィルタ情報２４９１を復号し、それをフィルタ２４４０に提供する。フィルタ２４４０はポストフィルタを設定し、それを再構築信号に適用する。ここで、フィルタの設定はまた、特に、フィルタ係数の代わりに、フィルタ係数の算出に必要な情報が提供される場合に、動画像符号化装置２３００側でのフィルタ設計部２３３０と類似のフィルタ設計も含んでもよい。

フィルタ設計部２４４０は、量子化予測誤差信号、予測信号、及び再構築信号を空間領域から周波数領域に変換する。そして、周波数領域に変換された各信号の互いに対応するブロックに含まれる同一周波数成分の値毎に、フィルタ情報２４９１を用いてフィルタ処理を適用する。

図３０は、動画像復号装置２４００のフィルタ２４４０の詳細を示す図である。

この例における符号化信号は、動画像信号から予測信号が減算されて予測誤差信号が生成され、当該予測誤差信号が空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られる。また、復号信号を生成する処理には、符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換して量子化予測誤差信号を生成し、量子化予測誤差信号と予測信号とを加算して再構築信号を生成する処理が含まれる。また、フィルタ処理は、復号信号としての量子化予測誤差信号、予測信号、及び再構築信号の互いに対応するブロックに含まれる同一周波数成分の値をフィルタ情報に含まれる重み係数を用いて重み付け加算するステップを含む。さらに、重み係数は、周波数領域の予測誤差信号と、フィルタ処理が適用された後の周波数領域の量子化予測誤差信号との平均二乗誤差が最小になるように決定される。

このフィルタ２４４０では、予測信号ｓ＾、量子化予測誤差信号ｅ’、および再構築信号ｓ’がフィルタリングにおいて別々に考慮される。

量子化予測誤差信号ｅ’の変換係数ｃ_1,e’’，…，ｃ_k,e’’を、時間的又は空間的に隣接する複数のブロックから抽出して平均した値と、原予測誤差信号ｅの変換係数ｃ_１，…，ｃ_ｋを、時間的又は空間的に隣接する複数のブロックから抽出して平均した値とを調整する目的で、図２２を参照して既に簡潔に説明したように、平均調整が行われる。

この目的のため、オフセットｏ_1,e’’，…，ｏ_k,e’’が、ｏ_k,e’’＝Ｅ［ｃ_k,e’’］として算出される。ただし、ｋ＝１，…，Ｋである。オフセットｏ_１，…，ｏ_ｋが、ｏ_ｋ＝Ｅ［ｃ_ｋ］として算出される。ただし、ｋ＝１，…，Ｋである。ここで算出とは、量子化予測誤差信号ｅ’の平均と、原予測誤差信号ｅの平均とを、例えば複数の対応するサンプルに渡る平均として予測することを指す。

周波数領域の各変換係数に対するＫ個のフィルタ設計の最適化基準は、所望の信号ｃ_１−ｏ_１，…，ｃ_ｋ−ｏ_ｋとの間の最小平均二乗誤差であり、この所望の信号は、オフセット信号ｏ_１，…，ｏ_ｋ無しの原予測誤差信号ｅの変換係数、およびフィルタリング済み信号ｃ₁”’，…，ｃ_k”’に対応する。線形フィルタリングが、式２８の通り実行される。

ここで、ｗ_1,k，…，ｗ_M,kは、周波数領域のＫ個のフィルタのＭ・Ｋフィルタ係数であり、１つのＭ次フィルタ、つまり、各周波数成分に対しＭ個のフィルタ係数を有するフィルタである。そのような個別フィルタの各々は、例えば、図３１Ａおよび図３１Ｂに示されるようなＭブロックに置かれた同一周波数成分のＭ個の変換係数ｃ_k,m”に重み付けする。

特に、図３１Ａは、重複していない９個のブロックの配置を示し、当該ブロックの変換係数はフィルタリングに用いられる。しかしながら、ブロック間の相関がより高い可能性があるため、重複するブロックの変換係数を用いる方が利点となる場合がある。対称的に重複するブロックの配置が、図３１Ｂに示される。しかしながら、当該ブロックは、領域のサイズが異なる分、非対称に重複してもよい。重複の方法は、例えば、ブロックの特性にしたがって選択してもよい。さらに、重複は、対象ブロックに対し単一画素（またはサブピクセル）単位で隣接ブロックをずらすことで最大化されてもよい。そのような場合は、フィルタリング済み信号が複数表示され、さらに任意に選択され、かつ／または所望のフィルタリング済み画像を取得するために組み合わされてもよい。

または、フィルタリングにより、時間軸において対象ブロックに隣接する同一周波数のブロック、つまり先行および／または後続フレームのブロックに対応する変換係数に重み付けしてもよい。そのような隣接ブロックの２つの例を、それぞれ図３２Ａおよび２７Ｂに示す。

図３２Ａは、対象ブロック２７０１を含むフレーム２７１０を示す。時間的に対象ブロック２７０１に隣接するブロック２７０２は、フレーム２７１０に時間的に隣接するフレーム２７２０にある。他の時間的に隣接するフレームからの他の時間的に隣接するブロックは、Ｍ番目のフレーム２７３０内のＭ番目のブロック２７０３までのフィルタリングに考慮可能である。この例において、時間的に隣接するブロック２７０１、２７０２、…、２７０３は、動画像シーケンスの異なるフレーム内で同じ位置に位置する。

図３２Ｂは、対象ブロック２７５１を有するフレーム２７５０、および対象ブロック２７５１に時間的に隣接するブロック２７５２を有するフレーム２７６０の他の例を示す。フレーム２７５０に隣接するフレーム２７６０内のブロック２７５２は、動き予測によって取得される。動きベクトル２７８０は、フレーム２７６０の最適なブロック２７５２がフレーム２７５０の対象ブロック２７５１となった動きを示す。よって、この例において、時間的に隣接するブロックは、動き予測、つまり隣接フレーム２７６０の対象ブロック２７５１に対する最適なブロック２７５２を見つけることによって取得されたブロックである。他の隣接フレーム（例えば、フレーム２７７０）のブロック（例えば、ブロック２７５３）は、対象ブロック２７５１に対する最適なブロックとして、または隣接フレーム２７６０内のブロック２７５２のような対象ブロックの他の隣接ブロックに対する最適なブロックとされてもよい。

図３２Ｂに示されるように、フィルタリングに用いられる隣接ブロックを決定するために動き補償を適用することで、図３２Ａの例の統計よりも類似した統計を有する隣接ブロックの組が得られる。概して、フィルタリングに用いられる一時的に隣接するブロックは、必ずしも直接的に隣接したフレームにあるわけではない。例えば、遮蔽の場合、隣接フレームからのブロックは、フィルタリングに考慮する必要はない。さらに、Ｍ個の隣接ブロックは、既に符号化／復号されたフレームからだけではなく、対象ブロックを含むフレームの後続フレームからも選択されてよい。Ｍ個の隣接ブロックはまた、対象ブロックに時間的に隣接したブロックと空間的に隣接したブロックの両方から選択されてもよい。

所望の信号ｃ_１−ｏ_１，…，ｃ_ｋ−ｏ_ｋと、フィルタリング済み信号ｃ₁”’，…，ｃ_k”’の間の平均二乗誤差を最小化するフィルタ係数ｗ_k,1，…，ｗ_k,Mは、式２９のＷｉｅｎｅｒ−Ｈｏｐｆ方程式の解により決定できる。

フィルタ係数ｗ_k,1，…，ｗ_k,Mの計算には、Ｗｉｅｎｅｒ−Ｈｏｐｆ方程式における全ての期待される値（相関項）の知識を要する。同様に、動画像復号装置２４００のフィルタ２４４０で用いられるフィルタ情報２４９１は、動画像符号化装置２３００のフィルタ設計部２３３０で上記の方法で算出される。やはり、再構築信号ｓ’の変換係数ｃ₁’，…，ｃ_k’ を、時間的又は空間的に隣接する複数のブロックから抽出して平均した値と、原入力信号ｓの変換係数ｃ_１，…，ｃ_ｋを、時間的又は空間的に隣接する複数のブロックから抽出して平均した値とは、ｏ_k’＝Ｅ［ｃ_k’］に対応するオフセットｏ₁’，…，ｏ_k’、およびｏ_ｋ＝Ｅ［ｃ_ｋ］に対応するオフセットｏ_１，…，ｏ_ｋによって調整される。

ここで、ｋ＝１，…，Ｋである。所望の信号ｃ_１−ｏ_１，…，ｃ_ｋ−ｏ_ｋと、フィルタリング済み信号ｃ₁”’，…，ｃ_k”’の間の平均二乗誤差を最小化することでフィルタ係数を取得すると、やはり、上記のようなＷｉｅｎｅｒ−Ｈｏｐｆ方程式の方式になる。

動画像符号化装置２１００、２２００、２３００および／または対応する動画像復号装置２４００の各例に用いられるフィルタ設計の例を以下に示す。フィルタ設計の結果は、例えば、図３０に示されるフィルタの設定に用いられてもよい。

ここで、予測信号ｓ＾、量子化予測誤差信号ｅ’、および再構築信号ｓ’が別々に考慮される。対応するオフセットｏ_1,s’’，…，ｏ_k,s’’はｏ_k,s’’＝Ｅ［ｃ_k,s’’］として算出され、オフセットｏ_1,e’’，…，ｏ_k,e’’はｏ_k,e’’＝Ｅ［ｃ_k,e’’］として算出され、オフセットｏ_1,s^’，…，ｏ_k,s^’はｏ_k,s^’＝Ｅ［ｃ_k,s^’］として算出され、オフセットｏ₁，…，ｏ_kはｏ_k＝Ｅ［ｃ_k］として算出される。ここでｋ＝１，…，Ｋである。

周波数領域のＫ個のフィルタの設計の最適化基準は、やはり、所望の信号ｃ_１−ｏ_１，…，ｃ_ｋ−ｏ_ｋとフィルタリング済み信号ｃ₁”’，…，ｃ_k”’との間の最小平均二乗誤差である。線形フィルタリングは式３０のように実行される。

ここで、ｗ_k,s’,1，…，ｗ_k,s’,Mは、再構築信号に用いられるＭ・Ｋフィルタ係数であり、ｗ_k,s^,1，…，ｗ_k,s^,Nは、予測信号に用いられるＮ・Ｋフィルタ係数であり、ｗ_k,e’,1，…，ｗ_k,e’,Oは、量子化予測誤差信号に用いられるＯ・Ｋフィルタ係数である。パラメータＭ、Ｎ、およびＯはフィルタの次数を表す。各フィルタは、Ｍ＋Ｎ＋Ｏブロックの同一周波数成分のＭ＋Ｎ＋Ｏ変換係数ｃ_k,s’,m”，ｃ_k,s^,n”，ｃ_k,e’,o”に重み付けする。

所望の信号ｃ_１−ｏ_１，…，ｃ_ｋ−ｏ_ｋと、フィルタリング済み信号ｃ₁”’，…，ｃ_k”’の間の平均二乗誤差を最小化するフィルタ係数は、式３１のＷｉｅｎｅｒ−Ｈｏｐｆ方程式の方式により決定できる。

ここで、Ｅ［ｘ_ｉｘ_ｊ］は、ｘ_ｉとｘ_ｊの間の全ての相互相関項からなるサブマトリクスを表す。周波数領域におけるフィルタ設計および／またはフィルタリングは、選択された周波数のみに対して実行されてもよい。例えば、ＤＣ係数のみがフィルタリングされてもよい。または、例えば、最初のＬ個の係数の組がフィルタリングされてもよく、フィルタリング対象の係数が動画像の内容に基づいて決定されてもよい。特に、変換係数の値が、フィルタリングを適用すべきか否かを決定する目的で評価される。

これにより、例えば、フィルタリング対象の変換係数値が大幅に異なる場合に、フィルタリングを無効にする可能性が生じる。変換係数値は、好ましくは閾値との比較に基づいて評価される。例えば、対象ブロックの変換係数と、フィルタリングに用いられる他のブロックとの差分が算出され、それに基づいてフィルタリングが有効または無効にされる。

係数間の差分が閾値を超えれば、フィルタリングが無効にされる。超えなければ、フィルタリングが有効にされる。この決定は、または、分散等の、近隣ブロック内の変換係数の統計に基づいて行うことができる。フィルタリングに用いられる近隣ブロックにおける同一周波数の変換係数の分散が閾値を超えれば、フィルタリングが無効にされる。周波数成分毎の閾値は、量子化パラメータに基づいて設定されてもよく、固定されてもよく、符号化動画像データと共に信号送信されてもよい。

フィルタリングを無効にできることにより、フィルタリング対象のブロックの特性が実質的に異なる場合、例えば、高勾配がある場合（空間的に隣接するブロックのエッジ、時間的に隣接するブロックのシーン切り替え）に、フィルタリング済み信号の質が向上する場合がある。

上記の説明において、変換係数は、入力カラーフォーマットによって与えられたラスタにおいて垂直および水平にサンプリングされた通常の（典型的には使用済みの）マクロブロックを変換することで得られたものとして記載した。しかしながら、本発明は、フィルタ情報を決定すること、フィルタを設定すること、および、この方法で取得された変換係数をフィルタリングすることに限定されない。変換されるブロックはまた、例えば４５度といった予め定められた角度に回転した後にサンプリングされてもよい。これは、ある特定の内容を有するブロックに有益であってもよい。サンプリングおよび変換は共に、必ずしも適用された動画像コードのサンプリングおよび変換に対応するとは限らない。

なお、図３１Ａ、図３１Ｂ、図３２Ａ、及び図３３を用いて説明した上記の方式は、実施の形態４のみならず、他の実施の形態１〜３、５におけるフィルタ設計及びフィルタ処理に応用できる。

（実施の形態５）
図３３及び図３４を参照して、本発明の実施の形態５に係る動画像符号化装置２８００及び動画像復号装置２９００を説明する。図３３は、動画像符号化装置２８００の機能ブロック図である。図３４は、動画像復号装置２００の機能ブロック図である。なお、実施の形態１に係る動画像符号化装置１５００及び動画像復号装置１６００と共通する構成要素には同一の参照番号を付し、詳しい説明を省略する。

図３３に示される動画像符号化装置２８００は、ループ内で周波数領域の予測信号のみをフィルタリングするフィルタ２８８０を備える点で図２０Ａに示される動画像符号化装置１５００と相違する。

実施の形態５に係る符号化信号を生成する処理には、動画像信号から予測信号を減算して予測誤差信号を生成し、予測誤差信号を空間領域から周波数領域に変換し、量子化し、逆量子化し、周波数領域から空間領域に変換して量子化予測誤差信号を生成し、量子化予測誤差信号に予測信号を加算して再構築信号を生成する処理が含まれる。また、フィルタ情報は、周波数領域の動画像信号と、フィルタ処理が適用された後の周波数領域の予測信号との平均二乗誤差が最小になるように決定される。

フィルタ情報は、周波数領域の入力信号および予測信号に基づいてウィナーフィルタ係数として予測される。フィルタリング済みの予測信号は、その後、さらに変換／符号化部１１０、及びエントロピー符号化部２８９０に供給されると共に、デブロッキングフィルタ１３０の前に再構築に用いられる。フィルタ情報は、エントロピー符号化部２８９０によって符号化され、動画像復号装置２９００側に提供される。

図３４に示される動画像復号装置２９００は、周波数領域の予測信号にフィルタ処理を適用するフィルタ２９８０を備える点で図２１Ａに示される動画像復号装置１６００と相違する。

実施の形態５に係る符号化信号は、動画像信号から予測信号が減算され、空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られる。また復号信号を生成するステップには、符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換して量子化予測誤差信号を生成し、量子化予測誤差信号と予測信号とを加算して再構築信号を生成する処理が含まれる。さらに、フィルタ処理には、予測信号を空間領域から周波数領域に変換する処理と、周波数領域の予測信号にフィルタ処理を適用する処理と、フィルタ処理が適用された後の予測信号を周波数領域から空間領域に逆変換する処理とが含まれる。

エントロピー復号部２９９０は、フィルタ情報を復号し、それらを、予測信号のフィルタリングに用いるためフィルタ２９８０に送る。予測信号は、加算器２２５およびデブロッキングフィルタ２３０に用いられる前にフィルタリングされる。予測信号をそのようにフィルタリングすることにより、予測誤差を最小化でき、よって再構築動画像の画質を更に向上させることができる。

図３５は、上記の各実施の形態に係る動画像符号化装置の例を詳細に示すブロック図である。異なる（空間的におよび／または時間的に隣接する）ブロックからの同一周波数の変換係数に重み付けすることでフィルタリングを適用する場合、これらの隣接ブロックを記憶する必要がある。フィルタリングが再構築動画像信号に適用される場合、再構築動画像信号はループ内でメモリ１４０、２４０に記憶されるため、追加的な記憶容量は必要ない。

しかしながら、フィルタ３０３０の場合、例えば、予測信号または予測誤差信号の対象ブロック３００１、隣接ブロック３００２の係数値が、メモリ３０２０に記憶されなければならない。フィルタリング済み信号は、その後、逆変換され、逆変換された信号３０４１となり、再構築に使用できる。この例の隣接ブロック３００２は、既に符号化／復号された空間的に隣接するブロックである。しかしながら、概して、動画像シーケンス内の異なる位置にある任意の数のブロックが用いられてもよい。

図３６は、フィルタ３１３０が無限インパルス応答（ＩＩＲ）フィルタリングである他の例を示す。有限応答フィルタリング（ＦＩＲ）とは異なり、ＩＩＲフィルタは、入力信号のサンプルだけではなく出力（フィルタリング済みの）信号のサンプルにも重み付けする。したがって、フィルタリング済み信号は、フィルタリング対象の信号に加えてメモリ３１２０に記憶されなければならない。上記例のほとんどはＦＩＲフィルタリングに関するが、本発明はそれに限定されない。

ＦＩＲフィルタは概して設計しやすいが、周波数領域においてＩＩＲフィルタリングの方が性能がよい場合がある。対象ブロック３１０１のフィルタリングに関わるブロックは概して、全て、既にフィルタリング済みの隣接ブロック３１０２である。図３６は、４つの先行ブロックのみを示す。しかしながら、既にフィルタリング済みの信号に重み付けすることにより、理論的に、全ての既にフィルタリング済みのブロックがフィルタリング結果に貢献する。各ブロックの貢献度は、対象ブロック３１０１からの距離（隣接ブロックの選択により、空間的および／または時間的距離）と共に減少する。

なお、図３５及び図３６を用いて説明した上記の方式は、実施の形態５のみならず、他の実施の形態１〜４におけるフィルタ設計及びフィルタ処理に応用できる。

本発明の上記実施形態は、適用されるフィルタの適応性に関して制限されるものではない。動画像符号化装置１３００および／または動画像復号装置１４００で採用されたフィルタは、動画像シーケンス毎に、または数個の動画像シーケンスに１回ずつ設計されてもよい。しかしながら、現在の統計にフィルタ設計を適用させると、通常、画質が向上する。フィルタ設計は、例えば、グループオブピクチャ単位、画像単位、スライスもしくはマクロブロック単位、ブロックもしくはそのような画像要素の数個単位で定期的に実行されてもよい。それに対応して、フィルタ情報が同じ規則性で提供（信号送信）されてもよい。

しかしながら、フィルタ設計の実行よりも低い頻度でフィルタ情報を提供すると利点となる場合がある。特に、所望の信号とフィルタリング済み信号との間の相互相関、またはノイズの自己相関といった、フィルタ係数を算出するための情報が提供された場合、この情報は、フィルタ係数が実際に算出されるよりも低い頻度で送信されてもよい。フィルタ情報は更新されないが、復号動画像変換係数および／または動画像信号から取得可能な、フィルタ係数の算出に必要な追加的情報がリフレッシュされる。

フィルタ設計および／またはフィルタ情報の信号送信はまた、不定期に、例えば動画像信号の統計が大幅に変化したときに実行されてもよい。フィルタの局所適応は、欧州出願第０８０１５６６１．５号に開示の方法と類似の方法で達成されてもよい。当該出願をここに引用し、援用する。さらに、量子化パラメータおよび／または量子化マトリクス値といった量子化設定は、特定の周波数成分に対するフィルタ係数の決定に用いられてもよい。

適応的フィルタ、フィルタ情報、例えばフィルタ係数の場合は、（エントロピー）符号化され、補助情報として動画像復号装置に提供される。Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ符号化方式またはその将来の拡張版および後続規格のコンテキストにおいて、フィルタ情報は好ましくは、ピクチャパラメータセット（ＰＰＳ）ＮＡＬユニット、またはシーケンスパラメータセット（ＳＰＳ）ＮＡＬユニットのスライスヘッダ内に送信される。適応的ポストフィルタ方式では、ポストフィルタ情報はまた、ＳＥＩ（補助強化情報）として動画像復号装置に送信することができる。

量子化予測誤差がフィルタリングのプロセスにおいて（つまり、フィルタ設計および／またはフィルタリングのために）考慮されるとき、その量子化予測誤差は変換領域において既に利用可能であることから、必ずしも図３０に示されるように別々に変換される必要はない。しかしながら、動画像符号化装置によって使用される変換／量子化部１１０、及び逆量子化／逆変換部１２０に関わらず、他の変換手法が選択されてもよい。そのような変換および／または逆変換は、動画像符号化装置で決定され、符号化され、動画像復号装置に提供されてもよい。

さらに、フィルタリングのプロセス（少なくともフィルタの設計および適用のうちの１つ）における変換に用いられるブロックグリッドは、必ずしも変換／量子化部１１０といった符号化ステップの内の１つにおけるブロックグリッドと同じである必要はない。フィルタリングのプロセスに用いられるブロックグリッドは、例えば、１つまたは２つのピクチャ要素（例えば画素）単位で、左、右、上およびまたは下にずらしてもよい。他のずらし方も可能である。フィルタ設計およびフィルタ適用に用いられるブロックは、必ずしも、符号化に用いられるブロックと同じサイズである必要はない。

適用された変換の数は、完全なものを超えてもよい。これは、変換を重複して用いることにより、空間領域のピクチャ要素よりも多くの係数が変換領域において生成されてもよいことを意味する。これにより、各ピクチャ要素（例えば画素値）に対して２つ以上のフィルタリング済みの表現が得られるであろう。これらは、最終的なフィルタリング済みの表現を得るために重み付けされてもよい。この重み付けはまた、適応的でもよく、符号化され、動画像復号装置に提供されてもよい。

上記動画像符号化装置の例に適用されたエントロピー符号化部は、必ずしも同じではない。好ましくは、フィルタ情報のエントロピー符号化は、より高い符号化効率を達成するために当該フィルタ情報の統計に適応されてもよい。

本発明の実施形態の例は、ウィナーフィルタ設計に焦点をおいて説明した。これは、ウィナーフィルタは、最初の２つの統計モーメントの知識に基づいて容易に算出できるからである。しかしながら、例えばより高次の統計（例えば、最大尤度推定）も考慮できるか、または平均二乗誤差以外の他の基準や測定基準を最適化できる他のフィルタ設計もまた適用してもよい。

図３７は、本発明による、動画像符号化装置３２０１側から動画像復号装置３２０３側へ動画像信号を送信するシステムを説明する図である。入力画像信号は、動画像符号化装置３２０１によって符号化され、チャネル３２０２へ提供される。上述したように、動画像符号化装置３２０１は、本発明の任意の実施形態に係る動画像符号化装置である。

図３７に示される動画像符号化装置３２０１は、少なくとも、動画像信号を空間領域から周波数領域に変換し、量子化して、符号化信号を生成する符号化部と、量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するフィルタ設計部と、符号化信号及びフィルタ情報を出力する出力部とを備える。なお、フィルタ情報は、周波数領域の動画像信号と、フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される。

一方、図３７に示される動画像復号装置３２０３は、符号化信号及びフィルタ処理を特定するフィルタ情報を取得する取得部と、符号化信号を復号して復号信号を生成する復号部と、動画像信号を符号化する過程で重畳されたノイズを、周波数領域の復号信号の周波数成分毎に除去するフィルタ処理を、フィルタ情報を用いて周波数領域の復号信号に適用するフィルタ部とを備える。なお、フィルタ情報は、周波数領域の動画像信号と、フィルタ処理が適用された後の周波数領域の復号信号との平均二乗誤差を最小にするための情報を含む。

チャネル３２０２は、格納手段か伝送チャネルである。格納手段は、例えば、任意の揮発性または非揮発性メモリや、任意の磁気または光学媒体や、大容量格納手段などである。任意の伝送システムや、無線あるいは配線または固定的あるいは移動可能な、ｘＤＳＬ、ＩＳＤＮ、ＷＬＡＮ、ＧＰＲＳ、ＵＭＴＳ、Ｉｎｔｅｒｎｅｔのようなものや、標準化または特許化されたシステムの物理的リソースによって、伝送チャネルを形成してもよい。

動画像符号化装置３２０１側は、動画像信号の符号化以外にも、チャネル３２０２を通して符号化動画像信号を伝送するフォーマットコンバータおよび／またはトランスミッタなどによる入力動画像信号の前処理や、符号化動画像信号を記録媒体に送信するためのアプリケーションを含んでもよい。符号化動画像信号は、チャネル３２０２を通じて動画像復号装置３２０３によって取得される。上述したように、動画像復号装置３２０３は、本発明の実施形態に係る動画像復号装置である。動画像復号装置３２０３は、符号化動画像信号を復号する。動画像復号装置３２０３側は、動画像信号の復号以外に、さらに、チャネル３２０２からの符号化動画像信号または格納手段からの符号化動画像データを抽出するためのアプリケーションを受信するレシーバと、さらに／または、フォーマット変換など復号動画像信号の後処理をおこなう後処理手段を備えてもよい。

本発明の他の実施形態は、ハードウェアおよびソフトウェアを用いる、上述のさまざまな実施形態の実施態様に関連するものである。本発明のさまざまな実施形態は、演算装置（プロセッサ）を用いて実現され実施されると分かる。演算装置またはプロセッサは、例えば、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーション用集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または、プログラマブルロジックデバイスなどであってもよい。本発明のさまざまな実施形態は、それらの装置を組み合わせて実施または具現化されてもよい。

さらに、本発明のさまざまな実施形態を、プロセッサまたはハードウェア内で直接的に実行されるソフトウェアモジュールを用いて実現してもよい。ソフトウェアモジュールとハードウェアの実施態様を組み合わせることも可能であろう。例えばＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、レジスタ、ハードディスク、ＣＤ‐ＲＯＭ、ＤＶＤなど、任意の種類のコンピュータで読み取り可能な記憶媒体にソフトウェアモジュールを格納してもよい。

Ｈ．２６４／ＡＶＣに基づく動画像符号化システムに関連して上述の例の大半を概要説明した。用語は、主として、Ｈ．２６４／ＡＶＣの用語に関連したものである。しかしながら、Ｈ．２６４／ＡＶＣに基づく符号化に対するさまざまな実施形態の用語および記述は、本発明の原理および考えを、当該システムに限定することを意図しない。Ｈ．２６４／ＡＶＣ標準規格に準拠した符号化および復号に関する詳細な説明は、ここで説明した例示的な実施形態についての理解を深めることを意図しており、動画像符号化におけるプロセスおよび機能を、説明した特定の実施態様に本発明が限定されるように理解されるべきではない。一方、ここで提案した改良策は、動画像符号化において容易に応用可能であろう。さらに、本発明のコンセプトは、ＪＶＴによって現在討議されているＨ．２６４／ＡＶＣの拡張符号化においても容易に利用可能であろう。

図３８は、本発明によって達成できる利点の例を示すグラフである。このグラフは、空間解像度が１９２０×１０８０画素、かつフレームレートが毎秒２４フレームのＹＵＶ４：２：０の色空間におけるＭＰＥＧテストシーケンス「Ｄｉｎｎｅｒ」の符号化に必要なビットレートに対するＹ−ＰＳＮＲ（輝度成分Ｙのピーク信号対ノイズ比）を示す。本発明の符号化方式が、ポストフィルタ無しのＨ．２６４／ＭＰＥＧ−４ＡＶＣと、欧州出願第０８０１２０３６．３号による、分離できない２次元ウィナーポストフィルタで拡張されたＨ．２６４／ＭＰＥＧ−４ＡＶＣと比較される。実験は量子化重み行列（Ｑマトリクス）を用いて行われた。イントラ符号化および４×４変換が適用された。

要約すると、本発明による動画像の符号化および復号は、周波数領域におけるフィルタ設計およびフィルタリングを採用し、対応するフィルタを設定するためのフィルタ情報を動画像符号化装置側から動画像復号装置側に提供可能にする。周波数領域においてフィルタリングを行うことは、周波数領域にノイズも挿入された場合に、例えば、変換動画像信号の量子化に基づく動画像符号化において、特に利点をもたらす。

（実施の形態６）
次に、上記ノイズ除去フィルタの効率を向上させる目的で、図３９Ａ及び図３９Ｂに示すような拡張アルゴリズムのフローを提案する。図９Ａ及び図９Ｂのアルゴリズムフローとの違いは、係数ｃ_i,k＾へのウィナーフィルタ演算である。ウィナーフィルタリングの結果、係数ｃ_i,k ^〜となる。これらは、重み付き逆変換の計算に用いられる。ウィナーフィルタ演算は、式３２に示されるような線形フィルタである。ここで、記号「^〜（チルダ）」は、それぞれ直前の文字の上に付される記号を示し、本明細書では、以下、記号「^〜（チルダ）」を同様な意味で使用する。

上記式３２によると、係数ｃ_i,k ^〜（ｊ）は、係数予測値ｃ_i,k＾（ｊ）の線形結合の結果である。フィルタ長はＬである。オフセットｏ_ｋ（ｊ）を付加可能である。係数ｃ_i,k ^〜（ｊ）はＬ個の係数予測値ｃ_i,k＾（ｊ）の重み付け和である。それぞれの係数予測値ｃ_i,k＾（ｊ）は現在ブロックまたは現在ブロックに隣接するブロックの係数であり（図３１Ａ参照）、周波数領域への変換により得られる係数である。隣接するブロックは現在ブロックにオーバーラップしてもよい（図３１Ｂ参照）。係数ａ_ｌ，ｋ（ｊ）およびオフセットｏ_ｋ（ｊ）は、好ましくは、ｋ＝０，…，２によって示されるノイズ除去ループの各々に対して個別のものである。

係数ａ_ｌ，ｋ（ｊ）およびオフセットｏ_ｋ（ｊ）は、元の係数ｃ_ｉ（ｊ）とフィルタ済み係数ｃ_i,k ^〜（ｊ）との間の平均二乗誤差を最小化することで、動画像符号化装置側で予測される。係数ａ_1,k（ｊ）およびオフセットｏ_ｋ（ｊ）は、符号化され、動画像復号装置側に送信される。

係数の符号化は、好ましくは、下記の方法で予測符号化を用いて行われる。ｋ＝１，２のとき係数ａ_1,k（ｊ）の各々はａ_1,k-1（ｊ）によって予測される。差分ａ_1,k（ｊ）−ａ_1,k-1（ｊ）のみが符号化され送信される。この符号化は固定長符号または可変長符号によって実行されてもよい。

ｋ＝１，２のときオフセットｏ_k（ｊ）の各々はｏ_k-1（ｊ）によって予測される。差分ｏ_k（ｊ）−ｏ_k-1（ｊ）のみが符号化され送信される。この符号化は固定長符号または可変長符号によって実行されてもよい。

このノイズ除去フィルタをウィナーフィルタと組み合わせて、ポストフィルタとして用いることも可能であるが、符号化／復号ループ内では適用されない。この場合、補助的拡張情報（ＳＥＩ）メッセージを用いてウィナーフィルタ係数を送信することが好ましい。

図４０Ａ及び図４０Ｂは、その他の拡張アルゴリズムのフローを示す。図３９Ａ及び図３９Ｂに示されるフローとの違いは、ウィナーフィルタの入力信号は１つだけではなく、２つの異なる入力信号があることである。第１の入力信号は、係数ノイズ除去演算前の係数ｆ_1,k-1,・・・,ｆ_L,k-1であり、第２の入力信号は、ノイズ除去演算後の係数ｃ_1,k＾,・・・,ｃ_L,k＾である。ウィナーフィルタリングの結果は、式３３の通りである。

ウィナーフィルタリングへの個々の入力として２つの異なる信号ｆ_1,k-1,・・・,ｆ_L,k-1およびｃ_1,k＾,・・・,ｃ_L,k＾を用いることで、信号ｃ_1,k＾,・・・,ｃ_L,k＾のみを用いる場合と比べて、平均二乗誤差をより小さくすることができる。この理由は、両信号は原画信号のノイズを表現したものであるが、ノイズは両信号で異なるからである。上記式３３は、３つのウィナーフィルタと１つのオフセットがつなぎ合わされた構成をも包含する。ノイズの表現（ｆ_1,k-1,・・・,ｆ_L,k-1またはｃ_1,k＾,・・・,ｃ_L,k＾）は、各々、ウィナーフィルタリングされる。２つの結果も、やはりウィナーフィルタリングされる。その結果に対し、オフセットが付加される。係数ａ_1,k（ｊ）およびｂ_1,k（ｊ）が符号化され送信される。さらに、オフセットｏ_ｋ（ｊ）が符号化され送信される。この符号化ステップに関し、上記に説明したようなステップｋの係数とステップｋ−１の係数の間の予測が、ａ_1,k（ｊ）、ｂ_1,k（ｊ）、およびｏ_ｋ（ｊ）に適用可能である。

図４１Ａ及び図４１Ｂは、その他の拡張アルゴリズムのフローを示す。この場合、係数がまず線形ウィナーフィルタによってフィルタリングされる。その結果得られたフィルタリング済み係数は、さらに非線形ノイズ除去フィルタによってノイズ除去される。

なお、実施の形態６に係る処理は、実施の形態１〜５に係る動画像符号化装置及び動画像復号装置に適用することができる。

（実施の形態７）
上記実施の形態で示した画像符号化方法または画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記実施の形態で示した画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。

図４２は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図４２のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用および画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理および復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利または設備を有さないユーザでも個人放送を実現できる。

このコンテンツ供給システムを構成する各機器の符号化、復号には上記実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。

その一例として携帯電話ｅｘ１１４について説明する。

図４３は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えおよび消去が可能な不揮発性メモリであるＥＥＰＲＯＭの一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１４について図４４を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２および操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６および音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。

電源回路部ｅｘ７１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、音声出力部ｅｘ６０８を介してこれを出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データを、カメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３およびＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。

画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を、音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。

多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。

また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。

次に、画像復号部ｅｘ７０９は、本願で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これを、ＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図４５に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置を組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データまたはそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、衛星放送受信設備をもつ家庭のアンテナｅｘ２０４はこの電波を受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置はビットストリームを復号してこれを再生する。また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１５、ｅｘ２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で、衛星ｅｘ２０２または基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データまたはそれらのデータが多重化された符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に、音声データ、映像データまたはそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置または画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、符号化ビットストリームが記録された記録メディアｅｘ２１５により、他の装置およびシステム等は、映像信号を再生することができる。例えば、他の再生装置ｅｘ２１２は、符号化ビットストリームがコピーされた記録メディアｅｘ２１４を用いて、モニタｅｘ２１３に映像信号を再生することができる。

また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。

図４６は、上記実施の形態で説明した画像復号方法および画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、または、出力するチューナｅｘ３０１と、受信した符号化データを復調する、または、生成された符号化データを外部に送信するために変調する変調／復調部ｅｘ３０２と、復調した映像データと音声データとを分離する、または、符号化された映像データと音声データとを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、または、それぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号された音声信号を出力するスピーカｅｘ３０７、復号された映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２と多重／分離部ｅｘ３０３との間等でもシステムのオーバフローおよびアンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は、上記の符号化処理、多重化、および、外部出力ができる構成として説明したが、これらのすべての処理を行うことはできず、上記受信、復号処理、および、外部出力のうちいずれかのみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００およびリーダ／レコーダｅｘ２１８のうちいずれかで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図４７に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理は、システム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３およびサーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図４８に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置は、情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３の内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図４６に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器およびシステムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明は、上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態８）
上記各実施の形態で示した画像符号化方法および装置、画像復号方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図４９に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３およびストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して得た符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声データの復号および／または映像データの復号を行う。ここで映像信号の復号処理は、上記実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号は、メモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５およびテレビｅｘ３００等の各出力部から出力される。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上、本発明に係る画像符号化方法、画像符号化装置、画像復号方法および画像復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施した形態、および、異なる実施の形態における構成要素およびステップ等を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。

本発明は、画像符号化方法（装置）及び画像復号方法（装置）に有利に利用される。

１００，４００，５００，６００，１３００Ａ，１３００Ｂ，１５００，１８００，２１００，２２００，２３００，２８００，３２０１ 動画像符号化装置
１０５ 減算器
１１０ 変換／量子化部
１２０，２２０ 逆量子化／逆変換部
１２５，２２５ 加算器
１３０，２３０ デブロッキングフィルタ
１４０，２４０，３０２０，３１２０ メモリ
１５０，２５０ 補間フィルタ
１６０，２６０ 動き補償予測部
１６５ 動き予測部
１７０，２７０ イントラフレーム予測部
１７５，２７５ スイッチ
１８０，６４０ ポストフィルタ設計部
１９０，４９０，５９０，６９０，１５９０，１８９０，２１９０，２２９０，２３９０，２８９０ エントロピー符号化部
２００，７００，１４００Ａ，１４００Ｂ，１６００，１９００，２４００，２９００，３２０３ 動画像復号装置
２８０，７４０ ポストフィルタ
２９０，１６９０，１９９０，２４９０，２９９０ エントロピー復号部
３００，９３０，１１３０ ウィナーフィルタ
４４０，５４０ ウィナーフィルタ及び設計部
８１０，９１０，１１１０ ＤＣＴ変換部
８２０，９２０，１１２０ ＤＣＴ逆変換部
１３０１，１３１１，１４０１，１４１１，１４４１ 動画像信号
１３１０，１４１０，２０１０ 変換部
１３３０，１５３０，１８３０，２３３０ フィルタ設計部
６４１，１３３１，１４３１，１５３１，１６９１，１８３１，１９９１，２１３１，２２３１，２３３１，２４９１ フィルタ情報
１４２０ 逆変換部
１４３５ フィルタ設定部
１４４０，１５４０，１６４０，１７４０，１９４０，２０４０，２４４０，２８８０，２９８０，３０３０、３１３０ フィルタ
１５２０，１６２０，２０２０，３０４０，３１４０ 逆変換部
１７４１，２０４１ 変換係数
２１４０，２２３０ フィルタ及び設計部
２７１０，２７２０，２７３０，２７５０，２７６０，２７７０ フレーム
２７０１，２７０２，２７０３，２７５１，２７５２，２７５３ ブロック
２７８０ 動きベクトル
３０１０，３１１０ 逆量子化部
３０４１，３１４１ 信号
３００１，３１０１ 対象ブロック
３００２，３１０２ 隣接ブロック
３２０２ チャネル
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６，ｅｘ１０７，ｅｘ１０８，ｅｘ１０９，ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ
ｅｘ１１３，ｅｘ１１６ カメラ
ｅｘ１１４ カメラ付デジタル携帯電話（携帯電話）
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４，ｅｘ２０５，ｅｘ６０１ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３，ｅｘ２１９ モニタ
ｅｘ２１４，ｅｘ２１５，ｅｘ２１６，ｅｘ６０７ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６，ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８，ｅｘ６０２ 表示部
ｅｘ３０９ 出力部
ｅｘ３１０，ｅｘ５０１ 制御部
ｅｘ３１１，ｅｘ５０５，ｅｘ７１０ 電源回路部
ｅｘ３１２ 操作入力部
ｘ３１３ ブリッジ
ｅｘ３１４，ｅｘ６０６ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インターフェース部
ｅｘ３１８，ｅｘ３１９，ｅｘ３２０，ｅｘ３２１，ｅｘ４０４，ｅｘ５０８ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ ＣＰＵ
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームコントローラ
ｅｘ５０６ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ６０３ カメラ部
ｅｘ６０４ 操作キー
ｅｘ６０５ 音声入力部
ｅｘ６０８ 音声出力部
ｅｘ７０１ 送受信回路部
ｅｘ７０２ ＬＣＤ制御部
ｅｘ７０３ カメラインターフェース部（カメラＩ／Ｆ部）
ｅｘ７０４ 操作入力制御部
ｅｘ７０５ 音声処理部
ｅｘ７０６ 変復調回路部
ｅｘ７０７ 記録再生部
ｅｘ７０８ 多重分離部
ｅｘ７０９ 画像復号部
ｅｘ７１１ 主制御部
ｅｘ７１２ 画像符号化部
ｅｘ７１３ 同期バス

本発明は、動画像信号をフィルタリングするためのフィルタを用いて動画像を符号化および復号する方法および装置に関する。

現在、標準的な動画像符号化アルゴリズムの大多数はハイブリッド動画像符号化に基づくものである。典型的には、ハイブリッド動画像符号化方法は、所望の圧縮成果を達成するために、それぞれ異なるロスが生じない圧縮方式とロスが生じる圧縮方式とを組み合わせたものである。ハイブリッド動画像符号化は、ＩＳＯ／ＩＥＣ標準規格（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４のようなＭＰＥＧ−Ｘ標準規格）と同様に、ＩＴＵ−Ｔ標準規格（Ｈ．２６１やＨ．２６３のようなＨ．２６ｘ標準規格）の基礎でもある。最新の動画像符号化標準規格は、Ｈ．２６４／ＭＰＥＧ−４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と称されるものである。これは、ジョイントビデオチーム（ＪＶＴ）およびＩＴＵ−ＴとＩＳＯ／ＩＥＣ ＭＰＥＧグループとのジョイントチームによる標準化活動の成果である。

エンコーダへ入力される動画像信号は、フレーム（又はピクチャ）と呼ばれる画像のシーケンスであり、各フレームは２次元マトリクスの画素からなる。ハイブリッド動画像符号化に基づく上述の標準規格の全てにおいて、個々の動画像フレームは複数の画素からなる小ブロックへ細分化される。典型的には、マクロブロック（通常は１６×１６画素ブロックを意味する）が基本的な画像エレメントであり、これに対して符号化がおこなわれる。しかしながら、より小さい画像エレメントに対してさまざまな特定の符号化ステップがおこなわれる場合がある。例えば、８×８、４×４、１６×８などのサイズのサブマクロブロックや単なるブロックが挙げられる。

典型的には、ハイブリッド動画像符号化における符号化ステップには、空間的および／または時間的予測が含まれる。したがって、各符号化対象ブロックは、まず、既に符号化された動画像フレームから空間的に隣接したブロックか時間的に隣接したブロックかを用いて予測される。符号化対象ブロックと予測残差とも呼ばれる予測結果との差分ブロックが、次に求められる。次の符号化ステップでは、残差ブロックが空間（画素）領域から周波数領域へ変換される。変換の目的は、入力ブロックの冗長性を削減することである。次の符号化ステップにおいて、変換係数が量子化される。このステップにおいて、実質的にロスが生じる（不可逆的な）圧縮がおこなわれる。通常、圧縮変換係数値は、エントロピー符号化によって（ロスを生じさせずに）さらに圧縮される。さらに、符号化動画像信号を再構築するために必要な補助情報が符号化され、符号化動画像信号とともに提供される。この情報は、例えば、空間的および／または時間的予測や量子化量に関するものである。

図１は、Ｈ．２６４／ＭＰＥＧ ＡＶＣ標準規格に準拠した、典型的な動画像符号化装置（「エンコーダ」ともいう。以下同じ。）１００の一例を示す。Ｈ．２６４／ＭＰＥＧ ＡＶＣ標準規格は、上述の符号化ステップの全てを組み合わせたものである。減算器１０５は、まず、動画像（入力信号）の対象ブロック（符号化対象ブロック）と、対応する予測ブロック（予測信号）との差分を特定する。

時間的予測ブロックは、メモリ１４０に格納されている符号化画像から得られるブロックである。空間的予測ブロックは、符号化されてメモリ１４０に格納された隣接ブロック内の境界画素の画素値から補間される。よって、メモリ１４０は、対象信号値と過去の信号値から生成された予測信号とを比較する遅延手段として動作する。メモリ１４０は、複数の符号化動画像フレームを格納可能である。

入力信号と予測信号との差分は予測誤差または残差と称され、変換／量子化部１１０によって変換され量子化される。ロスが生じない方法でデータ量をさらに削減するために、エントロピー符号化部１９０によって量子化係数がエントロピー符号化（「可変長符号化」ともいう。以下同じ。）される。具体的には、値の発生確率に基づいて長さが決められる複数の符号語を用いる可変長符号化によりデータ量が削減される。

Ｈ．２６４／ＭＰＥＧ ＡＶＣ標準規格には、動画像符号化層（ＶＣＬ）とネットワーク抽象レイヤ（ＮＡＬ）という２つの機能層が備えられている。ＶＣＬは、既に簡単に触れた符号化機能を提供する。ＮＡＬは、チャネル上伝送や格納手段への格納といった、さらなるアプリケーションにしたがって、動画像の復号時に必要な補助情報とともに符号化予測誤差信号を、ＮＡＬユニットと呼ばれる標準単位にカプセル化する。圧縮動画像データおよびその関連情報を含むＶＣＬ ＮＡＬユニットと呼ばれるものがある。

一方、付加データをカプセル化する非ＶＣＬユニットと呼ばれるものもある。付加データは、例えば、動画像シーケンス全体に関するパラメータセットや、ポストフィルタヒントのような復号性能を改善するために用いることができる付加情報を提供する、最近追加された補助的拡張情報（ＳＥＩ）などである。

動画像符号化装置１００内に、復号動画像信号を取得する復号手段が備えられる。符号化ステップに準拠して、復号ステップには逆量子化／逆変換部１２０での処理が含まれる。復号予測誤差信号は、量子化ノイズとも呼ばれる量子化誤差が原因で原予測誤差信号とは異なる。加算器１２５によって復号予測誤差信号を予測信号に加算することにより、再構築信号が取得される。エンコーダ側とデコーダ側の互換性を保つために、符号化された後に復号された動画像信号に基づいて、双方に知られる予測信号を求める。量子化によって、量子化ノイズが再構築動画像信号に重畳される。

ブロック単位での符号化により、重畳されたノイズはしばしば、ブロッキング特性を有し、特に強い量子化がおこなわれた場合は、復号画像のブロック境界が目立つ結果になる。ブロッキングアーチファクトは、人間の視覚的認識上マイナスの効果がある。アーチファクトを削減するために、再構築画像ブロックごとにデブロッキングフィルタ１３０が適用される。デブロッキングフィルタ１３０は、予測信号と復号予測誤差信号との加算結果である再構築信号に適用される。デブロッキング後の動画像信号は、通常は（ポストフィルタリングが適用されなければ）デコーダ側で表示される復号信号である。

Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタ１３０は、局所的に適用可能なものである。ブロッキングノイズの程度が高い場合は、強い（帯域幅が狭い）ローパスフィルタが適用され、ブロッキングノイズの程度が低い場合は、弱い（帯域幅が広い）ローパスフィルタが適用される。デブロッキングフィルタ１３０は、通常、ブロックのエッジを平滑化して復号画像の主観的画質を改善する。さらに、画像内のフィルタリング済みの部分が次の画像の動き補償予測に用いられるため、フィルタリングによって予測誤差が削減され、符号化効率を改善することができる。復号動画像信号は、次にメモリ１４０に格納される。

Ｈ．２６４／ＡＶＣにおける予測信号は、時間的予測か空間的予測によって取得される。予測タイプは、マクロブロック単位で異ならせることができる。時間的予測で予測されたマクロブロックは、インター符号化マクロブロックと呼ばれ、空間的予測で予測されたマクロブロックは、イントラ符号化マクロブロックと呼ばれる。

ここで、「インター」という用語は、インターピクチャ予測、つまり先行フレームか後続フレームから得られた情報を用いる予測に関する。「イントラ」という用語は、空間的予測、つまり対象動画像フレーム内で既に符号化された情報のみを用いる予測に関する。可能な限り高い圧縮成果を達成するために、動画像フレームの予測タイプは、ユーザが設定することもでき、動画像符号化装置１００に選択させることもできる。選択された予測タイプにしたがってスイッチ１７５は、対応する予測信号を減算器１０５へ提供する。

イントラ符号化画像（Ｉタイプ画像またはＩフレームとも呼ばれる）は、イントラ符号化されたマクロブロックのみからなる。つまり、イントラ符号化された画像は、他の復号画像を参照することなく復号可能である。イントラ符号化画像は、符号化動画像シーケンスに対しエラー耐性を与える。なぜなら、時間的予測によって動画像シーケンス内でフレームからフレームへ伝播する可能性があるエラーを取り除く（リフレッシュする）からである。さらに、Ｉフレームは、符号化動画像シーケンス内でランダムアクセスを可能にする。

イントラフレーム予測では、基本的には、既に符号化された隣接マクロブロックの境界に位置する画素を用いて対象マクロブロックを予測する、予め定められたイントラ予測モードの組が用いられる。空間的予測タイプが異なるということは、エッジの方向、つまり適用された２次元補間の方向が異なるということである。補間によって得られた予測信号は、次に、上述の減算器１０５によって、入力信号から減算される。また、空間的予測タイプ情報は、エントロピー符号化され、符号化動画像信号とともに提供される。

インター符号化画像を復号するには、符号化された後に復号された画像が必要である。時間的予測は、単一方向つまり符号化対象フレームより早い順序の動画像フレームのみを用いておこなってもよく、後続動画像フレームも用いておこなってもよい。単一方向の時間的予測をおこなえば、Ｐフレームと呼ばれるインター符号化画像が得られ、双方向の時間的予測をおこなえば、Ｂフレームと呼ばれるインター符号化画像が得られる。一般的に、インター符号化画像は、ＰタイプマクロブロックとＢタイプマクロブロックとＩタイプマクロブロックのいずれかから構成される。

インター符号化マクロブロック（ＰまたはＢマクロブロック）は、動き補償予測部１６０を採用して予測される。まず、動き予測部１６５によって、符号化された後に復号された動画像フレーム内で、対象ブロックに最適なブロックが検出される。この最適ブロックは予測信号となり、対象ブロックと最適ブロック間の相対的なずれ（動き）が、符号化動画像データとともに提供される補助情報内に含められる２次元の動きベクトルの形で動きデータとして信号送信される。

予測精度を最適化するため、１／２画素解像度や１／４画素解像度などの小数画素解像度で動きベクトルを特定してもよい。小数画素解像度の動きベクトルは、復号フレーム内の、小数画素位置のように実存する画素値がない位置を指してもよい。よって、動き補償をおこなうには、そのような画素値の空間的補間が必要である。補間は、補間フィルタ１５０によっておこなわれる。Ｈ．２６４／ＭＰＥＧ ＡＶＣ標準規格にしたがって、小数画素位置の画素値を得るために、固定フィルタ係数を用いた６タップ・ウィナー補間フィルタとバイナリフィルターが適用される。

イントラ符号化モードおよびインター符号化モードにおいて、変換／量子化部１１０によって、対象入力信号と予測信号間の差分が変換されて量子化され、量子化変換係数が得られる。一般的に、２次元離散コサイン変換（ＤＣＴ）またはその整数版のような直交変換が採用される。なぜなら、これにより自然動画像の冗長性を効率的に削減できるからである。通常、低周波数成分は高周波成分よりも画質にとって重要であるため、高周波数よりも低周波数に多くのビットが費やされるように変換される。

量子化後、２次元マトリクスの量子化変換係数が１次元配列に変換されてエントロピー符号化部１９０に送信される。典型的には、いわゆるジグザグ走査によって変換される。ジグザグ走査においては、２次元マトリクスの左上隅から右下隅まで所定の順序で走査される。典型的には、エネルギーは低周波に相当する画像の左上部分に集中するため、ジグザグ走査をおこなうと、最後のほうでゼロ値が続く配列になる。これにより、実際のエントロピー符号化の一部として、またはそれ以前の段階で、ラン−レングス符号を用いた効率的な符号化をおこなうことが可能になる。

Ｈ．２６４／ＭＰＥＧ−４ＡＶＣは、量子化パラメータ（ＱＰ）およびカスタマイズ可能な量子化マトリクス（ＱＭ）によって制御可能なスカラ量子化を採用している。量子化パラメータにより、５２の量子化器のうちの１つがマクロブロック毎に選択される。加えて、量子化マトリクスは、画質の損失を避けるため、特に、ソース内で特定の周波数を保つように設計される。Ｈ．２６４／ＭＰＥＧ−４ＡＶＣにおける量子化マトリクスは、動画像シーケンスに適応可能であり、動画像データと共に信号送信される。

画質を改善するために、ポストフィルタ２８０と呼ばれるものを、動画像復号装置（「デコーダ」ともいう。以下同じ。）２００で適用してもよい。Ｈ．２６４／ＭＰＥＧ ＡＶＣ標準規格においては、補助的拡張情報（ＳＥＩ）メッセージを通して、ポストフィルタ２８０のためのポストフィルタ情報を送信することが可能である。ポストフィルタ情報は、ローカル復号信号と原画入力信号とを比較するポストフィルタ設計部１８０によって動画像符号化装置１００側で特定される。ポストフィルタ設計部１８０の出力は、エントロピー符号化部１９０に送られ、符号化されて符号化信号に挿入される。エントロピー符号化部１９０は、統計を適用した、符号化対象情報のタイプが異なれば長さが異なる可変長コードを採用する。

図２は、Ｈ．２６４／ＡＶＣ動画像符号化標準規格に準拠した例示的な動画像復号装置２００を説明する図である。符号化動画像信号（動画像復号装置２００への入力信号）は、まずエントロピー復号部２９０へ送信される。エントロピー復号部２９０は、量子化変換係数や動きデータおよび予測タイプなどの復号に必要な情報エレメントや、ポストフィルタ情報を復号する。量子化変換係数は、逆走査されて２次元マトリクスとなり、逆量子化／逆変換部２２０へ送信される。逆量子化／逆変換部２２０による逆量子化および逆変換後、復号（量子化）予測誤差信号が得られる。これは、動画像符号化装置１００へ入力された信号から予測信号を減算して得られた差分に相当する。

予測信号は、動き補償予測部（時間的予測手段）２６０またはイントラフレーム予測部（空間的予測手段）２７０からそれぞれ得られる。どちらの予測信号を採用するかは、動画像符号化装置１００で適用された予測を信号送信する情報エレメントにしたがってスイッチ２７５によって切り替えられる。

復号情報エレメントは、さらに、イントラ予測の場合には、予測タイプなどの予測に必要な情報を含み、動き補償予測の場合には、動きデータなどの予測に必要な情報を含む。動きベクトルの値によっては、動き補償予測をおこなうには画素値を補間する必要がある。補間は、補間フィルタ２５０によっておこなわれる。

空間領域の量子化予測誤差信号は、次に、加算器２２５によって、動き補償予測部２６０かイントラフレーム予測部２７０から得られる予測信号へ加算される。再構築画像を、デブロッキングフィルタ２３０へ送信してもよい。復号信号は、メモリ２４０に格納され、後続ブロックの時間的予測または空間的予測に用いられる。

ポストフィルタ情報は、ポストフィルタ２８０へ送信され、ポストフィルタ２８０がそれに応じて設定される。さらに画質を改善するために、ポストフィルタ２８０は、次に復号信号に適用される。よって、ポストフィルタ２８０は、フレームごとに動画像符号化装置１００へ入力される動画像信号の特性に適応する能力を備える。

要約すると、最新のＨ．２６４／ＭＰＥＧ ＡＶＣ標準規格で用いられるフィルタは以下の３種類である。すなわち、補間フィルタとデブロッキングフィルタとポストフィルタである。一般に、あるフィルタが適切かどうかは、フィルタリング対象の画像内容次第で決まる。それゆえ、画像の特性に適応可能なフィルタ設計は有利である。フィルタ係数を、ウィナーフィルタ係数として設計してもよい。

最新のＨ．２６４／ＭＰＥＧ ＡＶＣ標準規格においては、さらに、適応的ポストフィルタを利用可能である。この目的で、上述のように、ポストフィルタ設計部１８０によって画像ごとに動画像符号化装置１００でポストフィルタが評価される。ポストフィルタ設計部１８０は、フィルタ情報（ポストフィルタヒントと呼ばれるもの）を生成し、これをＳＥＩメッセージの形で動画像復号装置２００へ送信する。動画像復号装置２００での表示に先立って復号信号に適用されるポストフィルタ２８０によって、このフィルタ情報を利用してもよい。動画像符号化装置１００から動画像復号装置２００へ送信されるフィルタ情報は、フィルタ係数か相互相関ベクトルである。補助情報を送信すれば、フィルタリングの質を改善できる場合があるが、帯域を広げる必要が生じる。送信または計算されたフィルタ係数を用いて、画像全体にポストフィルタリングが施される。Ｈ．２６４／ＭＰＥＧ ＡＶＣにおけるデブロッキングフィルタは、ブロックのエッジに生じるブロッキングアーチファクトを削減するループフィルタとして用いられる。３タイプのフィルタは、ウィナーフィルタとして評価される。

図３は、ノイズを削減するためのウィナーフィルタ３００を用いた信号の流れを説明する図である。ノイズｎが入力信号ｓに加算されると、フィルタリング対象のノイズを含む信号ｓ’になる。ノイズｎを削減するという目的は、信号ｓ’にウィナーフィルタ３００を適用してフィルタリング済み信号ｓ’’を得ることである。ウィナーフィルタ３００は、所望の信号である入力信号ｓとフィルタリング済み信号ｓ間の平均二乗誤差を最小限にするよう設計される。ウィナー係数はウィナーＨｏｐｆ方程式と呼ばれるシステムとして表現される最適化問題ａｒｇ_Ｗ ｍｉｎ Ｅ［（ｓ‐ｓ’’）^２］の解に相当する。演算子Ｅ［ｘ］は、期待されるｘの値である。解は以下の式１で求められる。

ここで、ｗは、正の整数であるＭ桁の最適ウィナーフィルタ係数を含むＭ×１のベクトルである。Ｒ^−１は、フィルタリング対象のノイズを含む信号ｓ’のＭ×Ｍの自己相関マトリクスＲの逆数を表す。ｐは、フィルタリング対象のノイズを含む信号ｓ’と原画信号ｓとの間のＭ×１の相互相関ベクトルを表す。適応的フィルタ設計に関する詳細については、Ｓ．Ｈａｙｋｉｎの、「Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒ Ｔｈｅｏｒｙ（非特許文献１）」（第４版、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓシリーズ、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、２００２年）を参照のこと。これをここに引用して援用する。

よって、ウィナーフィルタ３００のメリットの１つは、破損した（ノイズを含む）信号の自己相関と、破損信号と所望の信号間の相互相関に基づいて、フィルタ係数を求めることができるという点である。動画像符号化の際に、量子化ステップにおいて、量子化ノイズが原画（入力）動画像信号に重畳される。動画像符号化（のコンテキスト）におけるウィナーフィルタリングは、平均二乗再構築誤差を最小化するために、重畳された量子化ノイズを削減することを目的としている。

図４は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣのデブロッキングフィルタ１３０の代わりにウィナーフィルタ及び設計部４４０が用いられる、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの動画像符号化装置４００を示すブロック図である。これは、特許文献１に記載されており、これをここに引用して援用する。ウィナーフィルタ及び設計部４４０は、動き補償予測の前に、予測ループ内で実行される。フィルタリングされた画像は、メモリ１４０に格納され、予測のために提供される。

インループフィルタリングによる利点は、予測および表示に用いられる信号の質が向上することである。デブロッキングフィルタ１３０がウィナーフィルタ及び設計部４４０として実装されれば、入力信号と再構築信号を用いて係数が予測される。算出されたフィルタ係数４４１は、同じ復号結果、つまり同じ画質を保証する目的で、デコーダに提供されなければならない。送信または格納する前に、フィルタ係数４４１はエントロピー符号化部４９０によってエントロピー符号化され、補助情報として符号化動画像データに組み込まれる。そのような動画像符号化装置４００と互換性を持つデコーダは、フィルタ係数等の符号化されたであろうフィルタ情報４４１を取得し、それにしたがってデコーダ自体のフィルタを設定する。

図５は、特許文献１に記載されている、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣのデブロッキングフィルタ１３０の後にウィナーフィルタ及び設計部５４０がさらに適用された動画像符号化装置５００の他の例を示す。ウィナーフィルタ及び設計部５４０は、入力信号とデブロッキングフィルタ１３０によってフィルタリングされた再構築信号とに基づいてフィルタ係数５４１を算出する。フィルタ係数５４１は、エントロピー符号化部５９０によって符号化されるが、この符号化は、フィルタ係数の統計に適応していてもよい。

欧州出願第０８０１２０３６．３号において、これをここに引用して援用するが、予測信号、量子化予測誤差信号、および復号信号をフィルタ設計において別々に考慮することが提案されている。これにより、これら３つの信号の各々のノイズを個々に考慮できる。

図６は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに基づくそのような例示的な動画像符号化装置６００を示す。図７は、それに対応する動画像復号装置７００を示す。したがって、ポストフィルタ係数は、入力信号、デブロッキングフィルタ１３０適用後の復号信号、予測信号および量子化予測誤差信号に基づいて、動画像符号化装置６００においてポストフィルタ設計部６４０で算出される。ポストフィルタ設計部６４０は、その後、直接的にフィルタ係数を提供するか、またはデコーダにおいて対応するポストフィルタ７４０の設定に使用できる、他の種類の新たなポストフィルタ情報６４１を提供する。そのような新たなポストフィルタ情報６４１は、例えば、相互相関ベクトル、または他の任意の情報である。やはり、ポストフィルタ情報６４１はエントロピー符号化部６９０でエントロピー符号化され、それに対応して動画像復号装置７００においてエントロピー復号されてもよい。

次に、図８は、非線形ノイズ除去フィルタを備える動画像復号装置を示すブロック図である。この非線形ノイズ除去フィルタは、動き補償予測部から出力される予測信号と、復号部から出力される復号誤差（量子化予測誤差信号）との和である再構築画像信号に対して適用される。

図９Ａ及び図９Ｂは、非線形ノイズ除去フィルタのアルゴリズムのフローを示す。まず、図９Ａに示される変換部は、平行移動不変変換（translation invariant transform。ブロック開始位置を水平・垂直方向に１画素ずつ平行移動させた変換の組であり、変換の画素数に比例した個数が定義される）により、再構築画像信号ｙの複数の表現を生成する。具体的には、図１０に示されるように、２次元４×４変換の場合、１６個の表現が生成される。これらはｄ_１，…，ｄ_１６と表される。ｄ_１，…，ｄ_１６は、再構築信号ｙの互いに異なるサンプルのセットから生成されたものである。

動画像符号化装置側において、同じ変換が原画信号ｘにも適用可能である。これは、ハイブリッド符号化される前の信号である。これはもちろん動画像復号装置側では入手できない。この結果、図１１Ｂに示されるように、原画信号の１６個の表現ｃ_１，…，ｃ_１６が得られる。図１１Ａ及び図１１Ｂに示される処理によって得られる各ｃ_ｉおよび各ｄ_ｉは、１６個の係数ｃ_ｉ（ｊ），ｄ_ｉ（ｊ）のベクトルであり、ここでｊ＝１，…，１６である。典型的に動画像符号化装置で実行される量子化により、量子化ノイズは、再構築信号の係数に重畳されるｑ_ｉ（ｊ）である。この量子化ノイズにより、再構築信号の係数ｄ_ｉ（ｊ）と原画信号の係数ｃ_ｉ（ｊ）の間の依存性は、ｃ_ｉ（ｊ）＝ｄ_ｉ（ｊ）＋ｑ_ｉ（ｊ）と表すことができる。ノイズ除去フィルタの核となる部分は、ノイズ除去ルールである。このノイズ除去ルールを、式２に示す。

式２の条件１は、原画信号の係数ｃ_ｉ（ｊ）と、予測された係数ｃ_i＾（ｊ）との間の平均二乗誤差を最小化する目的で選択される。つまり、式２をより具体的に記述すると、式３のようになる。ここで、記号「＾（ハット）」は、それぞれ直前の文字の上に付される記号を示し、本明細書では、以下、記号「＾（ハット）」を同様な意味で使用する。

上記式３によると、再構築画像信号の係数ｄ_ｉ（ｊ）またはゼロが予測値として用いられるが、その予測値としては、二乗再構築誤差がより低くなるものが選択される。その選択は、係数ｄ_ｉ（ｊ）と閾値τ_ｉを比較することにより実現できる。つまり、τ_ｉを用いて式３を書き換えると、式４のようになる。

よって、１６個の表現ｄ_ｉ（ｊ）から、原画信号の係数に対する１６個の予測値ｃ_i＾（ｊ）が、閾値演算により導き出される。これら１６個の予測値ｃ_i＾（ｊ）は、図１２に示されるように、重み付け逆変換部で逆変換されて値ｕ＾となる。重み付け逆変換とは、１６個の予測値ｃ_i＾（ｊ）を周波数成分毎に重み付け加算し、得られた結果を空間領域に変換する処理である。すなわち、この値ｕ＾は、空間領域の値である。さらに、ｕ＾をマスキング部でマスキングしてもよい。ｕ＾をマスキングすると、画像信号ｘ＾となる。マスキング処理により、原画信号ｘに対する画像信号ｘ＾の急激な変化を抑制することができる。

ここまで、ノイズ除去の１つのループのみを説明した。図９Ｂから分かるように、ｋ＝０，…，２によって示される３つのループが実行される。これは、第１ループの結果であるｘ＾＝ｘ_k=0＾＝ｘ₀＾に対し、平行移動不変変換が適用され、ｋを１増加させた後（ｋ＋＝１）、係数ｆ_1,k-1,・・・, ｆ_16,k-1となる。これらの係数に対するノイズ除去ルールは、以下の式５にしたがって適用される。各ループにおいて、個々の閾値τ_ｉ，ｋが適用される。

欧州特許出願公開第１８４１２３０号明細書

Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒ Ｔｈｅｏｒｙ（Ｓ．Ｈａｙｋｉｎ、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓシリーズ、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、２００２年）

本発明の根底にある課題は、周波数領域において実行される量子化が、恐らく個々の量子化ノイズをもつ各周波数成分を重畳したものと見なされる可能性があることに基づく。これは、ノイズの統計が、各周波数成分毎に異なる可能性があることを意味する。現在のところ動画像符号化に適用されている手法は、空間領域においてフィルタリング（ループおよび／またはポストフィルタリング）を適用することである。しかし、空間領域に適用されたフィルタリングでは、各周波数成分における量子化ノイズの個々の統計は考慮されない。

本発明の目的は、効率的なフィルタリング手法によって符号化および／または復号動画像信号の質を向上させる、符号化および復号メカニズムを提供することである。

本発明の一形態に係る動画像符号化方法は、動画像信号を符号化して得られる符号化信号を復号する方法である。具体的には、前記符号化信号及びフィルタ処理を特定するフィルタ情報を取得するステップと、前記符号化信号を復号して復号信号を生成するステップと、前記動画像信号を符号化する過程で重畳されたノイズを、周波数領域の前記復号信号の周波数成分毎に除去する前記フィルタ処理を、前記フィルタ情報を用いて周波数領域の復号信号に適用するステップとを含む。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記復号信号との平均二乗誤差を最小にするための情報を含む。

上記構成によれば、量子化の過程で重畳されたノイズを適切に除去することが可能となる。なお、「量子化の過程で重畳されるノイズ」とは、典型的には、量子化ノイズであり、周波数変換された信号に重畳される。そこで、空間領域の信号に対してではなく、周波数領域の信号に対してフィルタ処理を適用することにより、より効果的にノイズを除去することができる。また、量子化ノイズは、全周波数成分に一様に重畳されるのではなく、周波数成分毎に異なる。そこで、周波数成分毎に独立してフィルタ処理を適用することにより、より適応的に量子化ノイズを除去することができる。さらに、フィルタ情報を符号化側から取得することにより、原動画像信号を考慮したフィルタ処理が可能となる。

なお、本明細書中における「符号化」とは、動画像信号を周波数変換し、量子化し、エントロピー符号化する処理の一部又は全部を含む概念である。また、「復号」とは、符号化信号を逆量子化し、空間領域に変換し、予測信号を加算して再構築信号を生成し、再構築信号にデブロッキングフィルタ処理を適用して復号信号を生成する処理、又は再構築信号から予測信号を生成する処理の一部又は全部を含む概念である。

また、前記フィルタ処理は、前記復号信号を構成する複数のブロックそれぞれについて、処理対象ブロックの各周波数成分の値と、前記処理対象ブロックに時間的又は空間的に隣接するブロックの対応する周波数成分の値とを、前記フィルタ情報に含まれる重み係数を用いて重み付け加算するステップを含む。そして、前記重み係数は、前記フィルタ処理が適用された後の周波数領域の前記処理対象ブロックと、周波数領域の前記動画像信号に含まれる前記処理対象ブロックに対応するブロックとの平均二乗誤差が最小になるように決定されてもよい。

さらに、前記フィルタ処理は、前記重み付け加算を実行する前の前記処理対象ブロックに対して、各周波数成分の値から第１のオフセット値を減算するステップと、前記重み付け加算した後の前記処理対象ブロックに対して、各周波数成分の値に前記フィルタ情報に含まれる第２のオフセット値を加算するステップとを含む。そして、前記第１のオフセット値は、周波数領域の前記復号信号に含まれるブロックのうち、前記処理対象ブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に算出され、前記第２のオフセット値は、周波数領域の前記動画像信号に含まれるブロックのうち、前記処理対象ブロックに対応するブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に算出されてもよい。

一形態として、前記符号化信号は、前記動画像信号が空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られるものであある。前記復号信号を生成するステップには、前記符号化信号をエントロピー復号して前記復号信号としての量子化係数を生成する処理が含まれる。そして、前記フィルタ処理を適用するステップには、前記量子化係数に前記フィルタ処理を適用すると共に、当該量子化係数を逆量子化する処理が含まれてもよい。これにより、量子化係数に重畳されたノイズを適応的に除去することができる。

他の形態として、前記符号化信号は、前記動画像信号から予測信号が減算され、空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られるものである。前記復号信号を生成するステップには、前記符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換し、前記予測信号を加算して前記復号信号としての再構築信号を生成する処理が含まれる。そして、前記フィルタ処理を適用するステップには、前記再構築信号を空間領域から周波数領域に変換する処理と、周波数領域の前記再構築信号に前記フィルタ処理を適用する処理と、前記フィルタ処理を適用した後の前記再構築信号を周波数領域から空間領域に逆変換する処理とが含まれてもよい。これにより、再構築信号に重畳されたノイズを適応的に除去することができる。

他の形態として、前記符号化信号は、前記動画像信号から予測信号が減算されて予測誤差信号が生成され、当該予測誤差信号が空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られるものである。前記復号信号を生成するステップには、前記符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換して量子化予測誤差信号を生成し、前記量子化予測誤差信号と前記予測信号とを加算して再構築信号を生成する処理が含まれる。前記フィルタ処理は、前記復号信号としての前記量子化予測誤差信号、前記予測信号、及び前記再構築信号の互いに対応するブロックに含まれる同一周波数成分の値を前記フィルタ情報に含まれる重み係数を用いて重み付け加算するステップを含む。そして、前記重み係数は、周波数領域の前記予測誤差信号と、前記フィルタ処理が適用された後の周波数領域の前記量子化予測誤差信号との平均二乗誤差が最小になるように決定されてもよい。これにより、量子化予測誤差信号に重畳されたノイズを適応的に除去することができる。

他の形態として、前記符号化信号は、前記動画像信号から予測信号が減算され、空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られるものである。前記復号信号を生成するステップには、前記符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換して量子化予測誤差信号を生成し、前記量子化予測誤差信号と前記予測信号とを加算して再構築信号を生成する処理が含まれる。そして、前記フィルタ処理を適用するステップには、前記予測信号を空間領域から周波数領域に変換する処理と、周波数領域の前記予測信号に前記フィルタ処理を適用する処理と、前記フィルタ処理が適用された後の前記予測信号を周波数領域から空間領域に逆変換する処理とが含まれてもよい。これにより、予測信号に重畳されたノイズを適応的に除去することができる。

本発明の一形態に係る動画像符号化方法は、動画像信号を符号化して符号化信号を生成する方法である。具体的には、少なくとも、前記動画像信号を空間領域から周波数領域に変換し、量子化して、前記符号化信号を生成するステップと、量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するステップと、前記符号化信号及び前記フィルタ情報を出力するステップとを含む。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される。これにより、量子化の過程で重畳されたノイズを適応的に除去することができる。

さらに、前記動画像符号化方法は、量子化後の周波数領域の信号に、前記フィルタ情報を用いて前記フィルタ処理を適用するステップを含む。前記フィルタ処理は、前記量子化後の信号を構成する複数のブロックそれぞれについて、処理対象ブロックの各周波数成分の値と、前記処理対象ブロックに時間的又は空間的に隣接するブロックの対応する周波数成分の値とを、前記フィルタ情報に含まれる重み係数を用いて重み付け加算するステップを含む。そして、前記フィルタ情報を生成するステップは、前記フィルタ処理が適用された前記処理対象ブロックと、周波数領域の前記動画像信号に含まれる前記処理対象ブロックに対応するブロックとの平均二乗誤差が最小になるように前記重み係数を決定してもよい。

さらに、前記フィルタ処理は、前記重み付け加算を実行する前の前記処理対象ブロックに対して、各周波数成分の値から第１のオフセット値を減算するステップと、前記重み付け加算した後の前記処理対象ブロックに対して、各周波数成分の値に第２のオフセット値を加算するステップとを含む。そして、前記フィルタ情報を生成するステップでは、量子化後の周波数領域の信号に含まれるブロックのうち、前記処理対象ブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に前記第１のオフセット値が算出され、周波数領域の前記動画像信号に含まれるブロックのうち、前記処理対象ブロックに対応するブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に前記第２のオフセット値を算出され、少なくとも前記第２のオフセット値を前記フィルタ情報に含められてもよい。

一形態として、前記符号化信号を生成するステップには、前記動画像信号から予測信号を減算して予測誤差信号を生成し、前記予測誤差信号を空間領域から周波数領域に変換し、量子化して量子化係数を生成する処理が含まれる。そして、前記フィルタ情報を生成するステップでは、周波数領域の前記予測誤差信号と、前記フィルタ処理が適用された後の周波数領域の量子化予測誤差信号との平均二乗誤差が最小になるように前記フィルタ情報が決定されてもよい。

他の形態として、前記符号化信号を生成するステップには、周波数領域の前記動画像信号を量子化し、逆量子化して再構築信号を生成する処理が含まれる。そして、前記フィルタ情報を生成するステップでは、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記再構築信号との平均二乗誤差が最小になるように前記フィルタ情報が決定されてもよい。

他の形態として、前記符号化信号を生成するステップには、前記動画像信号から予測信号を減算して予測誤差信号を生成し、前記予測誤差信号を空間領域から周波数領域に変換し、量子化し、逆量子化し、周波数領域から空間領域に変換して量子化予測誤差信号を生成し、前記量子化予測誤差信号に前記予測信号を加算して再構築信号を生成する処理が含まれる。そして、前記フィルタ情報を生成するステップでは、周波数領域の前記予測信号、周波数領域の前記量子化予測誤差信号、及び周波数領域の前記再構築信号に基づいて、周波数領域の前記予測誤差信号と、前記フィルタ処理が適用された後の周波数領域の前記量子化予測誤差信号との平均二乗誤差が最小になるように前記フィルタ情報が決定されてもよい。

他の形態として、前記符号化信号を生成するステップには、前記動画像信号から予測信号を減算して予測誤差信号を生成し、前記予測誤差信号を空間領域から周波数領域に変換し、量子化し、逆量子化し、周波数領域から空間領域に変換して量子化予測誤差信号を生成し、前記量子化予測誤差信号に前記予測信号を加算して再構築信号を生成する処理が含まれる。そして、前記フィルタ情報を生成するステップでは、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記予測信号との平均二乗誤差が最小になるように前記フィルタ情報が決定されてもよい。

本発明の一形態に係る動画像復号装置は、動画像信号を符号化して得られる符号化信号を復号する。具体的には、前記符号化信号及びフィルタ処理を特定するフィルタ情報を取得する取得部と、前記符号化信号を復号して復号信号を生成する復号部と、前記動画像信号を符号化する過程で重畳されたノイズを、周波数領域の前記復号信号の周波数成分毎に除去する前記フィルタ処理を、前記フィルタ情報を用いて周波数領域の復号信号に適用するフィルタ部とを備える。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記復号信号との平均二乗誤差を最小にするための情報を含む。

本発明の一形態に係る動画像符号化装置は、動画像信号を符号化して符号化信号を生成する。具体的には、少なくとも、前記動画像信号を空間領域から周波数領域に変換し、量子化して、前記符号化信号を生成する符号化部と、量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するフィルタ設計部と、前記符号化信号及び前記フィルタ情報を出力する出力部とを備える。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される。

本発明の一形態に係るプログラムは、コンピュータに、動画像信号を符号化して得られる符号化信号を復号させる。具体的には、前記符号化信号及びフィルタ処理を特定するフィルタ情報を取得するステップと、前記符号化信号を復号して復号信号を生成するステップと、前記動画像信号を符号化する過程で重畳されたノイズを、周波数領域の前記復号信号の周波数成分毎に除去する前記フィルタ処理を、前記フィルタ情報を用いて周波数領域の復号信号に適用するステップとを含む。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記復号信号との平均二乗誤差を最小にするための情報を含む。

本発明の他の形態に係るプログラムは、コンピュータに、動画像信号を符号化して符号化信号を生成させる。具体的には、少なくとも、前記動画像信号を空間領域から周波数領域に変換し、量子化して、前記符号化信号を生成するステップと、量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するステップと、前記符号化信号及び前記フィルタ情報を出力するステップとを含む。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される。

本発明の一形態に係る集積回路は、動画像信号を符号化して得られる符号化信号を復号する。具体的には、前記符号化信号及びフィルタ処理を特定するフィルタ情報を取得する取得部と、前記符号化信号を復号して復号信号を生成する復号部と、前記動画像信号を符号化する過程で重畳されたノイズを、周波数領域の前記復号信号の周波数成分毎に除去する前記フィルタ処理を、前記フィルタ情報を用いて周波数領域の復号信号に適用するフィルタ部とを備える。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記復号信号との平均二乗誤差を最小にするための情報を含む。

本発明の他の形態に係る集積回路は、動画像信号を符号化して符号化信号を生成する。具体的には、少なくとも、前記動画像信号を空間領域から周波数領域に変換し、量子化して、前記符号化信号を生成する符号化部と、量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するフィルタ設計部と、前記符号化信号及び前記フィルタ情報を出力する出力部とを備える。そして、前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される。

なお、本発明は、画像復号方法（装置）及び画像符号化方法（装置）として実現できるだけでなく、これらの機能を実現する集積回路として実現したり、そのような機能をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

これは、独立クレームに定義された特徴によって達成される。

好適な実施形態は、従属クレームの主題である。

周波数領域の動画像信号に基づいてフィルタパラメータを決定し、それにしたがってフィルタを設定し、周波数領域に当該フィルタを適用することは、本発明に特有の手法である。

そのような手法により、信号内の様々な周波数成分に対しノイズが異なる場合のフィルタリング後の画質が向上する。そのようなノイズ特性は、典型的に、周波数領域において量子化が実行される場合、特に量子化重み行列が用いられるか、粗量子化が適用された場合に、量子化ノイズにおいて見られるものである。しかしながら、ある特定の送信方法によって、誤差の結果として周波数選択ノイズが生じる場合もある。

本発明の第１の態様によれば、少なくとも１つの動画像フレームを含む動画像信号を符号化する方法が提供される。まず、動画像信号が周波数領域に変換される。その後、周波数領域の動画像信号のフィルタリングに用いられるフィルタデータが、周波数領域に変換された動画像信号に基づいて決定される。フィルタデータは、デコーダ側に提供される。

本発明の他の態様によれば、少なくとも１つの動画像フレームを含む符号化動画像信号を復号する方法が提供される。周波数領域の動画像信号をフィルタリングするフィルタが、周波数領域の動画像信号ブロックに対し個々に設定される。その後、動画像信号ブロックは、周波数領域において当該フィルタを用いて個々にフィルタリングされる。

本発明のさらに他の態様によれば、少なくとも１つの動画像フレームを含む動画像信号を符号化するエンコーダが提供される。当該エンコーダは、動画像信号を周波数領域に変換する変換手段と、フィルタデータを決定するフィルタ設計手段を備える。フィルタデータは、周波数領域の動画像信号のフィルタリングに用いられ、周波数領域に変換された動画像信号に基づいて決定される。さらに、エンコーダは、デコーダ側にフィルタデータを提供することができる。

本発明のさらに他の態様によれば、少なくとも１つの動画像フレームを含む符号化動画像信号を復号する装置が提供される。当該デコーダは、動画像信号ブロックに対し、周波数領域において個々にフィルタを設定する設定手段を備える。当該デコーダはさらにまた、周波数領域において、かつブロック単位で、当該フィルタによって動画像信号をフィルタリングするフィルタ手段を備える。

好ましくは、フィルタを設定するブロック、フィルタ設計、および／またはフィルタリングは、変換されるブロックに対応する。ここで、当該変換は動画像信号を符号化するために実行される変換、または動画像信号を復号するために実行される逆変換に対応してもよい。そのような場合、エンコーダにおいて動画像信号がフレームおよびブロックにセグメント化され、デコーダに信号送信されるか、一般的な方法でデコーダに通知される。しかしながら、符号化／復号に用いられたラスタと異なるラスタ（サイズおよび動画像信号フレーム内の位置）を有するブロックにはまた、追加の変換が適用されてもよい。この場合、エンコーダとデコーダの両方において動画像信号をブロックにセグメント化する必要があってもよく、またはエンコーダでセグメント化し、デコーダに信号送信／知らせてもよい。ラスタのフィルタリングは、変換に用いられるブロックラスタ、または時間的および／または予測に用いられるブロックラスタ等の、符号化／復号において使用されるブロックラスタに依存してもよい。特に、フィルタリングに用いられるブロックラスタは、基礎的な符号化／復号ブロックラスタのブロック群から設定されてもよい。しかしながら、フィルタリングに用いられるブロックラスタは、（もしあれば）符号化／復号に用いられる基礎的なブロックラスタから独立していてもよい。そのようなフィルタリングラスタのブロックのサイズおよび形状は、必ずしも同一とは限らず、異なる形状やサイズのブロックが使用されてもよい。好ましくは、効率よくソフトウェア／ハードウェアに実装できるようなサイズの四角形が用いられる。しかしながら、ラスタのブロックのサイズおよび形状は、例えば動画像信号の内容にしたがって任意に選択されてもよい。

好ましくは、デコーダ側で、エンコーダ側から、周波数領域の動画像信号のフィルタリングに用いられるフィルタデータを取得する。その後、取得されたフィルタデータに基づいてフィルタを設定する。エンコーダ側からフィルタデータを取得することで、デコーダは、（符号化前の）原動画像信号に関する情報等の、エンコーダのみが入手可能な情報を取得することができ、よって、そのような情報にしたがってフィルタを設定することができる。

好ましくは、本発明の符号化はまた、空間領域において入力動画像信号を空間的または時間的に予測し、予測信号を得ることを含む。予測誤差信号は、入力動画像信号と予測信号の差分として取得される。本発明の実施形態によれば、変換された動画像信号は変換された予測誤差信号に対応し、フィルタデータは周波数領域に変換された予測誤差信号に基づいて決定され、変換された予測誤差信号にフィルタリングが適用される。または、予測信号と（量子化）予測誤差信号の和であり、周波数領域に変換された再構築動画像信号に基づいて、フィルタデータが決定される。

好ましくは、符号化は、さらに、変換された動画像信号を量子化することを含み、フィルタデータは、量子化の前と後に、周波数領域に変換された動画像信号に基づいて算出された相関情報またはフィルタ係数を含む。特に、相関情報は、量子化の前と後の周波数領域の動画像信号の相互相関ベクトルであってもよく、または量子化の前と後の周波数領域の動画像信号間の差分によって生じる量子化ノイズの自己相関であってもよい。そのような情報は、エンコーダおよび／またはデコーダにおいて、例えばウィナーフィルタ係数のような、フィルタ係数の算出に有利に用いてもよい。しかしながら、係数はまた、直接的にデコーダに提供されてもよい。フィルタ係数は、ウィナーフィルタリングの場合のように平均二乗誤差を最小化するよりも、他の最適化の課題を解決することに基づいて予測されてもよい。フィルタは、入力信号のみに重み付けする有限インパルス応答フィルタか、または出力信号にも重み付けする無限インパルス応答フィルタであってもよい。

本発明の他の実施形態によれば、当該符号化はまた、フィルタデータに基づいて動画像信号をフィルタリングするフィルタを設定することと、周波数領域においてフィルタによって動画像信号をフィルタリングすることとを含む。特に、エンコーダで実行されるフィルタリングは、予測ループ内で適用されたループフィルタリングであってもよい。しかしながら、フィルタリングは必ずしもエンコーダで実行されるとは限らない。符号化は、デコーダに提供されるフィルタデータを決定するフィルタ設計のみを含んでもよい。その後、デコーダはそれにしたがって自己のフィルタを設定し、ポストフィルタリング等のフィルタリングを実行する。好ましくは、エンコーダにおけるフィルタリングも、ブロック単位で適用される。特に、ループフィルタの場合、エンコーダにおいて適用されたフィルタリングと、デコーダにおいて適用されたフィルタリングとは、同じフィルタデータに基づいており、類似している。

しかしながら、本発明の復号メカニズムは、ループフィルタリングとポストフィルタリングの両方を含んでもよい。それに対応して、フィルタデータは、エンコーダにおいてループフィルタとポストフィルタの両方に用いるために決定され、供給されてもよく、ループフィルタリングはまた、エンコーダとデコーダで等しく実行されてもよい。特に、ループフィルタはデブロッキングフィルタリングも実行してもよい。しかしながら、ループフィルタはまた、既存のデブロッキングフィルタに加えて動作してもよく、デブロッキングフィルタを使う必要が全くなくてもよい。

本発明の他の実施形態によれば、デコーダは、周波数領域に変換された予測誤差信号をエンコーダ側から取得し、それを空間領域に逆変換する。さらに、空間領域の動画像信号は、エンコーダ側から受け取った符号化データに基づいて、予測信号によって空間的または時間的に予測される。その後、再構築動画像信号は、空間領域の予測誤差信号と予測信号との和として算出される。好ましくは、周波数領域に変換された再構築信号か、周波数領域における取得された予測誤差信号の何れかである動画像信号にフィルタリングを適用する。

フィルタデータは、フィルタ係数、および／または周波数領域の動画像信号のオフセットを直接的に含んでもよい。好ましくは、フィルタデータは各スライス、特にスライスヘッダ内に提供される。しかしながら、フィルタデータは、他の定期的または不定期的な時間間隔でも、例えば、ピクチャ単位、マクロブロック単位、ブロック単位、または、そのようなピクチャ要素の数個単位で提供されてもよい。フィルタデータは、ストレージに格納されるか、符号化動画像信号と共に伝送チャネルを通して送信されることで提供される。

設計およびフィルタリングは、選択された周波数のみに対して実行されてもよい。特に、フィルタリングはＤＣ周波数成分のみに適用されてもよい。

本発明の他の実施形態によると、周波数領域のフィルタリングは、フィルタリングに用いられた同一周波数の変換係数の評価に基づいて無効にされる。特に、係数の分散が、閾値と比較される。閾値は、固定されていてもよく、または、例えば量子化設定に基づいて動的に決定されてもよい。係数間の差分といった、他の評価基準が用いられてもよい。

本発明のフィルタリングは、好ましくは、フィルタリングされる対象ブロックに隣接する異なるブロックにおける同一周波数の変換係数に重み付けする。具体的には、隣接ブロックは、空間的に隣接するブロックであり、対象ブロックを囲む復号済みのブロックである。または、あるいはそれに加えて、隣接ブロックは、時間的に隣接するブロックであり、対象ブロックに対応する異なるフレーム（タイムインスタント）内のブロックである。好ましくは、その対応は動き予測を用いて決定される。しかしながら、フレーム内で対象ブロックと同じ位置にあるブロックが用いられてもよく、先行および／または後続フレームの他のブロックが用いられてもよい。

好ましくは、動画像信号はＨ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格に基づいて符号化および／または復号され、フィルタデータは補助的拡張情報メッセージ内に提供される。しかしながら、本発明はＨ．２６４／ＭＰＥＧ−４ ＡＶＣや、その拡張版や後続規格に限定されるものではなく、標準化または特許化されたあらゆる動画像符号化メカニズムに用いられてもよい。

本発明のさらに他の実施形態によれば、予測信号と、量子化予測誤差信号と、再構築信号とが、フィルタリングのプロセスにおいて、つまり、エンコーダでフィルタデータを決定するとき、および／またはデコーダでフィルタを設定するときに別々に考慮される。または、予測信号または予測誤差信号のみがフィルタリングされる。２次以上のフィルタを用いるフィルタリングを実行する目的で、予測信号および／または既にフィルタリングされたブロックの予測誤差信号が、メモリに格納される。

本発明の他の態様によれば、本発明を実行するように適応した、コンピュータ読み取り可能なプログラムコードを実装したコンピュータ読み取り可能媒体を備えるコンピュータプログラム製品が提供される。

本発明の他の態様によれば、エンコーダ側からデコーダ側へ動画像信号を送信するためのシステムが提供される。このシステムは、上述のエンコーダと、符号化動画像信号を格納または送信するためのチャネルと、上述のデコーダとを備える。本発明の実施形態によれば、このチャネルは記憶手段に相当し、例えば、揮発性または非揮発性のメモリや、ＣＤ、ＤＶＤまたはＢＤのような光学または磁気記憶手段、ハードディスク、フラッシュメモリ、またはその他の記憶手段である。本発明の他の実施形態において、チャネルは伝送手段である。これは、インターネット、ＷＬＡＮ、ＵＭＴＳ、ＩＳＤＮ、ｘＤＳＬなどの標準化または特許化された伝送技術／システムに準拠した、無線システム、有線システム、またはその両方の組み合わせであるリソースによって形成可能である。

本発明の目的および特徴は、上記以外のものも含め、付随する図面を参照しながら以下に説明される記述および好ましい実施形態によりさらに明確になる。

本発明によれば、符号化の過程で重畳されたノイズを、適切に除去することが可能となる。

図１は、従来のＨ．２６４／ＭＰＥＧ−４ ＡＶＣビデオエンコーダを示すブロック図である。 図２は、従来のＨ．２６４／ＭＰＥＧ−４ ＡＶＣビデオデコーダを示すブロック図である。 図３は、ウィナーフィルタ設計を示す概略図である。 図４は、デブロッキングフィルタの代わりに、ウィナーフィルタを備えるビデオエンコーダを示すブロック図である。 図５は、デブロッキングフィルタの補足としてウィナーフィルタを備えるビデオエンコーダを示すブロック図である。 図６は、予測信号、量子化予測誤差信号、および復号信号を伴う入力信号を別々に考慮することで設計されたポストフィルタを備えるビデオエンコーダを示すブロック図である。 図７は、取得されたポストフィルタ情報を用いて設定されたポストフィルタを備えるビデオデコーダを示すブロック図である。 図８は、従来の動画像復号装置の例を示すブロック図である。 図９Ａは、平行移動不変変換のブロック図である。 図９Ｂは、非線形ノイズ除去フィルタのブロック図である。 図１０は、平行移動不変変換の結果の例を示す図である。 図１１Ａは、原画信号ｘに平行移動不変変換を適用した例を示す図である。 図１１Ｂは、再構築信号ｙに平行移動不変変換を適用した例を示す図である。 図１２は、非線形ノイズ除去フィルタの処理を示す図である。 図１３は、周波数領域に加えられたノイズを伴う符号化システムの例を示す概略図である。 図１４は、周波数領域に加えられたノイズと空間領域に適用されたフィルタリングとを伴う符号化システムの例を示す概略図である。 図１５は、空間領域に加えられたノイズと空間領域に適用されたフィルタリングとを伴う符号化システムの等価な例を示す概略図である。 図１６は、周波数領域に加えられたノイズと周波数領域に適用されたフィルタリングとの両方を伴う符号化システムの例を示す概略図である。 図１７は、符号化システムの例に用いられる空間領域ではなく、周波数領域においてフィルタリングを設計かつ適用することで達成される、最小平均二乗誤差の削減を表すグラフである。 図１８Ａは、本発明のビデオエンコーダを示すブロック図である。 図１８Ｂは、本発明の他のビデオエンコーダを示すブロック図である。 図１９Ａは、本発明の好適な実施形態のビデオデコーダを示すブロック図である。 図１９Ｂは、本発明の好適な実施形態の他のビデオデコーダを示すブロック図である。 図２０Ａは、周波数領域においてインループフィルタを実施する本発明の実施形態のビデオエンコーダを示すブロック図である。 図２０Ｂは、図２０Ａに示される動画像符号化装置の動作を示すフローチャートである。 図２１Ａは、周波数領域においてインループフィルタを実施する本発明の実施形態のビデオデコーダを示すブロック図である。 図２１Ｂは、図２１Ａに示される動画像符号化装置の動作を示すフローチャートである。 図２２は、本発明のエンコーダまたはデコーダに適用される周波数領域のフィルタリングの例を示すブロック図である。 図２３は、周波数領域においてポストフィルタを実施する本発明の他の実施形態のビデオエンコーダを示すブロック図である。 図２４は、周波数領域においてポストフィルタを実施する本発明の他の実施形態のビデオデコーダを示すブロック図である。 図２５は、本発明のエンコーダまたはデコーダに適用される周波数領域のフィルタリングの例を示すブロック図である。 図２６は、周波数領域においてループフィルタを実施する本発明のビデオエンコーダの例を示すブロック図である。 図２７は、デブロッキングフィルタに加え、周波数領域においてループフィルタを実施する本発明のビデオエンコーダの例を示すブロック図である。 図２８は、周波数領域においてポストフィルタ設計を実施する本発明のビデオエンコーダの例を示すブロック図である。 図２９は、周波数領域においてポストフィルタ設計を実施する本発明のビデオデコーダの例を示すブロック図である。 図３０は、本発明のエンコーダまたはデコーダに適用される周波数領域のフィルタリングの他の例を示すブロック図である。 図３１Ａは、フィルタリングに用いられてもよい、空間的に隣接し、かつ重複していないブロックの例を示す概略図である。 図３１Ｂは、フィルタリングに用いられてもよい、空間的に隣接し、かつ重複しているブロックの例を示す概略図である。 図３２Ａは、フィルタリングに用いられてもよい、時間的に隣接しているブロックの例を示す概略図である。 図３２Ｂは、フィルタリングに用いられてもよい、時間的に隣接しているブロックの他の例を示す概略図である。 図３３は、周波数領域において予測信号のフィルタリングを実施する本発明のビデオエンコーダの例を示すブロック図である。 図３４は、周波数領域において予測信号のフィルタリングを実施する本発明のビデオデコーダの例を示すブロック図である。 図３５は、予測誤差信号または予測信号にフィルタリングが適用される、本発明のエンコーダの例の一部分を示すブロック図である。 図３６は、予測誤差信号または予測信号に無限インパルス応答フィルタリングが適用される、本発明のエンコーダの例の一部分を示すブロック図である。 図３７は、本発明のエンコーダおよびデコーダを備えるシステムを示す概略図である。 図３８は、本発明の符号化および復号を適用することで達成される結果を、技術水準の符号化および復号と比較して示すグラフである。 図３９Ａは、実施の形態６に係る変換部の一例を示す図である。 図３９Ｂは、実施の形態６に係るフィルタ部の処理フローの一例を示す図である。 図４０Ａは、実施の形態６に係る変換部の他の例を示す図である。 図４０Ｂは、実施の形態６に係るフィルタ部の処理フローの他の例を示す図である。 図４１Ａは、実施の形態６に係る変換部の他の例を示す図である。 図４１Ｂは、実施の形態６に係るフィルタ部の処理フローの他の例を示す図である。 図４２は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。 図４３は、携帯電話の外観を示す図である。 図４４は、携帯電話の構成例を示すブロック図である。 図４５は、デジタル放送用システムの全体構成の一例を示す模式図である。 図４６は、テレビの構成例を示すブロック図である。 図４７は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。 図４８は、光ディスクである記録メディアの構造例を示す図である。 図４９は、各実施の形態に係る画像符号化方法および画像復号方法を実現する集積回路の構成例を示すブロック図である。

本発明によれば、動画像信号のフィルタ設計およびフィルタリングは、空間周波数の領域（周波数領域）で実行される。さらに、デコーダが適切にフィルタリングを設定できるようにする目的で、エンコーダ側で入手できるがデコーダ側では入手できない情報が、符号化動画像データと共に提供される。本発明のデコーダでは、周波数領域においてブロック単位でフィルタが設定され、フィルタリングが適用される。

動画像信号をフィルタリングするフィルタを設計することと、周波数領域においてフィルタリングを行うことは、周波数領域にノイズが加えられた場合にも特に利点をもたらす。このことは実際、周波数領域に変換された動画像信号を量子化および送信／格納する今日の動画像符号化方法の大半に該当する。

以下に、空間領域で動作するウィナーフィルタと比較して、周波数領域で動作するウィナーフィルタの利点を、２つのサンプルを伴う１次元信号を符号化する例示的な符号化システムを用いて示す。

図１３は、周波数領域における量子化を採用する考慮された例示的な符号化システムを示す。信号ｓがＤＣＴ変換部８１０に入力される。ここに適用されたＤＣＴ変換部８１０は、ブロックサイズが２の１次元離散コサイン変換（ＤＣＴ）である。したがって、信号ｓの２つの連続したサンプルｓ（ｘ）とｓ（ｘ＋１）とは、そのようなＤＣＴ変換部８１０を用いて周波数領域に変換される。その結果である２つの変換係数ｃ_１およびｃ_２は、下記の式６によって得られる。

２つの変換係数ｃ_１およびｃ_２は、独立して量子化され、その結果、量子化変換係数ｃ₁’およびｃ₂’が得られる。よって量子化変換係数ｃ₁’およびｃ₂’は、変換係数ｃ_１およびｃ_２と、この例において量子化ノイズに対応するノイズｎ_１およびｎ_２との和として式７のように表されてもよい。

ＤＣＴ逆変換部８２０は、量子化変換係数ｃ₁’およびｃ₂’に逆ＤＣＴ変換を適用することによって、再構築サンプルｓ’（ｘ）およびｓ’（ｘ＋１）を生成する。再構築サンプルｓ’（ｘ）及びｓ’（ｘ＋１）は、式８で表される。

離散コサイン変換は単一変換であるため、空間領域の平均二乗量子化誤差Ｅ［（ｓ−ｓ’）^２］は、変換（周波数）領域の平均二乗量子化誤差Ｅ［（ｃ−ｃ’）^２］と同じであり、その結果は上記例では式９のようになる。

以下に、周波数領域のウィナーフィルタによるノイズ削減を、空間領域のウィナーフィルタによるノイズ削減と比較する。比較の単純性を保つため、以下の通り仮定する。ノイズの２つの成分ｎ_１およびｎ_２は、ゼロ平均であり、変換係数ｃ_１およびｃ_２とペア単位で無相関である。信号ｓはゼロ平均であり、少なくとも広義に定常である。これらの仮定に基づき、量子化ノイズ信号の最初の２つのモーメントは式１０及び式１１の通りである。

さらに、変換係数ｃ_２に適用される量子化がないと仮定すると、式１２のようになる。

各ｉ＝０，１，２，…，に対する信号ｓの成分ｓ（ｘ＋ｉ）＝ｓ_ｉの最初の２つのモーメントは式１３及び式１４の通りである。

変換信号ｓおよびノイズのジョイントモーメントは、式１５の通りである。

信号ｓの任意の２つの連続するサンプルｓ_ｉおよびｓ_ｉ＋１の相関係数は式１６の通りである。

ノイズを削減するウィナーフィルタは、フィルタの長さが１であり、１フィルタ係数のみを有する。このフィルタ係数は、空間領域のフィルタリングの場合はｈ_ｓと表され、周波数領域のフィルタリングの場合はｈ_ｃと表される。これらの仮定により、変換係数ｃ_１およびｃ_２の分散は、下記の式１７及び式１８によって得られる。

図１４は、周波数領域の量子化と、空間領域の１フィルタ係数を有するノイズ削減ウィナーフィルタとを備える対応する符号化システムを示す。ＤＣＴ変換部９１０、量子化部、およびＤＣＴ逆変換部９２０を備える符号化システムは、上記仮定を適用すること、および空間領域において１つのフィルタ係数ｈ_ｓのみを有するノイズ削減のためのウィナーフィルタ９３０を用いることで簡易化されている。変換係数ｃ_１の量子化により、フィルタリング後の入力信号ｓと信号ｓ’の間の平均二乗誤差は、式１９の通りになる。

図１５に示される符号化システムは、図１４に示される符号化システムと等価である。ゼロ平均のノイズ信号ｎ_ｑ、分散σ² _q＝（σ² _n／２）、および相関Ｅ［ｓ・ｎ_ｑ］＝０は、周波数領域に挿入されるノイズｎ_１と等価であり、空間領域の信号ｓに追加される。

入力信号ｓとフィルタリング後の信号ｓ”との間の平均二乗誤差を最小化するフィルタ係数ｈ_ｓは、Ｅ［（ｓ−ｓ”）^２］→ｍｉｎを意味するが、式２０の微分関数をゼロに設定することで算出できる。

上記式２０の解により、式２１の通り、平均二乗誤差を最小化するフィルタ係数ｈ_ｓの最適値を得る。

信号ｓと、空間領域のフィルタ係数ｈ_ｓの最適値を用いてノイズ削減ウィナーフィルタリングを行った後の信号ｓ”との間の対応する最小平均二乗誤差は、下記の式２２によって得られる。

図１６は、ＤＣＴ変換部１１１０の後に周波数領域において量子化を適用し、かつ、変換後に（周波数領域において）、１つの係数ｈ_ｃを有するノイズ削減のためのウィナーフィルタ１１３０を適用する符号化システムを示す。ＤＣＴ逆変換部１１２０は、ウィナーフィルタ１１３０から出力される信号ｃ_１”に対して実行される。

変換係数ｃ_１の量子化により、また上記と同じ仮定に基づき、変換係数ｃ１と変換量子化信号ｃ₁’の間の平均二乗誤差は、σ² _nである。

フィルタリング後の変換された信号ｃ_１と変換された量子化信号ｃ”との間の平均二乗誤差を最小化するウィナーフィルタ１１３０のフィルタ係数ｈ_ｃは、Ｅ［（ｃ_１−ｃ_１”）^２］→ｍｉｎを意味するが、式２３の微分項をゼロに設定することで算出できる。

上記式２３の解により、平均二乗誤差を最小化するフィルタ係数ｈ_ｃの最適値は、式２４のように表される。

信号ｃ_１と、最適なフィルタ係数ｈ_ｃを用いてウィナーフィルタでフィルタリングを行った後の信号ｃ_１”との間の対応する最小平均二乗誤差は、下記の式２５によって得られる。

したがって、信号ｓと、周波数領域のノイズ削減のためのウィナーフィルタ１１３０による信号ｓ”との間の最小平均二乗誤差は、式２６の通りである。

図１７は、上記例における、空間領域のフィルタリングから生じる最小平均二乗誤差と、周波数領域のフィルタリングから生じる最小平均二乗誤差との比較である。当該グラフは、式２７をグラフ化したものである。

より具体的には、周波数領域の信号ｃ_１’に適用されるウィナーフィルタ１１３０によって達成される最小平均二乗誤差の削減を、相関係数ρの値と、信号ｓの分散によって正規化された量子化ノイズｎ_１の分散とに関して、空間領域の信号ｓ’に適用されるウィナーフィルタ９３０と比較して示したものである。

この例に関するグラフから分かるように、相関係数ρが１と等しくなく、量子化ノイズの分散がゼロよりも大きい場合は常に、平均二乗誤差が削減できる。したがって、２つのサンプルを有する１次元信号に関するこの例は、ノイズが挿入された領域のフィルタリングを行うことにより、平均二乗誤差を削減する結果となることを示している。

これらの考慮に基づき、本発明は、フィルタ設計およびフィルタリングが周波数領域で実行される、動画像符号化装置及び動画像復号方法、ならびに動画像信号の符号化方法および復号方法を提供する。

動画像符号化装置側で、周波数領域においてフィルタ設計が実行され、周波数領域の動画像信号のフィルタリングに用いられるフィルタデータが動画像復号装置側に提供される。動画像復号装置では、フィルタにフィルタ情報が設定され、周波数領域においてブロック単位で適用される。

動画像符号化装置と動画像復号装置とで類似の動作を保証する目的で、本発明の好適な実施形態によれば、フィルタ情報が符号化動画像データと共に、動画像符号化装置で供給される。動画像復号装置は、当該フィルタ情報を取得し、それにしたがってフィルタ特性を設定することができる。

図１８Ａおよび図１８Ｂは、本発明の動画像符号化装置１３００Ａ、１３００Ｂを概略的に示すものである。動画像符号化装置１３００Ａは、動画像信号１３０１を周波数領域に変換する変換部１３１０と、周波数領域に変換された動画像信号１３１１に基づいてフィルタ情報１３３１を生成するフィルタ設計部１３３０とを備える。

ここで動画像信号１３０１とは、画素値、または予測符号化が適用される場合は予測誤差値といった２次元信号を指す。動画像信号を周波数領域に変換する変換は、フーリエ変換、離散コサイン変換、ＫＬ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）変換、またはそのような変換の高速および／または整数版等の任意の変換であり得る。

その後、周波数領域に変換された動画像信号１３１１は、周波数領域の動画像信号のフィルタリングに用いられるフィルタ情報１３３１を決定するフィルタ設計部１３３０に用いられる。そのようなフィルタ情報１３３１は、フィルタ係数および／または周波数領域の動画像信号のオフセットであってもよい。しかしながら、そのようなフィルタ情報１３３１はまた、フィルタ係数の算出および／またはフィルタの設定に用いることができる周波数領域に変換された動画像信号に関連する任意の統計的情報であってもよい。フィルタ情報１３３１はまた、（変換、またはフィルタ設計部１３３０の一部として）量子化が変換後に適用される場合は、量子化および非量子化変換係数に基づいて決定されてもよい。

その後、フィルタ情報１３３１は、動画像復号装置側に提供される。ここで、動画像復号装置側にフィルタ情報１３３１を提供する利点は、動画像復号装置自体が取得できないフィルタ設定のための情報を、動画像復号装置に提供できる可能性があることである。そのような情報は、例えば、何らかの不可逆圧縮が行われる前の動画像信号に関連する情報である。

フィルタ情報１３３１と、周波数領域に変換された動画像信号１３１１の両方が、さらに符号化されてもよい。フィルタ設計部１３３０はまた、好ましくは、本発明の特定の実施形態に関して説明されるように、周波数領域の符号化および／または圧縮動画像信号を用いてフィルタ情報１３３１を決定する。

図１８Ｂに示される動画像符号化装置１３００Ｂは、さらに、周波数領域に変換された動画像信号１３１１にフィルタ処理を適用するフィルタ１３４０と、フィルタ設計部１３３０で生成されたフィルタ情報１３３１をフィルタ１３４０に設定するフィルタ設定部１３３５とを備える。

フィルタ１３４０を設定することは、実行されるフィルタリング動作を定義するフィルタ係数、動画像信号オフセット等のフィルタパラメータを提供することを含む。これらのパラメータは、フィルタ情報１３３１から取得されるか、フィルタ情報１３３１および恐らく変換された動画像信号１３１１に基づいて算出されるかの何れかである。

図１９Ａは、本発明の動画像復号装置１４００Ａ、１４００Ｂの概略的に示すものである。図１９Ａに示される動画像復号装置１４００Ａは、周波数領域の動画像信号１４１１にフィルタ処理を適用するフィルタ１４４０と、フィルタ１４４０の設定を行うフィルタ設定部１４３５と、フィルタ１４４０によってフィルタ処理が施された周波数領域の動画像信号１４１１を空間領域の動画像信号１４２１に変換する逆変換部１４２０とを備える。

動画像復号装置１４００Ａには、フィルタ情報１４３１と、動画像信号１４１１とが入力される。フィルタ情報１４３１は、動画像符号化装置側、例えば、図１８Ａおよび１３Ｂに示される動画像符号化装置１３００Ａ、１３００Ｂのうちの１つによって提供される。フィルタ情報１４３１は、周波数領域の動画像信号１４１１のフィルタリングに用いられるフィルタ１４４０の設定に用いられる。

動画像復号装置１４００Ｂに入力される動画像信号１４０１が周波数領域になければ、まず、図１９Ｂに示されるように、変換部１４１０で周波数領域の動画像信号１４１１に変換されなければならない。フィルタ設定部１４３５は、フィルタ情報１４３１に加えて、周波数領域に変換された動画像信号１４１１を用いてフィルタ１４４０の設定を行ってもよい。

周波数領域のフィルタリング済み動画像信号１４４１は、逆変換部１４２０で空間領域に逆変換されてもよく、さらに処理されてもよい。しかしながら、フィルタ設定部１４３５は、フィルタ情報１４３１を取得も考慮もせずにフィルタ１４４０の設定を行ってもよい。フィルタ１４４０でのフィルタ処理は、ブロック単位で適用される。

（実施の形態１）
図２０Ａ及び図２０Ｂを参照して、本発明の実施の形態１に係る動画像符号化装置１５００を説明する。図２０Ａは、動画像符号化装置１５００の機能ブロック図である。図２０Ｂは、動画像符号化装置１５００の動作を示すフローチャートである。

実施の形態１における符号化信号を生成する処理には、動画像信号から予測信号を減算して予測誤差信号を生成し、予測誤差信号を空間領域から周波数領域に変換し、量子化して量子化係数を生成する処理が含まれる。また、フィルタ情報は、周波数領域の予測誤差信号と、フィルタ処理が適用された後の周波数領域の量子化予測誤差信号との平均二乗誤差が最小になるように決定される。

動画像符号化装置１５００は、図２０Ａに示されるように、減算器１０５と、変換／量子化部１１０と、加算器１２５と、デブロッキングフィルタ１３０と、逆変換部１５２０と、フィルタ設計部１５３０と、フィルタ１５４０と、エントロピー符号化部１５９０と、符号化信号を出力する出力部（図示省略）と、予測ブロック生成部（図示省略）とを備える。

この動画像符号化装置１５００は、入力信号としての動画像信号を符号化し、符号化信号を出力する。出力先は特に限定されないが、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）等の記録媒体でもよいし、伝送路を通じて動画像復号装置１６００に伝送してもよい。

減算器１０５は、符号化対象ブロック（入力信号）から予測ブロック（予測信号）を減算して予測誤差信号を生成する。変換／量子化部１１０は、予測誤差信号をＤＣＴ変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散コサイン変換）すると共に、量子化して量子化係数を生成する。エントロピー符号化部１５９０は、量子化係数をエントロピー符号化して符号化信号を生成する。なお、量子化係数と共に、動き予測部１６５で生成される動き補償データやフィルタ設計部１５３０で生成されるフィルタ情報１５３０等を含めてエントロピー符号化してもよい。

フィルタ設計部１５３０は、フィルタ係数と、第１及び第２のオフセット値とを含むフィルタ情報１５３１を生成する。より具体的には、周波数領域に変換された動画像信号と、フィルタ１５４０での処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように、各種フィルタ情報が決定される。フィルタ情報１５３１は、フィルタ１５４０に提供されると共に、エントロピー符号化部１５９０を経由して出力される。なお、出力されるフィルタ情報１５３１は、少なくともフィルタ係数及び第２のオフセット値が含まれている必要があり、第１のオフセット値は省略することができる。

フィルタ１５４０は、量子化後の周波数領域の信号に、フィルタ情報を用いてフィルタ処理を適用する。より具体的には、量子化の過程で重畳されたノイズを、周波数成分毎に除去する処理を適用する。実施の形態１におけるフィルタ１５４０は、変換／量子化部１１０で生成された量子化係数を逆量子化する。そして、逆量子化された信号に重畳されたノイズを、周波数成分毎に除去する。フィルタ処理の詳細は、後述する。

逆変換部１５２０は、フィルタ１５４０でフィルタ処理されると共に逆量子化された量子化係数をＤＣＴ逆変換して量子化予測誤差信号を生成する。加算器１２５１２０は、量子化予測誤差信号と予測ブロックとを加算して再構築信号を生成する。デブロッキングフィルタ１３０は、再構築信号からブロック歪みを除去して復号信号を生成する。

予測ブロック生成部は、符号化対象ブロック（入力信号）より前に符号化された画像に基づいて、当該符号化対象ブロックを予測した予測ブロックを生成する。この予測ブロック生成部は、メモリ１４０と、補間フィルタ１５０と、動き予測部１６５と、動き補償予測部１６０と、イントラフレーム予測部１７０と、スイッチ１７５とによって構成されている。

メモリ１４０は、復号信号を一時記憶する遅延器として機能する。より具体的には、変換／量子化部１１０で量子化され、且つ逆量子化されたブロックを順次記憶し、１枚の画像（ピクチャ）を記憶する。補間フィルタ１５０は、動き補償予測に先立って復号信号の画素値を空間的に補間する。動き予測部１６５は、復号信号と次の符号化対象ブロックとに基づいて動き予測を行い、動きデータ（動きベクトル）を生成する。動き補償予測部１６０は、復号信号と動きデータとに基づいて動き補償予測を行い、予測ブロックを生成する。イントラフレーム予測部１７０は、復号信号を画面内予測して予測信号を生成する。スイッチ１７５は、予測モードとして「イントラ」モード及び「インター」モードのいずれかを選択する。そして、スイッチ１７５から出力される予測ブロックは、次の符号化対象ブロックを予測した信号となる。

次に、図２０Ｂを参照して、動画像符号化装置１５００の動作を説明する。

まず、減算器１０５は、入力信号から予測信号を減算して、予測誤差信号を生成する（Ｓ１１）。次に、変換／量子化部１１０は、予測誤差信号をＤＣＴ変換すると共に、量子化して量子化係数を生成する（Ｓ１２）。

次に、フィルタ設計部１５３０は、予測誤差信号と量子化係数とを取得して、フィルタ情報１５３１を生成する。より具体的には、予測信号を周波数領域に変換（ＤＣＴ変換）し、量子化係数を逆量子化する。そして、周波数領域の予測信号と、逆量子化され、且つフィルタ処理された後の信号との平均二乗誤差が最小となるようなフィルタ情報１５３１を生成する。

次に、エントロピー符号化部１５９０は、量子化係数、動きデータ、及びフィルタ情報１５３１をエントロピー符号化して符号化信号を生成する（Ｓ１４）。なお、フィルタ情報１５３１は、量子化係数等と合わせてエントロピー符号化してもよいし、これらとは別に出力してもよい。一方、エントロピー符号化部１５９０の動作と平行して、フィルタ１５４０は、フィルタ情報１５３０を用いて、量子化係数にフィルタ処理を適用する（Ｓ１５）。

次に、逆変換部１５２０は、フィルタ１５４０からの出力信号をＤＣＴ逆変換して量子化予測誤差信号を生成する。また、加算器１２５は、量子化予測誤差信号と予測ブロックとを加算して再構築信号を生成する。デブロッキングフィルタ１３０は、再構築信号からブロック歪みを除去して復号信号を生成する。そして、予測ブロック生成部は、復号信号に基づいて予測ブロックを生成する（Ｓ１６）。

次に、図２１Ａ及び図２１Ｂを参照して、本発明の一実施形態に係る動画像復号装置１６００の構成及び動作を説明する。図２１Ａは、動画像復号装置１６００のブロック図である。図２１Ｂは、動画像復号装置１６００の動作を示すフローチャートである。

実施の形態１における符号化信号は、動画像信号が空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られる。また、復号信号を生成する処理には、符号化信号をエントロピー復号して復号信号としての量子化係数を生成する処理が含まれる。さらに、フィルタ処理には、量子化係数にフィルタ処理を適用すると共に、当該量子化係数を逆量子化する処理が含まれる。

動画像復号装置１６００は、図２１Ａに示されるように、符号化信号を取得する取得部（取得部）と、エントロピー復号部１６９０と、フィルタ１６４０と、逆変換部１６２０と、加算器２２５と、デブロッキングフィルタ２３０と、予測ブロック生成部（図示省略）とを備える。この動画像復号装置１６００は、図２０Ａに示される動画像符号化装置１５００で符号化された符号化信号を復号して復号ブロック（復号信号）を生成する。

エントロピー復号部１６９０は、動画像符号化装置１５００から出力された符号化信号をエントロピー復号して、量子化係数、動きデータ、及びフィルタ情報１６９１を取得する。フィルタ１６４０は、フィルタ１５４０と同様に、フィルタ情報１６９１を用いて、量子化係数にフィルタ処理を適用する。

逆変換部１６２０は、フィルタ１６４０から出力される信号をＤＣＴ逆変換することにより、量子化予測誤差信号を生成する。加算器２２５は、逆変換部１６２０から出力される量子化予測誤差信号と、予測ブロック生成部から出力される予測信号とを加算して、再構築信号を生成する。デブロッキングフィルタ２３０は、加算器２２５から出力される再構築信号に対して適用され、ブロックのエッジを平滑化して主観的画質を改善する。

予測ブロック生成部は、メモリ２４０と、イントラフレーム予測部２７０と、動き補償予測部２６０と、補間フィルタ２５０と、スイッチ２７５とを備える。この予測ブロック生成部は、基本的な構成及び動作は共通するが、動き予測部１７０を省略して、動きデータをエントロピー復号部１６９０から取得する点が異なる。

次に、図２１Ｂを参照して、動画像復号装置１６００の動作を説明する。

まず、エントロピー復号部１６９０は、符号化信号をエントロピー復号して、量子化係数、動きデータ、及びフィルタ情報１６９１を取得する（Ｓ２１）。次に、フィルタ１６４０は、フィルタ情報１６９１を用いて、量子化係数にフィルタ処理を適用する（Ｓ２２）。

次に、逆変換部１６２０は、フィルタ１６４０から出力される信号をＤＣＴ逆変換することにより、量子化予測誤差信号を生成する。次に、加算器２２５は、量子化予測誤差信号と予測ブロックとを加算して再構築信号を生成する（Ｓ２３）。また、デブロッキングフィルタ２３０は、再構築信号からブロック歪みを除去する。次に、予測ブロック生成部は、予測ブロックを生成する（Ｓ２４）。本発明の実施形態によれば、周波数領域のフィルタ設計およびフィルタリングは、ループフィルタリング用に採用される。図２０Ａおよび図２１Ａは、それぞれ、そのような動画像符号化装置１５００および動画像復号装置１６００の例を示す。

（変換された）予測誤差信号、および対応する量子化変換係数に基づき、フィルタ設計部１５３０が、周波数フィルタ１５４０が使用するフィルタ係数を予測し、量子化変換係数をフィルタリングする。その後、フィルタ係数は、符号化のために新たなループフィルタ情報１５３１内のエントロピー符号化部１５９０に提供されてもよい。しかしながら、フィルタ係数そのものを提供／符号化する必要がなくてもよい。

新たなループフィルタ情報１５３１は、概して、動画像符号化装置１５００と類似の方法で動画像復号装置１６００側にフィルタを設定するために必要な情報を含むべきである。それは、動画像復号装置１６００がフィルタ係数を決定できるようにするいかなる情報でもよい。

エントロピー符号化部１５９０は、指数ゴロム、ゴロム、ユニタリー符号、または符号化される新たなループフィルタ情報の特定の統計を考慮して設計された符号等の整数可変長符号を用いてもよい。符号化された新たなループフィルタ情報は、その後、他の符号化動画像データと共に動画像復号装置１６００側に提供される。動画像符号化装置１５００におけるフィルタリング済み変換係数は、逆変換部１５２０で逆変換され、フィルタリング済み量子化予測誤差信号が取得される。

動画像復号装置１６００において、新たなループフィルタ情報１６９１が、エントロピー復号部１６９０によって復号され、フィルタ設計およびフィルタ処理を実行するフィルタ１６４０に提供される。フィルタ設計は、フィルタ係数が動画像符号化装置１５００から直接提供されない場合に、新たなループフィルタ情報に基づいてフィルタ係数を算出するために必要である。フィルタ１６４０は、そのように算出されたフィルタ係数を用いて設定されるか、またはフィルタ係数および恐らく新たなループフィルタ情報１６９１内で取得された他の必要なデータを取得したエントロピー復号部１６９０から直接設定される。

その後、量子化変換係数がフィルタ１６４０によってフィルタリングされ、逆変換部１６２０によって逆変換され、対応するフィルタリング済み量子化予測誤差信号値となり、さらに予測信号に加えられ、再構築信号を得る。再構築信号は、例えば、デブロッキングフィルタ２３０によって、さらにフィルタリングされてもよい。

図２２は、動画像符号化装置１５００および／または動画像復号装置１６００に採用された例示的な周波数領域のフィルタ１５４０、１６４０の詳細を示す。Ｋ個の量子化変換係数ｃ₁’，…，ｃ_k’から、個々のオフセットｏ₁’，…，ｏ_k’（第１のオフセットに相当する。以下同じ。）が減算され、オフセット無しの変換係数ｃ₁”，…，ｃ_k”となる。好ましくは、オフセットｏ₁’，…，ｏ_k’は、各量子化変換係数ｃ₁’，…，ｃ_k’の平均値Ｅ［ｃ₁’］，…，Ｅ［ｃ_k’］に対応する。

各変換係数ｃ₁”，…，ｃ_k”は、その後、フィルタ１７４０でフィルタリングされ、Ｋ個の量子化変換係数ｃ₁”’，…，ｃ_k”’となる。なお、フィルタ１７４０は、各変換係数ｃ₁”，…，ｃ_k”それぞれに対応する独立したフィルタ１〜Ｋを含む。このフィルタ１〜Ｋには、各変換係数ｃ₁”，…，ｃ_k”それぞれに適応するフィルタ係数が個別に設定される。

フィルタリング後に、個々のオフセットｏ_１，…，ｏ_ｋ（第２のオフセットに相当する。以下同じ。）の各々がＫ個のフィルタリング済み変換係数ｃ₁”’，…，ｃ_k”’の各々に加算される。オフセットｏ_１，…，ｏ_ｋは、好ましくは、原予測誤差信号ｓの変換係数ｃ_１，…，ｃ_ｋの平均値である。結果として得られた変換係数１７４１は、逆変換部１５２０、１６２０で逆変換される。逆変換部１５２０、１６２０からの出力信号ｅ’は、フィルタリング済み量子化予測誤差値（残差）に対応する。

動画像符号化装置１５００において、（Ｍ個のフィルタ係数によって得られる）Ｍ次のフィルタでＫ個の変換係数（ｋ＝ｌ，…，Ｋ）をフィルタリングするフィルタ係数ｗ_ｌ，ｋ，…，ｗ_Ｍ，ｋが、例えば、ウィナーフィルタとして算出される。動画像復号装置１６００が動画像符号化装置１５００と同じフィルタリングを行えるようにする目的で、フィルタ情報１５３１は、オフセットｏ_１，…，ｏ_ｋおよびフィルタ係数ｗ_1,k，…，ｗ_M,kを含む。

図２２に示されるフィルタ処理は、復号信号を構成する複数のブロックそれぞれについて、処理対象ブロックの各周波数成分の値と、処理対象ブロックに時間的又は空間的に隣接するブロックの対応する周波数成分の値とを、フィルタ情報に含まれる重み係数を用いて重み付け加算するステップと、重み付け加算を実行する前の処理対象ブロックに対して、各周波数成分の値から第１のオフセット値を減算するステップと、重み付け加算した後の処理対象ブロックに対して、各周波数成分の値にフィルタ情報に含まれる第２のオフセット値を加算するステップとを含む。

なお、重み係数は、フィルタ処理が適用された後の周波数領域の処理対象ブロックと、周波数領域の動画像信号に含まれる処理対象ブロックに対応するブロックとの平均二乗誤差が最小になるように決定されている。また、第１のオフセット値は、周波数領域の復号信号に含まれるブロックのうち、処理対象ブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に算出される。さらに、第２のオフセット値は、周波数領域の動画像信号に含まれるブロックのうち、処理対象ブロックに対応するブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に算出されている。

より具体的には、フィルタ１５４０、１６４０は、量子化の行われるブロック単位の信号に対して適用される。すなわち、ｃ₁’，…，ｃ_k’は、量子化係数の各周波数成分の値（すなわち、ｋ＝６４）に相当する。

フィルタ処理の第１の工程では、量子化係数の各周波数成分の値（ｃ₁’，…，ｃ_k’）から第１のオフセット値（ｏ₁’，…，ｏ_k’）を減算する。この第１のオフセット値（ｏ₁’，…，ｏ_k’）は、量子化係数の各周波数成分の値（ｃ₁’，…，ｃ_k’）を、時間的又は空間的に連続する複数のブロックから抽出して同一周波数成分毎に平均した値である。

次に、フィルタ処理の第２の工程では、第１のオフセット値（ｏ₁’，…，ｏ_k’）が減算された後の量子化係数（ｃ₁”，…，ｃ_k”）を逆量子化し、フィルタ１７４０を適用する。フィルタ１７４０は、周波数成分毎のフィルタ１〜Ｋで構成されており、それぞれにフィルタ係数ｗ₁，…，ｗ_kが提供される。また、フィルタ係数ｗ_kは、Ｍ（たとえば、Ｍ＝９）個の重み係数ｗ_1,k，…，ｗ_M,kで構成される。この重み係数は、処理対象ブロックの各周波数成分の値と、処理対象ブロックに時間的又は空間的に隣接するブロックの対応する周波数成分の値とを、重み付け加算するのに使用される。

なお、この重み係数ｗ_1,k，…，ｗ_M,kは、フィルタ１７４０から出力されるフィルタリング済み変換係数（ｃ₁”’，…，ｃ_k”’）と、原予測誤差信号ｓの変換係数（ｃ_１，…，ｃ_ｋ）から第２のオフセット値（ｏ₁，…，ｏ_k）が減算された値（ｃ_１−ｏ₁，…，ｃ_ｋ−ｏ_k）との平均二乗誤差が最小となるように決定される。

次に、フィルタ処理の第３の工程では、フィルタリング済み変換係数（ｃ₁”’，…，ｃ_k”’）に第２のオフセット値（ｏ₁，…，ｏ_k）が加算される。この第２のオフセット値（ｏ₁，…，ｏ_k）は、原予測誤差信号ｓの変換係数（ｃ_１，…，ｃ_ｋ）を、時間的又は空間的に連続する複数のブロックから抽出して同一周波数成分毎に平均した値である。

フィルタ係数を送信する代わりに、動画像復号装置１６００で取得できないフィルタ係数取得に必要な情報を送信してもよい。そのような情報は、量子化前の入力変換係数ｃ_１，…，ｃ_ｋに関連する任意の情報であり、フィルタ係数ｗ_1,k，…，ｗ_M,kの算出に用いることができる。ウィナーフィルタ設計の場合、例えば、入力変換係数とフィルタリング済み変換係数との間の相互相関ベクトル、またはノイズの自己相関等が送信されてもよい。符号化動画像信号と共にオフセットｏ_１，…，ｏ_ｋを提供することで、フィルタリング後の画質が向上する。しかしながら、オフセットｏ_１，…，ｏ_ｋを提供せずに本発明を実施することも可能である。

この例において、Ｍ次のフィルタは、個々の変換係数のフィルタリングに用いられる個々の係数フィルタに対して等しい。しかしながら、異なる変換係数のフィルタリングに用いられるフィルタ次数が異なれば、利点となる場合がある。様々な変換係数に対する特定のフィルタ次数Ｍ_１，…，Ｍ_ｋは、その後、固定される（デフォルトまたは動画像符号化装置／動画像復号装置に設定される）か、フィルタ情報と共に信号送信される。

（実施の形態２）
図２３及び図２４を参照して、本発明の実施の形態２に係る動画像符号化装置１８００及び動画像復号装置１９００を説明する。本発明の実施の形態２によれば、周波数領域のフィルタ設計およびフィルタリングは、再構築画像／動画像信号に対し動作するポストフィルタに適用される。図２３および図２４は、それぞれ、そのような動画像符号化装置１８００および動画像復号装置１９００を示す。なお、実施の形態１に係る動画像符号化装置１５００及び動画像復号装置１６００と共通する構成要素には同一の参照番号を付し、詳しい説明を省略する。

実施の形態２に係る符号化信号を生成する処理には、周波数領域の動画像信号を量子化し、逆量子化して再構築信号を生成する処理が含まれる。また、フィルタ情報は、周波数領域の動画像信号と、フィルタ処理が適用された後の周波数領域の再構築信号との平均二乗誤差が最小になるように決定される。

動画像符号化装置１８００は、図２３に示されるように、フィルタ設計部１５３０及びフィルタ１５４０を省略する代わりに、フィルタ設計部１８３０を備える点で図２０Ａに示される動画像符号化装置１５００と相違する。

フィルタ設計部１８３０は、動画像復号装置１９００のフィルタ１９４０で使用されるフィルタ情報１８３１を生成する。具体的には、入力信号と再構築信号とを取得し、それぞれを周波数領域に変換する。そして、周波数領域の入力信号と、フィルタ１９４０でフィルタ処理された後の周波数領域の再構築信号との平均二乗誤差が最小となるようにフィルタ情報１８３１を決定する。

動画像復号装置１９００は、図２４に示されるように、フィルタ１６４０を省略する代わりに、フィルタ１９４０を備える点で図６Ａに示される動画像復号装置１６００と相違する。

実施の形態２に係る符号化信号は、動画像信号から予測信号が減算され、空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られる。また、復号信号を生成する処理には、符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換し、予測信号を加算して復号信号としての再構築信号を生成する処理が含まれる。さらに、フィルタ処理には、再構築信号を空間領域から周波数領域に変換する処理と、周波数領域の再構築信号にフィルタ処理を適用する処理と、フィルタ処理を適用した後の再構築信号を周波数領域から空間領域に逆変換する処理とが含まれる。

フィルタ１９４０は、加算器２２５から出力される再構築信号を空間領域から周波数領域に変換し、周波数領域の信号に対してフィルタ情報１９９１を用いてフィルタ処理を適用し、フィルタ処理後の信号を周波数領域から空間領域に逆変換する。

動画像符号化装置１８００内に実装された周波数領域のポストフィルタを設計するフィルタ設計部１８３０が、新たなポストフィルタ情報１８３１をエントロピー符号化部１８９０に提供する。ここで、新たなポストフィルタ情報１８３１は、フィルタ係数を直接含むか、動画像復号装置１９００がポストフィルタ係数を算出できるようにする任意の他の情報を含んでもよい。

動画像符号化装置１８００側において、ポストフィルタリングは予測ループで用いられないため、適用される必要はない。フィルタ設計部１８３０は、入力信号と再構築信号とに基づいて提供されるフィルタ係数、または他の関連情報を算出する。フィルタ係数は、例えば、ウィナーフィルタ係数として予測されてもよく、またはその代わりに、入力信号と再構築信号との間の相互相関、ノイズの自己相関、もしくはノイズと信号との間の相関といった統計的データとして提供されてもよい。

動画像復号装置１９００において、符号化動画像データと共に動画像符号化装置１８００により提供された新たなポストフィルタ情報１９９１は、エントロピー復号部１９９０によって復号される。フィルタ１９４０は、新たなポストフィルタ情報１９９１と再構築動画像信号とを取得することができ、かつ、フィルタを設定し、再構築信号をフィルタリングすることができる。

図２５は、本発明のこの実施形態に用いられる周波数領域の例示的なフィルタ１９４０の詳細を示す。再構築信号ｓ’が、変換部２０１０で周波数領域に変換される。好ましくは、予測誤差の符号化に、動画像符号化装置１８００の変換／量子化部１１０における変換と同じ変換手法が用いられる。これにより、ソフトウェアおよび／またはハードウェアにおいて可能な実施態様を簡易化してもよい。しかしながら、動画像符号化装置１８００による変換手法と異なる変換、例えば機能および／またはサイズに基づく変換もまた用いられてもよい。当該変換はまた、フィルタ設計部１８３０の一部として選択されてもよく、選択された変換は、符号化動画像データと共に動画像復号装置１９００に提供されてもよい。当該選択は、予め定められた変換の組から実行されてもよく、または、変換マトリクス全体が決定され信号送信されてもよい。

変換部２０１０は、入力再構築信号ｓ’をＫ個の変換係数ｃ₁’，…，ｃ_k’に変換する。Ｋ個の変換係数ｃ₁’，…，ｃ_k’から、個々のオフセットｏ₁’，…，ｏ_k’（第１のオフセット値）が減算され、変換係数ｃ₁”，…，ｃ_k”となる。やはり、オフセットｏ₁’，…，ｏ_k’は、好ましくは、対応する変換係数ｃ₁’，…，ｃ_k’を、時間的又は空間的に隣接する複数のブロックから抽出して平均した値である。

オフセットを減算した後の変換係数ｃ₁”，…，ｃ_k”の各々は、フィルタ２０４０でフィルタリングされ、Ｋ個のフィルタリング済み変換係数ｃ₁’”，…，ｃ_k’”となる。

Ｋ個のフィルタリング済み変換係数ｃ₁’”，…，ｃ_k’”の各々に対し、個々のオフセットｏ_１，…，ｏ_ｋ（第２のオフセット値）が加算される。オフセットｏ_１，…，ｏ_ｋは、好ましくは、原入力信号ｓの変換係数ｃ₁，…，ｃ_ｋを、時間的又は空間的に隣接する複数のブロックから抽出して平均した値に対応する。結果として得られた変換係数２０４１は、逆変換部２０２０で逆変換される。出力信号ｓ”は、フィルタリング済み再構築画像を表す。

既に説明した本発明の実施の形態１と同様に、フィルタ係数ｗ_1,k，…，ｗ_M,kおよびオフセットｏ_１，…，ｏ_ｋは、好ましくは、エントロピー符号化部１８９０でエントロピー符号化され、動画像符号化装置１８００から動画像復号装置１９００に提供される。さらに、変換部２０１０および／または逆変換部２０２０で適用される変換手法を信号で伝える変換情報が、動画像符号化装置１８００から動画像復号装置１９００に送信されてもよい。そのような変換情報は、予め定められた固定の組となっている実行可能な変換のうちの１つを指定するものであってもよい。または、変換および／または逆変換マトリクスが信号送信されてもよい。他の可能性として、受信した動画像データに基づいて変換を暗示的に決定すること等も実施されてもよい。動画像データという用語は、符号化済み量子化変換係数と共に送信される、動画像シーケンスを正しく復号するために必要な全てのシンタックス要素を指す。

（実施の形態３）
図２６及び図２７を参照して、本発明の実施の形態３に係る動画像符号化装置２１００、２２００を説明する。本発明の実施の形態３によれば、周波数領域のフィルタリングは、再構築動画像信号に適用される。図２６および図２７は、そのような動画像符号化装置２１００、２２００の例を示す。なお、実施の形態１に係る動画像符号化装置１５００及び動画像復号装置１６００と共通する構成要素には同一の参照番号を付し、詳しい説明を省略する。

特に、図２６に示される動画像符号化装置２１００は、デブロッキングフィルタ１３０の代わりにフィルタ及び設計部２１４０を備える点で図２０Ａに示される動画像符号化装置１５００と相違する。フィルタ及び設計部２１４０は、フィルタ設計およびフィルタ処理を実行する。フィルタの係数は、入力動画像信号（所望の信号）と再構築動画像信号とに基づいて、周波数領域において算出される。その後、フィルタ情報２１３１が、符号化のためエントロピー符号化部２１９０に提供される。

図２７に示される動画像符号化装置２２００は、デブロッキングフィルタ１３０に加えて、その後に動作するフィルタ及び設計部２２３０を備える点で図２０Ａに示される動画像符号化装置２２００と相違する。フィルタ及び設計部２２３０は、入力（所望の）動画像信号と、再構築かつデブロッキングされた動画像信号とに基づいて、周波数領域において算出されたフィルタ係数等のフィルタ情報２２３１を、エントロピー符号化部２２９０に提供する。

なお、図２６及び図２７に示されるフィルタ及び設計部２１４０、２２３０は、例えば、図２３に示されるフィルタ設計部１８３０と同様の方法でフィルタ情報２１３１、２２３１を生成すると共に、図２５に示されるような方式でフィルタ処理を実行する。但し、図２７に示されるフィルタ及び設計部２２３０は、デブロッキングフィルタ１３０から出力される信号を取得する点で、加算器１２５から出力される信号を直接取得する図２３及び図２６の例と異なる。

周波数領域のループフィルタを備える動画像符号化装置２１００、２２００に対応する動画像復号装置は、基本的に、フィルタリングに用いられる動画像符号化装置２１００、２２００と類似の機能的ブロックを備える。フィルタ設計は、取得されたフィルタ情報および／または局所的に算出された情報に基づいて実行される。フィルタ設定後、再構築動画像信号は、周波数領域においてフィルタリングされる。

（実施の形態４）
図２８〜図３０を参照して、本発明の実施の形態４に係る動画像符号化装置２３００及び動画像復号装置２４００を説明する。本発明の実施の形態４によれば、予測信号と、量子化予測誤差信号と、再構築信号とが、フィルタリング（設計）のプロセスにおいて別々に考慮される。図２８は、動画像符号化装置２３００の機能ブロック図である。図２９は、動画像復号装置２４００の機能ブロック図である。図３０は、実施の形態４に係るフィルタリングのプロセスの例を示す。なお、実施の形態１に係る動画像符号化装置１５００及び動画像復号装置１６００と共通する構成要素には同一の参照番号を付し、詳しい説明を省略する。

実施の形態４に係る符号化信号を生成する処理には、動画像信号から予測信号を減算して予測誤差信号を生成し、予測誤差信号を空間領域から周波数領域に変換し、量子化し、逆量子化し、周波数領域から空間領域に変換して量子化予測誤差信号を生成し、量子化予測誤差信号に予測信号を加算して再構築信号を生成する処理が含まれる。また、フィルタ情報は、周波数領域の予測信号、周波数領域の量子化予測誤差信号、及び周波数領域の再構築信号に基づいて、周波数領域の予測誤差信号と、フィルタ処理が適用された後の周波数領域の量子化予測誤差信号との平均二乗誤差が最小になるように決定される。

図２８に示される動画像符号化装置２３００は、入力（所望の）動画像信号、予測信号、量子化予測誤差信号、および復号（再構築かつデブロッキングされた）動画像信号に基づいて周波数領域のフィルタ情報２３３１を決定するフィルタ設計部２３３０を備える点で図２０Ａに示される動画像符号化装置１５００と相違する。フィルタ情報２３３１は、エントロピー符号化部２３９０に提供される。

フィルタ設計部２３３０は、周波数領域の予測誤差信号と、フィルタ２４４０でフィルタ処理が適用された後の周波数領域の量子化予測誤差信号との平均二乗誤差が最小になるように、フィルタ情報２３３１を決定する。

図２９に示される動画像復号装置２４００は、動画像符号化装置２３００に対応する動画像復号装置２４００を示す。

エントロピー復号部２４９０は、フィルタ情報２４９１を復号し、それをフィルタ２４４０に提供する。フィルタ２４４０はポストフィルタを設定し、それを再構築信号に適用する。ここで、フィルタの設定はまた、特に、フィルタ係数の代わりに、フィルタ係数の算出に必要な情報が提供される場合に、動画像符号化装置２３００側でのフィルタ設計部２３３０と類似のフィルタ設計も含んでもよい。

フィルタ設計部２４４０は、量子化予測誤差信号、予測信号、及び再構築信号を空間領域から周波数領域に変換する。そして、周波数領域に変換された各信号の互いに対応するブロックに含まれる同一周波数成分の値毎に、フィルタ情報２４９１を用いてフィルタ処理を適用する。

図３０は、動画像復号装置２４００のフィルタ２４４０の詳細を示す図である。

この例における符号化信号は、動画像信号から予測信号が減算されて予測誤差信号が生成され、当該予測誤差信号が空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られる。また、復号信号を生成する処理には、符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換して量子化予測誤差信号を生成し、量子化予測誤差信号と予測信号とを加算して再構築信号を生成する処理が含まれる。また、フィルタ処理は、復号信号としての量子化予測誤差信号、予測信号、及び再構築信号の互いに対応するブロックに含まれる同一周波数成分の値をフィルタ情報に含まれる重み係数を用いて重み付け加算するステップを含む。さらに、重み係数は、周波数領域の予測誤差信号と、フィルタ処理が適用された後の周波数領域の量子化予測誤差信号との平均二乗誤差が最小になるように決定される。

このフィルタ２４４０では、予測信号ｓ＾、量子化予測誤差信号ｅ’、および再構築信号ｓ’がフィルタリングにおいて別々に考慮される。

量子化予測誤差信号ｅ’の変換係数ｃ_1,e’’，…，ｃ_k,e’’を、時間的又は空間的に隣接する複数のブロックから抽出して平均した値と、原予測誤差信号ｅの変換係数ｃ_１，…，ｃ_ｋを、時間的又は空間的に隣接する複数のブロックから抽出して平均した値とを調整する目的で、図２２を参照して既に簡潔に説明したように、平均調整が行われる。

この目的のため、オフセットｏ_1,e’’，…，ｏ_k,e’’が、ｏ_k,e’’＝Ｅ［ｃ_k,e’’］として算出される。ただし、ｋ＝１，…，Ｋである。オフセットｏ_１，…，ｏ_ｋが、ｏ_ｋ＝Ｅ［ｃ_ｋ］として算出される。ただし、ｋ＝１，…，Ｋである。ここで算出とは、量子化予測誤差信号ｅ’の平均と、原予測誤差信号ｅの平均とを、例えば複数の対応するサンプルに渡る平均として予測することを指す。

周波数領域の各変換係数に対するＫ個のフィルタ設計の最適化基準は、所望の信号ｃ_１−ｏ_１，…，ｃ_ｋ−ｏ_ｋとの間の最小平均二乗誤差であり、この所望の信号は、オフセット信号ｏ_１，…，ｏ_ｋ無しの原予測誤差信号ｅの変換係数、およびフィルタリング済み信号ｃ₁”’，…，ｃ_k”’に対応する。線形フィルタリングが、式２８の通り実行される。

ここで、ｗ_1,k，…，ｗ_M,kは、周波数領域のＫ個のフィルタのＭ・Ｋフィルタ係数であり、１つのＭ次フィルタ、つまり、各周波数成分に対しＭ個のフィルタ係数を有するフィルタである。そのような個別フィルタの各々は、例えば、図３１Ａおよび図３１Ｂに示されるようなＭブロックに置かれた同一周波数成分のＭ個の変換係数ｃ_k,m”に重み付けする。

特に、図３１Ａは、重複していない９個のブロックの配置を示し、当該ブロックの変換係数はフィルタリングに用いられる。しかしながら、ブロック間の相関がより高い可能性があるため、重複するブロックの変換係数を用いる方が利点となる場合がある。対称的に重複するブロックの配置が、図３１Ｂに示される。しかしながら、当該ブロックは、領域のサイズが異なる分、非対称に重複してもよい。重複の方法は、例えば、ブロックの特性にしたがって選択してもよい。さらに、重複は、対象ブロックに対し単一画素（またはサブピクセル）単位で隣接ブロックをずらすことで最大化されてもよい。そのような場合は、フィルタリング済み信号が複数表示され、さらに任意に選択され、かつ／または所望のフィルタリング済み画像を取得するために組み合わされてもよい。

または、フィルタリングにより、時間軸において対象ブロックに隣接する同一周波数のブロック、つまり先行および／または後続フレームのブロックに対応する変換係数に重み付けしてもよい。そのような隣接ブロックの２つの例を、それぞれ図３２Ａおよび２７Ｂに示す。

図３２Ａは、対象ブロック２７０１を含むフレーム２７１０を示す。時間的に対象ブロック２７０１に隣接するブロック２７０２は、フレーム２７１０に時間的に隣接するフレーム２７２０にある。他の時間的に隣接するフレームからの他の時間的に隣接するブロックは、Ｍ番目のフレーム２７３０内のＭ番目のブロック２７０３までのフィルタリングに考慮可能である。この例において、時間的に隣接するブロック２７０１、２７０２、…、２７０３は、動画像シーケンスの異なるフレーム内で同じ位置に位置する。

図３２Ｂは、対象ブロック２７５１を有するフレーム２７５０、および対象ブロック２７５１に時間的に隣接するブロック２７５２を有するフレーム２７６０の他の例を示す。フレーム２７５０に隣接するフレーム２７６０内のブロック２７５２は、動き予測によって取得される。動きベクトル２７８０は、フレーム２７６０の最適なブロック２７５２がフレーム２７５０の対象ブロック２７５１となった動きを示す。よって、この例において、時間的に隣接するブロックは、動き予測、つまり隣接フレーム２７６０の対象ブロック２７５１に対する最適なブロック２７５２を見つけることによって取得されたブロックである。他の隣接フレーム（例えば、フレーム２７７０）のブロック（例えば、ブロック２７５３）は、対象ブロック２７５１に対する最適なブロックとして、または隣接フレーム２７６０内のブロック２７５２のような対象ブロックの他の隣接ブロックに対する最適なブロックとされてもよい。

図３２Ｂに示されるように、フィルタリングに用いられる隣接ブロックを決定するために動き補償を適用することで、図３２Ａの例の統計よりも類似した統計を有する隣接ブロックの組が得られる。概して、フィルタリングに用いられる一時的に隣接するブロックは、必ずしも直接的に隣接したフレームにあるわけではない。例えば、遮蔽の場合、隣接フレームからのブロックは、フィルタリングに考慮する必要はない。さらに、Ｍ個の隣接ブロックは、既に符号化／復号されたフレームからだけではなく、対象ブロックを含むフレームの後続フレームからも選択されてよい。Ｍ個の隣接ブロックはまた、対象ブロックに時間的に隣接したブロックと空間的に隣接したブロックの両方から選択されてもよい。

所望の信号ｃ_１−ｏ_１，…，ｃ_ｋ−ｏ_ｋと、フィルタリング済み信号ｃ₁”’，…，ｃ_k”’の間の平均二乗誤差を最小化するフィルタ係数ｗ_k,1，…，ｗ_k,Mは、式２９のＷｉｅｎｅｒ−Ｈｏｐｆ方程式の解により決定できる。

フィルタ係数ｗ_k,1，…，ｗ_k,Mの計算には、Ｗｉｅｎｅｒ−Ｈｏｐｆ方程式における全ての期待される値（相関項）の知識を要する。同様に、動画像復号装置２４００のフィルタ２４４０で用いられるフィルタ情報２４９１は、動画像符号化装置２３００のフィルタ設計部２３３０で上記の方法で算出される。やはり、再構築信号ｓ’の変換係数ｃ₁’，…，ｃ_k’ を、時間的又は空間的に隣接する複数のブロックから抽出して平均した値と、原入力信号ｓの変換係数ｃ_１，…，ｃ_ｋを、時間的又は空間的に隣接する複数のブロックから抽出して平均した値とは、ｏ_k’＝Ｅ［ｃ_k’］に対応するオフセットｏ₁’，…，ｏ_k’、およびｏ_ｋ＝Ｅ［ｃ_ｋ］に対応するオフセットｏ_１，…，ｏ_ｋによって調整される。

ここで、ｋ＝１，…，Ｋである。所望の信号ｃ_１−ｏ_１，…，ｃ_ｋ−ｏ_ｋと、フィルタリング済み信号ｃ₁”’，…，ｃ_k”’の間の平均二乗誤差を最小化することでフィルタ係数を取得すると、やはり、上記のようなＷｉｅｎｅｒ−Ｈｏｐｆ方程式の方式になる。

動画像符号化装置２１００、２２００、２３００および／または対応する動画像復号装置２４００の各例に用いられるフィルタ設計の例を以下に示す。フィルタ設計の結果は、例えば、図３０に示されるフィルタの設定に用いられてもよい。

ここで、予測信号ｓ＾、量子化予測誤差信号ｅ’、および再構築信号ｓ’が別々に考慮される。対応するオフセットｏ_1,s’’，…，ｏ_k,s’’はｏ_k,s’’＝Ｅ［ｃ_k,s’’］として算出され、オフセットｏ_1,e’’，…，ｏ_k,e’’はｏ_k,e’’＝Ｅ［ｃ_k,e’’］として算出され、オフセットｏ_1,s^’，…，ｏ_k,s^’はｏ_k,s^’＝Ｅ［ｃ_k,s^’］として算出され、オフセットｏ₁，…，ｏ_kはｏ_k＝Ｅ［ｃ_k］として算出される。ここでｋ＝１，…，Ｋである。

周波数領域のＫ個のフィルタの設計の最適化基準は、やはり、所望の信号ｃ_１−ｏ_１，…，ｃ_ｋ−ｏ_ｋとフィルタリング済み信号ｃ₁”’，…，ｃ_k”’との間の最小平均二乗誤差である。線形フィルタリングは式３０のように実行される。

ここで、ｗ_k,s’,1，…，ｗ_k,s’,Mは、再構築信号に用いられるＭ・Ｋフィルタ係数であり、ｗ_k,s^,1，…，ｗ_k,s^,Nは、予測信号に用いられるＮ・Ｋフィルタ係数であり、ｗ_k,e’,1，…，ｗ_k,e’,Oは、量子化予測誤差信号に用いられるＯ・Ｋフィルタ係数である。パラメータＭ、Ｎ、およびＯはフィルタの次数を表す。各フィルタは、Ｍ＋Ｎ＋Ｏブロックの同一周波数成分のＭ＋Ｎ＋Ｏ変換係数ｃ_k,s’,m”，ｃ_k,s^,n”，ｃ_k,e’,o”に重み付けする。

所望の信号ｃ_１−ｏ_１，…，ｃ_ｋ−ｏ_ｋと、フィルタリング済み信号ｃ₁”’，…，ｃ_k”’の間の平均二乗誤差を最小化するフィルタ係数は、式３１のＷｉｅｎｅｒ−Ｈｏｐｆ方程式の方式により決定できる。

ここで、Ｅ［ｘ_ｉｘ_ｊ］は、ｘ_ｉとｘ_ｊの間の全ての相互相関項からなるサブマトリクスを表す。周波数領域におけるフィルタ設計および／またはフィルタリングは、選択された周波数のみに対して実行されてもよい。例えば、ＤＣ係数のみがフィルタリングされてもよい。または、例えば、最初のＬ個の係数の組がフィルタリングされてもよく、フィルタリング対象の係数が動画像の内容に基づいて決定されてもよい。特に、変換係数の値が、フィルタリングを適用すべきか否かを決定する目的で評価される。

これにより、例えば、フィルタリング対象の変換係数値が大幅に異なる場合に、フィルタリングを無効にする可能性が生じる。変換係数値は、好ましくは閾値との比較に基づいて評価される。例えば、対象ブロックの変換係数と、フィルタリングに用いられる他のブロックとの差分が算出され、それに基づいてフィルタリングが有効または無効にされる。

係数間の差分が閾値を超えれば、フィルタリングが無効にされる。超えなければ、フィルタリングが有効にされる。この決定は、または、分散等の、近隣ブロック内の変換係数の統計に基づいて行うことができる。フィルタリングに用いられる近隣ブロックにおける同一周波数の変換係数の分散が閾値を超えれば、フィルタリングが無効にされる。周波数成分毎の閾値は、量子化パラメータに基づいて設定されてもよく、固定されてもよく、符号化動画像データと共に信号送信されてもよい。

フィルタリングを無効にできることにより、フィルタリング対象のブロックの特性が実質的に異なる場合、例えば、高勾配がある場合（空間的に隣接するブロックのエッジ、時間的に隣接するブロックのシーン切り替え）に、フィルタリング済み信号の質が向上する場合がある。

上記の説明において、変換係数は、入力カラーフォーマットによって与えられたラスタにおいて垂直および水平にサンプリングされた通常の（典型的には使用済みの）マクロブロックを変換することで得られたものとして記載した。しかしながら、本発明は、フィルタ情報を決定すること、フィルタを設定すること、および、この方法で取得された変換係数をフィルタリングすることに限定されない。変換されるブロックはまた、例えば４５度といった予め定められた角度に回転した後にサンプリングされてもよい。これは、ある特定の内容を有するブロックに有益であってもよい。サンプリングおよび変換は共に、必ずしも適用された動画像コードのサンプリングおよび変換に対応するとは限らない。

なお、図３１Ａ、図３１Ｂ、図３２Ａ、及び図３３を用いて説明した上記の方式は、実施の形態４のみならず、他の実施の形態１〜３、５におけるフィルタ設計及びフィルタ処理に応用できる。

（実施の形態５）
図３３及び図３４を参照して、本発明の実施の形態５に係る動画像符号化装置２８００及び動画像復号装置２９００を説明する。図３３は、動画像符号化装置２８００の機能ブロック図である。図３４は、動画像復号装置２００の機能ブロック図である。なお、実施の形態１に係る動画像符号化装置１５００及び動画像復号装置１６００と共通する構成要素には同一の参照番号を付し、詳しい説明を省略する。

図３３に示される動画像符号化装置２８００は、ループ内で周波数領域の予測信号のみをフィルタリングするフィルタ２８８０を備える点で図２０Ａに示される動画像符号化装置１５００と相違する。

実施の形態５に係る符号化信号を生成する処理には、動画像信号から予測信号を減算して予測誤差信号を生成し、予測誤差信号を空間領域から周波数領域に変換し、量子化し、逆量子化し、周波数領域から空間領域に変換して量子化予測誤差信号を生成し、量子化予測誤差信号に予測信号を加算して再構築信号を生成する処理が含まれる。また、フィルタ情報は、周波数領域の動画像信号と、フィルタ処理が適用された後の周波数領域の予測信号との平均二乗誤差が最小になるように決定される。

フィルタ情報は、周波数領域の入力信号および予測信号に基づいてウィナーフィルタ係数として予測される。フィルタリング済みの予測信号は、その後、さらに変換／符号化部１１０、及びエントロピー符号化部２８９０に供給されると共に、デブロッキングフィルタ１３０の前に再構築に用いられる。フィルタ情報は、エントロピー符号化部２８９０によって符号化され、動画像復号装置２９００側に提供される。

図３４に示される動画像復号装置２９００は、周波数領域の予測信号にフィルタ処理を適用するフィルタ２９８０を備える点で図２１Ａに示される動画像復号装置１６００と相違する。

実施の形態５に係る符号化信号は、動画像信号から予測信号が減算され、空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られる。また復号信号を生成するステップには、符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換して量子化予測誤差信号を生成し、量子化予測誤差信号と予測信号とを加算して再構築信号を生成する処理が含まれる。さらに、フィルタ処理には、予測信号を空間領域から周波数領域に変換する処理と、周波数領域の予測信号にフィルタ処理を適用する処理と、フィルタ処理が適用された後の予測信号を周波数領域から空間領域に逆変換する処理とが含まれる。

エントロピー復号部２９９０は、フィルタ情報を復号し、それらを、予測信号のフィルタリングに用いるためフィルタ２９８０に送る。予測信号は、加算器２２５およびデブロッキングフィルタ２３０に用いられる前にフィルタリングされる。予測信号をそのようにフィルタリングすることにより、予測誤差を最小化でき、よって再構築動画像の画質を更に向上させることができる。

図３５は、上記の各実施の形態に係る動画像符号化装置の例を詳細に示すブロック図である。異なる（空間的におよび／または時間的に隣接する）ブロックからの同一周波数の変換係数に重み付けすることでフィルタリングを適用する場合、これらの隣接ブロックを記憶する必要がある。フィルタリングが再構築動画像信号に適用される場合、再構築動画像信号はループ内でメモリ１４０、２４０に記憶されるため、追加的な記憶容量は必要ない。

しかしながら、フィルタ３０３０の場合、例えば、予測信号または予測誤差信号の対象ブロック３００１、隣接ブロック３００２の係数値が、メモリ３０２０に記憶されなければならない。フィルタリング済み信号は、その後、逆変換され、逆変換された信号３０４１となり、再構築に使用できる。この例の隣接ブロック３００２は、既に符号化／復号された空間的に隣接するブロックである。しかしながら、概して、動画像シーケンス内の異なる位置にある任意の数のブロックが用いられてもよい。

図３６は、フィルタ３１３０が無限インパルス応答（ＩＩＲ）フィルタリングである他の例を示す。有限応答フィルタリング（ＦＩＲ）とは異なり、ＩＩＲフィルタは、入力信号のサンプルだけではなく出力（フィルタリング済みの）信号のサンプルにも重み付けする。したがって、フィルタリング済み信号は、フィルタリング対象の信号に加えてメモリ３１２０に記憶されなければならない。上記例のほとんどはＦＩＲフィルタリングに関するが、本発明はそれに限定されない。

ＦＩＲフィルタは概して設計しやすいが、周波数領域においてＩＩＲフィルタリングの方が性能がよい場合がある。対象ブロック３１０１のフィルタリングに関わるブロックは概して、全て、既にフィルタリング済みの隣接ブロック３１０２である。図３６は、４つの先行ブロックのみを示す。しかしながら、既にフィルタリング済みの信号に重み付けすることにより、理論的に、全ての既にフィルタリング済みのブロックがフィルタリング結果に貢献する。各ブロックの貢献度は、対象ブロック３１０１からの距離（隣接ブロックの選択により、空間的および／または時間的距離）と共に減少する。

なお、図３５及び図３６を用いて説明した上記の方式は、実施の形態５のみならず、他の実施の形態１〜４におけるフィルタ設計及びフィルタ処理に応用できる。

本発明の上記実施形態は、適用されるフィルタの適応性に関して制限されるものではない。動画像符号化装置１３００および／または動画像復号装置１４００で採用されたフィルタは、動画像シーケンス毎に、または数個の動画像シーケンスに１回ずつ設計されてもよい。しかしながら、現在の統計にフィルタ設計を適用させると、通常、画質が向上する。フィルタ設計は、例えば、グループオブピクチャ単位、画像単位、スライスもしくはマクロブロック単位、ブロックもしくはそのような画像要素の数個単位で定期的に実行されてもよい。それに対応して、フィルタ情報が同じ規則性で提供（信号送信）されてもよい。

しかしながら、フィルタ設計の実行よりも低い頻度でフィルタ情報を提供すると利点となる場合がある。特に、所望の信号とフィルタリング済み信号との間の相互相関、またはノイズの自己相関といった、フィルタ係数を算出するための情報が提供された場合、この情報は、フィルタ係数が実際に算出されるよりも低い頻度で送信されてもよい。フィルタ情報は更新されないが、復号動画像変換係数および／または動画像信号から取得可能な、フィルタ係数の算出に必要な追加的情報がリフレッシュされる。

フィルタ設計および／またはフィルタ情報の信号送信はまた、不定期に、例えば動画像信号の統計が大幅に変化したときに実行されてもよい。フィルタの局所適応は、欧州出願第０８０１５６６１．５号に開示の方法と類似の方法で達成されてもよい。当該出願をここに引用し、援用する。さらに、量子化パラメータおよび／または量子化マトリクス値といった量子化設定は、特定の周波数成分に対するフィルタ係数の決定に用いられてもよい。

適応的フィルタ、フィルタ情報、例えばフィルタ係数の場合は、（エントロピー）符号化され、補助情報として動画像復号装置に提供される。Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ符号化方式またはその将来の拡張版および後続規格のコンテキストにおいて、フィルタ情報は好ましくは、ピクチャパラメータセット（ＰＰＳ）ＮＡＬユニット、またはシーケンスパラメータセット（ＳＰＳ）ＮＡＬユニットのスライスヘッダ内に送信される。適応的ポストフィルタ方式では、ポストフィルタ情報はまた、ＳＥＩ（補助強化情報）として動画像復号装置に送信することができる。

量子化予測誤差がフィルタリングのプロセスにおいて（つまり、フィルタ設計および／またはフィルタリングのために）考慮されるとき、その量子化予測誤差は変換領域において既に利用可能であることから、必ずしも図３０に示されるように別々に変換される必要はない。しかしながら、動画像符号化装置によって使用される変換／量子化部１１０、及び逆量子化／逆変換部１２０に関わらず、他の変換手法が選択されてもよい。そのような変換および／または逆変換は、動画像符号化装置で決定され、符号化され、動画像復号装置に提供されてもよい。

さらに、フィルタリングのプロセス（少なくともフィルタの設計および適用のうちの１つ）における変換に用いられるブロックグリッドは、必ずしも変換／量子化部１１０といった符号化ステップの内の１つにおけるブロックグリッドと同じである必要はない。フィルタリングのプロセスに用いられるブロックグリッドは、例えば、１つまたは２つのピクチャ要素（例えば画素）単位で、左、右、上およびまたは下にずらしてもよい。他のずらし方も可能である。フィルタ設計およびフィルタ適用に用いられるブロックは、必ずしも、符号化に用いられるブロックと同じサイズである必要はない。

適用された変換の数は、完全なものを超えてもよい。これは、変換を重複して用いることにより、空間領域のピクチャ要素よりも多くの係数が変換領域において生成されてもよいことを意味する。これにより、各ピクチャ要素（例えば画素値）に対して２つ以上のフィルタリング済みの表現が得られるであろう。これらは、最終的なフィルタリング済みの表現を得るために重み付けされてもよい。この重み付けはまた、適応的でもよく、符号化され、動画像復号装置に提供されてもよい。

上記動画像符号化装置の例に適用されたエントロピー符号化部は、必ずしも同じではない。好ましくは、フィルタ情報のエントロピー符号化は、より高い符号化効率を達成するために当該フィルタ情報の統計に適応されてもよい。

本発明の実施形態の例は、ウィナーフィルタ設計に焦点をおいて説明した。これは、ウィナーフィルタは、最初の２つの統計モーメントの知識に基づいて容易に算出できるからである。しかしながら、例えばより高次の統計（例えば、最大尤度推定）も考慮できるか、または平均二乗誤差以外の他の基準や測定基準を最適化できる他のフィルタ設計もまた適用してもよい。

図３７は、本発明による、動画像符号化装置３２０１側から動画像復号装置３２０３側へ動画像信号を送信するシステムを説明する図である。入力画像信号は、動画像符号化装置３２０１によって符号化され、チャネル３２０２へ提供される。上述したように、動画像符号化装置３２０１は、本発明の任意の実施形態に係る動画像符号化装置である。

図３７に示される動画像符号化装置３２０１は、少なくとも、動画像信号を空間領域から周波数領域に変換し、量子化して、符号化信号を生成する符号化部と、量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するフィルタ設計部と、符号化信号及びフィルタ情報を出力する出力部とを備える。なお、フィルタ情報は、周波数領域の動画像信号と、フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される。

一方、図３７に示される動画像復号装置３２０３は、符号化信号及びフィルタ処理を特定するフィルタ情報を取得する取得部と、符号化信号を復号して復号信号を生成する復号部と、動画像信号を符号化する過程で重畳されたノイズを、周波数領域の復号信号の周波数成分毎に除去するフィルタ処理を、フィルタ情報を用いて周波数領域の復号信号に適用するフィルタ部とを備える。なお、フィルタ情報は、周波数領域の動画像信号と、フィルタ処理が適用された後の周波数領域の復号信号との平均二乗誤差を最小にするための情報を含む。

チャネル３２０２は、格納手段か伝送チャネルである。格納手段は、例えば、任意の揮発性または非揮発性メモリや、任意の磁気または光学媒体や、大容量格納手段などである。任意の伝送システムや、無線あるいは配線または固定的あるいは移動可能な、ｘＤＳＬ、ＩＳＤＮ、ＷＬＡＮ、ＧＰＲＳ、ＵＭＴＳ、Ｉｎｔｅｒｎｅｔのようなものや、標準化または特許化されたシステムの物理的リソースによって、伝送チャネルを形成してもよい。

動画像符号化装置３２０１側は、動画像信号の符号化以外にも、チャネル３２０２を通して符号化動画像信号を伝送するフォーマットコンバータおよび／またはトランスミッタなどによる入力動画像信号の前処理や、符号化動画像信号を記録媒体に送信するためのアプリケーションを含んでもよい。符号化動画像信号は、チャネル３２０２を通じて動画像復号装置３２０３によって取得される。上述したように、動画像復号装置３２０３は、本発明の実施形態に係る動画像復号装置である。動画像復号装置３２０３は、符号化動画像信号を復号する。動画像復号装置３２０３側は、動画像信号の復号以外に、さらに、チャネル３２０２からの符号化動画像信号または格納手段からの符号化動画像データを抽出するためのアプリケーションを受信するレシーバと、さらに／または、フォーマット変換など復号動画像信号の後処理をおこなう後処理手段を備えてもよい。

本発明の他の実施形態は、ハードウェアおよびソフトウェアを用いる、上述のさまざまな実施形態の実施態様に関連するものである。本発明のさまざまな実施形態は、演算装置（プロセッサ）を用いて実現され実施されると分かる。演算装置またはプロセッサは、例えば、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーション用集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または、プログラマブルロジックデバイスなどであってもよい。本発明のさまざまな実施形態は、それらの装置を組み合わせて実施または具現化されてもよい。

さらに、本発明のさまざまな実施形態を、プロセッサまたはハードウェア内で直接的に実行されるソフトウェアモジュールを用いて実現してもよい。ソフトウェアモジュールとハードウェアの実施態様を組み合わせることも可能であろう。例えばＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、レジスタ、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤなど、任意の種類のコンピュータで読み取り可能な記憶媒体にソフトウェアモジュールを格納してもよい。

Ｈ．２６４／ＡＶＣに基づく動画像符号化システムに関連して上述の例の大半を概要説明した。用語は、主として、Ｈ．２６４／ＡＶＣの用語に関連したものである。しかしながら、Ｈ．２６４／ＡＶＣに基づく符号化に対するさまざまな実施形態の用語および記述は、本発明の原理および考えを、当該システムに限定することを意図しない。Ｈ．２６４／ＡＶＣ標準規格に準拠した符号化および復号に関する詳細な説明は、ここで説明した例示的な実施形態についての理解を深めることを意図しており、動画像符号化におけるプロセスおよび機能を、説明した特定の実施態様に本発明が限定されるように理解されるべきではない。一方、ここで提案した改良策は、動画像符号化において容易に応用可能であろう。さらに、本発明のコンセプトは、ＪＶＴによって現在討議されているＨ．２６４／ＡＶＣの拡張符号化においても容易に利用可能であろう。

図３８は、本発明によって達成できる利点の例を示すグラフである。このグラフは、空間解像度が１９２０×１０８０画素、かつフレームレートが毎秒２４フレームのＹＵＶ４：２：０の色空間におけるＭＰＥＧテストシーケンス「Ｄｉｎｎｅｒ」の符号化に必要なビットレートに対するＹ−ＰＳＮＲ（輝度成分Ｙのピーク信号対ノイズ比）を示す。本発明の符号化方式が、ポストフィルタ無しのＨ．２６４／ＭＰＥＧ−４ＡＶＣと、欧州出願第０８０１２０３６．３号による、分離できない２次元ウィナーポストフィルタで拡張されたＨ．２６４／ＭＰＥＧ−４ＡＶＣと比較される。実験は量子化重み行列（Ｑマトリクス）を用いて行われた。イントラ符号化および４×４変換が適用された。

要約すると、本発明による動画像の符号化および復号は、周波数領域におけるフィルタ設計およびフィルタリングを採用し、対応するフィルタを設定するためのフィルタ情報を動画像符号化装置側から動画像復号装置側に提供可能にする。周波数領域においてフィルタリングを行うことは、周波数領域にノイズも挿入された場合に、例えば、変換動画像信号の量子化に基づく動画像符号化において、特に利点をもたらす。

（実施の形態６）
次に、上記ノイズ除去フィルタの効率を向上させる目的で、図３９Ａ及び図３９Ｂに示すような拡張アルゴリズムのフローを提案する。図９Ａ及び図９Ｂのアルゴリズムフローとの違いは、係数ｃ_i,k＾へのウィナーフィルタ演算である。ウィナーフィルタリングの結果、係数ｃ_i,k ^〜となる。これらは、重み付き逆変換の計算に用いられる。ウィナーフィルタ演算は、式３２に示されるような線形フィルタである。ここで、記号「^〜（チルダ）」は、それぞれ直前の文字の上に付される記号を示し、本明細書では、以下、記号「^〜（チルダ）」を同様な意味で使用する。

上記式３２によると、係数ｃ_i,k ^〜（ｊ）は、係数予測値ｃ_i,k＾（ｊ）の線形結合の結果である。フィルタ長はＬである。オフセットｏ_ｋ（ｊ）を付加可能である。係数ｃ_i,k ^〜（ｊ）はＬ個の係数予測値ｃ_i,k＾（ｊ）の重み付け和である。それぞれの係数予測値ｃ_i,k＾（ｊ）は現在ブロックまたは現在ブロックに隣接するブロックの係数であり（図３１Ａ参照）、周波数領域への変換により得られる係数である。隣接するブロックは現在ブロックにオーバーラップしてもよい（図３１Ｂ参照）。係数ａ_ｌ，ｋ（ｊ）およびオフセットｏ_ｋ（ｊ）は、好ましくは、ｋ＝０，…，２によって示されるノイズ除去ループの各々に対して個別のものである。

係数ａ_ｌ，ｋ（ｊ）およびオフセットｏ_ｋ（ｊ）は、元の係数ｃ_ｉ（ｊ）とフィルタ済み係数ｃ_i,k ^〜（ｊ）との間の平均二乗誤差を最小化することで、動画像符号化装置側で予測される。係数ａ_1,k（ｊ）およびオフセットｏ_ｋ（ｊ）は、符号化され、動画像復号装置側に送信される。

係数の符号化は、好ましくは、下記の方法で予測符号化を用いて行われる。ｋ＝１，２のとき係数ａ_1,k（ｊ）の各々はａ_1,k-1（ｊ）によって予測される。差分ａ_1,k（ｊ）−ａ_1,k-1（ｊ）のみが符号化され送信される。この符号化は固定長符号または可変長符号によって実行されてもよい。

ｋ＝１，２のときオフセットｏ_k（ｊ）の各々はｏ_k-1（ｊ）によって予測される。差分ｏ_k（ｊ）−ｏ_k-1（ｊ）のみが符号化され送信される。この符号化は固定長符号または可変長符号によって実行されてもよい。

このノイズ除去フィルタをウィナーフィルタと組み合わせて、ポストフィルタとして用いることも可能であるが、符号化／復号ループ内では適用されない。この場合、補助的拡張情報（ＳＥＩ）メッセージを用いてウィナーフィルタ係数を送信することが好ましい。

図４０Ａ及び図４０Ｂは、その他の拡張アルゴリズムのフローを示す。図３９Ａ及び図３９Ｂに示されるフローとの違いは、ウィナーフィルタの入力信号は１つだけではなく、２つの異なる入力信号があることである。第１の入力信号は、係数ノイズ除去演算前の係数ｆ_1,k-1,・・・,ｆ_L,k-1であり、第２の入力信号は、ノイズ除去演算後の係数ｃ_1,k＾,・・・,ｃ_L,k＾である。ウィナーフィルタリングの結果は、式３３の通りである。

ウィナーフィルタリングへの個々の入力として２つの異なる信号ｆ_1,k-1,・・・,ｆ_L,k-1およびｃ_1,k＾,・・・,ｃ_L,k＾を用いることで、信号ｃ_1,k＾,・・・,ｃ_L,k＾のみを用いる場合と比べて、平均二乗誤差をより小さくすることができる。この理由は、両信号は原画信号のノイズを表現したものであるが、ノイズは両信号で異なるからである。上記式３３は、３つのウィナーフィルタと１つのオフセットがつなぎ合わされた構成をも包含する。ノイズの表現（ｆ_1,k-1,・・・,ｆ_L,k-1またはｃ_1,k＾,・・・,ｃ_L,k＾）は、各々、ウィナーフィルタリングされる。２つの結果も、やはりウィナーフィルタリングされる。その結果に対し、オフセットが付加される。係数ａ_1,k（ｊ）およびｂ_1,k（ｊ）が符号化され送信される。さらに、オフセットｏ_ｋ（ｊ）が符号化され送信される。この符号化ステップに関し、上記に説明したようなステップｋの係数とステップｋ−１の係数の間の予測が、ａ_1,k（ｊ）、ｂ_1,k（ｊ）、およびｏ_ｋ（ｊ）に適用可能である。

図４１Ａ及び図４１Ｂは、その他の拡張アルゴリズムのフローを示す。この場合、係数がまず線形ウィナーフィルタによってフィルタリングされる。その結果得られたフィルタリング済み係数は、さらに非線形ノイズ除去フィルタによってノイズ除去される。

なお、実施の形態６に係る処理は、実施の形態１〜５に係る動画像符号化装置及び動画像復号装置に適用することができる。

（実施の形態７）
上記実施の形態で示した画像符号化方法または画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記実施の形態で示した画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。

図４２は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図４２のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用および画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理および復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利または設備を有さないユーザでも個人放送を実現できる。

このコンテンツ供給システムを構成する各機器の符号化、復号には上記実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。

その一例として携帯電話ｅｘ１１４について説明する。

図４３は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えおよび消去が可能な不揮発性メモリであるＥＥＰＲＯＭの一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１４について図４４を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２および操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６および音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。

電源回路部ｅｘ７１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、音声出力部ｅｘ６０８を介してこれを出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データを、カメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３およびＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。

画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を、音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。

多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。

また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。

次に、画像復号部ｅｘ７０９は、本願で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これを、ＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図４５に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置を組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データまたはそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、衛星放送受信設備をもつ家庭のアンテナｅｘ２０４はこの電波を受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置はビットストリームを復号してこれを再生する。また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１５、ｅｘ２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で、衛星ｅｘ２０２または基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データまたはそれらのデータが多重化された符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に、音声データ、映像データまたはそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置または画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、符号化ビットストリームが記録された記録メディアｅｘ２１５により、他の装置およびシステム等は、映像信号を再生することができる。例えば、他の再生装置ｅｘ２１２は、符号化ビットストリームがコピーされた記録メディアｅｘ２１４を用いて、モニタｅｘ２１３に映像信号を再生することができる。

また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。

図４６は、上記実施の形態で説明した画像復号方法および画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、または、出力するチューナｅｘ３０１と、受信した符号化データを復調する、または、生成された符号化データを外部に送信するために変調する変調／復調部ｅｘ３０２と、復調した映像データと音声データとを分離する、または、符号化された映像データと音声データとを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、または、それぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号された音声信号を出力するスピーカｅｘ３０７、復号された映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２と多重／分離部ｅｘ３０３との間等でもシステムのオーバフローおよびアンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は、上記の符号化処理、多重化、および、外部出力ができる構成として説明したが、これらのすべての処理を行うことはできず、上記受信、復号処理、および、外部出力のうちいずれかのみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００およびリーダ／レコーダｅｘ２１８のうちいずれかで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図４７に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理は、システム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３およびサーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図４８に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置は、情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３の内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図４６に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器およびシステムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明は、上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態８）
上記各実施の形態で示した画像符号化方法および装置、画像復号方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図４９に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３およびストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して得た符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声データの復号および／または映像データの復号を行う。ここで映像信号の復号処理は、上記実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号は、メモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５およびテレビｅｘ３００等の各出力部から出力される。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上、本発明に係る画像符号化方法、画像符号化装置、画像復号方法および画像復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施した形態、および、異なる実施の形態における構成要素およびステップ等を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。

本発明は、画像符号化方法（装置）及び画像復号方法（装置）に有利に利用される。

１００，４００，５００，６００，１３００Ａ，１３００Ｂ，１５００，１８００，２１００，２２００，２３００，２８００，３２０１ 動画像符号化装置
１０５ 減算器
１１０ 変換／量子化部
１２０，２２０ 逆量子化／逆変換部
１２５，２２５ 加算器
１３０，２３０ デブロッキングフィルタ
１４０，２４０，３０２０，３１２０ メモリ
１５０，２５０ 補間フィルタ
１６０，２６０ 動き補償予測部
１６５ 動き予測部
１７０，２７０ イントラフレーム予測部
１７５，２７５ スイッチ
１８０，６４０ ポストフィルタ設計部
１９０，４９０，５９０，６９０，１５９０，１８９０，２１９０，２２９０，２３９０，２８９０ エントロピー符号化部
２００，７００，１４００Ａ，１４００Ｂ，１６００，１９００，２４００，２９００，３２０３ 動画像復号装置
２８０，７４０ ポストフィルタ
２９０，１６９０，１９９０，２４９０，２９９０ エントロピー復号部
３００，９３０，１１３０ ウィナーフィルタ
４４０，５４０ ウィナーフィルタ及び設計部
８１０，９１０，１１１０ ＤＣＴ変換部
８２０，９２０，１１２０ ＤＣＴ逆変換部
１３０１，１３１１，１４０１，１４１１，１４４１ 動画像信号
１３１０，１４１０，２０１０ 変換部
１３３０，１５３０，１８３０，２３３０ フィルタ設計部
６４１，１３３１，１４３１，１５３１，１６９１，１８３１，１９９１，２１３１，２２３１，２３３１，２４９１ フィルタ情報
１４２０ 逆変換部
１４３５ フィルタ設定部
１４４０，１５４０，１６４０，１７４０，１９４０，２０４０，２４４０，２８８０，２９８０，３０３０，３１３０ フィルタ
１５２０，１６２０，２０２０，３０４０，３１４０ 逆変換部
１７４１，２０４１ 変換係数
２１４０，２２３０ フィルタ及び設計部
２７１０，２７２０，２７３０，２７５０，２７６０，２７７０ フレーム
２７０１，２７０２，２７０３，２７５１，２７５２，２７５３ ブロック
２７８０ 動きベクトル
３０１０，３１１０ 逆量子化部
３０４１，３１４１ 信号
３００１，３１０１ 対象ブロック
３００２，３１０２ 隣接ブロック
３２０２ チャネル
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６，ｅｘ１０７，ｅｘ１０８，ｅｘ１０９，ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ
ｅｘ１１３，ｅｘ１１６ カメラ
ｅｘ１１４ カメラ付デジタル携帯電話（携帯電話）
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４，ｅｘ２０５，ｅｘ６０１ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３，ｅｘ２１９ モニタ
ｅｘ２１４，ｅｘ２１５，ｅｘ２１６，ｅｘ６０７ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６，ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８，ｅｘ６０２ 表示部
ｅｘ３０９ 出力部
ｅｘ３１０，ｅｘ５０１ 制御部
ｅｘ３１１，ｅｘ５０５，ｅｘ７１０ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４，ｅｘ６０６ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インターフェース部
ｅｘ３１８，ｅｘ３１９，ｅｘ３２０，ｅｘ３２１，ｅｘ４０４，ｅｘ５０８ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ ＣＰＵ
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームコントローラ
ｅｘ５０６ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ６０３ カメラ部
ｅｘ６０４ 操作キー
ｅｘ６０５ 音声入力部
ｅｘ６０８ 音声出力部
ｅｘ７０１ 送受信回路部
ｅｘ７０２ ＬＣＤ制御部
ｅｘ７０３ カメラインターフェース部（カメラＩ／Ｆ部）
ｅｘ７０４ 操作入力制御部
ｅｘ７０５ 音声処理部
ｅｘ７０６ 変復調回路部
ｅｘ７０７ 記録再生部
ｅｘ７０８ 多重分離部
ｅｘ７０９ 画像復号部
ｅｘ７１１ 主制御部
ｅｘ７１２ 画像符号化部
ｅｘ７１３ 同期バス

Claims (20)

1. 動画像信号を符号化して得られる符号化信号を復号する動画像復号方法であって、
   前記符号化信号及びフィルタ処理を特定するフィルタ情報を取得するステップと、
   前記符号化信号を復号して復号信号を生成するステップと、
   前記動画像信号を符号化する過程で重畳されたノイズを、周波数領域の前記復号信号の周波数成分毎に除去する前記フィルタ処理を、前記フィルタ情報を用いて周波数領域の復号信号に適用するステップとを含み、
   前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記復号信号との平均二乗誤差を最小にするための情報を含む
   動画像復号方法。
2. 前記フィルタ処理は、前記復号信号を構成する複数のブロックそれぞれについて、処理対象ブロックの各周波数成分の値と、前記処理対象ブロックに時間的又は空間的に隣接するブロックの対応する周波数成分の値とを、前記フィルタ情報に含まれる重み係数を用いて重み付け加算するステップを含み、
   前記重み係数は、前記フィルタ処理が適用された後の周波数領域の前記処理対象ブロックと、周波数領域の前記動画像信号に含まれる前記処理対象ブロックに対応するブロックとの平均二乗誤差が最小になるように決定されている
   請求項１に記載の動画像復号方法。
3. 前記フィルタ処理は、さらに、
   前記重み付け加算を実行する前の前記処理対象ブロックに対して、各周波数成分の値から第１のオフセット値を減算するステップと、
   前記重み付け加算した後の前記処理対象ブロックに対して、各周波数成分の値に前記フィルタ情報に含まれる第２のオフセット値を加算するステップとを含み、
   前記第１のオフセット値は、周波数領域の前記復号信号に含まれるブロックのうち、前記処理対象ブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に算出され、
   前記第２のオフセット値は、周波数領域の前記動画像信号に含まれるブロックのうち、前記処理対象ブロックに対応するブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に算出されている
   請求項２に記載の動画像復号方法。
4. 前記符号化信号は、前記動画像信号が空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られるものであり、
   前記復号信号を生成するステップには、前記符号化信号をエントロピー復号して前記復号信号としての量子化係数を生成する処理が含まれ、
   前記フィルタ処理を適用するステップには、前記量子化係数に前記フィルタ処理を適用すると共に、当該量子化係数を逆量子化する処理が含まれる
   請求項１に記載の動画像復号方法。
5. 前記符号化信号は、前記動画像信号から予測信号が減算され、空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られるものであり、
   前記復号信号を生成するステップには、前記符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換し、前記予測信号を加算して前記復号信号としての再構築信号を生成する処理が含まれ、
   前記フィルタ処理を適用するステップには、前記再構築信号を空間領域から周波数領域に変換する処理と、周波数領域の前記再構築信号に前記フィルタ処理を適用する処理と、前記フィルタ処理を適用した後の前記再構築信号を周波数領域から空間領域に逆変換する処理とが含まれる
   請求項１に記載の動画像復号方法。
6. 前記符号化信号は、前記動画像信号から予測信号が減算されて予測誤差信号が生成され、当該予測誤差信号が空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られるものであり、
   前記復号信号を生成するステップには、前記符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換して量子化予測誤差信号を生成し、前記量子化予測誤差信号と前記予測信号とを加算して再構築信号を生成する処理が含まれ、
   前記フィルタ処理は、前記復号信号としての前記量子化予測誤差信号、前記予測信号、及び前記再構築信号の互いに対応するブロックに含まれる同一周波数成分の値を前記フィルタ情報に含まれる重み係数を用いて重み付け加算するステップを含み、
   前記重み係数は、周波数領域の前記予測誤差信号と、前記フィルタ処理が適用された後の周波数領域の前記量子化予測誤差信号との平均二乗誤差が最小になるように決定されている
   請求項１に記載の動画像復号方法。
7. 前記符号化信号は、前記動画像信号から予測信号が減算され、空間領域から周波数領域に変換され、量子化され、エントロピー符号化されて得られるものであり、
   前記復号信号を生成するステップには、前記符号化信号をエントロピー復号し、逆量子化し、周波数領域から空間領域に逆変換して量子化予測誤差信号を生成し、前記量子化予測誤差信号と前記予測信号とを加算して再構築信号を生成する処理が含まれ、
   前記フィルタ処理を適用するステップには、前記予測信号を空間領域から周波数領域に変換する処理と、周波数領域の前記予測信号に前記フィルタ処理を適用する処理と、前記フィルタ処理が適用された後の前記予測信号を周波数領域から空間領域に逆変換する処理とが含まれる
   請求項１に記載の動画像復号方法。
8. 動画像信号を符号化して符号化信号を生成する動画像符号化方法であって、
   少なくとも、前記動画像信号を空間領域から周波数領域に変換し、量子化して、前記符号化信号を生成するステップと、
   量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するステップと、
   前記符号化信号及び前記フィルタ情報を出力するステップとを含み、
   前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される
   動画像符号化方法。
9. 前記動画像符号化方法は、さらに、量子化後の周波数領域の信号に、前記フィルタ情報を用いて前記フィルタ処理を適用するステップを含み、
   前記フィルタ処理は、前記量子化後の信号を構成する複数のブロックそれぞれについて、処理対象ブロックの各周波数成分の値と、前記処理対象ブロックに時間的又は空間的に隣接するブロックの対応する周波数成分の値とを、前記フィルタ情報に含まれる重み係数を用いて重み付け加算するステップを含み、
   前記フィルタ情報を生成するステップは、前記フィルタ処理が適用された前記処理対象ブロックと、周波数領域の前記動画像信号に含まれる前記処理対象ブロックに対応するブロックとの平均二乗誤差が最小になるように前記重み係数を決定する
   請求項８に記載の動画像符号化方法。
10. 前記フィルタ処理は、さらに、前記重み付け加算を実行する前の前記処理対象ブロックに対して、各周波数成分の値から第１のオフセット値を減算するステップと、前記重み付け加算した後の前記処理対象ブロックに対して、各周波数成分の値に第２のオフセット値を加算するステップとを含み、
    前記フィルタ情報を生成するステップでは、
    量子化後の周波数領域の信号に含まれるブロックのうち、前記処理対象ブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に前記第１のオフセット値が算出され、
    周波数領域の前記動画像信号に含まれるブロックのうち、前記処理対象ブロックに対応するブロックを含む時間的又は空間的に連続する複数のブロックを用いて周波数成分毎に前記第２のオフセット値を算出され、
    少なくとも前記第２のオフセット値を前記フィルタ情報に含められる
    請求項９に記載の動画像符号化方法。
11. 前記符号化信号を生成するステップには、前記動画像信号から予測信号を減算して予測誤差信号を生成し、前記予測誤差信号を空間領域から周波数領域に変換し、量子化して量子化係数を生成する処理が含まれ、
    前記フィルタ情報を生成するステップでは、周波数領域の前記予測誤差信号と、前記フィルタ処理が適用された後の周波数領域の量子化予測誤差信号との平均二乗誤差が最小になるように前記フィルタ情報が決定される
    請求項８に記載の動画像符号化方法。
12. 前記符号化信号を生成するステップには、周波数領域の前記動画像信号を量子化し、逆量子化して再構築信号を生成する処理が含まれ、
    前記フィルタ情報を生成するステップでは、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記再構築信号との平均二乗誤差が最小になるように前記フィルタ情報が決定される
    請求項８に記載の動画像符号化方法。
13. 前記符号化信号を生成するステップには、前記動画像信号から予測信号を減算して予測誤差信号を生成し、前記予測誤差信号を空間領域から周波数領域に変換し、量子化し、逆量子化し、周波数領域から空間領域に変換して量子化予測誤差信号を生成し、前記量子化予測誤差信号に前記予測信号を加算して再構築信号を生成する処理が含まれ、
    前記フィルタ情報を生成するステップでは、周波数領域の前記予測信号、周波数領域の前記量子化予測誤差信号、及び周波数領域の前記再構築信号に基づいて、周波数領域の前記予測誤差信号と、前記フィルタ処理が適用された後の周波数領域の前記量子化予測誤差信号との平均二乗誤差が最小になるように前記フィルタ情報が決定される
    請求項８に記載の動画像符号化方法。
14. 前記符号化信号を生成するステップには、前記動画像信号から予測信号を減算して予測誤差信号を生成し、前記予測誤差信号を空間領域から周波数領域に変換し、量子化し、逆量子化し、周波数領域から空間領域に変換して量子化予測誤差信号を生成し、前記量子化予測誤差信号に前記予測信号を加算して再構築信号を生成する処理が含まれ、
    前記フィルタ情報を生成するステップでは、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記予測信号との平均二乗誤差が最小になるように前記フィルタ情報が決定される
    請求項８に記載の動画像符号化方法。
15. 動画像信号を符号化して得られる符号化信号を復号する動画像復号装置であって、
    前記符号化信号及びフィルタ処理を特定するフィルタ情報を取得する取得部と、
    前記符号化信号を復号して復号信号を生成する復号部と、
    前記動画像信号を符号化する過程で重畳されたノイズを、周波数領域の前記復号信号の周波数成分毎に除去する前記フィルタ処理を、前記フィルタ情報を用いて周波数領域の復号信号に適用するフィルタ部とを備え、
    前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記復号信号との平均二乗誤差を最小にするための情報を含む
    動画像復号装置。
16. 動画像信号を符号化して符号化信号を生成する動画像符号化装置であって、
    少なくとも、前記動画像信号を空間領域から周波数領域に変換し、量子化して、前記符号化信号を生成する符号化部と、
    量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するフィルタ設計部と、
    前記符号化信号及び前記フィルタ情報を出力する出力部とを備え、
    前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される
    動画像符号化装置。
17. コンピュータに、動画像信号を符号化して得られる符号化信号を復号させるプログラムであって、
    前記符号化信号及びフィルタ処理を特定するフィルタ情報を取得するステップと、
    前記符号化信号を復号して復号信号を生成するステップと、
    前記動画像信号を符号化する過程で重畳されたノイズを、周波数領域の前記復号信号の周波数成分毎に除去する前記フィルタ処理を、前記フィルタ情報を用いて周波数領域の復号信号に適用するステップとを含み、
    前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記復号信号との平均二乗誤差を最小にするための情報を含む
    プログラム。
18. コンピュータに、動画像信号を符号化して符号化信号を生成させるプログラムであって、
    少なくとも、前記動画像信号を空間領域から周波数領域に変換し、量子化して、前記符号化信号を生成するステップと、
    量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するステップと、
    前記符号化信号及び前記フィルタ情報を出力するステップとを含み、
    前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される
    プログラム。
19. 動画像信号を符号化して得られる符号化信号を復号する集積回路であって、
    前記符号化信号及びフィルタ処理を特定するフィルタ情報を取得する取得部と、
    前記符号化信号を復号して復号信号を生成する復号部と、
    前記動画像信号を符号化する過程で重畳されたノイズを、周波数領域の前記復号信号の周波数成分毎に除去する前記フィルタ処理を、前記フィルタ情報を用いて周波数領域の復号信号に適用するフィルタ部とを備え、
    前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の前記復号信号との平均二乗誤差を最小にするための情報を含む
    集積回路。
20. 動画像信号を符号化して符号化信号を生成する集積回路であって、
    少なくとも、前記動画像信号を空間領域から周波数領域に変換し、量子化して、前記符号化信号を生成する符号化部と、
    量子化する過程で重畳されたノイズを、量子化後の周波数領域の信号の周波数成分毎に除去するフィルタ処理を特定するフィルタ情報を生成するフィルタ設計部と、
    前記符号化信号及び前記フィルタ情報を出力する出力部とを備え、
    前記フィルタ情報は、周波数領域の前記動画像信号と、前記フィルタ処理が適用された後の周波数領域の信号との平均二乗誤差が最小となるように決定される
    集積回路。

Images