JP6032577B2 - 符号化方法および符号化装置 - Google Patents

Description

本発明は、複数のビデオ信号をフィルタ処理するためのフィルタを用いた動画像符号化および復号の方法および装置に関する。

近年、標準化された動画像符号化アルゴリズムの大多数は、動画像のハイブリッド符号化に基づいている。動画像のハイブリッド符号化方法では、典型的に、所望の圧縮利得を得るために、複数の異なる可逆および不可逆の圧縮スキームを組み合わせている。動画像のハイブリッド符号化方法は、ＩＴＵ−Ｔ標準規格（Ｈ．２６１、Ｈ．２６３のようなＨ．２６ｘ標準規格）、並びに、ＩＳＯ／ＩＥＣ標準規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４等のＭＰＥＧ−Ｘ標準規格）に基づいている。近年の最も新しい動画像符号化の標準規格は、最新の動画像符号化規格（ＡＶＣ）であるＨ．２６４／ＭＰＥＧ−４に示されている。Ｈ．２６４／ＭＰＥＧ−４は、合同ビデオ・チーム（ＪＶＴ）、ＩＴＵ−Ｔの合同チームおよびＩＳＯ／ＩＥＣ ＭＰＥＧグループによる標準化の取り組みの結果である。

エンコーダに入力されるビデオ信号は、一連のフレームと呼ばれる画像である。各フレームは、２次元のマトリクス状の画素を備えている。動画像のハイブリッド符号化に基づく全ての上述した標準規格は、個々のビデオフレームを、複数の画素からなるより小さなブロックに分割することを含む。典型的には、マクロブロック（通常１６ｘ１６ピクセルのブロックを意味する）は、符号化を実行する上での基本的な画像要素である。しかしながら、様々な所定の符号化ステップでは、サブマクロブロックまたは単なるブロックで示され、例えば、８ｘ８、４ｘ４、１６ｘ８等のサイズを持つ、より小さな画像要素で実行される。

典型的には、動画像のハイブリッド符号化における符号化ステップは、空間予測および／または時間予測を含む。したがって、符号化される各ブロックは、最初に、空間的に隣接するブロックまたは時間的に隣接するブロックを用いて、すなわち、以前に符号化されたビデオフレームから予測される。それから、符号化対象ブロックとその予測画像との間のブロックの差が算出される。このブロックの差は、予測誤差ブロックとも呼ばれる。他の符号化ステップでは、誤差ブロックに対する空間（ピクセル）領域から周波数領域への変換を行う。この変換は、入力ブロックの相関関係を減らすことを目的としている。次の符号化ステップでは、変換係数の量子化を行う。このステップでは、不可逆（元に戻らない）圧縮が行われる。通常、圧縮された変換係数の値は、エントロピー符号化により、よりコンパクト（少ないロスでの圧縮）になる。その上、符号化されたビデオ信号の復元のために必要な付加情報が符号化され、符号化されたビデオ信号と共に提供される。これは、例えば、空間的および／または時間的な予測、量子化量、その他に関する情報である。

図１は、典型的なＨ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格に対応するビデオ・エンコーダ１００の例を示している。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格は、上述した全ての符号化ステップを含む。最初に、減算部１０５は、入力動画像（入力信号）に含まれる対象ブロックと、対応する予測ブロックの差を求める。この差は、対象ブロックの予測に用いられる。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣでは、予測信号は、時間予測または空間予測によって得られる。予測タイプは、フレーム単位で、または、マクロブロック単位で変えることができる。時間予測を用いて予測されたマクロブロックは、インター符号化と呼ばれ、空間予測を用いて予測されたマクロブロックは、イントラ符号化と呼ばれる。ビデオフレームのための予測タイプは、ユーザにより設定可能であり、または、可能な限り高い圧縮利得を得るために、ビデオ・エンコーダにより選択可能である。イントラ／インタースイッチ１７５は、選択された予測タイプに従って、減算部１０５に対応する予測信号を提供する。時間予測を用いた予測信号は、メモリ１４０に格納された以前に符号化された画像から生成される。空間予測を用いた予測信号は、以前に符号化され、復号され、メモリ１４０に格納された、隣接ブロックの境界ピクセルの値から生成される。メモリ装置１４０は、現在の符号化対象信号の値と、以前の信号の値から生成された予測信号の値とを比較可能にするための、遅延装置として動作する。メモリ１４０は、以前に符号化された複数のビデオフレームを格納可能である。入力信号と予測信号との差は、予測エラーまたは誤差を示し、１１０において量子化された結果生じる係数に変換される。さらに、エントロピー符号化部１９０は、可逆的な方法で、量子化係数のデータ量を減らす。これは、主に、符号として可変長の符号語を用いることで、達成できる。符号語の長さは、発生頻度に基づいて選択される。

イントラ符号化画像（Ｉタイプ画像またはＩフレームと呼ばれる）は、単に、イントラ符号化された複数のマクロブロックからなる。すなわち、イントラ符号化画像は、以前に復号された画像を参照することなく復号することができる。イントラ符号化画像は、符号化されたビデオシーケンスのためのエラー耐性を備える。ビデオシーケンスを、フレーム間の時間予測により伝搬する可能性のあるエラーから回復させる。さらに、Ｉフレームでは、符号化された動画像のシーケンスに対するランダム・アクセスが可能である。イントラフレーム予測では、所定のイントラ予測モードのセットを使用する。既に符号化された隣接ブロックの境界ピクセルを用いて、対象ブロックの予測を行う。異なる空間的なイントラ予測モードでは、２次元予測を適用した異なる方向を参照する。これは、エッジの方向が様々である場合に、空間的なイントラ予測で効果的である。このようなイントラ予測により得られる予測信号は、その後、上述した減算部１０５により、入力信号から減算される。その上、空間的なイントラ予測モード情報は、エントロピー符号化され、符号化されたビデオ信号と共に提供される。

ビデオ・エンコーダ１００内では、復号部は、復号されたビデオ信号を得るために、組み込まれている。符号化ステップに従って、復号ステップは、逆量子化／逆変換１２０を含む。復号された予測誤差信号は、量子化ノイズとも呼ばれる量子化誤差に起因して、オリジナルの予測誤差信号とは異なる。再構築信号は、１２５で復号された予測誤差信号に予測信号を加算することにより得られる。エンコーダ側とデコーダ側との間の互換性を維持するために、予測信号は、符号化されその後復号された、エンコーダ側とデコーダ側との両方で既知のビデオ信号に基づいて求められる。量子化に起因して、再構築されたビデオ信号には、量子化ノイズが重畳する。ブロックの観点での符号化により、重畳されたノイズは、ブロッキングの特徴を有する。これは、結果的に、特に強い量子化において、復号画像の境界ブロックで顕著である。このようなブロッキングのアーチファクト は、人の視覚に負の影響を及ぼす。これらのアーチファクトを減らすために、デブロッキング・フィルタ１３０が、全ての再構築画像ブロックに適用される。デブロッキング・フィルタ１３０は、予測信号と量子化予測誤差信号とを加算した再構築信号に適用される。デブロッキング後のビデオ信号は、（他のポストフィルタ処理が適用されない場合は）復号側で一般的にみられる復号信号となる。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣのデブロッキング・フィルタは、ローカル適合能力がある。ブロッキングノイズの程度が大きい場合、強い（狭帯域）のローパスフィルタが適用される。これに対し、ブロッキングノイズの程度が小さい場合、弱い（広帯域）ローパスフィルタが適用される。ローパスフィルタの強さは、予測信号により、および、量子化予測誤差信号により決定される。デブロッキング・フィルタは、一般的に、復号画像の主観的な質を改善するために、ブロックのエッジを滑らかにする。さらに、画像のフィルタ処理された部分を、画像の追加的な動き補償による予測に用いれば、フィルタリングは、予測誤差を低減し、符号化効率の改善を可能にする。

イントラ符号化されたマクロブロックは、表示される前にフィルタ処理されるが、イントラ予測は、フィルタ処理されない再構築マクロブロックを用いて実行される。

復号のために、インター符号化画像は、以前に符号化されその後復号された（１または複数の）画像を必要とする。時間予測は、片方向で、すなわち、対象フレームの時間的な前に位置するビデオフレームのみを用いて、あるいは、双方向で、すなわち、対象フレームの後に位置するビデオフレームをさらに用いて実行される。時間的な片方向予測では、Ｐフレームと呼ばれるインター符号化画像が生成され、時間的な双方向予測では、Ｂフレームと呼ばれるインター符号化画像が生成される。一般的に、インター符号化画像は、Ｐ、Ｂ、Ｉタイプマクロブロックの何れかを備えていてもよい。インター符号化マクロブロック（ＰまたはＢマクロブロック）は、動き補償予測１６０を用いることにより、予測される。最適合ブロックが、動き検出部１６５により、以前に符号化され復号されたビデオフレームに含まれる対象ブロックのために、検出される。最適合ブロックは、その後、予測信号となる。さらに、対象ブロックと最適合ブロックとの間の相対的な変位（動き）は、符号化ビデオデータと共に提供される付加情報に含まれる３次元動きベクトルの形で、動きデータとして信号化される。３次元は、２次元空間および時間次元からなる。予測精度を最大限にするために、動きベクトルは、サブピクセルの解像度、例えば、２分の１ピクセルまたは４分の１ピクセルの解像度で、規定しても構わない。サブピクセルの解像度を持つ動きベクトルは、既に復号されたフレーム内のピクセル値が現実的に利用できない空間的な位置、すなわち、サブピクセルの位置を、示しても構わない。このため、このようなピクセル値の空間補間が、動き補償による予測を実行するために必要になる。これは、補間フィルタ１５０で実行される。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格によれば、固定フィルタ係数を持つ６タップ・ウィナー補間フィルタとバイリニアフィルタが、サブピクセルの垂直および水平方向の位置に対応するピクセル値を個々に得るために適用される。

イントラおよびインター符号化モードの両方とも、現在の入力信号と予測信号との差は、ユニット１１０によって変換および量子化される。これにより、量子化係数が生成される。一般的に、２次元の離散コサイン変換（ＤＣＴ）またはその整数版等の直交変換は、加工されていないビデオ画像との相関関係を効率的に減らすために使用される。変換後において、低周波数成分は、通常、高周波数成分よりも、画質にとって重要である。より多くのビットが、高周波数成分よりも低周波数成分の符号化のために送られる。エントロピー符号化部において、量子化係数の２次元配列は、１次元配列に変換される。典型的に、この変換は、いわゆるジグザクスキャンによって実行される。これは、２次元配列の左上角のＤＣ係数から始まり、予め定められたシーケンスで２次元配列をスキャンし、右下角のＡＣ係数で終了する。エネルギーは、典型的に、低い周波数に対応する２次元配列の左上の部分の係数に集中するため、ジグザクスキャンは、通常、最後の値が０になって終わる。これは、部分的に／先に、実際のエントロピー符号化として、ランレングス符号化を用いた効率的な符号化が実行される。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣでは、スカラー量子化１１０を用いている。これは、量子化パラメータ（ＱＰ）とカスタマイズ可能な量子マトリクス（ＱＭ）により、制御することができる。５２の量子化器のうちの１つが、量子化パラメータによってマクロブロック別に選択される。その上、量子化マトリクスは、画質の低下を避けるために、特に、所定の周波数を維持するように設計されている。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおける量子化マトリクスは、ビデオシーケンスに適合し、ビデオデータと共に信号化される。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣは、２つの機能層、ビデオ符号化層（ＶＣＬ）とネットワーク抽象化層（ＮＡＬ）とを含む。ＶＣＬは、前述したような、符号化機能を備える。ＮＡＬは、チャンネル上のまたは記憶装置の記憶を変換するアプリケーションにしたがって、情報要素をＮＡＬ単位と呼ばれる標準化単位に含めている。情報要素は、例えば、符号化された予測誤差信号、または、予測タイプ、量子化パラメータ、動きベクトル等のように、ビデオ信号の復号のために必要な情報である。圧縮ビデオデータとその関連情報を含むＶＣＬ・ＮＡＬ単位、並びに、完全なビデオシーケンスに関するパラメータセット等の付加情報をカプセル化した非ＶＣＬ単位、または、付加情報を提供する補助強化情報（ＳＥＩ）が、復号パフォーマンスを向上させるために用いることができる。

画質を向上させるために、いわゆるポストフィルタ２８０を、デコーダ側２００に設けていてもよい。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格では、ＳＥＩメッセージを通したポストフィルタのように、ポストフィルタ情報を伝送することを許可している。ポストフィルタ情報は、部分的に復号信号とオリジナルの入力信号とを比較する、ポストフィルタ設計部１８０を用いてエンコーダ側で決定される。一般的に、ポストフィルタ情報は、デコーダが、適切なフィルタを構成するための情報である。これは、フィルタ係数、または、非圧縮信号に関する相互相関情報等、オリジナルの入力画像と復号画像との間または復号画像と量子化ノイズとの間の相互相関情報等の、フィルタを構成可能にする他の情報を直接的に含んでいても構わない。この相互相関情報は、フィルタ係数を計算するのに用いることができる。ポストフィルタ設計部１８０によって出力されるフィルタ情報は、また、符号化するためにエントロピー符号化部１９０に送られ、符号化信号に挿入される。デコーダでは、フィルタ情報は、表示される前に復号信号に適用されるポストフィルタにより、用いられても構わない。

図２は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ動画像符号化標準規格によるデコーダ２００の例を示す図である。符号化ビデオ信号（デコーダへの入力信号）は、最初に、エントロピー復号部２９０を通過する。これは、量子化係数、例えば、動きデータ、予測モード等の復号に必要な情報要素、および、ポストフィルタ情報を復号する。量子化係数は、２次元マトリクスを得るために逆変換され、その後、逆量子化および逆変換２２０に供給される。逆量子化および逆変換の後、復号（量子化）予測誤差信号が得られる。これは、量子化ノイズが発生しない場合に、エンコーダに入力される信号から予測信号を減算することにより得られる誤差と一致する。

予測信号は、時間または空間予測２６０および２７０から得られる。エンコーダに適用された予測を示す信号である情報要素に従って、２７５で切り替えられる。復号された情報要素は、さらに、イントラ予測の場合の予測タイプおよび動き補償予測の場合の動きデータのような、予測のために必要な情報を含む。動き補償の現在の値に応じて、ピクセル値の補間を、動き補償予測を実行するために必要であるとしても構わない。この補間は、補間フィルタ２５０によって実行される。空間領域の量子化予測誤差信号は、加算部２２５により、動き補償予測２６０またはイントラフレーム予測２７０から得られる予測信号に加算される。再構築画像は、デブロッキング・フィルタ２３０を通り、復号信号が生成される。復号信号は、次のブロックの時間または空間予測に適用するためにメモリ２４０に記憶される。

ポストフィルタ情報は、ポストフィルタ２８０に供給される。これに応じて、ポストフィルタが構成される。ポストフィルタは、その後、さらに画質を向上させるために、復号信号に適用される。このように、ポストフィルタは、エンコーダに入力されるビデオ信号の特性に適応することが可能である。

要約すると、現在の画像および動画像符号化標準規格では、ノイズを低減するために、いくつかのループ内フィルタおよびポストフィルタスキームが、利用可能である。これらのフィルタスキームでは、フィルタは、出力される前に復号信号をフィルタ処理するためのポストフィルタとして、あるいは、符号化および復号の間でビデオ信号のあらゆる部分をフィルタ処理するためのループ内フィルタに配置されていても構わない。フィルタ処理された信号は、典型的に、予測に用いられるためにフレームメモリに格納される。例えば、現在のＨ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格では、補間フィルタおよびデブロッキング・フィルタは、ループ内フィルタに配置される。さらに、ポストフィルタを、適用しても構わない。一般的に、フィルタの適合性は、フィルタ処理される画像に依存する。ポストフィルタ係数は、ウィナーフィルタ係数として設計されていても構わない。ウィナーフィルタは、所望の信号である入力信号とフィルタを適用した後のノイズ信号との間の平均平方誤差を最小化するように設計されている。ウィナーフィルタの解は、破損信号の自己相関、および、入力信号と破損信号との間の相互相関を演算する必要がある。動画像符号化において、量子化ノイズは、量子化ステップにおけるオリジナルの（入力）ビデオ信号に重ね合わせられます。動画像符号化のコンテキストにおけるウィナーフィルタは、平均平方復元誤差の縮小のために、重ね合わせられる量子化ノイズを低減することを目的とする。

適応フィルタ設計に関する詳細が、たとえば、Ｓ.ヘイキン、「適応フィルタ論」、第４版、プレンティス・ホール情報およびシステム科学シリーズ、プレンティス・ホール、２００２に記載されている。動画像符号化のためのウィナーフィルタ設計は、例えば、欧州特許出願公開第１８４１２３０号明細書に記載されている。さらに、欧州特許出願０８０２０６５１．９には、画像／動画像符号化および復号で用いることができる、周波数領域におけるフィルタの様々な配置可能な位置および設計が開示されている。１より大きい入力のノイズ低減フィルタの変形例は、例えば、欧州特許出願公開第２１４１９２７号明細書で提供されている。周波数領域のフィルタは、周波数領域のノイズを低減するために使用でき、空間領域のフィルタは、空間領域のノイズを低減するために使用できる。

しかしながら、画像および／またはビデオ信号は、異なる統計量を持つ様々なノイズ成分を含む場合がある。例えば、画像または動画像は、既に言及された量子化ノイズを含むかもしれず、ピクチャブロックの個々の符号化に起因するブロッキングノイズが存在するかもしれず、および／または、キャプチャデバイスによりオリジナルの画像／動画像シーケンスにノイズが存在するかもしれない。これらのノイズ成分は、全て異なる特性を有するかもしれない。そして、さらに、時間および空間配置が異なるかもしれない。例えば、超音波センサまたは合成開口レーダ（SAR）センサによって得られる複数のビデオ信号は、乗算ノイズを含むのに対し、フィルムカメラによって得られるビデオ信号は、典型的に、加算カメラノイズを含む。他方、ブロッキングノイズは、符号化ブロック境界だけに存在する。量子化ノイズは、予測誤差のタイプに依存して、他の加算的ノイズ源に存在する。そして、空間または周波数領域の両方に挿入される。予測誤差の符号化のタイプは、再度、画像内においてブロック単位で変化するかもしれない。従って、符号化および復号の異なるステージに適用された複数のフィルタを用いたフィルタ処理は、出力信号の品質の向上のために欠かせない場合がある。

例えば、符号化方法は、画像信号を符号化する際のフィルタ処理において、第一フィルタおよび第二フィルタの少なくとも２つの異なるフィルタを用い、前記画像信号を符号化する符号化方法であって、量子化ステップのサイズを決定し、前記量子化ステップのサイズを示す符号化パラメータを生成する生成ステップと、前記量子化ステップのサイズが閾値よりも小さい場合には、前記第一フィルタ、前記第二フィルタの順序でフィルタ処理を行うと決定し、前記量子化ステップのサイズが前記閾値よりも大きい場合には、前記第二フィルタ、前記第一フィルタの順序でフィルタ処理を行うと決定する、順序決定ステップと、前記画像信号を符号化する際に、決定した前記順序に従って前記第一フィルタおよび前記第二フィルタを適用する適用ステップと、を含む。

例えば、符号化装置は、画像信号を符号化する際のフィルタ処理において、第一フィルタおよび第二フィルタの少なくとも２つの異なるフィルタを用い、前記画像信号を符号化する符号化装置であって、量子化ステップのサイズを決定し、前記量子化ステップのサイズを示す符号化パラメータを生成する生成手段と、前記量子化ステップのサイズが閾値よりも小さい場合には、前記第一フィルタ、前記第二フィルタの順序でフィルタ処理を行うと決定し、前記量子化ステップのサイズが前記閾値よりも大きい場合には、前記第二フィルタ、前記第一フィルタの順序でフィルタ処理を行うと決定する、順序決定手段と、前記画像信号を符号化する際に、決定した前記順序に従って前記第一フィルタおよび前記第二フィルタを適用する適用手段と、を含む。

例えば、復号方法は、符号化された画像信号を復号する際のフィルタ処理において、第一フィルタおよび第二フィルタの少なくとも２つの異なるフィルタを用い、ビットストリームに含まれる符号化された前記画像信号を復号する復号方法であって、前記ビットストリームから量子化ステップのサイズを示す符号化パラメータを抽出する抽出ステップと、前記符号化パラメータが示す量子化ステップのサイズが閾値よりも小さい場合には、前記第一フィルタ、前記第二フィルタの順序でフィルタ処理を行うと決定し、前記符号化パラメータが示す量子化ステップのサイズが前記閾値よりも大きい場合には、前記第二フィルタ、前記第一フィルタの順序でフィルタ処理を行うと決定する、順序決定ステップと、符号化された前記画像信号を復号する際に、決定された前記順序に従って前記第一フィルタおよび前記第二フィルタを適用する適用ステップと、を含む。

また、例えば、前記第一フィルタは、乗算ノイズを低減するためのフィルタであり、前記第二フィルタは、加算量子化ノイズを低減するためのフィルタである。

また、例えば、前記第一フィルタは、メディアンフィルタであり、前記第二フィルタは、ウィナーフィルタである。

また、例えば、前記閾値は、復号対象ブロックの動きベクトルの大きさの絶対値が第１の所定の値よりも小さい場合には、第１の値が用いられ、前記復号対象ブロックの動きベクトルの大きさの絶対値が第１の所定の値よりも大きい場合には、第２の値が用いられる。

また、例えば、前記第１の値は、前記第２の値よりも大きい。

また、例えば、前記閾値は、前記復号対象ブロックの動きベクトルの大きさの絶対値が第１の所定の値よりも大きく、かつ、前記復号対象ブロックの動きベクトルの大きさと隣接ブロックの動きベクトルの大きさとの差分の絶対値が第２の所定の値よりも小さい場合に、前記第２の値が用いられ、前記復号対象ブロックの動きベクトルの大きさの絶対値が第１の所定の値よりも大きく、かつ、前記復号対象ブロックの動きベクトルの大きさと前記隣接ブロックの動きベクトルの大きさとの差分の絶対値が第２の所定の値よりも大きい場合に、第３の値が用いられる。

また、例えば、前記第１の値は、前記第２の値よりも大きく、前記第１の値、前記第２の値は、前記第３の値よりも大きい。

また、例えば、前記第一フィルタと、前記第二フィルタは、復号処理の異なるループ内フィルタ処理において用いられる。

また、例えば、復号装置は、符号化された画像信号を復号する際のフィルタ処理において、第一フィルタおよび第二フィルタの少なくとも２つの異なるフィルタを用い、ビットストリームに含まれる符号化された前記画像信号を復号する復号装置であって、前記ビットストリームから量子化ステップのサイズを示す符号化パラメータを抽出する抽出部と、前記符号化パラメータが示す量子化ステップのサイズが閾値よりも小さい場合には、前記第一フィルタ、前記第二フィルタの順序でフィルタ処理を行うと決定し、前記符号化パラメータが示す量子化ステップのサイズが前記閾値よりも大きい場合には、前記第二フィルタ、前記第一フィルタの順序でフィルタ処理を行うと決定する、順序決定部と、符号化された前記画像信号を復号する際に、決定された前記順序に従って前記第一フィルタおよび前記第二フィルタを適用する適用部と、を含む。

本発明の基調をなす問題は、経時的および空間的に変化するノイズ成分の幅広い変化が、静的フィルタ処理スキームにより、完全に抑えることができないという見解に基づいている。

本発明の目的は、復号画像の質をより向上させるために、画像および／または動画像の符号化および復号に適用されるフィルタ処理の効果を向上させることである。

これは、独立クレームの主題により達成される。

発明の最適な実施形態は、独立クレームの主題を示している。

本発明の特有のアプローチは、画像の符号化および／または復号手順の間に適用されるフィルタ処理の柔軟性を増加させることである。この選択は、符号化スキームによっておよび／またはオリジナル入力画像によって与えられるノイズ成分に基づいて実行される。

フィルタ処理順序の選択により、支配的なノイズ成分を低減するためのフィルタを最初に用いるフィルタ処理が可能になる。その後、残りのノイズ成分をフィルタ処理するための他のフィルタが選択されても構わない。支配的なノイズ成分は、オリジナル入力画像および符号化メカニズムに依存する。フィルタ処理順序の選択に適応することにより、復号画像の画質の向上を提供し、これにより符号化効率が増加する。

本発明の一態様によれば、ビットストリーム中の符号化画像データを復号するための方法であって、第一フィルタと第二フィルタの少なくとも２つの異なるフィルタを、前記符号化画像信号の復号プロセスの異なるステージで使用する。これにより、前記第一フィルタおよび前記第二フィルタを適用するためのシーケンスは、ビットストリームから抽出される符号化パラメータによって選択される。さらに、前記第一フィルタおよび前記第二フィルタは、前記符号化画像データを復号するときのフィルタ処理のシーケンスが選択されることによって、適用される。

本発明の他の一態様によれば、ビットストリームに含める画像データを符号化するための方法であって、第一フィルタと第二フィルタの少なくとも２つの異なるフィルタを、前記画像データの符号化プロセスの異なるステージで使用する。この方法は、符号化パラメータまたは画像データの性質によって前記第一フィルタおよび前記第二フィルタを適用するためのシーケンスを選択するステップを含む。さらに、前記第一フィルタおよび前記第二フィルタは、前記画像データを符号化するときのフィルタ処理のシーケンスが選択されることによって、適用される。

本発明のさらに他の一態様によれば、ビットストリーム中の符号化画像データを復号するための装置であって、前記装置は、前記符号化画像信号の復号プロセスの異なるステージで適用される第一フィルタおよび第二フィルタの少なくとも２つのフィルタを備える。この装置は、さらに、前記第一フィルタと前記第二フィルタの適用順序を選択するためのフィルタ処理順序選択部を備える。この選択は、ビットストリームから抽出された符号化パラメータに従って実行される。この装置は、前記符号化画像データを復号するときにフィルタ処理の順序を選択することにより、前記第一フィルタおよび前記第二フィルタが適用されるように構成されている。

本発明のさらに他の一態様によれば、ビットストリームに含める画像データを符号化するための方法であって、前記画像データの符号化プロセスの異なるステージで適用される第一フィルタと第二フィルタの少なくとも２つの異なるフィルタを備える。この装置は、さらに、符号化パラメータおよび／または画像データの性質によって前記第一フィルタおよび前記第二フィルタを適用するためのシーケンスを選択するためのフィルタ処理順序選択部を備える。さらにその上、この装置は、前記画像データを符号化するときのシーケンスが選択されることによって、前記第一フィルタおよび前記第二フィルタが適用されるように構成されている。

ここで、フィルタ処理順序の選択が実行されることにより、ビットストリームから（デコーダで）抽出されるパラメータは、フィルタ処理順序を専用に示すデータであっても構わない。このようなデータは、符号化の前にユーザによって設定されるエンコーダの設定であっても構わない。あるいは、例えば符号化前あるいは符号化中に、エンコーダにより自動的にデータが設定され、ビットストリーム内に信号化されても構わない。本発明は、また、ビットストリーム内のこれらのパラメータの位置を特定の位置に限定するものではない。一般的に、このような専用パラメータは、フレームまたはスライスヘッダ内に、あるいは、入力シーケンスを基準とするかまたはブロック単位を基準とするかのエンコーダの設定内に、示されても構わない。

しかしながら、本発明は、専用のデータに基づいたフィルタ順序の選択に限定されるものではない。ビットストリームから抽出されるパラメータは、順序を決定するためよりも、一般的に他の目的のために示されるエンコーダの設定であっても構わない。このようなパラメータは、例えば、量子化パラメータ、および／または、量子化が周波数領域と空間領域の何れで実行されたかを示すパラメータである。この発明では、デコーダが逆変換を実行する必要がない場合には、０までのブロックの全ての予測誤差のサンプルの量子化は、空間領域での量子化およびまたは非量子化であっても構わない。フィルタ処理順序および／またはフィルタ選択は、これらの複数のパラメータの組み合わせに基づいて決定されても構わない。一般的に、生成される画像ノイズの影響があるパラメータは、フィルタおよび適用シーケンスの選択のために用いられても構わない。これらのパラメータの他の例は、ブロックのサイズ、予測のタイプ、適用される周波数領域変換のタイプ等である。

エンコーダにおいて、エンコーダおよび／またはデコーダにおけるフィルタの順序付けの決定は、符号化パラメータまたは画像信号の性質に基づいて実行される。符号化パラメータは、例えば、量子化ステップ、予測タイプ、量子化が実行される領域等、特定の符号化対象画像（ブロック）の符号化の前に設定されるエンコーダの設定であっても構わない。しかしながら、これは、ユーザにより符号化の前に提供される、フィルタ処理順序を専用に示す設定であっても構わない。例えば、ユーザは、フィルタおよび／または適用されるフィルタ処理のシーケンスを明示的に指定しても構わない。一方、エンコーダは、デコーダ側で利用できないオリジナル信号を考慮し、これに応じてフィルタ処理の順序を選択する。

本発明の実施の形態によれば、第一および第二フィルタによるフィルタ処理のシーケンスは、エンコーダ側およびデコーダ側で同じ方法で決定される。これは、同じルールに従うことを意味し、明示的な信号を必要としないことを意味する。

好ましくは、前記第一フィルタおよび第二フィルタに適用するためのシーケンスの選択は、画像データを符号化するために適用される量子化ステップに従って、および／または、符号化のために入力される画像データのノイズの統計量に従って実行する。特に、量子化ノイズは、入力画像のノイズと比較されても構わない。比較の結果、量子化ノイズが入力画像のノイズより大きい場合は、フィルタ処理の順序は、入力画像のノイズよりも量子化ノイズの低減が、最初に選択されても構わない。入力画像のノイズが量子化ノイズより大きい場合は、フィルタ処理順序は、量子化ノイズよりも入力画像のノイズの低減が、最初に選択されても構わない。例えば、第一フィルタまたは第二フィルタが、ウィナーフィルタ（適応フィルタ）のような量子化ノイズを抑えるためのフィルタであっても構わない。第二フィルタは、例えば、乗算ノイズを抑えるためのフィルタまたは非線形ノイズ低減フィルタ、または入力画像のノイズの特性に対応して選択される任意のノイズ除去フィルタであっても構わない。

あるいは、フィルタ処理順序の選択は、量子化が空間領域に適用されるか周波数領域に適用されるかによって決定されても構わない。周波数領域で量子化される信号のために、周波数領域のフィルタが最初に適用され、それから、空間領域のフィルタがフィルタ処理された信号に適用されても構わない。一方、空間領域で量子化される信号のためには、空間領域のフィルタが最初に適用され、それから、周波数領域のフィルタがフィルタ処理された信号に適用されても構わない。しかしながら、本発明は、これらの例に限られるものではなく、第一フィルタおよび第二フィルタの両方が周波数領域に適用されても構わない。順序の選択は、例えば、量子化ステップのサイズに基づいて、実行されても構わないし、あるいは、類似性、相違性、あるいはラグランジュ関数のビットレートおよび歪みのコストのような最適化基準に基づいて決定されても構わない。

本発明の他の実施の形態によれば、第一フィルタおよび第二フィルタによるフィルタ処理のシーケンスは、エンコーダ側で決定され、その選択がデコーダ側に指示される。これは、デコーダで利用できない入力画像信号に基づいてフィルタ処理順序が決定される場合に、有利である。

好ましくは、上述した具体的な実施の形態の場合は、エンコーダにおいて、前記第一フィルタおよび前記第二フィルタを適用する選択された順序を指示するフィルタシーケンス指標が、符号化画像データを含むビットストリーム中に埋め込まれる。特に、フィルタシーケンス指標は、第二フィルタが適用される前に第一フィルタが適用されること、あるいは、第一フィルタが適用される前に第二フィルタが適用されることを示している。フィルタシーケンス指標は、好ましくは、その信号の効率を向上させるために、さらに符号化される。予測（誤差）符号化および／またはエントロピー符号化のような有名な技術が適用されても構わない。フィルタシーケンス指標は、１シーケンスに１回、複数のフレームに１回、画像のグループに１回、または、１フレーム、１スライスまたは１マクロブロック／１ブロックに１回、信号が送信されても構わない。信号の送信は、また、例えば、フィルタの順序が変更されたと考えられるときに、不規則に実行されても構わない。例えば、エンコーダは、基本的に画質が向上するなら、最適なフィルタシーケンスを定期的に決定し、信号を送っても構わない。歪み率の最適化は、このような決定を容易にする場合がある。

これに応じて、デコーダにおいて、前記第一フィルタおよび前記第二フィルタを適用するためのシーケンスは、符号化画像データを含むビットストリームから抽出されたフィルタシーケンス指標に従って選択される。しかしながら、上述したように、フィルタシーケンスは、量子化ステップ、ブロック／スライス／フレームが周波数領域でフィルタ処理されたか空間領域でフィルタ処理されたかを示す情報、予測のタイプ等、ビットストリームからの他のデータに基づいて選択されても構わない。

“エンコーダ側”または“エンコーダ”というフレーズは、ここでは、オリジナル（圧縮されていない）画像データが入力され、符号化画像データをビットストリームとして出力するエンコーダを示している。エンコーダ側のエンコーダは、デコーダの一部を含んでいても構わない。一方、“デコーダ側”または“デコーダ”というフレーズは、ここでは、オリジナル（圧縮されていない）画像データが利用可能でないデコーダを示している。デコーダは、エンコーダではない他の場所、あるいは同じ装置内に位置していても構わない。しかしながら、オリジナルの入力画像信号はエンコーダ側でのみ利用可能であると仮定される。デコーダ側は、ビットストリームとして符号化画像データを受け付け、それを復号する。デコーダ側のデコーダは、エンコーダと同じ部品を含んでいても構わない。

本発明の上述した両方の実施の形態では、特に、第一フィルタおよび第二フィルタの少なくとも２つのフィルタが、複数の所定のフィルタからまたは複数のフィルタタイプから、好ましいものが選択される。フィルタタイプは、例えば、デブロッキング・フィルタ、付加的なノイズ低減フィルタ、乗算ノイズ低減フィルタ、補間フィルタ等の、異なる目的によるフィルタの複数のタイプであっても構わない。さらにまた、フィルタのタイプは、線形フィルタ、非線形フィルタ、または、より特定の、ＦＩＲフィルタ、ＩＩＲフィルタ、メディアンフィルタのようなフィルタタイプを実装しても構わないし、ウィナーフィルタのような付加的なフィルタであっても構わない。フィルタのタイプは、さらに、フィルタの順序を含んでいても構わない。所定のフィルタは、所定の順序および／または係数によるフィルタであっても構わない。

フィルタの選択は、エンコーダおよびデコーダにおいて、エンコーダの設定のようなエンコーダおよびデコーダの設定、例えば、予測のタイプ、量子化に関するパラメータ、入力画像のタイプ等、両方で利用可能な情報に基づいて、同じ方法で実行されても構わない。

あるいは、フィルタの選択は、エンコーダ側からデコーダ側に指示される。これは、例えば、第一フィルタを選択することおよび第二フィルタを選択することを示すフィルタ選択指標を、符号化画像データをさらに含むビットストリーム中に埋め込むことにより実行される。フィルタシーケンス指標、フィルタ選択指標は、望ましくは、同じようにして、誤差、予測、および／またはエントロピー符号化により、さらに符号化される。フィルタ選択指標は、上述したようにフィルタシーケンス指標のために信号が送信されても構わない。特に、フィルタの選択は、フィルタタイプおよび／またはフィルタ順序および／またはフィルタ係数の選択を含む。

第一フィルタおよび第二フィルタの選択および／または適用シーケンスの選択は、符号化のために入力されたオリジナルの画像データと符号化画像データとの間の類似性を最大化することにより、あるいは、相違性を最小化することによって一致させることにより、実行されても構わない。特に、相関関係または共分散のような類似性の度合いは、選択された１つのフィルタ、あるいは、選択された複数のフィルタの組み合わせ（複数のフィルタとその順序）を求めるために、オリジナルの入力画像とフィルタ処理されたあるいは最終的に復号された信号とを用いて算出されても構わない。（１または複数の）フィルタおよびそれらの可能な順序は、その後、相関関係を最大化するように選択される。あるいは、ラグランジュ関数のビットレートおよび歪みのコストは、最適解に到達するのに用いられても構わない。選択されたフィルタは、その後、前記画像データの符号化のときに、それらの適用シーケンスが選択されることにより、適用される。

各第一フィルタおよび第二フィルタは、ループフィルタまたはポストフィルタのように復号の異なるステップに適用されても構わない。各フィルタは、固定順序または可変順序；固定係数または可変係数をもっていても構わないし、あるいは、ウィナーフィルタのような適応フィルタが実装されても構わない。２次元フィルタ、あるいは１次元フィルタのような任意のフィルタが適用される。フィルタは、線形でも非線形でも構わない。

各第一フィルタおよび第二フィルタは、空間または周波数領域で、少なくとも１つの予測誤差信号、参照信号、再構築された信号および予測信号に適用されても構わない。さらに好ましくは、第一フィルタおよび第二フィルタは、入力信号として１つ以上の上記信号を持つ。フィルタ処理は、複数のこれらの信号について個々に実行されても構わないし、フィルタ処理の結果は、その後、フィルタ処理されて生成された信号に組み合わせても構わない。これは、再構築された画像信号に起因する信号の誤差特性を個々に考慮することを可能にするという利点を提供する。そして、それは、より高いフィルタ処理効率／符号化効率につながる。

本発明の他の実施の形態によれば、複数のフィルタ処理のステージにおいて、１つのフィルタが、さらに適用シーケンスをこの方法で選択することにつながる、異なる多数のフィルタの中から選択される。フィルタ処理の複数のステージは、直前のステージに続いて、直ぐに実行しても構わない。例えば、１つ前のフィルタの各出力は、次のフィルタに直接入力される。しかしながら、一般的に、他の処理ブロックは、第一フィルタと第二フィルタとの間に存在しても構わない。

本発明のさらに他の態様は、プロセッサにより実行されるときに、上述した方法を実行する指示を保存したコンピュータ読み取り可能な媒体である。

本発明の上述したおよび他のオブジェクトおよび特徴は、以下の説明、および、添付の図面と共に記載される好ましい実施の形態により、より明らかとなる。

従来のＨ．２６４／ＭＰＥＧ−４ ＡＶＣの動画像符号化装置の一例を示すブロック図である。 従来のＨ．２６４／ＭＰＥＧ−４ ＡＶＣの動画像復号装置の一例を示すブロック図である。 第一の順序で２つのフィルタを適用するシステムを示す図である。 第二の順序で２つのフィルタを適用するシステムを示す図である。 入力信号とノイズ信号の第一の例を示すグラフである。 入力信号とノイズ信号の第二の例を示すグラフである。 本発明による２つの異なるフィルタの適用シーケンスの選択を支援するエンコーダの一例を示すブロック図である。 符号化の間に精密量子化部を持つ、フィルタのシーケンスを選択する一例を示すブロック図である。 非常に粗い量子化を用いた符号化の際の適用フィルタシーケンスの選択の一例を示すブロック図である。 本発明の実施の形態による、ループ内フィルタの選択を利用可能なデコーダの一例を示すブロック図である。 本発明の他の実施の形態による、複数のポストフィルタの順序の選択を支援するデコーダの一例を示すブロック図である。 複数の入力を持つフィルタが第一フィルタ（最初のフィルタ）として適用される、カスケード接続された複数のフィルタを示す概略図である。 複数の入力を持つフィルタが第二フィルタ（２番目のフィルタ）として適用され、複数の入力の１つのみがフィルタ処理される場合の他の一例を示す概略図である。 複数の入力を持つフィルタが第二フィルタ（２番目のフィルタ）として適用され、各入力が独立してフィルタ処理される場合の一例を示す概略図である。 複数の入力を持つフィルタが第二フィルタ（２番目のフィルタ）として適用され、各入力が独立してフィルタ処理され、さらに、特定の入力に第一フィルタおよび第二フィルタを適用する順序が選択される場合があるときの一例をしめす概略図である。 本発明によるフィルタの選択およびフィルタ順序の選択の一例を示すブロック図である。 本発明によるフィルタの選択およびフィルタ順序の選択の他の一例を示すブロック図である。 本発明によるフィルタの選択およびフィルタ順序の選択の、さらに他の一例を示すブロック図である。 本発明による方法の一般的な一例を示すフロー図である。 本発明による符号化された信号の送信および受信のためのシステムを示すブロック図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示す概略図である。 デジタル放送用システムの全体構成を示す概略図である。 テレビの構成例を示すブロック図である。 光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 光ディスクである記録メディアの構造例を示す概略図である。 携帯電話の一例を示す概略図である。 携帯電話の構成例を示すブロック図である。 多重化データの構成を示す概略図である。 各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した概略図である。 多重化データにおけるＴＳパケットとソースパケットの構造を示す概略図である。 ＰＭＴのデータ構成を示す概略図である。 多重化データ情報の内部構成を示す概略図である。 ストリーム属性情報の内部構成を示す概略図である。 映像データを識別するステップを示す概略図である。 各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示す概略ブロック図である。 駆動周波数を切り替える構成を示す概略図である。 映像データを識別し、駆動周波数を切り替えるステップを示す概略図である。 映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す概略図である。 信号処理部のモジュールを共有化する構成の一例を示す概略図である。 信号処理部のモジュールを共有化する構成の他の一例を示す概略図である。

画像および動画像信号は、典型的にノイズを含む。このようなノイズは、例えば、画像信号またはビデオ信号のソースに依存する、様々な統計量を持っている。ノイズの統計量は変化できる。これは、典型的に、経時的に変化し、空間的な位置によっても変化する。例えば、フィルムカメラによって得られるビデオ信号は、典型的に、加算カメラノイズを含む。これに対し、超音波センサまたは合成開口レーダ（ＳＡＲ）によって得られたビデオ信号は、乗算ノイズを含む。このように、符号化された信号のノイズの統計量は、変化する。

さらに、画像および動画像符号化は、典型的に、量子化を含む。量子化は、さらに、量子化ノイズと呼ばれる加算ノイズにより、ビデオ信号を破損させる。量子化ノイズの統計量は、量子化誤差符号化のような−何もない、空間的または時間的のような、適用された符号化の種類により変化する。適用された符号化の種類は、通常、ブロックの間で変化する。

一般的に、入力画像またはビデオ信号は、既に、若干のノイズ（入力ノイズ）を含んでいる。さらに、画像／動画像圧縮では、さらに、量子化ノイズのような画像内のノイズが、さらに画像に含まれる結果となる。

異なる適用では、フィルタ処理の目的が異なっていても構わない。例えば、いくつかの適用では、両方の種類のノイズ、入力ノイズおよび画像／動画像圧縮に起因するノイズを抑えるあるいは減らすことが望ましい。一方、むしろ入力ノイズを維持することが望ましい適用もある。例えば、セルロイドフィルムに保存された画像または動画像は、特徴的なフィルム粒子雑音を含む。いくつかの適用（例えば、フィルムアーカイブの２値化）では、画像／動画像の中のこの種類のノイズを維持することが望ましい。

一般的に、既知のフィルタ技術は、ノイズが特定の統計量を持つことを前提として、ノイズの低減を目的としている。画像または動画像が仮定されたものより異なる統計量を持つ場合は、前記前提の元で設計されたフィルタ処理は、ノイズを効果的に取り除くことができない。

本発明によれば、画像信号のフィルタ処理のために異なるフィルタを適用する順序が選択される。符号化パラメータおよび／または入力画像信号に応じたフィルタ処理順序の選択は、下記に示すように、符号化効率を向上させる場合がある。このフィルタ処理のシーケンスの選択の柔軟性は、さらに、抑制する／低減することが望ましい空間ノイズのフィルタを１番目とすることを可能にする。

エンコーダにおいて、フィルタの順序付けの選択は、符号化パラメータまたは画像信号の性質に基づいて実行される。符号化パラメータは、フィルタ処理される所定の画像（ブロック）の符号化の前に設定されるエンコーダパラメータである。このようなエンコーダパラメータは、例えば、量子化ステップ、予測のタイプ、量子化が実行される領域、その他であっても構わない。あるいは、それは、ユーザにより符号化の前に提供される、フィルタ処理の順序を専用に示す設定であっても構わない。

さらに、適用されるフィルタならびにフィルタの数が選択されても構わない。好ましくは、様々なフィルタタイプ（既に知られ適用されたフィルタならびに新しいフィルタ、適応フィルタが含まれても構わない）が利用可能であることが望ましい。１または複数のこれらのフィルタは、その後、適用シーケンス（順序）と同様に、適応的に選ばれる。本発明の実施の形態によれば、フィルタの選択およびそれらの適用順序の両方とも、デコーダ側で符号化され送信される。動画像のハイブリッド符号化の場合には、例えば、ループ内でおよび／またはポストフィルタ処理のステージで、実行されても構わない。本発明の他の実施の形態によれば、フィルタの選択および／または適用順序は、エンコーダおよびデコーダで同じ方法で黙示的に実行される。これにより、エンコーダとデコーダとの間でさらなるシグナリングが必要なくなる。

図３Ａは、入力された信号ｓにノイズｑが付加されてノイズ付加信号ｓ’が生成されるシステム３００ａを示す図である。ノイズ付加信号ｓ’は、その後、フィルタ処理された信号Ｓ”_Ａを得るために２つの異なるフィルタ３１０および３２０によってフィルタ処理される。ノイズ付加信号ｓ’は、最初に、信号Ｓ”_Ａを出力する第一フィルタ３１０によってフィルタ処理される。第一フィルタ３１０の出力信号Ｓ’_Ａは、その後、フィルタ処理された信号Ｓ’”_Ａを出力する第二フィルタ２３０に入力される。図３Ａに示される第一フィルタの略図では、第一の順序の信号係数ａを持つ有限インパルス応答フィルタを示している。ここでのノイズ付加信号ｓ’のフィルタ処理は、ノイズ付加信号ｓ’に信号フィルタ係数ａを乗算して実行される。同じ例には、第二フィルタ３２０は、ノイズ付加信号ｓ’が０とＳ_１の間の値を持つ時は０が出力され、ノイズ付加信号ｓ’がＳ_１より大きい値を持つ時は入力されたノイズ付加信号の線形関数の値が出力されるフィルタ関数を持つ、ハイパスフィルタとして示されている。しかしながら、フィルタ３１０および３２０は、単なる例であり、他のフィルタタイプが代わりに使用されていても構わない。

図３Ｂは、システム３００ａと似たようなシステム３００ｂを示している。しかし、図３Ｂは、フィルタ３１０と３２０の順序が異なっている。特に、入力信号ｓは、ノイズｑが付加されてノイズ付加信号ｓ’となり、フィルタ３２０に入力される。フィルタ３２０でのノイズ付加入力信号ｓ’に対するフィルタ処理により、信号ｓ”_Ｂが得られる。フィルタ３２０によってフィルタ処理された信号ｓ”_Ｂは、その後、フィルタ３１０に入力されてフィルタ処理され、最終的に、フィルタ処理信号ｓ’”_Ｂが生成される。

本発明によれば、３１０および３２０のようなフィルタの順序は選択されても構わない。これは、システム３００ａまたはシステム３００ｂが、入力ノイズ付加信号ｓ’のフィルタ処理に利用されることを意味している。このような複数のフィルタの適用のためのシーケンスの選択は、符号化の効率を向上させる場合がある。効率の増加は、異なる入力ノイズ付加信号ｓ’に対してフィルタ適用シーケンスを異ならせることは、下記に示されるように、より高品質となる場合があるという事実によるものである。

図４Ａは、入力信号ｓの確率関数Ｐ（ｓ）４１０とノイズ信号ｑの確率関数Ｐ（ｑ）４２０を表す図である。図３Ａおよび図３Ｂのフィルタ３１０のフィルタ係数は、ａ＝０．５およびｓ_１＝０．７５である。それぞれ確率分布４１０および４２０を持つ入力信号ｓとノイズ信号ｑとを加算して生成されたノイズ付加信号ｓ’が、システム３００ａに入力されるならば、フィルタ処理された信号ｓ’”_Ａは、結果としてｓ’”_Ａ＝０になる。対応する平均平方誤差は、以下の式で表される。

一方、確率分布４１０を持つ入力信号ｓと確率分布４２０を持つノイズ信号ｑとを加算することによって得られたノイズ付加信号ｓ’が、システム３００ｂに入力されるならば、フィルタ処理された信号Ｓ’”_Ｂは、結果としてＳ’”_Ｂ＝０．５になる。対応する平均平方誤差は、以下の式で表される。

上記から分かるように、入力信号ｓとノイズ信号ｑが与えられると、システム３００ｂは、高品質のフィルタ処理された信号Ｓ’”を生成する。

図４Ｂは、他の確率関数４３０を持つ入力信号ｓと他の確率関数４４０を持つノイズ信号表示を表す図である。上述した例と同様に、第一フィルタ３１０および第二フィルタ３２０が、それぞれ、パラメータａ＝０．５およびｓ_１＝０．７５を持つと仮定する。入力ノイズ付加信号ｓ’は、確率分布４３０を持つ入力信号ｓと確率分布４４０を持つノイズ信号ｑとを加算することにより得られる。このようなノイズ付加信号ｓ’が、システム３００ａに入力されると、フィルタ処理された信号ｓ’”_Ａは、ｓ’”_Ａ＝０になる。対応する平均平方誤差は、以下の式で表される。

一方、入力信号ｓ’がシステム３００ｂに入力されると、フィルタ処理された信号Ｓ’”_Ｂは、Ｓ’”_Ｂ＝０．５になる。対応する平均平方誤差は、以下の式で表される。

上記から分かるように、確率分布４３０および４４０を持つ入力信号ｓとノイズ信号ｑとを加算して得られるノイズ付加信号ｓ’が入力されると、システム３００ａは、高品質のフィルタ処理された信号Ｓ’”を生成する。従って、フィルタ処理した信号の品質は、フィルタ３１０と３２０の順序に依存する。さらに、異なる種類の入力信号とノイズ信号のために、適用されるフィルタの異なるシーケンスを、高品質のフィルタ処理された信号を意味する歪みの少なさにつながる場合がある。

図５は、本発明の実施の形態によるエンコーダを示すブロック図である。入力信号５０２は、上述した空間的または時間的な予測５９０に基づいている。結果として生成される予測信号５９１は、入力信号５０２から差し引かれ、結果として、誤差予測信号が得られる。誤差予測信号は、空間または周波数領域で適応予測誤差符号化５０１用いてさらに符号化される。特に、適応予測誤差符号化は、空間領域または周波数領域のいずれも、スイッチ５０７に従って適用される場合がある。空間領域の符号化では、量子化５２０が予測誤差信号に適用される。周波数領域の符号化では、最初に変換５１０が予測誤差信号に適用され、その後、量子化５３０が変換５１０から出力された変換係数に適用される。予測誤差に対する量子化の結果は、さらに、エントロピー符号化部５５０に入力される。予測誤差信号の量子化５２０は、空間領域で予測誤差信号上に量子化ノイズを加えると見なせる。予測誤差信号の変換５３０は、すなわち、周波数領域（空間周波数の領域）で変換係数上に量子化ノイズを加えると見なせる。この実施の形態では、０に向かうブロックの全ての予測誤差のサンプルの量子化は、この場合にはデコーダは逆変換の実行を必要としないことから、空間領域における量子化および／または逆量子化であると考えても構わない。

予測誤差信号の符号化の後、画像信号は、量子化された予測誤差信号を予測信号５９１に加えることによって再構築される。図５では、スイッチ５４７はスイッチ５０７と連動して、空間領域の符号化の出力または周波数領域の符号化の出力を選択する。復元の前に、周波数領域で符号化された予測誤差信号には、逆変換５４０が適用されなければならない。再構築された画像信号は、フィルタ処理される。本発明によれば、複数のフィルタを適用するシーケンスが選択される。この例では、２つの異なるフィルタ：空間領域のフィルタと周波数領域のフィルタが、再構築画像信号に適用される。

量子化が実行された領域は、量子化ノイズが含まれる領域を意味し、第一フィルタが最適である。予測誤差信号が空間領域で符号化されるならば、再構築画像信号に対して、空間領域においても、フィルタ処理を施すことが最適である。これを容易にするために、第一フィルタ５７０は、空間領域に適用されても構わない。周波数領域で予測誤差の符号化が実行されるならば、周波数領域の第二フィルタ５７５を持つ再構築されたビデオ信号のフィルタが最適である。

フィルタ処理の最初のステージ５７１の目的は、量子化が実行された領域と同じ領域で、主要ノイズを低減することである。フィルタ処理の第二ステージ５８１は、残りのノイズをさらに低減するために適用される。特に、予測誤差の符号化が区間領域で実行されるならば、第二フィルタ５８０は、既に空間領域でフィルタ処理５７０された信号に対し、周波数領域で適用される。

同様に、予測誤差信号が周波数領域で符号化されるならば、空間領域の第一フィルタ５８５は、既に第二フィルタ５７５において周波数領域でフィルタ処理された信号に対して適用される。フィルタ処理を適用する２つの順序の間のスイッチング、すなわち、空間領域のフィルタを適用し、その後に周波数領域のフィルタを適用すること、または、周波数領域のフィルタを適用し、その後に空間領域のフィルタを適用することは、スイッチ５６３、５６４、５６５および５６６により実行される。これは、ユニット５６０が決定したフィルタ順序により制御される。フィルタ順序決定ユニット５６０は、量子化誤差の符号化が空間領域で実行されたか周波数領域で実行されたかを特定するスイッチ５０７および５４７の位置に基づいてスイッチ５６３、５６４、５６５および５６６を制御しても構わない。予測誤差の符号化のタイプは、典型的に、デコーダによって信号化されるので、何も付加しない信号化は、デコーダで、フィルタ処理順序を決定するために必要とされる。周波数領域フィルタは、線形または非線形の、固定化されたあるいは付加的なフィルタ係数を持つフィルタであっても構わない。

しかしながら、本発明は、これらに制限されるものではなく、一般的に、フィルタ処理の順序の決定は、量子化誤差信号の符号化が空間領域で実行されたか周波数領域で実行されたかに関わらず、独立して実行されても構わない。この場合において、本発明の他の実施形態によれば、フィルタ処理５６１の順序の選択は、５５０でビットストリームに埋め込まれ、デコーダ側に提供するのに適している。フィルタ順序決定ユニット５６０が、スイッチ５０７および５４７によりフィルタ処理の順序を決定した場合、デコーダ側は、画像データの復号が空間領域で行われるか周波数領域で行われるかに基づいて、その順序を黙示的に導き出しても構わない。フィルタ処理のシーケンス指標５６１は、ビットストリームに埋め込まれる前に、エントロピー符号化されても構わない。

本発明の他の実施の形態によれば、フィルタ処理順序は、予測誤差信号の量子化に適用された量子化ステップに基づいて選択される。

図６は、エンコーダに入力される乗算ノイズを含む画像を示す図である。この画像は、６５０で予測され、予測信号６５１は、６０５で入力信号ｓから差し引かれる。結果として生じる予測誤差信号は、その後、変換６１０され、精密量子化を用いて量子化６２０される。これは、比較的細かい量子化ステップを持つ量子化器であることを意味している。量子化され変換された複数の係数は、その後、エントロピー符号化され、ビットストリームに埋め込み生成される。さらに、量子化された複数の変換係数は、さらに、逆変換６３０され、予測信号６５１を逆変換された信号に加えることによって再構築される画像信号の再構築６３５のために用いられる。

量子化ステップのサイズに依存して、フィルタ順序決定ユニット６６０は、再構築画像信号に対するフィルタ処理のための第一フィルタおよび第二フィルタを選択する。特に、図６は、乗算ノイズを取り除くためにフィルタ６７０を最初に適用し、その後、第一フィルタでフィルタ処理された信号に、加算ノイズを取り除くための第二フィルタ６８０を適用する結果となる場合のスイッチ６６３、６６４、６６５および６６６の位置を示している。複数のスイッチの位置決めは、精密量子化６２０、すなわち、かなり細かい量子化ステップを持つ量子化を示す、量子化パラメータのような、符号化パラメータから得られる。前述した例と同様に、フィルタシーケンス指標６６１は、フィルタ順序決定ユニット６６０により生成され、エントロピー符号化部６４０に入力されても構わない。エントロピー符号化部６４０では、フィルタシーケンス指標は、さらに、符号化画像信号を含むビットストリームに埋め込まれる。埋め込まれた指標は、画像信号の符号化効率の向上のために、符号化されても構わない。

図７は、図６に示すエンコーダに類似するエンコーダを示すブロック図である。しかしながら、図７のエンコーダでは、変換６１０と、予測誤差信号の量子化７２０が適用される。これは、量子化ステップがむしろ大きいことを意味している。この場合、フィルタ順序決定ユニット６６０は、複数のフィルタの異なる適用順序を選択する。特に、スイッチ６６３、６６４、６６５および６６６は、再構築画像信号に対するフィルタの設定を、最初に加算量子化ノイズを除去するために第二フィルタ６７５を用い、その後、乗算ノイズを除去するために第一フィルタを用いるように、切り替えられる。

図６および図７に示されるエンコーダに入力される画像には、乗算ノイズが含まれる。これは、たとえば、合成開口レーダ信号または超音波信号である場合がある。フィルタ順序は、量子化６２０および７２０に起因する量子化ノイズの付加量に依存して、選択される。特に、加算ノイズが乗算ノイズより大きいエネルギーを持つならば、図７に示すように、加算ノイズの低減は、フィルタ処理の最初のステージで実行され、乗算ノイズの低減のための２番目のフィルタ処理のステージが後に続く。一方、加算ノイズが乗算ノイズより低いエネルギーを持つならば、図６に示すように、乗算ノイズの低減が最初のステージで実行され、２番目のステージで、加算量子化ノイズが低減される。

前述の例では、適用されるフィルタが決定され、順序決定ユニット５６０および６６０は、これらのフィルタが適用されるシーケンスのみを選択する。しかしながら、入力信号に基づいて、および、符号化設定に基づいて、適用されるフィルタの数、および／またはタイプ、および／または係数を、付加的に選択することは、有益である場合がある。

本発明の他の実施の形態では、フィルタ順序の選択に加えて、フィルタ処理の選択を行っても構わない。図８は、Ｎステージのループ内フィルタを持つデコーダの全般的な例を示している。ビットストリーム８０１が、エントロピー復号部８１０に入力する。エントロピー符号化部は、ビットストリーム８０１から、フィルタおよび／またはそれらの適用のシーケンスの選択を指し示すための制御情報８１１を抽出する。さらにまた、エントロピー復号部８１０は、ビットストリームから、変換された予測誤差信号を抽出する。これは、逆変換され、再構築画像信号ｓ’の復元のために用いられる。復元は、予測誤差信号ｅ’と予測信号ｓ＾と加えることにより実行される。予測信号ｓ＾は、予測８４０による予測、例えば、時間または空間予測の結果である。結果として生じる再構築画像信号ｓ’は、その後、複数のループ内フィルタのカスケード接続に、入力される。特に、図８は、Ｎステージのフィルタ処理のステージを持つ一般的なスキームを示している。ループ内フィルタ８８０において、フィルタ処理の各ステージは、予め定められたＮ個のフィルタのうちの１つおよび／またはフィルタ無しが選択されても構わない。この選択は、Ｎ個のフィルタの１つまたはフィルタ無しを適用するシーケンスを選択することに等しい。言い換えると、後に続くＮステージのフィルタ処理のそれぞれにおいて、Ｎ＋１個の（Ｎ個のフィルタ＋フィルタ無し）フィルタの１つを選択することは、少なくともＮ個のフィルタのサブセット（“フィルタ無し”オプションが選択される場合もある）の順序の選択に一致する。この例における選択は、制御スイッチ８５１、８５２および８５Ｎによって制御され、フィルタ処理の各ステージ８２１、８２２・・・、８２Ｎで、Ｎ個のフィルタのうちの１つまたはフィルタ無しが選択される。制御情報８１１に加えて、制御情報９１１は、同様に、ポストフィルタ９００によるポストフィルタ処理のために適用されるフィルタのカスケードの選択／順序付けを制御しても構わない。

上述したように、複数のフィルタからのフィルタの選択とその順序付けは、量子化ステップ１２０で用いられる量子化ステップのサイズに基づいて実行されても構わない。量子化ステップのサイズは、いわゆる量子化パラメータＱＰにより、しばしば符号化される（oftencoded）。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣでは、量子化ステップのサイズΔ（ＱＰ）とＱＰとの間の依存性は、以下の式で表される。

これは、利用可能な５２のスカラー量子化の１つの選択とみなすことができる。

量子化ステップのサイズに基づく複数のフィルタ（それらの適用シーケンス）の順序を選択することの１つの可能性は、エンコーダ側で量子化ステップのサイズのために閾値τを決定すること、デコーダ側で決定された閾値を符号化し変換すること、および、例えば、以下の式のように、閾値に基づいて第二フィルタの前に第一フィルタを適用するかその逆かを選択することである。

この例では、フィルタ１は、入力信号の乗算ノイズを低減するためのフィルタであり、フィルタ２は、加算量子化ノイズを低減するためのフィルタである。

加算量子化ノイズを低減するためのフィルタとしては、ウィナーフィルタを用いることができる。乗算ノイズを低減するためのフィルタとしては、例えば、メディアンフィルタを用いることができる。量子化ステップのサイズが小さく閾値以下の場合、加算量子化ノイズは乗算ノイズよりも小さいエネルギーを持ち、乗算ノイズ低減フィルタは、加算ノイズ低減フィルタの前に適用されることが選択可能である。量子化ステップのサイズが大きく閾値より上の場合、加算量子化ノイズは乗算ノイズよりも高いエネルギーを持ち、加算ノイズ低減フィルタは、乗算ノイズ低減フィルタの前に適用されることが選択可能である。この順序を有することによって、より高いエネルギーのノイズが最初に低減され、図６および図７を参照して詳述された、より低いエネルギーの他のノイズの低減の妨げになることはない。

閾値τは、固定され予め定められた値であっても構わない。順序は、ＱＰに基づいて黙示的に決定されるため、付加的なビットレートは、デコーダへの明示的な順序信号が必要とされることはない。ビットレートが増加せず、ノイズが効果的に低減するため、全体的な符号化効率が、増加される。

しかしながら、量子化ノイズは、特に、量子化が粗いことを意味する、量子化パラメータが高い場合は、一般的に量子化パラメータに依存するだけでなく、量子化部に入力する信号にも少し依存する場合がある。その上、個々の独立した閾値τ_ｉが適用可能であり、実在する（効果的な）加算量子化ノイズに局所的に対応しても構わない。粗量子化の場合、量子化誤差は、予測誤差が高いならば、一般的に高い。極端なケースでは、量子化誤差は、予測誤差に等しい。他方、予測誤差が小さい場合、量子化誤差はかなり小さい。極端なケースでは、量子化誤差はゼロである。

一般的に、対象ブロックの予測誤差はかなり高い。例えば、以下の場合である。
・対象ブロックの動きベクトルｄの絶対値が大きい、あるいは、少なくとも１つの成分の絶対値が大きい場合。これは、例えば、早く動くこと、例えば、動きの早いオブジェクト、ひいては、量子化誤差エネルギーが大きいことを意味する。
・対象ブロックの動きベクトルｄが、大幅に周囲のブロックの運動ベクトルｄ_ＳＢと異なる場合。これは、例えば、オブジェクトの境界の目安、ひいては、量子化誤差エネルギーが大きいことの目安となる場合がある。
・動き補償予測に小ブロックサイズが用いられている場合。典型的に、大きいブロックは、背景または動くオブジェクトを含む広い範囲の動き補償予測で用いられる。予測誤差エネルギーひいては量子化誤差エネルギーもまた、大きいブロックでは、典型的に小さい。オブジェクトの境界では、一般的に、小さいブロックが、オブジェクトの動きが背景の動きとは異なる、オブジェクトの境界での動き補償予測に適応して用いられる。一般的に、オブジェクトの境界で直接、予測誤差エネルギーひいては量子化誤差エネルギーもまた最大となる。ここでは、一般的に小さいブロックが用いられる。このように、小さいブロックの使用は、オブジェクトの境界の目安ひいては量子化誤差エネルギーが大きいことの目安となる。
・内部予測モードがＤＣモードではない場合。これは、信号に、正確に予測できない大きな変化があることを意味する場合がある。
・補間が必要となるサブ画素の位置を示す動きベクトルの場合。これは、量子化誤差が大きいことの目安となる。これは、エイリアシング成分のために量子化誤差エネルギーが大きいことの目安となる。それは、このような量子化誤差エネルギーが大きいことを意味する。

このようにして、上述した基準に基づいて、以下の式で示される閾値τ_１、τ_２、およびτ_３のような、いくつかの閾値τ_ｉが、量子化パラメータとの比較のために用いられても構わない。

ここで、各閾値τ_１、τ_２、τ_３、

は、符号化され、デコーダに送信されても構わない。

この場合、τ_１≧τ_２≧τ_３を選択することが有益である場合がある。同様に、ＱＰ、予測誤差ひいては量子化誤差も、τ_１に関連する状態からτ_３に関連する状態まで増加する。

意味：小さい動きベクトル＝＞予測誤差のエネルギーが小さい＝＞加算量子化誤差のエネルギーが小さい。

意味：隣接ブロックの１つにおける大きい動きベクトルと動きベクトルの小さな差＝＞予測誤差のエネルギーが中間値を取る＝＞加算量子化誤差のエネルギーが中間値を取る。

意味：隣接ブロックの１つにおける大きい動きベクトルと動きベクトルの大きな差＝＞予測誤差のエネルギーが大きい＝＞加算量子化誤差のエネルギーが大きい。

加算量子化誤差のエネルギーは、異なる状態でＱＰの値と同じように異なる。同じ量子化誤差エネルギーで切り替わるように設計されるため、例えば、上述したτ_１≧τ_２≧τ_３のように、閾値τ_１、τ_２、τ_３は異なっている必要がある。

代わりにあるいは追加的に、動き補償予測、適用されたイントラ予測モード、サブ画素の位置等のために用いられるブロックサイズのような、他の信号の特徴の分類のために認められた他の閾値を、フィルタの選択および／またはフィルタ処理順序の選択に基づいて、量子化パラメータのための閾値のサイズを決定するために用いても構わない。このような閾値は、信号化されても構わないし、あるいは、エンコーダおよびデコーダの両方で利用可能な情報から生成されても構わない。

さらにその上、複数のフィルタおよびその順序の選択は、量子化が実行される領域に基づいて実行されても構わない。量子化ステップサイズならびに領域の両方とも、一般的に、符号化され送信され、これにより、エンコーダならびにデコーダの両方で既知となる。量子化ステップサイズならびに量子化の領域は、ブロックから逸脱する場合がある。

例えば、空間および周波数領域を意味する両方の領域に、量子化が適用されるならば、量子化パラメータに２つの個々の閾値を使用することが、有利である場合がある。周波数領域のための最初の１つの閾値および空間領域のための２番目の１つの閾値の両方とも、符号化され送信されることが可能である。空間領域で符号化された予測誤差は、予測誤差のサンプルが、互いに静的な依存性を持たず、且つ、ガウス分布ではない予測誤差サンプルを分配するならば、周波数領域よりも効果的である。非常に小さい予測誤差、非常に小さい量子化誤差、特に粗量子化の場合にしばしば関連がある。このように、ほぼ同じ量子化誤差で切り替わるために、空間領域に関連する閾値は、一般的に、周波数領域に関連する閾値よりも高くなる。

必要なビットレートを制限し、符号化効率を向上させるために、閾値の符号化は、互いに依存して行われる。例えば、第一の閾値、例えば、空間領域のための閾値は、最初に符号化することができる。その後、第一の閾値と、第二の閾値、例えば、周波数領域の閾値との間の違いは、符号化されることができ、あるいは、その逆が可能である。これは、上述した閾値τ_１、τ_２、τ_３、

、または、符号化のタイプまたはブロックの値から生成された他の閾値のためにも適用される。

追加的な閾値を送信することによって、２以上の間隔を規定することもまた可能である。間隔およびブロック（ＱＰ値）の実際の量子化ステップサイズに基づいて、複数のフィルタとその順序を選択しても構わない。関連選択と順序とは、エンコーダで決定され、符号化され、送信されても構わない。これは、以下の符号化ステップを含む場合がある。
・量子化ステップサイズを分類するための間隔の選択。これは、例えば、等しいサイズの間隔を用いて行っても構わない。例えば、５１の異なる量子化ステップサイズが利用可能な場合、間隔は、［０，９］、［１０，１９］、［２０，２９］、［３０，３９］、［４０，５０］とすることができる。
・間隔の符号化および送信。符号化は、依存性を有利に用いることによって、例えば、異なる符号化およびまたはエントロピー符号化を適用することによって、実行できる。
・各間隔のための複数のフィルタとその順序の選択。ループ内またはポストループ内にある、複数のフィルタの位置もまた選択される。これは、例えば、ビットレートおよび平方二乗復元誤差のラグランジュ関数のコストを最小化することによって、または、オリジナル信号と、異なる順序で且つループに関連する異なる位置で異なるフィルタによりフィルタ処理された信号との間の類似性の量とを比較することによって、実行できる。
・選択されたフィルタ、その順序、および、ループ内の位置で適用されるかポストループの位置で適用されるかを符号化し送信する。

他の可能性は、量子化が実行された領域に基づいて、順序を黙示的に選択することである。対象ブロックの予測誤差の量子化が空間領域で実行された場合、空間領域のノイズを低減する第一フィルタを適用すると有益である。その後、第二フィルタを、例えば、周波数領域のノイズを低減するために、適用できる。このノイズは、例えば、予測のために用いられる参照画像に含まれるいくつかのノイズである場合がある。対象ブロックの予測誤差の量子化が周波数領域で実行された場合、周波数領域のノイズを低減する第一フィルタを低減するのが有利である。その後、第二フィルタを、例えば、空間領域のノイズを低減するために、適用できる。このノイズは、例えば、予測のために用いられる参照画像に含まれるいくつかのノイズである場合がある。この順序を持つことにより、主要ノイズが最初に低減され、さらにその後、図５を参照して記述されたような他のノイズもまた、低減するのを妨げられない。このように、符号化効率は改良される。

適応可能な量子化領域が用いられた場合、量子化領域と量子化ステップサイズの両方の情報を用いることも可能である。これらの情報は、最初に空間領域のノイズを次に周波数領域のノイズを低減すること、あるいは、その他の方法の何れか一方を選択するために用いられる。これは、以下のように行われる場合がある。
・参照フレームに関連する量子化ステップサイズが対象量子化ステップの量子化ステップサイズよりも大きく、参照フレームの量子化領域が空間領域であり、対象フレームの量子化領域が周波数領域であるならば、対象再構築フレームは、周波数領域よりも空間領域のさらなる加算ノイズを含む。この場合、空間領域のノイズを低減するフィルタは、周波数領域のノイズを低減するフィルタの前に適用するように選択されても構わない。
・参照フレームに関連する量子化ステップサイズが対象量子化ステップの量子化ステップサイズよりも小さく、参照フレームの量子化領域が空間領域であり、対象フレームの量子化領域が周波数領域であるならば、対象再構築フレームは、空間領域よりも周波数領域のさらなる加算ノイズを含む。この場合、周波数領域のノイズを低減するフィルタは、空間領域のノイズを低減するフィルタの前に適用するように選択されても構わない。
・参照フレームに関連する量子化ステップサイズが対象量子化ステップの量子化ステップサイズよりも大きく、参照フレームの量子化領域が周波数領域であり、対象フレームの量子化領域が空間領域であるならば、対象再構築フレームは、空間領域よりも周波数領域のさらなる加算ノイズを含む。この場合、周波数領域のノイズを低減するフィルタは、空間領域のノイズを低減するフィルタの前に適用するように選択されても構わない。
・参照フレームに関連する量子化ステップサイズが対象量子化ステップの量子化ステップサイズよりも小さく、参照フレームの量子化領域が周波数領域であり、対象フレームの量子化領域が空間領域であるならば、対象再構築フレームは、周波数領域よりも空間領域のさらなる加算ノイズを含む。この場合、空間領域のノイズを低減するフィルタは、周波数領域のノイズを低減するフィルタの前に適用するように選択されても構わない。
・参照フレームの量子化領域が対象フレームの量子化領域と同じならば、量子化時に同じ領域のノイズを低減する１つのフィルタのみが、選択されても構わない。

複数のフィルタ、フィルタ順序およびフィルタ位置の選択は、図９を用いてさらに詳細に示される。図８および図９に示されるデコーダは、ビットストリームから制御情報８１１および／または９１１を得る。この制御情報は、複数のスイッチの位置を直接示すのに有利である場合がある。これは、例えば、各スイッチについて、指標８５１、８５２等、それぞれ特定のスイッチの位置に一致し、０からＮまでの数を示す指標を信号化することによって達成されても構わない。この方法では、同時に、複数のフィルタの適用シーケンスとフィルタの選択が、信号化される。しかしながら、本発明は、これに限定されるものではない。一般的に、複数のフィルタの適用シーケンスもまた、デコーダにおいて、エンコーダと同じ方法で黙示的に選択されても構わない。これは、上述したような、例えば、量子化ステップおよび／または選択された複数のフィルタおよび／または画像信号が符号化された領域等のような、制御情報８１１および／または９１１とは異なる１または複数の符号化パラメータに基づいても構わない。フィルタ処理の順序の選択は、代わりにまたは追加的に、符号化された入力信号の統計量に基づいて、特に、そのノイズの特徴に基づいて行われても構わない。統計量または入力画像のノイズは、例えば、明確に、デコーダに信号を送信することによって、得られる場合がある。例えば、それは、オリジナルの画像に、加算ノイズが含まれるか乗算ノイズが含まれるかを示しても構わない。あるいは、画像ソース指標は、信号、例えば、入力画像（例えば、セルロイドフィルム画像、ＳＡＲ画像、カメラ画像等のうちの１つ）のタイプに提供されても構わない。

図９は、複数のフィルタ処理ステージ９２１、９２２、・・・、９２Ｎを含むポストフィルタ処理９００の詳細を示している。複数のフィルタ処理の各ステージでは、Ｎ個のフィルタの１つまたはフィルタ無しが選択される場合がある。このスキームの効果は、（１または複数の）ループ内フィルタについて上述されたように、フィルタ１からフィルタＮまたはフィルタ無しの適用の順序の選択と類似している。

符号化効率を最大にするために、複数のフィルタを適用するためのシーケンスの選択は、望ましくは、利用可能な各フィルタ順序をテストすることによって、および、平均平方復元誤差およびビットレートのラグランジュ関数コストを最小にするフィルタ順序を選択することによって選択される。この場合、オリジナル画像の知識が必要である。入力ノイズが温存される場合には、ラグランジュ関数コストの最適化は、ノイズを含むオリジナル信号について実行される場合がある最適化を提供する。

符号化効率を向上させるために適用される場合がある別の最適化は、予め定義された類似性／相違性の測定基準に基づく。特に、オリジナル画像（入力ノイズを含む）と再構築画像との間の類似性または相違性は、適用する複数のフィルタの異なるシーケンスのために算出されても構わない。その後、最高の類似性を導く、あるいは、同等の、最小の相違性を導くフィルタ処理の順序が選択されても構わない。例えば、類似性の大きさとして、相関関係または共分散が使用されても構わない。相違性の大きさとして、例えば、差の絶対値、平均平方誤差、または、画素の違いに基づく他の大きさ／測定基準が、適用されても構わない。

たとえ、オリジナルノイズが再構築画像信号に含まれることが望ましいとしても、動き推定の目的のために、オリジナルノイズが低減された画像を格納することは有益である場合があることに留意すべきである。このように、参照フレームを格納する目的で、フィルタ処理された画像を得られる場合があり、再構築信号を出力する目的で、入力ノイズを抑えるためのフィルタ処理を省略することが望ましい場合がある。一般的に、遅延のない相関性のないノイズのフィルタ処理による低減に有利である参照画像の格納のために、除去されない／低減されないならば、動きベクトルの探索の効果を低減させる場合がある。特に、フレーム番号ｍ内のブロック内のノイズは、以前のフレーム番号ｍ−ｊ内の対応するブロックとは、異なる入力画像ノイズが含まれていても構わない。これは、最も適合したブロックを見つけることを難しくしている。時間的に無相関のノイズの例としては、ＰＣＭノイズのようなカメラノイズである場合がある。一方、入力画像ノイズが時間的に無相関ならば、動き補償予測の改良のために制限しないことが、有益である場合がある。

符号化および／または復号の過程の間で異なる複数のフィルタを適用するためのシーケンスの選択は、画像の符号化の間、または、動画像の符号化の間で適応的に実行されても構わない。複数のフィルタおよび／またはフィルタ処理順序の選択は、画像のブロック毎に実行されることが望ましい。これは、高い柔軟性を提供し、異なる符号化設定が適用される場合があるブロックに対する符号化の適応性の効果を増大させることを可能にする。しかしながら、フィルタ処理順序および／または複数のフィルタの選択は、ブロックを基準として実行され、フィルタシーケンス指標は、明確に信号化される。これは、信号化の負荷を増大させる場合がある。信号化の付加的コストを低く維持するために、複数のフィルタシーケンス指標は、さらに符号化される場合がある。例えば、空間領域および／または時間領域で、複数の隣接ブロックのフィルタシーケンス指標の差を符号化する予測符号化が、使用される場合がある。これに代えて、または、追加的に、複数のフィルタシーケンス指標は、ゴロム符号、拡張ゴロム符号、単項符号、エリアス符号、ハフマン符号、その他のエントロピー符号化によって符号化される場合がある。

信号化の付加的コストを低く維持する他の可能性は、ビデオシーケンス内のスライスのような複数のマクロブロックのために、あるいは、入力画像のために、フィルタ処理の順序を選択することである。この複数のフィルタおよび複数のフィルタ処理順序の選択はまた、ビデオシーケンス内のいくつかの画像（フレーム）単位で／について１回、例えば、複数ピクチャの各グループのために１回、実行されても構わない。

本発明はまた、複数の入力を持つ複数のフィルタにも適用できる。このようなフィルタを含む複数のフィルタを適用する、異なるシーケンスのための様々な例は、図１０、図１１、図１２、および図１３に示される。従って、複数の予測信号、量子化された予測誤差信号および／または復号信号は、フィルタ設計では個々に検討される。これは、これらの３つの信号の各々のノイズを個別に検討することを許可する。例えば、ポストフィルタ係数は、入力信号、デブロッキング・フィルタが適用された後の復号信号、予測信号および量子化予測誤差信号に基づいて、エンコーダ側で求められる。同様に、ループ内フィルタは、上述した個々の複数の信号を考慮して設計されても構わない。複数の係数の計算は、ウィナーフィルタを算出することによって行われても構わない。オリジナルのビデオ信号と再構築されたビデオ信号との間の相互相関関係のように、デコーダ側で複数のフィルタ係数を算出することを許可するフィルタ係数または情報は、さらに、ビットストリーム内に含まれる符号化されたビデオ信号を備える。

図１０は、複数の入力信号を持つフィルタが、最初のフィルタ処理ステージで適用されるように選択される例を示している。この例では、第一フィルタ１０１０は、３つの入力：量子化予測誤差信号ｅ’、予測信号ｓ＾および再構築信号ｓ’を備えている。このフィルタは、上述した信号を個々にフィルタ処理し、個々にフィルタ処理された複数の信号を、例えば、一次結合のように組み合わせることにより得られる単一の信号１０１１を出力する。第一フィルタ処理ステージ１０１０（符号化または復号ステージの各々で見られる場合がある）でフィルタ処理された信号１０１１は、その後、第二フィルタとして選択されたフィルタによるフィルタ処理を行う第二フィルタ処理ステージ１０２０に入力される。フィルタ処理により出力された信号１０２１は、その後、第三フィルタ処理ステージ１０３０に入力される。ここでは、信号１０２１はさらに、第三フィルタとして選択されたフィルタによりフィルタ処理される。フィルタ処理された結果生じた信号１０３１は、出力され、あるいは、格納され、あるいは、さらに必要な処理が行われる。

図１１は、複数の入力を持つフィルタ１１２０が２番目に適用されるように選択される場合を示している。これは、再構築ビデオ信号ｓ’を第一フィルタ処理ステージ１１１０で最初にフィルタ処理し、さらに、フィルタ処理された信号１１１１を、複数の入力を持つフィルタを用いたフィルタ処理を行う第二ステージ１１２０に入力することで実行される。第二ステージ１１２０には、さらに、量子化された予測誤差信号ｅ’および予測信号ｓ＾が入力される。フィルタ処理の結果生じた再構築ビデオ信号１１２１は、その後、３番目に適用するために選択されたフィルタによるフィルタ処理を行う第二フィルタ処理ステージ１１３０に入力される。全３つのステージにおけるフィルタ処理の結果として生じた信号１１３１は、出力され、あるいは、格納され、あるいは、さらに必要な処理が行われる。この例では、再構築信号ｓ’のみが、第一ステージ１１１０でフィルタ処理され、再構築信号ｅ’およびｓ＾は、第二ステージに直接入力される。

図１２は、複数の入力を持つフィルタ１２２０が２番目に適用されるように選択される場合におけるフィルタ処理の他の手段を示している。各入力信号ｅ’、ｓ’、ｓ＾は、個々の（ｅ’のフィルタ処理のための）フィルタ１２１２、（ｓ’のフィルタ処理のための）フィルタ１２１４および（ｓ＾のフィルタ処理のための）フィルタ１２１６により、第一フィルタ処理ステージでフィルタ処理される。個々の第一ステージにおけるフィルタ処理の結果生成された信号１２１３、１２１５、および１２１７は、その後、より多くの入力を持つ第二フィルタ処理ステージ１２２０に入力され、再構築ビデオ信号１２２１を得るためにフィルタ処理される。再構築ビデオ信号１２２１は、その後、さらに三番目に適用されるように選択されたフィルタにより、第三ステージ１２３０でさらにフィルタ処理される。全３ステージにおけるフィルタ処理の結果として生じる信号１２３１は、その後、出力され、あるいは、格納され、あるいは、さらに必要な処理が行われる。この例では、このように、第一ステージのために３つの異なるフィルタ１２１２、１２１４、および１２１６が選択される。これらのフィルタは、互いに異なっていても構わないし、（部分的に）互いに同じでも構わない。従って、最初のフィルタ処理での３つのフィルタは、個々に選択されても構わないし、このように、異なる複数の入力信号の特性に個別に対応しても構わない。これは、さらなるフィルタ処理結果の改良につながる場合がある。

図１３は、複数の入力を持つフィルタ１３２０が第二フィルタ処理ステージで使用される場合のさらに他の手段を示している。この例によれば、スイッチ１３４０、１３５０、１３６０、および１３７０は、個々のフィルタ１３１２および／または１３１６を第一ステージで適用するか否かを、制御部１３８０により個別に制御が可能である。スイッチ１３４０および１３６０は、連結され、一緒に（両方とも閉じるまたは開くように）切り替えられても構わない。同様に、スイッチ１３５０および１３７０が連結される。類似のスイッチを、再構築ビデオ信号ｓ’の第一ステージにおけるフィルタ処理を可能にする／無効にするために、提供しても構わない。第一ステージにおいて、入力信号ｅ’、ｓ’、および／またはｓ＾のうちの選択されたもの（１または複数）をフィルタ処理した後、フィルタ処理された信号は、第三ステージのフィルタ１３３０に入力される。好ましくは、スイッチ１３４０、１３６０、１３５０、および１３７０の制御は、エンコーダ側の制御部１３８０により実行される。複数のスイッチの位置は、ユーザにより設定されても構わないし、および／または、エンコーダにおいて利用可能な任意のデータから生成されても構わない。複数のスイッチの位置がまた、デコーダで利用できない信号に基づいてエンコーダで決定されるならば、複数のスイッチの位置またはそれを決定するために必要とされる情報が、ビットストリーム内で信号化されても構わない。スイッチ１３４０、１３６０、１３５０、および１３７０は、シーケンス全体のためのエンコーダの設定の一部として、択一的に定位置に設定されても構わない。

図１４は、本発明の他の実施の形態を示すブロック図である。この実施の形態では、空間領域のノイズ低減フィルタ、周波数領域のノイズ低減フィルタ、デブロッキング・フィルタの３つのタイプのフィルタの順序が選択される場合がある。複数のフィルタとその適用順序は、エントロピー復号部から得られた制御情報１４９０によって選択される。制御情報１４９０は、ビットストリームから抽出される。特に、制御情報１４９０は、３つのステージの何れかにおけるフィルタの選択１４９１、１４９２、および１４９３、および、これらのループ内またはループ後における３つのステージのそれぞれの位置についての選択１４９４を示す。各々の制御情報１４９１、１４９２、および１４９３は、３つのフィルタ処理ステージの各々で、空間領域のノイズ低減フィルタ、周波数領域のノイズ低減フィルタ、デブロッキング・フィルタ、またはフィルタ無しの選択を、最適な状態で利用可能にする。このように、例えば、各々の制御情報１４９１、１４９２、および１４９３は、各フィルタ処理ステージの複数のスイッチの位置を示す２ビットの指標であっても構わない。このような３つの指標は、複数のフィルタとその適用順序の選択を一緒に、固定され予め規定された順序信号として、ビットストリームに埋め込まれる。

しかしながら、本発明は、このような信号に限られるものではない。図１４に示すフィルタ適用順序の制御ならびに複数のフィルタの選択の他の最適な例は、予め規定された数の係数のみの信号を利用可能にすることである。例えば、図１４は、スイッチの設定の４つの異なる組み合わせのみが利用可能である場合を示している。利用可能な組み合わせは、各フィルタの選択スイッチの近傍に記した数１、２、３、および４により示される。特に、図１４から分かるように、組み合わせ１は、第一ステージで周波数領域のノイズ低減を、第二ステージで空間領域のノイズ低減を、および、第三ステージでデブロッキング・フィルタを適用することと一致する。組み合わせ２は、第一ステージでデブロッキング・フィルタを、第二ステージで周波数領域のノイズ低減を、および、第三ステージで空間領域のノイズ低減を適用することと一致する。組み合わせ３は、第一ステージで周波数領域のノイズ低減を、第二ステージでデブロッキング・フィルタを、および、第三ステージで空間領域のノイズ低減を適用することと一致する。最後に、組み合わせ４は、第一ステージで周波数領域のノイズ低減を、第二ステージでフィルタ無しを、および、第三ステージで空間領域のノイズ低減を適用することと一致する。これら４つの組み合わせは、一例であることは明らかである。さらなる組み合わせが、利用可能となり、信号化されても構わない。信号化は、各組み合わせに割り当てられる単一の一般的な符号語により実行されても構わない。符号語長の割り当ては、各組み合わせの発生頻度によって行われても構わない。これは、可変長符号（エントロピー符号）を用いて符号化される（２値化される）ことを意味する。

この例における制御情報１４９０は、さらに、３つのフィルタ処理ステージがループ内で実行されるか、ポストループで実行されるかを示すための位置指標１４９４を含む。特に、位置指標１４９４は、４つの位置１４５１、１４５２、１４５３、および１４５４の１つを取る場合があるスイッチ１４５０を制御する。スイッチ１４５０が位置１４５１にあるときは、３つのフィルタ処理ステージの全てがポストループで実行される。言い換えると、３つのステージはポストフィルタ処理を意味し、それらの結果は、メモリに格納されず、予測で用いられない。スイッチ１４５０が位置１４５２にあるときは、第一フィルタ処理ステージがループ内フィルタとなり、その結果が予測のためにメモリに格納される。しかしながら、第二および第三フィルタ処理ステージは、デコーダの出力信号にのみ影響するポストフィルタ処理として実行される。さらに、スイッチ１４５０が位置１４５３にあるときは、最初の２つのステージがループ内で実行され、第三ステージのみがポストループで実行される。最後に、スイッチ１４５０の位置１４５４は、３つのフィルタ処理ステージの全てがループ内で実行され、それらの結果がメモリに格納され予測のために使用されることを示している。

位置指標１４９４は、フィルタの選択のためのスイッチの位置（上述したように、組み合わせまたは個々に符号化される場合がある）とは別に、符号化されても構わない。しかしながら、位置指標１４９４はまた、フィルタ選択スイッチおよび位置指標の組み合わせの一部であっても構わない。組み合わせの数の制約のみ利用可能であっても構わない。例えば、図４から分かるように、この例では、スイッチ１４５０の２つの位置、すなわち、位置１４５３および１４５４のみが許可される。特に、位置１４５３は、フィルタの選択のために上述した組み合わせ３または４に属し、位置１４５４は、組み合わせ１または２に属する。しかしながら、これらは例に過ぎず、他の最適な組み合わせが利用可能であっても構わない。

まとめると、図１４は、下記の例を示している。
・制御情報１４９１、１４９２、および１４９３は、復号中の画像信号表現の３つの利用可能なフィルタ処理ステージで３つの利用可能なフィルタの選択および適用の順序を制御し、さらに、
・制御情報１４９４は、復号ループに関するフィルタの位置、特に、３つのフィルタ処理ステージの何れがループ内で実行され、何れかポストフィルタで実行されるかを制御する。

一般的には、３つ以上のステージがあっても構わない。また、２つのフィルタ処理ステージのみであっても構わない。このような場合の実装は、フィルタ選択スイッチの数（図８または図９参照）および／または位置選択スイッチ１４５０の利用可能な位置の数を減らすまたは増加することによって、簡単にできる。

この例では、デブロッキングフィルタ、空間領域のノイズ低減フィルタ、周波数領域のノイズ低減フィルタまたはフィルタ無しの、４つの異なるフィルタタイプが選択可能である。しかしながら、本発明は、これら、および、利用される場合がある周波数領域および／または空間領域のノイズ低減フィルタ並びにデブロッキング・フィルタのいくつかのタイプの選択に限られるものではない。複数の空間領域のフィルタ（複数のフレームに渡ってフィルタ処理する）を用いることも可能である。さらにその上、これらの例におけるフィルタタイプは、固定係数のフィルタとして、あるいは、適応フィルタとして用いられる場合がある。例えば、空間領域のノイズ低減フィルタは、１または複数の入力を持つウィナーフィルタとして用いられても構わない。しかしながら、ノイズ低減フィルタは、メディアンフィルタやその他のフィルタのように、固定係数を持つフィルタであっても構わない。周波数領域のノイズ低減フィルタは、１または複数の入力を持つウィナーフィルタとして用いられても構わない。しかしながら、固定係数を持つ場合があっても構わないし、あるいは、予め定められた複数のフィルタ係数のセットから選択できるようにしても構わない。同様に、デブロッキングフィルタフィルタは、適応フィルタ、例えば、ウィナーフィルタ、あるいは、固定されたフィルタであっても構わない。これらのフィルタタイプの全ては、１次元的に分離された２つのステージを含んでいても構わない。２つのステージは、垂直フィルタ処理ステージおよび水平フィルタ処理ステージであり、本発明に従って適用順序が選択される場合がある。何れのフィルタも、２次元的に分離不可能であっても構わない。

この実施の形態では、出力信号１４０１は、常に、３つのステージ全て（いくつかのステージでフィルタ無しに切り替えられている場合でも）の後の信号である。例えば、ループ内でフィルタ処理されない出力信号を出力することはできない。しかしながら、これらのフィルタが適用されていない、あるいは、部分的に適用した信号を出力する間、追加的なフィルタを用いてループ内信号をフィルタ処理することは有益である場合がある。このような構成を許可するために、本発明の他の実施の形態によれば、他のスイッチが、図１４のフィルタ処理のスキームに加えられる。

図１５は、制御情報１５９１によって制御されるスイッチ１５５０を示す図である。出力選択スイッチ１５５０ 出力選択制御情報１５９１は、位置選択情報１４９４を含めることが可能なフィルタ選択制御情報１４９０をさらに備える場合がある制御情報１５９０の一部である。出力選択制御情報１５９１は、個々に符号語として、または、フィルタ選択指標１４９１、１４９２、および１４９３および／または位置指標１４９４の組み合わせの一部として、符号化されても構わない。スイッチ１５５０は、４つの利用可能な位置の間で切り替え可能である。特に、スイッチ１５５０の位置は、デコーダから出力される信号１５０１が、１４５１、１４５２、１４５３、または１４５４の何れのフィルタ処理ステージから出力されるのかを示している。このように、例えば、フィルタ処理の第一ステージ１４５１より前だけでなく、１または複数ステージ中のループ内フィルタ処理の適用と同時に、信号１５０１を出力することが可能である。ループ内ステージのフィルタの１つはまた、補間フィルタであっても構わない。

一般的に、異なる復号ステージ中のフィルタの位置の選択は、単一のフィルタで実現される場合がある。同じことは、異なる復号ステージからの出力信号の選択についても当てはまる。図１６は、単一フィルタの場合において２つの可変スイッチの使用を示す図である。この２つのスイッチは、“ポストフィルタ／ループ内フィルタ”および“フィルタ処理された／フィルタ処理されない画像を出力に用いる”である。特に、フィルタ１６５０の位置は、ビットストリームからの指標に従って選択されても構わない。この選択は、制御情報１６９０内に含まれる位置選択指標１６９４により制御されるスイッチ１６５０により実行されても構わない。制御情報１６９０は、スイッチ１６６０を制御するための出力選択指標１６９４をさらに含む場合がある。スイッチ１６５０の位置は、フィルタ１６１０がループ内フィルタ（位置１６５２参照）として用いられるか、ポストフィルタ（位置１６５１参照）として用いられるかを決定する。スイッチ１６６０の位置は、出力信号１６０１が、フィルタ１６１０（位置１６６１参照）を用いてフィルタ処理した後のフィルタ処理信号であるか、フィルタ処理されない信号（位置１６６２参照）であるかを決定する。その上、フィルタ１６１０を設定するための複数のフィルタ係数または他の情報は、制御情報１６９０内に信号化されていても構わない。制御情報は、複数のスイッチの位置を示していても構わない。この簡易化した例では、１ビットのフィルタ位置情報１６９４は、送信される、および／または、１ビットの出力選択信号になり得る。スイッチ１６５０および１６６０は、例えば、制御情報に依存する状態によって、ハードウェアまたはソフトウェアを用いて実装される。

図１７は、本発明を用いて実行される方法における各ステップの例を示している。符号化方法１７００Ａは、少なくとも２つのフィルタの適用シーケンスを選択するステップ１７１０を含んでいる。ここで、選択は、図５〜９または１３〜１６に示す複数の制御スイッチを制御するための制御情報のような符号化パラメータを設定することにより、ユーザによって実行される場合がある。しかしながら、この選択は、他の符号化パラメータに基づいて、および／または入力画像信号またはその表現（量子化されたおよび／または変換されたバージョン、予測誤差または予測信号等）に基づいて、実行されても構わない。選択が実行される符号化パラメータは、例えば、予測のタイプ、量子化の領域、量子化パラメータ、動きベクトル、ブロックサイズ等である場合がある。フィルタ順序の選択は、例えば、ブロック単位で、またはスライス単位で、またはフレーム単位で、または予め定められたフレーム数単位で、またはシーケンス単位で実行されても構わない。少なくとも２つのフィルタが、２つの復号ステージで使用されるフィルタである場合もある。この少なくとも２つのフィルタは、全てがループ内にあっても構わないし、全てがポストループにあっても構わないし、または、それらの少なくとも１つがループ内にあっても構わないし、および、少なくとも１つがポストフィルタにあっても構わない。ループ内部／外部の位置はまた、フィルタ処理順序の選択の一部として、選択可能であっても構わない。さらに、フィルタ順序の選択はまた、特定のフィルタのタイプおよび／またはフィルタの選択を含んでいても構わない。

フィルタ処理順序の選択後、フィルタ処理順序が選択された画像信号は、符号化の前および／または間および／または後のフィルタ処理を含む１７２０で符号化される。特に、フィルタ処理は、符号化の異なるステージの前／後：周波数領域での量子化後、空間領域での量子化後、または画像信号の復元後で実行される場合がある。ここで、単一の符号化ステップの前／後において、複数のフィルタ処理ステージは、個々の符号化ステージで互いの実行直後に実行される場合があり、フィルタ順序は、本発明に従って選択される。これに代えてあるいは追加的に、異なる符号化ステージの前／後において、複数のフィルタの順序付けが実行される。例えば、デブロッキング・フィルタおよび／またはノイズ低減フィルタが、ループ内で適用されるかおよび／またはポストループで適用されるか、および、どのフィルタが最初に適用され、どのフィルタが次に適用されるかが選択される。

１７３０では、符号化されフィルタ処理されたフィルタ画像がビットストリームに埋め込まれる。ビットストリームには、さらに、フィルタ処理順序を示すためのフィルタシーケンス指標、および／またはフィルタ順序および適用されるフィルタを示すフィルタ選択指標のような、制御情報が埋め込まれていても構わない。制御情報はまた、１つのフィルタが適用される復号ステージおよび／またはフィルタ処理ステージを示す位置指標、または、画像が出力されるべき復号ステージおよび／またはフィルタ処理ステージを示す位置指標を含んでいても構わない。ビットストリームは、その後、エンコーダから出力する。ビットストリームは、格納されても構わないし、１７９０に送られても構わない。

上述した符号化方法により符号化されることにより生成されたビットストリームのような、ビットストリーム１７９０は、復号されても構わない。本発明による１７００Ｂの復号方法は、ビットストリームの解析ステップ１７５０を含んでいても構わない。解析の間、符号化画像を示す情報要素は抽出され、場合により、フィルタ処理順序および／または少なくとも１つのフィルタおよび／または復号ループに関するフィルタ位置および／または復号信号が出力される復号ステージの選択を支援するための制御情報も抽出される。

解析された情報要素に従って、少なくとも２つのフィルタのフィルタ処理順序および／またはフィルタの位置および／またはフィルタおよび／または出力信号のステージは、１７６０において選択される。特に、フィルタ処理順序は、図５〜図９または図１３〜図１６に示すような複数のスイッチの位置のように、フィルタ順序の選択を専用に示す制御情報に従って選択されても構わない。しかしながら、フィルタ処理順序はまた、量子化パラメータ、量子化の領域、ブロックサイズ、予測タイプ、動きベクトル、または、符号化された画像信号を含む情報要素、または、ビットストリームから抽出される他の情報のような、他の符号化パラメータを含む情報要素に基づいて選択されても構わない。

フィルタ処理順序が選択された後、ビットストリームは、復号される。復号の間、場合によっては、選択された複数のフィルタが、１７７０において、選択された順序でおよび／または選択された位置に、適用される。復号されフィルタ処理された画像信号は、その後、１７８０において、出力される。

図１８は、一般的な、本発明によるエンコーダ側からデコーダ側に符号化されたビデオデータを転送するためのシステムの例を示している。入力ビデオ信号は、送信器１８０１によって符号化され、チャンネル１８０２に供給される。送信器１８０１は、上述した本発明の実施の形態の何れかによるエンコーダである。チャンネル１８０２は、記憶装置または任意の伝送チャンネルである。記憶装置は、例えば、任意の揮発性または不揮発性メモリ、任意の磁気または工学的記録媒体、大容量記憶装置等であっても構わない。伝送チャンネルは、ｘＤＳＬ、ＩＳＤＮ、ＷＬＡＮ、ＧＰＲＳ、ＵＭＴＳ、インターネットまたは任意の標準化された標準化されていないシステムのように、任意の伝送システム、ワイヤレスまたは有線、据え置きまたはモバイルの物理的リソースによって、形成されていても構わない。エンコーダとは別に、エンコーダ側はまた、形式変換、および／またはチャンネル１８０２を超えて符号化されたビデオ信号を送信するための送信部、または記憶装置に符号化されたビデオ信号を転送するためのアプリケーションのような、入力ビデオ信号の前処理を含んでいても構わない。符号化ビデオ信号は、その後、受信器１８０３によって、チャンネル１８０２から取得される。受信器１８０３は、上述した本発明による任意の実施の形態のデコーダである。デコーダは、符号化されたビデオ信号を復号する。デコーダとは別に、デコーダ側は、伝送チャンネルから符号化されたビデオ信号を受信するための受信部、あるいは記憶装置から符号化されたビデオデータを抽出するためのアプリケーション、および／または形式変換のような、復号されたビデオ信号のポスト処理手段を含んでいても構わない。

各実施の形態で記された処理は、記憶媒体に、各実施の形態で示した動画像符号化方法および動画像復号方法の複数の構成を実装するためのプログラムを記憶することによって、独立したコンピュータシステムに単独で実装することができる。記憶媒体は、磁気ディスク、光ディスク、磁気光ディスク、ＩＣカード、および半導体メモリのような、プログラムが記憶できる任意の記憶媒体であればよい。

以下、各実施の形態で記載した動画像符号化方法および動画像復号方法、およびこれらで用いられたシステムの適用について、説明する。

図１９は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９およびｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、パーソナルデジタルデータアシスタント（ＰＤＡ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等の各機器が接続される。

しかし、コンテンツ供給システムex１００は図１９のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ex１０６からex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラex１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ex１１４は、Global System for Mobile Communications（ＧＳＭ（登録商標））方式、Code Division Multiple Access（ＣＤＭＡ）方式、Wideband-Code Division Multiple Access（Ｗ−ＣＤＭＡ）方式、若しくはLong Term Evolution（ＬＴＥ）方式、High Speed Packet Access（ＨＳＰＡ）の携帯電話機、またはPersonal Handyphone System（ＰＨＳ）等であり、いずれでも構わない。

コンテンツ供給システムex１００では、カメラex１１３等が基地局ex１０９、電話網ex１０４を通じてストリーミングサーバex１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラex１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバex１０３に送信する。一方、ストリーミングサーバex１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。

なお、撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラex１１３に限らず、カメラex１１６で撮影した静止画像および／または動画像データを、コンピュータex１１１を介してストリーミングサーバex１０３に送信してもよい。この場合の符号化処理はカメラex１１６、コンピュータex１１１、ストリーミングサーバex１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータex１１１や各機器が有するＬＳＩex５００において処理する。ＬＳＩex５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク等）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ex１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ex１１４が有するＬＳＩex５００で符号化処理されたデータである。

また、ストリーミングサーバex１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムex１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムex１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムex１００の例に限らず、図２０に示すように、デジタル放送用システムex２００にも、上記各実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex２０１では映像データに音楽データ等が多重化された多重化データが電波を介して通信または衛星ex２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ex２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナex２０４が受信する。

受信した多重化データを、テレビ（受信機）ex３００またはセットトップボックス（ＳＴＢ）ex２１７等の装置が復号化して再生する。

また、ＤＶＤ、ＢＤ等の記録メディアex２１５に記録した多重化データを読み取り復号化する、または記録メディアex２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダex２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタex２１９に表示され、多重化データが記録された記録メディアex２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルex２０３または衛星／地上波放送のアンテナex２０４に接続されたセットトップボックスex２１７内に動画像復号化装置を実装し、これをテレビのモニタex２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図２１は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ex３００を示す図である。テレビex３００は、上記放送を受信するアンテナex２０４またはケーブルex２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナex３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ex３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ex３０６で符号化された映像データ、音声データを多重化する多重／分離部ex３０３を備える。

また、テレビex３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ex３０４、映像信号処理部ex３０５を有する信号処理部ex３０６と、復号化した音声信号を出力するスピーカex３０７、復号化した映像信号を表示するディスプレイ等の表示部ex３０８を有する出力部ex３０９とを有する。さらに、テレビex３００は、ユーザ操作の入力を受け付ける操作入力部ex３１２等を有するインタフェース部ex３１７を有する。さらに、テレビex３００は、各部を統括的に制御する制御部ex３１０、各部に電力を供給する電源回路部ex３１１を有する。インタフェース部ex３１７は、操作入力部ex３１２以外に、リーダ／レコーダex２１８等の外部機器と接続されるブリッジex３１３、ＳＤカード等の記録メディアex２１６を装着可能とするためのスロット部ex３１４、ハードディスク等の外部記録メディアと接続するためのドライバex３１５、電話網と接続するモデムex３１６等を有していてもよい。なお記録メディアex２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビex３００の各部は同期バスを介して互いに接続されている。

まず、テレビex３００がアンテナex２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ex３１０の制御に基づいて、変調／復調部ex３０２で復調した多重化データを多重／分離部ex３０３で分離する。さらにテレビex３００は、分離した音声データを音声信号処理部ex３０４で復号化し、分離した映像データを映像信号処理部ex３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ex３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファex３１８、ex３１９等に一旦これらの信号を蓄積するとよい。また、テレビex３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアex２１５、ex２１６から多重化データを読み出してもよい。次に、テレビex３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、制御部ex３１０の制御に基づいて、音声信号処理部ex３０４で音声信号を符号化し、映像信号処理部ex３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ex３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファex３２０、ex３２１等に一旦これらの信号を蓄積するとよい。なお、バッファex３１８、ex３１９、ex３２０、ex３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ex３０２や多重／分離部ex３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビex３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビex３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダex２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビex３００、リーダ／レコーダex２１８のいずれで行ってもよいし、テレビex３００とリーダ／レコーダex２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ex４００の構成を図２２に示す。情報再生／記録部ex４００は、以下に説明する要素ex４０１、ex４０２、ex４０３、ex４０４、ex４０５、ex４０６、ex４０７を備える。光ヘッドex４０１は、光ディスクである記録メディアex２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアex２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ex４０２は、光ヘッドex４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ex４０３は、光ヘッドex４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアex２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファex４０４は、記録メディアex２１５に記録するための情報および記録メディアex２１５から再生した情報を一時的に保持する。ディスクモータex４０５は記録メディアex２１５を回転させる。サーボ制御部ex４０６は、ディスクモータex４０５の回転駆動を制御しながら光ヘッドex４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ex４０７は、情報再生／記録部ex４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ex４０７が、バッファex４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ex４０２、再生復調部ex４０３、サーボ制御部ex４０６を協調動作させながら、光ヘッドex４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ex４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドex４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図２３に光ディスクである記録メディアex２１５の模式図を示す。記録メディアex２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックex２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックex２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックex２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアex２１５は、データ記録領域ex２３３、内周領域ex２３２、外周領域ex２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ex２３３であり、データ記録領域ex２３３より内周または外周に配置されている内周領域ex２３２と外周領域ex２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ex４００は、このような記録メディアex２１５のデータ記録領域ex２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したり等、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムex２００において、アンテナex２０５を有する車ex２１０で衛星ex２０２等からデータを受信し、車ex２１０が有するカーナビゲーションex２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションex２１１の構成は例えば図２１に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータex１１１や携帯電話ex１１４等でも考えられる。

図２４Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ex１１４を示す図である。携帯電話ex１１４は、基地局ex１１０との間で電波を送受信するためのアンテナex３５０、映像、静止画を撮ることが可能なカメラ部ex３６５、カメラ部ex３６５で撮像した映像、アンテナex３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex３５８を備える。携帯電話ex１１４は、さらに、操作キー部ex３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ex３５７、音声を入力するためのマイク等である音声入力部ex３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ex３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ex３６４を備える。

さらに、携帯電話ex１１４の構成例について、図２４Ｂを用いて説明する。携帯電話ex１１４は、表示部ex３５８及び操作キー部ex３６６を備えた本体部の各部を統括的に制御する主制御部ex３６０に対して、電源回路部ex３６１、操作入力制御部ex３６２、映像信号処理部ex３５５、カメラインタフェース部ex３６３、ＬＣＤ（Liquid Crystal Display）制御部ex３５９、変調／復調部ex３５２、多重／分離部ex３５３、音声信号処理部ex３５４、スロット部ex３６４、メモリ部ex３６７がバスex３７０を介して互いに接続されている。

電源回路部ex３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ex１１４を動作可能な状態に起動する。

携帯電話ex１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ex３６０の制御に基づいて、音声通話モード時に音声入力部ex３５６で収音した音声信号を音声信号処理部ex３５４でデジタル音声信号に変換し、これを変調／復調部ex３５２でスペクトラム拡散処理し、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して送信する。

また携帯電話ex１１４は、音声通話モード時にアンテナex３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ex３５２でスペクトラム逆拡散処理し、音声信号処理部ex３５４でアナログ音声信号に変換した後、これを音声出力部ex３５６から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ex３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ex３６２を介して主制御部ex３６０に送出される。主制御部ex３６０は、テキストデータを変調／復調部ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して基地局ex１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ex３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ex３５５は、カメラ部ex３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ex３５３に送出する。また、音声信号処理部ex３５４は、映像、静止画等をカメラ部ex３６５で撮像中に音声信号入力部ex３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ex３５３に送出する。

多重／分離部ex３５３は、映像信号処理部ex３５５から供給された符号化された映像データと音声信号処理部ex３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調回路部ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナex３５０を介して受信された多重化データを復号化するために、多重／分離部ex３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスex３７０を介して符号化された映像データを映像信号処理部ex３５５に供給するとともに、符号化された音声データを音声信号処理部ex３５４に供給する。映像信号処理部ex３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ex３５９を介して表示部ex３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ex３５４は、音声信号を復号し、音声出力部ex３５７から音声が出力される。

また、上記携帯電話ex１１４等の端末は、テレビex３００と同様に、（ｉ）符号化器・復号化器を両方持つ送受信型端末の他に、（ｉｉ）符号化器のみの送信端末、（ｉｉｉ）復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムex２００において、映像データに音楽データ等が多重化された多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データ等が多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１等異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データ等を多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図２５は、多重化データの構成を示す図である。図２５に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラファイックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１等の規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭの等の方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図２６は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームex２３５、複数のオーディオフレームからなるオーディオストリームex２３８を、それぞれＰＥＳパケット列ex２３６およびex２３９に変換し、ＴＳパケットex２３７およびex２４０に変換する。同じくプレゼンテーショングラフィックスストリームex２４１およびインタラクティブグラフィックスex２４４のデータをそれぞれＰＥＳパケット列ex２４２およびex２４５に変換し、さらにＴＳパケットex２４３およびex２４６に変換する。多重化データex２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図２７は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図２７における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図２７の矢印ｙｙ１、ｙｙ２、ｙｙ３、ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ UnitであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図２８は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤ等の情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）等の情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図２８下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕等の各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）等がある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕等の各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報等がある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図２９はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さ等を記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報等が、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデック等を識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比等）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体等に記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図３０に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図３０に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図３１に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるか等の情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるか等の情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化等に利用される。

本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、本実施の形態における動画像復号化方法のステップを図３２に示す。ステップexＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップexＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップexＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１等の規格に準拠するものであることを示している場合には、ステップexＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図３３に１チップ化されたＬＳＩex５００の構成を示す。ＬＳＩex５００は、以下に説明する要素ex５０１、ex５０２、ex５０３、ex５０４、ex５０５、ex５０６、ex５０７、ex５０８、ex５０９を備え、各要素はバスex５１０を介して接続している。電源回路部ex５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩex５００は、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有する制御部ex５０１の制御に基づいて、ＡＶ Ｉ／Ｏex５０９によりマイクex１１７やカメラex１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリex５１１に蓄積される。制御部ex５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分ける等され信号処理部ex５０７に送られ、信号処理部ex５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ex５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化する等の処理を行い、ストリームＩ／Ｏex５０６から外部に出力する。この出力された多重化データは、基地局ex１０７に向けて送信されたり、または記録メディアex２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファex５０８にデータを蓄積するとよい。

なお、上記では、メモリex５１１がＬＳＩex５００の外部の構成として説明したが、ＬＳＩex５００の内部に含まれる構成であってもよい。バッファex５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩex５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ex５１０が、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有するとしているが、制御部ex５１０の構成は、この構成に限らない。例えば、信号処理部ex５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ex５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵex５０２が信号処理部ex５０７、または信号処理部ex５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ex５０１は、信号処理部ex５０７、またはその一部を有するＣＰＵex５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構築可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１等の規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩex５００において、従来の規格に準拠する映像データを復号する際のＣＰＵex５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビex３００、ＬＳＩex５００等の動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図３４は、本実施の形態における構成ex８００を示している。駆動周波数切替え部ex８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ex８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ex８０３は、図３３のＣＰＵex５０２と駆動周波数制御部ex５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１、および、従来の規格に準拠する復号処理部ex８０２は、図３３の信号処理部ex５０７に該当する。ＣＰＵex５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵex５０２からの信号に基づいて、駆動周波数制御部ex５１２は、駆動周波数を設定する。また、ＣＰＵex５０２からの信号に基づいて、信号処理部ex５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、上述した識別情報を利用することが考えられる。識別情報に関しては、上述したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるか等を識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵex５０２における駆動周波数の選択は、例えば、図３６のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファex５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵex５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図３５は、本実施の形態の方法を実施するステップを示している。まず、ステップexＳ２００では、信号処理部ex５０７において、多重化データから識別情報を取得する。次に、ステップexＳ２０１では、ＣＰＵex５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップexＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１等の規格に準拠する映像データであることを示している場合には、ステップexＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１等の規格に準拠する映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵex５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１等の規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵex５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵex５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１等の規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩex５００またはＬＳＩex５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

テレビや、携帯電話等、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩex５００の信号処理部ex５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ex５０７を個別に用いると、ＬＳＩex５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１等の規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図３７Ａのex９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償等の処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ex９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明特有の他の処理内容については、専用の復号処理部ex９０１を用いるという構成が考えられる。特に、本発明は、選択された順序でフィルタ処理を適用すること特徴を有していることから、例えば、フィルタ処理については専用の復号処理部ex９０１を用い、それ以外のエントロピー符号化、逆量子化、空間予測または動き補償予測、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図３７Ｂのex１０００に示す。この例では、本発明に特有の処理内容に対応した専用の復号処理部ex１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ex１００２と、本発明の動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ex１００３とを用いる構成としている。ここで、専用の復号処理部ex１００１、ex１００２は、必ずしも本発明、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩex５００で実装することも可能である。

このように、本発明の動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

上述の例の大部分では、Ｈ．２６４／ＡＶＣに基づいた動画像符号化システムについて、主にＨ．２６４／ＡＶＣ用語に関する用語を用いながら概説した。しかし、Ｈ．２６４／ＡＶＣに基づいた符号化に関する用語と様々な実施の形態は、本発明の動作および目的をこのようなシステムに限定するものではない。詳細な説明におけるＨ．２６４／ＡＶＣ標準に適合した符号化および復号は、典型的な実施の形態をより理解し易くするための記載であり、本発明は、記載された特定の動画像符号化の機能およびプロセスに限定されるものではない。ここで提案された改良は、上述した動画像符号化に容易に適用されても構わない。さらに、本発明の概念は、ＪＶＴによって現在議論されているＨ．２６４／ＡＶＣ符号化の強化に、速やかに用いられても構わない。

まとめると、本発明は、画像信号の符号化および復号のための方法、および、それらを両方の装置で一致させることに関する。特に、画像信号の符号化および／または復号の間に、少なくとも２つのフィルタを用いたフィルタ処理が実行される。フィルタの適用シーケンスおよび利用可能なフィルタが選択される。さらに、フィルタ処理では、選択されたフィルタを、選択されたフィルタ処理順序で適用する。フィルタの適用シーケンスの決定は、エンコーダおよびデコーダの何れにおいても、同じ方法で独立して実行されて構わない。あるいは、エンコーダで決定し、デコーダに信号を送っても構わない。

Claims (2)

1. 画像信号を符号化する際のフィルタ処理において、第一フィルタおよび第二フィルタの少なくとも２つの異なるフィルタを用い、前記画像信号を符号化する符号化方法であって、
   量子化ステップのサイズを決定し、前記量子化ステップのサイズを示す符号化パラメータを生成する生成ステップと、
   前記量子化ステップのサイズが閾値よりも小さい場合には、前記第一フィルタ、前記第二フィルタの順序でフィルタ処理を行うと決定し、前記量子化ステップのサイズが前記閾値よりも大きい場合には、前記第二フィルタ、前記第一フィルタの順序でフィルタ処理を行うと決定する、順序決定ステップと、
   前記画像信号を符号化する際に、決定した前記順序に従って前記第一フィルタおよび前記第二フィルタを適用する適用ステップと、
   を含むことを特徴とする符号化方法。
2. 画像信号を符号化する際のフィルタ処理において、第一フィルタおよび第二フィルタの少なくとも２つの異なるフィルタを用い、前記画像信号を符号化する符号化装置であって、
   量子化ステップのサイズを決定し、前記量子化ステップのサイズを示す符号化パラメータを生成する生成手段と、
   前記量子化ステップのサイズが閾値よりも小さい場合には、前記第一フィルタ、前記第二フィルタの順序でフィルタ処理を行うと決定し、前記量子化ステップのサイズが前記閾値よりも大きい場合には、前記第二フィルタ、前記第一フィルタの順序でフィルタ処理を行うと決定する、順序決定手段と、
   前記画像信号を符号化する際に、決定した前記順序に従って前記第一フィルタおよび前記第二フィルタを適用する適用手段と、
   を含むことを特徴とする符号化装置。

Images