JP6210249B2 - 復号方法および復号装置 - Google Patents

Description

本発明は画像のフィルタリングに関する。特に本発明は、ビデオ画像の画像ブロックに対するデブロッキングフィルタリング、および、ビデオ画像の画像ブロックに対してデブロッキングフィルタリングを有効にするか無効にするかの決定に関する。

現在、標準的な映像符号化アルゴリズムの大半はハイブリッド映像符号化に基づくものである。通常、ハイブリッド映像符号化方法は、所望の圧縮ゲインを達成するために、いくつかの異なる可逆圧縮方式と不可逆圧縮方式とを組み合わせたものである。ハイブリッド映像符号化は、ＩＳＯ／ＩＥＣ標準規格（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４のようなＭＰＥＧ−Ｘ標準規格）と同様に、ＩＴＵ−Ｔ標準規格（Ｈ．２６１やＨ．２６３のようなＨ．２６ｘ標準規格）の基礎でもある。最新の映像符号化標準規格は、Ｈ．２６４／ＭＰＥＧ−４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と称されるものであり、これは、（ＩＴＵ−ＴグループとＩＳＯ／ＩＥＣ ＭＰＥＧグループとのジョイントチームである）ジョイントビデオチーム（ＪＶＴ）による標準化活動の成果である。このコーデックは、ＨＥＶＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）という名称の下で、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）によってさらに開発が進められており、特に高解像度の映像符号化の効率改善を目的としている。

エンコーダへ入力される映像信号は、フレームと呼ばれる画像のシーケンスであり、各フレームは２次元マトリクス状の複数の画素からなる。ハイブリッド映像符号化に基づく上述の標準規格は全て、個々の映像フレームを、複数の画素からなるより小さなブロックに分割することを含む。ブロックのサイズは、例えば、画像の内容によって異なる。符号化方法は、通常、ブロックごとに異なってもよい。例えばＨＥＶＣにおいて、そのようなブロックに許される最大サイズは６４×６４画素である。この最大サイズは最大符号化単位（ＬＣＵ）と称される。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおいてマクロブロック（通常は１６×１６画素のブロックを指す）は、符号化が実行され、さらに何らかの符号化／復号ステップが適用されるより小さなサブブロックに分割される可能性がある基本の画像要素である。

典型的には、ハイブリッド映像符号化における符号化ステップには、空間的および／または時間的予測が含まれる。したがって、各符号化対象ブロックは、まず、空間的に隣接したブロックまたは時間的に隣接したブロック、つまり符号化済み映像フレームのブロックを用いて予測される。予測残差ブロックとも呼ばれる、符号化対象ブロックと予測との差分ブロックが、次に算出される。次の符号化ステップでは、残差ブロックが空間（画素）ドメインから周波数ドメインへ変換される。変換の目的は、入力ブロックの相関性を弱めることである。次の符号化ステップにおいて、変換係数が量子化される。このステップにおいて、実質的にロスが生じる（不可逆的な）圧縮が行われる。通常、圧縮変換係数値は、エントロピー符号化によって（可逆的に）さらに圧縮される。さらに、符号化映像信号を再構築するために必要な補助情報が符号化され、符号化映像信号とともに提供される。この情報は、例えば、空間的および／または時間的予測や量子化量等に関するものである。

図１は、典型的なＨ．２６４／ＭＰＥＧ−４ ＡＶＣおよび／またはＨＥＶＣ映像エンコーダなどの、最新の映像エンコーダ１００の一例を示す。減算器１０５がまず、入力映像（入力信号ｓ）の符号化対象ブロックと、対応する予測ブロック
との差分を求める。その差分は、符号化対象ブロックの予測に用いられる。当該予測信号は、時間的予測または空間的予測１８０によって得られる。予測のタイプは、フレームごとまたはブロックごとに異なる可能性がある。時間的予測を用いて予測されたブロックおよび／またはフレームは「インター」符号化されたと称され、空間的予測を用いて予測されたブロックおよび／またはフレームは、「イントラ」符号化されたと称される。時間的予測を用いる予測信号は、メモリに格納されている、符号化済みの画像から導出する。空間的予測を用いる予測信号は、既に符号化・復号済みの、メモリに格納された隣接ブロックの境界画素値から導出される。入力信号と予測信号との差ｅは、予測誤差または残差と呼ばれ、変換されて（１１０）係数となり、量子化される（１２０）。格納するデータ量をさらに削減し、かつ／または可逆的に送信するために、量子化係数にエントロピー符号化（１９０）を適用する。これは主に、可変長の符号語を有する符号を適用することによって達成される。この符号語の長さは、発生確率に基づいて選択される。

復号（再構築）映像信号ｓ’を得るため、映像エンコーダ１００に復号部を組み入れる。上記符号化ステップに合わせて、復号ステップは、逆量子化および逆変換（１３０）を含む。そのようにして得た予測誤差信号ｅ’は、量子化ノイズとも称される量子化誤差が原因で、元の予測誤差信号とは異なる。その後、復号予測誤差信号ｅ’を予測信号
に加える（１４０）ことで、再構築信号ｓ’を得る。エンコーダ側とデコーダ側の互換性を保つため、エンコーダ側とデコーダ側の両方で得られる、符号化され続いて復号された映像信号に基づいて、予測信号
を得る。

量子化の結果、再構築映像信号に量子化ノイズが重畳される。ブロック単位での符号化のため、重畳されたノイズはブロッキング特性を有することが多く、特に強い量子化が行われた場合は、復号画像のブロック境界が目立つことになる。ブロッキングアーチファクトは、人間の視覚認識上マイナス効果を及ぼす。これらのアーチファクトを減らすため、デブロッキングフィルタ１５０を全ての再構築画像ブロックに適用する。デブロッキングフィルタは、再構築信号ｓ’に適用される。デブロッキングフィルタは、概して、ブロックのエッジを平滑化し復号画像の主観的画質を改善する。さらに、画像内のフィルタリング済みの部分が次の画像の動き補償予測に用いられるため、フィルタリングによって予測誤差も減少し、符号化効率を改善することができる。

デブロッキングフィルタ後、画素単位の信頼性（「客観的」品質）を改善するため、デブロッキング済み信号ｓ’’を含む画像に適応ループフィルタ１６０を適用してもよい。適応ループフィルタ（ＡＬＦ）は、圧縮によって生じる画像の歪みを補償するために用いられる。通常、適応ループフィルタは、再構築画像ｓ’とソース画像ｓとの平均二乗誤差（ＭＳＥ）が最小化されるように決定されたフィルタ係数を有する、図１に示すようなウィーナフィルタである。ＡＬＦの係数を、フレーム単位で算出し送信してもよい。ＡＬＦはフレーム全体（映像シーケンスの画像）または局所領域（ブロック）に適用できる。フィルタリングする領域を示す追加的補助情報を、（ブロック単位、フレーム単位、または四分木単位で）送信してもよい。

インター符号化ブロックを復号するには、符号化および復号済みの画像の一部も参照フレームバッファ（不図示）に格納する必要がある。インター符号化ブロックは、動き補償予測を用いることにより予測される（１８０）。まず、動き検出器により、符号化および復号済み映像フレーム内で対象ブロックに最も適合するブロックを見つける。この最適ブロックは予測信号となり、対象ブロックと最適ブロック間の相対的なずれ（動き）が、３次元の動きベクトルの形で動きデータとして信号で伝えられる。この動きデータは、符号化映像データとともに提供される補助情報内に含められる。３次元は、２つの空間的な次元と１つの空間的な次元とからなる。予測精度を最適化するため、１／２画素解像度や１／４画素解像度などの空間的サブピクセル解像度で動きベクトルを求めてもよい。空間的サブピクセル解像度の動きベクトルは、復号済みフレーム内の、実存する画素値がない空間的位置、つまりサブピクセル位置を指してもよい。よって、動き補償予測を行うために、そのような画素値の空間的補間が必要である。これは、補間フィルタ（図１では予測ブロック１８０と統合されている）によって達成されてもよい。

イントラ符号化およびインター符号化モードの両方において、対象入力信号と予測信号との差分ｅが変換（１１０）および量子化（１２０）され、量子化係数となる。一般的に、２次元離散コサイン変換（ＤＣＴ）またはその整数バージョンなどの直交変換が使用される。なぜなら、これにより自然映像の相関が効率的に低下するからである。変換後、高周波成分よりも低周波成分の符号化により多くのビットが費やされる。これは通常、高周波成分よりも低周波成分が画質にとって重要であるからである。エントロピーコーダにおいて、２次元配列の量子化係数が１次元配列に変換される。典型的には、いわゆるジグザグスキャンによって変換される。ジグザグスキャンでは、２次元配列の左上隅にあるＤＣ係数から右下隅にあるＡＣ係数まで所定の順序で走査される。エネルギーは一般的に低周波に相当する２次元配列の係数の左上部分に集中するため、ジグザグスキャンを行うと、通常、最後の値がゼロとなる配列になる。これにより、実際のエントロピー符号化の一部として、またはその前処理として、ランレングス符号を用いる効率的な符号化が可能になる。

図２は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣまたはＨＥＶＣ映像符号化規格に準拠した最新のデコーダ２００を示す。符号化映像信号（デコーダへの入力信号）は、まず、動きデータや予測モード等といった、量子化係数と、復号に必要な情報要素とを復号するエントロピーデコーダ９９０に送られる。量子化係数は、２次元配列を得る目的で逆走査され、その後、逆量子化・逆変換部２３０に入力される。逆量子化および逆変換（２３０）後、復号（量子化）予測誤差信号ｅ’が得られる。量子化ノイズが生じず、誤差が生じなかった場合には、復号（量子化）予測誤差信号ｅ’は、エンコーダに入力された信号から予測信号を減算して得た差分に相当する。

予測信号は、時間的または空間的予測（２８０）の何れかによって得られる。通常、復号された情報はさらに、イントラ予測の場合には予測タイプ、動き補償予測の場合には動きデータなどの予測に必要な情報を含む。空間ドメインにおける量子化予測誤差信号は、その後、加算器２４０により、動き補償予測またはフレーム内予測（２８０）の何れかから取得した予測信号に加算される。再構築画像ｓ’は、デブロッキングフィルタ２５０、サンプル適応オフセット処理部、および、適応ループフィルタ２６０を介して送られてもよく、その結果得られる復号信号は、メモリ２７０に格納され、後続ブロック／画像の時間的または空間的予測に使用される。

画像を圧縮および解凍する際、ブロッキングアーチファクトは通常、ユーザにとって最も不快なものである。再構築画像のブロック間のエッジを平滑化することで、デブロッキングフィルタリングは、ユーザの知覚体験を改善する。デブロッキングフィルタリングの難点の１つは、量子化器の適用が原因でブロッキングにより生じるエッジと、および、符号化信号の一部であるエッジとを正確に判別することである。圧縮アーチファクトが原因でブロック境界にエッジが生じる場合のみ、デブロッキングフィルタが適用されることが望ましい。他の場合、デブロッキングフィルタの適用により、再構築信号が歪む可能性がある。別の難点は、デブロッキングフィルタリング用に適切なフィルタを選択することである。通常、異なる周波数応答を有する複数のローパスフィルタにおいて決定がなされ、強いまたは弱いローパスフィルタリングが行われる。デブロッキングフィルタリングを適用するかどうかを決定するため、また、適切なフィルタを選択するために、２つのブロックの境界付近に存在する画像データが考慮される。

まとめると、例えば図１のような最新のハイブリッド映像コーダは、ブロック単位の予測およびブロック単位の予測誤差符号化を行う。予測誤差符号化は量子化ステップを含む。このブロック単位の処理により、特に粗量子化の場合、いわゆるブロッキングアーチファクトが生じる。ブロッキングアーチファクトは、ブロックのエッジにおける大きな信号変化と関係する。これらのブロッキングアーチファクトは、見る人にとって非常に不快なものである。これらのブロッキングアーチファクトを減らすため、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ映像符号化標準規格、または、ＨＥＶＣ映像符号化の標準化の取り組みにおける試験モデルであるＨＭにおいて、デブロッキングフィルタリングが適用される。デブロッキングフィルタは、ブロック境界におけるサンプルごとにフィルタリングするかどうかを決定し、フィルタリングすることを決定した場合にはローパスフィルタを適用する。この決定の目的は、ブロック単位の処理に適用される量子化の結果としてブロック境界において大きな信号変化が起こるサンプルにのみ、フィルタリングを行うことである。このフィルタリングにより、ブロック境界の平滑化信号が得られる。平滑化信号は、ブロッキングアーチファクトを抑制または削減する。ブロック境界の大きな信号変化が符号化対象の原信号に属するサンプルは、高周波およびそれによる視覚的鮮明さを維持するため、フィルタリングされるべきではない。間違った決定がなされた場合、画像は不必要に平滑化されるか、ブロッキングアーチファクトが残ったままになる。

上記から、隣接画像ブロック間のブロック境界においてデブロッキングフィルタリングを適用する必要があるか否かについて、正確に判断することが望ましい。Ｈ．２６４／ＭＰＥＧ-４ ＡＶＣ標準規格では、ブロック境界における各画素ラインつまり画素行また
は画素列の、境界付近の画素に対して、ブロックごとにデブロッキングフィルタリングの決定処理を行う。一般的に、Ｈ．２６４／ＭＰＥＧ-４ ＡＶＣ標準規格でデブロッキン
グフィルタリング処理が行われる画像ブロックのブロックサイズは、８×８画素ブロックである。なお、例えば、予測は４×４ブロックをサポートするため、他の目的で用いる最小ブロックサイズは異なってもよい。

図３は、Ｈ．２６４／ＭＰＥＧ-４ ＡＶＣの画素行ごとの垂直境界／エッジの水平フ
ィルタリングに関する決定を示す。図３は、４つの８×８画素画像ブロックである、処理済みブロック３１０、３２０、３４０、および対象ブロック３３０を示す。処理済みブロック３４０および対象ブロック３３０間の垂直境界において、デブロッキングフィルタリングを適用するか否かを決定する。画素行ごとの決定は、垂直境界に対して垂直な画素行の画素値に基づく。特に、フィルタリングに関する決定は、各画素行のマーク領域の画素値、例えば、５行目の画素行のマーク領域３５０の画素値に基づく。

同様に、図４に示すように、水平境界／エッジの垂直フィルタリングに関する決定は、画素列ごとに行う。例えば、対象ブロック４３０の５列目では、処理済みブロック４２０との境界に近い当該列の画素をフィルタリングするか否かの決定を、破線で示す長方形４５０で囲まれた画素に基づき行う。

境界における、各画素列または各画素行の各サンプルに対する決定処理は、図５に示される隣接ブロックの画素値を用いて行う。図５のブロックｐは、１ライン（行または列）の画素値ｐ０、ｐ１およびｐ２を有する、図３または図４に示されるような処理済みブロック３４０または４２０を示す。ブロックｑは、同一ラインの画素値ｑ０、ｑ１およびｑ２を有する、図３および図４に示されるような対象ブロック３３０または４３０を示す。画素ｑ０は、ブロックｑにおいて、ライン内で境界に最も近い画素である。画素ｑ１は、ｑにおいて、同じライン内で境界に２番目に近い画素である。特に、同一の画素ラインに属する画素値ｐ０およびｑ０は、以下の条件が満たされる場合に、フィルタリングされる。

および

ここで、ＱＰは、量子化パラメータである。Ｏｆｆｓｅｔ_ＡおよびＯｆｆｓｅｔｔ_Ｂは、スライスレベルのオフセットである。βは、αよりも小さな値が選択される。さらに、以下の条件も満たされる場合、当該ラインの画素ｐ１がフィルタリングされる。

さらに、以下の条件も満たされる場合、画素値ｑ１に対応する画素行または画素列の画素が、フィルタリングされる。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣによると、画素ラインごと（水平および垂直デブロッキングフィルタリングを行う行または列）に、上記の決定動作が行われる。画素ラインごとにフィルタリングのオン・オフを切り替えることができ、これが、デブロッキングの決定の際の精度の高さにつながる。しかしながら、この手法は大きな計算量を要する。

上記のＨ．２６４／ＭＰＧ−４ ＡＶＣ標準規格における、少ない計算量でのデブロッキングフィルタリングの適用に関する決定プロセスは、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ １（ＨＭデブロッキングフィルタ、ＪＣＴＶＣ−Ｃ４０３）」で提案されている。同文献は、ｈｔｔｐ：／／ｗｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｃｔｖｃ−ｓｉｔｅ／２０１０＿１０＿Ｃ＿Ｇｕａｎｇｚｈｏｕ／から無料で入手でき、本明細書で引用する。ここで、ブロック内の画素ラインの情報のみに基づき、２つの隣接画像ブロック間のブロック境界全体に対して、デブロッキングフィルタリングのオン・オフに関する１つの決定が適用される。ここでも、デブロッキングフィルタリング処理が行われる画像ブロックのブロックサイズは、８×８画素ブロックである。

垂直エッジ／境界の水平フィルタリングに関する決定については、ＪＣＴＶＣ−Ｃ４０３に従い、図６、８および９を用いて以下で説明する。図６は、４つの８×８画素画像ブロックである、処理済みブロック６１０、６２０、６４０、および対象ブロック６３０を示す。処理済みブロック６４０および対象ブロック６３０間の垂直境界に対して、デブロッキングフィルタリングを適用するか否か決定する。垂直境界は、８ライン（行）に対応する境界セグメント６６０上にある。デブロッキングフィルタリングの決定は、垂直境界に対して垂直に位置する３行目および６行目の画素行に基づく。特に、フィルタリングに関する決定は、３行目および６行目の画素行で構成されるマーク領域６５０における画素値に基づく。したがって、８行から成るセグメント６６０に対応する境界全体に対するフィルタリングの決定は、ブロックの８行の画素行のうち２行から成るサブセットのみに基づくことになる。

同様に、図７を参照すると、ＪＣＴＶＣ−Ｃ４０３に基づく、水平エッジ／境界の垂直フィルタリングに関する決定は、水平境界を構成する８列から成るセグメント７５０のうち２列の画素列７６０の画素値に基づく。

図８は、図６の処理済みブロック６４０および対象ブロック６３０の一部分に対応する画素値の行列を示す。行列における画素値は、ｐ_ｉ，ｊおよびｑ_ｉ，ｊで示される。ｉは、ブロック間の境界に対して垂直方向に変化するインデックスである。ｊは、ブロック間の境界に沿って変化するインデックスである。図８のインデックスｉは、フィルタリングされる行内の画素位置に対応する０から３の間でのみ変化する。画素位置は、決定および／またはフィルタリングに用いられる。処理済みブロックおよび対象ブロックの残りの画素位置は、図示していない。図８のインデックスｊは、垂直境界がフィルタリングされるブロック内の８行の画素行に対応する０から７の範囲で変化する。３行目および６行目の画素行に対応するｊ＝２およびｊ＝５の２行の画素行８２０は、ブロック境界全体のフィルタリングに関する決定（オン・オフの決定）の基準として用いられ、破線で示される。境界全体に対応する８行の画素行から成るセグメントがフィルタリングされるかどうかを決定するため、以下の条件について評価する。

βは、閾値である。この条件が満たされる場合、境界の全８行に対してフィルタリングを行うことが決定される。

図９は、この決定プロセスのさらなる詳細を示す。上記式を、ｊ＝２の画素行の画素値のみを含む項ｄ_１，ｖ、および、ｊ＝５の画素行の画素値のみを含む項ｄ_２，ｖ に分ける場合、フィルタリングに関する決定は、以下のように書き直すことができる。

ここで、
および

したがって、２つの値ｄ_１，ｖおよびｄ_２，ｖを用いて、閾値処理により、垂直境界全体がフィルタリングされるか否かを決定する。ここで、インデックスｖは、垂直境界に関する決定を評価することを示すために用いられる。

図８は、２つの隣接ブロックＡおよびＢの境界部分を形成する画素値の行列を示す。なお、この境界は水平境界であってもよく、その場合、ブロックＡはブロックＢの上に位置する近隣の処理済みブロックとなり、ブロックＢは対象ブロックとなる。この配置は、図７の処理済みブロック７２０および対象ブロック７３０の一部分に対応する。行列における画素値は、ｐ_ｉ，ｊおよびｑ_ｉ，ｊである。ｉは、ブロック間の境界に対して垂直方向に変化するインデックスである。本例の０から３のインデックスｉは、図示したブロックＡおよびＢの一部のみに対応する。インデックスｊは、ブロックＡおよびＢの境界に沿って変化する。０から７のインデックスｊは、デブロッキングフィルタリングの処理対象の行数（第３のケース列）に対応する。このような場合、「処理」または「デブロッキング処理」は、デブロッキングフィルタリングが適用されるか否かの決定、および／または、フィルタタイプの選択を含む。ここで、このフィルタタイプは、ブロック内の特定のラインに属する境界周辺の画素をフィルタリングするためのフィルタが、弱フィルタであること、強フィルタであること、またはそのようなフィルタがないことを示す。境界のフィルタリング強度の導出プロセスについては、例えば、上記の「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ １」のセクション８．１．６に記載されている。特に、ブロックをフィルタリングすることが決定されると、強フィルタを適用するか弱フィルタを適用するかを決定するため、ラインごとに個別の決定がなされる。弱フィルタを適用することが決定されると、ライン全体に適用するかどうか分析する。この意味では、当該画素ラインに属する境界周辺の画素には、弱フィルタよりも強フィルタが適用される。一般的に、強フィルタは、弱フィルタよりも狭い通過帯域を有する。

３列目および６列目の画素列に対応するｊ＝２およびｊ＝５の２列の画素列８２０は、フィルタリングに関する決定の基準に用いられ、破線で示される。以下の場合、水平境界がフィルタリングされる。

ここで、βは閾値である。上記の決定が満たされる場合、境界全体に対応する水平境界の全８列にフィルタリングが適用される。図１０は、この決定プロセスのさらなる詳細を示す。上記式を、ｊ＝２の画素列の画素値のみを含む項ｄ_１，ｈ、および、ｊ＝５の画素列の画素値のみを含む項ｄ_２，ｈに分ける場合、フィルタリングに関する決定は、以下のように書き直すことができる。

ここで、
および

したがって、２つの値ｄ_１，ｈおよびｄ_２，ｈを用いて、閾値処理により、水平境界全体がフィルタリングされるか否かを決定する。ここで、インデックスｈは、水平境界に関する決定を評価することを示すために用いられる。

まとめると、ＪＶＣＴ−Ｄ４０３に従い、その境界に対して垂直な２行の画素行のみまたは２列の画素列のみに基づき、境界全体に対するフィルタリングのオン・オフを切り替えることができる。８行／列から成る各セグメントの２つ位置のみに対して、決定プロセスが行われる。ブロック全体に対応する８行／列のセグメントごとに、フィルタリングのオン・オフを切り替えることができる。これは、計算量がより低くなるが、決定の精度もより低くなることを意味する。

ＪＣＴＶＣ−Ｄ２６３の「Ｐａｒａｌｌｅｌ ｄｅｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ」（２０１１年１月、テグ）は、ｈｔｔｐ：／／ｗｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｃｔｖｃ−ｓｉｔｅ／２０１１＿０１＿Ｄ＿Ｄａｅｇｕ／から無料で入手でき、本明細書で引用する。ブロックのデブロッキングフィルタリングに関する決定処理は、ＪＣＴＶＣ−Ｃ４０３と同様に行われる。つまり、デブロッキンフィルタリングのオン・オフに関する１つの決定は、垂直にまたは水平に隣接する２つの画像ブロックの、２行の画素行または２列の画素列それぞれの画素値のみに基づき、ブロック境界全体に適用される。しかしながら、２つの手法の違いは、境界をフィルタリングするか否かを決定する基準として用いる画素行または画素列は、ブロック内の異なる位置にあるということである。

ＪＣＴＶＣ−Ｄ２６３に基づく、垂直境界／エッジの水平フィルタリングに関する決定については、図１１および１３を用いて以下で簡潔に説明する。図１１において、フィルタリングを行うか否かの決定の基準として用いられる画素行は、処理済みブロック１１４０および対象ブロック１１３０の境界における、４行目および５行目１１５０である。垂直境界全体が、８行から成るセグメント１１６０に対応する。

図１３は、共通境界付近のブロックＡおよびＢの一部を構成する画素値の行列を示す。ブロックＡおよびＢは、図１１の処理済みブロック１１４０および対象ブロック１１３０にそれぞれ対応する。行列における画素値は、ｐｉ，ｊおよびｑｉ，ｊで示される。ｉは、ブロック間の境界に対して垂直方向に変化する、０から３の範囲のインデックスである。ｊは、ブロック間の境界に沿って変化する、０から７の範囲のインデックスである。４行目および５行目の画素行に対応するｊ＝３およびｊ＝４の２行の画素行１３２０は、フィルタリングに関する決定の基準に用いられ、破線で示される。対象ブロックの境界付近の画素をフィルタリングするか否かを判断するため、以下の条件について評価する。

ここで、βは閾値である。上記の決定が満たされると、８行から成るセグメントに対応する境界の全行に対して、フィルタリングおよび／またはさらなる決定がなされる。上記式を、ｊ＝３の画素行の画素値のみを含む項ｄ１，ｖ、および、ｊ＝４の画素行の画素値のみを含む項ｄ_２，ｖに分ける場合、フィルタリングに関する決定は、以下のように書き直すことができる。

ここで、
および

したがって、２つの値ｄ_１，ｖおよびｄ_２，ｖを用いて、閾値処理により、対応セグメントの８行全てをフィルタリングするか否かを決定する。ここで、インデックスｖは、垂直境界に関する決定を評価することを示すために用いられる。

同様に、図１２に示されるように、ＪＣＴＶＣ−Ｄ２６３による、対象ブロック１２３０および処理済みブロック１２２０間の水平エッジ／境界の垂直フィルタリングを行う決定は、ブロック１２３０および１２２０間の水平境界を構成する８列の画素から成るセグメント１２５０のうち、２列１２６０のみの画素値に基づく。

図１３は、図１２の処理済みブロック１２２０および対象ブロック１２３０の一部に対応するとみなしてもよい。行列における画素値は、ｐ_ｉ，ｊおよびｑ_ｉ，ｊ，で示される。ｉは、ブロック間の境界に対して垂直方向に変化する、０から３の範囲のインデックスである。ｊは、ブロック間の境界に沿って変化する、０から７の範囲のインデックスである。４列目および５列目の画素列に対応するｊ＝３およびｊ＝４の２列の画素列１３２０は、フィルタリングに関する決定の基準に用いられ、破線で示される。よって、以下の場合、水平境界がフィルタリングされる。

βは閾値である。上記の条件が満たされる場合、８列で構成される１セグメントに対応する境界の全列にフィルタリングが適用される。上記式を、ｊ＝３の画素列の画素値のみを含む項ｄ１，ｈ、および、ｊ＝４の画素列の画素値のみを含む項ｄ２，ｈに分ける場合、フィルタリングに関する決定は、以下のように書き直すことができる。

ここで、
および

したがって、２つの値ｄ_１，ｈおよびｄ_２，ｈを用いて、閾値処理により、セグメント１３１０の８列全てをフィルタリングするか否かを決定する。ここで、インデックスｈは、水平境界に関する決定を評価することを示すために用いられる。

まとめると、ＪＶＣＴ−Ｄ４０３と同様にＪＶＣＴ−Ｄ２６３によると、このセグメントの画素行２行または画素列２列のみに基づき、境界セグメント全体に対してフィルタリングのオン・オフを切り替えることができる。８ライン（行または列）の各セグメントの２つの位置のみに対して、決定プロセスが行われる。このように、８行／列の各セグメントに対して、フィルタリングのオン・オフを切り替えることができる。これは、計算量の低さだけでなく、決定の精度の低さにも関わる。ＪＣＴＶＣ−Ｄ２６３がＪＣＴＶＣ−Ｃ４０３に勝る利点は、他のサンプルを使用することで、より高度な並行処理が可能になることである。しかしながら、ＪＣＴＶＣ−Ｃ４０３およびＪＣＴＶＣ−Ｄ２６３の両方の手法では、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣよりも精度の低い決定がなされる。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣでは、図２〜５に示されるような決定がなされる。ブロック境界の各画素位置において、ブロック境界に隣接するサンプルを用いて、個別の値を算出する。これらの個別の値に基づき、ブロック境界の各位置（ブロック境界に垂直な各ラインに対する各位置）において、個別の決定処理が行われる。これは、高精度な決定がなされる一方で、計算量が大きいことを意味する。ＪＣＴＶＣ−Ｃ４０３では、図６および図７に示すように、ブロックエッジにおける画素は、（デブロッキングフィルタリングに用いられる最小ブロックサイズに対応する）８行／列のセグメントを構成する。８行／列のセグメントごとに、一部の位置に対してのみ値を算出する。上記の例では、８つ全ての位置ではなく２つの位置のみに対して、値を算出する。これらの値に基づき、セグメントの８行／列全てをフィルタリングするか否かの１つの決定を行う。算出される値がより少ないので、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと比較すると計算量は減る。項値は、上述したようなｄ_１，ｖおよびｄ_２，ｖ、または、ｄ_１，ｈおよびｄ_２，ｈなど、ラインの境界付近の画素の値に基づく評価値である。また、値の算出において、メモリにより評価するサンプルが少なくて済むため、メモリ帯域幅は縮小する。しかしながら、この決定の精度も、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおける決定の精度に比べ低い。ＪＣＴＶＣ−Ｄ２６３では、値の算出および決定処理はＪＣＴＶＣ−Ｃ４０３と同様に行われる。８行／列のセグメントの他の位置におけるサンプルが値の算出に用いられるという点が異なる。これらの他のサンプルを使用することで、より高度な並行処理が可能になる。計算量およびメモリ帯域幅はＪＣＴＶＣ−Ｃ４０３と同じである。しかしながら、決定の精度はさらに下がる。図１１〜１３で詳細を説明する。このように、周知の手法は、大きな計算量と高いメモリ帯域幅、または、低い決定の精度となる。決定の精度の低さが、符号化効率の低さにつながる可能性がある。大きな計算量および高いメモリ帯域幅の何れによっても、実施費用が高額になる可能性がある。

既存のデブロッキングフィルタリングの手法における上記の問題に鑑み、本発明は、精度がより高く計算量がより低い、より効率的なデブロッキングフィルタリングが可能な復号方法および復号装置を提供することを目的とする。

ブロック内の画素ラインのサブセットを構成する画素に基づき、境界のセグメントごとに個別に判断することにより、ブロックにおける境界のセグメントに対してデブロッキングフィルタを適用するか否かを判断することが、本発明の具体的な手法である。

本発明の一態様によると、符号化画像を復号する復号方法であって、前記符号化画像を再構築し、再構築画像を取得するステップと、前記再構築画像を構成する複数の最小ブロックごとにデブロッキング処理を行うステップとを含み、前記デブロッキング処理は、前記複数の最小ブロックの境界を処理対象とし、各ブロックが前記ブロックの左右に位置する隣接ブロックのいずれかとの第１の境界に垂直な複数の画素ラインで構成され、前記ブロックの画素ラインのサブセットを構成する複数の画素に基づいて、前記第１の境界の複数のセグメントの各々に対して判断を行うことにより、前記第１の境界のセグメントに対しデブロッキングフィルタを適用するか否かを判断するステップと、個々の判断の結果に応じて、前記第１の境界の前記セグメントに対しデブロッキングフィルタを適用する、または、適用しないステップとを含み、前記サブセットは、前記ブロックの複数の画素ラインのうち、前記ブロックの上下に位置する隣接ブロックのいずれかとの第２の境界に隣接する画素ラインを含む。

本発明の別の一態様によると、符号化画像を復号する復号装置であって、前記符号化画像を再構築し、再構築画像を取得する手段と、前記再構築画像を構成する複数の最小ブロックごとにデブロッキング処理を行う手段とを含み、前記デブロッキング処理は、前記複数の最小ブロックの境界を処理対象とし、各ブロックが前記ブロックの左右に位置する隣接ブロックのいずれかとの第１の境界に垂直な複数の画素ラインで構成され、前記ブロックの画素ラインのサブセットを構成する複数の画素に基づいて、前記第１の境界の複数のセグメントの各々に対して判断を行うことにより、前記第１の境界のセグメントに対しデブロッキングフィルタを適用するか否かを判断する手段と、個々の判断の結果に応じて、前記第１の境界の前記セグメントに対しデブロッキングフィルタを適用する、または、適用しない手段とを含み、前記サブセットは、前記ブロックの複数の画素ラインのうち、前記ブロックの上下に位置する隣接ブロックのいずれかとの第２の境界に隣接する画素ラインを含む。

添付の図面を用いて説明する以下の内容および好適な実施形態から、本発明の上記およびその他の目的と特徴はより明確になる。
図１は、最新のハイブリッドコーダの例を示すブロック図である。 図２は、最新のハイブリッドデコーダの例を示すブロック図である。 図３は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの、垂直エッジの水平デブロッキングフィルタリングに関する決定を示す概略図である。 図４は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの、水平エッジの垂直デブロッキングフィルタリングに関する決定を示す概略図である。 図５は、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣに基づきフィルタリングを行うか否かに関する、ブロック境界のサンプルごとの決定プロセスを示す概略図である。 図６は、垂直エッジに水平フィルタリングを行うため、ＪＣＴＶＣ−Ｃ４０３に基づきフィルタリングを行うか否かに関する、ブロック境界のサンプルごとの決定プロセスを示す概略図である。 図７は、水平エッジに垂直フィルタリングを行うため、ＪＣＴＶＣ−Ｃ４０３に基づきフィルタリングを行うか否かに関する、ブロック境界のサンプルごとの決定プロセスを示す概略図である。 図８は、ＪＣＴＶＣ−Ｃ４０３に基づきフィルタリングを行うか否かに関する、８行／列のセグメントごとの決定プロセスを示す概略図である。 図９は、垂直エッジに水平フィルタリングを行うため、ＪＣＴＶＣ−Ｃ４０３に基づきフィルタリングを行うか否かに関する、ブロック境界のサンプルごとの決定プロセスを示す概略図である。 図１０は、図７に示すような水平エッジに垂直フィルタリングを行うため、ＪＣＴＶＣ−Ｃ４０３に基づきフィルタリングを行うか否かに関する、ブロック境界のサンプルごとの決定プロセスを示す概略図である。 図１１は、垂直境界に水平フィルタリングを行うため、ＪＣＴＶＣ−Ｄ２６３に基づくフィルタリングを行うか否かに関する、ブロック境界のサンプルごとの決定プロセスを示す概略図である。 図１２は、水平境界に垂直フィルタリングを行うため、ＪＣＴＶＣ−Ｄ２６３に基づくフィルタリングを行うか否かに関する、ブロック境界のサンプルごとの決定プロセスを示す概略図である。 図１３は、ＪＣＴＶＣ−Ｄ２６３に基づきフィルタリングを行うか否かに関する、８行／列のセグメントごとの決定プロセスを示す概略図である。 図１４は、本発明の一実施形態に係る、垂直境界の水平フィルタリングに関する決定プロセスを示す概略図である。 図１５は、本発明の一実施形態に係る、水平境界の垂直フィルタリングに関する決定を示す概略図である。 図１６は、本発明の一実施形態に係る、垂直境界の水平フィルタリングに関する決定プロセスを示す概略図である。 図１７は、本発明の一実施形態に係る、水平境界の垂直フィルタリングに関する決定を示す概略図である。 図１８は、本発明の一実施形態に係る、垂直境界の水平フィルタリングに関する決定を示す概略図である。 図１９は、本発明の一実施形態に係る、水平境界の垂直フィルタリングに関する決定を示す概略図である。 図２０は、本発明の一実施形態に係る決定プロセスを示す概略図である。 図２１は、本発明の一実施形態に係る決定プロセスを示す概略図である。 図２２は、本発明の一実施形態に係る決定プロセスを示す概略図である。 図２３は、ＨＭ ２．０のハイブリッドビデオエンコーダの一般的なブロック図である。 図２４は、例示のテストシーケンスＫｉｍｏｎｏの領域に対しデブロッキングフィルタを適用する前後の信号を示す図である。 図２５は、１６×１６サイズのサンプルである例示の符号化単位（ＣＵ）の垂直エッジおよび水平エッジを示す概略図である。 図２６は、デブロッキング対象の垂直エッジの一部の表示法を示す。 図２７は、ＨＭ２．０に基づきフィルタリングを行うか否かを決定するために用いるサンプルを示す図である。 図２８は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと同様にフィルタリングを行うか否かを決定するために用いるサンプルを示す図である。 図２９は、本発明の一実施形態に基づきフィルタリングを行うか否かを決定するために用いるサンプルを示す図である。 図３０は、参照例のＨＭ２．０と比べた際の、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと同様の決定のＢＤビットレートおよび実行時間の割合を示す図である。 図３１は、参照例のＨＭ２．０と比べた際の、ＨＭ２．０とＨ．２６４／ＭＰＥＧ−４ ＡＶＣとの妥協による決定のＢＤビットレートおよび実行時間の割合を示す図である。 図３２は、表に示される結果を用いて、参照例と比較した場合の、本発明の一実施形態の手法の主観的品質を示す図である。 図３３は、参照例のＨＭ２．０のケースにおいて、テストシーケンスＶｉｄｙｏ３のデブロッキング済みフレームの抽出部分を示す図である。テストケース：低遅延、高効率、ＱＰ３７。 図３４は、提案例のケースにおいて、テストシーケンスＶｉｄｙｏ３のデブロッキング済みフレームの抽出部分を示す図である。テストケース：低遅延、高効率、ＱＰ３７。 図３５は、参照例のＨＭ２．０のケースにおいて、テストシーケンスＶｉｄｙｏ３のデブロッキング済みフレームの抽出部分を示す図である。テストケース：低遅延、高効率、ＱＰ３７。 図３６は、提案例のケースにおいて、テストシーケンスＶｉｄｙｏ３のデブロッキング済みフレームの抽出部分を示す図である。テストケース：低遅延、高効率、ＱＰ３７。 図３７は、参照例ＨＭ２．０と比較した場合に、エッジセグメントごとに必要とされる追加の処理数に対して、全てのテストケースおよびテストシーケンスにわたって平均化されたＢＤビットレートの低減量を示す図である。 図３８は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図３９は、デジタル放送用システムの全体構成図である。 図４０は、テレビの構成例を示すブロック図である。 図４１は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図４２は、光ディスクである記録メディアの構成例を示す概略図である。 図４３Ａは、携帯電話の一例を示す概略図である。 図４３Ｂは、携帯電話の構成例を示すブロック図である。 図４４は、多重化データの構成を示す概略図である。 図４５は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図４６は、ビデオストリームがどのようにＰＥＳパケットストリームに格納されるかを示した図である。 図４７は、多重化データにおけるＴＳパケットおよびソースパケットの構造を示す概略図である。 図４８は、ＰＭＴのデータ構成を示す概略図である。 図４９は、多重化データ情報の内部構成を示す概略図である。 図５０は、ストリーム属性情報の内部構成を示す概略図である。 図５１は、映像データを識別するステップを示す概略図である。 図５２は、各実施の形態に係る動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示す概略ブロック図である。 図５３は、駆動周波数を切り替える構成を示す概略図である。 図５４は、映像データを識別し、駆動周波数を切り替えるステップを示す概略図である。 図５５は、映像データの規格と駆動周波数を対応付けたルックアップテーブルの一例を示す概略図である。 図５６Ａは、信号処理部のモジュールを共有化する構成の一例を示す概略図である。 図５６Ｂは、信号処理部のモジュールを共有化する構成の別の一例を示す概略図である。

本発明の課題は、デブロッキングフィルタリングに現在用いられている手法が、フィルタリングの質を低下させる、または、大きな計算量を招くという分析に基づいている。

より効率的なフィルタリング手法を提供するため、本発明によると、デブロッキングフィルタリングに関する決定は、ブロック全体に対してではなく、デブロッキングフィルタによりフィルタリングされるブロックのセグメントに対して行われる。また、決定は、境界に位置するブロック内の画素のサブセットのみに基づき行われる。

一般的に、背景技術の欄でも記載したように、この決定は、境界のセグメントをフィルタリングするか否かに関する決定、および／または、境界から特定の距離離れた位置にある画素にフィルタを適用するかどうかに関する決定（フィルタ強度に関する決定に相当する）などであってもよい。

ここで、ブロックは、画素（サンプル）の最小ブロックであり、デブロッキングフィルタリングにより処理される複数の境界により範囲が決まる。ブロックの各境界における処理は、フィルタリングを適用するかどうかに関する決定、および／または、適用するフィルタの種類に関する決定、および／または、決定に基づくフィルタを適用するか否かに関する決定を含む。背景技術の欄にも記載したように、境界がデブロッキングフィルタリングにより処理されるブロックサイズは一般的には、ＪＣＴＶＣ−Ｄ４０およびＪＣＴＶＣ−Ｄ２６３のようなＨ．２６４およびＨＥＶＣ標準規格と同様に、８×８画素である。ブロックはさらに、ブロックの特定の境界に対して垂直な画素ラインから構成されているとみなしてもよい。

境界とは、２つの隣接ブロックの画素を分ける論理的なラインのことである。デブロッキングフィルタリングにより処理される最小ブロックの境界は、境界に対して垂直方向に延びるブロックの画素ライン全てをカバーしており、同境界と垂直方向に延びる、ブロックの他の２つのブロック境界間に存在する。

セグメントは、デブロッキングフィルタにより処理される画素を有する境界に対して垂直方向に延びる１行／列以上の画素ラインを含む、ブロックの一部である。ブロックのセグメントは、ブロック全体における画素ラインのサブセットつまり適切な部分サブセットであり、これは、セグメントがブロックの全画素ラインよりも少ない画素ラインを含むことを意味する。よって、セグメントは、境界と平行方向に延びる特定数の画素ラインに広がる。しかしながら、セグメントは、ブロックの全画素ラインには広がることはない。さらに、ブロックの一部であるセグメントが位置する境界のセグメントは、境界の一部に相当する。

ブロックの境界の画素は、隣接ブロックとの境界付近にあるブロックの画素である。境界の画素は、境界上の（境界の最近隣の）画素、境界に２番目に近い画素、および／または３番目に近い画素などを含んでもよい。

デブロッキングフィルタリングは一般的に、一次元フィルタにより、垂直または水平に行う。境界、具体的には、境界に対し垂直方向にあるブロックの画素ラインに含まれる、境界の画素に直交するようフィルタを適用する。

図１４および１６は、本発明の一実施形態に係る、２つの隣接画像ブロック間の垂直境界の水平フィルタリングに関する決定プロセスを示す。同様に、図１５および１７は、本発明の一実施形態に係る、２つの隣接画像ブロック間の水平境界の垂直フィルタリングに関する決定プロセスを示す。

図１４の左側は、４つの８×８画素画像ブロックである、処理済みブロック１４１０、１４２０、１４４０、および対象ブロック１４３０を示す。ブロック１４１０は、対象ブロック１４３０の左上の隣接ブロックである。ブロック１４２０は、対象ブロック１４３０の上にある隣接ブロックである。ブロック１４４０は、対象ブロック１４３０の左隣の隣接ブロックである。左隣の隣接ブロック１１４０および対象ブロック１１３０間の垂直境界１４５０は、水平フィルタリングに関する決定を行う境界である。この境界１４５０は基本的に、上方の水平境界１４７０および下方の水平境界１４８０の間にあり、かつ、それらに挟まれる。上方の水平境界１４７０および下方の水平境界１４８０を垂直にフィルタリングしてもよい。境界１４５０に隣接する処理済みブロック１４４０および対象ブロック１４３０は、当該境界に対し垂直方向にある８行の画素行で構成される。したがって、図１４の水平フィルタリングを行う垂直境界は、８行の画素行から成るセグメント１４５０にある。境界は複数のセグメントに分割することができ、最小セグメントは１行の画素行である。

ブロック境界１４５０のセグメントにデブロッキングフィルタを適用するか否かについて決定するため、対象ブロック１４３０および／または処理済みブロック１４４０の画素行から成る（適切な部分）サブセットの画素が、決定の基準として用いられる。背景技術の欄で記載した手法においても、処理済みブロック１４４０および対象ブロック１４３０の行（列）サブセットの画素は、これらのブロック間の共通境界の（共通境界付近の）画素である。図１４の例において、境界の各セグメントにデブロッキングフィルタを適用するか否かの決定に、８行の画素行のうち２行を用いる。この場合、３行目および６行目の画素行を選択する。これら２行の画素行は、処理済みブロック１４４０および対象ブロック１４３０を構成する８行の画素行の（適切な部分）サブセットのことである。ここで、ブロックを構成する画素行の適切な部分サブセットは、画像ブロックを構成する画素行の合計数よりも少ない画素行数で構成されると定義する。行のサブセットのサンプルは、この場合は２行の画素行のサンプルであり、図１４の右側に示すように、境界のセグメントに対する個別の決定を行うために用いる。これは、例えば、行のサブセットの画素の関数としてのライン決定項ｄ_１，ｖおよびｄ_２，ｖを算出することにより、実現される。上記のように、ＪＣＴＶＣ−Ｃ４０３またはＪＣＴＶＣ−Ｄ２６３に基づき、値ｄ_１，ｖおよびｄ_２，ｖと同様に値ｄ_１，ｖおよびｄ_２，ｖを算出してもよい。これらの値は、例えば、２つの隣接ブロック１４４０および１４３０各々のブロックにおける隣接画素間、または、ブロック１４４０および１４３０両方のブロックの画素間の、第１または第２の順番の勾配として、算出してもよい。これらの勾配は、これらの画素間の差として算出してもよい。そのような算出は、２つのブロック間のブロッキング効果を推定する上で便利である。

さらに、１からＮ番目までの各セグメントに対して、ライン決定項ｄ_１，ｖおよびｄ_２，ｖの関数に対応する個別決定値Ｆ_Ｎを閾値βと比較する。

上記の条件が満たされる場合、垂直境界１４５０の個々のセグメントにフィルタリングを適用する。なお、ライン項ｄ_１，ｖおよびｄ_２，ｖは、必ずしも別々のステップで算出されなくてもよい。事前にライン決定項を別々に算出したり記録したりすることなく、個別決定値を算出してもよい。本例において、フィルタリングするブロックの各行に対応する各境界位置はセグメントであり、これらの各行に対して、行サブセットの画素の個々の関数に基づき、その境界位置がフィルタリングされるか否かを決定する。本例においてこれは、１）ブロックの行サブセットの画素、および２）セグメントの位置に基づく、個別の決定項の（セグメント位置に依存する）補間または補外に相当する。

図１５は、図１４を用いて説明したような垂直境界の水平フィルタリングと類似する、水平境界の垂直フィルタリングに関する決定を示す。ここでは、３行目および６行目の画素行に代わり、３列目および６列目の画素列がフィルタリングに関する決定の基準になる。３列目および６列目の画素列の列サブセットから得られる情報は、算出値であるライン決定項ｄ_１，ｈおよびｄ_２，ｈである。さらに、１からＮ番目までの各セグメントについて、ライン決定項ｄ_１，ｈおよびｄ_２，ｈの個々の関数である個別決定値（Ｆ_Ｎ）を閾値βと比較する。

上記の条件が満たされる場合、水平境界１５５０の個々のセグメントにフィルタリングを適用する。本例において、各列は、個々の関数Ｆ_Ｎが適用される個々のセグメントであってもよい。関数は、必ずしもライン決定項の関数として算出されなくてもよく、サブセット列の個々の画素から直接算出してもよい。

図１６は、境界の個々のセグメントに対する３行目および６行目の画素行に基づく算出値の上記の個々の関数に関する、具体的な解決策とその実施を示す。この場合、３つそれぞれのブロック（境界）セグメントに対する個別の決定は、３つの個別決定値に基づき行う。特に、図１６の右側は、１行目から３行目の画素行において、３行目の画素行の画素に基づき得られる値ｄ_１，ｖを以下の決定で用いることを示す。

上記の条件が満たされる場合、境界１６５０の１行目から３行目の画素行に及ぶセグメントにフィルタリングを適用する。しかしながら、これは、１行目、２行目、または３行目の画素行それぞれに存在する個々のセグメントに対する決定と同じとみなすこともできる。このように、１行目および２行目の画素行の個別決定値は、第３セグメントの個別決定値の最近傍補間とみなすこともできる。つまり、ライン決定項が算出される行に用いる個別決定値が、同じセグメント内の他の行にも用いられる。境界の４行目および５行目の画素行に対応する境界のさらなるセグメントに対して、３行目および６行目の画素行両方の情報を用いる。値ｄ_１，ｖおよびｄ_２，ｖを以下の決定に用いる。

上記の条件が満たされる場合、境界１６５０の４行目および５行目の画素行に及ぶセグメントにフィルタリングを適用する。しかしながら、これは、４行目または５行目の画素行それぞれにある個々のセグメントに対する決定と同じとみなすこともできる。境界の６番目から８番目の画素位置に対応する境界の別のセグメントでは、フィルタリングに関する決定に、６行目の画素行の情報を用いる。値ｄ_２，ｖを以下の決定に用いる。

上記の条件が満たされる場合、境界１６５０の６行目の画素行から８行目に及ぶセグメントにフィルタリングを適用する。しかしながら、これは、６行目、７行目または８行目の画素行それぞれに存在する個々のセグメントに対する決定と同じとみなすこともできる。しかしながら、本発明の効果を実現するため、境界の少なくとも２つのセグメントに対し別々に決定を行い、別々に算出された少なくとも２つの決定値を決定プロセスに適用する。

図１６に対応する図１７は、水平境界の各セグメントに対する３列目および６列目の画素列に基づく算出値の上記の個々の関数に関する、具体的な解決策とその実施を示す。特に、図１７の右側は、１列目から３列目の画素列の場合、画素列３列目に基づき取得した値ｄ_１，ｈを以下の決定に用いる。

上記の条件が満たされる場合、境界１７５０の１列目から３列目の画素列に及ぶセグメントにフィルタリングを適用する。しかしながら、これは、１列目、２列目または３列目の画素列それぞれに存在する個々のセグメントに対する決定と同じとみなすこともできる。境界の４列目および５列目の画素列に対応する境界のさらなるセグメントに対して、３列目および６列目の画素列の情報を用いる。よって、値ｄ_１，ｈおよびｄ_２，ｈを以下の決定に用いる。

上記の条件が満たされる場合、境界１７５０の４列目および５列目の画素列に及ぶセグメントにフィルタリングを適用する。しかしながら、これは、４列目または５列目の画素列それぞれに存在する個々のセグメントに対する決定と同じとみなすこともできる。境界の６番目から８番目の画素位置に対応する境界の別のセグメントでは、フィルタリングに関する決定に、６列目の画素列の情報を用いる。よって、値ｄ_２，ｈを以下の決定に用いる。

上記の条件が満たされる場合、境界１７５０の６列目から８列目の画素列に及ぶセグメントにフィルタリングを適用する。しかしながら、これは、６列目、７列目または８列目の画素列それぞれに存在する個々のセグメントに対する決定と同じとみなすこともできる。

まとめると、本発明の本実施形態によると、ブロックの境界のセグメントにデブロッキングフィルタを適用するか否かの判断プロセスは、ブロックの画素ラインのサブセットを構成する画素に基づき境界の各セグメントを個別に判断し、個別の判断の結果に応じて境界のセグメントにデブロッキングフィルタを適用するまたは適用しないことにより、行われる。

さらに、ブロックの境界のセグメントにデブロッキングフィルタを適用するか否かを判断する際、ブロックの画素ラインのサブセットのうち少なくとも１つの画素ラインを構成する画素の画素値を用いることにより、境界の各セグメントの個別決定値を求め、境界の個々のセグメントの閾値と比較する。

取得した個別決定値のうち少なくとも１つの決定値は、画素ラインのサブセットのうち１つの画素ラインにのみ基づく。画素ラインのサブセットのうち１つの画素ラインに基づくさらなる個別決定値は、最初に取得した決定値に最近傍補間を適用することにより求めてもよい。

さらに、少なくとも別の決定値は、画素ラインのサブセットのうち少なくとも２つの画素ラインに基づいてもよい。この後述の決定値は、画素ラインのサブセットのうち１つの画素ラインに基づく個別決定値の線形結合であってもよい。

本発明の別の実施形態によると、ブロックの境界のセグメントにデブロッキングフィルタを適用するか否かの判断プロセスは、ブロックの画素ラインのサブセットを構成する画素だけでなく、現在処理されている境界に垂直な別の境界を挟んでブロックと隣接する別のブロックを構成する画素行の画素にも基づく。したがって、境界のセグメントに対する個別の決定を行うため、ブロックの画素ラインのサブセットに含まれる情報だけでなく、隣接ブロックまたは処理済みブロックそれぞれの画素ライン（行または列）を用いてもよい。これについては、垂直境界／エッジの水平フィルタリングの決定に関する図１８の例に示している。特に、一例として図１８の左側は、４つの画像ブロック１８１０、１８２０、１８３０、および１８４０のうち、上の２つの処理済みブロック１８１０および１８２０の３行目の画素行から、セグメントの個別の決定に関する付加情報を取得することを示す。対象ブロック１８３０および処理済みブロック１８４０の画素行のサブセットの画素値により決定項ｄ_１，ｖおよびｄ_２，ｖを算出することに加え、処理済みブロック１８１０および１８２０の３行目のこれらの画素値を決定項ｄ_０，ｖの算出に用いる。右側に示すように、セグメントに対する個別の決定は、垂直境界に隣接する処理済みブロック１８４０および対象ブロック１８３０の３行目および６行目の画素行に基づく算出値ｄ_１，ｖおよびｄ_２，ｖだけでなく、処理済みブロック１８１０および１８２０の３行目の画素行に基づく算出値ｄ_０，ｖにも基づいている。個別決定値Ｆ_Ｎは、取得済みの情報、すなわち、算出値（決定項）ｄ_１，ｖ、ｄ_２，ｖおよびｄ_０，ｖについての個々の関数であり、１〜Ｎ番目の各セグメントについて閾値βと比較される。

上記の条件が満たされる場合、垂直境界の個々のセグメントにフィルタリングを適用する。同様に、図１９に示すように、水平境界の垂直フィルタリングの決定にもこの原理を適用することができる。

本発明の別の実施形態によると、ブロックの境界のセグメントにデブロッキングフィルタを適用するか否かの判断プロセスにおいて、判断の基準となる画素ラインは、処理される境界と平行な方向に等間隔で存在する。本実施形態の例として、図２０は、処理済みブロック２０４０および対象ブロック２０３０の垂直境界の水平フィルタリングに関する決定を示す。ここで、垂直境界のセグメントのデブロッキングフィルタリングの決定に関する基準として用いる画素行は、垂直境界と平行方向に等間隔で存在する。つまり、例えばライン決定項ｄを算出するための画素行間は等間隔である。図２０の例において、デブロッキングフィルタリングの決定のための基準として用いる全ての画素行は、デブロッキングフィルタリングの決定のための基準として用いない３行の画素行の間隔を空けて配置されている。本実施形態は、より効率的なデブロッキングフィルタリングに関する決定を実現するため有益である。

本発明の別の実施形態において、ブロックの境界のセグメントにデブロッキングフィルタを適用するか否かを判断するプロセスでは、境界の各セグメントに対する個別決定値を得るため、画素ラインのサブセットの１つの画素ラインに基づく個別決定値を線形補間し、その後、閾値と比較する。図２１および２２は、本実施形態に係る垂直エッジの水平フィルタリングに関する決定を示す。具体的には、境界の各セグメントに対する個別の決定の基準として用いる画素行のサブセットは、ブロックを構成する８行の画素行のうちの４行で構成される。図２１において、画素行のサブセットは、１行目、３行目、６行目および８行目の画素行である。これに基づき、処理済みブロック２１４０および対象ブロック２１３０間の垂直境界を成す各セグメントに対し、値ｄ_１，ｖ、ｄ_２，ｖ、ｄ_３，ｖおよびｄ_４，ｖ（ライン決定項）を算出し、個別決定値の取得に用いる。具体的には、１行目の画素行に対応する第１セグメントにデブロッキングフィルタを適用するか否かを判断するための条件を以下に示す。

２行目の画素行に対応する第２セグメントにデブロッキングフィルタを適用するか否かを判断するための条件を以下に示す。

３行目の画素行に対応する第３セグメントにデブロッキングフィルタを適用するか否かを判断するための条件を以下に示す。

４行目の画素行に対応する第４セグメントにデブロッキングフィルタを適用するか否かを判断するための条件を以下に示す。

４行目の画素行に対応する第４セグメントにデブロッキングフィルタを適用するか否かを判断するための別の条件を以下に示す。

５行目の画素行に対応する第５セグメントにデブロッキングフィルタを適用するか否かを判断するための条件を以下に示す。

５行目の画素行に対応する第５セグメントにデブロッキングフィルタを適用するか否かを判断するための別の条件を以下に示す。

６行目の画素行に対応する第６セグメントにデブロッキングフィルタを適用するか否かを判断するための条件を以下に示す。

７行目の画素行に対応する第７セグメントにデブロッキングフィルタを適用するか否かを判断するための条件を以下に示す。

８行目の画素行に対応する第８セグメントにデブロッキングフィルタを適用するか否かを判断するための条件を以下に示す。

上記の条件の１つが満たされる場合、垂直境界の個々のセグメントにフィルタリングを適用する。上記の手法によると、値ｄ_１，ｖ、ｄ_２，ｖ、ｄ_３，ｖおよびｄ_４，ｖ（ライン決定項）の線形結合により、セグメントに対する個別決定を行う。また、上記の手法は、境界のある画素位置に広がるセグメントに対して取得した個別決定値の補間に相当する。さらに、水平エッジ／境界でデブロッキングフィルタを適用するか否かの判断に、同手法を用いることができると考えられる。

まとめると、高符号化効率、低計算量、および、低メモリ帯域でデブロッキングするために、決定および／またはライン決定項は、（ＪＣＴＶＣ−Ｃ４０３およびＪＣＴＶＣ−Ｄ２６３のように）位置ごとに算出されない。これにより、メモリ帯域幅および計算量が限定される。しかしながら、エッジの各エッジ位置において個別に正確な決定を行うため、算出値（ライン決定項）の個々の関数を用いる。一般的な例を図１４および１５に示す。より具体的な例を図１６および１７に示す。具体的な解決策として、図１８および１９に示すように、他のセグメント（例えば近隣のセグメント）の算出値も関数に用いられる。図２０に示すように、値の算出に用いる位置について規則的な分布を利用することが有益であるかもしれない。さらなる具体的な解決策として、図２１および２２に示すように、８つのエッジ位置のエッジの各セグメントに対して４つの値を算出する。４つの算出値の線形結合を用いて、それぞれのエッジ位置に対して個別の決定を行う。本発明の効果は、同じ低計算量および同じ低メモリ帯域での符号化効率の向上である。

一例として、本発明が引例に勝る効率性について以下で説明する。ＨＭ２．０では、算出した２つの決定値を用いて、８列／行から成るエッジセグメントに対し、デブロッキングを有効化する１つの決定を行う。ＨＭ２．０とは対照的に、Ｈ．２６４／ＭＰＥＧ−４
ＡＶＣでは、各エッジセグメントに対して個別に算出した８つの決定値に基づく８つの決定を用いる。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと同様の決定に変えることで、すべてのテストケースにおいて、質を維持したまま平均０．２％ビットレートを下げることができる。しかしながら、追加の決定値を算出することにより、計算量は増える。より少ない追加の計算量で平均的なビットレートの低下が維持されるように、決定の変形例を発明した。本発明では、８つの決定を行うが、各エッジセグメントに対し４つの決定値のみを算出すればよい。ＨＭ２．０（Ｉ−ＨＥ： ０．１％、 Ｉ−ＬＣ： ０．１％、 ＲＡ−ＨＥ： ０．２％、 ＲＡ−ＬＣ： ０．２％、 ＬＤ−ＨＥ： ０．３％、 ＬＤ−ＬＣ： ０．３％）と比較した場合、エンコーダ／デコーダの平均的な実行時間がほとんど増加することなく、０．２％の平均的なビットレートの低下が維持される。低遅延でありかつ高効率である構成において、クラスＥシーケンスでは、０．７％の平均的なビットレートの低下が実現される。同じビットレートにおける、主観的品質の向上は顕著である。

現在のＨＭ ２．０（例えば、ＨＭ２．０ソフトウェア： ｈｔｔｐ：／／ｈｅｖｃ．ｋｗ．ｂｂｃ．ｃｏ．ｕｋ／ｔｒａｃ／ｂｒｏｗｓｅｒ／ｔａｇｓ／ＨＭ−２．０およびＴ． Ｗｉｅｇａｎｄ， Ｗ．−Ｊ． Ｈａｎ， Ｊ．−Ｒ． Ｏｈｍ， Ｇ． Ｊ． Ｓｕｌｌｉｖａｎ、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ １、ＪＣＴＶＣ−Ｃ４０３」（２０１０年１０月中国広州）、両文献ともＨＭ ２．０として以下で引用）は、ハイブリッド符号化を適用する。図２３は、ハイブリッドコーダの一般的なブロック図を示す。第１ステップでは、動き補償予測またはイントラ予測により、符号化対象の入力信号をブロック単位で予測する。結果として生じる予測誤差は、離散コサイン変換の近似（整数ＤＣＴ）を適用し係数の量子化を行うことで、ブロック単位で変換符号化される。ブロック単位の動き補償予測およびブロック単位の予測誤差符号化が原因となり、いわゆるブロッキングアーチファクトが復号画像に現れることが多い。これらのブロッキングアーチファクトは、見る人にとって不快なものとなりやすい。これらの不快なブロッキングアーチファクトを減らすため、適応デブロッキングフィルタを適用する。さらなる予測のために出力したり記録する前に、適応ループフィルタを用いて復号信号をさらにフィルタリングする。図２４は、例示のテストシーケンスＫｉｍｏｎｏの領域に対してデブロッキングを行う前後の信号を示す。

画像のデブロッキングは符号化単位（ＣＵ）に基づき行う。ＣＵは例えば、８×８サンプルや１６×１６サンプルなど様々なサイズであってもよい。予測ブロックおよび変換ブロックの垂直エッジおよび水平エッジをデブロッキングする。各エッジは１つまたは複数のセグメントで構成される。一方、１つのセグメントは８つの連続する行または列で構成される。水平エッジのセグメントｈ_ｉの前に、垂直エッジのセグメントｖ_ｉをデブロッキングする。図２５は、１６×１６サイズのサンプルの符号化単位を例示しており、対応する４つのセグメントｖ_１〜ｖ_４、および、４つのセグメントｈ_１〜ｈ_４の位置を示す。垂直エッジのデブロッキング順は、上から下そして左から右である。水平エッジのデブロッキング順は、左から右そして上から下である。エッジのセグメントの各側のサンプルは以下で、図２６に示されるようなＡおよびＢとして示す（ＪＣＴ−ＶＣ、 Ｔｅｓｔ Ｍｏｄｅｌ ｕｎｄｅｒ Ｃｏｎｓｉｄｅｒａｔｉｏｎ、ＪＣＴＶＣ−Ｂ２０５＿ｄｒａｆｔ００７、２０１０年７月２１〜２８日、スイス、ジュネーブ）。セグメントＡは、垂直エッジについてはＢの左に隣接する部分に対応しており、水平エッジについてはＢの上に隣接する部分に対応する。以下のセクションで説明するように、８行／列から成るセグメントごとに、決定およびフィルタリング処理を行う。

第１ステップでは、ＨＭ２．０による決定において、図２７に示すような２行／列のサンプルを用いて、２つの値ｄ_２およびｄ_５を算出する。

２つの値ｄ_２およびｄ_５を用いて、閾値処理により、対応セグメントを構成する全８行／列をフィルタリングするか否かを決定する。

決定を行うために、８行／列の各セグメントに対し２０の処理が必要とされる。

ＨＭ２．０とは対象的に、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣは、行／列ごとに、（Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと同様の決定である）個別の決定を適用する。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと同様の決定を分析するため、図２８に示すように、８行／列それぞれに対して個別値ｄ_ｉを算出する。

ここで、

個別値ｄ_ｉを用いて、閾値処理により、行／列ごとに、対応セグメントの行／列をフィルタリングするか否かを決定する。

決定を行うために、８行／列の各セグメントに対し８８の処理が必要とされる。

ＨＭ２．０は、８行／列のセグメントに対して決定を行うために、２０の処理を必要とする。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと同様の決定を行う場合には、８８の処理が必要とされる。

本実施形態では、必要な処理の数により評価される計算量に関して、ＨＭ２．０の決定と、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの決定との折衷案を提案する。図２９に示すように、８行／列で構成される各セグメントに対し、４つの値ｄ_０、ｄ_２、ｄ_５およびｄ_７を算出する。

ここで、

これらの値を用いて、閾値処理により、行／列ごとに、対応セグメントの行／列をフィルタリングするか否かを決定する。

ここで、

ここで、

ここで、

ここで、

ここで、

決定を行うために、８行／列の各セグメントに対して、５８の処理のみが要求される。

実験と結果を以下に示す。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと同様の決定、および、ＨＭ２．０とＨ．２６４／ＭＰＥＧ−４ ＡＶＣとの妥協による決定をどちらも、ＨＭ２．０の参照ソフトウェアに統合する。

ＢＤビットレートおよび実行時間の割合に関する実験と結果を以下に示す。共通の条件（例えば、Ｆ． Ｂｏｓｓｅｎ、「Ｃｏｍｍｏｎ ｔｅｓｔ ｃｏｎｄｉｔｉｏｎｓ ａｎｄ ｓｏｆｔｗａｒｅ ｒｅｆｅｒｅｎｃｅ ｃｏｎｆｉｇｕｒａｔｉｏｎｓ， ＪＣＴＶＣ−Ｄ５００」（２０１１年１月韓国テグ））に従って、高効率の処理モードおよび低計算量の処理モードのそれぞれにおけるイントラ、ランダムアクセスおよび低遅延のケースである６つのテストケースのパフォーマンスを評価する。実行時間の全ての測定に同一構成のコンピュータを用いる。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと同様の決定を示す図３０およびＨＭ２．０とＨ．２６４／ＭＰＥＧ−４ ＡＶＣとの妥協による決定を示す図３１に、参照例のＨＭ２．０と比較した際の、ＢＤレート結果およびエンコーダおよびデコーダの実行時間の割合を示す。負のＢＤレートは、参照例と比較した場合の利得を示す。実行時間の割合が１００％未満である場合、参照例の実行時間よりも実行時間が短いことを意味する。両方のケースで以下の結果が確認できる。ビットレートの低減は、全てのテストシーケンスおよびテスト構成において平均で０．２％であり、ＬＤ−ＬＣのクラスＥでは平均で０．７％である。概して、エンコーダ／デコーダの実行時間は平均的には増加していない。

主観的評価については以下で説明する。ＣＥ１２では、主観的評価に対して異なるテストシーケンスを選択した。これらのテストシーケンスについては、参照例と比較した場合の提案例の主観的品質を、図３２の表に示す結果で評価した。６つのテストシーケンスのうち５つのテストシーケンスでは、主観的品質における顕著な違いは見られない。６つのテストシーケンスのうち１つのテストシーケンスでは、提案例が参照例よりも明らかに鮮明であり、ブロッキングの増加も見られない。また、提案例では、カラーアーチファクトがより少ない。

図３３および３４は、鮮明さの向上を示す。図３３では、参照例のＨＭ２．０、低遅延、高効率、およびＱＰ３７の場合の、テストシーケンスＶｉｄｙｏ３のデブロッキング済みフレームの抽出部分を示す。図３４は、提案したデブロッキングの場合と同じ抽出部分を示す。

図３５は、カラーアーチファクトの低減を示す。参照例のＨＭ２．０、低遅延、高効率、およびＱＰ３７の場合の、テストシーケンスＶｉｄｙｏ３のデブロッキング済みフレームの抽出部分を示す。図３６は、提案したデブロッキングの場合と同じ抽出部分を示す。

符号化効率と計算量とを以下で対比する。図３７では、８行／列の各エッジセグメントに必要とされる追加の処理数に対する、全てのテストケースおよびテストシーケンスにわたって平均化されたビットレートの低減を示す。これら両方を参照例のＨＭ２．０と比較した。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの妥協による決定において、平均なビットレートの低減は０．２％でこれは参照例と同じであるが、処理量はＨ．２６４／ＭＰＥＧ−４
ＡＶＣと同様の決定よりも４４％少ない。

上述のような本発明の全ての実施形態は組み合わせることが可能である。

上記各実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。

図３８は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０６からｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図３８のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６からｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ
Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した画像データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図３９に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した多重化データを読み取り復号化する、または記録メディアｅｘ２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、多重化データが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図４０は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナｅｘ３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ｅｘ３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ｅｘ３０６で符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した多重化データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から多重化データを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図４１に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１、ｅｘ４０２、ｅｘ４０３、ｅｘ４０４、ｅｘ４０５、ｅｘ４０６、ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図４２に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図４０に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。

図４３Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ３５０、映像、静止画を撮ることが可能なカメラ部ｅｘ３６５、カメラ部ｅｘ３６５で撮像した映像、アンテナｅｘ３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ３５８を備える。携帯電話ｅｘ１１４は、さらに、操作キー部ｅｘ３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ｅｘ３５７、音声を入力するためのマイク等である音声入力部ｅｘ３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ｅｘ３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ｅｘ３６４を備える。

さらに、携帯電話ｅｘ１１４の構成例について、図４３Ｂを用いて説明する。携帯電話ｅｘ１１４は、表示部ｅｘ３５８及び操作キー部ｅｘ３６６を備えた本体部の各部を統括的に制御する主制御部ｅｘ３６０に対して、電源回路部ｅｘ３６１、操作入力制御部ｅｘ３６２、映像信号処理部ｅｘ３５５、カメラインタフェース部ｅｘ３６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３５９、変調／復調部ｅｘ３５２、多重／分離部ｅｘ３５３、音声信号処理部ｅｘ３５４、スロット部ｅｘ３６４、メモリ部ｅｘ３６７がバスｅｘ３７０を介して互いに接続されている。

電源回路部ｅｘ３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ３６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ３５６で収音した音声信号を音声信号処理部ｅｘ３５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ３５２でスペクトラム拡散処理し、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ３５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ３５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ３５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ｅｘ３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３６２を介して主制御部ｅｘ３６０に送出される。主制御部ｅｘ３６０は、テキストデータを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して基地局ｅｘ１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ３５５は、カメラ部ｅｘ３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ３５３に送出する。また、音声信号処理部ｅｘ３５４は、映像、静止画等をカメラ部ｅｘ３６５で撮像中に音声入力部ｅｘ３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ３５３に送出する。

多重／分離部ｅｘ３５３は、映像信号処理部ｅｘ３５５から供給された符号化された映像データと音声信号処理部ｅｘ３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ３５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３７０を介して符号化された映像データを映像信号処理部ｅｘ３５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ３５４に供給する。映像信号処理部ｅｘ３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ３５９を介して表示部ｅｘ３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ３５４は、音声信号を復号し、音声出力部ｅｘ３５７から音声が出力される。

また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、Ｈ．２６４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図４４は、多重化データの構成を示す図である。図４４に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、Ｈ．２６４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図４５は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームｅｘ２３５、複数のオーディオフレームからなるオーディオストリームｅｘ２３８を、それぞれＰＥＳパケット列ｅｘ２３６およびｅｘ２３９に変換し、ＴＳパケットｅｘ２３７およびｅｘ２４０に変換する。同じくプレゼンテーショングラフィックスストリームｅｘ２４１およびインタラクティブグラフィックスｅｘ２４４のデータをそれぞれＰＥＳパケット列ｅｘ２４２およびｅｘ２４５に変換し、さらにＴＳパケットｅｘ２４３およびｅｘ２４６に変換する。多重化データｅｘ２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図４６は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図４６における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図４６の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャごとに分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図４７は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図４７下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図４８はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図４９に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図４９に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図５０に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤごとに登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリームごとに異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、動画像復号化方法のステップを図５１に示す。ステップｅｘＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性を取得する。次に、ステップｅｘＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップｅｘＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、Ｈ．２６４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップｅｘＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図５２に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１、ｅｘ５０２、ｅｘ５０３、ｅｘ５０４、ｅｘ５０５、ｅｘ５０６、ｅｘ５０７、ｅｘ５０８、ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力された多重化データは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ｅｘ５０１が、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有するとしているが、制御部ｅｘ５０１の構成は、この構成に限らない。例えば、信号処理部ｅｘ５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ｅｘ５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵｅｘ５０２が信号処理部ｅｘ５０７、または信号処理部ｅｘ５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ｅｘ５０１は、信号処理部ｅｘ５０７、またはその一部を有するＣＰＵｅｘ５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ
Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、Ｈ．２６４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩｅｘ５００において、従来の規格に準拠する映像データを復号する際のＣＰＵｅｘ５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビｅｘ３００、ＬＳＩｅｘ５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図５３は、構成ｅｘ８００を示している。駆動周波数切替え部ｅｘ８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ｅｘ８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ｅｘ８０３は、図５２のＣＰＵｅｘ５０２と駆動周波数制御部ｅｘ５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１、および、従来の規格に準拠する復号処理部ｅｘ８０２は、図５０の信号処理部ｅｘ５０７に該当する。ＣＰＵｅｘ５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵｅｘ５０２からの信号に基づいて、駆動周波数制御部ｅｘ５１２は、駆動周波数を設定する。また、ＣＰＵｅｘ５０２からの信号に基づいて、信号処理部ｅｘ５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、記載した識別情報を利用することが考えられる。識別情報に関しては、上述したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵｅｘ５０２における駆動周波数の選択は、例えば、図５５のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファｅｘ５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵｅｘ５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図５４は、本実施の形態の方法を実施するステップを示している。まず、ステップｅｘＳ２００では、信号処理部ｅｘ５０７において、多重化データから識別情報を取得する。次に、ステップｅｘＳ２０１では、ＣＰＵｅｘ５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップｅｘＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、Ｈ．２６４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップｅｘＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、Ｈ．２６４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、Ｈ．２６４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵｅｘ５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、Ｈ．２６４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、Ｈ．２６４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩｅｘ５００の信号処理部ｅｘ５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ｅｘ５０７を個別に用いると、ＬＳＩｅｘ５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、Ｈ．２６４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図５６Ａのｅｘ９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、Ｈ．２６４−ＡＶＣ規格に対応する復号処理部ｅｘ９０２を共有し、Ｈ．２６４−ＡＶＣ規格に対応しない、本発明特有の他の処理内容については、専用の復号処理部ｅｘ９０１を用いるという構成が考えられる。特に、本発明は、デブロッキングフィルタリングの適用に特徴を有していることから、例えば、そのようなフィルタリングについては専用の復号処理部ｅｘ９０１を用い、それ以外のエントロピー復号、逆量子化、空間または動き補償予測のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、Ｈ．２６４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図５６Ｂのｅｘ１０００に示す。この例では、本発明に特有の処理内容に対応した専用の復号処理部ｅｘ１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ｅｘ１００２と、本発明の動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ｅｘ１００３とを用いる構成としている。ここで、専用の復号処理部ｅｘ１００１、ｅｘ１００２は、必ずしも本発明、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、構成を、ＬＳＩｅｘ５００で実装することも可能である。

このように、本発明の動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

上記例の大部分については、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに基づく映像符号化方式との関連において概要を説明し、用語は主に、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの用語に関連する。しかしながら、Ｈ．２６４／ ＡＶＣに基づく符号化に関する用語および様々な実施例の説明によって、本発明の原理および概念をそのようなシステムに限定することを意図するものではない。また、Ｈ．２６４／ＡＶＣ規格に準拠した符号化および復号の詳細な説明は、ここに説明した例示的な実施形態のよりよい理解を意図したものであり、本発明を、映像符号化におけるプロセスおよび機能に関し説明された特定の実施形態に限定するものと解釈されるべきではない。しかしながら、ここに提案した改良は、説明された映像符号化に容易に適用可能である。さらに、本発明の概念もまた、現在ＪＣＴ−ＶＣが検討しているＨ．２６４／ＡＶＣ符号化および／またはＨＥＶＣの強化に直ちに適用されてもよい。

まとめると、本発明はデブロッキングフィルタリングに関し、画像または映像信号のブロック単位の符号化および復号に有利に適用してもよい。特に、本発明は、画像ブロックに対してデブロッキングフィルタリングを適用するか否かに関する効率的で正確な決定を実行することに関する。隣接画像ブロック間の境界のセグメントにデブロッキングフィルタリングを適用するか否かに関する個別の決定を行うことにより、効率的で正確な決定がなされる。ここで、個別の決定は、画像ブロックを構成する画素ラインのサブセットを構成する画素に基づく。

Claims (2)

1. 符号化画像を復号する復号方法であって、
   前記符号化画像を再構築し、再構築画像を取得するステップと、
   前記再構築画像を構成する複数の最小ブロックごとにデブロッキング処理を行うステップとを含み、
   前記デブロッキング処理は、
   前記複数の最小ブロックの境界を処理対象とし、各ブロックが前記ブロックの左右に位置する隣接ブロックのいずれかとの第１の境界に垂直な複数の画素ラインで構成され、
   前記ブロックの画素ラインのサブセットを構成する複数の画素に基づいて、前記第１の境界の複数のセグメントの各々に対して判断を行うことにより、前記第１の境界のセグメントに対しデブロッキングフィルタを適用するか否かを判断するステップと、
   個々の判断の結果に応じて、前記第１の境界の前記セグメントに対しデブロッキングフィルタを適用する、または、適用しないステップとを含み、
   前記サブセットは、前記ブロックの複数の画素ラインのうち、前記ブロックの上下に位置する隣接ブロックのいずれかとの第２の境界に隣接する画素ラインを含む、
   復号方法。
2. 符号化画像を復号する復号装置であって、
   前記符号化画像を再構築し、再構築画像を取得する手段と、
   前記再構築画像を構成する複数の最小ブロックごとにデブロッキング処理を行う手段とを含み、
   前記デブロッキング処理は、
   前記複数の最小ブロックの境界を処理対象とし、各ブロックが前記ブロックの左右に位置する隣接ブロックのいずれかとの第１の境界に垂直な複数の画素ラインで構成され、
   前記ブロックの画素ラインのサブセットを構成する複数の画素に基づいて、前記第１の境界の複数のセグメントの各々に対して判断を行うことにより、前記第１の境界のセグメントに対しデブロッキングフィルタを適用するか否かを判断する手段と、
   個々の判断の結果に応じて、前記第１の境界の前記セグメントに対しデブロッキングフィルタを適用する、または、適用しない手段とを含み、
   前記サブセットは、前記ブロックの複数の画素ラインのうち、前記ブロックの上下に位置する隣接ブロックのいずれかとの第２の境界に隣接する画素ラインを含む、
   復号装置。