JP6044797B2 - 画像符号化復号装置 - Google Patents

Description

本発明は画像の符号化方法に関する。特に本発明は、画像の復号時におけるデブロッキングフィルタリング、および、デブロッキングフィルタリング処理に用いられる丸め処理に関する。

現在、標準的な映像符号化アルゴリズムの大半はハイブリッド映像符号化に基づくものである。通常、ハイブリッド映像符号化方法は、所望の圧縮ゲインを達成するために、いくつかの異なる可逆圧縮方式と不可逆圧縮方式とを組み合わせたものである。ハイブリッド映像符号化は、ＩＳＯ／ＩＥＣ標準規格（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４のようなＭＰＥＧ−Ｘ標準規格）と同様に、ＩＴＵ−Ｔ標準規格（Ｈ．２６１やＨ．２６３のようなＨ．２６ｘ標準規格）の基礎でもある。最新の映像符号化標準規格は、Ｈ．２６４／ＭＰＥＧ−４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と称されるものであり、これは、（ＩＴＵ−ＴグループとＩＳＯ／ＩＥＣ ＭＰＥＧグループとのジョイントチームである）ジョイントビデオチーム（ＪＶＴ）による標準化活動の成果である。このコーデックは、ＨＥＶＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）という名称の下で、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）によってさらに開発が進められており、特に高解像度の映像符号化の効率改善を目的としている。

エンコーダへ入力される映像信号は、フレームと呼ばれる画像のシーケンスであり、各フレームは２次元マトリクス状の複数の画素からなる。ハイブリッド映像符号化に基づく上述の標準規格は全て、個々の映像フレームを、複数の画素からなるより小さなブロックに分割することを含む。ブロックのサイズは、例えば、画像の内容によって異なる。符号化方法は、通常、ブロックごとに異なってもよい。例えばＨＥＶＣにおいて、そのようなブロックに許される最大サイズは６４×６４画素である。この最大サイズは最大符号化単位（ＬＣＵ）と称される。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおいてマクロブロック（通常は１６×１６画素のブロックを指す）は、符号化が実行され、さらに何らかの符号化／復号ステップが適用されるより小さなサブブロックに分割される可能性がある基本の画像要素である。

典型的には、ハイブリッド映像符号化における符号化ステップには、空間的および／または時間的予測が含まれる。したがって、各符号化対象ブロックは、まず、空間的に隣接したブロックまたは時間的に隣接したブロック、つまり符号化済み映像フレームのブロックを用いて予測される。予測残差ブロックとも呼ばれる、符号化対象ブロックと予測との差分ブロックが、次に算出される。次の符号化ステップでは、残差ブロックが空間（画素）ドメインから周波数ドメインへ変換される。変換の目的は、入力ブロックの相関性を弱めることである。次の符号化ステップにおいて、変換係数が量子化される。このステップにおいて、実質的にロスが生じる（不可逆的な）圧縮が行われる。通常、圧縮変換係数値は、エントロピー符号化によって（可逆的に）さらに圧縮される。さらに、符号化映像信号を再構築するために必要な補助情報が符号化され、符号化映像信号とともに提供される。この情報は、例えば、空間的および／または時間的予測や量子化量等に関するものである。

図１は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣおよび／またはＨＥＶＣに準拠した、典型的な映像エンコーダ１００の一例を示す。減算器１０５がまず、入力映像（入力信号ｓ）の符号化対象ブロックと、対応する予測ブロック
との差分を求める。その差分は、符号化対象ブロックの予測に用いられる。当該予測信号は、時間的予測または空間的予測１８０によって得られる。予測のタイプは、フレームごとまたはブロックごとに異なる可能性がある。時間的予測を用いて予測されたブロックおよび／またはフレームは「インター」符号化されたと称され、空間的予測を用いて予測されたブロックおよび／またはフレームは、「イントラ」符号化されたと称される。時間的予測を用いる予測信号は、メモリに格納されている、符号化済みの画像から導出する。空間的予測を用いる予測信号は、既に符号化・復号済みの、メモリに格納された隣接ブロックの境界画素値から導出される。入力信号と予測信号との差ｅは、予測誤差または残差と呼ばれ、変換されて（１１０）係数となり、量子化される（１２０）。格納するデータ量をさらに削減し、かつ／または可逆的に送信するために、量子化係数にエントロピー符号化（１９０）を適用する。これは主に、可変長の符号語を有する符号を適用することによって達成される。この符号語の長さは、発生確率に基づいて選択される。

復号（再構築）映像信号ｓ’を得るため、映像エンコーダ１００に復号部を組み入れる。上記符号化ステップに合わせて、復号ステップは、逆量子化および逆変換（１３０）を含む。そのようにして得た予測誤差信号ｅ’は、量子化ノイズとも称される量子化誤差が原因で、元の予測誤差信号とは異なる。その後、復号予測誤差信号ｅ’を予測信号
に加える（１４０）ことで、再構築信号ｓ’を得る。エンコーダ側とデコーダ側の互換性を保つため、エンコーダ側とデコーダ側の両方で得られる、符号化され続いて復号された映像信号に基づいて、予測信号
を得る。

量子化の結果、再構築映像信号に量子化ノイズが重畳される。ブロック単位での符号化のため、重畳されたノイズはブロッキング特性を有することが多く、特に強い量子化が行われた場合は、復号画像のブロック境界が目立つことになる。ブロッキングアーチファクトは、人間の視覚認識上マイナス効果を及ぼす。これらのアーチファクトを減らすため、デブロッキングフィルタ１５０を全ての再構築画像ブロックに適用する。デブロッキングフィルタは、再構築信号ｓ’に適用される。例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおけるデブロッキングフィルタは、局所的適応能力を有する。ブロッキングノイズの程度が高い場合は、強い（帯域幅が狭い）ローパスフィルタが用いられ、ブロッキングノイズの程度が低い場合は、弱い（帯域幅が広い）ローパスフィルタが用いられる。ローパスフィルタの強度は、予測信号ｓ＾および量子化予測誤差信号ｅ’によって決定される。デブロッキングフィルタは、概して、ブロックのエッジを平滑化し復号画像の主観的画質を改善する。さらに、画像内のフィルタリング済みの部分が次の画像の動き補償予測に用いられるため、フィルタリングによって予測誤差も減少し、符号化効率を改善することができる。

デブロッキングフィルタの後に、サンプル適応オフセット１５５および／または適応的ループフィルタ１６０を、デブロッキング済み信号ｓ’’を含む画像に適用してもよい。デブロッキングフィルタは主観的品質を改善する。一方で、サンプル適応オフセット（ＳＡＯ）およびＡＬＦは、画素単位の信頼性（「客観的」品質）の改善を目的とする。特に、ＳＡＯは、画素の最も近隣に従ってオフセットを追加する。具体的には、適応的ループフィルタ（ＡＬＦ）は、圧縮によって起こる画像の歪みを補償するために用いられる。通常、適応的ループフィルタは、再構築済み画像ｓ’とソース画像ｓとの平均二乗誤差（ＭＳＥ）が最小化されるように決定されたフィルタ係数を有するウィーナフィルタである。ＡＬＦの係数を、フレーム単位で算出し送信してもよい。ＡＬＦはフレーム全体（映像シーケンスの画像）または局所領域（ブロック）に適用できる。フィルタリングする領域を示す追加的補助情報を、（ブロック単位、フレーム単位、または四分木単位で）送信してもよい。

インター符号化画像を復号するには、符号化および復号済み画像の一部も参照フレームバッファ１７０に格納する必要がある。インター符号化ブロックは、動き補償予測を用いることにより予測される（１８０）。まず、動き検出器により、符号化および復号済み映像フレーム内で対象ブロックに最も適合するブロックを見つける。この最適ブロックは予測信号となり、対象ブロックと最適ブロック間の相対的なずれ（動き）が、３次元の動きベクトルの形で動きデータとして信号で伝えられる。この動きデータは、符号化映像データとともに提供される補助情報内に含められる。３次元は、２つの空間的な次元と１つの空間的な次元とからなる。予測精度を最適化するため、１／２画素解像度や１／４画素解像度などの空間的サブピクセル解像度で動きベクトルを求めてもよい。空間的サブピクセル解像度の動きベクトルは、復号済みフレーム内の、実存する画素値がない空間的位置、つまりサブピクセル位置を指してもよい。よって、動き補償予測を行うために、そのような画素値の空間的補間が必要である。これは、補間フィルタ（図１では予測ブロック１８０と統合されている）によって達成されてもよい。

イントラ符号化およびインター符号化モードの両方において、対象入力信号と予測信号との差分ｅが変換（１１０）および量子化（１２０）され、量子化係数となる。一般的に、２次元離散コサイン変換（ＤＣＴ）またはその整数バージョンなどの直交変換が使用される。なぜなら、これにより自然映像の相関が効率的に低下するからである。変換後、高周波成分よりも低周波成分の符号化により多くのビットが費やされる。これは通常、高周波成分よりも低周波成分が画質にとって重要であるからである。エントロピーコーダにおいて、２次元配列の量子化係数が１次元配列に変換される。典型的には、いわゆるジグザグスキャンによって変換される。ジグザグスキャンでは、２次元配列の左上隅にあるＤＣ係数から右下隅にあるＡＣ係数まで所定の順序で走査される。エネルギーは一般的に低周波に相当する２次元配列の係数の左上部分に集中するため、ジグザグスキャンを行うと、通常、最後の値がゼロとなる配列になる。これにより、実際のエントロピー符号化の一部として、またはその前処理として、ランレングス符号を用いる効率的な符号化が可能になる。

Ｈ．２６４／ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣおよびＨＥＶＣは、ビデオ符号化層（ＶＣＬ）とネットワーク抽象化層（ＮＡＬ）の２つの層を有する。ビデオ符号化層は、簡単に上述したように、符号化の機能性を提供する。ＮＡＬは、チャネルを越える送信や記憶装置への格納といったさらなる用途に合わせて、情報要素を、ＮＡＬユニットと称される標準単位にカプセル化する。情報要素は、例えば、符号化予測誤差信号、または、予測タイプ、量子化パラメータ、動きベクトル等の映像信号の復号に必要な他の情報である。圧縮映像データと関連情報とを含むＶＣＬ ＮＡＬユニットがあり、映像シーケンス全体に関連するパラメータセットのような追加データをカプセル化しているｎｏｎ−ＶＣＬユニット、または、復号精度の改善に用いられる追加情報を提供する付加拡張情報（ＳＥＩ）もある。

図２は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣまたはＨＥＶＣ映像符号化規格に準拠した例示的なデコーダ２００を示す。符号化映像信号（デコーダへの入力信号）は、まず、動きデータや予測モード等といった、量子化係数と、復号に必要な情報要素とを復号するエントロピーデコーダ２９０に送られる。量子化係数は、２次元配列を得る目的で逆走査され、その後、逆量子化・逆変換部２３０に入力される。逆量子化および逆変換（２３０）後、復号（量子化）予測誤差信号ｅ’が得られる。量子化ノイズが生じず、誤差が生じなかった場合には、復号（量子化）予測誤差信号ｅ’は、エンコーダに入力された信号から予測信号を減算して得た差分に相当する。

予測信号は、時間的または空間的予測（２８０）の何れかによって得られる。通常、復号された情報はさらに、イントラ予測の場合には予測タイプ、動き補償予測の場合には動きデータなどの予測に必要な情報を含む。空間ドメインにおける量子化予測誤差信号は、その後、加算器２４０により、動き補償予測またはフレーム内予測（２８０）の何れかから取得した予測信号に加算される。再構築画像ｓ’は、デブロッキングフィルタ２５０、サンプル適応オフセット処理部２５５、および、適応ループフィルタ２６０を介して送られてもよく、その結果得られる復号信号は、メモリ２７０に格納され、後続ブロック／画像の時間的または空間的予測に使用される。

画像を圧縮および解凍する際、ブロッキングアーチファクトは通常、ユーザにとって最も不快なものである。再構築画像のブロック間のエッジを平滑化することで、デブロッキングフィルタリングは、ユーザの知覚体験を改善する。デブロッキングフィルタリングの難点の１つは、量子化器の適用が原因でブロッキングにより生じるエッジと、および、符号化信号の一部であるエッジとを正確に判別することである。圧縮アーチファクトが原因でブロック境界にエッジが生じる場合のみ、デブロッキングフィルタが適用されることが望ましい。他の場合、デブロッキングフィルタの適用により、再構築信号が歪む可能性がある。別の難点は、デブロッキングフィルタリング用に適切なフィルタを選択することである。通常、異なる周波数応答を有する複数のローパスフィルタにおいて決定がなされ、強いまたは弱いローパスフィルタリングが行われる。デブロッキングフィルタリングを適用するかどうかを決定するため、また、適切なフィルタを選択するために、２つのブロックの境界付近に存在する画像データが考慮される。

例えば、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣは、境界がデブロッキングされる２つの隣接ブロックそれぞれの第１の微分の絶対値を評価する。また、例えばＨ．２６４／ＭＰＥＧ−４ＡＶＣ規格の第８．７．２．２項で示すように、２つのブロック間のエッジにおける第１の微分の絶対値を評価する。ＨＥＶＣは同様のメカニズムを利用するが、第２の微分も用いる。

デブロッキングフィルタは、ブロック境界における各サンプルに対して、フィルタリングを行うか否か、また、どのフィルタまたはフィルタの種類でフィルタングを行うのかについて決定してもよい。フィルタを適用することが決定されると、ローパスフィルタを適用してブロック境界を平滑化する。フィルタリングを行うか否かに関するこの決定の目的は、上記背景技術の項に記載の、ブロック単位の処理に適用される量子化の結果としてブロック境界において大きな信号変化が起こるサンプルにのみ、フィルタリングを行うことである。このデブロッキングフィルタリングの結果、ブロック境界の平滑化信号が得られる。平滑化信号は、ブロッキングアーチファクトよりも、見る人に与える不快感が少ない。符号化対象の原信号に属する、ブロック境界において大きな信号変化が起こるそれらのサンプルは、高周波およびそれによる視覚的鋭さを維持するために、フィルタリングされるべきではない。間違った決定がされた場合、画像は不必要に平滑化されるか、またはブロック境界が歪んだままになる。デブロッキングフィルタリングが、ブロックの垂直エッジ（水平フィルタリング）およびブロックの水平エッジ（垂直フィルタリング）に対して行われる。

図４Ａは、垂直境界に関する決定（水平デブロッキングフィルタでフィルタリングを行うか否か）を示し、図４Ｂは、水平境界に関する決定（垂直デブロッキングフィルタでフィルタリングを行うか否か）を示す。具体的には、図４Ａは、復号対象ブロック４４０とその復号済み近隣ブロック４１０、４２０、および４３０を示す。ライン内の画素４６０に対して決定がなされる。同様に、図４Ｂは、同じ対象ブロック４４０を示し、列内の画素４７０に対して決定がなされる。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと同様に、デブロッキングフィルタを適用するか否かの判断は、以下のように実行されてもよい。図４にも示されるように、６個の画素４６０のラインを例にとると、そのうち最初の３個の画素ｐ２、ｐ１、ｐ０は左の近隣ブロックＡ４３０に属し、続く３個の画素ｑ０、ｑ１、ｑ２は対象ブロックＢ４４０に属する。ライン５１０は、ブロックＡおよびＢの境界を示す。画素ｐ０およびｑ０はそれぞれ、左の近隣ブロックＡと対象ブロックＢの画素であり、互いに隣接している。画素ｐ０およびｑ０は、例えば以下の条件が満たされた場合に、デブロッキングフィルタによってフィルタリングされる。
および

ここで、通常、以下が成立する。

これらの条件は、ｐ０とｑ０の差分がブロッキングアーチファクトに由来するものか否かを検出することを目的としている。これらは、ブロックＡ内、ブロックＢ内、および、ブロックＡＢ間それぞれの第１の微分の評価に対応する。

画素ｐ１は、例えば上記３つの条件に加えて以下の条件も満たした場合にフィルタリングされる。

画素ｑ１は、例えば上記の最初の３つの条件に加えて以下の条件も満たした場合にフィルタリングされる。

これらの条件はそれぞれ、第１ブロック内の第１の微分および第２ブロック内の第１の微分に対応する。上記の条件において、ＱＰは、適用される量子化量を示す量子化パラメータを示す。βおよびαはスカラー定数である。特に、ＱＰ_ＮＥＷは、以下のような、第１ブロックＡおよび第２ブロックＢそれぞれに適用される量子化パラメータＱＰ_ＡおよびＱＰ_Ｂに基づき導出した量子化パラメータである。

ここで、「＞＞１」は右に１ビット分シフトするという意味である。

当該決定は、ブロック内の選択された１ラインまたは複数のラインに対してのみなされてもよいが、画素のフィルタリングは全てのライン４６０に対して適宜行われる。図５は、ＨＥＶＣに準拠した決定が行われるライン５３０により一部が構成される例５２０を示す。ライン５３０に基づき、ブロック全体をフィルタリングするか否かの決定がなされる。

ＨＥＶＣにおけるデブロッキングフィルタリングの他の例は、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪＴＣ−ＶＣのＪＣＴＶＣ−Ｅ６０３ドキュメントの第８．６．１項に記載されており、同ドキュメントは、ｈｔｔｐ：／／ｗｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｃｔｖｃ−ｓｉｔｅ／２０１１＿０１＿Ｄ＿Ｄａｅｇｕ／から自由に入手可能である。

２本のライン５３０は、デブロッキングフィルタリングを適用するか否か、また、どのように適用するのかについての決定に用いられる。例５２０では、水平にブロッキングフィルタリングを行うため、３つ目のライン（インデックス２）および６つ目のライン（インデックス５）を評価するとしている。特に、各ブロック内の第２の微分を評価すると、以下のような測定値ｄ_２およびｄ_５が得られる。

画素ｐはブロックＡに属し、画素ｑはブロックＢに属する。ｐまたはｑの直後の数字は列インデックスを示し、その次の下付きの数字はブロック内の行番号を示す。以下の条件が満たされる場合、例５２０に示される８ライン全てに対するデブロッキングが可能となる。

上記の条件が満たされない場合、デブロッキングは全く適用されない。デブロッキングが可能な場合、デブロッキングに用いられるフィルタが決定される。この決定は、ブロックＡＢ間の第１の微分の評価に基づく。特に、各ラインｉ（ｉは０〜７の整数）に対し、強いローパスフィルタと弱いローパスフィルタのどちらを適用するのか決定される。以下の条件が満たされる場合、強いフィルタが選択される。

ＨＥＶＣモデルに従い、「強いフィルタ」は、サンプルｐ３_ｉ、ｐ２_ｉ、ｐ１_ｉ、ｐ０_ｉ、ｑ０_ｉ、ｑ１_ｉ、ｑ２_ｉ、ｑ３_ｉを用いて、サンプルｐ２_ｉ、ｐ１_ｉ、ｐ０_ｉ、ｑ０_ｉ、ｑ１_ｉ、ｑ２_ｉをフィルタリングする。一方、「弱いフィルタ」は、サンプルｐ２_ｉ、ｐ１_ｉ、ｐ０_ｉ、ｑ０_ｉ、ｑ１_ｉ、ｑ２_ｉを用いて、サンプルｐ１_ｉ、ｐ０_ｉ、ｑ０_ｉ、ｑ１_ｉをフィルタリングする。上記の条件において、パラメータβおよびｔ_ｃは両方とも量子化パラメータＱＰ_{Ｆｒａｍｅ}の関数であり、画像のスライスなどに対して設定してもよい。通常、βおよびｔ_ｃの値は、ルックアップテーブルを用いてＱＰ_{Ｆｒａｍｅ}に基づき導出される。

なお、強いフィルタリングは、非常にフラットな信号に対してのみ効果がある。そうでない場合、弱いローパスフィルタリングの方がむしろ有利である。

図６Ａには、従来のハイブリッド符号化の強いローパスフィルタリングの対象となる画素が示される。特に、図６Ａには、フィルタリングに用いるサンプルが示される。これらのサンプルは、ブロックＡＢ間の境界の左側および右側それぞれに属する４つの隣接画素に対応する。これらのサンプルはフィルタリングに用いられる。つまり、これらサンプルの値はフィルタリング処理に入力される。図６Ａではさらに、フィルタにより修正されるサンプルが示される。これらは、ブロックＡＢ間の境界に最も近い、境界の左側および右側それぞれに属する３つの隣接画素の画素値のことである。これらの値はフィルタにより修正される。つまり、平滑化される。特に、インデックスｉのラインにおける修正後のサンプルｐ０’_ｉ、ｐ１’_ｉ、ｐ２’_ｉ、ｑ０’_ｉ、ｑ１’_ｉ、ｑ２’_ｉの値を以下に示す。

関数Ｃｌｉｐ（ｘ）を以下のように定義する。

ここで、ｍａｘ＿ａｌｌｏｗｅｄ＿ｖａｌｕｅはｘがとり得る最大値である。ｋビットサンプルを用いたＰＣＭ符号化の場合、最大値は、ｍａｘ＿ａｌｌｏｗｅｄ＿ｖａｌｕｅ＝２^ｋ−１になる。例えば、８ビットサンプルを用いたＰＣＭ符号化の場合、最大値は、ｍａｘ＿ａｌｌｏｗｅｄ＿ｖａｌｕｅ＝２５５になる。１０ビットサンプルを用いたＰＣＭ符号化の場合、最大値は、ｍａｘ＿ａｌｌｏｗｅｄ＿ｖａｌｕｅ＝１０２３になる。

このように、上記式は、適用される強いフィルタリングのプロセスを示す。上記式から分かるように、行ｉの画素ｐ３_ｉおよびｑ３_ｉは、上記式つまりフィルタリングに用いられるが、修正されることはない、つまり、フィルタリングされない。

図６Ｂには、弱いデブロッキングフィルタの適用が示される。特に、フィルタリングに用いられるサンプルは（図面の）左側に示され、フィルタリングにより修正されるサンプルは右側に示される。弱いフィルタによる処理では、ブロックＡとブロックＢの境界から近い３つの隣接画素を用いて、ブロックＡおよびＢそれぞれに属する境界から近い２つの隣接画素のみがフィルタリングされる。弱いフィルタリングを行うため、２つの決定がなされる。１つ目の決定は、弱いフィルタが全てのラインに対し適用されるのか、または、特定のラインに対して適用されないのかということに関する。この決定は、値Δに基づき、Δは以下のように算出される。

算出されたΔに基づき、
の場合のみフィルタリングは適用される。それ以外の場合、ブロックＡＢ間の境界にある２つの画素ｐ０’_ｉおよびｑ０’_ｉに対して、フィルタリングは適用されない。

フィルタリングが適用される場合、以下のように行われる。
ここで、

関数Ｃｌｉｐ（ｘ）は上記の定義の通りである。関数Ｃｌｉｐ３（ｘ）を以下のように定義する。

フィルタリングの適用が決定され、画素ｐ０’_ｉおよびｐ０’_ｉがフィルタリング済みであると判定された場合、ｐ１’_ｉおよびｐ１’_ｉをフィルタリングするか否かについてさらに決定がなされる。

ｄ_ｐ＜（β／６）の場合のみ、画素ｐ１’_ｉがフィルタリングされる。同様に、ｄ_ｑ＜（β／６）の場合のみ、画素ｑ１’_ｉがフィルタリングされる。これらの画素のフィルタリングは以下のように行われる。

この際、以下を用いる。
および

デブロッキングフィルタについての決定および選択に関する上記の記載は、通常、輝度サンプルに当てはまる。

クロミナンスのデブロッキングフィルタリングには、以下の手法が用いられる。デルタ値は以下のように算出される。

値デルタ１は、デルタ値に基づき、以下のように算出されデブロッキングフィルタリングにそのまま用いられる。
および

弱いフィルタリング処理の上記の一連の工程から分かるように、値Δは、いくつかの決定およびフィルタリングステップを行うことで得られる値であってもよい。特に、Δの算出には以下を伴う。
・特定のラインに対し、弱いフィルタを適用するか否かの決定（輝度）
・ｐ０’_ｉおよびｑ０’_ｉに対する（弱い）フィルタリング
・ｐ１’_ｉおよびｑ１’_ｉのフィルタリングの際にも値Δ_１を使用

以上のように、Δの値をできる限り正確に算出することは有利である。

従来技術のこれらの課題から、フィルタリング用のパラメータを別々に制御する、効率的なデブロッキングフィルタリングの手法を提供することは有利である。本発明特有の手法において、強いフィルタリングおよび弱いフィルタリングは別々に制御される。これは、独立クレームの特徴によって達成される。好適な実施形態は、従属クレームの主題である。

付属図面は本発明のいくつかの実施の形態を説明する明細書に組み込まれ、かつ当該明細書の一部をなす。当該図面は実施の形態の説明と共に、本発明の原理を説明するものである。当該図面の目的は、本発明がどのようになされ、用いられるかを示す好適かつ代替可能な例を例示することだけであり、本発明を例示および説明された実施の形態のみに限定するものとして解釈されるべきではない。本発明のさらなる特徴および効果は、付属図面が示すような、下記のような本発明の様々な実施形態の詳細な説明から明らかになる。当該図面において、同じ参照符号は同じ要素を示す。当該図面において、
図１は、映像エンコーダの一例を示すブロック図である。 図２は、映像デコーダの一例を示すブロック図である。 図３は、垂直フィルタリングと水平フィルタリングを別々に行う映像エンコーダの一例を示すブロック図である。 図４Ａは、水平デブロッキングフィルタリングの適用を示す概略図である。 図４Ｂは、垂直デブロッキングフィルタリングの適用を示す概略図である。 図５は、デブロッキングフィルタを適用するか否かの決定、および、デブロッキングフィルタの選択を示す概略図である。 図６Ａは、強いデブロッキングフィルタリングおよび弱いデブロッキングフィルタリングの対象となる２つのブロックの共通の境界付近の画素の例を示す概略図である。 図６Ｂは、強いデブロッキングフィルタリングおよび弱いデブロッキングフィルタリングの対象となる２つのブロックの共通の境界付近の画素の例を示す概略図である。 図７は、丸め処理の結果を示す表である。 図８は、非対称のデルタ量子化器を示す概略図である。 図９Ａは、本発明の一例に係るデルタの量子化を示す概略図である。 図９Ｂは、本発明の一例に係るデルタの量子化を示す概略図である。 図１０は、本発明の一実施形態に係る方法を示すフローチャートである。 図１１は、本発明の一実施形態により実現される結果を示す図であり、従来技術と比較している。 図１２は、コンテンツ配信サービスを実施するコンテンツ供給システムの全体構成図である。 図１３は、デジタル放送用システムの全体構成図である。 図１４は、テレビの構成例を示すブロック図である。 図１５は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図１６は、光ディスクである記録メディアの構造例を示す図である。 図１７Ａは、携帯電話の例を示す図である。 図１７Ｂは、携帯電話の構成例を示すブロック図である。 図１８は、多重化データの構成を示す図である。 図１９は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図２０は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図２１は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図２２は、ＰＭＴのデータ構成を示す図である。 図２３は、多重化データ情報の内部構成を示す図である。 図２４は、ストリーム属性情報の内部構成を示す図である。 図２５は、映像データを識別するステップを示す図である。 図２６は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示す図である。 図２７は、駆動周波数を切り替える構成を示す図である。 図２８は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図２９は、映像データの規格と駆動周波数を対応付けたルックアップテーブルの一例を示す概略図である。 図３０Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図３０Ｂは、信号処理部のモジュールを共有化する構成の別の例を示す図である。

上述したように、デルタ（Δ）値は、以下のようなシフト演算により算出される。

シフト演算は、（整数割り算を行うための）デルタ値の量子化として解釈することができ、以下の未量子化デルタ値に対応する。

したがって、右に４ビット分シフト（「＞＞」）すると、１６で割ることになる。シフト演算により、量子化による誤差が生じるだけでなく、量子化後に得られるデルタ値にゼロ平均に対するオフセット値を持たせることになる。

図７は、４ビット分のシフトを用いた丸め処理の部分結果を示す図である。図７の表の第１列目は、−２０から＋２０の範囲の変数ｉを例示する。第２列目は、オフセット値８の加算後の対応値ｉを示す。第３列目は、項（ｉ＋８）を１６で割る整数割り算に対応する４ビット分のシフトを示す。表から分かるように、第３列目における得られた値の分布は非対称であり、たとえｉがゼロ平均を有していたとしてもゼロ平均を有しない。

結果的にこれは、図８に示されるような非対称の量子化器の特徴となる。たとえ未量子化デルタ値が一般的な対称の確率分布を有していても、上述のような量子化が行われた後ではオフセット値が生じ、以下のような式が導かれる。

デルタ値は、デブロッキング・フィルタリング・プロセスを行うため算出される。定数オフセット値が加算される、２つの隣接ブロック間の境界におけるサンプル値の加重和として、デルタ値は生成される。本例において、定数は８である。次に、このように得られた結果を１ビット分以上右へシフトすることにより、その結果をクリッピングする。対称分布されたサンプル値の加重和の場合、得られたデルタ値はオフセット値を生じる。つまり、その期待値はゼロではない。

この課題を克服するため、本発明では、サンプル値の加重和を右にシフトさせる前に、異なる定数を加算する。異なる定数は、デルタの期待値がゼロになるように選択される。特に、デルタ値の量子化は以下のように行われてもよい。

デルタ値のゼロ平均分布になるように、値ａおよびｂが選択される。

例えば、第１の例によると、ａは７（ａ＝７）であり、ｂは８（ｂ＝８）である。図９Ａには、ａ＝７およびｂ＝８とした場合の、結果として得られる対称的な量子化器の特徴が示される。未量子化デルタ値の確率分布が対称である場合、量子化器は追加のオフセット値を生じない。

しかしながら、本発明は、パラメータａおよびｂの特定の値に限定されることはない。量子化デルタ値の分布がゼロ平均になるように、定数ａおよびｂが任意に選択されてもよい。例えば、第２の例によると、定数ａは６であり（ａ＝６）、定数ｂは９である（ｂ＝９）。図９Ｂに、対応する量子化器が示される。図９Ｂの量子化器の不感帯幅は、図９Ａの量子化器の不感帯幅よりも広い。このように、パラメータａおよびｂを選択することにより、量子化器の不感帯を制御してもよい。図９Ａの例と同様に、量子化デルタ値の平均値は、量子化前のデルタ値の平均値に対し、オフセットを有しない。

通常輝度サンプルに適用される、４ビット分のシフト（「＞＞４」）を用いる場合、ａ＝６およびｂ＝９、または、ａ＝７およびｂ＝８を選択することは、効果的である。一方で、３ビット分（「＞＞３」）のシフトを適用する場合、ａ＝２およびｂ＝５の値が有利である。右への３ビット分のシフトは通常、クロミナンスサンプルをデブロッキングする際に行われる。１ビット分シフトする（「＞＞１」）場合、ａ＝０およびｂ＝１の値が有利に適用されるかもしれない。

上記式から分かるように、デルタ値の対称量子化では、デルタ値を適宜量子化するため、追加の「ｉｆ」演算が必要である。つまり、ゼロより小さいまたは大きい、Δ_ｋ間で識別されることになる。これにより、算出による負荷が増大する可能性がある。上記のようなデルタ値の対称量子化を効率的に実行するため、この量子化を、後続のクリッピング処理と組み合わせてもよい。以下では、デルタ値の算出、および、その後続処理である、算出済みデルタ値と閾値ｔ_ｃとの比較を行うための擬似コードを例示する。
ｄｅｌｔａ１ ＝ （９＊（ｑ０−ｐ０） −３＊（ｑ１−ｐ１）＋８）＞＞４
ｉｆ （ｄｅｌｔａ１＞ｔｃ）
｛
ｄｅｌｔａ１＝ｔｃ；
｝
ｅｌｓｅ ｉｆ （ｄｅｌｔａ１＜−ｔｃ）
｛
ｄｅｌｔａ１＝−ｔｃ；
｝

この処理では、非ゼロ値との２つの比較が行われる。コードの各実行において、２つの比較が行われる。あるいは、以下の擬似コードが同じ機能を果たしてもよい。
ｄｅｌｔａ１ ＝ （９＊（ｑ０−ｐ０） −３＊（ｑ１−ｐ１）＋８）＞＞４
ｉｆ （ｄｅｌｔａ１＞０）
｛
ｉｆ （ｄｅｌｔａ１＞ｔｃ）
｛
ｄｅｌｔａ１＝ｔｃ；
｝
｝
ｅｌｓｅ
｛
ｉｆ （ｄｅｌｔａ１＜−ｔｃ）
｛
ｄｅｌｔａ１＝−ｔｃ；
｝
｝

この場合、ゼロとの１つの比較（サイン比較）が行われ、（非ゼロ数字との２つの比較は択一であるため）非ゼロ数字との２つの比較のうち１つのみが行われる。

本発明の一実施形態によると、デルタ値の算出、および、その後続処理であるクリッピング実行のための閾値ｔ_ｃとの比較は、以下のように実現してもよい。
ｄｅｌｔａ ＝ ９＊（ｑ０−ｐ０） −３＊（ｑ１−ｐ１）
ｉｆ （ｄｅｌｔａ＞０）
｛
ｄｅｌｔａ１＝（ｄｅｌｔａ＋ａ）＞＞４；
ｉｆ （ｄｅｌｔａ１＞ｔｃ）
｛
ｄｅｌｔａ１＝ｔｃ；
｝
｝
ｅｌｓｅ
｛
ｄｅｌｔａ１＝（ｄｅｌｔａ＋ｂ）＞＞４；
ｉｆ （ｄｅｌｔａ１＜−ｔｃ）
｛
ｄｅｌｔａ１＝−ｔｃ；
｝
｝

上記の擬似コードから分かるように、上記のコードと比較する際、追加の処理は必要ない。ゼロとの１つの比較のみが必要であり、コード実行中に、非ゼロ値との２つの比較のうち一方がさらに実行される。

図１０は、本発明の一実施形態に係る方法を示すフローチャートである。ブロック１０１０の各ラインに対し、決定パラメータが算出される。これは、対象ブロックおよびその隣接ブロック間の境界における、サンプルラインを形成するサンプルである隣接サンプルの加重和を算出することにより（１０２０）、行われる。サンプルラインは、ブロックの列または行であってもよい。サンプルは例えば、上述したような画素ｐ０_ｉ、ｑ０_ｉ、ｐ１_ｉ、ｑ１_ｉである。この場合、垂直境界をデブロッキングするため、サンプルはブロックの行を形成する。一方で、本発明は、水平境界のデブロッキングフィルタリングに同様に適用される。この場合、フィルタリング対象のまたはフィルタリングに用いる画素が、列を形成する。加重和の算出（１０２０）後、オフセット値を決定する（１０３０）。オフセット値は、加重和の値によって決まる。オフセット値は、加重和に加算される（１０４０）。そのようにして得られたオフセット加オフセット値加算後の加重和は、所定のビット数分、右へシフトされる（１０５０）。このシフトにより、整数割り算が行われる。これは、輝度サンプルおよびクロミナンスサンプルに別々に行ってもよい。

決定パラメータは、オフセット加算後にシフトした加重和に対応する。決定パラメータはさらに、デブロッキングフィルタが境界で対象ブロックのサンプルに適用されるか否かについての判断（１０６０）に用いてもよい。１０７０において、デブロッキングフィルタリングが適用される（ステップ１２７０で「ｙｅｓ」）と判断された場合、ラインがデブロッキングされる（１２８０）。つまり、境界における対象ブロックのサンプル（例えば、ｐ０’_ｉ）がフィルタリングされる。１０７０で異なる判断がなされた場合（ステップ１２７０「ｎｏ」）、デブロッキングフィルタリングは、同サンプルおよび／またはライン全体に対して適用されない。しかしながら、決定プロセスは必ずしも行わなければならないものではない。輝度サンプルに対してのみ算出された決定パラメータに基づき、決定プロセスを実行することは有利かもしれない。クロミナンスサンプルについては、デブロッキングフィルタを適用するか否かの決定を省いてもよく、そのままフィルタリングしてもよい。しかしながら、本発明はまた、輝度およびクロミナンスの上記の異なるハンドリンクに限定されることはない。一般的に、決定プロセスは全く行われる必要はなく、決定パラメータに基づき、フィルタの選択および／またはフィルタリングを行ってもよい。したがって、決定パラメータは、サンプルの修正（フィルタリング）に用いてもよいため、「サンプル修正パラメータ」と呼んでもよい。

本発明の一実施形態によると、加重和が正の場合、オフセット値は第１の値をとる。加重和が負の場合、オフセット値は第１の値とは異なる第２の値をとる。加重和の値が０の場合、第１の値、第２の値および第１の値のうちどれをとるのかについて、さらに定義してもよい。加重和の平均が決定パラメータの平均と一致するように、第１の値および第２の値が有利に決定される。このように、右へのシフトとして実行される整数割り算の演算により、作為的な平均値のシフトが行われることはない。

有利には、所定のビット数が４である場合、第１の値は６であり第２の値は９である、または、第１の値は７であり第２の値は８である。有利には、所定のビット数が３である場合、第１の値は２であり第２の値は５である。さらに別のケースでは、所定のビット数が１である場合、第１の値は０であってもよく第２の値は１であってもよい。なお、上記の値を交換してもよい。つまり、第１の値を第２値にし、第２の値を第１の値にしてもよい。輝度サンプルのデブロッキングフィルタリングには、サイズ４の所定値（シフトするビット数）が一般的に利用される。また、輝度のフィルタリングには、一般的に１ビットのシフト値を用いる。一方で、３ビット分のシフトに用いられる所定値は一般的に、画像のクロミナンス部分をフィルタリングするため用いられる。

本発明の好適な実施形態によると、同方法はさらに、決定パラメータの絶対値をクリッピング値にクリッピングすることにより、フィルタリングパラメータを算出するステップをさらに含む。フィルタリングパラメータは、対象ブロックの境界におけるサンプルのフィルタリングに用いられる。特に、フィルタリングパラメータをサンプルに加えることにより、フィルタリングを行うが、その結果をクリッピングしてもよい。処理を簡素化し算出による負荷を抑えるため、以下のステップにより、決定パラメータおよびフィルタリングパラメータを算出してもよい。

まず、ラインの画素値の加重和を算出する。加重和が０より大きい場合、第１の値により加重和を相殺し、所定のビット数分シフトさせて決定パラメータを取得する。決定パラメータがクリッピング値よりも大きい場合、決定パラメータをクリッピング値にクリッピングすることにより、フィルタリングパラメータを取得する。そうでない場合、フィルタリングパラメータは決定パラメータと一致する。

一方で、加重和が０以下の場合、第２の値により加重和を相殺し、所定のビット数分シフトさせて決定パラメータを取得する。決定パラメータが負のクリッピング値よりも小さい場合、決定パラメータを負のクリッピング値にクリッピングすることにより、フィルタリングパラメータを取得する。そうでない場合、フィルタリングパラメータは決定パラメータと一致する。上記において、クリッピング値は正の整数であるとする。

上述したように、デブロッキングフィルタリングを行う際、整数処理により、効率損失および／または品質損失が生じる可能性があり、デブロッキング処理により、追加の量子化誤差が生じる可能性がある。

本発明の別の態様によると、強いフィルタリング、弱いフィルタリング、および、フィルタリングを行わないという３つの選択の割合を制御することにより、主観的品質を調整することに加えて、デブロッキングフィルタによる最大限の修正を制御する。これにより、デブロッキングで生じる量子化誤差を制限することによる客観的品質の調整が可能になる。したがって、客観的品質は、主観的品質とは無関係に調整することが可能であり、最適な方法で調整される。特に、ＨＭ４．０では、閾値ｔ_ｃが以下のように決定される。
ここで、

パラメータＱＰ_ｍａｘは最大可能ＱＰ値を示す。この値は通常５１であり、上限のクリッピング閾値５５分のＱＰ_ｍａｘ＋４となる。パラメータ「ｂｉｔｄｅｐｔｈｓｃａｌｅ」は、換算係数であり、デブロッキング対象のサンプルのビット深度によって決まる。例えば、入力信号が８のビット深度を有する一方、内部ビット深度は１０でもよい。パラメータＢＳは「境界強度」を示し、その値は通常、イントラ予測とインター予測との間で異なる。例えば、イントラ予測の場合、２または３の値をとってもよく、インター予測の場合、０、１または２の値をとってもよい。

ｔｃｔａｂｌｅは、とり得る値の範囲を示す。例えば、以下の通りである。
Ｃｏｎｓｔ ＵＣｈａｒ ｔｃｔａｂｌｅ＿８Ｘ８ ［５６］ ＝
｛
０， ０， ０， ０， ０， ０， ０， ０， ０， ０， ０， ０， ０，
０， ０， ０， ０， ０， １， １， １， １， １， １， １， １， １， ２， ２， ２， ２， ３， ３， ３， ３， ４， ４， ４， ５， ５， ６， ６， ７， ８， ９， ９， １０， １０， １１， １１， １２， １２， １３， １３， １４， １４
｝ ；

同様に、閾値βは以下のよう決定される。

「ｂｅｔａｔａｂｌｅ」は、例えば、以下のように定義される。
Ｃｏｎｓｔ ＵＣｈａｒ ｂｅｔａｔａｂｌｅ＿８Ｘ８ ［５２］ ＝
｛
０， ０， ０， ０， ０， ０， ０， ０， ０， ０， ０， ０， ０，
０， ０， ０， ６， ７， ８， ９， １０， １１， １２， １３， １４， １５， １６， １７， １８， ２０， ２２， ２４， ２６， ２８， ３０， ３２， ３４， ３６， ３８， ４０， ４２， ４４， ４６， ４８， ５０， ５２， ５４， ５６， ５８， ６０， ６２， ６４
｝；

ＪＣＴＶＣ−Ｆ１４３の「ＣＥ１２：スライスレベルのデブロッキングフィルタパラメータの調整」では、スライスヘッダ内で符号化された追加のオフセット値を用いることにより、以下のように、閾値ｔ_ｃを求めることが提案されている。

ここで、ｔｃｔａｂｌｅは上述したものと同じである。

同様に、ＪＣＴＶＣ−Ｆ１４３では、以下のように、スライスヘッダで符号化された追加のオフセット値を閾値βの算出に加算することが提案されている。

ＪＣＴＶＣ−Ｆ１４３の追加のオフセット値は、ブロック全体に対するデブロッキングの有効性または非有効性に影響を及ぼす。特に、ブロックは、背景技術の項で説明したように、以下の場合のみにフィルタリングされる。
ｄ ＝ ｄ_ｑ ＋ ｄ_ｐ ＜ β

デブロッキングフィルタリングが可能な場合、パラメータβはさらに、強いフィルタリングと弱いフィルタリングとの割合の調整に用いられる。各ラインまたは各列に対して、弱いフィルタと強いフィルタのどちらを適用するのか、また、境界に２番目に近い画素（ｐ１_ｉ、ｑ１_ｉ）をデブロッキングするか否かについての決定に用いられる。しかしながら、強いフィルタリング処理自体に影響はない。

弱いフィルタを適用するか否かについての決定を行う際、閾値ｔ_ｃが用いられる。また、パラメータｔ_ｃはさらに、上述のような、パラメータデルタ１の算出、および、サンプルｐ０’_ｉおよびｑ０’_ｉの実際のフィルタリングに用いられる。パラメータｔ_ｃはさらに、デブロッキングフィルタによる最大限の修正を調整する（背景技術の項に記載のフィルタリング処理のｃｌｉｐ３値であるａおよびｂを参照）。

本発明の一実施形態によると、ピクチャレベル、スライスレベル、または、シーケンスレベルで伝送してもよい高度なパラメータにより、デブロッキングフィルタリングはさらに高度に制御される。特に、デブロッキングフィルタリングは、パラメータｔ_ｃおよびパラメータβにより、（背景技術の項で示されるように）制御される。これらのパラメータは、フィルタリングの強度を決定することに用いられる。さらに／または、フィルタリングを適用するか否かの決定に用いられる。フィルタ適用中のクリッピング処理にも直接的な影響がある。弱い／強いフィルタリングを適用するか否かの決定は主に、主観的な画質に影響を及ぼす。これに対して、クリッピング処理は主に客観的品質に影響を及ぼすと考えられる。本発明により、デブロッキングフィルタリングにおける客観的品質および主観的品質に関わる処理を別々に制御することが可能になる。

これにより、デブロッキング決定の異なる処理、および、スライスヘッダで提示されてもよい（スライスヘッダに埋め込まれてもよい）異なるオフセット値によるフィルタリング処理において、閾値ｔ_ｃは異なる。特に、第１の閾値ｔ_ｃ１は、以下のように算出してもよい。

第２の閾値ｔ_ｃ２は、以下のように定義してもよい。

つまり、算出済みオフセット（ｔｃ_{ｏｆｆｓｅｔ}）およびビットストリーム中で示される第１の値（ｔｃ_{ｏｆｆｓｅｔ、ｃｏｄｅｄ}）により、量子化パラメータ（ＱＰ）に基づき、第１のパラメータｔ_ｃ１は取得される。算出済みオフセット（ｔｃ_{ｏｆｆｓｅｔ}）およびビットストリーム中で示される第２の値（ｔｃ_{ｏｆｆｓｅｔ２、ｃｏｄｅｄ}）により、量子化パラメータ（ＱＰ）に基づき、第２のパラメータｔ_ｃ２は取得される。

２つの異なる閾値ｔ_ｃ１およびｔ_ｃ２は、以下のように、デブロッキングフィルタの決定および選択の一連の工程に用いられる。従来技術で示されるように、８×８画素のブロック全体に対し、デブロッキングフィルタを適用するか否かの決定を行ってもよい。特定のラインまたは画素列に対して、強いデブロッキングフィルタと弱いデブロッキングフィルタのどちらを適用するかについての決定が、第１の閾値ｔ_ｃ１に基づき行われる。特に、以下の場合には、強いフィルタが適用される。

全ての場合において、弱いデブロッキングフィルタが適用される。したがって、第１のパラメータ（閾値）ｔ_ｃ１は、主観的品質の制御に用いられる。つまり、弱いフィルタリングまたは強いフィルタリングの適用（に関する決定）の制御に用いられる。

発明の背景技術に示される方法と同様に、つまり、以下のように、デルタ値は算出される。

弱いフィルタ処理を行うべきか否かについての決定もまた、第１の閾値ｔ_ｃ１に基づいて行ってもよい。特に、以下の場合、フィルタリングのみが適用される。

そうでない場合、ラインｉに対してフィルタリングは全く適用されない。弱いデブロッキングフィルタを適用することが決定された場合、ブロック境界にある画素ｐ０’_ｉおよびｑ０’_ｉがフィルタリングされる。本発明の本実施形態によると、閾値ｔ_ｃ２の第２の値は、フィルタリングの実施に用いられる。以下のようにフィルタリングを行ってもよい。
および／または

２つのブロックＡおよびＢの境界にある画素をフィルタリングした後、当該境界から２番目に近いブロックＡの画素ｐ１’_ｉおよびブロックＢの画素ｑ１’_ｉにもフィルタリングを適用するか否かの決定を行ってもよい。特にこれら２画素は、以下の場合のみ、それぞれフィルタリングされる。
および

フィルタ画素ｐ１’_ｉをフィルタリングすることを決定した場合、第２の閾値ｔ_ｃ２を用いて画素ｐ１’_ｉをフィルタリングする。これは、第２の閾値がフィルタリング処理を制御し、クリッピング処理に影響を与えることにより、客観的品質へ影響を及ぼすからである。以下のようにフィルタリングを行ってもよい。

同様に、画素ｑ１’_ｉをフィルタリングすることを決定した場合、以下のようにフィルタリングを行ってもよい。

したがって、第２のパラメータ（閾値）ｔ_ｃ２は、フィルタリング処理に用いられる。特に、第２のパラメータは、最大（上限）および最小（下限）のクリッピング値（上述のような、ｃｌｉｐ３処理のａおよびｂ）を制御する。パラメータｔ_ｃ１およびｔ_ｃ２は、別々に決定される。上述したように、それらの値は異なってもよい。

有利には、以下に示すように、強いフィルタリングは、閾値ｔ_ｃ３にも基づく。

第３のパラメータｔ_ｃ３は、「強いフィルタ」、つまり、ブロックの境界に最も近い３つのサンプル（画素）に対し適用するフィルタのフィルタ処理を制御する。特に、フィルタリング後のサンプルに追加されたオフセット値を算出する場合、上限および下限のクリッピング閾値（−ｔｃ３、ｔｃ３）を設定することにより、フィルタリングを制御する。このオフセット値は、所定値により相殺され所定のビット数分シフトされた、ブロックＡおよびＢの境界周辺の画素の加重和として算出される。

第３の閾値ｔ_ｃ３は第２の閾値ｔ_ｃ２と同じであってもよい。フィルタリング処理に直接的に影響を与えることにより、第３の閾値ｔ_ｃ３および第２の閾値ｔ_ｃ２は客観的品質を制御する。しかしながら、スライスレベルで、または、フレームレベル、ブロックレベル、または、複数のフレームの各レベルなどの別のレベルで、符号化され、ビットストリームに埋め込まれる閾値ｔ_ｃ１およびｔ_ｃ２とは別に、第３の値ｔ_ｃ３を決定してもよい。

異なる閾値ｔ_ｃ１およびｔ_ｃ２の使用により、符号化効率が改善される。これらの閾値は、ｔｃ_{ｏｆｆｓｅｔ、ｃｏｄｅｄ}およびｔｃ_{ｏｆｆｓｅｔ２、ｃｏｄｅｄ}の使用により最適化されたレート歪みであってもよい。

図１１は、本発明の一実施形態による、２つの閾値を適用した場合の符号化効率の改善を示す図であり、ＨＭ４．０およびＪＣＴＶＣ−Ｆ１４３の符号化効率と比較している。図１１は、データ速度の関数として、ノイズ比（ｄＢ）に対するピーク信号を示す図である。これらの結果を得るため、値がＱＰ＝３７であり、予測構造が低遅延で高効率の量子化パラメータを用いることにより、ビデオシーケンス「ｂａｓｋｅｔｂａｌｌ−ｐａｓｓ」を圧縮した。本発明の符号化効率は、ＩＳＯおよびＩＴＵの標準化活動で通常用いられる符号化の条件に基づき、イントラのみの構造つまり空間予測に対して評価される（文献ＪＣＴＶＣ−Ｅ７００： ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝２４５４を参照）。図１１から分かるように、ｔｃ_{ｏｆｆｓｅｔ}、ｃｏｄｅｄ＝−５およびβ_{ｏｆｆｅｔ}、_{ｃｏｄｅｄ}＝−２を用いて主観的品質を調整することにより、符号化効率を低下させることが、ＪＣＴＶＣ−Ｆ１４３で提案されている。本発明の上記の実施形態では、主観的品質を維持することが可能である。なぜなら、第１のパラメータｔ_ｃ１は、第２のパラメータｔ_ｃ２とは別に設定され、独立して構成してもよいからである。同時に、客観的画質は、独立したパラメータｔ_ｃ２により改善される。上述したように、クリッピング前に加算される変更可能なオフセット値に応じて、パラメータｔ_ｃ１およびｔ_ｃ２は異なる。レート歪みの最適化により取得した２つの異なるオフセット値を用いることで、本発明の本実施形態により、符号化効率が改善される。

本発明は、上述したような例に限定されない。一般的に、各決定処理（フィルタを適用するか否かの決定、または、特定のサンプル、ライン、または、ブロックに適用するフィルタの決定）と、各フィルタリング処理に対し、個別パラメータを用いてもよい。

個別パラメータ値により、画像の内容および特徴に対しより柔軟に適応することが可能になり、より高い符号化効率が達成される可能性がある。デブロッキングフィルタリングの決定および適用に用いられる個別パラメータを信号伝達することにより生じる負荷を削減するため、差分符号化により、または、有利なエントロピー符号化の利用より、パラメータをさらに符号化してもよい。例えば、第１のオフセット値ｔｃ_{ｏｆｆｓｅｔ、ｃｏｄｅｄ}を明示的に符号化し、残りのオフセット値（閾値ｔ_ｃ３を算出するために用いられてもよいｔｃ_{ｏｆｆｓｅｔ、ｃｏｄｅｄ２}またはｔｃ_{ｏｆｆｓｅｔ、ｃｏｄｅｄ３}、または、他の追加オフセット値）を、第１オフセット値との差分または相互差分として符号化してもよい。

あるいは、閾値ｔ_ｃを以下のように決定してもよい。

したがって、追加のオフセット値が、ｔｃｔａｂｌｅの値にそのまま加算される。このオフセット値は、スライスヘッダ内で符号化され伝達されてもよい。上記の例と同様に、フィルタの決定（強いフィルタまたは弱いフィルタ）およびフィルタリング処理（例えば、クリッピングの制御）それぞれに対し、テーブルオフセット値を決定してもよい。追加のオフセット値により、値ｔ_ｃのより細かい調整が可能になる。これは、上記のｔｃｔａｂｌｅの例示的な値が想定される場合、１４より大きな値をとることも可能になるからである。

同様にして、閾値βに対するより高度な適応は、以下のように行われてもよい。

上記のｂｅｔａｔａｂｌｅの例示的な値が想定される場合、β＝５５などの追加の値をとることも可能なため、追加のオフセット値β_{ｏｆｆｓｅｔ}、_{ｃｏｄｅｄ}を用いて、より細かい調整を達成してもよい。

なお、上記例により、本発明をこの特定のフィルタリング処理に限定することはない。例えば、上記例は主に、輝度サンプルの一般的なフィルタリングに関して説明した。しかしながら、本発明は、クロミナンスサンプルに適用されるようなフィルタリング、例えば、ブロック内の特定のラインをフィルタリングするか否かの決定を行うことなく実施するフィルタリングにも適用可能である。上記の実施例の着想は、主観的品質および客観的品質の制御を別々に行えるようにすることである。特に、デブロッキングフィルタを適用するか否かの決定、および、クリッピングなどフィルタリング処理に含まれる処理を制御することで行うフィルタリング処理を別々に制御するため、高度なパラメータが用いられる。この着想は、上述の処理の一部のみに当てはめてもよい。なお、上記例の説明からも、ＨＥＶＣの特定のフィルタリングに限定されることはない。

本発明のさらなる実施形態を以下のように要約する。画像の対象ブロックのサンプルをデブロッキングフィルタリングする方法であって、対象ブロックとその隣接ブロックとの間の境界で、サンプルラインを形成する隣接サンプルの加重和を算出するステップと、加重和の値によって決まるオフセット値を加重和に加算し、オフセット値加算後の加重和を所定のビット数分、右にシフトするステップとにより、サンプル修正パラメータを決定するステップと、サンプル修正パラメータにより、オフセット値を含むサンプルにデブロッキングフィルタを適用するステップとを含む、方法である。

有利には、オフセット値は、加重和が正の場合に第１の値を有し、加重和が負の場合に第１の値と異なる第２の値を有する。所定のビット数分、左にシフトされたサンプル修正パラメータの平均と加重和の平均とが一致するように、第１の値および第２の値は決定される。具体的には、所定のビット数は４、第１の値は６、第２の値は９、または、第１の値は７、第２の値は８である。または、所定のビット数は３、第１の値は２、第２の値は５である。または、所定のビット数は１、第１の値は０、第２の値は１である。

同方法はさらに、サンプル修正パラメータの絶対値をクリッピング値にクリッピングすることによりフィルタリングパラメータを算出するステップと、フィルタリングパラメータをサンプルに加算することを含む前記サンプルをフィルタリングするステップとを含んでもよい。ここで、サンプル修正パラメータおよびフィルタリングパラメータは、加重和を算出する以下のステップにより算出される。加重和がゼロより大きい場合、加重和を第１の値により相殺し、所定のビット数分シフトして、サンプル修正パラメータを取得する。サンプル修正パラメータがクリッピング値よりも大きい場合、サンプル修正パラメータをクリッピング値にクリッピングすることにより、フィルタリングパラメータを取得する。そうでない場合、フィルタリングパラメータはサンプル修正パラメータと一致する。一方、加重和が０以下の場合、加重和を第２の値により相殺し、所定のビット数分シフトして、サンプル修正パラメータを取得する。サンプル修正パラメータが負のクリッピング値よりも小さい場合、サンプル修正パラメータを負のクリッピング値にクリッピングすることにより、フィルタリングパラメータを取得する。そうでない場合、フィルタリングパラメータは、サンプル修正パラメータと一致する。

同方法は、前記境界において、前記対象ブロックの前記サンプルにデブロッキングフィルタが適用されるか否かを、前記サンプル修正パラメータに基づき判断するステップ、および／または、前記判断ステップの結果に応じて、前記デブロッキングフィルタを前記サンプルに適用するステップまたは適用しないステップを含んでもよい。

別の実施形態は、画像の対象ブロックのサンプルをデブロッキングフィルタリングする方法を提供する。同方法は、決定値と所定の閾値との比較に基づき、デブロッキングフィルタを適用するか否かを決定するステップと、サンプル修正値でサンプルを相殺する処理を含む、サンプルをフィルタリングするステップと、サンプルに関連する量子化パラメータにオフセット値を加算する処理を含む、所定の閾値およびサンプル修正値を算出するステップとを含み、所定の閾値の算出とサンプル修正値の算出において、オフセット値が別々に決定される。

有利には、所定の閾値を算出する各オフセット値およびサンプル修正値を算出する個別オフセット値はどちらも、符号化画像データのビットストリームに含まれる。

別の実施形態が提示するのは、画像の対象ブロックのサンプルをデブロッキングフィルタリングする装置であって、対象ブロックとその隣接ブロックとの境界で、サンプルラインを形成する隣接サンプルの加重和を算出する合計算出部と、加重和の値によって決まるオフセット値を加重和に加算する加算部と、オフセット値加算後の加重和を所定のビット数分、右にシフトするシフト部とを備える、サンプル修正パラメータを決定する算出部と、サンプル修正パラメータにより、オフセット処理を含む、デブロッキングフィルタをサンプルに適用するフィルタリング部とを備える装置である。

有利には、オフセット値は、加重和が正の場合に第１の値を有し、加重和が負の場合に第１の値と異なる第２の値を有する。所定のビット数分、左にシフトされたサンプル修正パラメータの平均と加重和の平均とが一致するように、第１の値および第２の値は決定される。

具体的には、所定のビット数は４、第１の値は６、第２の値は９、または、第１の値は７、第２の値は８である。または、所定のビット数は３、第１の値は２、第２の値は５である。または、所定のビット数は１、第１の値は０、第２の値は１である。

有利には、算出部は、サンプル修正パラメータの絶対値をクリッピング値にクリッピングすることによりフィルタリングパラメータを算出し、フィルタリングパラメータをサンプルに加算する処理を含む前記サンプルのフィルタリングを行う。ここで、以下のように、合計算出部により加重和を算出し、算出部は、サンプル修正パラメータおよびフィルタリングパラメータを算出する。加重和がゼロより大きい場合、加算部は、加重和を第１の値により相殺し、所定のビット数分シフトして、サンプル修正パラメータを取得する。サンプル修正パラメータがクリッピング値よりも大きい場合、算出部は、サンプル修正パラメータをクリッピング値にクリッピングすることにより、フィルタリングパラメータを取得する。そうでない場合、フィルタリングパラメータはサンプル修正パラメータと一致する。一方、加重和が０以下の場合、加算部は、加重和を第２の値により相殺し、所定のビット数分シフトして、サンプル修正パラメータを取得する。サンプル修正パラメータが負のクリッピング値よりも小さい場合、算出部は、サンプル修正パラメータを負のクリッピング値にクリッピングすることにより、フィルタリングパラメータを取得する。そうでない場合、フィルタリングパラメータは、サンプル修正パラメータと一致する。

また、同装置はさらに、前記境界で前記対象ブロックの前記サンプルにデブロッキングフィルタが適用されるか否かを、前記サンプル修正パラメータに基づき判断する判断部および／または、前記判断結果に応じて、前記デブロッキングフィルタを前記サンプルに適用するまたは適用しない、前記フィルタリング部を備えてもよい。

別の実施形態は、画像の対象ブロックのサンプルをデブロッキングフィルタリングする装置を提供する。同装置は、決定値と所定の閾値との比較に基づき、デブロッキングフィルタを適用するか否かを判断する判断部と、サンプル修正値でサンプルを相殺する処理を含む、サンプルのフィルタリングを行うフィルタリング部と、サンプルに関連する量子化パラメータにオフセット値を加算する処理を含む、所定の閾値およびサンプル修正値の算出を行う算出部とを備え、所定の閾値の算出とサンプル修正値の算出において、オフセット値が別々に決定される。

有利には、所定の閾値を算出する各オフセット値およびサンプル修正値を算出する個別オフセット値はどちらも、符号化後の画像データのビットストリームに含まれる。

上記各実施の形態で示した動画像符号化方法（画像符号化方法）または動画像復号化方法（画像復号方法）の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）や動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

（実施の形態Ａ）
図１２は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０６からｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図１２のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６からｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ
Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い（即ち、カメラは、本発明の一態様に係る画像符号化装置として機能する）、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図１３に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した多重化データを読み取り復号化する、または記録メディアｅｘ２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、多重化データが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図１４は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナｅｘ３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ｅｘ３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ｅｘ３０６で符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５（本発明の一態様に係る画像符号化装置または画像復号装置として機能する）を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した多重化データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から多重化データを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図１５に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１、ｅｘ４０２、ｅｘ４０３、ｅｘ４０４、ｅｘ４０５、ｅｘ４０６、ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図１６に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図１４に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。

図１７Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ３５０、映像、静止画を撮ることが可能なカメラ部ｅｘ３６５、カメラ部ｅｘ３６５で撮像した映像、アンテナｅｘ３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ３５８を備える。携帯電話ｅｘ１１４は、さらに、操作キー部ｅｘ３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ｅｘ３５７、音声を入力するためのマイク等である音声入力部ｅｘ３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ｅｘ３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ｅｘ３６４を備える。

さらに、携帯電話ｅｘ１１４の構成例について、図１７Ｂを用いて説明する。携帯電話ｅｘ１１４は、表示部ｅｘ３５８及び操作キー部ｅｘ３６６を備えた本体部の各部を統括的に制御する主制御部ｅｘ３６０に対して、電源回路部ｅｘ３６１、操作入力制御部ｅｘ３６２、映像信号処理部ｅｘ３５５、カメラインタフェース部ｅｘ３６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３５９、変調／復調部ｅｘ３５２、多重／分離部ｅｘ３５３、音声信号処理部ｅｘ３５４、スロット部ｅｘ３６４、メモリ部ｅｘ３６７がバスｅｘ３７０を介して互いに接続されている。

電源回路部ｅｘ３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ３６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ３５６で収音した音声信号を音声信号処理部ｅｘ３５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ３５２でスペクトラム拡散処理し、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ３５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ３５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ３５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ｅｘ３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３６２を介して主制御部ｅｘ３６０に送出される。主制御部ｅｘ３６０は、テキストデータを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して基地局ｅｘ１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ３５５は、カメラ部ｅｘ３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し（即ち、本発明の一態様に係る画像符号化装置として機能する）、符号化された映像データを多重／分離部ｅｘ３５３に送出する。また、音声信号処理部ｅｘ３５４は、映像、静止画等をカメラ部ｅｘ３６５で撮像中に音声入力部ｅｘ３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ３５３に送出する。

多重／分離部ｅｘ３５３は、映像信号処理部ｅｘ３５５から供給された符号化された映像データと音声信号処理部ｅｘ３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ３５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３７０を介して符号化された映像データを映像信号処理部ｅｘ３５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ３５４に供給する。映像信号処理部ｅｘ３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し（即ち、本発明の一態様に係る画像復号装置として機能する）、ＬＣＤ制御部ｅｘ３５９を介して表示部ｅｘ３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ３５４は、音声信号を復号し、音声出力部ｅｘ３５７から音声が出力される。

また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態Ｂ）
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図１８は、多重化データの構成を示す図である。図１８に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図１９は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームｅｘ２３５、複数のオーディオフレームからなるオーディオストリームｅｘ２３８を、それぞれＰＥＳパケット列ｅｘ２３６およびｅｘ２３９に変換し、ＴＳパケットｅｘ２３７およびｅｘ２４０に変換する。同じくプレゼンテーショングラフィックスストリームｅｘ２４１およびインタラクティブグラフィックスｅｘ２４４のデータをそれぞれＰＥＳパケット列ｅｘ２４２およびｅｘ２４５に変換し、さらにＴＳパケットｅｘ２４３およびｅｘ２４６に変換する。多重化データｅｘ２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図２０は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図２０における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図２０の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図２１は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図２１下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図２２はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図２３に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図２３に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図２４に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、本実施の形態における動画像復号化方法のステップを図２５に示す。ステップｅｘＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップｅｘＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップｅｘＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップｅｘＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

（実施の形態Ｃ）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図２６に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１、ｅｘ５０２、ｅｘ５０３、ｅｘ５０４、ｅｘ５０５、ｅｘ５０６、ｅｘ５０７、ｅｘ５０８、ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力された多重化データは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ｅｘ５０１が、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有するとしているが、制御部ｅｘ５０１の構成は、この構成に限らない。例えば、信号処理部ｅｘ５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ｅｘ５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵｅｘ５０２が信号処理部ｅｘ５０７、または信号処理部ｅｘ５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ｅｘ５０１は、信号処理部ｅｘ５０７、またはその一部を有するＣＰＵｅｘ５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ
Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（実施の形態Ｄ）
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩｅｘ５００において、従来の規格に準拠する映像データを復号する際のＣＰＵｅｘ５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビｅｘ３００、ＬＳＩｅｘ５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図２７は、本実施の形態における構成ｅｘ８００を示している。駆動周波数切替え部ｅｘ８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ｅｘ８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ｅｘ８０３は、図２６のＣＰＵｅｘ５０２と駆動周波数制御部ｅｘ５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１、および、従来の規格に準拠する復号処理部ｅｘ８０２は、図２６の信号処理部ｅｘ５０７に該当する。ＣＰＵｅｘ５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵｅｘ５０２からの信号に基づいて、駆動周波数制御部ｅｘ５１２は、駆動周波数を設定する。また、ＣＰＵｅｘ５０２からの信号に基づいて、信号処理部ｅｘ５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態Ｂで記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態Ｂで記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵｅｘ５０２における駆動周波数の選択は、例えば、図２９のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファｅｘ５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵｅｘ５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図２８は、本実施の形態の方法を実施するステップを示している。まず、ステップｅｘＳ２００では、信号処理部ｅｘ５０７において、多重化データから識別情報を取得する。次に、ステップｅｘＳ２０１では、ＣＰＵｅｘ５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップｅｘＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップｅｘＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵｅｘ５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

（実施の形態Ｅ）
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩｅｘ５００の信号処理部ｅｘ５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ｅｘ５０７を個別に用いると、ＬＳＩｅｘ５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図３０Ａのｅｘ９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ｅｘ９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明の一態様に特有の他の処理内容については、専用の復号処理部ｅｘ９０１を用いるという構成が考えられる。特に、本発明の一態様は、逆量子化に特徴を有していることから、例えば、逆量子化については専用の復号処理部ｅｘ９０１を用い、それ以外のエントロピー復号、デブロッキング・フィルタ、動き補償のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図３０Ｂのｅｘ１０００に示す。この例では、本発明の一態様に特有の処理内容に対応した専用の復号処理部ｅｘ１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ｅｘ１００２と、本発明の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ｅｘ１００３とを用いる構成としている。ここで、専用の復号処理部ｅｘ１００１、ｅｘ１００２は、必ずしも本発明の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩｅｘ５００で実装することも可能である。

このように、本発明の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

まとめると、本発明は、画像または映像の符号化および復号におけるブロック境界の平滑化に適用可能なデブロッキングフィルタリングに関する。特に、所定のパラメータに従い、ブロックの境界でデブロッキングフィルタリングがサンプルに適用される。所定のパラメータは、フィルタリングの一部としてサンプルの相殺に用いられる。本発明によると、境界の周辺サンプルの加重和を算出し、加重和の値に応じてある値でその加重和を相殺し、その結果を右に所定のビット数分シフトすることにより、パラメータが求められる。

本発明は、画像または映像の符号化および復号におけるブロック境界の平滑化に適用可能なデブロッキングフィルタリングに関する。具体的には、デブロッキングフィルタリングには弱いものまたは強いものがあり、強いフィルタリングと弱いフィルタリングで行われるクリッピングは異なる。

Claims (2)

1. 画像をブロックごとに符号化する画像符号化装置と、前記画像符号化装置による符号化によって生成された符号化画像をブロックごとに復号する画像復号装置とを有する画像符号化復号装置であって、
   前記画像符号化装置は、
   前記画像を符号化し、さらに復号して再構成画像を生成する第１の再構成部と、
   前記再構成画像に含まれるブロックと、前記ブロックに隣接する隣接ブロックとの境界に対して、強いフィルタ又は弱いフィルタのいずれを適用するかを決定する第１の決定部と、
   前記ブロックの画素及び前記隣接ブロックの画素の線形結合を算出する第１の算出部と、
   前記線形結合を、予め定められたビット数で右へシフト演算する第１のシフト部と、
   前記シフト演算された線形結合をクリッピングすることにより、フィルタされた前記ブロックの画素を生成する第１のクリッピング部と、
   前記強いフィルタを適用する場合には、前記ブロック及び前記隣接ブロックにそれぞれ含まれる３つの画素をフィルタリングし、前記弱いフィルタを適用する場合には、前記ブロック及び前記隣接ブロックにそれぞれ含まれる１又は２の画素をフィルタリングする第１のフィルタリング部と、を含み、
   前記第１のクリッピング部は、
   前記境界に前記強いフィルタを適用する場合には、第１クリッピングパラメータにより設定される第１クリッピング範囲で前記線形結合をクリッピングし、
   前記境界に前記弱いフィルタを適用する場合には、他の条件によらず常に、第２クリッピングパラメータにより設定される第２クリッピング範囲で前記線形結合をクリッピングし、
   前記画像復号装置は、
   前記符号化画像を復号して再構成画像を生成する第２の再構成部と、
   前記再構成画像に含まれるブロックと、前記ブロックに隣接する隣接ブロックとの境界に対して、強いフィルタ又は弱いフィルタのいずれを適用するかを決定する第２の決定部と、
   前記ブロックの画素及び前記隣接ブロックの画素の線形結合を算出する第２の算出部と、
   前記線形結合を、予め定められたビット数で右へシフト演算する第２のシフト部と、
   前記シフト演算された線形結合をクリッピングすることにより、フィルタされた前記ブロックの画素を生成する第２のクリッピング部と、
   前記強いフィルタを適用する場合には、前記ブロック及び前記隣接ブロックにそれぞれ含まれる３つの画素をフィルタリングし、前記弱いフィルタを適用する場合には、前記ブロック及び前記隣接ブロックにそれぞれ含まれる１又は２の画素をフィルタリングする第２のフィルタリング部と、を含み、
   前記第２のクリッピング部は、
   前記境界に前記強いフィルタを適用する場合には、前記第１クリッピングパラメータにより設定される前記第１クリッピング範囲で前記線形結合をクリッピングし、
   前記境界に前記弱いフィルタを適用する場合には、他の条件によらず常に、前記第２クリッピングパラメータにより設定される前記第２クリッピング範囲で前記線形結合をクリッピングし、
   前記第１クリッピングパラメータと前記第２クリッピングパラメータは共に前記境界の強度に依存するが、それぞれから設定される前記第１クリッピング範囲及び前記第２クリッピング範囲は互いに相異なる、
   画像符号化復号装置。
2. 画像をブロックごとに符号化し、符号化によって生成された符号化画像をブロックごとに復号する画像符号化復号装置であって、
   １以上のプロセッサと前記１以上のプロセッサに接続されるストレージを備え、
   前記プロセッサは、
   前記画像を符号化し、さらに復号して再構成画像を生成する第１の再構成ステップと、
   前記ストレージに保持された前記再構成画像に含まれるブロックと、前記ブロックに隣接する隣接ブロックとの境界に対して、強いフィルタ又は弱いフィルタのいずれを適用するかを決定する第１の決定ステップと、
   前記ブロックの画素及び前記隣接ブロックの画素の線形結合を算出する第１の算出ステップと、
   前記線形結合を、予め定められたビット数で右へシフト演算する第１のシフトステップと、
   前記シフト演算された線形結合をクリッピングすることにより、フィルタされた前記ブロックの画素を生成する第１のクリッピングステップと、
   前記強いフィルタを適用する場合には、前記ブロック及び前記隣接ブロックにそれぞれ含まれる３つの画素をフィルタリングし、前記弱いフィルタを適用する場合には、前記ブロック及び前記隣接ブロックにそれぞれ含まれる１又は２の画素をフィルタリングする第１のフィルタリングステップと、を実行し、
   前記第１のクリッピングステップでは、
   前記境界に前記強いフィルタを適用する場合には、第１クリッピングパラメータにより設定される第１クリッピング範囲で前記線形結合をクリッピングし、
   前記境界に前記弱いフィルタを適用する場合には、他の条件によらず常に、第２クリッピングパラメータにより設定される第２クリッピング範囲で前記線形結合をクリッピングし、
   前記プロセッサは、さらに、
   前記符号化画像を復号して再構成画像を生成する第２の再構成ステップと、
   前記ストレージに保持された前記再構成画像に含まれるブロックと、前記ブロックに隣接する隣接ブロックとの境界に対して、強いフィルタ又は弱いフィルタのいずれを適用するかを決定する第２の決定ステップと、
   前記ブロックの画素及び前記隣接ブロックの画素の線形結合を算出する第２の算出ステップと、
   前記線形結合を、予め定められたビット数で右へシフト演算する第２のシフトステップと、
   前記シフト演算された線形結合をクリッピングすることにより、フィルタされた前記ブロックの画素を生成する第２のクリッピングステップと、
   前記強いフィルタを適用する場合には、前記ブロック及び前記隣接ブロックにそれぞれ含まれる３つの画素をフィルタリングし、前記弱いフィルタを適用する場合には、前記ブロック及び前記隣接ブロックにそれぞれ含まれる１又は２の画素をフィルタリングする第２のフィルタリングステップと、を実行し、
   前記第２のクリッピングステップでは、
   前記境界に前記強いフィルタを適用する場合には、前記第１クリッピングパラメータにより設定される前記第１クリッピング範囲で前記線形結合をクリッピングし、
   前記境界に前記弱いフィルタを適用する場合には、他の条件によらず常に、前記第２クリッピングパラメータにより設定される前記第２クリッピング範囲で前記線形結合をクリッピングし、
   前記第１クリッピングパラメータと前記第２クリッピングパラメータは共に前記境界の強度に依存するが、それぞれから設定される前記第１クリッピング範囲及び前記第２クリッピング範囲は互いに相異なる、
   画像符号化復号装置。