JP6090697B2 - 画像復号方法及び画像復号装置 - Google Patents

Description

本発明は、画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置に関する。

現在、標準化された映像符号化アルゴリズムの大半は、ハイブリッド映像符号化に基づいている。ハイブリッド映像符号化法は、通常、いくつかの異なる可逆及び不可逆圧縮方式を組み合わせて用いることで、所望の圧縮ゲインを達成する。また、ハイブリッド映像符号化は、ＩＴＵ−Ｔ標準（Ｈ．２６１及びＨ．２６３のようなＨ．２６ｘ標準）及びＩＳＯ／ＩＥＣ標準（ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４のようなＭＰＥＧ−Ｘ標準）の基礎でもある。現時点で最新かつ最も進んだ映像符号化標準は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣ ＭＰＥＧグループとの共同チームであるＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）により標準化されたＨ．２６４／ＭＰＥＧ−４（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と称される標準規格である。さらに、特に高解像度な映像の符号化効率の改善を目的として、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）により、ＨＥＶＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）という新規格が現在開発中である。

画像符号化装置に入力される映像信号は、複数のフレームを含む画像シーケンスである。各フレームは二次元マトリクス状に配置された複数の画素を含む。ハイブリッド映像符号化に基づく上述の標準規格は全て、各フレームを、各々が複数の画素を含む複数のブロック（単位）に再分割する。このブロックのサイズは、例えば、画像の内容によって異なる。また、通常、このブロック単位で符号化方法が異なる。このブロックの最大サイズは規格に応じて様々である。例えば、ＨＥＶＣでは、ブロックの最大サイズは６４×６４画素である。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣでは、マクロブロック（通常１６×１６画素のブロック）が、符号化が実行される基本となる単位である。また、このマクロブロックは、符号化又は復号処理において、より小さなサブブロックにさらに分割される。このマクロブロックは、ＨＥＶＣにおける最大符号化単位（ＬＣＵ）に対応する。しかしながら、ＨＥＶＣにおいて、符号化及び復号処理を、例えば、４×４、８×８又は１６×１６ブロック等の、より小さな符号化単位で行うこともできる。

通常、ハイブリッド映像符号化の符号化処理は、空間予測及び時間予測を含む。したがって、各符号化対象ブロックに対して、空間的に近傍のブロックと、時間的に近傍のブロック（先行して符号化された映像フレームに含まれるブロック）との、いずれかを用いて予測処理が行われる。その後、予測残差ブロックとも呼ばれる、符号化対象ブロックとその予測値との差分ブロックが、計算される。また、空間（画素）ドメインから周波数ドメインに残差ブロックが変換される。この変換の目的は、入力されたブロックのサンプル間の相関を減らすことである。次に、この変換の結果得られた係数が量子化される。この量子化処理は不可逆変換である。その後、量子化により得られた変換係数が、エントロピー符号化によってさらに小さく（可逆圧縮）される。加えて、符号化映像信号の復号処理に必要な情報も符号化され、当該符号化映像信号と共に送信される。この情報は、例えば、空間予測又は時間予測、及び量子化等についての情報である。

ＩＴＵ−Ｔ ａｎｄ ＩＳＯ／ＩＥＣ"Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ"，ＩＴＵ−Ｔ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４ ＩＳＯ／ＩＥＣ １４４９６−１０ 「ＭＰＥＧ−４ Ｐａｒｔ１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」 ＪＣＴＶＣ−Ｅ６０３，ｆｏｒ ＨＥＶＣ ｍｅｅｔｉｎｇ ｎｕｍｂｅｒ ５ ｉｎ Ｇｅｎｅｖａ ｆｒｏｍ １６−０３−２０１１ ｔｏ ２３−０３−２０１１ ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／

このような符号化映像信号を含むビットストリームにエラーが含まれていることを適切に検出したいという要望がある。

そこで、本発明は、ビットストリームのエラーを適切に検出できる画像復号方法及び画像復号装置を提供することを目的とする。

上記目的を達成するために、本発明の一形態に係る画像復号方法は、ビットストリームを復号する画像復号方法であって、前記ビットストリームから画像サイズを抽出する画像サイズ抽出ステップと、前記ビットストリームから最小符号化単位のサイズを抽出する最小符号化単位サイズ抽出ステップと、前記画像サイズが前記最小符号化単位のサイズの整数倍であるか否かを判定する判定ステップと、前記画像サイズが前記最小符号化単位のサイズの整数倍である場合、前記画像サイズを用いて前記ビットストリームに含まれる符号化画像信号を復号することで第１復号画像を生成する第１復号ステップとを含む。

本発明は、ビットストリームのエラーを適切に検出できる画像復号方法及び画像復号装置を提供できる。

図１は、本発明の実施の形態１に係る画像符号化装置のブロック図である。 図２は、本発明の実施の形態１に係る画像復号装置のブロック図である。 図３は、本発明の実施の形態１に係るピクチャに含まれるブロックの一例を示す図である。 図４は、本発明の実施の形態１に係るパディング処理の一例を示す図である。 図５は、本発明の実施の形態１に係る画像符号化装置のブロック図である。 図６は、本発明の実施の形態１に係る画像符号化方法のフロー図である。 図７は、本発明の実施の形態１に係る画像復号装置のブロック図である。 図８は、本発明の実施の形態１に係る画像復号方法のフロー図である。 図９は、本発明の実施の形態１に係るパディング処理の変形例を示す図である。 図１０は、本発明の実施の形態１に係る画像復号方法の変形例のフロー図である。 図１１は、本発明の実施の形態２に係る画像復号装置のブロック図である。 図１２は、本発明の実施の形態２に係る画像復号方法のフロー図である。 図１３は、本発明の実施の形態２に係るエラー処理のフロー図である。 図１４は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図１５は、デジタル放送用システムの全体構成図である。 図１６は、テレビの構成例を示すブロック図である。 図１７は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図１８は、光ディスクである記録メディアの構造例を示す図である。 図１９Ａは、携帯電話の一例を示す図である。 図１９Ｂは、携帯電話の構成例を示すブロック図である。 図２０は、多重化データの構成を示す図である。 図２１は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図２２は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図２３は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図２４は、ＰＭＴのデータ構成を示す図である。 図２５は、多重化データ情報の内部構成を示す図である。 図２６は、ストリーム属性情報の内部構成を示す図である。 図２７は、映像データを識別するステップを示す図である。 図２８は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。 図２９は、駆動周波数を切り替える構成を示す図である。 図３０は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図３１は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図３２Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図３２Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。

（本発明の基礎となった知見）
本発明者は、以下の問題が生じることを見出した。

まず、本発明の実施の形態に係る画像符号化装置及び画像復号装置の基本的な構成を説明する。

図１は、典型的なＨ．２６４／ＭＰＥＧ−４ ＡＶＣ及びＨＥＶＣに対応する画像符号化装置１００の一例を示すブロック図である。図１に示す画像符号化装置１００は、入力画像信号１２０を符号化することで符号化画像信号１４０を生成する。この画像符号化装置１００は、減算器１０１と、変換部１０２と、量子化部１０３と、逆変換部１０４と、加算器１０５と、デブロッキングフィルタ１０６と、適応ループフィルタ１０７と、参照フレームバッファ１０８と、予測部１０９とを備える。なお、画像符号化装置１００における符号化処理はブロック単位で行われる。

減算器１０１は、符号化対象ブロックの入力画像信号１２０と予測画像信号１２９との差分である残差信号１２１（予測誤差信号）を算出する。この残差信号１２１は、符号化対象ブロックの予測処理に用いられる。また、予測画像信号１２９は、後述する予測部１０９により生成される。ここで、予測処理に用いられる予測タイプは、フレーム毎又はブロック毎に異なる可能性がある。時間予測を用いて予測されたブロック及びフレームはインター符号化されたと称され、空間予測を用いて予測されたブロック及び／フレームは、イントラ符号化されたと称される。時間予測を用いた予測画像信号１２９は、参照フレームバッファ１０８に格納されている画像信号１２８から導出される。この画像信号１２８は、先行して符号化された画像信号に対応する。また、空間予測を用いた予測画像信号は、先行して符号化及び復号された後、参照フレームバッファ１０８に格納された近隣ブロックの画素値から導出される。

変換部１０２は、残差信号１２１を変換することで変換係数１２２を生成する。量子化部１０３は、変換係数１２２を量子化することで量子化係数１２３を生成する。エントロピー符号化部１１０は、格納又は送信されるデータ量をさらに削減するために、量子化係数１２３に可逆方式のエントロピー符号化を行うことで符号化画像信号１４０を生成する。エントロピー符号化は、主に、可変長の符号語を有する符号を適用することによって達成される。この符号語の長さは、発生確率に基づいて選択される。

また、復号画像信号１２５（再構成画像信号）を得るため、画像符号化装置１００には復号部が組み込まれている。

逆変換部１０４は、量子化係数１２３に逆量子化及び逆変換を行うことで残差信号１２４を復元する。この残差信号１２４は、量子化ノイズと呼ばれる量子化誤差により、元の残差信号１２１とは完全には一致しない。加算器１０５は、残差信号１２４と予測画像信号１２９とを加算することで、復号画像信号１２５を生成する。このように、画像符号化装置１００は、画像復号装置と同じ方式を用いて、符号化された後の信号を復号するとともに、復号により得られた信号に基づいて、予測画像信号１２９を算出する。これにより、画像符号化装置側と画像復号装置側との互換性を維持できる。

ここで、量子化の結果、復号画像信号１２５には量子化ノイズが重畳される。また、ブロック単位で符号化されるため、重畳ノイズには多くの場合ブロッキング特性を有する。その結果、特に強い量子化において復号画像に可視ブロック境界ができる。そのようなブロッキングアーチファクトは、人間の視覚にネガティブな影響を与える。これらのアーチファクトを削減する目的で、デブロッキングフィルタ１０６は、復号画像に含まれる全てのブロックにデブロッキングフィルタ処理を行う。デブロッキングフィルタ処理は、一般的にブロックの端部を滑らかにすることで、復号画像の主観的品質を改善する。さらに、画像のフィルタリングされた部分が、後の画像の動き補償予測に用いられる。つまり、このフィルタリングにより予測誤差が削減されることで符号化効率が改善される。

適応ループフィルタ１０７は、デブロッキングフィルタ処理された後の画像信号１２６に適応ループフィルタ（ＡＬＦ）処理を行なう。この適応ループフィルタ処理は画素単位の忠実性（“客観的”品質）の改善を目的とする。特に、適応ループフィルタ処理は、圧縮によって起こる画像歪みの補償に用いられる。この適応ループフィルタ処理は、フレーム全体にも局部領域（ブロック）にも適用できる。また、どの領域をフィルタリングするかを示す追加的な情報が、ブロック毎、フレーム毎、又は四分木単位で送信される。

参照フレームバッファ１０８は、インター符号化されたブロックを復号するために、先行して符号化され、続いて復号された画像部分（画像信号１２７）を格納する。

予測部１０９は、動き補償予測処理を用いたインター予測により予測画像信号１２９を生成する。具体的には、まず、動き予測器が、先行して符号化され復号されたフレームの中から、符号化対象ブロックに最適なブロックを見つける。この最適ブロックは予測画像信号１２９として用いられる。また、符号化対象ブロックとその最適ブロックとの間の相対的なずれ（動き）が、復号画像データと共に送信される。具体的には、このずれ（動き）は、３つの成分の動きベクトルを含む動きデータとして送信される。ここで３つの成分は、２つの空間成分と、１つの時間成分とで構成される。

なお、予測精度を最適化する目的で、動きベクトルを空間小数画素解像度、例えば１／２画素又は１／４画素の解像度で求めてもよい。空間小数画素解像度の動きベクトルは、復号済フレーム内で実際の画素値がない空間位置、つまり小数画素位置を示す。よって、動き補償予測を行うために、そのような画素値を空間的に補完する必要がある。この補完は、例えば、予測部１０９に含まれる補完フィルタによって行われる。

イントラ及びインター符号化モードの両方において、変換部１０２は、対象ブロックの入力画像信号１２０と予測画像信号１２９との差分である残差信号１２１を変換することで変換係数１２２を生成する。量子化部１０３は、変換係数１２２を量子化することで量子化係数１２３を生成する。変換部１０２では、二次元離散コサイン変換（ＤＣＴ）のような直交変換又はその整数バージョンが用いられる。これらの変換は、自然映像の相関を効率的に削減できる。ここで、低周波成分は高周波成分よりも画質にとって重要である。よって、高周波成分の符号化よりも低周波成分の符号化に多くのビットが使われる。

エントロピー符号化部１１０は、量子化係数１２３の二次元マトリクスを一次元配列に変換する。典型的に、この変換はいわゆるジグザグスキャンによって行われる。ジグザグスキャンは、二次元配列の左上角にあるＤＣ係数から始まり、二次元配列を所定の順序で走査し、右下角のＤＣ係数で終わる。エネルギーは、低い周波数に対応する、係数の二次元マトリクスの左上部分に集中しているため、ジグザグスキャンの結果は、通常最後の値がゼロである配列となる。これにより、エントロピー符号化の一部又はその前処理としてランレングス符号を用いることで、効率的な符号化が可能になる。

次に、本実施の形態に係る画像復号装置の構成を説明する。

図２は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ又はＨＥＶＣ映像符号化標準規格に基づく画像復号装置２００を示すブロック図である。図２に示す画像復号装置２００は、符号化画像信号２４０を復号することで画像信号２２７を生成する。この画像復号装置２００は、エントロピー復号部２１０と、逆変換部２０４と、加算器２０５と、デブロッキングフィルタ２０６と、適応ループフィルタ２０７と、参照フレームバッファ２０８と、予測部２０９とを備える。

符号化画像信号２４０は、エントロピー復号部２１０に入力される。エントロピー復号部２１０は、符号化画像信号２４０を復号することで、量子化係数２２３と、動きデータ及び予測モード等といった復号に必要な情報を生成する。量子化係数２２３は、二次元マトリクスを得る目的で逆走査され、その後、逆変換部２０４に送られる。

逆変換部２０４は、量子化係数２２３を逆変換及び逆量子化することで残差信号２２４を生成する。残差信号２２４は、量子化ノイズも誤差もないと仮定した場合の画像符号化装置へ入力された画像信号から予測画像信号を減算して得られた差分に対応する。

予測画像信号２２９は、時間又は空間予測処理により得られる。また、復号された情報は、通常さらに、イントラ予測の場合の予測タイプ、及び動き補償予測の場合の動きデータのような、予測に必要な情報を含む。

加算器２０５は、空間領域の残差信号２２４と、予測画像信号２２９とを加算することで復号画像信号２２５を算出する。デブロッキングフィルタ２０６は、復号画像信号２２５にデブロッキングフィルタ処理を行うことで画像信号２２６を生成する。適応ループフィルタ２０７は、画像信号２２６に適応ループフィルタ処理を行うことで画像信号２２７を生成する。参照フレームバッファ２０８は、画像信号２２７を画像信号２２８として格納する。

ここで、標準化されたハイブリッド映像符号化、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ又はＨＥＶＣは、複数の色成分（ＹＵＶ、ＹＣｂＣｒ、ＲＧＢ、ＲＧＢＡ等）を有する画像信号の符号化に用いられる。予測を目的として、符号化対象画像はブロックに分割される。また、異なるサイズのブロックを用いることができる。そして、利用されるブロックサイズを示す情報が符号化され、送信される。また、標準化された画像符号化装置は、通常、最小ブロックサイズ、例えば４×４サンプルの長方形ブロックを利用する。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ及びＨＥＶＣ標準規格は、ビデオ符号化層（ＶＣＬ）及びネットワーク抽象化層（ＮＡＬ）の、２つの機能層を有する。ビデオ符号化層は、上述したような符号化の機能性を提供する。

ネットワーク抽象化層は、データのチャネルを越える送信及び記憶装置への格納といった用途に合わせて、シンタックス要素を、ＮＡＬユニットと呼ばれる標準単位にカプセル化する。シンタックス要素は、例えば、符号化予測誤差信号、予測タイプ、量子化パラメータ、及び動きベクトル等といった画像信号の復号に必要な情報である。このような標準規格では、圧縮された画像データと関連情報とを含むＶＣＬ ＮＡＬユニットが用いられる。また、当該標準規格では、映像シーケンス全体又はその一部分に関連するパラメータセットである追加データがカプセル化されたｎｏｎ−ＶＣＬユニットが用いられる。また、当該標準規格では、復号精度の改善のために用いられる追加情報を提供する補足的な付加情報（ＳＥＩ）も用いられる。他のｎｏｎ−ＶＣＬ ＮＡＬユニットとして、例えば、ピクチャパラメータセット（ＰＰＳ）及びシーケンスパラメータセット（ＳＰＳ）があり、これらは非特許文献１、非特許文献２のセクション７．３．２．１及び７．３．２．２、並びに非特許文献３のセクション７．３．２．１及び７．３．２．２に記載されている。

ピクチャパラメータセットは、ピクチャに関連する情報を含む。シーケンスパラメータセットは、映像シーケンスに関連する情報を含む。例えば、シーケンスパラメータセットは映像シーケンスに含まれるピクチャのサイズに関する情報を含む。Ｈ．２６４／ＭＰＥＧ４ ＡＶＣにおいて、ピクチャの垂直及び水平サイズは、マクロブロック（１６×１６画素のブロック）数の単位で送信される。したがって、ピクチャの内部サイズは、マクロブロックサイズの倍数である必要ある。

また、原画像が１６×１６の倍数ではない解像度を有する場合、画像符号化装置は、１６×１６の倍数である画像サイズを得るためにバッファの一部にパディングを行う。そして、ピクチャのどの部分が関連するか、つまり、どの部分が画像符号化装置に入力された原画像の信号に対応するかを信号で伝えるために、クロッピングデータがシーケンスパラメータセットに埋め込まれる。Ｈ．２６４／ＭＰＥＧ４ ＡＶＣと比較して、ＨＥＶＣは、輝度サンプル数を示す信号を用いてピクチャサイズを伝えるため、想定されるどのようなサイズの原画像でも信号を伝えることができる。しかしながら、符号化処理には依然として、様々なサイズのブロック（単位）が用いられる。したがって、画像符号化装置及び画像復号装置におけるピクチャの内部サイズは、符号化ブロックサイズの整数倍でなければならない。

一方で、ビットストリームにエラーが含まれていることを適切に検出したいという要望がある。例えば、ビットストリームにエラーが含まれることで、ビットストリームに含まれる情報で示されるピクチャの内部サイズが、符号化ブロックサイズの整数倍でない場合が発生する可能性がある。このような場合には、画像復号装置で復号処理を正しく行えない可能性があるという問題を本発明者は見出した。また、最悪の場合には復号処理が停止してしまう可能性がある。

そこで、本実施の形態は、ビットストリームのエラーを適切に検出できる画像復号方法及び画像復号装置を提供する。

上記問題を解決するために、本発明の一形態に係る画像復号方法は、ビットストリームを復号する画像復号方法であって、前記ビットストリームから画像サイズを抽出する画像サイズ抽出ステップと、前記ビットストリームから最小符号化単位のサイズを抽出する最小符号化単位サイズ抽出ステップと、前記画像サイズが前記最小符号化単位のサイズの整数倍であるか否かを判定する判定ステップと、前記画像サイズが前記最小符号化単位のサイズの整数倍である場合、前記画像サイズを用いて前記ビットストリームに含まれる符号化画像信号を復号することで第１復号画像を生成する第１復号ステップとを含む。

これによれば、本発明の一形態に係る画像復号方法は、ビットストリームのエラーを適切に検出できる。

また、前記画像復号方法は、さらに、前記画像サイズが前記最小符号化単位のサイズの整数倍でない場合、前記ビットストリームにエラーが含まれていると判定するエラー処理ステップを含んでもよい。

また、前記エラー処理ステップは、正しい画像サイズが前記最小符号化単位のサイズの整数倍であると仮定して、仮定した画像サイズを用いて前記ビットストリームに含まれる符号化画像信号を復号することで第２復号画像を生成する第２復号ステップを含んでもよい。

これによれば、本発明の一形態に係る画像復号方法は、ビットストリームに含まれる情報を用いて、パディングされた画像から原画像のサイズの画像を生成できる。

また、前記エラー処理ステップは、前記抽出された画像サイズと前記仮定した画像サイズとの差分に基づき、パディング行数又はパディング列数を算出するパディング数算出ステップと、前記第２復号画像から、前記パディング行数又はパディング列数の画像を切り落とすクロッピングステップとを含んでもよい。

これによれば、本発明の一形態に係る画像復号方法は、ビットストリームにエラーが発生した場合でも、復号画像を生成できる。

また、前記画像復号方法は、さらに、前記画像の上下左右側の１つを示すパディング方向情報を前記ビットストリームから抽出するパディング方向情報抽出ステップを含み、前記クロッピングステップでは、前記第２復号画像から、前記パディング行数又はパディング列数の画像を前記パディング方向情報で示される前記画像の上下左右側のいずれかから切り落としてもよい。

これによれば、本発明の一形態に係る画像復号方法は、ビットストリームに含まれる情報を用いて、パディングされた画像から原画像のサイズの画像を生成できる。

また、前記パディング方向情報抽出ステップでは、前記ビットストリームに含まれる、ピクチャ固有のパラメータセット又はシーケンス固有のパラメータセットから前記パディング方向情報を抽出してもよい。

また、本発明の一形態に係る画像符号化方法は、画像信号を符号化する画像符号化方法であって、画像サイズとして、最小符号化単位のサイズの整数倍である画素数を算出する画像サイズ算出ステップと、前記最小符号化単位のサイズと、前記画素数とを含むビットストリームを生成するビットストリーム生成ステップとを含んでもよい。

これによれば、本発明の一形態に係る画像符号化方法は、画像復号装置において、エラーを適切に検出することができるビットストリームを生成できる。

また、本発明の一形態に係る画像復号装置は、ビットストリームを復号する画像復号装置であって、前記ビットストリームから画像サイズと、最小符号化単位のサイズとを抽出する解析部と、前記画像サイズが前記最小符号化単位のサイズの整数倍であるか否かを判定する判定部と、前記画像サイズが前記最小符号化単位のサイズの整数倍である場合、前記画像サイズを用いて前記ビットストリームに含まれる符号化画像信号を復号することで第１復号画像を生成する画像復号部とを備えてもよい。

これによれば、本発明の一形態に係る画像復号装置は、ビットストリームのエラーを適切に検出できる。

また、本発明の一形態に係る画像符号化装置は、画像信号を符号化する画像符号化装置であって、画像サイズとして、最小符号化単位のサイズの整数倍である画素数を算出する画像サイズ算出部と、前記最小符号化単位のサイズと、前記画素数とを含むビットストリームを生成するビットストリーム生成部とを備えてもよい。

これによれば、本発明の一形態に係る画像符号化装置は、画像復号装置において、エラーを適切に検出することができるビットストリームを生成できる。

また、本発明の一形態に係る画像符号化復号装置は、前記画像符号化装置と、前記画像復号装置とを備えてもよい。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の一態様に係る画像復号化装置および画像符号化装置について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
以下、本発明の実施の形態１に係る画像符号化装置及び画像復号装置について説明する。

符号化対象の映像シーケンスの画像サイズは、画像符号化装置で設定される。その画像サイズは、通常その後、符号化された画像データを含むビットストリームに埋め込まれる。当該ビットストリームは、画像符号化装置と画像復号装置とにおいて同じ方法で解析できるように、情報を埋め込むための予め定義されたフォーマットを有する。画像復号装置は、適宜、ビットストリームから、符号化された画像を復号する。例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおいて、画像サイズはシーケンスパラメータセット（ＳＰＳ）を含むｎｏｎ−ＶＣＬ ＮＡＬユニットに含まれる。シーケンスパラメータセットは通常、ビットストリームの最初に配置される。符号化映像シーケンスに、複数のシーケンスパラメータセットが含まれることがあるが、符号化映像シーケンス全体に有効なシーケンスパラメータセットは、通常１つだけである。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおいて、符号化映像シーケンスはＩＤＲピクチャで始まると定義されている（非特許文献２のセクション７．４．１．２．１参照）。

画像（静止画像又は映像シーケンスに含まれるフレーム）のサイズは、通常、画像の垂直サイズ及び水平サイズで定義される。画像の垂直サイズ及び水平サイズは、異なる単位で示されてもよい。例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣには、マクロブロック数を単位とするピクチャサイズ、つまり１６×１６サイズを単位とするピクチャサイズが示されている。符号化前に、ピクチャは通常、所定サイズのブロックに分割されるので、ピクチャの内部サイズ（装置の内部で符号化に用いられる画像サイズ）は符号化ブロックのサイズの倍数となる。原画像（画像符号化装置に入力された元の画像）が、予め定義された符号化単位（マクロブロック等）の整数倍ではないサイズのとき、画像符号化装置内のピクチャの内部サイズは、原画像のサイズと異なる。この場合、画像復号装置は、画像のサイズを、内部サイズから画像符号化装置側で符号化された原画像に対応するサイズにレンダリングする。よって、画像復号装置においても、内部サイズは、出力（表示）される復号ピクチャのサイズと異なっていてもよい。

原画像サイズをフレキシブルに保ち、画像符号化装置と画像復号装置とでの互換性を保つために、ビットストリーム内にクロッピングデータが含まれる。このクロッピングデータは、ピクチャのどの部分が関連性を有するか、つまり、ピクチャのどの部分が原画像に対応するかを示す。このクロッピングデータは、例えば、ピクチャの下側或いは上側にパディングされる（追加される）行数、又はピクチャの右側或いは左側に追加される列数を示す。ここで行及び列とは、それぞれ二次元配列された画素の行及び列を指す。

ＨＥＶＣ規格は、符号化単位をマクロブロックに限定しない。ピクチャは最大符号化単位（ＬＣＵ）に分割され、さらに、再帰的により小さな符号化単位（ＣＵ）に分割される。ＨＥＶＣの符号化単位は、２の整数乗（１２８、６４、３２、１６、又は８等）に対応するサイズである。符号化シーケンスで使用可能な最小符号化単位のサイズが、シーケンスパラメータセットに含まれ、送信される。また、ピクチャの内部サイズは、常に最小符号化単位（ＳＣＵ）サイズの倍数に制約される。

加えて、ＨＥＶＣでは、画像サイズをブロック数単位で信号伝達しない。ピクチャサイズは、輝度サンプル数単位で信号伝達される。これは、色差成分が、例えばＹＵＶフォーマット４：２：２又は４：２：０の場合に、さらに細分化されてもよいためである。また、許可されない画像サイズもある。さらに、ピクチャの下及び右の境界にパディングする画素数が示される。

本実施の形態は、画像の内部サイズ及び原画像サイズの両方を求めるのに必要な情報をビットストリーム内に示す、より効率的な方法を提供する。これは、画像の内部サイズ及び原画像サイズを求めることに対応する。

さらに、本実施の形態は、輝度サンプル数及びパディング画素数を単位としてピクチャサイズをビットストリーム内に示すのは冗長であるとの見解に基づく。具体的には、ピクチャサイズ（原画像サイズ）は輝度サンプル（画素）数を単位として信号伝達される。この原画像サイズは、必ずしも最小符号化単位サイズの倍数ではない。また、この原画像サイズの情報もビットストリームのシンタックスに含まれ、送信される。

画像復号装置は、最小ＣＵ（符号化単位）サイズを読み込んだ後、信号伝達された最小ＣＵサイズの倍数である内部サイズを得るために必要なパディング画素数を、画像符号化装置と同じ方法で自動的に計算する。よって、ピクチャの内部サイズを明確に求める目的で、パディング情報をビットストリームに追加的に埋め込む必要はない。具体的には、画像符号化装置及び画像復号装置は、パディングされる画素の列又は行数が、最小ＣＵサイズよりも多くないと仮定する。つまり、画像符号化装置及び画像復号装置は、最小ＣＵサイズの倍数である内部サイズを得るのに必要な最小限の画素数だけがパディングされると判断する。

図３は、例示の原画像５００に画素をパディングする必要があることを示している。また、図３は、原画像５００と、最小符号化単位５１０と、最大符号化単位５２０との相対的サイズを例示している。原画像５００は、最小符号化単位５１０、又は最小符号化単位５１０より大きいが最大符号化単位５２０より小さい符号化単位５３０等の様々なサイズの符号化単位に細分化される。この符号化単位は、最小符号化単位５１０と最大符号化単位５２０とを含む、両者間の範囲であればいかなるサイズでもよい。

１つの符号化シーケンスのピクチャに使用される最小符号化単位５１０及び最大符号化単位５２０を示す情報は、シーケンスパラメータセット（ＳＰＳ）に含まれる。ＨＥＶＣの場合、許される符号化単位サイズは８から１２８の間の２の整数倍だけである。つまり、シーケンスパラメータセット内の信号で伝えられる最小ＣＵサイズ及び最大ＣＵサイズは、その範囲に属さなければならない。

しかしながら、異なるサイズ又は形の符号化単位を用いることが、本実施の形態を適用してもよい他のコーデックにおいて可能である。なお、ＨＥＶＣにおいて、いかなるサイズの符号化単位も、正方形でなければならない。また、ピクチャ境界において、符号化単位を自動的により小さな符号化単位に分割してもよい。また、符号化単位は、そのサイズが最小ＣＵサイズよりも大きい場合にのみ分割してもよい。図３から分かるように、原画像５００にパディングを行わなければ、符号化単位に分割後、右端の画素の列（画像領域５０２）が符号化単位内に含まれずに残る。この画像領域５０２の水平サイズは、最小ＣＵサイズの水平サイズより小さい。よってこの画像領域５０２を符号化できない。

ＨＥＶＣにおけるシーケンスパラメータセットの最新シンタックス（非特許文献３のセクション７．３．２．１及び７．３．２．２を参照）は、ピクチャサイズとして輝度サンプル数で規定したピクチャ幅とピクチャ高とを含む。さらに、当該シンタックスでは、最小ＣＵサイズを、２を底とする最小ＣＵサイズの対数から３を引いた値として表す。例えば、最小ＣＵサイズが８×８の場合、最小ＣＵサイズを示す情報として「０」が伝達され、最小ＣＵサイズが１６×１６の場合、最小ＣＵサイズを示す情報として「１」が伝達され、最小ＣＵサイズが３２×３２の場合、最小ＣＵサイズを示す情報として「２」が伝達される。

最新の設計において、画像符号化装置及び画像復号装置におけるピクチャの内部サイズは、最小符号化単位サイズの倍数でなければならない。最新のテストソフトウェア（ＨＥＶＣ ｔｅｓｔ Ｍｏｄｅｌ （ＨＭ） ｖｅｒｓｉｏｎ３．０、ｈｔｔｐ：／／ｈｅｖｃ．ｋｗ．ｂｂｃ．ｃｏ．ｕｋ／ｓｖｎ／ｊｃｔｖｃ−ｈｍから利用可能）では、画像の右及び下部の境界におけるパディング領域を画素数単位で示すパディング情報を伝送する。

本実施の形態では、原画像サイズと最小ＣＵサイズとがビットストリーム内に示され、これらの情報に基づいて、画像復号装置は、パディング行又は列数を、画像符号化装置と同じ方法で求める。よって、パディング行又は列数等のいかなる追加情報も画像符号化装置から画像復号装置へ送る必要ない。このように、本実施の形態は、画像符号化装置と画像復号装置との両方で画像の内部サイズと原画像サイズとを求めるための効率的な手法を提供できる。

図４は、図３と同様に、様々なサイズの符号化単位に細分化された原画像５００を示す。図４から分かるように、ピクチャの右側境界に、原画像５００の一部であり、右側境界に位置する画像領域５０２が存在する。この画像領域５０２の幅は、最小符号化単位の幅よりも小さい。この原画像５００に対して、画像符号化装置は、パディング領域５４０Ａ（パディング画素列）をパディングする。画像符号化装置は、このパディング領域５４０Ａの画素列の数を、画像領域５０２の列数とパディング領域５４０Ａの列数との和が最小符号化単位の水平サイズに等しくなるように計算する。具体的には、画像符号化装置は、原画像の水平サイズと最小符号化単位サイズの水平サイズとの整数除算後の残りを、最小符号化単位サイズの水平サイズから減算することによってパディング領域５４０Ａの画素列の数を算出する。つまり、パディング領域５４０Ａの列数Ｎは、以下の（式１）で示される。

ここで、ｓは最小符号化単位の水平サイズであり、ｗは原画像の幅であり、％はモジュロ演算である。

このように、本実施の形態では、ビットストリーム内に、垂直又は水平方向のパディング画素数といったいかなる追加的シンタックス要素も必要としない。よって、現在のシンタックスの冗長性が削減される。また、一貫性のない構成が回避できるので、シンタックスに間違いが起こりにくくなる。例えば、最小符号化単位の整数倍にならないパディング画素数が設定されることを回避できる。

以下、本実施の形態に係る画像符号化装置３００の構成を説明する。

図５は、本実施の形態に係る画像符号化装置３００のブロック図である。図５に示す画像符号化装置３００は、原画像３２３を符号化することでビットストリーム３２９を生成する。この画像符号化装置３００は、パディング領域算出部３０１と、パディング部３０２と、画像符号化部３０３と、ビットストリーム生成部３０４とを備える。

ここで、符号化する原画像３２３は任意のサイズでよい。原画像３２３は、パディング部３０２に入力される。

パディング領域算出部３０１は、原画像３２３の画像サイズである原画像サイズ３２０を取得する。例えば、パディング領域算出部３０１は、原画像３２３のヘッダファイル、又は画像符号化装置３００へのユーザ入力に基づき、原画像サイズ３２０を判定してもよいし、その他の方法により原画像サイズ３２０を判定してもよい。さらに、パディング領域算出部３０１は、最小ＣＵサイズ３２１を取得する。例えば、この最小ＣＵサイズ３２１は、ユーザが設定してもよく、任意の符号化部用に予め定められていてもよい。または、パディング領域算出部３０１は、画像符号化部３０３のプロファイル、又はその他の符号化設定に基づき最小ＣＵサイズ３２１を決定してもよい。

また、パディング領域算出部３０１は、パディング後のパディング画像のサイズ（内部サイズ）が最小ＣＵサイズ３２１の整数倍になるように、原画像３２３に付加されるパディング領域の行及び列数の少なくとも一方を示すパディング画素数３２４を算出する。そして、パディング領域算出部３０１は、算出したパディング画素数３２４をパディング部３０２へ送る。

パディング部３０２は、パディング画素数３２４で示される列又は行数の画像を原画像３２３に付加する。そして、パディング部３０２は、得られたパディング画像３２７を画像符号化部３０３へ出力する。

ビットストリーム生成部３０４は、最小ＣＵサイズ３２１と原画像サイズ３２０とを含むビットストリーム３２９を生成する。この処理は、画像符号化処理のはじめに行うことが望ましい。例えば、原画像サイズ３２０と最小ＣＵサイズ３２１は、ＨＥＶＣにおけるＳＰＳなど、シーケンス固有のパラメータセットに埋め込まれる。

画像符号化部３０３はパディング画像３２７を符号化することで符号化画像信号３２８を生成する。例えば、この画像符号化部３０３は、図１に示す画像符号化装置１００である。なお、この画像符号化部３０３は、その他の画像符号化部又は映像符号化部でもよい。具体的には、画像符号化部３０３は、異なるサイズの符号化単位にパディング画像３２７を分割し、例えば、上述した方法で各符号化単位を符号化する。そして、画像符号化部３０３は、符号化画像信号３２８をビットストリーム生成部３０４に送る。ビットストリーム生成部３０４は、この符号化画像信号３２８を含むビットストリーム３２９を生成する。このビットストリーム３２９は、例えば、記録又は送信される。

次に、本実施の形態に係る画像符号化装置３００による画像符号化方法の流れを説明する。図６は、本実施の形態に係る画像符号化装置３００による画像符号化方法のフロー図である。

まず、パディング領域算出部３０１は、原画像サイズ３２０を取得する（Ｓ１０１）。この原画像サイズ３２０は、画像符号化装置３００の実装にしたがって様々な方法で決定される。例えば、原画像サイズ３２０は、グラフィカルユーザインタフェース又は画像符号化装置の構成ファイルを用いて、ユーザによって手動で設定されてもよい。また、原画像サイズ３２０は、原画像のビットストリームから抽出されてもよい。例えば、画像又は映像シーケンスが、ピクチャサイズを示すヘッダを含む場合、この原画像サイズ３２０はこのヘッダから抽出されてもよい。なお、原画像サイズ３２０の決定又は取得方法は、これらに限定されず、他の決定又は取得方法であってもよい。

また、最小ＣＵサイズ３２１は、コーデックに対して、又は、そのコーデックの特定のプロファイルに対して、固定的に定義されてもよい。また、最小ＣＵサイズ３２１は、ＨＥＶＣを参照して上述したようにビットストリーム３２９のシンタックス内に設定されてもよい。この設定は、例えばグラフィカルユーザインタフェース又は構成ファイルを用いてユーザによって実行されてもよい。また、この設定は、最適化の結果として画像符号化装置３００によって自動的に設定されてもよい。つまり、本実施の形態は、最小ＣＵサイズ３２１を設定する方法によって限定されない。また、最小符号化単位は、ＨＥＶＣの場合のように正方形でもよい。なお、最小符号化単位は正方形以外でもよい。例えば、最小符号化単位は、１６×８、８×４、又は８×１６等の長方形でもよい。つまり、いかなる他のサイズ又は形状の最小符号化単位も、本実施の形態に適用可能である。

次に、パディング領域算出部３０１は、原画像サイズ３２０が最小ＣＵサイズ３２１の整数倍であるか否かを判定する。具体的には、パディング領域算出部３０１は、原画像３２３の水平サイズが最小ＣＵの水平サイズの整数倍であるか否か、及び、原画像３２３の垂直サイズが最小ＣＵの垂直サイズの整数倍であるか否かを判定する。

原画像３２３の水平サイズが最小ＣＵの水平サイズの整数倍ではない場合、又は、原画像３２３の垂直サイズが最小ＣＵの垂直サイズの整数倍ではない場合、パディング領域算出部３０１は、パディング画素数３２４を算出する（Ｓ１０２）。このパディング画素数３２４は、画像の水平（上、下）又は垂直（左、右）側にパディングされる画素の行数又は列数を示す。好ましくは、「画素」という用語は、輝度サンプルの位置に対応し、また、色差がサブサンプルされた場合も同様である。

また、最小ＣＵサイズの整数倍のサイズを得る目的で、パディング領域算出部３０１は、原画像の垂直又は水平方向にパディングされる画素数を算出する。具体的には、パディング領域算出部３０１は、例えば最小ＣＵの垂直又は水平サイズで画像の垂直又は水平サイズを除算した後に残る画素の行数又は列数を求める。そして、パディング領域算出部３０１は、最小ＣＵサイズと当該求められた残りの画素のサイズとの差分を、パディングする行数又は列数（パディング画素数３２４）として算出する。

次に、パディング部３０２は、パディング画素数３２４を用いてパディングを実行することでパディング画像３２７を生成する（Ｓ１０３）。具体的には、パディング部３０２は、原画像３２３の１つ以上の辺に、パディング画素数３２４で示される行数又は列数の画素を加える。

なお、パディング部３０２は、パディング画素数３２４で示される行数の画素を、上側及び下側のうち、予め定義された側に加えてもよい。同様に、パディング部３０２は、パディング画素数３２４で示される列数の画素を、右側及び左側のうち、予め定義された側に加えてもよい。これにより、どの側に画素をパディングするかを明示的に特定することなく、画像符号化装置と画像復号装置とが対応して機能できる。つまり、上下のどちら側に、又は、左右のどちら側にパディング領域を加えるかを示す情報を画像符号化装置から画像復号装置に送る必要がない。

さらに代替的に、パディング部３０２は、パディング行数の画素行を原画像３２３の上側及び下側に分割して加えてもよい。例えば、算出されたパディング行数が偶数の場合は、パディング部３０２は、原画像３２３の上側及び下側に同数の画素行を加えてもよい。また、算出されたパディング行数が奇数の時は、上側又は下側の何れにより多くの画素行を加えてもよい。同様に、パディング部３０２は、パディング列数の画素列を原画像３２３の左右に分割して加えてもよい。

また、パディング部３０２は、パディング画素数３２４として、パディング行数及び列数の両方が示されている場合には、上記処理を行及び列のそれぞれで行う。さらに、パディングされる画素は、予め定義された値を有してもよく、又は、境界近くの画素の関数として求められてもよい。そのような関数は、例えば、境界近くの画素の加重平均であってもよい。

次に、画像符号化部３０３は、最小ＣＵの整数倍サイズを有するパディング画像３２７を符号化することで符号化画像信号３２８を生成する（Ｓ１０４）。

次に、ビットストリーム生成部３０４は、原画像サイズ３２０と最小ＣＵサイズ３２１と符号化画像信号３２８とを含むビットストリーム３２９を生成する（Ｓ１０５及びＳ１０６）。このように、原画像サイズ３２０と最小ＣＵサイズ３２１とをビットストリーム３２９に埋め込むことで、画像符号化装置と画像復号装置との間での画像処理の互換性を保証できる。

また、ステップＳ１０２において、原画像サイズ３２０が最小ＣＵサイズ３２１の整数倍である場合には、パディング処理（Ｓ１０３）は行われない。つまり、画像符号化部３０３は、原画像３２３を符号化することで符号化画像信号３２８を生成する。

なお、図６は、本実施の形態の処理を示す一例であり、本発明はこれに限定されない。例えば、ステップＳ１０５とＳ１０６との順番は逆であってもよい。また、典型的には、原画像サイズ３２０は、最小ＣＵサイズ３２１が書き込まれる前にビットストリーム３２９に書き込まれる。しかしながら、この埋め込みの順番も逆でもよい。さらに、ステップＳ１０５及びＳ１０６は、ステップＳ１０４の前に実行されてもよい。現在のコーデックにおいて、これらのシンタックス要素は、シーケンスパラメータセット又はピクチャパラメータセットに含まれる。これらのパラメータセットはピクチャの符号化前に符号化されているため、これらのシンタックス要素は、ステップＳ１０４の前にビットストリームに書き込まれる。

ここで埋め込むとは、予め定義されたシンタックスにしたがって、シンタックス要素をビットストリーム内に並べることである。また、これらのシンタックス要素は、固定長符号化又は可変長符号化されてもよい。特に同一シンタックス要素におけるある値が他の値よりも確率が高い場合、可変長符号化がより有益である。可変長符号化は、整数の符号化（例えばＥｌｉａｓ符号又はゴロム符号）、ハフマン符号（固定又はコンテキスト適応型）、又は（固定又はコンテキスト適応型確率モデルを伴う）算術符号化等のエントロピー符号化でもよい。

以下、本実施の形態に係る画像復号装置について説明する。

図７は、本実施の形態に係る画像復号装置４００のブロック図である。図７に示す画像復号装置４００は、ビットストリーム４２０を復号することで、画像信号４２６を生成する。この画像復号装置４００は、解析部４０１と、パディング領域算出部４０２と、画像復号部４０３と、クロッピング部４０４とを備える。

解析部４０１は、ビットストリーム４２０を通信チャネルから受信するか、記録部から取得する。このビットストリーム４２０は、例えば、上記画像符号化装置３００により生成されたビットストリーム３２９である。具体的には、解析部４０１は、パディング前の画像サイズである原画像サイズ４２１と、最小ＣＵサイズ４２２とをビットストリーム４２０から抽出する。解析部４０１は、さらに、符号化画像信号４２３をビットストリーム４２０から抽出する。そして、解析部４０１は、符号化画像信号４２３を画像復号部４０３に送る。

画像復号部４０３は、符号化単位ごとに符号化画像信号４２３を復号することで、画像符号化装置３００におけるパディング画像３２７に対応する復号画像４２５を生成する。ただし、量子化などの不可逆圧縮により、復号画像４２５の品質はパディング画像３２７の品質より低下する可能性がある。また、画像復号部４０３は、例えば、図２に示す画像復号装置２００である。

パディング領域算出部４０２及びクロッピング部４０４は、パディング前の原画像のサイズのピクチャを得るために設けられている。

パディング領域算出部４０２は、解析部４０１によりビットストリーム４２０から抽出された原画像サイズ４２１と最小ＣＵサイズ４２２とを取得する。画像符号化装置３００におけるパディング領域算出部３０１と同様に、パディング領域算出部４０２は、原画像サイズ４２１と最小ＣＵサイズ４２２とに基づき、画像符号化装置３００で原画像に付加されたパディング領域の画素数（パディング列数又はパディング行数）を示すパディング画素数４２４を算出する。具体的には、パディング領域算出部４０２は、パディング前の原画像サイズ４２１と、原画像の垂直サイズ及び水平サイズのそれぞれに最も近く、かつそれよりも大きい最小ＣＵサイズの整数倍との差分を、パディング行数及びパディング列数として算出する（上記式１を参照）。また、パディング領域算出部４０２は、決定されたパディング画素数４２４をクロッピング部４０４に送る。

クロッピング部４０４は、パディング画像（復号画像４２５）から、パディング画素数４２４の画像をクロッピングすることで、パディング領域を含まない、原画像サイズのピクチャである画像信号４２６を生成する。また、画像復号装置４００は、画像信号４２６をディスプレイに表示してもよいし、記録部に記録してもよいし、画像信号４２６に対してさらに処理を行なってもよい。

次に、本実施の形態に係る画像復号装置４００による画像復号方法の流れを説明する。図８は、本実施の形態に係る画像復号装置４００による画像復号方法のフロー図である。

ここで、例えば、画像復号装置４００に入力されるビットストリーム４２０は、図６に示す画像符号化方法によって生成されたビットストリーム３２９である。

まず、解析部４０１は、ビットストリーム４２０を解析する。そして、解析部４０１は、ビットストリーム４２０に埋め込まれた原画像サイズ４２１を取得する（Ｓ２０１）。この、原画像サイズ４２１は、画像復号処理のために画像復号部４０３へ送信される。

また、解析部４０１は、最小ＣＵサイズ４２２も、ビットストリーム４２０から抽出する（Ｓ２０２）。

次に、パディング領域算出部４０２は、画像符号化装置３００で画像に加えられた画素数を示すパディング画素数４２４を算出する（Ｓ２０３）。なお、この処理の詳細は、図６に示す画像符号化方法におけるステップＳ１０２の処理と同様である。具体的には、パディング領域算出部４０２は、原画像サイズ４２１が最小ＣＵサイズ４２２の整数倍であるか否かを判定する。より具体的には、パディング領域算出部４０２は、原画像の水平サイズが最小ＣＵの水平サイズの整数倍であるか否か、及び、原画像の垂直サイズが最小ＣＵの垂直サイズの整数倍であるか否かを判定する。原画像の水平サイズが最小ＣＵサイズの水平サイズの整数倍でない場合、又は、原画像の垂直サイズが最小ＣＵサイズの垂直サイズの整数倍でない場合、パディング領域算出部４０２は、パディング画像が最小ＣＵサイズ４２２の整数倍になるようにパディング画素数４２４を算出する。具体的には、パディング領域算出部４０２は、原画像の垂直及び水平サイズを、最小ＣＵサイズで除算した残りと、最小ＣＵとの差分を、パディング列数又はパディング行数として算出する（上記式１参照）。なお、最小符号化単位が正方形でない場合には、パディング領域算出部４０２は、原画像の垂直サイズを、最小ＣＵサイズの垂直サイズで除算し、原画像の水平サイズを最小ＣＵサイズの水平サイズで除算する。

次に、画像復号部４０３は、符号化画像信号４２３を復号することで、復号画像４２５(パディング画像)を生成する（Ｓ２０４）。

次に、クロッピング部４０４は、復号画像４２５をクロッピングすることで、画像信号４２６を生成する（Ｓ２０５）。具体的には、クロッピング部４０４は、ステップＳ２０３で算出されたパディング画素数４２４で示される行数又は列数の画像を復号画像４２５から切り落とす。これにより、画像信号４２６は、符号化前の原画像のピクチャサイズに対応するサイズのピクチャとなる。

なお、本実施の形態は、パディングデータの決定方法に関するものではない。本実施の形態に、任意のパディングデータの決定方法を用いてもよい。一般的には、パディング処理は、原画像にピクチャの境界にある画素を重複させたパディング領域を付加することにより実行される。つまり、同じライン（列又は行）を繰り返すことにより、又は、境界に最も近い複数のラインを繰り返すことによりパディング領域を付加してもよい。しかしながら、他の手法を用いてもよく、符号化部の最適化に基づいて、パディングデータをより高度な手法で決定してもよい。

また、上記の例では、パディング画素数が常に最小ＣＵサイズ未満であると仮定している。つまり、検討したパディング画素数は常にピクチャの符号化に必要な最小数である。つまり、画像符号化装置と画像復号装置とは、この仮定に基づき、パディング画素数を決定してもよい。このような仮定により、ＨＥＶＣにおいては、異なるサイズの符号化単位にピクチャを再分割することが行われる。例えば、８×８の最小符号化単位と６４×６４の最大符号化単位とが用いられ、原画像の垂直サイズが１２８画素であり、水平サイズが１４１画素である場合を考える。この場合において、ピクチャが最大ＣＵサイズの符号化単位にのみ分割される場合、ピクチャの水平サイズは、最大符号化単位の２倍のサイズ（結果として、１２８の輝度サンプル）と、残りの１３サンプルとを含む。しかしながら、１３は依然として最小ＣＵサイズよりも大きいため、この１３サンプルは、より小さなサイズの符号化単位である１６×１６サイズの１つの符号化単位又は８×８サイズの２つの符号化単位にさらに分割される。この再分割の後には、３行の画素のみがパディング対象として残る。つまり、画像符号化装置及び画像復号装置におけるパディング画素数の決定方法に応じて、入力ピクチャサイズ（原画像サイズ）に基づきピクチャが分割される場合の最小粒度が決まる。上記の例では、１６×１６サイズ又はそれよりも小さいサイズの符号化単位が、画像の右縁で用いられる。ここで、右縁に３２×３２サイズの符号化単位を用いることはできない。なぜなら、上述した仮定に反するからである。

しかしながら、符号化効率の観点から考えると、より大きな符号化単位を用いるほうがより有利な場合もある。例えば、ピクチャの境界において、符号化単位のサイズが残りの画素数よりも大きい場合、上述したように符号化単位は自動的にさらに分割される。これにより、画像によっては、多くの小さな符号化単位が境界で存在することになる。この結果、より多くの予測情報が生成され送信されることで、符号化効率が低下する可能性がある。

したがって、以下のような方法でパディング処理を実行してもよい。画像符号化装置がピクチャの境界で、最適なパディング画素数とＣＵサイズとを実現できるように、パディング画素数を調節できるようにする。具体的には、必要最小限のパディング画素数より、使用するパディング画素数を多く設定できるように、１つ以上の追加的構文要素をビットストリームに加える。この構文要素は、パディング領域に含まれる最小ＣＵの数を示すＳＣＵパディング数（ｐａｄ＿ｒｉｇｈｔ）である。

以下、具体例を説明する。図９は、画像の右縁におけるＳＣＵパディング数が「１」の場合（「ｐａｄ＿ｒｉｇｈｔ＝１」）の例を示す。なお、上述した図４の例は、ＳＣＵパディング数が「０」の場合（「ｐａｄ＿ｒｉｇｈｔ＝０」）である。つまり、パディング画素数はＳＣＵサイズ×ｐａｄ＿ｒｉｇｈｔ以上である。また、図９の例では、原画像５００の右境界に位置する画像領域５０２とパディング領域５４０Ｂとの合計の幅は、ＳＣＵの幅の２倍である。このように、パディング画素数を最小符号化単位より多くすることで、符号化効率を向上できる。

具体的には、パディング行数Ｎは、以下の（式２）を用いて算出できる。

ここで、ｓは最小符号化単位の水平サイズであり、ｗは原画像の幅であり、ｐａｄ＿ｒｉｇｈｔはＳＣＵパディング数を示す構文要素であり、％はモジュロ演算である。

なお、画像左側でパディングが実行される場合、ｐａｄ＿ｌｅｆｔを、ｐａｄ＿ｒｉｇｈｔに置き換えて用いることができる。同様に、ｐａｄ＿ｔｏｐ又はｐａｄ＿ｂｏｔｔｏｍを用いて、垂直方向のＳＣＵパディング数を示してもよい。また、これらの構文のうち２以上を同時に用いてもよい。

この場合、図６に示す画像符号化方法に、ビットストリーム生成部３０４が、ＳＣＵパディング数をビットストリームに埋め込むステップが追加される。同様に、図８に示す画像復号方法に、解析部４０１が、ＳＣＵパディング数をビットストリームから抽出するステップが追加される。これにより、ＳＣＵパディング数は画像符号化装置３００と画像復号装置４００とで同様に用いられる。よって、画像符号化装置及び画像復号装置においてパディング画素数を一義的に導出できる。

また、図６に示すステップＳ１０２及び図８に示すステップＳ２０３では、パディング領域算出部３０１又はパディング領域算出部４０２は、ＳＣＵパディング数に最小ＣＵサイズを乗じた値と、必要最小限のパディング画素数とを加算したパディング画素数を算出する（上記式２を参照）。

さらなる柔軟性を実現するため、上記実施の形態の変形例に基づいて、上下左右のピクチャの４つの境界のうちの２以上に対し、ＳＣＵパディング数を別々に示してもよい。つまり、右側の追加的パディングに対しｐａｄ＿ｒｉｇｈｔを用い、下側の追加的パディングに対しｐａｄ＿ｂｅｌｏｗを用い、上側の追加的パディングに対しｐａｄ＿ｕｐを用い、左側の追加的パディングに対しｐａｄ＿ｌｅｆｔを用いてもよい。これにより、画像符号化装置は、結果的に生じる画像の歪みが最適化されるように、パディング画素数を決定できる。

ここで、これらの構文は、画像の上下左右側の１つを示すパディング方向情報である。

図１０は、このようなパディング方向情報を用いる場合の画像復号方法のフロー図である。図１０に示す画像復号方法は、図８に示す処理に加え、ステップＳ２１１が追加されている。ステップＳ２１１では、解析部４０１は、ビットストリーム４２０からパディング方向情報を抽出する。そして、ステップＳ２０５において、クロッピング部４０４は、復号画像４２５から、パディング画素数４２４で示されるパディング行数又はパディング列数の画像を、パディング方向情報で示される、画像の上下左右側のいずれかから切り落とす。

また、ＳＣＵサイズよりも小さなパディング画素数を決定する実施の形態の場合においても、画像のどの境界（上、下、左、右）にパディング画素を分割するかを示す信号を用いてもよい。また、下側と上側の境界又は左側と右側の境界へのパディング画素の再分割方法を予め定めてもよい。

また、画像の内容で区分される映像シーケンスごとに、パディング情報（最小ＣＵサイズ、ＳＣＵパディング数、又はパディング方向情報等）を付加してもよい。例えば、画像符号化装置は、シーケンスパラメータセット内にパディング情報を付加する代わりに、ピクチャパラメータセット内にパディング情報を付加してもよい。ここで、シーケンスパラメータセットは、シーケンス固有のパラメータセットであり、そのシーケンスに関する情報を示す。また、ピクチャパラメータセットは、ピクチャ固有のパラメータセットであり、そのピクチャに関する情報を示す。例えば、ＨＥＶＣの観点から考えると、パディング情報は、ＳＰＳよりもＰＰＳに含めて送信することが好ましい。例えば、画像符号化装置は、最小ＣＵサイズを、ＰＰＳに含めて送信してもよい。また、画像符号化装置は、原画像サイズ又は最小ＣＵサイズの信号化頻度とは関わりなく、パディング情報をＰＰＳ又はＳＰＳに含めて送信してもよい。

（実施の形態２）
本実施の形態では、上記実施の形態１で用いた「画像サイズが最小ＣＵサイズの整数倍である」という仮定を用いて、エラー判定を行う画像復号装置について説明する。なお、以下では、実施の形態１との相違点を主に説明し、重複する説明は省略する。

図１１は、本実施の形態に係る画像復号装置６００のブロック図である。図１１に示す画像復号装置６００は、ビットストリーム６２０を復号することで、画像信号６２６を生成する。この画像復号装置６００は、解析部６０１と、エラー判定部６０２と、画像復号部６０３と、エラー処理部６０４とを備える。

解析部６０１は、ビットストリーム６２０から画像サイズ６２１と、最小ＣＵサイズ６２２と、符号化画像信号６２３とを抽出する。なお、上記実施の形態１では、ビットストリーム６２０に原画像のサイズが含まれる例を述べたが、本実施の形態ではビットストリーム６２０にパディング画像のサイズである画像サイズ６２１が含まれる。なお、画像サイズ６２１は、画像符号化装置においてパディング処理が行われなかった場合、つまり、原画像サイズが最小ＣＵサイズの整数倍であった場合には、原画像のサイズを示す。また、画像サイズ６２１は、画像符号化装置においてパディング処理が行われた場合には、パディング画像のサイズを示す。

エラー判定部６０２は、画像サイズ６２１が最小ＣＵサイズ６２２の整数倍であるか否かを判定する判定部である。

画像復号部６０３は、符号化画像信号６２３を復号することで復号画像６２５を生成する。例えば、この画像復号部６０３は、図２に示す画像復号装置２００である。また、画像復号部６０３は、エラー判定部６０２により、画像サイズ６２１が最小ＣＵサイズ６２２の整数倍であると判定された場合、画像サイズ６２１を用いて符号化画像信号６２３を復号することで復号画像６２５を生成する。

エラー処理部６０４は、エラー判定部６０２により、画像サイズ６２１が最小ＣＵサイズ６２２の整数倍でないと判定された場合、ビットストリーム６２０にエラーが含まれていると判定する。また、エラー処理部６０４は、ビットストリーム６２０にエラーが含まれていると判定した場合に、エラー処理を行う。例えば、エラー処理部６０４は、ビットストリーム６２０にエラーが含まれていることを外部に通知する。

ここで、上述したように、符号化される画像のサイズは、最小ＣＵサイズの整数倍である必要がある。つまり、上記画像サイズ６２１は、最小ＣＵサイズの整数倍である必要がある。よって、本実施の形態に係る画像復号装置６００は、この画像サイズ６２１が、最小ＣＵサイズの整数倍であるか否かに基づき、ビットストリーム６２０に含まれる画像サイズ６２１の値が正しい値であるか否かを判定する。これにより、当該画像復号装置６００は、ビットストリーム６２０にエラーが含まれているか否かを適切に判定することができる。

これにより、例えば、通信エラー、又は符号化装置側のエラーにより、画像サイズ６２１が誤った値である場合に、エラーが発生していることを外部に通知できる。

以下、本実施の形態に係る画像復号装置６００による画像復号方法の流れを説明する。図１２は、当該画像復号方法のフロー図である。

まず、解析部６０１は、ビットストリーム６２０から画像サイズ６２１と、最小ＣＵサイズ６２２と、符号化画像信号６２３とを抽出する（Ｓ３０１及びＳ３０２）。

次に、エラー判定部６０２は、画像サイズ６２１が最小ＣＵサイズ６２２の整数倍であるか否かを判定する（Ｓ３０３）。

画像サイズ６２１が最小ＣＵサイズ６２２の整数倍である場合（Ｓ３０３でＹｅｓ）、画像復号部６０３は、画像サイズ６２１を用いて符号化画像信号６２３を復号することで復号画像６２５を生成する（Ｓ３０４）。具体的には、画像復号部６０３は、画像サイズ６２１で示される画像サイズを復号対象の画像の画像サイズとして用いて符号化画像信号６２３を復号する。なお、この場合は、画像復号装置６００は、復号画像６２５を画像信号６２６として出力する。また、画像にパディングが行われている場合には、画像復号部６０３は、画像サイズ６２１と、ビットストリームに含まれるパディング情報（例えば、パディング画素数）とを用いて、クロッピング処理を行なってもよい。

一方、画像サイズ６２１が最小ＣＵサイズ６２２の整数倍でない場合（Ｓ３０３でＮｏ）、エラー処理部６０４は、ビットストリーム６２０にエラーが含まれていると判定し、エラー処理を行う（Ｓ３０５）。

なお、エラー処理として以下の処理を行なってもよい。図１３は、エラー処理部６０４によるエラー処理の一例を示すフロー図である。

まず、エラー処理部６０４は、正しい画像サイズが最小ＣＵサイズの整数倍であると仮定して正しい画像サイズを算出する。そして、エラー処理部６０４は、抽出された画像サイズ６２１と、仮定した画像サイズとの差分に基づき、パディング行数又はパディング列数を算出する（Ｓ３１１）。なお、この処理の具体例は、上述した実施の形態１におけるパディング領域算出部４０２による処理において、原画像サイズを、エラーを有する画像サイズ６２１に置き換え、パディング画像のサイズを正しい画像サイズと置き換えた場合と同様である。例えば、エラー処理部６０４は、最小ＣＵサイズの整数倍の画像サイズのうち、画像サイズ６２１で示される画像サイズより大きく、かつ、最も近い画像サイズを、正しい画像サイズとして決定する。

次に、画像復号部６０３は、ステップＳ３１２で仮定された画像サイズを用いて符号化画像信号６２３を復号することで復号画像６２５を生成する（Ｓ３１２）。

最後に、エラー処理部６０４は、ステップＳ３１２で生成された復号画像６２５から、ステップＳ３１１で算出されたパディング行数又はパディング列数の画像を切り落とすことで、画像信号６２６を生成する（Ｓ３１３）。

以上の処理により、画像サイズ６２１の値が誤った値であっても、画像復号装置６００は、画像信号６２６を生成することができる。

なお、ビットストリーム６２０に、パディング情報が含まれていてもよい。ここでパディング情報とは、例えば、上述したパディング画素数を示す情報又はパディング方向情報等である。また、この場合には、エラー判定部６０２は、このパディング情報を用いてパディング領域を決定してもよい。

具体的には、解析部６０１は、さらに、画像の上下左右側の１つを示すパディング方向情報をビットストリーム６２０から抽出する。そして、エラー処理部６０４は、復号画像６２５から、パディング行数又はパディング列数の画像をパディング方向情報で示される画像の上下左右側のいずれかから切り落としてもよい。ここで、パディング行数又はパディング列数の値は、例えば、上記ステップＳ３１１で算出された値である。なお、ビットストリーム６２０にパディング行数又はパディング列数を示す情報が含まれている場合には、このパディング行数又はパディング列数の値は、当該ビットストリーム６２０に含まれる情報で示される値であってもよい。

また、これらのパディング情報は、例えば、ビットストリーム６２０のピクチャパラメータセット又はシーケンスパラメータセットに含まれる。

また、エラー処理部６０４は、上記エラー処理に加え、エラーが発生したことを示す情報を外部へ出力してもよい。

以下、本実施の形態に係る画像符号化装置及び画像符号化方法について説明する。

上述したように、上記実施の形態１では、ビットストリームに原画像のサイズが含まれる例を述べたが、本実施の形態ではビットストリームにパディング画像のサイズである画像サイズ（画像サイズ６２１）が含まれる。つまり、本実施の形態に係る画像符号化方法は、図６に示すステップＳ１０５の処理が実施の形態１と異なる。具体的には、ステップＳ１０５において、本実施の形態に係る画像符号化方法は、画像サイズとして、原画像サイズの代わりにパディング画像のサイズを含むビットストリームを生成する。ここで、画像サイズは、画像に含まれる画素数（列数及び行数）を示す。

なお、この画像サイズは、画像符号化装置がパディング処理を行わなかった場合、つまり、原画像サイズが最小ＣＵサイズの整数倍であった場合には、原画像のサイズを示す。また、この画像サイズは、画像符号化装置においてパディング処理が行われた場合には、パディング画像のサイズを示す。

つまり、本実施の形態に係る画像符号化方法は、画像サイズとして、最小ＣＵサイズの整数倍である画素数を算出する画像サイズ算出ステップ（Ｓ１０２）と、最小ＣＵサイズと、算出した画素数とを含むビットストリームを生成するビットストリーム生成ステップ（Ｓ１０５及びＳ１０６）とを含む。

なお、画像サイズ（パディング画像のサイズ）を算出する具体的な方法は、上述した実施の形態１と同様の方法を用いることができる。

また、本実施の形態に係る画像符号化装置は、画像サイズとして、最小ＣＵサイズの整数倍である画素数を算出する画像サイズ算出部（パディング領域算出部３０１）と、最小ＣＵサイズと、算出した画素数とを含むビットストリームを生成するビットストリーム生成部３０４とを含む。

以上の構成により、本実施の形態に係る画像符号化装置及び画像符号化方法は、画像復号装置において、エラーを適切に検出することができるビットストリームを生成できる。

以上、本発明の実施の形態に係る画像符号化装置、及び画像復号装置について説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、上記実施の形態に係る、画像符号化装置、及び画像復号装置、並びにそれらの変形例の機能のうち少なくとも一部を組み合わせてもよい。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、上記画像符号化方法及び画像復号方法に含まれる複数のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

（実施の形態３）
上記各実施の形態で示した動画像符号化方法（画像符号化方法）または動画像復号化方法（画像復号方法）の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）や動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

図１４は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０６、ex１０７、ex１０８、ex１０９、ex１１０が設置されている。

このコンテンツ供給システムex１００は、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０６からex１１０を介して、コンピュータex１１１、ＰＤＡ（Personal Digital Assistant）ex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図１４のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ex１０６からex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラex１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ex１１４は、ＧＳＭ（登録商標）（Global System for Mobile Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＬＴＥ（Long Term Evolution）方式、ＨＳＰＡ(High Speed Packet Access)の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

コンテンツ供給システムex１００では、カメラex１１３等が基地局ex１０９、電話網ex１０４を通じてストリーミングサーバex１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラex１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い（即ち、本発明の一態様に係る画像符号化装置として機能する）、ストリーミングサーバex１０３に送信する。一方、ストリーミングサーバex１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

なお、撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラex１１３に限らず、カメラex１１６で撮影した静止画像および／または動画像データを、コンピュータex１１１を介してストリーミングサーバex１０３に送信してもよい。この場合の符号化処理はカメラex１１６、コンピュータex１１１、ストリーミングサーバex１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータex１１１や各機器が有するＬＳＩex５００において処理する。ＬＳＩex５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ex１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ex１１４が有するＬＳＩex５００で符号化処理されたデータである。

また、ストリーミングサーバex１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムex１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムex１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムex１００の例に限らず、図１５に示すように、デジタル放送用システムex２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ex２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ex２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ex２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナex２０４が受信する。受信した多重化データを、テレビ（受信機）ex３００またはセットトップボックス（ＳＴＢ）ex２１７等の装置が復号化して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

また、ＤＶＤ、ＢＤ等の記録メディアex２１５に記録した多重化データを読み取り復号化する、または記録メディアex２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダex２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタex２１９に表示され、多重化データが記録された記録メディアex２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルex２０３または衛星／地上波放送のアンテナex２０４に接続されたセットトップボックスex２１７内に動画像復号化装置を実装し、これをテレビのモニタex２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図１６は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ex３００を示す図である。テレビex３００は、上記放送を受信するアンテナex２０４またはケーブルex２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナex３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ex３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ex３０６で符号化された映像データ、音声データを多重化する多重／分離部ex３０３を備える。

また、テレビex３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ex３０４、映像信号処理部ex３０５（本発明の一態様に係る画像符号化装置または画像復号装置として機能する）を有する信号処理部ex３０６と、復号化した音声信号を出力するスピーカex３０７、復号化した映像信号を表示するディスプレイ等の表示部ex３０８を有する出力部ex３０９とを有する。さらに、テレビex３００は、ユーザ操作の入力を受け付ける操作入力部ex３１２等を有するインタフェース部ex３１７を有する。さらに、テレビex３００は、各部を統括的に制御する制御部ex３１０、各部に電力を供給する電源回路部ex３１１を有する。インタフェース部ex３１７は、操作入力部ex３１２以外に、リーダ／レコーダex２１８等の外部機器と接続されるブリッジex３１３、ＳＤカード等の記録メディアex２１６を装着可能とするためのスロット部ex３１４、ハードディスク等の外部記録メディアと接続するためのドライバex３１５、電話網と接続するモデムex３１６等を有していてもよい。なお記録メディアex２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビex３００の各部は同期バスを介して互いに接続されている。

まず、テレビex３００がアンテナex２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ex３１０の制御に基づいて、変調／復調部ex３０２で復調した多重化データを多重／分離部ex３０３で分離する。さらにテレビex３００は、分離した音声データを音声信号処理部ex３０４で復号化し、分離した映像データを映像信号処理部ex３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ex３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファex３１８、ex３１９等に一旦これらの信号を蓄積するとよい。また、テレビex３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアex２１５、ex２１６から多重化データを読み出してもよい。次に、テレビex３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、制御部ex３１０の制御に基づいて、音声信号処理部ex３０４で音声信号を符号化し、映像信号処理部ex３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ex３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファex３２０、ex３２１等に一旦これらの信号を蓄積するとよい。なお、バッファex３１８、ex３１９、ex３２０、ex３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ex３０２や多重／分離部ex３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビex３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビex３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダex２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビex３００、リーダ／レコーダex２１８のいずれで行ってもよいし、テレビex３００とリーダ／レコーダex２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ex４００の構成を図１７に示す。情報再生／記録部ex４００は、以下に説明する要素ex４０１、ex４０２、ex４０３、ex４０４、ex４０５、ex４０６、ex４０７を備える。光ヘッドex４０１は、光ディスクである記録メディアex２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアex２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ex４０２は、光ヘッドex４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ex４０３は、光ヘッドex４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアex２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファex４０４は、記録メディアex２１５に記録するための情報および記録メディアex２１５から再生した情報を一時的に保持する。ディスクモータex４０５は記録メディアex２１５を回転させる。サーボ制御部ex４０６は、ディスクモータex４０５の回転駆動を制御しながら光ヘッドex４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ex４０７は、情報再生／記録部ex４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ex４０７が、バッファex４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ex４０２、再生復調部ex４０３、サーボ制御部ex４０６を協調動作させながら、光ヘッドex４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ex４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドex４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図１８に光ディスクである記録メディアex２１５の模式図を示す。記録メディアex２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックex２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックex２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックex２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアex２１５は、データ記録領域ex２３３、内周領域ex２３２、外周領域ex２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ex２３３であり、データ記録領域ex２３３より内周または外周に配置されている内周領域ex２３２と外周領域ex２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ex４００は、このような記録メディアex２１５のデータ記録領域ex２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムex２００において、アンテナex２０５を有する車ex２１０で衛星ex２０２等からデータを受信し、車ex２１０が有するカーナビゲーションex２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションex２１１の構成は例えば図１６に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータex１１１や携帯電話ex１１４等でも考えられる。

図１９Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ex１１４を示す図である。携帯電話ex１１４は、基地局ex１１０との間で電波を送受信するためのアンテナex３５０、映像、静止画を撮ることが可能なカメラ部ex３６５、カメラ部ex３６５で撮像した映像、アンテナex３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex３５８を備える。携帯電話ex１１４は、さらに、操作キー部ex３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ex３５７、音声を入力するためのマイク等である音声入力部ex３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ex３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ex３６４を備える。

さらに、携帯電話ex１１４の構成例について、図１９Ｂを用いて説明する。携帯電話ex１１４は、表示部ex３５８及び操作キー部ex３６６を備えた本体部の各部を統括的に制御する主制御部ex３６０に対して、電源回路部ex３６１、操作入力制御部ex３６２、映像信号処理部ex３５５、カメラインタフェース部ex３６３、ＬＣＤ（Liquid Crystal Display）制御部ex３５９、変調／復調部ex３５２、多重／分離部ex３５３、音声信号処理部ex３５４、スロット部ex３６４、メモリ部ex３６７がバスex３７０を介して互いに接続されている。

電源回路部ex３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ex１１４を動作可能な状態に起動する。

携帯電話ex１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ex３６０の制御に基づいて、音声通話モード時に音声入力部ex３５６で収音した音声信号を音声信号処理部ex３５４でデジタル音声信号に変換し、これを変調／復調部ex３５２でスペクトラム拡散処理し、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して送信する。また携帯電話ex１１４は、音声通話モード時にアンテナex３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ex３５２でスペクトラム逆拡散処理し、音声信号処理部ex３５４でアナログ音声信号に変換した後、これを音声出力部ex３５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ex３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ex３６２を介して主制御部ex３６０に送出される。主制御部ex３６０は、テキストデータを変調／復調部ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して基地局ex１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ex３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ex３５５は、カメラ部ex３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し（即ち、本発明の一態様に係る画像符号化装置として機能する）、符号化された映像データを多重／分離部ex３５３に送出する。また、音声信号処理部ex３５４は、映像、静止画等をカメラ部ex３６５で撮像中に音声入力部ex３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ex３５３に送出する。

多重／分離部ex３５３は、映像信号処理部ex３５５から供給された符号化された映像データと音声信号処理部ex３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナex３５０を介して受信された多重化データを復号化するために、多重／分離部ex３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスex３７０を介して符号化された映像データを映像信号処理部ex３５５に供給するとともに、符号化された音声データを音声信号処理部ex３５４に供給する。映像信号処理部ex３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し（即ち、本発明の一態様に係る画像復号装置として機能する）、ＬＣＤ制御部ex３５９を介して表示部ex３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ex３５４は、音声信号を復号し、音声出力部ex３５７から音声が出力される。

また、上記携帯電話ex１１４等の端末は、テレビex３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムex２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態４）
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図２０は、多重化データの構成を示す図である。図２０に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図２１は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームex２３５、複数のオーディオフレームからなるオーディオストリームex２３８を、それぞれＰＥＳパケット列ex２３６およびex２３９に変換し、ＴＳパケットex２３７およびex２４０に変換する。同じくプレゼンテーショングラフィックスストリームex２４１およびインタラクティブグラフィックスex２４４のデータをそれぞれＰＥＳパケット列ex２４２およびex２４５に変換し、さらにＴＳパケットex２４３およびex２４６に変換する。多重化データex２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図２２は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図２２における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図２２の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図２３は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図２３下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図２４はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図２５に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図２５に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図２６に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、本実施の形態における動画像復号化方法のステップを図２７に示す。ステップexＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップexＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップexＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップexＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

（実施の形態５）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図２８に１チップ化されたＬＳＩex５００の構成を示す。ＬＳＩex５００は、以下に説明する要素ex５０１、ex５０２、ex５０３、ex５０４、ex５０５、ex５０６、ex５０７、ex５０８、ex５０９を備え、各要素はバスex５１０を介して接続している。電源回路部ex５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩex５００は、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有する制御部ex５０１の制御に基づいて、ＡＶ Ｉ／Ｏex５０９によりマイクex１１７やカメラex１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリex５１１に蓄積される。制御部ex５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ex５０７に送られ、信号処理部ex５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ex５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏex５０６から外部に出力する。この出力された多重化データは、基地局ex１０７に向けて送信されたり、または記録メディアex２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファex５０８にデータを蓄積するとよい。

なお、上記では、メモリex５１１がＬＳＩex５００の外部の構成として説明したが、ＬＳＩex５００の内部に含まれる構成であってもよい。バッファex５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩex５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ex５０１が、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有するとしているが、制御部ex５０１の構成は、この構成に限らない。例えば、信号処理部ex５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ex５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵex５０２が信号処理部ex５０７、または信号処理部ex５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ex５０１は、信号処理部ex５０７、またはその一部を有するＣＰＵex５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（実施の形態６）
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩex５００において、従来の規格に準拠する映像データを復号する際のＣＰＵex５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビex３００、ＬＳＩex５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図２９は、本実施の形態における構成ex８００を示している。駆動周波数切替え部ex８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ex８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ex８０３は、図２８のＣＰＵex５０２と駆動周波数制御部ex５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１、および、従来の規格に準拠する復号処理部ex８０２は、図２８の信号処理部ex５０７に該当する。ＣＰＵex５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵex５０２からの信号に基づいて、駆動周波数制御部ex５１２は、駆動周波数を設定する。また、ＣＰＵex５０２からの信号に基づいて、信号処理部ex５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態４で記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態４で記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵex５０２における駆動周波数の選択は、例えば、図３１のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファex５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵex５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図３０は、本実施の形態の方法を実施するステップを示している。まず、ステップexＳ２００では、信号処理部ex５０７において、多重化データから識別情報を取得する。次に、ステップexＳ２０１では、ＣＰＵex５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップexＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップexＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵex５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵex５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵex５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩex５００またはＬＳＩex５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

（実施の形態７）
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩex５００の信号処理部ex５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ex５０７を個別に用いると、ＬＳＩex５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図３２Ａのex９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ex９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明の一態様に特有の他の処理内容については、専用の復号処理部ex９０１を用いるという構成が考えられる。特に、本発明の一態様は、エラー判定処理に特徴を有していることから、例えば、逆量子化については専用の復号処理部ex９０１を用い、それ以外の逆量子化、エントロピー復号、デブロッキング・フィルタ、動き補償のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図３２Ｂのex１０００に示す。この例では、本発明の一態様に特有の処理内容に対応した専用の復号処理部ex１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ex１００２と、本発明の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ex１００３とを用いる構成としている。ここで、専用の復号処理部ex１００１、ex１００２は、必ずしも本発明の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩex５００で実装することも可能である。

このように、本発明の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

本発明は、画像復号方法及び画像復号装置に適用できる。また、本発明は、画像符号化装置を備える、テレビ、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、及びデジタルビデオカメラ等の高解像度の情報表示機器又は撮像機器に利用可能である。

１００、３００ 画像符号化装置
１０１ 減算器
１０２ 変換部
１０３ 量子化部
１０４、２０４ 逆変換部
１０５、２０５ 加算器
１０６、２０６ デブロッキングフィルタ
１０７、２０７ 適応ループフィルタ
１０８、２０８ 参照フレームバッファ
１０９、２０９ 予測部
１１０ エントロピー符号化部
１２０ 入力画像信号
１２１、１２４、２２４ 残差信号
１２２ 変換係数
１２３、２２３ 量子化係数
１２５、２２５ 復号画像信号
１２６、１２７、１２８、２２６、２２７、２２８、４２６、６２６ 画像信号
１２９、２２９ 予測画像信号
１４０、２４０、３２８、４２３、６２３ 符号化画像信号
２００、４００、６００ 画像復号装置
２１０ エントロピー復号部
３０１、４０２ パディング領域算出部
３０２ パディング部
３０３ 画像符号化部
３０４ ビットストリーム生成部
３２０、４２１ 原画像サイズ
３２１、４２２、６２２ 最小ＣＵサイズ
３２３、５００ 原画像
３２４、４２４ パディング画素数
３２７ パディング画像
３２９、４２０、６２０ ビットストリーム
４０１、６０１ 解析部
４０３、６０３ 画像復号部
４０４ クロッピング部
４２５、６２５ 復号画像
５０２ 画像領域
５１０ 最小符号化単位
５２０ 最大符号化単位
５３０ 符号化単位
５４０Ａ、５４０Ｂ パディング領域
６０２ エラー判定部
６０４ エラー処理部
６２１ 画像サイズ

Claims (4)

1. ビットストリームを復号する画像復号方法であって、
   前記ビットストリームから、最小符号化単位のサイズの整数倍になるようにパディングされたパディング画像の画像サイズを抽出する画像サイズ抽出ステップと、
   前記ビットストリームから前記最小符号化単位のサイズを抽出する最小符号化単位サイズ抽出ステップと、
   前記画像サイズが前記最小符号化単位のサイズの整数倍であるか否かを判定する判定ステップと、
   前記画像サイズが前記最小符号化単位のサイズの整数倍である場合、前記画像サイズを用いて前記ビットストリームに含まれる符号化画像信号を復号することで第１復号画像を生成する第１復号ステップと、
   前記画像サイズが前記最小符号化単位のサイズの整数倍でない場合、前記画像サイズが誤った値であると判定するエラー処理ステップと、を含む
   画像復号方法。
2. 前記エラー処理ステップは、
   正しい画像サイズが前記最小符号化単位のサイズの整数倍であると仮定して、仮定した画像サイズを用いて前記ビットストリームに含まれる符号化画像信号を復号することで第２復号画像を生成する第２復号ステップを含む
   請求項１記載の画像復号方法。
3. ビットストリームを復号する画像復号装置であって、
   前記ビットストリームから、最小符号化単位のサイズの整数倍になるようにパディングされたパディング画像の画像サイズと、前記最小符号化単位のサイズとを抽出する解析部と、
   前記画像サイズが前記最小符号化単位のサイズの整数倍であるか否かを判定する判定部と、
   前記画像サイズが前記最小符号化単位のサイズの整数倍である場合、前記画像サイズを用いて前記ビットストリームに含まれる符号化画像信号を復号することで第１復号画像を生成する画像復号部と、
   前記画像サイズが前記最小符号化単位のサイズの整数倍でない場合、前記画像サイズが誤った値であると判定するエラー処理部と、を備える
   画像復号装置。
4. ビットストリームを復号する集積回路であって、
   前記ビットストリームから、最小符号化単位のサイズの整数倍になるようにパディングされたパディング画像の画像サイズと、前記最小符号化単位のサイズとを抽出する解析部と、
   前記画像サイズが前記最小符号化単位のサイズの整数倍であるか否かを判定する判定部と、
   前記画像サイズが前記最小符号化単位のサイズの整数倍である場合、前記画像サイズを用いて前記ビットストリームに含まれる符号化画像信号を復号することで第１復号画像を生成する画像復号部と、
   前記画像サイズが前記最小符号化単位のサイズの整数倍でない場合、前記画像サイズが誤った値であると判定するエラー処理部と、を備える
   集積回路。

Images