JP6572353B2 - 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 - Google Patents

Description

本発明は、画像符号化方法、又は画像復号方法に関する。

画像（動画像を含む）を符号化する画像符号化方法、又は、画像を復号する画像復号方法に関する技術として、非特許文献１に記載の技術がある。

Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ） ｏｆ ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ １２ｔｈ Ｍｅｅｔｉｎｇ： Ｇｅｎｅｖａ， ＣＨ， １４−２３ Ｊａｎ． ２０１３ ＪＣＴＶＣ−Ｌ１００３＿ｖ３４．ｄｏｃ， Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ １０ （ｆｏｒ ＦＤＩＳ ＆ Ｌａｓｔ Ｃａｌｌ） ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００３−ｖ３４．ｚｉｐ

しかしながら、従来技術に係る画像符号化方法又は画像復号方法において、非効率的な処理が用いられる場合がある。

そこで、本発明は、画像復号装置が効率的に復号できる符号化ビットストリームを生成できる画像符号化方法、又は、画像を効率的に復号できる画像復号方法を提供することを目的とする。

本発明の一態様に係る画像符号化方法は、複数のピクチャを階層符号化してビットストリームを生成する画像符号化方法であって、各々が複数の階層のいずれかに属する前記複数のピクチャそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに符号化し、符号化された前記複数のピクチャと、前記複数のピクチャの復号時刻を示す時刻情報とを符号化して前記ビットストリームを生成し、前記時刻情報は、前記複数のピクチャのうち、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されていることを示す。

また、本発明の一態様に係る画像復号方法は、複数の階層のいずれかにそれぞれが属する複数のピクチャを階層符号化することにより生成されたビットストリームを復号する画像復号方法であって、前記ビットストリームから前記複数のピクチャの復号時刻を示す時刻情報を復号し、前記時刻情報に従って、前記複数のピクチャのそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに復号し、前記時刻情報は、前記複数のピクチャのうち、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されていることを示す。

なお、これらの全般的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本発明は、画像復号装置が効率的に復号できる符号化ビットストリームを生成できる画像符号化方法、又は、画像を効率的に復号できる画像復号方法を提供できる。

図１は、符号化構造の一例を示す図である。 図２は、符号化構造の一例を示す図である。 図３は、符号化構造の一例を示す図である。 図４は、符号列の一例を示す図である。 図５は、符号列の一例を示す図である。 図６は、符号列の一例を示す図である。 図７は、実施の形態１に係る画像符号化装置のブロック図である。 図８は、実施の形態１に係る画像符号化処理のフローチャートである。 図９は、実施の形態１に係る符号化構造決定処理のフローチャートである。 図１０Ａは、実施の形態１に係る符号列の一例を示す図である。 図１０Ｂは、実施の形態１に係る符号列の一例を示す図である。 図１１は、実施の形態１に係る符号列の一例を示す図である。 図１２は、実施の形態１に係る符号列の一例を示す図である。 図１３は、実施の形態１に係るＮＡＬタイプ決定処理のフローチャートである。 図１４は、実施の形態１に係る参照ピクチャセットの一例を示す図である。 図１５は、実施の形態１に係る参照ピクチャセットの一例を示す図である。 図１６は、実施の形態１に係る参照ピクチャセットの一例を示す図である。 図１７は、実施の形態２に係る画像符号化装置のブロック図である。 図１８は、実施の形態２に係る画像符号化処理のフローチャートである。 図１９は、実施の形態２に係るＮＡＬタイプ決定処理のフローチャートである。 図２０は、実施の形態２に係るＳＥＩ決定処理のフローチャートである。 図２１Ａは、実施の形態２に係る符号列の一例を示す図である。 図２１Ｂは、実施の形態２に係る符号列の一例を示す図である。 図２２は、実施の形態２に係る符号列の一例を示す図である。 図２３は、実施の形態２に係る符号列の一例を示す図である。 図２４は、実施の形態３に係る符号化構造決定処理のフローチャートである。 図２５Ａは、実施の形態３に係る符号列の一例を示す図である。 図２５Ｂは、実施の形態３に係る符号列の一例を示す図である。 図２６は、実施の形態３に係る符号列の一例を示す図である。 図２７は、実施の形態３に係る符号列の一例を示す図である。 図２８は、実施の形態３に係るＮＡＬタイプ決定処理のフローチャートである。 図２９は、実施の形態３に係る参照ピクチャセットの一例を示す図である。 図３０は、実施の形態３に係る参照ピクチャセットの一例を示す図である。 図３１は、実施の形態３に係る参照ピクチャセットの一例を示す図である。 図３２は、実施の形態３に係る符号化構造の一例を示す図である。 図３３は、実施の形態４に係る符号化構造決定処理のフローチャートである。 図３４Ａは、実施の形態４に係る符号列の一例を示す図である。 図３４Ｂは、実施の形態４に係る符号列の一例を示す図である。 図３５は、実施の形態４に係る符号列の一例を示す図である。 図３６は、実施の形態４に係る符号列の一例を示す図である。 図３７は、実施の形態４に係る参照ピクチャセットの一例を示す図である。 図３８は、実施の形態４に係る参照ピクチャセットの一例を示す図である。 図３９は、実施の形態４に係る参照ピクチャセットの一例を示す図である。 図４０は、実施の形態５に係る画像復号装置のブロック図である。 図４１は、実施の形態５に係る画像復号処理のフローチャートである。 図４２は、実施の形態５に係る再生ＧＯＰ取得処理のフローチャートである。 図４３は、実施の形態６に係る画像復号処理のフローチャートである。 図４４は、実施の形態６に係る再生ＧＯＰ取得処理のフローチャートである。 図４５は、実施の形態７に係る画像復号処理のフローチャートである。 図４６は、実施の形態７に係る再生ＧＯＰ取得処理のフローチャートである。 図４７は、実施の形態８に係る画像復号処理のフローチャートである。 図４８は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図４９は、デジタル放送用システムの全体構成図である。 図５０は、テレビの構成例を示すブロック図である。 図５１は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図５２は、光ディスクである記録メディアの構造例を示す図である。 図５３Ａは、携帯電話の一例を示す図である。 図５３Ｂは、携帯電話の構成例を示すブロック図である。 図５４は、多重化データの構成を示す図である。 図５５は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図５６は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図５７は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図５８は、ＰＭＴのデータ構成を示す図である。 図５９は、多重化データ情報の内部構成を示す図である。 図６０は、ストリーム属性情報の内部構成を示す図である。 図６１は、映像データを識別するステップを示す図である。 図６２は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。 図６３は、駆動周波数を切り替える構成を示す図である。 図６４は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図６５は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図６６Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図６６Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、画像を符号化する画像符号化装置、又は、画像を復号する画像復号装置に関して、以下の問題が生じることを見出した。

近年、デジタル映像機器の技術進歩が著しく、ビデオカメラ又はテレビチューナから入力された映像信号（時系列順に並んだ複数のピクチャ）が圧縮符号化され、得られたデータがＤＶＤ又はハードディスク等の記録メディアに記録される機会が増えている。画像符号化規格としてはＨ．２６４／ＡＶＣ（ＭＰＥＧ−４ ＡＶＣ）があるが、次世代の標準規格としてＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格（非特許文献１）が検討されている。

ＨＥＶＣ規格（非特許文献１）では、時間スケーラビリティを実現するために、階層構造を用いることが可能となっている。これにより、例えば、図１、図２及び図３に示すような符号化構造を実現できる。

図１、図２及び図３において、ＴｅｍｐｏｒａｌＩｄとは符号化構造の階層の識別子である。ＴｅｍｐｏｒａｌＩｄが大きくなるほど深い（低い）階層であることを示す。１つの四角のブロックはピクチャを示し、ブロック内のＩｘはＩピクチャ（画面内予測ピクチャ）、ＰｘはＰピクチャ（前方参照予測ピクチャ）、ＢｘはＢピクチャ（双方向参照予測ピクチャ）を示す。Ｉｘ／Ｐｘ／Ｂｘのｘは、ピクチャが表示される順番を表わす。アンダーラインの付いたＩｘ／Ｐｘ／Ｂｘのピクチャは同じＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）に属することを示す。斜線で網掛けしているピクチャは最大ＴｅｍｐｏｒａｌＩｄのピクチャであることを示す。

また、図１は、最大ＴｅｍｐｏｒａｌＩｄが４である場合の例を示し、図２は、最大ＴｅｍｐｏｒａｌＩｄが３である場合の例を示し、図３は、最大ＴｅｍｐｏｒａｌＩｄが２である場合の例を示す。

自らのＴｅｍｐｏｒａｌＩｄより大きいＴｅｍｐｏｒａｌＩｄを持つピクチャを参照画像として使うことは禁止されており、それによって時間スケーラビリティが実現される。例えば、図１に示す映像は、１２０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の映像である。画像復号装置が、１２０ｆｐｓの映像から６０ｆｐｓの映像を取得したい場合、ＴｅｍｐｏｒａｌＩｄが０からＴｅｍｐｏｒａｌＩｄが３のピクチャのみを復号する。ここで、ＴｅｍｐｏｒａｌＩｄが０からＴｅｍｐｏｒａｌＩｄが３のピクチャは、ＴｅｍｐｏｒａｌＩｄが４のピクチャを参照することが禁止されているため、画像復号装置は、ＴｅｍｐｏｒａｌＩｄが４のピクチャを復号しなくても、ＴｅｍｐｏｒａｌＩｄが０からＴｅｍｐｏｒａｌＩｄが３のピクチャを復号できる。このように、画像復号装置は、ＴｅｍｐｏｒａｌＩｄが０からＴｅｍｐｏｒａｌＩｄが３のピクチャのみを復号して６０ｆｐｓの映像を得ることができる。

また、処理対象の対象ピクチャの参照画像として、対象ピクチャのＴｅｍｐｏｒａｌＩｄ以下のＴｅｍｐｏｒａｌＩｄを持つピクチャしか使うことできない。これにより、図１、図２及び図３に示すピクチャの符号列（符号化順）は、それぞれ図４、図５及び図６に示すようになる。図４は、最大ＴｅｍｐｏｒａｌＩｄが４である場合の例を示し、図５は、最大ＴｅｍｐｏｒａｌＩｄが３である場合の例を示し、図６は、最大ＴｅｍｐｏｒａｌＩｄが２である場合の例を示す。つまり、画像符号化装置は、先にＴｅｍｐｏｒａｌＩｄが小さいピクチャから符号化し、それらのピクチャを参照画像として使うＴｅｍｐｏｒａｌＩｄが大きいピクチャをその後に符号化する。

しかしながら、時間スケーラビリティを利用して低いフレームレートで画像を再生する場合でも、低くする前のフレームレートでピクチャ復号をしないと、ＣＰＢ（Ｃｏｄｅｄ
Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）のバッファモデルが破綻してしまうという課題があることを本発明者は見出した。

例えば図４に示す符号列が１２０ｆｐｓである場合、画像復号装置は、６０ｆｐｓで映像を再生する場合には、斜線で網掛けしていないピクチャのみを復号する。しかしながら、Ｉ０、Ｐ１６、Ｂ８、Ｂ４、Ｂ２が連続して符号列に存在するために１／１２０秒で１ピクチャを復号しないと符号列がどんどんＣＰＢに溜まっていく。これにより、オーバーフローが発生してしまう。しかし、６０ｆｐｓで再生したいケースは、１ピクチャの復号能力が１／６０秒しかないシステムである場合が多い。そして、そういったシステムでは、オーバーフローが発生するため６０ｆｐｓで映像を表示することができない。このように、画像復号装置が１／１２０秒のピクチャ復号能力がなければ６０ｆｐｓの映像を表示できないという課題があることを本発明者は見出した。

本発明の一態様に係る画像符号化方法は、複数のピクチャを階層符号化してビットストリームを生成する画像符号化方法であって、各々が複数の階層のいずれかに属する前記複数のピクチャそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに符号化し、符号化された前記複数のピクチャと、前記複数のピクチャの復号時刻を示す時刻情報とを符号化して前記ビットストリームを生成し、前記時刻情報は、前記複数のピクチャのうち、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されていることを示す。

これによれば、当該画像符号化方法は、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されている符号化ビットストリームを生成できる。よって、例えば、全階層のピクチャのフレームレートが１２０ｆｐｓであり、下層ピクチャのフレームレートが６０ｆｐｓである場合、６０ｆｐｓの復号能力を有する画像復号装置で、下層ピクチャを復号できる。このように、当該画像符号化方法は、画像復号装置が効率的に復号できる符号化ビットストリームを生成できる。

例えば、前記時刻情報は、ランダムアクセス可能なＩピクチャより表示順で前の前方ピクチャの復号時刻が、前記Ｉピクチャより表示順で後の後方ピクチャの復号時刻より前であることを示してもよい。

これによれば、当該画像符号化方法は、画像復号装置の参照フレームメモリの容量を削減できる。

例えば、前記複数のピクチャは、各々が、少なくとも一つのＩピクチャを含み、表示順で連続する複数のピクチャを含む複数のピクチャ群のいずれかに含まれ、各前記ピクチャ群に含まれる複数のピクチャが、他のピクチャ群に含まれるピクチャの復号をはさまず連続して復号されるように、前記復号時刻が設定されていてもよい。

これによれば、当該画像符号化方法は、画像復号装置において特別な処理を行うことなく復号できる符号化ビットストリームを生成できる。

例えば、前記複数のピクチャの符号化では、前記最上層ピクチャと、前記下層ピクチャとを交互に符号化してもよい。

例えば、前記下層ピクチャのフレームレートは、前記複数のピクチャのフレームレートの半分であってもよい。

例えば、前記最上層ピクチャは、表示順で直後、かつ、１階層下のピクチャを参照せずに符号化されてもよい。

また、本発明の一態様に係る画像復号方法は、複数の階層のいずれかにそれぞれが属する複数のピクチャを階層符号化することにより生成されたビットストリームを復号する画像復号方法であって、前記ビットストリームから前記複数のピクチャの復号時刻を示す時刻情報を復号し、前記時刻情報に従って、前記複数のピクチャのそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに復号し、前記時刻情報は、前記複数のピクチャのうち、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されていることを示す。

これによれば、例えば、全階層のピクチャのフレームレートが１２０ｆｐｓであり、下層ピクチャのフレームレートが６０ｆｐｓである場合、６０ｆｐｓの復号能力を有する画像復号装置で、下層ピクチャを復号できる。このように、当該画像復号方法は、画像を効率的に復号できる。

例えば、前記時刻情報は、ランダムアクセス可能なＩピクチャより表示順で前の前方ピクチャの復号時刻が、前記Ｉピクチャより表示順で後の後方ピクチャの復号時刻より前であることを示してもよい。

これによれば、当該画像復号方法は、参照フレームメモリの容量を削減できる。

例えば、前記複数のピクチャは、各々が、少なくとも一つのＩピクチャを含み、表示順で連続する複数のピクチャを含む複数のピクチャ群のいずれかに含まれ、各前記ピクチャ群に含まれる複数のピクチャが、他のピクチャ群に含まれるピクチャの復号をはさまず連続して復号されるように、前記復号時刻が設定されていてもよい。

これによれば、当該画像復号方法は、特別な処理を行うことなく画像を復号できる。

例えば、前記下層ピクチャのフレームレートは、前記複数のピクチャのフレームレートの半分であってもよい。

例えば、前記最上層ピクチャは、表示順で直後、かつ、１階層下のピクチャを参照せずに符号化されていてもよい。

また、本発明の一態様に係る画像符号化装置は、複数のピクチャを階層符号化してビットストリームを生成する画像符号化装置であって、各々が複数の階層のいずれかに属する前記複数のピクチャそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに符号化する符号化部と、符号化された前記複数のピクチャと、前記複数のピクチャの復号時刻を示す時刻情報とを符号化して前記ビットストリームを生成する生成部とを備え、前記時刻情報は、前記複数のピクチャのうち、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されていることを示す。

これによれば、当該画像符号化装置は、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されている符号化ビットストリームを生成できる。よって、例えば、全階層のピクチャのフレームレートが１２０ｆｐｓであり、下層ピクチャのフレームレートが６０ｆｐｓである場合、６０ｆｐｓの復号能力を有する画像復号装置で、下層ピクチャを復号できる。このように、当該画像符号化装置は、画像復号装置が効率的に復号できる符号化ビットストリームを生成できる。

また、本発明の一態様に係る受信装置は、複数の階層のいずれかにそれぞれが属する複数のピクチャを階層符号化することにより生成されたビットストリームを受信する受信装置であって、前記ビットストリームから前記複数のピクチャの復号時刻を示す時刻情報を復号する第１復号部と、前記時刻情報に従って、前記複数のピクチャのそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに復号する第２復号部とを備え、前記時刻情報は、前記複数のピクチャのうち、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されていることを示す。

これによれば、例えば、全階層のピクチャのフレームレートが１２０ｆｐｓであり、下層ピクチャのフレームレートが６０ｆｐｓである場合、６０ｆｐｓの復号能力を有する受信装置で、下層ピクチャを復号できる。このように、当該受信装置は、画像を効率的に復号できる。

また、本発明の一態様に係る送信装置は、複数のピクチャを階層符号化して生成されたビットストリームを外部に送信する送信装置であって、前記階層符号化は、各々が複数の階層のいずれかに属する前記複数のピクチャそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに符号化し、符号化された前記複数のピクチャと、前記複数のピクチャの復号時刻を示す時刻情報とを符号化して前記ビットストリームを生成することにより実行され、前記時刻情報は、前記複数のピクチャのうち、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されていることを示す。

これによれば、当該送信装置は、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されている符号化ビットストリームを送信できる。よって、例えば、全階層のピクチャのフレームレートが１２０ｆｐｓであり、下層ピクチャのフレームレートが６０ｆｐｓである場合、６０ｆｐｓの復号能力を有する画像復号装置で、下層ピクチャを復号できる。このように、当該送信装置は、画像復号装置が効率的に復号できる符号化ビットストリームを送信できる。

また、本発明の一態様に係る画像符号化復号装置は、前記画像符号化装置と、前記画像復号装置とを備える。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の実施の形態について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
＜全体構成＞
図７は、本実施の形態における画像符号化装置１００の構成を示すブロック図である。図７に示す画像符号化装置１００は、入力画像１２１を符号化することで符号列１２４を生成する。この画像符号化装置１００は、符号化構造決定部１０１と、ＮＡＬタイプ決定部１０２と、符号化部１０３とを備える。

＜動作（全体）＞
次に、図８を参照しつつ、符号化処理全体の流れを説明する。図８は、本実施の形態に係る画像符号化処理のフローチャートである。

まず、符号化構造決定部１０１は、外部から入力された入力画像１２１及び最大ＴｅｍｐｏｒａｌＩｄ１２２に基づき符号化構造を決定する（Ｓ１０１）。具体的には、符号化構造決定部１０１は、各ピクチャのＴｅｍｐｏｒａｌＩｄを決定する。

次に、ＮＡＬタイプ決定部１０２は、対象ピクチャのＮＡＬタイプを決定する（Ｓ１０２）。

次に、符号化部１０３は、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１、及びｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙを符号化し（Ｓ１０４）、ＮＡＬタイプを符号化し（Ｓ１０５）、ＴｅｍｐｏｒａｌＩｄを符号化し（Ｓ１０７）、参照ピクチャセットを符号化し（Ｓ１０８）、ピクチャを符号化する（Ｓ１０９）ことで、符号列１２４を生成する。具体的には、符号化部１０３は、複数のセットの中から、外部から入力された参照ピクチャセット識別子１２３で特定される参照ピクチャセットを符号化する。また、符号化部１０３は、対象ピクチャがＩピクチャである場合は画面内予測を用い、対象ピクチャがＰピクチャである場合は片方向画面間予測を用い、対象ピクチャがＢピクチャである場合は双方向画面間予測を用いて、対象ピクチャを符号化する。また、符号化部１０３は、周波数変換及び可変長符号化を用いて対象ピクチャを符号化する。

なお、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１、ｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ及びＮＡＬタイプについては後述する。

そして、画像符号化装置１００は、全ピクチャの処理が完了するまでステップＳ１０２〜Ｓ１０９の処理を繰り返す（Ｓ１１０）。

＜動作（符号化構造決定）＞
次に、図９を参照しつつ、符号化構造決定処理（図８のステップＳ１０１）の流れを説明する。図９は、本実施の形態に係る符号化構造決定処理のフローチャートである。

まず、符号化構造決定部１０１は、外部から入力された最大ＴｅｍｐｏｒａｌＩｄ１２２に応じて図１、図２及び図３に示すように各ピクチャにＴｅｍｐｏｒａｌＩｄを割り当てる（Ｓ１２１）。例えば、最大ＴｅｍｐｏｒａｌＩｄが４である場合は、符号化構造決定部１０１は、表示順番が０及び１６の倍数のピクチャにはＴｅｍｐｏｒａｌＩｄ０を割り当て、表示順番が８以降のピクチャには１６ピクチャ間隔でＴｅｍｐｏｒａｌＩｄ１を割り当て、表示順番が４以降のピクチャには８ピクチャ間隔でＴｅｍｐｏｒａｌＩｄ２を割り当て、表示順番が２以降のピクチャには４ピクチャ間隔でＴｅｍｐｏｒａｌＩｄ３を割り当て、表示順番が奇数のピクチャにはＴｅｍｐｏｒａｌＩｄ４を割り当てる。

次に、符号化構造決定部１０１は、決定したＴｅｍｐｏｒａｌＩｄに応じて画像を並び替え、図４、図５及び図６に示すような符号化順を設定する（Ｓ１２２）。

次に、符号化構造決定部１０１は、ランダムアクセスポイントから次のランダムアクセスポイントまでのピクチャが同じＧＯＰに含まれるように複数のピクチャをグループ分けする（Ｓ１２３）。この時、符号化構造決定部１０１は、参照関係に応じてＩ／Ｐ／Ｂのピクチャタイプを決定する。具体的には、符号化構造決定部１０１は、ランダムアクセスポイントのピクチャをＩピクチャに設定する。ここでランダムアクセスポイントとは符号化した映像を途中から復号又は再生したい場合に指定できるピクチャであり、このピクチャから再生可能であることを示す。

次に、符号化構造決定部１０１は、最大ＴｅｍｐｏｒａｌＩｄのピクチャが奇数時刻、それ以外のピクチャが偶数時刻になるように画像を並び替える（Ｓ１２４）。例えば、符号化構造決定部１０１は、図１０Ａ及び図１０Ｂ、図１１、又は図１２に示すように画像を並び替える。図１０Ａ及び図１０Ｂは、最大ＴｅｍｐｏｒａｌＩｄが４である場合の例を示し、図１１は、最大ＴｅｍｐｏｒａｌＩｄが３である場合の例を示し、図１２は、最大ＴｅｍｐｏｒａｌＩｄが２である場合の例を示す。同図に示すように、符号化構造決定部１０１は、斜線の網掛けの最大ＴｅｍｐｏｒａｌＩｄのピクチャとそうでないピクチャが交互に符号化されるようにピクチャを並び替える。

＜動作（ＮＡＬタイプ決定）＞
次に、図１３を参照しつつ、ＮＡＬタイプ決定処理（図８のステップＳ１０２）の流れを説明する。図１３は、本実施の形態に係るＮＡＬタイプ決定処理のフローチャートである。

まず、ＮＡＬタイプ決定部１０２は、対象ピクチャがランダムアクセスポイントのピクチャであるかを判定する（Ｓ１４１）。対象ピクチャがランダムアクセスポイントのピクチャである場合（Ｓ１４１でＹｅｓ）、ＮＡＬタイプ決定部１０２は、対象ピクチャのＮＡＬタイプをＩＲＡＰに設定して処理を終了する（Ｓ１４２）。

対象ピクチャがランダムアクセスポイントのピクチャでない場合（Ｓ１４１でＮｏ）、ＮＡＬタイプ決定部１０２は、対象ピクチャが、符号化順で直前のＩＲＡＰより表示順が前であるかを判定する（Ｓ１４３）。

対象ピクチャが、符号化順で直前のＩＲＡＰより表示順が前である場合（Ｓ１４３でＹｅｓ）、ＮＡＬタイプ決定部１０２は、対象ピクチャが、符号化順で２つ前のＩＲＡＰと同じＧＯＰに含まれるかを判定する（Ｓ１４４）。対象ピクチャが、符号化順で２つ前のＩＲＡＰと同じＧＯＰに含まれる場合（Ｓ１４４でＹｅｓ）、ＮＡＬタイプ決定部１０２は、対象ピクチャのＮＡＬタイプをＢＬＰに設定する（Ｓ１４５）。

一方、対象ピクチャが、符号化順で２つ前のＩＲＡＰが含まれるＧＯＰと異なるＧＯＰに含まれる場合（Ｓ１４４でＮｏ）、ＮＡＬタイプ決定部１０２は、対象ピクチャのＮＡＬタイプをＬＰに設定する（Ｓ１４６）。

次に、ＮＡＬタイプ決定部１０２は、対象ピクチャが、符号化順でＧＯＰの最後のピクチャであるかを判定する（Ｓ１４７）。対象ピクチャが、符号化順でＧＯＰの最後のピクチャである場合（Ｓ１４７でＹｅｓ）、ＮＡＬタイプ決定部１０２は、対象ピクチャのＮＡＬタイプをＬＬＰに設定して処理を終了する（Ｓ１４８）。

また、対象ピクチャが、符号化順で直前のＩＲＡＰより表示順が後である場合（Ｓ１４３でＮｏ）、ＮＡＬタイプ決定部１０２は、符号化順で直前のＩＲＡＰより表示順が前のピクチャがまだ符号化されていないかを判定する（Ｓ１４９）。符号化順で直前のＩＲＡＰより表示順が前のピクチャがまだ符号化されていない場合（Ｓ１４９でＹｅｓ）、ＮＡＬタイプ決定部１０２は、対象ピクチャのＮＡＬタイプをＰＴＰに設定し処理を終了する（Ｓ１５０）。

符号化順で直前のＩＲＡＰより表示順が前のピクチャが符号化済みである場合（Ｓ１４９でＮｏ）ＮＡＬタイプ決定部１０２は、対象ピクチャが、符号化順で２つ前のＩＲＡＰと同じＧＯＰに含まれるかを判定する（Ｓ１５１）。対象ピクチャが、符号化順で２つ前のＩＲＡＰと同じＧＯＰに含まれる場合（Ｓ１５１でＹｅｓ）、ＮＡＬタイプ決定部１０２は、対象ピクチャのＮＡＬタイプをＢＴＰに設定する（Ｓ１５２）。

対象ピクチャが、符号化順で２つ前のＩＲＡＰが含まれるＧＯＰと異なるＧＯＰに含まれる場合（Ｓ１５１でＮｏ）、ＮＡＬタイプ決定部１０２は、対象ピクチャのＮＡＬタイプをＴＰに設定する（Ｓ１５３）。

次に、ＮＡＬタイプ決定部１０２は、対象ピクチャが、符号化順でＧＯＰの最後のピクチャであるかを判定する（Ｓ１５４）。対象ピクチャが、符号化順でＧＯＰの最後のピクチャである場合（Ｓ１５４でＹｅｓ）、ＮＡＬタイプ決定部１０２は、対象ピクチャのＮＡＬタイプをＬＴＰに設定して処理を終了する（Ｓ１５５）。

以上の処理によって、図１０Ａ及び図１０Ｂ、図１１及び図１２に示すような符号列が生成される。各ＮＡＬタイプの意味を以下に示す。ＩＲＡＰは、ランダムアクセス可能なＩスライスのみを含むピクチャを意味する。ＬＰは、ＩＲＡＰより表示順で前のピクチャを意味する。ＴＰは、ＩＲＡＰより表示順で後のピクチャを意味する。ＢＬＰは、符号化順で２つ前のＩＲＡＰと同じＧＯＰに含まれるＬＰのピクチャを意味する。ＢＴＰは、符号化順で２つ前のＩＲＡＰと同じＧＯＰに含まれるＴＰのピクチャを意味する。ＬＬＰは、符号化順でＧＯＰの最終のピクチャであるＬＰのピクチャを意味する。ＬＴＰは、符号化順でＧＯＰの最終のピクチャであるＴＰのピクチャを意味する。ＰＴＰは、符号化順で後にまだＬＰのピクチャがあるＴＰのピクチャを意味する。

また、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１は、復号を開始するタイミングを示すパラメータであり、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１＋１の時刻で復号を開始すべきことを示す。また、ｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙは復号したピクチャの表示タイミングを示すパラメータであり、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１＋１＋ｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙの時刻で復号したピクチャを表示すべきことを示す。図１０Ａ及び図１０Ｂに示すＰ１６を例に説明すると、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１＋１である時刻２で復号が開始され、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１＋１＋ｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙである時刻２４でＰ１６が表示される。

また、これらの復号時刻を示す情報は、符号列１２４に含まれて画像復号装置に送信される。画像復号装置は、これらの情報で示される復号時刻にピクチャを復号する。つまり、図１０Ａ、図１０Ｂ、図１１及び図１２に示す時刻（符号化時刻）は、画像復号装置における復号時刻を示す。また、上記符号化順は、画像復号装置における復号順を示す。

また、復号時刻及び表示時刻を示す情報は、上記ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１及びｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙに限らず、任意の情報が用いられてもよい。

参照ピクチャセットは、参照ピクチャとして使用される複数ピクチャを示す。（１）ピクチャは、自らのＴｅｍｐｏｒａｌＩｄより大きいＴｅｍｐｏｒａｌＩｄのピクチャを参照してはならない、かつ、（２）ＴＰのピクチャはＬＰのピクチャを参照してはならない、という制約を守れば、参照ピクチャセットは、自由に設定されてよい。

本実施の形態に係る参照ピクチャセットの例を、図１４、図１５及び図１６に示す。図１４は、圧縮率を重視したセットであり、可能な限り符号化済みのピクチャが参照されるセットを示す。図１５は、使用するフレームメモリサイズを小さくできるセットであり、対象ピクチャに表示順が近い前と後のピクチャが参照されるセットを示す。また、このセットは、ランダムアクセスが行われやすいように対象ピクチャと同じＧＯＰのピクチャのみが参照されるように設定されている。

図１６は、圧縮率とフレームメモリサイズのバランスがとられているセットであり、符号化誤差が小さいＴｅｍｐｏｒａｌＩｄ０のピクチャが参照されたり、対象ピクチャに表示順が近い前と後のピクチャが参照されたりするセットを示す。また、このセットは、ランダムアクセスが行われやすいように対象ピクチャと同じＧＯＰのピクチャのみが参照されるように設定されている。また、このセットでは、再生フレームレートを符号列の途中で切り替えることができるように、ＨＥＶＣ（非特許文献１）のＴＳＡピクチャと同様に同じＴｅｍｐｏｒａｌＩｄのピクチャの参照が禁止されている。

先に述べたように本実施の形態では、画像符号化装置１００は、外部から入力された参照ピクチャセット識別子１２３に応じて、３つのセットの中から１つを選択し、選択したセットを符号化する。

なお、図１４、図１５及び図１６に示す例は、最大ＴｅｍｐｏｒａｌＩｄが４である場合の例である。最大ＴｅｍｐｏｒａｌＩｄが４以外である場合も、（１）ピクチャは、自らのＴｅｍｐｏｒａｌＩｄより大きいＴｅｍｐｏｒａｌＩｄのピクチャを参照してはならない、かつ（２）ＴＰのピクチャはＬＰのピクチャを参照してはならない、という制約を守れば、参照ピクチャセットは、自由に設定されてよい。

また、符号列の先頭付近のピクチャ（例えばＩ０とＰ１６）の間が、時刻との関係を説明するために空けられているが、実際の符号列では連続している。また、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１によって復号開始時刻の間隔が設定される。

＜効果＞
以上、本実施の形態によれば、符号列の最大フレームレートで復号できる能力を有していないシステムでも、表示フレームレートを下げて映像を表示できる。例えば、図１０Ａ及び図１０Ｂの符号列が１２０ｆｐｓの符号列である場合、画像復号装置は、１２０ｆｐｓの映像を表示したい場合には、図１０Ａ及び図１０Ｂの「復号」と「表示」で示した通りに復号することで、１２０ｆｐｓの映像を表示できる。また、画像復号装置は、６０ｆｐｓで映像を表示したい場合は「復号」と「表示」で示したピクチャの内、斜線の網掛けがないピクチャのみを復号及び表示すればよい。この場合、該当のピクチャは２ピクチャ間隔で符号化されているため、画像復号装置は、１／６０秒に１回ピクチャを復号すればバッファを破綻させることなく符号列の復号及び表示を行える。つまり、画像復号装置は、１／１２０秒のピクチャ復号の能力を有していなくても１／６０秒のピクチャ復号能力を有していれば６０ｆｐｓで映像を表示できる。

また、ＴＰからＬＰへの参照が禁止され、ＴＰの符号化後には次のＩＲＡＰまでＬＰが符号化されないことによって、画像符号化装置１００又は画像復号装置は、ＴＰの符号化又は復号時に参照フレームメモリからＬＰのピクチャを削減することができる。これにより、参照フレームメモリのサイズを削減できる。また、符号化順（復号順）で後にまだＬＰのピクチャがあることを示すＰＴＰというＮＡＬタイプが用いられることによって、画像符号化装置１００又は画像復号装置は、ＩＲＡＰより表示順が後のピクチャをＬＰより前に符号化又は復号できる。これにより、フレームメモリのサイズ削減とフレームレートを下げた復号とを両立できる。

また、ピクチャが符号化順で前のＧＯＰに属することを示すＢＬＰ及びＢＴＰと、ＧＯＰの最後を示すＬＬＰ及びＬＴＰが用いられることによって、画像復号装置は、２つのＧＯＰのピクチャが混在するような符号列において、ピクチャがどのＧＯＰに属するかを判定しやすくなる。これにより、画像復号装置は、特殊再生等を行う場合に、符号列からＧＯＰを容易に抽出できる。

このように、本実施の形態に係る画像符号化装置１００は、複数のピクチャを階層符号化してビットストリーム（符号列１２４）を生成する。画像符号化装置１００は、各々が複数の階層のいずれかに属する複数のピクチャそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに符号化する。画像符号化装置１００は、符号化された複数のピクチャと、複数のピクチャの復号時刻を示す時刻情報（ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１）とを符号化してビットストリーム（符号列１２４）を生成する。時刻情報は、複数のピクチャのうち、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されていることを示す。言い換えると、画像符号化装置１００は、最上層ピクチャと、下層ピクチャとを交互に符号化する。

例えば、下層ピクチャのフレームレートは、複数のピクチャのフレームレートの半分である。例えば、下層ピクチャのフレームレートは６０ｆｐｓであり、複数のピクチャのフレームレートは１２０ｆｐｓである。

これにより、画像符号化装置１００は、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されている符号化ビットストリームを生成できる。よって、例えば、全階層のピクチャのフレームレートが１２０ｆｐｓであり、下層ピクチャのフレームレートが６０ｆｐｓである場合、６０ｆｐｓの復号能力を有する画像復号装置で、下層ピクチャを復号できる。このように、画像符号化装置１００は、画像復号装置が効率的に復号できる符号化ビットストリームを生成できる。

なお、上記説明では、画像符号化装置１００は、外部から入力された最大ＴｅｍｐｏｒａｌＩｄ１２２に基づき符号化構造を決定しているが、最大ＴｅｍｐｏｒａｌＩｄは外部から入力されなくてもよい。例えば、画像符号化装置１００は、最大ＴｅｍｐｏｒａｌＩｄとして固定値を用いてもよい。または、画像符号化装置１００は、入力画像１２１のフレームレートに基づき、最大ＴｅｍｐｏｒａｌＩｄを決めてもよいし、入力画像１２１の動き情報又は複雑性に基づき最大ＴｅｍｐｏｒａｌＩｄを決めてもよい。

また、上記説明では、画像符号化装置１００は、外部から入力された参照ピクチャセット識別子１２３を用いて３種類の参照ピクチャセットから使用する参照ピクチャセットを選択しているが、参照ピクチャセット識別子１２３は外部から入力されなくてもよい。例えば、画像符号化装置１００は、固定の参照ピクチャセットを使用してもよい。または、画像符号化装置１００は、参照フレームメモリの不足量に応じて、使用する参照ピクチャセットを切り替えてもよいし、入力画像１２１の動き情報又は複雑性に基づき、使用する参照ピクチャセットを切り替えてもよい。

また、上記説明では、参照ピクチャリストを３種類示したが、この限りではなく、（１）ピクチャは、自らのＴｅｍｐｏｒａｌＩｄより大きいＴｅｍｐｏｒａｌＩｄのピクチャを参照してはならない、かつ、（２）ＴＰのピクチャはＬＰのピクチャを参照してはならない、という制約を守れば、参照ピクチャリストは自由に設定されてよい。

また、図１０Ａ、図１０Ｂ、図１１及び図１２では、時刻の単位を１／１２０秒としたが、この限りではなく、時刻の単位は１／６０秒でも１／３０秒でもよい。この時刻の単位は、入力画像１２１のフレームレート又は符号化するピクチャのフレームレートから決定されればよい。

また、上記説明では、Ｉピクチャ以外のＴｅｍｐｏｒａｌＩｄ０のピクチャがＰピクチャである例を示したが、これらのピクチャは前方向を参照するＢピクチャでもよい。また、Ｉピクチャ（ランダムアクセスポイント）の間隔は図１０Ａ、図１０Ｂ、図１１及び図１２の通りでなくてもよい。例えば、Ｉピクチャの間隔は図１０Ａ、図１０Ｂ、図１１及び図１２に示す例より長くても短くてもよい。

また、上記説明では、図９に示すように、図４、図５及び図６に示すような符号順を設定した後、ステップＳ１２４において、図１０Ａ、図１０Ｂ、図１１及び図１２に示すような符号順に並び替えを行っているが、最終的に図１０Ａ、図１０Ｂ、図１１及び図１２に示すような符号順が設定されればよく、図４、図５及び図６に示すような符号順を一旦設定しなくてもよい。

更に、本実施の形態における処理は、ソフトウェアで実現してもよい。そして、このソフトウェアをダウンロード等により配布してもよい。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布してもよい。

また、このような各種変形例は、本明細書における他の実施の形態においても該当する。

（実施の形態２）
＜全体構成＞
図１７は、本実施の形態における画像符号化装置１００Ａの構成を示すブロック図である。図１７に示す画像符号化装置１００Ａは、入力画像１２１を符号化することで符号列１２４Ａを生成する。この画像符号化装置１００Ａは、図７に示す画像符号化装置１００の構成に対して、さらに、ＳＥＩ決定部１０４を備える。また、ＮＡＬタイプ決定部１０２Ａ及び符号化部１０３Ａの機能が、ＮＡＬタイプ決定部１０２及び符号化部１０３と異なる。

なお、以下では、実施の形態１と重複する説明は省略し、主に相違点を説明する。

＜動作（全体）＞
次に、図１８を参照しつつ、符号化処理全体の流れを説明する。図１８は、本実施の形態に係る画像符号化処理のフローチャートである。

図１８に示す処理は、図８に示す処理に対して、ステップＳ１０３及びＳ１０６が追加されている。また、ＮＡＬタイプの決定処理（Ｓ１０２Ａ）が図８と異なる。

まず、符号化構造決定部１０１は符号化構造を決定する（Ｓ１０１）。

次に、ＮＡＬタイプ決定部１０２Ａは、対象ピクチャのＮＡＬタイプを決定する（Ｓ１０２Ａ）。

次に、ＳＥＩ決定部１０４は、ＳＥＩを決定する（Ｓ１０３）。

次に、符号化部１０３Ａは、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１及びｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙを符号化し（Ｓ１０４）、ＮＡＬタイプを符号化し（Ｓ１０５）、ＳＥＩを符号化し（Ｓ１０６）、ＴｅｍｐｏｒａｌＩｄを符号化し（Ｓ１０７）、参照ピクチャセットを符号化し（Ｓ１０８）、ピクチャを符号化する（Ｓ１０９）ことで符号列１２４Ａを生成する。

そして、画像符号化装置１００Ａは、全ピクチャの処理が完了するまでステップＳ１０２Ａ〜Ｓ１０９の処理を繰り返す（Ｓ１１０）。

＜動作（符号化構造決定）＞
符号化構造決定処理の流れは実施の形態１（図９）と同様であるため、説明を省略する。

＜動作（ＮＡＬタイプ決定）＞
次に、図１９を参照しつつ、ＮＡＬタイプ決定処理（図１８のＳ１０２Ａ）の流れを説明する。図１９は、本実施の形態に係るＮＡＬタイプ決定処理のフローチャートである。

まず、ＮＡＬタイプ決定部１０２Ａは、対象ピクチャが符号化順の先頭ピクチャであるかを判定する（Ｓ１６１）。対象ピクチャが符号化順の先頭ピクチャである場合（Ｓ１６１でＹｅｓ）、ＮＡＬタイプ決定部１０２Ａは、対象ピクチャのＮＡＬタイプをＩＲＡＰに設定する（Ｓ１６２）。そうでない場合（Ｓ１６１でＮｏ）、ＮＡＬタイプ決定部１０２Ａは、対象ピクチャのＮＡＬタイプをＴＰに設定する（Ｓ１６３）。

＜動作（ＳＥＩ決定）＞
次に、図２０を参照しつつ、ＳＥＩ決定処理（図１８のＳ１０３）の流れを説明する。

まず、ＳＥＩ決定部１０４は、対象ピクチャがランダムアクセスポイントのピクチャであるかを判定する（Ｓ１８１）。対象ピクチャがランダムアクセスポイントのピクチャである場合（Ｓ１８１でＹｅｓ）、ＳＥＩ決定部１０４は、対象ピクチャのＳＥＩをｒｅｃｏｖｅｒｙ＿ｐｏｉｎｔ ＳＥＩに設定して処理を終了する（Ｓ１８２）。

対象ピクチャがランダムアクセスポイントのピクチャでない場合（Ｓ１８１でＮｏ）、ＳＥＩ決定部１０４は、対象ピクチャが、符号化順の直前のリカバリポイントより表示順が前であるかを判定する（Ｓ１８３）。

対象ピクチャが、符号化順の直前のリカバリポイントより表示順が前である場合（Ｓ１８３でＹｅｓ）、ＳＥＩ決定部１０４は、対象ピクチャが、符号化順で２つ前のリカバリポイントと同じＧＯＰに含まれるかを判定する（Ｓ１８４）。対象ピクチャが、符号化順で２つ前のリカバリポイントと同じＧＯＰに含まれる場合（Ｓ１８４でＹｅｓ）、ＳＥＩ決定部１０４は、対象ピクチャのＳＥＩをＢＬＰ ＳＥＩに設定する（Ｓ１８５）。

一方、対象ピクチャが、符号化順で２つ前のリカバリポイントが含まれるＧＯＰと異なるＧＯＰに含まれる場合（Ｓ１８４でＮｏ）、ＳＥＩ決定部１０４は、対象ピクチャのＳＥＩをＬＰ ＳＥＩに設定する（Ｓ１８６）。

次に、ＳＥＩ決定部１０４は、対象ピクチャが、符号化順でＧＯＰの最後のピクチャであるかを判定する（Ｓ１８７）。対象ピクチャが、符号化順でＧＯＰの最後のピクチャである場合（Ｓ１８７でＹｅｓ）、ＳＥＩ決定部１０４は、対象ピクチャのＳＥＩをＬＬＰ
ＳＥＩに設定して処理を終了する（ＳＳ１８８）。

また、対象ピクチャが、符号化順の直前のリカバリポイントより表示順が後である場合（Ｓ１８３でＮｏ）、ＳＥＩ決定部１０４は、符号化順で直前のＩＲＡＰより表示順が前のピクチャがまだ符号化されていないかを判定する（Ｓ１８９）。符号化順で直前のＩＲＡＰより表示順が前のピクチャがまだ符号化されていない場合（Ｓ１８９でＹｅｓ）、ＳＥＩ決定部１０４は、対象ピクチャのＳＥＩをＰＴＰ ＳＥＩに設定して処理を終了する（Ｓ１９０）。

符号化順で直前のＩＲＡＰより表示順が前のピクチャが符号化済みである場合（Ｓ１８９でＮｏ）、ＳＥＩ決定部１０４は、対象ピクチャが、符号化順で２つ前のリカバリポイントと同じＧＯＰに含まれるかを判定する（Ｓ１９１）。対象ピクチャが、符号化順で２つ前のリカバリポイントと同じＧＯＰに含まれる場合（Ｓ１９１でＹｅｓ）、ＳＥＩ決定部１０４は、対象ピクチャのＳＥＩをＢＴＰ ＳＥＩに設定する（Ｓ１９２）。対象ピクチャが、符号化順で２つ前のリカバリポイントが含まれるＧＯＰと異なるＧＯＰに含まれる場合（Ｓ１９１でＮｏ）、ＳＥＩ決定部１０４は、対象ピクチャのＳＥＩをＴＰ ＳＥＩに設定する（Ｓ１９３）。

次に、ＳＥＩ決定部１０４は、対象ピクチャが、符号化順でＧＯＰの最後のピクチャであるかを判定する（Ｓ１９４）。対象ピクチャが、符号化順でＧＯＰの最後のピクチャである場合（Ｓ１９４でＹｅｓ）、ＳＥＩ決定部１０４は、対象ピクチャのＳＥＩをＬＴＰ
ＳＥＩに設定して処理を終了する（Ｓ１９５）。

以上の処理によって、図２１Ａ、図２１Ｂ、図２２及び図２３のような符号列が生成される。図２１Ａ及び図２１Ｂは、最大ＴｅｍｐｏｒａｌＩｄが４である場合の例を示し、図２２は、最大ＴｅｍｐｏｒａｌＩｄが３である場合の例を示し、図２３は、最大ＴｅｍｐｏｒａｌＩｄが２である場合の例を示す。

各ＳＥＩタイプの意味を以下に示す。ＲＰ ＳＥＩは、ランダムアクセス可能なＩスライスのみを含むピクチャを意味する。ＬＰ ＳＥＩは、ＲＰより表示順で前のピクチャを意味する。ＴＰ ＳＥＩは、ＲＰより表示順で後のピクチャを意味する。ＢＬＰ ＳＥＩは、符号化順で２つ前のＲＰと同じＧＯＰに含まれるＬＰのピクチャを意味する。ＢＴＰ
ＳＥＩは、符号化順で２つ前のＲＰと同じＧＯＰに含まれるＴＰのピクチャを意味する。ＬＬＰ ＳＥＩは、符号化順でＧＯＰの最終のピクチャであるＬＰのピクチャを意味する。ＬＴＰ ＳＥＩは、符号化順でＧＯＰの最終のピクチャであるＴＰのピクチャを意味する。ＰＴＰ ＳＥＩは、符号化順で後にまだＬＰのピクチャがあるＴＰのピクチャを意味する。

また、参照ピクチャセットの具体例は実施の形態１（図１４、図１５、図１６）と同様であるため、説明を省略する。

＜効果＞
以上、本実施の形態によれば、符号列の最大フレームレートで復号できる能力を有していないシステムでも、表示フレームレートを下げて映像を表示できる。

また、ＨＥＶＣ規格（非特許文献１）ではＴＰがＬＰよりも先に符号化されることが禁止されている。本実施の形態では、ＩＲＡＰがピクチャの途中に存在しない、これにより、ＴＰがＬＰよりも先に符号化される状況が発生しない。また、途中のＩＲＡＰの代わりにＲｅｃｏｖｅｒｙ＿ｐｏｉｎｔ ＳＥＩが用いられることによりランダムアクセスが実現される。つまり、ＨＥＶＣ規格に準拠しつつ、ランダムアクセスと時間スケーラビリティとが実現される。

このように、本実施の形態に係る画像符号化装置１００Ａは、上記実施の形態１に係る画像符号化装置１００と同様の効果を実現できる。

（実施の形態３）
＜全体構成＞
本実施の形態に係る画像符号化装置１００の構成は実施の形態１（図７）と同様であるため、説明を省略する。

＜動作（全体）＞
符号化処理全体の流れは実施の形態１（図８）と同様であるため、説明を省略する。

＜動作（符号化構造決定）＞
次に、図２４を参照しつつ、符号化構造決定処理（図８のＳ１０１）の流れを説明する。図２４は、本実施の形態に係る符号化構造決定処理のフローチャートである。

図２４に示す処理は、実施の形態１で説明した図９に示す処理に対して、ステップＳ１２５が追加されている。また、Ｓ１２１〜Ｓ１２４は実施の形態１と同様であるため、説明を省略する。

符号化構造決定部１０１は、最大ＴｅｍｐｏｒａｌＩｄのピクチャが奇数時刻、それ以外のピクチャが偶数時刻になるように画像を並び替えた後（Ｓ１２４の後）、異なるＧＯＰのピクチャが混在しないように、最大ＴｅｍｐｏｒａｌＩｄのピクチャの符号化タイミングを図２５Ａ、図２５Ｂ、図２６及び図２７に示すように前に移動させる（Ｓ１２５）。図２５Ａ及び図２５Ｂは、最大ＴｅｍｐｏｒａｌＩｄが４である場合の例を示し、図２６は、最大ＴｅｍｐｏｒａｌＩｄが３である場合の例を示し、図２７は、最大ＴｅｍｐｏｒａｌＩｄが２である場合の例を示す。

例えば図２５Ａ及び図２５Ｂに示す例では、斜線の網掛けのピクチャが図１０Ａ及び図１０Ｂに比べて６時刻分前に移動される。これにより、ＩＲＡＰから次のＩＲＡＰまでのピクチャがひと塊に配置される。つまり、ＧＯＰごとにピクチャが連続して配置される。言い換えると、異なるＧＯＰに含まれるピクチャが混在しない。

＜動作（ＮＡＬタイプ決定）＞
次に、図２８を参照しつつ、ＮＡＬタイプ決定処理（図８のＳ１０２）の流れを説明する。図２８は、本実施の形態に係るＮＡＬタイプ決定処理のフローチャートである。

まず、ＮＡＬタイプ決定部１０２は、対象ピクチャが、ランダムアクセスポイントのピクチャであるかを判定する（Ｓ２０１）。対象ピクチャが、ランダムアクセスポイントのピクチャである場合（Ｓ２０１でＹｅｓ）、ＮＡＬタイプ決定部１０２は、対象ピクチャのＮＡＬタイプをＩＲＡＰに設定して処理を終了する（Ｓ２０２）。

対象ピクチャが、ランダムアクセスポイントのピクチャでない場合（Ｓ２０１でＮｏ）、ＮＡＬタイプ決定部１０２は、対象ピクチャが、符号化順の直前ＩＲＡＰより表示順が前であるかを判定する（Ｓ２０３）。対象ピクチャが、符号化順の直前ＩＲＡＰより表示順が前である場合（Ｓ２０３でＹｅｓ）、ＮＡＬタイプ決定部１０２は、対象ピクチャのＮＡＬタイプをＬＰに設定する（Ｓ２０４）。そうでない場合（Ｓ２０３でＮｏ）、ＮＡＬタイプ決定部１０２は、対象ピクチャのＮＡＬタイプをＴＰに設定する（Ｓ２０５）。

以上の処理によって、図２５Ａ、図２５Ｂ、図２６及び図２７に示すような符号列が生成される。

本実施の形態に係る参照ピクチャセットの例を図２９、図３０及び図３１に示す。なお、図２９、図３０及び図３１に示す例は、最大ＴｅｍｐｏｒａｌＩｄが４である場合の例である。

図２９は、圧縮率を重視したセットであり、可能な限り符号化済みのピクチャが参照されるセットを示す。図３０は、使用するフレームメモリサイズを小さくできるセットであり、対象ピクチャに表示順が近い前と後のピクチャが参照されるセットを示す。また、このセットは、ランダムアクセスが行われやすいように対象ピクチャと同じＧＯＰのピクチャのみが参照されるように設定されている。

図３１は、圧縮率とフレームメモリサイズのバランスがとられているセットであり、符号化誤差が小さいＴｅｍｐｏｒａｌＩｄ０のピクチャが参照されたり、対象ピクチャに表示順が近い前と後のピクチャが参照されたりするセットを示す。また、このセットは、ランダムアクセスが行われやすいように、対象ピクチャと同じＧＯＰのピクチャのみが参照されるように設定されている。また、このセットでは、再生フレームレートを符号列の途中で切り替えることができるように、ＨＥＶＣ（非特許文献１）のＴＳＡピクチャと同様に同じＴｅｍｐｏｒａｌＩｄのピクチャの参照が禁止されている。

図３２は、本実施の形態に係る符号化構造の一例を示す図である。なお、図３２は、最大ＴｅｍｐｏｒａｌＩｄが２である場合の例を示す。また、同図の時刻は表示順を示す。本実施の形態では、最大ＴｅｍｐｏｒａｌＩｄのピクチャの符号化タイミングが早められているため、最大ＴｅｍｐｏｒａｌＩｄのピクチャから一部のピクチャへの参照が禁止される。具体的には、最大ＴｅｍｐｏｒａｌＩｄの最上層ピクチャは、表示順で直後、かつ、１階層下のピクチャを参照せずに符号化される。例えば、図３２に示すＢ１からＢ２への参照が禁止される。

また、図３２に示すように、最も低い階層に属するピクチャの表示順で直前に位置する最上層ピクチャ（例えばＢ７）は、表示順で直前、かつ、１階層下のピクチャ（例えばＢ６）を参照可能である。言い換えると、最も低い階層に属するピクチャの表示順で直前に位置しない最上層ピクチャ（例えばＢ５）は、表示順で直前、かつ、１階層下のピクチャを参照せずに符号化される。

先に述べたように、本実施の形態では、画像符号化装置１００は、外部から入力された参照ピクチャセット識別子１２３に応じて、３つのセットの中から１つを選択し、選択したセットを符号化する。また、本実施の形態では、実施の形態１の例より、最大ＴｅｍｐｏｒａｌＩｄのピクチャの符号化タイミング（復号タイミング）が早められている。そのため、最大ＴｅｍｐｏｒａｌＩｄのピクチャを符号化（復号）する際の、符号化済み（復号済み）のピクチャが減ることで、最大ＴｅｍｐｏｒａｌＩｄのピクチャが使用できる参照画像が減少する。

＜効果＞
以上、本実施の形態によれば、符号列の最大フレームレートで復号できる能力を有していないシステムでも、表示フレームレートを下げて映像を表示できる。

また、ＴＰからＬＰへの参照が禁止され、ＴＰの符号化後には次のＩＲＡＰまでＬＰが符号化されないことによって、画像符号化装置１００又は画像復号装置は、ＴＰの符号化又は復号時に参照フレームメモリからＬＰのピクチャを削減することができる。これにより、参照フレームメモリのサイズを削減できる。

また、異なるＧＯＰに含まれるピクチャが混在しないので、画像復号装置は、特殊再生等を行う場合に、符号列からＧＯＰを容易に抽出できる。

また、最大ＴｅｍｐｏｒａｌＩｄのピクチャの符号化タイミングが早められていることにより、復号開始から表示までの遅延が少なくなる。図１０Ａ及び図１０Ｂと図２５Ａ及び図２５Ｂを比較して説明する。図１０Ａ及び図１０ＢではＩ０の表示が時刻８から始まるが、図２５Ａ及び図２５Ｂ（本実施の形態）では時刻６から表示開始されている。このように、本実施の形態では、表示の開始時刻が早まっている。これにより、ユーザが復号を指示してから表示が開始されるまでの時間を短くすることができるので、レスポンスが早いシステムを構築することができる。

このように、最大ＴｅｍｐｏｒａｌＩｄのピクチャの符号化タイミングが早められることにより、ＧＯＰの混在の回避、及び低遅延が実現される。一方で、最大ＴｅｍｐｏｒａｌＩｄのピクチャの符号化タイミングが早められることにより、最大ＴｅｍｐｏｒａｌＩｄのピクチャが使用できる参照ピクチャが減る。これにより、符号化効率が低下することが懸念される。しかし、最大ＴｅｍｐｏｒａｌＩｄのピクチャは最大ＴｅｍｐｏｒａｌＩｄ以外のＴｅｍｐｏｒａｌＩｄのピクチャからは参照されない。つまり、最大ＴｅｍｐｏｒａｌＩｄのピクチャは、他のピクチャから参照される頻度が低い。よって、最大ＴｅｍｐｏｒａｌＩｄのピクチャの画質が悪化してもその誤差が他のピクチャには伝搬しにくい。そのため、最大ＴｅｍｐｏｒａｌＩｄの参照ピクチャが少なくなっても、全体の符号化効率の低下は少ない。つまり、本実施の形態は、符号化効率の低下を抑制しつつ、ＧＯＰの混在を回避できる。

このように、本実施の形態に係る画像符号化装置１００は、複数のピクチャを階層符号化してビットストリーム（符号列１２４）を生成する。画像符号化装置１００は、各々が複数の階層のいずれかに属する複数のピクチャそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに符号化する。画像符号化装置１００は、符号化された複数のピクチャと、複数のピクチャの復号時刻を示す時刻情報（ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１）とを符号化してビットストリーム（符号列１２４）を生成する。時刻情報は、複数のピクチャのうち、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されていることを示す。言い換えると、画像符号化装置１００は、最上層ピクチャと、下層ピクチャとを交互に符号化する。

例えば、下層ピクチャのフレームレートは、複数のピクチャのフレームレートの半分である。例えば、下層ピクチャのフレームレートは６０ｆｐｓであり、複数のピクチャのフレームレートは１２０ｆｐｓである。

これにより、画像符号化装置１００は、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されている符号化ビットストリームを生成できる。よって、例えば、全階層のピクチャのフレームレートが１２０ｆｐｓであり、下層ピクチャのフレームレートが６０ｆｐｓである場合、６０ｆｐｓの復号能力を有する画像復号装置で、下層ピクチャを復号できる。このように、画像符号化装置１００は、画像復号装置が効率的に復号できる符号化ビットストリームを生成できる。

さらに、時刻情報（ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１）は、ランダムアクセス可能なＩピクチャより表示順で前の前方ピクチャの復号時刻が、上記Ｉピクチャより表示順で後の後方ピクチャの復号時刻より前であることを示す。これにより、画像復号装置の参照フレームメモリの容量を削減できる。

また、複数のピクチャは、各々が、少なくとも一つのＩピクチャを含み、表示順で連続する複数のピクチャを含む複数のピクチャ群（ＧＯＰ）のいずれかに含まれる。各ピクチャ群に含まれる複数のピクチャが、他のピクチャ群に含まれるピクチャの復号をはさまず連続して復号されるように、複数のピクチャの復号時刻が設定されている。これにより、画像符号化装置１００は、画像復号装置において特別な処理を行うことなく復号できる符号化ビットストリームを生成できる。

（実施の形態４）
＜全体構成＞
本実施の形態に係る画像符号化装置１００の構成は実施の形態１（図７）と同様であるため、説明を省略する。

＜動作（全体）＞
符号化処理全体の流れは実施の形態１（図８）と同様であるため、説明を省略する。

＜動作（符号化構造決定）＞
次に、図３３を参照しつつ、符号化構造決定処理（図８のＳ１０１）の流れを説明する。図３３は、本実施の形態に係る符号化構造決定処理のフローチャートである。

図２４に示す処理は、実施の形態１で説明した図９に示す処理に対して、ステップＳ１２６及びＳ１２７が追加されている。また、Ｓ１２１〜Ｓ１２４は実施の形態１と同様であるため、説明を省略する。

符号化構造決定部１０１は、最大ＴｅｍｐｏｒａｌＩｄのピクチャが奇数時刻、それ以外のピクチャが偶数時刻になるように画像を並び替えた後（Ｓ１２４の後）、復号開始時間が等間隔になるよう最大ＴｅｍｐｏｒａｌＩｄのピクチャの符号化タイミングを図３４Ａ、図３４Ｂ、図３５及び図３６に示すように前に移動させる（Ｓ１２６）。図３４Ａ及び図３４Ｂは、最大ＴｅｍｐｏｒａｌＩｄが４である場合の例を示し、図３５は、最大ＴｅｍｐｏｒａｌＩｄが３である場合の例を示し、図３６は、最大ＴｅｍｐｏｒａｌＩｄが２である場合の例を示す。

例えば図３４Ａ及び図３４Ｂに示す例では、斜線の網掛けのピクチャが図１０Ａ及び図１０Ｂに比べて８時刻分前に移動される。これにより、ピクチャ間の隙間がなくなり、画像復号装置が、この符号列を、最大フレームレートで再生する場合には１時刻に１ピクチャが復号される。

次に、符号化構造決定部１０１は、ステップＳ１２３と同様にランダムアクセスポイントから次のランダムアクセスポイントまでのピクチャが同じＧＯＰに含まれるように複数のピクチャをグループ分けする（Ｓ１２７）。例えば、図３４Ａ及び図３４Ｂに示す例では、Ｂ１７は、実施の形態１ではＩ３２と同じＧＯＰに含まれるが、本処理によってＩ０と同じＧＯＰに含まれる。

＜動作（ＮＡＬタイプ決定）＞
ＮＡＬタイプ決定処理は実施の形態３（図２８）と同様であるため、説明を省略する。

以上の処理によって、図３４Ａ、図３４Ｂ、図３５及び図３６に示すような符号列が生成される。

本実施の形態に係る参照ピクチャセットを図３７、図３８及び図３９に示す。なお、図３７、図３８及び図３９に示す例は、最大ＴｅｍｐｏｒａｌＩｄが４である場合の例である。

図３７は、圧縮率を重視したセットであり、可能な限り符号化済みのピクチャが参照されるセットを示す。図３８は、使用するフレームメモリサイズを小さくできるセットであり、対象ピクチャに表示順が近い前と後のピクチャが参照されるセットを示す。また、このセットは、ランダムアクセスが行われやすいように対象ピクチャと同じＧＯＰのピクチャのみが参照されるように設定されている。

図３９は、圧縮率とフレームメモリサイズのバランスがとられているセットであり、符号化誤差が小さいＴｅｍｐｏｒａｌＩｄ０のピクチャが参照されたり、対象ピクチャに表示順が近い前と後のピクチャが参照されたりするセットを示す。また、このセットは、ランダムアクセスが行われやすいように、対象ピクチャと同じＧＯＰのピクチャのみが参照されるように設定されている。また、このセットでは、再生フレームレートを符号列の途中で切り替えることができるように、ＨＥＶＣ（非特許文献１）のＴＳＡピクチャと同様に同じＴｅｍｐｏｒａｌＩｄのピクチャの参照が禁止されている。

先に述べたように、本実施の形態では、画像符号化装置１００は、外部から入力された参照ピクチャセット識別子１２３に応じて、３つのセットの中から１つを選択し、選択したセットを符号化する。また、実施の形態１及び実施の形態３の例より、最大ＴｅｍｐｏｒａｌＩｄのピクチャの符号化タイミング（復号タイミング）が早められている。そのため、最大ＴｅｍｐｏｒａｌＩｄのピクチャを符号化（復号）する際の、符号化済み（復号済み）のピクチャが減ることで、最大ＴｅｍｐｏｒａｌＩｄのピクチャが使用できる参照画像が減少する。

＜効果＞
以上、本実施の形態によれば、符号列の最大フレームレートで復号できる能力を有していないシステムでも、表示フレームレートを下げて映像を表示できる。

また、ＴＰからＬＰへの参照が禁止され、ＴＰの符号化後には次のＩＲＡＰまでＬＰが符号化されないことによって、画像符号化装置１００又は画像復号装置は、ＴＰの符号化又は復号時に参照フレームメモリからＬＰのピクチャを削減することができる。これにより、参照フレームメモリのサイズを削減できる。

また、異なるＧＯＰに含まれるピクチャが混在しないので、画像復号装置は、特殊再生を行う場合に、符号列からＧＯＰを容易に抽出できる。

また、ピクチャの復号間隔が統一化されるので、システムの簡易化を実現できる。例えば、画像復号装置は、最大フレームレートで映像を再生する場合には１時刻に１ピクチャを復号すればよいので、ピクチャに応じて復号間隔を切り替える必要がない。

このように、最大ＴｅｍｐｏｒａｌＩｄのピクチャの符号化タイミングが早められることにより、ＧＯＰの混在の回避、低遅延、及び復号間隔の統一化が実現される。一方で、最大ＴｅｍｐｏｒａｌＩｄのピクチャの符号化タイミングが早められることにより、最大ＴｅｍｐｏｒａｌＩｄのピクチャが使用できる参照ピクチャが減る。これにより、符号化効率が低下することが懸念される。しかし、最大ＴｅｍｐｏｒａｌＩｄのピクチャは最大ＴｅｍｐｏｒａｌＩｄ以外のＴｅｍｐｏｒａｌＩｄのピクチャからは参照されない。つまり、最大ＴｅｍｐｏｒａｌＩｄのピクチャは、他のピクチャから参照される頻度が低い。よって、最大ＴｅｍｐｏｒａｌＩｄのピクチャの画質が悪化してもその誤差が他のピクチャには伝搬しにくい。そのため、最大ＴｅｍｐｏｒａｌＩｄの参照ピクチャが少なくなっても、全体の符号化効率の低下は少ない。つまり、本実施の形態は、符号化効率の低下を抑制しつつ、ＧＯＰの混在を回避できる。

このように、本実施の形態に係る画像符号化装置１００は、上記実施の形態１に係る画像符号化装置１００と同様の効果を実現できる。

（実施の形態５）
本実施の形態では、上記実施の形態１に係る画像符号化装置１００により生成された符号列を復号する画像復号装置について説明する。

＜全体構成＞
図４０は、本実施の形態における画像復号装置２００の構成を示すブロック図である。図４０に示す画像復号装置２００は、符号列２２１を復号することで画像２２４を生成する。符号列２２１は、例えば、実施の形態１に係る画像符号化装置１００により生成された符号列１２４である。

この画像復号装置２００は、再生ＧＯＰ抽出部２０１と、復号部２０２と、復号判定部２０３と、表示部２０４とを備える。

＜動作（全体）＞
次に、図４１を参照しつつ、復号処理全体の流れを説明する。図４１は、本実施の形態に係る復号処理のフローチャートである。

まず、再生ＧＯＰ抽出部２０１は、再生するＧＯＰを符号列２２１から抽出する（Ｓ３０１）。

次に、復号部２０２は、ＩＲＡＰカウントという変数に０を初期値として設定する（Ｓ３０２）。

次に、復号部２０２は、符号列２２１から、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１、及びｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙを復号し（Ｓ３０３）、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１＋１の時刻になるまで待機する（Ｓ３０４）。

次に、復号部２０２は、符号列２２１からＮＡＬタイプを復号し（Ｓ３０５）、ＮＡＬタイプがＩＲＡＰであるかを判定する（Ｓ３０７）。ＮＡＬタイプがＩＲＡＰである場合（Ｓ３０７でＹｅｓ）、復号部２０２は、ＩＲＡＰカウンタに１を加算する（Ｓ３０８）。

次に、復号判定部２０３は、ＩＲＡＰカウンタが１より大きいかを判定する（Ｓ３０９）。また、復号判定部２０３は、ＮＡＬタイプがＢＬＰ、ＢＴＰ、ＬＬＰ及びＬＴＰのいずれかであるかを判定する（Ｓ３１０及びＳ３１１）。

ＩＲＡＰカウンタが１より大きく、かつ、ＮＡＬタイプがＢＬＰ、ＢＴＰ、ＬＬＰ及びＬＴＰのいずれでもない場合（Ｓ３０９でＹｅｓかつＳ３１０でＮｏ）、画像復号装置２００は、復号処理を行わず、次のピクチャに処理を移行する。また、ＩＲＡＰカウンタが１以下であり、かつ、ＮＡＬタイプがＢＬＰ、ＢＴＰ、ＬＬＰ及びＬＴＰのいずれかである場合も（Ｓ３０９でＮｏかつＳ３１１でＹｅｓ）、画像復号装置２００は、復号処理を行わず、次のピクチャに処理を移行する。こうすることにより、画像復号装置２００は、対象ピクチャが再生ＧＯＰに含まれるかを判定し、対象ピクチャが再生ＧＯＰに含まれない場合は、対象ピクチャを復号しない。

図１０Ａ及び図１０Ｂの例で説明する。また、アンダーラインがついたピクチャが再生ＧＯＰに含まれる。この場合、Ｉ３２からＢ４７までの符号列が再生ＧＯＰ抽出部２０１によって抽出される。上記判定により、Ｂ１１、Ｂ１３、Ｂ１５、Ｉ６４、Ｂ５６及びＢ５２は再生ＧＯＰに含まれないと判定され、復号がスキップされる。

一方、ＩＲＡＰカウンタが１より大きく、かつ、ＮＡＬタイプがＢＬＰ、ＢＴＰ、ＬＬＰ及びＬＴＰのいずれかである場合（Ｓ３０９でＹｅｓかつＳ３１０でＹｅｓ）、又は、ＩＲＡＰカウンタが１以下であり、かつ、ＮＡＬタイプがＢＬＰ、ＢＴＰ、ＬＬＰ及びＬＴＰのいずれでもない場合（Ｓ３０９でＮｏかつＳ３１１でＮｏ）、復号判定部２０３は、ＮＡＬタイプがＴＰであるかを判定する（Ｓ３１２）。ＮＡＬタイプがＴＰである場合（Ｓ３１２でＹｅｓ）、復号判定部２０３は、参照フレームメモリからＬＰのピクチャを削除する（Ｓ３１３）。これはＴＰのピクチャからＬＰのピクチャを参照することが禁止されており、尚且つ符号化順でＴＰのピクチャ以降は次のＩＲＡＰまでＬＰのピクチャが符号化されないという制約により、ＴＰのピクチャ以降はＬＰを参照するピクチャが存在しないためである。

次に、復号部２０２は、ＴｅｍｐｏｒａｌＩｄを復号する（Ｓ３１４）。復号判定部２０３は、ＴｅｍｐｏｒａｌＩｄが、外部から入力された再生ＴＩｄ２２３以下であるかを判定する（Ｓ３１５）。ＴｅｍｐｏｒａｌＩｄが再生ＴＩｄ２２３より大きい場合（Ｓ３１５でＮｏ）、画像復号装置２００は、対象ピクチャを復号せず、次のピクチャに処理を移行する。本処理によって時間スケーラビリティが実現される。

ＴｅｍｐｏｒａｌＩｄが再生ＴＩｄ２２３以下である場合（Ｓ３１５でＹｅｓ）、復号部２０２は、参照ピクチャセットを復号し（Ｓ３１６）、ピクチャを復号する（Ｓ３１７）。次に、復号部２０２は、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１＋１＋ｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙの時刻に復号ピクチャが表示されるように要求するための要求信号を表示部２０４に送信する（Ｓ３１８）。

次に、復号判定部２０３は、ＮＡＬタイプがＬＬＰ及びＬＴＰのいずれかであり、かつ、ＩＲＡＰカウンタが１でないかを判定する（Ｓ３１９及びＳ３２０）。ＮＡＬタイプがＬＬＰ及びＬＴＰのいずれかであり、かつ、ＩＲＡＰカウンタが１でない場合（Ｓ３１９でＹｅｓかつＳ３２０でＮｏ）、復号判定部２０３は、再生ＧＯＰの最後のピクチャを復号したと判定し、処理を終了する。

図１０Ａ及び図１０Ｂの例で説明する。アンダーラインがついたピクチャが再生ＧＯＰに含まれる。この場合、Ｉ３２からＢ４７までの符号列が再生ＧＯＰ抽出部２０１によって抽出される。復号判定部２０３は、２つ目のＩＲＡＰであるＩ６４以降のＬＴＰであるＢ４７の処理終了後に再生ＧＯＰ全てのピクチャを処理したと判定し、処理を終了する。

ＮＡＬタイプがＬＬＰ及びＬＴＰのいずれでもない場合（Ｓ３１９でＮｏ）、又は、ＩＲＡＰカウンタが１である場合（Ｓ３２０でＹｅｓ）、次のピクチャに対して、ステップＳ３０３以降の処理が行われる。

＜動作（再生ＧＯＰの取得）＞
次に、図４２を参照しつつ、再生ＧＯＰの取得処理（図４１のＳ３０１）の流れを説明する。図４２は、本実施の形態に係る再生ＧＯＰの取得処理のフローチャートである。

まず、再生ＧＯＰ抽出部２０１は、再生位置２２２のＩＲＡＰのピクチャを符号列２２１から探索する（Ｓ３３１、Ｓ３３２及びＳ３３３）。具体的には、再生ＧＯＰ抽出部２０１は、ＮＡＬタイプを復号し（Ｓ３３１）、ＮＡＬタイプがＩＲＡＰであるかを判定し（Ｓ３３２）、ＮＡＬタイプがＩＲＡＰである場合（Ｓ３３２でＹｅｓ）、そのピクチャが再生位置２２２のピクチャであるかを判定する（Ｓ３３３）。再生ＧＯＰ抽出部２０１は、この一連の処理を符号列２２１の先頭のピクチャから順に実施する。そして、再生ＧＯＰ抽出部２０１は、探索された再生位置２２２のＩＲＡＰのピクチャを取得開始ポイントのピクチャとして設定する（Ｓ３３４）。

次に、再生ＧＯＰ抽出部２０１は、ＩＲＡＰカウンタを１に初期化する（Ｓ３３５）。

次に、再生ＧＯＰ抽出部２０１は、対象ピクチャのＮＡＬタイプを復号し（Ｓ３３６）、ＮＡＬタイプがＩＲＡＰであるかを判定する（Ｓ３３７）。ＮＡＬタイプがＩＲＡＰである場合（Ｓ３３７でＹｅｓ）、再生ＧＯＰ抽出部２０１は、ＩＲＡＰカウンタに１を加算する（Ｓ３３８）。

また、再生ＧＯＰ抽出部２０１は、ＮＡＬタイプがＬＬＰ又はＬＴＰであるかを判定する（Ｓ３３９）。また、再生ＧＯＰ抽出部２０１は、ＩＲＡＰカウンタが１でないかを判定する（Ｓ３４０）。ＮＡＬタイプがＬＬＰ又はＬＴＰであり、かつＩＲＡＰカウンタが１でない場合（Ｓ３３９でＹｅｓかつＳ３４０でＮｏ）、再生ＧＯＰ抽出部２０１は、探索を終了し、取得終了ポイントに現ピクチャを設定する（Ｓ３４１）。

また、ＮＡＬタイプがＬＬＰ及びＬＴＰのいずれでもない場合（Ｓ３３９でＮｏ）、又はＩＲＡＰカウンタが１である場合（Ｓ３４０でＹｅｓ）、再生ＧＯＰ抽出部２０１は、探索を継続し、取得開始ポイントの次のピクチャに対してステップＳ３３６以降の処理を行う。

次に、再生ＧＯＰ抽出部２０１は、取得開始ポイントから取得終了ポイントまでのピクチャを符号列２２１から取得し、取得されたピクチャを復号部２０２に出力する（Ｓ３４２）。

＜効果＞
以上、本実施の形態に係る画像復号装置２００は、実施の形態１に係る図１０Ａ、図１０Ｂ、図１１及び図１２に示す符号列から指定された再生ＧＯＰを抽出し、そのＧＯＰに含まれるピクチャのみを復号及び再生できる。これにより、実施の形態１と同様の効果を得ることができる。

このように、本実施の形態に係る画像復号装置２００は、複数の階層のいずれかにそれぞれが属する複数のピクチャを階層符号化することにより生成されたビットストリーム（符号列２２１）を復号する。画像復号装置２００は、ビットストリームから複数のピクチャの復号時刻を示す時刻情報（ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１）を復号する。画像復号装置２００は、時刻情報に従って、複数のピクチャのそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに復号する。時刻情報は、複数のピクチャのうち、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されていることを示す。

例えば、下層ピクチャのフレームレートは、複数のピクチャのフレームレートの半分である。例えば、下層ピクチャのフレームレートは６０ｆｐｓであり、複数のピクチャのフレームレートは１２０ｆｐｓである。

これにより、例えば、全階層のピクチャのフレームレートが１２０ｆｐｓであり、下層ピクチャのフレームレートが６０ｆｐｓである場合、６０ｆｐｓの復号能力を有する画像復号装置で、下層ピクチャを復号できる。このように、画像復号装置２００は、画像を効率的に復号できる。

（実施の形態６）
本実施の形態では、上記実施の形態２に係る画像符号化装置１００Ａにより生成された符号列を復号する画像復号装置について説明する。

＜全体構成＞
本実施の形態における画像符号化装置の構成は実施の形態５（図４０）と同様であるため、説明を省略する。

＜動作（全体）＞
次に、図４３を参照しつつ、復号処理全体の流れを説明する。図４３は、本実施の形態に係る復号処理のフローチャートである。なお、図４３に示す処理は、図４１に示す処理に対して、ステップＳ３０６Ａが追加されている。また、ステップＳ３０７Ａ、Ｓ３１０Ａ、Ｓ３１１Ａ及びＳ３１９Ａが、ステップＳ３０７、Ｓ３１０、Ｓ３１１及びＳ３１９と異なる。また、図４３に示す処理にはステップＳ３１２及びＳ３１３が含まれない。

まず、再生ＧＯＰ抽出部２０１は、再生するＧＯＰを符号列２２１から抽出する（Ｓ３０１）。

次に、復号部２０２は、ＩＲＡＰカウントという変数に０を初期値として設定する（Ｓ３０２）。

次に、復号部２０２は、符号列２２１から、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１、及びｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙを復号し（Ｓ３０３）、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１＋１の時刻になるまで待機する（Ｓ３０４）。

次に、復号部２０２は、符号列２２１からＮＡＬタイプ及びＳＥＩを復号し（Ｓ３０５及びＳ３０６Ａ）、ＳＥＩがｒｅｃｏｖｅｒｙ＿ｐｏｉｎｔ ＳＥＩであるかを判定する（Ｓ３０７Ａ）。ＳＥＩがｒｅｃｏｖｅｒｙ＿ｐｏｉｎｔ ＳＥＩである場合（Ｓ３０７ＡでＹｅｓ）、復号部２０２は、ＩＲＡＰカウンタに１加算する（Ｓ３０８）。

次に、復号判定部２０３は、ＩＲＡＰカウンタが１より大きいかを判定する（Ｓ３０９）。また、復号判定部２０３は、ＳＥＩがＢＬＰ ＳＥＩ、ＢＴＰ ＳＥＩ、ＬＬＰ ＳＥＩ及びＬＴＰ ＳＥＩのいずれかであるかを判定する（Ｓ３１０Ａ及びＳ３１１Ａ）。

ＩＲＡＰカウンタが１より大きく、かつ、ＳＥＩがＢＬＰ ＳＥＩ、ＢＴＰ ＳＥＩ、ＬＬＰ ＳＥＩ及びＬＴＰ ＳＥＩのいずれかでもない場合（Ｓ３０９でＹｅｓかつＳ３１０ＡでＮｏ）、画像復号装置２００は、復号処理を行わず、次のピクチャに処理を移行する。また、ＩＲＡＰカウンタが１以下であり、かつ、ＳＥＩがＢＬＰ ＳＥＩ、ＢＴＰ
ＳＥＩ、ＬＬＰ ＳＥＩ及びＬＴＰ ＳＥＩのいずれかである場合も（Ｓ３０９でＮｏかつＳ３１１ＡでＹｅｓ）、画像復号装置２００は、復号処理を行わず、次のピクチャに処理を移行する。こうすることにより、画像復号装置２００は、対象ピクチャが再生ＧＯＰに含まれるかを判定し、対象ピクチャが再生ＧＯＰに含まれない場合は、対象ピクチャを復号しない。

図２１Ａ及び図２１Ｂの例で説明する。また、アンダーラインがついたピクチャが再生ＧＯＰに含まれる。この場合、Ｉ３２からＢ４７までの符号列が再生ＧＯＰ抽出部２０１によって抽出される。上記判定により、Ｂ１１、Ｂ１３、Ｂ１５、Ｉ６４、Ｂ５６及びＢ５２は再生ＧＯＰに含まれないと判定され、復号がスキップされる。

ＩＲＡＰカウンタが１より大きく、かつ、ＳＥＩがＢＬＰ ＳＥＩ、ＢＴＰ ＳＥＩ、ＬＬＰ ＳＥＩ及びＬＴＰ ＳＥＩのいずれかである場合（Ｓ３０９でＹｅｓかつＳ３１０ＡでＹｅｓ）、又は、ＩＲＡＰカウンタが１以下であり、かつ、ＳＥＩがＢＬＰ ＳＥＩ、ＢＴＰ ＳＥＩ、ＬＬＰ ＳＥＩ及びＬＴＰ ＳＥＩのいずれでもないある場合（Ｓ３０９でＮｏかつＳ３１１ＡでＮｏ）、復号部２０２は、ＴｅｍｐｏｒａｌＩｄを復号し（Ｓ３１４）。復号判定部２０３は、ＴｅｍｐｏｒａｌＩｄが、外部から入力された再生ＴＩｄ２２３以下であるかを判定する（Ｓ３１５）。ＴｅｍｐｏｒａｌＩｄが再生ＴＩｄ２２３より大きい場合（Ｓ３１５でＮｏ）、画像復号装置２００は、対象ピクチャを復号せず、次のピクチャに処理を移行する。本処理によって時間スケーラビリティが実現される。

ＴｅｍｐｏｒａｌＩｄが再生ＴＩｄ２２３以下である場合（Ｓ３１５でＹｅｓ）、復号部２０２は、参照ピクチャセットを復号し（Ｓ３１６）、ピクチャを復号する（Ｓ３１７）。次に、復号部２０２は、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１＋１＋ｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙの時刻に復号ピクチャが表示されるように要求するための要求信号を表示部２０４に送信する（Ｓ３１８）。

次に、復号判定部２０３は、ＳＥＩがＬＬＰ及びＬＴＰのいずれかであり、かつ、ＩＲＡＰカウンタが１でないかを判定する（Ｓ３１９Ａ及びＳ３２０）。ＳＥＩがＬＬＰ及びＬＴＰのいずれかであり、かつ、ＩＲＡＰカウンタが１でない場合（Ｓ３１９ＡでＹｅｓかつＳ３２０でＮｏ）、復号判定部２０３は、再生ＧＯＰの最後のピクチャを復号したと判定し、処理を終了する。

図２１Ａ及び図２１Ｂの例で説明する。アンダーラインがついたピクチャが再生ＧＯＰに含まれる。この場合、Ｉ３２からＢ４７までの符号列が再生ＧＯＰ抽出部２０１によって抽出される。復号判定部２０３は、２つ目のｒｅｃｏｖｅｒｙ＿ｐｏｉｎｔ ＳＥＩであるＩ６４以降のＬＴＰ ＳＥＩであるＢ４７の処理終了後に再生ＧＯＰ全てのピクチャを処理したと判定し、処理を終了する。

ＳＥＩがＬＬＰ ＳＥＩ及びＬＴＰ ＳＥＩのいずれでもない場合（Ｓ３１９ＡでＮｏ）、又は、ＩＲＡＰカウンタが１である場合（Ｓ３２０でＹｅｓ）、次のピクチャに対して、ステップＳ３０３以降の処理が行われる。

＜動作（再生ＧＯＰの取得）＞
次に、図４４を参照しつつ、再生ＧＯＰの取得処理（図４３のＳ３０１）の流れを説明する。図４４は、本実施の形態に係る再生ＧＯＰ取得処理のフローチャートである。なお、図４４に示す処理は、図４２に示す処理に対して、ステップＳ３３１Ａ、Ｓ３３２Ａ、Ｓ３３６Ａ、Ｓ３３７Ａ及びＳ３３９Ａが、ステップＳ３３１、Ｓ３３２、Ｓ３３６、Ｓ３３７及びＳ３３９と異なる。

まず、再生ＧＯＰ抽出部２０１は、再生位置２２２のｒｅｃｏｖｅｒｙ＿ｐｏｉｎｔ ＳＥＩのピクチャを符号列２２１から探索する（Ｓ３３１Ａ、Ｓ３３２Ａ及びＳ３３３）。具体的には、再生ＧＯＰ抽出部２０１は、ＳＥＩを復号し（Ｓ３３１Ａ）、ＳＥＩがｒｅｃｏｖｅｒｙ＿ｐｏｉｎｔ ＳＥＩであるかを判定する（Ｓ３３２Ａ）。ＳＥＩがｒｅｃｏｖｅｒｙ＿ｐｏｉｎｔ ＳＥＩである場合（Ｓ３３２ＡでＹｅｓ）、再生ＧＯＰ抽出部２０１は、そのピクチャが再生位置２２２のピクチャであるかを判定する（Ｓ３３３）。再生ＧＯＰ抽出部２０１は、この一連の処理を符号列２２１の先頭のピクチャから順に実施する。そして、再生ＧＯＰ抽出部２０１は、探索された再生位置２２２のｒｅｃｏｖｅｒｙ＿ｐｏｉｎｔ ＳＥＩのピクチャを取得開始ポイントのピクチャとして設定する（Ｓ３３４）。

次に、再生ＧＯＰ抽出部２０１は、ＩＲＡＰカウンタを１に初期化する（Ｓ３３５）。

次に、再生ＧＯＰ抽出部２０１は、対象ピクチャのＳＥＩを復号し（Ｓ３３６Ａ）、ＳＥＩがｒｅｃｏｖｅｒｙ＿ｐｏｉｎｔ ＳＥＩであるかを判定する（Ｓ３３７Ａ）。ＳＥＩがｒｅｃｏｖｅｒｙ＿ｐｏｉｎｔ ＳＥＩである場合（Ｓ３３７でＹｅｓ）、再生ＧＯＰ抽出部２０１は、ＩＲＡＰカウンタに１を加算する（Ｓ３３８）。

また、再生ＧＯＰ抽出部２０１は、ＳＥＩがＬＬＰ ＳＥＩ又はＬＴＰ ＳＥＩであるかを判定する（Ｓ３３９Ａ）。また、再生ＧＯＰ抽出部２０１は、ＩＲＡＰカウンタが１でないかを判定する（Ｓ３４０）。ＳＥＩがＬＬＰ ＳＥＩ又はＬＴＰ ＳＥＩであり、ＩＲＡＰカウンタが１でない場合（Ｓ３３９ＡでＹｅｓかつＳ３４０でＮｏ）、再生ＧＯＰ抽出部２０１は、探索を終了し、取得終了ポイントに現ピクチャを設定する（Ｓ３４１）。

また、ＳＥＩがＬＬＰ及びＬＴＰのいずれでもない場合（Ｓ３３９ＡでＮｏ）、又はＩＲＡＰカウンタが１である場合（Ｓ３４０でＹｅｓ）、再生ＧＯＰ抽出部２０１は、探索を継続し、取得開始ポイントのピクチャの次のピクチャに対してステップＳ３３６Ａ以降の処理を行う。

次に、再生ＧＯＰ抽出部２０１は、取得開始ポイントから取得終了ポイントまでのピクチャを符号列２２１から取得し、取得されたピクチャを復号部２０２に出力する（Ｓ３４２）。

＜効果＞
以上、本実施の形態に係る画像復号装置２００は、実施の形態２に係る図２１Ａ、図２１Ｂ、図２２及び図２３に示す符号列から指定された再生ＧＯＰを抽出し、そのＧＯＰに含まれるピクチャのみを復号及び再生できる。これにより、実施の形態２と同様の効果を得ることができる。

（実施の形態７）
本実施の形態では、上記実施の形態３に係る画像符号化装置１００により生成された符号列を復号する画像復号装置について説明する。

＜全体構成＞
本実施の形態における画像復号装置２００の構成は実施の形態５（図４０）と同様であるため、説明を省略する。

＜動作（全体）＞
次に、図４５を参照しつつ、復号処理全体の流れを説明する。図４５は、本実施の形態に係る復号処理のフローチャートである。なお、図４５に示す処理は、図４１に示す処理に対して、ステップＳ３１９Ｂが、ステップＳ３１９と異なる。また、図４５に示す処理にはステップＳ３０２及びＳ３０６〜Ｓ３１１が含まれない。それ以外は実施の形態５（図４１）と同様であるため、説明を省略する。

ステップＳ３１９Ｂでは、画像復号装置２００は、対象ピクチャがＧＯＰ内の最後のピクチャであるかを判定する（Ｓ３１９Ｂ）。対象ピクチャがＧＯＰ内の最後のピクチャである場合（Ｓ３１９ＢでＹｅｓ）、画像復号装置２００は、処理を終了する。また、対象ピクチャがＧＯＰ内の最後のピクチャでない場合（Ｓ３１９ＢでＮｏ）、次のピクチャに対して、ステップＳ３０３以降の処理が行われる。

＜動作（再生ＧＯＰの取得）＞
次に、図４６を参照しつつ、再生ＧＯＰの取得処理（図４５のＳ３０１）の流れを説明する。図４６は、本実施の形態に係る再生ＧＯＰの取得処理のフローチャートである。なお、図４６に示す処理は、図４２に示す処理に対して、ステップＳ３４０Ａ及びＳ３４０Ａが、ステップＳ３４０及びＳ３４１と異なる。また、図４６に示す処理にはステップＳ３３５、及びＳ３３７〜Ｓ３３９が含まれない。また、ステップＳ３３１、Ｓ３３２、Ｓ３３３及びＳ３３４は実施の形態５（図４２）と同様であるため、説明を省略する。

ステップＳ３３４の後、再生ＧＯＰ抽出部２０１は、ＮＡＬタイプを復号し（Ｓ３３６）、ＩＲＡＰのピクチャを探索する（Ｓ３４０Ａ）。具体的には、再生ＧＯＰ抽出部２０１は、対象ピクチャのＮＡＬタイプがＩＲＡＰであるかを判定する（Ｓ３４０Ａ）。対象ピクチャのＮＡＬタイプがＩＲＡＰである場合（Ｓ３４０ＡでＹｅｓ）、再生ＧＯＰ抽出部２０１は、対象ピクチャの１つ前のピクチャを取得終了ポイントのピクチャに設定する（Ｓ３４１Ａ）。

次に、再生ＧＯＰ抽出部２０１は、取得開始ポイントから取得終了ポイントまでのピクチャを符号列２２１から取得し、取得されたピクチャを復号部２０２に出力する（Ｓ３４２）。

対象ピクチャのＮＡＬタイプがＩＲＡＰでない場合（Ｓ３４０ＡでＮｏ）、再生ＧＯＰ抽出部２０１は、次のピクチャに対してステップＳ３３６以降の処理を行う。

＜効果＞
以上、本実施の形態に係る画像復号装置２００は、実施の形態３の図２５Ａ、図２５Ｂ、図２６及び図２７の符号列から指定された再生ＧＯＰを抽出し、そのＧＯＰに含まれるピクチャのみを復号及び再生できる。これにより、実施の形態３と同様の効果を得ることができる。

このように、本実施の形態に係る画像復号装置２００は、複数の階層のいずれかにそれぞれが属する複数のピクチャを階層符号化することにより生成されたビットストリーム（符号列２２１）を復号する。画像復号装置２００は、ビットストリームから複数のピクチャの復号時刻を示す時刻情報（ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１）を復号する。画像復号装置２００は、時刻情報に従って、複数のピクチャのそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに復号する。時刻情報は、複数のピクチャのうち、最も高い階層に属する最上層ピクチャ以外の複数の下層ピクチャの復号時刻が等間隔に設定されていることを示す。

例えば、下層ピクチャのフレームレートは、複数のピクチャのフレームレートの半分である。例えば、下層ピクチャのフレームレートは６０ｆｐｓであり、複数のピクチャのフレームレートは１２０ｆｐｓである。

これにより、例えば、全階層のピクチャのフレームレートが１２０ｆｐｓであり、下層ピクチャのフレームレートが６０ｆｐｓである場合、６０ｆｐｓの復号能力を有する画像復号装置で、下層ピクチャを復号できる。このように、画像復号装置２００は、画像を効率的に復号できる。

さらに、時刻情報（ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１）は、ランダムアクセス可能なＩピクチャより表示順で前の前方ピクチャの復号時刻が、上記Ｉピクチャより表示順で後の後方ピクチャの復号時刻より前であることを示す。これにより、画像復号装置２００は、参照フレームメモリの容量を削減できる。

また、複数のピクチャは、各々が、少なくとも一つのＩピクチャを含み、表示順で連続する複数のピクチャを含む複数のピクチャ群（ＧＯＰ）のいずれかに含まれる。各ピクチャ群に含まれる複数のピクチャが、他のピクチャ群に含まれるピクチャの復号をはさまず連続して復号されるように、複数のピクチャの復号時刻が設定されている。これにより、画像符号化装置１００は、特別な処理を行うことなく復号できる画像を復号できる。

（実施の形態８）
本実施の形態では、上記実施の形態４に係る画像符号化装置１００により生成された符号列を復号する画像復号装置について説明する。

＜全体構成＞
本実施の形態における画像復号装置２００の構成は実施の形態５（図４０）と同様であるため、説明を省略する。

＜動作（全体）＞
次に、図４７を参照しつつ、復号処理全体の流れを説明する。図４１は、本実施の形態に係る復号処理のフローチャートである。なお、図４７に示す処理は、図４５に示す処理に対して、ステップＳ３０４Ａが、ステップＳ３０４と異なる。それ以外は実施の形態７（図４５）と同様であるため、説明を省略する。

ステップＳ３０４Ａでは、復号部２０２は、前ピクチャの復号開始から一定時間が経過するまで待機する。図３４Ａ及び図３４Ｂに示す例で説明すると、復号部２０２は、Ｉ０の復号を開始してから１時刻経過後にＢ１の復号を開始し、それから１時刻経過後にＰ１６を復号する。このように、復号部２０２は、等間隔にピクチャの復号を開始する。

＜動作（再生ＧＯＰの取得）＞
再生ＧＯＰの取得処理（図４７のＳ３０１）の流れは実施の形態７（図４６）と同様であるため、説明を省略する。

＜効果＞
以上、本実施の形態によれば、実施の形態４に係る図３４Ａ、図３４Ｂ、図３５及び図３６に示す符号列から指定された再生ＧＯＰを抽出し、そのＧＯＰに含まれるピクチャのみを復号及び再生できる。これにより、実施の形態４と同様の効果を得ることができる。

以上、実施の形態に係る画像符号化装置及び画像復号装置について説明したが、本発明は、この実施の形態に限定されるものではない。

また、上記実施の形態に係る画像符号化装置及び画像復号装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

言い換えると、画像符号化装置及び画像復号装置は、制御回路（ｃｏｎｔｒｏｌ ｃｉｒｃｕｉｔｒｙ）と、当該制御回路に電気的に接続された（当該制御回路からアクセス可能な）記憶装置（ｓｔｏｒａｇｅ）とを備える。制御回路は、専用のハードウェア及びプログラム実行部の少なくとも一方を含む。また、記憶装置は、制御回路がプログラム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。

さらに、本発明は上記ソフトウェアプログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、本発明は、上記画像符号化装置により生成された符号化ビットストリーム（符号列）を受信する受信装置として実現されてもよい。また、この受信装置は、上記画像復号装置を含んでもよい。また、本発明は、上記画像符号化装置により生成された符号化ビットストリーム（符号列）を送信する送信装置として実現されてもよい。

また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、上記の画像符号化方法又は画像復号方法に含まれるステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

また、各実施の形態において説明した処理は、単一の装置（システム）を用いて集中処理することによって実現されてもよく、又は、複数の装置を用いて分散処理することによって実現されてもよい。また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理が行われてもよく、又は分散処理が行われてもよい。

以上、本発明の一つ又は複数の態様に係る画像符号化装置及び画像復号装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つ又は複数の態様の範囲内に含まれてもよい。

（実施の形態９）
上記各実施の形態で示した動画像符号化方法（画像符号化方法）または動画像復号化方法（画像復号方法）の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）や動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

図４８は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０６、ex１０７、ex１０８、ex１０９、ex１１０が設置されている。

このコンテンツ供給システムex１００は、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０６からex１１０を介して、コンピュータex１１１、ＰＤＡ（Personal Digital Assistant）ex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図４８のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ex１０６からex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラex１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ex１１４は、ＧＳＭ（登録商標）（Global System for Mobile Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＬＴＥ（Long Term Evolution）方式、ＨＳＰＡ(High Speed Packet Access)の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

コンテンツ供給システムex１００では、カメラex１１３等が基地局ex１０９、電話網ex１０４を通じてストリーミングサーバex１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラex１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い（即ち、本発明の一態様に係る画像符号化装置として機能する）、ストリーミングサーバex１０３に送信する。一方、ストリーミングサーバex１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

なお、撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラex１１３に限らず、カメラex１１６で撮影した静止画像および／または動画像データを、コンピュータex１１１を介してストリーミングサーバex１０３に送信してもよい。この場合の符号化処理はカメラex１１６、コンピュータex１１１、ストリーミングサーバex１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータex１１１や各機器が有するＬＳＩex５００において処理する。ＬＳＩex５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ex１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ex１１４が有するＬＳＩex５００で符号化処理されたデータである。

また、ストリーミングサーバex１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムex１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムex１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムex１００の例に限らず、図４９に示すように、デジタル放送用システムex２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ex２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ex２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ex２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナex２０４が受信する。受信した多重化データを、テレビ（受信機）ex３００またはセットトップボックス（ＳＴＢ）ex２１７等の装置が復号化して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

また、ＤＶＤ、ＢＤ等の記録メディアex２１５に記録した多重化データを読み取り復号化する、または記録メディアex２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダex２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタex２１９に表示され、多重化データが記録された記録メディアex２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルex２０３または衛星／地上波放送のアンテナex２０４に接続されたセットトップボックスex２１７内に動画像復号化装置を実装し、これをテレビのモニタex２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図５０は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ex３００を示す図である。テレビex３００は、上記放送を受信するアンテナex２０４またはケーブルex２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナex３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ex３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ex３０６で符号化された映像データ、音声データを多重化する多重／分離部ex３０３を備える。

また、テレビex３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ex３０４、映像信号処理部ex３０５（本発明の一態様に係る画像符号化装置または画像復号装置として機能する）を有する信号処理部ex３０６と、復号化した音声信号を出力するスピーカex３０７、復号化した映像信号を表示するディスプレイ等の表示部ex３０８を有する出力部ex３０９とを有する。さらに、テレビex３００は、ユーザ操作の入力を受け付ける操作入力部ex３１２等を有するインタフェース部ex３１７を有する。さらに、テレビex３００は、各部を統括的に制御する制御部ex３１０、各部に電力を供給する電源回路部ex３１１を有する。インタフェース部ex３１７は、操作入力部ex３１２以外に、リーダ／レコーダex２１８等の外部機器と接続されるブリッジex３１３、ＳＤカード等の記録メディアex２１６を装着可能とするためのスロット部ex３１４、ハードディスク等の外部記録メディアと接続するためのドライバex３１５、電話網と接続するモデムex３１６等を有していてもよい。なお記録メディアex２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビex３００の各部は同期バスを介して互いに接続されている。

まず、テレビex３００がアンテナex２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ex３１０の制御に基づいて、変調／復調部ex３０２で復調した多重化データを多重／分離部ex３０３で分離する。さらにテレビex３００は、分離した音声データを音声信号処理部ex３０４で復号化し、分離した映像データを映像信号処理部ex３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ex３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファex３１８、ex３１９等に一旦これらの信号を蓄積するとよい。また、テレビex３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアex２１５、ex２１６から多重化データを読み出してもよい。次に、テレビex３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、制御部ex３１０の制御に基づいて、音声信号処理部ex３０４で音声信号を符号化し、映像信号処理部ex３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ex３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファex３２０、ex３２１等に一旦これらの信号を蓄積するとよい。なお、バッファex３１８、ex３１９、ex３２０、ex３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ex３０２や多重／分離部ex３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビex３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビex３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダex２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビex３００、リーダ／レコーダex２１８のいずれで行ってもよいし、テレビex３００とリーダ／レコーダex２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ex４００の構成を図５１に示す。情報再生／記録部ex４００は、以下に説明する要素ex４０１、ex４０２、ex４０３、ex４０４、ex４０５、ex４０６、ex４０７を備える。光ヘッドex４０１は、光ディスクである記録メディアex２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアex２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ex４０２は、光ヘッドex４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ex４０３は、光ヘッドex４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアex２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファex４０４は、記録メディアex２１５に記録するための情報および記録メディアex２１５から再生した情報を一時的に保持する。ディスクモータex４０５は記録メディアex２１５を回転させる。サーボ制御部ex４０６は、ディスクモータex４０５の回転駆動を制御しながら光ヘッドex４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ex４０７は、情報再生／記録部ex４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ex４０７が、バッファex４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ex４０２、再生復調部ex４０３、サーボ制御部ex４０６を協調動作させながら、光ヘッドex４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ex４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドex４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図５２に光ディスクである記録メディアex２１５の模式図を示す。記録メディアex２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックex２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックex２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックex２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアex２１５は、データ記録領域ex２３３、内周領域ex２３２、外周領域ex２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ex２３３であり、データ記録領域ex２３３より内周または外周に配置されている内周領域ex２３２と外周領域ex２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ex４００は、このような記録メディアex２１５のデータ記録領域ex２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムex２００において、アンテナex２０５を有する車ex２１０で衛星ex２０２等からデータを受信し、車ex２１０が有するカーナビゲーションex２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションex２１１の構成は例えば図５０に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータex１１１や携帯電話ex１１４等でも考えられる。

図５３Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ex１１４を示す図である。携帯電話ex１１４は、基地局ex１１０との間で電波を送受信するためのアンテナex３５０、映像、静止画を撮ることが可能なカメラ部ex３６５、カメラ部ex３６５で撮像した映像、アンテナex３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex３５８を備える。携帯電話ex１１４は、さらに、操作キー部ex３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ex３５７、音声を入力するためのマイク等である音声入力部ex３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ex３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ex３６４を備える。

さらに、携帯電話ex１１４の構成例について、図５３Ｂを用いて説明する。携帯電話ex１１４は、表示部ex３５８及び操作キー部ex３６６を備えた本体部の各部を統括的に制御する主制御部ex３６０に対して、電源回路部ex３６１、操作入力制御部ex３６２、映像信号処理部ex３５５、カメラインタフェース部ex３６３、ＬＣＤ（Liquid Crystal Display）制御部ex３５９、変調／復調部ex３５２、多重／分離部ex３５３、音声信号処理部ex３５４、スロット部ex３６４、メモリ部ex３６７がバスex３７０を介して互いに接続されている。

電源回路部ex３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ex１１４を動作可能な状態に起動する。

携帯電話ex１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ex３６０の制御に基づいて、音声通話モード時に音声入力部ex３５６で収音した音声信号を音声信号処理部ex３５４でデジタル音声信号に変換し、これを変調／復調部ex３５２でスペクトラム拡散処理し、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して送信する。また携帯電話ex１１４は、音声通話モード時にアンテナex３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ex３５２でスペクトラム逆拡散処理し、音声信号処理部ex３５４でアナログ音声信号に変換した後、これを音声出力部ex３５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ex３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ex３６２を介して主制御部ex３６０に送出される。主制御部ex３６０は、テキストデータを変調／復調部ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して基地局ex１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ex３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ex３５５は、カメラ部ex３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し（即ち、本発明の一態様に係る画像符号化装置として機能する）、符号化された映像データを多重／分離部ex３５３に送出する。また、音声信号処理部ex３５４は、映像、静止画等をカメラ部ex３６５で撮像中に音声入力部ex３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ex３５３に送出する。

多重／分離部ex３５３は、映像信号処理部ex３５５から供給された符号化された映像データと音声信号処理部ex３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナex３５０を介して受信された多重化データを復号化するために、多重／分離部ex３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスex３７０を介して符号化された映像データを映像信号処理部ex３５５に供給するとともに、符号化された音声データを音声信号処理部ex３５４に供給する。映像信号処理部ex３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し（即ち、本発明の一態様に係る画像復号装置として機能する）、ＬＣＤ制御部ex３５９を介して表示部ex３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ex３５４は、音声信号を復号し、音声出力部ex３５７から音声が出力される。

また、上記携帯電話ex１１４等の端末は、テレビex３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムex２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態１０）
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図５４は、多重化データの構成を示す図である。図５４に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図５５は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームex２３５、複数のオーディオフレームからなるオーディオストリームex２３８を、それぞれＰＥＳパケット列ex２３６およびex２３９に変換し、ＴＳパケットex２３７およびex２４０に変換する。同じくプレゼンテーショングラフィックスストリームex２４１およびインタラクティブグラフィックスex２４４のデータをそれぞれＰＥＳパケット列ex２４２およびex２４５に変換し、さらにＴＳパケットex２４３およびex２４６に変換する。多重化データex２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図５６は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図５６における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図５６の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図５７は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図５７下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図５８はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図５９に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図５９に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図６０に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、本実施の形態における動画像復号化方法のステップを図６１に示す。ステップexＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップexＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップexＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップexＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

（実施の形態１１）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図６２に１チップ化されたＬＳＩex５００の構成を示す。ＬＳＩex５００は、以下に説明する要素ex５０１、ex５０２、ex５０３、ex５０４、ex５０５、ex５０６、ex５０７、ex５０８、ex５０９を備え、各要素はバスex５１０を介して接続している。電源回路部ex５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩex５００は、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有する制御部ex５０１の制御に基づいて、ＡＶ Ｉ／Ｏex５０９によりマイクex１１７やカメラex１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリex５１１に蓄積される。制御部ex５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ex５０７に送られ、信号処理部ex５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ex５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏex５０６から外部に出力する。この出力された多重化データは、基地局ex１０７に向けて送信されたり、または記録メディアex２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファex５０８にデータを蓄積するとよい。

なお、上記では、メモリex５１１がＬＳＩex５００の外部の構成として説明したが、ＬＳＩex５００の内部に含まれる構成であってもよい。バッファex５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩex５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ex５０１が、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有するとしているが、制御部ex５０１の構成は、この構成に限らない。例えば、信号処理部ex５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ex５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵex５０２が信号処理部ex５０７、または信号処理部ex５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ex５０１は、信号処理部ex５０７、またはその一部を有するＣＰＵex５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。このようなプログラマブル・ロジック・デバイスは、典型的には、ソフトウェア又はファームウェアを構成するプログラムを、ロードする又はメモリ等から読み込むことで、上記各実施の形態で示した動画像符号化方法、又は動画像復号化方法を実行することができる。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（実施の形態１２）
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩex５００において、従来の規格に準拠する映像データを復号する際のＣＰＵex５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビex３００、ＬＳＩex５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図６３は、本実施の形態における構成ex８００を示している。駆動周波数切替え部ex８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ex８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ex８０３は、図６２のＣＰＵex５０２と駆動周波数制御部ex５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１、および、従来の規格に準拠する復号処理部ex８０２は、図６２の信号処理部ex５０７に該当する。ＣＰＵex５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵex５０２からの信号に基づいて、駆動周波数制御部ex５１２は、駆動周波数を設定する。また、ＣＰＵex５０２からの信号に基づいて、信号処理部ex５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態１０で記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態１０で記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵex５０２における駆動周波数の選択は、例えば、図６５のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファex５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵex５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図６４は、本実施の形態の方法を実施するステップを示している。まず、ステップexＳ２００では、信号処理部ex５０７において、多重化データから識別情報を取得する。次に、ステップexＳ２０１では、ＣＰＵex５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップexＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップexＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵex５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵex５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵex５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩex５００またはＬＳＩex５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

（実施の形態１３）
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩex５００の信号処理部ex５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ex５０７を個別に用いると、ＬＳＩex５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図６６Ａのex９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ex９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明の一態様に特有の他の処理内容については、専用の復号処理部ex９０１を用いるという構成が考えられる。特に、本発明の一態様は、階層符号化に特徴を有していることから、例えば、階層符号化については専用の復号処理部ex９０１を用い、それ以外のエントロピー復号、逆量子化、デブロッキング・フィルタ、動き補償のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図６６Ｂのex１０００に示す。この例では、本発明の一態様に特有の処理内容に対応した専用の復号処理部ex１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ex１００２と、本発明の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ex１００３とを用いる構成としている。ここで、専用の復号処理部ex１００１、ex１００２は、必ずしも本発明の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩex５００で実装することも可能である。

このように、本発明の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

本発明は、画像符号化方法、及び画像復号方法、画像符号化装置及び画像復号装置にて適用できる。また、本発明は、データの蓄積、伝送又は、通信など様々な用途に利用可能である。例えば、本発明は、テレビ、デジタルビデオレコーダー、カーナビゲーションシステム、携帯電話、デジタルスチルカメラ及びデジタルビデオカメラ等の情報表示機器及び撮像機器に利用可能である。

１００、１００Ａ 画像符号化装置
１０１ 符号化構造決定部
１０２、１０２Ａ ＮＡＬタイプ決定部
１０３、１０３Ａ 符号化部
１０４ ＳＥＩ決定部
１２１ 入力画像
１２２ 最大ＴｅｍｐｏｒａｌＩｄ
１２３ 参照ピクチャセット識別子
１２４、１２４Ａ、２２１ 符号列
２００ 画像復号装置
２０１ 再生ＧＯＰ抽出部
２０２ 復号部
２０３ 復号判定部
２０４ 表示部
２２２ 再生位置
２２３ 再生ＴＩｄ
２２４ 画像

Claims (4)

1. ランダム・アクセス可能なＩピクチャに続く、符号化順と表示順とが異なる１以上のピクチャを含む複数のピクチャが属するピクチャ群を階層符号化してビットストリームを生成する画像符号化方法であって、
   各々が複数の階層のいずれかに属する前記複数のピクチャそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに符号化し、
   符号化された前記複数のピクチャと、前記複数のピクチャの復号時刻を示す時刻情報とを符号化して前記ビットストリームを生成し、
   前記符号化において、前記複数のピクチャのうち、最も高い階層に属する最上層ピクチャ以外の複数の下層に属する全ての下層ピクチャをそれぞれ等間隔で符号化し、前記最上層ピクチャに対してのみ、２番目に高い階層に属するピクチャであって、当該最上層ピクチャよりも表示順で後のピクチャの参照を禁止し、前記下層ピクチャと交互に符号化し、
   前記生成において、前記下層ピクチャの復号時刻が等間隔に設定されていることを示す前記時刻情報を符号化し、
   前記時刻情報は、前記ピクチャ群に属する全てのピクチャの復号時刻が、前記Ｉピクチャよりも表示順で後の後方Ｉピクチャから続く後方ピクチャ群に属する全てのピクチャの復号時刻よりも前であることを示し、
   前記下層ピクチャのフレームレートは、前記複数のピクチャのフレームレートの半分である
   画像符号化方法。
2. ランダム・アクセス可能なＩピクチャに続く、符号化順と表示順とが異なる１以上のピクチャを含む複数のピクチャが属するピクチャ群を階層符号化してビットストリームを生成する画像符号化装置であって、
   各々が複数の階層のいずれかに属する前記複数のピクチャそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに符号化する符号化部と、
   符号化された前記複数のピクチャと、前記複数のピクチャの復号時刻を示す時刻情報とを符号化して前記ビットストリームを生成する生成部とを備え、
   前記符号化部は、前記複数のピクチャのうち、最も高い階層に属する最上層ピクチャ以外の複数の下層に属する全ての下層ピクチャをそれぞれ等間隔で符号化し、前記最上層ピクチャに対してのみ、２番目に高い階層に属するピクチャであって、当該最上層ピクチャよりも表示順で後のピクチャの参照を禁止し、前記下層ピクチャと交互に符号化し、
   前記生成部は、前記下層ピクチャの復号時刻が等間隔に設定されていることを示す前記時刻情報を符号化し、
   前記時刻情報は、前記ピクチャ群に属する全てのピクチャの復号時刻が、前記Ｉピクチャよりも表示順で後の後方Ｉピクチャから続く後方ピクチャ群に属する全てのピクチャの復号時刻よりも前であることを示し、
   前記下層ピクチャのフレームレートは、前記複数のピクチャのフレームレートの半分である
   画像符号化装置。
3. ランダム・アクセス可能なＩピクチャに続く、複数の階層のいずれかにそれぞれが属する複数のピクチャが属するピクチャ群を階層符号化することにより生成されたビットストリームを復号する画像復号方法であって、
   前記ビットストリームから、復号順と表示順とが異なる１以上のピクチャを含む前記複数のピクチャに対応する復号時刻を示す時刻情報を復号し、
   前記時刻情報に従って、前記複数のピクチャのそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに復号し、
   前記複数のピクチャの復号において、
   表示フレームレートを決定し、
   前記決定した表示フレームレートに対応する階層のピクチャを復号対象とし、（ｉ）復号対象のピクチャのうち、最も高い階層に属する最上層ピクチャに対してのみ、２番目に高い階層に属するピクチャであって、当該最上層ピクチャよりも表示順で後のピクチャの参照を禁止し、前記復号対象のピクチャのうち、前記最上層以外の複数の下層に属する下層ピクチャと交互に復号し、（ｉｉ）全ての前記下層ピクチャを、前記時刻情報が示すそれぞれの復号時刻まで待機して前記決定した表示フレームレートで等間隔に復号し、
   前記時刻情報は、前記ピクチャ群に属する全てのピクチャの復号時刻が、前記Ｉピクチャよりも表示順で後の後方Ｉピクチャから続く後方ピクチャ群に属する全てのピクチャの復号時刻よりも前であることを示し、
   前記下層ピクチャのフレームレートは、前記複数のピクチャのフレームレートの半分である
   画像復号方法。
4. ランダム・アクセス可能なＩピクチャに続く、複数の階層のいずれかにそれぞれが属する複数のピクチャが属するピクチャ群を階層符号化することにより生成されたビットストリームを復号する画像復号装置であって、
   前記ビットストリームから、復号順と表示順とが異なる１以上のピクチャを含む前記複数のピクチャに対応する復号時刻を示す時刻情報を復号する第１復号部と、
   前記時刻情報に従って、前記複数のピクチャのそれぞれを、当該ピクチャが属する階層と同じ又は低い階層に属するピクチャを参照し、当該ピクチャが属する階層より高い階層に属するピクチャは参照せずに復号する第２復号部とを備え、
   前記第２復号部は、
   表示フレームレートを決定し、
   前記決定した表示フレームレートに対応する階層のピクチャを復号対象とし、（ｉ）復号対象のピクチャのうち、最も高い階層に属する最上層ピクチャに対してのみ、２番目に高い階層に属するピクチャであって、当該最上層ピクチャよりも表示順で後のピクチャの参照を禁止し、前記復号対象のピクチャのうち、前記最上層以外の複数の下層に属する下層ピクチャと交互に復号し、（ｉｉ）全ての前記下層ピクチャを、前記時刻情報が示すそれぞれの復号時刻まで待機して前記決定した表示フレームレートで等間隔に復号し、
   前記時刻情報は、前記ピクチャ群に属する全てのピクチャの復号時刻が、前記Ｉピクチャよりも表示順で後の後方Ｉピクチャから続く後方ピクチャ群に属する全てのピクチャの復号時刻よりも前であることを示し、
   前記下層ピクチャのフレームレートは、前記複数のピクチャのフレームレートの半分である
   画像復号装置。

Images