JP6271888B2 - 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関し、特に空間解像度や画質が異なるレイヤの符号化及び復号に関する。

近年、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。そのために、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。ＪＣＴ−ＶＣでは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（以下、ＨＥＶＣ）の標準化が進められている。ＩＴＵ−Ｔでは２０１３年６月にＨ．２６５符号化方式として標準の発行が行われた。（非特許文献１）ＨＥＶＣの標準化にあたっては、引き続き、階層符号化やレンジ拡張といった機能の追加を検討している。

ＨＥＶＣの標準化では、種々の符号化ツールが開発され、高い符号化効率を実現している。特に、ＨＥＶＣは従来のＨ．２６４に比べて画像をタイルに分割し、矩形に分割したタイル単位で符号化・復号を行うことができるようになった。このタイル分割方式において、改良方式として、タイルに予測の制限を設けることで、該当するタイルが他のタイルに依存せずに独立に符号化・復号が行える。（非特許文献２）この技術はシーケンス単位で独立に符号化・復号が行えるタイルを定義している。この独立に符号化・復号を行えるタイル群をｍｏｔｉｏｎ−ｃｏｎｓｔｒａｉｎｅｄ ｔｉｌｅ ｓｅｔｓ（以下ＭＣＴＳと略す）と称する。相対的に等しい位置のタイルセットのみをフレーム間予測の対象とし、タイルセットの外のタイルからの予測を行わないことで、符号化・復号の独立性を確保する。ＭＣＴＳに含まれるタイルの位置をＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージに含めて符号化する。

一方で、前述の通り、ＨＥＶＣの標準化では階層符号化への拡張も検討されている。その提案の１つに空間解像度階層符号化等でタイル分割の位置を固定にする技術の提案が行われている。（非特許文献３）これは拡張レイヤのＶＵＩ（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）パラメータ（ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ）にｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を設けるものである。本符号は各階層のタイルの相対的な位置が一致しているか否かを表すタイル位置一致情報を表す。本符号が１の場合、拡張レイヤのタイルの境界の位置が基本レイヤの対応するタイルの位置と一致することを保証する。これにより、拡張レイヤのタイルの復号において呼び出される基本レイヤの画像の位置が特定できるため、高速に復号を行うことができるようになる。この時、基本レイヤが最も上位のレイヤとなり、続く拡張レイヤが順に下位のレイヤとなる。

ＩＴＵ−Ｔ Ｈ．２６５（０４／２０１３） Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｍ０２３５ インターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１３＿Ｉｎｃｈｅｏｎ／ｗｇ１１／＞ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｍ０２０２ インターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１３＿Ｉｎｃｈｅｏｎ／ｗｇ１１／＞ ＩＴＵ−Ｔ Ｈ．２６４（０３／２０１０） Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ

階層符号化において、拡張レイヤのタイルを独立に復号が可能なように符号化を行い、タイル単位で独立して復号処理を行うことで、所望の画像を高速に獲得する必要がある。

しかしながら、上記の非特許文献２に記載のＭＣＴＳでは階層符号化に関して考慮されていない。すなわち、現在の規格ではシーケンス単位にＭＣＴＳを設定するため、階層符号化のように複数のレイヤを持つ符号化方式においては、各レイヤでＭＣＴＳをどのように扱うかが未定である。ＭＣＴＳの扱いがシーケンス単位で決まっているので、例えば、基本レイヤだけＭＣＴＳを設定したり、全レイヤでＭＣＴＳを設定したりすることが考えられる。前者では、高解像度の拡張レイヤほど、ＭＣＴＳを利用して部分読み出しを行いたいという要望に答えられない。また後者では、基本レイヤのタイルから拡張レイヤのタイルがＭＣＴＳに含まれるため、基本レイヤでもタイル分割を行う必要が生じる。

図１５を用いて具体的に説明する。図１５はタイル分割の様子を表している。１５０１〜１５１０はフレームを表す。フレーム１５０１は時刻ｔの基本レイヤのフレームを表す。各レイヤは各々０から１１までのタイルで構成される。フレーム１５０５は時刻ｔの拡張第１階層のフレームを表す。フレーム１５０３はフレーム１５０１の復号画像データを拡張第１階層の解像度に拡大したフレームを表す。フレーム１５０９は時刻ｔの拡張第２階層のフレームを表す。フレーム１５０７はフレーム１５０５の復号画像データを拡張第２階層の解像度に拡大したフレームを表す。フレーム１５０２は時刻ｔ＋δの基本レイヤのフレームを表す。フレーム１５０６は時刻ｔ＋δの拡張第１階層のフレームを表す。フレーム１５０４はフレーム１５０２の復号画像データを拡張第１階層の解像度に拡大したフレームを表す。フレーム１５１０は時刻ｔ＋δの拡張第２階層のフレームを表す。フレーム１５０８はフレーム１５０６の復号画像データを拡張第２階層の解像度に拡大したフレームを表す。説明のため、各フレームのタイル分割は水平方向に４分割、垂直方向に３分割するものとする。図中の細枠はタイルの境界を表す。

ここで、説明のためにＭＣＴＳがタイル番号５のタイルとタイル番号６のタイルで構成する。図１５において、太枠で囲った部分がＭＣＴＳとなる。このようにすることで、拡張第２階層のフレーム１５１０のタイル番号５のタイルを復号するために、拡張第１階層のフレーム１５０６のタイル番号５のタイル、基本レイヤのフレーム１５０２のタイル番号５が復号され、高速に必要なタイルの復号が可能である。

監視カメラ等の用途を考えた時、通常は基本レイヤの復号を行い、複数台のカメラの映像をモニタリングし、異常を検知した場合、その部分を拡大して表示することが行われる。ＭＣＴＳはフレーム間予測をタイルセットの内部の画像データに限定してしまうため、符号化効率が低下する。例えば、ＭＣＴＳの外から人等の対象物が入ってくる場合、ＭＣＴＳの外の画像データを参照できないので、対象物のフレーム間予測が行えないという問題がある。一方で、また、基本レイヤは拡張レイヤに比べ、画像サイズも十分に小さく、符号量も多くないため、復号では拡張レイヤに比べて処理コストも非常に小さい。このため、タイル分割による並列化の向上による高速化の効果も小さい。したがって、ＭＣＴＳの設定によって少ない符号量であるべき基本レイヤ等の低解像度の階層で符号量が増大するという課題が生じることになる。

したがって、本発明は上述した課題を解決するためになされたものであり、階層符号化においてもタイルの符号化・復号の独立性を確保しつつ、基本レイヤ等の上位階層での画質の改善と符号化効率の向上を目的とする。このようにＭＣＴＳに含まれるタイルに代表されるような独立に復号できるタイルを独立復号タイルと呼び、ＭＣＴＳのような独立復号タイルの集まりを独立復号タイルセットと呼ぶ。

上述の問題点を解決するため、本発明の画像符号化装置は以下の構成を有する。
動画像を構成する画像を複数の階層で階層符号化する画像符号化装置であって、前記画像の第１の階層に対応する第１の画像と、当該第１の階層と異なる第２の階層に対応する第２の画像であって、前記第１の画像を参照して符号化される第２の画像と、前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって、前記第２の画像を参照して符号化される第３の画像とのうち少なくともいずれかを取得する第１の取得手段と、前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかを符号化する符号化手段と、前記第１の画像、前記第２の画像、及び前記第３の画像のうち少なくともいずれかの画像の少なくとも一部が、特定の領域のみを参照して符号化されるか否かを判定する判定手段とを有し、前記判定手段によって、前記第２の画像の所定の領域が前記特定の領域のみを参照して符号化されると判定した場合に、前記符号化手段は、前記第２の画像の所定の領域以外を参照せずに、前記第２の画像の所定の領域を参照して、前記第３の画像の、前記第２の画像の所定の領域に対応する領域を符号化し、前記第１の画像における前記第２の画像の所定の領域と対応する領域及び／又は前記第２の画像の所定の領域と対応する領域以外の領域を、前記特定の領域として参照して、前記第２の画像の所定の領域を符号化する。
動画像を構成する画像を複数の階層で階層符号化する画像符号化装置であって、前記画像の第１の階層に対応する第１の画像と、当該第１の階層と異なる第２の階層に対応する第２の画像であって前記第１の画像を参照して符号化される第２の画像と、前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって前記第２の画像を参照して符号化される第３の画像とのうち少なくともいずれかを取得する第１の取得手段と、前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかを符号化する符号化手段と、を有し、前記符号化手段は、前記第２の画像内の所定の領域を、前記第１の画像内の、前記第２の画像内の所定の領域と対応する領域及び／又は前記第２の画像の所定の領域と対応する領域以外の領域を参照して符号化し、前記第３の画像内の、前記第２の画像内の所定の領域に対応する領域を、前記第２の画像内の所定の領域以外の領域を参照せずに、前記第２の画像内の所定の領域を参照して符号化し、さらに、前記複数の階層のうち少なくともいずれか一つの画像内に、画像内の他の領域を参照せずに符号化される独立領域が含まれるか否かを判定する判定手段と、前記複数の階層のうち前記独立領域が存在する最も解像度又は画質の低い階層を表す情報を符号化する第２の符号化手段とを有する。

上述の問題点を解決するため、本発明の画像復号装置は以下の構成を有する。
動画像を構成する画像を複数の階層で階層符号化された符号化データを復号する画像復号装置であって、前記画像の第１の階層に対応する第１の画像と、当該第１の階層と異なる第２の階層に対応する第２の画像であって、前記第１の画像を参照して復号される第２の画像と、前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって、前記第２の画像を参照して復号される第３の画像とのうち少なくともいずれかに対応する符号化データを取得する第１の取得手段と、前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかに対応する符号化データを復号する復号手段と、前記第１の画像、前記第２の画像、及び前記第３の画像のうち少なくともいずれかの画像に対応する符号化データが、特定の領域のみを参照して復号されるか否かを判定する判定手段とを有し、前記判定手段によって、前記第２の画像の所定の領域に対応する符号化データが前記特定の領域のみを参照して復号されると判定された場合に、前記復号手段は、前記第２の画像の所定の領域以外を参照せずに、前記第２の画像の所定の領域を参照して、前記第３の画像の、前記第２の画像の所定の領域に対応する領域の符号化データを復号し、前記第１の画像における前記第２の画像の所定の領域と対応する領域及び／又は前記第２の画像の所定の領域と対応する領域以外の領域を、前記特定の領域として参照して、前記第２の画像の所定の領域の符号化データを復号する。
動画像を構成する画像を複数の階層で階層符号化された符号化データを復号する画像復号装置であって、前記画像の第１の階層に対応する第１の画像と、当該第１の階層と異なる第２の階層に対応する第２の画像であって、前記第１の画像を参照して復号される第２の画像と、前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって、前記第２の画像を参照して復号される第３の画像とのうち少なくともいずれかに対応する符号化データを取得する第１の取得手段と、前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかに対応する符号化データを復号する復号手段と、前記複数の階層のうち少なくともいずれか一つの画像内に、画像内の他の領域を参照せずに復号される独立領域が含まれているか否かに関する情報と、前記複数の階層のうち復号対象の階層に関する情報と、当該復号対象の階層の画像のうち復号対象の領域に関する情報とに基づいて、前記復号対象の領域が前記独立領域に含まれるか否かを判定する判定手段を有し、前記復号手段は、前記判定手段によって前記復号対象の領域が前記独立領域に含まれると判定された場合に、前記復号対象の階層を復号するための参照対象の階層の画像における前記復号対象の領域に対応する位置に前記独立領域が設定されているか否かに基づいて、前記参照対象の階層の画像における参照対象の領域を決定し、決定された前記参照対象の領域を用いて前記第１の取得手段によって取得された符号化データを復号することを特徴とする画像復号装置。
動画像を構成する画像を複数の階層で階層符号化された符号化データを復号する画像復号装置であって、前記画像の第１の階層に対応する第１の画像と、当該第１の階層と異なる第２の階層に対応する第２の画像であって、前記第１の画像を参照して復号される第２の画像と、前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって、前記第２の画像を参照して復号される第３の画像とのうち少なくともいずれかに対応する符号化データを取得する第１の取得手段と、前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかに対応する符号化データを復号する復号手段と、前記複数の階層のうち、画像内の他の領域を参照せずに復号される独立領域が存在する最も解像度又は画質の低い階層を表す情報を復号する第２の復号手段とを有する。

本発明により、階層符号化においても独立復号可能なタイルを設定することを可能にする。これにより、復号時に必要な映像部分のみを演算コストを低減し、低消費電力で高速に復号・表示することが可能になる。

実施形態１における画像符号化装置の構成を示すブロック図 タイルの構成の一例を示す図 実施形態１における画像符号化処理を表すフローチャート 実施形態１における符号データの構成例を表す図 実施形態１における画像符号化装置の別な構成を示すブロック図 実施形態１における符号データの別な構成例を表す図 実施形態１における別な形態の画像符号化処理を表すフローチャート タイルの構成の一例を示す図 実施形態２における画像表示装置の構成を示すブロック図 実施形態２における画像復号装置の構成を示すブロック図 実施形態２における画像復号処理を表すフローチャート 実施形態２における画像復号装置の別な構成を示すブロック図 実施形態２における別な形態の画像復号処理を表すフローチャート 本発明の画像符号化装置、復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図 タイルの構成の従来例の一例を示す図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本願発明は図示された構成に限定されるものではない。

＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。本実施形態では説明のため、まず、基本レイヤと拡張レイヤのみからなる階層数が２の階層符号化とするが、階層数はこれに限定されない。また階層は空間解像度に基づく階層である。図１において、１０１は動画像を構成する画像データを入力する端子である。画像データは１フレームずつ入力されるものとする。

１０２はフレーム内のタイル分割の数、位置を決定し、さらに階層ごとに、いずれかのタイルを独立復号タイルとして符号化するか否かを決定するタイル設定部である。ここで設定される水平方向タイルの分割数、垂直方向タイルの分割数、位置を表す情報をタイル分割情報とする。また、基本レイヤでの独立復号タイルに関する情報を基本レイヤ独立復号タイル情報と称し、拡張レイヤでの独立復号タイルに関する情報を拡張レイヤ独立復号タイル情報と称する。

図２を例にとって説明する。図２はタイル分割の様子を表している。２０１〜２１０はフレームを表す。本実施形態では階層数が２であるので、フレーム２０１〜２０６を用いて説明する。フレーム２０１は時刻ｔの基本レイヤのフレームを表す。各レイヤは各々０から１１までのタイルで構成される。フレーム２０５は時刻ｔの拡張第１階層のフレームを表す。図中の細枠はタイルの境界を表す。本実施形態において、符号化対象の画像を４Ｋ２Ｋ（４０９６画素×２１６０画素）として説明を行う。したがって、タイルのサイズは１０２４画素×７２０画素となる。タイルの分割情報に関しては、非特許文献１に記載されているピクチャのヘッダデータであるＰｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ）の説明にその記述がされているのでここでは説明を省略する。また、シーケンス単位で独立復号タイルを含むか否かの情報を表す独立復号タイル可否フラグを生成する。独立復号タイル可否フラグは独立復号タイルを含む場合は値が１とのなり、そうではない場合は値が０となる。さらに独立復号タイルの符号化を行う場合、各階層でその独立復号タイルの位置を決定し、独立復号タイル位置情報として生成する。ここでは独立復号タイル位置情報は符号化されるタイルの番号で表されるが、これに限定されない。タイル分割情報は後段の拡張レイヤタイル分割部１０４、基本レイヤタイル分割部１０５、基本レイヤ独立復号タイル判定部１０６、拡張レイヤ独立復号タイル判定部１１５、ヘッダ符号化部１１４に入力される。

さらに、図２においてフレーム２０５〜２０８にて太枠で示されたタイル番号５のタイルのタイルを独立復号タイルとし、独立復号タイルセットとする。以後、時刻ｔ＋δのフレームを符号化対象のフレームとする。

１０３は縮小部である。入力された画像データを予め決められたフィルタ等を用いて縮小し、低解像度の画像を生成する。但し、縮小の方法は限定されない。縮小部１０３は次のフレームが入力されるまで、入力されたフレームの画像データ及び縮小して得られた縮小画像を保持する。

１０４は入力された拡張レイヤの画像データをタイル分割情報に基づいてタイルに分割する拡張レイヤタイル分割部である。拡張レイヤタイル分割部１０４は入力されたフレーム２０６をタイル番号０のタイルからタイル番号１１のタイルに分割する。タイルに分割した後、タイル番号０のタイルから番号順に後段に出力する。

１１４はヘッダ符号化部である。シーケンスやピクチャ単位のヘッダ符号データを生成する。特に、タイル設定部１０２で生成された独立復号タイル可否フラグと独立復号タイル位置情報を入力し、これらの独立復号タイル情報を符号化してＭＣＴＳ ＳＥＩを生成し、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓを符号化する。

１０５は基本レイヤタイル分割部である。基本レイヤタイル分割部１０５は縮小された画像データをタイル分割情報に基づいてタイルに分割する。タイル設定部１０２で設定されたタイルの位置を縮小画像データでの相対的に等しい位置に基づいて縮小画像データをタイル分割する。図２では、基本レイヤタイル分割部１０５は入力されたフレーム２０２をタイル番号０のタイルから１１に分割する。タイルに分割した後、タイル番号０のタイルから番号順に後段に出力する。また、その時の番号を基本レイヤ独立復号タイル判定部１０６に通達する。

１０６は符号化する基本レイヤのタイルが独立復号タイルか否かを判定する基本レイヤ独立復号タイル判定部である。基本レイヤ独立復号タイル判定部１０６ではタイル設定部１０２で生成された独立復号タイル可否フラグと基本レイヤの独立復号タイル位置情報、及び基本レイヤタイル分割部１０５から入力された符号化対象タイルの番号を比較する。比較によって、基本レイヤの符号化対象タイルが独立復号タイルか否かを判定する。判定結果を基本レイヤ独立復号タイル符号化フラグとし、基本レイヤの符号化対象タイルが独立復号タイルである場合は値が１とのなり、そうではない場合は値が０となる。

１１５は符号化する拡張レイヤのタイルが独立復号タイルか否かを判定する拡張レイヤ独立復号タイル判定部である。拡張レイヤ独立復号タイル判定部１１５ではタイル設定部１０２で生成された独立復号タイル可否フラグと拡張レイヤの独立復号タイル位置情報、及び拡張レイヤタイル分割部１０４から入力された符号化対象タイルの番号を比較する。比較によって、拡張レイヤの符号化対象タイルが独立復号タイルか否かを判定する。判定結果を拡張レイヤ独立復号タイル符号化フラグとし、拡張レイヤの符号化対象タイルが独立復号タイルである場合は値が１とのなり、そうではない場合は値が０となる。

１０７は基本レイヤ符号化部である。基本レイヤ符号化部１０７は基本レイヤタイル分割部１０５から入力されたタイルの画像データを符号化する。画像データの他に基本レイヤ独立復号タイル符号化フラグを入力する。このフラグに従って、基本レイヤの符号化対象のタイルが独立復号タイルであれば、参照可能な復号済みの基本レイヤの画像の中、同一のタイルセット内の独立復号タイルであった部分からのみ予測を行い、符号化を行う。図２において、フレーム２０２のタイル番号５のタイルが独立復号タイルであった場合は、これを符号化する際には、フレーム２０１のタイルセット内のタイル番号５のタイルのみを参照して符号化を行う。基本レイヤ独立復号タイル符号化フラグが０、すなわち独立復号タイルでなければ、基本レイヤの独立復号タイルに限定せずに参照可能な復号済みの基本レイヤの画像から予測を行い、予測誤差等の符号化を行う。符号化によって得られた基本レイヤ符号データは後段に出力される。

１０８は基本レイヤ符号化部１０７で生成された係数等を用いて、基本レイヤの再構成画像を再構成する基本レイヤ画像再構成部である。基本レイヤ画像再構成部１０８は再構成画像データを基本レイヤ符号化部１０７ならびに後述する拡張レイヤ符号化部１１２の符号化時に後述する拡大部１０９で拡大された画像データを参照するためにこれを保持しておく。

１０９は拡大部であり、基本レイヤの復号画像を拡張レイヤのサイズに拡大する。図２において、拡大部１０９はフレーム２０１及びフレーム２０２の各々の再構成画像データに対して拡大を行い、フレーム２０３及びフレーム２０４を生成する。

１１２は拡張レイヤ符号化部である。拡張レイヤ符号化部１１２は拡張レイヤタイル分割部１０４から入力されたタイルの画像データを符号化する。画像データの他に拡張レイヤ独立復号タイル判定部１１５から拡張レイヤ独立復号タイル符号化フラグを入力する。このフラグに従って、参照画像を選択して符号化する。すなわち、拡張レイヤの符号化対象のタイルが独立復号タイルであれば、基本レイヤの再構成済みの画像の拡大画像データと再構成済みの拡張レイヤの画像データを参照する。すなわち、それぞれの画像データで各々の独立復号タイルセットの部分を参照し、符号化を行う。図２を例にとって説明すれば、フレーム２０６のタイル番号５のタイルを符号化する際には、フレーム２０４のタイル番号５のタイルとフレーム２０６のタイル番号５のタイルを参照して符号化を行う。また、拡張レイヤ独立復号タイル符号化フラグが０、すなわち独立復号タイルでなければ、復号済みの基本レイヤの拡大画像データや独立復号タイルに限定せずに拡張レイヤの再構成画像データから予測を行い、予測誤差等の符号化を行う。符号化によって得られた拡張レイヤ符号データは後段に出力される。

１１３は拡張レイヤ画像再構成部である。拡張レイヤ画像再構成部１１３は拡張レイヤ符号化部１１２で生成された符号化の途中で生成された量子化係数や予測モード等の情報を用いて、拡張レイヤの再構成画像を生成する。拡張レイヤ画像再構成部１１３は再構成画像を拡張レイヤ符号化部１１２の符号化時に参照するためにこれを保持しておく。

１１０は基本レイヤ符号化部１０７で生成された基本レイヤ符号データ、拡張レイヤ符号化部１１２で生成された拡張レイヤ符号データ、ヘッダ符号化部１１４で生成されたヘッダ符号データを統合し、ビットストリームを生成する統合部である。１１１は端子であり、生成されたビットストリームを外部に出力する。

上記画像符号化装置における画像の符号化動作を以下に説明する。符号化動作については図３に示したフローチャートに基づき説明する。

ステップＳ３０１にて、ユーザは不図示の階層数設定部を用いて、階層符号化の階層数を決定する。但し、本実施形態ではその構成から拡張レイヤを１階層とし、全体で２階層の階層符号化を行うものとする。

ステップＳ３０２にて、符号化に先駆け、タイル設定部１０２はフレーム内のタイル分割の数、位置を決定し、さらにいずれかの階層のタイルを独立復号タイルとして符号化するか否かを決定する。また、本実施形態では拡張レイヤのタイル番号５のタイルを独立復号タイルとし、１つの独立復号タイルセットを構成する。但し、基本レイヤのタイル番号５のタイルは独立復号タイルとはしない。したがって本実施形態では、独立復号タイル可否フラグを１とする。ちなみに独立復号タイルを含まない場合には独立復号タイル可否フラグを０とする。但し、画像のサイズ、タイルの分割数、独立復号タイルの位置はこれに限定されない。独立復号タイル可否フラグは拡張レイヤタイル分割部１０４、基本レイヤタイル分割部１０５、基本レイヤ独立復号タイル判定部１０６、拡張レイヤ独立復号タイル判定部１１５及びヘッダ符号化部１１４に入力される。

ステップＳ３０３にて、ヘッダ符号化部１１４は独立復号タイル可否フラグを判定する。独立復号タイル可否フラグが１であればステップＳ３０４に進み、そうでなければステップＳ３０５に進む。

ステップＳ３０４にて、ヘッダ符号化部１１４はタイル位置一致情報であるｖｕｉ＿ｐａｒａｍｅｔｅｒｓのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号に１を設定する。

ステップＳ３０５にて、ヘッダ符号化部１１４は最初にシーケンスヘッダの１つであるｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔを符号化する。これには階層符号化の階層数を表すｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号が含まれる。なお、本実施形態において、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号は１となる。続いてＳｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔを符号化する。Ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔにはｖｕｉ＿ｐａｒａｍｅｔｅｒｓも含まれる。ｖｕｉ＿ｐａｒａｍｅｔｅｒｓにはステップＳ３０４で設定したｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号が含まれている。これらの符号データは統合部１１０に入力され、ビットストリームとして端子１１１から出力される。

ステップＳ３０６にて、ヘッダ符号化部１１４はピクチャヘッダであるＰｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔを符号化する。ピクチャヘッダの符号データは統合部１１０に入力され、ビットストリームとして端子１１１から出力される。

ステップＳ３０７にて、ヘッダ符号化部１１４は独立復号タイル可否フラグを判定する。独立復号タイル可否フラグが１であればステップＳ３０８に進み、そうでなければステップＳ３０９に進む。

ステップＳ３０８にて、符号化対象のシーケンスは独立復号タイルを含んでいるので、ヘッダ符号化部１１４はｍｏｔｉｏｎ―ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓ＿ｓｃａｌａｂｉｌｉｔｙ ＳＥＩ（ＭＣＴＳＳ ＳＥＩと略す）を符号化する。独立復号タイル情報であるＭＣＴＳＳ ＳＥＩ符号データについては、その構成の一例を図４（ａ）に示す。本実施形態において、上述の通り、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号は１である。変数ｋの０は基本レイヤを表し、１は拡張レイヤを表す。

最初にｋ＝０にて、基本レイヤの独立復号タイルの情報が符号化される。含まれる独立復号タイルセットがないため、独立復号タイルセットの数を示すｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［０］符号は０となる。このため、続く符号は発生せず、ｋ＝１となる。拡張レイヤの独立復号タイルの情報が符号化される。含まれる独立復号タイルセットが１つあるので、独立復号タイルセットの数を示すｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［１］符号は１となる。続いて、ｍｃｔｓ＿ｉｄ［１］［０］符号は０とする。独立復号タイルセットに属する独立復号タイルの矩形領域の数は１であるため、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［１］［０］符号は０となる。この矩形領域の位置を表すのに左上のタイルのタイル番号と右下のタイルのタイル番号の１つの組合せを用いる。すなわち、ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号は独立復号タイルの位置を表すものである。ここでは独立復号タイルはタイル番号５のタイルのみなのでどちらも値は５である。ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇ符号に関しては非特許参照文献１に記載されているので説明を省略する。これらを符号化してＭＣＴＳＳ ＳＥＩの符号データを生成する。ＭＣＴＳＳ ＳＥＩ符号データは統合部１１０に入力され、ビットストリームとして端子１１１から出力される。

ステップＳ３０９にて、縮小部１０３にて入力画像を縮小し、基本レイヤの入力画像を生成する。本実施形態では拡張レイヤが１階層であるため、縮小部１０３によって基本レイヤを生成する。しかし、階層数が１階層以上であれば、階層数だけ縮小部１０３を増やすか、タイル設定部１０２から入力される階層数にしたがって縮小部１０３の内部で必要な階層数の画像データを生成するようにすれば対応可能である。

ステップＳ３１０にて、基本レイヤタイル分割部１０５は縮小画像データの左上から順にタイル番号にしたがって符号化する基本レイヤのタイルの画像データを縮小部１０３から抽出する。基本レイヤタイル分割部１０５で抽出された基本レイヤのタイルの画像データは基本レイヤ符号化部１０７に入力される。また、符号化するタイルの位置情報、すなわち、タイル番号を基本レイヤ独立復号タイル判定部１０６に出力する。

ステップＳ３１１にて、基本レイヤ独立復号タイル判定部１０６は基本レイヤタイル分割部１０５から符号化対象となったタイルのタイル番号を入力する。同時に、タイル設定部１０２から基本レイヤの独立復号タイル位置情報を入力する。基本レイヤ独立復号タイル判定部１０６は符号化対象のタイルのタイル番号と基本レイヤ独立復号タイル位置情報のタイル番号を比較する。タイル番号が一致すれば符号化対象タイルが基本レイヤの独立復号タイルであると判定され、基本レイヤ独立復号タイル符号化フラグは１となり、ステップＳ３１２に進む。一致しなければ符号化対象タイルが基本レイヤの独立復号タイルではないと判定され基本レイヤ独立復号タイル符号化フラグは０となり、ステップＳ３１３に進む。本実施形態では独立復号タイルがないため基本レイヤの独立復号タイル位置情報は何も入力されない。したがって、基本レイヤ独立復号タイル符号化フラグは０となり、ステップＳ３１３に進む。

ステップＳ３１２にて、符号化対象タイルは基本レイヤのタイルが独立復号タイルである。基本レイヤ符号化部１０７は再構成済みの基本レイヤの画像の相対的に等しい位置の独立復号タイルセットに含まれる再構成画像データを参照してフレーム間予測を行い、符号化を行っているタイル内の再構成済み画素を参照して予測を行い、符号化を行う。図２において、フレーム２０２のタイル番号５を独立復号タイルとし、このタイルの符号化を行う場合について説明する。基本レイヤ画像再構成部１０８に格納されているフレーム２０１のタイル番号５のタイルとタイル番号６のタイル及びフレーム２０２のタイル番号５のタイルの符号化済み画素の再構成画像データを参照して符号化を行う。基本レイヤのタイルの符号データは基本レイヤ符号データとして統合部１１０に出力される。統合部１１０はその他の符号データと統合し、ビットストリームを生成する。生成されたビットストリームは端子１１１から出力される。さらに、基本レイヤ画像再構成部１０８は基本レイヤ符号化部１０７で符号化の途中で生成された係数等を用いて、基本レイヤのタイル再構成画像データを順次生成し、保持する。

ステップＳ３１３にて、符号化対象タイルは基本レイヤのタイルが独立復号タイルではない。基本レイヤ符号化部１０７は基本レイヤの再構成済みのフレームの画像データの全てを参照の対象としてフレーム間予測を行い、符号化を行う。図２においては、フレーム２０２のタイル番号５のタイルの符号化を行う際に、基本レイヤ画像再構成部１０８に格納されているフレーム２０１の全てのタイル及びフレーム２０２のタイル番号５のタイルの符号化済み画素を参照して符号化を行う。生成された基本レイヤ符号データは統合部１１０に出力される。統合部１１０はその他の符号データと統合し、ビットストリームを生成する。生成されたビットストリームは端子１１１から出力される。さらに、基本レイヤ画像再構成部１０８は基本レイヤ符号化部１０７で符号化の途中で生成された係数等を用いて、基本レイヤのタイル再構成画像データを順次生成し、保持する。

ステップＳ３１４にて、基本レイヤ符号化部１０７は基本レイヤの全てのタイルデータを符号化が終了したか否かを判定する。基本レイヤの全てのタイルデータの符号化処理が終わっていなければ、ステップＳ３１０に戻り、基本レイヤタイル分割部１０５は次のタイルを抽出して出力し、処理を続行する。基本レイヤの全てのタイルの画像データの符号化処理が終了していれば、ステップＳ３１５に進む。

ステップＳ３１５にて、拡張レイヤタイル分割部１０４は縮小部１０３にある縮小されていない入力画像データの左上から順にタイル番号にしたがって符号化する拡張レイヤのタイルの画像データを縮小部１０３から抽出する。拡張レイヤタイル分割部１０４で抽出された拡張レイヤのタイルの画像データは拡張レイヤ符号化部１１２に入力される。また、符号化するタイルの位置情報、すなわち、タイル番号を拡張レイヤ独立復号タイル判定部１１５に出力する。

ステップＳ３１６にて、拡張レイヤ独立復号タイル判定部１１５は拡張レイヤタイル分割部１０４から符号化対象となったタイルのタイル番号を入力する。同時に、タイル設定部１０２から拡張レイヤの独立復号タイル位置情報を入力する。本実施形態では独立復号タイル位置情報は５である。拡張レイヤ独立復号タイル判定部１１５は符号化対象のタイルのタイル番号と拡張レイヤの独立復号タイル位置情報のタイル番号を比較する。タイル番号が一致すれば符号化対象タイルが拡張レイヤの独立復号タイルであると判定され、拡張レイヤ独立復号タイル符号化フラグは１となり、ステップＳ３１７に進む。一致しなければ符号化対象タイルが独立復号タイルではないと判定され拡張レイヤの独立復号タイル符号化フラグは０となり、ステップＳ３１９に進む。本実施形態では拡張レイヤのタイル番号５のタイルは独立復号タイルなのでステップＳ３１７に進み、それ以外はステップＳ３１９に進む。

ステップＳ３１７にて、符号化対象のタイルは拡張レイヤの独立復号タイルである。拡大部１０９は基本レイヤ画像再構成部１０８に格納されている基本レイヤの再構成画像データから相対的に等しい位置のタイルの再構成画像データを入力する。拡大部１０９は入力された基本レイヤの再構成画像データから相対的に等しい位置のタイルの再構成画像データを用いて、フィルタリング等で拡大を行い、拡大画像データを生成する。具体的には図２のフレーム２０２のタイル番号５のタイルの画像データとその周辺の画像データをもちいて拡大を行う。拡大画像データは拡張レイヤ符号化部１１２に入力される。

ステップＳ３１８にて、拡張レイヤ符号化部１１２は拡張レイヤタイル分割部１０４から入力された符号化対象のタイルの画像データを再構成済みの画像データを参照して符号化する。すなわち、拡張レイヤ符号化部１１２はステップＳ３１７で生成された拡大画像データを参照してレイヤ間予測を行う。また、拡張レイヤ画像再構成部１１３に格納されている再構成済みの拡張レイヤの相対的に等しい位置の独立復号タイルセットの再構成画像データを参照してフレーム間予測を行う。さらに、符号化対象タイルのタイル内の符号化済みの再構成画像データを参照してイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測、フレーム間予測によって得られた動きベクトル等の予測に関する情報や予測誤差を符号化する。さらに、拡張レイヤ画像再構成部１１３は拡張レイヤ符号化部１１２で符号化の途中で生成された係数等を用いて、拡張レイヤのタイル再構成画像データを順次生成し、保持する。

ステップＳ３１９にて、符号化対象のタイルは拡張レイヤの独立復号タイルではない。拡大部１０９は基本レイヤ画像再構成部１０８に格納されている基本レイヤの再構成画像データの全体を用いてフィルタリング等で拡大を行い、拡大画像データを生成する。拡大画像データは拡張レイヤ符号化部１１２に入力される。

ステップＳ３２０にて、拡張レイヤ符号化部１１２は拡張レイヤタイル分割部１０４から入力された符号化対象のタイルの画像データを符号化済みの画像データを参照して符号化する。すなわち、拡張レイヤ符号化部１１２はステップＳ３１９で生成された拡大画像データを参照してレイヤ間予測を行う。また、拡張レイヤ画像再構成部１１３に格納されている再構成済みの拡張レイヤの再構成画像データを参照してフレーム間予測を行う。さらに、符号化対象タイルのタイル内の符号化済みの再構成画像データを参照してイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測、フレーム間予測によって得られた動きベクトル等の予測に関する情報や予測誤差を符号化する。さらに、拡張レイヤ画像再構成部１１３は拡張レイヤ符号化部１１２で符号化の途中で生成された係数等を用いて、拡張レイヤのタイル再構成画像データを順次生成し、保持する。

ステップＳ３２１にて、拡張レイヤ符号化部１１２は拡張レイヤの全てのタイルデータを符号化が終了したか否かを判定する。拡張レイヤの全てのタイルデータの符号化処理が終わっていなければ、ステップＳ３１５に戻り、拡張レイヤタイル分割部１０４は次のタイルを抽出して出力し、処理を続行する。拡張レイヤの全てのタイルの画像データの符号化処理が終了していれば、ステップＳ３２２に進む。

ステップＳ３２２にて、統合部１１０は端子１０１から入力されるシーケンスに含まれる全てのフレーム分の画像データの符号化処理が終了したか否かを判定する。符号化処理を行っていないフレームが存在する場合は、ステップＳ３０９に進み、次のフレームの処理を行う。符号化処理を行っていないフレームが存在しない場合は、符号化処理を終了する。

以上の構成により、各階層で個別に独立復号タイルセットを設定できる。これによって階層の途中から独立復号タイルと独立復号タイルセットを設定できるようになる。また、基本レイヤの符号量の増大を抑制することができると同時に、ある階層以上に関しては符号に関する参照画像に制限を加えることでその部分を高速に復号できる符号データを生成できる。

また、注目領域等を拡張レイヤから独立復号タイルセットとし、独立復号タイルセットの存在する階層ではタイルの境界を一致させることで、独立復号タイルセットは符号量や復号コストが大きい拡張レイヤで他のタイルを参照せずに、独立に符号化できる。このため、必要な部分を高速処理が可能になる効果がある。

なお、本実施形態において、図２のように時間的に前のフレームのみを参照フレームとして符号化する例を示したが、これに限定されない。複数フレームの参照による符号化の場合においても同様に参照されることは上記の説明から明白である。

また、縮小部１０３、拡大部１０９を使用しない、または縮小率、拡大率を１とし、基本レイヤ符号化部１０７で設定される量子化パラメータよりも拡張レイヤ符号化部１１２で設定される量子化パラメータを小さくすることも可能である。これによって、ＳＮＲ階層符号化を行うことが可能になる。

また、本実施形態において、独立復号タイルセットのタイルの拡張レイヤが参照する拡大画像データを相対的に等しい位置の基本レイヤのタイルの画像データだけで生成を行った。但し、これに限定されず、ステップＳ３１９のように基本レイヤの独立復号タイルの周辺の画像データを参照しても構わない。

また、基本レイヤと１つの拡張レイヤのある場合で説明したが、これに限定されない。縮小部１０３、拡張レイヤタイル分割部１０４、拡張レイヤ符号化部１１２、拡張レイヤ画像再構成部１１３、拡大部１０９を１つのセットとして、これを階層数分だけ増設することにより、より多くの階層に対応することができることは明白である。

また、拡張レイヤ符号化部１１２、拡張レイヤ画像再構成部１１３、拡大部１０９、縮小部１０３は内部の処理が同じであるため、兼用で使用して各拡張レイヤの符号化を行っても構わない。例えば、階層数を３とする場合、図２において、フレーム２０３はフレーム２０１の復号画像データを拡張第１階層の解像度に拡大したフレームを表す。フレーム２０９は時刻ｔの拡張第２階層のフレームを表す。フレーム２０７はフレーム２０５の復号画像データを拡張第２階層の解像度に拡大したフレームを表す。フレーム２０２は時刻ｔ＋δの基本レイヤのフレームを表す。フレーム２０６は時刻ｔ＋δの拡張第１階層のフレームを表す。フレーム２０４はフレーム２０２の復号画像データを拡張第１階層の解像度に拡大したフレームを表す。フレーム２１０は時刻ｔ＋δの拡張第２階層のフレームを表す。フレーム２０８はフレーム２０６の復号画像データを拡張第２階層の解像度に拡大したフレームを表す。以後、階層数が３の階層符号化について説明する。拡張第１階層について、前述の通り、タイル番号５のタイルが拡張レイヤ独立復号タイルとなり、フレーム２０５及びフレーム２０６のタイル番号５のタイルが太枠で示される拡張レイヤ独立復号タイルである。また、拡張第２階層について、タイル番号５のタイルとタイル番号６のタイルが拡張レイヤ独立復号タイルとなり、それぞれについて拡張レイヤ独立復号タイルセットを構成する。フレーム２０９及びフレーム２１０のタイル番号５のタイルとタイル番号６のタイルが太枠で示される拡張レイヤ独立復号タイルセットである。

図５にその場合の符号化装置のブロック図を示す。図５において、図１の画像符号化装置のブロックと同じ機能を果たすものについては同じ番号を付し、説明を省略する。５０１は階層数を設定する階層数設定部である。５０２はタイル設定部である。図１のタイル設定部１０２とは階層数が３となり、基本レイヤ、拡張第１階層、拡張第２階層についてそれぞれ独立復号タイルを設定することが異なる。５０３は縮小部である。図１の縮小部１０３とは階層数設定部５０１から生成する階層数を入力し、縮小によって複数の階層画像を生成する。すなわち、複数の縮小画像データを生成することが異なる。５０２はフレームメモリであり、縮小部５０３が生成する各階層の縮小画像データを格納する。５０４は拡張レイヤタイル分割部である。図１の拡張レイヤタイル分割部１０４とは階層数設定部５０１から階調数を入力し、処理する階層を把握することが異なる。５０９は拡大部である。図１の拡大部１０９とは階層数設定部５０１から生成する階層数を入力し、拡大によって複数の異なる解像度の階層の拡大画像データを生成することが異なる。５１３は拡張レイヤ画像再構成部である。図１の拡張レイヤ画像再構成部１１３とは階層数設定部５０１から生成する階層数を入力し、出力先に拡大部４０９が加わることが異なる。５１０は統合部であり、図１の統合部１１０とは階層数設定部５０１から階層数が入力され階層数分の符号データをビットストリームに統合することが異なる。５１５は拡張レイヤ独立復号タイル判定部である。図１の拡張レイヤ独立復号タイル判定部１１５とは拡張第２階層まで扱うことができ、拡張第１階層と拡張第２階層の独立復号タイル情報とそれぞれの階層の時の入力されるタイル位置情報との比較を行うことが異なる。

図７にその場合の符号化方法を示す。同図において、図３のステップと同様の機能を果たすステップに関しては図３と同じ番号を付与し、説明を省略する。

ステップＳ７０１にて、階層数設定部５０１は階層数を設定する。ここでは階層数は３である。図３のステップＳ３０１と異なり、自由に階層数が設定できる。また、ステップＳ３０５にて、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号を２としてヘッダ符号データの生成が行われる。

ステップＳ７０８にて、符号化対象のシーケンスはいずれかの階層に独立復号タイルを含んでいるので、ヘッダ符号化部１１４はＭＣＴＳＳ ＳＥＩを符号化する。ＭＣＴＳＳ ＳＥＩ符号データについては、その構成は図４（ａ）に示した通りである。本実施形態において、上述の通り、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号は２である。変数ｋの０は基本レイヤを、１は拡張第１階層を、２は拡張第２階層を表す。

最初にｋ＝０にて、基本レイヤの独立復号タイルの情報が符号化される。含まれる独立復号タイルセットがないため、独立復号タイルセットの数を示すｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［０］符号は０となる。このため、続く符号は発生しない。

続いて、ｋ＝１となり、拡張レイヤ（拡張第１階層）の独立復号タイルの情報が符号化される。含まれる独立復号タイルセットが１つあるので、独立復号タイルセットの数を示すｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［１］符号は１となる。続いて、ｍｃｔｓ＿ｉｄ［１］符号は０とする。拡張レイヤ（拡張第１階層）の独立復号タイルセットに属する独立復号タイルの数は１であるため、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［１］［０］符号は０となる。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号は独立復号タイルの位置を表すものである。本実施形態では拡張レイヤ（拡張第１階層）の独立復号タイルはタイル番号５のタイルのみなのでどちらも値は５である。

最後にｋ＝２（拡張第２階層）では、拡張レイヤ（拡張第２階層）の独立復号タイルの情報が符号化される。含まれる独立復号タイルセットが２つあるので、拡張レイヤ（拡張第２階層）の独立復号タイルセットの数を示すｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［２］符号は２となる。続いて、タイル番号５の独立復号タイルセットの符号化を行う。ｍｃｔｓ＿ｉｄ［２］［０］符号は０とする。拡張レイヤ（拡張第２階層）のこのタイル番号５のタイルを含む独立復号タイルセットに属する独立復号タイルの矩形領域の数は１であるため、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［２］［０］符号は０となる。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［０］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［０］［０］符号の値は共に５となる。さらに、タイル番号６の独立復号タイルセットの符号化を行う。ｍｃｔｓ＿ｉｄ［２］［１］符号はタイル番号５の独立復号タイルセットと区別するために、１とする。拡張レイヤ（拡張第２階層）のこのタイル番号６のタイルを含む独立復号タイルセットに属する独立復号タイルの矩形領域の数は１であるため、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［２］［１］符号は０となる。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［１］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［１］［０］符号の値は共に６となる。

ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇ符号に関しては非特許参照文献１に記載されているので説明を省略する。これらを符号化してＭＣＴＳＳ ＳＥＩの符号データを生成する。ＭＣＴＳＳ ＳＥＩ符号データは統合部１１０に入力され、ビットストリームとして端子１１１から出力される。

ステップＳ７０９にて、縮小部５０３は１フレームの階層数分の縮小画像データを生成する。本実施形態ではステップＳ３０１で設定された２つの拡張レイヤを生成する。例えば、入力画像を縦横１／２にした拡張第１階層画像データとし、更に拡張第１階層画像データを縦横１／２にした基本レイヤの画像データを生成する。ここで、入力された解像度の画像を拡張第２階層画像データとしてそのままフレームメモリ５０６に出力する。

ステップＳ３１０からステップＳ３１４にて、前述の通り、基本レイヤ符号化部１０７はフレームメモリ５０６から出力された基本レイヤの画像データを符号化する。基本レイヤ画像再構成部１０８は符号化された画像の復号画像を再構成する。基本レイヤ画像再構成部１０８は再構成画像を保持しておく。

ステップＳ７３０にて、階層数設定部５０１はステップＳ３１２乃至ステップＳ３１３で符号化された基本レイヤまたは後述するステップＳ７１９、ステップＳ７２１乃至ステップＳ７２３で符号化された階層の拡張レイヤを上位レイヤとする。さらに、続く符号化対象の拡張レイヤを下位レイヤとする。最初はステップＳ３１２乃至ステップＳ３１３で符号化された基本レイヤを上位レイヤとし、拡張第１階層を下位レイヤとして設定する。

ステップＳ７１５にて、拡張レイヤタイル分割部１０４は符号化対象の下位レイヤの画像データの左上から順にタイル番号にしたがって符号化する下位レイヤのタイルの画像データを抽出する。拡張レイヤタイル分割部１０４で抽出された下位レイヤのタイルの画像データは拡張レイヤ符号化部１１２に入力される。ここでは下位レイヤの符号化対象として、拡張第１階層画像の画像データの符号化するタイルの画像データを抽出し、拡張レイヤ符号化部１１２に入力する。

ステップＳ７１６にて、拡張レイヤ独立復号タイル判定部１１５は拡張レイヤタイル分割部１０４から符号化対象となったタイルの下位レイヤ（拡張第１階層）のタイル番号を入力する。同時に、タイル設定部１０２から下位レイヤ（拡張第１階層）の独立復号タイル位置情報を入力する。本実施形態では独立復号タイル位置情報は５である。拡張レイヤ独立復号タイル判定部１１５は符号化対象のタイルのタイル番号と上位レイヤ（基本レイヤ）の独立復号タイル位置情報のタイル番号を比較する。タイル番号が一致すれば符号化対象タイルが下位レイヤ（拡張第１階層）の独立復号タイルであると判定され、拡張レイヤ独立復号タイル符号化フラグは１となり、ステップＳ７１７に進む。一致しなければ符号化対象タイルが独立復号タイルではないと判定され下位レイヤ（拡張第１階層）の独立復号タイル符号化フラグは０となり、ステップＳ７２０に進む。本実施形態では拡張レイヤのタイル番号５のタイルは独立復号タイルなのでステップＳ７１７に進み、それ以外はステップＳ７２０に進む。

ステップＳ７１７にて、拡大部５０９は符号化対象の下位レイヤ（拡張第１階層）の符号化対象のタイルと相対的に等しい位置の上位レイヤ（基本レイヤ）のブロックが独立復号タイルであったか否かを判定する。そのため、タイル設定部５０２から供給される上位レイヤ（基本レイヤ）の独立復号タイル位置情報と下位レイヤ（拡張第１階層）の符号化対象タイルの位置を比較する。タイル番号が一致すれば符号化対象タイルと相対的に等しい位置の上位レイヤ（基本レイヤ）のタイルが独立復号タイルであると判定された場合はステップＳ７１８に進み、そうでなければステップＳ７２０に進む。図２に示すように、本実施形態では上位レイヤ（基本レイヤ）のタイル番号５のタイルは独立復号タイルではないので、ステップＳ７２０に進む。

ステップＳ７１８にて、下位レイヤ（拡張第１階層）の符号化対象のタイルは独立復号タイルであり、かつ、上位レイヤ（基本レイヤ）の符号化対象のタイルは独立復号タイルである。拡大部５０９は基本レイヤ画像再構成部１０８または拡張レイヤ画像再構成部５１３に格納されている上位レイヤ（基本レイヤ）の再構成画像データから相対的に等しい位置のタイルの再構成画像データを入力する。拡大部５０９は入力された独立復号タイルセットの再構成画像データのみを用いて、フィルタリング等で拡大を行い、拡大画像データを生成する。拡大画像データは拡張レイヤ符号化部１１２に入力される。ここでは基本レイヤ画像再構成部１０８の再構成画像データから拡大画像データが生成される。具体的には図２のフレーム２０２のタイル番号５のタイルが独立復号タイルであれば、フレーム２０２のタイル番号５のタイルの画像データのみをもちいて拡大を行う。生成された拡大画像データ（フレーム２０４のタイル番号５のタイルの拡大画像データ）は拡張レイヤ符号化部１１２に入力される。

ステップＳ７１９にて、拡張レイヤ符号化部１１２は拡張レイヤタイル分割部１０４から入力された符号化対象の下位レイヤ（拡張第１階層）のタイルの画像データを再構成済みの画像データを参照して符号化する。すなわち、拡張レイヤ符号化部１１２はステップＳ７１８で生成された上位レイヤ（基本レイヤ）の拡大画像データを参照してレイヤ間予測を行う。また、拡張レイヤ画像再構成部５１３に格納されている再構成済みの下位レイヤ（拡張第１階層）の相対的に等しい位置の独立復号タイルセットの画像データを参照してフレーム間予測を行う。さらに、符号化対象タイルのタイル内の符号化済みの再構成画像データを参照してイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測、フレーム間予測によって得られた動きベクトル等の予測に関する情報や予測誤差を符号化する。さらに、拡張レイヤ画像再構成部５１３は拡張レイヤ符号化部１１２で符号化の途中で生成された係数等を用いて、拡張レイヤのタイル再構成画像データを順次生成し、保持する。

ステップＳ７２０にて、下位レイヤの符号化対象のタイルは独立復号タイルであるが、上位レイヤの、符号化対象のタイルは独立復号タイルではない。拡大部５０９は基本レイヤ画像再構成部１０８に格納されている基本レイヤの再構成画像データまたは拡張レイヤ画像再構成部５１３に格納されている上位レイヤの再構成画像データを用いてフィルタリング等で拡大を行い、拡大画像データを生成する。拡大画像データは拡張レイヤ符号化部１１２に入力される。ここでは上位レイヤが基本レイヤなので、基本レイヤ画像再構成部１０８の再構成画像データから上位レイヤの拡大画像データが生成される。具体的には図２のフレーム２０２のタイル番号５のタイルの画像データとその周辺の画像データを用いて拡大を行う。

ステップＳ７２１にて、拡張レイヤ符号化部１１２は拡張レイヤタイル分割部１０４から入力された符号化対象の下位レイヤ（拡張第１階層）のタイルの画像データを下位レイヤ（拡張第１階層）の符号化済みの画像データを参照して符号化する。すなわち、拡張レイヤ符号化部１１２はステップＳ７２０で生成された上位レイヤ（基本レイヤ）の拡大画像データを参照してレイヤ間予測を行う。また、拡張レイヤ画像再構成部５１３に格納されている再構成済みの下位レイヤ（拡張第１階層）の画像データを参照してフレーム間予測を行う。さらに、下位レイヤ（拡張第１階層）の符号化対象タイルのタイル内の符号化済みの再構成画像データを参照してイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測、フレーム間予測によって得られた動きベクトル等の予測に関する情報や予測誤差を符号化する。さらに、拡張レイヤ画像再構成部５１３は拡張レイヤ符号化部１１２で符号化の途中で生成された係数等を用いて、下位レイヤ（拡張第１階層）のタイル再構成画像データを順次生成し、保持する。

ステップＳ７２２にて、下位レイヤ（拡張第１階層）の符号化対象のタイルは独立復号タイルではない。拡大部５０９は基本レイヤ画像再構成部１０８に格納されている基本レイヤの再構成画像データの全体又は拡張レイヤ画像再構成部５１３に格納されている上位の拡張レイヤの再構成画像データを用いて拡大を行い、拡大画像データを生成する。拡大画像データは拡張レイヤ符号化部１１２に入力される。ここでは上位レイヤが基本レイヤなので、基本レイヤ画像再構成部１０８の再構成画像データから上位レイヤの拡大画像データが生成される。

ステップＳ７２３にて、拡張レイヤ符号化部１１２は拡張レイヤタイル分割部１０４から入力された符号化対象の下位レイヤ（拡張第１階層）のタイルの画像データを下位レイヤ（拡張第１階層）の符号化済みの画像データを参照して符号化する。すなわち、拡張レイヤ符号化部１１２はステップＳ７２２で生成された上位レイヤ（基本レイヤ）の拡大画像データを参照してレイヤ間予測を行う。また、拡張レイヤ画像再構成部４１３に格納されている再構成済みの下位レイヤ（拡張第１階層）の画像データを参照してフレーム間予測を行う。さらに、下位レイヤ（拡張第１階層）の符号化対象タイルのタイル内の符号化済みの再構成画像データを参照してイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測、フレーム間予測によって得られた動きベクトル等の予測に関する情報や予測誤差を符号化する。さらに、拡張レイヤ画像再構成部５１３は拡張レイヤ符号化部１１２で符号化の途中で生成された係数等を用いて、下位レイヤ（拡張第１階層）のタイル再構成画像データを順次生成し、保持する。

ステップＳ７２４にて、統合部５１０は階層数設定部５０１で設定された全ての階層について符号化が終了したか否かを判定する。全ての階層のタイルデータの符号化処理が終わっていなければ、ステップＳ７３０に戻り、階層数設定部５０１は次の階層を下位レイヤに設定し、処理を続行する。拡張レイヤの全てのタイルの画像データの符号化処理が終了していれば、ステップＳ７２５に進む。ここでは拡張第２階層の符号化が終了していないことからステップＳ７３０に戻る。

ステップＳ７２５にて、統合部５１０は端子１０１から入力されるシーケンスに含まれる全てのフレーム分の画像データの符号化処理が終了したか否かを判定する。符号化処理を行っていないフレームが存在する場合は、ステップＳ７０９に進み、次のフレームの処理を行う。符号化処理を行っていないフレームが存在しない場合は、符号化処理を終了する。

以下、拡張第２階層の符号化を行う。すなわち、ステップＳ７３０にて、階層数設定部５０１はステップＳ７１９乃至ステップＳ７２１で符号化された拡張第１階層を上位レイヤとし、拡張第２階層を下位レイヤとして設定する。ステップＳ７１５にて、拡張レイヤタイル分割部１０４は下位レイヤ（拡張第２階層）の画像データの符号化するタイルの画像データを抽出し、拡張レイヤ符号化部１１２に入力する。なお、拡張第２階層から新たにタイル番号６のタイルも独立復号タイルとなり、タイル番号５のタイルと共に独立復号タイルセットを構成する。最初に下位レイヤ（拡張第２階層）のタイル番号５のタイルの画像データが入力される。

ステップＳ７１６にて、拡張レイヤ独立復号タイル判定部１１５は拡張レイヤタイル分割部１０４から符号化対象となったタイルの下位レイヤ（拡張第２階層）のタイル番号を入力する。同時に、タイル設定部１０２から下位レイヤ（拡張第２階層）の独立復号タイル位置情報を入力する。ここでは独立復号タイル位置情報は５である。拡張レイヤ独立復号タイル判定部１１５は符号化対象のタイルのタイル番号と上位レイヤ（拡張第１階層）の独立復号タイル位置情報のタイル番号を比較する。タイル番号が一致すれば符号化対象タイルが下位レイヤ（拡張第２階層）の独立復号タイルであると判定され、拡張レイヤ独立復号タイル符号化フラグは１となり、ステップＳ７１７に進む。一致しなければ符号化対象タイルが独立復号タイルではないと判定され下位レイヤ（拡張第２階層）の独立復号タイル符号化フラグは０となり、ステップＳ７２０に進む。拡張第２階層のタイル番号５のタイルでは拡張レイヤのタイル番号５のタイルは独立復号タイルなのでステップＳ７１７に進み、それ以外はステップＳ７２０に進む。

ステップＳ７１７にて、拡大部５０９は符号化対象の下位レイヤ（拡張第２階層）の符号化対象のタイルと相対的に等しい位置の上位レイヤ（拡張第１階層）のブロックが独立復号タイルであったか否か判定する。そのため、タイル設定部５０２から供給される上位レイヤ（拡張第１階層）の独立復号タイル位置情報と下位レイヤ（拡張第２階層）の符号化対象タイルの位置を比較する。タイル番号が一致すれば符号化対象タイルと相対的に等しい位置の上位レイヤ（拡張第１階層）のタイルがの独立復号タイルであると判定された場合はステップＳ７１８に進み、そうでなければステップＳ７２０に進む。図２に示すように、拡張第２階層のタイル番号５のタイルでは上位レイヤ（拡張第１階層）のタイル番号５のタイルは独立復号タイルであるので、ステップＳ７１８に進む。

ステップＳ７１８にて、符号化対象の下位レイヤ（拡張第２階層）のタイルは独立復号タイルであり、かつ、上位レイヤ（拡張第１階層）の符号化対象のタイルは独立復号タイルである。拡大部５０９は拡張レイヤ画像再構成部５１３に格納されている上位レイヤ（拡張第１階層）の再構成画像データから相対的に等しい位置のタイルの再構成画像データを入力する。拡大部５０９は入力された上位レイヤ（拡張第１階層）の独立復号タイルセットの再構成画像データのみを用いて、フィルタリング等で拡大を行い、上位レイヤ（拡張第１階層）の拡大画像データを生成する。なお、隣接するタイルが同じ独立復号タイルセットの独立復号タイルであれば、隣接する独立復号タイルの再構成画像データを用いて拡大しても構わない。上位レイヤ（拡張第１階層）の拡大画像データは拡張レイヤ符号化部１１２に入力される。拡張第２階層のタイル番号５のタイルのタイルは図２のフレーム２１０のタイル番号５のタイルである。フレーム２１０のタイル番号５のタイルは、フレーム２０８のタイル番号５のタイルが独立復号タイルであるので、フレーム２０８のタイル番号５のタイルの再構成画像データのみを用いて拡大画像を生成する。

ステップＳ７１９にて、拡張レイヤ符号化部１１２は拡張レイヤタイル分割部１０４から入力された符号化対象の下位レイヤ（拡張第２階層）のタイルの画像データを符号化する。符号化にあたっては上位レイヤ（拡張第１階層）の拡大画像データと下位レイヤ（拡張第２階層）の再構成済みの画像データを参照する。すなわち、拡張レイヤ符号化部１１２はステップＳ７１８で生成された上位レイヤ（拡張第１階層）の拡大画像データを参照してレイヤ間予測を行う。また、拡張レイヤ画像再構成部５１３に格納されている再構成済みの下位レイヤ（拡張第２階層）の相対的に等しい位置の独立復号タイルセットの画像データを参照してフレーム間予測を行う。さらに、符号化対象タイルのタイル内の下位レイヤ（拡張第２階層）の符号化済みの再構成画像データを参照してイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測によって得られた動きベクトル等の予測に関する情報や予測誤差を符号化する。さらに、拡張レイヤ画像再構成部５１３は拡張レイヤ符号化部１１２で符号化の途中で生成された係数等を用いて、下位レイヤ（拡張第２階層）のタイル再構成画像データを順次生成し、保持する。符号化のための参照の状態を図２で説明する。フレーム２１０のタイル番号５のタイルは、フレーム２０８のタイル番号５のタイルの拡大画像と、フレーム２０９の独立復号タイルセットのタイル番号５のタイルの再構成画像データとフレーム２１０のタイル番号５のタイルの再構成画像データを参照する。

ステップＳ３２１にて、タイル番号６のタイルの符号化が行われていないので、ステップＳ７１５に進む。ステップＳ７１５にて、拡張レイヤタイル分割部１０４は下位レイヤ（拡張第２階層）の画像データの符号化する図２のフレーム２１０のタイル番号６のタイルの画像データを抽出し、拡張レイヤ符号化部１１２に入力する。

ステップＳ７１６にて、拡張レイヤ独立復号タイル判定部１１５は拡張レイヤタイル分割部１０４から符号化対象となったタイルの下位レイヤ（拡張第２階層）のタイル番号を入力する。同時に、タイル設定部１０２から下位レイヤ（拡張第２階層）の独立復号タイル位置情報を入力する。ここでは独立復号タイル位置情報は６である。拡張レイヤ独立復号タイル判定部１１５は符号化対象のタイルのタイル番号と上位レイヤ（拡張第１階層）の独立復号タイル位置情報のタイル番号を比較する。タイル番号６のタイルは下位レイヤ（拡張第２階層）では独立復号タイルではないので、ステップＳ７２０に進む。

ステップＳ７２０にて、下位レイヤ（拡張第２階層）の符号化対象のタイル（タイル番号６）は独立復号タイルであるが、上位レイヤ（拡張第１階層）の、符号化対象のタイルは独立復号タイルではない。拡大部５０９は拡張レイヤ画像再構成部５１３に格納されている上位レイヤ（拡張第１階層）の再構成画像データを用いてフィルタリング等で拡大を行い、拡大画像データを生成する。上位レイヤ（拡張第１階層）の再構成画像データはタイルデータの拡大に必要なタイル番号６のタイルの周辺の画素も用いる。拡大画像データは拡張レイヤ符号化部１１２に入力される。具体的には図２のフレーム２０６のタイル番号６のタイルの画像データとその周辺の画像データを用いて拡大を行う。

ステップＳ７２１にて、拡張レイヤ符号化部１１２は拡張レイヤタイル分割部１０４から入力された符号化対象の下位レイヤ（拡張第２階層）のタイルの画像データを符号化する。符号化にあたっては上位レイヤ（拡張第１階層）の拡大画像データと下位レイヤ（拡張第２階層）の符号化済みの画像データを参照する。すなわち、拡張レイヤ符号化部１１２はステップＳ７２０で生成された上位レイヤ（拡張第１階層）の拡大画像データを参照してレイヤ間予測を行う。また、拡張レイヤ画像再構成部５１３に格納されている再構成済みの下位レイヤ（拡張第２階層）の画像データを参照してフレーム間予測を行う。さらに、下位レイヤ（拡張第２階層）の符号化対象タイルのタイル内の符号化済みのタイル番号６のタイルの再構成画像データを参照してイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測によって得られた動きベクトル等の予測に関する情報や予測誤差を符号化する。さらに、拡張レイヤ画像再構成部５１３は拡張レイヤ符号化部１１２で符号化の途中で生成された係数等を用いて、下位レイヤ（拡張第２階層）のタイル再構成画像データを順次生成し、保持する。符号化のための参照の状態を図２で説明する。フレーム２１０のタイル番号５のタイルは、フレーム２０８のタイル番号５のタイルの拡大画像と、フレーム２０９の独立復号タイルセットのタイル番号５のタイルの再構成画像データとフレーム２１０のタイル番号５のタイルの再構成画像データを参照する。

ステップＳ７２２にて、下位レイヤ（拡張第２階層）の符号化対象のタイル（タイル番号６）は独立復号タイルではない。拡大部５０９は拡張レイヤ画像再構成部５１３に格納されている上位の拡張レイヤ（拡張第１階層）の再構成画像データを用いてフィルタリング等で拡大を行い、拡大画像データを生成する。拡大画像データは拡張レイヤ符号化部１１２に入力される。

ステップＳ７２３にて、拡張レイヤ符号化部１１２は拡張レイヤタイル分割部１０４から入力された符号化対象の下位レイヤ（拡張第２階層）のタイルの画像データを符号化する。すなわち、拡張レイヤ符号化部１１２はステップＳ７２２で生成された上位レイヤ（拡張第１階層）の拡大画像データを参照してレイヤ間予測を行う。また、拡張レイヤ画像再構成部４１３に格納されている再構成済みの下位レイヤ（拡張第２階層）の画像データを参照してフレーム間予測を行う。さらに、下位レイヤ（拡張第２階層）の符号化対象タイルのタイル内の符号化済みの再構成画像データを参照してイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測、フレーム間予測によって得られた動きベクトル等の予測に関する情報や予測誤差を符号化する。さらに、拡張レイヤ画像再構成部５１３は拡張レイヤ符号化部１１２で符号化の途中で生成された係数等を用いて、下位レイヤ（拡張第２階層）のタイル再構成画像データを順次生成し、保持する。

ステップＳ７２４にて、統合部５１０は階層数設定部５０１で設定された全ての階層について符号化が終了したか否かを判定する。ここでは拡張第２階層までの符号化が終了しているため、ステップＳ７２５に進む。ステップＳ７２４にて、全てのフレームの符号化が終了すれば、符号化処理を終了する。

以上の動作によって、複数の階層の拡張レイヤにおいても、各階層で個別に独立復号タイルセットを設定できる。

また、ＭＣＴＳＳ ＳＥＩがビットストリームに存在する場合、タイル位置一致情報であるｖｕｉ＿ｐａｒａｍｅｔｅｒｓのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号は１に必ずセットされる。したがって、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓにおいて、ＭＣＴＳＳ ＳＥＩがビットストリームに存在する場合、符号データとしてのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を省略することもできる。もし、ＭＣＴＳＳ ＳＥＩが無ければ、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を符号化し、その符号データがビットストリームに含まれる。ＭＣＴＳＳ ＳＥＩがあれば、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号は符号化されず、復号側で必ず１の値が設定される。このようにすることで、冗長となるｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を削減することが可能になる。

また、ＭＣＴＳＳ ＳＥＩがビットストリームに存在する場合、タイル位置一致情報であるｖｕｉ＿ｐａｒａｍｅｔｅｒｓのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号は１に必ずセットされる。但し、タイルの境界の一致は独立復号タイルが存在するレイヤのみに適応しても構わない。例えば、図２おいて、基本レイヤではタイルを２つに分割しても構わない。すなわち、フレーム２０１、２０２のタイル番号０、１、４、５、８、９を新たな１つのタイルとし、タイル番号を０とし、タイル番号２、３、６、７、１０、１１を新たな１つのタイルとし、タイル番号を１としても構わない。但し、拡張第１階層から独立復号タイルが存在するので、拡張第１階層以下の階層はフレーム２０５とタイル境界を一致させる必要が生じる。これにより、低解像度の上位レイヤで自由なタイル分割を実現することも可能である。

なお、階層符号化において、重要な領域を切り出し、その部分に独立復号タイルセットが適応されるように符号化することで、重要な領域を高速に読み出せる符号データを生成することができる。

なお、縮小部１０３に関して、タイルの境界に関係なくフィルタ等を施して縮小画像データを生成できるが、独立復号タイルとそれ以外のタイルでの縮小方法を適応的に変更しても構わない。例えば、拡大時には独立復号タイルのタイル外の画像データ用いないため、フィルタサイズを適応的に変化させるか、タイル外の画像データをタイル内の画像データで補填する。縮小時でもその端部において独立復号タイルセットの外の画素を用いる際にフィルタサイズや画像データ補填を拡大時と同じようにすることも可能である。それにより縮小・拡大の方式の不一致による画質劣化を抑えることが可能になる。

また、ＭＣＴＳＳ ＳＥＩ符号データについては、図４（ａ）の構成に限定されない。例えば図４（ｂ）に示す構成を取ることも可能である。上述の階層数が３の場合について説明する。すなわち、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号は２である。変数ｋの値が０は基本レイヤを、１は拡張第１階層を、２は拡張第２階層を表す。また、独立復号タイルについては図２に示したものを例にとって説明する。最初にｌｏｗｅｓｔ＿ｌａｙｅｒ＿ＭＣＴＳＳ符号が符号化される。本ｌｏｗｅｓｔ＿ｌａｙｅｒ＿ＭＣＴＳＳ符号は独立復号ブロックセットが設定されている最上位階層の番号を表す。したがって、ここでは拡張第１階層が独立復号ブロックセットを設定されている最上位階層であるため、ｌｏｗｅｓｔ＿ｌａｙｅｒ＿ＭＣＴＳＳは１となる。したがって、以下に続くループの初期値はｌｏｗｅｓｔ＿ｌａｙｅｒ＿ＭＣＴＳＳ符号の値、１となる。以下に設定する符号の初期値は０であり、下記の処理で更新されない場合は０がその符号の値となる。

最初にｋ＝１にて、拡張レイヤ（拡張第１階層）の独立復号タイルの情報が符号化される。含まれる（タイル番号５のタイルを含む）独立復号タイルセットが１つあるので、独立復号タイルセットの数を示すｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１［１］［０］符号は０となる。続いて、ｍｃｔｓ＿ｉｄ［１］［０］符号は０とする。独立復号タイルセットに属する独立復号タイルの数は１であるため、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［１］［０］符号は０となる。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号は独立復号タイルの位置を表すものである。ここでは独立復号タイルはタイル番号５のタイルのみなのでどちらも値は５である。ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇ符号に関しては非特許参照文献１に記載されているので説明を省略する。

続いて、ｋ＝２にて、拡張レイヤ（拡張第２階層）の独立復号タイルの情報が符号化される。含まれる（タイル番号５のタイルを含む）独立復号タイルセットが１つあるので、独立復号タイルセットの数を示すｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１［２］［０］符号は０となる。続いて、ｍｃｔｓ＿ｉｄ［２］［０］符号は０とする。独立復号タイルセットに属する独立復号タイルの数は１であるため、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［２］［０］符号は０となる。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［０］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［０］［０］符号は独立復号タイルの位置を表すものある。ここでは独立復号タイルセットにはタイル番号５のタイルとタイル番号６のタイルが含まれるので前者の値が５、後者の値が６である。これらを符号化してＭＣＴＳＳ ＳＥＩの符号データを生成する。

このようにＭＣＴＳＳ ＳＥＩ符号データを構成することで、図４（ａ）の符号に比べ、独立復号タイルの無い階層に関して符号を生成しないことで、符号化効率が改善される。

また、図６（ａ）に示す構成を取ることも可能である。すなわち、各レイヤでｍｏｔｉｏｎ−ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓ＿ｓｃａｌａｂｉｌｉｔｙ（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）によって個別に各階層で設定することができる。ｎｕｈ＿ｌａｙｅｒ＿ｉｄ符号は非特許文献１の７．３．１．２章に記載されているｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ（）に含まれる階層を表す符号データである。ｎｕｈ＿ｌａｙｅｒ＿ｉｄ符号は基本レイヤを０とし、それ以外の拡張レイヤには適宜値が割り振られる。すなわち、０以外の値の時には階層符号化が行われているものとなる。但し、階層を表す符号としてこれに限定されない。図６（ａ）において、最初にｎｕｈ＿ｌａｙｅｒ＿ｉｄ＝０にて、基本レイヤの独立復号タイルの情報が符号化される。含まれる独立復号タイルセットがないため、独立復号タイルセットの数を示すｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［０］符号は０となる。このため、続く符号は発生しない。ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＝１にて、拡張レイヤ（拡張第１階層）の独立復号タイルの情報が符号化される。含まれる独立復号タイルセットが１つあるので、独立復号タイルセットの数を示すｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［１］符号は１となる。続いて、ｍｃｔｓ＿ｉｄ［１］［０］符号は０とする。独立復号タイルセットに属する独立復号タイルの数は１であるため、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［１］［０］符号は０となる。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号は独立復号タイルの位置を表すものである。ここでは独立復号タイルはタイル番号５のタイルのみなのでどちらも値は５である。ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇ符号に関しては非特許参照文献１に記載されているので説明を省略する。ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＝２にて、拡張レイヤ（拡張第２階層）の独立復号タイルの情報が符号化される。含まれる独立復号タイルセットが１つあるので、独立復号タイルセットの数を示すｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［２］符号は１となる。続いて、ｍｃｔｓ＿ｉｄ［２］［０］符号は０とする。独立復号タイルセットに属する独立復号タイルの数は１であるため、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［２］［０］符号は０となる。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［０］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［０］［０］符号は独立復号タイルの位置を表すものである。ここでは独立復号タイルはタイル番号５のタイルとタイル番号６のタイルである。したがって、前者の値は５であり、後者の値は６である。

また、図６（ｂ）に示す構成を取ることも可能である。すなわち、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号を参照し、その値が０より大きいか否かを判断して、通常の独立復号タイルセットの定義か階層単位でのタイルセットの定義化を判断して適応的に切り替えても良い。なお、ＨＥＶＣで階層符号化のプロファイルが定義されれば、ＭＣＴＳ ＳＥＩの内部でプロファイルを判断して各レイヤの独立復号タイルの情報を符号化することもできる。

また、図８に示すように、途中の階層から増える独立復号タイルを既存の独立復号タイルセットに加えることも可能である。図８において、拡張第２階層の独立復号タイルセットは１つであり、その独立復号タイルセットにタイル番号５のタイルに加えてタイル番号６のタイルも同じ独立復号タイルセットとして扱う。この時、ステップＳ３０４にて、ＭＣＴＳＳ ＳＥＩの符号の内容が前述の内容と変わる。ｋ＝０とｋ＝１の基本レイヤと拡張第１階層の符号は前述のとおりである。ｋ＝２（拡張第２階層）では、拡張レイヤ（拡張第２階層）の独立復号タイルの情報が符号化される。含まれる独立復号タイルセットが２つあるので、拡張レイヤ（拡張第２階層）の独立復号タイルセットの数を示すｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［２］符号は１となる。ｍｃｔｓ＿ｉｄ［２］［０］符号は拡張第１階層のタイル番号５のタイルを含む独立復号タイルセットと同じ０とする。拡張レイヤ（拡張第２階層）のこのタイル番号５のタイルとタイル番号６を含む独立復号タイルセットに属する独立復号タイルの矩形領域の数は１であるため、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［２］［０］符号は０となる。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［０］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［０］［０］符号の値は前者が５となり、後者が６となる。また、符号化時の画像データの参照が前述の方法と異なる。ステップＳ７１９にて、拡張レイヤ符号化部１１２は拡張レイヤタイル分割部１０４から入力された符号化対象の下位レイヤ（拡張第２階層）のタイルの画像データを符号化する。符号化にあたっては、上位レイヤ（拡張第１階層）の拡大画像データと下位レイヤ（拡張第２階層）の再構成済みの画像データを参照する。ここで、フレーム間予測において、拡張レイヤ画像再構成部５１３に格納されている再構成済みの下位レイヤ（拡張第２階層）の独立復号タイルセットの画像データを参照することが可能である。すなわち、フレーム２１０のタイル番号５のタイルとタイル番号６のタイルは符号化時に、フレーム２０９のタイル番号５のタイルとタイル番号６のタイルの再構成画像データを参照することが可能である。このように、独立復号タイルセットの内容が途中の階層で変化しても構わない。

さらに、図６（ｂ）に示す構成を取ることも可能である。すなわち、ｍｏｔｉｏｎ−ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓ＿ｓｃａｌａｂｉｌｉｔｙ（ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）によって個別に各階層で設定することができる。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号は階層数を表すものであり、０であれば、基本レイヤのみが存在することを示す。図６（ｂ）において、最初にｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０であるか否かを判定する。０であれば、階層符号化されていないので、３行目から１２行目までで通常のＭＣＴＳ ＳＥＩの符号で構成される。また、０以外であれば、階層符号化されているので、１５行目から２６行目までで図４（ａ）のＭＣＴＳＳ ＳＥＩと同じ符号で構成される。但し、１５行目から２６行目に関しては図４（ｂ）の構成でも良く、これに限定されない。このように従来からあるｍｏｔｉｏｎ−ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓ（）で符号を構成することも可能である。

＜実施形態２＞
図９は本実施形態の画像復号装置を用いる画像表示装置を示すブロック図である。本実施形態では実施形態１で生成されたビットストリームを復号する場合を例にとり説明を行う。

９０１は通信等によってビットストリームを入力するインターフェースである。９０２は入力されたビットストリームや予め記録されていたビットストリームを格納しておく記憶部である。９０３はユーザが表示するビットストリームを指示し、その表示方法を指定する表示制御部である。表示制御部９０３は復号する階層と復号する領域を表示制御信号として画像復号装置に出力する。復号する階層は階層数で表され、表示領域は表示するタイルの位置で表されるものとする。但し、これに限定されない。

９０４はセレクタであり、入力するビットストリームの入力先を指定する。９０５は本発明に関する画像復号装置である。９０６は表示部であり、画像復号装置９０５で生成された復号画像データを表示する。

上記画像表示装置における画像表示の動作を以下に説明する。ユーザが表示制御部９０３からインターフェース９０１から入力されるビットストリームで基本レイヤの復号と表示を指示した場合について説明する。これは監視カメラ等の入力で全体をモニタリングする場合に相当する。インターフェース９０１からは監視カメラ等からフレーム単位で入力されるビットストリームを受信し、記憶部９０２に記録しながら、セレクタ９０４に出力する。セレクタ９０４は表示制御部９０３からインターフェース９０１からの入力ビットストリームを画像復号装置９０５に出力するように指示される。画像復号装置９０５には表示制御部９０３から表示制御信号として表示するレイヤ、表示するタイル等の情報が入力される。ここでは基本レイヤの復号と領域として全てのタイルの復号が指示されている。

図１０は画像復号装置９０５の詳細を示すブロック図である。図１０において、１００１はビットストリームを入力する端子である。説明を容易にするため、ビットストリームはヘッダデータや１フレームずつの符号データが入力されるものとする。このフレーム単位のデータにはフレームを構成する全ての階層符号データが含まれているものとする。但し、これに限定されず、スライス等の単位で入力されても構わない。また、フレームのデータ構成もこれに限定されない。１００２は図９の表示制御部９０３から入力された復号に関する表示制御信号を入力する端子である。表示制御信号としては復号するレイヤ、復号するタイルの位置情報が入力される。入力された表示制御信号は分離部１００４、基本レイヤ復号部１００７、拡張レイヤ復号部１０１０に入力される。１００３はバッファであり、入力された１フレーム分の階層符号データを格納する。１００４は分離部である。分離部１００４は入力された符号データからヘッダ符号データ、基本レイヤ符号データ、各拡張レイヤ符号データを分離する。さらに入力された１フレーム分の階層符号データからレイヤ毎にタイル単位の符号データに分割して出力する。タイル単位に出力される場合は該当するタイルの番号をタイルの位置情報として基本レイヤ独立復号タイル判定部１００６及び拡張レイヤ独立復号タイル判定部１０１６に出力する。分離されたそれぞれの符号データは、ヘッダ復号部１００５、基本レイヤ復号部１００７、拡張レイヤ復号部１０１０に出力する。

１００５はヘッダ復号部である。ヘッダ復号部１００５は、シーケンスやピクチャ単位のヘッダ符号データを復号し、復号に必要なパラメータを取得する。特に、ＭＣＴＳＳ ＳＥＩがあればこれも復号する。特に、独立復号タイル可否フラグと独立復号タイル位置情報を復号し、これを取得する。

１００６は基本レイヤ独立復号タイル判定部であり、ヘッダ復号部１００５から独立復号タイル可否フラグと基本レイヤの独立復号タイル位置情報を入力し、分離部１００４から復号対象のタイルの位置情報を入力する。これらの情報を比較し、復号対象の基本レイヤのタイルが独立復号タイルか否かを判定する。判定の結果は基本レイヤ復号部１００７に入力される。

１０１６は拡張レイヤ独立復号タイル判定部であり、ヘッダ復号部１００５から独立復号タイル可否フラグと拡張レイヤの独立復号タイル位置情報を入力し、分離部１００４から復号対象のタイルの位置情報を入力する。これらの情報を比較し、復号対象の拡張レイヤのタイルが独立復号タイルか否かを判定する。判定の結果は拡張レイヤ復号部１０１０に入力される。

１００７は基本レイヤ復号部である。基本レイヤ復号部１００７は分離部１００４で分離された基本レイヤのタイルの符号データを復号し、基本レイヤの復号画像データを生成する。基本レイヤ復号部１００７は基本レイヤ独立復号タイル判定部１００６から入力された復号対象の基本レイヤのタイルが独立復号タイルか否かの情報に基づいて予測を行うための参照対象を選択して予測を行い、基本レイヤの画像データを復号する。１００８はフレームメモリである。フレームメモリ１００８は基本レイヤの各タイルの符号データを復号して再構成された復号画像データを保持する。１００９は拡大部である。拡大部１００９は復号されて再構成された復号画像データを拡張レイヤの解像度に拡大して拡大画像データを生成する。また拡大部１００９は拡張レイヤ独立復号タイル判定部１０１６から判定結果を入力し、復号対象の拡張レイヤのタイルが独立復号タイルか否かによって、拡大する際に使用する画像データを適応的に選択する。

１０１０は拡張レイヤ復号部である。拡張レイヤ復号部１０１０は分離部１００４で分離された拡張レイヤのタイルの符号データを復号し、拡張レイヤの復号画像データを生成する。拡張レイヤ復号部１０１０は拡張レイヤ独立復号タイル判定部１０１６から入力された復号対象の拡張レイヤのタイルが独立復号タイルか否かの情報に基づいて予測を行うための参照対象を選択して予測を行い、拡張レイヤの画像データを復号する。１０１１はフレームメモリである。フレームメモリ１０１１は拡張レイヤの各タイルの符号データを復号して再構成された復号画像データを保持する。１０１２は端子であり、基本レイヤの復号画像データを外部に出力する。１０１３は端子であり、拡張レイヤの復号画像データを外部に出力する。

上記画像復号装置における画像の復号動作を以下に説明する。復号動作については図１１に示したフローチャートに基づき説明する。本実施例では実施形態１の図１に示す符号化装置で生成されたビットストリームを例にとって説明する。本ビットストリームは基本レイヤと拡張レイヤの２階層で構成されている。この時、ＭＣＴＳＳ ＳＥＩの構成が図４（ａ）であったとする。

最初に、復号対象のレイヤが基本レイヤのみの場合について述べる。不図示のユーザが表示制御部９０３からインターフェース９０１から入力されるビットストリームで基本レイヤの全体の復号と表示の開始を指示する。

ステップＳ１１０１にて、最初に端子１００１から入力されたヘッダ符号データはバッファ１００３と分離部１００４を経てヘッダ復号部１００５に入力される。ヘッダ復号部１００５において、最初にシーケンスヘッダの１つであるｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔを復号する。これには階層符号化の階層数を表すｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号が含まれる。本実施形態において、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１は１である。続いてＳｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔを復号する。Ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔにはｖｕｉ＿ｐａｒａｍｅｔｅｒｓも含まれる。ｖｕｉ＿ｐａｒａｍｅｔｅｒｓにはタイル位置一致情報であるｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号が含まれている。本実施形態において、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号は１である。

ステップＳ１１０２にて、Ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔを復号する。これらのヘッダ符号データの復号については非特許文献１に詳細に記載されているのでここでは説明を省略する。

ステップＳ１１０３にて、ヘッダ復号部１００５は独立復号タイルの有無を判定する。その結果を、独立復号タイル可否フラグとする。実際にはＭＣＴＳＳ ＳＥＩの有無を判定する。ＭＣＴＳＳ ＳＥＩが存在するのであれば、独立復号タイル可否フラグを１とし、ステップＳ１１０４に進む。ＭＣＴＳＳ ＳＥＩが存在しないのであれば、独立復号タイル可否フラグを０とし、ステップＳ１１０５に進む。本実施形態ではステップＳ１１０４に進む。独立復号タイル可否フラグは基本レイヤ独立復号タイル判定部１００６及び拡張レイヤ独立復号タイル判定部１０１６に入力される。独立復号タイルが存在する場合、タイル位置一致情報であるｖｕｉ＿ｐａｒａｍｅｔｅｒｓのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号は１となっている必要がある。もしそうでないのであれば、エラーを返して復号を停止しても構わない。独立復号タイル可否フラグは基本レイヤ独立復号タイル判定部１００６に入力され、基本レイヤ復号部１００７、拡張レイヤ復号部１０１０にも入力される。

ステップＳ１１０４にて、ヘッダ復号部１００５はＭＣＴＳＳ ＳＥＩを復号し、独立復号タイル可否フラグと独立復号タイル位置情報を取得する。ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［０］符号を復号すると値０を得る。したがって、基本レイヤには独立復号タイルが無く、独立復号タイルセットも存在しないことが分かる。この場合、基本レイヤに関する独立復号タイルセットに関する符号は存在しない。したがって、ヘッダ復号部１００５は基本レイヤ独立復号タイル判定部１００６に該当するタイル番号が無いことを独立タイル位置情報として出力する。続いて、第２の階層である拡張レイヤのｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［１］符号を復号すると値１を得る。したがって、拡張レイヤには独立復号タイルセットが１つ存在することになる。したがって、続くｍｃｔｓ＿ｉｄ［１］［０］符号を復号し、値０を得る。これは続いて復号される独立復号タイルを含む独立復号タイルセットの番号になる。さらに、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［１］［０］符号を復号し、値０を得る。これは独立復号タイルの矩形領域の塊として１つ存在することを表す。続いて、その塊の左上のタイルのタイル番号と右下のタイルのタイル番号の１つの組合せが存在することを示す。この結果に基づき、ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号が復号され、それぞれ値５を得る。すなわち、独立復号タイルセットの独立復号タイルはタイル番号５のタイルで構成されていることが判明する。したがって、したがって、ヘッダ復号部１００５は拡張レイヤ独立復号タイル判定部１０１６にこの独立復号タイルであるタイル番号５が拡張レイヤの独立復号タイル位置情報として出力される。

ステップＳ１１０５にて、分離部１００４は端子１００２から入力された表示部分にかかるタイルの位置情報を入力する。基本レイヤ全体の表示が指示されている。このため、表示部分にかかるタイルは全てのタイルとなる。したがって、分離部１００４はバッファ１００３からタイル番号０からタイル番号順に基本レイヤの復号対象タイルの符号データを順に抽出し、基本レイヤ復号部１００７に出力する。

ステップＳ１１０６にて、基本レイヤ独立復号タイル判定部１００６は分離部１００４から復号対象となったタイルのタイル番号を入力する。同時に、基本レイヤ独立復号タイル判定部１００６はヘッダ復号部１００５から独立復号タイル位置情報を入力する。基本レイヤ独立復号タイル判定部１００６は復号対象のタイルのタイル番号と独立復号タイル位置情報のタイル番号を比較する。タイル番号が一致すれば復号対象タイルが独立復号タイルであると判定され、ステップＳ１１０７に進む。一致しなければ復号対象タイルが独立復号タイルセットのタイルではないと判定され、ステップＳ１１０８に進む。ここでは独立復号タイルセットはないため、基本レイヤの全てのタイルが独立復号タイルではない。したがって、ステップＳ１００８に進む。

ステップＳ１１０７にて、基本レイヤの復号対象タイルは独立復号タイルである。基本レイヤ復号部１００７は復号済みの基本レイヤの画像の相対的に等しい位置の独立復号タイルセット内の独立復号タイルと復号対象タイルのタイル内の復号済み画素のみを参照して復号を行う。すなわち、フレームメモリ１００８に格納されている相対的に等しい位置の独立復号タイルセット内の独立復号タイルの復号画像データを参照してフレーム間予測を行う。さらに、フレームメモリ１００８に格納されている復号対象タイルのタイル内の復号画像データを参照してイントラ予測を行う。復号して再構成された基本レイヤのタイルの復号画像データはフレームメモリ１００８に格納され、以後の復号時に参照される。

ステップＳ１１０８にて、復号対象タイルは独立復号タイルセットのタイルではない。基本レイヤ復号部１００７は復号済みのフレームの基本レイヤの復号画像データと復号対象のフレームの基本レイヤのフレーム内の復号済み画素を参照して復号を行う。すなわち、フレームメモリ１００８に格納されている復号画像データを参照してフレーム間予測を行う。さらに、復号対象タイルのタイル内の復号済みの再構成画像データを参照してイントラ予測を行う。ここでは、例えば図２において、フレーム２０２のタイル番号５のタイルの復号を行う際には、フレーム２０１の画像データ全体を用いてフレーム間予測を行い、フレーム２０２のタイル番号５の復号済みの画像データを用いてイントラ予測を行う。復号して再構成された基本レイヤのタイルの復号画像データはフレームメモリ１００８に格納され、復号時に参照される。

ステップＳ１１０９にて、基本レイヤ復号部１００７は入力された表示部分にかかる基本レイヤの全てのタイルの符号データを復号したか否かを判定する。ここでは、基本レイヤに独立復号タイルは含まれないため、基本レイヤの１フレーム分の全てのタイルの符号データを復号したか否かを判定する。基本レイヤの１フレーム分の全てのタイルに符号データの復号処理が終わっていなければ、ステップＳ１１０５に戻り、分離部１００４は次のタイルを抽出して出力し、処理を続行する。基本レイヤの１フレーム分の全てのタイルの符号データの復号処理が終了していれば、ステップＳ１１１０に進む。

ステップＳ１１１０にて、分離部１００４は図９の表示制御部９０３から端子１００２を介して入力された表示制御信号の表示するレイヤを復号したか否かを判定する。ここでは、階層数が２であるので、基本レイヤか拡張レイヤのいずれかであるかを判定する。拡張レイヤの復号・表示が指示されている場合はステップＳ１１１１に進み、そうでない場合はステップＳ１１２１に進む。ここでは基本レイヤのみの復号であることからステップＳ１１２１に進み、拡張レイヤ復号部１０１０は動作しない。

ステップＳ１１２１にて、復号された基本レイヤが表示する階層なのでその復号画像を端子１０１２を経て図９の表示部９０６に送り、表示する。

ステップＳ１１２２にて、基本レイヤ復号部１００７または拡張レイヤ復号部１０１０は端子１００１から入力されるシーケンスに含まれる全てのフレーム分の基本レイヤの符号データ乃至は拡張レイヤの符号データの復号処理が終了したか否かを判定する。ここでは基本レイヤ復号部１００７が全てのフレーム分の基本レイヤの符号データの復号を終了したか否かを判定する。復号処理を行っていない基本レイヤまたは拡張レイヤの符号データが存在する場合は、ステップＳ１１０５に進み、次のフレームの処理を行う。復号処理を行っていないフレームの符号データが存在しない場合は、復号処理を終了する。

図６に戻り、表示部９０６は表示制御部９０３から基本レイヤの画像データの表示が指示されている。この指示により基本レイヤの復号画像全体を表示部９０６は表示する。

なお、ユーザが表示制御部９０３から記録されている映像の基本レイヤの表示が指示された場合、セレクタ９０４の入力を記憶部９０２とする。その後、表示制御部９０３は記憶部９０２から必要なビットストリームを選択し、セレクタ９０４に出力する。

続いて、復号対象のレイヤが拡張レイヤの場合について述べる。ユーザが表示制御部９０３からインターフェース９０１から入力されるビットストリームで拡張レイヤの復号と一部の表示を指示した場合の復号について説明する。これは監視カメラ等の入力で一部を詳細にモニタリングする場合に相当する。画像復号装置９０５には表示制御部９０３から基本レイヤと拡張レイヤの復号と表示する領域に含まれるタイルの番号が指示される。本実施形態では説明を簡単にするために、表示する領域に含まれるタイルを図２のタイル番号５のタイルとタイル番号６のタイルの領域とする。復号動作については基本レイヤのみの復号・表示の場合と同様に、図１１に示したフローチャートに基づいて説明する。また、基本レイヤのみの復号と同じ動作を行う部分は説明を簡略化する。

ステップＳ１１０１にて、基本レイヤのみの表示時と同様に、ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔとＳｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔの復号が行われる。これらの中のｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号や、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号の復号が行われる。

ステップＳ１１０２にて、基本レイヤのみの表示時と同様に、Ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔを復号する。ステップＳ１１０３にて、基本レイヤのみの表示時と同様に、ヘッダ復号部１００５は独立復号タイルの有無を判定する。ステップＳ１１０４にて、基本レイヤのみの表示時と同様に、ヘッダ復号部１００５はＭＣＴＳＳ ＳＥＩを復号する。

ステップＳ１１０５にて、分離部１００４は端子１００２から入力された表示部分にかかるタイルの位置情報を入力する。本説明ではその表示するタイルの位置はタイル番号５と６とする。入力された位置情報から復号対象タイルであるタイル番号５のタイルの基本レイヤの符号データを抽出する。抽出した符号データを基本レイヤ復号部１００７に出力する。また、そのタイル位置情報を基本レイヤ独立復号タイル判定部１００６に入力する。

ステップＳ１１０６にて、基本レイヤ独立復号タイル判定部１００６は復号対象のタイルのタイル番号と独立復号タイル位置情報のタイル番号を比較する。基本レイヤの復号対象タイルは独立復号タイルではないので、ステップＳ１１０８に進む。

基本レイヤの復号対象タイルが独立復号タイルであれば、ステップＳ１１０７にて、基本レイヤのみの表示時と同様に、基本レイヤ復号部１００７は基本レイヤの復号対象タイルの復号と復号画像データのフレームメモリ１００８への格納を行う。

ステップＳ１１０８にて、基本レイヤの復号対象タイルが独立復号タイルではない。基本レイヤのみの表示時と同様に、基本レイヤ復号部１００７は基本レイヤの復号対象タイルの復号と復号画像データのフレームメモリ１００８への格納を行う。

ステップＳ１１０９にて、基本レイヤ復号部１００７は分離部１００４から入力された表示部分にかかる基本レイヤの全てのタイルの符号データを復号したか否かを判定する。こでは、基本レイヤに独立復号タイルは含まれないため、基本レイヤの１フレーム分の全てのタイルの符号データを復号したか否かを判定する。ここでは、全てのタイルの符号データの復号が終わっていなければ、ステップＳ１１０６に戻り、復号が終わっていればステップＳ１１１０に進む。

ステップＳ１１１０にて、分離部１００４は図９の表示制御部９０３から端子１００２を介して入力された表示制御信号の表示するレイヤに拡張レイヤが含まれているか否かを判定する。ここでは拡張レイヤまで表示するので、ステップＳ１１１１に進む。

ステップＳ１１１１にて、ステップＳ１１０５と同様に分離部１００４は端子１００２から入力された表示部分にかかるタイルの位置情報を入力する。ここではその表示するタイルの位置はタイル番号５と６である。分離部１００４は入力された位置情報から復号対象タイルであるタイル番号５のタイルの拡張レイヤの符号データを抽出する。抽出した符号データを拡張レイヤ復号部１０１０に出力する。また、そのタイル位置情報を基本レイヤ独立復号タイル判定部１００６に入力する。

ステップＳ１１１２にて、ステップＳ１１０６と同様に拡張レイヤ独立復号タイル判定部１０１６は復号対象のタイルのタイル番号と独立復号タイル位置情報のタイル番号を比較する。タイル番号が一致すればステップＳ１１１３に進む。一致しなければステップＳ１１１８に進む。ここでは独立復号タイル位置情報は５である。復号対象のタイルのタイル番号と一致する。したがって、拡張レイヤの復号対象タイルが独立復号タイルセットのタイルであると判定され、ステップＳ１１１３に進む。

ステップＳ１１１３にて、拡張レイヤ独立復号タイル判定部１０１６は復号対象のタイルのタイル番号と基本レイヤの独立復号タイル位置情報のタイル番号を比較する。タイル番号が一致すればステップＳ１１１４に進む。一致しなければステップＳ１１１６に進む。ここでは基本レイヤの独立復号タイル位置情報はないため、基本レイヤの独立復号タイル番号とは一致しない。したがって、拡張レイヤの復号対象タイルが独立復号タイルセットのタイルであるが、その基本レイヤの相対的に等しい位置のタイルが独立復号タイルではないと判定され、ステップＳ１１１６に進む。

ステップＳ１１１４にて、復号対象のタイルは独立復号タイルであり、基本レイヤの相対的に位置が等しいタイルは独立復号タイルである。拡大部１００９はフレームメモリ１００８に格納されている基本レイヤの再構成画像データから相対的に等しい位置のタイルの復号画像データのみを入力する。拡大部１００９は入力された独立復号タイルの復号画像データのみを用いて、フィルタリング等で拡大を行い、拡大画像データを生成する。拡大画像データは拡張レイヤ復号部１０１０に入力される。

ステップＳ１１１５にて、拡張レイヤ復号部１０１０は分離部１００４から入力された復号対象のタイルの拡張レイヤ符号データを復号する。拡大部１００９から入力されるステップＳ１１１４で生成された拡大画像データとフレームメモリ１０１１に格納された復号済みの拡張レイヤの復号画像データと復号対象タイルの復号済の画素データを参照して復号画像データを再構成する。すなわち、拡張レイヤ復号部１０１０はステップＳ１１１４で生成された基本レイヤの拡大画像データを参照してレイヤ間予測を行う。また、フレームメモリ１０１１に格納されている拡張レイヤの同じ独立復号タイルセット内の復号画像データを参照してフレーム間予測を行う。同じ独立復号タイルセットとはＭＣＴＳ＿ｉｄ符号が同じであることを示す。さらに、復号対象タイルのタイル内の復号画像データを参照してイントラ予測を行う。

ステップＳ１１１６にて、復号対象のタイルは独立復号タイルであるが、基本レイヤの相対的に位置が等しいタイルは独立復号タイルではない。拡大部１００９はフレームメモリ１００８に格納されている基本レイヤの再構成画像データから相対的に等しい位置のタイルの復号画像データとその周辺の復号画像データを入力する。拡大部１００９は入力された独立復号タイルの復号画像データその周辺の復号画像データを用いて、フィルタリング等で拡大を行い、拡大画像データを生成する。拡大画像データは拡張レイヤ復号部１０１０に入力される。

ステップＳ１１１７にて、拡張レイヤ復号部１０１０は分離部１００４から入力された復号対象のタイルの拡張レイヤ符号データを復号する。拡大部１００９から入力されるステップＳ１１１６で生成された拡大画像データとフレームメモリ１０１１に格納された復号済みの拡張レイヤの復号画像データと復号対象タイルの復号済の画素データを参照して復号画像データを再構成する。すなわち、拡張レイヤ復号部１０１０はステップＳ１１１６で生成された基本レイヤの拡大画像データを参照してレイヤ間予測を行う。また、フレームメモリ１０１１に格納されている拡張レイヤの同じ独立復号タイルセット内の復号画像データを参照してフレーム間予測を行う。さらに、復号対象タイルのタイル内の復号画像データを参照してイントラ予測を行う。復号のための参照の状態を図２で説明する。フレーム２０６のタイル番号５の復号を行う際に、フレーム２０２の拡大画像データ（フレーム２０４）、復号済みのフレーム２０５のタイル番号５の復号画像データ、フレーム２０６のタイル番号５の復号済み画素を参照して復号を行う。復号された拡張レイヤのタイルの復号画像データはフレームメモリ１０１１に出力され、保持される。

以下、タイル番号６のタイルの拡張レイヤの符号データの復号について説明する。ステップＳ１１１１にて、タイル番号６のタイルの拡張レイヤの符号データを抽出する。ステップＳ１１１２にて、基本レイヤ独立復号タイル判定部１００６は復号対象のタイルのタイル番号と独立復号タイル位置情報のタイル番号を比較し、ステップＳ１１１８に進む。

ステップＳ１１１８にて、符号化対象のタイルは独立復号タイルではない。拡大部１００９はフレームメモリ１００８に格納されている基本レイヤの再構成画像データから相対的に等しい位置のタイルの復号画像データとその周辺の復号画像データを入力する。拡大部１００９は入力された独立復号タイルの復号画像データその周辺の復号画像データを用いて、フィルタリング等で拡大を行い、拡大画像データを生成する。拡大画像データは拡張レイヤ復号部１０１０に入力される。

ステップＳ１１１９にて、拡張レイヤ復号部１０１０は分離部１００４から入力された復号対象のタイルの拡張レイヤ符号データを復号する。拡大部１００９から入力されるステップＳ１１１８で生成された拡大画像データとフレームメモリ１０１１に格納された復号済みの拡張レイヤの復号画像データと復号対象タイルの復号済の画素データを参照して復号画像データを再構成する。すなわち、拡張レイヤ復号部１０１０はステップＳ１１１８で生成された基本レイヤの拡大画像データを参照してレイヤ間予測を行う。また、フレームメモリ１０１１に格納されている拡張レイヤの復号画像データを（画像データ全体を対象として）参照してフレーム間予測を行う。さらに、復号対象タイルのタイル内の復号画像データを参照してイントラ予測を行う。具体的には、フレーム２０６のタイル番号６のタイルの復号を行う際に、フレーム２０２の拡大画像データ（フレーム２０４）、復号済みのフレーム２０５の復号画像データ、フレーム２０６のタイル番号６のタイルの復号済み画素を参照して復号を行う。復号された拡張レイヤのタイルの復号画像データはフレームメモリ１０１１に出力され、保持される。

ステップＳ１１２０にて、表示部分にかかる拡張レイヤの全てのタイルの符号データを復号したため、ステップＳ１１２１に進む。

ステップＳ１１２１にて、復号された拡張レイヤが表示する階層なのでその復号画像を端子１０１３を経て図９の表示部９０６に送り、表示する。

ステップＳ１１２２にて、拡張レイヤ復号部１０１０は端子１０１から入力されるシーケンスに含まれる全てのフレーム分の表示部分にかかる符号データの復号処理が終了したか否かを判定する。復号処理を行っていないフレームが存在する場合は、ステップＳ１１０５に進み、次のフレームの処理を行う。復号処理を行っていないフレームが存在しない場合は、復号処理を終了する。

以上の構成により、独立復号タイルをレイヤ毎に独立して設定して符号化されたビットストリームをその表示の方法に合わせて復号することが可能になる。独立復号タイルの設定が不要な低解像度な上位レイヤでは独立復号タイルを設定せず、高解像度な下位レイヤでは独立復号タイルを設定できる。これにより、低解像度のレイヤでは独立復号タイルの設定による符号量増加を抑制したビットストリームで画像データ全体の復号を高速に行うことができ、画像データの全体の把握に寄与できる。特に複数の画像を同時に復号、表示するような場合に有効である。また、高解像度レイヤではタイル単位でのアクセスを容易にするため、必要な部分を高速に読み出し、高精細に復号することができる。

なお、本実施形態において図２のように時間的に前のフレームのみを参照フレームとして復号する例を示したが、これに限定されず、複数フレームの参照による復号の場合においても同様に参照されることは上記の説明から明白である。
また、拡大部１００９を使用しない、または拡大率を１とし、基本レイヤ復号部１００７で復号される量子化パラメータよりも拡張レイヤ復号部１０１０で復号される量子化パラメータを小さくすることも可能である。これによって、ＳＮＲ階層符号化されたデータの復号を行うことが可能になる。

また、本実施形態において１フレームの符号データに全ての階層の符号データを含む例を取って説明したが、これに限定されず、レイヤ毎に入力されても構わない。例えば、記憶部９０２にレイヤ毎にデータをまとめて格納しておき、拡張レイヤに関しては必要に応じてそこから符号データを切り出して読みだしてももちろん構わない。

また、基本レイヤと１つの拡張レイヤのある場合で説明したが、これに限定されない。拡張レイヤ復号部１０１０、フレームメモリ１０１１、拡大部１００９を１つのセットとして、これを階層数分だけ増設することにより、より多くの階層に対応することができることは明白である。

また、拡張レイヤ復号部、フレームメモリ、拡大部は内部の処理が同じであるため、兼用で使用して各階層の復号を行っても構わない。図１２にその場合の復号装置のブロック図を示す。図１２において、図７の画像復号装置のブロックと同じ機能を果たすものについては同じ番号を付し、説明を省略する。１２０８はフレームメモリであり、基本レイヤ復号部１００７で再構成された復号画像データを保持している。図１０のフレームメモリ１００８とはセレクタ１２２０への出力を行う機能が追加されていることが異なる。１２０９は拡大部である。図１０の拡大部１００９とはフレームメモリ１２１１からの入力とフレームメモリ１２０８からの入力を選択して入力が可能になっていることが異なる。９１１はフレームメモリである。図１０のフレームメモリ１０１１とは所望のタイルの符号化データを拡大部１２０９及びセレクタ１２２０に出力する機能を付与されていることである。１２２０はセレクタであり、フレームメモリ１２０８またはフレームメモリ１２１１から所望の復号画像データを選択して入力し、端子１２１２に出力する。１２１０は拡張レイヤ復号部であり、拡張レイヤの各階層の復号を行う。図１０の拡張レイヤ復号部１２１０とは復号した階層が表示する階層に一致するか否かを判定して拡張レイヤの復号を行うことが異なる。１２１２は端子であり、復号画像データを外部に出力する。

図１３に図１２の画像復号装置の復号方法を示す。同図において、図１１のステップと同様の機能を果たすステップに関しては図１１と同じ番号を付与し、説明を省略する。なお、本実施形態では実施形態１の図５に記載の画像符号化装置によって、図７の符号化方法によって生成された階層数が３であるビットストリームの復号を例にとって説明する。

図１３のステップＳ１１０１からステップＳ１１０４にて、前述の通り、ヘッダ復号部１００５によるヘッダ符号データを復号する。ここではｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号は２である。

最初に、復号対象のレイヤが基本レイヤのみの場合について述べる。不図示のユーザが表示制御部９０３からインターフェース９０１から入力されるビットストリームで基本レイヤの全体の復号と表示の開始を指示する。以下、前述の基本レイヤのみの表示時と同様に図１１のステップＳ１１０５からステップＳ１１０９によって、基本レイヤの１フレーム分の復号が終了している。但し、基本レイヤ復号部１００７で生成された復号画像データは全てフレームメモリ１２０８に格納されることが異なる。なお、本説明では基本レイヤに独立復号タイルは存在しないため、基本レイヤの全てのタイルの復号において、ステップＳ１１０６にてステップＳ１１０８が選択される。

ステップＳ１３１０にて、基本レイヤ復号部１００７か拡張レイヤ復号部１２１０は復号済みの階層の階層数と表示制御部９０３が指示する表示する階層数を比較し、表示する階層か否かを判定する。表示する階層に達していればステップＳ１３２１に進み、そうでなければステップＳ１３３０に進む。ここでは、端子１００２から入力される表示制御信号によれば、表示する階層は基本レイヤのみである。したがって、表示する階層に達したと判断し、ステップＳ１３２１に進む。

ステップＳ１３２１にて、セレクタ１２２０は復号された階層の表示を指示された階層の復号画像データを選択する。この場合、最下位の階層は基本レイヤであるので、セレクタ１２２０はフレームメモリ１２０８から復号ざれた復号画像データを読み出し、端子１２１２から図９の表示部９０６に出力される。図９に戻り、表示部９０６は表示制御部９０３から基本レイヤの画像データの表示が指示されている。この指示により基本レイヤの復号画像の全体を表示部９０６は表示する。

続いて、復号対象のレイヤが拡張レイヤの場合について述べる。ユーザが表示制御部９０３からインターフェース９０１から入力されるビットストリームで拡張レイヤの復号と一部の表示を指示した場合の復号について説明する。例として表示する階層は拡張第２階層（階層数は３）として説明を行う。本実施形態では説明を簡単にするために、表示する領域に含まれるタイルを図２のタイル番号５のタイルとタイル番号６のタイルの領域とする。復号動作については基本レイヤのみの復号・表示の場合と同様に、図１３に示したフローチャートに基づいて説明する。また、基本レイヤのみの復号と同じ動作を行う部分は説明を簡略化する。

ステップＳ１１０６にて、基本レイヤ独立復号タイル判定部１００６は復号対象のタイルのタイル番号と独立復号タイル位置情報のタイル番号を比較する。復号対象タイルは基本レイヤでは独立復号タイルではないので、ステップ１１０８に進む。ステップＳ１１０８にて、基本レイヤ復号部１００７は基本レイヤのタイルの復号と復号画像データのフレームメモリ１２０８への格納を行う。ステップＳ１１０９にて、基本レイヤ復号部１００７は分離部１００４から入力された表示部分にかかる基本レイヤの全てのタイルの符号データを復号したか否かを判定する。

ステップＳ１３１０にて、セレクタ１２２０は復号済みの階層の階層数と表示制御部９０３が指示する表示する階層数を比較し、表示する階層か否かを判定する。ここでは、端子１００２から入力される表示制御信号によれば、表示する階層は拡張第２階層である。したがって、セレクタ１２２０は表示する階層に達していないと判断し、分離部１００４に次の階層の符号化データを出力するようにする、その後、ステップＳ１３３０に進む。

ステップＳ１３３０にて、拡張レイヤ復号部１２１０はステップＳ１１０７乃至ステップＳ１１０８で復号された基本レイヤまたは後述するステップＳ１３１５、ステップＳ１３１７、乃至ステップＳ１３１９で復号された階層の拡張レイヤを上位レイヤとする。さらに、続く復号対象の拡張レイヤを下位レイヤとする。最初は上位レイヤ（基本レイヤ）が全て独立復号タイルではないので、ステップＳ１１０８で符号化された基本レイヤを上位レイヤとし、拡張第１階層を下位レイヤとして設定する。

ステップＳ１３１１にて、分離部１００４は端子１００２から入力された表示部分にかかるタイルの位置情報を入力する。本説明ではその表示するタイルの位置はタイル番号５と６である。入力された位置情報から復号対象タイルであるタイル番号５のタイルの下位レイヤ（拡張第１階層）の符号データを抽出する。抽出した符号データを拡張レイヤ復号部１２１０に出力する。また、そのタイル位置情報を基本レイヤ独立復号タイル判定部１００６に入力する。

ステップＳ１３１２にて、拡張レイヤ独立復号タイル判定部１０１６は下位レイヤ（拡張第１階層）の復号対象のタイルのタイル番号と復号対象の下位レイヤ（拡張第１階層）の独立復号タイル位置情報のタイル番号を比較する。タイル番号が一致すればステップＳ１３１３に進む。一致しなければステップＳ１３１８に進む。ここでは下位レイヤ（拡張第１階層）の独立復号タイル位置情報は５である。復号対象のタイルのタイル番号と一致する。したがって、下位レイヤ（拡張第１階層）の復号対象タイルが独立復号タイルセットのタイルであると判定され、ステップＳ１３１３に進む。

ステップＳ１３１３にて、拡張レイヤ独立復号タイル判定部１０１６は下位レイヤ（拡張第１階層）の復号対象のタイルのタイル番号と上位レイヤ（基本レイヤ）の独立復号タイル位置情報のタイル番号を比較する。タイル番号が一致すればステップＳ１３１４に進む。一致しなければステップＳ１３１６に進む。ここでは上位レイヤ（基本レイヤ）の独立復号タイル位置情報はないため、下位レイヤ（拡張第１階層）の独立復号タイル番号とは一致しない。したがって、下位レイヤ（拡張第１階層）の復号対象タイルが独立復号タイルセットのタイルであるが、その上位レイヤ（基本レイヤ）の相対的に等しい位置のタイルが独立復号タイルではないと判定され、ステップＳ１３１６に進む。

ステップＳ１３１６にて、復号対象のタイルは独立復号タイルであるが、基本レイヤの相対的に位置が等しいタイルは独立復号タイルではない。拡大部１２０９はフレームメモリ１２０８に格納されている基本レイヤの再構成画像データから相対的に等しい位置のタイルの復号画像データとその周辺の復号画像データを入力する。拡大部１２０９は入力された独立復号タイルの復号画像データその周辺の復号画像データを用いて、フィルタリング等で拡大を行い、拡大画像データを生成する。拡大画像データは拡張レイヤ復号部１２１０に入力される。

ステップＳ１３１７にて、拡張レイヤ復号部１２１０は分離部１００４から入力された復号対象のタイルの拡張レイヤ符号データを復号する。復号にあっては拡大部１２０９から入力されるステップＳ１３１６で生成された拡大画像データを参照してレイヤ間予測を行う。また、フレームメモリ１２１１に格納された復号済みの下位レイヤ（拡張第１階層）の復号画像データを参照してフレーム間予測を行う。さらに下位レイヤ（拡張第１階層）の復号対象タイルの復号済のブロックの画素データを参照してイントラ予測を行い、復号画像データを再構成する。すなわち、拡張レイヤ復号部１２１０はステップＳ１３１６で生成された上位レイヤ（基本レイヤ）の拡大画像データを参照してレイヤ間予測を行う。また、フレームメモリ１２１１に格納されている下位レイヤ（拡張第１階層）の相対的に等しい位置の下位レイヤ（拡張第１階層）の復号済みの他のフレームの独立復号タイルセット内の復号画像データを参照してフレーム間予測を行う。さらに、下位レイヤ（拡張第１階層）の復号対象タイルのタイル内の復号画像データを参照してイントラ予測を行う。復号のための参照の状態を図２で説明する。フレーム２０６のタイル番号５の復号を行う際に、フレーム２０２の拡大画像データ（フレーム２０４）、復号済みのフレーム２０５のタイル番号５の復号画像データ、フレーム２０６のタイル番号５の復号済み画素を参照して復号を行う。復号された拡張レイヤのタイルの復号画像データはフレームメモリ１０１１に出力され、保持される。

ステップＳ１１２０にて、拡張レイヤ復号部１２１０は分離部１００４から入力された表示部分にかかる下位レイヤ（拡張第１階層）の全てのタイルの符号データを復号したか否かを判定する。ここでは、タイル番号６のタイルの拡張レイヤの符号データの復号が終わっていないため、ステップＳ１３３０に戻り、タイル番号６のタイルの下位レイヤ（拡張第１階層）の符号データの復号を行う。

以下、タイル番号６のタイルの下位レイヤ（拡張第１階層）の符号データの復号について説明する。ステップＳ１３１１にて、タイル番号６のタイルの下位（拡張第１階層）レイヤの符号データを抽出する。ステップＳ１３１２にて、拡張レイヤ独立復号タイル判定部１０１６は下位レイヤ（拡張第１階層）の復号対象のタイルのタイル番号と復号対象の階層の独立復号タイル位置情報のタイル番号を比較する。ここではタイル番号６のタイルは下位レイヤ（拡張第１階層）では独立復号タイルではないため、ステップＳ１３１８に進む。

ステップＳ１３１８にて、入力された上位レイヤ（基本レイヤ）の復号画像データを用いて、拡大画像データを生成する。すなわち、拡大部１２０９はフレームメモリ１２０８から復号画像データを入力して拡大する。具体的には拡大画像データであるフレーム２０４のタイル番号６はフレーム２０２のタイル番号６のタイルの復号画像データ及びその周辺の復号画像データを用いて生成される。

ステップＳ１３１９にて、拡張レイヤ復号部１２１０は分離部１００４から入力された下位レイヤ（拡張第１階層）の復号対象のタイルの拡張レイヤ符号データを復号する。拡大部１００９から入力されるステップＳ１３１８で生成された拡大画像データとフレームメモリ１２１１に格納された復号済みの拡張レイヤの復号画像データと復号対象タイルの復号済の画素データを参照して復号画像データを再構成する。すなわち、拡張レイヤ復号部１２１０はステップＳ１３１８で生成された上位レイヤ（基本レイヤ）の拡大画像データを参照してレイヤ間予測を行う。また、フレームメモリ１０１１に格納されている下位レイヤ（拡張第１階層）の復号画像データを（画像データ全体を対象として）参照してフレーム間予測を行う。さらに、下位レイヤ（拡張第１階層）の復号対象タイルのタイル内の復号画像データを参照してイントラ予測を行う。具体的には、フレーム２０６のタイル番号５のタイルの復号を行う際に、フレーム２０２の拡大画像データ（フレーム２０４）、復号済みのフレーム２０５の復号画像データの全体、フレーム２０６のタイル番号５のタイルの復号済み画素を参照して復号を行う。復号された下位レイヤ（拡張第１階層）のタイルの復号画像データはフレームメモリ１２１１に出力され、保持される。

ステップＳ１１２０にて、拡張レイヤ復号部１２１０は分離部１００４から入力された表示部分にかかる下位レイヤ（拡張第１階層）の全てのタイルの符号データを復号したか否かを判定する。ここでは、下位レイヤ（拡張第１階層）の全タイルの符号データの復号が終わっているため、ステップＳ１３２０に進む。

ステップＳ１３２０にて、拡張レイヤ復号部１２１０はｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号で表される全ての階層について復号が終了したか否かを判定する。全ての階層のタイルデータの復号処理が終わっていなければ、ステップＳ１３１０に戻り、表示の判定を行う。拡張レイヤの全てのタイルの画像データの復号処理が終了していれば、ステップＳ１３２１に進む。ここでは拡張第２階層の復号が終了していないことからステップＳ１３１０に戻る。

ステップＳ１３１０にて、端子１００２から入力される表示制御信号によれば、表示する階層は拡張第２階層である。したがって、拡張レイヤ復号部１２１０は表示する階層に達していないと判断し、ステップＳ１３３０に進む。

ステップＳ１３３０にて、拡張レイヤ復号部１２１０はステップＳ１３１５、ステップＳ１３１７、乃至ステップＳ１３１９で復号された下位レイヤ（拡張第１階層）を上位レイヤとする。さらに、続く復号対象の拡張レイヤ（拡張第２階層）を下位レイヤとする。

ステップＳ１３１１にて、分離部１００４は端子１００２から入力された表示部分にかかるタイルの位置情報を入力する。本説明ではその表示するタイルの位置はタイル番号５と６である。入力された位置情報から復号対象タイルであるタイル番号５のタイルの下位レイヤ（拡張第２階層）の符号データを抽出する。抽出した下位レイヤ（拡張第２階層）のタイル番号５の符号データを拡張レイヤ復号部１２１０に出力する。また、そのタイル位置情報を拡張レイヤ独立復号タイル判定部１０１６に入力する。

ステップＳ１３１２にて、拡張レイヤ独立復号タイル判定部１０１６は下位レイヤ（拡張第２階層）の復号対象のタイルのタイル番号と復号対象の下位レイヤ（拡張第２階層）の独立復号タイル位置情報のタイル番号を比較する。タイル番号が一致すればステップＳ１３１３に進む。一致しなければステップＳ１３１８に進む。ここでは下位レイヤ（拡張第１階層）の独立復号タイル位置情報は５である。復号対象の下位レイヤ（拡張第２階層）のタイルのタイル番号と一致する。したがって、下位レイヤ（拡張第２階層）の復号対象タイルが独立復号タイルセットのタイルであると判定され、ステップＳ１３１４に進む。

ステップＳ１３１３にて、拡張レイヤ独立復号タイル判定部１０１６は下位レイヤ（拡張第２階層）の復号対象のタイルのタイル番号と上位レイヤ（拡張第１階層）の独立復号タイル位置情報のタイル番号を比較する。タイル番号が一致すればステップＳ１３１４に進む。一致しなければステップＳ１３１６に進む。ここでは上位レイヤ（拡張第１階層）の独立復号タイル位置情報は５だけであるが、下位レイヤ（拡張第２階層）の独立復号タイル番号の５とは一致する。したがって、下位レイヤ（拡張第２階層）の復号対象タイルが独立復号タイルセットのタイルであり、その上位レイヤ（拡張第１階層）の相対的に等しい位置のタイルが独立復号タイルであると判定され、ステップＳ１３１４に進む。

ステップＳ１３１４にて、復号対象の下位レイヤ（拡張第２階層）のタイルは独立復号タイルであるが、上位レイヤ（拡張第１階層）の相対的に位置が等しいタイルも独立復号タイルである。拡大部１２０９はフレームメモリ１２１１に格納されている上位レイヤ（拡張第１階層）の再構成画像データから相対的に等しい位置のタイルの復号画像データのみを入力する。拡大部１２０９は入力された独立復号タイルの復号画像データのみを用いて、フィルタリング等で拡大を行い、拡大画像データを生成する。拡大画像データは拡張レイヤ復号部１２１０に入力される。

ステップＳ１３１５にて、拡張レイヤ復号部１２１０は分離部１００４から入力された復号対象の下位レイヤ（拡張第２階層）のタイルの拡張レイヤ符号データを復号する。復号にあたっては、拡大部１２０９から入力されるステップＳ１３１４で生成された拡大画像データを参照してレイヤ間予測を行う。また、フレームメモリ１２１１に格納された復号済みの下位レイヤ（拡張第２階層）のフレームの復号画像データを参照してインター予測を行う。さらに、下位レイヤ（拡張第２階層）の復号対象タイルの復号済のブロックの画素データを参照してイントラ予測を行い、復号画像データを再構成する。すなわち、拡張レイヤ復号部１２１０はステップＳ１３１４で生成された上位レイヤ（拡張第２階層）の拡大画像データを参照してレイヤ間予測を行う。また、フレームメモリ１２１１に格納されている下位レイヤ（拡張第２階層）の相対的に等しい位置の下位レイヤ（拡張第２階層）の独立復号タイルセット内の復号画像データを参照してフレーム間予測を行う。さらに、下位レイヤ（拡張第２階層）の復号対象タイルのタイル内の復号画像データを参照してイントラ予測を行う。復号のための参照の状態を図２で説明する。フレーム２１０のタイル番号５の復号を行う際に、フレーム２０６の拡大画像データ（フレーム２０８）、復号済みのフレーム２０９のタイル番号５の復号画像データ、フレーム２１０のタイル番号５の復号済み画素を参照して復号を行う。復号された拡張レイヤのタイルの復号画像データはフレームメモリ１０１１に出力され、保持される。

ステップＳ１１２０にて、拡張レイヤ復号部１２１０は分離部１００４から入力された表示部分にかかる下位レイヤ（拡張第２階層）の全てのタイルの符号データを復号したか否かを判定する。ここでは、タイル番号６のタイルの拡張レイヤの符号データの復号が終わっていないため、ステップＳ１３１１に戻り、タイル番号６のタイルの下位レイヤ（拡張第２階層）の符号データの復号を行う。

ステップＳ１３１１にて、タイル番号６のタイルの下位（拡張第２階層）レイヤの符号データを抽出する。ステップＳ１３１２にて、拡張レイヤ独立復号タイル判定部１０１６は下位レイヤ（拡張第２階層）の復号対象のタイルのタイル番号と復号対象の階層の独立復号タイル位置情報のタイル番号を比較する。ここではタイル番号６のタイルは下位レイヤ（拡張第２階層）では独立復号タイルであるため、ステップＳ１３１３に進む。

ステップＳ１３１３にて、拡張レイヤ独立復号タイル判定部１０１６は下位レイヤ（拡張第２階層）の復号対象のタイルのタイル番号と上位レイヤ（拡張第１階層）の独立復号タイル位置情報のタイル番号を比較する。タイル番号が一致すればステップＳ１３１４に進む。一致しなければステップＳ１３１６に進む。ここでは上位レイヤ（拡張第１階層）の独立復号タイル位置情報は５だけであり、下位レイヤ（拡張第２階層）の独立復号タイル番号の６とは一致しない。したがって、下位レイヤ（拡張第２階層）の復号対象タイルが独立復号タイルセットのタイルであるが、その上位レイヤ（拡張第１階層）の相対的に等しい位置のタイルが独立復号タイルではないと判定され、ステップＳ１３１６に進む。

ステップＳ１３１６にて、下位レイヤ（拡張第２階層）復号対象のタイルは独立復号タイルであるが、上位レイヤ（拡張第１階層）の相対的に位置が等しいタイルは独立復号タイルではない。拡大部１２０９はフレームメモリ１２１１に格納されている上位レイヤ（拡張第１階層）の再構成画像データから相対的に等しい位置のタイルの復号画像データとその周辺の復号画像データを入力する。拡大部１２０９は入力された独立復号タイルの復号画像データその周辺の復号画像データを用いて、フィルタリング等で拡大を行い、拡大画像データを生成する。拡大画像データは拡張レイヤ復号部１２１０に入力される。

ステップＳ１３１７にて、拡張レイヤ復号部１２１０は分離部１００４から入力された復号対象のタイルの下位レイヤ（拡張第２階層）の拡張レイヤ符号データを復号する。拡大部１２０９から入力されるステップＳ１３１６で生成された上位レイヤ（拡張第１階層）の拡大画像データを参照してレイヤ間予測を行う。フレームメモリ１２１１に格納された復号済みの下位レイヤ（拡張第２階層）のフレームの復号画像データを参照してインター予測を行う。下位レイヤ（拡張第２階層）の復号対象タイルの復号済のブロックの画素データを参照して復号画像データを再構成する。すなわち、拡張レイヤ復号部１２１０はステップＳ１３１６で生成された上位レイヤ（拡張第１階層）の拡大画像データを参照してレイヤ間予測を行う。また、フレームメモリ１２１１に格納されている下位レイヤ（拡張第２階層）の相対的に等しい位置の下位レイヤ（拡張第２階層）の独立復号タイルセット内の復号画像データを参照してフレーム間予測を行う。さらに、下位レイヤ（拡張第２階層）の復号対象タイルのタイル内の復号画像データを参照してイントラ予測を行う。復号のための参照の状態を図２で説明する。フレーム２１０のタイル番号６の復号を行う際に、フレーム２０６の拡大画像データ（フレーム２０８）、復号済みのフレーム２０９のタイル番号６の復号画像データ、フレーム２１０のタイル番号６の復号済み画素を参照して復号を行う。復号された拡張レイヤのタイルの復号画像データはフレームメモリ１２１１に出力され、保持される。

ステップＳ１１２０にて、拡張レイヤ復号部１２１０は分離部１００４から入力された表示部分にかかる下位レイヤ（拡張第２階層）の全てのタイルの符号データを復号したか否かを判定する。ここでは、下位レイヤ（拡張第２階層）の全タイルの符号データの復号が終わっているため、ステップＳ１３２０に進む。

ステップＳ１３２０にて、拡張レイヤ復号部１２１０はｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号で表される全ての階層について復号が終了したか否かを判定する。全ての階層のタイルデータの復号処理が終わっているので、ステップＳ１３２１に進む。

ステップＳ１３２１にて、セレクタ１２２０は表示を指示された階層の復号された復号画像データを選択する。この場合、最下位の階層は拡張第２階層であるので、セレクタ１２２０はフレームメモリ１２１１から復号ざれた拡張第２階層の復号画像データを読み出し、端子１２１２から図９の表示部９０６に出力される。図９に戻り、表示部９０６は表示制御部９０３から拡張レイヤの画像データでタイル番号５のタイルとタイル番号６のタイルの表示が指示されている。この指示により基本レイヤの復号画像の全体を表示部９０６は表示する。

なお、表示対象のタイルが独立復号タイルではない場合、ステップＳ１１０６にてステップＳ１１０８に進むことになり、ステップＳ１３１２にてステップＳ１３１８に進むことになる。ステップＳ１１０８の説明は上述の通りであるので説明を省略する。

ステップＳ１３１８にて、入力された上位レイヤの復号画像データを用いて、拡大画像データを生成する。すなわち、拡大部１２０９はフレームメモリ１２０８乃至はフレームメモリ１２１１から復号画像データを入力して拡大する。

ステップＳ１３１９にて、拡張レイヤ復号部１２１０は分離部１００４から入力された下位レイヤの復号対象のタイルの拡張レイヤ符号データを復号する。拡大部１００９から入力されるステップＳ１３１８で生成された拡大画像データとフレームメモリ１２１１に格納された復号済みの拡張レイヤの復号画像データと復号対象タイルの復号済の画素データを参照して復号画像データを再構成する。すなわち、拡張レイヤ復号部１２１０はステップＳ１３１８で生成された上位レイヤの拡大画像データを参照してレイヤ間予測を行う。また、フレームメモリ１２１１に格納されている下位レイヤの復号画像データを（画像データ全体を対象として）参照してフレーム間予測を行う。さらに、下位レイヤの復号対象タイルのタイル内の復号画像データを参照してイントラ予測を行う。具体的には、フレーム２０６のタイル番号５のタイルの復号を行う際に、フレーム２０２の拡大画像データ（フレーム２０４）、復号済みのフレーム２０５の復号画像データの全体、フレーム２０６のタイル番号５のタイルの復号済み画素を参照して復号を行う。復号された下位レイヤ（拡張第１階層）のタイルの復号画像データはフレームメモリ１２１１に出力され、保持される。

なお、表示する階層は拡張第２階層（階層数は３）として説明を行ったが、表示する階層を拡張第１階層（階層数は２）とした場合、拡張第１階層の復号が終了した時点でステップＳ１３１０にてステップＳ１３２１に進む。このため、拡張第２階層の復号は行われない。

以上の構成により図１０の画像復号装置の効果に加えＭＣＴＳＳ ＳＥＩがビットストリームに存在する場合、タイル位置一致情報であるｖｕｉ＿ｐａｒａｍｅｔｅｒｓのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号は１にセットされる。したがって、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓにおいて、ＭＣＴＳ ＳＥＩがビットストリームに存在する場合、符号データとしてのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を省略されるが復号側でこの値を必ず１にすることができる。もし、ＭＣＴＳＳ ＳＥＩが無ければ、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を復号し、後段の復号で参照される。このようにすることで、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号が無くても同様に復号することが可能になる。

また、復号するＭＣＴＳＳ ＳＥＩ符号データについては、図４（ａ）の構成に限定されない。例えば図４（ｂ）に示す構成の符号データを復号することも可能である。ヘッダ復号部１００５はｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号を復号し、実施形態１で設定された２を復号する。すなわち、階層数が３となる。変数ｋの値が０は基本レイヤを、１は拡張第１階層を、２は拡張第２階層を表す。最初にｌｏｗｅｓｔ＿ｌａｙｅｒ＿ＭＣＴＳＳ符号を復号し、値１を得る。したがって、続くループはｋ＝１からとなる。ｋ＝１にて、拡張レイヤ（拡張第１階層）の独立復号タイルの情報が復号される。ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１［１］符号を復号し値０を得る。したがって、拡張第１階層には独立復号タイルセットが１つ存在することになる。続いて、ｍｃｔｓ＿ｉｄ［１］［０］符号を復号し、含まれる独立復号タイルセットのＩＤが０であることを得る。さらに、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［１］符号を復号し、独立復号タイルセットに属する独立復号タイルの矩形領域の塊が１つであることを得る。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号を復号し、値は５を得る。すなわち、拡張第１階層には独立復号タイルセットが１つ存在し、そのタイル番号は５であることが得られる。続いて、ｋ＝２にて、拡張レイヤ（拡張第２階層）の独立復号タイルの情報が復号される。ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１［２］符号を復号し値１を得る。したがって、拡張第２階層には独立復号タイルセットが２つ存在することになる。続いて、ｍｃｔｓ＿ｉｄ［２］［０］符号を復号し、含まれる第１の独立復号タイルセットのＩＤが０であることを得る。さらに、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［２］［０］符号を復号し、第１の独立復号タイルセットに属する独立復号タイルの矩形領域の塊が１つであることを得る。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［０］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［０］［０］符号を復号し、値は５を得る。さらに、ｍｃｔｓ＿ｉｄ［２］［１］符号を復号し、含まれる第１の独立復号タイルセットのＩＤが１であることを得る。さらに、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［２］［１］符号を復号し、第２の独立復号タイルセットに属する独立復号タイルの矩形領域の塊が１つであることを得る。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［１］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［１］［０］符号を復号し、値は６を得る。すなわち、拡張第１階層には独立復号タイルセットが２つ存在し、タイル番号は５のタイルを含む独立復号タイルセットとタイル番号は６のタイルを含む独立復号タイルセットとであることが得られる。

このように構成されたＭＣＴＳＳ ＳＥＩ符号データを復号することで、図４（ａ）の符号の復号に比べ、独立復号タイルの無い階層に関して符号を入力しないことで、復号処理のコストが改善される。

また、図６（ａ）に示す構成の符号データを復号することも可能である。すなわち、各レイヤでｍｏｔｉｏｎ−ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓ＿ｓｃａｌａｂｉｌｉｔｙ（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）によって個別に各階層で設定された符号データを復号することができる。実施形態１で説明したように、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは依存関係を有した階層を表す。図６（ａ）において、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ符号を別途復号する。ｎｕｈ＿ｌａｙｅｒ＿ｉｄ符号に該当する階層の復号を行う。本実施形態では前述の図４（ｂ）と同様に３階層からなるとする。すなわち、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ符号の値が０は基本レイヤを、１は拡張第１階層を、２は拡張第２階層を表す。最初にｎｕｈ＿ｌａｙｅｒ＿ｉｄ＝０にて、基本レイヤの独立復号タイルの情報が復号される。ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［０］符号を復号し、値０を得る。この値０は含まれる独立復号タイルセットが基本レイヤには存在しないことを表す。したがって、基本レイヤについては続く符号は存在しない。

ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＝１にて、拡張レイヤ（拡張第１階層）の独立復号タイルの情報が復号される。ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［１］符号を復号し、値１を得る。この値１は含まれる独立復号タイルセットが拡張第１階層には１つ存在することを表す。ｍｃｔｓ＿ｉｄ［１］［０］符号を復号し、値０を得る。すなわち、含まれる独立復号タイルセットのＩＤが０であることを得る。ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［１］［０］符号を復号し、値０を得る。したがって、拡張第１階層には独立復号タイルセットが１つ存在することになる。続いて、ｍｃｔｓ＿ｉｄ［１］［０］符号を復号し、含まれる独立復号タイルセットのＩＤが０であることを得る。さらに、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［１］符号を復号し、独立復号タイルセットに属する独立復号タイルの矩形領域の塊が１つであることを得る。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号を復号し、値は５を得る。すなわち、拡張第１階層には独立復号タイルセットが１つ存在し、そのタイル番号は５であることが得られる。

ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＝２にて、拡張レイヤ（拡張第２階層）の独立復号タイルの情報が復号される。ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ［２］符号を復号し、値２を得る。この値２は含まれる独立復号タイルセットが拡張第２階層には２つ存在することを表す。ｍｃｔｓ＿ｉｄ［２］［０］符号を復号し、値０を得る。すなわち、含まれる第１の独立復号タイルセットのＩＤが０であることを得る。ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［１］［０］符号を復号し、値０を得る。したがって、拡張第２階層の第１の独立復号タイルセットには独立復号タイルの矩形領域の塊が１つ存在することになる。続いて、ｍｃｔｓ＿ｉｄ［２］［０］符号を復号し、含まれる独立復号タイルセットのＩＤが０であることを得る。さらに、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［２］［０］符号を復号し、独立復号タイルセットに属する独立復号タイルの矩形領域の塊が１つであることを得る。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］［０］符号を復号し、値は５を得る。すなわち、拡張第２階層には独立復号タイルセットが２つ存在し、そのタイル番号は５であることが得られる。さらに、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［２］［１］符号を復号し、第２の独立復号タイルセットに属する独立復号タイルの矩形領域の塊が１つであることを得る。ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［１］［０］符号とｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［２］［１］［０］符号を復号し、値は６を得る。すなわち、拡張第１階層には独立復号タイルセットが２つ存在し、タイル番号は５のタイルを含む独立復号タイルセットとタイル番号は６のタイルを含む独立復号タイルセットとであることが得られる。

このように構成されたＭＣＴＳＳ ＳＥＩ符号データがそれぞれの階層の符号データに対応して、各階層の独立復号タイル位置情報を符号化されていることで、レイヤ単位の復号が容易になる。例えば復号の必要のない階層の独立復号タイル位置情報の復号を行なう必要が無く、復号処理のコストを下げる効果がある。

さらに、図６（ｂ）に示す構成の符号データを復号することも可能である。すなわち、ｍｏｔｉｏｎ−ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓ＿ｓｃａｌａｂｉｌｉｔｙ（ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）によって個別に各階層で設定することができる。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号は階層数を表すものであり、０であれば、基本レイヤのみが存在することを示す。図６（ｂ）において、最初にｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０であるか否かを判定する。０であれば、階層符号化されていないので、３行目から１２行目までで通常のＭＣＴＳ ＳＥＩの符号を復号できる。また、０以外であれば、階層符号化されているので、１５行目から２６行目までで図４（ａ）のＭＣＴＳＳ ＳＥＩと同じ符号で構成されているので、上述の復号によって、独立復号タイルの情報を取得できる。

＜実施形態３＞
図１、図５、図１０、図１２に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。

図１４は、上記各実施形態に係る画像符号化装置及び画像復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１４０１は、ＲＡＭ１４０２やＲＯＭ１４０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像符号化装置及び画像復号装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１４０１は、図１、図５、図１０、図１２に示した各処理部として機能することになる。

ＲＡＭ１４０２は、外部記憶装置１４０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１４０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１４０２は、ＣＰＵ１４０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１４０２は、例えば、フレームメモリとして割当てるほか、その他の各種のエリアを適宜提供することができる。

ＲＯＭ１４０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１４０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１４０１に対して入力することができる。表示部１４０５は、ＣＰＵ１４０１による処理結果を表示する。また表示部１４０５は例えば液晶ディスプレイで構成される。

外部記憶装置１４０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１４０６には、ＯＳ（オペレーティングシステム）や、図１、図７に示した各部の機能をＣＰＵ１４０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１４０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置１４０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１４０１による制御に従って適宜、ＲＡＭ１４０２にロードされ、ＣＰＵ１４０１による処理対象となる。Ｉ／Ｆ１４０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１４０７を介して様々な情報を取得したり、送出したりすることができる。１４０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１４０１が中心となってその制御を行う。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (25)

1. 動画像を構成する画像を複数の階層で階層符号化する画像符号化装置であって、
   前記画像の第１の階層に対応する第１の画像と、
   当該第１の階層と異なる第２の階層に対応する第２の画像であって、前記第１の画像を参照して符号化される第２の画像と、
   前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって、前記第２の画像を参照して符号化される第３の画像と
   のうち少なくともいずれかを取得する第１の取得手段と、
   前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかを符号化する符号化手段と、
   前記第１の画像、前記第２の画像、及び前記第３の画像のうち少なくともいずれかの画像の少なくとも一部が、特定の領域のみを参照して符号化されるか否かを判定する判定手段と
   を有し、
   前記判定手段によって、前記第２の画像の所定の領域が前記特定の領域のみを参照して符号化されると判定した場合に、
   前記符号化手段は、
   前記第２の画像の所定の領域以外を参照せずに、前記第２の画像の所定の領域を参照して、前記第３の画像の、前記第２の画像の所定の領域に対応する領域を符号化し、
   前記第１の画像における前記第２の画像の所定の領域と対応する領域及び／又は前記第２の画像の所定の領域と対応する領域以外の領域を、前記特定の領域として参照して、前記第２の画像の所定の領域を符号化する
   ことを特徴とする画像符号化装置。
2. 動画像を構成する画像を複数の階層で階層符号化する画像符号化装置であって、
   前記画像の第１の階層に対応する第１の画像と、
   当該第１の階層と異なる第２の階層に対応する第２の画像であって前記第１の画像を参照して符号化される第２の画像と、
   前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって前記第２の画像を参照して符号化される第３の画像と
   のうち少なくともいずれかを取得する第１の取得手段と、
   前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかを符号化する符号化手段と、
   を有し、
   前記符号化手段は、
   前記第２の画像内の所定の領域を、前記第１の画像内の、前記第２の画像内の所定の領域と対応する領域及び／又は前記第２の画像の所定の領域と対応する領域以外の領域を参照して符号化し、
   前記第３の画像内の、前記第２の画像内の所定の領域に対応する領域を、前記第２の画像内の所定の領域以外の領域を参照せずに、前記第２の画像内の所定の領域を参照して符号化し、
   さらに、前記複数の階層のうち少なくともいずれか一つの画像内に、画像内の他の領域を参照せずに符号化される独立領域が含まれるか否かを判定する判定手段と、
   前記複数の階層のうち前記独立領域が存在する最も解像度又は画質の低い階層を表す情報を符号化する第２の符号化手段と
   を有することを特徴とする画像符号化装置。
3. 前記第２の階層に対応する前記第２の画像は、前記第１の階層に対応する前記第１の画像より解像度又は画質の高い画像であり、
   前記符号化手段は、前記２の階層を符号化対象の階層とし、前記第２の画像を符号化対象の画像として符号化する場合に、前記第１の階層を参照対象の階層とし、前記第１の画像を参照対象の画像として用い、
   前記第３の階層に対応する前記第３の画像は、前記第２の階層に対応する前記第２の画像より解像度又は画質の高い画像であり、
   前記符号化手段は、前記３の階層を符号化対象の階層とし、前記第３の画像を符号化対象の画像として符号化する場合に、前記第２の階層を参照対象の階層とし、前記第２の画像を参照対象の画像として用いる
   ことを特徴とする請求項１又は２に記載の画像符号化装置。
4. 符号化対象の画像内に、画像内の他の領域を参照せずに符号化される独立領域が存在する場合に、前記符号化対象の画像における当該独立領域に対応する位置を示す情報を符号化した符号化データを出力する出力手段
   を有することを特徴とする請求項１〜３のいずれか１項に記載の画像符号化装置。
5. 符号化対象の画像内に、画像内の他の領域を参照せずに符号化される独立領域が存在する場合に、前記符号化対象の画像内に当該独立領域が存在することを示すフラグと、前記符号化対象の画像における前記独立領域に対応する位置に関する情報とのうち少なくともいずれか一つを取得する第２の取得手段
   を有し、
   前記第２の取得手段は、シーケンス単位で前記フラグを生成する
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像符号化装置。
6. 前記符号化手段によって生成される符号化データを用いて復号画像を再生する局所復号手段と、
   前記局所復号手段によって再生された前記復号画像の拡大を行う拡大手段と、
   を有し、
   前記拡大手段は、前記局所復号手段によって再生された前記復号画像のうち、符号化対象の画像の階層より空間解像度の低い階層の画像内の領域であって、前記符号化対象の画像における前記独立領域と相対的に等しい位置の領域のみを拡大する
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像符号化装置。
7. 前記第１の取得手段は、前記画像から互いに空間解像度の異なる前記第１の画像と前記第２の画像とを取得する手段であって、前記第２の画像を縮小した前記第１の画像を取得する
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像符号化装置。
8. 動画像を構成する画像を複数の階層で階層符号化された符号化データを復号する画像復号装置であって、
   前記画像の第１の階層に対応する第１の画像と、
   当該第１の階層と異なる第２の階層に対応する第２の画像であって、前記第１の画像を参照して復号される第２の画像と、
   前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって、前記第２の画像を参照して復号される第３の画像と
   のうち少なくともいずれかに対応する符号化データを取得する第１の取得手段と、
   前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかに対応する符号化データを復号する復号手段と、
   前記第１の画像、前記第２の画像、及び前記第３の画像のうち少なくともいずれかの画像に対応する符号化データが、特定の領域のみを参照して復号されるか否かを判定する判定手段と
   を有し、
   前記判定手段によって、前記第２の画像の所定の領域に対応する符号化データが前記特定の領域のみを参照して復号されると判定された場合に、
   前記復号手段は、
   前記第２の画像の所定の領域以外を参照せずに、前記第２の画像の所定の領域を参照して、前記第３の画像の、前記第２の画像の所定の領域に対応する領域の符号化データを復号し、
   前記第１の画像における前記第２の画像の所定の領域と対応する領域及び／又は前記第２の画像の所定の領域と対応する領域以外の領域を、前記特定の領域として参照して、前記第２の画像の所定の領域の符号化データを復号する
   ことを特徴とする画像復号装置。
9. 動画像を構成する画像を複数の階層で階層符号化された符号化データを復号する画像復号装置であって、
   前記画像の第１の階層に対応する第１の画像と、
   当該第１の階層と異なる第２の階層に対応する第２の画像であって、前記第１の画像を参照して復号される第２の画像と、
   前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって、前記第２の画像を参照して復号される第３の画像と
   のうち少なくともいずれかに対応する符号化データを取得する第１の取得手段と、
   前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかに対応する符号化データを復号する復号手段と、
   前記複数の階層のうち少なくともいずれか一つの画像内に、画像内の他の領域を参照せずに復号される独立領域が含まれているか否かに関する情報と、前記複数の階層のうち復号対象の階層に関する情報と、当該復号対象の階層の画像のうち復号対象の領域に関する情報とに基づいて、前記復号対象の領域が前記独立領域に含まれるか否かを判定する判定手段
   を有し、
   前記復号手段は、
   前記判定手段によって前記復号対象の領域が前記独立領域に含まれると判定された場合に、前記復号対象の階層を復号するための参照対象の階層の画像における前記復号対象の領域に対応する位置に前記独立領域が設定されているか否かに基づいて、前記参照対象の階層の画像における参照対象の領域を決定し、
   決定された前記参照対象の領域を用いて前記第１の取得手段によって取得された符号化データを復号する
   ことを特徴とする画像復号装置。
10. 前記判定手段によって前記復号対象の領域が前記独立領域に含まれると判定された場合に、前記参照対象の階層における前記復号対象の領域に対応する位置に前記独立領域が設定されているか否かに基づいて、前記参照対象の階層の画像のうち前記参照対象の領域を決定する決定手段
    を有し、
    前記復号手段は、前記決定手段によって決定された前記参照対象の領域を用いて、前記第１の取得手段よって取得された符号化データを復号する
    ことを特徴とする請求項９に記載の画像復号装置。
11. 前記判定手段によって前記復号対象の領域が前記独立領域に含まれると判定された場合に、前記参照対象の階層の画像の、前記復号対象の領域に対応する位置に、前記独立領域が設定されているか否かを判定する第２の判定手段
    を有し、
    前記決定手段は、前記第２の判定手段によって前記位置に前記独立領域が設定されていると判定された場合の参照領域の範囲よりも、前記第２の判定手段によって前記位置に前記独立領域が設定されていないと判定された場合の参照領域の範囲の方が大きくなるように、前記参照対象の領域を決定する
    ことを特徴とする請求項９に記載の画像復号装置。
12. 前記決定手段は、前記第２の判定手段によって前記位置に前記独立領域が設定されていると判定された場合に前記参照領域を前記参照対象の階層の画像における前記復号対象の領域に対応する範囲に決定し、前記第２の判定手段によって前記位置に前記独立領域が設定されていないと判定された場合に前記参照領域を前記参照対象の階層の画像に対応する画像の全範囲に決定する
    ことを特徴とする請求項１１に記載の画像復号装置。
13. 動画像を構成する画像を複数の階層で階層符号化された符号化データを復号する画像復号装置であって、
    前記画像の第１の階層に対応する第１の画像と、
    当該第１の階層と異なる第２の階層に対応する第２の画像であって、前記第１の画像を参照して復号される第２の画像と、
    前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって、前記第２の画像を参照して復号される第３の画像と
    のうち少なくともいずれかに対応する符号化データを取得する第１の取得手段と、
    前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかに対応する符号化データを復号する復号手段と、
    前記複数の階層のうち、画像内の他の領域を参照せずに復号される独立領域が存在する最も解像度又は画質の低い階層を表す情報を復号する第２の復号手段と
    を有することを特徴とする画像復号装置。
14. 前記第２の階層に対応する前記第２の画像は、前記第１の階層に対応する前記第１の画像より解像度又は画質の高い画像であり、
    前記復号手段は、前記２の階層の符号化データを復号対象の階層の符号化データとし、前記第２の画像の符号化データを復号対象の画像の符号化データとして復号する場合に、前記第１の階層を参照対象の階層とし、前記第１の画像を参照対象の画像として用い、
    前記第３の階層に対応する前記第３の画像は、前記第２の階層に対応する前記第２の画像より解像度又は画質の高い画像であり、
    前記復号手段は、前記３の階層の符号化データを復号対象の階層の符号化データとし、前記第３の画像の符号化データを復号対象の画像の符号化データとして復号する場合に、前記第２の階層を参照対象の階層とし、前記第２の画像を参照対象の画像として用いる
    ことを特徴とする請求項８〜１３のいずれか１項に記載の画像復号装置。
15. 前記複数の階層のうち少なくともいずれか一つの画像内に、画像内の他の領域を参照せずに復号される独立領域が含まれるか否かを判定する判定手段
    を有することを特徴とする請求項８〜１２のいずれか１項に記載の画像復号装置。
16. 復号対象の画像内に、画像内の他の領域を参照せずに復号される独立領域が存在する場合に、前記復号対象の画像内に当該独立領域が存在することを示すフラグと、前記復号対象の画像における前記独立領域に対応する位置に関する情報とのうち少なくともいずれか一つを取得する第２の取得手段
    を有することを特徴とする請求項８〜１５のいずれか１項に記載の画像復号装置。
17. 前記復号手段によって復号された復号画像を拡大する拡大手段と、前記拡大手段は、前記復号手段によって復号された前記復号画像のうち、復号対象の画像の階層より空間解像度の低い階層の画像内の領域であって、前記復号対象の画像における前記独立領域と相対的に等しい位置の領域のみを拡大する
    ことを特徴とする請求項８〜１６のいずれか１項に記載の画像復号装置。
18. 前記第１の画像と前記第２の画像とは互いに空間解像度の異なる画像であって、前記第１の画像は前記第２の画像を縮小した画像である
    ことを特徴とする請求項８〜１７のいずれか１項に記載の画像復号装置。
19. 動画像を構成する画像を複数の階層で階層符号化する画像符号化方法であって、
    前記画像の第１の階層に対応する第１の画像と、
    当該第１の階層と異なる第２の階層に対応する第２の画像であって、前記第１の画像を参照して符号化される第２の画像と、
    前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって、前記第２の画像を参照して符号化される第３の画像と
    のうち少なくともいずれかを取得する第１の取得工程と、
    前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかを符号化する符号化工程と、
    前記第１の画像、前記第２の画像、及び前記第３の画像のうち少なくともいずれかの画像の少なくとも一部が、特定の領域のみを参照して符号化されるか否かを判定する判定工程と
    を有し、
    前記判定工程において、前記第２の画像の所定の領域が前記特定の領域のみを参照して符号化されると判定した場合に、
    前記符号化工程において、
    前記第２の画像の所定の領域以外を参照せずに、前記第２の画像の所定の領域を参照して、前記第３の画像の、前記第２の画像の所定の領域に対応する領域を符号化し、
    前記第１の画像における前記第２の画像の所定の領域と対応する領域及び／又は前記第２の画像の所定の領域と対応する領域以外の領域を、前記特定の領域として参照して、前記第２の画像の所定の領域を符号化する
    ことを特徴とする画像符号化方法。
20. 動画像を構成する画像を複数の階層で階層符号化する画像符号化方法であって、
    前記画像の第１の階層に対応する第１の画像と、
    当該第１の階層と異なる第２の階層に対応する第２の画像であって前記第１の画像を参照して符号化される第２の画像と、
    前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって前記第２の画像を参照して符号化される第３の画像と
    のうち少なくともいずれかを取得する第１の取得工程と、
    前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかを符号化する符号化工程と、
    を有し、
    前記符号化工程において、
    前記第２の画像内の所定の領域を、前記第１の画像内の、前記第２の画像内の所定の領域と対応する領域及び／又は前記第２の画像の所定の領域と対応する領域以外の領域を参照して符号化し、
    前記第３の画像内の、前記第２の画像内の所定の領域に対応する領域を、前記第２の画像内の所定の領域以外の領域を参照せずに、前記第２の画像内の所定の領域を参照して符号化し、
    さらに、前記複数の階層のうち少なくともいずれか一つの画像内に、画像内の他の領域を参照せずに符号化される独立領域が含まれるか否かを判定する判定工程と、
    前記複数の階層のうち前記独立領域が存在する最も解像度又は画質の低い階層を表す情報を符号化する第２の符号化工程と
    を有することを特徴とする画像符号化方法。
21. 動画像を構成する画像を複数の階層で階層符号化された符号化データを復号する画像復号方法であって、
    前記画像の第１の階層に対応する第１の画像と、
    当該第１の階層と異なる第２の階層に対応する第２の画像であって、前記第１の画像を参照して復号される第２の画像と、
    前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって、前記第２の画像を参照して復号される第３の画像と
    のうち少なくともいずれかに対応する符号化データを取得する第１の取得工程と、
    前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかに対応する符号化データを復号する復号工程と、
    前記第１の画像、前記第２の画像、及び前記第３の画像のうち少なくともいずれかの画像に対応する符号化データが、特定の領域のみを参照して復号されるか否かを判定する判定工程と
    を有し、
    前記判定工程において、前記第２の画像の所定の領域に対応する符号化データが前記特定の領域のみを参照して復号されると判定された場合に、
    前記復号工程において、
    前記第２の画像の所定の領域以外を参照せずに、前記第２の画像の所定の領域を参照して、前記第３の画像の、前記第２の画像の所定の領域に対応する領域の符号化データを復号し、
    前記第１の画像における前記第２の画像の所定の領域と対応する領域及び／又は前記第２の画像の所定の領域と対応する領域以外の領域を、前記特定の領域として参照して、前記第２の画像の所定の領域の符号化データを復号する
    ことを特徴とする画像復号方法。
22. 動画像を構成する画像を複数の階層で階層符号化された符号化データを復号する画像復号方法であって、
    前記画像の第１の階層に対応する第１の画像と、
    当該第１の階層と異なる第２の階層に対応する第２の画像であって、前記第１の画像を参照して復号される第２の画像と、
    前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって、前記第２の画像を参照して復号される第３の画像と
    のうち少なくともいずれかに対応する符号化データを取得する第１の取得工程と、
    前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかに対応する符号化データを復号する復号工程と、
    前記複数の階層のうち少なくともいずれか一つの画像内に、画像内の他の領域を参照せずに復号される独立領域が含まれているか否かに関する情報と、前記複数の階層のうち復号対象の階層に関する情報と、当該復号対象の階層の画像のうち復号対象の領域に関する情報とに基づいて、前記復号対象の領域が前記独立領域に含まれるか否かを判定する判定工程
    を有し、
    前記復号工程において、
    前記判定工程において前記復号対象の領域が前記独立領域に含まれると判定された場合に、前記復号対象の階層を復号するための参照対象の階層の画像における前記復号対象の領域に対応する位置に前記独立領域が設定されているか否かに基づいて、前記参照対象の階層の画像における参照対象の領域を決定し、
    決定された前記参照対象の領域を用いて前記第１の取得工程において取得された符号化データを復号する
    ことを特徴とする画像復号方法。
23. 動画像を構成する画像を複数の階層で階層符号化された符号化データを復号する画像復号方法であって、
    前記画像の第１の階層に対応する第１の画像と、
    当該第１の階層と異なる第２の階層に対応する第２の画像であって、前記第１の画像を参照して復号される第２の画像と、
    前記第１及び第２の階層と異なる第３の階層に対応する第３の画像であって、前記第２の画像を参照して復号される第３の画像と
    のうち少なくともいずれかに対応する符号化データを取得する第１の取得工程と、
    前記第１の画像、前記第２の画像、及び前記第３の画像のうちの少なくともいずれかに対応する符号化データを復号する復号工程と、
    前記複数の階層のうち、画像内の他の領域を参照せずに復号される独立領域が存在する最も解像度又は画質の低い階層を表す情報を復号する第２の復号工程と
    を有することを特徴とする画像復号方法。
24. 請求項１〜７のいずれか１項に記載の画像符号化装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
25. 請求項８〜１８のいずれか１項に記載の画像復号装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images