JP6834039B2 - 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、及び、プログラム - Google Patents

Description

本発明は空間解像度や画質が異なるレイヤの符号化及び復号に関する。特に動画像において、画像を複数の領域に分割し、分割した領域ごとに符号化及び復号を行う画像符号化及び復号技術に関する。

動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）が知らされている。

近年、Ｈ．２６４の後継として、さらに高効率な符号化方式の国際標準化を行う活動が開始され、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。このＪＣＴ−ＶＣでは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式（以下、ＨＥＶＣ）の標準化が進められている（非特許文献１）。

ＨＥＶＣでは、画像を矩形領域（タイル）に分割し、各領域を独立に符号化及び復号する、タイル分割方式という技術が採用されている。さらに、タイル分割方式において、１つ以上のタイルからなるＭｏｔｉｏｎ Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔｓ（以下、ＭＣＴＳ）を用いて、当該ＭＣＴＳを、他のタイルに依存せずに独立に符号化及び復号することが提案された（非特許文献２）。そして、非特許文献２に記載の提案では、シーケンス単位でＭＣＴＳを設定可能であることが定義されている。即ち、同一のシーケンスであれば、各フレームにおけるＭＣＴＳの位置は相対的に等しい。そして、上記の提案では、処理対象のフレーム内のＭＣＴＳを符号化及び復号する場合に、他のフレーム内にある、当該ＭＣＴＳと相対的に等しい位置の画素群をフレーム間予測の対象とする。即ち、当該画素群以外の画素を動きベクトル探索において参照する参照画素としない。これにより、ＭＣＴＳにおける符号化及び復号の独立性を確保することができる。尚、画像におけるＭＣＴＳに含まれるタイルの位置は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージに含めて符号化される。

一方で、ＨＥＶＣの標準化においては、階層符号化への拡張も検討されている。階層符号化では、基本レイヤと拡張レイヤにおいて符号化対象のタイルをそれぞれ符号化する。そして、各レイヤで符号化されたタイルを多重化してビットストリームを生成する。上記のような階層符号化では、基本レイヤのタイルの境界位置と拡張レイヤのタイルの境界位置とは独立に設定することが可能である。そして、拡張レイヤの符号化対象のタイルを符号化する場合に、基本レイヤの対応するタイルを参照する必要があるため、基本レイヤにおける当該タイルの位置を特定する必要がある。そこで、拡張レイヤのＶＵＩ（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）パラメータ（ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ）としてｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を用いること提案されている（非特許文献３）。当該符号は、各レイヤ間でタイルの相対的な位置が一致しているか否かを表す、一致情報を符号化したものである。当該符号が１の場合、拡張レイヤのタイルの境界の位置が基本レイヤの対応するタイルの境界の位置と一致することを保証する。これにより、拡張レイヤのタイルの符号化及び復号において呼び出される基本レイヤのタイルの位置が特定できるため、拡張レイヤのタイルを独立に符号化及び復号することができ、高速な符号化及び復号を可能にする。尚、基本レイヤが最も上位のレイヤとなり、続く拡張レイヤが順に下位のレイヤとなる。

ＩＴＵ−Ｔ Ｈ．２６５（０４／２０１３） Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｍ０２３５ インターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１３＿Ｉｎｃｈｅｏｎ／ｗｇ１１／＞ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｍ０２０２ インターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１３＿Ｉｎｃｈｅｏｎ／ｗｇ１１／＞

しかしながら、上記の非特許文献２に記載のＭＣＴＳでは、階層符号化に関して考慮されていない。即ち、タイルの境界及びＭＣＴＳの位置をレイヤ毎に設定できる場合に、各レイヤにおけるタイルの相対的な位置は不一致であることが考えられる。例えば、拡張レイヤの所定のタイルがＭＣＴＳに含まれる場合であって、基本レイヤの当該所定のタイルに対応する位置のタイルがＭＣＴＳに含まれない場合に、基本レイヤでは当該所定のタイルに対応する位置以外の、周囲のタイルも復号する必要がある。

ここで、図１３を用いて具体的に説明する。図１３はタイル分割の様子を表している。１３０１〜１３１０は、それぞれフレームを表す。各フレーム１３０１〜１３１０は、タイル番号０〜１１の１２個のタイルでそれぞれ構成される。以下、タイル番号１のタイルをタイル１と称す。番号が変化しても同様である。また、説明のため、基本レイヤでは各フレームのタイル分割は水平方向に２分割し、垂直方向に分割はしないものとする。さらに、拡張レイヤでは各フレームのタイル分割は、フレームを水平方向に４分割、垂直方向に３分割するものとする。また、図中の細枠はタイルの境界を表す。

各フレーム１３０１、１３０３、１３０５、１３０７は、時刻ｔにおける各レイヤのフレームを表す。フレーム１３０１は時刻ｔの基本レイヤのフレームを表す。フレーム１３０５は時刻ｔの拡張第１階層（第１拡張レイヤ）のフレームを表す。フレーム１３０３はフレーム１３０１を局所復号した再構成画像を第１拡張レイヤの解像度に拡大したフレームを表す。フレーム１３０９は時刻ｔの拡張第２階層（第２拡張レイヤ）のフレームを表す。フレーム１３０７はフレーム１３０５の復号画像を第２拡張レイヤの解像度に拡大したフレームを表す。

さらに、各フレーム１３０２、１３０４、１３０６、１３０８は、時刻ｔ＋δにおける各レイヤのフレームを表す。フレーム１３０２は時刻ｔ＋δの基本レイヤのフレームを表す。フレーム１３０６は時刻ｔ＋δの第１拡張レイヤのフレームを表す。フレーム１３０４はフレーム１３０２の復号画像を第１拡張レイヤの解像度に拡大したフレームを表す。フレーム１３１０は時刻ｔ＋δの第２拡張レイヤのフレームを表す。フレーム１３０８はフレーム１３０６の復号画像を第２拡張レイヤの解像度に拡大したフレームを表す。

以下、拡張レイヤの各フレーム（フレーム１３０５、１３０６、１３０９、１３１０）のタイル５をＭＣＴＳのタイルとして説明する。図１３において、太枠はＭＣＴＳに属するタイル乃至はその対応位置を表す。

図１３において、第２拡張レイヤのフレーム１３１０のＭＣＴＳ（タイル５）を復号するためには、第１拡張レイヤのフレーム１３０６のタイル５が復号されている必要がある。さらに、第１拡張レイヤのフレーム１３０６のタイル５を復号するためには、基本レイヤのフレーム１３０２のタイル０が復号されている必要がある。さらに、基本レイヤのフレーム１３０２のタイル０を復号するためには、フレーム１３０１を参照してフレーム間予測を行う必要があり、フレーム１３０１の全てのタイルを復号する必要がある。

即ち、従来技術において、時刻ｔ＋δにおける第２拡張レイヤのＭＣＴＳを復号する場合に、時刻ｔにおける基本レイヤのフレーム１３０２のタイル５の位置を示す領域（フレーム１３０２の点線部分）以外の領域を復号する必要がある。このため、階層符号化において、ＭＣＴＳ等を用いて所定のタイルを符号化及び復号する場合に、当該ＭＣＴＳの位置に対応するタイルだけを、独立して符号化及び復号するということができないという課題がある。

本発明は上述した課題を解決するためになされたものであり、階層符号化において、所定のタイルを他のタイルに依存せずに独立に符号化及び復号することを可能とすることを目的としている。

本発明の画像符号化装置は、例えば、下記の構成を有する。すなわち、動画像を構成する画像を複数の階層で階層符号化する画像符号化装置であって、第１のレイヤに対応する第１の画像とは階層が異なる、第２のレイヤに対応する第２の画像を生成する生成手段と、前記第１の画像における、１又は複数のタイルから構成される第１のタイルセットと、前記第２の画像における、１又は複数のタイルから構成される第２のタイルセットとを符号化する符号化手段と、情報符号化手段と、フラグ設定手段とを有し、前記第２のタイルセットは、前記第２の画像における、前記第１のタイルセットに対応する位置にあり、前記符号化手段は、前記第１の画像においては前記第１のタイルセット以外を参照せずに前記第１のタイルセットを符号化するとともに、前記第２の画像においては前記第２のタイルセット以外を参照せずに前記第２のタイルセットを符号化し、前記符号化手段は、前記第２の画像の少なくとも一部の領域を参照して前記第１のタイルセットを符号化する場合、前記第２の画像においては前記第２のタイルセットのみを参照するよう制限して前記第１のタイルセットを符号化し、前記情報符号化手段は、前記第１のタイルセット及び前記第２のタイルセットの復号処理に関する制限を示すＳＥＩメッセージを符号化し、前記フラグ設定手段は、前記情報符号化手段によって、前記第１のタイルセット及び前記第２タイルセットの復号処理に関する制限を示す前記ＳＥＩメッセージが符号化される場合、少なくとも、前記第１の画像における前記第１のタイルセットの位置と、前記第２の画像における前記第２のタイルセットの位置とが対応することを示すｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇを１に設定し、前記ＳＥＩメッセージはｔｏｐ＿ｌｅｆｔ ｔｉｌｅ＿ｉｎｄｅｘを含む。
本発明の画像復号装置は、例えば、下記の構成を有する。すなわち、動画像を構成する画像を複数の階層で階層符号化して生成された符号化データを復号する画像復号装置であって、１又は複数のタイルから構成されるタイルセットの復号処理に関する制限を示すＳＥＩメッセージを復号する情報復号手段と、前記ＳＥＩメッセージに従って、第１のレイヤに対応する第１の画像における第１のタイルセットと、前記第１のレイヤとは異なる第２のレイヤに対応する第２の画像における第２のタイルセットとを復号する復号手段とを有し、前記ＳＥＩメッセージが前記情報復号手段によって復号された場合、前記第２のタイルセットは、前記第２の画像における、前記第１のタイルセットに対応する位置にあり、前記復号手段は、前記第１の画像においては前記第１のタイルセット以外を参照せずに前記第１のタイルセットを復号するとともに、前記第２の画像においては前記第２のタイルセット以外を参照せずに前記第２のタイルセットを復号し、前記復号手段は、前記ＳＥＩメッセージが前記情報復号手段によって復号された場合であって、前記第２の画像の少なくとも一部の領域を参照して前記第１のタイルセットを復号する場合、前記第２の画像においては前記第２のタイルセットのみを参照するよう制限して前記第１のタイルセットを復号し、前記情報復号手段において前記ＳＥＩメッセージが復号される場合において、少なくとも、前記第１の画像における前記第１のタイルセットの位置と、前記第２の画像における前記第２のタイルセットの位置とが対応することを示すｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇは１となり、前記ＳＥＩメッセージはｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘを含む。

本発明により、階層符号化において、独立に符号化及び復号が可能なタイルを設定することを可能にする。

実施形態１における画像符号化装置１００の構成を示すブロック図 タイルの構成の一例を示す図 実施形態１の画像符号化装置１００における画像符号化処理を表すフローチャート 実施形態１における画像符号化装置４００の構成を示すブロック図 実施形態１の画像符号化装置４００における画像符号化処理を表すフローチャート 実施形態２における画像表示装置６００の構成を示すブロック図 実施形態２における画像復号部６０５の構成を示すブロック図 実施形態２の画像復号部６０５における画像復号処理を表すフローチャート 実施形態２における画像復号部６０５装置の別な構成を示すブロック図 実施形態２の画像復号部６０５の別な形態における画像復号処理を表すフローチャート 本発明の画像符号化装置、又は画像復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図 ビットストリームのｖｕｉ＿ｐａｒａｍｅｔｅｒｓに関するシンタックスを表す図 タイルの構成の従来例の一例を示す図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
以下、ＭＣＴＳに含まれる各タイルのように、独立に符号化及び復号できるタイルを独立タイルと呼び、ＭＣＴＳのような独立タイルの集まりを独立タイルセットと呼ぶことにする。

＜実施形態１＞
以下、図１を用いて本実施形態に係る画像符号化装置を構成する各処理部の概要を説明する。図１は、本実施形態の画像符号化装置１００を示すブロック図である。

図１における１０１は、画像（入力画像）を入力する端子（入力手段）である。入力画像は１フレームずつ入力されるものとする。１０２は１フレーム内の垂直方向及び水平方向のタイル分割の数、及び各タイルの位置を決定するタイル設定部である。さらに、タイル設定部１０２は分割されたタイルのうちいずれかを独立タイルとして符号化するか否かを決定する。以下、タイル設定部１０２によって設定される、水平方向タイルの分割数、垂直方向タイルの分割数、及び分割の位置を表す情報を、タイル分割情報と称す。また、当該タイル分割情報に関しては、非特許文献１において、ピクチャのヘッダデータであるＰｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ）の記載部分に説明されているのでここでは説明を省略する。

ここで、本実施形態におけるタイル分割の例を、図２を用いて説明する。本実施形態の図２において、１フレームを４Ｋ２Ｋ（水平方向４０９６画素×垂直方向２１６０画素）とする。以下、本実施形態では、水平方向４０９６画素×垂直方向２１６０画素を、４０９６×２１６０画素と表記する。画素数が変化しても同様である。さらに、図２における２０１〜２０６はそれぞれフレームを表す。各フレーム２０１〜２０６は、水平方向に４分割、垂直方向に３分割することにより、タイル番号０〜１１の１２個のタイルで構成される。即ち、１タイルのサイズは１０２４×７２０画素となる。但し、分割数はこれに限定されない。さらに、図２に示すフレーム２０１〜２０６の中の太枠で示されたタイル５及びタイル６をそれぞれ独立タイルとし、タイル５とタイル６とからなる領域を独立タイルセットとする。また、図２に示すフレーム２０１〜２０６中の細枠は、各タイルの境界を表す。また、図２に示す拡大画像における太枠はこれらの独立タイルセットに対応する位置を表す。さらに、図２から明らかなように、各レイヤにおいて、水平方向及び垂直方向のタイルの分割数、及び各タイルの相対的な位置はそれぞれ一致している。

図２におけるフレーム２０１は、時刻ｔに入力された基本レイヤのフレームを表す。フレーム２０２は、時刻ｔ＋δに入力された基本レイヤのフレームを表す。時刻ｔ＋δにおいてフレーム２０１は符号化及び局所復号（逆量子化及び逆変換）済みであり、フレーム２０２を符号化する際には局所復号されたフレーム２０１を参照フレームとして用いることができる。

フレーム２０３は、フレーム２０１を符号化した後に、局所復号を行うことで再構成画像の生成を行い、さらに当該再構成画像を拡張レイヤと同等のサイズに拡大した拡大画像である。フレーム２０４は、フレーム２０２を符号化した後に、局所復号を行うことで再構成画像の生成を行い、さらに当該再構成画像を拡張レイヤと同等のサイズに拡大した拡大画像である。

フレーム２０５は、時刻ｔに入力された拡張レイヤのフレームを表す。フレーム２０６は、時刻ｔ＋δに入力された拡張レイヤのフレームを表す。

再び、図１の各処理部の説明に戻る。以下、時刻ｔ＋δのフレームを符号化対象のフレームとして説明する。

タイル設定部１０２は、シーケンス単位で独立タイルを含むか否かの情報を表す独立タイルフラグを生成する。タイル設定部１０２は、符号化対象のフレームに独立タイルが含まれる場合に独立タイルフラグの値を１とし、符号化対象のフレームに独立タイルが含まれない場合に独立タイルフラグの値を０とする。さらに、タイル設定部１０２は、符号化対象のフレームに独立タイルが含まれる（独立タイルフラグの値が１）場合、当該独立タイルの位置を表す独立タイル位置情報を生成する。一般的に、独立タイル位置情報は、画像内のタイル番号で表されるが、本発明はこれに限定されない。そして、タイル設定部１０２は、生成した独立タイルフラグ及び独立タイル位置情報をタイル分割情報として後段へ出力する。本実施形態において、タイル設定部１０２から出力されたタイル分割情報は、拡張レイヤ分割部１０４、基本レイヤ分割部１０５、独立タイル判定部１０６、及びヘッダ符号化部１１４に入力される。

１０３は縮小部である。縮小部１０３は、端子１０１から入力した入力画像を予め決められたフィルタ等を用いて縮小し、解像度を低下させた縮小画像（基本レイヤ画像）を生成する。

１０４は拡張レイヤ分割部である。拡張レイヤ分割部１０４は、端子１０１から入力した入力画像を拡張レイヤの画像（拡張レイヤ画像）とし、タイル設定部１０２によって出力されたタイル分割情報に基づいて、当該拡張レイヤ画像を１つ以上のタイルに分割する。ここで、拡張レイヤ分割部１０４は、図２に示すように、入力されたフレーム２０６をタイル０〜１１の１２個のタイルに分割する。さらに、拡張レイヤ分割部１０４は、分割した各タイルを、タイル番号の順番（０、１、２、・・・、１１の順）で後段にそれぞれ出力する。

１１４はヘッダ符号化部である。シーケンス単位及びピクチャ単位のヘッダ符号データを生成する。特に、ヘッダ符号化部１１４は、タイル設定部１０２で生成された独立タイルフラグと独立タイル位置情報とを入力し、ＭＣＴＳ ＳＥＩ（ＳＥＩメッセージ）を生成し、ＶＵＩパラメータ（ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ）を符号化する。

１０５は基本レイヤ分割部である。基本レイヤ分割部１０５は、縮小部１０３によって生成された基本レイヤ画像を、タイル設定部１０２によって出力されたタイル分割情報に基づいて、１つ以上のタイルに分割する。即ち、基本レイヤ分割部１０５は、当該タイル分割情報に基づく各タイルの位置が縮小部１０３によって生成された基本レイヤ画像において相対的に等しい位置になるように、当該基本レイヤ画像をタイルに分割する。本実施形態において、基本レイヤ分割部１０５は、図２に示すように入力されたフレーム２０２をタイル０〜１１の１２個のタイルに分割する。さらに、基本レイヤ分割部１０５は、分割した各タイルを、タイル番号の順番で後段にそれぞれ出力する。また、基本レイヤ分割部１０５は、出力するタイル（符号化対象のタイル）の番号を独立タイル判定部１０６に通達する。

１０６は、符号化対象のタイル（符号化対象タイル）が独立タイルであるか否かを判定する、独立タイル判定部である。独立タイル判定部１０６は、タイル設定部１０２で生成された独立タイルフラグ及び独立タイル位置情報と、基本レイヤ分割部１０５から入力された符号化対象タイルの番号とに基づいて、符号化対象タイルが独立タイルであるか否かを判定する。ここで、独立タイルフラグが１であり、独立タイル位置情報によって独立タイルの位置がタイル５であり、符号化対象タイルがタイル５である場合に、独立タイル判定部１０６は、符号化対象タイルが独立タイルであると判定することができる。さらに、独立タイル判定部１０６は、判定結果を独立タイル符号化フラグとして後段に出力する。ここで、独立タイル判定部１０６は、符号化対象タイルが独立タイルである場合に当該独立タイル符号化フラグの値を１とし、符号化対象タイルが独立タイルではない場合に当該独立タイル符号化フラグの値を０とする。

１０７は、基本レイヤ分割部１０５から入力された、基本レイヤ画像の符号化対象タイルの画像を符号化する基本レイヤ符号化部である。基本レイヤ符号化部１０７は、独立タイル判定部１０６から入力された独立タイル符号化フラグに基づいて、符号化対象タイルを符号化し、基本レイヤ符号データを生成する。

ここで、独立タイル符号化フラグが、符号化対象タイルが独立タイルであることを示す場合の基本レイヤ符号化部１０７における符号化処理について説明する。この場合、基本レイヤ符号化部１０７は局所復号済みの基本レイヤの再構成画像のうち当該符号化対象タイルを含む独立タイルセットの位置と相対的に等しい位置の画素のみを参照して予測及び符号化を行う。さらに、図２を例にとって説明すれば、フレーム２０２のタイル５を符号化対象とする場合、基本レイヤ符号化部１０７はフレーム２０１の独立タイルセット内のタイル５及びタイル６のみを参照して予測及び符号化を行う。一方、独立タイル符号化フラグが、符号化対象タイルが独立タイルでないことを示す場合、基本レイヤ符号化部１０７は局所復号済みの基本レイヤの再構成画像の全ての画素を参照して予測及び予測誤差等の符号化を行う。図２を用いて説明すれば、フレーム２０２のタイル２を符号化対象とする場合、基本レイヤ符号化部１０７はフレーム２０１の全てのタイル（タイル０〜１１）を参照して予測及び符号化を行う。

さらに、基本レイヤ符号化部１０７は、予測のために用いられた予測モード、予測によって生成された予測誤差、当該予測誤差を符号化して生成した基本レイヤ符号データ等を後段に出力する。

１０８は基本レイヤ符号化部１０７で生成された係数（予測モード及び予測誤差）等を入力し、当該予測誤差を局所復号して基本レイヤの再構成画像を生成する基本レイヤ再構成部である。さらに、基本レイヤ再構成部１０８は、生成した再構成画像を保持する。これは、基本レイヤ符号化部１０７及び拡張レイヤ符号化部１１２において、当該再構成画像を用いて予測を行うためである。

１０９は拡大部であり、基本レイヤの再構成画像を拡張レイヤのサイズに拡大する。図２において、拡大部１０９はフレーム２０１及びフレーム２０２の各々の再構成画像に対して拡大を行い、フレーム２０３及びフレーム２０４を生成する。

１１２は、拡張レイヤ分割部１０４から入力されたタイルの画像を符号化する拡張レイヤ符号化部である。拡張レイヤ符号化部１１２は、独立タイル判定部１０６から入力された独立タイル符号化フラグに基づいて参照画像を選択し、符号化対象タイルを符号化し、拡張レイヤ符号データを生成する。

ここで、独立タイル符号化フラグが１（符号化対象タイルが独立タイルである）の場合、拡張レイヤ符号化部１１２は基本レイヤの局所復号済みの再構成画像を拡大した拡大画像と、局所復号済みの拡張レイヤの再構成画像とを参照する。そして、拡張レイヤ符号化部１１２は、当該拡大画像及び当該再構成画像の各画像の独立タイルセットに含まれる画像を参照して予測及び符号化を行う。さらに、図２を例にとって説明すれば、フレーム２０６のタイル５を符号化対象とする場合、拡張レイヤ符号化部１１２は、フレーム２０４のタイル５及びタイル６とフレーム２０６のタイル５のうち局所復号済みの再構成画像とを参照して予測及び符号化を行う。一方、独立タイル符号化フラグが０（符号化対象タイルが独立タイルでない）の場合、拡張レイヤ符号化部１１２は、局所復号済みの基本レイヤの拡大画像及び局所復号済みの拡張レイヤの再構成画像を参照して独立タイルに限定せずに予測を行う。そして、拡張レイヤ符号化部１１２は、予測して生成された予測誤差等を符号化する。

さらに、拡張レイヤ符号化部１１２は、基本レイヤ符号化部１０７と同様に、予測のために用いられた予測モード、予測によって生成された予測誤差、当該予測誤差を符号化して生成した拡張レイヤ符号データ等を後段に出力する。

１１３は拡張レイヤ符号化部１１２によって符号化の途中で生成された係数（予測モード及び予測誤差）等を用いて局所復号を行い、拡張レイヤの再構成画像を生成する拡張レイヤ再構成部である。さらに、拡張レイヤ再構成部１１３は、拡張レイヤ符号化部１１２における符号化処理で用いるために、生成した再構成画像を保持する。

１１０は基本レイヤ符号化部１０７で生成された基本レイヤ符号データ、拡張レイヤ符号化部１１２で生成された拡張レイヤ符号データ、ヘッダ符号化部１１４で生成されたヘッダ符号データを統合し、ビットストリームを生成する統合部である。また、１１１は、統合部１１０によって生成されたビットストリームを外部に出力する端子である。

全体制御部１１５は、画像符号化装置内の各処理部の制御、及び各処理部間のパラメータ伝達を行う。尚、図１において、全体制御部１１５と画像符号化装置内の各処理部との間の結線を省略している。そして、全体制御部１１５は画像符号化装置内の各処理部の制御、及び各処理部間のパラメータの読み書きを、パラメータ信号線またはレジスタバスのいずれかを通じて行うことが可能である。また、本実施形態において、図１の全体制御部１１５は、画像符号化装置内に設置されているが、本発明はこれに限定されない。即ち、全体制御部１１５は、当該画像符号化装置外に設置され、当該画像符号化装置内の各処理部の制御、及び各処理部間のパラメータの読み書きを、パラメータ信号線またはレジスタバスのいずれかを通じて行ってもよい。

上述した画像符号化装置１００における、画像の符号化動作を図３に示したフローチャートを用いて以下に説明する。

ステップＳ３０１にて、画像符号化装置１００は、ユーザによって指示された階層符号化の階層数を取得する。本実施形態では、拡張レイヤを１階層とし、全体で２階層（基本レイヤと１つの拡張レイヤ）の階層符号化を行うものとする。

ステップＳ３０２にて、タイル設定部１０２は符号化対象のフレーム内のタイル分割の数及び分割の位置を決定し、さらに当該符号化対象のフレーム内のいずれかのタイルを独立タイルとするか否かを決定する。また、本実施形態ではタイル５及びタイル６を独立タイルとし、タイル５とタイル６とを合わせて１つの独立タイルセットを構成する。従って本実施形態では、独立タイル判定部１０６は独立タイルフラグを１とする。ちなみに、符号化対象のフレーム内に独立タイルが含まれていない場合には、独立タイル判定部１０６は独立タイルフラグを０とする。さらに、独立タイル判定部１０６は、決定した独立タイルフラグを拡張レイヤ分割部１０４、基本レイヤ分割部１０５、独立タイル判定部１０６、及びヘッダ符号化部１１４に入力する。

ステップＳ３０３にて、ヘッダ符号化部１１４は独立タイル判定部１０６から入力される独立タイルフラグを判定する。ヘッダ符号化部１１４が、独立タイルフラグが１であると判定した場合はステップＳ３０４の処理へ進み、独立タイルフラグが０であると判定した場合はステップＳ３０５の処理へ進む。

ステップＳ３０４にて、ヘッダ符号化部１１４は、各タイルの位置の一致情報を表すｖｕｉ＿ｐａｒａｍｅｔｅｒｓのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を１に設定する。尚、当該ｖｕｉ＿ｐａｒａｍｅｔｅｒｓのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号は、各レイヤ間でタイルの相対的な位置が一致しているか否かを表す、一致情報を符号化したものである。

ステップＳ３０５にて、ヘッダ符号化部１１４は、シーケンスヘッダの１つであるｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔを符号化する。当該ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ符号には、階層符号化の階層数を表すｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号が含まれる。尚、本実施形態において、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１は１となる。続いて、ヘッダ符号化部１１４は、Ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ（非特許文献１に７．３．２．２に記載）を符号化する。Ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ符号にはｖｕｉ＿ｐａｒａｍｅｔｅｒｓも含まれる。ｖｕｉ＿ｐａｒａｍｅｔｅｒｓにはステップＳ３０４で設定されたｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号が含まれる。統合部１１０は、これらの符号データ（ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ符号及びＳｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ符号）を入力し、ビットストリームを生成する。さらに、統合部１１０は、生成した当該ビットストリームを、端子１１１を介して画像符号化装置１００の外へ出力する。

ステップＳ３０６にて、ヘッダ符号化部１１４はピクチャヘッダであるＰｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ（非特許文献１に７．４．３．３に記載）を符号化する。統合部１１０は、ピクチャヘッダの符号データ（Ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ符号）を入力し、ビットストリームを生成する。さらに、統合部１１０は、生成した当該ビットストリームを、端子１１１を介して画像符号化装置１００の外へ出力する。

ステップＳ３０７にて、ヘッダ符号化部１１４は独立タイル判定部１０６から入力される独立タイルフラグを判定する。ヘッダ符号化部１１４が、独立タイルフラグが１であると判定した場合はステップＳ３０８の処理へ進み、独立タイルフラグが０であると判定した場合はステップＳ３０９の処理へ進む。

ステップＳ３０８にて、符号化対象のシーケンスは独立タイルを含んでいるので、ヘッダ符号化部１１４はＭＣＴＳ ＳＥＩを符号化する。ＭＣＴＳ ＳＥＩ符号については非特許文献２の第２章に記載されている通りである。本実施形態において、１フレームに含まれる独立タイルセットは１つであるため、ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１符号は０となる。また、ｍｃｔｓ＿ｉｄ符号は０とする。さらに、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１符号は１となる。尚、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１符号はＭＣＴＳに属する独立タイルの数を表す。本実施形態では独立タイルセットの中にタイル５とタイル６の２つのタイルが独立タイルとして含まれるので、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１符号の値は１となる。また、ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ符号及びｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ符号は独立タイルの位置を表すもので、本実施形態では前者の値は５であり、後者の値は６となる。ヘッダ符号化部１１４は、上記のように各ヘッダ情報を符号化して、ＭＣＴＳ ＳＥＩの符号を生成する。さらに、統合部１１０は、ヘッダ符号化部１１４で生成されたＭＣＴＳ ＳＥＩ符号を入力してビットストリームを生成し、当該ビットストリームを、端子１１１を介して画像符号化装置１００の外へ出力する。

ステップＳ３０９にて、縮小部１０３は入力画像を縮小し、基本レイヤ画像を生成する。尚、本実施形態では拡張レイヤが１階層であるため、縮小部１０３によって基本レイヤを生成するが、本発明はこれに限定されない。拡張レイヤが２階層以上（全体で３階層以上）の階層符号化の場合、縮小部１０３を複数設けてもよいし、１つの縮小部１０３で必要な階層数の画像を生成してもよい。

ステップＳ３１０にて、基本レイヤ分割部１０５は画像の左上からタイル番号順で、符号化する基本レイヤのタイルの画像を抽出する。基本レイヤ分割部１０５は抽出した基本レイヤのタイルの画像を基本レイヤ符号化部１０７へ出力する。

ステップＳ３１１にて、独立タイル判定部１０６は、基本レイヤ分割部１０５から符号化対象タイルのタイル番号を入力する。さらに、独立タイル判定部１０６は、タイル設定部１０２から当該符号化対象タイルの独立タイル位置情報を入力する。尚、本実施形態において独立タイル位置情報は５と６である。独立タイル判定部１０６は入力された符号化対象タイルのタイル番号と独立タイル位置情報のタイル番号とを比較する。符号化対象タイルのタイル番号と独立タイル位置情報のタイル番号とが一致する場合、独立タイル判定部１０６は、符号化対象タイルが独立タイルであると判定し、独立タイル符号化フラグを１とし、ステップＳ３１２へ進む。一方、符号化対象タイルのタイル番号と独立タイル位置情報のタイル番号とが一致しない場合、独立タイル判定部１０６は、符号化対象タイルが独立タイルではないと判定し、独立タイル符号化フラグを０とし、ステップＳ３１３へ進む。

ステップＳ３１２にて、符号化対象タイルは基本レイヤの符号化対象のフレームにおける独立タイルである。このため、基本レイヤ符号化部１０７は、局所復号済みの基本レイヤの他のフレームにおける、当該符号化対象タイルの位置と相対的に等しい位置の独立タイルセットに含まれる再構成画像を参照してフレーム間予測及び符号化を行う。また、基本レイヤ符号化部１０７は、符号化対象のフレームの符号化対象タイル内の局所復号済みの再構成画像を参照してイントラ予測及び符号化を行う。図２において、フレーム２０２のタイル５を符号化する場合について説明する。基本レイヤ符号化部１０７は、基本レイヤ再構成部１０８に格納されているフレーム２０１のタイル５とタイル６、及びフレーム２０２のタイル５の局所復号済みの再構成画像を参照して予測及び符号化を行う。さらに、基本レイヤ符号化部１０７は、符号化して得られた基本レイヤの符号化対象タイルの符号データを基本レイヤ符号データとして統合部１１０に出力する。統合部１１０は基本レイヤ符号化部１０７から出力される基本レイヤ符号データと、ヘッダ符号化部１１４及び拡張レイヤ符号化部１１２から出力されるその他の符号データとを統合し、ビットストリームを生成する。そして、統合部１１０は、生成したビットストリームを、端子１１１を介して出力する。また、基本レイヤ再構成部１０８は、基本レイヤ符号化部１０７で符号化の途中で生成された係数（予測モード及び予測残差）等を用いて、基本レイヤの再構成画像を順次生成し、保持する。

ステップＳ３１３にて、符号化対象タイルは基本レイヤの符号化対象のフレームにおける独立タイルではない。このため、基本レイヤ符号化部１０７は、局所復号済みの基本レイヤの他のフレームの画像全体を参照して、符号化対象タイルをフレーム間予測及び符号化する。図２において、フレーム２０２のタイル５を符号化する場合に、基本レイヤ符号化部１０７は、基本レイヤ再構成部１０８に格納されているフレーム２０１の全てのタイル及びフレーム２０２のタイル５の局所復号済みの再構成画像を参照して予測及び符号化する。さらに、基本レイヤ符号化部１０７は、生成した基本レイヤ符号データを統合部１１０に出力する。統合部１１０は、ステップＳ３１２における説明と同様に、基本レイヤ符号データとその他の符号データとを統合してビットストリームを生成し、当該ビットストリームを、端子１１１を介して出力する。さらに、基本レイヤ再構成部１０８は、基本レイヤ符号化部１０７で符号化の途中で生成された係数等を用いて、基本レイヤの再構成画像を順次生成し、保持する。

ステップＳ３１４にて、全体制御部１１５は、基本レイヤの全てのタイルを符号化し終わったか否かを判定する。基本レイヤの全てのタイルの符号化処理が終わっていないと判定された場合（ステップＳ３１４のＮＯ）、ステップＳ３１０に戻り、基本レイヤ分割部１０５は次のタイル番号のタイルを抽出及び出力し、処理を続行する。一方、基本レイヤの全てのタイルの画像の符号化処理が終了していると判定された場合（ステップＳ３１４のＹＥＳ）、ステップＳ３１５に進む。

ステップＳ３１５にて、拡張レイヤ分割部１０４は画像の左上からタイル番号順で、符号化する拡張レイヤのタイルの画像を抽出する。拡張レイヤ分割部１０４は抽出した拡張レイヤのタイルの画像を拡張レイヤ符号化部１１２へ出力する。

ステップＳ３１６にて、独立タイル判定部１０６はステップＳ３１１における処理と同様に、入力された符号化対象タイルのタイル番号と独立タイル位置情報のタイル番号とを比較する。符号化対象タイルのタイル番号と独立タイル位置情報のタイル番号とが一致する場合、独立タイル判定部１０６は、符号化対象タイルが独立タイルであると判定し、独立タイル符号化フラグを１とし、ステップＳ３１７へ進む。一方、符号化対象タイルのタイル番号と独立タイル位置情報のタイル番号とが一致しない場合、独立タイル判定部１０６は、符号化対象タイルが独立タイルではないと判定し、独立タイル符号化フラグを０とし、ステップＳ３１９へ進む。

ステップＳ３１７にて、符号化対象タイルは拡張レイヤの符号化対象のフレームにおける独立タイルである。このため、拡大部１０９は、基本レイヤ再構成部１０８に格納されている、局所復号済みの基本レイヤの再構成画像から、符号化対象タイルの位置と相対的に等しい位置の独立タイルセットに含まれる再構成画像を入力する。拡大部１０９は、入力された再構成画像のみを用いて、フィルタリング等で拡大して拡大画像を生成し、当該拡大画像を拡張レイヤ符号化部１１２に出力する。

ステップＳ３１８にて、拡張レイヤ符号化部１１２は、拡張レイヤ分割部１０４から入力された符号化対象タイルの画像を、基本レイヤの局所復号済みの再構成画像を参照対象として予測及び符号化する。即ち、拡張レイヤ符号化部１１２は、ステップＳ３１７で生成された拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ符号化部１１２は、拡張レイヤ再構成部１１３に格納されている局所復号済みの拡張レイヤのうち、符号化対象タイルの位置と相対的に等しい位置の独立タイルセットの再構成画像を参照対象として、符号化対象タイルのフレーム間予測を行う。さらに、拡張レイヤ符号化部１１２は、符号化対象タイル内の局所復号済みの再構成画像を参照対象としてイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測によって得られた予測に関する情報（フレーム間予測によって得られた動きベクトル等）及び予測誤差を符号化する。さらに、拡張レイヤ再構成部１１３は、拡張レイヤ符号化部１１２による符号化の途中で生成された係数（予測モード及び予測残差）等を用いて、拡張レイヤの再構成画像を順次生成し、保持する。

ステップＳ３１９にて、符号化対象タイルは拡張レイヤの符号化対象のフレームにおける独立タイルではない。このため、拡大部１０９は、基本レイヤ再構成部１０８に格納されている基本レイヤの再構成画像の全体を用いて、フィルタリング等で拡大して拡大画像を生成し、当該拡大画像を拡張レイヤ符号化部１１２に出力する。

ステップＳ３２０にて、拡張レイヤ符号化部１１２は、拡張レイヤ分割部１０４から入力された符号化対象タイルの画像を、基本レイヤの局所復号済みの再構成画像を参照して符号化する。即ち、拡張レイヤ符号化部１１２は、ステップＳ３１９で生成された拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ符号化部１１２は、拡張レイヤ再構成部１１３に格納されている局所復号済みの拡張レイヤの再構成画像を参照して、符号化対象タイルのフレーム間予測を行う。さらに、拡張レイヤ符号化部１１２は、符号化対象タイル内の局所復号済みの再構成画像を参照して、符号化対象タイルのイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測によって得られた予測に関する情報及び予測誤差を符号化する。さらに、拡張レイヤ再構成部１１３は、拡張レイヤ符号化部１１２で符号化の途中で生成された係数等を用いて、拡張レイヤ再構成画像を順次生成し、保持する。

ステップＳ３２１にて、全体制御部１１５は、拡張レイヤの全てのタイルを符号化し終わったか否かを判定する。拡張レイヤの全てのタイルの符号化処理が終わっていないと判定した場合（ステップＳ３２１のＮＯ）、ステップＳ３１５に戻り、拡張レイヤ分割部１０４は次のタイル番号のタイルを抽出及び出力し、処理を続行する。一方、拡張レイヤの全てのタイルの画像の符号化処理が終了していると判定した場合（ステップＳ３２１のＹＥＳ）、ステップＳ３２２に進む。

ステップＳ３２２にて、全体制御部１１５は、端子１０１から入力されるシーケンスに含まれる全てのフレームの画像の符号化処理が終了したか否かを判定する。符号化処理を行っていないフレームが存在する場合は（ステップＳ３２２のＮＯ）、ステップＳ３０９に進み、次のフレームの処理を行う。符号化処理を行っていないフレームが存在しない場合は（ステップＳ３２２のＹＥＳ）、符号化処理を終了する。

以上の構成と動作により、独立タイル及び独立タイルセットを使用する場合において、拡張レイヤと基本レイヤの各タイルの相対的な位置を一致させることができる。即ち、基本レイヤで設定された独立タイルセットに含まれるタイルが、各拡張レイヤにおいて当該独立タイルセットと相対的に等しい位置の独立タイルセットに含まれるように設定する。これにより、階層符号化のいずれの階層においても、独立タイルの予測及び復号のために参照する画素を制限することができ、予測処理を高速化することができる。特に、注目領域等を独立タイルに設定することで、独立タイルは基本レイヤから拡張レイヤまで他のタイルを参照せずに、独立に符号化できるため、必要な部分を従来よりも高速に処理することが可能になる。

尚、本実施形態において、図２のように、符号化対象のフレームより時間的に前のフレームのみを参照フレームとして予測及び符号化する例を示したが、これに限定されない。即ち、複数フレームを参照して予測及び符号化する場合においても同様に参照されることは上記の説明から明白である。

また、本実施形態において、縮小部１０３及び拡大部１０９を用いた画像符号化装置１００について説明したが、本発明はこれに限定されない。即ち、縮小部１０３及び拡大部１０９を省略してもよい。または、縮小率及び拡大率を１として基本レイヤ符号化部１０７で設定される量子化パラメータよりも拡張レイヤ符号化部１１２で設定される量子化パラメータを小さくするようにしてもよい。これによって、ＳＮＲ階層符号化を行うことが可能になる。

また、本実施形態において、拡張レイヤの独立タイルセットのタイルを予測する場合に参照する拡大画像を、当該独立タイルセットと相対的に等しい位置の基本レイヤのタイルの画像だけで生成を行ったが、本発明はこれに限定されない。即ち、ステップＳ３１９のように基本レイヤの独立タイルの周辺の画素も参照対象としても構わない。

また、本実施形態において、基本レイヤと１階層の拡張レイヤの階層符号化（全体で２階層の階層符号化）を行うものとして説明したが、本発明はこれに限定されず、全体で３階層以上の階層符号化であっても構わない。この場合、縮小部１０３、拡張レイヤ分割部１０４、拡張レイヤ符号化部１１２、拡張レイヤ再構成部１１３、及び拡大部１０９を１つのセットとして、当該セットを拡張レイヤの階層数分だけ設けることにより、より多くの階層に対応することができる。また、図４に示すように、拡張レイヤ符号化部１１２、拡張レイヤ再構成部４１３、拡大部４０９、及び縮小部４０３を１つずつ有し、各拡張レイヤの符号化において、兼用で使用しても構わない。

図４は、複数の階層の拡張レイヤを符号化可能な画像符号化装置であって、拡張レイヤ符号化部１１２、拡張レイヤ再構成部４１３、拡大部４０９、及び縮小部４０３を１つずつ有する画像符号化装置のブロック図である。図４において、図１の画像符号化装置１００の各処理部と同じ機能を果たすものについては同じ番号を付し、説明を省略する。４０１は階層符号化の階層数を設定する階層数設定部である。４０３は縮小部である。図１の縮小部１０３が端子１０１から入力した入力画像を縮小して１つの縮小画像を生成するのに対し、縮小部４０３は、階層数設定部４０１から入力した階層数に基づいて、入力画像を縮小して複数の階層の縮小画像を生成する。４０２はフレームメモリであり、縮小部４０３で生成された各階層の縮小画像を格納する。４０９は拡大部である。図１の拡大部１０９が基本レイヤの再構成画像を拡張レイヤのサイズに拡大して１つの拡大画像を生成するのに対し、拡大部１０９は階層数設定部４０１から入力した階層数に基づいて、当該再構成画像を拡大して複数の異なる解像度の階層の拡大画像を生成する。４１３は拡張レイヤ再構成部である。拡張レイヤ再構成部４１３は、階層数設定部４０１から階層数を入力し、拡張レイヤ符号化部１１２で生成された係数等を用いて拡張レイヤの再構成画像を生成し、当該再構成画像を拡大部４０９及び拡張レイヤ符号化部１１２へ出力する。４１０は統合部であり、階層数設定部４０１から階層数を入力し、当該階層数分の符号データをビットストリームに統合する。

図４に示す画像符号化装置４００を用いて符号化を行う場合の、各処理部の動作を図５に示したフローチャートを用いて以下に説明する。図５は、図３のステップＳ３０９からステップＳ３２０の間を変更した部分のみを示している。図５において、図３のステップと同様の機能を果たすステップに関しては図３と同じ番号を付与し、説明を省略する。また、図３のステップＳ３０１にて、階層数設定部４０１は階層数を３に設定するとして、以下に説明する。尚、本発明において階層数は特に限定されない。また、ステップＳ３０５にて、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号を２としてヘッダ符号データの生成が行われるとする。

ステップＳ５０１にて、縮小部４０３は１フレームの階層数分の縮小画像を生成する。本実施形態ではステップＳ３０１で階層数が３に設定されるため、縮小部４０３は１つの基本レイヤ画像と２つの拡張レイヤ画像とを生成する。即ち、縮小部４０３は、入力画像を縦横１／２にした拡張第１階層（第１拡張レイヤ）画像と、第１拡張レイヤ画像をさらに縦横１／２にした基本レイヤ画像とを生成する。ここで、縮小部４０３は、入力された解像度の画像を拡張第２階層（第２拡張レイヤ）画像とする。さらに、縮小部４０３は、基本レイヤ画像、第１拡張レイヤ画像、及び第２拡張レイヤ画像をそれぞれフレームメモリ４０２に出力する。

尚、ステップＳ３１２からステップＳ３１４にて、前述の通り、全体制御部１１５は、フレームメモリ４０２から出力された基本レイヤ画像を符号化する。基本レイヤ再構成部１０８は符号化された画像を局所復号して再構成画像を生成する、これを保持しておく。

ステップＳ５０２にて、階層数設定部４０１は、ステップＳ３１２乃至ステップＳ３１３で符号化された基本レイヤ、又は後述するステップＳ５１８乃至ステップＳ５２０で符号化された階層の拡張レイヤを上位レイヤとする。さらに、階層数設定部４０１は、そのレイヤに続く符号化対象の拡張レイヤを下位レイヤとする。ここでは、まず、ステップＳ３１２乃至ステップＳ３１３で符号化された基本レイヤを上位レイヤとし、第１拡張レイヤを下位レイヤとして設定する。

ステップＳ５１５にて、拡張レイヤ分割部１０４は符号化対象の階層の画像の左上からタイル番号順で、符号化する拡張レイヤのタイルの画像を抽出する。拡張レイヤ分割部１０４は抽出した拡張レイヤのタイルの画像を拡張レイヤ符号化部１１２へ出力する。ここでは、第１拡張レイヤ画像における符号化対象タイルの画像を抽出し、拡張レイヤ符号化部１１２に入力する。

ステップＳ５１７にて、符号化対象タイルは符号化対象のフレームにおける独立タイルである。このため、拡大部４０９は、基本レイヤ再構成部１０８又は拡張レイヤ再構成部４１３に格納されている上位レイヤの再構成画像から、符号化対象タイルの位置と相対的に等しい位置の独立タイルセットに含まれる再構成画像を入力する。拡大部４０９は、入力された再構成画像のみを用いて、フィルタリング等で拡大して拡大画像を生成し、当該拡大画像を拡張レイヤ符号化部１１２に入力する。ここでは、拡大部４０９は、基本レイヤ再構成部１０８に格納されている再構成画像から拡大画像を生成し、当該拡大画像を拡張レイヤ符号化部１１２に入力する。

ステップＳ５１８にて、拡張レイヤ符号化部１１２は、拡張レイヤ分割部１０４から入力された符号化対象タイルの画像を、局所復号済みの再構成画像を参照して予測及び符号化する。即ち、拡張レイヤ符号化部１１２は、ステップＳ５１７で生成された拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ符号化部１１２は、拡張レイヤ再構成部４１３に格納されている局所復号済みの拡張レイヤの他のフレームにおいて符号化対象タイルの位置と相対的に等しい位置の独立タイルセットの再構成画像を参照して、フレーム間予測を行う。さらに、拡張レイヤ符号化部１１２は、符号化対象タイル内の局所復号済みの再構成画像を参照してイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測によって得られた予測に関する情報（フレーム間予測によって得られた動きベクトル等）及び予測誤差を符号化する。さらに、拡張レイヤ再構成部４１３は、拡張レイヤ符号化部１１２による符号化の途中で生成された係数（予測モード及び予測残差）等を用いて、拡張レイヤの再構成画像を順次生成し、保持する。

ステップＳ５１９にて、符号化対象タイルは符号化対象のフレームにおける独立タイルではない。このため、拡大部４０９は、基本レイヤ再構成部１０８に格納されている基本レイヤの再構成画像の全体又は拡張レイヤ再構成部４１３に格納されている上位の拡張レイヤの再構成画像の全体を用いてフィルタリング等で拡大して拡大画像を生成する。さらに、拡大部４０９は、生成した拡大画像を拡張レイヤ符号化部１１２に出力する。ここでは、拡大部４０９は、基本レイヤ再構成部１０８に格納されている再構成画像から拡大画像を生成する。

ステップＳ５２０にて、拡張レイヤ符号化部１１２は、拡張レイヤ分割部１０４から入力された符号化対象タイルの画像を、局所復号済みの再構成画像を参照して符号化する。即ち、拡張レイヤ符号化部１１２は、ステップＳ５１９で生成された拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ符号化部１１２は、拡張レイヤ再構成部４１３に格納されている局所復号済みの拡張レイヤの再構成画像を参照して、符号化対象タイルのフレーム間予測を行う。さらに、拡張レイヤ符号化部１１２は、符号化対象タイル内の局所復号済みの再構成画像を参照して、符号化対象タイルのイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測によって得られた予測に関する情報及び予測誤差を符号化する。さらに、拡張レイヤ再構成部４１３は、拡張レイヤ符号化部１１２で符号化の途中で生成された係数等を用いて、拡張レイヤの再構成画像を順次生成し、保持する。

ステップＳ５０３にて、全体制御部１１５は、階層数設定部４０１で設定された全ての階層について符号化が終了したか否かを判定する。全ての階層のタイルの符号化処理が終わっていないと判定した場合（ステップＳ５２１のＮＯ）、ステップＳ５０２に戻り、階層数設定部４０１は次の階層を下位レイヤに設定し、処理を続行する。一方、拡張レイヤの全てのタイルの画像の符号化処理が終了していると判定した場合（ステップＳ５２１のＹＥＳ）、ステップＳ５２３に進む。ここでは、第２拡張レイヤの符号化が終了していないと判定し、ステップＳ５０２に戻る。

ステップＳ５２２にて、全体制御部１１５は、端子１０１から入力されるシーケンスに含まれる全てのフレームの画像の符号化処理が終了したか否かを判定する。符号化処理を行っていないフレームが存在する場合は（ステップＳ５２２のＮＯ）、ステップＳ５０１に進み、次のフレームの処理を行う。符号化処理を行っていないフレームが存在しない場合は（ステップＳ５２２のＹＥＳ）、符号化処理を終了する。

以下、第２拡張レイヤ画像の符号化処理について説明する。即ち、ステップＳ５０２にて、階層数設定部４０１は、ステップＳ５１８乃至ステップＳ５２０で符号化された第１拡張レイヤ階層を上位レイヤとし、第２拡張レイヤを下位レイヤとして設定する。ステップＳ５１５にて、拡張レイヤ分割部１０４は第２拡張レイヤ画像における符号化対象タイルの画像を抽出し、拡張レイヤ符号化部１１２に入力する。

ステップＳ５１７にて、符号化対象タイルは符号化対象のフレームにおける独立タイルである。このため、拡大部４０９は、拡張レイヤ再構成部４１３に格納されている上位レイヤ（第１拡張レイヤ）の再構成画像から、符号化対象タイルの位置と相対的に等しい位置の独立タイルセットに含まれる再構成画像を入力する。拡大部４０９は、入力された独立タイルセットの再構成画像のみを用いて、フィルタリング等で拡大して上位レイヤ（第１拡張レイヤ）の拡大画像を生成し、当該拡大画像を拡張レイヤ符号化部１１２に入力する。ステップＳ５１８にて、拡張レイヤ符号化部１１２は、拡張レイヤ分割部１０４から入力された符号化対象の下位レイヤ（第２拡張レイヤ）のタイルの画像を、局所復号済みの再構成画像を参照して予測及び符号化する。即ち、拡張レイヤ符号化部１１２は、ステップＳ５１７で生成された上位レイヤ（第１拡張レイヤ）の拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ符号化部１１２は、拡張レイヤ再構成部４１３に格納されている局所復号済みの下位レイヤ（第２拡張レイヤ）において符号化対象タイルの位置と相対的に等しい位置の独立タイルセットの画像を参照してフレーム間予測を行う。さらに、拡張レイヤ符号化部１１２は、符号化対象タイル内の下位レイヤ（第２拡張レイヤ）の局所復号済みの再構成画像を参照してイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測によって得られた予測に関する情報（フレーム間予測によって得られた動きベクトル等）及び予測誤差を符号化する。さらに、拡張レイヤ再構成部４１３は、拡張レイヤ符号化部１１２で符号化の途中で生成された係数等を用いて、下位レイヤ（第２拡張レイヤ）の再構成画像を順次生成し、保持する。

一方、ステップＳ５１９にて、符号化対象タイルは符号化対象のフレームにおける独立タイルではない。このため、拡大部４０９は、拡張レイヤ再構成部４１３に格納されている上位の拡張レイヤ（第１拡張レイヤ）の再構成画像を用いてフィルタリング等で拡大して上位レイヤ（第１拡張レイヤ）の拡大画像を生成する。さらに、拡大部４０９は、生成した拡大画像を拡張レイヤ符号化部１１２に出力する。

ステップＳ５２０にて、拡張レイヤ符号化部１１２は、拡張レイヤ分割部１０４から入力された符号化対象タイルの画像を局所復号済みの再構成画像を参照して符号化する。即ち、拡張レイヤ符号化部１１２は、ステップＳ５１９で生成された上位レイヤ（第１拡張レイヤ）の拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ符号化部１１２は、拡張レイヤ再構成部４１３に格納されている局所復号済みの下位レイヤ（第２拡張レイヤ階層）の再構成画像を参照してフレーム間予測を行う。さらに拡張レイヤ符号化部１１２は、下位レイヤ（第２拡張レイヤ）の符号化対象タイル内の局所復号済みの再構成画像を参照してイントラ予測を行う。拡張レイヤ符号化部１１２は、これらの予測によって得られた予測に関する情報及び予測誤差を符号化する。さらに、拡張レイヤ再構成部４１３は、拡張レイヤ符号化部１１２で符号化の途中で生成された係数等を用いて、下位レイヤ（第２拡張レイヤ）の再構成生画像を順次生成し、保持する。

ステップＳ５０３にて、全体制御部１１５は、階層数設定部４０１で設定された全ての階層について符号化が終了したか否かを判定し、終了していると判定した場合はステップＳ５２２へ進み、終了していないと判定した場合はステップＳ５０２に戻る。ここでは、第２拡張レイヤまでの符号化が終了しているため、ステップＳ５２２に進む。ステップＳ５２２にて、全てのフレームの符号化が終了すれば、符号化処理を終了する。

以上の動作によって、拡張レイヤが複数階層存在する場合においても、独立タイルセットを必要な符号データだけを復号し、最小の画像の参照のみで復号画像を再生できる符号データを生成できる。

また、ＭＣＴＳ ＳＥＩ符号がビットストリームに存在する場合、タイル位置一致情報であるｖｕｉ＿ｐａｒａｍｅｔｅｒｓのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号は１に必ずセットされる。即ち、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓにおいて、ＭＣＴＳ ＳＥＩ符号がビットストリームに存在する場合、符号データとしてのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を省略することもできる。もし、ＭＣＴＳ ＳＥＩ符号がビットストリームに無ければ、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号の値を符号化し、その符号データがビットストリームに含まれる。ＭＣＴＳ ＳＥＩ符号がビットストリームにあれば、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号の値は符号化されず、復号側で必ず１の値が設定される。このようにすることで、冗長となるｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を削減することが可能になる。

また、階層符号化において、重要な領域を切り出し、その切り出された領域に独立タイルセットを適応させて符号化することで、重要な領域を高速に読み出せる符号データを生成することができる。

＜実施形態２＞
以下、図６を用いて本実施形態に係る画像復号装置を構成する各処理部の概要を説明する。図６は、本実施形態の画像復号部６０５を有する画像表示装置６００を示すブロック図である。本実施形態では、実施形態１で生成されたビットストリームを復号する場合を例にとり説明を行う。

６０１は通信等によってビットストリームを入力するインターフェースである。６０２はインターフェース６０１から入力されたビットストリームや予め記録されていたビットストリームを格納する記憶部である。６０３はユーザによって指示されたビットストリームを表示するための、表示方法を指定する表示制御部である。表示制御部６０３は復号する階層（レイヤ）と復号する領域（表示領域）とを表示制御信号として画像復号部６０５に出力する。本実施形態において、復号する階層は階層数で表され、表示領域は表示するタイルの位置で表されるものとするが、本発明はこれに限定されない。６０４はセレクタであり、入力するビットストリームの入力先を指定する。６０５は本実施形態に係る画像復号部である。６０６は表示部であり、画像復号部６０５で生成された復号画像を表示する。

次に、画像表示装置６００における画像の表示動作を以下に説明する。尚、表示制御部６０３が、ユーザによってビットストリームの基本レイヤ画像を復号及び表示すること指示された場合について説明する。これは監視カメラ等によって撮像された画像を符号化したビットストリームを入力して、当該撮像された画像の全体をモニタリングする場合に相当する。インターフェース６０１は、監視カメラ等からフレーム単位で入力されるビットストリーム（入力ビットストリーム）を受信し、記憶部６０２及びセレクタ６０４に出力する。記憶部６０２は、入力ビットストリームを記録し、セレクタ６０４は表示制御部６０３による指示によって、入力ビットストリームを画像復号部６０５に出力する。画像復号部６０５は、表示制御部６０３から表示制御信号として表示するレイヤ、及び表示するタイル等の情報を入力する。即ち、表示制御部６０３はビットストリームの基本レイヤの復号及び表示をユーザによって指示されるため、画像復号部６０５には、復号するレイヤが基本レイヤであることを示す情報と、表示領域が全てのタイルであることを示す情報とが入力される。

以下、図７を用いて本実施形態に係る画像復号部６０５を構成する各処理部の概要を説明する。図７は、本実施形態の画像復号部６０５を示すブロック図である。

図７における７０１は、セレクタ６０４から出力されたビットストリームを入力する端子である。説明を容易にするため、ビットストリームは、ヘッダデータや１フレームずつの符号データが入力されるものとする。本実施形態において、このフレーム単位の符号データには、１フレームを構成する全ての階層符号データが含まれているものとするが、本発明はこれに限定されず、スライス等の単位で入力されても構わない。また、フレームのデータ構成もこれに限定されない。

７０２は図６の表示制御部６０３から出力された復号に関する表示制御信号を入力する端子である。表示制御信号としては、復号するレイヤ及び復号するタイルの位置情報が入力される。さらに、端子７０２に入力された表示制御信号は、分離部７０４、基本レイヤ復号部７０７、拡張レイヤ復号部７１０に入力される。７０３はバッファであり、端子７０１から入力された１フレーム分の階層符号データを格納する。

７０４は分離部である。分離部７０４は、バッファ７０３から入力された階層符号データからヘッダ符号データ、基本レイヤ符号データ、各拡張レイヤ符号データを分離する。さらに、分離部７０４は、レイヤ毎に分離した階層符号データ（基本レイヤ符号データ及び各拡張レイヤ符号データ）を、タイル毎の符号データにそれぞれ分割して出力する。そして、分離されたそれぞれの符号データは、ヘッダ復号部７０５、基本レイヤ復号部７０７、拡張レイヤ復号部７１０に出力される。また、分離部７０４は、タイル毎に分離した符号データを各処理部へ出力する場合に、出力するタイル（復号対象のタイル）の番号をタイルの位置情報として独立タイル判定部７０６に出力する。

７０５はヘッダ復号部である。ヘッダ復号部７０５は、シーケンス単位及びピクチャ単位のヘッダ符号データを復号し、復号に必要なパラメータを再生する。特に、ヘッダ符号データにＭＣＴＳ ＳＥＩ符号が存在する場合、ヘッダ復号部７０５はこれも復号する。特に、ヘッダ復号部７０５は、独立タイルフラグと独立タイル位置情報とを復号し、再生する。７０６は、復号対象のタイル（復号対象タイル）が独立タイルであるか否かを判定する独立タイル判定部である。独立タイル判定部７０６は、ヘッダ復号部７０５から入力した独立タイルフラグ及び独立タイル位置情報と、分離部７０４から入力した復号対象タイルの位置情報とに基づいて、復号対象タイルが独立タイルであるか否かを判定する。さらに、独立タイル判定部７０６は、判定結果を基本レイヤ復号部７０７及び拡張レイヤ復号部７１０に入力する。

７０７は基本レイヤ復号部である。基本レイヤ復号部７０７は、分離部７０４で分離された基本レイヤのタイルの符号データを復号し、基本レイヤの復号画像を生成する。７０８はフレームメモリであり、基本レイヤ復号部７０７で生成された基本レイヤの各タイルの復号画像を保持する。７０９は拡大部であり、基本レイヤの復号画像を拡張レイヤの解像度に拡大して拡大画像を生成する。７２０はセレクタであり、基本レイヤの復号画像又は拡張レイヤの復号画のうち所望の復号画像を選択し、選択した復号画像を端子７１２に出力する。７１２は端子であり、セレクタ７２０から入力された復号画像を画像復号部６０５の外部に出力する。

７１０は拡張レイヤ復号部である。拡張レイヤ復号部７１０は、分離部７０４で分離された拡張レイヤのタイルの符号データを復号し、拡張レイヤの復号画像を生成する。７１１はフレームメモリであり、拡張レイヤ復号部７１０で生成された拡張レイヤの各タイルの復号画像を保持する。

全体制御部７１４は、画像復号部６０５の各処理部の制御、及び各処理部間のパラメータ伝達を行う。尚、図１において、全体制御部７１４と画像復号部６０５内の各処理部との間の結線を省略している。そして、全体制御部７１４は画像復号部６０５内の各処理部の制御、及び各処理部間のパラメータの読み書きを、パラメータ信号線またはレジスタバスのいずれかを通じて行うことが可能である。また、本実施形態において、図１の全体制御部７１４は、画像復号部６０５内に設置されているが、本発明はこれに限定されない。即ち、全体制御部７１４は、当該画像復号部６０５外に設置され、当該画像復号部６０５内の各処理部の制御、及び各処理部間のパラメータの読み書きを、パラメータ信号線またはレジスタバスのいずれかを通じて行ってもよい。

上述した画像復号部６０５における、画像の復号動作を図８に示したフローチャートを用いて以下に説明する。

まず、復号対象のレイヤ（復号対象レイヤ）が基本レイヤのみの場合について述べる。ここでは、ユーザが表示制御部６０３に、インターフェース６０１から入力されるビットストリームにおいて基本レイヤの、復号及び表示を指示するとする。

ステップＳ８０１にて、端子７０１から入力された、ビットストリームの先頭に存在するヘッダ符号データは、バッファ７０３及び分離部７０４による処理を経てヘッダ復号部７０５に入力される。ヘッダ復号部７０５は、シーケンスヘッダの１つであるｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔを復号する。このｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔには階層符号化の階層数を表すｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号が含まれる。本実施形態において、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号は１である。続いてヘッダ復号部７０５は、Ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ符号を復号する。Ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ符号にはｖｕｉ＿ｐａｒａｍｅｔｅｒｓも含まれる。ｖｕｉ＿ｐａｒａｍｅｔｅｒｓにはタイル位置一致情報であるｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号が含まれている。本実施形態において、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号は１である。

ステップＳ８０２にて、ヘッダ復号部７０５は、Ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ符号を復号する。これらのヘッダ符号データの復号については非特許文献１に詳細に記載されているのでここでは説明を省略する。

ステップＳ８０３にて、独立タイル判定部７０６は、復号対象のフレーム内に独立タイルがあるか否かを判定する。そして、判定結果を、独立タイルフラグとする。尚、実際には〜にＭＣＴＳ ＳＥＩの有無を判定する。ヘッダ符号データにＭＣＴＳ ＳＥＩが存在するのであれば、独立タイルフラグを１とし、ステップＳ８０４に進む。ヘッダ符号データにＭＣＴＳ ＳＥＩが存在しないのであれば、独立タイル可否フラグを０とし、ステップＳ８０５に進む。本実施形態では、ヘッダ符号データにＭＣＴＳ ＳＥＩが存在すると判断して、独立タイルフラグを１とし、ステップＳ８０４に進む。尚、復号対象のフレーム内に独立タイルが存在する場合、タイル位置一致情報であるｖｕｉ＿ｐａｒａｍｅｔｅｒｓのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号は１となっている必要がある。もし、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号が１でなければ、ヘッダ復号部７０５は、エラーを返して復号を停止するようにしても構わない。さらに、ヘッダ復号部７０５は、独立タイルフラグを独立タイル判定部７０６、基本レイヤ復号部７０７、及び拡張レイヤ復号部７１０に入力さする。

ステップＳ８０４にて、ヘッダ復号部７０５はＭＣＴＳ ＳＥＩ符号を復号し、独立タイルフラグと独立タイル位置情報を取得する。

ステップＳ８０５にて、分離部７０４は端子７０２から入力された表示部分にかかるタイルの位置情報を入力する。本実施形態において、基本レイヤ全体の表示が指示されている。このため、表示部分にかかるタイルは基本レイヤの全てのタイルとなる。即ち、分離部７０４は、基本レイヤの復号対象タイルの符号データを、タイル０からタイル番号順でバッファ７０３から抽出し、基本レイヤ復号部７０７に出力する。

ステップＳ８０６にて、独立タイル判定部７０６は、分離部７０４から復号対象タイルの番号を入力する。また、独立タイル判定部７０６は、ヘッダ復号部７０５から独立タイル位置情報を入力する。本実施形態では、独立タイルセットは１つであり、独立タイル位置情報は５と６である。独立タイル判定部７０６は、復号対象タイルのタイル番号と独立タイル位置情報のタイル番号とを比較する。そして、復号対象タイルのタイル番号が独立タイル位置情報のタイル番号と一致する場合（ステップＳ８０６のＹＥＳ）、独立タイル判定部７０６は復号対象タイルが独立タイルであると判定し、ステップＳ８０７に進む。復号対象タイルのタイル番号が独立タイル位置情報のタイル番号と一致しない場合（ステップＳ８０６のＮＯ）、復号対象タイルが独立タイルセットのタイルではないと判定し、ステップＳ８０８に進む。

ステップＳ８０７にて、復号対象タイルは基本レイヤの復号対象のフレームにおける独立タイルである。このため、基本レイヤ復号部７０７は、復号済みの基本レイヤの他のフレームにおける、当該復号対象タイルの位置と相対的に等しい位置の独立タイルセット内の独立タイルと、復号対象タイル内の復号済み画素のみを参照して復号を行う。即ち、基本レイヤ復号部７０７は、フレームメモリ７０８に格納されている、復号対象タイルの位置と相対的に等しい位置の独立タイルセット内の独立タイルの復号画像を参照してフレーム間予測を行う。さらに、基本レイヤ復号部７０７は、フレームメモリ７０８に格納されている復号対象タイル内の復号画像を参照してイントラ予測を行う。そして、基本レイヤ復号部７０７は、復号した基本レイヤの復号対象タイルの復号画像をフレームメモリ７０８に格納する。尚、当該復号画像は以後のタイルの復号時に参照される。また、基本レイヤ復号部７０７は、当該基本レイヤのタイルの復号画像をセレクタ７２０及び端子７１２を介して図６の表示部６０６へ出力する。

ステップＳ８０８にて、復号対象タイルは基本レイヤの復号対象のフレームにおける独立タイルではない。このため、基本レイヤ復号部７０７は、復号済みのフレームの基本レイヤの復号画像と復号対象のフレームの基本レイヤの復号済み画素を参照して復号を行う。即ち基本レイヤ復号部７０７は、フレームメモリ７０８に格納されている復号画像を参照してフレーム間予測を行う。さらに、基本レイヤ復号部７０７は、復号対象タイル内の復号済みの復号画像を参照してイントラ予測を行う。そして、基本レイヤ復号部７０７は、復号した基本レイヤの復号対象タイルの復号画像をフレームメモリ７０８に格納する。尚、当該復号画像は以降のタイルの復号時に参照される。また、基本レイヤ復号部７０７は、当該基本レイヤのタイルの復号画像をセレクタ７２０及び端子７１２を介して図６の表示部６０６へ出力する。

ステップＳ８０９にて、全体制御部７１４は、基本レイヤの１フレーム分の全てのタイルの符号データを復号したか否かを判定する。基本レイヤの１フレーム分の全てのタイルの符号データの復号処理が終わっていないと判定された場合（ステップＳ８０９のＮＯ）、ステップＳ８０５に戻り、分離部７０４は次のタイルを抽出して出力し、処理を続行する。一方、基本レイヤの１フレーム分の全てのタイルの符号データの復号処理が終了していると判定された場合（ステップＳ８０９のＹＥＳ）、ステップＳ８１０に進む。

ステップＳ８１０にて、分離部７０４は、図６の表示制御部６０３から端子７０２を介して入力された表示制御信号に基づいて、復号及び表示するレイヤに拡張レイヤが含まれているか否かを判定する。拡張レイヤの復号及び表示が指示されている場合（ステップＳ８１０におけるＹＥＳ）はステップＳ８１１に進み、そうでない場合（ステップＳ８１０におけるＮＯ）はステップＳ８１８に進む。ここでは、基本レイヤのみの復号であることからステップＳ８１８に進み、拡張レイヤ復号部７１０は復号処理を行わない。

ステップＳ８１８にて、全体制御部７１４は、端子７０１から入力されるシーケンスに含まれる全てのフレームの基本レイヤの符号データ又は拡張レイヤの符号データの復号処理が終了したか否かを判定する。ここでは、全体制御部７１４が全てのフレームの基本レイヤの符号データの復号を終了したか否かを判定する。復号処理を行っていない基本レイヤ又は拡張レイヤの符号データが存在する場合は（ステップＳ８１８のＮＯ）、ステップＳ８０５に進み、次のフレームの処理を行う。復号処理を行っていないフレームの符号データが存在しない場合は（ステップＳ８１８のＹＥＳ）、復号処理を終了する。

尚、画像復号部６０５によって復号された画像は、図６の表示部６０６に出力される。表示部６０６は、表示制御部６０３から基本レイヤの画像の表示が指示されることにより、画像復号部６０５から出力された基本レイヤの復号画像全体を表示する。

また、ユーザの指示によって表示制御部６０３から記録されている映像の基本レイヤの表示が指示された場合、セレクタ６０４の入力を記憶部６０２とする。そして、表示制御部６０３は記憶部６０２から必要なビットストリームを選択し、セレクタ６０４に出力するよう制御する。

続いて、復号対象レイヤが拡張レイヤの場合について述べる。ユーザから表示制御部６０３に、インターフェース６０１から入力されるビットストリームの拡張レイヤの、復号と一部の表示を指示された場合の復号処理について説明する。これは、監視カメラ等によって撮影された画像の一部を詳細にモニタリングする場合に相当する。画像復号部６０５は、基本レイヤと拡張レイヤの、復号及び表示する領域に含まれるタイルの番号を表示制御部６０３から指示される。本実施形態では説明を簡単にするために、表示する領域に含まれるタイルを図２のタイル５とタイル６の領域とする。以下、画像復号部６０５における、拡張レイヤの画像の復号動作を、基本レイヤのみの復号及び表示を指示された場合と同様に、図８に示したフローチャートに基づいて説明する。また、基本レイヤのみの復号と同じ動作を行う部分は説明を簡略化する。

ステップＳ８０１にて、基本レイヤのみの表示を指示された場合と同様に、ヘッダ復号部７０５は、ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ及びＳｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔを復号する。そして、ヘッダ復号部７０５はこれらの中のｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号及び、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を復号する。

ステップＳ８０２にて、基本レイヤのみの表示時と同様に、ヘッダ復号部７０５は、Ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ符号を復号する。

ステップＳ８０３にて、基本レイヤのみの表示時と同様に、ヘッダ復号部７０５はヘッダ符号データに独立タイルがあるか否かを判定する。

ステップＳ８０４にて、基本レイヤのみの表示時と同様に、ヘッダ復号部７０５はＭＣＴＳ ＳＥＩ符号を復号し、独立タイルフラグと独立タイル位置情報を取得する。

ステップＳ８０５にて、分離部７０４は端子７０２から入力された表示部分にかかるタイルの位置情報を入力する。本説明では、表示を指示されているタイルの位置はタイル５とタイル６である。ここではまず、分離部７０４は、端子７０２から入力された、表示を指示されているタイルの位置情報に基づいて復号対象タイルをタイル５とし、当該タイル５の基本レイヤの符号データを抽出し、抽出した符号データを基本レイヤ復号部７０７に出力する。また、表示を指示されているタイル位置情報を独立タイル判定部７０６に入力する。

ステップＳ８０６にて、独立タイル判定部７０６は、復号対象タイルのタイル番号と独立タイル位置情報のタイル番号とを比較する。ここで、復号対象タイルであるタイル５は独立タイルであるので、ステップ８０７に進む。

ステップＳ８０７にて、復号対象タイルは独立タイルである。基本レイヤのみの表示時と同様に、基本レイヤ復号部７０７は、基本レイヤのタイル５の符号データを復号して復号画像を生成し、当該復号画像をフレームメモリ７０８へ格納する。尚、ここでは拡張レイヤの表示を行うので、基本レイヤ復号部７０７は、生成した復号画像の、端子７１２からの出力は行わない。但し、本発明はこれに限定されず、基本レイヤ復号部７０７が復号画像を出力することも可能である。その場合、基本レイヤ復号部７０７で生成される復号画像と、拡張レイヤ復号部７１０で生成される復号画像の両方を出力し、表示部６０６で選択して表示することも可能である。

ステップＳ８０９にて、全体制御部７１４は、分離部７０４から入力された表示部分にかかる基本レイヤの全てのタイルの符号データを復号したか否かを判定する。ここでは、タイル６の符号データの復号が終わっていないため、ステップＳ８０６に戻り、タイル６の基本レイヤの符号データの復号を行う。

以下、タイル６の基本レイヤの符号データの復号について説明する。

ステップＳ８０５にて、分離部７０４は、タイル６の基本レイヤの符号データを抽出する。ステップＳ８０６にて、独立タイル判定部７０６は復号対象タイルのタイル番号と独立タイル位置情報のタイル番号とを比較し、復号対象タイルであるタイル６は独立タイルであるため、ステップＳ８０７に進む。ステップＳ８０７にて、基本レイヤ復号部７０７は、タイル６の基本レイヤの符号データを復号し、復号画像をフレームメモリ７０８へ格納する。

ステップＳ８０９にて、全体制御部７１４は、分離部７０４から入力された表示部分にかかる基本レイヤの全てのタイルの符号データを復号したと判定し、ステップＳ８１０に進む。

ステップＳ８１０にて、分離部７０４は、図６の表示制御部６０３から端子７０２を介して入力された表示制御信号に基づいて、表示するレイヤに拡張レイヤが含まれているか否かを判定する。ここでは、拡張レイヤまで表示するので、ステップＳ８１１に進む。

ステップＳ８１１にて、ステップＳ８０５と同様に、分離部７０４は端子７０２から入力された表示部分にかかるタイルの位置情報を入力する。ここでは、表示を指示されているタイルの位置はタイル５とタイル６である。分離部７０４は、入力された、表示を指示されているタイルの位置情報に基づいて、復号対象タイルであるタイル５の拡張レイヤの符号データを抽出し、抽出した符号データを拡張レイヤ復号部７１０に出力する。また、表示を指示されているタイル位置情報を独立タイル判定部７０６に入力する。

ステップＳ８１２にて、ステップＳ８０６と同様に、独立タイル判定部７０６は復号対象タイルのタイル番号と独立タイル位置情報のタイル番号とを比較する。各タイル番号が一致すればステップＳ８１３に進み、一致しなければステップＳ８１５に進む。ここでは、独立タイル位置情報は５と６である。したがって、独立タイル判定部７０６は、復号対象タイルであるタイル５は独立タイルセットのタイルであると判定し、ステップＳ８１３に進む。

ステップＳ８１３にて、復号対象タイルは拡張レイヤの復号対象のフレームにおける独立タイルである。拡大部７０９は、フレームメモリ７０８に格納されている、復号済みの基本レイヤの復号画像から復号対象タイルの位置と相対的に等しい位置の独立タイルセットに含まれる復号画像を入力する。拡大部７０９は、入力された独立タイルの復号画像のみを用いて、フィルタリング等で拡大して拡大画像を生成し、当該拡大画像を拡張レイヤ復号部７１０に出力する。

ステップＳ８１４にて、拡張レイヤ復号部７１０は、分離部７０４から入力された復号対象タイルの拡張レイヤ符号データを復号する。拡張レイヤ復号部７１０は、拡大部７０９から入力される拡大画像と、フレームメモリ７１１に格納された復号済みの拡張レイヤの復号画像と、復号対象タイルの復号済みの画素とを参照して復号画像を生成する。即ち、拡張レイヤ復号部７１０は、ステップＳ８１３で生成された基本レイヤの拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ復号部７１０は、フレームメモリ７１１に格納されている拡張レイヤの復号画像のうち復号対象タイルの位置と相対的に等しい位置の独立タイルセット内の復号画像を参照してフレーム間予測を行う。さらに、拡張レイヤ復号部７１０は、復号対象タイル内の復号画像を参照してイントラ予測を行う。図２を用いて具体的に説明すると、フレーム２０６のタイル５の復号を行う際に、フレーム２０４の拡大画像、復号済みのフレーム２０５のタイル５とタイル６の復号画像、及びフレーム２０６のタイル５の復号済み画素を参照して復号を行う。拡張レイヤ復号部７１０によって生成された拡張レイヤのタイルの復号画像はフレームメモリ７１１に出力され、フレームメモリ７１１で保持される。また、拡張レイヤ復号部７１０で生成された拡張レイヤの復号画像は、セレクタ７２０及び端子７１２を介して図６の表示部６０６に出力される。

ステップＳ８１７にて、全体制御部７１４は、分離部７０４から入力された表示部分にかかる拡張レイヤの全てのタイルの符号データを復号したか否かを判定する。ここでは、タイル６の拡張レイヤの符号データの復号が終わっていないため、ステップＳ８１１に戻り、タイル６の拡張レイヤの符号データの復号を行う。

以下、タイル６の拡張レイヤの符号データの復号について説明する。

ステップＳ８１１にて、タイル６の拡張レイヤの符号データを抽出する。ステップＳ８１２にて、独立タイル判定部７０６は復号対象タイルのタイル番号と独立タイル位置情報のタイル番号とを比較する。ここで、復号対象タイルであるタイル６は独立タイルであるため、ステップＳ８１３に進む。

ステップＳ８１３にて、拡大部７０９は、入力された独立タイルの復号画像のみを用いて、拡大画像を生成する。

ステップＳ８１４にて、拡張レイヤ復号部７１０は、タイル６の拡張レイヤの符号データを復号して復号画像を生成し、当該復号画像をフレームメモリ７１１へ格納する。拡張レイヤ復号部７１０は、タイル６の拡張レイヤの符号データの復号において、拡大部７０９から入力される拡大画像と、フレームメモリ７１１に格納された復号済みの拡張レイヤの復号画像と、復号対象タイルの復号済みの画素とを参照する。即ち、拡張レイヤ復号部７１０は、ステップＳ８１３で生成された基本レイヤの拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ復号部７１０は、フレームメモリ７１１に格納されている拡張レイヤにおいて復号対象タイルの位置と相対的に等しい位置の独立タイルセット内の復号画像を参照してフレーム間予測を行う。さらに、拡張レイヤ復号部７１０は、復号対象タイル内の復号画像を参照してイントラ予測を行う。図２を用いて具体的に説明すると、フレーム２０６のタイル６の復号を行う際に、フレーム２０４の拡大画像、復号済みのフレーム２０５のタイル５とタイル６の復号画像、及びフレーム２０６のタイル６の復号済み画素を参照して復号を行う。拡張レイヤ復号部７１０によって生成された拡張レイヤのタイルの復号画像はフレームメモリ７１１に出力され、フレームメモリ７１１で保持される。また、拡張レイヤ復号部７１０で生成された拡張レイヤの復号画像は、セレクタ７２０及び端子７１２を介して図６の表示部６０６に出力される。

ステップＳ８１７にて、全体制御部７１４は、表示部分にかかる拡張レイヤの全てのタイルの符号データを復号したと判定し、ステップＳ８１８に進む。

ステップＳ８１８にて、全体制御部７１４は、端子７０１から入力されるシーケンスに含まれる全てのフレームの、表示部分にかかるタイルの符号データの復号処理が終了したか否かを判定する。復号処理を行っていないフレームが存在する場合は（ステップＳ８１８のＮＯ）、ステップＳ８０５に進み、次のフレームの処理を行う。復号処理を行っていないフレームが存在しない場合は（ステップＳ８１８のＹＥＳ）、復号処理を終了する。

以上、表示領域（復号対象タイル）が独立タイルセットで構成されている場合について述べたが、独立タイルで構成されない場合について述べる。ステップＳ８０５までは前述のとおりである。

ステップＳ８０６にて、独立タイル判定部７０６は、復号対象タイルが独立タイルではないと判定し、ステップＳ８０８に進む。ステップＳ８０８にて、復号対象レイヤが基本レイヤのみの場合と同様に、基本レイヤ復号部７０７は、基本レイヤのタイルを復号して復号画像を生成し、当該復号画像をフレームメモリ７０８に格納する。尚、ここでは拡張レイヤの表示を行うので、基本レイヤ復号部７０７は、生成した復号画像の、端子７１２からの出力は行わない。

ステップＳ８０９にて、全体制御部７１４は、基本レイヤの１フレーム分の全てのタイルの符号データを復号したか否かを判定する。ここでは、全体制御部７１４は基本レイヤの１フレーム分の全てのタイルの符号化データを復号したと判定して、ステップＳ８１０へ進む。ステップＳ８１０にて、分離部７０４は、入力された表示制御信号に基づいて拡張レイヤまで表示することが指示されていると判定し、ステップＳ８１１に進む。ステップＳ８１１にて、分離部７０４は、表示部分にかかるタイルの位置情報を端子７０２から入力する。分離部７０４は入力された位置情報に基づいて、復号対象タイルであるタイルの拡張レイヤの符号データを抽出する。ステップＳ８１２にて、独立タイル判定部７０６は、復号対象タイルのタイル番号と独立タイル位置情報のタイル番号とを比較する。ここでは、独立タイル判定部７０６は、復号対象タイルが独立タイルセットのタイルではない（復号対象タイルのタイル番号は独立タイル位置情報のタイル番号と一致しない）と判定し、ステップＳ８１５に進む。

ステップＳ８１５にて、復号対象タイルは独立タイルではない。拡大部７０９はフレームメモリ７０８に格納されている、復号済みの基本レイヤの復号画像から、復号対象タイルの位置と相対的に等しい位置の基本レイヤのタイルと、当該タイルの周辺の復号画像とを入力する。拡大部７０９は、入力された基本レイヤの復号画像を用いて、フィルタリング等で拡大して拡大画像を生成し、当該拡大画像を拡張レイヤ復号部７１０に出力する。

ステップＳ８１６にて、拡張レイヤ復号部７１０は、分離部７０４から入力された復号対象タイルの拡張レイヤ符号データを復号する。拡張レイヤ復号部７１０は、拡大部７０９から入力される拡大画像と、フレームメモリ７１１に格納された復号済みの拡張レイヤの復号画像と、復号対象タイルの復号済みの画素とを参照して復号画像を生成する。即ち、拡張レイヤ復号部７１０は、ステップＳ８１５で生成された基本レイヤの拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ復号部７１０は、フレームメモリ７１１に格納されている拡張レイヤの復号画像を参照してフレーム間予測を行う。さらに、拡張レイヤ復号部７１０は、復号対象タイル内の復号画像を参照してイントラ予測を行う。拡張レイヤ復号部７１０によって生成された拡張レイヤのタイルの復号画像はフレームメモリ７１１に出力され、フレームメモリ７１１で保持される。また、拡張レイヤ復号部７１０で生成された拡張レイヤの復号画像は、端子７１２を介して図６の表示部６０６に出力される。

ステップＳ８１７にて、全体制御部７１４は、端子７０２から分離部７０４に入力された表示部分にかかるタイルの位置情報に基づく関係する全てのタイルが復号されたか否かを判定する。全てのタイルの復号処理が終わっていなければ（ステップＳ８１７のＮＯ）、ステップＳ８１１に戻り、分離部７０４は次のタイルを抽出して出力し、処理を続行する。表示部分にかかる全てのタイルの符号データの復号処理が終了していれば（ステップＳ８１７のＹＥＳ）、ステップＳ８１８に進む。

ステップＳ８１８にて、全体制御部７１４は、全てのフレーム分の符号データの復号処理が終了したか否かを判定する。復号処理を行っていない符号データが存在する場合は（ステップＳ８１８のＮＯ）、ステップＳ８０５に進み、次のフレームの処理を行う。復号処理を行っていない符号データが存在しない場合は（ステップＳ８１８のＹＥＳ）、復号処理を終了する。

図６に戻り、表示部６０６は表示制御部６０３から拡張レイヤの画像の表示を指示されている。このため、表示部６０６は、画像復号部６０５によって復号された拡張レイヤの復号画像を表示する。尚、拡張レイヤは基本レイヤよりも高解像度であるため、拡張レイヤの復号画像を表示することにより、表示部６０６は基本レイヤの画像の一部分を拡大表示したような効果が得ることができる。

また、ユーザの指示によって表示制御部６０３から記録されている映像の基本レイヤの表示が指示された場合、セレクタ６０４の入力を記憶部６０２とする。そして、表示制御部６０３は記憶部６０２から必要なビットストリームを選択し、セレクタ６０４に出力するよう制御する。

以上の構成と動作により、独立タイル及び独立タイルセットを使用する場合において、拡張レイヤと基本レイヤの各タイルの相対的な位置を一致させることができる。即ち、基本レイヤで独立復号タイルセットのタイルであれば、全ての拡張レイヤで当該タイルの位置と相対的に等しい位置のタイルは独立復号タイルセットのタイルとすることができる。これにより、階層符号化されたビットストリームを復号する場合に、いずれの階層においても独立タイルを最小の画像データの参照のみで復号できる。このように、予測において参照する画像データを減らすことにより、データの転送量を抑えたり、演算量を削減したり、低消費電力を実現することが可能となる。また、独立タイルの復号処理において基本レイヤから拡張レイヤまで各階層で、当該独立タイル以外のタイルを参照せずに独立に復号することにより、高速処理が可能となる。特に、符号化側で重要な領域に独立タイルセットを適応するように符号化してビットストリームを生成することで、当該ビットストリームを復号する場合において、当該重要な領域を高速に復号することができる。

尚、本実施形態において、図２のように、復号対象のフレームより時間的に前のフレームのみを参照フレームとして予測及び復号する例を示したが、これに限定されない。即ち、複数フレームを参照して予測及び復号する場合においても同様に参照されることは上記の説明から明白である。

また、本実施形態において、拡大部７０９を用いた画像復号部６０５について説明したが、本発明はこれに限定されない。即ち、拡大部７０９を省略してもよい。または、拡大率を１とし、基本レイヤ復号部７０７で復号される量子化パラメータよりも拡張レイヤ復号部７１０で復号される量子化パラメータを小さくするようにしてもよい。これによって、ＳＮＲ階層データの復号を行うことが可能になる。

また、本実施形態において１フレームの符号データに全ての階層の符号データを含む例を取って説明したが、これに限定されず、レイヤ毎に入力されても構わない。例えば、記憶部６０２にレイヤ毎に符号データをまとめて格納しておき、拡張レイヤに関しては必要に応じてそこから符号データを切り出して読み出してももちろん構わない。

また、本実施形態において、基本レイヤと１階層の拡張レイヤ（全体で２階層）のある場合で説明したが、本発明はこれに限定されず、全体で３階層以上あっても構わない。この場合、拡張レイヤ復号部７１０、フレームメモリ７１１、及び拡大部７０９を１つのセットとして、当該セットを拡張レイヤの階層数分だけ設けることにより、より多くの階層に対応することができる。また、図９に示すように、拡張レイヤ復号部７１０、フレームメモリ９１１、及び拡大部９０９を１つずつ有し、各階層の復号において兼用で使用しても構わない。図９は、複数の階層の拡張レイヤを復号可能な画像復号装置であって、拡張レイヤ復号部７１０、フレームメモリ９１１、及び拡大部９０９を１つずつ有する画像復号装置のブロック図である。図９において、図７の画像復号部６０５の各処理部と同じ機能を果たすものについては同じ番号を付し、説明を省略する。９０８はフレームメモリであり、基本レイヤ復号部７０７で生成された復号画像を保持している。フレームメモリ９０８は、図７のフレームメモリ７０８とはセレクタ９２０への出力を行う機能が追加されていることが異なる。９０９は拡大部であり、図７の拡大部７０９とは、フレームメモリ９１１からの入力とフレームメモリ９０８からの入力を選択して入力が可能になっていることが異なる。９１１はフレームメモリであり、図７のフレームメモリ７１１とは、所望のタイルの符号データを拡大部９０９及びセレクタ９２０に出力する機能を付与されていることが異なる。９２０はセレクタであり、フレームメモリ９０８又はフレームメモリ９１１から所望の復号画像を選択して入力し、選択した復号画像を端子９１２に出力する。９１２は端子であり、セレクタ９２０から入力された復号画像を画像復号部６０５の外部に出力する。

図９に示す画像復号部６０５を用いて復号処理を行う場合に、各処理部の動作を図１０に示したフローチャートを用いて以下に説明する。図１０は、図８のステップＳ８０５からステップＳ８１８を変更した部分のみを示している。図１０において、図８のステップと同様の機能を果たすステップに関しては図８と同じ番号を付与し、説明を省略する。また、本実施形態では実施形態１の図４に記載の画像符号化装置４００によって、図５の符号化方法で生成されたビットストリームであって、階層数が３であるビットストリームを復号する一例につて説明する。図８のステップＳ８０１からステップＳ８０４にて、前述の通り、ヘッダ復号部７０５はヘッダ符号データを復号する。ここではｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号は２である。

まず、復号対象レイヤが基本レイヤのみの場合について述べる。ここでは、ユーザが表示制御部６０３に、インターフェース６０１から入力されるビットストリームにおいて基本レイヤの全体の復号及び表示の開始を指示するとする。以下、前述の基本レイヤのみの表示時と同様に、図８のステップＳ８０５からステップＳ８０９によって、基本レイヤの１フレーム分の復号が終了しているとする。但し、基本レイヤ復号部７０７で生成された復号画像は全てフレームメモリ９０８に格納される。

ステップＳ１０１０にて、基本レイヤ復号部７０７又は拡張レイヤ復号部７１０は、復号済みの階層の階層数と表示制御部６０３が指示する表示する階層とを比較し、表示する階層が復号済みであるか否かを判定する。復号済みの階層数が表示する階層に達している場合（ステップＳ１０１０のＹＥＳ）、ステップＳ１００３に進み、達していない場合（ステップＳ１０１０のＮＯ）、ステップＳ１００１に進む。ここでは、分離部７０４が、端子７０２から入力される表示制御信号に基づいて、表示する階層は基本レイヤのみであると判定したとする。このため、基本レイヤ復号部７０７は、ステップＳ１０１０において表示する階層に達したと判断し、ステップＳ１００３に進む。

ステップＳ１００３にて、セレクタ９２０は、復号された階層のうち、最下位の階層の復号画像を選択する。この場合、最下位の階層は基本レイヤであるので、セレクタ９２０は、フレームメモリ９０８から復号された基本レイヤの復号画像を読み出し、読み出した復号画像を端子９１２を介して図６の表示部６０６に出力する。そして、表示部６０６は、表示制御部６０３から基本レイヤの画像の表示が指示されることにより、画像復号部６０５から出力された基本レイヤの復号画像全体を表示する。

続いて、復号対象レイヤが拡張レイヤの場合について述べる。ここでは、ユーザが表示制御部６０３に、インターフェース６０１から入力されるビットストリームにおいて拡張レイヤの復号と、拡張レイヤの復号画像の一部の表示を指示した場合の、復号について説明する。また、例として、表示する階層は第２拡張レイヤ（階層数は３）として説明を行う。さらに、本実施形態では説明を簡単にするために、表示する領域に含まれるタイルを図２のタイル５とタイル６の領域とする。復号動作については基本レイヤのみの復号及び表示が指示された場合と同様に、図１０に示したフローチャートに基づいて説明する。また、基本レイヤのみの復号と同じ動作を行う部分は説明を簡略化する。

ステップＳ８０６にて、独立タイル判定部７０６は、復号対象タイルのタイル番号と独立タイル位置情報のタイル番号とを比較する。ここでは、復号対象タイルであるタイル５は独立タイルであるので、ステップ８０７に進む。ステップＳ８０７にて、基本レイヤ復号部７０７は、基本レイヤのタイル５の復号データを復号して復号画像を生成し、当該復号画像をフレームメモリ９０８へ格納する。ステップＳ８０９にて、全体制御部７１４は、分離部７０４から入力された表示部分にかかる基本レイヤの全てのタイルの符号データを復号したか否かを判定する。

ステップＳ１０１０にて、基本レイヤ復号部７０７又は拡張レイヤ復号部７１０は、復号済みの階層の階層数と表示制御部６０３が指示する表示する階層とを比較し、表示する階層が復号済みであるか否かを判定する。ここでは、端子７０２から入力される表示制御信号によれば、表示する階層は第２拡張レイヤ（階層数は３）である。したがって、拡張レイヤ復号部７１０は、表示する階層が復号済みでないと判断し、ステップＳ１００１に進む。

ステップＳ１００１にて、拡張レイヤ復号部７１０は、ステップＳ８０７乃至ステップＳ８０８で復号された基本レイヤ、又は後述するステップＳ１０１４乃至ステップＳ１０１６で復号された階層の拡張レイヤを上位レイヤとする。さらに、続く復号対象の拡張レイヤを下位レイヤとする。最初はステップＳ８０７乃至ステップＳ８０８で符号化された基本レイヤを上位レイヤとし、第１拡張レイヤを下位レイヤとして設定する。

ステップＳ１０１１にて、分離部７０４は、端子７０２から入力された表示部分にかかるタイルの位置情報を入力する。本説明では、当該表示部分にかかるタイルの位置はタイル５とタイル６である。そして、分離部７０４は、端子７０２から入力された位置情報に基づいて、バッファ７０３に格納された階層符号データのうち復号対象タイルであるタイル５の下位レイヤ（第１拡張レイヤ）の符号データを抽出する。さらに、分離部７０４は、抽出した符号データを拡張レイヤ復号部７１０に出力する。また、分離部７０４は、そのタイル位置情報を独立タイル判定部７０６に入力する。

ステップＳ８１２にて、独立タイル判定部７０６は、復号対象タイルのタイル番号と独立タイル位置情報のタイル番号とを比較する。タイル番号が一致すればステップＳ１０１３に進み、一致しなければステップＳ１０１５に進む。ここでは、独立タイル位置情報は５と６であり、復号対象タイルであるタイル５は独立タイル位置情報のタイル番号と一致する。したがって、独立タイル判定部７０６は、復号対象タイルが独立タイルセットのタイルであると判定し、ステップＳ１０１３に進む。

ステップＳ１０１３にて、復号対象タイルは独立タイルである。拡大部９０９は、上位レイヤが基本レイヤであることから、フレームメモリ９０８に格納されている基本レイヤの復号画像から復号対象タイルの位置と相対的に等しい位置の独立タイルセットに含まれる独立タイルの復号画像を入力する。拡大部９０９は、入力された独立タイルの復号画像のみを用いて、フィルタリング等で拡大して拡大画像を生成し、当該拡大画像を拡張レイヤ復号部７１０へ出力する。

ステップＳ１０１４にて、ステップＳ８１４と同様に、拡張レイヤ復号部７１０は分離部７０４から入力された復号対象タイルの下位レイヤ（第１拡張レイヤ）の符号データを復号する。拡張レイヤ復号部７１０は、拡大部９０９から入力される拡大画像と、フレームメモリ９１１に格納された復号済みの拡張レイヤ（第１拡張レイヤ）の復号画像と、復号対象タイルの復号済みの画素とを参照して復号画像を生成する。即ち、拡張レイヤ復号部７１０は、ステップＳ１０１３で生成された上位レイヤ（基本レイヤ）の拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ復号部７１０は、フレームメモリ９１１に格納されている下位レイヤ（第１拡張レイヤ）の復号画像のうち復号対象タイルの位置と相対的に等しい位置の独立タイルセット内の復号画像を参照してフレーム間予測を行う。さらに、拡張レイヤ復号部７１０は、復号対象タイル内の復号画像を参照してイントラ予測を行う。拡張レイヤ復号部７１０で復号された下位レイヤ（第１拡張レイヤ）のタイルの復号画像はフレームメモリ９１１に出力され、フレームメモリ９１１で保持される。

ステップＳ１０１７にて、全体制御部７１４は、分離部７０４から入力された表示部分にかかる下位レイヤ（第１拡張レイヤ）の全てのタイルの符号データを復号したか否かを判定する。ここでは、タイル６の拡張レイヤの符号データの復号が終わっていないため、ステップＳ１０１１に戻り、タイル６の下位レイヤ（第１拡張レイヤ）の符号データの復号を行う。

以下、タイル６の下位レイヤ（第１拡張レイヤ）の符号データの復号について説明する。

ステップＳ１０１１にて、分離部７０４は、バッファ７０３に格納された階層符号データのうち復号対象タイルであるタイル６の下位レイヤ（第１拡張レイヤ）の符号データを抽出する。ステップＳ８１２にて、独立タイル判定部７０６は、復号対象タイルのタイル番号と独立タイル位置情報のタイル番号とを比較する。ここでは、独立タイル判定部７０６は、復号対象タイルであるタイル６が独立タイルであると判定し、ステップＳ１０１３に進む。

ステップＳ１０１３にて、拡大部９０９は、入力された上位レイヤ（基本レイヤ）の独立タイルの復号画像のみを用いて、拡大画像を生成する。即ち、拡大部９０９はフレームメモリ９０８から復号画像を入力して、フィルタリング等で拡大して拡大画像を生成する。

ステップＳ１０１４にて、拡張レイヤ復号部７１０は、タイル６の下位レイヤ（第１拡張レイヤ）の符号データを復号して復号画像を生成し、当該復号画像をフレームメモリ９１１へ格納する。拡張レイヤ復号部７１０は、タイル６の下位レイヤ（第１拡張レイヤ）の符号データの復号において、拡大部９０９から入力される拡大画像とフレームメモリ９１１に格納された復号済みの拡張レイヤの復号画像と復号対象タイルの復号済みの画素とを参照する。即ち、拡張レイヤ復号部７１０は、ステップＳ１０１３で生成された上位レイヤ（基本レイヤ）の拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ復号部７１０は、フレームメモリ９１１に格納されている下位レイヤ（第１拡張レイヤ）の復号画像のうち復号対象タイルの位置と相対的に等しい位置の独立タイルセット内の復号画像を参照してフレーム間予測を行う。さらに、拡張レイヤ復号部７１０は、復号対象タイル内の復号画像を参照してイントラ予測を行う。さらに、拡張レイヤ復号部７１０で復号された下位レイヤ（第１拡張レイヤ）のタイルの復号画像はフレームメモリ９１１に出力され、フレームメモリ９１１で保持される。

ステップＳ１０１７にて、全体制御部７１４は、表示部分にかかる下位レイヤ（第１拡張レイヤ）の全てのタイルの符号データを復号したと判定し、ステップＳ１００２に進む。

ステップＳ１００２にて、全体制御部７１４は、復号されたｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号で表される全ての階層について符号化が終了したか否かを判定する。全ての階層のタイルの復号処理が終わっていなければ（ステップＳ１００２のＮＯ）、ステップＳ１０１０に戻り、表示の判定を行う。全ての階層のタイルの復号処理が終了していれば（ステップＳ１００２のＹＥＳ）、ステップＳ１００３に進む。ここでは、拡張レイヤの復号処理が終了していないため、拡張レイヤ復号部７１０は、全ての階層のタイルの復号処理が終了していないと判定し、ステップＳ１０１０に戻る。

以下、第２拡張レイヤの復号を行う。即ち、ステップＳ１０１０にて、拡張レイヤ復号部７１０は、表示する階層が復号済みであるか否かを判定する。端子７０２から入力される表示制御信号によれば、表示する階層は第２拡張レイヤである。ここでは、拡張レイヤ復号部７１０は、第１拡張レイヤまでしか復号していない（第２拡張レイヤは復号済みでない）と判定するため、ステップＳ１００１に進む。ステップＳ１００１にて、拡張レイヤ復号部７１０は、ステップＳ１０１４乃至ステップＳ１０１６で復号された第１拡張レイヤを上位レイヤとし、第２拡張レイヤを下位レイヤとして設定する。

ステップＳ１０１１にて、分離部７０４は、バッファ７０３に格納された階層符号データのうち下位レイヤ（第２拡張レイヤ）のタイルの符号データを抽出し、拡張レイヤ復号部７１０に入力する。ここではまず、分離部７０４は、タイル５の下位レイヤ（第２拡張レイヤ）の符号データを抽出し、抽出した符号データを拡張レイヤ復号部７１０に入力する。ステップＳ８１２にて、独立タイル判定部７０６は、復号対象タイルであるタイル５が独立タイルであると判定し、ステップＳ１０１３に進む。ステップＳ１０１３にて、拡大部９０９は、上位レイヤが拡張レイヤ（第１拡張レイヤ）である。このため、拡大部９０９は、フレームメモリ９０８に格納されている上位レイヤ（第１拡張レイヤ）の復号画像から復号対象タイルの位置と相対的に等しい位置の独立タイルセットに含まれる独立タイルの復号画像を入力する。即ち、拡大部９０９は入力された上位レイヤ（第１拡張レイヤ）の独立タイルの復号画像のみを用いて、フィルタリング等で拡大して拡大画像を生成し、当該拡大画像を拡張レイヤ復号部７１０に入力する。

ステップＳ１０１４にて、拡張レイヤ復号部７１０は、分離部７０４から入力された復号対象タイルの下位レイヤ（第２拡張レイヤ）の符号データを復号する。拡張レイヤ復号部７１０は、次の画像を参照して復号画像を生成する。即ち、拡張レイヤ復号部７１０は、拡大部９０９から入力される上位レイヤ（第１拡張レイヤ階層）の拡大画像と、フレームメモリ９１１に格納された復号済みの拡張レイヤ（第２拡張レイヤ）の復号画像と、復号対象タイルの復号済みの画素とを参照する。即ち、拡張レイヤ復号部７１０は、ステップＳ１０１３で生成された上位レイヤ（第１拡張レイヤ）の拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ復号部７１０は、フレームメモリ９１１に格納されている下位レイヤ（第１拡張レイヤ）の復号画像のうち復号対象タイルの位置と相対的に等しい位置の独立タイルセット内の復号画像を参照してフレーム間予測を行う。さらに、拡張レイヤ復号部７１０は、復号対象タイル内の復号画像を参照してイントラ予測を行う。さらに、拡張レイヤ復号部７１０で復号された下位レイヤ（第２拡張レイヤ）のタイルの復号画像はフレームメモリ９１１に出力され、フレームメモリ９１１で保持される。

ステップＳ１０１７にて、全体制御部７１４は、分離部７０４から入力された表示部分にかかる下位レイヤ（第２拡張レイヤ）の全てのタイルの符号データを復号したか否かを判定する。ここでは、タイル６の拡張レイヤの符号データの復号が終わっていないため、ステップＳ１０１１に戻り、タイル６の下位レイヤ（第２拡張レイヤ）の符号データの復号を行う。タイル６の下位レイヤの復号については、上位レイヤを第１拡張レイヤ階層とし、下位レイヤを第２拡張レイヤとすれば、前述のとおりタイル５の第２拡張レイヤの符号データの復号処理と同様であるので、説明を省略する。

ステップＳ１００２にて、全体制御部７１４は、第２拡張レイヤまで復号したので、全ての階層のタイルの復号処理が終わったと判定し、ステップＳ１００３に進む。ステップＳ１００３にて、セレクタ９２０は、復号された階層のうち、最下位の階層の復号画像を選択する。この場合、最下位の階層は第２拡張レイヤであるので、セレクタ９２０はフレームメモリ９１１から第２拡張レイヤの復号画像を読み出し、当該第２拡張レイヤの復号画像を端子９１２を介して図６の表示部６０６に出力する。そして、表示部６０６は、表示制御部６０３から第２拡張レイヤの画像の表示が指示されることにより、画像復号部６０５から出力された第２拡張レイヤの復号画像全体を表示部６０６は表示する。

尚、上記において、表示する階層を第２拡張レイヤ（階層数は３）として説明を行った。しかしながら、階層符号化の符号データの階層数が３以上であり、表示する階層を第１拡張レイヤ（階層数は２）とした場合、第１拡張レイヤの復号が終了した（ステップＳ１００２にてＮＯ）後に、スタップＳ１０１０にてステップＳ１００３に進む。このため、第２拡張レイヤより上位の階層の符号データの復号の復号は行われない。

以上、表示領域（復号対象タイル）が独立タイルセットで構成されている場合について述べたが、独立タイルで構成されない場合について述べる。ステップＳ８０５までは前述のとおりである。

ステップＳ８０６にて、独立タイル判定部７０６は、復号対象タイルが独立タイルではないと判定し、ステップＳ８０８に進む。ステップＳ８０８にて、復号対象レイヤが基本レイヤのみの場合と同様に、基本レイヤ復号部７０７は、基本レイヤのタイルを復号して復号画像を生成し、当該復号画像をフレームメモリ９０８に格納する。

ステップＳ８０９にて、全体制御部７１４は、基本レイヤの１フレーム分の全てのタイルの符号データを復号したか否かを判定する。ここでは、基本レイヤ復号部７０７は基本レイヤの１フレーム分の全てのタイルの符号化データを復号したと判定して、ステップＳ１０１０へ進む。ステップＳ１０１０にて、基本レイヤ復号部７０７又は拡張レイヤ復号部７１０は、第２拡張レイヤまで表示するので、表示する階層が復号済みでないと判定し、ステップＳ１００１に進む。

ステップＳ１００１にて、拡張レイヤ復号部７１０は、ステップＳ８０８で復号された基本レイヤを上位レイヤとし、続く復号対象の拡張レイヤ（第１拡張レイヤ）を下位レイヤとする。ステップＳ１０１１にて、分離部７０４は、端子７０２から入力された表示部分にかかるタイルの位置情報を入力する。そして、分離部７０４は、入力された位置情報に基づいて、バッファ７０３に格納された階層符号データのうち復号対象タイルの下位レイヤ（第１拡張レイヤ）の符号データを抽出する。ステップＳ８１２にて、独立タイル判定部７０６は、復号対象タイルのタイル番号と独立タイル位置情報のタイル番号とを比較する。ここでは、復号対象タイルであるタイル５は独立タイル位置情報のタイル番号と一致しない。従って、独立タイル判定部７０６は、復号対象タイルが独立タイルセットのタイルではないと判定し、ステップＳ１０１５に進む。

ステップＳ１０１５にて、拡大部９０９はフレームメモリ９０８に格納されている上位レイヤ（基本レイヤ）の復号画像から、復号対象タイルの位置と相対的に等しい位置の基本レイヤのタイルと、当該タイルの周辺の復号画像とを入力する。拡大部９０９は、入力された基本レイヤのタイルの復号画像のみを用いて、フィルタリング等で拡大して拡大画像を生成し、当該拡大画像を拡張レイヤ復号部７１０に出力する。

ステップＳ１０１６にて、拡張レイヤ復号部７１０は、分離部７０４から入力された復号対象タイルの下位レイヤ（第１拡張レイヤ）の符号データを復号する。拡張レイヤ復号部７１０は、以下を参照して予測画像を生成する。即ち、拡大部９０９から入力される上位レイヤ（基本レイヤ）の拡大画像と、フレームメモリ９１１に格納された復号済みの下位レイヤ（第１拡張レイヤ）の復号画像と、復号対象タイルの下位レイヤ（第１拡張レイヤ）の復号済みの画素とを参照する。さらに、拡張レイヤ復号部７１０は、参照により生成した予測画像と復号した予測誤差から復号画像を生成する。即ち、拡張レイヤ復号部７１０は、ステップＳ１０１５で生成された上位レイヤ（基本レイヤ）の拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ復号部７１０は、フレームメモリ７１１に格納されている下位レイヤ（第１拡張レイヤ）の復号画像を参照してフレーム間予測を行う。さらに、拡張レイヤ復号部７１０は、下位レイヤ（第１拡張レイヤ）の復号対象タイル内の復号画像を参照してイントラ予測を行う。拡張レイヤ復号部７１０によって生成された下位レイヤ（第１拡張レイヤ）のタイルの復号画像はフレームメモリ９１１に出力され、フレームメモリ９１１で保持される。

ステップＳ１０１７にて、全体制御部７１４は、表示部分にかかる下位レイヤ（第１拡張レイヤ）の全てのタイルの符号データの復号処理を終了したか否かを判定する。ここでは拡張レイヤ復号部７１０は、第１拡張レイヤの全てのタイルの符号データの復号処理を終了したと判定し、ステップＳ１００２に進む。ステップＳ１００２にて、全体制御部７１４は、全ての階層について復号処理が終了したか否かを判定する。ここでは、拡張レイヤ復号部７１０は、第２拡張レイヤの復号処理が終了していないと判定し、ステップＳ１０１０に戻る。

以下、第２拡張レイヤの復号を行う。ステップＳ１０１０にて、拡張レイヤ復号部７１０は、表示する階層である第２拡張レイヤ階層の復号が終わっていないと判定し、ステップＳ１００１に進む。ステップＳ１００１にて、拡張レイヤ復号部７１０は、ステップＳ１０１６で復号された第１拡張レイヤを上位レイヤとし、第２拡張レイヤを下位レイヤとして設定する。ステップＳ１０１１にて、分離部７０４は、下位レイヤ（第２拡張レイヤ）の復号対象タイルの符号データを抽出し、当該符号データを拡張レイヤ復号部７１０へ出力する。ステップＳ８１２にて、独立タイル判定部７０６は、復号対象タイルが独立タイルセットのタイルではないと判定し、ステップＳ１０１５に進む。ステップＳ１０１５にて、拡大部９０９は、上位レイヤが拡張レイヤ（第１拡張レイヤ）であることから、フレームメモリ９０８に格納されている拡張レイヤ（第１拡張レイヤ）レイヤの復号画像を入力する。そして、拡大部９０９は、入力された上位レイヤ（第１拡張レイヤ）の復号画像を用いて、フィルタリング等で拡大して拡大画像を生成する。この時、復号対象タイルの位置と相対的に等しい位置のタイルと、当該タイルの周囲の画素を用いて拡大画像を生成してもよい。さらに、拡大部９０９は、生成した拡大画像を拡張レイヤ復号部７１０に入力する。

ステップＳ１０１４にて、拡張レイヤ復号部７１０は、分離部７０４から入力された復号対象タイルの下位レイヤ（第２拡張レイヤ）の符号データを復号する。拡張レイヤ復号部７１０は拡大部９０９から入力される上位レイヤ（第１拡張レイヤ）の拡大画像と、フレームメモリ９１１に格納された復号済みの拡張レイヤ（第２拡張レイヤ）の復号画像と、復号対象タイルの復号済みの画素とを参照して復号画像を生成する。即ち、拡張レイヤ復号部７１０はステップＳ１０１５で生成された上位レイヤ（第１拡張レイヤ）の拡大画像を参照してレイヤ間予測を行う。また、拡張レイヤ復号部７１０は、フレームメモリ９１１に格納されている下位レイヤ（第１拡張レイヤ）の復号画像を参照してフレーム間予測を行う。さらに、拡張レイヤ復号部７１０は、復号対象タイル内の復号画像を参照してイントラ予測を行う。拡張レイヤ復号部７１０で復号された下位レイヤ（第２拡張レイヤ）のタイルの復号画像はフレームメモリ９１１に出力され、フレームメモリ９１１で保持される。

ステップＳ１０１７にて、全体制御部７１４は、分離部７０４から入力された表示部分にかかる下位レイヤ（第２拡張レイヤ）の全てのタイルの符号データを復号したか否かを判定する。ここでは、拡張レイヤ復号部７１０は、第２拡張レイヤの全てのタイルの符号データの復号を終了したと判定し、ステップＳ１００２へ進む。ステップＳ１００２にて、全体制御部７１４は、第２拡張レイヤまで復号したので、全ての階層のタイルの復号処理が終わったと判定し、ステップＳ１００３に進む。ステップＳ１００３にて、セレクタ９２０は、復号された階層のうち、最下位の階層の復号画像を選択する。この場合、最下位の階層は第２拡張レイヤであるので、セレクタ９２０は、フレームメモリ９１１から復号画像を読み出し、読み出した復号画像を端子９１２を介して図６の表示部６０６に出力する。そして、表示部６０６は、表示制御部６０３から第２拡張レイヤの画像の表示が指示されることにより、画像復号部６０５から出力された第２拡張レイヤの復号画像を表示する。

尚、上記において、表示する階層は第２拡張レイヤ（階層数は３）として説明を行った。しかしながら、階層符号化の符号データの階層数が３以上であり、表示する階層を第１拡張レイヤ（階層数は２）とした場合、第１拡張レイヤの復号が終了した（ステップＳ１００２にてＮＯ）後に、スタップＳ１０１０にてステップＳ１００３に進む。このため、第２拡張レイヤより上位の階層の符号データの復号は行われない。

以上の構成と動作により、各拡張レイヤと基本レイヤの各レイヤにおいて独立復号タイルの相対的な位置を一致させることができる。即ち、基本レイヤで所定のタイルを独立タイルを設定した場合、各拡張レイヤにおいて、当該基本レイヤの独立タイルの位置と相対的に等しい位置のタイルは独立タイルとすることができる。これにより、階層符号化のいずれの階層においても、独立タイルの符号データの予測及び復号のために参照する画素を制限することができる。特に、図６において、表示制御部６０３によって表示を指示されたタイルが独立タイルであれば、記憶部６０２から必要な符号データを読み出し、画像復号部６０５は当該符号データのみを復号すれば良い。このため、従来よりも高速に処理することが可能になる。

さらに、ＭＣＴＳ ＳＥＩ符号がビットストリームに存在する場合、タイル位置一致情報であるｖｕｉ＿ｐａｒａｍｅｔｅｒｓのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号は１に必ずセットされる。即ち、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓにおいて、ＭＣＴＳ ＳＥＩ符号がビットストリームに存在する場合、符号データとしてのｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を省略することができる。もし、ＭＣＴＳ ＳＥＩ符号がビットストリームに無ければ、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を復号し、後段の復号で参照される。ＭＣＴＳ ＳＥＩ符号がビットストリームにあれば、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号は符号化されていないので、復号側で必ず１の値を設定する。このようにすることで、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号が無くても同様に復号することが可能になる。

＜実施形態３＞
上記実施形態１及び実施形態２において、それぞれ図１、図４、図６、図７、及び図９に示した各処理部はハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行なう処理をコンピュータプログラムで実行しても良い。

図１１は、上記実施形態１及び実施形態２に係る画像符号化装置及び画像復号装置の各処理部が行う処理を実行するコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１１０１は、ＲＡＭ１１０２やＲＯＭ１１０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上術した各実施形態に係る画像符号化装置及び画像復号装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１１０１は、図１、図４、図６、図７、及び図９に示した各処理部として機能することになる。

ＲＡＭ１１０２は、外部記憶装置１１０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１１０７を介して外部から取得したデータ等を一時的に記憶するためのエリアを有する。さらに、ＲＡＭ１１０２は、ＣＰＵ１１０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１１０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１１０３は、本コンピュータの設定データや、ブートプログラム等を格納する。操作部１１０４は、キーボードやマウス等により構成されており、本コンピュータをユーザが操作することで、各種の指示をＣＰＵ１１０１に対して入力することができる。出力部１１０５は、ＣＰＵ１１０１による処理結果を表示させるための制御を行う。また、出力部１１０５は、例えば液晶ディスプレイで構成される表示部（不図示）において、ＣＰＵ１６０１による処理結果を表示するための制御を行う。

外部記憶装置１１０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１１０６には、オペレーティングシステム（ＯＳ）や、図１、図４、図６、図７、及び図９に示した各部の機能をＣＰＵ１１０１に実現させるためのコンピュータプログラムが保存されている。さらには、外部記憶装置１１０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置１１０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１１０１による制御に従って適宜、ＲＡＭ１１０２にロードされ、ＣＰＵ１１０１による処理対象となる。Ｉ／Ｆ１１０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置等の他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１１０７を介して様々な情報を取得したり、送出したりすることができる。バス１１０８は上述の各部を繋ぐ。

上述の構成における作動は、前述のフローチャートで説明した作動をＣＰＵ１１０１が中心となってその制御を行う。

＜その他の実施形態＞
尚、本発明を容易に実現するために、ビットストリームの先頭に近いレベルで独立タイルの有無を明示することは有用である。例えば、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓを利用する方法について図１２を用いて説明する。図１２はｖｕｉ＿ｐａｒａｍｅｔｅｒｓのシンタックスを表す図である。ｖｕｉ＿ｐａｒａｍｅｔｅｒｓの中には、ビットストリームに必ず独立タイルが存在することを表すｍｏｔｉｏｎ＿ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓ＿ｆｌａｇ符号が含まれている。この符号の値が１であれば、ＭＣＴＳ ＳＥＩを含み、ビットストリームに独立タイルが存在し、基本レイヤと拡張レイヤの各タイルの相対的な位置が一致することを示す。即ち、必ずｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号が１で固定なので、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号の符号化を行う必要が無い。一方、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号が０であれば、ＭＣＴＳ ＳＥＩを含まず、ビットストリームに独立タイルが存在しない。そのため、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ符号を符号化する必要がある。このようなビットストリームを復号する画像復号装置は、ビットストリームに独立タイルが含まれるという情報を各タイルの復号処理を行う前に取得することができる。このため、特定の領域を復号する場合に、画像復号装置は独立タイルを用いて高速に復号処理をすることが可能である。さらに、その結果、部分拡大表示のようなアプリケーションが有効かどうかを、各タイルの復号処理を行う前に判断することができるようになる。

尚、画像のサイズ、タイルの分割数、独立タイルの１フレームにおける位置は上記に示した各実施形態に限定されない。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. 動画像を構成する画像を複数の階層で階層符号化する画像符号化装置であって、
   第１のレイヤに対応する第１の画像とは階層が異なる、第２のレイヤに対応する第２の画像を生成する生成手段と、
   前記第１の画像における、１又は複数のタイルから構成される第１のタイルセットと、前記第２の画像における、１又は複数のタイルから構成される第２のタイルセットとを符号化する符号化手段と、
   情報符号化手段と、
   フラグ設定手段と
   を有し、
   前記第２のタイルセットは、前記第２の画像における、前記第１のタイルセットに対応する位置にあり、
   前記符号化手段は、
   前記第１の画像においては前記第１のタイルセット以外を参照せずに前記第１のタイルセットを符号化するとともに、前記第２の画像においては前記第２のタイルセット以外を参照せずに前記第２のタイルセットを符号化し、
   前記符号化手段は、前記第２の画像の少なくとも一部の領域を参照して前記第１のタイルセットを符号化する場合、前記第２の画像においては前記第２のタイルセットのみを参照するよう制限して前記第１のタイルセットを符号化し、
   前記情報符号化手段は、前記第１のタイルセット及び前記第２のタイルセットの復号処理に関する制限を示すＳＥＩメッセージを符号化し、
   前記フラグ設定手段は、
   前記情報符号化手段によって、前記第１のタイルセット及び前記第２タイルセットの復号処理に関する制限を示す前記ＳＥＩメッセージが符号化される場合、
   少なくとも、前記第１の画像における前記第１のタイルセットの位置と、前記第２の画像における前記第２のタイルセットの位置とが対応することを示すｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇを１に設定し、
   前記ＳＥＩメッセージはｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘを含む
   ことを特徴とする画像符号化装置。
2. 前記第１の画像と前記第２の画像とは、解像度又は画質が互いに異なる
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記第１のレイヤは拡張レイヤであり、
   前記第２のレイヤは基本レイヤである
   ことを特徴とする請求項１又は２に記載の画像符号化装置。
4. 前記第１の画像における前記第１のタイルセットと、前記第２の画像における前記第２のタイルセットとは各画像において同一の位置に存在する
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像符号化装置。
5. 前記ＳＥＩメッセージは、少なくとも前記第１のタイルセットの位置を示す情報を含む
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像符号化装置。
6. 動画像を構成する画像を複数の階層で階層符号化して生成された符号化データを復号する画像復号装置であって、
   １又は複数のタイルから構成されるタイルセットの復号処理に関する制限を示すＳＥＩメッセージを復号する情報復号手段と、
   前記ＳＥＩメッセージに従って、第１のレイヤに対応する第１の画像における第１のタイルセットと、前記第１のレイヤとは異なる第２のレイヤに対応する第２の画像における第２のタイルセットとを復号する復号手段と
   を有し、
   前記ＳＥＩメッセージが前記情報復号手段によって復号された場合、前記第２のタイルセットは、前記第２の画像における、前記第１のタイルセットに対応する位置にあり、
   前記復号手段は、前記第１の画像においては前記第１のタイルセット以外を参照せずに前記第１のタイルセットを復号するとともに、前記第２の画像においては前記第２のタイルセット以外を参照せずに前記第２のタイルセットを復号し、
   前記復号手段は、前記ＳＥＩメッセージが前記情報復号手段によって復号された場合であって、前記第２の画像の少なくとも一部の領域を参照して前記第１のタイルセットを復号する場合、前記第２の画像においては前記第２のタイルセットのみを参照するよう制限して前記第１のタイルセットを復号し、
   前記情報復号手段において前記ＳＥＩメッセージが復号される場合において、少なくとも、前記第１の画像における前記第１のタイルセットの位置と、前記第２の画像における前記第２のタイルセットの位置とが対応することを示すｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇは１となり、
   前記ＳＥＩメッセージはｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘを含む
   ことを特徴とする画像復号装置。
7. 前記第１の画像と前記第２の画像とは、解像度又は画質が互いに異なる
   ことを特徴とする請求項６に記載の画像復号装置。
8. 前記第１のレイヤは拡張レイヤであり、
   前記第２のレイヤは基本レイヤである
   ことを特徴とする請求項６又は７に記載の画像復号装置。
9. 前記第１の画像における前記第１のタイルセットと、前記第２の画像における前記第２のタイルセットとは各画像において同一の位置に存在する
   ことを特徴とする請求項６〜８のいずれか１項に記載の画像復号装置。
10. 前記ＳＥＩメッセージは、少なくとも前記第１のタイルセットの位置を示す情報を含む
    ことを特徴とする請求項６〜９のいずれか１項に記載の画像復号装置。
11. 動画像を構成する画像を複数の階層で階層符号化する画像符号化方法であって、
    第１のレイヤに対応する第１の画像とは階層が異なる、第２のレイヤに対応する第２の画像を生成する生成工程と、
    前記第１の画像における、１又は複数のタイルから構成される第１のタイルセットと、前記第２の画像における、１又は複数のタイルから構成される第２のタイルセットとを符号化する符号化工程と、
    情報符号化工程と、
    フラグ設定工程と
    を有し、
    前記第２のタイルセットは、前記第２の画像における、前記第１のタイルセットに対応する位置にあり、
    前記符号化工程において、前記第１の画像においては前記第１のタイルセット以外を参照せずに前記第１のタイルセットを符号化するとともに、前記第２の画像においては前記第２のタイルセット以外を参照せずに前記第２のタイルセットを符号化し、
    前記符号化工程において、前記第２の画像の少なくとも一部の領域を参照して前記第１のタイルセットを符号化する場合、前記第２の画像においては前記第２のタイルセットのみを参照するよう制限して前記第１のタイルセットを符号化し、
    前記情報符号化工程において、前記第１のタイルセット及び前記第２のタイルセットの復号処理に関する制限を示すＳＥＩメッセージを符号化し、
    前記情報符号化工程において、前記第１のタイルセット及び前記第２タイルセットの復号処理に関する制限を示す前記ＳＥＩメッセージを符号化する場合、
    前記フラグ設定工程において、少なくとも、前記第１の画像における前記第１のタイルセットの位置と、前記第２の画像における前記第２のタイルセットの位置とが対応することを示すｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇを１に設定し、
    前記ＳＥＩメッセージはｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘを含む
    ことを特徴とする画像符号化方法。
12. 動画像を構成する画像を複数の階層で階層符号化して生成された符号化データを復号する画像復号方法であって、
    １又は複数のタイルから構成されるタイルセットの復号処理に関する制限を示すＳＥＩメッセージを復号する情報復号工程と、
    前記ＳＥＩメッセージに従って、第１のレイヤに対応する第１の画像における第１のタイルセットと、前記第１のレイヤとは異なる第２のレイヤに対応する第２の画像における第２のタイルセットとを復号する復号工程と
    を有し、
    前記ＳＥＩメッセージが前記情報復号工程によって復号された場合、前記第２のタイルセットは、前記第２の画像における前記第１のタイルセットに対応する位置にあり、
    前記復号工程において、前記第１の画像においては前記第１のタイルセット以外を参照せずに前記第１のタイルセットを復号するとともに、前記第２の画像においては前記第２のタイルセット以外を参照せずに前記第２のタイルセットを復号し、
    前記ＳＥＩメッセージが前記情報復号工程によって復号された場合であって、前記第２の画像の少なくとも一部の領域を参照して前記第１のタイルセットを復号する場合、前記復号工程において、前記第２の画像においては前記第２のタイルセットのみを参照するよう制限して前記第１のタイルセットを復号し、
    前記情報復号工程において前記ＳＥＩメッセージが復号される場合において、少なくとも、前記第１の画像における前記第１のタイルセットの位置と、前記第２の画像における前記第２のタイルセットの位置とが対応することを示すｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇは１となり、
    前記ＳＥＩメッセージはｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘを含む
    ことを特徴とする画像復号方法。
13. 請求項１〜５のいずれか１項に記載の画像符号化装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
14. 請求項６〜１０のいずれか１項に記載の画像復号装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images