JP6041555B2 - 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関し、特に非圧縮符号化ブロックに対する符号化方法、復号方法に関する。

動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）が知られている（非特許文献１）。Ｈ．２６４においては、非圧縮符号化であって、Ｉ＿ＰＣＭ（Ｉｎｔｒａ ｍａｃｒｏｂｌｏｃｋ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）符号化と呼ばれる、入力された画像の画素を圧縮せずにそのままビットストリームに含める技術を用いることができる。例えば、符号化対象である画像の１画素のビット深度が８ビット、４：２：０の場合、当該画像をＩ＿ＰＣＭ符号化すると、輝度で２５６個と各色差で６４個ずつの８ビットの画像がそのままビットストリームに挿入される。

Ｈ．２６４において、Ｉ＿ＰＣＭ符号化はマクロブロック単位で設定される。さらに、Ｈ．２６４では、符号化対象のマクロブロックの符号量が予め決められた値を超える場合、当該符号化対象のマクロブロックを再度符号化するのではなく、非圧縮符号化であるＩ＿ＰＣＭ符号化を行う。

また、Ｈ．２６４のＡｎｎｅｘ Ｇにおいて、階層符号化への拡張が示されている。階層符号化では、基本レイヤと拡張レイヤにおいて符号化対象のマクロブロックを夫々符号化する。そして、各レイヤで符号化されたマクロブロックを多重化してビットストリームを生成する。また、拡張レイヤにおいて当該符号化対象のマクロブロックを符号化する際には、基本レイヤにおいて符号化された当該符号化対象のマクロブロックから予測を行って符号化する予測符号化が用いられる。尚、Ｉ＿ＰＣＭ符号化は予測を行わないため、拡張レイヤでも同様に、スキャン順に画像をそのままビットストリームに挿入する。

さらに、近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。この活動において、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣ）として標準化が進められている。Ｈ．２６４同様、ＨＥＶＣでは、非圧縮符号化であるＩ＿ＰＣＭ符号化を用いることもできる（非特許文献２）。

Ｉ＿ＰＣＭ符号化を用いて生成されたビットストリームは、ヘッダ情報とピクチャデータで構成される。ＨＥＶＣにおいては、ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔヘッダと呼ばれる、ビットストリームのヘッダ情報に含まれる、ｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８符号やｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８符号がビット深度を表す。また、非圧縮符号化であるＩ＿ＰＣＭ符号化された画像の１画素のビット深度（ＰＣＭ画素深度情報）としては、ｐｃｍ＿ｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ１符号やｐｃｍ＿ｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ１符号が存在する。ヘッダ情報に続いて、各画像を符号化したピクチャデータが続く。ピクチャデータにはＩ＿ＰＣＭ符号化された画素の符号化データと予測符号化された画素の符号化データが混在している。

また、一方で、ＨＥＶＣでは、Ｈ．２６４と同様にビット深度が８ビット以上の画像を扱うことが期待されている（非特許文献３）。このように、ビット深度が８ビットを超える画像を扱う場合、従来の、ビット深度が８ビットである画像との互換性を保つために、ビット深度階層符号化を用いることが考えられる。

ＩＴＵ−Ｔ Ｈ．２６４ （０３／２０１０） Ａｄｖａｎｃｅｄｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｈ１００３ インターネット＜ ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／８＿Ｓａｎ％２０Ｊｏｓｅ／ｗｇ１１／＞ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｉ０１０８ インターネット＜ ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／９＿Ｇｅｎｅｖａ／ｗｇ１１／＞ ＪＶＴ寄書 ＪＶＴ−Ｕ０４９ インターネット ＜ｗｆｔｐ３．ｉｔｕ．ｉｎｔ − ／ａｖ−ａｒｃｈ／ｊｖｔ−ｓｉｔｅ／２００６＿１０＿Ｈａｎｇｚｈｏｕ／＞

Ｈ．２６４において、階層符号化を行うとき、上記の通り、いずれの階層においてもＩ＿ＰＣＭ符号化されたマクロブロックの符号化データをそのまま送ることになっている。すなわち、全ての階層で同じ符号化データを送ることになり、冗長になるという課題がある。

また、Ｈ．２６４では実現されていないが、ビット深度階層符号化を行うときも同様である。例えば、入力された画像のうち、画素深度情報よりも少ないビット数の画像の階層を基本レイヤとし、それよりもビット数の多い画像の階層を拡張レイヤとする。Ｈ．２６４の階層符号化と同様の構成を取るならば、いずれの階層においても基本レイヤ分のビット数の画像を送ることになる。従って、当該基本レイヤ分のビット数を冗長に送ることとなる。複数の拡張レイヤにおいてビット深度階層符号化を行う場合も、当該拡張レイヤのうち低い階層の画像を重複して送ることになり、冗長である。

前述の課題を解決するため、本発明の画像符号化装置は以下の構成を有する。すなわち、ブロック単位で分割された画像を、ｎビットで構成される基本レイヤと、ｍ（ｍ≧ｎ）ビットで構成される拡張レイヤとを少なくとも含む複数の階層で階層符号化する画像符号化装置であって、前記基本レイヤにおける符号化対象である符号化対象ブロックの符号化モードを決定する基本レイヤ符号化モード決定手段と、前記基本レイヤ符号化モード決定手段によって決定された符号化モードに基づいて、前記基本レイヤにおける前記符号化対象ブロックを符号化する基本レイヤ符号化手段と、前記拡張レイヤにおける符号化対象である符号化対象ブロックの符号化モードを決定する拡張レイヤ符号化モード決定手段と、前記拡張レイヤ符号化モード決定手段で決定された符号化モードが非圧縮符号化モードである場合に、前記拡張レイヤにおける前記符号化対象ブロックにおける下位（ｍ−ｎ）ビットの画像を生成し、生成された前記画像を前記非圧縮符号化モードで符号化する拡張レイヤ符号化手段とを有し、前記拡張レイヤ符号化手段は、前記基本レイヤ符号化モード決定手段によって決定された符号化モードが非圧縮符号化モード以外のモードである場合、前記拡張レイヤ符号化モード決定手段によって決定される、前記拡張レイヤにおける前記符号化対象ブロックの符号化モードを符号化し、前記基本レイヤ符号化モード決定手段によって決定された符号化モードが非圧縮符号化モードである場合、前記拡張レイヤ符号化モード決定手段によって決定される、前記拡張レイヤにおける前記符号化対象ブロックの符号化モードを符号化しない。

また、前述の課題を解決するため、本発明の画像復号装置は以下の構成を有する。すなわち、ブロック単位で分割された画像を、ｎビットで構成される基本レイヤと、ｍ（ｍ≧ｎ）ビットで構成される拡張レイヤとを少なくとも含む複数の階層で階層符号化して生成されたビットストリームを復号する画像復号装置であって、前記基本レイヤにおける復号対象である復号対象ブロックのビットストリームから符号化モードを取得する基本レイヤ符号化モード取得手段と、前記基本レイヤ符号化モード取得手段によって取得された符号化モードに基づいて、前記基本レイヤにおける前記復号対象ブロックを復号する基本レイヤ復号手段と、前記拡張レイヤにおける復号対象である復号対象ブロックのビットストリームから符号化モードを取得する拡張レイヤ符号化モード取得手段と、前記基本レイヤ符号化モード取得手段によって取得された符号化モードが非圧縮符号化モード以外のモードである場合、前記拡張レイヤ符号化モード取得手段によって取得された符号化モードに基づいて、前記拡張レイヤにおける前記復号対象ブロックを復号し、前記基本レイヤ符号化モード取得手段によって取得された符号化モードが非圧縮符号化モードである場合、前記基本レイヤ符号化モード取得手段によって取得された符号化モードに基づいて、前記拡張レイヤにおける前記復号対象ブロックにおける下位（ｍ−ｎ）ビットのビットストリームを非圧縮で復号する拡張レイヤ復号手段と有する。

本発明により、Ｉ＿ＰＣＭ符号化においても、低い階層との差分ビット数分の画像を送ることによって、符号を冗長に符号化して無駄な符号を生成することが無くなり符号化効率を向上できる。また、冗長な符号化データを重複して復号することが無くなり、復号を高速に無駄なく行うことができる。

実施形態１における画像符号化装置の構成を示すブロック図 実施形態１及び実施形態２における拡張レイヤ画像再構成部の詳細を示すブロック図 実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態１における画像符号化装置の別な構成を示すブロック図 実施形態２における画像復号装置の構成を示すブロック図 実施形態２に係る画像復号装置における画像復号処理を示すフローチャート 実施形態２における画像復号装置の別な構成を示すブロック図 本発明の画像符号化装置で生成されるビットストリーム構造の一例を示す図 実施形態３における画像符号化装置の構成を示すブロック図 実施形態３に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態４における画像符号化装置の構成を示すブロック図 実施形態４に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態５における画像復号装置の別な構成を示すブロック図 実施形態５に係る画像復号装置における画像復号処理を示すフローチャート 本発明の画像符号化装置で生成されるビットストリーム構造の一例を示す図 本発明の画像符号化装置、乃至は画像復号装置に適用可能なコンピュータのハードウェア構成例を示すブロック図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
以下、本発明の実施形態１を、図１を用いて説明する。図１は、本実施形態に係る画像符号化装置の構成を示すブロック図である。尚、本実施形態における画像符号化装置は、画像をブロック単位で符号化する。

図１において、端子１００は本実施形態における画像符号化装置内部に画像を入力する入力端子である。また、本実施形態における画像符号化装置に入力される画像の１画素のビット深度は、１４ビットであるとする。但し、本発明はこれに限定されない。以下、画像の１画素のビット深度を画素深度情報と記載する。

階層分離部１０１は、端子１００から入力された画像（以下、入力画像）をブロックに分割する。また、階層分離部１０１で分割された各ブロックは、夫々上位ｎビットを基本レイヤの画像（以下、基本レイヤ画像）とし、入力画像そのもの（ｍビット）を拡張レイヤの画像（以下、拡張レイヤ画像）とする。すなわち、基本レイヤ画像の画素深度情報はｎであり、拡張レイヤ画像の画素深度情報はｍ（ｍ≧ｎ）となる。尚、本実施形態において、入力画像の画素深度情報は１４ビットであるため、拡張レイヤ画像の画素深度情報は１４ビット（ｍ＝１４）である。そして、階層分離部１０１は、基本レイヤ画像を基本レイヤ符号化モード決定部１０２に、拡張レイヤ画像を拡張レイヤ符号化モード決定部１１１にブロック単位で出力する。

基本レイヤ符号化モード決定部１０２は、処理対象であるブロック（処理対象ブロック）の基本レイヤ画像を入力し、当該基本レイヤ画像の符号化モードを決定する。尚、基本レイヤ符号化モード決定部１０２で決定される符号化モードとして、イントラ予測符号化（以下、イントラ符号化）、インター予測符号化（以下、インター符号化）、及びＩ＿ＰＣＭ符号化等を用いることができる。符号化モードの決定方法については特に限定しないが、例えば、処理対象ブロック内の特徴量、符号量の推測結果等に基づいて決定すればよい。

セレクタ１０３は、基本レイヤ符号化モード決定部１０２の出力に基づいて、処理対象ブロックの基本レイヤ画像の出力先を選択する。基本レイヤ符号化モード決定部１０２の出力が非圧縮符号化モードであるＩ＿ＰＣＭ符号化モード以外であれば、セレクタ１０３は処理対象ブロックの基本レイヤ画像の出力先として予測部１０４を選択する。一方、基本レイヤ符号化モード決定部１０２の出力がＩ＿ＰＣＭ符号化モードであれば、セレクタ１０３は処理対象ブロックの基本レイヤ画像の出力先として基本レイヤ画像再構成部１０７及び基本レイヤ第２符号化部１０９を選択する。

予測部１０４は、基本レイヤ符号化モード決定部１０２の出力に基づいてイントラ予測若しくはインター予測を行い、ブロック単位で予測誤差を算出する。基本レイヤ符号化モード決定部１０２においてイントラ符号化が選択された場合、予測部１０４は基本レイヤ画像再構成部１０７に格納されている周囲の符号化済みのブロックの画素値を参照して予測を行う。また、基本レイヤ符号化モード決定部１０２においてインター符号化が選択された場合、予測部１０４は基本レイヤ画像再構成部１０７に格納されている異なるフレームの画像を参照して予測を行う。そして、予測部１０４は、予測された予測値とセレクタ１０３から入力された画像を比較し、予測誤差を算出する。

変換・量子化部１０５は、予測部１０４で算出された予測誤差に対して、直交変換・量子化を行い、量子化係数を算出する。まず、変換・量子化部１０５は、直交変換を行う。さらに変換・量子化部１０５は、直交変換係数を算出した後に直交変換係数に対して量子化を行い、量子化係数を算出する。

基本レイヤ第１符号化部１０６は、変換・量子化部１０５で算出された量子化係数を符号化する。量子化係数の符号化方法は特に限定しないが、ゴロム符号化、算術符号化、ハフマン符号化等の符号化を用いることができる。

基本レイヤ符号化モード符号化部１０８は、基本レイヤ符号化モード決定部１０２で決定された符号化モードを符号化する。符号化モードの符号化方法は特に限定しないが、ゴロム符号化、算術符号化、ハフマン符号化等の符号化を用いることができる。

基本レイヤ第２符号化部１０９は、階層分離部１０１からセレクタ１０３を介して入力された基本レイヤ画像を非圧縮符号化してＩ＿ＰＣＭ符号を生成する。

基本レイヤ画像再構成部１０７は、階層分離部１０１からセレクタ１０３を介して出力された基本レイヤ画像、変換・量子化部１０５で算出された量子化係数、基本レイヤ符号化モード決定部１０２で決定された符号化モードを入力する。そして、基本レイヤ画像再構成部１０７は、入力された基本レイヤ画像、量子化係数、及び符号化モードから局所的に復号された画像（以下、局所復号画像）を生成し、参照のために格納する。

基本レイヤ統合符号化部１１０は、基本レイヤ符号化モード符号化部１０８、基本レイヤ第１符号化部１０６、及び基本レイヤ第２符号化部１０９から出力された符号をまとめて基本レイヤ画像の符号（以下、基本レイヤ符号）を生成する。基本レイヤ統合符号化部１１０は、さらに基本レイヤ画像であることを表すヘッダ情報、フレーム単位のヘッダ情報を生成して符号化し、基本レイヤ符号に付与する。

拡張レイヤ符号化モード決定部１１１は、処理対象ブロックの拡張レイヤ画像を入力し、当該拡張レイヤ画像の符号化モードを決定する。尚、拡張レイヤ符号化モード決定部１１１で決定される符号化モードとして、イントラ符号化、拡張レイヤ画像間でのインター符号化、基本レイヤ画像を参照する予測符号化（以下、レイヤ間符号化）、及びＩ＿ＰＣＭ符号化等を用いることができる。但し、本実施形態では説明を簡略化するため、当該符号化モードが、イントラ符号化モード、レイヤ間符号化モード、及びＩ＿ＰＣＭ符号化モードの場合についてのみ説明する。また、符号化モードの決定方法については特に限定しないが、例えば、処理対象ブロック内の特徴量、符号量の推測結果等から決定すればよい。

セレクタ１１２は、拡張レイヤ符号化モード決定部１１１の出力に基づいて、処理対象ブロックの拡張レイヤ画像の出力先を選択する。拡張レイヤ符号化モード決定部１１１の出力がＩ＿ＰＣＭ符号化モード以外であれば、セレクタ１１２は処理対象ブロックの拡張レイヤ画像の出力先として予測部１１３を選択する。一方、拡張レイヤ符号化モード決定部１１１の出力がＩ＿ＰＣＭ符号化モードであれば、セレクタ１１２は処理対象ブロックの拡張レイヤ画像の出力先として拡張レイヤ画像再構成部１１６及び拡張レイヤ分割部１１８を選択する。

予測部１１３は、拡張レイヤ符号化モード決定部１１１の出力に基づいてイントラ予測若しくはインター予測を行い、ブロック単位で予測誤差を算出する。拡張レイヤ符号化モード決定部１１１においてレイヤ間符号化が選択された場合、予測部１１３は基本レイヤ画像再構成部１０７のｎビットの基本レイヤ画像をｍビットに伸長し、ｍビットに伸長した画像を参照画像として予測誤差を求める。予測部１１３における予測誤差の算出方法は特に方法は限定しないが、例えば、基本レイヤ画像再構成部１０７に格納された基本レイヤ画像の画素データを（ｍ−ｎ）ビット左シフトすることによって得られる。

変換・量子化部１１４は、予測部１１３で算出された予測誤差に対して、直交変換・量子化を行い、量子化係数を算出する。まず、変換・量子化部１１４は、直交変換を行う。さらに変換・量子化部１１４は、直交変換係数を算出した後に直交変換係数に対して量子化を行い、量子化係数を算出する。

拡張レイヤ第１符号化部１１５は、変換・量子化部１１４で算出された量子化係数を符号化する。量子化係数の符号化方法は特に限定しないが、ゴロム符号化、算術符号化、ハフマン符号化等の符号化を用いることができる。

拡張レイヤ符号化モード符号化部１１７は、拡張レイヤ符号化モード決定部１１１で決定された符号化モードを符号化する。符号化モードの符号化方法は特に限定しないが、ゴロム符号化、算術符号化、ハフマン符号化等の符号化を用いることができる。

拡張レイヤ分割部１１８は、ｍビットの拡張レイヤ画像からｎビットの基本レイヤ画像を除去し、（ｍ−ｎ）ビットの画像を生成する。

拡張レイヤ第２符号化部１１９は、拡張レイヤ分割部１１８で分割された（ｍ−ｎ）ビットの画像を拡張レイヤ画像として非圧縮符号化してＩ＿ＰＣＭ符号とする。

拡張レイヤ画像再構成部１１６は、拡張レイヤ分割部１１８で生成された（ｍ−ｎ）ビットの拡張レイヤ画像、基本レイヤ画像再構成部１０７に格納された参照のための基本レイヤ画像を入力する。また、変換・量子化部１１４で算出された量子化係数、拡張レイヤ符号化モード決定部１１１で決定された符号化モードを入力して、局所復号画像を生成する。さらに、拡張レイヤ画像再構成部１１６は、生成した局所復号画像を参照のために格納する。尚、このように拡張レイヤ画像再構成部１１６に格納された局所復号画像は、拡張レイヤ符号化モード決定部１１１で決定された符号化モードがイントラ符号化やインター符号化である場合に、予測部１１３で参照される。

拡張レイヤ統合符号化部１２０は、拡張レイヤ符号化モード符号化部１１７、拡張レイヤ第１符号化部１１５、及び拡張レイヤ第２符号化部１１９から出力された符号をまとめて拡張レイヤ画像の符号（以下、拡張レイヤ符号）を生成する。拡張レイヤ統合符号化部１２０は、さらに拡張レイヤ画像であることを表すヘッダ情報、フレーム単位のヘッダ情報を生成して符号化し、拡張レイヤ符号に付与する。

階層統合部１２１は、シーケンス全体のヘッダ情報を生成する。そして、階層統合部１２１は、基本レイヤ統合符号化部１１０の基本レイヤ符号と拡張レイヤ統合符号化部１２０の拡張レイヤ符号を統合し、ビットストリームを生成する。尚、復号側で拡張レイヤ符号が不要な場合は基本レイヤ符号のみを出力することも可能である。

端子１２２は、階層統合部１２１によって生成されたビットストリームを画像符号化装置外部に出力する。

上記画像符号化装置において、画像を符号化処理する方法を以下に説明する。図１において、本実施形態における画像符号化装置は、端子１００へ入力されたｍビットの画像を階層分離部１０１に出力する。階層分離部１０１は、ｍビットの入力画像のうちの上位ｎビットの画像をブロックに分割し、基本レイヤ符号化モード決定部１０２及びセレクタ１０３に入力する。ここで、基本レイヤ画像の画素深度情報ｎを８ビットとして説明する。また、階層分離部１０１は、端子１００から入力された１４ビットの入力画像をブロックに分割し、拡張レイヤ符号化モード決定部１１１及びセレクタ１１２に入力する。

まず、基本レイヤ画像の符号化について説明する。

基本レイヤ符号化モード決定部１０２は、階層分離部１０１から入力された画像から符号化するブロックの符号化モードを決定する。但し、本実施形態では説明を簡易にするため、基本レイヤ符号化モード決定部１０２で決定される符号化モードは、以下の符号化モードであるとする。すなわち、基本レイヤ符号化モード決定部１０２で決定される符号化モードは、イントラ予測を用いるイントラ符号化モード、動き補償を行うインター予測を用いるインター符号化モード、及び非圧縮符号化を行うＩ＿ＰＣＭ符号化モードのいずれかとする。

基本レイヤ符号化モード決定部１０２は、決定した符号化モードをセレクタ１０３、予測部１０４、変換・量子化部１０５、基本レイヤ符号化モード符号化部１０８、基本レイヤ画像再構成部１０７に出力する。基本レイヤ符号化モード符号化部１０８は、基本レイヤ符号化モード決定部１０２から入力された符号化モードを符号化して符号化モードの符号（以下、符号化モード符号）を生成し、基本レイヤ統合符号化部１１０に出力する。

まず、基本レイヤ符号化モード決定部１０２において、Ｉ＿ＰＣＭ符号化モード以外のモードが選択された場合について説明する。

セレクタ１０３は、基本レイヤ符号化モード決定部１０２の出力がＩ＿ＰＣＭ符号化モード以外のモードであるので、階層分離部１０１から入力された符号化対象である基本レイヤ画像を予測部１０４に出力する。

予測部１０４は、基本レイヤ符号化モード決定部１０２の出力に基づいて予測を行い、予測値を生成する。基本レイヤ符号化モード決定部１０２の出力がイントラ符号化モードの場合、予測部１０４は基本レイヤ画像再構成部１０７に格納されている周囲の符号化済みのブロックの画素値を参照して予測を行い、予測値を生成する。また、基本レイヤ符号化モード決定部１０２の出力がインター符号化モードの場合、予測部１０４は基本レイヤ画像再構成部１０７に格納されている異なるフレームの画像を参照して予測を行い、予測値を生成する。予測部１０４は、これらの予測値とセレクタ１０３から入力された画像を比較し、予測誤差を算出する。そして、予測部１０４は、算出した予測誤差を変換・量子化部１０５に出力する。

変換・量子化部１０５は、予測部１０４から入力された予測誤差に直交変換を施し、さらに量子化を行って量子化係数を算出する。変換・量子化部１０５は、算出した量子化係数を基本レイヤ第１符号化部１０６と基本レイヤ画像再構成部１０７に出力する。

基本レイヤ画像再構成部１０７は、変換・量子化部１０５から入力された量子化係数を逆量子化して直交変換係数を再生し、さらにこの直交変換係数を逆直交変換して予測誤差を再生する。基本レイヤ画像再構成部１０７は、再生した予測誤差を基本レイヤ符号化モード決定部１０２によって決定された符号化モードに従って基本レイヤ画像再構成部１０７内に格納された局所復号画像を参照して予測値とし、これと加算することによって再生画像を得る。基本レイヤ画像再構成部１０７は、取得した再生画像を以後の参照のために基本レイヤ画像再構成部１０７内に格納する。

基本レイヤ第１符号化部１０６は、変換・量子化部１０５から入力された量子化係数を符号化し、量子化係数符号を生成する。

基本レイヤ符号化モード符号化部１０８は、基本レイヤ符号化モード決定部１０２で決定された符号化モードを符号化し、符号化モード符号を生成する。

基本レイヤ統合符号化部１１０は、基本レイヤ符号化モード符号化部１０８で生成された符号化モード符号と、基本レイヤ第１符号化部１０６で生成された量子化係数符号、及び予測に関する情報をまとめて、処理対象ブロックの符号とする。特に、この符号を基本レイヤ予測符号化画素情報と呼ぶ。当該基本レイヤ予測符号化画素情報は基本レイヤ符号に含まれる符号である。

次に、基本レイヤ符号化モード決定部１０２において、Ｉ＿ＰＣＭ符号化モードが選択された場合について説明する。

セレクタ１０３は、基本レイヤ符号化モード決定部１０２の出力がＩ＿ＰＣＭ符号化モードなので、階層分離部１０１から入力された符号化対象である基本レイヤ画像を基本レイヤ画像再構成部１０７と基本レイヤ第２符号化部１０９に出力する。

基本レイヤ画像再構成部１０７は、セレクタ１０３から入力された基本レイヤ画像から再生画像を生成する。基本レイヤ符号化モード決定部１０２においてＩ＿ＰＣＭ符号化モードが選択された場合、基本レイヤ画像再構成部１０７で生成される再生画像は、基本レイヤ画像再構成部１０７に入力された画像と同じである。このため、基本レイヤ画像再構成部１０７は当該再生画像を基本レイヤ画像再構成部１０７内に格納する。

基本レイヤ第２符号化部１０９は、セレクタ１０３から入力された基本レイヤ画像をまとめて非圧縮符号化して、Ｉ＿ＰＣＭ符号を生成する。

基本レイヤ符号化モード符号化部１０８は、基本レイヤ符号化モード決定部１０２で決定された符号化モードを符号化し、符号化モード符号を生成する。

基本レイヤ統合符号化部１１０は、基本レイヤ符号化モード符号化部１０８で生成された符号化モード符号と、基本レイヤ第２符号化部１０９で生成されたＩ＿ＰＣＭ符号をまとめて、処理対象ブロックの符号とする。特に、この符号を基本レイヤＩ＿ＰＣＭ画素情報と呼ぶ。当該基本レイヤＩ＿ＰＣＭ画素情報は、基本レイヤ符号に含まれる符号である。

続いて、拡張レイヤ画像の符号化について説明する。

拡張レイヤ符号化モード決定部１１１は、階層分離部１０１から入力された拡張レイヤ画像から符号化するブロックの符号化モードを決定する。但し、本実施形態では説明を簡易にするため、拡張レイヤ符号化モード決定部１１１で決定される符号化モードは、以下の符号化モードであるとする。すなわち、拡張レイヤ符号化モード決定部１１１で決定される符号化モードは、イントラ予測を用いるイントラ符号化モード、基本レイヤ画像を参照するレイヤ間符号化モード、及び非圧縮符号化を行うＩ＿ＰＣＭ符号化モードのいずれかとする。拡張レイヤ符号化モード決定部１１１は、決定した符号化モードをセレクタ１１２、予測部１１３、変換・量子化部１１４、拡張レイヤ符号化モード符号化部１１７、拡張レイヤ画像再構成部１１６に出力する。

拡張レイヤ符号化モード符号化部１１７は、拡張レイヤ符号化モード決定部１１１から入力された符号化モードを符号化して符号化モード符号を生成し、拡張レイヤ統合符号化部１２０に出力する。

まずは、拡張レイヤ符号化モード決定部１１１において、Ｉ＿ＰＣＭ符号化モード以外のモードが選択された場合について説明する。

セレクタ１１２は、階層分離部１０１から入力された符号化対象である拡張レイヤ画像を予測部１１３に出力する。

予測部１１３は、拡張レイヤ符号化モード決定部１１１の出力に基づいて予測を行う。拡張レイヤ符号化モード決定部１１１の出力がイントラ符号化モードの場合、予測部１１３は拡張レイヤ画像再構成部１０７に格納されている周囲のブロックの画素値を参照して予測を行う。また、拡張レイヤ符号化モード決定部１１１の出力がレイヤ間符号化モードの場合、予測部１１３は基本レイヤ画像再構成部１０７に格納されている対応する画像を参照して予測を行う。ここでは、基本レイヤ画像再構成部１０７に格納されている８ビットの基本レイヤ画像を左に６ビットシフトして１４ビットの画像を生成してこれを予測画像とする。但し、予測画像の生成方法はこれに限定されない。生成した予測画像とセレクタ１１２から入力された拡張レイヤ画像を比較し、予測誤差を算出する。さらに、予測部１１３は、算出した予測誤差を変換・量子化部１１４に入力する。

変換・量子化部１１４は、入力された予測誤差に直交変換をし、量子化を行って量子化係数を算出する。そして、変換・量子化部１１４は、算出した量子化係数を拡張レイヤ第１符号化部１１５と拡張レイヤ画像再構成部１１６に入力する。

拡張レイヤ画像再構成部１１６の詳細な構成を図２に示す。図２において、端子２００は、基本レイヤ画像再構成部１０７から参照するｎビットすなわち８ビットの画像を入力する。端子２０１は、変換・量子化部１１４から予測誤差の量子化係数を入力する。端子２０２は、拡張レイヤ分割部１１８から（ｍ−ｎ）ビットすなわち６ビットの画像を入力する。端子２０３は、拡張レイヤ符号化モード決定部１１１から符号化モードを入力する。シフト部２０４は、基本レイヤ画像再構成部１０７から端子２００を介して入力された画像の画素値を６ビット分左に（上位方向に）シフトする。逆量子化・逆変換部２０５は、端子２０１から入力された量子化係数に逆量子化を行い、直交変換係数を再生し、さらに逆直交変換を施して予測誤差を再生する。セレクタ２０６及びセレクタ２０７は、端子２０３から入力される符号化モードによって入力先を選択する。加算部２０８は、セレクタ２０６及びセレクタ２０７からの入力を加算（合成）してフレームメモリ２０９に出力する。フレームメモリ２０９は、画像を参照するために局所復号画像を格納する。端子２１０は、予測部１１３に、参照する画像としてフレームメモリ２０９に格納された局所復号画像を出力する。

上記構成において、端子２０３は拡張レイヤ符号化モード決定部１１１から符号化モードを入力する。

端子２０３に入力された符号化モードがイントラ符号化モードの場合、セレクタ２０６はフレームメモリ２０９に格納された局所復号画像を加算器２０８へ出力するように設定する。また、この場合、セレクタ２０７は逆量子化・逆変換部２０５で再生された予測誤差を加算器２０８へ出力するように設定する。すると、逆量子化・逆変換部２０５は、イントラ予測によって得られた予測誤差の量子化係数を変換・量子化部１１４から端子２０１を介して出力し、入力された量子化係数を予測誤差として再生する。逆量子化・逆変換部２０５は、再生した予測誤差を、セレクタ２０７を介して加算部２０８に出力する。また、セレクタ２０６はフレームメモリ２０９から入力された局所復号画像を加算部２０８に出力する。そして、加算部２０８は、セレクタ２０６から入力された画像とセレクタ２０７から入力された予測誤差を加算して局所復号画像を再生し、フレームメモリ２０９に出力する。フレームメモリ２０９は、加算部２０８により再生された局所復号画像を所定の領域に格納する。

端子２０３に入力された符号化モードがレイヤ間符号化モードの場合、セレクタ２０６はシフト部２０４からの画像を加算器２０８へ出力するように設定する。また、この場合、セレクタ２０７は逆量子化・逆変換部２０５から再生された予測誤差を加算器２０８へ出力するように設定する。すると、逆量子化・逆変換部２０５は、レイヤ間の予測によって得られた予測誤差の量子化係数を変換・量子化部１１４から端子２０１を介して入力し、入力された量子化係数を予測誤差として再生する。逆量子化・逆変換部２０５は、再生した予測誤差を、セレクタ２０７を介して加算部２０８に出力する。また、シフト部２０４は、基本レイヤ画像再構成部１０７に格納されている８ビットの参照画像を、端子２００を介して入力する。シフト部２０４は、この参照画像を左に６ビットシフトし、下位の６ビットに０を埋め込み、１４ビットの画像を生成する。シフト部２０４は、生成した１４ビットの画像を、セレクタ２０６を介して加算部２０８に出力する。そして、加算部２０８は、セレクタ２０６から入力された画像とセレクタ２０７から入力された予測誤差を加算して局所復号画像を再生し、フレームメモリ２０９に出力する。フレームメモリ２０９は、加算部２０８により再生された局所復号画像を所定の領域に格納する。そして、変換・量子化部１１４は、算出した量子化係数を拡張レイヤ第１符号化部１１５と拡張レイヤ画像再構成部１１６に入力する。

また、図１において拡張レイヤ第１符号化部１１５は、変換・量子化部１１４によって算出された量子化係数を符号化し、量子化係数の符号（以下、量子化係数符号）を生成する。拡張レイヤ統合符号化部１２０は、拡張レイヤ符号化モード符号化部１１７で生成された符号化モード符号と拡張レイヤ第１符号化部１１５で生成された画像量子化係数符号、及び予測に関する情報、乃至は基本レイヤ画像の参照に関する情報を統合する。そして、拡張レイヤ統合符号化部１２０は、統合した符号及び情報を処理対象ブロックの符号とする。尚、当該処理対象ブロックの符号を拡張レイヤ予測符号化画素情報と呼ぶ。当該拡張レイヤ予測符号化画素情報は、拡張レイヤ符号に含まれる符号である。

次に、拡張レイヤ符号化モード決定部１１１において、Ｉ＿ＰＣＭ符号化モードが選択された場合について説明する。

セレクタ１１２は、階層分離部１０１から入力された符号化対象である拡張レイヤ画像を拡張レイヤ分割部１１８に出力する。

拡張レイヤ分割部１１８は、入力された１４ビット画像から上位８ビットを削除し、下位６ビットの画像を生成する。拡張レイヤ分割部１１８は、生成した６ビットの画像を拡張レイヤ画像再構成部１１６と拡張レイヤ第２符号化部１１９に出力する。

Ｉ＿ＰＣＭ符号化モードが選択された場合における、拡張レイヤ画像再構成部１１６の詳細な処理について、図２を用いて説明する。図２において端子２０２は、拡張レイヤ分割部１１８から６ビットの画像を入力する。端子２０３は、拡張レイヤ符号化モード決定部１１１からＩ＿ＰＣＭ符号化モードをセレクタ２０６及び２０７に出力する。セレクタ２０６及びセレクタ２０７は、端子２０３から入力される符号化モードによって、入力先を選択する。端子２０３から、Ｉ＿ＰＣＭ符号化モードが入力された場合、セレクタ２０６は入力先をシフト部２０４とし、セレクタ２０７は入力先を端子２０２とする。

シフト部２０４は、基本レイヤ画像再構成部１０７に格納されている８ビットの参照画像を基本レイヤ画像再構成部１０７から端子２００を介して入力する。シフト部２０４は、入力した画像を左に６ビットシフトし、下位の６ビットに０を埋め込み、１４ビットの画像を生成する。セレクタ２０６は、シフト部２０４によって生成された１４ビットの画像を入力し、加算部２０８に出力する。一方、セレクタ２０７は、拡張レイヤ分割部１１８によって生成された６ビットの画像を、端子２０２を介して入力し、加算部２０８に出力する。加算部２０８は、セレクタ２０６及びセレクタ２０７からの入力を加算して局所復号画像を再生し、フレームメモリ２０９に出力する。フレームメモリ２０９は、加算部２０８により再生された局所復号画像を所定の領域に格納する。

図１において拡張レイヤ第２符号化部１１９は、拡張レイヤ分割部１１８から入力された６ビットの画像をまとめてＩ＿ＰＣＭ符号を生成する。

拡張レイヤ統合符号化部１２０は、拡張レイヤ符号化モード符号化部１１７で生成された符号化モード符号と拡張レイヤ第２符号化部１１９で生成されたＩ＿ＰＣＭ符号をまとめて、処理対象ブロックの符号とする。特に、この符号を拡張レイヤＩ＿ＰＣＭ画素情報と呼ぶ。当該拡張レイヤＩ＿ＰＣＭ画素情報は、拡張レイヤ符号に含まれる符号である。

階層統合部１２１はまず、基本レイヤのヘッダ情報を生成する。ヘッダ情報には基本レイヤの符号化された画素深度情報と基本レイヤの符号化されたＩ＿ＰＣＭ符号化モード時の画素深度情報が埋め込められる。これらの情報の符号化については特に限定しないが、Ｈ．２６４のｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８符号やｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８符号を用いることが可能である。さらにはｐｃｍ＿ｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ１符号やｐｃｍ＿ｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ１符号を用いることが可能である。さらに階層統合部１２１は、ヘッダ情報に続き、基本レイヤ統合符号化部１１０から入力された符号である基本レイヤ予測符号化画素情報と基本レイヤＩ＿ＰＣＭ画素情報をピクチャデータとして統合する。

図３は、本実施形態に係る画像符号化装置における画像の符号化処理を示すフローチャートである。

ステップＳ３００にて、本実施形態に係る画像符号化装置は、符号化する画素あたりｍビットの画像を図１に示す端子１００から入力する。

ステップＳ３０１にて、本実施形態に係る画像符号化装置は、シーケンス全体を表すヘッダを生成し符号化する。このヘッダにはビット深度階層符号化を行うか否かを表す情報（ｂｉｔｄｅｐｔｈ＿ｅｎｈａｎｃｅｍｅｎｔ＿ｆｌａｇ）が含まれている。さらに、本実施形態における画像符号化装置は、基本レイヤの情報を表すヘッダと拡張レイヤの情報を表すヘッダを生成し、符号化する。これらのヘッダには、それぞれのレイヤの画像深度情報が含まれている。

ステップＳ３０２にて、階層分離部１０１は、端子１００から入力された画像から符号化を行うブロックの画像を抽出する。

ステップＳ３０３にて、階層分離部１０１はさらに、入力されたｍビットの画素から上位ｎビットの画素を抽出して基本レイヤ画像を生成する。

ステップＳ３０４にて、基本レイヤ符号化モード決定部１０２は、基本レイヤのブロックの符号化モードを決定する。

ステップＳ３０５にて、セレクタ１０３は、ステップＳ３０４で決定された符号化モードがＩ＿ＰＣＭ符号化モードであるか否かを判定する。Ｉ＿ＰＣＭ符号化モードであればステップＳ３０６に進み、そうでなければステップＳ３０８に進む。

ステップＳ３０６にて、基本レイヤ符号化モード符号化部１０８は、Ｉ＿ＰＣＭ符号化モードを符号化して基本レイヤ統合符号化部１１０へ出力する。

ステップＳ３０７にて、基本レイヤ第２符号化部１０９は、基本レイヤ画像を非圧縮符号化して基本レイヤ統合符号化部１１０へ出力する。

ステップＳ３０８にて、基本レイヤ符号化モード符号化部１０８は、ステップＳ３０４で決定された符号化モードを符号化して基本レイヤ統合符号化部１１０へ出力する。

ステップＳ３０９にて、予測部１０４は、基本レイヤ画像に対してイントラ予測、インター予測などで予測を行い、予測誤差を算出する。さらに、変換・量子化部１０５は、予測部１０４によって算出された予測誤差に対して直交変換、量子化を行い、量子化係数を生成する。

ステップＳ３１０にて、基本レイヤ第１符号化部１０６は、予測に必要な符号化モードや動きベクトル等の符号化制御情報を符号化し、ステップＳ３０９で変換・量子化部１０５によって生成された量子化係数を符号化して出力する。

ステップＳ３１１にて、拡張レイヤ符号化モード決定部１１１は、拡張レイヤのブロックの符号化モードを決定する。

ステップＳ３１２にて、セレクタ１１２は、ステップＳ３１１で拡張レイヤ符号化モード決定部１１１によって決定された符号化モードがＩ＿ＰＣＭ符号化モードであるか否かを判定する。Ｉ＿ＰＣＭ符号化モードであればステップＳ３１３に進み、Ｉ＿ＰＣＭ符号化モードでなければステップＳ３１５に進む。

ステップＳ３１３にて、拡張レイヤ符号化モード符号化部１１７は、Ｉ＿ＰＣＭ符号化モードを符号化して拡張レイヤ統合符号化部１２０へ出力する。

ステップＳ３１４にて、拡張レイヤ分割部１１８は、拡張レイヤ画像から下位の（ｍ−ｎ）ビットを抽出する。そして、拡張レイヤ画像再構成部１１６は、拡張レイヤ分割部１１８で抽出された（ｍ−ｎ）ビットの画像を非圧縮符号化して出力する。

ステップＳ３１５にて、拡張レイヤ符号化モード符号化部１１７は、ステップＳ３１１で決定された符号化モードを符号化して出力する。

ステップＳ３１６にて、予測部１１３は、拡張レイヤ画像をイントラ予測、レイヤ間予測などで予測を行い、予測誤差を算出する。さらに、変換・量子化部１１４は、予測部１１４によって算出された予測誤差に対して直交変換、量子化を行い、量子化係数を生成する。

ステップＳ３１７にて、拡張レイヤ第１符号化部１１５は、予測に必要な符号化モードや動きベクトル等の符号化制御情報を符号化し、ステップＳ３１６で変換・量子化部１１４によって生成された量子化係数を符号化して出力する。

ステップＳ３１８にて、本実施形態における画像符号化装置は、端子１００から入力された入力画像の全てのブロックの符号化処理が終了したか否かを判定する。入力画像の全てのブロックについて処理が終了していれば、符号化処理を終了する。終了していなければステップＳ３０２に戻り、次のブロックを処理対象ブロックとして符号化処理を継続する。

上記のようにして生成されたビットストリームを図８に示す。図８（ａ）は基本レイヤのビットストリームを表す図である。本実施形態におけるビットストリームには、ヘッダ情報とピクチャデータが含まれている。基本レイヤのヘッダ情報には、基本レイヤの画素深度情報が含まれている。基本レイヤのピクチャデータには、各ブロックの符号が含まれており、当該符号は基本レイヤ予測符号化画素情報と基本レイヤＩ＿ＰＣＭ画素情報からなっている。さらに、基本レイヤ予測符号化画素情報には、符号化モード符号や量子化係数符号が含まれている。また、基本レイヤＩ＿ＰＣＭ画素情報には、符号化モード符号とＩ＿ＰＣＭ符号が含まれている。

また、図８（ｂ）は拡張レイヤのビットストリームを表す図である。本実施形態における拡張レイヤのビットストリームには、ヘッダ情報とピクチャデータが含まれている。拡張レイヤのヘッダ情報には、拡張レイヤであることを示す拡張レイヤヘッダと拡張レイヤの画素深度情報が含まれている。さらに、拡張レイヤのヘッダには、Ｈ．２６４と同様に参照対象レイヤを示すインデックスが含まれている。

拡張レイヤのピクチャデータには、各ブロックの符号が含まれており、当該符号は拡張レイヤ予測符号化画素情報と拡張レイヤＩ＿ＰＣＭ画素情報からなっている。さらに、拡張レイヤ予測符号化画素情報には、符号化モード符号や量子化係数符号が含まれている。また、拡張レイヤのヘッダに含まれる参照対象レイヤを表すインデックスによって、基本レイヤの画素深度情報（ｎ）を知ることができる。また、拡張レイヤ画素深度情報（ｍ）は既知であるため、拡張レイヤＩ＿ＰＣＭ画素情報には符号化モード符号と画素あたり（ｍ−ｎ）ビットのＩ＿ＰＣＭ符号が含まれていると判別できる。

以上の構成と動作により、階層符号化を行うときのＩ＿ＰＣＭ符号化モードにおいて、基本レイヤ画像と基本レイヤで表されるビットを除いた下位のビットからなる拡張レイヤ画像に分離してそれぞれを符号化することが可能になった。同時にＩ＿ＰＣＭ符号化モードにおいても階層符号化を可能にすることができた。特に、拡張レイヤの内、基本レイヤで表されるビットを除いた下位のビットからなる画像を符号化することによって、拡張レイヤで送付する画像のビット数を削減できるため、符号化効率の向上が図れた。

本実施形態では、図８にビットストリームを表したが、ビットストリームの構成はこれに限定されない。

本実施形態では基本レイヤと１つの拡張レイヤについて説明したが、レイヤの数はこれに限定されない。例えば、図４のような構成を取ることも可能である。

図４は、図１の画像符号化装置に、拡張レイヤ符号化モード決定部４１１から拡張レイヤ統合符号化部４２０を追加した構成である。図４において、例えば、端子１００に入力される入力画像を１６ビットとし、基本レイヤ画像が８ビット、続く拡張レイヤ画像が１４ビット、最後の拡張レイヤ画像が１６ビットとする。このとき、階層分離部４０１は、これらの画素深度情報に対応する画像をそれぞれ入力する。すなわち、基本レイヤ符号化モード決定部１０２から基本レイヤ統合符号化部１１０において、上位８ビットの画像を符号化する。そして、拡張レイヤ符号化モード決定部１１１から拡張レイヤ統合符号化部１２０にて、上位１４ビットの画像を符号化する。但し、拡張レイヤ第２符号化部１１９は上位９ビット目から１４ビット目の６ビットの画像を符号化する。さらに、拡張レイヤ符号化モード決定部４１１から拡張レイヤ統合符号化部４２０において、上位１６ビットの画像を符号化する。但し、拡張レイヤ第２符号化部４１９は上位１５ビット目から１６ビット目の２ビットの画像を符号化する。

上記で説明したように、本発明は、適宜、拡張レイヤを増やしてもよい。そして、より多くの拡張レイヤを符号化処理するために、拡張レイヤ符号化モード決定部から拡張レイヤ統合符号化部を追加することでより多くのレイヤに対応することが可能なことは明らかである。また、本実施形態の画素深度情報はこれに限定されない。また、Ｉ＿ＰＣＭ符号化モードに関しても個別に画素深度情報を設定しても良い。これにより、Ｉ＿ＰＣＭ符号化モード時はそれ以外の符号化モードのブロックとは異なる画素深度情報を設定することも可能である。

＜実施形態２＞
以下、本発明の実施形態２を、図５を用いて説明する。図５は、本実施形態に係る画像復号装置の構成を示すブロック図である。

図５において、端子５００は本実施形態における画像復号装置内部に画像を入力する入力端子である。本実施形態において復号するビットストリームは、実施形態１における画像符号化装置で生成されたものとする。

階層符号復号分離部５０１は、端子５００から入力されたビットストリームの各ヘッダ情報を復号し、それぞれのレイヤの符号を分離して後段に出力する。本実施形態において、階層符号復号分離部５０１は、基本レイヤ符号を復号する基本レイヤ復号手段と拡張レイヤ符号を復号する拡張レイヤ復号手段に、それぞれのレイヤの符号を出力する。

基本レイヤ統合復号部５０２は、階層符号復号分離部５０１から基本レイヤのビットストリームを入力し、入力した基本レイヤのビットストリームのヘッダ情報を復号する。また、基本レイヤ統合復号部５０２は、当該ビットストリームのピクチャデータからブロック単位で基本レイヤの符号化モード符号、基本レイヤ予測符号化画素情報、基本レイヤＩ＿ＰＣＭ画素情報に分離する。さらに、基本レイヤ統合復号部５０２は、分離された基本レイヤの符号化モード符号を基本レイヤ符号化モード復号部５０３に出力し、基本レイヤ予測符号化画素情報、及び、基本レイヤＩ＿ＰＣＭ画素情報をセレクタ５０４に出力する。

基本レイヤ符号化モード復号部（基本レイヤ符号化モード取得手段）５０３は、基本レイヤ統合復号部５０２から入力された基本レイヤの符号化モード符号を復号し、符号化モードを生成する。基本レイヤ符号化モード復号部５０３は、生成した符号化モードを後段に出力する。

セレクタ５０４は、基本レイヤ符号化モード復号部５０３の出力に基づいて基本レイヤ予測符号化画素情報の出力先を選択する。基本レイヤ符号化モード復号部５０３の出力がＩ＿ＰＣＭ符号化モード以外の場合、セレクタ５０４は出力先として基本レイヤ第１復号部５０５を選択する。基本レイヤ符号化モード復号部５０３の出力がＩ＿ＰＣＭ符号化モードの場合、セレクタ５０４は基本レイヤ予測符号化画素情報の出力先として基本レイヤ第２復号部５０６を選択する。

基本レイヤ第１復号部５０５は、基本レイヤ統合復号部５０２で分離された基本レイヤ予測符号化画素情報を、セレクタ５０４を介して入力し、復号を行う。そして、基本レイヤ第１復号部５０５は、基本レイヤ予測符号化画素情報に含まれる量子化係数符号を復号し、予測誤差の量子化係数を得る。さらに、基本レイヤ第１復号部５０５は、取得した量子化係数を基本レイヤ画像再構成部５０７に出力する。

基本レイヤ第２復号部５０６は、基本レイヤ統合復号部５０２で分離された基本レイヤＩ＿ＰＣＭ画素情報を、セレクタ５０４を介して入力し、非圧縮で復号を行う。そして、基本レイヤ第２復号部５０６は、基本レイヤＩ＿ＰＣＭ画素情報を復号することで再生されたｎビットの画像を基本レイヤ画像として後段に出力する。

基本レイヤ画像再構成部５０７は、基本レイヤ復号部５０５から入力された量子化係数に逆量子化を行い、さらに逆直交変換を施して予測誤差を再生する。基本レイヤ画像再構成部５０７は、再生した予測誤差、基本レイヤ第２復号部５０６で再生された基本レイヤ画像、基本レイヤ符号化モード復号部５０３で生成された符号化モードを入力して、基本レイヤ画像として復号画像を再生する。

端子５０８は、基本レイヤ画像再構成部５０７で再生された基本レイヤ画像を画像復号装置外部へ出力する。

拡張レイヤ統合復号部５１０は、階層符号復号分離部５０１から拡張レイヤのビットストリームを入力する。そして、拡張レイヤ統合復号部５１０は、当該ビットストリームのピクチャデータからブロック単位で拡張レイヤの符号化モード符号、拡張レイヤ予測符号化画素情報、拡張レイヤＩ＿ＰＣＭ画素情報に分離して後段に出力する。

拡張レイヤ符号化モード復号部（拡張レイヤ符号化モード取得手段）５１１は、拡張レイヤ統合復号部５１０から入力された拡張レイヤの符号化モード符号を復号し、符号化モードを生成する。

セレクタ５１２は、拡張レイヤ符号化モード復号部５１１の出力に基づいて出力先を選択する。拡張レイヤ符号化モード復号部５１１の出力がＩ＿ＰＣＭ符号化モード以外の場合、セレクタ５１２は拡張レイヤ予測符号化画素情報の出力先として拡張レイヤ第１復号部５１３を選択する。拡張レイヤ符号化モード復号部５１１の出力がＩ＿ＰＣＭ符号化モードの場合、セレクタ５１２は拡張レイヤ予測符号化画素情報の出力先として拡張レイヤ第２復号部５１４を選択する。

拡張レイヤ第１復号部５１３は、拡張レイヤ統合復号部５１０で分離された拡張レイヤ予測符号化画素情報を、セレクタ５１２を介して入力し、復号を行う。そして、拡張レイヤ第１復号部５１３は、拡張レイヤ予測符号化画素情報に含まれる量子化係数符号を復号し、予測誤差の量子化係数を得る。さらに、拡張レイヤ第１符号化部５１３は、取得した量子化係数を拡張レイヤ画像再構成部５１５に出力する。

拡張レイヤ第２復号部５１４は、拡張レイヤ統合復号部５１０で分離された拡張レイヤＩ＿ＰＣＭ画素情報を、セレクタ５１２を介して入力し、非圧縮で復号を行う。そして、拡張レイヤ第２復号部５１４は、拡張レイヤＩ＿ＰＣＭ画素情報を復号することで再生された（ｍ−ｎ）ビットの画像を拡張レイヤ画像として後段に出力する。

拡張レイヤ画像再構成部５１５は、拡張レイヤ第１復号部５１３から入力された量子化係数に逆量子化を行い、さらに逆直交変換を施して予測誤差を再生する。拡張レイヤ画像再構成部５１５は、再生した予測残差、基本レイヤ画像再構成部５０７で再生された基本レイヤ画像、拡張レイヤ第２復号部５１４で再生された拡張レイヤ画像、拡張レイヤ符号化モード復号部５１１で生成された符号化モードを入力する。そして、拡張レイヤ画像再構成部５１５は、拡張レイヤ画像として復号画像を再生する。

端子５１６は、拡張レイヤ再構成部５１５で再生された拡張レイヤ画像を画像復号装置外部へ出力する。

上記画像復号装置における画像の復号処理方法を以下に説明する。図５において、本実施形態における画像復号装置は、端子５００へ入力されたビットストリームを階層符号復号分離部５０１に入力する。階層符号復号分離部５０１は、各ヘッダ情報を復号する。ヘッダ情報には基本レイヤの画素深度情報と拡張レイヤの画素深度情報が含まれている。これらの画素深度情報を復号することによって、基本レイヤの画素深度情報ｎビットと拡張レイヤの画像深度情報ｍビットを再生する。さらに、階層符号復号分離部５０１は、基本レイヤのビットストリームを基本レイヤ統合復号部５０２に出力し、拡張レイヤのビットストリームを拡張レイヤ統合復号部５１０に出力する。

まず、基本レイヤ符号の復号について説明する。

基本レイヤ統合復号部５０２は、階層符号復号分離部５０１から入力された基本レイヤのビットストリームのヘッダ情報を復号し、当該ビットストリームのピクチャデータからブロック単位の符号に分割する。さらに基本レイヤ統合復号部５０２は、分割した符号の中から符号化モード符号を分離し、分離した符号化モード符号を基本レイヤ符号化モード復号部５０３に出力する。また、基本レイヤ統合復号部５０２は、残りの量子化係数符号またはＩ＿ＰＣＭ符号をセレクタ５０４に出力する。

基本レイヤ符号化モード復号部５０３は、基本レイヤ統合復号部５０２から入力された符号化モード符号を復号し、符号化モードを生成する。基本レイヤ符号化モード復号部５０３は、生成した符号化モードをセレクタ５０４、基本レイヤ第１復号部５０５、基本レイヤ画像再構成部５０７に出力する。但し、本実施形態では、実施形態１と同様に説明を簡易にするため、基本レイヤ符号化モード復号部５０３で生成される符号化モードは、以下の符号化モードであるとする。すなわち、基本レイヤ符号化モード復号部５０３で生成される符号化モードは、イントラ予測を用いるイントラ符号化モード、動き補償を行うインター予測を用いるインター符号化モード、及び非圧縮符号化を行うＩ＿ＰＣＭ符号化モードのいずれかとする。

まずは、基本レイヤ符号化モード復号部５０３において、Ｉ＿ＰＣＭ符号化モード以外のモードが生成された場合について説明する。

セレクタ５０４は、基本レイヤ符号化モード復号部５０３の出力に基づいて、基本レイヤ統合復号部５０２から入力された基本レイヤ予測符号化画素情報を基本レイヤ第１復号部５０５に出力する。

基本レイヤ第１復号部５０５は、基本レイヤ統合復号部５０２で分離された基本レイヤ予測符号化画素情報を、セレクタ５０４を介して入力し、復号を行う。基本レイヤ第１復号部５０５は、入力された基本レイヤ予測符号化画素情報に含まれる、予測に必要な符号化モードや動きベクトル等の符号化制御情報を復号する。また、基本レイヤ第１復号部５０５は、入力された基本レイヤ予測符号化画素情報に含まれる量子化係数符号を復号し、予測誤差の量子化係数を生成する。さらに、基本レイヤ第１復号部５０５は、生成された量子化係数を基本レイヤ画像再構成部５０７に出力する。

基本レイヤ画像再構成部５０７は、基本レイヤ第１復号部５０５から入力された量子化係数に逆量子化を行い、さらに逆直交変換を施して予測誤差を再生する。さらに基本レイヤ画像再構成部５０７は、基本レイヤ符号化モード復号部５０３で生成された符号化モードに従って、再生した予測誤差と基本レイヤ画像再構成部５０７内に格納された復号画像から再生画像を取得する。このとき、基本レイヤ画像再構成部５０７は、基本レイヤ画像再構成部５０７内に格納された復号画像を参照して予測値とし、再生した予測誤差と加算することによって再生画像を生成することができる。さらに基本レイヤ画像再構成部５０７は、生成した当該再生画像を画像復号装置外部へ端子５０８を介して出力し、以後の参照のために基本レイヤ画像再構成部５０７内に格納する。

続いて、基本レイヤ符号化モード復号部５０３において、Ｉ＿ＰＣＭ符号化モードが生成された場合について説明する。

セレクタ５０４は、基本レイヤ統合復号部５０２から入力された復号対象である基本レイヤＩ＿ＰＣＭ画素情報を基本レイヤ第２復号部５０６に出力する。

基本レイヤ第２復号部５０６は、セレクタ５０４から入力された基本レイヤＩ＿ＰＣＭ画素情報に含まれるＩ＿ＰＣＭ符号から各画素値を再生し、基本レイヤ画像再構成部５０７に出力する。

基本レイヤ画像再構成部５０７は、基本レイヤ第２復号部５０６から入力された各画素値は復号画像そのものであるため、基本レイヤ第２復号部５０６から入力された各画素値を再生画像として画像復号装置外部へ端子５０８を介して出力する。さらに基本レイヤ画像再構成部５０７は、当該再生画像を以後の参照のために基本レイヤ画像再構成部５０７内に格納する。

続いて、拡張レイヤ符号の復号について説明する。

拡張レイヤ統合復号部５１０は、階層符号復号分離部５０１から入力された拡張レイヤのビットストリームのヘッダ情報を復号し、当該ビットストリームのピクチャデータからブロック単位の符号に分割する。さらに拡張レイヤ統合復号部５１０は、分割した符号の中から符号化モード符号を分離し、分離した符号化モード符号を拡張レイヤ符号化モード復号部５１１に出力する。残りの量子化係数符号またはＩ＿ＰＣＭ符号をセレクタ５１２に出力する。

拡張レイヤ符号化モード復号部５１１は、拡張レイヤ統合復号部５１０から入力された符号化モード符号を復号し、符号化モードを生成する。拡張レイヤ符号化モード復号部５１１は、生成した符号化モードをセレクタ５１２、拡張レイヤ第１復号部５１３、拡張レイヤ画像再構成部５１５に出力する。但し、本実施形態では、実施形態１と同様に説明を簡易にするため、拡張レイヤ符号化モード復号部５１１で生成される符号化モードは、以下の符号化モードであるとする。すなわち、拡張レイヤ符号化モード復号部５１１で生成される符号化モードは、イントラ予測を用いるイントラ符号化モード、基本レイヤ画像を参照するレイヤ間符号化モード、及び非圧縮符号化を行うＩ＿ＰＣＭ符号化モードのいずれかとする。

まずは、拡張レイヤ符号化モード復号部５１１において、Ｉ＿ＰＣＭ符号化モード以外のモードが生成された場合について説明する。

セレクタ５１２は、拡張レイヤ符号化モード復号部５１１の出力に基づいて、拡張レイヤ統合復号部５１０から入力された拡張レイヤ予測符号化画素情報を拡張レイヤ第１復号部５１３に出力する。

拡張レイヤ第１復号部５１３は、拡張レイヤ統合復号部５１０で分離された拡張レイヤ予測符号化画素情報を、セレクタ５１２を介して入力し、復号を行う。拡張レイヤ第１復号部５１３は、入力された拡張レイヤ予測符号化画素情報に含まれる予測に必要な符号化モード符号や基本レイヤ画像の参照に関する情報等の符号化制御情報を復号する。また、拡張レイヤ第１復号部５１３は、入力された拡張レイヤ予測符号化画素情報に含まれる量子化係数符号を復号し、予測誤差の量子化係数を生成する。さらに、拡張レイヤ第１復号部５１３は、生成された量子化係数を拡張レイヤ画像再構成部５１５に出力する。

拡張レイヤ画像再構成部５１５は、拡張レイヤ第１復号部５１３から入力された量子化係数に逆量子化を行い、さらに逆直交変換を施して予測誤差を再生する。さらに拡張レイヤ画像再構成部５１５は、拡張レイヤ符号化モード復号部５１１から入力された符号化モードに基づいて予測値を算出する。また、拡張レイヤ画像再構成部５１５は、拡張レイヤ画像再構成部５１５内に格納された復号画像、及び基本レイヤ画像再構成部５０７に格納されている基本レイヤ画像を参照して予測値を算出する。拡張レイヤ画像再構成部５１５は、このように算出した予測値と再生した予測誤差を加算することによって再生画像を得る。さらに拡張レイヤ画像再構成部５１５は、生成した当該再生画像を画像復号装置外部へ端子５１６を介して出力し、以後の参照のために拡張レイヤ画像再構成部５１５内に格納する。

拡張レイヤ符号化モード復号部５１１において、Ｉ＿ＰＣＭ符号化モード以外のモードが生成された場合の拡張レイヤ画像再構成部５１５の詳細な処理を、図２を用いて説明する。図２において、端子２００は、基本レイヤ画像再構成部５０７から参照する８ビットの画像を入力する。端子２０１は、拡張レイヤ第１復号部５１３から予測誤差の量子化係数を入力する。端子２０２は、拡張レイヤ第２復号部５１５から（ｍ−ｎ）ビットすなわち６ビットの画像を入力する。端子２０３は、拡張レイヤ符号化モード復号部５１１から符号化モードを入力する。シフト部２０４は、基本レイヤ画像再構成部５０７から端子２００を介して入力された画像の画素値を６ビット左にシフトする。セレクタ２０６及びセレクタ２０７は、拡張レイヤ符号化モード復号部５１１から端子２０３を介して入力される符号化モードによって入力先を選択する。加算部２０８は、セレクタ２０６及びセレクタ２０７からの入力を加算してフレームメモリ２０９に出力する。フレームメモリ２０９は、セレクタ２０６及びセレクタ２０７から入力された画像を参照するために局所復号画像をフレームメモリ２０９内に格納する。端子２１０は、フレームメモリ２０９に格納された局所復号画像を、端子５１６を介して画像復号装置外部に出力する。

上記構成において、端子２０３は、拡張レイヤ符号化モード復号部５１１から符号化モードを入力する。

端子２０３に入力された符号化モードがイントラ符号化モードの場合、セレクタ２０６はフレームメモリ２０９に格納された局所復号画像を予測画像として加算部２０８に出力するように設定する。また、この場合、セレクタ２０７は逆変換・逆量子化部２０５で再生された予測誤差を加算部２０８へ出力するように設定する。すると、逆量子化・逆変換部２０５は、イントラ予測によって得られた予測誤差の量子化係数を拡張レイヤ第１復号部５１３から端子２０１を介して入力し、入力された量子化係数を予測誤差として再生する。逆量子化・逆変換部２０５は、再生した予測誤差を、セレクタ２０７を介して加算部２０８に出力する。また、セレクタ２０６はフレームメモリ２０９から入力された局所復号画像を加算部２０８に出力する。そして、加算部２０８は、セレクタ２０６から入力された局所復号画像とセレクタ２０７から入力された予測誤差を加算して復号画像を生成し、フレームメモリ２０９の所定の領域に格納する。さらに、フレームメモリ２０９は、加算部２０８で生成された復号画像を、端子２１０を介し、さらに図５の端子５１６を介して画像復号装置外部に出力する。

端子２０３に入力された符号化モードがレイヤ間符号化モードの場合、セレクタ２０６はシフト部２０４からの画像を入力し、加算部２０８へ出力するように設定する。また、この場合、セレクタ２０７は逆量子化・逆変換部２０５で再生された予測誤差を加算部２０８へ出力するように設定する。これにより、逆量子化・逆変換部２０５は、拡張レイヤ第１復号部５１３から端子２０１を介してレイヤ間の予測によって得られた予測誤差を入力し、入力された量子化係数を予測誤差として再生する。そして、逆量子化・逆変換部２０５は、再生した予測誤差を、セレクタ２０７を介して加算部２０８に出力する。また、シフト部２０４は、図５の基本レイヤ画像再構成部５０７に格納されている８ビットの参照画像を、端子２００を介して入力する。シフト部２０４は、入力した参照画像を左に６ビットシフトし、下位の６ビットに０を埋め込み、１４ビットの画像を生成する。さらに、シフト部２０４は、１４ビットの画像を、セレクタ２０６を介して加算部２０８に出力する。そして、加算部２０８は、セレクタ２０６から入力された画像とセレクタ２０７から入力された予測誤差を加算して局所復号画像を生成し、フレームメモリ２０９に出力する。フレームメモリ２０９は、加算部２０８で生成された局所復号画像を所定の領域に格納する。さらに、フレームメモリ２０９は、加算部２０８で再生された復号画像を、端子２１０を介し、さらに図５の端子５１６を介して画像符号化装置外部に出力する。

次に、拡張レイヤ符号化モード復号部５１１において、Ｉ＿ＰＣＭ符号化モードが生成された場合について説明する。

セレクタ５１２は、拡張レイヤ符号化モード復号部５１１の出力に基づいて、拡張レイヤ統合復号部５１０から入力された拡張レイヤＩ＿ＰＣＭ画素情報を拡張レイヤ第２復号部５１４に出力する。

拡張レイヤ第２復号部５１４は、セレクタ５１２から入力された拡張レイヤＩ＿ＰＣＭ画素情報に含まれるＩ＿ＰＣＭ符号を復号し、（ｍ−ｎ）ビットの画像を拡張レイヤ画像として再生し、拡張レイヤ画像再構成部５１５に出力する。

拡張レイヤ画像再構成部５１５は、拡張レイヤ符号化モード復号部５１１から入力された符号化モードに基づいて復号画像を再生する。また、拡張レイヤ画像再構成部５１５は、拡張レイヤ第２復号部５１４から入力された６ビットの画像、及び、基本レイヤ画像再構成部５０７に格納されている８ビットの基本レイヤ画像を参照して復号画像を再生する。さらに拡張レイヤ画像再構成部５１５は、再生した当該復号画像を画像符号化装置外部へ端子５１６を介して出力し、以後の参照のために拡張レイヤ画像再構成部５１５内に格納する。

拡張レイヤ符号化モード復号部５１１において、Ｉ＿ＰＣＭ符号化モードが生成された場合の拡張レイヤ画像再構成部５１５の詳細な処理について、図２を用いて説明する。図２において端子２０２は、拡張レイヤ第２復号部５１４から６ビットの画像を入力する。端子２０３には、拡張レイヤ符号化モード復号部５１１からＩ＿ＰＣＭ符号化モードが入力される。この時、セレクタ２０６は入力先をシフト部２０４とし、セレクタ２０７は入力先を端子２０２とする。シフト部２０４は、基本レイヤ画像再構成部５０７に格納されている８ビットの参照画像を、端子２００を介して入力する。シフト部２０４は入力された８ビットの画像を左に６ビットシフトし、下位の６ビットに０を埋め込み、１４ビットの画像を生成する。さらにシフト部２０４は、生成した１４ビットの画像を、セレクタ２０６を介して加算部２０８に入力する。一方、セレクタ２０７は、拡張レイヤ第２復号部５１４で再生された６ビットの画像を、端子２０２を介して入力し、加算器２０８へ当該画像を出力する。加算部２０８は、セレクタ２０６及びセレクタ２０７からの入力を加算して復号画像を再生し、フレームメモリ２０９に出力する。フレームメモリ２０９は、加算器２０８から入力された復号画像をフレームメモリ２０９内の所定の領域に格納し、再生された復号画像を端子２１０と端子５１６を介して画像復号装置外部に出力する。

図６は、本実施形態に係る画像復号装置における画像の復号処理を示すフローチャートである。

ステップＳ６００にて、本実施形態に係る画像復号装置は、復号するビットストリームを図５に示す端子５００から入力する。

ステップＳ６０１にて、本実施形態に係る画像復号装置は、シーケンス全体を表すヘッダを復号し、端子５００から入力されたビットストリームがビット深度階層符号化されたものか否かを表す情報（ｂｉｔｄｅｐｔｈ＿ｅｎｈａｎｃｅｍｅｎｔ＿ｆｌａｇ）を得る。当該情報が１の場合に拡張レイヤがビット深度階層の拡張レイヤであることを示し、当該情報が０の場合に拡張レイヤがそれ以外の階層の拡張レイヤであるとする。さらに、本実施形態に係る画像復号装置は、基本レイヤの情報を表すヘッダ、拡張レイヤの情報を表すヘッダを復号し、それぞれのレイヤのビット深度を表す画素深度情報を再生する。ここでは再生された基本レイヤの画素深度情報をｂａｓｅ＿ｌａｙｅｒ＿ｂｉｔ＿ｄｅｐｔｈ とし、拡張レイヤの画素深度情報をｅｎｈａｃｅｍｅｎｔ＿ｌａｙｅｒ＿ｂｉｔ＿ｄｅｐｔｈ とする。

ステップＳ６０２にて、階層符号復号分離部５０１は、復号対象の基本レイヤのブロックに関する符号をビットストリームから抽出し、基本レイヤ統合復号部５０２へ出力する。

ステップＳ６０３にて、基本レイヤ統合復号部５０２は、階層符号復号分離部５０１から入力された基本レイヤのブロックに関する符号からブロックの符号化モード符号を抽出する。そして、基本レイヤ統合復号部５０２は、抽出した符号化モード符号を復号し、符号化モードを生成する。

ステップＳ６０４にて、セレクタ５０４は、ステップＳ６０３で生成された基本レイヤのブロックの符号化モードがＩ＿ＰＣＭ符号化モードか否かを判定する。ブロックの符号化モードがＩ＿ＰＣＭ符号化モードであればステップＳ６０５に進み、そうでなければステップＳ６０６に進む。

ステップＳ６０５にて、基本レイヤ第２復号部５０７は、基本レイヤ統合復号部５０２からセレクタ５０４を介して入力された基本レイヤのブロックに関する符号から、符号化モード符号に続くＩ＿ＰＣＭ符号を抽出し、各ｎビットの画素の値を再生する。

ステップＳ６０６にて、基本レイヤ第１復号部５０５は、予測に必要な符号化モードや動きベクトル等の符号化制御情報を復号し、続く量子化係数符号を復号して、予測誤差の量子化係数を再生する。

ステップＳ６０７にて、基本レイヤ画像再構成部５０７は、ステップＳ６０６で再生された量子化係数を逆量子化し、さらに逆直交変換によって予測誤差を再生する。

ステップＳ６０８にて、基本レイヤ画像再構成部５０７は、ステップＳ６０５で再生された画素値を再生画像とする。または基本レイヤ画像再構成部５０７は、ステップＳ６０７で再生された予測誤差とステップＳ６０６で再生された符号化情報を用いて生成した予測値を加算することで画素値を再生し、再生画像とする。そして、基本レイヤ画像再構成部５０７は、再生した画素値を再生画像として格納する。

ステップＳ６０９にて、階層符号復号分離部５０１は、復号対象の拡張レイヤのブロックに関する符号をビットストリームから抽出し、拡張レイヤ統合復号部５１０へ出力する。

ステップＳ６１０にて、拡張レイヤ統合復号部５１０は、階層符号復号分離部５０１から入力された拡張レイヤのブロックに関する符号からブロックの符号化モード符号を抽出する。そして、拡張レイヤ統合復号部５１０は、抽出した符号化モード符号を復号し、符号化モードを生成する。

ステップＳ６１１にて、セレクタ５１２は、ステップＳ６１０で生成された拡張レイヤのブロックの符号化モードがＩ＿ＰＣＭ符号化モードか否かを判定する。ブロックの符号化モードがＩ＿ＰＣＭ符号化モードであればステップＳ６１２に進み、そうでなければステップＳ６１４に進む。

ステップＳ６１２にて、拡張レイヤ第２復号部５１４は、拡張レイヤ統合復号部５１０からセレクタ５１２を介して入力された拡張レイヤのブロックに関する符号から、符号化モード符号に続くＩ＿ＰＣＭ符号を抽出し、各（ｍ−ｎ）ビットの画素の値を再生する。

ステップＳ６１３にて、拡張レイヤ第１復号部５１３は、予測に必要な符号化モードや動きベクトル等の符号化制御情報を復号し、続く量子化係数符号を復号して、予測誤差の量子化係数を再生する。

ステップＳ６１４にて、拡張レイヤ画像再構成部５１５は、ステップＳ６１３で再生された量子化係数を逆量子化し、さらに逆直交変換によって予測誤差を再生する。

ステップＳ６１５にて、拡張レイヤ画像再構成部５１５は、ステップＳ６１２で再生された（ｍ−ｎ）ビットの画素値と同じ画素位置の基本レイヤのｎビット画素値を（ｍ−ｎ）ビット左にシフトした画素値を加算し、画素値を再生する。または、拡張レイヤ画像再構成部５１５は、ステップＳ６１５で再生された予測誤差とステップＳ６１３で再生された符号情報を用いて予測値を生成し、加算することで画素値を再生する。再生された画素値を再生画像として格納する。

ステップＳ６１６にて、本実施形態における画像復号装置は、端子５００から入力されたビットストリームの全てのブロックの復号処理が終了したか否かを判定する。入力されたビットストリームの全てのブロックについて処理が終了していれば、復号処理を終了する。終了していなければステップＳ６０２に戻り、次のブロックを復号対象ブロックとして復号処理を継続する。

上述した本実施形態における画像復号装置の動作をＨ．２６４の規格書の書式に従って表１に記載する。

表１において、ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ＿ｉｎ＿ｓｃａｌａｂｌｅ＿ｅｘｔｅｎｓｉｏｎ（ ）は拡張レイヤ画像のブロックの復号を表す。ＩｎＣｒｏｐＷｉｎｄｏｗ（ ＣｕｒｒＭｂＡｄｄｒ ）は、アドレスＣｕｒｒＭｂＡｄｄｒで示される復号するブロックが復号画像の内部にあることを示している。ａｄａｐｔｉｖｅ＿ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇは非特許文献１のＧ．７．４．３．４ 章Ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ ｓｅｍａｎｔｉｃｓに記載されているフラグである。ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇはＧ．７．４．６章Ｍａｃｒｏｂｌｏｃｋ ｌａｙｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ ｓｅｍａｎｔｉｃｓに記載されている。このフラグは、拡張レイヤ画像のブロックと基本レイヤ画像のブロックの符号化モード等が同じか否かを表すフラグである。ｐｃｍ＿ａｌｉｇｎｍｅｎｔ＿ｚｅｒｏ＿ｂｉｔでバイト境界まで０ビットが補てんされる。

ｂｉｔｄｅｐｔｈ＿ｅｎｈａｎｃｅｍｅｎｔ＿ｆｌａｇが０の場合、ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ＿ｉｎ＿ｓｃａｌａｂｌｅ＿ｅｘｔｅｎｓｉｏｎ（ ）の１０行目から１３行目は、拡張レイヤの表すｍビットのＩ＿ＰＣＭ符号化された画像を復号する。すなわち、差分ビット数のＩ＿ＰＣＭ符号ではなく、ｐｃｍ＿ｓａｍｐｌｅ＿ｌｕｍａ［ ｉ ］はｍビット輝度値のＩ＿ＰＣＭ符号を表す。このＩ＿ＰＣＭ符号からブロック分のｍビットの基本レイヤ画像の輝度の画素値が再生される。同様にｐｃｍ＿ｓａｍｐｌｅ＿ｃｈｒｏｍａ［ ｉ ］は色差値のＩ＿ＰＣＭ符号を表す。このＩ＿ＰＣＭ符号からブロック分のｍビットの色差の画素値が再生される。

ｂｉｔｄｅｐｔｈ＿ｅｎｈａｎｃｅｍｅｎｔ＿ｆｌａｇが１の場合、ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ＿ｉｎ＿ｓｃａｌａｂｌｅ＿ｅｘｔｅｎｓｉｏｎ（ ）の１５行目から２２行目は、拡張レイヤの差分ビット数分のＩ＿ＰＣＭ符号化された画像の復号となる。ｐｃｍ＿ｓａｍｐｌｅ＿ｌｕｍａ＿ｖａｌｕｅは、拡張レイヤ画像の輝度値のＩ＿ＰＣＭ符号を表す。このＩ＿ＰＣＭ符号からブロック分の（ｍ−ｎ）ビットの輝度の画素値が再生される。同様にｐｃｍ＿ｓａｍｐｌｅ＿ｃｈｒｏｍａ＿ｖａｌｕｅは色差値のＩ＿ＰＣＭ符号を表す。このＩ＿ＰＣＭ符号からブロック分の（ｍ−ｎ）ビットの色差の画素値が再生される。この（ｍ−ｎ）をｎｕｍｂｅｒ＿ｏｆ＿ｂｉｔ＿ｄｅｐｔｈと表すこととする。これにより、拡張レイヤ画像の再生画素値に関して輝度は次式で算出する。

ｐｃｍ＿ｓａｍｐｌｅ＿ｌｕｍａ［ ｉ ］＝（ ｐｃｍ＿ｓａｍｐｌｅ＿ｌｕｍａ［ ｉ ］ ＜＜ｎｕｍｂｅｒ＿ｏｆ＿ｂｉｔ＿ｄｅｐｔｈ）＋ｐｃｍ＿ｓａｍｐｌｅ＿ｌｕｍａ＿ｖａｌｕｅ） ・・・（１）
但し、＜＜は続く値で示されるビット数だけ左にシフトして、０を補てんする演算を表す。同様に色差は次式で算出する。

ｐｃｍ＿ｓａｍｐｌｅ＿ｃｈｒｏｍａ［ ｉ ］＝（ ｐｃｍ＿ｓａｍｐｌｅ＿ｃｈｒｏｍａ［ ｉ ］ ＜＜ｎｕｍｂｅｒ＿ｏｆ＿ｂｉｔ＿ｄｅｐｔｈ）＋ｐｃｍ＿ｓａｍｐｌｅ＿ｃｈｒｏｍａ＿ｖａｌｕｅ） ・・・（２）
このようにして 本実施形態における画像復号装置は、拡張レイヤの復号画像を再生する。

表１ではｂｉｔｄｅｐｔｈ＿ｅｎｈａｎｃｅｍｅｎｔ＿ｆｌａｇを用いたが、これを省略することも可能である。表２にその様子を示す。表１と比較して、９行目が異なっている。すなわち、表２では、ヘッダ情報に含まれるｂａｓｅ＿ｌａｙｅｒ＿ｂｉｔ＿ｄｅｐｔｈ とｅｎｈａｃｅｍｅｎｔ＿ｌａｙｅｒ＿ｂｉｔ＿ｄｅｐｔｈを比較することにより判定を行う。表２において、ｅｎｈａｃｅｍｅｎｔ＿ｌａｙｅｒ＿ｂｉｔ＿ｄｅｐｔｈがｂａｓｅ＿ｌａｙｅｒ＿ｂｉｔ＿ｄｅｐｔｈよりも大きければ、拡張画像レイヤが差分ビット数分の符号であることとなる。

以上の構成と動作により、階層符号化された符号（以下、階層符号）の復号時にＩ＿ＰＣＭ符号化モードにおいて、基本レイヤ画像と基本レイヤで表されるビットを除いた下位のビットからなる画像に分離されてそれぞれを符号化された符号を復号することができた。さらに、非圧縮符号化を行うＩ＿ＰＣＭ符号化モードにおいても階層符号の階層復号を可能にした。また、基本レイヤよりも下位のビットからなる画像を符号化することによって画像のビット数を削減したビットストリームにおいても、削減しない場合と同じ画質を達成することができた。

本実施形態では基本レイヤと１つの拡張レイヤについて説明を行ったが、レイヤの数はこれに限定されない。例えば、図７のような構成を取ることも可能である。図７に示す画像符号化装置は、図５の画像符号化装置に拡張レイヤ統合復号部７１０から端子７１６を追加した構成である。

例えば、画像符号化装置に入力されたビットストリームが最大画素値あたり１６ビットとし、基本レイヤが８ビット、続く拡張レイヤが１４ビット、最後の拡張レイヤが１６ビットとする。このとき、階層符号分離部５０１はこれらの階層のビットストリームをそれぞれのレイヤに入力する。基本レイヤ統合復号部５０２以降は、上位８ビットの画像を復号する。拡張レイヤ統合復号部５１０以降は、上位１４ビットの画像を復号する。この時、拡張レイヤ第２復号部５１４は、上位９ビット目から１４ビット目の６ビットの画像を復号する。最後に拡張レイヤ統合符号化部７１０以降は、上位１６ビットの画像を符号化する。この時、拡張レイヤ第２復号部７１４は、上位１５ビット目から１６ビット目の２ビットの画像を復号する。

上記で説明したように、適宜、拡張レイヤ統合復号部から拡張レイヤ画像再構成部を追加することでより多くのレイヤに対応することが可能なことは明らかである
また、本実施形態のビット深度はこれに限定されない。また、表１、表２の符号と復号の形態に限定されない。

また、Ｉ＿ＰＣＭ符号化モードの画像深度情報を輝度と色差と同じ画像深度情報としたが、前述のように別な値を取っても構わない。

尚、表２において、９行目において、ｂａｓｅ＿ｌａｙｅｒ＿ｂｉｔ＿ｄｅｐｔｈ とｅｎｈａｃｅｍｅｎｔ＿ｌａｙｅｒ＿ｂｉｔ＿ｄｅｐｔｈが等しい場合に１０行目から１３行目の処理を行うように記述したが、これに限定されない。例えば、ｂａｓｅ＿ｌａｙｅｒ＿ｂｉｔ＿ｄｅｐｔｈ とｅｎｈａｃｅｍｅｎｔ＿ｌａｙｅｒ＿ｂｉｔ＿ｄｅｐｔｈが等しい場合には、Ｉ＿ＰＣＭ符号を省略して、基本レイヤの値をそのまま使用することも可能である。

＜実施形態３＞
以下、本発明の実施形態３を、図９を用いて説明する。図９は、本実施形態に係る画像符号化装置の構成を示すブロック図である。

図９において、実施形態１の図１に記載しているブロックと同じ機能を果たすものについては同じ番号を付し、説明を省略する。

拡張レイヤ符号化モード決定部９１１は、図１の拡張レイヤ符号化モード決定部１１１とは、基本レイヤ符号化モード決定部１０２の結果を入力する点が異なる。

上記画像符号化装置における画像の符号化動作を以下に説明する。実施形態１と同様に、基本レイヤ符号化モード決定部１０２は符号化するブロックの符号化モードを決定する。本実施形態においても、基本レイヤ符号化モード決定部１０２で決定される符号化モードは、イントラ符号化モード、インター符号化モード、及びＩ＿ＰＣＭ符号化モードとする。但し、本発明はこれに限定されない。また、基本レイヤ符号化モード決定部１０２で決定された符号化モードは、実施形態１の出力先に加え、拡張レイヤ符号化モード決定部９１１に入力される。以降、第１実施形態と同様に基本レイヤ画像の符号化が行われる。

続いて、拡張レイヤ画像の符号化について説明する。拡張レイヤ符号化モード決定部９１１は、本実施形態における画像符号化装置に入力された入力画像の基本レイヤの符号化モードに基づいて、拡張レイヤで符号化するブロックの符号化モードを決定する。説明を簡易にするため、実施形態１と同様に、本実施形態では、当該符号化モードをイントラ符号化モード、インター符号化モード、レイヤ間符号化モード、及びＩ＿ＰＣＭ符号化モードのいずれかとする。拡張レイヤ符号化モード決定部９１１は、基本レイヤ符号化モード決定部１０２からの出力がＩ＿ＰＣＭ符号化モードであれば、Ｉ＿ＰＣＭ符号化モードを拡張レイヤ画像の符号化対象ブロックの符号化モードとして決定する。また、拡張レイヤ符号化モード決定部９１１は、基本レイヤ符号化モード決定部１０２からの出力がＩ＿ＰＣＭ符号化モード以外のモードであれば、拡張レイヤ画像のブロック内の特徴量、符号量の推測結果等から拡張レイヤの符号化モードを決定する。

さらに、拡張レイヤ符号化モード決定部９１１は、実施形態１の拡張レイヤ符号化モード決定部１１１と同様に、決定した符号化モードを後段にそれぞれ出力する。すなわち拡張レイヤ符号化モード決定部９１１は、セレクタ１１２、予測部１１３、変換・量子化部１１４、拡張レイヤ符号化モード符号化部１１７、拡張レイヤ画像再構成部１１６に決定した符号化モードを出力する。

拡張レイヤ符号化モード符号化部１１７は、拡張レイヤ符号化モード決定部９１１から入力された符号化モードを符号化して符号化モード符号を生成し、拡張レイヤ統合符号化部１２０に出力する。以下、実施形態１と同様に拡張レイヤ符号化モード決定部９１１で決定された符号化モードに従って拡張レイヤ画像の符号化が行われる。

図１０は、本実施形態に係る画像符号化装置における画像の符号化処理を示すフローチャートである。図１０において、実施形態１の図３に記載しているステップと同じ機能を果たすものについては同じ番号を付し、説明を省略する。

ステップＳ３００からステップＳ３０１にて、本実施形態に係る画像符号化装置への画像の入力と、入力された画像のヘッダ情報の符号化が行われる。続いて、ステップＳ３０２からステップＳ３１０にて、基本レイヤ画像のブロックの符号化が行われる。

ステップＳ１００１にて、拡張レイヤ符号化モード決定部９１１は、ステップＳ３０４で決定された基本レイヤ画像のブロックの符号化モードがＩ＿ＰＣＭ符号化モードか否かを判定する。基本レイヤ画像のブロックの符号化モードがＩ＿ＰＣＭ符号化モードであればステップＳ３１３に進み、そうでなければステップＳ３１１に進む。

以後、ステップＳ３１１からステップＳ３１７にて、拡張レイヤ画像のブロックの符号化が行われる。

特に、本実施形態では、ステップＳ１００１にて基本レイヤ符号化モード決定部１０２で決定された符号化モードを参照し、当該符号化モードがＩ＿ＰＣＭ符号化モードであった場合、拡張レイヤでも同様にＩ＿ＰＣＭ符号化モードとする点に特徴がある。

本実施形態における画像符号化装置で生成されるビットストリームの構成は、図８に示されるものと同じである。但し、拡張レイヤＩ＿ＰＣＭ画素情報における符号化モード符号の内容が異なる。従って、本実施形態における画像符号化装置で生成されるビットストリームは、実施形態２で説明した画像復号装置で復号することが可能である。この場合、図６において、ステップＳ６１１は、ステップＳ６０４で基本レイヤ画像のブロックの符号化モードがＩ＿ＰＣＭ符号化モードであれば、ステップＳ６１２に進むことになる。

以上の構成と動作により、階層符号化において基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モードの場合に、拡張レイヤの符号化モードもＩ＿ＰＣＭ符号化モードとすることで、拡張レイヤの符号化モードの判定を簡易にすることができ、処理の高速化を実現する。通常、Ｉ＿ＰＣＭ符号化モードは予測符号化において符号化効率の向上が実現できない画像に用いられる。例えば、ホワイトノイズの画像等が考えられる。すなわち、基本レイヤでＩ＿ＰＣＭ符号化モードが選択されることは通常の符号化が行えない状態であり、その下位ビットである拡張レイヤも同様になる可能性が非常に高いことを利用したものである。

＜実施形態４＞
以下、本発明の実施形態４を、図１１を用いて説明する。図１１は、本実施形態に係る画像符号化装置の構成を示すブロック図である。

図１１において、実施形態３の図９に記載しているブロックと同じ機能を果たすものについては同じ番号を付し、説明を省略する。

拡張レイヤ符号化モード符号化部１１１７は、拡張レイヤ符号化モード決定部９１１で決定された符号化モードを符号化する。図９の拡張レイヤ符号化モード符号化部１１７とは、基本レイヤ符号化モード決定部１０２の結果を入力する点が異なる。

上記画像符号化装置における画像の符号化動作を以下に説明する。実施形態１及び実施形態３と同様に、図１１における基本レイヤ符号化モード決定部１０２は符号化するブロックの符号化モードを決定する。本実施形態においても、基本レイヤ符号化モード決定部１０２で決定される符号化モードは、イントラ符号化モード、インター符号化モード、及びＩ＿ＰＣＭ符号化モードとする。但し、これに限定されない。また、基本レイヤ符号化モード決定部１０２で決定された符号化モードは、実施形態１の出力先に加え、拡張レイヤ符号化モード決定部９１１と拡張レイヤ符号化モード符号化部１１１７に入力される。以後、実施形態１及び実施形態３と同様に、基本レイヤ画像の符号化が行われる。続いて、拡張レイヤ画像の符号化について説明する。

拡張レイヤ符号化モード決定部９１１は、実施形態３と同様に、本実施形態における画像符号化装置に入力された入力画像の基本レイヤの符号化モードに基づいて、拡張レイヤで符号化するブロックの符号化モードを決定する。説明を簡易にするため、実施形態１と同様に、本実施形態では、当該符号化モードをイントラ符号化モード、レイヤ間符号化モード、及びＩ＿ＰＣＭ符号化モードとする。拡張レイヤ符号化モード決定部９１１は、基本レイヤ符号化モード決定部１０２からの出力がＩ＿ＰＣＭ符号化モードであれば、Ｉ＿ＰＣＭ符号化モードを拡張レイヤ画像の符号化対象ブロックの符号化モードとして決定する。また、拡張レイヤ符号化モード決定部９１１は、基本レイヤ符号化モード決定部１０２からの出力がＩ＿ＰＣＭ符号化モード以外のモードであれば、拡張レイヤ画像のブロック内の特徴量、符号量の推測結果等から拡張レイヤの符号化モードを決定する。

拡張レイヤ符号化モード符号化部１１１７は、拡張レイヤ符号化モード決定部９１１で決定された拡張レイヤの符号化モードと基本レイヤ符号化モード決定部１０２で決定された基本レイヤの符号化モードを入力する。拡張レイヤ符号化モード符号化部１１１７は、入力された基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モード以外の場合、実施形態１及び実施形態３と同様に、これらの符号化モードを符号化して符号化モード符号を生成する。そして、拡張レイヤ符号化モード符号化部１１１７は、生成した符号化モード符号を拡張レイヤ統合符号化部１２０に出力する。拡張レイヤ符号化モード符号化部１１１７は、入力された基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モードの場合、拡張レイヤの符号化モードはＩ＿ＰＣＭ符号化モードであるとし、符号化モードの符号化を行わない。また、拡張レイヤ符号化モード符号化部１１１７は、表１乃至表２に記載したようなｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇの符号化は行わない。以下、実施形態３と同様に、符号化モードに従って拡張レイヤ画像の符号化を行う。

図１２は、本実施形態に係る画像符号化装置における画像の符号化処理を示すフローチャートである。図１２において、実施形態１の図３に記載しているステップと同じ機能を果たすものについては同じ番号を付し、説明を省略する。

ステップＳ３００からステップＳ３０１にて、本実施形態に係る画像符号化装置は、当該画像符号化装置への画像の入力と、入力された画像のヘッダ情報の符号化を行う。続いて、ステップＳ３０２からステップＳ３１０にて、本実施形態に係る画像符号化装置は、基本レイヤ画像のブロックの符号化を行う。

ステップＳ１２０１にて、拡張レイヤ符号化モード決定部９１１は、ステップＳ３０４で決定された基本レイヤ画像のブロックの符号化モードがＩ＿ＰＣＭ符号化モードか否かを判定する。基本レイヤ画像のブロックの符号化モードがＩ＿ＰＣＭ符号化モードであればステップＳ３１４に進み、そうでなければステップＳ３１１に進む。

以後、ステップＳ３１１からステップＳ３１７にて、拡張レイヤ画像のブロックの符号化が行われる。

特に、本実施形態では、ステップＳ１２０１にて基本レイヤ符号化モード決定部１０２で決定された符号化モードを参照し、当該符号化モードがＩ＿ＰＣＭ符号化モードであった場合、拡張レイヤでも同様にＩ＿ＰＣＭ符号化モードとする点に特徴がある。さらに、この場合、ステップＳ３１３の拡張レイヤの符号化モードの符号化を行わない。

このようにして生成されたビットストリームを図１５に示す。図１５（ａ）は基本レイヤのビットストリームを表す図である。図１５（ａ）に示す基本レイヤのビットストリームに関しては、図８（ａ）に示す実施形態１のビットストリームと同じである。また、図１５（ｂ）は、拡張レイヤのビットストリームを表す図である。図１５（ｂ）には３つの拡張レイヤＩ＿ＰＣＭ画素情報が含まれる。図１５（ａ）における左の拡張レイヤＩ＿ＰＣＭ画素情報は、基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モードではないので、図８（ｂ）と同様に符号化モード符号を含む。しかしながら、図１５（ａ）における右の拡張レイヤＩ＿ＰＣＭ画素情報は、基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モードなので、拡張レイヤＩ＿ＰＣＭ画素情報には符号化モード符号は含まれない。

以上の構成と動作により、階層符号化において、基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モードの場合に、拡張レイヤの符号化モードもＩ＿ＰＣＭ符号化モードとすることで、拡張レイヤの符号化モードの判定を簡易にすることができる。これにより、符号化処理の高速化を実現する。さらには、基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モードである場合、拡張レイヤの符号化モード符号を省略することで、冗長な符号を送ることを行わず符号化効率を向上することができる。実施形態３と同様に、基本レイヤでＩ＿ＰＣＭ符号化モードが選択されることは通常の符号化が行えない状態であり、その下位ビットである拡張レイヤも同様になる可能性が非常に高いことを利用したものである。

＜実施形態５＞
以下、本発明の実施形態５を、図１３を用いて説明する。図１３は、本実施形態に係る画像復号装置の構成を示すブロック図である。

図１３において、実施形態２の図５に記載しているブロックと同じ機能を果たすものについては同じ番号を付し、説明を省略する。また、本実施形態において復号するビットストリームは、実施形態４で生成されたものとする。

拡張レイヤ統合復号部１３１０は、階層符号復号分離部５０１で分離された拡張レイヤのビットストリームと基本レイヤ符号化モード復号部５０３で復号された基本レイヤの符号化モードを入力する。拡張レイヤ統合復号部１３１０は、これに基づいて、ブロック単位で符号化モード符号、拡張レイヤ予測符号化画素情報と拡張レイヤＩ＿ＰＣＭ画素情報に分離して後段に出力する。また、拡張レイヤ統合復号部１３１０は、図５の拡張レイヤ統合復号部５１０とは、基本レイヤ符号化モード復号部５０３で復号された符号化モードを入力する点が異なる。拡張レイヤ符号化モード復号部１３１１は、拡張レイヤの符号化モード符号を入力し、符号化モードを復号する。拡張レイヤ符号化モード復号部１３１１は、図５の拡張レイヤ符号化モード復号部５１１とは、基本レイヤ符号化モード復号部５０３で復号された符号化モードを入力する点が異なる。

上記画像復号装置における画像の復号動作を以下に説明する。

まず、基本レイヤ符号の復号について説明する。

実施形態２と同様に、基本レイヤ符号化モード復号部５０３は、基本レイヤ統合部５０２から入力された、基本レイヤのビットストリームに含まれる符号化モード符号を復号し、符号化モードを生成する。基本レイヤ符号化モード復号部５０３は、生成した符号化モードを実施形態２の出力先に加え、拡張レイヤ符号化モード復号部１３１１に出力する。

以後、実施形態２と同様に基本レイヤ符号の復号を行う。

続いて、拡張レイヤ符号の復号について説明する。

拡張レイヤ統合復号部１３１０は、階層符号復号分離部５０１から入力された拡張レイヤのビットストリームのヘッダ情報を復号し、当該ビットストリームのピクチャデータからブロック単位の符号に分割する。

基本レイヤ符号化モード復号部５０３で復号された基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モード以外の場合、拡張レイヤ統合復号部１３１０は、実施形態２と同様に分割した符号の中から符号化モード符号を分離する。さらに、拡張レイヤ統合復号部１３１０は、分離した符号化モード符号を拡張レイヤ符号化モード復号部１３１１に出力する。

また、基本レイヤ符号化モード復号部５０３で復号された基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モードの場合、拡張レイヤ統合復号部１３１０は、拡張レイヤの符号化モードはＩ＿ＰＣＭ符号化モードと判断する。このため、拡張レイヤのビットストリームには符号化モード符号は存在しない。すなわち、拡張レイヤ統合復号部１３１０は、拡張レイヤ符号化モード復号部１３１１へ出力するものは無い。

また、拡張レイヤ符号化モード復号部１３１１は基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モードであれば、符号とは関係なくＩ＿ＰＣＭ符号化モードであることをセレクタ５１２、拡張レイヤ第１復号部５１３、拡張レイヤ画像再構成部５１５に入力する。

以後、実施形態２と同様に符号化モードに基づいて拡張レイヤ符号の復号を行う。

図１４は、本実施形態に係る画像復号装置における画像の復号処理を示すフローチャートである。図１４において、実施形態２の図６に記載しているステップと同じ機能を果たすものについては同じ番号を付し、説明を省略する。

ステップＳ６００からステップＳ６０１にて、本実施形態に係る画像復号装置は、当該画像復号装置へのビットストリームの入力と、入力されたビットストリームのヘッダ情報を復号する。続いて、ステップＳ６０２からステップＳ６０８にて、本実施形態に係る画像復号装置は、基本レイヤ符号の復号を行う。さらに、ステップＳ６０９にて、階層符号復号分離部５０１は、拡張レイヤの復号対象のブロックに関する符号を本実施形態に係る画像復号装置に入力されたビットストリームから抽出する。

ステップＳ１４０１にて、基本レイヤ符号化モード復号部５０３は、ステップＳ６０３で復号された基本レイヤ画像のブロックの符号化モードがＩ＿ＰＣＭ符号化モードか否かを判定する。基本レイヤ画像のブロックの符号化モードがＩ＿ＰＣＭ符号化モードであれば、ステップＳ６１２に進み、そうでなければステップＳ６１０に進む。

以後、ステップＳ６１０からステップＳ６１５にて、拡張レイヤ画像のブロックの復号が行われる。

特に、本実施形態では、ステップＳ１４０１にて基本レイヤ符号化モード復号部５０３で生成された符号化モードを参照し、当該符号化モードがＩ＿ＰＣＭ符号化モードであった場合、拡張レイヤでも同様にＩ＿ＰＣＭ符号化モードとする点に特徴がある。さらに、この場合、ステップＳ６１０の拡張レイヤの符号化モード符号の復号を行わない。

以上の動作をＨ．２６４の規格書の書式に従って表３に記載する。

表３において、表１と比較して異なる部分について説明する。

ｂａｓｅ＿ｉｓ＿ｉｐｃｍ［ＣｕｒｒＭｂＡｄｄｒ］は、アドレスＣｕｒｒＭｂＡｄｄｒで示される復号するブロックの基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モードか否かを表す配列である。復号対象である基本レイヤのブロックの符号化モードを復号する際に、本実施形態に係る復号装置はＩ＿ＰＣＭ符号化モードか否かを格納する。２行目でｂａｓｅ＿ｉｓ＿ｉｐｃｍ［ＣｕｒｒＭｂＡｄｄｒ］がｆａｌｓｅである場合、すなわち基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モードではない場合のみに、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇやｍｂ＿ｔｙｐｅの復号を行う。逆にいえば、基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モードであれば、これらの符号は省略されている。以下は表１と同じであるため説明を省略する。

上述した本実施形態における画像復号装置の動作を、ＨＥＶＣ（非特許文献２）の規格書草案の書式に従って表４、及び表５に示す。表４は、ＨＥＶＣのブロックの符号化単位であるｃｏｄｉｎｇ＿ｕｎｉｔでの復号の様子を表す。

表４において、本実施形態における画像復号装置は、Ｈ．２６４と同様にｂａｓｅ＿ｉｓ＿ｉｐｃｍ［ＣｕｒｒＭｂＡｄｄｒ］を参照する。そして、本実施形態における画像復号装置は、基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モードでない場合のみに、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇや予測による復号を行う。基本レイヤの符号化モードがＩ＿ＰＣＭ符号化モードである場合、拡張レイヤのＩ＿ＰＣＭ符号の復号をｓｃａｌａｂｌｅ＿ｐｃｍ＿ｓａｍｐｌｅ（ ｘ０， ｙ０， ｌｏｇ２ＣｂＳｉｚｅ ）で行う。

表５にｓｃａｌａｂｌｅ＿ｐｃｍ＿ｓａｍｐｌｅ（ ｘ０， ｙ０， ｌｏｇ２ＣｂＳｉｚｅ ）の処理を示す。

表５において、本実施形態における画像復号装置は、Ｈ．２６４と同様に、基本レイヤの画像深度情報ｎと拡張レイヤの画像深度情報ｍから、ｎｕｍｂｅｒ＿ｏｆ＿ｂｉｔ＿ｄｅｐｔｈを求める。さらに、当該画像復号装置は、ｐｃｍ＿ｓａｍｐｌｅ＿ｌｕｍａ＿ｖａｌｕｅを復号し、基本レイヤの復号画素値であるｐｃｍ＿ｓａｍｐｌｅ＿ｌｕｍａ［ｉ］とｎｕｍｂｅｒ＿ｏｆ＿ｂｉｔ＿ｄｅｐｔｈを用いて（１）式に基づいて拡張レイヤの輝度値を算出する。また、色差に関しても同様である。すなわち、ｐｃｍ＿ｓａｍｐｌｅ＿ｃｈｒｏｍａ＿ｖａｌｕｅを復号し、基本レイヤの復号画素値であるｐｃｍ＿ｓａｍｐｌｅ＿ｃｈｒｏｍａ［ｉ］とｎｕｍｂｅｒ＿ｏｆ＿ｂｉｔ＿ｄｅｐｔｈを用いて（２）式に基づいて拡張レイヤの色差値を算出する。

このようにして、本実施形態に係る画像復号装置は拡張レイヤの復号画像を再生する。

以上の構成と動作により、階層符号の復号時にＩ＿ＰＣＭ符号化モードを用いた場合において、基本レイヤ画像と当該基本レイヤ画像が表すビット分を除いた下位のビットからなる画像に分離して、各画像を符号化して生成された符号を、復号することができた。また、Ｉ＿ＰＣＭ符号化モードにおいても階層符号の復号を可能にすることができた。さらには基本レイヤのブロックの符号化モードを参照し、当該符号化モードがＩ＿ＰＣＭ符号化モードであれば、拡張レイヤでの符号化モード符号を省略しても画像を正しく復号することができる。これにより、より高効率な符号の復号が行うことができる。

尚、本実施形態においてＨ．２６４、ＨＥＶＣを用いて説明したが、これに限定されない。

＜実施形態６＞
上記各実施形態１〜５において、図１、図２、図４、図５、図７、図９、図１１、図１３に示した各処理部はハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。

図１６は、上記各実施形態１〜５に係る画像符号化装置及び画像復号装置（以下、画像処理装置）に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１６０１は、ＲＡＭ１６０２やＲＯＭ１６０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態１〜５に係る画像処理装置が行うものとして上述した各処理を実行する。すなわち、ＣＰＵ１６０１は、図１、図２、図４、図５、図７、図９、図１１、図１３に示した各処理部として機能することになる。

ＲＡＭ１６０２は、外部記憶装置１６０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１６０７を介して、外部から取得したデータなどを一時的に記憶するためのエリアを有する。さらに、ＲＡＭ１６０２は、ＣＰＵ１６０１が各種の処理を実行する際に用いるワークエリアを有する。すなわち、ＲＡＭ１６０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１６０３は、本コンピュータの設定データや、ブートプログラムなどを格納する。

操作部１６０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１６０１に対して入力することができる。

表示部１６０５は、ＣＰＵ１６０１による処理結果を表示する。また、表示部１６０５は、例えば液晶ディスプレイで構成される。

外部記憶装置１６０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１６０６には、ＯＳ（オペレーティングシステム）や、図１、図２に示した各部の機能をＣＰＵ１６０１に実現させるためのコンピュータプログラムが保存されている。さらには、外部記憶装置１６０６には、処理対象としての各画像が保存されていても良い。

外部記憶装置１６０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１６０１による制御に従って適宜、ＲＡＭ１６０２にロードされ、ＣＰＵ１６０１による処理対象となる。

Ｉ／Ｆ１６０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機部を接続することができ、本コンピュータはこのＩ／Ｆ１６０７を介して様々な情報を取得したり、送出したりすることができる。

バス１６０８は、上述の各部を繋ぐ。

上述の構成における作動は、前述のフローチャートで説明した作動をＣＰＵ１６０１が中心となってその制御を行う。

＜その他の実施例＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (11)

1. ブロック単位で分割された画像を、ｎビットで構成される基本レイヤと、ｍ（ｍ≧ｎ）ビットで構成される拡張レイヤとを少なくとも含む複数の階層で階層符号化する画像符号化装置であって、
   前記基本レイヤにおける符号化対象である符号化対象ブロックの符号化モードを決定する基本レイヤ符号化モード決定手段と、
   前記基本レイヤ符号化モード決定手段によって決定された符号化モードに基づいて、前記基本レイヤにおける前記符号化対象ブロックを符号化する基本レイヤ符号化手段と、
   前記拡張レイヤにおける符号化対象である符号化対象ブロックの符号化モードを決定する拡張レイヤ符号化モード決定手段と、
   前記拡張レイヤ符号化モード決定手段で決定された符号化モードが非圧縮符号化モードである場合に、前記拡張レイヤにおける前記符号化対象ブロックにおける下位（ｍ−ｎ）ビットの画像を生成し、生成された前記画像を前記非圧縮符号化モードで符号化する拡張レイヤ符号化手段と
   を有し、
   前記拡張レイヤ符号化手段は、
   前記基本レイヤ符号化モード決定手段によって決定された符号化モードが非圧縮符号化モード以外のモードである場合、前記拡張レイヤ符号化モード決定手段によって決定される、前記拡張レイヤにおける前記符号化対象ブロックの符号化モードを符号化し、
   前記基本レイヤ符号化モード決定手段によって決定された符号化モードが非圧縮符号化モードである場合、前記拡張レイヤ符号化モード決定手段によって決定される、前記拡張レイヤにおける前記符号化対象ブロックの符号化モードを符号化しない、
   ことを特徴とする画像符号化装置。
2. 前記拡張レイヤ符号化手段は、前記基本レイヤにおける前記符号化対象ブロックを参照して前記拡張レイヤにおける前記符号化対象ブロックを符号化する
   ことを特徴とする請求項１記載の画像符号化装置。
3. 前記非圧縮符号化モードは、前記符号化対象ブロックを圧縮せずに符号化し、前記ブロック単位で分割された画像を符号化して生成されるビットストリームに挿入するモードである
   ことを特徴とする請求項１又は２に記載の画像符号化装置。
4. ブロック単位で分割された画像を、ｎビットで構成される基本レイヤと、ｍ（ｍ≧ｎ）ビットで構成される拡張レイヤとを少なくとも含む複数の階層で階層符号化して生成されたビットストリームを復号する画像復号装置であって、
   前記基本レイヤにおける復号対象である復号対象ブロックのビットストリームから符号化モードを取得する基本レイヤ符号化モード取得手段と、
   前記基本レイヤ符号化モード取得手段によって取得された符号化モードに基づいて、前記基本レイヤにおける前記復号対象ブロックを復号する基本レイヤ復号手段と、
   前記拡張レイヤにおける復号対象である復号対象ブロックのビットストリームから符号化モードを取得する拡張レイヤ符号化モード取得手段と、
   前記基本レイヤ符号化モード取得手段によって取得された符号化モードが非圧縮符号化モード以外のモードである場合、前記拡張レイヤ符号化モード取得手段によって取得された符号化モードに基づいて、前記拡張レイヤにおける前記復号対象ブロックを復号し、
   前記基本レイヤ符号化モード取得手段によって取得された符号化モードが非圧縮符号化モードである場合、前記基本レイヤ符号化モード取得手段によって取得された符号化モードに基づいて、前記拡張レイヤにおける前記復号対象ブロックにおける下位（ｍ−ｎ）ビットのビットストリームを非圧縮で復号する拡張レイヤ復号手段と
   を有することを特徴とする画像復号装置。
5. 前記拡張レイヤ復号手段は、前記拡張レイヤ符号化モード取得手段で取得された符号化モードが非圧縮符号化モードである場合に、前記拡張レイヤにおける前記復号対象ブロックから下位（ｍ−ｎ）ビットのビットストリームを復号し、上位ｎビットのビットストリームを復号しない
   ことを特徴とする請求項４記載の画像復号装置。
6. 前記基本レイヤ復号手段によって復号された前記復号対象ブロックと前記拡張レイヤ復号手段によって復号された前記復号対象ブロックを合成して復号画像を再生する再生手段を有し、
   前記再生手段は、前記拡張レイヤ符号化モード取得手段で取得された符号化モードが非圧縮符号化モードである場合に、前記基本レイヤ復号手段によって復号された前記復号対象ブロックを上位方向に（ｍ−ｎ）ビットシフトして、シフトした前記復号対象ブロックと前記拡張レイヤ復号手段によって復号された前記復号対象ブロックとを合成する
   ことを特徴とする請求項４又は５に記載の画像復号装置。
7. 前記拡張レイヤ復号手段は、前記基本レイヤにおける前記復号対象ブロックを参照して前記拡張レイヤにおける前記復号対象ブロックを復号する
   ことを特徴とする請求項４〜６のいずれか１項に記載の画像復号装置。
8. ブロック単位で分割された画像を、ｎビットで構成される基本レイヤと、ｍ（ｍ≧ｎ）ビットで構成される拡張レイヤとを少なくとも含む複数の階層で階層符号化する画像符号化方法であって、
   前記基本レイヤにおける符号化対象である符号化対象ブロックの符号化モードを決定する基本レイヤ符号化モード決定工程と、
   前記基本レイヤ符号化モード決定工程によって決定された符号化モードに基づいて、前記基本レイヤにおける前記符号化対象ブロックを符号化する基本レイヤ符号化工程と、
   前記拡張レイヤにおける符号化対象である符号化対象ブロックの符号化モードを決定する拡張レイヤ符号化モード決定工程と、
   前記拡張レイヤ符号化モード決定工程で決定された符号化モードが非圧縮符号化モードである場合に、前記拡張レイヤにおける前記符号化対象ブロックにおける下位（ｍ−ｎ）ビットの画像を生成し、生成された前記画像を前記非圧縮符号化モードで符号化する拡張レイヤ符号化工程と
   を有し、
   前記拡張レイヤ符号化工程において、
   前記基本レイヤ符号化モード決定工程によって決定された符号化モードが非圧縮符号化モード以外のモードである場合、前記拡張レイヤ符号化モード決定工程によって決定される、前記拡張レイヤにおける前記符号化対象ブロックの符号化モードを符号化し、
   前記基本レイヤ符号化モード決定工程によって決定された符号化モードが非圧縮符号化モードである場合、前記拡張レイヤ符号化モード決定工程によって決定される、前記拡張レイヤにおける前記符号化対象ブロックの符号化モードを符号化しない、
   ことを特徴とする画像符号化方法。
9. ブロック単位で分割された画像を、ｎビットで構成される基本レイヤと、ｍ（ｍ≧ｎ）ビットで構成される拡張レイヤとを少なくとも含む複数の階層で階層符号化して生成されたビットストリームを復号する画像復号方法であって、
   前記基本レイヤにおける復号対象である復号対象ブロックのビットストリームから符号化モードを取得する基本レイヤ符号化モード取得工程と、
   前記基本レイヤ符号化モード取得工程によって取得された符号化モードに基づいて、前記基本レイヤにおける前記復号対象ブロックを復号する基本レイヤ復号工程と、
   前記拡張レイヤにおける復号対象である復号対象ブロックのビットストリームから符号化モードを取得する拡張レイヤ符号化モード取得工程と、
   前記基本レイヤ符号化モード取得工程によって取得された符号化モードが非圧縮符号化モード以外のモードである場合、前記拡張レイヤ符号化モード取得工程によって取得された符号化モードに基づいて、前記拡張レイヤにおける前記復号対象ブロックを復号し、
   前記基本レイヤ符号化モード取得工程によって取得された符号化モードが非圧縮符号化モードである場合、前記基本レイヤ符号化モード取得工程によって取得された符号化モードに基づいて、前記拡張レイヤにおける前記復号対象ブロックにおける下位（ｍ−ｎ）ビットのビットストリームを非圧縮で復号する拡張レイヤ復号工程と
   を有することを特徴とする画像復号方法。
10. 請求項１〜３のいずれか１項に記載の画像符号化装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
11. 請求項４〜７のいずれか１項に記載の画像復号装置の各手段としてコンピュータを機能させることを特徴とするプログラム。