JP4321484B2 - 空間スケーラブル符号化方法、空間スケーラブル符号化装置、空間スケーラブル符号化プログラム、空間スケーラブル復号化方法、空間スケーラブル復号化装置及び空間スケーラブル復号化プログラム - Google Patents

Description

本発明は空間スケーラブル符号化方法、空間スケーラブル符号化装置、空間スケーラブル符号化プログラム、空間スケーラブル復号化方法、空間スケーラブル復号化装置及び空間スケーラブル復号化プログラムに係り、特に動画像に対して空間解像度変換を利用する空間スケーラブル符号化方法、符号化装置、符号化プログラム、復号化方法、復号化装置及び符号化プログラムに関する。

従来のスケーラブル符号化においては図２６（Ａ）〜（Ｃ）に示すように、ある解像度から縦、横ともに半分ずつ縮小するような空間解像度を設定し、これらの空間解像度を自由に切り替えることができるように構成することで空間方向のスケーラビリティを実現することが一般的である。

また、このような縦、横とも半分ずつ縮小することで得られる空間解像度では対応できない空間解像度、例えば、横１９２０画素、縦１０８０画素のＨＤ解像度から、横７２０画素、縦４８０画素への空間解像度変換に対しては、図２７の画像１０２，１０５が示すようなクロッピング処理、図２７の縮小画像１０８，１０９，１１０が示すようなレターボックス処理、図３１の画像５０２，５０３が示すようなスクイーズ処理を行うことにより、ＨＤ（High Definition）解像度からＳＤ(Standard Definition)解像度への空間解像度変換を作ったスケーラブル符号化及び復号化を実現している（例えば、特許文献１、特許文献２、特許文献３参照）。

また、１６：９や４：３のアスペクト比をもつディスプレイ装置において、より柔軟な空間解像度変換を利用して多様な表示を実現しているものも多く存在する（例えば、特許文献４参照）。

特許第３３７４９８９号公報 特開平６−２８４４１３号公報 特許第３５６４０８７号公報 特開平６−６６３４号公報

従来は、画像信号に対してスケーラブル符号化及び復号化を行う場合、高解像度の画像信号に対して所定の空間フィルタリング処理を施した後に２：１の割合でダウンサンプリングして、低解像度の画像信号を生成する。例えば、ＨＤ解像度の画像信号を所定の空間フィルタリング処理を行った後に２：１の割合でダウンサンプリングして低解像度の画像信号を生成する。

この低解像度の画像信号を符号化して伝送すると、その画像のアスペクト比は元のＨＤ解像度の画像信号のそれの１６：９のままである。よって、４：３のアスペクト比であるＮＴＳＣ方式のテレビジョン受像機において、ＨＤ解像度の画像信号からダウンサンプリングして得られた、１／４の解像度の画像信号をモニタすることができないという問題があり、その問題に関しては多くの検討が行われていることで改善が進んでいる。

しかしながら、従来のＨＤ解像度からＳＤ解像度への空間解像度変換を利用した空間解像度スケーラブル符号化においては、いくつかの問題点が生じる。

図２７（Ａ）〜（Ｃ）は、ＨＤ解像度からＳＤ解像度へ空間解像度変換を行う際にクロッピング処埋を用いた例である。ここで説明を簡単にするために、特に断らない限り、以後、水平方向１９２０画素、垂直方向１０８０画素（１９２０×１０８０画素）をもつ解像度はＨＤ解像度とする。また、水平方向７２０画素、垂直方向４８０画素（７２０×４８０画素）をもつ解像度はＳＤ解像度とする。

図２７において、まず同図（Ａ）に示すＨＤ解像度の動画像の画像フレーム１０１からより重要な領域を特定して同図（Ｂ）に１０２で示す領域にクロッピング処理を行う。領域１０２は、同図（Ｃ）に示す領域１０５が示すＳＤ解像度を縦、横ともに２.２５倍することで、前の画素をＨＤ解像度の縦の画素と同じ画素領域とし、ＨＤ解像度内に収まり、かつ、ＳＤ解像度のアスペクト比で表現できる最大の画素領域を用いてＨＤ解像度からクロッピングされた領域である。

その後、図２７（Ｂ）に１０２で示す画像フレームを、本来のＳＤ解像度である７２０×４８０画素とするために、縦、横ともに１／２.２５倍に縮小するための所定のフィルタリング処理を行うことで同図（Ｃ）に示すＳＤ解像度に縮小する。このようにして得られたＳＤ解像度の動画像フレーム１０５は、ＨＤ解像度の動画像フレームからクロッピングした領域１０２内のテクスチャ情報を最大限利用することができる代わりに、図２７（Ｂ）に１０３，１０４で示すようなＳＤ解像度内では表現できない領域が生じてしまう。

図２８は、図２７が示すようなクロッピング処理を利用して空間スケーラビリティをもつ動画像符号化において、それぞれの空間解像度間の符号化処理を示している。一般に、空間解像度変換を伴う空間スケーラブル符号化では、基本となる空間解像度を持つベースレイヤと、このベースレイヤに対して空間解像度を向上させるための付加情報を持つエンハンスレイヤを設定して符号化を行う。

このエンハンスレイヤは、少なくとも１つのレイヤによって構成される。複数のエンハンスレイヤを用いることで、より細かな解像度のスケーラビリティを実現することができるが、その分複数のエンハンスレイヤを構成するためのオーバヘッド情報が必要となり、符号化効率に影響を与えるため注意が必要である。図２８では、同図（Ａ）の２０１がベースレイヤ、同図（Ｄ）の２０６，２０７，２０８がエンハンスレイヤとなる。

図２８に示すように、ベースレイヤ２０１が元のＨＤ解像度からクロッピング処理によって生成したＳＤ解像度に基づいて符号化されるため、ベースレイヤ２０１を符号化した後に復号化して得られるローカルデコード画像に対して縦、横ともに２.２５倍すると、同図（Ｂ）に示す画像２０２を得る。この画像２０２は、空間スケーラブル符号化においては各レイヤ（図２８ではレイヤを階層と表現している）間での予測符号化を行う。

しかし、図２８（Ｃ）に示すＨＤ解像度のレイヤのローカルデコード画像において、画像２０２と相関が高い領域は２０３のみであることから、２０４、２０５の領域はレイヤ間の相関を利用することができずに面内符号化であるイントラ符号化の対象領域となる。レイヤ間の予測符号化を行うことで、図２８（Ｄ）に示すように、領域２０２と領域２０３との予測符号化の結果生じるレイヤ間の予測符号情報２０６と、領域２０４をイントラ符号化した結果生じるイントラ符号情報２０７と、領域２０５をイントラ符号化した結果生じるイントラ符号情報２０８とを得る。また、予測符号化においては、動きベクトル情報や符号化時の状態を表す情報などを含む各種付加情報であるレイヤ間予測符号化付加情報を得る。この２０６，２０７，２０８及びレイヤ間予測符号化付加情報がエンハンスレイヤを構成するための情報となる。

このように、空間スケーラブル符号化において解像度変換にクロッピング処理を利用した場合には、イントラ符号情報２０７，２０８のようなイントラ符号化を伴うため、符号化効率を低下させるとともに、符号化及び復号化時の演算量を増大させる要因となる。

また、図２８（Ｄ）に示すレイヤ間予測符号情報２０６を得るレイヤ間予測符号化と、イントラ符号情報２０７，２０８を得るイントラ符号化といった別々の符号化を行うことから、復号結果の画像品質にばらつきが生じる。その結果、復号結果の主観的な画像品質に影響を与えるだけでなく、画像品質が均一でないことが更に上位のエンハンスレイヤを構成しようとした際に符号化効率を低下させる要因となる。

図２９は、図２８と同様に図２７が示すようなクロッピング処理を利用して空間スケーラビリティをもつ動画像符号化において、それぞれの空間解像度間の符号化処理を示す。図２９は、ベースレイヤに関しては図２８と同様である。図２９において、エンハンスレイヤに関しては、まず第１のエンハンスレイヤとして図２９（Ａ）に示すクロッピング領域外の領域３０１に対するイントラ符号化結果により構成し、この第１のエンハンスレイヤから再度復号化することで得られるローカルデコード画像３０２，３０３を用いる。

また、第２のエンハンスレイヤを構成するために、領域３０１，画像３０２，３０３に対して所定の拡大処理を行うことで図２９（Ｂ）に示すような画像３０４，３０５，３０６を得る。その後、画像３０４，３０５，３０６と、図２９（Ｃ）に示すローカルデコード画像３０７との間でレイヤ間予測符号化を行い、得られた結果を第２のエンハンスレイヤとすることで、空間スケーラビリティをもつ動画像符号化を行うことができる。

しかし、このような構成であっても、図２８の構成で起こりうる要因は根本的には改善することが難しい。

図２７（Ａ）の画像フレーム１０１と同図（Ｄ）の縮小画像１０８、及び上記画像フレーム１０１，同図（Ｅ）の画像１０９，同図（Ｆ）の画像１１０は、それぞれＨＤ解像度からＳＤ解像度へ空間解像度変換を行う際にレターボックス処理を用いた例である。縮小画像１０８は、画像フレーム１０１から直接縦横比固定でＨＤ解像度の画像フレーム１０１に対して所定の空間フィルタリング処理及び縮小処理を行うことで縦、横共に３／８倍し、ＳＤ解像度に収めるために上下の領域を所定の画素値、通常は黒を表現するための画素値で補填することで生成された画像である。

図２７（Ｅ）に示す画像１０９は、まず、ＨＤ解像度の画像フレーム１０１の横サイズを縦横比固定でＳＤ解像度の２.２５倍の横サイズに合わせるために、画像フレーム１０１に対して所定の空間フィルタリング処理及び所定の縮小処理により縦、横ともに２７／３２倍するとともに、上下の領域を所定の画素値、通常は黒を表現するための画素値で補填することで生成される。その後、図２７（Ｅ）に示す画像１０９に対して所定の空間フィルタリング処理及び所定の縮小処理を行い、縦、横共に１／２.２５倍することで図２７（Ｆ）に示す縮小画像１１０が生成される。

このような縮小画像１０８，１１０が示すＳＤ解像度の動画像フレームは、ＨＤ解像度の動画像フレームからレターボックス処理によりＳＤ解像度に内接するように所定の空間フィルタリング及び縮小処理により生成されるため、動画像フレーム１０１全体の特徴を利用することができる代わりに、図２７（Ｃ）に示した縮小画像１０５よりも更に縮小処理を行うため、縮小画像１０８，１１０に含まれる領域内のテクスチャ情報、つまり画像の細部を表現するための高周波数成分情報が縮小画像１０５に比べて少ない状態となってしまう。

図３０は、図２７が示すようなレターボックス処理を利用して空間スケーラビリティをもつ動画像符号化において、それぞれの空間解像度間の符号化処理を示している。図３０では、４０１がベースレイヤ、４０５がエンハンスレイヤとなる。まず、図３０（Ａ）に示すＳＤ解像度の画像４０１に対して、上下に充填した画素の除去を行うとともに、所定の空間フィルタリング処理による拡大処理により縦、横ともに８／３倍することで、画像４０１から図３０（Ｃ）に示す画像４０３を直接得る。

もしくは、画像４０１に対して所定の空間フィルタリング処理による拡大処理により縦、横ともに２.２５倍することで図３０（Ｂ）に示す画像４０２を得る。その後、画像４０２に対して上下に充填した画素の除去を行うとともに、所定の空間フィルタリング処理による拡大処理により縦、横ともに３２／２７倍することで図３０（Ｃ）に示す画像４０３を得る。

次に、図３０（Ｅ）に示す画像４０５のエンハンスレイヤを構成するために、画像４０３と図３０（Ｄ）に示すＨＤ解像度のローカルデコード画像４０４との間でレイヤ間予測符号化を行い、得られた同図（Ｅ）に示すレイヤ間予測符号化情報４０５をエンハンスレイヤとすることで、空間スケーラビリティをもつ動画像符号化を行うことができる。

このような空間スケーラブル符号化において、解像度変換にレターボックス処理を利用した場合には、図２８や図２９のような解像度変換にクロッピング処理を用いた場合と比べて、図３０（Ａ）に示す画像４０１に含まれるテクスチャ情報、つまり画像の細部を表現するための高周波数成分情報が少ないため、画像４０１に対して拡大処理を行って得られた図３０（Ｃ）に示す画像４０３は、仮にベースレイヤの符号化の影響が出ないように可逆符号化を適用して符号化及び復号化を行った場合であっても、図２８に示した画像２０２，２０４，２０５や図２９に示した画像３０４，３０５，３０６と比較して精細感の乏しいボケた画像となる。

従って、解像度変換にレターボックス処理を利用することは、図２８や図２９のベースレイヤの復号画像の画像品質と比較して、復号化時に得られるベースレイヤの復号画像の画像品質を劣化させる要因となる。また、エンハンスレイヤを利用して図２８や図２９と同等の画像品質を維持しようとした場合には、より多くの符号量をエンハンスレイヤに割く必要が生じる。

図３１（Ａ）、（Ｂ）、（Ｄ）及び図３１（Ａ）、（Ｃ）、（Ｄ）は、ＨＤ解像度からＳＤ解像度へ空間解像度変換を行う際にスクイーズ処理を用いた例を示す。図３１（Ｃ）に示す画像５０２は、同図（Ａ）に示すＨＤ解像度の画像フレーム５０１の横方向に所定の空間フィルタリング処理及び所定の縮小処理により２７／３２倍することでスクイーズ処理を行うことで生成される。その後、画像５０２に対して所定の空間フィルタリング処理及び所定の縮小処理を行うことで、縦、横共に１／２.２５倍することで図３１（Ｄ）に示す縮小画像５０３が生成される。

また、図３１（Ｂ）に示す画像５０４は、同図（Ａ）に示すＨＤ解像度の画像フレーム５０１に対して所定の空間フィルタリング処理及び所定の縮小処理を行うことで、縦、横共に４／９倍することで生成される。その後、画像５０４の横方向に所定の空間フィルタリング処理及び所定の縮小処理により２７／３２倍してスクイーズ処理を行うことで図３１（Ｄ）に示す縮小画像５０３が生成される。

このようにして得られた縮小画像５０３が示すＳＤ解像度の動画像フレームは、ＨＤ解像度の動画像の画像フレーム５０１からスクイーズ処理により横方向に対して所定の空間フィルタリング及び縮小処理を行うことで生成されるため、画像フレーム５０１全体の特徴を利用することができる代わりに、図２７（Ｃ）に示した縮小画像１０５よりも横方向に対して更に縮小処理を行うため、図３１（Ｄ）に示す縮小画像５０３に含まれる領域内の横方向のテクスチャ情報、つまり画像の細部を表現するための高周波数成分情報が前記縮小画像１０５に比べて少ない状態となってしまう。

また、前記縮小画像１０５はより重要とされた領域に対してクロッピング処埋を行った結果得られた画像であり、このクロッピング処理された領域に対しては画像の縦横比を保っているが、スクイーズ処理を行って生成された縮小画像５０３の場合には、図３１（Ｄ）に示したように、画像全体に渡って横方向の縮小処理を行うことから本来の画像の縦横比を保つことができずに、画像全体として歪んだ画像となってしまう。

図３２は、図３１が示すようなスクイーズ処理を利用して空間スケーラビリティをもつ動画像符号化において、それぞれの空間解像度間の符号化処理を示す。図３２では、（Ａ）に示す６０１がベースレイヤ、（Ｅ）に示す６０６がエンハンスレイヤとなる。まず、図３２（Ａ）に示すＳＤ解像度の画像６０１に対して所定の空間フィルタリング処理による拡大処理を行い、縦、横ともに２.２５倍することで図３２（Ｂ）に示す画像６０３を得る。

その後、スクイーズを解除するために画像６０３に対して横方向に所定の空間フィルタリング処理による拡大処理を行って３２／２７倍することで、図３２（Ｄ）に示す画像６０４を生成する。もしくは、ＳＤ解像度の画像６０１に対して先にスクイーズを解除することで図３２（Ｃ）に示す画像６０２を生成し、その後所定の空間フィルタリング処理による拡大処理により、縦・横ともに２.２５倍することで同図（Ｄ）に示す画像６０４を得る。

次に、画像６０６のエンハンスレイヤを構成するために、画像６０４と図２４（Ｆ）に示すＨＤ解像度のローカルデコード画像６０５との間でレイヤ間予測符号化を行い、得られた図３２（Ｅ）に示すレイヤ間予測符号化情報６０６をエンハンスレイヤの画像情報とすることで、空間スケーラビリティをもつ動画像符号化を行うことができる。

このような空間スケーラブル符号化において解像度変換にスクイーズ処理を利用した場合には、図２８や図２９のような解像度変換にクロッピング処理を用いた場合と比べてベースレイヤの画像６０１に含まれる横方向のテクスチャ情報、つまり画像の細部を表現するための高周波数成分情報が少ないため、図３２のスクイーズ解除及び拡大処理によって得られた画像６０４は、仮にベースレイヤの符号化の影響が出ないように可逆符号化を適用して符号化及び復号化を行った場合であっても、図２８の２０２，２０４，２０５や図２１の３０４，３０５，３０６と比較して横方向に対して精細感の乏しいボケた画像となる。

従って、解像度変換にスクイーズ処理を利用することは、図２８や図２９のベースレイヤの復号画像の画像品質と比較して、復号化時に得られるベースレイヤの復号画像の画像品質を劣化させる要因となる。また、エンハンスレイヤを利用して図２８や図２９と同等の画像品質を維持しようとした場合には、より多くの符号量をエンハンスレイヤに割く必要が生じる。

更に、スケーラブル復号化時にベースレイヤの復号画像を表示しようとした場合には、スクイーズ処理が施されていることから画像全体が歪んでいるため、正しく表示しようとした場合には画像全体に対して再度スクイーズを解除し、表示対象がＳＤ解像度のアスペクト比である場合には、表示領域に対してクロッピング処理を行わなければならないという問題が生じる。

本発明は以上の点に鑑みなされたもので、スケーラブル符号化及び復号化を行う際に、より効率良く符号化及び復号化できるような、空間スケーラブル符号化方法、空間スケーラブル符号化装置、空間スケーラブル符号化プログラム、空間スケーラブル復号化方法、空間スケーラブル復号化装置及び空間スケーラブル復号化プログラムを提供することを目的とする。

上記の目的を達成するため、第１の発明の空間スケーラブル符号化方法は、高精細な第１の空間解像度を持つ映像から、第１の空間解像度より低い第２の空間解像度をもつ映像まで対応するために、当該映像を構成している画像フレームの空間解像度を変換する空間解像度変換を利用した空間スケーラブル符号化方法であって、
第１の空間解像度を有する映像信号の画像フレームである第１の画像フレームから、第１の画像フレームとは縦横比の異なる第２の空間解像度を有する映像信号の画像フレームである第２の画像フレームを、空間解像度変換を利用して生成するに際し、第１の画像フレーム内で、第２の画像フレームとするための画像領域であるクロッピング領域を特定する第１のステップと、クロッピング領域内で画像形状を歪ませずに空間解像度変換を行う領域である第１のオリジナル領域を特定すると共に、第１の画像フレームにおける第１のオリジナル領域を特定するための情報である第１の領域情報を生成する第２のステップと、クロッピング領域内における第１のオリジナル領域外の領域を、画像形状を歪ませて空間解像度変換を行う領域である第１の歪み領域に特定する第３のステップと、第２の画像フレームのサイズと第１の画像フレームのサイズとの比に応じて、第１のオリジナル領域を第１の縮小方法にて画像形状を歪ませずに縮小して第２のオリジナル領域とすると共に、第１の画像フレームにおける第１のオリジナル領域外の領域を、第１の歪み領域を第１の縮小方法にて縮小した領域と一致する領域となるように、第２の縮小方法にて画像形状を歪ませて縮小して第２の歪み領域とし、第２の画像フレームにおける第２のオリジナル領域を特定するための情報である第２の領域情報を生成して、第２のオリジナル領域と第２の歪み領域とにより、第２の空間解像度を有する第２の画像フレームを生成する第４のステップと、第４のステップで生成された第２の画像フレームに対して符号化処理を行って第１の符号化信号を生成して出力する第５のステップと、第１の符号化信号を復号化して第２の画像フレームの第１の復号信号を得る第６のステップと、第１の復号信号中の第２の歪み領域の画像を元の縦横比の画像とし、かつ、第１の復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより、縦横比が第１の画像フレームの縦横比と等しく、かつ、空間解像度が第１の空間解像度と同等の第２の復号信号を得る第７のステップと、第１の画像フレームと第２の復号信号との間でレイヤ間予測処理を行う第８のステップと、第８のステップによるレイヤ間予測処理結果に基づいて、第１の画像フレームに対して符号化処理を行って第２の符号化信号を生成して出力する第９のステップとを含むことを特徴とする。

また、上記の目的を達成するため、第２の発明は、高精細な第１の空間解像度を持つ映像から、第１の空間解像度より低い第２の空間解像度をもつ映像まで対応するために、当該映像を構成している画像フレームの空間解像度を変換する空間解像度変換を利用した空間スケーラブル符号化装置であって、
第１の空間解像度を有する映像信号の画像フレームである第１の画像フレームから、第１の画像フレームとは縦横比の異なる第２の空間解像度を有する映像信号の画像フレームである第２の画像フレームを、空間解像度変換を利用して生成するに際し、第１の画像フレーム内で、第２の画像フレームとするための画像領域であるクロッピング領域を特定するクロッピング領域特定手段と、クロッピング領域内で画像形状を歪ませずに空間解像度変換を行う領域である第１のオリジナル領域を特定すると共に、第１の画像フレームにおける第１のオリジナル領域を特定するための情報である第１の領域情報を生成する領域特定・領域情報生成手段と、クロッピング領域内における第１のオリジナル領域外の領域を、画像形状を歪ませて空間解像度変換を行う領域である第１の歪み領域に特定する第１の歪み領域特定手段と、第２の画像フレームのサイズと第１の画像フレームのサイズとの比に応じて、第１のオリジナル領域を第１の縮小方法にて画像形状を歪ませずに縮小して第２のオリジナル領域とすると共に、第１の画像フレームにおける第１のオリジナル領域外の領域を、第１の歪み領域を第１の縮小方法にて縮小した領域と一致する領域となるように、第２の縮小方法にて画像形状を歪ませて縮小して第２の歪み領域とし、第２の画像フレームにおける第２のオリジナル領域を特定するための情報である第２の領域情報を生成して、第２のオリジナル領域と第２の歪み領域とにより、第２の空間解像度を有する第２の画像フレームを生成する第２の画像フレーム生成手段と、第２の画像フレーム生成手段で生成された第２の画像フレームに対して符号化処理を行って第１の符号化信号を生成して出力する第１の符号化手段と、第１の符号化信号を復号化して第２の画像フレームの第１の復号信号を得る第１の復号化手段と、第１の復号信号中の第２の歪み領域の画像を元の縦横比の画像とし、かつ、第１の復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより、縦横比が第１の画像フレームの縦横比と等しく、かつ、空間解像度が第１の空間解像度と同等の第２の復号信号を得る第２の復号化手段と、第１の画像フレームと第２の復号信号との間でレイヤ間予測処理を行う予測処理手段と、レイヤ間予測処理結果に基づいて、第１の画像フレームに対して符号化処理を行って第２の符号化信号を生成して出力する第２の符号化手段とを有することを特徴とする。

上記の第１及び第２の発明では、第１の画像フレーム内の予め設定した第１の領域の画像に対しては縦横比を変化させず、かつ、第１の領域以外の第１の画像フレーム内の第２の領域の画像に対しては所定のフィルタリング処理及び縮小処理を行うことにより縦横比を変化させた構成の、部分的に画像の歪みを伴った第２の画像フレームに対して符号化処理を行って第１の符号化信号を生成して出力する。また、第１の符号化信号を復号化し、更に所定の処理を行って縦横比が第１の画像フレームの縦横比と等しく、かつ、空間解像度が第１の空間解像度と同等の復号信号を得、その復号信号と第１の画像フレームとの間でのレイヤ間予測処理結果に基づいて、第１の画像フレームに対して符号化処理を行って第２の符号化信号を生成出力する。

また、上記の目的を達成するため、第３の発明は、高精細な第１の空間解像度を持つ映像から、第１の空間解像度より低い第２の空間解像度をもつ映像まで対応するために、当該映像を構成している画像フレームの空間解像度を変換する空間解像度変換を利用した空間スケーラブル符号化を、コンピュータにより実行させる空間スケーラブル符号化プログラムであって、第１の発明の各ステップをコンピュータにより順次に実行させることを特徴とする。

また、上記の目的を達成するため、第４の発明は、第１の空間解像度を有する映像信号の第１の画像フレームから変換された、第１の空間解像度よりも低い第２の空間解像度を有する第２の画像フレームの映像信号を、当該映像信号を構成している画像フレーム単位で、再度、第１の空間解像度を有する映像信号に変換する空間解像度変換を利用した空間スケーラブル符号化方法により符号化されて出力された、第１及び第２の符号化信号を復号化する空間スケーラブル復号化方法であって、
復号化対象の第１の符号化信号は、第１の画像フレーム内で第２の画像フレームとするための画像領域である第１のクロッピング領域内において空間解像度変換を行う第１のオリジナル領域を、第２の画像フレームのサイズと第１の画像フレームのサイズとの比に応じて、第１の縮小方法にて画像形状を歪ませずに縮小して得られた第２のオリジナル領域と、第１の画像フレームにおける第１のオリジナル領域外の領域を、第１の歪み領域を第１の縮小方法にて縮小した領域と一致する領域となるように、第２の縮小方法にて画像形状を歪ませて縮小して得られた第２の歪み領域とよりなる第２の画像フレームに対して符号化処理して得られた符号化信号であり、
復号化対象の第２の符号化信号は、第１の符号化信号を復号して得た第２の画像フレームの第１の復号信号中の第２の歪み領域の画像を元の縦横比の画像とし、かつ、第１の復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより得られた、縦横比が第１の画像フレームの縦横比と等しく、かつ、空間解像度が第１の空間解像度と同等の第２の復号信号と、第１の画像フレームとの間で行ったレイヤ間予測処理結果に基づいて、第１の画像フレームに対して符号化処理して得られた符号化信号であり、
第１の符号化信号に対して復号化処理を行って第２のオリジナル領域と第２の歪み領域とからなる第２の画像フレームの第３の復号信号を得る第１のステップと、第１のステップにより得られた第３の復号信号中の第２の歪み領域の画像を、第１の画像フレームの元の縦横比の画像とし、かつ、復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより、縦横比が第１の画像フレームの縦横比と等しく、かつ、空間解像度が第１の空間解像度と同等で、クロッピング領域の第４の復号信号を生成する第２のステップと、第２の符号化信号に対して復号化処理を行って第１の空間解像度の第５の復号信号を出力する第３のステップと、第４の復号信号と第５の復号信号との間でレイヤ間予測復号処理を行い、そのレイヤ間予測復号処理結果に基づいて復号化処理を行って第１の画像フレームの復号信号を生成して出力する第４のステップとを含むことを特徴とする。

また、上記の目的を達成するため、第５の発明は、第１の空間解像度を有する映像信号の第１の画像フレームから変換された、第１の空間解像度よりも低い第２の空間解像度を有する第２の画像フレームの映像信号を、当該映像信号を構成している画像フレーム単位で、再度、第１の空間解像度を有する映像信号に変換する空間解像度変換を利用した空間スケーラブル符号化方法により符号化されて出力された、第１及び第２の符号化信号を復号化する空間スケーラブル復号化装置であって、
復号化対象の第１の符号化信号は、第１の画像フレーム内で第２の画像フレームとするための画像領域である第１のクロッピング領域内において空間解像度変換を行う第１のオリジナル領域を、第２の画像フレームのサイズと第１の画像フレームのサイズとの比に応じて、第１の縮小方法にて画像形状を歪ませずに縮小して得られた第２のオリジナル領域と、第１の画像フレームにおける第１のオリジナル領域外の領域を、第１の歪み領域を第１の縮小方法にて縮小した領域と一致する領域となるように、第２の縮小方法にて画像形状を歪ませて縮小して得られた第２の歪み領域とよりなる第２の画像フレームに対して符号化処理して得られた符号化信号であり、
復号化対象の第２の符号化信号は、第１の符号化信号を復号して得た第２の画像フレームの第１の復号信号中の第２の歪み領域の画像を元の縦横比の画像とし、かつ、第１の復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより得られた、縦横比が第１の画像フレームの縦横比と等しく、かつ、空間解像度が第１の空間解像度と同等の第２の復号信号と、第１の画像フレームとの間で行ったレイヤ間予測処理結果に基づいて、第１の画像フレームに対して符号化処理して得られた符号化信号であり、
第１の符号化信号に対して復号化処理を行って第２のオリジナル領域と第２の歪み領域とからなる第２の画像フレームの第３の復号信号を得る第１の復号手段と、第１の復号手段により得られた第３の復号信号中の第２の歪み領域の画像を、第１の画像フレームの元の縦横比の画像とし、かつ、復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより、縦横比が第１の画像フレームの縦横比と等しく、かつ、空間解像度が第１の空間解像度と同等で、クロッピング領域の第４の復号信号を生成する第２の復号手段と、第２の符号化信号に対して復号化処理を行って第１の空間解像度の第５の復号信号を出力する第３の復号手段と、第４の復号信号と第５の復号信号との間でレイヤ間予測復号処理を行い、そのレイヤ間予測復号処理結果に基づいて復号化処理を行って第１の画像フレームの復号信号を生成して出力する第４の復号手段とを有することを特徴とする。

第４及び第５の発明では、第１の符号化信号を復号化し、更に所定の処理を行うことにより、縦横比が第１の画像フレームの縦横比と等しく、かつ、空間解像度が第１の空間解像度と同等の第４の復号信号を生成し、また、第２の符号化信号に対して復号化処理を行って得た第５の復号信号と第４の復号信号との間でレイヤ間予測復号処理を行い、そのレイヤ間予測復号処理結果に基づいて復号化処理を行って第１の画像フレームの復号信号を生成する。

また、上記の目的を達成するため、第６の発明は、第１の発明の空間スケーラブル符号化方法により符号化されて出力された、第１及び第２の符号化信号を復号化する空間スケーラブル復号化を、コンピュータにより実行させる空間スケーラブル復号化プログラムであって、コンピュータに、第４の発明の空間スケーラブル復号化方法の各ステップを順次に実行させることを特徴とする。

本発明の空間スケーラブル符号化方法、符号化装置及び符号化プログラムによれば、空間解像度方向に対するスケーラブル符号化を行う場合には、第１の空間解像度の第１の画像フレーム内の予め設定した第１の領域の画像に対しては縦横比を変化させず、かつ、第１の領域以外の第１の画像フレーム内の第２の領域の画像に対しては所定のフィルタリング処理及び縮小処理を行うことにより縦横比を変化させた構成の、部分的に画像の歪みを伴った第２の空間解像度の第２の画像フレームに対して符号化処理を行って第１の符号化信号を生成して出力し、また、第１の符号化信号を復号化し、更に所定の処理を行って縦横比が第１の画像フレームの縦横比と等しく、かつ、空間解像度が第１の空間解像度と同等の復号信号を得、その復号信号と第１の画像フレームとの間でのレイヤ間予測処理結果に基づいて、第１の画像フレームに対して符号化処理を行って第２の符号化信号を生成出力するようにしたため、以下の特長を有する。

（１）本発明では、従来のクロッピング処理では欠落していたクロッピング領域外の画像情報を、第２の画像フレーム内に反映できるため、従来欠落していた領域に対して行っていたイントラ符号化を行うことなく、レイヤ間の相関を利用して符号化するレイヤ間予測の結果に基づいて符号化を行うことにより、符号化効率を向上させることができる。

（２）本発明によれば、第１の画像フレーム内の予め設定した第１の領域の画像に対しては縦横比を変化させず、第１の領域内の画素を保護した空間解像度変換を行うようにしていることため、レイヤ間の相関を利用して符号化するレイヤ間予測において、画像品質の良いベースレイヤ画像フレームを予測フレームとして利用することで符号化効率を向上させることができる。

（３）本発明によれば、第２の画像フレーム中の歪みのある画像領域へ格納する際の縮小率を変化させることができるため、必要に応じて画像情報として重要な部分の周波数成分情報をできるだけ維持しつつ、歪みのある画像領域へ格納できることである。よって、スケーラブル符号化を行う際に、歪み領域に対するレイヤ間予測の効率が改善し、符号化効率を向上させることができる。

また、本発明の空間スケーラブル復号化方法、復号化装置及び復号化プログラムによれば、第１の符号化信号を復号化し、更に所定の処理を行うことにより、縦横比が第１の画像フレームの縦横比と等しく、かつ、空間解像度が第１の空間解像度と同等の第４の復号信号を生成し、また、第２の符号化信号に対して復号化処理を行って得た第５の復号信号と第４の復号信号との間でレイヤ間予測復号処理を行い、そのレイヤ間予測復号処理結果に基づいて復号化処理を行って第１の画像フレームの復号信号を生成するようにしたため、以下の特長を有する。

（４）空間解像度方向に対するスケーラブル復号化において、より低い第２の空間解像度では部分的に画像の歪みを伴った第２の画像フレームの復号信号を得ることができる。また、第２の画像フレームの復号信号中の画像の歪みのある領域の一部を元に戻し、再度拡大処理を行うことで従来のクロッピング処理では得られることができない領域を表示領域とすることができる。よって従来よりも多様な復号画像を得ることができる。

（５）空間解像度方向に対するスケーラブル復号化において、従来のスクイーズ処理によるＨＤ解像度からＳＤ解像度への変換では変換した画像全体が歪んでしまうため、ＳＤ解像度をそのまま表示することは視覚的に問題を生じていたが、本発明では視覚上重要な部分を歪ませることなく、第２の解像度（ＳＤ解像度）の第２の画像フレーム内に格納することができるため、復号時の第２の画像フレームをそのまま表示した場合であっても視覚的な影響を軽減できる。

（６）空間解像度方向に対するスケーラブル復号化において、従来のスクイーズ処理によるＨＤ解像度からＳＤ解像度への変換では変換した画像全体が歪んでしまうため、ＳＤ解像度を表示するためには再度スクイーズを解除するために拡大処理を行った後に表示領域を再度クロッピング処理を行った上で表示する必要があったが、本発明では表示したい領域に含まれる歪み領域部に対してのみ拡大処理を行えばよいため、表示に至るまでの処理を削減できる。

（７）本発明によれば、部分的に画像の歪みを伴った第２の空間解像度の第２の画像フレーム中の、第１の空間解像度の第１の画像フレームと縦横比が同一である領域を必要に応じて自由に設定することができるため、画質を維持したい領域を自由に設定できる。このため、符号化効率に影響を与え易い領域を、上記の縦横比が空間解像度変換前と後で同一である上記の領域に選択することで、符号化効率を向上させることができる。

（８）本発明によれば、画質を維持したい領域を自由に設定できるため、復号後の第２の解像度の第２の画像フレームをそのまま表示した場合であっても、画質を維持したい領域に対する視覚的な影響を軽減できる。

次に、本発明の実施の形態について図面と共に説明する。本発明は、ＨＤ解像度からＳＤ解像度へ空間解像度変換を行う際に、変換対象となるＳＤ解像度の画像領域内に、ＨＤ解像度内においてできるだけ本来の画像情報を維持するための領域であるオリジナル領域を設けると共に、ＨＤ解像度内の本来の画像情報を多少犠牲にしつつも、可能な限りＳＤ解像度内にＨＤ解像度内の画像情報の特徴を取り込むための領域である歪み領域をオリジナル領域の外側かつＳＤ解像度の画像領域内に設けるものである。

図１は本発明になる空間スケーラブル符号化方法及び符号化装置により空間解像度変換を行う画像領域の一例の説明図を示す。ＨＤ解像度の画像領域は、エンハンス領域であるものとする。図１では、エンハンス領域を定義するために、領域１１の左上の座標をＥ（Ｘ_Ｅ，Ｙ_Ｅ）、横方向の大きさをＷ_Ｅ、縦方向の大きさをＨ_Ｅとする。換言すると、領域１１は、ＨＤ解像度の画像領域であり、エンハンス領域である。

また、ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１２の左上の座標をＣ（Ｘ_Ｃ，Ｙ_Ｃ）、横方向の大きさをＷ_Ｃ、縦方向の大きさをＨ_Ｃとする。換言すると、領域１２は、ＳＤ解像度の画像領域であり、クロッピング領域である。更に、オリジナル領域を定義するために、領域１３の左上の座標をＯ（Ｘ_Ｏ，Ｙ_Ｏ）、横方向の大きさをＷ_Ｏ、縦方向の大きさをＨ_Ｏとする。このオリジナル領域１３はクロッピング領域１２内にある。

このオリジナル領域１３は、エンハンス領域１１のＨＤ解像度の画像を歪ませずに元のままの縦横比で画像が格納される領域である。これに対し、クロッピング領域１２内で、かつ、オリジナル領域１３の外側の領域は、オリジナル領域１３の外側にあるエンハンス領域１１のＨＤ解像度の画像情報を所定のフィルタリング及び縮小処理して歪ませて取り込んだ画像情報の領域（歪み領域）である。すなわち、クロッピング領域１２内で、かつ、オリジナル領域１３の外側の領域は、ＨＤ解像度内の本来の画像情報を多少犠牲にしつつも、可能な限りＳＤ解像度のクロッピング領域１２内にＨＤ解像度内の画像情報の特徴を取り込むための歪み領域である。

図２は本発明の空間スケーラブル符号化方法及び符号化装置により用いる空間解像度変換によって一般的な横１９２０画素、縦１０８０画素のＨＤ解像度から、横７２０画素、縦４８０画素のＳＤ解像度へ空間解像度変換を行う処理過程を示す。また、図３は本発明の空間スケーラブル符号化方法及び符号化装置により用いる空間解像度変換方法の一例の処理説明用フローチャートである。この図２と図３を用いて本発明の一実施の形態で用いる空間解像度変換の処理過程を以下に説明する。

まず、高精細なＨＤ解像度の画像フレームを取得する（図３のステップＳ１０１）。図２（Ａ）に２１で示すＨＤ解像度の全画像領域をエンハンス領域（図１の１１に相当）とする。続いて、このエンハンス領域２１内のクロッピング領域（図１の１２に相当）を特定する（図３のステップＳ１０２）。このステップＳ１０２では、図２（Ａ）に点線で示されるように、ＳＤ解像度の画像領域を２.２５倍することでクロッピング領域の縦の大きさをＨＤ解像度の画像領域の縦の大きさに合わせる。また、クロッピング領域の横方向に対しては所定の位置とすることで、エンハンス領域２１内に図２（Ａ）に点線の四角形で示されるクロッピング領域２２を設定する。

ここでは、図２（Ａ）に点線の四角形で示すように、クロッピング領域２２をクロッピング領域の外側の領域が均等になるように配置している。これは、一般に画面内の中央付近に映像としてより重要な内容が含まれることを想定した場合に相当する。ただし、クロッピング領域の配置は、エンハンス領域２１内であれば特に限定されるものではなく、ＳＤ解像度に変換した際に、より映像の特徴を残すことができる位置に配置することが望ましい。

次に、画像情報を維持するためのオリジナル領域（図１の１３に相当）の形状を特定する（図３のステップＳ１０３）とともに、オリジナル領域を設定する（図３のステップＳ１０４）。ここでは、オリジナル領域の形状は矩形とし、オリジナル領域を図２（Ｂ）に２３で示す位置に設定している。なお、オリジナル領域の形状は、図４に示されるような形状モードＩＤが与えられることにより特定することができるようにするとよい。このオリジナル領域２３の配置は、クロッピング領域２２内であれば特に限定されるものではない。

次に、歪み領域を設定する（図３のステップＳ１０５）。ここでは、クロッピング領域外に存在する通常であれば情報が欠落してしまう領域の分だけクロッピング領域側に折り返した分の領域を歪み領域とする。すなわち、クロッピング領域２２内で、かつ、オリジナル領域２３の外側の２つの領域が歪み領域（後述の図２（Ｃ）の２６，２７に相当）に設定される。これにより、図２（Ｂ）に示すように、オリジナル領域２３の外の左側の領域２４の画像情報と、オリジナル領域２３の外の右側の領域２５の画像情報とが、それぞれの歪み領域（後述の図２（Ｃ）の２６，２７に相当）に格納される縮小処理対象となる。

続いて、この縮小処理対象となる領域２４，２５の画像情報に対して、縮小方法を特定し（図３のステップＳ１０６）、横方向に対する所定の空間フィルタリング処理及び縮小処理を行い（図３のステップＳ１０７）、その結果を歪み領域に格納する（図３のステップＳ１０８）。このような処理を行うことで、図２（Ｃ）に示すように、オリジナル領域２３と、歪み領域２６及び２７とからなるクロッピング領域２２を生成する。

この図２（Ｃ）に示すクロッピング領域２２は最終目標であるＳＤ解像度の領域の縦，横ともに２.２５倍した領域であることから、このオリジナル領域２３と、歪み領域２６及び２７とからなるクロッピング領域の画像情報に対して所定の空間フィルタリング及び縮小処理により１／２.２５倍に縮小する処理を行うことで、図２（Ｅ）に示すように、オリジナル領域２８及び歪み領域３１，３２で構成される最終目標である、空間解像度変換後のＳＤ解像度の大きさの画像を得ることができる（図３のステップＳ１０９）。

なお、上記の説明では、図２（Ｂ）に示したオリジナル領域２３の外側の領域２４、２５の画像情報に対して縮小処理を行うものとして説明したが、図２（Ｂ）に示した全体の画像領域の画像情報に対して所定の空間フィルタリング及び縮小処理を行い、１／２.２５倍に縮小して、図２（Ｄ）に示すような領域２８，２９，３０からなる縮小画像を得た後、その縮小画像のオリジナル領域２８の外側の領域２９、３０の画像情報に対して所定の空間フィルタリング及び縮小処理を行い、その結果を歪み領域３１、３２に格納することで、図２（Ｅ）に示した、オリジナル領域２８及び歪み領域３１，３２で構成される最終目標である、空間解像度変換後のＳＤ解像度の大きさの画像を得るようにしてもよい。

更に、以上の実施の形態では、いずれも歪み領域については２段階の縮小処理を行っているが、図２（Ｂ）に示す全領域の画像情報のうち、オリジナル領域２３の外の左側の領域２４の画像情報と、オリジナル領域２３の外の右側の領域２５の画像情報に対しては、横方向及び縦方向に対して同時に１段階の所定の空間フィルタリング及び縮小処理を行い、その結果を同図（Ｅ）に示す歪み領域３１、３２に格納すると共に、オリジナル領域２３に対しても１回の所定の空間フィルタリング及び縮小処理を行うことにより１／２.２５倍に縮小する処理を行って同図（Ｅ）に示すオリジナル領域２８を得るようにしてもよい。

このような処理を行うことで、オリジナル領域２８に対しては従来のクロッピング処理と同等の画像品質を維持し、従来のスクイーズ処理によるＨＤ解像度からＳＤ解像度への変換で生じていた画像全体の歪みは視覚上重要なオリジナル領域２８では発生せず、視覚的な影響を軽減できる。更に、上記の実施の形態では、歪み領域３１、３２に対してはクロッピング領域以外のエンハンス領域に含まれる画像情報を最も少ない劣化で格納することができ、従来のクロッピング処理では欠落していたクロッピング領域外の画像情報をクロビング領域内に反映することができる。

次に、本発明の空間スケーラブル符号化方法及び符号化装置で用いる空間解像度変換における縮小方法について説明する。図５は所定の空間フィルタリングを行った後の縮小処理、つまり画素の再配置の様子の一例を示す。ここでは説明を簡単にするため、図２のような空間解像度変換を行うものとする。図５において、オリジナル領域と歪み領域との境界を原点とし、クロッピング領域の境界までの長さをＢ、エンハンス領域の境界までの長さをＡとしている。図２の例では、同図（Ｂ）に示す領域２３や２４の横方向の長さをＡ、同図（Ｃ）に示す歪み領域２６や２７の横方向の長さをＢであるとする。また、一般的には、図１のように、オリジナル領域１３と歪み領域との境界を基準として、Ｄ_ＥＯ１，Ｄ_ＥＯ２，Ｄ_ＥＯ３，Ｄ_ＥＯ４は上記のＡに対応し、Ｄ_ＣＯ１，Ｄ_ＣＯ２，Ｄ_ＣＯ３，Ｄ_ＣＯ４は上記のＢに対応する。

図５において、４１は、区間Ａの領域に含まれる画素の位置を区間Ｂの領域に含まれる画素に再配置を行うための変換式の一例である。変換式４１の定義域は４２に示すものとする。変換式４１中のγが”１”の場合は、図５（Ａ）に４３で示す特性の変換及び同図（Ｂ）に示すような変換となる。上記のγが”１”よりも小さくなるにつれて、図５（Ａ）に示す特性４４及び同図（Ｃ）、同図（Ａ）に示す特性４５及び同図（Ｄ）といったように、オリジナル領域と歪み領域との境界である原点から離れるにつれて縮小率が変化するように画素を再配置することができる。

また、所定の空間フィルタリングで用いられる手法としては、一般には、下記の数１で表わされるフィルタ特性のＬａｎｃｚｏｓ２，あるいは下記の数２で表わされるフィルタ特性のＬａｎｃｚｏｓ３などを用いる。

なお、所定の空間フィルタリングで用いられる手法としては、上記以外の周波数変換に基づく縮小方法、ローパスフィルタを利用した手法であっても構わず、本発明において特に限定されるものではないことに注意する。

次に、オリジナル領域に隣接する領域に対する解像度変換処理の様子について説明する。図６（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、オリジナル領域の上側、下側、左側、右側の領域に対する解像度変換処理の様子を示す。図６（Ａ）に示すオリジナル領域１３の上側に存在する領域５２が歪み領域であり、領域５１，５２に含まれる画像に対して、所定の空間フィルタリング及び縮小処理を行うことで、歪み領域５２に格納する。すなわち、図６（Ａ）に５１，５２で示すようにオリジナル領域１３の外の上側の画素領域に対して、歪み領域５２に収まるように所定のフィルタリングによる縮小処理を行い、歪み領域５２に格納する。

また、図６（Ｂ）に示すオリジナル領域１３の下側の領域５３及び５４、同図（Ｃ）に示すオリジナル領域１３の左側の領域５５及び５６、同図（Ｄ）に示すオリジナル領域１３の右側の領域５７及び５８に対しても所定の空間フィルタリング及び縮小処理を行うことで、同様に歪み領域５４、５６、５８にそれらの領域の画像情報を格納する。その後、本来のＳＤ解像度を得るために所定のフィルタリングによる縮小処理を行うことで、ＨＤ解像度からＳＤ解像度への変換を行う。

また、図７（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、オリジナル領域の左上側、左下側、右上側、右下側の領域に対する解像度変換処理の様子を示す。図７（Ａ）に示すオリジナル領域１３の左上側に存在する領域６２が歪み領域であり、領域６１，６２に含まれる画像に対して、所定の空間フィルタリング及び縮小処理を行うことで、歪み領域６２に格納する。

また、図７（Ｂ）に示すオリジナル領域１３の左下側の領域６３及び６４、同図（Ｃ）に示すオリジナル領域１３の右上側の領域６５及び６６、同図（Ｄ）に示すオリジナル領域１３の右下側の領域６７及び６８に対しても所定の空間フィルタリング及び縮小処理を行うことで、同様に歪み領域６４、６６、６８にそれらの領域の画像情報を格納する。

また、図８（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、オリジナル領域の上側、下側、左側、右側の領域に対する解像度変換処理の様子を示す。図８（Ａ）に示すオリジナル領域１３の上側に存在する領域７２が歪み領域であり、領域７１，７２に含まれる画像に対して、所定の空間フィルタリング及び縮小処理を行うことで、歪み領域７２に格納する。

また、図８（Ｂ）に示すオリジナル領域１３の下側の領域７３及び７４、同図（Ｃ）に示すオリジナル領域１３の左側の領域７５及び７６、同図（Ｄ）に示すオリジナル領域１３の右側の領域７７及び７８に対しても所定の空間フィルタリング及び縮小処理を行うことで、同様に歪み領域７４、７６、７８にそれらの領域の画像情報を格納する。

ここで、図６のような処理では縦方向及び横方向の処理が別々に行われるため、図７に示した左上側、右上側、左下側、右下側の領域６１〜６８に対しては空間的なフィルタリング及び縮小処理を行うことで図８で示す領域とは別の処理を行っても構わない。図８で示す領域７１〜７８に対しては、図６で示したような横方向、縦方向のフィルタリング及び縮小処理を行う。このように、図６のフィルタリング及び縮小処理にてオリジナル領域に隣接する領域に対する解像度変換処理を行うか、図７と図８のフィルタリング及び縮小処理を組み合わせてオリジナル領域に隣接する領域に対する解像度変換処理を行う。

次に、上記の空間解像度変換方法を用いた本発明の空間スケーラブル符号化方法について図９の画像変換の過程を示す図を用いて説明する。まず、空間スケーラブル符号化を行うにあたり、元のＨＤ解像度をもつ画像フレームを利用して、本発明の空間解像度変換処理を図２に示すように行うことで、図２（Ｅ）に示すオリジナル領域２８及び歪み領域３１と３２で構成されるＳＤ解像度の大きさの画像フレームを得る。

このオリジナル領域と歪み領域を含むＳＤ解像度の画像フレームをベースレイヤとし、このベースレイヤに対して所定の符号化を行う。エンハンスレイヤは、図９（Ｆ）の元のＨＤ解像度を持つ画像フレーム９７とする。その後、所定の復号化を行うことで、図９（Ａ）に示すように、オリジナル領域８１及び歪み領域８２，８３で構成されるＳＤ解像度の大きさの復号画像フレームを得る。領域８１，８２，８３は、図２（Ｅ）の領域２８，３１，３２に相当する。なお、図９（Ａ）及び（Ｂ）にハッチングを付して示す領域は、本来のＨＤ解像度では画像が存在していたが、前述した歪み処理によって必要なくなった存在しない領域を仮想的に示したものである。

このオリジナル領域８１及び歪み領域８２，８３からなる復号画像フレームのクロッピング領域の全体に対して所定の空間フィルタリング及び拡大処理により２.２５倍に拡大することで、図９（Ｂ）に示すように、拡大されたオリジナル領域８９と歪み領域９０，９１からなる画像フレームのクロッピング領域を得る。その後、歪み領域９０，９１に対して所定の空間フィルタリング及び拡大処理を行い、その処理結果をオリジナル領域８９の外側に格納することで、図９（Ｄ）に示すオリジナル領域８９と横方向の歪みが解消された領域９２，９３とからなるＨＤ解像度の画像フレームを得る。

なお、上記の処理の替わりに、図９（Ａ）の歪み領域８２，８３に対して先に所定の空間フィルタリング及び拡大処理を行い、その処理結果をオリジナル領域の外側に格納することで、同図（Ｃ）に示すようなオリジナル領域８１と横方向の歪みが解消された領域８６，８７からなるクリッピング領域の画像フレームを取得し、この画像フレーム全体に対して所定の空間フィルタリング及び２.２５倍の拡大処理を行うことにより、同様に図９（Ｄ）に示すオリジナル領域８９と歪みが解消された領域９２，９３からなるＨＤ解像度の拡大画像フレームを得るようにしてもよい。

あるいは、以上の歪み領域の２段階の拡大処理に替えて、図９（Ａ）の歪み領域８２，８３に対して先に所定の空間フィルタリング及び拡大処理を行うと共に、オリジナル領域８１に対しては所定の空間フィルタリング及び２.２５倍の拡大処理を行うことにより、直接に図９（Ｄ）に示したオリジナル領域８９と歪みが解消された領域９２，９３からなるＨＤ解像度の拡大画像フレームを得るようにしてもよい。

その後、ベースレイヤから得られた図９（Ｄ）に示す画像フレームと、図９（Ｆ）に示すエンハンスレイヤ９７との間で階層間の予測符号化を行う。なお、図９（Ｆ）中、点線で囲んだ領域９７は、クロッピング領域を示す。この階層間の予測符号化によって得られた図９（Ｅ）に示すレイヤ間の予測符号情報９８に対して所定の符号化を行うことで、エンハンスレイヤの符号化出力を得る。このような処理を行うことで、本発明の空間スケーラブル符号化方法を実現することができる。

また、本発明の空間スケーラブル復号化方法の一実施の形態としては、符号化方法で行ったベースレイヤの復号処理と同様の処理を行うことで、図９（Ｄ）に示したオリジナル領域８９と歪みが解消された領域９２，９３からなるＨＤ解像度の拡大画像フレームを得ると共に、エンハンスレイヤの復号処理を行うことで図９（Ｅ）に示すレイヤ間の予測符号情報９８を得る。その後、ベースレイヤとエンハンスレイヤとの間で階層間の予測復号化を行い、図９（Ｆ）に示すクロッピング領域９７を復号する。これにより、本発明の空間スケーラブル復号化方法の一実施の形態を実現することができる。

次に、ベースレイヤであるＳＤ解像度からエンハンスレイヤであるＨＤ解像度への、拡大方向の本発明の解像度変換方法の一実施の形態について、更に図１０及び図１１と共に説明する。図１０は拡大方向の本発明の解像度変換方法の一実施の形態の概念図を示す。
図１０（Ａ）に示すＳＤ解像度のベースレイヤ画像から同図（Ｄ）に示すＨＤ解像度のエンハンスレイヤ画像に拡大方向の解像度変換を行う場合、少なくともエンハンスレイヤ画像の領域７０７の左上端Ｅ１と右下端Ｅ２の各座標（ＸＥ１，ＹＥ１）、（ＸＥ２，ＹＥ２）と、オリジナル領域７０６の左上端Ｅ３と右下端Ｅ４の各座標（ＸＥ３，ＹＥ３）、（ＸＥ４，ＹＥ４）、若しくはエンハンスレイヤ画像の２つの領域７０６、７０７を特定するためのこれらの座標情報を取得するための代替情報が必要となる。つまり、Ｅ３、Ｅ４によってエンハンスレイヤ側で対応するオリジナル領域７０６を特定できる。その周囲の領域７０７は、歪み領域を元に戻した後の画像を格納する領域である。

また、図１０（Ａ）に示すベースレイヤ画像の領域７０２の左上端Ｂ１と右下端Ｂ２の各座標（ＸＢ１，ＹＢ１）、（ＸＢ２，ＹＢ２）と、オリジナル領域７０１の左上端Ｂ３と右下端Ｂ４の各座標（ＸＢ３，ＹＢ３）、（ＸＢ４，ＹＢ４）、若しくはベースレイヤ画像の２つの領域７０１、７０２を特定するためのこれらの座標情報を取得するための代替情報が必要となる。つまり、Ｂ３、Ｂ４によってベースレイヤ側のオリジナル領域７０１を特定できる。その周囲の領域７０２は、歪み領域である。

なお、座標の基準点は、説明を簡単にするため、Ｅ１、Ｂ１を（０，０）として説明する。また、Ｂ２，Ｂ３，Ｂ４はＢ１を基準にした図であるものとする。次に、図１１のフローチャートと共に本実施の形態の空間解像度変換動作について説明する。まず、ＳＤ解像度のベースレイヤ画像のオリジナル領域の形状を特定するための情報を取得することで、オリジナル領域（図１０（Ａ）の７０１）の形状を特定し（ステップＳ２０１）、続いてＨＤ解像度からＳＤ解像度に変換したときに得られるＥ１、Ｅ２、Ｅ３、Ｅ４、及びＢ１、Ｂ２、Ｂ３、Ｂ４の座標情報を取得する（ステップＳ２０２）。若しくは、エンハンスレイヤ及びベースレイヤに含まれる各領域を特定するための座標情報を取得するための代替情報を取得し、これらの座標を特定する。これらの情報からオリジナル領域を特定する（ステップＳ２０３）。

次に、クロッピング領域を特定する（ステップＳ２０４）。このステップＳ２０４の処理では、説明を簡単にするために図１０（Ｂ）に示す仮想画像Ｍを考える。この仮想画像Ｍの左上端Ｍ１と右下端Ｍ２によって特定できる領域がエンハンスレイヤ画像内で対応するクロッピング領域となる。そこで、このＭ１、Ｍ２によって特定できる領域の求め方を以下説明する。

まず、ベースレイヤ画像のオリジナル領域７０１の点Ｂ３、Ｂ４と、エンハンスレイヤ画像のオリジナル領域の点Ｅ３、Ｅ４に注目する。これらの点の座標からベースレイヤ画像のオリジナル領域７０１を、エンハンスレイヤ画像の対応するオリジナル領域７０６に拡大するための拡大率を算出する。拡大率は点Ｂ３、Ｂ４及びＥ３、Ｅ４から得られる各領域の対応する辺同士の比から算出する。

求めた拡大率に基づいて、図１０（Ａ）のベースレイヤ画像を拡大すると、同図（Ｂ）の仮想画像Ｍのような拡大したオリジナル領域を含むベースレイヤ画像が得られる。拡大処理により、Ｂ１はＭ１、Ｂ２はＭ２、Ｂ３はＭ３、Ｂ４はＭ４に対応する。

しかし、この段階では、図１０（Ｂ）の点Ｍ１、Ｍ２、Ｍ３、Ｍ４は、同図（Ｄ）のエンハンスレイヤ画像内のどの部分に対応するかが分からないため、Ｍ３とＥ３、Ｍ４とＥ４の座標が対応するように、仮想画像Ｍの点Ｍ１、Ｍ２、Ｍ３、Ｍ４の座標を平行移動して対応させる。このような処理を行うことで、Ｍ１、Ｍ２がエンハンスレイヤ画像内のどの位置に対応するかを特定する。このようにして修正したＭ１、Ｍ２の座標をエンハンスレイヤ画像内の対応するクロッピング領域として特定する。

次に、クロッピング領域内で、かつ、オリジナル領域の外側の歪み領域を特定する（ステップＳ２０５）。ここでは、図１０（Ｄ）のＥ１、Ｅ２、Ｅ３、Ｅ４の関係から歪み領域７０７を特定する。また、ベースレイヤ画像から歪み領域を先に元に戻す必要がある場合は、Ｅ１、Ｅ２、Ｅ３、Ｅ４の座標から特定されるエンハンスレイヤ画像の大きさを仮想画像Ｍを作成した時の拡大率の逆数により縮小率を算出し、エンハンスレイヤ画像の各座標を縮小率を用いて縮小することで図１０（Ｃ）に示す仮想画像Ｎを生成する。

生成した仮想画像Ｎの左上端Ｎ１、右下端Ｎ２からなる領域内の点Ｎ３、Ｎ４によって特定されるオリジナル領域の外側の領域を特定することができる。これらの領域に対して、本実施の形態の解像度変換方法を用いて歪みを元に戻すことができる。

次に、歪み領域に含まれる画像を拡大する際の拡大方法を特定するための情報を取得することで拡大方法を特定し（ステップＳ２０６）、その特定した拡大方法によって歪み領域を元に戻すための拡大処理を行う（ステップＳ２０７）。歪み領域を元に戻した後の画像をオリジナル領域外に格納する（ステップＳ２０８）。これにより、例えば仮想画像Ｎのオリジナル領域７０４の外側の領域７０５に歪み領域の画像情報を元に戻した画像情報が格納される。

最後に、クロッピング領域に含まれる画像を所定の拡大方法により拡大する（ステップＳ２０９）。ここでは、仮想画像Ｍを想定する場合は、ステップＳ２０４のクロッピング領域特定ステップにおいてクロッピング領域の拡大を行ってもよい。また、クロッピング領域内に含まれる画像であるベースレイヤ画像内のオリジナル領域に対して拡大処理を行ってもよい。また、仮想画像Ｎを想定する場合は、ベースレイヤ画像から仮想画像Ｎを作成するために歪み領域拡大ステップＳ２０７を行った後、仮想画像ＮのＮ１、Ｎ２の座標から特定される縮小後のクロッピング領域に対してステップＳ２０８の拡大処理を行う。このときの拡大では、Ｅ３、Ｅ４、Ｂ３、Ｂ４の関係から求めた拡大率を利用する。

なお、以上の実施の形態では、説明を簡単にするために図１を用いて本発明で利用する各領域について説明している。この説明において、オリジナル領域は矩形であるものとして話を進めているが、必ずしもオリジナル領域は矩形である必要はない。図１２から図１７は、オリジナル領域の形状について示した概念図である。

図１２は本発明になる空間スケーラブル符号化方法及び復号化方法で用いる空間解像度変換された画像領域の第１の例の説明図を示す。この例では、オリジナル領域１００３として回転を許容した長方形を採用した場合の例である。図１で示されたオリジナル領域１３の長方形では、長方形を定義するために左上の座標Ｏ（Ｘ_０，Ｙ_０）と、長方形の横の大きさＷ_Ｏ，縦の大きさＨ_Ｏを採用していたため、オリジナル領域１３に対して長方形を回転させた領域を定義することが難しかった。

そこで、図１２の例では、オリジナル領域１００３の長方形の中心座標Ｏ（Ｘ_０，Ｙ_０）と長方形の左上の座標Ｓ１（Ｘs1，Ｙs1）を腕の長さとした座標形式で定義する。ここでは、中心座標をＯ、補助座標をＳ１としている。なお、図１２ではエンハンス領域を定義するために、領域１００１の左上の座標をＥ（Ｘ_Ｅ，Ｙ_Ｅ）、横方向の大きさをＷ_Ｅ、縦方向の大きさをＨ_Ｅとする。ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１００２の左上の座標をＣ（Ｘ_Ｃ，Ｙ_Ｃ）、横方向の大きさをＷ_Ｃ、縦方向の大きさをＨ_Ｃとする。

図１３は本発明になる空間スケーラブル符号化方法及び復号化方法で用いる空間解像度変換された画像領域の第２の例の説明図を示す。この例では、オリジナル領域１１０３として円形を採用した場合の例である。この場合も同様に中心座標Ｏ、補助座標をＳ１としている。また、図１３ではエンハンス領域を定義するために、領域１１０１の左上の座標をＥ（Ｘ_Ｅ，Ｙ_Ｅ）、横方向の大きさをＷ_Ｅ、縦方向の大きさをＨ_Ｅとする。ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１１０２の左上の座標をＣ（Ｘ_Ｃ，Ｙ_Ｃ）、横方向の大きさをＷ_Ｃ、縦方向の大きさをＨ_Ｃとする。

図１４は本発明になる空間スケーラブル符号化方法及び復号化方法で用いる空間解像度変換された画像領域の第３の例の説明図を示す。この例では、オリジナル領域１２０３として回転を許容したひし形を採用した場合の例である。ひし形の場合、対角線の長さが縦方向と横方向で異なることから、中心座標Ｏ、補助座標Ｓ１，補助座標Ｓ２を定義する。また、図１４では、エンハンス領域を定義するために、領域１２０１の左上の座標をＥ（Ｘ_Ｅ，Ｙ_Ｅ）、横方向の大きさをＷ_Ｅ、縦方向の大きさをＨ_Ｅとする。ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１２０２の左上の座標をＣ（Ｘ_Ｃ，Ｙ_Ｃ）、横方向の大きさをＷ_Ｃ、縦方向の大きさをＨ_Ｃとする。

図１５は本発明になる空間スケーラブル符号化方法及び復号化方法で用いる空間解像度変換された画像領域の第４の例の説明図を示す。この例では、オリジナル領域１３０３として回転を許容した楕円形を採用した場合の例である。オリジナル領域１３０３の楕円形は２つの焦点が必要となるが、他の形状との整合性を保つため中心座標Ｏを採用し、１つ目の焦点座標を補助座標Ｓ１として中心座標Ｏと補助座標Ｓ１からもうひとつの焦点座標を計算することで２つの焦点を特定する。また、楕円上に補助座標Ｓ２を定義することで、回転を許容した楕円形を定義することができる。

また、図１５では、エンハンス領域を定義するために、領域１３０１の左上の座標をＥ（Ｘ_Ｅ，Ｙ_Ｅ）、横方向の大きさをＷ_Ｅ、縦方向の大きさをＨ_Ｅとする。ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１３０２の左上の座標をＣ（Ｘ_Ｃ，Ｙ_Ｃ）、横方向の大きさをＷ_Ｃ、縦方向の大きさをＨ_Ｃとする。

図１６は本発明になる空間スケーラブル符号化方法及び復号化方法で用いる空間解像度変換された画像領域の第５の例の説明図を示す。この例では、オリジナル領域１４０３として回転を許容した多角形を採用した場合の例である。オリジナル領域１４０３の中心座標Ｏ、補助座標Ｓ１を定義することで、まず円形を想定し、円周を等分する距離に補助座標Ｓ２を定義することで、回転を許容した多角形を定義することができる。

また、図１６では、エンハンス領域を定義するために、領域１４０１の左上の座標をＥ（Ｘ_Ｅ，Ｙ_Ｅ）、横方向の大きさをＷ_Ｅ、縦方向の大きさをＨ_Ｅとする。ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１４０２の左上の座標をＣ（Ｘ_Ｃ，Ｙ_Ｃ）、横方向の大きさをＷ_Ｃ、縦方向の大きさをＨ_Ｃとする。

図１７は本発明になる空間スケーラブル符号化方法及び復号化方法で用いる空間解像度変換された画像領域の第６の例の説明図を示す。この例では、オリジナル領域１５０３として任意形状を採用した場合の例である。オリジナル領域１５０３は任意形状であるため、中心座標Ｏと、複数の補助座標Ｓ１、Ｓ２等を用意することで任意形状を定義する。

ただし、以上のような各種のオリジナル領域の形状は、単に中心座標と補助座標の位置や数からでは判断することが難しい。そこで、オリジナル領域の形状を特定するために、図４のような対応表によって管理するとよい。この対応表は、形状を形状モードＩＤで番号付けする。また、各形状を表現するために必要な中心座標、補助座標の数を特定するための情報との関連付けが行われている。

このような形状モードＩＤと、中心座標、補助座標の情報を本発明の解像度変換後の画像フレームとともに伝送することで、歪み領域を元に戻す際にオリジナル領域や歪み領域などを特定することができ、正しくもとの大きさの画像フレームに戻すことが可能となる。また、歪み領域へ格納する際の空間フィルタリング及び縮小処理は、図１３に示すようなオリジナル領域の法線方向に対して行うとよい。

次に、本発明の空間解像度変換を用いたスケーラブル符号化装置の構成について説明する。図１８は本発明になる空間スケーラブル符号化装置の一実施の形態のブロック図を示す。同図において、画像入力部１６０２は、入力される高精細な空間解像度をもつＨＤ解像度の画像フレーム１６０１を取得するための手段と、取得した画像フレーム１６０１を、ベースレイヤの符号化処理を行うため、以下で説明するクロッピング領域特定部１６０３に通知するための手段と、エンハンスレイヤの符号化処理を行うため、以下に説明するエンハンス側のＭＥ部１６１９に通知する手段とを備える。

クロッピング領域特定部１６０３は、ベースレイヤ側の符号化を行う際に利用する、より低い解像度をもつＳＤ解像度の画像フレームを生成するため、画像入力部１６０２から取得した高精細な空間解像度をもつＨＤ解像度のフレームの中から、クロッピング領域を特定し、クロッピング領域情報を生成するための手段を備える。生成したクロッピング領域情報は、エントロピー符号化部１６１２に通知して符号化するように構成することが望ましいが、ここでは説明を簡単にするために省略する。

歪み領域特定部１６０４は、取得したクロッピング領域情報に基づいて、クロッピング領域内にオリジナル領域を設定し、オリジナル領域情報を生成することで、クロッピング領域内で、かつ、オリジナル領域外の領域を歪み領域として特定する手段を備える。生成したオリジナル領域情報は、エントロピー符号化部１６１２に通知して符号化するように構成することが望ましいが、ここでは説明を簡単にするために省略する。

歪み領域縮小部１６０５は、生成したオリジナル領域情報に基づいて、歪み領域に格納する対象領域である歪み領域格納対象領域を特定する手段を備える。一般に、歪み領域格納対象領域は、エンハンスレイヤ側の空間解像度であるＨＤ解像度の画像フレームの領域内で、かつ、オリジナル領域外の領域である。また、歪み領域縮小部１６０５は、この歪み領域格納対象領域に含まれる画素に対して、特定した歪み領域に収まるように所定のフィルタリング及び縮小方法を特定し、フィルタリング及び縮小処理を行った後に歪み領域に格納する手段を備える。

クロッピング領域縮小部１６０６は、ベースレイヤ側で必要としている空間解像度、ここではＳＤ解像度の画像フレームを取得するために、クロッピング領域に対して所定のフィルタリング処理及び縮小処理を行うことで、歪み領域を含んだＳＤ解像度の画像フレームを生成する手段を備える。

ＭＥ部１６０７は、ベースレイヤ側のＭＥ（動き推定）処理を行うための手段を備える。ＭＥ処理は、フレーム内符号化であるイントラ符号化以外のモードである場合に所定のＭＥ処理を行うことが望ましい。ＭＥ部１６０７は、現在符号化対象となっているＳＤ解像度の画像フレームと、少なくとも１フレームの参照フレームを格納することができるフレームバッファ部１６０９からの参照フレームとの間でＭＥ処理を行うことで、動きベクトル情報を生成する。生成した動きベクトル情報は、ＭＣ部１６０８及びレイヤ間予測部１６２０に通知される。また、ＭＥ部１６０７は、生成した動きベクトル情報に対して所定の符号化を行うために、動きベクトル情報をエントロピー符号化部１６１２に通知する手段を備える。

ＭＣ部１６０８は、ベースレイヤ側のＭＣ（動き補償）処理を行うための手段を備える。ＭＣ処理は、フレーム内符号化であるイントラ符号化以外のモードである場合に所定のＭＣ処理を行うことが望ましい。ＭＣ部１６０８は、ＭＥ部１６０７から動きベクトル情報を取得する手段と、フレームバッファ１６０９から参照フレームを取得する手段と、取得した参照フレームに対して、取得した動きベクトル情報に基づいて、ＭＣ画像フレームを生成する手段と、生成したＭＣ画像フレームを次のＭＣ処理以降に参照フレームとして利用できるようにするため、フレームバッファ部１６０９に通知する手段とを備える。

フレームバッファ部１６０９は、ローカルデコード画像フレームを格納するための手段を備える。格納されるローカルデコード画像フレームは、ＭＣ部１６０８では参照フレームとして用いられる。直交変換部１６１０は、イントラ符号化の場合はクロッピング領域縮小部１６０６で生成したＳＤ解像度の画像フレームに対してそのまま直交変換を行い、直交変換後の係数情報を生成する手段と、イントラ符号化以外の場合には、クロッピング領域縮小部１６０６から得られるＳＤ解像度の画像フレームと、ＭＣ部１６０８から得られるＭＣ画像フレームとの差分画像フレームに対して直交変換を行い、直交変換後の係数情報を生成する手段と、生成した直交変換後の係数情報を量子化部１６１１に通知する手段とを備える。

量子化部１６１１は、直交変換部１６１０が生成した直交変換後の係数情報を取得し、所定の量子化処理を行い、量子化後の係数情報を生成する手段と、生成した量子化後の係数情報をエントロピー符号化部１６１２及び逆量子化部１６１３に通知する手段とを備える。

エントロピー符号化部１６１２は、ＭＥ部１６０７から動きベクトル情報を取得し、所定のエントロピー符号化を行う手段と、量子化部１６１１から量子化後の係数情報を取得し、所定のエントロピー符号化を行う手段と、エントロピー符号化を行った動きベクトル情報、エントロピー符号化を行った量子化後の係数情報をＭＵＸ部１６２８に通知する手段とを備える。

逆量子化部１６１３は、ローカルデコード画像フレームを生成するために、量子化部１６１１から量子化後の係数情報を取得し、所定の逆量子化を行うことで逆量子化後の係数情報を生成する手段と、生成した逆量子化後の係数情報を逆直交変換部１６１４に通知する手段とを備える。

逆直交変換部１６１４は、ローカルデコード画像フレームを生成するために、逆量子化部１６１３から逆量子化後の係数情報を取得し、所定の逆直交交換を行うことで、復号後の差分画像フレームを生成する手段と、生成した復号後の差分画像フレームをフレームバッファ部１６０９に通知する手段とを備える。復号後の差分画像フレームをフレームバッファ部１６０９に通知することで、フレームバッファ部１６０９は、既に格納されているＭＣ画像フレームと合成してローカルデコード画像フレームを生成する。このローカルデコード画像フレームをＭＣ部１６０８においては参照フレームとして利用する。

歪み領域特定部１６１５は、フレームバッファ部１６０９に格納されているローカルデコード画像フレームを取得し、取得したローカルデコード画像フレーム内の歪み領域を再度特定する手段を備える。歪み領域の特定は、クロッピング領域情報、オリジナル領域情報、クロッピング領域縮小部１６０６で行う縮小処理の縮小倍率から、ローカルデコード画像フレーム内のオリジナル領域を特定し、このオリジナル領域外の領域を歪み領域とすることが望ましい。歪み領域特定部１６１５で特定した歪み領域情報は、歪み領域拡大部１６１６に通知される。

歪み領域拡大部１６１６は、歪み領域特定部１６１５から歪み領域情報を取得し、歪み領域に対してフィルタリング及び拡大処理を特定した後に、歪み領域に対して特定したフィルタリング及び拡大処理を行うことで、歪み領域に含まれる画像を元の歪みのない画像に復元し、この歪み領域を復元した画像フレームを画像拡大部１６１７に通知する。

画像拡大部１６１７は、歪み拡大部１６１６から取得した歪み領域を復元した画像フレームを取得し、元のＨＤ解像度の大きさに拡大処理を行う手段と、拡大後の画像フレームをベースレイヤからのローカルデコード画像フレームとしてクロッピング領域特定部１６１８に通知する手段とを備える。

クロッピング領域特定部１６１８は、画像拡大部１６１７から取得したベースレイヤからのローカルデコード画像フレームが、エンハンスレイヤ側のＨＤ解像度をもつ画像フレームのどの位置に対応するかを特定し、この特定した位置関係情報及びベースレイヤからのローカルデコード画像フレームをレイヤ間予測部１６２０に通知する手段を備える。位置関係情報には、クロッピング領域の位置情報からオリジナル領域の位置関係情報を含むようにすることで、より効果的にレイヤ間予測を行うことができる構成となる。

ＭＥ部１６１９は、エンハンスレイヤ側のＭＥ処理を行うための手段を備える。ＭＥ処理は、フレーム内符号化であるイントラ符号化以外のモードである場合に所定のＭＥ処理を行うことが望ましい。ＭＥ部１６１９は、現在符号化対象となっているＨＤ解像度の画像フレームと、少なくとも１フレームの参照フレームを格納することができるフレームバッファ部１６２２からの参照フレームとの間でＭＥ処理を行うことで、動きベクトル情報を生成する。生成した動きベクトル情報は、レイヤ間予測部１６２０に通知される。

レイヤ間予測部１６２０は、ベースレイヤ側のＭＥ部１６０７から出力された動きベクトル情報を取得する手段と、クロッピング領域特定部１６１８から出力された、ベースレイヤ側のローカルデコード画像フレーム及びエンハンスレイヤ側の画像フレームとの間の位置関係情報を取得する手段と、エンハンスレイヤ側のＭＥ部１６１９から出力された動きベクトル情報を取得する手段とを備える。

更に、レイヤ間予測部１６２０は、このような手段によって取得した情報に基づいて、レイヤ間の相関を利用し、動きベクトル情報の予測符号化を行い、レイヤ間予測に基づいた動きベクトル情報を生成する手段を備える。このレイヤ間予測に基づいた動きベクトル情報は、ＭＣ部１６２１に通知されると共に、また、エンハンス側の動きベクトル情報を符号化するために、エントロピー符号化部１６２５に通知される。ここで、エントロピー符号化部１６２５に通知されるエンハンス側の動きベクトル情報は、ベースレイヤ側から取得した動きベクトル情報とのレイヤ間予測によって生成した動きベクトル差分情報であっても構わない。

ＭＣ部１６２１は、エンハンスレイヤ側のＭＣ処理を行うための手段を備える。このＭＣ処理は、フレーム内符号化であるイントラ符号化以外のモードである場合に、所定のＭＣ処理を行うことが望ましい。また、ＭＣ部１６２１は、レイヤ間予測部１６２０から動きベクトル情報を取得する手段と、フレームバッファ部１６２２から参照フレームを取得する手段と、取得した参照フレームに対して、取得した動きベクトル情報に基づいて、ＭＣ画像フレームを生成する手段と、生成したＭＣ画像フレームを次のＭＣ処理以降に参照フレームとして利用できるようにするため、フレームバッファ部１６２２に通知する手段とを備える。

フレームバッファ部１６２２は、エンハンスレイヤ側のローカルデコード画像フレームを格納するための手段を備える。格納されるローカルデコード画像フレームは、ＭＣ部１６２１では参照フレームとして用いられる。

直交変換部１６２３は、イントラ符号化の場合は画像入力部１６０２から取得した高精細なＨＤ解像度の画像フレームに対してそのまま直交変換を行い、直交変換後の係数情報を生成する手段と、イントラ符号化以外の場合には、画像入力部１６０２から得られるＨＤ解像度の画像フレームと、ＭＣ部１６２１から得られるＭＣ画像フレームとの差分画像フレームに対して直交変換を行い、直交変換後の係数情報を生成する手段とを備える。生成した直交変換後の係数情報は、量子化部１６２４に通知される。

量子化部１６２４は、直交変換部１６２３が生成した直交変換後の係数情報を取得し、所定の量子化処理を行い、量子後の係数情報を生成する手段と、生成した量子化後の係数情報をエントロピー符号化部１６２５及び逆量子化部１６２６に通知する手段とを備える。エントロピー符号化部１６２５は、レイヤ間予測部１６２０から動きベクトル情報を取得し、所定のエントロピー符号化を行う手段と、量子化部１６２４から量子化後の係数情報を取得し、所定のエントロピー符号化を行う手段とを備える。また、エントロピー符号化部１６２５は、エントロピー符号化を行った動きベクトル情報、エントロピー符号化を行った量子化後の係数情報をＭＵＸ部１６２８に通知する。

逆量子化部１６２６は、ローカルデコード画像フレームを生成するために、量子化部１６２４から量子化後の係数情報を取得し、所定の逆量子化を行うことで逆量子化後の係数情報を生成する手段と、生成した逆量子化後の係数情報を逆直交変換部１６２７に通知する手段とを備える。

逆直交変換部１６２７は、ローカルデコード画像フレームを生成するために、逆量子化部１６２６から逆量子化後の係数情報を取得し、所定の逆直交変換を行うことで、復号後の差分画像フレームを生成する手段と、生成した復号後の差分画像フレームをフレームバッファ部１６２２に通知する手段とを備える。復号後の差分画像フレームをフレームバッファ部１６２２に通知することで、フレームバッファ部１６２２は、既に格納されているＭＣ画像フレームと合成してローカルデコード画像フレームを生成する。このローカルデコード画像フレームは、ＭＣ部１６２１においては参照フレームとして利用される。

ＭＵＸ部１６２８は、ベースレイヤ側のエントロピー符号化部１６１２からエントロピー符号化を行った動きベクトル情報、エントロピー符号化を行った量子化後の係数情報を取得する手段と、エンハンスレイヤ側のエントロピー符号化部１６２５からエントロピー符号化を行った動きベクトル情報、エントロピー符号化を行った量子化後の係数情報を取得する手段と、取得したこれらの情報に対して所定の多重化（ＭＵＸ）を行うことで多重化出力情報を生成する手段とを備える。生成した多重化出力情報は、符号化出力部１６２９に通知される。符号化出力部１６２９は、ＭＵＸ部１６２８から多重化出力情報を取得し、符号化ビットストリーム１６３０を出力する手段を備える。以上のような各手段を備えた各部により本発明のスケーラブル符号化装置の一実施の形態を構成することができる。

次に、図２０及び図２１のフローチャートを用いて、図１８に示したスケーラブル符号化装置の動作について説明する。図２０は、主に図１８のベースレイヤ側の処理過程を示すためのフローチャートである。また図２１は、主にエンハンスレイヤ側の処理過程を示すためのフローチャートである。

まず、画像入力部１６０２は、高精細な空間解像度（例えば、ＨＤ解像度）を持つ画像フレーム１６０１を取得して（図２０のステップＳ３０１）、クロッピング領域特定部１６０３に取得した画像フレームを通知する。

クロッピング領域特定部１６０３は、入力された高精細な空間解像度を持つ画像フレーム１６０１内からより低い空間解像度（例えば、ＳＤ解像度）として残すべき領域を、図１の１２その他で説明したクロッピング領域として特定する（図２０のステップＳ３０２）。このクロッピング領域は、所定の位置に基づくものであっても構わない。また、画像内の状態を考慮してクロッピング領域を決定するようにしても構わない。このようにして特定されたクロッピング領域情報は、画像フレーム１６０１と共に歪み領域特定部１６０４に供給される。

歪み領域特定部１６０４は、入力された上記のクロッピング領域情報と画像フレーム１６０１とに基づいて、クロッピング領域内に図１の１３その他で説明したオリジナル領域を特定する。オリジナル領域の位置に関しては、予め決められた位置情報を利用して領域を特定しても構わない。また、エンハンスレイヤの符号化を行う際により重要となる領域をクロッピング領域内を探索することでオリジナル領域を決定しても構わない。歪み領域特定部１６０４は、更にクロッピング領域内で、かつ、オリジナル領域外の領域内に、画像を歪ませて空間解像度変換後の画像を格納する領域である歪み領域を特定する（図２０のステップＳ３０３）。

歪み領域縮小部１６０５は、歪み領域特定部１６０４から取得したオリジナル領域情報、特定した歪み領域情報及び画像フレーム１６０１に基づいて、オリジナル領域の外側の画像フレームの画像情報が、特定した歪み領域に収まるように所定のフィルタリング及び縮小方法を特定し、フィルタリング及び縮小処理を行った後にその歪み領域に格納することで、歪み領域を縮小する（図２０のステップＳ３０４）。その後、歪み領域縮小部１６０５は、オリジナル領域及び歪み領域からなるクロッピング領域の画像フレームを、クロッピング領域縮小部１６０６に通知する。

クロッピング領域縮小部１６０６は、ベースレイヤ側で必要としている空間解像度の画像フレームを取得するために、クロッピング領域に対して所定のフィルタリング処理及び縮小処理を行うことでクロッピング領域を縮小する（図２０のステップＳ３０５）。このようにして、歪み領域を含んだＳＤ解像度の画像フレームが生成される。生成された画像フレームは、ベースレイヤ側のＭＥ部１６０７と直交変換部１６１０に通知される。

ＭＥ部１６０７は、フレーム内符号化であるイントラ符号化以外のモードである場合にクロッピング領域縮小部１６０６が生成したＳＤ解像度の画像フレームと、フレームバッファ部１６０９から参照フレームを取得して所定のＭＥ処理を行うことが望ましい。ＭＥ部１６０７は、現在符号化対象となっているＳＤ解像度の画像フレームと、少なくとも１フレームの参照フレームを格納することができるフレームバッファ部１６０９からの参照フレームとを取得し、これらのフレーム間でＭＥ処理を行う（図２０のステップＳ３０６）ことで、動きベクトル情報を生成する。

ＭＥ部１６０７は、生成した動きベクトル情報を、ＭＣ部１６０８及びレイヤ間予測部１６２０に通知すると共に、生成した動きベクトル情報に対して所定の符号化を行うために、動きベクトル情報をエントロピー符号化部１６１２に通知する。このような処理を行うことでＭＥ処理を完了する。

ＭＣ部１６０８は、フレーム内符号化であるイントラ符号化以外のモードである場合に所定のＭＣ処理を行うことが望ましい。ＭＣ部１６０８は、ＭＥ部１６０７から取得した動きベクトル情報に基づいて、フレームバッファ部１６０９から取得した参照フレームに対して、ＭＣ画像フレームを生成することでＭＣを行う（図２０のステップＳ３０７）。その後、ＭＣ部１６０８は、生成したＭＣ画像フレームを次のＭＣ処理以降に参照フレームとして利用できるようにするため、フレームバッファ部１６０９に供給して記憶させる。

直交変換部１６１０は、イントラ符号化の場合はクロッピング領域縮小部１６０６で生成したＳＤ解像度の画像フレームに対してそのまま直交変換を行い、直交変換後の係数情報を生成し、イントラ符号化以外の場合には、クロッピング領域縮小部１６０６から得られるＳＤ解像度の画像フレームと、ＭＣ部１６０８から得られるＭＣ画像フレームとの差分画像フレームに対して直交変換を行い、直交変換後の係数情報を生成する。このような処理により直交変換を行う（図２０のステップＳ３０８）。生成された直交変換後の係数情報は量子化部１６１１に通知される。

量子化部１６１１は、直交変換部１６１０が生成した直交変換後の係数情報を取得し、所定の量子化を行い（図２０のステップＳ３０９）、量子化後の係数情報を生成し、それをエントロピー符号化部１６１２及び逆量子化部１６１３に供給する。エントロピー符号化部１６１２は、ＭＥ部１６０７から動きベクトル情報を取得し、所定のエントロピー符号化を行う。また、量子化部１６１１から量子化後の係数情報を取得し、所定のエントロピー符号化を行う（図２０のステップＳ３１０）。エントロピー符号化部１６１２は、エントロピー符号化を行った動きベクトル情報、エントロピー符号化を行った量子化後の係数情報をそれぞれＭＵＸ部１６２８に供給する。

逆量子化部１６１３は、ローカルデコード画像フレームを生成するために、量子化部１６１１から量子化後の係数情報を取得し、所定の逆量子化を行う（図２０のステップＳ３１２）ことで逆量子化後の係数情報を生成する。生成された逆量子化後の係数情報は、逆直交変換部１６１４に供給される。

逆直交変換部１６１４は、ローカルデコード画像フレームを生成するために、逆量子化部１６１３から逆量子化後の係数情報を取得し、所定の逆直交変換を行う（図２０のステップＳ３１２）ことで、復号後の差分画像フレームを生成する。生成された復号後の差分画像フレームは、フレームバッファ部１６０９に供給される。逆直交変換部１６１４から復号後の差分画像フレームがフレームバッファ部１６０９に入力されることで、フレームバッファ部１６０９は、既に格納されているＭＣ画像フレームと合成してローカルデコード画像フレームを生成する。このローカルデコード画像フレームは、ＭＣ部１６０８においては参照フレームとして利用される。

歪み領域特定部１６１５は、フレームバッファ部１６０９に格納されているローカルデコード画像フレームを取得し、取得したローカルデコード画像フレーム内の歪み領域を再度特定する（図２０のステップＳ３１３）。歪み領域の特定は、クロッピング領域情報、オリジナル領域情報、クロッピング領域縮小部１６０６で行う縮小処理の縮小倍率から、ローカルデコード画像フレーム内のオリジナル領域を特定し、このオリジナル領域外の領域を歪み領域とすることが望ましい。歪み領域特定部１６１５は、特定した歪み領域情報を歪み領域拡大部１６１６に通知する。

歪み領域拡大部１６１６は、歪み領域特定部１６１５から歪み領域情報を取得し、歪み領域に対してフィルタリング及び拡大処理を特定した後に、歪み領域に対して特定したフィルタリング及び拡大処理を行うことで歪み領域を拡大する（図２０のステップＳ３１４）。このような処理を行うことで、歪み領域に含まれる画像を元の歪みのない画像に復元する。歪み領域拡大部１６１６は、この歪み領域を復元した画像とオリジナル領域の画像とからなる画像フレームを画像拡大部１６１７に通知する。

画像拡大部１６１７は、歪み拡大部１６１６から取得した歪み領域を復元した画像フレームを取得し、元のＨＤ解像度の大きさに拡大処理を行う（図２０のステップＳ３１５）。拡大後の画像フレームをベースレイヤからのローカルデコード画像フレームとしてクロッピング領域特定部１６１８に通知する。

クロッピング領域特定部１６１８は、画像拡大部１６１７から取得したベースレイヤからのローカルデコード画像フレームが、エンハンスレイヤ側のＨＤ解像度をもつ画像フレームのどの位置に対応するかを特定し（図２０のステップＳ３１６）、この特定した位置関係情報及びベースレイヤからのローカルデコード画像フレームをレイヤ間予測部１６２０に通知する。位置関係情報には、クロッピング領域の位置情報からオリジナル領域の位置関係情報を含むようにすることで、より効果的にレイヤ間予測を行うことができる構成となる。以上のような各部の処理を行うことで、ベースレイヤ側における１フレーム分の符号化が完了する。

次に、エンハンスレイヤ側の符号化処理に移る。エンハンスレイヤ側では、ベースレイヤ側の処理と同様に画像入力部１６０２が高精細な空間解像度をもつ画像フレーム１６０１を取得する（図２１のステップＳ４０１）。ＭＥ部１６１９は、フレーム内符号化であるイントラ符号化以外のモードである場合に所定のＭＥ処理を行うことが望ましい。ＭＥ部１６１９は、現在符号化対象となっているＨＤ解像度の画像フレームと、少なくとも１フレームの参照フレームを格納することができるフレームバッファ部１６２２から参照フレームを取得し、これらのフレーム間でＭＥを行う（図２１のステップＳ４０２）ことで、動きベクトル情報を生成する。生成された動きベクトル情報は、レイヤ間予測部１６２０に通知される。

レイヤ間予測部１６２０は、ベースレイヤ側からのレイヤ間予測のための情報を取得する（図２１のステップＳ４０３）。ここでは、レイヤ間予測部１６２０は、ベースレイヤ側のＭＥ部１６０７から動きベクトル情報を取得し、クロッピング領域特定部１６１８から、ベースレイヤ側のローカルデコード画像フレーム及びエンハンスレイヤ側の画像フレームとの間の位置関係情報を取得し、エンハンスレイヤ側のＭＥ部１６１９から動きベクトル情報を取得する。

このような手段によって取得した情報に基づいて、レイヤ間予測部１６２０は、レイヤ間の相関を利用し、動きベクトル情報の予測符号化を行い、レイヤ間予測に基づいた動きベクトル情報を生成する（図２１のステップＳ４０４）。このレイヤ間予測に基づいた動きベクトル情報は、ＭＣ部１６２１に供給され、また、エンハンス側の動きベクトル情報を符号化するために、エントロピー符号化部１６２５に供給される。ここで、エントロピー符号化部１６２５に供給されるエンハンス側の動きベクトル情報は、ベースレイヤ側から取得した動きベクトル情報とのレイヤ間予測によって生成した動きベクトル差分情報であっても構わない。

ＭＣ部１６２１は、フレーム内符号化であるイントラ符号化以外のモードである場合に所定のＭＣ処理を行うことが望ましい。ＭＣ部１６２１は、レイヤ間予測部１６２０から動きベクトル情報を取得する。また、フレームバッファ１６２２から参照フレームを取得する。取得した参照フレームに対して、取得した動きベクトル情報に基づいて、ＭＣ画像フレームを生成することでＭＣを行う（図２１のステップＳ４０５）。ＭＣ部１６２１は、生成したＭＣ画像フレームを次のＭＣ処理以降に参照フレームとして利用できるようにするため、フレームバッファ部１６２２に供給する。

直交変換部１６２３は、イントラ符号化の場合は画像入力部１６０２から取得した高精細なＨＤ解像度の画像フレームに対してそのまま直交変換を行い、直交変換後の係数情報を生成する。また、イントラ符号化以外の場合には、画像入力部１６０２から得られるＨＤ解像度の画像フレームと、ＭＣ部１６２１から得られるＭＣ画像フレームとの差分画像フレームに対して直交変換を行い、直交変換後の係数情報を生成する（図２１のステップＳ４０６）。直交変換部１６２３は、生成した直交変換後の係数情報を量子化部１６２４に供給する。

量子化部１６２４は、直交変換部１６２３が生成した直交変換後の係数情報を取得し、所定の量子化処理を行い、量子化後の係数情報を生成する（図２１のステップＳ４０７）。生成された量子化後の係数情報は、エントロピー符号化部１６２５及び逆量子化部１６２６に供給される。

エントロピー符号化部１６２５は、レイヤ間予測部１６２０から動きベクトル情報を取得し、所定のエントロピー符号化を行う。また、量子化部１６２４から量子化後の係数情報を取得し、所定のエントロピー符号化を行う（図２１のステップＳ４０８）。エントロピー符号化部１６２５は、エントロピー符号化を行った動きベクトル情報、エントロピー符号化を行った量子化後の係数情報をＭＵＸ部１６２８に通知する。

逆量子化部１６２６は、ローカルデコード画像フレームを生成するために、量子化部１６２４から量子化後の係数情報を取得し、所定の逆量子化を行う（図２１のステップＳ４０９）ことで逆量子化後の係数情報を生成する。生成された逆量子化後の係数情報は、逆直交変換部１６２７に供給される。

逆直交変換部１６２７は、ローカルデコード画像フレームを生成するために、逆量子化部１６２６から逆量子化後の係数情報を取得し、所定の逆直交変換を行う（図２１のステップＳ４１０）ことで、復号後の差分画像フレームを生成し、生成した復号後の差分画像フレームをフレームバッファ部１６２２に供給する。復号後の差分画像フレームをフレームバッファ部１６２２に供給することで、フレームバッファ部１６２２は、既に格納されているＭＣ画像フレームと合成してローカルデコード画像フレームを生成する。このローカルデコード画像フレームは、ＭＣ部１６２１においては参照フレームとして利用される。

ＭＵＸ部１６２８は、ベースレイヤ側のエントロピー符号化部１６１２からエントロピー符号化を行った動きベクトル情報と、エントロピー符号化を行った量子化後の係数情報とを取得し（図２１のステップＳ４１１）、エンハンスレイヤ側のエントロピー符号化部１６２５からエントロピー符号化を行った動きベクトル情報と、エントロピー符号化を行った量子化後の係数情報を取得し、取得したこれらの情報に対して所定の多重化（ＭＵＸ）を行う（図２１のステップＳ４１２）。

これにより、ＭＵＸ部１６２８からは多重化出力情報が取り出され、符号化出力部１６２９に供給され、ここで符号化ビットストリーム１６３０として生成されて出力される（図２１のステップＳ４１３）。以上のような各部の処理を行うことで、エンハンスレイヤ側における１フレーム分の符号化及び、一連の符号化出力処理が完了する。本実施の形態の空間スケーラブル符号化装置によれば、前述した発明の効果に記載した（１）〜（３）等の効果を奏する。

次に、空間解像度変換を用いた本発明の空間スケーラブル復号化装置の構成について説明する。図１９は本発明になる空間スケーラブル復号化装置の一実施の形態のブロック図を示す。同図において、符号化入力部１７０２は、本実施の形態のスケーラブル符号化装置によって得られた符号化出力である符号化ビットストリームを取得するための手段と、取得した符号化ビットストリームをＤＥＭＵＸ部１７０３に通知する手段とを備える。

ＤＥＭＵＸ部１７０３は、符号化入力部１７０２から符号化ビットストリームを取得する手段と、取得した符号化ビットストリームに対して多重化分離（ＤＥＭＵＸ）を行う手段とを備える。ＤＥＭＵＸ処理により、ベースレイヤ側の符号化出力情報と、エンハンスレイヤ側の符号化出力情報とに分離される。更に、各レイヤの符号化出力情報は、エントロピー符号化を行った動きベクトル情報と、エントロピー符号化を行った量子化後の係数情報とに分離される。

また、ＤＥＭＵＸ部１７０３は、ベースレイヤ側のエントロピー復号部１７０４、エンハンスレイヤ側のエントロピー復号部１７２２に対して、それぞれ対応するレイヤの符号化出力情報であるエントロピー符号化を行った動きベクトル情報、エントロピー符号化を行った量子化後の係数情報を通知する手段を備える。

エントロピー復号部１７０４は、ベースレイヤ側の復号化処理を行うために、ＤＥＭＵＸ部１７０３からベースレイヤ側の符号化出力情報であるエントロピー符号化を行った動きベクトル情報と、エントロピー符号化を行った量子化後の係数情報とを取得する手段と、取得したエントロピー符号化を行った動きベクトル情報に対して、所定のエントロピー復号化を行うことで、動きベクトル情報を復号化する手段と、取得したエントロピー符号化を行った量子化後の係数情報に対しても所定のエントロピー復号化を行うことで、量子化後の係数情報を復号化する手段とを備える。

更に、エントロピー復号部１７０４は、復号化した動きベクトル情報をＭＣ部１７０８及びエンハンスレイヤ側のレイヤ間予測部１７２１に通知する手段と、復号化した量子化後の係数情報を逆量子化部１７０５に通知する手段とを備える。

逆量子化部１７０５は、エントロピー復号部１７０４から量子化後の係数情報を取得する手段と、取得した量子化後の係数情報に対して所定の逆量子化を行うことで、逆量子化後の係数情報を生成する手段と、生成した逆量子化後の係数情報を逆直交変換部１７０６に通知する手段とを備える。

ＭＣ部１７０６は、フレーム内復号化であるイントラ復号化以外のモードである場合に所定のＭＣ処理を行うことが望ましい。ＭＣ部１７０６は、エントロピー復号部１７０４から動きベクトル情報を取得する手段と、フレームバッファ部１７０７から参照フレームを取得する手段と、取得した動きベクトル情報に基づいて参照フレームに対してＭＣを行い、ＭＣ画像フレームを生成する手段と、生成したＭＣ画像フレームをフレームバッファ部１７０７に通知する手段とを備える。

フレームバッファ部１７０７は、ＭＣ部１７０６からＭＣ画像フレームを取得し、格納する手段と、逆直交変換部１７０８から復号後の画像フレームを取得し、格納されているＭＣ画像フレームと合成する手段とを備える。

逆直交変換部１７０８は、逆量子化部１７０５から取得した逆量子化後の係数情報を取得する手段と、取得した逆量子化後の係数情報に対して逆直交変換を行うことで、復号後の画像フレームを生成する手段と、生成した復号後の画像フレームを、フレームバッファ部１７０７に通知する手段とを備える。ここで、イントラ復号化である場合には、生成する画像フレームは差分画像フレームとなる。また、イントラ復号化以外の場合には、差分画像ではない復号画像フレームとなる。復号後の画像フレームは、フレームバッファ部１７０７に通知される。

画像出力部１７０９は、フレームバッファ部１７０７から復号後の画像フレームを取得して、取得した復号後の画像フレームを第１ベースレイヤ画像フレーム１７１０として出力する。歪み領域特定部１７１１は、フレームバッファ部１７０７から復号後の画像フレームを取得し、取得した復号後の画像フレーム内の歪み領域を再度特定する。歪み領域の特定は、エンハンスレイヤ側の復号画像フレーム全体の領域情報、クロッピング領域情報、オリジナル領域情報、復号時のクロッピング領域の拡大率を考慮することで復号画像フレーム内のオリジナル領域を特定し、このオリジナル領域外の領域を歪み領域とすることが望ましい。歪み領域特定部１７１１で特定した歪み領域情報は、歪み領域拡大部１７１４に通知される。

画像出力部１７１２は、歪み領域特定部１７１１から復号後の画像フレームを取得する手段と、取得した復号後の画像フレームを出力する手段とを備える。この画像出力部１７１２は、表示方法に応じた画像成型を行う手段を備えるとよい。ここでは、特定した歪み領域を除外して表示するような手段を備えることが望ましい。その際、歪み領域に対して例えば画素値として０を埋めることで縦の帯状に無効領域を生成し、表示するような手段を備えることでより多様な表示を行うことができる。

画像出力部１７１２は、オリジナル領域を縦方向、横方向にそれぞれ拡大し、画像表示装置の領域に合わせて表示するような手段を備えてもよい。また、オリジナル領域の上下の領域を除いて画像表示装置の縦横比に合わせるために、オリジナル領域に対して再度クロッピング処理を行い、その後画像表示装置の表示領域に合わせるために拡大して表示する手段を備えても構わない。

歪み領域拡大部１７１４は、歪み領域特定部１７１１から歪み領域情報を取得し、歪み領域に対してフィルタリング及び拡大処理を特定した後に、歪み領域に対して特定したフィルタリング及び拡大処理を行うことで、歪み領域に含まれる画像を元の歪みのない画像に復元する。歪み領域拡大部１７１４は、この歪み領域を復元した画像フレームを画像拡大部１７１７に通知する手段を備える。

画像出力部１７１５は、歪み領域拡大部１７１４から歪み領域を復元した画像フレームを取得する手段と、取得した歪み領域を復元した画像フレームを出力する手段とを備える。この画像出力部１７１５は、表示方法に応じた画像成型を行う手段を備えるとよい。ここでは、歪み領域を復元した画像フレーム内から画像表示装置の表示領域の分だけクロッピング処理を行った後に表示するような手段を備えることが望ましい。

画像拡大部１７１７は、歪み領域拡大部１７１４から取得した歪み領域を復元した画像フレームを取得し、元のＨＤ解像度の大きさに拡大処理を行う手段と、拡大後の画像フレームをベースレイヤからの復号画像フレームとしてクロッピング領域特定部１７２０に通知する手段とを備える。

画像出力部１７１８は、画像拡大部１７１７からベースレイヤからの復号画像フレームを取得する手段と、取得した復号画像フレームを出力する手段とを備える。この画像出力部１７１８は、表示方法に応じた画像成型を行う手段を備えるとよい。ここでは、歪み領域を復元した画像フレーム内から画像表示装置の表示領域の分だけクロッピング処理を行った後に表示するような手段を備えることが望ましい。

クロッピング領域特定部１７２０は、画像拡大部１７１７から取得したベースレイヤからの復号画像フレームが、エンハンスレイヤ側のＨＤ解像度をもつ復号画像フレームのどの位置に対応するかを特定し、この特定した位置関係情報及びベースレイヤからの復号画像フレームをレイヤ間予測部１７２１に通知する手段を備える。上記の位置関係情報には、クロッピング領域の位置情報からオリジナル領域の位置関係情報を含むようにすることで、レイヤ間予測復号を行うような構成が望ましい。

レイヤ間予測部１７２１は、ベースレイヤ側のエントロピー復号部１７０４から動きベクトル情報を取得する手段と、クロッピング領域特定部１７２０から、ベースレイヤ側の復号画像フレーム及びエンハンスレイヤ側の復号画像フレームとの間の位置関係情報を取得する手段と、エンハンスレイヤ側のエントロピー復号部１７２２から動きベクトル情報を取得する手段と、取得した動きベクトル情報に対して予測復号化を行い、エンハンスレイヤ側の復号化で必要な予測復号後の動きベクトル情報を生成する手段と、予測復号後の動きベクトル情報をＭＣ部１７２４に通知する手段とを備える。

エントロピー復号部１７２２は、エンハンスレイヤ側の復号化処理を行うために、ＤＥＭＵＸ部１７０３からエンハンスレイヤ側の符号化出力情報であるエントロピー符号化を行った動きベクトル情報及びエントロピー符号化を行った量子化後の係数情報を取得する手段を備える。また、エントロピー復号部１７２２は、取得したエントロピー符号化を行った動きベクトル情報に対して、所定のエントロピー復号化を行うことで、動きベクトル情報を復号化する手段と、取得したエントロピー符号化を行った量子化後の係数情報に対しても所定のエントロピー復号化を行うことで、量子化後の係数情報を復号化する手段とを備える。

エントロピー復号部１７２２は、更に、復号化した動きベクトル情報をレイヤ間予測部１７２１に通知する手段と、復号化した量子化後の係数情報を逆量子化部１７２３に通知する手段とを備える。逆量子化部１７２３は、エントロピー復号化部１７２２から量子化後の係数情報を取得する手段と、取得した量子化後の係数情報に対して所定の逆量子化を行うことで、逆量子化後の係数情報を生成する手段と、生成した逆量子化後の係数情報を逆直交変換部１７２６に通知する手段とを備える。

ＭＣ部１７２４は、フレーム内復号化であるイントラ復号化以外のモードである場合に、所定のＭＣ処理を行うことが望ましい。このＭＣ部１７２４は、レイヤ間予測部１７２１から予測復号後の動きベクトル情報を取得する手段と、フレームバッファ部１７２５から参照フレームを取得する手段と、取得した予測復号後の動きベクトル情報に基づいて参照フレームに対してＭＣを行い、ＭＣ画像フレームを生成する手段と、生成したＭＣ画像フレームをフレームバッファ部１７２５に通知する手段とを備える。

フレームバッファ部１７２５は、ＭＣ部１７２５からＭＣ画像フレームを取得し、格納する手段と、逆直交変換部１７２６から復号後の画像フレームを取得し、格納されているＭＣ画像フレームと合成する手段とを備える。逆直交変換部１７２６は、逆量子化部１７２３から取得した逆量子化後の係数情報を取得する手段と、取得した逆量子化後の係数情報に対して逆直交変換を行うことで、復号後の画像フレームを生成する手段と、生成した復号後の画像フレームをフレームバッファ部１７２５に通知する手段とを備える。

ここで、イントラ復号化である場合には、生成する復号後の画像フレームは差分画像フレームとなる。また、イントラ復号化以外の場合には、差分画像ではない復号画像フレームとなる。復号後の画像フレームは、フレームバッファ部１７２４に通知される。

画像出力部１７２７は、フレームバッファ部１７２５から復号後の画像フレームを取得する手段と、取得した復号後の画像フレームを出力する手段とを備える。以上のような各手段を備えた各部により本発明のスケーラブル復号化装置を構成することができる。

次に、図２２及び図２３のフローチャートを用いて、図１９に示した本実施の形態のスケーラブル復号化装置の動作について説明する。図２２は、主に図１９のベースレイヤ側の処理過程を示すためのフローチャートである。また図２３は、主にエンハンスレイヤ側の処理過程を示すためのフローチャートである。

図１９において、まず、符号化入力部１７０２は、図１８に示したスケーラブル符号化装置によって生成された符号化ビットストリーム１７０１（図１８の１６３０に相当）を取得し（図２２のステップＳ５０１）、その取得した符号化ビットストリーム１７０１をＤＥＭＵＸ部１７０３に通知する。

ＤＥＭＵＸ部１７０３は、符号化入力部１７０２から取得した符号化ビットストリーム１７０１に対して多重化分離（ＤＥＭＵＸ）を行う（図２２のステップＳ５０２）。このＤＥＭＵＸ処理により、符号化ビットストリーム１７０１は、ベースレイヤ側の符号化出力情報とエンハンスレイヤ側の符号化出力情報とに分離され、更に、各レイヤの符号化出力情報が、エントロピー符号化を行った動きベクトル情報とエントロピー符号化を行った量子化後の係数情報とに分離される。

ＤＥＭＵＸ部１７０３は、ベースレイヤ側のエントロピー復号部１７０４と、エンハンスレイヤ側のエントロピー復号部１７２２に対して、それぞれ対応するレイヤの符号化出力情報であるエントロピー符号化を行った動きベクトル情報及びエントロピー符号化を行った量子化後の係数情報を供給する。

エントロピー復号部１７０４は、ベースレイヤ側の復号化処理を行うために、ＤＥＭＵＸ部１７０３から取得した、ベースレイヤ側の符号化出力情報であるエントロピー符号化を行った動きベクトル情報及びエントロピー符号化を行った量子化後の係数情報のうち、エントロピー符号化を行った動きベクトル情報に対して、所定のエントロピー復号化を行うことで、動きベクトル情報を復号化すると共に、取得したエントロピー符号化を行った量子化後の係数情報に対しても所定のエントロピー復号化を行うことで、量子化後の係数情報を復号化する（図２２のステップＳ５０３）。

エントロピー復号部１７０４は、復号化した動きベクトル情報を、ＭＣ部１７０６及びエンハンスレイヤ側のレイヤ間予測部１７２１に供給し、また、復号化した量子化後の係数情報を逆量子化部１７０５に供給する。逆量子化部１７０５は、エントロピー復号部１７０４から取得した量子化後の係数情報に対して、所定の逆量子化を行うことで、逆量子化後の係数情報を生成する（図２２のステップＳ５０４）。この生成された逆量子化後の係数情報は、逆直交変換部１７０６に供給される。

ＭＣ部１７０６は、フレーム内復号化であるイントラ復号化以外のモードである場合に所定のＭＣ処理を行うことが望ましい。ＭＣ部１７０６は、エントロピー復号部１７０４から取得した動きベクトル情報に基づいて、フレームバッファ部１７０７から取得した参照フレームに対してＭＣを行い、ＭＣ画像フレームを生成する（図２２のステップＳ５０５）。この生成されたＭＣ画像フレームは、フレームバッファ部１７０７に供給される。

逆直交変換部１７０８は、逆量子化部１７０５から所得した逆量子化後の係数情報に対して逆直交変換を行うことで、復号後の画像フレームを生成する（図２２のステップＳ５０６）。この生成された復号後の画像フレームは、フレームバッファ部１７０７に供給される。ここで、イントラ復号化である場合には、上記の生成された画像フレームは差分画像フレームとなる。また、イントラ復号以外の場合には、差分画像ではない復号画像フレームとなる。

画像出力部１７０９は、フレームバッファ部１７０７から取得した復号後の画像フレームを第１のベースレイヤ画像フレーム１７１０として出力する（図２２のステップＳ５０７）。この第１のベースレイヤ画像フレーム１７１０は、例えば、図９（Ａ）に示したオリジナル領域８１と歪み領域８２、８３の各画像情報からなる、ＳＤ解像度のアスペクト比４：３の復号画像フレームである。

歪み領域特定部１７１１は、フレームバッファ部１７０７から復号後の画像フレームを取得し、取得した復号後の画像フレーム内の歪み領域を再度特定する（図２２のステップＳ５０８）。歪み領域の特定は、エンハンスレイヤ側の復号画像フレーム全体の領域情報、クロッピング領域情報、オリジナル領域情報、復号時のクロッピング領域の拡大率を考慮することで復号画像フレーム内のオリジナル領域を特定し、このオリジナル領域外の領域を歪み領域とすることが望ましい。歪み領域特定部１７１１で特定した歪み領域情報は、歪み領域拡大部１７１４に供給される。

画像出力部１７１２は、歪み領域特定部１７１１から復号後の画像フレームを取得し、取得した復号後の画像フレームを第２のベースレイヤ画像フレーム１７１３として出力する（図２２のステップＳ５０９）。この画像出力部１７１２は、表示方法に応じた画像成型を行うとよい。ここでは、特定した歪み領域を除外して表示することが望ましい。その際、歪み領域に対して例えば画素値として０を埋めることで縦の帯状に無効領域を生成し、表示することでより多様な表示を行うことができる。例えば、上記の第２のベースレイヤ画像フレーム１７１３は、図９（Ａ）に示したオリジナル領域８１の画像情報のみからなる、ＳＤ解像度のアスペクト比４：３の復号画像フレームである。従って、この第２のベースレイヤ画像フレーム１７１３には、歪み領域８２、８３の画像情報は表示されない。

なお、画像出力部１７１２は、オリジナル領域を縦方向、横方向にそれぞれ拡大し、画像表示装置の領域に合わせて表示してもよい。また、オリジナル領域の上下の領域を除いて画像表示装置の縦横比に合わせるために、オリジナル領域に対して再度クロッピング処理を行い、その後画像表示装置の表示領域に合わせるために拡大して表示しても構わない。

歪み領域拡大部１７１４は、歪み領域特定部１７１１から歪み領域情報を取得し、歪み領域に対してフィルタリング及び拡大処理を特定した後に、歪み領域に対して特定したフィルタリング及び拡大処理を行う（図２２のステップＳ５１０）。これにより、歪み領域に含まれる画像が元の歪みのない画像に復元される。歪み領域拡大部１７１４は、この歪み領域を復元した画像フレームを画像拡大部１７１７に供給する。

画像出力部１７１５は、歪み領域拡大部１７１４から歪み領域を復元した画像フレームを取得する。取得した歪み領域を復元した画像フレームを第３のベースレイヤ画像フレーム１７１６として出力する（図２２のステップＳ５１１）。この画像出力部１７１５は、表示方法に応じた画像生成を行うとよい。ここでは、歪み領域を復元した画像フレーム内から画像表示装置の表示領域の分だけクロッピング処理を行った後に表示することが望ましい。上記の第３のベースレイヤ画像フレーム１７１６は、例えば、図９（Ｃ）に示した、オリジナル領域８１と歪み領域拡大領域８６及び８７の各半分の領域とからなる、すなわち、点線で囲まれたクロッピング領域内の各画像情報からなる、ＳＤ解像度のアスペクト比４：３の復号画像フレームである。

画像拡大部１７１７は、歪み領域拡大部１７１４から取得した歪み領域を復元した画像フレームを取得し、元のＨＤ解像度の大きさに拡大処理を行い（図２２のステップＳ５１２）、拡大後の画像フレームをベースレイヤからの復号画像フレームとしてクロッピング領域特定部１７２０に通知する。

画像出力部１７１８は、画像拡大部１７１７からベースレイヤからの復号画像フレームを取得し、取得した復号画像フレームを第４のベースレイヤ画像フレーム１７１９として出力する（図２２のステップＳ５１３）。この画像出力部１７１８は、表示方法に応じた画像成型を行うとよい。ここでは、歪み領域を復元した画像フレーム内から画像表示装置の表示領域の分だけクロッピング処理を行った後に表示することが望ましい。上記の第４のベースレイヤ画像フレーム１７１９は、例えば、図９（Ｄ）に示した、オリジナル領域８９と歪み領域拡大領域９２及び９３の各半分の領域とからなる、すなわち、点線で囲まれたクロッピング領域内の各画像情報からなる、ＨＤ解像度のアスペクト比４：３の復号画像フレームである。

クロッピング領域特定部１７２０は、画像拡大部１７１７から取得したベースレイヤからの復号画像フレームが、エンハンスレイヤ側のＨＤ解像度をもつ復号画像フレームのどの位置に対応するかを特定し（図２２のステップＳ５１４）、この特定した位置関係情報及びベースレイヤからの復号画像フレームをレイヤ間予測部１７２１に通知する。位置関係情報には、クロッピング領域の位置情報からオリジナル領域の位置関係情報を含むようにすることで、レイヤ間予測復号を行うような構成が望ましい。以上のような各部の処理を行うことで、ベースレイヤ側における１フレーム分の復号化処理が完了する。

次に、エンハンスレイヤ側の復号化処理に移る。エンハンスレイヤ側では、ベースレイヤ側の処理と同様に符号化入力部１７０２が符号化ビットストリーム１７０１を取得し（図２３のステップＳ６０１）、取得した符号化ビットストリーム１７０１をＤＥＭＵＸ部１７０３に通知する。その後、ＤＥＭＵＸ部１７０３は、取得した符号化ビットストリーム１７０１に対して多重化分離（ＤＥＭＵＸ）を行う（図２３のステップＳ６０２）。

ＤＥＭＵＸ処理により、符号化ビットストリーム１７０１がベースレイヤ側の符号化出力情報とエンハンスレイヤ側の符号化出力情報に分離され、更に各レイヤの符号化出力情報は、エントロピー符号化を行った動きベクトル情報及びエントロピー符号化を行った量子化後の係数情報に分離される。

エントロピー復号部１７２２は、エンハンスレイヤ側の復号化処理を行うために、ＤＥＭＵＸ部１７０３から取得した、エンハンスレイヤ側の符号出力情報であるエントロピー符号化を行った動きベクトル情報と、エントロピー符号化を行った量子化後の係数情報とのうち、取得したエントロピー符号化を行った動きベクトル情報に対して、所定のエントロピー復号化を行うことで、動きベクトル情報を復号化し、取得したエントロピー符号化を行った量子化後の係数情報に対しても所定のエントロピー復号化を行うことで、量子化後の係数情報を復号化する（図２３のステップＳ６０３）。エントロピー復号部１７２２は、復号化した動きベクトル情報をレイヤ間予測部１７２１に供給する一方、復号化した量子化後の係数情報を逆量子化部１７２３に供給する。

逆量子化部１７２３は、エントロピー復号部１７２２から取得した量子化後の係数情報に対して所定の逆量子化を行うことで、逆量子化後の係数情報を生成する（図２３のステップＳ６０４）。この生成された逆量子化後の係数情報は、逆直交変換部１７２６に供給される。

レイヤ間予測部１７２１は、ベースレイヤ側のエントロピー復号部１７０４から動きベクトル情報を取得し、クロッピング領域特定部１７２０からベースレイヤ側の復号画像フレーム及びエンハンスレイヤ側の復号画像フレームとの間の位置関係情報を取得し、エンハンスレイヤ側のエントロピー復号部１７２２から動きベクトル情報を取得し、取得した動きベクトル情報に対してレイヤ間の予測復号化を行い（図２３のステップＳ６０５）、エンハンスレイヤ側の復号化で必要な予測復号後の動きベクトル情報を生成する。この予測復号後の動きベクトル情報は、ＭＣ部１７２４に供給される。

ＭＣ部１７２４は、フレーム内復号化であるイントラ復号化以外のモードである場合に所定のＭＣ処理を行うことが望ましい。ＭＣ部１７２４は、レイヤ間予測部１７２１から取得した予測復号後の動きベクトル情報に基づいて、フレームバッファ部１７２５から取得した参照フレームに対してＭＣを行い（図２３のステップＳ６０６）、ＭＣ画像フレームを生成する。生成されたＭＣ画像フレームは、フレームバッファ部１７２５に供給される。

逆直交変換部１７２６は、逆量子化部１７２３から取得した逆量子化後の係数情報に対して逆直交変換を行う（図２３のステップＳ６０７）。これにより、復号後の画像フレームが生成される。ここで、生成される復号後の画像フレームは、イントラ復号化である場合には、差分画像フレームとなり、また、イントラ復号化以外の場合には、差分画像ではない復号画像フレームとなる。生成された復号後の画像フレームは、フレームバッファ部１７２４に供給される。

画像出力部１７２７は、フレームバッファ部１７２５から復号後の画像フレームを取得し、その取得した復号後の画像フレームをエンハンスレイヤ画像フレーム１７２８として出力する（図２３のステップＳ６０８）。このエンハンスレイヤ画像フレーム１７２８は、ＨＤ解像度のアスペクト比１６：９の画像フレームである。以上のような各部の処理を行うことで、エンハンスレイヤ側における１フレーム分の復号化及び、一連の復号化出力処理が完了する。本実施の形態の空間スケーラブル復号化装置によれば、前述した発明の効果に記載した（４）〜（８）等の効果を奏する。

次に、本発明になる空間スケーラブル符号化プログラムについて説明する。図２４は本発明の空間スケーラブル符号化プログラムを実行する情報処理装置の一例のブロック図を示す。図２４において、情報処理装置２９００は、入力装置２９０１、出力装置２９０２、中央処理制御装置２９０３、外部記憶装置２９０４、一時記憶装置２９０５、通信装置２９０６から構成されており、コンピュータである中央処理制御装置２９０３により空間スケーラブル符号化装置の機能を空間スケーラブル符号化プログラムにより実現させるものである。

ここで、上記のプログラムは、記録媒体から読み取られて中央処理制御装置２９０３に取り込まれてもよいし、ネットワークを介して通信装置２９０６により受信されて中央処理制御装置２９０３に取り込まれてもよい。

中央処理制御装置２９０３は、上記のプログラムにより、画像入力部１６０２に相当する画像入力管理手段２９３２、ＭＵＸ部１６２８に相当するＭＵＸ手段２９３３、符号化出力部１６２９に相当する符号化出力管理手段２９３４をソフトウェア処理にて実現する。また、中央処理制御装置２９０３は、上記のプログラムにより、ベースレイヤ用の符号化処理とエンハンスレイヤ用の符号化処理をソフトウェア処理にて実現する。

すなわち、中央処理制御装置２９０３は、上記のプログラムにより、ベースレイヤ用の符号化処理として、クロッピング領域特定部１６０３に相当するクロッピング領域特定手段２９０７、歪み領域特定部１６０４に相当する歪み領域特定手段２９０８、歪み領域縮小部１６０５に相当する歪み領域縮小手段２９０９、クロッピング領域縮小部１６０６に相当するクロッピング領域縮小手段２９１０、ＭＥ部１６０７に相当するＭＥ手段２９１１、ＭＣ部１６０８に相当するＭＣ手段２９１２、フレームバッファ部１６０９に相当するフレームバッファ管理手段２９１３、直交変換部１６１０に相当する直交変換手段２９１４、量子化部１６１１に相当する量子化手段２９１５、エントロピー符号化部１６１２に相当するエントロピー符号化手段２９１６、逆量子化部１６１３に相当する逆量子化手段２９１７、逆直交変換部１６１４に相当する逆直交変換手段２９１８、歪み領域特定部１６１５に相当する歪み領域特定手段２９１９、歪み領域拡大部１６１６に相当する歪み領域拡大手段２９２０、画像拡大部１６１７に相当する画像拡大手段２９２１、クロッピング領域特定部１６１８に相当するクロッピング領域特定手段２９２２をソフトウェア処理により実現する。

また、中央処理制御装置２９０３は、上記のプログラムにより、エンハンスレイヤ用の符号化処理として、ＭＥ部１６１９に相当するＭＥ手段２９２３、レイヤ間予測部１６２０に相当するレイヤ間予測手段２９２４、ＭＣ部１６２１に相当するＭＣ手段２９２５、フレームバッファ部１６２２に相当するフレームバッファ管理手段２９２６、直交変換部１６２３に相当する直交変換手段２９２７、量子化部１６２４に相当する量子化手段２９２８、エントロピー符号化部１６２５に相当するエントロピー符号化手段２９２９、逆量子化部１６２６に相当する逆量子化手段２９３０、逆直交変換部１６２７に相当する逆直交変換手段２９３１をソフトウェア処理にて実現する。

次に、本発明になる空間スケーラブル復号化プログラムについて説明する。図２５は本発明の空間スケーラブル復号化プログラムを実行する情報処理装置の一例のブロック図を示す。図２５において、情報処理装置３０００は、入力装置３００１、出力装置３００２、中央処理制御装置３００３、外部記憶装置３００４、一時記憶装置３００５、通信装置３００６から構成されており、コンピュータである中央処理制御装置３００３により空間スケーラブル符号化装置の機能を空間スケーラブル復号化プログラムにより実現させるものである。

ここで、上記のプログラムは、記録媒体から読み取られて中央処理制御装置３００３に取り込まれてもよいし、ネットワークを介して通信装置３００６により受信されて中央処理制御装置３００３に取り込まれてもよい。

中央処理制御装置３００３は、上記のプログラムにより、符号化入力部１７０２に相当する符号化入力管理手段３０２２、ＤＥＭＵＸ部１７０３に相当するＤＥＭＵＸ手段３０２３、画像出力部１７０９、１７１２、１７１５、１７１８、１７２７に相当する画像出力管理手段３０２４をソフトウェア処理にて実現する。また、中央処理制御装置３００３は、上記のプログラムにより、ベースレイヤ用の復号化処理とエンハンスレイヤ用の復号化処理をソフトウェア処理にて実現する。

すなわち、中央処理制御装置３００３は、上記のプログラムにより、ベースレイヤ用の復号化処理として、エントロピー復号部１７０４に相当するエントロピー符号化手段３００７、逆量子化部１７０５に相当するエントロピー復号化手段３００７、逆量子化部１７０５に相当する逆量子化手段３００８、ＭＣ部１７０６に相当するＭＣ手段３００９、フレームバッファ部１７０７に相当するフレームバッファ管理手段３０１０、逆直交変換部１７０８に相当する逆直交変換手段３０１１、歪み領域特定部１７１１に相当する歪み領域特定手段３０１２、歪み領域拡大部１７１４に相当する歪み領域拡大手段３０１３、画像拡大部１７１７に相当する画像拡大手段３０１４、クロッピング領域特定部１７２０に相当するクロッピング特定手段３０１５をソフトウェア処理にて実現する。

また、中央処理制御装置３００３は、上記のプログラムにより、エンハンスレイヤ用の復号化処理として、レイヤ間予測部１７２１に相当するレイヤ間予測手段３０１６、エントロピー復号部１７２２に相当するエントロピー復号化手段３０１７、逆量子化部１７２３に相当する逆量子化手段３０１８、ＭＣ部１７２４に相当するＭＣ手段３０１９、フレームバッファ部１７２５に相当するフレームバッファ管理手段３０２０、逆直交変換部１７２６に相当する逆直交変換手段３０２１をソフトウェア処理にて実現する。

本発明により空間解像度変換を行う画像領域の一例の説明図である。 本発明による空間解像度変換の処理過程の一例を示すための概念図である。 本発明による解像度変換処理の一例の説明用フローチャートである。 本発明の歪み領域の形状の種類及び形状を表現するために必要な座標数を示すための図である。 本発明における歪み領域を作成するための縮小方法の一例を説明する概念図である。 本発明の解像度変換の上側、下側、左側、右側の領域に対する解像度変換処理の様子を示すための概念図である。 本発明の解像度変換の左上側、右上側、左下側、右下側の領域に対する解像度変換処理の様子を示すための概念図である。 本発明の解像度変換において、左上側、右上側、左下側、右下側の領域を除いた上側、下側、左側、右側の領域に対する解像度変換処理の様子を示すための概念図である。 本発明の解像度変換処理を用いた空間スケーラブル符号化の処理過程を示すための概念図（その１）である。 本発明の解像度変換処理を用いた空間スケーラブル符号化の処理過程を示すための概念図（その２）である。 本発明による解像度変換処理の他の例の説明用フローチャートである。 本発明の解像度変換処理を行う際の歪み領域の形状を回転を許容する長方形とした場合の様子を示すための概念図である。 本発明の解像度変換処理を行う際の歪み領域の形状を円形とした場合の様子を示すための概念図である。 本発明の解像度変換処理を行う際の歪み領域の形状を回転を許容するひし形とした場合の様子を示すための概念図である。 本発明の解像度変換処理を行う際の歪み領域の形状を回転を許容する楕円形とした場合の様子を示すための概念図である。 本発明の解像度変換処理を行う際の歪み領域の形状を回転を許容する多角形とした場合の様子を示すための概念図である。 本発明の解像度変換処理を行う際の歪み領域の形状を任意形状とした場合の様子を示すための概念図である。 本発明の空間スケーラブル符号化装置の一実施の形態のブロック図である。 本発明の空間スケーラブル復号化装置の一実施の形態のブロック図である。 図１８のスケーラブル符号化装置のベースレイヤを符号化する際の処理の流れを示すためのフローチャートである。 図１８のスケーラブル符号化装置のエンハンスレイヤを符号化する際の処理の流れを示すためのフローチャートである。 図１９のスケーラブル復号化装置のベースレイヤを復号化する際の処理の流れを示すためのフローチャートである。 図１９のスケーラブル復号化装置のエンハンスレイヤを復号化する際の処理の流れを示すためのフローチャートである。 本発明の空間スケーラブル符号化プログラムを実行する情報処理装置の一例を示すためのブロック図である。 本発明の空間スケーラブル復号化プログラムを実行する情報処理装置の一例を示すためのブロック図である。 従来のスケーラブル符号化で行われる解像度変換の様子を示すための概念図である。 従来のクロッピング処理及びレターボックス処理の様子を示すための概念図である。 従来のクロッピング処埋を用いた空間スケーラブル符号化の処理過程を示すための概念図（その１）である。 従来のクロッピング処理を用いた空間スケーラブル符号化の処理過程を示すための概念図（その２）である。 従来のレターボックス処理を用いた空間スケーラブル符号化の処理過程を示すための概念図である。 従来のスクイーズ処理の様子を示すための概念図である。 従来のスクイーズ処埋を用いた空間スケーラブル符号化の処理過程を示すための概念図である。

符号の説明

１１、２１ エンハンス領域
１２、２２、９７ クロッピング領域
１３、２３、２８、８１、８９、７０１、７０６ オリジナル領域
２６、２７、３１、３２、８２、８３、９０、９１、７０２ 歪み領域
１６０２ 画像入力部
１６０３、１６１８、１７２０ クロッピング領域特定部
１６０４、１６１５、１７１１ 歪み領域特定部
１６０５ 歪み領域縮小部
１６０６ クロッピング領域縮小部
１６０７、１６１９ ＭＥ部
１６０８、１６２１、１７０６、１７２４ ＭＣ部
１６０９、１６２２、１７０７、１７２５ フレームバッファ部
１６１０、１６２３ 直交変換部
１６１１、１６２４ 量子化部
１６１２、１６２５ エントロピー符号化部
１６１３、１６２６、１７０５、１７２３ 逆量子化部
１６１４、１６２７、１７０８、１７２６ 逆直交変換部
１６１６、１７１４ 歪み領域拡大部
１６１７、１７１７ 画像拡大部
１６２０、１７２１ レイヤ間予測部
１６２８ ＭＵＸ部
１６２９ 符号化出力部
１７０２ 符号化入力部
１７０３ ＤＥＭＵＸ部
１７０４、１７２２ エントロピー復号部
１７０９、１７１２、１７１５、１７１８、１７２７ 画像出力部
２９０３、３００３ 中央処理制御装置

Claims (6)

1. 高精細な第１の空間解像度を持つ映像から、前記第１の空間解像度より低い第２の空間解像度をもつ映像まで対応するために、当該映像を構成している画像フレームの空間解像度を変換する空間解像度変換を利用した空間スケーラブル符号化方法であって、
   前記第１の空間解像度を有する映像信号の画像フレームである第１の画像フレームから、該第１の画像フレームとは縦横比の異なる前記第２の空間解像度を有する映像信号の画像フレームである第２の画像フレームを、空間解像度変換を利用して生成するに際し、前記第１の画像フレーム内で、前記第２の画像フレームとするための画像領域であるクロッピング領域を特定する第１のステップと、
   前記クロッピング領域内で画像形状を歪ませずに空間解像度変換を行う領域である第１のオリジナル領域を特定すると共に、前記第１の画像フレームにおける前記第１のオリジナル領域を特定するための情報である第１の領域情報を生成する第２のステップと、
   前記クロッピング領域内における前記第１のオリジナル領域外の領域を、画像形状を歪ませて空間解像度変換を行う領域である第１の歪み領域に特定する第３のステップと、
   前記第２の画像フレームのサイズと前記第１の画像フレームのサイズとの比に応じて、前記第１のオリジナル領域を第１の縮小方法にて画像形状を歪ませずに縮小して第２のオリジナル領域とすると共に、前記第１の画像フレームにおける前記第１のオリジナル領域外の領域を、前記第１の歪み領域を前記第１の縮小方法にて縮小した領域と一致する領域となるように、第２の縮小方法にて画像形状を歪ませて縮小して第２の歪み領域とし、前記第２の画像フレームにおける前記第２のオリジナル領域を特定するための情報である第２の領域情報を生成して、前記第２のオリジナル領域と前記第２の歪み領域とにより、前記第２の空間解像度を有する第２の画像フレームを生成する第４のステップと、
   前記第４のステップで生成された前記第２の画像フレームに対して符号化処理を行って第１の符号化信号を生成して出力する第５のステップと、
   前記第１の符号化信号を復号化して前記第２の画像フレームの第１の復号信号を得る第６のステップと、
   前記第１の復号信号中の前記第２の歪み領域の画像を元の縦横比の画像とし、かつ、前記第１の復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより、縦横比が前記第１の画像フレームの縦横比と等しく、かつ、空間解像度が前記第１の空間解像度と同等の第２の復号信号を得る第７のステップと、
   前記第１の画像フレームと前記第２の復号信号との間でレイヤ間予測処理を行う第８のステップと、
   前記第８のステップによるレイヤ間予測処理結果に基づいて、前記第１の画像フレームに対して符号化処理を行って第２の符号化信号を生成して出力する第９のステップと
   を含むことを特徴とする空間スケーラブル符号化方法。
2. 高精細な第１の空間解像度を持つ映像から、前記第１の空間解像度より低い第２の空間解像度をもつ映像まで対応するために、当該映像を構成している画像フレームの空間解像度を変換する空間解像度変換を利用した空間スケーラブル符号化装置であって、
   前記第１の空間解像度を有する映像信号の画像フレームである第１の画像フレームから、該第１の画像フレームとは縦横比の異なる前記第２の空間解像度を有する映像信号の画像フレームである第２の画像フレームを、空間解像度変換を利用して生成するに際し、前記第１の画像フレーム内で、前記第２の画像フレームとするための画像領域であるクロッピング領域を特定するクロッピング領域特定手段と、
   前記クロッピング領域内で画像形状を歪ませずに空間解像度変換を行う領域である第１のオリジナル領域を特定すると共に、前記第１の画像フレームにおける前記第１のオリジナル領域を特定するための情報である第１の領域情報を生成する領域特定・領域情報生成手段と、
   前記クロッピング領域内における前記第１のオリジナル領域外の領域を、画像形状を歪ませて空間解像度変換を行う領域である第１の歪み領域に特定する第１の歪み領域特定手段と、
   前記第２の画像フレームのサイズと前記第１の画像フレームのサイズとの比に応じて、前記第１のオリジナル領域を第１の縮小方法にて画像形状を歪ませずに縮小して第２のオリジナル領域とすると共に、前記第１の画像フレームにおける前記第１のオリジナル領域外の領域を、前記第１の歪み領域を前記第１の縮小方法にて縮小した領域と一致する領域となるように、第２の縮小方法にて画像形状を歪ませて縮小して第２の歪み領域とし、前記第２の画像フレームにおける前記第２のオリジナル領域を特定するための情報である第２の領域情報を生成して、前記第２のオリジナル領域と前記第２の歪み領域とにより、前記第２の空間解像度を有する第２の画像フレームを生成する第２の画像フレーム生成手段と、
   前記第２の画像フレーム生成手段で生成された前記第２の画像フレームに対して符号化処理を行って第１の符号化信号を生成して出力する第１の符号化手段と、
   前記第１の符号化信号を復号化して前記第２の画像フレームの第１の復号信号を得る第１の復号化手段と、
   前記第１の復号信号中の前記第２の歪み領域の画像を元の縦横比の画像とし、かつ、前記第１の復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより、縦横比が前記第１の画像フレームの縦横比と等しく、かつ、空間解像度が前記第１の空間解像度と同等の第２の復号信号を得る第２の復号化手段と、
   前記第１の画像フレームと前記第２の復号信号との間でレイヤ間予測処理を行う予測処理手段と、
   前記レイヤ間予測処理結果に基づいて、前記第１の画像フレームに対して符号化処理を行って第２の符号化信号を生成して出力する第２の符号化手段と
   を有することを特徴とする空間スケーラブル符号化装置。
3. 高精細な第１の空間解像度を持つ映像から、前記第１の空間解像度より低い第２の空間解像度をもつ映像まで対応するために、当該映像を構成している画像フレームの空間解像度を変換する空間解像度変換を利用した空間スケーラブル符号化を、コンピュータにより実行させる空間スケーラブル符号化プログラムであって、
   前記コンピュータに、
   前記第１の空間解像度を有する映像信号の画像フレームである第１の画像フレームから、該第１の画像フレームとは縦横比の異なる前記第２の空間解像度を有する映像信号の画像フレームである第２の画像フレームを、空間解像度変換を利用して生成するに際し、前記第１の画像フレーム内で、前記第２の画像フレームとするための画像領域であるクロッピング領域を特定する第１のステップと、
   前記クロッピング領域内で画像形状を歪ませずに空間解像度変換を行う領域である第１のオリジナル領域を特定すると共に、前記第１の画像フレームにおける前記第１のオリジナル領域を特定するための情報である第１の領域情報を生成する第２のステップと、
   前記クロッピング領域内における前記第１のオリジナル領域外の領域を、画像形状を歪ませて空間解像度変換を行う領域である第１の歪み領域に特定する第３のステップと、
   前記第２の画像フレームのサイズと前記第１の画像フレームのサイズとの比に応じて、前記第１のオリジナル領域を第１の縮小方法にて画像形状を歪ませずに縮小して第２のオリジナル領域とすると共に、前記第１の画像フレームにおける前記第１のオリジナル領域外の領域を、前記第１の歪み領域を前記第１の縮小方法にて縮小した領域と一致する領域となるように、第２の縮小方法にて画像形状を歪ませて縮小して第２の歪み領域とし、前記第２の画像フレームにおける前記第２のオリジナル領域を特定するための情報である第２の領域情報を生成して、前記第２のオリジナル領域と前記第２の歪み領域とにより、前記第２の空間解像度を有する第２の画像フレームを生成する第４のステップと、
   前記第４のステップで生成された前記第２の画像フレームに対して符号化処理を行って第１の符号化信号を生成して出力する第５のステップと、
   前記第１の符号化信号を復号化して前記第２の画像フレームの第１の復号信号を得る第６のステップと、
   前記第１の復号信号中の前記第２の歪み領域の画像を元の縦横比の画像とし、かつ、前記第１の復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより、縦横比が前記第１の画像フレームの縦横比と等しく、かつ、空間解像度が前記第１の空間解像度と同等の第２の復号信号を得る第７のステップと、
   前記第１の画像フレームと前記第２の復号信号との間でレイヤ間予測処理を行う第８のステップと、
   前記第８のステップによるレイヤ間予測処理結果に基づいて、前記第１の画像フレームに対して符号化処理を行って第２の符号化信号を生成して出力する第９のステップと
   を順次実行させることを特徴とする空間スケーラブル符号化プログラム。
4. 第１の空間解像度を有する映像信号の第１の画像フレームから変換された、前記第１の空間解像度よりも低い第２の空間解像度を有する第２の画像フレームの映像信号を、当該映像信号を構成している画像フレーム単位で、再度、前記第１の空間解像度を有する映像信号に変換する空間解像度変換を利用した空間スケーラブル符号化方法により符号化されて出力された、第１及び第２の符号化信号を復号化する空間スケーラブル復号化方法であって、
   復号化対象の前記第１の符号化信号は、
   前記第１の画像フレーム内で前記第２の画像フレームとするための画像領域である第１のクロッピング領域内において空間解像度変換を行う第１のオリジナル領域を、前記第２の画像フレームのサイズと前記第１の画像フレームのサイズとの比に応じて、第１の縮小方法にて画像形状を歪ませずに縮小して得られた第２のオリジナル領域と、前記第１の画像フレームにおける前記第１のオリジナル領域外の領域を、前記第１の歪み領域を前記第１の縮小方法にて縮小した領域と一致する領域となるように、第２の縮小方法にて画像形状を歪ませて縮小して得られた第２の歪み領域とよりなる前記第２の画像フレームに対して符号化処理して得られた符号化信号であり、
   復号化対象の前記第２の符号化信号は、
   前記第１の符号化信号を復号して得た前記第２の画像フレームの第１の復号信号中の前記第２の歪み領域の画像を元の縦横比の画像とし、かつ、前記第１の復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより得られた、縦横比が前記第１の画像フレームの縦横比と等しく、かつ、空間解像度が前記第１の空間解像度と同等の第２の復号信号と、前記第１の画像フレームとの間で行ったレイヤ間予測処理結果に基づいて、前記第１の画像フレームに対して符号化処理して得られた符号化信号であり、
   前記第１の符号化信号に対して復号化処理を行って前記第２のオリジナル領域と前記第２の歪み領域とからなる前記第２の画像フレームの第３の復号信号を得る第１のステップと、
   前記第１のステップにより得られた前記第３の復号信号中の前記第２の歪み領域の画像を、前記第１の画像フレームの元の縦横比の画像とし、かつ、該復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより、縦横比が前記第１の画像フレームの縦横比と等しく、かつ、空間解像度が前記第１の空間解像度と同等で、前記クロッピング領域の第４の復号信号を生成する第２のステップと、
   前記第２の符号化信号に対して復号化処理を行って前記第１の空間解像度の第５の復号信号を出力する第３のステップと、
   前記第４の復号信号と前記第５の復号信号との間でレイヤ間予測復号処理を行い、そのレイヤ間予測復号処理結果に基づいて復号化処理を行って前記第１の画像フレームの復号信号を生成して出力する第４のステップと
   を含むことを特徴とする空間スケーラブル復号化方法。
5. 第１の空間解像度を有する映像信号の第１の画像フレームから変換された、前記第１の空間解像度よりも低い第２の空間解像度を有する第２の画像フレームの映像信号を、当該映像信号を構成している画像フレーム単位で、再度、前記第１の空間解像度を有する映像信号に変換する空間解像度変換を利用した空間スケーラブル符号化方法により符号化されて出力された、第１及び第２の符号化信号を復号化する空間スケーラブル復号化装置であって、
   復号化対象の前記第１の符号化信号は、
   前記第１の画像フレーム内で前記第２の画像フレームとするための画像領域である第１のクロッピング領域内において空間解像度変換を行う第１のオリジナル領域を、前記第２の画像フレームのサイズと前記第１の画像フレームのサイズとの比に応じて、第１の縮小方法にて画像形状を歪ませずに縮小して得られた第２のオリジナル領域と、前記第１の画像フレームにおける前記第１のオリジナル領域外の領域を、前記第１の歪み領域を前記第１の縮小方法にて縮小した領域と一致する領域となるように、第２の縮小方法にて画像形状を歪ませて縮小して得られた第２の歪み領域とよりなる前記第２の画像フレームに対して符号化処理して得られた符号化信号であり、
   復号化対象の前記第２の符号化信号は、
   前記第１の符号化信号を復号して得た前記第２の画像フレームの第１の復号信号中の前記第２の歪み領域の画像を元の縦横比の画像とし、かつ、前記第１の復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより得られた、縦横比が前記第１の画像フレームの縦横比と等しく、かつ、空間解像度が前記第１の空間解像度と同等の第２の復号信号と、前記第１の画像フレームとの間で行ったレイヤ間予測処理結果に基づいて、前記第１の画像フレームに対して符号化処理して得られた符号化信号であり、
   前記第１の符号化信号に対して復号化処理を行って前記第２のオリジナル領域と前記第２の歪み領域とからなる前記第２の画像フレームの第３の復号信号を得る第１の復号手段と、
   前記第１の復号手段により得られた前記第３の復号信号中の前記第２の歪み領域の画像を、前記第１の画像フレームの元の縦横比の画像とし、かつ、該復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより、縦横比が前記第１の画像フレームの縦横比と等しく、かつ、空間解像度が前記第１の空間解像度と同等で、前記クロッピング領域の第４の復号信号を生成する第２の復号手段と、
   前記第２の符号化信号に対して復号化処理を行って前記第１の空間解像度の第５の復号信号を出力する第３の復号手段と、
   前記第４の復号信号と前記第５の復号信号との間でレイヤ間予測復号処理を行い、そのレイヤ間予測復号処理結果に基づいて復号化処理を行って前記第１の画像フレームの復号信号を生成して出力する第４の復号手段と
   を有することを特徴とする空間スケーラブル復号化装置。
6. 第１の空間解像度を有する映像信号の第１の画像フレームから変換された、前記第１の空間解像度よりも低い第２の空間解像度を有する第２の画像フレームの映像信号を、当該映像信号を構成している画像フレーム単位で、再度、前記第１の空間解像度を有する映像信号に変換する空間解像度変換を利用した空間スケーラブル符号化方法により符号化されて出力された、第１及び第２の符号化信号を復号化する空間スケーラブル復号化を、コンピュータにより実行させる空間スケーラブル復号化プログラムであって、
   復号化対象の前記第１の符号化信号は、
   前記第１の画像フレーム内で前記第２の画像フレームとするための画像領域である第１のクロッピング領域内において空間解像度変換を行う第１のオリジナル領域を、前記第２の画像フレームのサイズと前記第１の画像フレームのサイズとの比に応じて、第１の縮小方法にて画像形状を歪ませずに縮小して得られた第２のオリジナル領域と、前記第１の画像フレームにおける前記第１のオリジナル領域外の領域を、前記第１の歪み領域を前記第１の縮小方法にて縮小した領域と一致する領域となるように、第２の縮小方法にて画像形状を歪ませて縮小して得られた第２の歪み領域とよりなる前記第２の画像フレームに対して符号化処理して得られた符号化信号であり、
   復号化対象の前記第２の符号化信号は、
   前記第１の符号化信号を復号して得た前記第２の画像フレームの第１の復号信号中の前記第２の歪み領域の画像を元の縦横比の画像とし、かつ、前記第１の復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより得られた、縦横比が前記第１の画像フレームの縦横比と等しく、かつ、空間解像度が前記第１の空間解像度と同等の第２の復号信号と、前記第１の画像フレームとの間で行ったレイヤ間予測処理結果に基づいて、前記第１の画像フレームに対して符号化処理して得られた符号化信号であり、
   前記コンピュータに、
   前記第１の符号化信号に対して復号化処理を行って前記第２のオリジナル領域と前記第２の歪み領域とからなる前記第２の画像フレームの第３の復号信号を得る第１のステップと、
   前記第１のステップにより得られた前記第３の復号信号中の前記第２の歪み領域の画像を、前記第１の画像フレームの元の縦横比の画像とし、かつ、該復号信号に対して所定のフィルタリング処理及び拡大処理を行うことにより、縦横比が前記第１の画像フレームの縦横比と等しく、かつ、空間解像度が前記第１の空間解像度と同等で、前記クロッピング領域の第４の復号信号を生成する第２のステップと、
   前記第２の符号化信号に対して復号化処理を行って前記第１の空間解像度の第５の復号信号を出力する第３のステップと、
   前記第４の復号信号と前記第５の復号信号との間でレイヤ間予測復号処理を行い、そのレイヤ間予測復号処理結果に基づいて復号化処理を行って前記第１の画像フレームの復号信号を生成して出力する第４のステップと
   を順次に実行させることを特徴とする空間スケーラブル復号化プログラム。

Images