JP5381571B2 - 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法 - Google Patents

Description

本発明は、画像信号を符号化する技術と、符号化されている画像信号を復号する技術とに関する。

近年、デジタル化された画像・音声信号を高能率符号化して圧縮されたコンテンツを得て、それを記録媒体に記録する装置や、衛星や地上波等の放送波やネットワークを介して配信するサービスが実用化されている。このようなサービスにおいては、膨大な情報量を持つ画像・音声信号を大量に放送・伝送する為に、大きな圧縮率を実現する高能率符号化が必要となっており、動画像の高能率符号化方式として国際規格であるＭＰＥＧ２（Moving Picture Experts Group phase 2）、ＭＰＥＧ４（Moving Picture Experts Group phase 4）−ＡＳＰ（Advanced Simple Profile）、及び、ＭＰＥＧ４−ＡＶＣ（Advanced Video Coding）等の方式が用いられている。これらの符号化方式においては、隣接画素間（空間方向）の相関及び、隣接するフレーム間やフィールド間（時間方向）の相関に基づいて、画像信号は圧縮される。

これらの高能率符号化により圧縮された情報を様々なコンテンツサービスに用いる場合に、サービスを提供する機器の伝送・記録手段の伝送・記録速度となる符号化レートや、再生機器における復号処理速度で対応可能な画像サイズやフレーム周波数等について様々な制限がある。一つの圧縮情報を全てのサービスに共通に用いる為には、サービスで必要とされる条件に合わせた再符号化処理が必要となる。再符号化は復号処理と再度の符号化処理により構成されており、二重に符号化処理が施される為に符号化劣化が増大しコンテンツの品質が低下すると共に、複数のサービスの要求に同時に応えるために複数の符号化処理を同時に行う必要があり、膨大な量の処理を実行する手段が要求される。

これらの要求に応える為に、符号化対象の画像信号を基本階層情報と複数の拡張階層情報に分割して階層的に符号化を行う、スケーラブル符号化技術が考案されており、国際規格においてもＭＰＥＧ２スケーラブルプロファイル、ＭＰＥＧ４−ＦＧＳ（Fine Granularity Scalable）、ＭＰＥＧ４−ＳＶＣ拡張（Scalable Video Coding）で、それぞれＭＰＥＧ２、ＭＰＥＧ４及びＭＰＥＧ４−ＡＶＣにおけるスケーラブル符号化方式が標準化されている。スケーラブル符号化方式を用いることで、サービスで要求される符号化レートや画像サイズ・フレーム周波数等に合わせて、伝送する階層の符号化情報を制御することが可能となり、再符号化処理を行うことなく、様々なコンテンツサービスにおいて供給できる符号化情報を提供できる。

ＭＰＥＧ４−ＳＶＣ拡張におけるスケーラブル符号化では、空間周波数成分に対する階層的な符号化構造を用いる空間スケーラブル、時間周波数成分（フレーム周波数）に対する階層的な符号化構造を用いる時間スケーラブル、量子化の細かさに対する階層的な符号化構造を用いるＳＮＲスケーラブルという、３つのスケーラブル処理が規定されており、画像情報を分離して符号化処理を行うために、非スケーラブル符号化のＭＰＥＧ４−ＡＶＣで符号化された符号化ストリームと比較すると符号化効率が低下する。

階層符号化における符号化効率の低下を低減するための技術として、基本階層における画像情報と拡張階層における画像情報の相関性を強める処理を行い、それにより符号量を削減する手法が提案されている。特許文献１は、空間スケーラブル構造の階層符号化装置において、低解像度で符号化された階層の復号信号より高解像度で符号化する階層の画像信号の高周波成分を推定して推定信号と画像信号の差分情報を符号化することにより、高解像度で符号化する階層の符号量を低減させる手法を開示している。

特開２００７−１７４６３４号公報

このように従来の画像符号化装置においては、スケーラブル符号化を実現した際に、階層間の相関を高めることで、符号化効率を向上させる試みが成されているが、各階層において最も品質（空間解像度、フレーム周波数、及びＳＮＲ等）が向上する復号画像を得るためには、拡張階層の符号化ストリームまでを全て復号する必要があり、非スケーラブルな符号化ストリームを復号する場合に比較して、符号量が増加する課題は解決できていない。

また、国際標準化等において策定されている符号化方式を上回る符号化効率を、より複雑な処理を用いて実現出来る符号化アルゴリズムを用いた場合に、既存のスケーラブル符号化では異なる符号化アルゴリズムに対する階層構造を構築することが出来ず、復号装置が処理可能な符号化ストリームしか生成できない。

更に、復号装置がバッテリ駆動であった場合の長時間再生を行う場合や、復号装置が画像情報の処理以外の負荷を有する場合に、復号装置の負荷を低減させるために復号処理を拡張階層までの復号から基本階層のみの復号に切り替えた場合に、解像度の低下や符号化品質の劣化を伴う課題がある。

そこで本発明は、高い復号処理機能を有する復号装置でも高い復号処理機能を有さない復号装置でも低負荷で復号が可能な高い圧縮効率を持つ符号化ストリームを圧縮効率が低下しないように生成する画像符号化装置と、それに対応する画像復号化装置とを提供することを目的とする。

上記課題を解決し上記目的を達成するために、本発明の画像符号化装置は、画像信号を取得する取得部と、前記取得部によって取得された前記画像信号に対して、単独で復号可能な基本階層の符号化を行う基本階層符号化部と、前記取得部によって取得された前記画像信号に対して、前記基本階層と合わせて復号することにより復号可能な拡張階層の符号化を行う拡張階層符号化部とを備え、前記基本階層符号化部は、空間方向の相関を用いる第１の画面内予測部と、時間方向の相関を用いる第１の動き補償予測部とを有し、前記拡張階層符号化部は、空間方向の相関を用い、前記第１の画面内予測部よりも複雑度が低い処理を行う第２の画面内予測部と、時間方向の相関を用い、前記第１の動き補償予測部よりも複雑度が低い処理を行う第２の動き補償予測部とを有し、前記第１の画面内予測部は、複数の２次元ブロックサイズにおける画面内予測モードより選択される予測情報を生成し、前記第２の画面内予測部は、前記第１の画面内予測部によって生成される第１の面内予測信号と予測モードを示す情報との少なくとも一方を取得し、単一の２次元ブロックサイズにおける画面内予測情報を生成して、第２の面内予測信号を生成し、前記第２の動き補償予測部は、前記第１の動き補償予測部によって生成される第１の動き補償予測信号と予測モードを示す情報との少なくとも一方を取得し、第２の動き予測信号を生成する。

前記第２の画面内予測部は、前記第１の面内予測信号との相関性の高い予測情報を検出し、前記第２の動き補償予測部は、前記第１の動き補償予測信号との相関性の高い予測信号を検出してもよい。

本発明の画像符号化装置は、画像信号を取得する取得部と、前記取得部によって取得された前記画像信号に対して、単独で復号可能な基本階層の符号化を行う基本階層符号化部と、前記取得部によって取得された前記画像信号に対して、前記基本階層と合わせて復号することにより復号可能な拡張階層の符号化を行う拡張階層符号化部とを有し、前記基本階層符号化部は、空間方向の相関を用いる画面内予測部と、時間方向の相関を用いる動き補償予測部と、前記画面内予測部又は前記動き補償予測部によって生成された予測画像を用いて生成された差分信号に対して、画面内で隣接する画像領域に対する差分信号を用いて差分信号予測画像を生成し、前記予測画像を用いて生成された差分信号より、前記差分信号予測画像を減算する差分信号相関除去部とを含み、前記拡張階層符号化部は、前記差分信号相関除去部によって得られた前記差分信号予測画像を符号化する。

本発明の画像復号化装置は、単独で復号可能な基本階層と、前記基本階層と合わせて復号することにより復号可能な拡張階層とを有する、符号化された階層符号化ストリームを取得する取得部と、前記基本階層の復号処理演算量を測定する演算処理量測定部と、本装置の外部条件である電力消費量、バッテリ残量、もしくは処理可能な演算量により設定される復号可能演算量と、前記演算処理量測定部によって測定された前記基本階層の復号処理演算量とに基づいて、前記階層符号化ストリームより抽出する階層を選択する復号階層選択部とを備え、前記復号階層選択部は、前記基本階層の復号処理演算量が前記復号可能演算量よりも大きくなる場合、基本階層と拡張階層とを抽出し、前記基本階層の復号処理演算量が前記復号可能演算量よりも大きくならない場合、基本階層のみを抽出する。

本発明の画像符号化方法は、画像信号を取得するステップと、取得した前記画像信号に対して、単独で復号可能な基本階層の符号化を行うステップと、取得した前記画像信号に対して、前記基本階層と合わせて復号することにより復号可能な拡張階層の符号化を行うステップとを含み、基本階層の符号化を行うステップは、空間方向の相関を用いる第１の画面内予測ステップと、時間方向の相関を用いる第１の動き補償予測ステップとを有し、拡張階層の符号化を行うステップは、空間方向の相関を用い、前記第１の画面内予測ステップよりも演算量の少ない処理を行う第２の画面内予測ステップと、時間方向の相関を用い、前記第１の動き補償予測ステップよりも演算量の少ない処理を行う第２の動き補償予測ステップとを有し、前記第１の画面内予測ステップでは、複数の２次元ブロックサイズにおける画面内予測モードより選択される予測情報を生成し、前記第２の画面内予測ステップでは、前記第１の画面内予測ステップによって生成される第１の面内予測信号と予測モードを示す情報との少なくとも一方を取得し、単一の２次元ブロックサイズにおける画面内予測情報を生成して、第２の面内予測信号を生成し、前記第２の動き補償予測ステップでは、前記第１の動き補償予測ステップによって生成される第１の動き補償予測信号と予測モードを示す情報との少なくとも一方を取得し、第２の動き予測信号を生成する。
前記第２の画面内予測ステップでは、前記第１の面内予測信号との相関性の高い予測情報を検出し、前記第２の動き補償予測ステップでは、前記第１の動き補償予測信号との相関性の高い予測信号を検出してもよい。

本発明の画像符号化方法は、画像信号を取得するステップと、取得した前記画像信号に対して、単独で復号可能な基本階層の符号化を行う基本階層符号化ステップと、取得した前記画像信号に対して、前記基本階層と合わせて復号することにより復号可能な拡張階層の符号化を行う拡張階層符号化ステップとを含み、前記基本階層符号化ステップは、空間方向の相関を用いる画面内予測ステップと、時間方向の相関を用いる動き補償予測ステップと、前記画面内予測ステップ又は前記動き補償予測ステップにおいて生成した予測画像を用いて生成した差分信号に対して、画面内で隣接する画像領域に対する差分信号を用いて差分信号予測画像を生成し、前記予測画像を用いて生成された差分信号より、前記差分信号予測画像を減算する差分信号相関除去ステップとを有し、前記拡張階層符号化ステップでは、前記差分信号相関除去ステップにおいて得た前記差分信号予測画像を符号化する。

本発明の画像復号化方法は、単独で復号可能な基本階層と、前記基本階層と合わせて復号することにより復号可能な拡張階層とを有する、符号化された階層符号化ストリームを取得するステップと、前記基本階層の復号処理演算量を測定するステップと、画像符号化装置の外部条件である電力消費量、バッテリ残量、もしくは処理可能な演算量により設定される復号可能演算量と、測定した前記基本階層の復号処理演算量とに基づいて、前記階層符号化ストリームより抽出する階層を選択するステップとを含み、階層を選択するステップでは、前記基本階層の復号処理演算量が前記復号可能演算量よりも大きくなる場合、基本階層と拡張階層とを抽出し、前記基本階層の復号処理演算量が前記復号可能演算量よりも大きくならない場合、基本階層のみを抽出する。

本発明は、高い復号処理機能を有する復号装置でも高い復号処理機能を有さない復号装置でも低負荷で復号が可能な高い圧縮効率を持つ符号化ストリームを圧縮効率が低下しないように生成する画像符号化装置と、それに対応する画像復号化装置とを提供することができる。

従来のスケーラブル符号化装置においては、復号側における符号化レート、解像度、フレーム周波数等の制約によっても再生可能な符号化データを基本階層として符号化し、制約から解放される場合に復号可能な符号化データを拡張階層として符号化を行う構造を有していたため、高負荷な復号が可能な復号装置において、すべての階層を受信・復号して高品質な復号画像を得ることになり、圧縮効率が低下していた。

しかしながら、本発明の符号化装置によれば、復号装置で制約を受けない条件における圧縮率の高い符号化を施した符号化データを基本階層とし、制約を有する場合にも復号可能な符号化データを拡張階層として基本階層との差分を符号化することにより、高負荷な復号が可能な復号装置においては基本階層のみを受信・復号することで、少ない符号化データで高品質な復号画像を得ることができると共に、基本階層と拡張階層を受信・復号することで、低負荷な復号処理で品質のよい復号画像を得ることが出来る、復号処理の複雑度に応じたスケーラブル符号化が可能となる。

また、拡張階層においては基本階層の画面内予測又は動き補償予測と相関性の高い予測画像を負荷の軽い予測処理の中から選択するため、拡張階層の圧縮効率が向上すると共に、差分情報が十分に伝送されなかった場合の再生画像の品質低下を防ぐことが出来る。

実施の形態１の画像符号化装置の構成図である。 実施の形態１の画像符号化装置における１６×１６固定イントラ予測回路の動作を説明するためのフローチャートである。 実施の形態１の画像符号化装置における１／２画素精度動きベクトル補正／補償回路の動作を説明するためのフローチャートである。 実施の形態１の画像復号化装置の構成図である。 実施の形態２の画像符号化装置の構成図である。 実施の形態２の画像復号化装置の構成図である。

以下に、本発明を実施するための形態について図面を参照して説明する。

（実施の形態１）
まず、実施の形態１の画像符号化装置及び画像復号化装置について説明する。実施の形態１において、基本階層の符号化処理についてはＭＰＥＧ４−ＡＶＣに準拠した符号化処理を行い、拡張階層の符号化処理についてはＭＰＥＧ４−ＡＶＣに対してＭＰＥＧ２より複雑な処理である１／４画素単位の動き補償予測、４×４又は８×８ブロック単位のイントラ（画面内）予測、及びデブロックフィルタの使用を禁止している。

図１は、実施の形態１の画像符号化装置の構成図である。入力端子１０１より入力された動画像信号は、入力画像メモリ１０２に供給されて記憶される。入力画像メモリ１０２は、入力された動画像信号を符号化予測構造に応じて遅延させ、符号化処理を行うフレーム順に並べ替え、マクロブロック切出回路１０３に動画像信号を出力する。マクロブロック切出回路１０３は、入力画像メモリ１０２から入力された動画像信号を、符号化処理を実行する単位である１６×１６画素の２次元ブロック画像で構成されるマクロブロック単位で切り出し、減算器１０９及び減算器１２２に出力すると共に、４×４／８×８／１６×１６適応イントラ予測回路１０４と、１／４画素精度動きベクトル検出／補償回路１０６とに２次元ブロック画像を出力する。

４×４／８×８／１６×１６適応イントラ予測回路１０４は、マクロブロック切出回路１０３より入力された２次元ブロック画像と、基本階層イントラ予測メモリ１０５に格納されている符号化・復号済みの基本階層復号画像とを用いてイントラ予測を行う。イントラ予測は、復号済の同一フレーム上の２次元座標で上にあるマクロブロックと左にあるマクロブロックより、符号化ターゲットである２次元ブロック画像に対する複数のフレーム内予測画像を生成し、伝送する予測差分が少ない予測モードを確定し、イントラ予測画像を生成する処理である。

４×４／８×８／１６×１６適応イントラ予測回路１０４は、イントラ予測情報を４×４画素単位で生成して符号化する４×４予測モードと、イントラ予測情報を８×８画素単位で生成して符号化する８×８予測モードと、イントラ予測情報を１６×１６画素単位で生成して符号化する１６×１６予測モードとのいずれかを、１６×１６画素の２次元ブロック単位で選択し、選択したイントラ予測モードと生成したイントラ予測画像とを基本階層予測モード判定回路１０８に出力すると共に、１６×１６固定イントラ予測回路１１７に出力する。

１／４画素精度動きベクトル検出／補償回路１０６は、マクロブロック切出回路１０３より入力された２次元ブロック画像と、基本階層参照画像メモリ１０７に格納されている符号化・復号済みの基本階層復号画像とを用いて、１／４画素精度の動きベクトル検出及び動き補償予測を行う。動き補償予測は、復号済みの異なるフレームである複数の参照画像と、符号化ターゲットである２次元ブロックとから、動きベクトルを２次元パターンマッチング等の手法で検出し、伝送する予測差分の少ない動きベクトル量と、使用する参照フレームを確定し、動きベクトルと使用する参照フレームと動きベクトルのブロックサイズを示す動き補償モード情報とを用いて参照画像より動き補償を行って予測画像を生成する方法である。

１画素精度未満の精度の動きベクトルを検出する際には、周辺の参照画像を用いてフィルタリングを行うことにより、少数点精度の補間画像である予測画像を生成する。ＭＰＥＧ４−ＡＶＣにおいては、６タップのフィルタリングにより１／２画素精度の補間画像を生成し、更に平均値を生成する２タップフィルタリングにより１／４画素精度の補間画像を生成する。

１／４画素精度動きベクトル検出／補償回路１０６は、動き補償予測モード情報及び動きベクトル情報と生成した動き補償予測画像を基本階層予測モード判定回路１０８に出力すると共に、１／２画素精度動きベクトル補正／補償回路１１９に出力する。

基本階層予測モード判定回路１０８は、符号化ターゲットである画像フレームの予測モードを判定する際、フレーム面のみで完結する符号化を行うイントラスライスの場合と、動き補償を用いたフレーム間相関で符号化を行うインタースライスの場合で異なる動作を行う。イントラスライスの場合には、イントラ予測のみ適用可能であるため、基本階層予測モード判定回路１０８は、４×４／８×８／１６×１６適応イントラ予測回路１０４より入力されたイントラ予測モードを採用し、イントラ予測モードを基本階層エントロピー符号化回路１１６と、拡張階層予測モード判定回路１２１とに出力する。同時に基本階層予測モード判定回路１０８は、イントラ予測画像を、減算器１０９、加算器１１４及び、拡張階層予測モード判定回路１２１に出力する。

インタースライスの場合には、基本階層予測モード判定回路１０８は、４×４／８×８／１６×１６適応イントラ予測回路１０４より入力されたイントラ予測画像と、１／４画素精度動きベクトル検出／補償回路１０６より入力された動き補償予測画像とについて、マクロブロック切出回路１０３より入力されたマクロブロック単位の入力画像との間で差分を生成した場合のそれぞれ情報量を推定する評価値を生成し、より少ない情報量で符号化出来ると判断される予測モードの選択情報をイントラ予測を用いるか動き補償予測を用いるかを示す情報として生成し、採用する予測符号化処理に用いる。

基本階層予測モード判定回路１０８は、予測モードの選択情報と選択したイントラ予測モード又は、動き補償予測モード及び動きベクトル情報を、基本階層エントロピー符号化回路１１６に出力すると共に、拡張階層予測モード判定回路１２１に出力する。同時に基本階層予測モード判定回路１０８は、イントラ予測画像と動き補償予測画像の内、選択した予測モードの予測画像を減算器１０９、加算器１１４及び、拡張階層予測モード判定回路１２１に出力する。

減算器１０９は、マクロブロック切出回路１０３より入力された符号化ターゲットである２次元ブロック画像より、基本階層予測モード判定回路１０８より入力された予測画像を減算し、それにより基本階層の予測差分情報を生成し、基本階層ＤＣＴ回路１１０に出力する。

基本階層ＤＣＴ回路１１０は、予測差分情報を周波数成分に変換するために、直交変換の一種である２次元ＤＣＴを行う。ＭＰＥＧ４−ＡＶＣでは、ＤＣＴとして整数で演算可能な整数ＤＣＴが採用されており、周波数軸に変換する為の変換処理の中の周波数成分のレベルを正規化するための演算処理を後続する量子化処理と一緒に行うことで、ＤＣＴ変換・ＩＤＣＴ変換での誤差が発生しないような手段が実現されている。基本階層ＤＣＴ回路１１０は、正規化前の整数ＤＣＴを行った結果であるＤＣＴ係数情報を基本階層量子化回路１１１に出力する。

基本階層量子化回路１１１は、基本階層ＤＣＴ回路１１０よりＤＣＴ係数情報が入力され、符号量制御回路１３０より入力される量子化処理の基準となる量子化パラメータを用いて、ＤＣＴ係数毎に量子化処理を行い、量子化したＤＣＴ係数及び量子化パラメータを基本階層エントロピー符号化回路１１６、基本階層逆量子化回路１１２及び、減算器１２８に出力する。

基本階層逆量子化回路１１２は、基本階層量子化回路１１１より入力された量子化されたＤＣＴ係数と量子化パラメータより、逆量子化を実行し復号ＤＣＴ係数を生成する。基本階層逆量子化回路１１２は、生成した復号ＤＣＴ係数を基本階層ＩＤＣＴ回路１１３に出力する。

基本階層ＩＤＣＴ回路１１３は、基本階層逆量子化回路１１２より入力された復号ＤＣＴ係数に対して整数ＤＣＴの逆変換となる整数ＩＤＣＴ処理を施し、基本階層の復号差分画像を生成する。基本階層ＩＤＣＴ回路１１３は、生成した基本階層の復号差分画像を加算器１１４に出力する。

加算器１１４は、基本階層予測モード判定回路１０８より入力された予測画像情報と、基本階層ＩＤＣＴ回路１１３より入力された基本階層の復号差分画像を加算し、それにより基本階層の復号画像信号を生成する。加算器１１４によって生成された復号画像信号は、基本階層イントラ予測メモリ１０５及びデブロックフィルタ回路１１５に出力される。

デブロックフィルタ回路１１５は、加算器１１４より入力された基本階層の復号画像信号に対して、隣接する２次元ブロックの復号画像との間のブロック境界に、量子化歪の発生条件に応じて歪を除去するための平滑フィルタリングを施す。歪を除去することにより、復号画像の品質と、動き補償予測の参照画像の品質を向上させることが可能となるが、演算の負荷が大きく、復号装置における処理量の最大５０％程度をデブロックフィルタ処理が占める場合も存在する。デブロックフィルタ回路１１５は、平滑フィルタリングを施した復号画像信号を基本階層参照画像メモリ１０７に出力する。

基本階層イントラ予測メモリ１０５には加算器１１４より復号画像信号が入力され、基本階層参照画像メモリ１０７には、デブロックフィルタ回路１１５より平滑フィルタリングが施された復号画像信号が入力される。基本階層イントラ予測メモリ１０５には、復号画像信号が常に格納されるが、基本階層参照画像メモリ１０７には、復号画像信号が後続する動画像信号の動き補償予測の参照画像となる場合にのみ、参照画像として復号画像信号が格納される。

基本階層エントロピー符号化回路１１６は、基本階層量子化回路１１１より入力された量子化されたＤＣＴ係数と、基本階層予測モード判定回路１０８より入力された予測モード情報（予測モードが動き補償予測モードである場合、動きベクトル情報を含む）に対して、所定の構文構造に基づいてエントロピー符号化を施し、基本階層を構成する基本階層符号化ストリームを生成し、階層多重化回路１３１に出力する。また、基本階層エントロピー符号化回路１１６は、生成符号化ストリーム量を符号量制御回路１３０に出力する。

続いて、拡張階層符号化を説明する。実施の形態１の画像符号化装置においては、空間解像度は同一である。

１６×１６固定イントラ予測回路１１７は、４×４／８×８／１６×１６適応イントラ予測回路１０４より基本階層における同一マクロブロックのイントラ予測画像とイントラ予測モード情報が入力されると共に、拡張階層イントラ予測メモリ１１８から符号化・復号済みの拡張階層復号画像が入力されて１６×１６モード固定のイントラ予測を行う。

拡張階層のイントラ予測処理は、復号済の同一フレーム上の２次元座標で上にあるマクロブロックと左にあるマクロブロックより、基本階層におけるイントラ予測画像に対する複数のフレーム内予測画像を生成し、伝送する予測差分が少ない予測モードを確定する処理である。拡張階層におけるイントラ予測処理は、少ない演算処理で基本階層において複雑度の高い演算処理で生成された予測画像に近い予測画像を見つける処理となる。

１６×１６固定イントラ予測回路１１７が行う予測モード選択処理の各ステップを図２のフローチャートを用いて説明する。

最初に基本階層のイントラ予測モードと予測画像を取得する（Ｓ２０１）。既存階層のイントラ予測モードが１６×１６予測モードであった場合（Ｓ２０２でＹｅｓ）、基本階層のイントラ予測モードに従い、拡張階層イントラ予測メモリ１１８より符号化・復号済みの拡張階層復号画像を取得して予測画像を生成する（Ｓ２０３）。既存階層のイントラ予測モードが１６×１６予測モードでない場合（Ｓ２０２でＮｏ）、基本階層のイントラ予測モードが８×８予測モードであったとき（Ｓ２０４でＹｅｓ）、マクロブロック内のブロック数Ｍを４に設定する（Ｓ２０５）。基本階層のイントラ予測モードが８×８予測モードでない場合には（Ｓ２０４でＮｏ）、マクロブロック内のブロック数Ｍを１６に設定する（Ｓ２０６）。

続いて、１６×１６イントラ予測モードである、平均値（モード０）水平（モード１）垂直（モード２）平面予測（モード３）の４つのモードＭｏｄｅに対してステップＳ２０７以下の処理を繰りかえす。

最初にモード毎の評価値Ｅｒｒ［Ｍｏｄｅ］とマクロブロック内の基本階層予測ブロック単位でのブロック最大評価値ＥｒｒＢｋＭａｘ［Ｍｏｄｅ］を０に初期化する（Ｓ２０８）。マクロブロック内のブロック位置ＢＮに対して（Ｓ２０９）、ブロック毎の評価値ＥｒｒＢｋを０に初期化する（Ｓ２１０）。ブロック内のすべての画素に対して、基本階層のイントラ予測画像とＭｏｄｅにより拡張階層イントラ予測メモリより取得された予測画像の間の絶対値差分をＥｒｒＢｋに加算する（Ｓ２１１）。

ＥｒｒＢｋがＥｒｒＢｋＭａｘ[Ｍｏｄｅ]以上である場合（Ｓ２１２でＹｅｓ）、ＥｒｒＢｋＭａｘ［Ｍｏｄｅ］にＥｒｒＢｋを設定する（Ｓ２１３）。ＥｒｒＢｋがＥｒｒＢｋＭａｘ[Ｍｏｄｅ]よりも小さい場合（Ｓ２１２でＮｏ）、また、ＥｒｒＢｋをＥｒｒ［Ｍｏｄｅ］に加算する（Ｓ２１４）。すべてのマクロブロック内のブロック位置ＢＮに対してＭｏｄｅに対する評価値を算出した結果、ＥｒｒＢｋＭａｘ［Ｍｏｄｅ］が閾値Ｔｈ以上である場合（Ｓ２１５でＮｏ）、ＥｒｒＢｋＭａｘ［Ｍｏｄｅ］がそれまでに測定した他のＭｏｄｅのＥｒｒＢｋＭａｘよりも小さいときには、そのＭｏｄｅを暫定予測モードとする（Ｓ２１６）。ＥｒｒＢｋＭａｘ［Ｍｏｄｅ］が閾値Ｔｈよりも小さい場合には（Ｓ２１５でＹｅｓ）、Ｅｒｒ［Ｍｏｄｅ］が他のＭｏｄｅのＥｒｒよりも小さいときに、そのＭｏｄｅを予測モードとする（Ｓ２１７）。

このようにして選択されたイントラ予測モードに従い、拡張階層イントラ予測メモリ１１８より符号化・復号済みの拡張階層復号画像を取得して予測画像を生成し（Ｓ２１８）、拡張階層のイントラ予測モードとイントラ予測画像を出力する。このアルゴリズムにより、基本階層で複数のイントラ予測から選択された予測画像との対応度が高い１６×１６イントラ予測モードを設定できるため、品質の良い予測画像が生成できるとともに、拡張階層における予測差分情報の情報量も削減できる。

１６×１６固定イントラ予測回路１１７は、上記手順にて確定した拡張階層のイントラ予測モードと生成したイントラ予測画像を拡張階層予測モード判定回路１２１に出力する。

続いて、１／２画素精度動きベクトル補正／補償回路１１９は、１／４画素精度動きベクトル検出／補償回路１０６より、基本階層における同一マクロブロックの動き補償予測画像と動き補償予測モード情報、動きベクトル情報を取得すると共に、拡張階層参照画像メモリ１２０から符号化・復号済みの拡張階層復号画像を取得して、１／２画素精度の動きベクトルを検出する。１／２画素精度動きベクトル補正／補償回路１１９は、拡張階層について、ＭＰＥＧ２符号化方式で用いられているような、平均値を生成する２タップフィルタリングにより１／２画素精度の補間画像を生成することで、基本階層よりも少ない演算量で動き補償予測画像を生成できる。

１／２画素精度動きベクトル補正／補償回路１１９が行う動きベクトル検出処理の各ステップを図３のフローチャートを用いて説明する。

最初に基本階層の動き補償予測モード、動きベクトルと動き補償予測画像を取得する（Ｓ３０１）。取得した基本階層の動き補償予測モードは拡張階層においても引き継ぎ、動き補償予測モードに従い、マクロブロック内の全ての動き補償ブロックに対して（Ｓ３０２）、以下の処理を行う。

まず、基本階層の動きベクトル水平方向成分をＭＸ、垂直方向成分をＭＹに設定する（Ｓ３０３）。ＭＸ、ＭＹが共に１／２画素又は整数画素の精度である場合には（Ｓ３０４でＹｅｓ）、そのままＭＸ、ＭＹを拡張階層の動きベクトルとし、拡張階層参照画像メモリ１２０より予測画像を取得する（Ｓ３０５）。それ以外の場合、即ちＭＸ、ＭＹのどちらかが１／４画素精度の動きベクトルであった場合には（Ｓ３０４でＮｏ）、１／２画素精度の動きベクトルを検出するための動き補正処理を行う。動き補正処理は、ＭＸ、ＭＹで示される参照画像の周辺をブロックマッチングすることで検出する。

最初に補正用のサーチレンジを設定する（Ｓ３０６）。基本階層の１画素未満の画素を算出するために６タップのフィルタ（±３画素）を用いるのに対して、拡張階層の１画素未満の画素は２タップの平均値フィルタ（±１画素）で生成するため、±２画素の参照画像の成分が予測画像に与える影響があるため、サーチレンジはＭＸ，ＭＹを基準に水平方向・垂直方向共±２画素に設定する。

設定したサーチレンジにおいて、１／２画素単位で動きベクトル値を設定し（Ｓ３０７）、それぞれブロック内のすべての画素に対して、基本階層の動き補償予測画像と、拡張階層参照画像メモリ１２０より動きベクトル値による動き補償を行った結果の予測画像との間で絶対値差分を計算し積算する（Ｓ３０８）。絶対値差分の積算値が最小となる動きベクトル値を拡張階層の動きベクトル値として設定し、拡張階層参照画像メモリ１２０より動き補償予測画像を取得する（Ｓ３０９）。

１画素未満の画素生成のアルゴリズムの差による動きベクトル検出ずれを考慮して、基本階層で取得した動き補償予測画像と対応度が高い、拡張階層の動きベクトル及び動き補償予測画像が生成できるため、複雑度の低い動き補償予測処理においても適切な予測画像を生成でき、拡張階層における予測差分情報の情報量を削減できる。

１／２画素精度動きベクトル補正／補償回路１１９は、上記手順にて確定した拡張階層の動き補償予測モード、動きベクトルと生成した動き補償予測画像を拡張階層予測モード判定回路１２１に出力する。

拡張階層予測モード判定回路１２１は、基本階層予測モード判定回路１０８より入力された、基本階層の予測モードの選択情報に従って、１６×１６固定イントラ予測回路１１７より入力された拡張階層のイントラ予測モードと生成したイントラ予測画像と、１／２画素精度動きベクトル補正／補償回路１１９より入力された拡張階層の動き補償予測モード、動きベクトルと生成した動き補償予測画像のどちらを採用するか、基本階層と拡張階層の予測モードが同一になるように選択する。拡張階層予測モード判定回路１２１は、予測モードの選択情報と選択されたイントラ予測モード又は、動き補償予測モード及び動きベクトル情報を、拡張階層エントロピー符号化回路１２９に出力すると共に、選択された予測モードの予測画像を減算器１２２及び加算器１２７に出力する。

減算器１２２は、マクロブロック切出回路１０３より取得した符号化ターゲットである２次元ブロック画像より、拡張階層予測モード判定回路１２１より取得した予測画像を減算し、それにより拡張階層の予測差分情報を生成し、拡張階層ＤＣＴ回路１２３に出力する。

拡張階層ＤＣＴ回路１２３は、基本階層と同様の２次元ＤＣＴを実行し、正規化前の整数ＤＣＴ処理を施した結果のＤＣＴ係数情報を拡張階層量子化回路１２４に出力する。

拡張階層量子化回路１２４は、拡張階層ＤＣＴ回路１２３よりＤＣＴ係数情報を取得し、符号量制御回路１３０より入力される量子化処理の基準となる量子化パラメータを用いて、ＤＣＴ係数毎に量子化処理を行い、量子化されたＤＣＴ係数と量子化パラメータを拡張階層逆量子化回路１２５及び減算器１２８に出力すると共に、量子化パラメータを拡張階層エントロピー符号化回路１２９に出力する。

減算器１２８は、拡張階層量子化回路１２４より入力された拡張階層の量子化されたＤＣＴ係数より、基本階層量子化回路１１１より入力された基本階層の量子化されたＤＣＴ係数を減算し、それにより拡張階層において新たに発生した予測誤差の量子化されたＤＣＴ係数（以降、拡張差分量子化ＤＣＴ係数と記す）を生成する。減算器１２８より出力された拡張差分量子化ＤＣＴ係数は、拡張階層エントロピー符号化回路１２９に入力される。

拡張階層逆量子化回路１２５は、拡張階層量子化回路１２４より入力された量子化されたＤＣＴ係数と量子化パラメータより、逆量子化を実行して復号ＤＣＴ係数を生成する。拡張階層逆量子化回路１２５は、生成した復号ＤＣＴ係数を拡張階層ＩＤＣＴ回路１２６に出力する。

拡張階層ＩＤＣＴ回路１２６は、拡張階層逆量子化回路１２５より入力された復号ＤＣＴ係数に対して整数ＩＤＣＴ処理を施し、拡張階層の復号差分画像を生成する。拡張階層ＩＤＣＴ回路１２６は、生成した拡張階層の復号差分画像を加算器１２７に出力する。

加算器１２７は、拡張階層予測モード判定回路１２１より入力された予測画像情報と、拡張階層ＩＤＣＴ回路１２６より入力された拡張階層の復号差分画像を加算し、それにより拡張階層の復号画像信号を生成する。加算器１２７によって生成された復号画像信号は、拡張階層イントラ予測メモリ１１８及び拡張階層参照画像メモリ１２０に出力される。拡張階層イントラ予測メモリ１１８には、復号画像信号が常に格納されるが、拡張階層参照画像メモリ１２０には、復号画像信号が後続する動画像信号の動き補償予測の参照画像となる場合にのみ、参照画像として復号画像信号が格納される。

拡張階層エントロピー符号化回路１２９は、減算器１２８より入力された拡張差分量子化ＤＣＴ係数と、拡張階層予測モード判定回路１２１より入力された予測モード情報（予測モードが動き補償予測モードである場合、動きベクトル情報を含む）に対して、所定の構文構造に基づいてエントロピー符号化を施し、拡張階層を構成する拡張階層符号化ストリームを生成し、階層多重化回路１３１に出力する。また、拡張階層エントロピー符号化回路１２９は、生成符号化ストリーム量を符号量制御回路１３０に出力する。

階層多重化回路１３１は、基本階層エントロピー符号化回路１１６より出力される基本階層の符号化ストリームと拡張階層エントロピー符号化回路１２９より出力される拡張階層の符号化ストリームを多重化し、スケーラブル符号化ストリームとして出力端子１３２を介して、伝送路や記録メディア等に対して出力する。

符号量制御回路１３０は、基本階層エントロピー符号化回路１１６より入力された基本階層の生成符号化ストリーム量と、拡張階層エントロピー符号化回路１２９より入力された拡張階層の生成符号化ストリーム量を加算し、加算することによって得た量と設定されている符号化レートより算出される目標生成ストリーム量とを比較し、目標符号量に近づけるために、後続するマクロブロックに対して基本階層量子化回路１１１及び拡張階層量子化回路１２４が用いる量子化パラメータを制御する。符号量制御回路１３０は、拡張階層の復号処理の複雑度を減らすために、基本階層と拡張階層の量子化パラメータを一致させるように制御する。

実施の形態１では、ＭＰＥＧ４−ＡＶＣの動き補償予測を基準とし、基本階層の動きベクトル検出の精度を１／４画素精度と設定したが、基本階層の動きベクトル検出の精度は、１／４画素精度に限定されることはなく、例えば更に負荷の高い動きベクトル検出・動き補償予測となる１／８画素精度の処理を基本階層について行い、時間方向の相関を高め符号化効率を向上させ、拡張階層については１／４画素精度のＭＰＥＧ４−ＡＶＣ互換処理を実行することが可能な構成にすることも可能であり、本発明の意図している所の、基本階層に符号化効率の良い符号化アルゴリズムで符号化した情報を格納し、拡張階層で複雑度の低いまたは従来の符号化アルゴリズムと互換性のある復号処理で復号可能な情報を構成するための差分（追加）情報を符号化する構成となっていればよい。

続いて、図４に実施の形態１の画像復号化装置の構成を示し、その説明を行う。

入力端子４０１より入力された符号化ストリームは、階層多重分離回路４０２に供給される。階層多重分離回路４０２は、階層構造の符号化ストリームを基本階層の符号化ストリームと拡張階層の符号化ストリームに分離し、基本階層の符号化ストリームを基本階層エントロピー復号回路４０３に、拡張階層の符号化ストリームを拡張階層エントロピー復号回路４１３に出力する。

基本階層エントロピー復号回路４０３は、基本階層の符号化ストリームを階層多重分離回路４０２から受け取ると、所定の構文構造に基づいてエントロピー復号を行い、イントラ予測や動き補償予測に関連する予測モード情報と予測差分情報を構成する量子化されたＤＣＴ係数、量子化パラメータとに分離し、予測モード情報（予測モードが動き補償予測モードである場合、動きベクトル情報を含む）基本階層予測モード復号回路４１２に出力し、量子化されたＤＣＴ係数と量子化パラメータを基本階層逆量子化回路４０４及び加算器４１４に出力する。

基本階層逆量子化回路４０４は、基本階層エントロピー復号回路４０３より入力された量子化されたＤＣＴ係数と量子化パラメータより、逆量子化を実行して復号ＤＣＴ係数を生成する。基本階層逆量子化回路４０４は、生成した復号ＤＣＴ係数を基本階層ＩＤＣＴ回路４０５に出力する。

基本階層ＩＤＣＴ回路４０５は、基本階層逆量子化回路４０４より入力された復号ＤＣＴ係数に対して整数ＤＣＴの逆変換となる整数ＩＤＣＴ処理を施し、基本階層の復号差分画像を生成する。基本階層ＩＤＣＴ回路４０５は、生成した基本階層の復号差分画像を加算器４０６に出力する。

加算器４０６は、基本階層予測モード復号回路４１２より入力された復号予測画像情報と、基本階層ＩＤＣＴ回路４０５より入力された基本階層の復号差分画像を加算し、それにより基本階層の復号画像信号を生成する。加算器４０６によって生成された復号画像信号は、基本階層イントラ予測メモリ４０９及びデブロックフィルタ回路４０７に出力される。

デブロックフィルタ回路４０７は、加算器４０６より入力された基本階層の復号画像信号に対して、隣接する２次元ブロックの復号画像との間のブロック境界に、量子化歪の発生条件に応じて歪を除去するための平滑フィルタリングを施し、フィルタリング処理後の復号画像信号を基本階層参照画像メモリ４１１に出力すると共に、復号出力切替回路４２５にも出力する。

基本階層イントラ予測メモリ４０９には加算器４０６より復号画像信号が入力され、基本階層参照画像メモリ４１１には、デブロックフィルタ回路４０７より平滑フィルタリングが施された復号画像信号が入力される。基本階層イントラ予測メモリ４０９には、復号画像信号が常に格納されるが、基本階層参照画像メモリ４１１には、復号画像信号が後続する動画像信号の動き補償予測の参照画像となる場合にのみ、参照画像として復号画像信号が格納される。

基本階層予測モード復号回路４１２は、予測モード情報（予測モードが動き補償予測モードである場合、動きベクトル情報を含む）を基本階層エントロピー復号回路４０３より取得し、予測モード情報がイントラ予測モードである場合には、４×４／８×８／１６×１６適応イントラ予測回路４０８に、イントラ予測モードを出力するとともに、４×４／８×８／１６×１６適応イントラ予測回路４０８が生成したイントラ予測画像を取得する。

４×４／８×８／１６×１６適応イントラ予測回路４０８は、基本階層予測モード復号回路４１２より入力されたイントラ予測モードに従って、基本階層イントラ予測メモリ４０９より復号画像信号を取得して予測画像を生成し、基本階層予測モード復号回路４１２に出力する。

同様に、基本階層予測モード復号回路４１２は、予測モード情報が動き補償予測モードである場合には、１／４画素精度動き補償予測回路４１０に、動き補償予測モードと動きベクトル情報を出力するとともに、１／４画素精度動き補償予測回路４１０が生成した動き補償予測画像を取得する。１／４画素精度動き補償予測回路４１０は、基本階層予測モード復号回路４１２より入力された動き補償予測モードと動きベクトル情報を用い、基本階層参照画像メモリ４１１より復号画像信号を取得して予測画像を生成し、基本階層予測モード復号回路４１２に出力する。

基本階層予測モード復号回路４１２は、予測モードに応じて４×４／８×８／１６×１６適応イントラ予測回路４０８と１／４画素精度動き補償予測回路４１０の何れかより予測画像を取得し、復号予測画像信号として加算器４０６に出力する。

拡張階層エントロピー復号回路４１３は、拡張階層の符号化ストリームを階層多重分離回路４０２から受け取ると、所定の構文構造に基づいてエントロピー復号を行い、イントラ予測や動き補償予測に関連する予測モード情報と予測差分情報を構成する量子化されたＤＣＴ係数、量子化パラメータとに分離し、予測モード情報（予測モードが動き補償予測モードである場合、動きベクトル情報を含む）を拡張階層予測モード復号回路４２２に出力し、量子化されたＤＣＴ係数と量子化パラメータを加算器４１４に出力する。

加算器４１４は、基本階層エントロピー復号回路４０３から出力された基本階層の量子化された復号ＤＣＴ係数と拡張階層エントロピー復号回路４１３から出力された拡張階層の量子化された復号ＤＣＴ係数を加算し、拡張階層逆量子化回路４１５に出力する。

拡張階層逆量子化回路４１５は、加算器４１４より入力された量子化されたＤＣＴ係数と量子化パラメータより、逆量子化を実行し復号ＤＣＴ係数を生成する。拡張階層逆量子化回路４１５は、生成した復号ＤＣＴ係数を拡張階層ＩＤＣＴ回路４１６に出力する。

拡張階層ＩＤＣＴ回路４１６は、拡張階層逆量子化回路４１５より入力された復号ＤＣＴ係数に対して整数ＤＣＴの逆変換となる整数ＩＤＣＴ処理を施し、拡張階層の復号差分画像を生成する。拡張階層ＩＤＣＴ回路４１６は、生成した拡張階層の復号差分画像を加算器４１７に出力する。

加算器４１７は、拡張階層予測モード復号回路４２２より入力された復号予測画像情報と、拡張階層ＩＤＣＴ回路４１６より入力された拡張階層の復号差分画像を加算し、それにより拡張階層の復号画像信号を生成する。加算器４１７によって生成された復号画像信号は、拡張階層イントラ予測メモリ４１９及び拡張階層参照画像メモリ４２１に格納される。

拡張階層予測モード復号回路４２２は、予測モード情報（予測モードが動き補償予測モードである場合、動きベクトル情報を含む）を拡張階層エントロピー復号回路４１３より取得し、予測モード情報がイントラ予測モードである場合には１６×１６固定イントラ予測回路４１８に、イントラ予測モードを出力するとともに、１６×１６固定イントラ予測回路４１８が生成したイントラ予測画像を取得する。

１６×１６固定イントラ予測回路４１８は、拡張階層予測モード復号回路４２２より入力されたイントラ予測モードに従って、拡張階層イントラ予測メモリ４１９より復号画像信号を取得して予測画像を生成し、拡張階層予測モード復号回路４２２に出力する。

同様に、拡張階層予測モード復号回路４２２は、予測モード情報が動き補償予測モードである場合には、１／２画素精度動き補償予測回路４２０に、動き補償予測モードと動きベクトル情報を出力するとともに、１／２画素精度動き補償予測回路４２０が生成した動き補償予測画像を取得する。１／２画素精度動き補償予測回路４２０は、拡張階層予測モード復号回路４２２より入力された動き補償予測モードと動きベクトル情報を用い、拡張階層参照画像メモリ４２１より復号画像信号を取得して予測画像を生成し、拡張階層予測モード復号回路４２２に出力する。

拡張階層予測モード復号回路４２２は、予測モードに応じて１６×１６固定イントラ予測回路４１８と１／２画素精度動き補償予測回路４２０の何れかより予測画像を取得し、復号予測画像信号として加算器４１７に出力する。

演算処理量測定回路４２３は、復号化装置が行った処理の演算量を測定し復号階層選択回路４２４に出力する。復号階層選択回路４２４は、演算処理量測定回路４２３より入力された演算量と、復号装置の外部条件である電力消費量、バッテリ残量、もしくは、処理可能な演算量などにより設定される復号可能演算量とに基づいて、基本階層と拡張階層のどちらを復号するかの選択を行う。具体的には、復号階層選択回路４２４は、演算量が復号可能演算量よりも大きくなる場合には、復号処理演算量を少なく出来るように、処理の選択を行う。より具体的には、復号階層選択回路４２４は、基本階層逆量子化回路４０４〜基本階層予測モード復号回路４１２で示された基本階層のみを復号する場合にのみ必要な回路（以降、基本階層復号単独機能部４２７と記載する）の動作をクロック停止等の手段を用いて機能させないようにする。

また、復号階層選択回路４２４は、演算量が復号可能演算量よりも大きくなる場合には、基本階層のみを復号し演算量の大きな復号処理を実行するように選択する。この場合には拡張階層の復号処理は必要がないため、拡張階層エントロピー復号回路４１３〜拡張階層予測モード復号回路４２２で示された拡張階層を復号する場合にのみ必要な回路（以降、拡張階層復号単独機能部４２８と記載する）の動作を機能させないようにすることで、不必要な電力消費を防ぐことも可能である。

復号階層選択回路４２４は、同時にデブロックフィルタ回路４０７から出力される基本階層の復号画像信号と加算器４１７から出力される拡張階層の復号画像信号を選択する信号を、復号出力切替回路４２５に出力する。復号出力切替回路４２５は、復号階層選択回路４２４より入力された選択信号を元に、基本階層の復号画像信号と拡張階層の復号画像信号より、出力する復号画像を選択して、出力端子４２６に出力する。

図４における復号化装置においては、基本階層と拡張階層の復号切替を可能とする形態が示されているが、基本階層のみを復号する復号化装置、拡張階層のみを復号する復号化装置を構成することも可能であり、その場合には演算処理量測定回路４２３、復号階層選択回路４２４及び復号出力切替回路４２５は必要なく、基本階層のみを復号する場合には、拡張階層復号単独機能部４２８も必要なく、拡張階層のみを復号する場合には、基本階層復号単独機能部４２７は必要ない。

（実施の形態２）
続いて、実施の形態２の画像符号化装置及び画像復号化装置を説明する。実施の形態２は、国際標準化されているなどの従来に使用されている符号化アルゴリズムに対して、追加の情報削減処理を施すことで符号化効率を向上させる場合に、基本階層で向上させた符号化アルゴリズムを用いて少ない情報量で高品質な復号画像を再生可能とすると共に、拡張階層において追加の情報削減処理により削減される（生成される）情報を符号化することで、従来の符号化アルゴリズムに僅かな処理の追加で復号可能な符号化ストリームを生成する構成を実現している。

図５は、実施の形態２の画像符号化装置の構成図である。追加の情報削減処理では、特開２００８−１０９４２４号公報において提示されている、隣接する２次元ブロックのＤＣＴ係数を元にブロック境界の傾きを境界条件としたポアソン方程式を満たすように、符号化対象となる２次元ブロックのＤＣＴ係数を推定し、推定係数を対象となるＤＣＴ係数から減算する。

図５において、入力端子５０１、入力画像メモリ５０２、マクロブロック切出回路５０３、４×４／８×８／１６×１６適応イントラ予測回路５０４、基本階層イントラ予測メモリ５０５、１／４画素精度動きベクトル検出／補償回路５０６、基本階層参照画像メモリ５０７、基本階層予測モード判定回路５０８、減算器５０９、基本階層ＤＣＴ回路５１０、基本階層量子化回路５１１、基本階層逆量子化回路５１２、基本階層ＩＤＣＴ回路５１３、加算器５１４、デブロックフィルタ回路５１５、符号量制御回路５２１、階層多重化回路５２２、及び、出力端子５２３に関しては、実施の形態１において用いた図１に示す各構成部と同じ機能を有するため、説明を省略する。

基本階層量子化回路５１１より出力された基本階層の量子化されたＤＣＴ係数と量子化スケールは、ＤＣＴ係数格納メモリ５１７に格納されると共に、減算器５１９に入力される。ＤＣＴ係数格納メモリ５１７には、基本階層量子化回路５１１より入力されたＤＣＴ係数が格納される。ＤＣＴ係数格納メモリ５１７は、２次元ブロックの隣接係数を参照するため、最小でも２マクロブロックラインのＤＣＴ係数を保持することができる記憶容量を有する。ＤＣＴ係数推定回路５１８は、対象となる２次元ブロックの上下左右に存在するＤＣＴ係数を元に、対象となる２次元ブロックの量子化されたＤＣＴ係数を推定し、推定したＤＣＴ係数を減算器５１９及び拡張階層エントロピー符号化回路５２０に出力する。

減算器５１９は、基本階層量子化回路５１１より基本階層の量子化されたＤＣＴ係数が入力されるとともに、ＤＣＴ係数推定回路５１８より推定された量子化されたＤＣＴ係数が入力され、量子化されたＤＣＴ係数より推定されたＤＣＴ係数を減算し、それにより量子化ＤＣＴ係数差分を生成し、基本階層エントロピー符号化回路５１６に出力する。

基本階層エントロピー符号化回路５１６は、減算器５１９より入力された量子化ＤＣＴ係数差分と、基本階層予測モード判定回路５０８より入力された予測モード情報（予測モードが動き補償予測モード出ある場合、動きベクトル情報を含む）に対して、所定の構文構造に基づいてエントロピー符号化を施し、基本階層を構成する基本階層符号化ストリームを生成し、階層多重化回路５２２に出力する。

拡張階層エントロピー符号化回路５２０は、ＤＣＴ係数推定回路５１８から、推定された量子化されたＤＣＴ係数が入力され、それに対して所定の構文構造に基づいてエントロピー符号化を施し、拡張階層を構成する拡張階層符号化ストリームを生成し、階層多重化回路５２２に出力する。拡張階層の符号化ストリームは、ＤＣＴ係数推定回路５１８によって推定された量子化されたＤＣＴ係数を符号化することによって得られたストリームであるので、ＤＣＴ係数推定回路５１８によって行われる推定処理の替わりに拡張階層の符号化ストリームを復号することで、同じ推定ＤＣＴ係数を復号出来ることになる。

続いて、図６に実施の形態２の画像復号化装置の構成を示し、説明を行う。図６において、入力端子６０１、階層多重分離回路６０２、基本階層エントロピー復号回路６０３、基本階層逆量子化回路６０４、基本階層ＩＤＣＴ回路６０５、加算器６０６、４×４／８×８／１６×１６適応イントラ予測回路６０８、基本階層イントラ予測メモリ６０９、１／４画素精度動きベクトル検出／補償回路６１０、基本階層参照画像メモリ６１１、基本階層予測モード復号回路６１２、演算処理量測定回路６１７、及び、出力端子６１９に関しては、実施の形態１において用いた図４に示す各構成部と同じ機能を有するため、説明を省略する。

デブロックフィルタ回路６０７は、平滑フィルタリングを施した復号画像信号を出力端子６１９に常に出力し、基本階層のみを復号する場合にも、拡張階層を復号する場合にも機能する。ＤＣＴ係数格納メモリ６１５及びＤＣＴ係数推定回路６１６は、図５における符号化装置の同一回路と同様の動作を行い、推定した量子化されたＤＣＴ係数を復号階層選択回路６１８に出力する。また、拡張階層エントロピー復号回路６１３は、拡張階層の符号化ストリームが階層多重分離回路６０２より入力され、所定の構文構造に基づいてエントロピー復号を行い、基本階層について推定された量子化されたＤＣＴ係数と同等の係数を復号し、復号階層選択回路６１８に出力する。

復号階層選択回路６１８は、演算処理量測定回路６１７より入力された演算量と、復号装置の外部条件である電力消費量、バッテリ残量、処理可能な演算量、もしくは、対応可能な復号アルゴリズム等により設定される復号可能演算量とに基づいて、基本階層と拡張階層のどちらを復号するかの選択を行う。具体的には、復号階層選択回路６１８は、演算量が復号可能演算量よりも大きな場合には、復号処理演算量を少なく出来るように、処理の選択を行う。

復号階層選択回路６１８は、拡張階層エントロピー復号回路６１３から入力される復号ＤＣＴ係数と、ＤＣＴ係数推定回路６１６より出力される推定ＤＣＴ係数を処理の選択に応じて切替、加算器６１４に出力する。加算器６１４は、基本階層エントロピー復号回路６０３から入力された量子化されたＤＣＴ係数差分と、復号階層選択回路６１８より出力された量子化されたＤＣＴ係数を加算し、それにより量子化された復号ＤＣＴ係数を生成し、基本階層逆量子化回路６０４及びＤＣＴ係数格納メモリ６１５に出力する。実施の形態２においては、拡張階層復号単独機能部は拡張階層エントロピー復号回路６１３であり、ＤＣＴ係数格納メモリ６１５とＤＣＴ係数推定回路６１６が基本階層復号単独機能部６２０となる。

実施の形態２の構成により、国際標準化等において策定されている符号化方式による効率を上回る符号化効率をにより、より複雑な処理を行って実現出来る符号化アルゴリズムを用いた場合にも、既存の符号化アルゴリズムを処理可能な復号装置で復号可能な、階層構造を持つ符号化ストリームを生成することが出来る。

実施の形態２の構成と同じ構成にて、追加の情報削減処理として差分情報の画像信号を画面内予測するアルゴリズムを実現することも可能であり、追加の情報削減処理のために生成された推定情報を拡張情報として符号化する構成に関しては、実施の形態２の構成を基本として展開することが可能である。

（プログラムでの動作に関して）
なお、上述した実施の形態１及び実施の形態２では、本発明の画像符号化装置及び画像復号化装置を、ブロック図を用いてハードウエア的に構成して説明したが、本発明は、これに限らず、ＣＰＵがＣＤやネックワークを介しダウンロードしたプログラムを実行することにより、同様の形態を実現する画像符号化方法及び画像復号化方法も含む。すなわち、本発明の画像符号化装置及び画像復号化装置の各構成要件の機能は、ＣＰＵとソフトウエアとが協働することにより実現されてもよい。

また、上述した実施の形態１及び実施の形態２では、基本となる画像符号化規格がＭＰＥＧ４−ＡＶＣである場合を想定したが、画像符号化規格はそれに限定されるものではなく、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４−ＳＰ、ＭＰＥＧ４−ＡＳＰ、又は、ＶＣ１等、他の符号化規格であってもよい。

１０１ 入力端子、 １０２ 入力画像メモリ、 １０３ マクロブロック切出回路、 １０４ ４×４／８×８／１６×１６適応イントラ予測回路、 １０５ 基本階層イントラ予測メモリ、 １０６ １／４画素精度動きベクトル検出／補償回路、 １０７ 基本階層参照画像メモリ、 １０８ 基本階層予測モード判定回路、 １０９ 減算器、 １１０ 基本階層ＤＣＴ回路、 １１１ 基本階層量子化回路、 １１２ 基本階層逆量子化回路、 １１３ 基本階層ＩＤＣＴ回路、 １１４ 加算器、 １１５ デブロックフィルタ回路、 １１６ 基本階層エントロピー符号化回路、 １１７ １６×１６固定イントラ予測回路、 １１８ 拡張階層イントラ予測メモリ、 １１９ １／２画素精度動きベクトル補正／補償回路、 １２０ 拡張階層参照画像メモリ、 １２１ 拡張階層予測モード判定回路、 １２２ 減算器、 １２３ 拡張階層ＤＣＴ回路、 １２４ 拡張階層量子化回路、 １２５ 拡張階層逆量子化回路、 １２６ 拡張階層ＩＤＣＴ回路、 １２７ 加算器、 １２８ 減算器、 １２９ 拡張階層エントロピー符号化回路、 １３０ 符号量制御回路、 １３１ 階層多重化回路、 １３２ 出力端子、 ４０１ 入力端子、 ４０２ 階層多重分離回路、 ４０３ 基本階層エントロピー復号回路、 ４０４ 基本階層逆量子化回路、 ４０５ 基本階層ＩＤＣＴ回路、 ４０６ 加算器、 ４０７ デブロックフィルタ回路、 ４０８ ４×４／８×８／１６×１６適応イントラ予測回路、 ４０９ 基本階層イントラ予測メモリ、 ４１０ １／４画素精度動き補償予測回路、 ４１１ 基本階層参照画像メモリ、 ４１２ 基本階層予測モード復号回路、 ４１３ 拡張階層エントロピー復号回路、 ４１４ 加算器、 ４１５ 拡張階層逆量子化回路、 ４１６ 拡張階層ＩＤＣＴ回路、 ４１７ 加算器、 ４１８ １６×１６固定イントラ予測回路、 ４１９ 拡張階層イントラ予測メモリ、 ４２０ １／２画素精度動き補償予測回路、 ４２１ 拡張階層参照画像メモリ、 ４２２ 拡張階層予測モード復号回路、 ４２３ 演算処理量測定回路、 ４２４ 復号階層選択回路、 ４２５ 復号出力切替回路、 ４２６ 出力端子、 ４２７ 基本階層復号単独機能部、 ４２８ 拡張階層復号単独機能部、 ５０１ 入力端子、 ５０２ 入力画像メモリ、 ５０３ マクロブロック切出回路、 ５０４ ４×４／８×８／１６×１６適応イントラ予測回路、 ５０５ 基本階層イントラ予測メモリ、 ５０６ １／４画素精度動きベクトル検出／補償回路、 ５０７ 基本階層参照画像メモリ、 ５０８ 基本階層予測モード判定回路、 ５０９ 減算器、 ５１０ 基本階層ＤＣＴ回路、 ５１１ 基本階層量子化回路、 ５１２ 基本階層逆量子化回路、 ５１３ 基本階層ＩＤＣＴ回路、 ５１４ 加算器、 ５１５ デブロックフィルタ回路、 ５１６ 基本階層エントロピー符号化回路、 ５１７ ＤＣＴ係数格納メモリ、 ５１８ ＤＣＴ係数推定回路、 ５１９ 減算器、 ５２０ 拡張階層エントロピー符号化回路、 ５２１ 符号量制御回路、 ５２２ 階層多重化回路、 ５２３ 出力端子、 ６０１ 入力端子、 ６０２ 階層多重分離回路、 ６０３ 基本階層エントロピー復号回路、 ６０４ 基本階層逆量子化回路、 ６０５ 基本階層ＩＤＣＴ回路、 ６０６ 加算器、 ６０７ デブロックフィルタ回路、 ６０８ ４×４／８×８／１６×１６適応イントラ予測回路、 ６０９ 基本階層イントラ予測メモリ、 ６１０ １／４画素精度動きベクトル検出／補償回路、 ６１１ 基本階層参照画像メモリ、 ６１２ 基本階層予測モード復号回路、 ６１３ 拡張階層エントロピー復号回路、 ６１４ 加算器、 ６１５ ＤＣＴ係数格納メモリ、 ６１６ ＤＣＴ係数推定回路、 ６１７ 演算処理量測定回路、 ６１８ 復号階層選択回路、 ６１９ 出力端子、 ６２０ 基本階層復号単独機能部。

Claims (8)

1. 画像信号を取得する取得部と、
   前記取得部によって取得された前記画像信号に対して、単独で復号可能な基本階層の符号化を行う基本階層符号化部と、
   前記取得部によって取得された前記画像信号に対して、前記基本階層と合わせて復号することにより復号可能な拡張階層の符号化を行う拡張階層符号化部とを備え、
   前記基本階層符号化部は、空間方向の相関を用いる第１の画面内予測部と、時間方向の相関を用いる第１の動き補償予測部とを有し、
   前記拡張階層符号化部は、空間方向の相関を用い、前記第１の画面内予測部よりも複雑度が低い処理を行う第２の画面内予測部と、時間方向の相関を用い、前記第１の動き補償予測部よりも複雑度が低い処理を行う第２の動き補償予測部とを有し、
   前記第１の画面内予測部は、複数の２次元ブロックサイズにおける画面内予測モードより選択される予測情報を生成し、
   前記第２の画面内予測部は、前記第１の画面内予測部によって生成される第１の面内予測信号と予測モードを示す情報との少なくとも一方を取得し、単一の２次元ブロックサイズにおける画面内予測情報を生成して、第２の面内予測信号を生成し、
   前記第２の動き補償予測部は、前記第１の動き補償予測部によって生成される第１の動き補償予測信号と予測モードを示す情報との少なくとも一方を取得し、第２の動き予測信号を生成する
   画像符号化装置。
2. 前記第２の画面内予測部は、前記第１の面内予測信号との相関性の高い予測情報を検出し、
   前記第２の動き補償予測部は、前記第１の動き補償予測信号との相関性の高い予測信号を検出する
   請求項１に記載の画像符号化装置。
3. 画像信号を取得する取得部と、
   前記取得部によって取得された前記画像信号に対して、単独で復号可能な基本階層の符号化を行う基本階層符号化部と、
   前記取得部によって取得された前記画像信号に対して、前記基本階層と合わせて復号することにより復号可能な拡張階層の符号化を行う拡張階層符号化部とを備え、
   前記基本階層符号化部は、空間方向の相関を用いる画面内予測部と、時間方向の相関を用いる動き補償予測部と、前記画面内予測部又は前記動き補償予測部によって生成された予測画像を用いて生成された差分信号に対して、画面内で隣接する画像領域に対する差分信号を用いて差分信号予測画像を生成し、前記予測画像を用いて生成された差分信号より、前記差分信号予測画像を減算する差分信号相関除去部とを有し、
   前記拡張階層符号化部は、前記差分信号相関除去部によって得られた前記差分信号予測画像を符号化する
   画像符号化装置。
4. 単独で復号可能な基本階層と、前記基本階層と合わせて復号することにより復号可能な拡張階層とを有する、符号化された階層符号化ストリームを取得する取得部と、
   前記基本階層の復号処理演算量を測定する演算処理量測定部と、
   本装置の外部条件である電力消費量、バッテリ残量、もしくは処理可能な演算量により設定される復号可能演算量と、前記演算処理量測定部によって測定された前記基本階層の復号処理演算量とに基づいて、前記階層符号化ストリームより抽出する階層を選択する復号階層選択部とを備え、
   前記復号階層選択部は、前記基本階層の復号処理演算量が前記復号可能演算量よりも大きくなる場合、基本階層と拡張階層とを抽出し、前記基本階層の復号処理演算量が前記復号可能演算量よりも大きくならない場合、基本階層のみを抽出する
   画像復号化装置。
5. 画像信号を取得するステップと、
   取得した前記画像信号に対して、単独で復号可能な基本階層の符号化を行うステップと、
   取得した前記画像信号に対して、前記基本階層と合わせて復号することにより復号可能な拡張階層の符号化を行うステップとを含み、
   基本階層の符号化を行うステップは、空間方向の相関を用いる第１の画面内予測ステップと、時間方向の相関を用いる第１の動き補償予測ステップとを有し、
   拡張階層の符号化を行うステップは、空間方向の相関を用い、前記第１の画面内予測ステップよりも演算量の少ない処理を行う第２の画面内予測ステップと、時間方向の相関を用い、前記第１の動き補償予測ステップよりも演算量の少ない処理を行う第２の動き補償予測ステップとを有し、
   前記第１の画面内予測ステップでは、複数の２次元ブロックサイズにおける画面内予測モードより選択される予測情報を生成し、
   前記第２の画面内予測ステップでは、前記第１の画面内予測ステップによって生成される第１の面内予測信号と予測モードを示す情報との少なくとも一方を取得し、単一の２次元ブロックサイズにおける画面内予測情報を生成して、第２の面内予測信号を生成し、
   前記第２の動き補償予測ステップでは、前記第１の動き補償予測ステップによって生成される第１の動き補償予測信号と予測モードを示す情報との少なくとも一方を取得し、第２の動き予測信号を生成する
   画像符号化方法。
6. 前記第２の画面内予測ステップでは、前記第１の面内予測信号との相関性の高い予測情報を検出し、
   前記第２の動き補償予測ステップでは、前記第１の動き補償予測信号との相関性の高い予測信号を検出する
   請求項５に記載の画像符号化方法。
7. 画像信号を取得するステップと、
   取得した前記画像信号に対して、単独で復号可能な基本階層の符号化を行う基本階層符号化ステップと、
   取得した前記画像信号に対して、前記基本階層と合わせて復号することにより復号可能な拡張階層の符号化を行う拡張階層符号化ステップとを含み、
   前記基本階層符号化ステップは、空間方向の相関を用いる画面内予測ステップと、時間方向の相関を用いる動き補償予測ステップと、前記画面内予測ステップ又は前記動き補償予測ステップにおいて生成した予測画像を用いて生成した差分信号に対して、画面内で隣接する画像領域に対する差分信号を用いて差分信号予測画像を生成し、前記予測画像を用いて生成された差分信号より、前記差分信号予測画像を減算する差分信号相関除去ステップとを有し、
   前記拡張階層符号化ステップでは、前記差分信号相関除去ステップにおいて得た前記差分信号予測画像を符号化する
   画像符号化方法。
8. 単独で復号可能な基本階層と、前記基本階層と合わせて復号することにより復号可能な拡張階層とを有する、符号化された階層符号化ストリームを取得するステップと、
   前記基本階層の復号処理演算量を測定するステップと、
   画像符号化装置の外部条件である電力消費量、バッテリ残量、もしくは処理可能な演算量により設定される復号可能演算量と、測定した前記基本階層の復号処理演算量とに基づいて、前記階層符号化ストリームより抽出する階層を選択するステップとを含み、
   階層を選択するステップでは、前記基本階層の復号処理演算量が前記復号可能演算量よりも大きくなる場合、基本階層と拡張階層とを抽出し、前記基本階層の復号処理演算量が前記復号可能演算量よりも大きくならない場合、基本階層のみを抽出する
   画像復号化方法。

Images