JP4844595B2 - 階層符号化装置、非階層符号化変換装置、階層符号化プログラム、および非階層符号化変換プログラム - Google Patents

Description

本発明は、画像信号を階層的に符号化し、また符号化した階層符号化多重化ストリームを、階層構造を有さない非階層符号化多重化ストリームに再符号化する階層符号化装置、非階層符号化変換装置、階層符号化プログラム、および非階層符号化変換プログラムに関する。

近年、デジタル化された画像信号や音声信号を圧縮し、より長時間のコンテンツを記録する装置や、衛星や地上波等の放送波やネットワークを介してコンテンツを配信するサービスが実用化されている。このようなサービスにおいては、膨大な情報量を持つ画像ストリームや音声ストリームが大量に放送または伝送されるため、大きな圧縮率を実現する高能率符号化が所望される。例えば、画像、特に動画像の高能率符号化方式としては、国際規格であるＭＰＥＧ２、ＭＰＥＧ４−ＡＳＰ、ＭＰＥＧ４−ＡＶＣ等の方式が利用されている。これらの符号化方式においては、画像信号の空間方向の隣接画素間の相関および、時間方向に隣接するフレーム間やフィールド間の相関を利用して情報量を圧縮する技術が用いられている。

これらの高能率符号化を通じて圧縮された情報を様々なコンテンツサービスに用いる場合、サービスを提供するときの符号化ストリームの伝送速度または記録速度となる符号化レートや、再生装置の対応画像サイズ、フレーム周波数等の制限が課せられる。従って、一つの纏まった圧縮情報を全てのサービスに共通に適用するためには、そのサービスで必要な例えば符号化レートといった条件に合わせた再符号化処理が必要となる。

かかる再符号化処理は、復号処理と再度の符号化処理との組合せにより実現されるので、２度の符号化処理を通じた大きな符号化劣化を招いてしまい、コンテンツの品質が低下していた。また、複数のサービス要求に同時に答えるために複数の符号化処理を同時に行う必要があるので膨大な処理量を要していた。

これらの要求に答えるべく、符号化対象の画像信号を基本階層と拡張階層に分割して階層的に符号化を行う、階層符号化技術が考案されており、国際規格においてもＭＰＥＧ２スケーラブルプロファイル、ＭＰＥＧ４−ＦＧＳ（Fine Granularity Scalable）、ＭＰＥＧ４−ＳＶＣ（Scalable Video Coding）拡張で、それぞれＭＰＥＧ２、ＭＰＥＧ４およびＭＰＥＧ４−ＡＶＣにおける階層符号化方式が標準化されている。

このような階層符号化方式を用いると、伝送する階層構造を決めさえすれば、サービスで要求される段階的な符号化レートや画像サイズ、フレーム周波数に合わせた符号化ストリームを生成することが可能となり、煩雑な複数回の符号化処理を伴うことなく様々な符号化ストリームを供給することができる。また、複数の拡張階層を利用することができるため、拡張階層を細かく設けることでさらに柔軟な符号化ストリームの生成が可能となる。

このような階層符号化の一例として、各階層の符号化ストリームの符号量を格納しておき、その各階層の符号量の単なる累積が、外部から要求された符号化レートに相当する累積符号量となる階層を選択し、その階層までの符号化ストリームを供給する技術が開示されている（例えば、特許文献１）。

また、基本階層と拡張階層の符号化に用いられる情報を共通化し、シフト行列によって係数を段階的に減衰させて階層符号化多重化ストリームを生成することで、費用効果的に非階層符号化多重化ストリームに変換できる技術も開示されている（例えば、特許文献２）。
特許第２７８８３５１号 特表２００５−５２９５１５号公報

しかし、上述した特許文献１の技術による拡張階層の符号化ストリームは、ＢＤ規格に適用可能なＭＰＥＧ４−ＡＶＣに準拠する符号化規格としては許容されておらず、仮に再生が可能であったとしても、その対象は基本階層の符号化ストリームに制限される。

また、特許文献２の技術では、要求された符号化レートに応じて再符号化を実行せずに非階層符号化多重化ストリームを生成することはできるが、量子化の細かさをビット単位で調整しているので、階層符号化多重化ストリームの状態で保持する際の符号化効率が低下し、一時記録における情報量の増大を招いていた。

さらに、何れの技術を用いたとしても、コンテンツダビング時等の符号化レート制御は、符号化ストリームの再符号化処理時における符号量に基づいて行う必要があり、符号量制御が複雑化し処理時間が増大する問題を招いていた。

本発明は、このような課題に鑑み、非階層符号化多重化ストリームへ変換された場合の符号化レートを考慮してその前段の階層符号化多重化ストリームを生成することで、再符号化処理の負荷を低減し、高効率かつ高精度で非階層符号化多重化ストリームを生成することが可能な階層符号化装置、非階層符号化変換装置、階層符号化プログラム、および非階層符号化変換プログラムを提供することを目的としている。

上記課題を解決するために、本発明の階層符号化装置の代表的な構成は、基本階層における符号化対象のＤＣＴ係数を、基本量子化パラメータを用いて量子化し基本量子化ＤＣＴ係数を生成する基本量子化部と、拡張階層における符号化対象のＤＣＴ係数を、拡張量子化パラメータを用いて量子化し拡張量子化ＤＣＴ係数を生成する拡張量子化部と、基本量子化ＤＣＴ係数にエントロピー符号化を施し、単独で復号可能な基本階層符号化ストリームを生成する基本エントロピー符号化部と、拡張量子化ＤＣＴ係数にエントロピー符号化を施し、基本階層符号化ストリームを利用して復号可能な拡張階層符号化ストリームを生成する拡張エントロピー符号化部と、基本量子化パラメータを制御する基本符号量制御部と、拡張量子化パラメータを制御する拡張符号量制御部と、基本階層符号化ストリームと拡張階層符号化ストリームとを任意の階層の非階層符号化多重化ストリームに変換した場合における非階層符号化多重化ストリームの推定符号量を算出する、拡張変換符号量推定部と、基本階層符号化ストリームと拡張階層符号化ストリームとを多重化して階層符号化多重化ストリームを生成する多重化部と、を備え、拡張符号量制御部は、非階層符号化多重化ストリームの推定符号量が、予め設定された符号化レートにより算出される生成符号量の目標値に近づくように、拡張量子化パラメータを制御することを特徴とする。

本発明では、要求された符号化レートに応じて適切な非階層符号化多重化ストリームを選択的に提供するため、その非階層符号化多重化ストリームへの再符号化を前提とした階層化された階層符号化多重化ストリームが生成される。従って、階層符号化多重化ストリーム自体の符号量ではなく、非階層符号化多重化ストリームに再符号化した後の符号量が、要求される符号化レートに適合するように各階層の符号化処理が遂行される。かかる構成により、複数種類の可搬メディアへの高速ダビング時や、サーバ等からのコンテンツ配信時に、適切な符号化レートで非階層符号化多重化ストリームを短時間でかつ品質良く記憶または伝送することが可能となる。

拡張変換符号量推定部は、非階層符号化多重化ストリームに対応する階層より下位の拡張階層もしくは基本階層における符号化対象のＤＣＴ係数と、当該階層の拡張階層における符号化対象の量子化ＤＣＴ係数と、拡張階層における階層符号化ストリームの符号量を入力し、当該階層の拡張階層においてＤＣＴブロック内でＤＣＴ係数が０でない係数の数と、当該階層の拡張階層においてＤＣＴ係数が０でない係数のうち、非階層符号化多重化ストリームに対応する階層より下位の拡張階層もしくは基本階層におけるＤＣＴブロック内の同一位置のＤＣＴ係数が０でない係数の数と、拡張階層の階層符号化ストリームの符号量を用いて、非階層符号化多重化ストリームの推定符号量を算出してもよい。

非階層符号化多重化ストリーム変換時に算出される符号化ストリームの符号量を、非階層符号化へのエントロピー符号化を施すことなく、基本階層および拡張階層の量子化ＤＣＴ係数を用いて算出することで、階層符号化処理における処理負荷の増加を伴うことなく、要求される符号化レートに適切に対応可能な階層符号化多重化ストリームを生成することが可能となる。

拡張変換符号量推定部は、フレーム単位またはフレーム内符号化が施された基準フレーム単位で符号量を推定し、多重化部は、各拡張階層における推定符号量も多重化して階層符号化多重化ストリームを生成してもよい。

変換された非階層符号化多重化ストリームの推定符号量を、階層毎に、通常のフレーム単位や、ランダムアクセスが可能なフレームの単位で階層符号化多重化ストリームと共に多重化することで、後段の非階層符号化変換装置において、より細かい精度の符号化レートが要求される場合や、時間的に伝送レートが変動する場合においても、リアルタイムに適切かつ高品質な非階層符号化多重化ストリームを提供することができる。

本発明の代表的な他の構成は、基本階層と１または複数の拡張階層にて符号化され多重化された階層符号化多重化ストリームを、階層構造を有さない非階層符号化多重化ストリームに変換する非階層符号化変換装置であって、階層符号化多重化ストリームを、単独で復号可能な基本階層符号化ストリームと、基本階層符号化ストリームを利用して復号可能な拡張階層符号化ストリームとに分離する多重分離部と、基本階層符号化ストリームを復号した基本量子化ＤＣＴ係数、または拡張階層符号化ストリームを基本階層符号化ストリームを利用して復号した拡張量子化ＤＣＴ係数にエントロピー符号化を施し、非階層符号化多重化ストリームを生成するエントロピー符号化部と、ユーザの要求に応じて、エントロピー符号化部によるエントロピー符号化対象の階層を制御する変換階層制御部と、を備え、拡張階層符号化ストリームにおける量子化されたＤＣＴ係数に用いられた拡張量子化パラメータが、任意の階層の非階層符号化多重化ストリームに変換した場合における非階層符号化多重化ストリームの符号量が予め設定された符号化レートにより算出される生成符号量の目標値に近づくように制御されていることを特徴とする。

本発明では、階層符号化多重化ストリームが、画質に応じて複数段階に規定された符号化レートに適合するように予め作られているので、非階層符号化変換装置では、要求に応じてエントロピー符号化対象の階層を選択するだけで、所望の非階層符号化多重化ストリームを供給することが可能となる。また、本発明では、符号化レートを調整する再符号化処理が必要ないのでその分の負荷、処理時間、およびその処理に伴う符号化劣化を削減することができる。

本発明の代表的な他の構成は、基本階層と１または複数の拡張階層にて符号化され多重化された階層符号化多重化ストリームを、階層構造を有さない非階層符号化多重化ストリームに変換する非階層符号化変換装置であって、階層符号化多重化ストリームを、単独で復号可能な基本階層符号化ストリームと、基本階層符号化ストリームを利用して復号可能な拡張階層符号化ストリームに分離する多重分離部と、基本階層符号化ストリームを復号した基本量子化ＤＣＴ係数、または拡張階層符号化ストリームを基本階層符号化ストリームを利用して復号した拡張量子化ＤＣＴ係数にエントロピー符号化を施し、非階層符号化多重化ストリームを生成するエントロピー符号化部と、エントロピー符号化部によるエントロピー符号化対象の階層を、要求された符号化レートに適合する推定符号量に対応させて制御する変換階層制御部と、を備え、階層符号化多重化ストリームに各拡張階層における推定符号量が多重化されていると共に、拡張階層符号化ストリームにおける量子化されたＤＣＴ係数に用いられた拡張量子化パラメータが、任意の階層の非階層符号化多重化ストリームに変換した場合における非階層符号化多重化ストリームの符号量が予め設定された符号化レートにより算出される生成符号量の目標値に近づくように制御されていることを特徴とする。

ここでは、要求された符号化レートに対して、階層符号化装置において階層符号化多重化ストリームを生成するときに用いられた推定符号量に基づいて適応的にエントロピー符号化対象の階層を制御でき、所望する符号化レートに高精度で適応する非階層符号化多重化ストリームを提供することが可能となる。

また、他の観点として、コンピュータを、上述した階層符号化装置や非階層符号化変換装置として機能させる階層符号化プログラムおよび非階層符号化変換プログラムが提供される。

上述した階層符号化装置および非階層符号化変換装置における技術的思想に対応する構成要素やその説明は、当該階層符号化プログラムおよび非階層符号化変換プログラムにも適用可能である。

以上説明したように、本発明によれば、非階層符号化多重化ストリームへ変換された場合の符号化レートを考慮してその前段の階層符号化多重化ストリームを生成することで、再符号化処理の負荷を低減し、高効率かつ高精度で非階層符号化多重化ストリームを生成することが可能となる。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す具体的な数値、数式などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

本実施形態では、要求された符号化レートに応じて適切な非階層符号化多重化ストリームを選択的に提供するため、その非階層符号化多重化ストリームへの再符号化を前提とした階層化された階層符号化多重化ストリームを生成する。そして、この階層符号化多重化ストリームを非階層符号化多重化ストリームに変換する際には、要求された符号化レートが高いほど（高品質なほど）、上位層の階層符号化多重化ストリームまでを段階的に再符号化する。

（第１の実施の形態：符号化システム１００）
図１は、符号化システム１００の全体的な構成を示した説明図である。かかる符号化システム１００は、階層符号化装置１１０と、非階層符号化変換装置１２０とを含んで構成される。

階層符号化装置１１０は、入力された符号化対象の画像信号を階層化された階層符号化を通じて階層符号化多重化ストリームを生成する。かかる階層符号化を構成する符号化方式はＭＰＥＧ４−ＳＶＣを用いる。また本実施形態では、ＳＮＲスケーラブル方式の例を挙げて説明しているが、空間スケーラブル方式、時間スケーラブル方式等にも適用可能である。

非階層符号化変換装置１２０は、階層符号化装置１１０で生成された階層符号化多重化ストリームを、階層構造を有さない非階層符号化多重化ストリームに変換する。特に本実施形態においては、非階層符号化多重化ストリームとして、規定されたＬＰ（低画質）、ＳＰ（中画質）、ＨＰ（高画質）の３つの画質、すなわち符号化レートによる非階層符号化多重化ストリームを想定して階層符号化処理が為される。具体的にはＬＰ（低画質）に相当する符号化ストリームを基本階層で、ＳＰ（中画質）、ＨＰ（高画質）に相当する符号化ストリームをそれぞれ異なる拡張階層で符号化する。

こうして生成された非階層符号化多重化ストリームは、例えば、ＤＶＤ／ＢＤ等可搬の記録メディア１３０に記録されたり、通信網１３２を通じて配信されたりする。そして、プレーヤ１４０によりモニタ１５０を通じてかかる非階層符号化多重化ストリームの視聴が可能となる。以下、階層符号化装置１１０および非階層符号化変換装置１２０の詳細な構成を述べる。

（階層符号化装置１１０）
図２は、階層符号化装置１１０の構成を示すブロック図である。階層符号化装置１１０は、大きく３つの階層（ＬＰ、ＳＰ、ＨＰ）を構成し、入力画像メモリ２００と、マクロブロック切出部２０２と、イントラ予測部２０４と、動きベクトル検出／補償部２０６と、モード判定部２０８と、基本予測ブロック生成部２１０と、減算部２１２と、基本ＤＣＴ部２１４と、基本量子化部２１６と、基本逆量子化部２１８と、基本ＩＤＣＴ部２２０と、加算部２２２と、基本イントラ予測メモリ２２４と、基本参照画像メモリ２２６と、基本エントロピー符号化部２２８と、基本符号量制御部２３０と、拡張予測ブロック生成部２４０と、減算部２４２と、拡張ＤＣＴ部２４４と、拡張逆量子化部２４８と、拡張ＩＤＣＴ部２５０と、加算部２５２と、拡張イントラ予測メモリ２５４と、拡張参照画像メモリ２５６と、拡張量子化部２５８と、量子化比変換部２６０と、減算部２６２と、拡張エントロピー符号化部２６４と、拡張変換符号量推定部２６６と、拡張符号量制御部２６８と、拡張予測ブロック生成部２７０と、減算部２７２と、拡張ＤＣＴ部２７４と、拡張逆量子化部２７８と、拡張ＩＤＣＴ部２８０と、加算部２８２と、拡張イントラ予測メモリ２８４と、拡張参照画像メモリ２８６と、拡張量子化部２８８と、量子化比変換部２９０と、減算部２９２と、拡張エントロピー符号化部２９４と、拡張変換符号量推定部２９６と、拡張符号量制御部２９８と、多重化部３００と、出力画像メモリ３０２とを含んで構成される。

入力画像メモリ２００は、入力端子から入力された符号化対象となる画像信号を記憶する。また、入力画像メモリ２００は、符号化予測構造に応じて入力された画像信号を遅延させたり、符号化処理を行うフレーム順に並べ替えたりした後、記憶している画像信号をマクロブロック切出部２０２に出力する。

マクロブロック切出部２０２は、入力画像メモリ２００から入力された画像信号を、符号化処理を施す単位であるマクロブロック単位で切り出し、その切り出した２次元ブロック画像をイントラ予測部２０４、動きベクトル検出／補償部２０６および減算部２１２、２４２、２７２に出力する。

イントラ予測部２０４は、マクロブロック切出部２０２からの２次元ブロック画像と、基本イントラ予測メモリ２２４に格納されている、符号化およびローカル復号した基本復号画像とを用いてイントラ予測を行う。かかるイントラ予測は、復号が完了している同一フレーム上の２次元座標における上および左のマクロブロックを用いて、符号化ターゲットである２次元ブロック画像に対する複数のフレーム内予測画像を生成し、伝送する予測差分が少なくなるイントラ予測モードを確定させ、イントラ予測画像を生成する方式である。イントラ予測部２０４は、確定したイントラ予測モードと、予測差分の情報量を推定する評価値をモード判定部２０８に出力すると共に、基本予測ブロック生成部２１０に生成したイントラ予測画像を出力する。

動きベクトル検出／補償部２０６は、マクロブロック切出部２０２からの２次元ブロック画像と、基本参照画像メモリ２２６に格納される符号化およびローカル復号している基本復号画像とを用いて動きベクトル検出および動き補償予測を行う。かかる動き補償予測は、復号完了済みの複数の異なる参照画像に基づき符号化ターゲットである２次元ブロック画像に対する動きベクトルを、２次元パターンマッチング等を通じて検出し、伝送する予測差分が少なくなる動き補償予測モードと参照画像を確定させ、動きベクトルとそのブロックサイズを用いて参照画像に動き補償を施した動き補償予測画像を生成する方式である。動きベクトル検出／補償部２０６は、動き補償予測モード、動きベクトル、予測差分の情報量を推定する評価値をモード判定部２０８に出力すると共に、生成した動き補償予測画像を基本予測ブロック生成部２１０に出力する。

モード判定部２０８は、符号化ターゲットである画像フレームが単独で符号化が完結するイントラスライスであった場合、イントラ予測のみ適用可能であるためイントラ予測部２０４から入力されたイントラ予測モードが採用され、基本予測ブロック生成部２１０にイントラ予測モードが選択されていることを伝達する。また、動き補償を用いたフレーム間相関を使用可能なインタースライスであった場合の、イントラ予測部２０４および動きベクトル検出／補償部２０６から入力された予測差分の情報量を推定する評価値を比較し、より少ない情報量で符号化できると判断される予測モードが選択され、その旨基本予測ブロック生成部２１０に伝達する。このときモード判定部２０８によって選択された予測モード情報（イントラ予測モードもしくは動き補償予測モード）と動きベクトルは、基本階層（本実施形態においてはＬＰ）の基本エントロピー符号化部２２８に出力されると共に、後述する拡張階層符号化処理に用いられる拡張予測ブロック生成部２４０、２７０に出力される。

基本予測ブロック生成部２１０は、モード判定部２０８から予測モードの選択情報を受け、その選択情報に基づいてイントラ予測部２０４からのイントラ予測画像と動きベクトル検出／補償部２０６からの動き補償予測画像から予測画像を選択し、減算部２１２および加算部２２２に出力する。

減算部２１２は、マクロブロック切出部２０２の２次元ブロック画像から、基本予測ブロック生成部２１０の予測画像を減算して基本階層の予測差分画像を生成し、基本ＤＣＴ部２１４に出力する。

基本ＤＣＴ部２１４は、減算部２１２からの予測差分画像を周波数成分に変換するために、直交変換の一種である２次元ＤＣＴを施す。ＭＰＥＧ４−ＡＶＣでは、ＤＣＴとして整数ＤＣＴを採用しており、予測差分画像を周波数軸に変換する変換処理中の周波数成分のレベルを正規化する演算処理を、後続する量子化処理と一体的に行うことで、ＤＣＴ変換およびＩＤＣＴ変換での誤差の発生を回避できる。基本ＤＣＴ部２１４は、整数ＤＣＴ処理を施した結果のＤＣＴ係数を基本量子化部２１６に出力する。

基本量子化部２１６は、後述する基本符号量制御部２３０で生成される、基本階層における量子化処理の基準となる量子化パラメータである基本量子化パラメータを用いて、基本ＤＣＴ部２１４からのＤＣＴ係数毎に量子化処理を行い、生成された基本量子化ＤＣＴ係数および基本量子化パラメータを基本逆量子化部２１８、基本エントロピー符号化部２２８、および量子化比変換部２６０に出力する。

基本逆量子化部２１８は、基本量子化部２１６からの基本量子化ＤＣＴ係数を、基本量子化パラメータを用いて逆量子化し、復号ＤＣＴ係数を生成し、その復号ＤＣＴ係数を基本ＩＤＣＴ部２２０に出力する。

基本ＩＤＣＴ部２２０では、基本逆量子化部２１８からの復号ＤＣＴ係数に対して整数ＤＣＴの逆変換となる整数ＩＤＣＴ処理を施し、基本階層の復号差分画像を生成し、その復号差分画像を加算部２２２に出力する。

加算部２２２では、基本予測ブロック生成部２１０から入力された予測画像と、基本ＩＤＣＴ部２２０から入力された基本階層の復号差分画像とを加算して基本階層の復号画像信号を生成する。加算部２２２で生成された復号画像信号は、基本イントラ予測メモリ２２４および基本参照画像メモリ２２６に基本復号画像として格納される。

基本イントラ予測メモリ２２４は、入力された復号画像信号を常に格納する。これに対して、基本参照画像メモリ２２６は、入力された復号画像信号が後続する画像信号の動き補償予測の参照画像となる場合にのみその復号画像信号を格納する。

基本エントロピー符号化部２２８は、モード判定部２０８からの予測モード情報および動きベクトルを用い、基本量子化部２１６からの基本量子化ＤＣＴ係数に対して、所定の構文構造に基づくエントロピー符号化を施し、基本階層を構成する基本階層符号化ストリームを生成し、多重化部３００に出力する。また、基本エントロピー符号化部２２８は、生成された基本階層符号化ストリームの符号量を基本符号量制御部２３０に出力する。

基本符号量制御部２３０は、基本階層の符号量制御部であり、基本エントロピー符号化部２２８で生成された基本階層符号化ストリームの符号量と、基本階層（本実施形態ではＬＰ）において設定されている符号化レートに基づいて算出される生成ストリームの符号量の目標値（目標符号量）とを比較し、目標符号量に近づけるために、基本量子化部２１６が後続するマクロブロックを量子化する際の基本量子化パラメータを制御する。

上述した入力画像メモリ２００と、マクロブロック切出部２０２と、イントラ予測部２０４と、動きベクトル検出／補償部２０６と、モード判定部２０８と、基本予測ブロック生成部２１０と、減算部２１２と、基本ＤＣＴ部２１４と、基本量子化部２１６と、基本逆量子化部２１８と、基本ＩＤＣＴ部２２０と、加算部２２２と、基本イントラ予測メモリ２２４と、基本参照画像メモリ２２６と、基本エントロピー符号化部２２８と、基本符号量制御部２３０とにより、基本階層（ＬＰ）のＭＰＥＧ４−ＡＶＣ符号化処理が実現され、基本エントロピー符号化部２２８から出力される基本階層符号化ストリームは、基本階層（ＬＰ）で設定された符号化レートに対して符号量制御されたＭＰＥＧ４−ＡＶＣストリームとなる。

続いて、拡張階層の符号化を構成する構造を説明する。拡張階層は１または複数とることができ、ここでは上述した基本階層（ＬＰ）の上位に２つの拡張階層（ＳＰ、ＨＰ）を設定している。本実施形態の階層符号化装置１１０においては、復号された各階層のＤＣＴ係数を、係数単位の乗算および加算のみで非階層符号化に対応したＤＣＴ係数に変換する構造を採用している。

また、各階層に対して設定されている符号化レートは、例えば、基本階層としてのＬＰモードが４Ｍｂｐｓ、１層目の拡張階層としてのＳＰモードが８Ｍｂｐｓ、２層目の拡張階層としてのＨＰモードが１２Ｍｂｐｓ等のように、基本階層（ＬＰ）の符号化レートに対して、１層目の拡張階層（ＳＰ）ではより高い符号化レートが設定され、２層目の拡張階層２（ＨＰ）では、１層目の拡張階層よりもさらに高い符号化レートが設定される。

拡張階層符号化を構成する構造のうち、拡張予測ブロック生成部２４０、２７０と、減算部２４２、２７２と、拡張ＤＣＴ部２４４、２７４と、拡張逆量子化部２４８、２７８と、拡張ＩＤＣＴ部２５０、２８０と、加算部２５２、２８２と、拡張イントラ予測メモリ２５４、２８４と、拡張参照画像メモリ２５６、２８６とは、基本階層（ＬＰ）において既に述べた構成要素と実質的に機能が同一なので重複説明を省略し、ここでは、機能が相違する構成のみを詳述する。また、１層目の拡張階層の構成と２層目の拡張階層の構成も実質的に等しいのでここでは同一の構成名で一度に説明し、連続して表されている符号の順はそれぞれの拡張階層の階層順（１層目、２層目）に対応している。

拡張量子化部２５８、２８８は、基本量子化部２１６同様、後述する拡張符号量制御部２６８、２９８で生成される拡張量子化パラメータを用いて、拡張ＤＣＴ部２４４、２７４からの拡張ＤＣＴ係数毎に量子化処理を行い、拡張量子化ＤＣＴ係数および拡張量子化パラメータを減算部２６２、２９２、拡張逆量子化部２４８、２７８に出力し、拡張量子化ＤＣＴ係数を拡張変換符号量推定部２６６、２９６に出力し、拡張量子化パラメータを拡張エントロピー符号化部２６４、２９４に出力する。また、上位の階層が存在する場合、例えば、拡張階層（ＨＰ）が存在する拡張階層（ＳＰ）では、拡張量子化パラメータを量子化比変換部２９０にも出力する。

量子化比変換部２６０は、基本量子化部２１６および拡張量子化部２５８からの各階層における量子化パラメータ（基本量子化パラメータおよび拡張量子化パラメータ）に基づき、基本量子化部２１６から入力された基本階層の基本量子化ＤＣＴ係数を、例えば以下に示す数式１のように基本階層と１層目の拡張階層との量子化パラメータの比率で乗算し、乗算結果を修正基本量子化ＤＣＴ係数として減算部２６２に、この修正基本量子化ＤＣＴ係数を拡張変換符号量推定部２６６に出力する。

BaseDCT’(x,y)= (QSBase × BaseDCT(x,y) / QSEnhance1 …（数式１）
ただし、ＢａｓｅＤＣＴは基本量子化ＤＣＴ係数、ＱＳＥｎｈａｎｃｅは拡張量子化パラメータ、ＱＳＢａｓｅは基本量子化パラメータ、ＢａｓｅＤＣＴ’ は修正基本量子化ＤＣＴ係数、ｘは２次元ＤＣＴ水平方向次数、ｙは２次元ＤＣＴ垂直方向次数である。

同様に、量子化比変換部２９０は、拡張量子化部２５８および拡張量子化部２８８から各階層における拡張量子化パラメータに基づき、拡張量子化部２５８から入力された１層目の拡張階層の拡張量子化ＤＣＴ係数を、１層目の拡張階層と２層目の拡張階層との拡張量子化パラメータの比率で乗算し、乗算結果を修正拡張量子化ＤＣＴ係数として減算器２９２に、この修正拡張量子化ＤＣＴ係数を拡張変換符号量推定部２９６に出力する。

減算部２６２、２９２は、拡張量子化部２５８、２８８から入力された拡張階層量子化ＤＣＴ係数から、量子化比変換部２６０、２９０から入力された修正基本量子化ＤＣＴ係数、修正拡張量子化ＤＣＴ係数を係数毎に減算し、拡張量子化ＤＣＴ係数差分を生成する。減算部２６２、２９２で生成された拡張階層量子化ＤＣＴ係数差分は、拡張エントロピー符号化部２６４、２９４に出力される。

拡張エントロピー符号化部２６４、２９４は、減算部２６２、２９２から入力された拡層量子化ＤＣＴ係数差分と、拡張量子化部２５８、２８８から入力された拡張量子化パラメータに対してエントロピー符号化を施し、各段の拡張階層（ＳＰ、ＨＰ）の拡張階層符号化ストリームを生成して多重化部３００に出力する。予測に用いたモード情報に関しては、基本階層と同一モードを使用したことを示す情報が伝送されることで、復号時には基本階層の予測モード情報を用いた復号処理が行われる。拡張エントロピー符号化部２６４、２９４は生成した拡張階層符号化ストリームの符号量を拡張変換符号量推定部２６６、２９６に出力する。

拡張変換符号量推定部２６６には、量子化比変換部２６０から修正基本量子化ＤＣＴ係数が入力されると共に、拡張量子化部２５８から量子化された拡張階層ＤＣＴ係数が、拡張エントロピー符号化部２６４から拡張階層の拡張階層符号化ストリームの符号量が入力される。拡張変換符号量推定部２６６は、これらの入力情報に基づいて基本階層および１層目の拡張階層で符号化された階層符号化ストリームを抽出し、１層目の拡張階層（ＳＰ）の非階層符号化ストリームに符号変換した際に発生する符号量を推定する。具体的な推定アルゴリズムに関しては後述する。かかる推定した符号変換後の非階層符号化多重化ストリームの推定符号量は拡張符号量制御部２６８に出力される。

同様に、拡張変換符号量推定部２９６には、量子化比変換部２９０から修正拡張量子化ＤＣＴ係数が入力されると共に、拡張量子化部２８８から、量子化された拡張階層ＤＣＴ係数が、拡張エントロピー符号化部２９４から拡張階層の階層符号化ストリームの符号量が入力され、第２の拡張階層（ＨＰ）に関して非階層符号化ストリームに符号変換した際に発生する符号量を推定する。かかる推定した符号変換後の非階層符号化ストリームの推定符号量は拡張符号量制御部２９８に出力される。

本実施形態では、非階層符号化ストリームの符号化レートを、その前段の階層符号化ストリーム生成時点で制御することを目的としている。即ち、階層符号化装置１１０の制御対象は非階層符号化ストリームの符号化レートである。しかし、かかる制御対象は、別体の装置（非階層符号化変換装置１２０）で時間的にも独立しているのでフィードバック制御に直接利用できない。そこで、拡張変換符号量推定部２６６、２９６によりその制御対象（非階層符号化ストリームの符号量）を階層符号化装置１１０内で完結的に推定し、その推定符号量をもって階層符号化多重化ストリームを制御する。

このように非階層符号化多重化ストリーム変換時に算出される符号化ストリームの符号量を、非階層符号化へのエントロピー符号化を施すことなく、基本階層および拡張階層の量子化ＤＣＴ係数を用いて算出することで、階層符号化処理における処理負荷の増加を伴うことなく、要求される符号化レートに適切に対応可能な階層符号化多重化ストリームを生成することが可能となる。

拡張符号量制御部２６８、２９８は、拡張階層の符号量制御部であり、拡張変換符号量推定部２６６、２９６からの非階層符号化ストリームの推定符号量と、各拡張階層（ＳＰ、ＨＰ）に対して設定されている符号化レートから算出される生成ストリームの符号量の目標値とを比較し、目標符号量に近づけるために、拡張量子化部２５８、２８８が後続するマクロブロックを量子化する際の拡張量子化パラメータを制御する。ここで、各拡張階層（ＳＰ、ＨＰ）において設定される符号化レートは、階層符号化を施した際に発生する各拡張階層の符号化レートではなく、基本階層および拡張階層で生成された階層符号化ストリームをさらに非階層符号化ストリームに符号変換した際の符号化レートである。従って、非階層符号化ストリームに符号変換することで生成される符号化ストリームは、予め階層符号化時に設定した符号化レートとなる。

そして、拡張符号量制御部２６８、２９８で生成された拡張量子化パラメータは、拡張量子化部２５８、２８８に出力され、後続する拡張階層の階層符号化処理に用いられる。

上述した拡張予測ブロック生成部２４０と、減算部２４２と、拡張ＤＣＴ部２４４と、拡張逆量子化部２４８と、拡張ＩＤＣＴ部２５０と、加算部２５２と、拡張イントラ予測メモリ２５４と、拡張参照画像メモリ２５６と、拡張量子化部２５８と、量子化比変換部２６０と、減算部２６２と、拡張エントロピー符号化部２６４と、拡張変換符号量推定部２６６と、拡張符号量制御部２６８とにより、基本階層（ＬＰ）同様、拡張階層のＭＰＥＧ４−ＳＶＣ符号化処理が実現される。こうして生成された基本階層の基本階層符号化ストリームと１層目の拡張階層符号化ストリームを用いて、非階層符号化多重化ストリーム符号変換すると、拡張階層（ＳＰ）で設定された符号化レートに対して符号量制御されたＭＰＥＧ４−ＡＶＣストリームを生成することができる。

また、同様に拡張予測ブロック生成部２７０と、減算部２７２と、拡張ＤＣＴ部２７４と、拡張逆量子化部２７８と、拡張ＩＤＣＴ部２８０と、加算部２８２と、拡張イントラ予測メモリ２８４と、拡張参照画像メモリ２８６と、拡張量子化部２８８と、量子化比変換部２９０と、減算部２９２と、拡張エントロピー符号化部２９４と、拡張変換符号量推定部２９６と、拡張符号量制御部２９８とにより、１層目の拡張階層の拡張階層符号化ストリームと２層目の拡張階層の拡張階層符号化ストリームを用いて、非階層符号化多重化ストリーム符号変換すると、拡張階層（ＨＰ）で設定された符号化レートに対して符号量制御されたＭＰＥＧ４−ＡＶＣストリームを生成することができる。

多重化部３００は、基本エントロピー符号化部２２８から出力される基本階層（ＬＰ）の基本階層符号化ストリームと、拡張エントロピー符号化部２６４から出力される１層目の拡張階層（ＳＰ）の拡張階層符号化ストリームおよび２層目の拡張エントロピー符号化部２９４から出力される拡張階層符号化ストリームとを多重化し、階層符号化多重化ストリームとして出力画像メモリ３０２に一時的に記録する。また、多重化部３００は、階層符号化多重化ストリームを外付けの記録装置に直接記録することもできる。

続いて、拡張変換符号量推定部２６６、２９６で行われる変換符号量推定処理アルゴリズムに関して説明する。

図３は、比較例としての非階層符号化変換における符号化レートの推移を示した説明図である。本実施形態を適用していない場合、基本階層符号化ストリームの符号量と拡張階層符号化ストリームの符号量を単純に累積した場合の符号化レートの推移は図３に示すように必ずしも一定の値を示さない。さらに、その基本階層符号化ストリームと拡張階層符号化ストリームを再符号化した非階層符号化多重化ストリームは、一定の値にならないだけでなく、基本階層符号化ストリームの符号量と拡張階層符号化ストリームの符号量の累積値とも異なる推移をとる。また、基本階層符号化ストリームの符号量と拡張階層符号化ストリームの符号量の累積値との差分は、その推移に単純に依存しないので、基本階層符号化ストリームや拡張階層符号化ストリームの符号量を調整するだけでは、非階層符号化多重化ストリームの符号化レートを調整することはできない。

本実施形態では、上述したような構成により、変換符号量推定処理を適用し、非階層符号化多重化ストリームへの変換後の符号量を予め算出して変換後の符号化レートを推定し、階層符号化多重化ストリーム生成時に符号量制御を行う。こうして、煩雑な再符号化処理を伴うことなく、階層符号化多重化ストリームから非階層符号化多重化ストリームに変換することが可能となる。

また、本実施形態の変換符号量推定処理は、拡張変換符号量推定部２６６、２９６の構成の説明で示したように、下位階層までの階層符号化多重化ストリームを非階層符号に変換した際の修正量子化ＤＣＴ係数と符号量、および上位階層（符号化を施している拡張階層）の予測差分に対する量子化後の量子化ＤＣＴ係数、マクロブロック単位で発生した上位階層の階層符号化時の符号量が入力され、マクロブロック単位の非階層符号変換後の推定符号量が出力される。

変換符号量推定処理では、上位階層の予測差分に対する量子化後のＤＣＴ係数に仮エントロピー符号化を施し、変換時に出力される符号量を計算することもでき、目的とする変換時の符号量を精度良く推定することも可能である。しかし、かかる構成では各拡張階層に対して２個のエントロピー符号化処理が必要となり、演算量もしくは演算回路の規模が増大する。その為、本実施形態の変換符号量推定処理では、階層毎のＤＣＴ係数を比較することで、精度良く変換時の符号量を推定するアルゴリズムを実現している。

図４は、変換符号量推定処理の具体的なアルゴリズムを示したフローチャートであり、図５は、変換符号量推定処理の有意係数の関係を示した説明図である。ここで、上位階層は変換符号量推定処理を実行する拡張階層を示し、下位階層は上位階層より下位にある全ての階層を示す。

ここでは、まず、推定対象となるマクロブロック毎の変換符号量Ａｄｄ、および下位階層に有意（０（ゼロ）ではない情報がある有効）な量子化ＤＣＴ係数が存在することを示す値ＣＢＰが０に初期化される（Ｓ３５０）。そしてマクロブロック内に存在するすべてのＤＣＴブロック３９０に対する推定処理を開始させる（Ｓ３５２）。

当該推定処理では、まずＤＣＴブロック３９０内のスキャン対象位置ｐが開始点に設定される（Ｓ３５４）。このときのＤＣＴブロック３９０内の係数スキャン順は、符号化時のＤＣＴ係数のスキャンと同一順とする。続いて、上位階層有意係数カウンタＥｎｈＣおよび、下位階層有意係数カウンタＢａｓｅＣが０に初期化される（Ｓ３５６）。

係数スキャンの処理準備が整うと、ＤＣＴブロック内位置ｐにおける、上位階層の量子化ＤＣＴ係数が有意（０でない）であるか否かが判断される（Ｓ３５８）。有意であれば（Ｓ３５８の“ＹＥＳ”）、ＥｎｈＣを１インクリメントし（Ｓ３６０）、さらに、ＤＣＴブロック内位置ｐに存在する、下位階層を非階層符号に変換した量子化ＤＣＴ係数が有意か否かを判断する（Ｓ３６２）。ここで有意であると判断される場合（Ｓ３６２の“ＹＥＳ”）、ＢａｓｅＣを１インクリメントする（Ｓ３６４）。有意判断（Ｓ３５８またはＳ３６２）において、有意でない（“ＮＯ”）と判断された場合、インクリメント処理をスキップする。

次に、スキャン対象位置ｐがＤＣＴブロック３９０のスキャン順の最終係数であるかどうかが、ＤＣＴブロック内位置ｐがＤＣＴブロックサイズに達したかどうかで判断され（Ｓ３６６）、最終係数でない場合（Ｓ３６６の“ＮＯ”）には、ｐを１インクリメントして（Ｓ３６８）、続くＤＣＴ係数の判断（Ｓ３５８）から繰り返す。

量子化ＤＣＴ係数が最終係数である場合（Ｓ３６６の“ＹＥＳ”）、即ち、１つのＤＣＴブロック３９０の一通りの有意判断処理が完了すると、続いてＥｎｈＣが０であるかどうかが判断される（Ｓ３７０）。ＥｎｈＣが０でない（Ｓ３７０の“ＮＯ”）場合には、該当するＤＣＴブロック３９０で生成される上位階層の生成符号量Ｃｏｅｆと、ＢａｓｅＣ、ＥｎｈＣを用いて、そのＤＣＴブロック３９０の非階層符号変換後の推定符号量を以下に示す数式２のように算出し、Ａｄｄに加算する（Ｓ３７２）。

Ａｄｄ＝ Ａｄｄ ＋ Ｃｏｅｆ×（１−α×ＢａｓｅＣ／ＥｎｈＣ） …（数式２）
ただし、係数αは０以上１未満の定数である。

続いて、ＢａｓｅＣが０であるかどうかを判断し（Ｓ３７４）、ＢａｓｅＣが０である（Ｓ３７４の“ＹＥＳ”）場合には、上位階層で初めて有意係数が発生したと判断して、ブロックに関する符号化情報が増加したことによる符号量増加分として、係数βをＡｄｄに加算する（Ｓ３７６）。ここで係数βは正の整数である。また、ＢａｓｅＣが０でない場合（Ｓ３７４の“ＮＯ”）には、ＣＢＰに１をセットする（Ｓ３７８）。この場合には、上位階層による符号量の増加は無いものとして、続くＤＣＴブロックの判断に移る。

こうして、一つのＤＣＴブロック３９０に対する推定処理は終了し、該当ＤＣＴブロック３９０がマクロブロックの最終ＤＣＴブロックであるかどうかが判断され（Ｓ３８０）、最終ＤＣＴブロックである場合（Ｓ３８０の”ＹＥＳ”）には、次のステップに、最終ＤＣＴブロックではない場合（Ｓ３８０の”ＮＯ”）には、次のＤＣＴブロックを選択して（Ｓ３８２）、推定処理（Ｓ３５２）から繰り返される。

次に、下位階層での量子化ＤＣＴ係数がすべて０であるかどうかを、ＣＢＰが０以外の数値であるかどうかを通じて判断する（Ｓ３８４）。ＣＢＰが０である場合（Ｓ３８４の“ＹＥＳ”）、該当マクロブロックに関して上位階層で新たに情報が発生したと判断し、マクロブロックヘッダに対する情報量であるＨｄｒをＡｄｄに加算する（Ｓ３８６）。ＣＢＰが０でなかった場合（Ｓ３８４の“ＮＯ”）には、Ａｄｄへの加算は行わない。

上述した処理によって生成された推定マクロブロック変換符号量Ａｄｄは、上位階層を変換することにより新たに発生する変換符号量の推定量となるため、下位階層までの推定符号量にＡｄｄを加算し、推定マクロブロックの推定符号量として出力する（Ｓ３８８）。

この推定処理アルゴリズムでは、符号変換（トランスコード）を施した際に、基本階層には存在しない（０である）量子化ＤＣＴ係数が、拡張階層で存在する（０ではない）場合には、基本階層が０でない係数が異なる０でない係数に変化した場合よりも、符号量に与える影響が大きいことを利用している。例えば、図５に示されるような下位階層と上位階層とのＤＣＴ有意係数の関係を評価し、図５（ｂ）の上位階層において初めて有意な量子化ＤＣＴ係数が発生した場合３９２と、図５（ａ）で既に有意な量子化ＤＣＴ係数があり、そこに重畳して有意な量子化ＤＣＴ係数が発生した場合３９４とで、推定符号量に重み付けを行うことで、非階層符号に変換した際の発生符号量を精度良く推定することができる。

以上、説明したように本実施形態では、要求された符号化レートに応じて適切な非階層符号化多重化ストリームを選択的に提供するため、その非階層符号化多重化ストリームへの再符号化を前提とした階層化された階層符号化多重化ストリームが生成される。従って、階層符号化多重化ストリーム自体の符号量ではなく、非階層符号化多重化ストリームに再符号化した後の符号量が、要求される符号化レートに適合するように各階層の符号化処理が遂行される。かかる構成により、複数種類の可搬メディアへの高速ダビング時や、サーバ等からのコンテンツ配信時に、適切な所定の符号化レートで非階層符号化多重化ストリームを短時間でかつ品質良く記憶または伝送することが可能となる。

（非階層符号化変換装置１２０）
上述した階層符号化装置１１０で符号化および多重化された階層符号化多重化ストリームは、非階層符号化変換装置１２０によって非階層符号化多重化ストリームに変換される。

図６は、非階層符号化変換装置１２０の構成を示すブロック図である。非階層符号化変換装置１２０は、多重分離部４００と、ヘッダ情報バッファ４０２と、基本符号バッファ４０４と、拡張符号バッファ４０６、４０８と、エントロピー復号ＤＣＴ係数抽出部４１０、４１２、４１４と、量子化比変換部４１６と、加算器４１８と、量子化比変換部４２０と、加算器４２２と、変換階層制御部４２４と、エントロピー符号化部４２６と、多重化部４２８と、生成符号量評価部４３０とを含んで構成される。

上述した階層符号化装置１１０では、拡張階層を２層として符号化しているので、かかる非階層符号化変換装置１２０でも、拡張階層を２層とする。しかし、階層符号化装置１１０や非階層符号化変換装置１２０のいずれにおいても、例えば、３、４、５、…層といった複数の階層を構成することが可能である。

多重分離部４００は、入力端子を通じて、階層符号化装置１１０から直接または一時的な記録メディアを介して入力された階層符号化多重化ストリームを、符号化構造や予測モード等のパラメータであるヘッダ情報と、基本階層の階層符号化多重化ストリームと、各拡張階層の階層符号化多重化ストリームとに分離する。そして分離した各情報をそれぞれのバッファに伝送する。

本実施形態は、基本階層と２つの拡張階層で構成されるので、多重分離部４００は、ヘッダ情報をヘッダ情報バッファ４０２に、基本階層符号化ストリームを基本符号バッファ４０４に、拡張階層符号化ストリーム（ＳＰ、ＨＰ）を拡張符号バッファ４０６、４０８に出力し、ヘッダ情報バッファ４０２、基本符号バッファ４０４、拡張符号バッファ４０６、４０８は、それぞれの情報を保持する。

エントロピー復号ＤＣＴ係数抽出部４１０、４１２、４１４は、基本符号バッファ４０４、拡張符号バッファ４０６、４０８から基本階層（ＬＰ）、拡張階層（ＳＰ）、拡張階層（ＨＰ）それぞれの階層符号化多重化ストリームを取り出し、各階層のエントロピー復号処理を行い、量子化ＤＣＴ係数と量子化パラメータを抽出する。

基本階層のエントロピー復号ＤＣＴ係数抽出部４１０においては、基本量子化ＤＣＴ係数と基本量子化パラメータがエントロピー符号化部４２６および量子化比変換部４１６に出力される。拡張階層のエントロピー復号ＤＣＴ係数抽出部４１２、４１４においては、拡張量子化ＤＣＴ係数が加算器４１８、４２２に出力されると共に、拡張量子化パラメータがエントロピー符号化部４２６および量子化比変換部４１６、４２０に出力される。最上位の階層である拡張階層（ＨＰ）のエントロピー復号ＤＣＴ係数抽出部４１４においては、拡張量子化ＤＣＴ係数を加算器４２２に出力し、拡張量子化パラメータをエントロピー符号化部４２６および量子化比変換部４２０に出力する。

量子化比変換部４１６は、エントロピー復号ＤＣＴ係数抽出部４１０から基本階層の基本量子化パラメータと基本量子化ＤＣＴ係数が、エントロピー復号ＤＣＴ係数抽出部４１２から拡張階層の拡張量子化パラメータが入力され、上述した数式１で示した変換処理を行って、修正基本量子化ＤＣＴ係数を算出し、加算器４１８に出力する。

加算器４１８は、エントロピー復号ＤＣＴ係数抽出部４１２からの拡張階層（ＳＰ）の拡張量子化ＤＣＴ係数（差分）と、量子化比変換部４１６から供給された修正基本量子化ＤＣＴ係数とを加算し、１層目の拡張階層までの全てのスケーラブル情報のＤＣＴ成分に対して非階層符号変換を施した結果のＤＣＴ成分をエントロピー符号化部４２６および量子化比変換部４２０に出力する。

ここで、加算器４１８の加算結果のＤＣＴ成分は、図１の階層符号化装置１１０における拡張量子化部２５８から出力される量子化された拡張量子化ＤＣＴ係数と同一値になるので、変換処理におけるミスマッチは発生しない。

量子化比変換部４２０は、加算器４１８からの拡張階層（ＳＰ）までを非階層符号変換した結果のＤＣＴ成分と、エントロピー復号ＤＣＴ係数抽出部４１２からの拡張階層（ＳＰ）の拡張量子化パラメータと、エントロピー復号ＤＣＴ係数抽出部４１４からの拡張階層（ＨＰ）の拡張量子化パラメータとを用いて、量子化比変換部４１６と同様の変換処理を施し、変換処理後の修正拡張量子化ＤＣＴ係数を加算器４２２に出力する。

加算器４２２は、量子化比変換部４２０から供給される修正拡張量子化ＤＣＴ係数と、エントロピー復号ＤＣＴ係数抽出部４１４から供給される拡張階層（ＨＰ）の拡張量子化ＤＣＴ係数（差分）とを加算し、拡張階層（ＨＰ）までの全てのスケーラブル情報のＤＣＴ成分に対して非階層符号変換を施した結果のＤＣＴ成分をエントロピー符号化部４２６に出力する。

変換階層制御部４２４は、非階層符号変換処理を行うために必要な、例えばＬＰ、ＳＰ、ＨＰの３つの符号化モードをユーザに選択させ、入力された符号化モードに基づいて、エントロピー符号化を行う為の切り替え信号をエントロピー符号化部４２６に出力する。

本実施形態では、階層符号化装置１１０において、階層符号化多重化ストリームが設定された符号化レートに適合するように予め作られているので、非階層符号化変換装置１２０では、要求に応じてエントロピー符号化対象の階層を選択するだけで、所望の非階層符号化多重化ストリームを供給することが可能となる。

エントロピー符号化部４２６では、変換階層制御部４２４から入力された切り替え信号に基づき、入力された基本階層（ＬＰ）のＤＣＴ成分と基本量子化パラメータ、拡張階層（ＳＰ）までのスケーラブル情報のＤＣＴ成分に対して非階層符号変換を施した結果のＤＣＴ成分と量子化パラメータ、拡張階層（ＨＰ）までのスケーラブル情報のＤＣＴ成分に対して非階層符号変換を施した結果のＤＣＴ成分と量子化パラメータのうちから、変換符号化処理を施す成分を選択して、ヘッダ情報バッファ４０２から供給されるマクロブロック単位のヘッダ情報と共にエントロピー符号化を行う。そして、エントロピー符号化部４２６は、エントロピー符号化を行った結果のストリームを多重化部４２８に出力すると共に、符号変換による発生符号量が生成符号量評価部４３０に出力される。

多重化部４２８では、エントロピー符号化部４２６から供給される符号化ストリームと、ヘッダ情報バッファ４０２から供給されるスライス単位のヘッダ情報を多重化し、ＭＰＥＧ４−ＡＶＣ符号化の非階層符号化多重化ストリームとして、出力端子を介して、可搬メディア等の変換ストリーム格納メディアに出力および記録する。

生成符号量評価部４３０は、変換階層制御部４２４から供給される符号化モードに基づいて、エントロピー符号化部４２６から供給される変換後の符号量（符号化レート）が本来あるべき符号量（符号化レート）を大きく逸脱していないかどうかを確認する。符号量が大きく逸脱するような場合においては、適切な符号化レートを補償すべく、符号化モードを調整する制御信号を変換階層制御部４２４に出力する。

以上説明した階層符号化装置１１０および非階層符号化変換装置１２０を用いることで、階層符号化を用いた階層符号化ストリームを生成し一時記録する際に、事後的に非階層符号化に変換されるときに生成される符号化ストリームの符号量を算出し、高速ダビングを想定している複数の記録符号化レート毎の符号量制御を行い、階層符号化ストリームを生成することで、可搬メディアへのダビング時や、サーバからのコンテンツ配信時に要求される、設定された符号化レートに対する非階層符号化多重化ストリームへの変換を高速且つ品質良く実現することが可能となる。

更に、算出する非階層符号化変換時の符号化ストリームの符号量を、非階層符号化のエントロピー符号化を施さずに、基本階層および拡張階層の量子化ＤＣＴ係数と量子化パラメータを用いて算出することで、符号化レートを調整する再符号化処理が不要となった分の負荷、処理時間、およびその処理に伴う符号化劣化を削減することができる。

（第２の実施の形態）
上述した第１の実施形態においては、予め準備された規定の符号化レート（ＬＰ、ＳＰ、ＨＰ）を想定した階層符号化処理を行っていたが、第２の実施形態では、非階層符号変換時において、要求される符号化モード（符号化レート）が変化する場合にそれに追従的に適応して符号化レートを変更し、高品質かつ汎用性の高い符号変換処理を実現することが可能となる。以下、第２の実施形態における階層符号化装置５１０および非階層符号化変換装置５２０について説明する。

本実施形態における階層符号化装置５１０は、第１の実施形態における階層符号化装置１１０と実質的に同一の構造を取る。ただし、基本符号量制御部２３０、拡張符号量制御部２６８、２９８において、各階層までの非階層符号変換を施した際の推定符号量を積算し、その推定符号量を多重化部３００に出力する処理が追加される。多重化部３００では、各階層の階層符号化多重化ストリームと、各階層までを非階層符号変換を施した際の推定符号量とを多重化して伝送する。

図７は、ストリームの多重化構造を説明するための説明図である。多重化の一例として、ＭＰＥＧ２ＴＳ（トランスポートストリーム）でストリームが多重化される際に、図７に示すような構造をしているディスクリプタと呼ばれる記述子を用いて推定符号量を伝送することができる。ここでは、多重化される階層符号化多重化ストリームの拡張階層の階層数と、各拡張階層までの非階層符号への変換処理を施した場合の推定符号化レートを、所定の周期で伝送する。

ＭＰＥＧ４−ＳＶＣストリームを変換する場合に、拡張階層全体を、再符号化処理を施さずに切り替えられる単位は、動き補償予測の参照画像がリセットされるＩＤＲピクチャと呼ばれる画像となるため、最長の周期としてはＩＤＲピクチャ間隔が想定される。しかし、切り替えの単位は任意に設定でき、例えばフレーム単位（ピクチャ単位）またはフレーム内符号化が施された基準フレーム単位で推定符号量を伝送してもよい。また、上記の構成ではディスクリプタによる伝送を行っているが、ファイルフォーマット上で推定符号化レートを格納するエリアを設け格納することも容易に類推され、同じ仕組みを用いて実現可能である。

変換された非階層符号化多重化ストリームの推定符号量を、階層毎に、通常のフレーム単位や、ランダムアクセスが可能なフレームの単位で階層符号化多重化ストリームと共に多重化することで、非階層符号化変換装置５２０において、より細かい精度の符号化レートが要求される場合や、時間的に伝送レートが変動する場合においても、リアルタイムに適切かつ高品質な非階層符号化多重化ストリームを提供することができる。

図８は、推定符号化レートを算出するための推定符号量を算出・格納する処理の流れを示したフローチャートである。

まず、階層符号化開始時に各拡張の拡張階層符号量レジスタＥｎｈＢｉｔｓを０に初期化する（Ｓ６００）。拡張階層符号量レジスタＥｎｈＢｉｔｓの初期化が終わるとフレーム単位の符号化処理を開始し（Ｓ６０２）、さらにマクロブロック単位の符号化処理を開始する（Ｓ６０４）。

続いて、マクロブロック単位で各拡張階層における変換符号量推定処理を施す（Ｓ６０６）。ここで行われる変換符号量推定処理は、第１の実施形態において図４、５を用いて説明した変換符号量推定処理と同一のアルゴリズムを用いることができる。そして、このような変換符号量推定処理で生成された推定マクロブロック変換符号量Ａｄｄを拡張階層符号量レジスタＥｎｈＢｉｔｓに加算する（Ｓ６０８）。

マクロブロック単位での符号化処理が終了すると、該当するマクロブロックがフレームの最終マクロブロックであるか否かが判断される（Ｓ６１０）。最終マクロブロックではない場合（Ｓ６１０の“ＮＯ”）、次のマクロブロックが選択されて（Ｓ６１２）、マクロブロック符号化処理（Ｓ６０４）からを繰り返す。最終マクロブロックである場合（Ｓ６１０の“ＹＥＳ”）、次のフレームがＩＤＲピクチャであるかもしくは符号化を終了する指令を受信したかどうかが判断され（Ｓ６１４）、いずれでもない場合（Ｓ６１４の“ＮＯ”）、次のフレームが選択されて（Ｓ６１６）、フレーム符号化処理（Ｓ６０２）からを繰り返す。

フレームが終了すると（Ｓ６１４の“ＹＥＳ”）、積算した拡張階層符号量レジスタＥｎｈＢｉｔｓを出力する（Ｓ６１８）。そして、符号化が完了したか否かが判断され（Ｓ６２０）、符号化が完了していなければ（Ｓ６２０の“ＮＯ”）、さらに継続するフレームを選択し（Ｓ６２２）、積算した拡張階層符号量レジスタＥｎｈＢｉｔｓのクリア処理（Ｓ６００）から繰り返す。

図９は、非階層符号化変換装置５２０の構成を示すブロック図である。非階層符号化変換装置５２０は、多重分離部６５０と、ヘッダ情報バッファ４０２と、基本符号バッファ４０４と、拡張符号バッファ４０６、４０８と、エントロピー復号ＤＣＴ係数抽出部４１０、４１２、４１４と、量子化比変換部４１６と、加算器４１８と、量子化比変換部４２０と、加算器４２２と、エントロピー符号化部４２６と、多重化部４２８と、生成符号量評価部４３０と、変換符号量推定バッファ６５２と、変換階層制御部６５４と、変換拡張階層情報バッファ６５６とを含んで構成される。

第１の実施形態における構成要素として既に述べたヘッダ情報バッファ４０２と、基本符号バッファ４０４と、拡張符号バッファ４０６、４０８と、エントロピー復号ＤＣＴ係数抽出部４１０、４１２、４１４と、量子化比変換部４１６と、加算器４１８と、量子化比変換部４２０と、加算器４２２と、エントロピー符号化部４２６と、多重化部４２８と、生成符号量評価部４３０とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する多重分離部６５０と、変換符号量推定バッファ６５２と、変換階層制御部６５４と、変換拡張階層情報バッファ６５６とを主に説明する。

多重分離部６５０は、多重分離部４００の機能に加え、階層符号化多重化ストリームから多重化された各拡張階層の推定符号量を抽出して推定符号量を変換符号量推定バッファ６５２に出力する。

変換階層制御部６５４は、入力端子から入力された所望の非階層符号化変換の符号化レート設定と、変換符号量推定バッファ６５２から供給される各拡張階層の推定符号量と、生成符号量評価部４３０からの生成された実際の変換符号量とにより、符号変換を行う拡張階層を制御する。基本的な制御アルゴリズムとしては、要求された符号化レート設定に近づけるための推定符号量に対応する拡張階層を仮設定し、符号化レートと実際の変換符号量の推移とを比較しつつ、その差分に応じて符号変換を行う拡張階層をフィードバック制御する方法が取られる。

かかる制御方法においては、動き補償予測フレームにおいて、参照画像よりも高い拡張階層の変換処理を行った場合に、変換後の非階層符号化多重化ストリームは想定よりも低い拡張階層の参照画像を用いて復号されるため、変換時のミスマッチが生じる。このような現象を回避するために、非階層符号化変換装置５２０では、さらに参照画像毎の変換時の階層を保持する変換拡張階層情報バッファ６５６を備え、変換階層制御部６５４は、変換拡張階層情報バッファ６５６を通じて、変換対象となるフレームの階層が、常に、そのフレームが参照する参照画像の階層以下となるように拡張階層を制御する。

以上説明した階層符号化装置５１０および非階層符号化変換装置５２０の構成により、非階層符号化多重化ストリーム変換時の複数拡張階層の想定符号量を階層符号化ストリームと合わせて、フレーム単位やランダムアクセスが可能なフレームの単位で保持することが可能となり、より細かい精度の符号化レートへの制御が要求される場合や、外部伝送路の時間変動に対応した、非階層符号化多重化ストリーム変換処理を高品質に実現できる。

（符号化ストリーム再生プログラム）
図１０は、第１および第２の実施形態における、階層符号化装置１１０、５１０および非階層符号化変換装置１２０、５２０として機能させることが可能なコンピュータ（情報処理装置）７００の典型例を示した機能ブロック図である。コンピュータ７００は、中央処理装置７１０と、一時記憶装置７１２と、外部記憶装置７１４と、通信部７１６と、入力部７１８と、出力部７２０とを含んで構成される。

中央処理装置（ＣＰＵ）７１０は、一時記憶装置７１２や外部記憶装置７１４のプログラムやアプリケーションによりコンピュータ７００全体を管理および制御する。一時記憶装置７１２は、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ等から構成され、中央処理装置７１０で処理されるプログラムや符号化ストリーム等を一時的に記憶する。外部記憶装置７１４は、フラッシュメモリ、ＨＤＤ等で構成され、中央処理装置７１０で処理されるプログラムや符号化ストリーム等を記憶する。通信部７１６は、通信回線１３２を介して様々な電子機器やサーバと接続され、それらと画像信号や符号化ストリームを送受信することができる。入力部７１８は、記憶媒体１３０からの画像信号を入力できる。出力部７２０は、記憶媒体１３０等に符号化ストリームを出力できる。

上述した符号化ストリームの生成は、中央処理装置７１０がプログラムを実行することによって為される。従って、階層符号化装置１１０、５１０および非階層符号化変換装置１２０、５２０が提供されると同時に、コンピュータ７００を、階層符号化装置１１０、５１０および非階層符号化変換装置１２０、５２０として機能させる階層符号化プログラムおよび非階層符号化変換プログラムも提供される。また、この階層符号化プログラムおよび非階層符号化変換プログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信回線１３２を介して伝送されてコンピュータに取り込まれてもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、動画像符号化の構成としてＭＰＥＧ４−ＡＶＣおよびそのスケーラブル拡張であるＭＰＥＧ４−ＳＶＣ符号化方式を用いることを想定しているが、ＭＰＥＧ４、ＭＰＥＧ２等の階層符号化処理が可能な、動き補償予測および直交変換を用いた他の動画像符号化規格を用いても同様の効果を発揮することが期待でき、有効に活用することが可能である。

なお、本明細書の変換符号量推定処理および推定符号量を算出・格納する処理における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、画像信号を階層的に符号化し、また符号化した階層符号化多重化ストリームを、階層構造を有さない非階層符号化多重化ストリームに再符号化する階層符号化装置、非階層符号化変換装置、階層符号化プログラム、および非階層符号化変換プログラムに利用することができる。

第１の実施形態における符号化システムの全体的な構成を示した説明図である。 第１の実施形態における階層符号化装置の構成を示すブロック図である。 比較例としての非階層符号化変換における符号化レートの推移を示した説明図である。 第１の実施形態における変換符号量推定処理の具体的なアルゴリズムを示したフローチャートである。 第１の実施形態における変換符号量推定処理の有意係数の関係を示した説明図である。 第１の実施形態における非階層符号化変換装置の構成を示すブロック図である。 第２の実施形態におけるストリームの多重化構造を説明するための説明図である。 第２の実施形態における推定符号化レートを算出するための推定符号量を算出・格納する処理の流れを示したフローチャートである。 第２の実施形態における非階層符号化変換装置の構成を示すブロック図である。 階層符号化装置および非階層符号化変換装置として機能させることが可能なコンピュータの典型例を示した機能ブロック図である。

符号の説明

１１０、５１０ …階層符号化装置
１２０、５２０ …非階層符号化変換装置
２１６ …基本量子化部
２２８ …基本エントロピー符号化部
２３０ …基本符号量制御部
２５８、２８８ …拡張量子化部
２６４、２９４ …拡張エントロピー符号化部
２６６、２９６ …拡張変換符号量推定部
２６８、２９８ …拡張符号量制御部
３００ …多重化部
４００、６５０ …多重分離部
４２４、６５４ …変換階層制御部

Claims (7)

1. 基本階層における符号化対象のＤＣＴ係数を、基本量子化パラメータを用いて量子化し基本量子化ＤＣＴ係数を生成する基本量子化部と、
   拡張階層における符号化対象のＤＣＴ係数を、拡張量子化パラメータを用いて量子化し拡張量子化ＤＣＴ係数を生成する拡張量子化部と、
   前記基本量子化ＤＣＴ係数にエントロピー符号化を施し、単独で復号可能な基本階層符号化ストリームを生成する基本エントロピー符号化部と、
   前記拡張量子化ＤＣＴ係数にエントロピー符号化を施し、前記基本階層符号化ストリームを利用して復号可能な拡張階層符号化ストリームを生成する拡張エントロピー符号化部と、
   前記基本量子化パラメータを制御する基本符号量制御部と、
   前記拡張量子化パラメータを制御する拡張符号量制御部と、
   前記基本階層符号化ストリームと前記拡張階層符号化ストリームとを任意の階層の非階層符号化多重化ストリームに変換した場合における該非階層符号化多重化ストリームの推定符号量を算出する、拡張変換符号量推定部と、
   前記基本階層符号化ストリームと前記拡張階層符号化ストリームとを多重化して階層符号化多重化ストリームを生成する多重化部と、
   を備え、
   前記拡張符号量制御部は、前記非階層符号化多重化ストリームの推定符号量が、予め設定された符号化レートにより算出される生成符号量の目標値に近づくように、前記拡張量子化パラメータを制御することを特徴とする階層符号化装置。
2. 前記拡張変換符号量推定部は、
   前記非階層符号化多重化ストリームに対応する階層より下位の拡張階層もしくは基本階層における符号化対象のＤＣＴ係数と、
   当該階層の拡張階層における符号化対象の量子化ＤＣＴ係数と、
   拡張階層における階層符号化ストリームの符号量を入力し、
   前記当該階層の拡張階層においてＤＣＴブロック内でＤＣＴ係数が０でない係数の数と、
   前記当該階層の拡張階層においてＤＣＴ係数が０でない係数のうち、前記非階層符号化多重化ストリームに対応する階層より下位の拡張階層もしくは基本階層におけるＤＣＴブロック内の同一位置のＤＣＴ係数が０でない係数の数と、
   前記拡張階層の階層符号化ストリームの符号量を用いて、
   前記非階層符号化多重化ストリームの推定符号量を算出することを特徴とする請求項１に記載の階層符号化装置。
3. 前記拡張変換符号量推定部は、フレーム単位またはフレーム内符号化が施された基準フレーム単位で符号量を推定し、
   前記多重化部は、各拡張階層における前記推定符号量も多重化して階層符号化多重化ストリームを生成することを特徴とする請求項１または２に記載の階層符号化装置。
4. 基本階層と１または複数の拡張階層にて符号化され多重化された階層符号化多重化ストリームを、階層構造を有さない非階層符号化多重化ストリームに変換する非階層符号化変換装置であって、
   前記階層符号化多重化ストリームを、単独で復号可能な基本階層符号化ストリームと、該基本階層符号化ストリームを利用して復号可能な拡張階層符号化ストリームとに分離する多重分離部と、
   前記基本階層符号化ストリームを復号した基本量子化ＤＣＴ係数、または前記拡張階層符号化ストリームを該基本階層符号化ストリームを利用して復号した拡張量子化ＤＣＴ係数にエントロピー符号化を施し、非階層符号化多重化ストリームを生成するエントロピー符号化部と、
   ユーザの要求に応じて、前記エントロピー符号化部によるエントロピー符号化対象の階層を制御する変換階層制御部と、
   を備え、
   前記拡張階層符号化ストリームにおける量子化されたＤＣＴ係数に用いられた拡張量子化パラメータが、
   任意の階層の非階層符号化多重化ストリームに変換した場合における該非階層符号化多重化ストリームの符号量が予め設定された符号化レートにより算出される生成符号量の目標値に近づくように制御されていることを特徴とする非階層符号化変換装置。
5. 基本階層と１または複数の拡張階層にて符号化され多重化された階層符号化多重化ストリームを、階層構造を有さない非階層符号化多重化ストリームに変換する非階層符号化変換装置であって、
   前記階層符号化多重化ストリームを、単独で復号可能な基本階層符号化ストリームと、該基本階層符号化ストリームを利用して復号可能な拡張階層符号化ストリームに分離する多重分離部と、
   前記基本階層符号化ストリームを復号した基本量子化ＤＣＴ係数、または前記拡張階層符号化ストリームを該基本階層符号化ストリームを利用して復号した拡張量子化ＤＣＴ係数にエントロピー符号化を施し、非階層符号化多重化ストリームを生成するエントロピー符号化部と、
   前記エントロピー符号化部によるエントロピー符号化対象の階層を、要求された符号化レートに適合する推定符号量に対応させて制御する変換階層制御部と、
   を備え、
   前記階層符号化多重化ストリームに各拡張階層における前記推定符号量が多重化されていると共に、
   前記拡張階層符号化ストリームにおける量子化されたＤＣＴ係数に用いられた拡張量子化パラメータが、
   任意の階層の非階層符号化多重化ストリームに変換した場合における該非階層符号化多重化ストリームの符号量が予め設定された符号化レートにより算出される生成符号量の目標値に近づくように制御されていることを特徴とする非階層符号化変換装置。
6. コンピュータを、
   基本階層における符号化対象のＤＣＴ係数を、基本量子化パラメータを用いて量子化し基本量子化ＤＣＴ係数を生成する基本量子化部と、
   拡張階層における符号化対象のＤＣＴ係数を、拡張量子化パラメータを用いて量子化し拡張量子化ＤＣＴ係数を生成する拡張量子化部と、
   前記基本量子化ＤＣＴ係数にエントロピー符号化を施し、単独で復号可能な基本階層符号化ストリームを生成する基本エントロピー符号化部と、
   前記拡張量子化ＤＣＴ係数にエントロピー符号化を施し、前記基本階層符号化ストリームを利用して復号可能な拡張階層符号化ストリームを生成する拡張エントロピー符号化部と、
   前記基本量子化パラメータを制御する基本符号量制御部と、
   前記拡張量子化パラメータを制御する拡張符号量制御部と、
   前記基本階層符号化ストリームと前記拡張階層符号化ストリームとを任意の階層の非階層符号化多重化ストリームに変換した場合における該非階層符号化多重化ストリームの推定符号量を算出する、拡張変換符号量推定部と、
   前記基本階層符号化ストリームと前記拡張階層符号化ストリームとを多重化して階層符号化多重化ストリームを生成する多重化部と、
   して機能させ、
   前記拡張符号量制御部は、前記非階層符号化多重化ストリームの推定符号量が、予め設定された符号化レートにより算出される生成符号量の目標値に近づくように、前記拡張量子化パラメータを制御することを特徴とする階層符号化プログラム。
7. コンピュータを、
   階層符号化多重化ストリームを、単独で復号可能な基本階層符号化ストリームと、該基本階層符号化ストリームを利用して復号可能な拡張階層符号化ストリームとに分離する多重分離部と、
   前記基本階層符号化ストリームを復号した基本量子化ＤＣＴ係数、または前記拡張階層符号化ストリームを該基本階層符号化ストリームを利用して復号した拡張量子化ＤＣＴ係数にエントロピー符号化を施し、非階層符号化多重化ストリームを生成するエントロピー符号化部と、
   ユーザの要求に応じて、前記エントロピー符号化部によるエントロピー符号化対象の階層を制御する変換階層制御部と、
   して機能させ、
   前記拡張階層符号化ストリームにおける量子化されたＤＣＴ係数に用いられた拡張量子化パラメータが、
   任意の階層の非階層符号化多重化ストリームに変換した場合における該非階層符号化多重化ストリームの符号量が予め設定された符号化レートにより算出される生成符号量の目標値に近づくように制御されていることを特徴とする非階層符号化変換プログラム。

Images