JP4517475B2

JP4517475B2 - 画像情報変換装置及び方法並びに符号化装置及び方法

Info

Publication number: JP4517475B2
Application number: JP2000225846A
Authority: JP
Inventors: 数史佐藤; 武文名雲; 邦明高橋; 輝彦鈴木; 陽一矢ケ崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-07-26
Filing date: 2000-07-26
Publication date: 2010-08-04
Anticipated expiration: 2020-07-26
Also published as: JP2002044668A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報を変換する画像情報変換装置及び方法に関し、詳しくは、離散コサイン変換等の直交変換と動き補償によって圧縮されたＭＰＥＧ等の画像情報（ビットストリーム）を衛星放送、ケーブルＴＶ、インターネット等のネットワークメディアを介して受信する際に、若しくは光、磁気ディスクのような記憶メディア上で処理する際に用いられる画像情報を変換する画像情報変換装置及び方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルとして取り扱い、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの画像情報圧縮方式が提供されている。そして、このような画像情報圧縮方法に準拠した装置は、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する、汎用画像符号化方式として定義されている。
【０００４】
すなわち、ＭＰＥＧ２符号化圧縮方式によれば、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像に４〜８Ｍｂｐｓの符号量（ビットレート）を割り当て、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像に対して１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることにより、高い圧縮率と良好な画質の実現が可能となる。
【０００５】
このようなことから、ＭＰＥＧ２は、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。しかし、ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としており、例えばＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。
【０００６】
一方で、近年の携帯端末の普及により、今後とも高い圧縮率の符号化方式のニーズは高まると思われ、これに対応して、高い圧縮率を有するＭＰＥＧ４符号化方式の標準化が行われている。この画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２として国際標準の規格が承認された。
【０００７】
ところで、ディジタル放送用に一度符号化されたＭＰＥＧ２画像圧縮情報（ビットストリーム）を、携帯端末上等で処理するのにより適した、より低い符号量（ビットレート）の画像圧縮情報（ビットストリーム）に変換したいというニーズがある。
【０００８】
かかる目的を達成するために、“Field-to-Frame Transcoding with Spatial and Temporal Downsampling”（Susie L Wee, John G. Apostolopoulos, and Nick Feamster, ICIP 99、以下これを文献１と呼ぶ）において画像情報変換装置（トランスコーダ）が提供されている。
【０００９】
この文献１において提供された画像情報変換装置（トランスコーダ）は、図５に示すように、ピクチャタイプ判別部１と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２と、間引き部３と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４と、動きベクトル合成部５と、動きベクトル検出部６とから構成されている。
【００１０】
この画像情報変換装置には、フレーム内で符号化されたイントラ符号化画像（Ｉピクチャ；Ｉ）、表示順序で順方向を参照して予測符号化された順方向予測符号化画像（Ｐピクチャ；Ｐ）及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像（Ｂピクチャ；Ｂ）から構成される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）が入力される。
【００１１】
このＭＰＥＧ２画像圧縮情報（ビットストリーム）は、ピクチャタイプ判別部１において、Ｉ／Ｐピクチャに関するものか、Ｂピクチャに関するものであるかを判別され、Ｉ／Ｐピクチャのみ後続のＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２に出力され、Ｂピクチャは破棄される。
【００１２】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２における処理は通常のＭＰＥＧ２画像情報復号化装置と同様に、ＭＰＥＧ２画像圧縮情報（ビットストリーム）を画像信号に復号するものである。
【００１３】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２の出力となる画素値は、間引き部３に入力される。間引き部３は、水平方向には１／２の間引き処理を施し、垂直方向には、第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄する。このような間引きによって、入力となる画像情報の１／４の大きさを持つ順次走査画像を生成する。
【００１４】
間引き部３によって生成された順次走査画像はＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４によってフレーム内で符号化されたＩ−ＶＯＰ及び表示順序で順方向を参照して予測符号化されたＰ−ＶＯＰに符号化され、ＭＰＥＧ４画像圧縮情報（ビットストリーム）として出力される。尚、ＶＯＰはVideo object Planeを意味し、ＭＰＥＧ２におけるフレームに相当するものである。
【００１５】
その際、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル情報は、動きベクトル合成部５において間引き後の画像情報に対する動きベクトルにマッピングされ、動きベクトル検出部６においては、動きベクトル合成部５において合成された動きベクトル値を元に高精度の動きベクトルを検出する。
【００１６】
文献１は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）の１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４画像圧縮情報（ビットストリーム）を生成する画像情報変換装置に関して記述している。すなわち、例えば入力となるＭＰＥＧ２画圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したものであった場合、出力となるＭＰＥＧ４画像圧縮情報はＳＩＦサイズ（３５２×２４０画素）ということになる。
【００１７】
ところで、図５に示した画像情報変換装置においては、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４における符号量制御が、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）における画質を決定する大きな要因となる。ＩＳＯ／ＩＥＣ１４４９６−２においては、符号量制御の方式に関しては特に規定されておらず、各ベンダが、アプリケーションに応じて、演算量及び出力画質の観点から最適と考えられる方式を用いることが出来る。以下では、代表的な符号量制御方式として、ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５（ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１Ｎ０４００）で述べられている方式について述べる。
【００１８】
この符号量制御のフローを図６に示すフローを用いて説明する。最初のステップＳ１１において、画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、目標符号量（ターゲットビットレート）、及び、ＧＯＰ（ｇroup of pictures）構成を入力変数として、各ピクチャへのビット配分を行う。ここで、ＧＯＰとは、ランダムアクセス可能なピクチャの組である。
【００１９】
すなわち、ステップＳ１１において、画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、ＧＯＰ内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含めＧＯＰ内でまだ復号化されていないピクチャに対して割り当てられるビット量（以下、これをＲとする）を基に配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。その際、以下に述べる２つの仮定を用いて各ピクチャへの符号量割り当てを行う。
【００２０】
まず、第一に、各ピクチャを符号化する際に用いる平均量子化スケールコードと発生符号量の積は、画面が変化しない限り、ピクチャタイプ毎に一定値となると仮定する。そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを示す変数Ｘ_i，Ｘ_p，Ｘ_b（grobal complelxity measure）を次の式（１）によって更新する。
【００２１】
【数７】

【００２２】
ここでＳ_i，Ｓ_p，Ｓ_bはピクチャ符号化時の発生符号ビット量であり、Ｑ_i，Ｑ_p，Ｑ_bは、ピクチャ符号化時の平均量子化スケールコードである。また、初期値は、目標符号量（ターゲットビットレート）ｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、式（２）で示される値とする。
【００２３】
【数８】

【００２４】
第二に、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率Ｋ_p，Ｋ_bが式（３）に定めた値となる場合に常に全体の画質が最適化されると仮定する。
【００２５】
【数９】

【００２６】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ，Ｐピクチャの量子化スケールコードの常に１．４倍としている。これは、ＢピクチャをＩ，Ｐピクチャに比較して多少粗めに符号化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善され、これを参照するＢピクチャの画質も改善されることを想定している。
【００２７】
上記２つの仮定より、ＧＯＰの各ピクチャに対する割り当てビット量（Ｔ_i，Ｔ_p，Ｔ_b）は式（４）に示す値とする。
【００２８】
【数１０】

【００２９】
ここでＮ_p，Ｎ_bはＧＯＰ内でまだ符号化されていないＰ，Ｂピクチャの枚数である。
【００３０】
このようにして求めた割当符号量を基にして、各ピクチャをステップＳ１１，Ｓ１２に従って符号化する毎に、ＧＯＰ内の未符号化ピクチャに対して割り当てられるビット量Ｒを式（５）で更新する。
【００３１】
【数１１】

【００３２】
また、ＧＯＰの最初のピクチャを符号化する際には、式（６）によりＲを更新する。
【００３３】
【数１２】

【００３４】
ＮはＧＯＰ内のピクチャ数である。また、シーケンスの最初でのＲの初期値は０とする。
【００３５】
次に、ステップＳ１２において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、仮想バッファを用いたレート制御を行う。すなわち、ステップＳ１２において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、ステップＳ１１で式（４）により求められた各ピクチャに対する割当ビット量（Ｔ_i，Ｔ_p，Ｔ_b）と、実際の発生符号量を一致させるため、各ピクチャ毎に独立に設定した３種類の仮想バッファの容量を基に、量子化スケールコードを、マクロブロック単位のフィードバック制御で求める。
【００３６】
まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を式（７）によって求める。
【００３７】
【数１３】

【００３８】
ここで、ｄ₀ ⁱ，ｄ₀ ^p，ｄ₀ ^bは各仮想バッファの初期占有量、Ｂ_jはピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢ＿ｃｎｔは１ピクチャ内のマクロブロック数である。各ピクチャ符号化終了時の仮想バッファ占有量（ｄ_{MB_cnt} ⁱ，ｄ_{MB_cnt} ^p，ｄ_{MB_cnt} ^b）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ₀ ⁱ，ｄ₀ ^p，ｄ₀ ^b）として用いられる。
【００３９】
次に、ｊ番目のマクロブロックに対する量子化スケールコードを式（８）により計算する。
【００４０】
【数１４】

【００４１】
ここで、ｒはリアクションパラメーターと呼ばれるフィードバックループの応答を制御する変数であり、式（９）により与えられる。
【００４２】
【数１５】

【００４３】
尚、符号化開始時における仮想バッファの初期値は式（１０）で与えられる。
【００４４】
【数１６】

【００４５】
最後に、ステップＳ１３において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、視覚特性を考慮したマクロブロック毎の適応量子化を行う。すなわち、ステップＳ１３において、画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、ステップＳ１２で求められた量子化スケールコードを、視覚的に劣化の目立ちやすい平坦部でより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分で粗く量子化するように、各マクロブロック毎のアクティビティと呼ばれる変数によって変化させている。
【００４６】
アクティビティは、原画の輝度信号画素値を用い、フレーム離散コサイン変換モードにおける４個のブロックと、フィールド離散コサイン変換モードにおける４個のブロックとの、合計８ブロックの画素値を用いて式（１１）で与えられる。
【００４７】
【数１７】

【００４８】
ここで、Ｐ_kは原画の輝度信号ブロック内画素値である。式（１１）において最小値を採るのは、マクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
【００４９】
更に、式（１２）によりその値が０．５〜２の範囲を取る正規化アクティビティＮａｃｔ_jを求める。
【００５０】
【数１８】

【００５１】
ここで、ａｖｇ＿ａｃｔは、直前に符号化したピクチャでのａｃｔ_jの平均値である。
【００５２】
視覚特性を考慮した量子化スケールコードｍｑｕａｎｔ_jはステップＳ１２で得られた量子化スケールコードＱ_jを基に式（１３）で与えられる。
【００５３】
【数１９】

【００５４】
ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５において定められた上記符号量制御方式には以下の制限のあることが知られており、実際の制御を行う場合には、これらの制限に対する対策が必要となる。すなわち、第一の制限は、第一ステップＳ１１はシーンチェンジに対応出来ず、また、シーンチェンジ後には第三ステップＳ１３で用いる媒介変数ａｖｇ＿ａｃｔが間違った値となるということである。第二の制限は、ＭＰＥＧ２及びＭＰＥＧ４において規定されているＶＢＶ（Video Buffer Verifier）の拘束条件を満たす保証がないことである。
【００５５】
ところで、文献”ＭＰＥＧ圧縮効率の理論解析とその符号量制御への応用”（信学技報、ＩＥ−９５，ＤＳＰ９５−１０，１９９５年５月、以下これを文献２と呼ぶ）でも述べられている通り、ＴｅｓｔＭｏｄｅｌ５で定められている符号量制御方式は、ＭＰＥＧ−２画像符号化装置において、必ずしも良好な画質を与えるものではない。
【００５６】
この文献２では、特に、良好な画質を与えるための、ＧＯＰ内における各フレーム毎の最適な符号量配分を与える手法として以下の方式を提案している。すなわち、Ｎ_I，Ｎ_P，Ｎ_Bを、ＧＯＰ内においてまだ符号化されていないＩ，Ｐ，Ｂピクチャの枚数として、これらに割り当てられる符号量をＲ_I，Ｒ_P，Ｒ_Bとする。また、式（１４）で与えられる固定レート条件の下に、それぞれにおける量子化ステップサイズをＱ_I，Ｑ_P，Ｑ_Bとし、ｍを、量子化ステップサイズと再生誤差分散を関係付ける次数（すなわち、量子化ステップサイズをｍ乗したものの平均値の最小化が再生誤差分散を最低にすると仮定する）とする。そして、式（１５）を最小にすることを考える。
【００５７】
【数２０】

【００５８】
【数２１】

【００５９】
尚、それぞれのフレームにおける平均量子化スケールＱ、及び符号量Ｒは、ＴｅｓｔＭｏｄｅｌ５でも用いられる媒体変数である各フレームのコンプレキシティＸと、式（１６）のように関係づけられる。
【００６０】
【数２２】

【００６１】
式（１６）の関係も考慮しつつ、式（１４）の拘束条件の元に式（１５）を最小にするＲ_I，Ｒ_P，Ｒ_Bを、ラグランジェの未定乗数法を用いて算出すると、最適なＲ_I，Ｒ_P，Ｒ_Bとして以下の式のような値が求められる。
【００６２】
【数２３】

【００６３】
α＝１として、式（１７）と、ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５で定められた符号量制御方式における式（４）との関係は以下の通りであると言える。すなわち、式（１７）は、符号量制御の媒介変数であるＫ_p，Ｋ_bを、各フレームのコンプレキシティＸ_I，Ｘ_P，Ｘ_Bに応じて、式（１８）のように適応的に算出していることに他ならない。
【００６４】
【数２４】

【００６５】
文献２では、１／（１＋ｍ）の値として、０．６〜１．２程度に設定することで良好な画質が得られることが示されている。
【００６６】
図５に示した画像情報変換装置内で、ＭＰＥＧ４画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４において、ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５において定められたのと同様な手法を用いて符号量制御を行った場合、シーンチェンジ等に起因する、ＧＯＰ内でのコンプレキシティの変化に対応することが不可能であるため、安定した符号量制御が困難となり、画質劣化を引き起こすことが考えられる。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２において抽出される、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内の情報をＭＰＥＧ４画像圧縮情報符号化部（Ｉ／Ｐ−ＶＯＰ）４において利用することでこの問題を回避することが可能であると期待される。
【００６７】
かかる問題を解決するため、本願出願人は、先に図７に示すような画像情報変換装置を提案した。
【００６８】
この画像情報変換装置は、ピクチャタイプ判別部７と、圧縮情報解析部８と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）９と、間引き部１０と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１と、動きベクトル合成部１２と、動きベクトル検出部１３と、情報バッファ１４と、コンプレキシティ算出部１５とから構成される。
【００６９】
この画像情報変換装置は、圧縮情報解析部８、情報バッファ１４、コンプレキシティ算出部１５及びＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１における符号量制御以外の動作原理については、図５に示した画像情報変換装置と同様であるため、以下では、圧縮情報解析部８、情報バッファ１４、コンプレキシティ算出部１５における動作原理及びＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１における符号量制御について述べることにする。
【００７０】
圧縮情報解析部８において、復号処理に用いられた量子化スケールのフレーム全体に渡る平均値Ｑ、及び、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）において、当該フレームに割り当てられた総符号量（ビット数）Ｂは、情報バッファ１４に格納される。
【００７１】
コンプレキシティ算出部１５においては、情報バッファ１４に格納されたフレーム毎の情報Ｑ及びＢから、当該フレームに対するコンプレキシティＸを式（１９）により算出する。
【００７２】
【数２５】

【００７３】
式（１９）によって算出された、当該フレームに対するコンプレキシティＸは、１ＧＯＶ（group of VOPs）分バッファリングされた後、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１に符号量制御のための媒介変数として伝送される。このため、１ＧＯＶ分の遅延が必要となる。この遅延は図示しない遅延バッファを用いて実現される。ここで、ＧＯＶとは、ランダムアクセス可能なＶＯＰの組である。
【００７４】
以下では、式（１９）において算出された、ＧＯＶ内の各フレームに対するコンプレキシティＸが、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１においてどのように用いられるかについて述べる。尚、以下では、ピクチャタイプ判別部７がこの画像情報変換装置内に存在せず、フレームレートの変換を行わない場合をも考慮することにする。
【００７５】
式（１８）によって求められたＫ_P，Ｋ_Bの意味するところは、Ｉ−ＶＯＰに対する理想的な平均量子化スケールＱ_{i_ideal}に対するＰ−ＶＯＰ／Ｂ−ＶＯＰに対する理想的な平均量子化スケールＱ_{p_ideal}，Ｑ_{b_ideal}の比が、式（２０）によって与えられるということである。
【００７６】
【数２６】

【００７７】
ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５においては、式（１８）のように適応的にＫ_p，Ｋ_bを算出することを行わず、式（３）に示したような固定値を用いている。
【００７８】
式（１８）及び式（２０）から、或るＶＯＰ１と、或るＶＯＰ２に対するコンプレキシティをそれぞれＸ₁，Ｘ₂とし、理想的な量子化スケールをＱ_{1_ideal}，Ｑ_{2_ideal}とすれば、式（２１）のようになる。
【００７９】
【数２７】

【００８０】
或いはまた、ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５のように、式（３）に示した固定値を用いたい場合には、式（２１）に代えて、式（２２）のようにすれば良い。
【００８１】
【数２８】

【００８２】
今、ＧＯＶ内の未符号化されたＶＯＰに対して割り当てられる総符号量（ビット数）をＲとし、Ｒが、各ＶＯＰに対して、Ｒ₁，Ｒ₂，…Ｒ_nといったように割り当てられる時、当該ＧＯＶに対する画質が最適化されるものとする。ここでＲとＲ₁，Ｒ₂，…Ｒ_nの間には式（２３）のような関係式が成り立つ。
【００８３】
【数２９】

【００８４】
或るＶＯＰ_kに対する平均量子化スケールＱ_k、割当符号量Ｒ_k、コンプレキシティＸ_kの間には式（２４）なる関係があることにも注意して、式（２３）を変形すれば式（２５）が得られる。
【００８５】
【数３０】

【００８６】
【数３１】

【００８７】
式（２５）において、Ｋ（Ｘ₁，Ｘ₂）に関しては、式（２１）に示した値を用いても、式（２２）に示した値を用いても良いが、前者の方が、画像に応じた、より最適な符号量配分を実現することが可能である。その際、１／（１＋ｍ）の値を１．０と設定することで、指数演算を行うことが不要となり、高速な実行が可能となる。また、１／（１＋ｍ）の値を１．０以外に設定する場合にも、予めテーブルを持ち、これを参照して指数演算を行うことで高速な実行が可能となる。
【００８８】
式（２５）における各ＶＯＰに対するコンプレキシティＸ_kはＭＰＥＧ４画像符号化によるものであるが、ＭＰＥＧ２画像符号化による各フレームに対するコンプレキシティと、ＭＰＥＧ４画像符号化による各フレームに対するコンプレキシティが等しいと仮定すれば、コンプレキシティ算出部１５に格納されたＸ_kを用いることで、式（２５）によって当該ＶＯＰに対する目標符号量を算出することが可能である。
【００８９】
この目標符号量の算出のフローを図８に示す。最初のステップＳ２１において、圧縮情報解析部８は、ＭＰＥＧ２画像情報復号化部９における復号処理に用いられるＧＯＰ内の各フレームに対する平均量子化スケールＱ，及び割当符号量（ビット数）Ｂを抽出する。
【００９０】
ステップＳ２２において、コンプレキシティ算出部１５は、平均量子化スケールＱ及び割当符号量（ビット数）Ｂの積で与えられるコンプレキシティＸを算出する。
【００９１】
ステップＳ２３において、ＭＰＥＧ４画像符号化部（Ｉ／Ｐ−ＶＯＰ）１１は、コンプレキシティＸに応じた目標符号量（ターゲットビット）を算出する。
【００９２】
ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５では、ＧＯＰ内におけるＩ，Ｐ，Ｂピクチャに対するコンプレキシティＸ_i，Ｘ_p，Ｘ_bは一定であると仮定しているが実際にはシーンチェンジをＧＯＰ内に含む場合や、ＧＯＰ内で背景が著しく変化する場合等ではこの仮定が成り立たず、安定した符号量制御の妨げとなり、画質劣化の要因ともなる。図７に示した画像情報変換装置においては、そのような場合にも、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、各フレームに対するコンプレキシティに基づいた符号量制御を行うため、画質劣化を引き起こすことなく、安定した符号量制御を行うことが可能である。
【００９３】
【発明が解決しようとする課題】
ところで、図６に示した符号量制御方式において、ステップＳ１３における適応量子化が有効に作用するためには、ｊ番目のマクロブロックに対する量子化スケールコード、つまり式（８）におけるＱ_jがフレーム全体に渡って均一な値を取ることが望ましい。そこで、ＣＣＩＲ（Comite Consultantif Internationale des Radio Communications）テストシーケンスの一つである“ＦｌｏｗｅｒＧａｒｄｅｎ”を、ｎ＝１５；ｍ＝３の条件の元、４Ｍｂｐｓに圧縮したＭＰＥＧ２画像圧縮情報（ビットストリーム）を、図７に示した画像情報変換装置を用いて、ｎ＝５；ｍ＝１のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換する際の、あるＶＯＰに対するＱ_jがどのような値を取るかを図９に示す。
【００９４】
先述の通り、理想的にはＱ_jがＶＯＰ全体に渡って均―な値を取ることが望ましいが、実際には、式（７）における仮想バッファ占有量（ｄ_j ⁱ，ｄ_j ^p，ｄ_j ^b）がマクロブロック毎に変化するため、ＶＯＰ全体に渡って均一な値とならない。
【００９５】
本発明は、上述の実情に鑑みて提案されるものであって、Ｑjの変動を抑制して符号量を制御するような画像情報変換装置及び方法を提供することを目的とする。
【００９６】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換するものであって、上記入力画像圧縮情報及び上記出力画像圧縮情報を構成する符号化画像は、それぞれ複数の画素からなる画素ブロックから構成され、上記入力画像圧縮情報における画素ブロックの第１のアクティビティに基づいて、上記出力画像圧縮情報における画素ブロックの第２のアクティビティの推定値を算出するアクティビティ算出手段と、上記アクティビティ算出手段で算出した第２のアクティビティの推定値を利用し、仮想バッファのバッファ占有量に基づいて上記出力画像圧縮情報の各符号化画像での参照量子化スケールを均一化するレート制御を行い、画像情報を上記出力画像圧縮情報に変換する変換手段とを有し、上記アクティビティ算出手段は、上記第１のアクティビティを、上記入力画像圧縮情報の符号化画像を構成する画素ブロックに対する量子化スケールと、割当ビット量との積により算出し、上記第２のアクティビティの推定値を、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックのアクティビティの関数により算出する。
また、本発明にかかる符号化装置は、第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を復号して得られる画像情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に符号化する符号化装置において、上記入力画像圧縮情報及び上記出力画像圧縮情報を構成する符号化画像は、それぞれ複数の画素からなる画素ブロックから構成され、上記入力画像圧縮情報における画素ブロックの第１のアクティビティに基づいて算出された、上記出力画像圧縮情報における画素ブロックの第２のアクティビティの推定値を受け取る受け取り手段と、上記受け取り手段からの第２のアクティビティの推定値を利用し、仮想バッファのバッファ占有量に基づいて上記出力画像圧縮情報の各符号化画像での参照量子化スケールを均一化するレート制御を行い、画像情報を上記出力画像圧縮情報に符号化する符号化手段とを有し、上記受け取り手段は、上記入力画像圧縮情報の符号化画像を構成する画素ブロックに対する量子化スケールと、割当ビット量との積により算出された上記第１のアクティビティと、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックのアクティビティの関数により算出された上記第２のアクティビティの推定値とを受け取る。
【００９７】
本発明は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を入力画像圧縮情報とし、順次操作のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力画像圧縮情報とする。これらＭＰＥＧ２画像圧縮情報（ビットストリーム）及びＭＰＥＧ４画像圧縮情報は、複数の画素から構成される画素ブロックすなわちマクロブロックから構成されている。また、ＭＰＥＧ２画像圧縮情報（ビットストリーム）及びＭＰＥＧ４画像圧縮情報（ビットストリーム）は、画像群すなわちＧＯＰ（group of pictures）及びＧＯＶ（group of VOPs）からそれぞれ構成されている。そして、画像群であるＧＯＰ及びＧＯＶは、複数の符号化画像すなわちピクチャ（picture）及びＶＯＰ（video object plane）からそれぞれ構成されている。
【００９８】
すなわち、本発明は、上述した課題を解決するために、飛び越し走査のＭＰＥＧ２画像情報圧縮情報（ビットストリーム）を入力とし、ピクチャタイプ判別部、圧縮情報解析部、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）、間引き部、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、動きベクトル合成部、動きベクトル検出部、情報バッファ、ＶＯＰコンプレキシティ算出部、マクロブロックアクティビティ算出部、ＶＯＰ目標符号量算出部及び仮想バッファを兼ね備え、ＭＰＥＧ４画像情報符号化部における符号量制御の過程において、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、各マクロブロックに対するアクティビティ情報から、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）における各マクロブロックに対するアクティビティ情報の推定値を算出し、これを仮想バッファの更新において利用することで、符号量制御のステップに伴う参照量子化スケールの変動を最小限に抑え、各マクロブロックに対する符号量割当が画像に対して最適化された状態で、順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力する手段を提供するものである。
【００９９】
上記構成において、ピクチャタイプ判別部は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内で、Ｉ／Ｐピクチャに関するものだけ残してＢピクチャに関するものは廃棄する。圧縮情報解析装置は、１ＧＯＰ分の遅延を実現すると同時に、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内で、各フレームに対して割り当てられた符号量（ビット数）及び各フレームにおける平均量子化スケール、並びに、各フレームにおいて、後段のＭＰＥＧ４画像圧縮情報でそれぞれの擬似スライスを構成するマクロブロック全体に渡る平均量子化スケール及び発生符号量（ビット数）を抽出する。ＭＰＥＧ２画像情報復号化装置（Ｉ／Ｐピクチャ）は、ピクチャタイプ判別部の出力となる、Ｉ／Ｐピクチャに関する圧縮情報（ビットストリーム）を、水平方向垂直方向ともに、８次の離散コサイン係数全てを用いた、若しくはその低域成分のみを用いた復号処理を行う。間引き部は、ＭＰＥＧ２画像情報復号化部（ｌ／Ｐピクチャ）の出力である画像情報の第一フィールド若しくは第二フイールドのみを取り出して順次走査画像への変換を行うと同時に、所望の画枠サイズに変換するためのダウンサンプリングを行う。ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）は、間引き部の出力となる画像情報をＭＰＥＧ４符号化方式により符号化する。動きベクトル合成部は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）で検出された、入力となる画像圧縮情報（ビットストリーム）内の動きベクトル値を元に、走査変換後の画像データに対する動きベクトル値にマッピングを行う。動きベクトル検出装置は、動きベクトル合成部から出力される動きベクトル値を元に、高精度の動きベクトル検出を行う。情報バッファは、圧縮情報解析部において抽出された、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における各フレームに割り当てられた符号量（ビット数）及び各フレームに対する平均量子化スケール、並びに、各マクロブロックに対する量子化スケール及び発生符号量（ビット数）を格納する。ＶＯＰコンプレキシティ算出部は、情報バッファに格納された、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、各フレームに割り当てられた符号量（ビット数）、及び各フレームに対する平均量子化スケールから、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）における各ＶＯＰに対するコンプレキシティの推定値を算出する。マクロブロックアクティビティ算出部は、情報バッファに格納された、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、各マクロブロックに対する符号量（ビット数）及び量子化スケールから、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）における各マクロブロックに対するアクティビティの推定値を算出する。ＶＯＰ目標符号量算出部は、ＶＯＰコンプレキシティ算出部において算出された、各ＶＯＰに対するコンプレキシティに基づいて各ＶＯＰに対する目標符号量（ターゲットビット）の算出を行う。仮想バッファは、ＶＯＰ目標符号量算出部において算出された、当該ＶＯＰに対する目標符号量（ターゲットビット）及びマクロブロックアクティビティ算出部において算出された、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）内の各マクロブロックに対するアクティビティの推定値から、各ＶＯＰに対する仮想バッファ占有量を算出し、その情報をＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）に伝送する。
【０１００】
なお、ピクチャタイプ判別部を持たず、フレームレートの変換を行わない装置構成も可能である。また、ＶＯＰ目標符号量算出部において、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における各フレームに対するコンプレキシティを用いず、ＭＰＥＧ２ＴｅｓｔＭｏｄｅ１５に定められているのと同様の方式により各ＶＯＰに対する目標符号量を算出する装置構成も考えられる。
【０１０１】
【発明の実施の形態】
以下、図面を参照し、本発明の実施例について説明する。
【０１０２】
まず、本発明を適用した第１の実施の形態の画像情報変換装置について、図１を参照して説明する。
【０１０３】
この画像情報変換装置は、ピクチャタイプ判別部１６と、圧縮情報解析部１７と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１８と、間引き部１９と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０と、動きベクトル合成部２１と、動きベクトル検出部２２と、情報バッファ２３と、ＶＯＰコンプレキシティ算出部２４と、マクロブロックアクティビティ算出部２５と、ＶＯＰ目標符号量算出部２６と、仮想バッファ２７とから構成されている。
【０１０４】
この画像情報変換装置には、フレーム内で符号化されたイントラ符号化画像（Ｉピクチャ；Ｉ）、表示順序で順方向を参照して予測符号化された順方向予測符号化画像（Ｐピクチャ；Ｐ）及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像（Ｂピクチャ；Ｂ）から構成される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）が入力される。
【０１０５】
このＭＰＥＧ２画像圧縮情報（ビットストリーム）は、ピクチャタイプ判別部１６において、Ｉ／Ｐピクチャに関するものか、Ｂピクチャに関するものであるかを判別され、Ｉ／Ｐピクチャのみ後続の圧縮情報解析部１７に出力され、Ｂピクチャは破棄される。
【０１０６】
圧縮情報解析部１７において、ＭＰＥＧ２画像情報復号化装置（Ｉ／Ｐピクチャ）１８における復号処理に用いられる量子化スケールのフレーム全体に渡る平均値Ｑ、及び、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）において、当該フレームに割り当てられた総符号量（ビット数）Ｂは、情報バッファ２３に格納される。
【０１０７】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１８における処理は通常のＭＰＥＧ２画像情報復号化装置と同様に、ＭＰＥＧ２画像圧縮情報（ビットストリーム）を画像信号に復号するものである。ここで、Ｂピクチャに関するデータはピクチャタイプ判別部１６において廃棄されているので、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１８は、Ｉ／Ｐピクチャのみを復号化出来る機能を有すればよい。
【０１０８】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１８の出力となる画素値は、間引き部１９に入力される。間引き部１９は、水平方向には１／２の間引き処理を施し、垂直方向には、第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄する。このような間引きによって、入力となる画像情報の１／４の大きさを持つ順次走査画像を生成する。
【０１０９】
ところで、間引き部１９から出力された画像をＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０において１６×１６画素で構成されるマクロブロック単位で符号化するためには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要が有る。間引き部１９においては、このための画素の補填若しくは廃棄を、間引きと同時に行う。
【０１１０】
例えば、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したもの、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き後の画枠はＳＩＦ（３６０×２４０画素）サイズということになる。この画像に対して、間引き部１９において、例えば水平方向の右端若しくは左端の８ラインを廃棄して３５２×２４０画素とする。
【０１１１】
なお、間引き部１９における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【０１１２】
更に、上述した文献１は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１８における処理として、水平方向、垂直方向それぞれについて、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内の、８次の離散コサイン変換係数すべてを用いた復号処理を行う画像情報変換装置について述べられているが、図１に示した装置に関してはその限りではなく、水平方向のみ、或いは水平方向、垂直方向ともに、８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら、復号処理に伴う演算量とビデオメモリ容量を削減することが可能である。
【０１１３】
間引き部１９によって生成された順次走査画像はＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０によってフレーム内で符号化されたＩ−ＶＯＰ及び表示順序で順方向を参照して予測符号化されたＰ−ＶＯＰに符号化され、ＭＰＥＧ４画像圧縮情報（ビットストリーム）として出力される。
【０１１４】
尚、ＶＯＰはVideo object Planeを意味し、ＭＰＥＧ２におけるフレームに相当するものである。また、Ｉ−ＶＯＰはＩピクチャに対応するイントラ符号化ＶＯＰ、Ｐ−ＶＯＰはＰピクチャに対応する順方向予測符号化ＶＯＰ、Ｂ−ＶＯＰはＢピクチャに対応する双方向予測符号化ＶＯＰである。
【０１１５】
ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０における符号化の際には、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル情報は、動きベクトル合成部２１において間引き後の画像情報に対する動きベクトルにマッピングされ、動きベクトル検出部２２においては、動きベクトル合成部２１において合成された動きベクトル値を元に高精度の動きベクトルを検出する。
【０１１６】
図１における圧縮情報解析部１７で抽出された、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における各フレームに割り当てられた符号量（ビット数）及び各フレームに対する平均量子化スケールが情報バッファ１７に格納され、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）における当該ＶＯＰに対する目標符号量を算出する際に用いられるが、同時に、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、各マクロブロックに対する割当符号量及び量子化スケールもまた、情報バッファ１７に格納される。
【０１１７】
今、図１に示した画像情報変換装置を用いて、入力となる飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）の、１／２×１／２の画枠サイズを持つ、順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）が出力される場合を考える。この時、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロックと、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）におけるマクロブロックの対応関係を図２に示す。すなわち、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における４つのマクロブロックＭＢ₀，ＭＢ₁，ＭＢ_2m，ＭＢ_2m+1により構成される領域ａが、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）においては、１つのマクロブロックＭｂ₀に対応する。
【０１１８】
このような対応関係に応じて、マクロブロックアクティビティ算出部２５においては、まず、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内での各マクロブロックに対するアクティビティを算出する。すなわち、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）において、マクロブロックＭＢ_kに割り当てられた符号量（ビット数）をＢ_MBk量子化スケールをＱ_MBkとすれば、当該マクロブロックに対するコンプレキシティＸ_MBkは、次の式（２６）によって与えられる。
【０１１９】
【数３２】

【０１２０】
次に、マクロブロックアクティビティ算出部２５において、式（２６）によって算出された、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内での各マクロブロックＭ_b1に対するアクティビティＸ_Mb1から、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）内での各マクロブロックＭ_b1に対するアクティビティＸ_Mb1を算出し、仮想バッファ２７に伝送する。図２の例においては、次の式（２７）によって与えられる。
【０１２１】
【数３３】

【０１２２】
ｆとして平均値を用いる場合には、次の式（２８）となる。
【０１２３】
【数３４】

【０１２４】
ｆに関しては式（２８）に限らず、例えば入力となる複数のデータの最小値を取る関数等でも良い。
【０１２５】
更に、また、マクロブロックアクティビティ算出部２５においては、当該ＶＯＰ全体に渡るＸ_Mbkの合計Ｘ_totalを次の式（２９）のように算出し、仮想バッファ２７に伝送する。ここでΩは当該ＶＯＰ全体を意味する。
【０１２６】
【数３５】

【０１２７】
仮想バッファ２７においては、式（７）に対応して、仮想バッファ（ｄ_j ⁱ，ｄ_j ^p，ｄ_j ^b）の占有量を式（３０）のように求める。
【０１２８】
【数３６】

【０１２９】
各ＶＯＰ符号化終了時の仮想バッファ占有量（ｄ_{MB_cnt} ⁱ，ｄ_{MB_cnt} ^p，ｄ_{MB_cnt} ^b）はそれぞれ同一のピクチャタイプで、次のＶＯＰに対する仮想バッファ占有量の初期値（ｄ₀ ⁱ，ｄ₀ ^p，ｄ₀ ^b）として用いられる。
【０１３０】
以上、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０における符号量制御の動作フローを図３に示す。
【０１３１】
最初のステップＳ３１において、圧縮情報解析部１７は、ピクチャタイプ判別部１６を介して入力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）の構文を解析し、各フレームに対する割当符号量（ビット数）及び各フレームにおける平均量子化スケールに関する情報を抽出し、情報バッファ２３に格納する。同時に、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、各マクロブロックに対する割当符号量及び量子化スケールも格納する。
【０１３２】
ステップＳ３２において、ＶＯＰコンプレキシティ算出部２４は、情報バッファ２３に格納された、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内の、各フレームに対する割当符号量（ビット数）及び各フレームにおける平均量子化スケールに関する情報から、各ＶＯＰに対するコンプレキシティの推測値を１ＧＯＶ分算出する。
【０１３３】
ステップＳ３３において、ＶＯＰ目標符号量算出部２６は、各ＶＯＰに対する目標符号量（ターゲットビット）を算出し、仮想バッファ２７に転送する。
【０１３４】
ステップＳ３４において、マクロブロックアクティビティ算出部２５は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内での各マクロブロックに対するアクティビティを算出する。
【０１３５】
ステップＳ３５において、マクロブロックアクティビティ算出部２５は、各ＶＯＰ内でのマクロブロックに対するアクティビティの推定値を算出し、仮想バッファ２７に転送する。
【０１３６】
ステップＳ３６において、仮想バッファ（ｄ_j ⁱ，ｄ_j ^p，ｄ_j ^b）の占有量を求める。そして、ステップＳ３７において、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）部２０は、視覚特性を考慮したマクロブロックごとの適応量子化を行う。
【０１３７】
次に、本発明を適用した第２の実施の形態の画像情報変換装置について、図４を参照して説明する。
【０１３８】
この画像情報変換装置は、ピクチャタイプ判別部２８と、圧縮情報解析部２９と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）３０と、間引き部３１と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）３２と、動きベクトル合成部３３と、動きベクトル検出部３４と、情報バッファ３４と、マクロブロックアクティビティ算出部３６と、ＶＯＰ目標符号量算出部３７と、仮想バッファ３８とから構成されている。
【０１３９】
図１に示した画像情報変換装置と図４に示した画像情報変換装置における相違点は、図１に示した画像情報変換装置においては、ＭＰＥＧ４画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）２０における、各ＶＯＰに対する目標符号量（ターゲットビット）を式（２５）により算出するのに対し、図４に示した画像情報変換部においては、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）３２における、各ＶＯＰに対する目標符号量（ターゲットビット）を式（４）により算出する点にある。すなわち、図４に示した画像情報変換装置においては、圧縮情報解析部２９において、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるＧＯＰ構造を抽出してこれを情報バッファ３５に格納し、これより、ＶＯＰ目標符号量算出部３７においては、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）におけるＧＯＶ構造を決定し、式（４）に基づいて各ＶＯＰに対する目標符号量（ターゲットビット）の算出を行う。
【０１４０】
以上、入力としてＭＰＥＧ２画像圧縮情報（ビットストリーム）を、出力としてＭＰＥＧ４画像圧縮情報（ビットストリーム）を対象としてきたが、入力、出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．２６３などの画像圧縮情報（ビットストリーム）でも良い。
【０１４１】
【発明の効果】
以上述べてきた様に、本発明は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を入力とし、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内での各マクロブロックに対するアクティビティ情報から、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）内での各マクロブロックに対するアクティビティ情報の推定値を算出し、これを用いて、ＭＰＥＧ４画像符号化における仮想バッファの更新を行うことで、符号量制御におけるコンプレキシティを算出するステップに伴う参照量子化スケールの変動を最小限に抑え、各マクロブロックに対する符号量割当が画像に対して最適化された状態で順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換して出力する手段を提供するものである。
【図面の簡単な説明】
【図１】第１の実施の形態の画像情報変換装置の構成を示すブロック図である。
【図２】ＭＰＥＧ２画像圧縮情報（ビットストリーム）及びＭＰＥＧ４画像圧縮情報（ビットストリーム）におけるマクロブロックの対応関係を示す図である。
【図３】コンプレキシティを用いて符号量制御を行う動作フローを示す図である。
【図４】第２の実施の形態の画像情報変換装置の構成を示すブロック図である。
【図５】従来の画像情報変換装置の構成を示すブロック図である。
【図６】ＭＰＥＧ２ＴｅｓｔＭｏｄｅ１５（ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１Ｎ０４００）で述べられている符号量制御方式の動作原理を示すフローチャートである。
【図７】本願出願人が提案した画像情報変換装置の構成を示す図である。
【図８】図７の画像情報変換装置における符号量制御の動作を示すフローチャートである。
【図９】ＣＣＩＲテストシーケンスの一つである“ＦｌｏｗｅｒＧａｒｄｅｎ”を、ｎ＝１５；ｍ＝３の条件の元で変換する際の、あるＶＯＰに対するＱ_jがどのような値を取るかを示した図である。
【符号の説明】
１６ピクチャタイプ判別部、１７圧縮情報解析部、１８ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）、１９間引き部、２０ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、２１動きベクトル合成部、２２動きベクトル検出部、２３情報バッファ、２４ＶＯＰコンプレキシティ算出部、２５擬似スライスコンプレキシティ算出部、２６ＶＯＰ目標符号量算出部、２７擬似スライス目標符号量算出部

Claims

第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換する画像情報変換装置において、
上記入力画像圧縮情報及び上記出力画像圧縮情報を構成する符号化画像は、それぞれ複数の画素からなる画素ブロックから構成され、
上記入力画像圧縮情報における画素ブロックの第１のアクティビティに基づいて、上記出力画像圧縮情報における画素ブロックの第２のアクティビティの推定値を算出するアクティビティ算出手段と、
上記アクティビティ算出手段で算出した第２のアクティビティの推定値を利用し、仮想バッファのバッファ占有量に基づいて上記出力画像圧縮情報の各符号化画像での参照量子化スケールを均一化するレート制御を行い、画像情報を上記出力画像圧縮情報に変換する変換手段とを有し、
上記アクティビティ算出手段は、上記第１のアクティビティを、上記入力画像圧縮情報の符号化画像を構成する画素ブロックに対する量子化スケールと、割当ビット量との積により算出し、上記第２のアクティビティの推定値を、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックのアクティビティの関数により算出する
画像情報変換装置。
上記アクティビティ算出手段は、上記第１のアクティビティを次の式によって算出する請求項１記載の画像情報変換装置。

ただし、上記入力画像圧縮情報の符号化画像を構成する画素ブロックＭＢ_ｋに対する量子化スケールをＱ_ＭＢｋと、割当ビット量をＢ_ＭＢｋと、アクティビティをＸ_ＭＢｋとする。
上記アクティビティ算出手段は、上記第２のアクティビティの推定値を次の式によって算出する請求項２記載の画像情報変換装置。

ただし、上記入力画像圧縮情報の符号化画像を構成する画素ブロックＭＢ_ｋ，ＭＢ_ｋ＋１，…のアクティビティをＸ_ＭＢｋ，Ｘ_{ＭＢｋ＋１}，…と、上記出力画像圧縮情報の符号化画像を構成する画素ブロックの内の上記画素ブロックＭＢ_ｋ，ＭＢ_ｋ＋１，…に対応する画素ブロックＭｂ_ｌのアクティビティをＸ_Ｍｂｌとする。また、関数をｆとする。
上記関数ｆとして、入力データの平均値を出力する関数を用いる請求項３記載の画像情報変換装置。
上記関数ｆとして、入力データの最小値を出力する関数を用いる請求項３記載の画像情報変換装置。
上記アクティビティ算出手段は、上記出力画像圧縮情報の符号化画像を構成する画素ブロックの第２のアクティビティの総和を次の式によって算出し、

（ただし、上記出力画像圧縮情報の符号化画像に含まれる全ての画素ブロックの集合をΩと、上記符号化画像のアクティビティの総和をＸ_{ｔｏｔａｌ}とする。）
上記出力画像圧縮情報は、フレーム内で符号化するイントラ符号化画像、表示順序で順方向を参照する順方向予測符号化画像、表示順序で順方向及び逆方向を参照する双方向予測符号化画像から構成され、上記変換手段は上記符号化画像の画素ブロックにおける仮想バッファの占有量を次の式によって与える請求項３記載の画像情報変換装置。

（ただし、上記出力画像圧縮情報を構成するイントラ符号化画像、順方向予測符号化画像及び双方向予測符号化画像に対して、それぞれ、目標符号量をＴ_ｉ，Ｔ_ｐ，Ｔ_ｂと、仮想バッファの占有量の初期値をｄ_０ ^ｉ、ｄ_０ ^ｐ、ｄ_０ ^ｂと、各符号化画像内でｊ番目の画素ブロックにおける仮想バッファの占有量をｄ_ｊ ^ｉ，ｄ_ｊ ^ｐ，ｄ_ｊ ^ｂとする。また、各符号化画像内で先頭からｊ番目の画素ブロックまでの発生ビット量をＢ_ｉとする。）
上記変換手段は、イントラ符号化画像、順方向予測符号化画像及び双方向予測符号化画像のそれぞれの種類について、直前に変換した符号化画像の処理終了時における値を、同一の種類の新規な符号化画像の仮想バッファの占有量の初期値とする請求項６記載の画像情報変換装置。
上記出力画像圧縮情報は、フレーム内で符号化するイントラ符号化画像、表示順序で順方向を参照する順方向予測符号化画像、表示順序で順方向及び逆方向を参照する双方向予測符号化画像から構成され、上記イントラ符号化画像及び上記順方向予測符号化画像を通過させるが、上記双方向予測符号化画像を破棄する判別手段を有する請求項１記載の画像情報変換装置。
上記第１の圧縮符号化方式はＭＰＥＧ２であり、上記第２の圧縮符号化方式はＭＰＥＧ４である請求項１記載の画像情報変換装置。
第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換する画像情報変換方法において、
上記入力画像圧縮情報及び上記出力画像圧縮情報を構成する符号化画像は、それぞれ複数の画素からなる画素ブロックから構成され、
上記入力画像圧縮情報における画素ブロックの第１のアクティビティに基づいて、上記出力画像圧縮情報における画素ブロックの第２のアクティビティの推定値を算出し、
上記第２のアクティビティの推定値を利用し、仮想バッファのバッファ占有量に基づいて上記出力画像圧縮情報の各符号化画像での参照量子化スケールを均一化するレート制御を行い、画像情報を上記出力画像圧縮情報に変換し、
上記第１のアクティビティを、上記入力画像圧縮情報の符号化画像を構成する画素ブロックに対する量子化スケールと、割当ビット量との積により算出し、上記第２のアクティビティの推定値を、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックのアクティビティの関数により算出する
画像情報変換方法。
上記第１のアクティビティを次の式によって算出すると共に、

（ただし、上記入力画像圧縮情報の符号化画像を構成する画素ブロックＭＢ_ｋに対する量子化スケールをＱ_ＭＢｋと、割当ビット量をＢ_ＭＢｋと、アクティビティをＸ_ＭＢｋとする。）
上記第２のアクティビティの推定値を次の式によって算出する
請求項１０記載の画像情報変換方法。

（ただし、上記入力画像圧縮情報の符号化画像を構成する画素ブロックＭＢ_ｋ，ＭＢ_ｋ＋１，…のアクティビティをＸ_ＭＢｋ，Ｘ_{ＭＢｋ＋１}，…と、上記出力画像圧縮情報の符号化画像を構成する画素ブロックの内の上記画素ブロックＭＢ_ｋ，ＭＢ_ｋ＋１，…に対応する画素ブロックＭｂ_ｌのアクティビティをＸ_Ｍｂｌとする。また、関数をｆとする。）
第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を復号して得られる画像情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に符号化する符号化装置において、
上記入力画像圧縮情報及び上記出力画像圧縮情報を構成する符号化画像は、それぞれ複数の画素からなる画素ブロックから構成され、
上記入力画像圧縮情報における画素ブロックの第１のアクティビティに基づいて算出された、上記出力画像圧縮情報における画素ブロックの第２のアクティビティの推定値を受け取る受け取り手段と、
上記受け取り手段からの第２のアクティビティの推定値を利用し、仮想バッファのバッファ占有量に基づいて上記出力画像圧縮情報の各符号化画像での参照量子化スケールを均一化するレート制御を行い、画像情報を上記出力画像圧縮情報に符号化する符号化手段とを有し、
上記受け取り手段は、上記入力画像圧縮情報の符号化画像を構成する画素ブロックに対する量子化スケールと、割当ビット量との積により算出された上記第１のアクティビティと、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックのアクティビティの関数により算出された上記第２のアクティビティの推定値とを受け取る
符号化装置。
第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を復号して得られる画像情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に符号化する符号化方法において、
上記入力画像圧縮情報及び上記出力画像圧縮情報を構成する符号化画像は、それぞれ複数の画素からなる画素ブロックから構成され、
上記入力画像圧縮情報における画素ブロックの第１のアクティビティに基づいて算出された、上記出力画像圧縮情報における画素ブロックの第２のアクティビティの推定値を受け取る受け取り工程と、
上記受け取り工程からの第２のアクティビティの推定値を利用し、仮想バッファのバッファ占有量に基づいて上記出力画像圧縮情報の各符号化画像での参照量子化スケールを均一化するレート制御を行い、画像情報を上記出力画像圧縮情報に符号化する符号化工程とを有し、
上記受け取り工程では、上記入力画像圧縮情報の符号化画像を構成する画素ブロックに対する量子化スケールと、割当ビット量との積により算出された上記第１のアクティビティと、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックのアクティビティの関数により算出された上記第２のアクティビティの推定値とを受け取る
符号化方法。