JP4608801B2 - 画像情報変換装置及び方法 - Google Patents
画像情報変換装置及び方法 Download PDFInfo
- Publication number
- JP4608801B2 JP4608801B2 JP2001123543A JP2001123543A JP4608801B2 JP 4608801 B2 JP4608801 B2 JP 4608801B2 JP 2001123543 A JP2001123543 A JP 2001123543A JP 2001123543 A JP2001123543 A JP 2001123543A JP 4608801 B2 JP4608801 B2 JP 4608801B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image compression
- activity
- pixel block
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像情報を変換する画像情報変換装置及び方法に関し、詳しくは、離散コサイン変換等の直交変換と動き補償によって圧縮されたＭＰＥＧ等の画像情報（ビットストリーム）を衛星放送、ケーブルＴＶ、インターネット等のネットワークメディアを介して受信する際に、若しくは光、磁気ディスクのような記憶メディア上で処理する際に用いられる画像情報を変換する画像情報変換装置及び方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルとして取り扱い、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの画像情報圧縮方式が提供されている。そして、このような画像情報圧縮方法に準拠した装置は、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）は、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する、汎用画像符号化方式として定義されている。
【０００４】
すなわち、ＭＰＥＧ２符号化圧縮方式によれば、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像に４〜８Ｍｂｐｓの符号量（ビットレート）を割り当て、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像に対して１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることにより、高い圧縮率と良好な画質の実現が可能となる。
【０００５】
このようなことから、ＭＰＥＧ２は、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。
【０００６】
しかし、ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としており、例えばＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。
【０００７】
一方で、近年の携帯端末の普及により、今後とも高い圧縮率の符号化方式のニーズは高まると思われ、これに対応して、高い圧縮率を有するＭＰＥＧ４符号化方式の標準化が行われている。この画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２として国際標準の規格が承認された。
【０００８】
ところで、ディジタル放送用に一度符号化されたＭＰＥＧ２画像圧縮情報（ビットストリーム）を、携帯端末上等で処理するのにより適した、より低い符号量（ビットレート）の画像圧縮情報（ビットストリーム）に変換したいというニーズがある。
【０００９】
かかる目的を達成するために、“Field-to-Frame Transcoding with Spatialand Temporal Downsampling”（Susie L Wee,John G.Apostolopoulos, and Nick Feamster, ICIP 99、以下これを文献１と呼ぶ）において画像情報変換装置（トランスコーダ）が提供されている。
【００１０】
この文献１において提供された画像情報変換装置（トランスコーダ）は、図５に示すように、ピクチャタイプ判別部１と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２と、間引き部３と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４と、動きベクトル合成部５と、動きベクトル検出部６とから構成されている。
【００１１】
この画像情報変換装置には、フレーム内で符号化されたイントラ符号化画像（Ｉピクチャ；Ｉ）、表示順序で順方向を参照して予測符号化された順方向予測符号化画像（Ｐピクチャ；Ｐ）及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像（Ｂピクチャ；Ｂ）から構成される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）が入力される。
【００１２】
このＭＰＥＧ２画像圧縮情報（ビットストリーム）は、ピクチャタイプ判別部１において、Ｉ／Ｐピクチャに関するものか、Ｂピクチャに関するものであるかを判別され、Ｉ／Ｐピクチャのみ後続のＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２に出力され、Ｂピクチャは破棄される。
【００１３】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２における処理は通常のＭＰＥＧ２画像情報復号化装置と同様に、ＭＰＥＧ２画像圧縮情報（ビットストリーム）を画像信号に復号するものである。
【００１４】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２の出力となる画素値は、間引き部３に入力される。間引き部３は、水平方向には１／２の間引き処理を施し、垂直方向には、第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄する。このような間引きによって、入力となる画像情報の１／４の大きさを持つ順次走査画像を生成する。
【００１５】
間引き部３によって生成された順次走査画像はＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４によってフレーム内で符号化されたＩ−ＶＯＰ及び表示順序で順方向を参照して予測符号化されたＰ−ＶＯＰに符号化され、ＭＰＥＧ４画像圧縮情報（ビットストリーム）として出力される。尚、ＶＯＰはVideo object Planeを意味し、ＭＰＥＧ２におけるフレームに相当するものである。
【００１６】
その際、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル情報は、動きベクトル合成部５において間引き後の画像情報に対する動きベクトルにマッピングされ、動きベクトル検出部６においては、動きベクトル合成部５において合成された動きベクトル値を元に高精度の動きベクトルを検出する。
【００１７】
文献１は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）の１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４画像圧縮情報（ビットストリーム）を生成する画像情報変換装置に関して記述している。すなわち、例えば入力となるＭＰＥＧ２画圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したものであった場合、出力となるＭＰＥＧ４画像圧縮情報はＳＩＦサイズ（３５２×２４０画素）ということになる。
【００１８】
ところで、図５に示した画像情報変換装置においては、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４における符号量制御が、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）における画質を決定する大きな要因となる。ＩＳＯ／ＩＥＣ １４４９６−２においては、符号量制御の方式に関しては特に規定されておらず、各ベンダが、アプリケーションに応じて、演算量及び出力画質の観点から最適と考えられる方式を用いることが出来る。以下では、代表的な符号量制御方式として、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ０４００）で述べられている方式について述べる。
【００１９】
この符号量制御のフローを図６に示すフローを用いて説明する。最初のステップＳ１１において、画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、目標符号量（ターゲットビットレート）、及び、ＧＯＰ（ｇroup of pictures）構成を入力変数として、各ピクチャヘのビット配分を行う。ここで、ＧＯＰとは、ランダムアクセス可能なピクチャの組である。
【００２０】
すなわち、ステップＳ１１において、画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、ＧＯＰ内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含めＧＯＰ内でまだ復号化されていないピクチャに対して割り当てられるビット量（以下、これをＲとする）を基に配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。その際、以下に述べる２つの仮定を用いて各ピクチャヘの符号量割り当てを行う。
【００２１】
まず、第一に、各ピクチャを符号化する際に用いる平均量子化スケールコードと発生符号量の積は、画面が変化しない限り、ピクチャタイプ毎に一定値となると仮定する。そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを示す変数Ｘｉ，Ｘｐ，Ｘｂ （grobal complelxity measure）を次の式（１）によって更新する。
【００２２】
【数３】
【００２３】
ここでＳｉ，Ｓｐ，Ｓｂ はピクチャ符号化時の発生符号ビット量であり、Ｑｉ，Ｑｐ，Ｑｂ は、ピクチャ符号化時の平均量子化スケールコードである。また、初期値は、目標符号量（ターゲットビットレート）ｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、式（２）で示される値とする。
【００２４】
【数４】
【００２５】
第二に、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率Ｋｐ，Ｋｂが式（３）に定めた値となる場合に常に全体の画質が最適化されると仮定する。
【００２６】
【数５】
【００２７】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ，Ｐピクチャの量子化スケールコードの常に１．４倍としている。これは、ＢピクチャをＩ，Ｐピクチャに比較して多少粗めに符号化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善され、これを参照するＢピクチャの画質も改善されることを想定している。
【００２８】
上記２つの仮定より、ＧＯＰの各ピクチャに対する割り当てビット量（Ｔｉ，Ｔｐ，Ｔｂ） は式（４）に示す値とする。
【００２９】
【数６】
【００３０】
ここでＮｐ，ＮｂはＧＯＰ内でまだ符号化されていないＰ，Ｂピクチャの枚数である。
【００３１】
このようにして求めた割当符号量を基にして、各ピクチャをステップＳ１１，Ｓ１２に従って符号化する毎に、ＧＯＰ内の未符号化ピクチャに対して割り当てられるビット量Ｒを式（５）で更新する。
【００３２】
【数７】
【００３３】
また、ＧＯＰの最初のピクチャを符号化する際には、式（６）によりＲを更新する。
【００３４】
【数８】
【００３５】
ＮはＧＯＰ内のピクチャ数である。また、シーケンスの最初でのＲの初期値は０とする。
【００３６】
次に、ステップＳ１２において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、仮想バッファを用いたレート制御を行う。すなわち、ステップＳ１２において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、ステップＳ１１で式（４）により求められた各ピクチャに対する割当ビット量（Ｔｉ，Ｔｐ，Ｔｂ）と、実際の発生符号量を一致させるため、各ピクチャ毎に独立に設定した３種類の仮想バッファの容量を基に、量子化スケールコードを、マクロブロック単位のフィードバック制御で求める。
【００３７】
まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を式（７）によって求める。
【００３８】
【数９】
【００３９】
ここで、ｄ０ ｉ，ｄ０ ｐ，ｄ０ ｂは各仮想バッファの初期占有量、Ｂｊ はピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢ＿ｃｎｔは１ピクチャ内のマクロブロック数である。各ピクチャ符号化終了時の仮想バッファ占有量（ｄＭＢ＿ｃｎｔ ｉ，ｄＭＢ＿ｃｎｔ ｐ，ｄＭＢ＿ｃｎｔ ｂ） は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ０ ｉ，ｄ０ ｐ，ｄ０ ｂ）として用いられる。
【００４０】
次に、ｊ番目のマクロブロックに対する量子化スケールコードを式（８）により計算する。
【００４１】
【数１０】
【００４２】
ここで、ｒはリアクションパラメーターと呼ばれるフィードバックループの応答を制御する変数であり、式（９）により与えられる。
【００４３】
【数１１】
【００４４】
尚、符号化開始時における仮想バッファの初期値は式（１０）で与えられる。
【００４５】
【数１２】
【００４６】
最後に、ステップＳ１３において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、視覚特性を考慮したマクロブロック毎の適応量子化を行う。すなわち、ステップＳ１３において、画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、ステップＳ１２で求められた量子化スケールコードを、視覚的に劣化の目立ちやすい平坦部でより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分で粗く量子化するように、各マクロブロック毎のアクティビティと呼ばれる変数によって変化させている。
【００４７】
アクティビティは、原画の輝度信号画素値を用い、フレーム離散コサイン変換モードにおける４個のブロックと、フィールド離散コサイン変換モードにおける４個のブロックとの、合計８ブロックの画素値を用いて式（１１）で与えられる。
【００４８】
【数１３】
【００４９】
ここで、Ｐｋ は原画の輝度信号ブロック内画素値である。式（１１）において最小値を採るのは、マクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
【００５０】
更に、式（１２）によりその値が０．５〜２の範囲を取る正規化アクティビティＮａｃｔｊ を求める。
【００５１】
【数１４】
【００５２】
ここで、ａｖｇ＿ａｃｔは、直前に符号化したピクチャでのａｃｔｊ の平均値である。
【００５３】
視覚特性を考慮した量子化スケールコードｍｑｕａｎｔｊ はステップＳ１２で得られた量子化スケールコードＱｊ を基に式（１３）で与えられる。
【００５４】
【数１５】
【００５５】
ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５において定められた上記符号量制御方式には以下の制限のあることが知られており、実際の制御を行う場合には、これらの制限に対する対策が必要となる。すなわち、第一の制限は、第一ステップＳ１１はシーンチェンジに対応出来ず、また、シーンチェンジ後には第三ステップＳ１３で用いる媒介変数ａｖｇ＿ａｃｔが間違った値となるということである。第二の制限は、ＭＰＥＧ２及びＭＰＥＧ４において規定されているＶＢＶ（VideoBuffer Verifier）の拘束条件を満たす保証がないことである。
【００５６】
【発明が解決しようとする課題】
ところで、式（１１）の実行には各マクロブロックに対する画素値の平均値と分散を全て計算する必要があるため多くの処理量を要する。また、式（１２）におけるａｖｇ＿ａｃｔは当該フレームにおける平均値ではなく、直前のフレームに対する平均値であることが、安定した符号量制御を行う妨げとなる場合もある。
【００５７】
本発明は、上述の実情に鑑みて提案されるものであって、画像情報を変換する画像情報変換装置及び方法であって、アクティビティを算出するための処理量を低減し、安定した符号量制御を行うような画像情報変換装置及び方法を提供することを目的とする。
【００５８】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換する画像情報変換装置において、上記入力画像圧縮情報のフレームを構成する画素ブロックの第１のアクティビティ情報を用いて上記出力画像圧縮情報のフレームを構成する画素ブロックの第２のアクティビティ情報を合成する際に、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックの上記第１のアクティビティ情報を上記入力画像圧縮情報から抽出して合成する合成手段と、上記第２の圧縮符号化方式の圧縮の際に、上記第２のアクティビティ情報により量子化スケールを制御する適応量子化を用いて上記入力画像圧縮情報を上記出力画像圧縮情報に符号化する符号化手段とを有する。
【００５９】
本発明は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を入力画像圧縮情報とし、順次操作のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力画像圧縮情報とする。これらＭＰＥＧ２画像圧縮情報（ビットストリーム）及びＭＰＥＧ４画像圧縮情報は、複数の画素から構成される画素ブロックすなわちマクロブロックから構成されている。
【００６０】
すなわち、本発明は、飛び越し走査のＭＰＥＧ２画像情報圧縮部（ビットストリーム）を入力とし、ピクチャタイプ判別部、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチヤ）、間引き部、遅延バッファ、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、動きベクトル合成部、動きベクトル検出部、情報バッファ、アクティビティ合成部を兼ね備え、入力画像圧縮情報となるＭＰＥＧ２画像圧縮情報（ビットストリーム）から抽出される、画素ブロック、すなわちマクロブロック毎のアクティビティ情報を利用して、ＭＰＥＧ４画像情報符号化（Ｉ／Ｐ−ＶＯＰ）を行うことで、より少ない処理量により、マクロブロック毎の符号量配分が最適化された状態で、順次走査の出力画像圧縮情報となるＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力する手段を提供するものである。なお、遅延バッファを持たず、圧縮情報解析部を兼ね備えた装置構成も可能である。
【００６１】
上記構成において、ピクチャタイプ判別部は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内で、Ｉ／Ｐピクチャに関するものだけ残してＢピクチャに関するものは廃棄する。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）は、ピクチャタイプ判別部の出力となる、Ｉ／Ｐピクチャに関する圧縮情報（ビットストリーム）を、水平方向垂直方向ともに、８次の離散コサイン係数全てを用いた、若しくはその低域成分のみを用いた復号処理を行う。間引き部は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）の出力である画像情報の第一フィールド若しくは第二フイールドのみを取り出して順次走査画像への変換を行うと同時に、所望の画枠サイズに変換するためのダウンサンプリングを行う。遅延バッファは、１フレーム分の画像情報の蓄積を行う。ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）は、遅延バッファの出力となる画像情報をＭＰＥＧ４符号化方式により符号化する。動きベクトル合成部は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）で検出された、入力となる画像圧縮情報（ビットストリーム）内の動きベクトル値を元に、走査変換後の画像データに対する動きベクトル値にマッピングする。動きベクトル検出部ては、動きベクトル合成部から出力される動きベクトル値を元に、高精度の動きベクトル検出を行う。情報バッファは、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）において復号処理を行う際に得られる、各マクロブロック毎のアクティビティ情報を抽出してこれを格納する。アクティビティ合成部は、情報バッファに格納された、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロック毎のアクティビティ情報から、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）におけるマクロブロック毎のアクティビティ情報を合成してこれをＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）に伝送する。
【００６２】
【発明の実施の形態】
以下、図面を参照し、本発明の実施の形態について説明する。
【００６３】
まず、本発明による第一の実施の形態となる画像情報変換装置について説明する。
【００６４】
この画像情報変換装置は、図１に示すように、ピクチャタイプ判別部７と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８と、間引き部９と、遅延バッファ１０と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１と、動きベクトル合成部１２と、動きベクトル検出部１３と、情報バッファ１４と、アクティビティ合成部１４とを有している。
【００６５】
この画像情報変換装置には、フレーム内で符号化されたイントラ符号化画像（Ｉピクチャ；Ｉ）、表示順序で順方向を参照して予測符号化された順方向予測符号化画像（Ｐピクチャ；Ｐ）及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像（Ｂピクチャ；Ｂ）から構成される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）が入力される。
【００６６】
このＭＰＥＧ２画像圧縮情報（ビットストリーム）は、ピクチャタイプ判別部７において、Ｉ／Ｐピクチャに関するものか、Ｂピクチャに関するものであるかを判別され、Ｉ／Ｐピクチャのみ後続のＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８に出力され、Ｂピクチャは破棄される。
【００６７】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８は、ＭＰＥＧ２画像圧縮情報（ビットストリーム）を画像信号に復号するとともに、アクティビティ情報を抽出して情報バッファ１４へ送る。ここで、Ｂピクチャに関するデータはピクチャタイプ判別部７において廃棄されているので、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８は、Ｉ／Ｐピクチャのみを復号化出来る機能を有すればよい。
【００６８】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８の出力となる画素値は、間引き部９に入力される。間引き部９は、水平方向には１／２の間引き処理を施し、垂直方向には、第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄する。このような間引きによって、入力となる画像情報の１／４の大きさを持つ順次走査画像を生成する。
【００６９】
ところで、間引き部９から出力された画像をＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１において１６×１６画素で構成されるマクロブロック単位で符号化するためには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要が有る。間引き部９においては、このための画素の補填若しくは廃棄を、間引きと同時に行う。
【００７０】
例えば、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したもの、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き後の画枠はＳＩＦ（３６０×２４０画素）サイズということになる。この画像に対して、間引き部９において、例えば水平方向の右端若しくは左端の８ラインを廃棄して３５２×２４０画素とする。
【００７１】
なお、間引き部９における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【００７２】
更に、上述した文献１は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８における処理として、水平方向、垂直方向それぞれについて、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内の、８次の離散コサイン変換係数すべてを用いた復号処理を行う画像情報変換装置について述べられているが、図１に示した装置に関してはその限りではなく、水平方向のみ、或いは水平方向、垂直方向ともに、８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら、復号処理に伴う演算量とビデオメモリ容量を削減することが可能である。
【００７３】
間引き部９によって生成された順次走査画像は遅延バッファ１０によって１フレーム遅延された後、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１によってフレーム内で符号化されたＩ−ＶＯＰ及び表示順序で順方向を参照して予測符号化されたＰ−ＶＯＰに符号化され、ＭＰＥＧ４画像圧縮情報（ビットストリーム）として出力される。
【００７４】
その際、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル情報は、動きベクトル合成部１２において間引き後の画像情報に対する動きベクトルにマッピングされ、動きベクトル検出部１３においては、動きベクトル合成部１２において合成された動きベクトル値を元に高精度の動きベクトルを検出する。
【００７５】
尚、ＶＯＰはVideo object Planeを意味し、ＭＰＥＧ２におけるフレームに相当するものである。また、Ｉ−ＶＯＰはＩピクチャに対応するイントラ符号化ＶＯＰ、Ｐ−ＶＯＰはＰピクチャに対応する順方向予測符号化ＶＯＰ、Ｂ−ＶＯＰはＢピクチャに対応する双方向予測符号化ＶＯＰである。
【００７６】
この画像情報変換装置において、情報バッファ１４には、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、マクロブロック毎のアクティビティ情報がＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８から送られ、１フレーム分格納される。ここで用いられるアクティビティ情報としては、以下のような６通りの方法で求められたものが考えられる。
【００７７】
第一の方法は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロック毎の量子化スケールＱを用いる方法である。第二の方法は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロック毎の輝度成分離散コサイン変換係数に対して割り当てられた符号量（ビット数）を用いる方法である。第三の方法は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロック毎の離散コサイン変換係数に対して割り当てられた符号量（ビット数）を用いる方法である。第四の方法は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロック毎に割り当てられた符号量（ビット数）を用いる方法である。第五の方法は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロック毎に割り当てられた符号量（ビット数）をＢとして、次の式（１４）によって与えられるＸを用いる方法である。
【００７８】
【数１６】
【００７９】
ここでＢはマクロブロックに割り当てられた符号量（ビット数）全体であっても、離散コサイン変換係数係数に対して割り当てられた符号量（ビット数）でもあっても、輝度成分離散コサイン変換係数に対して割り当てられた符号量（ビット数）であっても良い。また、Ｑは量子化スケールである。第六の方法は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内で、各マクロブロックの輝度成分、若しくは輝度成分と色差成分の両方に対する非零の離散コサイン変換係数を用いる方法である。
【００８０】
以下では、入力となる飛び越し走査画像のＭＰＥＧ２画像圧縮情報（ビットストリーム）の、１／４の画枠を持つ、順次走査画像のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力する場合を考える。
【００８１】
この時、アクティビティ合成部１５を用いて、図２のＡに示すような入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内での４つのマクロブロックに対するアクティビティ情報Ａｃｔｊ，ｎ （ｎ＝１，…４）から、図２のＢに示すような出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）内での１つのマクロブロックに対するアクティビティ情報Ａｃｔｊ を次の式（１５）のように生成する。
【００８２】
【数１７】
【００８３】
ここで関数ｆとしては、入力サンプルの平均値、若しくは最小値を出力する関数が考えられる。
【００８４】
アクティビティ合成部１５においては、上述の、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）に対するマクロブロック毎の情報Ａｃｔｊ 及び、Ａｃｔｊ のＶＯＰ全体に渡る平均値Ａｖｇ＿ａｃｔが算出され、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１に出力される。Ａｖｇ＿ａｃｔの算出には、画面全体に渡るＡｃｔｊ を知る必要があり、このため遅延バッファ１０が必要となる。
【００８５】
ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１においては、アクティビティ合成部１５において算出された媒介変数Ａｃｔｊ 及びＡｖｇ＿ａｃｔを用い、式（１２）に対応して、次の式（１６）のように、各マクロブロックに対する正規化アクテイビテイＮａｃｔｊ が算出され、マクロブロック毎の適応量子化処理が実行される。
【００８６】
【数１８】
【００８７】
この適応量子化に至る一連の処理手順を、図３を参照して説明する。
【００８８】
最初のステップＳ２１において、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８から出力された、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、マクロブロックごとのアクティビティ情報Ａｃｔｊ，ｎ は、情報バッファ１４に格納される。
【００８９】
ステップＳ２２において、アクティビティ合成部１５は、情報バッファ１４に格納されているアクティビティ情報Ａｃｔｊ からＭＰＥＧ４画像圧縮情報（ビットストリーム）内でのマクロブロックに対するアクティビティ情報Ａｃｔｊ を生成する。
【００９０】
ステップＳ２３において、アクティビティ合成部１５は、アクティビティ情報Ａｃｔｊ の平均値Ａｖｇ＿ａｃｔを算出する。そして、ステップＳ２４において、アクティビティ合成部１５は、正規化アクティビティＮａｃｔｊ を算出する。
【００９１】
ステップＳ２５において、ＭＰＥＧ４画像情報符号化部１１は、アクティビティ合成部１５から供給された正規化アクティビティＮａｃｔｊ に基づいて、適応量子化を用いて画像情報符号化を実行する。
【００９２】
上記処理を行うことにより、式（１１）の実行が不要となるため、処理量の削減が可能となる。また、式（１１）において、ａｖｇ＿ａｃｔは直前のＶＯＰに対する平均値であるのに対し、式（１６）において、Ａｖｇ＿ａｃｔは当該ＶＯＰに対する平均値であるため、より安定した符号量制御を行うことが可能である。
【００９３】
次に、本発明の第２の実施の形態である画像情報処理装置について説明する。
【００９４】
この画像情報変換装置は、図４に示すように、ピクチャタイプ判別部１６と、圧縮情報解析部１７と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１８と、間引き部１９と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０と、動きベクトル合成部２１と、動きベクトル検出部２２と、情報バッファ２３と、アクティビティ合成部２４とを有している。
【００９５】
図１に示した第１の実施の形態の画像情報変換装置においては、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８において、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、各マクロブロック毎のアクティビティ情報が抽出され、遅延バッファ１０によって１フレーム分の遅延が実現されるのに対し、この画像情報変換装置においては、圧縮情報解析部１７において、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、各マクロブロック毎のアクティビティ情報が抽出されると同時に１フレーム分の遅延が実現される点が異なっている。
【００９６】
他の部分については、上述した第１の実施の形態の画像情報変換装置と同様であるので、説明を省略する。
【００９７】
このように、上述の実施の形態においては、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）において抽出される、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内におけるマクロブロックごとの情報を利用することにより、処理量を低減すると共に安定した符号量制御を達成している。
【００９８】
以上、入力としてＭＰＥＧ２画像圧縮情報（ビットストリーム）を、出力としてＭＰＥＧ４画像圧縮情報（ビットストリーム）を対象としてきたが、入力、出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．２６３などの画像圧縮情報（ビットストリーム）でも良い。
【００９９】
【発明の効果】
以上述べてきた様に、本発明は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を入力とし、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内での各マクロブロックに対するアクティビティ情報から、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）内での各マクロブロックに対するアクティビティ情報を合成してこれを適応量子化に用いることで、より少ない処理量により、マクロブロック毎の符号量配分が最適化された状態で、順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換して出力する手段を提供するものである。
【図面の簡単な説明】
【図１】第１の実施の形態の画像情報変換装置の構成を示すブロック図である。
【図２】アクティビティ情報Ａｃｔｊ を生成する方法を示す図である。
【図３】適用量子化処理の動作原理を示すフローチャートである。
【図４】第２の実施の形態の画像情報変換装置の構成を示すブロック図である。
【図５】従来の画像情報変換装置の構成を示すブロック図である。
【図６】従来の符号化制御方式の動作原理を示すフローチャートである。
【符号の説明】
７ ピクチャタイプ判別部、 ８ ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）、 ９ 間引き部、 １０ 遅延バッファ、 １１ ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、 １２ 動きベクトル合成部、 １３ 動きベクトル検出部、 １４ 情報バッファ、 １５ アクティビティ合成部
【発明の属する技術分野】
本発明は、画像情報を変換する画像情報変換装置及び方法に関し、詳しくは、離散コサイン変換等の直交変換と動き補償によって圧縮されたＭＰＥＧ等の画像情報（ビットストリーム）を衛星放送、ケーブルＴＶ、インターネット等のネットワークメディアを介して受信する際に、若しくは光、磁気ディスクのような記憶メディア上で処理する際に用いられる画像情報を変換する画像情報変換装置及び方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルとして取り扱い、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの画像情報圧縮方式が提供されている。そして、このような画像情報圧縮方法に準拠した装置は、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）は、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する、汎用画像符号化方式として定義されている。
【０００４】
すなわち、ＭＰＥＧ２符号化圧縮方式によれば、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像に４〜８Ｍｂｐｓの符号量（ビットレート）を割り当て、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像に対して１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることにより、高い圧縮率と良好な画質の実現が可能となる。
【０００５】
このようなことから、ＭＰＥＧ２は、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。
【０００６】
しかし、ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としており、例えばＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。
【０００７】
一方で、近年の携帯端末の普及により、今後とも高い圧縮率の符号化方式のニーズは高まると思われ、これに対応して、高い圧縮率を有するＭＰＥＧ４符号化方式の標準化が行われている。この画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２として国際標準の規格が承認された。
【０００８】
ところで、ディジタル放送用に一度符号化されたＭＰＥＧ２画像圧縮情報（ビットストリーム）を、携帯端末上等で処理するのにより適した、より低い符号量（ビットレート）の画像圧縮情報（ビットストリーム）に変換したいというニーズがある。
【０００９】
かかる目的を達成するために、“Field-to-Frame Transcoding with Spatialand Temporal Downsampling”（Susie L Wee,John G.Apostolopoulos, and Nick Feamster, ICIP 99、以下これを文献１と呼ぶ）において画像情報変換装置（トランスコーダ）が提供されている。
【００１０】
この文献１において提供された画像情報変換装置（トランスコーダ）は、図５に示すように、ピクチャタイプ判別部１と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２と、間引き部３と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４と、動きベクトル合成部５と、動きベクトル検出部６とから構成されている。
【００１１】
この画像情報変換装置には、フレーム内で符号化されたイントラ符号化画像（Ｉピクチャ；Ｉ）、表示順序で順方向を参照して予測符号化された順方向予測符号化画像（Ｐピクチャ；Ｐ）及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像（Ｂピクチャ；Ｂ）から構成される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）が入力される。
【００１２】
このＭＰＥＧ２画像圧縮情報（ビットストリーム）は、ピクチャタイプ判別部１において、Ｉ／Ｐピクチャに関するものか、Ｂピクチャに関するものであるかを判別され、Ｉ／Ｐピクチャのみ後続のＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２に出力され、Ｂピクチャは破棄される。
【００１３】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２における処理は通常のＭＰＥＧ２画像情報復号化装置と同様に、ＭＰＥＧ２画像圧縮情報（ビットストリーム）を画像信号に復号するものである。
【００１４】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２の出力となる画素値は、間引き部３に入力される。間引き部３は、水平方向には１／２の間引き処理を施し、垂直方向には、第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄する。このような間引きによって、入力となる画像情報の１／４の大きさを持つ順次走査画像を生成する。
【００１５】
間引き部３によって生成された順次走査画像はＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４によってフレーム内で符号化されたＩ−ＶＯＰ及び表示順序で順方向を参照して予測符号化されたＰ−ＶＯＰに符号化され、ＭＰＥＧ４画像圧縮情報（ビットストリーム）として出力される。尚、ＶＯＰはVideo object Planeを意味し、ＭＰＥＧ２におけるフレームに相当するものである。
【００１６】
その際、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル情報は、動きベクトル合成部５において間引き後の画像情報に対する動きベクトルにマッピングされ、動きベクトル検出部６においては、動きベクトル合成部５において合成された動きベクトル値を元に高精度の動きベクトルを検出する。
【００１７】
文献１は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）の１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４画像圧縮情報（ビットストリーム）を生成する画像情報変換装置に関して記述している。すなわち、例えば入力となるＭＰＥＧ２画圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したものであった場合、出力となるＭＰＥＧ４画像圧縮情報はＳＩＦサイズ（３５２×２４０画素）ということになる。
【００１８】
ところで、図５に示した画像情報変換装置においては、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４における符号量制御が、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）における画質を決定する大きな要因となる。ＩＳＯ／ＩＥＣ １４４９６−２においては、符号量制御の方式に関しては特に規定されておらず、各ベンダが、アプリケーションに応じて、演算量及び出力画質の観点から最適と考えられる方式を用いることが出来る。以下では、代表的な符号量制御方式として、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ０４００）で述べられている方式について述べる。
【００１９】
この符号量制御のフローを図６に示すフローを用いて説明する。最初のステップＳ１１において、画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、目標符号量（ターゲットビットレート）、及び、ＧＯＰ（ｇroup of pictures）構成を入力変数として、各ピクチャヘのビット配分を行う。ここで、ＧＯＰとは、ランダムアクセス可能なピクチャの組である。
【００２０】
すなわち、ステップＳ１１において、画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、ＧＯＰ内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含めＧＯＰ内でまだ復号化されていないピクチャに対して割り当てられるビット量（以下、これをＲとする）を基に配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。その際、以下に述べる２つの仮定を用いて各ピクチャヘの符号量割り当てを行う。
【００２１】
まず、第一に、各ピクチャを符号化する際に用いる平均量子化スケールコードと発生符号量の積は、画面が変化しない限り、ピクチャタイプ毎に一定値となると仮定する。そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを示す変数Ｘｉ，Ｘｐ，Ｘｂ （grobal complelxity measure）を次の式（１）によって更新する。
【００２２】
【数３】
ここでＳｉ，Ｓｐ，Ｓｂ はピクチャ符号化時の発生符号ビット量であり、Ｑｉ，Ｑｐ，Ｑｂ は、ピクチャ符号化時の平均量子化スケールコードである。また、初期値は、目標符号量（ターゲットビットレート）ｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、式（２）で示される値とする。
【００２４】
【数４】
第二に、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率Ｋｐ，Ｋｂが式（３）に定めた値となる場合に常に全体の画質が最適化されると仮定する。
【００２６】
【数５】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ，Ｐピクチャの量子化スケールコードの常に１．４倍としている。これは、ＢピクチャをＩ，Ｐピクチャに比較して多少粗めに符号化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善され、これを参照するＢピクチャの画質も改善されることを想定している。
【００２８】
上記２つの仮定より、ＧＯＰの各ピクチャに対する割り当てビット量（Ｔｉ，Ｔｐ，Ｔｂ） は式（４）に示す値とする。
【００２９】
【数６】
ここでＮｐ，ＮｂはＧＯＰ内でまだ符号化されていないＰ，Ｂピクチャの枚数である。
【００３１】
このようにして求めた割当符号量を基にして、各ピクチャをステップＳ１１，Ｓ１２に従って符号化する毎に、ＧＯＰ内の未符号化ピクチャに対して割り当てられるビット量Ｒを式（５）で更新する。
【００３２】
【数７】
また、ＧＯＰの最初のピクチャを符号化する際には、式（６）によりＲを更新する。
【００３４】
【数８】
ＮはＧＯＰ内のピクチャ数である。また、シーケンスの最初でのＲの初期値は０とする。
【００３６】
次に、ステップＳ１２において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、仮想バッファを用いたレート制御を行う。すなわち、ステップＳ１２において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、ステップＳ１１で式（４）により求められた各ピクチャに対する割当ビット量（Ｔｉ，Ｔｐ，Ｔｂ）と、実際の発生符号量を一致させるため、各ピクチャ毎に独立に設定した３種類の仮想バッファの容量を基に、量子化スケールコードを、マクロブロック単位のフィードバック制御で求める。
【００３７】
まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を式（７）によって求める。
【００３８】
【数９】
ここで、ｄ０ ｉ，ｄ０ ｐ，ｄ０ ｂは各仮想バッファの初期占有量、Ｂｊ はピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢ＿ｃｎｔは１ピクチャ内のマクロブロック数である。各ピクチャ符号化終了時の仮想バッファ占有量（ｄＭＢ＿ｃｎｔ ｉ，ｄＭＢ＿ｃｎｔ ｐ，ｄＭＢ＿ｃｎｔ ｂ） は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ０ ｉ，ｄ０ ｐ，ｄ０ ｂ）として用いられる。
【００４０】
次に、ｊ番目のマクロブロックに対する量子化スケールコードを式（８）により計算する。
【００４１】
【数１０】
ここで、ｒはリアクションパラメーターと呼ばれるフィードバックループの応答を制御する変数であり、式（９）により与えられる。
【００４３】
【数１１】
尚、符号化開始時における仮想バッファの初期値は式（１０）で与えられる。
【００４５】
【数１２】
最後に、ステップＳ１３において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、視覚特性を考慮したマクロブロック毎の適応量子化を行う。すなわち、ステップＳ１３において、画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、ステップＳ１２で求められた量子化スケールコードを、視覚的に劣化の目立ちやすい平坦部でより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分で粗く量子化するように、各マクロブロック毎のアクティビティと呼ばれる変数によって変化させている。
【００４７】
アクティビティは、原画の輝度信号画素値を用い、フレーム離散コサイン変換モードにおける４個のブロックと、フィールド離散コサイン変換モードにおける４個のブロックとの、合計８ブロックの画素値を用いて式（１１）で与えられる。
【００４８】
【数１３】
ここで、Ｐｋ は原画の輝度信号ブロック内画素値である。式（１１）において最小値を採るのは、マクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
【００５０】
更に、式（１２）によりその値が０．５〜２の範囲を取る正規化アクティビティＮａｃｔｊ を求める。
【００５１】
【数１４】
ここで、ａｖｇ＿ａｃｔは、直前に符号化したピクチャでのａｃｔｊ の平均値である。
【００５３】
視覚特性を考慮した量子化スケールコードｍｑｕａｎｔｊ はステップＳ１２で得られた量子化スケールコードＱｊ を基に式（１３）で与えられる。
【００５４】
【数１５】
ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５において定められた上記符号量制御方式には以下の制限のあることが知られており、実際の制御を行う場合には、これらの制限に対する対策が必要となる。すなわち、第一の制限は、第一ステップＳ１１はシーンチェンジに対応出来ず、また、シーンチェンジ後には第三ステップＳ１３で用いる媒介変数ａｖｇ＿ａｃｔが間違った値となるということである。第二の制限は、ＭＰＥＧ２及びＭＰＥＧ４において規定されているＶＢＶ（VideoBuffer Verifier）の拘束条件を満たす保証がないことである。
【００５６】
【発明が解決しようとする課題】
ところで、式（１１）の実行には各マクロブロックに対する画素値の平均値と分散を全て計算する必要があるため多くの処理量を要する。また、式（１２）におけるａｖｇ＿ａｃｔは当該フレームにおける平均値ではなく、直前のフレームに対する平均値であることが、安定した符号量制御を行う妨げとなる場合もある。
【００５７】
本発明は、上述の実情に鑑みて提案されるものであって、画像情報を変換する画像情報変換装置及び方法であって、アクティビティを算出するための処理量を低減し、安定した符号量制御を行うような画像情報変換装置及び方法を提供することを目的とする。
【００５８】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換する画像情報変換装置において、上記入力画像圧縮情報のフレームを構成する画素ブロックの第１のアクティビティ情報を用いて上記出力画像圧縮情報のフレームを構成する画素ブロックの第２のアクティビティ情報を合成する際に、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックの上記第１のアクティビティ情報を上記入力画像圧縮情報から抽出して合成する合成手段と、上記第２の圧縮符号化方式の圧縮の際に、上記第２のアクティビティ情報により量子化スケールを制御する適応量子化を用いて上記入力画像圧縮情報を上記出力画像圧縮情報に符号化する符号化手段とを有する。
【００５９】
本発明は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を入力画像圧縮情報とし、順次操作のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力画像圧縮情報とする。これらＭＰＥＧ２画像圧縮情報（ビットストリーム）及びＭＰＥＧ４画像圧縮情報は、複数の画素から構成される画素ブロックすなわちマクロブロックから構成されている。
【００６０】
すなわち、本発明は、飛び越し走査のＭＰＥＧ２画像情報圧縮部（ビットストリーム）を入力とし、ピクチャタイプ判別部、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチヤ）、間引き部、遅延バッファ、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、動きベクトル合成部、動きベクトル検出部、情報バッファ、アクティビティ合成部を兼ね備え、入力画像圧縮情報となるＭＰＥＧ２画像圧縮情報（ビットストリーム）から抽出される、画素ブロック、すなわちマクロブロック毎のアクティビティ情報を利用して、ＭＰＥＧ４画像情報符号化（Ｉ／Ｐ−ＶＯＰ）を行うことで、より少ない処理量により、マクロブロック毎の符号量配分が最適化された状態で、順次走査の出力画像圧縮情報となるＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力する手段を提供するものである。なお、遅延バッファを持たず、圧縮情報解析部を兼ね備えた装置構成も可能である。
【００６１】
上記構成において、ピクチャタイプ判別部は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内で、Ｉ／Ｐピクチャに関するものだけ残してＢピクチャに関するものは廃棄する。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）は、ピクチャタイプ判別部の出力となる、Ｉ／Ｐピクチャに関する圧縮情報（ビットストリーム）を、水平方向垂直方向ともに、８次の離散コサイン係数全てを用いた、若しくはその低域成分のみを用いた復号処理を行う。間引き部は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）の出力である画像情報の第一フィールド若しくは第二フイールドのみを取り出して順次走査画像への変換を行うと同時に、所望の画枠サイズに変換するためのダウンサンプリングを行う。遅延バッファは、１フレーム分の画像情報の蓄積を行う。ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）は、遅延バッファの出力となる画像情報をＭＰＥＧ４符号化方式により符号化する。動きベクトル合成部は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）で検出された、入力となる画像圧縮情報（ビットストリーム）内の動きベクトル値を元に、走査変換後の画像データに対する動きベクトル値にマッピングする。動きベクトル検出部ては、動きベクトル合成部から出力される動きベクトル値を元に、高精度の動きベクトル検出を行う。情報バッファは、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）において復号処理を行う際に得られる、各マクロブロック毎のアクティビティ情報を抽出してこれを格納する。アクティビティ合成部は、情報バッファに格納された、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロック毎のアクティビティ情報から、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）におけるマクロブロック毎のアクティビティ情報を合成してこれをＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）に伝送する。
【００６２】
【発明の実施の形態】
以下、図面を参照し、本発明の実施の形態について説明する。
【００６３】
まず、本発明による第一の実施の形態となる画像情報変換装置について説明する。
【００６４】
この画像情報変換装置は、図１に示すように、ピクチャタイプ判別部７と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８と、間引き部９と、遅延バッファ１０と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１と、動きベクトル合成部１２と、動きベクトル検出部１３と、情報バッファ１４と、アクティビティ合成部１４とを有している。
【００６５】
この画像情報変換装置には、フレーム内で符号化されたイントラ符号化画像（Ｉピクチャ；Ｉ）、表示順序で順方向を参照して予測符号化された順方向予測符号化画像（Ｐピクチャ；Ｐ）及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像（Ｂピクチャ；Ｂ）から構成される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）が入力される。
【００６６】
このＭＰＥＧ２画像圧縮情報（ビットストリーム）は、ピクチャタイプ判別部７において、Ｉ／Ｐピクチャに関するものか、Ｂピクチャに関するものであるかを判別され、Ｉ／Ｐピクチャのみ後続のＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８に出力され、Ｂピクチャは破棄される。
【００６７】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８は、ＭＰＥＧ２画像圧縮情報（ビットストリーム）を画像信号に復号するとともに、アクティビティ情報を抽出して情報バッファ１４へ送る。ここで、Ｂピクチャに関するデータはピクチャタイプ判別部７において廃棄されているので、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８は、Ｉ／Ｐピクチャのみを復号化出来る機能を有すればよい。
【００６８】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８の出力となる画素値は、間引き部９に入力される。間引き部９は、水平方向には１／２の間引き処理を施し、垂直方向には、第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄する。このような間引きによって、入力となる画像情報の１／４の大きさを持つ順次走査画像を生成する。
【００６９】
ところで、間引き部９から出力された画像をＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１において１６×１６画素で構成されるマクロブロック単位で符号化するためには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要が有る。間引き部９においては、このための画素の補填若しくは廃棄を、間引きと同時に行う。
【００７０】
例えば、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したもの、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き後の画枠はＳＩＦ（３６０×２４０画素）サイズということになる。この画像に対して、間引き部９において、例えば水平方向の右端若しくは左端の８ラインを廃棄して３５２×２４０画素とする。
【００７１】
なお、間引き部９における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【００７２】
更に、上述した文献１は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８における処理として、水平方向、垂直方向それぞれについて、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内の、８次の離散コサイン変換係数すべてを用いた復号処理を行う画像情報変換装置について述べられているが、図１に示した装置に関してはその限りではなく、水平方向のみ、或いは水平方向、垂直方向ともに、８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら、復号処理に伴う演算量とビデオメモリ容量を削減することが可能である。
【００７３】
間引き部９によって生成された順次走査画像は遅延バッファ１０によって１フレーム遅延された後、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１によってフレーム内で符号化されたＩ−ＶＯＰ及び表示順序で順方向を参照して予測符号化されたＰ−ＶＯＰに符号化され、ＭＰＥＧ４画像圧縮情報（ビットストリーム）として出力される。
【００７４】
その際、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル情報は、動きベクトル合成部１２において間引き後の画像情報に対する動きベクトルにマッピングされ、動きベクトル検出部１３においては、動きベクトル合成部１２において合成された動きベクトル値を元に高精度の動きベクトルを検出する。
【００７５】
尚、ＶＯＰはVideo object Planeを意味し、ＭＰＥＧ２におけるフレームに相当するものである。また、Ｉ−ＶＯＰはＩピクチャに対応するイントラ符号化ＶＯＰ、Ｐ−ＶＯＰはＰピクチャに対応する順方向予測符号化ＶＯＰ、Ｂ−ＶＯＰはＢピクチャに対応する双方向予測符号化ＶＯＰである。
【００７６】
この画像情報変換装置において、情報バッファ１４には、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、マクロブロック毎のアクティビティ情報がＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８から送られ、１フレーム分格納される。ここで用いられるアクティビティ情報としては、以下のような６通りの方法で求められたものが考えられる。
【００７７】
第一の方法は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロック毎の量子化スケールＱを用いる方法である。第二の方法は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロック毎の輝度成分離散コサイン変換係数に対して割り当てられた符号量（ビット数）を用いる方法である。第三の方法は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロック毎の離散コサイン変換係数に対して割り当てられた符号量（ビット数）を用いる方法である。第四の方法は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロック毎に割り当てられた符号量（ビット数）を用いる方法である。第五の方法は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロック毎に割り当てられた符号量（ビット数）をＢとして、次の式（１４）によって与えられるＸを用いる方法である。
【００７８】
【数１６】
ここでＢはマクロブロックに割り当てられた符号量（ビット数）全体であっても、離散コサイン変換係数係数に対して割り当てられた符号量（ビット数）でもあっても、輝度成分離散コサイン変換係数に対して割り当てられた符号量（ビット数）であっても良い。また、Ｑは量子化スケールである。第六の方法は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内で、各マクロブロックの輝度成分、若しくは輝度成分と色差成分の両方に対する非零の離散コサイン変換係数を用いる方法である。
【００８０】
以下では、入力となる飛び越し走査画像のＭＰＥＧ２画像圧縮情報（ビットストリーム）の、１／４の画枠を持つ、順次走査画像のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力する場合を考える。
【００８１】
この時、アクティビティ合成部１５を用いて、図２のＡに示すような入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内での４つのマクロブロックに対するアクティビティ情報Ａｃｔｊ，ｎ （ｎ＝１，…４）から、図２のＢに示すような出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）内での１つのマクロブロックに対するアクティビティ情報Ａｃｔｊ を次の式（１５）のように生成する。
【００８２】
【数１７】
ここで関数ｆとしては、入力サンプルの平均値、若しくは最小値を出力する関数が考えられる。
【００８４】
アクティビティ合成部１５においては、上述の、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）に対するマクロブロック毎の情報Ａｃｔｊ 及び、Ａｃｔｊ のＶＯＰ全体に渡る平均値Ａｖｇ＿ａｃｔが算出され、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１に出力される。Ａｖｇ＿ａｃｔの算出には、画面全体に渡るＡｃｔｊ を知る必要があり、このため遅延バッファ１０が必要となる。
【００８５】
ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１においては、アクティビティ合成部１５において算出された媒介変数Ａｃｔｊ 及びＡｖｇ＿ａｃｔを用い、式（１２）に対応して、次の式（１６）のように、各マクロブロックに対する正規化アクテイビテイＮａｃｔｊ が算出され、マクロブロック毎の適応量子化処理が実行される。
【００８６】
【数１８】
この適応量子化に至る一連の処理手順を、図３を参照して説明する。
【００８８】
最初のステップＳ２１において、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８から出力された、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、マクロブロックごとのアクティビティ情報Ａｃｔｊ，ｎ は、情報バッファ１４に格納される。
【００８９】
ステップＳ２２において、アクティビティ合成部１５は、情報バッファ１４に格納されているアクティビティ情報Ａｃｔｊ からＭＰＥＧ４画像圧縮情報（ビットストリーム）内でのマクロブロックに対するアクティビティ情報Ａｃｔｊ を生成する。
【００９０】
ステップＳ２３において、アクティビティ合成部１５は、アクティビティ情報Ａｃｔｊ の平均値Ａｖｇ＿ａｃｔを算出する。そして、ステップＳ２４において、アクティビティ合成部１５は、正規化アクティビティＮａｃｔｊ を算出する。
【００９１】
ステップＳ２５において、ＭＰＥＧ４画像情報符号化部１１は、アクティビティ合成部１５から供給された正規化アクティビティＮａｃｔｊ に基づいて、適応量子化を用いて画像情報符号化を実行する。
【００９２】
上記処理を行うことにより、式（１１）の実行が不要となるため、処理量の削減が可能となる。また、式（１１）において、ａｖｇ＿ａｃｔは直前のＶＯＰに対する平均値であるのに対し、式（１６）において、Ａｖｇ＿ａｃｔは当該ＶＯＰに対する平均値であるため、より安定した符号量制御を行うことが可能である。
【００９３】
次に、本発明の第２の実施の形態である画像情報処理装置について説明する。
【００９４】
この画像情報変換装置は、図４に示すように、ピクチャタイプ判別部１６と、圧縮情報解析部１７と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１８と、間引き部１９と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０と、動きベクトル合成部２１と、動きベクトル検出部２２と、情報バッファ２３と、アクティビティ合成部２４とを有している。
【００９５】
図１に示した第１の実施の形態の画像情報変換装置においては、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８において、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、各マクロブロック毎のアクティビティ情報が抽出され、遅延バッファ１０によって１フレーム分の遅延が実現されるのに対し、この画像情報変換装置においては、圧縮情報解析部１７において、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、各マクロブロック毎のアクティビティ情報が抽出されると同時に１フレーム分の遅延が実現される点が異なっている。
【００９６】
他の部分については、上述した第１の実施の形態の画像情報変換装置と同様であるので、説明を省略する。
【００９７】
このように、上述の実施の形態においては、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）において抽出される、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内におけるマクロブロックごとの情報を利用することにより、処理量を低減すると共に安定した符号量制御を達成している。
【００９８】
以上、入力としてＭＰＥＧ２画像圧縮情報（ビットストリーム）を、出力としてＭＰＥＧ４画像圧縮情報（ビットストリーム）を対象としてきたが、入力、出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．２６３などの画像圧縮情報（ビットストリーム）でも良い。
【００９９】
【発明の効果】
以上述べてきた様に、本発明は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を入力とし、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内での各マクロブロックに対するアクティビティ情報から、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）内での各マクロブロックに対するアクティビティ情報を合成してこれを適応量子化に用いることで、より少ない処理量により、マクロブロック毎の符号量配分が最適化された状態で、順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換して出力する手段を提供するものである。
【図面の簡単な説明】
【図１】第１の実施の形態の画像情報変換装置の構成を示すブロック図である。
【図２】アクティビティ情報Ａｃｔｊ を生成する方法を示す図である。
【図３】適用量子化処理の動作原理を示すフローチャートである。
【図４】第２の実施の形態の画像情報変換装置の構成を示すブロック図である。
【図５】従来の画像情報変換装置の構成を示すブロック図である。
【図６】従来の符号化制御方式の動作原理を示すフローチャートである。
【符号の説明】
７ ピクチャタイプ判別部、 ８ ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）、 ９ 間引き部、 １０ 遅延バッファ、 １１ ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、 １２ 動きベクトル合成部、 １３ 動きベクトル検出部、 １４ 情報バッファ、 １５ アクティビティ合成部
Claims (19)
- 第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換する画像情報変換装置において、
上記入力画像圧縮情報のフレームを構成する画素ブロックの第１のアクティビティ情報を用いて上記出力画像圧縮情報のフレームを構成する画素ブロックの第２のアクティビティ情報を合成する際に、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックの上記第１のアクティビティ情報を上記入力画像圧縮情報から抽出して合成する合成手段と、
上記第２の圧縮符号化方式の圧縮の際に、上記第２のアクティビティ情報により量子化スケールを制御する適応量子化を用いて上記入力画像圧縮情報を上記出力画像圧縮情報に符号化する符号化手段とを有する
画像情報変換装置。 - 上記第１のアクティビティ情報は、上記入力画像圧縮情報の各画素ブロックに割り当てられた量子化スケール情報である請求項１記載の画像情報変換装置。
- 上記第１のアクティビティ情報は、上記入力画像圧縮情報の各画素ブロックに割り当てられた符号量である請求項１記載の画像情報変換装置。
- 上記第１のアクティビティ情報は、上記入力画像圧縮情報の各画素ブロックの離散コサイン変換係数に割り当てられた符号量である請求項１記載の画像情報変換装置。
- 上記第１のアクティビティ情報は、上記入力画像圧縮情報の各画素ブロックの輝度成分の離散コサイン変換係数に割り当てられた符号量である請求項１記載の画像情報変換装置。
- 上記第１のアクティビティ情報は、上記入力画像圧縮情報の各画素ブロックに対して次の式で与えられる媒介変数である請求項１記載の画像情報変換装置。
- 上記割当符号量は、上記入力画像圧縮情報の各画素ブロックに対して割り当てられた符号量である請求項６記載の画像情報変換装置。
- 上記割当符号量は、上記入力画像圧縮情報の各画素ブロックの離散コサイン変換係数に割り当てられた符号量である請求項６記載の画像情報変換装置。
- 上記割当符号量は、上記入力画像圧縮情報の各画素ブロックの輝度成分の離散コサイン変換係数に割り当てられた符号量である請求項６記載の画像情報変換装置。
- 上記合成手段は、上記入力画像圧縮情報内における各画素ブロックごとの第１のアクティビティ情報について、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックの第１のアクティビティ情報の平均値を用いて上記出力画像圧縮情報内における各画素ブロックごとの第２のアクティビティ情報を合成する請求項１記載の画像情報変換装置。
- 上記合成手段は、上記入力画像圧縮情報内における各画素ブロックごとの第１のアクティビティ情報について、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックの第１のアクティビティ情報の最小値を用いて上記出力画像圧縮情報内における各画素ブロックごとの第２のアクティビティ情報を合成する請求項１記載の画像情報変換装置。
- 上記第１の圧縮符号化方式はＭＰＥＧ２、上記第２の圧縮符号化方式はＭＰＥＧ４であり、上記合成手段は、各画素ブロックごとの第２のアクティビティ情報を算出すると共に、上記出力画像圧縮情報の画像に相当するＶＯＰ全体にわたる上記第２のアクティビティ情報の平均値を算出し、算出された第２のアクティビティ情報の平均値を用いて上記各画像ブロックごとの第２のアクティビティ情報の正規化アクティビティを算出し、算出された正規化アクティビティにより上記適応量子化における量子化スケールの制御を行う請求項１記載の画像情報変換装置。
- 次の式により正規化アクティビティを算出し、算出された正規化アクティビティにより上記適応量子化における量子化スケールの制御を行う請求項１２記載の画像情報変換装置。
- 上記第１の圧縮符号化方式はＭＰＥＧ２、上記第２の圧縮符号化方式はＭＰＥＧ４であり、上記入力画像圧縮情報を、上記出力画像圧縮情報の画像に相当するＶＯＰに相当する期間に亘って遅延させる遅延バッファを有する請求項１記載の画像情報変換装置。
- 上記入力画像圧縮情報における１フレーム分の第１のアクティビティ情報を抽出すると共に、上記入力画像圧縮情報を１フレーム期間遅延させる画像解析手段を有する請求項１記載の画像情報変換装置。
- 第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換する画像情報変換方法において、
上記入力画像圧縮情報のフレームを構成する画素ブロックの第１のアクティビティ情報を用いて上記出力画像圧縮情報のフレームを構成する画素ブロックの第２のアクティビティ情報を合成する際に、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックの上記第１のアクティビティ情報を上記入力画像圧縮情報から抽出して合成するステップと、
上記第２の圧縮符号化方式の圧縮の際に、上記第２のアクティビティ情報により量子化スケールを制御する適応量子化を用いて上記入力画像圧縮情報を上記出力画像圧縮情報に符号化するステップとを有する
画像情報変換方法。 - 上記入力画像圧縮情報内における各画素ブロックごとの第１のアクティビティ情報について、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックの第１のアクティビティ情報の平均値を用いて上記出力画像圧縮情報内における各画素ブロックごとの第２のアクティビティ情報を合成する請求項１６記載の画像情報変換方法。
- 上記入力画像圧縮情報内における各画素ブロックごとの第１のアクティビティ情報について、上記出力画像圧縮情報の画素ブロックに対応する上記入力画像圧縮情報の複数の画素ブロックの第１のアクティビティ情報の最小値を用いて上記出力画像圧縮情報内における各画素ブロックごとの第２のアクティビティ情報を合成する請求項１６記載の画像情報変換方法。
- 上記入力画像圧縮情報における１フレーム分の第１のアクティビティ情報を抽出すると共に、上記入力画像圧縮情報を１フレーム期間遅延させるステップを有する請求項１６記載の画像情報変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001123543A JP4608801B2 (ja) | 2000-05-25 | 2001-04-20 | 画像情報変換装置及び方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-155400 | 2000-05-25 | ||
| JP2000155400 | 2000-05-25 | ||
| JP2001123543A JP4608801B2 (ja) | 2000-05-25 | 2001-04-20 | 画像情報変換装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002051345A JP2002051345A (ja) | 2002-02-15 |
| JP4608801B2 true JP4608801B2 (ja) | 2011-01-12 |
Family
ID=26592633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001123543A Expired - Fee Related JP4608801B2 (ja) | 2000-05-25 | 2001-04-20 | 画像情報変換装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4608801B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7436890B2 (en) | 2002-06-05 | 2008-10-14 | Kddi R&D Laboratories, Inc. | Quantization control system for video coding |
| JP4681341B2 (ja) * | 2005-04-22 | 2011-05-11 | 日本放送協会 | 順次走査変換装置 |
| JP2010187337A (ja) * | 2009-02-13 | 2010-08-26 | Toshiba Corp | 動画像変換装置及び動画像変換方法 |
| JP5363302B2 (ja) | 2009-12-24 | 2013-12-11 | 株式会社メガチップス | 画像符号化装置及び画像変換装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08251587A (ja) * | 1995-03-09 | 1996-09-27 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画像符号化データのレート変換方法および装置 |
| JPH09294263A (ja) * | 1996-04-24 | 1997-11-11 | Victor Co Of Japan Ltd | 画像情報圧縮装置 |
| JPH09512410A (ja) * | 1995-02-15 | 1997-12-09 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ビデオ信号の符号変換方法および装置 |
-
2001
- 2001-04-20 JP JP2001123543A patent/JP4608801B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09512410A (ja) * | 1995-02-15 | 1997-12-09 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ビデオ信号の符号変換方法および装置 |
| JPH08251587A (ja) * | 1995-03-09 | 1996-09-27 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画像符号化データのレート変換方法および装置 |
| JPH09294263A (ja) * | 1996-04-24 | 1997-11-11 | Victor Co Of Japan Ltd | 画像情報圧縮装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002051345A (ja) | 2002-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4517495B2 (ja) | 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法 | |
| JP3979897B2 (ja) | 映像圧縮ビットストリームのトランスコーディング方法 | |
| KR100323489B1 (ko) | 비디오데이타를가지는비트스트림의트랜스코딩방법및장치 | |
| US6870886B2 (en) | Method and apparatus for transcoding a digitally compressed high definition television bitstream to a standard definition television bitstream | |
| JP2005526457A (ja) | ビデオ・トランスコーダ | |
| JP2003527005A (ja) | 縮小されたトランスコードヒントメタデータを生成する装置及び方法 | |
| JPH07264580A (ja) | 映像信号伝送方法並びに映像信号送信装置及び映像信号受信装置 | |
| JP2002152759A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4517453B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP4517475B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP4608801B2 (ja) | 画像情報変換装置及び方法 | |
| JP2000236547A (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP2003061091A (ja) | 圧縮ビットストリームをアップサンプリングする方法および装置 | |
| JP2002125227A (ja) | 画像情報変換装置及び方法 | |
| JP4517465B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP3263901B2 (ja) | 画像信号符号化方法及び装置、画像信号復号化方法及び装置 | |
| JP4517468B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP2001346214A (ja) | 画像情報変換装置及び方法 | |
| US7012959B2 (en) | Picture information conversion method and apparatus | |
| JPH09214965A (ja) | 動画像符号化方法および装置 | |
| JP2004056616A (ja) | 符号化信号復号装置、符号化信号復号方法および符号化信号復号プログラム | |
| JP2001148852A (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP2001339720A (ja) | 画像情報変換装置及び方法 | |
| JP4505992B2 (ja) | 画像情報変換装置及び方法 | |
| JP4507418B2 (ja) | 画像情報変換装置及び画像情報変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100914 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100927 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |