JP4517465B2 - Image information converting apparatus and method, and encoding apparatus and method - Google Patents

Description

【００２２】
ここでＳ_i，Ｓ_p，Ｓ_bはピクチャ符号化時の発生符号ビット量であり、Ｑ_i，Ｑ_p，Ｑ_bは、ピクチャ符号化時の平均量子化スケールコードである。また、初期値は、目標符号量（ターゲットビットレート）ｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、式（２）で示される値とする。
【００２３】
【数５】

【００２４】
第二に、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率Ｋ_p，Ｋ_bが式（３）に定めた値となる場合に常に全体の画質が最適化されると仮定する。
【００２５】
【数６】

【００２６】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ，Ｐピクチャの量子化スケールコードの常に１．４倍としている。これは、ＢピクチャをＩ，Ｐピクチャに比較して多少粗めに符号化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善され、これを参照するＢピクチャの画質も改善されることを想定している。
【００２７】
上記２つの仮定より、ＧＯＰの各ピクチャに対する割り当てビット量（Ｔ_i，Ｔ_p，Ｔ_b）は式（４）に示す値とする。
【００２８】
【数７】

【００２９】
ここでＮ_p，Ｎ_bはＧＯＰ内でまだ符号化されていないＰ，Ｂピクチャの枚数である。
【００３０】
このようにして求めた割当符号量を基にして、各ピクチャをステップＳ１１，Ｓ１２に従って符号化する毎に、ＧＯＰ内の未符号化ピクチャに対して割り当てられるビット量Ｒを式（５）で更新する。
【００３１】
【数８】

【００３２】
また、ＧＯＰの最初のピクチャを符号化する際には、式（６）によりＲを更新する。
【００３３】
【数９】

【００３４】
ＮはＧＯＰ内のピクチャ数である。また、シーケンスの最初でのＲの初期値は０とする。
【００３５】
次に、ステップＳ１２において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、仮想バッファを用いたレート制御を行う。すなわち、ステップＳ１２において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、ステップＳ１１で式（４）により求められた各ピクチャに対する割当ビット量（Ｔ_i，Ｔ_p，Ｔ_b）と、実際の発生符号量を一致させるため、各ピクチャ毎に独立に設定した３種類の仮想バッファの容量を基に、量子化スケールコードを、マクロブロック単位のフィードバック制御で求める。
【００３６】
まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を式（７）によって求める。
【００３７】
【数１０】

【００３８】
ここで、ｄ₀ ⁱ，ｄ₀ ^p，ｄ₀ ^bは各仮想バッファの初期占有量、Ｂ_jはピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢ＿ｃｎｔは１ピクチャ内のマクロブロック数である。各ピクチャ符号化終了時の仮想バッファ占有量（ｄ_{MB_cnt} ⁱ，ｄ_{MB_cnt} ^p，ｄ_{MB_cnt} ^b）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ₀ ⁱ，ｄ₀ ^p，ｄ₀ ^b）として用いられる。
【００３９】
次に、ｊ番目のマクロブロックに対する量子化スケールコードを式（８）により計算する。
【００４０】
【数１１】

【００４１】
ここで、ｒはリアクションパラメーターと呼ばれるフィードバックループの応答を制御する変数であり、式（９）により与えられる。
【００４２】
【数１２】

【００４３】
尚、符号化開始時における仮想バッファの初期値は式（１０）で与えられる。
【００４４】
【数１３】

【００４５】
最後に、ステップＳ１３において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、視覚特性を考慮したマクロブロック毎の適応量子化を行う。すなわち、ステップＳ１３において、画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、ステップＳ１２で求められた量子化スケールコードを、視覚的に劣化の目立ちやすい平坦部でより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分で粗く量子化するように、各マクロブロック毎のアクティビティと呼ばれる変数によって変化させている。
【００４６】
アクティビティは、原画の輝度信号画素値を用い、フレーム離散コサイン変換モードにおける４個のブロックと、フィールド離散コサイン変換モードにおける４個のブロックとの、合計８ブロックの画素値を用いて式（１１）で与えられる。
【００４７】
【数１４】

【００４８】
ここで、Ｐ_kは原画の輝度信号ブロック内画素値である。式（１１）において最小値を採るのは、マクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
【００４９】
更に、式（１２）によりその値が０．５〜２の範囲を取る正規化アクティビティＮａｃｔ_jを求める。
【００５０】
【数１５】

【００５１】
ここで、ａｖｇ＿ａｃｔは、直前に符号化したピクチャでのａｃｔ_jの平均値である。
【００５２】
視覚特性を考慮した量子化スケールコードｍｑｕａｎｔ_jはステップＳ１２で得られた量子化スケールコードＱ_jを基に式（１３）で与えられる。
【００５３】
【数１６】

【００５４】
ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５において定められた上記符号量制御方式には以下の制限のあることが知られており、実際の制御を行う場合には、これらの制限に対する対策が必要となる。すなわち、第一の制限は、第一ステップＳ１１はシーンチェンジに対応出来ず、また、シーンチェンジ後には第三ステップＳ１３で用いる媒介変数ａｖｇ＿ａｃｔが間違った値となるということである。第二の制限は、ＭＰＥＧ２及びＭＰＥＧ４において規定されているＶＢＶ（Video Buffer Verifier）の拘束条件を満たす保証がないことである。
【００５５】
ところで、文献”ＭＰＥＧ圧縮効率の理論解析とその符号量制御への応用”（信学技報、ＩＥ−９５， ＤＳＰ９５−１０， １９９５年５月、以下これを文献２と呼ぶ）でも述べられている通り、Ｔｅｓｔ Ｍｏｄｅｌ ５で定められている符号量制御方式は、ＭＰＥＧ−２画像符号化装置において、必ずしも良好な画質を与えるものではない。
【００５６】
この文献２では、特に、良好な画質を与えるための、ＧＯＰ内における各フレーム毎の最適な符号量配分を与える手法として以下の方式を提案している。すなわち、Ｎ_I，Ｎ_P，Ｎ_Bを、ＧＯＰ内においてまだ符号化されていないＩ，Ｐ，Ｂピクチャの枚数として、これらに割り当てられる符号量をＲ_I，Ｒ_P，Ｒ_Bとする。また、式（１４）で与えられる固定レート条件の下に、それぞれにおける量子化ステップサイズをＱ_I，Ｑ_P，Ｑ_Bとし、ｍを、量子化ステップサイズと再生誤差分散を関係付ける次数（すなわち、量子化ステップサイズをｍ乗したものの平均値の最小化が再生誤差分散を最低にすると仮定する）とする。そして、式（１５）を最小にすることを考える。
【００５７】
【数１７】

【００５８】
【数１８】

【００５９】
尚、それぞれのフレームにおける平均量子化スケールＱ、及び符号量Ｒは、Ｔｅｓｔ Ｍｏｄｅｌ ５でも用いられる媒体変数である各フレームのコンプレキシティＸと、式（１６）のように関係づけられる。
【００６０】
【数１９】

【００６１】
式（１６）の関係も考慮しつつ、式（１４）の拘束条件の元に式（１５）を最小にするＲ_I，Ｒ_P，Ｒ_Bを、ラグランジェの未定乗数法を用いて算出すると、最適なＲ_I，Ｒ_P，Ｒ_Bとして以下の式のような値が求められる。
【００６２】
【数２０】

【００６３】
α＝１として、式（１７）と、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５で定められた符号量制御方式における式（４）との関係は以下の通りであると言える。すなわち、式（１７）は、符号量制御の媒介変数であるＫ_p，Ｋ_bを、各フレームのコンプレキシティＸ_I，Ｘ_P，Ｘ_Bに応じて、式（１８）のように適応的に算出していることに他ならない。
【００６４】
【数２１】

【００６５】
文献２では、１／（１＋ｍ）の値として、０．６〜１．２程度に設定することで良好な画質が得られることが示されている。
【００６６】
図８に示した画像情報変換装置内で、ＭＰＥＧ４画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４において、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５において定められたのと同様な手法を用いて符号量制御を行った場合、シーンチェンジ等に起因する、ＧＯＰ内でのコンプレキシティの変化に対応することが不可能であるため、安定した符号量制御が困難となり、画質劣化を引き起こすことが考えられる。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２において抽出される、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内の情報をＭＰＥＧ４画像圧縮情報符号化部（Ｉ／Ｐ−ＶＯＰ）４において利用することでこの問題を回避することが可能であると期待される。
【００６７】
かかる問題を解決するため、本願出願人は、先に図１０に示すような画像情報変換装置を提案した。
【００６８】
この画像情報変換装置は、ピクチャタイプ判別部７と、圧縮情報解析部８と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）９と、間引き部１０と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１と、動きベクトル合成部１２と、動きベクトル検出部１３と、情報バッファ１４と、コンプレキシティ算出部１５とから構成される。
【００６９】
この画像情報変換装置は、圧縮情報解析部８、情報バッファ１４、コンプレキシティ算出部１５及びＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１における符号量制御以外の動作原理については、図８に示した画像情報変換装置と同様であるため、以下では、圧縮情報解析部８、情報バッファ１４、コンプレキシティ算出部１５における動作原理及びＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１における符号量制御について述べることにする。
【００７０】
圧縮情報解析部８において、復号処理に用いられた量子化スケールのフレーム全体に渡る平均値Ｑ、及び、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）において、当該フレームに割り当てられた総符号量（ビット数）Ｂは、情報バッファ１４に格納される。
【００７１】
コンプレキシティ算出部１５においては、情報バッファ１４に格納されたフレーム毎の情報Ｑ及びＢから、当該フレームに対するコンプレキシティＸを式（１９）により算出する。
【００７２】
【数２２】

【００７３】
式（１９）によって算出された、当該フレームに対するコンプレキシティＸは、１ＧＯＶ（group of VOPs）分バッファリングされた後、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１に符号量制御のための媒介変数として伝送される。このため、１ＧＯＶ分の遅延が必要となる。この遅延は図示しない遅延バッファを用いて実現される。ここで、ＧＯＶとは、ランダムアクセス可能なＶＯＰの組である。
【００７４】
以下では、式（１９）において算出された、ＧＯＶ内の各フレームに対するコンプレキシティＸが、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１においてどのように用いられるかについて述べる。尚、以下では、ピクチャタイプ判別部７がこの画像情報変換装置内に存在せず、フレームレートの変換を行わない場合をも考慮することにする。
【００７５】
式（１８）によつて求められたＫ_P，Ｋ_Bの意味するところは、Ｉ−ＶＯＰに対する理想的な平均量子化スケールＱ_{i_ideal}に対するＰ−ＶＯＰ／Ｂ−ＶＯＰに対する理想的な平均量子化スケールＱ_{p_ideal}，Ｑ_{b_ideal}の比が、式（２０）によって与えられるということである。
【００７６】
【数２３】

【００７７】
ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５においては、式（１８）のように適応的にＫ_p，Ｋ_bを算出することを行わず、式（３）に示したような固定値を用いている。
【００７８】
式（１８）及び式（２０）から、或るＶＯＰ１と、或るＶＯＰ２に対するコンプレキシティをそれぞれＸ₁，Ｘ₂とし、理想的な量子化スケールをＱ_{1_ideal}，Ｑ_{2_ideal}とすれば、式（２１）のようになる。
【００７９】
【数２４】

【００８０】
或いはまた、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５のように、式（３）に示した固定値を用いたい場合には、式（２１）に代えて、式（２２）のようにすれば良い。
【００８１】
【数２５】

【００８２】
今、ＧＯＶ内の未符号化されたＶＯＰに対して割り当てられる総符号量（ビット数）をＲとし、Ｒが、各ＶＯＰに対して、Ｒ₁，Ｒ₂，…Ｒ_nといったように割り当てられる時、当該ＧＯＶに対する画質が最適化されるものとする。ここでＲとＲ₁，Ｒ₂，…Ｒ_nの間には式（２３）のような関係式が成り立つ。
【００８３】
【数２６】

【００８４】
或るＶＯＰ_kに対する平均量子化スケールＱ_k、割当符号量Ｒ_k、コンプレキシティＸ_kの間には式（２４）なる関係があることにも注意して、式（２３）を変形すれば式（２５）が得られる。
【００８５】
【数２７】

【００８６】
【数２８】

【００８７】
式（２５）において、Ｋ（Ｘ₁，Ｘ₂）に関しては、式（２１）に示した値を用いても、式（２２）に示した値を用いても良いが、前者の方が、画像に応じた、より最適な符号量配分を実現することが可能である。その際、１／（１＋ｍ）の値を１．０と設定することで、指数演算を行うことが不要となり、高速な実行が可能となる。また、１／（１＋ｍ）の値を１．０以外に設定する場合にも、予めテーブルを持ち、これを参照して指数演算を行うことで高速な実行が可能となる。
【００８８】
式（２５）における各ＶＯＰに対するコンプレキシティＸ_kはＭＰＥＧ４画像符号化によるものであるが、ＭＰＥＧ２画像符号化による各フレームに対するコンプレキシティと、ＭＰＥＧ４画像符号化による各フレームに対するコンプレキシティが等しいと仮定すれば、コンプレキシティ算出部１５に格納されたＸ_kを用いることで、式（２５）によって当該ＶＯＰに対する目標符号量を算出することが可能である。
【００８９】
この目標符号量の算出のフローを図１１に示す。最初のステップＳ２１において、圧縮情報解析部８は、ＭＰＥＧ２画像情報復号化部９における復号処理に用いられるＧＯＰ内の各フレームに対する平均量子化スケールＱ，及び割当符号量（ビット数）Ｂを抽出する。
【００９０】
ステップＳ２２において、コンプレキシティ算出部１５は、平均量子化スケールＱ及び割当符号量（ビット数）Ｂの積で与えられるコンプレキシティＸを算出する。
【００９１】
ステップＳ２３において、ＭＰＥＧ４画像符号化部（Ｉ／Ｐ−ＶＯＰ）１１は、コンプレキシティＸに応じた目標符号量（ターゲットビット）を算出する。
【００９２】
ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５では、ＧＯＰ内におけるＩ，Ｐ，Ｂピクチャに対するコンプレキシティＸ_i，Ｘ_p，Ｘ_bは一定であると仮定しているが実際にはシーンチェンジをＧＯＰ内に含む場合や、ＧＯＰ内で背景が著しく変化する場合等ではこの仮定が成り立たず、安定した符号量制御の妨げとなり、画質劣化の要因ともなる。図１０に示した画像情報変換装置においては、そのような場合にも、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、各フレームに対するコンプレキシティに基づいた符号量制御を行うため、画質劣化を引き起こすことなく、安定した符号量制御を行うことが可能である。
【００９３】
【発明が解決しようとする課題】
ところで、ＣＣＩＲ（Comite Consultantif Internationale des Radio Communications ）テストシーケンスの一つである“Ｔａｂｌｅ Ｔｅｎｎｉｓ”をＭＰＥＧ２符号化方式によって、ｎ＝１５；ｍ＝３の条件の元、４Ｍｂｐｓ に圧縮した画像圧縮情報（ビットストリーム）を、図１０に示した画像情報変換装置を用いて、ｎ＝５；ｍ＝１、６００ｋｂｐｓのＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換した時のｐＳＮＲを図１２に示す。 ｐＳＮＲは次の式（２６）により計算される。
【００９４】
【数２９】

【００９５】
この式（２６）において、ＭＳＥは、ＭＰＥＧ４画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）１１の、各フレームに対する入力信号と出力信号の平均２乗誤差である。
【００９６】
図１２において、第２１フレーム及び第３１フレームのＰ−ＶＯＰにはシーンチェンジが含まれる。図１０に示した画像情報変換装置を用いることにより、これらのワレームには通常のＰ−ＶＯＰより多くの符号量（ビット数）が割り当てられることになり、その画質劣化を最小限に抑えることを可能としている。しかしながら、これらのＰ−ＶＯＰにより多くの符号量（ビット数）を割り当てるため、当該ＧＯＶ内の他のＩ−ＶＯＰ及びＰ−ＶＯＰに対して割り当てられる符号量（ビット数）が減少し、ＧＯＶ全体の画質劣化が他のＧＯＶにおける画質劣化に比べて大きくなってしまうという問題点を有する。
【００９７】
本発明は、上述の実情に鑑みて提案されるもので、シーンチェンジを含む場合にも画質劣化を抑制するような画像情報変換装置及び方法並びに符号化装置及び方法を提供することを目的とする。
【００９８】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換するものであって、上記入力画像圧縮情報及び上記出力画像圧縮情報の画像群は、フレーム内で符号化されたイントラ符号化画像、表示順序で順方向を参照して符号化された順方向予測符号化画像及び表示順序で順方向及び逆方向を参照して符号化された双方向予測符号化画像を含み、上記入力画像圧縮情報及び上記出力画像圧縮情報は複数の符号化画像からなる画像群を単位として構成され、上記出力画像圧縮情報におけるシーンチェンジを検出するシーンチェンジ検出手段と、上記入力画像圧縮情報の各フレームのコンプレキシティを検出するコンプレキシティ検出手段と、上記コンプレキシティ検出手段で検出したコンプレキシティに基づいて上記出力画像圧縮情報に画像情報の符号量を配分する際に、上記シーンチェンジ検出手段で検出したシーンチェンジに応じて上記出力画像圧縮情報における画像群の構造を変換する変換手段とを有し、上記変換手段は、上記出力画像圧縮情報の２画像群に相当する時間に亘って画像情報を遅延させる遅延手段を有し、上記出力画像圧縮情報において、シーンチェンジを含む画像群の直後の画像群の先頭のイントラ符号化画像を順方向予測符号化画像に変換し、上記イントラ符号化画像を順方向予測符号化画像に変換する際の動きベクトル情報を、当該イントラ符号化画像の前後の順方向予測符号化画像における動きベクトル情報を利用して求めると共に、上記イントラ符号化画像を順方向予測符号化画像に変換する際のコンプレキシティを、上記イントラ符号化画像の前後の順方向予測符号化画像におけるコンプレキシティを利用して求める。
また、本発明に係る画像情報変換装置は、第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換する画像情報変換装置において、上記入力画像圧縮情報及び上記出力画像圧縮情報の画像群は、フレーム内で符号化されたイントラ符号化画像、表示順序で順方向を参照して符号化された順方向予測符号化画像及び表示順序で順方向及び逆方向を参照して符号化された双方向予測符号化画像を含み、上記入力画像圧縮情報及び上記出力画像圧縮情報は複数の符号化画像からなる画像群を単位として構成され、上記出力画像圧縮情報におけるシーンチェンジを検出するシーンチェンジ検出手段と、上記入力画像圧縮情報の各フレームのコンプレキシティを検出するコンプレキシティ検出手段と、上記コンプレキシティ検出手段で検出したコンプレキシティに基づいて上記出力画像圧縮情報に画像情報の符号量を配分する際に、上記シーンチェンジ検出手段で検出したシーンチェンジに応じて上記出力画像圧縮情報における画像群の構造を変換する変換手段とを有し、上記変換手段は、上記出力画像圧縮情報において、シーンチェンジを含む画像群の直後の画像群の先頭のイントラ符号化画像を順方向予測符号化画像に変換し、上記イントラ符号化画像を順方向予測符号化画像に変換する際の動きベクトル情報を、当該イントラ符号化画像の前後の順方向予測符号化画像における動きベクトル情報を利用して求めると共に、上記イントラ符号化画像を順方向予測符号化画像に変換する際のコンプレキシティを、上記イントラ符号化画像の前後の順方向予測符号化画像におけるコンプレキシティを利用して求める。
次に、本発明に係る符号化装置は、第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を復号して得られる画像情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に符号化する符号化装置において、上記入力画像圧縮情報及び上記出力画像圧縮情報の画像群は、フレーム内で符号化されたイントラ符号化画像、表示順序で順方向を参照して符号化された順方向予測符号化画像及び表示順序で順方向及び逆方向を参照して符号化された双方向予測符号化画像を含み、上記入力画像圧縮情報及び上記出力画像圧縮情報は複数の符号化画像からなる画像群を単位として構成され、上記出力画像圧縮情報におけるシーンチェンジを検出して得られたシーンチェンジを受け取る受け取り手段と、上記入力画像圧縮情報の各フレームのコンプレキシティを検出するコンプレキシティ検出手段と、上記コンプレキシティ検出手段で検出したコンプレキシティに基づいて上記出力画像圧縮情報に画像情報の符号量を配分する際に、上記受け取り手段からのシーンチェンジに応じて上記出力画像圧縮情報における画像群の構造を変換する変換手段とを有し、上記変換手段は、上記出力画像圧縮情報において、シーンチェンジを含む画像群の直後の画像群の先頭のイントラ符号化画像を順方向予測符号化画像に変換し、上記イントラ符号化画像を順方向予測符号化画像に変換する際の動きベクトル情報を、当該イントラ符号化画像の前後の順方向予測符号化画像における動きベクトル情報を利用して求めると共に、上記イントラ符号化画像を順方向予測符号化画像に変換する際のコンプレキシティを、上記イントラ符号化画像の前後の順方向予測符号化画像におけるコンプレキシティを利用して求める。
【００９９】
本発明は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を入力画像圧縮情報とし、順次操作のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力画像圧縮情報とする。ここで、ＭＰＥＧ２画像圧縮情報（ビットストリーム）は符号化画像であるピクチャ（picture）からなる画像群であるＧＯＰ（group of pictures）から構成され、ＭＰＥＧ４画像圧縮情報（ビットストリーム）は符号化画像であるＶＯＰ（vide object plain）からなる画像群であるＧＯＶ（group of VOPs）から構成されている。そして、上記画像群の符号化画像は、複数の画素から構成される画素ブロックすなわちマクロブロックから構成されている。
【０１００】
すなわち、本発明は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を入力とし、ピクチャタイプ判別部、圧縮情報解析部、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）、間引き部、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、動きベクトル合成部、動きベクトル検出部、情報バッファ、コンプレキシティ算出部、シーンチェンジ検出部、及びＧＯＶ構造変換部を兼ね備え、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における各フレームに対するコンプレキシティを元にしてＭＰＥＧ４画像情報符号化部で符号量制御を行う際、シーンチェンジが検出されたＧＯＶに対しては、直後のＧＯＶにおける最初のＩ−ＶＯＰをＰ−ＶＯＰに変換することによりＧＯＶ構造の変換を行うことで当該ＧＯＶにおける画質劣化を低減し、各フレームに対する符号量割当が画像に対して最適化された状態で、順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力する手段を提供するものである。
【０１０１】
上記構成において、ピクチャタイプ判別部は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内で、Ｉ／Ｐピクチャに関するものだけ残してＢピクチャに関するものは廃棄する。圧縮情報解析部は、２ＧＯＰ分の遅延を実現し、また、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内で、各フレームに対して割り当てられた符号量（ビット数）及び各フレームにおける平均量子化スケールを抽出する。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）は、ピクチャタイプ判別部の出力となる、Ｉ／Ｐピクチャに関する圧縮情報（ビットストリーム）を、水平方向垂直方向ともに、８次の離散コサイン係数全てを用いた、若しくはその低域成分のみを用いた復号処理を行う。間引き部は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）の出力である画像情報の第一フィールド若しくは第二フイールドのみを取り出して順次走査画像への変換を行うと同時に、所望の画枠サイズに変換するためのダウンサンプリングを行う。ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）は、間引き部の出力となる画像情報をＭＰＥＧ４符号化方式により符号化する。動きベクトル合成部は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）で検出された、入力となる画像圧縮情報（ビットストリーム）内の動きベクトル値を元に、走査変換後の画像データに対する動きベクトル値にマッピングを行う。動きベクトル検出部は、動きベクトル合成部から出力される動きベクトル値を元に、高精度の動きベクトル検出を行い、情報パフファにおいては、圧縮情報解析部において抽出された、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における各フレームに割り当てられた符号量（ビット数）及び各フレームに対する平均量子化スケールを格納する。コンプレキシティ算出部は、情報バッファに格納された、入力となる画像圧縮情報（ビットストリーム）における、各フレームに割り当てられた符号量（ビット数）、及び各フレームに対する平均量子化スケールから、各フレームに対するコンプレキシティを算出し、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）へ、符号量制御のための媒介変数として伝送する。シーンチェンジ検出部は、コンプレキシティ算出部に格納された、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における各フレームに対するコンプレキシティからシーンチェンジが当該ＧＯＰに含まれているかどうかの検出を行う。ＧＯＶ構造変換部は、シーンチェンジ検出部においてシーンチェンジが検出された場合、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）において符号化制御情報として与えられるＧＯＶ構造の変換を行ってその情報をＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）に伝送する。シーンチェンジ検出は、コンプレキシティ算出部に格納された情報ではなく、圧縮情報解析部において抽出される、各フレームにおけるイントラマクロブロックの数等の情報を用いて行っても良い。また、間引き部の後段にフレームバッファを兼ね備え、ここでシーンチェンジ検出を行っても良い。
【０１０２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【０１０３】
まず、本発明を適用した第１の実施の形態として、画像情報変換装置を説明する。
【０１０４】
この画像情報変換装置は、図１に示すように、ピクチャタイプ判別部１６と、圧縮情報解析部１７と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１８と、間引き部１９と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０と、動きベクトル合成部２１と、動きベクトル検出部２２と、情報バッファ２３と、コンプレキシティ算出部２４と、シーンチェンジ検出部２５と、ＧＯＶ構造変換部２６とから構成されている。
【０１０５】
なお、ピクチャタイプ判別部１６を持たず、フレームレートの変換を行わない装置構成も考えられるが、以下では説明を簡単にするため、ピクチャタイプ判別部１６を兼ね備えた装置構成について述べることとする。
【０１０６】
この画像情報変換装置には、フレーム内で符号化されたイントラ符号化画像（Ｉピクチャ；Ｉ）、表示順序で順方向を参照して予測符号化された順方向予測符号化画像（Ｐピクチャ；Ｐ）及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像（Ｂピクチャ；Ｂ）から構成される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）が入力される。
【０１０７】
このＭＰＥＧ２画像圧縮情報（ビットストリーム）は、ピクチャタイプ判別部１６において、Ｉ／Ｐピクチャに関するものか、Ｂピクチャに関するものであるかを判別され、Ｉ／Ｐピクチャのみ後続の圧縮情報解析部１７に出力され、Ｂピクチャは破棄される。
【０１０８】
圧縮情報解析部１７において、ＭＰＥＧ２画像情報復号化装置（Ｉ／Ｐピクチャ）１８における復号処理に用いられる量子化スケールのフレーム全体に渡る平均値Ｑ、及び、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）において、当該フレームに割り当てられた総符号量（ビット数）Ｂは、情報バッファ２３に格納される。
【０１０９】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１８における処理は通常のＭＰＥＧ２画像情報復号化装置と同様に、ＭＰＥＧ２画像圧縮情報（ビットストリーム）を画像信号に復号するものである。ここで、Ｂピクチャに関するデータはピクチャタイプ判別部１６において廃棄されているので、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１８は、Ｉ／Ｐピクチャのみを復号化出来る機能を有すればよい。
【０１１０】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１８の出力となる画素値は、間引き部１９に入力される。間引き部１９は、水平方向には１／２の間引き処理を施し、垂直方向には、第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄する。このような間引きによって、入力となる画像情報の１／４の大きさを持つ順次走査画像を生成する。
【０１１１】
ところで、間引き部１９から出力された画像をＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０において１６×１６画素で構成されるマクロブロック単位で符号化するためには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要が有る。間引き部１９においては、このための画素の補填若しくは廃棄を、間引きと同時に行う。
【０１１２】
例えば、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したもの、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き後の画枠はＳＩＦ（３６０×２４０画素）サイズということになる。この画像に対して、間引き部１９において、例えば水平方向の右端若しくは左端の８ラインを廃棄して３５２×２４０画素とする。
【０１１３】
なお、間引き部１９における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【０１１４】
更に、上述した文献１は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１８における処理として、水平方向、垂直方向それぞれについて、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内の、８次の離散コサイン変換係数すべてを用いた復号処理を行う画像情報変換装置について述べられているが、図１に示した装置に関してはその限りではなく、水平方向のみ、或いは水平方向、垂直方向ともに、８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら、復号処理に伴う演算量とビデオメモリ容量を削減することが可能である。
【０１１５】
間引き部１９によって生成された順次走査画像はＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０によってフレーム内で符号化されたＩ−ＶＯＰ及び表示順序で順方向を参照して予測符号化されたＰ−ＶＯＰに符号化され、ＭＰＥＧ４画像圧縮情報（ビットストリーム）として出力される。
【０１１６】
尚、ＶＯＰはVideo object Planeを意味し、ＭＰＥＧ２におけるフレームに相当するものである。また、Ｉ−ＶＯＰはＩピクチャに対応するイントラ符号化ＶＯＰ、Ｐ−ＶＯＰはＰピクチャに対応する順方向予測符号化ＶＯＰ、Ｂ−ＶＯＰはＢピクチャに対応する双方向予測符号化ＶＯＰである。
【０１１７】
ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０における符号化の際には、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル情報は、動きベクトル合成部２１において間引き後の画像情報に対する動きベクトルにマッピングされ、動きベクトル検出部２２においては、動きベクトル合成部２１において合成された動きベクトル値を元に高精度の動きベクトルを検出する。
【０１１８】
また、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０は、コンプレキシティ算出部２４からコンプレキシティの近似値が与えられるので、この近似値に基づいて各ＶＯＰに対する目標符号量（ターゲットビット）を算出し、この目標符号量（ターゲットビット）に応じて符号化する際に、ＧＯＶ構造変換部２６からのＧＯＶ構造に変換を行うことで、当該ＧＯＶにおいて生じる画質劣化を低減し、符号量配分を最適化する。
【０１１９】
シーンチェンジ検出部２５においては、コンプレキシティ算出部２４に格納された、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における当該ＧＯＰ内の各フレームに対するコンプレキシティからシーンチェンジが当該ＧＯＰに含まれているかどうかの判断を行う。当該ＧＯＰに対するＩピクチャ及びＰピクチャのコンプレキシティをそれぞれＸ_i及びＸ_p1，Ｘ_p2，…Ｘ_pnとすれば、予め定められた閾値Ｘ_thresholdに対し、次の式（２７）が一つでも成り立つ時、このＧＯＰにはシーンチェンジが含まれていると判断する。
【０１２０】
【数３０】

【０１２１】
図２に、シーンチェンジ検出装置２５においてシーンチェンジが検出された場合の、ＧＯＶ構造変換部２６における動作原理の一例を示す。
【０１２２】
図２の例では、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）のＧＯＰ構造がｎ＝１５；ｍ＝３の場合を想定している。すなわち、図２のＡに示すように、入力ＭＰＥＧ２画像圧縮情報（ビットストリーム）は、Ｉ₀，Ｂ₀，Ｂ₁，Ｐ₀，Ｂ₂，Ｂ₃，Ｐ₁，Ｂ₄，Ｂ₅，Ｐ₂，Ｂ₆，Ｂ₇，Ｐ₃，Ｂ₈，Ｂ₉からなるＧＯＰ０及びＩ₁，Ｂ₁₀，Ｂ₁₁，Ｐ₄，Ｂ₁₂，Ｂ₁₃，Ｐ₅，Ｂ₁₄，Ｂ₁₅，Ｐ₆，Ｂ₁₆，Ｂ₁₇，Ｐ₇，Ｂ₁₈、Ｂ₁₉からなるＧＯＰ１から構成されている。
【０１２３】
この時、ＧＯＶ構造変換前には、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）におけるＧＯＶ構造がｎ＝５；ｍ＝１となる。すなわち、図２のＢに示すように、変換前の出力ＭＰＥＧ４画像圧縮情報（ビットストリーム）は、Ｉ₀，Ｐ₀，Ｐ₁，Ｐ₂，Ｐ₃からなるＧＯＰ０及びＩ₁，Ｐ₄，Ｐ₅，Ｐ₆，Ｐ₇からなるＧＯＰ１から構成されている。
【０１２４】
ここで、式（２７）により、Ｐ₁にシーンチェンジが検出されたとする。この時、変換前のＧＯＶ０にはシーンチェンジが含まれるとして、ＧＯＶ１の先頭に存在するＩ−ＶＯＰであるＩ₁はＰ−ＶＯＰであるＰ₄へ変換され、ＧＯＶ０及びＧＯＶ１は統合されて一つのＧＯＶとなる。すなわち、図２のＣに示すように変換後の出力ＭＰＥＧ４画像圧縮情報（ビットストリーム）は、Ｉ₀，Ｐ₀，Ｐ₁，Ｐ₂，Ｐ₃，Ｐ₄，Ｐ₅，Ｐ₆，Ｐ₇，Ｐ₈からなるＧＯＶ０から構成されている。なお、図２のＣにおけるＰ₄，Ｐ₅，Ｐ₆，…は、図２のＢにおけるＩ₁，Ｐ₄，Ｐ₅，…の位置に対応している。
【０１２５】
図３に、シーンチェンジ検出部２５及びＧＯＶ構造変換部２６における一連の動作フローを示す。この動作を実現するためには、圧縮情報解析部１７において２ＧＯＶ分の遅延を実現する必要がある。
【０１２６】
最初のステップＳ３１において、シーンチェンジ検出部２５は、コンプレキシティ算出部２４から当該ＧＯＶにおける各フレームに対するコンプレキシティ情報を読み出す。
【０１２７】
ステップＳ３２において、シーンチェンジ検出部２５は、当該ＧＯＶにシーンチェンジが含まれるかどうかを調べ、その結果に応じて処理の手順を分岐させる。
【０１２８】
すなわち、当該ＧＯＶにシーンチェンジが含まれている場合にはステップＳ３３に処理を進めるが、当該ＧＯＶにシーンチェンジが含まれていない場合にはステップＳ３４に処理を進める。
【０１２９】
ステップＳ３３において、ＧＯＶ構造変換部２６は、シーンチェンジ検出部２５で検出したシーンチェンジに応じてＧＯＶ構造を変換する。
【０１３０】
ステップＳ３４においては、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０はＭＰＥＧ４画像圧縮情報（ビットストリーム）への符号化を行う。ここで、ステップＳ３３でＧＯＶ構造を変換した場合には、これに応じた符号化を行う。
【０１３１】
このような一連の処理により、たとえ入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）が固定ＧＯＶ構造であっても、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）が可変となりうる。このことを、図４を用いて説明する。図４で、変換前の固定ＧＯＶ構造において、ＧＯＶ１及びＧＯＶ６にシーンチェンジのあることが、シーンチェンジ検出装置２５によって検出されたとする。すなわち、図４のＡにおいて、変換前の固定ＧＯＶ構造ＧＯＶ１，ＧＯＰＶ２，ＧＯＶ３，ＧＯＶ４，ＧＯＶ５，ＧＯＶ６，ＧＯＶ７，ＧＯＶ８の内、シーンチェンジ検出部３５によりＧＯＶ１及びＧＯＶ６にシーンチェンジが検出されたものとする。
【０１３２】
この場合、ＧＯＶ１とＧＯＶ２、及びＧＯＶ６とＧＯＶ７をそれぞれ統合することにより、図４のＢに示すように、ＧＯＶ０，ＧＯＶ１，ＧＯＶ２、ＧＯＶ３，ＧＯＶ４，ＧＯＶ５，ＧＯＶ６のようなＧＯＶ構造に変換される。変換後において、ＧＯＶ１及びＧＯＶ５は他のＧＯＶに比べて２倍の長さを持つことになる。すなわち、このＭＰＥＧ４画像圧縮情報（ビットストリーム）は可変ＧＯＶ構造となる。
【０１３３】
ここで、図４のＢに示す変換後のＧＯＶ２，ＧＯＶ３，ＧＯＶ４，ＧＯＶ６は、図４のＡに示す変換前のＧＯＶ３，ＧＯＶ４，ＧＯＶ５，ＧＯＶ８の位置にそれぞれ対応している。
【０１３４】
尚、Ｉ−ＶＯＰをＰ−ＶＯＰに変換するためには、当該フレームに対する動きベクトル情報が必要となる。このため、当該フレームに対する動きベクトルは全て０とするか、或いはまた、動きベクトル検出装置２２を用いて動きベクトルの検出を行っても良いが、前後のＰ−ＶＯＰにおける動きベクトル情報を利用することも考えられる。また、式（２５）に基づいて、当該ＶＯＰに対する目標符号量（ターゲットビット）を算出するには、Ｉ−ＶＯＰからＰ−ＶＯＰに変換されたＶＯＰに対するコンプレキシティを推定する必要がある。このための処理の一例を図５に示す。図５には、Ｉ₀，Ｐ₀，Ｐ₁，Ｐ₂，Ｐ₃からなるＧＯＶ０及びＩ₁，Ｐ₄，Ｐ₅，Ｐ₆，Ｐ₇からなるＧＯＶ１が例示されている。
【０１３５】
図５のＡは、ＧＯＶ内において、最後のＰ−ＶＯＰ以外のＰ−ＶＯＰでシーンチェンジが検出された場合の例である。すなわち、ここではＧＯＶのＰ₁においてシーンチェンジが検出されたものとする。この場合のＩ₁に対する動きベクトル情報としては、Ｐ₃若しくはＰ₄で用いられた動きベクトル情報をそのまま用いる、或いは、Ｐ₃若しくはＰ₄で用いられた動きベクトル情報を元に動きベクトル検出装置２２を用いて動きベクトル情報の高精度化を行う。或いはまた、各マクロブロックに対して、Ｐ₃若しくはＰ₄で用いられた動きベクトル情報を用いて予測を行った場合と、動きベクトルを０として予測を行った場合とを比較して、符号化効率の高い方を選択するといったことが考えられる。
【０１３６】
コンプレキシティに関しては、直前のＰ−ＶＯＰであるＰ₃、若しくは直後のＰ−ＶＯＰであるＰ₄で用いられたコンプレキシティＸ_p3若しくはＸ_p4をそのまま使つても良い。或いは、次の式（２８）で与えられる両者の平均値を用いても良い。
【０１３７】
【数３１】

【０１３８】
或いは、次の式（２９）で与えられるシーンチェンジ後の全てのＰ−ＶＯＰに対する平均値を用いても良い。
【０１３９】
【数３２】

【０１４０】
元のＩ−ＶＯＰのコンプレキシティＸ_i1及びＸ_pk（ｋ＝２，…，７）から当該ＶＯＰに対するコンプレキシティの推測値を算出しても良い。
【０１４１】
図５のＢは、ＧＯＶ内において、最後のＰ−ＶＯＰでシーンチェンジが検出された場合の例である。すなわち、ここではＧＯＶ０のＰ₃においてシーンチェンジが検出されたものとする。この時、直前のＰ−ＶＯＰであるＰ₃における動きベクトル情報は、Ｉ₁をＰ−ＶＯＰに変換する場合の動きベクトル情報との相関が低いと考えられる。そこで、直後のＰ−ＶＯＰであるＰ₄における動きベクトル情報をそのまま用いる。或いは、Ｐ₄で用いられた動きベクトル情報を元に動きベクトル検出装置２２を用いて動きベクトル情報の高精度化を行う。或いはまた、各マクロブロックに対して、Ｐ₄で用いられた動きベクトル情報を用いて予測を行った場合と、動きベクトルを０として予測を行った場合とを比較して、符号化効率の高い方を選択するといったことが考えられる。
【０１４２】
コンプレキシティに関しても、Ｐ₃におけるコンプレキシティＸ_p3と、Ｉ₁をＰ−ＶＯＰに変換した時のコンプレキシティＸとの間の相関は低いと考えられる。そこで、Ｐ₄におけるコンプレキシティＸ_p4の値をそのまま用いるか、或いは次の式（３０）で与えられるシーンチェンジ後の全てのＰ−ＶＯＰに対する平均値を用いる。
【０１４３】
【数３３】

【０１４４】
或いは、元のＩ−ＶＯＰのコンプレキシティＸ_i1及びＸ_pk（ｋ＝４，…，７）から当該ＶＯＰに対するコンプレキシティの推測値を算出しても良い。
【０１４５】
次に、本発明を適用した第２の実施の形態の画像情報変換装置について、図６を参照して説明する。
【０１４６】
この画像情報変換装置は、ピクチャタイプ判別部２７と、圧縮情報解析部２８と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２９と、間引き部３０と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）３１と、動きベクトル合成部３２と、動きベクトル検出部３３と、情報バッファ３４と、コンプレキシティ算出部３５と、シーンチェンジ検出部３６と、ＧＯＶ構造変換部３７とから構成されている。
【０１４７】
図６に示した画像情報変換装置と、図１に示した画像情報変換装置の違いは、図１に示した画像情報変換装置においては、コンプレキシティ算出装置３４において算出された、入力となる画像圧縮情報（ビットストリーム）における、各フレームに対するコンプレキシティを元にシーンチェンジ検出が行われるのに対し、図６に示した画像圧縮情報解析装置においては、シーンチェンジ検出部３６は、圧縮情報解析装置２８において抽出される情報を元にシーンチェンジ検出を行う点にある。例えば、圧縮情報解析装置２８において、Ｐピクチャ内のイントラマクロブロックの個数Ｎ_intraを算出し、これが予め定められた閥値Ｎ_thresholdに対して、次の式（３１）で与えられる関係が成り立つ時、シーンチェンジが検出されたとしてその後の処理を行う。
【０１４８】
【数３４】

【０１４９】
次に、本発明を適用した第３の実施の形態の画像情報変換装置について、図７を参照して説明する。
【０１５０】
この画像情報変換装置は、ピクチャタイプ判別部３８と、圧縮情報解析部３９と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）４０と、間引き部４１と、フレームバッファ４２と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４３と、動きベクトル合成部４４と、動きベクトル検出部４５と、情報バッファ４６と、コンプレキシティ算出部４７と、シーンチェンジ検出部４８と、ＧＯＶ構造変換部４９とから構成されている。
【０１５１】
図７に示した画像情報変換装置と、図１に示した画像情報変換装置の違いは、図１に示した画像情報変換装置においては、コンプレキシティ算出装置３４において算出された、入力となる画像圧縮情報（ビットストリーム）における、各フレームに対するコンプレキシティを元にシーンチェンジ検出が行われるのに対し、図７に示した画像情報変換装置においては、シーンチェンジ検出部４８によりフレームバッファ４２に格納された画像情報を元にシーンチェンジ検出が行われる。すなわち、例えば、ベースバンドにおける１フレームの特徴量（例えば画素の平均値、分散値等）αを算出し、１フレーム前の特微量であるα_prev、及び予め定められた閥値α_thresholdに対して、式（３２）で与えられる関係が成り立つ時、シーンチェンジが検出されたとしてその後の処理を行う。
【０１５２】
【数３５】

【０１５３】
以上、入力としてＭＰＥＧ２画像圧縮情報（ビットストリーム）を、出力としてＭＰＥＧ４画像圧縮情報（ビットストリーム）を対象としてきたが、入力、出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．２６３などの画像圧縮情報（ビットストリーム）でも良い。
【０１５４】
【発明の効果】
以上述べてきた様に、本発明は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を入力とし、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における各フレームに対するコンプレキシティを元にしてＭＰＥＧ４画像情報符号化部で符号量制御を行う際、シーンチェンジが検出されたＧＯＶに対しては、直後のＧＯＶにおける最初のＩ−ＶＯＰをＰ−ＶＯＰに変換することでＧＯＶ構造の変換を行うことで当該ＧＯＶにおける画質劣化を低減し、各フレームに対する符号量割当が画像に対して最適化された状態で順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換して出力する手段を提供するものである。
【図面の簡単な説明】
【図１】第１の実施の形態の画像情報変換装置の構成を示すブロック図である。
【図２】シーンチェンジ検出部及びＧＯＶ構造変換部における動作原理を説明する図である。
【図３】シーンチェンジ検出部及びＧＯＶ構造変換部における一連の動作を示すフローチャートである。
【図４】固定ＧＯＶ構造から可変ＯＰＶ構造の変換を示す図である。
【図５】図６において、Ｉ−ＶＯＰをＰ―ＶＯＰに変換する処理を示す図である。
【図６】第２の実施の形態の画像情報変換装置の構成を示すブロック図である。
【図７】第３の実施の形態の画像情報変換装置の構成を示すブロック図である。
【図８】従来の画像情報変換装置の構成を示すブロック図である。
【図９】ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅ１ ５（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ０４００）で述べられている符号量制御方式の動作原理を示すフローチャートである。
【図１０】本願出願人が提案した画像情報変換装置の構成を示す図である。
【図１１】図１０の画像情報変換装置における符号量制御の動作を示すフローチャートである。
【図１２】ＣＣＩＲテストシーケンスの一つである“Ｔａｂｌｅ Ｔｅｎｎｉｓ”をＭＰＥＧ２符号化方式によって、ＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換した時のｐＳＮＲを示した図である。
【符号の説明】
１６ ピクチャタイプ判別部、１７ 圧縮情報解析部、１８ ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）、１９ 間引き部、２０ ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、２１ 動きベクトル合成部、２２ 動きベクトル検出部、２３ 情報バッファ、２４ コンプレキシティ算出部、２５ シーンチェンジ検出部、２６ ＧＯＶ構造変換部[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to an image information conversion apparatus and method for converting image information.And encoding apparatus and methodSpecifically, when receiving image information (bitstream) such as MPEG compressed by orthogonal transform such as discrete cosine transform and motion compensation via network media such as satellite broadcasting, cable TV, the Internet, or optical Image information conversion apparatus and method for converting image information used when processing on a storage medium such as a magnetic diskAnd encoding apparatus and methodAbout.
[0002]
[Prior art]
In recent years, image information such as MPEG that handles image information as digital, compresses by orthogonal transform such as discrete cosine transform and motion compensation, utilizing the unique redundancy of image information for the purpose of efficient transmission and storage of information. A compression scheme is provided. And an apparatus conforming to such an image information compression method is becoming widespread in both information distribution such as broadcasting stations and information reception in general households.
[0003]
In particular, MPEG2 (ISO / IEC 13818-2) is defined as a general-purpose image encoding method that covers both interlaced scanning images and progressive scanning images, as well as standard resolution images and high-definition images.
[0004]
That is, according to the MPEG2 coding compression method, for example, a code amount (bit rate) of 4 to 8 Mbps is assigned to a standard resolution interlaced scan image having 720 × 480 pixels, and a high resolution interlace scan having 1920 × 1088 pixels is assigned. By assigning a code amount (bit rate) of 18 to 22 Mbps to an image, a high compression rate and good image quality can be realized.
[0005]
For this reason, MPEG2 is expected to be used in a wide range of applications for professional use and consumer use. However, MPEG2 is mainly intended for high-quality encoding suitable for broadcasting, and for example, does not support encoding methods with a lower code amount (bit rate) than MPEG1, that is, a higher compression rate.
[0006]
On the other hand, with the spread of mobile terminals in recent years, it seems that the need for an encoding method with a high compression rate will continue to increase, and in response to this, standardization of an MPEG4 encoding method with a high compression rate is being carried out. . Regarding this image encoding system, an international standard was approved as ISO / IEC 14496-2 in December 1998.
[0007]
By the way, MPEG2 image compression information (bit stream) once encoded for digital broadcasting is converted into image compression information (bit stream) having a lower code amount (bit rate) that is more suitable for processing on a portable terminal or the like. There is a need to convert.
[0008]
In order to achieve this purpose, “Field-to-Frame Transcoding with Spatial and Temporal Downsampling” (Susie L Wee, John G. Apostolopoulos, and Nick Feamster, ICIP 99, hereinafter referred to as Reference 1) is used. An image information conversion device (transcoder) as shown in FIG.
[0009]
As shown in FIG. 8, the image information conversion apparatus (transcoder) provided in this document 1 includes a picture type determination unit 1, an MPEG2 image information decoding unit (I / P picture) 2, a thinning unit 3, and , An MPEG4 image information encoding unit (I / P-VOP) 4, a motion vector synthesis unit 5, and a motion vector detection unit 6.
[0010]
This image information conversion apparatus includes an intra-encoded image (I picture; I) encoded within a frame, and a forward predictive encoded image (P picture; encoded with reference to the forward direction in the display order). P) and interlaced scanning MPEG2 image compression information (bitstream) composed of bi-predictive encoded images (B pictures; B) that are predictively encoded with reference to the forward and reverse directions in the display order are input. The
[0011]
This MPEG2 image compression information (bitstream) is determined by the picture type determination unit 1 as to whether it is related to an I / P picture or a B picture. Only the I / P picture is followed by an MPEG2 image information decoding unit. (I / P picture) 2 is output, and the B picture is discarded.
[0012]
The processing in the MPEG2 image information decoding unit (I / P picture) 2 is to decode MPEG2 image compression information (bitstream) into an image signal in the same manner as a normal MPEG2 image information decoding apparatus.
[0013]
The pixel value to be output from the MPEG2 image information decoding unit (I / P picture) 2 is input to the thinning unit 3. The thinning unit 3 performs a half thinning process in the horizontal direction, leaves only data in either the first field or the second field in the vertical direction, and discards the other. By such decimation, a sequentially scanned image having a size that is 1/4 of the input image information is generated.
[0014]
The progressive scan image generated by the thinning unit 3 is predictively encoded with reference to the forward direction in the I-VOP encoded in the frame and the display order by the MPEG4 image information encoding unit (I / P-VOP) 4. Encoded into P-VOP and output as MPEG4 image compression information (bitstream). VOP means Video object Plane and corresponds to a frame in MPEG2.
[0015]
At that time, the motion vector information in the input MPEG2 image compression information (bitstream) is mapped to the motion vector for the image information after the thinning by the motion vector synthesizing unit 5, and the motion vector detecting unit 6 A highly accurate motion vector is detected based on the motion vector value synthesized in the unit 5.
[0016]
Reference 1 describes an image information conversion apparatus that generates MPEG4 image compression information (bitstream) of a progressively scanned image having a size of 1/2 × 1/2 of the input MPEG2 image compression information (bitstream). ing. That is, for example, when the input MPEG2 image compression information (bitstream) conforms to the NTSC (National Television System Committee) standard, the output MPEG4 image compression information is called SIF size (352 × 240 pixels). It will be.
[0017]
By the way, in the image information conversion apparatus shown in FIG. 8, the code amount control in the MPEG4 image information encoding unit (I / P-VOP) 4 determines the image quality in the MPEG4 image compression information (bit stream) to be output. It becomes a big factor. In ISO / IEC 14496-2, the code amount control method is not specified in particular, and each vendor can use a method that is considered optimal from the viewpoint of calculation amount and output image quality, depending on the application. . Hereinafter, as a typical code amount control method, a method described in MPEG2 Test Model 5 (ISO / IEC JTC1 / SC29 / WG11 N0400) will be described.
[0018]
This code amount control flow will be described with reference to the flow shown in FIG. In the first step S11, the image information encoding unit (I / P-VOP) 4 uses the target code amount (target bit rate) and the GOP (group of pictures) configuration as input variables to allocate bits to each picture. Do. Here, GOP is a set of randomly accessible pictures.
[0019]
That is, in step S11, the image information encoding unit (I / P-VOP) 4 determines the allocation bit amount for each picture in the GOP for pictures that have not yet been decoded in the GOP including the allocation target picture. Allocation is performed based on the allocated bit amount (hereinafter referred to as R). This distribution is repeated in the order of the coded pictures in the GOP. At that time, the code amount allocation to each picture is performed using the following two assumptions.
[0020]
First, it is assumed that the product of the average quantization scale code used when encoding each picture and the generated code amount is a constant value for each picture type unless the screen changes. Therefore, after encoding each picture, for each picture type, a variable X indicating the complexity of the screen._i, X_p, X_b(Global complelxity measure) is updated by the following equation (1).
[0021]
[Expression 4]

[0022]
Where S_i, S_p, S_bIs the amount of generated code bits at the time of picture encoding, and Q_i, Q_p, Q_bIs an average quantization scale code at the time of picture encoding. The initial value is set to a value represented by Expression (2) using a target code amount (target bit rate) bit_rate [bits / sec].
[0023]
[Equation 5]

[0024]
Second, the ratio K of the quantization scale code of the P and B pictures based on the quantization scale code of the I picture_p, K_bAssume that the overall image quality is always optimized when becomes the value defined in equation (3).
[0025]
[Formula 6]

[0026]
That is, the quantization scale code for B pictures is always 1.4 times the quantization scale code for I and P pictures. This is because the B picture is encoded somewhat coarsely compared to the I and P pictures, and when the code amount that can be saved in the B picture is added to the I and P pictures, the image quality of the I and P pictures is improved. It is assumed that the image quality of the B picture that refers to this is also improved.
[0027]
Based on the above two assumptions, the allocated bit amount (T_i, T_p, T_b) Is a value shown in Equation (4).
[0028]
[Expression 7]

[0029]
Where N_p, N_bIs the number of P and B pictures that are not yet encoded in the GOP.
[0030]
Based on the allocated code amount obtained in this manner, the bit amount R allocated to the uncoded picture in the GOP is updated by Expression (5) every time each picture is encoded according to steps S11 and S12. To do.
[0031]
[Equation 8]

[0032]
In addition, when the first picture of the GOP is encoded, R is updated by Expression (6).
[0033]
[Equation 9]

[0034]
N is the number of pictures in the GOP. The initial value of R at the beginning of the sequence is 0.
[0035]
Next, in step S12, the image information encoding device (I / P-VOP) 4 performs rate control using a virtual buffer. That is, in step S12, the image information encoding device (I / P-VOP) 4 assigns the allocated bit amount (T_i, T_p, T_b) And the actual generated code amount, the quantization scale code is obtained by macroblock unit feedback control based on the capacities of three types of virtual buffers set independently for each picture.
[0036]
First, prior to encoding the j-th macroblock, the occupancy amount of the virtual buffer is obtained by Expression (7).
[0037]
[Expression 10]

[0038]
Where d₀ ⁱ, D₀ ^p, D₀ ^bIs the initial occupancy of each virtual buffer, B_jIs the amount of generated bits from the beginning of the picture to the jth macroblock, and MB_cnt is the number of macroblocks in one picture. Virtual buffer occupancy at the end of each picture encoding (d_{MB_cnt} ⁱ, D_{MB_cnt} ^p, D_{MB_cnt} ^b) Are the same picture type, and the initial virtual buffer occupancy for the next picture (d₀ ⁱ, D₀ ^p, D₀ ^b).
[0039]
Next, the quantization scale code for the j-th macroblock is calculated according to equation (8).
[0040]
## EQU11 ##

[0041]
Here, r is a variable that controls the response of the feedback loop, called a reaction parameter, and is given by equation (9).
[0042]
[Expression 12]

[0043]
The initial value of the virtual buffer at the start of encoding is given by equation (10).
[0044]
[Formula 13]

[0045]
Finally, in step S13, the image information encoding device (I / P-VOP) 4 performs adaptive quantization for each macroblock in consideration of visual characteristics. That is, in step S13, the image information encoding unit (I / P-VOP) 4 finely quantizes the quantization scale code obtained in step S12 with a flat part that is visually noticeable, and the deterioration It is changed by a variable called activity for each macroblock so that it is roughly quantized in a complicated part of a relatively inconspicuous pattern.
[0046]
The activity uses the luminance signal pixel value of the original picture, and uses the pixel values of a total of 8 blocks of 4 blocks in the frame discrete cosine transform mode and 4 blocks in the field discrete cosine transform mode. Given in.
[0047]
[Expression 14]

[0048]
Where P_kIs the pixel value in the luminance signal block of the original image. The reason why the minimum value is taken in equation (11) is to make the quantization fine when only a part of the macroblock has a flat part.
[0049]
Furthermore, the normalized activity Nact whose value is in the range of 0.5 to 2 according to equation (12)_jAsk for.
[0050]
[Expression 15]

[0051]
Here, avg_act is the act in the picture encoded immediately before_jIs the average value.
[0052]
Quantization scale code mquant considering visual characteristics_jIs the quantization scale code Q obtained in step S12._jIs given by formula (13).
[0053]
[Expression 16]

[0054]
It is known that the code amount control method defined in the MPEG2 Test Model 5 has the following restrictions. When actual control is performed, measures against these restrictions are required. That is, the first limitation is that the first step S11 cannot cope with the scene change, and the parameter avg_act used in the third step S13 becomes an incorrect value after the scene change. The second limitation is that there is no guarantee that satisfies the constraint conditions of VBV (Video Buffer Verifier) defined in MPEG2 and MPEG4.
[0055]
By the way, it is also described in the document "Theoretical analysis of MPEG compression efficiency and its application to code amount control" (Science Technical Report, IE-95, DSP 95-10, May 1995, hereinafter referred to as Document 2). As described above, the code amount control method defined in Test Model 5 does not necessarily provide a good image quality in the MPEG-2 image encoding device.
[0056]
This reference 2 proposes the following method as a method for giving an optimal code amount distribution for each frame in a GOP, in particular, in order to give good image quality. That is, N_I, N_P, N_BIs the number of I, P and B pictures that have not yet been encoded in the GOP, and the code amount assigned to them is R_I, R_P, R_BAnd Further, under the fixed rate condition given by Equation (14), the quantization step size in each is expressed as Q_I, Q_P, Q_BAnd m is the order relating the quantization step size and the reproduction error variance (that is, assuming that minimizing the average value of the quantization step size raised to the mth power minimizes the reproduction error variance). Then, consider minimizing equation (15).
[0057]
[Expression 17]

[0058]
[Expression 18]

[0059]
The average quantization scale Q and the code amount R in each frame are related to the complexity X of each frame, which is a medium variable also used in Test Model 5, as shown in Expression (16).
[0060]
[Equation 19]

[0061]
R which minimizes the expression (15) under the constraint condition of the expression (14) while considering the relationship of the expression (16)_I, R_P, R_BIs calculated using the Lagrange's undetermined multiplier method, the optimal R_I, R_P, R_BAs such, a value like the following formula is obtained.
[0062]
[Expression 20]

[0063]
With α = 1, it can be said that the relationship between the equation (17) and the equation (4) in the code amount control method defined in the MPEG2 Test Model 5 is as follows. That is, Equation (17) is a parameter for controlling the amount of code, K_p, K_bFor each frame complexity X_I, X_P, X_BAccordingly, the calculation is adaptively performed as shown in Expression (18).
[0064]
[Expression 21]

[0065]
Document 2 shows that a good image quality can be obtained by setting the value of 1 / (1 + m) to about 0.6 to 1.2.
[0066]
In the image information conversion apparatus shown in FIG. 8, the MPEG4 image information encoding apparatus (I / P-VOP) 4 performs code amount control using a method similar to that defined in the MPEG2 Test Model 5. In this case, since it is impossible to cope with a change in complexity within the GOP caused by a scene change or the like, it is difficult to stably control the amount of code, which may cause image quality deterioration. Information in the input MPEG2 image compression information (bitstream) extracted in the MPEG2 image information decoding unit (I / P picture) 2 is used in the MPEG4 image compression information encoding unit (I / P-VOP) 4. It is expected that this problem can be avoided.
[0067]
In order to solve this problem, the applicant of the present application has previously proposed an image information conversion apparatus as shown in FIG.
[0068]
This image information conversion apparatus includes a picture type determination unit 7, a compression information analysis unit 8, an MPEG2 image information decoding unit (I / P picture) 9, a thinning unit 10, and an MPEG4 image information encoding unit (I / P). P-VOP) 11, a motion vector synthesis unit 12, a motion vector detection unit 13, an information buffer 14, and a complexity calculation unit 15.
[0069]
This image information conversion apparatus has an operation principle other than the code amount control in the compression information analysis unit 8, the information buffer 14, the complexity calculation unit 15, and the MPEG4 image information encoding unit (I / P-VOP) 11. Since this is the same as the image information conversion apparatus shown in FIG. 8, the operation principle in the compression information analysis unit 8, the information buffer 14, and the complexity calculation unit 15 and the MPEG4 image information encoding unit (I / P-VOP) are described below. 11 will be described.
[0070]
In the compression information analysis unit 8, in the average value Q over the entire quantization scale frame used in the decoding process, and the MPEG2 image compression information (bit stream) to be input, the total code amount ( The number of bits (B) is stored in the information buffer 14.
[0071]
The complexity calculation unit 15 calculates the complexity X for the frame from the information Q and B for each frame stored in the information buffer 14 using Equation (19).
[0072]
[Expression 22]

[0073]
The complexity X for the frame calculated by equation (19) is buffered by 1 GOV (group of VOPs), and then the MPEG4 image information encoding unit (I / P-VOP) 11 performs code amount control. Is transmitted as a parameter for For this reason, a delay of 1 GOV is required. This delay is realized using a delay buffer (not shown). Here, GOV is a set of randomly accessible VOPs.
[0074]
Hereinafter, how the complexity X calculated for each frame in the GOV calculated in Expression (19) is used in the MPEG4 image information encoding unit (I / P-VOP) 11 will be described. In the following, the case where the picture type determination unit 7 does not exist in the image information conversion apparatus and the frame rate is not converted will be considered.
[0075]
K determined by equation (18)_P, K_BMeans the ideal average quantization scale Q for I-VOP_{i_ideal}Ideal average quantization scale Q for P-VOP / B-VOP_{p_ideal}, Q_{b_ideal}Is given by equation (20).
[0076]
[Expression 23]

[0077]
In MPEG2 Test Model 5, K is adaptively expressed as Equation (18)._p, K_bIs not calculated, and a fixed value as shown in Expression (3) is used.
[0078]
From the equations (18) and (20), the complexity for a certain VOP1 and a certain VOP2 is expressed as X₁, X₂And the ideal quantization scale is Q_{1_ideal}, Q_{2_ideal}Then, the equation (21) is obtained.
[0079]
[Expression 24]

[0080]
Alternatively, when it is desired to use the fixed value shown in Equation (3) as in MPEG2 Test Model 5, it may be changed to Equation (22) instead of Equation (21).
[0081]
[Expression 25]

[0082]
Now, let R be the total code amount (number of bits) allocated to unencoded VOPs in the GOV, and R is R for each VOP.₁, R₂, ... R_nIt is assumed that the image quality for the GOV is optimized. Where R and R₁, R₂, ... R_nA relational expression such as Expression (23) is established between.
[0083]
[Equation 26]

[0084]
A VOP_kMean quantization scale Q for_k, Assigned code amount R_k, Complexity X_kNote that there is a relationship of formula (24) between the two, and if formula (23) is modified, formula (25) is obtained.
[0085]
[Expression 27]

[0086]
[Expression 28]

[0087]
In formula (25), K (X₁, X₂), The value shown in Equation (21) or the value shown in Equation (22) may be used, but the former realizes more optimal code amount distribution according to the image. Is possible. At that time, by setting the value of 1 / (1 + m) to 1.0, it is not necessary to perform exponential calculation, and high-speed execution is possible. Even when the value of 1 / (1 + m) is set to a value other than 1.0, high-speed execution is possible by having a table in advance and performing exponential operation with reference to this table.
[0088]
Complexity X for each VOP in equation (25)_kIs based on MPEG4 image coding, but if the complexity for each frame by MPEG2 image coding and the complexity for each frame by MPEG4 image coding are assumed to be equal, they are stored in the complexity calculation unit 15. X_kBy using, it is possible to calculate the target code amount for the VOP by the equation (25).
[0089]
FIG. 11 shows a flow for calculating the target code amount. In the first step S21, the compression information analysis unit 8 extracts the average quantization scale Q and the allocated code amount (number of bits) B for each frame in the GOP used for the decoding process in the MPEG2 image information decoding unit 9. .
[0090]
In step S <b> 22, the complexity calculation unit 15 calculates the complexity X given by the product of the average quantization scale Q and the assigned code amount (number of bits) B.
[0091]
In step S23, the MPEG4 image encoding unit (I / P-VOP) 11 calculates a target code amount (target bit) corresponding to the complexity X.
[0092]
In MPEG2 Test Model 5, complexity X for I, P, B pictures in GOP_i, X_p, X_bHowever, this assumption does not hold when scene changes are included in the GOP, or when the background changes significantly in the GOP, which hinders stable code amount control. It becomes a factor of deterioration. In the image information conversion apparatus shown in FIG. 10, even in such a case, the code amount control based on the complexity for each frame in the input MPEG2 image compression information (bit stream) is performed. It is possible to perform stable code amount control without causing any problems.
[0093]
[Problems to be solved by the invention]
By the way, image compression information (bits) obtained by compressing “Table Tennis”, which is one of the CCIR (Comite Consultantif Internationale des Radio Communications) test sequences, to 4 Mbps under the condition of n = 15; FIG. 12 shows the pSNR when the stream) is converted into MPEG4 image compression information (bit stream) of n = 5; m = 1, 600 kbps using the image information conversion apparatus shown in FIG. The pSNR is calculated by the following equation (26).
[0094]
[Expression 29]

[0095]
In this equation (26), MSE is the mean square error of the input signal and output signal for each frame of the MPEG4 image information encoding device (I / P-VOP) 11.
[0096]
In FIG. 12, scene changes are included in the P-VOPs of the 21st and 31st frames. By using the image information conversion apparatus shown in FIG. 10, a larger code amount (number of bits) than those of a normal P-VOP is allocated to these wallets, and it is possible to minimize deterioration in image quality. It is possible. However, since a larger amount of code (number of bits) is allocated to these P-VOPs, the amount of code (number of bits) allocated to other I-VOPs and P-VOPs in the GOV decreases, and the entire GOV The image quality deterioration of the image quality becomes larger than the image quality deterioration in other GOVs.
[0097]
  The present invention is proposed in view of the above circumstances, and an image information conversion apparatus and method for suppressing image quality degradation even when a scene change is included.And encoding apparatus and methodThe purpose is to provide.
[0098]
[Means for Solving the Problems]
  In order to solve the above-described problems, the present invention is directed to interlaced scanning input image compression information compressed by the first compression coding method, and progressive scanning output image compression compressed by the second compression coding method. The image group of the input image compression information and the output image compression information is an intra-encoded image encoded within a frame, and is encoded with reference to the forward direction in the display order. A forward prediction encoded image and a bidirectional prediction encoded image encoded with reference to the forward direction and the reverse direction in the display order, and the input image compression information and the output image compression information are obtained from a plurality of encoded images. A scene change detection means for detecting a scene change in the output image compression information, and a complex for detecting the complexity of each frame of the input image compression information. When the code amount of the image information is allocated to the output image compression information based on the complexity detected by the complexity detecting unit and the complexity detecting unit, the scene change detected by the scene change detecting unit Conversion means for converting the structure of the image group in the output image compression information, and the conversion means includes delay means for delaying the image information over a time corresponding to two image groups of the output image compression information. Then, in the output image compression information, the first intra encoded image of the image group immediately after the image group including the scene change is converted into a forward prediction encoded image, and the intra encoded image is converted into the forward predictive encoded image. Vector information at the time of conversion to is obtained by using motion vector information in forward prediction encoded images before and after the intra encoded imageAt the same time, the complexity for converting the intra-coded image into the forward-predicted coded image is obtained using the complexity of the forward-predicted coded images before and after the intra-coded image.
  In addition, the image information conversion apparatus according to the present invention uses the interlaced scan input image compression information compressed by the first compression encoding method and the progressive scan output image compression information compressed by the second compression encoding method. In the image information conversion apparatus for converting to image information, the image group of the input image compression information and the output image compression information is an intra-encoded image encoded within a frame, and is encoded with reference to a forward direction in a display order. A forward prediction encoded image and a bidirectional prediction encoded image encoded with reference to the forward direction and the reverse direction in the display order, and the input image compression information and the output image compression information are obtained from a plurality of encoded images. A scene change detecting means configured to detect a scene change in the output image compression information,Complexity detecting means for detecting the complexity of each frame of the input image compression information, and complexity detected by the complexity detecting means.Conversion means for converting the structure of the image group in the output image compression information according to the scene change detected by the scene change detection means when allocating the code amount of the image information to the output image compression information based on And the conversion means converts, in the output image compression information, an intra encoded image at the head of an image group immediately after an image group including a scene change into a forward prediction encoded image, and converts the intra encoded image into The motion vector information for conversion to the forward predictive encoded image is obtained using the motion vector information in the forward predictive encoded images before and after the intra encoded image.At the same time, the complexity for converting the intra-coded image into the forward-predicted coded image is obtained using the complexity of the forward-predicted coded images before and after the intra-coded image.
  Next, an encoding apparatus according to the present invention compresses image information obtained by decoding interlaced scanning input image compression information compressed by the first compression encoding method using the second compression encoding method. In the encoding device that encodes the output image compression information of progressive scanning, the input image compression information and the image group of the output image compression information are intra-encoded images encoded in a frame, forward in the display order. The input image compression information and the output image compression including a forward prediction encoded image encoded with reference to a forward prediction encoded image encoded with reference to a forward direction and a reverse direction in display order. The information is configured in units of an image group composed of a plurality of encoded images, and receiving means for receiving a scene change obtained by detecting a scene change in the output image compression information,Complexity detecting means for detecting the complexity of each frame of the input image compression information, and complexity detected by the complexity detecting means.Conversion means for converting the structure of the image group in the output image compression information according to a scene change from the receiving means when allocating the code amount of the image information to the output image compression information based on The converting means converts, in the output image compression information, an intra encoded image at the head of an image group immediately after an image group including a scene change into a forward prediction encoded image, and the intra encoded image is converted into a forward prediction image. Motion vector information for conversion to a coded image is obtained by using motion vector information in forward prediction coded images before and after the intra coded image.At the same time, the complexity for converting the intra-coded image into the forward-predicted coded image is obtained using the complexity of the forward-predicted coded images before and after the intra-coded image.
[0099]
In the present invention, MPEG2 image compression information (bitstream) for interlaced scanning is used as input image compression information, and MPEG4 image compression information (bitstream) for sequential operation is used as output image compression information. Here, MPEG2 image compression information (bitstream) is composed of GOP (group of pictures) which is a group of pictures consisting of pictures as encoded images, and MPEG4 image compression information (bitstream) is encoded images. It consists of GOV (group of VOPs) which is an image group consisting of a certain VOP (vide object plain). The encoded image of the image group is composed of pixel blocks composed of a plurality of pixels, that is, macroblocks.
[0100]
That is, the present invention receives interlaced scanning MPEG2 image compression information (bitstream) as an input, and includes a picture type determination unit, compression information analysis unit, MPEG2 image information decoding unit (I / P picture), thinning unit, and MPEG4 image information. MPEG2 image compression information to be input, which includes an encoding unit (I / P-VOP), a motion vector synthesis unit, a motion vector detection unit, an information buffer, a complexity calculation unit, a scene change detection unit, and a GOV structure conversion unit When the code amount control is performed by the MPEG4 image information encoding unit based on the complexity for each frame in the (bitstream), the first I-VOP in the immediately following GOV is applied to the GOV in which the scene change is detected. Is converted into P-VOP, and the GOV structure is converted into the GOV by converting the GOV structure. That the image quality degradation is reduced, while the code amount allocation for each frame is optimized for the image, and provides a means for outputting an MPEG4 image compression information progressive scan (bit stream).
[0101]
In the above configuration, the picture type determination unit leaves only the one relating to the I / P picture and discarding the one relating to the B picture in the input MPEG2 image compression information (bitstream). The compression information analysis unit realizes a delay of 2 GOP, and in the input MPEG2 image compression information (bit stream), the code amount (number of bits) assigned to each frame and the average quantum in each frame Extraction scale. The MPEG2 image information decoding unit (I / P picture) outputs the compression information (bitstream) related to the I / P picture, which is the output of the picture type discrimination unit, all the 8th order discrete cosine coefficients in both the horizontal and vertical directions. The decoding process which used or used only the low-frequency component is performed. The decimation unit extracts only the first field or the second field of the image information that is the output of the MPEG2 image information decoding unit (I / P picture) and converts it into a sequentially scanned image, and at the same time, the desired image frame size Downsampling to convert to. The MPEG4 image information encoding unit (I / P-VOP) encodes the image information that is output from the thinning unit using the MPEG4 encoding method. The motion vector synthesizing unit performs motion on the image data after the scan conversion based on the motion vector value in the input image compression information (bit stream) detected by the MPEG2 image information decoding unit (I / P picture). Map to a vector value. The motion vector detection unit performs high-precision motion vector detection based on the motion vector value output from the motion vector synthesis unit. In the information puffer, the compressed MPEG2 image compressed by the compression information analysis unit is input. The code amount (number of bits) assigned to each frame in the information (bit stream) and the average quantization scale for each frame are stored. The complexity calculation unit stores each code amount (number of bits) assigned to each frame in the input image compression information (bit stream) stored in the information buffer, and an average quantization scale for each frame. The complexity for the frame is calculated and transmitted to the MPEG4 image information encoding unit (I / P-VOP) as a parameter for controlling the amount of code. The scene change detection unit detects whether a scene change is included in the GOP from the complexity of each frame in the input MPEG2 image compression information (bitstream) stored in the complexity calculation unit. . When a scene change is detected by the scene change detection unit, the GOV structure conversion unit converts the GOV structure given as encoding control information in the MPEG4 image information encoding unit (I / P-VOP) It is transmitted to the MPEG4 image information encoding unit (I / P-VOP). The scene change detection may be performed using information such as the number of intra macroblocks in each frame extracted by the compression information analysis unit, not the information stored in the complexity calculation unit. Further, a frame buffer may be provided after the thinning-out unit, and scene change detection may be performed here.
[0102]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0103]
First, an image information conversion apparatus will be described as a first embodiment to which the present invention is applied.
[0104]
As shown in FIG. 1, the image information conversion apparatus includes a picture type determination unit 16, a compression information analysis unit 17, an MPEG2 image information decoding unit (I / P picture) 18, a thinning unit 19, and an MPEG4 image. Information encoding unit (I / P-VOP) 20, motion vector synthesis unit 21, motion vector detection unit 22, information buffer 23, complexity calculation unit 24, scene change detection unit 25, and GOV structure The conversion part 26 is comprised.
[0105]
An apparatus configuration that does not have the picture type determination unit 16 and that does not convert the frame rate is also conceivable. However, in order to simplify the description, an apparatus configuration that also has the picture type determination unit 16 will be described below.
[0106]
This image information conversion apparatus includes an intra-encoded image (I picture; I) encoded within a frame, and a forward predictive encoded image (P picture; encoded with reference to the forward direction in the display order). P) and interlaced scanning MPEG2 image compression information (bitstream) composed of bi-predictive encoded images (B pictures; B) that are predictively encoded with reference to the forward and reverse directions in the display order are input. The
[0107]
The MPEG2 image compression information (bitstream) is discriminated in the picture type discrimination unit 16 as to whether it relates to an I / P picture or B picture, and only the I / P picture is sent to the subsequent compression information analysis unit 17. The B picture is output and discarded.
[0108]
In the compression information analysis unit 17, the average value Q over the entire frame of the quantization scale used for the decoding process in the MPEG2 image information decoding device (I / P picture) 18, and the MPEG2 image compression information (bitstream) as input ), The total code amount (number of bits) B allocated to the frame is stored in the information buffer 23.
[0109]
The processing in the MPEG2 image information decoding unit (I / P picture) 18 is to decode MPEG2 image compression information (bitstream) into an image signal in the same manner as a normal MPEG2 image information decoding apparatus. Here, since the data relating to the B picture is discarded in the picture type determination unit 16, the MPEG2 image information decoding unit (I / P picture) 18 only needs to have a function capable of decoding only the I / P picture. .
[0110]
The pixel value that is output from the MPEG2 image information decoding unit (I / P picture) 18 is input to the thinning unit 19. The thinning unit 19 performs a half thinning process in the horizontal direction, leaves only the data of either the first field or the second field in the vertical direction, and discards the other. By such decimation, a sequentially scanned image having a size that is 1/4 of the input image information is generated.
[0111]
By the way, in order to encode the image output from the thinning unit 19 in units of macroblocks composed of 16 × 16 pixels in the MPEG4 image information encoding unit (I / P-VOP) 20, the horizontal direction and the vertical direction In both cases, the number of pixels needs to be a multiple of 16. The thinning unit 19 performs pixel compensation or discarding simultaneously with the thinning.
[0112]
For example, if the input MPEG2 image compression information (bitstream) is based on the NTSC (National Television System Committee) standard, that is, a 720 × 480 pixel, 30 Hz interlaced scanned image, the image frame after decimation is This is the SIF (360 × 240 pixels) size. For this image, the thinning unit 19 discards, for example, 8 lines at the right end or left end in the horizontal direction to obtain 352 × 240 pixels.
[0113]
It should be noted that by changing the operation in the thinning-out unit 19, other image frames, for example, in the above example, an image of QSIF (176 × 112 pixels) size, which is an image frame of about 1/4 × 1/4, is obtained. It is also possible to convert.
[0114]
Furthermore, the above-mentioned document 1 describes the 8th order in the MPEG2 image compression information (bit stream) as input in the horizontal direction and the vertical direction as processing in the MPEG2 image information decoding unit (I / P picture) 18. An image information conversion apparatus that performs a decoding process using all the discrete cosine transform coefficients is described. However, the apparatus shown in FIG. 1 is not limited to this, and only the horizontal direction or the eighth order in both the horizontal direction and the vertical direction is described. It is possible to reduce the amount of calculation and the video memory capacity associated with the decoding process while performing the decoding process using only the low-frequency component of the discrete cosine transform coefficients and minimizing image quality degradation.
[0115]
The progressive scan image generated by the thinning-out unit 19 is predictively encoded with reference to the forward direction in the I-VOP encoded in the frame and the display order by the MPEG4 image information encoding unit (I / P-VOP) 20. Encoded into P-VOP and output as MPEG4 image compression information (bitstream).
[0116]
VOP means Video object Plane and corresponds to a frame in MPEG2. Further, I-VOP is an intra-coded VOP corresponding to an I picture, P-VOP is a forward predictive coded VOP corresponding to a P picture, and B-VOP is a bi-directional predictive coded VOP corresponding to a B picture.
[0117]
When encoding in the MPEG4 image information encoding unit (I / P-VOP) 20, the motion vector information in the input MPEG2 image compression information (bitstream) is converted into an image after decimation in the motion vector synthesis unit 21. The motion vector is mapped to the motion vector for the information, and the motion vector detection unit 22 detects a highly accurate motion vector based on the motion vector value synthesized by the motion vector synthesis unit 21.
[0118]
Also, since the MPEG4 image information encoding unit (I / P-VOP) 20 is given an approximate value of complexity from the complexity calculating unit 24, the target code amount (target) for each VOP is based on this approximate value. Bit), and when encoding according to the target code amount (target bit), conversion to the GOV structure from the GOV structure conversion unit 26 reduces image quality degradation that occurs in the GOV, Optimize quantity distribution.
[0119]
In the scene change detection unit 25, a scene change is included in the GOP from the complexity for each frame in the GOP in the MPEG2 image compression information (bitstream) to be input, which is stored in the complexity calculation unit 24. Judge whether or not. The complexity of I picture and P picture for the GOP is X_iAnd X_p1, X_p2, ... X_pnThen, a predetermined threshold value X_thresholdOn the other hand, when at least one of the following expressions (27) holds, it is determined that this GOP includes a scene change.
[0120]
[30]

[0121]
FIG. 2 shows an example of the operating principle of the GOV structure conversion unit 26 when a scene change is detected by the scene change detection device 25.
[0122]
In the example of FIG. 2, it is assumed that the GOP structure of the input MPEG2 image compression information (bitstream) is n = 15; m = 3. That is, as shown in FIG. 2A, the input MPEG2 image compression information (bit stream) is I₀, B₀, B₁, P₀, B₂, B_Three, P₁, B_Four, B_Five, P₂, B₆, B₇, P_Three, B₈, B₉GOP0 and I consisting of₁, B_Ten, B₁₁, P_Four, B₁₂, B₁₃, P_Five, B₁₄, B₁₅, P₆, B₁₆, B₁₇, P₇, B₁₈, B₁₉It is comprised from GOP1 which consists of.
[0123]
At this time, before the GOV structure conversion, the GOV structure in the MPEG4 image compression information (bit stream) to be output is n = 5; m = 1. That is, as shown in FIG. 2B, the output MPEG4 image compression information (bitstream) before conversion is I₀, P₀, P₁, P₂, P_ThreeGOP0 and I consisting of₁, P_Four, P_Five, P₆, P₇It is comprised from GOP1 which consists of.
[0124]
Here, according to the equation (27), P₁Suppose a scene change is detected. At this time, assuming that the scene change is included in the pre-conversion GOV0, the I-VOP I-VOP existing at the head of GOV1₁Is P-VOP P_FourAnd GOV0 and GOV1 are integrated into one GOV. That is, as shown in C of FIG. 2, the converted output MPEG4 image compression information (bit stream) is I₀, P₀, P₁, P₂, P_Three, P_Four, P_Five, P₆, P₇, P₈It is comprised from GOV0 which consists of. Note that P in C of FIG._Four, P_Five, P₆,... Are I in B of FIG.₁, P_Four, P_FiveIt corresponds to the position of.
[0125]
FIG. 3 shows a series of operation flows in the scene change detection unit 25 and the GOV structure conversion unit 26. In order to realize this operation, the compressed information analysis unit 17 needs to realize a delay of 2 GOV.
[0126]
In the first step S <b> 31, the scene change detection unit 25 reads the complexity information for each frame in the GOV from the complexity calculation unit 24.
[0127]
In step S32, the scene change detection unit 25 checks whether or not a scene change is included in the GOV, and branches the processing procedure according to the result.
[0128]
That is, when the scene change is included in the GOV, the process proceeds to step S33, but when the GOV does not include a scene change, the process proceeds to step S34.
[0129]
In step S <b> 33, the GOV structure conversion unit 26 converts the GOV structure according to the scene change detected by the scene change detection unit 25.
[0130]
In step S34, the MPEG4 image information encoding unit (I / P-VOP) 20 performs encoding into MPEG4 image compression information (bitstream). Here, if the GOV structure is converted in step S33, the encoding is performed accordingly.
[0131]
Through such a series of processing, even if the input MPEG2 image compression information (bit stream) has a fixed GOV structure, the output MPEG4 image compression information (bit stream) can be variable. This will be described with reference to FIG. In FIG. 4, it is assumed that the scene change detection device 25 detects that there is a scene change in the GOV 1 and the GOV 6 in the fixed GOV structure before conversion. That is, in FIG. 4A, the scene change detector 35 detects a scene change in GOV1 and GOV6 among the fixed GOV structures GOV1, GOPV2, GOV3, GOV4, GOV5, GOV6, GOV7, and GOV8 before conversion. To do.
[0132]
In this case, by integrating GOV1 and GOV2, and GOV6 and GOV7, respectively, as shown in FIG. 4B, it is converted into a GOV structure such as GOV0, GOV1, GOV2, GOV3, GOV4, GOV5, and GOV6. After the conversion, GOV1 and GOV5 have a length twice that of other GOVs. That is, this MPEG4 image compression information (bit stream) has a variable GOV structure.
[0133]
Here, the converted GOV2, GOV3, GOV4, and GOV6 shown in B of FIG. 4 respectively correspond to the positions of GOV3, GOV4, GOV5, and GOV8 before the conversion shown in A of FIG.
[0134]
Note that in order to convert an I-VOP to a P-VOP, motion vector information for the frame is required. For this reason, all the motion vectors for the frame are set to 0, or the motion vector may be detected using the motion vector detection device 22, but the motion vector information in the preceding and following P-VOPs is used. Is also possible. Further, in order to calculate the target code amount (target bit) for the VOP based on the equation (25), it is necessary to estimate the complexity for the VOP converted from the I-VOP to the P-VOP. An example of processing for this is shown in FIG. In FIG.₀, P₀, P₁, P₂, P_ThreeGOV0 and I consisting of₁, P_Four, P_Five, P₆, P₇A GOV1 consisting of is illustrated.
[0135]
FIG. 5A shows an example when a scene change is detected in a P-VOP other than the last P-VOP in the GOV. That is, here the GOV P₁Assume that a scene change has been detected at. I in this case₁The motion vector information for P_ThreeOr P_FourThe motion vector information used in the above is used as it is, or P_ThreeOr P_FourBased on the motion vector information used in the above, the motion vector detection device 22 is used to improve the accuracy of the motion vector information. Alternatively, for each macroblock, P_ThreeOr P_FourThe case where the prediction is performed using the motion vector information used in the above and the case where the prediction is performed with the motion vector set to 0 may be compared to select the one having the higher coding efficiency.
[0136]
For complexity, P is the previous P-VOP._ThreeOr P which is the P-VOP just after_FourComplexity X used in_p3Or X_p4May be used as is. Or you may use the average value of both given by the following formula | equation (28).
[0137]
[31]

[0138]
Or you may use the average value with respect to all the P-VOPs after the scene change given by the following formula | equation (29).
[0139]
[Expression 32]

[0140]
Original I-VOP Complexity X_i1And X_pkAn estimated value of complexity for the VOP may be calculated from (k = 2,..., 7).
[0141]
FIG. 5B shows an example when a scene change is detected in the last P-VOP in the GOV. That is, here P of GOV0_ThreeAssume that a scene change has been detected at. At this time, P which is the immediately preceding P-VOP_ThreeThe motion vector information at₁It is considered that the correlation with the motion vector information when converting to P-VOP is low. Therefore, the P-VOP immediately after P_FourThe motion vector information in is used as it is. Or P_FourBased on the motion vector information used in the above, the motion vector detection device 22 is used to improve the accuracy of the motion vector information. Alternatively, for each macroblock, P_FourThe case where the prediction is performed using the motion vector information used in the above and the case where the prediction is performed with the motion vector set to 0 may be compared to select the one having the higher coding efficiency.
[0142]
As for complexity, P_ThreeComplexity X_p3And I₁It is considered that the correlation between the complexity X and the P-VOP is low. So P_FourComplexity X_p4Or the average value for all P-VOPs after the scene change given by the following equation (30).
[0143]
[Expression 33]

[0144]
Or the original I-VOP complexity X_i1And X_pkAn estimated value of complexity for the VOP may be calculated from (k = 4,..., 7).
[0145]
Next, an image information conversion apparatus according to a second embodiment to which the present invention is applied will be described with reference to FIG.
[0146]
This image information conversion apparatus includes a picture type determination unit 27, a compression information analysis unit 28, an MPEG2 image information decoding unit (I / P picture) 29, a thinning unit 30, and an MPEG4 image information encoding unit (I / P). P-VOP) 31, a motion vector synthesis unit 32, a motion vector detection unit 33, an information buffer 34, a complexity calculation unit 35, a scene change detection unit 36, and a GOV structure conversion unit 37. ing.
[0147]
The difference between the image information conversion apparatus shown in FIG. 6 and the image information conversion apparatus shown in FIG. 1 is the input calculated by the complexity calculation apparatus 34 in the image information conversion apparatus shown in FIG. While scene change detection is performed based on the complexity for each frame in the image compression information (bitstream), in the image compression information analysis apparatus shown in FIG. The point is that scene change detection is performed based on information extracted by the analysis device 28. For example, in the compressed information analysis device 28, the number N of intra macroblocks in a P picture_intraAnd this is a predetermined threshold value N_thresholdOn the other hand, when the relationship given by the following equation (31) holds, the subsequent processing is performed assuming that a scene change has been detected.
[0148]
[Expression 34]

[0149]
Next, an image information conversion apparatus according to a third embodiment to which the present invention is applied will be described with reference to FIG.
[0150]
The image information conversion apparatus includes a picture type determination unit 38, a compression information analysis unit 39, an MPEG2 image information decoding unit (I / P picture) 40, a thinning unit 41, a frame buffer 42, and an MPEG4 image information code. (I / P-VOP) 43, motion vector synthesis unit 44, motion vector detection unit 45, information buffer 46, complexity calculation unit 47, scene change detection unit 48, and GOV structure conversion unit 49.
[0151]
The difference between the image information conversion apparatus shown in FIG. 7 and the image information conversion apparatus shown in FIG. 1 is the input calculated by the complexity calculation apparatus 34 in the image information conversion apparatus shown in FIG. While scene change detection is performed based on the complexity of each frame in the compressed image information (bitstream), in the image information conversion apparatus shown in FIG. Scene change detection is performed based on the stored image information. That is, for example, a feature amount (for example, an average value of pixels, a variance value, etc.) α of one frame in the baseband is calculated, and α is a feature amount one frame before._prev, And a predetermined threshold value α_thresholdOn the other hand, when the relationship given by equation (32) holds, the subsequent processing is performed assuming that a scene change is detected.
[0152]
[Expression 35]

[0153]
As described above, MPEG2 image compression information (bit stream) is used as an input and MPEG4 image compression information (bit stream) is used as an output. However, input and output are not limited to this. It may be image compression information (bit stream) such as H.263.
[0154]
【The invention's effect】
As described above, according to the present invention, MPEG2 image compression information (bitstream) for interlaced scanning is input, and MPEG4 image is based on the complexity for each frame in the input MPEG2 image compression information (bitstream). When the amount of code is controlled by the information encoding unit, for the GOV in which a scene change is detected, the GOV structure is converted by converting the first I-VOP in the immediately following GOV to the P-VOP. The present invention provides means for reducing the image quality deterioration in the GOV, and converting and outputting to MPEG4 image compression information (bitstream) for progressive scanning in a state where the code amount allocation for each frame is optimized for the image. .
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image information conversion apparatus according to a first embodiment.
FIG. 2 is a diagram for explaining an operation principle in a scene change detection unit and a GOV structure conversion unit.
FIG. 3 is a flowchart showing a series of operations in a scene change detection unit and a GOV structure conversion unit.
FIG. 4 is a diagram illustrating conversion from a fixed GOV structure to a variable OPV structure.
FIG. 5 is a diagram showing processing for converting I-VOP to P-VOP in FIG. 6;
FIG. 6 is a block diagram illustrating a configuration of an image information conversion apparatus according to a second embodiment.
FIG. 7 is a block diagram illustrating a configuration of an image information conversion apparatus according to a third embodiment.
FIG. 8 is a block diagram showing a configuration of a conventional image information conversion apparatus.
FIG. 9 is a flowchart showing an operation principle of a code amount control system described in MPEG2 Test Mode 1 5 (ISO / IEC JTC1 / SC29 / WG11 N0400).
FIG. 10 is a diagram showing a configuration of an image information conversion apparatus proposed by the present applicant.
11 is a flowchart showing an operation of code amount control in the image information conversion apparatus of FIG.
FIG. 12 is a diagram showing a pSNR when “Table Tennis”, which is one of CCIR test sequences, is converted into MPEG4 image compression information (bitstream) by the MPEG2 encoding method.
[Explanation of symbols]
16 picture type determination unit, 17 compression information analysis unit, 18 MPEG2 image information decoding unit (I / P picture), 19 decimation unit, 20 MPEG4 image information encoding unit (I / P-VOP), 21 motion vector synthesis unit , 22 Motion vector detection unit, 23 Information buffer, 24 Complexity calculation unit, 25 Scene change detection unit, 26 GOV structure conversion unit

Claims (16)

In an image information conversion apparatus for converting input image compression information of interlaced scanning compressed by a first compression encoding method into output image compression information of sequential scanning compressed by a second compression encoding method.
The image group of the input image compression information and the output image compression information includes an intra encoded image encoded within a frame, a forward prediction encoded image encoded with reference to a forward direction in a display order, and a display order. Including a bi-predictive encoded image encoded with reference to the forward and reverse directions,
The input image compression information and the output image compression information are configured in units of an image group composed of a plurality of encoded images,
Scene change detection means for detecting a scene change in the output image compression information;
Complexity detection means for detecting the complexity of each frame of the input image compression information;
The output image compression information according to the scene change detected by the scene change detection means when allocating the code amount of the image information to the output image compression information based on the complexity detected by the complexity detection means. Conversion means for converting the structure of the image group in
The converting means includes delay means for delaying image information for a time corresponding to two image groups of the output image compression information, and in the output image compression information, an image group immediately after an image group including a scene change. Is converted into a forward prediction encoded image,
Motion vector information for converting the intra-coded image into a forward-predicted encoded image is obtained using motion vector information in forward-predicted encoded images before and after the intra-coded image, and the intra code Information conversion apparatus that obtains complexity when converting an encoded image into a forward prediction encoded image by using the complexity of the forward prediction encoded images before and after the intra encoded image . In an image information conversion apparatus for converting input image compression information of interlaced scanning compressed by a first compression encoding method into output image compression information of sequential scanning compressed by a second compression encoding method.
The image group of the input image compression information and the output image compression information includes an intra encoded image encoded within a frame, a forward prediction encoded image encoded with reference to a forward direction in a display order, and a display order. Including a bi-predictive encoded image encoded with reference to the forward and reverse directions,
The input image compression information and the output image compression information are configured in units of an image group composed of a plurality of encoded images,
Scene change detection means for detecting a scene change in the output image compression information;
Complexity detection means for detecting the complexity of each frame of the input image compression information;
The output image compression information according to the scene change detected by the scene change detection means when allocating the code amount of the image information to the output image compression information based on the complexity detected by the complexity detection means. Conversion means for converting the structure of the image group in
The conversion means converts, in the output image compression information, an intra encoded image at the head of an image group immediately after an image group including a scene change into a forward prediction encoded image,
Motion vector information for converting the intra-coded image into a forward-predicted encoded image is obtained using motion vector information in forward-predicted encoded images before and after the intra-coded image, and the intra code Information conversion apparatus that obtains complexity when converting an encoded image into a forward prediction encoded image by using the complexity of the forward prediction encoded images before and after the intra encoded image .   The image information conversion apparatus according to claim 2, further comprising: a determination unit that allows the intra-coded image and the forward prediction encoded image to pass through the input image compression information but discards the bidirectional predictive encoded image. The image information conversion apparatus according to claim 2 , wherein the conversion means includes delay means for delaying image information over a time corresponding to two image groups of the output image compression information. The scene change detection means, the image information converting apparatus according to claim 2, wherein detecting the scene change by using the complexity of each frame of the detected said input image compression information in the complexity detecting means. 6. The image information conversion apparatus according to claim 5 , wherein the scene change detection means determines that a scene change has been detected in a forward prediction encoded image when the following expression is established.

However, the complexity for the forward predictive encoded image is X _p , the complexity for the first intra encoded image of the image group including the forward predictive encoded image is X _i, and a preset threshold is X _threshold And When the input image compression information is decoded, the scene change detection means detects a scene change based on information obtained by analyzing the input image compression information. The image information conversion apparatus according to claim 2, wherein it is determined that a scene change has been detected in the digitized image.

However, for the pixel blocks constituting each image of the output image compression information, the number of pixel blocks encoded in the frame is N _intra and the preset threshold is N _threshold .   3. The image information conversion apparatus according to claim 2, further comprising a frame buffer for storing image information of one frame, wherein the scene change detection means detects a scene change from the image information stored in the frame buffer. 9. The image information conversion apparatus according to claim 8 , wherein the scene change detection means determines that a scene change has been detected in a forward prediction encoded image when the following expression is established.

However, a feature amount of one frame is α, a feature amount of one frame before is α _prev, and a preset threshold value is α _threshold . The image information conversion apparatus according to claim 9 , wherein the feature amount is an average value or a variance value of pixel values.   When a scene change is detected in the forward predictive encoded image other than the forward predictive encoded image located immediately before the intra encoded image by the scene change detection means in the image group constituting the output image compression information. Motion vector information obtained when motion vector information is obtained based on motion vector information in a forward prediction encoded image immediately before or after the intra encoded image, and the intra encoded image is converted into a forward predicted encoded image The image information conversion apparatus according to claim 2, wherein the image information conversion apparatus is used as an image information conversion apparatus.   When a scene change is detected in the forward predictive encoded image other than the forward predictive encoded image located immediately before the intra encoded image by the scene change detection means in the image group constituting the output image compression information. For each pixel block composed of a plurality of pixels, the encoding efficiency of the motion vector information in the forward prediction encoded image immediately before or immediately after the intra encoded image and the motion vector is 0 The image information conversion apparatus according to claim 2, wherein an image having a good quality is used as motion vector information when the intra-coded image is converted into a forward prediction encoded image.   Immediately after the intra coded image when a scene change is detected in the forward predictive coded image located immediately before the intra coded image by the scene change detection means in the image group constituting the output image compression information. The image information conversion according to claim 2, wherein motion vector information is obtained based on motion vector information in a forward prediction encoded image and used as motion vector information when the intra encoded image is converted into a forward prediction encoded image. apparatus. In an image information conversion method for converting input image compression information of interlaced scanning compressed by a first compression encoding method into output image compression information of sequential scanning compressed by a second compression encoding method,
The image group of the input image compression information and the output image compression information includes an intra encoded image encoded within a frame, a forward prediction encoded image encoded with reference to a forward direction in a display order, and a display order. Including a bi-predictive encoded image encoded with reference to the forward and reverse directions,
The input image compression information and the output image compression information are configured in units of an image group composed of a plurality of encoded images,
A scene change detection step for detecting a scene change in the output image compression information;
A complexity detection step of detecting the complexity of each frame of the input image compression information;
When the code amount of the image information is allocated to the output image compression information based on the complexity detected in the complexity detection step, the output image compression is performed according to the scene change detected in the scene change detection step. A conversion step of converting the structure of the image group in the information,
In the output image compression information, the conversion step converts the first intra encoded image of the image group immediately after the image group including the scene change into a forward prediction encoded image,
Motion vector information for converting the intra-coded image into a forward-predicted encoded image is obtained using motion vector information in forward-predicted encoded images before and after the intra-coded image, and the intra code Information conversion method for obtaining complexity at the time of converting an encoded image into a forward predictive encoded image by using the complexity in the forward predictive encoded images before and after the intra encoded image . The image information obtained by decoding the interlaced scan input image compression information compressed by the first compression encoding method is encoded into the progressive scan output image compression information compressed by the second compression encoding method. In the encoding device,
The image group of the input image compression information and the output image compression information includes an intra encoded image encoded within a frame, a forward prediction encoded image encoded with reference to a forward direction in a display order, and a display order. Including a bi-predictive encoded image encoded with reference to the forward and reverse directions,
The input image compression information and the output image compression information are configured in units of an image group composed of a plurality of encoded images,
Receiving means for receiving a scene change obtained by detecting a scene change in the output image compression information;
Complexity detection means for detecting the complexity of each frame of the input image compression information;
When allocating the code amount of the image information to the output image compression information based on the complexity detected by the complexity detection means, an image group in the output image compression information according to a scene change from the receiving means Conversion means for converting the structure of
The conversion means converts, in the output image compression information, an intra encoded image at the head of an image group immediately after an image group including a scene change into a forward prediction encoded image,
Motion vector information for converting the intra-coded image into a forward-predicted encoded image is obtained using motion vector information in forward-predicted encoded images before and after the intra-coded image, and the intra code The encoding apparatus which calculates | requires the complexity at the time of converting a conversion image into a forward prediction encoding image using the complexity in the forward prediction encoding image before and behind the said intra encoding image . The image information obtained by decoding the interlaced scan input image compression information compressed by the first compression encoding method is encoded into the progressive scan output image compression information compressed by the second compression encoding method. In the encoding method,
The image group of the input image compression information and the output image compression information includes an intra encoded image encoded within a frame, a forward prediction encoded image encoded with reference to a forward direction in a display order, and a display order. Including a bi-predictive encoded image encoded with reference to the forward and reverse directions,
The input image compression information and the output image compression information are configured in units of an image group composed of a plurality of encoded images,
A receiving step of receiving a scene change obtained by detecting a scene change in the output image compression information;
A complexity detection step of detecting the complexity of each frame of the input image compression information;
When distributing the code amount of the image information to the output image compression information based on the complexity detected in the complexity detection step , the image in the output image compression information according to the scene change from the reception step A conversion process for converting the structure of the group,
In the conversion step, in the output image compression information, the first intra encoded image of the image group immediately after the image group including the scene change is converted into a forward prediction encoded image,
Motion vector information for converting the intra-coded image into a forward-predicted encoded image is obtained using motion vector information in forward-predicted encoded images before and after the intra-coded image, and the intra code Coding method for obtaining complexity when converting a coded image into a forward prediction coded image by using the complexity of forward predicted coded images before and after the intra coded image .

Images