JP4846504B2 - 動画像符号化装置、プログラム及び動画像符号化方法 - Google Patents

Description

本発明は、動画像符号化装置、プログラム及び動画像符号化方法、特に、画面内予測モード又は画面間予測モードを用いて符号化を行なう動画像符号化装置、プログラム及び動画像符号化方法に関する。

現在、通信・放送・蓄積などの各種用途において、デジタル化された動画像情報を高効率に圧縮する動画像符号化方式が標準規格として普及している。非特許文献１や非特許文献２には、標準規格化された動画像符号化方式の例が記載されている。
非特許文献１や非特許文献２をはじめとする符号化方式では、符号化の単位となる画像はフレーム画像又はフィールド画像であり、フレーム画像は２枚のフィールド画像から構成されることがある。

図１３は、従来の動画像再符号化装置５００の構成を示すブロック図である。動画像再符号化装置５００は、ピクチャタイプ判別部５０１、符号化情報解析部５０２、符号化情報復号部５０３、間引き部５０４、ビデオメモリ５０５、画像情報符号化部５０６、動きベクトル合成部５０７、動きベクトル検出部５０８、情報バッファ５０９、コンプレキシティ算出部５１０、シーンチェンジ検出部５１１、ＧＯＰ構造決定部５１２を備えている。
動画像再符号化装置５００は、入力される第１の符号化動画像情報を、水平及び垂直方向の画素数の間引きとフレームレートの削減を施した上で、第２の符号化動画像情報に再符号化して出力する。

ピクチャタイプ判別部５０１は、第１の符号化動画像情報についてピクチャタイプの判別とＢピクチャの破棄を行なう。符号化情報解析部５０２は、第１の符号化動画像を解析して、動きベクトル、量子化幅、符号量を取得し出力する。
符号化情報復号部５０３は、第１の符号化動画像情報を復号してフレーム画像を出力する。間引き部５０４は、フレーム画像の画素を間引いて縮小する。ビデオメモリ５０５は、入力された画像を蓄積する。
画像情報符号化部５０６は、第２の符号化方式を用いて画像を符号化する。符号量の制御には後述のコンプレキシティを用いる。動きベクトル合成部５０７は、第１の符号化動画像情報で用いられた動きベクトルから、再符号化に用いる動きベクトルを合成する。
動きベクトル検出部５０８は、与えられた動きベクトルに基づいてより高精度な動きベクトルを検出する。情報バッファ５０９は、量子化幅と符号量を蓄積する。コンプレキシティ算出部５１０は、符号量と量子化幅の積であるコンプレキシティの算出及び推定を行なう。
シーンチェンジ検出部５１１は、コンプレキシティの変動量によってフレーム画像間のシーンチェンジを検出する。ＧＯＰ構造決定部５１２は、フレーム毎にピクチャタイプを選択し、ＧＯＰの構造を決定する。
この動画像再符号化装置５００では、ピクチャタイプ判別部５０１に入力される第１の符号化動画像情報を符号化情報復号部５０３が復号化し、その第１の符号化動画像情報を構成する各フレーム画像を、画像情報符号化部５０６で第２の符号化動画像情報に再符号化する。

動画像再符号化装置５００では、再符号化の際にＢピクチャを破棄することから、そのままでは再符号化後の動画像では相対的にＩピクチャの使用頻度が増えて符号化効率が低下してしまう。このためＧＯＰ構造決定部５１２は符号化効率の低下を防ぐ目的で、Ｉピクチャである一部のフレーム画像を、Ｉピクチャよりも符号化効率の良いＰピクチャに変更する。ただし、再符号化対象のフレーム画像の直前でシーンチェンジが検出された場合には、Ｐピクチャに変更しないことを決定し、画質劣化を軽減する。

以上のようにして、特許文献１に記載の従来技術による画像再符号化装置５００は、フレーム画像間のシーンチェンジに起因する画質劣化を軽減しつつ、第１の符号化動画像情報から第２の符号化動画像情報へと再符号化を行なう。
また、特許文献２には、再符号化において再符号化対象のピクチャの近隣ピクチャにおける動きベクトルを用いて再符号化対象のピクチャの動きベクトルを推定する技術が開示されている。また、非特許文献３には、画像間差分の非類似度に基づくシーンチェンジの検出方法の技術が開示されている。
特開２００２−１５２７５９号公報 特開２０００−１６５８８７号公報 ＩＳＯ／ＩＥＣ １３８１８−２ ＩＳＯ／ＩＥＣ １４４９６−１０ 特許庁標準技術集「映像ショット切り換え検出手法」（http://www.jpo.go.jp/shiryou/s_sonota/hyoujun_gijutsu/bidirectional_video/111_15.htm）

特許文献１に記載されている技術では、フレーム画像が２枚のフィールド画像から構成されている場合、フィールド画像の間には時刻の差があるためにシーンチェンジが起こり得る。

図１４（ａ）及び図１４（ｂ）は、動画像にシーンチェンジが起こる場合について説明するための図である。
図１４（ａ）では、時間の経過とともに、フレーム画像が４１、４２、４３と変化している。フレーム画像４２は、フレーム画像４２の奇数ラインの画像からなるフィールド画像４２１と、フレーム画像４２の偶数ラインの画像からなるフィールド画像４２２とからなる。フレーム画像４１はシーンＡに属しており、フレーム画像４２、４３はシーンＢに属している。フレーム画像４１とフレーム画像４２との間で、シーンＡからシーンＢへ変化するシーンチェンジが起こっている。このようなシーンチェンジを、以降ではフレーム間シーンチェンジと呼ぶ。

図１４（ｂ）では、時間の経過とともに、フレーム画像が４４、４５、４６と変化している。フレーム画像４５は、フレーム画像４５の奇数ラインの画像からなるフィールド画像４５１と、フレーム画像４５の偶数ラインの画像からなるフィールド画像４５２とからなる。フレーム画像４４はシーンＡに属しており、フレーム画像４５はシーンＡ＋Ｂに属しており、フレーム画像４６はシーンＢに属している。フレーム画像４５のシーンＡ＋Ｂで、シーンチェンジが起こっている。このようなシーンチェンジを、以降ではフレーム内シーンチェンジと呼ぶ。
図１４（ａ）及び図１４（ｂ）に示すフレーム画像は、第１の符号化動画像情報の一部であり、フレーム画像４２とフレーム画像４５がともにＩピクチャである。

従来技術では、シーンチェンジを行なうフレーム画像４２（図１４（ａ）参照）及びフレーム画像４５（図１４（ｂ）参照）を再符号化する際に、当該フレーム画像全体をＩピクチャのフレーム画像として符号化している。このとき、フィールド画像単位でみれば、フィールド画像４２２は、フィールド画像４２１と相関が高いにも関わらず画面間予測モードを利用せず、画面内予測モードを用いている。
一方、フィールド画像４５１は、フレーム画像４４と相関が高いにもかかわらず画面間予測モードを利用せず、画面内予測モードを用いている。いずれの場合においても、従来技術では、シーンチェンジが存在する動画像を再符号化する際に符号化効率が悪くなるという問題があった。

本発明は、上記事情に鑑みてなされたものであり、その目的は、シーンチェンジが含まれるフレーム画像の符号化効率を向上させることができる動画像符号化装置、プログラム及び動画像符号化方法を提供することにある。

本発明は、上記課題を解決するためになされたもので、本発明の動画像符号化装置は、１枚のフレーム画像を２枚のフィールド画像に変換するフレーム−フィールド変換部と、前記２枚のフィールド画像間にシーンの切り替わり点であるシーンチェンジが含まれているか否かを検出するシーンチェンジ検出部と、前記シーンチェンジ検出部の検出結果に基づいて前記２枚のフィールド画像のそれぞれを画面内予測モード又は画面間予測モードを用いて符号化する画像情報符号化部とを備える。
本発明では、１枚のフレーム画像を２枚のフィールド画像にフレーム−フィールド変換部が変換し、２枚のフィールド画像間にシーンの切り替わり点であるシーンチェンジが含まれているか否かをシーンチェンジ検出部が検出し、シーンチェンジ検出部の検出結果に基づいて２枚のフィールド画像のそれぞれを画面内予測モード又は画面間予測モードを用いて画像情報符号化部が符号化するようにしたので、２枚のフィールド画像のそれぞれに適した画面内予測モード又は画面間予測モードを用いて符号化することにより、情報量を１枚のフレーム画像よりも削減して符号化することができる。

また、本発明の動画像符号化装置の前記画像情報符号化部は、前記シーンチェンジ検出部がシーンチェンジを検出した場合に前記フレーム画像を２枚のフィールド画像として符号化する。
本発明では、２枚のフィールド画像間に相関がある場合に、情報量を１枚のフレーム画像よりも削減して符号化することができる。

また、本発明の動画像符号化装置は、前記シーンチェンジ検出部のシーンチェンジの検出結果に応じてフィールド画像毎に画面内予測モード又は画面間予測モードを選択してＧＯＰ構造を決定するＧＯＰ構造決定部を備え、前記画像情報符号化部は、前記ＧＯＰ構造決定部が選択した予測モードを用いて各フィールド画像を符号化する。
本発明では、ＧＯＰを構成するフィールド画像ごとに画面内予測モード又は画面間予測モードを選択して符号化するため、ＧＯＰを構成するフィールド画像間の相関を利用してＧＯＰの情報量を削減して符号化することができる。

また、本発明の動画像符号化装置の前記ＧＯＰ構造決定部は、前記シーンチェンジ検出部がシーンチェンジを検出した場合に、前記フレーム−フィールド変換部が変換するフレーム画像に用いられていた予測モードに応じて前記２枚のフィールド画像に用いる予測モードの組み合わせを選択する。
本発明では、フレーム画像に用いられていた予測モードに応じて、２枚のフィールド画像に用いる最適な予測モードの組み合わせを選択することにより、フレーム画像よりも情報量を削減して符号化することができる。

また、本発明の動画像符号化装置の前記ＧＯＰ構造決定部は、前記シーンチェンジ検出部がシーンチェンジを検出した場合に、シーンチェンジ前のフィールド画像に用いられていた予測モードを画面間予測モードとする。
本発明では、シーンチェンジ前のフィールド画像に用いられていた予測モードを画面間予測モードとすることにより、そのフィールド画像を他のフィールド画像から予測することができ、シーンチェンジ前のフィールド画像の情報量を削減して符号化することができる。

また、本発明の動画像符号化装置の前記フレーム−フィールド変換部は、前記シーンチェンジ検出部がシーンチェンジを検出した場合に、前記２枚のフィールド画像のうち一方のフィールド画像を、もう一方のフィールド画像との差分が減少するように変換する。
本発明では、２枚のフィールド画像のうち一方のフィールド画像を、もう一方のフィールド画像との差分が減少するように変換するので、一方のフィールド画像をもう一方のフィールド画像から容易に予測することができるようになり、フレーム画像を符号化する際の情報量を削減することができる。

また、本発明の動画像符号化装置の前記フレーム−フィールド変換部は、前記シーンチェンジ検出部がシーンチェンジを検出した場合に、前記２枚のフィールド画像のうち一方のフィールド画像を、もう一方のフィールド画像と同一のフィールド画像に変換する。
本発明では、２枚のフィールド画像のうち一方のフィールド画像を、もう一方のフィールド画像と同一のフィールド画像に変換するので、一方のフィールド画像の情報量を０にすることができるようになり、フレーム画像を符号化する際の情報量を削減することができる。

また、本発明の動画像符号化装置の前記画像情報符号化部は、前記シーンチェンジ検出部がシーンチェンジを検出した場合に、符号化対象のフレーム画像を構成しシーンチェンジ前のシーンに属するフィールド画像の符号化に用いられる平均量子化幅を、同一の予測モードで直前のフィールド画像の符号化に用いられる平均量子化幅よりも増加させる。
本発明では、符号化対象のフレーム画像を構成しシーンチェンジ前のシーンに属するフィールド画像の符号化に用いられる平均量子化幅を増加させて情報量を削減することにより、フレーム画像を符号化する際の情報量を削減することができる。

また、本発明の動画像符号化装置の前記画像情報符号化部は、前記シーンチェンジ検出部がシーンチェンジを検出した場合に、符号化対象のフレーム画像を構成しシーンチェンジ後のシーンに属するフィールド画像の符号化に用いられる平均量子化幅を、符号化対象のフレーム画像を構成しシーンチェンジ前のシーンに属するフィールド画像の符号化に用いられる平均量子化幅よりも小さくする。
本発明では、符号化対象のフレーム画像を構成しシーンチェンジ後のシーンに属するフィールド画像の符号化に用いられる平均量子化幅を小さくするようにしたので、シーンチェンジ前のシーンに属するフィールド画像に対して、シーンチェンジ後のシーンに属するフィールド画像の情報量を増加させることができる。

また、本発明のプログラムは、コンピュータに、１枚のフレーム画像を２枚のフィールド画像に変換する第１のステップと、前記２枚のフィールド画像間にシーンの切り替わり点であるシーンチェンジが含まれているか否かを検出する第２のステップと、前記シーンチェンジ検出部の検出結果に基づいて前記２枚のフィールド画像のそれぞれを画面内予測モード又は画面間予測モードを用いて符号化する第３のステップとを実行させる。

また、本発明の動画像符号化方法は、１枚のフレーム画像を２枚のフィールド画像に変換するフレーム−フィールド変換過程と、前記２枚のフィールド画像間にシーンの切り替わり点であるシーンチェンジが含まれているか否かを検出するシーンチェンジ検出過程と、前記シーンチェンジ検出部の検出結果に基づいて前記２枚のフィールド画像のそれぞれを画面内予測モード又は画面間予測モードを用いて符号化する画像情報符号化過程とを有する。

本発明では、シーンチェンジが含まれるフレーム画像の符号化効率を向上させることができる。

以下、図面を参照し、本発明の実施形態について説明する。
図１は、２枚のフィールド画像ｆｌｄ１及びｆｌｄ２が、１枚のフレーム画像ｆｒｍを構成する例を示した図である。フレーム画像ｆｒｍの高さｈの半分の高さｈ／２である２枚のフィールド画像ｆｌｄ１とフィールド画像ｆｌｄ２とが、飛び越し走査でそれぞれフレーム画像ｆｒｍの奇数ラインと偶数ラインを占めるように交互に格納されている。このような構造をとる場合、フィールド画像ｆｌｄ１とフィールド画像ｆｌｄ２の映像の時刻は異なる。なお、図１のフィールド画像ｆｌｄ１は、映像の時刻の順序及び符号化の順序において、フィールド画像ｆｌｄ２よりも先の画像である。

符号化の対象としてのフレーム画像とフィールド画像は総称してピクチャと呼ばれ、ピクチャはマクロブロックと呼ばれる小領域に分割して符号化される。符号化の際には、予測符号化の方法、すなわち予測モードと、画質及び符号量を調節する値である量子化幅とをマクロブロック毎に選択できるのが一般的である。予測モードには、画面内予測モードと画面間予測モードの２種類がある。
画面内予測モードは、画素値の空間方向における相関性を利用した予測モードである。また、画面間予測モードは、画素値の時間方向における相関性を利用した予測モードである。マクロブロック毎に選択可能な予測モードの組み合わせは、ピクチャ毎にピクチャタイプとして選択する。ピクチャタイプには基本的にＩ・Ｐ・Ｂの３種類がある。

ピクチャタイプがＩであるピクチャはＩピクチャといい、画面内予測モードだけが用いられる。ピクチャタイプがＰであるピクチャはＰピクチャといい、Ｉピクチャと同じ画面内予測モードに加えて、予測元のデータとなる参照ピクチャが１枚の画面間予測モードを用いることができる。ピクチャタイプがＢであるピクチャはＢピクチャといい、Ｐピクチャと同じ予測モードに加えて、２枚の参照ピクチャによる画面間予測モードを用いることができる。
画面間予測モードが利用できるＰピクチャ及びＢピクチャは、過去に符号化済みのピクチャとの差分だけを符号化するため、符号化対象のピクチャと参照ピクチャとの相関が高いほど、効率の良い符号化が可能である。
後述する第１〜第３の実施形態では、画面間予測モードとしてＰピクチャを用い、画面内予測モードとしてＩピクチャを用いる場合について説明する。

図２は、ピクチャ間の相関性の例を示す図である。図２は、時間の経過とともに、フレーム画像が、ｆｒｍ１、ｆｒｍ２、ｆｒｍ３、ｆｒｍ４と変化する場合を示している。
同一のシーンに属するピクチャ間であれば、シーンの映像が大きく変化しない限りは高い相関があるが、参照ピクチャと符号化対象のピクチャが異なるシーンに属する場合には相関が低い。具体的に説明すると、フレーム画像ｆｒｍ１とフレーム画像ｆｒｍ２とは、円のパターンｍ１がフレーム画像内を移動している点で類似しており、相関が高い。また、フレーム画像ｆｒｍ３とフレーム画像ｆｒｍ４とは、四角形のパターンｍ２がフレーム画像内を移動している点で類似しており、相関が高い。一方、フレーム画像ｆｒｍ２とフレーム画像ｆｒｍ３とは、フレーム画像内に含まれるパターンが異なっており、相関が低い。
あるシーンから異なるシーンへの切り替わりをシーンチェンジといい、シーンチェンジを挟んだピクチャ間での画面間予測モードの利用は一般に符号化効率が低く画質の劣化につながるため、画面内予測モードを利用するのが望ましい。図２では、フレーム画像ｆｒｍ２とフレーム画像ｆｒｍ３との間で、シーンチェンジが起こっている。

一方、画面内予測モードのみを利用するＩピクチャは、上記を理由としてシーンチェンジ直後のピクチャの符号化において用いられるほか、一連のピクチャの集まりであるＧＯＰ（Group Of Picture）へのランダムアクセスを実現するために、ＧＯＰの先頭ピクチャの符号化においても用いられる。なお、従来の符号化方式の場合、フィールド画像単位で符号化する際にも、ＧＯＰはフレーム画像単位で構成されるため、ランダムアクセスもフレーム画像単位となる。しかし、フレーム画像内で先に符号化されるフィールド画像がＩピクチャでなければＧＯＰの先頭ピクチャとはならず、後に符号化されるフィールド画像がＩピクチャとして符号化されていても、そのフレーム画像にはランダムアクセスが不可能である。

ところで、所定の第１の符号化方式によって符号化された第１の動画像情報を、所定の第２の符号化方式によって符号化された第２の動画像情報に変換する処理を一般に、動画像の再符号化という。再符号化は、より符号化効率の高い符号化方式を用いて符号量を削減するほか、解像度の変換や、通信・放送・蓄積機器の仕様への適合などを目的として行われる。いずれの目的にしても、再符号化による画質劣化はできるだけ回避することが好ましい。

（第１の実施形態）
図３は、本発明の第１の実施形態における動画像再符号化装置１００（動画像符号化装置とも称する）の構成を示すブロック図である。この動画像再符号化装置１００は、動きベクトル合成部１０１、フレーム−フィールド変換部１０２、画像情報符号化部１０３、フレーム内シーンチェンジ検出部１０４、ＧＯＰ構造決定部１０５、ピクチャタイプ判別部２０１、符号化情報解析部２０２、符号化情報復号部２０３、ビデオメモリ２０５、動きベクトル検出部２０８、情報バッファ２０９、コンプレキシティ算出部２１０を備えている。

動画像再符号化装置１００は、第１の符号化方式によるフレーム構造の第１の符号化動画像情報を入力として受け取り、フレーム内シーンチェンジが含まれるフレーム画像に対応して適切な符号化パラメータを選択し、第２の符号化方式によるフィールド構造の第２の符号化動画像情報を出力する。
なお、第１の符号化方式とは、画面内符号化モードと画面間符号化モードがピクチャ毎に選択できる方式であり、例えば、ＩＳＯ／ＩＥＣ １３８１８−２に規定されている方式を用いることができる。
また、第２の符号化方式とは、フィールド画像単位での符号化ができる方式であり、例えば、ＩＳＯ／ＩＥＣ １４４９６−１０に規定されている方式を用いることができる。
なお、第１の符号化方式と第２の符号化方式とで同じ符号化方式を用いてもよい。

動きベクトル合成部１０１は、符号化情報解析部２０２が出力する第１の符号化方式における動きベクトルから、第２の符号化方式の動きベクトルを合成し、動きベクトル検出部２０８に出力する。動きベクトルとは、符号化を行なったフレーム画像を参照することにより、次に符号化するフレーム画像を予測したときの空間的なずれをいう。
フレーム−フィールド変換部１０２は、ビデオメモリから出力されるフレーム構造の画像情報をフィールド構造に変換し、フレーム−フィールド変換部１０２に出力する。
画像情報符号化部１０３は、フレーム−フィールド変換部１０２から出力されるフィールド画像に対して、第２の符号化方式を用いて符号化し、動画像再符号化装置１００の外部に出力する。
フレーム内シーンチェンジ検出部１０４は、フレーム−フィールド変換部１０２から出力されるフィールド画像に基づいて、フレーム内シーンチェンジの有無を検出し、その検出結果であるシーンチェンジフラグをＧＯＰ構造決定部１０５に出力する。
ＧＯＰ構造決定部１０５は、フレーム内シーンチェンジ検出部１０４が出力するシーンチェンジフラグに基づいてピクチャタイプを選択してＧＯＰの構造を決定し、そのピクチャタイプを画像情報符号化部１０３に出力する。

ピクチャタイプ判別部２０１は、動画像再符号化装置１００に入力される第１の符号化動画像情報に含まれるフレーム画像のピクチャタイプを判別し、Ｂピクチャを破棄する。ピクチャタイプ判別部２０１は、第１の符号化動画像情報を符号化情報解析部２０２に出力するとともに、判別したピクチャタイプをＧＯＰ構造決定部１０５に出力する。なお、ピクチャタイプ判別部２０１は、フレームレートの変換を行わない場合には、Ｂピクチャの破棄を行わない。この場合、符号化情報復号部２０３には、Ｂピクチャの復号機能が設けられる。

動きベクトル合成部１０１は、符号化情報解析部２０２が出力する第１の符号化方式に対する動きベクトルを、第２の符号化方式における動きベクトルに適合するよう変換し、動きベクトル検出部２０８に出力する。また、動きベクトル合成部１０１は、フレーム画像に対する動きベクトルからフィールド画像に対する動きベクトルへの変換を行なう。
フレーム−フィールド変換部１０２は、フレーム画像とフィールド画像の関係に基づいてフレーム画像を飛び越し走査し、フレーム画像の奇数ラインと偶数ラインそれぞれのみから成る２枚のフィールド画像に変換し、画像情報符号化部１０３に出力する。

画像情報符号化部１０３は、第１の符号化動画像情報を用いて符合化された１枚のフレーム画像を、第２の符号化方式を用いて２枚のフィールド画像として符号化し、動画像再符合化装置１００の外部に出力する。２枚のフィールド画像に適用するピクチャタイプはそれぞれ、ＧＯＰ構造決定部１０５が選択するピクチャタイプｐｔ１及びピクチャタイプｐｔ２である。２枚のフィールド画像を符号化するために、符号量の制御はフィールド画像毎に行われる。符号量の制御には後述のコンプレキシティを用いる。

フレーム内シーンチェンジ検出部１０４は、画像間差分の非類似度に基づくシーンチェンジの検出方法を使用して、フレーム画像内の２枚のフィールド画像にシーンチェンジが含まれているか否かについて検出する。なお、フレーム内シーンチェンジ検出部１０４は、画像間差分の非類似度に基づくシーンチェンジの検出方法以外の方法を使用して、２枚のフィールド画像にシーンチェンジが含まれているか否かについて検出してもよい。
具体的には、フレーム内シーンチェンジ検出部１０４は、２枚のフィールド画像の非類似度が所定の閾値よりも大きい場合には２枚のフィールド画像間にシーンチェンジが存在すると判定し、真のシーンチェンジフラグｓｃをＧＯＰ構造決定部１０５に出力する。一方、２枚のフィールド画像の非類似度が所定の閾値以下である場合には２枚のフィールド画像間にシーンチェンジが存在しないと判定し、偽のシーンチェンジフラグｓｃをＧＯＰ構造決定部１０５に出力する。

ＧＯＰ構造決定部１０５は、ピクチャタイプ判別部２０１が出力するピクチャタイプｐｔと、フレーム内シーンチェンジ検出部１０４が出力するシーンチェンジフラグｓｃとに基づいて、２枚のフィールド画像のうち一方のフィールド画像に適用するピクチャタイプｐｔ１と、他方のフィールド画像に適用するピクチャタイプｐｔ２を選択し、画像情報符号化部１０３に出力する。

図４は、本発明の実施形態によるＧＯＰ構造決定部１０５の処理を示すフローチャートである。始めに、ＧＯＰ構造決定部１０５は、ピクチャタイプ判別部２０１（図３）が出力するピクチャタイプがＩピクチャであるか否か、つまり、ｐｔ＝Ｉであるか否かについて判定する（ステップＳ１０）。
ステップＳ１０でピクチャタイプがＩピクチャである場合（ｐｔ＝Ｉ）には、ＧＯＰ構造決定部１０５（図３）は、フレーム内シーンチェンジ検出部１０４が出力するシーンチェンジフラグが真であるか偽であるか否か、つまり、ｓｃ＝ｔｒｕｅであるか否かについて判定する（ステップＳ１１）

ＧＯＰ構造決定部１０５は、フレーム内シーンチェンジ検出部１０４がシーンチェンジを検出した場合（ｓｃ＝ｔｒｕｅ）に、フレーム−フィールド変換部１０２が変換するフレーム画像に用いられていたピクチャタイプに応じて２枚のフィールド画像に用いるピクチャタイプの組み合わせを選択する。具体的には、ＧＯＰ構造決定部１０５は、シーンチェンジ検出部１０２がシーンチェンジを検出した場合に、シーンチェンジ前のフィールド画像に用いられていたピクチャタイプをＰピクチャとする。
つまり、ステップＳ１１でシーンチェンジフラグが真である場合（ｓｃ＝ｔｒｕｅ）は、再符号化対象のフレーム画像ｆｒｍ内にシーンチェンジが含まれている場合であり、フレーム画像内に２つのシーンが存在している。この場合、フィールド画像ｆｌｄ１は、同じシーンに属する時間的に前方のピクチャを参照ピクチャとして画面間予測モードを用いると、符号化効率を高めることができる。これに対してシーンチェンジ後のシーンの最初の画像であるフィールド画像ｆｌｄ２は、時間的に前のピクチャから予測することが難しいために画面内予測モードを用いる。
つまり、ＧＯＰ構造決定部１０５は、フィールド画像ｆｌｄ１に適用するピクチャタイプとしてＰピクチャを選択し、フィールド画像ｆｌｄ２に適用するピクチャタイプとしてＩピクチャを選択（ｐｔ１＝Ｐ，ｐｔ２＝Ｉ）する（ステップＳ１２）。

なお、ステップＳ１２において、フィールド画像ｆｌｄ２に適用するピクチャタイプとしてＰピクチャを選択し、各マクロブロックにおいて画面内予測モードを選択するようにしてもよい。
ここで、再符号化対象のフレーム画像ｆｒｍはＩピクチャであって動きベクトルを有しないため、フィールド画像ｆｌｄ１に対する新たな動きベクトルが必要となる。不足する動きベクトルに対しては、動きベクトル検出部２０８で動きベクトルを新規に検出してもよいし、他の方法を用いてもよい。すなわち、動きベクトルを他のピクチャの動きベクトルから推定するようにしてもよい。

ステップＳ１２の処理を行なった場合に、第１の符号化動画像情報においてランダムアクセスが可能であったフレーム画像ｆｒｍが、再符号化後にはランダムアクセスが不可能な画像となるときには、フィールド画像ｆｌｄ１に適用するピクチャタイプとしてＩピクチャを選択することにより、再符号化後もフレーム画像ｆｒｍへのランダムアクセスが可能となる。この場合には、フィールド画像ｆｌｄ１及びｆｌｄ２に適用するピクチャタイプを両方ともＩピクチャにすることによる符号化効率の低下を避けるため、後述の第３の実施形態を用いるとよい。

ステップＳ１１でシーンチェンジフラグが偽である場合（ｓｃ≠ｔｒｕｅ）は、フィールド画像ｆｌｄ１とフィールド画像ｆｌｄ２との間にはシーンチェンジが含まれず、フィールド画像ｆｌｄ１とフィールド画像ｆｌｄ２との間に高い相関があるため、フィールド画像ｆｌｄ２をフィールド画像ｆｌｄ１から予測すれば符号化効率を高めることができる。
したがって、フィールド画像ｆｌｄ１はＩピクチャとし、フィールド画像ｆｌｄ２は第１の符号化動画像情報におけるピクチャタイプであるＩを継承せずにＰピクチャとする（ｐｔ１＝Ｉ，ｐｔ２＝Ｐ）。つまり、ＧＯＰ構造決定部１０５は、フィールド画像ｆｌｄ１に適用するピクチャタイプとしてＩピクチャを選択し、フィールド画像ｆｌｄ２に適用するピクチャタイプとしてＰピクチャを選択する（ステップＳ１３）。

ステップＳ１０でピクチャタイプがＩピクチャではない場合（ｐｔ≠Ｉ）には、ＧＯＰ構造決定部１０５は、フィールド画像ｆｌｄ１に適用するピクチャタイプとして第１の符号化動画像情報におけるピクチャタイプを継続して選択し、フィールド画像ｆｌｄ２に適用するピクチャタイプとして第１の符号化動画像情報におけるピクチャタイプを継続して選択（ｐｔ１＝ｐｔ，ｐｔ２＝ｐｔ）する（ステップＳ１４）。

次に、図５及び図６を参照して、ＧＯＰ構造決定部１０５の動作例を説明する。
図５は、本発明の第１の実施形態による第１の符号化動画像情報の模式図である。図５では、時間の経過とともに、フレーム画像がＩ０、Ｐ１、Ｐ２、Ｉ３、Ｐ４、Ｐ５、Ｉ６、Ｐ７、Ｐ８と変化している。フレーム画像Ｉ０、Ｉ３、Ｉ６には、ピクチャタイプとしてＩピクチャが適用されており、ランダムアクセスが可能である。また、フレーム画像Ｐ１、Ｐ２、Ｐ４、Ｐ５、Ｐ７、Ｐ８には、ピクチャタイプとしてＰピクチャが適用されている。
フレーム画像Ｉ０、Ｐ１、Ｐ２は、フレーム画像の集まりであるＧＯＰ・ｇ１を構成している。同様に、フレーム画像Ｉ３、Ｐ４、Ｐ５はＧＯＰ・ｇ２を構成し、フレーム画像Ｉ６、Ｐ７、Ｐ８はＧＯＰ・ｇ３を構成している。

図６（ａ）〜図６（ｃ）は、本発明の第１の実施形態による第２の符号化動画像情報の模式図である。
図６（ａ）では、フィールド画像ｆｌｄ１に対応するピクチャを、Ｉ０ｔ、Ｐ１ｔ、Ｐ２ｔ、Ｉ３ｔ、Ｐ４ｔ、Ｐ５ｔ、Ｉ６ｔ、Ｐ７ｔ、Ｐ８ｔで示し、フィールド画像ｆｌｄ２に対応するピクチャを、Ｐ０ｂ、Ｐ１ｂ、Ｐ２ｂ、Ｐ３ｂ、Ｐ４ｂ、Ｐ５ｂ、Ｐ６ｂ、Ｐ７ｂ、Ｐ８ｂで示している。
また、図６（ｂ）では、フィールド画像ｆｌｄ１に対応するピクチャを、Ｉ０ｔ、Ｐ１ｔ、Ｐ２ｔ、Ｐ３ｔ、Ｐ４ｔ、Ｐ５ｔ、Ｉ６ｔ、Ｐ７ｔ、Ｐ８ｔで示し、フィールド画像ｆｌｄ２に対応するピクチャを、Ｐ０ｂ、Ｐ１ｂ、Ｐ２ｂ、Ｉ３ｂ、Ｐ４ｂ、Ｐ５ｂ、Ｐ６ｂ、Ｐ７ｂ、Ｐ８ｂで示している。
また、図６（ｃ）では、フィールド画像ｆｌｄ１に対応するピクチャを、Ｉ０ｔ、Ｐ１ｔ、Ｐ２ｔ、Ｉ３ｔ、Ｐ４ｔ、Ｐ５ｔ、Ｉ６ｔ、Ｐ７ｔ、Ｐ８ｔで示し、フィールド画像ｆｌｄ２に対応するピクチャを、Ｐ０ｂ、Ｐ１ｂ、Ｐ２ｂ、Ｉ３ｂ、Ｐ４ｂ、Ｐ５ｂ、Ｐ６ｂ、Ｐ７ｂ、Ｐ８ｂで示している。
図６（ａ）〜図６（ｃ）では、フィールド画像ｆｌｄ１とフィールド画像ｆｌｄ２とを合わせたフレーム画像を単位としてＧＯＰが構成されている。

図６（ａ）は、図５に示す動画像にフレーム内シーンチェンジが含まれるフレーム画像が存在しない場合の、再符号化後のＧＯＰ構造の例である。ｇ１ａ、ｇ２ａ、ｇ３ａは再符号化後のＧＯＰであり、それぞれ図５におけるＧＯＰ・ｇ１、ｇ２、ｇ３と対応している。第１の符号化動画像情報でＩピクチャであったフレーム画像は、再符号化後にはＩピクチャのフィールド画像とＰピクチャのフィールド画像となる。例えば、第１の符号化動画像情報のフレーム画像Ｉ０（図５）は、図６（ａ）に示すように２枚のフィールド画像（フィールド画像Ｉ０ｔとフィールド画像Ｐ０ｂ）として再符号化される。このとき、フィールド画像Ｐ０ｂの参照ピクチャは、フィールド画像Ｉ０ｔである。図５のフレーム画像Ｉ３やＩ６についても同様に、ＩピクチャとＰピクチャの２枚のフィールド画像に分離して再符号化される。Ｉピクチャ以外の画像については、再符号化前と同じピクチャタイプを再符号化時に適用する。

図６（ｂ）は、図５に示す第１の符号化動画像情報のフレーム画像Ｉ３がフレーム内シーンチェンジを含む場合の例である。フレーム画像Ｉ３の再符号化においてシーンチェンジフラグｓｃが真となるために、フレーム画像Ｉ３は、Ｐピクチャであるフィールド画像Ｐ３ｔとＩピクチャであるフィールド画像Ｉ３ｂとに分けて再符号化される。図６（ｂ）ではフィールド画像Ｐ３ｔの参照ピクチャはフィールド画像Ｐ２ｔであるが、フィールド画像Ｐ３ｔと同一シーンに属していればフィールド画像Ｐ２ｔ以外のピクチャでも構わない。いずれにしても、フィールド画像Ｐ３ｔがＩピクチャでない限りＧＯＰの先頭とはなりえず、フィールド画像Ｉ０ｔからフィールド画像Ｐ５ｂまでのピクチャが、１つのＧＯＰを構成する。図６（ｂ）のｇ１ｂは、図５におけるＧＯＰ・ｇ１とＧＯＰ・ｇ２とに対応するＧＯＰである。

図６（ｃ）も図６（ｂ）と同じく、図５に示すフレーム画像Ｉ３がフレーム内シーンチェンジを含む場合の例である。ただし、フレーム画像Ｉ３は、再符号化後もランダムアクセスが可能となるように、図６（ｂ）とは違い、２枚のフィールド画像ともにＩピクチャとして再符号化される。ＧＯＰ・ｇ１ｃ、ＧＯＰ・ｇ２ｃ、ＧＯＰ・ｇ３ｃは、再符号化前（図５参照）のＧＯＰ・ｇ１、ＧＯＰ・ｇ２、ＧＯＰ・ｇ３に対応する再符号化後のＧＯＰである。

なお、図６（ａ）〜図６（ｃ）では、フレーム画像がＩピクチャとＰピクチャのみからなる例を示したが、第１の符号化動画像情報が、Ｉピクチャ、Ｐピクチャの他に、Ｂピクチャを含んでいてもよい。
以上のようにしてＧＯＰ構造決定部１０５は、フレーム画像毎にピクチャタイプｐｔ１及びピクチャタイプｐｔ２を選択してＧＯＰ構造を決定する。なお、ピクチャタイプｐｔ１及びピクチャタイプｐｔ２の選択方法は、フィールド画像ｆｌｄ１に対しては画面間予測モード、フィールド画像ｆｌｄ２に対しては画面内予測モードが利用できるようなピクチャタイプを選択する方法を用いることができる。
さらに、図３で示した構成に加えてフレーム間シーンチェンジを検出する機能を設け、フレーム内シーンチェンジの有無及びフレーム間シーンチェンジの有無に基づいてピクチャタイプを制御するようにしてもよい。例えば、フレーム間シーンチェンジとフレーム内シーンチェンジがともに存在しない場合には、ピクチャタイプｐｔ１及びピクチャタイプｐｔ２を、ｐｔ１＝Ｐ、ｐｔ２＝Ｐとしてもよい。

次に、本発明の第１の実施形態による動画像再符号化装置１００が、再符号化を行なう際の処理について説明する。符号化情報復号部２０３は、ピクチャタイプ判別部２０１に入力された第１の符号化動画像情報であるフレーム画像を復号化する。
フレーム−フィールド変換部１０２は、符号化情報復号部２０３が復号化した１枚のフレーム画像を２枚のフィールド画像に変換する。
フレーム内シーンチェンジ検出部１０４は、フレーム−フィールド変換部１０２が変換した２枚のフィールド画像間にシーンの切り替わり点であるシーンチェンジが含まれているか否かを検出する。
ＧＯＰ構造決定部１０５は、フレーム内シーンチェンジ検出部１０４のシーンチェンジの検出結果に応じてフィールド画像毎にピクチャタイプ（Ｉピクチャ又はＰピクチャ）を選択してＧＯＰ構造を決定する。
画像情報符号化部１０３は、フレーム内シーンチェンジ検出部１０４の検出結果に基づいて、ＧＯＰ構造決定部１０５が選択するピクチャタイプを用いて２枚のフィールド画像のそれぞれを符号化する。

以上説明したように、フレーム内シーンチェンジ検出部１０４は、第１の符号化動画像情報のうちＩピクチャであるフレーム画像についてフレーム内シーンチェンジの有無を検出し、ＧＯＰ構造決定部１０５は、その結果に基づいて再符号化時にフィールド画像に適用するピクチャタイプを制御する。これにより、動画像再符号化装置１００は、フレーム内シーンチェンジが存在しても、第１の符号化動画像情報を第２の符号化動画像情報へ良好な符号化効率で再符号化できる。

（第２の実施形態）
図７は、本発明の第２の実施形態における動画像再符号化装置１１０の構成を示すブロック図である。本実施形態による動画像再符号化装置１１０が、第１の実施形態による動画像再符号化装置１００（図３）と同じ構成を取る部分については、同一の符号を付してそれらの説明を省略する。

動画像再符号化装置１１０は、フレーム−フィールド変換部１１１、ＧＯＰ構造決定部１１２を備えている。
フレーム−フィールド変換部１１１は、ビデオメモリ２０５が出力するフレーム構造の画像情報をフィールド構造に変換し、画像情報符合化部１０３に出力する。
ＧＯＰ構造決定部１１２は、ピクチャタイプ判別部２０１が出力するピクチャタイプに基づいて、ＧＯＰの構造及びピクチャタイプを決定する。

フレーム−フィールド変換部１１１は、シーンチェンジフラグｓｃが偽でフィールド画像ｆｌｄ１を出力する以外の場合にはフレーム−フィールド変換部１０２と同様の動作をする。シーンチェンジフラグｓｃが真の場合、シーンチェンジ前のシーンに属するフィールド画像ｆｌｄ１の代わりに、シーンチェンジ後のシーンに属するフィールド画像ｆｌｄ２と同一の画像を出力する。フィールド画像ｆｌｄ２の出力は、フレーム−フィールド変換部１０２と同様である。

図８は、１枚のフレーム画像から２枚のフィールド画像への変換処理を説明するための図である。図８に示すように、フレーム−フィールド変換部１１１（図７）は、フレーム内シーンチェンジ検出部１０４がシーンチェンジを検出した場合に、２枚のフィールド画像のうち一方のフィールド画像ｆｌｄ１を、もう一方のフィールド画像ｆｌｄ２と同一のフィールド画像に変換する。逆に、フィールド画像ｆｌｄ２の画像をフィールド画像ｆｌｄ１の画像と同一にして出力することもできるが、ＧＯＰの先頭フレーム画像でそのようにすると、ＧＯＰの先頭フレーム画像だけがシーンチェンジ前のシーンに属する画像となってしまう。したがって、フィールド画像ｆｌｄ１としてフィールド画像ｆｌｄ２と同一の画像を出力することが望ましい。
ＧＯＰ構造決定部１１２は、ＧＯＰ構造決定部１０５と同様に、２枚のフィールド画像ｆｌｄ１及びフィールド画像ｆｌｄ２に対してそれぞれピクチャタイプｐｔ１とピクチャタイプｐｔ２を選択してＧＯＰの構造を決定する。

図９は、ＧＯＰ構造決定部１１２におけるピクチャタイプｐｔ１とピクチャタイプｐｔ２の選択処理の流れを示すフローチャートである。以下、図９のフローチャートに沿って、ＧＯＰ構造決定部１１２におけるピクチャタイプの選択処理の各ステップを説明する。
まず、ステップＳ２０では、再符号化対象のフレーム画像ｆｒｍのピクチャタイプｐｔがＩであるか否か、つまり、ｐｔ＝Ｉであるか否かについて判定する。
ステップＳ２１は、ステップＳ２０でピクチャタイプｐｔ＝Ｉの場合に行われる処理である。ここでフレーム内シーンチェンジが検出されていない場合には、フィールド画像ｆｌｄ１とフィールド画像ｆｌｄ２とは相関が高いため、フィールド画像ｆｌｄ２はフィールド画像ｆｌｄ１を参照ピクチャとする画面間予測によって符号化（ｐｔ１＝Ｉ，ｐｔ２＝Ｐ）すれば、符号化効率を向上できる。
一方、フレーム内シーンチェンジが検出されている場合には、フレーム−フィールド変換部１１１からは、フィールド画像ｆｌｄ１及びフィールド画像ｆｌｄ２として同一の画像が出力される。したがって、フィールド画像ｆｌｄ２は、フィールド画像ｆｌｄ１を参照ピクチャとする画面間予測によって、ほとんど符号量を消費せずに符号化が可能である。結局、フレーム内シーンチェンジが検出されているか否かに関わらず、ピクチャタイプｐｔ１とピクチャタイプｐｔ２は、ｐｔ１＝Ｉ、ｐｔ２＝Ｐとする。

一方、ステップＳ２２は、ピクチャタイプｐｔ＝Ｉでない場合に行われる処理である。ここでは、ピクチャタイプｐｔ１及びピクチャタイプｐｔ２は、第１の符号化動画像情報におけるピクチャタイプｐｔを継承する（ｐｔ１＝ｐｔ，ｐｔ２＝ｐｔ）。
ＧＯＰ構造決定部１１２の動作例を、図５と図１０を例に説明する。図１０は図６と同様に再符号化後の第２の符号化動画像情報の模式図であり、第１の符号化動画像情報のフレーム画像Ｉ３（図５）がフレーム内シーンチェンジを有した場合の例である。フレーム画像Ｉ３は、図９のステップＳ２１の処理によってフィールド画像Ｉ３ｔとフィールド画像Ｐ３ｂとに分けて再符号化される。このとき、フレーム−フィールド変換部１１１の処理により、フィールド画像Ｉ３ｔはフィールド画像Ｐ３ｂと同一の画像となっており、フィールド画像Ｐ３ｂの参照ピクチャはフィールド画像Ｉ３ｔである。フィールド画像Ｉ３ｔはＧＯＰの先頭ピクチャであるため、ランダムアクセスが可能である。

以上のようにしてＧＯＰ構造決定部１１２は、ピクチャタイプｐｔ１及びピクチャタイプｐｔ２を選択してＧＯＰ構造を決定する。なお、ピクチャタイプｐｔ１及びピクチャタイプｐｔ２の選択方法は、フィールド画像ｆｌｄ１に対しては画面内予測モード、フィールド画像ｆｌｄ２に対しては画面間予測モードが利用できるようなピクチャタイプを選択する方法であればよい。
さらに、第１の実施形態と同様に、本実施形態の構成に加えてフレーム間シーンチェンジを検出する機能を設け、フレーム内シーンチェンジの有無及びフレーム間シーンチェンジの有無に基づいてピクチャタイプを制御するようにしてもよい。

以上説明したように、第１の符号化動画像情報においてフレーム内シーンチェンジ検出部１０４がフレーム内シーンチェンジを検出した際に、フレーム−フィールド変換部１１１は、フィールド画像ｆｌｄ１としてフィールド画像ｆｌｄ２と同一の画像を出力してフレーム画像ｆｒｍがフレーム内シーンチェンジを有しない状態にする。これにより、動画像再符号化装置１１０は、フレーム内シーンチェンジが存在しても、第１の符号化動画像情報を第２の符号化動画像情報へ良好な符号化効率で再符号化できる。

なお、第２の実施形態では、フレーム内シーンチェンジ検出部１０４がシーンチェンジを検出した場合に、フレーム−フィールド変換部１１１が、２枚のフィールド画像のうち一方のフィールド画像ｆｌｄ１を、もう一方のフィールド画像ｆｌｄ２と同一のフィールド画像に変換する場合について説明したが、これに限定されるものではない。例えば、フレーム−フィールド変換部１１１は、フレーム内シーンチェンジ検出部１０４がシーンチェンジを検出した場合に、２枚のフィールド画像ｆｌｄ１、ｆｌｄ２のうち一方のフィールド画像ｆｌｄ１をもう一方のフィールド画像ｆｌｄ２との差分が減少するように、つまり、フィールド画像ｆｌｄ１とフィールド画像ｆｌｄ２とが類似するように変換してもよい。このような処理を行なうことにより、一方のフィールド画像ｆｌｄ１をもう一方のフィールド画像ｆｌｄ２から容易に予測することができるようになり、フレーム画像ｆｒｍを符号化する際の情報量を削減することができる。

（第３の実施形態）
図１１は、本発明の第３の実施形態による動画像再符号化装置１２０の構成を示すブロック図である。本実施形態による動画像再符号化装置１２０が、第１の実施形態による動画像再符号化装置１００（図３）と同じ構成を取る部分については、同一の符号を付してそれらの説明を省略する。

画像情報符合化部１２１は、フレーム−フィールド変換部１０２が出力するフィールド画像を、第２の符号化方式を用いて符号化し、動画像再符号化装置１２０の外部に出力する。
画像情報符号化部１２１は、第２の符号化方式を用いて画像情報を符号化する点については、画像情報符号化部１０３と同様である。画像情報符号化部１０３と異なるのは、ピクチャタイプについては、第１の符号化動画像情報におけるフレーム画像のピクチャタイプｐｔを継承して、フィールド画像ｆｌｄ１とフィールド画像ｆｌｄ２のピクチャタイプｐｔ１及びピクチャタイプｐｔ２とする点と、符号量制御の際にシーンチェンジフラグｓｃを参照して量子化幅を決定する点である。

再符号化対象のフレーム画像ｆｒｍがフレーム内シーンチェンジを有していた場合、シーンチェンジ前のフィールド画像ｆｌｄ１はあるシーンの最後の画像であって、時間的にこれ以降のピクチャから参照される可能性は低く、フィールド画像ｆｌｄ１に多くの符号量を割り当てることは符号化効率の低下につながる。逆に、シーンチェンジ後のフィールド画像ｆｌｄ２は別のシーンの最初の画像であって時間的にそれ以降のピクチャの画質に影響を与える可能性が高く、フィールド画像ｆｌｄ２に多くの符号量を割り当てることにより符号化効率が向上すると考えられる。

これを考慮し、画像情報符号化部１２１は、フィールド画像ｆｌｄ１及びフィールド画像ｆｌｄ２に対する量子化幅をＱ１及びＱ２を、各フィールドに対して算出した量子化幅を初期値Ｑ１’及びＱ２’と、各フィールド画像に対する量子化幅の補正量ΔＱ１及びΔＱ２を用いて、Ｑ１＝Ｑ１’＋ΔＱ１、Ｑ２＝Ｑ２’＋ΔＱ２と算出する。

図１２は、画像情報符号化部１２１において、量子化幅の補正量ΔＱ１及びΔＱ２を決定する処理の流れを示すフローチャートである。
まず、ステップＳ３０では、シーンチェンジフラグｓｃの値を判定する。
ステップＳ３１では、画像情報符号化部１２１は、フレーム内シーンチェンジ検出部１０４がシーンチェンジｓｃを検出した場合に、符号化対象のフレーム画像を構成しシーンチェンジ前のシーンに属するフィールド画像の符号化に用いられる平均量子化幅ΔＱ１を、同一の予測モードで直前のフィールド画像の符号化に用いられる平均量子化幅ΔＱ２よりも増加させる。具体的には、シーンチェンジ前のフィールド画像ｆｌｄ１における量子化幅Ｑ１がＱ１’よりも大きく、シーンチェンジ後のフィールド画像ｆｌｄ２における量子化幅Ｑ２がＱ２’よりも小さくなるようにΔＱ１及びΔＱ２を定める。本実施形態では、量子化幅の補正量を、ΔＱ１＝＋ａ，ΔＱ２＝−ａにより算出する。ここで、ａは変数である。なお、ΔＱ１、ΔＱ２の算出方法として他の方法を使用してもよい。
変数ａに正の値を与えればフィールド画像ｆｌｄ１の量子化幅Ｑ１がより大きくなり、フィールド画像ｆｌｄ２の量子化幅Ｑ２がより小さくなる。すなわち、シーンチェンジ前であるフィールド画像ｆｌｄ１の割当て符号量が減少し、シーンチェンジ後であるフィールド画像ｆｌｄ２の割当て符号量が増加することになる。用いる符号化方式に従ってａの絶対値を変えることによって、画質の変化の度合いを調節できる。

ステップＳ３２は、シーンチェンジフラグｓｃが偽である場合に行われる処理であり、ΔＱ１＝０，ΔＱ２＝０に設定する。
このようにして画像情報符号化部１２１では、フレーム画像ｆｒｍがフレーム内シーンチェンジを有する場合にも適切な符号量制御を行なう。なお、量子化幅の算出方法は、シーンチェンジ前のシーンに属するフィールドに割り当てる符号量を相対的に減らすか、シーンチェンジ後のシーンに属するフィールドに割当てる符号量を相対的に増やす方法であれば、本実施形態の方法に限定されるものではない。
例えば、画像情報符号化部１２１は、フレーム内シーンチェンジ検出部１０４がシーンチェンジｓｃを検出した場合に、符号化対象のフレーム画像を構成しシーンチェンジ後のシーンに属するフィールド画像の符号化に用いられる平均量子化幅を、符号化対象のフレーム画像を構成しシーンチェンジ前のシーンに属するフィールド画像の符号化に用いられる平均量子化幅よりも小さくするようにしてもよい。このような処理を行なうことにより、シーンチェンジ前のシーンに属するフィールド画像に対して、シーンチェンジ後のシーンに属するフィールド画像の情報量を増加させることができる。

なお、符号量の制御方法として、上述した説明では各フィールド画像に対する量子化幅は各マクロブロックに対し一律としたが、算出した量子化幅Ｑ１及びＱ２を基準としてマクロブロック毎に量子化幅を調整してもよい。

以上説明したように、第１の符号化動画像情報においてフレーム内シーンチェンジ検出部１０４がフレーム内シーンチェンジを検出した際に、画像情報符号化部１２１は、シーンチェンジ前後のフィールド画像に適用する量子化幅を補正する。これにより、動画像再符号化装置１２０は、フレーム内シーンチェンジが存在しても、第１の符号化動画像情報を第２の符号化動画像情報へ良好な符号化効率で再符号化できる。さらに、本実施形態を第１の実施形態あるいは第２の実施形態と組み合わせて実施することも可能であり、そうすれば符号化効率はより向上する。

なお、上述した第１〜第３の実施形態による動画像再符号化装置は、再符号化にはフィールド構造のみを使用しているが、１つの符号化動画像内でフレーム画像毎にフレーム構造とフィールド構造を適応的に選択するフレーム−フィールド適応符号化が可能な符号化方式であれば、それを用いてもよい。

本発明の実施形態に係る動画像再符号化装置は、第１の符号化動画像情報におけるフレーム内シーンチェンジの有無を検出し、その結果に基づいて再符号化処理を制御することにより、フレーム内シーンチェンジが存在しても、良好な符号化効率で第２の符号化動画像情報へと再符号化できる。フレーム内シーンチェンジの検出時に、第１の実施形態の場合にはシーンチェンジ前のシーンに属するフィールド画像をより符号化効率の良いＰピクチャとして符号化することで上記効果を得ることができる。
第２の実施形態の場合には、フレーム内シーンチェンジの直前のフィールド画像をシーンチェンジ直後のフィールド画像で代替してフレーム内シーンチェンジを解消することで上記効果を得ることができる。
第３の実施形態の場合には、フレーム内シーンチェンジが起こったフレーム画像を構成するフィールド画像の量子化幅を変化させることにより割り当てる符号量を調節し、符号化効率の低下を防ぐことができる。

なお、以上説明した実施形態において、図３、図７、図１１の動きベクトル合成部１０１、フレーム−フィールド変換部１０２、画像情報符号化部１０３、フレーム内シーンチェンジ検出部１０４、ＧＯＰ構造決定部１０５、フレーム−フィールド変換部１１１、ＧＯＰ構造決定部１１２、画像情報符合化部１２１、ピクチャタイプ判別部２０１、符号化情報解析部２０２、符号化情報復号部２０３、動きベクトル検出部２０８、コンプレキシティ算出部２１０の機能又はこれらの機能の一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより動画像再符号化装置の制御を行なってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

２枚のフィールド画像ｆｌｄ１及びｆｌｄ２が、１枚のフレーム画像ｆｒｍを構成する例を示した図である。 ピクチャ間の相関性の例を示す図である。 本発明の第１の実施形態における動画像再符号化装置１００の構成を示すブロック図である。 本発明の実施形態によるＧＯＰ構造決定部１０５の処理を示すフローチャートである。 本発明の第１の実施形態による第１の符号化動画像情報の模式図である。 本発明の第１の実施形態による第２の符号化動画像情報の模式図である。 本発明の第２の実施形態における動画像再符号化装置１１０の構成を示すブロック図である。 １枚のフレーム画像から２枚のフィールド画像への変換処理を説明するための図である。 ＧＯＰ構造決定部１１２におけるピクチャタイプｐｔ１とピクチャタイプｐｔ２の選択処理の流れを示すフローチャートである。 本発明の第２の実施形態による第２の符号化動画像情報の模式図である。 本発明の第３の実施形態による動画像再符号化装置１２０の構成を示すブロック図である。 画像情報符号化部１２１において、量子化幅の補正量ΔＱ１及びΔＱ２を決定する処理の流れを示すフローチャートである。 従来の動画像再符号化装置５００の構成を示すブロック図である。 動画像にシーンチェンジが起こる場合について説明するための図である。

符号の説明

１００・・・動画像再符号化装置、１０１・・・動きベクトル合成部、１０２・・・フレーム−フィールド変換部、１０３・・・画像情報符号化部、１０４・・・フレーム内シーンチェンジ検出部、１０５・・・ＧＯＰ構造決定部、１１０・・・動画像再符号化装置、１１１・・・フレーム−フィールド変換部、１１２・・・ＧＯＰ構造決定部、１２０・・・動画像再符号化装置、１２１・・・画像情報符合化部、２０１・・・ピクチャタイプ判別部、２０２・・・符号化情報解析部、２０３・・・符号化情報復号部、２０５・・・ビデオメモリ、２０８・・・動きベクトル検出部、２０９・・・情報バッファ、２１０・・・コンプレキシティ算出部

Claims (5)

1. １枚の符号化されたフレーム画像を第１及び第２のフィールド画像に変換するフレーム−フィールド変換部と、
   前記第１及び第２のフィールド画像間にシーンの切り替わり点であるシーンチェンジが含まれているか否かを検出するシーンチェンジ検出部と、
   前記フレーム画像のピクチャタイプを判別するピクチャタイプ判別部と、
   前記ピクチャタイプ判別部がピクチャタイプをＩピクチャであると判別した場合であって、前記シーンチェンジ検出部がシーンチェンジが含まれていることを検出した場合には、前記第１のフィールド画像に適用するピクチャタイプとしてＰピクチャを選択し、前記第２のフィールド画像に適用するピクチャタイプとしてＩピクチャを選択するＧＯＰ構造決定部と、
   前記ＧＯＰ構造決定部が選択したＰピクチャ又はＩピクチャを用いて、前記第１及び第２のフィールド画像を符号化する画像情報符号化部と、
   を備えることを特徴とする動画像符号化装置。
2. 前記ＧＯＰ構造決定部は、
   前記ピクチャタイプ判別部がピクチャタイプをＩピクチャであると判別した場合であって、前記シーンチェンジ検出部がシーンチェンジが含まれていないことを検出した場合には、前記第１のフィールド画像に適用するピクチャタイプとしてＩピクチャを選択し、前記第２のフィールド画像に適用するピクチャタイプとしてＰピクチャを選択することを特徴とする請求項１に記載の動画像符号化装置。
3. 前記ＧＯＰ構造決定部は、
   前記第１のフィールド画像に適用するピクチャタイプを、第１のピクチャタイプとして記憶しておくとともに、前記第２のフィールド画像に適用するピクチャタイプを、第２のピクチャタイプとして記憶しておき、
   前記ピクチャタイプ判別部がピクチャタイプをＩピクチャではないと判別した場合には、前記第１のフィールド画像に適用するピクチャタイプとして前記第１のピクチャタイプを選択し、前記第２のフィールド画像に適用するピクチャタイプとして前記第２のピクチャタイプを選択することを特徴とする請求項２に記載の動画像符号化装置。
4. コンピュータに、
   １枚の符号化されたフレーム画像を第１及び第２のフィールド画像に変換する第１のステップと、
   前記第１及び第２のフィールド画像間にシーンの切り替わり点であるシーンチェンジが含まれているか否かを検出する第２のステップと、
   前記フレーム画像のピクチャタイプを判別する第３のステップと、
   前記第３のステップでピクチャタイプをＩピクチャであると判別した場合であって、前記第２のステップでシーンチェンジが含まれていることを検出した場合には、前記第１のフィールド画像に適用するピクチャタイプとしてＰピクチャを選択し、前記第２のフィールド画像に適用するピクチャタイプとしてＩピクチャを選択する第４のステップと、
   前記第４のステップで選択したＰピクチャ又はＩピクチャを用いて、前記第１及び第２のフィールド画像を符号化する第５のステップと、
   を実行させることを特徴とするプログラム。
5. １枚の符号化されたフレーム画像を第１及び第２のフィールド画像に変換するフレーム−フィールド変換過程と、
   前記第１及び第２のフィールド画像間にシーンの切り替わり点であるシーンチェンジが含まれているか否かを検出するシーンチェンジ検出過程と、
   前記フレーム画像のピクチャタイプを判別するピクチャタイプ判別過程と、
   前記ピクチャタイプ判別過程でピクチャタイプをＩピクチャであると判別した場合であって、前記シーンチェンジ検出過程でシーンチェンジが含まれていることを検出した場合には、前記第１のフィールド画像に適用するピクチャタイプとしてＰピクチャを選択し、前記第２のフィールド画像に適用するピクチャタイプとしてＩピクチャを選択するＧＯＰ構造決定過程と、
   前記ＧＯＰ構造決定過程で選択したＰピクチャ又はＩピクチャを用いて、前記第１及び第２のフィールド画像を符号化する画像情報符号化過程と、
   を有することを特徴とする動画像符号化方法。

Images