JP5581664B2 - 画像処理装置、及び画像処理方法 - Google Patents

Description

本発明は、動画像を処理する画像処理装置、及び画像処理方法に関する。

ワンセグ放送で用いられる映像符号化方式Ｈ．２６４は、定期的にイントラ予測符号化を行うよう、放送規格で定められている。イントラ予測符号化を行うことで、イントラ画像から再生をすることが可能となる。しかし、イントラ画像を含む復号化画像を動画像として見ると、イントラ画像前後での画質変動がフリッカ（イントラフリッカ）として確認でき、主観画質を低下させるという課題があった。

この課題に対して、符号化器側のアプローチと復号器側のアプローチとが知られている。例えば、符号化器側のアプローチの例として、イントラ予測を改良して符号化段階でイントラフリッカを低減することが開示されている。また、復号器側のアプローチの例として、映像符号化ストリームからイントラ予測情報を取り出し、取り出した情報に基づいて、時間・空間フィルタの特性を変化させてイントラフリッカを低減することが開示されている。

さらに、映像信号のみから画像の特性を判断する方法として、時間複雑度を用いる方法が開示されている。

特開２００６−２２９４１１号公報 特開２００８−１７７６４８号公報 特表２００８−５００９３５号公報

近年、標準規格に則った符号化器や復号器は部品化が進んでおり、汎用品として安く調達し、総部品費でコストダウンを図ることができる。従来技術のように、符号化、復号方式を改良するとなると、符号化器や復号器は汎用品ではなく改良可能なカスタム品が必要となる。カスタム品はコストが上がるだけでなく、周辺回路、制御ソフトの開発も必要となってしまう。

また、最近は、部品だけでなく機能ブロック全体でのコンポーネント化が進んでいる。例えば、ワンセグ復号器では、チューナー機能も併せて具備し、チューナーボックス汎用品として市場に存在する。このチューナーボックスは改変を加えることは困難であり、復号された映像信号のみ取り出すことができる。この映像信号に対して特許文献３で開示されているような時間複雑度を用いることで、シーンチェンジは検出可能であるが、定期的に挿入されたイントラ画像までは適切に検出できない。

開示の画像処理装置の一態様は、画像をブロックに分割し、ブロック単位で動きベクトルを探索する探索手段と、前記動きベクトルが示す参照ブロックと前記ブロックとの差分絶対値和を所定数のブロック分累積した値を示す画像間変化度を算出する変化度算出手段と、所定数のブロックに占める零ベクトル又は非零ベクトルの前記動きベクトルをカウントした値を示す画像間動き度を算出する動き度算出手段と、各画像に対する前記画像間変化度及び前記画像間動き度を用いて、前記画像がシーンチェンジ画像であるか又は前記画像の符号化モードがイントラ画像であるかを判定する判定手段と、を備え、前記判定手段は、前記画像間変化度が第１閾値より大きく、前記画像間動き度が第２閾値を基準として、前記画像間動き度が大きいと判断できる画像を前記シーンチェンジ画像であると判定し、前記画像間変化度が前記第１閾値より大きく、前記画像間動き度が前記第２閾値を基準として、前記画像間動き度が小さいと判断できる画像を前記イントラ画像であると判定する。

また、他の態様の開示の画像処理方法は、画像をブロックに分割し、ブロック単位で動きベクトルを探索する探索ステップと、前記動きベクトルが示す参照ブロックと前記ブロックとの差分絶対値和を所定数のブロック分累積した値を示す画像間変化度を算出する変化度算出ステップと、所定数のブロックに占める零ベクトル又は非零ベクトルの前記動きベクトルをカウントした値を示す画像間動き度を算出する動き度算出ステップと、各画像に対する前記画像間変化度及び前記画像間動き度を用いて、前記画像がシーンチェンジ画像であるか又は前記画像の符号化モードがイントラ画像であるかを判定する判定ステップと、を有し、前記判定ステップは、前記画像間変化度が第１閾値より大きく、前記画像間動き度が第２閾値を基準として、前記画像間動き度が大きいと判断できる画像を前記シーンチェンジ画像であると判定し、前記画像間変化度が前記第１閾値より大きく、前記画像間動き度が前記第２閾値を基準として、前記画像間動き度が小さいと判断できる画像を前記イントラ画像であると判定する。

開示の画像処理装置及び画像処理方法によれば、復号された映像信号から適切にイントラ画像を検出することができる。

開示の画像処理装置を用いるシステム例を示す図。 実施例１における画像処理装置の機能構成の一例を示すブロック図。 ｖａｌｓｕｍ値の履歴に対する判定１の閾値を示す図。 ｓｔｉｌｌｃｎｔ値の履歴に対する判定１の閾値を示す図。 判定１におけるモード判定方法の一例を示すフローチャート。 ｖａｌｓｕｍ値の履歴に対する判定２の閾値を示す図。 ｓｔｉｌｌｃｎｔ値の履歴に対する判定２の閾値を示す図。 判定２におけるモード判定方法の一例を示すフローチャート。 判定３におけるモード判定方法の一例を示すフローチャート。 実施例２に係る画像処理装置の機能構成の一例を示すブロック図。 実施例２における画像処理の一例を示すフローチャート。 実施例３に係る画像処理装置の機能構成の一例を示すブロック図。 実施例４に係る画像処理装置の機能構成の一例を示すブロック図

以下、添付図面を参照しながら実施例について詳細に説明する。

［実施例１］
まず、開示の画像処理装置の適用例について説明する。図１は、開示の画像処理装置を用いるシステム例を示す図である。図１に示すように、外付けチューナーボックス1には、復調器２と復号器３を含む。

復調器２は、受信した符号化信号をＯＦＤＭ（Orthogonal Frequency Division Multiplex）復調して、復調された信号を復号器３に出力する。復号器３は、取得した信号を例えばＨ．２６４方式で復号する。また、復号器３は、復号して生成された映像信号を出力する。なお、復号器３は、Ｈ．２６４方式に限らず、受信する信号に沿った動画像復号化方式で復号すればよい。図１に示す外付けチューナーボックス１は、ボックス内の部品に改変を加えるのは困難である。よって、画質を低下させるイントラフリッカなどを低減させるための手段を復号器３で行うことができない。

そこで、メインコントローラボックス５内の画像処理装置６により、復号された映像信号から適切にイントラ画像を検出することで、イントラフリッカを低減させることが可能になる。ここでいう画像は、フレームとフィールドを含む。以下、イントラ画像を検出する機能を有する画像処理装置６について説明する。なお、外付けチューナーボックス１とメインコントローラボックス５とを１つの装置としてもよい。

図２は、実施例１における画像処理装置１０の機能構成の一例を示すブロック図である。図２に示すように、画像処理装置１０は、動きベクトル探索部１０１、画像間変化度算出部１０２、画像間動き度算出部１０３、モード判定部１０４を含む。

動きベクトル探索部１０１は、復号された映像信号が入力されると、まず、映像を構成する画像を複数のブロックに分割する。例えば、ブロックはマクロブロックである。次に、動きベクトル探索部１０１は、ブロック毎に、動きベクトルＭＶ（ｉ，ｊ）と、動きベクトルが示す参照ブロック（動きベクトルを求めるための参照画像内のブロックであり、現在ブロックと差分をとるブロック）との差分絶対値和ＳＡＤ（ｉ，ｊ）とを求める。なお、ＳＡＤ（ｉ，ｊ）は、動きベクトルＭＶを求める際に算出される。以上の処理を所定数のブロックに対して行う。所定数とは、例えば１画像分のブロック数や外部の表示装置の１画面分のブロック数などである。

動きベクトル探索部１０１は、差分絶対値和ＳＡＤを画像間変化度算出部１０２に出力し、動きベクトルＭＶを画像間動き度算出部１０３に出力する。

画像間変化度算出部１０２は、ブロックごとに取得したＳＡＤを所定数のブロック分加算した値を示すｖａｌｓｕｍ値（画像間変化度）を算出する。なお、ｖａｌｓｕｍは、ｖａｌｕｅとｓｕｍとを連結して簡略化した単語である。ｖａｌｓｕｍ値は以下の式で求められる。
ｖａｌｓｕｍ＝ΣＳＡＤ（ｉ，ｊ） 式（１）
例えば、１画像内ブロック数（又は１画面内ブロック数）が横３８、縦２１の場合、０≦ｉ＜３８，０≦ｊ＜２１の範囲内のブロック数のＳＡＤをすべて加算する。画像間変化度算出部１０２は、算出したｖａｌｓｕｍ値をモード判定部１０４に出力する。

なお、ｖａｌｓｕｍ値は、以下のように正規化してもよい。差分絶対値和の正規化後の値を信頼度とする。例えば、８×８のブロックでブロックマッチングを行った場合の範囲は、０〜１６３８４（２５６×６４）である。これを、０〜２５６の範囲に変換する。例えば、差分絶対値和０で２５６、一画素当たりの輝度差が３０で（差分絶対値和が１９２０で）０になる傾きで信頼度を落とす。この信頼度をＲとする。

次に、ブロック毎に得られる信頼度Ｒ（ｉ，ｊ）（ｉ，ｊはブロック位置を表す画像内の座標）を、画像全体で加算し、ｖａｌｓｕｍ値を求める。よって、ｖａｌｓｕｍ値の範囲は、０〜２０４２８８（２５６×７９８）である。これを、０〜２５６に正規化する。以下、ｖａｌｓｕｍ値を０〜２５６の値に正規化して用いるが、必ずしも正規化する必要はない。

画像間動き度算出部１０３は、止まったものは止まったまま、動いているものは動き続けているという尺度を数値化する。例えば、画像間動き度算出部１０３は、止まったものに着目すれば、以下の計算式で、零ベクトルの動きベクトルが得られたブロック数を算出する。
ｓｔｉｌｌｃｎｔ＝Σδ（ｉ，ｊ） 式（２）
δ（ｉ，ｊ）＝１ ｉｆブロック（ｉ，ｊ）における動きベクトルが零
δ（ｉ，ｊ）＝０ ｉｆブロック（ｉ，ｊ）における動きベクトルが非零
式（２）により、画像内で動きベクトルが零ベクトルのブロック数をカウントすることができる。画像間動き度算出部１０３は、算出したｓｔｉｌｌｃｎｔ値（画像間動き度）をモード判定部１０４に出力する。ｓｔｉｌｌｃｎｔは、ｓｔｉｌｌとｃｏｕｎｔとを連結して簡略化した単語である。画像間動き度算出部１０３は、零ベクトルではない動きベクトルを有するブロックの数をカウントしてもよい。よって、画像間動き度算出部１０３は、所定数のブロックに占める所定の動きベクトル（例えば零ベクトル）をカウントする。

モード判定部１０４は、画像間変化度算出部１０２から取得したｖａｌｓｕｍ値と、画像間動き度算出部１０３から取得したｓｔｉｌｌｃｎｔ値とに基づいて、画像の符号化モードを判定する。具体的には、モード判定部１０４は、例えば以下の３つの判定方法のいずれかを用いてモード判定を行う。

（判定１）
判定１は、簡易なモード判定方法である。モード判定部１０４は、ｖａｌｓｕｍ値が閾値１より大きいか否かを判定する。図３は、ｖａｌｓｕｍ値の履歴に対する判定１の閾値を示す図である。図３は、実際の実験データである。図３に示す大きな山はシーンチェンジを示す画像である。シーンチェンジは、他の画像とは大きく異なる画像であるため、差分絶対値和が大きくなり、差分絶対値和の累積値であるｖａｌｓｕｍ値も大きくなる。

また、図３に示す小さな山がイントラ画像を示す画像である。ｖａｌｓｕｍ値がわずかに大きくなる理由は、イントラ画像は、ビット数の割当が足りないことにより、わずかに画質が劣ることに起因する。

つまり、図３に示すように、画像間変化度は、シーンチェンジの際には大きくなり、その後小幅な変化が観測される。これは、映像の情報を表現するに足る符号化の情報量が割り当てられている状態から、イントラ画像が挿入されることで、一時的に符号化の情報量が不足し画質が変化するからである。イントラ画像が挿入された後は、時間が経つにつれて符号化の情報量が割り当てられ画質が上がっていく。この画質変化がブロックマッチングの差分絶対値和に影響し、画像間変化度は、微小な差分として現れる。

よって、モード判定部１０４は、ｖａｌｓｕｍ値が閾値１よりも大きい画像を検出する。これにより、イントラ画像及びシーンチェンジ画像を検出することが可能になる。また、閾値１は、例えば、図３に示した実験では１７（正規化後の閾値）とする。

また、モード判定部１０４は、ｓｔｉｌｌｃｎｔ値が閾値２より大きいか否かを判定する。図４は、ｓｔｉｌｌｃｎｔ値の履歴に対する判定１の閾値を示す図である。図４は、図３に示した実験と同じ画像を用いた実験データである。図４に示す大きな谷は、シーンチェンジを示す画像である。この谷は、シーンチェンジでは、画像が今までの画像と異なることにより、ブロックの動きベクトルが今までとは大きく変化することに起因する。よって、零ベクトルではない動きベクトルが増えることで、ｓｔｉｌｌｃｎｔ値が大幅に小さくなる。

よって、モード判定部１０４は、ｓｔｉｌｌｃｎｔ値が閾値２よりも大きい画像を検出する。これにより、モード判定部１０４は、シーンチェンジ以外の画像を検出することができる。また、閾値２は、例えば５００である。

以上のことから、モード判定部１０４は、判定１によれば、ｖａｌｓｕｍ値が閾値１よりも大きい画像、かつ、ｓｔｉｌｌｃｎｔ値が閾値２よりも大きい画像を検出することで、イントラ画像のみを検出することができる。

図５は、判定１におけるモード判定方法の一例を示すフローチャートである。図５に示す判定は、画像毎に行われる。図５に示すステップＳ１０１で、モード判定部１０４は、ｖａｌｓｕｍ値が閾値１よりも大きく、かつ、ｓｔｉｌｌｃｎｔ値が閾値２以下であるか判定する。ステップＳ１０１の判定結果がＹＥＳであればステップＳ１０２に進み、判定結果がＮＯであればステップＳ１０３に進む。

ステップＳ１０２で、モード判定部１０４は、ステップＳ１０１の条件を満たす画像をシーンチェンジ画像であると判定する。これより、画像処理装置１０は、シーンチェンジ画像を検出することができる。

ステップＳ１０３で、モード判定部１０４は、ｖａｌｓｕｍ値が閾値１よりも大きく、かつ、ｓｔｉｌｌｃｎｔ値が閾値２より大きいかを判定する。ステップＳ１０３の判定結果がＹＥＳであればステップＳ１０４に進み、判定結果がＮＯであれば次の画像の判定を行う。

ステップＳ１０４で、モード判定部１０４は、ステップＳ１０３の条件を満たす画像をイントラ画像であると判定する。これよりイントラ画像を検出することができる。以上の処理によれば、画像間変化度と画像間動き度とを用いて簡易にシーンチェンジ画像とイントラ画像とを検出することができる。なお、閾値１及び閾値２は、実験により適切な値に設定すればよい。

（判定２）
次に、判定２のモード判定について説明する。判定２では、判定１に比べてより正確にモード判定を行うことができる。ここで、図６を用いて判定２の判定条件について説明する。図６は、ｖａｌｓｕｍ値の履歴に対する判定２の閾値を示す図である。図６に示す実験データは、図３，４と同じデータである。

図６に示す例では、モード判定部１０４は、ｖａｌｓｕｍ値が閾値４よりも大きい場合に、シーンチェンジを検出可能である。閾値４は、例えば１２８（正規化後の閾値）とする。

また、モード判定部１０４は、ｖａｌｓｕｍ＿ｏｌｄ値が閾値３よりも小さく、かつ、ｖａｌｓｕｍ−ｖａｌｓｕｍ＿ｏｌｄが閾値５よりも大きい場合に、イントラ画像を検出することが可能である。

ここで、ｖａｌｓｕｍ＿ｏｌｄ値とは、ｖａｌｓｕｍを求めた画像（現画像ともいう）の直前の画像のｖａｌｓｕｍ値を示す。また、閾値３は例えば１７（正規化後の閾値）であり、閾値５は例えば１７（正規化後の閾値）である。これにより、モード判定部１０４は、シーンチェンジ画像とイントラ画像とを区別して判定することが可能となる。

図７は、ｓｔｉｌｌｃｎｔ値の履歴に対する判定２の閾値を示す図である。図７に示す実験データは、図３，４，６に示す実験データと同じである。図７に示すように、モード判定部１０４は、ｓｔｉｌｌｃｎｔ値が閾値６よりも小さいか否かを判定する。モード判定部１０４は、ｓｔｉｌｌｃｎｔ値が閾値６よりも小さければシーンチェンジを検出することが可能となる。また、閾値６は、例えば４００である。

また、モード判定部１０４は、
｜ｓｔｉｌｌｃｎｔ−ｓｔｉｌｌｃｎｔ＿ｏｌｄ｜＜閾値７
を満たせばシーンチェンジではなくイントラ画像を含む画像であると判定可能である。イントラ画像では、動きベクトルの変化はシーンチェンジと比べてそれほど大きくないからである。よって、また、閾値７は、例えば４０である。

以上のことから、モード判定部１０４は、判定２において、ｖａｌｓｕｍ値が閾値４よりも大きく、かつ、ｓｔｉｌｌｃｎｔ値が閾値６よりも小さい場合は、シーンチェンジであると判定する。これより、画像処理装置１０は、シーンチェンジ画像を検出することができる。

また、モード判定部１０４は、判定２において、ｖａｌｓｕｍ＿ｏｌｄ値が閾値３よりも小さく、かつ、ｖａｌｓｕｍ−ｖａｌｓｕｍ＿ｏｌｄが閾値５よりも大きく、かつ、｜ｓｔｉｌｌｃｎｔ−ｓｔｉｌｌｃｎｔ＿ｏｌｄ｜が閾値７よりも小さい場合に、イントラ画像であると判定する。これより、イントラ画像を検出することができる。

図８は、判定２におけるモード判定方法の一例を示すフローチャートである。図８に示す判定は、画像毎に行われる。図８に示すステップＳ２０１で、モード判定部１０４は、ｖａｌｓｕｍ値が閾値４よりも大きく、かつ、ｓｔｉｌｌｃｎｔ値が閾値６より小さいかを判定する。ステップＳ１０１の判定結果がＹＥＳであればステップＳ２０２に進み、判定結果がＮＯであればステップＳ２０３に進む。

ステップＳ２０２で、モード判定部１０４は、ステップＳ２０１の条件を満たす画像をシーンチェンジ画像であると判定する。これより、画像処理装置１０は、シーンチェンジ画像を検出することができる。

ステップＳ２０３で、モード判定部１０４は、ｖａｌｓｕｍ＿ｏｌｄ値が閾値３よりも小さく、かつ、ｖａｌｓｕｍ−ｖａｌｓｕｍ＿ｏｌｄが閾値５よりも大きく、かつ、｜ｓｔｉｌｌｃｎｔ−ｓｔｉｌｌｃｎｔ＿ｏｌｄ｜値が閾値７より小さいかを判定する。ステップＳ２０３の判定結果がＹＥＳであればステップＳ２０４に進み、判定結果がＮＯであればステップＳ２０５に進む。

ステップＳ２０４で、モード判定部１０４は、ステップＳ２０３の条件を満たす画像をイントラ画像であると判定する。これよりイントラ画像を検出することができる。

ステップＳ２０５で、モード判定部１０４は、現在のｖａｌｓｕｍ値をｖａｌｓｕｍ＿ｏｌｄ値に代入し、また、現在のｓｔｉｌｌｃｎｔ値をｓｔｉｌｌｃｎｔ＿ｏｌｄ値に代入する。ステップＳ２０５が終了すると、次の画像において、図８に示す処理が行われる。

上記各判定によれば、特に静止時に顕著に判定できるが、静止時に限ったことではない。動領域では、静領域と比較してｖａｌｓｕｍ値は若干上がることから、判定２において、閾値３と閾値５との設定により動部分についてもイントラ画像を検出することが可能になる。つまり、モード判定部１０４は、モード判定を行う際に、別途動静判定を行う必要がない。

また、動きベクトルを利用して、画像内の動部分は、イントラ画像の判定に用いず、静止部分についてのみイントラ画像の判定に用いることや、動きが一律のスクロールシーンにおいては動領域でもイントラ画像判定に用いるなどの運用も可能である。

以上の処理によれば、画像間変化度と画像間動き度とを用いて精度よくシーンチェンジ画像とイントラ画像とを検出することができる。なお、閾値３〜７は、実験により適切な値に設定すればよい。

（判定３）
次に、判定３のモード判定について説明する。判定３では、放送の規格でイントラ画像の最大の間隔（例えば２秒）が決められていることを利用してモード判定を行う。つまり、判定２の方法に周期カウンタを用いることで、さらに堅牢にイントラ画像を検出する。

図９は、判定３におけるモード判定方法の一例を示すフローチャートである。図９に示す処理において、図８に示す処理と同様の処理を行うものは同じ符号を付し、その説明を省略する。

ステップＳ２０１で、判定結果がＹＥＳであればステップＳ３０２に進み、判定結果がＮＯであればステップＳ３０１に進む。

ステップＳ３０１で、画像のカウント（Ｐｉｃｃｎｔ）を１追加する。Ｐｉｃｔｕｒｅとｃｏｕｎｔとを連結して簡略化した単語である。

ステップＳ３０２において、モード判定部１０４は、シーンチェンジを検出するとともに、Ｐｉｃｃｎｔを０にリセットする。

ステップＳ３０３で、Ｐｉｃｃｎｔが所定数以下であるかを判定する。所定数は、イントラ画像から次のイントラ画像が挿入されるまでの画像数を示す。所定数は、例えば１２０や６０などである。ステップＳ３０３の判定結果がＹＥＳであればステップＳ２０３に進み、判定結果がＮＯであればステップＳ２０４に進む。Ｐｉｃｃｎｔが所定数を超えれば、定期的にイントラ画像が挿入されるはずであるので、イントラ画像を検出する処理に進む。

ステップＳ２０４でイントラ画像を検出した後に、モード判定部１０４は、Ｐｉｃｃｎｔを０にリセットする。Ｐｉｃｃｎｔを０にリセットした後は、ステップＳ２０５の処理に進む。

以上の処理により、例えば、放送規格のように定期的にイントラ画像が挿入される場合には、イントラ画像の周期性を利用して適切にイントラ画像を検出することも可能になる。なお、判定３は、定期的にイントラ画像が挿入される符号化方式で符号化されたデータを復号した映像に対して有効である。

以上、実施例１によれば、復号された映像信号から適切にイントラ画像を検出することができる。イントラ画像を適切に検出することで後処理にこのイントラ画像を有効活用することができる。なお、モード判定部１０４は、イントラ画像、シーンチェンジ画像以外の画像をインター画像として判定してもよい。また、実施例１によれば、符号化のモード判定を適切にすることができるため、イントラフリッカを低減したり、ランダム再生、早送り再生などを行ったりするのに用いることができる。

［実施例２］
次に、実施例２の画像処理装置について説明する。実施例２では、画像処理装置２０は、イントラフリッカを低減することが可能な構成になっている。

図１０は、実施例２に係る画像処理装置２０の機能構成の一例を示すブロック図である。図１０に示す機能において、図２に示す機能と同様の機能を示すものは同じ符号を付し、その説明を省略する。

図１０に示す画像処理装置２０は、動きベクトル探索部２０１、画像間変化度算出部１０２、画像間動き度算出部１０３、モード判定部１０４、動き補償画像生成部２０２、重み制御部２０３、重み付け算出部２０４、画像メモリ２０５を含む。

動きベクトル探索部２０１は、基本的には実施例１の動きベクトル探索部１０１と同様であるが、さらに、分割したブロックを重み制御部２０３及び重み付け算出部２０４に出力し、求めた動きベクトルＭＶを動き補償画像生成部２０２に出力する。

動き補償画像生成部２０２は、動きベクトル探索部２０１から動きベクトルＭＶを取得し、また、画像メモリ２０５から１時刻前の出力画像を取得し、動き補償された画像である動き補償画像を生成する。動き補償画像生成部２０２は、動き補償画像を重み制御部２０３、重み付け算出部２０４に出力する。

重み制御部２０３は、入力画像Ｐｉｎと、動き補償画像（出力予測画像）ＰＭＣと、判定された符号化モードに基づいて、重みとなる回帰係数αを制御する。具体的には、重み制御部２０３は、まず、動きベクトル探索部２０１から入力画像Ｐｉｎを、動き補償画像生成部２０２から動き補償画像ＰＭＣを、モード判定部１０４から符号化モードを取得する。

動き補償画像ＰＭＣの時刻ｎ、座標（ｘ，ｙ）における画素値Ｐ'（ｎ，ｘ，ｙ）を、以下の式で求められる。
Ｐ'（ｎ，ｘ，ｙ）＝Ｐｏｕｔ（ｎ−１，ｘ−ｍｖｘ，ｙ−ｍｖｙ） 式（３）
Ｐｏｕｔは、画像メモリ２０５に記憶してある１時刻前の画像に対して動き補償を行った画像の画素を示す。

重み制御部２０３は、入力画像Ｐｉｎと動き補償画像ＰＭＣとの画素毎に差分を取り、差分に応じて第１の回帰係数α１を以下の式により求める。
｜Ｐ（ｎ，ｘ，ｙ）−Ｐ'（ｎ，ｘ，ｙ）｜＜閾値８
ｔｈｅｎ α１＝ｋ×｜Ｐ（ｎ，ｘ，ｙ）−Ｐ'（ｎ，ｘ，ｙ）｜
ｅｌｓｅ α１＝０ 式（４）
なお、Ｐ（ｎ，ｘ，ｙ）は入力画像Ｐｉｎの時刻ｎの座標（ｘ，ｙ）における画素値を示す。

次に、重み制御部２０３は、モード判定部１０４から取得した符号化モードがシーンチェンジ画像及びイントラ画像の場合には、第１の回帰係数に対して以下の式により第２の回帰係数を求める。
ｉｆ シーンチェンジ画像 α２＝０
ｅｌｓｅｉｆ イントラ画像 α２＝α１＋ｏｆｆｓｅｔ（ただし、α２は１以下）
ｅｌｓｅ α２＝α１ 式（５）
重み制御部２０３は、求めた第２の回帰係数α２を重み付け算出部２０４に出力する。

重み付け算出部２０４は、入力画像Ｐｉｎと動き補償画像ＰＭＣと第２の回帰係数α２とに基づいて、出力画像を生成する。具体的には、重み付け算出部２０４は、以下の式により出力画像の画素Ｐｏｕｔを求める。
Ｐｏｕｔ（ｎ，ｘ，ｙ）＝（１−α２）×Ｐ（ｎ，ｘ，ｙ）＋α２×Ｐ'（ｎ，ｘ，ｙ） 式（６）
重み付け算出部２０４は、求めた出力画像の画素Ｐｏｕｔを画像毎に画像メモリ２０５に記憶し、出力画像を外部の表示装置に出力する。画像メモリ２０５は、出力画像を所定枚数記憶する。

以上の機能を有することにより、画像処理装置２０は、復号された映像信号を入力して、イントラフリッカを低減した出力画像を生成することができる。

次に、実施例２の画像処理装置２０における動作について説明する。図１１は、実施例２における画像処理の一例を示すフローチャートである。

図１１に示すＳ３０１で、動きベクトル探索部２０１は、画像のブロック毎に動きベクトルＭＶと、差分絶対値和ＳＡＤを算出する。また、動きベクトル探索部２０１は、動きベクトルＭＶを画像間動き度算出部１０３及び動き補償画像生成部２０２に出力し、差分絶対値和ＳＡＤを画像間変化度算出部１０２に出力する。また、動きベクトル探索部２０１は、入力画像を重み制御部２０３及び重み付け算出部２０４に出力する。

ステップＳ３０２で、画像間動き度算出部１０３は、取得した動きベクトルに基づいて、画像間動き度ｓｔｉｌｌｃｎｔ値を求める。画像間動き度は前述した式（２）により求める。

ステップＳ３０３で、画像間変化度算出部１０２は、取得した差分絶対値和に基づいて、画像間変化度ｖａｌｓｕｍ値を求める。画像間変化度は前述した式（１）により求める。なお、ステップＳ３０２とＳ３０３は順不同である。

ステップＳ３０４で、モード判定部１０４は、画像間変化度算出部１０２により求められた画像間変化度と、画像間動き度算出部１０３により求められた画像間動き度とに基づいて、符号化モードの判定を行う。符号化モードの判定については前述した判定１〜３のいずれの判定を用いても良い。

ステップＳ３０５で、動き補償画像生成部２０２は、画像メモリ２０５から取得した１時刻前の出力画像と動きベクトルＭＶとに基づいて、動き補償画像を生成する。なお、ステップＳ３０４とＳ３０５は順不同である。

ステップＳ３０６で、重み制御部２０３は、入力画像と、動き補償画像と、符号化モードとに基づいて、回帰係数α２を求める。具体的な求め方は前述した式（４）（５）の通りである。

ステップＳ３０７で、重み付け算出部２０４は、入力画像と、動き補償画像と、回帰係数α２とに基づいて、出力画像を生成する。出力画像については前述した式（６）により求められる。

以上、実施例２によれば、復号された映像信号から、イントラフリッカを低減した映像信号を生成することができる。

［実施例３］
次に、実施例３の画像処理装置について説明する。実施例３では、重み付け算出部３０４の前に、動きベクトルＭＶを用いて動き補償生成される補間フレーム生成部３０２が新たに備えられる。

図１２は、実施例３に係る画像処理装置３０の機能構成の一例を示すブロック図である。実施例３における基本的な機能は実施例２と同様であるため、以下では、補間フレーム生成部３０２を主に説明する。

補間フレーム生成部３０２は、動きベクトル探索部３０１から入力される映像フレーム間に、動きを補間した中間フレーム（補間フレーム）を生成する。生成した補間フレームを映像フレーム間に挿入することにより、動画のボケ改善や低フレームレート映像の画質向上が図れる。

補間フレーム生成部３０２は、映像フレーム及び動きベクトル等に基づいて、補間フレームの各画素の画素値を算出して、補間フレームを生成する。補間フレームの生成の方法の一つとして、補間フレームの画素の画素値を、動きベクトルに基づく映像フレームの参照画素の画素値と、停止ベクトルに基づく映像フレームの参照画素値とから算出する方法がある。

また、他の補間フレーム生成方法について説明する。補間フレーム生成部３０２は、入力された連続する２つの映像フレームの間を補間する補間フレームの画素（補間画素）の画素値を算出する。補間フレーム生成部３０２は、連続する２つの映像フレームから、２つの映像フレームの間を補間する補間フレーム上の補間画素の補間画素動きベクトルを算出する。補間画素動きベクトルは、例えば、ブロックマッチングにより算出される。補間フレーム生成部３０２は、補間画素動きベクトルｍｖｘ，ｍｖｙから以下のように求める。
補間フレーム画像ＰＭＣの時刻ｎ−１／２、座標（ｘ，ｙ）における画素値Ｐ'（ｎ−１／２，ｘ，ｙ）を、以下の式で求められる。
Ｐ'（ｎ−１／２，ｘ，ｙ）＝Ｐ（ｎ−１，ｘ−ｍｖｘ／２，ｙ−ｍｖｙ／２）
もしくは、Ｐ（ｎ，ｘ＋ｍｖｘ／２，ｙ＋ｍｖｙ／２） 式（７）
なお、補間フレーム生成部３０２で説明した動きベクトルの算出は、動きベクトル探索部３０１が行ってもよい。これにより、イントラフリッカを低減するために算出する動きベクトルを補間フレームの生成に用いることができる。

重み制御部３０３は、補間フレーム生成部３０２により生成されたフレームを、インターフレームであるとして回帰係数を算出してもよい。重み付け算出部３０４は、補間フレームに対しても前述した通りに重み付けを行う。

以上、実施例３によれば、復号された映像信号から、イントラフリッカを低減しつつ、補間フレームを生成して画質を向上させた映像信号を生成することができる。

［実施例４］
次に、実施例４の画像処理装置について説明する。実施例４では、入力映像信号はインタレース映像であり、間の走査線にあたる映像成分をフィールド補間部４０２により生成してプログレッシブ映像にする。

図１３は、実施例４に係る画像処理装置４０の機能構成の一例を示すブロック図である。実施例４における基本的な機能は実施例２と同様であるため、以下では、フィールド補間部４０２について説明する。

フィールド補間部４０２は、動きベクトル探索部４０１からフィールド画像を取得し、飛び越し走査で抜けた走査線の信号を補間処理して、順次走査の信号に変換する。補間信号の生成については、動き補償型走査変換や、動静判定結果を用いて動き適応型走査変換などの従来技術を用いることにより生成できる。

例えば、フィールド補間部４０２は、静止画像に適したフィールド間の信号処理による第１の補間信号と、ゆっくりした動きの画像に適した動き補正の信号処理による第２の補間信号と、動画像に適した垂直・時間フィルタ（以下、ＶＴフィルタともいう）若しくはフィールド内の信号処理による第３の補間信号とを生成する。

また、他の例では、フィールド補間部４０２は、画像の静止領域では、フィールド間補間処理で生成する垂直解像度特性の優れた静止補間信号、動画領域では垂直・時間領域で上下方向の動きの速度に応じてそのインパルス応答を適応的に変化させるＶＴフィルタで生成する信号を補間信号として生成する。

重み制御部４０３は、変換されたプログレッシブ画像の符号化モードを、変換前のフィールドの符号化モードとすればよい。

重み付け算出部４０４は、フィールド補間部４０２によって変換されたプログレッシブ画像に対してイントラフリッカを低減した出力画像を生成することが可能になる。

以上、実施例４によれば、復号されたインタレース映像からプログレッシブ映像に変換し、イントラフリッカを低減したプログレッシブ画像の出力画像を生成することができる。

次に、上述した各実施例における変形例について説明する。上述した各実施例で説明した画像処理手順をコンピュータに実行させるためのプログラムとし、このプログラムをインストールして、コンピュータに実行させることにより上述した画像処理を実現させることも可能である。

また、このプログラムを記録媒体（ＣＤ−ＲＯＭやＳＤカード等）に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末などに読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
画像をブロックに分割し、ブロック単位で動きベクトルを探索する探索手段と、
前記動きベクトルが示す参照ブロックと前記ブロックとの差分絶対値和を所定数のブロック分累積した値を示す画像間変化度を算出する変化度算出手段と、
所定数のブロックに占める所定の前記動きベクトルをカウントした値を示す画像間動き度を算出する動き度算出手段と、
前記画像間変化度及び前記画像間動き度に基づいて前記画像の符号化モードを判定する判定手段と、
を備える画像処理装置。
（付記２）
前記変化度算出手段は、
１画像に占めるブロック数の差分絶対値和を累積し、累積した値を前記画像間変化度とし、
前記動き度算出手段は、
１画像に占めるブロックのうち、前記ブロックの動きベクトルが零ベクトルであるブロックの数をカウントし、カウントした値を前記画像間動き度とする付記１記載の画像処理装置。
（付記３）
前記判定手段は、
現画像の直前の画像の画像間変化度が第１閾値より小さい、前記現画像の画像間変化度と前記直前の画像の画像間変化度との差分値が第２閾値より大きい、及び前記現画像の画像間動き度と前記直前の画像の画像間動き度との差分値が第３閾値より小さいの全ての条件を満たすとき、前記現画像をイントラ画像であると判定する付記２記載の画像処理装置。
（付記４）
前記動きベクトルと過去の復号画像とに基づいて動き補償画像を生成する動き補償手段と、
前記判定手段の判定結果に基づき、重み付け値を決定する重み制御手段と、
前記現画像と前記動き補償画像とに対し、前記重み付け値を用いて重み付け加算を行うことで画像を生成する重み付け手段とをさらに備える付記３に記載の画像処理装置。
（付記５）
前記探索手段により探索された動きベクトルに基づいて、入力画像間に補間画像を生成する補間画像を生成する画像生成手段をさらに備える付記４記載の画像処理装置。
（付記６）
前記探索手段により探索された動きベクトルに基づいてフィールドを補間し、飛び越し走査画像から順次走査画像に変換する画像補間手段をさらに備える付記４記載の画像処理装置。
（付記７）
画像をブロックに分割し、ブロック単位で動きベクトルを探索する探索ステップと、
前記動きベクトルが示す参照ブロックと前記ブロックとの差分絶対値和を所定数のブロック分累積した値を示す画像間変化度を算出する変化度算出ステップと、
所定数のブロックに占める所定の前記動きベクトルをカウントした値を示す画像間動き度を算出する動き度算出ステップと、
前記画像間変化度及び前記画像間動き度に基づいて前記画像の符号化モードを判定する判定ステップと、
を有する画像処理方法。

１０、２０、３０、４０ 画像処理装置
１０１、２０１、３０１、４０１ 動きベクトル探索部
１０２ 画像間変化度算出部
１０３ 画像間動き度算出部
１０４ モード判定部
２０２ 動き補償画像生成部
２０３、３０３、４０３ 重み制御部
２０４、３０４、４０４ 重み付け算出部
２０５ 画像メモリ
３０２ 補間フレーム生成部
４０２ フィールド補間部

Claims (5)

1. 画像をブロックに分割し、ブロック単位で動きベクトルを探索する探索手段と、
   前記動きベクトルが示す参照ブロックと前記ブロックとの差分絶対値和を所定数のブロック分累積した値を示す画像間変化度を算出する変化度算出手段と、
   所定数のブロックに占める零ベクトル又は非零ベクトルの前記動きベクトルをカウントした値を示す画像間動き度を算出する動き度算出手段と、
   各画像に対する前記画像間変化度及び前記画像間動き度を用いて、前記画像がシーンチェンジ画像であるか又は前記画像の符号化モードがイントラ画像であるかを判定する判定手段と、
   を備え、
   前記判定手段は、前記画像間変化度が第１閾値より大きく、前記画像間動き度が第２閾値を基準として、前記画像間動き度が大きいと判断できる画像を前記シーンチェンジ画像であると判定し、前記画像間変化度が前記第１閾値より大きく、前記画像間動き度が前記第２閾値を基準として、前記画像間動き度が小さいと判断できる画像を前記イントラ画像であると判定する画像処理装置。
2. 画像をブロックに分割し、ブロック単位で動きベクトルを探索する探索手段と、
   前記動きベクトルが示す参照ブロックと前記ブロックとの差分絶対値和を所定数のブロック分累積した値を示す画像間変化度を算出する変化度算出手段と、
   所定数のブロックに占める零ベクトル又は非零ベクトルの前記動きベクトルをカウントした値を示す画像間動き度を算出する動き度算出手段と、
   各画像に対する前記画像間変化度及び前記画像間動き度を用いて前記画像の符号化モードがイントラ画像であるかを判定する判定手段と、
   を備え、
   前記判定手段は、現画像の直前の画像の画像間変化度が第１閾値より小さい、前記現画像の画像間変化度と前記直前の画像の画像間変化度との差分値が第５閾値より大きい、及び前記現画像の画像間動き度と前記直前の画像の画像間動き度との差分値が第７閾値より小さいの全ての条件を満たすとき、前記現画像を前記イントラ画像であると判定する画像処理装置。
3. 前記変化度算出手段は、
   １画像に占めるブロック数の差分絶対値和を累積し、累積した値を前記画像間変化度とし、
   前記動き度算出手段は、
   １画像に占めるブロックのうち、前記ブロックの動きベクトルが前記零ベクトル又は前記非零ベクトルであるブロックの数をカウントし、カウントした値を前記画像間動き度とする請求項１又は２に記載の画像処理装置。
4. 前記動きベクトルと過去の復号画像とに基づいて動き補償画像を生成する動き補償手段と、
   前記判定手段の判定結果に基づき、重み付け値を決定する重み制御手段と、
   現画像と前記動き補償画像とに対し、前記重み付け値を用いて重み付け加算を行うことで画像を生成する重み付け手段とをさらに備える請求項１乃至３の何れか１項に記載の画像処理装置。
5. 画像をブロックに分割し、ブロック単位で動きベクトルを探索する探索ステップと、
   前記動きベクトルが示す参照ブロックと前記ブロックとの差分絶対値和を所定数のブロック分累積した値を示す画像間変化度を算出する変化度算出ステップと、
   所定数のブロックに占める零ベクトル又は非零ベクトルの前記動きベクトルをカウントした値を示す画像間動き度を算出する動き度算出ステップと、
   各画像に対する前記画像間変化度及び前記画像間動き度を用いて、前記画像がシーンチェンジ画像であるか又は前記画像の符号化モードがイントラ画像であるかを判定する判定ステップと、
   を有し、
   前記判定ステップは、前記画像間変化度が第１閾値より大きく、前記画像間動き度が第２閾値を基準として、前記画像間動き度が大きいと判断できる画像を前記シーンチェンジ画像であると判定し、前記画像間変化度が前記第１閾値より大きく、前記画像間動き度が前記第２閾値を基準として、前記画像間動き度が小さいと判断できる画像を前記イントラ画像であると判定する画像処理方法。

Images