JP4873765B2 - 映像信号処理装置及び映像信号処理方法 - Google Patents

Description

本発明は、中間フレームの画像を生成し、映像信号のフレームレートを変換する映像信号処理装置及び制御方法に関するものである。

フレームレート変換技術として、入力映像信号の連続する２フレームの画像から画像の動きを予測し、その動きベクトルに基づいて２フレームの間の中間画像を生成し、映像信号のフレーム数を増やす手法がある。このフレームレート変換において、例えば画像内に複数の動きや回転運動があったり、繰り返しパターンが含まれたりなど正しい動きの予測が難しい場合には、補間画像に破綻が生じてしまうことがある。しかし、画面全体が同じような動きをしている場合には、補間画像に破綻が生じにくいため、そのようなシーンを検出して一様に補間すると、視覚的効果の高いフレームレート変換が実現できる。

従来、画像がパン・チルト状態であるかを検出し、パン・チルト状態である場合に画像の動き量を求め、その動き量に基づいて補間画像を生成する方法があった（特許文献１参照）。また、検出した動きベクトルの出現頻度を示すヒストグラム情報から検出ベクトルが集中しているか否かを検出し、集中している場合に動きベクトルを用いた補間をする方法があった（特許文献２参照）。

特開２００６−３０４２６６号公報 特開２００８−２３６０９８号公報

しかしながら、特許文献１では、検出された動きベクトルの信頼性が高い検出領域の数と、その領域の中で複数の動きが存在する領域の数を基にパン・チルトを検出する。そのため、信頼性が高い検出領域が一定以下の画像パターンではパン・チルトの検出漏れが生じる。一方、信頼度が高い領域以外に複数の動きがあった場合に誤ってパン・チルトが検出されてしまう。

また、特許文献２では、検出された動きベクトルの各ベクトルの出現頻度を表すヒストグラム情報を元に、画面中に支配的な動きがあるか否かを判定し、画面全体のスクロールを検出する方式である。そのため、動きベクトルの検出が難しい領域を多く含む画像では、ヒストグラムの頻度が十分に高くならず、スクロールを検出できない場合がある。また、各ベクトルの出現頻度を示すヒストグラムから検出する場合、ヒストグラムのカテゴリ数が膨大となり、ヒストグラムの生成と分析が容易ではない。

本発明は、画像内に動きベクトルの検出が難しい領域が含まれる場合でも映像のスクロール（パン・チルト）シーンを精度よく検出し、補間画像を生成できる技術を提供することを目的とする。

上述した課題を解決するために、本発明に係る映像信号処理装置は、第１のフレーム画像と第２のフレーム画像を比較して、フレーム画像をブロック状に分割した複数のブロックそれぞれについて動きベクトルを検出する動きベクトル検出手段と、検出された動きベ
クトルから、フレーム画像全体の一様な動きを示すスクロールベクトルを検出するスクロールベクトル検出手段と、前記第１のフレーム画像におけるそれぞれのブロックについて、当該ブロックを第２のフレーム画像内でスクロールベクトルだけ移動した領域とのブロックマッチングの相関値と、当該ブロックを第２のフレーム画像内で当該ブロックの動きベクトルだけ移動した領域とのブロックマッチングの相関値との差を算出し、当該算出結果に基づいて、スクロールベクトルを用いたフレーム補間が可能か否かを判定する判定手段と、を有することを特徴とする。

本発明によれば、画像内に動きベクトルの検出が難しい領域が含まれる場合においてもスクロール（パン・チルト）シーンの検出精度を向上でき、補間画像を生成することができる。

フレームレート変換装置の概略構成を示すブロック図 ブロック分割およびブロックマッチングのサーチ範囲の例を説明する図 差分絶対値和の分布の例を説明する図 動きベクトル成分のヒストグラムの例を示す図 スクロールベクトルの検出条件を説明する図 ブロックマッチングで得られる相関値の分布 動きベクトルに基づいた補間の例を説明する図 フレームレート変換処理のフローチャート

図１は、本発明によるフレームレート変換装置（映像信号処理装置）の一実施形態を示すブロック構成図である。フレームレート変換装置は、ブロックバッファ１０、ブロックバッファ１１、差分絶対値和計算部１２、動きベクトル検出部１３、ヒストグラム生成部１４、スクロールベクトル検出部１５、ベクトル相関評価部１６、スクロール判定部１７、動きベクトル選択部１８、補間画像生成部１９で構成される。本映像信号処理装置は入力されたフレーム０画像とフレーム１画像を比較して動きベクトルを予測し、その動きベクトルに基づきフレーム０とフレーム１の中間の補間フレーム画像を生成し出力する。

［ブロックバッファ］
ブロックバッファ１０は、フレーム０の画像からベクトル検出単位として特定領域をブロック状に切り出した画像データを出力する。以降、この画像データをブロックデータ０と呼ぶ。図２（Ａ）は、１２８ドット×９６ドットのフレーム画像を３２ドット×３２ドットの１２個の矩形ブロックに分割した例を示した図である。もちろんフレーム画像およびブロックの大きさはこの例に限られず、任意の大きさであって良い。ブロックバッファ１０から出力されるブロックデータ０（ＢＤ０）は、フレーム０の画像データＦＤ０、ブロックの番号（ｎ、ｍ）、水平座標iと垂直座標ｊを用いて式（１）のように表せる。

ブロックバッファ１１は、フレーム１の画像からブロックデータ０と同一形状の領域のデータを切り出しブロックデータ１として出力する。ブロックデータ１は、ブロックデータ０の座標をシフトした座標から切り出され、順次出力される。例えば、検出する動きベ
クトルの大きさの範囲が水平±２４ドット、垂直±１５ドットの場合、水平方向に±２４ドット、垂直方向に±１５ドットシフトした座標からブロックデータ１が切り出され、順次出力される。ブロックデータ１（ＢＤ１）は、フレーム１の画像データＦＤ１、ブロックの番号（ｎ、ｍ）、水平座標ｉ、垂直座標ｊ、水平方向のシフト量ｉｓと、垂直方向のシフト量ｊｓを用いて次の式（２）のように表せる。

図２（Ｂ）はブロックデータ０画像とブロックデータ１画像の範囲の関係を示している。

［差分絶対値和計算部］
差分絶対値和計算部１２は、入力されたブロックデータ０とブロックデータ１から、対応するドット毎に差分の絶対値を計算し、ブロック内の全合計を計算する。差分絶対値和ＳＡＤ（ｉｓ，ｊｓ）は以下の式（３）で表される。

ここで、シフト量（ｉｓ，ｊｓ）は動きベクトルを表すパラメータに対応する。差分絶対値和ＳＡＤ（ｉｓ，ｊｓ）は、第１フレーム画像（ＦＤ０）におけるそれぞれのブロック（ＢＤ０）について、このブロックを第２フレーム画像（ＦＤ１）内でシフト量（ｉｓ，ｊｓ）だけ移動した領域（ＢＤ１）との相関値を示す。差分絶対値和が小さいほど、ブロックマッチングの相関が高いことになる。図３に、シフト量（ｉｓ，ｊｓ）に対する差分絶対値和の分布図の例を示す。なお、差分絶対値和はブロックマッチングの相関の一例であり、差分二乗和などの評価関数によってブロックマッチングの相関を求めても良い。図３の差分絶対値和の値としては、例えば最小値が０で、最大値が３２×３２×２５６となる。

なお、第１のフレーム画像内のブロックと、このブロックを第２のフレーム画像内においてベクトル量（Ｖｘ，Ｖｙ）だけ移動した領域とのブロックマッチングの相関（値）のことを、以下単に、「ベクトル（Ｖｘ，Ｖｙ）の相関（値）」と表現する。例えば、「動きベクトルの相関」「スクロールベクトルの相関」という表現を用いる。

［動きベクトル検出部］
動きベクトル検出部１３は、差分絶対値和が最小となるシフト量（ｉｓ，ｊｓ）を動きベクトル（Ｖｍｘ、Ｖｍｙ）として検出する。動きベクトル検出部１３は、複数のブロックそれぞれについて動きベクトルを検出する。

［ヒストグラム生成部］
ヒストグラム生成部１４は、１フレーム内で検出された各ブロックの動きベクトル情報から、動きベクトルの水平成分のヒストグラムと垂直成分のヒストグラムを生成する。図４（Ａ）（Ｂ）にヒストグラムの具体例を示す。

［スクロールベクトル検出部］
スクロールベクトル検出部１５では、ヒストグラム生成部１４で得られたヒストグラムの分布から、スクロールベクトル（Ｖｓｃｘ、Ｖｓｃｙ）を特定する。ここで、スクロールベクトルとは、入力されたフレーム画像全体の一様な動きを意味する。例えば、カメラを水平方向にパン操作しながら撮影されたり、垂直方向にチルト操作しながら撮影された映像等から、スクロールベクトルが検出されることを想定している。なお、画像の動きは動きベクトルの検出点と一致するとは限らない。そこで、スクロールベクトル検出のために用いる頻度として、以下の値を利用することが好ましい。すなわち、まず、動き０と動き±１を除いた動きの中で最も高い頻度の動きをＨｘｖ、その頻度をＨｘとする。そして、動きＨｘｖ＋１と動きＨｘｖ−１のうち頻度が大きい方の頻度を頻度Ｈｘに加算して、これを動きＨｘｖの頻度として用いる。以下、この加算後の頻度を、動き頻度Ｈｘ１と表す。例えば青空などの特徴点の少ない平坦な画像領域は、仮にカメラを横方向にパン（スクロール）しながら撮影したとしても動き０の頻度が最も高くなることがある。このような場合でもスクロールベクトルを検出できるようにするために、動き０とそれに隣接する動き±１を検出対象から除外する。また、動きベクトルのヒストグラムのピークが十分に高くない場合は、最も高い頻度の動きＨｘｖと、その隣りの動きＨｘｖ＋１又はＨｘｖ−１の頻度を加算した方が好ましい。ただし、必ずしもこのような加算処理を行う必要はなく、動きベクトルのヒストグラムから得られる頻度をそのまま用いてもよい。

図４（Ｃ）に示すヒストグラムは、画面全体に特徴点がある静止画をスクロールした場合などに取得されるヒストグラムの例である。このような理想的な状況では、頻度分布の最大頻度のピークから容易にスクロールベクトルを推定することができる。したがって、スクロールベクトルの水平成分Ｖｓｃｘは、基本的に、水平成分のヒストグラムにおいて最も頻度の高い動きとすれば良い。

しかしながら、例えば青空のような特徴点が少ない平坦な画像領域では、スクロールシーンであっても動きを検出できないため、動き無しや誤った動きがスクロールベクトルとして検出されてしまう。そのような画像では、図４（Ｄ）に示すヒストグラムのように、パン・チルトによる動きベクトルにあたる頻度のピークが小さくなり、同時に動き０にピークが出現する。さらに、画像にノイズが含まれていると、本来の動きとは無関係な動きベクトルも検出されるため、パン・チルトによる動きベクトルにあたる頻度のピークが小さくなる。そのため、最大ピークのみを用いてスクロールベクトルを推定すると、誤検出が生じるおそれがある。そこで、動き０の頻度Ｈｘ０が最も高い場合に、２番目に高い頻度の動きＨｘｖの頻度Ｈｘ１が十分大きければ（第１の閾値より大きければ）動きＨｘｖをスクロールベクトルの水平成分Ｖｓｃｘとして検出することが好ましい。なお、第１の閾値は実験等をおこなって決定すればよいが、概ね３３％以上（５０％以下）の値とすることが好ましい。
（基準１ａ）Ｈｘ０＞Ｈｘ１≧閾値１のとき、Ｈｘｖがスクロールベクトルの水平成分

また、上記のように動き０の頻度が高く検出されることを考慮すると、水平方向に動きがないスクロールシーンでは、動き０の頻度が最も高くなり、かつ、２番目に頻度の高い動きの頻度が十分に小さくなる。したがって、動き０の頻度が最も高いときに、２番目に高い頻度が第２の閾値以下であれば（ここで、第２の閾値＜第１の閾値）、動き０をスクロールベクトルの水平成分Ｖｓｃｘとして検出することが好ましい。なお、第２の閾値は実験等を行って決定すればよいが、概ね第１の閾値よりも１０ポイント（％）以上小さい値とすることが好ましい。
（基準２）Ｈｘ０＞Ｈｘ１かつ閾値２≧Ｈｘ１のとき、動き０がスクロールベクトルの水平成分

なお、動きＨｘｖが最大の頻度のとき、すなわち、ピークを取る成分が動き０以外の場合には、その他の条件を設けずにこの動きをスクロールベクトルの水平成分として検出し
ても良い。しかしながら、スクロールシーンではスクロールベクトルが支配的な動きをとるので、スクロールベクトルを検出するための条件として、動きの頻度が所定値以上であるという条件を課すことも好ましい。
（基準１ｂ）Ｈｘ１≧Ｈｘ０かつＨｘ１≧閾値１’のとき、Ｈｘｖがスクロールベクトルの水平成分

ここで、閾値１＝閾値１’とすることで、（基準１ａ）と（基準１ｂ）は以下の（基準１）にまとめられ、判定が簡易なものとなる。もちろん閾値１≠閾値１’でもかまわない。
（基準１）Ｈｘ１≧閾値１のとき、Ｈｘｖがスクロールベクトルの水平成分

また、動き０の頻度Ｈｘ０が最も高く、動きＨｘｖの頻度Ｈｘ１が第２の閾値以下のときに、さらに、頻度Ｈｘ０が第３の閾値（第３の閾値＞第２の閾値）以上であるという条件を課すことが好ましい。
（基準２’）Ｈｘ０≧閾値３＞閾値２≧Ｈｘ１のとき、動き０がスクロールベクトルの水平成分

また、動き０がピークを取り、２番目のピークが第１の閾値以上であるが、動き０が十分に大きい場合は必ずしも２番目のピークがスクロールを表しているとは限らない。そこで、基準１をさらに改良して、次の基準１’を採用しても良い。なお、第４の閾値は第１の閾値よりも大きい値である。
（基準１’）Ｈｘ１≧閾値１かつＨｘ０≦閾値４のとき、Ｈｘｖがスクロールベクトルの水平成分
ただし、この基準１’は必ずしも必要ではなく、基準１でも十分な効果が得られる。

以下、スクロールベクトルの水平成分Ｖｓｃｘの検出方法の一具体例を説明する。図５（Ａ）はスクロールベクトルの水平成分Ｖｓｃｘの検出条件の例を示す図である。頻度Ｈｘ１が例えば全度数の４０％以上でかつ、動き０の頻度Ｈｘ０が例えば全度数の５５％以下のとき、動きＨｘｖをスクロールベクトルの水平成分Ｖｓｃｘとする。上記の条件を満たさず、頻度Ｈｘ１が例えば全度数の１５％以下でかつ、頻度Ｈｘ０が例えば全度数の２５％以上のとき、動き０をスクロールベクトルの水平成分Ｖｓｃｘとする。上記条件以外の場合は、スクロールベクトルの水平成分は検出不能とする。

「Ｈｘ１≧４０％ かつ Ｈｘ０≦５５％」の条件は上記の（基準１’）に相当する。第１の閾値を４０％、第４の閾値を５５％としている。ただし、（基準１’）の代わりに（基準１）を採用して「Ｈｘ１≧４０％」のみの条件とすることも好ましい。

「Ｈｘ１≦１５％ かつ Ｈｘ０≧２５％」の条件は上記の（基準２’）に相当する。第２の閾値を１５％、第３の閾値を２５％としている。ただし、（基準２’）の代わりに（基準２）を採用して「Ｈｘ０＞１５％≧Ｈｘ１」という条件とすることも好ましい。

スクロールベクトルの垂直成分についても、水平成分と同様の基準によって検出する。図５（Ｂ）にスクロールベクトルの垂直成分の検出条件の例を示す。ここでＨｙ１は水平成分の場合と同様に、調整後の動きＨｙｖの頻度を表す。すわなち、動き０と動き±１をのぞいた垂直方向の動きの中で最も高い頻度の動きをＨｙｖ、その頻度をＨｙとし、動きＨｙｖ＋１と動きＨｙｖ−１のうち頻度の大きい方を頻度Ｈｙに加算した動きがＨｙ１である。なお、ここではスクロールベクトルの水平成分と垂直成分について、同一の基準（閾値）を採用しているが、必ずしも閾値を同じにする必要はない。水平成分および垂直成分の取りうる値の範囲に応じて、閾値を変えることも好ましい。

スクロールベクトルの水平成分Ｖｓｃｘと垂直成分Ｖｓｃｙの両方が検出されたとき、スクロールベクトル検出部１５からスクロールベクトルが検出されたこと示すスクロールフラグとスクロールベクトル（Ｖｓｃｘ、Ｖｓｃｙ）が出力される。一方、水平成分Ｖｓｃｘまたは垂直成分Ｖｓｃｙのいずれかが検出されなかった場合には、スクロールベクトルは検出されない。

本実施例では、上記のような判断基準に基づいて、動きありのピークと動き無しのピークからスクロールベクトルを検出する。そのため、画像に動きベクトルが検出できない領域やノイズが含まれていても精度良くスクロールベクトルを検出可能である。なお、本実施例では、上記の判断基準の具体例として４つの閾値を用いる方法（図５Ａ，Ｂ）を採用している。この方法には判断式が簡易なものでありながら十分な精度が得られるという利点があるが、判断基準の趣旨を逸脱しない範囲内で種々の条件式を採用して良い。

［ベクトル相関評価部］
ベクトル相関評価部１６では、ブロック毎に順次、スクロールベクトル（Ｖｓｃｘ、Ｖｓｃｙ）の相関値ＳＡＤ（Ｖｓｃｘ、Ｖｓｃｙ）と、そのブロックの動きベクトルの相関値ＳＡＤ（Ｖｍｘ、Ｖｍｙ）の差を算出する。その差が定められた所定値（例えば、１０２４〜１０２４０の間の所定値）以内のときスクロールベクトルで補間可能なブロックと判定し、補間可能フラグを出力する。

例えば青空などの特徴点の少ない平坦な画像領域でのブロックマッチングで得られる相関値の分布の例を図６（Ａ）に示す。また、図６（Ａ）の３次元の相関値分布を２次元に変換した図を図６（Ｂ）に示す。特徴点の少ない平坦な画像領域では、いずれの動きに対しても相関値が同程度となり、例えばノイズなどの影響でたまたま相関値が最大となった位置の動きが動きベクトルとして検出される。しかし、スクロールベクトルの相関値ＳＡＤ（Ｖｓｃｘ、Ｖｓｃｙ）と動きベクトルの相関値ＳＡＤ（Ｖｍｘ、Ｖｍｙ）との差は小さくなるので、スクロールベクトルで補間可能なブロックと判定することができる。なおここでは、フレーム画像からスクロールベクトルが検出されることを前提としている。すなわち、画像中のある領域については図６（Ａ）に示したような相関値の分布となるが、他のいくつかの領域については図３に示したような相関値の分布となることを前提としている。

また、縞模様などの繰り返しパターンを含む画像領域でのブロックマッチングで得られる相関値の分布の例を図６（Ｃ）に示す。また、図６（Ｃ）の３次元の相関値分布を２次元に変換した図を図６（Ｄ）に示す。繰り返しパターンを含む画像領域では、相関値の高い動きが周期的に現れるため、本来の動きとは異なる動きに対する相関値が最大となる場合があり、誤った動きベクトルが検出されやすい。しかし、この場合も、スクロールベクトルの相関値ＳＡＤ（Ｖｓｃｘ、Ｖｓｃｙ）と動きベクトルの相関値ＳＡＤ（Ｖｍｘ、Ｖｍｙ）との差は小さくなるので、スクロールベクトルで補間可能なブロックと判定することができる。なおここでは、フレーム画像からスクロールベクトルが検出されることを前提としている。すなわち、画像中のある領域については図６（Ｃ）に示したような相関値の分布となるが、他のいくつかの領域については図３に示したような相関値の分布となることを前提としている。

［スクロール判定部］
スクロール判定部１７では、ベクトル相関評価部１６からブロック毎に順次出力される補間可能フラグの数を１フレームの画像全体に対しカウントする。ブロック総数に対するカウント値の割合が所定の割合（例えば、９０〜９５％の間の所定値）以上であり、かつ、スクロールベクトル検出部１５からスクロールフラグが出力されている場合に、入力された映像はスクロールシーンであると判定する。

［動きベクトル選択部］
動きベクトル選択部１８では、スクロール判定部１７でスクロールシーンと判定された場合に、スクロールベクトル検出部１５で検出されたスクロールベクトル（Ｖｓｃｘ、Ｖｓｃｙ）を補間ベクトル（Ｖｘ、Ｖｙ）として出力する。スクロール判定部１７でスクロールシーンと判定されていない場合には、動きベクトル検出部１３で検出された動きベクトル（Ｖｍｘ、Ｖｍｙ）を補間ベクトル（Ｖｘ、Ｖｙ）として出力する。

［補間画像生成部］
補間画像生成部１９は、動きベクトル選択部１８から入力される補間ベクトル（Ｖｘ、Ｖｙ）に基づいてフレーム０画像とフレーム１画像からそれらの中間の補間画像を生成し出力する。補間画像の生成は、例えば図７に示す様に、補間ベクトルを（Ｖｘ、Ｖｙ）とした場合、補間画素に対してフレーム０の（−Ｖｘ／２、―Ｖｙ／２）相対位置の画素とフレーム１の（Ｖｘ／２、Ｖｙ／２）相対位置の画素の平均値を算出することで生成される。このように、スクロールシーン（スクロールベクトルを用いた補間が可能と判断される場合）ではスクロールベクトルを補間ベクトルとして補間画像が生成される。一方、スクロールシーンではない場合（スクロールベクトルを用いた補間が不可能と判断される場合）では、動きベクトルを補間ベクトルとして補間画像が生成される。

＜処理フロー＞
次に図８のフローチャートを参照して、図１の機能構成を有する映像信号処理装置の映像信号処理について説明する。

ステップＳ１において差分絶対値和計算部１２は、ブロックマッチングにより差分絶対値和（相関値）を算出する。１つのブロック画像０に対して、図２（Ｂ）に示される範囲内のブロック画像１との間の差分絶対値和が算出される。ステップＳ２において動きベクトル検出部１３は、差分絶対値和が最小（相関が最も大きい）となる動きを動きベクトルとして検出する。

ステップＳ３においてヒストグラム生成部１４は、検出された動きベクトルの水平成分、垂直成分おのおののヒストグラムを生成する。ステップＳ４においてスクロールベクトル検出部は、図５に示す判断基準に従って、ヒストグラムからスクロールベクトルを検出する。

ステップＳ５においてベクトル相関評価部１６は、ブロックマッチングで得られたスクロールベクトルの相関値と動きベクトルの相関値の差が閾値以下であった場合に、スクロールベクトルにより補間可能なブロックと判定する。ステップＳ６においてスクロール判定部１７は、ベクトル相関評価部１６で補間可能と判定されたブロックの割合が所定割合以上だった場合にスクロールシーンである判定する。ステップＳ７において補間画像生成部１９は、スクロールシーンと検出された場合には、スクロールベクトルに基づく補間をし（ステップＳ８）、スクロールシーンではないと検出された場合には、検出された動きベクトルに基づいた補間をする（ステップＳ９）。

＜本実施形態の作用・効果＞
本実施形態によれば、映像全体の一様な動きを示すスクロールベクトルを検出した後に、スクロールベクトルのブロックマッチングの相関値と、動きベクトルのブロックマッチングの相関値との差から、スクロールシーンであるか検証している。誤ったスクロールベクトルが検出された場合であっても、この検証により検出されたスクロールベクトルを用いた補間画像生成が可能（妥当）であるか否かを判断でき、誤検出されたスクロールベクトルによる補間画像が生成されることを防止できる。

また、動きベクトルの水平成分および垂直成分各々のヒストグラムに基づいて、スクロールベクトルの検出を行っている。ベクトル自体のヒストグラムを利用する場合、カテゴリ数が膨大となり、ヒストグラムの生成や分析が容易ではない。本実施形態では成分ごとのヒストグラムを求めているので、ヒストグラムの生成および分析が容易であるという利点がある。

さらに、単純にピークを取る成分をスクロールベクトルとして検出するわけではなく、動き０がピークの場合には、２番目のピークが十分に大きければこの２番目のピークを取る動きをスクロールベクトルとして検出している。また、動き０がピークであり、かつ、２番目のピークが十分に小さいときに、動き０をスクロールベクトルとして検出している。このような基準を採用することで、特徴が少ない平坦な画像領域や動きベクトルの検出が難しい画像領域を含む画像においても、精度良くスクロールベクトルを検出することができる。さらに、本実施形態においては上記の判断基準を４つの閾値を利用した２つの条件式により実現しているので、処理が簡便であるという利点もある。

＜変形例＞
スクロール判定部によって、スクロールベクトルによる補間画像生成が妥当であるかの検証を行っているので、本実施形態で述べたような基準に従わずに、単にピークをとる成分をスクロールベクトルの成分と検出してもよい。誤った動きがスクロールベクトルとして検出されても、スクロール判定部による検証によってスクロールベクトルではないと判定されて、動きベクトルによるフレーム補間が行われるためである。もっとも、本実施形態のように精度良くスクロールベクトルを検出すればスクロールベクトルによる一様な補間を適用できる機会が増えるため効果的である。

上記の説明で用いた判定基準は例示にすぎず、本発明の趣旨を逸脱しない範囲内で適宜変更が可能である。判定基準のポイントの一つは、動き０が実際以上に多く検出されることを考慮している点である。すなわち、動き０がピークであっても第２のピークをスクロールベクトルとして検出する場合があるということである。判定基準のもう一つのポイントは、支配的な動きをスクロールベクトルとして検出する点である。上記の説明では頻度に下限値を設けているが、ピークの頻度と２番目のピークの頻度の差が所定値以上であるという条件としてもかまわない。

１０・・・ブロックバッファ０， １１・・・ブロックバッファ１
１２・・・差分絶対値和計算部， １３・・・動きベクトル検出部
１４・・・ヒストグラム生成部， １５・・・スクロールベクトル検出部
１６・・・ベクトル相関評価部， １７・・・スクロール判定部
１８・・・動きベクトル選択部， １９・・・補間画像生成部

Claims (9)

1. 第１のフレーム画像と第２のフレーム画像を比較して、フレーム画像をブロック状に分割した複数のブロックそれぞれについて動きベクトルを検出する動きベクトル検出手段と、
   検出された動きベクトルから、フレーム画像全体の一様な動きを示すスクロールベクトルを検出するスクロールベクトル検出手段と、
   前記第１のフレーム画像におけるそれぞれのブロックについて、当該ブロックを第２のフレーム画像内でスクロールベクトルだけ移動した領域とのブロックマッチングの相関値と、当該ブロックを第２のフレーム画像内で当該ブロックの動きベクトルだけ移動した領域とのブロックマッチングの相関値との差を算出し、当該算出結果に基づいて、スクロールベクトルを用いたフレーム補間が可能か否かを判定する判定手段と、
   を有する映像信号処理装置。
2. 前記判定手段は、前記相関値の差が所定値以内であるブロックの数が所定の割合以上ある場合に、スクロールベクトルを用いたフレーム補間が可能であると判定することを特徴とする請求項１に記載の映像信号処理装置。
3. 前記スクロールベクトル検出手段は、検出された動きベクトルのヒストグラムを生成し、生成されたヒストグラムにおけるピークから、フレーム画像全体の一様な動きを示すスクロールベクトルを検出することを特徴とする請求項１または請求項２に記載の映像信号処理装置。
4. 前記スクロールベクトル検出手段は、検出された動きベクトルの水平成分のヒストグラムと垂直成分のヒストグラムとを生成し、生成された水平成分のヒストグラムにおけるピークと、生成された垂直成分のヒストグラムにおけるピークとを特定し、特定したそれらのピークから、フレーム画像全体の一様な動きを示すスクロールベクトルを検出することを特徴とする請求項３に記載の映像信号処理装置。
5. 前記スクロールベクトル検出手段は、
   前記水平成分または垂直成分のヒストグラムにおいてピークを取る成分が動き０以外であれば、ピークを取る成分をスクロールベクトルの水平成分または垂直成分として検出し、
   前記水平成分または垂直成分のヒストグラムにおいてピークを取る成分が動き０であるときは、２番目のピークを取る成分の頻度が第１の閾値以上であれば２番目のピークの成分をスクロールベクトルの水平成分または垂直成分として検出し、２番目のピークを取る成分の頻度が第１の閾値よりも小さい第２の閾値以下であれば動き０をスクロールベクトルの水平成分または垂直成分として検出し、
   上記の条件以外の場合は、スクロールベクトルを検出しない
   ことを特徴とする請求項４に記載の映像信号処理装置。
6. 前記スクロールベクトル検出手段は、
   前記水平成分または垂直成分のヒストグラムにおいてピークを取る成分が動き０以外の場合に、ピークを取る成分の頻度が第１の閾値より小さければスクロールベクトルの水平成分または垂直成分として検出せず、
   前記水平成分または垂直成分のヒストグラムにおいてピークを取る成分が動き０であって、２番目のピークを取る成分の頻度が第２の閾値以下の場合に、動き０の成分の頻度が第３の閾値より小さければスクロールベクトルの水平成分または垂直成分として検出せず、
   前記水平成分または垂直成分のヒストグラムにおいてピークをとる成分が動き０であっ
   て、２番目のピークをとる成分が第１の閾値以上である場合に、動き０の成分の頻度が第４の閾値より大きければスクロールベクトルの水平成分または垂直成分として検出せず、
   前記第３の閾値は、第２の閾値よりも大きく
   前記第４の閾値は、第１の閾値よりも大きい
   ことを特徴とする請求項５に記載の映像信号処理装置。
7. 前記スクロールベクトル検出手段がスクロールベクトルを検出しない場合は、前記判定手段はスクロールベクトルによるフレーム補間が不可能であると判定することを特徴とする請求項１〜６のいずれか１項に記載の映像信号処理装置。
8. 前記判定手段によってスクロールベクトルを用いたフレーム補間が可能であると判定された場合は、スクロールベクトルを用いて補間フレームを生成するフレーム補間手段をさらに有することを特徴とする請求項１〜７のいずれか１項に記載の映像信号処理装置。
9. 第１のフレーム画像と第２のフレーム画像の補間フレームを生成する映像信号処理装置における映像信号処理方法であって、
   前記第１のフレーム画像と前記第２のフレーム画像を比較して、フレーム画像をブロック状に分割した複数のブロックそれぞれについて動きベクトルを検出する動きベクトル検出ステップと、
   検出された動きベクトルから、フレーム画像全体の一様な動きを示すスクロールベクトルを検出するスクロールベクトル検出ステップと、
   前記第１のフレーム画像におけるそれぞれのブロックについて、当該ブロックを第２のフレーム画像内でスクロールベクトルだけ移動した領域とのブロックマッチングの相関値と、当該ブロックを第２のフレーム画像内で当該ブロックの動きベクトルだけ移動した領域とのブロックマッチングの相関値との差を算出し、当該算出結果に基づいて、スクロールベクトルを用いたフレーム補間が可能か否かを判定する判定ステップと、
   を含むことを特徴とする映像信号処理方法。

Images