JP6889843B2 - 映像信号検出装置 - Google Patents

Description

本発明は、入力された映像信号が特定の動画であるか否かを検出する映像信号検出装置に関する。

映像信号のフレームレートを変換するフレームレート変換装置は、一対の実フレーム間に内挿する補間フレームを生成する補間フレーム生成装置を備える。フレームレート変換装置は、画像の動きを検出する動きベクトル検出装置を備え、補間フレーム生成装置は動きベクトルに基づいて補間フレームを構成する各画素位置の補間画素を生成する。

動きベクトル検出装置が動きベクトルを誤検出すると、補間画素の誤補間が発生し、補間フレームに視覚的な違和感（画質劣化）が生じる。そこで、動きベクトル検出装置は誤検出を少なく動きベクトルを検出し、補間フレーム生成装置は画質劣化の少ない補間フレームを生成することが望まれる。

特定の動画の１つとしてアニメーション動画がある。特許文献１には、入力された映像信号のジャンルがアニメーション動画であるとき、動きベクトル検出装置によって検出する動きベクトルを０とすることにより、補間フレームの画質劣化を防止することが記載されている。

特開２００８−７８８５７号公報

動きベクトル検出装置が誤検出を少なく動きベクトルを検出し、補間フレーム生成装置が画質劣化の少ない補間フレームを生成するには、入力された映像信号自体の特徴を判定して映像信号が特定の動画であるか否かを検出することが求められる。

本発明は、入力された映像信号自体の特徴を判定して映像信号が特定の動画であるか否かを検出することができる映像信号検出装置を提供することを目的とする。

本発明は、入力された映像信号の各フレームである第１のフレームと、前記第１のフレームよりも１フレーム前の第２のフレームとに基づき、前記映像信号の複数の画素よりなるブロックごとに、前記第１のフレームと前記第２のフレームとの間の画像の動きを示す第１の動きベクトルを検出し、前記第２のフレームにおけるブロックを前記第１のフレームへと前記第１の動きベクトルだけ移動させたときのブロック間の画素の相違の程度を示す指標である第１のマッチング誤差を算出する第１の動きベクトル検出部と、前記第２のフレームと、前記第２のフレームよりも１フレーム前の第３のフレームとに基づき、前記ブロックごとに、前記第２のフレームと前記第３のフレームとの間の画像の動きを示す第２の動きベクトルを検出し、前記第３のフレームにおけるブロックを前記第２のフレームへと前記第２の動きベクトルだけ移動させたときのブロック間の画素の相違の程度を示す指標である第２のマッチング誤差を算出する第２の動きベクトル検出部と、前記ブロックごとに、前記第１の動きベクトルと前記第２の動きベクトルとの差分絶対値が第１の閾値より大きいか否か、第１のマッチング誤差が第２の閾値より大きいか否か、第２のマッチング誤差が第３の閾値より小さいか否かを判定することによって、連続して移動する背景内に不連続に動く物体が存在するか否かを判定する局所判定部と、前記局所判定部による前記ブロックごとの判定値をフレーム内で積算する積算部と、前記積算部による少なくとも２フレームの積算値のパターンに基づいて、前記映像信号が、連続して移動する背景内に不連続に動く物体が存在する特定の動画であるか否かを判定する判定部とを備える映像信号検出装置を提供する。

本発明の映像信号検出装置によれば、入力された映像信号自体の特徴を判定して映像信号が特定の動画であるか否かを検出することができる。

第１実施形態の映像信号検出装置を示すブロック図である。 アニメーション動画が毎秒２４フレームで構成されていて、アニメーションキャラクタが毎秒１２フレームで構成されている映像信号が入力された場合の第１及び第２実施形態の映像信号検出装置の動作を示す図である。 ブロック間のマッチング誤差を説明するための図である。 第１実施形態の映像信号検出装置の動作を示すフローチャートである。 第２実施形態の映像信号検出装置を示すブロック図である。 アニメーション動画が毎秒２４フレームで構成されていて、アニメーションキャラクタが毎秒８フレームで構成されている映像信号が入力された場合の第１及び第２実施形態の映像信号検出装置の動作を示す図である。 第２実施形態の映像信号検出装置の動作を示すフローチャートである。 第３実施形態の映像信号検出装置を示すブロック図である。 アニメーション動画が毎秒２４フレームで構成されていて、アニメーションキャラクタが毎秒１２フレームで構成されている映像信号が入力された場合の第３実施形態の映像信号検出装置の動作を示す図である。 アニメーション動画が毎秒２４フレームで構成されていて、アニメーションキャラクタが毎秒８フレームで構成されている映像信号が入力された場合の第３実施形態の映像信号検出装置の動作を示す図である。

以下、各実施形態の映像信号検出装置について、添付図面を参照して説明する。各実施形態においては、特定の動画を一例としてアニメーション動画とし、映像信号検出装置が、入力された映像信号自体の特徴を判定して映像信号がアニメーション動画であるか否かを検出する場合を説明する。

＜第１実施形態＞
まず、図２を用いて、アニメーション動画の特徴を説明する。図２において、（ａ）はアニメーション動画のフレームｆ１〜ｆ４、（ｂ）は隣接するフレーム間の背景ＢＧの動きの状態、（ｃ）は隣接するフレーム間のアニメーションキャラクタＣＲ（以下、キャラクタＣＲと略記する）の動きの状態を示している。

図２の（ａ）〜（ｃ）に示すように、アニメーション動画は、背景ＢＧがフレームごとにほぼ等速で連続的に動く一方で、背景ＢＧ内に存在するキャラクタＣＲが連続的には動かず、隣接するフレーム間でキャラクタＣＲが動く場合と動かない場合とがあるという特徴を有する。図２に示す例では、アニメーション動画は毎秒２４フレームで構成されており、キャラクタＣＲは毎秒１２フレームで構成されている。

図１を用いて、第１実施形態の映像信号検出装置の構成及び動作を説明する。図１において、映像信号Ｓ０はフレームメモリ１及び動きベクトル検出部３に供給される。フレームメモリ１は、入力された映像信号Ｓ０を１フレーム期間遅延させ、１フレーム遅延の映像信号Ｓ（−１）をフレームメモリ２、動きベクトル検出部３及び４に供給する。フレームメモリ２は、入力された映像信号Ｓ（−１）をさらに１フレーム期間遅延させ、２フレーム遅延の映像信号Ｓ（−２）を動きベクトル検出部４に供給する。

映像信号Ｓ０のフレームを現在フレーム（第１のフレーム）とすると、映像信号Ｓ（−１）のフレームは１フレーム前のフレーム（第２のフレーム）、映像信号Ｓ（−２）のフレームは２フレーム前のフレーム（第３のフレーム）である。

動きベクトル検出部３は、映像信号Ｓ０及びＳ（−１）に基づいて、１フレーム前のフレームから現在フレームへの画像の動きを検出して、画像の動きを示す動きベクトルＭＶ１（第１の動きベクトル）を生成する。詳細には、動きベクトル検出部３は、映像信号Ｓ０における複数画素よりなるブロックと、映像信号Ｓ（−１）における複数画素よりなるブロックとの差分が最も小さい方向を動きベクトルＭＶ１と検出する。１ブロックは、例えば水平８画素、垂直８画素の６４画素である。

また、動きベクトル検出部３は、動きベクトルＭＶ１を生成したブロック間のマッチング誤差ＳＡＤ１（第１のマッチング誤差）を算出する。図３では簡略化のため１ブロックを水平４画素、垂直４画素の１６画素とする。図３に示すように、動きベクトル検出部３は、映像信号Ｓ（−１）のフレームｆ（−１）におけるブロックＢｋと、映像信号Ｓ０のフレームｆ０におけるブロックＢｋとのマッチング誤差ＳＡＤ１を算出する。

フレームｆ０におけるブロックＢｋは、フレームｆ（−１）におけるブロックＢｋをフレームｆ０へと動きベクトルＭＶ１だけ移動させたブロックである。マッチング誤差ＳＡＤ１は、２つのブロックＢｋ間の画素Ｐ１〜Ｐ１６における同一位置の画素の差の絶対値の総和である。

マッチング誤差ＳＡＤ１は、２つのブロックＢｋ間の全画素の絶対値の総和ではなく、所定の規則またはランダムに間引いた一部の画素の差の絶対値の和であってもよい。マッチング誤差ＳＡＤ１は、絶対値の総和（または和）に限らず、２乗値の総和、絶対値または２乗値の平均値等の統計値、絶対値または２乗値が所定の閾値未満である画素の画素数等であってもよい。マッチング誤差ＳＡＤ１は、動きベクトルＭＶ１を生成した２つのブロックＢｋ間の画素の相違の程度を示す指標であればよい。

動きベクトル検出部３は、動きベクトルＭＶ１及びマッチング誤差ＳＡＤ１を局所判定部５に供給する。

同様に、動きベクトル検出部４は、映像信号Ｓ（−１）及びＳ（−２）に基づいて、２フレーム前のフレームから１フレーム前のフレームへの画像の動きを検出して、動きベクトルＭＶ２（第２の動きベクトル）を生成する。また、動きベクトル検出部４は、動きベクトルＭＶ２を生成したブロック間のマッチング誤差ＳＡＤ２（第２のマッチング誤差）を算出する。動きベクトル検出部４は、動きベクトルＭＶ２及びマッチング誤差ＳＡＤ２を局所判定部５に供給する。

図２に示すアニメーション動画において背景ＢＧはほぼ等速に動いているので、隣接するフレーム間で背景ＢＧにおける動きベクトルＭＶ１と動きベクトルＭＶ２との差分はほぼ０である。一方、隣接するフレーム間でキャラクタＣＲが動かない場合にはキャラクタＣＲにおける動きベクトルＭＶ１と動きベクトルＭＶ２との差分はほぼ０である。隣接するフレーム間でキャラクタＣＲが動く場合にはキャラクタＣＲにおける動きベクトルＭＶ１と動きベクトルＭＶ２との差分は所定の大きさとなる。

従って、フレームの全体では、隣接するフレーム間で、動きベクトルＭＶ１と動きベクトルＭＶ２との差分絶対値は、図２の（ｄ）に示すように、閾値ｔｈ１より大きい状態が連続する。

背景ＢＧにおいては画像が単純に平行移動しているだけであるので、マッチング誤差ＳＡＤ１及びＳＡＤ２はほぼ０となる。一方、隣接するフレーム間でキャラクタＣＲが動く場合、背景ＢＧとキャラクタＣＲとの境界部分においては、画像が単純な平行移動ではないことからフレーム間で画像が一致せず、マッチング誤差ＳＡＤ１及びＳＡＤ２は大きな値となる。従って、図２の（ｅ）に示すように、マッチング誤差ＳＡＤ１は閾値ｔｈ２より大きい状態と閾値ｔｈ２以下である小さい状態とを交互に繰り返す。図２の（ｆ）に示すように、マッチング誤差ＳＡＤ２は閾値ｔｈ３より大きい状態と閾値ｔｈ３以下である小さい状態とを交互に繰り返す。閾値ｔｈ２と閾値ｔｈ３とは同じ値であってもよい。

図１において、局所判定部５は、フレーム内の各ブロックＢｋにおいて、動きベクトルＭＶ１と動きベクトルＭＶ２との差分絶対値が閾値ｔｈ１（第１の閾値）より大きく、マッチング誤差ＳＡＤ１が閾値ｔｈ２（第２の閾値）より大きく、マッチング誤差ＳＡＤ２が閾値ｔｈ３（第３の閾値）より小さいという条件を満たすとき、判定値“１”を出力する。局所判定部５は、その条件を満たさないとき判定値“０”を出力する。

局所判定部５が生成する判定値が“１”と“０”とで変化するということは、連続して移動する背景ＢＧ内にキャラクタＣＲのような不連続に動く物体が存在するということである。図２の（ｇ）に示すように、局所判定部５が生成する判定値は、背景ＢＧとキャラクタＣＲとの境界部分で“１”と“０”とを交互に繰り返す。

積算部６は、各フレーム内で、局所判定部５が出力する判定値を積算する。図２の（ｈ）に示すように、フレーム内の積算値は、キャラクタＣＲが直前のフレームにおけるそれと比較して動いたフレームにおいては閾値ｔｈ４より大きい状態となり、動いていないフレームにおいては閾値ｔｈ４以下の小さい状態となる。

積算部６は、積算値を判定部７の比較部７１及び１フレーム保持部７２に供給する。１フレーム保持部７２は、入力された積算値を１フレーム期間保持して比較部７１に供給する。比較部７１には最新の積算値が入力される。比較部７１は、積算部６より供給された現在フレームの積算値と１フレーム保持部７２より供給された１フレーム前のフレームの積算値とを比較する。

比較部７１は、積算値が閾値ｔｈ４より大きい状態から閾値ｔｈ４以下の小さい状態に変化するか、閾値ｔｈ４以下の小さい状態から閾値ｔｈ４より大きい状態へと変化したことを検出したら、判定信号Ｓｄｅｔとして、映像信号Ｓ０はアニメーション動画である旨を示す第１の判定値を出力する。第１の判定値は例えば値“１”でよい。比較部７１は、隣接する２フレームの積算値の差が所定の閾値以上であれば、積算値が大きい状態から小さい状態またはその逆に変化したと判定することができる。

比較部７１は、比較結果に基づいて上記以外の状態を検出したら、判定信号Ｓｄｅｔとして、映像信号Ｓ０はアニメーション動画ではない通常の動画である旨を示す第２の判定値を出力する。第２の判定値は例えば値“０”でよい。

図４に示すフローチャートを用いて、第１実施形態の映像信号検出装置の動作を改めて説明する。第１実施形態の映像信号検出装置は、ハードウェアで構成されていてもよく、ソフトウェア（コンピュータプログラム）で構成されていてもよい。図４に示すフローチャートは、コンピュータプログラムがコンピュータの中央処理装置（ＣＰＵ）に実行させる処理であってもよい。

図４において、映像信号検出装置は、映像信号Ｓ０が入力されて処理が開始されると、ステップＳ１にて、動きベクトルＭＶ１及びＭＶ２を検出する。映像信号検出装置は、ステップＳ２にて、マッチング誤差ＳＡＤ１及びＳＡＤ２を算出する。映像信号検出装置は、ステップＳ３にて、動きベクトルＭＶ１と動きベクトルＭＶ２との差分絶対値を算出する。

映像信号検出装置は、ステップＳ４にて、差分絶対値が閾値ｔｈ１より大きく、マッチング誤差ＳＡＤ１が閾値ｔｈ２より大きく、マッチング誤差ＳＡＤ２が閾値ｔｈ３より小さいという条件を満たすか否かを判定する。映像信号検出装置は、この条件を満たせば（YES）、ステップＳ５にて、値“１”を積算する。この条件を満たさなければ（NO）、または、ステップＳ５に続けて、映像信号検出装置は、ステップＳ６にて、フレーム内での全ブロックでの局所判定が完了したか否かを判定する。

フレーム内での全ブロックでの局所判定が完了していなければ（NO）、映像信号検出装置は、ステップＳ１〜Ｓ６の処理を繰り返す。フレーム内での全ブロックでの局所判定が完了していれば（YES）、映像信号検出装置は、ステップＳ７にて、積算値をフレーム間で比較する。映像信号検出装置は、ステップＳ８にて、積算値の差が閾値以上であるか否かを判定する。

積算値の差が閾値以上であれば（YES）、映像信号検出装置は、ステップＳ９にて、判定信号Ｓｄｅｔとして、映像信号Ｓ０はアニメーション動画である旨を示す第１の判定値を出力する。積算値の差が閾値以上でなければ（NO）、映像信号検出装置は、ステップＳ１０にて、判定信号Ｓｄｅｔとして、アニメーション動画ではない通常の動画である旨を示す第２の判定値を出力する。

映像信号検出装置は、ステップＳ１１にて、映像信号Ｓ０が継続的に入力されているか否かを判定する。映像信号Ｓ０が継続的に入力されていれば（YES）、映像信号検出装置は、ステップＳ１〜Ｓ１１の処理を繰り返す。映像信号Ｓ０が継続的に入力されていなければ（NO）、映像信号検出装置は処理を終了させる。

＜第２実施形態＞
第１実施形態は、積算部６より出力される隣接する２フレームにおける積算値のパターンに基づき映像信号Ｓ０がアニメーション動画であるか否かを検出している。第２実施形態においては、誤検出を低減させるために、３フレーム以上の積算値のパターンに基づき映像信号Ｓ０がアニメーション動画であるか否かを検出する。

図５に示すように、第２実施形態の映像信号検出装置は、判定部７の代わりに、パターン判定部８を備える。パターン判定部８は記憶部８１を有し、積算部６より出力される積算値を３フレーム以上記憶する。３フレームで判定する場合を例とすれば、パターン判定部８は、積算値が、閾値ｔｈ４と比較して、大、小、大、または小、大、小のように変化すれば、判定信号Ｓｄｅｔとして第１の判定値を出力する。

４フレームで判定する場合を例とすれば、パターン判定部８は、積算値が、閾値ｔｈ４と比較して、大、小、大、小、または小、大、小、大のように変化すれば、判定信号Ｓｄｅｔとして第１の判定値を出力する。

パターン判定部８は、これらのパターン以外のパターンを判定した場合には、判定信号Ｓｄｅｔとして第２の判定値を出力する。

以上説明した第１及び第２実施形態においては、アニメーション動画が毎秒２４フレームで構成されていて、キャラクタＣＲが毎秒１２フレームで構成されているアニメーション動画（第１のアニメーション動画）である場合の動作を示している。キャラクタＣＲが８フレームで構成されているアニメーション動画（第２のアニメーション動画）も存在する。

第２実施形態の映像信号検出装置は、キャラクタＣＲが毎秒１２フレームで構成されているアニメーション動画と、キャラクタＣＲが８フレームで構成されているアニメーション動画との双方を検出する場合に好適な構成である。図６を参照しながら、キャラクタＣＲが８フレームで構成されている場合の第２実施形態の映像信号検出装置の動作を説明する。

図６において、（ａ）はアニメーション動画のフレームｆ１〜ｆ７を示している。図６の（ｂ）に示すように背景ＢＧはほぼ等速に動いており、図６の（ｃ）に示すようにキャラクタＣＲは３フレームのうちの１フレームのみ動く。この場合、図６の（ｄ）に示すように、フレームｆ３、ｆ６、…においては、動きベクトルＭＶ１と動きベクトルＭＶ２との差分絶対値が閾値ｔｈ１以下の小さい状態となる。差分絶対値は、閾値ｔｈ１と比較して、大、大、小を繰り返すパターンとなる。

図６の（ｅ）に示すように、マッチング誤差ＳＡＤ１は閾値ｔｈ２と比較して、大、小、小を繰り返すパターンとなり、図６の（ｆ）に示すように、マッチング誤差ＳＡＤ２は閾値ｔｈ３と比較して、小、大、小を繰り返すパターンとなる。

図５において、局所判定部５は、フレーム内の各ブロックＢｋにおいて、動きベクトルＭＶ１と動きベクトルＭＶ２との差分絶対値が閾値ｔｈ１より大きく、マッチング誤差ＳＡＤ１が閾値ｔｈ２より大きく、マッチング誤差ＳＡＤ２が閾値ｔｈ３より小さいという条件を満たすとき、判定値“１”を出力する。局所判定部５は、その条件を満たさないとき判定値“０”を出力する。

図６の（ｇ）に示すように、局所判定部５より出力される判定値は、背景ＢＧとキャラクタＣＲとの境界部分で、“１”、“０”、“０”を繰り返すパターンとなる。従って、図６の（ｈ）に示すように、積算部６より出力される積算値は、閾値ｔｈ４と比較して、大、小、小を繰り返すパターンとなる。

４フレームで判定する場合を例とすれば、パターン判定部８は、積算値が、閾値ｔｈ４と比較して、大、小、小、大のように変化するか、小、小、大、小のように変化するか、または小、大、小、小のように変化すれば、判定信号Ｓｄｅｔとして、映像信号Ｓ０はキャラクタＣＲが８フレームで構成されたアニメーション動画である旨を示す第１の判定値を出力する。

パターン判定部８は、積算値が、閾値ｔｈ４と比較して、大、小、大、小、または小、大、小、大のように変化すれば、判定信号Ｓｄｅｔとして、映像信号Ｓ０はキャラクタＣＲが１２フレームで構成されたアニメーション動画である旨を示す第１の判定値を出力する。このとき、キャラクタＣＲが８フレームで構成されたアニメーション動画である旨を示す第１の判定値と、キャラクタＣＲが１２フレームで構成されたアニメーション動画である旨を示す第１の判定値とは互いに異なる値である。

誤検出を低減させるために、５フレーム以上の積算値のパターンに基づき、映像信号Ｓ０がアニメーション動画であるか否か、キャラクタＣＲが１２フレームで構成されたアニメーション動画であるか、８フレームで構成されたアニメーション動画であるかを検出してもよい。

図７に示すフローチャートを用いて、第２実施形態の映像信号検出装置の動作を改めて説明する。同様に、図７に示すフローチャートは、コンピュータプログラムがコンピュータの中央処理装置（ＣＰＵ）に実行させる処理であってもよい。図７においてステップＳ１〜Ｓ６は図４におけるステップＳ１〜Ｓ６と同じである。

図７において、映像信号検出装置は、ステップＳ１２にて、積算値が複数のフレームで特定のパターンであるか否かを判定する。積算値が複数のフレームで特定のパターンであれば（YES）、映像信号検出装置は、ステップＳ１３にて、判定信号Ｓｄｅｔとして、
映像信号Ｓ０はアニメーション動画である旨を示す第１の判定値を出力する。積算値が複数のフレームで特定のパターンでなければ（NO）、映像信号検出装置は、ステップＳ１４にて、判定信号Ｓｄｅｔとして、映像信号Ｓ０はアニメーション動画ではない通常の動画である旨を示す第２の判定値を出力する。

映像信号検出装置は、ステップＳ１５にて、映像信号Ｓ０が継続的に入力されているか否かを判定する。映像信号Ｓ０が継続的に入力されていれば（YES）、映像信号検出装置は、ステップＳ１〜Ｓ６及びＳ１２〜Ｓ１５の処理を繰り返す。映像信号Ｓ０が継続的に入力されていなければ（NO）、映像信号検出装置は処理を終了させる。

＜第３実施形態＞
以上説明した第１及び第２実施形態においては、毎秒２４フレームのアニメーション動画が映像信号Ｓ０として映像信号検出装置に入力される場合の動作を示している。毎秒２４フレームのアニメーション動画が２−３プルダウンによって毎秒６０フレームの映像信号とされていることがある。第３実施形態の映像信号検出装置は、２−３プルダウン変換された映像信号Ｓ０が入力される場合に、映像信号Ｓ０がアニメーション動画であるか否かを検出するように構成している。

図８において、図５と同一部分には同一符号を付し、その説明を省略することがある。図８に示すように、第３実施形態の映像信号検出装置は、入力された映像信号Ｓ０が２−３プルダウン変換された映像信号であるか否かを検出し、２−３プルダウン変換された映像信号であるときにプルダウンシーケンスを出力する２−３プルダウン検出部９を備える。２−３プルダウン検出部９は、プルダウンシーケンスをパターン判定部８と、フレームメモリ１及び２に供給する。

図８におけるフレームメモリ１及び２は、複数のフレーメモリで構成されている。後述するように、２−３プルダウン変換された映像信号Ｓ０は互いに同じ画像内容を有するフレームが３フレーム連続する状態と、同じ画像のフレームが２フレーム連続する状態とを交互に繰り返す。動きベクトル検出部３及び４が２−３プルダウン変換された映像信号Ｓ０の画像の動きを検出するには、互いに同じ画像内容を有する２フレームまたは３フレームをフレーム群としたとき、隣接するフレーム群内のフレームを比較する必要がある。

フレームメモリ１及び２は、動きベクトル検出部３及び４が２−３プルダウン変換された映像信号Ｓ０の画像の動きを検出するのに必要な複数のフレームメモリで構成されていればよい。具体的には、映像信号Ｓ０の各フレームにおいて画像の動きを検出するためには、フレームメモリ１及び２は５つのフレームメモリで構成される。映像信号Ｓ０の画像内容が切り替わったタイミングのフレームにおいて画像の動きを検出する場合には、フレームメモリ１及び２は４つのフレームメモリで構成することができる。

２−３プルダウン検出部９が入力された映像信号Ｓ０は２−３プルダウン変換された映像信号ではないと検出したとき、フレームメモリ１及び２はそれぞれ１フレーム遅延の映像信号Ｓ（−１）及び２フレーム遅延の映像信号Ｓ（−２）を出力する。この場合の第３実施形態の映像信号検出装置の動作は第２実施形態の映像信号検出装置と同じである。

映像信号Ｓ０の現在のフレームが含まれているフレーム群を第１のフレーム群、第１のフレーム群の直前のフレーム群を第２のフレーム群、第２のフレーム群の直前のフレーム群を第３のフレーム群とする。２−３プルダウン検出部９が入力された映像信号Ｓ０は２−３プルダウン変換された映像信号であることを検出したとき、フレームメモリ１は第２のフレーム群内のフレームである映像信号Ｓ（−１ｇ）を出力し、フレームメモリ２は第３のフレーム群内のフレームである映像信号Ｓ（−２ｇ）を出力する。

動きベクトル検出部３は、第１のフレーム群内のフレームである映像信号Ｓ０と第２のフレーム群内のフレームである映像信号Ｓ（−１ｇ）とに基づいて、動きベクトルＭＶ１及びマッチング誤差ＳＡＤ１を算出する。動きベクトル検出部４は、第２のフレーム群内のフレームである映像信号Ｓ（−１ｇ）と第３のフレーム群内のフレームである映像信号Ｓ（−２ｇ）に基づいて、動きベクトルＭＶ２及びマッチング誤差ＳＡＤ２を算出する。

図９は、図８に示す映像信号検出装置に、キャラクタＣＲが１２フレームで構成された毎秒２４フレームのアニメーション動画を２−３プルダウン変換した映像信号Ｓ０が入力される場合の動作を示している。図９の（ａ）に示すように、映像信号Ｓ０は、同じ画像内容のフレームが３フレーム連続する状態と、同じ画像内容のフレームが２フレーム連続する状態とを交互に繰り返す。

図９の（ａ）に示すフレームにおいて、“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”、“Ｅ”は画像内容を示している。例えば、フレームｆ１〜ｆ３は画像内容が“Ａ”である同じフレームであり、フレームｆ４及びｆ５は画像内容が“Ｂ”である同じフレームである。

図９の（ｂ）に示すように、２−３プルダウン検出部９は、例えば、連続する２フレームの最初のフレームで値“０”であって、フレームの進行に伴って値“４”までカウントアップするプルダウンシーケンスを出力する。

局所判定部５には、各フレームにおいて、動きベクトルＭＶ１及びＭＶ２とマッチング誤差ＳＡＤ１及びＳＡＤ２が入力される。第２実施形態と同様に、局所判定部５は各フレームの各ブロックＢｋにおいて判定値“１”または“０”を生成し、積算部６は各フレームで判定値を積算する。

映像信号Ｓ０がアニメーション動画であるか否かを検出するには、プルダウンシーケンスが値“０”を示すフレームと値“２”を示すフレームとにおける動きベクトルＭＶ１及びＭＶ２とマッチング誤差ＳＡＤ１及びＳＡＤ２を判定すればよい。

そこで、記憶部８１は、入力されるプルダウンシーケンスに基づき、プルダウンシーケンスが値“０”を示すフレームと値“２”を示すフレームとの積算値のみを記憶する。パターン判定部８は、第２実施形態と同様に、プルダウンシーケンスが値“０”を示すフレームと値“２”を示すフレームとにおける積算値のパターンに基づいて、判定信号Ｓｄｅｔとして第１の判定値を出力する。ここでも、判定信号ＳｄｅｔはキャラクタＣＲが１２フレームで構成されたアニメーション動画である旨を示してもよい。

図１０は、図８に示す映像信号検出装置に、キャラクタＣＲが８フレームで構成された毎秒２４フレームのアニメーション動画を２−３プルダウン変換した映像信号Ｓ０が入力される場合の動作を示している。

この場合も同様に、パターン判定部８は、プルダウンシーケンスが値“０”を示すフレームと値“２”を示すフレームとにおける積算値のパターンに基づいて、判定信号Ｓｄｅｔとして第１の判定値を出力する。ここでも、判定信号ＳｄｅｔはキャラクタＣＲが８フレームで構成されたアニメーション動画である旨を示してもよい。

このように、第３実施形態の映像信号検出装置は、同じ画像が連続する２フレームまたは３フレームの例えば最初のフレームに着目したときの少なくとも２フレームの積算値のパターンに基づいて、映像信号Ｓ０がアニメーション動画であるか否かを検出すればよい。第３実施形態の映像信号検出装置は、最初のフレームに着目することに限らず、同じ画像が連続する２フレームまたは３フレームのいずれか１つのフレームに着目すればよい。

図８においては、少なくとも３つのフレーム群における３フレームの積算値のパターンに基づいて、映像信号Ｓ０が、キャラクタＣＲが１２フレームで構成された映像信号であるか８フレームで構成された映像信号であるかを判定するパターン判定部８を備える構成を示している。キャラクタＣＲが１２フレームで構成されたアニメーション動画のみを検出の対象とする場合には、第１実施形態と同様に、パターン判定部８の代わりに、２つのフレーム群における２フレームの積算値のパターンに基づいて、アニメーション動画であるか否かを判定する判定部７を備える構成としてもよい。

本発明は以上説明した第１〜第３実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。連続して移動する背景内に不連続に動く物体が存在する特定の動画はアニメーション動画に限定されない。

１，２ フレームメモリ
３，４ 動きベクトル検出部
５ 局所判定部
６ 積算部
７ 判定部
８ パターン判定部
９ ２−３プルダウン検出部
７１ 比較部
７２ １フレーム保持部
８１ 記憶部

Claims (5)

1. 入力された映像信号の各フレームである第１のフレームと、前記第１のフレームよりも１フレーム前の第２のフレームとに基づき、前記映像信号の複数の画素よりなるブロックごとに、前記第１のフレームと前記第２のフレームとの間の画像の動きを示す第１の動きベクトルを検出し、前記第２のフレームにおけるブロックを前記第１のフレームへと前記第１の動きベクトルだけ移動させたときのブロック間の画素の相違の程度を示す指標である第１のマッチング誤差を算出する第１の動きベクトル検出部と、
   前記第２のフレームと、前記第２のフレームよりも１フレーム前の第３のフレームとに基づき、前記ブロックごとに、前記第２のフレームと前記第３のフレームとの間の画像の動きを示す第２の動きベクトルを検出し、前記第３のフレームにおけるブロックを前記第２のフレームへと前記第２の動きベクトルだけ移動させたときのブロック間の画素の相違の程度を示す指標である第２のマッチング誤差を算出する第２の動きベクトル検出部と、
   前記ブロックごとに、前記第１の動きベクトルと前記第２の動きベクトルとの差分絶対値が第１の閾値より大きいか否か、第１のマッチング誤差が第２の閾値より大きいか否か、第２のマッチング誤差が第３の閾値より小さいか否かを判定することによって、連続して移動する背景内に不連続に動く物体が存在するか否かを判定する局所判定部と、
   前記局所判定部による前記ブロックごとの判定値をフレーム内で積算する積算部と、
   前記積算部による少なくとも２フレームの積算値のパターンに基づいて、前記映像信号が、連続して移動する背景内に不連続に動く物体が存在する特定の動画であるか否かを判定する判定部と、
   を備える映像信号検出装置。
2. 前記判定部は、２フレームの積算値を比較する比較部を有し、
   前記比較部による２フレームの積算値の大きさの比較結果に基づいて、前記特定の動画であるか否かを判定する
   請求項１に記載の映像信号検出装置。
3. 前記判定部は、少なくとも３フレームの積算値のパターンに基づいて、前記映像信号が毎秒２４フレームで構成されており、アニメーションキャラクタが毎秒１２フレームで構成されている第１のアニメーション動画であるか、前記映像信号が毎秒２４フレームで構成されており、アニメーションキャラクタが毎秒８フレームで構成されている第２のアニメーション動画であるかを判定するパターン判定部である請求項１に記載の映像信号検出装置。
4. 前記映像信号が、毎秒２４フレームを毎秒６０フレームに２−３プルダウン変換した映像信号であるか否か、及び、２−３プルダウン変換した映像信号であるときプルダウンシーケンスを検出する２−３プルダウン検出部をさらに備え、
   前記２−３プルダウン検出部によって前記映像信号が２−３プルダウン変換した映像信号であると検出されたとき、
   前記第１の動きベクトル検出部は、互いに同じ画像内容を有する２フレームまたは３フレームをフレーム群としたとき、第１のフレーム群内のフレームと、前記第１のフレーム群の直前の第２のフレーム群内のフレームとに基づき、第１の動きベクトル及び第１のマッチング誤差を算出し、
   前記第２の動きベクトル検出部は、第２のフレーム群内のフレームと、前記第２のフレーム群の直前の第３のフレーム群内のフレームとに基づき、第２の動きベクトル及び第２のマッチング誤差を算出し、
   前記判定部は、少なくとも２つのフレーム群における２フレームの積算値のパターンに基づいて、前記特定の動画であるか否かを判定する
   請求項１に記載の映像信号検出装置。
5. 前記判定部は、少なくとも３つのフレーム群における３フレームの積算値のパターンに基づいて、前記映像信号が、毎秒２４フレームのうち、アニメーションキャラクタが毎秒１２フレームで構成されている第１のアニメーション動画を毎秒６０フレームに２−３プルダウン変換した映像信号であるか、毎秒２４フレームのうち、アニメーションキャラクタが毎秒８フレームで構成されている第２のアニメーション動画を毎秒６０フレームに２−３プルダウン変換した映像信号であるかを判定する請求項４に記載の映像信号検出装置。

Images