JP3803138B2 - シーン・チェンジおよび／またはフラッシュ検出装置 - Google Patents
シーン・チェンジおよび／またはフラッシュ検出装置 Download PDFInfo
- Publication number
- JP3803138B2 JP3803138B2 JP17096596A JP17096596A JP3803138B2 JP 3803138 B2 JP3803138 B2 JP 3803138B2 JP 17096596 A JP17096596 A JP 17096596A JP 17096596 A JP17096596 A JP 17096596A JP 3803138 B2 JP3803138 B2 JP 3803138B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dfd
- correlation
- motion vector
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、テレビジョン信号の動きベクトルを用いて画像相関を調べることにより、画像のシーン・チェンジ（テレビジョン番組や映画などで同一内容のシーンから異なるシーンへの変化点で、かつ、２つの異なるシーンが合成されていないもの）やフラッシュ（カメラなどのストロボ・ライトやフラッシュ装置の発光により画面の輝度レベルが大きく変動したもの）を検出する装置に関するものである。
【０００２】
【従来の技術】
▲１▼フレーム間の相関を用いる従来技術
シーン・チェンジやフラッシュでは、一般にディスプレイ上の同一の空間位置を占める画像間の相関（類似度）が低下する為、従来はその相関の時間変化を調べることによりシーン・チェンジを検出している。この手法に関する文献には、大辻他：“輝度情報を使った動画ブラウジング”，信学技報，ＩＥ９０−１０３，１９９１、大辻他：“動画カット検出”，信学技報，ＩＥ９１−１１６，１９９２、外村他：“動画像データベースハンドリングに関する検討”，信学技報，ＩＥ８９−３３，１９８９、長坂他：“カラービデオ映像における自動索引付け法と物体検索法”，情報処理学会論文誌，４，ｐ５４３−５５０，１９９２、宮武他：“フレーム相関係数の変化率に着目したカットの自動検出法”，電子情報通信学会秋期全国大会，Ｄ−２９９，６−３０１，１９９０、山田他：“部分領域ごとの共通色に注目したシーンチェンジ検出方法の検討”，テレビジョン学会技術報告，ＶｏＬ．１７，Ｎｏ．５５，ｐｐ１〜６，１９９３等がある。これら文献の手法の利点は、ハードウェア化が容易であることだが、入力する画像に応じて画像相関を調べる為のしきい値と画像相関の時間変化を調べる為のしきい値を調整する必要がある。
【０００３】
▲２▼動きベクトルの相関を用いる従来技術
前フィールドを基準として前フィールドと現フィールド間の動きベクトルを検出し、更に現フィールドを基準として前フィールドと現フィールド間の動きベクトルを検出する。前記２つの動きベクトルの相関（類似度）を調べ、そのベクトル相関の時間変化を調べることにより、シーン・チェンジやフラッシュを検出する。本願人の先の出願になるこの方法特開平４−３４５３８２号，“シーンチェンジ検出方法”は、前記▲１▼の手法群に比べて、動きベクトルを用いる為、検出精度の入力画像に対する依存性は低い。
【０００４】
【発明が解決しようとする課題】
従来、前記▲１▼の手法群は、連続する画像のディスプレイ上の同一の空間位置を占める画像間の相関（類似度）を調べ、その画像相関の時間変化をしきい値で判定し、シーン・チェンジを検出する手法である。これらの手法は、静止画像のシーン・チェンジ（静止画像から静止画像へのシーン・チェンジ）を理想的な検出モデルとする手法である。つまり同一の静止画像のシーンでは、画像間の相関は一定で、その時間変化は零である。従って、シーン・チェンジが生じた場合、ディスプレイ上の同一の空間位置を占める画像間の相関が低下する為、画像相関の変化を検出できる。しかし、動画像を入力した場合は、同一シーンの画像間の相関は一定とは限らない。更に、相関の時間変化を調べる為、しきい値を導入し、相関変化をしきい値と比較することにより、シーン・チェンジ検出を行う。つまり、誤検出を減らす為には、入力画像に応じて、前記しきい値を最適な値に調整する必要があった。
【０００５】
前記▲１▼の従来の手法群は、静止画像に対するシーン・チェンジ検出手法を動画像のシーン・チェンジ検出に適用した為に検出誤りを完全に除去することができなかった。特に、スポーツ番組のような動きの大きなシーンや画像相関が明確でないシーン・チェンジでは誤検出が生ずる。また、ＴＶ信号のようにインターレース信号では、フレーム間の画像相関を用いた場合は、シーン・チェンジ検出を確定する為に１フィールドの遅延回路が必要であった。
【０００６】
前記▲２▼の手法は、同一シーンの画像間で、双方向で検出した動きベクトルの相関が大きいことを利用した方法である。シーン・チェンジやフラッシュが生じた画像間では、動きベクトル検出の基準フィールドが異なる双方向に検出した動きベクトルの相関は小さくなる。逆に、同一シーン内では双方向のベクトル相関は一定となる為、ベクトル相関の時間変化を調べることにより、シーン・チェンジやフラッシュで生じたベクトル相関の変化を検出することができる。この方法の欠点は、動きベクトルを検出する回路が２つ必要となり、ハードウェアが大きくなる点にある。
【０００７】
そこで本発明の目的は、前述の課題を解決し、検出精度が高く、ハードウェア規模の比較的簡易なシーン・チェンジおよび／またはフラッシュ検出装置を提供せんとするものである。
【０００８】
【課題を解決するための手段】
この目的を達成するため、本発明シーン・チェンジおよび／またはフラッシュ検出装置は、当該装置が：予め定められた数の画素からなるブロックを単位として入力画像の前々フィールド画像を基準として前々フィールド画像と前フィールド画像間の動きベクトルを検出する動きベクトル検出回路と；該動きベクトル検出回路の出力である前々フィールド画像上の動きベクトルを用いて、その動きベクトルが対応する前フィールド画像上のブロックと現フィールド画像上のブロックを特定する動きベクトル・シフト回路と；該動きベクトル・シフト回路により特定した前フィールド画像上のブロックと現フィールド画像上のブロックを用いて、前フィールド画像と現フィールド画像間の画像相関を計算する画像相関計算回路と；該計算回路の出力である画像相関から画像相関の時間変化を検出する画像相関時間変化検出回路と；該時間変化検出回路の出力を用いて画像のシーン・チェンジおよび／またはフラッシュの有無を判定する判定回路とを具備したことを特徴とするものである。
【０００９】
【発明の実施の形態】
本発明装置によれば過去の画像間で検出した動きベクトルを用いて、現在の画像と直前の画像間の相関を調べることができるので、シーン・チェンジ検出やフラッシュ検出の精度を高めることができる。
以下添付図面を参照し実施例により本発明の実施の形態を詳細に説明する。
【００１０】
まず、画面を複数のブロック（例えば８画素×８ライン）に分け、各ブロック毎に動きベクトルを検出する。動きベクトルの検出には輝度信号（ａ）を用いた既知の動きベクトル検出手法（例えばブロック・マッチング法や勾配法など）を用いる。
【００１１】
即ち、輝度信号（ａ）を２つの直列配置のフィールドメモリＦＭ １ 及びＦＭ ２ に入力すると、フィールドメモリＦＭ １ の入力、出力及びフィールドメモリＦＭ ２ の出力にそれぞれ第ｎフィールド、第（ｎ−１）フィールド及び第（ｎ−２）フィールドの画像が得られる。これらの画像の輝度信号をｆ（ｎ）、ｆ（ｎ−１），ｆ（ｎ−２）で表わすとき、図２の動きベクトル検出回路１において、フィールドｆ（ｎ−２）を基準フィールドとし、フィールドｆ（ｎ−２）とフィールドｆ（ｎ−１）との間で動きベクトルＶ（ｂ）を検出する。同図の動きベクトル・シフト回路２において、図１に示すようにｆ（ｎ−２）上のブロックＡで検出した動きベクトルをＶａとし、ＡをベクトルＶａでｆ（ｎ−１）に移動したブロックをＢとし、Ａをベクトル２Ｖａでｆ（ｎ）上に移動したブロックをＣとする。
【００１２】
次にブロックＢとＣの画素の輝度信号の差分の絶対値の総和ｄｆｄ（displaced field difference） を相関計算回路３により算出しこれを両者の相関とする。同様に、ｆ（ｎ−２）上のすべてのブロックに対して前記ｄｆｄ（ｃ）を求め、画面全体の総和ＤＦＤ（ｄ）を計算する。ｆ（ｎ−２）上のブロックの総数をＮとし、ブロックｉ（１≦ｉ≦Ｎ）の相関をｄｆｄi とすると、
【数１】
となる。この画面全体のｄｆｄの総和ＤＦＤ（ｄ）は、相関計算回路３の出力側に設けられた加算器とブロック遅延回路Ｄからなる総和回路により得られる。
【００１３】
ここで、ｆ（ｎ−２）上のブロックで、そのブロックに対応するｆ（ｎ）上のブロックＣが画面から外れた場合と、ｆ（ｎ−２）のブロックのうち動きベクトルが検出できなかったブロックと、ｆ（ｎ−２）の画面周辺部に位置する一定数のブロックは計算対象から外される。計算対象から外される画像周辺ブロックは、動きベクトル検出回路１の動き検出範囲により決定される。例えば、水平方向の動き検出範囲が±１６画素、即ち、左方向または右方向に１６画素を超えない範囲の動きベクトルを検出できる動きベクトル検出回路を用いた場合で、水平方向の検出ブロック・サイズが８画素の場合は、画面の左右端のそれぞれ２ブロックが計算対象から外される。垂直方向の動き検出範囲も±１６画素でブロックサイズが８画素×８ラインであれば、画面周辺が２ブロックの幅に枠状に計算対象から除外されることになる。
【００１４】
図２の破線で囲まれた回路ブロック、画像相関時間変化検出回路４において、ｆ（ｎ−２）上の動きベクトルＶａを用いてｆ（ｎ−１）とｆ（ｎ）の相関として求めたＤＦＤをＤＦＤ（ｎ）として、
で定義されるＤＦＤｓ（ｎ）とＤＦＤｆ（ｎ）を求める。
【００１５】
即ち、図２の画像相関時間変化回路４において、Ｄ １ ，Ｄ ２ ，Ｄ ３ はフィールド遅延回路であり、信号ｅ，ｆ，ｇ，ｈはそれぞれ画像相関ＤＦＤ（ｎ），ＤＦＤ（ｎ−１），ＤＦＤ（ｎ−２），ＤＦＤ（ｎ−３）である。更に、ＡＢＳは絶対値化回路であり、ｉ及びｊはそれぞれＤＦＤα 1 及びＤＦＤα 2 である。従って、図２に示す画像相関時間変化回路４の構成では、出力信号ｋとして（ｅ−ｆ）−｜ｆ−ｇ｜＋ｉ、即ち式（１）で定義されたＤＦＤｓ（ｎ）が得られ、出力信号ｌとして（ｅ−ｆ）−｜ｇ−ｈ｜＋ｊ、即ち式（２）で定義されたＤＦＤｆ（ｎ）が得られる。出力信号ｋはシーンチェンジ判定回路５に供給され、出力信号ｌはフラッシュ判定回路６に供給される。
ここで、ＤＦＤα１，ＤＦＤα２はしきい値であるが、入力画像によらず用いるベクトル検出手法の立ち上り特性（電源投入後やシーン・チェンジ後に動きベクトルの真値を検出するまでに要するフィールド単位の過渡特性で、例えば最初の２フィールドの画像で動きベクトルの真値を検出できる場合は、ＤＦＤα１＝０，ＤＦＤα２＝０とする）によって決まる値である。
【００１６】
式（１）のＤＦＤ（ｎ）−ＤＦＤ（ｎ−１）の項はＤＦＤの時間変化を表し、これを見ることにより、シーン・チェンジを検出できる。
即ち、このＤＦＤは、入力画像が動画像でも同一シーン内の場合には、０に近い値になるが、シーンチェンジが生じた場合には、シーンチェンジ前と後の画像間に相関はないので、大きな値になる。
ここで広く知られた知識として、動きベクトルは必ずしも正しく検出できない。そのためＤＦＤが０となることは少ない。そのためＤＦＤ≠０の時をシーンチェンジと判断することはできない。シーンが連続しているとき、時間的に近い各画像のＤＦＤは似た値をとることがわかっている。
そのため、式（１）では、時間的に連続するＤＦＤの差分（時間変化）を評価することで、動きベクトル検出の不完全性によるＤＦＤ≠０とシーンチェンジによるＤＦＤ≠０の判別を行っている。即ち、前記ＤＦＤｓ（ｎ）＞０の時は、シーン・チェンジが発生したと図２の判定回路５において判定する。
また、フラッシュがたかれたシーンをテレビカメラで撮影した場合は、２フィールドにわたって輝度レベルが上昇する画像がほとんどである。従って式（２）のようにフラッシュの影響がなくなった最初のフィールドのＤＦＤ（ｎ）とフラッシュで輝度レベルが上昇した最後のフィールドのＤＦＤ（ｎ−１）の差と輝度レベルが上昇した最初のフィールドのＤＦＤ（ｎ−２）とフラッシュがたかれる前のフィールドのＤＦＤ（ｎ−３）の差を計算し、その差同士の差（違い）を調べることによりフラッシュを検出できる。図２のフラッシュ判定回路では、ＤＦＤｓ（ｎ−１）＞０で、かつＤＦＤｆ（ｎ）＞０の時はフラッシュが発生したと判定する。
【００１７】
以上一実施例により本発明の実施の形態について説明してきたが、本発明はこの実施例に限定されることなく、請求項に記載された発明の要旨内で各種の変形、変更の可能なことは自明であろう。
【００１８】
【発明の効果】
本発明装置によれば、過去の画像間で検出した動きベクトルを用いて現在の画像と直前の画像間の相関を調べるので、動画像においては同一シーン内の画像相関が一定となり、シーン・チェンジやフラッシュの生じた場合の画像相関の時間変化が顕著に検出でき、シーン・チェンジやフラシュ検出の精度を高めることができる。
【図面の簡単な説明】
【図１】 動きベクトルにより画像相関を調べる本発明の原理を説明するための図。
【図２】 本発明装置の回路構成ブロック線図。
【符号の説明】
１ 動きベクトル検出回路
２ 動きベクトル・シフト回路
３ 画像相関計算回路
４ 画像相関時間変化検出回路
５ シーン・チェンジ判定回路
６ フラッシュ判定回路
ＦＭ 1 ，ＦＭ 2 フィールドメモリ
Ｄ ブロック遅延回路
Ｄ 1 ，Ｄ 2 ，Ｄ 3 ， Ｄ ４ フィールド遅延回路
ＡＢＳ 絶対値化回路
ａ ベクトル検出用輝度信号
ｂ 動きベクトルＶ
ｃ 相関ｄｆｄ
ｄ 相関ＤＦＤ
ｅ ＤＦＤ（ｎ）
ｆ ＤＦＤ（ｎ−１）
ｇ ＤＦＤ（ｎ−２）
ｈ ＤＦＤ（ｎ−３）
ｉ ＤＦＤα１
ｊ ＤＦＤα２
ｋ ＤＦＤｓ（ｎ）
ｌ ＤＦＤｆ（ｎ）
ｍ シーン・チェンジ検出信号
ｎ フラッシュ検出信号
【発明の属する技術分野】
この発明は、テレビジョン信号の動きベクトルを用いて画像相関を調べることにより、画像のシーン・チェンジ（テレビジョン番組や映画などで同一内容のシーンから異なるシーンへの変化点で、かつ、２つの異なるシーンが合成されていないもの）やフラッシュ（カメラなどのストロボ・ライトやフラッシュ装置の発光により画面の輝度レベルが大きく変動したもの）を検出する装置に関するものである。
【０００２】
【従来の技術】
▲１▼フレーム間の相関を用いる従来技術
シーン・チェンジやフラッシュでは、一般にディスプレイ上の同一の空間位置を占める画像間の相関（類似度）が低下する為、従来はその相関の時間変化を調べることによりシーン・チェンジを検出している。この手法に関する文献には、大辻他：“輝度情報を使った動画ブラウジング”，信学技報，ＩＥ９０−１０３，１９９１、大辻他：“動画カット検出”，信学技報，ＩＥ９１−１１６，１９９２、外村他：“動画像データベースハンドリングに関する検討”，信学技報，ＩＥ８９−３３，１９８９、長坂他：“カラービデオ映像における自動索引付け法と物体検索法”，情報処理学会論文誌，４，ｐ５４３−５５０，１９９２、宮武他：“フレーム相関係数の変化率に着目したカットの自動検出法”，電子情報通信学会秋期全国大会，Ｄ−２９９，６−３０１，１９９０、山田他：“部分領域ごとの共通色に注目したシーンチェンジ検出方法の検討”，テレビジョン学会技術報告，ＶｏＬ．１７，Ｎｏ．５５，ｐｐ１〜６，１９９３等がある。これら文献の手法の利点は、ハードウェア化が容易であることだが、入力する画像に応じて画像相関を調べる為のしきい値と画像相関の時間変化を調べる為のしきい値を調整する必要がある。
【０００３】
▲２▼動きベクトルの相関を用いる従来技術
前フィールドを基準として前フィールドと現フィールド間の動きベクトルを検出し、更に現フィールドを基準として前フィールドと現フィールド間の動きベクトルを検出する。前記２つの動きベクトルの相関（類似度）を調べ、そのベクトル相関の時間変化を調べることにより、シーン・チェンジやフラッシュを検出する。本願人の先の出願になるこの方法特開平４−３４５３８２号，“シーンチェンジ検出方法”は、前記▲１▼の手法群に比べて、動きベクトルを用いる為、検出精度の入力画像に対する依存性は低い。
【０００４】
【発明が解決しようとする課題】
従来、前記▲１▼の手法群は、連続する画像のディスプレイ上の同一の空間位置を占める画像間の相関（類似度）を調べ、その画像相関の時間変化をしきい値で判定し、シーン・チェンジを検出する手法である。これらの手法は、静止画像のシーン・チェンジ（静止画像から静止画像へのシーン・チェンジ）を理想的な検出モデルとする手法である。つまり同一の静止画像のシーンでは、画像間の相関は一定で、その時間変化は零である。従って、シーン・チェンジが生じた場合、ディスプレイ上の同一の空間位置を占める画像間の相関が低下する為、画像相関の変化を検出できる。しかし、動画像を入力した場合は、同一シーンの画像間の相関は一定とは限らない。更に、相関の時間変化を調べる為、しきい値を導入し、相関変化をしきい値と比較することにより、シーン・チェンジ検出を行う。つまり、誤検出を減らす為には、入力画像に応じて、前記しきい値を最適な値に調整する必要があった。
【０００５】
前記▲１▼の従来の手法群は、静止画像に対するシーン・チェンジ検出手法を動画像のシーン・チェンジ検出に適用した為に検出誤りを完全に除去することができなかった。特に、スポーツ番組のような動きの大きなシーンや画像相関が明確でないシーン・チェンジでは誤検出が生ずる。また、ＴＶ信号のようにインターレース信号では、フレーム間の画像相関を用いた場合は、シーン・チェンジ検出を確定する為に１フィールドの遅延回路が必要であった。
【０００６】
前記▲２▼の手法は、同一シーンの画像間で、双方向で検出した動きベクトルの相関が大きいことを利用した方法である。シーン・チェンジやフラッシュが生じた画像間では、動きベクトル検出の基準フィールドが異なる双方向に検出した動きベクトルの相関は小さくなる。逆に、同一シーン内では双方向のベクトル相関は一定となる為、ベクトル相関の時間変化を調べることにより、シーン・チェンジやフラッシュで生じたベクトル相関の変化を検出することができる。この方法の欠点は、動きベクトルを検出する回路が２つ必要となり、ハードウェアが大きくなる点にある。
【０００７】
そこで本発明の目的は、前述の課題を解決し、検出精度が高く、ハードウェア規模の比較的簡易なシーン・チェンジおよび／またはフラッシュ検出装置を提供せんとするものである。
【０００８】
【課題を解決するための手段】
この目的を達成するため、本発明シーン・チェンジおよび／またはフラッシュ検出装置は、当該装置が：予め定められた数の画素からなるブロックを単位として入力画像の前々フィールド画像を基準として前々フィールド画像と前フィールド画像間の動きベクトルを検出する動きベクトル検出回路と；該動きベクトル検出回路の出力である前々フィールド画像上の動きベクトルを用いて、その動きベクトルが対応する前フィールド画像上のブロックと現フィールド画像上のブロックを特定する動きベクトル・シフト回路と；該動きベクトル・シフト回路により特定した前フィールド画像上のブロックと現フィールド画像上のブロックを用いて、前フィールド画像と現フィールド画像間の画像相関を計算する画像相関計算回路と；該計算回路の出力である画像相関から画像相関の時間変化を検出する画像相関時間変化検出回路と；該時間変化検出回路の出力を用いて画像のシーン・チェンジおよび／またはフラッシュの有無を判定する判定回路とを具備したことを特徴とするものである。
【０００９】
【発明の実施の形態】
本発明装置によれば過去の画像間で検出した動きベクトルを用いて、現在の画像と直前の画像間の相関を調べることができるので、シーン・チェンジ検出やフラッシュ検出の精度を高めることができる。
以下添付図面を参照し実施例により本発明の実施の形態を詳細に説明する。
【００１０】
まず、画面を複数のブロック（例えば８画素×８ライン）に分け、各ブロック毎に動きベクトルを検出する。動きベクトルの検出には輝度信号（ａ）を用いた既知の動きベクトル検出手法（例えばブロック・マッチング法や勾配法など）を用いる。
【００１１】
即ち、輝度信号（ａ）を２つの直列配置のフィールドメモリＦＭ １ 及びＦＭ ２ に入力すると、フィールドメモリＦＭ １ の入力、出力及びフィールドメモリＦＭ ２ の出力にそれぞれ第ｎフィールド、第（ｎ−１）フィールド及び第（ｎ−２）フィールドの画像が得られる。これらの画像の輝度信号をｆ（ｎ）、ｆ（ｎ−１），ｆ（ｎ−２）で表わすとき、図２の動きベクトル検出回路１において、フィールドｆ（ｎ−２）を基準フィールドとし、フィールドｆ（ｎ−２）とフィールドｆ（ｎ−１）との間で動きベクトルＶ（ｂ）を検出する。同図の動きベクトル・シフト回路２において、図１に示すようにｆ（ｎ−２）上のブロックＡで検出した動きベクトルをＶａとし、ＡをベクトルＶａでｆ（ｎ−１）に移動したブロックをＢとし、Ａをベクトル２Ｖａでｆ（ｎ）上に移動したブロックをＣとする。
【００１２】
次にブロックＢとＣの画素の輝度信号の差分の絶対値の総和ｄｆｄ（displaced field difference） を相関計算回路３により算出しこれを両者の相関とする。同様に、ｆ（ｎ−２）上のすべてのブロックに対して前記ｄｆｄ（ｃ）を求め、画面全体の総和ＤＦＤ（ｄ）を計算する。ｆ（ｎ−２）上のブロックの総数をＮとし、ブロックｉ（１≦ｉ≦Ｎ）の相関をｄｆｄi とすると、
【数１】
【００１３】
ここで、ｆ（ｎ−２）上のブロックで、そのブロックに対応するｆ（ｎ）上のブロックＣが画面から外れた場合と、ｆ（ｎ−２）のブロックのうち動きベクトルが検出できなかったブロックと、ｆ（ｎ−２）の画面周辺部に位置する一定数のブロックは計算対象から外される。計算対象から外される画像周辺ブロックは、動きベクトル検出回路１の動き検出範囲により決定される。例えば、水平方向の動き検出範囲が±１６画素、即ち、左方向または右方向に１６画素を超えない範囲の動きベクトルを検出できる動きベクトル検出回路を用いた場合で、水平方向の検出ブロック・サイズが８画素の場合は、画面の左右端のそれぞれ２ブロックが計算対象から外される。垂直方向の動き検出範囲も±１６画素でブロックサイズが８画素×８ラインであれば、画面周辺が２ブロックの幅に枠状に計算対象から除外されることになる。
【００１４】
図２の破線で囲まれた回路ブロック、画像相関時間変化検出回路４において、ｆ（ｎ−２）上の動きベクトルＶａを用いてｆ（ｎ−１）とｆ（ｎ）の相関として求めたＤＦＤをＤＦＤ（ｎ）として、
【００１５】
即ち、図２の画像相関時間変化回路４において、Ｄ １ ，Ｄ ２ ，Ｄ ３ はフィールド遅延回路であり、信号ｅ，ｆ，ｇ，ｈはそれぞれ画像相関ＤＦＤ（ｎ），ＤＦＤ（ｎ−１），ＤＦＤ（ｎ−２），ＤＦＤ（ｎ−３）である。更に、ＡＢＳは絶対値化回路であり、ｉ及びｊはそれぞれＤＦＤα 1 及びＤＦＤα 2 である。従って、図２に示す画像相関時間変化回路４の構成では、出力信号ｋとして（ｅ−ｆ）−｜ｆ−ｇ｜＋ｉ、即ち式（１）で定義されたＤＦＤｓ（ｎ）が得られ、出力信号ｌとして（ｅ−ｆ）−｜ｇ−ｈ｜＋ｊ、即ち式（２）で定義されたＤＦＤｆ（ｎ）が得られる。出力信号ｋはシーンチェンジ判定回路５に供給され、出力信号ｌはフラッシュ判定回路６に供給される。
ここで、ＤＦＤα１，ＤＦＤα２はしきい値であるが、入力画像によらず用いるベクトル検出手法の立ち上り特性（電源投入後やシーン・チェンジ後に動きベクトルの真値を検出するまでに要するフィールド単位の過渡特性で、例えば最初の２フィールドの画像で動きベクトルの真値を検出できる場合は、ＤＦＤα１＝０，ＤＦＤα２＝０とする）によって決まる値である。
【００１６】
式（１）のＤＦＤ（ｎ）−ＤＦＤ（ｎ−１）の項はＤＦＤの時間変化を表し、これを見ることにより、シーン・チェンジを検出できる。
即ち、このＤＦＤは、入力画像が動画像でも同一シーン内の場合には、０に近い値になるが、シーンチェンジが生じた場合には、シーンチェンジ前と後の画像間に相関はないので、大きな値になる。
ここで広く知られた知識として、動きベクトルは必ずしも正しく検出できない。そのためＤＦＤが０となることは少ない。そのためＤＦＤ≠０の時をシーンチェンジと判断することはできない。シーンが連続しているとき、時間的に近い各画像のＤＦＤは似た値をとることがわかっている。
そのため、式（１）では、時間的に連続するＤＦＤの差分（時間変化）を評価することで、動きベクトル検出の不完全性によるＤＦＤ≠０とシーンチェンジによるＤＦＤ≠０の判別を行っている。即ち、前記ＤＦＤｓ（ｎ）＞０の時は、シーン・チェンジが発生したと図２の判定回路５において判定する。
また、フラッシュがたかれたシーンをテレビカメラで撮影した場合は、２フィールドにわたって輝度レベルが上昇する画像がほとんどである。従って式（２）のようにフラッシュの影響がなくなった最初のフィールドのＤＦＤ（ｎ）とフラッシュで輝度レベルが上昇した最後のフィールドのＤＦＤ（ｎ−１）の差と輝度レベルが上昇した最初のフィールドのＤＦＤ（ｎ−２）とフラッシュがたかれる前のフィールドのＤＦＤ（ｎ−３）の差を計算し、その差同士の差（違い）を調べることによりフラッシュを検出できる。図２のフラッシュ判定回路では、ＤＦＤｓ（ｎ−１）＞０で、かつＤＦＤｆ（ｎ）＞０の時はフラッシュが発生したと判定する。
【００１７】
以上一実施例により本発明の実施の形態について説明してきたが、本発明はこの実施例に限定されることなく、請求項に記載された発明の要旨内で各種の変形、変更の可能なことは自明であろう。
【００１８】
【発明の効果】
本発明装置によれば、過去の画像間で検出した動きベクトルを用いて現在の画像と直前の画像間の相関を調べるので、動画像においては同一シーン内の画像相関が一定となり、シーン・チェンジやフラッシュの生じた場合の画像相関の時間変化が顕著に検出でき、シーン・チェンジやフラシュ検出の精度を高めることができる。
【図面の簡単な説明】
【図１】 動きベクトルにより画像相関を調べる本発明の原理を説明するための図。
【図２】 本発明装置の回路構成ブロック線図。
【符号の説明】
１ 動きベクトル検出回路
２ 動きベクトル・シフト回路
３ 画像相関計算回路
４ 画像相関時間変化検出回路
５ シーン・チェンジ判定回路
６ フラッシュ判定回路
ＦＭ 1 ，ＦＭ 2 フィールドメモリ
Ｄ ブロック遅延回路
Ｄ 1 ，Ｄ 2 ，Ｄ 3 ， Ｄ ４ フィールド遅延回路
ＡＢＳ 絶対値化回路
ａ ベクトル検出用輝度信号
ｂ 動きベクトルＶ
ｃ 相関ｄｆｄ
ｄ 相関ＤＦＤ
ｅ ＤＦＤ（ｎ）
ｆ ＤＦＤ（ｎ−１）
ｇ ＤＦＤ（ｎ−２）
ｈ ＤＦＤ（ｎ−３）
ｉ ＤＦＤα１
ｊ ＤＦＤα２
ｋ ＤＦＤｓ（ｎ）
ｌ ＤＦＤｆ（ｎ）
ｍ シーン・チェンジ検出信号
ｎ フラッシュ検出信号
Claims (1)
- 連続する入力画像からシーン・チェンジおよび／またはフラッシュの発生する画像を検出する検出装置において、
当該装置が：予め定められた数の画素からなるブロックを単位として入力画像の前々フィールド画像を基準として前々フィールド画像と前フィールド画像間の動きベクトルを検出する動きベクトル検出回路と；
該動きベクトル検出回路の出力である前々フィールド画像上の動きベクトルを用いて、その動きベクトルが対応する前フィールド画像上のブロックと現フィールド画像上のブロックを特定する動きベクトル・シフト回路と；
該動きベクトル・シフト回路により特定した前フィールド画像上のブロックと現フィールド画像上のブロックとの差分を求め、得られたブロック毎の差分の絶対値を画面全体で加算し、加算した総和を前フィールド画像と現フィールド画像間の画像相関として計算する画像相関計算回路と；
該画像相関計算回路の出力である現在の画像相関とそれより前の画像相関の差で表される画像相関の時間変化を検出する回路であって、
前々フィールド画像ｆ（ｎ−２）上の動きベクトルを用いて前フィールド画像ｆ（ｎ−１）と現フィールド画像ｆ（ｎ）の相関として求めた差分ＤＦＤをＤＦＤ（ｎ）、しきい値をＤＦＤα１、ＤＦＤα２として、
ＤＦＤｓ（ｎ）＝ＤＦＤ（ｎ）−ＤＦＤ（ｎ−１）
−｜ＤＦＤ（ｎ−１）−ＤＦＤ（ｎ−２）｜＋ＤＦＤα１
からシーン・チェンジ判定用の時間変化を、
ＤＦＤｆ（ｎ）＝ＤＦＤ（ｎ）−ＤＦＤ（ｎ−１）
−｜ＤＦＤ（ｎ−２）−ＤＦＤ（ｎ−３）｜＋ＤＦＤα２
からフラッシュ判定用の時間変化を算出する画像相関時間変化検出回路と；
該画像相関時間変化検出回路で算出されたシーン・チェンジ判定用の時間変化およびフラッシュ判定用の時間変化の大きさに基づいて画像のシーン・チェンジおよび／またはフラッシュの有無を判定する判定回路とを具備したことを特徴とするシーンチェンジ及び／又はフラッシュ判定回路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17096596A JP3803138B2 (ja) | 1996-07-01 | 1996-07-01 | シーン・チェンジおよび／またはフラッシュ検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17096596A JP3803138B2 (ja) | 1996-07-01 | 1996-07-01 | シーン・チェンジおよび／またはフラッシュ検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1023329A JPH1023329A (ja) | 1998-01-23 |
| JP3803138B2 true JP3803138B2 (ja) | 2006-08-02 |
Family
ID=15914659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17096596A Expired - Fee Related JP3803138B2 (ja) | 1996-07-01 | 1996-07-01 | シーン・チェンジおよび／またはフラッシュ検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3803138B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2351406A (en) * | 1999-06-21 | 2000-12-27 | Sony Uk Ltd | Video data compression with scene change detection |
| KR100634671B1 (ko) * | 1999-08-13 | 2006-10-13 | 주식회사 케이티 | 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법 |
-
1996
- 1996-07-01 JP JP17096596A patent/JP3803138B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1023329A (ja) | 1998-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR0151410B1 (ko) | 영상신호의 운동벡터 검출방법 | |
| US7536031B2 (en) | Temporal interpolation of a pixel on basis of occlusion detection | |
| US5245436A (en) | Method and apparatus for detecting fades in digital video sequences | |
| US6456660B1 (en) | Device and method of detecting motion vectors | |
| KR100865248B1 (ko) | 비디오 신호에서의 자막 검출 | |
| JP2765674B2 (ja) | データ供給装置 | |
| US20050232588A1 (en) | Video processing device | |
| JPH0622298A (ja) | シーンチェンジ検出装置 | |
| US20060209957A1 (en) | Motion sequence pattern detection | |
| KR960028559A (ko) | 동화상 처리 방법 | |
| US8254440B2 (en) | Real time scene change detection in video sequences | |
| US8311269B2 (en) | Blocker image identification apparatus and method | |
| US20050002569A1 (en) | Method and apparatus for processing images | |
| CN1233147C (zh) | 在体育比赛视频中检测精彩片断的方法 | |
| JP3803138B2 (ja) | シーン・チェンジおよび／またはフラッシュ検出装置 | |
| US6754278B1 (en) | Method for recovering moving picture by extending a damaged region in which an error occurs | |
| US20060268181A1 (en) | Shot-cut detection | |
| EP1654703A1 (en) | Graphics overlay detection | |
| US20060158513A1 (en) | Recognizing film and video occurring in parallel in television fields | |
| JPH03214364A (ja) | シーン変化検出方法 | |
| KR20100118811A (ko) | 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 장면 전환 검출 신뢰도 산출 방법 및 소프트웨어 | |
| CN110248182B (zh) | 一种场景片段镜头检测方法 | |
| JP2003047004A (ja) | 映像特徴検出方法、映像特徴検出装置およびデータ記録媒体 | |
| JP3339544B2 (ja) | ディゾルブ検出方法および装置 | |
| JPH0549017A (ja) | 動きベクトル検出回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050318 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050920 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060502 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |