JP3624677B2 - 動画像の特殊効果検出装置及びプログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオや映画等の動画像を短時間で概要把握を行うための早見方法に係り、特にビデオテープやビデオディスクに格納された動画像からカット（１台のカメラで撮影された途切れのない動画像区間）間のワイプ（連続するカットＡ，Ｂがあるとき、そのカットの変わり目において、画面におけるＡの画像の占める面積が減少すると同時にＢの画像の占める面積が徐々に増大する特殊映像効果）を検出する動画像の特殊効果検出装置に関する。
【０００２】
【従来の技術】
近年、通常のテレビ放送に加えて、衛星放送やケーブルテレビなどが普及しつつあり、放送の多チャンネル化が進行している。今後、情報ハイウエイと称される広帯域の通信基盤が整備されれば、放送の配信が容易になり、現状よりもさらに多くの放送業者が参入して、多チャンネル化が加速されると考えられる。
【０００３】
こうした大量に放送される情報の中から、視聴者個人個人にとって有用な情報と無用な情報とを区別し、選択することは非常に手間と時間のかかる作業である。そのため、映像内容を手早く把握するための要約情報（ダイジェスト）を効率よく作成する技術の研究が進められている。ダイジェストを作成するにあたって最も基本的かつ不可欠な処理は、映像中から重要な場面を選び出すことである。このような重要な場面を選び出す方法としては、すでに様々な方法が提案されているが、たとえば、発明者らによる特開平９−６５２８７号では、カットの変わり目や、人物や字幕の有無といった、映像中の各種のイベント点の組み合わせに着目する方法について述べている。特に、デゾルブやワイプなどの特殊効果は、映像の制作者が何らかの効果を期待して付与したものであるから、その付与された付近に重要場面がある可能性が高い。実際、スポーツ番組では、シーンのリプレイからの切り替わりの際に広く用いられており、リプレイされたシーンは、得点シーンや好プレイシーンといった明らかな重要場面となっている。
【０００４】
【発明が解決しようとする課題】
特殊効果にはデゾルブとワイプの２種類があるが、両者とも時間をかけて徐々にカットが移り変わるという共通の性質があり、ある程度時間間隔を空けてサンプリングした２枚のフレーム画像（動画を構成する１コマの画像）を比較すれば、その差異が大きいことを判断基準にして検出が可能である。しかし、このような手法では、デゾルブとワイプの区別がつかないばかりか、パンやズームといったカメラの動きによって映像が変化した場合も検出するため、過剰検出が多過ぎて実用的ではないという問題点がある。そのため、前者のデゾルブについては、発明者らをはじめとして、デゾルブに固有の特徴を用いることで過剰検出を抑えた検出手法が発表されている。しかし、後者のワイプについては、ＡＲＵＮ ＨＡＭＰＡＰＵＲ，ＲＡＭＥＳＨ ＪＡＩＮ ＡＮＤ ＴＥＲＲＹ Ｅ ＷＥＹＭＯＵＴＨ，“Ｐｒｏｄｕｃｔｉｏｎ Ｍｏｄｅｌ Ｂａｓｅｄ Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｓｅｇｍｅｎｔａｔｉｏｎ”， Ｍｕｌｔｉｍｅｄｉａ Ｔｏｏｌｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｖｏｌ．１， ｐｐ．９−４６（１９９５）で、動きがない理想状態のシーンの切り替わりを対象にした、ワイプに特化した検出方法が提案されているものの、動きを考慮した安定した検出手法は存在しない。
【０００５】
本発明の目的は、カメラの動きや映像中の物体の動きと区別して、ワイプだけを正しく検出するための手法を実現することにある。
【０００６】
【課題を解決するための手段】
上記の目的を達成するため、対象となる動画像をフレーム単位で時系列に処理装置に入力し、上記処理装置では、常に過去ｍフレーム分のフレーム画像を記憶するための画像バッファ手段と、入力フレームのヒストグラムを含む特徴量を計算する手段と、上記特徴量とｍフレーム分過去のフレームにおける上記特徴量との第１の相関を求める手段と、過去ｍフレーム分の間に色または輝度に変化があった画素について、その変化前の画素の色または輝度全体から得られる統計量と、変化後の画素の色または輝度全体から得られる統計量との間で第２の相関を求める手段とを有し、第１と第２の相関がそれぞれ予め定めた許容範囲外となった時点で、ワイプによる場面の変わり目があったと判定し、上記時点またはその近傍を含む区間を抽出する手段を設ける。
【０００７】
また、必要に応じて、上記第２の相関をｍフレーム分記憶する手段と、ｍフレーム分の相関の総和をもってワイプによる場面の変わり目かどうかを判定する手段、カット点を検出し、カット点が過去ｍフレーム内に発生した場合にはそれまでに求めた相関を初期値に戻す手段、過去ｍフレーム分の間に色または輝度に変化があった画素の数が単調に増加しない場合にはワイプによる場面の変わり目としない手段、画素の色または輝度が短いフレーム間隔に変化してまた元の値に戻るような場合は変化と見なさない手段、上記第１の相関に加えて、入力フレームにおける特徴量とｍ＋δフレーム分過去のフレームにおける特徴量との間の相関も求め、相関の高いほうを改めて第１の相関とする手段を設ける。
【０００８】
本発明によれば、従来のデゾルブに加えて、ワイプを含む特殊映像効果による場面の変わり目を、カメラの動きや物体の大きな動きの影響を小さく抑えて検出できるため、そうした特殊効果に相前後して流される重要な場面を精度よく抽出できる。
【０００９】
【発明の実施の形態】
図１は、本発明を実現するためのシステム構成の概略ブロック図の一例である。１はＣＲＴ等のディスプレイ装置であり、コンピュータ４の出力画面を表示する。コンピュータ４に対する命令は、キーボードやポインティングデバイス等の入力装置５を使って行うことができる。１０の動画像再生装置は、地上波放送や衛星放送，ケーブルテレビなどの放送番組を受信するためのチューナ装置、または光ディスクやビデオテープ等に記録された動画像を再生するための装置である。
【００１０】
動画像再生装置から出力される映像信号は、逐次、３のＡ／Ｄ変換器によってデジタル画像データに変換され、コンピュータに送られる。コンピュータ内部では、デジタル画像データは、インタフェース８を介してメモリ９に入り、メモリ９に格納されたプログラムに従って、ＣＰＵ７によって処理される。１０が扱う動画像の各フレームに、動画像の先頭から順に番号（フレーム番号）が割り付けられている場合には、フレーム番号を制御線２によって動画像再生装置に送ることで、当該場面の動画像を呼び出して再生することができる。また、処理の必要に応じて、各種情報を外部情報記憶装置６に蓄積することができる。メモリ９には、以下に説明する処理によって作成される各種のデータが格納され、必要に応じて参照される。
【００１１】
以下では、特殊映像効果によるカット変化の一つであるワイプを検出する方法について詳細に説明する。
【００１２】
図２は、図１で示したシステム上で実行される、動画像のワイプ検出プログラムのフローチャートの一例である。プログラムはメモリ９に格納され、ＣＰＵ７は、まず最初に初期化処理として、プログラムの実行に必要な各種の変数を初期値に設定し（２００）、メインループ（２０２〜２６０）に入る。メインループは処理終了が指示されるまで繰り返される。
【００１３】
メインループでは、まず処理２０２で、動画像再生装置１０が出力するフレーム画像ｆ（ｎ）の取り込みを行う。ここでｎは、処理開始から入力されたｎ番目のフレームという意味を表すためのカウンタであり、２６０で１つずつ増やされる。
【００１４】
２０４から２５８の処理では、ワイプに特有の特徴の検出を行っている。ここで、ワイプは、図３に示すように、カットの変わり目の前後でＢのように、前後のカットのフレーム画像ＡとＣの一部分が互いに混在する区間を持つカット変化である。ＢにおけるＡとＣの面積比率は、ワイプ開始時のＡが１００％、Ｃが０％の状態から、時間をかけて比率が逆転してゆき、最終的にＡが０％、Ｃが１００ ％になった時点でワイプが完了する。この例のワイプの場合、シーンＡにおいて撮影カメラが横に動いて画面が変化した、いわゆるパンと、動きの様子からは区別しにくいことがわかる。そこで、動きに影響されないワイプ固有の特徴として、次の３点を考える。
【００１５】
１）ワイプ区間中に新しく現れる画像部分は、それまでの画像との類似性が低い
。
【００１６】
２）ワイプ区間中に新しく現れた画像部分と、それまでの画像との境界では色差
が大きい。
【００１７】
３）ワイプ区間の開始時と終了時のフレーム画像の類似性は低い。
【００１８】
１）に関して、自然界にある風景は色彩的になめらかに連続しているものがほとんどであり、カメラの動きによって新たに画面に入ってきた画像部分は、それまでの画像と色彩的に非常に類似している。看板や建物などといった直線的な人工物が新しく入ってくるようなシーンでも、新たに画面に入ってくる画像部分に占めるそれらの面積比率は多くが小さく、統計的には色彩が非常に類似したものとなる。ところが、ワイプによって新しく入ってきた画像部分は、そもそも異なるシーンの一部分が挿入されたものであるため、明らかに画像の類似性が低い。
【００１９】
また、２）に関して、ワイプによって新たに挿入される画像部分と、挿入を受ける側の画像との境界（図３のフレーム画像Ｂ中においては、人と車の画像間を区切る縦棒付近）では、境界を挟んで隣接する画素の間の色（あるいは輝度）の差異が非常に大きくなる。このように人工的な明確な断層は、１）と同様の理由から、自然画像中には存在しにくいため、ワイプが発生していることを示す大きな特徴となる。これらの２点に着目することで、カメラの動きによる変化との区別が可能になる。
【００２０】
最後の３）は、映像内での被写体の大きな動きとワイプとを区別するための特徴である。被写体は、その背景との間に明確な境界を持ち、また、それが大きく動くと、被写体の陰に隠されていた背景が新たに現れるなど、場合によっては １）と２）で挙げたワイプの特徴を満たしてしまう。しかし、被写体の動きの場合は、同じシーン内であるから、画面全体の統計的な色彩としては、動きの前後で大きな違いは見られないので、これによって被写体の動きとワイプとを区別できる。但し、動きの前後では、被写体の移動など構図や背景に変化は生じているので、画像の位置に依存しない統計的特徴量の比較で画面全体の比較を行う必要はある。
【００２１】
ワイプには、画像が挿入される位置や移り変わりの様式によって様々なパターンがあるが、上で挙げた３つの特徴は、いずれの場合も普遍に成立する。
【００２２】
次に、図２にしたがい、より具体的にワイプ検出アルゴリズムについて説明する。まず処理２０４では、２０２で入力されたフレーム画像のヒストグラム
Ｈ（ｎ）が計算される。ここでｎは、先述のようにフレーム番号を表わし、各フレームに対応してヒストグラムが各々作成されることを意味する。ヒストグラムは、１枚のフレーム画像全体における、同じ色を示す画素の出現頻度を求めたものである。
【００２３】
例えば、ＲＧＢ各２ビット６４色の色ヒストグラムを作成する場合、フレームの各画素のＲＧＢカラー値をそのＲＧＢ各上位２ビットのみで表現した６ビット６４色に縮退し、６４色のそれぞれについて、縮退によってその色を示す画素の数をカウントする。この場合、色ヒストグラムは配列Ｈ（ｎ，ｉ）で表すこともでき、ｉは０から６３の値をとる。例えば、ｉが０のときの度数Ｈ（ｎ，０）は、ＲＧＢカラー値の上位２ビットがＲＧＢ各々全て０である画素がフレーム中に幾つあるかを示している。
【００２４】
このように、ヒストグラムは色の画面上での分布状態を反映しないため、画面内での動きや、部分的な変化があっても安定した値をとる特徴がある。ここで計算したヒストグラムは、後述するように、上記３）の特徴を検出するために用いる。
【００２５】
続く処理２０６〜２１０では、まず新たに入ってきた画像領域の分布状況を記憶するためのバッファＢ（ｎ）を０で初期化する。Ｂ（ｎ）は、入力したフレーム画像ｆ（ｎ）と同じサイズｗ×ｈを持つ二次元配列であり、フレーム画像上の座標（ｘ，ｙ）に対応するセルはＢ（ｎ，ｘ，ｙ）と表現することにする。Ｂ（ｎ，ｘ，ｙ）は、０か１の値をとり、１のときに、そのセルに対応する座標（ｘ，ｙ）の画素が、新たに入ってきた画像領域を構成していることを示す。
【００２６】
そして、処理２１２〜２２０では、最新のフレーム画像ｆ（ｎ）の各画素について逐一調べていき、直前に入力されたフレーム画像ｆ（ｎ−１）における同一座標（ｘ，ｙ）に位置する画素との色（あるいは輝度）の差が閾値ｔｈ１以上で、かつ、ｆ（ｎ）上での４近傍、すなわち、（ｘ−δ，ｙ），（ｘ＋δ，ｙ），（ｘ，ｙ−δ），（ｘ，ｙ＋δ）に位置する画素の中に、色（あるいは輝度）の差が閾値ｔｈ２以上の画素が一つ以上ある場合には、その座標（ｘ，ｙ）に対応するＢ（ｎ，ｘ，ｙ）に１を代入する。
【００２７】
このとき、単純に輝度のみではなく、色の差で閾値判定を行う場合には、たとえばＲＧＢ各成分ごとに輝度の差が一つでもｔｈ１（あるいはｔｈ２）を超えるか否かを判定する。また、ここで４近傍に位置する画素との間で差異があること、すなわちエッジとなっていることを条件としているのは、エッジと関係のない変化画素の数を抑制することで、前述の２）の特徴である、前画像と挿入画像の領域境界に発生する断層を構成する画素（これらは当然エッジになる）の全体に占める相対的な比率を高め、ワイプの特徴がより顕現化しやすいようにするためである。この場合、単にエッジを求めるものであるから、４近傍に限定される必要はなく、８近傍で調べて求めても一向に構わない。
【００２８】
以上のようにして、０と１からなるビットマップＢ（ｎ）を作成した後、過去ｍフレーム分のＢ（ｎ）についてビット演算による論理和をとり、その結果を表すビットマップＢ０を求める（２２２〜２３６）。このＢ０が、ｍフレーム分の間に挿入された可能性のある全画像領域を表わすことになる。ここで、ｍはワイプを検出するための処理上の探索範囲を示し、概ね８から１５の値をとると実験的に良好な結果が得られる。個々のフレーム画像に関連する各種の情報を記憶するバッファ容量は、ｍフレーム分あればよい。
【００２９】
以上の処理の中で、単純にｍフレーム分離れた２枚のフレーム画像間での変化からＢ０を求めなかったのは、ｍフレーム分離れると、物体やカメラによる動きの幅が非常に大きくなり、遠く離れた領域の色が移動してくることで、動きに起因した変化の大きな画素が増えてしまうためである。本実施例のように連続するフレーム間で比べた場合、動きの幅が小さいので、同じ色彩を持つ領域内での変化が多く、動きに起因する変化画素の数は統計的に抑えられる。ワイプの場合には、異なる画像が挿入される原理上、短い時間間隔であっても変化の大きな画素は多い。
【００３０】
次に、２０４で求めたヒストグラムＨ（ｎ）と、ｍフレーム分過去のフレーム画像ｆ（ｎ−ｍ）におけるヒストグラムＨ（ｎ−ｍ）との間で相違度Ｄ１を計算する（２３８）。相違度Ｄ１は、例えば、カイ二乗検定等の計算式により求めることができる。
【００３１】
これによって、過去ｍフレーム分の区間内にワイプがある可能性があるかどうかを調べる。先述の３）の特徴で挙げたように、ワイプはカットの切り替わりであるから、ワイプがあると色彩的にも大きな変化が生ずることを利用している。このとき、相違度Ｄ１が閾値ｔｈ３よりも大きければ（２４０）、ワイプがある可能性が高いとして、先述の１）の特徴が現れているか否かを調べる処理に移行する。
【００３２】
まず処理２４２では、最新のフレーム画像ｆ（ｎ）について、Ｂ０（ｘ，ｙ）＝１を満たす画素のみをサンプリングしてヒストグラムＨｃを作成する。ヒストグラム作成のための画素がＢ０によって限定される以外は、基本的にＨ（ｎ）と同様の作成方法である。続く２４４では、ｍフレーム分過去のフレーム画像ｆ（ｎ−ｍ）について、同様にＢ０（ｘ，ｙ）＝１を満たす画素のみをサンプリングしてヒストグラムＨｃ′を作成する。そして、ＨｃとＨｃ′の間の相違度Ｄ２（ｎ）を計算する（２４６）。Ｂ０は、前述のように、過去ｍフレーム分の間に新たに現れた領域を表わすビットマップであるから、Ｄ２（ｎ）は、新たに入ってきた画像領域と、それまでの画像領域との間の相違度を示している。Ｄ２（ｎ）が閾値ｔｈ４以上のときには（２４８）、過去ｍフレーム分のＤ２の総和をとり、評価値ｅｖａｌを得る（２５０〜２５４）。ｅｖａｌが閾値ｔｈ５より大きいときには
（２５６）、ワイプ区間にあるとして検出時処理２５８を行う。
【００３３】
ワイプ検出時処理２５８は、ワイプの検出をトリガーにして、リプレイシーンを特定して記憶したりといったアプリケーション的な処理である。ここで、過去ｍフレーム分のＤ２の総和をとったのは、ワイプ区間では、Ｄ２の値が連続的に大きな値をとることが多く、また逆に、動きによる変化の場合には断片的なことが多く、総和をとることでさらに区別がつきやすくなるためである。過剰検出を許しても感度を高めたい場合には、処理２５０〜２５４は不要である。以上で説明したアルゴリズムの基本的な考え方を示した概略図を図４に示しておく。
【００３４】
上記のアルゴリズムによって、ワイプを検出できるが、さらに検出精度を向上させるために、いくつかの条件を加えることができる。
【００３５】
ワイプは、徐々に画面が変化し、最終的に全画面が切り替わる映像効果であるから、一定時間に渡って様子を追うと、前画像と挿入画像との間の境界線は、その軌跡が全画面を覆い尽くすようにワイプの進行とともに移動する。ワイプ区間においては、Ｂ０で示される変化領域には、一定時間分の境界線の軌跡が含まれている。軌跡はワイプの始まりには一部分にしかなく、ワイプの進行にともない画面全体に広がっていくから、Ｂ０で示される変化領域の面積は、ワイプ区間であれば単調に増加する傾向がある。これを条件にすることで、ワイプであることを、さらに限定することができる。これは、Ｂ０における１の総数を一定時間分記憶しておき、その総数が単調増加するかどうかを調べればよい。
【００３６】
また、図２に示したアルゴリズムでは、その原理上、過去ｍフレーム分の間にカット点が存在する場合にも、誤ってワイプとして検出されてしまう問題点がある。カット点とワイプとを明確に区別するために、カット点は別の手法で独立して検出を行い、カット点が検出されたときには、ワイプ検出用の各種変数をリセットして、ワイプとして検出しないようにする。この場合のカット検出には、従来からある手法をそのまま用いることができる。
【００３７】
カット点と同様に問題となる映像変化として、フラッシュなどの瞬間的なノイズの発生がある。フラッシュは、最大数フレームの微少時間の間、画面全体や一部が白くなる現象であり、画面全体に及ぶフラッシュは、白くなる際に１回、元の映像に戻る際に１回の計２回のカット点が極めて短い時間間隔で連続するため、その特徴から検出ができる。このようにしてフラッシュが検出された場合、上述のカット点のときと同様にリセットして、ワイプとして検出しないようにする。
【００３８】
しかしながら、このような手法だけでは、画面の一部のみにフラッシュが発生した場合には対応できない。しかも、フラッシュが発生した部分は、そのまま変化領域としてＢ（ｎ）に反映するので、ワイプ検出の精度に強く影響を与える。
【００３９】
そこで、Ｂ（ｎ）を求める際には、図２の処理２１６と２１８の条件文にさらに加えて、フラッシュである可能性の高い画素（ｘ，ｙ）については、変化領域としては計上しない、すなわち、Ｂ（ｎ，ｘ，ｙ）＝０のままとするという条件を追加する。フラッシュである可能性の高い画素は、ｆ（ｎ−δ）における色（あるいは輝度）と、ｆ（ｎ）における色（あるいは輝度）とが閾値ｔｈ６以上で、なおかつｆ（ｎ−δ）における色（あるいは輝度）と、ｆ（ｎ＋δ）における色（あるいは輝度）とが閾値ｔｈ７以下の場合として表すことができる。
【００４０】
また、部分フラッシュのもう一つの問題として、図２におけるＤ１が大きくなり、ワイプである可能性が高いとして不必要に処理２４２〜２５８を行ってしまい、過剰検出の危険度が高まることがある。そこで、Ｈ（ｎ）と、ｍフレーム前のフレームｆ（ｎ−ｍ）のヒストグラムＨ（ｎ−ｍ）との間の相違度Ｄ１に加えて、ｍ＋δフレーム前のヒストグラムＨ（ｎ−ｍ−δ）とＨ（ｎ）との相違度 Ｄ１′を求め、いずれか小さいほうをＤ１として処理２４０を行ってもよい。これによって、フラッシュで乱された画像を回避して正しい相違度Ｄ１が求められることになる。
【００４１】
上記で述べた手法によりワイプを検出することで、特にスポーツ中継のハイライトシーンが容易に見つけられるようになる。リプレイシーンからの切り替わりの際には、多くの場合、映像が一度静止画状態になってから、ワイプがかかるという演出上の特徴があるため、静止画状態も合わせて検出し、その直後にワイプが検出された場合に、リプレイシーンからの切り替わりがあったと組み合わせで判定するようにしてもよい。静止画状態の検出は、変化領域Ｂ０がしばらくの間、すべて０、または１があっても少数の状態が続くことで容易に検出可能である。これによって、ハイライトシーンの検出がより精度よく行える。
【００４２】
【発明の効果】
本発明によれば、カメラや被写体の動きに影響されることなく的確に特殊効果が検出できるので、特殊効果に着目した重要な場面の選択が可能になり、ダイジェスト映像が自動で作成できる効果がある。また、カット点の検出による自動インデクシングを基本にした映像ハンドリングシステムにおいても、これまで難しかったワイプ点の検出が可能になるので、精度の高いインデクスが提供可能となる。
【図面の簡単な説明】
【図１】本発明の実施例を実現するためのシステム構成のブロック図。
【図２】ワイプの検出を行うプログラムのフローチャート。
【図３】ワイプの概念を表す説明図。
【図４】本発明のアルゴリズムの基本的な考え方を示した説明図。
【符号の説明】
１…ディスプレイ、２…制御信号線、３…Ａ／Ｄ変換器、４…コンピュータ、５…入力装置、６…外部情報記憶装置、７…ＣＰＵ、８…接続インタフェース、９…メモリ、１０…動画像再生装置、１１…キーボード。

Claims (9)

1. 連続する複数枚の画像よりなる動画像から、ワイプを含む特殊映像効果の場面の変わり目を検出する方法において、
   対象となる動画像をフレーム単位で時系列に処理装置に入力し、
   上記処理装置では、
   過去ｍフレーム分のフレーム画像を記憶するための画像バッファ手段と、
   入力フレームの色又は輝度の特徴量を計算する手段と、
   １の入力フレームの上記特徴量と該１の入力フレームのｍフレーム分過去のフレームにおける上記特徴量との第１の相関を求める手段と、
   過去ｍフレーム分の間に色または輝度に所定値以上の変化があった領域について、その変化前の画素の色または輝度全体から得られる統計量と、変化後の画素の色または輝度全体から得られる統計量との間で第２の相関を求める手段とを有し、
   第１と第２の相関がそれぞれ予め定めた許容範囲外となった場合に、ワイプによる場面の変わり目があったと判定し、上記区間またはその近傍を抽出することを特徴とする動画像の特殊効果検出装置。
2. 請求項１記載の装置において、上記第２の相関をｍフレーム分記憶する手段と、
   ｍフレーム分の相関の総和をもってワイプによる場面の変わり目かどうかを判定する手段とを設けたことを特徴とする動画像の特殊効果検出装置。
3. 請求項１又は２に記載の装置において、カット点を検出し、カット点が過去ｍフレーム内に発生した場合にはそれまでに求めた相関を初期値に戻す手段を設けたことを特徴とする動画像の特殊効果検出装置。
4. 請求項１乃至３の何れかに記載の装置において、過去ｍフレーム分の間に色または輝度に変化があった画素の数が、ある特定の区間内において単調に増加する場合にのみ、上記区間をワイプによる場面の変わり目であると判定する手段を設けたことを特徴とする動画像の特殊効果検出装置。
5. 請求項１乃至４の何れかに記載の装置において、過去ｍフレーム分の間に色または輝度に所定値以上の変化があった画素とは、画素の色または輝度が短いフレーム間隔の間に変化してまた元の値に戻るような画素ではないことを特徴とする動画像の特殊効果検出装置。
6. 請求項１乃至５の何れかに記載の装置において、
   上記画像バッファ手段はｍ＋δフレーム分のフレーム画像を記憶し、
   上記第１の相関に加えて、入力フレームにおける特徴量とｍ＋δフレーム分過去のフレームにおける特徴量との間の相関も求め、上記２つの相関のうち高いほうを改めて第１の相関とする手段を設けたことを特徴とする動画像の特殊効果検出装置。
7. 請求項１乃至６のいずれかに記載の装置において、ワイプによる場面の変わり目があったと判定したときに、その瞬間または近傍のフレーム画像を抽出して、その近傍のシーンを代表するデータとして記憶装置に記録する手段を設けたことを特徴とする動画像の特殊効果検出装置。
8. 請求項１乃至７のいずれかに記載の装置において、ワイプによる場面の変わり目があったと判定したときに、その瞬間または近傍のフレームのアドレス情報を記憶装置に記録する手段を設けたことを特徴とする動画像の特殊効果検出装置。
9. 動画像の特殊効果検出をコンピュータに実行させるプログラムであって、
   対象となる連続する複数枚の画像よりなる動画像をフレーム単位で時系列に取得するステップと、
   過去ｍフレーム分のフレーム画像を上記コンピュータの有する若しくは上記コンピュータに接続される記憶手段に記憶させるステップと、
   入力フレームの色又は輝度の特徴量を計算するステップと、
   １の入力フレームの上記特徴量と該１の入力フレームのｍフレーム分過去のフレームにおける上記特徴量との第１の相関を求めるステップと、
   過去ｍフレーム分の間に色または輝度に所定値以上の変化があった領域について、その変化前の画素の色または輝度全体から得られる統計量と、変化後の画素の色または輝度全体から得られる統計量との間で第２の相関を求めるステップと、
   上記第１と第２の相関がそれぞれ予め定めた許容範囲外となった時点で、ワイプによる場面の変わり目があったと判定し、上記区間またはその近傍を抽出するステップとを有することを特徴とするプログラムを記録した記録媒体。

Images