JP3554595B2 - カメラ移動誘発シーン変化を検出するための方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、ビデオ番組などの映像列内のシーン変化を自動的に検出するための方法、より具体的には、パン、ティルト、ズームなどのカメラ動作に起因するショット内シーン変化を検出するための方法に係る。
【０００２】
【従来の技術】
ビデオ番組は、通常、映画やビデオ産業において“ショット”と称される複数の異なるビデオセグメントの編集によって形成される。各ショットは、単一カメラの一つの継続した（中断の無い）動作間隔中に生成された一続きのフレーム列（つまり、複数の映像）から成る。例えば、動画においては、ショットは、単一のカメラによって収録を開始してから停止されるまでの間に生成されたフィルムに記録された一続きのフレームである。
生のテレビ放送においては、一つのショットは、画面上に見られる単一のカメラが大気中に放送を開始してから別のカメラによって取って代わられるまでの間の映像から構成される。
【０００３】
複数のショットは、（“カット”と称される）二つの一続きのショット間の境界がはっきりと定義される急峻なモード（つまり、突き合わせ編集、或は切り替えモード）にて互いに結合することも、或は多くの他の編集モードの一つ、例えば、結果として一つのショットから次のショットへの緩やかな遷移が起こるフェード或はディゾルブなどのによって結合することもできる。使用される特定の遷移モードは、通常、監督によって、時間と場所の変化についてのヒントが得られ、視聴者が事象の進行について行けるように選択される。
【０００４】
複数の異なるショット間の急峻な遷移を検出するための幾つかの自動ビデオ索引付け法が知られている。急峻な遷移と緩やかな遷移の両方を検出することができる自動ビデオ索引付け法の一例が、１９９３年１２月２１日付けで申請された、『Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ａｂｒｕｐｔ ａｎｄ Ｇｒａｄｕａｌ Ｓｃｅｎｅ Ｃｈａｎｇｅｓ Ｉｎ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ（映像列の急峻な及び緩やかなシーン変化を検出するための方法と装置）』という名称の特許出願第０８／１７１，１３６号において開示されているが、この内容を参照されたい。自動ビデオ番組索引付けの背景においては、これらの急峻な遷移は、しばしば、“シーン”と呼ばれ、検出された境界（つまり、カット）は、“シーン境界”と呼ばれる。ただし、ある一つの“シーン”は、通常、実質的に類似する情報を運ぶ密接に関連した内容のフレームの列であるものと考慮される。ビデオ番組が“静止ショット”（つまり、カメラの移動がないショット）のみから構成される場合は、各ショットは、単一のシーンを含むのみである。ただし、通常は、ビデオ番組は、静止ショットばかりでなく、“移動ショット”（つまり、カメラにパン、ティルト、ズームなどの動作が加えられるショット）も含む。従って、カメラの移動のために、一連のフレームの内容が一つのショットの期間中に大きく変化し、あるショット内に一つ以上のシーンが存在する結果となる。従って、異なるショット間の境界もシーン境界を構成するが、カメラ移動によってショット内シーン変化が生成されるために、前者のショット間シーン境界は、あるビデオ番組内において発生する後者を含めた全シーン境界の一部分であるにすぎない。
【０００５】
【発明が解決しようとする課題】
従来のシーン変化検出法は、前者のショット間の境界の所で発生するシーンの変化のみを検出し、後者の個々のショット内で発生するシーンの変化を検出しないために不完全である。
【０００６】
【課題を解決するための手段】
本発明においては、単一のショットを構成する視覚情報を帯びるフレームの列内のカメラ誘発シーン変化を決定（検出）するための方法が開発された。この方法の一例においては、単一のカメラショット内の複数の対のフレームの各対間のカメラ誘発移動が決定される。このカメラ誘発移動が、これら複数の各フレーム対について、少なくとも、第一の成分に分解される。この第一の成分の値が、これら複数の各フレーム対に対して総和され、第一の累積信号が形成される。この第一の累積信号がある判定基準を満たしたときにシーンの変化が示される（検出、決定される）。
【０００７】
本発明の一つの具体例においては、カメラ移動が映像パン、映像ティルト、或は映像ズームのいずれか一つを表わす第一の成分に分解される。本発明の別の例においては、カメラ移動が、三つのこれら成分の全てに分解される。
本発明の別の例においては、単一のカメラショット内の複数の対のフレームの各対間のカメラ誘発移動を表わす信号が生成される。複数のこれらの信号がこれら複数のフレーム対に対して総和され、第一の累積信号が形成される。この第一の累積信号がある判定しきい値を超えたときにシーン変化が示される。
本発明のさらにもう一つの例においては、本発明の方法が、カメラショット間の急峻及び緩やかな遷移を検出するブロック比較技法などの周知の方法と共に使用される。周知の方法が、各カメラショットの開始を見つけるために使用されるが、この開始は、新しいシーンの開始と呼ばれる。次に、周知の任意の方法を使用してそのカメラショット内の一続きのフレームの間で発生する映像パン、映像ティルト、及び映像ズームが抽出される。映像パン、映像ティルト、映像ズームのカメラ動作の各々に対して、一続きのフレームの間で計算された値を使用して、２つの信号、つまり：１）新しいシーンが開始されて以来のカメラ動作の累積値を表わす連続信号；及び２）与えられた動作に対するカメラの連続した起動（を示す２進信号、が生成される。シーン変化が：１）カメラの任意の動作に対する累積値の規模が所定のしきい値を超えた場合；或は２）任意のカメラ動作（つまり、パン、ティルト、或はズーム動作）に対する一つの連続動作期間が終端したことが２進信号によって示され、しかもその時点でそれに対応する累積値が、少なくとも、もう一つの所定のしきい値と同一の規模を持つときに示される。
【０００８】
【実施例】
図１は本発明によるシーン変化検出器２を示す。検出器２は、映像デジタル化器３、映像プロセッサ４、及びデジタルコンピュータ７を含む。映像プロセッサ４は、現在のフレームと前のフレームのデジタル化された映像を保持し、また、映像プロセッサ４によって生成された中間結果を格納するための映像メモリ６を含む。映像プロセッサ４はさらに映像メモリ６内に含まれる映像を処理するためのプロセッサ５を含む。本発明の別の実施例においては、デジタルコンピュータ７が映像プロセッサ４の仕事を遂行し、これによって、個別の映像プロセッサ４の必要性が排除される。上に述べたように、シーン変化検出器２は、ショット間の境界とショット内シーンの境界の両方を検出することができる。
【０００９】
本発明の方法は、ビデオ番組内の個々のショットについて動作する。ただし、このようなショット内のシーンの変化を検出するためには、その前に、そのビデオ番組を周知の方法で個々のショットにセグメント化しておくことが必要である。個々のショットが区分されたら、各ショットのショット内シーン変化が図２に示されるように本発明の方法によって検出される。ここで注意すべき点は、ある一つのショット境界は、（用語の定義上）それ自身が一つのシーン変化であることである。
【００１０】
図２には、本発明の一例によって遂行されるステップが示される。ある一つのショットの開始（これは一つの新たなシーンの開始でもある）において、ステップ２１０に示されるように、カメラ誘発シーン変化検出器が初期化される。ステップ２４０において、そのショット内の一続きのフレームがデジタル化され、ステップ２５０において、このカメラ誘発シーン変化検出方法を使用して、ショット内シーン変化が検出される。ステップ２６０において、ステップ２５０からの出力がシーン変化が存在するかチェックされる。シーン変化が検出された場合は、ステップ２７０において適当な動作が行なわれる。遂行される特定の動作は、シーン変化検出が使用される用途に基づいて選択される。本発明のこの方法は、任意の所望の用途と共に使用することができるが、これらの数例が後に説明される。ショット内シーン変化検出器が、次に、このプロセスを反復するために初期化される。上に説明のステップがそのショット内の全てのフレームが処理されるまで反復される。シーン変化が検出されない場合は、このプロセスが、ショット内シーン変化検出器の再初期化を行なうことなしに継続される。
【００１１】
本発明のもう一つの実施例においては、図３に示されるように、ショット境界）とショット内シーン変化の検出の両方がビデオ番組について一緒に遂行される。このケースにおいては、初期化ステップ３１０が最初に、及び、各シーン変化の検出の後に遂行される。ステップ３４０においてフレームが順番にデジタル化される。デジタル化されたフレームは、最初に、ステップ３５０において、周知のショット境界検出方法、例えば、上に説明の方法を使用して、ショット境界が存在するかチェックされる。この結果がステップ３６０においてチェックされる。ショット境界（これはまたシーン境界でもある）が検出された場合は、ステップ３８０が遂行され、プロセスは、ステップ３１０から再び反復される。ショット境界が検出されない場合は、ステップ２５０がショット内シーン変化が存在しないか検出するために遂行される。このステップの結果がステップ３７０においてチェックされる。ショット内シーン変化が検出された場合は、ステップ３８０が遂行され、プロセスは、ステップ３１０から再び反復される。ショット内シーン変化が検出されない場合は、プロセスは、ステップ３２０から再び反復され、こうして、ショット内検出器の再初期化が回避される。プロセスは、ステップ３２０が最後の番組フレームに到達したことを示す場合は、ステップ３３０において終端する。
【００１２】
以下では、ステップ２５０において遂行されるショット内シーン変化の検出方法について詳細に説明する。ステップ２５０において使用される検出基準はカメラ動作に依存するために、最初に、様々なカメラ動作の例と、それら動作を使用する目的について説明する。その後に、これらカメラ動作のフレームへの効果と、これら効果を認識するために使用される検出基準について説明される。
【００１３】
カメラ動作
ビデオ番組は通常２つの異なるタイプのショットから構成される。一つのタイプのショットは、カメラが移動せず、また、レンズがズームイン或はズームアウトしない場合に得られる。このタイプのショットは、“静止ショット”と称される。もう一つのタイプのショットは、カメラが、移動した場合、ズーム動作が行なわれた場合、或は両者が同時に起こった場合に得られる。これらショットは、“移動ショット”と称される。カメラの移動とズーム動作は、集合的に、“カメラ動作”或は“カメラの動き”と称される。
【００１４】
カメラ動作は、次のように分類することができる。“パン”は、カメラの左右への水平方向の（つまり、垂直軸を中心としての）回転である。“ティルト”は、カメラの上下の（つまり、水平軸を中心としての）回転である。“ドリー”は、カメラの光学軸に沿って対象に接近或は離れるカメラ移動である。“トラッキング”は、ここでは、カメラの光学軸に垂直な平面内でのカメラの移動を指すのに使用される。勿論、カメラの全ての移行運動は、ドリーとトラッキング動作の組合わせから成る。“ズーム”は、ズームレンズの焦点長を変化させることによって達成される効果であり、これは、ドリー動作によって達成される効果と極めて類似する。上の個々のカメラ動作が、カメラが経験する実際の動きの成分であると見なされる。
【００１５】
カメラ動作の目的
典型的には、カメラは、明白な目的がない限り、移動されない。良く監督されたビデオ番組においては、個々のカメラ動作は明白な理由のために遂行される。例えば、パン或はティルト移動は、対象がその映像の片側から反対側に移動したとき、“その行為を追跡する”ために使用される。パン或はティルトは、二つの異なる対象間の視野の橋渡しを行なうための“関連付け”のためにも使用されるが、これは、一つの対象から別の対象にパン及び／或はティルトすることによって行なわれる。パンとティルトは、また、恐らくは、完全にズームアウトされた位置でも一つのフレーム内に入りきらない大きな対象に対する“見当識”を得るためにも使用される。つまり、カメラが複数のフレームを通じて対象全体が記録できるように移動される。“見当識”に類似するものとして、パンとティルトが“探究”のために使用される場合があるが、この動作においては、シーンの選択された細部が接近光景にて示される。関連付け、見当識、探究などのカメラ動作の例が、Ｓｔａｓｈｅｆｆ Ｅ．とＢｒｅｔｚ Ｒ．による著書『Ｔｈｅ Ｔｅｌｅｖｉｓｉｏｎ Ｐｒｏｇｒａｍ： Ｉｔｓ Ｄｉｒｅｃｔｉｏｎ ａｎｄ Ｐｒｏｄｕｃｔｉｏｎ』、４版、Ｈｉｌｌ ａｎｄ Ｗａｎｇ ｐｕｂｌｉｓｈｅｒｓ、Ｎｅｗ Ｙｏｒｋ、１９６８年出版、において示されているので参照されたい。
【００１６】
トラッキングは、パンとティルト動作に非常に類似する結果を達成するために使用することができる（ただし、厳密には同一でない）。トラッキングは、３６０ の全視野から対象を見るために使用される。パンとティルトの回転動作によって共有されないトラッキングの一つの特性として、深さの感覚の増加がある。これは、カメラが追跡（トラック）を行なうとき、カメラに近い対象がカメラから遠い対象よりも速く移動するように見えるために起こる。
【００１７】
ズーム動作は、複数の目的を果たす。ズームイン動作は、対象の接近した視野を生成し、広い視野では見ることのできない詳細を提供する。一つのショットは、ズームレンズが広角位置にある状態にて開始され、一つ或は数個の対象の小さな視野を生成し、次に、一つの特定の対象の拡大された視野を得るためにズームインされ、結果として他の対象が排除される場合もある。大きな倍率の変化を伴うゆっくりしたズーム動作は、対象の、従って、観察可能な細部の倍率の連続した増加或は減少を与え、一方において、シーン内の複数の対象の相対位置に関する追加の情報を供給する。ズームアウト動作は、対象の周囲の視野を提供するため、或はそのシーン内に他の対象を入れるために使用される。
ズームとドリー動作は両方とも、視野と倍率を変化させる。ドリー動作によって生成される倍率の程度はカメラと対象との間の距離に依存し、一方、ズーム動作によって生成される倍率の程度は、距離には独立であり、レンズの焦点長の変化のみの関数である。
【００１８】
映像へのカメラ動作の効果
上に説明の個々のカメラ動作は、そのカメラによって生成されるフレームに特有の効果を与える。ここでの説明の目的に対してはカメラの移動についてのみ考察されるが、全体としての動きは、カメラの動きと対象の動きが複合されたものである。カメラの動きを抽出するために使用されるこの方法は、カメラの動きと、対象の動きを判別する能力を持つ。
カメラのパン動作は、映像に水平シフトを与える。全ての静止している対象（及び背景）は、カメラに対するそれらの位置とは無関係に、同一の量だけ移動する。映像のこの水平シフトは、以降、“映像パン”と呼ばれる。映像パンの結果として、映像の内容の一部分が左右に外れ、それぞれ、左右から新しい内容が入る。
【００１９】
カメラティルト動作は、映像に垂直シフトを与える。パンの場合と同様に、全ての静止している対象は、同一の量だけ移動する。映像のこのシフトは、以降、“映像ティルト”と呼ばれる。映像ティルトの結果として、映像の一部分が上下に外れ、それぞれ、上下から新しい映像が入る。
水平線に沿ってのカメラトラッキング動作は、映像内の対象を水平にシフトさせる。ただし、カメラのパン動作とは異なり、カメラに接近した対象は、カメラから離れた対象よりも大きくシフトする。対象のシフトの変動は、対象からカメラまでの距離の変動が小さいと小さくなる。この発明の目的に対しては、水平トラッキングはカメラパンと同一に扱われ、映像へのこれらの効果は、以降、集合的に“映像パン”と呼ばれる。同様に、垂直線に沿ってのカメラのトラッキング動作は、“映像ティルト”を与える。対角線（或は曲線）に沿ってのカメラトラッキング動作は、映像パンと映像ティルトの両方を与える。
【００２０】
カメラのズーム動作は、映像内の対象の倍率に変化を与える。ズームイン動作の場合は、倍率が増加する。これには、対象の映像の中央から逃げる方向の見掛けの径方向の移動が伴ない、場合によっては、存在していた幾つかの対象が映像から外れる。ズームアウト動作は、ズームイン動作のそれと反対の効果を与え、映像内に新しい対象が出現する。カメラのズーム動作或はドリー動作に起因する対象の倍率の変化は“映像ズーム”と呼ばれる。
【００２１】
検出基準
カメラ移動誘発シーン変化を決定するための基準は、それらのカメラ移動の意図と、映像に対するそれらの効果に基づく。本発明の目的に対しては、カメラ移動は、それらの意図に基づいて以下に述べられるように二つの異なる範疇に分割される。
カメラ移動の第一の範疇は、最終結果のみが意味を持つカメラ動作から成る。例えば、パン及び／ティルト、或はトラッキング動作は、しばしば、対象の動きを追跡するために使用され、従って、対象が移動を中止すると、カメラも移動を中止する。このケースにおいては、カメラ移動の最終結果のみが重要である。別の例は、パン或はティルト動作が、“関連付け”に使用された場合に見られる。このケースにおいては、カメラの移動が、二つの隣接するショット間のゆるやかな遷移（例えば、ディゾルブ：画面が暗くなるのにオーバーラップして次の場面が現われる場面転換法）に類似する役割を果し、カメラ動作の終端は、新たなシーンの開始となる。さらにもう一つの例は、ズームイン動作が、そのシーン内に最初に出現した対象（例えば、ホテルの部屋のドア）の拡大された光景を得て、細部（例えば、部屋の番号）を観察できるように使用される場合に見られる。
【００２２】
カメラ動作の第二の範疇は、カメラ動作の進行中に起こる映像の見える内容の変化が重要であるカメラ動作から成る。これらカメラ移動には、上に定義されたように、“見当識”或は“探究”の目的に対する大きなパンとティルト移動が含まれる。この範疇には、倍率に大きな変化が見られるゆるやかなズームイン動作も含まれる。これらのケースにおいては、隣接するフレームの内容は非常に類似するが、一方、かなり離れたフレームは、大きなパン、ティルト或はズーム動作の結果として、最初に存在した対象がカメラの視野から排除され、最初に存在しなかった新しい対象が導入されるために、内容が大きく異なることがある。このような内容の変化は、単一のショットの間に何回も発生し、一つの継続したカメラ動作の最中においてさえも数回発生することがある。
【００２３】
注目すべき点は、上に説明のカメラ動作の二つの範疇が互いに排他的でないことである。つまり、フレーム内容の変化がカメラ移動の最中、並びにカメラ移動の終端において大くなるようなカメラ動作がしばしば見られる。カメラ動作の二つの範疇が説明されたが、これに基づいてあるショット内のカメラ移動誘発シーン変化を検出するための基準が以下に説明される。
第一の範疇のカメラ移動によって生成されるシーン変化は、以下のように検出される。映像パン、映像ティルト、及び映像ズームの各動作について、その期間を通じて動作が継続して能動である時間間隔（フレーム単位にて測定）が見つけられる。シーン変化は、二つの基準：つまり、１）能動間隔が終端した（つまり、カメラ移動が停止した）、及び２）現在のシーンの開始以来の累積効果が所定のしきい値に到達或はこれを超えた、という二つの基準が満たされたときに検出される。第一の基準は、カメラ動作の終端を検出する。第二の基準は、正味の効果がシーン変化を正当化するために充分な意味を持たないようなカメラ動作が起こったときに、シーン変化が生成されることを阻止するために課せられる。このような意味のない動作は、ジッタの結果として或は対象の小さな横方向の移動を補正するためにカメラが反復して左右にパンされたときになどに発生する。このようなカメラ動作の終端時には、映像パンの正味の量は小さく、従って、一つのシーン変化は生成されない。
【００２４】
第二の範疇のカメラ移動によって生成されるシーン変化は以下の通りである。映像パン、映像ティルト、及び映像ズームの各動作について、現在のシーンの開始以来の与えられた動作の累積効果が所定のしきい値（これは、各動作に対して異なる可能性を持つ）に対して比較される。その動作に対する累積効果が各々の所定のしきい値に到達した或は超えたときにシーン変化が検出される。上記の第一の範疇とは異なり、このケースにおいては、動作がまだ進行中のときにシーン変化が生成されることがある。第二の範疇のカメラ動作に対して使用される所定のしきい値は、通常は、第一の範疇に対して使用されるそれよりもかなり大きくされる。第二のしきい値は、一つの大きなカメラ動作（或は複数の一連の小さな動作）の進行中に、映像に新たな内容が入るには、どれだけの量（値）の変化が要求されるかを決定する。例えば、探究或は見当識の目的のためのカメラパン動作の遂行においては、映像の幅に概ね等しい累積映像パン値が与えられたときに、結果として、映像の元の内容が外側に移動し、新しい内容が内部に移動する。この場合、映像パンのしきい値がその映像の幅と同一或は前後に選択された場合、適当な時点で新たなシーンが検出される。
【００２５】
検出方法
図４はカメラ誘発シーン変化検出ステップ２５０内に含まれる詳細なステップの一例を示す流れ図である。最初に、ステップ４００において、映像パン、映像ティルト、及び映像ズームの値が、現在のフレームと前のフレームを使用して決定される。これは、ビデオ番組の時間的に短縮してサンプリングされたバージョンを使用して行なうこともできる。これら値は、映像内の複数の時点において移動ベクトルを発見するためのブロック比較によって決定することができる。移動ベクトルの集合がさらに、対象の移動と、カメラの移動とを区別し、カメラ移動を、パン、ティルト、及びズーム成分に分解するために遂行される。これらの手続きは周知であり、例えば、Ｕｍｏｒｉ Ｋ．らによって、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕ ｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ 、Ｖｏｌ．３６、Ｎｏ．３、ページ５１０−５１９、１９９０年８月発行、に掲載の『Ａｕｔｏｍａｔｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｉｎｇ Ｓｙｓｔｅｍ ｂｙ Ｆｕｌｌ−ＤｉｇｉｔａｌＳｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（全デジタル処理による自動映像安定化システム）』という標題の論文、及びＡｋｕｔｓｕ Ａ．らによって、Ｐｒｏｃ． ＳＰＩＥ Ｃｏｎｆ． Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＶＣＩＰ’９２）、Ｖｏｌ．１８１８、ページ１５２２−１５３０『Ｖｉｄｅｏ Ｉｎｄｅｘｉｎｇ Ｕｓｉｎｇ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒｓ （移動ベクトルを使用してのビデオの索引付け）』という標題の論文に説明されている。
【００２６】
Ｕｍｏｒｉ らの論文は、カメラ映像の安定化に係るものであり、移動の推定、対象の移動とカメラの移動の区別、及び映像パンと映像ティルトの測定のためのリアルタイムシステムを提供する。Ａｋｕｔｓｕらは、ブロック比較とハフ変換をショット検出と組合わせて使用することにより、単一ショット期間中のカメラ動作を表わす新たな映像イコンを生成してカメラ動作を推定するための方法を開示する。前述のように、カメラ移動がドリー或はトラッキング動作を伴う場合は、シーン内の異なる対象は、一続きのフレーム間で、異なる量だけ移動する。このようなケースにおいては、関心の中心は、最も支配的な対象（それが占拠する全映像に対する割合の観点から見た場合の）の移動におかれ、この支配的な対象の移動は、これらの上に述べた方法にて決定することができる。
【００２７】
ステップ４１０において、二つのフレーム間のカメラ誘発移動が（これらが既に個別の成分として計算されてない場合は）、映像パン、映像ティルト、及び映像ズーム成分に分解される。これらの各成分について計算された値から、それぞれ、瞬間パン（ＩＰ）、瞬間ティルト（ＩＴ）、及び瞬間ズーム（ＩＺ）と称される３つの離散時間信号が生成される。これら三組の瞬間信号を独立的に使用して、ステップ４２０、４３０、４４０において、追加の二つの組の信号が生成される。第一の組は、現シーンの開始時におけるその瞬間信号の値から開始してのこれら３つの瞬間信号の一つの値の総和に等しい値を持つ３つの累積信号から構成され、これら信号は、それぞれ、累積パン（ＣＰ）、累積ティルト（ＣＴ）、及び累積ズーム信号と称される。第二の組の信号は、各々がカメラ移動の３つの成分（つまり、パン、ティルト及びズーム）の一つに対応する３つの二進値信号（つまり、各々が２つの値のみを持つ信号）から構成される。これら信号は、対応する移動が使用されてない（つまり、能動でない）場合は、０に設定され、一方、移動が使用されている場合は、１に設定される。これら信号は、それぞれ、パン能動（ＰＡ）、ティルト能動（ＴＡ）、及びズーム能動（ＺＡ）信号と称される。本発明の幾つかの例においては、ＰＡ、ＴＡ、ＺＡ信号を生成する場合には、二つの能動の間隔内に入る短い能動でない間隔を排除し、これらの二つの能動の間隔が一つの大きな能動の間隔に併合されるように追加のステップを使用する。
【００２８】
本発明の検出方法は、３つの独立したステップを含むが、これらの各々のステップは、カメラ移動の３つの成分の一つに対応する。図４において、これらステップは、映像パン４１０、映像ティルト４３０、及び映像ズームステップとして示される。パン、ティルト、及びズームに基づくシーン変化検出の副ステップは、しきい値パラメータが互いに異なることを除いて全て実質的に同一である。従って、以下においては、パンに基づく検出と関連するステップのみをより詳細に説明し、必要である場合、これと残りの二つの成分の間の差異を指摘することで充分であると考える。
【００２９】
図５には図４の映像パンステップ４２０の詳細が示される。最初に、ステップ５００において、累積パン（ＣＰ）信号の新たな値が前の値から、前の値に瞬間パン信号の新しい値を加えることによって生成される。この累積値は、この方法の開始時と、シーン変化の検出の後の両方において、つまり、ステップ２１０と３１０で初期化される。注目すべき点は、ＩＰ信号はパンの方向によって正及び負の数の両方を取ることである。従って、ＣＰ信号は、正或は負となり、その大きさは、新たなＩＰ値がＣＰ値に加えられたとき、増加或は減少する。
ステップ５１０において、ＩＰ信号を使用してパン能動（ＡＰ）信号の新しい値が生成される。この信号は、パン動作が能動でない間隔では０の値を持ち、能動の間隔においては１の値を取る。上に述べたように、接近して位置する能動の間隔を単一の間隔に併合し、これら間隔の終端を検出するために追加のステップが使用される。パン能動ステップ５１０の詳細については、図６に示され、後に説明される。
【００３０】
ステップ５２０において、ＣＰ信号の大きさが所定のしきい値Ｔｐ１に比較される。ＣＰ信号の大きさがＴｐ１に達した或はこれを超えた場合は、カメラ動作の第二の範疇に属するシーン変化が示される。このケースにおいては、ＰＡ信号の値は使用されない。ＣＰ信号のこのしきい値への到達は、現在のシーンの最中に発生する、一つの能動パン間隔、或は複数の離散した能動間隔のいずれかの結果として起こる。
カメラ動作の第二の範疇に属するシーン変化が検出されなかった場合は、この方法は、ステップ５３０において、能動パン間隔の終端がステップ５１０において示されたかチェックする。終端が検出された場合は、ステップ５４０においてＣＰ信号の大きさが所定のしきい値Ｔｐ２に比較される。このしきい値に到達或は超えている場合は、カメラ動作の第一の範疇に属するシーン変化が示される。ステップ５４０は、無視できるような正味効果を持つ複数の能動パン間隔が一つのシーン変化として登録されることを阻止するために使用される。このような無視できるカメラ動作の例については既に説明した。
【００３１】
図６はパン能動ステップの詳細を示す。ＩＰ信号の現在の値を使用して、ステップ６００、６１０、及び６２０において、ＰＡ信号に対する新しい値が生成される。０でないＩＰ信号の値（正或は負）は、パンが能動であることを示し、従って、ＰＡ信号に対して１の値が与えられ、一方、ＩＰ信号に対する値が０の場合は、０のＰＡ値が与えれる。ノイズ或は他の要因によってＩＰ信号がカメラが移動してないのに小さな０でない値を示すような幾つかの状況においては、ステップ６００を修正して、ＩＰ信号の大きさをその小さな０でない値と比較するチェックを行ない、パン動作能動、或は非能動が決定される。
【００３２】
次に、ＰＡ信号がさらに、接近して位置する能動間隔を併合し、これら間隔の終端を検出するために処理される。ＰＡ信号の新しい値がステップ６３０においてチェックされる。ＰＡ信号が０でない場合は、ステップ６４０において、ＰＡカウンタと称されるカウンタが所定の整数値Ｎｐ（１よりも大）にセットされる。このカウンタは、ステップ２１０と３１０において０にセットされる。Ｎｐの値は、二つの一続きの能動領域を併合するために埋められる能動でない領域（つまり、ＰＡ＝０）の最大サイズを決定する。ＰＡ信号が０である場合は、ステップ６４０は遂行されない。ＰＡ カウンタが次にステップ６５０において１だけ減分され、ステップ６６０においてその結果がチェックされる。正のカウンタ値は、ＰＡ信号が現在１にセットされているか、或はこれがＮｐ回のフレーム時間において少なくとも既に一回は１にセットされたことを示す。これは、結果として、（ステップ６１０においてそれが既に１にセットされてない場合は）、ＰＡ信号を１にセットし、こうして、接近して位置する複数の能動間隔を併合する。ＰＡ カウンタの負の値は、ステップ６５０の以前にカウンタが０であったことを示す。これは、結果として、ステップ６７０においてカウンタを再度０にセットさせ、ステップ６９５において、ＰＡ信号を０にセットさせる。ステップ６６０におけるカウンタに対する０の値は、カウンタがステップ６６０の以前に１の値を持ったことがあることを示す。これは、ステップ６８０における能動間隔の終端を示す。パン能動ステップ５１０の終了時において、ＰＡ信号に対する現在の（処理された）値が生成され、存在する場合は、一つの能動パン間隔の終端が検出される。
【００３３】
図７は、各々が異なる状況を表わす、Ｉ（左側）とＩＩ（右側）によって示される二つの異なる領域内における瞬間パン信号とこれから導出された信号に対する典型的な波形の例を示す。領域Ｉは、一方向において発生する一つの連続したパン動作に対するＩＰ信号７００を示す。この信号に沿っての二つのポイント７０２において、ＩＰ信号は非常に短い時間期間だけ０になる。これらポイント７０２は、これらの時点において処理すべき良好のフレームが存在しないため、或は動作が非常に短い時間停止しその後再開されたために起こる。これと関連するＰＡ信号７１０は、ポイント７０２に起因する二つの能動でない間隔を持つ。これらの能動でない間隔は、ポイント７０２と関連する１から０への二つの遷移７１２と、間隔の終端７１３を持つ。７２０を生成するためにＰＡ信号を処理することによって、この２つの能動でない間隔が排除される。能動パン間隔の終端７２３は、間隔の終端７１３に対応し、処理に起因して７１３に対して僅かにシフトされる。ＣＰ信号７３０は、シーンの開始において０の値を持つが、ＩＰ値の総和である。能動のパン間隔の終端７２３において、ＣＰ信号７３０は、Ｔｐ２しきい値７３５を超える。この結果として、シーン変化が示され、検出器が再初期化され、結果として、ＣＰ信号（並びに他の累積信号、能動信号、及びカウンタ）がポイント７３３において０にセットされる。処理されたＰＡ信号７２０は、能動パン間隔の終端に対応するポイント７２４を持つ。ただし、このケースにおいては、ＣＰ信号は、パン移動の方向の反転に起因する変動を持つが、Ｔｐ２しきい値より低い値７３０を持ち、偽の検出が回避される。
【００３４】
図８は第一と第二の範疇の両方に属するシーン変化が検出されるような状況における典型的な波形の一例を示す。ＩＰ信号７００は、このケースにおいては、長期間に渡って維持された一つのパン動作を示す。これは、処理されたＰＡ信号７２０に反映されるが、これは、８２３における長い能動間隔の終端を示す。ＣＰ信号は、Ｔｐ１しきい値に、一回目は、能動期間中の８３３によって示されるポイントにおいて到達する。この結果として、（第二の範疇に属する）シーン変化が検出される。ＣＰ信号は、この時点において０にリセットされ、再度、ＩＰ値の累積が開始される。Ｔｐ１しきい値に、それぞれ、ポイント８３４と８３５において、二度目、三度目と到達し、結果として、さらに二つのシーン変化が検出され、結果として、ＣＰ信号が０にセットされる。最後に、能動間隔の終端８２３において、ＣＰ信号はＴｐ２しきい値を超えており、結果として、ポイント８３６においてもう一つのシーン変化が検出されるが、これは、カメラ移動の第一の範疇に属する。
【００３５】
ティルトに基づくシーン変化の検出
ティルトとパンは、それらの移動の方向の差異を除いては本質的に同一である。従って、パンに基づく検出ステップとティルトに基づくステップは、これらが互いに異なるしきい値を持つことを除いて本質的に同一である。これらステップは、互いに独立して遂行される。
【００３６】
ズームに基づくシーン変化の検出
カメラのズーム（或はドリー）が映像に与える効果は、パンとティルトが与える効果とは異なる。パン或はティルトに基づくシーン変化を検出するために使用されたショット内シーン変化の二つの範疇に対して上に確立された基準は、ズームに対しても同様に適用できる。ただし、ズームの場合は、瞬間ズーム（ＩＺ）信号と累積ズーム（ＣＺ）信号の計算の前に追加のステップが遂行されなければならない。この区別の理由が以下に説明される。
【００３７】
パンとティルトは、映像に水平方向と垂直方向の移行運動を与える。この移行運動は、二つのフレーム間で測定されたとき、これらフレーム間のパン（或はティルト）動作が一方の方向であるときは正であり、これとは反対の方向のときは負である。従って、数個のフレームを通じて遂行される同一の大きさではあるが、ただし方向の異なるパン（或はティルト）動作は、累積パン（或はティルト）信号を計算するとき互いに相殺し合い、従って、現在のシーンの開始以来の０の正味移動となる。換言すれば、パンとティルトは、加算的成分である。ただし、二つのフレーム間の映像ズームは、乗算的成分である。例えば、一つのズーム動作の期間中の３つの一続きのフレームを考える。フレーム２の倍率がフレーム１のそれの二倍であり、フレーム３の倍率がフレーム２のそれの１．２５倍である場合は、フレーム３のフレーム１に対する倍率は、２に１．２５を掛けたもの、つまり、２．５倍である。従って、本発明の方法は、映像ズームに対して適用される場合は、瞬間ズーム信号（ＩＺ）の各値を現在のフレームと前のフレームの間の相対的倍率の対数に等しくセットされる。この結果として、倍率が同一に留まる場合（つまり、相対倍率が１に等しく、対数が０となる場合）、ＩＺ信号に対する値は、０となる。倍率が増大すると（つまり、倍率係数が１よりも大きな場合は）、対数は正となり、他方、倍率が縮小する場合は、対数は負となる。従って、ズーム能動（ＺＡ）信号と累積ズーム（ＣＺ）信号は、上に説明のパンに基づく移動に対するのと同一の方法にて計算されるが、ただし、ＩＺ信号を生成するために対数を計算するためのこの追加のステップが要求される。
【００３８】
上の議論は、カメラ誘発移動のパン、ティルト、及びズーム成分の各々を互いに独立して扱う。ただし、これは、本発明によって規定される検出基準が、これら成分の幾つかの組合わせに対して適用されることを排除することを意味するものではない。例えば、パンとティルト成分を結合して一つの移動ベクトル生成し、この結果として得られるベクトルの大きさを本発明の検出方法において使用することもできる。
【００３９】
用途
ショット境界検出法はビデオ番組に対する索引を生成するために使用することができる。これら索引はビデオ番組から個々のショットを選択的に検索するために使用することができる。本発明は、ショット内の個々のシーンに対する索引を生成することによる第二のレベルの索引付けを提供する。これら両方のレベルの索引を提供することによって、より選択性の高いビデオ情報検索システムを提供することが可能である。本発明の方法の索引付け以外の他の用途も可能であり、これらの幾つかについて以下に説明される。
【００４０】
各シーン（ショット境界とショット内シーン境界の観点から定義された）からの単一のフレームを保持しながら、元のフレームの列から代表フレームの列を生成することが可能である。この代表フレームの列は、元のフレーム列の内容（例えば、ビデオ番組）が大きな変化を被ったようなフレームを含む。一続きの代表フレーム間の時間的な距離は、二つの一続きの代表フレームの間に位置する元のフレーム列内フレームの内容の変化の速度の関数である。つまり、内容が急速に変化する場合は、より多くの代表映像が保持され、一方、内容があまり速く変化しない場合は、より少ない代表映像が保持される。信号処理の視点からは、この状況は、例えばビデオ番組の、一様な間隔のサンプル（例えば、ＮＴＳＣビデオの毎秒当り３０のフレーム）を持つ一様にサンプリングされたソースからの、かなり少数のサンプルへの、一様でない再サンプリング（或はダウンサンプリング）であると見ることができる。この少数のサンプルは、集合的に、元のビデオ番組内に含まれる視覚情報の殆どを含む。従って、本発明の方法に従って生成されたセットの代表映像は、元のビデオ番組の濃縮版と見なすことができる。この方法にて得られたセットの静止映像は、複数の映像圧縮技術の任意の技術（例えば、ＪＰＥＧ）を使用して処理することにより、さらに格納及び伝送要件を低減することができる。
【００４１】
一般的には、保持されるべき特定の代表映像の決定に採用される基準は、何がビデオセグメントの内容の変化を構成するか、或はどんなタイプの変化が重要であると見なされるかを決定するために使用される基準に依存する。使用される特定の基準は、代表フレームを保持するための動機によっても異なる。例えば、幾つかの用途においては、人物の顔の表情などのような微妙な細部が重要であると考えられ、このような変化の検出が、ある特定の映像技術では不可能な高度で複雑なレベルの処理を必要とする可能性はあるが、ただし、本発明の方法によって規定される基準は、ビデオ番組内の大多数のコンテキストの変化を検出するための良く定義された実際的な方法を与える。代表フレーム内に含まれる情報は、それ自体では完全なものではないかもしれないが、これらのフレームが、例えば、マルチメディアデータ内の視覚要素として使用された場合、この組合わせは豊かな情報源と成り得る。ダウンサンプリング処理の結果としての幾らかの視覚情報の潜在的な損失は、しばしば、格納及び伝送要件のかなりの低減が達成されることを前提に正当化される。
【００４２】
本発明のマルチメディアビデオ番組と関連する幾つかの用途例が以下に説明される。例えば、本発明によって得られたセットの代表映像は、恐らくは、圧縮された形式にて、音響及び／或はテキスト（これらも圧縮された形式）との関連で使用され、コンピュータ或はワークステーション上に濃縮されたマルチメディア番組として格納することができる。元の番組の濃縮版は、検索して、コンピュータ上に表示することができる。代表フレームは、コンピュータ画面上に音響を伴って表示され、音響は、スピーカを通じてフレームとの適切な同期にて伝えられる。コンピュータに格納された代表フレームは、番組を所望のポイントに早送り或は巻き戻しするための索引として使用することもできる。ビデオ番組のデジタル的に格納・圧縮されたマルチメディア版は、別のワークステーションによって遠隔地から簡単にアクセスすることができる。
【００４３】
生のビデオ番組の濃縮されたマルチメディア版をリアルタイムにて生成し、帯域制限された伝送ラインを使用して遠隔地に伝送することもできる。これは、遠隔ユーザが、静止映像を表示しまた音響を再生することができるビデオ電話或はコンピュータを使用して、電話回線を通じて生の放送にアクセスすることを可能にする。
ビデオ番組或はビデオセグメントの内容に基づく再サンプリングは、映像データベースやビデオデータベースにも適用することができる。映像データベースは、フレーム或は映像の集合から構成されるが、これに関して内容に基づく照会を遂行することができる。照会に応答して映像から情報を取り出すためには、通常、データベース内の映像の多数のセグメントに関して映像処理と解釈を遂行することが必要である。映像処理と解釈の動作の高い計算コストのために処理できる映像の数には制約がある。従って、ビデオ番組の集成に対して、個々のフレームの処理によってこれらの動作を遂行することは、ビデオセグメント内に含まれるフレームの数が大きいために非常に困難である。ところが、本発明の内容に基づく再サンプリング法を使用すると、個々のビデオセグメントをより少数の映像に低減することができるが、こうして濃縮された映像に対して、内容に基づく照会を行なう方法の方がより現実的であると考えられる。
【図面の簡単な説明】
【図１】本発明に従う一例としてのカメラ誘発シーン変化検出器のブロック図を示すが、ビデオ源とアプリケーションインターフェースも示される。
【図２】単一のショットに関して動作する本発明の方法の一例を図解するフローチャートである。
【図３】ショット境界検出器との関連でショット境界の所のシーン変化とショット内の位置でのシーン変化を検出するために動作する本発明の一例を図解するフローチャートである。
【図４】カメラ誘発シーン変化の検出において使用される詳細なステップの一例を図解するフローチャートである。
【図５】パンに基づくシーン変化の検出において使用される追加の詳細ステップの一例を図解するフローチャートである。
【図６】複数の接近した能動間隔から単一のパン能動信号を生成するための詳細システムを図解するフローチャートである。
【図７】映像パン信号に対する一例としての波形であるが、それぞれ、複数の接近した能動間隔を併合するための処理の前と後の関連するパン能動信号、及び一つの能動間隔の終端においてシーン変化を与える累積パン信号が示される。
【図８】一つの持続されたパン動作中の映像パン信号の一例であるが、それぞれ、複数の接近した能動間隔の前と後の関連するパン能動信号と累積パン信号が示される。４つのシーン変化の内の３つはこの一つの能動間隔の最中に発生することがわかる。
【符号の説明】
１ ビデオソース
３ 映像デジタル化装置
４ 映像プロセッサ
５ プロセッサ
６ 映像メモリ
７ デジタルコンピュータ
８ シーン変化検出アプリケーション

Claims (21)

1. 内容からなる視覚情報を帯びる一連のフレームにおけるシーンの変化が、２つの連続するショット間のショット境界におけるショット境界シーン変化であるか、内容の変化がカメラ誘発移動の結果と考慮できるショット内の点におけるカメラ誘発移動シーン変化であるかを決定する方法であって、この方法が、
   （ａ）２つの連続するショット間のショット境界に応動して、２つの連続するショット間のシーン変化を示すショット境界シーン変化指示信号を生成するステップと、
   （ｂ）２つの連続するショットの特定のショット内のカメラ誘発移動に応動して、特定のショット内の前記視覚情報を帯びる一連のフレーム内の複数のフレーム対の各々の間のカメラ誘発移動を表す第１の信号を生成するステップと、
   （ｃ）複数のフレーム対に対する第１の信号によって表されるカメラ誘発移動を少なくとも第１の成分信号へ分解するステップと、
   （ｄ）フレーム対の各々に対する第１の成分信号の値を総和して第１の累積信号を形成するステップと、
   （ｅ）第１の累積信号が所定の決定基準と合致するときには、連続するショットの特定のショット内のシーン変化を示すカメラ誘発移動シーン変化指示信号を生成する段階とからなり、
   特定のショットは、連続する時間間隔の間に単一のカメラによって生成された複数の連続フレームからなることを特徴とする方法。
2. 内容からなる視覚情報を帯びる一連のフレームにおけるシーンの変化が、２つの連続するショット間のショット境界におけるショット境界シーン変化か、内容の変化がカメラ誘発移動の結果と考慮できるショット内におけるカメラ誘発シーン変化かを決定する方法であって、この方法が、
   （ａ）２つの連続するショット間のショット境界に応動して、ショット境界シーン変化指示信号を生成するステップと、
   （ｂ）ショット境界によって規定される連続するショットの特定のショット内のカメラ誘発移動の発生に応動して、特定のショット内の前記視覚情報を帯びる一連のフレーム内の複数のフレーム対の各々の間のカメラ誘発移動を表す信号を生成するステップと、
   （ｃ）複数のフレーム対に対する第１の信号によって表されるカメラ誘発移動を映像パン、映像ティルトおよび映像ズームの値を表す成分へ分解して、映像パン信号、映像ティルト信号および映像ズーム信号を形成するステップと、
   （ｄ）映像パン信号、映像ティルト信号および映像ズーム信号の各々をそれぞれ総和して、累積パン信号、累積ティルト信号および累積ズーム信号を形成するするステップと、
   （ｅ）前記累積信号の少なくとも１つが所定の決定基準と合致するときには、連続するショットの１つ内のシーン変化を示すカメラ誘発移動シーン変化指示を生成するステップとからなり、
   特定のショットは、連続する時間間隔の間に単一のカメラによって生成された複数の連続フレームからなることを特徴とする方法。
3. 請求項１に記載の方法であって、さらに、
   （ｆ）カメラ誘発移動の第２および第３の成分に対してステップ（ｃ）を繰り返して第２および第３の成分信号を生成するステップからなり、第１、第２および第３の成分は、それぞれ映像パン、映像ティルトおよび映像ズームを表すものであり、さらに、
   （ｇ）第２および第３の成分に対してステップ（ｄ）を繰り返して第２および第３の累積信号をそれぞれ生成するステップからなり、
   ステップ（ｅ）は、第１、第２および第３の累積信号の少なくとも１つが所定の決定基準と合致するときにはカメラ誘発移動シーン変化指示信号を生成するステップを含むことを特徴とする方法。
4. 請求項１に記載の方法であって、さらに、
   （ｆ）カメラ誘発移動の第１の成分に対応する第１の能動信号を少なくとも生成するステップからなり、前記第１の能動信号は第１および第２の値を有し、第１および第２の値は、それぞれカメラ誘発移動の第１の成分に対するカメラ誘発移動の不存在とカメラ誘発移動の存在とを示すものであり、
   カメラ誘発移動シーン変化指示信号を生成するステップは、第１の能動信号と第１の累積信号の各々がある決定基準と合致するときには、カメラ誘発移動シーン変化指示信号を生成するステップを含むことを特徴とする方法。
5. 請求項４に記載の方法であって、さらに、
   （ｇ）カメラ誘発移動の第２および第３の成分に対してステップ（ｃ）を繰り返して第２および第３の成分信号を形成するステップからなり、第１、第２および第３の成分は、それぞれ映像パン、映像ティルトおよび映像ズームを表すものであり、さらに、
   （ｈ）第２および第３の成分に対してステップ（ｄ）を繰り返して第２および第３の累積信号をそれぞれ形成するステップと、
   （ｉ）ステップ（ｆ）を繰り返してカメラ移動の第２および第３の成分のそれぞれに対応する第２および第３の能動信号を決定するステップとからなり、
   カメラ誘発移動シーン変化指示信号を生成するステップは、第１、第２および第３の能動信号の少なくとも１つと、第１、第２および第３の能動信号の少なくとも１つと同じカメラ誘発移動の成分を表す累積信号との各々が所定の決定基準と合致するときには、カメラ誘発移動シーン変化指示信号を生成するステップからなることを特徴とする方法。
6. 請求項３に記載の方法において、所定の決定基準が、累積信号の各々に対する所定のしきい値からなり、第１、第２または第３の累積信号の少なくとも１つがその対応する所定のしきい値と少なくとも同じ大きさを有するときには、前記決定基準が満たされることを特徴とする方法。
7. 請求項５に記載の方法において、カメラ誘発移動シーン変化指示信号を生成するステップはさらに、
   ある間隔の終端の後にカメラ誘発移動シーン変化指示信号を生成するステップからなり、前記ある間隔は、能動信号の少なくとも１つがその第２の値をとり、そして能動間隔の終端において少なくとも１つの能動信号と同じカメラ誘発移動の成分を表す対応する累積信号が所定のしきい値と少なくとも同じ大きさである間隔であることを特徴とする方法。
8. 請求項２に記載の方法であって、さらに、
   （ｆ）映像パン成分、映像ティルト成分、および映像ズーム成分の各々に対する能動信号を生成するステップからなり、前記能動信号の各々は第１および第２の値を有し、第１の値は零である大きさを有する成分を表し、そして第２の値は非零である大きさを有する成分を表すものであり、そして、
   カメラ誘発移動シーン変化指示信号を生成するステップは、能動信号の少なくとも１つと、少なくとも１つの能動信号と同じカメラ誘発移動の成分を表す累積信号との各々が所定の決定基準と合致するときには、カメラ誘発移動シーン変化指示信号を生成するステップからなることを特徴とする方法。
9. 請求項２に記載の方法において、累積信号の少なくとも１つの大きさが所定のしきい値を越えるときには、所定の決定基準が満たされることを特徴とする方法。
10. 請求項２に記載の方法において、所定の決定基準は累積信号の各々に対する所定のしきい値からなり、累積信号の少なくとも１つがその対応する所定のしきい値を越えるときには前記決定基準が満たされることを特徴とする方法。
11. 請求項８に記載の方法であって、カメラ誘発移動シーン変化指示信号を生成する段階がさらに、
    ある間隔の終端の後にカメラ誘発移動シーン変化指示信号を生成するステップからなり、前記ある間隔は、能動信号の少なくとも１つがその第２の値をとり、そして能動間隔の終端において少なくとも１つの能動信号と同じカメラ誘発移動の成分を表す対応する累積信号が所定のしきい値と少なくとも同じ大きさである間隔であることを特徴とする方法。
12. 請求項２に記載の方法において、第１の信号を生成する段階が、
    （ａ）フレーム対の各々の間で移動推定を行うステップと、
    （ｂ）フレーム対の各々に対するカメラ誘発移動と物体移動とを区別するステップとからなることを特徴とする方法。
13. 請求項１に記載の方法において、カメラ誘発移動シーン変化指示信号を生成する段階がさらに、示されたシーン変化によって規定されるシーンからのフレームを維持するステップからなることを特徴とする方法。
14. 視覚情報を帯びる一連のフレームにおいて、シーン変化が、ショット境界シーン変化かカメラ誘発移動シーン変化かを決定する方法であって、この方法が、
    （ａ）２つの連続するショット間のショット境界に応動して、２つの連続するショット間のシーン変化を示すショット境界シーン変化指示信号を生成するステップと、
    （ｂ）カメラ誘発移動に応動して、視覚情報を帯びる一連のフレーム内の複数のフレーム対の各々の間のカメラ誘発移動を示す第１の信号を発生するステップと、
    （ｃ）複数のフレーム対に対する第１の信号によって表されるカメラ誘発移動を少なくとも第１の成分信号へ分解するステップと、
    （ｄ）フレーム対の各々に対する第１の成分信号の値を総和して第１の累積信号を形成するステップと、
    （ｅ）第１の累積信号が所定の決定基準と合致するときには、連続するショットの１つ内のシーン変化を示すカメラ誘発移動シーン変化指示信号を生成する段階と、
    （ｆ）視覚情報を帯びる一連のフレーム内のカメラ誘発移動シーン変化の全てが示されるまで、ステップ（ｂ）乃至（ｅ）を繰り返すステップからなり、第１の成分信号の値を総和して第１の累積信号を形成するステップは、直前のカメラ誘発移動シーン変化の後に決定された第１の成分信号の値のみを総和するステップを含み、さらに、
    （ｇ）視覚情報を帯びる一連のフレーム内のショット境界シーン変化とカメラ誘導移動シーン変化の全てが指示されるまで、ステップ（ａ）乃至（ｆ）を繰り返すステップからなることを特徴とする方法。
15. 請求項１４に記載の方法であってさらに、示されたシーン変化によって規定される各々のシーンからのフレームを維持するステップからなることを特徴とする方法。
16. 請求項１４に記載の方法であってさらに、示されたシーン変化によって規定される各々のシーンからのフレームの位置を含む索引を形成するステップからなることを特徴とする方法。
17. 請求項１６に記載の方法であって、維持されたフレームは、マルチメディアデータの視覚成分からなる代表フレームのセットを形成することを特徴とする方法。
18. 請求項４に記載の方法であってさらに、
    （ｇ）カメラ誘発移動の第２および第３の成分に対してステップ（ｃ）を繰り返して第２および第３の成分信号を形成するステップからなり、第１、第２および第３の成分はそれぞれ、映像パン、映像ティルトおよび映像ズームを表すものであり、さらに、
    （ｈ）第１、第２および第３の成分の組み合わせに対してステップ（ｄ）を繰り返して組み合わせ累積信号を形成するステップと、
    （ｉ）ステップ（ｆ）を繰り返して組み合わせ累積信号に対応する組み合わせ能動信号を生成する段階とからなり、
    カメラ誘発移動シーン変化指示信号を生成する段階は、組み合わせ能動信号と組み合わせ累積信号の各々が所定の決定基準と合致するときにはカメラ誘発移動シーン変化指示信号を生成するステップを含むことを特徴とする方法。
19. 視覚情報を帯びる一連のフレームにおいて、シーン変化が、ショット境界シーン変化かカメラ誘発移動シーン変化かを決定する方法であって、この方法は、
    （ａ）２つの連続するショット間のショット境界に応動して、２つの連続するショット間のシーン変化を示すショット境界シーン変化指示信号を生成するステップと、
    （ｂ）カメラ誘発移動に応動して、視覚情報を帯びる一連のフレーム内の複数のフレーム対の各々の間のカメラ誘発移動を表す第１の信号を生成するステップと、
    （ｃ）複数のフレーム対に対する第１の信号によって表されるカメラ誘発移動を少なくとも第１の成分信号へ分解するステップと、
    （ｄ）フレーム対の各々に対する第１の成分信号の値を総和して第１の累積信号を生成するするステップと、
    （ｅ）第１の累積信号が所定の決定基準と合致するときには、連続するショットの１つ内のシーン変化を示すカメラ誘発移動シーン変化指示信号を生成するステップと、
    （ｆ）ステップ（ｂ）へ進む前に、視覚情報を帯びる一連のフレーム内のショット境界シーン変化の全てが示されるまで、ステップ（ａ）を繰り返すステップからなることを特徴とする方法。
20. 視覚情報を帯びる一連のフレームにおいて、シーン変化が、ショット境界シーン変化かカメラ誘発移動シーン変化かを決定する方法であって、この方法が、
    （ａ）２つの連続するショット間のショット境界に応動して、２つの連続するショット間のシーン変化を示すショット境界シーン変化指示信号を生成するステップと、
    （ｂ）カメラ誘発移動に応動して、視覚情報を帯びる一連のフレーム内の複数のフレーム対の各々の間のカメラ誘発移動を表す第１の信号を生成するステップと、
    （ｃ）複数のフレーム対に対する第１の信号によって表されるカメラ誘発移動を少なくとも第１の成分信号へ分解するステップと、
    （ｄ）フレーム対の各々に対する第１の成分信号の値を総和して第１の累積信号を形成するステップと、
    （ｅ）第１の累積信号が所定の決定基準に合致するときには、連続するショットの１つ内のシーン変化を示すカメラ誘発移動シーン変化指示信号を生成するステップと、
    （ｆ）視覚情報を帯びる一連のフレーム内の複数のカメラ誘発移動シーン変化が指示されるまで、ステップ（ｂ）乃至（ｅ）を繰り返すステップからなり、第１の成分信号の値を総和して第１の累積信号を形成する段階は、直前のカメラ誘発移動シーン変化の後に決定された第１の成分信号の値のみを総和するステップからなり、さらに、
    （ｇ）視覚情報を帯びる一連のフレーム内の複数のショット境界シーン変化とカメラ誘発移動シーン変化が示されるまで、ステップ（ａ）乃至（ｆ）を繰り返すステップからなることを特徴とする方法。
21. 視覚情報を帯びる一連のフレームにおいて、シーン変化が、ショット境界シーン変化かカメラ誘発移動シーン変化かを決定する方法であって、この方法は、
    （ａ）２つの連続するショット間のショット境界に応動して、２つの連続するショット間のシーン変化を示すショット境界シーン変化指示信号を生成するステップと、
    （ｂ）カメラ誘発移動に応動して、視覚情報を帯びる一連のフレーム内の複数のフレーム対の各々の間のカメラ誘発移動を表す第１の信号を生成するステップと、
    （ｃ）複数のフレーム対に対する第１の信号によって表されるカメラ誘発移動を少なくとも第１の成分信号へ分解するステップと、
    （ｄ）フレーム対の各々に対する第１の成分信号の値を総和して第１の累積信号を形成するステップと、
    （ｅ）第１の累積信号が所定の決定基準と合致するときには、連続するショットの１つ内のシーン変化を示すカメラ誘発移動シーン変化指示信号を生成するステップと、そして、
    （ｆ）ステップ（ｂ）へ進む前に、視覚情報を帯びる一連のフレーム内の複数のショット境界シーン変化が示されるまで、ステップ（ａ）を繰り返すステップからなることを特徴とする方法。

Images