JP4667697B2 - 速い動きのシーンを検出する方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、一般的にソースビデオ内のシーン変化を検出し、各シーンから代表キーフレーム(representative keyframe)を選択する装置に関する。本発明は、とりわけ、検出されたシーン変化は実際にシーン変化なのか否かの判定、又は速い動きのシーンはシーン変化の誤った検出をもたらしたのか否かの判定に関する。
【０００２】
【従来の技術】
ユーザは、しばしば、後で又は繰り返し見るためにテープ、ハードディスク又は他の記憶媒体にテレビ番組、映画、コンサート、スポーツ競技など又はホームビデオを記録するであろう。しばしば、ビデオは、様々なコンテンツを持つか、又は非常に長いものになるであろう。しかしながら、ユーザは、記憶媒体に何が記録されているのかを書き留めないかもしれず、何を記録したのか、又は記憶媒体のどこに特定のシーン、映画若しくはイベントが記録されているのかを覚えていないかもしれない。斯くして、ユーザは、例えば、テープに何があるのかを思い出すためにテープ全体を座って見なければならないかもしれない。
【０００３】
ビデオのコンテンツの分析は、自動式の方法及び半自動式の方法を用いて記録素材(recorded material)のコンテンツを説明する情報を抽出する。ビデオのコンテンツの索引付け(indexing)及び分析は、ビデオ内の視覚的手掛かり(visual cues)から構造と意味(meaning)とを抽出する。一般に、ビデオクリップは、ビデオ内の様々シーンを映すフレームを選択することにより、TV番組、インターネット又はホームビデオから抜き取られる。
【０００４】
米国特許シリアル番号第08/867,140号(出願人整理番号PHA23,252)に記載のビデオの索引付けをするシーン変化検出システムにおいては、フレームを互いに比較して、該フレーム間の大きな差を検出するビデオ索引付けシステムが記載されている。大きな差がある場合には、２つのフレームの間にシーン変化が発生しているとみなされる。一度シーン変化が発見されると、各シーンからキーフレームが選ばれ、キーフレームはビデオ索引を提供するために配置される。このシステムに伴う問題点は、カーチェイスなどの速い動きがあるシーンの間には、シーンを横断するオブジェクト（例えば自動車）が、複数の連続したフレームの間に、フレームの左側部分からフレームの右側部分まで動くかもしれないことにある。これらのフレームを互いに比較する場合に、従来技術のシステムは、実際には、全フレームが同一シーンからのものである場合に、各フレームの後のシーン変化を検出し、キーフレームとして各フレームを選択する。
【０００５】
同様に、米国特許シリアル番号第09/123,444号（出願人整理番号PHA23,477）においては、時間内に検出されるシーン変化の数（「カットレート」(“cut rate”)）をカウントすることによりコマーシャルを検出するコマーシャル検出システムが開示されている。典型的に、コマーシャルは高いカットレートを持ち、従って、カットレートは、ビデオからコマーシャルの所在を突き止め、削除するために用いられ得る。ある時間の間に検出されたシーン変化の数があるしきい値を上回っていると判定される場合には、コマーシャルが検出されているとみなされる。斯様なシステムに伴う問題点は、速い動きのシーンも、高いカットレートを持ち、コマーシャルとして検出され、ことによるとビデオから削除されるであろうということにある。
【０００６】
【課題を解決するための手段】
従って、予め記録されたビデオソース又は記録中のビデオソースに対して、ユーザのために使用可能な量の情報を提供するとともに、有効キーフレーム(significant keyframe)の選択に使用可能であり、前記選択をより正確にする視覚的な索引を作成するシステムが望ましい。このシステムは、シーン変化を検出し、各シーンからキーフレームを選択するが、シーン変化が各フレーム後に連続して検出される場合に前記シーン変化の検出及び前記キーフレームの選択を無視する。
【０００７】
本発明の目的は、ビデオの２つのフレームを比較してシーン変化を検出し、複数のフレームに対して各フレーム後に連続したシーン変化が検出される場合には、これらのシーン変化は、本当のシーン変化ではなく前記ビデオ内の早い動きのためのものであると判定することにある。
【０００８】
本発明の別の目的は、連続したシーン変化の数をカウントして、各連続したフレームの後に検出されるシーン変化を持つフレームのシーケンスの長さを把握することにある。連続したシーン変化を含むこのシーケンスの最後に、前記シーケンス内の全フレームが同一の速い動きのシーンの一部であると判定し、前記シーケンスからはキーフレームを１つしか選択しないという決定をする。
【０００９】
本発明の別の目的は、カットレートが高いビデオを分析してシーン変化が各フレーム後に発生しているのかどうかを判定することにより、速い動きのシーンをコマーシャルと区別することにある。
【００１０】
本発明、本発明の作用による利点及び本発明の使用により達成される特定の目的のより良い理解のために、本発明の好ましい実施例が図示されている添付図面及び記載されている説明事項を参照されたい。より良い理解のために以下の図面の参照がなされる。
【００１１】
【発明の実施の形態】
ビデオのコンテンツの索引付けのプロセスには、アーカイバル及び検索(retrieval)といった２つのフェーズがある。アーカイバルプロセスの間には、ビデオのコンテンツをビデオ分析プロセスの間に分析し、視覚的な索引を作成する。ビデオ分析プロセスにおいては、自動的な有効シーン(significant scene)の検出、速い動きの検出、キーフレームの選択が行われる。有効シーンの検出は、シーン変化、即ち「カット」(“cuts”)を識別し（ビデオのカットの検出又はセグメンテーションの検出）、静止シーン(static scene)を識別する（静止シーンの検出）プロセスである。検出された各シーンに対しては、キーフレームと呼ばれる特定の代表フレームが抽出される。それ故、シーン変化の適正な識別が行われることが重要であり、適正な識別が行われない場合には、単一のシーンに対して選ばれるキーフレームが多過ぎるようになるか、又は多数のシーン変化に対して選ばれるキーフレームが十分ではなくなる。速い動きの検出は、ビデオ内の、速い動きのシーンが発生する場所を識別するプロセスであり、速い動きのシーンについては以下に更に詳細に説明する。（以下の引例の大半はソーステープに対するものであるが、明らかに、ソースビデオは、ファイル、ディスク、DVD、若しくは他の記憶手段からのもの、又は伝送ソースからの直接的なもの（例えばホームビデオを記録しながらのもの）であり得る。）
【００１２】
予め記録されている、音声及び／又はテキストを含み得るソースビデオを持つソーステープに対するビデオのアーカイバルプロセスが図１に示されているが、予めセーブされた、MPEGファイルなどの視覚情報を持つ他の記憶装置に対して同様のプロセスに従っても良い。このプロセスにおいては、ソースビデオに基づいて視覚的な索引を作成する。第２プロセスは、ユーザが記録しようとしているソーステープに対して、記録と同時に視覚的な索引を作成する。
【００１３】
図１は、ビデオテープ（予め記録されているソーステープ）に対する第１プロセスの例を図示している。ステップ１０１において、必要であれば、VCRなどの再生／記録装置によりソースビデオを巻き戻す。ステップ１０２において、ソースビデオを再生する。ソースビデオからの信号を、テレビ、VCR又は他の処理装置により受け取る。ステップ１０３において、処理装置内のメディアプロセッサ又は外部プロセッサが、ビデオ信号を受け取り、該ビデオ信号をピクセルデータを表わすフレームにフォーマットする（フレーム取り込み）。
【００１４】
ステップ１０４において、ホストプロセッサは、各フレームをブロックに分割し、前記ブロック及び該ブロックの関連データを変換してDCT（離散コサイン変換）係数を作成し、有効シーンの検出、速い動きの検出及びキーフレームの選択を行い、メモリ、ディスク又は他の記録媒体内にキーフレームをデータ構造として構築し、記憶する。ステップ１０５において、ソーステープを始端まで巻き戻し、ステップ１０６において、情報を記録するためにソーステープをセットする。ステップ１０７において、メモリからソーステープへデータ構造を伝達し、視覚的な索引を作成する。次いで、この視覚的な索引を見るためにテープを巻き戻しても良い。
【００１５】
ユーザが記録しながらテープに視覚的な索引を作成することを望む場合には、上記のプロセスを少し変更する。ステップ１０１及び１０２の代わりに、図１のステップ１１２に示されているように、ビデオ（フィルムなど）を記録しながらステップ１０３のフレーム取り込みプロセスが行われる。
【００１６】
ステップ１０３及び１０４は、図２Ａ及び２Ｂにおいてより特定的に図示されている。ビデオには、アナログ（連続データ）形態又はデジタル（離散データ）形態がある。本例は、デジタルドメインで動作し、斯くして処理するのにデジタル形態を用いる。ソースビデオ又はビデオ信号は、十分な高速（この例においては３０フレーム／秒）で表示される個々のイメージ又はビデオフレームの連続であり、故に、表示されるイメージのシーケンスは、連続したピクチャのストリームとして現れる。これらのビデオフレームは、非圧縮（NTSC若しくは未加工の(raw)ビデオ）のデータ又はMPEG、MPEG２、MPEG４、モーションJPEGなどといったフォーマットでの圧縮データであり得る。
【００１７】
非圧縮ビデオ内の情報は、まず、Intel（登録商標）のSmart Video Recorder III（商標）にあるようなフレーム取り込み技術２０４を用いて、メディアプロセッサ２０２においてフレームにセグメント化される。他のフレームサイズも利用可能であるが、図３に示されているこの例においては、フレーム３０２が、１つのテレビ、ビデオ又は他の視覚のイメージを表わし、３５２ｘ２４０ピクセルを含む。
【００１８】
フレーム３０２は、各々、ホストプロセッサ２１０（図２Ａ）においてこの例においては８ｘ８ピクセルのブロック３０４に分割される。これらのブロック３０４及び一般的なブロードキャスト規格であるCCIR-601を用いる場合、マクロブロック作成器２０６（図２Ａ）が、輝度ブロックを作成し、色情報の副標本をとって、クロミナンスブロックを作成する。輝度ブロック及びクロミナンスブロックはマクロブロック３０８を形成する。この例においては、４：２：０が使用されているが、４：１：１及び４：２：２などの他のフォーマットも当業者により容易に用いられ得る。４：２：０において、マクロブロック３０８は、６つのブロック、即ち４つの輝度Ｙ１、Ｙ２、Ｙ３及びＹ４、並びに２つのクロミナンスＣｒ及びＣｂを持ち、マクロブロック内の各ブロックは８ｘ８ピクセルである。
【００１９】
ビデオ信号はまた、モーションJPEG(Joint Photographic Experts Group)及びMPEG(Motion Pictures Experts Group)などの圧縮規格を用いている圧縮イメージも表わし得る。信号がMPEG又は他の圧縮信号である場合には、図２Ｂに示されているように、フレーム構文解析系(frame parser)２０５によりフレーム又はビットストリームの構文解析技術を用いてMPEG信号をフレームに分割する。次いで、フレームを、メディアプロセッサ２０３内のエントロピーデコーダ２１４とテーブル指定器（table specifier）２１６とに送る。エントロピーデコーダ２１４は、例えばハフマンデコード技術又は別のデコード技術を用いて、テーブル指定器２１６からのデータを用いてMPEG信号をデコードする。
【００２０】
次に、デコードされた信号を逆量子化器２１８に供給し、逆量子化器２１８は、テーブル指定器２１６からのデータを用いてデコードされた信号を逆量子化する。これらのステップ（ステップ２１４乃至２１８）は、メディアプロセッサ２０３において行われているように示されているが、メディアプロセッサ２０３、ホストプロセッサ２１１又は使用されている装置に従属する別の外部装置のいずれかにおいて行われ得る。他の例においては、システムが処理の異なるステージにおけるアクセスを許容する（例えば、メディアプロセッサにおける）コード化機能を持つ場合に、DCT係数はホストプロセッサに直接配信され得る。これらの手法の全てにおいて、処理はリアルタイムに行われ得る。
【００２１】
図１のステップ１０４においては、例えばIntel（登録商標）のPentium（登録商標）チップ、他のプロセッサ若しくは他のマルチプロセッサ、Philips（登録商標）のTrimedia(登録商標)チップ若しくは他の任意のマルチメディアプロセッサ、又はコンピュータ、又は拡張VCR、記録／再生装置若しくはテレビ、又は他の任意のプロセッサであり得るホストプロセッサ２１０が、有効シーンの検出、キーフレームの選択、並びに例えばハードディスク、ファイル、テープ、DVD又は他の記憶媒体などの索引メモリ(index memory)におけるデータ構造の構築及び記憶を行う。
【００２２】
有効シーンの検出／速い動きのシーンの検出：本発明は、自動的な有効シーンの検出のために、ビデオのシーンが変化している時又は静止シーンが発生している時の検出を試みる。シーンは、１つ以上の関連イメージを表わし得る。有効シーンの検出においては、２つの連続したフレームを比較し、それらのフレームが著しく異なっていると判定される場合には、シーン変化がそれらの２つのフレームの間で発生していると判定され、著しく似通っていると判定される場合には、静止シーンが発生しているのかどうかを判定するための処理が行われる。速い動きの検出においては、連続したフレームのシーケンスの各フレームの後にシーン変化を検出している場合に、速い動きのシーンを検出している。ディレクター(director)は決して人間の眼によって知覚可能な範囲内での連続したシーン変化を持たないであろうし、それ故、これらの検出は、誤ったシーン変化の検出であるに違いないということから、この判定はなされる（本明細書と共に出願された同一発明者による、ビデオ内の誤りフレーム(false frame)を識別する米国特許シリアル番号第09/477085号（出願人整理番号PHA23937）参照）。斯様なフレームのシーケンスにおいては、このシーケンスはおそらく単一の速い動きのシーンを表わすことから、このシーケンスからはキーフレームを１つしか選ばない。
【００２３】
速い動きのシーケンスの２つのフレームの間でかなりの差が検出される理由は、以下の通りである。仮に、速い動きのシーンが、図６に示されているようなカーチェイス又はオートバイのチェイスであるとする。自動車がシーンを横断するにつれて、自動車は、第１フレームの左側部分から、第２フレームの左中央部、次いで、第３フレームの中央部、第４フレームの右中央部、第５フレームの右側部分に向かって移動するかもしれない。第１フレームを第２フレームと比較する場合に、第１フレームと第２フレームとでの自動車の位置の変化がこれらの２つのフレームの間のかなりの差の検出をもたらすことから、シーン変化が検出される。同じことが、第２フレームと第３フレームとの間、第３フレームと第４フレームとの間、及び第４フレームと第５フレームとの間の比較でも当てはまる。本発明は、各フレーム後に新しいシーンを検出し、各フレームからキーフレームを選ぶ代わりに、連続したシーン変化を検出し、シーケンス内の全フレームを同一シーンからのイメージとして扱う。
【００２４】
同様に、米国特許シリアル番号第09/123,444号（出願人整理番号PHA23,477）に記載のコマーシャル検出においては、ある時間枠内に検出されるシーン変化の数をしきい値と比較する。シーン変化の数が上記しきい値を上回る場合には、コマーシャルが検出されたと判定される。この分析は、コマーシャルは典型的に短時間の間に多くのシーン変化（「高いカットレート」）を持つという事実に基づいている。この結論を出すことに伴う問題点は、速い動きのシーンもまた高いカットレートを持つということにある。除去するためにコマーシャルを検出している場合には、幾つかの速い動きのシーンも該シーンの高いカットレートのために除去される可能性が高い。本発明の好ましい実施例においては、シーン変化が各フレーム後に連続して発生しているか否かを判定するために全ての高いカットレートのシーンを厳密に調べる。発生している場合には、コマーシャルは検出されていないが、代わりに速い動きのシーンが検出されている。この結論は、また、たとえコマーシャルのシーケンスであっても、ディレクターは決して人間の眼によって知覚可能な時間内の多数のシーン変化を作成しないであろうという事実に基づいている。
【００２５】
本方法及び本装置は、シーン変化を検出するのにDCT（離散コサイン変換）係数の比較を用いているが、他の任意のカット検出方法、ウェーブレット、ヒストグラムなども用いることが出来る。まず、受け取ったフレーム３０２の各々を、ホストプロセッサ２１０において個々に処理して、８ｘ８ブロック４４０を作成する。ホストプロセッサ２１０は、離散コサイン変換器２２０を用いてDCT係数を導き出し、マクロブロック３０８を作成するために、空間情報を含む各８ｘ８ブロックを処理する。
【００２６】
ビデオ信号をMPEGなどの圧縮ビデオフォーマットで受け取る場合に、DCT係数は、逆量子化後に導き出されても良く、離散コサイン変換器によって処理される必要はない。更に、上記のように、DCT係数は、用いられる装置に依存して自動的に導き出され得る。
【００２７】
DCT変換器は、ブロック４４０（図４）の各々、即ちＹ１、Ｙ２、Ｙ３、Ｙ４、Ｃｒ及びＣｂにDCT係数値を供給する。この規格によれば、各ブロックの一番上の左側のすみは、DC情報（DC値）を含み、残りのDCT係数はAC情報（AC値）を含む。図４において部分的に示されているように、AC値は、DC値の右からDC値の真下のDCT係数へジグザグ順序に頻度を増す。Ｙ値は輝度値である。
【００２８】
本発明のシーン変化の検出方法においては、より早く結果を出し、効率における著しい損失がないように処理を制限するために、処理を、２つのフレームの対応するブロックの間のDC値の変化の検出に限定する。しかしながら、明らかに、当業者は、対応するマクロブロック、ブロック、又は輝度における変化を検出するヒストグラム、ウェーブレットなどといった他の任意の方法の輝度値における差を比較し得る。この差があるしきい値を上回る場合には、シーン変化が発生しているという判定がなされる。
【００２９】
シーン変化検出装置は、米国特許シリアル番号第08/867,140号（出願人整理番号PHA23252）に開示されており、参照によりここに盛り込まれる。この従来技術の発明においては、各フレームのDCT係数と隣接フレームにおける係数の各々との比較がなされる。（自動車がシーンを横断するにつれて生じる）各々の係数の間の著しい変化がある場合には、２つのフレームの間でシーン変化が発生していると判定される。ビデオの索引付けシステムにおいて、実際には全てのフレームが単一のシーンを構成している場合に、これにより、キーフレームがシーケンス内の各フレームから選ばれる。
【００３０】
本発明においては、各フレーム後のシーン変化を検出するが、複数の連続したシーン変化がある場合には、これらのフレームを単一のシーンとして扱い、単一のキーフレームしか選択しない。
【００３１】
図２Ａ及び２Ｂは、本発明の好ましい実施例によるシステムを示している。有効シーンプロセッサ２３０は、シーン変化を検出する。速い動きの検出器２４０及びカウンタ２４１は、毎フレーム連続して発生するシーン変化の数をカウントする。複数のｎ個のフレームの各フレーム後にシーン変化が発生している場合に、速い動きの検出器２４０は、カウンタ２４１を用いて、フレーム後に発生するシーン変化を持つフレームの数、又はシーン変化の数のいずれかを把握する。次いで、速い動きの検出器２４０は、ｎ個のフレームに対して、それらのフレームは全て同一シーンの一部であるから、索引のために単一のキーフレームしか選択しないことを有効シーンプロセッサ２３０に知らせる。
【００３２】
図６は、速い動きのカーチェイスビデオシーンのフレームのシーケンスを示している。上記のように、これらのフレームにおいては、自動車がフレームの左側部分からフレームの右側部分へ移動する。本発明の好ましい実施例においては、第１フレームを第２フレームと比較する。これらのフレームの間に大きな差があることから、第１フレーム後にシーン変化を検出する。次いで、フレーム２をフレーム３と比較し、これらのフレームの間の大きな差のために、フレーム２とフレーム３との間に別のシーン変化を検出する。次いで、フレーム３をフレーム４と比較し、以下同様である。カウンタ２４１は、２つのフレームの間の比較がシーン変化をもたらすたびにインクリメントする。いったん比較がシーン変化は発生していないと判定すると、数ｎはプロセッサ２３０に送られ、カウンタ２４１は零にリセットされる。カウンタが３以上に達する場合には、３つ以上のフレームが、速い動きのシーケンスの一部であるという判定がなされる。
【００３３】
本発明の別の実施例においては、本発明の方法及び装置が、ビデオの毎フレーム検出される連続したカットを持つ部分を捜すことにより、ビデオ内の速い動きのシーンを検出するために用いられる。これは、アーカイブから速い動きのシーンを捜し出すことを可能にする。
【００３４】
更に、検出される高いカットレートがあることからコマーシャルが検出されていると考える場合に、本発明は、カットが毎フレーム連続して発生しているかどうかを判定するために、より厳密にカットを調べる。前記カットは、コマーシャルではなく速い動きのシーンを示す。これは、コマーシャル位置検索システム（commercial location system）を向上させる。
【００３５】
本発明は、DCT係数を用いて示されているが、代わりに、イメージの副区域において演算して、該副区域の代表値を与える関数、ヒストグラム値、又はウェーブレット係数などの代表値を用いても良い。
【００３６】
本発明の別の実施例は、ビデオ索引のために速い動きのシーンからキーフレームを選択するための速い動きのシーンの識別に関係する。複数の連続したカット又はシーン変化を識別する上記の方法は、速い動きのシーンを識別する方法の１つである。幾つかの他の方法が、"Motion Analysis and Image Sequence Processing" edited by M. Ibramin Sezan and Reginald Lagendijk, Kluwer Academic Publishers, Boston/Dordrecolt/London, 1993において確認される。これらの方法の幾つかは、
−フレームからフレームへのピクセルのフローを追跡するオプティカルフロー計算（optical flow computation）、
−フレームからフレームへイメージ内のエッジが移動していく場所の追跡に基づく動き評価、
−フレームからフレームへのオブジェクトのフローを追跡する剛体動きモデル（rigid body motion model）に基づく動き評価、
−フレーム内の局所の動きを追跡する、フレームからフレームへ移動するほとんど全てのものの広い評価であるアフィン動きモデル(affine motion model)を用いる動き評価、及び
−MPEGにおけるPフレーム及びBフレーム内の内部コード化ブロック(intra coded block)の数の使用を含む。
【００３７】
これらの方法のいずれも、速い動きのシーンを検出する場合に、速い動きのシーンを構成する多くのフレームから１つ以上のキーフレームを選択し得る。シーンにおける動きが、速い動きであるか又は遅い動きであるかは、しきい値との比較により判定され得る。これらの方法のいずれかによって検出された動きがしきい値を上回る場合に、前記シーンは速い動きのシーンである。このしきい値は、ビデオ内の全てのシーンの比較に基づき得るし、あるいは、１９９９年１１月４日に出願された米国特許シリアル番号第09/433,258号（出願人整理番号PHA23,808）に記載されているようなカテゴリのビデオ又は全てのビデオに適用する一般的なしきい値が選ばれ得る。本発明のこの実施例の一側面においては、フレームグループ内で検出されたカットが多数ある場合に、動き評価を用いて、フレームグループが単一のキーフレームのみが選択される必要があるような単一の速い動きのシーンであるかどうかを判定する。
【００３８】
更に、本発明は、ビデオ索引付けシステムに関して記載されているが、一般に速い動きのシーンに関係しており、それ故、速い動きが誤ったシーン変化の検出をもたらすシーンを検出するための検索装置として、又は他の例としては速い動きのシーケンスから代表フレームを選び取るためのアーカイバルの方法として用いられ得る。
【００３９】
本発明は、好ましい実施例に関連して記載されているが、上記の原則の範囲内の本発明の変形例は当業者にとって明らかであり、従って、本発明は前記好ましい実施例に限定されず、斯様な変形例を含むものであるということを理解されたい。
【図面の簡単な説明】
【図１】ビデオのアーカイバルプロセスを図示する。
【図２Ａ】本発明の好ましい実施例による視覚的な索引の作成において用いられる装置のブロック図である。
【図２Ｂ】本発明の好ましい実施例による視覚的な索引の作成において用いられる装置のブロック図である。
【図３】フレーム、マクロブロック及び幾つかのブロックを図示する。
【図４】ブロックの幾つかのDCT係数を図示する。
【図５】DCT係数を持つマクロブロック及び幾つかのブロックを図示する。
【図６】速い動きのシーンを持つビデオのストリームを図示する。

Claims (14)

1. フレームを持つソースビデオを受け取る受信機、
   ２つのフレームの間のシーン変化を検出する比較器、及び
   ビデオの少なくとも３つの連続したフレームでシーン変化が検出される場合、前記少なくとも３つの連続したフレームを速い動きのシーンと決定する速い動きの検出器を有する速い動きのシーンのフレームを検出するシステム。
2. 連続してシーン変化が検出されるフレームの数をカウントするカウンタを更に含む請求項１に記載のシステム。
3. 複数のフレームから単一のキーフレームを抽出するキーフレーム抽出器を更に含む請求項２に記載のシステム。
4. 前記比較器が、シーン変化が前記２つのフレームの間で発生しているかどうかを判定するために前記フレームのDCT係数を比較する装置を含む請求項１に記載のシステム。
5. フレームを持つソースビデオを受け取るステップ、
   前記フレームの間のシーン変化を検出するためにビデオの該フレームを互いと比較するステップ、及び
   少なくとも３つの連続したフレームでシーン変化が検出される場合、前記少なくとも３つの連続したフレームを速い動きのシーンと決定する速い動きを検出するステップを有する速い動きのシーンのフレームを検出する方法。
6. 連続してシーン変化が検出されるフレームの数をカウントするステップを更に含む請求項５に記載の方法。
7. 複数のフレームから単一のキーフレームを抽出するステップを更に含む請求項６に記載の方法。
8. 前記比較するステップが、前記フレームのDCT係数を比較し、著しい変化が２つのフレームのDCT係数の間で発生したかどうかを検出する請求項５に記載の方法。
9. フレームを持つソースビデオを受け取る受信機、
   少なくとも３つの連続したフレームでシーン変化が検出される場合、前記少なくとも３つの連続したフレームを速い動きのシーンに属するフレームのグループと決定する速い動きの検出器、及び
   どのフレームのグループが前記速い動きのシーンに属しているかの指示を前記速い動きの検出器から受け取り、前記速い動きのシーンに属するフレームのグループから少なくとも１つのフレームを索引のためのキーフレームとして選択する選択器を有する索引付けシステム。
10. 前記速い動きの検出器が、オプティカルフロー計算を用いる請求項９に記載の索引付けシステム。
11. 前記速い動きの検出器が、アフィン動きモデルを用いる請求項９に記載の索引付けシステム。
12. 前記速い動きの検出器が、エッジに基づく動き評価を用いる請求項９に記載の索引付けシステム。
13. 前記速い動きの検出器が、剛体動きに基づく動き評価を用いる請求項９に記載の索引付けシステム。
14. 前記速い動きの検出器が、MPEGにおけるPフレーム及びBフレーム内の内部コード化ブロックの数に基づく動き評価を用いる請求項９に記載の索引付けシステム。

Images