JP3312105B2 - 動画像インデックス生成方法および生成装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像の一部また
は全体に対し、それらの内容を代表するフレーム画像を
インデックスとして選択する方法および装置に関する。

【０００２】

【従来の技術】動画像は各時間に対応する静止画（フレ
ーム）の列から構成されており、時間の経過に合わせて
表示するフレームを逐次変更することにより、動きを表
現している。動画像においては静止画像と異なり、時間
軸が加わっているために全体の内容を素早く把握するこ
とが難しい。

【０００３】動画像全体の内容を把握したり、また、動
画像の所望の一部分を検索したりする場合に、全てのフ
レームが一画面に表示されていれば、効率が良いことに
なるが、動画像に含まれるフレームの数は極めて多いた
め、全てのフレームを表示することは通常は効率的では
ない。例えば、テレビジョン標準化システムの１つであ
るＮＴＳＣ（National Television System Committee）
方式においては、１秒間あたり約３０のフレームが含ま
れており、１時間では１０万以上のフレームを含むこと
になってしまい、これらを１画面に表示するのは不可能
である。また、数フレームずつを１ページとして構成し
て１画面に表示するようにしたとしてもページ数が多く
なってしまい、結局、動画像を早送りして再生するほう
が効率がよいという事態になってしまう。

【０００４】一方、全てのフレームの表示の中には冗長
な情報が多く含まれていることから表示するフレームを
少なくし、内容把握や検索の効率を上げることができ
る。このとき表示のために選ばれたフレームをインデッ
クスと呼ぶことにする。例えば、１秒当たり１フレーム
や３０秒あたり１フレームといった具合にインデックス
を選択することができる。このとき、単純に数フレーム
に１枚の割合でインデックス映像を選んでいくと、必ず
しもわかりやすい表示ができるとは限らない。例えば、
内容的に重要ではあるが、表示時間が短いためにインデ
ックスに選ばれなかったフレームがあったり、逆にあま
り意味的には重要ではないが長い時間静止した映像が存
在したために同じようフレームがインデックス映像とな
ってしまうという不都合が生じる。

【０００５】こういった不都合を解消するために、カッ
トと呼ばれる不連続なフレームを検出し、カットとカッ
トの間に含まれるフレームの中から一つのインデックス
映像を選択するという方法が考えられている。このよう
にインデックス映像を選ぶフレーム区間を決定すること
により、同じ様な映像がインデックスとして選択される
のをある程度防ぐことができる。カットを自動的に検出
する手法としては、特開平１−６８０８４号公報、特開
平３−２１４３６４号公報、特開平４−２１９８７８号
公報等に記載された技術がある。通常は、カットとして
あるフレームを検出した後、そのカット後の先頭のフレ
ームをインデックスとして選択されている。

【０００６】

【発明が解決しようとする課題】上記のようなカットと
カットの間のフレームの中から一つのインデックスを選
択するという方法は、インデックスを選択する区間の決
定には有効であるが、カットとカットの間に含まれる複
数のフレームのうちのどれをインデックス映像として選
択するべきかは解決しない問題として残されている。す
なわち、動画像のある決められた一部分、もしくは全体
から内容を最もよく反映した１つのフレームを選択する
ための方法が与えられていないという問題点があった。

【０００７】本発明は、上記問題点を解決するために、
撮影されている内容に意味のあるフレームをインデック
スとして選択することにより、動画像をインデックス表
示した場合に動画像の内容把握が容易で所望場面の検索
も容易な動画像インデックス生成方法および生成装置を
提供することを目的としている。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、この発明の第１の基本構成に係る動画像インデック
ス生成方法は、入力された動画像から各時間に対応する
静止画像であるフレームを抽出するステップと、所望の
映像に関する辞書としての、見つけたいオブジェクトの
画像を予め学習させて統計的な分布を規定するパラメー
タを求めたものであるオブジェクト辞書を用いて、予め
定められた算出方法により動画像の一部または全てに含
まれる前記フレームの部分領域の評価値を算出するステ
ップと、前記フレームに含まれる全ての領域に対して算
出された評価値からフレームの評価値を算出するステッ
プと、前記評価値に基づいて前記フレームのうちから特
定のフレームの画像を、表示の際のインデックス画像と
して選択するステップと、を備える。

【０００９】上記第１の基本構成に係る動画像インデッ
クス生成方法において、前記動画像の一部または全体に
含まれる前記フレームに対して、移動するオブジェクト
を背景から切り出すステップと、切り出された前記オブ
ジェクトごとに予め定められた算出方法により評価値を
算出するステップと、同一フレームに含まれるオブジェ
クトの評価値からフレームの評価値を算出するステップ
と、前記フレームの評価値に基づいて特定フレームを表
示の際のインデックスとして選択して出力するステップ
と、をさらに備えていても良い。

【００１０】上記第１の基本構成に掛かる動画像インデ
ックス生成方法において、前記動画像の一部または全体
に含まれるフレームに対し、前記動画像を撮影している
カメラの動きと向きの変化を示すカメラパラメータを推
定するステップと、予め定められたカメラパラメータを
有するフレームを表示の際のインデックスとして選択す
るステップと、をさらに備えていても良い。

【００１１】上記第１の基本構成に係る動画像インデッ
クス生成方法において、動画像の一部または全体に含ま
れるフレームに対して任意の組み合わせのフレーム間の
類似度を予め定められた算出方法により算出するステッ
プと、前記類似度が所定の方法により算出されたしきい
値よりも大きな類似度を有するフレームを検出すること
によって繰り返し登場するフレームを検出するステップ
と、これら繰り返し登場するフレームの中から表示の際
のインデックスとするフレームを選択するステップと、
をさらに備えていても良い。

【００１２】この発明の第２の基本構成に係る動画像イ
ンデックス生成装置は、入力された動画像から各時間に
対応する静止画像であるフレームを抽出するフレーム抽
出手段と、所望の映像に関する辞書としての、見つけた
いオブジェクトの画像を予め学習させて統計的な分布を
規定するパラメータを求めたものであるオブジェクト辞
書を格納し、予め定められた算出方法により動画像の一
部または全てに含まれる前記フレームの部分領域の評価
値を算出する領域評価値算出手段と、前記フレームに含
まれる全ての領域に対して前記領域評価値算出手段によ
り算出された評価値からフレームの評価値を算出するフ
レーム評価値算出手段と、前記評価値に基づいて前記フ
レームのうちから特定のフレームの画像を、表示の際の
インデックス画像として選択するインデックス画像選択
手段と、を備えることを特徴としている。

【００１３】上記第２の基本構成に係る動画像インデッ
クス生成装置において、前記フレームの部分領域は、移
動するオブジェクトであり、前記インデックス選択手段
は、この移動するオブジェクトの動き量に基づいて、動
画像のシーンが激しく変化したフレームの静止画像をイ
ンデックス画像として選択するように構成されていても
良い。

【００１４】上記第２の基本構成に係る動画像インデッ
クス生成装置において、前記フレームの部分領域は、繰
り返し登場する類似度の高い部分領域であり、前記フレ
ーム評価値算出手段は、フレーム間の類似度を評価値と
して算出し、前記インデックス画像選択手段は、所定の
しきい値よりも前記評価値の高いフレームを繰り返しの
多いインデックス画像として選択するように構成されて
いても良い。

【００１５】

【発明の実施の形態】以下、本発明に係る動画像インデ
ックス生成方法および生成装置の好適な実施形態につい
て、添付図面を参照しながら詳細に説明する。まず、本
発明の基本概念を示す第１実施形態に係る動画像インデ
ックス生成方法および第２実施形態に係る動画像インデ
ックス生成装置について、図１および図２を参照しなが
ら説明する。

【００１６】図１は、本発明の第１実施形態に係る動画
像インデックス生成方法の動作手順を示すフローチャー
トであり、同図において、動画像インデックス生成方法
は、入力された動画像から各時間に対応する静止画像で
あるフレームを抽出するステップST１と、所望の映像に
関する辞書を用いて、予め定められた算出方法により動
画像の一部または全てに含まれる前記フレームの部分領
域の評価値を算出するステップST２と、前記フレームに
含まれる全ての領域に対して算出された評価値からフレ
ームの評価値を算出するステップST３と、前記評価値に
基づいて前記フレームのうちから特定のフレームの画像
を表示の際のインデックス画像として選択するステップ
ST４と、を備えている。

【００１７】次に、装置発明の基本概念を示す第２実施
形態に係る動画像インデックス生成装置を、図２のブロ
ック構成図に従い説明する。図２において、第２実施形
態に係る動画像インデックス生成装置は、入力された動
画像から各時間に対応する静止画像であるフレームを抽
出するフレーム抽出手段１と、所望の映像に関する辞書
を格納し、予め定められた算出方法により動画像の一部
または全てに含まれる前記フレームの部分領域の評価値
を算出する領域評価値算出手段２と、前記フレームに含
まれる全ての領域に対して前記領域評価値算出手段２に
より算出された評価値からフレームの評価値を算出する
フレーム評価値算出手段３と、前記評価値に基づいて前
記フレームのうちから特定のフレームの画像を表示の際
のインデックス画像として選択するインデックス画像選
択手段４と、を備えることを特徴としている。

【００１８】上記第２実施形態に係る動画像インデック
ス生成装置の動作は、上述した第１実施形態に係る動画
像インデックス生成方法の各処理手順がこれに相当して
いるので、重複説明を省略する。次に、図３ないし図２
１を用いて下位概念に係る各実施形態について説明す
る。

【００１９】本発明の第３実施形態に係る動画像インデ
ックス生成装置は、例えば図３に示すように構成され
る。図３において、符号１０１はユーザインタフェース
部であり、実際にはキーボードやマウス、タッチパネル
等のポインティングデバイスなどである。ユーザは１０
１から指示を送ることにより、システムに動画像の再
生、停止、インデックスの表示などを行なわせる。

【００２０】１０２は制御部であり、システム全体の制
御を行なう。１０３は映像表示部であり、動画像やイン
デックス映像の表示を行なう。１０５はバスであり、各
処理部間のデータの伝送はここを通して行なわれる。１
０４は動画像記録部であり、具体的には磁気ディスクや
磁気テープ、光ディスクなどの大容量データ記録媒体で
ある。この動画像記録部１０４はそのままネットワーク
上の動画像サーバや動画像放送の受信で置き換えても良
い。

【００２１】１０６はインデックス映像選択部であり、
動画像記録部１０４に蓄積された動画像のインデックス
映像の選択処理を行なう。ここでの選択処理の方法は後
で詳細に説明する。１０７はインデックス情報記録部で
あり、インデックス映像選択部１０６において選択され
たインデックスに関する情報を蓄積しておく。具体的に
は半導体メモリや磁気ディスク、光ディスクなどの記録
媒体である。

【００２２】１０８はカット検出部であり、動画像記録
部１０４に蓄積された動画像から映像の不連続なフレー
ム間であるカットを検出する。１０９はカット情報記憶
部であり、カット検出部１０８で検出されたカット情報
を蓄積しておく、半導体メモリや磁気ディスク、光ディ
スクなどの記録媒体である。

【００２３】インデックス情報を生成するときには、ま
ず、カット検出部１０８においてカットの検出が行なわ
れる。処理対象となる動画像は、動画像記録部１０４か
らバス１０５を通してカット検出部１０８に送られる。
カット検出部１０８での処理はいかなるカット検出手法
でも用いることが可能であるが、例えば特開平０１−６
８０８４、特開平３−２１４３６４号公報、特開平４−
２１９８７８号公報などで説明されている方法を適用す
ることが可能である。検出されたカットに関する情報
は、フレーム番号、動画像の先頭からの時間、先頭から
のバイト数などのカット情報として出力され、カット情
報記憶部１０９に記憶される。

【００２４】次に、カット情報記憶部１０９に蓄積され
ているカット情報のうち、連続するカットに挟まれたフ
レームをインデックス選択のための部分動画像とする。
これら複数の部分動画像ごとにインデックス映像選択部
１０６においてインデックス映像が選択される。ここで
の処理は後述するが、選択されたインデックス映像に関
する情報は、フレーム番号、動画像の先頭からの時間、
先頭からのバイト数などの形式でインデックス情報に対
応したフレームのみを動画像記録部１０４から再生し、
インデックス映像のみからなる映像データを生成してお
いても良い。

【００２５】ユーザインタフェース１０１からインデッ
クス表示命令が入力されたときにはインデックス情報記
憶部１０７に記憶されたインデックス情報が読み出さ
れ、インデックス情報に対応したフレームの映像が動画
像記録部１０４から読み出され、映像表示部１０３に表
示される。また、インデックス映像のみからなる映像デ
ータが既に生成されている場合には、動画像記録部１０
４から動画像データを読み出すのではなく、直接インデ
ックス映像のみからなる映像データが読み出されて映像
表示部１０３に表示される。

【００２６】以下、インデックス映像選択部１０６にお
ける処理を図４に従い、より詳細に説明する。図４はイ
ンデックス映像選択部１０６の内部のブロック図であ
る。

【００２７】まず、カット情報記憶部１０９に記憶され
たカット情報をもとに、インデックス映像がまだ選択さ
れていないカット間のフレームがインデックス映像の選
択範囲として選ばれる。選択範囲内のフレームは順次バ
ス１０５を介してフレーム画像記憶部２０１に読み込ま
れる。２０２はサンプル領域切り出し・正規化部であ
り、フレーム画像記憶部２０１に記憶されたフレーム画
像の一部の矩形領域の切り出しを行なう。切り出す矩形
のスケールや位置は予め決めておくのが簡単であるが、
入力される画像により逐次変更できるようにしておいて
も良い。通常は、一つのフレーム画像から複数のスケー
ル、位置の組み合わせの矩形をサンプル領域として切り
出す。例えば、横２０画素、縦２０画素から横５０画
素、縦５０画素まで縦横各々一画素ステップで、フレー
ム上の全ての位置から切り出すといったように定めてお
く。切り出されたサンプル領域は、スケールが異なるの
で、あらかじめ定められたスケールに正規化される。

【００２８】オブジェクト辞書記録部２０４はオブジェ
クト辞書を記録しておくための記録媒体である。オブジ
ェクト辞書は見つけたいオブジェクトの画像を予め学習
させ、統計的な分布を規定するパラメータを求めたもの
である。例えば、人間の顔や動物、車などをオブジェク
トとして辞書を作成する。辞書作成の手法としては、ベ
イズ推定がよく知られている。また、オブジェクト辞書
は見つけたいオブジェクトの画像の代表的なパターンの
集合としてもよい。

【００２９】距離計算部２０５では、あらかじめ定めら
れた手法により正規化されたサンプル領域とオブジェク
ト辞書に登録されたデータとの距離を算出する。例え
ば、オブジェクト辞書としてオブジェクトの統計的分布
の平均ベクトルや、共分散行列が用いられている場合に
は、平均からのユークリッド距離やマハラノビス距離を
用いることができる。また、オブジェクト辞書にオブジ
ェクトの画像の代表的なパターンが登録されている場合
には、正規化されたサンプル領域とユークリッド距離や
マハラノビス距離が最も近い代表パターンまでの距離と
して算出されても良い。

【００３０】距離計算部２０５により計算された距離情
報は距離情報記憶部２０３に記憶される。同一のフレー
ムごとに距離の最小値のみを記憶、更新し、フレーム内
の全てのサンプル領域に対する距離算出処理が終了する
と、距離の最小値がフレームを代表する距離情報として
距離情報記憶部２０３に記憶される。距離情報記憶部２
０３はフレーム内の距離の最小値と共に、これまでに算
出されたフレームを代表する距離情報の最小値、および
そのフレームのフレーム番号またはそれに代わる情報を
記憶している。インデックス映像選択範囲内の全てのフ
レームに対しての距離算出処理が終了すると、距離情報
記憶部２０３はインデックス映像選択範囲内のフレーム
の中で最も小さな距離値を与えたフレームをインデック
ス映像として選択し、そのフレーム番号、または動画像
の先頭からの時間、バイト数などの情報をバス１０５を
介してインデックス情報記憶部１０７に送る。

【００３１】例えば、オブジェクト辞書として、人物の
正面の顔を学習、登録しておいたものとする。この場
合、距離計算部２０５で算出された距離が小さいときに
はサンプル領域として人物の正面画像が切り出されてい
る可能性が高いことを意味している。図１６はこの例に
おいて、正面顔の含まれているフレームがインデックス
として選択される様子を示している。図１６において、
距離算出部２０５で計算される距離は、正面顔を含む中
央のフレームにおいて最小値をとり、正面顔を含まない
左右両端のフレームにおいては算出される距離が大きく
なっている。この結果、中央の正面顔を含むフレームが
インデックスとなる。

【００３２】このような処理を行なうことにより、イン
デックスとして無意味なフレームを選択するのではな
く、人物という意味のあるオブジェクトが存在するフレ
ームがインデックス表示の際に表示され、内容の把握し
やすい表示、検索を効率よく行なうことのできる表示が
可能になる。

【００３３】オブジェクト辞書記録部２０４に記憶され
るオブジェクト辞書の種類、数は限定される物ではな
い。従って、インデックスとして表示されたいオブジェ
クトを複数用意しておくことができる。例えば、人物の
顔の他、車の辞書を登録しておくことにより、人物が登
場しない場合であっても、車の登場するフレームを優先
的にインデックスとして選択することができるようにな
る。

【００３４】また、どのフレームにおいても大きな距離
しか算出されなかった場合には、オブジェクト辞書に登
録されているオブジェクトはどれも含まれていないと判
断して、別の方法でインデックス映像を選択するように
してもよい。例えば、インデックス映像選択範囲内の先
頭フレームにするとか、真ん中のフレームにするといっ
た簡単な方法でも良い。

【００３５】ここまで説明した処理は、ソフトウェア、
ハードウェアのどちらでも行なうことが可能である。ソ
フトウェアにより処理を行なう場合には例えば図５のフ
ローチャートに示す処理によっても、本発明のインデッ
クス生成を行なうことが可能である。図５において、フ
レーム区間から未処理のフレームを選択し（ステップST
11）、フレーム画像からサンプル領域を切り出し（ステ
ップST12）た後、サンプル領域を正規化して辞書十距離
を求める（ステップST13）。ステップST13により求めら
れた距離が最も小さいのならば、現在のフレームをイン
デックス候補とする（ステップST14）。次に、ステップ
ST15において、全てのスケール・位置のサンプル領域が
試されたか否かが判断され、まだ試されていないスケー
ル・位置が残っている場合にはステップST12に戻り、全
てのサンプル領域について検出が行われる。ステップST
15において、全てのサンプル領域が試されたものと判断
された場合には、ステップST16において、フレーム区間
内の全てのフレームについて試されたか否かが判断さ
れ、全てのフレームについて処理が行われていない場合
には、ステップST11ないしST16の処理が繰り返され、全
てのフレームについて処理が行われているものと判断さ
れた場合には、ステップST17において前記インデックス
候補をインデックス映像として決定する。

【００３６】次に、本発明の第４実施形態に係る動画像
インデックス装置について、図６を参照しながら説明す
る。この第４実施形態においても、第３実施形態の装置
において説明した図３に関する部分は全く同様に説明さ
れるので、ここでは説明を省略する。従って、インデッ
クス映像選択部１０６の構成についてのみ、説明を行な
う。

【００３７】図６は第４実施形態に係る装置におけるイ
ンデックス映像選択部１０６の一例構成を示すブロック
図である。まず、カット情報記憶部１０８に記憶された
カット情報をもとに、インデックス映像がまだ選択され
ていないカット間のフレームがインデックス映像の選択
範囲として選ばれる。選択範囲内のフレームは順次バス
１０５を介してフレーム画像記憶部４０１に読み込まれ
る。４０２はサンプル領域切り出し・正規化部であり、
フレーム画像記憶部４０１に記憶されたフレーム画像の
一部の矩形領域の切り出しを行なう。切り出す矩形のス
ケールや位置は第３実施形態における説明と全く同様で
あり、あらかじめ決めておくか、入力される画像により
逐次変更できるようにしておいても良い。切り出された
サンプル領域は、スケールが異なるので、サンプル領域
切り出し・正規化部４０２において後に行なう距離算出
に適している予め定められたスケールに正規化する。こ
の第４実施形態のサンプル切り出し・正規化部４０２で
は、第３実施形態とは異なり、切り出された領域のスケ
ール、位置の情報をフレーム評価値算出部４０５に送る
処理も行なう。

【００３８】オブジェクト辞書記録部４０６はオブジェ
クト辞書を記憶しておくための記録媒体である。第３実
施形態において説明した通り、オブジェクト辞書は見つ
けたいオブジェクトの画像をあらかじめ学習させ、統計
的な分布を規定するパラメータを求めたものである。距
離算出部４０３はオブジェクト辞書記録部４０６に記憶
されているオブジェクト辞書と正規化されたサンプル領
域との距離を所定の方法を用いて算出する。算出された
距離情報はフレーム評価値算出部４０５に送られる。

【００３９】フレーム評価値算出部４０５は、距離算出
部４０３から送られてきた距離の値が定められたしきい
値よりも小さい場合に、サンプル切り出し・正規化部４
０２より送られてくる切り出し領域のスケール、位置情
報および距離情報とから領域の評価値を算出する。この
評価値はスケールが大きい、また、位置がフレームの中
心に近い、また、距離が小さいほど大きくなるようにす
る。例えば、領域の中心とフレームの中心との距離を
ｄ、スケール（例えば、面積）をｓ、距離算出部４０３
で算出された辞書との距離をＤ、さらにＣ１，Ｃ２，Ｃ
３，Ｃ４，Ｃ５を定数として、 として算出するものとする。

【００４０】フレーム評価値算出部４０５は上記の領域
の評価値を蓄積しておき、同一のフレーム内の領域に対
して算出された領域の評価値の和を求め、これをフレー
ム評価値とする。ただし、同一フレーム内でも重なり合
った領域に対して算出された領域の評価値については、
これら領域の一つの評価値に対してのみ和をとるものと
する。

【００４１】フレーム評価値算出部４０５では、インデ
ックス映像選択範囲内の全てのフレームに対しての最大
値、および最大値を与えるフレームのフレーム番号もし
くはそれに代わる情報（先頭からの時間やバイト数な
ど）を記憶される。インデックス映像選択範囲内の全て
のフレームに対して処理が終わったときに、上記最大の
フレーム評価値を与えるフレーム番号またはそれに代わ
る情報をインデックス情報記憶部１０７に送ることによ
り、インデックス選択範囲内のインデックス選択が終了
する。

【００４２】第４実施形態のように処理を行なうことに
より、インデックス選択範囲内のフレームから、インデ
ックスとして取り上げたいオブジェクトが画面の中心付
近にあり、かつ、大きく映っているものがインデックス
として選択されやすくなる。例えば、オブジェクトに人
物の正面顔を選んだ場合には、画面の端に小さく顔が映
っているフレームよりも、中心に大きく映っているフレ
ームをインデックスとして選択することになり、インデ
ックス表示の際の視認性が向上する。図３はその一例で
ある。左端のフレームでは顔が画面の端の方にあること
から、フレーム評価値は顔が中心に映っている中央のフ
レームよりも低くなっている。また、右端のフレームで
は顔が端に映っている上に小さいため、さらに低いフレ
ーム評価値が算出されている。図１７の例の場合には、
中央のフレームがインデックスとして選択される。

【００４３】一方、評価値算出の際の定数としてＣ１＝
Ｃ３＝Ｃ４＝０を選択すると、オブジェクトが多く存在
しているフレームがインデックスとして選択され易くな
る。先の例のようにオブジェクトとして人物の正面顔を
採用した場合には、一人だけ映っているフレームよりも
二人、三人が映っているフレームの方がインデックスと
して選択されやすくなる。このようなインデックスは、
登場人物を把握する上で好ましいインデックスである。

【００４４】ここまで説明した処理は、第３実施形態と
同様に、ソフトウェア、ハードウェアのどちらでも行な
うことが可能である。ソフトウェアにより処理を行なう
場合には例えば図７のフローチャートに示す処理によ
り、本発明のインデックス生成を行なうことが可能であ
る。図７において、ステップST11ないしST13およびステ
ップST15ないしST17は、図５に示された第３実施形態の
インデックス映像選択部の処理動作と同一である。この
第４実施形態の処理動作においては、第３実施形態のス
テップST14の代わりに距離がしきい値よりも小さいなら
ば距離・位置・スケールより評価値を求めるステップST
20が設けられ、また、ステップST15とステップST16の間
に、フレーム全体の評価値の和が最も大きいならば現在
のフレームをインデックス候補とするステップST21が設
けられている点が第３実施形態と異なっている。

【００４５】次に、第５実施形態について説明する。こ
の第５実施形態においても、第３実施形態で説明した図
３に関する部分は同様に説明されるので、ここでは説明
を省略する。従って、インデックス映像選択部１０６の
処理についてのみ、説明を行なう。

【００４６】図６は第５実施形態の動画像インデックス
生成装置におけるインデックス映像選択部１０６のブロ
ック図の一例である。まず、カット情報記憶部に記憶さ
れたカット情報をもとに、インデックス映像がまだ選択
されていないカット間のフレームがインデックス映像の
選択範囲として選ばれる。

【００４７】インデックス映像選択範囲内のフレーム
は、移動オブジェクト分離部６０１においてインデック
ス選択範囲内のフレームについてフレーム内に存在して
いるオブジェクトの分離処理が行なわれる。例えば、映
像の小領域ごとにフレーム間での移動量をベクトルとし
て推定し、これをフレーム前面に対して行なう。この処
理により得られたフレーム全体の小領域ごとの動きの情
報は、一般にオプティカルフローと呼ばれ、様々な手法
が開発されている（例えば、PROCEEDING OF THEIEEE, p
p.917-935, VOL.76, NO.8,1988.など）。次に、得られ
た動きを表すベクトルをクラスタリングすることにより
類似した動きを有する連続領域を特定している。このよ
うな処理により異なる動きを有しているオブジェクトを
分離することができる（例えば、COMPUTER GRAPHICS AN
D IMAGE PROCESSING, pp.301-315,VOL.9, 1979.な
ど）。

【００４８】オブジェクト面積算出部６０２では、移動
オブジェクト分離部６０１で分離されたオブジェクトが
占める面積を算出する。一つのフレームから複数のオブ
ジェクトが分離された場合には、面積が最大のオブジェ
クトがどれであるかの特定も行なう。ここでの面積と
は、分離されたオブジェクトの占める画素数である。

【００４９】次にオブジェクト重心算出部６０３におい
てオブジェクトの重心位置を算出する。これは一つのフ
レーム内の分離されたオブジェクトのうち、オブジェク
ト面積算出部において面積最大と判定されたオブジェク
トに対して行なう。

【００５０】オブジェクト重心計算部６０３で算出され
た重心位置は、距離算出部６０５に送られ、フレームの
中心位置とのユークリッド距離が算出される。算出され
た距離は距離情報記憶部６０４に送られる。

【００５１】距離情報記憶部では、処理されたフレーム
の中での最小の距離の値と、最小の距離を与えるフレー
ムを特定する情報（フレーム番号、先頭からの時間、バ
イト数など）とを記憶する。新たなフレームに関する距
離情報が６０５より送られてくると、最小の距離の更新
処理を行なう。インデックス映像選択範囲内の全てのフ
レームに関する距離情報の入力が終了すると、距離の最
小値を与えるフレームの特定情報をバス１０５を介して
インデックス情報記憶部１０７に送り、インデックス選
択処理を終了する。

【００５２】第５実施形態において説明された処理を行
なうことにより、インデックス映像選択範囲内に登場す
る最も大きな移動オブジェクトが、最も中心に位置して
いるフレームがインデックスとして選択される。第１、
第２の実施例においてはオブジェクトが何であるかをあ
らかじめ特定する必要があった。しかし、第５実施形態
ではどのようなオブジェクトであっても、フレーム内に
大きく映っている移動オブジェクトが存在すれば、その
オブジェクトが中心に映っているフレームをインデック
スとして選択することが可能である。例えば、画面の端
から端まで車が横切るような場面においては、車が画面
の中央に位置しているフレームがインデックスとして選
択される。

【００５３】第５実施形態で説明した処理は、ソフトウ
ェア、ハードウェアのどちらでも行なうことが可能であ
る。ソフトウェアにより処理を行なう場合には例えば図
９のフローチャートに示す処理により、本発明のインデ
ックス生成を行なうことが可能である。図９において、
フレーム区間から未処理のフレームを選択するステップ
ST11の処理を行なう前に、フレーム区間に含まれる移動
オブジェクトを分離するステップST22が設けられてい
る。また、ステップST11とステップST14との間にフレー
ム画像に含まれる面積最大のオブジェクトの重心を求め
るステップST23とオブジェクトの中心と映像の中心との
距離を求めるステップST24とが設けられている。その他
の処理ステップは図５の処理ステップと同一なので重複
説明を省略する。

【００５４】次に第６実施形態に係る動画像インデック
ス生成装置について説明する。第６実施形態において
も、第３実施形態で説明した図３に関する部分は全く同
様に説明されるので、ここでは説明を省略する。したが
って、インデックス映像選択部１０６の処理についての
み、説明を行なう。

【００５５】図１０は第６実施形態に係る生成装置にお
けるインデックス映像選択部１０６のブロック図の例で
ある。まず、これまでの幾つかの実施形態と同様、カッ
ト情報記憶部１０９に記憶されたカット情報をもとに、
インデックス映像がまだ選択されていないカット間のフ
レームがインデックス映像の選択範囲として選択され
る。

【００５６】インデックス映像選択範囲内のフレーム
は、移動オブジェクト分離部８０２においてインデック
ス選択範囲内のフレームについてフレーム内に存在して
いるオブジェクトの分離処理が行なわれる。これは第５
実施形態において説明した６０１と同様のものであり、
オプティカルフローのクラスタリングにより、行なうこ
とが可能である。

【００５７】オブジェクト重心算出部８０１では、８０
２で分離されたオブジェクトの重心を算出する。ただ
し、第５実施形態とは異なり、分離された全てのオブジ
ェクトについて重心が計算される。オブジェクト面積算
出部８０３は、８０２で分離された全てのオブジェクト
の面積（占有する画素数）を算出する。これら、重心の
位置情報、および面積情報はオブジェクトごとにオブジ
ェクト評価値算出部８０４に送られる。

【００５８】オブジェクト評価値算出部８０４では、面
積情報、重心の位置情報からオブジェクト毎に評価値を
算出する。オブジェクト評価値は、面積が大きいほど大
きくなり、重心位置が画面の中央に近いほど大きくなる
ように決定される。例えば、面積をｓ’、重心と画面の
中央との距離をｄ’，Ｃ６，Ｃ７，Ｃ８，Ｃ９を定数と
して、 とする。オブジェクト評価値は同一のフレームから分離
されたオブジェクト全てについて算出され、フレーム評
価値算出部８０６に送られる。

【００５９】フレーム評価値算出部８０６では、同一フ
レーム内のオブジェクトについて算出された評価値から
フレームの評価値を算出する。これは、例えば単純に和
をとることにより行なわれたり、しきい値以上のオブジ
ェクト評価値の数として算出することができる。算出さ
れたフレーム評価値はフレーム評価値記憶部８０５に送
られる。フレーム評価値記憶部８０５では、インデック
ス選択範囲内のフレーム全ての中から最大のフレーム評
価値を持つフレームを選出し、バス１０５を介してイン
デックス情報記憶部１０７にフレームを特定する情報
（フレーム番号、先頭からの時間、バイト数など）を送
り、インデックス映像選択範囲内からのインデックス選
択処理を終了する。

【００６０】第６実施形態のようにインデックス選択処
理を行なうことにより、インデックス選択範囲内のフレ
ームのうち、移動しているオブジェクトがなるべく多
く、なるべく画面の中心付近に存在し、なるべく大きく
映っているフレームがインデックスとして選ばれる。こ
のような性質を持つフレームをインデックスにすること
により、動画像に登場するオブジェクトを素早く認識す
ることが可能になる。

【００６１】第６実施形態で説明した処理は、ソフトウ
ェア、ハードウェアのどちらでも行なうことが可能であ
る。ソフトウェアにより処理を行なう場合には例えば図
１１のフローチャートに示す処理により、本発明のイン
デックス生成を行なうことが可能である。図９に示した
第５実施形態の動作説明のフローチャートと図１１の第
６実施形態に係る生成装置の動作との違いは、図９のス
テップST24およびST14の代わりに、オブジェクト毎に評
価値を求めこれらの和をフレームの評価値とするステッ
プST25と、フレームの評価値が最も大きいのならば現在
のフレームをインデックス候補とするステップST26とが
設けられている点である。

【００６２】次に、第７実施形態に係る動画像インデッ
クス生成装置について説明する。この第７実施形態に係
る装置においても、第３実施形態で説明した図３に関す
る部分の構成は全く同一であるので、重複説明を省略す
る。したがって、インデックス映像選択部１０６の処理
についてのみ、説明を行なう。

【００６３】図１２は第７実施形態に係る動画像インデ
ックス生成装置におけるインデックス映像選択部１０６
のブロック図の異なる例である。これまでの実施形態と
同様に、はじめにカット情報記憶部に記憶されたカット
情報をもとに、インデックス映像がまだ選択されていな
いカット間のフレームがインデックス映像の選択範囲と
して選ばれる。

【００６４】インデックス映像選択範囲内のフレーム
は、カメラパラメータ推定部１００１においてカメラパ
ラメータが推定される。カメラパラメータは、動画像を
撮影したときの被写体とカメラとの相対的な位置、向
き、およびパンやズームなどの移動、倍率の変化等に関
するパラメータのことを指している。カメラパラメータ
推定部１００１では、複数の連続するフレームから、有
するフレームにおけるカメラパラメータ推定部１００１
では、複数の連続するフレームから、有るフレームにお
けるカメラパラメータを推定する。このための手法とし
ては、ハフ変換を用いて動きのベクトルの消失点を求
め、複数有る消失点のうちの最大の投票数を得た消失点
を背景に対する消失点とし、カメラパラメータに関する
拘束式を説くなどの手法がある。カメラパラメータと消
失点との関係やカメラパラメータを求める手法は、例え
ば「金谷健一著、『画像理解』、森北出版」などに詳し
い。カメラパラメータが推定されると、推定されたパラ
メータの値はカメラパラメータマッチング部１００４に
送られる。

【００６５】カメラパラメータマッチング部１００４で
はカメラパラメータ推定部１００１から送られたパラメ
ータ値と、登録カメラパラメータ記憶部１００２に登録
されているカメラパラメータとが同じかどうかの判定を
行なう。１００２に登録されているカメラパラメータ
は、１フレームが有するパラメータ値でも良いが、それ
よりはむしろカメラパラメータの変化点としておく方が
望ましい。例えば、ズーム・インが終了した時点のフレ
ームとして、ズームを表すパラメータ（ズーム・インで
正値をとるものとする）の値が０、かつ直前のフレーム
におけるパラメータの微分値が負となる条件を登録した
り、パンの始まりや終わりとして、パンを表すパラメー
タが０で、直前のフレームのパラメータの微分値の絶対
値がしきい値よりも大きくなるといった条件を登録す
る。カメラパラメータマッチング部１００４はこれらの
登録カメラパラメータと推定されたカメラパラメータが
一致した場合には、マッチしたという情報をフレームの
特定情報と共にマッチング情報記憶部１００３に送る。

【００６６】マッチング情報記憶部では、インデックス
映像選択範囲内のフレーム全てについての処理が終了す
るまで、全てのマッチング情報を記憶しておく。そし
て、複数のインデックスの選択が許されている場合に
は、マッチしたフレームの特定情報を全てインデックス
情報蓄積部１０７に送り、インデックス選択処理を終了
する。

【００６７】インデックス映像選択範囲内から一つのイ
ンデックスのみを選択する場合、一般に１００３に記憶
された複数のフレームの中から一つをインデックスとし
て選択しなければならない。この際の処理としては、第
３ないし第６実施形態で説明した処理をマッチング情報
記憶部１００３に記憶されたフレームに対して行ない、
インデックスを選択することが可能である。また、簡略
的に決定したい場合には、インデックス映像選択範囲内
の真ん中に近いフレームを選択したり、先頭のフレーム
を選択したりしても良い。

【００６８】第７実施形態のようにインデックス選択処
理を行なうことにより、例えば、人物の顔にズーム・イ
ンした映像が含まれる場合では、ズーム・インされた顔
の映像が大きく映っているフレームがインデックスとし
て選択されるため、動画像に途上しているものや撮影者
が注目しているものがインデックスに反映されることに
なる。

【００６９】また、図１８は、「水平方向、垂直方向の
カメラパラメータが０で、直前の水平方向のカメラパラ
メータの微分値のあるしきい値を上回る」という条件を
登録した例である。この条件は、左右方向のカメラの動
き、すなわちパンの終了したフレームを示している。図
１８の例において説明されている動画像は、右方向のパ
ンがずっと続き、最後に人物の顔が中心にきたところで
パンが終了し、カメラが静止するというものである。水
平方向、垂直方向のカメラの動き速度（カメラパラメー
タ）は上のグラフ、そして同速度の微分値を下のグラフ
に示している。この例では、右側のフレームにおいて、
水平方向の動き速度が０で、かつ、直前の微分値がしき
い値を上回って大きく突出しているため、インデックス
画像に選択されている。

【００７０】第７実施形態で説明した処理は、ソフトウ
ェア、ハードウェアのどちらでも行なうことが可能であ
る。ソフトウェアにより処理を行なう場合には例えば図
１３のフローチャートに示す処理により、本発明のイン
デックス生成を行なうことが可能である。ステップST11
において、フレーム区間から未処理のフレームを選択し
た後、ステップST31において、フレーム画像のカメラパ
ラメータを推定する。ステップST32において、フレーム
区間内の全てのフレームのカメラパラメータを求めたか
否かが判断される。全てのフレームのカメラパラメータ
が求められたものと判断された場合には、登録されてい
るカメラパラメータを含むフレームをインデックス候補
とする（ステップST33）。最後に、インデックス候補が
複数の場合、そのうちの１つを選択し、インデックス画
像とする（ステップST34）。

【００７１】次に第８実施形態に係る動画像インデック
ス生成装置について説明する。第８実施形態において
も、第３実施形態のインデックス生成装置で説明した図
３に関する部分は全く同様に説明されるので、ここでは
説明を省略する。従って、インデックス映像選択部１０
６の処理についてのみ、説明を行なう。

【００７２】図１４は第８実施形態におけるインデック
ス映像選択部１０６のブロック図の例である。これまで
の実施例と同様、はじめにカット情報記憶部に記憶され
たカット情報をもとに、インデックス映像がまだ選択さ
れていないカット間のフレームが選ばれる。選択範囲内
のフレームは順次バスを介してフレーム画像記憶部１２
０１に読み込まれる。

【００７３】比較フレーム画像記憶部１２０３には動画
像に含まれるフレームのうち、１２０１に読み込まれて
いるフレーム、及びそのフレームから決められたフレー
ム数以上離れた位置にあるフレームが順次読み込まれ
る。類似度算出部１２０４はフレーム画像記憶部１２０
１と比較フレーム画像記億部１２０３に読み込まれてい
るフレームとの類似度をあらかじめ決められた手法によ
り算出する。例えば、単純に対応する位置の画素値の差
分の絶対値もしくは２乗した値をフレーム全体で足し合
わせるといった方法がとられる。

【００７４】しきい値算出部１２０２は、比較部１２０
５において類似度と比較されるしきい値を算出する。し
きい値は、通常、定数としておけば十分であるが、画面
全体の色や輝度の分布により変化させることも可能であ
る。比較部１２０５においては、しきい値よりも高い類
似度であると判定された場合には、フレーム画像記憶部
１２０１に読み込まれているフレームをインデックス候
補として、類似度とフレームを特定するフレーム番号等
の情報がインデックス候補記憶部１２０６に送られる。

【００７５】インデックス候補記憶部１２０６では、一
つのフレームのみが候補となっている場合にはこれをイ
ンデックス映像として選択するが、通常は複数のフレー
ムが候補となるか、一つも候補にならない。一つも候補
がない場合には、他の方法により選ばれたフレームをイ
ンデックス映像とする。例えば、第３ないし第７実施形
態において説明した手法により選択されたフレームをイ
ンデックス映像と決定する。

【００７６】複数のフレームが候補となっている場合に
は、その中の一つをインデックス映像と決定する。この
ときには、第３内次第７実施形態において説明した手法
を候補となっているフレームについてのみ行なうことに
より決定することができる。また、単純な方法として、
類似度の最大値を与えるフレームに決定する方法や、候
補となったフレームのうちで真ん中に位置するフレーム
に決定するという方法でも良い。

【００７７】第８実施形態で説明された手法により、重
要であるために繰り返し撮影されている場面がインデッ
クスとして選択されることが可能になる。例えば、スポ
ーツ映像においてリプレイとして繰り返し出てくるシー
ンや、スロー再生として同じシーンを異なる再生速度で
映し出すような場合がこれに相当する。これらはどれも
重要なシーンであり、本実施例による方法で検出するこ
とが可能である。これらのフレームからインデックスを
選択することにより検索や、内容理解の効率化が図れ
る。

【００７８】第８実施形態において説明した処理は、ソ
フトウェア、ハードウェアのどちらでも行なうことが可
能である。ソフトウェアにより処理を行なう場合には例
えば図１５のフローチャートに示す処理により、本発明
のインデックス生成を行なうことが可能である。図１５
において、まず、フレーム区間辛み処理のフレームを選
択し（ステップST11）、次に、ステップST35において、
他のフレームとの類似度を算出する。ステップST36で
は、類似度がしきい値よりも大きなフレームをインデッ
クス候補として設定する。ステップST16において、フレ
ーム区間内の全てのフレームが試されたか否かを判断す
る処理動作は第３ないし第７実施形態に係る動作と同じ
である。全てのフレームについて処理が終了していない
場合には、ステップST11，ST35およびST36を全てのフレ
ームについて行ない、全てのフレームについての処理が
終了した場合には、ステップST37に進む。ステップST37
においては、インデックス候補が複数の場合にその内の
１つを選択してインデックス映像として出力する。

【００７９】次に、上記インデックス生成方法および装
置により生成されたインデックス画像を表示出力する方
法について、図１９ないし図２１に従い詳細に説明す
る。図１９は本発明の第９実施形態に係る動画像インデ
ックス生成方法のインデックス画像の表示を説明するた
めの概念図である。ＣＲＴ（Cathode Ray Tube）や液晶
ディスプレイ等の表示装置の画面１０には、動画像のあ
る一定の時間区間を表す立体アイコンウインドウ１１が
最も手前側に表示されており、その後ろには代表フレー
ムの一覧表示欄ウインドウ１２が表示されている。立体
アイコンウインドウ１１の横には、映像の編集作業を支
援する部品リストウインドウ１３が表示されており、こ
の部品リストウインドウ１３を用いて映像に関する編集
作業を行なうことができる。この部品リストウインドウ
１３を用いて行なう編集作業については後述する。

【００８０】図１９において、各々のウインドウ１１，
１２および１３は、画面内の仮想的３次元空間内に表示
されており、利用者の操作により上下左右および奥行き
方向に自由に位置を移動させることができ、また、自由
な方向に回転させることもできる。ここでいう「仮想的
３次元空間」とは、２次元で表示される画面内に投影表
示される３次元空間のことを意味しており、バーチャル
リアリティの分野で通常用いられている表示方法のこと
である。

【００８１】左右の目の位置すなわち視点の位置に応じ
た表示方法を用いて、真の３次元表示を行なっても構わ
ないし、また、移動・回転についての自由度は、各々の
ウインドウ１１，１２および１３が互いに衝突しないよ
うに、あるいは画面の表示上からも不都合とならないよ
うに、制限を加えておくようにしても良く、本発明に係
る動画像インデックス生成方法を含む表示装置によって
自動的に制御することも可能である。

【００８２】図２０は、図１９の画面１０における立体
アイコンウインドウ１１のみを詳細に示す説明図であ
り、図において、立体アイコンウインドウ１１は情報に
突出する代表フレーム１５を有している。各代表フレー
ム１５は、それを生成したショットの時間的な長さに比
例した奥行き方向の距離的な長さ分ずつ離隔して配置さ
れている。図２０においては、奥行き方向の距離にわた
って並べられるフレームの連続として表示されている
が、これに限定されず、連続する一纏まりのフレーム毎
に箱状の容器に収納されているように表現しても良い。

【００８３】また、立体アイコンを箱状にすると共にこ
の箱毎にインデックスを表示して視認しやすくすること
も可能であるし、時間的な経過を奥から手前に向かって
時間的に新しくなるように配列しても良いし、その逆に
手前から奥に向かって新しくするように並べても良い。
要するに、代表フレームを並べて表示する際に、それぞ
れのショットの時間の長さに比例した空間的な距離をも
って３次元空間内に配列されるような構成のものであれ
ば、細かい仕様は如何なるものであっても実施可能であ
る。

【００８４】図２１は、図１９に示された代表フレーム
一覧ウインドウ１２の詳細を示す説明図である。図２１
において、ウインドウ１２は、各ショットから生成され
た代表フレームを列挙するフレーム表示欄１７と、フレ
ーム表示欄１７に記載された代表フレームが示している
ショットの有する属性や付加情報等を表示する情報表示
欄１８と、を備えている。属性・付加情報とは、ショッ
ト内のカメラ操作の情報（ズームやパン等）、登場人物
の有無、登場人物名、撮影時間、継続時間、フレーム数
等のショットに関する情報一般を指している。また、利
用者がそのショットについてのコメント（覚え書き）等
を入力したならば、これも属性・付加情報に含めても良
い。

【００８５】さて、図１９に戻り、この表示方法を用い
た操作の例について説明する。利由者は、立体アイコン
ウインドウ１１または代表フレーム一覧ウインドウ１２
を眺めながら、自分が必要であると判断したショットを
選択する。この選択操作は、例えば代表フレーム一覧ウ
インドウ１２上で目的とするショットの部分をマウスで
クリックして、「選択ボタン」（図示せず）を押下する
か、再びクリックするかして選択する。また、代表フレ
ーム一覧ウインドウ１２上の目的のショット部分にマウ
スポインタを位置決めしてマウスボタンを押し下げたま
ま部品リストウインドウ１３上にマウスポインタ移動さ
せての端を放す（ドラッグ・アンド・ドロップ）ことに
よっても、目的のショットを選択することができる。

【００８６】また、選択の対象は、代表フレーム一覧ウ
インドウでなく、立体アイコンウインドウ１１であって
も良いし、ショット中の時間部分を限定して選択するよ
うにしても良い。部品リストウインドウ１３にはこのよ
うにして選択・登録されたショットやショット中の部分
が列挙されている。この部品リストウインドウ１３は動
画像全体から利用者が後になって編集作業に利用したも
のを素材として登録しておくための記録領域を想定して
表示しているものである。利用者は、動画像全体から必
要な部分だけを予めこの部品リストウインドウ１３にピ
ックアップしておいて、後の操作においてはこの部品リ
ストウインドウ１３に登録された映像素材を並べ替える
等の方法により目的のドキュメントを作成することがで
きる。

【００８７】ここで、代表フレームのリストは、カット
検出によるものだけでなくて良い。例えば、カット検出
により決定されたショットの中でも、特定の人物が映っ
ているもののみを表示させたり、或いは、ズームインし
ているもののみを表示させたりする等、上記の属性・付
加情報を検索条件として利用者が指定したショットのみ
を表示させても良い。

【００８８】上記第９実施形態に係る動画像インデック
ス生成方法および装置によれば、カット検出の結果を３
次元表示したことにより、立体アイコン表示の際にそれ
ぞれの代表フレームが重なり合い、見難くなるという問
題点を、利用者の任意の移動・回転操作により克服する
ことができる。また、複数のウインドウを３次元空間内
に配置したことにより、現在の作業に最も必要なウイン
ドウを最前面に移動させてきたりすることができるばか
りでなく、斜め方向に配置させることにより画面内の大
きな場所を占めずに多くのウインドウを表示させること
ができるなど、種々の効果がある。

【００８９】さらに、部品リストウインドウを導入した
ことにより、長大な動画像から直接必要な部分を探索す
るという面倒な作業を行うことなく、ショット単位で映
像素材をピックアップし、次にピックアップした映像素
材を並べ換えることにより完成させているので、編集作
業環境を改善して動画編集作業の流れの効率化を図るこ
とができる。

【００９０】

【発明の効果】本発明の動画像インデックス生成方法お
よび生成装置により、インデックスとして無意味なフレ
ームを選択するのではなく、人物などの意味のあるオブ
ジェクトが存在するフレームがインデックスとして選択
されるようになる。また、人物などのオブジェクトが多
く存在しているフレームがインデックスとして選択され
やすくなる。

【００９１】さらに、大きなオブジェクトが、最も中心
に位置しているフレームがインデックスとして選択され
る。さらにまた、動画像に登場しているものや撮影者が
注目しているものがインデックスに反映されることにな
る。さらに、重要であるために繰り返し撮影されている
場面がインデックスとして選択されることが可能にな
る。

【００９２】従って、内容的に意味のあるフレームがイ
ンデックスとして選択されることから、動画像のインデ
ックス表示を行なった際に、動画像の内容の把握が簡単
になり、また、所望の検索が容易になる。

【図面の簡単な説明】

【図１】本発明の基本概念としての第１実施形態に係る
動画像インデックス生成方法のステップを示すフローチ
ャート。

【図２】本発明の基本概念としての第２実施形態に係る
動画像インデックス生成装置の構成を示すブロック図。

【図３】本発明の第３ないし第８実施形態の全体の概略
構成を示すブロック図。

【図４】本発明の第３実施形態における選択部の構成を
示すブロック図。

【図５】本発明の第３実施形態における処理手順を示す
フローチャート。

【図６】本発明の第４実施形態における選択部の構成を
示すブロック図。

【図７】本発明の第４実施形態における処理手順を示す
フローチャート。

【図８】本発明の第５実施形態における選択部の構成を
示すブロック図。

【図９】本発明の第５実施形態における処理手順を示す
フローチャート。

【図１０】本発明の第６実施形態における選択部の構成
を示すブロック図。

【図１１】本発明の第６実施形態における処理手順を示
すフローチャート。

【図１２】本発明の第７実施形態における選択部の構成
を示すブロック図。

【図１３】本発明の第７実施形態における処理手順を示
すフローチャート。

【図１４】本発明の第８実施形態における選択部の構成
を示すブロック図。

【図１５】本発明の第８実施形態における処理手順を示
すフローチャート。

【図１６】本発明における距離に関するオブジェクト辞
書の一例を示す説明図。

【図１７】本発明における評価値に関するオブジェクト
辞書の他の一例を示す説明図。

【図１８】本発明におけるカメラパラメータのオブジェ
クト辞書の例を示す説明図。

【図１９】本発明の第９実施形態に係る表示方法を示す
説明図。

【図２０】本発明の第９実施形態の詳細を示す説明図。

【図２１】本発明の第９実施形態の異なる詳細を示す説
明図。

【符号の説明】

１ フレーム抽出手段 ２ 領域評価値算出手段 ３ フレーム評価値算出手段 ４ インデックス選択手段 １０１ ユーザインタフェース部 １０２ 制御部 １０３ 映像表示部 １０４ 動画像記録部 １０５ バス １０６ インデックス映像選択部 １０７ インデックス情報記憶部 １０８ カット検出部 １０９ カット情報記憶部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 窪 田 進 神奈川県川崎市幸区小向東芝町１ 株式 会社東芝 研究開発センター内 (56)参考文献 特開 平９−9202（ＪＰ，Ａ) 特開 平６−253254（ＪＰ，Ａ) 特開 平５−20366（ＪＰ，Ａ) 特開 平６−165107（ＪＰ，Ａ) 特開 平７−38842（ＪＰ，Ａ) 特開 平１−68084（ＪＰ，Ａ) 特開 平３−214364（ＪＰ，Ａ) 特開 平４−219878（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】入力された動画像から各時間に対応する静
   止画像であるフレームを抽出するステップと、 所望の映像に関する辞書としての、見つけたいオブジェ
   クトの画像を予め学習させて統計的な分布を規定するパ
   ラメータを求めたものであるオブジェクト辞書を用い
   て、予め定められた算出方法により動画像の一部または
   全てに含まれる前記フレームの部分領域の評価値を算出
   するステップと、 前記フレームに含まれる全ての領域に対して算出された
   評価値からフレームの評価値を算出するステップと、 前記評価値に基づいて前記フレームのうちから特定のフ
   レームの画像を、表示の際のインデックス画像として選
   択するステップと、 を備える動画像インデックス生成方法。
2. 【請求項２】前記動画像の一部または全体に含まれる前
   記フレームに対して、移動するオブジェクトを背景から
   切り出すステップと、 切り出された前記オブジェクトごとに予め定められた算
   出方法により評価値を算出するステップと、 同一フレームに含まれるオブジェクトの評価値からフレ
   ームの評価値を算出するステップと、 前記フレームの評価値に基づいて特定フレームを表示の
   際のインデックスとして選択して出力するステップと、 をさらに備える請求項１に記載の動画像インデックス生
   成方法。
3. 【請求項３】前記動画像の一部または全体に含まれるフ
   レームに対して、前記動画像を撮影しているカメラの動
   きと向きの変化を示すカメラパラメータを推定するステ
   ップと、予め定められたカメラパラメータを有するフレ
   ームを表示の際のインデックスとして選択するステップ
   と、をさらに備える請求項１に記載の動画像インデック
   ス生成方法。
4. 【請求項４】前記動画像の一部または全体に含まれるフ
   レームに対して任意の組み合わせのフレーム間の類似度
   を予め定められた算出方法により算出するステップと、
   前記類似度が所定の方法により算出されたしきい値より
   も大きな類似度を有するフレームを検出することによっ
   て繰り返し登場するフレームを検出するステップと、こ
   れら繰り返し登場するフレームの中から表示の際のイン
   デックスとするフレームを選択するステップと、をさら
   に備える請求項１に記載の動画像インデックス生成方
   法。
5. 【請求項５】入力された動画像から各時間に対応する静
   止画像であるフレームを抽出するフレーム抽出手段と、 所望の映像に関する辞書としての、見つけたいオブジェ
   クトの画像を予め学習させて統計的な分布を規定するパ
   ラメータを求めたものであるオブジェクト辞書を格納
   し、予め定められた算出方法により動画像の一部または
   全てに含まれる前記フレームの部分領域の評価値を算出
   する領域評価値算出手段と、 前記フレームに含まれる全ての領域に対して前記領域評
   価値算出手段により算出された評価値からフレームの評
   価値を算出するフレーム評価値算出手段と、 前記評価値に基づいて前記フレームのうちから特定のフ
   レームの画像を、表示の際のインデックス画像として選
   択するインデックス画像選択手段と、 を備える動画像インデックス生成装置。
6. 【請求項６】前記フレームの部分領域は移動するオブジ
   ェクトであり、前記インデックス選択手段は、この移動
   するオブジェクトの動き量に基づいて、動画像のシーン
   が激しく変化したフレームの静止画像をインデックス画
   像として選択することを特徴とする請求項５に記載の動
   画像インデックス生成装置。
7. 【請求項７】前記フレームの部分領域は、繰り返し登場
   する類似度の高い部分領域であり、前記フレーム評価値
   算出手段は、フレーム間の類似度を評価値として算出
   し、前記インデックス画像選択手段は、所定のしきい値
   よりも前記評価値の高いフレームを繰り返しの多いイン
   デックス画像として選択することを特徴とする請求項５
   に記載の動画像インデックス生成装置。