JPH04347772A - 代表画面提示方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像の検索を支援す
るための動画像内の各カットまたは各シーンを代表する
画面を提示する方法に関するものである。

【０００２】

【従来の技術】ビデオ等の動画像のシーンやカットの検
索方法として、１つのディスプレイ上に動画像のカット
やシーン（以下、シーンと総称する）の先頭画像や、そ
れらの代表的な画面を静止画として１画面中に複数枚表
示し、複数のシーンの内容が視覚的に同時に分かるよう
にして、編集のための補助手段として使う例がある。こ
の方法では、一度に多数の静止画面を見ることができる
ため、動画を早見する、いわゆる早送り再生に比べると
、その内容の把握速度が早い特徴がある。

【０００３】

【発明が解決しようとする課題】しかし、この代表的な
画面を静止画として複数枚表示する方法は、画面数が多
くなればなるほど、かつ検索しようとする画面が漠然と
しているほど、その画面を探すのに大変な努力を必要と
する。

【０００４】本発明は、このように漠然とした画面の検
索の際に、類似した画面を見付けた時点で、これを手掛
かりとして目的の画面が検索できるように代表画面を表
示して検索者の検索を支援することにある。

【０００５】

【課題を解決するための手段】本発明にかかる動画像の
代表画面提示方法は、まずシーンやカットから得られる
物理的に測定可能な情報や、シーンやカットに付加した
キーワードや、音声情報や、時間情報等の種々の情報を
数値化し、それぞれのシーンやカットの情報とする。ま
た、それぞれのシーンやカットを代表する画面を選択し
、これに先の情報を付属させる。次に、それ等の各情報
ごとにその数値に従い代表画面の配列を決め、これを代
表画面群とする。一方、検索者はまず、素材映像の代表
画面のランダムな複数の画面を見て、その中で最も希望
のシーンやカットに近いと思われる代表画面の１つを選
択する。

【０００６】次に、先に説明した代表画面群を用いて、
選択した画面とその近傍の画面を検索者に提示する。検
索者は、その中から更に目的に近い画面を選択する。こ
れを新たな基準として、別の画面群の中の選択した画面
とその近傍の画面を再び提示する。この操作を繰り返す
ことにより目的の代表画面を見付け出す。

【０００７】

【作用】この方法を用いると、検索者の目的とする画面
が機械に対して適格なキーワードとして表現できない場
合においても目的の画面に到達ができ、その到達が単純
に最初から最後まで全画面を検索しながら見るのに比べ
て効率的である。さらに、目的の画面に到達するまでに
種々の情報に従い、検索者が目的の画面との関連を判断
できるため、目的の画面と種々の情報との関連がその経
過に表れる。つまり、関連度の大きい情報ほど目的の画
面への接近度が高くなるため、目的の画面と各情報との
関連度をこれにより評価ができる。このため、目的の画
面に各情報との関連の割合をインデクスとして付与可能
にする。さらに、検索者の求める映像には各自の興味や
目的に添った傾向があり、この傾向と各情報との関連付
けから、代表画面群を提示するための情報の優先順序が
検索を繰返すことにより明らかになり、より効率の良い
順序で代表画面群の提示が可能になる。

【０００８】

【実施例】ここでは、映像素材から特定のカットを選択
するための一連の手続きをまず説明する。

【０００９】図１は多数のカットからなる映像素材の中
の各カットを代表する一画面をランダムに複数並べて表
示した状態を示す。ここで、ランダムとは、映像素材を
広範に表示するという意味であり、何らかの意図が入っ
ても構わない。ここで、１は代表画面、２は表示装置に
表示される範囲で点線で示してある。この範囲２は左右
上下に移動可能であり、ここでは、たまたま図１に示し
た点線の範囲２が実際に見えている。また、代表画面は
縦に５行、横に５列の合計２５画面を示したが、さらに
多くの行と列が存在しても良い。使用者は、このような
画面から目的とするカットの代表画面に近い画面を選択
する。ここでは、斜線でハッチングを示した画面３を選
択したとする。この選択された画面３には、そのシーン
またはカットについての内容を示す情報がコンテントと
して付属してある。その例を図２に示す。このコンテン
トには、その画面の素材映像中でのフレーム番号、明る
さ、カメラ操作の挿入度合、動きを示す物体（人や車等
を総称して物体とした）の速さ、画面中の方向、その大
きさ等の情報が示されている。これについては後で更に
詳しく述べる。この中で、動き物の方向は時計の針が示
す方向と同じ表現で１から１２時の方向を用いた。動き
の方向とフレーム番号以外の他の情報は０から１０まで
の範囲を用いて示した。図２中の値は例であり、このよ
うな情報がコンテントとして代表画面に付属している。

【００１０】ところで、この状態では、選択した画面の
どの情報が検索者の意図している情報であるかといった
ことや、目的の画面との関係については判らない。これ
を機械的に処理可能とするために次のことをする。まず
、ここでは、素材映像に対して種々の情報のコンテント
化を検索に先立って行う。第１段階として、素材映像か
らシーンやカットの切り目を判別する。これは、人が直
接行う方法と、特願平２−１０３０５号「シーン変化検
出方法」等により示された機械的に検出する方法がある
。第２段階として、各シーンやカットを代表する画面を
選定する。これは、各シーンやカットの先頭の画面を用
いるのが最も簡単であり、これを用いれば機械的にその
代表画面は決定できる。第３段階では、各シーンやカッ
トの中の種々の情報を抽出し、必要な情報は全て数値化
する。この情報の例としては、人物，建築物，背景，そ
れらの配置や大きさや明るさや色彩等の静止画としての
関連情報および、カットやシーンの中の被写体の動きや
、シーン間の関係や撮影カメラの操作情報等の動画とし
て関連情報，および撮影の日時や場所や天候等の条件に
ついての関連情報の種々の情報がある。これらの情報と
他に必要な情報を代表画面に事前に付属させておいたの
が図２のコンテントである。

【００１１】これにより、作製された各情報に従い代表
画面を整理したのが図３である。ここでは、例として、
明るさ、カメラ操作、動き物の速さ、動き物の方向、動
き物の大きさが情報として示してあり、各代表画面１が
各項目ごとに数値の高い順に並べてある。ここでは図示
するために、各画面を四角で示しているが、実際には、
フレーム番号列とするのがよい。この中で、黒四角３で
示した画面が図１に対応する画面３であり、項目ごとに
その順序が異なっている。このような画面の列を選択画
面３が１列になるように、各項目の始める位置を移動し
たのが図４である。この状態を具体的に示したのが図５
である。ここで、この例では、横方向に同じ項目により
順序だてた画面を示したが、これを縦方向に関連を持た
せた配置にすることは可能である。このような多数の画
面の提示の中から、より目的に近い画面があればそれを
選択し、基準となる代表画面（以下、基準画面とする）
を新たな画面に変更する。この新しい画面についても図
５と同じような関連画面群が別の情報の元に存在し、そ
れらの中から、さらに目的の画面に近い画面を選択する
。これを繰返すことにより、目的の画面に到達すること
ができる。この方法は、カットやシーンの少ない素材に
おいては有効性が低いが、その数が多くて、最初から最
後まで探す方法では時間がかかりすぎる場合に有効であ
る。また、図２の画面で新たに選択しなおした画面は検
索者の意図が含まれているので、変更前の基準画面と変
更後の基準画面の比較により、マッチングの度合いが大
きい情報ほど検索者の意図を反映していると判断できる
。例えば変更前後の基準画面を比較すると、両者ともに
人物が存在し、建築物が後者で消失したとすると、検索
者は人物に注目しており、建物への注目度が低いことが
判る。また、それらが同じ日に撮影されカットの代表画
面だとすると、同じ日の他のカットが重要であるとする
ことができる等の情報が得られる。この情報を元にして
、次に提示する表示画面の優先すべき情報に優先度が付
加できるとともに、目的の画面と情報との関連付けを最
終的に選択された画面に付与して保存することにより、
次の検索をするときの補助手段として利用が可能になる
。

【００１２】ここで、ここまでに説明した情報の収集に
ついて更に説明する。情報の種類とその例についてはす
でに述べたが、この中で、撮影の日時や場所や天候等の
条件はキーワードとして、予め人がそれぞれのカットや
シーンに付与することができる。また、撮影された順序
等は、たとえ異なったカメラであっても、時間情報やビ
デオテープレコーダ等に入れるタイムコード等から機械
的に判断が可能である。また、明るさや色彩等について
は、各種の測定機があるため、比較的容易に測定が可能
である。さらに、被写体の動きや建築物についての情報
等については、各フレーム間の差分情報のうち、差分の
生じた部分が動きを示す部分であることを示し、差分の
無い部分を固定した部分と判断して、その動きの方向や
それが占める面積等について情報を得ることが可能であ
る。また、カメラのパンやズームやトラックなどの操作
情報は、動きベクトルから求めることが可能である。さ
らに、このカメラの操作情報と同じ動きをしない部分に
ついては、同じ動きをする領域と分離することによりそ
こを切り出すことができ、その動きの方向や速度等の情
報が得られる。

【００１３】次に、別の代表画面の選択方法について述
べる。

【００１４】図６は、図１と同じ最初に表示する画面で
あるが、これは、目的とするシーンの代表画面に類似す
る画面として、複数の画面を選択した場合である。ここ
では５個の画面を選択し、これをすべて基準画面３とし
た。これらの画面に予め付属させたキーワードや他の情
報の中で共通性が高い項目ほど検索者の意図が反映して
いると判断し、その情報を用いて図５と同様に関連する
１連の画面を図７に示す。このとき、図５と異なり、図
７では基準画面３が複数になる。このように提示した画
面から、再び目的のカットやシーンの代表画面に近い画
面をさらに選択することにより、また、新たな基準画面
が選択される。次に、新たな情報のうち、次に共通性の
高い情報を用いて１連の画面を提示する。このようにし
て、目的のシーンやカットの代表画面に近づくことがで
きる。

【００１５】これまでは、画面に予め付属させたキーワ
ードや他の情報の中で共通性が高い項目を用いて図７の
画面を提示する方法について述べた。しかし、この方法
では共通性の高いキーワードや他の情報を単体で常に扱
っているが、この他に複数項目の相関により生じる新し
い基準を用いる方法が存在する。この基準としては、選
択した複数の代表画面に付属した数値化情報を用いて、
統計学で用いられる主成分分析により、各数値化情報に
重み付けをした第１成分を表す式および第２成分を表す
式を求める。この式を用いて、すべての代表画面の値を
計算しなおし、この値を用いて画面列を作り直し、これ
を用いて図７に示す表示を行う。この時、図７には第２
主成分軸に最も近い画面を中心の画面３とし、その両側
に第１主成分軸上の第２主成分軸に近い順に代表画面１
が並ぶようにする。この方法により、図７に表示の１つ
の列を表示できる。他に、第２主成分を表示することに
より、さらに１列が表示できる。この場合も第１主成分
と同じく、第１主成分軸に最も近い代表画面を中心の画
面３とし、その両側に第２主成分軸に近い順に代表画面
１が並ぶようにする。このようにして表示した第１主成
分と第２主成分の代表画面から、これまでに選択した画
面よりさらに近い画面があればそれを選択する。この第
１と第２主成分から選択された代表画面の各々第１主成
分上の値と第２主成分上の値を用いて、これを第１主成
分と第２主成分の交点の値とし、この値を通る２つの主
成分を表す式を再度求める。この式を用いて全ての代表
画面の値を再計算しなおし、この値を用いた画面列を作
り、これを用いて新しい第１主成分と第２主成分による
画面を先に説明したと同様に提示する。このようにして
、順次目的のシーンやカットの代表画面に近づくことが
できる。

【００１６】以上の説明は、動画像の検索方法として説
明してきたが、本発明は代表画面を用いて検索をする方
法であるため、代表画面を静止画としてとらえることが
可能である。また、静止画は動画の特殊な状態をとらえ
ることも可能であり、この方法を静止画の検索に適用す
ることが可能であることはいうまでもない。

【００１７】本発明を実現する装置の構成を図８に示す
。図８において、８は動画像のメモリであり、例えばビ
デオテープレコーダ，ビデオティスク，磁気ディスク，
書替型光ディスク，半導体メモリ等である。この動画像
のメモリ８から出力した動画像は、画像中の物理量を測
定する処理装置９とコンピュータ１０に入力される。処
理装置９は、コンピュータ１０による制御信号を受けて
必要な物理量測定と処理を行い、その結果をコンピュー
タ１０に返す機能を持つ。１１は前記コンピュータ１０
の処理した表示内容を表示するディスプレイである。こ
こで、処理装置９は動画像のメモリ８に必要な物理情報
を蓄えた後は不要であり、取り除くことも可能である。

【００１８】

【発明の効果】以上説明したように、本発明の代表画面
提示方法によれば、多数のシーンやカットからなる素材
映像の代表画面に、それらのシーンやカットに関する情
報を数値化して付属させておき、それらを順序づけて提
示するようにしたため、目的とするシーンやカットがあ
いまいな状態であっても、そのシーンやカットに類似し
た代表画面を選択することにより、それに類似した情報
を持つ代表画面が提示され、効率よく目的のシーンやカ
ットに近づき、検索することができる特長がある。

【図面の簡単な説明】

【図１】複数の代表画面の提示例を示す図である。

【図２】代表画面に付属するコンテント情報の例を示す
図である。

【図３】代表画面の配置例を示す図である。

【図４】代表画面の配置例を示す図である。

【図５】複数の代表画面の提示例を示す図である。

【図６】複数の代表画面の提示例を示す図である。

【図７】複数の代表画面の提示例を示す図である。

【図８】本発明を実施する装置の構成を示すブロック図
である。

【符号の説明】

１　　　　代表画面 ２　　　　実際にディスプレイに見える範囲３　　　　
選択した代表画面 ８　　　　動画像のメモリ ９　　　　処理装置 １０　　コンピュータ １１　　ディスプレイ

Claims (5)

【特許請求の範囲】
1. 【請求項１】動画像中のシーンやカットを代表する複数
   の画面と、これら各画面に前記シーンやカットについて
   の複数の情報を数値化して付属させておき、前記各情報
   毎に前記数値に従って前記画面を並べるとともに、前記
   複数の画面から選択された類似する画面に付属する前記
   各情報の値を用いてその数値に従って並べた画面の中で
   前記選択された画面を基準画面とし、この基準画面とこ
   の画面の近傍の画面を表示することを特徴とする代表画
   面提示方法。
2. 【請求項２】第１項記載の代表画面提示方法において、
   前記情報に従って配列した画面を、単一の選択画面を基
   準に複数の情報に従った配列で表示することを特徴とす
   る代表画面提示方法。
3. 【請求項３】第１項記載の代表画面提示方法において、
   前記情報に従って配列した画面を、複数の選択された画
   面を基準に単一の情報に従った配列で表示することを特
   徴とする代表画面提示方法。
4. 【請求項４】動画像中のシーンやカットについての複数
   の情報を数値化して付属させ、かつ前記シーンやカット
   を代表する画面の中から検索すべきシーンやカットを代
   表する画面と類似する画面を複数選択し、前記選択され
   た複数の画面に付属する前記各情報の値の相関を取り、
   前記選択した複数の画面の中での相関が大きい情報を複
   数種類用いて前記シーンやカットを代表する画面を相関
   の大きい順に配列し、前記配列に従い画面を表示するこ
   とを特徴とする代表画面提示方法。
5. 【請求項５】請求項１〜４のいずれかに記載の代表画面
   提示方法により提示された表示を用いて、前記表示の中
   から新たに画面が選択された場合、以後の提示には前記
   新たな画面に付属する前記各情報の値を用いることを特
   徴とする代表画面提示方法。