WO2001037560A1

WO2001037560A1 - Procede et appareil de recherche video

Info

Publication number: WO2001037560A1
Application number: PCT/JP2000/008027
Authority: WO
Inventors: Hitoshi Yashio; Mituo Tamura; Kayoko Asai; Makoto Sato; Yoshihiro Hayakawa
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 1999-11-15
Filing date: 2000-11-14
Publication date: 2001-05-25
Also published as: EP1148722A1; EP1148722A4

Description

明細書映像検索方法及び映像検索装置ぐ技術分野 >

本発明は、記録された多数の映像の中から所望の映像を検索する検索方法と、その映像検索装置に関し、特に、短時間で効率的に映像を検索することを可能にするものである。

<背景技術 >

放送局では、多数の映像素材を所蔵しており、番組の制作時に、これらの映像素材の中から、利用する素材を効率よく検索する手段が求められている。

従来の映像検索用のシステムは、図 1 1に示すように、 V T Rからの映像素材を登録する登録端末 10と、登録された映像素材を格納するテープ力一ト 50と、検索用に縮小されたサムネール動画を蓄積するハードディスク 30 と、映像検索を行う映像サーバ 20と、検索者が操作する検索端末 40と、検索されたテープの映像を表示するモニタ 60とを備えている。

図 1 2は、このシステムを機能ブロックで示している。登録端末 10 は、映像素材の登録処理を行う登録部 11 と、映像素材のサムネール動画を生成する縮小動画生成部 12とを具備し、検索端末 40は、検索者がキーワードなどを入力する操作部 41 と、検索用の動画一覧画像を表示する検索表示部 43と、操作部 41からの入力に基づいて検索を指令する検索制御部 42 とを具備し、また、映像サーバ 20は、サムネール画像をキーワード検索するキーワード検索部 21と、検索されたサムネール画像からストリームデ一夕を生成するストリーム合成部 22 とを具備している。また、サムネール動画を蓄積するハードディスクは検索動画記録部 30として、映像素材を格納するテープカートは映像素材記録部 50 (なお、テープカートに代えて、ハードディスク、光磁気ディスクなどでも構わない。）として示している。このシステムの登録部 11 は、取材などで録画した映像素材を映像素材記録部 50に格納するとき、動画一覧表示に用いるためのサムネール動画を縮小動画生成部 12 で生成し、キーワード検索用データとともに、映像素材と関連付けて検索動画記録部 30に蓄積する。キーワード検索用データには、タイトル、放送日時、ジャンル、キャストなどが用いられる。

検索者が操作部 41からキーワードを入力すると、キーワード検索部 21は、検索動画記録部 30 から、該当するキーワードが付されたサムネール動画のすべてを検索する。検索された複数の動画は、ストリーム合成部 22 で動画一覧ストリ一ムデ一夕に合成され、検索表示部 43に送られて表示される。この表示画面は、図 5のようになる。

検索者は、こうして検索結果の映像素材を直接確認することができる。表示された複数の動画の中から検索者が映像素材を選択すると、検索制御部 42 から映像素材記録部 50 にその映像素材の表示要求が出され、指定した映像素材がモニ夕上で再生される。

しかし、多数の縮小動画の中から目的の映像素材を正確に見つけ出すことは、可成り大変な作業になる。図 5の画面には 6 4の縮小動画が表示されているが、キーワード検索では、検索される動画数が 6 4を超えることも少なくない。この場合、画面上で次頁を選択する操作により、同様の画面が次々と表示されるが、動画数が増す程、映像素材を探す難しさが増し、誤りも増加する。

映像素材の選択の誤りは、モニタに再生された素材画像を見るまで気づくことがなく、気づいた時点で、サムネール動画の検索に立ち戻らなければならないため、映像素材選択作業が大幅に遅延することになる。

本発明は、こうした問題点を解決するものであり、効率的な動画の検索を可能にする映像検索方法を提供し、その方法を実施する装置を提供することを目的としている。

<発明の開示 >

そこで、本発明では、複数の映像から目的のシーンを検索する映像検索装置において、複数の映像を一覧表示する一覧動画表示手段と、一覧表示された映像の中から選択された映像の時分割動画像を表示する時分割画像表示手段とを設けている。

また、本発明の映像検索方法では、複数の映像を一覧表示し、その中から選択された映像の時分割動画像を表示するようにしている。

より具体的には、複数の符号化映像が一覧表示された画面から任意の画像を選択すると、

( 1 ) 図 2 ( a ) のように、

その選択された符号化映像を時分割し（通常は、時間軸上の一定の間隔に時間均等分割をする）、その分割されたそれぞれの映像につき、その先頭から終わりまでを繰り返し再生する。その際、それそれの分割映像の再生は、それらを同一画面に合成した合成再生（画像合成再生）により行われるもの。

(2) 図 2 (b) のように、

その選択された符号化映像の時間軸上からいくつかの異なった時刻を選び（通常は、時間軸上の一定の間隔毎）、その異なった時刻を再生開始時間とするそれそれの映像につき、その先頭から単一の画面上に画像合成再生（再生開始時刻シフト再生）するもの。

(3) 図 2 (d) のように、

その選択された符号化映像中の場面の切り替わり点を検出し、検出した場面切り替わり点をもとに符号化映像の分割を行い、分割されたおのおのの映像につき、その先頭からその終端までを繰り返し単一の画面上に画像合成再生（カツト点切替再生）するもの。

(4) 図 2 (c) のように、

(1)〜（3)にて、画像合成再生された映像群の中からさらに選択された映像を再分割し、単一の画面上に分割同時再生表示する（それそれの映像分割" >画像合成再生を繰り返す）もの。

(5) (1)〜（4)にて、符号化映像が複数選択された場合、それらの分割動画像を単一の画面上に分割同時再生表示するもの、等である。本発明では、検索用の映像をただ単に選択して表示するだけで無く、映像を解祈し、目的のシーンが効率的に発見できるように、加工して表示しており、その結果として、映像の効率的検索が可能となる

<図面の簡単な説明 >

図 1は、第 1の実施形態の映像検索装置の構成を示すプロック図である。図 2は、映像ストリームの時分割再生の状態を示す図である。

図 3は、第 2の実施形態の映像検索装置の構成を示すプロック図である。図 4は、第 3の実施形態の映像検索装置の構成を示すプロック図である。図 5は、動画一覧映像を表示する画面例（ 6 4画面）である。

図 6は、動画一覧映像のダイジェスト動画を示す画面例（ 6 4画面）である。図 7は、時分割画像を表示する画面例である。

図 8は、複数時分割画像を表示する画面例である。

図 9は、第 3の実施形態の応用例を示す図である。

図 1 0は、可変速再生の操作画面を例示する図である。

図 1 1は、従来の映像アーカイブシステムの構成図である

図 1 2は、従来の映像検索装置の構成を示すブロック図である。

なお、図中の符号、 10は登録端末、 11は登録部、 12は縮小動画生成部、 20は映像サーバ、 21はキーワード検索部、 22はストリーム合成部、 23は解像度変換部、 24は可変速再生部、 25は時分割動画分析部、 26はカット点時分割動画分析部、 27は時分割複数動画分析部、 30は検索動画記録部、 31は動画蓄積部、 40は検索端末、 41は操作部、 42は検索制御部、 43は検索表示部、 50は映像素材記録部、 60はモニタである。

<発明を実施するための最良の形態 >

以下、本発明の実施の形態について、図 1〜 1 0を用いて説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。なお、用語法として映像/動画像，画像/動画などの表現があるが、例えば M P E Gの場合、映像または動画像とはフレーム（一枚一枚の動画）の集合である映像ストリームを意味し、画像または動画とは、それを構成する一枚一枚のフレームを指すものである。

(第 1の実施形態）

第 1の実施形態の映像検索装置は、図 1に示すように、映像素材の登録処理を行う登録部 11と、登録された動画をディスクに蓄積する動画蓄積部 31と、登録された映像素材をテープに蓄積して格納する映像素材記録部 50 と、テープ画像を表示するモニタ 60と、検索者が操作する操作部 41と、検索画像を表示する検索表示部 43と、操作部 41からの入力に基づいて映像の検索を指令する検索制御部 42と、映像をキーヮード検索するキーヮ一ド検索部 21と、映像ストリームを時間軸方向に分割する時分割動画分析部 25 と、蓄積された動画データを可変速で読み出す可変速再生部 24 と、動画データの解像度を変換してサムネール動画を生成する解像度変換部 23 と、解像度変換で生成されたサムネール画像を合成してストリームデ一夕を生成するストリーム合成部 22とを具備している。

この装置では、登録部 11が、映像素材を映像素材記録部 50に格納するとき、その映像を動画蓄積部 31に送る。動画蓄積部 31は、この映像のシーンを解析して各シーンの冒頭にタグを付し、圧縮符号化してキーヮード検索用データとともにディスクに格納する。映像はサムネール化されずに動画蓄積部 31 に蓄積される。

検索者が操作部 41からキーワードを入力すると、検索制御部 42はキ一ヮ一ド検索部 21にキーワード検索を行わせる。可変速再生部 24は、キ一ワード検索部 21が検索した動画を動画蓄積部 31から読み出す。

このとき、可変速再生部 24 は、図 6に示すように、検索されたそれそれの動画のストリームについて、各シーンの冒頭から一定枚数のフレームだけを読み出し、ダイジェスト化した動画ストリームを出力する。

解像度変換部 23は、可変速再生部 24から出力されたダイジエスト動画の解像度を変換し、サムネール画像の画像データに変えて出力する。ストリーム合成部 22は、検索された複数の映像のダイジエスト動画を動画一覧ストリームデ一夕に合成し、検索表示部 43に出力する。

こうして、検索表示部 43 には、図 5に示すように 6 4画面のダイジエスト動画が表示される。また、このとき、検索者が操作部 41 で、そのうちの N個（N は 2以上の自然数）を選択すると、検索制御部 42から解像度変換部 23に指示が行き、それぞれ指定の画面数分のサムネール動画が表示される。

キーヮード検索で検索された映像の数が 6 4または指定の画面数を超えるときは、画面の次頁を選択することにより、残る画像が表示される。

なお、ダイジェスト画像で動画一覧を表示することにより、短時間での再生が可能になる。

検索者がこの動画一覧の中からいずれかの映像を選択すると、検索制御部 42 は、時分割動画分析部 25に、その映像の時分割動画の再生を指示する。

時分割動画分析部 25 は、図 2 ( a ) に示すように、その映像ストリームを時間軸方向に N等分し、可変速再生部 24は、時分割動画分析部 25が N等分した各々の位置から時間軸方向に画像データを並列的に順次読み出す。可変速再生部 24 で読み出されたデータは、解像度変換部 23 でサムネール化され、ストリーム合成部 22で合成され検索表示部 43に表示される。

図 7は、この時分割動画の一例を示しており、 1本の映像の時間軸上の異なる位置から一斉に再生が開始され、その複数の映像が 1画面に並べて表示される。図 2 ( a ) に示すように、等分割された各再生区間の終点まで再生が済むと、それそれの再生区間の始めに戻って再生が繰り返される。

こうした再生方法を採ることにより、検索者は、 1本の映像を始めから終わりまで連続的に再生する場合の再生時間の 1 /Nの時間で、映像の内容を見ることができ、所望の映像位置を短時間で発見することができる。

また、この時分割動画の中から、検索者がさらに 1つの再生区間を選択すると、時分割動画分析部 25及び可変速再生部 24は同様に動作し、その結果、その再生区間がさらに Nに等分割される。

このようにして、時間軸上での分割を繰り返し、再生区間を絞り込むことにより、目的のシーンを素早く見つけだすことができる。

再生区間の再分割を究極まで繰り返すと、図 2 ( c ) に示すように、再生区間が 1フレームとなり、静止画と同じになる。

また、図 2 ( b ) に示すように、再生開始時点を時間軸上で等間隔にずらし、各再生開始時点からェンドレスに再生を続け、それそれの画像を 1画面に並べて表示するようにしても良い。この場合、各画像を通常の再生速度で再生しても、将来の映像部分を他の画像から知ることができるため、高速再生と同じような効果が得られる。

また、検索者は、操作部 41を操作して、可変速再生部 24による動画蓄積部 31 からの映像データの読みだし速度を変えることができる。

検索者は、時分割画面よりも、より詳細な映像再生を行いたい場合に、図 1 0 に示すように、可変速再生部 24を操作する表示画面を検索表示部 43に表示する ( 検索者がこの画面上で再生速度の変更操作を行うと、その信号が検索制御部 42 から可変速再生部 24に送られ、再生速度が可変される。

このように、この映像検索装置では、ダイジェスト動画による動画一覧表示、時分割動画再生、及び、可変速再生の 3段階のブラウジング 'プレビューによる絞り込みにより、目的のシーンを見逃さずに検索することができる。

また、一覧表示する動画をダイジェスト化し、また、時分割動画再生を行うことにより、短い時間で目的のシーンを検索することができる。

この映像検索装置の構成及び映像検索方法は、状況に応じて適宜変更することが可能である。

蓄積されている映像の数が少ない場合には、キーヮード検索を行うこと無く、直接、動画一覧表示を実行しても良い。

また、動画一覧表示に際して、ダイジェスト化しない動画を表示しても良い。また、この実施形態では、検索用の動画を縮小化すること無く、動画蓄積部 31 に蓄積し、動画検索の際にリアルタイムでサムネール化する構成を取っているが、従来の装置のように、予めサムネール化した検索用画像を蓄積し、画像検索に際して、時分割動画再生及び可変速再生を導入するようにしても良い。 (第 2の実施形態）

第 2の実施形態の映像検索装置では、時分割動画再生に際して、映像をシーンごとに時分割して表示する。

この装置は、図 3に示すように、時分割動画分析部として、シーンの各開始点を再生開始点に設定するカツト点時分割動画分析部 26 を備えている。その他の構成は第 1の実施形態（図 1 ) と変わりがない。

この装置では、検索者が動画一覧表示された映像の中からいずれかの映像を選択し、検索制御部 42からカツト点時分割動画分析部 26に、その映像の時分割動画の再生が指示されると、カツト点時分割動画分析部 26 は、図 2 ( d ) に示すように、その映像ストリームのシーンごとに付されているタグの位置を再生開始位置に設定し、可変速再生部 24は、カット点時分割動画分析部 26が設定した各位置から時間軸方向に画像データを並列的に順次読み出す。可変速再生部 24 で読み出されたデータは、解像度変換部 23 でサムネール化され、ストリーム合成部 22で合成され検索表示部 43に表示される。

図 2 ( d ) に示すように、シーンごとの再生区間の終点まで再生が済むと、各シーンの始めに戻って再生が繰り返される。各再生区間の時間的な長さは、シ一ンにより異なっている。各シーンの再生は実時間で行われるため、各シーンの繰り返し回数は、短いシーンでは多くなり、長いシーンでは少なくなる。

この映像検索装置では、時分割動画再生に際して、映像ストリームに含まれるシーン単位で、並列的に再生されるため、検索者は、この時分割画像を見ることにより、目的のシーンを的確に検索することができる。

(第 3の実施形態）

第 3の実施形態の映像検索装置では、複数の映像の時分割動画画像を 1画面に表示する。

この装置は、図 4に示すように、時分割動画分析部として、複数の映像のストリームを時間軸方向に等しい間隔で区分して時分割再生の開始点を設定する時分割複数動画分析部 27 を備えている。その他の構成は第 1の実施形態（図 1 ) と変わりがない。

この装置では、検索者が動画一覧表示された映像の中から複数の映像を選択すると、検索制御部 42は、時分割複数動画分析部 27に対して、それらの映像の時分割動画の再生を指示する。

時分割複数動画分析部 27 は、指定された複数の映像ストリームの一定時間毎の位置を再生開始位置に設定し、可変速再生部 24は、時分割複数動画分析部 27 が設定した各位置から時間軸方向に画像デ一夕を並列的に順次読み出す。可変速再生部 24で読み出されたデータは、解像度変換部 23でサムネール化され、ストリーム合成部 22で合成され検索表示部 43に表示される。

図 8は、複数の映像の時分割動画を表示する検索表示部 43 の画面を例示している。映像は、列ごとに異なっており、各映像は 4つの時分割画像で表示されている。

検索者は、この複数時分割画像から、複数の映像を比較して見ることが可能になり、例えば、番組の決められた時間枠に使用する映像として、どちらの映像が適切であるかを、この画面から判断することができる。

また、この複数時分割画像の応用例として、図 9に示すように、複数の放送局の映像を時分割で表示するとともに、各放送局の視聴率の時間的推移を小画面で表示することにより、どのようなシーンで視聴率が高く現れているかを分析することができる。以上の説明から明らかなように、本発明の映像検索装置は、動画一覧表示、時分割動画再生、及び、可変速再生の 3段階の映像表示による絞り込みで映像を検索することが可能であり、そのため、検索者は、目的のシーンを的確に見つけることができる。また、時分割動画再生では、 1本の映像ストリームの内容を短い時間で表示することができ、効率的なシーンの検索を可能にする。

また、複数時分割動画再生では、複数の映像の時間的推移を比較することができる。

この映像検索方法では、検索用の映像をただ単に選択して表示するだけで無く、映像を解析し、目的のシーンが効率的に発見できるように、加工して表示しており、その結果として、映像の効率的検索が可能となる。

<産業上の利用可能性 >

各実施形態では、本発明の映像検索装置を番組制作用に用いる場合について説明したが、本発明は、それ以外の映像検索にも用いることが可能である。例えば、博物館に蓄積されている表示用映像の検索に用いたり、家庭で録画された多数のビデオ映像やビデオカメラで撮影された映像の検索に用いたり、また、監視システムに適用して、各監視カメラの映像から目的のシーンを検出する場合などにも使用することができる。

Claims

請求の範囲

1 . 蓄積された複数の符号化映像を単一画面上に画像合成して一覧表示を行う画像一覧合成表示手段と、

一覧表示された画像群から任意の画像を選択することにより、当該画像を含んだ符号化映像を選択する映像選択手段と、

選択された符号化映像を時間軸上に分割し、分割されたおのおのの映像につき、その先頭からその終端までを繰り返し単一の画面上に画像合成し再生する事で符号化映像の分割同時再生を行う映像分割合成表示手段と、

を備えた映像検索装置。

2 . 蓄積された複数の符号化映像を単一画面上に画像合成して一覧表示を行う画像一覧合成表示手段と、

選択された符号化映像に関して、その時間軸上からいくつかの時刻を選び、その時刻を再生開始時間とするそれそれの映像につき、その先頭から単一の画面上に画像合成し再生する事で符号化映像の分割同時再生表示を行う映像分割合成表示手段と、

を備えた映像検索装置。

3 . 蓄積された複数の符号化映像を単一画面上に画像合成して一覧表示を行う画像一覧合成表示手段と、

選択された符号化映像中の場面の切り替わり点を検出し、検出した場面切り替わり点をもとに符号化映像の分割を行い、分割されたおのおのの映像につき、その先頭からその終端までを繰り返し単一の画面上に画像合成し再生する事で符号化映像の分割同時再生表示を行う映像分割合成表示手段と、を備えた映像検索装置。

4 . 映像分割合成表示手段が、合成表示された映像群の中からさらに選択された映像を再分割し、単一の画面上に分割同時再生表示することを特徴とする請求の範囲第 1項から第 3項のいずれか 1項に記載する映像検索装置。

5 . 映像分割合成表示手段が、映像選択手段にて複数個の符号化映像が選択された場合、それらの分割映像を単一の画面上に分割同時再生表示することを特徴とする請求の範囲第 1項から第 4項のいずれか 1項に記載する映像検索装置 ₍