JPH0895986A - 動画像のデータベース装置及びその登録方法 - Google Patents

Abstract

(57)【要約】 【目的】 ビデオ映像を各場面単位にデータベース登録
する際，ユーザが場面にどのような関連情報を付与する
かを考えることに専心できるインタフェースを実現する
ことにある。 【構成】 ビデオ映像を入力して，場面毎に代表画像を
抽出する第一の手段と，場面毎に関連する情報を入力す
る第二の手段と，代表画像と場面毎の関連情報とが同じ
行もしくは列になるように表を作成して表示する第三の
手段とを設ける。また，第一の手段と第二の手段を並行
して実行するための制御を行なう第四の手段を設ける。
第一の手段の一つの機能として，入力画像を一定の比率
で縮小して作成した画像を代表画像とする手段を設け
る。第三の手段として，表計算機能を持ったスプレッド
シートを用いる。 【効果】 ユーザはビデオ映像をモニタしながら，気づ
いたときに随時関連情報を書き込むことができる。ま
た，入力された情報から計算される別の情報を一覧表の
中で即座に確認できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，動画像を整理して蓄積
し，検索を可能とする動画データベース装置及びその登
録方法に関するものである。

【０００２】

【従来の技術】近年，放送の多チャンネル化やレンタル
ビデオの普及により，ビデオ映像の需要が飛躍的に伸び
ている。これに伴い，大量に制作されたビデオ映像作品
を効率良く管理し，必要なときにいつでも取り出して利
用できる動画像データベースへの期待が高まっている。
従来の動画データベースにおいては，映像作品単位もし
くは映像作品中の各場面単位に，題名やキーワード等の
関連情報を付与し，その作品の記録されているビデオテ
ープの管理番号やテープ中のアドレスといったメディア
の管理情報と一緒に１つのリストを作ってデータベース
を構築していた。

【０００３】

【発明が解決しようとする課題】しかし，上記の方法で
は，ビデオ映像を場面ごとに切り分ける作業を人手でま
ず行ってから，その後，切り分けた場面場面について関
連情報を付与していくといった２段のステップが必要と
なる。そのため，切り分けの作業を行っているうちに，
その場面に対して，どのような関連情報を付与すべきか
を忘れることも多く，適切な関連情報の付与の支障とな
っている。また，場面と場面の間のつながりがどうなっ
ているかがわかりにくく，場面に関連情報を与える際
に，その場面のビデオ映像全体の中での位置づけが見え
ないために，なにを関連情報として与えるべきかを考え
るのにユーザは苦労する。

【０００４】本発明の一つの目的は，ビデオ映像を各場
面単位にデータベース登録する際，ユーザが場面にどの
ような関連情報を付与するかを考えることに専心できる
インタフェースを実現することにある。本発明の他の目
的は，映像全体の中での対象場面の位置づけが一目で把
握できるような視覚化方法を用意することにある。

【０００５】

【課題を解決するための手段】ビデオ映像を入力して、
場面毎に代表画像を抽出する第一の手段と、場面毎に関
連する情報を入力する第二の手段と、代表画像と場面毎
の関連情報とが同じ行もしくは列になるように表を作成
して表示する第三の手段とを設ける。また，第一の手段
と第二の手段を並行して実行するための制御を行なう第
四の手段を設ける。また，第一の手段の一つの機能とし
て，入力画像を一定の比率で縮小して作成した画像を代
表画像とする手段を設ける。さらに，第三の手段とし
て、表計算機能を持ったスプレッドシートを用いる。

【０００６】

【作用】本発明によれば，ビデオ映像を場面場面に切り
分けた上に，切り分けた場面の代表的な映像と，テキス
ト情報を入力するための領域が同じ列もしくは行になる
よう表を作成して一覧表示されるので，関連情報を付与
しようとする場面が何で，何を記述すべきか，また，ど
こに入力すべきかが迷うことなくたちどころにわかる。
また，一覧表のため，場面の前後の文脈が一目でわか
り，なにを記述すべきかを考える上で大きな手がかりに
なる。また，再生中のビデオ映像を自動的に場面場面に
切り分け，さらに関連情報の入力すべき領域が次々と準
備されるとともに，関連する情報の入力が並行して行え
るので，ユーザはビデオ映像をただモニタしながら，気
づいたときに随時情報を書き込むことができる。また，
表がスプレッドシートになっているので，枠間に計算式
を簡単に設定でき，入力された情報から直ちに別の情報
を計算して一覧表の中で即座に確認することができる。

【０００７】

【実施例】以下，本発明の一実施例を詳細に説明する。
図１は，本発明を実現するためのシステム構成の概略ブ
ロック図の一例である。１はＣＲＴ等のディスプレイ装
置であり，コンピュータ４の出力画面を表示する。１２
は，音声を再生するためのスピーカである。コンピュー
タ４に対する命令は，マウス等の間接的なポインティン
グデバイス５，タッチパネル等の直接的なポインティン
グデバイス１３，あるいはキーボード１１を使って行う
ことができる。１０の映像再生装置は，光ディスクやビ
デオデッキ等の映像を再生するための装置である。映像
再生装置から出力される映像信号は，逐次，３の映像入
力装置によってコンピュータの扱えるフォーマット形式
に変換され，コンピュータ４に送られる。コンピュータ
内部では，映像データは，インタフェース８を介してメ
モリ９に入り，メモリ９に格納されたプログラムに従っ
て，ＣＰＵ７によって処理される。１０が扱う映像の各
フレームには，映像の先頭から順に番号，例えばフレー
ム番号が付けられている。フレーム番号を制御線２によ
って映像再生装置に送ることで，フレーム番号に対応す
る場面の映像が再生される。映像データは，外部情報記
憶装置６に格納することもできる。処理の必要に応じ
て，各種情報を外部情報記憶装置に蓄積することができ
る。メモリ９には，以下に説明する処理によって作成さ
れる各種のデータが格納され，必要に応じて参照され
る。

【０００８】次に，ユーザの利用方法について概要を説
明する。図２は，ユーザが接するコンピュータ画面の一
例である。２００はモニタ画面であり，登録中の映像が
リアルタイムで再生される画面領域である。２０２が場
面の関連情報を付与するための画面領域であり，図２の
例では，左端に場面の先頭の１コマの画像（代表画像）
が縮小されて表示され，その右側に各種の関連情報が並
んでいる。同じ行の情報は同じ場面に関する情報である
として対応づけられている。場面が変わるたびに，変わ
った瞬間の画像が縮小されて２０２の左端に表示され
る。また，このときの映像の再生位置を，関連情報とし
て画像の右側に表示することができる。ユーザは，モニ
タ画面２００で場面の内容をチェックしながら，必要に
応じて関連情報（アノテーション）を入力する。ユーザ
が入力した情報は，常に最も新しい場面の関連情報（ア
ノテーション）として表示される。ただし，カーソル２
０６によって別の行をポイントして入力を始めた場合に
は，その行に対応する場面の情報が更新される。領域２
０２に表示しきれないだけの場面が検出された場合に
は，２０２はスクロールすることによって，新しい場面
のために領域を確保する。２０４のスクロールバーによ
って，領域内に表示しきれない他の場面の情報をスクロ
ールして見ることができる。ここで，関連情報とは，例
えば，動画像から検出された代表画像に関するアノテ−
ションや，映像の再生位置（フレーム番号等）など，代
表画像に関連する情報の総称をいい，アノテーションの
ようにユーザ自身が付与するものと，映像の再生位置の
ようにシステム側から自動的に与えられるものとがあ
る。尚，ユーザが与える関連情報として，検出された代
表画像の重要度や，その他ユーザのメモ情報などを適宜
含めることも可能である。更に，システム側から与えら
れるものとして，現在時刻を含めることも可能である。
時刻を書き込んで表示させることにより，リアルタイム
映像の管理を容易に行うことができる。

【０００９】以下では，本発明を実現するシステムの実
行手順を説明する。これらは，ＣＰＵ７によって実行さ
れる。図３は，本発明を実現するための全体のソフトウ
エアモジュール構成のブロック図である。ここで説明す
る各モジュールは，ハードウエアで実現することも可能
である。尚，代表画像抽出の具体的なアルゴリズムなど
は，特開平０４−１１１１８１号公報などに詳述されて
いる。

【００１０】代表画像抽出部３００は，映像中の代表画
面を抽出するためのモジュールであり，本実施例では具
体的には，場面の変わり目を検出し，場面が変わったと
きには，その旨を示すメッセージと場面の変わり目のフ
レームの縮小画像（以下，場面アイコンと呼ぶ）とを３
２０としてイベント処理部に渡す。キー入力受付部３０
２は，ユーザからのキー入力を受け付けるモジュールで
あり，入力された情報３２２をイベント処理部に伝え
る。イベント処理部３０４は，３００と３０２からデー
タを受け取り，表示部３０６に更新を指示するほか，そ
れら各モジュールを適切なタイミングで切り替えて交互
に実行するよう（以下，タスク切り替えと呼ぶ）制御す
る。また，映像再生装置１０を制御して，抽出された代
表画像の再生位置のアドレス情報を獲得し，場面アイコ
ンとともに３２４として表示部３０６に送る。３０６
は，それらの情報を受けて，画面表示全般を司るモジュ
ールである。

【００１１】次に，各モジュールの動作について詳細に
説明する。図４は，代表画像抽出部３００の実行手順を
示すフローチャートの一例である。ビデオ映像は，フレ
ームと呼ばれる静止画が連続して表示されることで動画
を構成している。その連続するフレームを各々，コンピ
ュータ本体のメモリにデジタル化して取り込む（４０
０）。このフレームをｎ番目のフレームであるとする。
取り込み用のメモリはダブルバッファとし，ｎ番目のフ
レームを一方のメモリバッファに取り込んだ後，ｎ+１
番目のフレームは，もう片方のメモリバッファのほうに
取り込むようにする。これにより，ｎ+１番目のフレー
ム取り込み中でも，ｎ番目のフレームに対して処理を行
うことができる。そして，ｎ+２番目のフレーム取り込
みには，ｎ番目のフレームを取り込んだメモリバッファ
を用い，バッファを交互に変えながら取り込んでいく。

【００１２】ｎ番目のフレームについて，色ヒストグラ
ムＨｎを作成する（４０２）。色ヒストグラムは，一枚
のフレーム画像中にどの色がどれだけ存在しているかを
示すものである。各画素の色を何種類かに分類し，各種
類ごとの存在数をもって色ヒストグラムとする。色の分
類の仕方としては，たとえば６４種の場合，各色のＲＧ
Ｂ成分の上位２ビットを用いた計６ビットで分類でき
る。次に，直前の，すなわちｎ-１番目のフレームにつ
いて求めた色ヒストグラムＨｎ-１とＨｎとの間の相違
度Ｒｃｐを計算する（４０４）。Ｒｃｐは，たとえばカ
イ二乗検定などで求めることができる。Ｒｃｐが予め設
定された閾値より大きければ（４０６），場面の変わり
目であると判定し，イベント処理部３０４に検出した旨
のメッセージを伝える。また，このときメモリに残って
いるｎ番目のフレーム画像を縮小し，場面アイコンを作
成する。その画像データ，もしくはそれが格納されてい
るメモリへのポインタをイベント処理部３０４に送る
（４０８）。

【００１３】そして，処理４００に戻って，今度はｎ＋
１番目のフレームについて，上記と同様の処理を繰り返
す。但し，多くのケースでは，ｎ＋１番目のフレームを
取り込み終わるまで時間があるので，その待ち時間にＣ
ＰＵ７は別の処理を行う余裕がある。そこで，この待ち
時間を利用して，キー入力の受け付けや場面アイコンの
表示などを行うようにする。これによって，代表画像の
抽出をフレームの取りこぼしなく行いながら，キー入力
や画面表示，各種登録情報のディスクへの書き込み等が
可能になる。イベント処理部３０４は，そうしたタスク
切り替えも行う。多くのオペレーションシステムが採用
しているプリエンプティブなタスク切り替え方式では，
ある一定の短い時間を単位として，実行中の処理を強制
的に一時停止し，また別の処理を再開することで処理の
次々と切り替えている。キー入力をはじめ，代表画像抽
出以外の処理は，この方法で切り替えて問題はない。し
かし，代表画像抽出に関しては，フレームの絵柄によっ
て計算に時間がかかった場合など処理が長引いたときに
は，時によりフレームの取りこぼしが生じて正確な判定
が行えないことがある。そこで，代表画像抽出を優先と
して，その処理の余剰時間を利用して，残りの処理をタ
スク切り替えしながら実行する。

【００１４】図５にイベント処理部の実行手順を示す一
例のフローチャートを示す。

【００１５】まず，検出した代表画像の総数をカウント
するための変数ｓｃの値を０に，ユーザから入力された
情報（アノテーション）を，どの場面の関連情報として
登録するかを示す変数ｃｌを０にする（５００）。各場
面には，検出された順番に１から番号を割り振ることと
し，ｃｌには，場面の番号が入る。この初期化ののち，
代表画像抽出部のモジュールに制御を渡す。代表画像抽
出部は，上述のように，次のフレームを取り込み終わる
まで時間があった場合，その待ち時間にキー入力等の他
の処理ができるよう，制御をイベント処理部に戻す。イ
ベント処理部は，制御が戻ってきたときに場面が変わっ
た旨のメッセージがあるかどうかを判定し（５０４），
あれば表示部３０６に対し，新たに表示領域を確保し
て，代表画像抽出部から送られてきた場面アイコンを表
示するよう指示する（５０６）。ここで一時的に制御を
表示部に渡すが，表示部が使える処理時間を限定する。
すなわち，次のフレーム取り込み終了までの待ち時間か
ら，どれだけ時間が与えられるかを計算し，その時間を
使いきると処理を強制的に終了させ，そのときのＣＰＵ
やメモリの状態を記憶して，次の待ち時間が来たら，そ
の状態から再開させる。

【００１６】次に，映像再生装置１０に問い合わせて，
現在の映像再生位置を得る（５０８）。得られた映像再
生位置のアドレス情報は，実際に場面が変わってから，
映像再生装置からアドレス情報を得るまでの遅延時間が
あれば，オフセットとして引いて補正する。そして，ｓ
ｃの値を１つ増やし，ｃｌにｓｃの値を代入する（５１
０）。

【００１７】処理５１２では，キー入力情報を書き込む
欄をユーザが特に指定しようとしているかをチェックす
る。たとえば，マウスのクリックを検知し，そのクリッ
クされた画面上の領域が別の場面についての入力情報書
き込み用の欄であれば，その欄の情報を更新したいのだ
と判断して，ｃｌにその欄に対応する場面の番号を代入
する（５１４）。次に，キー入力があれば，ｃｌで示さ
れる場面の欄に入力された情報を書き込む（５１８）。

【００１８】上記５０６から５１８までの処理は，次の
フレーム取り込みまでの待ち時間が短い場合には随時ス
キップするようにする。

【００１９】表示部３０４は，実際にユーザに情報を提
示するためのモジュールであり，場面アイコンとその関
連情報とを一覧にして表示する。場面アイコンと，その
ときのアドレス情報を場面の開始アドレスとして表示す
る。次にまた場面アイコンとアドレス情報を獲得する
と，アドレス情報をその場面の開始アドレスとして表示
すると同時に，この開始アドレスからアドレス上で１つ
前にあたるアドレスを，前の場面の終了アドレスの表示
領域に書き込む。図５のイベント処理部のフローチャー
トで示したように，場面アイコンは，すでに登録されて
いるデータの後ろに追加される。キー入力情報は，デフ
ォルトで最後に登録された場面の情報として記憶される
ようにするが，直前にユーザから特に指定があった場合
には，その指定された位置の情報と置き換える。新しい
場面アイコンを受け取ったときには，デフォルトに戻
す。

【００２０】この表示部３０４には，表計算機能をもっ
たスプレッドシートを用いることができる。この場合，
表示部３０４は，場面アイコンを表中の１つのセルとし
て記憶させ，また，場面アイコンのサイズに合わせて表
の枠の大きさを変更する。そして，開始アドレス・終了
アドレスは隣接するセルに記憶させる。３０４にスプレ
ッドシートを用いることで，セル間に計算式を簡単に登
録することができ，たとえば，場面の開始アドレスと終
了アドレスとから，その場面の継続時間を計算させて別
のセルに表示するといったことが可能になる。 本発明
は，図１に示したようにディスプレイ装置，コンピュー
タ，映像再生装置，映像入力装置，外部情報記憶装置な
どがそれぞれ独立した統合システムに限らず，一般のＶ
ＴＲ装置や，ＴＶなどに組み込むことも可能である。

【００２１】

【発明の効果】本発明によれば，ユーザはビデオ映像を
ただモニタしながら，気づいたときに随時関連情報を書
き込むことができる。また，各場面の代表的な１コマと
その関連情報とが表形式で一覧になっているので，関連
情報を付与しようとする場面の前後の文脈が一目でわか
り，なにを記述すべきかを考える上で大きな手がかりに
なる。

【図面の簡単な説明】

【図１】本発明を実行するためのハードウエア構成例を
示す図である。

【図２】本発明の画面構成例を示す図である。

【図３】本発明を実行するためのソフトウエア構成例を
示す図である。

【図４】代表画像抽出部の実行手順例を示すフローチャ
ートである。

【図５】イベント処理部の実行手順例を示すフローチャ
ートである。

【符号の説明】

１…ディスプレイ，３…映像入力装置，４…コンピュー
タ，５…マウス，６…外部情報記憶装置，１０…映像再
生装置，１１…キーボード。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 富塚 健児 神奈川県川崎市幸区鹿島田890番地の12 株式会社日立製作所情報システム事業部内 (72)発明者 田中 勝 神奈川県川崎市幸区鹿島田890番地の12 株式会社日立製作所情報システム事業部内

Claims (5)

【特許請求の範囲】
1. 【請求項１】ビデオ映像を入力して、場面毎に代表画像
   を抽出する第一の手段と、場面毎に関連する情報を入力
   する第二の手段と、代表画像と場面毎の関連情報を同一
   画面に表示する第三の手段とを有し、代表画像と場面毎
   の関連情報とが同じ行もしくは列になるように表を作成
   して表示するようにしたことを特徴とする動画像のデー
   タベース装置。
2. 【請求項２】請求項１記載の動画像のデータベース装置
   において、第一の手段と第二の手段を並行して実行する
   ための制御を行なう第四の手段を具備したことを特徴と
   する動画像のデータベース装置。
3. 【請求項３】請求項１記載の動画像のデータベース装置
   において、第一の手段の代表画像は、入力画像を一定の
   比率で縮小して作成した画像であることを特徴とする動
   画像のデータベース装置。
4. 【請求項４】請求項１記載の動画像のデータベース装置
   において、第三の手段は、表計算機能を持ったスプレッ
   ドシートであることを特徴とする動画像のデータベース
   装置。
5. 【請求項５】ビデオ映像を入力して場面毎に代表画像を
   抽出し、場面毎に関連する情報を入力し、代表画像と場
   面毎の関連情報とが同じ行もしくは列になるように表を
   作成して表示するようにしたことを特徴とする動画像の
   データベースの登録方法。