JP2741871B2 - 動画像検索編集方法 - Google Patents

Description

【発明の詳細な説明】 （発明の属する技術分野） 本発明はビデオプレイヤーやビデオディスクなどの動
画像蓄積再生装置にセットした動画像蓄積媒体内に蓄積
された画動像を検索編集する動画像検索編集システムに
おいて、視覚的インタフェースにより部分動画像を検索
し、検索した部分動画像をつないだり、シーケンスを修
正したりすることにより、動画像の一連のシーケンスを
編集する方法に関するものである。

（従来の技術） 従来、静止画像に関する画像検索方式については、非
画像情報の検索方式と同様にキーワードを用いる方式が
一般的であったが、高解像度のビットマップディスプレ
イを有した計算機の発達にともない、フレーム画像を縮
小して並べ、一覧および選択に用いる方式が一部に登場
してきた。しかしながら動画像については、検索編集シ
ステムと呼べるものはほとんどない。

しかし数少ない動画像検索編集方式の内、MITメディ
ア研究所が紹介したビデオディスクに納められている再
構成可能ビデオは、ビデオディスクを用いた動画像の対
話型検索編集方式に関するものであるが、第３図に示す
ように、動画像のひとかたまりの単位をあらかじめ定義
しておき、縮小したフレーム画像をピクチャーアイコン
15としてカード形式に表示し、選択したピクチャーアイ
コン15を映画のフィルムシーケンスに見立てて順に並べ
る（編集シーケンス列16）ものである。この方式では動
画像の既定のかたまりを、静止画像と同様の情報処理単
位として扱っている。

しかしながら、第３図の構成による方式は動画像の処
理単位に全く変更がない場合には利用可能であるが、実
際には映画などのフィルムの編集に見られるように、編
集する動画像の処理単位はフレーム単位にわたるまでカ
ットし、修正を重ねながら編集を行なうのが一般的であ
る。すなわち、第３図に代表される方式には、動画像を
かたまりとして概略的に検索するために視覚的インタフ
ェースを実現している利点はあるものの、動画像の持つ
時間軸上での処理の自由度が使えない欠点がある。具体
的には、まず検索については、動画像の既定のかたまり
の中で時間軸上の任意の時間幅の区間である部分動画像
を検索できない。また編集については検索動画像のシー
ケンスとしての編集は可能であっても、時間軸を考慮し
た配置はできないという欠点があった。

（発明の目的） 本発明は動画像検索編集処理システムにおいて、動画
像の既定のかたまりの中で時間軸上の任意の時間幅の区
画である部分動画像を検索でき、かつ検索動画像のシー
ケンスとして時間軸を考慮した編集が行えることを目的
とするものである。

（発明の構成） （発明の特徴と従来技術との差異） 本発明は上記目的を達成するため、まず検索方式とし
て、動画像をかたまりとして概略的に検索することに加
え、それを時間軸上でサンプル的な静止像画列を表示す
るストロボビピクチャーアイコンとしてさらに展開し、
任意時間軸の部分動画像を区間指示する視覚的インタフ
ェースを設ける。

また必要な場合には動画像を実際に再生制御しながら
部分動画像の開始／終了の区間指示するインタフェース
を設ける。また編集方式としては、検索した前記部分動
画像の代表ピクチャーアイコンを、時間軸上で実際の時
間を考慮した位置に配置する視覚的インタフェースを設
けることを特徴とする。

従来技術では、動画像の持つ時間軸上での処理の自由
度が使えないのに対し、本発明はこれを可能とした点が
異なる。

本発明は上記の構成によって、動画像のかたまりを示
すピクチャーアイコンの一覧を表示することにより動画
像蓄積媒体上に蓄積されている動画像の概略を表示し、
それにより利用者が選択した動画像のかたまりをさらに
ストロボピクチャーアイコンとしてサンプル的な静止画
像列に展開表示することで当該動画像の内容を表示し、
それにより利用者がピクチャーアイコン上で区間指示す
ることにより部分動画像が検索される。また、検索され
た動画像をディスプレイ上の編集領域上に設ける時間軸
対応の場所に、利用者の指示に従った位置にピクチャー
アイコンを配置することにより、また既に配置したピク
チャーアイコンの位置を移動または削除することによ
り、時間軸上における動画像のシーケンス編集を行なう
ことが可能となる。

（実施例） 以下、本発明の実施例について図面を参照しながら説
明する。

第１図は本発明に関する装置構成のブロック図を示
し、第２図は本発明の一実施例に係る処理フローとユー
ザインタフェース対応を示したものである。

第１図において、21は計算機本体（以下、計算機とい
う）、22は高解像度のビットマップディスプレイ（以
下、高解像度ディスプレイという）、23はマウス，ライ
トペン，タッチスクリーンなどのポインティングデバイ
ス、24は例えばRS232Cなどのインターフェースにより計
算機を制御可能なビデオディスク,CD,大容量メモリなど
の動画像蓄積再生装置、25は蓄積動画像情報に関する制
御データ、その他のプログラムを格納するメモリ、26は
動画像蓄積再生装置24の例えばビデオディスクからの再
生画像をアナログ／ディジタル変換して計算機21に取り
込むA/D変換装置である。

動画像蓄積再生装置24は、計算機21から指示される例
えばビデオディスクにおけるフレーム番号のように動画
像中の１フレームを特定する情報により対応フレームを
アクセスすること、あるいは計算機21から指示される再
生制御コマンドによりアクセスフレームから順方向、逆
方向のどちらかに指示された再生速度で再生する。動画
像蓄積再生装置24から再生された動画像はA/D変換装置2
6を通して高解像度ディスプレイ22に表示される。計算
機と利用者との対話は、ポインティングデバイス23によ
り高解像度ディスプレイ22上の点を指示されることによ
り利用者が計算機に指示し、高解像度ディスプレイ22用
に計算機からの情報を表示することで行なわれる。

第２図は大きく動画像検索に係るフローと、それを含
んだ形の動画像編集に係るフローにわけることができ
る。以下順次フローに従って処理内容を説明する。

まず処理１において、計算機21はポインティングデバ
イス23で利用者が指示するビデオディスクの識別子を入
力する。

処理２において、計算機21はメモリ25上に格納されて
いる蓄積動画像の制御情報から前記入力ビデオディスク
識別子に対応する動画像のかたまりを代表する画像のフ
レーム番号を取り出す。

処理３において、計算機21は前記取り出したフレーム
番号を動画像蓄積再生装置24に指示し、所望のフレーム
画像をアクセスし、A/D変換装置26を通して当該フレー
ム画像を入力し、入力画像を縦・横必要に応じた比率で
縮小し、ピクチャーアイコン3Pとして高解像度ディスプ
レイ22の動画像一覧30を示すウインドウ内に順に並べて
表示し、検索範囲のすべての動画像のかたまりに対して
本処理を実行する。この場合、１ウインドウ内に表示し
きれない場合はウインドウを重ねる条件を設けて検索対
象を絞るなどの方法をとる。

処理４において、利用者が前記一覧表示されたピクチ
ャーアイコン3Pの一つをポインティングデバイス23によ
り選択すると、計算機21は当該ピクチャーアイコンの枠
の色を変更するなどハイライト表示するとともに、メモ
リ25から該当する動画像のかたまりに対応する情報とし
て、区間を定義する開始フレーム番号、終了フレーム番
号、その他内容に関連した情報をアクセスし、高解像度
ディスプレイ22に選択動画内容表示用のウインドウをオ
ープンする。

処理５において、計算機21は当該動画像のかたまりの
定義区間の長さと表示領域の大きさに応じたサンプルフ
レーム間隔を決め、開始フレームから始まってサンプル
間隔毎に対応するフレーム番号を動画像蓄積再生装置24
に指示し、対応するフレーム画像をA/D変換装置26を通
して入力し、さらに上記の動画像一覧で行なったと同様
に縦・横を縮小し、前記オープンしたウインドウ内に一
列に左から並べ、必要な場合には改行しながらストロボ
ピクチャーアイコンとして表示する。

処理６において、利用者が以上のフローを異なる動画
像のかたまりに対して繰り返すか（処理4,5）、さらに
詳細な部分動画像の検索を前記と同様のストロボピクチ
ャーアイコンにより行なうか（処理７）、または実際に
動画像を再生することにより行なうかの選択（処理８）
を行なう。

処理７において、利用者がポインティングデバイス23
により前記表示のストロボピクチャーアイコンの部分区
間を指示すると、計算機21は区間に対応するピクチャー
アイコンから開始フレーム番号、終了フレーム番号を求
める。

処理８において、計算機21は高解像度ディスプレイ22
に表示している動画再生制御ウインドウ内の制御機能ア
イコンのどれかが利用者により指示されると、対応する
制御機能コマンドを動画像蓄積再生装置24に指示する。
また、利用者が制御機能の内、動画像の部分区間の開始
画面および終了画面のマーキングを行なうと、計算機21
はそのフレーム番号を部分画像の区間定義情報として記
憶する。

処理９において、計算機21は、上記処理で決まった部
分動画像の区間を代表するフレーム画像を利用者の指示
または一定のルールで決め、対応するフレーム番号によ
り上記処理と同様にして代表画像のピクチャーアイコン
を作成する。

処理10において、前記部分動画像区間に対して処理５
と同様にストロボピクチャーアイコン表示を行なう。以
上において、さらに詳しく部分動画像を定義する必要の
ある場合には、処理６〜10の処理を必要なだけ繰り返
す。これにより部分動画像の検索が行なわれる。

処理11において、計算機21は高解像度ディスプレイ22
にシーケンス編集用のウインドウを開き、時間軸に対応
するスケールを表示する。

処理12において、計算機21は上記検索部分動画像対応
のピクチャーアイコンを、前記オープンしたウインドウ
上に利用者の指示に従った位置に配置する。また、処理
12において、既に編集した動画像シーケンスを再生して
見ることを可能とする。

以上処理４〜12の処理を必要なだけ繰り返し、部分動
画像のシーケンス列を作成する。

処理13において、作成した部分動画像のシーケンス列
を処理８と同様にして再生することができる。再生結果
が不十分な場合は処理４に返って検索編集処理を繰り返
す。

処理14において、処理を編集した動画像シーケンスの
情報をメモリ25に識別子を付加して格納し、動画像検索
編集処理を終了する。

（発明の効果） 以上説明したように、本発明は動画像検索編集処理シ
ステムにおいて、視覚的インタフェースを設けることに
より、動画の検索編集者が人間の高度な視覚的感覚を活
かして動画像蓄積媒体に蓄積されている動画像の概略を
知ることができるとともに、望む動画像の検索が概略的
な範囲から希望する部分動画像にいたるまで高速に検索
できる効果がある。またその過程として動画像内の時間
的内容の変化がストロボ表示として把握することができ
る利点を有する。編集については各検索動画像の時間軸
上の配置が絶対位置としてできることにより他情報との
同期編集、検索動画像間のバランスあるいは表示に関す
るリズムを考慮した編集、検索順によらないシーケンス
編集が可能になるなどの効果を有している。

この結果、本発明によれば、従来非常に時間がかかっ
ていた映画、ビデオ等の編集時間が大幅に短縮されると
ともに、編集結果の作品も編集後いつでも編集可能であ
るなどの効果を有する。

【図面の簡単な説明】

第１図は本発明に関する装置構成ブロック図、第２図は
本発明の一実施例に係る処理フローとユーザインタフェ
ースの対応を示した図、第３図は従来方式による処理に
対応するユーザインタフェースを示した図である。 21……計算機、22……高解像度ディスプレイ、23……ポ
インティングデバイス、24……動画像蓄積再生装置、25
……メモリ、26……A/D変換装置。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】a.ディスプレイ，ポインティングデバイス
   を有し，動画像蓄積再生装置を直接もしくは遠隔に接続
   ・制御し，動画像を前記ディスプレイ内または別モニタ
   TVに表示し，前記動画像蓄積再生装置から再生された画
   像のビデオ信号をアナログ／ディジタル変換するA/D変
   換装置を有する計算機を用いた動画像検索編集システム
   における動画像検索編集方法において， b.前記動画像蓄積再生装置にセットされている動画像蓄
   積媒体に蓄積されている一連のフレーム画像からなる動
   画像のかたまりを，当該動画像のかたまりに含まれる代
   表フレーム画像を縮小した画像をピクチャーアイコンと
   して代表表示し，同様に作成される他の動画像のかたま
   りに対応するピクチャーアイコンと並べることにより，
   当該動画像蓄積媒体内の動画像のかたまりの内容を一覧
   表示し， c.前記ポインティングデバイスにより一覧表示された前
   記ピクチャーアイコンの一つが指示されることにより対
   応する該動画像のかたまりを選択し， d.前記選択された動画像のかたまりを開始フレームから
   一定フレーム数毎にアクセスし縮小したフレーム画像を
   ストロボピクチャーアイコンとして列に並べて表示する
   ことにより，当該動画像のかたまりの内容をサンプル表
   示し， e.前記ポインティングデバイスにより表示されたストロ
   ボピクチャーアイコンの連続した一部分が指示される
   と、対応する区間の開始フレーム番号と終了フレームで
   決まる部分動画像を新たな動画像のかたまりとし， f.前記決定された動画像のかたまりを，選択により再び
   前記処理ｃから繰り返すか，または前記処理ｅから繰り
   返すか，または前記ディスプレイにより再生表示させな
   がら最終的に動画像の部分空間を選択して部分動画像を
   検索し， g.前記により検索された部分動画像を前記ディスプレイ
   上にシーケンス編集領域として設ける場所内における時
   間軸上の指示される任意の位置に並べ， h.前記処理ｇの操作を繰り返し， i.前記操作の結果のピクチャーアイコン列を場所の変
   更，新規挿入，抹消などの機能により編集し，一連の部
   分動画像列を作成する ことを特徴とする動画像検索編集方法。