JPH0232473A - 動画像検索編集方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （発明の属する技術分野） 本発明はビデオプレイヤーやビデオディスクなどの動画
像蓄積再生装置にセットした動画像蓄積媒体内に蓄積さ
れた歯動像を検索編集する動画像検索編集システムにお
いて、視覚的インタフェースにより部分動画像を検索し
、検索した部分動画像をつないだり、シーケンスを修正
したりすることにより、動画像の一連のシーケンスを編
集する方式に関するものである。

（従来の技術） 従来、静止画像に関する画像検索方式については、非画
像情報の検索方式と同様にキーワードを用いる方式が一
般的であったが、高解像度のビットマツプディスプレイ
を有した計算機の発達にともない、フレーム画像を縮小
して並べ、−覧および選択に用いる方式が一部に登場し
てきた。しかしながら動画像については、検索編集シス
テムと呼べるものはほとんどない。

しかし数少ない動画像検索編集方式の内、ＭＩＴメディ
ア研究所が紹介したビデオディスクに納められている再
構成可能ビデオは、ビデオディスクを用いた動画像の対
話型検索編集方式に関するものであるが、第３図に示す
ように、動画像のひとかたまりの単位をあらかじめ定義
しておき、縮小したフレーム画像をピクチャーアイコン
１５としてカード形式に表示し、選択したピクチャーア
イコン１５を映画のフィルムシーケンスに見立てて順に
並べる（編集シーケンス列１６）ものである、この方式
では動画像の既定のかたまりを、静止画像と同様の情報
処理単位として扱っている。

しかしながら、第３図の構成による方式↓よ動画像の処
理単位に全く変更がない場合には利用可能であるが、実
際には映画などのフィルムの編集に見られるように、編
集する動画像の処理単位はフレーム単位にわたるまでカ
ットし、修正を重ねながら編集を行なうのが一般的であ
る。すなわち。

第３図に代表される方式には、動画像をかたまりとして
概略的に検索するために視覚的インタフェースを実現し
ている利点はあるものの、動画像の持つ時間軸上での処
理の自由度が使えない欠点がある。具体的には、まず検
索については、動画像の既定のかたまりの中で時間軸上
の任意の時間幅の区間である部分動画像を検索できない
、また編集については検索動画像のシーケンスとしての
編集は可能であっても、時間軸を考慮した配置はできな
いという欠点があった。

（発明の目的） 本発明は動画像検索編集処理システムにおいて、動画像
の既定のかたまりの中で時間軸上の任意の時間幅の区間
である部分動画像を検索でき、かっ検索動画像のシーケ
ンスとして時間軸を考慮した編集が行えることを目的と
するものである。

（発明の構成） （発明の特徴と従来技術との差異） 本発明は上記目的を達成するため、まず検索方式として
、動画像をかたまりとして概略的に検索することに加え
、それを時間軸上でサンプル的な静止像画列を表示する
ストロボピクチャーアイコンとしてさらに展開し、任意
時間軸の部分動画像を区間指示する視覚的インタフェー
スを設ける。

また必要な場合には動画像を実際に再生制御しながら部
分動画像の開始／終了の区間指示するインタフェースを
設ける。また編集方式としては、検索した前記部分動画
像の代表ピクチャーアイコンを、時間軸上で実際の時間
を考慮した位置に配置する視覚的インタフェースを設け
ることを特徴とする。

従来技術では、動画像の持つ時間軸上での処理の自由度
が使えないのに対し、本発明はこれを可能とした点が異
なる。

本発明は上記の構成によって、動画像のかたまりを示す
ピクチャーアイコンの一覧を表示することにより動画像
蓄積媒体上に蓄積されている動画像の概略を表示し、そ
れにより利用者が選択した動画像のかたまりをさらにス
トロボピクチャーアイコンとしてサンプル的な静止画像
列に展開表示することで当該動画像の内容を表示し、そ
れにより利用者がピクチャーアイコン上で区間指示する
ことにより部分動画像が検索される。また、検索された
動画像をデイスプレィ上の編集領域上に設ける時間軸対
応の場所に、利用者の指示に従った位置にピクチャーア
イコンを配置することにより、また既に配置したピクチ
ャーアイコンの位置を移動または削除することにより１
時間軸上における動画像のシーケンス編集を行なうこと
が可能となる。

（実施例） 以下、本発明の実施例について図面を参照しながら説明
する。

第１図は本発明に関する装置構成のブロック図を示し、
第２図は本発明の一実施例に係る処理フローとユーザイ
ンタフェース対応を示したものである。

第１図において、２１は計算機本体（以下、計算機とい
う）、２２は高解像度のビットマツプディスプレイ（以
下、高解像度デイスプレィという）、２３はマウス、ラ
イトペン、タッチスクリーンなどのポインティングデバ
イス、２４は例えばＲ５２３２Ｃなどのインターフェー
スにより計算機を制御可能なビデオディスク、ＣＤ、大
容量メモリなどの動画像蓄積再生装置、２５は蓄積動画
像情報に関する制御データ、その他のプログラムを格納
するメモリ、２６は動画像蓄積再生装置２４の例えばビ
デオディスクからの再生画像をアナログ／デジタル変換
して計算機２１に取り込むＡ／Ｄ変換装置である。

動画像蓄積再生袋［２４は、計算機２１から指示される
例えばビデオディスクにおけるフレーム番号のように動
画像中の１フレームを特定する情報により対応フレーム
をアクセスすること、あるいは計算機２１から指示され
る再生制御コマンドによりアクセスフレームから順方向
、逆方向のどちらかに指示された再生速度で再生する。

動画像蓄積再生装置２４から再生された動画像はＡ／Ｄ
変換装置２６を通して高解像度デイスプレィ２２に表示
される。

計算機と利用者との対話は、ポインティングデバイス２
３により高解像度デイスプレ、イ２２上の点を指示され
ることにより利用者が計算機に指示し、高解像度デイス
プレィ２２上に計算機からの情報を表示することで行な
われる。

第２図は大きく動画像検索に係るフローと、それを含ん
だ形の動画像編集に係るフローにわけることができるが
、以下順次フローに従って処理内容を説明する。

まず処理１において、計算機２１はポインティングデバ
イス２３で利用者が指示するビデオディスクの識別子を
入力する。

処理２において、計算機２１はメモリ２５上に格納され
ている蓄積動画像の制御情報から前記入力ビデオディス
ク識別子に対応する動画像のかたまりを代表する画像の
フレーム番号を取り出す。

処理３において、計算機２１は前記取り出したフレーム
番号を動画像蓄積再生装置２４に指示し、所望のフレー
ム画像をアクセスし、Ａ／Ｄ変換装置２６を通して当該
フレーム画像を入力し、入力画像を縦・横必要に応じた
比率で縮小し、ピクチャーアイコン３Ｐとして高解像度
デイスプレィ２２の動画像−覧３０を示すウィンドウ内
に順に並べて表示し、検索範囲のすべての動画像のかた
まりに対して本処理を実行する。この場合、１ウインド
ウ内に表示しきれない場合はウィンドウを重ねる条件を
設けて検索対象を絞るなどの方法をとる。

処理４において、利用者が前記−覧表示されたピクチャ
ーアイコン３Ｐの一つをポインティングデバイス２３に
より選択すると、計算機２１は当該ピクチャーアイコン
の枠の色を変更するなどハイライト表示するとともに、
メモリ２５から該当する動画像のかたまりに対応する情
報として１区間を定義する開始フレーム番号、終了フレ
ーム番号、その他内容に関連した情報をアクセスし、高
解像度デイスプレィ２２に選択動画内容表示用のウイン
ドウをオープンする。

処理５において、計算機２１は当該動画像のかたまりの
定義区間の長さと表示領域の大きさに応じたサンプルフ
レーム間隔を決め、開始フレームから始まってサンプル
間隔毎に対応するフレーム番号を動画像蓄積再生装置２
４に指示し、対応するフレーム画像をＡ／Ｄ変換装置２
６を通して入力し、さらに上記の動画像−覧で行なった
と同様に縦・横を縮小し、前記オープンしたウィンドウ
内に一列に左から並べ、必要な場合には改行しながらス
トロボピクチャーアイコンとして表示する。

処理６において、利用者が以上のフローを異なる動画像
のかたまりに対して繰り返すか（処理４゜５）、さらに
詳細な部分動画像の検索を前記と同様のストロボピクチ
ャーアイコンにより行なうか（処理７）、または実際に
動画像を再生することにより行なうかの選択（処理８）
を行なう。

処理７において、利用者がポインティングデバイス２３
により前記表示のストロボピクチャーアイコンの部分区
間を指示すると、計算機２１は区間に対応するピクチャ
ーアイコンから開始フレーム番号、終了フレーム番号を
求める。

処理８において、計算機２１は高解像度デイスプレィ２
２に表示している動画再生制御ウィンドウ内の制御機能
アイコンのどれかが利用者により指示されると、対応す
る制御機能コマンドを動画像蓄積再生装置２４に指示す
る。また、利用者が制御機能の内、動画像の部分区間の
開始画面および終了画面のマーキングを行なうと、計算
機２１はそのフレーム番号を部分画像の区間定義情報と
して記憶する。

処理９において、計算機２１は、上記処理で決まった部
分動画像の区間を代表するフレーム画像を利用者の指示
または一定のルールで決め、対応するフレーム番号によ
り上記処理と同様にして代表面像のピクチャーアイコン
を作成する。

処理１０において、前記部分動画像区間に対して処理５
と同様にストロボピクチャーアイコン表示を行なう０以
上において、さらに詳しく部分動画像を定義する必要の
ある場合には、処理６〜１０の処理を必要なだけ繰り返
す、これにより部分動画像の検索が行なわれる。

処理１１において、計算機２１は高解像度デイスプレィ
２２にシーケンス編集用のウィンドウを開き。

時間軸に対応するスケールを表示する。

処理１２において、計算機２１は上記検索部分動画像対
応のピクチャーアイコンを、前記オープンしたウィンド
ウ上に利用者の指示に従った位置に配置する。また、処
理１２において、既に編集した動画像シーケンスを再生
して見ることを可能とする。

以上処理４〜１２の処理を必要なだけ繰り返し、部分動
画像のシーケンス列を作成する。

処理１３において、作成した部分動画像のシーケンス列
を処理８と同様にして再生することができる。再生結果
が不十分な場合は処理４に返って検索編集処理を繰り返
す。

処理１４において、処理を編集した動画像シーケンスの
情報をメモリ２５に識別子を付加して格納し、動画像検
索編集処理を終了する。

（発明の効果） 以上説明したように、本発明は動画像検索編集処理シス
テムにおいて、視覚的インタフェースを設けることによ
り、動画の検索編集者が人間の高度な視覚的感覚を活か
して動画像蓄積媒体に蓄積されている動画像の概略を知
ることができるとともに、望む動画像の検索が概略的な
範囲から希望する部分動画像にいたるまで高速に検索で
きる効果がある。またその過程として動画像内の時間的
内容の変化がストロボ表示として把握することができる
利点を有する。編集については各検索動画像の時間軸上
の配置が絶対位置としてできることにより他情報との同
期編集、検索動画像間のバランスあるいは表示に関する
リズムを考慮した編集、検索類によらないシーケンス編
集が可能になるなどの効果を有している。

この結果、本発明によれば、従来非常に時間がかかって
いた映画、ビデオ等の編集時間が大幅に短縮されるとと
もに１編集結果の作品も編集後いつでも編集可能であ、
るなどの効果を有する。

【図面の簡単な説明】

第１図は本発明に関する装置構成ブロック図、第２図は
本発明の一実施例に係る処理フローとユーザインタフェ
ースの対応を示した図、第３図は従来方式による処理に
対応するユーザインタフェースを示した図である。 ２１・・・計算機、２２・・・高解像度デイスプレィ、
２３・・・ポインティングデバイス、２４・・・動画像
蓄積再生装置、２５・・・メモリ、２６・・・Ａ／Ｄ変
換装置。 特許出願人　日本電信電話株式会社 第 図

Claims (1)

1. 【特許請求の範囲】 ａ、高解像度ビットマップディスプレイ、ポインティン
   グデバイスを有し、動画像蓄積再生装置を直接もしくは
   遠隔に接続・制御し、動画像を前記高解像度ビットマッ
   プディスプレイ内または別モニタＴＶに表示し、前記動
   画像蓄積再生装置から再生された画像のビデオ信号をア
   ナログ／ディジタル変換するＡ／Ｄ変換装置を有する計
   算機を用いた動画像検索編集システムにおいて、 ｂ、前記動画像蓄積再生装置にセットされている動画像
   蓄積媒体に蓄積されている一連のフレーム画像からなる
   動画像のかたまりを、当該動画像かたまりに含まれる代
   表フレーム画像を縮小した画像をピクチャーアイコンと
   して代表表示し、同様に作成される他の動画像かたまり
   に対応するピクチャーアイコンと並べることにより、当
   該動画像蓄積媒体内の動画像かたまりの内容をポインテ
   ィングデバイスにより一覧表示し、 ｃ、前記ポインティングデバイスにより一覧表示された
   前記ピクチャーアイコンの一つが指示されることにより
   対応する該動画像のかたまりを選択し、 ｄ、前記選択された動画像のかたまりを開始フレームか
   ら一定フレーム数毎にアクセスし縮小したフレーム画像
   をストロボピクチャーアイコンとして列に並べて表示す
   ることにより、当該動画像のかたまりの内容をサンプル
   表示し、 ｄ、前記ポインティングデバイスにより表示されたスト
   ロボピクチャーアイコンの連続した一部分が指示される
   と、対応する区間の開始フレーム番号と終了フレームで
   決まる部分動画像を新たな動画像のかたまりとし、 ｅ、前記決定された動画像のかたまりを、選択により再
   び前記処理ｃから繰り返すか、または前記処理ｄから繰
   り返すか、または上記動画像表示手段により再生表示さ
   せながら最終的に動画像の部分区間を選択して部分動画
   像を検索し、 ｆ、前記により検索された部分動画像を前記高解像度ビ
   ットマップディスプレイ上にシーケンス編集領域として
   設ける場所内における時間軸上の指示される任意の位置
   にならべ、 ｇ、前記処理ｆの操作を繰り返し、 ｈ、前記操作の結果のピクチャーアイコン列を場所の変
   更、新規挿入、抹消などの機能により編集し、一連の部
   分動画像列を作成する ことを特徴とする動画像検索編集方式。