JPH05257989A - 動画像検索支援方式 - Google Patents

Abstract

(57)【要約】 【目的】ディジタル動画像の中の任意のシーンを編集対
象としてユーザが簡単に検索できるようにすることであ
る。 【構成】ディジタル動画像入力部１により入力されたデ
ィジタル動画像の隣接フレーム間の画像の相関を評価す
るための値をフレーム間相関極小計算部２にて計算によ
り求め、値が極小値となるフレームをシーンの切れ目と
して全て検出する。検出された各フレームはキーフレー
ム抽出部３に渡され、その画像（キーフレーム画像）の
輪郭が輪郭検出部３１により抽出され、その輪郭画像の
ベクトルデータがベクトル化部３２により求められてキ
ーフレーム格納部４に格納される。キーフレーム格納部
４に格納されたベクトルデータは、ユーザが操作パネル
８を操作してシーン検索を要求すると、グラフィクス表
示部６により取出されてグラフィクス表示され、ユーザ
によるシーン単位での検索に供される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、連続した複数のフレー
ムからなるディジタル動画像のあるシーンを編集するた
めに、利用者が、その編集対象シーンをディジタル動画
像から検索するのに好適な動画像検索支援方式に関す
る。

【０００２】

【従来の技術】連続した複数のフレームからなるディジ
タル動画像に対する編集方式として、その動画像から所
望のシーンを検索し、そのシーンを構成する各フレーム
毎に例えばカラー変更といった編集を施すことが知られ
ている。

【０００３】このような編集処理のための動画像検索
は、対象となるディジタル動画像が複数の予め別々に撮
影されたもの（カット）で構成され、しかもそれぞれが
タイムコードで管理されているような場合であれば、そ
のタイムコードに基づいて行われるのが一般的であっ
た。

【０００４】これに対し、対象となるディジタル動画像
が１つのカットであり、その中のあるシーンが変化した
ような場合に、そのシーンを検索したいときには、従来
は次の２つの方式のいずれかが用いられていた。

【０００５】第１の方式は、利用者（ユーザ）がディジ
タル動画像の連続した全フレームを画面上において早送
りで観察し、編集すべきシーンを検索するものである。
第２の方式は、基本的には第１の方式と同様であるが、
全フレームを時間的に連続表示する代わりに、その縮小
画像を複数並べて表示し、編集すべきシーンを検索する
ものである。

【０００６】この第１または第２の方式による動画像検
索は、いずれの方式でも、ユーザが全フレームを観察す
る必要があり、タイムコードに基づいて行う場合と異な
って多大な時間と労力を必要とする作業であった。特
に、１シーン内のフレーム数が多い場合には、作業が困
難であった。

【０００７】

【発明が解決しようとする課題】前述したように従来
は、ディジタル動画像が１つのカットであり、その中の
あるシーンのみが変化したような場合に、そのシーンを
検索したいときには、ユーザは前記の第１または第２の
方式を適用して全フレームを観察しなければならず、多
大な時間と労力を必要とするという問題があったた。

【０００８】本発明は上記事情に鑑みてなされたもので
その目的は、ディジタル動画像の中の任意のシーンを編
集対象としてユーザが簡単に検索できる動画像検索支援
方式を提供することにある。

【０００９】

【課題を解決するための手段】本発明は上記問題を解決
するために、連続した複数のフレームからなるディジタ
ル動画像のシーンの切れ目を検出する検出手段と、この
検出手段によって検出された各シーン毎に、そのシーン
の画像列中の１フレームを検索用キーフレームとして抽
出するキーフレーム抽出手段とを設け、このキーフレー
ム抽出手段によって抽出されたキーフレームを画面表示
して、利用者によるディジタル動画像中の任意のシーン
の検索に供するようにしたことを特徴とするものであ
る。

【００１０】また本発明は、抽出されたキーフレームの
輪郭画像をベクトル化し、キーフレームの実際の画像の
表示に代えて、ベクトル化データをグラフィクス表示す
るようにしたことも特徴とする。

【００１１】更に本発明は、検出手段において、ディジ
タル動画像中の隣接する各フレーム間の画像のパターン
の相関をとり、その相関が極小になるフレームをシーン
の切れ目のフレームとして検出するようにしたことも特
徴とする。

【００１２】

【作用】上記の構成においては、編集対象となる時系列
のディジタル動画像を複数フレームの連続と考え、検出
手段（を構成するフレーム間相関極小計算手段）によっ
て、まずディジタル動画像中の隣接する各フレーム間の
画像のパターンの相関がとられる。これには、連続画像
の差分をとって検出された変化領域の面積、および差分
画像の頻度最大の画素値等が用いられる。続いて同じ検
出手段（を構成するフレーム間相関極小計算手段）によ
って、フレーム間相関値が極小になるフレームがシーン
の切れ目（であるイベントの）のフレームとして検出さ
れる。

【００１３】検出手段によって検出されたディジタル動
画像の各シーンの切れ目のフレームは、キーフレーム抽
出手段により検索用キーフレームとして抽出される。こ
のようにして抽出されたディジタル動画像の各シーン毎
の検索用キーフレームを例えばキーフレーム格納手段に
格納しておき、動画像編集のための検索時に取出して画
面表示する。これにより、ユーザは、入力動画像の全て
のフレームを観察しなくても、編集対象としたいシーン
を簡単に検索することができ、検索効率が向上する。な
お、各シーンの切れ目のフレームに代えて、各シーンの
任意の１フレームを検索用キーフレームとすることも可
能である。

【００１４】また、検索用キーフレームとして、実際の
画像をそのまま使用するのではなく、対象となるフレー
ムの輪郭画像のベクトル化データを用いることも可能で
ある。これは、検出手段によって検出された各シーンの
切れ目のフレーム（または各シーンの画像列中のそれぞ
れ任意の１フレーム）について、その輪郭の細線化画像
をキーフレーム抽出手段（内の輪郭検出手段）にて作成
し、更に同抽出手段（内のベクトル化手段）にて輪郭を
ショートベクトルで近似することで実現される。

【００１５】この各キーフレームのベクトルデータをキ
ーフレーム格納手段に格納しておき、動画像編集のため
の検索時に取出してグラフィクス表示することにより、
キーフレームの画像をそのまま表示する場合に比べて一
層の高速表示が可能となる。ここで、キーフレームのベ
クトルデータと、実際のキーフレーム画像とを、キーフ
レーム関係データベースによって、ベクトルデータ番号
とフレーム番号とでリンクさせておくことにより、グラ
フィクス表示されたベクトルデータから元のキーフレー
ム画像を呼出すことも可能である。

【００１６】

【実施例】図１は本発明の一実施例を示すブロック構成
図である。図１の構成は、例えばパーソナルコンピュー
タ等の情報処理装置を利用して実現されており、各ブロ
ックの接続関係は論理的なものである。

【００１７】図１の構成は、ディジタル動画像入力部
１、フレーム間相関極小計算部２、キーフレーム抽出部
３、キーフレーム格納部４および関係データベース５を
備えている。

【００１８】ディジタル動画像入力部１は、編集用のデ
ィジタル動画像が格納される編集用動画像格納部（図示
せず）を有し、同格納部からのディジタル動画像入力を
司るものである。フレーム間相関極小計算部２は、ディ
ジタル動画像入力部１によって入力されたディジタル動
画像の隣接する各フレーム間の相関をとり、その相関が
極小となるフレームをシーンの切れ目（シーン境界）の
フレームとして検出する。

【００１９】キーフレーム抽出部３は、フレーム間相関
極小計算部２によって検出されたフレームをディジタル
動画像検索用のキーフレームとして抽出し、その輪郭画
像をベクトル化する。キーフレーム抽出部３は、キーフ
レームの輪郭画像を検出する輪郭検出部３１と、輪郭検
出部３１によって検出された輪郭画像をベクトル化して
直線コード（ベクトルデータ）で表現するベクトル化部
３２とを有する。

【００２０】キーフレーム格納部４は、キーフレーム抽
出部３によって抽出・ベクトル化されたキーフレームの
ベクトルデータ（キーフレームグラフィクスデータ）を
格納するためのものである。キーフレーム関係データベ
ース５は、キーフレーム格納部４に格納されたグラフィ
クスデータとキーフレームの原画像との対応関係を示す
情報（キーフレーム関係情報）を格納するためのもので
ある。

【００２１】また図１の構成は、グラフィクス表示部
６、動作制御部７および操作パネル８を更に備えてい
る。グラフィクス表示部６は、キーフレーム格納部４に
格納されているキーフレームグラフィクスデータを表示
する機能と、ユーザにより選択されたキーフレームの原
画像を含む同一シーンの連続するフレームをキーフレー
ム関係データベース５の格納情報に従い、ディジタル動
画像入力部１から入力して表示する機能を有する。

【００２２】動作制御部７は、操作パネル８からの操作
内容を受けてディジタル動画像入力部１およびグラフィ
クス表示部６の制御を司る。操作パネル８は、ユーザ操
作により各種の動作指示を与えるためのものである。図
２はフレーム間相関極小計算部２の処理手順を示すフロ
ーチャート、図３はグラフィクス表示部６の処理手順を
示すフローチャートである。

【００２３】ここで、図１の構成による動画像検索支援
方式の処理の概略を説明する。まず、本実施例での動画
像検索支援方式の処理は２段階に大別される。第１の段
階は検索用キーフレームの自動作成処理である。この第
１の段階の処理は、ディジタル動画像入力部１、フレー
ム間相関極小計算部２およびキーフレーム抽出部３によ
り、次に述べる第２段階の処理に先立って自動的に行わ
れる。

【００２４】第２の段階はユーザ操作に従うキーフレー
ムを用いたインタラクティブな（半自動的な）シーン検
索のための処理である。この第２の段階では、ディジタ
ル動画像入力部１、キーフレーム格納部４およびキーフ
レーム関係データベース５に格納された情報に基づい
て、グラフィクス表示部６がユーザ操作に従う動作制御
部７からの指示を受けて高速にキーフレームを表示す
る。

【００２５】次に、上記した第１の段階の処理、即ち検
索用キーフレームの自動作成処理の詳細について説明す
る。まずユーザが、操作パネル８を操作して検索用キー
フレームの自動作成を要求すると、動作制御部７からデ
ィジタル動画像入力部１に検索用キーフレーム作成指示
が与えられる。これによりディジタル動画像入力部１
は、編集用動画像格納部（図示せず）に格納されている
複数の連続したフレームからなる編集用のディジタル動
画像をフレーム間相関極小計算部２に入力する。

【００２６】フレーム間相関極小計算部２は、ディジタ
ル動画像入力部１により入力された時系列のディジタル
動画像を取込む。次にフレーム間相関極小計算部２は、
取込んだディジタル動画像の隣接する各フレーム間の画
像のパターンの相関をとり、その相関が極小になるフレ
ームの画像を、シーンの切れ目を示すキーフレームの原
画像として検出する。そしてフレーム間相関極小計算部
２は、検出したフレームのフレーム番号を記憶する。

【００２７】以上のフレーム間相関極小計算部２の処理
の詳細を、対象となるディジタル動画像がＲ（赤），Ｇ
（緑），Ｂ（青）の各色からなるカラー画像である場合
を例に、図２のフローチャートを参照して説明する。

【００２８】まずフレーム間相関極小計算部２は、ディ
ジタル動画像の隣接フレーム（ここではフレームＢと次
のフレーム番号のフレームＣであるものとする）の画像
間の差分（即ち差分画像）をＲＧＢ各色について求める
（ステップＳ１）。次にフレーム間相関極小計算部２
は、ＲＧＢ各色について、フレーム間相関の評価値の計
算に使用する値ａ_R ，ａ_G ，ａ_B 、およびｂ_R ，ｂ_G ，
ｂ_B を次のようにして求める。

【００２９】即ちフレーム間相関極小計算部２は、フレ
ーム間の相関の条件となる２種の値のうちの一方の値ａ
（ａ_R ，ａ_G ，ａ_B ）を、 １／（差分画像内の連結領域（変化があった領域）の画
素数（面積）） の計算により求める（ステップＳ２）。またフレーム間
相関極小計算部２は、他方の値ｂ（ｂ_R ，ｂ_G ，ｂ_B ）
を、 １／（差分画像内の最大画素値を持つ画素数×その画素
値） の計算により求める（ステップＳ３）。

【００３０】フレーム間相関極小計算部２は、ＲＧＢ各
色についてフレーム相関の条件となる２種の値ａ
（ａ_R ，ａ_G ，ａ_B ）およびｂ（ｂ_R ，ｂ_G ，ｂ_B ）を
求めると、それらの総和 Σａ＋Σｂ＝ａ_R ＋ａ_G ＋ａ_B ＋ｂ_R ＋ｂ_G ＋ｂ_B を求め、フレーム間相関の評価値（相関評価値）とする
（ステップＳ４）。

【００３１】次にフレーム間相関極小計算部２は、今回
求めたフレーム間（フレームＢ，Ｃ間）の相関評価値と
前回求めたフレーム間（フレームＢの直前のフレームを
Ａとすると、フレームＡ，Ｂ間）の相関評価値との差
が、予め定められたしきい値（スレショルド）より小さ
いか否かを調べる（ステップＳ５）。

【００３２】もし、前フレームとの相関評価値差がしき
い値より小さいならば、フレーム間相関極小計算部２
は、現フレーム（フレームＣ）についてのフレーム間相
関が極小となり、したがって現フレームがシーンの切れ
目のフレームであると判断し、そのフレーム番号を記憶
する（ステップＳ６）。このフレーム番号は、既に記憶
されているフレーム番号（の列）があれば、最も最近に
記憶されたフレーム番号の次の位置に記憶される。

【００３３】フレーム間相関極小計算部２は、ステップ
６を実行すると、あるいはステップＳ５でＮＯを判定す
ると、全フレーム終了か否かを調べ（ステップＳ７）、
終了でなければ、取込んだディジタル動画像から次の
（フレーム番号の）フレーム（例えばフレームＤ）を選
択する（ステップＳ８）。そしてフレーム間相関極小計
算部２は、選択したフレーム（Ｄ）を現フレームとし
て、その直前のフレーム（Ｃ）との間の画像の差分をと
る上記ステップＳ１以降の処理を繰返す。

【００３４】フレーム間相関極小計算部２は、以上の処
理を取込んだディジタル動画像の全フレームについて実
行すると、（時系列順に）記憶した全てのフレーム番号
のフレーム、即ちシーンの切れ目のフレーム（の画像）
をキーフレーム抽出部３に順次入力する。

【００３５】キーフレーム抽出部３内の輪郭検出部３１
は、フレーム間相関極小計算部２にからフレーム（の画
像）が入力されると、その入力フレームを動画像検索用
のキーフレームとして、まずその画像の輪郭を検出し、
その輪郭画像を細線化する。本実施例では、キーフレー
ムの画像の輪郭検出にはソーベルの微分オペレータを使
用し、これをある固定のしきい値で２値化する。このと
きも、前述のようにＲＧＢ各色についての微分２値画像
を求めておき、それら３枚の画像の多数決を求めて輪郭
画像とする。また輪郭画像の細線化には、一般的な３×
３画素のフィルタリングを適用した既存の８近傍細線化
方式を使用する。

【００３６】輪郭検出部３１で求められたキーフレーム
の細線化画像は、ベクトル化部３２に入力される。ベク
トル化部３２は、輪郭検出部３１からキーフレームの細
線化画像が入力される毎に、同画像を次のようにしてベ
クトル化する。

【００３７】まずベクトル化部３２は、細線化画像の画
素列内のうち、端点、分岐点、交差点の各点間にある部
分を直線セグメントと仮定する。次にベクトル化部３２
は、その各直線セグメント上の画素を追跡して、注目画
素とセグメント両端に対する距離についてしきい値処理
を行い、あるしきい値より大きい場合に、注目画素にて
直線セグメントを分割する。

【００３８】ベクトル化部３２は、キーフレームの細線
化画像を以上のように複数の直線セグメント（ショート
ベクトル）で近似（直線近似）し、各直線セグメントの
端点の座標データ（ベクトルデータ）をキーフレームの
グラフィクスデータとしてキーフレーム格納部４に格納
する。

【００３９】またベクトル化部３２は、キーフレーム格
納部４に格納したグラフィクスデータと同データ生成の
基礎となったキーフレームの原画像との対応関係を示す
キーフレーム関係情報をキーフレーム関係データベース
５に格納する。このキーフレーム関係情報は、グラフィ
クスデータ（ベクトルデータ）を識別するためのグラフ
ィクスデータ番号（ベクトル番号）とキーフレームのフ
レーム番号との対を含んでおり、同情報によりグラフィ
クスデータと対応するキーフレームの原画像とがリンク
される。

【００４０】以上のようにして、ディジタル動画像の各
シーンの切れ目のフレーム（であるキーフレーム）の全
てについて、その細線化画像のグラフィクスデータ（ベ
クトルデータ）がキーフレーム格納部４に格納され、対
応するキーフレーム関係情報がキーフレーム関係データ
ベース５に格納されると、検索用キーフレームの自動作
成処理（第１の段階）は終了となる。これにより、第２
の段階であるユーザによるインタラクティブな検索動作
のための処理が可能となる。

【００４１】このユーザによるインタラクティブな検索
動作のための処理の詳細について、図３のフローチャー
トを適宜参照して説明する。まずユーザは、操作パネル
８を操作して、キーフレームを用いたシーン検索を要求
する。これにより動作制御部７は、グラフィクス表示部
６に対してフレーム表示の指示を与える。

【００４２】グラフィクス表示部６は、動作制御部７か
らフレーム表示指示を受けると、キーフレーム関係デー
タベース５を参照して、フレーム番号の小さい順にキー
フレーム格納部４に格納されたキーフレームのグラフィ
クスデータを、例えば１０フレーム分（１０枚）ずつ取
出す（ステップＳ１１）。なお、１０フレーム分に満た
なくなった場合には（残りの）全フレームとなる。

【００４３】次にグラフィクス表示部６は、キーフレー
ム格納部４から取出した１０フレーム分（複数枚）のグ
ラフィクスデータをイメ一ジ化し、ワイヤフレーム表示
することで、ユーザによるフレーム（シーン）選択に供
する（ステップＳ１２）。ここでの表示は、１０フレー
ム分（複数枚）が同時に表示可能なように、縮小表示と
なる。

【００４４】この状態で、ユーザが操作パネル８を操作
して、あるキーフレームのワイヤフレーム画像を選択指
示すると、その旨が動作制御部７からグラフィクス表示
部６に通知される。

【００４５】これによりグラフィクス表示部６は、選択
指示されたワイヤフレーム画像に対応するキーフレーム
のフレーム番号をキーフレーム関係データベース５より
求めて、そのフレーム番号のフレーム（キーフレーム）
から次のキーフレームの直前のフレームまでのフレーム
列をディジタル動画像入力部１から入力し、アフィン変
換して例えば１０フレーム分ずつ縮小表示することで、
ユーザによるシーン検索確認に供する（ステップＳ１
３，Ｓ１４）。ここでも、１０フレーム分に満たなくな
った場合には（残りの）全フレームの縮小表示となる。

【００４６】この状態で、ユーザがシーン検索確認を示
すための操作パネル８の操作を行うと、その旨が動作制
御部７からグラフィクス表示部６に通知され、ユーザに
よるインタラクティブな検索動作のための処理（第２の
段階）は終了となる。ここでは、ユーザは、同一シーン
内画像をフレーム毎に編集（例えばカラー変更）するこ
とができる。

【００４７】一方、ワイヤフレーム画像あるいはフレー
ム原画像が表示された場合にユーザ操作により次候補が
指示されると、グラフィクス表示部６はキーフレーム関
係データベース５を参照して次のキーフレームを選択し
（ステップＳ１５）、この選択したキーフレームについ
て上記したステップＳ１１以降の処理を繰返す。

【００４８】なお、前記実施例では、ディジタル動画像
がカラー画像である場合について説明したが、本発明は
濃淡画像である場合にも応用可能である。また、前記実
施例では、各シーンの切れ目のフレームをキーフレーム
とした場合について説明したが、各イベントの画像列中
の任意のフレームをキーフレームとしても構わない。

【００４９】更に、前記実施例では、キーフレームの原
画像の細線化画像をベクトル化してグラフィクス表示す
るものとして説明したが、キーフレームの原画像をその
まま表示するようにしてもよい。この方式でも、ユーザ
が観察するフレームはキーフレームでよいため、シーン
検索に要する時間と労力は前記実施例と同様、従来方式
に比べて著しく減少する。但し、前記実施例と比較して
高速表示は困難となる。

【００５０】

【発明の効果】以上詳述したように本発明によれば、デ
ィジタル動画像のシーンの切れ目を予め検出して、この
検出した各シーン毎に、そのシーンの画像列中の１フレ
ームを検索用キーフレームとして抽出しておき、ユーザ
が上記の動画像を編集しようとする際には、先に抽出し
ておいたキーフレームを画面表示する構成としたので、
ユーザは上記の動画像の全てのフレームを観察しなくて
も、編集対象としたいシーンを簡単に且つ高速に検索す
ることができる。この結果、シーン内の画像をフレーム
毎に編集するという動画像編集を容易にすることができ
る。特に、シーン内の１フレームに対するのと同様の処
理をシーン単位に行う機能と組合せることにより、シー
ン毎の編集をインタラクティブに、しかも高速に行うこ
とが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例を示すブロック構成図。

【図２】図１のフレーム間相関極小計算部２の処理手順
を示すフローチャート。

【図３】図１のグラフィクス表示部６の処理手順を示す
フローチャート。

【符号の説明】

１…ディジタル動画像入力部、２…フレーム間相関極小
計算部、３…キーフレーム抽出部、４…キーフレーム格
納部、５…キーフレーム関係データベース、６…グラフ
ィクス表示部、７…動作制御部、８…操作パネル、３１
…輪郭検出部、３２…ベクトル化部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/13 Ｚ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 連続した複数のフレームからなるディジ
   タル動画像のシーンの切れ目を検出する検出手段と、 この検出手段によって検出された各シーン毎に、そのシ
   ーンの画像列中の１フレームを検索用キーフレームとし
   て抽出するキーフレーム抽出手段と、 を具備し、前記キーフレーム抽出手段によって抽出され
   たキーフレームを画面表示して、利用者による前記ディ
   ジタル動画像中の任意のシーンの検索に供するようにし
   たことを特徴とする動画像検索支援方式。
2. 【請求項２】 連続した複数のフレームからなるディジ
   タル動画像のシーンの切れ目を検出する検出手段と、 この検出手段によって検出された各シーン毎に、そのシ
   ーンの画像列中の１フレームを検索用キーフレームとし
   て抽出し、そのキーフレームの輪郭画像をベクトル化す
   るキーフレーム抽出手段と、 を具備し、前記キーフレーム抽出手段によって抽出され
   たキーフレームのベクトル化データをグラフィクス表示
   して、利用者による前記ディジタル動画像中の任意のシ
   ーンの検索に供するようにしたことを特徴とする動画像
   検索支援方式。
3. 【請求項３】 前記検出手段は、前記ディジタル動画像
   中の隣接する各フレーム間の画像のパターンの相関をと
   り、その相関が極小になるフレームをシーンの切れ目の
   フレームとして検出することを特徴とする請求項１また
   は請求項２記載の動画像検索支援方式。