JPH06110942A - 映像インデックス作成装置 - Google Patents

Abstract

(57)【要約】 【目的】ビデオカメラ等で撮影した映像の内容を、非効
率な作業を行なうことなく容易に管理することを可能に
する。 【構成】処理対象とする映像を蓄積及び管理する映像素
材管理部１２と、映像素材管理部１２に蓄積された映像
をフレーム単位で読み込み、複数枚分のフレーム画像を
格納するためのフレームバッファ１４と、フレームバッ
ファ１４に格納された複数枚のフレーム画像を用いて、
映像中のシーン中の特徴的なフレーム画像である特定フ
レーム画像を検出する処理部２０と、処理部２０によっ
て検出された特定フレーム画像を、シーンを示す映像イ
ンデックスとして、表示部１６に表示させる映像インデ
ックス作成部２４を具備して構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば撮影した映像の
内容を把握するための映像インデックスを作成して表示
する映像インデックス作成装置に関する。

【０００２】

【従来の技術】従来、ビデオカメラ等で撮影した映像を
編集する際、あるいは撮影した映像から必要な部分のみ
を抽出する際には、必要な箇所がビデオテープのどこに
録画されているか不明であるため、ビデオテープの映像
を最初から見ていき必要な箇所を探索するという作業が
必要であった。

【０００３】また、映像中のシーンの切換わり目を検出
し、映像をシーン毎に切り分け、各シーンの先頭のフレ
ーム画像を、このシーンを代表するフレーム画像として
インデックス表示するという方法もある。しかしなが
ら、この方法によるインデックス表示が、各シーンの先
頭フレーム画像が必ずしも、このシーンを代表するよう
な画像であるとは限らないため、映像の内容を把握する
のには不十分であった。

【０００４】

【発明が解決しようとする課題】このように従来では、
ビデオカメラ等で撮影した映像から必要なシーンを探索
するためにビデオテープの最初から映像を見て、確認す
る作業を必ず行なわなければならなかった。

【０００５】また、各シーンの先頭のフレーム画像を検
出し、シーンを代表するフレーム画像として表示する方
法もあるが、必ずしもシーンの先頭フレームが該シーン
を代表するフレーム画像ではないため、インデックスの
役割を十分に果たすものではなかった。

【０００６】本発明は前記のような点に鑑みてなされた
もので、ビデオカメラ等で撮影した映像の内容を、非効
率な作業を行なうことなく容易に管理することが可能な
映像インデックス作成装置を提供することを目的とす
る。

【０００７】

【課題を解決するための手段】本発明は、処理対象とす
る映像を蓄積及び管理する映像素材管理手段と、前記映
像素材管理手段に蓄積された映像をフレーム単位で読み
込み、複数枚分のフレーム画像を格納するためのフレー
ム画像格納手段と、前記フレーム画像格納手段に格納さ
れた複数枚のフレーム画像を用いて、前記映像中のシー
ン中の特徴的なフレーム画像である特定フレーム画像を
検出する特定フレーム画像検出手段と、前記特定フレー
ム画像検出手段によって検出された特定フレーム画像
を、シーンを示す映像インデックスとして表示する映像
インデックス表示手段とを具備して構成するものであ
る。

【０００８】

【作用】このような構成によれば、映像を管理するため
の映像インデックスを、単純にシーンの先頭フレームと
するのではなく、特徴的なフレーム画像かが検出されて
表示されるので、映像の管理が容易となる。

【０００９】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。図１は本実施例に係わる映像インデックス作成
装置の構成を示すブロック図である。図１に示すよう
に、映像インデックス作成装置は、制御部１０、映像素
材管理部１２、フレームバッファ１４、表示部１６、メ
モリ部１８、処理部２０、判定部２２、及び映像インデ
ックス生成部２４によって構成されている。

【００１０】制御部１０は、装置全体の制御を司るもの
である。映像素材管理部１２は、ビデオカメラで撮影し
た映像などの映像素材を蓄積及び管理するものである。
フレームバッファ１４は、映像素材管理部１２に蓄積さ
れた映像をフレーム単位で読み込み、複数フレーム分の
フレーム画像を蓄積するためのものである。

【００１１】表示部１６は、フレームバッファ１４に蓄
積されたフレーム画像を表示するものである。メモリ部
１８は、後述する処理部２０及び判定部２２における処
理結果等を蓄積するためのものである。

【００１２】処理部２０は、フレームバッファ１４に格
納されたフレーム画像内、あるいは複数のフレーム間で
の画像処理を行なうもので、輝度画像の検出、変化領域
の抽出、変化領域中の所定の値以上の画素の数のカウン
ト、代表静止フレームの検出等を実行するものである。

【００１３】判定部２２は、フレーム画像が静止フレー
ム画像であるか否かを判定するものである。映像インデ
ックス生成部２４は、処理部２０によって検出された代
表静止フレームが映像インデックスの表示様式に合わせ
て表示されるように、フレームバッファ１４にフレーム
画像を格納するものである。

【００１４】次に、本実施例の動作について図２乃至図
４に示すフローチャートを参照しながら説明する。ここ
では、特定フレーム画像を、所定時間以上フレーム内に
移動するものがないフレーム（静止画フレーム）が連続
して存在する連続フレームから検出するものとして説明
する。

【００１５】まず、映像素材管理部１２からインデック
ス作成の処理対象となる映像中の先頭フレームであるｎ
番目のフレーム画像（ｎ番目の原画像）をフレームバッ
ファ１４に格納する（ステップ１１０）。ここで、処理
対象となる映像は、１シーンで構成されても良いし、複
数のシーンで構成されても良い。フレームバッファ１４
に格納されたフレーム画像は、メモリ部１８に転送さ
れ、処理部２０における処理に供される。

【００１６】処理部２０は、メモリ部１８を介して得ら
れる所定の処理単位毎、あるいはフレーム単位で、ｎ番
目のフレーム画像の輝度画像を求める（ステップ１０
１）。処理単位は、例えばライン単位、ブロック単位と
する。ブロックは、１フレームが５１２×５１２のサイ
ズの場合に、１２８×１２８のブロックに分割するなど
して決定する。処理部２０によって求められた輝度画像
は、メモリ部１８を介してフレームバッファ１４に格納
される（ステップ１０２）。

【００１７】次に、ｎ＋１番目のフレーム画像（ｎ＋１
番目の原画像）をフレームバッファ１４に格納する（ス
テップ１０３）。同様にして、処理部２０は、メモリ部
１８を介して得られる所定の処理単位毎、あるいはフレ
ーム単位で、ｎ＋１番目のフレーム画像の輝度画像を求
める（ステップ１０４）。処理部２０によって求められ
た輝度画像は、メモリ部１８を介してフレームバッファ
１４に格納される（ステップ１０５）。

【００１８】次に、ｎ＋２番目のフレーム画像（ｎ＋２
番目の原画像）をフレームバッファ１４に格納する（ス
テップ１０６）。同様にして、処理部２０は、メモリ部
１８を介して得られる所定の処理単位毎、あるいはフレ
ーム単位で、ｎ＋２番目のフレーム画像の輝度画像を求
める（ステップ１０７）。処理部２０によって求められ
た輝度画像は、メモリ部１８を介してフレームバッファ
１４に格納される（ステップ１０８）。

【００１９】ステップ１０２，１０５，１０８において
輝度画像をフレームバッファ１４に格納する際、各原画
像とそれぞれに対応する輝度画像は、同一のフレームバ
ッファに格納しても良いし、別々のフレームバッファに
格納しても良い。

【００２０】ｎ番目、ｎ＋１番目の輝度画像が得られる
と、輝度画像生成と同時に、処理部２０に両輝度画像デ
ータが転送される。処理部２０は、ｎ＋１番目の輝度画
像とｎ番目の輝度画像との差分をとり、ｎ番目の輝度画
像から変化したｎ＋１番目の輝度画素の領域（変化領
域）を抽出する（ステップ１０９）。さらに、処理部２
０は、抽出された変化領域中の画素で、所定の値以上の
画素の数Ｓ１をカウントし（ステップ１１０）、Ｓ１の
値をメモリ部１８に蓄積する（ステップ１１１）。

【００２１】同様にして、ｎ＋１番目、ｎ＋２番目の輝
度画像が得られると、処理部２０は、ｎ＋２番目の輝度
画像とｎ＋１番目の輝度画像との差分をとり、ｎ＋１番
目の輝度画像から変化したｎ＋２番目の輝度画素の領域
（変化領域）を抽出する（ステップ１１２）。さらに、
処理部２０は、抽出された変化領域中の画素で、所定の
値以上の画素の数Ｓ２をカウントし（ステップ１１
３）、Ｓ２の値をメモリ部１８に蓄積する（ステップ１
１４）。

【００２２】次に、メモリ部１８に蓄積された画素数Ｓ
１，Ｓ２が判定部２２に転送される（ステップ１１
５）。判定部２２は、画素数Ｓ１，Ｓ２との差Ｓ１２を
求め、Ｓ１２と予め設定されたしきい値とを比較し（ス
テップ１１６）、この比較結果に基づいてｎ＋１番目の
フレーム画像が、静止フレームであるか否かを判定する
（ステップ１１７）。

【００２３】ステップ１１７において、判定部２２がＳ
１２の値から静止フレームでないと判定した場合、処理
部２０は、静止フレームのカウントをリセットし（ステ
ップ１１８）、最終フレームまで処理が終了したか判別
する（ステップ１２１）。最終フレームまで処理が終了
していなかった場合に、処理部２０は、ｎ＋１番目のフ
レーム画像をｎ番目のフレーム画像として（ステップ１
２２）、ステップ１００から再度処理を行なう。

【００２４】ステップ１１７において、判定部２２がＳ
１２の値から静止フレームであると判定した場合、処理
部２０は、対象となったｎ＋１番目のフレーム画像のフ
レーム番号と該当するＳ１２の値を対でメモリ部１８に
格納する。さらに処理部２０は、フレーム画像数をカウ
ントし、カウント数と予め設定された所定のしきい値と
を比較する（ステップ１１９）。カウント数がしきい値
を越えた場合、処理部２０は、これを静止フレーム群と
し、静止フレーム群中最も変化が少なかったフレーム、
すなわち最も小さいＳ１２の値を持つｎ＋１番目のフレ
ーム番号のフレーム画像を、静止フレーム群の代表静止
フレーム（特定フレーム画像）として検出する。処理部
２０は、代表静止フレームのフレーム番号をメモリ部１
８に順次格納する（ステップＳ１２０）。

【００２５】最終フレームまでの処理が終了すると、映
像インデックス生成部２４は、映像インデックスの表示
様式に合わせて、メモリ部１８に格納された代表静止フ
レームのフレーム番号に該当するフレーム画像を映像素
材管理部１２から読出し、フレームバッファ１４にレイ
アウトして格納させる（ステップ１２３）。この時、必
要であればメモリ部１８を介して処理部２０においてフ
レーム画像を縮小してフレームバッファ１４にレイアウ
トとして記録しても良い。表示部１６においてフレーム
バッファ１４に格納された代表静止フレームのデータを
出力表示することにより、利用者に映像インデックスを
提供する（ステップ１２４）。

【００２６】以上、本発明の一実施例について説明した
が、本発明は映像の内容を容易に把握するために、映像
インデックスを表示する際などに、シーンの切換わりを
検出し、シーンを代表するフレーム画像をシーンが切り
替わった直後のフレーム画像ではなく、シーン内の映像
内容を反映するような特定のフレーム画像を代表フレー
ム画像とするものであり、前記実施例に限定されるもの
ではない。

【００２７】例えば、前記実施例では輝度画像を抽出し
ているが、輝度画像でなくても原画像のまま、あるいは
原画像を適当なしきい値で２値化した２値化画像の差分
をとっても良いし、ｎ番目とｎ＋１番目のフレーム画像
あるいは、ｎ＋１番目とｎ＋２番目のフレーム画像のフ
レーム間差分を対象としなくても、適当な間隔のフレー
ム間差分であっても良い。

【００２８】さらに、映像中の特定フレーム画像を、静
止フレーム画像ではなく、例えば文字（展示会などのブ
ースに書かれている会社名、製品説明用のパネルなど）
が映っているフレーム画像としても良いし、それらの特
徴の組み合わせ、例えば静止フレーム画像であり、かつ
文字フレームというようなフレーム画像でも良い。

【００２９】さらに、映像インデックスとして、特定フ
レーム画像を表示する際に、検出した特定フレーム画像
のフレーム番号を特定フレームの種類別でメモリ部１８
に（例えば、静止フレームとして検出されたフレーム番
号と、文字が映っているフレームとして検出されたフレ
ーム番号を区別して）格納することにより、利用者の目
的に合わせた特定フレーム画像を映像インデックスとし
て表示するようにしても良い。

【００３０】文字フレームの検出には、例えば、展示会
などで使用される説明パネルを撮影した場合、パネル内
の文字と、文字の背景とは通常文字を読みやすくするた
めに輝度レベルの差が大きくしてあることを利用する。
輝度レベルの高い部分を“０”、低い部分を“１”とな
るようにフレーム画像の輝度画像を所定のしきい値で２
値化する。この２値画像中で“１”に値をもつ画素の割
合が全体の画素数の所定の割合以上のとき、対象となっ
たフレーム画像は文字を映したものであると判別するよ
うにしても良いし、あるいは、“１”の値を持つ画素の
連結領域を検出し、この連結領域の並び具合から、文字
フレームを検出するようにしても良い。また、「電子情
報通信学会技術研究報告 ＰＲＵ（パターン認識・理
解）vol.88No.24 pp.47〜52」に記述されているような
手法によっても映像中からの文字フレームの検出は可能
である。また、特定フレームの検出対象は、全画像中で
も、各シーン中からでも良い。

【００３１】

【発明の効果】以上のように本発明によれば、対象とす
る映像の内容を最も良く表しているフレーム画像を、そ
の映像インデックスとして表示することにより、映像イ
ンデックスを見ることで容易に映像の内容をより良く把
握することが可能となり、必要とする映像部分を効率良
く探索することができるものである。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる映像インデックス作
成装置の構成を示すブロック図。

【図２】図１に示す映像インデックス作成装置の動作を
説明するためのフローチャートの一部を示す図。

【図３】図１に示す映像インデックス作成装置の動作を
説明するためのフローチャートの一部を示す図。

【図４】図１に示す映像インデックス作成装置の動作を
説明するためのフローチャートの一部を示す図。

【符号の説明】

１０…制御部、１２…映像素材管理部、１４…フレーム
バッファ、１６…表示部、１８…メモリ部、２０…処理
部、２２…判定部、２４…映像インデックス生成部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 処理対象とする映像を蓄積及び管理する
   映像素材管理手段と、 前記映像素材管理手段に蓄積された映像をフレーム単位
   で読み込み、複数枚分のフレーム画像を格納するための
   フレーム画像格納手段と、 前記フレーム画像格納手段に格納された複数枚のフレー
   ム画像を用いて、前記映像中のシーン中の特徴的なフレ
   ーム画像である特定フレーム画像を検出する特定フレー
   ム画像検出手段と、 前記特定フレーム画像検出手段によって検出された特定
   フレーム画像を、シーンを示す映像インデックスとして
   表示する映像インデックス表示手段と、 具備したことを特徴とする映像インデックス作成装置。
2. 【請求項２】 前記特定フレーム画像検出手段は、 所定の条件に基づいて連続するフレーム画像からなるフ
   レーム画像群を検出し、このフレーム画像群中から１フ
   レームを特定フレーム画像として検出することを特徴と
   する請求項１記載の映像インデックス作成装置。
3. 【請求項３】 前記特定フレーム画像検出手段によって
   検出される特定フレーム画像中には、文字に対応する画
   像が含まれることを特徴とする請求項１または請求項２
   記載の映像インデックス作成装置。