JP3128378B2 - 映像インデックス作成装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオカメラ等によっ
て撮影した映像の内容を把握するための映像インデック
スを作成して表示する映像インデックス作成装置に関す
る。

【０００２】

【従来の技術】従来、ビデオカメラ等で撮影した映像を
編集する際、あるいは撮影した映像から必要な部分のみ
を抽出する際には、必要な箇所がビデオテープのどこに
録画されているか不明であるため、ビデオテープの映像
を最初から映ていき必要な箇所を探索するという作業が
必要であった。

【０００３】また、映像中のシーンの切り変り目を検出
し、映像をシーンごとに切り分け、各シーンの先頭のフ
レーム画像を、このシーンを代表するフレーム画像とし
てインデックス表示するという方法もある。

【０００４】しかしながら、この方法によるインデック
ス表示は、各シーンの先頭フレーム画像が必ずしも、シ
ーンを代表するような画像であるとは限らないため、映
像の内容を把握するには不十分であった。

【０００５】

【発明が解決しようとする課題】このように従来では、
ビデオカメラ等で撮影した映像から、必要なシーンを探
索するためにビデオテープの最初から映像を見て、確認
するという作業を必ず行わなければならなかった。

【０００６】また、各シーンの先頭のフレーム画像を検
出し、シーンを代表するフレーム画像として表示する方
法もあるが、必ずしもシーンの先頭フレームがシーンを
代表するフレーム画像ではないため、インデックス画像
の役割を十分に果たすものではなかった。

【０００７】本発明は前記のような点に鑑みてなされた
もので、映像の内容を把握するのに有効なフレーム画像
を確実に検出して映像インデックスを作成することによ
り、非効率な作業を軽減し、容易に映像内容を把握する
ことが可能な映像インデックス作成装置を提供すること
を目的とする。

【０００８】

【課題を解決するための手段】本発明は前述のような問
題点を解決するために、処理対象とする映像をフレーム
画像単位で記録するためのフレーム画像記録手段と、前
記フレーム画像記録手段によって記録されたフレーム画
像から輝度画像を生成する輝度画像生成手段と、前記輝
度画像生成手段によって生成されたフレーム画像の輝度
画像から所定の特徴量を抽出して特徴画像を生成する特
徴画像生成手段と、前記特徴画像生成手段によって生成
された時間的に前後する複数の特徴画像を比較し、この
比較結果に基づいて、相関関係がある連続した複数の画
像からなる静止フレーム群を検出する静止フレーム群検
出手段と、前記静止フレーム群検出手段によって検出さ
れた静止フレーム群から、同静止フレーム群を代表する
静止フレームを検出する代表静止フレーム検出手段とを
具備し、前記代表静止フレーム検出手段によって検出さ
れた静止フレームを映像インデックスとすることを特徴
とする。また、前記特徴画像生成手段は、フレーム画像
の輝度画像からエッジ情報を特徴量として抽出すること
を特徴とする。また、前記静止フレーム群検出手段は、
相関関係がある連続した複数の画像が所定の時間分ある
場合に、静止フレーム群と判別することを特徴とする。
さらに、前記静止フレーム群中の時間的に前の画像と最
も相関関係のある画像を、同静止フレーム群を代表する
静止フレームとすることを特徴とする。

【０００９】

【作用】このような構成によれば、映像の内容を最も良
く表わしていると思われる所定時間以上、あるいはフレ
ーム内の所定の割合以上同一の被写体が複数フレーム連
続して撮影されている連続フレームを静止フレーム群と
し、この静止フレーム群中の１フレームが代表静止フレ
ームとして検出し映像のインデックスとして使用され
る。このため、より容易に映像の内容を把握することが
可能となる。

【００１０】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。図１は本実施例に係わる映像インデックス作成
装置の構成を示すブロック図である。図１に示すよう
に、映像インデックス作成装置は、映像管理部１、フレ
ームバッファ２、輝度画像生成部３、ノイズ除去部４、
特徴画像生成部５、手ぶれ影響軽減部６、静止フレーム
群検出部７、静止フレーム検出部８、画像メモリ９、及
び制御部１０によって構成されている。

【００１１】映像管理部１は、ビデオカメラ等によって
撮影した映像などの映像素材を蓄積及び管理するもので
ある。フレームバッファ２は、映像管理部１に蓄積され
た映像を１フレーム単位で読み込み、複数フレーム分の
フレーム画像を蓄積するためのものである。

【００１２】輝度画像生成部３は、フレームバッファ２
に蓄積された各フレーム画像をもとに、輝度画像を生成
するものである。ノイズ除去部４は、輝度画像生成部３
によって生成された輝度画像からノイズ成分を除去する
ものである。

【００１３】特徴画像生成部５は、ノイズ除去部４によ
ってノイズ除去された輝度画像から特徴量を抽出し、特
徴画像を生成するものである。手ぶれ影響軽減部６は、
特徴画像生成部５によって生成された特徴画像から、映
像の撮影時における手ぶれによる影響を軽減するするた
めの処理を行なうものである。

【００１４】静止フレーム群検出部７は、複数のフレー
ム画像間で処理結果の比較を行なうことにより、静止フ
レーム群（詳細について後述する）を検出する。静止フ
レーム検出部８は、静止フレーム群検出部７によって検
出された静止フレーム群の中から、代表となる静止フレ
ームを検出するものである。

【００１５】画像メモリ９は、ノイズ除去画像、輝度画
像、特徴画像などの画像情報を記録するもので、複数の
画像情報を記録することができる容量をもつ。制御部１
０は、映像インデックス作成装置全体の制御を行なうも
ので、前述した各部に制御指示を出力する。

【００１６】次に、本実施例の動作説明を行なう前に、
本実施例で扱う静止フレーム群、及び静止フレームにつ
いて図２を用いて説明する。静止フレーム群とは、例え
ばビデオカメラで撮影しているような場合に、ある被写
体を注視して撮影したような箇所、つまり連続した映像
中でフレーム間の変化が少ない（所定値以下）静止区間
部分の連続したフレーム群のことを示している。

【００１７】代表となる静止フレームとは、静止フレー
ム群中から検出された、静止フレーム群を代表する１枚
のフレーム画像である。従って、静止フレームは、シー
ン変化点とは関係がない。本発明では、この静止フレー
ムを映像インデックスとして検出する。

【００１８】また、代表となる静止フレームは、検出さ
れた全ての静止フレーム群から検出されるものではな
く、フレーム間の変化が所定値以下の状態が所定時間以
上継続する静止フレーム群のみを、連続映像中で静止し
て一定時間以上同一被写体を注視して撮影したと判別し
て、該当静止フレーム群からのみ検出される。次に、本
実施例における静止フレーム検出の動作について、図３
及び図４に示すフローチャートを参照しながら説明す
る。

【００１９】検出対象となる連続する映像は、映像管理
部１において、静止フレーム検出の範囲の単位、例えば
全映像単位あるいは予め映像中のシーン変化点を検出
し、検出されたシーン変化点から次のシーン変化点まで
のシーン変化点までの１シーン単位で管理される。

【００２０】映像中のシーン変化点の検出については、
フレーム間の輝度情報の変化をもとにして行なう方法が
ある。この方法では、まず映像中の処理対象の最初のフ
レーム画像をｎ１番のフレーム画像（原画像）とし、次
のフレーム画像であるｎ１＋１番のフレームをｎ２とす
る（ステップＳ１）。さらに、処理する対象フレーム番
号をｎとした際に、最初にｎ＝ｎ１（処理スタートは番
号）として処理を行なう（ステップＳ２）。

【００２１】まず、ｎ番（ここではｎ１）のフレーム画
像がフレームバッファ２に記録され（ステップＳ３）、
フレーム単位あるいは所定の処理単位ごとに輝度画像生
成部３に画像データが転送される。輝度画像生成部３
は、転送された画像データについて輝度データを計算し
て求め、輝度画像を生成する（ステップＳ４）。この輝
度画像は、画像メモリ９に記録される（ステップＳ
５）。輝度画像生成部３における輝度データ（Ｙ）の算
出方法としては、例えば、原画像のＲ、Ｇ、Ｂデータを
もとに、 Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ …（１） として求める方法などがある。

【００２２】さらに、画像メモリ９に記録された輝度画
像データは、フレーム単位あるいは所定の処理単位ごと
にノイズ除去部４に転送される。ノイズ除去部４は、輝
度画像のノイズ成分を除去し（ステップＳ６）、再度画
像メモリ９にノイズ除去によって得られた輝度画像（ノ
イズ除去画像）を記録する（ステップＳ７）。ノイズ除
去部４におけるノイズ除去の方法として、例えば、画像
データを所定の範囲で平均化することにより微小なノイ
ズ成分を除去する方法がある。

【００２３】次に、画像メモリ９に記録されたｎ番のノ
イズ除去後の輝度画像は、フレーム単位あるいは所定の
処理単位ごとに特徴画像生成部５に転送される。特徴画
像生成部５は、画像の特徴量を抽出し（ステップＳ
８）、特徴画像として画像メモリ９に記録する（ステッ
プＳ９）。

【００２４】本実施例では、特徴画像生成部５で扱う輝
度画像の特徴量として、画像のエッジ情報を用いる。画
像のエッジ情報の抽出手段としては、例えば、図５
（ａ）に示すようなフィルタを用いて、垂直方向のエッ
ジ情報を抽出する方法や、図５（ｂ）に示すようなフィ
ルタを用いて、水平方向のエッジ情報を抽出する方法、
図５（ａ）及び図５（ｂ）の両方のフィルタを用いて垂
直方向、水平方向のエッジ情報をそれぞれ抽出し、それ
ぞれの結果を足し合わせることにより両垂直、水平方向
のエッジ情報を抽出する方法などがある。その他、図５
（ｃ），（ｄ）に示すようなフィルタ（ラプラシアンフ
ィルタ）を用い、画像のエッジ情報を抽出する方法もあ
る。

【００２５】次に、特徴量が抽出された特徴画像データ
は、フレーム単位あるいは所定の処理単位で、手ぶれ影
響軽減部６に転送される。手ぶれ影響軽減部６は、後段
での静止フレーム検出の際に悪影響となる撮影時での手
ぶれの影響を軽減し（ステップＳ１０）、再度画像メモ
リ９に手ぶれ影響軽減後の特徴画像を記録する（ステッ
プＳ１１）。

【００２６】手ぶれ影響軽減部６における手ぶれの影響
を軽減させる方法として、例えば、特徴画像を所定のブ
ロックに分割し、そのブロックごとに平均化する方法な
どがある。

【００２７】以上、原画像をフレームバッファ２に記録
し、輝度画像再生、ノイズ成分の除去、特徴画像生成、
手ぶれ影響軽減までの処理をｎ＝ｎ２として、ｎ２番
（ｎ１＋１番）のフレーム画像に対して同様に行なう
（ステップＳ１２，Ｓ１３）。

【００２８】なお、前記実施例では、各画像データを画
像メモリに記録するようにしたが、各原画像に対する各
種処理画像データは別々の画像メモリに記録しても良い
し、最終的にｎ１番、ｎ２番の手ぶれの影響を軽減した
特徴画像データが残っていれば同一の画像メモリに記録
しても良い。また、フレームバッファ２を画像メモリと
して処理画像を記録するようにしても良い。

【００２９】こうして、一組のｎ１番、ｎ２番の手ぶれ
影響軽減後の特徴画像が求められると、ｎ１番の手ぶれ
影響軽減後の特徴画像とｎ２番の手ぶれ影響軽減後の特
徴画像の画像データは、フレーム単位あるいは所定処理
単位ごとに静止フレーム群検出部７に転送される。静止
フレーム群検出部７は、ｎ１番の手ぶれ影響軽減後の特
徴画像とｎ２番の手ぶれ影響軽減後の特徴画像を比較す
ることにより（ステップＳ１４）、静止フレームの判定
を行なう。

【００３０】すなわち、静止フレーム群検出部７では、
例えば、ｎ１番の手ぶれ影響軽減後の特徴画像とｎ２番
の手ぶれ影響軽減後の特徴画像とが、どの位似ているか
を相関係数を計算することでそれぞれのフレーム画像が
どの程度似ているかを比較する。

【００３１】ここで、ｎ１番の特徴画像をＸ＝（ｘ₁ ，
ｘ₂ ，…，ｘ_n ）、ｎ２番の特徴画像をＹ＝（ｙ₁ ，ｙ
₂ ，…，ｙ_n ）とすると、特徴画像Ｘ，Ｙの相関係数
（ｒ）は次式（２）により求めることができる。

【００３２】

【数１】

【００３３】ここで、ａｖｅｘ，ａｖｅｙはそれぞれ
ｘ，ｙの平均値であり、ｓｘ，ｓｙはそれぞれｘ，ｙの
標準偏差である。また、標準偏差（ｓ）は分散（ｓ² ）
の平方根であり、分散（ｓ² ）は次式（３）により求め
ることができる。

【００３４】

【数２】

【００３５】あるいは、ｎ番目の手ぶれ影響軽減後の特
徴画像とｎ＋１番目の手ぶれ影響軽減後の特徴画像の差
を求め、その値からそれぞれのフレーム画像がどの程度
変化したかを検出する。

【００３６】静止フレーム群検出部７は、ｎ１番とｎ２
番の特徴画像の比較結果から、ｎ１番あるいはｎ２番の
フレーム画像が静止フレームであるかどうかを判定する
（ステップＳ１５）。

【００３７】判定の方法には、例えば、２枚の手ぶれの
影響を軽減した特徴画像間の相関係数を算出し、その値
が所定の閾値以上であるような場合、２枚の画像は十分
に似ていると判定し、静止フレームであると判別する。
または、２枚の手ぶれの影響を軽減した特徴画像間の差
を検出し、差の値が所定の閾値以下であるような場合、
２枚の画像間では変化がないとして静止フレームである
と判別する。

【００３８】静止フレーム群検出部７は、静止フレーム
と判別された特徴画像の原画像のフレーム番号と、対応
する比較結果の数値、例えば、相関係数の値を記録して
おく（ステップＳ１６）。

【００３９】この時、比較した２枚の特徴画像の原画像
のフレーム番号を２つとも記録する必要はなく、ｎ１番
あるいはｎ２番の原画像の何れを記録するかを決めてお
き、決めておいた一方の原画像のフレーム番号を記録す
れば良い。また、静止フレーム群中の静止フレーム数を
カウントアップして記録する（ステップＳ１７）。

【００４０】以上のような処理を（ステップＳ２〜Ｓ１
７）、ｎ１を前回ｎ２であったフレーム画像のフレーム
番号として（ｎ１＝ｎ２）、ｎ２を前回ｎ２であったフ
レーム画像の次のフレーム画像のフレーム番号（現在の
ｎ１の次のフレーム番号、ｎ２＝ｎ１＋１）として最終
フレーム番号まで一組づつ行なう（ステップＳ１８，Ｓ
１９）。

【００４１】この間、静止フレーム群検出部７は、連続
して静止フレームと判別されたフレーム画像の数を同一
静止フレーム群中の静止フレーム数としてカウントして
おき（ステップＳ１７）、静止フレームと判定されたフ
レーム画像のフレーム番号が前回検出された静止フレー
ムのフレーム番号と連続している場合、これらは１つの
静止フレーム群であると判別する。

【００４２】静止フレーム群検出部７は、ステップＳ１
５において、連続する次のフレーム番号のフレーム画像
が静止フレームではないと判定した場合に、静止フレー
ム群のフレーム番号、比較結果の数値、及び静止フレー
ム群中の処理フレーム数とを静止フレーム検出部８に転
送する。

【００４３】静止フレーム検出部８は、静止フレーム群
中の処理フレーム数よりその静止フレーム群がどの位の
時間継続しているかを算出し（ステップＳ２０）、この
継続時間に基づいて、静止フレーム群から代表とする静
止フレームを検出すべきか否かを判別する（ステップＳ
２１）。

【００４４】静止フレーム群の継続時間が充分であり、
この静止フレーム群が連続映像中で十分に静止して撮影
されたものであると判別された場合（ステップＳ２
１）、静止フレーム検出部８は、静止フレーム群中の各
フレーム番号に対応する比較値より、最も静止している
と判別されるフレーム番号を検出し、このフレーム番号
のフレーム画像を静止フレーム群を代表とする静止フレ
ーム（代表静止フレーム）として検出する（ステップＳ
２２）。

【００４５】ここで、静止フレーム群中から最も静止し
ていると判別される静止フレーム画像の検出は、例え
ば、静止フレーム群検出部７における比較値が、相関係
数の値である場合には静止フレーム群中で最も大きい相
関係数の値に対応するフレーム番号を最も静止している
と静止フレームのフレーム番号であると判別し、静止フ
レーム群を代表する静止フレームとして検出する。

【００４６】また、静止フレーム検出部８は、必ずし
も、静止フレーム群中から代表とする静止フレームのフ
レーム番号に対応するフレーム画像を連続映像中から検
出する必要はなく、代表とする静止フレーム番号を検出
するのみでも良い。

【００４７】このようにして、映像中から静止フレーム
群を映像中の特徴的な部分であるとして検出し、この静
止フレーム群から代表静止フレームを検出して映像イン
デックスとすることができるので、映像の内容把握が容
易となる。また、、静止フレームが所定時間以上の継続
している場合に、静止フレーム群と判別するので、効果
的な代表静止フレームを検出することができる。さら
に、代表静止フレームは、最も静止していると判別され
るフレーム画像が選択されるので確実である。

【００４８】以上、本発明の一実施例について説明した
が、本発明は、撮影時に注視して撮影した映像の部分は
撮影者が重要であると判別したものであるということか
ら、十分な継続時間を有する静止フレーム群から、同静
止フレーム群を代表する静止フレームを検出し、そのフ
レーム画像を映像を把握するためのインデックス表示な
どに利用するもので、前記実施例に限定されるものでは
ない。

【００４９】例えば、前述のｎ１番のフレーム画像とｎ
２番のフレーム画像との比較のように連続する次のフレ
ーム画像との比較ではなく、例えば、１０フレーム毎の
ように一定の間隔でフレーム画像をサンプリングし静止
フレーム検出を行っても良い。

【００５０】その際、同一静止フレーム群中の静止フレ
ームであるか否かの判定、検出された静止フレーム群の
静止持続時間などは、フレーム画像のサンプリング間隔
を考慮して計算されなければならないことはいうまでも
ない。

【００５１】また、静止フレームの検出は、全映像を対
象としても、予め検出した映像中のシーン変化点から次
のシーン変化点までの１シーン単位を対象として行なっ
ても良い。要するに本発明は、その要旨を逸脱しない範
囲で種々変更して実施することができる。

【００５２】

【発明の効果】以上のように本発明によれば、映像を編
集する際などで映像の内容を把握するのに有用な、撮影
者が撮影時に注視して撮影したような静止フレームを確
実に映像インデックスとして検出することができるの
で、非効率な作業を軽減し、容易に映像内容を把握する
ことが可能となるものである。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる映像インデックス生
成装置の構成を示すブロック図。

【図２】本実施例で扱われる静止フレームを説明するた
めの図。

【図３】本実施例における静止フレーム検出の動作の一
部を説明するためのフローチャート。

【図４】本実施例における静止フレーム検出の動作の一
部を説明するためのフローチャート。

【図５】エッジ情報抽出のための各種フィルタを示す
図。

【符号の説明】

１…映像管理部、２…フレームバッファメモリ、３…輝
度画像生成部、４…ノイズ除去部、５…特徴画像生成
部、６…手ぶれ影響軽減部、７…静止フレーム群検出
部、８…静止フレーム検出部、９…画像メモリ、１０…
制御部。

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 処理対象とする映像をフレーム画像単位
   で記録するためのフレーム画像記録手段と、 前記フレーム画像記録手段によって記録されたフレーム
   画像から輝度画像を生成する輝度画像生成手段と、 前記輝度画像生成手段によって生成されたフレーム画像
   の輝度画像から所定の特徴量を抽出して特徴画像を生成
   する特徴画像生成手段と、 前記特徴画像生成手段によって生成された時間的に前後
   する複数の特徴画像を比較し、この比較結果に基づい
   て、相関関係がある連続した複数の画像からなる静止フ
   レーム群を検出する静止フレーム群検出手段と、 前記静止フレーム群検出手段によって検出された静止フ
   レーム群から、同静止フレーム群を代表する静止フレー
   ムを検出する代表静止フレーム検出手段と、 を具備し、 前記代表静止フレーム検出手段によって検出された静止
   フレームを映像インデックスとすることを特徴とする映
   像インデックス作成装置。
2. 【請求項２】 前記特徴画像生成手段は、フレーム画像
   の輝度画像からエッジ情報を特徴量として抽出すること
   を特徴とする請求項１記載の映像インデックス作成装
   置。
3. 【請求項３】 前記静止フレーム群検出手段は、相関関
   係がある連続した複数の画像が所定の時間分ある場合
   に、静止フレーム群と判別することを特徴とする請求項
   １記載の映像インデックス作成装置。
4. 【請求項４】 前記静止フレーム群中の時間的に前の画
   像と最も相関関係のある画像を、同静止フレーム群を代
   表する静止フレームとすることを特徴とする請求項１ま
   たは請求項３記載の映像インデックス作成装置。