JP4838272B2 - 映像インデキシング装置，映像インデキシング方法，映像インデキシングプログラムおよびその記録媒体 - Google Patents

Description

本発明は，映像の中の見たいシーンに効率よくアクセスするための検索や閲覧に必要となるインデックスを自動付与する映像インデキシングの技術に関する。

予め定義しておいたラベルと画像内容との関係に基づいて，映像の中で定義ラベルに該当するシーンが出現したときに，そのシーンに定義ラベルを付与する映像インデキシング装置の従来技術として，大量の辞書データを事前に収集し，学習させることで，高精度にインデキシングするものがある。例えば「人物顔」のように普遍的な定義ラベルであれば，事前に大量の辞書画像を収集することができる。辞書データで学習した人物顔画像の辞書を用意しておき，インデキシングの対象映像の各フレーム画像と辞書との類似度から顔画像が含まれると判定されたときに，「人物顔」の定義ラベルを付与すればよい（非特許文献１参照）。

また，利用者がサンプル画像を指定することで意味ラベルを定義した場合には，テンプレートマッチングなどの手法によりサンプル画像と類似したシーンを検出し（非特許文献２参照），検出したシーンに意味ラベルを付与すればよい。
高塚皓正，田中正行，奥富正敏，「顔らしさの評価値分布を利用した顔検出の提案」，情報処理学会論文誌，Vol.48，No.SIG16，pp.51-54，2007． 高木幹雄，下田陽久 監修「新編 画像解析ハンドブック」，pp.1669-1675，2004，東京大学出版会.

従来の大量の辞書データを用いる技術は，辞書データの収集に多大のコストと時間がかかることが問題であり，さらに定義ラベルと画像内容との関係が変動する場合に適用できないことが問題である。すなわち，利用者の検索要求が生じるたびに，その定義ラベルを表す画像を大量に収集する必要がある。また，最近話題になったオブジェクトやイベントを表したシーンや，放送映像などで撮影方法などが変更になったりした場合には，定義ラベルと画像内容との関係が変動するので，そのたびに改めて大量の辞書データを収集して学習しなおす必要がある。このように，学習にコストと時間がかかるため，適用領域が限定されるという問題があった。

従来のテンプレートマッチングを用いる技術では，定義ラベルを付与するかを判別するための類似度のしきい値の最適解を求めることが困難である。また，少数のテンプレートでは定義ラベルを表現することが困難な場合には，インデキシングの精度が低いことが問題であった。

本発明は，上記問題点の解決を図り，辞書データの収集に負荷をかけることなく，意味ラベル等のラベルを付与するかを判別するための類似度のしきい値が最適値でなくても高精度にインデキシングできる装置を提供することを目的とする。

本発明の原理構成図を図１に示す。本発明の映像インデキシング装置は，図１に示すような手段を備える。

基準画像選定手段１は，与えられた辞書用映像の中から，定義ラベルを表す基準画像を選定する手段である。辞書データ収集手段２は，辞書用映像の中から基準画像と類似する画像を検出する手段である。正事例・負事例選定手段３は，収集した類似画像の中で定義ラベルを表す画像として正しい画像を正事例画像，正しくない画像を類似している順に負事例画像としてそれぞれ選定する手段である。

１クラス識別関数算出手段４は，正事例画像から定義ラベルを表す画像であるか否かを判別するための１クラス識別関数を算出する手段である。２クラス識別関数算出手段５は，正事例画像と負事例画像とから両者を識別するための２クラス識別関数を算出する手段である。辞書記憶手段６は，１クラス識別関数算出手段４が算出した１クラス識別関数および２クラス識別関数算出手段５が算出した２クラス識別関数を，定義ラベルとともに蓄積し記憶しておく手段である。

ラベル付与候補検出手段７は，インデキシング対象映像が与えられたときに，当該映像から選択したフレーム画像について，１クラス識別関数算出手段４で求めた１クラス識別関数を用いて定義ラベルを付与する候補となるフレーム画像を求める手段である。インデキシング手段８は，ラベル付与候補検出手段７が求めた候補のフレーム画像について，２クラス識別関数算出手段５で求めた２クラス識別関数を用いて定義ラベルを付与すべき画像であるか否かを判定する手段である。

本発明は，正事例画像を抽出する１クラス識別関数により，正事例画像に似た対象を抽出した後，正事例画像と負事例画像とを区別する２クラス識別関数を用いた負事例画像の排除を実施することにより，定義ラベルを付与すべき画像であるか否かを適切に判定することができる。

１クラス識別関数算出手段４および２クラス識別関数算出手段５での特徴量として，フレーム画像の映像における出現時刻（メディア時刻）と画像特徴量を用いることができる。

また，本発明は，上記の手段に加え，複数の定義ラベルが出現する順序関係や時間間隔でイベントをルール化し，検出すべきイベントのルールとラベルとを設定するイベント設定手段と，インデキシング手段８で付与された定義ラベルの順序関係や時間間隔と，イベント設定手段で設定されているルールとの類似度に基づいてイベントラベルを付与するイベントラベル付与手段とを設けることもできる。

また，上記本発明において，１クラス識別関数算出手段４は，１クラス識別関数を辞書データ収集手段２における類似度の基準に基づいて算出することができる。例えば，１クラス識別関数算出手段４での正事例画像から定義ラベルを表す画像であるか否かを判別するための特徴量として，辞書データ収集手段２における画像の類似度の基準とした特徴量を用いることができる。

本発明によれば，１クラス識別関数による判定と２クラス識別関数による判定の２段階の判定手段により判定することで精度よくインデキシングを行うことができる。また，１クラス識別関数算出手段のしきい値を調整するための手間をなくすことができる。

また，本発明は，定義ラベルが出現する順序関係や時間間隔と事前に設定したルールとを比較することでイベントラベルを付与するイベントラベル付与手段を設けることにより，さらに精度よく所望の映像区間にインデキシングが行えるようになる。

さらに，本発明は，基準画像を選定する手段，辞書データ収集手段，正事例画像と負事例画像の選定手段を設けることにより，辞書データを簡単に効率よく集めることができる。

以下，図面を用いて，本発明の実施の形態を説明する。本発明に係る映像インデキシング装置は，大きく分けて，辞書を生成する辞書生成部とインデキシング対象映像にラベルを付与するインデキシング部とから構成される。

図２は，本発明の第１の実施例における映像インデキシング装置の辞書生成部の構成，図３は，本発明の第１の実施例における映像インデキシング装置のインデキシング部の構成をそれぞれ説明するための図である。

図２の辞書生成部は，辞書用映像蓄積部１１，基準画像選定処理部１２，画像特徴抽出部１３，辞書データ収集処理部１４，正事例・負事例選定処理部１５，特徴量抽出部１６，１クラス識別関数算出部１７，２クラス識別関数算出部１８，定義ラベル辞書記憶部１９で構成される。

図３のインデキシング部は，インデキシング映像取得部２０，フレーム画像取得部２１，特徴量抽出部１６，定義ラベル辞書記憶部１９，１クラス識別関数による候補検出部２２，２クラス識別関数によるインデキシング部２３で構成される。

辞書用映像蓄積部１１は，事前に取得しておいた辞書用の映像を蓄積・管理しておき，基準画像選定処理部１２からの要求に応じて辞書用映像を基準画像選定処理部１２に出力する。

基準画像選定処理部１２は，定義ラベルが入力されると，辞書用映像蓄積部１１に読み取り要求を出して辞書用映像蓄積部１１から受けとった辞書用映像の中から，定義ラベルを表す典型的なフレーム画像を選定する。選定した画像を基準画像として，辞書用映像とともに画像特徴抽出部１３に出力する。基準画像の選定方法として，例えば，辞書映像のシーンが大きく変わるところを区切りとするショット分割を行い，各ショットの先頭画像を一覧表示し，その中から基準画像をマウスなどで指定させるインタフェースを実装する方法を用いることができるが，この方法に限らず，基準画像の選定は，種々の方法により容易に実施することができる。

画像特徴抽出部１３は，基準画像選定処理部１２から受け取った基準画像および辞書用映像の各フレーム画像から，色やテクスチャーなどに関する画像特徴量を抽出し，抽出した特徴空間での各フレーム画像を特徴ベクトルで表し，特徴ベクトルを辞書データ収集処理部１４に出力する。

辞書データ収集処理部１４は，画像特徴抽出部１３から各画像の特徴ベクトルを受け取ると，その基準画像と類似した画像を辞書用映像の中から収集し，収集した画像群を正事例・負事例選定処理部１５に出力する。

正事例・負事例選定処理部１５は，辞書データ収集処理部１４から受け取った画像群から，定義ラベルの画像内容を表している正事例画像と，表していない負事例画像を所定の数だけ選定し，正事例画像と負事例画像を特徴量抽出部１６に出力する。

特徴量抽出部１６は，正事例・負事例選定処理部１５から受け取った正事例画像または負事例画像の色やテクスチャーに関する画像特徴をもとに，識別関数を算出するための特徴量を抽出し，抽出した特徴空間での各画像を特徴ベクトルで表し，正事例画像の特徴ベクトルを１クラス識別関数算出部１７へ，正事例画像と負事例画像の特徴ベクトルを２クラス識別関数算出部１８へそれぞれ出力する。特徴量の具体例として，画像特徴抽出部１３で抽出した画像特徴に画像の映像での出現時刻を特徴量として追加する方法や，正事例画像と負事例画像の全画像を対象として，画像特徴抽出部１３で抽出した画像特徴を用いて主成分分析を行い，次元圧縮したものを特徴量とする方法などが有効である。

また，特徴量抽出部１６は，図３に示すフレーム画像取得部２１から画像を受け取った場合には，同様の特徴抽出を行い，抽出した特徴ベクトルを１クラス識別関数による候補検出部２２に出力する。

１クラス識別関数算出部１７は，特徴量抽出部１６から受け取った正事例画像の特徴ベクトルから，特徴空間において，定義ラベルを表す画像であるか否かを判別するための１クラス識別関数を算出し，算出した１クラス識別関数を定義ラベル辞書記憶部１９に出力する。

１クラス識別関数として，例えば，特徴空間における正事例画像の平均ベクトルを中心とする球面の中に正事例画像が全て含まれるような球面を識別関数とする方法や，特徴空間での正事例画像の分布を複数のガウシアン分布でモデル化した混合ガウシアンモデルで正事例であることの確率分布を表し，この確率分布に基づいて正事例画像であることの確率が予め設定したしきい値以上であれば正事例と判定することを識別関数とする方法などを用いればよい。このときのしきい値の設定を，例えば６０％と低く設定しておけば，１クラス識別関数による検出漏れが少なくなる。もちろん誤検出が増えることになるが，これは，２クラス識別関数算出部１８の処理により除外できるので問題ない。このように，１クラス識別関数のしきい値を最適値にする必要がないので，しきい値の調整にコストをかけることなく精度よくインデキシングを行うことができる。

２クラス識別関数算出部１８は，特徴量抽出部１６から受け取った正事例画像と負事例画像の特徴ベクトルから，特徴空間において，定義ラベルを表す画像と表さない画像とを判別するための２クラス識別関数を算出し，算出した２クラス識別関数を定義ラベル辞書記憶部１９に出力する。２クラス識別関数として，例えば，フィッシャーの判別関数やＳＶＭ（Support Vector Machine）などを用いればよい。

定義ラベル辞書記憶部１９は，１クラス識別関数算出部１７から受け取った１クラス識別関数と，２クラス識別関数算出部１８から受け取った２クラス識別関数を，定義ラベルとともに蓄積しておき，図３に示す１クラス識別関数による候補検出部２２，および２クラス識別関数によるインデキシング部２３からの要求に応じて，１クラス識別関数または２クラス識別関数を出力する。

次に，図３のインデキシング映像取得部２０は，インデキシングの対象となる映像を取得し，取得した映像をフレーム画像取得部２１へ出力する。

フレーム画像取得部２１は，インデキシング映像取得部２０から受け取ったインデキシングの対象映像から一定間隔でサンプリングすることによりフレーム画像を取得し，取得したフレーム画像を特徴量抽出部１６へ出力する。

１クラス識別関数による候補検出部２２は，特徴量抽出部１６から各フレーム画像の特徴ベクトルを受け取ると，定義ラベルと１クラス識別関数の要求信号を定義ラベル辞書記憶部１９に出力し，定義ラベル辞書記憶部１９から定義ラベルと１クラス識別関数を受け取る。受け取った１クラス識別関数を用いて，各フレーム画像が定義ラベルを表す画像であるか否かを判定し，定義ラベルを表す画像であると判定された画像を候補画像とし，候補画像の特徴ベクトルを２クラス識別関数によるインデキシング部２３に出力する。

２クラス識別関数によるインデキシング部２３は，１クラス識別関数による候補検出部２２から候補画像の特徴ベクトルを受け取ると，定義ラベルと２クラス識別関数の要求信号を定義ラベル辞書記憶部１９に出力し，定義ラベル辞書記憶部１９から定義ラベルと２クラス識別関数を受け取る。２クラス識別関数によるインデキシング部２３は，受け取った２クラス識別関数を用いて，候補画像の中で定義ラベルを表す画像を決定し，映像の中で定義ラベルが出現した画像であることを示す情報をインデキシング結果として出力する。

次に，上記の構成における処理手順について，図４に示す辞書用映像の例を用いて説明する。辞書用映像をＶｄ，定義ラベルの基準画像をＦｄとする。図４において，区間１，２，３は，定義ラベルを表す画像が出現する区間である。

図５は，本発明の第１の実施例における辞書生成部の処理を示すフローチャートである。

［ステップＳ５０１］
基準画像選定処理部１２において，基準画像と辞書用映像蓄積部１１で管理されている辞書用映像の各フレーム画像を読み込む。基準画像として図４に示すＦｄが選定されたとする。

次に，画像特徴抽出部１３において，ステップＳ５０２，Ｓ５０３，Ｓ５０４，Ｓ５０５の手順で画像特徴量を抽出する。以下では，色特徴量としてカラーモーメント，テクスチャー特徴量として濃度勾配ヒストグラムを用いる場合を例に説明する。

［ステップＳ５０２］
各フレーム画像はＲＧＢの３原色で表現されているので，これをＬａｂ色空間に変換する。

［ステップＳ５０３］
画像をＭ×Ｎ個のブロックに分割する。図６に分割例を示す。図６の例では，フレーム画像を４×４＝１６個のブロック領域に分割している。

［ステップＳ５０４］
各ブロックに属する画素の色情報からカラーモーメントを算出する。Ｌａｂ色空間の各成分Ｌ，ａ，ｂについて，ブロック内の全画素に対する１次，２次，３次のモーメントをそれぞれ算出する。各ブロックから９次元のカラーモーメントが得られるので，各フレーム画像からの色特徴は，この例ではＭ×Ｎ×９次元の特徴ベクトルで表されることになる。

［ステップＳ５０５］
Ｌａｂ色空間のＬ成分のみを対象としてテクスチャー特徴である濃度勾配ヒストグラムを算出する。

まず，Ｌ成分を表す画像の各画素について，エッジ方向とエッジ強度を求める。画素（ｘ，ｙ）のＬ成分の値をＬ（ｘ，ｙ）とすると，エッジ方向とエッジ強度は次式で求められる。

エッジ強度：ｓｑｒｔ（ΔＸ＊ΔＸ＋ΔＹ＊ΔＹ）
エッジ方向：ａｒｃｔａｎ（ΔＹ／ΔＸ）
ここで，
ΔＸ＝Ｌ（ｘ＋１，ｙ）−Ｌ（ｘ，ｙ）
ΔＹ＝Ｌ（ｘ，ｙ＋１）−Ｌ（ｘ，ｙ）
次に，ブロック内の各画素について，エッジ強度で重み付けしたエッジ方向の頻度分布を算出する。エッジ方向について，例えば０度〜１８０度を２０度間隔に９分割して，頻度を集計すると，各ブロックの濃度勾配ヒストグラムは９次元となる。この場合，各フレーム画像からのテクスチャー特徴は，Ｍ×Ｎ×９次元の特徴ベクトルで表される。

次に，辞書データ収集処理部１４において，ステップＳ５０６，Ｓ５０７により辞書データを収集する。

［ステップＳ５０６］
辞書用映像Ｖｄの各フレーム画像Ｆｉ（ｉ＝１，２，... ，Ｉ）と基準画像Ｆｄとの距離ｒ（ｉ）を算出する。

基準画像Ｆｄと各フレーム画像Ｆｉとから求めたＭ×Ｎ×９次元の色特徴ベクトル間のユークリッド距離をｒ＿ｃｏｌ，基準画像Ｆｄと各フレーム画像Ｆｉとから求めたＭ×Ｎ×９次元のテクスチャー特徴ベクトル間のユークリッド距離をｒ＿ｔｅｘとすると，それらの重み和としてｒ（ｉ）を次式で求める。

ｒ（ｉ）＝ｗ１・ｒ＿ｃｏｌ＋ｗ２・ｒ＿ｔｅｘ
ここで，ｗ１，ｗ２は事前に設定した定数である。

［ステップＳ５０７］
辞書用映像の各フレーム画像と基準画像に対して，ステップＳ５０６で求めた距離ｒ（ｉ）から，基準画像と類似したフレーム画像を収集する。予め設定した閾値ＴＨ＿ｒを用いて，
ｒ（ｉ）＜ＴＨ＿ｒ
となるフレーム画像Ｆｉを収集すればよい。図４の場合には，定義ラベルを表すフレーム画像が出現する区間が３個，定義ラベルを表していないが基準画像と類似している区間が１個あるので，合計４個の区間内のフレーム画像が辞書データとして収集されることになる。

次に，正事例・負事例選定処理部１５において，ステップＳ５０８，Ｓ５０９，Ｓ５１０により正事例と負事例を選定する。

［ステップＳ５０８］
収集した画像を基準画像との距離ｒ（ｉ）が小さい順位にソートする。

［ステップＳ５０９］
正事例画像をチェックする画面を提示する。図７に，正事例画像をチェックするＧＵＩ（Graphical User Interface）の例を示す。例えば図７に示すように，ディスプレイに画像を一覧表示し，正事例画像とみなす画像をマウスでクリックさせるＧＵＩを提供すればよい。

［ステップＳ５１０］
図７に示すようなＧＵＩにより，正事例画像としてチェックされた画像を正事例画像とし，正事例画像としてチェックされなかった画像の中から，基準画像との距離ｒ（ｉ）が小さい順に正事例画像と同数だけ，負事例画像として選定する。

［ステップＳ５１１］
特徴量抽出部１６において，正事例画像と負事例画像から特徴ベクトルを算出する。特徴ベクトルの例として，ステップＳ５０２，Ｓ５０３，Ｓ５０４，Ｓ５０５の手順と同様の方法で，Ｍ×Ｎ×９次元の色特徴ベクトルとＭ×Ｎ×９次元のテクスチャ特徴ベクトルの画像特徴量を抽出し，画像特徴量だけを特徴ベクトルとして用いる方法や，選定された正事例画像と負事例画像が属していた辞書用映像Ｖｄにおける出現時刻（メディア時刻）を画像特徴量に加える方法などが有効である。

［ステップＳ５１２］
１クラス識別関数算出部１７において，正事例画像を識別するための１クラス識別関数を算出する。１クラス識別関数の算出で用いる特徴量として，辞書データ収集処理部１４が辞書データを収集するときに用いた画像の類似度の基準とした特徴量を用いることができる。例えば１クラス識別関数として，特徴空間における正事例画像の確率分布または正事例画像の平均特徴ベクトルからの距離により，処理対象画像が定義ラベルを表す画像であるか否かを識別する関数を用いることができる。

［ステップＳ５１３］
２クラス識別関数算出部１８において，正事例画像と負事例画像とから両者を識別する２クラス識別関数を算出する。

［ステップＳ５１４］
定義ラベルの１クラス識別関数と２クラス識別関数を定義ラベル辞書記憶部１９に保存する。

以上の処理により，定義ラベルに対する辞書が生成できる。

次に，インデキシング対象映像の各フレームに対して定義ラベルを付与するかどうかを判定するインデキシング処理部の処理手順を図８を用いて説明する。

［ステップＳ８０１］
インデキシング映像取得部２０において，インデキシング対象映像を読み込み，フレーム画像取得部２１でインデキシング対象映像からフレーム画像を取り込む。以下では，Ｐ枚のフレーム画像を取り込んだとして説明する。

［ステップＳ８０２］
Ｐ枚のフレーム画像を順番に処理するために，初期値としてｐ＝１に設定する。

［ステップＳ８０３］
特徴量抽出部１６において，ｐ枚目（ｐ＝１，２，... ，Ｐ）のフレーム画像から特徴量を算出する。

［ステップＳ８０４］
１クラス識別関数による候補検出部２２において，定義ラベル辞書記憶部１９に保存してある１クラス識別関数を用いて，ｐ番目のフレーム画像が定義ラベルを付与する候補になるかを判定する。候補になる場合には，ステップＳ８０５に進み，候補にならない場合には，ステップＳ８０７に進む。

判定方法として，例えば，ステップＳ５１１で求めた特徴ベクトルについて正事例画像の平均ベクトルを算出し，未知画像と平均ベクトルからのユークリッド距離が予め設定しておいた閾値ＴＨ＿ｐｏｓ１以下であれば，その未知画像に定義ラベルを付与すると判定する方法や，ステップＳ５１１で求めた特徴ベクトルにおける正事例画像の分布を複数のガウシアン分布で推定し，混合ガウシアン分布に対する未知画像の尤度が予め設定しておいた閾値ＴＨ＿ｐｏｓ２以下であれば，その未知画像に定義ラベルを付与すると判定する方法を用いればよい。

［ステップＳ８０５］
２クラス識別関数によるインデキシング部２３において，ｐ番目のフレーム画像に定義ラベルを表しているかを判定する。定義ラベルを表していると判定された場合には，ステップＳ８０６へ，表していないと判定された場合には，ステップＳ８０７に進む。

［ステップＳ８０６］
ｐ番目のフレームのメディア時刻を，定義ラベルのインデキシング結果として記憶する。すなわち，定義ラベルを付与するフレーム画像のメディア時刻を記憶する。

［ステップＳ８０７］
Ｐ個のフレーム画像の全てに対して処理が終了したかを判定する。処理が終了していない場合には，ステップＳ８０８に進み，処理が終了した場合には，ステップＳ８０９に進む。

［ステップＳ８０８］
ｐ＝ｐ＋１とし，ステップＳ８０３以降の処理を繰り返す。

［ステップＳ８０９］
インデキシング結果として，Ｐ個のフレーム画像の中で定義ラベルを付与するフレーム画像のメディア時刻をまとめ，そのインデキシング結果を出力する。

以上の処理により，インデキシング対象映像に対して定義ラベルを付与することができる。

次に，本発明の第２の実施例について説明する。図９は，本発明の第２の実施例における映像インデキシング装置のインデキシング部の構成を説明するための図である。

第２の実施例では，図９のインデキシング処理部は，特徴量抽出部１６，定義ラベル辞書記憶部１９，インデキシング映像取得部２０，フレーム画像取得部２１，１クラス識別関数による候補検出部２２，２クラス識別関数によるインデキシング部２３，フレーム画像インデキシング結果管理部３０，イベントルール記憶部３１，イベントラベル付与部３２で構成される。

特徴量抽出部１６，定義ラベル辞書記憶部１９，インデキシング映像取得部２０，フレーム画像取得部２１，定義ラベル辞書記憶部１９，１クラス識別関数による候補検出部２２，２クラス識別関数によるインデキシング部２３は，前述した第１の実施例と同じ処理を行う。

フレーム画像インデキシング結果管理部３０は，２クラス識別関数によるインデキシング部２３より出力される，インデキシング対象映像に対する定義ラベルが付与されたメディア時刻を管理する。

イベントルール記憶部３１は，複数の定義ラベルが出現する順序関係や時間間隔をイベントラベルのルールとして設定する。イベントルールの例を図１０に示す。同図において，イベントルール１は，イベントラベル１を付与するためのルールであり，定義ラベルＡが付与された区間の次に定義ラベルＣが付与された区間が出現し，さらにその次に定義ラベルＢが付与された区間が出現し，最後に定義ラベルＡが出現するイベントのルールを示す。イベントルール２は，イベントラベル２を付与するためのルールであり，定義ラベルＡが付与された区間の１０秒以内に，また定義ラベルＡの区間が出現し，さらに１０秒以内にもう一度，定義ラベルＡの区間が出現するイベントのルールを示す。

イベントラベル付与部３２は，フレーム画像インデキシング結果管理部３０から定義ラベルが付与されたメディア時刻を受け取ると，イベントルール記憶部３１に取得要求信号を出して，イベントルールを読み取る。

インデキシング対象映像に対して付与された定義ラベルの中で，読み取ったイベントルールとの類似度を算出し，類似度が予め設定しておいた閾値以上であれば，そのイベントラベルを付与する。

次に，上記の構成における処理手順について説明する。定義ラベル辞書記憶部１９において，定義ラベルＡ，定義ラベルＢ，定義ラベルＣに対する辞書が管理されており，本発明の第１の実施例の手順に従って，フレーム画像インデキシング結果管理部３０では，インデキシング対象映像に対して定義ラベルＡ，定義ラベルＢ，定義ラベルＣが付与され，イベントルール記憶部３１において，図１０のイベントラベル１とイベントラベル２が付与されている場合を例に説明する。

イベントラベル付与部３２は，フレーム画像インデキシング結果管理部３０で管理されているインデキシング対象映像に付与された定義ラベルと，イベントルール記憶部３１で記憶されているイベントルールとの類似度を算出する。

類似度の算出方法の例として，イベントルールの定義区間数（図１０のイベントルール１では４，イベントルール２では５）に対して出現順序が一致した区間数の比を求める方法がある。例えば，図１１に示すように，インデキシング対象映像に対して付与された定義ラベルが映像メディア時刻の順番に定義ラベルＡ，定義ラベルＣ，定義ラベルＢ，定義ラベルＣという区間があれば，イベントルール１との類似度は３／４＝０．７５となる。０．７５以上の類似度であればイベントラベルを付与すると設定されていれば，この区間に対してイベントラベル１が付与されることになる。

このような処理をイベントルール１とイベントルール２に対して行うことで，予め設定しておいたイベントが出現した区間に対してインデックスを付与することができる。

イベントラベル付与の具体例について説明する。

〔例１〕例えばサッカー映像での定義ラベルとして，以下のシーンを設定しておく。
・グランドシーン：グランド全体が映っているシーン
・ゴールポストシーン：ゴールポストが大きく映っているシーン
・人物顔シーン：人物顔が大きく映っているシーン
ゴールというイベントを，グランドシーンの後に，ゴールポストシーンが出現し，そのＴ秒以内に人物顔シーンが出現すると規定する。このようなイベントルールを設定しておけば，サッカー映像においてゴールが映っている可能性の大きい映像区間に，ゴールのイベントラベルを自動付与することができる。

〔例２〕例えばニュース映像での定義ラベルとして，以下のシーンを設定しておく。
・アナウンサーシーン：アナウンサーが映っているシーン
・テロップシーン：テロップが表示されたシーン
トピック遷移イベントを，アナウンサーシーンの直後に，テロップシーンが出現し，そのＴ秒以上はアナウンサーシーンが出現しないと規定する。このようなイベントルールを設定しておけば，ニュース映像においてトピック遷移イベントを検出し，そのイベントラベルを自動付与することができる。

以上の映像インデキシングの処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明の原理構成図である。 本発明の第１の実施例における映像インデキシング装置の辞書生成部の構成図である。 本発明の第１の実施例における映像インデキシング装置のインデキシング部の構成図である。 辞書用映像の例を示す図である。 本発明の第１の実施例における辞書生成処理のフローチャートである。 フレーム画像のブロック分割の例を示す図である。 正事例画像をチェックするＧＵＩの例を示す図である。 本発明の第１の実施例におけるインデキシング処理のフローチャートである。 本発明の第２の実施例における映像インデキシング装置のインデキシング部の構成図である。 イベントルールの例を示す図である。 定義ラベル付与の例を示す図である。

符号の説明

１ 基準画像選定手段
２ 辞書データ収集手段
３ 正事例・負事例選定手段
４ １クラス識別関数算出手段
５ ２クラス識別関数算出手段
６ 辞書記憶手段
７ ラベル付与候補検出手段
８ インデキシング手段

Claims (12)

1. 画像内容を表す定義ラベルを予め定義しておき，インデキシング対象の映像の中で前記定義ラベルに該当するシーンが出現したときに当該シーンに定義ラベルを付与する映像インデキシング装置において，
   定義ラベルと，学習用の画像として与えられた該定義ラベルを表す正しい正事例画像から抽出された特徴量により算出された，処理対象画像が前記定義ラベルを表す画像であるか否かを判別する１クラス識別関数と，学習用の画像として与えられた該定義ラベルを表す正しい正事例画像と正しくない負事例画像とから抽出された特徴量により算出された，正事例画像と負事例画像とを識別する２クラス識別関数とを辞書データとして記憶する辞書記憶手段と，
   インデキシング対象の映像が与えられたときに，当該映像から選択したフレーム画像について，前記辞書記憶手段に記憶された１クラス識別関数を用いて前記辞書記憶手段に記憶された定義ラベルを表す画像であるか否かを判別し，前記定義ラベルを付与する候補となるフレーム画像を求めるラベル付与候補検出手段と，
   前記ラベル付与候補検出手段によって候補とされたフレーム画像について，前記辞書記憶手段に記憶された２クラス識別関数を用いて正事例画像もしくは負事例画像のどちらに該当するかを判別することにより，前記候補とされたフレーム画像から負事例画像に該当する画像を排除し，正事例画像に該当する前記定義ラベルを付与すべき画像を決定して，定義ラベルを付与するインデキシング手段とを備える
   ことを特徴とする映像インデキシング装置。
2. 請求項１記載の映像インデキシング装置において，
   前記１クラス識別関数および前記２クラス識別関数は，フレーム画像の映像における出現時刻と画像特徴量とを特徴量として識別する関数である
   ことを特徴とする映像インデキシング装置。
3. 請求項１または請求項２記載の映像インデキシング装置において，
   映像中のイベントを表すイベントラベルと，映像中のイベントを検出するための複数の定義ラベルが出現する順序関係または時間間隔によって定義されるイベントルールとを記憶するイベントルール記憶手段と，
   前記インデキシング手段で付与された定義ラベルの順序関係または時間間隔と，前記イベントルール記憶手段に記憶されているイベントルールとを照合し，それらの類似度が所定の閾値より大きい映像部分に前記イベントラベルを付与するイベントラベル付与手段とをさらに備える
   ことを特徴とする映像インデキシング装置。
4. 請求項１，請求項２または請求項３記載の映像インデキシング装置において，
   辞書用映像が与えられたときに，辞書用映像の中から定義ラベルを表す基準画像を選定する基準画像選定手段と，
   前記辞書用映像の中から前記基準画像と類似する画像を検出する辞書データ収集手段と，
   収集した類似画像の中で定義ラベルを表す画像として正しい画像を正事例画像，正しくない画像を前記基準画像に類似している順に負事例画像としてそれぞれ選定する正事例・負事例選定手段と，
   前記正事例画像から抽出された特徴量をもとに定義ラベルを表す画像であるか否かを判別するための１クラス識別関数を算出する１クラス識別関数算出手段と，
   前記正事例画像と前記負事例画像とからそれぞれ抽出された特徴量をもとに両者を識別するための２クラス識別関数を算出する２クラス識別関数算出手段とを備え，
   前記１クラス識別関数算出手段によって算出された１クラス識別関数と，前記２クラス識別関数算出手段によって算出された２クラス識別関数と，当該定義ラベルとを，辞書データとして前記辞書記憶手段に格納する
   ことを特徴とする映像インデキシング装置。
5. 請求項４記載の映像インデキシング装置において，
   前記１クラス識別関数算出手段は，前記１クラス識別関数を前記辞書データ収集手段での類似度の基準に基づいて算出する
   ことを特徴とする映像インデキシング装置。
6. 画像内容を表す定義ラベルを予め定義しておき，インデキシング対象の映像の中で前記定義ラベルに該当するシーンが出現したときに当該シーンに定義ラベルを付与する映像インデキシング装置が実行する映像インデキシング方法において，
   定義ラベルと，学習用の画像として与えられた該定義ラベルを表す正しい正事例画像から抽出された特徴量により算出された，処理対象画像が前記定義ラベルを表す画像であるか否かを判別する１クラス識別関数と，学習用の画像として与えられた該定義ラベルを表す正しい正事例画像と正しくない負事例画像とから抽出された特徴量により算出された，正事例画像と負事例画像とを識別する２クラス識別関数とを辞書データとして記憶する辞書記憶手段を参照し，
   インデキシング対象の映像が与えられたときに，当該映像から選択したフレーム画像について，前記辞書記憶手段に記憶された１クラス識別関数を用いて前記辞書記憶手段に記憶された定義ラベルを表す画像であるか否かを判別し，前記定義ラベルを付与する候補となるフレーム画像を求めるラベル付与候補検出処理と，
   前記ラベル付与候補検出処理によって候補とされたフレーム画像について，前記辞書記憶手段に記憶された２クラス識別関数を用いて正事例画像もしくは負事例画像のどちらに該当するかを判別することにより，前記候補とされたフレーム画像から負事例画像に該当する画像を排除し，正事例画像に該当する前記定義ラベルを付与すべき画像を決定して，定義ラベルを付与するインデキシング処理とを実行する
   ことを特徴とする映像インデキシング方法。
7. 請求項６記載の映像インデキシング方法において，
   前記１クラス識別関数および前記２クラス識別関数は，フレーム画像の映像における出現時刻と画像特徴量とを特徴量として識別する関数である
   ことを特徴とする映像インデキシング方法。
8. 請求項６または請求項７記載の映像インデキシング方法において，
   映像中のイベントを表すイベントラベルと，映像中のイベントを検出するための複数の定義ラベルが出現する順序関係または時間間隔によって定義されるイベントルールとを記憶するイベントルール記憶手段を参照し，
   前記インデキシング処理で付与された定義ラベルの順序関係または時間間隔と，前記イベントルール記憶手段に記憶されているイベントルールとを照合し，それらの類似度が所定の閾値より大きい映像部分に前記イベントラベルを付与するイベントラベル付与処理とをさらに実行する
   ことを特徴とする映像インデキシング方法。
9. 請求項６，請求項７または請求項８記載の映像インデキシング方法において，
   辞書用映像が与えられたときに，辞書用映像の中から定義ラベルを表す基準画像を選定する基準画像選定処理と，
   前記辞書用映像の中から前記基準画像と類似する画像を検出する辞書データ収集処理と，
   収集した類似画像の中で定義ラベルを表す画像として正しい画像を正事例画像，正しくない画像を前記基準画像に類似している順に負事例画像としてそれぞれ選定する正事例・負事例選定処理と，
   前記正事例画像から抽出された特徴量をもとに定義ラベルを表す画像であるか否かを判別するための１クラス識別関数を算出する１クラス識別関数算出処理と，
   前記正事例画像と前記負事例画像とからそれぞれ抽出された特徴量をもとに両者を識別するための２クラス識別関数を算出する２クラス識別関数算出処理とを実行し，
   前記１クラス識別関数算出処理によって算出された１クラス識別関数と，前記２クラス識別関数算出処理によって算出された２クラス識別関数と，当該定義ラベルとを，辞書データとして前記辞書記憶手段に格納する
   ことを特徴とする映像インデキシング方法。
10. 請求項９記載の映像インデキシング方法において，
    前記１クラス識別関数算出処理では，前記１クラス識別関数を前記辞書データ収集処理における類似度の基準に基づいて算出する
    ことを特徴とする映像インデキシング方法。
11. 請求項６から請求項１０までのいずれか１項に記載の映像インデキシング方法を，コンピュータに実行させるための映像インデキシングプログラム。
12. 請求項１１に記載の映像インデキシングプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images