JP5159654B2 - 映像処理装置および映像処理方法 - Google Patents

Description

本発明は、映像処理装置及びその方法に関し、特に、映像コンテンツを再生する際に、映像を電子的に処理して特徴的なシーンのみを利用者に提供する映像処理装置及びその方法に関する。

録画機器の録画容量の大容量化により、テレビ番組を録画して後で視聴するという視聴スタイルが一般的になっている。また、多チャンネル化による番組数の増大により、個人が視聴する番組の数も非常に増加している。更に通信環境の向上によるインターネット経由での大容量映像コンテンツの利用増加などにより、インターネットを通じて映像コンテンツを個人の所有するコンピュータに保存して楽しむことも一般的になっている。

このような映像コンテンツ数の増加に伴い、映像コンテンツの視聴時に自分の視聴したいシーンだけを取り出して効率的に視聴したいという要求がある。

このような要求に答えるため、テレビ番組の録画機器やコンピュータなどには様々な映像処理機能が付与されている。効率的な視聴を実現するための映像処理機能の従来技術としては、以下のようなダイジェスト映像作成技術が知られている。

まず、ある映像を構成するフレーム画像間において、画像特徴量の変化が一定以上の地点をカットの切り替わりとみなして映像を分割する。これら分割された各映像をそれぞれシーンと称す。すなわち、映像は、複数のシーンに分割される。ここで画像特徴量とは、例えば、画像が有する各画素の色の割合や、画像を格子状に分割した個々の領域毎の画素の平均値の分布等である。

次に、例えば、各シーンの先頭のフレーム画像をシーンの特徴量として、各シーンの先頭のフレーム画像の特徴量を計算する。そして、特徴量が似たシーンを同一グループとしてクラスタリングを行うことで、ダイジェスト映像を作成することができる。このようなダイジェスト映像を利用者に対して表示し、利用者がある特定グループのシーンだけを指定して視聴することで、効率的な映像コンテンツの視聴が実現される（特許文献１参照）。

しかし、従来のダイジェスト作成機能においては、特定シーンの中で視聴する価値の高い、通常とは異なるシーンを抽出して利用者に提示することはできず、更に効率的な視聴を実現することができないという問題がある。

例えば、野球中継における特定シーンが内野守備シーンである例を考えると、従来のダイジェスト作成機能においては、野球中継の映像コンテンツから、内野守備シーンのみを抽出してダイジェスト映像を作成することは可能であった。しかし、作成されたダイジェスト映像は、大多数の代わり映えのしない、いわば視聴する価値の低いシーンと、ごく少数のファインプレーのシーンやエラーシーンなどの通常とは異なった、特に視聴する価値の高いシーンとで構成されており、これらの視聴する価値の低いシーンと視聴する価値の高いシーンとを識別することは考えられていなかった。従って、特に視聴する価値の高いシーンのみで構成されたダイジェスト映像は作成されず、より効率的な視聴を実現することができないという問題がある。

特許第４０６７３２６号公報

本発明は、ダイジェスト映像の中から、視聴する価値の高いシーンのみを抽出して利用者に提示することで、更に効率的な視聴を実現することができる映像処理装置及びその方法を提供することを目的とする。

上述の課題を解決するため、本発明の映像処理装置は、映像コンテンツ情報を記憶する映像データベースと、前記映像コンテンツに含まれる特定シーンから構成されるダイジェスト映像を特定するダイジェスト情報を保存するダイジェスト情報データベースと、このダイジェスト情報データベースに保存された前記ダイジェスト情報から、複数のフレーム画像からなる複数の定常シーンを特定するシーン情報を抽出する特定シーン抽出部と、この特定シーン抽出部により抽出された前記シーン情報に対応した前記複数の定常シーンを、前記映像データベースから抽出し、これらの複数の定常シーンをそれぞれ構成する所定の時間間隔のフレーム画像毎に特徴量ベクトルを抽出する特徴量抽出部と、この特徴量抽出部により抽出された前記複数の定常シーンの対応するフレーム画像毎の特徴量ベクトル集合により識別器を作成する識別器学習部と、前記ダイジェスト情報データベースに保存された抽出対象ダイジェスト情報から、複数のフレーム画像からなる識別対象シーンを特定するシーン情報を抽出する識別対象シーン抽出部と、この識別対象シーン抽出部により抽出された前記シーン情報に対応する前記識別対象シーンを前記映像データベースから抽出し、この識別対象シーンを構成する前記フレーム画像毎に特徴量ベクトルを抽出する前記特徴量抽出部と、この特徴量抽出部により抽出された前記特徴量ベクトルを前記識別器に供給して比較することにより、前記識別対象シーンが非定常シーンであるか否かを識別する非定常シーン検出部と、この非定常シーン検出部により識別された前記非定常シーンを表示する結果表示部と、を具備することを特徴とするものである。

また、本発明の映像処理方法は、特定シーン抽出部において、ダイジェスト情報データベースに保存され、映像コンテンツに含まれる特定シーンから構成されるダイジェスト映像を特定するダイジェスト情報から、複数のフレーム画像からなる複数の定常シーンを特定するシーン情報を抽出するステップと、特徴量抽出部において、前記ステップにより抽出された前記シーン情報に対応した前記複数の定常シーンを、前記映像データベースから抽出し、これらの複数の定常シーンをそれぞれ構成する所定の時間間隔のフレーム画像毎に特徴量ベクトルを抽出するステップと、識別器学習部において、前記特徴量ベクトルを抽出するステップにより抽出された前記複数の定常シーンの対応するフレーム画像毎の特徴量ベクトル集合により識別器を作成するステップと、識別対象シーン抽出部において、前記ダイジェスト情報データベースに保存された抽出対象ダイジェスト情報から、複数のフレーム画像からなる識別対象シーンを特定するシーン情報を抽出するステップと、前記特徴量抽出部において、前記識別対象シーンを特定するシーン情報を抽出するステップにより抽出された前記シーン情報に対応した前記識別対象シーンを前記映像データベースから抽出し、この識別対象シーンを構成する前記フレーム画像毎に特徴量ベクトルを抽出するステップと、非定常シーン抽出部において、前記識別対象シーンの特徴量ベクトルを抽出するステップにより、前記識別対象シーンが非定常シーンであるか否かを識別するステップと、結果表示部において、前記非定常シーンであるか否かを識別するステップにより識別された前記非定常シーンを表示するステップと、を具備することを特徴とする方法である。

本発明によれば、ダイジェスト映像の中から視聴する価値の高いシーンのみを抽出して利用者に提示することで、更に効率的な視聴を実現することができる映像処理装置及びその方法を提供することができる。

第１の実施形態に係る映像処理装置の構成を示すブロック図である。 映像ＤＢに記録された映像コンテンツのデータを示すテーブル図である。 ダイジェスト映像を示す模式図である。 ダイジェスト情報ＤＢに記録されたダイジェスト映像のデータを示すテーブル図である。 映像単位から特徴量ベクトルを抽出する様子を説明する説明図である。 特徴量ベクトルと識別面との関係を示す説明図である。 識別器を作成する方法を説明する説明図である。 識別対象シーンが定常シーンであると識別する方法を示した模式図である。 識別対象シーンが非定常シーンであると識別する方法を示した模式図である。 識別対象シーンが非定常シーンであると識別する方法を示した模式図である。 第１の実施形態に係る映像処理装置の動作を示すフローチャートである。 特定シーン抽出部の動作を示すフローチャートである。 特徴量抽出部の動作を示すフローチャートである。 識別器学習部の動作を示すフローチャートである。 識別対象シーン抽出部の動作を示すフローチャートである。 非定常シーン検出部の動作を示すフローチャートである。 第２の実施形態に係る映像処理装置の構成を示すブロック図である。 第２の実施形態に係る映像処理装置の動作を示すフローチャートである。 第２の実施形態に係る映像処理装置の構成を示すブロック図である。 第２の実施形態に係る映像処理装置の動作を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下に説明する各実施形態に係る映像処理装置は、既存のダイジェスト映像から通常のシーンを取り出し、これらのシーンの特徴量を学習データとして識別器に学習させる。そして、この識別器を用いて、視聴したいダイジェスト映像から、通常とは異なるシーンを取り出して表示する映像処理装置である。なお、以下の説明において、視聴したいダイジェスト映像を、抽出対象ダイジェスト映像と称す。

（第１の実施形態）
まず、第１の実施形態に係る映像処理装置について、図１乃至図１２を参照して説明する。なお、本実施形態に係る映像処理装置においては、機器構成数が最小である。

初めに、既存のダイジェスト映像から学習データを作成して識別器に学習させるための構成について、説明する。この構成は、ダイジェスト情報ＤＢ１２に保存されたダイジェスト情報から、複数のフレーム画像からなる複数の定常シーンを特定するシーン情報を抽出する特定シーン抽出手段と、抽出されたシーン情報に対応する複数の定常シーンを映像ＤＢ１１から抽出し、これらの複数の定常シーンをそれぞれ構成するフレーム画像毎に特徴量ベクトルを抽出する手段と、抽出された複数の定常シーンの対応するフレーム画像毎の特徴量ベクトル集合を基準ベクトルとして有する識別器と、からなる。以下に、これらの構成について、図１乃至図５を参照して詳細に説明する。

図１は、第１の実施形態に係る映像処理装置の構成を示すブロック図である。図１に示すように、まず、第１の実施形態に係る映像処理装置において、映像データベース１１（以下、データベースをＤＢと称す）には、複数の映像コンテンツが、図２に示すテーブルの形で記録されている。

図２に示すテーブルを構成する各レコードは、映像コンテンツを識別する映像番号、映像コンテンツの名前である映像名、映像コンテンツの種類である種類、映像コンテンツが作成された日時である作成日時、映像コンテンツの映像時間である時間、実際に映像データが格納されている記録領域（図示せず）へのリンク先情報を示す映像データリンクからなる。なお、上述の例においては、この映像ＤＢ１１には、映像コンテンツが実際に格納された記憶領域へのリンク先情報が保存されているが、実際に映像コンテンツが保存されていてもよい。

また、図１に示すダイジェスト情報ＤＢ１２には、映像ＤＢ１１に記録された映像コンテンツに含まれる特定のシーンから構成されるダイジェスト映像を特定するダイジェスト情報が記録されている。

図３Ａは、上述のダイジェスト映像の一例として、映像ＤＢ１１に記録された「プロ野球オールスター戦第１戦」から作成されたダイジェスト映像を示す模式図である。図３Ａに示すダイジェスト映像は、バッター対ピッチャーのシーンがあり、バッターが打つと内野守備のシーンに移り、次に打ったバッターの選手の顔のアップのシーンになり、またピッチャー対バッターのシーンになる映像である。

このような図３Ａに示すダイジェスト映像は、ダイジェスト情報ＤＢ１２に、図３Ｂに示すテーブルの形で記録されている。このテーブルを構成する各レコードには、それぞれに、シーン情報が記録されている。

シーン情報は、シーン毎に連続したシーン番号と、シーンラベルとを有し、さらに、各シーンの映像コンテンツ中における位置を示す位置情報と、各シーンが視聴する価値の低い定常シーンであるか、視聴する価値の高い非定常シーンであるかを区別する情報と、を備えている。この定常シーンと非定常シーンとについては、後に詳述する。

ここで、シーンラベルとは、各シーンの映像名である。例えば、上述の野球中継のダイジェスト映像の例において、シーンラベルとは、「ピッチャー対バッター」、「守備シーン」、「選手アップ」などである。

また、位置情報は、映像ＤＢ１１に記録された映像コンテンツの映像番号に対応した映像番号及び、映像ＤＢ１１に記録された映像コンテンツのフレーム番号に対応し、それぞれのシーンの開始フレームを示す開始フレーム番号及び、シーンの終了フレームを示す終了フレーム番号からなる。

また、定常シーンであるか非定常シーンであるかを区別する情報は、付加情報１〜Ｎからなる。付加情報は、図３Ｂの例ではＮ＝２であり、例えば付加情報１には、何回表もしくは何回裏のプレイシーンであるかがわかる情報が記録されている。また、付加情報２には、例えば守備シーンに対する「１ゴ」（１塁ゴロの意味）、「３失」（３塁手がエラーしたという意味）などのスコアブック情報が記録されている。すなわち、各シーンが定常シーンであるか非定常シーンであるかは、この付加情報によって区別される。

ここで定常シーンとは、通常起こり得る確率が高い、特に視聴する価値の低いシーンである。例えば、野球中継の映像における定常シーンとは、守備シーンにおけるアウトとなるシーンである。すなわち、「守備シーン」なるシーンラベルを有するシーンの中で、「１ゴ」などと記された付加情報を有するシーンである。

これとは反対に、非定常シーンとは、通常では起こり得る確率が低い、特に視聴する価値の高いシーンである。例えば、野球中継の映像における非定常シーンとは、守備シーンにおけるエラーのシーンである。すなわち、「守備シーン」なるシーンラベルを有するシーンの中で、「３失」などと記された付加情報を有するシーンである。

なお、この付加情報は、例えば視聴者等によって入力されたものであってもよいし、後述する第３の実施形態のように、例えばインターネット等を介して外部から取得された情報であってもよい。

次に、上述のダイジェスト情報ＤＢ１２に保存されたダイジェスト情報から、複数のフレーム画像からなる複数の定常シーンを特定するシーン情報を抽出する特定シーン抽出手段について説明する。

上述したダイジェスト情報ＤＢ１２には、図１に示すように、特定シーン抽出部１３が接続される。この特定シーン抽出部１３は、ダイジェスト情報ＤＢ１２に記録されている既存のダイジェスト映像のうち、指定された少なくとも１つのダイジェスト映像のシーン情報から、定常シーンのシーン情報のみを抽出する。抽出された定常シーンのシーン情報は、特定シーン情報ＲＡＭ１５に記録される。

この定常シーンの抽出は、例えば視聴者等が、シーンラベルと付加情報とを指定することにより抽出される。

例えば、視聴者が、シーンラベルとして「守備シーン」、付加情報として「１ゴ」等のアウトとなるシーンのスコアブック情報を指定することで、抽出される。

図１に示す特定シーン情報ＲＡＭ１５には、特定シーン抽出部１３で抽出した定常シーンのシーン情報が、抽出された順に新たに連続した定常シーンのシーン番号が付与されて、テーブルの形で記録されている。

次に、上述の手段により抽出された複数の定常シーンを特定するシーン情報に対応した複数の定常シーンを映像ＤＢ１１から抽出し、これらの複数の定常シーンをそれぞれ構成する所定の時間間隔のフレーム画像毎に特徴量ベクトルを抽出する手段について説明する。

上述の特定シーン情報ＲＡＭ１５には、図１に示すように、特徴量抽出部１６が接続されている。特徴量抽出部１６は、特定シーン情報ＲＡＭ１５に記録された定常シーンのシーンを参照して、これらのシーン情報に対応する定常シーンを、特徴量抽出部１６に接続された映像ＤＢ１１からそれぞれ抽出する。そして、定常シーンをそれぞれ構成する所定の時間間隔の映像単位の特徴量ベクトルを算出する。さらに、算出された特徴量ベクトルを、特徴量抽出部１６に接続された特徴量ベクトルＲＡＭ１７に記録する。

ここで映像単位とは、抽出されたシーンを、フレーム単位、または数フレーム単位などの所定の時間間隔でサンプリングして得られる時系列のフレーム画像である。図４は、抽出されたシーンの１つからサンプリングして得られた時系列に沿うＮ枚の映像単位から、映像単位毎に特徴量ベクトルを算出する様子を模式的に示す説明図である。図４に示すように、映像単位の数がＮフレームであったとすると、ｖ１〜ｖＮのＮ個の特徴量ベクトルが算出される。なお、サンプリングする時間間隔は、一定であってもよいし、また、異なった時間間隔毎にサンプリングしてもよい。

また、特徴量ベクトルとは、映像単位毎に算出される特徴量をベクトル表示したものである。例えば、映像コンテンツがＭｐｅｇ−１形式のデータとして映像ＤＢ１１に記録されているとし、この映像コンテンツを構成する１つのシーンの映像単位を、シーンの先頭からI番目のフレーム画像（Ｉフレーム）とP番目のフレーム画像（Ｐフレーム）であるとする。このとき、ＩフレームとＰフレームとから、動きベクトルを算出する。更にこの動きベクトルから、中継カメラの動きを示すパラメータを推定する。この中継カメラの動きを示すパラメータを、Iフレームの特徴量ベクトルとする。すなわち、ある１つのシーンからサンプリングされたｊ番目の映像単位から、中継カメラの動きを示すパラメータとして、ｃ_ｊ，１、ｃ_ｊ，２、・・・、ｃ_ｊ，ＫのＫ個のパラメータを算出した場合、ｊ番目の映像単位の特徴量ベクトルＶｊとは、Ｖｊ＝（ｃ_ｊ，１、ｃ_ｊ，２、・・・、ｃ_ｊ，Ｋ）である。

図１に示す特徴量ベクトルＲＡＭ１７には、特徴量抽出部１６で抽出した定常シーンの特徴量ベクトルが、定常シーンのシーン番号、各シーンを構成する映像単位の映像単位番号とともに、テーブルの形で記録されている。なお、この映像単位番号は、各シーンの先頭から順に付された連続する番号である。

次に、上述の手段により抽出された複数の定常シーンの対応するフレーム画像の特徴量ベクトル集合を学習データとして、この学習データから学習される識別器について説明する。

上述の特徴量ベクトルＲＡＭ１７には、図１に示すように、識別器学習部１８が接続されている。識別器学習部１８は、特徴量ベクトルＲＡＭ１７に記録された定常シーンの特徴量ベクトルの集合から、識別器を作成する。ここで識別器とは、後述するように、特徴量ベクトルの集合である学習データから学習された識別面をいう。そして、少なくとも識別器毎に付与される識別器番号と識別面からなる識別器の情報を、識別器ＤＢ２０に記録する。

ここで、識別面１８１とは、図５Ａに模式的に示すように、特徴量ベクトル空間において、既存のダイジェスト映像から抽出された各定常シーンを構成するそれぞれの映像単位のうち、同一番目（例えばｉ番目）の映像単位がそれぞれ有する特徴量ベクトル（Ｖ_ｉ ^１、Ｖ_ｉ ^２、・・・、Ｖ_ｉ ^Ｍ）を学習データとして学習された面である。すなわち、この特徴量ベクトル（Ｖ_ｉ ^１、Ｖ_ｉ ^２、・・・、Ｖ_ｉ ^Ｍ）の集合は、後に非定常シーン検出部１９にて識別対象シーンの特徴量ベクトルと比較するための基準ベクトルであり、この基準ベクトルによって特徴量ベクトル空間に形成される面が識別面である。

なお、識別面の形成において、特徴量ベクトル（Ｖ_ｉ ^１、Ｖ_ｉ ^２、・・・、Ｖ_ｉ ^Ｍ）のうち、他のベクトルと全く異なる点を示すベクトルが存在する場合、そのベクトルは除外して識別面が学習される。この除外する特徴量ベクトルの範囲は、後述する非定常シーン検出部１９にて識別対象シーンから非定常シーンを識別する識別精度に応じて、任意に指定することができる。

図５Ｂは、時系列に沿って並べられた全部でＮ_Ｍ個の特徴量ベクトルの集合である学習データから、識別器ｆｉ（ｉ＝１〜Ｎ_Ｍ）を学習させる様子を模式的に示す説明図である。図５Ｂに示すように、特徴量ベクトルＲＡＭ１７から、シーン番号が１、２、・・・、Ｍであるそれぞれの定常シーンを構成するそれぞれの映像単位のうち、ｉ番目の映像単位がそれぞれ有する特徴量ベクトルＶ_ｉ ^１、Ｖ_ｉ ^２、・・・、Ｖ_ｉ ^Ｍを抽出する場合、特徴量ベクトル空間において、特徴量ベクトルＶ_ｉ ^１、Ｖ_ｉ ^２、・・・、Ｖ_ｉ ^Ｍの全てからなる集合１８２を囲むことによって、図５Ａに示すような識別面１８１が形成される。この識別面１８１を学習させることで、識別器ｆｉを作成する。なお、図５Ａに示すような識別面１８１は、抽出された全ての特徴量ベクトルから、識別する識別精度に応じて任意に指定した範囲内の特徴量ベクトルからなる集合によって形成されてもよい。

例えば、学習する識別器は、１−ｃｌａｓｓＳＶＭである。学習データの要素である特徴量ベクトルとして、前述のように中継カメラの動きを示すパラメータを用いた場合、１−ｃｌａｓｓＳＶＭは、特徴量ベクトル空間において、それぞれの定常シーンにおける中継カメラの動きを示す複数の特徴量ベクトルを囲むことで形成される識別面を学習する。

以上の構成により、既存のダイジェスト映像から学習データを作成して識別器に学習させることができる。

次に、学習データを学習した識別器を用いて、抽出対象ダイジェスト映像から、通常とは異なるシーン、すなわち、非定常シーンを取り出して表示するための構成について説明する。この構成は、ダイジェスト情報ＤＢ１２に保存された抽出対象ダイジェスト情報から、複数のフレーム画像からなる識別対象シーンを特定するシーン情報を抽出する手段と、抽出された識別対象シーンのシーン情報に対応した識別対象シーンを映像ＤＢ１１から抽出し、この識別対象シーンを構成する所定の時間間隔のフレーム画像毎に特徴量ベクトルを抽出する手段と、抽出された識別対象シーンを構成するフレーム画像毎の特徴量ベクトルを識別器に供給することにより、この識別器が有する学習データである基準ベクトルと、識別対象シーンの特徴量ベクトルとを比較して非定常シーンを出力する手段と、からなる。以下に、これらの構成について、図１及び、図６Ａ乃至図６Ｃを参照して説明する。

なお、この非定常シーンの取り出しは、上述の特定シーン抽出部１３において付加情報を参照することで定常シーンであるか、非定常シーンであるかを区別したのと同様に実行できるとも思われる。しかし、例えば、抽出対象ダイジェスト映像が、新たにダイジェスト情報ＤＢ１２に記録されたばかりのダイジェスト映像であった場合には、各シーンに付加情報は付されておらず、定常シーンであるか、非定常シーンであるかを区別することはできない。また、抽出対象ダイジェスト映像が既存のダイジェスト映像であり、各シーンに付加情報が付されていた場合であっても、ファインプレーシーン等のスコア上に表現されないが視聴する価値の高いシーン等は、付加情報を参照するのみでは区別することができない。従って、上述した識別器を用いて、抽出対象ダイジェスト映像の各シーンが、定常シーンであるか、非定常シーンであるかを識別する必要がある。

初めに、ダイジェスト情報ＤＢ１２に保存された抽出対象ダイジェスト情報から、複数のフレーム画像からなる識別対象シーンを特定するシーン情報を抽出する手段について説明する。

まず、上述のダイジェスト情報ＤＢ１２に記録されたダイジェスト情報によって特定されるダイジェスト映像の中から、例えば視聴者が、抽出対象ダイジェスト映像を指定する。このように、抽出対象ダイジェスト映像を指定すると、このダイジェスト情報ＤＢ１２に接続された図１に示す識別対象シーン抽出部１５において、抽出対象ダイジェスト映像を特定するダイジェスト情報の中から、識別対象シーンを特定するシーン情報が抽出される。このシーン情報によって特定される識別対象シーンは、特定シーン抽出部１３で指定したシーンラベルと同一シーンラベルを有するシーンである。例えば、上述の野球中継の例において、特定シーン抽出部１３で指定したシーンラベルが守備シーンである場合、識別対象シーンとは、抽出対象ダイジェスト映像における守備シーンである。

このような識別対象シーンは、特定シーン抽出部１３で指定したシーンラベルと同一のシーンラベルを指定することで抽出される。抽出された識別対象シーンのシーン情報は、この識別対象シーン抽出部１５に接続された特定シーン情報ＲＡＭ１５に記録される。

特定シーン情報ＲＡＭ１５には、特定シーン抽出部１３で抽出した定常シーンのシーン情報とともに、識別対象シーン抽出部１５で抽出した識別対象シーンのシーン情報が記録されている。

次に、上述の手段により抽出された識別対象シーンのシーン情報に対応した識別対象シーンを映像ＤＢ１１から抽出し、この識別対象シーンを構成するフレーム画像毎に特徴量ベクトルを抽出する手段について説明する。

特定シーン情報ＲＡＭ１５には、上述したように、特徴量抽出部１６が接続されており、定常シーンに対する特徴量ベクトルの算出と同様にして、識別対象シーンを構成する各単位映像の特徴量ベクトルを算出し、この算出された特徴量ベクトルを、特徴量ベクトルＲＡＭ１７に記録する。

特徴量ベクトルＲＡＭ１７には、定常シーンの特徴量ベクトルとともに、識別対象シーンの特徴量ベクトルが記録されている。

次に、上述の手段により抽出された識別対象シーンを構成するフレーム画像毎の特徴量ベクトルを識別器に供給することにより、この識別器が有する基準ベクトルと、識別対象シーンの特徴量ベクトルとを比較して非定常シーンを出力する手段について説明する。

特徴量ベクトルＲＡＭ１７には、図１に示すように、非定常シーン検出部１９が、上述した識別器学習部１８とともに接続されている。この非定常シーン検出部１９は、識別対象シーン抽出部１４で抽出したシーン情報によって特定される識別対象シーンが、非定常シーンであるかどうかを識別する。そして、非定常シーンであると識別された識別対象シーンのシーン情報は、非定常シーン検出部１９に接続された非定常シーン情報ＤＢ２１に記録される。

ここで、識別対象シーンが非定常シーンであるかどうかの識別は、識別対象シーンの特徴量ベクトルと、非定常シーン検出部１９に接続された識別器ＤＢ２０に記録された識別器の情報とを用いて識別する。すなわち、識別器ＤＢ２０に記録された識別器の情報から、対象の識別器を特定し、この特定された識別器に、識別対象シーンの特徴量ベクトルを供給し、これと識別器が有する学習データとを比較することで識別される。

図６Ａ、図６Ｂ、図６Ｃは、定常シーンであるか非定常シーンであるかを識別したい識別対象シーンの特徴量ベクトルｖｉ（ｉ＝１〜Ｎ）を、それぞれ識別器ｆｉ（ｉ＝１〜Ｎ）に時系列順に供給することで、識別対象シーンの識別を行う様子を示した模式図である。図６Ａ、図６Ｂ、図６Ｃに示すように、ｉ＝１から順にＮまで特徴量ベクトルｖｉに対して識別器ｆｉを用いて識別テストを行う。この識別テストの結果、識別対象シーンの特徴量ベクトルｖｉが、識別器ｆｉの識別面内に存在すると判断されれば（図６Ａ、図６Ｂ、図６Ｃにおいて○で示す）、次の特徴量ベクトルの識別に進む。

図６Ａに示すように、識別対象シーンが有する全ての特徴量ベクトルｖｉが、対応する識別器ｆｉの識別面内に存在すれば、その識別対象シーンを定常シーンとして識別する。

反対に、図６Ｂに示すように、特徴量ベクトルｖｉが、識別器ｆｉの識別面外に存在すると判断されれば（図６Ｂにおいて×で示す）、その時点で識別対象シーンを非定常シーンとして識別する。

なお、ｉ＝１からＮまで順に上述の識別テストを行い、特徴量ベクトルｖｉが、識別器ｆｉの識別面外に存在するとの判定が２回以上連続すれば、非定常シーンとして識別してもよい。図６Ｃは、識別面外に存在するとの判定が２回連続した場合に、非定常シーンとして識別する例である。

例えば野球の守備シーンにおいて、映像単位の特徴量ベクトルを、中継カメラの動きを示すパラメータとした場合、識別したい守備シーンのすべての映像単位の識別結果が○であればそのシーンは定常シーン、つまり、中継カメラの動きに異常がなく、アウトになったシーンであると考えられる。一方、途中で識別結果の×が少なくとも１つ以上連続すれば、その時点で中継カメラの動きに何らかの異常が起きたと考えられ、そのシーンは非定常シーンであると識別される。

以上に説明した非定常シーン抽出手段によって抽出された非定常シーンのシーン情報は、非定常シーン検出部１９に接続された非定常シーン情報ＤＢ２１に記録される。

図１に示す非定常シーン情報ＤＢ２１には、非定常シーンとして識別された識別対象シーンのシーン情報が、テーブルの形で記録されている。

この非定常シーン情報ＤＢ２１には、結果表示部２２が接続されている。結果表示部２２は、上述した映像ＤＢ１１も接続されており、非定常シーン情報ＤＢ２１に記録された非定常シーンのシーン情報を参照することで、結果表示部２２に接続された映像ＤＢ１１から対応するシーンが抽出され、この抽出されたシーンが表示される。表示形態は、例えばサムネイル表示であるが、本実施形態において限定されるものではない。

このように、非定常シーン抽出手段によって、抽出対象ダイジェスト映像から非定常シーンを抽出して表示された映像は、視聴する価値の高いシーンのみが抽出されているため、効率的な視聴を実現することができる。

以上に、第１の実施形態に係る映像処理装置の構成について説明した。

次に、上述の映像処理装置の動作について、図７乃至図１２を参照して説明する。

まず、図７を参照して、第１の実施形態に係る映像処理装置による映像処理方法を簡単に説明する。図７は、第１の実施形態に係る映像処理装置による映像処理方法を示すフローチャートである。

図７に示すように、本実施形態の映像処理方法においては、まず、既存のダイジェスト映像から学習データを作成して識別器に学習させる。この方法は、まず初めに、既存のダイジェスト映像の中から、少なくとも１つのダイジェスト映像を指定し、続いて、特定のシーンラベルと付加情報とを指定することにより、特定シーン抽出部１３において、ダイジェスト情報ＤＢ１２に記録された既存のダイジェスト映像のシーン情報から定常シーンのシーン情報が抽出される（Ｓ１０１）。抽出された定常シーンのシーン情報は、特定シーン情報ＲＡＭ１５に記録される。

次に、定常シーンが抽出され、特定シーン情報ＲＡＭ１５に記録されると、特徴量抽出部１６において、抽出された定常シーンを構成するそれぞれの映像単位の特徴量ベクトルが算出される（Ｓ１０２）。算出された特徴量ベクトルは、特徴量ベクトルＲＡＭ１７に記録される。

次に、定常シーンを構成するそれぞれの映像単位の特徴量ベクトルが算出され、特徴量ベクトルＲＡＭ１７に記録されると、識別器学習部１８において、図５Ｂに示すように、特徴量ベクトルＲＡＭ１７に記録された特徴量ベクトルの集合１８２を学習データとし、識別器ｆｉとして図５Ａに示すような識別面１８１を学習させる（Ｓ１０３）。識別器ｆｉの情報は、識別器ＤＢ２０に記録される。

以上のＳ１０１〜Ｓ１０３のステップにより、既存のダイジェスト映像から学習データを作成して識別器に学習させる。続いて、抽出対象ダイジェスト映像から非定常シーンを抽出し、抽出された非定常シーンを表示する。

この方法は、まず、ダイジェスト情報ＤＢ１２に記録されたダイジェスト映像の中から、抽出対象ダイジェスト映像を指定すると、識別対象シーン抽出部１４において、指定された抽出対象ダイジェスト映像のシーン情報から、特定のシーンラベルと同一のシーンラベルを有する識別対象シーンのシーン情報が抽出される。抽出された識別対象シーンのシーン情報は、特定シーン情報ＲＡＭ１５に記録される。そして、特定シーン情報ＲＡＭ１５に記録された識別対象シーンの特徴量ベクトルを算出する（Ｓ１０４）。この算出された識別対象シーンの特徴量ベクトルは、特徴量ベクトルＲＡＭ１７に記録される。

次に、識別対象シーンを抽出し、このシーンの特徴量ベクトルを算出して特徴量ベクトルＲＡＭ１７に記録すると、非定常シーン検出部１９において、特徴量ベクトルＲＡＭ１７に記録された識別対象シーンの特徴量ベクトルと、識別器ＤＢ２０に記録された識別器の情報とを用いて、識別対象シーンが非定常シーンであるか否かを識別する（Ｓ１０５）。識別された非定常シーンのシーン情報は、非定常シーン情報ＤＢ２１に記録される。

以上のＳ１０４、Ｓ１０５のステップにより、抽出対象ダイジェスト映像から非定常シーンが抽出される。

最後に、非定常シーンのシーン情報が抽出され、非定常シーン情報ＤＢ２１に記録されると、このシーン情報を参照することで、映像ＤＢ１１から、非定常シーンを抽出し、この非定常シーンを結果表示部２２に表示する（Ｓ１０６）。

次に、上述の各ステップについて、図８乃至図１２を参照して詳細に説明する。

Ｓ１０１のステップによって、既存のダイジェスト映像から定常シーンを抽出する方法について説明する。

図８は、特定シーン抽出部１３において、定常シーンを抽出する方法を示すフローチャートである。図８に示すように、定常シーンの抽出は、まず、ｉ＝１として（Ｓ２０１）、このｉが、ダイジェスト情報ＤＢ１２に記録された既存のダイジェスト映像のシーン数を超えているかどうかを判断する（Ｓ２０２）。もし超えていれば、抽出動作は終了する。ここでシーン数とは、ダイジェスト映像に含まれるシーンの数をいう。ダイジェスト映像を構成する各シーンには、時系列順に１番から連続した番号がそれぞれ付与されているため、シーン数とは、実質的にはシーン番号の最大値である。

これとは反対に、ｉがシーン数を超えていなければ、既存のダイジェスト映像におけるシーン番号がｉのシーン（以下、ｉ番目のシーンと称す）において、指定されたシーンラベルと付加情報を参照し、ｉ番目のシーンが抽出対象の定常シーンであれば、ｉ番目のシーンのシーン情報を、特定シーン情報ＲＡＭ１５に記録する（Ｓ２０３）。なお、特定シーン情報ＲＡＭ１５に記録されるシーン情報には、記録される順に、新たに連続したシーン番号が付与される。

次に、ｉ＝ｉ＋１として（Ｓ２０４）、次のシーン、すなわち、ｉ＋１番目のシーンの参照に移る。

以上に説明したＳ２０２〜Ｓ２０４の動作を、ｉが、抽出対象のダイジェスト映像におけるシーン数を超えるまで繰り返すことで、既存のダイジェスト映像から定常シーンが抽出される。

次に、Ｓ１０２のステップによって、定常シーンから特徴量ベクトルを算出する方法について説明する。

図９は、特徴量抽出部１６において、定常シーンを構成するそれぞれの映像単位の特徴量ベクトルを算出する方法を示すフローチャートである。

図９に示すように、特徴量ベクトルの算出は、まず、ｉ＝１として（Ｓ３０１）、ｉが、特定シーン情報ＲＡＭ１５に記録されている定常シーンのシーン数を超えているかどうかを判断する（Ｓ３０２）。もし超えていれば、抽出動作は終了する。

これとは反対に、ｉが、シーン数を超えていなければ、ｊ＝１として（Ｓ３０３）、このｊが、特定シーン情報ＲＡＭ１５に記録されているｉ番目のシーンを構成する映像単位の映像単位数を超えているかどうかを判断する（Ｓ３０４）。もし超えていれば、ｉ＝ｉ＋１として（Ｓ３０５）、Ｓ３０２のステップに戻る。例えば、ある１つの定常シーンからサンプリングされた映像単位が１００であれば、映像単位数は１００であるため、ｉが１００より大きければ、ｉ＝ｉ＋１として、Ｓ３０２のステップに戻る。

これとは反対に、ｊが、ｉ番目のシーンの映像単位数を超えていなければ、映像ＤＢ１１を参照し、ｉ番目のシーンにおけるｊ番目の映像単位の特徴量ベクトルを算出する。算出された特徴量ベクトルは、特徴量ベクトルＲＡＭ１７に記録される（Ｓ３０６）。

次に、特徴量ベクトルを算出し、これを特徴量ベクトルＲＡＭ１７に記録すると、ｊ＝ｊ＋１として（Ｓ３０７）、Ｓ３０４のステップに戻る。

以上に説明したＳ３０２〜Ｓ３０８の動作を、ｊがｉ番目のシーンの映像単位数を超え、ｉが特定シーン情報ＲＡＭ１５に記録されているシーン数を超えるまで繰り返すことで、既存のダイジェスト映像から抽出された定常シーンを構成するそれぞれの映像単位の特徴量ベクトルが算出される。

次に、Ｓ１０３のステップによって、定常シーンから算出された特徴量ベクトルから学習データを作成し、この学習データを識別器に学習させる方法について説明する。

図１０は、識別器学習部１８において、図５Ａに示すような識別面１８１を学習させて識別器ｆｉを作成する方法を示すフローチャートである。なお、以下の説明において、特徴量ベクトルＲＡＭ１７に記録されている定常シーン数をＭとし、ｊ番目の定常シーンの映像単位数をＮｊとする点は、上述した通りである。ここではさらに、ｊ番目の定常シーンを構成する単位映像のうち、ｉ番目の映像単位の特徴量ベクトルをｖ（ｊ，ｉ）とする。

図１０に示すように、特徴量ベクトルＲＡＭ１７に記録された学習データから識別面１８１を学習して識別器ｆｉを構築する方法は、まず、ｉ＝１として（Ｓ４０１）、このｉが、特徴量ベクトルＲＡＭ１７に記録された定常シーンの映像単位数Ｎｊ（ｊ＝１〜Ｍ）を超えているかどうかを判断する（Ｓ４０２）。もし超えていれば、特徴量ベクトル（学習データ）の抽出動作を終了する。

反対に、ｉが、特徴量ベクトルＲＡＭ１７に記録された定常シーンの映像単位数Ｎｊ（ｊ＝１〜Ｍ）を超えていなければ、特徴量ベクトルＲＡＭ１７に記録されているＭ個の定常シーンの全てについて、それぞれｉ番目の映像単位から算出されたＭ個の特徴量ベクトルｖ（ｊ，ｉ）（ｊ＝１〜Ｍ）を集める。そして、集められたＭ個の特徴量ベクトルを学習データとして識別面１８１を学習し、識別器ｆｉを作成する（Ｓ４０３）。

次に、ｉ＝ｉ＋１とし（Ｓ４０４）、次の単位映像の識別器ｆｉ＋１の学習に移る。

以上のＳ４０２〜Ｓ４０４の動作を、ｉが、特徴量ベクトルＲＡＭ１７に記録された定常シーンの映像単位数Ｎｊ（ｊ＝１〜Ｍ）を超えるまで繰り返すことで、Ｎｊ個の識別器ｆのそれぞれを学習する。

次に、Ｓ１０４のステップによって、ダイジェスト情報ＤＢ１２に記録された抽出対象ダイジェスト映像から、識別対象シーンを抽出し、このシーンの特徴量ベクトルを算出する方法について説明する。

図１１は、抽出対象ダイジェスト映像から、識別対象シーンを抽出する方法を示すフローチャートである。

図１１に示すように、識別対象シーンの抽出は、まず抽出対象ダイジェスト映像が指定されると、ｉ＝１として（Ｓ５０１）、このｉが、ダイジェスト情報ＤＢ１２に記録された抽出対象ダイジェスト映像が有するシーン数を超えているかどうかを判断する（Ｓ５０２）。もし超えていれば、識別対象シーンの抽出を終了する。

反対に、ｉが、抽出対象ダイジェスト映像が有するシーン数を超えていなければ、抽出対象ダイジェスト映像のｉ番目のシーンを参照し、ｉ番目のシーンが、Ｓ１０１のステップで指定したシーンラベルと同一の指定したシーンラベルを有していれば、そのシーンを識別対象シーンとして、そのシーンが有するシーン情報を特定シーン情報ＲＡＭ１５に記録する（Ｓ５０３）。なお、特定シーン情報ＲＡＭ１５に記録されるシーン情報には、記録される順に、新たに連続したシーン番号が付与される。

次に、特定シーン情報ＲＡＭ１５に記録された識別対象シーンのシーン情報から、特徴量抽出部１６において、識別対象シーンの特徴量ベクトルを算出し、結果を特徴量ベクトルＲＡＭ１７に記録する（Ｓ５０４）。ここで、識別対象シーンの特徴量ベクトルの算出は、図９に示す動作と同様に実行する。

次に、ｉ＝ｉ＋１とし、次のシーンの参照に移る（Ｓ５０５）。

以上のＳ５０２〜Ｓ５０５の動作を、ｉが、抽出対象ダイジェスト映像が有するシーン数を超えるまで繰り返すことで、抽出対象ダイジェスト映像から、識別対象シーンが抽出され、このシーンの特徴量ベクトルが算出される。

次に、Ｓ１０５のステップによって、識別対象シーンから、非定常シーンを抽出する方法について説明する。

図１２は、識別対象シーンから、非定常シーンを抽出する方法を示すフローチャートである。

図１２に示すように、非定常シーンの抽出は、まず、ｉ＝１として（Ｓ６０１）、ｉが、識別対象シーンの特徴量ベクトルの数Ｎ、すなわち、識別対象シーンを構成する映像単位数を超えているかどうかを判断する（Ｓ６０２）。もし超えていれば、非定常シーンの検出を終了する。

反対に、ｉが、識別対象シーンを構成する映像単位数Ｎを超えていなければ、特徴量ベクトルＲＡＭ１７に記録されている識別対象シーンのｉ番目の特徴量ベクトルｖｉを、識別器ＤＢ２０に記録されている識別器ｆｉにかけ（Ｓ６０３）、識別を行う。

ここで識別は、図６Ａ乃至図６Ｃに示したように、ｉ番目の特徴量ベクトルｖｉを特徴量空間にプロットし、学習された識別器ｆｉの識別面１８１と比較することで行われる。識別面１８１は、複数の定常シーンが有するそれぞれの特徴量ベクトルから学習されたものである。比較の結果、識別対象シーンのｉ番目の特徴量ベクトルｖｉが、識別面外であれば、識別対象シーンを非定常シーンとして識別し（Ｓ６０４）、非定常シーン情報ＤＢ２１に、識別対象シーンのシーン情報を記録する（Ｓ６０５）。

一方で、ｉ番目の特徴量ベクトルｖｉが、識別器ｆｉの識別面内にあれば、ｉ＝ｉ＋１として、次の特徴量ベクトルの識別に移る（Ｓ６０６）。

以上のＳ６０２〜Ｓ６０６の動作を、ｉが、特徴量ベクトルの数Ｎを超えるまで繰り返すことで、識別対象シーンから非定常シーンが抽出される。これとは逆に、識別の結果、識別対象シーンの特徴量ベクトルｖｉを識別器ｆｉにかけた結果、一度も非定常シーンと識別されなかった場合、その識別対象シーンは定常シーンと識別される。

なお、上述の識別方法は、一度でも特徴量ベクトルが、識別器に学習させた学習データである識別面の外にあると判断されれば、そのシーンを非定常シーンとして処理した。しかし、この判断は、連続して複数回識別面の外にあると判断された場合に、非定常シーンとして処理するようにしてもよい。すなわち、特徴量ベクトルが、識別器に学習させた学習データである識別面の外にあるという判断が、少なくとも一回なされれば、非定常シーンとして処理する。

また、上述の場合は、特徴量ベクトルの数と識別器の数とが同数であったが、特徴量ベクトルの数が識別器の数より多かった場合は、識別器の数だけ特徴量ベクトルを判断することで、定常／非定常を判断してもよいし、また、特徴量ベクトルの数が識別器の数より多いと認識された時点で、このシーンを非定常シーンであると判断してもよい。特にこの判断は、特徴量ベクトルの数が識別器の数より多い時点で、カメラの動きに何らかの異常が生じている可能性が高いためである。

このように識別対象シーンから非定常シーンが抽出され、この非定常シーンのシーン情報が、非定常シーン情報ＤＢ２１に記録されると、Ｓ１０６のステップに従って、非定常シーンが結果表示部２２に表示される。

以上に示す第１の実施形態に係る映像処理装置及びその方法によれば、学習手段によって、既存のダイジェスト映像から抽出された定常シーンの特徴量ベクトルを識別器に学習させる。そして、非定常シーン抽出手段において、この識別器を用いて、抽出対象ダイジェスト映像から抽出された識別対象シーンから、非定常シーンのみが抽出される。最後に、この抽出された非定常シーンを表示する。従って、抽出対象ダイジェスト映像から、視聴する価値の高い非定常シーンのみを抽出した効率的なダイジェスト映像を作成することができる。

（第２の実施形態）
次に、本発明の他の実施形態として、第２の実施形態に係る映像処理装置について、図面を参照して説明する。

図１３は、第２の実施形態に係る映像処理装置の構成を示すブロック図である。図１３に示すように、第２の実施形態に係る映像処理装置は、
映像ＤＢ１１とダイジェスト情報ＤＢ１２とに接続されたダイジェスト作成部２３を有する点が、第１の実施形態に係る映像処理装置と異なっている。

図１４は、第２の実施形態に係る映像処理装置の動作を示すフローチャートである。第２の実施形態に係る映像処理装置の動作に関しては、映像ＤＢ１１に記録された映像から、例えば上述した従来のダイジェスト映像作成技術によりダイジェスト映像を作成し、作成されたダイジェスト映像を図３Ｂに示すテーブルの形でダイジェスト情報ＤＢ１２に格納する（Ｓ７００）以外は、第１の実施形態に係る映像処理装置の動作と同様であるため、詳しい説明は省略する。

以上に説明したように、第２の実施形態に係る映像処理装置であっても、第１の実施形態と同様の効果を得ることができる。

（第３の実施形態）
次に、本発明の他の実施形態として、第３の実施形態に係る映像処理装置について、図面を参照して説明する。

図１５は、第３の実施形態に係る映像処理装置の構成を示すブロック図である。図１５に示すように、第３の実施形態に係る映像処理装置は、ダイジェスト作成部２３で作成されるダイジェスト映像に付与される付加情報が、例えばインターネット２４等のネットワークを通じて外部から得ることができる点が、第２の実施形態と異なっている。

すなわち、ダイジェスト情報ＤＢ１２には、ダイジェスト映像に付加情報を付与するための付加情報付与部２５が接続されている。この付加情報は、付加情報付与部２５に接続された付加情報ＤＢ２６に格納されており、このＤＢ２６から得ることができる。付加情報ＤＢ２６は、例えばインターネット２４等のネットワークに、付加情報入手部２７を介して接続されており、付加情報ＤＢ２６に格納される付加情報は、インターネット２４を介して外部から入手することができる。

図１６は、上述した第３の実施形態に係る映像処理装置の動作を示すフローチャートである。第３の実施形態に係る映像処理装置の動作に関しても、ダイジェスト作成部でダイジェスト映像を作成するステップ（Ｓ８００）と、Ｓ８００で作成されたダイジェスト映像から定常シーンを抽出するステップ（Ｓ８０１）から、結果を表示するステップ（Ｓ８０６）までは、第２の実施形態と同様であるため、詳しい説明は省略する。ここでは、ダイジェスト情報ＤＢ１２に記録されているシーンのシーン情報に付加情報を付与するステップについて、説明する。

まず、ダイジェスト作成部２３でダイジェスト映像が作成される（Ｓ８００）と、付加情報入手部２７は、インターネット２４を通じて付加情報を入手し、付加情報ＤＢ２６に格納する（Ｓ８００１）。例えば、インターネット上の野球のスコア情報から、「２ゴ」や「３失」などのスコアを入手する。

次に、付加情報付与部２５により、インターネット２４を通じて入手され、付加情報ＤＢ２６に格納された付加情報を、ダイジェスト情報ＤＢ１２に記録されているシーンのシーン情報に付与する（Ｓ８００２）。例えば、各野球の守備シーンのシーン情報に対して、「２ゴ」や「３失」などのスコア情報を付加情報として付与する。

以上に説明したＳ８００１、Ｓ８００２のステップにより、ダイジェスト映像に付加情報を付与した後は、第１の実施形態と同様である。

このように、第３の実施形態に係る映像処理装置であっても、第１の実施形態と同様の効果を得ることができる。

以上に、本発明の実施形態に係る映像処理装置について説明した。第１、第２、第３の各実施形態による映像処理方法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することができる。

また、本発明は、上述の実施形態そのままに限定されるものではなく、その趣旨を逸脱しない範囲で自由に構成要素等を変形、削除して具体化することができる。

１１・・・映像ＤＢ、１２・・・ダイジェスト情報ＤＢ、１３・・・特定シーン抽出部、１４・・・識別対象シーン抽出部、１５・・・特定シーン情報ＲＡＭ、１６・・・特徴量抽出部、１７・・・特徴量ベクトルＲＡＭ、１８・・・識別器学習部、１８１・・・識別面、１８２・・・特徴量ベクトルの集合、１９・・・非定常シーン検出部、２０・・・識別器ＤＢ、２１・・・非定常シーン情報ＤＢ、２２・・・結果表示部、２３・・・ダイジェスト作成部、２４・・・インターネット、２５・・・付加情報付与部、２６・・・付加情報ＤＢ、２７・・・付加情報入手部。

Claims (5)

1. 映像コンテンツ情報を記憶する映像データベースと、
   前記映像コンテンツに含まれる特定シーンから構成されるダイジェスト映像を特定するダイジェスト情報を保存するダイジェスト情報データベースと、
   このダイジェスト情報データベースに保存された前記ダイジェスト情報から、複数のフレーム画像からなる複数の定常シーンを特定するシーン情報を抽出する特定シーン抽出部と、
   この特定シーン抽出部により抽出された前記シーン情報に対応した前記複数の定常シーンを、前記映像データベースから抽出し、これらの複数の定常シーンをそれぞれ構成する所定の時間間隔のフレーム画像毎に特徴量ベクトルを抽出する特徴量抽出部と、
   この特徴量抽出部により抽出された前記複数の定常シーンの対応するフレーム画像毎の特徴量ベクトル集合により識別器を作成する識別器学習部と、
   前記ダイジェスト情報データベースに保存された抽出対象ダイジェスト情報から、複数のフレーム画像からなる識別対象シーンを特定するシーン情報を抽出する識別対象シーン抽出部と、
   この識別対象シーン抽出部により抽出された前記シーン情報に対応する前記識別対象シーンを前記映像データベースから抽出し、この識別対象シーンを構成する前記フレーム画像毎に特徴量ベクトルを抽出する前記特徴量抽出部と、
   この特徴量抽出部により抽出された前記特徴量ベクトルを前記識別器に供給して比較することにより、前記識別対象シーンが非定常シーンであるか否かを識別する非定常シーン検出部と、
   この非定常シーン検出部により識別された前記非定常シーンを表示する結果表示部と、
   を具備することを特徴とする映像処理装置。
2. 前記映像データベースと前記ダイジェスト情報データベースとに接続され、前記映像データベースに記録された前記映像コンテンツから前記ダイジェスト映像を作成するダイジェスト作成部をさらに具備することを特徴とする請求項１に記載の映像処理装置。
3. ネットワークを介して付加情報を入手し、この入手された前記付加情報を、前記ダイジェスト情報を保存する前記ダイジェスト情報データベースに付与する付加情報付与手段をさらに具備することを特徴とする請求項２に記載の映像処理装置。
4. 前記識別器と、前記識別対象シーンの特徴量ベクトルとを比較することにより非定常シーンを識別する手段は、前記識別対象シーンの特徴量ベクトルの少なくとも１つが、対応する前記識別器が特徴量ベクトル空間に形成する領域の範囲外である場合に、前記識別対象シーンを前記非定常シーンとして識別することを特徴とする請求項１乃至３のいずれかに記載の映像処理装置。
5. 特定シーン抽出部において、ダイジェスト情報データベースに保存され、映像コンテンツに含まれる特定シーンから構成されるダイジェスト映像を特定するダイジェスト情報から、複数のフレーム画像からなる複数の定常シーンを特定するシーン情報を抽出するステップと、
   特徴量抽出部において、前記ステップにより抽出された前記シーン情報に対応した前記複数の定常シーンを、前記映像データベースから抽出し、これらの複数の定常シーンをそれぞれ構成する所定の時間間隔のフレーム画像毎に特徴量ベクトルを抽出するステップと、
   識別器学習部において、前記特徴量ベクトルを抽出するステップにより抽出された前記複数の定常シーンの対応するフレーム画像毎の特徴量ベクトル集合により識別器を作成するステップと、
   識別対象シーン抽出部において、前記ダイジェスト情報データベースに保存された抽出対象ダイジェスト情報から、複数のフレーム画像からなる識別対象シーンを特定するシーン情報を抽出するステップと、
   前記特徴量抽出部において、前記識別対象シーンを特定するシーン情報を抽出するステップにより抽出された前記シーン情報に対応した前記識別対象シーンを前記映像データベースから抽出し、この識別対象シーンを構成する前記フレーム画像毎に特徴量ベクトルを抽出するステップと、
   非定常シーン抽出部において、前記識別対象シーンの特徴量ベクトルを抽出するステップにより、前記識別対象シーンが非定常シーンであるか否かを識別するステップと、
   結果表示部において、前記非定常シーンであるか否かを識別するステップにより識別された前記非定常シーンを表示するステップと、
   を具備することを特徴とする映像処理方法。

Images