以下、本発明の実施形態について、図面を参照して説明する。なお、以下に説明する各実施形態に係る映像処理装置は、既存のダイジェスト映像から通常のシーンを取り出し、これらのシーンの特徴量を学習データとして識別器に学習させる。そして、この識別器を用いて、視聴したいダイジェスト映像から、通常とは異なるシーンを取り出して表示する映像処理装置である。なお、以下の説明において、視聴したいダイジェスト映像を、抽出対象ダイジェスト映像と称す。
(第1の実施形態)
まず、第1の実施形態に係る映像処理装置について、図1乃至図12を参照して説明する。なお、本実施形態に係る映像処理装置においては、機器構成数が最小である。
初めに、既存のダイジェスト映像から学習データを作成して識別器に学習させるための構成について、説明する。この構成は、ダイジェスト情報DB12に保存されたダイジェスト情報から、複数のフレーム画像からなる複数の定常シーンを特定するシーン情報を抽出する特定シーン抽出手段と、抽出されたシーン情報に対応する複数の定常シーンを映像DB11から抽出し、これらの複数の定常シーンをそれぞれ構成するフレーム画像毎に特徴量ベクトルを抽出する手段と、抽出された複数の定常シーンの対応するフレーム画像毎の特徴量ベクトル集合を基準ベクトルとして有する識別器と、からなる。以下に、これらの構成について、図1乃至図5を参照して詳細に説明する。
図1は、第1の実施形態に係る映像処理装置の構成を示すブロック図である。図1に示すように、まず、第1の実施形態に係る映像処理装置において、映像データベース11(以下、データベースをDBと称す)には、複数の映像コンテンツが、図2に示すテーブルの形で記録されている。
図2に示すテーブルを構成する各レコードは、映像コンテンツを識別する映像番号、映像コンテンツの名前である映像名、映像コンテンツの種類である種類、映像コンテンツが作成された日時である作成日時、映像コンテンツの映像時間である時間、実際に映像データが格納されている記録領域(図示せず)へのリンク先情報を示す映像データリンクからなる。なお、上述の例においては、この映像DB11には、映像コンテンツが実際に格納された記憶領域へのリンク先情報が保存されているが、実際に映像コンテンツが保存されていてもよい。
また、図1に示すダイジェスト情報DB12には、映像DB11に記録された映像コンテンツに含まれる特定のシーンから構成されるダイジェスト映像を特定するダイジェスト情報が記録されている。
図3Aは、上述のダイジェスト映像の一例として、映像DB11に記録された「プロ野球オールスター戦第1戦」から作成されたダイジェスト映像を示す模式図である。図3Aに示すダイジェスト映像は、バッター対ピッチャーのシーンがあり、バッターが打つと内野守備のシーンに移り、次に打ったバッターの選手の顔のアップのシーンになり、またピッチャー対バッターのシーンになる映像である。
このような図3Aに示すダイジェスト映像は、ダイジェスト情報DB12に、図3Bに示すテーブルの形で記録されている。このテーブルを構成する各レコードには、それぞれに、シーン情報が記録されている。
シーン情報は、シーン毎に連続したシーン番号と、シーンラベルとを有し、さらに、各シーンの映像コンテンツ中における位置を示す位置情報と、各シーンが視聴する価値の低い定常シーンであるか、視聴する価値の高い非定常シーンであるかを区別する情報と、を備えている。この定常シーンと非定常シーンとについては、後に詳述する。
ここで、シーンラベルとは、各シーンの映像名である。例えば、上述の野球中継のダイジェスト映像の例において、シーンラベルとは、「ピッチャー対バッター」、「守備シーン」、「選手アップ」などである。
また、位置情報は、映像DB11に記録された映像コンテンツの映像番号に対応した映像番号及び、映像DB11に記録された映像コンテンツのフレーム番号に対応し、それぞれのシーンの開始フレームを示す開始フレーム番号及び、シーンの終了フレームを示す終了フレーム番号からなる。
また、定常シーンであるか非定常シーンであるかを区別する情報は、付加情報1〜Nからなる。付加情報は、図3Bの例ではN=2であり、例えば付加情報1には、何回表もしくは何回裏のプレイシーンであるかがわかる情報が記録されている。また、付加情報2には、例えば守備シーンに対する「1ゴ」(1塁ゴロの意味)、「3失」(3塁手がエラーしたという意味)などのスコアブック情報が記録されている。すなわち、各シーンが定常シーンであるか非定常シーンであるかは、この付加情報によって区別される。
ここで定常シーンとは、通常起こり得る確率が高い、特に視聴する価値の低いシーンである。例えば、野球中継の映像における定常シーンとは、守備シーンにおけるアウトとなるシーンである。すなわち、「守備シーン」なるシーンラベルを有するシーンの中で、「1ゴ」などと記された付加情報を有するシーンである。
これとは反対に、非定常シーンとは、通常では起こり得る確率が低い、特に視聴する価値の高いシーンである。例えば、野球中継の映像における非定常シーンとは、守備シーンにおけるエラーのシーンである。すなわち、「守備シーン」なるシーンラベルを有するシーンの中で、「3失」などと記された付加情報を有するシーンである。
なお、この付加情報は、例えば視聴者等によって入力されたものであってもよいし、後述する第3の実施形態のように、例えばインターネット等を介して外部から取得された情報であってもよい。
次に、上述のダイジェスト情報DB12に保存されたダイジェスト情報から、複数のフレーム画像からなる複数の定常シーンを特定するシーン情報を抽出する特定シーン抽出手段について説明する。
上述したダイジェスト情報DB12には、図1に示すように、特定シーン抽出部13が接続される。この特定シーン抽出部13は、ダイジェスト情報DB12に記録されている既存のダイジェスト映像のうち、指定された少なくとも1つのダイジェスト映像のシーン情報から、定常シーンのシーン情報のみを抽出する。抽出された定常シーンのシーン情報は、特定シーン情報RAM15に記録される。
この定常シーンの抽出は、例えば視聴者等が、シーンラベルと付加情報とを指定することにより抽出される。
例えば、視聴者が、シーンラベルとして「守備シーン」、付加情報として「1ゴ」等のアウトとなるシーンのスコアブック情報を指定することで、抽出される。
図1に示す特定シーン情報RAM15には、特定シーン抽出部13で抽出した定常シーンのシーン情報が、抽出された順に新たに連続した定常シーンのシーン番号が付与されて、テーブルの形で記録されている。
次に、上述の手段により抽出された複数の定常シーンを特定するシーン情報に対応した複数の定常シーンを映像DB11から抽出し、これらの複数の定常シーンをそれぞれ構成する所定の時間間隔のフレーム画像毎に特徴量ベクトルを抽出する手段について説明する。
上述の特定シーン情報RAM15には、図1に示すように、特徴量抽出部16が接続されている。特徴量抽出部16は、特定シーン情報RAM15に記録された定常シーンのシーンを参照して、これらのシーン情報に対応する定常シーンを、特徴量抽出部16に接続された映像DB11からそれぞれ抽出する。そして、定常シーンをそれぞれ構成する所定の時間間隔の映像単位の特徴量ベクトルを算出する。さらに、算出された特徴量ベクトルを、特徴量抽出部16に接続された特徴量ベクトルRAM17に記録する。
ここで映像単位とは、抽出されたシーンを、フレーム単位、または数フレーム単位などの所定の時間間隔でサンプリングして得られる時系列のフレーム画像である。図4は、抽出されたシーンの1つからサンプリングして得られた時系列に沿うN枚の映像単位から、映像単位毎に特徴量ベクトルを算出する様子を模式的に示す説明図である。図4に示すように、映像単位の数がNフレームであったとすると、v1〜vNのN個の特徴量ベクトルが算出される。なお、サンプリングする時間間隔は、一定であってもよいし、また、異なった時間間隔毎にサンプリングしてもよい。
また、特徴量ベクトルとは、映像単位毎に算出される特徴量をベクトル表示したものである。例えば、映像コンテンツがMpeg−1形式のデータとして映像DB11に記録されているとし、この映像コンテンツを構成する1つのシーンの映像単位を、シーンの先頭からI番目のフレーム画像(Iフレーム)とP番目のフレーム画像(Pフレーム)であるとする。このとき、IフレームとPフレームとから、動きベクトルを算出する。更にこの動きベクトルから、中継カメラの動きを示すパラメータを推定する。この中継カメラの動きを示すパラメータを、Iフレームの特徴量ベクトルとする。すなわち、ある1つのシーンからサンプリングされたj番目の映像単位から、中継カメラの動きを示すパラメータとして、cj,1、cj,2、・・・、cj,KのK個のパラメータを算出した場合、j番目の映像単位の特徴量ベクトルVjとは、Vj=(cj,1、cj,2、・・・、cj,K)である。
図1に示す特徴量ベクトルRAM17には、特徴量抽出部16で抽出した定常シーンの特徴量ベクトルが、定常シーンのシーン番号、各シーンを構成する映像単位の映像単位番号とともに、テーブルの形で記録されている。なお、この映像単位番号は、各シーンの先頭から順に付された連続する番号である。
次に、上述の手段により抽出された複数の定常シーンの対応するフレーム画像の特徴量ベクトル集合を学習データとして、この学習データから学習される識別器について説明する。
上述の特徴量ベクトルRAM17には、図1に示すように、識別器学習部18が接続されている。識別器学習部18は、特徴量ベクトルRAM17に記録された定常シーンの特徴量ベクトルの集合から、識別器を作成する。ここで識別器とは、後述するように、特徴量ベクトルの集合である学習データから学習された識別面をいう。そして、少なくとも識別器毎に付与される識別器番号と識別面からなる識別器の情報を、識別器DB20に記録する。
ここで、識別面181とは、図5Aに模式的に示すように、特徴量ベクトル空間において、既存のダイジェスト映像から抽出された各定常シーンを構成するそれぞれの映像単位のうち、同一番目(例えばi番目)の映像単位がそれぞれ有する特徴量ベクトル(Vi 1、Vi 2、・・・、Vi M)を学習データとして学習された面である。すなわち、この特徴量ベクトル(Vi 1、Vi 2、・・・、Vi M)の集合は、後に非定常シーン検出部19にて識別対象シーンの特徴量ベクトルと比較するための基準ベクトルであり、この基準ベクトルによって特徴量ベクトル空間に形成される面が識別面である。
なお、識別面の形成において、特徴量ベクトル(Vi 1、Vi 2、・・・、Vi M)のうち、他のベクトルと全く異なる点を示すベクトルが存在する場合、そのベクトルは除外して識別面が学習される。この除外する特徴量ベクトルの範囲は、後述する非定常シーン検出部19にて識別対象シーンから非定常シーンを識別する識別精度に応じて、任意に指定することができる。
図5Bは、時系列に沿って並べられた全部でNM個の特徴量ベクトルの集合である学習データから、識別器fi(i=1〜NM)を学習させる様子を模式的に示す説明図である。図5Bに示すように、特徴量ベクトルRAM17から、シーン番号が1、2、・・・、Mであるそれぞれの定常シーンを構成するそれぞれの映像単位のうち、i番目の映像単位がそれぞれ有する特徴量ベクトルVi 1、Vi 2、・・・、Vi Mを抽出する場合、特徴量ベクトル空間において、特徴量ベクトルVi 1、Vi 2、・・・、Vi Mの全てからなる集合182を囲むことによって、図5Aに示すような識別面181が形成される。この識別面181を学習させることで、識別器fiを作成する。なお、図5Aに示すような識別面181は、抽出された全ての特徴量ベクトルから、識別する識別精度に応じて任意に指定した範囲内の特徴量ベクトルからなる集合によって形成されてもよい。
例えば、学習する識別器は、1−classSVMである。学習データの要素である特徴量ベクトルとして、前述のように中継カメラの動きを示すパラメータを用いた場合、1−classSVMは、特徴量ベクトル空間において、それぞれの定常シーンにおける中継カメラの動きを示す複数の特徴量ベクトルを囲むことで形成される識別面を学習する。
以上の構成により、既存のダイジェスト映像から学習データを作成して識別器に学習させることができる。
次に、学習データを学習した識別器を用いて、抽出対象ダイジェスト映像から、通常とは異なるシーン、すなわち、非定常シーンを取り出して表示するための構成について説明する。この構成は、ダイジェスト情報DB12に保存された抽出対象ダイジェスト情報から、複数のフレーム画像からなる識別対象シーンを特定するシーン情報を抽出する手段と、抽出された識別対象シーンのシーン情報に対応した識別対象シーンを映像DB11から抽出し、この識別対象シーンを構成する所定の時間間隔のフレーム画像毎に特徴量ベクトルを抽出する手段と、抽出された識別対象シーンを構成するフレーム画像毎の特徴量ベクトルを識別器に供給することにより、この識別器が有する学習データである基準ベクトルと、識別対象シーンの特徴量ベクトルとを比較して非定常シーンを出力する手段と、からなる。以下に、これらの構成について、図1及び、図6A乃至図6Cを参照して説明する。
なお、この非定常シーンの取り出しは、上述の特定シーン抽出部13において付加情報を参照することで定常シーンであるか、非定常シーンであるかを区別したのと同様に実行できるとも思われる。しかし、例えば、抽出対象ダイジェスト映像が、新たにダイジェスト情報DB12に記録されたばかりのダイジェスト映像であった場合には、各シーンに付加情報は付されておらず、定常シーンであるか、非定常シーンであるかを区別することはできない。また、抽出対象ダイジェスト映像が既存のダイジェスト映像であり、各シーンに付加情報が付されていた場合であっても、ファインプレーシーン等のスコア上に表現されないが視聴する価値の高いシーン等は、付加情報を参照するのみでは区別することができない。従って、上述した識別器を用いて、抽出対象ダイジェスト映像の各シーンが、定常シーンであるか、非定常シーンであるかを識別する必要がある。
初めに、ダイジェスト情報DB12に保存された抽出対象ダイジェスト情報から、複数のフレーム画像からなる識別対象シーンを特定するシーン情報を抽出する手段について説明する。
まず、上述のダイジェスト情報DB12に記録されたダイジェスト情報によって特定されるダイジェスト映像の中から、例えば視聴者が、抽出対象ダイジェスト映像を指定する。このように、抽出対象ダイジェスト映像を指定すると、このダイジェスト情報DB12に接続された図1に示す識別対象シーン抽出部15において、抽出対象ダイジェスト映像を特定するダイジェスト情報の中から、識別対象シーンを特定するシーン情報が抽出される。このシーン情報によって特定される識別対象シーンは、特定シーン抽出部13で指定したシーンラベルと同一シーンラベルを有するシーンである。例えば、上述の野球中継の例において、特定シーン抽出部13で指定したシーンラベルが守備シーンである場合、識別対象シーンとは、抽出対象ダイジェスト映像における守備シーンである。
このような識別対象シーンは、特定シーン抽出部13で指定したシーンラベルと同一のシーンラベルを指定することで抽出される。抽出された識別対象シーンのシーン情報は、この識別対象シーン抽出部15に接続された特定シーン情報RAM15に記録される。
特定シーン情報RAM15には、特定シーン抽出部13で抽出した定常シーンのシーン情報とともに、識別対象シーン抽出部15で抽出した識別対象シーンのシーン情報が記録されている。
次に、上述の手段により抽出された識別対象シーンのシーン情報に対応した識別対象シーンを映像DB11から抽出し、この識別対象シーンを構成するフレーム画像毎に特徴量ベクトルを抽出する手段について説明する。
特定シーン情報RAM15には、上述したように、特徴量抽出部16が接続されており、定常シーンに対する特徴量ベクトルの算出と同様にして、識別対象シーンを構成する各単位映像の特徴量ベクトルを算出し、この算出された特徴量ベクトルを、特徴量ベクトルRAM17に記録する。
特徴量ベクトルRAM17には、定常シーンの特徴量ベクトルとともに、識別対象シーンの特徴量ベクトルが記録されている。
次に、上述の手段により抽出された識別対象シーンを構成するフレーム画像毎の特徴量ベクトルを識別器に供給することにより、この識別器が有する基準ベクトルと、識別対象シーンの特徴量ベクトルとを比較して非定常シーンを出力する手段について説明する。
特徴量ベクトルRAM17には、図1に示すように、非定常シーン検出部19が、上述した識別器学習部18とともに接続されている。この非定常シーン検出部19は、識別対象シーン抽出部14で抽出したシーン情報によって特定される識別対象シーンが、非定常シーンであるかどうかを識別する。そして、非定常シーンであると識別された識別対象シーンのシーン情報は、非定常シーン検出部19に接続された非定常シーン情報DB21に記録される。
ここで、識別対象シーンが非定常シーンであるかどうかの識別は、識別対象シーンの特徴量ベクトルと、非定常シーン検出部19に接続された識別器DB20に記録された識別器の情報とを用いて識別する。すなわち、識別器DB20に記録された識別器の情報から、対象の識別器を特定し、この特定された識別器に、識別対象シーンの特徴量ベクトルを供給し、これと識別器が有する学習データとを比較することで識別される。
図6A、図6B、図6Cは、定常シーンであるか非定常シーンであるかを識別したい識別対象シーンの特徴量ベクトルvi(i=1〜N)を、それぞれ識別器fi(i=1〜N)に時系列順に供給することで、識別対象シーンの識別を行う様子を示した模式図である。図6A、図6B、図6Cに示すように、i=1から順にNまで特徴量ベクトルviに対して識別器fiを用いて識別テストを行う。この識別テストの結果、識別対象シーンの特徴量ベクトルviが、識別器fiの識別面内に存在すると判断されれば(図6A、図6B、図6Cにおいて○で示す)、次の特徴量ベクトルの識別に進む。
図6Aに示すように、識別対象シーンが有する全ての特徴量ベクトルviが、対応する識別器fiの識別面内に存在すれば、その識別対象シーンを定常シーンとして識別する。
反対に、図6Bに示すように、特徴量ベクトルviが、識別器fiの識別面外に存在すると判断されれば(図6Bにおいて×で示す)、その時点で識別対象シーンを非定常シーンとして識別する。
なお、i=1からNまで順に上述の識別テストを行い、特徴量ベクトルviが、識別器fiの識別面外に存在するとの判定が2回以上連続すれば、非定常シーンとして識別してもよい。図6Cは、識別面外に存在するとの判定が2回連続した場合に、非定常シーンとして識別する例である。
例えば野球の守備シーンにおいて、映像単位の特徴量ベクトルを、中継カメラの動きを示すパラメータとした場合、識別したい守備シーンのすべての映像単位の識別結果が○であればそのシーンは定常シーン、つまり、中継カメラの動きに異常がなく、アウトになったシーンであると考えられる。一方、途中で識別結果の×が少なくとも1つ以上連続すれば、その時点で中継カメラの動きに何らかの異常が起きたと考えられ、そのシーンは非定常シーンであると識別される。
以上に説明した非定常シーン抽出手段によって抽出された非定常シーンのシーン情報は、非定常シーン検出部19に接続された非定常シーン情報DB21に記録される。
図1に示す非定常シーン情報DB21には、非定常シーンとして識別された識別対象シーンのシーン情報が、テーブルの形で記録されている。
この非定常シーン情報DB21には、結果表示部22が接続されている。結果表示部22は、上述した映像DB11も接続されており、非定常シーン情報DB21に記録された非定常シーンのシーン情報を参照することで、結果表示部22に接続された映像DB11から対応するシーンが抽出され、この抽出されたシーンが表示される。表示形態は、例えばサムネイル表示であるが、本実施形態において限定されるものではない。
このように、非定常シーン抽出手段によって、抽出対象ダイジェスト映像から非定常シーンを抽出して表示された映像は、視聴する価値の高いシーンのみが抽出されているため、効率的な視聴を実現することができる。
以上に、第1の実施形態に係る映像処理装置の構成について説明した。
次に、上述の映像処理装置の動作について、図7乃至図12を参照して説明する。
まず、図7を参照して、第1の実施形態に係る映像処理装置による映像処理方法を簡単に説明する。図7は、第1の実施形態に係る映像処理装置による映像処理方法を示すフローチャートである。
図7に示すように、本実施形態の映像処理方法においては、まず、既存のダイジェスト映像から学習データを作成して識別器に学習させる。この方法は、まず初めに、既存のダイジェスト映像の中から、少なくとも1つのダイジェスト映像を指定し、続いて、特定のシーンラベルと付加情報とを指定することにより、特定シーン抽出部13において、ダイジェスト情報DB12に記録された既存のダイジェスト映像のシーン情報から定常シーンのシーン情報が抽出される(S101)。抽出された定常シーンのシーン情報は、特定シーン情報RAM15に記録される。
次に、定常シーンが抽出され、特定シーン情報RAM15に記録されると、特徴量抽出部16において、抽出された定常シーンを構成するそれぞれの映像単位の特徴量ベクトルが算出される(S102)。算出された特徴量ベクトルは、特徴量ベクトルRAM17に記録される。
次に、定常シーンを構成するそれぞれの映像単位の特徴量ベクトルが算出され、特徴量ベクトルRAM17に記録されると、識別器学習部18において、図5Bに示すように、特徴量ベクトルRAM17に記録された特徴量ベクトルの集合182を学習データとし、識別器fiとして図5Aに示すような識別面181を学習させる(S103)。識別器fiの情報は、識別器DB20に記録される。
以上のS101〜S103のステップにより、既存のダイジェスト映像から学習データを作成して識別器に学習させる。続いて、抽出対象ダイジェスト映像から非定常シーンを抽出し、抽出された非定常シーンを表示する。
この方法は、まず、ダイジェスト情報DB12に記録されたダイジェスト映像の中から、抽出対象ダイジェスト映像を指定すると、識別対象シーン抽出部14において、指定された抽出対象ダイジェスト映像のシーン情報から、特定のシーンラベルと同一のシーンラベルを有する識別対象シーンのシーン情報が抽出される。抽出された識別対象シーンのシーン情報は、特定シーン情報RAM15に記録される。そして、特定シーン情報RAM15に記録された識別対象シーンの特徴量ベクトルを算出する(S104)。この算出された識別対象シーンの特徴量ベクトルは、特徴量ベクトルRAM17に記録される。
次に、識別対象シーンを抽出し、このシーンの特徴量ベクトルを算出して特徴量ベクトルRAM17に記録すると、非定常シーン検出部19において、特徴量ベクトルRAM17に記録された識別対象シーンの特徴量ベクトルと、識別器DB20に記録された識別器の情報とを用いて、識別対象シーンが非定常シーンであるか否かを識別する(S105)。識別された非定常シーンのシーン情報は、非定常シーン情報DB21に記録される。
以上のS104、S105のステップにより、抽出対象ダイジェスト映像から非定常シーンが抽出される。
最後に、非定常シーンのシーン情報が抽出され、非定常シーン情報DB21に記録されると、このシーン情報を参照することで、映像DB11から、非定常シーンを抽出し、この非定常シーンを結果表示部22に表示する(S106)。
次に、上述の各ステップについて、図8乃至図12を参照して詳細に説明する。
S101のステップによって、既存のダイジェスト映像から定常シーンを抽出する方法について説明する。
図8は、特定シーン抽出部13において、定常シーンを抽出する方法を示すフローチャートである。図8に示すように、定常シーンの抽出は、まず、i=1として(S201)、このiが、ダイジェスト情報DB12に記録された既存のダイジェスト映像のシーン数を超えているかどうかを判断する(S202)。もし超えていれば、抽出動作は終了する。ここでシーン数とは、ダイジェスト映像に含まれるシーンの数をいう。ダイジェスト映像を構成する各シーンには、時系列順に1番から連続した番号がそれぞれ付与されているため、シーン数とは、実質的にはシーン番号の最大値である。
これとは反対に、iがシーン数を超えていなければ、既存のダイジェスト映像におけるシーン番号がiのシーン(以下、i番目のシーンと称す)において、指定されたシーンラベルと付加情報を参照し、i番目のシーンが抽出対象の定常シーンであれば、i番目のシーンのシーン情報を、特定シーン情報RAM15に記録する(S203)。なお、特定シーン情報RAM15に記録されるシーン情報には、記録される順に、新たに連続したシーン番号が付与される。
次に、i=i+1として(S204)、次のシーン、すなわち、i+1番目のシーンの参照に移る。
以上に説明したS202〜S204の動作を、iが、抽出対象のダイジェスト映像におけるシーン数を超えるまで繰り返すことで、既存のダイジェスト映像から定常シーンが抽出される。
次に、S102のステップによって、定常シーンから特徴量ベクトルを算出する方法について説明する。
図9は、特徴量抽出部16において、定常シーンを構成するそれぞれの映像単位の特徴量ベクトルを算出する方法を示すフローチャートである。
図9に示すように、特徴量ベクトルの算出は、まず、i=1として(S301)、iが、特定シーン情報RAM15に記録されている定常シーンのシーン数を超えているかどうかを判断する(S302)。もし超えていれば、抽出動作は終了する。
これとは反対に、iが、シーン数を超えていなければ、j=1として(S303)、このjが、特定シーン情報RAM15に記録されているi番目のシーンを構成する映像単位の映像単位数を超えているかどうかを判断する(S304)。もし超えていれば、i=i+1として(S305)、S302のステップに戻る。例えば、ある1つの定常シーンからサンプリングされた映像単位が100であれば、映像単位数は100であるため、iが100より大きければ、i=i+1として、S302のステップに戻る。
これとは反対に、jが、i番目のシーンの映像単位数を超えていなければ、映像DB11を参照し、i番目のシーンにおけるj番目の映像単位の特徴量ベクトルを算出する。算出された特徴量ベクトルは、特徴量ベクトルRAM17に記録される(S306)。
次に、特徴量ベクトルを算出し、これを特徴量ベクトルRAM17に記録すると、j=j+1として(S307)、S304のステップに戻る。
以上に説明したS302〜S308の動作を、jがi番目のシーンの映像単位数を超え、iが特定シーン情報RAM15に記録されているシーン数を超えるまで繰り返すことで、既存のダイジェスト映像から抽出された定常シーンを構成するそれぞれの映像単位の特徴量ベクトルが算出される。
次に、S103のステップによって、定常シーンから算出された特徴量ベクトルから学習データを作成し、この学習データを識別器に学習させる方法について説明する。
図10は、識別器学習部18において、図5Aに示すような識別面181を学習させて識別器fiを作成する方法を示すフローチャートである。なお、以下の説明において、特徴量ベクトルRAM17に記録されている定常シーン数をMとし、j番目の定常シーンの映像単位数をNjとする点は、上述した通りである。ここではさらに、j番目の定常シーンを構成する単位映像のうち、i番目の映像単位の特徴量ベクトルをv(j,i)とする。
図10に示すように、特徴量ベクトルRAM17に記録された学習データから識別面181を学習して識別器fiを構築する方法は、まず、i=1として(S401)、このiが、特徴量ベクトルRAM17に記録された定常シーンの映像単位数Nj(j=1〜M)を超えているかどうかを判断する(S402)。もし超えていれば、特徴量ベクトル(学習データ)の抽出動作を終了する。
反対に、iが、特徴量ベクトルRAM17に記録された定常シーンの映像単位数Nj(j=1〜M)を超えていなければ、特徴量ベクトルRAM17に記録されているM個の定常シーンの全てについて、それぞれi番目の映像単位から算出されたM個の特徴量ベクトルv(j,i)(j=1〜M)を集める。そして、集められたM個の特徴量ベクトルを学習データとして識別面181を学習し、識別器fiを作成する(S403)。
次に、i=i+1とし(S404)、次の単位映像の識別器fi+1の学習に移る。
以上のS402〜S404の動作を、iが、特徴量ベクトルRAM17に記録された定常シーンの映像単位数Nj(j=1〜M)を超えるまで繰り返すことで、Nj個の識別器fのそれぞれを学習する。
次に、S104のステップによって、ダイジェスト情報DB12に記録された抽出対象ダイジェスト映像から、識別対象シーンを抽出し、このシーンの特徴量ベクトルを算出する方法について説明する。
図11は、抽出対象ダイジェスト映像から、識別対象シーンを抽出する方法を示すフローチャートである。
図11に示すように、識別対象シーンの抽出は、まず抽出対象ダイジェスト映像が指定されると、i=1として(S501)、このiが、ダイジェスト情報DB12に記録された抽出対象ダイジェスト映像が有するシーン数を超えているかどうかを判断する(S502)。もし超えていれば、識別対象シーンの抽出を終了する。
反対に、iが、抽出対象ダイジェスト映像が有するシーン数を超えていなければ、抽出対象ダイジェスト映像のi番目のシーンを参照し、i番目のシーンが、S101のステップで指定したシーンラベルと同一の指定したシーンラベルを有していれば、そのシーンを識別対象シーンとして、そのシーンが有するシーン情報を特定シーン情報RAM15に記録する(S503)。なお、特定シーン情報RAM15に記録されるシーン情報には、記録される順に、新たに連続したシーン番号が付与される。
次に、特定シーン情報RAM15に記録された識別対象シーンのシーン情報から、特徴量抽出部16において、識別対象シーンの特徴量ベクトルを算出し、結果を特徴量ベクトルRAM17に記録する(S504)。ここで、識別対象シーンの特徴量ベクトルの算出は、図9に示す動作と同様に実行する。
次に、i=i+1とし、次のシーンの参照に移る(S505)。
以上のS502〜S505の動作を、iが、抽出対象ダイジェスト映像が有するシーン数を超えるまで繰り返すことで、抽出対象ダイジェスト映像から、識別対象シーンが抽出され、このシーンの特徴量ベクトルが算出される。
次に、S105のステップによって、識別対象シーンから、非定常シーンを抽出する方法について説明する。
図12は、識別対象シーンから、非定常シーンを抽出する方法を示すフローチャートである。
図12に示すように、非定常シーンの抽出は、まず、i=1として(S601)、iが、識別対象シーンの特徴量ベクトルの数N、すなわち、識別対象シーンを構成する映像単位数を超えているかどうかを判断する(S602)。もし超えていれば、非定常シーンの検出を終了する。
反対に、iが、識別対象シーンを構成する映像単位数Nを超えていなければ、特徴量ベクトルRAM17に記録されている識別対象シーンのi番目の特徴量ベクトルviを、識別器DB20に記録されている識別器fiにかけ(S603)、識別を行う。
ここで識別は、図6A乃至図6Cに示したように、i番目の特徴量ベクトルviを特徴量空間にプロットし、学習された識別器fiの識別面181と比較することで行われる。識別面181は、複数の定常シーンが有するそれぞれの特徴量ベクトルから学習されたものである。比較の結果、識別対象シーンのi番目の特徴量ベクトルviが、識別面外であれば、識別対象シーンを非定常シーンとして識別し(S604)、非定常シーン情報DB21に、識別対象シーンのシーン情報を記録する(S605)。
一方で、i番目の特徴量ベクトルviが、識別器fiの識別面内にあれば、i=i+1として、次の特徴量ベクトルの識別に移る(S606)。
以上のS602〜S606の動作を、iが、特徴量ベクトルの数Nを超えるまで繰り返すことで、識別対象シーンから非定常シーンが抽出される。これとは逆に、識別の結果、識別対象シーンの特徴量ベクトルviを識別器fiにかけた結果、一度も非定常シーンと識別されなかった場合、その識別対象シーンは定常シーンと識別される。
なお、上述の識別方法は、一度でも特徴量ベクトルが、識別器に学習させた学習データである識別面の外にあると判断されれば、そのシーンを非定常シーンとして処理した。しかし、この判断は、連続して複数回識別面の外にあると判断された場合に、非定常シーンとして処理するようにしてもよい。すなわち、特徴量ベクトルが、識別器に学習させた学習データである識別面の外にあるという判断が、少なくとも一回なされれば、非定常シーンとして処理する。
また、上述の場合は、特徴量ベクトルの数と識別器の数とが同数であったが、特徴量ベクトルの数が識別器の数より多かった場合は、識別器の数だけ特徴量ベクトルを判断することで、定常/非定常を判断してもよいし、また、特徴量ベクトルの数が識別器の数より多いと認識された時点で、このシーンを非定常シーンであると判断してもよい。特にこの判断は、特徴量ベクトルの数が識別器の数より多い時点で、カメラの動きに何らかの異常が生じている可能性が高いためである。
このように識別対象シーンから非定常シーンが抽出され、この非定常シーンのシーン情報が、非定常シーン情報DB21に記録されると、S106のステップに従って、非定常シーンが結果表示部22に表示される。
以上に示す第1の実施形態に係る映像処理装置及びその方法によれば、学習手段によって、既存のダイジェスト映像から抽出された定常シーンの特徴量ベクトルを識別器に学習させる。そして、非定常シーン抽出手段において、この識別器を用いて、抽出対象ダイジェスト映像から抽出された識別対象シーンから、非定常シーンのみが抽出される。最後に、この抽出された非定常シーンを表示する。従って、抽出対象ダイジェスト映像から、視聴する価値の高い非定常シーンのみを抽出した効率的なダイジェスト映像を作成することができる。
(第2の実施形態)
次に、本発明の他の実施形態として、第2の実施形態に係る映像処理装置について、図面を参照して説明する。
図13は、第2の実施形態に係る映像処理装置の構成を示すブロック図である。図13に示すように、第2の実施形態に係る映像処理装置は、
映像DB11とダイジェスト情報DB12とに接続されたダイジェスト作成部23を有する点が、第1の実施形態に係る映像処理装置と異なっている。
図14は、第2の実施形態に係る映像処理装置の動作を示すフローチャートである。第2の実施形態に係る映像処理装置の動作に関しては、映像DB11に記録された映像から、例えば上述した従来のダイジェスト映像作成技術によりダイジェスト映像を作成し、作成されたダイジェスト映像を図3Bに示すテーブルの形でダイジェスト情報DB12に格納する(S700)以外は、第1の実施形態に係る映像処理装置の動作と同様であるため、詳しい説明は省略する。
以上に説明したように、第2の実施形態に係る映像処理装置であっても、第1の実施形態と同様の効果を得ることができる。
(第3の実施形態)
次に、本発明の他の実施形態として、第3の実施形態に係る映像処理装置について、図面を参照して説明する。
図15は、第3の実施形態に係る映像処理装置の構成を示すブロック図である。図15に示すように、第3の実施形態に係る映像処理装置は、ダイジェスト作成部23で作成されるダイジェスト映像に付与される付加情報が、例えばインターネット24等のネットワークを通じて外部から得ることができる点が、第2の実施形態と異なっている。
すなわち、ダイジェスト情報DB12には、ダイジェスト映像に付加情報を付与するための付加情報付与部25が接続されている。この付加情報は、付加情報付与部25に接続された付加情報DB26に格納されており、このDB26から得ることができる。付加情報DB26は、例えばインターネット24等のネットワークに、付加情報入手部27を介して接続されており、付加情報DB26に格納される付加情報は、インターネット24を介して外部から入手することができる。
図16は、上述した第3の実施形態に係る映像処理装置の動作を示すフローチャートである。第3の実施形態に係る映像処理装置の動作に関しても、ダイジェスト作成部でダイジェスト映像を作成するステップ(S800)と、S800で作成されたダイジェスト映像から定常シーンを抽出するステップ(S801)から、結果を表示するステップ(S806)までは、第2の実施形態と同様であるため、詳しい説明は省略する。ここでは、ダイジェスト情報DB12に記録されているシーンのシーン情報に付加情報を付与するステップについて、説明する。
まず、ダイジェスト作成部23でダイジェスト映像が作成される(S800)と、付加情報入手部27は、インターネット24を通じて付加情報を入手し、付加情報DB26に格納する(S8001)。例えば、インターネット上の野球のスコア情報から、「2ゴ」や「3失」などのスコアを入手する。
次に、付加情報付与部25により、インターネット24を通じて入手され、付加情報DB26に格納された付加情報を、ダイジェスト情報DB12に記録されているシーンのシーン情報に付与する(S8002)。例えば、各野球の守備シーンのシーン情報に対して、「2ゴ」や「3失」などのスコア情報を付加情報として付与する。
以上に説明したS8001、S8002のステップにより、ダイジェスト映像に付加情報を付与した後は、第1の実施形態と同様である。
このように、第3の実施形態に係る映像処理装置であっても、第1の実施形態と同様の効果を得ることができる。
以上に、本発明の実施形態に係る映像処理装置について説明した。第1、第2、第3の各実施形態による映像処理方法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリなどの記録媒体に格納して頒布することができる。
また、本発明は、上述の実施形態そのままに限定されるものではなく、その趣旨を逸脱しない範囲で自由に構成要素等を変形、削除して具体化することができる。