JP4894956B2 - 時間区間代表特徴ベクトル生成装置 - Google Patents

Description

本発明は、動画像データや音響データなどの時系列データを表す、フレームごとの特徴ベクトルの系列から、時間区間ごとに、その時間区間を代表する特徴ベクトルを生成する装置と方法に関し、特に時間区間内での時系列変化を記述できる時間区間代表特徴ベクトルを生成する時間区間代表特徴ベクトル生成装置、方法、およびプログラムに関する。

動画像データや音響データなどの時系列データを表す、フレームごとの特徴ベクトルの系列から、特徴の類似する時間区間を検索する（識別する）類似区間検索技術として、比較する２つの特徴ベクトル系列を、フレーム単位で逐次に照合し（類似度あるいは距離を計算する）、類似する時間区間を特定する方法がある。例えば非特許文献１では、動画像の検索において、国際標準規格ＩＳＯ／ＩＥＣ １５９３８−３に規定されているＣｏｌｏｒ Ｌａｙｏｕｔ Ｄｅｓｃｒｉｐｔｏｒ（カラーレイアウト記述子）をフレームごとの特徴ベクトルとして、フレーム単位で距離計算を行い、類似区間を識別している。

比較する特徴ベクトル系列を、フレーム単位で照合する方法は、検索に長時間を必要とする。このため、検索の高速化のため、フレーム単位で特徴ベクトルを照合するのではなく、複数のフレームを含む時間区間ごとに、時間区間を代表する特徴ベクトル（時間区間代表特徴ベクトルと呼ぶ）を生成し、生成した時間区間代表特徴ベクトルを用いて照合を行う方法が提案されている。

例えば、非特許文献２では、時間区間代表特徴ベクトルとして、時間区間に含まれる特徴ベクトルからヒストグラム特徴を生成している。具体的には、動画像のフレームごとの特徴ベクトルとして、フレーム画像を複数のサブ画像に分割し、それぞれのサブ画像の色成分値（Ｒ成分、Ｇ成分、Ｂ成分）を特徴量とした特徴ベクトルを用いている。時間区間代表特徴ベクトルは、時間区間に含まれるフレームの特徴ベクトルをベクトル量子化し、各量子化インデックスの出現頻度を表すヒストグラムとして生成している。

また非特許文献３や非特許文献４では、時間区間代表特徴ベクトルとして、時間区間内のキーフレームを選択し、選択されたキーフレームの特徴ベクトルをそのまま時間区間代表特徴ベクトルとして用いている。ここでは、動画像のショットを時間区間とし、ショットからキーフレームを選択して、その特徴ベクトルを時間区間代表特徴ベクトルとしている。

また非特許文献５では、時間区間代表特徴ベクトルとして、時間区間に含まれる複数のフレームの特徴ベクトルから、特徴ベクトルの次元ごとに特徴量の平均値、またはメディアン値を算出し、算出された平均値、またはメディアン値で構成される特徴ベクトルを時間区間代表特徴ベクトルとしている。

Eiji Kasutani, Ryoma Oami, Akio Yamada,Takami Sato, and Kyoji Hirata, "Video Material ArchiveSystem for Efficient Video Editing based on Media Identification", Proc. on ICME (International Conference on Multimedia and Expo)2004, Vol. 1, pp.727-730, June 2004. Kunio Kashino, Takayuki Kurozumi, Hiroshi Murase, "A Quick Search Method for Audio and Video Signals Based on HistogramPruning", IEEE Transactions on Multimedia, Vol. 5, No.3, September 2003. Anil Jain, Aditya Vailaya, and Wei Xiong, "Queryby Video Clip", Proc. on ICPR (International Conferenceon Pattern Recognition), Vol. 1, pp.16-20, Aug. 1998. 内田祐介、菅野勝、米山暁夫、"カラーレイアウトに基づく違法コピー検出手法"、２００８年映像メディア処理シンポジウム（ＩＭＰＳ２００８）予稿集、pp.69-70、2008年10月． 粕谷英司、山田昭雄、"代表特徴量を用いたビデオ識別処理の高速化"、２００３年情報科学技術フォーラム（ＦＩＴ２００３）予稿集、pp.85-86、2003年．

しかしながら、非特許文献２から非特許文献５に記載の、時間区間代表特徴ベクトルは、時間区間における特徴ベクトル系列の時系列変化（時間変化）を記述できない。このため、上記の時間区間代表特徴ベクトルを用いた照合は、時間区間内の時系列変化を識別できない（異なる時系列変化を持つ特徴ベクトル系列を類似と判定する可能性が高くなる）ため、特徴ベクトル系列の検索の精度が低下する、という問題点がある。

具体的には、非特許文献２に記載の、時間区間代表特徴ベクトルとして、時間区間に含まれる特徴ベクトルのヒストグラム特徴を用いる方法では、ヒストグラムは時系列順序を記述できないため、時間区間における特徴ベクトル系列の時系列変化を記述できない（例えば、時系列変化が逆順であっても、同じヒストグラムとなる）。

また非特許文献３や非特許文献４に記載の、時間区間代表特徴ベクトルとして、時間区間内のキーフレームを選択し、選択されたキーフレームの特徴ベクトルをそのまま時間区間代表特徴ベクトルとして用いる方法では、選択された単一のフレームの特徴ベクトルを用いるため、時系列上のある一点の情報しか記述していないため、時間区間における特徴ベクトル系列の時系列変化を記述できない。

また非特許文献５に記載の、時間区間代表特徴ベクトルとして、時間区間に含まれる複数のフレームの特徴ベクトルから、特徴ベクトルの次元ごとに特徴量の平均値、またはメディアン値を算出し、算出された平均値、またはメディアン値で構成される特徴ベクトルを時間区間代表特徴ベクトルとする方法では、算出された時間区間代表特徴ベクトルの次元ごとの値は、時間区間内の時系列上の位置（時刻）との対応関係を無くしているため、時間区間における特徴ベクトル系列の時系列変化を記述できない（例えば、時系列変化が逆順であっても、同じ区間代表特徴ベクトルとなる）。

［発明の目的］
本発明の目的は、非特許文献２から非特許文献５に記載の時間区間代表特徴ベクトルでは時間区間における特徴ベクトル系列の時系列変化（時間変化）を記述できない、という課題を解決する時間区間代表特徴ベクトル生成装置を提供することにある。

本発明の一形態にかかる時間区間代表特徴ベクトル生成装置は、フレームごとの特徴ベクトルの系列から、時間区間ごとに、時間区間に含まれる複数のフレームの特徴ベクトルを選定する時間区間内特徴ベクトル群選定手段と、時間区間ごとに、上記選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択し、時間区間を代表する特徴ベクトルである時間区間代表特徴ベクトルとして生成する次元選択手段とを備えている。

本発明によれば、時系列データの、フレームごとの特徴ベクトル系列から、時間区間における特徴ベクトル系列の時系列変化を記述できる時間区間代表特徴ベクトルを生成する時間区間代表特徴ベクトル生成装置を提供することができる。このように時間区間内の時系列変化を記述できる時間区間代表特徴ベクトルを用いることで、時間区間代表特徴ベクトルによる特徴ベクトル系列の検索の精度を向上させることができる。

本発明の第１の実施の形態の構成を示すブロック図である。 多形状領域比較特徴を説明する図である。 時間区間の定め方の一例を示す図である。 時間区間の定め方の別の一例を示す図である。 時間区間の定め方のさらに別の一例を示す図である。 本発明の第１の実施の形態における時間区間内特徴ベクトル群選定手段が選定する方法の例を示す図である。 本発明の第１の実施の形態における次元選択手段が、特徴量を選択する方法の一例を示す図である。 本発明の第１の実施の形態における次元選択手段が、特徴量を選択する方法の別の一例を示す図である。 本発明の第１の実施の形態における次元選択手段が、特徴量を選択する方法のさらに別の一例を示す図である。 第１の特徴ベクトル系列検索システムの構成を示すブロック図である。 第２の特徴ベクトル系列検索システムの構成を示すブロック図である。 本発明の第１の実施の形態の動作を示すフローチャートである。 本発明の第２の実施の形態の構成を示すブロック図である。 本発明の第２の実施の形態における時間区間内特徴ベクトル群選定手段が選定する方法の一例を示す図である。 本発明の第３の実施の形態の構成を示すブロック図である。 本発明の第３の実施の形態における次元選択手段が、特徴量を選択する方法の一例を示す図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

[第１の実施の形態]
図１を参照すると、本発明の第１の実施の形態に係る時間区間代表特徴ベクトル生成装置１００は、フレームごとの特徴ベクトルを時系列順に並べた系列（特徴ベクトル系列）が入力され、時間区間を代表する特徴ベクトルである時間区間代表特徴ベクトルを出力する。時間区間代表特徴ベクトル生成装置１００は、時間区間内特徴ベクトル群選定手段１０１と、次元選択手段１０２とを備えている。

時間区間内特徴ベクトル群選定手段１０１は、特徴ベクトルの系列が入力されると、時間区間ごとに、時間区間に含まれる複数のフレームの特徴ベクトルを選定し、時間区間ごとに選定された複数のフレームの特徴ベクトルの情報を、次元選択手段１０２へ供給する。

入力される特徴ベクトル系列は、動画像データや音響データなどの時系列データのフレームごとの特徴ベクトルを時系列順に並べた系列である。時系列データであれば、動画像データや音響データに限定されない。ここでフレームとは、時系列データの個々の要素であり、動画像データや音響データでない時系列データの場合も、便宜上、時系列データの個々の要素をフレームと呼ぶことにする。

フレームごとの特徴ベクトルは、複数の次元の特徴量から構成されるものである。例えば動画像データの場合は、例えば、動画像のフレームごとに抽出した、国際標準規格ＩＳＯ／ＩＥＣ １５９３８−３に規定されている各種視覚的特徴量（通称MPEG-7 Visual）、すなわち、Ｄｏｍｉｎａｎｔ Ｃｏｌｏｒ、Ｃｏｌｏｒ Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ Ｃｏｌｏｒ、Ｃｏｌｏｒ Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ Ｓｈａｐｅ、Ｓｈａｐｅ ３Ｄ、Ｐａｒａｍｅｔｒｉｃ Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ Ａｃｔｉｖｉｔｙなどであってもよい。

またフレームごとの特徴ベクトルを構成する複数次元の特徴量は、動画像データの場合、より多くの種類の動画像に対して有効性があるように改良された特徴量であることが望ましい。その一例を図２を参照して説明する。

図２は、より多くの種類の動画像に対して有効性があるように改良された特徴量の一例（以下、多形状領域比較特徴量と呼ぶ）の抽出方法を示す図である。多形状領域比較特徴量は、あらかじめ、特徴ベクトルの次元ごとに、その特徴量を抽出するための、画像内の２つの抽出領域（第１の抽出領域と第２の抽出領域）が定められている。抽出領域の形状に多様性がある点が特徴である。多形状領域比較特徴量を抽出するには、次元ごとに、次元ごとに定められた第１の抽出領域と第２の抽出領域の平均輝度値を算出し、第１の抽出領域の平均輝度値と第２の抽出領域の平均輝度値とを比較して（すなわち差分値に基づいて）、３値に量子化して（＋１、０、−１）量子化インデックスを得る。第１の抽出領域の平均輝度値と第２の抽出領域の平均輝度値との差分値の絶対値がある規定の閾値以下の場合は、第１の抽出領域と第２の抽出領域の平均輝度値の差がないものとみなし、差がないことを示す量子化インデックス０とし、それ以外の場合は、第１の抽出領域の平均輝度値と第２の抽出領域の平均輝度値との大小を比較して、第１の抽出領域の平均輝度値のほうが大きい場合は量子化インデックスを＋１、それ以外の場合は量子化インデックスを−１とする。ここで、次元ｎの第１の抽出領域の平均輝度値をＶｎ１、第２の抽出領域の平均輝度値をＶｎ２とし、規定の閾値をｔｈとすると、次元ｎの量子化インデックスＱｎは、次式で算出することができる。

Ｑｎ＝＋１ （｜Ｖｎ１−Ｖｎ２｜＞ｔｈ かつ Ｖｎ１＞Ｖｎ２ の場合）
０ （｜Ｖｎ１−Ｖｎ２｜≦ｔｈ の場合）
−１ （｜Ｖｎ１−Ｖｎ２｜＞ｔｈ かつ Ｖｎ１≦Ｖｎ２ の場合）
…［式１］

音響データの場合は、例えば、音響フレーム（複数のサンプリング信号を含む分析窓）に対して周波数解析を行って算出した特徴ベクトルであってもよい。例えば、分析窓に対してフーリエ変換を行って、周波数領域のパワースペクトルを算出し、パワースペクトルを複数のサブバンドに分割して、各サブバンドの平均パワーの値を特徴量とした特徴ベクトルであってもよい。

ここで時間区間とは、時間軸上の連続区間のことである。時間区間内特徴ベクトル群選定手段１０１において、時間区間の定め方は、それが入力されるどの特徴ベクトル系列に対しても一定である限りは、任意である。

時間区間は例えば、時間軸上を一定の時間長（時間幅）で分割した個々の区間であってもよい。例えば図３−Ａの例を参照すると、特徴ベクトル系列（フレーム系列）上で、一定の時間幅である１０フレーム単位で分割した個々の区間を、時間区間と定めている。また例えば、一定の時間長である１秒単位で分割した個々の区間を、時間区間と定めてもよい。

また例えば、一定の時間長（時間幅）の区間を、一定間隔でずらしながら、区間の重複を許容するように、時間区間を定めてもよい。例えば図３−Ｂの例を参照すると、特徴ベクトル系列（フレーム系列）上で、一定の時間幅である１０フレーム単位の区間を、４フレーム間隔でずらしながら、区間の重複を許容するように、時間区間を定めてもよい。また例えば、一定の時間長である１秒単位の区間を、１フレーム間隔でずらしながら、区間の重複を許容するように、時間区間を定めてもよい。

また時間区間は、常に一定の時間長（時間幅）である必要もない。例えば、図３−Ｃの例のように、例えば特徴ベクトル系列（フレーム系列）に対して変化点（例えば動画像データのショット分割点）を検出し、変化点間の個々の区間を、時間区間と定めてもよい。変化点は、例えば特徴ベクトル系列自体から検出してもよいし（例えば隣接するフレームの特徴ベクトルの距離計算を行い、距離が規定の閾値を超えた場合に変化点とする、など）、元の時系列データから検出してもよい。

時間区間内特徴ベクトル群選定手段１０１において、定めた時間区間ごとに、その時間区間に含まれる複数のフレームの特徴ベクトルを選定する方法は、それが入力されるどの特徴ベクトル系列に対しても一定である限りは、任意である。例えば、時間区間内特徴ベクトル群選定手段１０１は、例えば図４に示すように、時間区間に含まれる全てのフレームの特徴ベクトルを選定してもよい。また例えば、図４に示すように、一定の間隔でサンプリングしたフレームの特徴ベクトルを選定してもよい。その他の選定方法については図１１、図１２を参照して後述する。

次元選択手段１０２は、時間区間内特徴ベクトル群選定手段１０１から供給される、時間区間ごとの選定された複数のフレームの特徴ベクトルの情報から、時間区間ごとに、選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択し、時間区間代表特徴ベクトルとして出力する。

ここで、「異なるフレームの特徴ベクトルから異なる次元の特徴量を選択」とは、必ずしも選択される特徴量のフレームと次元の双方が全て重複なく選択されることに限らず、少なくとも２つ以上の異なるフレームの特徴ベクトルから、少なくとも２つ以上の異なる次元の特徴量を選択する、ということである。

ここで、次元選択手段１０２が選択する特徴量の次元数（すなわち、時間区間代表特徴ベクトルの次元数）は、任意でよい。例えば、入力として与えられた特徴ベクトル系列の特徴ベクトルの次元数がNである場合に、ここで選択する特徴量の次元数（時間区間代表特徴ベクトルの次元数）は、Nと同じであってもよい。またNよりも少なくても、Nよりも多くてもよい。

次元選択手段１０２が、選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択する方法は、それが入力されるどの特徴ベクトル系列に対しても一定である限りは、任意である。

具体例を図５に示す。図５は、時間区間で選定された１１のフレームの特徴ベクトルを時系列順に配置したものを表している。各々のフレームの特徴ベクトルは、２５次元の特徴量から構成されている。従って、この時間区間に対しては、１１フレーム×２５次元＝２７５の特徴量がある。ここで、図５では、異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を、１１個選択し、選択された１１個の特徴量から構成される１１次元の特徴ベクトルを、時間区間代表特徴ベクトルとして生成している。

次元選択手段１０２が、選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択する、別の方法の例を、図６と図７に示す。図６では、フレーム１からフレーム１１まで順番に次元１から次元１１まで１次元ずつ１１個の異なる次元の特徴量を選択し、再びフレーム１からフレーム１１まで順番に次元１２から次元２２まで１次元ずつ１１個の異なる次元の特徴量を選択し、合計２２個の特徴量から構成される２２次元の特徴ベクトルを、時間区間代表特徴ベクトルとして生成している。また、図７では、フレーム１からフレーム１１まで順番に次元１から次元２２まで２次元ずつ合計２２個の異なる次元の特徴量を選択し、合計２２個の特徴量から構成される２２次元の特徴ベクトルを、時間区間代表特徴ベクトルとして生成している。

次元選択手段１０２は、図５〜図７に例示したように、選択された時間区間内の複数のフレームから満遍なく、特徴ベクトルの異なる次元の特徴量を選択することが望ましい。例えば、選択された時間区間内の全てのフレームから、少なくとも１つの次元の特徴量を選択するようにしてもよい。時間区間内の複数のフレームから満遍なく特徴量を選択することにより、より多くの異なる時刻の特徴量を含む区間代表特徴ベクトルを構成できるため、より特徴ベクトル系列の時系列変化に対する識別能力を高めることができ、特徴ベクトル系列の検索精度を向上させることができる、という効果がある。

時間区間代表特徴ベクトル生成装置１００が出力する、時間区間ごとの時間区間代表特徴ベクトルは、時間区間における特徴ベクトル系列の時系列変化を記述している。その理由は、時間区間内の時系列上の複数の位置（時刻）の特徴を集約しているからである。また、異なる次元の特徴量を選択しているので、生成される時間区間代表特徴ベクトルは、異なる意味を持つ特徴量（異なる次元の特徴量は、異なる手順にて抽出された特徴量であるため、それが持つ意味が異なる）を集約したものでもある。このように、時間区間代表特徴ベクトル生成装置１００が出力する時間区間代表特徴ベクトルは、時間区間内の異なる位置の異なる意味を持つ特徴量を集約したものであるといえる。このために、冗長性が少なく、区間特徴代表特徴ベクトルの記述能力（識別能力）が高い。そのため、高精度な検索を可能にする。

時間区間代表特徴ベクトル生成装置１００が出力する、時間区間ごとの時間区間代表特徴ベクトルを用いれば、時間区間内の時系列変化を識別できるため、時間区間ごとの高速かつ高精度な、特徴ベクトル系列の検索を行うことができる。時間区間代表特徴ベクトル生成装置１００を用いて構成される特徴ベクトル系列検索システムについては、後述する。

［第１の実施の形態の動作の説明］
次に、図１０のフローチャートを参照して、第１の実施の形態に係る時間区間代表特徴ベクトル生成装置１００の動作を説明する。

まず、時間区間内特徴ベクトル群選定手段１０１は、特徴ベクトルの系列が入力されると、時間区間ごとに、時間区間に含まれる複数のフレームの特徴ベクトルを選定する（ステップＡ１）。そして、時間区間ごとに選定された複数のフレームの特徴ベクトルの情報を、次元選択手段１０２へ供給する。

次に、次元選択手段１０２は、時間区間内特徴ベクトル群選定手段１０１から供給される、時間区間ごとの選定された複数のフレームの特徴ベクトルの情報から、時間区間ごとに、選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択する（ステップＡ２）。そして時間区間代表特徴ベクトルとして出力する。

[第１の実施の形態の効果]
第１の実施の形態の時間区間代表特徴ベクトル生成装置１００によれば、時間区間における特徴ベクトル系列の時系列変化を記述できる（識別できる）時間区間代表特徴ベクトルを生成することができる。その理由は、時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択して時間区間代表特徴ベクトルとすることで、時間区間内の時系列上の複数の位置（時刻）の特徴を集約しているからである。このように、生成された時間区間代表特徴ベクトルは、時間区間における特徴ベクトル系列の時系列変化を識別できる（異なる時系列変化を持つ特徴ベクトル系列を識別できる）ため、特徴ベクトル系列の検索の精度を向上させることができる。

また、生成された時間区間代表特徴ベクトルは、元の特徴ベクトル系列からサンプリングされたものであるため、その照合を行う際は、元のフレームごとの特徴ベクトルの照合方法と同一でよい。したがって、図９を参照して後述する第２の特徴ベクトル系列検索システムのように、区間代表特徴ベクトルの照合とフレーム単位の照合とを階層的に行うシステムにおいて、照合を行う回路を単一のものにできる、という効果もある。

[第２の実施の形態]
図１１を参照すると、本発明の第２の実施の形態に係る時間区間代表特徴ベクトル生成装置１１０は、第１の実施の形態に係る時間区間代表特徴ベクトル生成装置１００の時間区間内特徴ベクトル群選定手段１０１が、時間区間内特徴ベクトル群選定手段１１１に置き換わる点において異なる。

時間区間内特徴ベクトル群選定手段１１１には、特徴ベクトル系列のフレームレートを示す情報と、時間区間代表特徴ベクトルを生成する基準のフレームレートを示す情報とが入力される。時間区間内特徴ベクトル群選定手段１１１は、特徴ベクトル系列特徴ベクトルの系列が入力されると、特徴ベクトル系列のフレームレートを用いて、前記特徴ベクトル系列から、前記基準のフレームレートにおけるサンプル位置を特定し、特定されたサンプル位置の複数のフレームの特徴ベクトルを選定し、時間区間ごとに選定された複数のフレームの特徴ベクトルの情報を、次元選択手段１０２へ供給する。

図１２に、具体例を示す。図１２では、特徴ベクトル系列のフレームレートは３０フレーム／秒であり、時間区間として１秒区間（すなわち３０フレーム）が定められているとする。ここで時間区間代表特徴ベクトルを生成する基準のフレームレートが５フレーム／秒であるとする。時間区間内特徴ベクトル群選定手段１１１は、特徴ベクトル系列のフレームレートである３０フレーム／秒を示す情報と、基準フレームレートである５フレーム／秒の情報が入力されると、時間区間内の３０フレーム／秒の特徴ベクトル系列における、基準フレームレートの５フレーム／秒に該当するサンプル位置を特定する。

サンプル位置を特定する方法としては、
サンプリング間隔（フレーム）
＝特徴ベクトル系列のフレームレート÷基準フレームレート
としてサンプリング間隔を算出し、それに従ってサンプル位置を特定してもよい。ここの例では、サンプリング間隔＝３０÷５＝６となるので、６フレームごとに１つのフレームをサンプリングすればよい。なお、サンプリング間隔が整数値ではなく、小数値となる場合は、例えば、小数で算出されるサンプル位置を四捨五入して得られる整数値のサンプル位置のフレームを、サンプリングすればよい。

こうして特定されたサンプル位置の複数のフレームを選定し、その情報を次元選択手段１０２へ供給する。

[第２の実施の形態の効果]
第２の実施の形態による時間区間代表特徴ベクトル生成装置１１０によれば、異なるフレームレートを持つ特徴ベクトル系列であっても、相互に比較可能な時間区間代表特徴ベクトルを生成することができる。その理由は、時間区間代表特徴ベクトルを生成する基準のフレームレートを用いて、時間区間代表特徴ベクトルを生成するために選定される特徴ベクトルのフレーム列を、基準のフレームレートに統一するためである。

例えば、フレームレートが３０フレーム／秒である第１の特徴ベクトル系列と、フレームレートが１５フレーム／秒である第２の特徴ベクトル系列とが、同じ動画像から生成されているとする。これは例えば、動画像Ｘから生成した特徴ベクトル系列と、この動画像Ｘのフレームレートを半分にした動画像Ｘ’から生成した特徴ベクトル系列とに相当する。今、時間区間として１秒区間が定められ、また、時間区間代表特徴ベクトルを生成する基準のフレームレートを５フレーム／秒とする。このとき、第１の特徴ベクトル系列からは、３０フレームから６フレーム置きに５フレーム選択される。他方、第２の特徴ベクトル系列からは、１５フレームから３フレーム置きに５フレーム選択される。このとき第２の特徴ベクトル系列から選択される５フレームは、第１の特徴ベクトル系列から選択された５フレームと同じフレームになる。

これにより、フレームレートの異なる特徴ベクトル系列に対しても、時間区間代表特徴ベクトルによる高精度な検索が可能となる。

[第３の実施の形態]
図１３を参照すると、本発明の第３の実施の形態に係る時間区間代表特徴ベクトル生成装置１２０は、第１の実施の形態に係る時間区間代表特徴ベクトル生成装置１００の次元選択手段１０２が、次元選択手段１２２に置き換わる点において異なる。

次元選択手段１２２には、特徴ベクトルの次元ごとの重要度を示す情報（次元別重要度情報）が入力される。次元選択手段１２２は、時間区間内特徴ベクトル群選定手段１０１から供給される、時間区間ごとの選定された複数のフレームの特徴ベクトルの情報から、時間区間ごとに、選定された時間区間内の異なるフレームの特徴ベクトルから、次元ごとの重要度に従って、重要度の高い次元から順に、特徴ベクトルの異なる次元の特徴量を選択し、時間区間代表特徴ベクトルとして出力する。

次元ごとの重要度を示す情報は、例えば、次元ごとの重要度を数値化した情報であってもよいし、次元ごとの重要度の順列を表す情報であってもよい。あるいは、重要度を１か０の２値で表現した情報であってもよい。重要度の意味づけは任意であるが、例えば、特徴ベクトルの次元の特徴量の検索精度に対する寄与の度合いや、特徴ベクトルの次元の特徴量が有する識別能力の度合い（異なるデータを識別できる度合い）や、特徴ベクトルの次元の特徴量が有する頑健性の度合い（データに対する各種雑音や加工処理に対する耐性）、などであってもよい。

図１４に具体例を示す。図１４では、特徴ベクトル系列の特徴ベクトルが２５次元の特徴量で構成されており、それぞれ次元１から次元２５とする。ここで、次元ごとの重要度は、次元の番号が大きくなるにつれて、小さくなっていくものとする。すなわち、次元は重要度の高い順に整列されており、次元１が重要度が最も高く、次元２５が重要度が最も低い。次元選択手段１２２には、次元別重要度情報として、次元が重要度の高い順に整列されていることを示す情報が入力され、次元選択手段１２２はそれに従って、次元の番号が小さい次元の特徴量を、順に選択していく。図１４では、２５次元の特徴ベクトルのうち、次元の重要度が高い順に、次元１から次元１１の合計１１次元の特徴量を選択している。

[第３の実施の形態の効果]
第３の実施の形態による時間区間代表特徴ベクトル生成装置１２０によれば、特徴ベクトルの次元の重要度の高い次元から、時間区間代表特徴ベクトルを生成することができる。これは、元の特徴ベクトルの次元の数よりも、生成する時間区間代表特徴ベクトルの次元の数を小さくする場合に、より重要度の高い次元を選択するため、効果的である。

次に、本発明の時間区間代表特徴ベクトル生成装置を用いて構成される特徴ベクトル系列検索システムについて説明する。なお、以降では、特徴ベクトル系列検索システムは、時間区間代表特徴ベクトル生成装置１００を用いて構成されるものとして説明するが、もちろん、第２の実施の形態に記載の時間区間代表特徴ベクトル生成装置１１０や、第３の実施の形態に記載の時間区間代表特徴ベクトル生成装置１２０を用いて、構成されていてもよい。

[第１の特徴ベクトル系列検索システム]
図８を参照すると、本発明による第１の特徴ベクトル系列検索システムは、時間区間代表特徴ベクトル生成装置１００と、照合装置２００とを備える。

時間区間代表特徴ベクトル生成装置１００には、第１の特徴ベクトル系列と、第２の特徴ベクトル系列とが入力され、第１の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルと、第２の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルと、を出力する。出力された第１の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルと、第２の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルとは、照合装置２００へ供給される。

照合装置２００は、時間区間代表特徴ベクトル照合手段２０１を備える。時間区間代表特徴ベクトル照合手段２０１は、時間区間代表特徴ベクトル生成装置１００から供給される第１の第１の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルと、第２の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルとを照合して、時間区間代表特徴ベクトルどうしが類似するか否かを判定し、類似すると判定した場合に、それぞれの該当時間区間の情報を類似時間区間情報として出力する。

第１の特徴ベクトル系列のある時間区間に対応した時間区間代表特徴ベクトルと、第２の特徴ベクトル系列のある時間区間に対応した時間区間代表特徴ベクトルとを照合する方法には、例えば以下の方法がある。まず比較する時間区間代表特徴ベクトルどうしが、類似する度合いを算出する。例えば、ベクトル間の距離（ユークリッド距離、ハミング距離など）、またはベクトル間の類似度（コサイン類似度など）を算出して、類似する度合いを算出する。ベクトル間の距離を用いた場合は、値が小さいほど類似していて、ベクトル間の類似度を用いた場合は、値が大きいほど類似していると判定できる。こうして算出した類似する度合いの数値を、ある所定の閾値（この閾値は、例えばあらかじめ与えられているものとする）で閾値処理をして、類似しているか否かを判定する。例えば、ベクトル間の距離を用いた場合は、所定の閾値よりも値が小さい場合に類似していると判定し、またベクトル間の類似度を用いた場合は、所定の閾値よりも値が大きい場合に類似していると判定する。そして、類似していると判定された場合は、それぞれの時間区間代表特徴ベクトルが対応する時間区間の情報を類似時間区間情報として出力する。例えば、第１の特徴ベクトル系列の８０フレームから１００フレームの時間区間に対応する時間区間代表特徴ベクトルと、第２の特徴ベクトル系列の２５０フレームから２７０フレームの時間区間に対応する時間区間代表特徴ベクトルとが、類似していると判定された場合には、例えば、第１の特徴ベクトル系列の８０フレームから１００フレーム、第２の特徴ベクトル系列の２５０フレームから２７０フレームが、類似時間区間であるとして、出力してもよい。これは、時間区間代表特徴ベクトル照合手段２０１が、照合を行う方法の一例であり、この方法に限られない。

第１の特徴ベクトル系列検索システムによれば、時間区間代表特徴ベクトルを用いた高速かつ、時間区間内の時系列変化を識別できる高精度な、特徴ベクトル系列の検索を実現できる。

[第２の特徴ベクトル系列検索システム]
図９を参照すると、本発明による第２の特徴ベクトル系列検索システムは、第１の特徴ベクトル系列検索システムの照合装置２００が、照合装置２１０に置き換わる点が異なる。

照合装置２１０は、時間区間代表特徴ベクトル照合手段２０１とフレーム単位特徴ベクトル照合手段２１２とを備える。

時間区間代表特徴ベクトル照合手段２０１は、第１の特徴ベクトル系列検索システムにおけるものと同じなので、ここでは説明を省略する。

フレーム単位特徴ベクトル照合手段２１２は、入力される第１の特徴ベクトル系列と、第２の特徴ベクトル系列との、時間区間代表特徴ベクトル照合手段２０１が出力する類似時間区間情報が示す各々の時間区間に含まれるフレームの特徴ベクトルを、フレーム単位で再度照合し、類似する時間区間であると判定した場合に、類似時間区間情報を出力する。

第１の特徴ベクトル系列の類似時間区間に含まれるフレームの特徴ベクトルと、第２の特徴ベクトル系列の類似時間区間に含まれるフレームの特徴ベクトルとを、フレーム単位で照合する場合には、例えば、時間区間内の対応するフレーム（時間区間内の相対的な位置が同じフレーム）の特徴ベクトルどうしで、類似する度合いを算出し（例えば、ベクトル間の距離や類似度）、閾値処理を行って、連続的に類似すると判定される場合に、類似する時間区間と判定することができる。これは、フレーム単位特徴ベクトル照合手段２１２が照合を行う方法の一例であり、この方法に限られない。

第２の特徴ベクトル系列検索システムによれば、時間区間代表特徴ベクトルを用いた高速かつ、時間区間内の時系列変化を識別できる高精度な、特徴ベクトル系列の検索を第１段目の検索として行い、そこで類似時間区間と判定された時間区間に対してのみ、元の特徴ベクトル系列によるフレーム単位の、より高精度な照合を行うことができる（階層的な照合・検索）。

以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、本発明の時間区間代表特徴ベクトル生成装置および照合装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における時間区間代表特徴ベクトル生成装置、照合装置として機能させる。

なお、本発明は、日本国にて２００９年１月２９日に特許出願された特願２００９−１７８０７の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。

本発明の活用例として、動画像データや音響データなどの検索に利用することができる。例えば、映画コンテンツや音楽コンテンツが蓄積されたデータベースから、所望のコンテンツを高速に検索することができる。また、インターネットなどに違法にアップロードされた動画像データや音響データの、違法コピーの検知に用いることもできる。

１００…時間区間代表特徴ベクトル生成装置
１０１…時間区間内特徴ベクトル群選定手段
１０２…次元選択手段
２００…照合装置
２０１…時間区間代表特徴ベクトル照合手段
２１０…照合装置
２０１…時間区間代表特徴ベクトル照合手段
２１２…フレーム単位特徴ベクトル照合手段
１１０…時間区間代表特徴ベクトル生成装置
１１１…時間区間内特徴ベクトル群選定手段
１２０…時間区間代表特徴ベクトル生成装置
１２２…次元選択手段

Claims (17)

1. フレームごとの特徴ベクトルの系列から、時間区間ごとに、時間区間に含まれる複数のフレームの特徴ベクトルを選定する時間区間内特徴ベクトル群選定手段と、
   時間区間ごとに、あらかじめ定められた特徴ベクトルの次元ごとの重要度に従って、重要度の高い次元から順に、前記選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択し、該選択した特徴量から構成される特徴ベクトルを、時間区間を代表する特徴ベクトルである時間区間代表特徴ベクトルとして生成する次元選択手段と、
   を備えることを特徴とする時間区間代表特徴ベクトル生成装置。
2. 前記特徴ベクトルの系列は、動画像データのフレームごとの特徴ベクトルの系列である
   ことを特徴とする請求項１に記載の時間区間代表特徴ベクトル生成装置。
3. 前記特徴ベクトルは、動画像のフレームにおける、複数の部分領域対の、対をなす２つの部分領域の特徴量の差分値に基づいて算出される
   ことを特徴とする請求項２に記載の時間区間代表特徴ベクトル生成装置。
4. 前記次元選択手段は、前記選定された時間区間内の全てのフレームの特徴ベクトルから、少なくとも１つの次元の特徴量を選択する
   ことを特徴とする請求項１乃至３の何れか１項に記載の時間区間代表特徴ベクトル生成装置。
5. 前記時間区間内特徴ベクトル群選定手段は、
   前記特徴ベクトルの系列のフレームレートを示す情報と、時間区間代表特徴ベクトルを生成する基準のフレームレートを示す情報とに基づいて、前記特徴ベクトルの系列から、前記基準フレームレートにおけるサンプル位置を特定し、特定されたサンプル位置の複数のフレームの特徴ベクトルを選定する、
   ことを特徴とする請求項１乃至４の何れか１項に記載の時間区間代表特徴ベクトル生成装置。
6. 前記時間区間内特徴ベクトル群選定手段は、
   前記特徴ベクトルの系列のフレームレートと前記基準フレームレートとの比によって定まるサンプリング間隔に基づいてサンプル位置を特定する
   ことを特徴とする請求項５に記載の時間区間代表特徴ベクトル生成装置。
7. 請求項１乃至６の何れか１項に記載の時間区間代表特徴ベクトル生成装置によって生成された、第１の特徴ベクトルの系列の時間区間ごとの時間区間代表特徴ベクトルと、第２の特徴ベクトルの系列の時間区間ごとの時間区間代表特徴ベクトルとを照合して、時間区間代表特徴ベクトルどうしが類似するか否かを判定する第１の照合手段、
   を備える照合装置。
8. 前記第１の照合手段によって類似すると判定した時間区間代表特徴ベクトルの対に対して、それぞれに対応する時間区間に含まれるフレームの特徴ベクトルを、フレーム単位で照合する第２の照合手段、
   を備えることを特徴とする請求項７に記載の照合装置。
9. フレームごとの特徴ベクトルの系列から、時間区間ごとに、時間区間に含まれる複数のフレームの特徴ベクトルを選定し、
   時間区間ごとに、あらかじめ定められた特徴ベクトルの次元ごとの重要度に従って、重要度の高い次元から順に、前記選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択し、該選択した特徴量から構成される特徴ベクトルを、時間区間を代表する特徴ベクトルである時間区間代表特徴ベクトルとして生成する
   ことを特徴とする時間区間代表特徴ベクトル生成方法。
10. 前記特徴ベクトルの系列は、動画像データのフレームごとの特徴ベクトルの系列である
    ことを特徴とする請求項９に記載の時間区間代表特徴ベクトル生成方法。
11. 前記特徴ベクトルは、動画像のフレームにおける、複数の部分領域対の、対をなす２つの部分領域の特徴量の差分値に基づいて算出される
    ことを特徴とする請求項１０に記載の時間区間代表特徴ベクトル生成方法。
12. 前記時間区間代表特徴ベクトルの生成では、前記選定された時間区間内の全てのフレームの特徴ベクトルから、少なくとも１つの次元の特徴量を選択する
    ことを特徴とする請求項９乃至１１の何れか１項に記載の時間区間代表特徴ベクトル生成方法。
13. 前記複数のフレームの特徴ベクトルの選定では、
    前記特徴ベクトルの系列のフレームレートを示す情報と、時間区間代表特徴ベクトルを生成する基準のフレームレートを示す情報とに基づいて、前記特徴ベクトルの系列から、前記基準フレームレートにおけるサンプル位置を特定し、特定されたサンプル位置の複数のフレームの特徴ベクトルを選定する
    ことを特徴とする請求項９乃至１２の何れか１項に記載の時間区間代表特徴ベクトル生成方法。
14. 前記複数のフレームの特徴ベクトルの選定では、
    前記特徴ベクトルの系列のフレームレートと前記基準フレームレートとの比によって定まるサンプリング間隔に基づいてサンプル位置を特定する
    ことを特徴とする請求項１３に記載の時間区間代表特徴ベクトル生成方法。
15. 請求項９乃至１４の何れか１項に記載の時間区間代表特徴ベクトル生成方法によって生成された、第１の特徴ベクトルの系列の時間区間ごとの時間区間代表特徴ベクトルと、第２の特徴ベクトルの系列の時間区間ごとの時間区間代表特徴ベクトルとを照合して、時間区間代表特徴ベクトルどうしが類似するか否かを判定する
    ことを特徴とする照合方法。
16. 前記類似すると判定した時間区間代表特徴ベクトルの対に対して、それぞれに対応する時間区間に含まれるフレームの特徴ベクトルを、フレーム単位で照合する
    ことを特徴とする請求項１５に記載の照合方法。
17. コンピュータを、
    フレームごとの特徴ベクトルの系列から、時間区間ごとに、時間区間に含まれる複数のフレームの特徴ベクトルを選定する時間区間内特徴ベクトル群選定手段と、
    時間区間ごとに、あらかじめ定められた特徴ベクトルの次元ごとの重要度に従って、重要度の高い次元から順に、前記選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択し、該選択した特徴量から構成される特徴ベクトルを、時間区間を代表する特徴ベクトルである時間区間代表特徴ベクトルとして生成する次元選択手段と
    して機能させるためのプログラム。

Images