JP6089830B2 - 映像特徴生成システム、映像特徴生成方法、映像特徴生成プログラム、映像照合システム、映像照合方法、映像照合プログラム - Google Patents

Description

本発明は、映像特徴生成システム、映像特徴生成方法、映像特徴生成プログラム、映像照合システム、映像照合方法、及び映像照合プログラムに関する。

投稿された映像を誰もがいつでも閲覧できる投稿サイトが知られている。投稿サイトには、例えば著作権を侵害する不正な映像（例えば、テレビ番組や映画など）が投稿されている場合がある。近年、投稿サイトには莫大な量の映像が投稿されている。このため、目視やキーワードを利用した検索結果により不正な映像であるか否かを見分けることは極めて困難である。したがって、映像の同一性を効率的に判断できる技術が求められている。

映像の同一性を判断する技術として、映像中のさまざまな部分領域間の輝度の大小関係を−１，０，１の３つの値で表した特徴量を映像毎に算出し、算出された特徴量同士を照合させて一致する度合いが閾値よりも大きい場合に同一の映像と判断する技術が知られている（例えば、特許文献１参照）。また、照合の際に周波数の位相を利用する技術も知られている（例えば、特許文献２及び特許文献３参照）

特開２０１１−１１８４９８号公報 特開２００９−３８８９号公報 特開２００１−１０９４９４号公報

しかしながら、上述した特許文献１では映像の部分領域を用いて特徴量を算出しているため、例えば映像の改変により映像の縦と横の比率が変更されたり、映像の端部が不要なために削除されたり（例えばクロッピング）すると、映像の同一性を判断する精度が下がる。また、上述した特許文献２は静止画を照合の対象にしており、特許文献３は音声を照合の対象にしている。

そこで、１つの側面では、本発明は、映像が改変されても、改変前後の映像照合に関し改変の影響を受けにくい映像特徴を生成する映像特徴生成システム、映像特徴生成方法、及び映像特徴生成プログラムを提供する。また、他の側面では、映像が改変されても、改変前後の映像照合に関し改変の影響を受けにくい照合を行える映像照合システム、映像照合方法、及び映像照合プログラムを提供する。

本明細書に開示の映像特徴生成システムは、入力された映像を構成する単位としてのフレームの画素値の平均値に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出手段と、少なくとも２つの周波数と前記抽出手段によって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成手段と、を有する映像特徴生成システムである。
また、本明細書に開示の映像特徴生成システムは、入力された映像を構成する単位としてのフレームの画素値の分散に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出手段と、少なくとも２つの周波数と前記抽出手段によって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成手段と、を有する映像特徴生成システムである。

本明細書に開示の映像特徴生成方法は、コンピュータが、入力された映像を構成する単位としてのフレームの画素値の平均値に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出ステップと、少なくとも２つの周波数と前記抽出ステップによって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成ステップと、を実行する映像特徴生成方法である。
また、本明細書に開示の映像特徴生成方法は、コンピュータが、入力された映像を構成する単位としてのフレームの画素値の分散に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出ステップと、少なくとも２つの周波数と前記抽出ステップによって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成ステップと、を実行する映像特徴生成方法である。

本明細書に開示の映像特徴生成プログラムは、入力された映像を構成する単位としてのフレームの画素値の平均値に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出ステップと、少なくとも２つの周波数と前記抽出ステップによって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成ステップと、をコンピュータに実行させるための映像特徴生成プログラムである。
また、本明細書に開示の映像特徴生成プログラムは、入力された映像を構成する単位としてのフレームの画素値の分散に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出ステップと、少なくとも２つの周波数と前記抽出ステップによって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成ステップと、をコンピュータに実行させるための映像特徴生成プログラムである。

本明細書に開示の映像照合システムは、入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値の平均値に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出手段と、少なくとも２つの周波数と前記抽出手段によって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成手段と、前記生成手段によって生成された第１の映像特徴と第２の映像特徴とを照合する照合手段と、を有する映像照合システムである。
また、本明細書に開示の映像照合システムは、入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値の分散に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出手段と、少なくとも２つの周波数と前記抽出手段によって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成手段と、前記生成手段によって生成された第１の映像特徴と第２の映像特徴とを照合する照合手段と、を有する映像照合システムである。

本明細書に開示の映像照合方法は、コンピュータが、入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値の平均値に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出ステップと、少なくとも２つの周波数と前記抽出ステップによって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成ステップと、前記生成ステップによって生成された第１の映像特徴と第２の映像特徴とを照合する照合ステップと、を実行する映像照合方法である。
また、本明細書に開示の映像照合方法は、コンピュータが、入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値の分散に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出ステップと、少なくとも２つの周波数と前記抽出ステップによって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成ステップと、前記生成ステップによって生成された第１の映像特徴と第２の映像特徴とを照合する照合ステップと、を実行する映像照合方法である。

本明細書に開示の映像照合プログラムは、入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値の平均値に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出ステップと、少なくとも２つの周波数と前記抽出ステップによって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成ステップと、前記生成ステップによって生成された第１の映像特徴と第２の映像特徴とを照合する照合ステップと、をコンピュータに実行させるための映像照合プログラムである。
また、本明細書に開示の映像照合プログラムは、入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値の分散に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出ステップと、少なくとも２つの周波数と前記抽出ステップによって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成ステップと、前記生成ステップによって生成された第１の映像特徴と第２の映像特徴とを照合する照合ステップと、をコンピュータに実行させるための映像照合プログラムである。

本明細書に開示の映像特徴生成システム、映像特徴生成方法、及び映像特徴生成プログラムによれば、映像が改変されても、改変前後の映像照合に関し改変の影響を受けにくい映像特徴が生成される。また、本明細書に開示の映像照合システム、映像照合方法、及び映像照合プログラムによれば、映像が改変されても、改変前後の映像照合に関し改変の影響を受けにくい照合が行える。

図１（ａ）は、映像特徴生成システム及び映像照合システムを例示するブロック図である。図１（ｂ）は、映像特徴テーブルの一例である。 図２は、映像特徴生成システムのハードウェア構成の一例である。 図３は、第１実施形態における映像特徴生成システムで実行される処理ステップを例示するフローチャートである。 図４は、第１実施形態における映像特徴が生成される様子を例示する図である。 図５は、第１実施形態における映像照合システムで実行される処理ステップを例示するフローチャートである。 図６は、第１実施形態における映像照合の様子を例示する図である。 図７は、第２実施形態における映像特徴生成システムで実行される処理ステップを例示するフローチャートである。 図８は、第２実施形態における映像特徴が生成される様子を例示する図である。 図９は、第２実施形態における映像照合システムで実行される処理ステップを例示するフローチャートである。 図１０は、第２実施形態における映像照合の様子を例示する図である。

以下、本発明を実施するための形態について図面を参照して説明する。

（第１実施形態）
図１（ａ）は、映像特徴生成システム１００及び映像照合システム４００を例示するブロック図である。図１（ｂ）は、映像特徴テーブルの一例である。
映像特徴生成システム１００は、図１（ａ）に示すように、フレーム特徴量抽出部１０１、第１の周波数選択部１０２、位相生成部１０３、及び位相登録部１０４を備えている。
映像照合システム４００は、図１（ａ）に示すように、フレーム特徴量抽出部１０１、位相生成部１０３、第２の周波数選択部４０１、映像特徴照合部４０２を備えている。

このように、フレーム特徴量抽出部１０１及び位相生成部１０３は、映像特徴生成システム１００でも映像照合システム４００でも利用される。尚、映像特徴生成システム１００と映像照合システム４００を１つに纏めて映像検査装置や映像検査システムとしてもよい。また、映像特徴記憶部３００は、映像特徴生成システム１００及び映像照合システム４００の外部に形成されているが、映像特徴生成システム１００と映像照合システム４００の少なくとも一方に含まれていてもよい。

まず、映像特徴生成システム１００について説明する。

フレーム特徴量抽出部１０１は、入力された映像を構成する単位としてのフレームの画素値に基づいて、フレームを特徴付けるフレーム特徴量を抽出する。より詳しくは、フレーム特徴量抽出部１０１は、映像に含まれる複数のフレームにおけるそれぞれの画素値に基づいて、時系列のフレーム特徴量を抽出する。入力された映像としては、例えば映像が改変される前のオリジナル映像や映像が改変された後の映像がある。改変には、編集、改ざん、変化、変形、変換、伸縮、平行移動などが含まれる。改変された映像は、オリジナル映像との照合に用いられる画像である。映像は例えば動画とも呼ばれる。映像は連続した静止画を単位として構成される。この静止画がフレーム又はフレーム画像と呼ばれる。フレーム特徴量抽出部１０１は、フレームに含まれるすべての画素値に基づいて、フレーム特徴量を抽出する。この結果、例えば平均画素値や分散がフレーム特徴量として抽出される。映像に含まれる少なくとも１つのフレーム上の各位置における画素値がフレーム特徴量として抽出されてもよい。

第１の周波数選択部１０２は、フレーム特徴量抽出部１０１によって抽出されたフレーム特徴量に対するフーリエ変換の結果から少なくとも２つの周波数を選択する。フレーム特徴量抽出部１０１によって時系列のフレーム特徴量が抽出された場合には、時系列のフレーム特徴量に基づく周波数スペクトルから少なくとも２つの周波数が選択される。映像に含まれる少なくとも１つのフレーム上の各位置における画素値がフレーム特徴量として抽出された場合には、抽出されたフレーム特徴量に基づく周波数領域から水平方向成分と垂直方向成分とを含む少なくとも２つの周波数が選択される。例えば、周波数の強さを強い順位で並べて上位から少なくとも２つの周波数が選択されてもよい。また、初期設定又はデフォルトで少なくとも２つの周波数が予め定められていてもよい。初期設定又はデフォルトで予め定められた少なくとも３つの周波数から少なくとも２つの周波数が選択されてもよい。

位相生成部１０３は、少なくとも２つの周波数とフレーム特徴量抽出部１０１によって抽出されたフレーム特徴量と周波数及びフレーム特徴量に応じて周波数の位相を生成するための生成情報とに基づいて、周波数ごとの位相を映像特徴として生成する。映像特徴により映像は特徴付けられる。例えば、第１の周波数選択部１０２によって選択された少なくとも２つの周波数とフレーム特徴量抽出部１０１によって抽出された時系列のフレーム特徴量とに基づいて、周波数ごとの時系列の位相が映像特徴として生成される。また、映像に含まれる少なくとも１つのフレーム上の各位置における画素値がフレーム特徴量として抽出された場合には、第１の周波数選択部１０２によって選択された少なくとも２つの周波数とフレーム特徴量抽出部１０１によって抽出されたフレーム特徴量とに基づいて、周波数ごとの位相が映像特徴として生成される。

位相登録部１０４は、第１の周波数選択部１０２によって選択された少なくとも２つの周波数と位相生成部１０３によって生成された位相を含む映像特徴を映像特徴記憶部３００に登録する。より詳しくは、位相登録部１０４は、位相とその位相を生成する際に利用した周波数とを関連付けて映像特徴ＩＤを付与して映像特徴記憶部３００に登録する。尚、映像特徴ＩＤは、映像特徴を識別する識別情報である。

映像特徴記憶部３００は、例えばハードディスクドライブを備えている。映像特徴記憶部３００は、映像特徴テーブルを記憶する。映像特徴テーブルは、図１（ｂ）に示すように、映像特徴ＩＤ、選択周波数、及び位相系列を映像特徴ＩＤ毎に含んでいる。１つの映像特徴ＩＤには、少なくとも２つの周波数とそれぞれの周波数の位相系列が関連付けられる。一例を挙げると映像特徴ＩＤ「１」には、映像特徴として選択周波数「ω_１」、対応する位相系列「θ_１，θ_２，・・・，θ_ｍ」、選択周波数「ω_２」、対応する位相系列「θ_５，θ_６，・・・，θ_ｎ」が互いに関連付けられる。映像特徴ＩＤは、例えば０以上の整数値で表される。少なくとも２つの周波数は、第１の周波数選択部１０２によって選択された周波数である。初期設定又はデフォルトで定められた少なくとも２つの周波数であってもよい。例えば、後述する第２実施形態にように、６つの周波数が選択された場合、映像特徴テーブルには６つの選択周波数とそれぞれの選択周波数の位相が含まれる。図１（ｂ）に示すように、映像特徴ＩＤ「ｋ」までの映像特徴が登録されている状態で、位相登録部１０４が新たな映像特徴を登録する場合、新たな映像特徴に映像特徴ＩＤ「ｋ＋１」を付与して登録する。このように、映像特徴記憶部３００は、オリジナル映像の映像特徴が順次登録されていく。すなわち、オリジナル映像を特徴付ける映像特徴のデータベースが形成される。

次に、映像照合システム４００について説明する。尚、フレーム特徴量抽出部１０１及び位相生成部１０３については既に説明したため、説明を省略する。

第２の周波数選択部４０１は、フレーム特徴量抽出部１０１によって抽出されたフレーム特徴量に対するフーリエ変換の結果から少なくとも２つの周波数を選択する。フレーム特徴量抽出部１０１によって時系列のフレーム特徴量が抽出された場合には、時系列のフレーム特徴量に基づく周波数スペクトルから少なくとも２つの周波数が選択される。映像に含まれる少なくとも１つのフレーム上の各位置における画素値がフレーム特徴量として抽出された場合には、抽出されたフレーム特徴量に基づく周波数領域から水平方向成分と垂直方向成分とを含む少なくとも２つの周波数が選択される。例えば、初期設定又はデフォルトで少なくとも２つの周波数が予め定められていてもよい。初期設定又はデフォルトで予め定められた少なくとも３つの周波数から少なくとも２つの周波数が選択されてもよい。一方、周波数の強さを強い順位で並べて上位から少なくとも２つの周波数が第１の周波数選択部１０２で選択されていた場合には、第２の周波数選択部４０１は、取りえるすべての周波数を周波数スペクトル又は周波数領域から選択する。

映像特徴照合部４０２は、位相生成部１０３によって生成された改変された映像の映像特徴とオリジナル映像の映像特徴とを照合する。具体的には、映像特徴照合部４０２は、まず第２の周波数選択部４０１によって選択された周波数と位相生成部１０３によって生成された改変された映像の位相に基づいて、改変された映像の映像特徴を生成する。次に、映像特徴照合部４０２は、映像特徴記憶部３００に登録されたオリジナル映像の映像特徴を取得する。最後に、映像特徴照合部４０２は、改変された映像の映像特徴とオリジナル映像の映像特徴とを照合する。照合した結果、改変された映像の映像特徴と同一性を有すると判断されたオリジナル映像の映像特徴がある場合、その映像特徴に対応するオリジナル映像又はオリジナル映像に関連する情報を照合結果として出力する。一方、改変された映像の映像特徴と同一性を有すると判断されたオリジナル映像の映像特徴がない場合、照合失敗の旨を照合結果として出力する。尚、映像特徴照合部４０２は、位相登録部１０４からオリジナル映像の映像特徴を直接取得してもよい。

続いて、映像特徴生成システム１００のハードウェア構成について図２を参照して説明する。

図２は、映像特徴生成システム１００のハードウェア構成の一例である。
映像特徴生成システム１００は、Central Processing Unit（ＣＰＵ）１００ａ、Random Access Memory（ＲＡＭ）１００ｂ、Read Only Memory（ＲＯＭ）１００ｃ、Hard Disc Drive（ＨＤＤ）１００ｄを含んでいる。映像特徴生成システム１００は、入力Interface（Ｉ／Ｆ）１００ｅ、出力Ｉ／Ｆ１００ｆ、入出力Ｉ／Ｆ１００ｇも含んでいる。映像特徴生成システム１００は、ドライブ装置１００ｈ、通信インタフェース１００ｉも含んでいる。これらの各機器１００ａ〜１００ｉは、バス１００ｊによって互いに接続されている。少なくともＣＰＵ１００ａとＲＡＭ１００ｂとが協働することによってコンピュータが実現される。

入力Ｉ／Ｆ１００ｅには、入力装置５１０が接続される。入力装置としては、例えばキーボードやマウスなどがある。
出力Ｉ／Ｆ１００ｆには、出力装置が接続される。出力装置としては、例えば表示装置５２０（例えば液晶ディスプレイ）や印刷装置５３０（例えばプリンタ）がある。
入出力Ｉ／Ｆ１００ｇには、半導体メモリ５４０が接続される。半導体メモリ５４０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ１００ｇは、半導体メモリ５４０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ１００ｅ、出力Ｉ／Ｆ１００ｆ、及び入出力Ｉ／Ｆ１００ｇは、例えばＵＳＢポートを備えている。

ドライブ装置１００ｈには、可搬型記録媒体５５０が挿入される。可搬型記録媒体５５０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置１００ｈは、可搬型記録媒体５５０に記録されたプログラムやデータを読み込む。
通信Ｉ／Ｆ１００ｉは、Local Area Network（ＬＡＮ）インタフェース（例えばＬＡＮカード、ネットワークアダプタ）及びモデムを備えている。通信Ｉ／Ｆ１００ｉには、ネットワーク５６０が接続される。ネットワーク５６０としては、例えばＬＡＮ、公衆回線網、インターネットがある。

上述したＲＡＭ１００ｂは、ＲＯＭ１００ｃやＨＤＤ１００ｄ、半導体メモリ５４０に記憶された映像特徴生成プログラムを読み込む。ＲＡＭ１００ｂは、可搬型記録媒体５５０に記録された映像特徴生成プログラムを読み込む。読み込まれた映像特徴生成プログラムをＣＰＵ１００ａが実行することにより、映像特徴生成システム１００の各機能１０１，・・・，１０４が実現される。また、映像特徴生成方法の各処理ステップも映像特徴生成システム１００により実行される。映像特徴生成プログラムは、後述するフローチャートに応じたものとすればよい。
尚、映像照合システム４００のハードウェア構成も基本的に映像特徴生成システム１００のハードウェア構成と同様である。

次に、映像特徴生成システム１００で実行される映像特徴生成方法について図３及び図４を参照して説明する。

図３は、第１実施形態における映像特徴生成システム１００で実行される処理ステップを例示するフローチャートである。図４は、第１実施形態における映像特徴が生成される様子を例示する図である。
図３に示すように、フレーム特徴量抽出部１０１に映像が入力されると、フレーム特徴量抽出部１０１は入力された映像のフレーム特徴量をすべて抽出する（ステップＳ１０１）。映像は、オリジナル映像又は改変された映像である。図４（ａ）を参照して具体的に説明すると、映像には複数のフレームが含まれている。各フレームには、フレーム０，フレーム１，・・・，フレームｎ，・・・，フレームＮ−１といった連続するフレーム番号が割り当てられている。以上から、この映像はＮ枚の連続するフレームによって構成されていることが分かる。複数のフレームは、時系列に並んでいる。このような映像に基づいて、時系列のフレーム特徴量が抽出される。この結果、図４（ｂ）に示すように、時系列のフレーム特徴量が得られる。

尚、フレーム特徴量には例えば画素平均値、分散などがある。
フレーム特徴量が画素平均値である場合には、以下の数式（１）によってフレーム特徴量Ｆ［ｎ］が算出される。

フレーム特徴量が分散である場合には、以下の数式（２）によってフレーム特徴量Ｆ［ｎ］が算出される。

ここで、Ｇ（ｘ，ｙ，ｎ）は、フレーム番号ｎのフレームにおける位置（ｘ，ｙ）の画素値を示している。画素値には、例えば輝度値、ＲＧＢ値、ＸＹＺ値（三刺激値）などがある。Ｗはフレームの水平方向のピクセル数を示している。Ｈはフレームの垂直方向のピクセル数を示している。したがって、このフレームはＷ×Ｈのサイズを有する。さらに、μ（ｎ）は、すべての位置におけるＧ（ｘ，ｙ，ｎ）を平均した平均値を示している。

フレーム特徴量抽出部１０１によってフレーム特徴量Ｆ［０］，・・・，Ｆ［Ｎ−１］が抽出されると、次いで第１の周波数選択部１０２が周波数を選択する（ステップＳ１０２）。周波数は、少なくとも２つ（例えばＭ個）選択される。周波数は、周波数スペクトルから選択される。周波数スペクトルは、各フレーム特徴量Ｆ［０］，・・・，Ｆ［Ｎ−１］に対する一次元フーリエ変換の結果である。以下、選択された周波数は、それぞれ周波数ω_０，ω_１，・・・，ω_ｍ，・・・，ω_Ｍ−１と示す。

第１の周波数選択部１０２によって周波数ω_０，ω_１，・・・，ω_ｍ，・・・，ω_Ｍ−１が選択されると、次いで位相生成部１０３が各周波数の位相系列を生成する（ステップＳ１０３）。
具体的には、図４（ｂ）に示すように、時系列のフレーム特徴量に対し予め定めた幅Ｔを有する分析用窓（分析区間）が設定される。幅Ｔは、時系列のフレーム特徴量のサンプリング数を示している。例えばＴ＝６である場合、Ｆ［０］，・・・，Ｆ［５］がサンプリングされる。サンプリングされると、選択された周波数の位相が周波数毎に生成される。例えば、周波数ω_１，ω_２が選択されている場合、フレーム特徴量Ｆ［０］，・・・，Ｆ［５］に対する位相θ_１［０］，θ_２［０］が生成される。位相が周波数毎に１つ生成されると、分析用窓が１フレーム分ずれて新たな位相が周波数毎に生成される。この結果、フレーム特徴量Ｆ［１］，・・・，Ｆ［６］に対する位相θ_１［１］，θ_２［１］が生成される。以下、同様の手法により、位相θ_１［Ｎ−Ｔ］，θ_２［Ｎ−Ｔ］が生成される。したがって、周波数ω_１に対してＮ−Ｔ＋１個の位相θ_１［０］，θ_１［１］，・・・θ_１［Ｎ−Ｔ］が生成される。周波数ω_２に対してＮ−Ｔ＋１個の位相θ_２［０］，θ_２［１］・・・θ_２［Ｎ−Ｔ］が生成される。すなわち、時系列の位相が周波数毎に生成される。

尚、周波数ω_ｍの位相θ_ｍ［ｎ］は、以下の数式（３）及び（４）に基づいて算出される。まず、以下の数式（３）によってフレーム特徴量Ｆ［ｎ］の周波数ω_ｍにおけるフーリエ係数Ｃ_ｍ［ｎ］が算出される。次いで、以下の数式（４）によってフーリエ係数Ｃ_ｍ［ｎ］における位相θ_ｍ［ｎ］が算出される。数式（３）及び（４）によって上述した生成情報が構成される。

ここで、数式（４）において、Ｒｅ（Ｃ_ｍ［ｎ］）は複素数Ｃ_ｍ［ｎ］の実数部を示している。Ｉｍ（Ｃ_ｍ［ｎ］）は複素数Ｃ_ｍ［ｎ］の虚数部を示している。

位相生成部１０３によって周波数ごとの位相系列が生成されると、位相登録部１０４は、選択された周波数と位相系列を含む映像特徴を映像特徴記憶部３００に登録する（ステップＳ１０４）。映像特徴は、図４（ｃ）に示すように、周波数ごとの時系列の位相を含んでいる。

次に、映像照合システム４００で実行される映像照合方法について図５及び図６を参照して説明する。

図５は、第１実施形態における映像照合システム４００で実行される処理ステップを例示するフローチャートである。図６は、第１実施形態における映像照合の様子を例示する図である。尚、後述するステップＳ１１１〜Ｓ１１３の処理ステップは、基本的に上述したステップＳ１０１〜Ｓ１０３と同様である。

フレーム特徴量抽出部１０１に改変された映像が入力されると、図５に示すように、改変された映像のフレーム特徴量をすべて抽出する（ステップＳ１１１）。フレーム特徴量抽出部１０１によって改変された映像のフレーム特徴量Ｆ［０］，・・・，Ｆ［Ｎ−１］が抽出されると、次いで第２の周波数選択部４０１が周波数を選択する（ステップＳ１１２）。周波数は、少なくとも２つ（例えばＬ個）選択される。以下、選択された周波数は、それぞれ周波数ρ_０，ρ_１，・・・，ρ_ｌ，・・・，ρ_Ｌ−１と示す。ここで、第１の周波数選択部１０２によって選択された周波数と同じ周波数を第２の周波数選択部４０１が選択する場合には、周波数ρ_０＝ω_０，ρ_１＝ω_１，・・・，ρ_ｌ＝ω_ｍ，・・・，ρ_Ｌ−１＝ω_Ｍ−１となる。一方、周波数の強さを強い順位で並べて上位から少なくとも２つの周波数が第１の周波数選択部１０２によって選択された場合には、第２の周波数選択部４０１はすべての周波数ρ_０，ρ_１，・・・，ρ_ｌ，・・・，ρ_Ｌ−１を選択する。

第２の周波数選択部４０１によって周波数（例えば周波数ρ_１（＝ω_１），ρ_２（＝ω_２））が選択されると、次いで位相生成部１０３が各周波数の位相系列を生成する（ステップＳ１１３）。この結果、周波数ρ_１に対してＮ−Ｔ＋１個の位相φ_１［０］，φ_１［１］，・・・φ_１［Ｎ−Ｔ］が生成される。周波数ρ_２に対してＮ−Ｔ＋１個の位相φ_２［０］，φ_２［１］・・・φ_２［Ｎ−Ｔ］が生成される。すなわち、改変された映像について時系列の位相が周波数毎に生成される。すべての周波数が選択された場合には、すべての周波数について時系列の位相がそれぞれ生成される。

次いで、映像特徴照合部４０２は、映像特徴記憶部３００に登録された映像特徴の１つと生成された位相系列を含む映像特徴とを相関値で照合する（ステップＳ１１４）。具体的には、映像特徴照合部４０２は、まず第２の周波数選択部４０１によって選択された周波数と位相生成部１０３によって生成された周波数毎の位相系列とを含む、改変された映像の映像特徴を生成する。次いで、映像特徴照合部４０２は第２の周波数選択部４０１によって選択された周波数と一致する周波数を有する映像特徴を映像特徴記憶部３００から抽出する。例えば、周波数ρ_１，ρ_２が選択されており、映像特徴記憶部３００に周波数ω_１，ω_２の映像特徴及び周波数ω_７，ω_９の映像特徴が登録されている場合には、周波数ρ_１，ρ_２と一致する周波数ω_１，ω_２の映像特徴が映像特徴記憶部３００から抽出される。第２の周波数選択部４０１によって選択された周波数と一致する周波数を有する映像特徴が複数ある場合には、複数の映像特徴すべてが抽出される。ここで、周波数ω_ｍ（例えば周波数ω_１やω_２）と一致する周波数ρ_ｌ（例えばρ_１やρ_２）を、説明の都合上新たに周波数ρ´_ｍとする。また、対応する位相をφ´_ｍ［ｎ］とする。次いで、映像特徴照合部４０２は、抽出した複数の映像特徴の中から１つの映像特徴を取得する。次いで、映像特徴照合部４０２は、図６に示すように、取得したオリジナル映像の映像特徴と改変された映像の映像特徴との相関値Ｒ［ｋ］を算出して照合する。相関値Ｒ［ｋ］は、２つの映像特徴の類似度を示している。相関値Ｒ［ｋ］が大きな値になるほど、類似度は高い。相関値Ｒ［ｋ］は一時的に保持される。

第１実施形態における相関値Ｒ［ｋ］は、以下の数式（５）によって算出される。数式（５）に示すように、相関値Ｒ［ｋ］は、各位相を複素平面上の半径１の円上に投影した点（例えば、位相がθであればｅｘｐ（ｉθ））を時系列に並べた点群同士の内積により求められる。尚、ｅｘｐ（ｉφ´_ｍ［ｎ］）は、その上に付された線により共役複素数であることを示す。

上述した数式（５）で算出される相関値Ｒ［ｋ］は、改変された映像の時間方向のずれに対して影響を受けない。改変された映像が時間方向にずれた場合、周波数ρ´_ｍ，ρ´_ｍ＋１の位相φ´_ｍ［ｎ］，φ´_ｍ＋１［ｎ］はそれぞれ同じ値でずれる。このずれをδ_ｍとして、時間方向にずれた改変された映像から得られる相関値をＲ´［ｋ］とした場合、相関値Ｒ´［ｋ］の右辺は以下に示す数式（６）のように書き換えられる。結果として、相関値Ｒ´［ｋ］は相関値Ｒ［ｋ］と同じ値となる。すなわち、改変された映像が時間方向のずれても、相関値Ｒ［ｋ］は影響を受けない。

映像特徴同士の照合処理が完了すると、次いで、映像特徴照合部４０２は抽出したすべての映像特徴と照合し終えたか否か判断する（ステップＳ１１５）。映像特徴照合部４０２は、抽出したすべての映像特徴と照合し終えていないと判断した場合（ステップＳ１１５：ＮＯ）、ステップＳ１１４の処理に戻る。そして、抽出した映像特徴の中から次の映像特徴を取得し、改変された映像の映像特徴との相関値Ｒ［ｋ］を算出して照合する。算出した相関値Ｒ［ｋ］が一時的に保持した直近の相関値Ｒ［ｋ］より大きい場合、直近の相関値Ｒ［ｋ］は、算出した相関値Ｒ［ｋ］に更新される。この結果、常に最大の相関値Ｒ［ｋ］が一時的に保持される。

抽出したすべての映像特徴と照合し終えたと判断された場合（ステップＳ１１５：ＹＥＳ）、映像特徴照合部４０２は、最大の相関値Ｒ［ｋ］が閾値を超えるか否かを判断する（ステップＳ１１６）。閾値は、類似度が高いことを表す予め定められた値である。閾値は、例えば０．８以上１．０以下と定められる。閾値の下限は０．９以上でもよいし、０．９５以上でもよい。

最大の相関値Ｒ［ｋ］が閾値を超えると判断された場合（ステップＳ１１６：ＹＥＳ）、映像特徴照合部４０２は、最大の相関値Ｒ［ｋ］に対応するオリジナル映像を出力する（ステップＳ１１７）。尚、オリジナル映像に代えてオリジナル映像に関連する情報が照合結果として出力されてもよい。一方、最大の相関値Ｒ［ｋ］が閾値を超えないと判断された場合（ステップＳ１１６：ＮＯ）、映像特徴照合部４０２は、照合失敗の旨を照合結果として出力する（ステップＳ１１８）。

以上説明したように、第１実施形態で利用するフレーム特徴量は、各フレームに含まれる全ての画素値に基づいて抽出される。このため、映像の縦と横の比率が変更されたり、映像がクロッピングされたりしても、映像の同一性を判断する精度が下がらない。すなわち、映像が改変されても、改変前後の映像照合に関し改変の影響を受けにくい。例えば、テレビ番組や映画といったオリジナル映像をビデオカメラで撮影したものの、オリジナル映像に対し撮影された映像が斜めに傾いて変化していたような場合でも、映像の同一性を判断する精度が下がらない。

また、オリジナル映像のコントラストを変換したり、画素値ヒストグラムを伸縮したり平行移動したりしても映像の同一性を判断する精度が下がらない。このため、ビデオカメラを通じた映像の色味がオリジナル映像の色味から変わったような場合でも、映像の同一性を判断する精度が下がらない。

（第２実施形態）
続いて、第２実施形態について図７乃至図１０を参照して説明する。第２実施形態は、フレーム特徴量の抽出方法及び映像特徴の形式が第１実施形態と相違する。
まず、映像特徴生成システム１００で実行される映像特徴生成方法について図７及び図８を参照して説明する。

図７は、第２実施形態における映像特徴生成システム１００で実行される処理ステップを例示するフローチャートである。図８は、第２実施形態における映像特徴が生成される様子を例示する図である。
フレーム特徴量抽出部１０１に映像（例えば、オリジナル映像又は改変された映像）が入力されると、図７に示すように、フレーム特徴量抽出部１０１は入力された映像のフレーム上の各位置における画素値をフレーム特徴量として抽出する（ステップＳ２０１）。具体的には、入力された映像に含まれる複数のフレームから、図８（ａ）に示すように１つのフレームが選択されて、選択されたフレーム上の各位置における画素値がフレーム特徴量として抽出される。例えば、位置（ｘ_０，ｙ_０）における画素値がフレーム特徴量Ｆ［ｘ_０］［ｙ_０］となる。位置（ｘ_Ｗ−１，ｙ_Ｈ−１）における画素値がフレーム特徴量Ｆ［ｘ_Ｗ−１］［ｙ_Ｈ−１］となる。すべての画素に対してフレーム特徴量Ｆ［ｘ］［ｙ］が抽出される。尚、詳細は後述するが、入力された映像に含まれる複数のフレームから少なくとも２つのフレームが選択されてもよい。

次いで、第１の周波数選択部１０２は、水平方向成分と垂直方向成分を含む周波数を選択する（ステップＳ２０２）。周波数は、少なくとも２つ（例えばＭ個）選択される。周波数は、図８（ｂ）に示すように周波数領域から選択される。周波数領域は、各フレーム特徴量Ｆ［ｘ_０］［ｙ_０］，・・・，Ｆ［ｘ_Ｗ−１］［ｙ_Ｈ−１］に対する二次元フーリエ変換の結果である。図８（ｂ）では、位置（ｘ_３，ｙ_３）における周波数（ａ_ｍ，ｂ_ｍ）、位置（ｘ_４，ｙ_４）における周波数（ａ_ｍ＋１，ｂ_ｍ＋１）など全部で６つの周波数が選択されている。以下、選択された周波数は、それぞれ周波数（ａ_０，ｂ_０），（ａ_１，ｂ_１），・・・，（ａ_ｍ，ｂ_ｍ），・・・，（ａ_Ｍ−１，ｂ_Ｍ−１）と示す。

次いで、位相生成部１０３は、各周波数の位相を生成する（ステップＳ２０３）。周波数（ａ_ｍ，ｂ_ｍ）の位相θ_ｍは、以下の数式（７）及び（８）に基づいて算出される。まず、以下の数式（７）によってフレーム特徴量Ｆ［ｘ］［ｙ］の周波数（ａ_ｍ，ｂ_ｍ）におけるフーリエ係数Ｃ_ｍが算出される。次いで、以下の数式（８）によってフーリエ係数Ｃ_ｍにおける位相θ_ｍが算出される。数式（７）及び（８）によっても上述した生成情報が構成される。

ここで、数式（８）において、Ｒｅ（Ｃ_ｍ）は複素数Ｃ_ｍの実数部を示している。Ｉｍ（Ｃ_ｍ）は複素数Ｃ_ｍの虚数部を示している。
この結果、各周波数の位相が生成される。図８（ｃ）では、例えば周波数（ａ_１，ｂ_１），・・・，（ａ_６，ｂ_６）のそれぞれの位相θ_１，・・・，θ_６が生成されている。各周波数の位相が１つに関連付けられて映像特徴が形成される。

次いで、位相登録部１０４は、周波数と位相を含む映像特徴を映像特徴記憶部３００に登録する（ステップＳ２０４）。
尚、上述したように第２実施形態において入力された映像に含まれる複数のフレームから少なくとも２つフレームが選択された場合、ステップＳ２０３の位相生成処理を各フレームに適用すればよい。この結果、例えば周波数（ａ_１，ｂ_１）の位相θ_１［０］，θ_１［１］，・・・θ_１［Ｎ−Ｔ］から、周波数（ａ_６，ｂ_６）の位相θ_６［０］，θ_６［１］，・・・θ_６［Ｎ−Ｔ］までが生成される。すなわち、時系列の位相が周波数ごとに生成される。

次に、映像照合システム４００で実行される映像照合方法について図９及び図１０を参照して説明する。

図９は、第２実施形態における映像照合システム４００で実行される処理ステップを例示するフローチャートである。図１０は、第２実施形態における映像照合の様子を例示する図である。尚、後述するステップＳ２１１〜Ｓ２１３の処理ステップは、基本的に上述したステップＳ２０１〜Ｓ２０３と同様である。また、後述するステップＳ２１４〜Ｓ２１８の処理ステップは、基本的に第１実施形態で説明したステップＳ１１４〜Ｓ１１８と同様である。

フレーム特徴量抽出部１０１に改変された映像が入力されると、図９に示すように、フレーム特徴量抽出部１０１は改変された映像のフレーム上の各位置における画素値をフレーム特徴量として抽出する（ステップＳ２１１）。フレーム特徴量抽出部１０１によって改変された映像のフレーム特徴量Ｆ［ｘ_０］［ｙ_０］，・・・，Ｆ［ｘ_Ｗ−１］［ｙ_Ｈ−１］が抽出されると、次いで第２の周波数選択部４０１が水平方向成分と垂直方向成分を含む周波数を選択する（ステップＳ２１２）。周波数は、少なくとも２つ（例えばＬ個）選択される。以下、選択された周波数は、それぞれ周波数（ａ_０，ｂ_０），（ａ_１，ｂ_１），・・・，（ａ_ｌ，ｂ_ｌ），・・・，（ａ_Ｌ−１，ｂ_Ｌ−１）と示す。ここで、第１の周波数選択部１０２によって選択された周波数と同じ周波数を第２の周波数選択部４０１が選択する場合には、周波数（ａ_ｌ，ｂ_ｌ）＝（ａ_ｍ，ｂ_ｍ），・・・，（ａ_Ｌ−１，ｂ_Ｌ−１）＝（ａ_Ｍ−１，ｂ_Ｍ−１）となる。一方、周波数の強さを強い順位で並べて上位から少なくとも２つの周波数が第１の周波数選択部１０２によって選択された場合には、第２の周波数選択部４０１はすべての周波数（ａ_０，ｂ_０），（ａ_１，ｂ_１），・・・，（ａ_ｌ，ｂ_ｌ），・・・，（ａ_Ｌ−１，ｂ_Ｌ−１）を選択する。

第２の周波数選択部４０１によって周波数（例えば周波数（ａ_１，ｂ_１），・・・，（ａ_６，ｂ_６））が選択されると、次いで位相生成部１０３が各周波数の位相を生成する（ステップＳ２１３）。例えば周波数（ａ_１，ｂ_１），・・・，（ａ_６，ｂ_６）のそれぞれの位相φ_１，・・・φ_６が生成される。

次いで、映像特徴照合部４０２は、映像特徴記憶部３００に登録された映像特徴の１つと生成された位相を含む映像特徴とを相関値で照合する（ステップＳ２１４）。具体的には、映像特徴照合部４０２は、まず第２の周波数選択部４０１によって選択された周波数と位相生成部１０３によって生成された周波数毎の位相とを含む、改変された映像の映像特徴を生成する。次いで、映像特徴照合部４０２は第２の周波数選択部４０１によって選択された周波数と一致する周波数を有する映像特徴を映像特徴記憶部３００から抽出する。例えば、周波数（ａ_１，ｂ_１），・・・，（ａ_６，ｂ_６）が選択されており、映像特徴記憶部３００に周波数（ａ_１，ｂ_１），・・・，（ａ_６，ｂ_６）の映像特徴及び周波数（ａ_７，ｂ_７），・・・，（ａ_９，ｂ_９）の映像特徴が登録されている場合には、周波数（ａ_１，ｂ_１），・・・，（ａ_６，ｂ_６）と一致する周波数（ａ_１，ｂ_１），・・・，（ａ_６，ｂ_６）の映像特徴が映像特徴記憶部３００から抽出される。第２の周波数選択部４０１によって選択された周波数と一致する周波数を有する映像特徴が複数ある場合には、複数の映像特徴すべてが抽出される。ここで、周波数（ａ_ｍ，ｂ_ｍ）（例えば周波数（ａ_１，ｂ_１），・・・，（ａ_６，ｂ_６））と一致する周波数（ａ_ｌ，ｂ_ｌ）（例えば（ａ_１，ｂ_１），・・・，（ａ_６，ｂ_６））を、説明の都合上新たに周波数（ａ´_ｍ，ｂ´_ｍ）とする。また、対応する位相をφ´_ｍとする。次いで、映像特徴照合部４０２は、抽出した複数の映像特徴の中から１つの映像特徴を取得する。次いで、映像特徴照合部４０２は、図１０に示すように、取得したオリジナル映像の映像特徴と改変された映像の映像特徴との相関値Ｒ［ｋ］を算出して照合する。相関値Ｒ［ｋ］は一時的に保持される。

第２実施形態における相関値Ｒ［ｋ］は、以下の数式（９）によって算出される。数式（９）に示すように、相関値Ｒ［ｋ］は、各位相を複素平面上の半径１の円上に投影した点（例えば、位相がθであればｅｘｐ（ｉθ））を時系列に並べた点群同士の内積により求められる。尚、ｅｘｐ（ｉφ´_ｍ［ｎ］）は、その上に付された線により共役複素数であることを示す。

また、上述したように第２実施形態において入力された映像に含まれる複数のフレームから少なくとも２つフレームが選択された場合、相関値Ｒ［ｋ］は、以下の数式（１０）によって算出される。

映像特徴同士の照合処理が完了すると、次いで、映像特徴照合部４０２は抽出したすべての映像特徴と照合し終えたか否か判断する（ステップＳ２１５）。映像特徴照合部４０２は、抽出したすべての映像特徴と照合し終えていないと判断した場合（ステップＳ２１５：ＮＯ）、ステップＳ２１４の処理に戻る。そして、抽出した映像特徴の中から次の映像特徴を取得し、改変された映像の映像特徴との相関値Ｒ［ｋ］を算出して照合する。算出した相関値Ｒ［ｋ］が一時的に保持した直近の相関値Ｒ［ｋ］より大きい場合、直近の相関値Ｒ［ｋ］は、算出した相関値Ｒ［ｋ］に更新される。この結果、常に最大の相関値Ｒ［ｋ］が一時的に保持される。

抽出したすべての映像特徴と照合し終えたと判断された場合（ステップＳ２１５：ＹＥＳ）、映像特徴照合部４０２は、最大の相関値Ｒ［ｋ］が閾値を超えるか否かを判断する（ステップＳ２１６）。最大の相関値Ｒ［ｋ］が閾値を超えると判断された場合（ステップＳ２１６：ＹＥＳ）、映像特徴照合部４０２は、最大の相関値Ｒ［ｋ］に対応するオリジナル映像を出力する（ステップＳ２１７）。一方、最大の相関値Ｒ［ｋ］が閾値を超えないと判断された場合（ステップＳ２１６：ＮＯ）、映像特徴照合部４０２は、照合失敗の旨を照合結果として出力する（ステップＳ２１８）。

以上説明したように、第２実施形態では映像（動画）のみならず、１枚の静止画（１つのフレーム）にも適用可能である。静止画に適用の場合、画像の拡大もしくは縮小又は縦と横の比率の変更といった画像サイズの変更に対して影響を受けない。なぜならば、画像サイズが変更されると各周波数を求めるための計算範囲も変更される。このため、選択された周波数に基づいて得られる周波数の強さ及び位相は変わらない。さらに、空間方向の位置ずれ、映像の回転又は切り取りといった幾何変換がある場合には、想定される幾何変換に伴うずれを考慮して複数通りの相関値を求めて映像照合を行う必要がある。例えば、改変された映像がオリジナル映像から最大±１０度で回転していると想定した場合、±５度の回転を考慮した相関値及び±１０度の回転を考慮した相関値を求めておく必要がある。この結果、幾何変換に対しても影響を受けない。

また、上述したように第２実施形態において入力された映像に含まれる複数のフレームから少なくとも２つフレームが選択された場合、すなわち、動画に適用の場合、画像サイズの変更に影響を受けないばかりか、空間方向の位置ずれに対しても影響を受けない。例えば、オリジナル映像と改変された映像との間で映像の位置がずれていた場合、周波数（ａ´_ｍ，ｂ´_ｍ），（ａ´_ｍ＋１，ｂ´_ｍ＋１）の位相φ´_ｍ［ｎ］，φ´_ｍ＋１［ｎ］はそれぞれ同じ値でずれる。このずれをδ_ｍとして、位置ずれした改変された映像から得られる相関値をＲ´［ｋ］とした場合、相関値Ｒ´［ｋ］の右辺は以下に示す数式（１１）のように書き換えられる。結果として、相関値Ｒ´［ｋ］は相関値Ｒ［ｋ］と同じ値となる。すなわち、改変された映像が空間方向のずれても、相関値Ｒ［ｋ］は影響を受けない。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

なお、以上の説明に関して更に以下の付記を開示する。
（付記１）入力された映像を構成する単位としてのフレームの画素値に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出手段と、少なくとも２つの周波数と前記抽出手段によって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成手段と、を有する映像特徴生成システム。
（付記２）前記抽出手段によって抽出されたフレーム特徴量に対するフーリエ変換の結果から前記少なくとも２つの周波数を選択する選択手段をさらに有することを特徴とする付記１に記載の映像特徴生成システム。
（付記３）前記抽出手段は、前記映像に含まれる複数のフレームにおけるそれぞれの画素値に基づいて、時系列のフレーム特徴量を抽出し、前記選択手段は、前記抽出手段によって抽出された時系列のフレーム特徴量に基づく周波数スペクトルから少なくとも２つの周波数を選択し、前記生成手段は、前記選択手段によって選択された少なくとも２つの周波数と前記抽出手段によって抽出された時系列のフレーム特徴量と前記生成情報とに基づいて、前記各周波数の時系列の位相を映像特徴として生成することを特徴とする付記２に記載の映像特徴生成システム。
（付記４）前記抽出手段は、前記フレームに含まれるすべての画素値に基づいて、前記フレーム特徴量を抽出することを特徴とする付記１から３のいずれか１項に記載の映像特徴生成システム。
（付記５）前記抽出手段は、前記フレームに含まれるすべての画素値の平均値に基づいて、前記フレーム特徴量を抽出することを特徴とする付記４に記載の映像特徴生成システム。
（付記６）前記抽出手段は、前記フレームに含まれるすべての画素値の分散に基づいて、前記フレーム特徴量を抽出することを特徴とする付記４に記載の映像特徴生成システム。
（付記７）前記抽出手段は、前記映像に含まれる少なくとも１つのフレーム上の各位置における画素値を前記フレーム特徴量として抽出し、前記選択手段は、前記抽出手段によって抽出されたフレーム特徴量に基づく周波数領域から水平方向成分と垂直方向成分とを含む少なくとも２つの周波数を選択し、前記生成手段は、前記選択手段によって選択された少なくとも２つの周波数と前記抽出手段によって抽出されたフレーム特徴量と前記生成情報とに基づいて、前記各周波数の位相を映像特徴として生成することを特徴とする付記２に記載の映像特徴生成システム。
（付記８）コンピュータが、入力された映像を構成する単位としてのフレームの画素値に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出ステップと、少なくとも２つの周波数と前記抽出ステップによって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成ステップと、を実行する映像特徴生成方法。
（付記９）前記抽出ステップによって抽出されたフレーム特徴量に対するフーリエ変換の結果から前記少なくとも２つの周波数を選択する選択ステップをさらに有することを特徴とする付記８に記載の映像特徴生成方法。
（付記１０）前記抽出ステップは、前記映像に含まれる複数のフレームにおけるそれぞれの画素値に基づいて、時系列のフレーム特徴量を抽出し、前記選択ステップは、前記抽出ステップによって抽出された時系列のフレーム特徴量に基づく周波数スペクトルから少なくとも２つの周波数を選択し、前記生成ステップは、前記選択ステップによって選択された少なくとも２つの周波数と前記抽出ステップによって抽出された時系列のフレーム特徴量と前記生成情報とに基づいて、各周波数の時系列の位相を映像特徴として生成することを特徴とする付記９に記載の映像特徴生成方法。
（付記１１）前記抽出ステップは、前記フレームに含まれるすべての画素値に基づいて、前記フレーム特徴量を抽出することを特徴とする付記８から１０のいずれか１項に記載の映像特徴生成方法。
（付記１２）前記抽出ステップは、前記フレームに含まれるすべての画素値の平均値に基づいて、前記フレーム特徴量を抽出することを特徴とする付記１１に記載の映像特徴生成方法。
（付記１３）前記抽出ステップは、前記フレームに含まれるすべての画素値の分散に基づいて、前記フレーム特徴量を抽出することを特徴とする付記１１に記載の映像特徴生成方法。
（付記１４）前記抽出ステップは、前記映像に含まれる少なくとも１つのフレーム上の各位置における画素値を前記フレーム特徴量として抽出し、前記選択ステップは、前記抽出ステップによって抽出されたフレーム特徴量に基づく周波数領域から水平方向成分と垂直方向成分とを含む少なくとも２つの周波数を選択し、前記生成ステップは、前記選択ステップによって選択された少なくとも２つの周波数と前記抽出ステップによって抽出されたフレーム特徴量と前記生成情報とに基づいて、各周波数の位相を映像特徴として生成することを特徴とする付記９に記載の映像特徴生成方法。
（付記１５）入力された映像を構成する単位としてのフレームの画素値に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出ステップと、少なくとも２つの周波数と前記抽出ステップによって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成ステップと、をコンピュータに実行させるための映像特徴生成プログラム。
（付記１６）前記抽出ステップによって抽出されたフレーム特徴量に対するフーリエ変換の結果から前記少なくとも２つの周波数を選択する選択ステップをさらに有することを特徴とする付記１５に記載の映像特徴生成プログラム。
（付記１７）前記抽出ステップは、前記映像に含まれる複数のフレームにおけるそれぞれの画素値に基づいて、時系列のフレーム特徴量を抽出し、前記選択ステップは、前記抽出ステップによって抽出された時系列のフレーム特徴量に基づく周波数スペクトルから少なくとも２つの周波数を選択し、前記生成ステップは、前記選択ステップによって選択された少なくとも２つの周波数と前記抽出ステップによって抽出された時系列のフレーム特徴量と前記生成情報とに基づいて、各周波数の時系列の位相を映像特徴として生成することを特徴とする付記１６に記載の映像特徴生成プログラム。
（付記１８）前記抽出ステップは、前記フレームに含まれるすべての画素値に基づいて、前記フレーム特徴量を抽出することを特徴とする付記１５から１７のいずれか１項に記載の映像特徴生成プログラム。
（付記１９）前記抽出ステップは、前記フレームに含まれるすべての画素値の平均値に基づいて、前記フレーム特徴量を抽出することを特徴とする付記１８に記載の映像特徴生成プログラム。
（付記２０）前記抽出ステップは、前記フレームに含まれるすべての画素値の分散に基づいて、前記フレーム特徴量を抽出することを特徴とする付記１８に記載の映像特徴生成方法。
（付記２１）前記抽出ステップは、前記映像に含まれる少なくとも１つのフレーム上の各位置における画素値を前記フレーム特徴量として抽出し、前記選択ステップは、前記抽出ステップによって抽出されたフレーム特徴量に基づく周波数領域から水平方向成分と垂直方向成分とを含む少なくとも２つの周波数を選択し、前記生成ステップは、前記選択ステップによって選択された少なくとも２つの周波数と前記抽出ステップによって抽出されたフレーム特徴量と前記生成情報とに基づいて、各周波数の位相を映像特徴として生成することを特徴とする付記１６に記載の映像特徴生成プログラム。
（付記２２）入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出手段と、少なくとも２つの周波数と前記抽出手段によって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成手段と、前記生成手段によって生成された第１の映像特徴と第２の映像特徴とを照合する照合手段と、を有する映像照合システム。
（付記２３）コンピュータが、入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出ステップと、少なくとも２つの周波数と前記抽出ステップによって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成ステップと、前記生成ステップによって生成された第１の映像特徴と第２の映像特徴とを照合する照合ステップと、を実行する映像照合方法。
（付記２４）入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出ステップと、少なくとも２つの周波数と前記抽出ステップによって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成ステップと、前記生成ステップによって生成された第１の映像特徴と第２の映像特徴とを照合する照合ステップと、をコンピュータに実行させるための映像照合プログラム。

１００ 映像特徴生成システム
１０１ フレーム特徴量抽出部（抽出手段）
１０２ 第１の周波数選択部（選択手段）
１０３ 位相生成部（生成手段）
１０４ 位相登録部
３００ 映像特徴記憶部
４００ 映像照合システム
４０１ 第２の周波数選択部
４０２ 映像特徴照合部（照合手段）

Claims (16)

1. 入力された映像を構成する単位としてのフレームの画素値の平均値に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出手段と、
   少なくとも２つの周波数と前記抽出手段によって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成手段と、
   を有する映像特徴生成システム。
2. 入力された映像を構成する単位としてのフレームの画素値の分散に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出手段と、
   少なくとも２つの周波数と前記抽出手段によって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成手段と、
   を有する映像特徴生成システム。
3. 前記抽出手段によって抽出されたフレーム特徴量に対するフーリエ変換の結果から前記少なくとも２つの周波数を選択する選択手段をさらに有することを特徴とする請求項１又は２に記載の映像特徴生成システム。
4. 前記抽出手段は、前記映像に含まれる複数のフレームにおけるそれぞれの画素値に基づいて、時系列のフレーム特徴量を抽出し、
   前記選択手段は、前記抽出手段によって抽出された時系列のフレーム特徴量に基づく周波数スペクトルから少なくとも２つの周波数を選択し、
   前記生成手段は、前記選択手段によって選択された少なくとも２つの周波数と前記抽出手段によって抽出された時系列のフレーム特徴量と前記生成情報とに基づいて、前記各周波数の時系列の位相を映像特徴として生成することを特徴とする請求項３に記載の映像特徴生成システム。
5. 前記抽出手段は、前記フレームに含まれるすべての画素値に基づいて、前記フレーム特徴量を抽出することを特徴とする請求項１から４のいずれか１項に記載の映像特徴生成システム。
6. 前記抽出手段は、前記映像に含まれる少なくとも１つのフレーム上の各位置における画素値を前記フレーム特徴量として抽出し、
   前記選択手段は、前記抽出手段によって抽出されたフレーム特徴量に基づく周波数領域から水平方向成分と垂直方向成分とを含む少なくとも２つの周波数を選択し、
   前記生成手段は、前記選択手段によって選択された少なくとも２つの周波数と前記抽出手段によって抽出されたフレーム特徴量と前記生成情報とに基づいて、前記各周波数の位相を映像特徴として生成することを特徴とする請求項３に記載の映像特徴生成システム。
7. コンピュータが、
   入力された映像を構成する単位としてのフレームの画素値の平均値に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出ステップと、
   少なくとも２つの周波数と前記抽出ステップによって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成ステップと、
   を実行する映像特徴生成方法。
8. コンピュータが、
   入力された映像を構成する単位としてのフレームの画素値の分散に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出ステップと、
   少なくとも２つの周波数と前記抽出ステップによって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成ステップと、
   を実行する映像特徴生成方法。
9. 入力された映像を構成する単位としてのフレームの画素値の平均値に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出ステップと、
   少なくとも２つの周波数と前記抽出ステップによって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成ステップと、
   をコンピュータに実行させるための映像特徴生成プログラム。
10. 入力された映像を構成する単位としてのフレームの画素値の分散に基づいて、前記フレームを特徴付けるフレーム特徴量を抽出する抽出ステップと、
    少なくとも２つの周波数と前記抽出ステップによって抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、各周波数の位相を映像特徴として生成する生成ステップと、
    をコンピュータに実行させるための映像特徴生成プログラム。
11. 入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値の平均値に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出手段と、
    少なくとも２つの周波数と前記抽出手段によって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成手段と、
    前記生成手段によって生成された第１の映像特徴と第２の映像特徴とを照合する照合手段と、
    を有する映像照合システム。
12. 入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値の分散に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出手段と、
    少なくとも２つの周波数と前記抽出手段によって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成手段と、
    前記生成手段によって生成された第１の映像特徴と第２の映像特徴とを照合する照合手段と、
    を有する映像照合システム。
13. コンピュータが、
    入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値の平均値に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出ステップと、
    少なくとも２つの周波数と前記抽出ステップによって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成ステップと、
    前記生成ステップによって生成された第１の映像特徴と第２の映像特徴とを照合する照合ステップと、
    を実行する映像照合方法。
14. コンピュータが、
    入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値の分散に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出ステップと、
    少なくとも２つの周波数と前記抽出ステップによって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成ステップと、
    前記生成ステップによって生成された第１の映像特徴と第２の映像特徴とを照合する照合ステップと、
    を実行する映像照合方法。
15. 入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値の平均値に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出ステップと、
    少なくとも２つの周波数と前記抽出ステップによって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成ステップと、
    前記生成ステップによって生成された第１の映像特徴と第２の映像特徴とを照合する照合ステップと、
    をコンピュータに実行させるための映像照合プログラム。
16. 入力された第１及び第２の映像のそれぞれを構成する単位としてのフレームの画素値の分散に基づいて、前記フレームを特徴付けるフレーム特徴量を映像毎に抽出する抽出ステップと、
    少なくとも２つの周波数と前記抽出ステップによって映像毎に抽出されたフレーム特徴量と前記周波数及び前記フレーム特徴量に応じて前記周波数の位相を生成するための生成情報とに基づいて、前記第１及び第２の映像のそれぞれについて各周波数の位相を第１及び第２の映像特徴として生成する生成ステップと、
    前記生成ステップによって生成された第１の映像特徴と第２の映像特徴とを照合する照合ステップと、
    をコンピュータに実行させるための映像照合プログラム。

Images