JP3951707B2 - 類似性判定方法および装置 - Google Patents
類似性判定方法および装置 Download PDFInfo
- Publication number
- JP3951707B2 JP3951707B2 JP2001400481A JP2001400481A JP3951707B2 JP 3951707 B2 JP3951707 B2 JP 3951707B2 JP 2001400481 A JP2001400481 A JP 2001400481A JP 2001400481 A JP2001400481 A JP 2001400481A JP 3951707 B2 JP3951707 B2 JP 3951707B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- feature amount
- activity
- similarity
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は映像信号や音響信号などの類似性を判定する技術に係り、特に、信号検索などに利用される類似性判定方法および装置に関する。
【０００２】
【従来の技術】
信号データベースに蓄積された映像や音響などの信号データから、所望の問合せ信号に類似する信号データを検索する類似信号検索技術が種々提案されている。このような類似信号検索技術は、たとえば、現在放送されている映像信号と、データベースで管理されているコマーシャルの映像信号とを逐次比較することにより現在放送されているコマーシャルを特定することを可能とする。
【０００３】
従来、この種の類似信号検索技術は、類似性を判定する際、主として、問合せ信号および検索対象信号から特徴量系列を抽出する。そして双方の特徴量系列間の類似度を算出したうえで、算出された類似度とあらかじめ定められたしきい値との比較結果に基づいて、問合せ信号と類似した信号が検索対象信号中に存在するか否かを判定する。
【０００４】
類似度算出に要する計算量を削減する方法は、たとえば特開平１０−３２０４００号公報、特開２００１−１６７１１８号公報、および特開平１１−１３０６３０号公報に記載されている。特開平１０−３２０４００号公報記載のシステムでは、特徴量系列中の同じ特徴量が続く冗長な区間を一つにまとめ、特徴量サイズを減らした上で類似度算出を行うことにより計算量を削減する。また、特開２００１−１６７１１８号公報記載のシステムでは、画像データベースの検索対象画像の特徴量と問い合わせ画像の特徴量とをそれぞれ係数変換し、係数変換されたそれぞれの画像特徴量を用いて類似度計算を実行する。これによって類似度計算量および必要な蓄積容量を削減することができる。さらに、特開平１１−１３０６３０号公報記載のシステムは，問合せ信号が、ある１つの検索対象信号系列のどの部分に含まれているか検索を行うシステムである。検索対象信号系列に対して注目窓を設け、注目窓の移動量を適応的に定めることにより計算量を削減する。ただし、各注目窓に対する類似度計算の削減については検討されていない。
【０００５】
一方、類似信号検索における検索精度を向上させるためには、類似性の判定精度を高いものにすることが必要になる。類似性の判定精度を高めるために、我々は、すでに「画像特徴量生成装置、画像検索装置、ならびにその生成方法及び検索方法」（特開２０００−２５９８３２号公報）において、画像特徴量を周波数領域で効率よく表現することにより類似性の判定精度を向上させる動画像検索方法について提案した。
【０００６】
【発明が解決しようとする課題】
しかしながら，上記従来の検索方法では，変化の少ない問合せ信号の場合と、動きなどの変化が激しい問合せ信号の場合とでは検索結果にばらつきが生じる。すなわち、同一の条件（類似度のしきい値処理など）で類似性判定を行うと、変化の少ない方では過剰検出が増え，変化の大きい方では未検出が増える、という問題点があった。
【０００７】
このことを、例えば映像信号で考えると，問合せ信号の持つ動きや明るさの変化が激しい場合、サンプル位置の違いによる誤差が蓄積しやすいため，類似とみなすしきい値を厳しくするにつれて検出漏れが増える。逆に、問合せ信号が動きのほとんどない変化の少ない映像である場合には、時間軸方向で個々の信号を区別することが難しくなるため，類似とみなすしきい値を厳しくする必要がある。
【０００８】
同様に、例えば音響信号で考えると，問合せ信号の持つ振幅の変化やパワーの変化が激しい場合、サンプル位置の違いによる誤差が蓄積しやすいため，類似とみなすしきい値を厳しくするにつれて検出漏れが増える。逆に、問合せ信号が振幅の変化やパワーの変化の少ない音響信号である場合、例えば無音状態が続くような場合には，時間軸方向で個々の信号を区別することが難しくなるため，類似とみなすしきい値を厳しくする必要がある。
【０００９】
このため、しきい値を甘くするにつれて類似していない信号の過剰検出が増える。この問題を解決するために、問合せ信号に実際に類似する信号と類似しない信号とを十分区別できるように特徴量の数や種類を増やすことも可能である。しかしながら、特徴量の数や種類が冗長となるために、無駄に特徴量の照合が行われてしまうという問題があった。これらの問題は、問合せ信号の性質に関係なく一定のしきい値を設定することにより類似性の判定を行うことが原因で生じるものである。
【００１０】
本発明は、上述の事情に鑑みてなされたものであり、その目的は、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことにより、効率よく高い精度で類似性を判定できる類似性判定方法および装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の観点によれば、第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定装置において、前記第１の信号および第２の信号の少なくとも一方のアクティビティを算出するアクティビティ算出手段と、前記アクティビティに基づいて、類似性判定のための判定条件を決定する類似条件決定手段と、前記判定条件に基づいて、前記第１の信号と第２の信号との類似性を判定する類似性判定手段と、を有する。
【００１２】
さらに、前記アクティビティに基づいて、抽出すべき特徴量を定義する特徴量条件を決定する特徴量決定手段と、前記特徴量条件にしたがって、前記第１の信号および第２の信号のうちの対応する信号から特徴量を抽出する特徴量抽出手段と、を有することを特徴とする。
【００１３】
本発明の第２の観点によれば、第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定装置において、前記第１の信号および第２の信号の少なくとも一方のアクティビティを算出するアクティビティ算出手段と、前記アクティビティに基づいて、抽出すべき特徴量を定義する特徴量条件を決定する特徴量決定手段と、前記特徴量条件にしたがって、前記第１の信号および第２の信号のうちの対応する信号から特徴量を抽出する特徴量抽出手段と、前記第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定手段と、を有することを特徴とする。
【００１４】
上述したように、本発明によれば、アクティビティ算出手段により、信号を解析してそのアクティビティ（複雑度）を算出し、算出されたアクティビティより信号から抽出する特徴量および類似性の判定を行う際の条件を決定する。つまり、信号のアクティビティに応じて特徴量の抽出を行い、信号のアクティビティに応じて類似性の判定を行うことができ、この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができる。
【００１５】
【発明の実施の形態】
本発明は、さまざまな種類の信号に適用可能であるが、以下の説明では、一例として、映像信号を用いた場合について説明する。また、本発明では、さまざまな特徴量を用いることができるが、ここでは一例として、映像の各フレームを固定サイズの画像に変換したうえで、画像の色のスペクトラムの周波数分布を複数の帯域に分割し、離散コサイン変換（ＤＣＴ）を行い、低周波成分を抽出し、非線形変換を行うことにより得られる特徴量の時系列集合を用いる。
【００１６】
（第１実施形態）
図１は、本発明に係る類似性判定装置の第１実施形態の構成例を示すブロック図である。本実施形態は、映像検索システムや音響検索システムといった信号検索システムの一部として利用され得る。
【００１７】
図１に示すように、本実施形態に係る類似性判定装置３には、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３は、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００１８】
類似性判定装置３は、検索対象特徴量生成部３１、問合せ特徴量生成部３２、アクティビティ算出部３３，類似条件決定部３４および類似性判定部３５を有する。以下、各構成ブロックについて説明する。
【００１９】
１．１）特徴量生成
検索対象特徴量生成部３１は、検索対象信号入力端子２から検索対象信号が入力される毎に、検索対象信号より特徴量を生成する。問合せ特徴量生成部３２は、問合せ信号入力端子１から入力された問合せ信号より特徴量を生成する。ここで、特徴量としてはさまざまなものが考えられるが、例えば、映像中に含まれる一部または全体のフレームより、色や形状、テクスチャを表す特徴量を、例えば文献；"ＣＯＬＯＲ ＡＮＤ ＴＥＸＴＵＲＥ ＤＥＳＣＲＩＰＴＯＲＳ"（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ Ｖｏｌ．１１、Ｎｏ．６、Ｊｕｎｅ２００１）に記載された方法を用いて生成することができる。
【００２０】
また、映像信号より、映像の動きを表す特徴量、例えば映像中の動きの激しさ（例えば動きベクトルの総量）、動きの方向性、時空間的分布状況などを生成することもできる。例えば、文献；"ＭＰＥＧ−７ Ｖｉｓｕａｌ ＭｏｔｉｏｎＤｅｓｓｃｒｉｐｔｏｒｓ"（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ Ｖｏｌ．１１、Ｎｏ．６、Ｊｕｎｅ２００１）記載の方法を利用して生成することも出来る。
【００２１】
さらに、映像信号のみならず音響信号からも特徴量を生成することができる。例えば文献；"ＯＶＥＲＶＩＥＷ ＯＦ ＭＰＥＧ−７ ＡＵＤＩＯ"（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｔｓ ａｎｄ Ｓｙｓｔｅｍｓｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ Ｖｏｌ．１１、Ｎｏ．６、Ｊｕｎｅ２００１）に記載された方法を用いて音響信号から特徴量を生成することもできる。
【００２２】
図２は、本実施形態で用いられる特徴量生成部３１および３２の構成例を示すブロック図である。フレーム抽出部３０１は、入力された信号中のフレームを抽出し、各フレームを画像サイズ変換部３０２に入力する。画像サイズ変換部３０２は、入力されたフレームを合計６４（８×８）個のブロックに分割し、それぞれの区画の代表色（平均色など）を算出することにより、８画素×８画素の縮退画像を生成する。なお縮退画像の色空間はＹＣｂＣｒを採用する。
【００２３】
周波数変換部３０３は、画像サイズ変換部３０２により得られた縮退画像に対してＤＣＴ（離散コサイン変換）を行う。変換係数抽出部３０４は、周波数変換部３０３により得られた変換係数をジグザグスキャンにより低周波成分から順に定められた個数を抽出する。非線形量子化部３０５は、変換係数抽出部３０４より抽出された各係数について、直流成分を６ビット、交流成分を５ビットでそれぞれ量子化しフレーム特徴量を構築する。こうして、信号特徴量は各フレームより得られたフレーム特徴量の時系列集合となる。
【００２４】
１．２）アクティビティ算出
アクティビティ算出部３３は、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティとは信号の複雑度を表し、例えば信号分布の相関や分散、映像信号内に含まれるカット数、音響信号内に含まれる無音区間の分散などをアクティビティとすることができる。
【００２５】
たとえば、図３に示すように、アクティビティ算出部３３が特徴量抽出部３３１とアクティビティ計算部３３２とからなり、問い合わせ信号から特徴量を生成したのちに、抽出された特徴量を解析してアクティビティを算出することもできる。ここで、アクティビティ算出に用いる特徴量は種々のものを用いることができるが、例えば検索対象特徴量生成部３１に挙げた各種特徴量生成方法を利用することもできる。
【００２６】
さらに、図４に示すように、問合せ特徴量生成部３２より生成された特徴量、つまり類似性判定部３５に入力するものと同一の特徴量を解析してアクティビティを算出してもよい。また、別途用意された任意の特徴量をアクティビティ算出に用いてもよい。
【００２７】
図５は、アクティビティとしてカット数を用いる場合のアクティビティ算出部の動作を概略的に示すフローチャートである。はじめに、信号入力端子より信号を入力する（ステップＡ１）。次に、入力された信号よりカット検出を行う（ステップＡ２）。カット検出方法としてはさまざまな方法が考えられる。例えば入力信号が映像である場合には、画素ベースでフレーム間差分を算出することによりカット検出を行うことができる。また、各フレームより例えば色ヒストグラムのような画像特徴量を生成して、画像特徴量間の距離を算出することによりカット検出を行うこともできる。そして、検出されたカット数を入力信号のアクティビティとして出力する（ステップＡ３）。
【００２８】
１．３）類似性判定
類似条件決定部３４は、アクティビティ算出部３３で算出されたアクティビティに従って、類似性判定を行うための条件を決定する。類似性判定部３５は、類似条件決定部３４により決定された条件に基づき、問い合わせ特徴量生成部３２で生成された特徴量と検索対象特徴量生成部３１で生成された特徴量との間の類似性を判定する。
【００２９】
より具体的には、例えば、検索対象映像が入力されるごとに検索対象映像に識別子を割り当て、類似していると判定された場合には、割り当てられた識別子を出力装置４に出力する。このような処理により、出力装置４には問合せ信号と類似性が高い検索対象信号の識別子が出力されるので、ユーザは、例えば、識別子を指定することにより、問合せ信号と類似性の高い検索対象信号を得ることができる。また、例えば識別子として特定コンテンツの名称を与えることにより、ユーザは識別子を見ることにより問合せ映像がどのコンテンツであるか、または類似しているかを知ることが出来る。
【００３０】
図６は、類似性判定部３５の構成例を示すブロック図である。特徴量間類似度算出部１０５は、問い合わせ特徴量生成部３２で生成された特徴量と、検索対象特徴量生成部３１で生成された特徴量との間の類似度を示す値を算出する。検出判定部１０６は、特徴量間類似度算出部１０５で算出された類似度値が、類似条件決定部３４により決定された条件を満たすか否かを判定する。
【００３１】
１．４）類似条件
類似性の判定を行う際の条件の定め方としては、さまざまな方法が考えられる。例えば類似条件決定部３４が検索対象信号と問合せ信号が類似しているとみなすしきい値を決定し、類似度値がこのしきい値を越えるか否か（類似度値が特徴量ベクトル間の距離であれば距離値がしきい値より低いか否か）により検索対象信号と問合せ信号が類似しているか否かを判定することができる。
【００３２】
例えば、カット数の多い問合せ信号や動きの激しい問合せ信号に対しては、検索対象信号と問合せ信号が類似しているとみなすしきい値を甘く（類似度の場合は低く、距離の場合は高く）設定しておき、カット数の少ない信号や動きの少ない信号に対してはしきい値を厳しく（類似度の場合は高く、距離の場合は低く）設定しておく。このように問合せ信号のアクティビティに合わせてしきい値を設定することができる。ただし、類似性の判定条件はしきい値である必要はない。複数次元のしきい値ベクトルや評価関数などを判定条件として用いてもよい。
【００３３】
１．５）動作
次に、本実施形態の動作をフローチャートを用いて説明する。ここでは、一例として、アクティビティがカット点の数で表され、また、検索対象信号は複数あるものとする。
【００３４】
図７は、第１実施形態による類似性判定装置の動作を示すフローチャートである。先ず、問合せ信号入力端子１から問合せ映像を入力する（ステップＢ１）。これにより、問合せ特徴量算出部３２が、問合せ映像の特徴量を生成する（ステップＢ２）。
【００３５】
次に、アクティビティ算出部３３は、問合せ映像よりカット検出を行い、カットの数を算出する（ステップＢ３）。カットを検出する処理としては適宜のものを使用することが出来るが、例えば映像中の連続するフレームより特徴量抽出を行い、連続するフレームの特徴量間距離を算出したうえで、距離があるしきい値を越える場合にカットとみなすことにより行うことが出来る。
【００３６】
類似条件決定部３４は、アクティビティ算出部３３により算出されたカットの数に応じて、問合せ映像と検索対象映像の類似性の判定を行う際の条件（しきい値）を決定する（ステップＢ４）。
【００３７】
続いて、検索対象信号入力端子２から検索対象映像を１つ入力し（ステップＢ５）、すべての検索対象信号の入力が終了したか否かを判定する（ステップＢ６）。この時点では第１番目の検索対象映像が入力しただけなので（ステップＢ６のＮＯ）、検索対象特徴量算出部３１は検索対象映像の特徴量を生成する（ステップＢ７）。
【００３８】
その後、特徴量間類似度算出部１０４が、問合せ映像の特徴量と検索対象映像の特徴量との類似度を算出する（ステップＢ８）。そして、類似性判定部３５は、算出された類似度が、類似条件決定部３４により決定された類似条件を満たすか否かを判定し、類似条件を満たす検索対象映像と識別子とを対応付けて保持する（ステップＢ９）。
【００３９】
以上の処理ステップＢ５〜Ｂ９を全ての検索対象映像に対して行う。そして、全ての検索対象映像に対して上記処理が行われると（ステップＢ６のＹＥＳ）、類似していると判定された場合に、割り当てられた識別子を出力装置４に出力する（ステップＢ１０）。
【００４０】
このようにして、出力装置４は問合せ信号と類似性が高い検索対象信号の識別子を受け取るので、ユーザは、例えば、識別子を指定することにより、問合せ信号と類似性の高い検索対象信号を得ることができる。また、例えば識別子として特定コマーシャルの名称を与えることにより、ユーザは識別子を見ることにより問合せ映像がどのコマーシャルであるかを知ることが出来る。
【００４１】
上述したように、本実施の形態では、アクティビティ算出部３３は、問合せ信号を解析してそのアクティビティ（複雑度）を算出し、類似条件決定部３４はそのアクティビティに基づいて類似性の判定条件を決定する。従って、信号のアクティビティに応じた類似性の判定を類似性判定部３５で行うことができる。この結果、信号の性質に合わせて適応的に類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００４２】
なお、図８に示すように、第１実施形態において、問合せ信号と検索対象信号とを入れ替えても、同様の効果が得られることはいうまでもない。この例では、検索対象信号を用いてアクティビティを算出している点が、図１の例と異なるだけであるから、説明は省略する。
【００４３】
（第２実施形態）
図９は、本発明による類似性判定装置の第２実施形態の構成例を示すブロック図である。本実施形態による類似性判定装置３ａには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ａは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００４４】
類似性判定装置３ａは、検索対象特徴量生成部３１ａ、問合せ特徴量生成部３２ａ、アクティビティ算出部３３ａ、類似性判定部３５ａ、および問合せ特徴量決定部３６ａを有する。以下、各構成ブロックについて説明する。
【００４５】
検索対象特徴量生成部３１ａは、検索対象信号入力端子２から検索対象信号が入力される毎に、検索対象信号より特徴量を生成する。アクティビティ算出部３３ａは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００４６】
問合せ特徴量決定部３６ａは、アクティビティ算出部３３ａにより算出されたアクティビティに基づいて、問合せ信号から抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。問合せ特徴量生成部３２ａは、問合せ信号入力端子１から入力された問合せ信号より、問合せ特徴量決定部３６ａにより決定された特徴量抽出条件に基づき特徴量を生成する。
【００４７】
図１０は、特徴量生成部３２ａの構成例を示すブロック図である。図１に示した特徴量生成部３１および３２との相違点は、変換係数抽出部３０４の代わりに変換係数抽出部３０４ａを備えている点である。 変換係数抽出部３０４ａは、特徴量決定部３６ａにより算出された特徴量抽出条件に応じて、周波数変換部３０３から入力した変換係数のうちどの係数を抽出するかを決定する。なお、問合せ映像全体のアクティビティを算出して、各フレームから抽出する特徴量を一括で定めることも、フレーム単位でアクティビティを算出してフレーム毎に抽出する特徴量を設定することも、また例えばカット点フレームに対しては特定の条件で特徴量を抽出することもできる。
【００４８】
類似性判定部３５ａは、問い合わせ特徴量生成部３２ａで生成された特徴量と、検索対象特徴量生成部３１ａで生成された特徴量との間の類似性を算出し、問合せ信号が検索対象信号に類似しているか否かを判定する。より具体的には、例えば、検索対象信号入力端子２から検索対象映像が入力されるごとに、検索対象映像に識別子を割り当て、類似していると判定された場合には割り当てられた識別子を出力装置４に出力する。以上の処理により、出力装置４には問合せ信号と類似性が高い検索対象信号の識別子が出力されるので、ユーザは、例えば、識別子を指定することにより、問合せ信号と類似性の高い検索対象信号を得ることができる。また、例えば識別子として特定コマーシャルの名称を与えることにより、ユーザは識別子を見ることにより問合せ映像がどのコマーシャルであるか（どのコマーシャルと類似しているか）を知ることが出来る。
【００４９】
なお、問合せ映像の特徴量と、検索対象映像の特徴量とで保持している係数が異なる場合があるが、異なる構成要素を持つ画像特徴量どうしの類似度算出方法としては、本発明者らによる特願２００１−２２４５４７号記載の方法などがある。
【００５０】
上述したように、本実施形態において、アクティビティ算出部３３ａは問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ａはそのアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。従って、信号のアクティビティに応じた特徴量の抽出は、問合せ特徴量生成部３２ａで行われる。この結果、信号の性質に合わせて適応的に特徴量の抽出を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００５１】
（第３実施形態）
図１１は、本発明による類似性判定装置の第３実施形態の構成例を示すブロック図である。本実施形態による類似性判定装置３ｂには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｂは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００５２】
類似性判定装置３ｂは、検索対象特徴量生成部３１ｂ、問合せ特徴量生成部３２ｂ、アクティビティ算出部３３ｂ、類似条件決定部３４ｂ、類似性判定部３５ｂ、および問合せ特徴量決定部３６ｂを有する。以下、各構成ブロックについて説明する。
【００５３】
検索対象特徴量生成部３１ｂは、検索対象信号入力端子２から検索対象信号が入力される毎に、検索対象信号より特徴量を生成する。アクティビティ算出部３３ｂは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００５４】
問合せ特徴量決定部３６ｂは、アクティビティ算出部３３ｂにより算出されたアクティビティに基づいて、問合せ特徴量より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。類似条件決定部３４ｂは、アクティビティ算出部３３ｂにより算出されたアクティビティに基づいて、類似性の判定を行う際の条件を決定する。
【００５５】
問合せ特徴量生成部３２ｂは、問合せ特徴量決定部３６ｂにより決定された特徴量抽出条件に基づき、問合せ信号入力端子１から入力された問合せ信号から特徴量を生成する。
【００５６】
類似性判定部３５ｂは、類似条件決定部３４ｂにより決定された条件に基づき、問い合わせ特徴量生成部３２ｂで生成された特徴量と検索対象特徴量生成部３１ｂで生成された特徴量との間の類似性を判定する。
【００５７】
上述したように、本実施形態では、アクティビティ算出部３３ｂが問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ｂがそのアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。
【００５８】
さらに、類似条件決定部３４ｂが、アクティビティ算出部３３ｂにより算出されたアクティビティに基づいて類似性の判定を行う際の条件を決定する。従って、信号のアクティビティに応じた特徴量の抽出を問合せ特徴量生成部３２ｂで行い、信号のアクティビティに応じた類似性の判定を類似性判定部３５ｂで行うことができる。この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００５９】
（第４実施形態）
図１２は、本発明による類似性判定装置の第４実施形態の構成例を示すブロック図である。本実施形態による類似性判定装置３ｃには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｃは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００６０】
類似性判定装置３ｃは、検索対象特徴量生成部３１ｃ、問合せ特徴量生成部３２ｃ、アクティビティ算出部３３ｃ、類似条件決定部３４ｃ、類似性判定部３５ｃ、およびアクティビティ算出部３７ｃを有する。以下、各構成ブロックについて説明する。
【００６１】
検索対象特徴量生成部３１ｃは、検索対象信号入力端子２から入力された問合せ信号より特徴量を生成する。問合せ特徴量生成部３２ｃは、問合せ信号入力端子１から入力された問合せ信号から特徴量を生成する。
【００６２】
アクティビティ算出部３３ｃは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティ算出部３７ｃは、検索対象信号を解析してそのアクティビティ（複雑度）を算出する。これらアクティビティ算出部３３ｃおよび３７ｃは、第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００６３】
類似条件決定部３４ｃは、アクティビティ算出部３３ｃにより算出されたアクティビティおよびアクティビティ算出部３７ｃにより算出されたアクティビティに基づいて、類似性の判定を行う際の条件を決定する。
【００６４】
類似性判定部３５ｃは、類似条件決定部３４ｃにより決定された条件に基づき、問い合わせ特徴量生成部３２ｃで生成された特徴量と検索対象特徴量生成部３１ｃで生成された特徴量との間の類似性を判定する。
【００６５】
上述したように、本実施形態では、アクティビティ算出部３３ｃおよび３７ｃがそれぞれ問合せ信号および検索対象信号を解析してそれらアクティビティ（複雑度）を算出し、類似条件決定部３４ｃが、それらアクティビティに基づいて、類似性の判定を行う際の条件を決定する。従って、信号のアクティビティに応じた類似性の判定を類似性判定部３５ｃで行うことができる。この結果、信号の性質に合わせて適応的に類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００６６】
（第５実施形態）
図１３は、本発明による類似性判定装置の第５実施形態の構成例を示すブロック図である。本実施形態における類似性判定装置３ｄには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｄは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００６７】
類似性判定装置３ｄは、検索対象特徴量生成部３１ｄ、問合せ特徴量生成部３２ｄ、アクティビティ算出部３３ｄ、類似条件決定部３４ｄ、類似性判定部３５ｄ、問合せ特徴量決定部３６ｄ、およびアクティビティ算出部３７ｄを有する。以下、各構成ブロックについて説明する。
【００６８】
アクティビティ算出部３３ｄは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティ算出部３７ｄは、検索対象信号を解析してそのアクティビティ（複雑度）を算出する。いずれも、第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００６９】
問合せ特徴量決定部３６ｄは、アクティビティ算出部３３ｄにより算出されたアクティビティより問合せ信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。問合せ特徴量生成部３２ｄは、問合せ特徴量決定部３６ｄにより決定された特徴量抽出条件に基づき、問合せ信号入力端子１から入力された問合せ信号より特徴量を生成する。
【００７０】
検索対象特徴量生成部３１ｄは、検索対象信号入力端子２から入力された検索対象信号より特徴量を生成する。類似条件決定部３４ｄは、アクティビティ算出部３７ｄにより算出されたアクティビティより類似性の判定を行う際の条件を決定する。
【００７１】
類似性判定部３５ｄは、類似条件決定部３４ｄにより決定された条件に基づき、問い合わせ特徴量生成部３２ｄで生成された特徴量と検索対象特徴量生成部３１ｄで生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【００７２】
上述したように、本実施形態では、アクティビティ算出部３３ｄが問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ｄがそのアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。さらに、類似条件決定部３４ｄがアクティビティ算出部３７ｄにより算出されたアクティビティに基づいて類似性の判定を行う際の条件を決定する。したがって、信号のアクティビティに応じた特徴量の抽出が問合せ特徴量生成部３２ｄで行われ、信号のアクティビティに応じた類似性の判定が類似性判定部３５ｄで行われる。
【００７３】
この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００７４】
（第６実施形態）
図１４は、本発明による類似性判定装置の第６実施形態の構成例を示すブロック図である。本実施形態における類似性判定装置３ｅには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｅは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００７５】
類似性判定装置３ｅは、検索対象特徴量生成部３１ｅ、問合せ特徴量生成部３２ｅ、アクティビティ算出部３３ｅ、類似条件決定部３４ｅ、類似性判定部３５ｅ、問合せ特徴量決定部３６ｅ、およびアクティビティ算出部３７ｅを有する。以下、各構成ブロックについて説明する。
【００７６】
アクティビティ算出部３３ｅは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティ算出部３７ｅは、検索対象信号を解析してそのアクティビティ（複雑度）を算出する。いずれも、第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００７７】
問合せ特徴量決定部３６ｅは、アクティビティ算出部３３ｅにより算出されたアクティビティに基づいて、問合せ信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。問合せ特徴量生成部３２ｅは、問合せ特徴量決定部３６ｅにより決定された特徴量抽出条件に基づき、問合せ信号から特徴量を生成する。検索対象特徴量生成部３１ｅは、検索対象信号入力端子２から入力された検索対象信号から特徴量を生成する。
【００７８】
類似条件決定部３４ｅは、アクティビティ算出部３３ｅおよび３７ｅによりそれぞれ算出されたアクティビティに基づいて、類似性の判定を行う際の条件を決定する。類似性判定部３５ｅは、類似条件決定部３４ｅにより決定された条件に基づき、問い合わせ特徴量生成部３２ｅで生成された特徴量と検索対象特徴量生成部３１ｅで生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【００７９】
上述したように、本実施形態では、アクティビティ算出部３３ｅが問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ｅがそのアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。さらに、類似条件決定部３４ｅが、アクティビティ算出部３３ｅにより算出されたアクティビティおよびアクティビティ算出部３７ｅにより算出されたアクティビティに基づいて類似性の判定を行う際の条件を決定する。従って、信号のアクティビティに応じた特徴量の抽出を問合せ特徴量生成部３２ｅで行い、信号のアクティビティに応じた類似性の判定を類似性判定部３５ｅで行うことができる。この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００８０】
（第７実施形態）
図１５は、本発明による類似性判定装置の第７実施形態の構成例を示すブロック図である。本実施形態による類似性判定装置３ｆには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｆは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００８１】
類似性判定装置３ｆは、検索対象特徴量生成部３１ｆ、問合せ特徴量生成部３２ｆ、アクティビティ算出部３３ｆ、類似条件決定部３４ｆ、類似性判定部３５ｆ、問合せ特徴量決定部３６ｆ、アクティビティ算出部３７ｆ、および検索対象特徴量決定部３８ｆを有する。以下、各構成ブロックについて説明する。
【００８２】
アクティビティ算出部３３ｆは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティ算出部３７ｆは、検索対象信号を解析してそのアクティビティ（複雑度）を算出する。いずれも、第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００８３】
問合せ特徴量決定部３６ｆは、アクティビティ算出部３３ｆにより算出されたアクティビティに基づいて、問合せ信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。問合せ特徴量生成部３２ｆは、検索対象特徴量決定部３６ｆにより決定された特徴量抽出条件に基づき、問合せ信号入力端子１から入力された問合せ信号から特徴量を生成する。
【００８４】
検索対象特徴量決定部３８ｆは、アクティビティ算出部３３ｆにより算出されたアクティビティより検索対象信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。検索対象特徴量生成部３１ｆは、検索対象特徴量決定部３６ｆにより決定された特徴量抽出条件に基づき、検索対象信号から特徴量を生成する。
【００８５】
類似条件決定部３４ｆは、アクティビティ算出部３３ｆにより算出されたアクティビティにより算出されたアクティビティに基づいて類似性の判定を行う際の条件を決定する。類似性判定部３５ｆは類似条件決定部３４ｆにより決定された条件に基づき、問い合わせ特徴量生成部３２ｆで生成された特徴量と検索対象特徴量生成部３１ｆで生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【００８６】
上述したように、本実施形態では、アクティビティ算出部３３ｆが問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ｆがそのアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。また、アクティビティ算出部３７ｆが検索対象信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３８ｆがそのアクティビティに基づいて検索対象信号より抽出する特徴量を決定する。さらに、類似条件決定部３４ｆがアクティビティ算出部３３ｆにより算出されたアクティビティより類似性の判定を行う際の条件を決定する。
【００８７】
従って、信号のアクティビティに応じて特徴量の抽出を問合せ特徴量生成部３２ｆおよび検索対象特徴量生成部３１ｆで行い、信号のアクティビティに応じた類似性の判定を類似性判定部３５ｆで行うことができる。この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００８８】
（第８実施形態）
図１６は、本発明による類似性判定装置の第８実施形態の構成例を示すブロック図である。本実施形態による類似性判定装置３ｇには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｇは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００８９】
類似性判定装置３ｇは、検索対象特徴量生成部３１ｇ、問合せ特徴量生成部３２ｇ、アクティビティ算出部３３ｇ、類似性判定部３５ｇ、問合せ特徴量決定部３６ｇ、アクティビティ算出部３７ｇ、および検索対象特徴量決定部３８ｇを有する。以下、各構成ブロックについて説明する。
【００９０】
アクティビティ算出部３３ｇは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティ算出部３７ｇは、検索対象信号を解析してそのアクティビティ（複雑度）を算出する。いずれも、第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００９１】
問合せ特徴量決定部３６ｇは、アクティビティ算出部３３ｇにより算出されたアクティビティに基づいて問合せ信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。問合せ特徴量生成部３２ｇは、問合せ特徴量決定部３６ｇにより決定された特徴量抽出条件に基づき、問合せ信号入力端子１から入力された問合せ信号より特徴量を生成する。
【００９２】
検索対処特徴量決定部３８ｇは、アクティビティ算出部３７ｇにより算出されたアクティビティに基づいて検索対象信号から抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。検索対象特徴量生成部３１ｇは、検索対象特徴量決定部３８ｇにより決定された特徴量抽出条件に基づき、検索対象信号から特徴量を生成する。
【００９３】
類似性判定部３５ｇは、問い合わせ特徴量生成部３２ｇで生成された特徴量と検索対象特徴量生成部３１ｇで生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【００９４】
上述したように、本実施形態では、アクティビティ算出部３３ｇが問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ｇがそのアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。また、アクティビティ算出部３７ｇは、検索対象信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３８ｇはそのアクティビティに基づいて検索対象信号より抽出する特徴量を決定する。従って、信号のアクティビティに応じた特徴量の抽出が問合せ特徴量生成部３２ｇおよび検索対象特徴量生成部３１ｇで行われ、信号のアクティビティに応じた類似性の判定が類似性判定部３５ｇで行われる。この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００９５】
（第９実施形態）
図１７は、本発明による類似性判定装置の第９実施形態の構成例を示すブロック図である。本実施形態による類似性判定装置３ｈには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｈは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００９６】
類似性判定装置３ｈは、検索対象特徴量生成部３１ｈ、問合せ特徴量生成部３２ｈ、アクティビティ算出部３３ｈ、類似条件決定部３４ｈ、類似性判定部３５ｈ、問合せ特徴量決定部３６ｈ、アクティビティ算出部３７ｈ、および検索対象特徴量決定部３８ｈを有する。以下、各構成ブロックについて説明する。
【００９７】
アクティビティ算出部３３ｈは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティ算出部３７ｈは、検索対象信号を解析してそのアクティビティ（複雑度）を算出する。いずれも、第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００９８】
問合せ特徴量決定部３６ｈは、アクティビティ算出部３３ｈにより算出されたアクティビティに基づいて問合せ信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。問合せ特徴量生成部３２ｈは、問合せ特徴量決定部３６ｈにより決定された特徴量抽出条件に基づき、問合せ信号入力端子１から入力された問合せ信号から特徴量を生成する。
【００９９】
検索対象特徴量決定部３８ｈは、アクティビティ算出部３７ｈにより算出されたアクティビティに基づいて検索対象信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。検索対象特徴量生成部３１ｈは、検索対象特徴量決定部３６ｈにより決定された特徴量抽出条件に基づき、検索対象信号入力端子２から入力された検索対象信号から特徴量を生成する。
【０１００】
類似条件決定部３４ｈは、アクティビティ算出部３３ｈおよび３７ｈによりそれぞれ算出されたアクティビティに基づいて、類似性の判定を行う際の条件を決定する。類似性判定部３５ｈは、類似条件決定部３４ｈにより決定された条件に基づき、問合せ特徴量生成部３２ｈで生成された特徴量と検索対象特徴量生成部３１ｈで生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【０１０１】
上述したように、本実施形態において、アクティビティ算出部３３ｈは問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ｈはアクティビティ算出部３３ｈにより算出されたアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。また、アクティビティ算出部３７ｈは検索対象信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３８ｈはそのアクティビティに基づいて検索対象信号より抽出する特徴量を決定する。さらに、類似条件決定部３４ｈはアクティビティ算出部３３ｈおよび３７ｈによりそれぞれ算出されたアクティビティに基づいて、類似性の判定を行う際の条件を決定する。
【０１０２】
従って、信号のアクティビティに応じた特徴量の抽出が問合せ特徴量生成部３２ｈおよび検索対象特徴量生成部３１ｈで行われ、信号のアクティビティに応じた類似性の判定が類似性判定部３５ｈで行われる。この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
（第１０実施形態）
図１８は、本発明による類似性判定装置の第１０実施形態の構成例を示すブロック図である。本実施形態は、図１に示した第１実施形態による類似性判定装置の処理速度を向上させるようにしたものである。
【０１０３】
図１８に示すように、本実施形態による類似性判定装置３ｉには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｉは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【０１０４】
類似性判定装置３ｉは、検索対象特徴量生成部３１、問合せ特徴量生成部３２、アクティビティ算出部３３、類似条件決定部３４ｉ、類似条件決定部３４ｉおよび類似性判定部３５ｉを有する。なお、図１と同一機能のブロックには同一参照番号を付して説明は省略する。
【０１０５】
類似条件決定部３４ｉは、アクティビティ算出部３３により算出されたアクティビティに基づいて類似性の判定を行う際の条件を決定し、３種類の条件（第１の条件、第２の条件、第３の条件）を類似性判定部３５ｉへ出力する。
【０１０６】
類似性判定部３５ｉは、似条件決定部３４ｉにより決定された第３の条件にしたがって、問い合わせ特徴量生成部３２で生成された特徴量と検索対象特徴量生成部３１で生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【０１０７】
類似性判定部３５ｉは、特徴量間類似度算出部１０５と検出判定部１０６とからなる。特徴量間類似度算出部１０５は、問い合わせ特徴量生成部３２で生成された特徴量と検索対象特徴量生成部３１で生成された特徴量との間の類似度を示す値を算出する。検出判定部１０６は、特徴量間類似度算出部１０５で算出された類似度値が類似条件決定部３４により決定された第３の条件を満たすか否かを判定する。
【０１０８】
特徴量間類似度算出部１０５は、さらに、特徴量分割部１０１、部分特徴量間類似度算出部１０２、部分特徴量間類似性判定部１０３、および類似度算出部１０４を有する。
【０１０９】
特徴量分割部１０１は、問合せ信号の特徴量（問合せ特徴量）を複数の部分特徴量に分割する。部分特徴量間類似度算出部１０２は、分割した各部分特徴量と検索対象信号の特徴量（検索対象特徴量）の一部との部分的な類似度を算出する。部分特徴量間類似性判定部１０３は、分割した各部分特徴量に対応した各類似度が、類似条件決定部３４により決定された第１の条件を満たすか否かをそれぞれ判定し、第１の条件を満たさない部分特徴量の数を出力する。
【０１１０】
部分的な類似度算出方法としては、例えば、問合せ特徴量に含まれる各フレームに対応した特徴量を抽出し、検索対象特徴量（の同じ時間位置）に含まれるフレームに対応した特徴量との距離を算出する方法が考えられる。距離としてはさまざまな定義が可能である。例えば、ＤＣＴ係数の低周波成分間の距離計算方法としては、２つの特徴量間の距離Ｄは式（１）で表すことができる。
【０１１１】
【数１】
・・・（１）。
【０１１２】
ここで、Ｙi、 Ｃｂi、Ｃｒiはｉ番目のＤＣＴ係数であり、ｗ１i〜ｗ３iは重み係数である。重み係数はＤＣＴ係数の周波数帯域によって異なる値を設定することができる。
【０１１３】
また、部分特徴量間の類似度が類似条件決定部３４により決定された第１の条件を満たすか否かを判定する方法としては、例えば、算出された部分特徴量間の類似度をのしきい値を、カット数の多い問合せ信号や動きの激しい問合せ信号に対しては甘く（類似度の場合は低く、距離の場合は高く）設定しておき、カット数の少ない信号や動きの少ない信号に対してはしきい値を厳しく（類似度の場合は高く、距離の場合は低く）設定しておくなど、問合せ信号のアクティビティに合わせてしきい値を設定する方法が考えられる。
【０１１４】
類似度算出部１０４は、部分特徴量間類似性判定部１０３より出力された数が、類似条件決定部３４により決定された第２の条件を満たすか否かを判定する。部分特徴量間類似性判定部１０３より出力された数が第２の条件を満たす場合、部分特徴量間類似度算出部１０２により算出された各類似度を用いて問合せ特徴量と検索対象特徴量と間の類似度の算出を行う。
【０１１５】
この類似度の算出方法としてはさまざまな方法が考えられる。例えば、部分特徴量間類似度算出部１０１により算出された全ての類似度の平均値を利用する方法、部分特徴量間類似度算出部１０１により算出された部分的な類似度が類似条件決定部３４により決定された条件を満たす場合のみの類似度の平均値を利用する方法などがある。また、部分特徴量間類似性判定部１０３より出力された数が第２の条件を満たさない場合は、類似度計算処理を打ち切ってもよいし、類似度として０を出力することもできる。
【０１１６】
本実施の形態では、問合せ信号と検索対象信号が類似しないとみなされた場合に類似度算出を途中で打ち切ることにより、類似性の判定処理に要する時間を短くすることができる。
【０１１７】
なお、第３実施形態〜第７実施形態（図１１〜図１５）および第９実施形態（図１７）のいずれにおいても、図１８に示した第１０実施形態と同様に、問合せ信号と検索対象信号が類似しないとみなされた場合に類似度算出を途中で打ち切るように類似性を判定してもよい。具体的には、図１１〜図１５および図１７に示した類似性判定部を、図１８に示した類似性判定部３５ｉと同様に、特徴量分割部１０１、部分特徴量間類似度算出部１０２、部分特徴量間類似性判定部１０３、類似度算出部１０４および検出判定部１０６で構成することができる。
【０１１８】
また、第２実施形態〜第１０実施形態のいずれにおいても、図８に示すように、問合せ信号と検索対象信号とを入れ替えてもよい。
【０１１９】
（第１１実施形態）
図１９は、本発明による類似性判定装置の第１１実施形態の構成例を示すブロック図である。本実施形態は、図１に示した第１実施形態による類似性判定装置を、テレビのリアルタイム放送など逐次入力される信号を問合せ信号として用いることができるようにしたものである。
【０１２０】
本実施形態による類似性判定装置は、図１に示す類似性判定装置３の問合せ信号入力端子１に固定サイズの信号バッファリング部６が接続され、逐次入力される問合せ信号が信号バッファリング部６に順次蓄積された後、アクティビティ算出部３３および問合せ特徴量生成部３２に入力する。例えば、１５秒のバッファを設けた場合には、たとえばテレビのリアルタイム放送の１５秒分の映像信号を信号バッファリング部６に格納することができる。バッファに信号を格納する際に、新規フレームがバッファに入力されるたびにバッファを更新していくことも、一定時間間隔でバッファを更新することもできる。
【０１２１】
また、テレビのリアルタイム放送の映像信号がバッファに格納されると同時に、バッファの映像信号と、検索対象信号との類似性を判定することにより、現在放送されているコンテンツを特定したり、類似コンテンツを提示したりすることもできる。例えば、現在放送されている映像信号と、検索対象信号であるコマーシャルの映像信号とを逐次比較することにより、現在放送されているコマーシャルを特定することが可能となる。
【０１２２】
本実施形態では、逐次入力される問合せ信号に対して信号バッファリング部６によりバッファを設けて問合せ信号の一部を格納しておき、問合せ信号がバッファに入力される毎に検索対象信号との類似性判定を行う。これにより、テレビのリアルタイム放送など逐次入力される信号を問合せ信号として対応させることができる。
【０１２３】
上述した第２実施形態〜第１０実施形態においても、図１９に示した実施形態と同様に、信号バッファリング部６を設けて問合せ信号を逐一バッファに格納することにより、テレビのリアルタイム放送など逐次入力される信号を問合せ信号として対応させるようにしても良い。
【０１２４】
（第１２実施形態）
図２０は、本発明による類似性判定装置の第１２実施形態の構成例を示すブロック図である。本実施形態は、図１に示した第１実施形態による類似性判定装置の処理速度を向上させるようにしたものである。
【０１２５】
本実施形態による類似性判定装置は、図１の第１実施形態と同様に、問合せ特徴量生成部３２、アクティビティ算出部３３、類似条件決定部３４、類似性判定部３５ｃ、および検索対象信号登録部１００を有する。検索対象画像登録部１００は検索対象特徴量生成部３１ａと検索対象特徴量蓄積部５とを備えている。問合せ信号入力端子１は問合せ特徴量生成部３２およびアクティビティ算出部３３に接続され、検索対象信号入力端子２は検索対象画像登録部１００の検索対象特徴量生成部３１ａに接続されている。
【０１２６】
検索対象特徴量生成部３１ａは、検索対象信号入力端子２から検索対象信号が入力される毎に、検索対象信号より特徴量を生成し、検索対象特徴量蓄積部５に蓄積する。検索対象特徴量生成部３１ａが生成する特徴量は、第１実施形態における検索対象特徴量生成部３１が生成するものと同じにすることができる。
【０１２７】
類似性判定部３５ｃは、類似条件決定部３４により決定された条件に基づき、検索対象特徴量蓄積部５に蓄積されている各検索対象信号の特徴量と問合せ特徴量生成部３２で生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【０１２８】
本実施形態では、各検索対象信号の特徴量を検索対象特徴量記憶部５に蓄積しておき、問合せ信号が入力されたとき、検索対象特徴量記憶部５に蓄積されている特徴量を使用して類似性の判定を行っている。これにより、問合せ信号が入力される毎に検索対象信号の特徴量を求める処理が不要になるので、類似性の判定処理に要する時間を短くすることができる。
【０１２９】
なお、第２実施形態〜第１１実施形態のいずれにおいても、図２０に示した実施形態と同様に、各検索対象信号の特徴量を検索対象特徴量記憶部に登録しておき、この登録された特徴量を用いて問合せ信号との類似性を判定するようにしても良い。
【０１３０】
（実施例）
次に、本発明の効果を確認するために、２２５５本の検索対象信号（１５秒および３０秒）の特徴量を登録したデータベースに対して、２４０時間の映像信号を問合せ信号として実験を行った。図１９に示すように、問合せ信号に対して１５秒のバッファを設け、問合せ信号の一部を逐一バッファに格納しながら、新規フレームがバッファに入力されるたびにバッファを更新していき、バッファ内の信号と検索対象信号との類似性を評価する。これにより、リアルタイムにバッファ内のコンテンツを特定する実験を行うことができる。信号特徴量としては、図２に示した方法で得られるフレーム特徴量の時系列集合とする。
【０１３１】
バッファ内の信号に対してカット検出を行い、カット数を算出する。そして、カット数に応じて類似性判定に利用する３種類のしきい値ｆ（ｘ）、ｇ（ｘ）、ｈ（ｘ）を設定する。また、バッファ内の信号に対して抽出する係数の数ｃ（ｘ）を設定する。具体的には、カット数をｘとした場合、抽出する係数の数をｃ(ｘ)＝−ｍｘ＋ｎ、フレーム間のしきい値１をｆ(ｘ)＝ａｘ＋ｂ、しきい値２をｇ(ｘ)＝ｃｘ＋ｄ、しきい値３をｈ(ｘ)＝ｅｘ＋ｆと定める。ただしａ，ｂ，ｃ，ｄ，ｍ，ｎ は経験的に定めた数である。
【０１３２】
類似性判定手順は以下のとおりである。はじめに、問合せ特徴量に含まれる各フレームに対応した特徴量を抽出し、検索対象特徴量の同じ時間位置に含まれるフレームに対応した特徴量との距離をそれぞれ算出する。同時に、算出された各距離がしきい値ｆ（ｘ）を超えるか否かを判定し、しきい値ｆ（ｘ）を超える距離をもつ特徴量の数を集計する。このとき、集計した数がしきい値ｇ（ｘ）を超えた時点で、類似度計算を打ち切るものとする。次に、算出された各フレーム特徴量間距離の平均値を算出し、バッファ内の信号と検索対象信号との距離とする。そして、この距離が,しきい値ｈ（ｘ）を下回る場合に、バッファ内の信号と検索対象信号が類似していると判定する。
【０１３３】
上記の条件によってコンテンツ特定を行ったところ、しきい値１，しきい値２，しきい値３および抽出する特徴量数を固定値として利用した場合には過剰検出２０件、未検出２件という結果であったのに対して、バッファ内のカット数に応じて適応的にしきい値および抽出する特徴量数を定めることで、前者の実験よりも少ない特徴量数で、全ての正解コンテンツを過剰検出０で特定することができた。
【０１３４】
以上の実験により、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことで効率よくかつ高い精度で類似性を判定できるという効果が確認された。
【０１３５】
本発明にしたがって問合せ信号と検索対象信号との類似性判定を行うことにより、データベースに登録された検索対象コンテンツからの現在放送中のコンテンツや指定したコンテンツの特定を行うことができる。また、データベースに登録された長時間の映像・音響コンテンツから、現在放送中のコンテンツや指定したコンテンツの放送箇所をデータベースの中の映像から特定することによる履歴検索をも行うことができる。
【０１３６】
以上、本発明の実施の形態を図面により詳述してきたが、具体的な構成はこの実施の形態に限られたものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。
【０１３７】
また、本発明をソフトウエアによって実現することも可能である。
【０１３８】
図２１は、本発明をソフトウエアにより実現するための装置構成を示すブロック図である。ハードウェア構成として、中央処理装置（ＣＰＵ）８１を含む主制御部８０と、ＲＯＭ，ＲＡＭ，ＨＤＤ等からなるメモリ部８２と、マン・マシンインタフェースをとる入出力部８３と、表示部８４とからなる処理装置を用いることができる。本発明を実現するためのプログラムを処理装置が読み取り可能な任意の形式の記録媒体８５に記録した状態で予め用意しておく。このような媒体としては、磁気テープ，磁気ディスク、フロッピィディスク，ＣＤ−ＲＯＭ等の任意の形式のものを使用することができる。
【０１３９】
ＣＰＵ８１がプログラムを読み込むことによって、上述した第１〜第１２実施形態と同等の機能を実現することができる。プログラム制御プロセッサが記録媒体８５を解読できる限り、このようなプログラムを格納した記録媒体８５を同様な処理システムに接続することで、本発明をいわば普遍的に実現することができる。
【０１４０】
例えば、本発明の第１実施形態を実現する場合には、記録媒体８５に記録されているプログラムは、主制御部８０によって読み取られ、その動作を制御することで、主制御部８０上に、図１に示した検索対象特徴量生成部３１、問合せ特徴量生成部３２、アクティビティ算出部３３、類似条件決定部３４、および類似性判定部３５を実現する。また、本発明の第２実施形態を実現する場合には、記録媒体８５に記録されているプログラムは、主制御部８０によって読み取られ、その動作を制御することで、主制御部８０上に、図９に示した検索対象特徴量生成部３１ａ、問合せ特徴量生成部３２ａ、アクティビティ算出部３３ａ、類似性判定部３５ａ、および問合せ特徴量決定部３６ａを実現する。第３〜第１２実施形態についても同様である。
【０１４１】
【発明の効果】
以上詳細に説明したように、本発明によれば、アクティビティ算出部により信号を解析してそのアクティビティ（複雑度）を算出し、算出されたアクティビティによって信号から抽出する特徴量および類似性の判定を行う際の条件を決定する。つまり、信号のアクティビティに応じて特徴量の抽出を行い、信号のアクティビティに応じて類似性の判定を行うことができ、この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができる。これにより、問合せ信号と検索対象信号との類似性の判定精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明に係る類似性判定装置の第１実施形態の構成例を示すブロック図である。
【図２】第１実施形態で用いられる特徴量生成部３１および３２の構成例を示すブロック図である。
【図３】第１実施形態におけるアクティビティ算出部の構成例を示すブロック図である。
【図４】第１実施形態の第１の構成例を示すブロック図である。
【図５】アクティビティとしてカット数を用いる場合のアクティビティ算出部の動作を概略的に示すフローチャートである。
【図６】類似性判定部３５の構成例を示すブロック図である。
【図７】第１実施形態による類似性判定装置の動作を示すフローチャートである。
【図８】本発明の第１実施形態の第２の構成例を示すブロック図である。
【図９】本発明による類似性判定装置の第２実施形態の構成例を示すブロック図である。
【図１０】第２実施形態における特徴量生成部３２ａの構成例を示すブロック図である。
【図１１】本発明による類似性判定装置の第３実施形態の構成例を示すブロック図である。
【図１２】本発明による類似性判定装置の第４実施形態の構成例を示すブロック図である。
【図１３】本発明による類似性判定装置の第５実施形態の構成例を示すブロック図である。
【図１４】本発明による類似性判定装置の第６実施形態の構成例を示すブロック図である。
【図１５】本発明による類似性判定装置の第７実施形態の構成例を示すブロック図である。
【図１６】本発明による類似性判定装置の第８実施形態の構成例を示すブロック図である。
【図１７】本発明による類似性判定装置の第９実施形態の構成例を示すブロック図である。
【図１８】本発明による類似性判定装置の第１０実施形態の構成例を示すブロック図である。
【図１９】本発明による類似性判定装置の第１１実施形態の構成例を示すブロック図である。
【図２０】本発明による類似性判定装置の第１２実施形態の構成例を示すブロック図である。
【図２１】本発明をソフトウエアにより実現するための装置構成を示すブロック図である。
【符号の説明】
１ 問合せ信号入力端点
２ 検索対象信号入力端点
３ 類似性判定装置
４ 出力装置
５ 検索対象特徴量記憶部
３１ 検索対象特徴量生成部
３２ 色構成比特徴量生成部
３３ アクティビティ算出部
３４ 類似条件決定部
３５ 類似性判定部
３６ 問合せ特徴量決定部
３７ アクティビティ算出部
３８ 検索対象特徴量決定部
１００ 検索対象信号登録部
【発明の属する技術分野】
本発明は映像信号や音響信号などの類似性を判定する技術に係り、特に、信号検索などに利用される類似性判定方法および装置に関する。
【０００２】
【従来の技術】
信号データベースに蓄積された映像や音響などの信号データから、所望の問合せ信号に類似する信号データを検索する類似信号検索技術が種々提案されている。このような類似信号検索技術は、たとえば、現在放送されている映像信号と、データベースで管理されているコマーシャルの映像信号とを逐次比較することにより現在放送されているコマーシャルを特定することを可能とする。
【０００３】
従来、この種の類似信号検索技術は、類似性を判定する際、主として、問合せ信号および検索対象信号から特徴量系列を抽出する。そして双方の特徴量系列間の類似度を算出したうえで、算出された類似度とあらかじめ定められたしきい値との比較結果に基づいて、問合せ信号と類似した信号が検索対象信号中に存在するか否かを判定する。
【０００４】
類似度算出に要する計算量を削減する方法は、たとえば特開平１０−３２０４００号公報、特開２００１−１６７１１８号公報、および特開平１１−１３０６３０号公報に記載されている。特開平１０−３２０４００号公報記載のシステムでは、特徴量系列中の同じ特徴量が続く冗長な区間を一つにまとめ、特徴量サイズを減らした上で類似度算出を行うことにより計算量を削減する。また、特開２００１−１６７１１８号公報記載のシステムでは、画像データベースの検索対象画像の特徴量と問い合わせ画像の特徴量とをそれぞれ係数変換し、係数変換されたそれぞれの画像特徴量を用いて類似度計算を実行する。これによって類似度計算量および必要な蓄積容量を削減することができる。さらに、特開平１１−１３０６３０号公報記載のシステムは，問合せ信号が、ある１つの検索対象信号系列のどの部分に含まれているか検索を行うシステムである。検索対象信号系列に対して注目窓を設け、注目窓の移動量を適応的に定めることにより計算量を削減する。ただし、各注目窓に対する類似度計算の削減については検討されていない。
【０００５】
一方、類似信号検索における検索精度を向上させるためには、類似性の判定精度を高いものにすることが必要になる。類似性の判定精度を高めるために、我々は、すでに「画像特徴量生成装置、画像検索装置、ならびにその生成方法及び検索方法」（特開２０００−２５９８３２号公報）において、画像特徴量を周波数領域で効率よく表現することにより類似性の判定精度を向上させる動画像検索方法について提案した。
【０００６】
【発明が解決しようとする課題】
しかしながら，上記従来の検索方法では，変化の少ない問合せ信号の場合と、動きなどの変化が激しい問合せ信号の場合とでは検索結果にばらつきが生じる。すなわち、同一の条件（類似度のしきい値処理など）で類似性判定を行うと、変化の少ない方では過剰検出が増え，変化の大きい方では未検出が増える、という問題点があった。
【０００７】
このことを、例えば映像信号で考えると，問合せ信号の持つ動きや明るさの変化が激しい場合、サンプル位置の違いによる誤差が蓄積しやすいため，類似とみなすしきい値を厳しくするにつれて検出漏れが増える。逆に、問合せ信号が動きのほとんどない変化の少ない映像である場合には、時間軸方向で個々の信号を区別することが難しくなるため，類似とみなすしきい値を厳しくする必要がある。
【０００８】
同様に、例えば音響信号で考えると，問合せ信号の持つ振幅の変化やパワーの変化が激しい場合、サンプル位置の違いによる誤差が蓄積しやすいため，類似とみなすしきい値を厳しくするにつれて検出漏れが増える。逆に、問合せ信号が振幅の変化やパワーの変化の少ない音響信号である場合、例えば無音状態が続くような場合には，時間軸方向で個々の信号を区別することが難しくなるため，類似とみなすしきい値を厳しくする必要がある。
【０００９】
このため、しきい値を甘くするにつれて類似していない信号の過剰検出が増える。この問題を解決するために、問合せ信号に実際に類似する信号と類似しない信号とを十分区別できるように特徴量の数や種類を増やすことも可能である。しかしながら、特徴量の数や種類が冗長となるために、無駄に特徴量の照合が行われてしまうという問題があった。これらの問題は、問合せ信号の性質に関係なく一定のしきい値を設定することにより類似性の判定を行うことが原因で生じるものである。
【００１０】
本発明は、上述の事情に鑑みてなされたものであり、その目的は、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことにより、効率よく高い精度で類似性を判定できる類似性判定方法および装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の観点によれば、第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定装置において、前記第１の信号および第２の信号の少なくとも一方のアクティビティを算出するアクティビティ算出手段と、前記アクティビティに基づいて、類似性判定のための判定条件を決定する類似条件決定手段と、前記判定条件に基づいて、前記第１の信号と第２の信号との類似性を判定する類似性判定手段と、を有する。
【００１２】
さらに、前記アクティビティに基づいて、抽出すべき特徴量を定義する特徴量条件を決定する特徴量決定手段と、前記特徴量条件にしたがって、前記第１の信号および第２の信号のうちの対応する信号から特徴量を抽出する特徴量抽出手段と、を有することを特徴とする。
【００１３】
本発明の第２の観点によれば、第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定装置において、前記第１の信号および第２の信号の少なくとも一方のアクティビティを算出するアクティビティ算出手段と、前記アクティビティに基づいて、抽出すべき特徴量を定義する特徴量条件を決定する特徴量決定手段と、前記特徴量条件にしたがって、前記第１の信号および第２の信号のうちの対応する信号から特徴量を抽出する特徴量抽出手段と、前記第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定手段と、を有することを特徴とする。
【００１４】
上述したように、本発明によれば、アクティビティ算出手段により、信号を解析してそのアクティビティ（複雑度）を算出し、算出されたアクティビティより信号から抽出する特徴量および類似性の判定を行う際の条件を決定する。つまり、信号のアクティビティに応じて特徴量の抽出を行い、信号のアクティビティに応じて類似性の判定を行うことができ、この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができる。
【００１５】
【発明の実施の形態】
本発明は、さまざまな種類の信号に適用可能であるが、以下の説明では、一例として、映像信号を用いた場合について説明する。また、本発明では、さまざまな特徴量を用いることができるが、ここでは一例として、映像の各フレームを固定サイズの画像に変換したうえで、画像の色のスペクトラムの周波数分布を複数の帯域に分割し、離散コサイン変換（ＤＣＴ）を行い、低周波成分を抽出し、非線形変換を行うことにより得られる特徴量の時系列集合を用いる。
【００１６】
（第１実施形態）
図１は、本発明に係る類似性判定装置の第１実施形態の構成例を示すブロック図である。本実施形態は、映像検索システムや音響検索システムといった信号検索システムの一部として利用され得る。
【００１７】
図１に示すように、本実施形態に係る類似性判定装置３には、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３は、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００１８】
類似性判定装置３は、検索対象特徴量生成部３１、問合せ特徴量生成部３２、アクティビティ算出部３３，類似条件決定部３４および類似性判定部３５を有する。以下、各構成ブロックについて説明する。
【００１９】
１．１）特徴量生成
検索対象特徴量生成部３１は、検索対象信号入力端子２から検索対象信号が入力される毎に、検索対象信号より特徴量を生成する。問合せ特徴量生成部３２は、問合せ信号入力端子１から入力された問合せ信号より特徴量を生成する。ここで、特徴量としてはさまざまなものが考えられるが、例えば、映像中に含まれる一部または全体のフレームより、色や形状、テクスチャを表す特徴量を、例えば文献；"ＣＯＬＯＲ ＡＮＤ ＴＥＸＴＵＲＥ ＤＥＳＣＲＩＰＴＯＲＳ"（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ Ｖｏｌ．１１、Ｎｏ．６、Ｊｕｎｅ２００１）に記載された方法を用いて生成することができる。
【００２０】
また、映像信号より、映像の動きを表す特徴量、例えば映像中の動きの激しさ（例えば動きベクトルの総量）、動きの方向性、時空間的分布状況などを生成することもできる。例えば、文献；"ＭＰＥＧ−７ Ｖｉｓｕａｌ ＭｏｔｉｏｎＤｅｓｓｃｒｉｐｔｏｒｓ"（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ Ｖｏｌ．１１、Ｎｏ．６、Ｊｕｎｅ２００１）記載の方法を利用して生成することも出来る。
【００２１】
さらに、映像信号のみならず音響信号からも特徴量を生成することができる。例えば文献；"ＯＶＥＲＶＩＥＷ ＯＦ ＭＰＥＧ−７ ＡＵＤＩＯ"（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｔｓ ａｎｄ Ｓｙｓｔｅｍｓｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ Ｖｏｌ．１１、Ｎｏ．６、Ｊｕｎｅ２００１）に記載された方法を用いて音響信号から特徴量を生成することもできる。
【００２２】
図２は、本実施形態で用いられる特徴量生成部３１および３２の構成例を示すブロック図である。フレーム抽出部３０１は、入力された信号中のフレームを抽出し、各フレームを画像サイズ変換部３０２に入力する。画像サイズ変換部３０２は、入力されたフレームを合計６４（８×８）個のブロックに分割し、それぞれの区画の代表色（平均色など）を算出することにより、８画素×８画素の縮退画像を生成する。なお縮退画像の色空間はＹＣｂＣｒを採用する。
【００２３】
周波数変換部３０３は、画像サイズ変換部３０２により得られた縮退画像に対してＤＣＴ（離散コサイン変換）を行う。変換係数抽出部３０４は、周波数変換部３０３により得られた変換係数をジグザグスキャンにより低周波成分から順に定められた個数を抽出する。非線形量子化部３０５は、変換係数抽出部３０４より抽出された各係数について、直流成分を６ビット、交流成分を５ビットでそれぞれ量子化しフレーム特徴量を構築する。こうして、信号特徴量は各フレームより得られたフレーム特徴量の時系列集合となる。
【００２４】
１．２）アクティビティ算出
アクティビティ算出部３３は、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティとは信号の複雑度を表し、例えば信号分布の相関や分散、映像信号内に含まれるカット数、音響信号内に含まれる無音区間の分散などをアクティビティとすることができる。
【００２５】
たとえば、図３に示すように、アクティビティ算出部３３が特徴量抽出部３３１とアクティビティ計算部３３２とからなり、問い合わせ信号から特徴量を生成したのちに、抽出された特徴量を解析してアクティビティを算出することもできる。ここで、アクティビティ算出に用いる特徴量は種々のものを用いることができるが、例えば検索対象特徴量生成部３１に挙げた各種特徴量生成方法を利用することもできる。
【００２６】
さらに、図４に示すように、問合せ特徴量生成部３２より生成された特徴量、つまり類似性判定部３５に入力するものと同一の特徴量を解析してアクティビティを算出してもよい。また、別途用意された任意の特徴量をアクティビティ算出に用いてもよい。
【００２７】
図５は、アクティビティとしてカット数を用いる場合のアクティビティ算出部の動作を概略的に示すフローチャートである。はじめに、信号入力端子より信号を入力する（ステップＡ１）。次に、入力された信号よりカット検出を行う（ステップＡ２）。カット検出方法としてはさまざまな方法が考えられる。例えば入力信号が映像である場合には、画素ベースでフレーム間差分を算出することによりカット検出を行うことができる。また、各フレームより例えば色ヒストグラムのような画像特徴量を生成して、画像特徴量間の距離を算出することによりカット検出を行うこともできる。そして、検出されたカット数を入力信号のアクティビティとして出力する（ステップＡ３）。
【００２８】
１．３）類似性判定
類似条件決定部３４は、アクティビティ算出部３３で算出されたアクティビティに従って、類似性判定を行うための条件を決定する。類似性判定部３５は、類似条件決定部３４により決定された条件に基づき、問い合わせ特徴量生成部３２で生成された特徴量と検索対象特徴量生成部３１で生成された特徴量との間の類似性を判定する。
【００２９】
より具体的には、例えば、検索対象映像が入力されるごとに検索対象映像に識別子を割り当て、類似していると判定された場合には、割り当てられた識別子を出力装置４に出力する。このような処理により、出力装置４には問合せ信号と類似性が高い検索対象信号の識別子が出力されるので、ユーザは、例えば、識別子を指定することにより、問合せ信号と類似性の高い検索対象信号を得ることができる。また、例えば識別子として特定コンテンツの名称を与えることにより、ユーザは識別子を見ることにより問合せ映像がどのコンテンツであるか、または類似しているかを知ることが出来る。
【００３０】
図６は、類似性判定部３５の構成例を示すブロック図である。特徴量間類似度算出部１０５は、問い合わせ特徴量生成部３２で生成された特徴量と、検索対象特徴量生成部３１で生成された特徴量との間の類似度を示す値を算出する。検出判定部１０６は、特徴量間類似度算出部１０５で算出された類似度値が、類似条件決定部３４により決定された条件を満たすか否かを判定する。
【００３１】
１．４）類似条件
類似性の判定を行う際の条件の定め方としては、さまざまな方法が考えられる。例えば類似条件決定部３４が検索対象信号と問合せ信号が類似しているとみなすしきい値を決定し、類似度値がこのしきい値を越えるか否か（類似度値が特徴量ベクトル間の距離であれば距離値がしきい値より低いか否か）により検索対象信号と問合せ信号が類似しているか否かを判定することができる。
【００３２】
例えば、カット数の多い問合せ信号や動きの激しい問合せ信号に対しては、検索対象信号と問合せ信号が類似しているとみなすしきい値を甘く（類似度の場合は低く、距離の場合は高く）設定しておき、カット数の少ない信号や動きの少ない信号に対してはしきい値を厳しく（類似度の場合は高く、距離の場合は低く）設定しておく。このように問合せ信号のアクティビティに合わせてしきい値を設定することができる。ただし、類似性の判定条件はしきい値である必要はない。複数次元のしきい値ベクトルや評価関数などを判定条件として用いてもよい。
【００３３】
１．５）動作
次に、本実施形態の動作をフローチャートを用いて説明する。ここでは、一例として、アクティビティがカット点の数で表され、また、検索対象信号は複数あるものとする。
【００３４】
図７は、第１実施形態による類似性判定装置の動作を示すフローチャートである。先ず、問合せ信号入力端子１から問合せ映像を入力する（ステップＢ１）。これにより、問合せ特徴量算出部３２が、問合せ映像の特徴量を生成する（ステップＢ２）。
【００３５】
次に、アクティビティ算出部３３は、問合せ映像よりカット検出を行い、カットの数を算出する（ステップＢ３）。カットを検出する処理としては適宜のものを使用することが出来るが、例えば映像中の連続するフレームより特徴量抽出を行い、連続するフレームの特徴量間距離を算出したうえで、距離があるしきい値を越える場合にカットとみなすことにより行うことが出来る。
【００３６】
類似条件決定部３４は、アクティビティ算出部３３により算出されたカットの数に応じて、問合せ映像と検索対象映像の類似性の判定を行う際の条件（しきい値）を決定する（ステップＢ４）。
【００３７】
続いて、検索対象信号入力端子２から検索対象映像を１つ入力し（ステップＢ５）、すべての検索対象信号の入力が終了したか否かを判定する（ステップＢ６）。この時点では第１番目の検索対象映像が入力しただけなので（ステップＢ６のＮＯ）、検索対象特徴量算出部３１は検索対象映像の特徴量を生成する（ステップＢ７）。
【００３８】
その後、特徴量間類似度算出部１０４が、問合せ映像の特徴量と検索対象映像の特徴量との類似度を算出する（ステップＢ８）。そして、類似性判定部３５は、算出された類似度が、類似条件決定部３４により決定された類似条件を満たすか否かを判定し、類似条件を満たす検索対象映像と識別子とを対応付けて保持する（ステップＢ９）。
【００３９】
以上の処理ステップＢ５〜Ｂ９を全ての検索対象映像に対して行う。そして、全ての検索対象映像に対して上記処理が行われると（ステップＢ６のＹＥＳ）、類似していると判定された場合に、割り当てられた識別子を出力装置４に出力する（ステップＢ１０）。
【００４０】
このようにして、出力装置４は問合せ信号と類似性が高い検索対象信号の識別子を受け取るので、ユーザは、例えば、識別子を指定することにより、問合せ信号と類似性の高い検索対象信号を得ることができる。また、例えば識別子として特定コマーシャルの名称を与えることにより、ユーザは識別子を見ることにより問合せ映像がどのコマーシャルであるかを知ることが出来る。
【００４１】
上述したように、本実施の形態では、アクティビティ算出部３３は、問合せ信号を解析してそのアクティビティ（複雑度）を算出し、類似条件決定部３４はそのアクティビティに基づいて類似性の判定条件を決定する。従って、信号のアクティビティに応じた類似性の判定を類似性判定部３５で行うことができる。この結果、信号の性質に合わせて適応的に類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００４２】
なお、図８に示すように、第１実施形態において、問合せ信号と検索対象信号とを入れ替えても、同様の効果が得られることはいうまでもない。この例では、検索対象信号を用いてアクティビティを算出している点が、図１の例と異なるだけであるから、説明は省略する。
【００４３】
（第２実施形態）
図９は、本発明による類似性判定装置の第２実施形態の構成例を示すブロック図である。本実施形態による類似性判定装置３ａには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ａは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００４４】
類似性判定装置３ａは、検索対象特徴量生成部３１ａ、問合せ特徴量生成部３２ａ、アクティビティ算出部３３ａ、類似性判定部３５ａ、および問合せ特徴量決定部３６ａを有する。以下、各構成ブロックについて説明する。
【００４５】
検索対象特徴量生成部３１ａは、検索対象信号入力端子２から検索対象信号が入力される毎に、検索対象信号より特徴量を生成する。アクティビティ算出部３３ａは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００４６】
問合せ特徴量決定部３６ａは、アクティビティ算出部３３ａにより算出されたアクティビティに基づいて、問合せ信号から抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。問合せ特徴量生成部３２ａは、問合せ信号入力端子１から入力された問合せ信号より、問合せ特徴量決定部３６ａにより決定された特徴量抽出条件に基づき特徴量を生成する。
【００４７】
図１０は、特徴量生成部３２ａの構成例を示すブロック図である。図１に示した特徴量生成部３１および３２との相違点は、変換係数抽出部３０４の代わりに変換係数抽出部３０４ａを備えている点である。 変換係数抽出部３０４ａは、特徴量決定部３６ａにより算出された特徴量抽出条件に応じて、周波数変換部３０３から入力した変換係数のうちどの係数を抽出するかを決定する。なお、問合せ映像全体のアクティビティを算出して、各フレームから抽出する特徴量を一括で定めることも、フレーム単位でアクティビティを算出してフレーム毎に抽出する特徴量を設定することも、また例えばカット点フレームに対しては特定の条件で特徴量を抽出することもできる。
【００４８】
類似性判定部３５ａは、問い合わせ特徴量生成部３２ａで生成された特徴量と、検索対象特徴量生成部３１ａで生成された特徴量との間の類似性を算出し、問合せ信号が検索対象信号に類似しているか否かを判定する。より具体的には、例えば、検索対象信号入力端子２から検索対象映像が入力されるごとに、検索対象映像に識別子を割り当て、類似していると判定された場合には割り当てられた識別子を出力装置４に出力する。以上の処理により、出力装置４には問合せ信号と類似性が高い検索対象信号の識別子が出力されるので、ユーザは、例えば、識別子を指定することにより、問合せ信号と類似性の高い検索対象信号を得ることができる。また、例えば識別子として特定コマーシャルの名称を与えることにより、ユーザは識別子を見ることにより問合せ映像がどのコマーシャルであるか（どのコマーシャルと類似しているか）を知ることが出来る。
【００４９】
なお、問合せ映像の特徴量と、検索対象映像の特徴量とで保持している係数が異なる場合があるが、異なる構成要素を持つ画像特徴量どうしの類似度算出方法としては、本発明者らによる特願２００１−２２４５４７号記載の方法などがある。
【００５０】
上述したように、本実施形態において、アクティビティ算出部３３ａは問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ａはそのアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。従って、信号のアクティビティに応じた特徴量の抽出は、問合せ特徴量生成部３２ａで行われる。この結果、信号の性質に合わせて適応的に特徴量の抽出を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００５１】
（第３実施形態）
図１１は、本発明による類似性判定装置の第３実施形態の構成例を示すブロック図である。本実施形態による類似性判定装置３ｂには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｂは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００５２】
類似性判定装置３ｂは、検索対象特徴量生成部３１ｂ、問合せ特徴量生成部３２ｂ、アクティビティ算出部３３ｂ、類似条件決定部３４ｂ、類似性判定部３５ｂ、および問合せ特徴量決定部３６ｂを有する。以下、各構成ブロックについて説明する。
【００５３】
検索対象特徴量生成部３１ｂは、検索対象信号入力端子２から検索対象信号が入力される毎に、検索対象信号より特徴量を生成する。アクティビティ算出部３３ｂは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００５４】
問合せ特徴量決定部３６ｂは、アクティビティ算出部３３ｂにより算出されたアクティビティに基づいて、問合せ特徴量より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。類似条件決定部３４ｂは、アクティビティ算出部３３ｂにより算出されたアクティビティに基づいて、類似性の判定を行う際の条件を決定する。
【００５５】
問合せ特徴量生成部３２ｂは、問合せ特徴量決定部３６ｂにより決定された特徴量抽出条件に基づき、問合せ信号入力端子１から入力された問合せ信号から特徴量を生成する。
【００５６】
類似性判定部３５ｂは、類似条件決定部３４ｂにより決定された条件に基づき、問い合わせ特徴量生成部３２ｂで生成された特徴量と検索対象特徴量生成部３１ｂで生成された特徴量との間の類似性を判定する。
【００５７】
上述したように、本実施形態では、アクティビティ算出部３３ｂが問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ｂがそのアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。
【００５８】
さらに、類似条件決定部３４ｂが、アクティビティ算出部３３ｂにより算出されたアクティビティに基づいて類似性の判定を行う際の条件を決定する。従って、信号のアクティビティに応じた特徴量の抽出を問合せ特徴量生成部３２ｂで行い、信号のアクティビティに応じた類似性の判定を類似性判定部３５ｂで行うことができる。この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００５９】
（第４実施形態）
図１２は、本発明による類似性判定装置の第４実施形態の構成例を示すブロック図である。本実施形態による類似性判定装置３ｃには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｃは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００６０】
類似性判定装置３ｃは、検索対象特徴量生成部３１ｃ、問合せ特徴量生成部３２ｃ、アクティビティ算出部３３ｃ、類似条件決定部３４ｃ、類似性判定部３５ｃ、およびアクティビティ算出部３７ｃを有する。以下、各構成ブロックについて説明する。
【００６１】
検索対象特徴量生成部３１ｃは、検索対象信号入力端子２から入力された問合せ信号より特徴量を生成する。問合せ特徴量生成部３２ｃは、問合せ信号入力端子１から入力された問合せ信号から特徴量を生成する。
【００６２】
アクティビティ算出部３３ｃは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティ算出部３７ｃは、検索対象信号を解析してそのアクティビティ（複雑度）を算出する。これらアクティビティ算出部３３ｃおよび３７ｃは、第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００６３】
類似条件決定部３４ｃは、アクティビティ算出部３３ｃにより算出されたアクティビティおよびアクティビティ算出部３７ｃにより算出されたアクティビティに基づいて、類似性の判定を行う際の条件を決定する。
【００６４】
類似性判定部３５ｃは、類似条件決定部３４ｃにより決定された条件に基づき、問い合わせ特徴量生成部３２ｃで生成された特徴量と検索対象特徴量生成部３１ｃで生成された特徴量との間の類似性を判定する。
【００６５】
上述したように、本実施形態では、アクティビティ算出部３３ｃおよび３７ｃがそれぞれ問合せ信号および検索対象信号を解析してそれらアクティビティ（複雑度）を算出し、類似条件決定部３４ｃが、それらアクティビティに基づいて、類似性の判定を行う際の条件を決定する。従って、信号のアクティビティに応じた類似性の判定を類似性判定部３５ｃで行うことができる。この結果、信号の性質に合わせて適応的に類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００６６】
（第５実施形態）
図１３は、本発明による類似性判定装置の第５実施形態の構成例を示すブロック図である。本実施形態における類似性判定装置３ｄには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｄは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００６７】
類似性判定装置３ｄは、検索対象特徴量生成部３１ｄ、問合せ特徴量生成部３２ｄ、アクティビティ算出部３３ｄ、類似条件決定部３４ｄ、類似性判定部３５ｄ、問合せ特徴量決定部３６ｄ、およびアクティビティ算出部３７ｄを有する。以下、各構成ブロックについて説明する。
【００６８】
アクティビティ算出部３３ｄは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティ算出部３７ｄは、検索対象信号を解析してそのアクティビティ（複雑度）を算出する。いずれも、第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００６９】
問合せ特徴量決定部３６ｄは、アクティビティ算出部３３ｄにより算出されたアクティビティより問合せ信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。問合せ特徴量生成部３２ｄは、問合せ特徴量決定部３６ｄにより決定された特徴量抽出条件に基づき、問合せ信号入力端子１から入力された問合せ信号より特徴量を生成する。
【００７０】
検索対象特徴量生成部３１ｄは、検索対象信号入力端子２から入力された検索対象信号より特徴量を生成する。類似条件決定部３４ｄは、アクティビティ算出部３７ｄにより算出されたアクティビティより類似性の判定を行う際の条件を決定する。
【００７１】
類似性判定部３５ｄは、類似条件決定部３４ｄにより決定された条件に基づき、問い合わせ特徴量生成部３２ｄで生成された特徴量と検索対象特徴量生成部３１ｄで生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【００７２】
上述したように、本実施形態では、アクティビティ算出部３３ｄが問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ｄがそのアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。さらに、類似条件決定部３４ｄがアクティビティ算出部３７ｄにより算出されたアクティビティに基づいて類似性の判定を行う際の条件を決定する。したがって、信号のアクティビティに応じた特徴量の抽出が問合せ特徴量生成部３２ｄで行われ、信号のアクティビティに応じた類似性の判定が類似性判定部３５ｄで行われる。
【００７３】
この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００７４】
（第６実施形態）
図１４は、本発明による類似性判定装置の第６実施形態の構成例を示すブロック図である。本実施形態における類似性判定装置３ｅには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｅは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００７５】
類似性判定装置３ｅは、検索対象特徴量生成部３１ｅ、問合せ特徴量生成部３２ｅ、アクティビティ算出部３３ｅ、類似条件決定部３４ｅ、類似性判定部３５ｅ、問合せ特徴量決定部３６ｅ、およびアクティビティ算出部３７ｅを有する。以下、各構成ブロックについて説明する。
【００７６】
アクティビティ算出部３３ｅは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティ算出部３７ｅは、検索対象信号を解析してそのアクティビティ（複雑度）を算出する。いずれも、第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００７７】
問合せ特徴量決定部３６ｅは、アクティビティ算出部３３ｅにより算出されたアクティビティに基づいて、問合せ信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。問合せ特徴量生成部３２ｅは、問合せ特徴量決定部３６ｅにより決定された特徴量抽出条件に基づき、問合せ信号から特徴量を生成する。検索対象特徴量生成部３１ｅは、検索対象信号入力端子２から入力された検索対象信号から特徴量を生成する。
【００７８】
類似条件決定部３４ｅは、アクティビティ算出部３３ｅおよび３７ｅによりそれぞれ算出されたアクティビティに基づいて、類似性の判定を行う際の条件を決定する。類似性判定部３５ｅは、類似条件決定部３４ｅにより決定された条件に基づき、問い合わせ特徴量生成部３２ｅで生成された特徴量と検索対象特徴量生成部３１ｅで生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【００７９】
上述したように、本実施形態では、アクティビティ算出部３３ｅが問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ｅがそのアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。さらに、類似条件決定部３４ｅが、アクティビティ算出部３３ｅにより算出されたアクティビティおよびアクティビティ算出部３７ｅにより算出されたアクティビティに基づいて類似性の判定を行う際の条件を決定する。従って、信号のアクティビティに応じた特徴量の抽出を問合せ特徴量生成部３２ｅで行い、信号のアクティビティに応じた類似性の判定を類似性判定部３５ｅで行うことができる。この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００８０】
（第７実施形態）
図１５は、本発明による類似性判定装置の第７実施形態の構成例を示すブロック図である。本実施形態による類似性判定装置３ｆには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｆは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００８１】
類似性判定装置３ｆは、検索対象特徴量生成部３１ｆ、問合せ特徴量生成部３２ｆ、アクティビティ算出部３３ｆ、類似条件決定部３４ｆ、類似性判定部３５ｆ、問合せ特徴量決定部３６ｆ、アクティビティ算出部３７ｆ、および検索対象特徴量決定部３８ｆを有する。以下、各構成ブロックについて説明する。
【００８２】
アクティビティ算出部３３ｆは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティ算出部３７ｆは、検索対象信号を解析してそのアクティビティ（複雑度）を算出する。いずれも、第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００８３】
問合せ特徴量決定部３６ｆは、アクティビティ算出部３３ｆにより算出されたアクティビティに基づいて、問合せ信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。問合せ特徴量生成部３２ｆは、検索対象特徴量決定部３６ｆにより決定された特徴量抽出条件に基づき、問合せ信号入力端子１から入力された問合せ信号から特徴量を生成する。
【００８４】
検索対象特徴量決定部３８ｆは、アクティビティ算出部３３ｆにより算出されたアクティビティより検索対象信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。検索対象特徴量生成部３１ｆは、検索対象特徴量決定部３６ｆにより決定された特徴量抽出条件に基づき、検索対象信号から特徴量を生成する。
【００８５】
類似条件決定部３４ｆは、アクティビティ算出部３３ｆにより算出されたアクティビティにより算出されたアクティビティに基づいて類似性の判定を行う際の条件を決定する。類似性判定部３５ｆは類似条件決定部３４ｆにより決定された条件に基づき、問い合わせ特徴量生成部３２ｆで生成された特徴量と検索対象特徴量生成部３１ｆで生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【００８６】
上述したように、本実施形態では、アクティビティ算出部３３ｆが問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ｆがそのアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。また、アクティビティ算出部３７ｆが検索対象信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３８ｆがそのアクティビティに基づいて検索対象信号より抽出する特徴量を決定する。さらに、類似条件決定部３４ｆがアクティビティ算出部３３ｆにより算出されたアクティビティより類似性の判定を行う際の条件を決定する。
【００８７】
従って、信号のアクティビティに応じて特徴量の抽出を問合せ特徴量生成部３２ｆおよび検索対象特徴量生成部３１ｆで行い、信号のアクティビティに応じた類似性の判定を類似性判定部３５ｆで行うことができる。この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００８８】
（第８実施形態）
図１６は、本発明による類似性判定装置の第８実施形態の構成例を示すブロック図である。本実施形態による類似性判定装置３ｇには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｇは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００８９】
類似性判定装置３ｇは、検索対象特徴量生成部３１ｇ、問合せ特徴量生成部３２ｇ、アクティビティ算出部３３ｇ、類似性判定部３５ｇ、問合せ特徴量決定部３６ｇ、アクティビティ算出部３７ｇ、および検索対象特徴量決定部３８ｇを有する。以下、各構成ブロックについて説明する。
【００９０】
アクティビティ算出部３３ｇは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティ算出部３７ｇは、検索対象信号を解析してそのアクティビティ（複雑度）を算出する。いずれも、第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００９１】
問合せ特徴量決定部３６ｇは、アクティビティ算出部３３ｇにより算出されたアクティビティに基づいて問合せ信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。問合せ特徴量生成部３２ｇは、問合せ特徴量決定部３６ｇにより決定された特徴量抽出条件に基づき、問合せ信号入力端子１から入力された問合せ信号より特徴量を生成する。
【００９２】
検索対処特徴量決定部３８ｇは、アクティビティ算出部３７ｇにより算出されたアクティビティに基づいて検索対象信号から抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。検索対象特徴量生成部３１ｇは、検索対象特徴量決定部３８ｇにより決定された特徴量抽出条件に基づき、検索対象信号から特徴量を生成する。
【００９３】
類似性判定部３５ｇは、問い合わせ特徴量生成部３２ｇで生成された特徴量と検索対象特徴量生成部３１ｇで生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【００９４】
上述したように、本実施形態では、アクティビティ算出部３３ｇが問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ｇがそのアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。また、アクティビティ算出部３７ｇは、検索対象信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３８ｇはそのアクティビティに基づいて検索対象信号より抽出する特徴量を決定する。従って、信号のアクティビティに応じた特徴量の抽出が問合せ特徴量生成部３２ｇおよび検索対象特徴量生成部３１ｇで行われ、信号のアクティビティに応じた類似性の判定が類似性判定部３５ｇで行われる。この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
【００９５】
（第９実施形態）
図１７は、本発明による類似性判定装置の第９実施形態の構成例を示すブロック図である。本実施形態による類似性判定装置３ｈには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｈは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【００９６】
類似性判定装置３ｈは、検索対象特徴量生成部３１ｈ、問合せ特徴量生成部３２ｈ、アクティビティ算出部３３ｈ、類似条件決定部３４ｈ、類似性判定部３５ｈ、問合せ特徴量決定部３６ｈ、アクティビティ算出部３７ｈ、および検索対象特徴量決定部３８ｈを有する。以下、各構成ブロックについて説明する。
【００９７】
アクティビティ算出部３３ｈは、問合せ信号を解析してそのアクティビティ（複雑度）を算出する。アクティビティ算出部３７ｈは、検索対象信号を解析してそのアクティビティ（複雑度）を算出する。いずれも、第１実施形態におけるアクティビティ算出部３３と同様の動作を行う。
【００９８】
問合せ特徴量決定部３６ｈは、アクティビティ算出部３３ｈにより算出されたアクティビティに基づいて問合せ信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。問合せ特徴量生成部３２ｈは、問合せ特徴量決定部３６ｈにより決定された特徴量抽出条件に基づき、問合せ信号入力端子１から入力された問合せ信号から特徴量を生成する。
【００９９】
検索対象特徴量決定部３８ｈは、アクティビティ算出部３７ｈにより算出されたアクティビティに基づいて検索対象信号より抽出する特徴量の数や種類などといった特徴量抽出条件を決定する。検索対象特徴量生成部３１ｈは、検索対象特徴量決定部３６ｈにより決定された特徴量抽出条件に基づき、検索対象信号入力端子２から入力された検索対象信号から特徴量を生成する。
【０１００】
類似条件決定部３４ｈは、アクティビティ算出部３３ｈおよび３７ｈによりそれぞれ算出されたアクティビティに基づいて、類似性の判定を行う際の条件を決定する。類似性判定部３５ｈは、類似条件決定部３４ｈにより決定された条件に基づき、問合せ特徴量生成部３２ｈで生成された特徴量と検索対象特徴量生成部３１ｈで生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【０１０１】
上述したように、本実施形態において、アクティビティ算出部３３ｈは問合せ信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３６ｈはアクティビティ算出部３３ｈにより算出されたアクティビティに基づいて問合せ信号より抽出する特徴量を決定する。また、アクティビティ算出部３７ｈは検索対象信号を解析してそのアクティビティ（複雑度）を算出し、特徴量決定部３８ｈはそのアクティビティに基づいて検索対象信号より抽出する特徴量を決定する。さらに、類似条件決定部３４ｈはアクティビティ算出部３３ｈおよび３７ｈによりそれぞれ算出されたアクティビティに基づいて、類似性の判定を行う際の条件を決定する。
【０１０２】
従って、信号のアクティビティに応じた特徴量の抽出が問合せ特徴量生成部３２ｈおよび検索対象特徴量生成部３１ｈで行われ、信号のアクティビティに応じた類似性の判定が類似性判定部３５ｈで行われる。この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができ、効率よく高い精度で類似性を判定できるようにすることができる。
（第１０実施形態）
図１８は、本発明による類似性判定装置の第１０実施形態の構成例を示すブロック図である。本実施形態は、図１に示した第１実施形態による類似性判定装置の処理速度を向上させるようにしたものである。
【０１０３】
図１８に示すように、本実施形態による類似性判定装置３ｉには、検索に用いる問合せ映像信号を入力する問合せ信号入力端子１と、検索対象となる映像信号を入力する検索対象信号入力端子２とが設けられている。類似性判定装置３ｉは、入力した問合せ信号と検索対象信号との類似性を判定し、その類似性判定結果をディスプレイ装置や印刷装置等の出力装置４へ出力する。
【０１０４】
類似性判定装置３ｉは、検索対象特徴量生成部３１、問合せ特徴量生成部３２、アクティビティ算出部３３、類似条件決定部３４ｉ、類似条件決定部３４ｉおよび類似性判定部３５ｉを有する。なお、図１と同一機能のブロックには同一参照番号を付して説明は省略する。
【０１０５】
類似条件決定部３４ｉは、アクティビティ算出部３３により算出されたアクティビティに基づいて類似性の判定を行う際の条件を決定し、３種類の条件（第１の条件、第２の条件、第３の条件）を類似性判定部３５ｉへ出力する。
【０１０６】
類似性判定部３５ｉは、似条件決定部３４ｉにより決定された第３の条件にしたがって、問い合わせ特徴量生成部３２で生成された特徴量と検索対象特徴量生成部３１で生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【０１０７】
類似性判定部３５ｉは、特徴量間類似度算出部１０５と検出判定部１０６とからなる。特徴量間類似度算出部１０５は、問い合わせ特徴量生成部３２で生成された特徴量と検索対象特徴量生成部３１で生成された特徴量との間の類似度を示す値を算出する。検出判定部１０６は、特徴量間類似度算出部１０５で算出された類似度値が類似条件決定部３４により決定された第３の条件を満たすか否かを判定する。
【０１０８】
特徴量間類似度算出部１０５は、さらに、特徴量分割部１０１、部分特徴量間類似度算出部１０２、部分特徴量間類似性判定部１０３、および類似度算出部１０４を有する。
【０１０９】
特徴量分割部１０１は、問合せ信号の特徴量（問合せ特徴量）を複数の部分特徴量に分割する。部分特徴量間類似度算出部１０２は、分割した各部分特徴量と検索対象信号の特徴量（検索対象特徴量）の一部との部分的な類似度を算出する。部分特徴量間類似性判定部１０３は、分割した各部分特徴量に対応した各類似度が、類似条件決定部３４により決定された第１の条件を満たすか否かをそれぞれ判定し、第１の条件を満たさない部分特徴量の数を出力する。
【０１１０】
部分的な類似度算出方法としては、例えば、問合せ特徴量に含まれる各フレームに対応した特徴量を抽出し、検索対象特徴量（の同じ時間位置）に含まれるフレームに対応した特徴量との距離を算出する方法が考えられる。距離としてはさまざまな定義が可能である。例えば、ＤＣＴ係数の低周波成分間の距離計算方法としては、２つの特徴量間の距離Ｄは式（１）で表すことができる。
【０１１１】
【数１】
【０１１２】
ここで、Ｙi、 Ｃｂi、Ｃｒiはｉ番目のＤＣＴ係数であり、ｗ１i〜ｗ３iは重み係数である。重み係数はＤＣＴ係数の周波数帯域によって異なる値を設定することができる。
【０１１３】
また、部分特徴量間の類似度が類似条件決定部３４により決定された第１の条件を満たすか否かを判定する方法としては、例えば、算出された部分特徴量間の類似度をのしきい値を、カット数の多い問合せ信号や動きの激しい問合せ信号に対しては甘く（類似度の場合は低く、距離の場合は高く）設定しておき、カット数の少ない信号や動きの少ない信号に対してはしきい値を厳しく（類似度の場合は高く、距離の場合は低く）設定しておくなど、問合せ信号のアクティビティに合わせてしきい値を設定する方法が考えられる。
【０１１４】
類似度算出部１０４は、部分特徴量間類似性判定部１０３より出力された数が、類似条件決定部３４により決定された第２の条件を満たすか否かを判定する。部分特徴量間類似性判定部１０３より出力された数が第２の条件を満たす場合、部分特徴量間類似度算出部１０２により算出された各類似度を用いて問合せ特徴量と検索対象特徴量と間の類似度の算出を行う。
【０１１５】
この類似度の算出方法としてはさまざまな方法が考えられる。例えば、部分特徴量間類似度算出部１０１により算出された全ての類似度の平均値を利用する方法、部分特徴量間類似度算出部１０１により算出された部分的な類似度が類似条件決定部３４により決定された条件を満たす場合のみの類似度の平均値を利用する方法などがある。また、部分特徴量間類似性判定部１０３より出力された数が第２の条件を満たさない場合は、類似度計算処理を打ち切ってもよいし、類似度として０を出力することもできる。
【０１１６】
本実施の形態では、問合せ信号と検索対象信号が類似しないとみなされた場合に類似度算出を途中で打ち切ることにより、類似性の判定処理に要する時間を短くすることができる。
【０１１７】
なお、第３実施形態〜第７実施形態（図１１〜図１５）および第９実施形態（図１７）のいずれにおいても、図１８に示した第１０実施形態と同様に、問合せ信号と検索対象信号が類似しないとみなされた場合に類似度算出を途中で打ち切るように類似性を判定してもよい。具体的には、図１１〜図１５および図１７に示した類似性判定部を、図１８に示した類似性判定部３５ｉと同様に、特徴量分割部１０１、部分特徴量間類似度算出部１０２、部分特徴量間類似性判定部１０３、類似度算出部１０４および検出判定部１０６で構成することができる。
【０１１８】
また、第２実施形態〜第１０実施形態のいずれにおいても、図８に示すように、問合せ信号と検索対象信号とを入れ替えてもよい。
【０１１９】
（第１１実施形態）
図１９は、本発明による類似性判定装置の第１１実施形態の構成例を示すブロック図である。本実施形態は、図１に示した第１実施形態による類似性判定装置を、テレビのリアルタイム放送など逐次入力される信号を問合せ信号として用いることができるようにしたものである。
【０１２０】
本実施形態による類似性判定装置は、図１に示す類似性判定装置３の問合せ信号入力端子１に固定サイズの信号バッファリング部６が接続され、逐次入力される問合せ信号が信号バッファリング部６に順次蓄積された後、アクティビティ算出部３３および問合せ特徴量生成部３２に入力する。例えば、１５秒のバッファを設けた場合には、たとえばテレビのリアルタイム放送の１５秒分の映像信号を信号バッファリング部６に格納することができる。バッファに信号を格納する際に、新規フレームがバッファに入力されるたびにバッファを更新していくことも、一定時間間隔でバッファを更新することもできる。
【０１２１】
また、テレビのリアルタイム放送の映像信号がバッファに格納されると同時に、バッファの映像信号と、検索対象信号との類似性を判定することにより、現在放送されているコンテンツを特定したり、類似コンテンツを提示したりすることもできる。例えば、現在放送されている映像信号と、検索対象信号であるコマーシャルの映像信号とを逐次比較することにより、現在放送されているコマーシャルを特定することが可能となる。
【０１２２】
本実施形態では、逐次入力される問合せ信号に対して信号バッファリング部６によりバッファを設けて問合せ信号の一部を格納しておき、問合せ信号がバッファに入力される毎に検索対象信号との類似性判定を行う。これにより、テレビのリアルタイム放送など逐次入力される信号を問合せ信号として対応させることができる。
【０１２３】
上述した第２実施形態〜第１０実施形態においても、図１９に示した実施形態と同様に、信号バッファリング部６を設けて問合せ信号を逐一バッファに格納することにより、テレビのリアルタイム放送など逐次入力される信号を問合せ信号として対応させるようにしても良い。
【０１２４】
（第１２実施形態）
図２０は、本発明による類似性判定装置の第１２実施形態の構成例を示すブロック図である。本実施形態は、図１に示した第１実施形態による類似性判定装置の処理速度を向上させるようにしたものである。
【０１２５】
本実施形態による類似性判定装置は、図１の第１実施形態と同様に、問合せ特徴量生成部３２、アクティビティ算出部３３、類似条件決定部３４、類似性判定部３５ｃ、および検索対象信号登録部１００を有する。検索対象画像登録部１００は検索対象特徴量生成部３１ａと検索対象特徴量蓄積部５とを備えている。問合せ信号入力端子１は問合せ特徴量生成部３２およびアクティビティ算出部３３に接続され、検索対象信号入力端子２は検索対象画像登録部１００の検索対象特徴量生成部３１ａに接続されている。
【０１２６】
検索対象特徴量生成部３１ａは、検索対象信号入力端子２から検索対象信号が入力される毎に、検索対象信号より特徴量を生成し、検索対象特徴量蓄積部５に蓄積する。検索対象特徴量生成部３１ａが生成する特徴量は、第１実施形態における検索対象特徴量生成部３１が生成するものと同じにすることができる。
【０１２７】
類似性判定部３５ｃは、類似条件決定部３４により決定された条件に基づき、検索対象特徴量蓄積部５に蓄積されている各検索対象信号の特徴量と問合せ特徴量生成部３２で生成された特徴量との間の類似性、すなわち問合せ信号が検索対象信号に類似しているか否かを判定する。
【０１２８】
本実施形態では、各検索対象信号の特徴量を検索対象特徴量記憶部５に蓄積しておき、問合せ信号が入力されたとき、検索対象特徴量記憶部５に蓄積されている特徴量を使用して類似性の判定を行っている。これにより、問合せ信号が入力される毎に検索対象信号の特徴量を求める処理が不要になるので、類似性の判定処理に要する時間を短くすることができる。
【０１２９】
なお、第２実施形態〜第１１実施形態のいずれにおいても、図２０に示した実施形態と同様に、各検索対象信号の特徴量を検索対象特徴量記憶部に登録しておき、この登録された特徴量を用いて問合せ信号との類似性を判定するようにしても良い。
【０１３０】
（実施例）
次に、本発明の効果を確認するために、２２５５本の検索対象信号（１５秒および３０秒）の特徴量を登録したデータベースに対して、２４０時間の映像信号を問合せ信号として実験を行った。図１９に示すように、問合せ信号に対して１５秒のバッファを設け、問合せ信号の一部を逐一バッファに格納しながら、新規フレームがバッファに入力されるたびにバッファを更新していき、バッファ内の信号と検索対象信号との類似性を評価する。これにより、リアルタイムにバッファ内のコンテンツを特定する実験を行うことができる。信号特徴量としては、図２に示した方法で得られるフレーム特徴量の時系列集合とする。
【０１３１】
バッファ内の信号に対してカット検出を行い、カット数を算出する。そして、カット数に応じて類似性判定に利用する３種類のしきい値ｆ（ｘ）、ｇ（ｘ）、ｈ（ｘ）を設定する。また、バッファ内の信号に対して抽出する係数の数ｃ（ｘ）を設定する。具体的には、カット数をｘとした場合、抽出する係数の数をｃ(ｘ)＝−ｍｘ＋ｎ、フレーム間のしきい値１をｆ(ｘ)＝ａｘ＋ｂ、しきい値２をｇ(ｘ)＝ｃｘ＋ｄ、しきい値３をｈ(ｘ)＝ｅｘ＋ｆと定める。ただしａ，ｂ，ｃ，ｄ，ｍ，ｎ は経験的に定めた数である。
【０１３２】
類似性判定手順は以下のとおりである。はじめに、問合せ特徴量に含まれる各フレームに対応した特徴量を抽出し、検索対象特徴量の同じ時間位置に含まれるフレームに対応した特徴量との距離をそれぞれ算出する。同時に、算出された各距離がしきい値ｆ（ｘ）を超えるか否かを判定し、しきい値ｆ（ｘ）を超える距離をもつ特徴量の数を集計する。このとき、集計した数がしきい値ｇ（ｘ）を超えた時点で、類似度計算を打ち切るものとする。次に、算出された各フレーム特徴量間距離の平均値を算出し、バッファ内の信号と検索対象信号との距離とする。そして、この距離が,しきい値ｈ（ｘ）を下回る場合に、バッファ内の信号と検索対象信号が類似していると判定する。
【０１３３】
上記の条件によってコンテンツ特定を行ったところ、しきい値１，しきい値２，しきい値３および抽出する特徴量数を固定値として利用した場合には過剰検出２０件、未検出２件という結果であったのに対して、バッファ内のカット数に応じて適応的にしきい値および抽出する特徴量数を定めることで、前者の実験よりも少ない特徴量数で、全ての正解コンテンツを過剰検出０で特定することができた。
【０１３４】
以上の実験により、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことで効率よくかつ高い精度で類似性を判定できるという効果が確認された。
【０１３５】
本発明にしたがって問合せ信号と検索対象信号との類似性判定を行うことにより、データベースに登録された検索対象コンテンツからの現在放送中のコンテンツや指定したコンテンツの特定を行うことができる。また、データベースに登録された長時間の映像・音響コンテンツから、現在放送中のコンテンツや指定したコンテンツの放送箇所をデータベースの中の映像から特定することによる履歴検索をも行うことができる。
【０１３６】
以上、本発明の実施の形態を図面により詳述してきたが、具体的な構成はこの実施の形態に限られたものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。
【０１３７】
また、本発明をソフトウエアによって実現することも可能である。
【０１３８】
図２１は、本発明をソフトウエアにより実現するための装置構成を示すブロック図である。ハードウェア構成として、中央処理装置（ＣＰＵ）８１を含む主制御部８０と、ＲＯＭ，ＲＡＭ，ＨＤＤ等からなるメモリ部８２と、マン・マシンインタフェースをとる入出力部８３と、表示部８４とからなる処理装置を用いることができる。本発明を実現するためのプログラムを処理装置が読み取り可能な任意の形式の記録媒体８５に記録した状態で予め用意しておく。このような媒体としては、磁気テープ，磁気ディスク、フロッピィディスク，ＣＤ−ＲＯＭ等の任意の形式のものを使用することができる。
【０１３９】
ＣＰＵ８１がプログラムを読み込むことによって、上述した第１〜第１２実施形態と同等の機能を実現することができる。プログラム制御プロセッサが記録媒体８５を解読できる限り、このようなプログラムを格納した記録媒体８５を同様な処理システムに接続することで、本発明をいわば普遍的に実現することができる。
【０１４０】
例えば、本発明の第１実施形態を実現する場合には、記録媒体８５に記録されているプログラムは、主制御部８０によって読み取られ、その動作を制御することで、主制御部８０上に、図１に示した検索対象特徴量生成部３１、問合せ特徴量生成部３２、アクティビティ算出部３３、類似条件決定部３４、および類似性判定部３５を実現する。また、本発明の第２実施形態を実現する場合には、記録媒体８５に記録されているプログラムは、主制御部８０によって読み取られ、その動作を制御することで、主制御部８０上に、図９に示した検索対象特徴量生成部３１ａ、問合せ特徴量生成部３２ａ、アクティビティ算出部３３ａ、類似性判定部３５ａ、および問合せ特徴量決定部３６ａを実現する。第３〜第１２実施形態についても同様である。
【０１４１】
【発明の効果】
以上詳細に説明したように、本発明によれば、アクティビティ算出部により信号を解析してそのアクティビティ（複雑度）を算出し、算出されたアクティビティによって信号から抽出する特徴量および類似性の判定を行う際の条件を決定する。つまり、信号のアクティビティに応じて特徴量の抽出を行い、信号のアクティビティに応じて類似性の判定を行うことができ、この結果、信号の性質に合わせて適応的に特徴量の抽出および類似性の判定を行うことができる。これにより、問合せ信号と検索対象信号との類似性の判定精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明に係る類似性判定装置の第１実施形態の構成例を示すブロック図である。
【図２】第１実施形態で用いられる特徴量生成部３１および３２の構成例を示すブロック図である。
【図３】第１実施形態におけるアクティビティ算出部の構成例を示すブロック図である。
【図４】第１実施形態の第１の構成例を示すブロック図である。
【図５】アクティビティとしてカット数を用いる場合のアクティビティ算出部の動作を概略的に示すフローチャートである。
【図６】類似性判定部３５の構成例を示すブロック図である。
【図７】第１実施形態による類似性判定装置の動作を示すフローチャートである。
【図８】本発明の第１実施形態の第２の構成例を示すブロック図である。
【図９】本発明による類似性判定装置の第２実施形態の構成例を示すブロック図である。
【図１０】第２実施形態における特徴量生成部３２ａの構成例を示すブロック図である。
【図１１】本発明による類似性判定装置の第３実施形態の構成例を示すブロック図である。
【図１２】本発明による類似性判定装置の第４実施形態の構成例を示すブロック図である。
【図１３】本発明による類似性判定装置の第５実施形態の構成例を示すブロック図である。
【図１４】本発明による類似性判定装置の第６実施形態の構成例を示すブロック図である。
【図１５】本発明による類似性判定装置の第７実施形態の構成例を示すブロック図である。
【図１６】本発明による類似性判定装置の第８実施形態の構成例を示すブロック図である。
【図１７】本発明による類似性判定装置の第９実施形態の構成例を示すブロック図である。
【図１８】本発明による類似性判定装置の第１０実施形態の構成例を示すブロック図である。
【図１９】本発明による類似性判定装置の第１１実施形態の構成例を示すブロック図である。
【図２０】本発明による類似性判定装置の第１２実施形態の構成例を示すブロック図である。
【図２１】本発明をソフトウエアにより実現するための装置構成を示すブロック図である。
【符号の説明】
１ 問合せ信号入力端点
２ 検索対象信号入力端点
３ 類似性判定装置
４ 出力装置
５ 検索対象特徴量記憶部
３１ 検索対象特徴量生成部
３２ 色構成比特徴量生成部
３３ アクティビティ算出部
３４ 類似条件決定部
３５ 類似性判定部
３６ 問合せ特徴量決定部
３７ アクティビティ算出部
３８ 検索対象特徴量決定部
１００ 検索対象信号登録部
Claims (23)
- 第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定装置において、
前記第１の信号および第２の信号の少なくとも一方のアクティビティを算出するアクティビティ算出手段と、
前記アクティビティに基づいて、類似性判定のための判定条件を決定する類似条件決定手段と、
前記判定条件に基づいて、前記第１の信号と第２の信号との類似性を判定する類似性判定手段と、
前記アクティビティに基づいて、抽出すべき特徴量を定義する特徴量条件を決定する特徴量決定手段と、
前記特徴量条件にしたがって、前記第１の信号および第２の信号のうちの対応する信号から特徴量を抽出する特徴量抽出手段と、
を有することを特徴とする類似性判定装置。 - 前記アクティビティ算出手段は、前記第１の信号および第２の信号の一方のアクティビティを算出することを特徴とする請求項１記載の類似性判定装置。
- 前記アクティビティ算出手段は、前記第１の信号の第１アクティビティと第２の信号の第２アクティビティとをそれぞれ算出し、
前記類似条件決定手段は、前記第１アクティビティおよび前記第２アクティビティに基づいて前記判定条件を決定する、
ことを特徴とする請求項１記載の類似性判定装置。 - 前記アクティビティ算出手段は、前記第１の信号のアクティビティを算出し、
前記特徴量決定手段は、前記アクティビティに基づいて、前記第１の信号から抽出すべき特徴量条件を決定し、
前記特徴量抽出手段は、前記特徴量条件にしたがって、前記第１の信号から特徴量を抽出し、
前記類似性判定手段は、前記判定条件に基づいて、前記特徴量抽出手段により得られる第１の信号の特徴量と前記第２の信号の特徴量との類似性を判定する、
ことを特徴とする請求項１記載の類似性判定装置。 - 前記アクティビティ算出手段は、前記第１の信号の第１アクティビティと第２の信号の第２アクティビティとをそれぞれ算出し、
前記特徴量決定手段は、前記第１アクティビティに基づいて、前記第１の信号から抽出すべき特徴量条件を決定し、
前記特徴量抽出手段は、前記特徴量条件にしたがって、前記第１の信号から特徴量を抽出し、
前記類似条件決定手段は、前記第２アクティビティに基づいて前記判定条件を決定し、
前記類似性判定手段は、前記判定条件に基づいて、前記特徴量抽出手段により得られる第１の信号の特徴量と前記第２の信号の特徴量との類似性を判定する、
ことを特徴とする請求項１記載の類似性判定装置。 - 前記アクティビティ算出手段は、前記第１の信号の第１アクティビティと第２の信号の第２アクティビティとをそれぞれ算出し、
前記特徴量決定手段は、前記第１アクティビティに基づいて、前記第１の信号から抽出すべき特徴量条件を決定し、
前記特徴量抽出手段は、前記特徴量条件にしたがって、前記第１の信号から特徴量を抽出し、
前記類似条件決定手段は、前記第１アクティビティおよび第２アクティビティに基づいて前記判定条件を決定し、
前記類似性判定手段は、前記判定条件に基づいて、前記特徴量抽出手段により得られる第１の信号の特徴量と前記第２の信号の特徴量との類似性を判定する、
ことを特徴とする請求項１記載の類似性判定装置。 - 前記アクティビティ算出手段は、前記第１の信号の第１アクティビティと第２の信号の第２アクティビティとをそれぞれ算出し、
前記特徴量決定手段は、前記第１アクティビティおよび前記第２アクティビティに基づいて、前記第１の信号および前記第２の信号から抽出すべき第１特徴量条件および第２特徴量条件をそれぞれ決定し、
前記特徴量抽出手段は、前記第１特徴量条件および前記第２特徴量条件にしたがって、前記第１の信号および前記第２の信号から第１特徴量および第２特徴量をそれぞれ抽出し、
前記類似条件決定手段は、前記第１アクティビティに基づいて前記判定条件を決定し、
前記類似性判定手段は、前記判定条件に基づいて、前記特徴量抽出手段によりそれぞれ得られる第１特徴量と前記第２特徴量との類似性を判定する、
ことを特徴とする請求項１記載の類似性判定装置。 - 前記アクティビティ算出手段は、前記第１の信号の第１アクティビティと第２の信号の第２アクティビティとをそれぞれ算出し、
前記特徴量決定手段は、前記第１アクティビティおよび前記第２アクティビティに基づいて、前記第１の信号および前記第２の信号から抽出すべき第１特徴量条件および第２特徴量条件をそれぞれ決定し、
前記特徴量抽出手段は、前記第１特徴量条件および前記第２特徴量条件にしたがって、前記第１の信号および前記第２の信号から第１特徴量および第２特徴量をそれぞれ抽出し、
前記類似条件決定手段は、前記第１アクティビティおよび前記第２アクティビティに基づいて前記判定条件を決定し、
前記類似性判定手段は、前記判定条件に基づいて、前記特徴量抽出手段によりそれぞれ得られる第１特徴量と前記第２特徴量との類似性を判定する、
ことを特徴とする請求項１記載の類似性判定装置。 - 前記類似性判定手段は、
前記第１の信号の特徴量と前記第２の信号の特徴量との間の類似度を算出する特徴量間類似度算出手段と、
前記類似度が前記判定条件を満たすか否かを判定する検出判定手段と、
を備えることを特徴とする請求項１ないし請求項８のいずれかに記載の類似性判定装置。 - 第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定装置において、
前記第１の信号および第２の信号の少なくとも一方のアクティビティを算出するアクティビティ算出手段と、
前記アクティビティに基づいて、抽出すべき特徴量を定義する特徴量条件を決定する特徴量決定手段と、
前記特徴量条件にしたがって、前記第１の信号および第２の信号のうちの対応する信号から特徴量を抽出する特徴量抽出手段と、
前記第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定手段と、
を有することを特徴とする類似性判定装置。 - 前記アクティビティ算出手段は、前記第１の信号のアクティビティを算出し、
前記特徴量決定手段は、前記アクティビティに基づいて、抽出すべき特徴量を定義する特徴量条件を決定し、
前記特徴量抽出手段は、前記特徴量条件にしたがって、前記第１の信号から特徴量を抽出し、
前記類似性判定手段は、前記第１の信号の前記特徴量および前記第２の信号の特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する、
ことを特徴とする請求項１０記載の類似性判定装置。 - 前記アクティビティ算出手段は、前記第１の信号および前記第２の信号から第１アクティビティおよび第２アクティビティをそれぞれ算出し、
前記特徴量決定手段は、前記アクティビティおよび第２アクティビティに基づいて、第１の信号から抽出すべき特徴量を定義する第１特徴量条件および第２の信号から抽出すべき特徴量を定義する第２特徴量条件をそれぞれ決定し、
前記特徴量抽出手段は、前記第１特徴量条件および第２特徴量条件にしたがって、前記第１の信号および前記第２の信号から第１特徴量および第２特徴量をそれぞれ抽出し、
前記類似性判定手段は、前記第１特徴量および前記第２特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する、
ことを特徴とする請求項１０記載の類似性判定装置。 - 前記アクティビティ算出手段は、
入力される信号から特徴量を抽出するアクティビティ用特徴量抽出手段と、
前記アクティビティ用特徴量抽出手段により得られる特徴量に基づいてアクティビティの算出を行うアクティビティ計算手段と、
を有することを特徴とする請求項１ないし請求項１２のいずれかに記載の類似性判定装置。 - 前記第１の信号および前記第２の信号は映像信号であることを特徴とする請求項１ないし請求項１２のいずれかに記載の類似性判定装置。
- 前記アクティビティは、カット検出によって前記映像信号から得られたカットの数であることを特徴とする請求項１４記載の類似性判定装置。
- 前記アクティビティは、前記映像信号の動きアクティビティであることを特徴とする請求項１４記載の類似性判定装置。
- 前記第１の信号および前記第２の信号は音響信号であることを特徴とする請求項１ないし請求項１２のいずれかに記載の類似性判定装置。
- 前記アクティビティは、無音区間の検出によって前記音響信号から得られた無音区間の分散であることを特徴とする請求項１７記載の類似性判定装置。
- 第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定方法において、
前記第１の信号および第２の信号の少なくとも一方のアクティビティを算出し、
前記アクティビティに基づいて、類似性判定のための判定条件を決定し、
前記アクティビティに基づいて、抽出すべき特徴量を定義する特徴量条件を決定し、
前記特徴量条件にしたがって、前記第１の信号および第２の信号のうちの対応する信号から特徴量を抽出し、
前記判定条件および前記第１の信号および第２の信号それぞれの特徴量に基づいて、前記第１の信号と第２の信号との類似性を判定する、
ことを特徴とする類似性判定方法。 - 第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定方法において、
前記第１の信号および第２の信号の少なくとも一方のアクティビティを算出し、
前記アクティビティに基づいて、抽出すべき特徴量を定義する特徴量条件を決定し、
前記特徴量条件にしたがって、前記第１の信号および第２の信号のうちの対応する信号から特徴量を抽出し、
前記第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する、
ことを特徴とする類似性判定方法。 - コンピュータを、第１の信号および第２の信号それぞれの信号特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定装置として機能させるためのコンピュータプログラムであって、
前記第１の信号および第２の信号の少なくとも一方のアクティビティを算出し、
前記アクティビティに基づいて、類似性判定のための判定条件を決定し、
前記アクティビティに基づいて、抽出すべき特徴量を定義する特徴量条件を決定し、
前記特徴量条件にしたがって、前記第１の信号および第２の信号のうちの対応する信号から特徴量を抽出し、
前記判定条件および前記第１の信号および第２の信号それぞれの特徴量に基づいて、前記第１の信号と第２の信号との類似性を判定する、
ステップを有することを特徴とするコンピュータプログラム。 - コンピュータを、第１の信号および第２の信号それぞれの信号特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定装置として機能させるためのコンピュータプログラムであって、
前記第１の信号および第２の信号の少なくとも一方のアクティビティを算出し、
前記アクティビティに基づいて、抽出すべき特徴量を定義する特徴量条件を決定し、
前記特徴量条件にしたがって、前記第１の信号および第２の信号のうちの対応する信号から特徴量を抽出し、
前記第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する、
ステップを有することを特徴とするコンピュータプログラム。 - コンピュータを、第１の信号および第２の信号それぞれの信号特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する類似性判定装置として機能させるためのコンピュータプログラムであって、
前記第１の信号および第２の信号の少なくとも一方のアクティビティを算出し、
前記アクティビティに基づいて、抽出すべき特徴量を定義する特徴量条件を決定し、
前記特徴量条件にしたがって、前記第１の信号および第２の信号のうちの対応する信号から特徴量を抽出し、
前記第１の信号および第２の信号それぞれの特徴量に基づいて前記第１の信号と第２の信号との類似性を判定する、
ステップを有することを特徴とするコンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001400481A JP3951707B2 (ja) | 2001-12-28 | 2001-12-28 | 類似性判定方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001400481A JP3951707B2 (ja) | 2001-12-28 | 2001-12-28 | 類似性判定方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003196658A JP2003196658A (ja) | 2003-07-11 |
| JP3951707B2 true JP3951707B2 (ja) | 2007-08-01 |
Family
ID=27605032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001400481A Expired - Lifetime JP3951707B2 (ja) | 2001-12-28 | 2001-12-28 | 類似性判定方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3951707B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009146245A (ja) * | 2007-12-17 | 2009-07-02 | Nec Corp | 画像照合方法及び画像照合装置並びに画像照合プログラム |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4710350B2 (ja) * | 2005-02-23 | 2011-06-29 | ソニー株式会社 | Ｃｍ付加情報供給方法、ｃｍ付加情報供給装置、ｃｍ付加情報受給装置及びｃｍ付加情報供給システム |
| US8312489B2 (en) | 2005-02-23 | 2012-11-13 | Sony Corporation | CM searching method and apparatus, and CM-appendant information supplying method and apparatus |
| EP2337345B1 (en) | 2009-01-23 | 2014-01-08 | Nec Corporation | Video identifier extracting device |
| JP6207405B2 (ja) * | 2014-01-10 | 2017-10-04 | 三菱電機株式会社 | データ処理装置 |
-
2001
- 2001-12-28 JP JP2001400481A patent/JP3951707B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009146245A (ja) * | 2007-12-17 | 2009-07-02 | Nec Corp | 画像照合方法及び画像照合装置並びに画像照合プログラム |
| JP4518141B2 (ja) * | 2007-12-17 | 2010-08-04 | 日本電気株式会社 | 画像照合方法及び画像照合装置並びに画像照合プログラム |
| US8401310B2 (en) | 2007-12-17 | 2013-03-19 | Nec Corporation | Image comparing method, apparatus and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003196658A (ja) | 2003-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5390506B2 (ja) | ビデオ検出システムおよびビデオ検出方法 | |
| WO2017219900A1 (zh) | 一种视频检测方法，服务器及存储介质 | |
| Wang et al. | Survey of compressed-domain features used in audio-visual indexing and analysis | |
| EP2321964B1 (en) | Method and apparatus for detecting near-duplicate videos using perceptual video signatures | |
| EP1081960B1 (en) | Signal processing method and video/voice processing device | |
| JP5005154B2 (ja) | 記憶媒体上に記憶された情報信号を再生する装置 | |
| KR101599875B1 (ko) | 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치 | |
| KR100737176B1 (ko) | 신호 처리 방법 및 영상 음성 처리 장치 | |
| US6195458B1 (en) | Method for content-based temporal segmentation of video | |
| JP4907938B2 (ja) | 少なくとも１つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び／又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
| KR100889936B1 (ko) | 디지털 비디오 특징점 비교 방법 및 이를 이용한 디지털비디오 관리 시스템 | |
| JP5097280B2 (ja) | 画像及び画像群を表現、比較及び検索する方法及び装置、プログラム、コンピュータ読み取り可能な記憶媒体 | |
| US20090022472A1 (en) | Method and Apparatus for Video Digest Generation | |
| US20060114992A1 (en) | AV signal processing apparatus for detecting a boundary between scenes, method, recording medium and computer program therefor | |
| JP3997749B2 (ja) | 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 | |
| JP2010246161A (ja) | ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置及び方法 | |
| JP2000516435A (ja) | 可視索引付けシステムのための重要情景検出及びフレームフィルタリング | |
| JP2003141540A (ja) | 類似性判定装置及び類似性判定方法並びにプログラム | |
| JP2000516434A (ja) | 可視索引付けシステム | |
| JP2006135938A (ja) | 画像及び画像群を表現する方法、画像又は画像群の表現、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び／又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
| JP3951707B2 (ja) | 類似性判定方法および装置 | |
| Thounaojam et al. | Shot boundary detection using perceptual and semantic information | |
| Chatzigiorgaki et al. | Real-time keyframe extraction towards video content identification | |
| Fernando et al. | Fade-in and fade-out detection in video sequences using histograms | |
| WO2010084738A1 (ja) | 照合加重情報抽出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040426 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070416 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3951707 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140511 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |