JP4762871B2

JP4762871B2 - 信号箇所・変動パラメータ検出方法、信号箇所・変動パラメータ検出装置ならびにそのプログラムと記録媒体

Info

Publication number: JP4762871B2
Application number: JP2006329444A
Authority: JP
Inventors: 隆行黒住; 昭悟木村; 秀尚永野; 邦夫柏野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2006-12-06
Filing date: 2006-12-06
Publication date: 2011-08-31
Anticipated expiration: 2026-12-06
Also published as: JP2008145505A

Description

本発明は、音響信号検出や映像信号検出、例えば、ＦＭ放送の音響信号やテレビの映像信号に含まれるＣＭや番組、楽曲の信号の断片をキーとして、膨大な音や映像のデータベースの中から同一の信号を高速に検出し、信号の箇所と変動パラメータを取得し、コンテンツの利用状況の確認を行う処理のように、蓄積信号の中から目的信号と類似した信号箇所と変動パラメータを探し出す信号箇所・変動パラメータ検出方法、信号箇所・変動パラメータ検出装置ならびにそのプログラムと記録媒体に関する。

従来、信号箇所及び変動パラメータ検出方法に関しては、特許文献１の「高速信号検出法、装置およびその記録媒体」のように、ヒストグラムの類似度から照合の必要のない区間をスキップしながら高速に照合を行う信号検出方法が知られている。
また特許文献２の「信号検出方法及び装置、プログラムならびに記録媒体」のように、信号を部分空間に射影してから信号検出を行う方法が知られている。
また特許文献３の「音響信号検出システム，音響信号検出サーバ，映像信号探索装置，映像信号探索方法，映像信号探索プログラムと記録媒体，信号探索装置，信号探索方法，及び，信号探索プログラムと記録媒体」のように、信号の特徴的な箇所のみを照合して信号検出を行う方法が知られている。
特許第３０６５３１４号公報特許第３７４６６９０号公報国際公開番号第２００６／００６５２８号パンフレット

しかしながら特許文献１の技術では、ヒストグラムを作成するためにクラスタリングに基づいてベクトル量子化を行なうため、量子化範囲に収まらないほどの変動のあった信号を照合するには向いていないという欠点があった
また特許文献２の技術では、定常的な加法性雑音や乗法性ひずみを吸収することができるが，突発的な雑音，信号の伸縮，ピッチ変動には対応できないという欠点があった。
また特許文献３の技術では、突発的な雑音に強いが、信号の伸縮やピッチ変動には対応できないという欠点があった。

そこでこの発明は、蓄積信号の中から目的信号と類似した信号箇所と変動パラメータを探し出すにあたり、量子化範囲に収まらないほどの変動のあった目的信号の蓄積信号からの照合に適しており、また目的信号に突発的な雑音、信号の伸縮、ピッチ変動があったとしても蓄積信号からの照合ができる信号箇所・変動パラメータ検出方法、信号箇所・変動パラメータ検出装置ならびにそのプログラムと記録媒体を提供することを目的としている。

上記目的を達成するために、本発明は、蓄積信号の中から、目的信号と類似した信号箇所と変動パラメータを探索する信号箇所・変動パラメータ検出装置の信号箇所・変動パラメータ検出方法であって、蓄積信号から抽出された、ベクトルからなる蓄積基本特徴と、当該蓄積基本特徴の中から一つまたは複数の特徴を選び出し該基本特徴同士の関係から計算された蓄積縮退特徴と、を記憶し、目的信号からベクトルからなる目的基本特徴を抽出する目的基本特徴抽出過程と、前記目的基本特徴の中から一つまたは複数の特徴を選び出し該基本特徴同士の関係から縮退特徴を計算することで目的縮退特徴を抽出する目的縮退特徴抽出過程と、前記目的縮退特徴と同一または類似の前記蓄積縮退特徴に対応する基本特徴同士の入力を受け付けて、当該基本特徴同士の関係から目的基本特徴と蓄積基本特徴との間の変動パラメータを計算する変動パラメータ抽出過程と、前記変動パラメータ抽出過程により導かれた前記変動パラメータを用いて、前記目的基本特徴から前記蓄積基本特徴に対応する目的生成特徴を生成する、または、前記蓄積基本特徴から前記目的基本特徴に対応する蓄積生成特徴を生成する生成特徴生成過程と、前記生成特徴生成過程により生成された前記目的生成特徴と前記蓄積基本特徴との類似度、または、前記目的基本特徴と前記蓄積生成特徴との類似度を計算する類似度計算過程と、を有し、目的信号と類似する蓄積信号の当該箇所と変動パラメータを計算することを特徴とする信号箇所・変動パラメータ検出方法である。

また本発明は上述の信号箇所・変動パラメータ検出方法の、前記蓄積基本特徴抽出過程及び前記目的基本特徴抽出過程において、前記目的基本特徴及び前記蓄積基本特徴に、時系列信号の時刻または周波数またはパワーのうち少なくともいずれか一つを用いることを特徴とする。

また本発明は上述の信号箇所・変動パラメータ検出方法において、前記目的縮退特徴及び前記蓄積縮退特徴に、基本特徴間の時刻の比または基本特徴間の周波数の比またはパワーのうち少なくともいずれか一つを用いることを特徴とする。

また本発明は上述の信号箇所・変動パラメータ検出方法の前記蓄積基本特徴抽出過程及び前記目的基本特徴抽出過程において、前記目的基本特徴及び前記蓄積基本特徴に、画像の座標または画素値のうち少なくともいずれか一つを用いることを特徴とする。

また本発明は上述の信号箇所・変動パラメータ検出方法において、前記目的縮退特徴及び前記蓄積縮退特徴に、画像の基本特徴間の距離の比または角度の比または画素値のうち少なくともいずれか一つを用いることを特徴とする。

また本発明は上述の信号箇所・変動パラメータ検出方法の前記蓄積基本特徴抽出過程及び前記目的基本特徴抽出過程において、前記目的基本特徴及び前記蓄積基本特徴に、動画像の座標または時刻または画素値のうちいずれか一つを用いることを特徴とする。

また本発明は上述の信号箇所・変動パラメータ検出方法の前記目的縮退特徴及び前記蓄積縮退特徴に、動画像の基本特徴間の距離の比または角度の比または時刻の比または画素値のうち少なくともいずれか一つを用いることを特徴とする。

また本発明は上述の信号箇所・変動パラメータ検出方法の前記蓄積基本特徴抽出過程及び前記目的基本特徴抽出過程において、前記目的基本特徴及び前記蓄積基本特徴の特徴として、周辺に比べて統計量が最大または上位の箇所のみを利用することを特徴とする。

また本発明は上述の信号箇所・変動パラメータ検出方法の前記蓄積縮退特徴抽出過程において、前記蓄積縮退特徴をハッシュキーとしてハッシュ表に蓄積することを特徴とする。

また本発明は上述の信号箇所・変動パラメータ検出方法の前記類似度計算過程において、前記目的縮退特徴と同一の前記蓄積縮退特徴の該当する蓄積基本特徴の箇所を示す値の配列が蓄積されており、前記値を元に前記蓄積縮退特徴を探索する。

また本発明は上述の信号箇所・変動パラメータ検出方法の前記変動パラメータ抽出過程及び前記生成特徴生成過程及び前記類似度計算過程において、前記幾何学的変動パラメータを前記目的生成特徴と前記蓄積基本特徴または前記目的基本特徴と前記蓄積生成特徴の一致または類似があるたびに該当箇所の関係から変動パラメータを再計算することを特徴とする。

また本発明は、蓄積信号の中から、目的信号と類似した信号箇所と変動パラメータを探索する信号箇所・変動パラメータ検出装置であって、蓄積信号から抽出された、ベクトルからなる蓄積基本特徴と、当該蓄積基本特徴の中から一つまたは複数の特徴を選び出し該基本特徴同士の関係から計算された蓄積縮退特徴と、を記憶する蓄積信号記憶手段と、目的信号からベクトルからなる目的基本特徴を抽出する目的基本特徴抽出手段と、前記目的基本特徴の中から一つまたは複数の特徴を選び出し該基本特徴同士の関係から縮退特徴を計算することで目的縮退特徴を抽出する目的縮退特徴抽出手段と、前記目的縮退特徴と同一または類似の前記蓄積縮退特徴に対応する基本特徴同士の入力を受け付けて、当該基本特徴同士の関係から目的基本特徴と蓄積基本特徴との間の変動パラメータを計算する変動パラメータ抽出手段と、前記変動パラメータ抽出手段により導かれた前記変動パラメータを用いて、前記目的基本特徴から前記蓄積基本特徴に対応する目的生成特徴を生成する、または、前記蓄積基本特徴から前記目的基本特徴に対応する蓄積生成特徴を生成する生成特徴生成手段と、前記生成特徴生成手段により生成された前記目的生成特徴と前記蓄積基本特徴との類似度、または、前記目的基本特徴と前記蓄積生成特徴との類似度を計算する類似度計算手段と、を有し、目的信号と類似する蓄積信号の当該箇所と変動パラメータを計算することを特徴とする信号箇所・変動パラメータ検出装置である。

また本発明は、蓄積信号から抽出された、ベクトルからなる蓄積基本特徴と、当該蓄積基本特徴の中から一つまたは複数の特徴を選び出し該基本特徴同士の関係から計算された蓄積縮退特徴と、を記憶する蓄積信号記憶手段とを備え、蓄積信号の中から、目的信号と類似した信号箇所と変動パラメータを探索する信号箇所・変動パラメータ検出装置のコンピュータに実行させるプログラムであって、目的信号からベクトルからなる目的基本特徴を抽出する目的基本特徴抽出処理と、前記目的基本特徴の中から一つまたは複数の特徴を選び出し該基本特徴同士の関係から縮退特徴を計算することで目的縮退特徴を抽出する目的縮退特徴抽出処理と、前記目的縮退特徴と同一または類似の前記蓄積縮退特徴に対応する基本特徴同士の入力を受け付けて、当該基本特徴同士の関係から目的基本特徴と蓄積基本特徴との間の変動パラメータを計算する変動パラメータ抽出処理と、前記変動パラメータ抽出処理により導かれた前記変動パラメータを用いて、前記目的基本特徴から前記蓄積基本特徴に対応する目的生成特徴を生成する、または、前記蓄積基本特徴から前記目的基本特徴に対応する蓄積生成特徴を生成する生成特徴生成処理と、前記生成特徴生成処理により生成された前記目的生成特徴と前記蓄積基本特徴との類似度、または、前記目的基本特徴と前記蓄積生成特徴との類似度を計算する類似度計算処理と、を行い、目的信号と類似する蓄積信号の当該箇所と変動パラメータを計算することを特徴とするプログラムである。

また本発明は、上述のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、目的信号と蓄積信号の幾何学的変動を考慮することにより、高精度に目的信号と類似した箇所の検出を可能にすることによって、公知の方法と比較してより頑健に信号の検出を行うことができる。

以下、本発明の一実施形態による信号箇所・変動パラメータ検出装置を図面を参照して説明する。図１は同実施形態による信号箇所・変動パラメータ検出装置の機能構成を示す第１の図である。この図において、符号１は信号箇所・変動パラメータ検出装置である。そして、信号箇所・変動パラメータ検出装置１は、少なくとも、目的基本特徴抽出部１１と、目的縮退特徴抽出部１２と、変動パラメータ抽出部１３と、生成特徴生成部１４と、類似度計算部１５とを備えており、目的信号すなわち探索したい信号と、蓄積信号すなわち探索される信号の入力を受け付けて、目的信号との類似した信号の箇所を蓄積信号中から検出して出力する処理を行う。

図２は信号箇所・変動パラメータ検出装置の機能構成を示す第２の図である。
この図が示すように信号箇所・変動パラメータ検出装置は蓄積基本特徴抽出部１６と、蓄積縮退特徴抽出部１７と、蓄積信号データベース１８とを備えているようにしても良い。そして、蓄積基本特徴抽出部１６は、蓄積信号からベクトルからなる蓄積基本特徴を抽出する。また蓄積縮退特徴抽出部１７は、前記蓄積基本特徴の中から一つまたは複数の特徴を選び出し該基本特徴同士の関係から縮退特徴を計算することで蓄積縮退特徴を抽出する。そして蓄積基本特徴のデータや蓄積縮退特徴のデータが蓄積信号データベース１８へ蓄積される。この蓄積信号データベース１８へ蓄積された信号は、その後、変動パラメータ抽出部１３に読み込まれることとなる。なお、信号箇所・変動パラメータ検出装置が蓄積信号データベース１８を備えていない場合には、蓄積縮退特徴抽出部１７は、後述する処理の中で、生成した蓄積縮退特徴の情報を直接変動パラメータ抽出部１３に転送するようにしてもよい。

また目的基本特徴抽出部１１は、目的信号からベクトルからなる目的基本特徴を抽出する。また目的縮退特徴抽出手段１２は、目的基本特徴の中から一つまたは複数の特徴を選び出し該基本特徴同士の関係から縮退特徴を計算することで目的縮退特徴を抽出する。また、変動パラメータ抽出部１３は、目的縮退特徴と同一または類似の蓄積縮退特徴に対応する基本特徴同士の関係から目的基本特徴と蓄積基本特徴との間の変動パラメータを計算する。また生成特徴生成部１４は、変動パラメータ抽出部１３により導かれた変動パラメータを用いて、目的基本特徴から蓄積基本特徴に対応する目的生成特徴を生成する。または、生成特徴生成部１４は、蓄積基本特徴から目的基本特徴に対応する蓄積生成特徴を生成する。そして、類似度計算部１５は、生成特徴生成部１４により生成された目的生成特徴と蓄積基本特徴との類似度、または、目的基本特徴と蓄積生成特徴との類似度を計算する。

図３は信号箇所・変動パラメータ検出装置の処理フローを示す図である。
次に、図３を用いて信号箇所・変動パラメータ検出装置の処理フローを順を追って説明する。なお、本実施例では、目的信号が音響信号であるものとする。
まず、信号箇所・変動パラメータ検出装置の蓄積基本特徴抽出部１６は、蓄積信号を読み込み（ステップＳ１）、当該蓄積信号から蓄積基本特徴を抽出する（ステップＳ２）。ここでは，周波数ＦＨｚで標本化した音響信号のＰポイントをフーリエ変換し、Ｆ’_ｍｉｎ〜Ｆ’_ｍａｘＨｚのＰ’個に分割し各帯域でのパワーからなるＰ’次元の特徴ベクトルを抽出する。また、前記特徴ベクトルをＳ秒毎に抽出する。本実施形態においては、フーリエ変換をＦＦＴ（高速フーリエ変換）により求め、Ｆを８０００、Ｐを８１９２、Ｆ’_ｍｉｎを０、Ｆ’_ｍａｘを４０００、Ｐ’を４０９６、Ｓを０．１とした。

なお本実施形態とは別に、目的基本特徴として、静止画または動画像の縮小画像を用いることもできる。例えば、静止画から部分画像を探したい場合やテレビの放送信号から１５秒程度の動画像を探索したい場合、特徴抽出の設定を次のようにすることができる．例えば、画像を横にＸ分割、縦にＹ等分割し、合計Ｘ×Ｙ個の領域を設け、各領域内でＲＧＢそれぞれについて画素値を平均する。すなわち、各領域のＲＧＢそれぞれの平均画素値からなる３×Ｘ×Ｙ個の値を特徴ベクトルとして抽出する。動画像であれば、この特徴ベクトルが１フレームに対応する特徴ベクトルとなり、この特徴ベクトルをフレーム毎に抽出した時系列特徴ベクトルを利用することもできる。または目的基本特徴として、静止画または動画像の座標を用いるようにしてもよい。

次に蓄積基本特徴抽出部１６は、抽出された特徴ベクトルの要素毎についての、ある一定時間の平均値と標準偏差を求める。例えば、特徴ベクトルの前後１秒間の特徴ベクトルに対して、要素毎独立に平均値と標準偏差を求める。次に蓄積基本特徴抽出部１６は、該特徴ベクトルから該平均値を差し引き、該標準偏差で割って正規化する。すなわち、

で得られる値を局所正規化値とする。ただし、ｘ（ｉ，ｋ）は、時刻ｉ、周波数ｋのパワーを表す。また、

は、それぞれ、平均値と標準偏差を表し、Ｍは平均と標準偏差を求めるための時間区間の長さ、［］で囲まれた数値は切り下げを表している。

次に、特徴変動の影響を受けにくい箇所を統計量に基づいて選択する。特徴的な箇所をある時間区間の時間平均に対して大きく変動している箇所と仮定し、

で得られる値の大きい（または最大の）箇所を選択する。

図４は特徴変動の影響を受けにくい箇所を選択する際の処理概要を示す図である。
図４に示すように、特徴変動の影響を受けにくい箇所の選択の方法は、注目箇所（ｉ，ｋ）に対してｉ−ｏからｉ＋ｐの時刻の範囲、ｋ−ｕからｋ＋ｖの周波数の範囲に含まれる全ての時系列に並んだ特徴ベクトルの要素の中から式（４）の値が大きいもの上位Ｎ個を選択し、ｚ（ｉ，ｋ）が選択された中に属しているかどうかを判定し、属していればその要素を採用する。ただし、時刻の選択範囲を決めるための正の整数ｏ，ｐ，ｕ，ｖおよび、選択個数Ｎは予め決められており、記録している。

続いて蓄積基本特徴抽出部１６は、選択された要素の値を量子化する。量子化は、局所正規化値ｙ（ｉ，ｋ）に基づいて行う。量子化の方法は非線形量子化やベクトク量子化などが考えられるが、ここでは、単純に線形スカラー量子化を行う。上記式（１）により得られる局所正規化値を次式によって等間隔にＱレベルに量子化して得られる値

を基本特徴とする。ただしγは、線形に量子化する範囲を決めるための値であり、また［］で囲まれた数値は切り下げを表している。

次に蓄積縮退特徴抽出部１７は、縮退特徴を上記の基本特徴を複数利用して導く。例えば、第一の基本特徴ｙ’（ｔ_１，ｆ_１）と第二の基本特徴ｙ’（ｔ_２，ｆ_２）から縮退特徴を計算する場合、

で計算される周波数の比を縮退特徴として利用する。ただしｔ_１≦ｔ_２とし、この縮退特徴の対応する基本特徴の箇所も対応付けて蓄積信号データベース１８に蓄積しておく。また、縮退特徴に利用する基本特徴は、抽出された全ての基本特徴を第一の基本特徴とし、その第一の基本特徴に対して、時間周波数領域のある領域内に存在する全ての基本特徴、もしくは式（４）の値の大きい基本特徴において上位Ｎ’個選び出された基本特徴を第二の基本特徴として利用する。

図５は第二の基本特徴の選択処理の概要を示す図である。
この図で示すように、第二の基本特徴の選択のための領域は必ずしも一つの領域である必要はなく複数設けることができる。特に、第一の基本特徴の周波数を避けて第二の基本特徴を選ぶと、第一の基本特徴の残響音を避けることができ、冗長性を無くすことができるという効果がある。

そして本実施形態における蓄積縮退特徴は、式（６）をさらに量子化した値に、第一の基本特徴の量子化値と、第二の基本特徴の量子化値を組み合わせた値を用いる。具体的には、縮退特徴として、

という整数値を要素に持つベクトルである。これにより、蓄積縮退特徴抽出部１７は蓄積縮退特徴を抽出する（ステップＳ３）。ただし、Ｒは量子化レベルを決めるための値である。本実施形態による処理とは別に、縮退特徴として、時刻の比を利用することもできる。この場合、第三の特徴も利用することとなり、

となる。また、周波数の比、時刻の比、量子化値を組み合わせると、分解能の高い縮退特徴を導き出すことができる。ただし、分解能の高い縮退特徴を利用すると誤認識は減るが、認識洩れが増える傾向があるため、縮退特徴のために組み合わせる値の選択には注意が必要である。

また、静止画の場合も、蓄積基本特徴、蓄積縮退特徴を抽出することができる。例えば、

のように画像平面に関して局所正規化値をとる。選択のための統計量は、

とし、音の場合と同様に周辺に比べて統計量の大きい（または最大の）箇所を選択する。そして、選択された箇所について局所正規化値を量子化しそれを基本特徴とする。縮退特徴としては、例えば、３つの基本特徴から計算される距離の比を用いる。

また、角度を利用した特徴を利用することもでき、例えば、

を用いる。動画の場合は、基本特徴として、画像平面と時刻についての局所正規化値から計算される量子化値を用い、縮退特徴として、距離の比、角度の比、時刻の比、量子化値の組み合わせを利用することができる。以上の処理は、探索に先だって事前に行っておく処理である。そして、蓄積基本特徴抽出部１６と蓄積縮退特徴抽出部１７によって導かれた情報（蓄積基本特徴や蓄積縮退特徴）は、蓄積信号データベース１８に記録される。なお信号箇所・変動パラメータ検出装置１が蓄積基本特徴抽出部１６と蓄積縮退特徴抽出部１７の機能を備えない場合には、それら機能による上記処理で導かれた情報が、予め蓄積信号データベース１８に格納されているようにしても良い。また蓄積基本特徴抽出部１６と蓄積縮退特徴抽出部１７の機能を備えている場合に、蓄積縮退特徴抽出部１７の算出結果がそのまま変動パラメータ抽出部１３へ出力されるようにしてもよい。

なお、上述の蓄積基本特徴抽出の過程において、蓄積基本特徴に、時系列信号の時刻または周波数またはパワーのうち少なくともいずれか一つを用いればよい。このとき、蓄積縮退特徴に、基本特徴間の時刻の比または基本特徴間の周波数の比またはパワーのうち少なくともいずれか一つを用いればよい。

また、上述の蓄積基本特徴抽出の過程において、蓄積基本特徴に、画像の座標または画素値のうち少なくともいずれか一つを用いればよい。このとき、蓄積縮退特徴に、画像の基本特徴間の距離の比または角度の比または画素値のうち少なくともいずれか一つを用いればよい。

また、上述の蓄積基本特徴抽出の過程において、蓄積基本特徴に、動画像の座標または時刻または画素値のうちいずれか一つを用いればよい。このとき、蓄積縮退特徴に、動画像の基本特徴間の距離の比または角度の比または時刻の比または画素値のうち少なくともいずれか一つを用いればよい。

次に信号箇所・変動パラメータ検出装置においける探索の問い合わせがあった際の処理について説明する。
まず、目的基本特徴抽出部１１では、目的信号を読み込み（ステップＳ４）、蓄積基本特徴抽出部１６と同様の方法で目的信号から目的基本特徴を抽出する（ステップＳ５）。また目的縮退特徴抽出部１２では、蓄積縮退特徴抽出部１７と同様の方法で目的基本特徴から目的縮退特徴を抽出する（ステップＳ６）。

なお、目的基本特徴抽出の過程において、目的基本特徴に、時系列信号の時刻または周波数またはパワーのうち少なくともいずれか一つを用いればよい。このとき、目的縮退特徴に、基本特徴間の時刻の比または基本特徴間の周波数の比またはパワーのうち少なくともいずれか一つを用いればよい。

また目的基本特徴抽出の過程において、目的基本特徴に、画像の座標または画素値のうち少なくともいずれか一つを用いればよい。このとき、目的縮退特徴に、画像の基本特徴間の距離の比または角度の比または画素値のうち少なくともいずれか一つを用いればよい。

また目的基本特徴抽出の過程において、目的基本特徴に、動画像の座標または時刻または画素値のうちいずれか一つを用いればよい。このとき、目的縮退特徴に、動画像の基本特徴間の距離の比または角度の比または時刻の比または画素値のうち少なくともいずれか一つを用いればよい。

そして、変動パラメータ抽出部１３では、変動パラメータを抽出する。
図６は目的縮退特徴と蓄積縮退特徴との関係を示す図である。この変動パラメータの抽出処理においては、まず、目的縮退特徴を算出した式と同一の式（７）によって求められたベクトルを持つ蓄積縮退特徴とそれと、当該蓄積縮退特徴に対応する蓄積基本特徴を、例えば蓄積信号データベース１８から読み取る（図６）。

次に、目的縮退特徴の第一の基本特徴の周波数ｆ_１ｑと、選び出された該目的縮退特徴と同一の蓄積縮退特徴の第一の周波数ｆ_１ｓ、目的縮退特徴の第一の基本特徴と第二の基本特徴の時間差分ｔ_２ｑ−ｔ_１ｑ、蓄積縮退特徴の第一の基本特徴と第二の基本特徴の時間差分をｔ_２ｓ−ｔ_１ｓとすると、蓄積信号に対する目的信号の周波数の比は、

蓄積信号に対する目的信号の時間伸縮の比は，

となる。これら式（１５）と式（１６）が、蓄積信号から目的信号へ変動したと仮定した場合の変動パラメータである。なおここで、同一の蓄積縮退特徴を探索するためにハッシュ探索を用いると効果的である。例えば、式（７）で与えられる縮退特徴のベクトルについて、各要素をインライン展開して得られるスカラー値をハッシュキーとして蓄積しておく。すなわち、式（７）の各要素をＤ_１，Ｄ_２，Ｄ_３レベルで量子化、ベクトルの各要素の値がｄ_１，ｄ_２，ｄ_３であるとすると、ハッシュキーＫは、

となる。ハッシュ値をＶ、ハッシュ関数をＨとすると、

により、ハッシュキーＫからハッシュ値Ｖを得る。ハッシュ関数としては様々なものが考えられるが、本実施形態においては、

を用いた。ただし、ｍｏｄは剰余演算子であり、Ｓはハッシュサイズを表す。

図７は蓄積縮退特徴を探索する際の処理概要を示す図である。
この図のように、ハッシュ値と、縮退特徴とそれに対応する基本特徴を組としたデータを対応付けて、例えばメモリにおけるハッシュ表のバケットに蓄積（つまり目的縮退特徴と同一の蓄積縮退特徴に該当する蓄積基本特徴の箇所を示す値が蓄積されている）しておくと、目的縮退特徴と同一の蓄積縮退特徴を探索するときに高速に探索することができる。つまり上述の処理においては、変動パラメータ抽出部は、まず探索を開始すると、蓄積信号データベース１８に記録されている蓄積信号を読み取る（ステップＳ７）。すると、蓄積縮退特徴が存在するか否かを判定し（ステップＳ８）、また目的縮退特徴と同一の蓄積縮退特徴が存在するか否かを判定し（ステップＳ９）、存在する場合には変動パラメータを抽出する（ステップＳ１０）。

そして、生成特徴生成部１４では、変動パラメータ抽出部１３で得られた変動パラメータに基づいて、蓄積信号を目的信号に合わせて変形する。蓄積縮退特徴の第一の基本特徴の該当箇所をｔ_１ｓ，ｆ_１ｓとし、蓄積縮退特徴の周辺の蓄積基本特徴の箇所ｔ_ｌ，ｆ_ｌを変換し、生成特徴の箇所ｔ’_ｌ，ｆ’_ｌを得る。すなわち、

を計算する。ただしｌは、蓄積信号中で選択された基本特徴の番号を表す。この変換により蓄積基本特徴を目的信号に合わせて変動パラメータを利用して変換し、生成特徴を生成する（ステップＳ１１）。

また次に、類似度計算部１５では類似度を計算する。ここでは式（６）で得られる量子化値の一致度を用いる。すなわち、蓄積基本特徴ｙ（ｔ_ｌ，ｆ_ｌ）を変換することで得られる蓄積生成特徴の量子化値ｙ’（ｔ’_ｌ，ｆ’_ｌ）が目的基本特徴中の時刻ｔ’_ｌ，周期ｆ’_ｌに同一の量子化値で存在するかどうかを判定し、全てのｌにおいて一致する特徴の数をカウントする。そして類似時計算部１５は、得られたカウント数を類似度とし、その値があらかじめ定められた閾値θよりも大きいか否かを判定し（ステップＳ１２）、類似度が閾値θよりも大きい場合、探索結果として出力する（ステップＳ１３）。

なお、ここでは全てのｌについて、同一の変動パラメータを用いて変換したが、縮退特徴の第一の基本特徴との時間周波数空間における周波数が大きくなればなるほど、もしくは、時間的な距離が遠くなればなるほど、計算により求められる生成特徴の周波数と時刻の誤差が大きくなる。そこで、生成特徴生成部１４で得られる生成特徴と目的基本特徴が一致し、さらに、周波数が縮退特徴の第一の基本特徴、または、第二の基本特徴よりも大きかった場合、一致した箇所の基本特徴で周波数比を計算しなおすことで、周波数の計算精度を上げることができる。

同様に、時間比についても、生成特徴生成部１４で得られる生成特徴と目的基本特徴が一致し、さらに，第一の基本特徴と第二の基本特徴との間隔よりも大きい時間間隔で基本特徴と生成特徴が一致した場合、一致した箇所の基本特徴と縮退特徴の第一の基本特徴から時間比を計算しなおすことで、時刻の計算精度を上げることができる。なお、本実施形態においては、目的信号に合わせて蓄積信号を変換したが、蓄積信号に合わせて目的信号を変換することも可能である。

なお、変動パラメータ抽出の過程、生成特徴生成の過程、類似度計算の過程において、幾何学的変動パラメータを目的生成特徴と蓄積基本特徴または目的基本特徴と蓄積生成特徴の一致または類似があるたびに該当箇所の関係から変動パラメータを再計算する。

図８は信号箇所・変動パラメータ検出装置の動作実験例を示す図である。
この実験例においては、４０曲の楽曲の音響信号を蓄積信号とし、それとは別の蓄積信号に含まれる同一の音楽を加工して得られた信号から無作為に選択した１００個の目的信号（１５秒間）に対して探索を行い、本発明の精度を測定した。ここで蓄積信号としては高品質な音響信号を、また目的信号としては蓄積信号と同一のオリジナルの音響信号，当該音響信号をピッチ不変時間変動したもの，当該音響信号を時間不変ピッチ変動したもの，当該音響信号を時間伸縮したものを用いた。図８で示すように、動作実験例の結果は、音響信号を各変動したものに対応できることが確認できる。つまり、本発明によれば、目的信号と蓄積信号の幾何学的変動を考慮することにより、高精度に目的信号と類似した箇所の検出を可能にすることによって、公知の方法と比較して、より頑健に信号の検出を行うことができるという利点がある。

なお上述の信号箇所・変動パラメータ検出装置は内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

信号箇所・変動パラメータ検出装置の機能構成を示す第１の図である。信号箇所・変動パラメータ検出装置の機能構成を示す第２の図である。信号箇所・変動パラメータ検出装置の処理フローを示す図である。特徴変動の影響を受けにくい箇所を選択する際の処理概要を示す図である。第二の基本特徴の選択処理の概要を示す図である。目的縮退特徴と蓄積縮退特徴との関係を示す図である。蓄積縮退特徴を探索する際の処理概要を示す図である。信号箇所・変動パラメータ検出装置の動作実験例を示す図である。

符号の説明

１・・・信号箇所・変動パラメータ検出装置
１１・・・目的基本特徴抽出部
１２・・・目的縮退特徴抽出部
１３・・・変動パラメータ抽出部
１４・・・生成特徴抽出部
１５・・・類似度計算部
１６・・・蓄積基本特徴抽出部
１７・・・蓄積縮退特徴抽出部
１８・・・蓄積信号データベース

Claims

蓄積信号の中から、目的信号と類似した信号箇所と変動パラメータを探索する信号箇所・変動パラメータ検出装置の信号箇所・変動パラメータ検出方法であって、
蓄積信号から抽出された、複数の特徴量からなる蓄積基本特徴と、前記蓄積基本特徴の各特徴量を第一の蓄積基本特徴とし、前記第一の蓄積基本特徴のそれぞれについて、当該第一の蓄積基本特徴と当該第一の蓄積基本特徴とは異なる前記蓄積基本特徴の特徴量である一つ以上の第二の蓄積基本特徴との関係から計算された蓄積縮退特徴と、を記憶し、
目的信号から、複数の特徴量からなる目的基本特徴を抽出する目的基本特徴抽出過程と、
前記目的基本特徴の各特徴量を第一の目的基本特徴とし、前記第一の目的基本特徴のそれぞれについて、当該第一の目的基本特徴と当該第一の目的基本特徴とは異なる前記目的基本特徴の特徴量である一つ以上の第二の目的基本特徴との関係から計算される目的縮退特徴を抽出する目的縮退特徴抽出過程と、
前記目的縮退特徴のそれぞれについて、当該目的縮退特徴の計算に用いられた第一の目的基本特徴と、当該目的縮退特徴と同一または類似の前記蓄積縮退特徴の計算に用いられた第一の蓄積基本特徴と、の関係、もしくは、当該目的縮退特徴の計算に用いられた第一の目的基本特徴及び第二の目的基本特徴と、当該目的縮退特徴と同一または類似の前記蓄積縮退特徴の計算に用いられた第一の蓄積基本特徴及び第二の蓄積基本特徴との関係から目的基本特徴と蓄積基本特徴との間の変動パラメータを計算する変動パラメータ抽出過程と、
前記変動パラメータ抽出過程により導かれた前記変動パラメータを用いて、前記目的基本特徴から前記蓄積基本特徴に対応する目的生成特徴を生成する、または、前記蓄積基本特徴から前記目的基本特徴に対応する蓄積生成特徴を生成する生成特徴生成過程と、
前記生成特徴生成過程により生成された前記目的生成特徴と前記蓄積基本特徴との類似度、または、前記目的基本特徴と前記蓄積生成特徴との類似度を計算する類似度計算過程と、を有し、
目的信号と類似する蓄積信号の当該箇所と変動パラメータを計算する
ことを特徴とする信号箇所・変動パラメータ検出方法。
前記蓄積基本特徴抽出過程及び前記目的基本特徴抽出過程において、前記目的基本特徴及び前記蓄積基本特徴に、時系列信号の時刻または周波数またはパワーのうち少なくともいずれか一つを用いる
ことを特徴とする請求項１に記載の信号箇所・変動パラメータ検出方法。
前記目的縮退特徴及び前記蓄積縮退特徴に、基本特徴間の時刻の比または基本特徴間の周波数の比または基本特徴間のパワーの比のうち少なくともいずれか一つを用いる
ことを特徴とする請求項２に記載の信号箇所・変動パラメータ検出方法。
前記蓄積基本特徴抽出過程及び前記目的基本特徴抽出過程において、前記目的基本特徴及び前記蓄積基本特徴に、画像の座標または画素値のうち少なくともいずれか一つを用いる
ことを特徴とする請求項１に記載の信号箇所・変動パラメータ検出方法。
前記目的縮退特徴及び前記蓄積縮退特徴に、画像の基本特徴間の距離の比または角度の比または画素値の比のうち少なくともいずれか一つを用いる
ことを特徴とする請求項４に記載の信号箇所・変動パラメータ検出方法。
前記蓄積基本特徴抽出過程及び前記目的基本特徴抽出過程において、前記目的基本特徴及び前記蓄積基本特徴に、動画像の座標または時刻または画素値のうちいずれか一つを用いる
ことを特徴とする請求項１に記載の信号箇所・変動パラメータ検出方法。
前記目的縮退特徴及び前記蓄積縮退特徴に、動画像の基本特徴間の距離の比または角度の比または時刻の比または画素値の比のうち少なくともいずれか一つを用いる
ことを特徴とする請求項６に記載の信号箇所・変動パラメータ検出方法。
前記蓄積基本特徴抽出過程及び前記目的基本特徴抽出過程において、前記目的基本特徴及び前記蓄積基本特徴の特徴として、周辺に比べて統計量が最大または上位の箇所のみを利用する
ことを特徴とする請求項１に記載の信号箇所・変動パラメータ検出方法。
前記蓄積縮退特徴抽出過程において、前記蓄積縮退特徴をハッシュキーとしてハッシュ表に蓄積する
ことを特徴とする請求項１に記載の信号箇所・変動パラメータ検出方法。
前記類似度計算過程において、前記目的縮退特徴と同一の前記蓄積縮退特徴の該当する蓄積基本特徴の箇所を示す値の配列が蓄積されており、前記値を元に前記蓄積縮退特徴を探索する
ことを特徴とする請求項１に記載の信号箇所・変動パラメータ検出方法。
前記変動パラメータ抽出過程及び前記生成特徴生成過程及び前記類似度計算過程において、前記変動パラメータを前記目的生成特徴と前記蓄積基本特徴または前記目的基本特徴と前記蓄積生成特徴の一致または類似があるたびに該当箇所の関係から変動パラメータを再計算する
ことを特徴とする請求項１に記載の信号箇所・変動パラメータ検出方法。
蓄積信号の中から、目的信号と類似した信号箇所と変動パラメータを探索する信号箇所・変動パラメータ検出装置であって、
蓄積信号から抽出された、複数の特徴量からなる蓄積基本特徴と、前記蓄積基本特徴の各特徴量を第一の蓄積基本特徴とし、前記第一の蓄積基本特徴のそれぞれについて、当該第一の蓄積基本特徴と当該第一の蓄積基本特徴とは異なる前記蓄積基本特徴の特徴量である一つ以上の第二の蓄積基本特徴との関係から計算された蓄積縮退特徴と、を記憶する蓄積信号記憶手段と、
目的信号から、複数の特徴量ベクトルからなる目的基本特徴を抽出する目的基本特徴抽出手段と、
前記目的基本特徴の各特徴量を第一の目的基本特徴とし、前記第一の目的基本特徴のそれぞれについて、当該第一の目的基本特徴と当該第一の目的基本特徴とは異なる前記目的基本特徴の特徴量である一つ以上の第二の目的基本特徴との関係から計算される目的縮退特徴を抽出する目的縮退特徴抽出手段と、
前記目的縮退特徴のそれぞれについて、当該目的縮退特徴の計算に用いられた第一の目的基本特徴と、当該目的縮退特徴と同一または類似の前記蓄積縮退特徴の計算に用いられた第一の蓄積基本特徴と、の関係、もしくは、当該目的縮退特徴の計算に用いられた第一の目的基本特徴及び第二の目的基本特徴と、当該目的縮退特徴と同一または類似の前記蓄積縮退特徴の計算に用いられた第一の蓄積基本特徴及び第二の蓄積基本特徴との関係から目的基本特徴と蓄積基本特徴との間の変動パラメータを計算する変動パラメータ抽出手段と、
前記変動パラメータ抽出手段により導かれた前記変動パラメータを用いて、前記目的基本特徴から前記蓄積基本特徴に対応する目的生成特徴を生成する、または、前記蓄積基本特徴から前記目的基本特徴に対応する蓄積生成特徴を生成する生成特徴生成手段と、
前記生成特徴生成手段により生成された前記目的生成特徴と前記蓄積基本特徴との類似度、または、前記目的基本特徴と前記蓄積生成特徴との類似度を計算する類似度計算手段と、を有し、
目的信号と類似する蓄積信号の当該箇所と変動パラメータを計算する
ことを特徴とする信号箇所・変動パラメータ検出装置。
蓄積信号から抽出された、複数の特徴量からなる蓄積基本特徴と、前記蓄積基本特徴の各特徴量を第一の蓄積基本特徴とし、前記第一の蓄積基本特徴のそれぞれについて、当該第一の蓄積基本特徴と当該第一の蓄積基本特徴とは異なる前記蓄積基本特徴の特徴量である一つ以上の第二の蓄積基本特徴との関係から計算された蓄積縮退特徴と、を記憶する蓄積信号記憶手段とを備え、
蓄積信号の中から、目的信号と類似した信号箇所と変動パラメータを探索する信号箇所・変動パラメータ検出装置のコンピュータに実行させるプログラムであって、
目的信号から、複数の特徴量からなる目的基本特徴を抽出する目的基本特徴抽出処理と、
前記目的基本特徴の各特徴量を第一の目的基本特徴とし、前記第一の目的基本特徴のそれぞれについて、当該第一の目的基本特徴と当該第一の目的基本特徴とは異なる前記目的基本特徴の特徴量である一つ以上の第二の目的基本特徴との関係から計算される目的縮退特徴を抽出する目的縮退特徴抽出処理と、
前記目的縮退特徴のそれぞれについて、当該目的縮退特徴の計算に用いられた第一の目的基本特徴と、当該目的縮退特徴と同一または類似の前記蓄積縮退特徴の計算に用いられた第一の蓄積基本特徴と、の関係、もしくは、当該目的縮退特徴の計算に用いられた第一の目的基本特徴及び第二の目的基本特徴と、当該目的縮退特徴と同一または類似の前記蓄積縮退特徴の計算に用いられた第一の蓄積基本特徴及び第二の蓄積基本特徴との関係から目的基本特徴と蓄積基本特徴との間の変動パラメータを計算する変動パラメータ抽出処理と、
前記変動パラメータ抽出処理により導かれた前記変動パラメータを用いて、前記目的基本特徴から前記蓄積基本特徴に対応する目的生成特徴を生成する、または、前記蓄積基本特徴から前記目的基本特徴に対応する蓄積生成特徴を生成する生成特徴生成処理と、
前記生成特徴生成処理により生成された前記目的生成特徴と前記蓄積基本特徴との類似度、または、前記目的基本特徴と前記蓄積生成特徴との類似度を計算する類似度計算処理と、を行い、
目的信号と類似する蓄積信号の当該箇所と変動パラメータを計算する
ことを特徴とするプログラム。
請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。