JP5462827B2 - Specific acoustic signal containing section detecting device, method, and program - Google Patents
Specific acoustic signal containing section detecting device, method, and program Download PDFInfo
- Publication number
- JP5462827B2 JP5462827B2 JP2011071122A JP2011071122A JP5462827B2 JP 5462827 B2 JP5462827 B2 JP 5462827B2 JP 2011071122 A JP2011071122 A JP 2011071122A JP 2011071122 A JP2011071122 A JP 2011071122A JP 5462827 B2 JP5462827 B2 JP 5462827B2
- Authority
- JP
- Japan
- Prior art keywords
- spectrogram
- small region
- signal
- reference signal
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、参照信号と呼ぶ音響信号と、より長い蓄積信号と呼ぶ音響信号とが与えられたとき、蓄積信号中の参照信号に類似した音が含まれる区間を探し出す特定音響信号含有区間検出装置、方法、及びプログラムに関する。 The present invention provides a specific acoustic signal-containing section detection device that searches for a section including a sound similar to a reference signal in an accumulated signal when an acoustic signal called a reference signal and an acoustic signal called a longer accumulated signal are given. , Method and program.
特定音響信号含有区間検出は、図８にあるように、参照信号（ある特定の音響信号）と類似する音を含む区間を、蓄積信号（参照信号より長い音響信号）中で検出することである。なお、区間を検出するとは、区間の先頭の時点を検出することとする。 The specific acoustic signal containing section detection is to detect a section including a sound similar to the reference signal (a specific acoustic signal) in the accumulated signal (an acoustic signal longer than the reference signal) as shown in FIG. . Note that detecting a section means detecting the start time of the section.
従来、蓄積信号中の参照信号に類似する区間を検出する高速な手法としては、時系列アクティブ探索法等が知られている（例えば、非特許文献１）。しかし、このような蓄積信号中の参照信号を検出する手法の多くは、蓄積信号中の参照信号と類似する区間が参照信号とほぼ同一であることが前提であり、蓄積信号中で検出したい音楽にナレーション等の他の音が重なった場合などには、該区間の音響信号が参照信号と著しく異なるために、蓄積信号中の参照信号に類似する区間を検出できなかった。 Conventionally, a time-series active search method or the like is known as a high-speed method for detecting a section similar to a reference signal in an accumulated signal (for example, Non-Patent Document 1). However, many of the methods for detecting the reference signal in the accumulated signal are based on the premise that a section similar to the reference signal in the accumulated signal is almost the same as the reference signal, and music to be detected in the accumulated signal. When another sound such as a narration overlaps with the sound signal, the sound signal in the section is significantly different from the reference signal, so that a section similar to the reference signal in the accumulated signal cannot be detected.
また、ＢＧＭとして使われた音楽の検出なども目的とした特定音響信号含有区間検出方法が知られている（特許文献１）。以後、この手法を分割一致探索法と呼ぶ。 Also, a specific acoustic signal containing section detecting method for detecting music used as BGM is also known (Patent Document 1). Hereinafter, this method is referred to as a division match search method.
以下に分割一致探索法の一実施例について説明する。 An embodiment of the division match search method will be described below.
＜分割一致探索法の実施例＞
図９〜図１２に分割一致探索法の実施例の概要を示し、以下に処理手順を述べる。
<Example of division match search method>
9 to 12 show an outline of an embodiment of the division match search method, and the processing procedure will be described below.
まず、図９にあるように、参照信号及び蓄積信号の各音響波形信号からパワースペクトルを抽出し、各々のスペクトログラム（spectrogram）を得る。そして、参照信号のスペクトログラムから一定のサイズの小領域のスペクトログラムを等間隔に切り出す。この小領域のスペクトログラムは、周波数軸方向及び時間軸方向に、各々一定の個数のスペクトログラム上の点を、もとのスペクトログラムから切り出すことで得る。このような小領域のスペクトログラムを小領域スペクトログラム（small-region spectrogram）と呼ぶ。そして、先頭の時点がｔi、周波数帯域がｗmの参照信号中の小領域スペクトログラム（小領域参照信号スペクトログラム）をＦti,wmと書く。また、蓄積信号のスペクトログラム中の、先頭の時点がｔ、周波数帯域がｗmの、Ｆti,wmと同じサイズの小領域スペクトログラム（小領域蓄積信号スペクトログラム）をＧt,wmと書く。また、小領域参照信号スペクトログラムＦti,wmを切り出した参照信号中の全ての時点ｔi の集合をＴR（ＴR＝｛ｔ1, ｔ2, . . .｝）とし、全ての周波数帯ｗmの集合をＷ（Ｗ＝｛ｗ1, ｗ2, . . .｝）とする。なお、各小領域スペクトログラムのパワー値は、各小領域スペクトログラムごとに正規化する。この正規化では、小領域内の各時点においてその時点の各周波数でのパワー値を、小領域内のその時点のパワー値の平均値で正規化する。 First, as shown in FIG. 9, a power spectrum is extracted from each acoustic waveform signal of the reference signal and the accumulated signal, and each spectrogram is obtained. Then, a spectrogram of a small region of a certain size is cut out at regular intervals from the spectrogram of the reference signal. The spectrogram of this small area is obtained by cutting out a certain number of points on the spectrogram from the original spectrogram in the frequency axis direction and the time axis direction. Such a small region spectrogram is called a small-region spectrogram. Then, a small region spectrogram (small region reference signal spectrogram) in the reference signal having the first time point t i and the frequency band w m is written as F ti, wm . Also, a small area spectrogram (small area accumulated signal spectrogram) having the same size as F ti, wm in the spectrogram of the accumulated signal and having the beginning time t and the frequency band w m is written as G t, wm . Also, let T R (T R = {t 1 , t 2 ,...}) Be the set of all time points t i in the reference signal from which the small region reference signal spectrogram F ti, wm is cut out, and all frequency bands A set of w m is W (W = {w 1 , w 2 ,...}). The power value of each small region spectrogram is normalized for each small region spectrogram. In this normalization, at each time point in the small area, the power value at each frequency at that time point is normalized by the average value of the power values at that time point in the small area.
次に、小領域参照信号スペクトログラムＦti,wm から、上記非特許文献１と同様にヒストグラム特徴を抽出する。ヒストグラム特徴はヒストグラムの各ビンの値（各スペクトル符号の小領域スペクトログラム内での出現回数）を成分とする特徴ベクトルである。そして、このヒストグラム特徴を、周波数帯域毎にベクトル量子化により符号化することで、各小領域参照信号スペクトログラムＦti,wmを符号化した参照信号小領域符号ｃ（Ｆti,wm）を求める。 Next, histogram features are extracted from the small region reference signal spectrogram F ti, wm in the same manner as in Non-Patent Document 1. The histogram feature is a feature vector whose component is the value of each bin of the histogram (the number of appearances of each spectrum code in the small region spectrogram). Then, by encoding this histogram feature by vector quantization for each frequency band , a reference signal small region code c (F ti, wm ) obtained by encoding each small region reference signal spectrogram F ti, wm is obtained.
また、各小領域蓄積信号スペクトログラムも同様にして、各周波数帯域毎に小領域参照信号スペクトログラムを符号化した際と同様に符号化し、各小領域蓄積信号スペクトログラムＧt,wmを符号化した蓄積信号小領域符号ｃ（Ｇt,wm）を求める。ここでは、各周波数帯域で小領域蓄積信号スペクトログラムを符号化したときと同じ符号帳を用いる。なお、これらの小領域スペクトログラムの符号化では、小領域スペクトログラム上の各点におけるパワー値を特徴ベクトルとし、これらの特徴ベクトルをベクトル量子化により符号化し、参照信号小領域符号、蓄積信号小領域符号とすることでも可能である。 Similarly, each small region accumulated signal spectrogram is encoded in the same manner as when the small region reference signal spectrogram is encoded for each frequency band, and the accumulated signal obtained by encoding each small region accumulated signal spectrogram G t, wm. A small area code c (G t, wm ) is obtained. Here, the same codebook is used as when the small region accumulated signal spectrogram is encoded in each frequency band. In the coding of these small region spectrograms, the power value at each point on the small region spectrogram is used as a feature vector, and these feature vectors are coded by vector quantization to generate a reference signal small region code and an accumulated signal small region code. Is also possible.
そして、参照信号小領域符号と蓄積信号小領域符号との間の類似度を、小領域参照信号スペクトログラムと小領域蓄積信号スペクトログラムとの間の類似度として、類似小領域スペクトログラム検出過程により、図１０のように、各Ｆti,wm について、蓄積信号から類似する小領域蓄積信号スペクトログラムを検出する。なお、小領域符号間の類似度（小領域符号間類似度）については、図１１にあるように、小領域符号対毎にその類似度を表の上で定義し、この表を参照することで、小領域符号間の類似度を参照できる。図１１において、ｖ（ｗm, ｉ, ｊ）は周波数帯域ｗmにおける小領域符号ｑ（ｗm, ｉ）とｑ（ｗm, ｊ）の間の小領域符号間類似度を表す。なお、ここで、ｗmにおける小領域符号はｑ（ｗm, １）,ｑ（ｗm, ２）, . . . と書く。ｖ（ｗm, ｉ, ｊ）については、ｑ（ｗm, ｉ）とｑ（ｗm, ｊ）の代表ベクトル間の距離を計算し、距離が小さければ大きな値とし、距離が大きければ小さな値とする。なお、本実施例では、ｖ（ｗm, ｉ, ｊ）を０から１までの実数値として定義した。そして、Ｆti,wmとＧt,wmの小領域類似度ｓp（Ｆti,wm,Ｇt,wm）をｖ（ｗm, ｃ（Ｆti,wm）, ｃ（Ｇt+ti,wm））とする。ここで、Ｆti,wmに類似する小領域蓄積信号スペクトログラムとは、Ｆti,wm とＧt,wmの小領域類似度ｓp（Ｆti,wm,Ｇt,wm）が予め定めた小領域用探索閾値ｓp thを超えるような小領域蓄積信号スペクトログラムＧt,wmである。 Then, the similarity between the reference signal small region code and the accumulated signal small region code is set as the similarity between the small region reference signal spectrogram and the small region accumulated signal spectrogram, and the similar small region spectrogram detection process is performed. Thus, for each F ti, wm , a similar small area accumulated signal spectrogram is detected from the accumulated signal. As for the similarity between small region codes (similarity between small region codes), as shown in FIG. 11, the similarity is defined on a table for each small region code pair, and this table is referred to. Thus, the similarity between the small region codes can be referred to. In FIG. 11, v (w m , i, j) represents the similarity between the small area codes between the small area codes q (w m , i) and q (w m , j) in the frequency band w m . Here, the small region codes in w m is q (w m, 1), q (w m, 2),... And write. For v (w m , i, j), the distance between the representative vectors of q (w m , i) and q (w m , j) is calculated. If the distance is small, the value is large, and if the distance is large, the value is small. Value. In this embodiment, v (w m , i, j) is defined as a real value from 0 to 1. Then, F ti, wm and G t, a small region similarity wm s p (F ti, wm , G t, wm) and v (w m, c (F ti, wm), c (G t + ti, wm )). Here, F ti, the small region stored signal spectrogram similar to wm, F ti, wm and G t, a small region similarity wm s p (F ti, wm , G t, wm) is predetermined small it is a small region stored signal spectrogram G t, wm exceeding search threshold value s p th area.
そして、図１２にあるように、上記の各小領域参照信号スペクトログラムＦti,wmに対する検出結果をもとに、蓄積信号中の各時点ｔについて、小領域類似度を統合し、ｔにおける参照信号との類似度（区間類似度）Ｓ（ｔ）を、以下の（１）式に従って求める。 Then, as shown in FIG. 12, based on the detection result for each small region reference signal spectrogram F ti, wm , the small region similarity is integrated for each time point t in the accumulated signal, and the reference signal at t The similarity (section similarity) S (t) is obtained according to the following equation (1).
ここで、｜ＴＲ｜はＴＲの要素数を、｜Ｗ｜はＷの要素数を表す。なお、Ｆti,wmについての検出の結果、蓄積信号の時点ｔにおいて、Ｇt+ti,wmがＦti,wm に類似する小領域蓄積信号スペクトログラムとして検出されなかった場合、すなわち、以下の（２）式で表わされる場合、上記（１）式においては、以下の（３）式とする。 Here, | T R | a number of elements of T R, | W | denotes the number of elements in W. As a result of the detection of F ti, wm , when G t + ti, wm is not detected as a small region accumulated signal spectrogram similar to F ti, wm at time t of the accumulated signal, that is, When expressed by the formula (2), the following formula (3) is used in the formula (1).
実際の探索においては、Ｇt+ti,wmがＦti,wmに類似する小領域蓄積信号スペクトログラムとして検出された場合のみ、上記（１）式においてｓp（Ｆti,wm,Ｇt+ti,wm）を積算する。 In actual search, G t + ti, wm is F ti, only when it is detected as a small region stored signal spectrogram similar to wm, s p (F ti in the above (1), wm, G t + ti , wm ).
以上のようにして得られた区間類似度をもとに、区間類似度Ｓ(ｔ)が探索閾値Ｓthよりも大きくなる時点ｔを先頭とする区間から、参照信号が検出されたとする。 It is assumed that a reference signal is detected from the section starting from the time point t at which the section similarity S (t) is larger than the search threshold value S th based on the section similarity obtained as described above.
しかしながら、上記の分割一致探索法では、蓄積信号中の参照信号と類似する区間の長さが参照信号とほぼ同一であることが前提であった。そのため、蓄積信号中で検出したい音楽が時間伸縮されてＢＧＭとして使われた場合などには、その区間を検出することが出来ない、という問題があった。この時間伸縮は、音の高さを変えずに再生速度を１０／９倍にし、再生時間を９０％に減らして音楽を再生することなどで行われる。例えば、テレビ放送番組作成の際、１０秒間の音楽のサビ区間をＢＧＭとして９秒のシーンに使いたいときなどに、その音楽のサビ区間を９秒にするために、音楽の時間伸縮が行われたりする。 However, the above-described division match search method is based on the premise that the length of the section similar to the reference signal in the accumulated signal is almost the same as that of the reference signal. Therefore, there is a problem that when the music to be detected in the stored signal is time-expanded and used as BGM, the section cannot be detected. This time expansion / contraction is performed by increasing the playback speed by 10/9 times without changing the pitch and reducing the playback time to 90% to play music. For example, when creating a TV broadcast program, if you want to use a 10-second music climax section as a BGM for a 9-second scene, the music is stretched to make the climax section 9 seconds. Or
上記の分割一致探索法においては、あるＧt+ti,wm がＦti,wmに類似する小領域蓄積信号スペクトログラムとして検出された場合、上記（１）式において時刻ｔの区間にのみｓp（Ｆti,wm,Ｇt+ti,wm）を積算していたため、参照信号と蓄積信号上の類似区間の長さが異なっていると、目的とする蓄積信号上の区間に小領域類似度が積算されず、目的の区間を検出できなかった。 In the above division match search method, there G t + ti, wm is F ti, when it is detected as a small region stored signal spectrogram similar to wm, only the interval of time t in the above equation (1) s p ( F ti, wm , G t + ti, wm ) are integrated, so if the length of the similar section on the reference signal and the stored signal is different, the small area similarity will be in the section on the target stored signal. It was not accumulated and the target section could not be detected.
本発明は、上記の事情を考慮してなされたもので、音響信号の時間伸縮の可能性を考慮し、参照信号と蓄積信号上の参照信号に類似した区間の長さが異なる場合にも、参照信号と類似する音を含む区間を、蓄積信号中で精度よく検出することができる特定音響信号含有区間検出装置、方法、及びプログラムを提供することを目的とする。 The present invention was made in consideration of the above circumstances, considering the possibility of time expansion and contraction of the acoustic signal, even when the length of the section similar to the reference signal on the accumulated signal is different from the reference signal, An object of the present invention is to provide a specific acoustic signal containing section detecting device, method, and program capable of accurately detecting a section including a sound similar to a reference signal in an accumulated signal.
上記の目的を達成するために本発明に係る特定音響信号含有区間検出装置は、特定の音響信号である参照信号と類似する音を含む区間を、蓄積信号中で検出する特定音響信号含有区間検出装置であって、前記参照信号の時間周波数スペクトログラムである参照信号スペクトログラムを、小領域参照信号スペクトログラムと呼ぶ小領域のスペクトログラムに分割する参照信号スペクトログラム分割手段と、前記小領域参照信号スペクトログラムを周波数帯域毎に符号化し、参照信号小領域符号とする小領域参照信号スペクトログラム符号化手段と、前記蓄積信号の時間周波数スペクトログラムである蓄積信号スペクトログラムにおける、小領域のスペクトログラムである小領域蓄積信号スペクトログラムを前記周波数帯域毎に符号化し、蓄積信号小領域符号とする小領域蓄積信号スペクトログラム符号化手段と、前記周波数帯域毎に、前記参照信号小領域符号と前記蓄積信号小領域符号との距離から算出した小領域類似度に基づいて、前記各小領域参照信号スペクトログラムと類似する前記小領域蓄積信号スペクトログラムを検出する類似小領域スペクトログラム検出手段と、前記周波数帯域毎に検出された、前記各小領域参照信号スペクトログラムに類似した小領域蓄積信号スペクトログラムの前記小領域類似度を用いて、予め定められた区間伸縮率の範囲に基づく、該小領域蓄積信号スペクトログラムを含む前記蓄積信号の複数の区間の各々と前記参照信号との類似度である区間類似度の各々を計算することにより、前記蓄積信号の各区間に対する前記区間類似度を計算する区間類似度計算手段と、前記区間類似度に基づいて、前記蓄積信号中の前記参照信号と類似する音を含む区間を検出する区間検出手段と、を含んで構成されている。 In order to achieve the above object, the specific acoustic signal containing section detecting device according to the present invention detects a specific acoustic signal containing section detecting a section including a sound similar to a reference signal, which is a specific acoustic signal, in a stored signal. A reference signal spectrogram dividing means for dividing a reference signal spectrogram, which is a time-frequency spectrogram of the reference signal, into a small region spectrogram called a small region reference signal spectrogram, and the small region reference signal spectrogram for each frequency band A small region reference signal spectrogram encoding means for encoding into a reference signal small region code, and a stored region spectrogram which is a time-frequency spectrogram of the stored signal, and a small region stored signal spectrogram which is a spectrogram of the small region in the frequency band Encoded every time Based on the small region similarity calculated from the distance between the reference signal small region code and the accumulated signal small region code for each frequency band, and the small region accumulated signal spectrogram encoding means to be a small region code A similar small region spectrogram detecting means for detecting the small region accumulated signal spectrogram similar to the small region reference signal spectrogram, and a small region accumulated signal spectrogram similar to each small region reference signal spectrogram detected for each frequency band. Using the small region similarity, based on a predetermined range expansion / contraction rate range, a section similarity that is a similarity between each of the plurality of sections of the accumulated signal including the small area accumulated signal spectrogram and the reference signal Interval for calculating the interval similarity for each interval of the accumulated signal by calculating each of the degrees A similarity score calculating means, based on said interval similarity, is configured to include a, duration detection means for detecting a section containing a sound similar to the reference signal in the storage signal.
本発明に係る特定音響信号含有区間検出方法は、参照信号スペクトログラム分割手段、小領域参照信号スペクトログラム符号化手段、小領域蓄積信号スペクトログラム符号化手段、類似小領域スペクトログラム検出手段、区間類似度計算手段、及び区間検出手段を含み、特定の音響信号である参照信号と類似する音を含む区間を、蓄積信号中で検出する特定音響信号含有区間検出装置における特定音響信号含有区間検出方法であって、前記特定音響信号含有区間検出装置は、前記参照信号スペクトログラム分割手段によって、前記参照信号の時間周波数スペクトログラムである参照信号スペクトログラムを、小領域参照信号スペクトログラムと呼ぶ小領域のスペクトログラムに分割するステップと、前記小領域参照信号スペクトログラム符号化手段によって、前記小領域参照信号スペクトログラムを周波数帯域毎に符号化し、参照信号小領域符号とするステップと、前記小領域蓄積信号スペクトログラム符号化手段によって、前記蓄積信号の時間周波数スペクトログラムである蓄積信号スペクトログラムにおける、小領域のスペクトログラムである小領域蓄積信号スペクトログラムを前記周波数帯域毎に符号化し、蓄積信号小領域符号とするステップと、前記類似小領域スペクトログラム検出手段によって、前記周波数帯域毎に、前記参照信号小領域符号と前記蓄積信号小領域符号との距離から算出した小領域類似度に基づいて、前記各小領域参照信号スペクトログラムと類似する前記小領域蓄積信号スペクトログラムを検出するステップと、前記区間類似度計算手段によって、前記周波数帯域毎に検出された、前記各小領域参照信号スペクトログラムに類似した小領域蓄積信号スペクトログラムの前記小領域類似度を用いて、予め定められた区間伸縮率の範囲に基づく、該小領域蓄積信号スペクトログラムを含む前記蓄積信号の複数の区間の各々と前記参照信号との類似度である区間類似度の各々を計算することにより、前記蓄積信号の各区間に対する前記区間類似度を計算するステップと、前記区間検出手段によって、前記区間類似度に基づいて、前記蓄積信号中の前記参照信号と類似する音を含む区間を検出するステップと、を含んで実行することを特徴とする。 A specific acoustic signal containing section detecting method according to the present invention includes a reference signal spectrogram dividing unit, a small region reference signal spectrogram encoding unit, a small region accumulated signal spectrogram encoding unit, a similar small region spectrogram detecting unit, a section similarity calculating unit, And a specific acoustic signal containing section detecting method in a specific acoustic signal containing section detecting device for detecting a section including a sound similar to a reference signal which is a specific acoustic signal in a stored signal. The specific acoustic signal-containing section detecting device divides a reference signal spectrogram, which is a time-frequency spectrogram of the reference signal, into a small region spectrogram called a small region reference signal spectrogram by the reference signal spectrogram dividing unit; Region reference signal spectrogram code Means for encoding the small region reference signal spectrogram for each frequency band to obtain a reference signal small region code; and the accumulated signal spectrogram which is a time-frequency spectrogram of the accumulated signal by the small region accumulated signal spectrogram encoding unit. A small region accumulated signal spectrogram, which is a spectrogram of a small region, is encoded for each frequency band to be an accumulated signal small region code, and the reference signal is generated for each frequency band by the similar small region spectrogram detecting means. Detecting the small region accumulated signal spectrogram similar to each small region reference signal spectrogram based on the small region similarity calculated from the distance between the small region code and the accumulated signal small region code; and the section similarity By calculation means, before The small region accumulation signal based on a predetermined range expansion / contraction rate range using the small region similarity of the small region accumulation signal spectrogram similar to each small region reference signal spectrogram detected for each frequency band. Calculating the section similarity for each section of the stored signal by calculating each of the section similarities that are similarities between each of the plurality of sections of the stored signal including a spectrogram and the reference signal; And a step of detecting a section including a sound similar to the reference signal in the accumulated signal based on the section similarity.
本発明に係る特定音響信号含有区間検出装置及び特定音響信号含有区間検出方法によれば、前記参照信号スペクトログラム分割手段によって、前記参照信号の時間周波数スペクトログラムである参照信号スペクトログラムを、小領域参照信号スペクトログラムと呼ぶ小領域のスペクトログラムに分割する。前記小領域参照信号スペクトログラム符号化手段によって、前記小領域参照信号スペクトログラムを周波数帯域毎に符号化し、参照信号小領域符号とする。 According to the specific acoustic signal containing section detecting device and the specific acoustic signal containing section detecting method according to the present invention, the reference signal spectrogram, which is a time-frequency spectrogram of the reference signal, is converted into a small region reference signal spectrogram by the reference signal spectrogram dividing unit. Is divided into spectrograms of small areas called. The small region reference signal spectrogram encoding means encodes the small region reference signal spectrogram for each frequency band to obtain a reference signal small region code.
そして、前記小領域蓄積信号スペクトログラム符号化手段によって、前記蓄積信号の時間周波数スペクトログラムである蓄積信号スペクトログラムにおける、小領域のスペクトログラムである小領域蓄積信号スペクトログラムを前記周波数帯域毎に符号化し、蓄積信号小領域符号とする。前記類似小領域スペクトログラム検出手段によって、前記周波数帯域毎に、前記参照信号小領域符号と前記蓄積信号小領域符号との距離から算出した小領域類似度に基づいて、前記各小領域参照信号スペクトログラムと類似する前記小領域蓄積信号スペクトログラムを検出する。 Then, the small region accumulated signal spectrogram encoding means encodes a small region accumulated signal spectrogram, which is a small region spectrogram, in the accumulated signal spectrogram, which is a time-frequency spectrogram of the accumulated signal, for each frequency band. The region code. Based on the small region similarity calculated from the distance between the reference signal small region code and the accumulated signal small region code for each frequency band by the similar small region spectrogram detecting means, A similar small area accumulated signal spectrogram is detected.
そして、前記区間類似度計算手段によって、前記周波数帯域毎に検出された、前記各小領域参照信号スペクトログラムに類似した小領域蓄積信号スペクトログラムの前記小領域類似度を用いて、予め定められた区間伸縮率の範囲に基づく、該小領域蓄積信号スペクトログラムを含む前記蓄積信号の複数の区間の各々と前記参照信号との類似度である区間類似度の各々を計算することにより、前記蓄積信号の各区間に対する前記区間類似度を計算する。前記区間検出手段によって、前記区間類似度に基づいて、前記蓄積信号中の前記参照信号と類似する音を含む区間を検出する。 Then, by using the small area similarity of the small area accumulated signal spectrogram similar to each small area reference signal spectrogram detected for each frequency band by the section similarity calculating means, a predetermined section expansion / contraction is performed. Each interval of the accumulated signal is calculated by calculating each interval similarity that is a similarity between each of the plurality of intervals of the accumulated signal including the small region accumulated signal spectrogram and the reference signal based on a rate range. Calculate the interval similarity to. The section detecting means detects a section including a sound similar to the reference signal in the accumulated signal based on the section similarity.
このように、各小領域参照信号スペクトログラムに類似した小領域蓄積信号スペクトログラムの小領域類似度を用いて、区間伸縮率の範囲に基づく蓄積信号の複数の区間の各々の区間類似度を計算することにより、音響信号の時間伸縮の可能性を考慮し、参照信号と蓄積信号上の参照信号に類似した区間の長さが異なる場合にも、参照信号と類似する音を含む区間を、蓄積信号中で精度よく検出することができる。 In this way, using the small area similarity of the small area accumulated signal spectrogram similar to each small area reference signal spectrogram, calculating the section similarity of each of the plurality of sections of the accumulated signal based on the range of the section expansion / contraction rate. Due to the possibility of time expansion and contraction of the acoustic signal, even if the length of the section similar to the reference signal on the stored signal is different from the reference signal, the section including the sound similar to the reference signal is included in the stored signal. Can be detected with high accuracy.
本発明に係る前記区間類似度計算手段は、前記蓄積信号の１つの区間に対する前記区間類似度を計算する際に、前記区間に含まれる前記小領域蓄積信号スペクトログラムと類似する前記小領域参照信号スペクトログラムの各々について、前記小領域参照信号スペクトログラムとの前記小領域類似度をそれぞれ１回のみ用いて、前記区間類似度を計算するようにすることができる。これによって、小領域類似度の重複加算を避けることができるため、高速に区間類似度を計算することができる。 The section similarity calculation means according to the present invention, when calculating the section similarity for one section of the accumulated signal, the small area reference signal spectrogram similar to the small area accumulated signal spectrogram included in the section. For each of the above, the section similarity can be calculated by using the small area similarity with the small area reference signal spectrogram only once. As a result, overlap addition of small area similarities can be avoided, so that the section similarity can be calculated at high speed.
本発明に係る前記類似度小領域スペクトログラム検出手段は、前記各周波数帯域に対応する前記参照信号小領域符号を代表する符号と蓄積信号小領域符号を代表する符号との距離から算出した小領域類似度に基づいて、前記各小領域参照信号スペクトログラムと類似する前記小領域蓄積信号スペクトログラムを検出するようにすることができる。これによって、高速に２つの小領域スペクトログラムの類似性判定を行うことが可能となり、特定音響信号含有区間検出の時間を短縮することができる。 The similarity small region spectrogram detecting means according to the present invention includes a small region similarity calculated from a distance between a code representing the reference signal small region code corresponding to each frequency band and a code representing the accumulated signal small region code. Based on the degree, the small region accumulated signal spectrogram similar to each small region reference signal spectrogram may be detected. This makes it possible to determine the similarity between two small region spectrograms at high speed, and to shorten the time for detecting a specific acoustic signal containing section.
本発明に係る前記小領域参照信号スペクトログラム符号化手段および前記小領域蓄積信号スペクトログラム符号化手段は、前記小領域のスペクトログラム上の各時点におけるスペクトル特徴をベクトル量子化により符号化し、これらの符号の前記小領域のスペクトログラム内における出現回数を符号毎に計数したヒストグラムを作成し、前記ヒストグラムの各ビンの値を成分とする特徴ベクトルであるヒストグラム特徴を生成し、前記ヒストグラム特徴を前記周波数帯域毎にベクトル量子化により符号化し、それぞれ前記参照信号小領域符号、前記蓄積信号小領域符号とすることができる。 The small region reference signal spectrogram encoding unit and the small region accumulated signal spectrogram encoding unit according to the present invention encode spectral features at each time point on the spectrogram of the small region by vector quantization, and A histogram in which the number of appearances in the spectrogram of the small region is counted for each code is created, a histogram feature that is a feature vector having the value of each bin of the histogram as a component is generated, and the histogram feature is a vector for each frequency band Encoding is performed by quantization, and the reference signal small area code and the accumulated signal small area code can be obtained.
本発明に係る前記類似小領域スペクトログラム検出手段が、前記参照信号小領域符号と前記蓄積信号小領域符号の符号の対ごとに、予め計算した前記小領域類似度を格納した小領域符号間類似度表を参照することにより、前記小領域参照信号スペクトログラムと前記小領域蓄積信号スペクトログラムとの類似性を判定するようにすることができる。これによって、高速に２つの小領域スペクトログラムの類似性判定を行うことが可能となり、特定音響信号含有区間検出の時間を短縮することができる。 The similar small region spectrogram detecting means according to the present invention stores the small region similarity calculated in advance for each pair of the reference signal small region code and the accumulated signal small region code. By referring to the table, the similarity between the small region reference signal spectrogram and the small region accumulated signal spectrogram can be determined. This makes it possible to determine the similarity between two small region spectrograms at high speed, and to shorten the time for detecting a specific acoustic signal containing section.
本発明に係る特定音響信号含有区間検出装置は、前記蓄積信号小領域符号毎に、該蓄積信号小領域符号をもつ小領域蓄積信号スペクトログラムの出現時点を分類したインデックスを作成するインデックス作成手段を更に有し、前記類似小領域スペクトログラム検出手段が、前記小領域符号間類似度表を参照することにより選択された前記参照信号小領域符号に類似する蓄積信号小領域符号を用いて前記インデックスを参照し、該蓄積信号小領域符号をもつ小領域蓄積信号スペクトログラムを、小領域参照信号スペクトログラムに類似する小領域蓄積信号スペクトログラムとして検出するようにすることができる。これによって、類似する可能性の無い小領域スペクトログラム間の類似性判定を省略でき、特定音響信号含有区間検出をさらに高速に行うことができる。 The specific acoustic signal containing section detecting device according to the present invention further comprises an index creating means for creating an index that classifies the output time of the small area accumulated signal spectrogram having the accumulated signal small area code for each accumulated signal small area code. And the similar small region spectrogram detecting means refers to the index using an accumulated signal small region code similar to the reference signal small region code selected by referring to the small region inter-code similarity table. The small region accumulated signal spectrogram having the accumulated signal small region code can be detected as a small region accumulated signal spectrogram similar to the small region reference signal spectrogram. As a result, similarity determination between small region spectrograms that are not likely to be similar can be omitted, and the specific acoustic signal containing section can be detected at higher speed.
本発明に係るプログラムは、上記の特定音響信号含有区間検出装置の各手段としてコンピュータを機能させるためのプログラムである。 The program which concerns on this invention is a program for functioning a computer as each means of said specific acoustic signal containing area detection apparatus.
以上説明したように、本発明の特定音響信号含有区間検出装置、方法、及びプログラムによれば、各小領域参照信号スペクトログラムに類似した小領域蓄積信号スペクトログラムの小領域類似度を用いて、区間伸縮率の範囲に基づく蓄積信号の複数の区間の各々の区間類似度を計算することにより、音響信号の時間伸縮の可能性を考慮し、参照信号と蓄積信号上の参照信号に類似した区間の長さが異なる場合にも、参照信号と類似する音を含む区間を、蓄積信号中で精度よく検出することができる、という効果が得られる。 As described above, according to the specific acoustic signal containing section detecting device, method, and program of the present invention, section expansion / contraction is performed using the small area similarity of the small area accumulated signal spectrogram similar to each small area reference signal spectrogram. By calculating the interval similarity of each of the multiple sections of the stored signal based on the rate range, the length of the section similar to the reference signal and the reference signal on the stored signal is taken into account. Even when the lengths of the signals are different, it is possible to accurately detect a section including a sound similar to the reference signal in the accumulated signal.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
＜システム構成＞
図１は、本発明による特定音響信号含有区間検出装置の一実施例を示すブロック図である。図１に示す特定音響信号含有区間検出装置は、参照信号と呼ぶある特定の音響信号と類似する音を含む区間を、蓄積信号と呼ぶ参照信号より長い音響信号中で検出する装置であり、具体的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭと、後述する特定音響信号含有区間検出処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
<System configuration>
FIG. 1 is a block diagram showing an embodiment of a specific acoustic signal containing section detecting device according to the present invention. The specific acoustic signal containing section detecting device shown in FIG. 1 is an apparatus that detects a section including a sound similar to a specific acoustic signal called a reference signal in an acoustic signal longer than the reference signal called a stored signal. Specifically, it is composed of a computer having a CPU (Central Processing Unit), a RAM, and a ROM that stores a program for executing a specific acoustic signal containing section detection processing routine to be described later. It is configured as follows.
特定音響信号含有区間検出装置は、小領域蓄積信号符号化部１０１、類似小領域スペクトログラム検出部１０２、参照信号スペクトログラム分割部１０３、小領域参照信号スペクトログラム符号化部１０４、区間類似度計算部１０５、及び類似区間検出部１０６を備えている。 The specific acoustic signal containing section detecting device includes a small area accumulated signal encoding unit 101, a similar small area spectrogram detecting unit 102, a reference signal spectrogram dividing unit 103, a small area reference signal spectrogram encoding unit 104, a section similarity calculating unit 105, And a similar section detector 106 is provided.
小領域蓄積信号符号化部１０１は、上記蓄積信号の時間周波数スペクトログラムである蓄積信号スペクトログラムにおける、小領域のスペクトログラムである小領域蓄積信号スペクトログラムを符号化し、蓄積信号小領域符号として出力する。 The small region accumulated signal encoding unit 101 encodes the small region accumulated signal spectrogram which is a spectrogram of the small region in the accumulated signal spectrogram which is the time-frequency spectrogram of the accumulated signal, and outputs it as the accumulated signal small region code.
類似小領域スペクトログラム検出部１０２は、小領域蓄積信号スペクトログラムの出現時点をインデックス化する機能と、インデックスを参照することにより小領域参照信号スペクトログラムに類似する小領域蓄積信号スペクトログラムを検出する機能とを有する。すなわち、前者は小領域蓄積信号符号化部１０１から入力される蓄積信号小領域符号により、詳細に区間検出を行う代わりに小領域のスペクトログラムの類似性を検出して、区間検出を行う時点を抽出するための前処理であり、具体的には図２に示すようなインデックスが生成される。 The similar small region spectrogram detection unit 102 has a function of indexing the current output of the small region accumulated signal spectrogram and a function of detecting a small region accumulated signal spectrogram similar to the small region reference signal spectrogram by referring to the index. . In other words, the former detects the similarity of the spectrogram of the small area by the accumulated signal small area code input from the small area accumulated signal encoding unit 101, and extracts the time point at which the area detection is performed instead of performing the detailed area detection. Specifically, an index as shown in FIG. 2 is generated.
後者は、参照信号小領域符号と類似する小領域符号を、予め作成された上記図１１に示す小領域符号間類似度表を用いて抽出し、インデックス検索により該小領域符号を持つ小領域参照信号スペクトログラムを検出してその出現時点と小領域類似度を出力する。 In the latter case, a small region code similar to the reference signal small region code is extracted using the previously created small region code similarity table shown in FIG. 11, and the small region reference having the small region code is obtained by index search. The signal spectrogram is detected and the current output time and the small area similarity are output.
参照信号スペクトログラム分割部１０３は、上記参照信号の時間周波数スペクトログラムである参照信号スペクトログラムを、小領域参照信号スペクトログラムと呼ぶ小領域のスペクトログラムに分割する。 The reference signal spectrogram dividing unit 103 divides a reference signal spectrogram, which is a time-frequency spectrogram of the reference signal, into a small region spectrogram called a small region reference signal spectrogram.
小領域参照信号スペクトログラム符号化部１０４は、上記小領域参照信号スペクトログラムを符号化し、参照信号小領域符号として出力する。 The small region reference signal spectrogram encoding unit 104 encodes the small region reference signal spectrogram and outputs it as a reference signal small region code.
区間類似度計算部１０５は、類似小領域スペクトログラム検出部１０２において検出された小領域参照信号スペクトログラムとこれに類似する小領域蓄積信号スペクトログラム間の類似度（小領域類似度）を用いて、該類似する小領域蓄積信号スペクトログラムを含む蓄積信号の区間信号と参照信号との類似度(区間類似度)を計算する。 The section similarity calculation unit 105 uses the similarity (small region similarity) between the small region reference signal spectrogram detected by the similar small region spectrogram detection unit 102 and the similar small region accumulated signal spectrogram (small region similarity). The similarity (interval similarity) between the interval signal of the accumulated signal including the small region accumulated signal spectrogram to be performed and the reference signal is calculated.
類似区間検出部１０６は、上記区間類似度により蓄積信号中の参照信号と類似する音を含む区間を検出する。 The similar section detection unit 106 detects a section including a sound similar to the reference signal in the accumulated signal based on the section similarity.
次に、図３〜図５を参照して、本発明の一実施形態による特定音響信号含有区間検出装置の処理について説明する。図３〜図５は、本発明の特定音響信号含有区間検出の処理過程を説明するための概念図である。 Next, with reference to FIGS. 3-5, the process of the specific acoustic signal containing area detection apparatus by one Embodiment of this invention is demonstrated. 3 to 5 are conceptual diagrams for explaining a process of detecting a specific acoustic signal containing section according to the present invention.
図示しない蓄積信号スペクトログラム抽出部及び参照信号スペクトログラム抽出部は、各々蓄積信号、参照信号の各音響波形信号を読み込み、それぞれパワースペクトルを抽出し、蓄積信号スペクトログラム、参照信号スペクトログラムとして出力する。 A storage signal spectrogram extraction unit and a reference signal spectrogram extraction unit (not shown) read the acoustic waveform signals of the storage signal and the reference signal, respectively extract the power spectrum, and output them as the storage signal spectrogram and the reference signal spectrogram.
そして、参照信号スペクトログラム分割部１０３は、図３に示すように、参照信号スペクトログラムから一定のサイズ（一定時間幅）の小領域のスペクトログラムを等間隔に切り出し、小領域参照信号スペクトログラムとして出力する。 Then, as shown in FIG. 3, the reference signal spectrogram dividing unit 103 cuts out a spectrogram of a small area of a certain size (a constant time width) from the reference signal spectrogram at equal intervals, and outputs it as a small area reference signal spectrogram.
なお、小領域参照信号スペクトログラムを切り出す際は、小領域参照信号スペクトログラム間に重なりがあってもよい。 Note that when the small region reference signal spectrogram is cut out, there may be an overlap between the small region reference signal spectrograms.
ここで、参照信号スペクトログラム分割部１０３は、上記小領域参照信号スペクトログラムを、周波数軸方向及び時間軸方向において、各々一定の個数のスペクトログラム上の点を、もとのスペクトログラムから切り出すことにより得ている。 Here, the reference signal spectrogram dividing unit 103 obtains the small region reference signal spectrogram by cutting out a certain number of points on the spectrogram from the original spectrogram in the frequency axis direction and the time axis direction. .
上述したような小領域のスペクトログラムを小領域スペクトログラム（ｓｍａｌｌ−ｒｅｇｉｏｎ ｓｐｅｃｔｒｏｇｒａｍ）と呼ぶ。 The small region spectrogram as described above is referred to as a small-region spectrogram.
また、先頭の時点がｔiであり、周波数帯域がωmである参照信号中の小領域参照信号スペクトログラムを、以下Ｆti,ωmと示す。 In addition, a small region reference signal spectrogram in a reference signal having a leading time t i and a frequency band ω m will be denoted as F ti, ωm hereinafter.
同様に、蓄積信号のスペクトログラム中において、先頭の時点がｔであり、周波数帯域がωmの上記Ｆti,ωmと同じサイズの小領域蓄積信号スペクドグラムをＧt,ωmと示す。 Similarly, in the spectrogram of the accumulated signal, a small region accumulated signal spectrogram having the same size as the above F ti, ωm having a leading time t and a frequency band ω m is denoted as G t, ωm .
また、参照信号スペクドグラム中において、小領域スペクトログラムＦti,ωmを切り出した全ての時点ｔiの集合をＴＲ（ＴＲ＝{ｔ1,ｔ2,...}）とし、全ての周波数帯ωmの集合をＷ（Ｗ＝ {ω１,ω２,…}）とする。尚、ここでＷの要素数とＴＲの要素数とは、各々、１であっても良い。 In the reference signal spectrogram , a set of all time points t i obtained by cutting out the small region spectrogram F ti, ωm is defined as T R (T R = {t 1 , t 2 , ...}), and all frequency bands Assume that a set of ω m is W (W = {ω 1 , ω 2 ,...}). Here, the number of elements W and the number of elements TR may each be 1.
なお、各小領域スペクトログラム（小領域蓄積信号スペクトログラム及び小領域参照信号スペクトログラム）のパワースペクトルは、音量の変動を吸収するため各小領域スペクトログラム毎に正規化される。 Note that the power spectrum of each small region spectrogram (small region accumulated signal spectrogram and small region reference signal spectrogram) is normalized for each small region spectrogram in order to absorb volume fluctuation.
つまり、小領域内の各時点におけるパワースペクトル値を、小領域周波数帯内のその時点のパワースペクトル値の平均値により正規化する。 That is, the power spectrum value at each time point in the small region is normalized by the average value of the power spectrum values at that point in the small region frequency band.
次に、小領域参照信号スペクトログラム符号化部１０４は、小領域参照信号スペクトログラムＦti,ωmから、従来例の説明において述べた分割一致探索法と同様にヒストグラム特徴を抽出する。すなわち、スペクトログラム上における各時点のスペクトル特徴を正規化した上で、ベクトル量子化により符号化して、符号に対応するビンに各符号の出現回数を計数してヒストグラム特徴を得る。 Next, the small region reference signal spectrogram encoding unit 104 extracts a histogram feature from the small region reference signal spectrogram F ti, ωm in the same manner as the division matching search method described in the description of the conventional example. That is, the spectral features at each time point on the spectrogram are normalized and then encoded by vector quantization, and the number of appearances of each code is counted in the bin corresponding to the code to obtain a histogram feature.
このヒストグラム特徴は、ヒストグラムの各ビンの値(各ベクトル量子化符号の小領域スペクトログラム内での出現回数)を成分とする特徴ベクトルである。 This histogram feature is a feature vector whose component is the value of each bin of the histogram (the number of appearances of each vector quantization code in the small region spectrogram).
そして、小領域参照信号スペクトログラム符号化部１０４は、このヒストグラム特徴を周波数帯域毎にベクトル量子化により符号化することにより、各小領域参照信号スペクトログラムの符号化を行う。 Then, the small region reference signal spectrogram encoding unit 104 encodes each small region reference signal spectrogram by encoding the histogram feature by vector quantization for each frequency band.
尚、本発明において、ベクトル量子化とは、与えられたベクトルに一つの符号を割り当てる手続きのことである。 In the present invention, vector quantization is a procedure for assigning one code to a given vector.
小領域蓄積信号符号化部１０１は、小領域参照信号スペクトログラム符号化部１０４による小領域参照信号スペクトログラムの符号化と同様に、各小領域蓄積信号スペクトログラムを、各周波数帯域毎に符号化する。 Similar to the encoding of the small region reference signal spectrogram by the small region reference signal spectrogram encoding unit 104, the small region stored signal encoding unit 101 encodes each small region stored signal spectrogram for each frequency band.
小領域蓄積信号符号化部１０１及び小領域参照信号スペクトログラム符号化部１０４は、各周波数帯域で小領域スペクトログラムを符号化する際、同じ符号帳を用いて行う。 The small region accumulated signal encoding unit 101 and the small region reference signal spectrogram encoding unit 104 use the same codebook when encoding the small region spectrogram in each frequency band.
ここで得られた小領域スペクトログラムのヒストグラム特徴が符号化されて得られた符号を、小領域符号（参照信号小領域符号、蓄積信号小領域符号；これらは周波数帯域単位にヒストグラムがベクトル量子化されたベクトル量子化符号）と呼び、小領域参照信号スペクトログラムＦti,ωmの参照信号小領域符号をｃ（Ｆti,ωm）、小領域蓄積信号スペクトログラムＧt,ωmの蓄積信号小領域符号をｃ（Ｇt,ωm）で表すこととする。 The codes obtained by encoding the histogram characteristics of the small region spectrogram obtained here are the small region codes (reference signal small region code, accumulated signal small region code; these are the vector quantization of the histogram in frequency band units. Vector quantization code) , the reference signal small region code of the small region reference signal spectrogram F ti, ωm is c (F ti, ωm ), and the accumulated signal small region code of the small region accumulated signal spectrogram G t, ωm is c. It is expressed by (G t, ωm ).
なお、これらの小領域スペクトログラムの符号化は、小領域参照信号スペクトログラム及び小領域蓄積信号スペクトログラム上の各時点におけるパワースペクトル値を、ヒストグラムを用いずに、それぞれ特徴ベクトルとし、これらの特徴ベクトルをベクトル量子化により符号化し、各々参照信号小領域符号及び蓄積信号小領域符号とすることでも可能である。 The coding of these small region spectrograms is performed by using the power spectrum value at each time point on the small region reference signal spectrogram and the small region accumulated signal spectrogram as a feature vector without using a histogram, and using these feature vectors as vectors. It is also possible to perform encoding by quantization and use each as a reference signal subregion code and a stored signal subregion code.
そして、類似小領域スペクトログラム検出部１０２は、参照信号小領域符号及び蓄積信号小領域符号間の類似度を、小領域参照信号スペクトログラムと小領域蓄積信号スペクトルとの間の類似度として、図４に示すように、各小領域参照信号スペクトログラムＦti,ωmに対して、類似する小領域蓄積信号スペクトログラムを、蓄積信号スペクトログラムから検出する。 Then, the similar small region spectrogram detecting unit 102 sets the similarity between the reference signal small region code and the accumulated signal small region code as the similarity between the small region reference signal spectrogram and the small region accumulated signal spectrum in FIG. As shown, for each small region reference signal spectrogram F ti, ωm , a similar small region accumulated signal spectrogram is detected from the accumulated signal spectrogram.
なお、類似小領域スペクトログラム検出部１０２は、上記図１１に示すように、小領域符号対毎にその類似度(小領域符号間類似度)を表の上で予め定義しておき（類似小領域スペクトログラム検出部１０２が内部の記憶部に記憶させる）、この表(小領域符号間類似度表と呼ぶ)を参照することにより参照信号小領域符号と蓄積信号小領域符号間の類似度を知ることができる。 The similar small region spectrogram detecting unit 102 predefines the similarity (similarity between small region codes) for each small region code pair on the table as shown in FIG. 11 (similar small region). The spectrogram detection unit 102 stores it in the internal storage unit), and knows the similarity between the reference signal small region code and the stored signal small region code by referring to this table (referred to as the small region code similarity table). Can do.
上記図１１に上記小領域符号間類似度表の構成を示す。この表において、ν(ωm，j，ｋ)は、周波数帯域ωmにおける小領域符号ｑ（ωm，ｊ）及び小領域符号ｑ（ωm，ｋ）の間の小領域符号間類似度を示している。 FIG. 11 shows the configuration of the small area code similarity table. In this table, ν (ω m , j, k) is the similarity between the small region codes between the small region code q (ω m , j) and the small region code q (ω m , k) in the frequency band ω m . Is shown.
なお、ここで、周波数帯域ωmにおける小領域符号は、ｑ（ωm，１），ｑ（ωm，２），…と示す。 Here, the small region codes in the frequency band ω m are indicated as q (ω m , 1), q (ω m , 2),.
そして、類似小領域スペクトログラム検出部１０２は、ν（ωm，ｊ，ｋ）について、小領域符号ｑ（ωm，ｊ）とｑ（ωm，ｋ）との代表ベクトル間の距離を計算し、計算された距離が小さい場合に大きな値とし、距離が大きい場合に小さな値とする。代表ベクトル間の距離としては、例えばユークリッド距離を用いればよい。 Then, the similar small region spectrogram detection unit 102 calculates the distance between the representative vectors of the small region codes q (ω m , j) and q (ω m , k) for ν (ω m , j, k). When the calculated distance is small, a large value is set, and when the calculated distance is large, a small value is set. As the distance between the representative vectors, for example, the Euclidean distance may be used.
なお、本実施例においては、ν（ωm，ｊ，ｋ）を、０から１までの実数値として定義している。すなわち、各周波数帯域ωmにおいて、距離が最大の場合、ν（ωm，ｊ，ｋ）が０、最小の場合、ν（ωm，ｊ，ｋ）が１となるように演算する。 In this embodiment, ν (ω m , j, k) is defined as a real value from 0 to 1. That is, in each frequency band omega m, when the distance is maximum, ν (ω m, j, k) is zero, when the smallest, ν (ω m, j, k) is computed to be 1.
そして、Ｆti,ωmとＧt,ωmとの小領域類似度ｓP（Ｆti,ωm，Ｇt,ωm）を、ν（ωm，ｃ（Ｆti,ωm），ｃ（Ｇt+ti,ωm））とする。 Then, F ti, ωm and G t, a small region similarity s P and ωm (F ti, ωm, G t, ωm) a, ν (ω m, c ( F ti, ωm), c (G t + ti, ωm )).
ここで、Ｆti,ωmに類似する小領域蓄積信号スペクトログラムとは、Ｆti,ωmとＧt,ωmとの小領域類似度ｓP（Ｆti,ωm，Ｇt,ωm）が、設定されている小領域用探索閾値ｓP thを超えるような小領域蓄積信号スペクトログラムＧt,ωmである。 Here, F ti, the small region stored signal spectrogram similar to .omega.m, F ti, .omega.m and G t, a small region similarity s P and ωm (F ti, ωm, G t, ωm) is set The small region accumulated signal spectrogram G t, ωm that exceeds the small region search threshold s P th .
ここで、小領域用探索閾値ｓP thについては、例えば、閾値設定のため、予め複数の参照信号及び蓄積信号において実験的に測定し、類似した区間の検索漏れがない、もしくは少ない値を求めて、小領域用探索閾値ｓP thが設定される。 Here, the search threshold s P th for the small region is experimentally measured in advance for a plurality of reference signals and accumulated signals in order to set the threshold value, for example, and a value with no or no search loss in similar sections is obtained. Thus, the small region search threshold s P th is set.
なお、このｓP thはＷにおける全周波数帯域で同じ値を設定してもよいし、異なる値を周波数帯域ごとに設定してもよい。本実施例では同じ値を設定することとした。 This s P th may be set to the same value in all frequency bands in W, or may be set to a different value for each frequency band. In this embodiment, the same value is set.
つまり、類似小領域スペクトログラム検出部１０２においては、上記図２に示すように、蓄積信号スペクトログラムの小領域符号毎に、小領域蓄積信号スペクトログラムを分類したインデックスを用い、上記図１１に示す小領域符号間類似度表を参照することにより、参照信号小領域符号ｃ（Ｆti,ωm）と類似する蓄積信号小領域符号、すなわち、ｃ（Ｆti,ωm）との小領域符号間類似度が、小領域用探索閾値ｓP thを超える小領域符号を持つ小領域蓄積信号スペクトログラムを検出する。これは各Ｆti,ωmについて、ｃ（Ｆti,ωm）との小領域符号間類似度が、小領域用探索閾値ｓP thよりも大きい全ての小領域符号について、その小領域符号をもつ小領域蓄積信号スペクトログラムの出現位置（時点）のリストを上記図２のインデックスから参照することで行う。 That is, in the similar small region spectrogram detecting unit 102, as shown in FIG. 2, the small region code shown in FIG. 11 is used by using an index obtained by classifying the small region accumulated signal spectrogram for each small region code of the accumulated signal spectrogram. By referring to the inter-similarity table, the similarity between stored signal sub-region codes similar to the reference signal sub-region code c (F ti, ωm ), that is, c (F ti, ωm ) is small region code similarity. A small region accumulated signal spectrogram having a small region code exceeding the small region search threshold s P th is detected. This is because, for each F ti, ωm , all the small region codes whose similarity between c (F ti, ωm ) and the small region code is larger than the small region search threshold sp P th have the small region code. This is done by referring to the list of appearance positions (time points) of the small region accumulated signal spectrogram from the index shown in FIG.
そして、上記図２のインデックスにおいて、ｑ（ωm，ｊ）が指すリスト(時点の配列；横方向の列)には、蓄積信号小領域符号にｑ（ωm，ｊ）を有する全ての小領域蓄積信号スペクトログラムの時点が時系列に並べられた配列として格納されている。 Then, in the index of FIG 2, q (omega m, j) refers list; The (SEQ point lateral column), all the small of the stored signal small area code having q (omega m, j) The time points of the region accumulation signal spectrogram are stored as an array arranged in time series.
なお、この類似小領域スペクトログラム検出部１０２は、各小領域参照信号スペクトログラムについて、対応する周波数帯域の小領域蓄積信号スペクトログラムを時間順に並べたリストの各小領域蓄積信号スペクトログラムと、該小領域参照信号スペクトログラムとを、順番に小領域符号の類似度に基づいて比較し、類似する小領域蓄積信号スペクトログラムのみを検出させるようにすることも可能である。 The similar small region spectrogram detecting unit 102 includes, for each small region reference signal spectrogram, each small region accumulated signal spectrogram in a list in which small region accumulated signal spectrograms of corresponding frequency bands are arranged in time order, and the small region reference signal. It is also possible to compare the spectrograms in order based on the similarity of the small region codes and detect only the similar small region accumulated signal spectrograms.
すなわち、類似小領域スペクトログラム検出部１０２は、上記各小領域参照信号スペクトログラムについて、対応する帯域の小領域蓄積信号スペクトログラムを時間順に並べたリストの各小領域蓄積信号スペクトログラムと、順番に小領域符号の類似度に基づいて比較し、類似する小領域蓄積信号スペクトログラムのみを検出する様にしても良い。 That is, the similar small region spectrogram detecting unit 102, for each of the small region reference signal spectrogram, each small region accumulated signal spectrogram of a list in which the small region accumulated signal spectrogram of the corresponding band is arranged in time order, and the small region code of the small region code in order. The comparison may be made based on the similarity, and only the similar small region accumulated signal spectrograms may be detected.
区間類似度計算部１０５は、図５に示すように、上記の各小領域参照信号スペクトログラムＦti,wmに対する検出結果をもとに、蓄積信号中の各時点ｔについて、小領域類似度を統合し、ｔにおける参照信号との類似度（区間類似度）Ｓ(ｔ)を求める。まず、蓄積信号上の各時点ｔにおいて、Ｓ(ｔ)は０に初期化されている。そして、小領域参照信号スペクトログラムの参照信号中の出現時点と、これに類似する小領域蓄積信号スペクトログラムの蓄積信号中の出現時点との位置関係から、参照信号と該小領域蓄積信号スペクトログラムを含む蓄積信号中の区間の類似度(区間類似度)を計算する区間開始時点ｔを求める。具体的には、上記の各小領域参照信号スペクトログラムＦti,wmに対する検出結果をもとに、Ｆti,wmに類似する小領域蓄積信号スペクトログラムとしてＧt´,wm が検出された場合、ｍａｘ（０，ｔ´−ｒuｔi）≦ｔ≦ｍａｘ（０，ｔ´−ｒdｔi）の範囲の全てのｔを、区間開始時点ｔとして求める。ここでｒdとｒuは考慮する伸縮率の下限と上限であり、事前にユーザが定める。また、ｒd≦ｒuとなるように定める。 As shown in FIG. 5, the interval similarity calculation unit 105 integrates the small region similarity for each time point t in the accumulated signal based on the detection result for each small region reference signal spectrogram F ti, wm . Then, the similarity (section similarity) S (t) with the reference signal at t is obtained. First, S (t) is initialized to 0 at each time point t on the accumulated signal. Then, based on the positional relationship between the present time point in the reference signal of the small region reference signal spectrogram and the present point point in the accumulated signal of the similar small region accumulated signal spectrogram, the accumulation including the reference signal and the small region accumulated signal spectrogram is performed. A section start time t for calculating the similarity of the section in the signal (section similarity) is obtained. Specifically, when G t ′, wm is detected as a small region accumulated signal spectrogram similar to F ti, wm based on the detection result for each small region reference signal spectrogram F ti, wm , max All t in the range of (0, t′−r u t i ) ≦ t ≦ max (0, t′−r d t i ) are obtained as the section start time t. Here r d and r u are the lower and upper limit of the considered scaling factor, prior to the user stipulated. Also defines such that r d ≦ r u.
そして、求められた全ての区間開始時刻ｔにおける区間類似度Ｓ(ｔ)にｓp（Ｆti,wm，Ｇt´,wm）を加算する。 Then, all the sections similarity in the interval start time t S (t) to s p obtained (F ti, wm, G t' , wm) is added to.
そして、全ての小領域参照信号スペクトログラムについて、類似する小領域蓄積信号スペクトログラムとの小領域類似度の、区間類似度Ｓ（ｔ）への加算が完了すると、各時点ｔにおいて小領域類似度が積算された結果を、ｔにおける区間類似度Ｓ(t)とする。 Then, for all small region reference signal spectrograms, when the addition of the small region similarity with the similar small region accumulated signal spectrogram to the section similarity S (t) is completed, the small region similarity is integrated at each time point t. The obtained result is defined as a section similarity S (t) at t.
そして、類似区間検出部１０６は、以上のようにして得られた区間類似度Ｓ(t)をもとに、蓄積信号スペクトログラムにおいて、区間類似度Ｓ(t)が探索閾値Ｓthよりも大きい時点ｔを先頭とする区間を、参照信号スペクトログラムに類似した区間として検出する。このとき、類似区間検出部１０６では、上記探索閾値Ｓthは実験的にまたは経験的に得られた値を設定することが出来る。 Then, the similar section detection unit 106, based on the section similarity S (t) obtained as described above, in the accumulated signal spectrogram, when the section similarity S (t) is larger than the search threshold S th. A section starting from t is detected as a section similar to the reference signal spectrogram. At this time, the similar section detector 106 can set a value obtained experimentally or empirically as the search threshold value S th .
なお、上記図５において、参照信号の長さをｔrefとすると、参照信号と類似する信号を含む長さｒdｔref以上ｒuｔref 以下の区間を蓄積信号上で検出することとなる。 In FIG. 5, if the length of the reference signal is t ref , a section including a signal similar to the reference signal and having a length from r d t ref to r u t ref is detected on the accumulated signal. .
＜特定音響信号含有区間検出装置の作用＞
次に、本実施の形態に係る特定音響信号含有区間検出装置の作用について説明する。
<Operation of specific acoustic signal containing section detection device>
Next, the operation of the specific acoustic signal containing section detecting device according to the present embodiment will be described.
特定音響信号含有区間検出装置において、図６に示す特定音響信号含有区間検出処理ルーチンが実行される。 In the specific acoustic signal containing section detecting device, the specific acoustic signal containing section detecting processing routine shown in FIG. 6 is executed.
まず、ステップＳ１０１において、小領域蓄積信号符号化部１０１は、図示しない蓄積信号スペクトログラム抽出部から蓄積信号スペクトログラムを読み込む。そして、小領域蓄積信号符号化部１０１は、蓄積信号スペクトログラムの小領域スペクトログラムを順次符号化する。 First, in step S101, the small region accumulated signal encoding unit 101 reads an accumulated signal spectrogram from an unillustrated accumulated signal spectrogram extracting unit. Then, the small area accumulation signal encoding unit 101 sequentially encodes the small area spectrograms of the accumulation signal spectrogram.
上述した処理により得られた蓄積信号小領域符号は、小領域蓄積信号符号化部１０１から類似小領域スペクトログラム検出部１０２に供給される。 The accumulated signal small region code obtained by the above-described processing is supplied from the small region accumulated signal encoding unit 101 to the similar small region spectrogram detecting unit 102.
次のステップＳ１０２において、類似小領域スペクトログラム検出部１０２は、供給された上記蓄積信号小領域符号を分類し、上記図２に示すインデックスを生成する。 In the next step S102, the similar small region spectrogram detecting unit 102 classifies the supplied accumulated signal small region codes and generates the index shown in FIG.
そして、ステップＳ１０３において、参照信号スペクトログラム分割部１０３は、例えば、ファイル（図示しない参照信号スペクトログラム抽出部により生成された参照信号スペクトログラムを記録したファイル）から、参照信号スペクトログラムを読み込む。次に、参照信号スペクトログラム分割部１０３は、これを小領域参照信号スペクトログラムに分割し、分割された小領域参照信号スペクトログラムを、順次、小領域参照信号スペクトログラム符号化部１０４へ供給する。 In step S103, the reference signal spectrogram dividing unit 103 reads the reference signal spectrogram from, for example, a file (a file in which a reference signal spectrogram generated by a reference signal spectrogram extracting unit (not shown) is recorded). Next, the reference signal spectrogram dividing unit 103 divides it into small region reference signal spectrograms, and sequentially supplies the divided small region reference signal spectrograms to the small region reference signal spectrogram encoding unit 104.
そして、ステップＳ１０４において、小領域参照信号スペクトログラム符号化部１０４は、順次小領域参照信号スペクトログラムを符号化し、得られた参照信号小領域符号ｃ(Ｆti,ωm)と、その参照信号上における時点ｔiとを、類似小領域スペクトログラム検出部１０２に供給する。 In step S104, the small region reference signal spectrogram encoding unit 104 sequentially encodes the small region reference signal spectrogram, the obtained reference signal small region code c (F ti, ωm ), and a time point on the reference signal. t i is supplied to the similar small region spectrogram detection unit 102.
次に、ステップＳ１０５において、類似小領域スペクトログラム検出部１０２は、参照信号小領域符号がｃ(Ｆti,ωm)であり、その参照信号上における時点がｔiである小領域参照信号スペクトログラムについて、内部記憶させておいた上記図１１の小領域符号間類似度表を参照し、対応する小領域符号間類似度（小領域類似度）と小領域用探索閾値とを比較し、この小領域用探索閾値を超える小領域符号（参照信号小領域符号と類似する蓄積信号小領域符号）を取り出す。そして、該小領域符号が蓄積信号中で出現する時点を、上記図２のインデックスを用いて検索し、類似する蓄積信号小領域符号をもつ小領域蓄積信号スペクトログラムの出現位置リストを区間類似度計算部１０５に供給する。 Next, in step S105, the similar small region spectrogram detecting unit 102 determines a small region reference signal spectrogram whose reference signal small region code is c (F ti, ωm ) and whose time point on the reference signal is t i . With reference to the inter-small region code similarity table of FIG. 11 stored internally, the corresponding small region code similarity (small region similarity) is compared with the small region search threshold, and this small region A small area code (stored signal small area code similar to the reference signal small area code) exceeding the search threshold is extracted. Then, the time point at which the small area code appears in the accumulated signal is searched using the index of FIG. 2, and the appearance position list of the small area accumulated signal spectrogram having the similar accumulated signal small area code is calculated as the interval similarity. To the unit 105.
そして、ステップＳ１０６において、区間類似度計算部１０５は、供給された出現位置リスト内の各小領域蓄積信号スペクトログラムについて、小領域蓄積信号スペクトログラムの蓄積信号小領域符号と時点をｃ´、ｔ´としたとき、参照信号小領域符号ｃと蓄積信号小領域符号ｃ´の小領域符号間類似度ｓp（ｃ，ｃ´）を、蓄積信号上のｍａｘ（０，ｔ´−ｒuｔi）以上、ｍａｘ（０，ｔ´−ｒdｔi）以下の範囲の全ての時点ｔにおける区間類似度Ｓ（ｔ）に加算する。 In step S106, the interval similarity calculation unit 105 sets the accumulated signal small region code and the time point of the small region accumulated signal spectrogram as c ′ and t ′ for each small region accumulated signal spectrogram in the supplied appearance position list. Then, the similarity s p (c, c ′) between the reference signal small region code c and the accumulated signal small region code c ′ is set to max (0, t′−r u t i ) on the accumulated signal. As described above, it is added to the section similarity S (t) at all time points t within the range of max (0, t′−r d t i ) or less.
そして、ステップＳ１０７において、区間類似度計算部１０５は、小領域参照信号スペクトログラム符号化部１０４から全ての小領域参照信号スペクトログラムについて参照信号小領域符号が供給され、全ての小領域参照信号スペクトログラムについて上記ステップＳ１０５及びＳ１０６との処理が終了したか否かを判定する。 In step S107, the interval similarity calculation unit 105 is supplied with the reference signal subregion codes for all the small region reference signal spectrograms from the small region reference signal spectrogram encoding unit 104, and the above-described processing is performed for all the small region reference signal spectrograms. It is determined whether or not the processing in steps S105 and S106 has been completed.
そして、区間類似度計算部１０５は、全ての小領域参照信号スペクトログラムについて終了したと判定すると、処理をステップＳ１０８へ処理を進め、終了していないと判定すると、処理をステップＳ１０５へ進める。 If the section similarity calculation unit 105 determines that all the small region reference signal spectrograms have been completed, the process proceeds to step S108. If the section similarity calculation unit 105 determines that the process has not ended, the process proceeds to step S105.
次に、ステップＳ１０８において、類似区間検出部１０６は、区間類似度が探索閾値Ｓthよりも大きい、時点ｔを先頭とする区間に参照信号があったとして、この時点ｔを出力し、処理を終了する。 Next, in step S108, the similar section detection unit 106 outputs this time t, assuming that there is a reference signal in the section starting from the time t where the section similarity is greater than the search threshold value Sth, and ends the processing. To do.
また、類似区間検出部１０６は、探索閾値を超えた複数の区間を出力するのではなく、探索閾値を超え、最も大きな区間類似度を有する区間のみを出力するようにしても良い。 Further, the similar section detection unit 106 may output only a section that exceeds the search threshold and has the largest section similarity instead of outputting a plurality of sections that exceed the search threshold.
次に、上述した実施例を用いて行った実験例を説明する。 Next, experimental examples performed using the above-described embodiments will be described.
上記実施例をＩＢＭ ＰＣ-ＡＴ互換機上に実装して、目的とする区間の長さを伸縮させた場合の探索実験をテストデータで行った。探索精度（再現率と適合率が等しくなるように探索閾値を設定したときの再現率）は目的の区間の長さを９０％に縮めた場合でも約９３％であり、目的の区間の長さを１１０％に伸ばした場合でも約９５％であり、目的の区間の長さを伸縮させても、目的の区間を精度よく検出できることがわかった。 The above example was mounted on an IBM PC-AT compatible machine, and a search experiment was conducted with test data when the length of the target section was expanded or contracted. The search accuracy (recall rate when the search threshold is set so that the recall rate and the matching rate are equal) is about 93% even when the length of the target section is reduced to 90%, and the length of the target section It is found that the target section can be detected with high accuracy even when the length of the target section is expanded or contracted.
以上説明したように、本発明の実施の形態に係る特定音響信号含有区間検出装置によれば、小領域参照信号スペクトログラムに類似した小領域蓄積信号スペクトログラムの小領域類似度を、区間伸縮率の範囲に基づく蓄積信号上の複数の時刻ｔを先頭とする区間の各々の区間類似度に加算するようにして、各区間の区間類似度を計算することにより、音響信号の時間伸縮の可能性を考慮し、参照信号と蓄積信号上の参照信号に類似した区間の長さが異なる場合にも、参照信号と類似する音を含む区間を、蓄積信号中で精度よく検出することができる。 As described above, according to the specific acoustic signal-containing section detecting device according to the embodiment of the present invention, the small area similarity of the small area accumulated signal spectrogram similar to the small area reference signal spectrogram is set to the range of the section expansion / contraction rate. Considering the possibility of time expansion and contraction of the acoustic signal by calculating the section similarity of each section by adding to each section similarity of the section starting from a plurality of times t on the accumulated signal based on However, even when the length of the section similar to the reference signal on the stored signal is different from that of the reference signal, the section including the sound similar to the reference signal can be accurately detected in the stored signal.
また、類似する小領域蓄積信号スペクトログラムの検出において、参照信号及び蓄積信号の２つの小領域スペクトログラムが類似するかの判定を高速に行え、類似する可能性の無い小領域スペクトログラムの組み合わせでの類似性判定を省略することにより、特定音響信号を含有する区間の検出を高速に行うことができる。 In addition, in the detection of similar small region stored signal spectrograms, it is possible to quickly determine whether the two small region spectrograms of the reference signal and the stored signal are similar, and similarities in combinations of small region spectrograms that are unlikely to be similar By omitting the determination, the section containing the specific acoustic signal can be detected at high speed.
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 Note that the present invention is not limited to the above-described embodiment, and various modifications and applications are possible without departing from the gist of the present invention.
例えば、図７に示す方法により、小領域類似度を区間類似度へ加算してもよい。以下、単一バンド（ｍ＝１）を想定して説明する。上記の実施の形態では、ある一つのＳ（ｔ）について、一つの小領域参照信号スペクトルグラムに由来した小領域類似度の加算が複数回行われる場合がある（図７の「伸縮対応」参照）。そこで、ある一つのＳ（ｔ）について、時刻ｔを先頭とする区間に含まれる小領域蓄積信号スペクトログラムと類似する小領域参照信号スペクトログラムの各々について、一つの同じ小領域参照信号スペクトログラムに由来する小領域類似度の加算は１回のみとする（１度加算した場合には加算しないようにする）ことで、重複加算を避けることができる（図７の「改良版」参照）。 For example, the small area similarity may be added to the section similarity by the method shown in FIG. Hereinafter, description will be made assuming a single band (m = 1). In the above-described embodiment, for a certain S (t), the small region similarity derived from one small region reference signal spectrumgram may be added a plurality of times (refer to “Expansion and contraction correspondence” in FIG. 7). ). Therefore, for one S (t), a small region derived from the same small region reference signal spectrogram for each small region reference signal spectrogram similar to the small region accumulated signal spectrogram included in the section starting at time t. By adding the region similarity only once (do not add if it is added once), overlapping addition can be avoided (see “improved version” in FIG. 7).
また、
上述の特定音響信号含有区間検出装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
Also,
The above-mentioned specific acoustic signal containing section detecting device has a computer system inside, but the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. Shall be.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 In the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium.
例えばＴＶ放送中でＢＧＭとして使われた音楽の検出に利用することができる。この場合、例えば、ＴＶ放送の音声を録音したものを蓄積信号として蓄積しているとする。そして、ある特定の音楽ＣＤの１部を参照信号とし、蓄積信号中の参照信号を含む区間を検出することで、その音楽がＢＧＭとして使われた区間を検出することができる。 For example, it can be used to detect music used as BGM in TV broadcasting. In this case, for example, it is assumed that a recorded TV broadcast sound is stored as an accumulation signal. Then, by using a part of a specific music CD as a reference signal and detecting a section including the reference signal in the stored signal, a section in which the music is used as BGM can be detected.
１０１ 小領域蓄積信号符号化部
１０２ 類似小領域スペクトログラム検出部
１０３ 参照信号スペクトログラム分割部
１０４ 小領域参照信号スペクトログラム符号化部
１０５ 区間類似度計算部
１０６ 類似区間検出部
101 Small region accumulated signal encoding unit 102 Similar small region spectrogram detecting unit 103 Reference signal spectrogram dividing unit 104 Small region reference signal spectrogram encoding unit 105 Section similarity calculating unit 106 Similar section detecting unit
Claims (10)
前記参照信号の時間周波数スペクトログラムである参照信号スペクトログラムを、小領域参照信号スペクトログラムと呼ぶ小領域のスペクトログラムに分割する参照信号スペクトログラム分割手段と、
前記小領域参照信号スペクトログラムを周波数帯域毎に符号化し、参照信号小領域符号とする小領域参照信号スペクトログラム符号化手段と、
前記蓄積信号の時間周波数スペクトログラムである蓄積信号スペクトログラムにおける、小領域のスペクトログラムである小領域蓄積信号スペクトログラムを前記周波数帯域毎に符号化し、蓄積信号小領域符号とする小領域蓄積信号スペクトログラム符号化手段と、
前記周波数帯域毎に、前記参照信号小領域符号と前記蓄積信号小領域符号との距離から算出した小領域類似度に基づいて、前記各小領域参照信号スペクトログラムと類似する前記小領域蓄積信号スペクトログラムを検出する類似小領域スペクトログラム検出手段と、
前記周波数帯域毎に検出された、前記各小領域参照信号スペクトログラムに類似した小領域蓄積信号スペクトログラムの前記小領域類似度を用いて、予め定められた区間伸縮率の範囲に基づく、該小領域蓄積信号スペクトログラムを含む前記蓄積信号の複数の区間の各々と前記参照信号との類似度である区間類似度の各々を計算することにより、前記蓄積信号の各区間に対する前記区間類似度を計算する区間類似度計算手段と、
前記区間類似度に基づいて、前記蓄積信号中の前記参照信号と類似する音を含む区間を検出する区間検出手段と、
を含む特定音響信号含有区間検出装置。 A specific acoustic signal-containing section detecting device that detects a section including a sound similar to a reference signal that is a specific acoustic signal in an accumulated signal,
A reference signal spectrogram dividing means for dividing a reference signal spectrogram which is a time-frequency spectrogram of the reference signal into a small region spectrogram called a small region reference signal spectrogram;
A small region reference signal spectrogram encoding means that encodes the small region reference signal spectrogram for each frequency band and sets it as a reference signal small region code;
A small region accumulated signal spectrogram encoding means for encoding a small region accumulated signal spectrogram, which is a small region spectrogram, for each frequency band in the accumulated signal spectrogram, which is a time frequency spectrogram of the accumulated signal; ,
For each frequency band, based on the small region similarity calculated from the distance between the reference signal small region code and the accumulated signal small region code, the small region accumulated signal spectrogram similar to each small region reference signal spectrogram is obtained. A similar small region spectrogram detecting means for detecting;
The small region accumulation based on a predetermined range expansion / contraction rate range using the small region similarity of the small region accumulation signal spectrogram similar to each small region reference signal spectrogram detected for each frequency band. Interval similarity that calculates the interval similarity for each interval of the accumulated signal by calculating each interval similarity that is the similarity between each of the plurality of intervals of the accumulated signal including the signal spectrogram and the reference signal Degree calculation means,
Section detecting means for detecting a section including a sound similar to the reference signal in the accumulated signal based on the section similarity.
A specific acoustic signal containing section detecting device including:
前記類似小領域スペクトログラム検出手段が、前記小領域符号間類似度表を参照することにより選択された前記参照信号小領域符号に類似する蓄積信号小領域符号を用いて前記インデックスを参照し、該蓄積信号小領域符号をもつ小領域蓄積信号スペクトログラムを、小領域参照信号スペクトログラムに類似する小領域蓄積信号スペクトログラムとして検出する請求項５に記載の特定音響信号含有区間検出装置。 For each of the accumulated signal small area codes, there is further provided an index creating means for creating an index that classifies the output time of the small area accumulated signal spectrogram having the accumulated signal small area code,
The similar small region spectrogram detecting means refers to the index using the stored signal small region code similar to the reference signal small region code selected by referring to the small region inter-symbol similarity table, and stores the index. 6. The specific acoustic signal containing section detecting device according to claim 5, wherein a small area accumulated signal spectrogram having a signal small area code is detected as a small area accumulated signal spectrogram similar to the small area reference signal spectrogram.
前記特定音響信号含有区間検出装置は、
前記参照信号スペクトログラム分割手段によって、前記参照信号の時間周波数スペクトログラムである参照信号スペクトログラムを、小領域参照信号スペクトログラムと呼ぶ小領域のスペクトログラムに分割するステップと、
前記小領域参照信号スペクトログラム符号化手段によって、前記小領域参照信号スペクトログラムを周波数帯域毎に符号化し、参照信号小領域符号とするステップと、
前記小領域蓄積信号スペクトログラム符号化手段によって、前記蓄積信号の時間周波数スペクトログラムである蓄積信号スペクトログラムにおける、小領域のスペクトログラムである小領域蓄積信号スペクトログラムを前記周波数帯域毎に符号化し、蓄積信号小領域符号とするステップと、
前記類似小領域スペクトログラム検出手段によって、前記周波数帯域毎に、前記参照信号小領域符号と前記蓄積信号小領域符号との距離から算出した小領域類似度に基づいて、前記各小領域参照信号スペクトログラムと類似する前記小領域蓄積信号スペクトログラムを検出するステップと、
前記区間類似度計算手段によって、前記周波数帯域毎に検出された、前記各小領域参照信号スペクトログラムに類似した小領域蓄積信号スペクトログラムの前記小領域類似度を用いて、予め定められた区間伸縮率の範囲に基づく、該小領域蓄積信号スペクトログラムを含む前記蓄積信号の複数の区間の各々と前記参照信号との類似度である区間類似度の各々を計算することにより、前記蓄積信号の各区間に対する前記区間類似度を計算するステップと、
前記区間検出手段によって、前記区間類似度に基づいて、前記蓄積信号中の前記参照信号と類似する音を含む区間を検出するステップと、
を含んで実行することを特徴とする特定音響信号含有区間検出方法。 Reference signal spectrogram dividing means, small area reference signal spectrogram coding means, small area accumulated signal spectrogram coding means, similar small area spectrogram detection means, section similarity calculation means, and section detection means, and is a specific acoustic signal A specific acoustic signal containing section detecting method in a specific acoustic signal containing section detecting device for detecting a section including a sound similar to a reference signal in an accumulated signal,
The specific acoustic signal containing section detecting device is
Dividing the reference signal spectrogram, which is a time-frequency spectrogram of the reference signal, into a small region spectrogram called a small region reference signal spectrogram by the reference signal spectrogram dividing unit;
A step of encoding the small region reference signal spectrogram for each frequency band by the small region reference signal spectrogram encoding means, to obtain a reference signal small region code;
The small region accumulated signal spectrogram encoding means encodes a small region accumulated signal spectrogram, which is a spectrogram of a small region, in the accumulated signal spectrogram, which is a time frequency spectrogram of the accumulated signal, for each frequency band. And steps
Based on the small region similarity calculated from the distance between the reference signal small region code and the accumulated signal small region code for each frequency band by the similar small region spectrogram detecting means, Detecting a similar small area accumulated signal spectrogram;
By using the small region similarity of the small region accumulated signal spectrogram similar to each small region reference signal spectrogram detected by the section similarity calculation unit for each frequency band, a predetermined section expansion / contraction rate is obtained. Based on a range, each of the plurality of sections of the stored signal including the small area stored signal spectrogram and a section similarity that is a similarity between the reference signal and each of the sections of the stored signal are calculated. Calculating interval similarity;
Detecting a section including sound similar to the reference signal in the accumulated signal based on the section similarity by the section detection means;
And a specific acoustic signal containing section detecting method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011071122A JP5462827B2 (en) | 2011-03-28 | 2011-03-28 | Specific acoustic signal containing section detecting device, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011071122A JP5462827B2 (en) | 2011-03-28 | 2011-03-28 | Specific acoustic signal containing section detecting device, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012203382A JP2012203382A (en) | 2012-10-22 |
| JP5462827B2 true JP5462827B2 (en) | 2014-04-02 |
Family
ID=47184400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011071122A Active JP5462827B2 (en) | 2011-03-28 | 2011-03-28 | Specific acoustic signal containing section detecting device, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5462827B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5976029B2 (en) * | 2014-04-10 | 2016-08-23 | 日本電信電話株式会社 | Sequence signal identification method, apparatus, and program |
| IT201800009696A1 (en) * | 2018-10-23 | 2020-04-23 | Francesca Mariani | METHOD AND DEVICE FOR DIAGNOSIS OF THE RELEASES OF THE COVERINGS OF ARCHITECTURAL STRUCTURES IN SITU |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3950667B2 (en) * | 2001-10-24 | 2007-08-01 | 隆義 山本 | Method and apparatus for determining signal for each signal source |
| DE602005018776D1 (en) * | 2004-07-01 | 2010-02-25 | Nippon Telegraph & Telephone | SYSTEM FOR DETECTING SECTION WITH A SPECIFIC ACOUSTIC SIGNAL, METHOD AND PROGRAM THEREFOR |
| JP4597919B2 (en) * | 2006-07-03 | 2010-12-15 | 日本電信電話株式会社 | Acoustic signal feature extraction method, extraction device, extraction program, recording medium recording the program, acoustic signal search method, search device, search program using the features, and recording medium recording the program |
| JP4601643B2 (en) * | 2007-06-06 | 2010-12-22 | 日本電信電話株式会社 | Signal feature extraction method, signal search method, signal feature extraction device, computer program, and recording medium |
-
2011
- 2011-03-28 JP JP2011071122A patent/JP5462827B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012203382A (en) | 2012-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4327202B2 (en) | Specific acoustic signal containing section detection system, method and program thereof | |
| EP2659480B1 (en) | Repetition detection in media data | |
| EP2791935B1 (en) | Low complexity repetition detection in media data | |
| KR100725018B1 (en) | Method and apparatus for summarizing music content automatically | |
| EP2854128A1 (en) | Audio analysis apparatus | |
| JP2013534645A (en) | System and method for audio media recognition | |
| KR100888804B1 (en) | Method and apparatus for determining sameness and detecting common frame of moving picture data | |
| JP6586514B2 (en) | Audio processing method, apparatus and terminal | |
| JP2020525856A (en) | Voice search/recognition method and device | |
| WO2014096832A1 (en) | Audio analysis system and method using audio segment characterisation | |
| Tan et al. | Evaluation of a Sparse Representation-Based Classifier For Bird Phrase Classification Under Limited Data Conditions. | |
| JP4597919B2 (en) | Acoustic signal feature extraction method, extraction device, extraction program, recording medium recording the program, acoustic signal search method, search device, search program using the features, and recording medium recording the program | |
| JP5462827B2 (en) | Specific acoustic signal containing section detecting device, method, and program | |
| JP2007072023A (en) | Information processing apparatus and method | |
| US8713030B2 (en) | Video editing apparatus | |
| KR101041037B1 (en) | Method and Apparatus for speech and music discrimination | |
| JPWO2006009035A1 (en) | Signal detection method, signal detection system, signal detection processing program, and recording medium recording the program | |
| Yang | Towards real-time music auto-tagging using sparse features | |
| Gomes et al. | Using multiresolution time series motifs to classify urban sounds | |
| WO2013008956A1 (en) | Sound processing method, sound processing system, video processing method, video processing system, sound processing device, and method and program for controlling same | |
| JP5959691B2 (en) | Common signal containing section presence / absence judging device, method, and program | |
| KR101183663B1 (en) | System and Method for Searching Audio on the basis of Humming | |
| Yu et al. | Towards a Fast and Efficient Match Algorithm for Content-Based Music Retrieval on Acoustic Data. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120629 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131022 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5462827 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |