JP3408800B2 - Signal detection method and apparatus, program therefor, and recording medium - Google Patents
Signal detection method and apparatus, program therefor, and recording mediumInfo
- Publication number
- JP3408800B2 JP3408800B2 JP2001123098A JP2001123098A JP3408800B2 JP 3408800 B2 JP3408800 B2 JP 3408800B2 JP 2001123098 A JP2001123098 A JP 2001123098A JP 2001123098 A JP2001123098 A JP 2001123098A JP 3408800 B2 JP3408800 B2 JP 3408800B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- series signal
- time
- input
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Television Signal Processing For Recording (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、時系列信号（また
は時系列データ）の中から、あらかじめ登録した信号
（またはデータ）と類似した信号の場所を探し出す信号
検出方法、信号検出装置及びそのプログラム、記録媒体
に関するものであり、例えば、映像信号検出に利用する
ことができる。すなわち、テレビ放送の映像信号の中か
ら特定のコマーシャルの放映された時間を検出して自動
記録を行ったり、特定の映像を参照信号としてテレビ放
送やインターネット上のコンテンツから同一の映像を含
むコンテンツを検索することを可能とする技術に関連す
る。さらに、本発明は、映像信号だけではなく、音響信
号など一般の信号の検出にも応用できる。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a signal detecting method, a signal detecting device, and a program therefor for searching a time-series signal (or time-series data) for a signal location similar to a signal (or data) registered in advance. The present invention relates to a recording medium, and can be used for video signal detection, for example. That is, the time when a specific commercial is broadcast is detected from the video signal of the television broadcast and is automatically recorded, or the content including the same video from the content of the television broadcast or the Internet is used as a reference signal with the specific video. Relates to a technology that allows searching. Furthermore, the present invention can be applied not only to video signals but also to detection of general signals such as audio signals.
【０００２】[0002]
【従来の技術】従来、この種の信号検出方法に関して
は、「高速信号探索方法、装置およびその記録媒体」
（特許第３０６５３１４号）のように、あらかじめ登録
した音響信号と類似した音響信号の場所を探し出す音響
信号検出方法が知られている。2. Description of the Related Art Conventionally, as to this kind of signal detection method, "high-speed signal search method, device and recording medium thereof"
There is known an acoustic signal detecting method for finding a location of an acoustic signal similar to a previously registered acoustic signal, as in Japanese Patent No. 3065314.
【０００３】[0003]
【発明が解決しようとする課題】しかし、上述した従来
の信号検出方法では、参照時系列信号、または入力時系
列信号のノイズによる特徴変動が少ないことが想定され
ており、従って、特徴変動が激しい場合、探索精度が低
下する可能性があるという問題があった。本発明は、こ
のような事情に鑑みてさなれたものであり、特徴変動を
考慮した信号検出処理を行うことにより、より特徴変動
に頑健な信号検出を行うことができる信号検出方法、装
置及びそのプログラム、記録媒体を提供することを目的
とする。However, in the above-described conventional signal detection method, it is assumed that the characteristic variation due to noise of the reference time-series signal or the input time-series signal is small, and therefore the characteristic variation is large. In this case, there is a problem that the search accuracy may decrease. The present invention has been made in view of the above circumstances, and a signal detection method, apparatus, and signal detection method capable of performing more robust signal detection for a feature variation by performing a signal detection process in consideration of the feature variation. The purpose is to provide the program and recording medium.
【０００４】[0004]
【課題を解決するための手段】従って、本発明は、あら
かじめ登録した、見本データとしての参照時系列信号に
類似した部分を、検索対象として入力される、前記参照
時系列信号よりも信号長の長い入力時系列信号中に探し
出す信号検出方法において、前記参照時系列信号から、
特徴ベクトルからなる参照特徴時系列信号を導く参照特
徴計算処理と、前記入力時系列信号から、特徴ベクトル
からなる入力特徴時系列信号を導く入力特徴計算処理
と、前記参照特徴時系列信号を、作成すべきヒストグラ
ムの横軸を構成する分類を表す符号からなる参照符号時
系列信号に変換する参照特徴符号化処理と、前記入力特
徴時系列信号を、前記分類を表す符号からなる入力符号
時系列信号に変換する入力特徴符号化処理と、前記参照
時系列信号と、前記入力時系列信号と、前記参照特徴時
系列信号と、前記入力特徴時系列信号と、前記参照符号
時系列信号と、前記入力符号時系列信号のうち少なくと
も１つに対して、当該信号に関して予測される信号の変
動を付加する変動付加処理と、前記入力符号時系列信号
中に所定時間分の照合区間を設定し、前記参照符号時系
列信号と、前記入力符号時系列信号中の該照合区間それ
ぞれについて前記分類を表す符号を横軸、各符号の出現
頻度を縦軸とするヒストグラムを作成し、両ヒストグラ
ムに基づいて前記入力符号時系列信号の照合区間と前記
参照符号時系列信号との類似度を計算するヒストグラム
照合処理とを有し、前記類似度と、あらかじめ設定した
目標とする類似度とを比較し、前記ヒストグラム照合処
理を前記入力符号時系列信号中の前記照合区間を変えな
がら繰り返すことにより、前記参照時系列信号が、前記
入力時系列信号の当該箇所に存在するかどうかを決定す
ることを特徴とする信号検出方法を提供する。SUMMARY OF THE INVENTION Accordingly, the present invention is, nitrous et <br/> beforehand registered, the similar parts to the reference time-series signal as a sample data is input as the search target, the reference
In a signal detection method for searching in an input time-series signal having a signal length longer than that of the time-series signal, in the reference time-series signal,
A reference feature calculation processing for guiding the reference feature time-series signal consisting of the feature vector, from said input time-series signal, the input feature calculation processing for guiding the input feature time-series signal consisting feature vector, the reference feature time-series signal, creating Should Histogram
Beam and the reference feature coding process of converting the reference numerals time-series signal comprising a code indicating a classification which constitutes the horizontal axis, convert the input feature time-series signal, the input code time-series signal comprising a code representative of said classification Input feature encoding processing, the reference time series signal, the input time series signal, the reference feature time series signal, the input feature time series signal, the reference code time series signal, and the input code time For at least one of the series signals, a variation adding process for adding a variation of a signal predicted with respect to the signal, and a matching section for a predetermined time is set in the input code time series signal. , The reference code time-series signal and the code representing the classification for each of the matching sections in the input code time-series signal on the horizontal axis, and the appearance of each code
A histogram having a frequency as a vertical axis is created, and a histogram matching process for calculating the similarity between the matching section of the input code time-series signal and the reference code time-series signal based on both histograms is provided, and the similarity is calculated. And a target similarity set in advance, and by repeating the histogram matching process while changing the matching section in the input code time series signal, the reference time series signal is the input time series signal. There is provided a signal detecting method, characterized in that it is determined whether or not it exists in the relevant place.
【０００５】これによれば、前述した特許第３０６５３
１４号開示の方法に比べて、新たに変動付加処理を設け
て特徴変動を考慮することにより、特徴の変動に対して
頑健な信号検出が可能となる。According to this, the above-mentioned patent No. 30653.
Compared with the method disclosed in No. 14, by newly providing the variation addition processing and considering the characteristic variation, it becomes possible to perform robust signal detection with respect to the characteristic variation.
【０００６】前記変動付加処理において、以下の各形態
が可能である。
（１） 前記参照時系列信号、または前記入力時系列信
号に変動を付加する場合、１つの参照時系列信号、また
は入力時系列信号の各時間セクションの信号部分に対し
て複数の予測される変動を付加した信号を生成する。
（２） 前記参照特徴時系列信号、または前記入力特徴
時系列信号に変動を付加する場合、１つの前記特徴ベク
トルに対して複数の予測される変動を付加した特徴ベク
トルを生成する。
（３） 前記参照符号時系列信号、または前記入力符号
時系列信号に変動を付加する場合、１つの参照符号時系
列信号、または入力符号時系列信号を構成する各々の符
号に対して複数の予測される変動を付加した信号を生成
する。In the above variation addition processing, the following modes are possible. (1) When adding fluctuations to the reference time series signal or the input time series signal, a plurality of predicted fluctuations for one reference time series signal or a signal portion of each time section of the input time series signal To generate a signal. (2) When adding a variation to the reference feature time-series signal or the input feature time-series signal, a feature vector in which a plurality of predicted variations are added to one feature vector is generated. (3) When variation is added to the reference code time series signal or the input code time series signal, a plurality of predictions are performed for one reference code time series signal or each code forming the input code time series signal. It generates a signal obtained by adding the variation to be.
【０００７】前記変動付加処理において付加される変動
の量を、前記参照時系列信号および前記入力時系列信号
とは異なる別の時系列信号と、この時系列信号に予測さ
れる変動を付加した信号とを比較することにより前もっ
て算出する学習処理を更に有し、前記変動付加処理にお
いて、前記学習処理が算出した変動量に基づいて変動を
付加しても良い。更に、前記参照時系列信号が前記入力
時系列信号の当該箇所に存在するかどうかを決定した検
出結果に基づいて、前記学習処理において算出される変
動量を補正しても良い。また、前記変動付加処理は、乱
数を利用して変動を付加しても良い。更に、前記変動付
加処理において、特徴の変動をさせるための変動量を正
規分布により、平行移動量と分散量をパラメータとして
モデル化し、前記平行移動量と前記分散量の少なくとも
一方を用いて、変動を付加するようにしても良い。[0007] variations to be added in the variation addition processing
Of the reference time series signal and the input time series signal
And another time series signal different from
Further includes a learning process for calculating in advance by comparing with a signal to which a variation is added , wherein in the variation adding process, the variation is added based on the variation amount calculated by the learning process. Is also good. Further, the variation amount calculated in the learning process may be corrected based on the detection result of determining whether or not the reference time-series signal is present at the location of the input time-series signal. Further, the fluctuation adding process may add a fluctuation using a random number. Further, in the variation adding process, the variation amount for varying the feature is modeled by a normal distribution using the parallel movement amount and the dispersion amount as parameters, and the variation amount is calculated by using at least one of the parallel movement amount and the dispersion amount. May be added.
【０００８】本発明はまた、あらかじめ登録した、見本
データとしての参照時系列信号に類似した部分を、検索
対象として入力される、前記参照時系列信号よりも信号
長の長い入力時系列信号中に探し出す信号検出装置にお
いて、前記参照時系列信号から、特徴ベクトルからなる
参照特徴時系列信号を導く参照特徴計算手段と、前記入
力時系列信号から、特徴ベクトルからなる入力特徴時系
列信号を導く入力特徴計算手段と、前記参照特徴時系列
信号を、作成すべきヒストグラムの横軸を構成する分類
を表す符号からなる参照符号時系列信号に変換する参照
特徴符号化手段と、前記入力特徴時系列信号を、前記分
類を表す符号からなる入力符号時系列信号に変換する入
力特徴符号化手段と、前記参照時系列信号と、前記入力
時系列信号と、前記参照特徴時系列信号と、前記入力特
徴時系列信号と、前記参照符号時系列信号と、前記入力
符号時系列信号のうち少なくとも１つに対して、当該信
号に関して予測される信号の変動を付加する変動付加手
段と、前記入力符号時系列信号中に所定時間分の照合区
間を設定し、前記参照符号時系列信号と、前記入力符号
時系列信号中の該照合区間それぞれについて前記分類を
表す符号を横軸、各符号の出現頻度を縦軸とするヒスト
グラムを作成し、両ヒストグラムに基づいて前記入力符
号時系列信号の照合区間と前記参照符号時系列信号との
類似度を計算するヒストグラム照合手段とを有し、前記
ヒストグラム照合手段は、前記入力符号時系列信号中の
前記照合区間を変えながら各照合区間毎に前記類似度を
求め、該類似度とあらかじめ設定した目標とする類似度
とを比較し、この比較動作を照合区間を変える毎に繰り
返すことにより、参照時系列信号が、入力時系列信号の
当該箇所に存在するかどうかを決定することを特徴とす
る信号検出装置を提供する。[0008] The present invention is also, nitrous et al beforehand registered, sample
Search for a part similar to the reference time series signal as data
Signal input as the target rather than the reference time series signal
In a signal detection device for searching in a long input time series signal , a reference feature calculation means for deriving a reference feature time series signal composed of a feature vector from the reference time series signal, and a feature vector composed of the input time series signal. An input feature calculation means for deriving an input feature time series signal, and a reference feature encoding means for converting the reference feature time series signal into a reference code time series signal composed of a code representing a classification forming the horizontal axis of the histogram to be created. When, the input feature time-series signal, and input feature coding means for converting the input code time-series signal comprising a code representative of said fraction <br/> compound, wherein the reference time-series signal, the input time-series signal and , a time-series signal the reference features, and time-series signal the input feature, and the reference numerals time-series signals, with respect to at least one of said input code time-series signal, the signal
Change means for adding the fluctuation of the signal predicted with respect to the signal, a collating section for a predetermined time is set in the input code time series signal, and the reference code time series signal and the input code time series signal The above classification for each of the matching sections
A histogram is created with the horizontal axis representing the code and the vertical axis the frequency of occurrence of each code, and the similarity between the matching section of the input code time series signal and the reference code time series signal is based on both histograms. A histogram matching means for calculating the degree, the histogram matching means calculates the similarity for each matching section while changing the matching section in the input code time-series signal, and presets the similarity. It is characterized in that it is determined whether or not the reference time series signal is present at the relevant portion of the input time series signal by comparing the target similarity with the target similarity and repeating this comparison operation each time the matching section is changed. A signal detection device is provided.
【０００９】前記変動付加手段においても、上記（１）
〜（３）の各形態が可能である。また、前記ヒストグラ
ム照合手段が決定した検出結果を前記学習手段にフィー
ドバックし、前記学習手段は、前記検出結果に基づいて
前記変動量を補正するようにしても良い。前記変動付加
手段は、乱数を利用して変動を付加しても良い。また、
前記変動付加手段は、特徴の変動をさせるための変動量
を正規分布により、平行移動量と分散量をパラメータと
してモデル化し、前記平行移動量と前記分散量の少なく
とも一方を用いて、変動を付加しても良い。Also in the variation adding means, the above (1)
Each form of (3) to (3) is possible. Further, the detection result determined by the histogram matching unit may be fed back to the learning unit, and the learning unit may correct the variation amount based on the detection result. The variation adding means may add variation using a random number. Also,
The variation adding means models the variation amount for varying the feature by a normal distribution using the parallel movement amount and the dispersion amount as parameters, and adds the variation using at least one of the parallel movement amount and the dispersion amount. You may.
【００１０】一例として、前記入力時系列信号、前記参
照時系列信号は、それぞれ映像信号である。また、別例
として、前記入力時系列信号、前記参照時系列信号は、
それぞれ音響信号である。本発明はまた、上記信号検出
方法に対応する信号検出処理をコンピュータに実行させ
るためのプログラム、該プログラムを記録した、コンピ
ュータにより読み取り可能な記録媒体をそれぞれ提供す
る。As an example, the input time series signal and the reference time series signal are video signals. As another example, the input time series signal and the reference time series signal are
Each is an acoustic signal. The present invention also provides a program for causing a computer to execute a signal detection process corresponding to the above signal detection method, and a computer-readable recording medium recording the program.
【００１１】[0011]
【発明の実施の形態】以下、本発明の実施の形態を、図
面を参照して詳細に説明する。本発明の実施の形態に係
る、映像信号を対象とする信号検出装置の構成を図１に
示す。図１において、本実施形態に係る信号検出装置１
は、参照特徴計算手段１０と、入力特徴計算手段１１
と、学習手段１２と、参照特徴変動付加手段１３と、参
照特徴符号化手段１４と、入力特徴符号化手段１５と、
ヒストグラム照合手段１６とを有し、参照時系列信号、
すなわち見本となる検索したい映像信号と、入力時系列
信号すなわち検索される映像信号とを入力とし、参照時
系列信号との類似度があらかじめ設定した値（これを探
索閾値という）θを越える入力時系列信号の箇所を出力
する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described in detail below with reference to the drawings. FIG. 1 shows the configuration of a signal detection device for a video signal according to the embodiment of the present invention. In FIG. 1, the signal detection device 1 according to the present embodiment
Is a reference feature calculation means 10 and an input feature calculation means 11
A learning means 12, a reference feature variation adding means 13, a reference feature coding means 14, an input feature coding means 15,
Histogram matching means 16 and a reference time series signal,
That is, when a video signal to be searched as a sample and an input time-series signal, that is, a video signal to be searched are input, and the degree of similarity with the reference time-series signal exceeds a preset value (called a search threshold) θ The location of the series signal is output.
【００１２】参照特徴計算手段１０は、入力端子１００
から入力される参照時系列信号から、特徴ベクトルから
なる参照特徴時系列信号を導く参照特徴計算処理を行な
う機能を有する。また、入力特徴計算手段１１は、入力
端子１０１から入力される入力時系列信号から、特徴ベ
クトルからなる入力特徴時系列信号を導く入力特徴計算
処理を行なう機能を有する。学習手段１２は、特徴の変
動量を前もって算出する学習処理を行なう機能を有す
る。The reference feature calculation means 10 has an input terminal 100.
It has a function of performing reference feature calculation processing for deriving a reference feature time-series signal composed of a feature vector from the reference time-series signal input from. Further, the input feature calculation means 11 has a function of performing an input feature calculation process for deriving an input feature time series signal composed of a feature vector from an input time series signal input from the input terminal 101. The learning unit 12 has a function of performing a learning process of calculating the variation amount of the characteristic in advance.
【００１３】参照特徴変動付加手段１３は、前記特徴ベ
クトルからなる参照特徴時系列信号に対して、変動を付
加する変動付加処理を行なう機能を有する。参照特徴符
号化手段１４は、前記参照特徴時系列信号を、分類を表
す符号からなる参照符号時系列信号に変換する参照特徴
符号化処理を行なう機能を有する。入力特徴符号化手段
１５は、前記入力特徴時系列信号を、分類を表す符号か
らなる入力符号時系列信号に変換する入力特徴符号化処
理を行なう機能を有する。The reference feature variation adding means 13 has a function of performing a variation adding process for adding variation to the reference feature time series signal composed of the feature vector. The reference feature encoding means 14 has a function of performing a reference feature encoding process for converting the reference feature time-series signal into a reference code time-series signal including a code representing a classification. The input feature encoding means 15 has a function of performing an input feature encoding process for converting the input feature time series signal into an input code time series signal composed of a code representing a classification.
【００１４】ヒストグラム照合手段１６は、前記入力符
号時系列信号中に照合区間を設定し、前記参照符号時系
列信号と、前記入力符号時系列信号中の該照合区間それ
ぞれについてヒストグラムを作成し、該ヒストグラムに
基づいて類似度を計算するヒストグラム照合処理を行な
う機能を有する。ヒストグラム照合手段１６は、入力符
号時系列信号中の前記照合区間を変えながら各照合区間
毎に類似度を求め、該類似度と予め設定した目標とする
類似度とを比較し、この比較動作を、照合区間を変える
毎に繰り返すことにより、参照時系列信号が入力時系列
信号の当該箇所に存在するかどうかを決定する。上記各
手段の機能は、実際にはコンピュータにより実現され
る。The histogram matching means 16 sets a matching section in the input code time-series signal and creates a histogram for each of the reference code time-series signal and the matching section in the input code time-series signal. It has a function of performing a histogram matching process for calculating the degree of similarity based on the histogram. The histogram matching unit 16 obtains the similarity for each matching interval while changing the matching interval in the input code time-series signal, compares the similarity with a preset target similarity, and performs this comparison operation. , It is repeated every time the matching section is changed to determine whether or not the reference time-series signal is present in the relevant part of the input time-series signal. The functions of the above means are actually realized by a computer.
【００１５】次に、上記構成からなる本実施の形態に係
る信号検出装置の動作を具体的に説明する。図６は、図
１に示す信号検出装置の動作を示すフローチャートであ
る。参照特徴計算手段１０では、はじめに、入力端子１
００を介して与えられた参照時系列信号を読み込む（ス
テップＳ１）。次に、読み込んだ参照時系列信号に対し
て特徴抽出を行う（ステップＳ２）。本実施の形態で
は、特徴として縮小画像を用いる。例えば、テレビの放
送信号から１５秒程度の映像信号を検索したい場合に、
特徴抽出の具体的な設定を次のようにすると、良い結果
が得られる。すなわち、１フレームの画像を横に４等分
割、縦に３等分割することにより、１２個の領域を設
け、各領域内でＲ（赤）、Ｇ（緑）、Ｂ（青）、それぞ
れについて画素値を平均する。前記１２個の領域におけ
るＲ、Ｇ、Ｂ、それぞれの平均画素値（画素値の合計÷
画素数）からなる３６次元ベクトルを特徴ベクトルとす
る。この場合、前記特徴ベクトルは１フレーム毎に得ら
れる。Next, the operation of the signal detecting apparatus according to the present embodiment having the above-mentioned configuration will be specifically described. FIG. 6 is a flowchart showing the operation of the signal detection device shown in FIG. In the reference feature calculation means 10, first, the input terminal 1
The reference time series signal given via 00 is read (step S1). Next, feature extraction is performed on the read reference time-series signal (step S2). In the present embodiment, a reduced image is used as a feature. For example, if you want to search for a video signal of about 15 seconds from the TV broadcast signal,
Good results can be obtained by setting the specific settings for feature extraction as follows. That is, by dividing an image of one frame horizontally into four equal parts and vertically into three equal parts, twelve regions are provided, and within each region, R (red), G (green), and B (blue), respectively. Average the pixel values. The average pixel value of each of R, G, and B in the 12 regions (total of pixel values ÷
A 36-dimensional vector including the number of pixels) is defined as a feature vector. In this case, the feature vector is obtained for each frame.
【００１６】また、入力特徴計算手段１１では、はじめ
に、入力端子１０１を介して入力時系列信号を読み込む
（ステップＳ１１）。次に、読み込んだ入力時系列信号
に対して特徴抽出を行う（ステップＳ１２）。特徴抽出
は、前記参照特徴計算手段１０において行ったものと同
じ操作を行う。The input feature calculation means 11 first reads the input time-series signal via the input terminal 101 (step S11). Next, feature extraction is performed on the read input time-series signal (step S12). The feature extraction is performed by the same operation as that performed by the reference feature calculation means 10.
【００１７】学習手段１２では、はじめに、参照時系列
信号や入力時系列信号とは別の十分長い映像信号を用意
する。次に、特徴変動の要因となる装置を介して、前記
映像信号を信号検出装置に取り込む。ここで、特徴変動
の要因となる装置とは、例えば、ダビングする装置やフ
レームを間引く装置などがこれに該当する。それとは別
に、前記映像信号をそのまま信号検出装置に取り込む。In the learning means 12, first, a sufficiently long video signal different from the reference time series signal and the input time series signal is prepared. Next, the video signal is taken into the signal detection device through the device that causes the characteristic variation. Here, the device that causes the characteristic variation corresponds to, for example, a device for dubbing or a device for thinning out frames. Separately, the video signal is directly taken into the signal detection device.
【００１８】次いで、学習手段１２は、前記特徴変動の
要因となる装置を介した映像信号と、前記そのまま信号
検出装置に取り込んだ映像信号を１フレーム毎に対応付
け、映像対を作成する。前記映像対から、参照時系列信
号から入力時系列信号への変動の確率分布を得る。この
確率分布は、次のようにモデル化すると、良い結果が得
られる。すなわち、この確率分布は、正規分布によりモ
デル化したものを用いる。特徴ベクトルのベクトル空間
に複数の分割領域を設定し、該モデルのパラメータは該
分割領域毎の平行移動量と分散量とする。前記分割領域
は、前もって６時間分の映像信号から、公知の方法であ
るＬＧＢアルゴリズムにより４０９６個の代表ベクトル
を求め、最も近い該代表ベクトルが同一である特徴ベク
トルのベクトル空間上の領域毎に分割された領域であ
る。Next, the learning means 12 associates, for each frame, the video signal that has passed through the device that causes the characteristic variation with the video signal that has been taken into the signal detection device as it is, and creates a video pair. From the image pair, the probability distribution of the variation from the reference time series signal to the input time series signal is obtained. Modeling this probability distribution as follows gives good results. That is, as this probability distribution, a model modeled by a normal distribution is used. A plurality of divided areas are set in the vector space of the feature vector, and the parameters of the model are the parallel movement amount and the dispersion amount for each divided area. The divided areas are obtained in advance from the video signal for 6 hours by 4096 representative vectors by the known method LGB algorithm, and are divided into areas in the vector space of the feature vectors whose closest representative vectors are the same. This is the area that was created.
【００１９】参照特徴変動付加手段１３では、はじめ
に、参照特徴計算手段１０により得られた参照特徴時系
列信号の特徴ベクトル毎に、図２示すように、前記平行
移動量と前記分散量をもつ正規分布に基づいた正規乱数
を発生させて、該正規乱数を参照特徴時系列信号に付加
する（ステップＳ３）。In the reference feature variation adding means 13, first, as shown in FIG. 2, for each feature vector of the reference feature time-series signal obtained by the reference feature calculating means 10, as shown in FIG. A normal random number based on the distribution is generated, and the normal random number is added to the reference feature time series signal (step S3).
【００２０】参照特徴符号化手段１４では、はじめに、
前記参照特徴変動付加手段１３から得られた変動を付加
した参照特徴時系列信号を読み込む。前記変動を付加し
た参照特徴時系列信号のそれぞれの特徴ベクトルに対し
て前記代表ベクトルの中から最も近い代表ベクトルを計
算し、その代表ベクトルの番号を、分類を表す符号とす
る（ステップＳ４）。入力特徴符号化手段１５では、は
じめに、前記入力特徴時系列信号を読み込む。前記参照
特徴符号化手段１４と同様の処理を行い、分類を表す符
号を計算する（ステップＳ１４）。In the reference feature encoding means 14, first,
The reference feature time series signal to which the variation obtained from the reference feature variation adding means 13 is added is read. The closest representative vector is calculated from the representative vectors for each feature vector of the reference feature time-series signal added with the variation, and the number of the representative vector is used as a code representing the classification (step S4). The input feature encoding means 15 first reads the input feature time series signal. The same processing as that of the reference feature coding means 14 is performed to calculate the code representing the classification (step S14).
【００２１】ヒストグラム照合手段１６では、はじめ
に、参照特徴符号化手段１４及び、入力特徴符号化手段
１５から出力された、分類を表す符号を読み込む。次
に、ヒストグラム照合手段は、参照符号時系列信号につ
いてのヒストグラムを計算する（ステップＳ６）。すな
わち、ヒストグラムの横軸は分類を表す符号となり、縦
軸はその符号の頻度となる。続いて、入力符号時系列信
号に対して照合区間を設定する（ステップＳ１５）。The histogram collating means 16 first reads the code representing the classification output from the reference feature coding means 14 and the input feature coding means 15. Next, the histogram matching unit calculates a histogram for the reference code time series signal (step S6). That is, the horizontal axis of the histogram is the code representing the classification, and the vertical axis is the frequency of the code. Then, a matching section is set for the input code time series signal (step S15).
【００２２】まず、ヒストグラム照合手段１６は、参照
特徴符号化手段１４で与えられた参照符号時系列信号と
同じ長さの照合区間を設定する。次に、照合区間内の入
力符号時系列信号から、ヒストグラムを作成する（ステ
ップＳ１６）。このヒストグラムは、上記参照符号時系
列信号で行ったものと同じ方法によって行う。続いて、
参照符号時系列信号と入力符号時系列信号の照合区間の
ヒストグラムの類似度を計算する（ステップＳ２１）。
参照符号時系列信号のヒストグラムＨRと入力符号時系
列信号の照合区間のヒストグラムＨIとの類似度Ｓ
RIは、次のように定義される。First, the histogram collating means 16 sets a collating section having the same length as the reference code time series signal given by the reference feature encoding means 14. Next, a histogram is created from the input code time series signal in the matching section (step S16). This histogram is performed by the same method as that performed with the reference code time series signal. continue,
The similarity of the histogram of the matching section of the reference code time series signal and the input code time series signal is calculated (step S21).
Similarity S of the histogram H R numerals time-series signal a histogram H I collation section of the input code time-series signal
RI is defined as follows.
【数１】
ただし、Ｌはヒストグラムのビンの総数（本実施例では
４０９６）、Ｄはヒストグラムの総度数（一つの参照時
系列信号から導かれた特徴ベクトルの総数）であり、ｈ
Rl，ｈIlは、それぞれＨR，ＨIのｌ番目のビンに含まれ
る特徴ベクトルの数（度数）を表す。[Equation 1] However, L is the total number of histogram bins (4096 in this embodiment), D is the total frequency of the histogram (total number of feature vectors derived from one reference time-series signal), and h
Rl and h Il represent the number (frequency) of feature vectors included in the l-th bin of H R and H I , respectively.
【００２３】ヒストグラム照合手段１６は、求めた類似
度の値が予め設定した値を越えている場合は、参照時系
列信号が入力時系列信号中に存在したことを意味するの
で（ステップＳ２２）、信号検出結果として、入力時系
列信号中の照合区間の現在位置を示す信号を出力子１０
２より出力する（ステップＳ２３）。この出力信号に基
づいて、自動映像記録や特定のコンテンツ検索等の、様
々な制御を行うことができる。また、マッチング結果と
しての「時刻−類似度」のリスト等をディスプレイ（図
示略）に表示しても良い。If the calculated similarity value exceeds the preset value, the histogram matching means 16 means that the reference time series signal is present in the input time series signal (step S22). As a signal detection result, a signal indicating the current position of the matching section in the input time series signal is output by the output unit 10.
2 is output (step S23). Based on this output signal, various controls such as automatic video recording and specific content search can be performed. Also, a list of “time-similarity” as a matching result may be displayed on a display (not shown).
【００２４】次に、この発明を適用した装置の動作実験
例を示す。本発明の効果を確認するため、１０分の映像
信号を入力時系列信号とし、無作為に選択した２００個
の参照時系列信号（１５秒間）について探索を行い、本
発明を適用しなかった場合と精度を比較した。入力時系
列信号は、あるテレビ放送の映像信号をそのまま装置に
取り込んだもの、ビデオデッキでダビングを２回してか
ら装置に取り込んだもの、ダビングを４回してから装置
に取り込んだものの合計３つ用意した。なお、参照時系
列信号については、上記入力時系列信号とは別にあるテ
レビ放送の映像信号をそのまま装置に取り込んだものを
使用した。Next, an operation experiment example of the apparatus to which the present invention is applied will be shown. In order to confirm the effect of the present invention, a 10-minute video signal is used as an input time-series signal, a search is performed on 200 randomly selected reference time-series signals (15 seconds), and the present invention is not applied. And compared the precision. There are 3 input time series signals: one that captures the video signal of a certain TV broadcast as it is, the one that dubbed twice on the VCR and then the instrument, and one that dubbed 4 times and then the device. did. As the reference time-series signal, a signal in which a video signal of a television broadcast, which is separate from the input time-series signal, is directly loaded into the device is used.
【００２５】精度は、探索閾値の設定を調節して、適合
率と再現率が等しくなるときの値（即ち、適合率または
再現率）とした。ここで適合率とは、探索結果として出
力されたもののうち正しいものの割合をいい、再現率と
は、探索されるべきもののうち探索結果として出力され
たもの割合をいうものとする。本明細書でいう適合率や
再現率は、探索閾値の設定によって変化するが、本実験
では、探索閾値を次式によって定めた。The precision is a value when the precision and recall are equal by adjusting the setting of the search threshold (that is, precision or recall). Here, the precision ratio means the ratio of correct ones among those output as the search result, and the recall ratio means the ratio of those output as the search result among those to be searched. The precision rate and recall rate referred to in this specification vary depending on the setting of the search threshold value, but in this experiment, the search threshold value was determined by the following equation.
【数２】
ここで、ｍとνは、それぞれ、与えられた参照時系列信
号について入力時系列信号をサンプリングし、予備的に
類似度の計算を行って収集した類似度の平均と標準偏差
であり、ｔは経験的に与えられる係数である。ただし、
式（２）において、θが１を越えるときは、θ＝１、θ
が０を下回るときはθ＝０とした。本実験では、式
（２）におけるｔの値を２００回の処理繰り返し中一定
とし、その値を適合率と再現率がほぼ等しくなるように
調節した。[Equation 2] Here, m and ν are the average and standard deviation of the similarities collected by sampling the input time-series signal with respect to the given reference time-series signal and preliminary calculating the similarity, and t is It is an empirically given coefficient. However,
In the formula (2), when θ exceeds 1, θ = 1, θ
When is less than 0, θ = 0 is set. In this experiment, the value of t in the equation (2) was kept constant during the 200 times of processing, and the value was adjusted so that the precision and recall were almost equal.
【００２６】本実験の結果、上記精度は、図３に示すよ
うに、ダビング４回の場合、従来法で７９．９％、本発
明による方法（提案法）で９３．９％であった。このよ
うに、本発明による信号検出装置、信号検出方法によ
り、信号検出精度、すなわち信号探索精度が向上したこ
とを確認することができる。尚、本実施の形態では、参
照特徴変動付加手段１３が、参照特徴計算手段１０の出
力である参照特徴時系列信号に対して変動を付加するよ
うにしているが、本発明はこれに限らず、参照時系列信
号、入力時系列信号、参照特徴時系列信号、入力特徴時
系列信号、参照符号時系列信号、入力符号時系列信号の
うちの少なくとも１つに変動を与えるものであればよ
い。As a result of this experiment, as shown in FIG. 3, the accuracy was 79.9% in the conventional method and 93.9% in the method according to the present invention (proposed method) when dubbing was performed four times. In this way, it can be confirmed that the signal detection accuracy, that is, the signal search accuracy is improved by the signal detection device and the signal detection method according to the present invention. In the present embodiment, the reference feature variation adding means 13 adds a variation to the reference feature time series signal output from the reference feature calculating means 10, but the present invention is not limited to this. , The reference time series signal, the input time series signal, the reference feature time series signal, the input feature time series signal, the reference code time series signal, and the input code time series signal may be varied.
【００２７】参照時系列信号、または前記入力時系列信
号に変動を付加する場合、１つの参照時系列信号、また
は入力時系列信号の各時間セクションの信号部分に対し
て多数の変動を付加した信号を生成するようにしても良
い。また、参照特徴時系列信号、または入力特徴時系列
信号に変動を付加する場合、１つの前記特徴ベクトルに
対して多数の変動を付加した特徴ベクトルを生成するよ
うにしても良い。また、参照符号時系列信号、または入
力符号時系列信号に変動を付加する場合、１つの参照符
号時系列信号、または入力符号時系列信号を構成する各
々の符号に対して多数の変動を付加した信号を生成する
ようにしても良い。When a variation is added to the reference time-series signal or the input time-series signal, one reference time-series signal or a signal obtained by adding a large number of variations to the signal portion of each time section of the input time-series signal. May be generated. Further, when adding a variation to the reference feature time-series signal or the input feature time-series signal, a feature vector in which a large number of variations are added to one feature vector may be generated. Further, when adding fluctuations to the reference code time series signal or the input code time series signal, a large number of fluctuations are added to one code forming the reference code time series signal or each input code time series signal. A signal may be generated.
【００２８】また、上述した信号検出方法をコンピュー
タにより実行させるためのプログラムをコンピュータに
より読み取り可能な記録媒体に記録して、この記録媒体
に記録されたプログラムをコンピュータシステムに読み
込ませ、実行することにより信号検出機能を実現するよ
うにしてもよい。なお、ここでいう「コンピュータシス
テム」とは、ＯＳや周辺機器等のハードウェアを含むも
のとする。また、「コンピュータシステム」は、ＷＷＷ
システムを利用している場合であれば、ホームページ提
供環境（あるいは表示環境）を含むものとする。Further, by recording a program for causing the computer to execute the above-described signal detecting method in a computer-readable recording medium, and by causing the computer system to read and execute the program recorded in the recording medium. You may make it implement | achieve a signal detection function. The “computer system” mentioned here includes an OS and hardware such as peripheral devices. Also, "computer system" is WWW
If you are using the system, it includes the homepage providing environment (or display environment).
【００２９】また、「コンピュータ読み取り可能な記録
媒体」とは、フレキシブルディスク、光磁気ディスク、
ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシス
テムに内蔵されるハードディスク等の記憶装置のことを
いう。さらに「コンピュータ読み取り可能な記録媒体」
とは、インターネット等のネットワークや電話回線等の
通信回線を介してプログラムを送信する場合の通信線の
ように、短時間の間、動的にプログラムを保持するも
の、その場合のサーバやクライアントとなるコンピュー
タシステム内部の揮発性メモリのように、一定時間プロ
グラムを保持しているものも含むものとする。The "computer-readable recording medium" means a flexible disk, a magneto-optical disk,
A portable medium such as a ROM or a CD-ROM, or a storage device such as a hard disk built in a computer system. Furthermore, "computer-readable recording medium"
Means a program that dynamically holds a program for a short period of time, such as a communication line for transmitting a program through a network such as the Internet or a communication line such as a telephone line, and a server or client in that case. Such a volatile memory inside a computer system that holds a program for a certain period of time is also included.
【００３０】また上記プログラムは、前述した機能の一
部を実現するためのものであっても良く、さらに前述し
た機能をコンピュータシステムにすでに記録されている
プログラムとの組み合わせで実現できるもの、いわゆる
差分ファイル（差分プログラム）であっても良い。Further, the above program may be one for realizing a part of the above-mentioned function, and a program for realizing the above-mentioned function in combination with a program already recorded in the computer system, that is, a so-called difference. It may be a file (difference program).
【００３１】以上に説明したように、本発明の実施の形
態に係る信号検出装置によれば、長い入力時系列信号か
ら、あらかじめ登録した短い参照時系列信号に類似した
部分を探し出す場合に、特徴変動を付加する変動付加手
段を設けて特徴変動を考慮した信号検出処理を行うこと
により、ターゲットとなる位置の類似度を高めるととも
に、それ以外の場所での類似度を低めて、検出漏れや誤
検出を防ぐことによって、従来の信号検出装置に比較し
て、より特徴変動に頑健な信号検出を行うことができ
る。As described above, the signal detecting apparatus according to the embodiment of the present invention is characterized in that a portion similar to a short reference time-series signal registered in advance is searched for from a long input time-series signal. By providing a variation adding unit that adds variation and performing signal detection processing that considers characteristic variations, the similarity at the target position is increased and the similarity at other locations is reduced, resulting in detection omissions or false detections. By preventing the detection, it is possible to perform signal detection that is more robust against feature fluctuations as compared with the conventional signal detection device.
【００３２】また、図４に示すように、ヒストグラム照
合手段１６から出力される信号検出結果を示す信号を学
習手段１２０に入力してフィードバックし、類似度等の
信号検出結果に基づいて、学習した特徴の変動量を補正
する（即ち、再学習する）ようにしても良い。Further, as shown in FIG. 4, a signal indicating the signal detection result output from the histogram matching means 16 is input to the learning means 120 and fed back, and learning is performed based on the signal detection result such as the similarity. It is also possible to correct (that is, re-learn) the variation amount of the feature.
【００３３】次に、音響信号の信号検出に本発明を適用
した実施形態を示す。近年、ノート型コンピュータやＰ
ＤＡ，携帯電話のような携帯端末を用いて情報検索を行
う機会が増えてきている。このような携帯端末も、文字
情報だけでなく、音や映像も扱えるようになり、今後、
携帯端末を用いた音や映像の検索の二一ズが増加すると
考えられる。Next, an embodiment in which the present invention is applied to signal detection of acoustic signals will be described. In recent years, notebook computers and P
Opportunities to search information using mobile terminals such as DAs and mobile phones are increasing. Such mobile terminals can handle not only text information but also sound and video.
It is considered that the number of searches for sounds and images using mobile terminals will increase.
【００３４】携帯端末を用いた音や映像の検索として、
発明者等は、実環境中で流れている音から携帯電話を通
して抽出された信号を探索キーとして音の探索を行なう
システムを検討している。このような探索が実現すれ
ば，街角で流れている楽曲を携帯電話に入力することに
より、その楽曲に関するアーティストやＣＤ、コンサー
ト情報などを検索するといったような新しい情報検索が
可能となる。この場合の問題点として、膨大な音響信号
のデータから入力した目的信号を高速に探索しなければ
ならないという問題、実環境中の雑音によって特徴が変
形してしまっているという問題が挙げられる。本発明に
よる手法は、このような問題の解決に有効である。As a search for sound and video using a portable terminal,
The inventors are studying a system for performing sound search using a signal extracted from a sound that is flowing in a real environment through a mobile phone as a search key. If such a search is realized, by inputting the music playing on the street corner into the mobile phone, it becomes possible to search for new information such as searching for artist, CD, concert information, etc. related to the music. Problems in this case include a problem that a target signal input from a huge amount of acoustic signal data must be searched at high speed, and a feature is deformed by noise in the actual environment. The method according to the present invention is effective in solving such a problem.
【００３５】図５は、本実施形態における信号検出装置
５０の構成を示すブロック図である。一例として、９分
間のＣＤの音楽データを（長い）入力時系列信号、この
９分間のＣＤの音楽データを様々な端末を通して得られ
た信号から７．５秒を切り出したものを（短い）参照時
系列信号とする。この場合、参照時系列信号を出力する
端末側が特徴変動の要因となる装置にあたるので、図５
に示すように、学習手段５２、入力特徴変動付加手段５
３を、入力時系列信号側に設ける。FIG. 5 is a block diagram showing the configuration of the signal detection device 50 in this embodiment. As an example, refer to the (long) input time-series signal for the 9-minute CD music data, and the (short) 7.5-second clip from this 9-minute CD music data obtained through various terminals. It is a time series signal. In this case, the terminal side that outputs the reference time-series signal corresponds to the device that causes the characteristic variation, and therefore FIG.
As shown in, learning means 52 and input feature variation adding means 5
3 is provided on the input time series signal side.
【００３６】即ち、学習手段５２は、図１の学習手段１
２と同様に特徴の変動量を前もって学習により求める学
習処理を行なう機能を有するものであり、特徴変動の要
因となる端末を介した所定の学習用音響信号と、そのま
ま装置に取り込んだ該学習用音響信号とを用いて、入力
時系列信号から参照時系列信号への変動の確率分布を得
る。ここでは、特徴ベクトルとして帯域通過フィルタを
用いて得られた周波数スペクトルを用いる。入力特徴変
動付加手段５３では、入力特徴計算手段１１により得ら
れた入力特徴時系列信号の特徴ベクトル毎に、変動付加
処理を行なう。That is, the learning means 52 is the learning means 1 of FIG.
As in the case of 2, there is a function of performing a learning process to obtain the variation amount of the characteristic by learning in advance, and a predetermined learning acoustic signal via the terminal which causes the characteristic variation and the learning signal which is directly taken into the device. The probability distribution of the change from the input time series signal to the reference time series signal is obtained using the acoustic signal. Here, a frequency spectrum obtained by using a bandpass filter is used as the feature vector. The input feature variation addition means 53 performs variation addition processing for each feature vector of the input feature time series signal obtained by the input feature calculation means 11.
【００３７】このように、本発明による信号検出装置及
び方法は、変動付加手段を適正な位置に設けることによ
り、各種の信号に対して有効に適用することができる。As described above, the signal detecting apparatus and method according to the present invention can be effectively applied to various signals by providing the variation adding means at an appropriate position.
【００３８】[0038]
【発明の効果】以上説明したように、本発明によれば、
長い入力時系列信号から、あらかじめ登録した、それよ
りも短い参照時系列信号に類似した部分を探し出す場合
に、特徴変動を考慮した信号検出処理を行うことによ
り、ターゲットとなる位置の類似度を高めるとともに、
それ以外の場所での類似度を低めて、検出漏れや誤検出
を防ぐことができる。これにより、従来の信号検出方法
に比べて、より特徴変動に頑健な信号検出を行なうこと
ができる。As described above, according to the present invention,
When searching for a portion similar to a reference time-series signal that has been registered in advance from a long input time-series signal, by performing signal detection processing that considers feature fluctuations, the similarity of the target position is increased. With
It is possible to reduce the degree of similarity in other places and prevent omission or false detection. As a result, it is possible to perform signal detection that is more robust against characteristic fluctuations, as compared with the conventional signal detection method.
【図１】 本発明の実施の形態に係る映像信号を対象と
する信号検出装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a signal detection device for a video signal according to an embodiment of the present invention.
【図２】 同信号検出装置の作用を説明する図である。FIG. 2 is a diagram illustrating an operation of the signal detection device.
【図３】 本発明と従来法との信号探索精度の比較結果
を示すグラフである。FIG. 3 is a graph showing a comparison result of signal search accuracy between the present invention and a conventional method.
【図４】 図１の信号検出装置の変形例を示すブロック
図である。FIG. 4 is a block diagram showing a modification of the signal detection device of FIG.
【図５】 本発明の他の実施の形態に係る信号検出装置
の構成を示すブロック図である。FIG. 5 is a block diagram showing a configuration of a signal detection device according to another embodiment of the present invention.
【図６】 図１に示す信号検出装置の動作を示すフロー
チャートである。FIG. 6 is a flowchart showing an operation of the signal detection device shown in FIG.
【符号の説明】
１、５０ 信号検出装置
１０ 参照特徴計算手段
１１ 入力特徴計算手段
１２、５２、１２０ 学習手段
１３ 参照特徴変動付加手段（変動付加手
段）
１４ 参照特徴符号化手段
１５ 入力特徴符号化手段
１６ ヒストグラム照合手段
５３ 入力特徴変動付加手段（変動付加手
段）
１００、１０１ 入力端子
１０２ 出力端子[Description of Reference Signs] 1, 50 Signal detection device 10 Reference feature calculation means 11 Input feature calculation means 12, 52, 120 Learning means 13 Reference feature variation addition means (variation addition means) 14 Reference feature encoding means 15 Input feature encoding Means 16 Histogram collating means 53 Input feature variation adding means (variation adding means) 100, 101 Input terminal 102 Output terminal
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｈ０４Ｎ 5/76 (56)参考文献 特開 平６−43892（ＪＰ，Ａ) 特開 平６−318256（ＪＰ，Ａ) 特開 平10−294923（ＪＰ，Ａ) 特開2000−322450（ＪＰ，Ａ) 特許3065314（ＪＰ，Ｂ２) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/91 - 5/956 G10L 15/10 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI H04N 5/76 (56) References JP-A-6-43892 (JP, A) JP-A-6-318256 (JP, A) Special Kaihei 10-294923 (JP, A) JP 2000-322450 (JP, A) Patent 3065314 (JP, B2) (58) Fields investigated (Int.Cl. 7 , DB name) H04N 5/91-5 / 956 G10L 15/10
Claims (22)
の参照時系列信号に類似した部分を、検索対象として入
力される、前記参照時系列信号よりも信号長の長い入力
時系列信号中に探し出す信号検出方法において、 前記参照時系列信号から、特徴ベクトルからなる参照特
徴時系列信号を導く参照特徴計算処理と、 前記入力時系列信号から、特徴ベクトルからなる入力特
徴時系列信号を導く入力特徴計算処理と、 前記参照特徴時系列信号を、作成すべきヒストグラムの
横軸を構成する分類を表す符号からなる参照符号時系列
信号に変換する参照特徴符号化処理と、 前記入力特徴時系列信号を、前記分類を表す符号からな
る入力符号時系列信号に変換する入力特徴符号化処理
と、 前記参照時系列信号と、前記入力時系列信号と、前記参
照特徴時系列信号と、前記入力特徴時系列信号と、前記
参照符号時系列信号と、前記入力符号時系列信号のうち
少なくとも１つに対して、当該信号に関して予測される
信号の変動を付加する変動付加処理と、 前記入力符号時系列信号中に所定時間分の照合区間を設
定し、前記参照符号時系列信号と、前記入力符号時系列
信号中の該照合区間それぞれについて前記分類を表す符
号を横軸、各符号の出現頻度を縦軸とするヒストグラム
を作成し、両ヒストグラムに基づいて前記入力符号時系
列信号の照合区間と前記参照符号時系列信号との類似度
を計算するヒストグラム照合処理とを有し、 前記類似度と、あらかじめ設定した目標とする類似度と
を比較し、前記ヒストグラム照合処理を前記入力符号時
系列信号中の前記照合区間を変えながら繰り返すことに
より、前記参照時系列信号が、前記入力時系列信号の当
該箇所に存在するかどうかを決定することを特徴とする
信号検出方法。[Claim 1] was sub et al. Beforehand registration, as sample data
Enter the part similar to the reference time series signal of
Input with a longer signal length than the reference time series signal
In a signal detection method for searching in a time series signal, a reference feature calculation process for deriving a reference feature time series signal composed of a feature vector from the reference time series signal, and an input feature time series composed of a feature vector from the input time series signal. Input feature calculation processing for deriving a signal, and the reference feature time series signal of the histogram to be created
A reference feature coding process of converting the reference numerals time-series signal comprising a code indicating a classification constituting a horizontal axis, an input for converting said input feature time-series signal, the input code time-series signal comprising a code representative of said classification Feature encoding process, the reference time series signal, the input time series signal, the reference feature time series signal, the input feature time series signal, the reference code time series signal, the input code time series signal Predicted for the signal for at least one of the
A fluctuation adding process for adding a signal fluctuation, and setting a matching section for a predetermined time in the input code time series signal, for each of the reference code time series signal and the matching section in the input code time series signal Mark representing the classification
Horizontal axis No., a histogram of the vertical axis the frequency of occurrence of each code, the histogram matching to calculate a similarity between the reference numeral time-series signal and the collation section of the input code time-series signal on the basis of both histograms Processing, comparing the similarity and a target similarity set in advance, by repeating the histogram matching process while changing the matching section in the input code time series signal, the reference time A signal detection method, characterized in that it is determined whether or not a serial signal exists at the location of the input time-series signal.
系列信号、または前記入力時系列信号に変動を付加する
場合、１つの参照時系列信号、または入力時系列信号の
各時間セクションの信号部分に対して複数の予測される
変動を付加した信号を生成することを特徴とする請求項
１に記載の信号検出方法。2. In the fluctuation adding process, when fluctuation is added to the reference time series signal or the input time series signal, one reference time series signal or a signal portion of each time section of the input time series signal is added. The signal detection method according to claim 1, wherein a signal to which a plurality of predicted fluctuations are added is generated.
徴時系列信号、または前記入力特徴時系列信号に変動を
付加する場合、１つの前記特徴ベクトルに対して複数の
予測される変動を付加した特徴ベクトルを生成すること
を特徴とする請求項１に記載の信号検出方法。Wherein in the variation addition process, when adding the change to the reference feature time-series signal or the input feature time-series signal, a plurality of to one of said feature vectors
The signal detection method according to claim 1, wherein a feature vector to which the predicted variation is added is generated.
号時系列信号、または前記入力符号時系列信号に変動を
付加する場合、１つの参照符号時系列信号、または入力
符号時系列信号を構成する各々の符号に対して複数の予
測される変動を付加した信号を生成することを特徴とす
る請求項１に記載の信号検出方法。4. When adding variation to the reference code time-series signal or the input code time-series signal in the variation adding process, one reference code time-series signal or an input code time-series signal is formed respectively. a plurality of pre respect of the code
The signal detection method according to claim 1, wherein a signal to which the measured fluctuation is added is generated.
動の量を、前記参照時系列信号および前記入力時系列信
号とは異なる別の時系列信号と、この時系列信号に予測
される変動を付加した信号とを比較することにより前も
って算出する学習処理を更に有し、 前記変動付加処理において、前記学習処理が算出した変
動量に基づいて変動を付加することを特徴とする請求項
１に記載の信号検出方法。5. The amount of variable <br/> dynamic to be added in the variation addition process, the reference time-series signal and the input time-series signal
Signal and another time series signal different from the
Further includes a learning process for calculating in advance by comparing with a signal added with the fluctuation, wherein in the fluctuation adding process, the fluctuation is added based on the fluctuation amount calculated by the learning process. The signal detection method according to claim 1, wherein
信号の当該箇所に存在するかどうかを決定した検出結果
に基づいて、前記学習処理において算出される変動量を
補正することを特徴とする請求項５に記載の信号検出方
法。6. The variation amount calculated in the learning process is corrected based on a detection result which determines whether or not the reference time-series signal exists at the location of the input time-series signal. The signal detection method according to claim 5.
変動を付加することを特徴とする請求項１に記載の信号
検出方法。7. The signal detecting method according to claim 1, wherein the fluctuation adding process adds a fluctuation using a random number.
行移動量と分散量をパラメータとしてモデル化し、 前記平行移動量と前記分散量の少なくとも一方を用い
て、変動を付加することを特徴とする請求項５または７
のいずれかに記載の信号検出方法。8. In the variation adding process, the variation amount for varying the feature is modeled by a normal distribution using the parallel movement amount and the dispersion amount as parameters, and at least one of the parallel movement amount and the dispersion amount is used. And adding fluctuations to the data.
The signal detection method according to any one of 1.
信号は、それぞれ映像信号である請求項１に記載の信号
検出方法。9. The signal detecting method according to claim 1, wherein the input time series signal and the reference time series signal are video signals.
列信号は、それぞれ音響信号である請求項１に記載の信
号検出方法。10. The signal detection method according to claim 1, wherein the input time series signal and the reference time series signal are acoustic signals.
ての参照時系列信号に類似した部分を、検索対象として
入力される、前記参照時系列信号よりも信号長の長い入
力時系列信号中に探し出す信号検出装置において、 前記参照時系列信号から、特徴ベクトルからなる参照特
徴時系列信号を導く参照特徴計算手段と、 前記入力時系列信号から、特徴ベクトルからなる入力特
徴時系列信号を導く入力特徴計算手段と、 前記参照特徴時系列信号を、作成すべきヒストグラムの
横軸を構成する分類を表す符号からなる参照符号時系列
信号に変換する参照特徴符号化手段と、 前記入力特徴時系列信号を、前記分類を表す符号からな
る入力符号時系列信号に変換する入力特徴符号化手段
と、 前記参照時系列信号と、前記入力時系列信号と、前記参
照特徴時系列信号と、前記入力特徴時系列信号と、前記
参照符号時系列信号と、前記入力符号時系列信号のうち
少なくとも１つに対して、当該信号に関して予測される
信号の変動を付加する変動付加手段と、 前記入力符号時系列信号中に所定時間分の照合区間を設
定し、前記参照符号時系列信号と、前記入力符号時系列
信号中の該照合区間それぞれについて前記分類を表す符
号を横軸、各符号の出現頻度を縦軸とするヒストグラム
を作成し、両ヒストグラムに基づいて前記入力符号時系
列信号の照合区間と前記参照符号時系列信号との類似度
を計算するヒストグラム照合手段とを有し、 前記ヒストグラム照合手段は、前記入力符号時系列信号
中の前記照合区間を変えながら各照合区間毎に前記類似
度を求め、該類似度とあらかじめ設定した目標とする類
似度とを比較し、この比較動作を照合区間を変える毎に
繰り返すことにより、参照時系列信号が、入力時系列信
号の当該箇所に存在するかどうかを決定することを特徴
とする信号検出装置。11. The sub et al beforehand registered, and sample data
The similar parts to the reference time-series signal of Te, as a search target
Input signal with a longer signal length than the reference time series signal.
In a signal detection device for searching in a power time series signal, reference feature calculation means for deriving a reference feature time series signal composed of a feature vector from the reference time series signal, and an input feature time composed of a feature vector from the input time series signal. Input feature calculation means for deriving a series signal, and the reference feature time series signal of the histogram to be created
A reference feature coding means for converting the reference numerals time-series signal comprising a code indicating a classification constituting a horizontal axis, an input for converting said input feature time-series signal, the input code time-series signal comprising a code representative of said classification Feature encoding means, the reference time-series signal, the input time-series signal, the reference feature time-series signal, the input feature time-series signal, the reference code time-series signal, the input code time-series signal Predicted for the signal for at least one of the
Fluctuation adding means for adding signal fluctuations, a collating section for a predetermined time is set in the input code time series signal, and each of the reference code time series signal and the collating section in the input code time series signal Mark representing the classification
Horizontal axis No., a histogram of the vertical axis the frequency of occurrence of each code, the histogram matching to calculate a similarity between the reference numeral time-series signal and the collation section of the input code time-series signal on the basis of both histograms Means for obtaining the similarity for each matching section while changing the matching section in the input code time-series signal, the similarity and a target similarity set in advance The signal detection device is characterized by determining whether or not the reference time-series signal is present at the relevant portion of the input time-series signal by comparing the above-mentioned operations and repeating this comparison operation each time the matching section is changed.
信号、または前記入力時系列信号に変動を付加する場
合、１つの参照時系列信号、または入力時系列信号の各
時間セクションの信号部分に対して複数の予測される変
動を付加した信号を生成することを特徴とする請求項１
１に記載の信号検出装置。12. The variation adding means adds one variation to the reference time-series signal or the input time-series signal to one reference time-series signal or a signal portion of each time section of the input time-series signal. A signal is generated by adding a plurality of predicted changes to the signal.
1. The signal detection device according to 1.
系列信号、または前記入力特徴時系列信号に変動を付加
する場合、１つの前記特徴ベクトルに対して複数の予測
される変動を付加した特徴ベクトルを生成することを特
徴とする請求項１１に記載の信号検出装置。13. The variation adding means, when adding variation to the reference feature time series signal or the input feature time series signal, makes a plurality of predictions for one feature vector.
Signal detection apparatus according to claim 11, characterized in that to generate the feature vector obtained by adding the variation to be.
系列信号、または前記入力符号時系列信号に変動を付加
する場合、１つの参照符号時系列信号、または入力符号
時系列信号を構成する各々の符号に対して複数の予測さ
れる変動を付加した信号を生成することを特徴とする請
求項１１に記載の信号検出装置。14. The fluctuation adding means forms one reference code time series signal or input code time series signal when adding fluctuation to the reference code time series signal or the input code time series signal, respectively. Multiple predictions for the sign of
The signal detecting apparatus according to claim 11, wherein the signal detecting apparatus generates a signal to which the fluctuation is added.
変動の量を、前記参照時系列信号および前記入力時系列
信号とは異なる別の時系列信号と、この時系列信号に予
測される変動を付加した信号とを比較することにより前
もって算出する学習手段を更に有し、 前記変動付加手段は、前記学習手段が算出した変動量に
基づいて変動を付加することを特徴とする請求項１１に
記載の信号検出装置。15. The amount of <br/> variations to be added in the variation addition process, the reference time-series signal and the input time series
Another time series signal that is different from the signal and the time series signal
It further has a learning unit that calculates in advance by comparing with a signal to which the measured fluctuation is added, and the fluctuation adding unit adds the fluctuation based on the fluctuation amount calculated by the learning unit. The signal detection device according to claim 11, wherein:
た検出結果を前記学習手段にフィードバックし、 前記学習手段は、前記検出結果に基づいて前記変動量を
補正することを特徴とする請求項１５に記載の信号検出
装置。16. The detection result determined by the histogram matching means is fed back to the learning means, and the learning means corrects the variation amount based on the detection result. Signal detection device.
て変動を付加することを特徴とする請求項１１に記載の
信号検出装置。17. The signal detecting apparatus according to claim 11, wherein the variation adding means adds variation using a random number.
行移動量と分散量をパラメータとしてモデル化し、 前記平行移動量と前記分散量の少なくとも一方を用い
て、変動を付加することを特徴とする請求項１５または
１７のいずれかに記載の信号検出装置。18. The variation adding means models the variation amount for varying the feature by a normal distribution using the parallel movement amount and the dispersion amount as parameters, and uses at least one of the parallel movement amount and the dispersion amount. 18. The signal detection device according to claim 15, wherein the fluctuation is added.
列信号は、それぞれ映像信号である請求項１１に記載の
信号検出装置。19. The signal detection device according to claim 11, wherein the input time series signal and the reference time series signal are video signals.
列信号は、それぞれ音響信号である請求項１１に記載の
信号検出装置。20. The signal detection apparatus according to claim 11, wherein the input time series signal and the reference time series signal are acoustic signals.
ての参照時系列信号に類似した部分を、検索対象として
入力される、前記参照時系列信号よりも信号長の長い入
力時系列信号中に探し出す信号検出処理をコンピュータ
に実行させるためのプログラムであって、前記信号検出
処理は、 前記参照時系列信号から、特徴ベクトルからなる参照特
徴時系列信号を導く参照特徴計算処理と、 前記入力時系列信号から、特徴ベクトルからなる入力特
徴時系列信号を導く入力特徴計算処理と、 前記参照特徴時系列信号を、作成すべきヒストグラムの
横軸を構成する分類を表す符号からなる参照符号時系列
信号に変換する参照特徴符号化処理と、 前記入力特徴時系列信号を、前記分類を表す符号からな
る入力符号時系列信号に変換する入力特徴符号化処理
と、 前記参照時系列信号と、前記入力時系列信号と、前記参
照特徴時系列信号と、前記入力特徴時系列信号と、前記
参照符号時系列信号と、前記入力符号時系列信号のうち
少なくとも１つに対して、当該信号に関して予測される
信号の変動を付加する変動付加処理と、 前記入力符号時系列信号中に所定時間分の照合区間を設
定し、前記参照符号時系列信号と、前記入力符号時系列
信号中の該照合区間それぞれについて前記分類を表す符
号を横軸、各符号の出現頻度を縦軸とするヒストグラム
を作成し、両ヒストグラムに基づいて前記入力符号時系
列信号の照合区間と前記参照符号時系列信号との類似度
を計算するヒストグラム照合処理とを有し、 前記類似度と、あらかじめ設定した目標とする類似度と
を比較し、前記ヒストグラム照合処理を前記入力符号時
系列信号中の前記照合区間を変えながら繰り返すことに
より、前記参照時系列信号が、前記入力時系列信号の当
該箇所に存在するかどうかを決定することを特徴とする
プログラム。21.] was sub et al. Beforehand registration, and sample data
The similar parts to the reference time-series signal of Te, as a search target
Input signal with a longer signal length than the reference time series signal.
A program for causing a computer to execute a signal detection process for searching in a power time-series signal , wherein the signal detection process is a reference feature calculation process for deriving a reference feature time-series signal composed of a feature vector from the reference time-series signal. An input feature calculation process for deriving an input feature time-series signal composed of a feature vector from the input time-series signal, and the reference feature time-series signal of a histogram to be created.
A reference feature coding process of converting the reference numerals time-series signal comprising a code indicating a classification constituting a horizontal axis, an input for converting said input feature time-series signal, the input code time-series signal comprising a code representative of said classification Feature encoding process, the reference time series signal, the input time series signal, the reference feature time series signal, the input feature time series signal, the reference code time series signal, the input code time series signal Predicted for the signal for at least one of the
A fluctuation adding process for adding a signal fluctuation, and setting a matching section for a predetermined time in the input code time series signal, for each of the reference code time series signal and the matching section in the input code time series signal Mark representing the classification
Horizontal axis No., a histogram of the vertical axis the frequency of occurrence of each code, the histogram matching to calculate a similarity between the reference numeral time-series signal and the collation section of the input code time-series signal on the basis of both histograms Processing, comparing the similarity and a target similarity set in advance, by repeating the histogram matching process while changing the matching section in the input code time series signal, the reference time A program for determining whether or not a serial signal exists at the relevant portion of the input time-series signal.
録した、コンピュータにより読み取り可能な記録媒体。22. A computer-readable recording medium in which the program according to claim 21 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001123098A JP3408800B2 (en) | 2000-04-27 | 2001-04-20 | Signal detection method and apparatus, program therefor, and recording medium |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000128381 | 2000-04-27 | ||
| JP2000-128381 | 2000-04-27 | ||
| JP2001123098A JP3408800B2 (en) | 2000-04-27 | 2001-04-20 | Signal detection method and apparatus, program therefor, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002044610A JP2002044610A (en) | 2002-02-08 |
| JP3408800B2 true JP3408800B2 (en) | 2003-05-19 |
Family
ID=26591015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001123098A Expired - Lifetime JP3408800B2 (en) | 2000-04-27 | 2001-04-20 | Signal detection method and apparatus, program therefor, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3408800B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2312475A1 (en) | 2004-07-09 | 2011-04-20 | Nippon Telegraph and Telephone Corporation | Sound signal detection and image signal detection |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006004050A1 (en) | 2004-07-01 | 2006-01-12 | Nippon Telegraph And Telephone Corporation | System for detection section including particular acoustic signal, method and program thereof |
| JP4224095B2 (en) | 2006-09-28 | 2009-02-12 | 株式会社東芝 | Information processing apparatus, information processing program, and information processing system |
| CN102301698B (en) * | 2009-01-29 | 2014-08-27 | 日本电气株式会社 | Time segment representative feature vector generation device |
| JP5553152B2 (en) * | 2010-04-09 | 2014-07-16 | ソニー株式会社 | Image processing apparatus and method, and program |
| JP5510012B2 (en) * | 2010-04-09 | 2014-06-04 | ソニー株式会社 | Image processing apparatus and method, and program |
| JP5851455B2 (en) * | 2013-08-06 | 2016-02-03 | 日本電信電話株式会社 | Common signal containing section presence / absence judging device, method, and program |
-
2001
- 2001-04-20 JP JP2001123098A patent/JP3408800B2/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2312475A1 (en) | 2004-07-09 | 2011-04-20 | Nippon Telegraph and Telephone Corporation | Sound signal detection and image signal detection |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002044610A (en) | 2002-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4683253B2 (en) | AV signal processing apparatus and method, program, and recording medium | |
| US6928233B1 (en) | Signal processing method and video signal processor for detecting and analyzing a pattern reflecting the semantics of the content of a signal | |
| US8145656B2 (en) | Matching of modified visual and audio media | |
| US8160299B2 (en) | Image processing apparatus | |
| US6331859B1 (en) | Video skimming system utilizing the vector rank filter | |
| US7406712B2 (en) | Communication apparatus, communication method, and recording medium used therewith | |
| US20060126942A1 (en) | Method of and apparatus for retrieving movie image | |
| JP4332988B2 (en) | Signal processing apparatus and method | |
| JP2000311180A (en) | Method for feature set selection, method for generating video image class stastic model, method for classifying and segmenting video frame, method for determining similarity of video frame, computer-readable medium, and computer system | |
| US7054388B2 (en) | Signal detection method and apparatus, relevant program, and storage medium storing the program | |
| JP3408800B2 (en) | Signal detection method and apparatus, program therefor, and recording medium | |
| US20090024666A1 (en) | Method and apparatus for generating metadata | |
| JP2000285242A (en) | Signal processing method and video sound processing device | |
| JP4447602B2 (en) | Signal detection method, signal detection system, signal detection processing program, and recording medium recording the program | |
| JP3865924B2 (en) | Voice recognition device | |
| JP3124239B2 (en) | Video information detection device | |
| JP3537727B2 (en) | Signal detection method, signal search method and recognition method, and recording medium | |
| JP3730179B2 (en) | SIGNAL SEARCH DEVICE, SIGNAL SEARCH METHOD, SIGNAL SEARCH PROGRAM, AND RECORDING MEDIUM CONTAINING SIGNAL SEARCH PROGRAM | |
| JP2009049667A (en) | Information processor, and processing method and program thereof | |
| WO2022264365A1 (en) | Video processing device, video processing method, and recording medium | |
| JP3746690B2 (en) | Signal detection method and apparatus, program, and recording medium | |
| JP4507351B2 (en) | Signal processing apparatus and method | |
| JPH09223234A (en) | Moving image information detecting device for moving image processing system | |
| JP2006293902A (en) | Signal search system, signal search method, signal search program, and recording medium | |
| Senechal et al. | Audio, video and audio-visual signatures for short video clip detection: experiments on trecvid2003 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| R151 | Written notification of patent or utility model registration |
Ref document number: 3408800 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080314 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090314 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090314 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100314 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 10 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |