JP4573857B2 - Sequential update type non-stationary detection device, sequential update type non-stationary detection method, sequential update type non-stationary detection program, and recording medium recording the program - Google Patents

Sequential update type non-stationary detection device, sequential update type non-stationary detection method, sequential update type non-stationary detection program, and recording medium recording the program Download PDF

Info

Publication number
JP4573857B2
JP4573857B2 JP2007162834A JP2007162834A JP4573857B2 JP 4573857 B2 JP4573857 B2 JP 4573857B2 JP 2007162834 A JP2007162834 A JP 2007162834A JP 2007162834 A JP2007162834 A JP 2007162834A JP 4573857 B2 JP4573857 B2 JP 4573857B2
Authority
JP
Japan
Prior art keywords
input
feature
identification
space model
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007162834A
Other languages
Japanese (ja)
Other versions
JP2009003638A (en
Inventor
恭子 数藤
達哉 大澤
佳織 若林
貴之 安野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2007162834A priority Critical patent/JP4573857B2/en
Publication of JP2009003638A publication Critical patent/JP2009003638A/en
Application granted granted Critical
Publication of JP4573857B2 publication Critical patent/JP4573857B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、多数の入力データから統計的な解析を行って非定常状態を検出する逐次更新型非定常検出装置、逐次更新型非定常検出方法、逐次更新型非定常検出プログラムおよびそのプログラムを記録した記録媒体に関する。   The present invention records a sequential update type non-stationary detection device, a sequential update type non-steady state detection method, a sequential update type non-steady state detection program, and a program thereof that perform statistical analysis from a large number of input data to detect a non-steady state. The recording medium.

多数のパターンの中から非定常パターンを判別する従来技術には、
(1)学習されたサンプルから構成される辞書とのマッチングをとり、辞書に類似サンプルがあれば(あるいは、なければ)非定常と判別する
(2)多数のサンプルの学習によって生成された識別関数の出力によって判別する
などの方法がある。
In the conventional technology for discriminating non-stationary patterns from a large number of patterns,
(1) Matching with a dictionary composed of learned samples, and if there are similar samples in the dictionary (or not), determine that they are non-stationary (2) Discriminant function generated by learning many samples There are methods such as discriminating by the output of

オンライン入力データを扱う場合には、高速性を確保するため、前記(1)の方法で高速なマッチングを行う、もしくは前記(2)の方法で固定の識別関数を用いて判別する、という方法がとられてきた。   When handling online input data, in order to ensure high speed, there is a method of performing high-speed matching by the method (1) or using a fixed discriminant function by the method (2). Has been taken.

しかし、(a)大量のサンプルに定常、非定常のラベルづけするだけのコストがかけられない、(b)あらかじめ各カメラごとに学習に充分な数のサンプルを得ることが困難である、(c)設定後に状況が変化してしまう、といった場合も多く、識別辞書の精度を高めるのは容易ではない。   However, (a) the cost of labeling a large number of samples as stationary and non-stationary cannot be applied, (b) it is difficult to obtain a sufficient number of samples for each camera in advance, (c ) There are many cases where the situation changes after setting, and it is not easy to improve the accuracy of the identification dictionary.

特に入力が映像であって、多数のカメラから構成される遠隔監視システムの映像に対して非定常パターンの判別を適用する状況を考えると、いずれの問題も起こりえる。   In particular, when the input is an image, and the situation where unsteady pattern discrimination is applied to an image of a remote monitoring system composed of a large number of cameras, both problems can occur.

このため屋内で環境が比較的安定している場合を除き、安定した非定常パターンの判別を行うのは困難である。こうした理由により、現在のところ非定常の実用的なシステムは、環境や人の出入りの状況などが比較的安定し、特徴抽出機能や識別機能を逐次更新する必要がないアプリケーションに限られている。   For this reason, it is difficult to discriminate a stable unsteady pattern unless the environment is relatively stable indoors. For these reasons, currently unsteady and practical systems are limited to applications in which the environment and the situation of people coming and going are relatively stable and the feature extraction function and the identification function do not need to be updated sequentially.

非特許文献1は、前記(2)の方法によるエレベータ内の監視における非定常検出で、実用化されている例であるが、「人物の移動範囲が狭く出現者数が少ないといった好条件が整っているため」安定した結果が得られることが文献中に述べられている。   Non-Patent Document 1 is an example of non-stationary detection in the monitoring in an elevator by the method (2) described above. However, “Non-Patent Document 1 has a favorable condition that the movement range of people is narrow and the number of appearances is small. It is stated in the literature that stable results can be obtained.

前記問題点(a)に対する解決手段としては、学習手法を教師なし手法にする必要がある。また前記(b),(c)に対する解決手段としては、学習を逐次的に行う手法にしてサンプルが加わるごとに識別軸を更新できるようにする必要がある。   As a solution to the problem (a), it is necessary to make the learning method an unsupervised method. Further, as a means for solving the above (b) and (c), it is necessary to update the identification axis every time a sample is added by using a method of performing learning sequentially.

このような背景を考慮すると、監視システム適用などに向けた非定常検出には初期状態では少数サンプルしか得られなくても、オンライン動作によって人手をかけることなく識別精度を向上させることができる逐次学習機能をもち、教師無し学習を前提とした手法であることが求められる。   Considering such a background, sequential learning that can improve identification accuracy without manpower by online operation even if only a small number of samples can be obtained in the initial state for unsteady detection for application to monitoring system etc. It is required to be a technique that has functions and is premised on unsupervised learning.

教師無し学習を用いた非定常検出の従来手法には、確率モデルを用いる方法があり、画像の変化領域の時空間特徴量の確率モデルを推定し、転びなどの非定常動作を検出する手法などが提案されている。   The conventional method for unsteady detection using unsupervised learning includes a method using a probabilistic model, such as a method for estimating a probabilistic model of spatio-temporal feature quantities in a change region of an image and detecting non-stationary motion such as falling Has been proposed.

確率モデルは逐次更新が可能であるが、入力をすべてそのままモデル更新に加えてしまうと、新たに入力されたサンプルがはずれ値であった場合、モデルがはずれ値の影響を受けて更新されてしまう恐れがある。そこで、はずれ値かどうかを判定してから更新データに加えるかどうかを決定する必要があると考えられるが、サンプルが少数の間はそのサンプルがはずれ値か否かは判定しにくいため、あらかじめある程度の数の定常データでモデルを生成しなくてはならない。   The probabilistic model can be updated sequentially, but if all the inputs are added to the model update as they are, if the newly input sample is an outlier, the model will be updated under the influence of the outlier There is a fear. Therefore, it is considered necessary to determine whether or not to add to the update data after determining whether or not it is an outlier, but it is difficult to determine whether or not the sample is an outlier while there are a small number of samples. The model must be generated with the number of stationary data.

逐次学習については、移動する監視ロボットでは視野画像の定常状態を更新することが重要なため、いくつかの手法が提案されており、画素値の発生確率を用いるものがある。その他、侵入検知システムにおいて、オンラインで入力されるサンプルを識別し、定常と識別されたサンプルを加えてマスク領域の背景を重みづけ更新するといった手法がある。しかしより複雑な特徴量に対応するには、特徴空間における識別面を更新する手法を適用しなくてはならない。   Regarding sequential learning, since it is important for a moving monitoring robot to update the steady state of a visual field image, several methods have been proposed, and some use the occurrence probability of a pixel value. In addition, in the intrusion detection system, there is a method of identifying samples input online and adding the samples identified as stationary to weight and update the background of the mask area. However, in order to deal with more complicated feature amounts, a method for updating the identification plane in the feature space must be applied.

映像から非定常判定を高精度に行うには、時空間特徴を用いることが有効である。人物や物体の位置の要因から非定常となる場合と、動きの方向や動きの速度の要因から非定常となる場合が想定されるためである。   It is effective to use spatio-temporal features to perform non-stationary determination from video with high accuracy. This is because a non-stationary state is assumed due to the position of the person or the object, and a non-stationary state is assumed depending on the direction of the movement or the speed of the movement.

非特許文献2,3ではこの理由から時空間特徴を用いている。しかし識別空間の逐次更新機能はない。時空間特徴は次元数が大きいが、次元数の大きな特徴量の識別に適した識別手法で逐次更新を行う手段がなかったためである。   Non-patent documents 2 and 3 use spatio-temporal features for this reason. However, there is no sequential update function of the identification space. This is because spatio-temporal features have a large number of dimensions, but there is no means for performing sequential update using an identification method suitable for identifying feature quantities having a large number of dimensions.

尚、本発明に関連する、インクリメンタルPCA(主成分分析)のアルゴリズムは、非特許文献4に記載され、インクリメンタルSVM(サポートベクターマシン)のアルゴリズムは非特許文献5に記載されている。
鷲見和彦、関真規人、塩崎秀樹、“画像によるエレベータ内異常検知技術”、情報処理、Vol.〜48、No.〜1、pp.〜17−22,2006. 数藤、若林、荒川、安野、“長時間の監視映像からの非定常シーケンスの検出”、情処研究報告CVIM−151,pp.77−82,2005. 数藤、大澤、若林、安野、“映像時空間内での変化領域を特徴量とする監視映像からの非定常度推定”、信学技報Vol.106、No.75、pp.49−54,2006. Juyang Weng,Yilu Zhang and Wey−Shiuan Hwang,“Candid Covariance−free Incremental Principal Component Analysis,”IEEE Trans. Pattern Analysis and Machine Intelligence,vol.〜25、no.〜8、pp.〜1−16,〜2003. G.Cauwenberghs,T.Poggio,“Incremental and Decremental Support Vector Machine Learning,”Proc. Neural Information Processing,no.〜13、pp.〜409−415,2000. URL:http://citeseer.ist.psu.edu/454996.html 最終アクセス日:2007年5月15日
An incremental PCA (principal component analysis) algorithm related to the present invention is described in Non-Patent Document 4, and an incremental SVM (Support Vector Machine) algorithm is described in Non-Patent Document 5.
Kazuhiko Sumi, Masato Seki, Hideki Shiozaki, “Technology for detecting abnormalities in elevators using images”, Information Processing, Vol. -48, No. ˜1, pp. -17-22, 2006. Kazufuji, Wakabayashi, Arakawa, Anno, “Detection of unsteady sequences from long-term surveillance video”, Information Research Report CVIM-151, pp. 77-82, 2005. Kazufuji, Osawa, Wakabayashi, Anno, “Estimation of non-stationarity from surveillance video with a change area in video space-time”, IEICE Tech. 106, no. 75, pp. 49-54, 2006. Juyang Weng, Yilu Zhang and Wey-Shiuan Hwang, “Candid Covariance-free Incremental Component Analysis,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. -25, no. -8, pp. ˜1-16, ˜2003. G. Cauwenbergs, T .; Poggio, “Incremental and Decremental Support Vector Machine Learning,” Proc. Neural Information Processing, no. ˜13, pp. 409-415, 2000. URL: http: // siteseeer. ist. psu. edu / 454996. html Last access date: May 15, 2007

前記技術的な背景から、次元数の大きな特徴量を入力として扱うことができ、且つ新たなサンプルが追加入力されることによって識別系を逐次更新することが可能な非定常検出の方法が必要である。   In view of the above technical background, there is a need for a non-stationary detection method that can handle a feature quantity having a large number of dimensions as an input and that can sequentially update the identification system by additionally inputting a new sample. is there.

本発明は上記課題を解決するものであり、その目的は、次元数の大きな特徴量を入力として扱うことができ、且つ、新たなサンプルが追加入力されることによって識別系を逐次更新することが可能な逐次更新型非定常検出装置、逐次更新型非定常検出方法、逐次更新型非定常検出プログラムおよびそのプログラムを記録した記録媒体を提供することにある。   The present invention solves the above-described problems, and the object of the present invention is to treat a feature quantity having a large number of dimensions as an input, and to sequentially update the identification system by newly inputting a new sample. An object of the present invention is to provide a sequential update type non-stationary detection device, a sequential update type non-stationary detection method, a sequential update type non-stationary detection program, and a recording medium on which the program is recorded.

非定常検出の主な方法として、
(1)定常のパターンや非定常のパターンそのものと入力パターンを照合する方法
(2)定常のパターンや非定常のパターンを確率的にモデル化し、入力パターンがモデルに一致する確率を求める方法
(3)非線形識別手法であるSVM(サポートベクターマシン)を利用し、入力パターンが学習によって作成した識別空間の定常と非定常のどちら側に存在するかで識別する方法
などがある。
As the main method of transient detection,
(1) A method of matching an input pattern with a steady pattern or an unsteady pattern itself (2) A method of probabilistically modeling a steady pattern or an unsteady pattern and obtaining a probability that the input pattern matches the model (3 ) There is a method that uses SVM (Support Vector Machine), which is a non-linear identification method, to identify whether an input pattern is on the stationary or non-stationary side of the identification space created by learning.

識別精度を考えると、前記(1),(2),(3)の順で、より次元数の少ない入力パターンを扱う場合に適している。   Considering the identification accuracy, it is suitable for handling input patterns having a smaller number of dimensions in the order of (1), (2), and (3).

例えば映像からの非定常検出において、時空間特徴を用いる場合、入力パターンの次元数は(1フレームの画素数)×(フレーム数)となる。このような場合には、前記(1)よりも(2)、(2)よりも(3)が適している。   For example, when using spatio-temporal features in non-stationary detection from video, the number of dimensions of the input pattern is (number of pixels in one frame) × (number of frames). In such a case, (2) and (3) are more suitable than (1) above (1).

しかし、計算効率も考えると、次元数が大きい場合には前記(3)を用いても最適化の計算時間やメモリ容量といったコストがかかるため、高速性を確保するためには効率良く扱う必要がある。   However, considering the calculation efficiency, if the number of dimensions is large, the cost of optimization calculation time and memory capacity is required even if the above (3) is used, so it is necessary to handle it efficiently to ensure high speed. is there.

こうした場合、一般的に主成分分析(PCA)による次元圧縮の適用が妥当と考えられる。   In such cases, it is generally considered appropriate to apply dimension compression by principal component analysis (PCA).

そこで、主成分分析による次元圧縮特徴を入力としてSVMによる学習を行う系であって、入力サンプルを逐次的に反映して識別軸を更新するような識別系を用いる。   Therefore, an identification system is used that performs learning by SVM using a dimension compression feature by principal component analysis as an input and updates the identification axis by sequentially reflecting input samples.

しかし、このような識別系の構築は、以下の2つの問題があるため容易ではない。
問題1
PCAの部分空間を更新するには、通常はそれまでの入力データをすべて記憶しておかなくてはならない。SVMの識別軸の更新についても同様である。このため、大量のメモリが必要になる。
問題2
PCAの部分空間に対して逐次学習を行う場合、逐次学習の前後で異なる部分空間に射影されたベクトル(PCA特徴とする)が生成される。つまり、逐次学習前の部分空間への射影で生成されたPCA特徴と、逐次学習後の部分空間への射影で生成されたPCA特徴とは、同じ尺度で比較ができない。
However, construction of such an identification system is not easy due to the following two problems.
Problem 1
In order to update the PCA subspace, it is usually necessary to store all the input data so far. The same applies to the update of the identification axis of the SVM. For this reason, a large amount of memory is required.
Problem 2
When sequential learning is performed on a PCA subspace, vectors (PCA features) projected onto different subspaces before and after sequential learning are generated. That is, a PCA feature generated by projection onto a partial space before sequential learning and a PCA feature generated by projection onto a partial space after sequential learning cannot be compared on the same scale.

そこで本発明では、
前記問題1を解決する手段として、
PCAの部分空間はインクリメンタルPCAによって、SVMの識別空間はインクリメンタルSVMによって、いずれも逐次更新する。この場合、記憶するのはPCAによって少ない次元数で表現されたサポートベクタのみでよく、高次元の入力特徴をすべて保存しておく必要がない。
Therefore, in the present invention,
As means for solving the problem 1,
The partial space of the PCA is updated by the incremental PCA, and the identification space of the SVM is updated by the incremental SVM. In this case, it is only necessary to store a support vector expressed with a small number of dimensions by PCA, and it is not necessary to store all high-dimensional input features.

前記問題2を解決する手段として、
少ない数の上位の固有値で充分な寄与率が得られるという条件のもとではSVMの評価関数の最適化計算におけるベクトル間の距離尺度が変わらないことを利用する。
As a means for solving the problem 2,
Under the condition that a sufficient contribution rate can be obtained with a small number of upper eigenvalues, the fact that the distance measure between vectors in the optimization calculation of the evaluation function of the SVM does not change is used.

すなわち本発明の請求項1に記載の逐次更新型非定常検出装置は、1サンプルごと、或いは少数のサンプルごとに逐次入力されるデータから統計的な解析によって非定常状態を検出する装置であって、入力データからインクリメンタルPCA(主成分分析)のアルゴリズムを用いて統計的な処理によって特徴ベクトルを生成する特徴ベクトル生成手段と、前記生成された特徴ベクトルを用いてインクリメンタルSVM(サポートベクターマシン)のアルゴリズムにより非定常状態を検出する識別手段とから成り、前記特徴ベクトル生成手段は特徴空間モデル記憶部を有し、前記識別手段は識別辞書モデル記憶部を有し、前記特徴ベクトル生成手段は、入力データが入力されるごとに、それを構成する所定フレームを、前記特徴空間モデル記憶部に記憶されている特徴空間モデルに新たに加えて当該特徴空間モデルを更新し、前記入力データの特徴ベクトルを、前記更新された特徴空間モデルに射影して次元圧縮した特徴ベクトルを求め、前記識別辞書モデル記憶部に記憶されている、入力ベクトルを更新前の特徴空間モデルに射影した形のサポートベクタ群を、前記更新された特徴空間モデルに射影したサポートベクタ群に更新し、前記識別手段は、前記次元圧縮した特徴ベクトルが入力されるごとに前記識別辞書モデル記憶部に記憶されているサポートベクタ群を更新し、該更新による非定常判定のインクリメンタルSVMの関数に基づいて非定常状態を検出することを特徴としている。 That is, the sequential update type non-stationary detection apparatus according to claim 1 of the present invention is an apparatus that detects an unsteady state by statistical analysis from data sequentially input for each sample or for a small number of samples. , A feature vector generating means for generating a feature vector by statistical processing from input data using an algorithm of incremental PCA (principal component analysis), and an algorithm of incremental SVM (support vector machine) using the generated feature vector The feature vector generation means has a feature space model storage section, the identification means has an identification dictionary model storage section, and the feature vector generation means has input data. Each time is input, the predetermined frame constituting it is stored in the feature space model memory. In addition to the feature space model stored in the memory, the feature space model is updated, and the feature vector of the input data is projected onto the updated feature space model to obtain a dimension vector, and the identification is performed. Updating the support vector group in the form of projecting the input vector onto the feature space model before update stored in the dictionary model storage unit to the support vector group projecting onto the updated feature space model; Each time the dimension-compressed feature vector is input, the support vector group stored in the identification dictionary model storage unit is updated, and the unsteady state is detected based on the function of the incremental SVM for unsteady determination based on the update. It is characterized in that.

また請求項2に記載の逐次更新型非定常検出装置は、請求項1において、前記入力データは映像の変化領域抽出に基づく時空間データであることを特徴としている。 According to a second aspect of the present invention , the sequential update type non-stationary detection device according to the first aspect is characterized in that the input data is spatiotemporal data based on extraction of a change area of a video.

また、本発明の請求項3に記載の逐次更新型非定常検出方法は、特徴ベクトル生成手段および識別手段を備え、1サンプルごと、或いは少数のサンプルごとに逐次入力されるデータからインクリメンタルPCA(主成分分析)のアルゴリズムを用いて統計的な解析によって、インクリメンタルSVM(サポートベクターマシン)のアルゴリズムにより非定常状態を検出する方法であって、前記特徴ベクトル生成手段が、入力データが入力されるごとに、それを構成する所定フレームを、特徴空間モデル記憶部に記憶されている特徴空間モデルに新たに加えて当該特徴空間モデルを更新する第1の更新ステップと、前記特徴ベクトル生成手段が、前記入力データの特徴ベクトルを、前記更新された特徴空間モデルに射影して次元圧縮した特徴ベクトルを求めるステップと、前記特徴ベクトル生成手段が、識別辞書モデル記憶部に記憶されている、入力ベクトルを更新前の特徴空間モデルに射影した形のサポートベクタ群を、前記更新された特徴空間モデルに射影したサポートベクタ群に更新する第2の更新ステップと、前記識別手段が、前記次元圧縮した特徴ベクトルが入力されるごとに前記識別辞書モデル記憶部に記憶されているサポートベクタ群を更新する第3の更新ステップと、前記識別手段が、前記第3の更新ステップの更新による非定常判定のインクリメンタルSVMの関数に基づいて非定常状態を検出するステップとを備えたことを特徴としている。 In addition, the sequential update type non-stationary detection method according to claim 3 of the present invention includes a feature vector generation unit and an identification unit, and includes incremental PCA (mainly from data sequentially input for each sample or a small number of samples. The non-stationary state is detected by an incremental SVM (support vector machine) algorithm by statistical analysis using a component analysis algorithm, and the feature vector generation means is configured to input the input data every time input data is input. A first update step of updating the feature space model by newly adding a predetermined frame constituting it to the feature space model stored in the feature space model storage unit, and the feature vector generation means includes the input A feature vector obtained by projecting the feature vector of the data onto the updated feature space model and dimensionally compressing it is used. And the feature vector generation means stores a support vector group in a form in which the input vector is projected onto the feature space model before being updated, which is stored in the identification dictionary model storage unit. A second updating step for updating to the support vector group projected on the screen, and the identification unit updates the support vector group stored in the identification dictionary model storage unit each time the dimension-compressed feature vector is input. A third update step and the identification means include a step of detecting a non-steady state based on a function of an incremental SVM for non-steady state determination by updating the third update step .

また請求項4に記載の逐次更新型非定常検出方法は、請求項3において、前記入力データは映像の変化領域抽出に基づく時空間データであることを特徴としている。 According to a fourth aspect of the present invention , the sequential update type non-stationary detection method according to the third aspect is characterized in that the input data is spatiotemporal data based on extraction of a change area of a video.

また、本発明の請求項5に記載の逐次更新型非定常検出プログラムは、コンピュータを、請求項1または2に記載の特徴ベクトル生成手段および識別手段として機能させる逐次更新型非定常検出プログラムとしたことを特徴としている。 The sequential update type non-stationary detection program according to claim 5 of the present invention is a sequential update type non-stationary detection program that causes a computer to function as the feature vector generation unit and the identification unit according to claim 1 or 2 . It is characterized by that.

また、本発明の請求項6に記載の記録媒体は、請求項5に記載の逐次更新型非定常検出プログラムを記録したコンピュータ読み取り可能な記録媒体としたことを特徴としている。 A recording medium according to claim 6 of the present invention is a computer-readable recording medium on which the sequential update type non-stationary detection program according to claim 5 is recorded.

(1)請求項1〜6に記載の発明によれば、次元数の大きな特徴量を入力として扱うことができ、且つ、新たなサンプルが追加入力されることによって識別系を逐次更新することが可能な非定常検出を実施することができる。 (1) According to the inventions described in claims 1 to 6 , a feature quantity having a large number of dimensions can be treated as an input, and the identification system can be sequentially updated by additionally inputting a new sample. Possible non-stationary detection can be performed.

例えば、監視カメラ映像等の映像から非定常なシーンを検出する際に、次第に蓄積されていくシーンを逐次学習して定常度合いの算出に用いることで、予め定常、及び非定常なシーンの学習を行うことなく、非定常なシーンの検出が可能となる。
(2)また、入力サンプルを逐次的に反映して識別軸を更新可能な、PCAによる次元圧縮特徴を入力としてSVMによる学習を行う識別系が構築できる。PCAの部分空間はインクリメンタルPCAによって、SVMの識別空間はインクリメンタルSVMによって、いずれも逐次更新することができるので、入力サンプルが増加するほど精度が増す。
For example, when detecting a non-stationary scene from a video such as a surveillance camera image, the learning of the steady and non-stationary scenes is performed in advance by sequentially learning the accumulated scene and using it for calculation of the degree of normality. It is possible to detect a non-stationary scene without performing it.
(2) In addition, it is possible to construct an identification system capable of updating the identification axis by sequentially reflecting the input samples and performing learning by SVM using the dimension compression feature by PCA as input. Since the PCA subspace can be updated sequentially by the incremental PCA and the SVM identification space by the incremental SVM, the accuracy increases as the number of input samples increases.

従来では、PCAの部分空間に対して逐次学習を行う場合、逐次学習の前後で異なる部分空間に射影されたベクトル(PCA特徴とする)が生成され、逐次学習前の部分空間への射影で生成されたPCA特徴と、逐次学習後の部分空間への射影で生成されたPCA特徴とは、同じ尺度で比較ができないため、インクリメンタルな入力を行う系でPCAとSVMを合わせ用いることができなかった。   Conventionally, when performing sequential learning on a PCA subspace, vectors (PCA features) projected onto different subspaces before and after the sequential learning are generated and generated by projection onto the subspace before sequential learning. PCA features generated by projection to a partial space after sequential learning cannot be compared on the same scale, so PCA and SVM could not be used in a system that performs incremental input. .

本発明によれば、少ない数の上位の固有値で充分な寄与率が得られるという条件のもとではSVMの評価関数の最適化計算におけるベクトル間の距離尺度が変わらないことを利用し、SVMにかける前にPCAによって少ない次元数で表現することで計算量を減らし、SVMのサポートベクタを次元圧縮された形で記憶することでメモリ容量を節約できる。   According to the present invention, the fact that the distance measure between vectors in the optimization calculation of the evaluation function of the SVM does not change under the condition that a sufficient contribution rate can be obtained with a small number of higher eigenvalues is used. It is possible to reduce the amount of calculation by expressing with a small number of dimensions by PCA before applying, and to save the memory capacity by storing SVM support vectors in a dimension-compressed form.

このため、入力が映像から得られる時空間データのように高次元の特徴量となる場合にも逐次学習による非定常検出を行うことができる。   For this reason, unsteady detection by sequential learning can be performed even when the input is a high-dimensional feature quantity, such as spatiotemporal data obtained from video.

映像監視からの非定常検出では、非定常なデータが学習に充分なほど得られないことがほとんどであるが、本発明を利用すれば、初期状態では少数サンプルしか得られなくても、オンラインの教師無しサンプル入力によって人手をかけることなく識別精度を向上させることができる。   In non-stationary detection from video surveillance, non-stationary data is often not obtained enough for learning, but by using the present invention, even if only a small number of samples can be obtained in the initial state, online data cannot be obtained. The identification accuracy can be improved without manpower by unsupervised sample input.

また、あらかじめ定常と非定常を定義することが困難であったり、定常と非定常のラベルづけを行うコストがかけられない場合も多いが、本発明のアルゴリズムにおいて、SVMは教師無しの場合(1クラスSVM)にも適用できるため、学習させるために定常と非定常のラベルづけを行わなくてもデータをとり続けるだけで識別系の精度を向上させることができる。   In addition, it is often difficult to define steady and non-stationary beforehand, or the cost of labeling steady and non-stationary is not high, but in the algorithm of the present invention, SVM is unsupervised (1 Class SVM), it is possible to improve the accuracy of the identification system simply by continuing to take data without performing steady and non-steady labeling for learning.

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。   Hereinafter, embodiments of the present invention will be described with reference to the drawings, but the present invention is not limited to the following embodiments.

図1は本実施形態例の全体構成を示すブロック図であり、11は本発明の特徴ベクトル生成手段としての特徴ベクトル生成部である。110は特徴ベクトル生成手段が有している特徴空間モデル記憶部である。   FIG. 1 is a block diagram showing the overall configuration of the present embodiment, and 11 is a feature vector generation unit as feature vector generation means of the present invention. Reference numeral 110 denotes a feature space model storage unit included in the feature vector generation unit.

12は本発明の識別手段としての識別部であり、120は識別手段が有している識別辞書モデル記憶部である。   Reference numeral 12 denotes an identification unit as identification means of the present invention, and 120 denotes an identification dictionary model storage unit included in the identification means.

これら特徴ベクトル生成部11、特徴空間モデル記憶部110、識別部12および識別辞書モデル記憶部120は、例えばコンピュータで構成され、該コンピュータによって後述する各処理が実行されるものである。   The feature vector generation unit 11, the feature space model storage unit 110, the identification unit 12, and the identification dictionary model storage unit 120 are configured by, for example, a computer, and each process described later is executed by the computer.

図1において、データがオンラインで入力されると、特徴ベクトル生成部11において特徴ベクトルが生成される。特徴ベクトルは、識別部12で識別にかけられ、非定常判定結果が出力される。   In FIG. 1, when data is input online, a feature vector is generated in the feature vector generation unit 11. The feature vector is subjected to identification by the identification unit 12 and a non-stationary determination result is output.

特徴ベクトル生成部11は、特徴空間モデル記憶部110に記憶されている特徴空間モデルと識別辞書モデル記憶部120に記憶されている識別辞書と新しい入力データを用いて特徴空間モデルを逐次更新し、更新された特徴空間モデルを用いて新しい入力データを特徴ベクトルに変換する。   The feature vector generation unit 11 sequentially updates the feature space model using the feature space model stored in the feature space model storage unit 110, the identification dictionary stored in the identification dictionary model storage unit 120, and new input data, New input data is converted into a feature vector using the updated feature space model.

識別部12は、特徴空間モデル記憶部110に記憶されている特徴空間モデルと識別辞書モデル記憶部120に記憶されている識別辞書と新しい入力データを用いて識別辞書モデルを逐次更新し、更新された識別辞書モデル記憶部120に記憶されている識別辞書を用いて識別を行い非定常状態を検出する。   The identification unit 12 sequentially updates and updates the identification dictionary model using the feature space model stored in the feature space model storage unit 110, the identification dictionary stored in the identification dictionary model storage unit 120, and new input data. The identification dictionary stored in the identification dictionary model storage unit 120 is used for identification to detect an unsteady state.

次に、図2を用いて、特徴ベクトルの生成と、識別の具体的な実現方法の実施例を説明する。サンプルがオンライン的に入力される場合、サンプルの増加に伴いSVMの識別辞書だけでなく、入力の特徴量の圧縮を行う主成分分析の部分空間も変化していくと考えられる。そこで、部分空間はインクリメンタルなPCA(IPCA)によって求め、その結果をインクリメンタルなSVM(ISVM)の入力とすることができる。   Next, an embodiment of a specific method for realizing feature vector generation and identification will be described with reference to FIG. When samples are input online, it is considered that not only the SVM identification dictionary but also the subspace of principal component analysis for compressing input feature values changes as the number of samples increases. Therefore, the partial space can be obtained by incremental PCA (IPCA), and the result can be used as an input of incremental SVM (ISVM).

始めに、映像(サイズw×hの画像の時系列)が特徴ベクトル生成部11に入力される。次に、動領域抽出を行って二値化したのち、tフレームずつを1サンプルと考えて、w×h×t次の時空間特徴とする。   First, a video (a time series of images of size w × h) is input to the feature vector generation unit 11. Next, after performing moving region extraction and binarization, each t frame is considered as one sample, and is set as a spatiotemporal feature of the order of w × h × t.

このままでは次元数が大きく識別にコストがかかるので、主成分分析を行う。変化領域の時系列が1サンプルが入力されるごとに、それを構成するtフレームを新たに加えて部分空間を更新する(図2の更新(1))。部分空間の更新には、非特許文献4に開示されたIPCAのアルゴリズムを用いる。   If this is the case, the number of dimensions is large and it takes a high cost for identification. Therefore, principal component analysis is performed. Each time one sample of the time series of the change region is input, the t-frame constituting it is newly added to update the subspace (update (1) in FIG. 2). For updating the subspace, the IPCA algorithm disclosed in Non-Patent Document 4 is used.

こうして生成される部分空間への射影によって、w×h×t次の時空間特徴をp×t次に圧縮する。以下、このp×t次の圧縮された特徴量を主成分特徴と呼ぶことにする。   By projecting onto the partial space generated in this way, the spatiotemporal feature of the order of w × h × t is compressed p × t. Hereinafter, this p × t-order compressed feature value is referred to as a principal component feature.

次にこの主成分特徴を識別器(識別部12)への入力として、非定常検出を行う。   Next, unsteady detection is performed using this principal component feature as an input to the discriminator (identification unit 12).

主成分特徴が1サンプル入力されるごとに、このサンプルを新たに加えて識別軸の更新を行う(図2の更新(3))。識別器にははずれ値検出手法の一つである1クラスSVMを用いて、識別軸の更新には非特許文献5に開示されたISVMのアルゴリズムを用いる。   Each time one sample of principal component features is input, this sample is newly added to update the identification axis (update (3) in FIG. 2). One class SVM which is one of the outlier detection methods is used for the discriminator, and the ISVM algorithm disclosed in Non-Patent Document 5 is used for updating the discriminating axis.

ただし、入力データが教師つきで得られる場合には、SVMの判別式は2クラス識別の判別式を用いることもできる。   However, when the input data is obtained with supervision, the SVM discriminant can be a discriminant of two-class identification.

少ない数の上位の固有値で充分な寄与率が得られるという条件が満たされる場合には、二つの元の特徴ベクトル間の距離は主成分特徴間の距離として小さいデータ量で表現できる。   When the condition that a sufficient contribution rate can be obtained with a small number of higher eigenvalues is satisfied, the distance between two original feature vectors can be expressed as a distance between principal component features with a small amount of data.

そこで評価関数の最適化計算に用いるサンプル間の距離尺度を変えずにSVMの学習の際の計算が効率化できる。   Therefore, the calculation at the time of learning of SVM can be made efficient without changing the distance measure between samples used for the optimization calculation of the evaluation function.

監視データから非定常判定を行うとき、大多数のデータが定常的で、少ない数の上位の固有値で充分な寄与率が得られるという条件が満たされることが多いため、この手法を適用することができる。   When performing non-stationary determination from monitoring data, the condition that the majority of data is stationary and a sufficient contribution rate can be obtained with a small number of higher eigenvalues is often satisfied. it can.

このとき、識別演算に用いるサポートベクタは、元の入力ベクトルを一回前インクリメント時の部分空間に射影した形で識別辞書のモデルに保存されている。これを更新された部分空間に射影しなおす必要がある(図2の更新(2))。   At this time, the support vector used for the identification calculation is stored in the model of the identification dictionary in a form in which the original input vector is projected onto the partial space at the previous increment. This needs to be reprojected into the updated subspace (update (2) in FIG. 2).

具体的な計算式は図3のようになる。図3において、xは入力ベクトル、Uは部分空間への射影行列、XSVはISVMのサポートベクトル集合、αとρは1クラスSVMのパラメータ、f(x)は1クラスSVMの識別関数である。右肩の数字(n)はインクリメントの回数を示す。xnはn番目の入力ベクトルである。 A specific calculation formula is as shown in FIG. In FIG. 3, x is an input vector, U is a projection matrix into a subspace, X SV is a support vector set of ISVM, α and ρ are parameters of 1 class SVM, and f (x) is an identification function of 1 class SVM. . The number (n) on the right shoulder indicates the number of increments. xn is the nth input vector.

図4は部分空間とSVMの識別関数のインクリメントの処理フローを示し、各プロセスにおける計算式(更新式)は、図3の計算式(1)〜(4)に対応している
まず特徴ベクトルxnが入力されると、部分空間Un-1はUnに更新される(ステップS1;更新(1))。SVMの識別関数に必要となる、サポートベクタ群は部分空間への投影によって次元圧縮された状態で記憶されているが、このサポートベクタ群Un-1SV n-1をUnSV n-1に更新する(ステップS2;更新(2))。
FIG. 4 shows a process flow for incrementing the subspace and SVM discriminant functions. The calculation formulas (update formulas) in each process correspond to the calculation formulas (1) to (4) in FIG. When n is input, the subspace U n-1 is updated to U n (step S1; update (1)). The support vector group necessary for the SVM discriminant function is stored in a dimensionally compressed state by projection onto the subspace. This support vector group U n-1 X SV n-1 is converted to U n X SV n Update to -1 (step S2; update (2)).

また、特徴ベクトルxnを部分空間Unに投影し、次元圧縮した特徴ベクトルx’n=Unnを求める(ステップS3)。 Further, by projecting the feature vector x n in the subspace U n, obtains a feature vector x 'n = U n X n that dimensional compression (Step S3).

次にISVMの処理を行う。まず、サポートベクタ群XSV n-1とこれを次元圧縮したサポートベクタ群UnSV n-1を更新しUnSV nを記憶し、次にサポートベクタのパラメータαn-1とρn-1をαnとρnに更新する(ステップS4;更新(3))。 Next, ISVM processing is performed. First, the support vector group X SV n-1 and the dimension-compressed support vector group U n X SV n-1 are updated to store U n X SV n , and then the support vector parameters α n-1 and ρ n-1 is updated to α n and ρ n (step S4; update (3)).

これらのパラメータによって更新されたISVMの関数fn(x)を用いて、入力された特徴ベクトルxnを圧縮したベクトルx’nを関数に入力し(ステップS5)、非定常判定結果fn(x’n)を出力する(計算式(4))。 Using the ISVM function f n (x) updated with these parameters, a vector x ′ n obtained by compressing the input feature vector x n is input to the function (step S5), and the unsteady determination result f n ( x ′ n ) is output (calculation formula (4)).

以上のプロセスにおいて、識別系の更新と、最新の入力データに対する出力との順序を逆にすることも可能であり、その場合は、更新する前のfn-1(x)を用いて非定常判定結果fn-1(x’n)を出力したのち、上記と同様にfn-1(x)をfn(x)に更新する(図4のステップS5と非定常判定結果出力との処理順序を逆にする)。 In the above process, it is also possible to reverse the order of the update of the identification system and the output for the latest input data. In this case, non-stationary using f n-1 (x) before the update After the determination result f n-1 (x ′ n ) is output, f n-1 (x) is updated to f n (x) in the same manner as described above (step S5 in FIG. 4 and output of the unsteady determination result). Reverse processing order).

上記処理の流れを図3で説明するならば、まずn−1ステップめのIPCAの結果の部分空間U(n-1)が生成されており、新たな入力ベクトルxnが加わるとき、U(n-1)はxnを用いてインクリメントされU(n)が生成される(図3の式(1))。 The flow of the above processing will be described with reference to FIG. 3. First, a subspace U (n-1) as a result of IPCA at the (n-1) th step is generated, and when a new input vector x n is added, U ( n−1) is incremented using x n to generate U (n) ( formula (1) in FIG. 3).

n−1ステップめの結果ISVMのサポートベクトル集合XSV (n-1)が得られている。これはU(n-1)にxn-1を投影したx’n-1=U(n-1)n-1の部分集合から成るベクトルであるからこれを現在の部分空間に投影したベクトルに修正する(図3の式(2)。そして、新たな入力x’n=U(n-1)nを加えてISVMのインクリメントを行い、αとρを更新する(図3の式(3))。これらの更新されたパラメータを用いて、1クラスSVMの識別関数f(x’n)を求める(図3の式(4))。 As a result of the n-1 step, a support vector set X SV (n-1) of ISVM is obtained. It is projected this because it is a vector consisting of a subset of U (n-1) in the projection of the x n-1 x 'n- 1 = U (n-1) x n-1 to the current subspace The vector is corrected (Equation (2) in FIG. 3), and the new input x ′ n = U (n−1) x n is added to increment ISVM to update α and ρ (Equation in FIG. 3). (3)) Using these updated parameters, the discrimination function f (x ′ n ) of the one-class SVM is obtained (formula (4) in FIG. 3).

識別器(識別部12)の出力は、1クラスSVMの識別関数の出力(スカラー)である。このスカラーaの値は、定常サンプルとみなされた場合a>0、非定常サンプルとみなされた場合a<0となる。   The output of the discriminator (identification unit 12) is the output (scalar) of the discriminant function of 1 class SVM. The value of the scalar a is a> 0 when it is regarded as a stationary sample, and a <0 when it is regarded as a non-stationary sample.

a<0のとき、|a|の値が大きいほど定常からのはずれ具合が大きいとみなすことができる。これを本発明における出力の非定常度と呼ぶことにする。   When a <0, it can be considered that the larger the value of | a |, the greater the deviation from the steady state. This is called the output non-stationary degree in the present invention.

次に入力サンプル数と識別器(識別部12)の出力との関係を図5〜図7とともに具体的に説明する。   Next, the relationship between the number of input samples and the output of the discriminator (identification unit 12) will be specifically described with reference to FIGS.

図5は、ある時系列特徴を逐次的に入力として識別関数のインクリメントを行った場合、入力サンプルの時系列に対して非定常度を出力すると、インクリメント回数によってどのような変化があるかを模式的に示した図である。   FIG. 5 is a schematic diagram showing what kind of change occurs depending on the number of increments when a non-stationary degree is output for a time series of input samples when a discriminant function is incremented by sequentially inputting a certain time series feature. FIG.

図6は図5における具体的なサンプル数、出力値を示したグラフであり、サンプル数は図5のA,B,Cに対応している。   FIG. 6 is a graph showing the specific number of samples and output values in FIG. 5, and the number of samples corresponds to A, B, and C in FIG.

図7は実際のATMと同じつくりのセットにおいて撮影した監視映像である。   FIG. 7 is a monitoring image taken in the same set as the actual ATM.

図5〜図7において、開始フレームをずらして一定フレーム数分を1サンプルとして入力する。1サンプル中に、非定常シーンのフレームが含まれているサンプルは非定常、含まれていないサンプルは定常とする。理想的には、急激な映像の変化が起こらない限り、連続した複数のサンプルに対する出力値は近い値となり、開始時刻が隣り合うサンプル同士で出力値の符号が急激に変わることはない。   5 to 7, the start frame is shifted and a certain number of frames are input as one sample. A sample in which a frame of a non-stationary scene is included in one sample is non-stationary, and a sample that is not included is stationary. Ideally, the output values for a plurality of consecutive samples are close unless a sudden video change occurs, and the sign of the output value does not change abruptly between samples with adjacent start times.

図5、図6に示すように、学習サンプル数が少ない場合(図示(A))、出力値が細かく正負に振れる現象が見られ、それらの負の値に対応するサンプル全てが非定常ではない。しかし図示B,Cの順に学習サンプルを増やすことで、非定常となる誤検出が減少し、図6のように出力グラフが滑らかになっていくことが期待される。   As shown in FIGS. 5 and 6, when the number of learning samples is small (illustration (A)), a phenomenon in which the output value fluctuates finely and positively is observed, and all the samples corresponding to those negative values are not unsteady. . However, by increasing the number of learning samples in the order of B and C in the figure, it is expected that false detection that becomes unsteady will decrease and the output graph will become smooth as shown in FIG.

監視映像としては、人が順番に機械の前に来て操作をし、立ち去る様子を定常シーン(図7(a),(b))として多数撮影した。また、操作者の背後から携帯カメラで盗撮するシーン(図7(c))を非定常として撮影し、これらを1つのビデオに編集したものを用いた。   As a monitoring image, a large number of people were photographed as steady scenes (FIGS. 7 (a) and 7 (b)) in which a person came in front of the machine in order, operated, and left. In addition, a scene (FIG. 7 (c)) that was taken with a portable camera from behind the operator was photographed as non-stationary, and these were edited into one video.

非定常のラベルがつくのは200サンプルの周辺、それ以外はすべて定常である。20サンプル前後は、最初に背景中に人物が出現するシーン、200サンプル前後は盗撮シーン、その中間は機械操作のシーンである。   Non-stationary labels are around 200 samples, all others are stationary. Around 20 samples are scenes where a person first appears in the background, around 200 samples are voyeur scenes, and the middle is a machine operation scene.

図5、図6において、A,B,Cと学習サンプルを増やしていくと、20サンプル前後における出力の非定常誤検出が減少していくことがわかる。また、B,Cと学習サンプルを増やすことで、40サンプル前後の非定常誤検出が減少していることがわかる。   5 and 6, it can be seen that as the number of learning samples A, B, and C increases, unsteady erroneous detection of the output around 20 samples decreases. In addition, it can be seen that by increasing the number of B, C and learning samples, unsteady false detections around 40 samples are reduced.

人物の出現するシーンは他に類似シーンがないため非定常として誤検出されているが、更に入力サンプルを増やして類似シーンを追加していくと、定常として学習されると考えられる。   A scene in which a person appears is erroneously detected as non-stationary because there is no other similar scene, but it is considered that if a similar scene is added by increasing the number of input samples, it is learned as stationary.

また、本実施形態の逐次更新型非定常検出装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の逐次更新型非定常検出方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばFD(Floppy(登録商標) Disk)や、MO(Magneto−Optical disk)、ROM(Read Only Memory)、メモリカード、CD(Compact Disk)−ROM、DVD(Digital Versatile Disk)−ROM、CD−R,、CD−RW,HDD,リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。   In addition, the present invention can be realized by configuring some or all of the functions of each means in the sequential update type non-stationary detection device of the present embodiment with a computer program and executing the program using the computer. It goes without saying that the procedure in the sequential update type non-stationary detection method of the present embodiment can be configured by a computer program, and the program can be executed by the computer. Readable recording media such as FD (Floppy (registered trademark) Disk), MO (Magneto-Optical disk), ROM (Read Only Memory), memory card, CD (Compact Disk) -ROM, DVD (Digital) (Versatile Disk) -ROM, CD-R, CD-RW, HDD, removable disk, etc. can be recorded and stored or distributed. It is also possible to provide the above program through a network such as the Internet or e-mail.

本発明の一実施形態例の構成を示すブロック図。The block diagram which shows the structure of one embodiment of this invention. 本発明の具体的な実施例の構成を示すブロック図。The block diagram which shows the structure of the specific Example of this invention. 本発明の特徴ベクトル生成手段および識別手段で処理される更新式、計算式の説明図。Explanatory drawing of the update type | formula and calculation type | formula processed by the feature vector production | generation means and identification means of this invention. 本発明の各手段が実行する処理の流れを示すフローチャート。The flowchart which shows the flow of the process which each means of this invention performs. 入力サンプル数と識別器の出力の関係を示す特性図。The characteristic view which shows the relationship between the number of input samples and the output of a discriminator. 入力サンプル数と識別器の出力の関係を示すグラフ。The graph which shows the relationship between the number of input samples and the output of a discriminator. 入力データとして用いられる監視映像を示す説明図。Explanatory drawing which shows the monitoring image | video used as input data.

符号の説明Explanation of symbols

11…特徴ベクトル生成部、12…識別部、110…特徴空間モデル記憶部、120…識別辞書モデル記憶部。   DESCRIPTION OF SYMBOLS 11 ... Feature vector production | generation part, 12 ... Identification part, 110 ... Feature space model memory | storage part, 120 ... Identification dictionary model memory | storage part.

Claims (6)

1サンプルごと、或いは少数のサンプルごとに逐次入力されるデータから統計的な解析によって非定常状態を検出する装置であって、
入力データからインクリメンタルPCA(主成分分析)のアルゴリズムを用いて統計的な処理によって特徴ベクトルを生成する特徴ベクトル生成手段と、前記生成された特徴ベクトルを用いてインクリメンタルSVM(サポートベクターマシン)のアルゴリズムにより非定常状態を検出する識別手段とから成り、
前記特徴ベクトル生成手段は特徴空間モデル記憶部を有し、
前記識別手段は識別辞書モデル記憶部を有し、
前記特徴ベクトル生成手段は、入力データが入力されるごとに、それを構成する所定フレームを、前記特徴空間モデル記憶部に記憶されている特徴空間モデルに新たに加えて当該特徴空間モデルを更新し、前記入力データの特徴ベクトルを、前記更新された特徴空間モデルに射影して次元圧縮した特徴ベクトルを求め、前記識別辞書モデル記憶部に記憶されている、入力ベクトルを更新前の特徴空間モデルに射影した形のサポートベクタ群を、前記更新された特徴空間モデルに射影したサポートベクタ群に更新し、
前記識別手段は、前記次元圧縮した特徴ベクトルが入力されるごとに前記識別辞書モデル記憶部に記憶されているサポートベクタ群を更新し、該更新による非定常判定のインクリメンタルSVMの関数に基づいて非定常状態を検出する
ことを特徴とする逐次更新型非定常検出装置。
An apparatus for detecting a non-steady state by statistical analysis from data sequentially input for each sample or a small number of samples,
Feature vector generation means for generating a feature vector by statistical processing from input data using an algorithm of incremental PCA (principal component analysis), and an incremental SVM (support vector machine) algorithm using the generated feature vector Comprising an identification means for detecting the unsteady state,
The feature vector generation means has a feature space model storage unit,
The identification means has an identification dictionary model storage unit,
Each time input data is input , the feature vector generation means adds a predetermined frame constituting the input data to the feature space model stored in the feature space model storage unit and updates the feature space model. The feature vector of the input data is projected onto the updated feature space model to obtain a dimension vector, and the feature vector is obtained by dimensional compression. The input vector stored in the identification dictionary model storage unit is used as the feature space model before the update. Update the projected support vector group to the support vector group projected onto the updated feature space model,
The identification unit updates the support vector group stored in the identification dictionary model storage unit each time the dimension-compressed feature vector is input, and the non-steady determination based on the function of the incremental SVM for non-stationary determination. A sequential update type unsteady state detecting device characterized by detecting a steady state .
前記入力データは映像の変化領域抽出に基づく時空間データであることを特徴とする請求項1に記載の逐次更新型非定常検出装置。 The sequential update type non-stationary detection device according to claim 1, wherein the input data is spatiotemporal data based on video change area extraction . 特徴ベクトル生成手段および識別手段を備え、1サンプルごと、或いは少数のサンプルごとに逐次入力されるデータからインクリメンタルPCA(主成分分析)のアルゴリズムを用いて統計的な解析によって、インクリメンタルSVM(サポートベクターマシン)のアルゴリズムにより非定常状態を検出する方法であって、  Incremental SVM (support vector machine) by means of statistical analysis using incremental PCA (principal component analysis) algorithm from data sequentially input for each sample or a small number of samples. ) To detect the unsteady state by the algorithm of
前記特徴ベクトル生成手段が、入力データが入力されるごとに、それを構成する所定フレームを、特徴空間モデル記憶部に記憶されている特徴空間モデルに新たに加えて当該特徴空間モデルを更新する第1の更新ステップと、  The feature vector generation means updates the feature space model each time input data is input by newly adding a predetermined frame constituting the input data to the feature space model stored in the feature space model storage unit. 1 update step;
前記特徴ベクトル生成手段が、前記入力データの特徴ベクトルを、前記更新された特徴空間モデルに射影して次元圧縮した特徴ベクトルを求めるステップと、  The feature vector generation means obtains a feature vector obtained by dimension-compressing the feature vector of the input data by projecting it onto the updated feature space model;
前記特徴ベクトル生成手段が、識別辞書モデル記憶部に記憶されている、入力ベクトルを更新前の特徴空間モデルに射影した形のサポートベクタ群を、前記更新された特徴空間モデルに射影したサポートベクタ群に更新する第2の更新ステップと、  The support vector group in which the feature vector generation unit projects the support vector group in the form of projecting the input vector onto the feature space model before the update, which is stored in the identification dictionary model storage unit, onto the updated feature space model A second update step for updating to
前記識別手段が、前記次元圧縮した特徴ベクトルが入力されるごとに前記識別辞書モデル記憶部に記憶されているサポートベクタ群を更新する第3の更新ステップと、  A third updating step in which the identification unit updates a support vector group stored in the identification dictionary model storage unit each time the dimension-compressed feature vector is input;
前記識別手段が、前記第3の更新ステップの更新による非定常判定のインクリメンタルSVMの関数に基づいて非定常状態を検出するステップと  A step of detecting an unsteady state based on a function of an incremental SVM for unsteady determination by updating the third updating step;
を備えたことを特徴とする逐次更新型非定常検出方法。  A sequential update type non-stationary detection method comprising:
前記入力データは映像の変化領域抽出に基づく時空間データであることを特徴とする請求項3に記載の逐次更新型非定常検出方法。  4. The sequential update type non-stationary detection method according to claim 3, wherein the input data is spatio-temporal data based on video change area extraction. コンピュータを、請求項1または2に記載の特徴ベクトル生成手段および識別手段として機能させる逐次更新型非定常検出プログラム。  A sequential update type non-stationary detection program for causing a computer to function as the feature vector generation unit and the identification unit according to claim 1. 請求項5に記載の逐次更新型非定常検出プログラムを記録したコンピュータ読み取り可能な記録媒体。  A computer-readable recording medium on which the sequential update type non-stationary detection program according to claim 5 is recorded.
JP2007162834A 2007-06-20 2007-06-20 Sequential update type non-stationary detection device, sequential update type non-stationary detection method, sequential update type non-stationary detection program, and recording medium recording the program Expired - Fee Related JP4573857B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007162834A JP4573857B2 (en) 2007-06-20 2007-06-20 Sequential update type non-stationary detection device, sequential update type non-stationary detection method, sequential update type non-stationary detection program, and recording medium recording the program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007162834A JP4573857B2 (en) 2007-06-20 2007-06-20 Sequential update type non-stationary detection device, sequential update type non-stationary detection method, sequential update type non-stationary detection program, and recording medium recording the program

Publications (2)

Publication Number Publication Date
JP2009003638A JP2009003638A (en) 2009-01-08
JP4573857B2 true JP4573857B2 (en) 2010-11-04

Family

ID=40319971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007162834A Expired - Fee Related JP4573857B2 (en) 2007-06-20 2007-06-20 Sequential update type non-stationary detection device, sequential update type non-stationary detection method, sequential update type non-stationary detection program, and recording medium recording the program

Country Status (1)

Country Link
JP (1) JP4573857B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015207415A1 (en) * 2015-04-23 2016-10-27 Adidas Ag Method and apparatus for associating images in a video of a person's activity with an event
JP6855826B2 (en) * 2017-02-14 2021-04-07 富士通株式会社 Judgment device, judgment method and judgment program
US10984334B2 (en) * 2017-05-04 2021-04-20 Viavi Solutions Inc. Endpoint detection in manufacturing process by near infrared spectroscopy and machine learning techniques

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006079272A (en) * 2004-09-08 2006-03-23 National Institute Of Advanced Industrial & Technology Abnormal behavior detection apparatus and abnormal behavior detection method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006079272A (en) * 2004-09-08 2006-03-23 National Institute Of Advanced Industrial & Technology Abnormal behavior detection apparatus and abnormal behavior detection method

Also Published As

Publication number Publication date
JP2009003638A (en) 2009-01-08

Similar Documents

Publication Publication Date Title
JP4369961B2 (en) Abnormality detection device and abnormality detection program
US10474959B2 (en) Analytic system based on multiple task learning with incomplete data
JP6161257B2 (en) Event detection apparatus and method, operation recognition apparatus and method, and program
WO2021093468A1 (en) Video classification method and apparatus, model training method and apparatus, device and storage medium
CN110431560B (en) Target person searching method, device, equipment and medium
CN109086873B (en) Training method, recognition method and device of recurrent neural network and processing equipment
DK2377044T3 (en) DETECTING ANORMAL EVENTS USING A LONG TIME MEMORY IN A VIDEO ANALYSIS SYSTEM
Dutta et al. Online detection of abnormal events using incremental coding length
Li et al. Abnormal behavior detection via sparse reconstruction analysis of trajectory
US10699207B2 (en) Analytic system based on multiple task learning with incomplete data
Huo et al. Abnormal event detection via multi-instance dictionary learning
JP2010231254A (en) Image analyzing device, method of analyzing image, and program
KR20190079110A (en) Apparatus and method for image analyzing based on self-learning
CN110781818A (en) Video classification method, model training method, device and equipment
JP4573857B2 (en) Sequential update type non-stationary detection device, sequential update type non-stationary detection method, sequential update type non-stationary detection program, and recording medium recording the program
JP4572175B2 (en) Unsteady image detection device, unsteady image detection method, and program implementing the method
CN113553577B (en) Unknown user malicious behavior detection method and system based on hypersphere variational automatic encoder
JP2010128947A (en) Abnormality estimation apparatus, abnormality estimation method and abnormality estimation program
US8073963B1 (en) Data stream change detector
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
US11403527B2 (en) Neural network training system
JP2019086979A (en) Information processing device, information processing method, and program
WO2021152547A1 (en) Method and system for localization with supervision
CN108804981B (en) Moving object detection method based on long-time video sequence background modeling frame
CN111126478A (en) Convolutional neural network training method, device and electronic system

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100707

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100817

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees