JP3572632B2

JP3572632B2 - 異常検出装置

Info

Publication number: JP3572632B2
Application number: JP18443593A
Authority: JP
Inventors: 哲二郎近藤; 秀雄中屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-06-29
Filing date: 1993-06-29
Publication date: 2004-10-06
Anticipated expiration: 2019-10-06
Also published as: US5488618A; JPH0787481A

Description

【０００１】
【産業上の利用分野】
この発明は、例えば画像情報に適用される異常検出装置に関する。
【０００２】
【従来の技術】
以下の説明では、この発明を画像に対して適用したものであるが、この発明は、画像、音声等の種々の情報に対して適用できる。従来の異常検出の方法としては、予め異常と思われるパターンを用意しておいて、入力信号とそれとのパターンマッチングによって判定を行うものであった。
【０００３】
【発明が解決しようとする課題】
従来の方法では、用意できる異常パターンの個数に制限があり、検出精度が低い問題があった。
【０００４】
従って、この発明の目的は、検出精度を向上することができる異常検出装置を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、入力ディジタル情報信号の異常を、過去のデータから形成された予測ディジタル情報信号に基づいて検出する装置において、
過去のデータの画素のパターン形状に応じたクラスを形成し、クラスに応じた予測係数を出力するための係数生成手段と、
過去のデータと予測係数とに基づいて、入力ディジタル情報信号に相当する予測ディジタル情報信号を算出するための予測手段と、
予測ディジタル情報信号と入力ディジタル情報信号との間の相関に基づき、入力ディジタル情報信号の異常状態を判定するための判定手段と、
を有することを特徴とする異常検出装置である。
【０００６】
【作用】
過去の時空間の画素データと係数の線形１次結合によって未来の画素の推定値を形成する。この場合、正常な画像に関して、過去のデータをクラス分類し、クラス毎に最適な係数が最小二乗法により予め学習により決定される。そして、入力画像に対して、学習時と同様にクラス分類を行ない、獲得されている係数を使用して未来の画素の推定値が生成される。この推定値と実際の値との差分値が計算され、差分値が第１のしきい値以上のものを検出し、所定期間におけるその個数が第２のしきい値より大きい時に異常が発生したものと検出する。
【０００７】
【実施例】
以下、この発明を画像情報に対して適用した一実施例について説明する。この発明の理解を容易とするために、まず、時空間モデルで画像を記述することについて、図１を参照して説明する。
【０００８】
図１において、Ｔ１、Ｔ２は、時間的に連続する２フレームを示し、Ｔ１が過去のフレーム、Ｔ２が現在のフレームである。これらのフレーム中で、推定値の生成およびクラス分類のために使用する画素が図に示されている。×で示す現在フレーム内の未来の画素を図１に示す画素の値ｘ_ｉと係数ｗ_ｉ（ｉ＝１，２，・・・，ｎ）のｎタップの線形１次結合モデルで表現する。そして、以下により詳細に説明するように、画素の値ｘ_ｉと係数ｗ_ｉの線形１次結合で表現される未来の画素の推定値ｙの真値に対する誤差の二乗が最小となるように、係数が最小二乗法で決定される。１フレーム毎およびクラス毎に１組の係数が確定される。
【０００９】
図１に示す時空間モデルの例では、ｎ＝１６である。現在フレームＴ２の未来の画素の予測値ｙは、１６タップの入力画素の線形１次結合ｗ_１ｘ_１＋ｗ_２ｘ_２＋・・・＋ｗ_１６ｘ_１６によって表される。この線形１次結合モデルにおける係数ｗ_ｉについては、実際の値と線形１次結合で表される推定値との残差が最小になるものが求められる。
【００１０】
この未定係数ｗ_ｉを決定するために、入力画像を空間方向（水平方向および垂直方向）に１画素ずつずらした時の図１に示す各画素の値ｘ_ｉ（ｉ＝１，・・・，ｎ）と予測対象画素の実際の値ｙ_ｊ（ｊ＝１，・・・，ｍ）をそれぞれ代入した線形１次結合の式を作成する。例えば１フレームに対して１組の係数を求める時には、入力画像を１画素ずつシフトすることによって、非常に多くの式、すなわち、１フレームの画素数（＝ｍ）の連立方程式（観測方程式と称する）が作成される。１６個の係数を決定するためには、最低で（ｍ＝１６）の連立方程式が必要である。方程式の個数ｍは、精度の問題と処理時間との兼ね合いで適宜選定できる。観測方程式は、
ＸＷ＝Ｙ（１）
である。ここでＸ、Ｗ、Ｙは、それぞれ下記のような行列である。
【００１１】
【数１】

【００１２】
係数ｗとして、実際の値との誤差を最小にするものを最小二乗法により求める。このために、観測方程式の右辺に残差行列Ｅを加えた下記の残差方程式を作成する。すなわち、最小二乗法において、残差方程式における残差行列Ｅの要素の二乗、すなわち二乗誤差が最小になる係数行列Ｗを求める。
【００１３】
【数２】

【００１４】
次に、残差方程式（３）から係数行列Ｗの各要素ｗ_ｉの最確値を見いだすための条件は、ブロック内の画素に対応するｍ個の残差をそれぞれ二乗してその総和を最小にする条件を満足させればよい。この条件は、下記の式（４）により表される。
【００１５】
【数３】

【００１６】
ｎ個の条件を入れてこれを満足する係数行列Ｗの要素である未定係数ｗ_１，ｗ_２，・・・，ｗ_ｎを見出せばよい。従って、残差方程式（３）より、
【００１７】
【数４】

【００１８】
となる。式（４）の条件をｉ＝１，２，・・・，ｎ）について立てれば、それぞれ
【００１９】
【数５】

【００２０】
が得られる。式（３）と式（６）から、下記の正規方程式が得られる。
【００２１】
【数６】

【００２２】
正規方程式（７）は、丁度、未知数の数がｎ個だけある連立方程式である。これにより、最確値たる各未定係数ｗ_ｉを求めることができる。正確には、式（７）における、ｗ_ｉにかかるマトリクスが正則であれば、解くことができる。実際には、Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法（別名、掃き出し法）を用いて未定係数ｗ_ｉを求めている。このようにして、未来の画素を表すための係数が例えば１フレームで１組確定する。
【００２３】
この実施例は、学習によって決定された係数を予測係数として使用し、未来の画素データを予測する。この場合、推定精度を向上するために、入力画像のクラス分類（クラスタリング）を行う。図１において、○で示す画素が線形１次結合モデルに使用したものを示し、◎が示す画素がモデルおよびクラス分類に使用した画素を示す。つまり、１６画素中の４画素がクラス分類にも使用される。
【００２４】
４画素のそれぞれが８ビットであると、４画素の値の組合せが非常に多くなり、現実的なクラス分類とは言えない。そこで、後述するように、この４画素のそれぞれのビット数を符号化により圧縮している。より具体的には、ＡＤＲＣ（ダイナミックレンジに適応した符号化）によって、各画素を１ビットのコードに圧縮する。その結果、２^４＝１６通りのクラスを取り扱えば良い。クラスを指示するコードをインデックスと称する。ＡＤＲＣに限らず、ベクトル量子化によって、画素のビット数を減少させることもできる。さらに、各画素の最上位ビットを集めてインデックスとしても良い。このように、予測画素の近傍の４画素をそれぞれ１ビットに正規化した４ビットのコードによってクラス分類することは、画像の時空間における変化の概略のパターン形状に応じてクラス分類を行ったことを意味する。
【００２５】
図２は、予め学習によって、クラスとその係数とを確定し、この確定係数を用いて、入力画像の異常を検出するようにしたこの発明の一実施例を示す。先ず、学習について説明すると、図２において、１で示す入力端子に入力画像データが供給される。入力画像データとしては、正常な絵柄の多数の静止画像データが好ましい。入力画像データが時系列変換回路２および最小二乗法の演算回路３に供給される。時系列変換回路２は、ラスター走査の入力画像データ中の線形１次結合モデルおよびクラス分類に使用される複数の画素データを同時化する。
【００２６】
この時系列変換回路２の出力データが演算回路３およびクラス分類回路４に供給される。クラス分類回路４は、上述のように、画像の３次元の変化に対応するインデックスを発生する。このインデックスが演算回路３に供給される。演算回路３は、図１に示される時空間モデルに関して、上述した最小二乗法のアルゴリズムによって、インデックスで指示されるクラス毎に１組の係数ｗ_ｉを決定する。この係数が係数メモリ１５に格納される。学習時に多くのフレームの正常な入力画像を使用する時には、各フレームで確定した係数の平均値、あるいは最大出現頻度の係数が係数メモリ１５に書込まれる。
【００２７】
次に、学習によって決定された係数を使用してなされる異常検出について説明する。上述のように、係数メモリ１５には、学習により獲得された係数がクラス毎に格納されている。入力端子１１からの入力画像データが時系列変換回路１２に供給され、その出力データがクラス分類回路１４および推定値生成回路１６に供給される。時系列変換回路１２は、ラスター走査の順序に従って入力された画素データを図１に示すように、過去において順次伝送されてくる画素と未来に伝送されてくる画素をひとまとめにして同時に出力する。クラス分類回路１４には、クラス分類に使用する４画素のデータが供給される。クラス分類回路１４からのインデックスが係数メモリ１５に供給され、クラスに対応する１組の係数がメモリ１５から読出される。
【００２８】
この読出し係数が推定値生成回路１６に供給され、時系列変換回路１２からの画素データを使用して、推定値が生成される。この推定値が減算回路１８に供給される。減算回路１８の他の入力として、遅延回路１７を介された入力画像データが供給される。減算回路１８によって、真値（実データ）と推定値との差分値が生成される。この差分値が後述の異常判定回路１９に供給される。入力画像の異常の有無を示す異常フラグＦＬ２が出力端子２０に取り出される。
【００２９】
図３の例では、前もってなされる学習により獲得された係数を使用している。これに限らず、正常な入力画像データを学習して、係数を順次更新する構成も可能である。さらに、前もって学習で獲得した係数を入力画像データによって変更することも可能である。
【００３０】
次に、図２に示す一実施例の構成要素について、より詳細に説明する。図３は、クラス分類回路４、１４の一例である。入力画像データ（４画素のデータ）が１ビットＡＤＲＣ回路２７に順次供給される。ＡＤＲＣ回路２７では、４画素の値の最大値および最小値が検出され、最大値と最小値の差であるダイナミックレンジＤＲが検出される。このダイナミックレンジＤＲによって各画素の値が割算される。その商が０．５と比較され、商が０．５以上の時に｀１’ 、０．５より小の時に｀０’ のコードが形成される。
【００３１】
ＡＤＲＣ回路２７によって、各画素の値が１ビット（｀０’ または｀１’ ）に圧縮される。このＡＤＲＣ回路２７の出力がシフトレジスタ２８によって直列並列変換される。シフトレジスタ２８からの各１ビットのＬ１、Ｌ２、Ｌ３、Ｌ４がレジスタ２９に格納される。この４ビット（Ｌ１，Ｌ２，Ｌ３，Ｌ４）がインデックスである。
【００３２】
図４は、最小二乗法の演算回路３のより詳細な構成を示す。入力ディジタル画像信号が供給され、時空間モデルを構成するデータ、すなわち、対象画素の実データｙと線形１次結合に使用するデータｘ_ｉを同時化するための時系列変換回路３１が設けられている。時系列変換回路３１からのデータが乗算器アレー３２に供給される。乗算器アレー３２に対して加算メモリ３３が接続される。インデックスがデコーダ３５に供給され、デコーダ３５からのクラス情報が加算メモリ３３に供給される。これらの乗算器アレー３２および加算メモリ３３は、正規方程式生成回路を構成する。
【００３３】
乗算器アレー３２は、各画素同士の乗算を行ない、加算メモリ３３は、乗算器アレー３２からの乗算結果が供給される加算器アレーとメモリアレーとで構成される。図５は、乗算器アレー３２の具体的構成である。図５において、その一つを拡大して示すように、四角のセルが乗算器を表す。乗算器アレー３２において各画素同士の乗算が行われ、その結果が加算メモリ３３に供給される。
【００３４】
加算メモリ３３は、図６に示すように、加算器アレー３３ａとメモリ（またはレジスタ、以下同様）アレー３３ｂとからなる。クラスの個数と等しい個数のメモリアレー３３ｂの並列回路が加算器アレー３３ａに対して接続されている。インデックスデコーダ３５からの出力（クラス）に応答して一つのメモリアレー３３ｂが選択される。また、メモリアレー３３ｂの出力が加算器アレー３３ａに帰還される。これらの乗算器アレー３２、加算器アレー３３ａ、メモリアレー３３ｂによって積和演算がなされる。インデックスによって決定されるクラス毎にメモリアレーが選択されて、積和演算の結果によってメモリアレーの内容が更新される。
【００３５】
なお、前述の正規方程式（７）のｗ_ｉにかかる積和演算の項を見ると、右上の項を反転すると、左下と同じものとなる。従って、（７）式を左上から右下に向かう線によって斜めに分割し、上側の三角形部分に含まれる項のみを演算すれば良い。この点から乗算器アレー３２、加算器アレー３３ａ、メモリアレー３３ｂは、図５および図６に示すように、上側の三角形部分に含まれる項を演算するのに必要とされる、乗算セルあるいはメモリセルを備えている。
【００３６】
以上のようにして、入力画像が到来するに従って積和演算が行われ、正規方程式が生成される。クラス毎の正規方程式の各項の結果は、クラスとそれぞれ対応するメモリアレー３３ｂに記憶されており、次に図４に示すように、この正規方程式の各項が掃き出し法のＣＰＵ演算回路３４に計算される。ＣＰＵを用いた演算によって正規方程式（連立方程式）が解かれ、最確値である係数が求まる。この係数が出力される。
【００３７】
図７は、係数メモリ１５および推定値生成回路１６の一例の構成である。係数メモリ１５は、各クラスの係数組を記憶し、インデックスデコーダ３６からのクラス識別信号により選択された係数組を出力する。この係数組ｗ_１〜ｗ_ｎがレジスタをそれぞれ介して乗算器３７_１〜３７_ｎにその一方の入力として供給される。乗算器３７_１〜３７_ｎの他方の入力としては、時系列変換回路３８によりまとめられた画素データｘ_１〜ｘ_ｎが供給される。乗算器３７_１〜３７_ｎの出力が加算器３９で加算される。加算器３９からは、推定値ｙ（＝ｘ_１ｗ_１＋ｘ_２ｗ_２＋・・・・＋ｘ_ｎｗ_ｎ）が得られる。
【００３８】
図４に示すように、推定値生成回路１６からの推定値ｙと遅延回路１７を介された真値との差分値が減算回路１８から発生する。この差分値が供給される異常判定回路１９の構成の一例を図８に示す。入力端子４１からの差分値が絶対値化回路４２に供給され、絶対値に変換される。そして、比較器４３に供給され、第１のしきい値ＴＨ１と比較される。比較器４３からは、フラグＦＬ１が発生する。絶対値の差分値がしきい値ＴＨ１より大きい時に、フラグＦＬ１が｀１’ となる。この｀１’ は、異常候補である。
【００３９】
比較器４３からのフラグＦＬ１が計数回路４４に供給される。計数回路４４に対しては、端子４５から計数期間を指定するイネーブル信号が供給される。例えば１フレームの計数期間が設定される。この設定された期間内で、フラグＦＬ１の｀１’ の個数が計数される。計数回路４４からの計数値が比較器４６に供給され、しきい値ＴＨ２と比較される。計数値がしきい値ＴＨ２より多い場合に、比較器４６の出力、すなわち、フラグＦＬ２が｀１’ となる。このフラグＦＬ２が最終的な異常フラグとして出力端子２０から出力される。
【００４０】
なお、以上においては、監視カメラにおけるような入力情報が例えば画像の場合を説明したが、音声情報、測定可能な情報を対象としても良い。例えば地震計の波形、心電図波形、脳波、超音波エコー等を対象としても良い。これらは、１次元の波形であるから、モデルの構成方法およびクラスの構成方法も１次元とされる。
【００４１】
【発明の効果】
以上の説明からも明らかなように、この発明においては、予め正常な入力情報に従ってクラス分類後、各クラス毎に学習した係数を基にして、新たな入力信号が到来する時に、クラス分類を行ない、次に到来する信号を予測する。この予測したものが実際に到来した信号と離れている場合を異常の候補とし、さらにある期間で計数後、第２のしきい値判定を行うことで異常を検出する。予め学習を行っているために、種々の状態の入力信号に対してある程度ロバスト性があり、且つ、それとかけ離れた異常状態を容易に検出することができる。この発明は、従来のように、複数の異常なパターンを用意する必要がなく、検出精度を向上することができる。
【図面の簡単な説明】
【図１】この発明の一実施例における時空間モデルを説明するための略線図である。
【図２】この発明による異常検出装置の一実施例のブロック図である。
【図３】クラス分類回路の一例のブロック図である。
【図４】最小二乗法の演算回路の構成を示すブロック図である。
【図５】最小二乗法の演算回路に含まれる乗算器アレーを説明するための略線図である。
【図６】最小二乗法の演算回路に含まれる加算器アレーおよびメモリアレーを説明するための略線図である。
【図７】推定値生成回路の一例のブロック図である。
【図８】異常判定回路の一例のブロック図である。
【符号の説明】
３最小二乗法の演算回路
４、１４クラス分類回路
１５係数メモリ
１６推定値生成回路
１９異常判定回路

Claims

入力ディジタル情報信号の異常を、過去のデータから形成された予測ディジタル情報信号に基づいて検出する装置において、
過去のデータの画素のパターン形状に応じたクラスを形成し、上記クラスに応じた予測係数を出力するための係数生成手段と、
上記過去のデータと上記予測係数とに基づいて、上記入力ディジタル情報信号に相当する予測ディジタル情報信号を算出するための予測手段と、
上記予測ディジタル情報信号と上記入力ディジタル情報信号との間の相関に基づき、上記入力ディジタル情報信号の異常状態を判定するための判定手段と、
を有することを特徴とする異常検出装置。
請求項１に記載の異常検出装置において、
上記判定手段は、
上記予測ディジタル情報信号とその真値との差分値を形成し、上記差分値について、２段階のしきい値判定を行い、しきい値を超える場合を異常状態として決定することを特徴とする異常検出装置。
請求項２に記載の異常検出装置において、
予測係数を出力するための上記係数生成手段は、予め複数の入力情報を使用して学習を行なうことによって算出された各クラス毎の予測係数が格納されている記憶手段からなる異常検出装置。
請求項２に記載の異常検出装置において、
上記判定手段は、絶対値に変換された上記差分値と第１のしきい値とを比較する第１の比較手段と、所定期間において、上記第１のしきい値を超える上記差分値の個数を計数する計数手段と、上記計数手段からの計数値を第２のしきい値と比較する第２の比較手段とからなる異常検出装置。