JP4603512B2 - 異常領域検出装置および異常領域検出方法 - Google Patents

Description

本発明は、画像を取り込んで自動的に通常とは異なる領域を検出する異常領域検出装置および異常領域検出方法に関するものである。

従来、例えばフレキシブル配線基板のフィルムの欠陥検査において、線が断線している場合は通電により検出可能であるが、製品の欠陥の原因となる恐れのある線の細りなどは通電では検出できない。従って、細り等の異常は目視、あるいは画像を用いて検出する必要がある。
目視の場合には、線が微細であるため、画像を拡大する目視検査装置等を利用する必要がある。また欠陥の製造工程へのフィードバックを行うために、欠陥の座標、程度を出力する必要があり、手間がかかるので大量の製品を全て検査することが困難であるという問題点があった。

そこで、今日では、多くの製品検査において画像を用いた異常検査の自動化がなされている。検査手法としては、例えば製品ごとに登録された基準画像との照合を行うパターンマッチング手法が採用されている。
一方、画像データから特定の図形等を検出したり、登録されている画像との一致／不一致を判定するために各種の技術が提案されている。本発明者らが出願した下記の特許文献１には、２次元画像に対する高次局所自己相関特徴（以下、HLACデータとも記す）を用いた学習適応型画像認識・計測方式の技術が開示されている。
特許第２９８２８１４号公報

上記した従来の異常領域検出手法であるパターンマッチング手法においては対象に対する汎用性や学習効果が無く、かつ位置や方向を合わせる必要があり、処理時間が長く、精度が悪いという問題点があった。また、フレキシブル配線基板の導体部はフィルム上に印刷された樹脂であり、粒状であるため、画像から直線のエッジ等の図形を検出し難く、欠陥の検出が難しいという問題点があった。

一方で、高次局所自己相関特徴を用いた学習適応型画像認識方式においては、対象（欠陥領域）が画像のどの位置にあっても同じ検出結果となる位置不変性があり、対象（欠陥領域）の位置を特定できないので、欠陥検査に適用できないという問題点があった。

本発明の目的は、上記したような従来例の問題点を解決し、高次局所自己相関特徴を用いて異常の有無と共に位置を高い精度で検出できる高速かつ汎用的な異常領域検出装置および異常領域検出方法を提供する点にある。

本発明の異常領域検出装置は、画像データから画素毎に高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、所定の距離だけ離れた画素毎に、その画素を含む所定の範囲の画素群について前記特徴データ抽出手段によって抽出された前記特徴データを加算する画素対応特徴データ生成手段と、正常領域を示す部分空間に対する前記画素対応特徴データ生成手段により生成された特徴データの異常さを示す指標を計算する指標計算手段と、前記指標が所定値よりも大きい場合に異常と判定する異常判定手段と、前記異常判定手段が異常と判定した画素位置を異常とする判定結果を出力する出力手段とを備えたことを主要な特徴とする。

また、前記した異常領域検出装置において、前記特徴データ抽出手段は、変位幅の異なる複数の高次局所自己相関特徴データを抽出する点にも特徴がある。また、前記した異常領域検出装置において、前記部分空間に対する異常さを示す指標は特徴データの前記部分空間との距離あるいは角度の情報のいずれかを含んでいる点にも特徴がある。

また、前記した異常領域検出装置において、更に、特徴データ抽出手段によって抽出された特徴データから主成分分析手法により主成分ベクトルに基づく正常領域を示す部分空間を求める主成分部分空間生成手段を備えた点にも特徴がある。また、前記した異常領域検出装置において、前記主成分部分空間生成手段は、逐次的主成分分析手法により主成分ベクトルに基づく部分空間を求める点にも特徴がある。

また、前記した異常領域検出装置において、更に、前記画素対応特徴データ生成手段によって生成された画素対応特徴データから得られる部分空間と前記部分空間との正準角に基づく類似度の指標を求め、クラスタリング手法を用いて画素毎にクラス分けするクラス分け手段を備え、前記主成分部分空間生成手段は、クラス毎に前記特徴データを加算してクラス対応の部分空間を求め、前記指標計算手段は、前記画素対応特徴データ生成手段により生成された特徴データの前記クラス対応の部分空間に対する異常さを示す指標を計算する点にも特徴がある。

本発明の異常領域検出方法は、画像データから画素毎に高次局所自己相関によって特徴データを抽出するステップ、所定の距離だけ離れた画素毎に、その画素を含む所定の範囲の画素群について前記特徴データを加算するステップ、正常領域を示す部分空間に対する前記特徴データの異常さを示す指標を計算するステップ、前記指標が所定値よりも大きい場合に異常と判定するステップ、異常と判定された画素位置を異常とする判定結果を出力するステップを含むことを主要な特徴とする。

本発明によれば、以下のような効果がある。
（１）画素対応に異常判定が可能であり、異常領域の位置を正確に検出可能である。
（２）従来は対象が多数存在していると異常検出精度が低下してしまうが、画素を中心とする所定の範囲を適切に選択すれば、検出対象が多数あっても異常領域の判定精度が低下することがない。
（３）特徴抽出や異常判定のための計算量が少なく、かつ計算量は対象に依らず一定であるので、高速に処理可能である。

（４）正常領域を陽に定義することなく統計的に学習しているため、設計の段階で正常領域とは何かについて定義する必要がなく、監視対象に則した検出を行うことができる。さらに、監視対象についての仮定が不要であり、さまざまな監視対象に対しても、正常、異常を判別でき、汎用性が高い。また、異常判定と同時に正常領域の部分空間を更新することにより、正常領域の変化に追従していくことができる。

（５）対象の種類が複数種あっても位置によってクラス分けすることにより、検出精度が更に向上する。また、クラス分けを予め処理してもよいし、クラス分け処理を異常判定と同時に自動的に更新することも可能である。

本明細書においては、異常領域を「正常領域ではないもの」として定義する。正常領域は、領域特徴の統計的な分布を考えた場合に分布の集中する領域であるものとすれば、統計的な分布として教師無しで学習可能である。そして、その分布から大きく逸脱する領域を異常領域とする。

異常領域検出の具体的な手法としては、高次局所自己相関特徴による領域特徴空間の中で正常領域特徴の部分空間を生成し、その部分空間からの距離あるいは角度を指標として異常領域を検出する。正常領域部分空間の生成には例えば主成分分析手法を用い、例えば累積寄与率0.99の主成分ベクトルにより主成分部分空間を構成する。

ここで、高次局所自己相関特徴には、対象の切りだしが不要で画面内において加法性があるという性質がある。この加法性により、正常領域部分空間を構成すると、画面内に正常な配線が何本あっても特徴ベクトルは正常領域部分空間の中に収まることになり、その中の一カ所でも異常領域が存在すると、部分空間から飛び出して異常値として検出できる。線を個々にトラッキングし、切り出す必要がないため、計算量は線の数に比例することなく一定となり、高速に計算可能である。

また、本発明においては、対象の位置を検出するために、所定の距離（１画素以上の任意の距離）だけ離れた画素毎に、この画素を含む（中心とする）所定の領域のHLACデータを積算した画素対応HLAC特徴データを求め、このデータと正常領域部分空間との距離あるいは角度によって異常判定を行う。この処理によって画素毎の正常／異常の判定が可能である。
画像データからの領域特徴の抽出には、高次局所自己相関(HLAC) 特徴を用いる。HLAC特徴の第ｋ成分は次の数式１で与えられる。

ここで、Ｉ(r)は画像を表し、変数ｒ（参照点）とＮ個の局所変位ａ _N ^k は、画面内の座標ｘ，ｙを成分として持つ二次元のベクトルである。Ｂ_N ^kは、Ｎ個の局所変位を列成分とした局所変位行列である。さらに、積分範囲はＷ×Ｈの画像領域とし、Ｗ，Ｈは画像の幅と高さを表す。

また、本発明では、HLAC特徴に対して近傍領域を３×３に限らずさらに広い領域の高次相関も抽出する。そこで、行列Ｒを用いて、下記のように定式化される立体高次局所自己相関特徴を考える。

この特徴は、画像Ｉ(r)に対して、画像平面内のスケールを水平方向に１／λ_x倍、垂直方向に１／λ_y倍縮小した画像Ｉ_amp(r,R)＝Ｉ(Rr)から抽出した特徴量に比例する特徴量となる。即ちＩ_amp(r,R)に対して抽出されるCHLAC特徴ｈ_amp(Br,R)は以下のようになる。

従って、行列Ｒを用いてより広い範囲の相関をとった特徴量は、元の画像を縮小した画像から抽出したHLAC特徴量のλ_xλ_y倍であることが分かる。実際に、ある対象からより多くの相関特徴を抽出しようと考えた場合、対象や画像に応じて画像のスケールを適切に変化させる必要があるが、これらのパラメータによって、対象の特徴がうまく抽出できるようにスケールを調整することができる。

そこで、スケールに対してロバストにするために、スケールの異なる特徴（λ_x，λ_y）をベクトルの成分に追加し、それを新たな特徴として用いる。例えば、（λ_x，λ_y）＝（１，１）で抽出した特徴と（λ_x，λ_y）＝（２，２）で抽出した特徴を組み合わせることで３５×２次元のスケールにロバストな特徴を得る。

図１は、本発明による異常領域検出装置の構成を示すブロック図である。デジタルカメラ１０は例えば検査対象となる製品の画像データを出力する。顕微鏡に組み込まれたカメラであってもよい。デジタルカメラ１０はモノクロでもよいしカラーカメラであってもよい。コンピュータ１１は例えばＵＳＢ等の画像を取り込むための入力端子を備えた周知のパソコン（ＰＣ）であってもよい。本発明は、パソコンなどの周知の任意のコンピュータ１１に後述する処理のプログラムを作成してインストールして起動することにより実現される。

モニタ装置１２はコンピュータ１１の周知の出力装置であり、例えば異常領域が検出されたことをオペレータに表示するために使用される。キーボード１３およびマウス１４は、オペレータが入力に使用する周知の入力装置である。なお、デジタルカメラ１０は任意の通信網を介してコンピュータ１１と接続されていてもよいし、メモリカードを介してコンピュータ１１にデータを転送してもよい。

図２は、本発明による異常領域検出処理の概要を示す説明図である。例えば３６０画素×２４０画素、２５６階調グレースケールの入力画像データ（ａ）について、まず変位幅１、即ち変位幅が画素幅と等しく設定して、画素毎に画素対応HLACデータを計算する（ｂ）。HLACデータについては後述する。次に、変位幅を２、即ち画素幅の２倍に設定して同じように画素毎に画素対応HLACデータを計算する（ｂ）。この処理を変位幅の最大値（例えば３）まで繰り返す。この結果、変位幅毎の画素対応HLACデータ（ｃ）が得られる。

次に、変位幅毎にHLACデータ（ｃ）を加算（ｇ）して求めた特徴データの集合を全HLAC特徴データ（ｈ）とする。そして、全HLAC特徴データ（ｈ）から主成分分析あるいは逐次的主成分分析によって主成分部分空間を求める（ｉ）。通常、画像のほとんどの領域は正常な領域であるので、この主成分部分空間は正常領域の特徴を表している。

一方、変位幅毎の画素対応HLACデータ（ｃ）から、変位幅毎に、注目画素を移動させながら、注目画素を中心とする所定領域（例えば１０×１０）のHLACデータを加算する処理を行い（ｅ）、画素対応HLAC特徴データ（ｆ）を得る。最後に、画素毎に正常部分空間と画素対応HLAC特徴データとの距離あるいは角度によって異常判定を行い（ｊ）、異常と判定された画素位置を異常領域として表示、出力する（ｋ）。

なお、本発明においては、正常領域の部分空間生成処理（ｇ）、（ｉ）を予め画像の全領域あるいはランダムにまたは規則的にサンプリングした一部の領域について実行し、得られた正常領域の部分空間情報に基づき異常判定処理（ｊ）を行ってもよい。

以下に、処理の詳細について説明する。図５は、本発明の異常検出処理の内容を示すフローチャートである。なお、例えば２５６階調のグレースケール画像データが既に読み込まれているものとする。Ｓ１０においては、変位幅λを１にセットする。Ｓ１１においては、画像の画素毎に、変位幅λに基づく画素対応HLACデータを生成し、保存する。この処理の詳細については後述する。

図３は、２次元画素空間における自己相関処理座標を示す説明図である。本発明においては、注目する参照画素を中心とする３×３＝９画素の正方形の内部の画素について相関を取る（λ＝１の場合）。マスクパターンは、相関を取る画素の組合せを示す情報であり、正方形の中心である注目画素（参照点）は必ず選択され、周りが局所変位を表す。マスクパターンによって選択された画素のデータが相関値の計算に使用される。

図４は、自己相関マスクパターンの内容を示す説明図である。図４（１）は注目画素のみの最も簡単な０次のマスクパターン（１個）である。（２）は２つの画素が選択されている１次マスクパターン例（計５個）であり、枠内の数はその画素値を乗算する回数を示している。（３）以降の行は３つの画素が選択されている３次マスクパターン例（計２９個）である。注目画素を移動した場合に重複するパターンを除くと、濃淡画像に対するマスクパターン、即ちHLAC特徴の成分の数は合計３５個ある。即ち、１つの２次元データに対する高次局所自己相関特徴ベクトルは３５次元となる。

Ｓ１２においては、注目画素を移動させながら、注目画素を中心とする所定領域、例えば１０×１０の領域のHLACデータを加算して、λ対応画素対応HLAC特徴データを生成する。この処理の詳細については後述する。Ｓ１３においては、全ての画素対応HLACデータを加算し、λ対応全HLAC特徴データを保存する。

Ｓ１４においては、λに１を加算する。Ｓ１５においては、λが最高値（例えば３）を越えたか否かが判定され、判定結果が否定の場合にはＳＳ１１に移行するが、肯定の場合にはＳＳ１６に移行する。Ｓ１６においては、λ対応画素対応HLAC特徴データおよびλ対応全HLAC特徴データのそれぞれについて、全λについてまとめる。従って、λの最高値が３である場合には画素対応HLAC特徴データおよび全HLAC特徴データの次元は３５×３＝１０５次元となる。

Ｓ１７においては、主成分分析あるいは逐次的主成分分析手法により全HLAC特徴データから主成分ベクトルを求め、正常領域の部分空間とする。主成分分析手法自体は周知であるので概略を説明する。まず、正常領域の部分空間を構成するために、全HLAC特徴データから主成分分析により主成分ベクトルを求める。Ｍ次元のHLAC特徴ベクトルｘを以下のように表す。

なお、Ｍ＝３５である。また、主成分ベクトルを列に並べた行列Ｕ（固有ベクトル）を以下のように表す。

主成分ベクトルを列に並べた行列Ｕは、以下のように求める。自己相関行列Ｒ_ｘを次式に示す。

行列Ｕはこの自己相関行列Ｒ_ｘを用いて、次の式の固有値問題より求まる。

固有値行列Λを次式で表す。

第Ｋ固有値までの累積寄与率α_Kは、以下のように表される。

そこで、累積寄与率α_Kが所定値（例えばα_K＝0.99）となる次元までの固有ベクトルu₁,...,u_Kにより張られる空間を、正常領域の部分空間として適用する。なお、累積寄与率α_Kの最適値は監視対象や検出精度にも依存するので実験等により決定する。以上の計算を行うことにより、正常領域と対応する部分空間が生成される。

次に、固有値問題を解かず、共分散行列を求めずに、インクリメンタルに部分空間を求める逐次主成分分析手法を説明する。実世界への応用では大量のデータを扱うため、全てのデータを保持しておくことは難しい。そこで、逐次的に通常領域の部分空間を学習、更新する。

逐次的な主成分分析として考えられる手法としては、まず、ステップごとに固有値問題を解くことが考えられる。固有値問題に必要な自己相関行列Ｒ_ｘは、次のように更新される。

ここでＲ_ｘ(n)はｎステップ目の自己相関行列であり、ｘ(n)はｎステップ目の入力ベクトルである。これは、前記した主成分分析手法に忠実ではあるが、ステップごとに固有値問題を解かなければならないため、計算量が多いという問題がある。そこで、固有値問題を解くことなく相関行列を求めずに固有ベクトルを逐次更新する手法であるCCIPCAを適用する。CCIPCAの内容については、下記の非特許文献１に開示されている。
Juyang Weng, Yilu Zhang and Wey-Shiuan Hwang, "Candid Covariance-Free Incremental Principal Component Analysis",IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.25, No.8, pp.1034-1040, 2003。

このアルゴリズムでは、ステップごとに固有値問題を解く必要がないため、非常に高速な手法となっている。また、この手法では、固有値の収束はあまり良くないが、固有ベクトルの収束は速いという性質を持つ。第１固有ベクトルと第１固有値は、次のように更新される。

ここで、固有ベクトルはｖ／‖ｖ‖であり、固有値は‖ｖ‖である。この更新則では、ｎが無限大のときにｖ(n)→±λ₁ｅ₁となることが証明されている。ここでλ₁は、サンプルの相関行列Ｒの最大固有値であり、ｅ₁はそれに対応する固有ベクトルである。第ｎ固有ベクトルと第ｎ固有値については、第１固有ベクトルと第１固有値からGram-Schmidtの直交化法に則って漸化的に更新され、真の固有値、固有ベクトルに収束することが示されている。詳しい更新アルゴリズムは次のようになる。

本発明においては、CCIPCAで求める固有ベクトルについて全次元のＭ個を求めるのではなく、上限値を決める。固有値問題を解く場合には、固有値を求めてから累積寄与率を求め、累積寄与率が例えば0.99999を越える次元まで取るということを行うが、CCIPCAでは、次の二つの理由で上限値を設ける。第一に、従来の方法では計算量が大きいという点である。寄与率を求めるためには、全ての固有値を推定しなければならず、その計算時間は特徴抽出の計算時間を含めない場合でもパソコンで数十秒もかかってしまう。一方、次元を定数の例えば４として計算すると数ミリ秒で計算出来る。

２つ目の理由は、このCCIPCA手法においては固有値の収束が遅いという点である。数千フレームのデータ数に対してCCIPCA手法を用いた場合、最終的に通常領域部分空間の次元は二百程度であり、収束値である４に全く収束していないことが分かる。これらの理由により部分空間の次元を一定として求める。このパラメータのおおよその値は、ある時間幅の入力ベクトルに対して一度固有値問題を解くことによって求めることができる。

Ｓ１８においては、Ｓ１６にて求めた画素対応HLAC特徴データとＳ１７で求めた部分空間との距離ｄ⊥を求める。

図８は、HLAC特徴の部分空間の性質を示す説明図である。図８は、説明を簡単にするために、HLAC特徴データ空間を２次元（実際には２６×３次元）とし、正常領域の部分空間を１次元（実施例では例えば累積寄与率0.99とすると３〜１２次元程度）としたものであり、正常領域のHLAC特徴データが監視対象の個数ごとの集団を形成している。

主成分分析によって求められた正常領域部分空間Ｓは正常領域のHLAC特徴データを含む形で近傍に存在している。これに対して異常領域のHLAC特徴データＡは、正常領域部分空間Ｓとの垂直距離ｄ⊥が大きくなる。従って、HLAC特徴データと通常領域の部分空間との垂直距離ｄ⊥を測ることによって、容易に異常領域を検出することができる。

距離ｄ⊥は以下のように求める。主成分直交基底U_K =[u₁,...,u_K] によって張られた正常部分空間への射影子Ｐおよびそれに対する直交補空間への射影子Ｐ⊥は下記のようになる。

Ｕ’は行列Ｕの転置行列であり、Ｉ_MはＭ次の単位行列である。直交補空間での２乗距離、即ち、部分空間Ｕへの垂線の２乗距離ｄ²⊥は、次のように表すことができる。

本実施例においては、この垂直距離ｄ⊥を異常であるか否かの指標として採用可能である。但し、上記した垂直距離ｄ⊥はスケール（特徴ベクトルのノルム）により変化する指標である。従って、スケールの違いによって異なる判定結果が出る恐れがある。そこで、他の指標として、以下に示す、よりスケールロバストな指標を採用してもよい。

まず部分空間Ｓとの角度、即ちsinθを指標とする場合を考える。しかし、この指標はノイズなどのスケールが非常に小さい特徴に対しても非常に大きな値が出る指標であり、あまり適切な指標ではない。そこで、スケールが小さい場合でも小さい値とするために、この指標を次のように変更する。

ここでｃは正の定数である。この指標により異常判定値はスケールに対して補正され、ノイズにも強い指標となる。この指標は、図８のグラフ上では原点から−ｃだけ横軸方向にずらした点からの角度を測ることを意味する。

Ｓ１９においては、距離ｄ⊥が所定の閾値を越えたか否かが判定され、判定結果が否定の場合にはＳ２０に移行するが、肯定の場合にはＳ２１に移行する。Ｓ２０においては正常と判定する。また、Ｓ２１においては異常と判定する。Ｓ２２においては、全ての画素について判定処理が完了したか否かが判定され、判定結果が否定の場合にはＳ１８に移行するが、肯定の場合にはＳ２３に移行する。Ｓ２３においては、判定結果を出力する。

図６は、Ｓ１１の画素対応HLACデータ生成処理の内容を示すフローチャートである。Ｓ３０においては、相関パターン対応特徴値をクリアする。Ｓ３１においては、未処理の画素（参照点）を１つ選択する。Ｓ３２においては、未処理のパターンを１つ選択する。Ｓ３３においては、相関パターンおよび変位幅λに基づいて、前記した数式１を用いてパターンと対応する位置の画素輝度値を乗算して相関値を計算する。なお、この処理は前記した数式１におけるf(r)f(r+a1)…f(r+aN)の演算に相当する。

Ｓ３４においては、相関値を相関パターン対応に保存する。Ｓ３５においては、全てのパターンについて処理が完了したか否かが判定され、判定結果が否定の場合にはＳ３２に移行するが、肯定の場合にはＳ３６に移行する。Ｓ３６においては、相関値群を画素対応に保存する。Ｓ３７においては、全ての画素について処理が完了したか否かが判定され、判定結果が否定の場合にはＳ３１に移行するが、肯定の場合にはＳ３８に移行する。Ｓ３８においては、相関値群の集合を画素対応HLACデータとして出力する。

図７は、Ｓ１２のHLAC特徴データ生成処理の内容を示すフローチャートである。Ｓ４０においては、未処理の画素（参照点）を１つ選択する。選択方法は全ての画素をスキャンしてもよいが、画像のＸＹ座標上で２画素以上の所定の距離だけ離れた画素ごとに選択（サンプリング）するようにしてもよい。このようにすれば、処理量が軽減される。

Ｓ４１においては、参照点を中心とする所定の領域の画素対応HLACデータを加算する。所定の領域は例えば注目画素を含む（中心とする）１０×１０であってもよい。なお、この処理は、前記した数式１において、注目画素を所望の範囲だけ移動（スキャン）させて相関値を足し合わせる（次元毎に相関値を加算する）積分操作に相当する。

Ｓ４２においては、加算されたデータを画素対応に保存する。Ｓ４３においては、全ての画素について処理が完了したか否かが判定され、判定結果が否定の場合にはＳ４０に移行するが、肯定の場合にはＳ４４に移行する。Ｓ４４においては、特徴加算値の集合を画素対応HLAC特徴データとして出力する。

図９は、入力画像および異常判定結果を表す画像を示す説明図である。図９（ａ）は入力された濃淡画像を表し、図９（ｂ）は、本発明の方式により処理した画素ごとの異常指標値を、最大値を２５５、最小値を０として正規化した濃淡画像を表す。中央の欠陥部分の指標値が大きく（白く）なっており、欠陥が検出されていることが判る。

実施例１においては、画像全体から正常領域の部分空間を求めているが、実施例２においては、例えば直線状の配線のある領域と丸いパターンが多数存在する領域とが混在しているような場合に、領域を直線状の配線のある領域と丸いパターンが多数存在する領域とにクラス分けし、各クラス毎に正常領域の部分空間を求めて異常判定を行う。このようにすることにより、判定精度が向上する。

まず、主成分分析手法あるいは逐次的主成分分析手法により全HLACデータおよび画素対応HLAC特徴データからそれぞれ主成分ベクトルを求める。次に、求めた２つの主成分ベクトルの正準角を求め、正準角に基づく類似度によって画素をクラスに分ける。

正準角とは、統計学において二つの部分空間のなす角度を意味し、Ｍ次元部分空間とＮ次元部分空間の間にはＮ（≦Ｍ）個の正準角が定義できる。第２正凖角θ₂は最小正準角θ₁に直交する方向において測った最小角、同様に第３正準角θ₃はθ₂とθ₁に直交した方向で測った最小角となる。Ｆ次元特徴空間における部分空間Ｌ₁とＬ₂の基底ベクトルをΦ_i、Ψ_i、これらから計算されるＦ×Ｆの射影行列を下記に示す。

Ｐ₁Ｐ₂あるいはＰ₂Ｐ₁のｉ番目に大きい固有値λ_ｉがcos²θ_iとなる。Ｍ次元部分空間Ｌ₁とＮ次元部分空間Ｌ₂の関係はＮ個の正準角により完全に規定される。二つの部分空間が完全に一致している場合にはＮ個の正準角はすべて０度となる。両者が離れるにつれて下位の正準角から大きくなり、両者が完全に直交するときにすべての角度が９０度となる。このように複数の正準角は二つの部分空間の構造的な類似度を表す。そこでｎ（≦Ｎ）個の正準角を用いて類似度Ｓ[n]を以下のように定義し、この指標を用いる。

次に、正準角の類似度によって求めた指標値について、Mean Shift法を用いてクラスタリングを行う。Mean Shift法の内容については下記の非特許文献２に開示されている。Mean Shift法は、クラス数を与えないクラスタリング手法であり、どの程度の近傍を近いものとするかのスケールパラメータを設定する必要がある。本実施例においては、０から１の間の値しか持たない正準角の類似度を指標としているため、およそ０．１程度のスケールパラメータとする。
Dorin Comaniciu and Peter Meer. Mean shift:A robust approach toward feature space analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.24, No.5, pp.603-619, 2002。

最後に、クラス毎に画素対応HLACデータを加算し、加算されたHLAC特徴データから前記したような主成分分析手法あるいは逐次主成分分析手法でクラス毎の主成分ベクトルを求め、クラス毎の正常領域の部分空間とする。そして、画素対応HLAC特徴データと、判定されたクラスと対応する正常領域の部分空間との距離によって異常判定を行う。

以上、異常領域の検出を行う実施例について説明したが、本発明には以下のような変形例も考えられる。実施例においては、正常領域の部分空間を更新しながら異常領域の検出を行う例を開示したが、学習フェーズによって予め正常領域の部分空間を生成しておき、固定した部分空間を使用して異常領域の検出を行ってもよい。更に、ランダムサンプリングなどによって少量のデータを前もって学習しておいてもよい。

実施例においては、画素毎に特徴データを生成する例を開示したが、位置が近接する特徴データほど類似している。従って、例えば図９に示す処理を所定の距離だけ離れた画素毎に行うことにより、処理負荷が軽くなり、より高速に領域させることができる。但しこの方法は場所を特定する、あるいは検出精度という課題とトレードオフであり、各課題に対して適切な設定が必要である。

実施例においては、スケールを制御するパラメータであるλとして画素の整数倍の値を使用する例を開示したが、λとしては小数点以下も含む任意の実数値を採用可能である。但し、実数値の場合には画素値の補間演算が必要である。また、画像を小数点以下も含む任意の倍率で拡大縮小処理してから特徴抽出するようにしてもよい。

本発明による異常領域検出装置の構成を示すブロック図である。 本発明による異常領域検出処理の概要を示す説明図である。 ２次元画素空間における自己相関処理座標を示す説明図である。 自己相関マスクパターンの内容を示す説明図である。 本発明の異常検出処理の内容を示すフローチャートである。 画素対応HLACデータ生成処理の内容を示すフローチャートである。 HLAC特徴データ生成処理の内容を示すフローチャートである。 HLAC特徴の部分空間の性質を示す説明図である。 入力画像および異常判定結果を表す画像を示す説明図である。

符号の説明

１０…デジタルカメラ
１１…コンピュータ
１２…モニタ装置
１３…キーボード
１４…マウス

Claims (1)

1. 画像データから画素毎に、予め定められた複数の相関パターンのそれぞれに基づいてパターンと対応する複数位置の画素輝度値同士を乗算することによって相関パターンの数と対応するデータの集合を生成する高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、
   前記画像データの所定の距離だけ離れた画素毎に、その画素を含む所定の範囲の画素群について前記特徴データ抽出手段によって抽出された前記特徴データを加算して画素対応特徴データを生成する画素対応特徴データ生成手段と、
   前記特徴データ抽出手段によって抽出された特徴データから主成分分析手法により主成分ベクトルに基づき正常領域を示す部分空間を求める正常部分空間生成手段と、
   前記正常領域を示す部分空間に対する前記画素対応特徴データの異常さを示す指標であって、前記画素対応特徴データと前記正常領域を示す部分空間との角度の情報を含んでいる指標として、ｘを特徴データのベクトル、Ｐ⊥をｘの正常部分空間に対する直交補空間への射影子、ｃは正の定数としたときに、下記の数式１５の値を採用する指標計算手段と、
   

   

   前記指標が所定値よりも大きい場合に異常と判定する異常判定手段と、
   前記異常判定手段が異常と判定した画素位置を異常とする判定結果を出力する出力手段と
   を備えたことを特徴とする異常領域検出装置。

Images