JP6548686B2 - 画像比較装置 - Google Patents

Description

本発明は、所定の空間を撮影した実画像と、その空間の三次元モデルをレンダリングすることにより生成された模擬画像とを比較して、実画像から相違画素を抽出する画像比較装置に関する。

防犯等の目的で、監視空間を撮影した撮影画像を背景差分処理して、監視空間に現れた人や不審物などの物体を検出する技術が知られている。ところが、イベント会場など多くの人が行き交う混雑空間においては人や不審物が写っていないシーンの出現頻度が低いため、背景画像の生成が困難化する。そこで、従来、監視空間を模した三次元モデルをレンダリングして背景画像を生成していた。

また、撮影画像と三次元モデルから生成した背景画像との間にはテクスチャの微小な誤差を含み得ることを鑑みて、従来、小領域単位で背景差分処理を行っていた。

例えば、特許文献１、２に記載の物体検出装置においては、撮影画像を格子状に分割したブロックごとに、または撮影画像において画素値が類似する近傍画素同士をまとめたスーパーピクセルごとに、撮影画像と三次元モデルから生成した背景画像との間で平均画素値の差、画素値の分散の差、エッジ差分を算出していた。

特開２０１６−１９４７７８号公報 特開２０１６−１９４７７９号公報

ところで、カメラの画角を大きくして監視空間を広げると、画像に写る人などの像の大きさが小さくなり得るため、画素単位での背景差分処理が必要となる。また、画素単位での背景差分を行う場合、照明変動にロバストなエッジ情報による差分（エッジ差分）により、監視空間に現れた物体による相違画素を抽出することが望ましい。

しかしながら、撮影画像（実画像）と三次元モデルから生成した背景画像（模擬画像）との対応画素同士で単純にエッジ差分を抽出すると、キャリブレーション誤差や、実画像におけるエッジのかすれや途切れ等により、誤抽出が生じる問題があった。

すなわち、キャリブレーション誤差がある場合に実画像と模擬画像との間に対応画素のズレが生じ、背景物体の一部が誤って変化領域として検出される。

また、実画像においては白線の汚れや微小な凹凸、ブロックの汚れや微小な凹凸等によってエッジのかすれや途切れ等が生じるが、模擬画像でかすれや途切れ等を再現できなかった場合に、背景物体の一部が誤って変化領域として検出される。

本発明は上記問題を鑑みてなされたものであり、実画像と模擬画像との間のキャリブレーション誤差、実画像におけるエッジのかすれや途切れがあっても、模擬画像との比較により実画像の相違画素を精度良く抽出できる画像比較装置を提供することを目的とする。

（１）本発明に係る画像比較装置は、所定の空間が撮影された実画像と、前記空間の三次元モデルをレンダリングすることにより生成された模擬画像とを比較して、前記実画像において前記模擬画像と相違する相違画素を抽出する装置であって、前記模擬画像を記憶している模擬画像記憶手段と、前記実画像および前記模擬画像のそれぞれから、各画素におけるエッジ方向を少なくとも含む実エッジ情報および模擬エッジ情報を抽出するエッジ抽出手段と、前記実画像の注目画素の近傍領域において、複数の画素の前記模擬エッジ情報が形成する模擬エッジパターンを求め、前記実エッジ情報に関し当該模擬エッジパターンに所定基準以上に類似した類似パターンが検出されない前記注目画素を前記相違画素とする相違画素抽出手段と、を備える。

（２）上記（１）に記載する画像比較装置において、前記相違画素抽出手段は、前記模擬エッジ情報における前記エッジ方向が類似した複数の画素から形成される前記模擬エッジパターンを用いて前記類似パターンを検出する構成とすることができる。

（３）上記（１）又は（２）に記載する画像比較装置において、前記模擬画像記憶手段は、前記模擬画像の画素ごとに、当該画素にレンダリングされた前記空間の構造線を識別する構造線識別子を記憶し、前記相違画素抽出手段は、前記構造線識別子が同一である複数の画素の前記模擬エッジ情報から形成される前記模擬エッジパターンを用いて前記類似パターンを検出する構成とすることができる。

（４）上記（１）〜（３）に記載する画像比較装置であって、複数の前記実画像を順次、前記模擬画像と比較する画像比較装置において、過去の比較にて前記実画像と前記模擬画像とで同一とされた画素同士の位置関係を記憶するマップ記憶手段をさらに備え、前記相違画素抽出手段は、前記類似パターンが検出された前記注目画素を前記模擬画像の画素と同定して前記位置関係を前記マップ記憶手段に記憶させ、新たに比較する前記実画像における前記注目画素のうち前記マップ記憶手段に前記位置関係が記憶されているものについては、当該位置関係をなす前記模擬画像の画素を含む前記模擬エッジパターンを用いて前記類似パターンを検出する構成とすることができる。

（５）上記（１）〜（４）に記載する画像比較装置において、前記相違画素抽出手段は、前記近傍領域よりも狭く予め定めた大きさで前記注目画素の周りに設定した領域にて、当該注目画素の前記実エッジ情報と最も類似する前記模擬エッジ情報を有する画素を探索し、当該画素を含む前記模擬エッジパターンを用いて前記類似パターンを検出する構成とすることができる。

（６）上記（１）〜（５）に記載する画像比較装置において、前記エッジ抽出手段は、前記実エッジ情報および前記模擬エッジ情報としてさらにエッジ強度を抽出する構成とすることができる。

本発明によれば、実画像と模擬画像との間のキャリブレーション誤差、実画像におけるエッジのかすれや途切れがあっても、実画像と模擬画像との間の相違画素を精度良く抽出できる。

本発明の実施形態に係る画像監視装置の概略の構成を示すブロック図である。 本発明の実施形態に係る画像監視装置の概略の機能ブロック図である。 実エッジ画像及び模擬エッジ画像の例を示す模式図である。 図３（ｂ）の模擬エッジ画像に設定する類似画素の探索領域の例を示す模式図である。 模擬エッジパターンの抽出処理を説明するための模式図である。 模擬エッジパターンに対応して設定された実エッジパターンを示す模式図である。 リファレンスのエッジパターンの他の生成方法について説明するための模式図である。 本発明の実施形態に係る画像監視装置の概略の動作のフロー図である。 相違画素抽出処理の概略のフロー図である。

以下、本発明の実施の形態（以下実施形態という）である画像監視装置１について、図面に基づいて説明する。画像監視装置１は、所定の空間（監視空間）が撮影された画像（実画像）を、人や不審物等の前景物体が存在しないときの監視空間を模した三次元モデルから生成した背景画像（模擬画像）と比較することによって、実画像における変化画素（実画像において模擬画像と相違する相違画素）を抽出する本発明に係る画像比較装置の例を含み、相違画素に基づいて人や不審物等の物体を検知して報知する。

［画像監視装置１の構成］
図１は画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は、撮影部２、通信部３、記憶部４、画像処理部５、および報知部６からなる。

撮影部２は監視カメラであり、通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して実画像を生成し、実画像を順次、画像処理部５に入力する撮影手段である。例えば、撮影部２は、監視空間であるイベント会場の一角に設置されたポールに当該監視空間を俯瞰する所定の固定視野を有して設置され、監視空間をフレーム周期１秒で撮影してカラー画像を生成する。なお、撮影部２はカラー画像の代わりにモノクロ画像を生成してもよい。

通信部３は通信回路であり、その一端が画像処理部５に接続され、他端が撮影部２および報知部６と接続される。通信部３は、撮影部２から実画像を取得して画像処理部５に入力し、画像処理部５から入力された検知情報を報知部６に出力する。検知情報は、画像処理部５が検知した物体の種類や検知した領域等を含む情報である。

例えば、撮影部２および報知部６がイベント会場内の監視センターに設置され、通信部３、記憶部４および画像処理部５が遠隔地の画像解析センターに設置される場合、通信部３と撮影部２、および通信部３と報知部６をそれぞれインターネット回線にて接続し、通信部３と画像処理部５はバスで接続する構成とすることができる。その他、例えば各部を同一建屋内に設置する場合は、通信部３と撮影部２を同軸ケーブルまたはＬＡＮ（Local Area Network）で接続し、通信部３と報知部６はディスプレイケーブル、通信部３と画像処理部５はバスで接続するなど、各部の設置場所に応じた形態で適宜接続される。

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は画像処理部５と接続されて、画像処理部５との間でこれらの情報を入出力する。

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は、記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、必要に応じて、各種データを記憶部４から読み出し、生成したデータを記憶部４に記憶させる。また、画像処理部５は、通信部３経由で撮影部２から取得した実画像から人や不審物等の物体を検知し、検知した物体に関する検知情報を生成して通信部３に出力させる。

報知部６は、液晶ディスプレイまたはＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、通信部３から入力された検知情報に含まれる物体の種類や領域等の情報を表示することによって監視員に報知する。報知部６には、さらに、注意喚起を強調するためにブザーやランプ等を含めることもできる。監視員は表示された検知情報を視認して対処の要否等を判断し、必要に応じて対処員を急行させる等の対処を行う。

なお、本実施形態においては、通信部３と画像処理部５の組に対して撮影部２が１台である画像監視装置１を例示するが、別の実施形態においては、通信部３と画像処理部５の組に対して撮影部２が２台以上接続された構成とすることもできる。その場合、通信部３は各撮影部２から実画像を時分割で受信し、画像処理部５は各撮影部からの実画像を時分割処理または並列処理する。

［画像監視装置１の機能］
図２は画像監視装置１の概略の機能ブロック図である。図２には専ら、通信部３、記憶部４および画像処理部５の機能が示されており、具体的には、通信部３は実画像取得手段３０、検知情報出力手段３１等として機能し、記憶部４は三次元モデル記憶手段４０、模擬画像記憶手段（背景画像記憶手段）４１、マップ記憶手段４２、カメラ情報記憶手段４３等として機能し、画像処理部５は、模擬画像生成手段（背景画像生成手段）５０、エッジ抽出手段５１、相違画素抽出手段（変化画素抽出手段）５２、物体検知手段５３等として機能する。

実画像取得手段３０は、撮影手段である撮影部２から実画像を順次取得して、取得した実画像をエッジ抽出手段５１に順次出力する。

三次元モデル記憶手段４０は、撮影部２が撮影する監視空間を構成する複数の構成物の三次元モデルを予め記憶している。

三次元モデルは、建築設計時に作成されたＩＦＣ（Industry Foundation Classes）規格の建物情報、三次元ＣＡＤデータ等あるいは事前の実計測データから取得できる。

構成物は、例えば、壁、床、ドアなどの建築構造物、机や椅子などの什器であり、監視空間を監視する観点において当該監視空間に存在すべきとされる常設物体である。各構成物には当該構成物を識別する識別子を予め付与しておく。また、構成物が複雑な形状を有する場合などには、構成物を構成する面ごとに当該識別子を付与しておく。当該識別子は後述するエッジの識別に用いられ、以降、構造線識別子と称する。なお、構造線識別子は構成物を記述する線要素ごとに付与してもよい。

三次元モデルは、監視空間を模したＸＹＺ座標系における各構成物の位置、姿勢、立体形状にて表される三次元座標値および各構成物の表面の色、テクスチャ、反射特性のデータを含み、これらのデータが対応する構造線識別子と紐付けて記憶されている。

なお、三次元モデルは精密であるほど良く、例えばドアであればドア板とドアノブ、机であれば天板と脚というように色、テクスチャおよび反射特性が異なるパーツそれぞれを構成物と定義して三次元モデルを記憶させておくのが好適である。他方、壁のように大きな構成物は各面の光源からの距離の差が大きくなるため各面を構成物と定義するのが好適である。

また、三次元モデル記憶手段４０はさらに当該監視空間の照明モデルも予め記憶している。照明モデルは、監視空間を照明する１以上の光源について、監視空間を模したＸＹＺ座標系における当該光源の位置および当該光源の配光、色温度などで表される照明特性を含む。光源は人工照明や太陽等である。各光源には当該光源を識別する光源番号を予め付与され、位置および照明特性のデータが対応する光源番号と紐付けて記憶されている。照明モデルは、各光源の点消灯状態を設定し、点灯状態が設定された光源の出力を照明特性に演算することにより、監視空間に対する複数の照明条件を模擬できる。

すなわち、三次元モデル記憶手段４０は、撮影部２が撮影対象としている所定の空間を構成する複数の構成物それぞれの三次元座標値と各構成物の色、テクスチャ、反射特性、および該空間を照明する光源の照明特性を含んだ環境モデルを記憶している。

カメラ情報記憶手段４３は監視空間を模したＸＹＺ座標系における撮影部２のカメラパラメータを予め記憶している。カメラパラメータは外部パラメータと内部パラメータからなる。外部パラメータはＸＹＺ座標系における撮影部２の位置姿勢である。内部パラメータは撮影部２の焦点距離、中心座標、歪係数などである。カメラパラメータは事前のキャリブレーションによって計測され、カメラ情報記憶手段４３に記憶される。このカメラパラメータをピンホールカメラモデルに適用することによってＸＹＺ座標系の座標を撮影部２の撮影面を表すｘｙ座標系に変換できる。

模擬画像生成手段５０は、三次元モデル記憶手段４０から三次元モデル、照明モデルを読み出し、カメラ情報記憶手段４３からカメラパラメータを読み出す。そして、カメラパラメータにより求まる撮影部２の撮影面に、照明条件に対応して三次元モデルをレンダリングすることによって、監視空間の背景画像を模擬画像として仮想的に生成し、生成した背景画像を模擬画像記憶手段４１に記憶させる。本実施形態では、模擬画像生成手段５０は、実画像取得手段３０が実画像を取得するタイミングに同期して模擬画像を生成する。

具体的には、まず模擬画像生成手段５０は、カメラパラメータからＸＹＺ座標系における撮影部２の撮影面を導出する。次に模擬画像生成手段５０は、照明モデルに記憶された位置および照明特性に従った光線データを生成し、光線データの有無や出力を各照明条件に合わせて調整する。続いて模擬画像生成手段５０は、構成物での反射による光線データの色や出力の変化を構成物の色、テクスチャ、反射特性に従って調整する。そして模擬画像生成手段５０は光源から撮影面に到達する直接光、反射光の光線データを撮影面の各画素値に設定して背景画像を生成する。

また、模擬画像生成手段５０は、撮影部２の撮影面に設定する画素値に、光線の反射元である構成物またはその面の構造線識別子を対応付けて模擬画像記憶手段４１に記憶させる。

模擬画像記憶手段４１は、模擬画像生成手段５０が生成した背景画像とその画素に対応付けられた構造線識別子とを記憶している。

エッジ抽出手段５１は、実画像および模擬画像のそれぞれから、各画素におけるエッジ方向を少なくとも含むエッジ情報を抽出する。つまり、エッジ抽出手段５１は実画像取得手段３０から入力された実画像にエッジオペレータを適用して各画素のエッジ情報（実エッジ情報）を抽出し、抽出した実エッジ情報を相違画素抽出手段５２に出力する。また、エッジ抽出手段５１は、模擬画像記憶手段４１から模擬画像を読み出し、読み出した模擬画像にエッジオペレータを適用して各画素のエッジ画像（模擬エッジ情報）を生成し、抽出した模擬エッジ情報を相違画素抽出手段５２に出力する。

本実施形態では、エッジ抽出手段５１は、実画像および模擬画像それぞれの画素ごとに、エッジ強度とエッジ方向とからなるエッジ情報を算出する。ここで、エッジ方向はエッジ強度の勾配値であり、後述する実エッジパターンおよび模擬エッジパターンの形状をその法線方向で表す情報である。例えば、エッジ方向は０度以上１８０度未満を値域とする無向な情報とすることができる。また、エッジ方向は０度以上３６０度未満を値域とする有向な情報としてもよく、この場合は、例えば、道路面にペイントされた白線の輪郭画素であればどの向きに道路面の地をなす黒いアスファルトがあるかというような、近傍の様子をさらに含めた情報とすることができる。また、エッジ方向は、法線方向を表す勾配値を接線方向に変換した値としてもよい。例えば、エッジオペレータとしてソーベルオペレータ（Sobel Operator）、ラプラシアンフィルタ（Laplacian Filter）などを用いることができる。

なお、後述の処理にてエッジ情報としてエッジ方向のみを用いる構成とすることもでき、この場合には、エッジ抽出手段５１は、エッジ情報としてエッジ方向のみを出力すれば足りる。

エッジ情報は上述のように画素ごとに求められる。つまり、物体の輪郭線などに対応する画素に限られず、基本的にはエッジオペレータの演算結果として全ての画素についてエッジ情報が算出され定義される。但し、例えば、照明状況によって白飛びや黒つぶれが生じた画像領域などでは、算出されるエッジ情報がノイズまたは信頼性の低い情報となることがある。よって、エッジ強度が閾値Ｔ_Ｅ未満であるエッジ情報は除外することとしてもよい。閾値Ｔ_Ｅは実験に基づき予め定めることができる。

このように、エッジ抽出手段５１は、実画像および模擬画像のそれぞれから、各画素における実エッジ情報および模擬エッジ情報を抽出する。そして、エッジ抽出手段５１が抽出するエッジ情報には少なくともエッジ方向を含み、好適にはエッジ抽出手段５１が抽出するエッジ情報はエッジ方向とエッジ強度を含む。

各画素のエッジ情報を画像における画素配列に対応させて並べたデータはエッジ画像と称される。そこで、各画素の実エッジ情報を並べたデータを実エッジ画像、各画素の模擬エッジ情報を並べたデータを模擬エッジ画像と称することにする。

相違画素抽出手段５２は、実画像の画素のうち、その近傍領域にて実画像と模擬画像とで互いに類似するエッジパターンが検出されないものを相違画素として抽出する。すなわち、実画像の各画素を注目画素として、その近傍領域において、複数の画素の模擬エッジ情報が形成する模擬エッジパターンを求め、実エッジ情報に関し当該模擬エッジパターンと所定基準以上に類似した類似パターンが検出されない注目画素を相違画素とする。実画像と模擬画像との比較を同一座標の画素のみならず当該画素を含む近傍を比較範囲として行うことで、キャリブレーション誤差があっても精度良く相違画素を抽出できる。

ここで、画素単位でエッジ情報の類似を判定すると、本来は相違画素とすべき画素であるにも拘らず、近傍領域内にエッジ情報の類似度の高い画素が現れることもしばしばである。そのため、画素単位で相違を判定すると相違画素が十分に抽出されずに、人や不審物等の前景物体を検出し損ねる場合がある。そこで、実画像と模擬画像とに同一構造線が写っている画素ならばその近傍領域にエッジ情報として表れる輪郭やテクスチャが類似することに着目し、近傍領域において類似するエッジパターンが検出されない画素を相違画素として抽出するのである。

具体的には、実画像中の各画素を注目画素に順次設定して注目画素が相違画素か否かを判定する。模擬エッジパターンは、注目画素を中心とする近傍領域において複数の連続する画素の模擬エッジ情報から形成される形状パターンである。例えば、当該模擬エッジパターンは物体の輪郭線など模擬画像における輝度境界線に対応して得られる。一方、類似パターンか否かの判定対象とされるのは実エッジパターンである。実エッジパターンは、近傍領域内の連続する画素の実エッジ情報から形成される形状パターンであり、例えば、当該実エッジパターンは実画像における輝度境界線に対応して得られる。

本実施形態では、相違画素抽出手段５２は、注目画素の近傍領域にて当該注目画素と類似するエッジ情報を有する模擬画像の画素（類似画素）を探索し、類似画素の位置に対応して模擬エッジパターンを生成する。これに対応して、注目画素を含む実エッジパターンが類似パターンとなることが期待できる。よって、ここでは、類似パターンは注目画素を含む実エッジパターンであるとする。

例えば、相違画素抽出手段５２は、画素単位のエッジ情報の類似度Ｓ_ＰＸ（画素類似度）が閾値Ｔ_ＰＸ以上である画素を類似画素とする。なお、近傍領域に画素類似度Ｓ_ＰＸが閾値Ｔ_ＰＸ以上の画素が複数含まれる場合は、画素類似度Ｓ_ＰＸが最も高い画素を類似画素とする。画素類似度Ｓ_ＰＸは例えば、次式で定義する。

ここで、Ｓ_ＰＸ（・）が画素類似度であり、ｉは注目画素を表し、ｂは近傍領域内の画素を表す。また、ｍ_ｉ，ｍ_ｂはそれぞれ画素ｉ，ｂのエッジ強度であり、ｄ_ｉ，ｄ_ｂはそれぞれ画素ｉ，ｂのエッジ方向であり、λはエッジ強度の差とエッジ方向の差との画素類似度への寄与を調整する調整係数、Ｍ（・）はエッジ強度の差、Ｄ（・）はエッジ方向の差である。

近傍領域は、生じ得るキャリブレーション誤差の上限とエッジパターンの上限サイズとを見積もって、見積もった上限値に応じた広さに予め設定する。エッジパターンの上限サイズにはキャリブレーション誤差に回転成分が含まれても対応可能とする意義がある。例えば、キャリブレーション誤差の上限を±２画素（５×５画素の領域）、エッジパターンの上限サイズ±４画素（９×９画素の領域）と見積もった場合、近傍領域は１３×１３画素の領域と設定される。

ここで、注目画素を基準に固定的に１３×１３画素の近傍領域を設定してもよいが、本実施形態においては、注目画素を基準に５×５画素の領域を設定して当該領域内でエッジパターンの中央を決定し、決定したエッジパターンの中央を基準に９×９画素の領域を設定する、というように動的に近傍領域を設定することで処理量を削減する。

つまり、類似画素の探索はキャリブレーション誤差の見積もりに応じた範囲で行い、エッジパターンの抽出は類似画素を基準としてエッジパターンの最大サイズの範囲で行うことにより処理負荷を減じることができる。

このように、相違画素抽出手段５２は、近傍領域よりも狭く予め定めた大きさで注目画素の周りに設定した領域（探索領域）にて、当該注目画素の実エッジ情報と最も類似する模擬エッジ情報を有する類似画素を探索し、当該類似画素を含む模擬エッジパターンを用いて類似パターンを検出する構成とすることができる。

なお、実画像の画素ごとに、撮影部２から当該画素に写る被写体までの距離が遠いほど狭く、撮影部２から当該画素に写る被写体までの距離が近いほど広い近傍領域を設定してもよい。

上述したように本実施形態では、類似パターンは注目画素を含む実エッジパターンであるとしている。さらにここで、類似パターンの候補となる実エッジパターンは、模擬エッジパターンと同じ画素配置パターンを有するとし、当該実エッジパターンの模擬エッジパターンに対する類似度が閾値以上であれば、当該実エッジパターンは類似パターンであるとする。

具体的には、類似パターンの検出は、次式に従い模擬エッジパターンと実エッジパターンとの類似度（パターン類似度）Ｓ_ＰＴを算出して、パターン類似度Ｓ_ＰＴを閾値Ｔ_ＰＴと比較し、Ｓ_ＰＴ≧Ｔ_ＰＴである実エッジパターンを注目画素に対応して得られた模擬エッジパターンの類似パターンと判定する。

ここで、Ｓ_ＰＴ（・）はパターン類似度、Ｐ^Ｂは模擬エッジパターン、Ｐ^Ｉは実エッジパターン、Ｔは模擬エッジパターン（または実エッジパターン）を形成する画素の数、Ｄ（・）はエッジ方向の差であり、ｐ^Ｂ _ｉ，ｐ^Ｉ _ｉはそれぞれ模擬エッジパターン、実エッジパターンを形成する画素のうちｉ番目の画素のエッジ方向を表す。なお、模擬エッジパターンと実エッジパターンとは上述のように同じ画素配置パターンであり、それぞれにおけるインデックスｉが同じ画素は当該画素配置パターンにて同じ位置にある。

類似パターンの検出処理の結果、類似パターンが検出されない場合は、注目画素を相違画素と判定する。一方、類似パターンが検出された場合は、注目画素は背景画像の画素と同定され、模擬エッジパターンと類似パターンとの位置関係から、実画像での注目画素とこれに対応する模擬画像の画素(対応画素)との位置関係が求まる。なお、本実施形態では、類似パターンは注目画素を含み模擬エッジパターンと同じ画素配置パターンとしており、この場合、類似画素が対応画素となる。

物体の輪郭線など、画像における輝度境界線に対応して実エッジパターン、模擬エッジパターンを定義する場合、そのエッジ強度は輝度境界線が存在しない画素におけるエッジ強度より基本的には大きくなることが期待できる。しかし、その場合であっても実エッジ情報では、既に述べた汚れや微小な凹凸といった種々の要因によりエッジ強度が変動しやすく、かすれや途切れが生じやすいという特徴がある。一方、模擬エッジ情報ではそのような要因が捨象され、かすれや途切れが生じにくいという特徴がある。この差異のため、パターン類似度Ｓ_ＰＴをエッジ強度成分を含めて定義すると不安定な尺度となる。一方、形状の特徴はエッジ方向で表すことができる。そこで、上式に示したように、エッジ方向の差に応じたパターン類似度Ｓ_ＰＴを用いている。

また、当該特徴ゆえに、類似パターン検出に用いるリファレンスのエッジパターンを模擬エッジ情報から生成することによって、かすれや途切れの影響を受けにくい類似パターンの検出を可能にする。

また、エッジ方向についても、それが大きく変化する輝度境界線は別々の物体の輪郭線が組み合わさったものである可能性が高くなり、それら物体の位置関係の変化やレンダリングにおける視線方向のわずかな差などにより、パターン類似度Ｓ_ＰＴが影響を受けることが起こり得る。よって、輝度境界線に対応する模擬エッジパターンを構成する連続画素は、模擬エッジ情報中のエッジ方向が類似する範囲にするのがよい。

つまり、模擬エッジ情報中のエッジ方向が類似する連続画素を模擬エッジパターンとして抽出し、実エッジ画像中の注目画素の位置に当該模擬エッジパターンと類似する類似パターンが現れているか否かを判定するのがよい。

このように、相違画素抽出手段５２は、近傍領域において、模擬画像における輝度境界線に沿って並び（模擬エッジ情報が表す輝度境界線に沿って並び）、且つ模擬エッジ情報におけるエッジ方向が類似する複数の画素から形成される模擬エッジパターンを抽出し、当該模擬エッジパターンを用いて類似パターンを検出する。

更には、相違画素抽出手段５２は、模擬画像に含まれる構造線識別子を利用し、同一の構造線識別子が付与された画素の模擬エッジ情報から模擬エッジパターンを生成することにより、複数の構造線が入り混じった形状パターンの生成を防ぎ、誤って相違画素として抽出される可能性を減ずることができる。すなわち、相違画素抽出手段５２は、近傍領域において構造線識別子が同一である複数の画素の模擬エッジ情報から形成される模擬エッジパターンを用いて類似パターンを検出することで相違画素の抽出精度を向上させることができる。

また、実画像中の人や不審物などの前景物体が注目画素に設定された場合は、前景物体の現れた領域が近傍領域に設定され、当該領域では背景のエッジ情報が隠れるため、近傍領域中に注目画素の実エッジ情報と類似する模擬エッジ情報がそもそも検出されないことも多く、エッジパターンの比較を行うまでもなく画素単位の比較で足りる場合もしばしばである。

そこで、相違画素抽出手段５２は、エッジパターンの比較の前に、画素類似度Ｓ_ＰＸを算出して閾値Ｔ_ＰＸと比較し、画素類似度Ｓ_ＰＸが閾値Ｔ_ＰＸ未満である画素（非類似画素）を相違画素と判定することにより処理負荷を減じることができる。つまり、相違画素抽出手段５２は、類似画素を探索する領域（近傍領域または探索領域）内にて注目画素の実エッジ情報と類似する画素が検出されない場合に、当該注目画素を相違画素として抽出する。

また、上述のように、実画像にて前景物体が現れた領域では背景のエッジ情報が隠れるので、実画像の画素が模擬画像の画素と同定されることは起こらないことが期待されるところ、無関係な位置にある実画像の画素と模擬画像の画素との間にて偶然にエッジ情報が類似して、本来、類似画素や対応画素とすべきではない画素を類似画素や対応画素としてしまう可能性は上昇する。そこで、相違画素抽出手段５２は、過去の対応画素の情報をマップ記憶手段４２に記憶させておき、これを再利用することで対応画素の特定の精度向上、および相違画素の抽出精度の向上を図る。

マップ記憶手段４２は、実画像の画素と、模擬画像において当該画素に対応する対応画素との位置関係を記憶する。例えば、実画像の画素ごとに、対応画素の座標、または実画像の画素の座標に対する対応画素の相対座標が記憶される。

具体的には、実エッジ画像において模擬エッジパターンに対する類似パターンが検出されたときの注目画素と、当該模擬エッジパターンを形成する画素であり注目画素との画素類似度が最も高い画素との位置関係をマップ記憶手段４２に記憶させることができる。

マップ記憶手段４２に記憶される当該位置関係は実画像と模擬画像との画素単位のズレ量を表す。換言すると当該位置関係は実画像と模擬画像とのキャリブレーション誤差に相当する。

上述のように、相違画素抽出手段５２が当該位置関係をマップ記憶手段４２に記憶させる構成とすることができる。一方、相違画素抽出手段５２はこれらの位置関係を読み出して利用する。つまり、相違画素抽出手段５２は、撮影部２が取得する時系列の実画像を順次、模擬画像と比較する処理において、類似パターンが検出された注目画素を模擬画像の画素と同定して、それら同一とされた画素同士の位置関係をマップ記憶手段４２に記憶させ、新たに比較する実画像における注目画素のうちマップ記憶手段４２に位置関係が記憶されているものについては、当該位置関係をなす模擬画像の画素を含む模擬エッジパターンを用いて類似パターンを検出する。

以下、図３〜図６を用いて、画像監視装置１による処理の一例を具体的に説明する。図３は実エッジ画像および模擬エッジ画像の例を示す模式図であり、図３（ａ）に示す実エッジ画像１００には実エッジパターンの例として実エッジ１０１，１０２を示している。具体的には、実エッジ１０１，１０２は実線上の画素において、有効な実エッジ情報を抽出されている。一方、点線で示す部分の画素では有効な実エッジ情報が抽出されず、実エッジ１０１の一部はかすれている。図３（ａ）には実エッジ画像１００として、注目画素１１０を中心とする１３×１３画素の近傍領域を示している。

図３（ｂ）に示す模擬エッジ画像２００には模擬エッジパターンの例として模擬エッジ２０１，２０２を示している。具体的には、模擬エッジ２０１，２０２は実線上の画素において、有効な模擬エッジ情報を抽出されている。なお、模擬エッジ２０１，２０２にはかすれは生じていない。図３（ｂ）には模擬エッジ画像２００として、図３（ａ）の実エッジ画像１００と撮影面での座標が同じ範囲、つまり注目画素１１０の近傍領域と同じ１３×１３画素の領域が示されている。

図４は、図３（ｂ）の模擬エッジ画像２００に設定する類似画素の探索領域の例を示す模式図である。模擬エッジ画像２００上で注目画素２１０を中心に５×５画素の探索領域２１１を設定し、探索領域２１１から類似画素２１２が検出されている。なお、図４には、図３（ｂ）の模擬エッジ２０１，２０２が実線で示され、図３（ａ）の実エッジ１０１，１０２が一点鎖線で示されている。

図５は模擬エッジパターンの抽出処理を説明するための模式図である。図５（ａ）の模擬エッジ画像２００には、類似画素２１２を中心とする９×９画素のパターン抽出窓２２０が示されている。図５（ｂ）は模擬画像記憶手段４１に記憶されている構造線識別子の模式図であり、模擬画像３００の画素に対応付けて構造線識別子を示している。模擬画像３００として、実エッジ画像１００および模擬エッジ画像２００と同じ近傍領域を示しており、模擬エッジ２０１と対応する画素に構造線識別子「２」、模擬エッジ２０２と対応する画素に構造線識別子「１」が定義されている。

相違画素抽出手段５２は、パターン抽出窓２２０内から模擬エッジパターンを求める。ここでは、模擬エッジパターンを、同一の構造線識別子が付与された画素の模擬エッジ情報から生成する例を示しており、相違画素抽出手段５２は、類似画素２１２と同一の構造線識別子「２」が設定された画素のうちパターン抽出窓２２０内の画素からなるパターン３１０を抽出する。この構造線識別子に基づくパターン３１０と対応して模擬エッジ画像２００から模擬エッジパターン２３０が抽出される。模擬エッジパターン２３０のデータは、当該パターンを構成する各画素のエッジ方向の情報を例えば、画素の並びに沿って配列したベクトル表現２３１とすることができる。

図６は模擬エッジパターン２３０に対応して設定された実エッジパターンを示す模式図である。実エッジ画像１００に示す領域１３０は、模擬エッジパターン２３０における画素配置のパターンを、パターン２３０における類似画素２１２の位置が注目画素１１０に一致するように平行移動させたものである。ここで示す例では、当該領域１３０により実エッジパターン１３１を生成する。実エッジパターン１３１のデータのベクトル表現１３２は、模擬エッジパターンのベクトル表現２３１と同様に定義される。

相違画素抽出手段５２は、ベクトル表現２３１の模擬エッジパターン２３０とベクトル表現１３２の実エッジパターン１３１とに対して（４）式、（５）式を適用してパターン類似度Ｓ_ＰＴを算出し、Ｓ_ＰＴ≧Ｔ_ＰＴであれば実エッジパターン１３１を、注目画素に対応して得られた模擬エッジパターン２３０の類似パターンと判定する。

ここで、類似パターン抽出に用いるリファレンスのエッジパターンの他の生成方法について図７に示す模式図を用いて述べる。

例えば、リファレンスのエッジパターンとして、構造線識別子が異なる画素を含む模擬エッジパターンを用いる構成が考えられる。図７（ａ）は、図３〜図６に示した実エッジ画像１００、模擬エッジ画像２００、模擬画像３００の例に、当該構成を適用して得られた実エッジパターンの領域１４０を示している。領域１４０の画素配置パターンは、図５の類似画素２１２を中心とする９×９画素のパターン抽出窓２２０内における、構造線識別子「２」および「１」の画素からなる模擬エッジパターンの画素配置パターンと同一とされる。図５の実画像１００における実エッジ１０１（又は注目画素１１０）に対する実エッジ１０２の位置が、模擬エッジ画像２００における模擬エッジ２０１（又は類似画素２１２）に対する模擬エッジ２０２の位置からずれているため、実エッジ１０２が領域１４０から外れている。

上述のように模擬エッジパターンをリファレンスに用いる構成には、かすれや途切れの影響を受けにくいという特長があり、複数の構造線識別子を含む模擬エッジパターンをリファレンスに用いる場合も当該特長が得られる。一方、複数の構造線識別子を含む模擬エッジパターンにおいては、構造線識別子が異なるエッジ同士の位置関係の変化などが起こることがあり、それに起因してパターン類似度Ｓ_ＰＴが低下し、相違画素の誤抽出、過剰抽出が生じ易くなる。この点で、リファレンスの模擬エッジパターンに含まれる構造線識別子の種類は少ない方がよく、上述した同一の構造線識別子の画素からなる模擬エッジパターンが好適である。

図７（ｂ）は、実画像１００からリファレンスのエッジパターンを生成する構成の問題点を説明する模式図である。上述したように実エッジ１０１はかすれている。このようにかすれ等の影響で、注目画素１１０に対応して設定される実エッジパターンの領域１４０は図７（ｂ）に示すように小さくなり、前景のエッジと偶然に一致する可能性が高まる。この点で上述したように模擬エッジパターンに基づいてリファレンスを生成する方法が好適である。

物体検知手段５３は、相違画素が監視対象の物体によるものか否かを判定し、監視対象の物体によるものと判定した場合に監視対象の物体を検知した旨を表す検知情報を生成し、生成した検知情報を検知情報出力手段３１に出力する。

例えば、物体検知手段５３は、互いの近傍（例えば８近傍）に抽出された相違画素を同一物体によるものとしてラベル付けするラベリング処理を行う。そして、ラベルごとの相違画素の実エッジ情報を抽出した相違エッジ画像と、人の形状を模した人形状モデルとのパターンマッチングを行い、一致度が所定値以上であるラベルの相違画素を人によるものと判定する。または、このパターンマッチングに代えて機械学習した識別器を用いる構成とすることもできる。この場合、物体検知手段５３は、例えば上記各ラベルの外接矩形を設定し、当該外接矩形と重複を有する識別窓を設定する。そして、識別窓内の実画像を、予め人の画像特徴を学習した人識別器に入力して、人と識別された識別窓内の相違画素を人によるものと判定し、人と識別された識別窓が無かったラベルを不審物によるものと判定する。

検知情報出力手段３１は物体検知手段５３から入力された検知情報を報知部６に出力する。

［画像監視装置１の動作］
図８は画像監視装置１の概略の動作のフロー図である。

通信部３は実画像取得手段３０として動作し、撮影部２から実画像を順次取得する（ステップＳ１）。

画像処理部５は、実画像取得手段３０から実画像を取得するごとに、模擬画像生成手段５０として動作し、模擬画像を生成する（ステップＳ２）。これにより、実画像の撮影時刻から推定される日照状態や、撮影時刻における照明スイッチの状態などから把握される人工照明の点消灯状態に応じた模擬画像を生成することが可能である。また、撮影部２の視野が変化する場合には、それに対応した模擬画像を生成することができる。模擬画像生成手段５０は生成した背景画像を模擬画像記憶手段４１に記憶させる。

また、画像処理部５は実画像取得手段３０から実画像を取得するごとに、エッジ抽出手段５１として動作し、実画像から実エッジ画像を生成すると共に（ステップＳ３）、当該実画像の取得に対応して生成された模擬画像を模擬画像記憶手段４１から読み出して当該模擬画像から模擬エッジ画像を生成する（ステップＳ４）。

次に、画像処理部５は相違画素抽出手段５２として動作し、ステップＳ３にて生成された実エッジ画像と、ステップＳ４にて生成された模擬エッジ画像とに基づいて相違画素を抽出する（ステップＳ５）。

図９は相違画素抽出処理Ｓ５の概略のフロー図である。相違画素抽出手段５２は実画像の各画素を順次、注目画素として設定する（ステップＳ１０）。ここで、実画像と模擬画像との間にはキャリブレーション誤差が存在し得るため、実画像の注目画素が模擬画像では異なる位置の画素に対応し得る。これに関し、過去に取得された実画像に対する相違画素抽出処理にて、注目画素に対応する模擬画像の対応画素の位置がマップ記憶手段４２に記憶されている可能性がある。そこで、相違画素抽出手段５２は、マップ記憶手段４２に対応画素の情報があるか否かを確認し（ステップＳ１２）、当該情報が記録されていない場合には（ステップＳ１２にて「ＮＯ」の場合）、模擬画像にて注目画素と類似するエッジ情報を有する類似画素を探索する（ステップＳ１４）。

類似画素の探索は注目画素の近傍にて行われる。本実施形態では、注目画素を中心にしてキャリブレーション誤差の上限に応じた大きさの探索領域を設定し、当該探索領域内にて類似画素を探す。例えば、探索領域は既に述べたように５×５画素の矩形領域とする。

探索の結果、模擬画像に類似画素が見つからなかった場合（ステップＳ１６にて「ＮＯ」の場合）、相違画素抽出手段５２は注目画素を背景（模擬画像）の画素ではないとして相違画素と判定する（ステップＳ１８）。例えば、ステップＳ１８にて相違画素と判定される例として、注目画素が実画像に現れた輝度境界線（物体輪郭など）に位置し大きな強度のエッジをなすのに対し、探索領域の模擬画像にそれに相当するエッジが存在しない場合がある。

一方、探索の結果、模擬画像に類似画素が検出された場合（ステップＳ１６にて「ＹＥＳ」の場合）、相違画素抽出手段５２は模擬画像記憶手段４１から構造線識別子の情報を取得し（ステップＳ２０）、類似画素と同一の構造線識別子が付与された画素の模擬エッジ情報から模擬エッジパターンを生成する（ステップＳ２２）。例えば、相違画素抽出手段５２は、模擬エッジパターンとして、類似画素を含む複数の画素であって、模擬画像に現れた輝度境界線に沿って並び、且つ構造線識別子が共通である互いに隣接した画素群についての配置およびエッジ方向を求める。なお、構造線識別子が同一という条件に代えて、または当該条件に加えて、模擬エッジパターンをなす互いに隣接した複数の画素におけるエッジ方向の変動範囲が所定の閾値以下である、または隣接画素間でのエッジ方向の差が所定の閾値以下であるという条件を課して模擬エッジパターンを定めてもよい。閾値は９０度未満とすることが好適であり、例えば４５度とすることができる。

相違画素抽出手段５２は、ステップＳ２２にて類似画素に対応して模擬エッジパターンを生成すると、次に、実エッジ画像における実エッジパターンの中に当該模擬エッジパターンに類似するものである類似パターンが存在するかを調べる（ステップＳ２４）。本実施形態では、実エッジパターンは、模擬エッジパターンと同じ画素配置パターンを、模擬エッジパターン内の類似画素の位置が注目画素に重なるように配置したものであるとし、当該実エッジパターンに対して上記の（４）式、（５）式で定義するパターン類似度Ｓ_ＰＴを算出し、Ｓ_ＰＴが閾値Ｔ_ＰＴ以上であれば当該実エッジパターンを類似パターンと判定し、Ｓ_ＰＴが閾値Ｔ_ＰＴ未満であれば類似パターンはないと判定する。

類似パターンが存在すれば（ステップＳ２４にて「ＹＥＳ」の場合）、相違画素抽出手段５２はステップＳ１４にて得られた類似画素をステップＳ１０にて設定された注目画素の対応画素と判定し（ステップＳ２６）、マップ記憶手段４２に、当該注目画素に関する対応画素情報として当該対応画素の位置を記録する（ステップＳ２８）。

一方、類似パターンがないと判定した場合（ステップＳ２４にて「ＮＯ」の場合）、相違画素抽出手段５２は、注目画素を相違画素であると判定する（ステップＳ１８）。

このように、ステップＳ１６にて実画像の注目画素に対し模擬画像に類似画素が見つかっても、この１画素のエッジ情報のみを以て直ちに注目画素が相違画素ではないと判断するのではなく、複数の画素からなるエッジパターンでの比較をさらに行って相違画素であるか否かを判断することにより、精度の高い相違画素検出が可能となる。

さて、上述のように対応画素情報の記録（ステップＳ２８）を行うので、ステップＳ１０にて設定された注目画素について対応画素情報が存在する場合がある（ステップＳ１２にて「ＹＥＳ」の場合）。この場合は、相違画素抽出手段５２は、対応画素情報をマップ記憶手段４２から取得することで（ステップＳ３０）、類似画素の探索に関する処理（ステップＳ１４，Ｓ１６）を省略して、エッジパターンでの比較処理（ステップＳ２０〜Ｓ２４）に進み、相違画素であるか対応画素であるかを判定する（ステップＳ１８，Ｓ２６）。これにより処理負荷の軽減、処理時間の短縮が図られる。

ちなみに、この場合は、対応画素に対応して模擬エッジパターンが生成される。すなわち、相違画素抽出手段５２は模擬画像記憶手段４１から構造線識別子の情報を取得し（ステップＳ２０）、対応画素と同一の構造線識別子が付与された画素の模擬エッジ情報から模擬エッジパターンを生成する（ステップＳ２２）。

以上の処理Ｓ１０〜Ｓ３０を実画像の各画素について繰り返し（ステップＳ３２にて「ＮＯ」の場合）、実画像の全画素について処理が終わると（ステップＳ３２にて「ＹＥＳ」の場合）、相違画素抽出手段５２は図８のステップＳ６に処理を進める。

画像処理部５はステップＳ５にて相違画素が抽出された場合には（ステップＳ６にて「ＹＥＳ」の場合）、物体検知手段５３として動作し、当該相違画素が監視対象の物体によるものか否かを判定する物体認識処理を行う（ステップＳ７）。そして、監視対象の物体によるものと判定した場合には、監視対象の物体を検知した旨を表す検知情報を生成し、生成した検知情報を検知情報出力手段３１に出力する。

通信部３は物体検知手段５３からの検知情報を受けて検知情報出力手段３１として動作し、当該検知情報を報知部６に出力する（ステップＳ８）。

画像監視装置１は実画像を取得するごとに上述のステップＳ１〜Ｓ８の処理を繰り返す。なお、ステップＳ５にて相違画素が抽出されなかった場合には（ステップＳ６にて「ＮＯ」の場合）、ステップＳ７，Ｓ８は省略して次の実画像の処理に移る。

［変形例］
（１）上述の実施形態では、前景物体が存在しないときの監視空間を模した三次元モデルから生成した模擬画像、すなわち背景画像の模擬画像を実画像と比較する例を示したが、模擬画像はこれに限らない。例えば、模擬画像は、消火器などの監視対象物のモデルを含めた三次元モデルから生成したものとしてもよい。本発明に係る画像比較装置は、当該模擬画像と実画像とを比較し、相違画素に基づいて監視対象物の持ち去りや移動を検知する用途に利用できる。

また、模擬画像は、車両などの識別対象物の三次元モデルから生成したものとしてもよい。本発明に係る画像比較装置は、当該模擬画像と実画像とを比較し、相違画素に基づいて識別対象物を同定または検索する用途に利用できる。

また、模擬画像は、工場生産品などの検査対象物の三次元モデルから生成したものとしてもよい。本発明に係る画像比較装置は、当該模擬画像と実画像とを比較し、相違画素に基づいて検査対象物の傷の有無等を検査する用途に利用できる。

（２）上述の実施形態では、実エッジパターン、模擬エッジパターンとして、物体の輪郭線など実画像、模擬画像における輝度境界線に対応して得られる形状パターンを用いて説明したが、本発明におけるエッジパターンはそのような形状パターンに限られない。エッジ情報は上述したように、物体の輪郭線などに対応する画素に限られず、基本的にはエッジオペレータの演算結果として全ての画素について得られる。よって、一般的に、エッジパターンは複数画素からなる領域におけるエッジ情報の集合と定義することができる。

よって、実画像における注目画素が輪郭線などを構成するものでなくても、本発明を適用することができる。

（３）上述の実施形態では、模擬エッジパターンとして類似画素を通る形状パターンを生成したが、模擬エッジパターンは類似画素の近傍を通る輪郭線等の形状パターンとしてもよい。例えば、模擬エッジ画像にて類似画素の近くに当該類似画素よりも大きなエッジ強度を有する形状パターンが存在するような場合に、その類似画素の近くにて得られる形状パターンを模擬エッジパターンとする。この場合、例えば、上述の実施形態と同様、実エッジパターンとして模擬エッジパターンと同じ画素配置パターンを仮定する構成では、実エッジパターンは、注目画素と類似画素との位置関係に応じて模擬エッジパターンを平行移動して設定すればよい。つまり、実エッジパターンは注目画素を含まず、その近傍に設定され得る。

（４）上述の実施形態では、実エッジパターンとして、模擬エッジパターンである形状パターンと同じ画素配置パターンを仮定したが、実エッジパターンは模擬エッジパターンとは独立して抽出してもよい。つまり、類似画素を起点として模擬エッジが伸びる方向に画素を連ねて模擬エッジパターンを抽出したのと同様に、注目画素を起点として実エッジが伸びる方向に画素を連ねて実エッジパターンを抽出し、当該実エッジパターンの画素におけるエッジ情報と模擬エッジパターンの画素におけるエッジ情報とを比較して当該実エッジパターンが模擬エッジパターンの類似パターンであるかを判定する構成とすることができる。

（５）上述の実施形態では、撮影部２の視野は固定としているが可変であってもよい。すなわち、撮影部２が走査機構を備え撮影方向を変化させたり、ズーム機構を備え画角を変化させたりするものであってもよい。

１ 画像監視装置、２ 撮影部、３ 通信部、４ 記憶部、５ 画像処理部、６ 報知部、３０ 実画像取得手段、３１ 検知情報出力手段、４０ 三次元モデル記憶手段、４１ 模擬画像記憶手段、４２ マップ記憶手段、４３ カメラ情報記憶手段、５０ 模擬画像生成手段、５１ エッジ抽出手段、５２ 相違画素抽出手段、５３ 物体検知手段、１００ 実エッジ画像、１０１，１０２ 実エッジ、１１０ 注目画素、２００ 模擬エッジ画像、２０１，２０２ 模擬エッジ。

Claims (6)

1. 所定の空間が撮影された実画像と、前記空間の三次元モデルをレンダリングすることにより生成された模擬画像とを比較して、前記実画像において前記模擬画像と相違する相違画素を抽出する画像比較装置であって、
   前記模擬画像を記憶している模擬画像記憶手段と、
   前記実画像および前記模擬画像のそれぞれから、各画素におけるエッジ方向を少なくとも含む実エッジ情報および模擬エッジ情報を抽出するエッジ抽出手段と、
   前記実画像の注目画素の近傍領域において、複数の画素の前記模擬エッジ情報が形成する模擬エッジパターンを求め、前記実エッジ情報に関し当該模擬エッジパターンに所定基準以上に類似した類似パターンが検出されない前記注目画素を前記相違画素とする相違画素抽出手段と、
   を備えたことを特徴とする画像比較装置。
2. 前記相違画素抽出手段は、前記模擬エッジ情報における前記エッジ方向が類似した複数の画素から形成される前記模擬エッジパターンを用いて前記類似パターンを検出すること、を特徴とする請求項１に記載の画像比較装置。
3. 前記模擬画像記憶手段は、前記模擬画像の画素ごとに、当該画素にレンダリングされた前記空間の構造線を識別する構造線識別子を記憶し、
   前記相違画素抽出手段は、前記構造線識別子が同一である複数の画素の前記模擬エッジ情報から形成される前記模擬エッジパターンを用いて前記類似パターンを検出すること、
   を特徴とする請求項１又は請求項２に記載の画像比較装置。
4. 複数の前記実画像を順次、前記模擬画像と比較する画像比較装置において、
   過去の比較にて前記実画像と前記模擬画像とで同一とされた画素同士の位置関係を記憶するマップ記憶手段をさらに備え、
   前記相違画素抽出手段は、
   前記類似パターンが検出された前記注目画素を前記模擬画像の画素と同定して前記位置関係を前記マップ記憶手段に記憶させ、
   新たに比較する前記実画像における前記注目画素のうち前記マップ記憶手段に前記位置関係が記憶されているものについては、当該位置関係をなす前記模擬画像の画素を含む前記模擬エッジパターンを用いて前記類似パターンを検出すること、
   を特徴とする請求項１から請求項３のいずれか１つに記載の画像比較装置。
5. 前記相違画素抽出手段は、前記近傍領域よりも狭く予め定めた大きさで前記注目画素の周りに設定した領域にて、当該注目画素の前記実エッジ情報と最も類似する前記模擬エッジ情報を有する画素を探索し、当該画素を含む前記模擬エッジパターンを用いて前記類似パターンを検出すること、を特徴とする請求項１から請求項４のいずれか１つに記載の画像比較装置。
6. 前記エッジ抽出手段は、前記実エッジ情報および前記模擬エッジ情報としてさらにエッジ強度を抽出すること、を特徴とする請求項１から請求項５のいずれか１つに記載の画像比較装置。

Images