JP4448249B2

JP4448249B2 - 画像認識装置

Info

Publication number: JP4448249B2
Application number: JP2000370831A
Authority: JP
Inventors: 千尋佐藤
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2000-12-06
Filing date: 2000-12-06
Publication date: 2010-04-07
Anticipated expiration: 2020-12-06
Also published as: JP2002175530A

Description

【０００１】
【発明の属する技術分野】
本発明は、監視画像に現れる侵入者等の検知対象を検出する画像認識装置に関し、特に移動領域に制約を課された検知対象を精度良く検出することに関する。
【０００２】
【従来の技術】
近年、工業用テレビカメラ（ＩＴＶカメラ）等の撮像装置を用いた監視装置が各所に設置され、侵入者検知や異常検知に威力を発揮している。そのような監視装置は、天井等に設置されたＩＴＶカメラにて監視対象領域の画像を取得する。現在においても、監視員が監視画像をモニタして異常等を検知するという形態の監視システムは存在するが、近年では画像認識装置を組み合わせて、監視画像中に現れる検知対象の像を自動的に検出する監視装置が開発されている。
【０００３】
この自動監視装置では、検知対象が検知された場合に、例えば監視員への通報が行われ、監視員はその通報を受けて、現地に赴いて確認する等の必要な措置を行う。このように自動的に検知対象を認識する装置では、監視員の負担が大幅に軽減される。
【０００４】
従来の自動監視装置に用いられる画像認識装置は、監視画像内に輝度変化があった領域を移動体とし、その形状や面積に基づき、人などの検知対象か否かを判断している。
【０００５】
【発明が解決しようとする課題】
多数の自動監視装置を効率良く運営するために、誤検出・誤報を極力低減して、異常発生時の監視員や対処員による対応必要件数を抑制することが望まれる。従来の画像認識装置においても、種々の誤検出・誤報要因を排除すべく工夫がなされているが、使用環境が多岐にわたるため未だ十分とは言えない状況である。例えば、侵入者等を検知対象とした自動監視に用いられる画像認識装置において、ＩＴＶカメラの近傍の画角内に張られた蜘蛛の糸や画角内を飛び回る虫が、従来技術で排除できない誤検出・誤報要因となる場合があった。具体的には、蜘蛛糸は張られ方や揺れ方が様々であり、細長い蜘蛛糸が揺れると、抽出される変化領域の面積や形状が、人の場合と区別不能となる場合があった。侵入者を検出するための自動監視装置のカメラは天井近辺に設置されることが多く、カメラの直近に蜘蛛糸が張られることにより、誤検出を生じる場合が少なからずあった。また空中を飛び回る虫がたまたま人と区別できない画像を生じることもあった。これらの事象が生じる確率はそれほど高くはないかもしれないが、現状のように自動監視装置が普及している状況では、上述の監視員や対処員の負担増、運営コスト増の原因となり、放置できない問題点である。
【０００６】
本発明は上記問題点を解消するためになされたもので、蜘蛛糸の揺れや虫の飛来などに起因して発生しうる誤検出が抑制された信頼性の高い監視を実現する画像認識装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る画像認識装置は、現時刻の監視画像を基準画像と比較し、変化を生じた画像部分に基づいて検知対象の候補に対応する候補画像領域を求める画像比較手段と、先行時刻から前記現時刻までの前記候補画像領域の大きさ変化を判定する大きさ変化判定手段と、前記大きさ変化が所定レベル以上であることに基づいて、当該候補が前記検知対象であるか否かの判定材料となる判定情報を生成する判定情報生成手段とを有するものである。
【０００８】
本発明によれば、画像比較手段は、現時刻において監視カメラ等により取得される監視画像と背景となる画像等の基準画像とを比較する。比較は例えば両画像の差分画像を生成することにより行われる。また、例えば、各画素の差分データを所定の閾値と比較して二値化することにより、画素データが基準画像から変化した画素と変化していていない画素とを分別することができる。検知対象は、移動物体のうち人など特定のものである。画素データが変化した画像部分はある移動物体の全体又は一部を含む。また画素データが変化した画像部分は、複数の移動物体の全体又は一部を含み得る。画像比較手段は、変化を生じた画像部分に基づいて、それぞれ一つの移動物体に対応する候補画像領域を求める。候補画像領域は、検知対象の像が表示される画像領域の候補である。候補画像領域は、変化を生じた画像部分のみからなるものに限られず、例えば、変化を生じた画像部分のうち一つの移動物体に起因すると認識された部分に外接する所定形状領域のように、変化を生じたと認識されなかった画像領域を一部に含むものであってもよい。画像比較手段は、時々刻々と候補画像領域を定める処理を繰り返し、大きさ変化判定手段は、候補画像領域の大きさの時間的な変化を検知する。候補画像領域の大きさは、例えば、その面積や上下又は左右の寸法などで定義される。候補画像領域の大きさは、対応する移動物体が監視画像を生成する撮像手段に近づく場合には大きくなり、遠ざかる場合には小さくなる。本発明の画像認識装置は、侵入者などのように撮像手段との距離を変化させる移動物体を検知対象とし、判定情報生成手段は、基本的に候補画像領域の大きさの変化に基づいて、対応する移動物体の遠近の変化を把握して、検知対象である可能性が高いか否かの判断材料となる判定情報を生成する。遠近の変化が生じない場合には検知対象である可能性が低いとされる。遠近の変化を生じたか否かは、候補画像領域の大きさの変化量が所定の閾値より大きいか小さいかに基づいて判断される。判定情報は、他の検知対象のためのロジックから得られる他の情報と合わせて利用され、それらの総合的な評価から、検知対象であるか否かの判断を行うことができる。また、本発明の画像認識装置から得られる判定情報だけで、対応する候補画像領域が検知対象によるものであるか否かの判断を行うこともできる。
【０００９】
他の本発明に係る画像認識装置は、現時刻の監視画像を基準画像と比較し、変化を生じた画像部分に基づいて検知対象の候補に対応する候補画像領域を求める画像比較手段と、先行時刻から前記現時刻までの前記候補画像領域の大きさ変化を判定する大きさ変化判定手段と、前記先行時刻から前記現時刻までの前記候補画像領域の移動方向を検知する移動方向判定手段と、前記大きさ変化と前記移動方向とに基づいて、当該候補が前記検知対象であるか否かの判定材料となる判定情報を生成する判定情報生成手段とを有するものである。
【００１０】
本発明によれば、候補画像領域の大きさの変化に加えて、候補画像領域の移動方向が検知される。当該移動方向は、例えば候補画像領域の重心の移動方向によって定義することができる。撮像手段は、インターホンに取り付けられるカメラのように検知対象をほぼ正面から捉える場合もあるが、一般には検知対象が移動し得る方向に対して斜めに配置される。よって、監視画像上で検知対象の像は所定の方向に移動することが期待される。判定情報生成手段は、候補画像領域の大きさの変化から把握される遠近の変化に加えて、候補画像領域の移動方向が検知対象に期待されるものであるか否かを考慮して、候補が検知対象であるか否かの判定材料となる判定情報を生成する。
【００１１】
別の本発明に係る画像認識装置においては、前記判定情報生成手段が、前記検知対象が移動し得る空間領域と前記監視画像を出力する撮像手段との配置関係に応じた前記大きさ変化と前記移動方向との相関関係を記憶する設置条件記憶手段と、前記候補画像領域に関して得られる前記大きさ変化及び前記移動方向の関係を前記相関関係と比較し、当該比較に基づいて前記判定情報を生成する相関関係比較手段とを有することを特徴とする。
【００１２】
本発明によれば、候補画像領域の大きさと移動方向との相関関係が考慮されて判定情報が生成される。検知対象が三次元空間を自在に動き回れることは希であり、通常、検知対象が移動し得る空間領域には、一般に何らかの束縛条件が課される。例えば、検知対象が侵入者である場合、当該検知対象は地上、床の上を移動し、また壁や障害物で規定される通路に沿って移動することを期待し得る。撮像手段は、検知対象の移動可能空間領域を臨む所定位置に配置され、監視画像上の各位置には、当該位置に対応する移動可能空間領域までの距離が対応付けられる。よって、監視画像上のある点から他の点へ検知対象が移動した場合における遠近の変化は、移動可能空間領域と撮像手段との配置関係に応じて予め定まる。移動可能空間領域が平面や直線に近い場合には、監視画像内で遠近は単調に変化する。例えば、カメラが直線状の通路の側方に、通路の延びる方向に対して斜めに向いて配置されている場合を考える。この場合、当該通路の奥から手前に移動する移動物体は、例えば、画像上では左から右へ移動するように映る。このとき、遠方位置に対応する左側では移動物体は小さく映り、手前位置に対応する右側では大きく映る。すなわち、通路に沿って移動する検知対象の像が画面上で左から右へ移動する場合に、当該像は小から大へ変化する。設置条件記憶手段には、このような相関関係が格納される。相関関係比較手段は、この検知対象が満たすべき相関関係と、候補画像領域の移動方向と大きさの変化との関係とを比較する。そして候補画像領域の移動方向と大きさの変化との関係が設置条件記憶手段に記憶された相関関係に適合する場合には、当該候補画像領域に対応する候補が検知対象である可能性が高い旨の肯定的判定情報を生成する。反対に、相関関係に適合しない場合には、当該候補は検知対象が従うべき空間的な束縛条件を満たさない移動をしていることを意味し、この場合には否定的な判定情報を生成することができる。
【００１３】
本発明の好適な態様は、前記検知対象が基底面上を移動し、前記監視画像が、前記基底面の上方に配置され当該基底面に対し斜め方向に向けられた前記撮像手段から撮影された画像である画像認識装置において、前記移動方向判定手段が、前記候補画像領域が前記監視画像にて上方又は下方に移動したことを検知し、前記設置条件記憶手段に記憶される前記相関関係が、前記移動方向が上方の場合に前記候補画像領域の大きさが縮小し、前記移動方向が下方の場合に前記候補画像領域の大きさが拡大することであることを特徴とする画像認識装置である。
【００１４】
検知対象である侵入者等は一般には重力の束縛を受け、地面や床面等の基底面上を二次元的、又はその上に設定される通路を一次元的に移動する。また監視カメラは天井や支柱の上などの見渡しのよい高い位置に、基底面に対し斜めに向いて設置されることが多い。この場合、一般に監視画像の上が遠方に、また下が手前に対応し、よって相関関係は、下向きの移動方向に対し大きさが拡大する関係であり、逆に上向きの移動方向に対し大きさが縮小する関係である。
【００１５】
さらに別の本発明に係る画像認識装置は、前記候補画像領域の移動距離を判定する移動距離判定手段を有し、前記判定情報生成手段は、前記移動距離が所定値以上である場合に前記判定情報を生成するものである。
【００１６】
移動距離が所定値未満である場合には、候補画像領域の大きさの変化は、当該候補が検知対象であっても小さく、一方、当該候補が検知対象でない場合であっても多少は変化し得る。本発明によれば、このような精度の低い場合には、敢えて判定情報を生成しない。検知対象か否かの判定は、本判定情報と他の条件等とを複合して行われることが多く、その判定の際に精度の低い判定情報を含めないこととすることにより、当該判定の信頼性を確保することができる。
【００１７】
【発明の実施の形態】
次に、本発明に係る侵入者監視システムの好適な実施形態について図面を参照して説明する。
【００１８】
図１は、本発明に係る監視システムの概略のブロック構成図である。本システムは侵入者を検知対象とし、監視画像内に人を検知して通報する。本システムは、監視領域を撮影可能な撮像装置２と、撮像装置２から出力される現在の監視画像内に人がいるか否かを判断する画像認識装置４と、出力装置６とを含んで構成される。
【００１９】
本監視システムにおいては、撮像装置２が天井や支柱・壁の上方などの高所に設置され、床面・地表面等を斜め上方から撮影し、画像認識装置４は当該床面等に沿って移動する侵入者を検知する。
【００２０】
撮像装置２は例えば、ＣＣＤ撮像素子やＣ−ＭＯＳ撮像素子を用いた工業用カメラ等であり、その監視目的に応じて赤外線カメラの場合もあるし可視光カメラの場合もある。撮像装置２は、ここでは監視対象領域に向けて固定して設置する場合を説明するが、所定角度範囲で揺動して広範な範囲を走査、監視できるように構成することもできる。
【００２１】
画像認識装置４は、監視画像内の人の像を判定する少なくとも一種類の条件判定部８，１０と、判定部２０及び記憶部２２を有する。図１では、本発明に係る条件判定を行う第一条件判定部８の他、これとは異なる判定ロジックで人を判定する条件判定部として第二条件判定部１０を有する例を示しているが、第一条件判定部以外の条件判定部の数は任意である。
【００２２】
出力装置６は、例えば画像認識装置４から出力される判定結果を監視員等に対して表示する。
【００２３】
画像認識装置４の各条件判定部８，１０は、例えば、監視画像内に人が存在するか否かや、さらに監視画像内のどの部分が人と認識されるかといった判定をそれぞれの判定ロジックに基づいて行い、それにより得られた判定情報を出力する。
【００２４】
判定部２０は、各条件判定部から入力される判定情報に基づいて、監視画像に侵入者が映っているか否かを判定する。
【００２５】
記憶部２２には、例えば、移動物体が存在しない状態で撮影された監視画像が背景画像（基準画像）として予め格納されている。
【００２６】
第一条件判定部８は、画像比較モジュール３０、移動距離判定モジュール３２、移動方向判定モジュール３４、面積変化判定モジュール３６、及び判定情報生成モジュール３８を含んで構成される。第一条件判定部８は、例えば、中央処理ユニット（ＣＰＵ：Central Processing Unit）を用いて構成することができ、各モジュール３０〜３８はこのＣＰＵ上で実行されるプログラムとして実現することができる。
【００２７】
画像比較モジュール３０は、撮像装置２から現時刻にて得られる監視画像（現画像）に映る移動物体を抽出し、その像に対応して検知対象の候補画像領域を求める。
【００２８】
移動距離判定モジュール３２は、現時刻と先行する時刻とについてそれぞれ抽出された移動物体の位置を比較し、当該二時刻間での移動距離が所定値以上であることを検知する。
【００２９】
移動方向判定モジュール３４は、前記二時刻間での移動物体の移動方向を判定する。
【００３０】
面積変化判定モジュール３６は、画像比較モジュール３０で得られた候補画像領域の面積を各時刻ごとに算出し、前記二時刻間での候補画像領域の面積変化を検知する。
【００３１】
判定情報生成モジュール３８は、候補画像領域の移動方向と面積変化とに基づいて、候補画像領域に対応する移動物体が検知対象であるとの肯定的な判断材料となる判定情報を生成し、判定部２０へ出力する。
【００３２】
図２は、本システムの特徴的構成要素である第一条件判定部８を中心とした概略の処理を示す処理フロー図である。撮像装置２により撮影された現画像が画像認識装置４の条件判定部８，１０にそれぞれ入力される。
【００３３】
第一条件判定部８では、画像比較モジュール３０が現画像を取り込む（Ｓ５０）。画像比較モジュール３０は、現画像と記憶部２２に記憶された基準画像との各画素データの差分を計算し、それを所定の閾値で二値化して差分二値化画像を生成する（Ｓ５２）。この差分二値化画像は、例えば基準画像から変化した画素がデータ“１”を有し、変化していない画素がデータ“０”を有するものであり、基準画像には存在しなかった移動物体像を表す。画像比較モジュール３０は、この差分二値化画像において一体的と認められる領域を見つけだし、それぞれ一つの移動物体に対応する候補画像領域として記憶部２２に登録する。ここで候補画像領域は一画面中に複数存在し得る。画像比較モジュール３０は各候補画像領域の重心点を計算すると共に（Ｓ５４）、各候補画像領域の面積を計算する（Ｓ５６）。
【００３４】
移動距離判定モジュール３２は、二時刻間での重心点の座標変化を計算する（Ｓ５８）。この座標変化を計算するために、一度検知された移動物体に対してトラッキング処理が行われる。このトラッキング処理により、同一の移動物体の候補画像領域が各時刻間にて対応付けられる。なお、初めて検出された移動物体については、二時刻間での座標変化や後述する面積変化を考えることができないので、それらの処理を行わずにステップＳ５０に戻る（Ｓ６０）。
【００３５】
二時刻間での重心点座標の画面縦方向の変化量が小さい場合には、後述する候補画像領域の移動に伴う遠近変化の判断精度が十分に得られない。そのため、移動距離判定モジュール３２は、候補画像領域の重心点の縦方向の移動量が例えば１０画素未満である場合には、遠近変化の判断を行わずにステップＳ５０に戻る（Ｓ６２）。
【００３６】
一方、縦方向の移動量が１０画素以上である場合には、移動方向判定モジュール３４が候補画像領域の重心点の座標変化が画面上方であるか、画面下方であるかを判定する（Ｓ６４）。また、縦方向の移動量が１０画素以上である場合には、面積変化判定モジュール３６が、前時刻の画像での候補画像領域の面積Ｓ_-に対する現画像での候補画像領域の面積Ｓ₀の比Ｒ（≡Ｓ₀／Ｓ_-）を計算する。
【００３７】
判定情報生成モジュール３８は、候補画像領域の移動方向と面積変化とに基づいて判定情報を生成する。本実施形態の撮像装置２の向きでは、画面上側が監視対象とする基底面の遠方地点、画面下方が手前側地点に対応する。よって、候補画像領域が床面を移動する移動物体によるものであれば、当該候補画像領域の面積は監視画像の上方ほど面積が小さく映り、下方ほど面積が大きく映るという相関関係が成り立つ。一方、この相関関係が満たされない場合には、その候補画像領域は床面に移動が束縛された物によるものではなく、床面から離れ空中に浮いていることができる物、例えば蜘蛛の糸や虫などによるものであり、侵入者である可能性は低い。判定情報生成モジュール３８は、この観点から判定情報を生成する。候補画像領域が下方に移動したときに（Ｓ６４）、当該候補画像領域が変化しない、あるいは縮小した場合（すなわち比Ｒが１以下の場合）には（Ｓ６６）、人の像である可能性を否定する判定情報を生成し（Ｓ６８）、反対に当該候補画像領域が拡大した場合（すなわち比Ｒが１より大きい場合）には、人の像である可能性を否定しない判定情報を生成する（Ｓ７０）。また、候補画像領域が上方に移動したときに（Ｓ６４）、当該候補画像領域が変化しない、あるいは拡大した場合（すなわち比Ｒが１以上の場合）には（Ｓ７２）、人の像である可能性を否定する判定情報を生成し（Ｓ６８）、反対に当該候補画像領域が縮小した場合（すなわち比Ｒが１より小さい場合）には、人の像である可能性を否定しない判定情報を生成する（Ｓ７０）。
【００３８】
第一条件判定部８は以上のように、各時刻において得られる監視画像に対して判定情報を生成する処理を繰り返す。第一条件判定部８が生成した判定情報は、判定部２０に渡される。判定部２０は、第二条件判定部１０からも別ロジックで得られた判定情報を取得し、両条件判定部から得られた判定情報を総合して、監視画像に侵入者が映っているか否かを判定する。
【００３９】
なお、上述の説明ではＲによる場合分けを行う際に、Ｒ＝１を基準値としたが、面積測定の誤差等を考慮して、１より所定マージンδだけ前後にずれた値を基準値として判定を行うこともできる。この場合、（１−δ≦Ｒ≦１＋δ）の処理範囲に関しては、面積測定の誤差当を考慮して判断を保留することが好ましいので、処理を行わずにステップＳ５０に戻る。
【００４０】
また、面積比Ｒ以外に面積差分Ｄ（≡Ｓ₀−Ｓ）を計算してもよい。この場合、ステップＳ６６は「Ｄ≦０であるか否か」を判定するステップとなり、ステップＳ７２は「Ｄ≧０であるか否か」を判定するステップで置き換えられる。
【００４１】
また、上述の構成では、第一条件判定部８の他に第二条件判定部１０を備え、判定部２０がそれらの判定情報を総合的に判断した。しかし、第一条件判定部８のみを備え、それが生成する判定情報のみに基づいて、侵入者の有無を判定するように構成することも可能である。
【００４２】
【発明の効果】
本発明に係る画像認識装置によれば、監視画像上での移動物体像の大きさの変化や、大きさの変化及び移動方向に基づいて、移動可能空間に制約を課された検知対象と、そうでない移動物体とを弁別することが可能となり、検知対象の検出精度の向上、誤検出確率の抑制が図られる効果が得られる。
【図面の簡単な説明】
【図１】本発明に係る監視システムの概略のブロック構成図である。
【図２】本システムの概略の処理を示す処理フロー図である。
【符号の説明】
２撮像装置、４画像認識装置、６出力装置、８第一条件判定部、２０判定部、３０画像比較モジュール、３２移動距離判定モジュール、３４移動方向判定モジュール、３６面積変化判定モジュール、３８判定情報生成モジュール。

Claims

監視画像内に現れる検知対象を検出する画像認識装置において、
現時刻の前記監視画像を基準画像と比較し、変化を生じた画像部分に基づいて前記検知対象の候補に対応する候補画像領域を求める画像比較手段と、
先行時刻から前記現時刻までの前記候補画像領域の大きさ変化を判定する大きさ変化判定手段と、
前記先行時刻から前記現時刻までの前記候補画像領域の移動方向を判定する移動方向判定手段と、
前記大きさ変化と前記移動方向とに基づいて、当該候補が前記検知対象であるか否かの判定材料となる判定情報を生成する判定情報生成手段と、
を備え、
前記判定情報生成手段は、
前記検知対象が移動し得る空間領域と前記監視画像を出力する撮像手段との配置関係に応じた前記大きさ変化と前記移動方向との相関関係を記憶する設置条件記憶手段と、
前記候補画像領域に関して得られる前記大きさ変化及び前記移動方向の関係を前記相関関係と比較し、当該比較に基づいて前記判定情報を生成する相関関係比較手段と、
を有することを特徴とする画像認識装置。
請求項１記載の画像認識装置であって、前記検知対象が基底面上を移動し、前記監視画像が、前記基底面の上方に配置され当該基底面に対し斜め方向に向けられた前記撮像手段から撮影された画像である画像認識装置において、
前記移動方向判定手段は、前記候補画像領域が前記監視画像にて上方又は下方に移動したことを検知し、
前記設置条件記憶手段に記憶される前記相関関係は、前記移動方向が上方の場合に前記候補画像領域の大きさが縮小し、前記移動方向が下方の場合に前記候補画像領域の大きさが拡大することであること、
を特徴とする画像認識装置。
請求項１又は請求項２に記載の画像認識装置において、
前記候補画像領域の移動距離を検知する移動距離判定手段を有し、
前記判定情報生成手段は、前記移動距離が所定値以上である場合に前記判定情報を生成すること、
を特徴とする画像認識装置。