JP4228657B2 - 物体検出方法 - Google Patents
物体検出方法 Download PDFInfo
- Publication number
- JP4228657B2 JP4228657B2 JP2002324397A JP2002324397A JP4228657B2 JP 4228657 B2 JP4228657 B2 JP 4228657B2 JP 2002324397 A JP2002324397 A JP 2002324397A JP 2002324397 A JP2002324397 A JP 2002324397A JP 4228657 B2 JP4228657 B2 JP 4228657B2
- Authority
- JP
- Japan
- Prior art keywords
- detection target
- target area
- image
- time
- search object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、所定の監視エリアの画像から人や車輌などの探索物体を抽出して、探索物体の動きや存在を自動的に検出する物体検出方法に関するものである。
【０００２】
【従来の技術】
従来、所定の監視エリアの画像から人や車輌などの探索物体を検出するために背景差分方法やフレーム間差分方法などの手法が用いられている。
【０００３】
先ず背景差分方法について図２１（ａ）〜（ｃ）を参照して説明する。この方法では、事前に探索物体が存在していない時の監視エリアＡの画像（図２１（ａ）参照）を撮像し、この画像を背景画像として記憶させる。その後、監視エリアＡの画像を逐次撮像して、背景画像との差分を求め、差分の発生した領域を背景に無い物体の進入してきた部分であると判断している。例えば、監視エリアＡに人Ｈが進入した場合、この時の監視エリアＡの画像（図２１（ｂ）参照）と背景画像との差分をとると、図２１（ｃ）に示すような差分二値画像が得られるので、この画像から人Ｈが進入したことを判別できる（例えば特許文献１参照）。
【０００４】
次に、フレーム間差分方法について図２２（ａ）〜（ｃ）を参照して説明する。この方法では、監視エリアＡの画像を逐次撮像しており、異なる時刻に撮像された２枚の画像の差分をとることによって、探索物体を検出している。図２２（ａ）はある時刻に撮像された監視エリアＡの画像を、図２２（ｂ）はそれ以降の別の時刻に撮像された監視エリアＡの画像をそれぞれ示し、この間に動いた人Ｈの部位が差分画像となって、図２２（ｃ）に示すような差分二値画像が得られるので、この画像から何らかの物体が移動していることを検出できる（例えば特許文献２参照）。
【０００５】
そして、上述の方法を用いて監視エリアＡの画像から探索物体（例えば人）の存在すると思われる検知対象領域を抽出した場合に、図２３（ａ）（ｂ）に示すように、前回抽出した領域Ｓ１の重心位置（Ｘｔ，Ｙｔ）と、今回抽出した領域Ｓ２の重心位置（Ｘｔ＋１，Ｙｔ＋１）との移動量を求め、この移動量と所定の閾値との大小を比較することで、その探索物体が移動している物体であるか、静止している物体であるかを判断する方法が提案されている（例えば特許文献３参照）。また、図２４に示すように前回抽出した領域Ｓ１と今回抽出した領域Ｓ２とが重なっていることから、同一人であると判断して、この人物を追跡する方法も提案されている。
【０００６】
【特許文献１】
特開平１１−４１５８９号公報（段落番号［０００２］［０００３］）
【特許文献２】
特開平６−２０１７１５号公報（第３頁、及び、第４図）
【特許文献３】
特開２００１−８９８１号公報（段落番号［０００９］［００１０］［００２１］）
【０００７】
【発明が解決しようとする課題】
上述した探索物体の追跡方法では、前回抽出した領域の重心位置と今回抽出した領域の重心位置との移動量から、探索物体が移動しているか静止しているかを判断しているのであるが、抽出領域の重心位置を毎回計算しなければならず、計算量が膨大になるという問題があり、探索物体の追跡を簡単な処理で行うことができなかった。
【０００８】
また、今回抽出した人物の存在する領域が前回の領域と重なっていることから、同一人と判断して追跡する方法では、別の手段によって監視エリアＡ内に１人しか存在しないことが予め判明している場合は、人物の存在する領域を抽出した段階で同じ人物の存在する領域であると判断できるから、実質的には追跡処理を行う必要はないが、監視エリアＡ内に複数の人間が存在する場合は、前回抽出した領域と今回抽出した領域とが重なっていたとしても、その重なった領域に同じ人物が存在するとは限らず、ある人物のところへ別の人物が近付いてきたような場面もあり得るので、前回と今回とで領域が重なっているというだけで、重なっている領域に同じ人物が存在すると判断することはできなかった。
【０００９】
また、前回抽出した領域の画像を記憶しておき、前回の抽出領域の近傍に今回の抽出領域が現れた場合、今回の抽出領域と前回の抽出領域とにそれぞれテンプレートマッチングを行って、相関値の高い方に人が存在するという方法もあるが、人が移動するとその向きによって形状が大きく変化するので、相関値の閾値を決定するのが難しく、また前回の抽出領域と今回の抽出領域の両方にテンプレートマッチングを行わねばならないから、計算量が膨大になるという問題があった。さらに、フレーム間差分方式では変化のあった部分しか抽出できないので、探索物体の重心位置を正確に算出できなかった。
【００１０】
本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、監視エリアの画像から簡単な処理で探索物体の動きや存在を検出できる物体検出方法を提供するにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とする。
【００１３】
請求項２の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在する検知対象領域を作成する段階と、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小を比較することによって当該検知対象領域内の探索物体が移動しているか静止しているかを判断する段階とからなることを特徴とする。
【００１４】
請求項３の発明では、請求項１又は２の何れか１つの発明において、前回求めた検知対象領域と今回求めた検知対象領域とが重なっていれば同一の探索物体であると判断するとともに、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更することを特徴とする。ここに、静止物体とは、人などの探索物体で体の一部は微動しているがある領域に留まっている状態の探索物体を言う。また、移動物体とは、人などの探索物体で歩くなどしてエリア内を移動している状態の探索物体を言う。
【００１５】
請求項４の発明では、請求項３の発明において、前回の検知対象領域と今回の検知対象領域が重なり、且つ、今回の検知対象領域が前回の別の検知対象領域に重なっていなければ、今回の検知対象領域に重なっている前回の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とする。
【００１６】
請求項５の発明では、請求項３の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回移動物体と判断された別の検知対象領域に重なっていれば、前回求めた別の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とする。
【００１７】
請求項６の発明では、請求項３の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回静止物体と判断された別の検知対象領域に重なっていれば、前回求めた２つの検知対象領域に探索物体がそれぞれ留まっていると判断して追跡することを特徴とする。
【００１８】
請求項７の発明では、請求項３の発明において、前回抽出時に静止物体であると判断された第１の検知対象領域と移動物体であると判断された第２の検知対象領域とに今回抽出した第３の検知対象領域が重なり、且つ、第１の検知対象領域に今回抽出した第４の検知対象領域が重なっていれば、第１の検知対象領域にいた探索物体が第４の検知対象領域に移動すると共に、第２の検知対象領域にいた探索物体が第３の検知対象領域に移動したものと判断して追跡することを特徴とする。
【００１９】
請求項８の発明では、請求項３の発明において、ある時点で抽出された第１の検知対象領域の探索物体が静止物体であると判断された場合に、第１の検知対象領域にそれ以後に抽出された第２の検知対象領域が重なった場合、第２の検知対象領域が重なる直前の第１の検知対象領域の画像を保持させておき、第２の検知対象領域との重なりが無くなった時点で、この時点の第１の検知対象領域の画像と、第２の検知対象領域が重なる直前の第１の検知対象領域の画像とのマッチング処理を行って両者の相関値を求め、この相関値が所定の閾値よりも高ければ静止物体は第１の検知対象領域に留まっていると判断し、相関値が前記閾値よりも低ければ静止物体が第１の検知対象領域の外側に移動したと判断することを特徴とする。
【００２０】
請求項９の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在すると思われる検知対象領域を作成する段階と、作成した検知対象領域が連続して所定回数以上移動した場合は当該検知対象領域を人や車輌などの可動物からなる探索物体が存在する領域とする段階とからなることを特徴とする。
【００２１】
【発明の実施の形態】
本発明の物体検出方法を用いる物体検出装置について図面を参照して説明する。
【００２２】
（実施形態１）
図１に本実施形態の物体検出装置のブロック図を示す。この物体検出装置は、人や車輌などの探索物体の他に移動する物体が殆ど存在しないような環境で使用されて、所定の監視エリアの画像から探索物体を検出するものであり、監視エリアの濃淡画像を逐次撮像するカメラ１と、カメラ１の撮像した濃淡画像を画像処理して探索物体（本実施形態では例えば人）を検出する演算処理部２と、画像処理の過程で作成した画像データを一時的に記憶する画像記憶部３とで構成される。
【００２３】
この物体検出装置による物体検出方法を図２乃至図１０を参照して説明する。図２（ａ）は人Ｈが倒れる途中の時刻ｔｎ−３においてカメラ１の撮像した濃淡画像（入力画像）、図２（ｂ）は人Ｈが倒れた（床に横たわった）瞬間の時刻ｔｎ−２における入力画像、図２（ｃ），（ｄ）は人Ｈが倒れたまま静止している状態の時刻ｔｎ−１，ｔｎにおける入力画像をそれぞれ示しており、時刻ｔｎ−２から時刻ｔｎの間では人Ｈは静止している。また、時刻ｔｎ−２において壁に設置された照明器具Ｌが自動点灯し、時刻ｔｎ−２から時刻ｔｎの間では略一定の状態で点灯している。また、図３（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける輪郭画像を、図４（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける静止部位の抽出画像を、図５（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける探索物体の移動部位の抽出画像を、図６（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける探索物体の停止部位の抽出画像を、図７（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける探索画像をそれぞれ示している。尚、図２〜図７は模式図であり、物体の輪郭を示す線を同じ太さの線で図示しているが、実際には細い部分や太い部分があるので、処理の過程で消滅する部分や残る部分が発生する。
【００２４】
カメラ１は監視エリアＡの白黒濃淡画像を所定の時間間隔で撮像しており、カメラ１の映像信号はＡ／Ｄ変換部（図示せず）でディジタル信号に変換されて、演算処理部２に逐次入力される。
【００２５】
カメラ１からの映像信号が演算処理部２に入力されると、演算処理部２ではこの映像信号をもとに微分画像を作成し、それを二値化して物体の境界線（エッジ）を検出する。すなわち、画像中の物体に対応する部分では、その特徴、例えば濃度が一様で、異なる物体あるいは物体の部分間では濃度が急激に変化すると考えられるので、濃度の急激に変化する場所を探すことによって、対象物の境界線（エッジ）を検出することができる。また、異なる２つの物体が重なっていると、両者の境界部分では濃度が不連続になり、濃度の変化量（傾き）が大きくなっているので、濃度の傾きが大きい場所を検出することによって、物体の境界線を検出することができる。一般に濃淡の不連続性を検出するには空間微分を行えば良く、ある時刻に撮像された白黒濃淡画像において隣接する画素間の差分を求めることによって、濃度の微分値、すなわち勾配（傾き）を検出することができる。そして、演算処理部２は白黒濃淡画像の画像データから濃度の勾配値を検出すると、検出した勾配値と所定のしきい値との高低を比較して、勾配値がしきい値よりも高ければ輪郭部、しきい値以下であれば平面部と判断する（二値化処理）。
【００２６】
例えば、図２（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎの各時刻にカメラ１から入力された白黒濃淡画像（入力画像）を、図３（ａ）〜（ｄ）は各時刻の白黒濃淡画像から求めた輪郭画像をそれぞれ示し、図３（ａ）〜（ｄ）中の実線が二値化処理の結果得られた物体の輪郭を示している。なお、図２及び図３の例では人体Ｈの胴体部分や顔と背景との区別がつきにくいため、図３（ａ）〜（ｄ）の輪郭画像では胴体部分や顔の輪郭を検出することができず、頭部や手足がばらばらに分離したような画像になっている。
【００２７】
次に、演算処理部２は前回の撮像時に作成した輪郭画像（第１の微分画像）と今回作成した輪郭画像（第２の微分画像）との論理積を求めることによって、第１の微分画像と第２の微分画像との間で差分が存在しない部分（すなわち変化していない部分）を抽出し、前回の撮像時点から今回の撮像時点までの間、静止していた物体（静止部位）の画像を作成する（図４（ａ）〜（ｄ）参照）。例えば時刻ｔｎ−１では演算処理部２が、時刻ｔｎ−２における輪郭画像（図３（ｂ）参照）と時刻ｔｎ−１における輪郭画像（図３（ｃ）参照）との論理積を求めることにより、この間に移動していない静止部位の画像（図４（ｃ）参照）を抽出している。
【００２８】
また、演算処理部２は今回作成した輪郭画像（第２の微分画像）と、今回抽出した静止部位の画像との差分を求めることによって、２つの画像の間で差分が存在した部分（すなわち移動した部分）を抽出し、前回の撮像時点から今回の撮像時点までの間に移動した探索物体の移動部位の画像を作成する（図５（ａ）〜（ｄ）参照）。例えば時刻ｔｎ−２では演算処理部２が、この時点での輪郭画像（図３（ｂ）参照）と静止部位の画像（図４（ｂ）参照）との差分を取ることによって、移動部位の画像（図５（ｂ）参照）を抽出している。時刻ｔｎ−２では人Ｈの頭及び手の一部と左足とが静止し、照明器具Ｌが消灯状態から点灯状態に切り替わっているので、頭及び手の移動している部分と右足の部分が残り、且つ、照明器具Ｌの照明範囲を示す線が残ったような画像となる。
【００２９】
また更に、演算処理部２は前回抽出した静止部位の画像と今回抽出した静止部位の画像との差分を求めることで、前回抽出した静止部位の画像には存在せず、今回抽出した静止部位の画像のみに存在する部分を抽出し、今回抽出した静止部位の画像から探索物体の停止部位のみの画像を抽出する（図６（ａ）〜（ｄ）参照）。例えば時刻ｔｎ−１では、演算処理部２が時刻ｔｎ−１で抽出した静止部位の画像（図４（ｃ）参照）と、時刻ｔｎ−２で抽出した静止部位の画像（図４（ｂ）参照）との差分を求めることによって、探索物体の停止部位のみの画像（図６（ｃ）参照）を抽出している。
【００３０】
尚、探索物体の停止部位を抽出する際に、演算処理部２が、前回抽出した停止部位の画像に存在する領域の内、今回抽出した停止部位及び移動部位の画像に存在しない領域を、今回抽出した停止部位の画像に加えるようにしても良い。例えば時刻ｔｎでは時刻ｔｎ−１で停止していた停止部位が停止し続けているため、この停止部位は今回抽出した停止部位及び移動部位の画像の何れにも現れず、その結果探索画像（図７（ｄ）参照）には何も現れなくなるが、前回抽出した停止部位の画像に存在する領域の内、今回抽出した停止部位及び移動部位の画像に存在しない領域を、今回抽出した停止部位の画像に加えるようにすれば、探索物体（人Ｈ）の形状を正確に検出することができる。
【００３１】
その後、演算処理部２は、上述の処理で抽出した移動部位の画像と停止部位の画像との論理和を求め、さらにノイズ成分を除去することによって、探索物体（例えば人体）の画像を抽出した探索画像を作成する（図７（ａ）〜（ｄ）参照）。このように本実施形態の画像処理装置では、探索物体（人Ｈ）の内、移動している部位の画像と停止している部位の画像をそれぞれ求め、両者の画像から探索物体の全体の画像を求めているので、フレーム間差分方法のように移動している部位のみを抽出する場合に比べて、探索物体の判別を容易に行うことができ、またフレーム間差分方法のように探索物体の画像が２重にだぶって抽出されることはないから、テンプレートマッチングなどの処理を容易に行える。さらに、背景差分方法のように探索物体が存在しない状態の背景画像を予め撮影しておく必要がないから、背景画像を撮像する手間を無くすことができる。
【００３２】
次に、上述の処理で求めた探索画像をもとに探索物体の有無やその位置を検出する方法について以下に説明する。
【００３３】
先ず、演算処理部２は、上述の処理で作成した探索画像から探索物体が存在すると思われる検知対象領域を抽出する。図８（ａ）は探索画像の一例を示しており、この図に示されるように探索画像では探索物体（人Ｈ）の境界線Ｅが細切れに分割され、しかも境界線の一部が抜け落ちているので、どの部分に探索物体である人Ｈが存在するのか分からなくなっている。そこで、演算処理部２では探索画像に膨張処理を施して、細切れに分割された境界線Ｅを膨張させることで、図８（ｂ）に示すようなブロックＢを形成しており、この画像中のブロックＢに外接する外接長方形を求める。また、１つ１つのブロックＢを含む外接長方形がある程度近接している場合には、これら複数の外接長方形を１つに纏めており、このようにして求めた外接長方形の領域を検知対象領域Ｃ１〜Ｃ３としている。なお、検知対象領域Ｃ１〜Ｃ３を決定する場合にはある程度の余裕を見込むためにブロックＢに外接する外接長方形よりも大きめの領域を設定している。例えば図８（ａ）に示す探索画像では人体の境界線の一部しか現れておらず、頭部及び脚部の境界線Ｅが細切れになっているが、膨張処理を行うことで細切れになった境界線Ｅを一体化して、人体の境界線を復元することができる。また細切れになった人体の境界線Ｅを膨張させて複数のブロックＢを形成した場合、これらのブロックＢをそれぞれ含む複数の外接長方形は互いに近接しているので、人体を含む検知対象領域Ｃ１は最終的に１つの領域に纏められる。尚、図８の例では検知対象領域Ｃ１…を矩形状としているが、検知対象領域Ｃ１…の形状を矩形状に限定する趣旨のものではなく、図７に示すように探索物体を曲線で囲んだような領域としても良い。
【００３４】
ところで、探索物体の停止時間が長くなって静止状態になると、移動部位の画像と停止部位の画像との論理和の画像（探索画像）に探索物体が現れなくなる。また、監視エリア内に進入した人体が、手だけを動かしているような微動状態に移行すると、最初は全身が探索画像に現れていたのに、微動状態に移行するにしたがって探索画像に現れる検知対象領域の面積が小さくなってしまう。逆に、探索物体が移動していると探索画像中に検知対象領域が大きく現れることになるので、このような現象を利用して探索対象の挙動を判断することができる。
【００３５】
すなわち、演算処理部２では、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば、この検知対象領域の探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とし、この検知対象領域で後述のテンプレートマッチングを行う。一方、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも大きい場合、演算処理部２はこの検知対象領域の探索物体が移動していると判断し、今回求めた検知対象領域でテンプレートマッチングを行う。尚、本実施形態の物体検出装置は探索物体以外に移動する物体が殆ど存在しないような環境で使用されるものであり、前回抽出した検知対象領域と今回抽出した検知対象領域とが重なっている場合は同じ探索物体であると判断している。
【００３６】
例えば、図１１（ａ）は探索画像中の検知対象領域を示しており、この例では今回求めた検知対象領域Ｎ１が前回の検知対象領域Ｎ０に含まれているので、立ち止まるか又は着席するなどして静止していた人物が手、足、頭などの身体の一部分を動かしたものと判断して、前回の検知対象領域Ｎ０を探索物体の存在する領域Ｎ１’とし（図１１（ｂ）参照）、この検知対象領域Ｎ１’内でテンプレートマッチングを行う。また、図１２（ａ）に示すように、今回求めた検知対象領域Ｎ１と前回の検知対象領域Ｎ０とが重なり且つ前回の検知対象領域Ｎ０の面積に対する今回の検知対象領域Ｎ１の面積の比率が所定の閾値よりも小さい場合は、立ち止まるか又は着席するなどして静止していた人物が手、足、頭などの身体の一部分を動かしたか、移動を始めたがその移動量が小さいものと判断して、前回の検知対象領域Ｎ０を探索物体の存在する領域Ｎ１’とし（図１２（ｂ）参照）、この検知対象領域Ｎ１’内でテンプレートマッチングを行う。また、図示は省略するが今回求めた検知対象領域Ｎ１と前回の検知対象領域Ｎ０とで重なり合う部分が全く存在しない場合は、探索物体が全くの静止状態となって、探索画像中に探索物体が現れなくなったものと判断し、前回の検知対象領域Ｎ０を探索物体の存在する領域として、この領域内でテンプレートマッチングを行う。
【００３７】
一方、図１３（ａ）に示すように、今回求めた検知対象領域Ｎ１が前回の検知対象領域Ｎ０と重なり、且つ、前回の検知対象領域Ｎ０に対する面積の比率が所定の閾値よりも大きい場合、演算処理部２は、立ち止まるか又は着席するなどして静止していた人物が移動を始めたと判断し、今回求めた検知対象領域Ｎ１に探索物体が存在すると判断して（図１３（ｂ）参照）、この検知対象領域Ｎ１でテンプレートマッチングを行う。
【００３８】
このように、本実施形態では今回求めた検知対象領域と前回の検知対象領域との関係から、探索物体の存在する検知対象領域や、探索物体が移動しているか静止しているかを判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行ったり、重心移動計算を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体の挙動を判断できる。尚、探索物体の挙動を判断するために重心移動計算を行う場合には、濃淡画像から作成した輪郭画像をもとに物体の重心位置を算出した後に、重心位置の移動量を計算するのであるが、輪郭画像を作成する段階で輪郭の一部が消滅することもあるため、重心位置を正確に算出することができず、また輪郭の消滅した部分を補間するなどして重心位置を算出するために、算出処理の手間がかかるが、本実施形態では今回求めた検知対象領域と前回の検知対象領域との関係から、探索物体の存在する検知対象領域や、探索物体が移動しているか静止しているかを判断しているので、簡単な処理で探索物体の挙動を判断できる。
【００３９】
また、探索画像中の検知対象領域は移動部位と停止部位との論理和で構成されているので、演算処理部２が、検知対象領域に含まれる移動部位の画素数と停止部位の画素数とを比較し、移動部位の画素数の方が多ければ探索物体が移動し、停止部位の画素数の方が多ければ探索物体が静止していると判断するようにしても良く、物体の輪郭から判断しているので、従来のようにフレーム間差分方法或いは背景差分方法により抽出した領域の重心位置の移動距離から判断する場合に比べて、簡単な処理で探索物体の挙動を判断できる。
【００４０】
例えば時刻ｔｎ−３では図７（ａ）に示す探索画像中の検知対象領域Ｃ１に含まれる移動部位の画素数の方が停止部位の画素数よりも多いので、演算処理部２は探索対象が移動していると判断する。また、時刻ｔｎ−１では図７（ｃ）に示す探索画像中の検知対象領域Ｃ１に含まれる移動部位の画素数が停止部位の画素数よりも少ないので、演算処理部２は探索物体が静止していると判断する。
【００４１】
上述のようにして演算処理部２は探索画像から探索物体の存在すると思われる検知対象領域を求めており、求められた検知対象領域の画像と探索物体のテンプレート画像とのマッチング処理を行って、両者の相関値を求めている。例えば時刻ｔｎ−２では、演算処理部２がこの時刻における探索画像（図７（ｂ）参照）の検知対象領域Ｃ１１，Ｃ１２に所定のテンプレート画像を重ね合わせ、テンプレート画像の位置を１画素ずつずらしながら、相関値を検出する。そして、この検知対象領域内で最も高い相関値が予め設定された閾値を超えていれば、人が存在しているものと判断し、この相関値に対応する検知対象領域を人が存在する位置に設定している。尚、マッチング処理を行う際には、検知対象領域の範囲で輪郭画像とテンプレート画像とのマッチング処理を行っても良いし、移動画像と停止画像との論理和の画像とテンプレート画像とのマッチング処理を行うようにしても良い。
【００４２】
ここで、探索物体が人の場合には、人型のテンプレート画像を用いてマッチングを行うことで、人間以外を抽出することがなくなり、正しく人間を抽出できる。また、監視エリアが図１０に示すような通路の場合には、そこで人が寝ていることを考慮する必要がなく、したがって歩行中の人間の形をシンボル化したテンプレート画像Ｔａ（図９参照）を用いて検知対象領域内を探索し、検知対象領域内の画像との相関値を求めることで、人間以外のものを抽出するのを防止できる。また、道路を監視エリアとして車輌を検出する場合には、道路とカメラとの位置関係を一旦決めれば、カメラに映る車輌の形状は略同じ形状となるので、走行中の車輌の代表的な形状をしたテンプレート画像を用いることで、車輌以外のものを検出するのを防止できる。
【００４３】
尚、一般住宅を監視エリアとして人を検出する場合には、人の姿勢（立っている場合、座っている場合、寝ている場合）が大きく変化するため、次回のマッチング処理で使用するテンプレート画像を、毎回の画像をもとに作成するのが望ましいが、本実施形態のように探索物体である人体や車輌の形状が殆ど変化しない場合には固定のテンプレート画像を用いてマッチング処理を行うことができ、テンプレート画像を更新する手間が省け、また使用するテンプレート画像の数が少なくて済むので、テンプレート画像を記憶させるメモリに記憶容量の小さいものを使用できる。
【００４４】
尚、輪郭画像から探索物体の存在すると思われる検知対象領域を抽出する方法を上記の方法に限定する趣旨のものではなく、背景差分方法やフレーム間差分方法を用い、輪郭画像から動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を抽出し、前回求めた検知対象領域と今回求めた検知対象領域とをもとに探索物体が移動しているか、静止しているかを判定するようにしても良いし、濃淡画像から探索物体の存在すると思われる検知対象領域を抽出するようにしても良い。
【００４５】
（実施形態２）
本発明の実施形態２を図１４乃至図２０を参照して説明する。尚、物体検出装置の基本的な構成及びその動作は実施形態１と同様であるので、同一の構成要素には同一の符号を付して、その説明は省略する。
【００４６】
本実施形態の物体検出装置は、実施形態１で説明した物体検出方法により抽出した前回の検出対象領域と今回の検知対象領域とをもとに、探索物体が移動しているか静止しているかを判断している。尚、今回の検知対象領域は、監視エリアの画像（濃淡画像或いは輪郭画像）から動きのある部分を抽出したものである。
【００４７】
すなわち、前回の検知対象領域と今回の検知対象領域とが重なっている場合、演算処理部２は、重なっている２つの領域が同一の探索物体を表していると判断して、この物体を追跡しており、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更している。尚、検知対象領域の探索物体が移動物体であるか、静止物体であるかの判定は実施形態１で説明した方法により行う。
【００４８】
例えば、図１４（ａ）に示すように前回抽出時に移動物体であると判断された検知対象領域Ｕ１と今回抽出した検知対象領域Ｕ２の一部が重なっている場合は、歩行中の１乃至複数の人物が移動している、又は、着席している人物が体を大きく動かしているといった場面が想定でき、演算処理部２は、探索物体が検知対象領域Ｕ２に移動したと判断して、探索物体を追跡する。つまり、演算処理部２は、探索物体の存在する領域が検知対象領域Ｕ１から検知対象領域Ｕ２に移動したものと判断する（図１４（ｂ）参照）。
【００４９】
また、図１５（ａ）に示すように前回抽出時に移動物体であると判断された検知対象領域Ｕ１が、今回抽出した２つの検知対象領域Ｕ２，Ｕ３の一部にそれぞれ重なっている場合は、歩行中の複数の人物が２つのグループに分かれて別々の方向に移動しているといった場面を想定でき、演算処理部２は、探索物体が検知対象領域Ｕ２，Ｕ３に移動したものと判断して、探索物体を追跡する。つまり、演算処理部２は、探索物体の存在する領域が検知対象領域Ｕ１から検知対象領域Ｕ２，Ｕ３に移動したものと判断する（図１５（ｂ）参照）。
【００５０】
また、図１６（ａ）に示すように、前回撮像時に静止物体であると判断された検知対象領域Ｕ１と今回抽出した検知対象領域Ｕ２の一部が重なっている場合、静止していた人物が動き始めた、又は、立ち止まっているか或いは着席中の人物が手、足、上半身を大きく動かしたという場面を想定でき、演算処理部２は、探索物体が検知対象領域Ｕ２に移動したものと判断して、探索物体を追跡する。つまり、演算処理部２は、探索物体の存在する領域が検知対象領域Ｕ１から検知対象領域Ｕ２に移動したものと判断する（図１６（ｂ）参照）。
【００５１】
また、図１７（ａ）に示すように前回撮像時に静止物体であると判断された検知対象領域Ｕ１の一部と移動物体であると判断された別の検知対象領域Ｕ２の一部とに、今回抽出した検知対象領域Ｕ３が重なっている場合、立ち止まっているか又は着席中の人物に別の人物が近寄ってきたような場面を想定でき、演算処理部２は、検知対象領域Ｕ１に探索物体が静止し続けるとともに、検知対象領域Ｕ２にいた探索物体が検知対象領域Ｕ３に移動したものと判断して、追跡を行う。つまり、演算処理部２は、探索物体が前回求めた検知対象領域Ｕ１と今回求めた検知対象領域Ｕ３とにそれぞれ存在するものと判断する（図１７（ｂ）参照）。
【００５２】
また、図１８（ａ）に示すように前回撮像時に静止物体であると判断された検知対象領域Ｕ１の一部、及び、前回撮像時に静止物体であると判断された別の検知対象領域Ｕ２の一部に今回抽出した検知対象領域Ｕ３が重なっている場合、静止していた複数の人物の何れかが動き始めた、又は、立ち止まっているか或いは着席中の複数の人物の何れかが手、足、上半身を大きく動かしたというような場面を想定でき、演算処理部２は、前回の２つの検知対象領域Ｕ１，Ｕ２に探索物体が存在するものと判断して、追跡を行う（図１８（ｂ）参照）。
【００５３】
また、図１９（ａ）に示すように前回抽出時に静止物体であると判断された検知対象領域Ｕ１（第１の検知対象領域）の一部と移動物体であると判断された別の検知対象領域Ｕ２（第２の検知対象領域）の一部とに、今回抽出した検知対象領域Ｕ３（第３の検知対象領域）が重なっており、さらに検知対象領域Ｕ１の一部に今回抽出した別の検知対象領域Ｕ４（第４の検知対象領域）が重なっている場合、立ち止まっているか又は着席中の人物が動き始めるとともに、別の人物が近寄ってきたような場面を想定でき、演算処理部２は、検知対象領域Ｕ１にいた探索物体が検知対象領域Ｕ４に移動するとともに、検知対象領域Ｕ２にいた探索物体が検知対象領域Ｕ３に移動したものと判断して、それぞれ追跡する。つまり、演算処理部２は、探索物体が検知対象領域Ｕ３，Ｕ４に存在するものと判断する（図１９（ｂ）参照）。
【００５４】
このように演算処理部２は、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更しており、探索物体が移動している場合と静止している場合とでは次の行動が異なってくるので、前回の挙動をもとに判定条件を変更することで、探索物体である人間の動きに即した追跡を行えるから、より正確に探索物体を追跡でき、また従来のようにテンプレートマッチングを行って探索物体を追跡する場合に比べて簡単な処理で探索物体を検出できる。
【００５５】
また演算処理部２では、ある時点で抽出された第１の検知対象領域の探索物体を静止物体であると判断した場合に、第１の検知対象領域にそれ以後に抽出された第２の検知対象領域が重なった場合、第２の検知対象領域が重なる直前の第１の検知対象領域の画像を保持させておき、第２の検知対象領域との重なりが無くなった時点で、この時点の第１の検知対象領域の画像と、第２の検知対象領域が重なる直前の第１の検知対象領域の画像とのマッチング処理を行って相関値を求め、この相関値が所定の閾値よりも高ければ前回静止物体と判断した探索物体は第１の検知対象領域に留まっていると判断し、相関値が所定の閾値よりも低ければ前回静止物体と判断した探索物体が第２の検知対象領域の物体とともに第１の検知対象領域の外側へ移動するか、或いは第２の検知対象領域の物体とは別の方向へ移動して、第１の検知対象領域の外側へ移動したと判断している。
【００５６】
例えば、図２０（ａ）〜（ｃ）に示すように時刻ｔｎ−２と時刻ｔｎ−１と時刻ｔｎとにおける検知対象領域が変化した場合、時刻ｔｎ−２では静止物体であると判断した検知対象領域Ｍ１（第１の検知対象領域）と移動物体であると判断した検知対象領域Ｍ２（第２の検知対象領域）とが重なっていないので、演算処理部２は検知対象領域Ｍ１の画像を画像記憶部３に記憶させて、順次更新している。次に、時刻ｔｎ−１では移動物体であると判断した検知対象領域Ｍ２’が移動し（時刻ｔｎ−２における位置を点線で示す）、静止物体であると判断した検知対象領域Ｍ１’と一部分が重なっているので、演算処理部２は静止物体の画像の記憶更新を止めて、直前（時刻ｔｎ−２）の静止物体の画像を保持する。その後の時刻ｔｎでは移動物体であると判断した検知対象領域Ｍ２″がさらに移動し（時刻ｔｎ−２における位置を点線で示す）、静止物体であると判断した検知対象領域Ｍ１との重なりが無くなるので、演算処理部２は、この時点における静止物体の検知対象領域Ｍ１″の画像と、画像記憶部３に記憶された時刻ｔｎ−２における静止物体の検知対象領域Ｍ１の画像とのパターンマッチングを行って、両者の相関値を計算して、所定の設定値との高低を比較する。そして、演算処理部２では、相関値が所定の設定値よりも高ければ、静止物体が検知対象領域Ｍ１″に留まっていると判断し、相関値が設定値よりも低ければ、前回静止物体と判断した探索物体が検知対象領域Ｍ１″の外側に移動していったと判断する。例えば、他に検知対象領域が無ければ、検知対象領域Ｍ１″を通り過ぎていった移動物体とともに前回静止物体と判断した探索物体が移動していったと判断し、新たに検知対象領域が現れれば、その検知対象領域に前回静止物体と判断した探索物体が移動していったと判断する。尚、図２０（ｃ）の場合は検知対象領域に物体が静止しているので、相関値が高くなっている。
【００５７】
ここで、監視エリアを撮像するカメラ１の配置によっては、静止物体の前を移動物体が移動する際に、静止物体が移動物体の影に隠れてしまうが、第１の検知対象領域に第２の検知対象領域が重なる前、つまり静止物体が移動物体に隠れる前の第１の検知対象領域の画像を保持しておき、第１の検知対象領域と第２の検知対象領域との重なりがなくなった時点で（静止物体が移動物体の影から再び現れた時点で）、この時の第１の検知対象領域の画像と、第２の検知対象領域と重なる直前の画像とのマッチング処理を行い、相関値を求めているので、この相関値から静止物体が留まっているか、検知対象領域の外側へ移動したかを確実に判定できる。
【００５８】
尚、本実施形態では実施形態１で説明した方法により監視エリアの画像から探索物体の存在する検知対象領域を抽出しているが、検知対象領域を抽出する方法を上記の方法に限定する趣旨のものではなく、背景差分方法やフレーム間差分方法を用いて監視エリアの画像から探索物体の存在する検知対象領域を抽出し、前回求めた検知対象領域と今回求めた検知対象領域とをもとに探索物体の位置や挙動を判定するようにしても良い。
【００５９】
（実施形態３）
本発明の実施形態３について説明する。尚、物体検出装置の構成及び動作は実施形態１と同様であるので、図示及び説明は省略する。
【００６０】
この物体検出装置を一般住宅で使用する場合には、カメラ１の撮像する監視エリア内に人間以外にも犬猫などの小動物が存在する可能性があり、また窓を開けていると風が吹き込んできてカーテンが揺れたり、雲の動きによる日照の変化などで、探索物体である人間以外にも移動する物体が撮像される可能性がある。それに対して、本実施形態は例えばオフィスなどで人を検出するために用いられるものであり、オフィス内を人間以外の犬猫のような小動物が動き回ることは殆どないので、人間以外で自然に動く物体（可動物）は殆ど無いと考えて良く、机上のＯＡ機器のモニタ画面のちらつきや照明器具の点灯／消灯などを考慮するだけで良い。
【００６１】
照明器具の点灯／消灯の変化は、消灯状態から点灯状態に切り替わった瞬間だけ移動画像に現れ、連続して移動画像に現れることはなく、例えば図２（ａ）〜（ｄ）に示すように時刻ｔｎ−２において照明器具Ｌが自動点灯し、点灯後一定の状態で点灯している場合、図４及び図５に示すように、時刻ｔｎ−２では照明器具Ｌの照明範囲を示す線が移動画像に現れるが（図５（ｂ）参照）、時刻ｔｎ−１では照明器具Ｌの照明範囲を示す線が停止画像に現れ、移動画像には現れていない（図４（ｃ）及び図５（ｃ）参照）。したがって、照明器具Ｌの光に相当する検知対象領域は、点灯した時のみ移動画像に現れ、その後の撮像時には停止画像に１回だけ現れることになる。
【００６２】
一方、オフィス内にいる人物は動き続けているので、移動画像に現れ続けるとともに、例え一時的に静止したとしても過去に移動していたという履歴を辿ることで、人や車輌などの可動物体と照明のオン／オフとを簡単に区別することができる。
【００６３】
尚、室内で用いる場合は人間以外の小動物が動き回ることは殆どないので、テンプレートマッチングが不要になる。
【００６４】
而して、探索画像中の検出対象領域が連続して所定回数移動した場合は、演算処理部２が、この検出対象領域に人や車輌のような可動物の探索物体が存在するものと判断するようにすれば、一定期間以上連続して移動することから可動物と照明器具Ｌの点灯／消灯とを簡単に判別できる。
【００６５】
【発明の効果】
上述のように、請求項１の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とし、今回求めた検知対象領域と前回の検知対象領域との関係から、探索物体の存在する検知対象領域を判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体の存在する領域を検出できるという効果がある。
【００６７】
請求項２の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在する検知対象領域を作成する段階と、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小を比較することによって当該検知対象領域内の探索物体が移動しているか静止しているかを判断する段階とからなることを特徴とし、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小から、探索物体が移動しているか否かを判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体が移動していると判断できるという効果がある。そのうえ、探索物体の内、移動している部位の画像と停止している部位の画像をそれぞれ求め、両者の画像から探索物体の全体の画像を求めているので、フレーム間差分方法のように移動している部位のみを抽出する場合に比べて、探索物体の判別を容易に行うことができ、且つフレーム間差分方法のように探索物体の画像が２重にだぶって抽出されることはないから、テンプレートマッチングなどの処理を容易に行え、さらに背景差分方法のように探索物体が存在しない状態の背景画像を予め撮影しておく必要がないから、背景画像を撮像する手間を無くすことができる。
【００６８】
請求項３の発明は、請求項１又は２の何れか１つの発明において、前回求めた検知対象領域と今回求めた検知対象領域とが重なっていれば同一の探索物体であると判断するとともに、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更することを特徴とし、探索物体が移動している場合と静止している場合とでは次の行動が異なってくるので、前回の挙動をもとに判定条件を変更することで、探索物体の動きに即した追跡を行えるから、より正確に探索物体を追跡でき、且つ、従来のようにテンプレートマッチングを行って探索物体を追跡する場合に比べて簡単な処理で探索物体を検出できる。
【００６９】
請求項４の発明は、請求項３の発明において、前回の検知対象領域と今回の検知対象領域が重なり、且つ、今回の検知対象領域が前回の別の検知対象領域に重なっていなければ、今回の検知対象領域に重なっている前回の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とし、請求項３の発明と同様の効果がある。
【００７０】
請求項５の発明は、請求項３の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回移動物体と判断された別の検知対象領域に重なっていれば、前回求めた別の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とし、請求項３の発明と同様の効果がある。
【００７１】
請求項６の発明は、請求項３の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回静止物体と判断された別の検知対象領域に重なっていれば、前回求めた２つの検知対象領域に探索物体がそれぞれ留まっていると判断して追跡することを特徴とし、請求項３の発明と同様の効果がある。
【００７２】
請求項７の発明は、請求項３の発明において、前回抽出時に静止物体であると判断された第１の検知対象領域と移動物体であると判断された第２の検知対象領域とに今回抽出した第３の検知対象領域が重なり、且つ、第１の検知対象領域に今回抽出した第４の検知対象領域が重なっていれば、第１の検知対象領域にいた探索物体が第４の検知対象領域に移動すると共に、第２の検知対象領域にいた探索物体が第３の検知対象領域に移動したものと判断して追跡することを特徴とし、請求項３の発明と同様の効果がある。
【００７３】
請求項８の発明は、請求項３の発明において、ある時点で抽出された第１の検知対象領域の探索物体が静止物体であると判断された場合に、第１の検知対象領域にそれ以後に抽出された第２の検知対象領域が重なった場合、第２の検知対象領域が重なる直前の第１の検知対象領域の画像を保持させておき、第２の検知対象領域との重なりが無くなった時点で、この時点の第１の検知対象領域の画像と、第２の検知対象領域が重なる直前の第１の検知対象領域の画像とのマッチング処理を行って両者の相関値を求め、この相関値が所定の閾値よりも高ければ静止物体は第１の検知対象領域に留まっていると判断し、相関値が前記閾値よりも低ければ静止物体が第１の検知対象領域の外側に移動したと判断することを特徴とし、監視エリアを撮像するカメラの配置によっては、静止物体の前を移動物体が移動する際に、静止物体が移動物体の影に隠れてしまうが、第１の検知対象領域に第２の検知対象領域が重なる前、つまり静止物体が移動物体に隠れる前の第１の検知対象領域の画像を保持しておき、第１の検知対象領域と第２の検知対象領域との重なりがなくなった時点で（静止物体が移動物体の影から再び現れた時点で）、この時の第１の検知対象領域の画像と、第２の検知対象領域と重なる直前の画像とのマッチング処理を行い、相関値を求めているので、この相関値から静止物体が留まっているか、移動していったかを確実に判定できる。
【００７４】
請求項９の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在すると思われる検知対象領域を作成する段階と、作成した検知対象領域が連続して所定回数以上移動した場合は当該検知対象領域を人や車輌などの可動物からなる探索物体が存在する領域とする段階とからなることを特徴とし、例えば監視エリア内にいる人や車輌などの可動物が動き続けている場合、可動物よりなる探索物体は移動部位の画像に連続して現れることになるので、移動部位の画像と停止部位の画像との論理和の画像も連続して現れることになる。したがって、移動部位の画像と停止部位の画像との論理和の画像から作成した検知対象領域が所定回数移動することから、この検知対象領域が可動物の存在する領域であると判断することができ、簡単な処理で可動物の存在する領域を検出することができる。
【図面の簡単な説明】
【図１】実施形態１の画像処理方法を用いる画像処理装置の概略構成図である。
【図２】（ａ）〜（ｄ）は各時刻における入力画像の説明図である。
【図３】（ａ）〜（ｄ）は各時刻における輪郭画像の説明図である。
【図４】（ａ）〜（ｄ）は各時刻における静止物体の抽出画像の説明図である。
【図５】（ａ）〜（ｄ）は各時刻における移動物体の抽出画像の説明図である。
【図６】（ａ）〜（ｄ）は各時刻における静止物体の抽出画像の説明図である。
【図７】（ａ）〜（ｄ）は各時刻における探索画像の説明図である。
【図８】（ａ）（ｂ）は検知対象領域を作成する手順を説明する説明図である。
【図９】同上のテンプレート画像の説明図である。
【図１０】同上の監視エリアの説明図である。
【図１１】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１２】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１３】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１４】（ａ）（ｂ）は実施形態２の物体検出装置の動作を説明する説明図である。
【図１５】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１６】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１７】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１８】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１９】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図２０】（ａ）〜（ｃ）は同上の動作を説明する説明図である。
【図２１】（ａ）〜（ｃ）は背景差分方法を用いた画像処理方法の説明図である。
【図２２】（ａ）〜（ｃ）はフレーム間差分方法を用いた画像処理方法の説明図である。
【図２３】（ａ）（ｂ）は従来の探索物体が移動しているか静止しているかを判断する判断方法の説明図である。
【図２４】従来の探索物体の追跡方法を説明する説明図である。
【符号の説明】
１ カメラ
２ 演算処理部
【発明の属する技術分野】
本発明は、所定の監視エリアの画像から人や車輌などの探索物体を抽出して、探索物体の動きや存在を自動的に検出する物体検出方法に関するものである。
【０００２】
【従来の技術】
従来、所定の監視エリアの画像から人や車輌などの探索物体を検出するために背景差分方法やフレーム間差分方法などの手法が用いられている。
【０００３】
先ず背景差分方法について図２１（ａ）〜（ｃ）を参照して説明する。この方法では、事前に探索物体が存在していない時の監視エリアＡの画像（図２１（ａ）参照）を撮像し、この画像を背景画像として記憶させる。その後、監視エリアＡの画像を逐次撮像して、背景画像との差分を求め、差分の発生した領域を背景に無い物体の進入してきた部分であると判断している。例えば、監視エリアＡに人Ｈが進入した場合、この時の監視エリアＡの画像（図２１（ｂ）参照）と背景画像との差分をとると、図２１（ｃ）に示すような差分二値画像が得られるので、この画像から人Ｈが進入したことを判別できる（例えば特許文献１参照）。
【０００４】
次に、フレーム間差分方法について図２２（ａ）〜（ｃ）を参照して説明する。この方法では、監視エリアＡの画像を逐次撮像しており、異なる時刻に撮像された２枚の画像の差分をとることによって、探索物体を検出している。図２２（ａ）はある時刻に撮像された監視エリアＡの画像を、図２２（ｂ）はそれ以降の別の時刻に撮像された監視エリアＡの画像をそれぞれ示し、この間に動いた人Ｈの部位が差分画像となって、図２２（ｃ）に示すような差分二値画像が得られるので、この画像から何らかの物体が移動していることを検出できる（例えば特許文献２参照）。
【０００５】
そして、上述の方法を用いて監視エリアＡの画像から探索物体（例えば人）の存在すると思われる検知対象領域を抽出した場合に、図２３（ａ）（ｂ）に示すように、前回抽出した領域Ｓ１の重心位置（Ｘｔ，Ｙｔ）と、今回抽出した領域Ｓ２の重心位置（Ｘｔ＋１，Ｙｔ＋１）との移動量を求め、この移動量と所定の閾値との大小を比較することで、その探索物体が移動している物体であるか、静止している物体であるかを判断する方法が提案されている（例えば特許文献３参照）。また、図２４に示すように前回抽出した領域Ｓ１と今回抽出した領域Ｓ２とが重なっていることから、同一人であると判断して、この人物を追跡する方法も提案されている。
【０００６】
【特許文献１】
特開平１１−４１５８９号公報（段落番号［０００２］［０００３］）
【特許文献２】
特開平６−２０１７１５号公報（第３頁、及び、第４図）
【特許文献３】
特開２００１−８９８１号公報（段落番号［０００９］［００１０］［００２１］）
【０００７】
【発明が解決しようとする課題】
上述した探索物体の追跡方法では、前回抽出した領域の重心位置と今回抽出した領域の重心位置との移動量から、探索物体が移動しているか静止しているかを判断しているのであるが、抽出領域の重心位置を毎回計算しなければならず、計算量が膨大になるという問題があり、探索物体の追跡を簡単な処理で行うことができなかった。
【０００８】
また、今回抽出した人物の存在する領域が前回の領域と重なっていることから、同一人と判断して追跡する方法では、別の手段によって監視エリアＡ内に１人しか存在しないことが予め判明している場合は、人物の存在する領域を抽出した段階で同じ人物の存在する領域であると判断できるから、実質的には追跡処理を行う必要はないが、監視エリアＡ内に複数の人間が存在する場合は、前回抽出した領域と今回抽出した領域とが重なっていたとしても、その重なった領域に同じ人物が存在するとは限らず、ある人物のところへ別の人物が近付いてきたような場面もあり得るので、前回と今回とで領域が重なっているというだけで、重なっている領域に同じ人物が存在すると判断することはできなかった。
【０００９】
また、前回抽出した領域の画像を記憶しておき、前回の抽出領域の近傍に今回の抽出領域が現れた場合、今回の抽出領域と前回の抽出領域とにそれぞれテンプレートマッチングを行って、相関値の高い方に人が存在するという方法もあるが、人が移動するとその向きによって形状が大きく変化するので、相関値の閾値を決定するのが難しく、また前回の抽出領域と今回の抽出領域の両方にテンプレートマッチングを行わねばならないから、計算量が膨大になるという問題があった。さらに、フレーム間差分方式では変化のあった部分しか抽出できないので、探索物体の重心位置を正確に算出できなかった。
【００１０】
本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、監視エリアの画像から簡単な処理で探索物体の動きや存在を検出できる物体検出方法を提供するにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とする。
【００１３】
請求項２の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在する検知対象領域を作成する段階と、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小を比較することによって当該検知対象領域内の探索物体が移動しているか静止しているかを判断する段階とからなることを特徴とする。
【００１４】
請求項３の発明では、請求項１又は２の何れか１つの発明において、前回求めた検知対象領域と今回求めた検知対象領域とが重なっていれば同一の探索物体であると判断するとともに、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更することを特徴とする。ここに、静止物体とは、人などの探索物体で体の一部は微動しているがある領域に留まっている状態の探索物体を言う。また、移動物体とは、人などの探索物体で歩くなどしてエリア内を移動している状態の探索物体を言う。
【００１５】
請求項４の発明では、請求項３の発明において、前回の検知対象領域と今回の検知対象領域が重なり、且つ、今回の検知対象領域が前回の別の検知対象領域に重なっていなければ、今回の検知対象領域に重なっている前回の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とする。
【００１６】
請求項５の発明では、請求項３の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回移動物体と判断された別の検知対象領域に重なっていれば、前回求めた別の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とする。
【００１７】
請求項６の発明では、請求項３の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回静止物体と判断された別の検知対象領域に重なっていれば、前回求めた２つの検知対象領域に探索物体がそれぞれ留まっていると判断して追跡することを特徴とする。
【００１８】
請求項７の発明では、請求項３の発明において、前回抽出時に静止物体であると判断された第１の検知対象領域と移動物体であると判断された第２の検知対象領域とに今回抽出した第３の検知対象領域が重なり、且つ、第１の検知対象領域に今回抽出した第４の検知対象領域が重なっていれば、第１の検知対象領域にいた探索物体が第４の検知対象領域に移動すると共に、第２の検知対象領域にいた探索物体が第３の検知対象領域に移動したものと判断して追跡することを特徴とする。
【００１９】
請求項８の発明では、請求項３の発明において、ある時点で抽出された第１の検知対象領域の探索物体が静止物体であると判断された場合に、第１の検知対象領域にそれ以後に抽出された第２の検知対象領域が重なった場合、第２の検知対象領域が重なる直前の第１の検知対象領域の画像を保持させておき、第２の検知対象領域との重なりが無くなった時点で、この時点の第１の検知対象領域の画像と、第２の検知対象領域が重なる直前の第１の検知対象領域の画像とのマッチング処理を行って両者の相関値を求め、この相関値が所定の閾値よりも高ければ静止物体は第１の検知対象領域に留まっていると判断し、相関値が前記閾値よりも低ければ静止物体が第１の検知対象領域の外側に移動したと判断することを特徴とする。
【００２０】
請求項９の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在すると思われる検知対象領域を作成する段階と、作成した検知対象領域が連続して所定回数以上移動した場合は当該検知対象領域を人や車輌などの可動物からなる探索物体が存在する領域とする段階とからなることを特徴とする。
【００２１】
【発明の実施の形態】
本発明の物体検出方法を用いる物体検出装置について図面を参照して説明する。
【００２２】
（実施形態１）
図１に本実施形態の物体検出装置のブロック図を示す。この物体検出装置は、人や車輌などの探索物体の他に移動する物体が殆ど存在しないような環境で使用されて、所定の監視エリアの画像から探索物体を検出するものであり、監視エリアの濃淡画像を逐次撮像するカメラ１と、カメラ１の撮像した濃淡画像を画像処理して探索物体（本実施形態では例えば人）を検出する演算処理部２と、画像処理の過程で作成した画像データを一時的に記憶する画像記憶部３とで構成される。
【００２３】
この物体検出装置による物体検出方法を図２乃至図１０を参照して説明する。図２（ａ）は人Ｈが倒れる途中の時刻ｔｎ−３においてカメラ１の撮像した濃淡画像（入力画像）、図２（ｂ）は人Ｈが倒れた（床に横たわった）瞬間の時刻ｔｎ−２における入力画像、図２（ｃ），（ｄ）は人Ｈが倒れたまま静止している状態の時刻ｔｎ−１，ｔｎにおける入力画像をそれぞれ示しており、時刻ｔｎ−２から時刻ｔｎの間では人Ｈは静止している。また、時刻ｔｎ−２において壁に設置された照明器具Ｌが自動点灯し、時刻ｔｎ−２から時刻ｔｎの間では略一定の状態で点灯している。また、図３（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける輪郭画像を、図４（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける静止部位の抽出画像を、図５（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける探索物体の移動部位の抽出画像を、図６（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける探索物体の停止部位の抽出画像を、図７（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける探索画像をそれぞれ示している。尚、図２〜図７は模式図であり、物体の輪郭を示す線を同じ太さの線で図示しているが、実際には細い部分や太い部分があるので、処理の過程で消滅する部分や残る部分が発生する。
【００２４】
カメラ１は監視エリアＡの白黒濃淡画像を所定の時間間隔で撮像しており、カメラ１の映像信号はＡ／Ｄ変換部（図示せず）でディジタル信号に変換されて、演算処理部２に逐次入力される。
【００２５】
カメラ１からの映像信号が演算処理部２に入力されると、演算処理部２ではこの映像信号をもとに微分画像を作成し、それを二値化して物体の境界線（エッジ）を検出する。すなわち、画像中の物体に対応する部分では、その特徴、例えば濃度が一様で、異なる物体あるいは物体の部分間では濃度が急激に変化すると考えられるので、濃度の急激に変化する場所を探すことによって、対象物の境界線（エッジ）を検出することができる。また、異なる２つの物体が重なっていると、両者の境界部分では濃度が不連続になり、濃度の変化量（傾き）が大きくなっているので、濃度の傾きが大きい場所を検出することによって、物体の境界線を検出することができる。一般に濃淡の不連続性を検出するには空間微分を行えば良く、ある時刻に撮像された白黒濃淡画像において隣接する画素間の差分を求めることによって、濃度の微分値、すなわち勾配（傾き）を検出することができる。そして、演算処理部２は白黒濃淡画像の画像データから濃度の勾配値を検出すると、検出した勾配値と所定のしきい値との高低を比較して、勾配値がしきい値よりも高ければ輪郭部、しきい値以下であれば平面部と判断する（二値化処理）。
【００２６】
例えば、図２（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎの各時刻にカメラ１から入力された白黒濃淡画像（入力画像）を、図３（ａ）〜（ｄ）は各時刻の白黒濃淡画像から求めた輪郭画像をそれぞれ示し、図３（ａ）〜（ｄ）中の実線が二値化処理の結果得られた物体の輪郭を示している。なお、図２及び図３の例では人体Ｈの胴体部分や顔と背景との区別がつきにくいため、図３（ａ）〜（ｄ）の輪郭画像では胴体部分や顔の輪郭を検出することができず、頭部や手足がばらばらに分離したような画像になっている。
【００２７】
次に、演算処理部２は前回の撮像時に作成した輪郭画像（第１の微分画像）と今回作成した輪郭画像（第２の微分画像）との論理積を求めることによって、第１の微分画像と第２の微分画像との間で差分が存在しない部分（すなわち変化していない部分）を抽出し、前回の撮像時点から今回の撮像時点までの間、静止していた物体（静止部位）の画像を作成する（図４（ａ）〜（ｄ）参照）。例えば時刻ｔｎ−１では演算処理部２が、時刻ｔｎ−２における輪郭画像（図３（ｂ）参照）と時刻ｔｎ−１における輪郭画像（図３（ｃ）参照）との論理積を求めることにより、この間に移動していない静止部位の画像（図４（ｃ）参照）を抽出している。
【００２８】
また、演算処理部２は今回作成した輪郭画像（第２の微分画像）と、今回抽出した静止部位の画像との差分を求めることによって、２つの画像の間で差分が存在した部分（すなわち移動した部分）を抽出し、前回の撮像時点から今回の撮像時点までの間に移動した探索物体の移動部位の画像を作成する（図５（ａ）〜（ｄ）参照）。例えば時刻ｔｎ−２では演算処理部２が、この時点での輪郭画像（図３（ｂ）参照）と静止部位の画像（図４（ｂ）参照）との差分を取ることによって、移動部位の画像（図５（ｂ）参照）を抽出している。時刻ｔｎ−２では人Ｈの頭及び手の一部と左足とが静止し、照明器具Ｌが消灯状態から点灯状態に切り替わっているので、頭及び手の移動している部分と右足の部分が残り、且つ、照明器具Ｌの照明範囲を示す線が残ったような画像となる。
【００２９】
また更に、演算処理部２は前回抽出した静止部位の画像と今回抽出した静止部位の画像との差分を求めることで、前回抽出した静止部位の画像には存在せず、今回抽出した静止部位の画像のみに存在する部分を抽出し、今回抽出した静止部位の画像から探索物体の停止部位のみの画像を抽出する（図６（ａ）〜（ｄ）参照）。例えば時刻ｔｎ−１では、演算処理部２が時刻ｔｎ−１で抽出した静止部位の画像（図４（ｃ）参照）と、時刻ｔｎ−２で抽出した静止部位の画像（図４（ｂ）参照）との差分を求めることによって、探索物体の停止部位のみの画像（図６（ｃ）参照）を抽出している。
【００３０】
尚、探索物体の停止部位を抽出する際に、演算処理部２が、前回抽出した停止部位の画像に存在する領域の内、今回抽出した停止部位及び移動部位の画像に存在しない領域を、今回抽出した停止部位の画像に加えるようにしても良い。例えば時刻ｔｎでは時刻ｔｎ−１で停止していた停止部位が停止し続けているため、この停止部位は今回抽出した停止部位及び移動部位の画像の何れにも現れず、その結果探索画像（図７（ｄ）参照）には何も現れなくなるが、前回抽出した停止部位の画像に存在する領域の内、今回抽出した停止部位及び移動部位の画像に存在しない領域を、今回抽出した停止部位の画像に加えるようにすれば、探索物体（人Ｈ）の形状を正確に検出することができる。
【００３１】
その後、演算処理部２は、上述の処理で抽出した移動部位の画像と停止部位の画像との論理和を求め、さらにノイズ成分を除去することによって、探索物体（例えば人体）の画像を抽出した探索画像を作成する（図７（ａ）〜（ｄ）参照）。このように本実施形態の画像処理装置では、探索物体（人Ｈ）の内、移動している部位の画像と停止している部位の画像をそれぞれ求め、両者の画像から探索物体の全体の画像を求めているので、フレーム間差分方法のように移動している部位のみを抽出する場合に比べて、探索物体の判別を容易に行うことができ、またフレーム間差分方法のように探索物体の画像が２重にだぶって抽出されることはないから、テンプレートマッチングなどの処理を容易に行える。さらに、背景差分方法のように探索物体が存在しない状態の背景画像を予め撮影しておく必要がないから、背景画像を撮像する手間を無くすことができる。
【００３２】
次に、上述の処理で求めた探索画像をもとに探索物体の有無やその位置を検出する方法について以下に説明する。
【００３３】
先ず、演算処理部２は、上述の処理で作成した探索画像から探索物体が存在すると思われる検知対象領域を抽出する。図８（ａ）は探索画像の一例を示しており、この図に示されるように探索画像では探索物体（人Ｈ）の境界線Ｅが細切れに分割され、しかも境界線の一部が抜け落ちているので、どの部分に探索物体である人Ｈが存在するのか分からなくなっている。そこで、演算処理部２では探索画像に膨張処理を施して、細切れに分割された境界線Ｅを膨張させることで、図８（ｂ）に示すようなブロックＢを形成しており、この画像中のブロックＢに外接する外接長方形を求める。また、１つ１つのブロックＢを含む外接長方形がある程度近接している場合には、これら複数の外接長方形を１つに纏めており、このようにして求めた外接長方形の領域を検知対象領域Ｃ１〜Ｃ３としている。なお、検知対象領域Ｃ１〜Ｃ３を決定する場合にはある程度の余裕を見込むためにブロックＢに外接する外接長方形よりも大きめの領域を設定している。例えば図８（ａ）に示す探索画像では人体の境界線の一部しか現れておらず、頭部及び脚部の境界線Ｅが細切れになっているが、膨張処理を行うことで細切れになった境界線Ｅを一体化して、人体の境界線を復元することができる。また細切れになった人体の境界線Ｅを膨張させて複数のブロックＢを形成した場合、これらのブロックＢをそれぞれ含む複数の外接長方形は互いに近接しているので、人体を含む検知対象領域Ｃ１は最終的に１つの領域に纏められる。尚、図８の例では検知対象領域Ｃ１…を矩形状としているが、検知対象領域Ｃ１…の形状を矩形状に限定する趣旨のものではなく、図７に示すように探索物体を曲線で囲んだような領域としても良い。
【００３４】
ところで、探索物体の停止時間が長くなって静止状態になると、移動部位の画像と停止部位の画像との論理和の画像（探索画像）に探索物体が現れなくなる。また、監視エリア内に進入した人体が、手だけを動かしているような微動状態に移行すると、最初は全身が探索画像に現れていたのに、微動状態に移行するにしたがって探索画像に現れる検知対象領域の面積が小さくなってしまう。逆に、探索物体が移動していると探索画像中に検知対象領域が大きく現れることになるので、このような現象を利用して探索対象の挙動を判断することができる。
【００３５】
すなわち、演算処理部２では、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば、この検知対象領域の探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とし、この検知対象領域で後述のテンプレートマッチングを行う。一方、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも大きい場合、演算処理部２はこの検知対象領域の探索物体が移動していると判断し、今回求めた検知対象領域でテンプレートマッチングを行う。尚、本実施形態の物体検出装置は探索物体以外に移動する物体が殆ど存在しないような環境で使用されるものであり、前回抽出した検知対象領域と今回抽出した検知対象領域とが重なっている場合は同じ探索物体であると判断している。
【００３６】
例えば、図１１（ａ）は探索画像中の検知対象領域を示しており、この例では今回求めた検知対象領域Ｎ１が前回の検知対象領域Ｎ０に含まれているので、立ち止まるか又は着席するなどして静止していた人物が手、足、頭などの身体の一部分を動かしたものと判断して、前回の検知対象領域Ｎ０を探索物体の存在する領域Ｎ１’とし（図１１（ｂ）参照）、この検知対象領域Ｎ１’内でテンプレートマッチングを行う。また、図１２（ａ）に示すように、今回求めた検知対象領域Ｎ１と前回の検知対象領域Ｎ０とが重なり且つ前回の検知対象領域Ｎ０の面積に対する今回の検知対象領域Ｎ１の面積の比率が所定の閾値よりも小さい場合は、立ち止まるか又は着席するなどして静止していた人物が手、足、頭などの身体の一部分を動かしたか、移動を始めたがその移動量が小さいものと判断して、前回の検知対象領域Ｎ０を探索物体の存在する領域Ｎ１’とし（図１２（ｂ）参照）、この検知対象領域Ｎ１’内でテンプレートマッチングを行う。また、図示は省略するが今回求めた検知対象領域Ｎ１と前回の検知対象領域Ｎ０とで重なり合う部分が全く存在しない場合は、探索物体が全くの静止状態となって、探索画像中に探索物体が現れなくなったものと判断し、前回の検知対象領域Ｎ０を探索物体の存在する領域として、この領域内でテンプレートマッチングを行う。
【００３７】
一方、図１３（ａ）に示すように、今回求めた検知対象領域Ｎ１が前回の検知対象領域Ｎ０と重なり、且つ、前回の検知対象領域Ｎ０に対する面積の比率が所定の閾値よりも大きい場合、演算処理部２は、立ち止まるか又は着席するなどして静止していた人物が移動を始めたと判断し、今回求めた検知対象領域Ｎ１に探索物体が存在すると判断して（図１３（ｂ）参照）、この検知対象領域Ｎ１でテンプレートマッチングを行う。
【００３８】
このように、本実施形態では今回求めた検知対象領域と前回の検知対象領域との関係から、探索物体の存在する検知対象領域や、探索物体が移動しているか静止しているかを判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行ったり、重心移動計算を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体の挙動を判断できる。尚、探索物体の挙動を判断するために重心移動計算を行う場合には、濃淡画像から作成した輪郭画像をもとに物体の重心位置を算出した後に、重心位置の移動量を計算するのであるが、輪郭画像を作成する段階で輪郭の一部が消滅することもあるため、重心位置を正確に算出することができず、また輪郭の消滅した部分を補間するなどして重心位置を算出するために、算出処理の手間がかかるが、本実施形態では今回求めた検知対象領域と前回の検知対象領域との関係から、探索物体の存在する検知対象領域や、探索物体が移動しているか静止しているかを判断しているので、簡単な処理で探索物体の挙動を判断できる。
【００３９】
また、探索画像中の検知対象領域は移動部位と停止部位との論理和で構成されているので、演算処理部２が、検知対象領域に含まれる移動部位の画素数と停止部位の画素数とを比較し、移動部位の画素数の方が多ければ探索物体が移動し、停止部位の画素数の方が多ければ探索物体が静止していると判断するようにしても良く、物体の輪郭から判断しているので、従来のようにフレーム間差分方法或いは背景差分方法により抽出した領域の重心位置の移動距離から判断する場合に比べて、簡単な処理で探索物体の挙動を判断できる。
【００４０】
例えば時刻ｔｎ−３では図７（ａ）に示す探索画像中の検知対象領域Ｃ１に含まれる移動部位の画素数の方が停止部位の画素数よりも多いので、演算処理部２は探索対象が移動していると判断する。また、時刻ｔｎ−１では図７（ｃ）に示す探索画像中の検知対象領域Ｃ１に含まれる移動部位の画素数が停止部位の画素数よりも少ないので、演算処理部２は探索物体が静止していると判断する。
【００４１】
上述のようにして演算処理部２は探索画像から探索物体の存在すると思われる検知対象領域を求めており、求められた検知対象領域の画像と探索物体のテンプレート画像とのマッチング処理を行って、両者の相関値を求めている。例えば時刻ｔｎ−２では、演算処理部２がこの時刻における探索画像（図７（ｂ）参照）の検知対象領域Ｃ１１，Ｃ１２に所定のテンプレート画像を重ね合わせ、テンプレート画像の位置を１画素ずつずらしながら、相関値を検出する。そして、この検知対象領域内で最も高い相関値が予め設定された閾値を超えていれば、人が存在しているものと判断し、この相関値に対応する検知対象領域を人が存在する位置に設定している。尚、マッチング処理を行う際には、検知対象領域の範囲で輪郭画像とテンプレート画像とのマッチング処理を行っても良いし、移動画像と停止画像との論理和の画像とテンプレート画像とのマッチング処理を行うようにしても良い。
【００４２】
ここで、探索物体が人の場合には、人型のテンプレート画像を用いてマッチングを行うことで、人間以外を抽出することがなくなり、正しく人間を抽出できる。また、監視エリアが図１０に示すような通路の場合には、そこで人が寝ていることを考慮する必要がなく、したがって歩行中の人間の形をシンボル化したテンプレート画像Ｔａ（図９参照）を用いて検知対象領域内を探索し、検知対象領域内の画像との相関値を求めることで、人間以外のものを抽出するのを防止できる。また、道路を監視エリアとして車輌を検出する場合には、道路とカメラとの位置関係を一旦決めれば、カメラに映る車輌の形状は略同じ形状となるので、走行中の車輌の代表的な形状をしたテンプレート画像を用いることで、車輌以外のものを検出するのを防止できる。
【００４３】
尚、一般住宅を監視エリアとして人を検出する場合には、人の姿勢（立っている場合、座っている場合、寝ている場合）が大きく変化するため、次回のマッチング処理で使用するテンプレート画像を、毎回の画像をもとに作成するのが望ましいが、本実施形態のように探索物体である人体や車輌の形状が殆ど変化しない場合には固定のテンプレート画像を用いてマッチング処理を行うことができ、テンプレート画像を更新する手間が省け、また使用するテンプレート画像の数が少なくて済むので、テンプレート画像を記憶させるメモリに記憶容量の小さいものを使用できる。
【００４４】
尚、輪郭画像から探索物体の存在すると思われる検知対象領域を抽出する方法を上記の方法に限定する趣旨のものではなく、背景差分方法やフレーム間差分方法を用い、輪郭画像から動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を抽出し、前回求めた検知対象領域と今回求めた検知対象領域とをもとに探索物体が移動しているか、静止しているかを判定するようにしても良いし、濃淡画像から探索物体の存在すると思われる検知対象領域を抽出するようにしても良い。
【００４５】
（実施形態２）
本発明の実施形態２を図１４乃至図２０を参照して説明する。尚、物体検出装置の基本的な構成及びその動作は実施形態１と同様であるので、同一の構成要素には同一の符号を付して、その説明は省略する。
【００４６】
本実施形態の物体検出装置は、実施形態１で説明した物体検出方法により抽出した前回の検出対象領域と今回の検知対象領域とをもとに、探索物体が移動しているか静止しているかを判断している。尚、今回の検知対象領域は、監視エリアの画像（濃淡画像或いは輪郭画像）から動きのある部分を抽出したものである。
【００４７】
すなわち、前回の検知対象領域と今回の検知対象領域とが重なっている場合、演算処理部２は、重なっている２つの領域が同一の探索物体を表していると判断して、この物体を追跡しており、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更している。尚、検知対象領域の探索物体が移動物体であるか、静止物体であるかの判定は実施形態１で説明した方法により行う。
【００４８】
例えば、図１４（ａ）に示すように前回抽出時に移動物体であると判断された検知対象領域Ｕ１と今回抽出した検知対象領域Ｕ２の一部が重なっている場合は、歩行中の１乃至複数の人物が移動している、又は、着席している人物が体を大きく動かしているといった場面が想定でき、演算処理部２は、探索物体が検知対象領域Ｕ２に移動したと判断して、探索物体を追跡する。つまり、演算処理部２は、探索物体の存在する領域が検知対象領域Ｕ１から検知対象領域Ｕ２に移動したものと判断する（図１４（ｂ）参照）。
【００４９】
また、図１５（ａ）に示すように前回抽出時に移動物体であると判断された検知対象領域Ｕ１が、今回抽出した２つの検知対象領域Ｕ２，Ｕ３の一部にそれぞれ重なっている場合は、歩行中の複数の人物が２つのグループに分かれて別々の方向に移動しているといった場面を想定でき、演算処理部２は、探索物体が検知対象領域Ｕ２，Ｕ３に移動したものと判断して、探索物体を追跡する。つまり、演算処理部２は、探索物体の存在する領域が検知対象領域Ｕ１から検知対象領域Ｕ２，Ｕ３に移動したものと判断する（図１５（ｂ）参照）。
【００５０】
また、図１６（ａ）に示すように、前回撮像時に静止物体であると判断された検知対象領域Ｕ１と今回抽出した検知対象領域Ｕ２の一部が重なっている場合、静止していた人物が動き始めた、又は、立ち止まっているか或いは着席中の人物が手、足、上半身を大きく動かしたという場面を想定でき、演算処理部２は、探索物体が検知対象領域Ｕ２に移動したものと判断して、探索物体を追跡する。つまり、演算処理部２は、探索物体の存在する領域が検知対象領域Ｕ１から検知対象領域Ｕ２に移動したものと判断する（図１６（ｂ）参照）。
【００５１】
また、図１７（ａ）に示すように前回撮像時に静止物体であると判断された検知対象領域Ｕ１の一部と移動物体であると判断された別の検知対象領域Ｕ２の一部とに、今回抽出した検知対象領域Ｕ３が重なっている場合、立ち止まっているか又は着席中の人物に別の人物が近寄ってきたような場面を想定でき、演算処理部２は、検知対象領域Ｕ１に探索物体が静止し続けるとともに、検知対象領域Ｕ２にいた探索物体が検知対象領域Ｕ３に移動したものと判断して、追跡を行う。つまり、演算処理部２は、探索物体が前回求めた検知対象領域Ｕ１と今回求めた検知対象領域Ｕ３とにそれぞれ存在するものと判断する（図１７（ｂ）参照）。
【００５２】
また、図１８（ａ）に示すように前回撮像時に静止物体であると判断された検知対象領域Ｕ１の一部、及び、前回撮像時に静止物体であると判断された別の検知対象領域Ｕ２の一部に今回抽出した検知対象領域Ｕ３が重なっている場合、静止していた複数の人物の何れかが動き始めた、又は、立ち止まっているか或いは着席中の複数の人物の何れかが手、足、上半身を大きく動かしたというような場面を想定でき、演算処理部２は、前回の２つの検知対象領域Ｕ１，Ｕ２に探索物体が存在するものと判断して、追跡を行う（図１８（ｂ）参照）。
【００５３】
また、図１９（ａ）に示すように前回抽出時に静止物体であると判断された検知対象領域Ｕ１（第１の検知対象領域）の一部と移動物体であると判断された別の検知対象領域Ｕ２（第２の検知対象領域）の一部とに、今回抽出した検知対象領域Ｕ３（第３の検知対象領域）が重なっており、さらに検知対象領域Ｕ１の一部に今回抽出した別の検知対象領域Ｕ４（第４の検知対象領域）が重なっている場合、立ち止まっているか又は着席中の人物が動き始めるとともに、別の人物が近寄ってきたような場面を想定でき、演算処理部２は、検知対象領域Ｕ１にいた探索物体が検知対象領域Ｕ４に移動するとともに、検知対象領域Ｕ２にいた探索物体が検知対象領域Ｕ３に移動したものと判断して、それぞれ追跡する。つまり、演算処理部２は、探索物体が検知対象領域Ｕ３，Ｕ４に存在するものと判断する（図１９（ｂ）参照）。
【００５４】
このように演算処理部２は、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更しており、探索物体が移動している場合と静止している場合とでは次の行動が異なってくるので、前回の挙動をもとに判定条件を変更することで、探索物体である人間の動きに即した追跡を行えるから、より正確に探索物体を追跡でき、また従来のようにテンプレートマッチングを行って探索物体を追跡する場合に比べて簡単な処理で探索物体を検出できる。
【００５５】
また演算処理部２では、ある時点で抽出された第１の検知対象領域の探索物体を静止物体であると判断した場合に、第１の検知対象領域にそれ以後に抽出された第２の検知対象領域が重なった場合、第２の検知対象領域が重なる直前の第１の検知対象領域の画像を保持させておき、第２の検知対象領域との重なりが無くなった時点で、この時点の第１の検知対象領域の画像と、第２の検知対象領域が重なる直前の第１の検知対象領域の画像とのマッチング処理を行って相関値を求め、この相関値が所定の閾値よりも高ければ前回静止物体と判断した探索物体は第１の検知対象領域に留まっていると判断し、相関値が所定の閾値よりも低ければ前回静止物体と判断した探索物体が第２の検知対象領域の物体とともに第１の検知対象領域の外側へ移動するか、或いは第２の検知対象領域の物体とは別の方向へ移動して、第１の検知対象領域の外側へ移動したと判断している。
【００５６】
例えば、図２０（ａ）〜（ｃ）に示すように時刻ｔｎ−２と時刻ｔｎ−１と時刻ｔｎとにおける検知対象領域が変化した場合、時刻ｔｎ−２では静止物体であると判断した検知対象領域Ｍ１（第１の検知対象領域）と移動物体であると判断した検知対象領域Ｍ２（第２の検知対象領域）とが重なっていないので、演算処理部２は検知対象領域Ｍ１の画像を画像記憶部３に記憶させて、順次更新している。次に、時刻ｔｎ−１では移動物体であると判断した検知対象領域Ｍ２’が移動し（時刻ｔｎ−２における位置を点線で示す）、静止物体であると判断した検知対象領域Ｍ１’と一部分が重なっているので、演算処理部２は静止物体の画像の記憶更新を止めて、直前（時刻ｔｎ−２）の静止物体の画像を保持する。その後の時刻ｔｎでは移動物体であると判断した検知対象領域Ｍ２″がさらに移動し（時刻ｔｎ−２における位置を点線で示す）、静止物体であると判断した検知対象領域Ｍ１との重なりが無くなるので、演算処理部２は、この時点における静止物体の検知対象領域Ｍ１″の画像と、画像記憶部３に記憶された時刻ｔｎ−２における静止物体の検知対象領域Ｍ１の画像とのパターンマッチングを行って、両者の相関値を計算して、所定の設定値との高低を比較する。そして、演算処理部２では、相関値が所定の設定値よりも高ければ、静止物体が検知対象領域Ｍ１″に留まっていると判断し、相関値が設定値よりも低ければ、前回静止物体と判断した探索物体が検知対象領域Ｍ１″の外側に移動していったと判断する。例えば、他に検知対象領域が無ければ、検知対象領域Ｍ１″を通り過ぎていった移動物体とともに前回静止物体と判断した探索物体が移動していったと判断し、新たに検知対象領域が現れれば、その検知対象領域に前回静止物体と判断した探索物体が移動していったと判断する。尚、図２０（ｃ）の場合は検知対象領域に物体が静止しているので、相関値が高くなっている。
【００５７】
ここで、監視エリアを撮像するカメラ１の配置によっては、静止物体の前を移動物体が移動する際に、静止物体が移動物体の影に隠れてしまうが、第１の検知対象領域に第２の検知対象領域が重なる前、つまり静止物体が移動物体に隠れる前の第１の検知対象領域の画像を保持しておき、第１の検知対象領域と第２の検知対象領域との重なりがなくなった時点で（静止物体が移動物体の影から再び現れた時点で）、この時の第１の検知対象領域の画像と、第２の検知対象領域と重なる直前の画像とのマッチング処理を行い、相関値を求めているので、この相関値から静止物体が留まっているか、検知対象領域の外側へ移動したかを確実に判定できる。
【００５８】
尚、本実施形態では実施形態１で説明した方法により監視エリアの画像から探索物体の存在する検知対象領域を抽出しているが、検知対象領域を抽出する方法を上記の方法に限定する趣旨のものではなく、背景差分方法やフレーム間差分方法を用いて監視エリアの画像から探索物体の存在する検知対象領域を抽出し、前回求めた検知対象領域と今回求めた検知対象領域とをもとに探索物体の位置や挙動を判定するようにしても良い。
【００５９】
（実施形態３）
本発明の実施形態３について説明する。尚、物体検出装置の構成及び動作は実施形態１と同様であるので、図示及び説明は省略する。
【００６０】
この物体検出装置を一般住宅で使用する場合には、カメラ１の撮像する監視エリア内に人間以外にも犬猫などの小動物が存在する可能性があり、また窓を開けていると風が吹き込んできてカーテンが揺れたり、雲の動きによる日照の変化などで、探索物体である人間以外にも移動する物体が撮像される可能性がある。それに対して、本実施形態は例えばオフィスなどで人を検出するために用いられるものであり、オフィス内を人間以外の犬猫のような小動物が動き回ることは殆どないので、人間以外で自然に動く物体（可動物）は殆ど無いと考えて良く、机上のＯＡ機器のモニタ画面のちらつきや照明器具の点灯／消灯などを考慮するだけで良い。
【００６１】
照明器具の点灯／消灯の変化は、消灯状態から点灯状態に切り替わった瞬間だけ移動画像に現れ、連続して移動画像に現れることはなく、例えば図２（ａ）〜（ｄ）に示すように時刻ｔｎ−２において照明器具Ｌが自動点灯し、点灯後一定の状態で点灯している場合、図４及び図５に示すように、時刻ｔｎ−２では照明器具Ｌの照明範囲を示す線が移動画像に現れるが（図５（ｂ）参照）、時刻ｔｎ−１では照明器具Ｌの照明範囲を示す線が停止画像に現れ、移動画像には現れていない（図４（ｃ）及び図５（ｃ）参照）。したがって、照明器具Ｌの光に相当する検知対象領域は、点灯した時のみ移動画像に現れ、その後の撮像時には停止画像に１回だけ現れることになる。
【００６２】
一方、オフィス内にいる人物は動き続けているので、移動画像に現れ続けるとともに、例え一時的に静止したとしても過去に移動していたという履歴を辿ることで、人や車輌などの可動物体と照明のオン／オフとを簡単に区別することができる。
【００６３】
尚、室内で用いる場合は人間以外の小動物が動き回ることは殆どないので、テンプレートマッチングが不要になる。
【００６４】
而して、探索画像中の検出対象領域が連続して所定回数移動した場合は、演算処理部２が、この検出対象領域に人や車輌のような可動物の探索物体が存在するものと判断するようにすれば、一定期間以上連続して移動することから可動物と照明器具Ｌの点灯／消灯とを簡単に判別できる。
【００６５】
【発明の効果】
上述のように、請求項１の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とし、今回求めた検知対象領域と前回の検知対象領域との関係から、探索物体の存在する検知対象領域を判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体の存在する領域を検出できるという効果がある。
【００６７】
請求項２の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在する検知対象領域を作成する段階と、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小を比較することによって当該検知対象領域内の探索物体が移動しているか静止しているかを判断する段階とからなることを特徴とし、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小から、探索物体が移動しているか否かを判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体が移動していると判断できるという効果がある。そのうえ、探索物体の内、移動している部位の画像と停止している部位の画像をそれぞれ求め、両者の画像から探索物体の全体の画像を求めているので、フレーム間差分方法のように移動している部位のみを抽出する場合に比べて、探索物体の判別を容易に行うことができ、且つフレーム間差分方法のように探索物体の画像が２重にだぶって抽出されることはないから、テンプレートマッチングなどの処理を容易に行え、さらに背景差分方法のように探索物体が存在しない状態の背景画像を予め撮影しておく必要がないから、背景画像を撮像する手間を無くすことができる。
【００６８】
請求項３の発明は、請求項１又は２の何れか１つの発明において、前回求めた検知対象領域と今回求めた検知対象領域とが重なっていれば同一の探索物体であると判断するとともに、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更することを特徴とし、探索物体が移動している場合と静止している場合とでは次の行動が異なってくるので、前回の挙動をもとに判定条件を変更することで、探索物体の動きに即した追跡を行えるから、より正確に探索物体を追跡でき、且つ、従来のようにテンプレートマッチングを行って探索物体を追跡する場合に比べて簡単な処理で探索物体を検出できる。
【００６９】
請求項４の発明は、請求項３の発明において、前回の検知対象領域と今回の検知対象領域が重なり、且つ、今回の検知対象領域が前回の別の検知対象領域に重なっていなければ、今回の検知対象領域に重なっている前回の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とし、請求項３の発明と同様の効果がある。
【００７０】
請求項５の発明は、請求項３の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回移動物体と判断された別の検知対象領域に重なっていれば、前回求めた別の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とし、請求項３の発明と同様の効果がある。
【００７１】
請求項６の発明は、請求項３の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回静止物体と判断された別の検知対象領域に重なっていれば、前回求めた２つの検知対象領域に探索物体がそれぞれ留まっていると判断して追跡することを特徴とし、請求項３の発明と同様の効果がある。
【００７２】
請求項７の発明は、請求項３の発明において、前回抽出時に静止物体であると判断された第１の検知対象領域と移動物体であると判断された第２の検知対象領域とに今回抽出した第３の検知対象領域が重なり、且つ、第１の検知対象領域に今回抽出した第４の検知対象領域が重なっていれば、第１の検知対象領域にいた探索物体が第４の検知対象領域に移動すると共に、第２の検知対象領域にいた探索物体が第３の検知対象領域に移動したものと判断して追跡することを特徴とし、請求項３の発明と同様の効果がある。
【００７３】
請求項８の発明は、請求項３の発明において、ある時点で抽出された第１の検知対象領域の探索物体が静止物体であると判断された場合に、第１の検知対象領域にそれ以後に抽出された第２の検知対象領域が重なった場合、第２の検知対象領域が重なる直前の第１の検知対象領域の画像を保持させておき、第２の検知対象領域との重なりが無くなった時点で、この時点の第１の検知対象領域の画像と、第２の検知対象領域が重なる直前の第１の検知対象領域の画像とのマッチング処理を行って両者の相関値を求め、この相関値が所定の閾値よりも高ければ静止物体は第１の検知対象領域に留まっていると判断し、相関値が前記閾値よりも低ければ静止物体が第１の検知対象領域の外側に移動したと判断することを特徴とし、監視エリアを撮像するカメラの配置によっては、静止物体の前を移動物体が移動する際に、静止物体が移動物体の影に隠れてしまうが、第１の検知対象領域に第２の検知対象領域が重なる前、つまり静止物体が移動物体に隠れる前の第１の検知対象領域の画像を保持しておき、第１の検知対象領域と第２の検知対象領域との重なりがなくなった時点で（静止物体が移動物体の影から再び現れた時点で）、この時の第１の検知対象領域の画像と、第２の検知対象領域と重なる直前の画像とのマッチング処理を行い、相関値を求めているので、この相関値から静止物体が留まっているか、移動していったかを確実に判定できる。
【００７４】
請求項９の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在すると思われる検知対象領域を作成する段階と、作成した検知対象領域が連続して所定回数以上移動した場合は当該検知対象領域を人や車輌などの可動物からなる探索物体が存在する領域とする段階とからなることを特徴とし、例えば監視エリア内にいる人や車輌などの可動物が動き続けている場合、可動物よりなる探索物体は移動部位の画像に連続して現れることになるので、移動部位の画像と停止部位の画像との論理和の画像も連続して現れることになる。したがって、移動部位の画像と停止部位の画像との論理和の画像から作成した検知対象領域が所定回数移動することから、この検知対象領域が可動物の存在する領域であると判断することができ、簡単な処理で可動物の存在する領域を検出することができる。
【図面の簡単な説明】
【図１】実施形態１の画像処理方法を用いる画像処理装置の概略構成図である。
【図２】（ａ）〜（ｄ）は各時刻における入力画像の説明図である。
【図３】（ａ）〜（ｄ）は各時刻における輪郭画像の説明図である。
【図４】（ａ）〜（ｄ）は各時刻における静止物体の抽出画像の説明図である。
【図５】（ａ）〜（ｄ）は各時刻における移動物体の抽出画像の説明図である。
【図６】（ａ）〜（ｄ）は各時刻における静止物体の抽出画像の説明図である。
【図７】（ａ）〜（ｄ）は各時刻における探索画像の説明図である。
【図８】（ａ）（ｂ）は検知対象領域を作成する手順を説明する説明図である。
【図９】同上のテンプレート画像の説明図である。
【図１０】同上の監視エリアの説明図である。
【図１１】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１２】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１３】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１４】（ａ）（ｂ）は実施形態２の物体検出装置の動作を説明する説明図である。
【図１５】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１６】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１７】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１８】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１９】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図２０】（ａ）〜（ｃ）は同上の動作を説明する説明図である。
【図２１】（ａ）〜（ｃ）は背景差分方法を用いた画像処理方法の説明図である。
【図２２】（ａ）〜（ｃ）はフレーム間差分方法を用いた画像処理方法の説明図である。
【図２３】（ａ）（ｂ）は従来の探索物体が移動しているか静止しているかを判断する判断方法の説明図である。
【図２４】従来の探索物体の追跡方法を説明する説明図である。
【符号の説明】
１ カメラ
２ 演算処理部
Claims (9)
- 所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とする物体検出方法。
- 所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在する検知対象領域を作成する段階と、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小を比較することによって当該検知対象領域内の探索物体が移動しているか静止しているかを判断する段階とからなることを特徴とする物体検出方法。
- 前回求めた検知対象領域と今回求めた検知対象領域とが重なっていれば同一の探索物体であると判断するとともに、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更することを特徴とする請求項１又は２の何れか１つに記載の物体検出方法。
- 前回の検知対象領域と今回の検知対象領域が重なり、且つ、今回の検知対象領域が前回の別の検知対象領域に重なっていなければ、今回の検知対象領域に重なっている前回の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とする請求項３記載の物体検出方法。
- 前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回移動物体と判断された別の検知対象領域に重なっていれば、前回求めた別の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とする請求項３記載の物体検出方法。
- 前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回静止物体と判断された別の検知対象領域に重なっていれば、前回求めた２つの検知対象領域に探索物体がそれぞれ留まっていると判断して追跡することを特徴とする請求項３記載の物体検出方法。
- 前回抽出時に静止物体であると判断された第１の検知対象領域と移動物体であると判断された第２の検知対象領域とに今回抽出した第３の検知対象領域が重なり、且つ、第１の検知対象領域に今回抽出した第４の検知対象領域が重なっていれば、第１の検知対象領域にいた探索物体が第４の検知対象領域に移動すると共に、第２の検知対象領域にいた探索物体が第３の検知対象領域に移動したものと判断して追跡することを特徴とする請求項３記載の物体検出方法。
- ある時点で抽出された第１の検知対象領域の探索物体が静止物体である と判断された場合に、第１の検知対象領域にそれ以後に抽出された第２の検知対象領域が重なった場合、第２の検知対象領域が重なる直前の第１の検知対象領域の画像を保持させておき、第２の検知対象領域との重なりが無くなった時点で、この時点の第１の検知対象領域の画像と、第２の検知対象領域が重なる直前の第１の検知対象領域の画像とのマッチング処理を行って両者の相関値を求め、この相関値が所定の閾値よりも高ければ静止物体は第１の検知対象領域に留まっていると判断し、相関値が前記閾値よりも低ければ静止物体が第１の検知対象領域の外側に移動したと判断することを特徴とする請求項３記載の物体検出方法。
- 所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在すると思われる検知対象領域を作成する段階と、作成した検知対象領域が連続して所定回数以上移動した場合は当該検知対象領域を人や車輌などの可動物からなる探索物体が存在する領域とする段階とからなることを特徴とする物体検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002324397A JP4228657B2 (ja) | 2002-11-07 | 2002-11-07 | 物体検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002324397A JP4228657B2 (ja) | 2002-11-07 | 2002-11-07 | 物体検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004157879A JP2004157879A (ja) | 2004-06-03 |
| JP4228657B2 true JP4228657B2 (ja) | 2009-02-25 |
Family
ID=32803997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002324397A Expired - Fee Related JP4228657B2 (ja) | 2002-11-07 | 2002-11-07 | 物体検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4228657B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5070376B2 (ja) * | 2009-06-01 | 2012-11-14 | 中央電子株式会社 | 混雑状況検出装置、方法、およびプログラム |
| JP5578816B2 (ja) * | 2009-09-02 | 2014-08-27 | キヤノン株式会社 | 画像処理装置 |
| JP5387595B2 (ja) * | 2011-02-24 | 2014-01-15 | 新日鐵住金株式会社 | 人物監視装置、人物監視方法、及びコンピュータプログラム |
| US20150125032A1 (en) * | 2012-06-13 | 2015-05-07 | Panasonic Intellectual Property Management Co., Ltd. | Object detection device |
| JP6191160B2 (ja) * | 2012-07-12 | 2017-09-06 | ノーリツプレシジョン株式会社 | 画像処理プログラムおよび画像処理装置 |
| US10891706B2 (en) | 2016-09-08 | 2021-01-12 | Sony Corporation | Arithmetic device and sensor to track movement of object between frames |
| JP6558387B2 (ja) * | 2017-03-14 | 2019-08-14 | オムロン株式会社 | 画像解析装置、画像解析方法、及び画像解析プログラム |
| JP6922951B2 (ja) * | 2019-08-09 | 2021-08-18 | フジテック株式会社 | 画像処理装置および画像処理方法 |
| CN112850436A (zh) * | 2019-11-28 | 2021-05-28 | 宁波微科光电股份有限公司 | 一种电梯智能光幕的行人趋势检测方法及系统 |
| CN112097744B (zh) * | 2020-09-16 | 2022-08-30 | 上海遥程信息科技有限公司 | 一种竖立面的图像扫描方法、装置、设备和存储介质 |
-
2002
- 2002-11-07 JP JP2002324397A patent/JP4228657B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004157879A (ja) | 2004-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101237970B1 (ko) | 영상 감시 시스템, 및 이의 방치 및 도난 검출 방법 | |
| Fuentes et al. | People tracking in surveillance applications | |
| US7969470B2 (en) | Moving object detection apparatus, method and program | |
| Xu et al. | Human detection using depth and gray images | |
| US7436887B2 (en) | Method and apparatus for video frame sequence-based object tracking | |
| JP4228657B2 (ja) | 物体検出方法 | |
| US20090033745A1 (en) | Method and apparatus for video frame sequence-based object tracking | |
| JP5832910B2 (ja) | 画像監視装置 | |
| Debard et al. | Camera-based fall detection on real world data | |
| JP2009519510A (ja) | 異常な群集の行動の検出 | |
| JPWO2016157327A1 (ja) | 映像監視システム及び映像監視方法 | |
| Ekinci et al. | Silhouette based human motion detection and analysis for real-time automated video surveillance | |
| JP4691708B2 (ja) | ステレオカメラを用いた白杖使用者検出システム | |
| JP2010039580A (ja) | 移動物体追跡装置 | |
| JP3569163B2 (ja) | 移動物体監視装置 | |
| JP2008288684A (ja) | 人物検出装置及びプログラム | |
| JP4913801B2 (ja) | 遮蔽物映像識別装置及び方法 | |
| JP4548181B2 (ja) | 障害物検出装置 | |
| JP2011198244A (ja) | 対象物認識システム及び該システムを利用する監視システム、見守りシステム | |
| JP2004094518A (ja) | 人物追跡装置、人物追跡方法及びプログラム | |
| JP4578072B2 (ja) | 滞留者検知システム | |
| JP4470342B2 (ja) | 画像処理方法及びそれを用いた画像処理装置 | |
| Ying et al. | Traffic light detection based on similar shapes searching for visually impaired person | |
| JP4096757B2 (ja) | 画像追跡装置 | |
| CN114120368A (zh) | 目标检测方法及检测设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081014 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081124 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |