JP4292371B2 - 移動体監視装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、カメラから得られる画像に基づいて監視対象領域内における移動体の動きを監視する移動体監視装置に係り、例えば、工場内作業現場等において危険領域へ人が侵入するのを監視して警告を発する等の用途に好適な移動体監視装置に関する。
【０００２】
【従来の技術】
工場内作業現場等において危険領域へ人が侵入するのを監視して警告を発する等の用途には、カメラから得られる画像に基づいて監視対象領域内における移動体の動きを監視する移動体監視装置が採用される。
【０００３】
このような移動体監視装置にあっては、目的とする移動体を検知できるようにし、かつ移動体以外が原因の現象（明るさの変動等）を検知しないようにすること（第１の条件）、検知した移動体を見失うことなく追跡できること（第２の条件）、移動体を検知できない環境や状況になったことを検知できるようにすること（第３の条件）を満足せねばならない。
【０００４】
第１の条件を満足するためには、背景差分やフレーム差分、またはそれらの両者を用いる手法や、移動体以外の変化を除去（マスク）するという手法が考案されている。
【０００５】
背景差分やフレーム差分、またはそれらの両者を用いる手法としては、次のような公知技術が存在する。すなわち、静止した背景映像のフレームと同領域を含む対象映像のフレームとを差分し、この差分結果を輪郭とする領域内側に対して塗りつぶし処理を行って背景差分領域を求め、連続した対象映像のフレーム間でフレーム間差分を行い、フレーム間差分情報に対して同領域を抽出し、両領域の和集合をとり、移動体を抽出する（特許文献１参照）。
【０００６】
移動体以外の変化を除去（マスク）するという手法としては、次のような公知技術が知られている。すなわち、二値化処理で得られた二値化画像と画像メモリに記憶しているマスク画像について、二値化画像の画素値が『２５５』であり、かつマスク画像の画素値が『２５５』である場合、その画素について、二値化画像の画素値を“０"にすることによってマスクする（特許文献２参照）。
【０００７】
第２の条件を満足するためには、差分画像によって抽出された変化領域の重心位置を用いて、フレーム毎に距離を対応づけすることで、追跡する手法が考案されている。このような手法としては、次のような公知技術が知られている。すなわち、オブジェクトＡｊ，Ｂｉに対して、中心座標、面積、輝度の属性を持たせたデータベースがメモリ４の中に更新可能に記憶されており、マッピング処理は、１フレーム前の各オブジェクトＡｊに対してそれぞれループ処理され、さらに、各オブジェクトＡｊに対して、カレントフレームの各オブジェクトＢｉの総当たりのループ処理が行われる。距離、面積比、輝度比を総合して最も近いものをマッピングする。グルーピングは、等速度性、直進性等から行われる（特許文献３参照）。
【０００８】
第３の条件を満足するためには、処理の開始時の画像を保存しておき、輝度情報を毎フレーム比較し、撮像領域の照明の変動をチェックする手法やそれと同時に撮像領域の位置を毎フレーム比較し、カメラの位置ずれをチェックする手法が考案されている。
【０００９】
処理の開始時の画像を保存しておき、輝度情報を毎フレーム比較し、撮像領域の照明の変動をチェックする手法としては、次のような公知技術が知られている。すなわち、変化領域抽出部で作成した二値画像の大きさが画面全体の大部分（例えば７〜８程度以上）に及ぶ場合、照度変動等による外乱として判定し除外する（特許文献４参照）。
【００１０】
撮像領域の位置を毎フレーム比較し、カメラの位置ずれをチェックする手法としては、次のような公知技術が知られている。すなわち、ブレ検出部は、連続画像の一定期間（ｔ０，ｔ１，・・・ｔｎ）の各画像に対して、連続して撮られた２枚の画像に対する最適重ね合わせ状態からのズレ量Δｘ（ｔｉ），Δｙ（ｔｉ）を公知の手法である正規化相互相関を用いて求める。画像内に移動体が存在する場合、移動体が存在する画像領域が既知であれば、移動体が存在する画像領域を除いた静止領域だけで相関ｓをとることによって、時間ｔｉに撮られた画像（ｘ、ｙ，ｔｉ）のズレ量Δｘ（ｔｉ），Δｙ（ｔｉ）が求められる（特許文献５参照）。
【００１１】
【特許文献１】
特許第２８２８３８０号公報
【特許文献２】
特開２００２−２７９４２９号公報
【特許文献３】
特開２００１−３２５６７２号公報
【特許文献４】
特開２００１−００８１８９号公報
【特許文献５】
特開平１０−３２０５３５号公報
【００１２】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１〜５に記載された公知技術にあっては、次のような問題点が指摘されている。
【００１３】
すなわち、特許文献１に記載された公知技術にあっては、単純に両差分画像の和をとったのでは、ランプの点灯のような瞬時的な変動をも移動体と誤認してしまう。
【００１４】
また、特許文献２に記載された公知技術にあっては、単純に影響を除去するだけでは、有用な変化（移動体）も隠してしまう可能性がある。
【００１５】
また、特許文献３に記載された公知技術にあっては、次のような２つの問題点が指摘されている。すなわち、第１の問題点は、１つの移動体が画像上で分裂してしまっていても対応できるが、分裂しているオブジェクト全ての対応づけを調べると計算量が非常に多くなってしまう。第２の問題点は、移動体以外の変化（例えば、照度が変化したことによるオブジェクト）に対して、誤って対応づけされた場合、真の移動体を見落としてしまうが、そのことを判定し、知らせる必要がある。
【００１６】
特許文献４に記載された公知技術にあっては、人体による変化領域との区別をつけていないため、多人数の場合と照度変動との区別がつかない。
【００１７】
特許文献５に記載された公知技術にあっては、静止領域が画像全体に対して小さい（移動体が領域内に多数ある）場合、相関の信頼性が落ちてしまう。
【００１８】
この発明は、上述の問題点に着目してなされたものであり、その目的とするところは、目標とする移動体を検知できると共に、移動体以外が原因の現象（明るさの変動）を検知することがなく、しかも検知した移動体を見失うことなく追跡することができる移動体監視装置を提供することにある。
【００１９】
この発明の他の目的とするところは、上記の目的に加え、移動体を検知できない環境や状況になったことを判定することができる移動体監視装置を提供することにある。
【００２０】
この発明のさらに他の目的並びに作用効果については、明細書の以下の記載を参照することにより当業者であれば容易に理解されるであろう。
【００２１】
【課題を解決するための手段】
この発明の移動体監視装置は、監視対象領域を撮影するカメラと、カメラから得られる画像に基づいて移動体監視のための情報処理を行う情報処理装置とを有する。この情報処理装置にて行われる移動体監視のための情報処理は、入力画像に対して、フレーム差分処理と背景差分処理との双方の差分処理を実行してフレーム差分画像と背景差分画像とを生成する差分処理と、一連のフレーム差分画像中において、一定の条件を満たし、かつ規定回数以上連続して現れるオブジェクトを新規移動体として検知する移動体検知処理と、移動体検知処理にて検知された既知移動体を背景差分画像を使用して追跡する既知移動体追跡処理とを少なくとも含んでいる。
【００２２】
換言すれば、本発明にあっては、フレーム差分と背景差分を同時に行い、フレーム差分画像に時間的に連続な変化があった場合、変化領域を移動体と見なし、さらに、背景差分画像を用いて既に検知されている移動体を追跡しようとするものである。
【００２３】
このような構成によれば、フレーム差分で『連続的』の変化を見ることで、ランプの点灯や消灯等の瞬時的な変化を移動体と誤認しなくなる。さらに、移動体と検知しているものは背景差分画像を用いることにより、長時間静止状態が続いていても見失うことなく追跡できる。しかも静止状態を記憶する必要もない。そのため不安全状態を確実に回避できる。
【００２４】
本発明の好ましい実施の形態においては、移動体検知処理における一定の条件が、設定されたマスク画像に相当するオブジェクト及び検知された既知移動体に相当するオブジェクトのいずれにも該当しないこととされる。すなわち、本発明にあっては、マスクを背景差分画像、フレーム差分画像、両画像を演算した結果画像のいずれか、若しくは全てにかけることができるようにされる。
【００２５】
このような構成によれば、マスクによる除去を、例えばフレーム差分画像のみに適用することで、移動体以外の変動を無視でき、かつ移動体がマスクによって見失うことなく追跡ができる。これにより、変化領域の除去が柔軟に行え、移動体の検知や追跡精度が向上する。
【００２６】
本発明の好ましい実施の形態においては、移動体検知処理及び／又は移動体追跡処理における移動体現在位置が、当該移動体の過去最新の位置並びにその大きさに基づいて設定された移動体領域内のオブジェクト全体の重心位置として決定される。すなわち、移動体の存在領域の大きさを予め規定し、背景差分画像、あるいはフレーム差分画像に対し、追跡時には前フレームの移動体重心位置を中心として領域を設定し、検知時にはフレーム差分のオブジェクトの重心位置を中心として領域を設定し、領域内のオブジェクト全体の重心を求め、その結果を移動体の重心位置とすることで追跡を行うことができる。
【００２７】
このような構成によれば、１つの移動体が複数のオブジェクトに分裂して見える場合にも対応することができる。また、分裂したオブジェクトを逐次まとめるよりも処理が早くなる。さらに、同じ領域内にあるオブジェクトは同一のものと判断するので、即応性に優れている。
【００２８】
本発明の好ましい実施の形態においては、移動体監視のための情報処理には、背景差分画像の移動体領域内のオブジェクトと背景エッジ画像の移動体領域内のオブジェクトとを照合し、両者の一致度が規定値を超えるときには、誤対応と判定してその旨を通知する誤対応判定処理をさらに含んでいる。すなわち、背景差分における移動体領域のオブジェクトと背景エッジ画像における移動体領域のオブジェクトとを比較し、同一のものと判断したときには誤対応が発生したものと判断する。
【００２９】
このような構成によれば、移動体を見失ったことを検知することで、不安全状態を確実に回避することができる。
【００３０】
本発明の好ましい実施の形態においては、移動体監視のための情報処理には、移動体領域とマスク領域と背景差分領域とを入力画像から除いた領域が規定値以上の大きさを有し、かつその領域の平均輝度値が規定範囲を外れていれば、計測不適照度と判定してその旨を通知する計測状態判定処理をさらに含んでいる。すなわち、移動体領域、移動体による変化領域、マスク領域を除いた領域に対して、画像の平均輝度値を登録画像と現フレーム画像の間で比較する。変化が所定の範囲を超えていれば、計測にふさわしくない照度と判断し、そのことを知らせる。比較の際、比較する領域が所定以下の大きさの場合、計測の信頼性がないとして、そのことを知らせる。
【００３１】
このような構成によれば、判定領域が小さくなり、画像全体の輝度変動を代表できない場合、そのことを通知することで、不安全状態を確実に回避することができる。
【００３２】
本発明の好ましい実施の形態においては、移動体監視のための情報処理には、現フレーム画像のエッジ二値化画像と登録画像のエッジ二値化画像との論理積画像及び論理和画像を生成すると共に、それら論理積画像及び論理和画像における移動体領域及びマスク領域および背景差分領域を除いた領域における二値化ピクセル数をそれぞれカウントし、両二値化ピクセル数カウント値の比が規定値を超えているか否かに基づいて計測不適カメラ位置か否かを判定してその旨を検知する計測状態判定処理をさらに含んでいる。すなわち、現フレームのエッジ二値化画像と登録画像のエッジ二値化画像の論理積画像と論理和画像を作成する。移動体領域、マスク領域および背景差分領域を除いた領域に関して、両画像の二値化ピクセル数をカウントする。その比が所定の値以下の場合、計測にふさわしくないカメラ位置と判断し、そのことを知らせる。
【００３３】
このような構成によれば、判定領域が小さい場合でも高い信頼性が得られる。相関の場合は領域が小さくなり、特徴的な部分が見えないと相関が高くなるが、論理積画像ピクセル又は論理和画像ピクセル数をとる場合、論理積画像のピクセル数が論理和画像のピクセル数を超えることはなく、信頼性が高い。
【００３４】
【発明の実施の形態】
以下に、この発明に係る移動体監視装置の好適な実施の一形態を添付図面に従って詳細に説明する。
【００３５】
移動体監視装置のシステム構成図が図１に示されている。同図に示されるように、この移動体監視装置１は、監視対象領域を撮影するカメラ１０１と、カメラ１０１から得られる画像に基づいて移動体監視のための情報処理を行う情報処理装置１０２とを有する。尚、図において、１０３は人等の移動物体、１０４，１０５は監視対象領域に存在する静止物体であり、この静止物体によって移動物体１０３がカメラ１０１の視野から隠される虞れもある。また、符号Ｇはカメラ１０１で撮影された画像であり、同図から明らかなように、カメラ１０１は監視対象領域の頭上に真下に向けて取り付けられ、長方形状の監視対象領域をその真上から撮影するように取り付けられている。
【００３６】
本システムの具体的な実施例としては次のような構成が考えられる。カメラ１０１としてはＮＴＳＣ方式のＣＣＤカメラを利用することができる。このＣＣＤカメラからは、当業者にはよく知られているように、１秒間に３０枚の画像が取得される。情報処理装置１０２としては、通常のパソコンを使用することができる。このパソコンには、画像取込用のボードと、このボードのドライバと、画像処理ライブラリと、画像処理用のプログラム言語が組み込まれる。例えば、画像取込ボードとしては、ＩＭＡＱ ＰＣＩ−１４１１（登録商標）が、ボードのドライバとしては、ＮＩ−ＩＭＡＱ Ｄｒｉｖｅｒ（登録商標）が、画像処理ライブラリとしてはＩＭＡＱ Ｖｉｓｉｏｎ（登録商標）が、プログラム言語としてはＬａｂＶＩＥＷ（登録商標）がそれぞれ使用可能である。また、パソコン（ＰＣ）のＣＰＵとしてはＰｅｎｔｉｕｍ（登録商標）１．８Ｇが、メモリ容量としては５１２Ｍバイト、ＯＳとしてはＷｉｎｄｏｗｓ（登録商標）２０００が使用可能である。
【００３７】
このような構成によって、画像をカメラ１０１から一定時間間隔で取り込んで、順次画像処理を行う。画像の取得，平滑化，二値化処理などの単機能はＬａｂＶＩＥＷの関数として組み込まれている。ＬａｂＶＩＥＷ（登録商標）ではそれらを用いて処理の手順やロジックを記述することができる。
【００３８】
次に、移動体監視処理の全体を示すゼネラルフローチャートが図２に示されている。同図に示されるように、この移動体監視処理は、画像取込処理（ステップ１０）、差分処理（ステップ２０）、移動体解析処理（ステップ３０）、計測状態判定処理（ステップ４０）を中心として構成されている。先に述べたように、画像取込処理（ステップ１０）では、一定時間間隔（例えば、３３ｍ／ｓｅｃ）でカメラ１０１から撮影された画像を取り込む。続く差分処理（ステップ２０）では、背景差分と３フレーム間差分の２つの処理を行い、変化領域の抽出を行う。続く移動体解析処理（ステップ３０）では、上記差分画像を用いて、移動体の検知と追跡を行う。続く計測状態判定処理（ステップ４０）では、撮像領域の状態が、正しい計測ができる状態であるかどうかをチェックする。
【００３９】
以上の処理が、終了命令が発せられるまで（ステップ６０ＮＯ）、繰り返される。この間に、計測状態不良が判定されれば（ステップ５０ＮＯ）、所定の警報がホールドされる（ステップ７０）。また、終了命令が発せられれば（ステップ６０ＹＥＳ）、処理の全体は終了する。
【００４０】
次に、差分処理の内容を、図３及び図４を参照して説明する。尚、図３は差分処理の詳細を示すフローチャート、図４は差分処理の説明図である。
【００４１】
図３に示されるように、この差分処理においては、いくつかのデータが使用される。このデータとしては、現フレーム画像Ｇ（Ｎ）、１フレーム前画像Ｇ（Ｎ−１）、２フレーム前画像Ｇ（Ｎ−２）、背景画像Ｇ（０）を挙げることができる。
【００４２】
図３において処理が開始されると、３系統の処理が並列に実行される。すなわち、第１系統の処理は、背景差分処理（ステップ２０１）、エッジ抽出処理（ステップ２０２）、二値化処理（ステップ２０３）を順に実行する。第２系統の処理は、現フレーム−２フレーム前処理（ステップ２１１）、エッジ抽出処理（ステップ２１２）、二値化処理（ステップ２１３）を順に実行する。第３系統の処理は、現フレーム−１フレーム前処理（ステップ２２１）、エッジ抽出処理（ステップ２２２）、二値化処理（ステップ２２３）を順に実行する。
【００４３】
これらの処理を分かりやすく図解して示す説明図が図４に示されている。同図から明らかなように、背景差分処理（ステップ２０１）は、背景画像Ｇ（０）と現フレーム画像Ｇ（Ｎ）との差の絶対値をとることによって、画像｜Ｇ（０）−Ｇ（Ｎ）｜を生成する処理である。現フレーム−２フレーム前処理（ステップ２１１）は、２フレーム前画像Ｇ（Ｎ−２）と現フレーム画像Ｇ（Ｎ）との差の絶対値をとることにより、画像｜Ｇ（Ｎ−２）−Ｇ（Ｎ）｜を生成する処理である。現フレーム−１フレーム前処理（ステップ２２１）は、１フレーム前画像Ｇ（Ｎ−１）と現フレーム画像Ｇ（Ｎ）との差の絶対値をとることにより、画像｜Ｇ（Ｎ−１）−Ｇ（Ｎ）｜を生成する処理である。
【００４４】
エッジ抽出処理（ステップ２０２）及び二値化処理（ステップ２０３）は、先に背景差分処理（ステップ２０１）にて生成された画像｜Ｇ（０）−Ｇ（Ｎ）｜に対してエッジ抽出及び二値化（ステップ２０２，２０３）を行うことによって、背景差分画像ＢＧ（０）を生成する。ここで、背景差分画像は、背景には存在しないものを示す性質を有する。
【００４５】
エッジ抽出処理（ステップ２１２）及び二値化処理（ステップ２１３）は、先に、現フレーム−２フレーム前処理（ステップ２１１）で生成された画像｜Ｇ（Ｎ−２）−Ｇ（Ｎ）｜に対して、エッジ抽出及び二値化（ステップ２１２，２１３）を行うことによって、画像Ｇ（２−０）を生成する。また、エッジ抽出処理（ステップ２２２）及び二値化処理（ステップ２２３）は、先に、現フレーム−１フレーム前処理（ステップ２２１）で生成された画像｜Ｇ（Ｎ−１）−Ｇ（Ｎ）｜に対してエッジ抽出及び二値化（ステップ２２２，２２３）を行うことにより、画像Ｇ（１−０）を生成する。
【００４６】
第１系統の二値化処理（ステップ２０３）で生成された画像は背景差分画像ＢＧ（０）としてメモリに書き込まれる（ステップ２０４）。
【００４７】
一方、第２系統の二値化処理（ステップ２１３）で得られた画像Ｇ（２−０）と第３系統の二値化処理（ステップ２２３）で得られた画像Ｇ（１−０）とは論理積がとられ（ステップ２３０）、フレーム間差分画像ＦＧ（０）として、メモリに書き込まれる（ステップ２３１）。ここで、図４から明らかなように、フレーム間差分画像ＦＧ（０）は、短時間の変化を示す性質を有する。
【００４８】
次に、移動体解析処理（ステップ３０）について説明する。移動体解析処理（ステップ３０）の詳細が図５に示されている。同図に示されるように、移動体解析処理は、既知移動体追跡処理（ステップ３１０）と、移動体検知処理（ステップ３２０）と、誤対応判定処理（ステップ３３０）とを含んでいる。
【００４９】
既知移動体追跡処理の詳細を示すフローチャートが図６に、また既知移動体追跡処理の説明図が図７にそれぞれ示されている。
【００５０】
図６に示されるように、既知移動体追跡処理のためには、いくつかのデータが使用される。それらのデータとしては、図７に示されるように、背景差分画像Ｄ１と、移動体データ（過去の重心位置）Ｄ２と、移動体範囲の大きさデータ（カメラ位置や画角から予め規定）Ｄ３とが挙げられる。
【００５１】
図６において処理が開始されると、移動体範囲の大きさデータＤ３の読込処理（ステップ３１０１）及び背景差分画像Ｄ１の読込処理（ステップ３１０２）が順次に実行される。以後、後述する一連の処理が、移動体検知個数分繰り返し実行される。
【００５２】
すなわち、ステップ３１０３では、移動体データＤ２から前フレームの位置座標の読込みが行われる。続くステップ３１０４では、位置座標と枠の大きさ（移動体範囲の大きさ）から探索範囲の設定が行われる。続くステップ３１０４では、探索範囲における変化領域の抽出が行われる。続いて、探索範囲に変化領域の有無が判定される（ステップ３１０６）。ここで変化領域が存在しなければ（ステップ３１０６ＮＯ）、以後の処理は退出（スキップ）され（ステップ３１０９）、一連の処理の先頭に戻って、前フレームの位置座標読込処理（ステップ３１０３）、位置座標と枠大きさから探索範囲を設定する処理（ステップ３１０４）、探索範囲の変化領域の抽出処理（ステップ３１０５）が再び実行される。これに対して、探索範囲に変化領域が存在すれば（ステップ３１０６ＹＥＳ）、その変化領域内の移動体の重心が求められ（ステップ３１０７）、移動体データに付加される（ステップ３１０８）。以上一連の処理（ステップ３１０３〜３１０８）が、移動体検知個数分繰り返される。移動体検知個数分の繰り返しが終了すれば、既知移動体追跡処理は終了する。
【００５３】
次に、以上一連の処理を、図７を参照しつつ、分かりやすく図解して説明する。同図において、符号ＢＧ（７０１）が付されているのが背景差分画像、符号ＢＧ（７０２）が付されているのが１フレーム前の重心位置を中心として移動体範囲が設定された背景差分画像、符号ＢＧ（７０３）が付されているのが移動体範囲内において計算された重心位置が付加された背景差分画像である。尚、符号１０３が付されているのは、移動物体を示す円、符号１０６が付されているのが１フレーム前の重心位置を中心として設定された移動体範囲を示す正方形、符号１０７が付されているのが移動体範囲内において計算された重心位置を示す点である。このように、既知移動体追跡処理においては、背景差分画像ＢＧ（７０１）に対して、１フレーム前の重心位置を中心として移動体範囲を示す正方形１０６を設定し、この正方形１０６内に含まれる移動体１０３の重心位置１０７を計算により求め、これを移動体データＤ４に付加するといった一連の処理を実行するわけである。
【００５４】
次に、移動体検知処理（ステップ３２０）について説明する。移動体検知処理の詳細を示すフローチャートが図８に、移動体検知処理の説明図が図９にそれぞれ示されている。この移動体検知処理においても、いくつかのデータが使用される。それらのデータとしては、フレーム間差分画像ＦＧ、マスク画像、移動体データＤ４、移動体範囲大きさデータＤ３が挙げられる。この移動体検知処理において重要な点は、未知移動体の検知に関しては、フレーム間差分画像を用いて連続的な変化のみを抽出するようにしたことであり、これにより瞬間的な変動を検知しなくなる。
【００５５】
図８において処理が開始されると、フレーム間差分画像の読込処理が行われた後（ステップ３２０１）、続いてマスク画像読込、移動体データ読込、移動体範囲大きさデータの読込が順次実行される（ステップ３２０２）。
【００５６】
その後、フレーム間差分画像において、マスク領域内と移動体領域内（移動体範囲内）の変化領域を除去する処理が実行される（ステップ３２０３）。ここまでで、移動体検知のための前処理が終了する。
【００５７】
しかる後、今回までに得られたフレーム間差分画像において、時間的に連続した変化の有無が判定される（ステップ３２０４）。ここで、時間的に連続した変化がなければ（ステップ３２０４ＮＯ）、移動体検知処理は直ちに終了する。
【００５８】
これに対して、フレーム間差分画像に時間的に連続して変化が見られれば（ステップ３２０４ＹＥＳ）、その移動体に関する移動体範囲大きさデータを読み込んだ後（ステップ３２０５）、後述する一連の処理を、変化領域がなくなるまで繰り返す。
【００５９】
この一連の処理とは、ステップ３２０６〜ステップ３２１１の処理である。すなわち、ステップ３２０６では、画像内で最大の変化領域を探索する。ステップ３２０７では、ステップ３２０６にて探索した変化領域の重心座標と移動体範囲大きさデータから探索範囲を設定する。ステップ３２０８では、探索範囲の変化領域を抽出する。ステップ３２０９では、変化領域の重心を計算により求める。ステップ３２１０では、求められた重心を移動体データＤ２に付加する。ステップ３２１１では、抽出した領域をフレーム間差分画像から除去する。以上一連の処理（ステップ３２０６〜３２１１）を変化領域がなくなるまで繰り返し、変化領域がなくなれば移動体検知処理を終了する。
【００６０】
以上述べた移動体検知処理の内容が、図９に分かりやすく図解して示されている。この例では、検知済み物体除去後のフレーム間差分画像上において、ｋ回連続で、すなわち時間的に連続して変化領域が存在すれば、その変化領域を新たな検知物体として認識し、以後その検知物体の位置を求めて、移動体データＤ２に付加するようにしている。図において、符号ＦＧ（９０１−１〜９０１−ｋ）が付されているのが、検知済み物体と未検知物体との双方を含むフレーム間差分画像であり、符号ＦＧ（９０２−１〜９０２−ｋ）が付されているのが検知済み物体が除去されたフレーム間差分画像である。また、ＦＧ（９０１−１）が付されているのが変化領域が最初に現れたフレーム間差分画像、ＦＧ（９０１−２）が付されているのが未検知物体が２回目に現れたフレーム間差分画像、ＦＧ（９０１−ｋ）が付されているのが未検知物体がｋ回目に現れたフレーム間差分画像である。尚、１０３Ａは検知済み物体を示す円、１０３Ｂは未検知物体を示す正方形、１０６Ａが付されているのが検知済み物体の移動体範囲を示す正方形、符号１０６Ｂが付されているのがこれから検知されようとする未検知物体１０３ｂの移動体範囲の大きさを示す正方形、１０７Ｂはこれから検知されようとする未検知物体の重心位置を示す点である。図から明らかなように、この例にあっては、検知済み物体除去画像ＦＧ（９０２）において、ｋ回連続して未検知物体の変化が検出されたことにより、その変化領域が新規物体として検出される。しかる後、最大の変化領域の重心位置を中心として、移動体範囲１０６Ｂが設定され、この範囲内の重心位置が１０７Ｂとして計算され、この重心二値が新規検知物体の現在位置として移動体データＤ２に付加される。
【００６１】
次に、ステップ３２０２及び３２０３において説明した、画像マスク処理を図１０を参照して分かりやすく図解する。同図に示されるように、最上段には原画像（ＯＧ）が、上から２段目には背景差分画像（ＢＧ）が、上から３段目にはフレーム差分画像（マスクなし）（ＦＧ−１）が、最下段にはフレーム差分画像（マスクあり）（ＦＧ−２）がそれぞれ左から右へと時系列的に示されている。
【００６２】
尚、図において、ＯＧ（１００１）は最初に現れた原画像、ＯＧ（１００２）は２番目に現れた原画像、ＯＧ（１００３）は３番目に現れた原画像、ＯＧ（１００４）は４番目に現れた原画像である。また、符号１０３が付されているのが移動物体（人間）、符号Ｌ１，Ｌ２，Ｌ３が付されているのが点滅の可能性のあるランプである。また、この例にあっては、背景差分画像（ＢＧ）の基礎となる背景画像としては、移動体１０３とランプＬ１，Ｌ２，Ｌ３の全てが存在しない無地の画像とされている。また、フレーム差分画像（マスクなし）（ＦＧ−１）とフレーム差分画像（マスクあり）（ＦＧ−２）との比較から明らかなように、フレーム差分画像（マスクなし）（ＦＧ−１）内に存在するランプＬ１，Ｌ２，Ｌ３は、フレーム差分画像（マスクあり）（ＦＧ−２）に示されるように、マスクＭによって隠されている。そのため、フレーム差分画像（マスクあり）（ＦＧ−２）を使用して行われる移動体検知処理（ステップ３２０）においては、フレーム差分画像（マスクなし）（ＦＧ−１）の一連の例で示されるようにランプを移動体と見なすことなく、未知の移動体のみを確実に検知することができる。これに対して、背景差分画像（ＢＧ）には、一切のマスクＭは存在しないため、背景差分画像（ＢＧ）を使用して行われる既知移動体追跡処理（ステップ３１０）においては、特に原画像ＯＧ（１００４）に対応する背景差分画像ＢＧ（１００４）に示されるように、ランプＬ１，Ｌ２，Ｌ３と移動体範囲１０６とが重なり合ったとしても、移動体１０３を見失うことなく、これを確実に追跡することが可能となるのである。
【００６３】
次に、誤対応判定処理（ステップ３３０）について説明する。誤対応判定処理の詳細を示すフローチャートが図１１に、誤対応判定処理の説明図が図１２にそれぞれ示されている。この誤対応判定処理においては、誤対応により本物の移動体を見失った場合、そのことを通知することで不安全状態を回避できるようにしたものである。
【００６４】
この誤対応判定処理においても、いくつかのデータが利用される。それらのデータとしては、現フレームエッジ二値化画像、背景差分エッジ二値化画像、移動体データが挙げられる。
【００６５】
図１１において処理が開始されると、現フレームエッジ二値化画像と背景差分エッジ二値化画像との論理積をとる処理が実行される（ステップ３３０１）。しかる後、後述する一連の処理が、移動体検知個数分繰り返し実行される。すなわち、まず、移動体データを読み込むことによって、移動体領域における論理積画像と背景差分画像のピクセル数の比を求める演算が実行される（ステップ３３０２）。しかる後、求められた比が一定値以上であるかどうかの判定が行われる（ステップ３３０３）。ここで、求められた比が一定値以上でなければ（ステップ３３０３ＮＯ）、再びステップ３３０２に戻って、移動体領域における論理積画像と背景差分画像のピクセル数の比が求められる。これに対して、求められた比が一定値以上であれば（ステップ３３０３ＹＥＳ）、誤対応判定が通知される（ステップ３３０４）。
【００６６】
以上の処理により実現される誤対応判定処理の内容が図１２に分かりやすく図解して示されている。同図（ａ）に示されるように、いま仮に、背景差分画像（ＢＧ）の二値化画像（現フレームにおいて、移動体１０３並びに移動体領域１０６の他に、ノイズＮ１，Ｎ２が存在するものと想定する。これらのノイズＮ１，Ｎ２は、環境の照明状態が変化したことよって、変化領域として抽出されたものである。すなわち、これら静止物体の輪郭は、本来背景差分画像上から除かれるはずであるが、輝度の変化その他外乱等によって、稀に背景差分画像（ＢＧ）上に残される場合がある。一方、背景エッジ画像の二値化画像（ＢＧ−Ｅ）においては、背景画像ＢＧのエッジ部分が明瞭に残されている。これら２つの画像（ＢＧ，ＢＧ−Ｅ）の論理積をとると、ノイズ部分Ｎ１，Ｎ２が明瞭に浮かび上がる結果となる。同図（ｂ）には、誤対応判定の２つの例が示されている。左側の例は誤対応判定ＯＮであり、右側の例は誤対応判定ＯＦＦである。誤対応判定ＯＮの場合、ノイズＮ１は移動体領域１０６内に存在する。これに対して、誤対応判定ＯＦＦの場合には、ノイズＮ１は移動体領域１０６の外部に存在する。そこで、例えば誤対応判定条件（移動体領域内のノイズの割合が１．０）を設定し、この条件が成り立てば、誤対応判定をＯＮ状態とするようにすれば、同図（ｂ）に示される左側のＯＮ状態と、右側のＯＦＦ状態とを明瞭に切り分けることができる。
【００６７】
次に、計測状態判定処理（ステップ４０）について説明する。計測状態判定処理の詳細を示すフローチャート（その１）が図１３に、その説明図が図１５にそれぞれ示されている。この計測状態判定処理（その１）によれば、移動体領域やマスク領域および背景差分領域を除去した画像を用いることで、移動体や既知の変化に影響されずに照度検査を行うことができる。
【００６８】
図１３に示される処理においても、いくつかのデータが使用される。それらのデータとしては、現フレーム画像、登録画像、移動体データ、マスク画像、背景差分画像を挙げることができる。ここで登録画像とは処理開始時に取得した背景画像である。図１３において処理が開始されると、２系統の処理が並列に実行される。まず第１の系統の処理としては、現フレーム画像、移動体データ、マスク画像、背景差分画像に基づいて、現フレーム画像から移動体領域、マスク領域、背景差分領域をそれぞれ除去する処理が実行される（ステップ４０１）。また、第２系統の処理としては、登録画像、移動体データ、マスク画像、背景差分画像に基づいて、登録画像から移動体領域、マスク領域、背景差分領域をそれぞれ除去する処理が実行される（ステップ４０７）。
【００６９】
しかる後、ステップ４０１に続いて、残った領域の大きさは所定以上かどうかの判定が行われる（ステップ４０２）。ここで残った領域の大きさが所定以上でないと判定されれば（ステップ４０２ＮＯ）、判定不能＝ＯＮとされて（ステップ４０６）、判定不能が通知される。これに対して、残った領域の大きさが所定以上であれば（ステップ４０２ＹＥＳ）、残った領域の平均輝度値が算出される（ステップ４０３）。
【００７０】
一方、ステップ４０７に続いて、残った領域の平均輝度値を算出した後（ステップ４０８）、ステップ４０３にて算出された平均輝度値とステップ４０８にて算出された平均輝度値の比が所定範囲内かどうかの判定が行われ（ステップ４０４）、これが所定の範囲内に収まっていなければ（ステップ４０４）、同様にして検知不能状態＝ＯＮとされ（ステップ４０５）、検知不能状態である旨の通知が行われる。これにより、移動体やマスク領域を除去した画像を用いることで、移動体や既知の変化に影響されずに照度検査を行うことができる。
【００７１】
以上の処理によって実現される計測状態判定の内容が図１５に図解して分かりやすく示されている。同図において符号Ｇ（１５０１）が付されているのが、登録画像（濃淡）であり、符号Ｇ（１５０３）が付されているのが現フレーム画像（濃淡）である。また、符号Ｇ（１５０２）が付されているのが、登録画像（濃淡）Ｇ（１５０１）からマスク領域Ｍと移動体領域１０６とを除去した画像を示しており、同様に符号Ｇ（１５０４）が付されているのが、現フレーム画像（濃淡）Ｇ（１５０３）からマスク領域Ｍと移動体領域１０６とを除去した画像を示している。このように、本発明にあっては、移動体領域・マスク領域以外の領域の平均輝度値を見て、計測不能出力をＯＮ状態とするものである。このとき、計測不能出力をＯＮ状態とするかＯＦＦ状態とするかの判定は、現フレーム画像の平均輝度値と登録画像の平均輝度値の比を規定値と比較することで行う。このようにして得られた現フレーム画像の平均輝度値を分子とし、登録画像の平均輝度値を分母とする両者の比が、所定の範囲内にないときには検知不能との判定が行われる。
【００７２】
次に、計測状態判定処理の詳細を示すフローチャート（その２）が図１４に、その説明図が図１６にそれぞれ示されている。図１４に示される処理においても、いくつかのデータが使用される。それらのデータとしては、登録画像、現フレーム画像、移動体データ、マスク画像、背景差分画像が挙げられる。
【００７３】
図１４において処理が開始されると、登録画像の読込、平滑化、エッジ抽出、二値化がそれぞれ実行される（ステップ４０９）。
【００７４】
続いて、現フレーム画像の読込、平滑化、エッジ抽出、二値化の各処理が実行される（ステップ４１０）。
【００７５】
しかる後、登録エッジ画像と現フレームエッジ画像との論理積と論理和が計算により求められる（ステップ４１１）。続いて、移動体データ、マスク画像、背景差分画像を用いて、上記で求められた論理積画像と論理和画像のそれぞれについて、移動体領域、マスク領域、背景差分領域の除去処理が実行される（ステップ４１２）。続いて、論理積画像と論理和画像に関し、双方の残った部分でのピクセル数の比が求められる（ステップ４１３）。しかる後、ピクセル数の比が所定以上であるかどうかの判定が行われる（ステップ４１４）。ここでピクセル数の比が所定以上であれば（ステップ４１４ＹＥＳ）、直ちに計測状態判定処理は終了する。これに対して、ピクセル数の比が所定以上でなければ（ステップ４１４ＮＯ）、検知不能状態＝ＯＮとされ（ステップ４１５）、検知不能である旨の通知が行われる。
【００７６】
以上述べた計測状態判定処理（その２）の内容が図１６に図解して分かりやすく示されている。尚、図において、Ｇ（１６０１）は登録画像（二値エッジ）であり、Ｇ（１６０３）は現フレーム画像（二値エッジ）である。また、Ｇ（１６０２）は登録画像（二値エッジ）Ｇ（１６０１）から移動体領域及びマスク領域を除去した画像であり、Ｇ（１６０４）は現フレーム画像（二値エッジ）Ｇ（１６０３）から移動体領域及びマスク領域を除去した画像である。また、Ｇ（１６０５）は、画像Ｇ（１６０２）と画像Ｇ（１６０４）との論理積をとった画像であり、画像Ｇ（１６０６）は画像Ｇ（１６０２）と画像Ｇ（１６０４）との論理和をとった画像である。本発明にあっては、論理積画像Ｇ（１６０５）と論理和画像Ｇ（１６０６）を対象として、それぞれのピクセル数を求め、さらに両者の比（論理積画像のピクセル数／論理和画像のピクセル数）を求め、これが所定の値以下のときには検知不能との判定を行う。これにより、カメラずれ等に起因する検知不能状態を確実に検知することができる。
【００７７】
以上の実施の形態によれば、移動体の検出をフレーム差分の変化の連続性をもって見るため、経時的な変動を誤認することなく、かつ移動体の追跡は背景差分を用いるため、移動体が長時間静止するなどの状態に影響されず、見失うことなく追跡でき、撮像領域内の安全状態を確保できる。また、移動体の存在領域の大きさを予め設定しておき、その領域内にあるオブジェクト全てを１つの移動体と見なすことで、オブジェクトが分裂状態であっても簡便かつ安定して、移動体を追跡することができ、領域内の安全状態を確保できる。さらに、照明変動（例えば突然真っ暗になる）によって移動体が見えなくなったり、カメラの位置がずれてしまい、撮像領域がずれてしまったりして、移動体を検知できなくなった状況を検知し、通知することにより、領域の安全状態を確保することができる。
【００７８】
【発明の効果】
以上の説明で明らかなように、本発明によれば、目標とする移動体を検知できるようにしかつ移動体以外が原因の現象（明るさの変動）を検知しなくなり、しかも検知した移動体を見失うことなく追跡することができる。加えて、移動体を検知できない環境や状況になったことを検知し、その旨を外部に通知することができるなどの優れた効果を有する。
【図面の簡単な説明】
【図１】移動体監視装置のシステム構成図である。
【図２】移動体監視装置の全体を示すゼネラルフローチャートである。
【図３】差分処理の詳細を示すフローチャートである。
【図４】差分処理の説明図である。
【図５】移動体解析処理の全体を示すゼネラルフローチャートである。
【図６】既知移動体追跡処理の詳細を示すフローチャートである。
【図７】既知移動体追跡処理の説明図である。
【図８】移動体検知処理の詳細を示すフローチャートである。
【図９】移動体検知処理の説明図である。
【図１０】画像マスク処理の説明図である。
【図１１】誤対応判定処理の詳細を示すフローチャートである。
【図１２】誤対応判定処理の説明図である。
【図１３】計測状態判定処理の詳細を示すフローチャート（その１）である。
【図１４】計測状態判定処理の詳細を示すフローチャート（その２）である。
【図１５】計測状態判定処理の説明図（その１）である。
【図１６】計測状態判定処理の説明図（その２）である。
【符号の説明】
１ 移動体監視装置
１０１ カメラ
１０２ 情報処理装置
１０３ 移動体（人）
１０４，１０５ 静止物体
１０６ 移動体領域（移動体範囲）
１０７ 移動体の重心

Claims (1)

1. 監視対象領域を撮影するカメラと、カメラから得られる画像に基づいて移動体監視のための情報処理を行う情報処理装置とを有する移動体監視装置であって、
   前記情報処理装置にて行われる移動体監視のための情報処理は、差分処理と移動体解析処理とを含む一連の処理を繰り返し実行するものであり、
   前記差分処理は、
   背景差分を生成するための背景差分生成処理と、フレーム差分を生成するためのフレーム差分生成処理と、を含み、
   前記背景差分生成処理は、
   背景画像と現フレーム画像との差分から背景差分画像を生成する、背景差分画像生成処理と、
   前記背景差分画像生成処理にて生成された背景差分画像をメモリに書き込む背景差分画像書込処理とを含み、
   前記フレーム差分生成処理は、
   ２フレーム前画像と現フレーム画像との差分から、現フレームと２フレーム前の差分画像を生成する、フレーム差分画像（２−０）生成処理と、
   １フレーム前画像と現フレーム画像との差分から、現フレームと１フレーム前の差分画像を生成する、フレーム差分画像（１−０）生成処理と、
   前記フレーム差分画像（２−０）と、前記フレーム差分画像（１−０）とで論理積を取り、フレーム間差分画像として、メモリに書き込むフレーム間差分画像書込処理とを含み、
   前記移動体解析処理は、既知移動体追跡処理と、未知移動体検知処理とを含み、
   前記既知移動体追跡処理は、
   前記既知移動体の大きさと前フレーム位置座標に基づいて探索範囲の設定を行う探索範囲設定処理と、
   前記探索範囲において既知移動体の抽出を行い、探索範囲内に既知移動体が存在した場合には、その既知移動体の重心を求めて既知移動体のデータに付加する既知移動体データ付加処理とを含み、
   前記未知移動体検知処理は、
   フレーム間差分画像から既知移動体に該当する変化領域を除去する既知移動体除去処理と、未知移動体に連続変化があるか否かを判定する未知移動体連続変化判定処理と、未知移動体に連続変化があると判定された場合には、連続変化があると判定された未知移動体を既知移動体として登録する既知移動体登録処理とを含み、
   前記既知移動体登録処理は、
   連続変化があると判定された未知移動体について、重心座標と範囲大きさデータとから探索範囲を設定する未知移動体探索範囲設定処理と、
   前記未知移動体探索範囲設定処理にて設定された探索範囲より、連続変化があると判定された未知移動体を抽出する未知移動体抽出処理と、
   前記未知移動体抽出処理にて抽出された未知移動体の重心を計算する未知移動体重心計算処理と、
   前記未知移動体重心計算処理にて求められた重心を新たな既知移動体のデータとして既知移動体データに追加するデータ付加処理と、
   前記データ付加処理にて既知移動体データに加えられた未知移動体について、前記未知移動体抽出処理にて抽出された領域をフレーム間差分画像から除去する新規既知移動体除去処理、とを含むものである、ことを特徴とする移動体監視装置。

Images