JP5924081B2 - 置き去り又は持ち去り検知システム - Google Patents

Description

本発明は、置き去り又は持ち去り検知システムに関し、より詳しくは、一つの物体の置き去り又は持ち去りを複数回検知する事態の発生を低減する置き去り又は持ち去り検知システムに関する。

従来から、例えば不特定多数の人物が出入りする監視エリアにおいて、物体が放置された時刻におけるエリア撮影情報から、物体を置いていった人物の監視エリア侵入時の挙動を録画するようにした監視カメラシステムが知られている（特許文献１参照）。
このシステムは、監視カメラが、侵入者を検知した場合には侵入時刻を記録し、さらに検知した侵入者を追跡して、侵入者が監視エリアを通過した後、置き去りにした物体があって、その物体の静止が一定時間継続した場合に、映像記録装置にアラーム情報と侵入時刻を送信し、映像記録装置が、監視カメラから送信された映像情報をメモリに一定の情報量毎に上書き記録し、アラーム情報及び人物の侵入時刻を受信したとき、侵入時刻からアラーム情報に対応する時刻までの映像情報をメモリからハードディスクへ転送してハードディスクに録画するものである。

また、物体の置き去り又は持ち去りがあった場合に、それを自動的に検知すると共に、物体を置き去った又は持ち去った人物の顔を撮影して、その人物を自動的に特定する監視画像記憶システムも知られている（特許文献２参照）。
このシステムは、物体検知画像が撮影された時刻を物体検知時刻として特定し、この物体検知時刻よりも過去の遅延時間の間に撮影された顔撮影画像情報から置き去り・持ち去り等に係る人物を特定しようとするものである。

これらのシステムは、いずれも置き去り又は持ち去りされた検知物以外に置き去り又は持ち去りが発生した瞬間の状況や人物を見たいというニーズに応えたものであって、監視エリアに設置した監視カメラの映像（又は画像）を入力し、置き去り又は持ち去り検知後に、設定した置き去り又は持ち去りであると判断するのに要する検知時間より以前のカメラ映像を切り出して、表示や保存を行っている。
このように置き去り又は持ち去り発生時における映像（画像）を得ようとすれば、先ず、その前提として置き去り又は持ち去りが発生した時刻を正確に知る必要がある。

図１３は、従来の置き去り又は持ち去り検知システムにおける、置き去り又は持ち去り発生から検知までのタイムチャートである。
このシステムでは、図示のように、時刻ｔ０で置き去り又は持ち去りが発生したとして、その時点で置き去り又は持ち去り検知タイマーを始動する。検知タイマーのタイマー値（以下、検知タイマー値という）Ｔ１が所定の検知時間ｔに達したとき（置き去り又は持ち去りの状態が検知時間ｔ以上継続したとき）、置き去り又は持ち去りがあったと判断する。その判断に基づき置き去り又は持ち去りが発生した時刻ｔ０から所定の時間Δｔ前における映像を切り出して再生や保存などを行う。

ただ、このシステムでは、検知タイマー値Ｔ１が検知時間ｔに達したとしても、時刻ｔ０に必ず置き去り又は持ち去りが発生したという保証はない。特に、置き去り又は持ち去りの検知時間を長く設定した場合には、例えば、置き去り物が画面上で一時的に見えなくなる可能性が高くなるため、誤差が生じる可能性が高くなる。つまり、実際に置き去り又は持ち去りが発生した時刻がｔ０の前後になる場合があり、置き去り又は持ち去り発生時刻ｔ０の精度が悪くなる。

置き去り又は持ち去り発生時刻ｔ０の精度が悪いと、例えば置き去り又は持ち去りが発生する以前の時間Δｔにおける動画を切り出して置き去り又は持ち去り発生時の画像を取得する場合、時間Δｔをより長く設定して長時間の画像を切り出す必要がある。そのためにはレコーダーの保存容量を大きくしなければならずコストアップになるという問題がある。

そこで、本発明の出願人は、置き去り又は持ち去りが発生したときの時刻を正確に取得してその時点における映像又は画像を容易かつ低コストで得られるようにした置き去り又は持ち去り検知システムを提案した（特願２０１１−８１２５８：平成２３年３月３１日）。

この置き去り又は持ち去り検知システムでは、監視エリアの背景画像と現画像との差分である背景差分を画素毎に取得し、差分値が所定の閾値を超えている状態（以下、差分存在状態という）が一定時間に達した画素があるか否かを判断し、あった場合は、その画素に対応する監視エリア内に置き去り又は持ち去りが発生したと判断する。

ここで、差分存在状態が一定時間に達した画像があるか否かの判断を以下のように行う。差分存在状態の開始によりスタートする検知タイマーを画素毎に持たせ、差分存在状態が持続する間、検知タイマー値を増加させる。また、差分存在状態が一時的に中断されたとき、その中断時間に応じて、検知タイマー値を停止又は減少させる。そして、検知タイマー値が所定の検知時間に達したとき、置き去り又は持ち去りと判断する。

図１４は、この置き去り又は持ち去り検知システムにおいて、ある画素で差分存在状態が始まってから、置き去りを検知するまでの検知タイマー値の増減の一例を示す。この図において、横軸は時間を示し、縦軸は検知タイマー値Ｔ１を示す。

検知タイマー値Ｔ１の増減については、差分存在状態である時（時刻ｔ１０〜時刻ｔ１１、時刻ｔ１２〜ｔ１３、時刻ｔ１６以降）は、検知タイマー値Ｔ１を増加させる。差分存在状態でない時は検知タイマー値Ｔ１を減少させる。ただし、差分存在状態がなくなっても暫くの間は一時的な消失の可能性があるので、検知タイマー値Ｔ１を保留する。この図では、時刻ｔ１１〜ｔ１２、時刻ｔ１３〜ｔ１４、及び時刻ｔ１５〜ｔ１６で検知タイマー値Ｔ１を保留し、時刻ｔ１４〜ｔ１５で減少させている。そして、時刻ｔ１７で検知タイマー値Ｔ１が検知時間ｔに達したことで、置き去りを検知している。

しかしながら、この置き去り又は持ち去り検知システムでは、同じ物体を複数回検知してしまうことがある。図１５はその様子を説明するための図である。
図１５Ａに示すように、通路２０１の監視エリア２０２にスーツケースなどの物体２０３が放置され場合、一度に物体２０３の全体を検知矩形Ｒ１０で囲み、検知することが理想的な検知例である。

ところが、１回目に図１５Ｂに示すように物体２０３の右下部分を検知矩形Ｒ１１で囲み、２回目に図１５Ｃに示すように物体２０３の左下部分を検知矩形Ｒ１２で囲み、３回目に図１５Ｄに示すように物体２０３の上部を検知矩形Ｒ１３で囲み、時間差で部分的に複数回検知してしまう場合がある。この場合、放置されている物体２０３に対して、３回検知することになる。

次に、このように検知する理由を説明する。図１４に示したように、検知タイマー値Ｔ１の増減には３つのパターンがある。第１のパターンは検知タイマー値Ｔ１が増加するパターン、第２のパターンは検知タイマー値Ｔ１が減少するパターン、第３のパターンは検知タイマー値Ｔ１が停止するパターンである。

図１６は第１〜第３のパターンを説明するための図である。
図１６Ａは、監視エリアに物体２０３が置かれている状態を示している。このとき、差分存在状態であるため、検知タイマー値Ｔ１は増加する。

図１６Ｂは、監視エリアから物体２０３が回収された場合を示している。この場合、差分存在状態が消失し、復活しないため、検知タイマー値Ｔ１は一定時間停止した後に減少する。

図１６Ｃは物体２０３の前方に人２１０が立ち止まり、物体２０３を隠している状態を示している。この状態では、立ち止まっている時間が一定時間に達するまでは検知タイマー値Ｔ１が停止し、それ以後は減少する。人２１０が物体２０３の前方からいなくなると、検知タイマー値Ｔ１は再び増加する。

図１６Ｄは、物体２０３の前方を人２１０が通過した場合を示している。この場合、差分存在状態の消失時間が短い（一定時間未満）ため、検知タイマー値Ｔ１は消失時間分停止し、再び増加する。

ここで、図１６Ｃに着目すると、物体２０３の一部は見えたままである。なお、物体２０３全体が隠される場合も勿論あるが、説明を判りやすくするため、一部が隠される図とした。

この時、物体２０３のうち、見えている部分は検知タイマー値Ｔ１が増加し、隠れている部分は減少することになり、同じ物体でも検知タイマー値Ｔ１に差異が現れる。また、図１６Ｄの場合でも、人２１０が隠すのが物体２０３の一部であると、同様に差異が現れる。この差異が原因で、同じ物体であっても、部分的に複数回検知する現象が発生することがある。特に、人通りの多い場所ほど、この現象が発生し易い。

特開２０１０−１８７１２４号公報 特開２０１０−８８０７２号公報

本発明は、このような問題を解決するためになされたものであり、その目的は、監視エリアを撮影して取得した画像を処理して、その監視エリアにおける物体の置き去り又は持ち去りを検知するときに、１つの物体を複数回検知する事態の発生を低減することである。

本発明の置き去り又は持ち去り検知システムは、監視エリアを撮影して画像を取得する撮影手段と、前記撮影手段で取得された画像を保存する保存手段と、前記撮影手段で取得された画像及び前記保存手段に保存された画像の画素毎の差分に基づき、前記監視エリアにおける異物画素を検知する異物検知部と、前記異物検知部による異物画素の検知に基づき動作する異物画素毎の検知タイマーと、前記検知タイマーのタイマー値に基づき置き去り又は持ち去りと判断する置き去り又は持ち去り判断部と、を有する置き去り又は持ち去り検知システムであって、前記置き去り又は持ち去り判断部は、少なくとも一部の異物画素の検知タイマーのタイマー値が所定の検知時間に達したとき、異物画素のタイマー値が前記所定の検知時間未満の一定値を閾値として２値化した異物画素をラベリングするラベリング部と、前記ラベリング部によりラベリングされた異物画素からなるラベリング画像内に前記所定の検知時間に達した異物画素があるか否かを判断するラベリング画像解析部と、前記ラベリング画像解析部により、前記所定の検知時間に達した異物画素があると判断されたラベリング画像を異物と判断する異物判断部とを有する置き去り又は持ち去り検知システムである。

本発明によれば、監視エリアを撮影して取得した画像を処理して、その監視エリアにおける物体の置き去り又は持ち去りを検知するときに、１つの物体を複数回検知する事態の発生を低減することができる。

本発明の実施形態に係る置き去り又は持ち去り検知システムの構成を概略的に示すブロック図である。 本発明の実施形態に係る置き去り又は持ち去り検知システムにおいて、監視エリアを撮影して取得した画像における一部の異物画素の検知タイマー値が検知時間に達したときの様子の一例を示す図である。 図２における、検知タイマー値が検知時間の５割以上の異物画素でラベリングした状態を示す図である。 本発明の実施形態に係る置き去り又は持ち去り検知システムにおいて、監視エリアを撮影して取得した画像における一部の異物画素の検知タイマー値が検知時間に達したときの様子の別の一例を示す図である。 図４における、検知タイマー値が検知時間の５割以上の異物画素でラベリングした状態を示す図である。 本発明の実施形態に係る置き去り又は持ち去り検知システムの動作を示すフローチャートである。 図６に示すフローチャートにおけるタイマー処理の内容を説明するためのタイミングチャートである。 図６における異物検知誤差補正処理の内容を示すフローチャートである。 検知タイマー値の不安定な期間を示す図７と同様の図である。 検知タイマー値が不安定となる要因を例示した図である。 検知タイマー値が不安定な期間を説明するための図９の一部拡大図である。 監視エリアを撮影して取得した画像内の検知矩形Ｒを示す図である。 従来の置き去り又は持ち去り検知システムにおける、置き去り又は持ち去り発生から検知までのタイムチャートである。 本願の出願人が提案した置き去り又は持ち去り検知システムにおいて、ある画素で差分存在状態が始まってから、置き去りを検知するまでの検知タイマー値の増減の一例を示すタイムチャートである。 本願の出願人が提案した置き去り又は持ち去り検知システムにおける理想的な検知動作及び複数回検知動作を示す図である。 図１５における複数回検知動作が行われる原因を説明するための図である。

以下、本発明の置き去り又は持ち去り検知システム（以下、単に本検知システムという）の実施形態について図面を参照して説明する。

〈本検知システムの概略構成〉
図１は、本検知システムの構成を概略的に示すブロック図である。
本検知システムは、制御部１００と、制御部１００の入力側インターフェースである入力部１６に接続された外部装置である監視エリアを撮影する監視カメラ２０と、設定変更などを行うためのキーボード２２、マウス２４と、制御部１００の出力側インターフェースである出力部１５に接続された外部装置である静止画や動画を表示する表示装置（モニター）３０と、置き去り又は持ち去りと判断したときにその旨を音声などで報知するためのスピーカー３２、制御部１００の入力部１６を介して取り込んだ監視カメラ２０で撮影した静止画又は動画を、その撮影時間と共に保存する例えばハードディスク（ＨＤＤ）などの保存手段を備えたレコーダー３４とから成っている。

制御部１００は、ＣＰＵ（Central Processing Unit）１０とＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１４からなるコンピュータと既に述べた入力部１６と出力部１５とから構成されている。この制御部１００は、本検知システム全体を制御すると共に、プログラムによって実現する機能実現手段として、異物検知部１０ａと、置き去り又は持ち去り判断部１０ｂと、タイマー制御部１０ｃと、発生時刻演算部１０ｄを備えている。

異物検知部１０ａは、監視エリアにおけるレコーダー３４に格納されている背景画像と監視カメラ２０からの入力画像との例えば輝度画像の差分値を画素毎に求めて異物画素を検知する。

置き去り又は持ち去り判断部１０ｂは、異物検知部１０ａで検知された異物画素を監視し、異物画素毎の検知タイマー値Ｔ１に基づいて、以下の処理を実行する。
まず、検知タイマー値Ｔ１が検知時間ｔとなると、検知時間ｔを閾値として画素毎に２値化を行い、異物画素をラベリングする。次にラベリングされた異物毎に大きさや画素数から不動体の有無を判断し、不動体があると判断した場合は、検知タイマー値Ｔ１が検知時間ｔ未満の一定値（例えば検知時間ｔの５割）を閾値として２値化し、異物画素をラベリングする。
次にラベリングされた異物毎に検知タイマー値Ｔ１が検知時間ｔに達した異物画素があるか否かを判断する。次いで、あると判断したラベリングされた異物を囲む検知矩形を生成する。ここで、検知タイマー値Ｔ１は例えばカウンタのカウント値或いは時間そのものを表す値であってもよい。

タイマー制御部１０ｃは、異物検知部１０ａの異物検知結果に基づき検知タイマーと、後述する停止タイマー及び逆進タイマーの動作を制御する。

〈本検知システムによる置き去り検知例〉
図２は、本検知システムにおいて、監視エリアを撮影して取得した画像における一部の異物画素の検知タイマー値が検知時間に達したときの様子の一例を示す図であり、図３は、図２における、検知タイマー値が検知時間の５割以上の異物画素でラベリングした状態を示す図である。

図２に示すように、通路２０１の監視エリア２０２に物体２０３が放置されている。また、物体２０３の右下部分の異物画素の検知タイマー値Ｔ１は検知時間ｔに達しているとする。枠Ｐ１は検知タイマー値Ｔ１が検知時間ｔに達した異物画素を囲んだものである。このとき、物体２０３の左下部分の画素の検知タイマー値Ｔ１は、検知時間ｔの７割（７０％）以上、ｔ未満になっており、物体２０３の上部の画素の検知タイマー値Ｔ１は、検知時間ｔの５割（５０％）以上、７割（７０％）未満になっていたとする。図における枠Ｐ２、枠Ｐ３は、それぞれ検知タイマー値Ｔ１が検知時間ｔの７割以上、ｔ未満の異物画素、５割以上、７割未満の異物画素を囲んだものである。

ここで、枠Ｐ１、枠Ｐ２、枠Ｐ３が囲む画像は、それぞれ図１５における検知矩形Ｒ１１、検知矩形Ｒ１２、検知矩形Ｒ１３が囲む画像に対応する。つまり、物体の一部の異物画素の検知タイマー値Ｔ１が検知時間ｔに達して検知し（図１５Ｂ）、その後、同じ物体で遅れて検知された他の部分(図１５Ｃ，Ｄ)についても、異物画素の検知タイマー値Ｔ１は検知時間ｔに近い値になると考えられる。

そこで、この考えに基づいて、本検知システムでは、監視エリア２０２で検知タイマー値Ｔ１が検知時間ｔに達した異物画素が見つかったとき、検知タイマー値Ｔ１が検知時間ｔより短い所定の閾値（例えば検知時間ｔの５割）以上の異物画素全体をラベリングし、ラベリングされた異物画素からなるラベリング画像内に検知時間ｔに達した異物画素があるか否かを調べる。そして、あった場合、そのラベリング画像に対応する物体を置き去り又は持ち去り物として、検知矩形を生成し、置き去り又は持ち去り検知並びに通報を行う。

図２において、閾値を検知時間ｔの５割に設定した場合、図３Ａに枠Ｐ１として示すように、物体２０３の右下部分の異物画素の検知タイマー値Ｔ１が検知時間ｔに達すると、図３Ｂに示すように、図２における枠Ｐ１、枠Ｐ２及び枠Ｐ３が統合された異物矩形Ｑ１が生成される。このとき、異物矩形Ｑ１内には検知時間ｔに達した異物画素が存在するので、図３Ｃに示すように、異物矩形Ｑ１が検知矩形Ｒ１とされる。この結果、１回で置き去り又は持ち去りが検知され、通報される。つまり、同じ物体を複数回検知する問題は解決される。ここで、モニター３０に表示されるのは検知矩形Ｒ１であって、異物矩形Ｑ１と枠Ｐ１は表示されない。

図４は、本検知システムにおいて、監視エリアを撮影して取得した画像における一部の異物画素の検知タイマー値が検知時間に達したときの様子の別の一例を示す図であり、図５は、図４における、検知タイマー値が検知時間の５割以上の異物画素でラベリングした状態を示す図である。図４、図５において、図２、図３と同一又は対応部分には、図２、図３と同じ参照符号が付されている。

図４は、図２において、監視エリア２０２内の物体２０３の後方に物体２０４が存在し、その全体の異物画素の検知タイマー値Ｔ１が検知時間ｔの５割以上、７割未満である状態を示している。図４における枠Ｐ４は、物体２０３の後方で検知タイマー値Ｔ１が検知時間ｔの５割以上、７割未満である異物画素を囲んだものである。

この状態において、検知タイマー値Ｔ１が検知時間ｔの５割以上の異物画素をラベリングすると、図５Ａに示すように、図４における枠Ｐ１〜Ｐ３が統合された異物矩形Ｑ１が生成されるとともに、枠Ｐ４と同じ異物矩形Ｑ２が生成される。

このとき、異物矩形Ｑ１内には検知時間ｔに達した異物画素が存在するので、異物矩形Ｑ１が検知矩形とされる。しかし、異物矩形Ｑ２内には検知時間ｔに達した異物画素が存在しないので、異物矩形Ｑ２は検知矩形とされない。この結果、図５Ｂに示すように、異物矩形Ｑ１のみが検知矩形Ｒ１とされ、物体２０３のみ通報される。つまり、物体２０３を通報する際、まだ検知時間ｔに達した異物画素のない物体２０４を通報すると誤検知となるが、上記方法により、物体２０４は通報されない。

〈本検知システムの動作〉
図６は、本検知システムの動作を示すフローチャートである。
制御部１００のＣＰＵ１０は、監視カメラ２０で監視エリアを撮影して取得した画像（撮影画像）を入力部１６を介して取り込むとともに、レコーダー３４に保存された画像（背景画像）を出力部１５を介してレコーダー３４から読み出し、制御部１００の異物検知部１０ａに入力する（ステップＳ１）。

異物検知部１０ａは異物検知処理を実行する（ステップＳ２）。この異物検知処理では、撮影画像の画素毎に、事前にレコーダー３４に保存されている監視エリアの背景画像との差分値を画素毎に求め、差分存在状態（差分値が所定の閾値を超えている状態）か否かを判定し、差分存在状態であったとき、異物画素として検知する。

異物検知部１０ａにより異物画素が検知されると、タイマー制御部１０ｃはタイマー処理を開始する（ステップＳ３）。このタイマー処理では異物画素毎に検知タイマー、停止タイマー、及び逆進タイマーを動作させる。

図７は、タイマー処理（ステップＳ３）の内容を説明するためのタイミングチャートである。この図において、縦軸は検知タイマー値Ｔ１、横軸は時間である。

前述したように、本検知システムは、異物画素を検知したとき、異物画素毎に検知タイマーを作動させ、検知タイマー値Ｔ１が所定の検知時間ｔに達したとき、検知時間ｔの５割を閾値として、検知タイマー値Ｔ１が閾値以上に達している異物画素をラベリングする。このタイマー処理では、異物画素の検知タイマー値Ｔ１が所定の検知時間ｔに達するまでのタイミングの一例を示している。

また、タイマー処理では、一旦異物画素が検知されて検知タイマーが始動すると、検知時間ｔ内においては、例えば置き去りの場合、差分存在状態の間は検知タイマー値Ｔ１を増進（増加）させ、他方、差分存在状態でなくなった時は、検知タイマー値Ｔ１をリセットするよう検知タイマーを制御するようにしてもよい。

ただ、異物画素を検知しても、それが確かに置き去り又は持ち去りであると判断するまでその検知を長時間続けて行う場合には、監視エリアを人が通過して一時的に異物画素の検知ができないとき、或いは、人が置き去り物（又は持ち去りの場合は物のあったところ）を塞ぐことで置き去り物が監視カメラの映像から消えて検知できなくなることがある。
このような場合に、そのたび毎に検知タイマー値Ｔ１をリセットすると、置き去り又は持ち去りの検知は事実上不可能になる場合が出てくる。

そこで、本検知システムでは、例えば置き去りの場合、監視エリアにおいて置き去り物である異物画素を検知できなくなったときに、異物画素を検知できない時間の長さに応じて、検知タイマー値Ｔ１を止めたり、逆進させたりするなどの制御を行って、そのような場合にも置き去り又は持ち去りの判断が行えるようにしている。

具体的には、図７に示すように、例えば時刻ｔ０で異物画素を検知した後、検知タイマー値Ｔ１を増進させていき、異物画素を検知できなくなると、一旦検知タイマー値Ｔ１の増進を止め、ここで、タイマー制御部１０ｃは、検知タイマー値Ｔ１の停止時間ｔ１が予め定めた所定の時間ｔａ未満（ｔ１＜ｔａ）である場合、つまり監視カメラ２０で置き去り物が監視できなくなった（置き去り物が見えなくなった）後に前記所定ｔａの時間内に置き去り物が再び認識できたときは、検知タイマーをリセットせず、図示のように停止させた検知タイマーを起動して、再度検知タイマー値Ｔ１の増進を開始させる。

また、監視カメラ２０からみて、置き去り物が見えなくなった状態で所定の時間ｔａが経過すると（即ち、図中でｔ２＝ｔａ）、その段階で今度は停止させた検知タイマー値Ｔ１を逆進させる（ｔ４）。つまり、それまでの累積の検知タイマー値Ｔ１を逆進させていく（検知タイマー値Ｔ１がゼロになるとその段階で検知タイマーをリセットする。この場合は、一旦置き去りがあったものの、予め設定した検知時間内に持ち去られたので、ここでは置き去り又は持ち去りがあったとは判断せず、元に戻って新たな監視を開始する）。

他方、検知タイマー値Ｔ１がゼロになる前に、再び異物画素（置き去り物）を検知したときは、ここで、検知タイマーの計測を再開する。図示の例では、検知タイマー値Ｔ１の逆進がｔ４時間継続した後、一旦置き去り物が認識できため検知タイマー値Ｔ１の逆進は停止したが、例えばその周りで人が行き来したために検知タイマー値Ｔ１の進行を停止し、検知タイマー値Ｔ１の停止状態がｔ３（ｔ３＜ｔａ）時間継続した後、置き去り物が認識できたため再び検知タイマー値Ｔ１を増進させ、検知タイマー値Ｔ１が逆進した時間分増進させた後、その検知タイマー値Ｔ１（累積タイマー値）が検知時間ｔに達する。

検知タイマー値Ｔ１が検知時間ｔに達すると、タイマー制御部１０ｃは置き去り又は持ち去り判断部１０ｂに画素毎の検知タイマー値Ｔ１を通知する。置き去り又は持ち去り判断部１０ｂは、置き去り・持ち去り検知処理を実行する。

置き去り・持ち去り検知処理では、検知タイマー値Ｔ１が検知時間ｔに達しているか否かに応じて監視エリアの画像の画素を２値化し、検知時間ｔに達している異物画素をラベリングする（ステップＳ４）。

次に置き去り又は持ち去り判断部１０ｂは、ラベリングされた異物毎に大きさや画素数から不動体の有無を判断して（ステップＳ５）、あったときは（ステップＳ５：YES）、その不動体を囲む異物矩形を生成せず、異物検知誤差補正処理を実行する（ステップＳ６）。

図８は、異物検知誤差補正処理の内容を示すフローチャートである。
図示のように、検知タイマー値Ｔ１が検知時間ｔの５割以上か否かに応じて監視領域の全画素を２値化し（ステップＳ２１）、検知タイマー値Ｔ１が検知時間ｔの５割以上の異物画素をラベリングし、ラベリングされた画素を囲む矩形枠からなる異物矩形を生成する（ステップＳ２２）。これにより、例えば図５Ａにおける異物矩形Ｑ１及び異物矩形Ｑ２が生成される。

次に異物矩形毎に、内部に検知タイマー値Ｔ１が検知時間ｔ以上の異物画素があるか否かを調べ、それのない異物矩形を削除し、それのある異物矩形を残す（ステップＳ２３）。これにより、例えば図５Ｂに示すように、異物矩形Ｑ２は削除され、異物矩形Ｑ１が残り、検知矩形Ｒ１とされる。

異物検知誤差補正処理の結果は、出力部１５からモニター３０及びスピーカー３２に出力される（ステップＳ７）。この結果出力の後、ステップＳ１の画像入力処理に戻る。

〈置き去り又は持ち去り検知時刻の算出〉
次に図７における時刻ｔ０の算出手順を説明する。
図７において、検知時間ｔ中に、人が通り過ぎた場合などのように検知タイマー値Ｔ１を保持して、検知タイマー値Ｔ１の増進を一時停止（中断）する停止期間（図７における時間ｔ１，ｔ２，ｔ３で表す期間）、或いは人が置き去り物を前記ｔａ時間以上塞いで検知タイマー値Ｔ１を逆進する（戻す）逆進期間（図７における時間ｔ４で表す期間）、その後人が移動して置き去り物が認識できたときに、検知タイマー値Ｔ１を減少させた分だけ再び増進させる再増進期間（図７におけるｔ４′）があると、置き去りが発生してから置き去りの判断をするまでの間に実時間としてはｔ＋α時間（αは、検知タイマーの停止期間と逆進期間及び逆進させた分元に戻すまでの期間の合計である）が経過する。そのため正確な置き去り発生時刻ｔ０を知りたくとも誤差αがあるため知ることができないという問題が新たに発生する。

そこで、本実施形態では、この誤差αを求めるために、検知タイマーが停止している期間（時間ｔ１，ｔ２，ｔ３）を計測する停止タイマーと、検知タイマー値Ｔ１を逆進している期間（ｔ４）を計測する逆進タイマーを用いて、この誤差αを求める。
なお、検知タイマー値Ｔ１が減少した分再び検知タイマー値Ｔ１を増進させる期間（ｔ４′）は、逆進タイマーの計測期間と同一になるため改めて計測する必要はない。

このように前記停止タイマーと逆進タイマーを用いることにより、前記誤差αは、停止タイマーの計数値をＴ２とし、かつ、逆進タイマーの計数値をＴ３とするとき、
α＝Ｔ２＋Ｔ３×２
で求めることができる。
つまり、例えば置き去り発生時刻ｔ０は、置き去りと判断した時刻から、検知時間ｔ＋α（即ち、Ｔ２＋Ｔ３×２）だけ遡った時刻となる。なお、停止タイマーと逆進タイマーのそれぞれの計測時間（Ｔ２とＴ３）は、検知タイマー値Ｔ１が逆進してＴ１＝０になったときリセットされる。これによって例えば置き去り物の前を人が通ったり或いは一時的に人が立ち止まって覆ったりした場合においても、置き去り（持ち去り）が発生した時刻を知ることができる。

しかし、これだけではまだ精度が不十分である。つまり、実際には、例えば置き去り発生時の検知タイマー値Ｔ１が不安定なことがある。そのため、前記検知時間＋αを求めても精度が十分とは云えない場合がある。
即ち、図９に示すように、検知タイマー値Ｔ１がスタート時に不安定な期間Δｔ０がある場合には、検知時間ｔと誤差αにより求めた置き去り又は持ち去り発生時刻ｔ０からさらにΔｔ０の誤差が発生する。この不安定な期間の発生要因としては、例えば図１０に示すように、置き去りが発生したときに、置いた人が置いた物の前（カメラから見て手前）を行き来して見え隠れすることが挙げられる。

そこで、次に、この不安定な期間の誤差を解消する方法について説明する。
（１）まず、ユーザは、例えばキーボード２２又はマウス２４を用いて、図１１に示すように、不安定な期間Δｔ０よりも長い任意の時間Δｔ１を設定する。制御部１００は、この設定に基づき、時刻ｔ０からΔｔ１遡った時点（時刻）の画像（比較過去画像）をその画像撮影時点の時間情報と共に予め保存しておいたレコーダー３４から読み出す。
（２）制御部１００は、置き去り又は持ち去りを検知したときの画像から置き去り又は持ち去りを検知した部分の座標情報、例えば、図１２に示す撮影画像内の検知矩形Ｒの４隅の画像座標（ｘ１、ｙ１）、（ｘ１、ｙ２）、（ｘ２、ｙ１）、（ｘ２、ｙ２）、及び矩形内の画素の色及び／又は輝度情報を取得する。
（３）制御部１００は、（１）で取得した置き去り検知後に発生時刻演算部１０ｄで演算した置き去り発生時刻ｔ０から更にΔｔ１遡った時刻の比較過去画像の、前記（２）で取得した検知部分（検知矩形Ｒの４隅の座標情報）の色や輝度情報と、同様に前記（２）で取得した情報（検知矩形Ｒの４隅の座標情報及び画素の色及び／又は輝度情報）を比較する。

この比較には、例えばＮＣＣ法（正規化相関法）によるパターンマッチング処理手法（画像データ同士の相関演算により、画像データの中から特定の画像パターンが存在する画像位置を検知する手法）のような日照変化に強いマッチングの方式を用いることが望ましい。

比較の結果、一致しなければ（即ち、一致度が予め定めた所定値よりも低ければ）、時系列でみてｔ０方向の次の画像フレームを用いて前記と同様の比較を行う。一致すれば（即ち、一致度が予め定めた所定値以上であれば）、そのときの画像の撮像時刻が置き去りが実際に発生した時刻であることが分かる。
なお、ここで、一致又は不一致（即ち、一致度が高い或いは低い）は、例えばそれぞれ同じ検知矩形Ｒ内の画素の色及び／又は輝度情報の一致割合が予め定めた閾値に達しているか否かで判断する。

以上詳細に説明したように、本検知システムによれば、１つの置き去り又は持ち去り物を１回で確実に検知し、報知することができる。
また、置き去り又は持ち去り発生時刻ｔ０の検知精度が高いので、長時間に渡って切り出しを行う必要がない。つまり短時間の切り出しでよいからレコーダー３４の保存容量が少なくて済み、従来の置き去り又は持ち去り検知システムに比してコストを低減することができる。
また、保存された映像（画像）を監視する側でも、保存された映像を見る時間が従来システムよりも短縮され、作業負担が軽減されるなどの利点がある。

なお、以上の実施形態では、検知時間ｔの５割を閾値として画像を２値化し、ラベリングしたが、閾値は他の値でもよい。閾値を低くする程、１つの物体を複数回検知する事態を防止する能力は高まる（図２の場合、閾値が検知時間ｔの５割なら１回で検知され、７割なら２回で検知される）。閾値を検知時間ｔの３割程度にすれば、殆どの場合に複数回検知する問題は解決される。

１００・・・制御部、１０・・・ＣＰＵ、１０ａ・・・異物検知部、１０ｂ・・・置き去り又は持ち去り判断部、１０ｃ・・・タイマー制御部、１０ｄ・・・発生時刻演算部、１２・・・ＲＯＭ、１４・・・ＲＡＭ、２０・・・監視カメラ、２２・・・キーボード、２４・・・マウス、３０・・・モニター、３２・・・スピーカー、３４・・・レコーダー。

Claims (7)

1. 監視エリアを撮影して画像を取得する撮影手段と、前記撮影手段で取得された画像を保存する保存手段と、前記撮影手段で取得された画像及び前記保存手段に保存された画像の画素毎の差分に基づき、前記監視エリアにおける異物画素を検知する異物検知部と、前記異物検知部による異物画素の検知に基づき動作する異物画素毎の検知タイマーと、前記検知タイマーのタイマー値に基づき置き去り又は持ち去りと判断する置き去り又は持ち去り判断部と、を有する置き去り又は持ち去り検知システムであって、
   前記置き去り又は持ち去り判断部は、少なくとも一部の異物画素の検知タイマーのタイマー値が所定の検知時間に達したとき、異物画素のタイマー値が前記所定の検知時間未満の一定値を閾値として２値化した異物画素をラベリングするラベリング部と、前記ラベリング部によりラベリングされた異物画素からなるラベリング画像内に前記所定の検知時間に達した異物画素があるか否かを判断するラベリング画像解析部と、前記ラベリング画像解析部により、前記所定の検知時間に達した異物画素があると判断されたラベリング画像を異物と判断する異物判断部とを有する置き去り又は持ち去り検知システム。
2. 請求項１に記載された置き去り又は持ち去り検知システムにおいて、
   前記閾値を可変設定する閾値設定部を有する置き去り又は持ち去り検知システム。
3. 請求項１又は２に記載された置き去り又は持ち去り検知システムにおいて、
   前記検知タイマーを作動制御するタイマー制御部を有し、前記タイマー制御部は、前記検知時間内において前記異物検知部による異物検知が一時中断されたとき、前記中断された時間に応じて検知タイマーを停止又は逆進させる置き去り又は持ち去り検知システム。
4. 請求項３に記載された置き去り又は持ち去り検知システムにおいて、
   前記異物検知部の異物検知が中断されたとき、前記タイマー制御部は検知タイマーを停止すると共にそれまでの累積タイマー値を保持し、タイマー停止が予め定めた所定時間継続したとき前記検知タイマーを逆進させる置き去り又は持ち去り検知システム。
5. 請求項３又は４に記載された置き去り又は持ち去り検知システムにおいて、
   置き去り又は持ち去り発生時刻を演算する発生時刻演算部を有し、前記発生時刻演算部は、前記検知タイマーの増進期間と停止及び／又は逆進期間の各タイマー値を加算して、置き去り又は持ち去り発生時刻を得る置き去り又は持ち去り検知システム。
6. 請求項５に記載された置き去り又は持ち去り検知システムにおいて、
   前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻における監視エリアの画像を前記保存手段から読み出して表示する表示手段を有することを特徴とする置き去り又は持ち去り検知システム。
7. 請求項１乃至６のいずれかに記載された置き去り又は持ち去り検知システムにおいて、
   前記置き去り又は持ち去り判断部が置き去り又は持ち去りがあったと判断したとき、その旨を報知する手段を有することを特徴とする置き去り又は持ち去り検知システム。

Images