JP6532043B2 - 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法 - Google Patents

Description

本発明は、撮像装置により撮像された監視領域の撮像画像に基づいて監視領域内に置き去りにされた置去り物を検出し、置去り物が検出された場合に警報を発報する置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法に関する。

従来、駅や空港等の不特定多数の者が利用する空間では、防犯等を目的として、不審物の置き去りを監視することが行われている。置き去りの監視は一般的に、監視カメラ（撮像装置）により撮像された監視領域の撮像画像を監視員がモニタリングすることにより行われるが、監視員の負担軽減および置き去り検出の精度向上のために、監視領域の撮像画像に基づいて置去り物を自動的に検出することが求められている。

そこで、撮像装置により撮像された監視領域の撮像画像に基づいて置去り物を自動的に検出するための様々な技術が提案されている（例えば、特許文献１）。特許文献１の従来技術では、所定の時間間隔で撮像入力される監視対象領域の入力画像と監視対象領域の初期画像との差を求めて監視対象領域内における人物像を切り出し、この所定の時間間隔で逐次求められる人物像を相互に比較して該人物像から分離する物体像を検出し、物体像が検出されたときにはこの物体像の放置時間を計測し、所定の時間が経過したときに警報を発報するようにしている。

特開平１−２４５３９５号公報

しかしながら、上記特許文献１の従来技術では、置去り物が検出されてから警報を発報するまでの時間である発報時間は一律であるため、監視領域内に複数の置去り物が略同時または短時間内に検出された場合は、複数の警報が略同時にまたは連続して発報されることになる。複数の警報が略同時にまたは連続して発報された場合は、それらに同時に対処することは難しいため、監視員は置去り物毎に不審度や危険度を判断しなければならない。そのため、監視員の負担が大きくなる。このことは、とりわけ、監視領域が混雑している場合や監視領域が広範囲である場合に顕著になる。もし、発報時間を置去り物の不審度または危険度に応じて制御することができれば、特に監視領域内に複数の置去り物が略同時または短時間内に検出された場合の監視員の負担を軽減することが可能となるので有益である。

本発明は、このような従来技術の課題を鑑みて案出されたものであり、発報時間を置去り物の不審度または危険度に応じて制御することが可能な置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法を提供することを主目的とする。

本発明の置去り物監視装置は、撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物を検出し、前記置去り物が検出された場合に警報を発報する置去り物監視装置であって、前記撮像装置により撮像された前記監視領域の撮像画像を取得する画像取得部と、前記撮像画像から前記監視領域内に出現した物体を検出し、検出された物体毎に前記撮像画像間で追跡する物体追跡部と、前記物体追跡部による前記検出された物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記物体を前記置去り物として検出する置去り物検出部と、前記置去り物が検出された場合に、前記置去り物との距離に基づき、前記置去り物の置去り主を検出する置去り主検出部と、前記物体追跡部による前記検出された物体毎の追跡結果に基づき、前記置去り物と前記置去り主との間の離間距離を検出する離間距離検出部と、前記置去り主が検出されてから、前記離間距離が予め定められた距離を超えるまでの離間時間を計測する離間時間計測部と、前記置去り物が検出されてから警報を発報するまでの発報時間を制御する発報時間制御部と、を備え、前記発報時間制御部は、前記離間時間に基づいて、前記発報時間を制御することを特徴とする。

本発明によれば、置去り主が置去り物から予め定められた距離を離れる離間時間に基づく置去り主の不審度に応じて、発報時間を制御することが可能となる。これにより、特に監視領域内に複数の置去り物が略同時または短時間内に検出された場合の監視員の負担を軽減することが可能となる。

本発明の第１実施形態に係る置去り物監視システムの概略構成図 （Ａ）撮像画像から監視領域内に出現した物体（カバンを持った人物）が検出された例を示す図、（Ｂ）撮像画像から監視領域内に新規に出現した出現物体（カバン）が検出された例を示す図 置去り物の種別と発報時間との対応関係を予め記憶したテーブルを示す図 （Ａ）報知画像Ｐ１の例を示す図、（Ｂ）報知画像Ｐ２の例を示す図、（Ｃ）報知画像Ｐ３の例を示す図 第１実施形態に係る置去り物監視装置での処理の流れを示すフロー図 本発明の第２実施形態に係る置去り物監視システムの概略構成図 （Ａ）報知画像Ｐ４の例を示す図、（Ｂ）置去り主の移動軌跡を示す図 第２実施形態に係る置去り物監視装置での処理の流れを示すフロー図 本発明の第３実施形態に係る置去り物監視システムの概略構成図 （Ａ）報知画像Ｐ４の例を示す図、（Ｂ）置去り主が置去り物の近傍に位置している状態を示す図 第３実施形態に係る置去り物監視装置での処理の流れを示すフロー図 本発明の第４実施形態に係る置去り物監視システムの概略構成図 （Ａ）報知画像Ｐ４の例を示す図、（Ｂ）置去り主が置去り物から離れる方向に移動している状態を示す図 第４実施形態に係る置去り物監視装置での処理の流れを示すフロー図

上記課題を解決するためになされた第１の発明は、撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物を検出し、前記置去り物が検出された場合に警報を発報する置去り物監視装置であって、前記撮像装置により撮像された前記監視領域の撮像画像を取得する画像取得部と、前記撮像画像から前記監視領域内に出現した物体を検出し、検出された物体毎に前記撮像画像間で追跡する物体追跡部と、前記物体追跡部による前記検出された物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記物体を前記置去り物として検出する置去り物検出部と、前記置去り物が検出された場合に、前記置去り物との距離に基づき、前記置去り物の置去り主を検出する置去り主検出部と、前記物体追跡部による前記検出された物体毎の追跡結果に基づき、前記置去り物と前記置去り主との間の離間距離を検出する離間距離検出部と、前記置去り主が検出されてから、前記離間距離が予め定められた距離を超えるまでの離間時間を計測する離間時間計測部と、前記置去り物が検出されてから警報を発報するまでの発報時間を制御する発報時間制御部と、を備え、前記発報時間制御部は、前記離間時間に基づいて、前記発報時間を制御することを特徴とする。

この第１の発明に係る置去り物監視装置によれば、置去り主が置去り物から予め定められた距離を離れる離間時間に基づく置去り主の不審度に応じて、発報時間を制御することが可能となる。これにより、特に監視領域内に複数の置去り物が略同時または短時間内に検出された場合の監視員の負担を軽減することが可能となる。

また、第２の発明では、上記第１の発明において、前記置去り物または前記置去り主が検出されたときに、前記置去り物または前記置去り主を取り囲む枠画像を前記撮像画像に重畳した報知画像を生成する報知画像生成部をさらに備えたことを特徴とする。

この第２の発明に係る置去り物監視装置によれば、置去り物または置去り主が検出されたときに、監視者に対して、置去り物あるいは置去り主を視覚的に分かりやすく表示することが可能となる。

また、第３の発明では、上記第１の発明または第２の発明のいずれかにおいて、検出された前記置去り物の種別を判定する置去り物種別判定部と、この置去り物種別判定部により、前記置去り物の種別が判定されたときに、前記置去り物の種別を示す情報を前記撮像画像に重畳した報知画像を生成する報知画像生成部と、をさらに備えたことを特徴とする。

この第３の発明に係る置去り物監視装置によれば、置去り物の種別が判定されたときに、監視者に対して、置去り物の種別を知らせることが可能となる。

また、第４の発明は、上記第１の発明から第３の発明のいずれかに記載の置去り物監視装置と、監視領域を撮像するための撮像装置と、前記置去り物監視装置から発報された警報をユーザに報知する報知装置とを備えた置去り物監視システムである。

また、第５の発明は、撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物を検出し、前記置去り物が検出されたときに警報を発報する置去り物監視方法であって、前記撮像装置により撮像された前記監視領域の撮像画像を取得するステップと、前記撮像画像から前記監視領域内に出現した物体を検出し、検出された物体毎に前記撮像画像間で追跡するステップと、前記検出された物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記物体を前記置去り物として検出するステップと、前記置去り物が検出された場合に、前記置去り物との距離に基づき、前記置去り物の置去り主を検出するステップと、前記追跡するステップによる前記検出された物体毎の追跡結果に基づき、前記置去り物と前記置去り主との間の離間距離を検出するステップと、前記置去り主が検出されてから、前記離間距離が予め定められた距離を超えるまでの離間時間を計測するステップと、前記置去り物が検出されてから警報を発報するまでの発報時間を制御するステップと、を備え、前記発報時間を制御するステップでは、前記離間時間に基づいて、前記発報時間を制御することを特徴とする。

以下、本発明の実施形態について、図面を参照しながら説明する。

（第１実施形態）
まず、本発明の第１の実施形態に係る置去り物監視システム１について、図１〜５を参照して説明する。この置去り物監視システム１は、撮像装置２により撮像された監視領域の撮像画像に基づいて監視領域内に置き去りにされた置去り物を検出し、置去り物が検出された場合に警報を発報するためのシステムであり、駅や空港等の不特定多数の者が利用する空間における不審物の置き去りの監視に適用可能である。以下では、本発明に係る置去り物監視システム１を、駅構内での不審物の置き去りの監視に適用した場合について説明する。

図１は、本発明の第１実施形態に係る置去り物監視システム１の概略構成図である。図１に示すように、置去り物監視システム１は、撮像装置２と、置去り物監視装置３と、表示装置４と、発報装置５とを備えて構成される。表示装置４および発報装置５は、監視員に対して警報を報知するための報知装置としての役割を果たす。置去り物監視装置３は、撮像装置２、表示装置４および発報装置５と、ＬＡＮ（Local Area Network）等の有線または無線通信（例えば、Ｗｉ−Ｆｉ（登録商標）等）を介して接続されている。なお、置去り物監視装置３と、撮像装置２、表示装置４および発報装置５との接続形態は特に限定されるものではなく、例えば、インターネット等のネットワークを介した接続であってよいし、汎用のインターフェース（例えばＵＳＢ（Universal Serial Bus）インターフェース）を用いて通信ケーブルで互いに接続してもよい。

撮像装置２は、例えばＣＣＤカメラ等の一般的な撮像装置であり、壁や天井等に設置され、予め定められた監視領域を、静止画像または動画像として時系列に撮像する。なお、撮像装置２は、監視領域を時系列に撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。例えば、撮像装置２は、壁等に設置され１台で１８０度撮影できるパノラマ型カメラや、天井等に設置され１台で３６０度撮影できる全方位型カメラであってもよい。撮像装置２により時系列に撮像された監視領域の撮像画像は、置去り物監視装置３に入力される。

表示装置４は、監視員が監視業務を行う監視室等に設置されたモニタ（ディスプレイ）等の一般的な表示装置であり、置去り物監視装置３から出力された報知画像（図４参照）を表示する。報知画像の詳細については後述する。なお、表示装置４は、報知画像の表示が可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。例えば、表示装置４は、巡回等で監視室を離れる場合に監視員が携帯する携帯端末の表示画面であってもよい。

発報装置５は、警報ブザーや警報ランプ等の一般的な発報装置であり、置去り物監視装置３により制御されて、警報音声や警報ランプの点滅等によって警報の発報を行う。なお、発報装置５は、警報の発報が可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。

置去り物監視装置３は、一般的なコンピュータ装置であり、詳細は図示しないが、所定の制御プログラムに基づき各種情報処理や周辺機器の制御等を統括的に実行するＣＰＵ（Central Processing Unit）、ＣＰＵのワークエリア等として機能するＲＡＭ（Random Access Memory）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）、ネットワークを介した通信処理を実行するネットワークインターフェース等を含んで構成されている。後に詳述する置去り物監視装置３の各種機能（例えば、発報時間の制御処理）は、ＣＰＵが所定の制御プログラム（例えば、発報時間制御プログラム）を実行することによって実現可能である。なお、置去り物監視装置３としては、コンピュータ装置に限らず、同様の機能を果たすことが可能な他の情報処理装置（サーバ等）を用いることもできる。また、置去り物監視装置の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。

図１に示すように、置去り物監視装置３は、画像取得部１１と、画像処理部１２と、発報時間制御部１３と、報知画像生成部１４とを備えており、画像処理部１２は、物体追跡部２１と、置去り物検出部２２と、置去り物種別判定部２３とを有している。各部は、図示しない制御部によって制御される。

画像取得部１１は、撮像装置２と接続されており、撮像装置２から監視領域の撮像画像を取得する。画像取得部１１は、画像処理部１２および報知画像生成部１４と接続されており、画像取得部１１が撮像装置２から取得した撮像画像は、画像処理部１２および報知画像生成部１４に入力される。

画像処理部１２は、画像取得部１１から撮像画像を取得する。撮像画像が所定時間間隔で撮像された静止画像である場合は、その静止画像データとして取得し、撮像画像が動画像である場合は、該動画像から所定時間間隔で抽出した静止画像データ（画像フレームデータ）として取得する。画像処理部１２が画像取得部１１から取得した撮像画像（静止画像データ）は、物体追跡部２１、置去り物検出部２２および置去り物種別判定部２３で処理される。

物体追跡部２１は、撮像画像から監視領域に出現した物体（以降、「出現物体」と称する）を検出し、検出された出現物体毎に、該出現物体の検出以降の撮像画像間で追跡する。出現物体は、人物、車椅子や電動カート等の人が乗っている移動物体、またはその他の有人または無人の移動物体等であり得る。出現物体の検出は、予め撮像した背景画像と撮像画像との比較、または時系列に互いに隣接する２枚の撮像画像の比較により行われる。具体的には、比較される撮像画像間の対応する画素の画素値（例えば、輝度値）の相違度（差または相関値）を求め、求められた相違度が予め定められた閾値を超える画素を抽出し、近接して抽出された画素をまとめた領域を出現物体として検出する。撮像画像から出現物体が検出されたら、検出された出現物体毎に個別の識別符号を付与し、該出現物体の検出以降の撮像画像間で追跡する。既に検出済みの出現物体の近くに新規の出現物体が出現した場合は、既に検出済みの出現物体から新規の出現物体が分離したと判断する。この場合は、既に検出済みの出現物体の識別符号は変更せず、新規に出現した出現物体に新しい識別符号を付与して管理する。

図２（Ａ）は、物体追跡部２１により、撮像画像から監視領域内に出現した出現物体３１が検出された例を示す図である。図２（Ａ）の例では、出現物体３１は、紙袋３２を持った人物３３である。この時点では、紙袋３２と人物３３は個別に識別されておらず、１つの出現物体３１として検出される。図２（Ｂ）は、物体追跡部２１により、撮像画像から監視領域内に新規に出現した出現物体３４が検出された例を示す図である。図２（Ｂ）の例では、人物３３から分離した紙袋３２が新たな出現物体３４として検出される。以降、紙袋３２は、新たな出現物体３４として追跡される。また、紙袋３２が分離した出現物体３１（すなわち、人物３３）は、そのまま出現物体３１として追跡される。

置去り物検出部２２は、物体追跡部２１による出現物体毎の追跡結果に基づき、置去り物を検出する。具体的には、物体追跡部２１で検出された出現物体毎に、該出現物体の撮像画像内での経時的な変位を求め、予め定められた時間を超えて変位しない、すなわち予め定められた時間を超えて静止している出現物体を置去り物として検出する。置去り物が検出されたら、置去り物毎に固有の識別符号を付与し、該置去り物の検出以降の撮像画像間で追跡する。また、置去り物が検出された場合は、その検出結果が報知画像生成部１４に入力される。

置去り物種別判定部２３は、置去り物検出部２２で検出された置去り物の種別を判定する。置去り物の種別の判定は、公知の画像認識技術を用いて行うことができる。例えば、撮像画像から検出された置去り物の形状特徴やテクスチャ特徴に基づいて置去り物の種別を識別する識別器を用いるとよい。この場合は、置去り物の形状特徴やテクスチャ特徴と置去り物の種別との対応関係を予め記憶したデータベースを用意しておく。なお、置去り物の種別を識別する方法は特に限定されるものではなく、従来公知の様々な方法を用いることが可能である。置去り物種別判定部２３で判定された置去り物の種別は、発報時間制御部１３に入力される。

発報時間制御部１３は、置去り物種別判定部２３で判定された置去り物の種別に応じて、置去り物が検出されてから警報を発報するまでの時間である発報時間を制御する。具体的には、図３に示すような、置去り物の種別と発報時間との対応関係を予め記憶したテーブルを用意しておき、このテーブルを参照して置去り物の種別に対応する発報時間を選択する。図３のテーブルには、「紙袋」に対応する発報時間は「３分」であり、「カバン」に対応する発報時間は「５分」であり、「キャリーバック」に対応する発報時間は「１０分」であり、「灯油缶」に対応する発報時間が「即時」であることが記憶されている。なお、上記の置去り物の種別およびそれに対応する発報時間は一例であり、置去り物の種別と、それに対応発報時間は適宜設定することができる。

置去り物は、その種別によって不審度や危険度が異なる。不審度が高い置去り物は、監視領域から早めに撤去する必要があるので、発報時間は短くする。紙袋やカバンは、不審物である可能性が高いため不審度が高いと見なし、発報時間は「３分」または「５分」と短めに設定する。紙袋はカバンより不審度が高いと見なし、紙袋の発報時間はカバンよりも短く設定する。一方、不審度が低い置去り物は、監視領域から急いで撤去する必要がないので、発報時間は長めに設定する。キャリーバックは、乗客等が所用のために一時的にその場を離れた際に生じた放置物である可能性が高いため不審度は低いと見なし、発報時間は「１０分」と長めに設定する。そして、危険度が高い置去り物は、監視領域から即座に撤去する必要があるので、発報時間は「即時」に設定する。灯油缶は危険物と見なされるので、発報時間は「即時」に設定する。

また、発報時間制御部１３は、発報装置５を制御することができる。発報時間制御部１３は、上記のようにして選択した発報時間に基づいて発報装置５を駆動し、警報音声や警報ランプの点滅等によって、置去り物の検出を知らせる警報の発報を行う。また、発報時間制御部１３で選択された発報時間は報知画像生成部１４に入力され、報知画像生成部１４で生成される報知画像を用いて、表示装置４を介して警報の発報を行う。なお、本実施形態では、警報の発報は、発報装置５と表示装置４との両方を介して行うように構成したが、警報の発報は、発報装置５または表示装置４のいずれか一方を介して行うように構成してもよい。

報知画像生成部１４は、置去り物検出部２２で置去り物が検出されたときに、画像取得部１１から入力された撮像画像に、置去り物を取り囲む枠画像を重畳して報知画像Ｐ１を生成する。図４（Ａ）は、報知画像Ｐ１の例を示す図である。図４（Ａ）の例では、置去り物としてカバン４１が検出されており、撮像画像にカバン４１を取り囲む枠画像４２を重畳した報知画像Ｐ１が生成されている。

また、報知画像生成部１４は、置去り物種別判定部２３で置去り物の種別が判定されたときに、図４（Ａ）に示した報知画像Ｐ１に、置去り物の種別を示す情報をさらに重畳して報知画像Ｐ２を生成する。置去り物が種別を示す情報としては、例えば、置去り物の種別の名称の文字を用いることができる。図４（Ｂ）は、報知画像Ｐ２の例を示す図である。図４（Ｂ）の例では、置去り物はカバン４１なので、置去り物の種別を示す情報として「カバン」という文字４３を報知画像Ｐ１に重畳した報知画像Ｐ２が生成されている。なお、置去り物が種別を示す情報は、置去り物の種別の名称の文字に限定されるものではなく、例えば、置去り物の種別を示す絵や記号等であってもよい。また、本実施形態では、報知画像Ｐ１および報知画像Ｐ２の両方を生成したが、報知画像Ｐ１または報知画像Ｐ２のいずれか一方だけを生成するようにしてもよい。また、ポップアップ画面を用いて、置去り物の種別を示す情報を表示するようにしてもよい。

また、報知画像生成部１４は、発報時間制御部１３から入力された発報時間に基づいて、図４（Ｂ）に示した報知画像Ｐ２に、警報の発報を示す情報をさらに重畳して報知画像Ｐ３を生成する。図４（Ｃ）は、報知画像Ｐ３の例を示す図である。図４（Ｃ）の例では、置去り物であるカバン４１を取り囲む枠画像４２の色を目立つ色に変更することにより、報知画像に警報の発報を示す情報を重畳している。なお、図４（Ｃ）では、枠画像４２の線を太くすることにより、枠画像４２の色が目立つ色に変更されたことを示している。なお、警報の発報を示す情報は、置去り物を取り囲む枠画像４２の色の変更に限定されるものではなく、例えば、枠画像４２の点滅や、警報の発報を示す文字や絵等の表示等あってもよい。

報知画像生成部１４で生成された報知画像は、表示装置４に出力される。また、報知画像生成部１４は、置去り物検出部２２で置去り物が検出されないときは、画像取得部１１から入力された撮像画像をそのまま表示装置４に出力する。

次に、図１に示した本発明の第１実施形態に係る置去り物監視システム１の置去り物監視装置３での処理の流れを、図５のフロー図を参照して説明する。

まず、画像取得部１１が、撮像装置２から撮像画像を取得し、画像処理部１２および報知画像生成部１４に入力する（ステップＳＴ１０１）。続いて、物体追跡部２１が、撮像画像から監視領域内に出現した出現物体（図２（Ａ）、図２（Ｂ）参照）の検出を行う（ステップＳＴ１０２）。出現物体が検出された場合（ステップＳＴ１０２：Ｙｅｓ）は、ステップＳＴ１０３に進み、出現物体が検出されなかった場合（ステップＳＴ１０２：Ｎｏ）は、ステップＳＴ１０１に戻る。

ステップＳＴ１０３では、物体追跡部２１が、検出された出現物体毎に、該出現物体の検出以降の撮像画像間での追跡を開始する。続くステップＳＴ１０４では、置去り物検出部２２が、物体追跡部２１による出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない出現物体を置去り物として検出する。置去り物が検出された場合（ステップＳＴ１０４：Ｙｅｓ）は、ステップＳＴ１０５に進み、置去り物が検出されなかった場合（ステップＳＴ１０４：Ｎｏ）は、ステップＳＴ１０１に戻る。ステップＳＴ１０１に戻った場合、その次のステップＳＴ１０２では、既に検出済みの出現物体以外の、新規に検出される出現物体の検出を行う。

ステップＳＴ１０５では、報知画像生成部１４が、画像取得部１１から入力された撮像画像に、置去り物４１を取り囲む枠画像４２を重畳して報知画像Ｐ１（図４（Ａ）参照）を生成し、表示装置４に出力する。次に、ステップＳＴ１０６では、置去り物種別判定部２３が、置去り物検出部２２で検出された置去り物４１の種別を判定する。続いて、ステップＳＴ１０７では、報知画像生成部１４が、報知画像Ｐ１に置去り物４１の種別を示す情報４３を重畳して報知画像Ｐ２（図４（Ｂ）参照）を生成し、表示装置４に出力する。

次のステップＳＴ１０８では、発報時間制御部１３が、置去り物の種別と発報時間との対応関係を記憶したテーブル（図３参照）を参照して、置去り物種別判定部２３で判定された置去り物の種別に対応する発報時間を選択する。そして、ステップＳＴ１０９では、発報時間制御部１３で選択された、置去り物の種別に対応する発報時間で、表示装置４および発報装置５を介して警報の発報を行う。具体的には、報知画像生成部１４で報知画像Ｐ３（図４（Ｃ）参照）を生成して表示装置４に出力することにより、並びに発報装置５を駆動することにより、警報の発報を行う。

以上のように、この第１実施形態によれば、置去り物が検出されてから警報を発報するまでの発報時間を置去り物の種別に応じて制御することができるので、発報時間を置去り物の不審度または危険度に応じて制御することが可能となる。また、これにより、特に監視領域内に複数の置去り物が略同時または短時間内に検出された場合の監視員の負担を軽減することが可能となる。なお、上記の実施形態では、置去り物の種別として紙袋やカバン等の物品を例示したが、物品に限らず人物も置去り物の種別として設定することもできる。この場合、泥酔や転倒等の理由により不動状態にある人物は、保護の緊急性が高いことから、発報時間は「即時」に設定するとよい。

（第２実施形態）
次に、本発明の第２の実施形態に係る置去り物監視システム１について、図６〜８を参照して説明する。この第２実施形態に係る置去り物監視装置３は、置去り主検出部２４と、移動軌跡抽出部２５とをさらに備えている点が、図１に示した第１実施形態に係る置去り物監視装置３と異なる。他の点は上述した第１実施形態と同じであるので、同一の符号を付してその説明は省略する。

置去り主検出部２４は、置去り物検出部２２で置去り物が検出された場合に、置去り物との距離に基づき、置去り物の置去り主を検出する。具体的には、置去り物から予め定められた距離以内に存在する、置去り物以外の出現物体を置去り主として検出する。置去り物以外の出現物体が複数存在する場合は、置去り物との距離が最も近い出現物体を置去り主として検出する。置去り物とそれ以外の出現物体との間の距離としては、撮像画像における置去り物とそれ以外の出現物体との間の画素間の距離を用いる。

報知画像生成部１４は、置去り主検出部２４で置去り主が検出されたときに、画像取得部１１から入力された撮像画像に、置去り主５１を取り囲む枠画像５２を重畳して報知画像Ｐ４を生成する。図７（Ａ）は、報知画像生成部１４により生成された報知画像Ｐ４の例を示す図である。図７（Ａ）の例では、置去り物としてのキャリーバック５３と、それに近接して位置する置去り主５１が検出されている。なお、置去り物５３を取り囲む枠画像５４は、置去り物検出部２２で置去り物５３が検出されたときに既に撮像画像に重畳されているものとする。

移動軌跡抽出部２５は、物体追跡部２１による出現物体毎の追跡結果に基づき、置去り物５３の検出時点よりも過去の置去り主５１の移動軌跡を抽出する。例えば、置去り物５３が検出された時点を終点とする予め定められた期間内における置去り主５１の移動軌跡を抽出する。図７（Ｂ）は、移動軌跡抽出部２５により抽出された置去り主５１の移動軌跡５５を示す図である。図７（Ｂ）の例では、置去り主５１の移動軌跡５５は、左右に大きく蛇行している。

発報時間制御部１３は、移動軌跡抽出部２５で抽出された置去り主５１の移動軌跡５５が予め定められた条件に当てはまるか否かを判断し、前記条件に当てはまると判断された場合は、上記第１実施形態において発報時間制御部１３が選択した置去り物の種別に応じた発報時間に関係なく、表示装置４および発報装置５を介して即時に警報を発報するように発報時間を制御する。具体的は、移動軌跡５５が、予め定められた許容範囲を超えて大きく蛇行している場合に、即時に警報を発報するようにする。一方、前記条件に当てはまらないと判断された場合は、置去り物の種別に応じた発報時間で、表示装置４および発報装置５を介して警報の発報を行う。

次に、図６に示した本発明の第２実施形態に係る置去り物監視システム１の置去り物監視装置３での処理の流れを、図８のフロー図を参照して説明する。

この第２実施形態に係る置去り物監視装置３での処理は、図５のフロー図を参照して説明した第１実施形態に係る置去り物監視装置３での処理のステップＳＴ１０８とステップＳＴ１０９との間に、ステップＳＴ２０１〜２０４が追加された点と、ステップＳＴ２０４に続くステップＳＴ２０５が追加された点が、第１実施形態と異なる。以下、追加されたステップＳＴ２０１〜２０５について説明する。

ステップＳＴ１０８（図５参照）に続くステップＳＴ２０１では、置去り主検出部２４が、置去り物との距離に基づき、置去り物の置去り主を検出する。続いて、ステップＳＴ２０２では、報知画像生成部１４が、画像取得部１１から入力された撮像画像に、置去り主５１を取り囲む枠画像５２を重畳して報知画像Ｐ４（図７（Ａ）参照）を生成する。次のステップＳＴ２０３では、移動軌跡抽出部２５が、物体追跡部２１による出現物体毎の追跡結果に基づき、置去り物５３の検出時点よりも過去の置去り主５１の移動軌跡５５を抽出する（図７（Ｂ）参照）。

続くステップＳＴ２０４では、発報時間制御部１３が、移動軌跡抽出部２５で抽出された置去り主５１の移動軌跡５５が予め定められた条件に当てはまるか否かを判断する。移動軌跡５５が前記条件に当てはまると判断された場合（ステップＳＴ２０４：Ｙｅｓ）はステップＳＴ２０５に進み、移動軌跡５５が前記条件に当てはまらないと判断された場合（ステップＳＴ２０４：Ｎｏ）はステップＳＴ１０８に進む。

ステップＳＴ２０５では、先のステップＳＴ１０８（図５参照）において選択された置去り物の種別に応じた発報時間に関係なく、表示装置４および発報装置５を介して即時に警報の発報を行う。一方、ステップＳＴ１０９では、置去り物の種別に応じた発報時間で、表示装置４および発報装置５を介して警報の発報を行う。

以上のように、この第２実施形態によれば、置去り物の検出時点よりも過去の置去り主の移動軌跡が予め定められた条件に当てはまる場合は、置去り物の種別に応じた発報時間に関係なく即時に警報を発報することができる。これにより、例えば、置去り物の検出時点よりも過去の置去り主の移動軌跡が左右に大きく蛇行している場合は、置去り主が泥酔者である可能性が高いと判断して、即時に警報を発報することが可能となる。このようにすると、泥酔者が荷物を置き忘れるのを防止したり、泥酔者を迅速に保護したりすることが可能となる。

（第３実施形態）
次に、本発明の第３の実施形態に係る置去り物監視システム１について、図９〜１１を参照して説明する。この第３実施形態に係る置去り物監視装置３は、移動軌跡抽出部２５の代わりに離間距離検出部２６を備えている点が、図６に示した第２実施形態に係る置去り物監視装置３と異なる。他の点は上述した第２実施形態と同じであるので、同一の符号を付してその説明は省略する。

離間距離検出部２６は、置去り主検出部２４で置去り主が検出された場合に、物体追跡部２１による出現物体毎の追跡結果に基づき、置去り物と置去り主との間の離間距離を検出する。具体的には、撮像画像における置去り物と置去り主との間の画素間の距離を離間距離として検出する。

報知画像生成部１４は、置去り主検出部２４で置去り主が検出されたときに、画像取得部１１から入力された撮像画像に、置去り主６１を取り囲む枠画像６２を重畳して報知画像Ｐ４を生成する。図１０（Ａ）は、報知画像生成部１４により生成された報知画像Ｐ４の例を示す図である。図１０（Ａ）の例では、置去り物としてのカバン６３と、それに近接して位置する置去り主６１とが検出されている。なお、置去り物６３を取り囲む枠画像６４は、置去り物検出部２２で置去り物６３が検出されたきに既に撮像画像に重畳されているものとする。図１０（Ｂ）は、置去り主６１が置去り物６３の近傍に位置している状態を示す図である。離間距離検出部２６は、このときの、置去り主６１と置去り物６３との間の離間距離Ｄを検出する。

発報時間制御部１３は、離間距離検出部２６で検出された離間距離Ｄが予め定められた閾値距離Ｄｔｈ１未満であるか否かを判断し、離間距離Ｄが閾値距離Ｄｔｈ１未満であると判断された場合は、上記第１実施形態において発報時間制御部１３が選択した置去り物の種別に応じた発報時間を経過しても警報を発報しないように発報時間を制御する。一方、離間距離Ｄが閾値距離Ｄｔｈ１以上であると判断された場合は、置去り物の種別に応じた発報時間で、表示装置４および発報装置５を介して警報を発報する。

次に、図９に示した本発明の第３実施形態に係る置去り物監視システム１の置去り物監視装置３での流れを、図１１のフロー図を参照して説明する。

この第３実施形態に係る置去り物監視装置３での処理は、図５のフロー図を参照して説明した第１実施形態に係る置去り物監視装置３での処理のステップＳＴ１０８とステップＳＴ１０９との間に、ステップＳＴ３０１〜３０４が追加された点が、第１実施形態と異なる。以下、追加されたステップＳＴ３０１〜３０４について説明する。

ステップＳＴ１０８（図５参照）に続くステップＳＴ３０１では、置去り主検出部２４が、置去り物との距離に基づき、置去り物の置去り主を検出する。続いて、ステップＳＴ３０２では、報知画像生成部１４が、画像取得部１１から入力された撮像画像に、置去り主６１を取り囲む枠画像６２を重畳して報知画像Ｐ４（図１０（Ａ）参照）を生成する。次のステップＳＴ３０３では、離間距離検出部２６が、物体追跡部２１による出現物体毎の追跡結果に基づき、置去り物と置去り主との間の離間距離Ｄを検出する（図１０（Ｂ）参照）。

続くステップＳＴ３０４では、発報時間制御部１３が、離間距離検出部２６で検出された離間距離Ｄが予め定められた閾値距離Ｄｔｈ１未満であるか否かを判断する。離間距離Ｄが閾値距離Ｄｔｈ１未満であると判断された場合（ステップＳＴ３０４：Ｙｅｓ）はステップＳＴ３０３に戻り、離間距離Ｄが閾値距離Ｄｔｈ１以上であると判断された場合（ステップＳＴ３０４：Ｎｏ）はステップＳＴ１０９に進む。そして、ステップＳＴ１０９では、置去り物の種別に応じた発報時間で、表示装置４および発報装置５を介して警報の発報を行う。

以上のように、この第３実施形態によれば、置去り物と置去り主との間の離間距離が予め定められた閾値距離未満である場合は、置去り物の種別に応じた発報時間を経過しても警報を発報しないように発報時間を制御することができる。これにより、置去り主が置去り物の近くに存在する場合は、置去り物の不審度が低いと判断して、警報の発報を行わないことが可能となる。また、これにより、監視領域内に複数の置去り物が略同時または短時間内に検出された場合の監視員の負担をさらに軽減することが可能となる。

（第４実施形態）
次に、本発明の第４の実施形態に係る置去り物監視システム１について、図１２〜１４を参照して説明する。この第４実施形態に係る置去り物監視装置３は、離間時間計測部をさらに備えている点が、図９に示した第３実施形態に係る置去り物監視装置３と異なる。他の点は第３実施形態と同じであるので、同一の符号を付してその説明は省略する。

離間時間計測部２７は、置去り主検出部２４で置去り主が検出されてから、置去り物と置去り主との間の離間距離Ｄが予め定められた閾値距離Ｄｔｈ２を超えるまでの離間時間を計測する。具体的には、置き去り主検出部２４で置去り主が検出された時刻と、離間距離Ｄが閾値距離Ｄｔｈ２を超えた時刻とをそれぞれ記憶し、両時刻の差分を計算して離間時間を求める。なお、置去り物と置去り主との間の離間距離Ｄは、離間距離検出部２６で検出する。

報知画像生成部１４は、置去り主検出部２４で置去り主が検出されたときに、画像取得部１１から入力された撮像画像に、置去り主７１を取り囲む枠画像７２を重畳して報知画像Ｐ４を生成する。図１３（Ａ）は、報知画像生成部１４により生成された報知画像Ｐ４の例を示す図である。図１３（Ａ）の例では、置去り物としての紙袋７３と、それに近接して位置する置去り主７１とが検出されている。なお、置去り物７３を取り囲む枠画像７４は、置去り物検出部２２で置去り物７３が検出されたときに既に撮像画像に重畳されているものとする。図１３（Ｂ）は、置去り主７１が置去り物７３から離れる方向に移動している状態を示す図である。離間距離検出部２６は、このときの、置去り主６１と置去り物６３との間の離間距離Ｄを検出する。そして、離間時間計測部２７は、置去り主検出部２４で置去り主が検出された時点から、離間距離Ｄが閾値距離Ｄｔｈ２を超えた時点までの時間を計測する。

発報時間制御部１３は、離間時間計測部２７で計測された離間時間Ｔが予め定められた閾値時間Ｔｔｈ未満であるか否かを判断し、離間時間Ｔが閾値時間Ｔｔｈ未満であると判断された場合は、上記第１実施形態において発報時間制御部１３が選択した置去り物の種別に応じた発報時間に関係なく、表示装置４および発報装置５を介して即時に警報を発報するように発報時間を制御する。一方、離間時間Ｔが閾値時間Ｔｔｈ以上であると判断された場合は、置去り物の種別に応じた発報時間で、表示装置４および発報装置５を介して警報の発報を行う。

次に、図１２に示した本発明の第４実施形態に係る置去り物監視システム１の置去り物監視装置３での流れを、図１４のフロー図を参照して説明する。

この第４実施形態に係る置去り物監視装置３の処理は、図５を参照して説明した第１実施形態に係る置去り物監視装置３の処理のステップＳＴ１０８とステップＳＴ１０９との間にステップＳＴ４０１〜４０４が追加された点と、ステップＳＴ４０４に続くステップＳＴ４０５が追加された点が、第１実施形態と異なる。以下、追加されたステップＳＴ４０１〜４０５について説明する。

ステップＳＴ１０８（図５参照）に続くステップＳＴ４０１では、置去り主検出部２４が、置去り物との距離に基づき、置去り物の置去り主を検出する。続いて、ステップＳＴ４０２では、報知画像生成部１４が、画像取得部１１から入力された撮像画像に、置去り主７１を取り囲む枠画像７２を重畳して報知画像Ｐ４（図１３（Ａ）参照）を生成する。

次のステップＳＴ４０３では、離間距離検出部２６が、物体追跡部２１による出現物体毎の追跡結果に基づき、置去り物７３と置去り主７１との間の離間距離Ｄを検出する。続くステップＳＴ４０４では、離間時間計測部２７が、置去り主検出部２４で置去り主が検出されてから、置去り物７３と置去り主７１との間の離間距離Ｄ（図１３（Ｂ）参照）が予め定められた閾値距離Ｄｔｈ２を超えるまでの離間時間を計測する。

次に、ステップＳＴ４０５では、発報時間制御部１３が、離間時間計測部２７で計測された離間時間Ｔが予め定められた閾値時間Ｔｔｈ未満であるか否かを判断する。離間時間Ｔが閾値時間Ｔｔｈ未満であると判断された場合（ステップＳＴ４０５：Ｙｅｓ）はステップＳＴ４０６に進み、離間時間Ｔが閾値時間Ｔｔｈ以上であると判断された場合（ステップＳＴ４０５：Ｎｏ）はステップＳＴ１０９に進む。

ステップＳＴ４０６では、ステップＳＴ１０８（図５参照）において選択された置去り物の種別に応じた発報時間に関係なく、表示装置４および発報装置５を介して即時に警報の発報を行う。一方、ステップＳＴ１０９では、置去り物の種別に応じた発報時間で、表示装置４および発報装置５を介して警報の発報を行う。

以上のように、この第４実施形態によれば、置去り主が検出されてから、置去り物と置去り主との間の離間距離が予め定められた距離を超えるまでの離間時間が予め定められた閾値時間未満である場合は、置去り物の種別に応じた発報時間に関係なく即時に警報を発報することができる。これにより、置去り主が置去り物からすぐに離れた場合は、置去り主の行動が不審であることから置去り物の不審度が高いと判断して、即時に警報を発報することが可能となる。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本発明に係る置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本発明に係る置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法は、発報時間を置去り物の不審度または危険度に応じて制御することが可能な置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法等として有用である。

１ 置去り物監視システム
２ 撮像装置
３ 置去り物監視装置
４ 表示装置（報知装置）
５ 発報装置（報知装置）
１１ 画像取得部
１２ 画像処理部
１３ 発報時間制御部
１４ 報知画像生成部
２１ 物体追跡部
２２ 置去り物検出部
２３ 置去り物種別判定部
２４ 置去り主検出部
２５ 移動軌跡抽出部
２６ 離間距離検出部
２７ 離間時間検出部

Claims (5)

1. 撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物を検出し、前記置去り物が検出された場合に警報を発報する置去り物監視装置であって、
   前記撮像装置により撮像された前記監視領域の撮像画像を取得する画像取得部と、
   前記撮像画像から前記監視領域内に出現した物体を検出し、検出された物体毎に前記撮像画像間で追跡する物体追跡部と、
   前記物体追跡部による前記検出された物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記物体を前記置去り物として検出する置去り物検出部と、
   前記置去り物が検出された場合に、前記置去り物との距離に基づき、前記置去り物の置去り主を検出する置去り主検出部と、
   前記物体追跡部による前記検出された物体毎の追跡結果に基づき、前記置去り物と前記置去り主との間の離間距離を検出する離間距離検出部と、
   前記置去り主が検出されてから、前記離間距離が予め定められた距離を超えるまでの離間時間を計測する離間時間計測部と、
   前記置去り物が検出されてから警報を発報するまでの発報時間を制御する発報時間制御部と、を備え、
   前記発報時間制御部は、前記離間時間に基づいて、前記発報時間を制御することを特徴とする置去り物監視装置。
2. 前記置去り物または前記置去り主が検出されたときに、前記置去り物または前記置去り主を取り囲む枠画像を前記撮像画像に重畳した報知画像を生成する報知画像生成部をさらに備えたことを特徴とする請求項１に記載の置去り物監視装置。
3. 検出された前記置去り物の種別を判定する置去り物種別判定部と、
   この置去り物種別判定部により、前記置去り物の種別が判定されたときに、前記置去り物の種別を示す情報を前記撮像画像に重畳した報知画像を生成する報知画像生成部と、
   をさらに備えたことを特徴とする請求項１または請求項２のいずれかに記載の置去り物監視装置。
4. 請求項１から請求項３のいずれかに記載の置去り物監視装置と、
   監視領域を撮像するための撮像装置と、
   前記置去り物監視装置から発報された警報をユーザに報知する報知装置と、
   を備えた置去り物監視システム。
5. 撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物を検出し、前記置去り物が検出されたときに警報を発報する置去り物監視方法であって、
   前記撮像装置により撮像された前記監視領域の撮像画像を取得するステップと、
   前記撮像画像から前記監視領域内に出現した物体を検出し、検出された物体毎に前記撮像画像間で追跡するステップと、
   前記検出された物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記物体を前記置去り物として検出するステップと、
   前記置去り物が検出された場合に、前記置去り物との距離に基づき、前記置去り物の置去り主を検出するステップと、
   前記追跡するステップによる前記検出された物体毎の追跡結果に基づき、前記置去り物と前記置去り主との間の離間距離を検出するステップと、
   前記置去り主が検出されてから、前記離間距離が予め定められた距離を超えるまでの離間時間を計測するステップと、
   前記置去り物が検出されてから警報を発報するまでの発報時間を制御するステップと、
   を備え、
   前記発報時間を制御するステップでは、前記離間時間に基づいて、前記発報時間を制御することを特徴とする置去り物監視方法。

Images