JP7489633B2 - セキュリティ管理システム - Google Patents

Description

本発明は、セキュリティ管理システムに関する。

駅や空港等の不特定多数の人が利用する場所では、不審物の置き去りを監視し、不審物が置かれた場合には、迅速に発見して撤去できることが望ましい。

このため、監視空間を監視カメラで撮像し、監視画像から不審物を特定する監視装置が提案されている（特許文献１）。

特開２０１１－４９６４６号公報 特開２０１５－８７８８２号公報 特許第４８５９８７９号

駅のホームや空港のロビーなど、公開された場所であれば、監視カメラを設けて監視することができるが、トイレブースや更衣室、シャワー室等、利用者が第三者から見られないように閉じた状態で利用するブース（以下対象ブースとも称す）では、プライバシーを確保するため監視カメラを設けることができず、対象ブース内に残された不審物を検出することが困難であった。同様に、対象ブース内で、設備が持ち去られたり、破壊されたりした場合でも、これを検出することが、困難であった。即ち、対象ブース内では、不審物の残留、設備の持ち去り、設備の破壊といった異常な事態を検出するシステムの構築が困難であった。

本発明は、ブース内の異常の発生を検出し、異常の発生を通知する技術の提供を目的とする。

上記課題を解決するため、本発明に係るセキュリティ管理システムは、
対象ブース内を撮像する撮像装置と、
前記撮像装置によって撮像された撮像画像に基づいて、前記対象ブース内の異常を判定する異常判定手段と、
前記異常の判定結果に基づいて通知データを生成する通知データ生成手段と、
前記通知データを通知する異常通知手段とを備える。

前記セキュリティ管理システムは、前記異常判定手段が、前記撮像画像から前記対象ブースの利用者を検出し、前記利用者の動きに基づいて異常を判定してもよい。

前記セキュリティ管理システムは、前記異常を検出した場合に、前記通知データ生成手段が、前記撮像画像から輪郭を抽出した画像を通知データとして生成してもよい。

前記セキュリティ管理システムは、前記異常判定手段が、前記利用者の動きに基づいて、前記対象ブースへの利用者の入室又は前記対象ブースからの前記利用者の退出を検出してもよい。

前記セキュリティ管理システムは、前記異常判定部が、前記利用者の入室前に撮像された画像と、前記利用者の退出後に撮像された画像とを比較して異常を判定してもよい。

上記課題を解決するため、本発明に係るセキュリティ管理方法は、
対象ブース内を撮像装置によって撮像するステップと、
前記撮像装置によって撮像された撮像画像に基づいて、前記対象ブース内の異常を判定するステップと、
前記異常の判定結果に基づいて通知データを生成するステップと、
前記通知データを通知するステップと、
をコンピュータが実行する。

前記セキュリティ管理方法は、前記撮像画像から前記対象ブースの利用者を検出し、前記利用者の動きに基づいて異常を判定してもよい。

前記セキュリティ管理方法は、前記異常を検出した場合に、前記撮像画像から輪郭を抽出した画像を通知データとして生成してもよい。

前記セキュリティ管理方法は、前記利用者の動きに基づいて、前記対象ブースへの利用者の入室又は前記対象ブースからの前記利用者の退出を検出してもよい。

前記セキュリティ管理方法は、前記利用者の入室前に撮像された画像と、前記利用者の退出後に撮像された画像とを比較して異常を判定してもよい。

また、本発明は、上記セキュリティ管理方法をコンピュータに実行させるためのセキュリティ管理プログラムであっても良い。更に、前記セキュリティ管理プログラムは、コンピュータが読み取り可能な記憶媒体に記録されていても良い。
ここで、コンピュータが読み取り可能な記憶媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記憶媒体をいう。このような記憶媒体の内コンピュータから取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD（登録商標）、DAT、８mmテープ、メモリカード等がある。また、コンピュータに固定された記憶媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。

本発明によれば、ブース内の異常の発生を検出し、異常の発生を通知する技術を提供できる。

セキュリティ管理システムの構成を示す図である。 トイレ施設の一例を示す図である。 トイレブースを示す斜視図である。 トイレブースを示す正面図である。 コントローラの一例を示す図である。 制御装置の構成を示す図である。 異常を検出して警報を発する処理全体のフローを示す図である。 入退室を判定する処理の詳細を示す図である。 残留物検出アルゴリズムの詳細を示す図である。 検出した残留物に枠（標識）を付した画像の一例である。 倒れ込み検知アルゴリズムの詳細を示す図である。 輪郭画像の一例である。 長時間滞在検出アルゴリズムの詳細を示す図である。 報告アルゴリズムの詳細を示す図である。 ドアセンサを用いた入退室の判定処理を示す図である。 多目的室の説明図である。 多目的室における入室時の処理を示す図である。 多目的室における退出時の処理を示す図である。

〈実施形態１〉
以下、本発明の実施の形態について、図面に基づいて説明する。なお、実施の形態は本発明の一例であり、本発明の構成は以下の例には限られない。

図１は、本実施形態１に係るセキュリティ管理システム１００の構成を示す図である。本実施の形態に係るセキュリティ管理システム１００は、撮像装置１１や、制御装置４４、警報部４５、管理サーバ２を有し、これらがインターネットやＬＡＮ（Local Area Network）等のネットワーク５を介して接続されている。セキュリティ管理システム１００は、トイレ施設１０に設けられたトイレブース（便房）１４を管理対象ブースとし、トイレブース１４において利用者が残留物を残して退出した場合や、トイレ設備を破壊した場合、トイレ設備を持ち去った場合、利用者がトイレブース内で倒れた場合など、異常が生じた場合に、この異常が生じたことを示す通知データを出力する。セキュリティ管理システム１００は、この異常を通知する情報（異常通知情報）を所定の通知先、例えばトイレ施設を管理する管理者の用いる管理者端末３へ通知する。なお、図１では、セキュリティ管理システム１００が管理者端末３を含まない例を示したが、セキュリティ管理システム１００が、管理者端末３を含んでも良い。

トイレ施設１０は、例えば百貨店等の商業施設や駅等において、不特定多数の利用者（公衆）が利用する公衆トイレであり、複数の建物の各々や、建物の複数のフロアの各々に備えられる。本実施形態のトイレ施設１０は、複数のトイレブース１４を有し、各トイレブース１４に制御装置４４や警報部４５を備えている。制御装置４４は、トイレブース１４における異常の判定や、この異常を示す通知データを生成する。警報部４５，５２は、制御装置４４や管理サーバ２から通知される異常通知情報に基づき、警告灯の明滅や、警報音・音声メッセージの出力等を行い、トイレ施設内の利用者に異常の発生を知らせる。

図２はトイレ施設１０の一例を示す図である。図２に示すように、トイレ施設１０は、例えば、女性用トイレ施設１０１、男性用トイレ施設１０２及び多目的トイレ施設１０３に区分されている。また、トイレ施設１０は、入り口１０４を除いて周囲が壁面１０５で囲まれている。即ち、トイレ施設１０を利用する利用者は、出入り口１０４を介してトイレ施設１０に出入りする構成となっている。なお、出入り口１０４は、一カ所に限らず、複数箇所に備えられても良い。各トイレブース１４の制御装置４４は、異常を検出した場合、管理サーバ２へ通知する。女性用トイレ施設１０１には大便器４１が設けられたトイレブース１４１が複数設けられ、男性用トイレ施設１０２には大便器４１が設けられたトイレブース１４１と小便器４９が設けられたトイレブース１４２がそれぞれ複数設けられている。図２の多目的トイレ施設１０３は、大便器４１の他、オストメイト用設備や乳児用ベッドが備えられた一つのトイレブースである。これに限らず、多目的トイレ施設１０３は、複数のトイレブースを有しても良い。このように本実施形態のトイレ施設１０は、トイレブース１４として、大便器４１が設けられたトイレブース１４１と小便器４９が設けられたトイレブース１４２と多目的トイレ施設１０３とを有している。ここで、トイレブース１４とは、扉や壁等で囲まれ、利用時に利用者が一人の状態で用を足すための便器４１，４９等のトイレ設備１が設けられた空間（室）である。なお、トイレブース１４は
、一人で利用することに厳密に限定されるものではなく、介助者や乳幼児が利用者と同時に入室可能なものでも良い。また、トイレブース１４は、幼児用トイレや小便器４９が備えられた空間のように完全に囲われていない空間であっても良い。

図３は、大便器４１を備えたトイレブース１４１の一例を示す斜視図、図４はトイレブース１４１を示す正面図である。トイレブース１４１は、左右一対の側壁１４Ｌ，１４Ｒ及び後壁１４Ｂにより三方が囲まれ、正面にトイレブース１４１の出入り口４を開閉する扉９を有する。これら側壁１４Ｌ、１４Ｒ、後壁１４Ｂ、扉９によって囲繞されたトイレブース１４１の中に大便器４１が設置されている。トイレブース１４１を囲繞する壁１４Ｌ，１４Ｒ，１４Ｂ及び扉９は、床１４Ｆから天井１４Ｃに達する高さとしても良いが、本実施形態では、図４に示すように左右の側壁１４Ｌ，１４Ｒ及び扉９と天井１４Ｃとの間に空間を設けて空気の流通を可能にしている。

ここで、左右とは、トイレブース１４１の外から出入り口４に正対した場合の左側及び右側をいい、前後とは便器４１に着座したときの前方及び後方をいい、上下とは、天井１４Ｃ側（上側）及び便器４１の設置面（床）１４Ｆ側（下側）をいう。

左右の側壁１４Ｌ、１４Ｒは、横断面（水平断面）がＪ字形になるように、後端側が直線状で、前端側が左方へ湾曲した形状をなす板材であり（図２、図３参照）、隣接するトイレブース１４１がある場合、左側壁１４Ｌは、左隣に位置する別のトイレブース１４１の右側壁１４Ｒを兼ね、右側壁１４Ｒは右隣に位置する別のトイレブース１４１の左側壁１４Ｌを兼ねる。

右側壁１４Ｒには、その内側上部にガイドレール８の一端が設置されている（図３参照）。この右側壁１４Ｒに一端が保持されたガイドレール８は、出入り口４の上部を通り、他端が左側壁１４Ｌに固設されている。なお、図３には省略したが左隣のトイレブース１４１の右側壁を兼ねる左側壁１４Ｌのトイレブース内側にもガイドレール８は設置される。このガイドレール８に扉９が垂下された状態で設置され、扉９をガイドレール８に沿って移動させることで出入り口４を開閉する。なお、本実施形態では、扉９が湾曲し、ガイドレール８に沿ってスライドする例を示したが、これに限らず左右側壁及び扉を含む正面を平面とし、トイレブース１４１の水平断面形状（平面形状）を矩形としても良い。

扉９の左側端部には、錠９１が設けられ、トイレブース内の利用者によって施錠及び開錠の操作が可能であり、施錠時に左側壁１４Ｌの受け具（不図示）と係合して開扉を抑止する。錠９１は、この左側壁１４Ｌと係合する構成に限らず、扉９を閉止できればよく、右側壁１４Ｒと係合する構成や、その他、ガイドレール８、床１４Ｆ、天井１４Ｃと係合して施錠する構成であっても良い。なお、扉９を自動で開閉するような場合で、利用者が開扉を指示するまで扉９の開動作が行われない構成であれば錠９１を省略しても良い。また、扉９には、錠９１が施錠されているか否かや、扉９が開いているか、閉じられているかを検出する開閉センサ（ドアセンサ）９２が備えられている。

図３、図４に示すように、各トイレブース１４１には、便器４１、便座装置４２、コントローラ４３等のトイレ設備１や、撮像装置１１、表示装置１３、制御装置４４、警報部４５が備えられている。

撮像装置１１は、トイレブース１４１の天井１４Ｃに設けられ、天井側からトイレブース内を俯瞰するように撮像する。本例では、天井１４Ｃに一台の撮像装置１１を設ける構成としたが、これに限らず、撮像装置１１は、トイレブース１４１内に複数設けられてもよい。この場合、複数の撮像装置１１でそれぞれ異なる領域を撮像する構成でも、複数の撮像装置１１で同じ領域を異なる角度で撮像する構成でもよい。

便座装置４２は、洋式の便器４１上に設けられ、利用者が着座する座面を加温する機能や温水を吐出して利用者の肛門や局部を洗浄する洗浄機能を有している。また、便座装置４２は、利用者が着座しているか否かを検出する着座センサ４２０を備え、この着座センサ４２０の検出結果に基づき、利用者が着座しているときに温水の吐出ボタン（不図示）が押されると温水を吐出し、利用者が着座していないときに温水の吐出ボタン（不図示）が押されても温水を吐出しないように、吐出の可否を制御する。また、着座センサ４２０の検出結果に基づき、利用者が着座していない場合には座面の温度を低くして省電力モードとする制御等を行う。なお、便器４１は、洋式に限らず和式であっても良く、和式の便器４１が設けられた場合には便座装置４２は省略される。

コントローラ４３は、図５に示すように、便座装置４２の温度設定や洗浄位置の設定などの操作を行う操作部４３１を有している。また、コントローラ４３は、表示部４３２や、スピーカ４３３、洗浄ボタン４３４を有している。この他、非常ボタンや火災報知ボタン、異常無しボタン等、使用状態を入力するボタン（不図示）を備えてもよい。これらのボタンは、表示部に４３２に表示させ、タッチセンサや操作部４３１で選択する所謂ソフトウェアキーであってもよい。

表示部４３２は、便座の設定温度や洗浄用の温水の温度、洗浄位置の他、制御装置４４から受信した情報等を表示する。

スピーカ４３３は、操作部４３１を操作した際の操作音や、後述の警告に係る音、便器を洗浄する洗浄水が流れる音を模擬する擬音等を出力する。

洗浄ボタン４３４は、便器４１に洗浄水を放出する際に利用者によって操作される操作ボタンである。コントローラ４３は、洗浄ボタン４３４が押されたことを検知すると、便器４１のフラッシュ弁（不図示）を開放させて洗浄水を放出させる。

警報部４５は、例えば左右の側壁１４Ｌ，１４Ｒの上部であって、警報としての光やメッセージを表示する表示部４５１や音を出力するスピーカ４５２がトイレブース１４１の外側へ向けて設けられている。即ち、側壁１４Ｌ，１４Ｒの上部と天井１４Ｃとの間の空間を介して警報が当該トイレブース内の利用者だけでなく周囲に報知する構成としており、どのトイレブースから警報が発せられているかが分かるようになっている。

表示装置１３は、トイレブースの内壁に設けられ、広告や建物の案内等の画像情報を表示するデジタルサイネージである。表示装置１３は、スピーカを有し、画像情報に伴う音を出力するものでもよい。

制御装置４４は、警報部４５や、コントローラ４３、便座装置４２、撮像装置１１、表示装置１３等と電気的に接続し、撮像装置１１で検出した情報に基づいて、警報部４５やコントローラ４３を制御する。制御装置４４は、例えば図６に示すように、ＣＰＵ４４１や、記憶装置（メモリ）４４２、通信ＩＦ（Interface）４４４、入出力ＩＦ（Interface）４４５、通信バス４４６を備えたコンピュータである。

主記憶装置４４２は、ＣＰＵ４４１が読み出したプログラムやデータのキャッシュや、ＣＰＵの作業領域として用いられる。主記憶装置４４２は、具体的には、ＲＡＭ（Random
Access Memory）やＲＯＭ（Read Only Memory）等である。主記憶装置４４２は、背景画像メモリ４２１、時系列画像メモリ４２２、領域マスクメモリ４２３、マスク抽出メモリ４２４、動き抽出メモリ４２５、輪郭画像メモリ４２６、特徴量メモリ４２７としても機能する。

補助記憶装置４４３は、ＣＰＵ４４１により実行されるプログラムや、本実施の形態で用いる設定情報、条件テーブル４７１などを記憶する。補助記憶装置４４３は、具体的には、ＨＤＤやＳＳＤ、フラッシュメモリ等である。補助記憶装置４４３は、パラメータデータベース４２８や検出事項データベース４２９を格納する。

通信ＩＦ４４４は、他のコンピュータ装置との間でデータを送受信する。通信ＩＦ４４４は、具体的には、有線又は無線のネットワークカード等である。入出力ＩＦ４４５は、入出力装置と接続され、コンピュータのユーザから入力を受け付けたり、ユーザへ情報を出力したりする。本実施形態の入出力ＩＦ４４５は、入出力装置としてコントローラ４３が接続され、操作部４３１による入力を受けたり、表示部４３２への表示出力、スピーカへの音出力を行ったりする。以上のような構成要素が、通信バス４４６で接続されている。なお、これらの構成要素は複数設けられていても良いし、一部の構成要素を設けないようにしてもよい。例えば、制御装置４４は、トイレブース１４１毎に設けられていても良いが、複数のトイレブース１４１に対して一つの制御装置４４を設けて、複数のトイレブース１４１の異常を一つの制御装置で検出して管理サーバ２へ送信すると共に、警報を一つの制御装置４４で各トイレブース１４１のコントローラ４３や警報部４５へ通知する構成としても良い。

ＣＰＵ４４１は、ＭＰＵ（Micro Processor Unit）、マイクロプロセッサ、プロセッサとも呼ばれる。ＣＰＵ４４１は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵ４４１がマルチコア構成を有していても良い。上記各部の少なくとも一部の処理は、ＣＰＵ４４１以外のプロセッサ、例えば、Digital Signal Processor(DSP)、Graphics Processing Unit
（GPU）、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロ
セッサで行われても良い。また、上記各部の少なくとも一部の処理は、集積回路（ＩＣ）、その他のデジタル回路であっても良い。また、上記各部の少なくとも一部にアナログ回路が含まれても良い。集積回路は、ＬＳＩ，Application Specific Integrated Circuit
（ASIC），プログラマブルロジックデバイス（ＰＬＤ）を含む。ＰＬＤは、例えば、Field-Programmable Gate Array(FPGA)を含む。上記各部は、プロセッサと集積回路との組み
合わせであっても良い。組み合わせは、例えば、ＭＣＵ（Micro Controller Unit），Ｓ
ｏＣ（System-on-a-chip），システムＬＳＩ，チップセットなどと呼ばれる。ＣＰＵ４４１は、プログラムに従って演算処理を実行することにより、撮影制御部４０１、画像処理演算部４０２、動作検出部４０３、変化検出部４０４、対象物計数部４０５、平面特徴量算出部４０６、時系列特徴量算出部４０７、平面・時系列特徴量算出部４０８、異常判定部４０９、通知部４１０としても機能する。

撮影制御部４０１は、撮像装置１１を制御し、撮像装置１１で撮像した画像をメモリに記憶させる。画像処理演算部４０２は、画像のグレー変換、二値化、リサイズ等の前処理や、マスク処理、輪郭画像の生成等を行う。本例の画像処理演算部４０２は、後述するように異常の判定結果に基づいて撮像画像から輪郭画像（通知データ）を生成する通知データ生成手段の一形態である。動作検出部４０３は、撮像画像に撮像された物体の動きを検出する。変化検出部４０４は、撮像画像に撮像された物体の変化を検出する。対象物計数部４０５は、入室した利用者や残留物といった対象物の数を計数する。平面特徴量算出部４０６は、撮像画像に撮像された物体の位置や形状、寸法といった特徴量を検出し、例えば人の特徴と合致する物体を利用者として特定する。時系列特徴量算出部４０７は、時系列的に撮像された撮像画像から、撮像された物体の速度や時間といった特徴量を検出する。平面・時系列特徴量算出部４０８は、時系列的に撮像された撮像画像から、撮像された物体の方向や動線といった特徴量を検出する。異常判定部（異常判定手段）４０９は、撮像装置によって撮像された撮像画像について、動作検出部４０３や、変化検出部４０４、
対象物計数部４０５、平面特徴量算出部４０６、時系列特徴量算出部４０７、平面・時系列特徴量算出部４０８で求めた特徴量等に基づいて、トイレブース１４内の異常を判定する。通知部（異常通知手段）４１０は、異常が発生したと判定された場合に、管理サーバや管理者の端末、警報部４５等、所定の通知先に異常を通知する。また、通知部４１０は、残留部を検出した場合に、警報部４５やコントローラのスピーカから、「お忘れ物があります。」等のように、利用者に対して音声メッセージを出力させてもよい。

〈セキュリティ管理方法〉
図７は、各トイレブース１４の制御装置４４が、異常を検出して警報を発する処理を示す図である。制御装置４４は、先ず撮像装置１１によって撮像された撮像画像に基づいて利用者の入退室を判定する（ステップＳ５）。なお、入退室を判定する処理の詳細については後述する。

制御装置４４は、ステップＳ５の判定結果に応じて処理を選択（分岐）する（ステップＳ１０）。ここで判定結果が退室であった場合、制御装置４４は、残留物検出アルゴリズムを開始させる（ステップＳ２０）。一方、判定結果が入室又は在室であった場合、制御装置４４は、倒れ込み検出アルゴリズム（ステップＳ３０）と長時間滞在検出アルゴリズム４０とを並列に実行する。

そして、制御装置４４は、報告アルゴリズムを実行し（ステップＳ５０）、残留物検出アルゴリズムや倒れ込み検出アルゴリズム、長時間滞在検出アルゴリズムの検出結果を管理サーバ２や管理者端末３、警報部４５といった所定の通知先に通知する。

図８は、図７における入退室を判定する処理（ステップＳ５）の詳細を示す図である。制御装置４４は、背景画像メモリ４２１から空室時の撮像画像（空室時背景画像）を取得する（ステップＳ１１０）。また、制御装置４４は、撮像装置１１によって撮像された撮像画像を時系列に取得し、この時系列に取得した撮像画像（以下、時系列画像とも称す）から背景画像との差分を抽出する処理や、二値化する処理等の前処理を行う（ステップＳ１２０）。

次に制御装置４４は、前処理後の撮像画像について動きが有るか否かを判定する（ステップＳ１３０）。なお、ステップＳ１３０では、利用者の入退室を検出するため、平面特徴量算出部４０６により、人として妥当な大きさや形等の特徴を有した物体を抽出し、この人の特徴を有した物体が動いた場合に動きが有ると判定し、人の特徴を有していない大きさや形の物体が動いた場合には動きが無いと判定することで、外乱光等によるノイズの影響を除外するようにしてもよい。

ステップＳ１３０にて肯定判定であれば、制御装置４４は、撮像画像から当該動きのベクトルを求める（ステップＳ１４０）。また、制御装置４４は、この動きが所定時間（本例では０．５秒）以上継続したか否かを判定する（ステップＳ１５０）。ここで、肯定判定であれば、制御装置４４は、当該動きのベクトルが室内向きであるか、ドア即ち出口向きであるかを判別する（ステップＳ１６０）。制御装置４４は、当該動きのベクトルが室内から出口へ進む向きである場合には、利用者が退室したと判別し、退室を示す判定結果（フラグや制御信号等）を出力する（ステップＳ１７０）。また、制御装置４４は、当該動きのベクトルがドアから室内へ入る向きである場合には、利用者が入室したと判別し、入室を示す判定結果を出力する（ステップＳ１８０）。

一方、ステップＳ１３０、Ｓ１５０で否定判定であった場合、制御装置４４は、時系列画像に撮像された物体の移動平均を算出し（ステップＳ１９０）、この移動平均が所定値以上か否かを判定する（ステップＳ１９５）。ここで、移動平均が所定値未満の場合（ス
テップＳ１９５，Ｎｏ）、制御装置４４は、動きが無い、即ち利用者が存在しないと判定し、ステップＳ１１０に戻る。

また、ステップＳ１９５にて移動平均が所定値以上の場合（ステップＳ１９５，Ｙｅｓ）、制御装置４４は、利用者が座っているなど、入退室のように連続した動きではないものの利用者が在室中であると判定し、在室を示す判定結果を出力する（ステップＳ１９９）。

図９は、図７における残留物検出アルゴリズム（ステップＳ２０）の詳細を示す図である。制御装置４４は、背景画像メモリ４２１から当該利用者が入室する前の撮影画像（空室時背景画像）を取得する（ステップＳ２１０）。また、制御装置４４は、撮像装置１１によって撮像された撮像画像を時系列に取得する（ステップＳ２１５）。

次に、制御装置４４は、マスク画像が存在するか否かを判定し（ステップＳ２２０）、肯定判定であれば空室時背景画像と時系列画像にマスク画像を合成する（ステップＳ２２５）。また、ステップＳ２２０にて否定判定の場合、制御装置４４は、ステップＳ２２５をスキップしてステップＳ２３０へ移行する。

ステップＳ２３０にて、制御装置４４は、空き室時背景画像と時系列画像をグレー変換し、この空き室時背景画像と時系列画像の差分を抽出する。例えば利用者がトイレブース内に忘れ物をした場合、退室したと判定された利用者が入室する前の空き室時背景画像には当該忘れ物が写っておらず、当該利用者が退室した後の時系列画像には当該忘れ物が写っているため、ステップＳ２３０にて当該忘れものが差分として抽出される。

また、制御装置４４は、差分画像を二値化して、膨張処理し（ステップＳ２３５）、差分領域の輪郭を抽出すると共に、この輪郭内の面積、即ち差分領域の面積を求める（ステップＳ２４０）。制御装置４４は、この差分領域の面積が閾値（残留物判定面積）以下であれば（ステップＳ２４５，Ｎｏ）、図９の処理を終了する。また、差分領域の面積が閾値を越えていれば（ステップＳ２４５，Ｙｅｓ）、制御装置４４は、差分領域を残留物と判別し、時系列画像上において、この輪郭を囲む位置、本例では輪郭に外接する位置に、残留物を示す標識として、矩形状の枠を描画する（ステップＳ２５０）。図１０は、検出した残留物に枠（標識）を付した画像の一例である。

そして、制御装置４４は、残留物を囲む枠を付した時系列画像を残留物の検出結果として出力し（ステップＳ２５５）、当該利用者が退室した後の撮影画像を背景画像メモリ４２１に登録し、空室時背景画像を更新する（ステップＳ２６０）。

なお、本例では、利用者の動きに基づいて利用者の入退室を検出したが、これに限らず、撮像画像中のトイレのドアが開いた状態か閉じた状態かを判定し、当該ドアが開いた状態から閉じた状態に変化した場合に入室、当該ドアが閉じた状態から開いた状態に変化した場合に退室、閉じた状態から開いた状態までを在室と判別してもよい。

図１１は、図７における倒れ込み検知アルゴリズム（ステップＳ３０）の詳細を示す図である。制御装置４４は、背景画像メモリ４２１から当該利用者が入室する前の撮影画像（空室時背景画像）を取得する（ステップＳ３１０）。また、制御装置４４は、撮像装置１１によって撮像された撮像画像を時系列に取得する（ステップＳ３１５）。

次に、制御装置４４は、空室時背景画像及び時系列画像をグレー変換し、この空き室時背景画像と時系列画像の差分を抽出する（ステップＳ３２０）。これにより入室した利用者や当該利用者が持ち込んだ荷物が差分として抽出される。

また、制御装置４４は、差分画像を二値化し、当該差分画像の動き、即ち利用者の動きを求める（ステップＳ３２５）。例えば、動いている箇所では画素が時系列に変化することから、時系列に変化している画素（白ピクセル）の数を算出する。このとき平面特徴量算出部４０６により、人として妥当な大きさや形等の特徴を有した領域を抽出し、この人の特徴を有していない領域の画素を除外することで、外乱光等によるノイズの影響を抑制するようにしてもよい。

制御装置４４は、ステップＳ３２５で求めた画素数が所定値未満か否か、即ち、で利用者が止まっているか否かを判定する（ステップＳ３３０）。ステップＳ３３０にて肯定判定であれば、制御装置４４は、この肯定判定がパラメータデータベース４２８に設定されている所定時間（本例では２秒間）以上連続しているか否かを判定する（ステップＳ３３５）。

ステップＳ３３５で肯定判定であれば、利用者が倒れ、動けない状態であるので、制御装置４４は、時系列画像から輪郭を抽出する処理を行い、輪郭画像を生成する（ステップＳ３４０）。図１２は、この輪郭画像の一例である。そして、制御装置４４は、倒れ込みが発生したことを示す信号と、輪郭画像を判定結果として出力する（ステップＳ３４５）。

また、ステップＳ３３０，Ｓ３３５で否定判定であった場合、制御装置４４は、図８と同様に利用者が退出したか否かを判定し（ステップＳ３５５）、退室した場合には、図１１の処理を終了し、退室していなければステップＳ３１０へ戻る。

図１３は、図７における長時間滞在検出アルゴリズム（ステップＳ４０）の詳細を示す図である。制御装置４４は、利用者が入室してから撮像した時系列画像の累計数（フレーム数）を取得する（ステップＳ４１０）。制御装置４４は、時系列画像の累計数（以下、画像累計数とも称す）ｊが、フレームレートに所定時間を乗じたものより大きいか否かにより、当該利用者の滞在時間が所定時間を超えているか否かを判定する（ステップＳ４２０）。

ステップＳ４２０にて否定判定の場合、制御装置４４は、画像累計数ｊをインクリメントし（ステップＳ４３０）、図８と同様に利用者が退室したか否かを判定する（ステップＳ４４０）。制御装置４４は、ステップＳ４４０にて、利用者が退室した場合には図１３の処理を終了し、利用者が在室中でればステップＳ４１０に戻る。

一方、ステップＳ４２０にて肯定判定であれば、制御装置４４は、時系列画像から輪郭を抽出する処理を行い、輪郭画像を生成する（ステップＳ４５０）。そして、制御装置４４は、利用者が長時間滞在していることを示す信号と、輪郭画像を判定結果として出力し（ステップＳ４６０）、画像累計数ｊを初期化（ステップＳ４７０）して図１３の処理を終了する。

図１４は、図７における報告アルゴリズム（ステップＳ５０）の詳細を示す図である。制御装置４４は、まず異常が有ったか否か判定し（ステップＳ５１０）、否定判定の場合には、図１４の処理を終了し、肯定判定の場合には、ステップＳ５２０以降の処理を実行する。

残留物が発生した場合、制御装置４４は、ステップＳ２５５で出力された画像（以下、異常時画像とも称す）中に時間を描画し（ステップＳ５２０）、当該異常時画像を所定のサイズに変換（リサイズ）する（ステップＳ５２５）。

次に、制御装置４４は、マスク画像が存在するか否かを判定し（ステップＳ５３０）、肯定判定であれば異常時画像にマスク画像を合成し（ステップＳ５３５）、否定判定の場合、ステップＳ５３５をスキップしてステップＳ５４０へ移行する。

ステップＳ５４０にて制御装置４４は、異常時画像をファイルとしてメモリ上に一時保存し、記憶装置（メモリ）４４２から残留物が発生した旨の異常を通知する定型文を読み出してメール本文とし、このメール本文に異常時画像のファイルを添付し、電子メールとして所定のアドレス宛に送信すると共に、警報部４５へ異常が発生した旨の異常通知情報を送信する（ステップＳ５４５）。送信後、制御装置４４は、このファイルや異常の判定に用いた時系列画像をメモリから削除する（ステップＳ５５０）。

一方、倒れ込みが発生した場合、制御装置４４は、ステップＳ３４５で出力された画像（以下、異常時画像とも称す）中に時間を描画し（ステップＳ５６０）、当該異常時画像を所定のサイズに変換（リサイズ）する（ステップＳ５６５）。

次に、制御装置４４は、異常時画像をファイルとしてメモリ上に一時保存し（ステップＳ５７０）、記憶装置（メモリ）４４２から倒れ込みが発生した旨の異常を通知する定型文を読み出してメール本文とし、このメール本文に異常時画像のファイルを添付し、電子メールとして所定のアドレス宛に送信する（ステップＳ５７５）。送信後、制御装置４４は、このファイルや異常の判定に用いた時系列画像をメモリから削除する（ステップＳ５８０）。

また、長時間滞在が発生した場合、制御装置４４は、ステップＳ４６０で出力された画像（以下、異常時画像とも称す）中に時間を描画し（ステップＳ５９０）、当該異常時画像を所定のサイズに変換（リサイズ）する（ステップＳ５９５）。

次に、制御装置４４は、異常時画像をファイルとしてメモリ上に一時保存し（ステップＳ６００）、記憶装置（メモリ）４４２から倒れ込みが発生した旨の異常を通知する定型文を読み出してメール本文とし、このメール本文に異常時画像のファイルを添付し、電子メールとして所定のアドレス宛に送信すると共に、警報部４５へ異常が発生した旨の異常通知情報を送信する（ステップＳ６０５）。送信後、制御装置４４は、このファイルや異常の判定に用いた時系列画像をメモリから削除する（ステップＳ６１０）。

〈実施形態の効果〉
上記のように、本実施形態のセキュリティ管理装置によれば、撮像画像に基づいてトイレブース内の異常の発生を検出し、管理者や管理サーバへ異常の発生を通知することができる。また、本実施形態のセキュリティ管理装置によれば、トイレブース内に残留物が発生した場合、検出した残留物に枠を付した画像を通知することで、管理者が具体的に状況を把握することができる。一方、倒れ込みや長時間滞在が発生した場合、撮像画像を輪郭画像に変換して通知を行うことで、管理者が速やかに異常の発生を知ることができると共に、トイレブース内の鮮明な画像が管理者や管理サーバへ通知されないので、利用者のプライバシーが保たれる。

〈実施形態２〉
前述の実施形態１では、利用者の動きに基づいて入退室を判定したが、実施形態２では、ドアセンサを用いて利用者の入退室を判定する例を示す。なお、本実施形態は、前述の実施形態と比べて、この入退室の処理以外は同じであるため、同一の要素についての説明は省略する。

図１５は、ドアセンサを用いた入退室の判定処理を示す図である。制御装置４４は、ドアセンサによって検出したドアの状態、例えばドアが閉じた状態（或いは施錠された状態）か、開いた状態かを取得し、メモリに記憶する（ステップＳ１０１０）。

また、制御装置４４は、ステップＳ１０１０で取得した最新の状態と前回或いは所定時間前にメモリに記憶した状態を比較してドアが閉じた状態から開いた状態に変化したか否かを判定する（ステップＳ１０２０）。

ステップＳ１０１０にて肯定判定であれば、制御装置４４は、利用者が退室したと判別し、退室を示す判定結果（フラグや制御信号等）を出力する（ステップＳ１０３０）。

ステップＳ１０２０にて否定判定であれば、制御装置４４は、ステップＳ１０１０で取得した最新の状態と前回或いは所定時間前にメモリに記憶した状態を比較してドアが開いた状態から閉じた状態に変化したか否かを判定する（ステップＳ１０４０）。

ステップＳ１０４０にて肯定判定であれば、制御装置４４は、利用者が入室したと判別し、入室を示す判定結果を出力する（ステップＳ１０５０）。

ステップＳ１０４０にて否定判定であれば、制御装置４４は、ステップＳ１０１０で取得したドアの状態が閉じた状態か否かを判定する（ステップＳ１０６０）。

ステップＳ１０６０にて肯定判定であれば、制御装置４４は、利用者が在室中と判別し、在室を示す判定結果を出力し（ステップＳ１０７０）、否定判定であれば、ステップＳ１０１０へ戻る。
このように、利用者の入退室判定は、ドアセンサに基づいて行ってもよい。

〈実施形態３〉
本実施形態では、多目的室におけるセキュリティ管理方法の例を示す。なお、本実施形態は、前述の実施形態１と比べて、トイレブースを多目的室とした以外の構成は同じであるため、同一の要素についての説明は省略する。

図１６は、多目的室の説明図、図１７は、多目的室における入室時の処理を示す図、図１８は、多目的室における退出時の処理を示す図である。

本実施形態では、多目的室に複数（図１６では２つ）の撮像装置を設置し複数の領域でそれぞれ異常の検出を行っている。

利用者が入室する際、ドアを開けると、ドアセンサからドアが開いた状態を示すメッセージが制御装置４４に送信される。図１７に示すように、このメッセージを受信（ステップＳ７１０）した制御装置４４は、室内で動きがあるか否かを判定し（ステップＳ７２０）、ここで動きがあり、また、ドアが閉まった状態を示すメッセージを受信した場合に（ステップＳ７３０）、利用者が入室したと判定する（ステップＳ７４０）。なお、この入室判定の処理は、図８，図１５のように行っても良い。

そして制御装置４４は、複数の撮像装置１１から取得した撮像画像について倒れ込み検出アルゴリズムを実行する（ステップＳ７５０）。全ての領域についてステップＳ７５０で動きが無いと判定した場合、倒れ込みが発生したと判定し、何れかの領域で動きがあれば倒れ込みが発生していないと判定する。なお、利用者が一人ではなく、介護者や乳幼児等を伴い、複数の利用者が入室した場合、これら複数の利用者について夫々判定を行う。例えば、多目的室に入室した人数をカウントし、この人数分の動きがあるか否かを判定す
る。即ち、入室した人数よりも動いている対象物の数が少なければ倒れ込みが発生したと判定する。また、入室した利用者を識別してそれぞれにタグ（識別情報）を付し、入室から退室までの移動をトレースして、どの領域にどの利用者が存在しているのかを認識し、それぞれの利用者について動きがあるか否かを判定してもよい。図１７におけるステップＳ７１０～Ｓ７４０の入室判定処理は、図７のステップＳ１０に相当し、ステップＳ７５０がステップＳ３０に相当する。なお、図１７では、利用者が入室した際に倒れこみ検出を行った例を示したが、倒れ込み検出と並行して長時間滞在検出を行うこともできる。

また、利用者が退室する際、ドアを開けると、ドアセンサからドアが開いた状態を示すメッセージが制御装置４４に送信される。図１８に示すように、このメッセージを受信（ステップＳ８１０）した制御装置４４は、室内で動きがあるか否かを判定し（ステップＳ８２０）、ここで動きが無い或は利用者がドア側に移動したと判定した場合に、利用者が退室したと判定する（ステップＳ８４０）。なお、この退室判定の処理は、図８，図１５のように行っても良い。

そして制御装置４４は、複数の撮像装置１１から取得した撮像画像について残留物検出アルゴリズムを実行する（ステップＳ８５０）。何れかの領域で残留物が検出された場合には異常ありと判定し、全ての領域について残留物がなければ異常無しと判定する。図１８におけるステップＳ８１０～Ｓ８４０の入室判定処理は、図７のステップＳ５，Ｓ１０に相当し、ステップＳ８５０がステップＳ２０に相当する。即ち、入退室検出を行い（ステップＳ１０）、入退室の状態に応じて残留物検出アルゴリズム（ステップＳ２０）や、倒れ込み検出アルゴリズム（ステップＳ３０）、長時間滞在検出アルゴリズム（ステップＳ４０）を実行し、異常があった場合に報告を行う（ステップＳ５０）全体のフローは、本実施形態においても図７と同じである。

上記のように、本実施形態のセキュリティ管理装置によれば、多目的室においても撮像画像に基づいてトイレブース内の異常の発生を検出し、管理者や管理サーバへ異常の発生を通知することができる。また、本実施形態のセキュリティ管理装置によれば、多目的室内に複数の撮像装置を配置し、複数の領域でそれぞれ異常の検出を行うことで、精度良く異常の検出を行うことができる。

〈その他〉
本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上記事項を組み合わせて用いても良い。また、上記実施形態では、トイレブース１４を対象ブースとした例を示したが、これに限らず、対象ブースは、シャワーブースや更衣室、フィッティングルーム、カプセルホテル等、利用者のプライバシーを確保するため、使用時の撮像が望ましくない場所であれば良い。

１ ：トイレ設備
２ ：管理サーバ
３ ：管理者端末
４ ：出入り口
５ ：ネットワーク
８ ：ガイドレール
９ ：扉
１０ ：トイレ施設
１１ ：撮像装置
１３ ：表示装置
１４ ：トイレブース
１００：セキュリティ管理システム

Claims (6)

1. 対象ブース内を撮像する撮像装置と、
   前記撮像装置によって撮像された撮像画像に基づいて、前記対象ブース内の異常を判定する異常判定手段と、
   前記異常の判定結果に基づいて通知データを生成する通知データ生成手段と、
   前記通知データを通知する異常通知手段と、
   を備え、
   前記異常判定手段が、前記撮像画像から前記対象ブースの利用者について動きのベクトルを検出し、前記ベクトルが前記対象ブース内から前記対象ブースのドアへ進む向きである場合に、前記利用者が退室したと判定し、前記ベクトルが前記ドアから前記対象ブース内へ入る向きである場合に、前記利用者が入室したと判定し、前記利用者が入室した場合と前記利用者が退出した場合とに応じて選択したアルゴリズムに基づいて異常を判定する際、
   前記異常判定手段は、前記利用者が退出したと判定した場合に、残留物検出アルゴリズムを開始させ、
   当該利用者が入室する前の撮像画像と利用者が退室した後の撮像画像を比較して差分を残留物として抽出し、
   前記通知データ生成手段が、前記利用者が退室した後の撮像画像の前記残留物を囲む位置であって当該残留物の輪郭に外接する位置に当該残留物を示す標識としての枠を描画した画像を前記通知データとして生成する
   セキュリティ管理システム。
2. 前記異常を検出した場合に、前記通知データ生成手段が、前記撮像画像から輪郭を抽出した画像を通知データとして生成する請求項１に記載のセキュリティ管理システム。
3. 前記異常判定手段は、前記利用者が入室したと判定した場合に、倒れ込み検出アルゴリズムを開始させ、
   当該利用者が入室する前の撮像画像と利用者が入室した後の撮像画像を比較し、これら撮像画像の差分から人の特徴を有した領域を抽出し、当該領域における画像の動きから被用者が止まっているか否かを判定する請求項１に記載のセキュリティ管理システム。
4. 前記異常判定手段は、前記利用者が入室したと判定した場合に、長時間滞在検出アルゴリズムを開始させ、
   当該利用者が入室してからの滞在時間が所定時間を超えているか否かを判定し、前記滞在時間が所定時間を超えている場合に、前記利用者が入室した後の撮像画像から輪郭を抽出する処理を行って輪郭画像を生成する請求項１に記載のセキュリティ管理システム。
5. 前記対象ブース内の複数の領域にそれぞれ前記撮像装置が備えられ、
   前記撮像装置によって撮像された前記複数の領域の撮像画像に基づいて、前記異常判定手段が、前記複数の領域の異常をそれぞれ判定する請求項１に記載のセキュリティ管理システム。
6. 対象ブース内を撮像装置によって撮像するステップと、
   前記撮像装置による撮像画像から前記対象ブースの利用者について動きのベクトルを検出し、前記ベクトルが前記対象ブース内から前記対象ブースのドアへ進む向きである場合に、前記利用者が退室したと判定し、前記ベクトルが前記ドアから前記対象ブース内へ入る向きである場合に、前記利用者が入室したと判定するステップと、
   前記利用者が入室した場合と前記利用者が退出した場合とに応じて選択したアルゴリズムに基づいて異常を判定する際、
   前記利用者が退出したと判定した場合には、残留物検出アルゴリズムを開始させ、
   当該利用者が入室する前の撮像画像と利用者が退室した後の撮像画像を比較して差分を残留物として抽出するステップと、
   前記異常の判定結果に基づいて、前記利用者が退室した後の撮像画像の前記残留物を囲む位置であって当該残留物の輪郭に外接する位置に当該残留物を示す標識としての枠を描画した画像を通知データとして生成するステップと、
   前記通知データを通知するステップと、
   をコンピュータが実行するセキュリティ管理方法。

Images