JP6229019B2 - 侵入警報装置およびそのプログラム - Google Patents

Description

本発明の実施形態は、侵入警報装置およびそのプログラムに関する。

ショッピングモール等の商業施設においては、バックヤード等の一部区画への一般客の立ち入りが制限される。

種々のセキュリティシステムが知られているが、これらは、上記のような立ち入り制限のためには適合しないものが多い。

例えば、一般客の立ち入りを制限すべき制限区画の境界に配置したドアをロックしておき、顔認証技術などの個人認証技術によって、制限区画への立ち入りの許容者を認識した場合にのみ上記のロックを解除することが考えられる。

しかしながら、従業者によっては頻繁に制限区画への出入りを繰り返すことが必要である場合や、あるいは、商品などを運搬しながら出入口を通過しなければならない場合も多く、その度にいちいち個人認証を行っていたのでは、業務効率の低下を来す恐れがある。

このような事情から、制限区画への不審者の侵入に簡易に対処できることが望まれていた。

特開２０１２−２４２９１２号公報

本発明が解決しようとする課題は、制限区画への不審者の侵入に簡易に対処できる侵入警報装置およびそのプログラムを提供することである。

実施形態の侵入警報装置は、検出手段、判定手段、警報手段および表示手段を備える。検出手段は、立入者を事前登録済みの登録者に制限する制限区画の内側を撮影デバイスにより撮影して得られた画像から、顔を検出する。判定手段は、記憶デバイスに記憶され、登録者の顔に関するデータを含んだ辞書データを利用した顔認証処理によって、検出手段により検出された顔が登録者のものではないことを判定する。警報手段は、検出手段により検出された顔が登録者のものではないことが判定手段によって判定されたことに応じて、予め定められた通報先端末への通報を実行する。表示手段は、検出手段により検出された顔を含むデータレコードの集合を、登録者のものではないことが判定手段によって判定された顔が含まれるデータレコードに関する情報を表示する領域についての地色を他の領域とは異ならせて示したログ画面を表示する。

一実施形態に係る侵入警報装置を含む侵入警報システムの構成および施行例を示す図。 図１中のメインユニットの構成を示すブロック図。 警報処理のフローチャート。 ログ画面の一例を示す図。

以下実施の形態の一例を図面を用いて説明する。なお、本実施の形態では、ショッピングモール等の商業施設において、当該商業施設で利用されるＰＯＳ（point-of-sale）システムを一部流用して施行され、当該商業施設のバックヤードへの不審者の侵入に対処するために運用される侵入警報システムを例示する。

図１は侵入警報システムの構成および施行例を示す図である。

商業施設は一般に、図１に示すように、店舗フロアとバックヤードとに壁などによって区分されている。店舗フロアは、一般客が自由に出入りでき、一般客に対する各種の営業行為を実施するスペースである。店舗フロアは、一般客の立ち入りが制限されない非制限区画である。バックヤードは、商品保管棚などが配置されて在庫商品を保管したり、商品陳列の準備作業を店員が行ったりするためのスペースである。バックヤードは、一般客の立ち入りが制限される制限区画である。

侵入警報システムは、侵入警報装置１、ＰＯＳ端末２、ハンディターミナル３、携帯型情報端末４およびＬＡＮ（local area network）５を含む。

侵入警報装置１は、メインユニット１１およびカメラ１２を含む。メインユニット１１は、カメラ１２で得られる画像データに基づいてバックヤードへの不審者の侵入を検知し、バックヤードへの不審者の侵入警報のための処理を行う。カメラ１２は、バックヤード内に設けられ、バックヤードの内部を撮影して画像データを生成する。カメラ１２は、撮影を一定の時間間隔で繰り返し、その都度、１フレーム分の画像データを生成する。カメラ１２としては、典型的にはデジタルビデオカメラが利用できるが、デジタルスチルカメラを用いても良い。カメラ１２の設置状態は任意であって良いが、本実施形態ではバックヤードと店舗フロアとの出入口に向けて、この出入口からバックヤードへと入ってくる人間を撮影可能に設置されている。出入口に設けられたドアは、通常はロックされておらず、人間が任意に開閉可能である。

ＰＯＳ端末２は、店舗フロアに配置され、ＰＯＳシステムにおける商品の買上登録や決済などの業務のために店員によって操作される。ＰＯＳ端末２は、侵入警報装置１からの後述する通報を受けたことに応じて、オペレータである店員に対して警報を発する動作を行う機能を備える。この機能は例えば、既存のＰＯＳ端末に対し、アプリケーションソフトを更新したり、アドインソフトを追加することにより実現可能である。

ハンディターミナル３は、店員によって所持され、買上登録、各種の顧客サービス、あるいは商品の発注などの業務に適宜に利用される。ハンディターミナル３は、侵入警報装置１からの後述する通報を受けたことに応じて、所持者である店員に対して警報を発する動作を行う機能を備える。この機能は例えば、既存のハンディターミナルに対し、アプリケーションソフトを更新したり、アドインソフトを追加することにより実現可能である。

携帯型情報端末４は、スマートフォンやタブレット端末などのような無線ＬＡＮを介した通信機能を備えた情報端末である。携帯型情報端末４は、商業施設の管理者等によって所持される。携帯型情報端末４は、侵入警報装置１からの後述する通報を受けたことに応じて、ユーザに対して警報を発する動作を行うアプリケーションソフトがインストールされている。

なお、ＰＯＳ端末２、ハンディターミナル３および携帯型情報端末４は、図１ではそれぞれ１つずつのみを示しているが、それぞれ複数が含まれ得る。

ＬＡＮ５は、商業施設の内部での情報通信を可能とする通信網である。ＬＡＮ５は、インターネットなどの外部の通信網に接続されていても良い。ＬＡＮ５は、無線アクセスポイント５ａを含み、ハンディターミナル３および携帯型情報端末４を、無線回線を介して通信可能とする。

なお、ＰＯＳ端末２、ハンディターミナル３およびＬＡＮ５は、既存のＰＯＳシステムのものを一部流用できる。

図２はメインユニット１１の構成を示すブロック図である。

メインユニット１１は、ＣＰＵ（central processing unit）１１ａ、ＲＯＭ（read-only memory）１１ｂ、ＲＡＭ（random-access memory）１１ｃ、補助記憶ユニット１１ｄ、カメラインタフェース１１ｅ、表示ユニット１１ｆ、入力ユニット１１ｇ、スピーカユニット１１ｈ、通信インタフェース１１ｉおよびバスライン１１ｊを含む。なお、バスライン１１ｊは、アドレスバスおよびデータバスなどを含み、ＣＰＵ１１ａ、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ、補助記憶ユニット１１ｄ、カメラインタフェース１１ｅ、表示ユニット１１ｆ、入力ユニット１１ｇ、スピーカユニット１１ｈおよび通信インタフェース１１ｉを互いに接続する。

ＣＰＵ１１ａは、コンピュータの中枢部分に相当する。ＣＰＵ１１ａは、ＲＯＭ１１ｂおよびＲＡＭ１１ｃに記憶されたオペレーティングシステムおよびアプリケーションプログラムに基づいて、侵入警報装置１としての後述する動作を実現するべく各部を制御する。

ＲＯＭ１１ｂは、上記コンピュータの主記憶部分に相当する。ＲＯＭ１１ｂは、オペレーティングシステムを記憶する。ＲＯＭ１１ｂは、アプリケーションプログラムを記憶する場合もある。またＲＯＭ１１ｂは、ＣＰＵ１が各種の処理を行う上で参照するデータを記憶する場合もある。

ＲＡＭ１１ｃは、上記コンピュータの主記憶部分に相当する。ＲＡＭ１１ｃは、ＣＰＵ１１ａが各種の処理を行う上で参照するデータを記憶する。さらにＲＡＭ１１ｃは、ＣＰＵ１１ａが各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。

補助記憶ユニット１１ｄは、上記コンピュータの補助記憶部分に相当する。補助記憶ユニット１１ｄは、例えばＨＤＤ（hard disk drive）やＳＳＤ（solid state drive）などであり、ＣＰＵ１１ａが各種の処理を行う上で使用するデータや、ＣＰＵ１１ａでの処理によって生成されたデータを保存する。補助記憶ユニット１１ｄは、アプリケーションプログラムを記憶する場合もある。

このメインユニット１１の基本ハードウェアとしては、例えば汎用のサーバ装置やコンピュータ装置を用いることができる。このような基本ハードウェアが備えるＲＯＭ１１ｂまたは補助記憶ユニット１１ｄにて、後述する警報処理を記述したアプリケーションプログラム（以下、警報処理プログラムと称する）を記憶することにより侵入警報装置１を具現できる。このときに侵入警報装置１の譲渡は一般に、警報処理プログラムがＲＯＭ１１ｂまたは補助記憶ユニット１１ｄに記憶された状態にて行われる。しかし、基本ハードウェアと警報処理プログラムとが個別に譲渡された上で、警報処理プログラムがＲＯＭ１１ｂまたは補助記憶ユニット１１ｄへと書き込まれても良い。警報処理プログラムの譲渡は、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介して行うことができる。

カメラインタフェース１１ｅには、カメラ２が接続される。カメラインタフェース１１ｅは、カメラ２が出力する画像データを取り込んで、ＲＡＭ１１ｃへと書き込む。

表示ユニット１１ｆは、例えばＬＣＤ（liquid crystal display）などの表示デバイスと、その駆動回路などを含み、ＣＰＵ１１ａの制御の下に様々な画像を表示する。

入力ユニット１１ｇは、キーボードやマウスなどの入力デバイスと、その駆動回路などを含み、操作者による入力デバイスの操作の内容を表したコマンドをＣＰＵ１１ａに送る。

スピーカユニット１１ｈは、スピーカと、その駆動回路などを含み、ＣＰＵ１１ａの制御の下に様々な可聴音を発生する。

補助記憶ユニット１１ｄは、後述する警報処理の中で実施する顔認識処理において参照するための辞書データを記憶する。辞書データは、バックヤードへの立ち入りの許容者として登録済みの人間の顔についての特徴を表したデータを含む。また補助記憶ユニット１１ｄは、後述するログを記憶する。

次に以上のように構成された侵入警報システムの動作について説明する。

例えば一定の時間間隔毎などとして定められた開始タイミングが到来するとＣＰＵ１１ａは、ＲＯＭ１１ｂまたは補助記憶デバイス１１ｄに記憶された警報処理プログラムに従って図３に示す警報処理を開始する。なお、以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。

Ａｃｔ１においてＣＰＵ１１ａは、カメラ１２が出力する最新の１フレーム分の画像データをＲＡＭ１１ｃに取り込む。

Ａｃｔ２においてＣＰＵ１１ａは、上記の取り込んだ画像データを対象として、顔検出処理を実行する。顔検出処理は、画像データが表す画像中に映っている顔を検出する処理であって、周知の種々の処理を適宜に利用できる。この顔検出処理において顔を検出した場合にＣＰＵ１１ａは、処理対象としている画像データが表す画像の中で、検出した顔に相当する領域についての画像を顔画像として切り出す。複数の顔が検出される場合には、ＣＰＵ１１ａはこれら複数の顔についての顔画像をそれぞれ切り出す。かくして、警報処理プログラムを実行することよって、ＣＰＵ１１ａは検出手段として機能している。

Ａｃｔ３においてＣＰＵ１１ａは、上記の顔検出処理により顔が１つでも検出できたか否かを確認する。そして顔が検出できたためにＹＥＳと判定したならばＣＰＵ１１ａは、Ａｃｔ４へと進む。

Ａｃｔ４においてＣＰＵ１１ａは、顔検出処理において切り出した顔画像を対象として、顔認証処理を実行する。この顔認証処理は、顔画像が許容者の顔と類似する度合い（類似度）を求める処理であって、周知の種々の処理を適宜に利用できる。複数の顔画像が切り出されているならば、ＣＰＵ１１ａはこれらの複数の顔画像のそれぞれを対象として顔認証処理をそれぞれ実行する。

Ａｃｔ５においてＣＰＵ１１ａは、上記の顔認証処理により求めた類似度に閾値以下のものがあるか否かを確認する。そしてＹＥＳと判定したならばＣＰＵ１１ａは、Ａｃｔ６へと進む。かくして、警報処理プログラムを実行することよって、ＣＰＵ１１ａは判定手段として機能している。

Ａｃｔ６においてＣＰＵ１１ａは、通報処理を実行する。通報処理は、予め定められた通報先端末へと、不審者の侵入を通報する処理である。通報先端末は、店舗フロアにて使用されているＰＯＳ端末２、ハンディターミナル３および携帯型情報端末４のうちの少なくとも１つである。ＰＯＳ端末２、ハンディターミナル３および携帯型情報端末４のうちの複数または全てが通報先端末とされても良い。また、同種の端末の複数が通報先端末とされても良い。通報を受けると通報先端末では、不審者がバックヤードに立ち入ったことの警報を発する動作を行う。かくして、警報処理プログラムを実行することよって、ＣＰＵ１１ａは、通報先端末へと通報する処理として警報のための処理を実行する警報手段として機能している。

このようにして、予め登録された許容者との顔の類似度が低い人間がバックヤードへと立ち入り、カメラ１２によって撮影されると、不審者の侵入としての警報がなされる。

Ａｃｔ６を終えるとＣＰＵ１１ａは、Ａｃｔ７へ進む。なお、閾値以下の類似度が無いためにＡｃｔ５にてＮＯと判定したならばＣＰＵ１１ａは、Ａｃｔ６をパスしてＡｃｔ７へと進む。

Ａｃｔ７においてＣＰＵ１１ａは、補助記憶ユニット１１ｄに記憶されるログを更新する。具体的には、ログは例えば、日時、類似度および顔画像を関連付けたデータレコードの集合とする。この場合にＣＰＵ１１ａは、Ａｃｔ２で切り出された顔画像に、現在の日時と、当該顔画像に関してＡｃｔ４で求めた類似度とを関連付けたデータレコードを生成し、これをログに追加する。なお、Ａｃｔ２にて複数の顔画像が切り出されている場合には、ＣＰＵ１１ａはこれら複数の顔画像のそれぞれを含んだ複数のデータレコードを生成してログに追加する。

このようにしてログを更新したならばＣＰＵ１１ａは、今回の警報処理を終了する。なお、Ａｃｔ２での顔検出処理によって顔が検出できなかったためにＡｃｔ３にてＮＯと判定したならばＣＰＵ１１ａは、Ａｃｔ４〜７の処理を全てパスして今回の警報処理を終了する。

さてＣＰＵ１１ａは、例えば入力ユニット１１ｇでの所定の操作によってログの表示が要求されたならば、例えば図４に示すようなログ画面を表示するように表示ユニット１１ｆを制御する。

なお図４に示すログ画面においては、閾値以下の類似度を含んだデータレコードに関する情報を表示する領域についての地色を、ハッチングで示すように他の領域とは異ならせている。

このように本実施形態によれば、許容者として登録済みの人間に対する顔の類似度が閾値よりも低い人間、すなわち許容者ではない可能性の高い人間が制限区画内に入ってきた場合に、不審者の侵入として警報が発せられる。この警報に応じて、係員が不審者への対処を行うことが可能となり、不審者による不正行為を防止できる。

しかも本実施形態によれば、ドアをロックするなどにより制限区画への立ち入りを阻む処置を行う必要がない。このために、許容者は何ら制限されることなくスムーズに制限区画に出入りすることが可能であり、許容者の業務の効率を低下させてしまうことがない。
また、ドアロックを伴うセキュリティシステムに比べて、低いコストで実現することが可能である。

この実施形態は、次のような種々の変形実施が可能である。

メインユニット１１において、例えば表示ユニット１１ｆにおける表示や、スピーカユニット１１ｈでの鳴動などにより警報を発するようにしても良い。つまり、前記実施形態では、警報のための処理として通報先への通報を行っているが、直接的に警報を発する処理を警報のための処理として行っても良い。

メインユニット１１が、複数のカメラ１２で得られた画像データをそれぞれ対象として上記の警報処理を行うようにしてもよい。

カメラ１２としては、既存の防犯カメラなどを用いるようにし、メインユニット１１のみが侵入警報装置を構成することとしても良い。

辞書データは、ＬＡＮ５を介して接続された図示しないサーバ装置に内蔵または外付けされた記憶デバイスに記憶されても良い。

携帯型情報端末４への通報は、移動通信網を経由して行っても良い。

顔検出処理により検出する顔は人間の顔のみには限らず、人間以外の動物の顔を含んでも良い。このようにすれば、人間以外の動物がバックヤードに迷い込んだ場合にも、不審者の侵入として警報を発することが可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
立入者を事前登録済みの登録者に制限する制限区画において、前記制限区画の内側を撮影デバイスにより撮影して得られた画像から、人間を含む動物の顔を検出する検出手段と、
記憶デバイスに記憶され、前記登録者の顔に関するデータを含んだ辞書データを利用した顔認証処理によって、前記検出手段により検出された顔が前記登録者のものではないことを判定する判定手段と、
前記検出手段により検出された顔が前記登録者のものではないことが前記判定手段によって判定されたことに応じて、予め定められた警報動作を実行する警報手段とを具備したことを特徴とする侵入警報装置。
［２］
前記撮影デバイスを複数備えることを特徴とする付記［１］に記載の侵入警報装置。
［３］
前記記憶デバイスを複数備えることを特徴とする付記［１］または［２］に記載の侵入警報装置。
［４］
前記警報手段は、予め定められた通報先端末に対する通信回線を介しての通報を前記警報動作として実行することを特徴とする付記［１］−［３］のいずれか一項に記載の侵入警報装置。
［５］
前記制限区画は、商業施設の一般利用者の立ち入りを制限している区画であり、前記警報手段は、前記商業施設で利用されているＰＯＳシステムに含まれた端末装置を前記通報先端末とすることを特徴とする付記［４］に記載の侵入警報装置。
［６］
コンピュータを、
立入者を事前登録済みの登録者に制限する制限区画において、前記制限区画の内側を撮影デバイスにより撮影して得られた画像から人間を含む動物の顔を検出する検出手段と、
記憶デバイスに記憶され、前記登録者の顔に関するデータを含んだ辞書データを利用した顔認証処理によって、前記検出手段により検出された顔が前記登録者のものではないことを判定する判定手段と、
前記検出手段により検出された顔が前記登録者のものではないことが前記判定手段によって判定されたことに応じて、警報のための予め定められた警報処理を実行する警報手段として機能させるためのプログラム。

１…侵入警報装置、２…カメラ、３…ハンディターミナル、４…携帯型情報端末、１１…メインユニット、１１ａ…ＣＰＵ、１１ｂ…ＲＯＭ、１１ｃ…ＲＡＭ、１１ｄ…補助記憶ユニット、１１ｅ…カメラインタフェース、１１ｆ…表示ユニット、１１ｇ…入力ユニット、１１ｈ…スピーカユニット、１１ｉ…通信インタフェース、１１ｄ…補助記憶ユニット、１２…カメラ。

Claims (5)

1. 立入者を事前登録済みの登録者に制限する制限区画の内側を撮影デバイスにより撮影して得られた画像から、顔を検出する検出手段と、
   記憶デバイスに記憶され、前記登録者の顔に関するデータを含んだ辞書データを利用した顔認証処理によって、前記検出手段により検出された顔が前記登録者のものではないことを判定する判定手段と、
   前記検出手段により検出された顔が前記登録者のものではないことが前記判定手段によって判定されたことに応じて、予め定められた通報先端末への通報を実行する警報手段と、
   前記検出手段により検出された顔を含むデータレコードの集合を、前記登録者のものではないことが前記判定手段によって判定された顔が含まれるデータレコードに関する情報を表示する領域についての地色を他の領域とは異ならせて示したログ画面を表示する表示手段とを具備したことを特徴とする侵入警報装置。
2. 前記検出手段は、前記制限区画の内側に設けられた前記撮影デバイスにより前記制限区画の内側を撮影して得られた画像から、顔を検出することを特徴とする請求項１に記載の侵入警報装置。
3. 前記検出手段は、前記顔として、人間を含む動物の顔を検出することを特徴とする請求項１または２に記載の侵入警報装置。
4. 前記検出手段は、一定の時間間隔毎に顔を検出する、請求項１乃至請求項３のいずれか１項に記載の侵入警報装置。
5. コンピュータを、
   立入者を事前登録済みの登録者に制限する制限区画の内側を撮影デバイスにより撮影して得られた画像から顔を検出する検出手段と、
   記憶デバイスに記憶され、前記登録者の顔に関するデータを含んだ辞書データを利用した顔認証処理によって、前記検出手段により検出された顔が前記登録者のものではないことを判定する判定手段と、
   前記検出手段により検出された顔が前記登録者のものではないことが前記判定手段によって判定されたことに応じて、警報のための予め定められた通報先端末へ通報する処理を実行する警報手段と、
   前記検出手段により検出された顔を含むデータレコードの集合を、前記登録者のものではないことが前記判定手段によって判定された顔が含まれるデータレコードに関する情報を表示する領域についての地色を他の領域とは異ならせて示したログ画面を表示するよう表示デバイスを制御する表示制御手段として機能させるためのプログラム。