JP6525229B1 - デジタルサーチ・セキュリティシステム、方法及びプログラム - Google Patents

Abstract

ピッキング行為の前やピッキング行為とは別の方法で賊が侵入しようとしたときなどには、警報を出力することができるデジタルサーチ・セキュリティシステム、方法及びプログラムを提供する。デジタルサーチ・セキュリティシステム（１０００）は、セキュリティ区域内の人を検出する人検出部（１１１）と、人検出部（１１１）が検出したセキュリティ区域内の人が侵入犯罪のための道具を所持していることを検出する道具検出部（１１２）と、道具検出部（１１２）が侵入犯罪のための道具を検出したことを受けて、不審者の存在を通報する制御部（１１０）とを備える。

Description

本発明は、監視カメラによりセキュリティ区域内を撮影して防犯を行うデジタルサーチ・セキュリティシステム、方法及びプログラムに関する。

特許文献１には、「ピッキング行為を検知するための警報装置としては、ピッキング行為による振動音をピッキング行為検知センサ（振動センサ）にて検知し、そのような振動音を検知したときに、警報を出力し、周囲にいる人の注意を喚起するようにした（段落０００２）」と記載されている。特許文献１の技術は、ピッキング行為の検知時に内蔵スピーカを通じて警報を出力する警報装置に関するものである。

特開２００３−２１７０３７号公報

特許文献１に記載の警報装置では、ピッキング行為があるまで検知することができないし、ピッキング行為とは別の方法で賊が侵入しようとしたときなどには、警報を出力することができない。
本発明の目的は、ピッキング行為の前やピッキング行為とは別の方法で賊が侵入しようとしたときに、警報を出力することができるデジタルサーチ・セキュリティシステム、方法及びプログラムを提供することにある。

本発明に係るデジタルサーチ・セキュリティシステムは、セキュリティ区域内の人を検出する人検出手段と、前記人検出手段が検出した前記セキュリティ区域内の人が侵入犯罪のための道具を所持していることを検出する道具検出手段と、前記道具検出手段が検出した道具を所持する手の挙動を含む人の挙動を検出する挙動検出手段と、前記道具検出手段が検出した道具と前記挙動検出手段が検出した前記人の挙動とを総合して判定した結果、前記人が不審者であると判定されたことを受けて、不審者の存在を通報する制御手段とを備えることを特徴とする。

この構成により、道具検出部１１３が侵入犯罪のための道具を検出し、挙動検出部１１２が道具を所持する手の挙動を検出し、これらを総合して不審者の存在を判定したことを受けて、不審者の存在を通報するので、ピッキング行為の前やピッキング行為とは別の方法で賊（侵入者）が侵入しようとしたときに、警報を出力することができる。

前記制御手段は、前記道具の種類、組合せ又は数に基づいて侵入犯罪の危険度を判断することで、危険度に合わせてより迅速に侵入犯罪に対応することができる。また、危険度に合わせたテロップの送信や関係機関への通報を行うことができる。

前記セキュリティ区域内の画像を撮影する撮影手段を備え、前記制御手段は、前記撮影手段の撮影方向を可変にして、複数の位置の人を判断することで、監視カメラの台数の節約、又は限られた監視カメラを用いて、異常事態を把握できる。監視におけるリソースを低減して、低コスト化を図ることができる。

非侵入者が所持するＩＤ（Identification）端末を検出するＩＤ端末検出手段を備え、前記制御手段は、前記ＩＤ端末検出手段が検出した前記ＩＤ端末を所持している人を不審者から除外することで、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。

前記制御手段は、セキュリティ区域内で人の出入りが激しい所定の時間帯では不審者判定を解除することで、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。

前記撮影手段の撮影画像を録画する録画手段を備え、前記録画手段は、撮影後所定の短時間は高画質で録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画すると共に高画質の撮影画像は消去し、前記制御手段が撮影方向の変化を検出した時は、その時までの所定の短時間の高画質の撮影画像を保存することで、デジタルサーチ・セキュリティ制御上、必要とされる高画質の撮影画像は記録しつつ、時間経過後は低画質で記録して、記録手段のリソースを低減することができる。

前記道具は、ピッキング用ピック、バール、ガラス切り、ナイフ、バーナ又はサムターン回しであることで、侵入に使用可能な道具や武器を判別することができる。

また、本発明のデジタルサーチ・セキュリティ方法は、セキュリティ区域内の人を検出する人検出ステップと、前記人検出ステップが検出した前記セキュリティ区域内の人が侵入犯罪のための道具を所持していることを検出する道具検出ステップと、前記道具検出ステップが検出した道具を所持する手の挙動を含む人の挙動を検出する挙動検出ステップと、前記道具検出ステップが検出した道具と前記挙動検出ステップが検出した前記人の挙動とを総合して判定した結果、前記人が不審者であると判定されたことを受けて、不審者の存在を通報する制御ステップとを備えることを特徴とする。

また、本発明は、コンピュータを、セキュリティ区域内の人を検出する人検出手段と、前記人検出手段が検出した前記セキュリティ区域内の人が侵入犯罪のための道具を所持していることを検出する道具検出手段と、前記道具検出手段が検出した道具を所持する手の挙動を含む人の挙動を検出する挙動検出手段と、前記道具検出手段が検出した道具と前記挙動検出手段が検出した前記人の挙動とを総合して判定した結果、前記人が不審者であると判定されたことを受けて、不審者の存在を通報する制御手段とを備えるデジタルサーチ・セキュリティシステムとして機能させるためのプログラムである。

本発明によれば、ピッキング行為の前やピッキング行為とは別の方法で賊が侵入しようとしたときに、警報を出力することができる。また、安価なカメラ機器を用いた構成であっても、リアルタイムで挙動不審を検出することができる。

本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの構成を示すブロック図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの監視装置の制御部のブロック図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの携帯端末装置を利用したシステムを示す構成図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムのスマートフォンのセキュリティアプリ動作を示す図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの監視装置の制御部の不審者の登録処理を示すフローチャートである。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの監視装置の制御部の不審者の登録処理を示すフローチャートである。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの監視装置の制御部のデジタルサーチ・セキュリティ処理を示すフローチャートである。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの監視装置の制御部のデジタルサーチ・セキュリティ処理を示すフローチャートである。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの挙動による不審者判定で用いる首の動きを説明する図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの正常時の手のひらの状態で不審者を自動登録する場合の骨格モデルを示す図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの異常時の手のひらの状態で不審者を自動登録する場合の骨格モデルを示す図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの骨格抽出による挙動不審な動作の基本認識を説明する図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの骨格抽出による挙動不審な動作の例１を説明する図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの骨格抽出による挙動不審な動作の例２を説明する図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの目の早い動きによる挙動不審な動作の例を説明する図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの鍵所持による不審者を自動登録する場合の骨格モデルを示す図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムのナイフ所持による不審者を自動登録する場合の骨格モデルを示す図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムのピストル所持による不審者を自動登録する場合の骨格モデルを示す図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムのこん棒所持による不審者を自動登録する場合の骨格モデルを示す図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムが適用される敷地（セキュリティ区域）を示す平面図である。 本発明の実施の形態に係るデジタルサーチ・セキュリティシステムによる侵入検出例を示す図である。

以下、添付図面を参照しながら本発明を実施するための形態について詳細に説明する。
（実施の形態）
図１は、本発明の実施の形態に係るデジタルサーチ・セキュリティシステムの構成を示すブロック図である。
本デジタルサーチ・セキュリティシステムは、住居、企業の事務所、工場、研究所、情報処理室及び金銭集計室等の高度の管理を要する事業所等に適用して好適である。

図１に示すように、デジタルサーチ・セキュリティシステム１０００は、セキュリティ区域に設置された複数の監視カメラ１１（撮影手段，道具検出手段）と、人感センサ２０（人検出手段，道具検出手段）と、セキュリティ区域内に設置されたＷｉ-Ｆｉ（Wireless Fidelity）ターミナル（以下「Ｗｉ-Ｆｉ親機」という）３０と、ビーコン（iBeacon）（登録商標）親機４０と、関係者（家族）が携帯する携帯端末装置５０（ＩＤ（Identification）端末）と、システム全体を制御する監視装置１００と、ＡＩ（Artificial Intelligence：人工知能）アクセラレータ（Accelerator）２００（人検出手段）と、を備える。セキュリティ区域は、警戒エリア（警備対象エリア）であり、例えば、住居であれば敷地、玄関先及びベランダ、オフィスであればエレベータホール、ベランダ及び窓などを含む。

なお、監視装置１００は、セキュリティ区域内に設置されているが、図示しないネットワークを介して外部に設置してもよい。監視装置１００を、ネットワーク上のサーバに設置すると、複数のセキュリティ区域を監視対象とすることができる。

＜監視カメラ１１＞
監視カメラ１１は、セキュリティ区域内の画像を撮影する。
監視カメラ１１の一部又は全部は、ＰＴＺ（パン・チルト・ズーム）機能を有するＰＴＺカメラであり、監視装置１００により遠隔操作される。監視カメラ１１は、セキュリティ該当建物の警備対象の外壁周囲、例えば侵入者が出入可能な出入口、窓開口部、敷地境界外周部及び該当敷地エリアの各所に設置される。監視カメラ１１が撮影した画像は、監視装置１００に出力され、録画部１６０に記録される。

＜人感センサ２０＞
人感センサ２０は、サーモカメラ又は赤外線カメラ等であり、セキュリティ区域内の感知対象物の温度を検出して、セキュリティ区域内の不審者を検出する。

＜Ｗｉ-Ｆｉ親機３０＞
Ｗｉ-Ｆｉ親機３０は、Ｗｉ-Ｆｉを用いて携帯端末装置５０のＷｉ-Ｆｉ子機５１との間で情報をやり取りする。また、Ｗｉ-Ｆｉ親機３０は、Ｗｉ-Ｆｉ測位による位置情報取得、すなわちＷｉ-Ｆｉアクセスポイントと所定の位置情報サービスを利用した位置情報を取得できる。

＜ビーコン親機４０＞
ｉビーコン（iBeacon）は、Bluetooth Low Energyを利用した無線技術である。ｉビーコンは、発信側のビーコン機器であるビーコン親機４０と、ビーコン親機４０からの電波受信に対応した携帯端末装置５０のアプリ（後記ビーコン子機５２に対応する）の組み合わせによって構成される。ｉビーコンは、識別に必要な固有のＩＤ情報を発信し、携帯端末装置５０の当該ＩＤ情報に紐付けられたアプリにしか反応しない。携帯端末装置５０のアプリは、ビーコン親機４０と同じ識別子を登録しておく。携帯端末装置５０のアプリ（ビーコン子機５２）は、ｉビーコン機能を搭載したアプリケーション実行によりバックグラウンドで待機し、ビーコン親機４０のビーコンに近接したときに所定アクションを励起する。

［携帯端末装置５０］
携帯端末装置５０は、家族などがそれぞれ携帯する。携帯端末装置５０は、例えばスマートフォン５０ａ、タブレット５０ｂ、又はノートパソコン５０ｃなどである。携帯端末装置５０は、このほか、携帯電話、ＰＨＳ（Personal Handy-Phone System）、ＰＤＡ（Personal Digital Assistants）、又は専用端末などである。本実施の形態では、携帯端末装置５０は、家族などが様々な場所（すなわち現在位置）で使用可能であり、図示しない電話回線を介して監視装置１００からのメール又は動画を含む映像等を受信可能である。

本実施の形態では、携帯端末装置５０は、スマートフォン５０ａ（ＩＤ端末）の利用を想定しており、各個人が様々な場所（すなわち現在位置）で使用可能である。携帯端末装置５０のうちの一つは、図示しない警備会社に配置される。

スマートフォン５０ａは、デジタルサーチ・セキュリティアプリ（以下、「セキュリティアプリ」という）を有する。セキュリティアプリを、例えば各アプリのバックグランド処理で起動させておくと、通信キャリア網（固定網）、ウェブサービスクラウド３００（後記図３参照）、又はインターネット３０３（後記図３参照）を経由して、ウェブサービスクラウド３００上のクラウドサーバ３０１（後記図３参照）に接続でき、クラウドサーバ３０１から不審者に関するテロップを受け取ることができる。スマートフォン５０ａは、待受け画面等に不審者を検出したテロップを通知できる。

スマートフォン５０ａは、Ｗｉ-Ｆｉ個別識別機（以下「Ｗｉ-Ｆｉ子機」という）５１と、関係者の位置を捕捉するＧＰＳ５３と、を備える。
なお、スマートフォン５０ａは、ビーコン子機５２を備えているものでもよい。又は、スマートフォン５０ａは、Ｗｉ-Ｆｉ子機５１と、ビーコン子機５２と、ＧＰＳ５３とのいずれか一つを備えるものでもよい。

＜Ｗｉ-Ｆｉ子機５１＞
Ｗｉ-Ｆｉ子機５１は、業務施設に設置されたＷｉ-Ｆｉ親機３０の電波を受信及び個別識別する。監視装置１００は、施設内に設置されたＷｉ-Ｆｉ親機３０の配置情報をセフティ関連情報として記憶している。Ｗｉ-Ｆｉ子機５１がＷｉ-Ｆｉ親機３０に近接すると、携帯端末装置５０を携帯する関係者のＩＤと位置を判定することができる。

＜ビーコン子機５２＞
ビーコン子機５２は、ビーコン親機４０からの電波受信に対応した携帯端末装置５０のアプリである。ビーコン親機４０は、ビーコン（識別に必要な固有のＩＤ情報）を発信し、携帯端末装置５０のアプリ（ビーコン子機５２）は、ビーコン親機４０のビーコンに近接したときに所定アクションを励起する。

＜ＧＰＳ５３＞
ＧＰＳ５３は、位置情報の電波をＧＰＳ衛星等から受信する。ＧＰＳ５３は、ＧＰＳアンテナを介して受信した情報より、現在位置情報を、緯度、経度及び高度の３つのパラメータとして算出して位置情報を取得する。取得した位置情報は、適時、監視装置１００に送信される。

なお、本実施形態では、位置情報を取得する手段として、ＧＰＳ衛星を利用した例を示したが、ＧＰＳ以外の、基地局との位置関係を利用した方式でもよい。例えば、モバイル端末である携帯端末装置５０として、Ａｎｄｒｏｉｄ（登録商標）スマートフォンやカメラ付き高機能携帯電話機を使用する場合、ＧＰＳ５３に代えて又は併用して、基地局及び携帯電話通信網（図示省略）を介して携帯電話会社サーバと情報の送受信を行い、接近確認から自端末の現在位置情報を取得することも可能である。

また、Ｗｉ-Ｆｉ測位による位置情報取得、すなわちＷｉ-Ｆｉアクセスポイントと所定の位置情報サービスを利用した位置情報取得を用いてもよい。

［監視装置１００］
監視装置１００は、関係者（例えば家族）の住居に設置され、セキュリティ区域内を集中管理する。監視装置１００は、一般的なサーバ計算機、又はパーソナルコンピュータ等であってよい。

監視装置１００は、制御部１１０（制御手段）と、入力部１２０と、記憶部１３０と、表示部１４０と、出力部１５０と、録画部１６０（録画手段）と、顔情報ＤＢ（データベース）１６５と、画像処理部１７０と、インタフェース（Ｉ／Ｆ）部１８０と、通信部１９０と、を備え、各部はバス１９５により接続される。

以降、「○○部は」と主体を記した場合は、制御部１１０が必要に応じＲＯＭから各プログラムを読み出した上でＲＡＭにロードし、各機能（後記）を実行するものとする。各プログラムは、予め記憶部１３０に記憶されていてもよいし、他の記憶媒体又は通信媒体を介して、必要なときに監視装置１００に取り込まれてもよい。

制御部１１０は、ＣＰＵ（Central Processing Unit）等により構成され、監視装置１００全体を制御するとともに、制御プログラムを実行して、デジタルサーチ・セキュリティシステムとして機能させる。制御部１１０の詳細な構成については、後記する。

入力部１２０は、操作盤１２０ａを有し、キーボード、マウス、表示部１４０の画面上に設けられたタッチパネル又はマイクなど、監視装置１００のユーザが指示などを入力するための入力機器である。

記憶部１３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリからなり、制御部１１０が用いる各種データ及びプログラムなどを記憶する。記憶部１３０は、監視カメラ１１から受信した静止画又は動画、制御部１１０が用いる各種データ及びプログラムなどを記憶する。

表示部１４０は、監視装置１００の動作状況をはじめ、監視カメラ１１から受信した画像、又は監視装置１００を操作するためのＧＵＩ（Graphical User Interface）などを表示する。

出力部１５０は、例えばオーディオインタフェースであり、セキュリティ区域内の音響システム１５８に対して監視装置１００からの音声信号を出力する。監視装置１００から音響システム１５８へ出力する音声信号としては、例えば、入力部１２０に設けられたマイクなどの音声入力装置から入力された音声信号、又は記憶部１３０に記憶された音楽データを制御部１１０が再生した音声信号であってよい。音響システム１５８は、アンプ及び敷地内に配置された複数のスピーカを備え、監視装置１００から入力された信号を敷地内に発声する。

録画部１６０は、ＨＤＤ（Hard Disk Drive）などの外部記憶装置により構成され、監視カメラ１１が撮影したセキュリティ区域内の画像を記録する。録画部１６０は、撮影後所定の短時間は高画質で録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画すると共に高画質の撮影画像は消去し、制御部１１０が不審者を検出した時は、その時までの所定の短時間の高画質の撮影画像を保存する。

顔情報ＤＢ１６５は、不審者、及び店舗関係者等の顔画像（顔情報）を蓄積する。顔情報ＤＢ１６５に登録されている人物の顔などの基礎データは、Ｉ／Ｆ部１８０を介して図示しない本部、本社又は警備会社などからデータを入手して、顔情報ＤＢ１６５が構築される。また、図示しない本部、本社又は警備会社などと情報を交換して、相互の顔情報ＤＢが最新の顔画像（顔情報）に更新可能である。

画像処理部１７０は、ＤＳＰ（Digital Signal Processor）等により構成され、受信した画像に対して予め定められた処理を行う。予め定められた処理には、輪郭抽出、画像のリサイズ、又は解像度変換処理などがある。

監視カメラ１１で１秒間に撮影する画像が例えば５コマの画像である場合、１／５秒画像、２／５秒画像、３／５秒画像、４／５秒画像及び５／５秒画像の動きで、対象物の外形形状線を入力すれば、動く対象物の大きさが分かる。
画像処理部１７０は、監視カメラ１１で撮影された画像データを処理し、セキュリティ区域内の画像を出力する。

Ｉ／Ｆ部１８０は、セキュリティ区域内に配置された各監視カメラ１１と監視装置１００とを接続する。また、Ｉ／Ｆ部１８０は、図示しない本部、本社又は警備会社などにネットワーク又は専用回線により接続する。
通信部１９０は、基地局を介して携帯端末装置５０とデータを送受信する。通信部１９０は、無線通信機能を有し、例えばＵＡＲＴ（Universal Asynchronous Receiver Transmitter）を用いて制御基板に接続される。

［制御部１１０］
図２は、本発明の第１の実施の形態に係るデジタルサーチ・セキュリティシステムの監視装置１００の制御部１１０のブロック図である。
図２に示すように、制御部１１０は、ＣＰＵ（Central Processing Unit）等により構成され、監視装置１００全体を制御するとともに、制御プログラムを実行して、デジタルサーチ・セキュリティシステムとして機能させる。
制御部１１０は、人検出部１１１（人検出手段）と、挙動検出部１１２（挙動検出手段）、道具検出部１１３（道具検出手段）と、ＩＤ端末検出部１１４（ＩＤ端末検出手段）と、顔認証機能部１１５と、を備える。

制御部１１０は、道具検出部１１３が侵入犯罪のための道具（ピッキング用ピック、バール、ガラス切り、ナイフ、バーナ又はサムターン回し）を検出したことを受けて、不審者の存在を通報する。
制御部１１０は、道具の種類、組合せ又は数に基づいて侵入犯罪の危険度を判断する。
制御部１１０は、監視カメラ１１（撮影手段）の撮影方向を可変にして、複数の位置の人を判断する。
制御部１１０は、ＩＤ端末検出部１１４が検出したＩＤ端末を所持している人を不審者から除外する。
制御部１１０は、セキュリティ区域内で人の出入りが激しい所定の時間帯では不審者判定を解除する。
制御部１１０は、挙動検出部１１２が人の挙動不審を検出したことを受けて、不審者の存在を通報する。人の挙動には、骨格抽出による身体の動作のほか、腕の動き、手のひらの状態、目つきも含まれる。

制御部１１０は、撮影後所定の短時間は高画質で録画部１６０に録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画すると共に高画質の撮影画像は消去し、撮影方向の変化を検出した時は、その時までの所定の短時間の高画質の撮影画像は保存する。

人検出部１１１は、ＡＩアクセラレータ２００（後記）を用いてセキュリティ区域内の人を検出する。人検出部１１１は、ＡＩアクセラレータ２００に対して人検出要求を発行し、ＡＩアクセラレータ２００は、ＣＰＵ以外でＡＩの計算を実行して、人検出結果を人検出部１１１に送信する。人検出には高速性が求められるので、人検出にＡＩアクセラレータ２００を用いている。

本実施形態では、人検出部１１１は、ＡＩアクセラレータ２００を用いて人を検出しているが、サーモカメラ（又は人感センサ２０）で人を検出するようにしてもよい。すなわち、人感センサ２０は、セキュリティ区域内の温度を検出する。そして、人検出部１１１は、人感センサ２０が人の体温を検出し、かつ、監視カメラ１１がその撮影画像の変化を検出したことによって人（不審者候補）の存在を検出する。

なお、人検出部１１１は、ＡＩアクセラレータ２００を用いた人検出と、サーモカメラ（又は人感センサ）を用いた人検出とを組み合わせてもよい。例えば、セキュリティ区域内のうち、人検出の高速性が要求される、玄関先やベランダ、窓についてはＡＩアクセラレータ２００を用い、人検出の高速性が要求されない敷地と外部の境界の敷地内はサーモカメラ（又は人感センサ）を使用する。

挙動検出部１１２は、人の挙動を検出する。人の挙動には、骨格抽出による身体の動作のほか、腕の動き、手のひらの状態、目つきも含まれる。
挙動検出は、人検出部１１１による人検出ほどの高速性が求められないので、ＣＰＵ処理により人の挙動を検出している。人の挙動の具体例については、図１０〜図１３で後記する。

なお、本実施形態では、人検出にＡＩアクセラレータ２００を使い、挙動検出はＣＰＵ処理で行っているが、挙動検出についてもＡＩアクセラレータ２００を使ってもよい。あるいは、人検出及び挙動検出をＣＰＵ処理（制御部１１０の制御プログラム実行）で行ってもよい。

道具検出部１１３は、人検出部１１１が検出したセキュリティ区域内の人が侵入犯罪のための道具を所持していることを検出する。
ＩＤ端末検出部１１４は、非侵入者が所持するＩＤ（Identification）端末を検出する。

顔認証機能部１１５は、監視カメラ１１で撮影された人物の顔画像と、顔情報ＤＢ１６５に登録された不審者の顔画像とを照合する顔認証を行う。顔認証機能部１１５は、監視カメラ１１から受信した画像に含まれる人物の顔が、顔情報ＤＢ１６５に登録されている不審者の顔であるかどうかを判定する顔認証を行う。顔認証は、受信画像から抽出した顔情報と顔情報ＤＢ１６５に登録されている不審者の顔情報との類似度に基づいて行うことができる。

［ＡＩアクセラレータ２００］
ＡＩアクセラレータ２００は、人を検出する専用プロセッサであり、ＣＰＵ以外の計算リソースを用いる。ＡＩアクセラレータ２００は、例えば、ＧＰＵ（Graphics Processing Unit）を強化したプロセッサよる画像処理、ＦＰＧＡ（Field-Programmable Gate Array）を用いた信号処理のアクセラレートである。また、ＡＩアクセラレータ２００は、専用ハード（例えば、ＧＰＵ）上でＡＩ（Artificial Intelligence：人工知能）の計算を実行する。

通常のＰＣによるコンピュータの処理では、デジタル画像一枚あたり人（人体）の検出の処理を行うのに約１．５秒かかる。このため、本実施形態では、人の検出プロセッサであるＡＩアクセラレータ２００を利用することで、ＰＣによるコンピュータの処理の約１０倍のパフォーマンスを得、侵入検出を迅速に実行する。また、本実施形態では、計算負荷が高いＡＩの計算を専用ハードであるＡＩアクセラレータ２００に任せている。これにより、市販のカメラと安価な機器用いた構成であっても、リアルタイムに人を検出し、不審者を登録可能であることが実証できた。

［デジタルサーチ・セキュリティシステム］
図３は、本発明の実施形態に係る携帯端末装置５０を利用したデジタルサーチ・セキュリティシステムを示す構成図である。
図３に示すように、デジタルサーチ・セキュリティシステム１０００は、ウェブサービスクラウド３００上に、デジタルサーチ・セキュリティサービスを提供するクラウドサーバ（商用サーバ）３０１、クラウドサーバ３０１に連携して能動的に情報を取得してユーザのスマートフォン５０ａ（携帯端末装置；ＩＤ端末）に通知するＰｕｓｈ通知サーバ３０２を有する。ウェブサービスクラウド３００は、インターネット３０３に接続される。スマートフォン５０ａは、インターネット３０３を経由してウェブサービスクラウド３００上のクラウドサーバ３０１にテキスト及び画像を送信することができる。また、スマートフォン５０ａは、インターネット３０３を経由してＰｕｓｈ通知サーバ３０２からＰｕｓｈ通知を受信する。さらに、クラウドサーバ３０１及びＰｕｓｈ通知サーバ３０２は、ＬＴＥ／３Ｇ網などの通信キャリア網（固定網）（図示省略）を経由して、セキュリティアプリが搭載されたスマートフォン５０ａに接続する。

図３に示すように、デジタルサーチ・セキュリティシステム１０００は、不審者の敷地内への侵入を検知し、本人・家族等が所持するスマートフォン５０ａにプッシュ通知する。
スマートフォン５０ａに来た通知をユーザがタップすると、セキュリティアプリが起動して不審者のズーム画面を表示し、「１Ｆ玄関にて不審者が検知されました」というテロップが流れる。同時にその内容が音声で読み上げられる。このように、スマートフォン５０ａの画面のテロップと音声とで不審者の通知が行われる。さらに、スマートフォン５０ａユーザの操作により、例えば緊急時には関係機関（警察・消防）に通知する。この場合、警備会社や関係企業本社にも自動的に通知される。また、緊急性がない場合や確認したい場合には、警備会社のみに通知する。

［セキュリティアプリ動作］
図４は、スマートフォン５０ａのセキュリティアプリ動作を示す図である。
図４左に示すように、スマートフォン５０ａの待受け画面等に不審者を検出したテロップが通知される。ユーザのタップにより、図４中に示すように、スマートフォン５０ａの表示はセキュリティアプリ動作表示に切り替わり、不審者のズーム画面を表示し、不審者の位置と状況「１Ｆ玄関に不審者」を表示する。また、このテロップを自動音声で読み上げる。さらに、ユーザのタップにより、図４右に示すように、スマートフォン５０ａの表示を時系列の４画面に表示する。

以下、上述のように構成されたデジタルサーチ・セキュリティシステムの動作について説明する。
［不審者の登録処理］
まず、デジタルサーチ・セキュリティシステムの不審者の登録処理について説明する。

図５Ａ及び図５Ｂは、デジタルサーチ・セキュリティシステムの監視装置１００の制御部１１０の不審者の登録処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図２参照）により実行される。

ステップＳ１で、制御部１１０の人検出部１１１は、ＡＩアクセラレータ２００に対してＡＩによる［人の検出処理］を要求し、人検出部１１１は、ＡＩアクセラレータ２００からの人の検出結果を待つ。なお、上述したように、人検出部１１１は、サーモカメラ（又は人感センサ２０）で人を検出するようにしてもよい。

セキュリティ区域内に人が検出されない場合（ステップＳ１：Ｎｏ）、本フローを終了する。セキュリティ区域内に人が検出された場合（ステップＳ１：Ｙｅｓ）、ステップＳ２に進む。

ステップＳ２では、セキュリティ区域内（監視エリア内）で検出された人の顔を撮影する。監視カメラ１１は、例えばＰＴＺカメラであり、監視装置１００により遠隔操作される。また、監視カメラ１１は、人物の顔を撮影する認証用のカメラである。監視カメラ１１が撮影した画像は、監視装置１００に出力される。
ステップＳ３で、制御部１１０は、撮影した人の顔の画像を記憶部１３０（図１参照）に一時保存する。

ステップＳ４では、顔認証機能部１１５は、撮影した人の顔の画像が顔情報ＤＢ１６５に蓄積されている人の顔の画像と一致するか否かを判定する。
撮影した人の顔の画像が顔情報ＤＢ１６５に蓄積されている人の顔の画像と一致しない場合（ステップＳ４：Ｎｏ）、ステップＳ６に進む。また、撮影した人の顔の画像が顔情報ＤＢ１６５に蓄積されている人の顔の画像と一致した場合（ステップＳ４：Ｙｅｓ）、ステップＳ５に進む。

ステップＳ５では、制御部１１０は、撮影した人の顔の画像が善意の人（住居の所有者、その友人、知人又は宅配業者）か悪意のある侵入者かを判定する。
撮影した人の顔の画像が善意の人であれば、そのまま処理を終了し、悪意のある侵入者であればステップＳ６に進む。

上記ステップＳ４で撮影した人の顔の画像が顔情報ＤＢ１６５に蓄積されている人の顔の画像と一致しない場合（ステップＳ４：Ｎｏ）は、セキュリティ区域内に入った人が不審者であるか否かが分からないケースである。この場合、ステップＳ６で制御部１１０の挙動検出部１１２は、人の挙動を検出する。

ステップＳ７では、制御部１１０は、挙動検出部１１２が検出した人が挙動不審か否かを判定する。
挙動不審と判定した場合（ステップＳ７：Ｙｅｓ）、ステップＳ８で制御部１１０の道具検出部１１３は、セキュリティ区域内の人（挙動不審者）が侵入犯罪（空き巣）のための道具を所持しているか否かを判定する。上記道具は、ピッキング用ピック、バール、ガラス切り、ナイフ、バーナ又はサムターン回しである。さらに、上記道具には、ナイフ、こん棒、ピストルなどの武器も含まれる。

挙動不審と判定しない場合（ステップＳ７：Ｎｏ）、この場合も、ステップＳ９で制御部１１０の道具検出部１１３は、セキュリティ区域内の人が上記道具を所持しているか否かを判定する。

ここで、本実施形態では、セキュリティ区域内の人が道具を所持しているか否かの判定を優先させている。すなわち、セキュリティ区域内に人が検出されれば、上記ステップＳ７の人の挙動不審の判定結果にかかわらず、セキュリティ区域内の人が道具を所持しているか否かを判定している。上記道具の所持は、侵入の蓋然性が高い（侵入目的でなければかかる道具を所持しないと考えられる）のに対し、挙動不審者が必ずしも侵入者とは限らないからである。ただし、挙動不審者で、かつ道具を所持している場合には、非常に侵入の危険度が高いと判定できる。

ステップＳ８で道具を所持していると判定した場合（ステップＳ８：Ｙｅｓ）、ステップＳ１０でセキュリティ区域内の人は挙動不審者でかつ道具の所持であり、侵入者が危険で緊急度が高いと判定し、不審者に関するランクの高いテロップを通知する。
また、ステップＳ９で道具を所持していると判定した場合（ステップＳ９：Ｙｅｓ）、ステップＳ１１でセキュリティ区域内の人は挙動不審者ではなくかつ道具の所持であり、不審者に関するランクの低いテロップを通知する。

上記ステップＳ８又は上記ステップＳ９で道具を所持していないと判定した場合は、ステップＳ１２に進む。

ステップＳ１２で制御部１１０は、セキュリティ区域内の不審者の顔（容姿）を記憶部１３０に登録する。ここで、上記ステップＳ４で撮影した人の顔の画像が顔情報ＤＢ１６５に不審者の顔の画像と一致している場合は、その顔情報に、上記挙動不審、又は道具所持の情報を、属性情報として登録する。これにより、不審者の顔と侵入者の侵入情報とが紐付けられ、防犯上有益な情報となる。
本フローにより、顔情報ＤＢ１６５には不審者がその属性情報と共に登録される。

［デジタルサーチ・セキュリティ処理］
次に、デジタルサーチ・セキュリティシステムのデジタルサーチ・セキュリティ処理について説明する。
図６Ａ及び図６Ｂは、デジタルサーチ・セキュリティシステムの監視装置１００の制御部１１０のデジタルサーチ・セキュリティ処理を示すフローチャートである。本フローは、主に監視装置１００の制御部１１０（図２参照）により実行される。

まず、ステップＳ２１で制御部１１０の人検出部１１１は、ＡＩアクセラレータ２００に対してＡＩによる［人の検出処理］を要求し、人検出部１１１は、ＡＩアクセラレータ２００からの人の検出結果を待つ。なお、上述したように、人検出部１１１は、サーモカメラ（又は人感センサ２０）で人を検出するようにしてもよい。

セキュリティ区域内に人が検出されない場合、本フローを終了する。セキュリティ区域内に人が検出された場合、ステップＳ２２に進む。

セキュリティ区域内に人が存在する場合、ステップＳ２２でＩＤ端末検出部１１４は、ＩＤ端末（携帯端末装置５０；スマートフォン５０ａ）を所持している人（家族など所定のiBeaconを所持している人など）か否かを判別する。制御部１１０は、ＩＤ端末検出部１１４が検出したＩＤ端末を所持している人を不審者から除外して（ステップＳ２２：Ｙｅｓ）、ステップＳ２３に進む。

ＩＤ端末を所持している人でない場合（ステップＳ２２：Ｎｏ）、ステップＳ２３で制御部１１０は、セキュリティ区域内で夕方など人の出入りが激しい所定の時間帯か否かを判別する。制御部１１０は、セキュリティ区域内で夕方など人の出入りが激しい所定の時間帯では不審者判定を解除して（ステップＳ２３：Ｙｅｓ）、ステップＳ２４に進む。

夕方など人の出入りが激しい所定の時間帯でない場合（ステップＳ２３：Ｎｏ）、ステップＳ２４で監視カメラ１１がセキュリティ区域内（監視エリア内）の画像を撮影した、その画像を録画部１６０に録画する。

ステップＳ２５で制御部１１０は、監視カメラ１１の撮影方向を可変にして、顔認証機能部１１５が複数の位置の人（不審者候補）の顔を検出する。

ステップＳ２６で制御部１１０は、不審者の顔の登録情報から不審者を検出したか否かを判定する。不審者の顔を検出した場合（ステップＳ２６：Ｙｅｓ）、ステップＳ３３に進み、不審者の顔を検出しない場合（ステップＳ２６：Ｎｏ）、ステップＳ２７に進む。すなわち、不審者の顔を検出した場合、ステップＳ３３で制御部１１０は、直ちに不審者検出と判定し、後段の処理をスキップして処理の迅速化を図る。

ステップＳ２７で制御部１１０の挙動検出部１１２は、人の挙動を検出する。
ステップＳ２８では、制御部１１０は、挙動検出部１１２が検出した人の挙動が挙動不審か否かを判定する。

挙動不審と判定した場合（ステップＳ２８：Ｙｅｓ）、ステップＳ２９で制御部１１０の道具検出部１１３は、セキュリティ区域内の人（挙動不審者）が侵入犯罪（空き巣）のための道具を所持しているか否かを判定する。
挙動不審と判定しない場合（ステップＳ２８：Ｎｏ）、この場合も、ステップＳ３０で制御部１１０の道具検出部１１３は、セキュリティ区域内の人が上記道具を所持しているか否かを判定する。

上記ステップＳ２９で、検出した人が挙動不審でかつ道具を所持している場合（ステップＳ２９：Ｙｅｓ）、ステップＳ３１で制御部１１０は、危険度が最も高い不審者であると判断する。上記ステップＳ２９で、挙動不審でかつ道具を所持していない場合（ステップＳ２９：Ｎｏ）、ステップＳ３３で制御部１１０は、普通の危険度の不審者であると判断する。

上記ステップＳ３０で、検出した人が挙動不審ではなく、かつ、道具を所持している場合（ステップＳ３０：Ｙｅｓ）、ステップＳ３２で制御部１１０は、危険度が高い不審者であると判断する。
上記ステップＳ３０で、検出した人が挙動不審ではなく、かつ、道具を所持していない場合（ステップＳ３０：Ｎｏ）、本フローを終了する。

ステップＳ３４では、制御部１１０は、道具検出部１１３が検出したセキュリティ区域内の人が所持している道具の種類、組合せ及び数をもとに、侵入犯罪の危険度（危険の度合いのクラス分け）を判断する。例えば、所持している道具が、ピストルやナイフの場合は、危険度及び緊急度が最も高く、バーナ、ピッキング用ピックなども危険度が高い。また、道具が複数ある場合は、侵入犯罪の危険度がそれだけ高いと判断する。侵入犯罪の危険度は、人への危険度に加え、侵入速度が速い場合には危険度がより高いと判断する。

なお、不審者が複数の場合は、侵入犯罪の危険度がより高いと判断できる。不審者が複数の場合は、各侵入者が所持している道具の種類や数も増えることが予想される。また、道具は増えなくても、一人が見張り役などを受け持ち、他方が侵入作業に専念することで、侵入速度が速くなることが予想される。
さらに、挙動不審者で、かつ道具を所持している場合には（ステップＳ３１）、非常に侵入の危険度が高いと判定できる。

本実施形態では、上記ステップＳ２５で複数の位置の人を判断すること、上記ステップＳ２８で挙動不審を判定すること、上記ステップＳ３４で所持している道具によって危険度を判断することにより、危険度に合わせてより迅速に侵入犯罪に対応することができる。その一方で、上記ステップＳ２２で携帯端末装置５０を所持している人を除外すること、及び上記ステップＳ２３で所定の時間帯を除外することにより、無駄な処理をなくすことができ、結果的には計算リソースの低減により低コスト化及び処理の高速化を図ることができる。

上記ステップＳ３４で侵入犯罪の危険度を判定したことを受けると、ステップＳ３５で制御部１１０は、不審者の存在を通報する。通報は、例えば関係者のスマートフォン５０ａに、不審者に関する情報を送信する。この通報は、侵入犯罪の危険度（危険の度合いのクラス分け）に対応して、危険の度合いを示すメッセージやマーク、強調文字、色分けを付すようにする。また、危険度又は緊急度に対応して、通報先を変える。例えば、侵入者の道具がピストルやナイフ等の武器の場合には、通知のテロップは、最も目立つテロップとし音声メッセージにもその危険度を伝える。さらに、通報先の関係機関に警察等を入れる。そしてこの通報は、不審者の自動登録処理などより優先して行う。

上述したように、制御部１１０は、図４左に示すスマートフォン５０ａの待受け画面等に不審者の存在を通報するテロップを送信する。ユーザのタップにより、図４中に示すように、不審者のズーム画面を表示し、不審者の位置と状況「１Ｆ玄関に不審者」を表示するとともに、このテロップを自動音声で読み上げる。

図６Ａ及び図６Ｂのフローに戻って、ステップＳ３６で録画部１６０は、撮影後所定の短時間は高画質で録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画すると共に高画質の撮影画像は消去し、制御部１１０が不審者を検出した時は、その時までの所定の短時間の高画質の撮影画像を保存して本フローの処理を終了する。

本実施形態では、図５Ａ及び図５Ｂのフローに示す「不審者の登録処理」と、図６Ａ及び図６Ｂのフローに示す「デジタルサーチ・セキュリティ処理」とを分けて説明したが、処理をまとめてもよい。また、図５Ａ及び図５Ｂのフローに示す「不審者の登録処理」は、登録処理のみを行い、ステップＳ１０とステップＳ１１を省略する態様でも構わない。

［不審者の自動登録］
次に、デジタルサーチ・セキュリティシステムの不審者の自動登録について説明する。図５のフローに示す「不審者の登録処理」における追加説明である。なお、以下に述べる「不審者の自動登録」は、図６Ａ及び図６Ｂに示す「デジタルサーチ・セキュリティ処理」にも同様に適用できる。
不審者の自動登録には、＜人の検出＞（深層学習による物体検出機能を含む）、＜不審者の顔の判定＞、＜挙動による不審者判定＞がある。以下、順に説明する。

＜人の検出＞
デジタルサーチ・セキュリティシステム１０００は、ＡＩアクセラレータ２００を用いた人検出によりセキュリティ区域内への侵入者を検出する。
デジタルサーチ・セキュリティシステム１０００は、ＡＩアクセラレータ２００による深層学習において、特に、人のみを監視対象とすることで、従来の画像差分を用いた動体検出型の監視カメラによる画像認識に比べて極めて高い精度での侵入者の検出を行うことができる。

＜深層学習による物体検出機能＞
デジタルサーチ・セキュリティシステム１０００は、ＡＩアクセラレータ２００を用いて、深層学習による物体検出機能を実装する。
物体検出概要について述べる。
ＡＩアクセラレータ２００は、画像の二次元的性質を利用して画像処理（畳込み演算）を次々に行い、画像の特徴を強調した物を獲得し、それを部分に分けて、正解ラベルと結びつける。正解ラベルとは、本システムでは「人」であるが、船が写っているものを検出する場合は「船」というラベルを付ける。なお、上記は一例であり、人は「人」、猫は「猫」、船は「船」などと学習させることもできる。
そして、そのような画像を数千枚処理をして学習させる。

学習とは、畳込み演算の順序、程度や画像の分割などのパラメータである。
学習した結果のパラメータ全てが、分類器を構成する。この分類器にデジタル画像を入力するとラベルとの一致度と一致した領域が出力される。物体検出の結果、一定の一致度のあるものについて（例えば一致度６０％）、侵入の可否を算出する。侵入の可否とは、監視カメラ１１毎に、（Ａ）敷地を表す概念としての多角形を用意し（例えば、５角形領域が最大で３つ）、その領域と（Ｂ）人物を検出した領域（矩形領域）の交差を判定し、結果として交差領域（Ｃ）を得る。
交差判定は、その二つの領域（Ａ）、（Ｂ）を塗りつぶした画像をそれぞれ作成し、ビット演算によるＡＮＤを求める。この結果の（Ｃ）の面積を求め総和が人を検出した領域（Ｂ）の一定以上の割合であれば、侵入者が侵入したものと判断する。なお、認識機能として例えば２５％以上としてもよい。
上記による判断の結果、侵入が検知されれば、デジタルサーチ・セキュリティシステム１０００は、検出結果を通知する。デジタルサーチ・セキュリティシステム１０００は、警戒モード（外出警備、在宅警備など）によりその場所にどれぐらいの時間滞在すると不法侵入かを判断し、不法侵入であれば契約者に不法侵入をメールなどで通知する（図５Ａ及び図５ＢのステップＳ１０〜Ｓ１１，図６Ａ及び図６ＢのステップＳ３５参照）。

＜不審者の顔の判定＞
固定式の監視カメラ１１により警戒を実行する場合、デジタルサーチ・セキュリティシステム１０００では、制御部１１０の顔認証機能部１１５（図２）が、撮影した人の顔の画像と顔情報ＤＢ１６５に蓄積されている人の顔の画像の一致を判定する。そして、制御部１１０は、撮影した人の顔の画像が善意の人（住居の所有者やその友人・知人、宅配業者）か悪意のある侵入者かを判定する（図５Ａ及び図５ＢのステップＳ４〜Ｓ５，図６Ａ及び図６ＢのステップＳ２４〜Ｓ２６参照）。
しかし、顔認識だけでは、顔情報ＤＢ１６５に顔の画像が蓄積されていない場合又は顔がうまく撮影されていない場合がある。そこで、デジタルサーチ・セキュリティシステム１０００では、顔認識に加えて、＜挙動による不審者判定＞を実行する。

＜挙動による不審者判定＞
人の挙動には、首の動き、人の体の動き、腕の動き、手のひらの状態、目つきなどがある。
図７は、挙動による不審者判定で用いる首の動きを説明する図である。
図７矩形枠に示す顔全体の位置に対して、目・眉・鼻・口・顎の輪郭を抽出することで、図７中央のニュートラルな状態から、左に顔を向けるように首を動かす状態と、右に顔を向けるように首を動かす状態とが段階的に判定される。なお、この技術を用いて、ある角度から撮影された顔画像をもとに、ニュートラルな状態の顔画像を生成することもでき、図１の顔情報ＤＢ１６５にニュートラルな状態の顔画像を登録することが可能になる。

＜骨格トラッキング＞
人の体の動きを知るために、骨格トラッキングの手法を用いる。
骨格トラッキングは、人を、可動部（「肩、肘、手首」、「指」）とそれぞれを連結した部位（「手、前腕、上腕」、「指関節」）で表す「骨格モデル」を用いて、体の動きを知るものである。骨格モデルは関節の３次元的な位置と関節の曲がり具合（角度）で表現される。図８〜図１２により後記する。

骨格トラッキングは、人検出で用いたＡＩアクセラレータ２００を、深層学習を行う推定（推論）にも用いることで実現する。
深層学習の学習フェーズでは人のデジタル画像と、対となる骨格モデル（関節の３次元座標と関節の角度）を教師として深層学習させる。この学習データを用いることにより、新たに与えられたデジタル画像から、それに対応する骨格モデル（体の状態）を得る。

不審挙動モデルでは、肘の角度と、指関節の角度を用いた。肘を伸ばした状態で歩行する侵入者はリラックスしており悪意がなく、肘が曲がった状態は行動を起こす前段階であり、悪意のある可能性があり、警戒レベルを高める必要があると想定した。

＜手のひらの状態による不審者の自動登録＞
図８及び図９は、手のひらの状態で不審者を自動登録する場合の骨格モデルを示す図であり、図８は正常時の例、図９は異常時の例である。
手のひらの状態では、親指は第一関節、第二関節にトラッキングの対象となる曲がり角度が発生し、人差指、中指、薬指、小指は、第一、第二、第三関節にトラッキングの対象となる曲がり角度が発生する（手袋をつけても同様）。

図８に示すように、関節が伸びていれば、リラックスしていて警戒レベルは低い。これに対し、図９に示すように、関節が曲がった状態は行動を起こす可能性があるとして、警戒レベルが高いと想定した。ここで、肘の曲がり具合（角度）が一定以上の場合は警戒レベルを上げて通知を上げるものとする。

＜骨格（スケルトン）抽出による挙動不審な動作の基本認識＞
図１０は、骨格抽出による挙動不審な動作の基本認識を説明する図である。
図１０の(1)は、基本形を認識している。
図１０の(2)は、人が横向きになったことを認識している。
図１０の(3)は、手を前に出したことを認識している。
図１０の(4)は、ドアノブに手をかけたことを認識している。
図１０の(5)は、手の上からの拡大を示している。
図１０の(6)は、手の横からの拡大を示している。

＜骨格抽出による挙動不審な動作の例１＞
図１１は、骨格抽出による挙動不審な動作の例１を説明する図である。
図１１上段に示すように、警備中、不審者がオフィスの入口で鍵穴を不正に操作している。図１１中段に示すように、腕の動きが怪しい。図１１下段に示すように、手・指の動きがドアノブを触っている。

＜骨格抽出による挙動不審な動作の例２＞
図１２は、骨格抽出による挙動不審な動作の例２を説明する図である。
図１２に示すように、警備中、ベランダへの侵入者が窓から室内に侵入しようとしている。
以上、骨格抽出による挙動不審な動作について説明した。

次に、挙動による不審者判定についてより詳細に説明する。
挙動判定は、「目の早い動き」、「首をキョロキョロ見回す動き」、「手の不自然な挙動」の３つの観点で行う

＜目の早い動き＞
目の早い動きについては以下の方式を使う。
物体検出の一つとして目検出がある。このアルゴリズムを使い、デジタル画像の中で 目の位置の特定（矩形領域）を行う。
次に、円検出の手法（例えば、画像から直線や円を検出するハフ（Hough）変換技法）を用いて、画像内に含まれる円形状の部分を検出する。検出された円について目の位置に内包され、円半径が適切な値（例えば、目の幅の１／６としてもよい）であればよしとする。これは瞳を検出したことに等しい。
瞳が目の矩形の中で中心にあるか偏っているかを判定する。
短い時間の間に瞳の偏りが左右に動く場合、挙動不審と判断する。

図１３は、目の早い動きによる挙動不審な動作の例を説明する図である。
図１３上段に示すように、警備中、不審者がオフィスに侵入を試みている。図１３中下段に示すように、目の動きと腕の動きが怪しい。

＜首の動き＞
首の動きについては、前記図７で述べた首の動きと人検出とを組合わせて判断する。上記目の早い動き検出の場合と同様にして、首の動きが左右に短時間で繰り返されることを判定する。人の体の位置に対して、首の動きが左右に短時間で繰り返された場合に挙動不審と判断する。

＜手の挙動＞
手の動きについては、次の方式を用いる。
３Ｄカメラを用いて、手、足、首等の具体的な形状変化を検出する。３Ｄカメラは、二次元のデジタル画像を撮ると同時に、二次元デジタル画像の各画素までの深さ方向の距離を取得する機能を有するカメラである。ちなみに、人検出では、人の有る無しや、人の存在する位置の外接矩形のみが取得できる。
３Ｄカメラによる検出情報をもとに、骨格モデルを当てはめて、人の各関節の状況を得る。これにより、手の挙動不審の状態を検出する。例えば、ドアノブや窓の開口部に手を伸ばしているような状態を挙動不審とみなす。
以上、挙動による不審者判定について説明した。

［道具（武器）所持による不審者自動登録］
次に、道具（武器）所持による不審者自動登録について説明する。
図１４〜図１７は、道具（武器）所持による不審者を自動登録する場合の骨格モデル（体の状態）を示す図である。図１４は、鍵所持による骨格モデルを示す図である。図１５は、ナイフ所持による骨格モデルを示す図である。図１６は、ピストル所持による骨格モデルを示す図である。図１７は、こん棒所持による骨格モデルを示す図である。
上述したように、骨格（スケルトン）抽出により、基本形、人が横向きになったこと、手を前に出したこと、ドアノブに手をかけたことを認識できる。

＜鍵所持＞
図１４左に示すように、
右腕の動作： 正常
左腕の動作： 正常
右手の動作： 怪しい
左手の動作： 正常
右手の物体： 鍵
左手の物体： なし
である。図１４左に示す動作は、総合して正常であると判定する。

動作が進んで、図１４中央に示す状態となる。
図１４中央に示すように、
右腕の動作： 正常
左腕の動作： 正常
右手の動作： 怪しい
左手の動作： 正常
右手の物体： 鍵
左手の物体： なし
である。図１４中央に示す動作は、図１４左の場合と同様に、総合して正常であると判定する。

さらに、動作が進んで、図１４右に示す状態となる。
図１４右に示すように、
右腕の動作： 怪しい
左腕の動作： 正常
右手の動作： 怪しい
左手の動作： 正常
右手の物体： 鍵
左手の物体： なし
である。図１４右に示す動作は、右腕の動作も怪しいとなり「怪しい」が２つに増えるが各動作の多数の結果、総合で正常であると判定する。
以上、鍵所持の場合には、骨格モデル（体の状態）の状態にかかわらず正常と判定され、不審者自動登録は行わない。

＜ナイフ所持＞
ナイフ（武器）所持している場合は、基本的に異常と判定し、不審者自動登録を行う。
図１５左に示すように、
右腕の動作： 正常
左腕の動作： 正常
右手の動作： 怪しい
左手の動作： 怪しい
右手の物体： ナイフ
左手の物体： ナイフ
である。図１５左に示す動作は、正常は２つあるが、各動作の多数の結果、総合して異常であると判定する。

動作が進んで、図１５中央に示す状態となる。
図１５中央に示すように、
右腕の動作： 怪しい
左腕の動作： 怪しい
右手の動作： 怪しい
左手の動作： 怪しい
右手の物体： ナイフ
左手の物体： ナイフ
である。図１５中央に示す動作は、各動作がすべて怪しいなり、総合して異常であると判定する。

さらに、動作が進んで、図１５右に示す状態となる。
図１５右に示すように、
右腕の動作： 怪しい
左腕の動作： 怪しい
右手の動作： 怪しい
左手の動作： 怪しい
右手の物体： ナイフ
左手の物体： ナイフ
である。図１５右に示す動作でも各動作がすべて怪しい状態が継続され、総合して異常であると判定する。
以上、ナイフ所持の場合には、骨格モデル（体の状態）の状態にかかわらず異常と判定され、不審者自動登録を行う。
ナイフ所持の場合と下記ピストル所持の場合は、危険性が大であるので、スマートフォン５０ａユーザの操作を待たず、緊急に関係機関（警察・消防）に通知する。

＜ピストル所持＞
ピストル（武器）所持している場合は、異常と判定し、不審者自動登録を行う。
図１６左に示すように、
右腕の動作： 正常
左腕の動作： 正常
右手の動作： 怪しい
左手の動作： 怪しい
右手の物体： ピストル
左手の物体： ピストル
である。図１６左に示す動作は、正常は２つあるが、各動作の多数の結果、総合して異常であると判定する。

動作が進んで、図１６中央に示す状態となる。
図１６中央に示すように、
右腕の動作： 正常
左腕の動作： 正常
右手の動作： 怪しい
左手の動作： 怪しい
右手の物体： ピストル
左手の物体： ピストル
である。図１６中央に示す動作は、正常は２つあるが、各動作の多数の結果、総合して異常であると判定する。

さらに、動作が進んで、図１６右に示す状態となる。
図１６右に示すように、
右腕の動作： 怪しい
左腕の動作： 怪しい
右手の動作： 怪しい
左手の動作： 異常
右手の物体： ピストル
左手の物体： ピストル
である。図１６右に示す動作は、正常がなくなり異常が現れて、総合して異常であると判定する。
以上、ピストル所持の場合には、骨格モデル（体の状態）の状態にかかわらず異常と判定され、不審者自動登録を行う。
ピストル所持の場合は、ナイフ所持の場合よりもさらに、危険性が大であるので、スマートフォン５０ａユーザの操作を待たず、緊急に関係機関（警察・消防）に通知する。また、上記不審者自動登録の処理よりも優先して、緊急通知を行う。

＜こん棒所持＞
こん棒（武器）所持している場合は、異常と判定し、不審者自動登録を行う。
図１７左に示すように、
右腕の動作： 正常
左腕の動作： 正常
右手の動作： 怪しい
左手の動作： 怪しい
右手の物体： こん棒
左手の物体： こん棒
である。図１７左に示す動作は、正常は２つあるが、各動作の多数の結果、総合して異常であると判定する。

動作が進んで、図１７中央に示すこん棒を振り上げる状態となる。
図１７中央に示すように、
右腕の動作： 怪しい
左腕の動作： 怪しい
右手の動作： 怪しい
左手の動作： 怪しい
右手の物体： こん棒
左手の物体： こん棒
である。図１７中央に示す動作は、各動作がすべて怪しいなり、総合して異常であると判定する。

さらに、動作が進んで、図１７右に示すこん棒を振り上げた状態となる。
図１７右に示すように、
右腕の動作： 怪しい
左腕の動作： 怪しい
右手の動作： 怪しい
左手の動作： 怪しい
右手の物体： こん棒
左手の物体： こん棒
である。図１７右に示す動作でも各動作がすべて怪しい状態が継続され、総合して異常であると判定する。
以上、こん棒所持の場合には、骨格モデル（体の状態）の状態にかかわらず異常と判定され、不審者自動登録を行う。

［適用例］
デジタルサーチ・セキュリティシステムによる侵入検出の適用例について説明する。
図１８は、デジタルサーチ・セキュリティシステム１０００が適用される敷地（セキュリティ区域）を示す平面図である。図１８に示すように、敷地５には住居６が建てられており、住居６は、北側に玄関６ａ、西側にドア６ｂ、南側に窓６ｃが配置されている。住居６の周囲には、北側玄関スペース５ａ、西側スペース５ｂ、南側スペース５ｃ、東側スペース５ｄがある。侵入者は、これらスペースから侵入し、玄関６ａやドア６ｂ、窓６ｃを道具（ピッキング用ピック、バール、ガラス切り、サムターン回しなど）を使用して住居内に入ることが想定される。

図１９は、デジタルサーチ・セキュリティシステム１０００による侵入検出例を示す図である。
図１９左上では、北側玄関スペース５ａに自転車に乗った人がいて、かつ、この人は携帯端末装置５０を所持している人（家族など）ではない。また、傘により頭部が隠れていて顔認識はできない。しかし、玄関に近付いていないので、この時点では侵入者ではないと判断できる。ただし、自転車による犯行前の下見の可能性は残るが、顔認識できないので不審者であるとの特定はできない。

図１９右上では、北側玄関６ａ先に人がいて、かつ、この人は携帯端末装置５０を所持している人（家族など）ではないので、侵入者の可能性は残っている。前記図１１及び図１２で説明したように、骨格抽出による不審動作を判定することで不審者の検出につなげることができる。特に、この人が侵入犯罪（空き巣のこと）のための道具を所持している場合（図６ＢのステップＳ３０参照）には、直ちに不審者と判断する。

図１９左下では、北側玄関スペース５ａに人がしゃがみこんでいて、かつ、この人は携帯端末装置５０を所持している人（家族など）ではない。しゃがみこんでいる状態は、骨格抽出により判定できる。また、顔認識はできない。しかし、玄関６ａに近付いていないので、この時点では侵入者ではないと判断できる。

図１９右下では、北側玄関６ａ先に人がいて、かつ、この人は携帯端末装置５０を所持している人（家族など）ではない。しかも、マスクにより顔が隠されていて顔認識はできない。さらに、前記図１１及び図１２で説明したように、骨格抽出による不審動作判定により、腕の動きが怪しく、手・指の動きがドアノブを触っている。不審者である蓋然性が高いと判断できる。特に、この人が侵入犯罪（空き巣のこと）のための道具を所持している場合（図６ＢのステップＳ３０参照）には、直ちに不審者と判断する。

以上詳細に説明したように、本実施の形態によれば、デジタルサーチ・セキュリティシステム１０００（図１参照）は、セキュリティ区域内の人を検出する人検出部１１１と、人検出部１１１が検出したセキュリティ区域内の人が侵入犯罪のための道具を所持していることを検出する道具検出部１１３と、道具検出部１１３が侵入犯罪のための道具を検出したことを受けて、不審者の存在を通報する制御部１１０とを備える。

この構成により、道具検出部１１３が侵入犯罪のための道具を検出したことを受けて、不審者の存在を通報するので、ピッキング行為の前やピッキング行為とは別の方法で賊（侵入者）が侵入しようとしたときに、警報を出力することができる。また、監視カメラ１１の撮影映像と人感センサ２０の温度をもとに、より精度良く不審者の存在を検出することができる。

本実施形態では、制御部１１０は、道具の種類、組合せ又は数に基づいて侵入犯罪の危険度を判断する。危険度に合わせてより迅速に侵入犯罪に対応することができる。また、危険度に合わせたテロップの送信や関係機関への通報を行うことができる。例えば、ナイフやピストル所持の場合は、危険性が大であるので、ユーザの操作を待たず、緊急に関係機関（警察・消防）に通知する。

本実施形態では、デジタルサーチ・セキュリティシステム１０００は、セキュリティ区域内の画像を撮影する監視カメラ１１を備え、制御部１１０は、監視カメラ１１の撮影方向を可変にして、複数の位置の人を判断する。監視カメラ１１の台数の節約、又は限られた監視カメラ１１を用いて、異常事態を把握できる。監視におけるリソースを低減して、低コスト化を図ることができる。

本実施形態では、デジタルサーチ・セキュリティシステム１０００は、非侵入者が所持するＩＤ端末を検出するＩＤ端末検出部１１４を備え、制御部１１０は、ＩＤ端末検出部１１４が検出したＩＤ端末を所持している人を不審者から除外する。ＩＤ端末を所持している人を不審者から除外することで、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。

本実施形態では、制御部１１０は、セキュリティ区域内で人の出入りが激しい所定の時間帯では不審者判定を解除する。セキュリティ区域内で人の出入りが激しい所定の時間帯では不審者判定を解除することで、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。

本実施形態では、デジタルサーチ・セキュリティシステム１０００は、挙動検出部１１２が腕や手の動きの特徴をとらえ、この腕や手の動きの特徴を侵入者の心理状態を判定する判定材料として補助的に用いる。これにより、善意の人か悪意のある侵入者かの区別、さらに侵入者の場合には侵入の危険度を判定し、危険度に合わせて警戒の状態をランク付けする。

本実施形態では、デジタルサーチ・セキュリティシステム１０００は、監視領域へ侵入者に対して、通常の警戒と、よりランクの高いランクの警戒を通知することで、住居の所有者は対応した動作を行え、より高い精度での脅威の排除ができる。

本実施形態では、デジタルサーチ・セキュリティシステム１０００は、ＣＰＵ以外の計算リソースであるＡＩアクセラレータ２００を備え、制御部１１０の人検出部１１１は、ＡＩアクセラレータ２００を用いて、セキュリティ区域内の人を検出する。ＡＩアクセラレータ２００は、ＣＰＵ処理とは別に人の検出処理を専用ハードで実行することで、広範なセキュリティ区域内に存在する人を実時間で検出することができる。また、安価なカメラ機器用いた構成であっても、リアルタイムで人を検出することができる。
また、ＡＩアクセラレータ２００であることで、従来の画像差分を用いた動体検出型の監視カメラによる画像認識に比べて極めて高い精度での侵入者の検出を行うことができる。

本実施形態では、デジタルサーチ・セキュリティシステム１０００は、監視カメラ１１の撮影画像を録画する録画部１６０を備え、録画部１６０は、撮影後所定の短時間は高画質で録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画すると共に高画質の撮影画像は消去し、制御部１１０が不審者を検出した時は、その時までの所定の短時間の高画質の撮影画像を保存する。これにより、デジタルサーチ・セキュリティ制御上、必要とされる高画質の撮影画像は記録しつつ、時間経過後は低画質で記録して、記録手段のリソースを低減することができる。

以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。

また、上記実施の形態ではデジタルサーチ・セキュリティシステム及び方法という名称を用いたが、これは説明の便宜上であり、監視システム、セキュリティシステム、サーチ・セキュリティ方法等であってもよい。

また、本発明のデジタルサーチ・セキュリティシステム及び方法は、コンピュータを本デジタルサーチ・セキュリティシステム又は方法として機能させるためのプログラムでも実現される。このプログラムは、コンピュータで読み取り可能な記録媒体に格納されていてもよい。

このプログラムを記録した記録媒体は、本デジタルサーチ・セキュリティシステムのＲＯＭそのものであってもよいし、また、外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等であってもよい。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣ（Integrated Circuit）カード、ＳＤ（Secure Digital）カード、光ディスク等の記録媒体に保持することができる。

本明細書で引用したすべての刊行物、特許及び特許出願は、そのまま参考として、ここにとり入れるものとする。

本発明に係るデジタルサーチ・セキュリティシステム、方法及びプログラムは、住居、企業の事務所、工場、研究所、情報処理室、金銭集計室等の高度の管理を要する事業所等への設置が期待される。さらに、住宅、商業施設、事務所、病院、ホテル、金融機関、工場、研究所、発電所、エアーターミナル、集会場、イベントホール、競技場、美術館等の建物屋内外、交通機関の電車、フェリー、飛行機の車内等も対象である。

１１ 監視カメラ（撮影手段）
２０ 人感センサ（不審者検出手段）
３０ Ｗｉ-Ｆｉ親機
４０ ビーコン親機
５０ 携帯端末装置（ＩＤ端末）
５０ａ スマートフォン（携帯端末装置；ＩＤ端末）
５１ Ｗｉ-Ｆｉ子機
５２ ビーコン子機
５３ ＧＰＳ
１００ 監視装置
１１０ 制御部（制御手段）
１１１ 人検出部（人検出手段）
１１２ 挙動検出部（挙動検出手段）、
１１３ 道具検出部（道具検出手段）
１１４ ＩＤ端末検出部（ＩＤ端末検出手段）
１１５ 顔認証機能部
１２０ 入力部
１２０ａ 操作盤
１３０ 記憶部
１４０ 表示部
１５０ 出力部
１６０ 録画部（録画手段）
１６５ 顔情報ＤＢ
１７０ 画像処理部
１８０ インタフェース（Ｉ／Ｆ）部
１９０ 通信部
２００ ＡＩアクセラレータ（人検出手段）
１０００ デジタルサーチ・セキュリティシステム

Claims (9)

1. セキュリティ区域内の人を検出する人検出手段と、
   前記人検出手段が検出した前記セキュリティ区域内の人が侵入犯罪のための道具を所持していることを検出する道具検出手段と、
   前記道具検出手段が検出した道具を所持する手の挙動を含む人の挙動を検出する挙動検出手段と、
   前記道具検出手段が検出した道具と前記挙動検出手段が検出した前記人の挙動とを総合して判定した結果、前記人が不審者であると判定されたことを受けて、不審者の存在を通報する制御手段と
   を備えることを特徴とするデジタルサーチ・セキュリティシステム。
2. 前記制御手段は、前記道具の種類、組合せ又は数に基づいて侵入犯罪の危険度を判断することを特徴とする請求項１記載のデジタルサーチ・セキュリティシステム。
3. 前記セキュリティ区域内の画像を撮影する撮影手段を備え、
   前記制御手段は、前記撮影手段の撮影方向を可変にして、複数の位置の人を判断することを特徴とする請求項１記載のデジタルサーチ・セキュリティシステム。
4. 非侵入者が所持するＩＤ（Identification）端末を検出するＩＤ端末検出手段を備え、
   前記制御手段は、前記ＩＤ端末検出手段が検出した前記ＩＤ端末を所持している人を不審者から除外することを特徴とする請求項１記載のデジタルサーチ・セキュリティシステム。
5. 前記制御手段は、セキュリティ区域内で人の出入りが激しい所定の時間帯では不審者判定を解除することを特徴とする請求項１記載のデジタルサーチ・セキュリティシステム。
6. 前記撮影手段の撮影画像を録画する録画手段を備え、
   前記録画手段は、撮影後所定の短時間は高画質で録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画すると共に高画質の撮影画像は消去し、前記制御手段が撮影方向の変化を検出した時は、その時までの所定の短時間の高画質の撮影画像を保存することを特徴とする請求項３記載のデジタルサーチ・セキュリティシステム。
7. 前記道具は、ピッキング用ピック、バール、ガラス切り、ナイフ、バーナ又はサムターン回しであることを特徴とする請求項１記載のデジタルサーチ・セキュリティシステム。
8. セキュリティ区域内の人を検出する人検出ステップと、
   前記人検出ステップが検出した前記セキュリティ区域内の人が侵入犯罪のための道具を所持していることを検出する道具検出ステップと、
   前記道具検出ステップが検出した道具を所持する手の挙動を含む人の挙動を検出する挙動検出ステップと、
   前記道具検出ステップが検出した道具と前記挙動検出ステップが検出した前記人の挙動とを総合して判定した結果、前記人が不審者であると判定されたことを受けて、不審者の存在を通報する制御ステップと
   を備えることを特徴とするデジタルサーチ・セキュリティ方法。
9. コンピュータを、
   セキュリティ区域内の人を検出する人検出手段と、前記人検出手段が検出した前記セキュリティ区域内の人が侵入犯罪のための道具を所持していることを検出する道具検出手段と、前記道具検出手段が検出した道具を所持する手の挙動を含む人の挙動を検出する挙動検出手段と、前記道具検出手段が検出した道具と前記挙動検出手段が検出した前記人の挙動とを総合して判定した結果、前記人が不審者であると判定されたことを受けて、不審者の存在を通報する制御手段とを備えるデジタルサーチ・セキュリティシステム
   として機能させるためのプログラム。
   

Images