JPWO2020213058A1 - デジタルスマート・ディフェンスセキュリティシステム、方法及びプログラム - Google Patents

Abstract

セキュリティ区域内の人の位置に応じて迅速かつ適切な警報を出力することができるデジタルスマート・ディフェンスセキュリティシステム、方法及びプログラムを提供する。デジタルスマート・ディフェンスセキュリティシステム（１０００）は、複数の領域が危険度に応じて設定されたセキュリティ区域にいる人を検出する人検出部（１１１）と、人検出部（１１１）によって検出された人に対して、領域に対応した音声で警告を行うとともに、不審者の存在を通報する通報部（１１５）と、会話の音声を取得し、会話の内容が不審なものであることを判定する音声認識部（１１２）とを備え、通報部（１１５）は、音声認識部（１１２）によって会話の内容が不審なものであると判定されたことを受けて、不審者の存在を通報する。

Description

本発明は、監視カメラによりセキュリティ区域内を撮影して防犯を行うデジタルスマート・ディフェンスセキュリティシステム、方法及びプログラムに関する。

特許文献１には、「ピッキング行為を検知するための警報装置としては、ピッキング行為による振動音をピッキング行為検知センサ（振動センサ）にて検知し、そのような振動音を検知したときに、警報を出力し、周囲にいる人の注意を喚起するようにした（段落０００２）」と記載されている。特許文献１の技術は、ピッキング行為の検知時に内蔵スピーカを通じて警報を出力する警報装置に関するものである。

特開２００５−１４３００４号公報

特許文献１に記載の警報装置では、セキュリティ区域内の人を検知したとしてもピッキング行為があるまで検知することがでず、警報を出力することができない。
また、人が不審者であることをより精度良く判定することが求められている。
本発明の目的は、セキュリティ区域内の人の位置に応じて迅速かつ適切な警報を出力することができるデジタルスマート・ディフェンスセキュリティシステム、方法及びプログラムを提供することにある。

本発明に係るデジタルスマート・ディフェンスセキュリティシステムは、複数の領域が危険度に応じて設定されたセキュリティ区域にいる人を検出する人検出手段と、前記人検出手段によって検出された人に対して、前記領域に対応した音声で警告を行うとともに、不審者の存在を通報する通報手段とを備えることを特徴とする。

この構成により、危険度に応じて設定されたセキュリティ区域にいる人を判定して、危険度に応じた音声で警告するので、セキュリティ区域内の人の位置に応じて迅速かつ適切な警報を出力することができる。例えば、宅配人、セールスマン、銀行員等に成りすました不審者が家に来訪する場合がある。この場合、不審者の位置に応じて危険度に対応した音声で警告するので、不審者であれば、不審行為を躊躇させる、又は不審者を撃退することができる。

会話の音声を取得し、前記会話の内容が不審なものであることを判定する音声認識手段を備え、前記通報手段は、前記音声認識手段によって前記会話の内容が不審なものであると判定されたことを受けて、不審者の存在を通報することで、不審者を家へ入れてしまうことを防止することができる。セキュリティ区域内の不審者の位置判定だけでは、不審者であると判断できなかった場合であっても、不審者との会話から不審者であることを判定することができる。会話は、セキュリティ区域内の人には限定されず、電話による会話についても同様である。

前記音声認識手段は、玄関に設置されたインターホンの会話の音声を認識することで、インターホンの会話を通じて、宅配者、セールスマン、銀行員等に成りすました来訪者を不審者であると判定することができ、不審者を家へ入れてしまうことを防止することができる。

非侵入者が所持するＩＤ（Identification）端末を検出するＩＤ端末検出手段を備え、前記通報手段は、前記ＩＤ端末検出手段が検出した前記ＩＤ端末を所持している人を通報しないことで、例えば家族及び関係者のスマートフォンを検出して不審者から除外し、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。

前記音声認識手段は、電話の通話の音声を認識することで、電話による会話から不審者を判定することができ、アポ電強盗及び振込詐欺を未然に防止することができる。

不審会話で使用される語彙を格納した不審語彙格納手段を備え、前記音声認識手段は、取得した前記音声に出現する単語を、前記不審語彙格納手段の語彙と照合して、前記会話の内容が不審なものであることを判定することで、不審者判定の精度を高めることができ、アポ電強盗及び振込詐欺を確実に防止することができる。

また、本発明のデジタルスマート・ディフェンスセキュリティ方法は、複数の領域が危険度に応じて設定されたセキュリティ区域にいる人を検出する人検出ステップと、前記人検出ステップによって検出された人に対して、前記領域に対応した音声で警告を行うとともに、不審者の存在を通報する通報ステップとを備えることを特徴とする。

また、本発明は、コンピュータを、複数の領域が危険度に応じて設定されたセキュリティ区域にいる人を検出する人検出手段と、前記人検出手段によって検出された人に対して、前記領域に対応した音声で警告を行うとともに、不審者の存在を通報する通報手段とを備えるデジタルスマート・ディフェンスセキュリティシステムとして機能させるためのプログラムである。

本発明によれば、セキュリティ区域内の人の位置に応じて迅速かつ適切な警報を出力することができる。

本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの構成を示すブロック図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの制御部のブロック図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムを用いた全体を示す構成図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムのセキュリティアプリ動作を示す図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの警備モード設定処理を示すフローチャートである。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの警備モードを説明する図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの個人住宅における警備の例を示す図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの集合住宅における警備の例を示す図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの侵入者の位置に応じて自動音声により警告及び画像・音声による遠隔からの対話機能を説明する図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムのデジタルスマート・ディフェンスセキュリティ処理を示すフローチャートである。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムのデジタルスマート・ディフェンスセキュリティ処理を示すフローチャートである。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの音声認識部の機能を説明する図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの平面における侵入者検出の例を示す図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの立面における侵入者検出の例を示す図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの時間による侵入者検証の例を示す図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムが敷地境界をカメラ画像にマッピングする例を示す図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムが敷地内にあらかじめあるものの高さを登録する例を説明する図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムにおける人間の状態による高さの変化を説明する図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムにおける人間の状態による高さの変化を説明する図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムにおける瞳と首の動きの変化による判断を説明する図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムのBLEによる一時的な警備解除を説明する図である。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムによる侵入検出の適用例１を説明する図である。 図２２の適用例１において、デジタルスマート・ディフェンスセキュリティシステム、家族、不審者の動作の概要を示すフローチャートである。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムによる侵入検出の適用例２を説明する図である。 図２４の適用例２において、デジタルスマート・ディフェンスセキュリティシステムの動作を示すフローチャートである。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムによる侵入検出の適用例３を説明する図である。 図２６の適用例３において、デジタルスマート・ディフェンスセキュリティシステムの動作を示すフローチャートである。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの適用例４において、注意度に応じて利用者に通知する処理を示すフローチャートである。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの適用例５において、セキュリティ区域内の人に応じた自動音声による警告のデジタルスマート・ディフェンスセキュリティシステム及び家族・保護者の動作の概要を示すフローチャートである。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの適用例６において、不審な電話の検知、登録及び転送の概要を示すフローチャートである。 本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの適用例７において、音声認識により通話相手の注意度を判定する機能を示すフローチャートである。

以下、添付図面を参照しながら本発明を実施するための形態について詳細に説明する。
（実施の形態）
図１は、本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの構成を示すブロック図である。
本デジタルスマート・ディフェンスセキュリティシステムは、住居、企業の事務所、工場、研究所、情報処理室、金銭集計室等の高度の管理を要する事業所等に適用して好適である。

図１に示すように、デジタルスマート・ディフェンスセキュリティシステム１０００は、セキュリティ区域のそれぞれに設置された１つの監視カメラ１１（撮影手段）と、人感センサ２０と、セキュリティ区域内に設置されたＷｉ-Ｆｉ（Wireless Fidelity）ターミナル（以下「Ｗｉ-Ｆｉ親機」という）３０と、ビーコン親機４０と、関係者（家族）が携帯する携帯端末装置５０（ＩＤ（Identification）端末）と、システム全体を制御する監視装置１００と、ＡＩ（Artificial Intelligence：人工知能）アクセラレータ（Accelerator）２００（人検出手段）と、を備える。セキュリティ区域は、警戒エリア（警備対象エリア）であり、例えば、住居であれば敷地、玄関先及びベランダ、オフィスであればエレベータホール、ベランダ及び窓を含む。

なお、監視装置１００は、セキュリティ区域内に設置されているが、図示しないネットワークを介して外部に設置してもよい。監視装置１００を、ネットワーク上のサーバに設置すると、複数のセキュリティ区域を監視対象とすることができる。

＜監視カメラ１１＞
監視カメラ１１は、２次元又は３次元で特定されるセキュリティ区域の画像（２次元）を撮影する。
監視カメラ１１の一部又は全部は、ＰＴＺ（パン・チルト・ズーム）機能を有するＰＴＺカメラであり、監視装置１００により遠隔操作される。監視カメラ１１は、セキュリティ該当建物の警備対象の外壁周囲、例えば侵入者が出入可能な出入口、窓開口部、敷地境界外周部、該当敷地エリアの各所に設置される。監視カメラ１１が撮影した画像は、監視装置１００に出力され、録画部１６０に記録される。

＜人感センサ２０＞
人感センサ２０は、サーモカメラや赤外線カメラ等であり、セキュリティ区域内の感知対象物の温度を検出して、セキュリティ区域内の不審者を検出する。

＜Ｗｉ-Ｆｉ親機３０＞
Ｗｉ-Ｆｉ親機３０は、Ｗｉ-Ｆｉを用いて携帯端末装置５０のＷｉ-Ｆｉ子機５１との間で情報をやり取りする。また、Ｗｉ-Ｆｉ親機３０は、Ｗｉ-Ｆｉ測位による位置情報取得、すなわちＷｉ-Ｆｉアクセスポイントと所定の位置情報サービスを利用した位置情報を取得できる。

＜ビーコン親機４０＞
ビーコン親機４０は、玄関等に設置され、BLE（Bluetooth Low Energy）により個体識別符号の入ったビーコン信号を送るBLE送信機である。
BLEは、近接を検知する無線技術である。BLEは、発信側のビーコン機器であるビーコン親機４０と、ビーコン親機４０からの電波受信に対応した携帯端末装置５０のアプリ（後記ビーコン子機５２に対応する）の組み合わせによって構成される。BLEは、識別に必要な固有のＩＤ情報を発信し、携帯端末装置５０の当該ＩＤ情報に紐付けられたアプリにしか反応しない。携帯端末装置５０のアプリは、ビーコン親機４０と同じ識別子を登録しておく。携帯端末装置５０のアプリ（ビーコン子機５２）は、BLE機能を搭載したアプリケーション実行によりバックグラウンドで待機し、ビーコン親機４０のビーコンに近接したときに所定アクションを励起する。

［携帯端末装置５０］
携帯端末装置５０は、家族などがそれぞれ携帯する。携帯端末装置５０は、例えばスマートフォン５０ａ、タブレット５０ｂ、又はノートパソコン５０ｃなどである。携帯端末装置５０は、このほか、携帯電話、ＰＨＳ（Personal Handy-Phone System）、ＰＤＡ（Personal Digital Assistants）、又は専用端末などである。本実施の形態では、携帯端末装置５０は、家族などが様々な場所（すなわち現在位置）で使用可能であり、図示しない電話回線を介して監視装置１００からのメール又は動画を含む映像等を受信可能である。

本実施の形態では、携帯端末装置５０は、スマートフォン５０ａ（ＩＤ端末）の利用を想定しており、各個人が様々な場所（すなわち現在位置）で使用可能である。携帯端末装置５０のうちの一つは、図示しない警備会社に配置される。

スマートフォン５０ａは、デジタルスマート・ディフェンスセキュリティアプリ（以下、「セキュリティアプリ」という）を有する。セキュリティアプリを、例えば各アプリのバックグランド処理で起動させておくと、通信キャリア網（固定網）、ウェブサービスクラウド３００（後記図３参照）、又はインターネット３０３（後記図３参照）を経由して、ウェブサービスクラウド３００上のクラウドサーバ３０１（後記図３参照）に接続でき、クラウドサーバ３０１から不審者に関するテロップを受け取ることができる。スマートフォン５０ａは、待受け画面等に不審者を検出したテロップを通知できる。

スマートフォン５０ａは、Ｗｉ-Ｆｉ個別識別機（以下「Ｗｉ-Ｆｉ子機」という）５１と、関係者の位置を捕捉するＧＰＳ５３と、を備える。
なお、スマートフォン５０ａは、ビーコン子機５２を備えているものでもよい。又は、スマートフォン５０ａは、Ｗｉ-Ｆｉ子機５１と、ビーコン子機５２と、ＧＰＳ５３とのいずれか一つを備えるものでもよい。

＜Ｗｉ-Ｆｉ子機５１＞
Ｗｉ-Ｆｉ子機５１は、業務施設に設置されたＷｉ-Ｆｉ親機３０の電波を受信及び個別識別する。監視装置１００は、施設内に設置されたＷｉ-Ｆｉ親機３０の配置情報をセフティ関連情報として記憶している。Ｗｉ-Ｆｉ子機５１がＷｉ-Ｆｉ親機３０に近接すると、携帯端末装置５０を携帯する関係者のＩＤと位置を判定することができる。

＜ビーコン子機５２＞
ビーコン子機５２は、ビーコン親機４０からの電波受信に対応した携帯端末装置５０のアプリである。ビーコン親機４０は、ビーコン（識別に必要な固有のＩＤ情報）を発信し、携帯端末装置５０のアプリ（ビーコン子機５２）は、ビーコン親機４０のビーコンに近接したときに所定アクションを励起する。

＜ＧＰＳ５３＞
ＧＰＳ５３は、位置情報の電波をＧＰＳ衛星等から受信する。ＧＰＳ５３は、ＧＰＳアンテナを介して受信した情報より、現在位置情報を、緯度、経度及び高度の３つのパラメータとして算出して位置情報を取得する。取得した位置情報は、適時、監視装置１００に送信される。

なお、本実施形態では、位置情報を取得する手段として、ＧＰＳ衛星を利用した例を示したが、ＧＰＳ以外の、基地局との位置関係を利用した方式でもよい。例えば、モバイル端末である携帯端末装置５０として、Ａｎｄｒｏｉｄ（登録商標）スマートフォンやカメラ付き高機能携帯電話機を使用する場合、ＧＰＳ５３に代えて又は併用して、基地局及び携帯電話通信網（図示省略）を介して携帯電話会社サーバと情報の送受信を行い、接近確認から自端末の現在位置情報を取得することも可能である。

また、Ｗｉ-Ｆｉ測位による位置情報取得、すなわちＷｉ-Ｆｉアクセスポイントと所定の位置情報サービスを利用した位置情報取得を用いてもよい。

［監視装置１００］
監視装置１００は、関係者（例えば家族）の住居に設置され、セキュリティ区域内を集中管理する。監視装置１００は、一般的なサーバ計算機、又はパーソナルコンピュータ等であってよい。

監視装置１００は、制御部１１０と、入力部１２０と、記憶部１３０と、出現頻度付き辞書１３５（不審語彙格納手段）と、表示部１４０と、出力部１５０と、録画部１６０（録画手段）と、登録者情報ＤＢ（データベース）１６５と、画像処理部１７０と、インタフェース（Ｉ／Ｆ）部１８０と、通信部１９０と、を備え、各部はバス１９５により接続される。

以降、「○○部は」と主体を記した場合は、制御部１１０が必要に応じＲＯＭから各プログラムを読み出した上でＲＡＭにロードし、各機能（後記）を実行するものとする。各プログラムは、予め記憶部１３０に記憶されていてもよいし、他の記憶媒体又は通信媒体を介して、必要なときに監視装置１００に取り込まれてもよい。

制御部１１０は、ＣＰＵ（Central Processing Unit）等により構成され、監視装置１００全体を制御するとともに、制御プログラムを実行して、デジタルスマート・ディフェンスセキュリティシステムとして機能させる。制御部１１０の詳細な構成については、後記する。

入力部１２０は、キーボード、マウス、表示部１４０の画面上に設けられたタッチパネル、マイクなど、監視装置１００のユーザが指示などを入力するための入力機器である。

記憶部１３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などのメモリからなり、制御部１１０が用いる各種データ及びプログラムなどを記憶する。記憶部１３０は、監視カメラ１１から受信した静止画又は動画、制御部１１０が用いる各種データ及びプログラムなどを記憶する。

出現頻度付き辞書１３５は、特殊詐欺、アポ電強盗、押売、押買及び空き巣（以下、「特殊詐欺・アポ電強盗」という。）等で使用される語彙の出現頻度付き辞書である（図１２参照）。出現頻度付き辞書１３５は、特殊詐欺・アポ電強盗等の不審会話で使用される語彙を格納する。
なお、出現頻度付き辞書１３５は、記憶部１３０のメモリ領域の一部を使用するものでもよい。

表示部１４０は、監視装置１００の動作状況をはじめ、監視カメラ１１から受信した画像、又は監視装置１００を操作するためのＧＵＩ（Graphical User Interface）などを表示する。

出力部１５０は、例えばオーディオインタフェースであり、セキュリティ区域内の音響システム１５８に対して監視装置１００からの音声信号を出力する。監視装置１００から音響システム１５８へ出力する音声信号としては、例えば、入力部１２０に設けられたマイクなどの音声入力装置から入力された音声信号、又は記憶部１３０に記憶された音楽データを制御部１１０が再生した音声信号であってよい。音響システム１５８は、アンプ及び敷地内に配置された複数のスピーカを備え、監視装置１００から入力された信号を敷地内に発声する。

録画部１６０は、ＨＤＤ（Hard Disk Drive）などの外部記憶装置により構成され、監視カメラ１１が撮影したセキュリティ区域内の画像を記録する。録画部１６０は、撮影後所定の短時間は高画質で録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画する。

登録者情報ＤＢ１６５は、家族、保護者、管理者、来訪者など登録者情報を蓄積する。
なお、登録者情報ＤＢ１６５とは、別個に顔情報ＤＢ（図示省略）を設置して、不審者、及び店舗関係者等の顔画像（顔情報）を蓄積してもよい。この顔情報ＤＢに登録されている人物の顔などの基礎データは、Ｉ／Ｆ部１８０を介して図示しない本部、本社又は警備会社などからデータを入手して、顔情報ＤＢが構築される。また、図示しない本部、本社又は警備会社などと情報を交換して、相互の顔情報ＤＢが最新の顔画像（顔情報）に更新可能である。

また、監視カメラ１１によって撮影された画像の２次元の各位置と監視カメラ１１によって撮影された３次元空間内の各位置とを対応付けて記憶する画像対応ＤＢ（図示省略）を備える。制御部１１０は、３次元空間内に定義した形状を２次元面上に投影する投影変換によって対応付けて画像対応ＤＢに記憶する。画像対応ＤＢは、記憶部１３０のメモリ領域の一部を使用するものでもよい。

画像処理部１７０は、ＤＳＰ（Digital Signal Processor）等により構成され、受信した画像に対して予め定められた処理を行う。予め定められた処理には、輪郭抽出、画像のリサイズ、又は解像度変換処理などがある。

監視カメラ１１で１秒間に撮影する画像が例えば５コマの画像である場合、１／５秒画像、２／５秒画像、３／５秒画像、４／５秒画像、５／５秒画像の動きで、１秒間に１０コマの画像である場合には、１０個の画像の動きで、対象物の外形形状線を入力すれば、動く対象物の大きさが分かる。
画像処理部１７０は、監視カメラ１１で撮影された画像データを処理し、セキュリティ区域内の画像を出力する。

Ｉ／Ｆ部１８０は、セキュリティ区域内に配置された各監視カメラ１１と監視装置１００とを接続する。また、Ｉ／Ｆ部１８０は、図示しない本部、本社又は警備会社などにネットワーク又は専用回線により接続する。
通信部１９０は、基地局を介して携帯端末装置５０とデータを送受信する。通信部１９０は、無線通信機能を有し、例えばＵＡＲＴ（Universal Asynchronous Receiver Transmitter）を用いて制御基板に接続される。

［制御部１１０］
図２は、本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムの制御部１１０のブロック図である。
図２に示すように、制御部１１０は、ＣＰＵ（Central Processing Unit）等により構成され、監視装置１００全体を制御するとともに、制御プログラムを実行して、デジタルスマート・ディフェンスセキュリティシステムとして機能させる。
制御部１１０は、人検出部１１１（人検出手段）と、音声認識部１１２（音声認識手段）と、ＩＤ端末検出部１１３（ＩＤ端末検出手段）と、ＩＤ端末登録部１１４（ＩＤ端末登録手段）と、通報部１１５（通報手段）とを備える。

制御部１１０は、ＩＤ端末検出部１１３が検出したＩＤ端末（携帯端末装置５０；スマートフォン５０ａ）を所持している人（家族など所定のＩＤを所持している人など）か否かを判別する。

制御部１１０は、ＩＤ端末検出部１１３が検出したＩＤ端末を所持している人を不審者から除外する。

制御部１１０は、登録者情報ＤＢ１６５を参照して、ＩＤ端末登録部１１４が登録したＩＤ端末（来客などのＩＤ）を所持している人か否かを判別し、ＩＤ端末（来客などのＩＤ）を登録している人を不審者から除外する。

制御部１１０は、セキュリティ区域内の人の位置に基づいて侵入の危険度を判定する。例えば、侵入者がセキュリティベルトである、イエローベルトＹ、オレンジベルトＯ、レッドベルトＲ（図８〜図９上参照）のどこにいるかにより侵入の危険度を判定する。

制御部１１０は、危険度に応じた画像・音声による対話又は音声による警告を行う。

制御部１１０は、人検出によって検出された人の２次元の位置と人の大きさ（特に、人の頭の大きさ）とに基づいて、画像対応ＤＢ（図示省略）によって人の３次元空間内の位置を検出する。具体的には、制御部１１０は、画像対応ＤＢから、あらかじめ３次元空間内に投影した形状として定義して記憶しておいた投影形状を読み込む。制御部１１０は、セキュリティ区域内で検出した人の２次元画像と人の大きさをもとに、３次元空間内に定義した形状を２次元面上に投影する投影変換の逆変換を行う。制御部１１０は、１つの監視カメラ１１の画像から投影変換の逆変換をすることによって、３次元位置を検出する。原理的には、２次元画像で３次元の位置を検出することはできないはずであるが、人の大きさが既知であるとする（人による頭の大きさの違いはほとんどないことを前提とする）と、１つの監視カメラ１１が撮影した２次元画像と、検知した人の大きさ情報とをもとに３次元位置を検出することができる。

人検出部１１１は、監視カメラ１１によって撮影された画像から人を検出し、その人の大きさを検出する。具体的には、人検出部１１１は、ＡＩアクセラレータ２００（後記）を用いてセキュリティ区域内の人を検出する。人検出部１１１は、ＡＩアクセラレータ２００に対して人検出要求を発行し、ＡＩアクセラレータ２００は、ＣＰＵ以外でＡＩの計算を実行して、人検出結果を人検出部１１１に送信する。人検出には高速性が求められるので、人検出にＡＩアクセラレータ２００を用いている。

デジタルスマート・ディフェンスセキュリティシステム１０００は、ＡＩアクセラレータ２００を用いた人検出によりセキュリティ区域内への侵入者を検出する。
デジタルスマート・ディフェンスセキュリティシステム１０００は、ＡＩアクセラレータ２００による深層学習において、特に、人のみを監視対象とすることで、従来の画像差分を用いた動体検出型の監視カメラによる画像認識に比べて極めて高い精度での侵入者の検出を行うことができる。

本実施形態では、人検出部１１１は、ＡＩアクセラレータ２００を用いて人を検出しているが、サーモカメラ（又は人感センサ２０）で人を検出するようにしてもよい。すなわち、人感センサ２０は、セキュリティ区域内の温度を検出する。そして、人検出部１１１は、人感センサ２０が人の体温を検出し、かつ、監視カメラ１１がその撮影画像の変化を検出したことによって人（不審者候補）の存在を検出する。

なお、人検出部１１１は、ＡＩアクセラレータ２００を用いた人検出と、サーモカメラ（又は人感センサ）を用いた人検出とを組み合わせてもよい。例えば、セキュリティ区域内のうち、人検出の高速性が要求される、玄関先やベランダ、窓についてはＡＩアクセラレータ２００を用い、人検出の高速性が要求されない敷地と外部の境界の敷地内はサーモカメラ（又は人感センサ）を使用する。

音声認識部１１２は、会話の音声を取得し、会話の内容が不審なものであることを判定する。音声認識部１１２は、取得した音声に出現する単語を、出現頻度付き辞書１３５の語彙と照合して、会話の内容が不審なものであることを判定する。

ＩＤ端末検出部１１３は、非侵入者が所持するＩＤ（Identification）端末を検出する。
ＩＤ端末登録部１１４は、来客等が所持するＩＤ端末を登録者情報ＤＢ１６５に登録する。

通報部１１５は、人検出部１１１によって検出された人に対して、領域に対応した音声で警告を行うとともに、不審者の存在を通報する。通報部１１５は、危険度（注意度、緊急度）に応じた通報を行う。

通報部１１５は、音声認識部１１２によって会話の内容が不審なものであると判定されたことを受けて、不審者の存在を通報する。
通報部１１５は、ＩＤ端末検出部１１３が検出したＩＤ端末を所持している人を通報しない。

［ＡＩアクセラレータ２００］
ＡＩアクセラレータ２００は、人を検出する専用プロセッサであり、ＣＰＵ以外の計算リソースを用いる。ＡＩアクセラレータ２００は、例えば、ＧＰＵ（Graphics Processing Unit）を強化したプロセッサよる画像処理、ＦＰＧＡ（Field Programmable Gate Array）を用いた信号処理のアクセラレートである。また、ＡＩアクセラレータ２００は、専用ハード（例えば、ＧＰＵ）上でＡＩ（Artificial Intelligence：人工知能）の計算を実行する。

通常のＰＣによるコンピュータの処理では、デジタル画像一枚あたり人（人体）の検出の処理を行うのに約１．５秒かかる。このため、本実施形態では、人の検出プロセッサであるＡＩアクセラレータ２００を利用することで、ＰＣによるコンピュータの処理の約１０倍のパフォーマンスを得、侵入検出を迅速に実行する。また、本実施形態では、計算負荷が高いＡＩの計算を専用ハードであるＡＩアクセラレータ２００に任せている。これにより、市販のカメラと安価な機器用いた構成であっても、リアルタイムに挙動不審を検出し、不審者を登録可能であることが実証できた。

［デジタルスマート・ディフェンスセキュリティシステム］
図３は、本発明の実施形態に係るデジタルスマート・ディフェンスセキュリティシステムを用いた全体を示す構成図である。
図３に示すように、デジタルスマート・ディフェンスセキュリティシステム１０００は、ウェブサービスクラウド３００上に、デジタルスマート・ディフェンスセキュリティサービスを提供するクラウドサーバ（商用サーバ）３０１、クラウドサーバ３０１に連携して能動的に情報を取得してユーザのスマートフォン５０ａ（携帯端末装置；ＩＤ端末）に通知するＰｕｓｈ通知サーバ３０２を有する。ウェブサービスクラウド３００は、インターネット３０３に接続される。スマートフォン５０ａは、インターネット３０３を経由してウェブサービスクラウド３００上のクラウドサーバ３０１にテキスト及び画像を送信することができる。また、スマートフォン５０ａは、インターネット３０３を経由してＰｕｓｈ通知サーバ３０２からＰｕｓｈ通知を受信する。さらに、クラウドサーバ３０１及びＰｕｓｈ通知サーバ３０２は、ＬＴＥ／３Ｇ網などの通信キャリア網（固定網）（図示省略）を経由して、セキュリティアプリが搭載されたスマートフォン５０ａに接続する。

図３に示すように、デジタルスマート・ディフェンスセキュリティシステム１０００は、不審者の敷地内への侵入を検知し、本人・家族等が所持するスマートフォン５０ａにプッシュ通知する。
スマートフォン５０ａに来た通知をユーザがタップすると、セキュリティアプリが起動して不審者のズーム画面を表示し、「１Ｆ玄関にて不審者が検知されました」というテロップが流れる。同時にその内容が音声で読み上げられる。このように、スマートフォン５０ａの画面のテロップと音声とで不審者の通知が行われる。さらに、スマートフォン５０ａのユーザの操作により、例えば緊急時には関係機関（警察、消防）に通知する。この場合、警備会社や関係企業本社にも自動的に通知される。また、緊急性がない場合や確認したい場合には、警備会社のみに通知する。

［セキュリティアプリ動作］
図４は、本発明の実施の形態に係るデジタルスマート・ディフェンスセキュリティシステムのセキュリティアプリ動作を示す図である。
図４左に示すように、スマートフォン５０ａの待受け画面等に不審者を検出したテロップが通知される。ユーザのタップにより、図４中に示すように、スマートフォン５０ａの表示はセキュリティアプリ動作表示に切り替わり、不審者のズーム画面を表示し、不審者の位置と状況「１Ｆ玄関に不審者」を表示する。また、このテロップを自動音声で読み上げる。さらに、ユーザのタップにより、図４右に示すように、スマートフォン５０ａの表示を時系列の４画面に表示する。

以下、上述のように構成されたデジタルスマート・ディフェンスセキュリティシステムの動作について説明する。
［デジタルスマート・ディフェンスセキュリティ処理］
まず、デジタルスマート・ディフェンスセキュリティシステムの警備モード設定について説明する。

図５は、デジタルスマート・ディフェンスセキュリティシステム１０００の監視装置１００の警備モード設定処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図２参照）により実行される。図６は、警備モードを説明する図である。

ステップＳ１では、警備モード（在宅警備、外出警備、常時警備等）を定義する。警備モードに応じた防犯機能を提供することができる。図６上は、「常時警備モード」を示している。「常時警備モード」に設定した場合、デジタルスマート・ディフェンスセキュリティシステム１０００が常にセキュリティエリアの状況を監視し、適切な対応を人に促すことができる。警備モードの切り替えが不要という利点もある。一方、図６下は、「外出・在宅警備モード」を示している。「外出・在宅警備モード」は、外出警備モードと在宅警備モードとを切り替える。例えば、在宅警備モードは、２３：００〜５：００に自動オン・オフする。外出警備モードは、外出時にオン、帰宅時にオフする。以下、「外出・在宅警備モード」の場合を例に採る。

図５のフローに戻って、ステップＳ２では、時間により警備モードを変更する。
ステップＳ３では、スマートフォン５０ａ（携帯端末装置５０）から警備モードの変更を受信したか否かを判別する。
スマートフォン５０ａ（携帯端末装置５０）から警備モードの変更を受信した場合（ステップＳ３：Ｙｅｓ）、ステップＳ４で指示された警備モードで警備を実行する。
警備モードの変更を受信しない場合（ステップＳ３：Ｎｏ）、本フローを終了して定義された警備モードで時間による警備モードを実行する。
上記警備モードを定義することにより、無駄な処理をなくすことができ、結果的には計算リソースの低減により低コスト化及び処理の高速化を図ることができる。

［外出・在宅警備モード］
デジタルスマート・ディフェンスセキュリティシステム１０００の「外出・在宅警備モード」について説明する。
図６下に示すように、「外出・在宅警備モード」は、利用者が時間帯により外出警備モードと在宅警備モードとを切り替える設定を行う。例えば、在宅警備モードは、２３：００〜５：００に自動オン・オフする。外出警備モードは、外出時にオン、帰宅時にオフする。利用者は警備モードの切り替えを行うことにより、外出中はセキュリティ強度を上げる、また在宅中はセキュリティ強度を下げるなどの対応が可能になる。デジタルスマート・ディフェンスセキュリティシステム１０００は、利用者の実状に合わせたセキュリティを実行でき、キュリティシステムの資源を有効活用することができる。

［常時警備モード］
デジタルスマート・ディフェンスセキュリティシステム１０００の「常時警備モード」について説明する。
主婦等が家で家事をしたり、児童等が家で留守番をしたり、高齢者等が独り暮らしをしている場合に、例えば宅配、セールスマン、銀行員等に成りすました不審者が家に来訪する場合がある。こういった不審者を主婦、児童や高齢者等が家に入れてしまうと危険である。このような危険から児童や高齢者等を守るために、児童の両親や高齢者の息子夫婦・孫等の「保護者」を設定しておき、その保護者が来訪者の確認を行うための「常時警備モード」を提供する。また、不審者による電話は、保護者が不在である時間帯を狙ってかけてくることが多い。常時警備モードに設定しておくと、どのような時間帯であっても高齢者等を詐欺電話から守ることができる。また、店舗、事務所、研究所、金融機関、情報資料室等の部外者及び第三者等の関係者以外が重要な所要施設へ、なりすまし侵入すること、及びインターホン、偽装電話等による情報漏洩を阻止することができる。

デジタルスマート・ディフェンスセキュリティシステム１０００の「常時警備モード」は、以下の機能を有する。
・児童の両親や高齢者の息子夫婦、孫等の保護者及び管理者が所持する、通知及び対話用のスマートフォンアプリを事前に登録する機能。
・日時等のスケジュールを指定して来訪者を事前に登録者情報ＤＢ１６５に登録する。また、来訪者が正規来訪者であることを本システムに対して示すためのＱＲコード等を用いた検証機能。
・来訪者（宅配者、郵便配達、ご近所さん、セールスマン、銀行員等）が家の敷地内に入った時、その来訪者が事前に登録された来訪者やご近所さんであるかどうかをＱＲコード等による検証で確認する機能（図９及び図２９参照）。
・未登録の来訪者であった場合、事前に登録しておいた保護者のスマートフォンに対して、未登録の来訪者が来たことを画像つきで通知する機能（図２９参照）。

・玄関に設置したドアホン型対話システムと保護者が所持するスマートフォン対話システムとの間で、画像・音声による対話を行う機能（図９及び図２９参照）。
・家にかかってきた未登録又は不審な電話を自動検知して登録する機能、及び電話の相手が信用できるかどうかの判断が必要なときは保護者のスマートフォンに転送する機能（図１１及び図３０参照）。
・音声認識により通話相手の注意度を判定する機能（図１０、図１１、図３０及び図３１参照）。
・家の玄関等の電子錠を制御し、主婦等が施錠しないまま外出し、一定時間、例えば３０分等経過したことを本システムが検知し、自動で施錠する機能。
・家の玄関等の電子錠を制御し、主婦等が所持するスマートフォンから解錠したり、もしくは主婦等が鍵、スマートフォンを携帯せず、自宅の玄関等を解錠できない時に、保護者が遠隔から監視カメラで主婦等が本人であり、かつ誰にも脅迫されていないことを確認した上で遠隔から解錠する機能。

［デジタルスマート・ディフェンスセキュリティシステムの警備例］
デジタルスマート・ディフェンスセキュリティシステムの警備例について説明する。
＜ホーム＆ビルディング＞
図７は、個人住宅における警備の例を示す図である。
デジタルスマート・ディフェンスセキュリティシステムは、個人向けに個人・集合住宅、オフィス、店舗、事務所、研究所、情報資料室、及び金融機関向け等の防犯システムを提供する。主な機能は、以下の通りである。
警備モード（在宅警備、外出警備等）を定義し、警備モードに応じて防犯機能を提供する。
時間により警備モードを変更する機能を備える。
家屋外周に設置された監視カメラ１１の映像から侵入者を検出・登録する。
検出された侵入者の危険度（注意度、緊急度）を判定し、危険度（注意度、緊急度）に応じて利用者に通知する。
スマートフォン５０ａにより屋外から警備モードを変更する。
スマートフォン５０ａ、又は監視カメラ１１のスピーカなどを通して侵入者に警告を通知する。

図８は、集合住宅における警備の例を示す図である。
例えば、集合住宅向けの防犯システムを提供する。主な機能は、以下の通りである。
警備モードを定義し、警備モードに応じて防犯機能を提供する。
時間により警備モードを変更する機能を備える。
居住部外周に設置された監視カメラ１１の映像から侵入者を検出・登録する。
検出された侵入者の危険度（注意度、緊急度）を判定し、危険度（注意度、緊急度）に応じて利用者に通知する。
スマートフォン５０ａにより屋外から警備モードを変更する。
スマートフォン５０ａ、又は監視カメラ１１のスピーカなどを通して侵入者に警告を通知する。

［セキュリティ区域内の人に応じた自動音声による警告］
図９は、侵入者の位置に応じて自動音声により警告及び画像・音声による遠隔からの対話機能を説明する図である。図９上は、デジタルスマート・ディフェンスセキュリティシステム１０００の「自動音声による警告」を示している。図９中は、図９上のデジタルスマート・ディフェンスセキュリティシステム１０００の「自動音声による警告」と対比して説明するための「ドアホン型対話システム」を示し、図９下は、「防犯カメラ型対話システム」を示す。

図９中に示すように、「ドアホン型対話システム」は、来訪者と保護者との間で、ドアホンにより画像・音声による双方向の対話を行う。又は、「ドアホン型対話システム」は、クラウド対話中継システムを介して保護者が携帯する携帯端末（スマートフォン５０ａ）のスマートフォン対話アプリを実行して画像・音声による双方向の対話を行う。

図９下に示すように、「防犯カメラ型対話システム」は、マイク付き防犯カメラで侵入者を撮影・収音し、侵入者に対し家族が、画像・音声による双方向の対話を行う。又は、「防犯カメラ型対話システム」は、クラウド対話中継システムを介して家族が携帯する携帯端末のスマートフォン対話アプリを実行してスピーカ音声による双方向の対話を行う。

これら対話システムに対して、デジタルスマート・ディフェンスセキュリティシステム１０００は、セキュリティエリア内に侵入した侵入者の位置をカメラの画像をもとにＸ、Ｙ、Ｚ座標として正確に測位する。そして、デジタルスマート・ディフェンスセキュリティシステム１０００は、セキュリティ区域内に人がいることを判定して、危険度に応じた（例えばイエローベルトＹ、オレンジベルトＯ、レッドベルトＲに応じた）音声で警告する。
図９上の例では、侵入者がイエローベルトＹやオレンジベルトＯ、レッドベルトＲにいることを判定し、危険度又は状況に応じて自動音声メッセージを流す自動音声による警告を行う。詳細については、図２９のフローで後記する。
デジタルスマート・ディフェンスセキュリティシステム１０００は、セキュリティエリア内に侵入した侵入者の位置をカメラの画像をもとにＸ、Ｙ、Ｚ座標として正確に測位することができる。

［デジタルスマート・ディフェンスセキュリティ処理］
次に、デジタルスマート・ディフェンスセキュリティシステム１０００のデジタルスマート・ディフェンスセキュリティ処理について説明する。
デジタルスマート・ディフェンスセキュリティシステム１０００のデジタルスマート・ディフェンスセキュリティ処理は、（Ｉ）「侵入者の位置に応じて自動音声により警告、画像及び音声による遠隔からの対話処理」と、（II）「会話の内容による不審判定処理」とがある。上記（Ｉ）と上記（II）とは、それぞれ単独で実行してもよいし、組み合わせて実行してもよい。

＜（Ｉ）「侵入者の位置に応じた遠隔からの対話処理」＞
図１０は、デジタルスマート・ディフェンスセキュリティシステムの（Ｉ）「侵入者の位置に応じた遠隔からの対話処理」を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図２参照）により図５で設定された「常時警備モード」で実行される。

ステップＳ１１では、３次元で特定されるセキュリティ区域（特定エリア）の画像を撮影する。監視カメラ１１は、例えばＰＴＺカメラであり、監視装置１００により遠隔操作される。監視カメラ１１が撮影した画像は、監視装置１００に出力される。
ステップＳ１２で、制御部１１０の人検出部１１１は、監視カメラ１１によって撮影された画像から人を検出する。本実施形態では、人検出部１１１は、ＡＩアクセラレータ２００に対してＡＩによる［人の検出処理］を要求し、人検出部１１１は、ＡＩアクセラレータ２００からの人の検出結果を待つ。なお、人検出部１１１は、サーモカメラ（又は人感センサ２０）による人検出を併用するようにしてもよい。

ステップＳ１３で制御部１１０は、監視カメラ１１によって撮影された画像に人が検出されたか否かを判別する。
監視カメラ１１によって撮影された画像に人が検出された場合（ステップＳ１３：Ｙｅｓ）、ステップＳ１４に進む。監視カメラ１１によって撮影された画像に人を検出しない場合（ステップＳ１３：Ｎｏ）、本フローを終了する。

ステップＳ１４で制御部１１０は、ＩＤ端末検出部１１３が検出したＩＤ端末（携帯端末装置５０；スマートフォン５０ａ）を所持している人（家族など所定のＩＤを所持している人など）か否かを判別する。制御部１１０は、ＩＤ端末検出部１１３が検出したＩＤ端末を所持している人を不審者から除外して（ステップＳ１４：Ｎｏ）、ステップＳ１５に進む。

ステップＳ１５で制御部１１０は、登録者情報ＤＢ１６５を参照して、ＩＤ端末登録部１１４が登録したＩＤ端末（来客などのＩＤ）を所持している人か否かを判別する。制御部１１０は、ＩＤ端末（来客などのＩＤ）を登録している人を不審者から除外して（ステップＳ１５：Ｎｏ）、ステップＳ１６に進む。
このように、家族等がＩＤ端末を所持している場合及び来客等のＩＤ端末をあらかじめ登録した場合、後段の処理をスキップして処理の迅速化を図る。

ステップＳ１６で制御部１１０は、セキュリティ区域内の人の位置に基づいて侵入の危険度を判定する。例えば、侵入者がイエローベルトＹ、オレンジベルトＯ、レッドベルトＲ（図８〜図９上参照）のどこにいるかにより侵入の危険度を判定する。具体的には、下記のようにして侵入の危険度を判定する。

（１）図８〜図９上のようにイエローベルトＹ内に人が検出された場合、危険度は中程度、またレッドベルトＲ内に人が検出された場合、危険度は高いと判定できる。また、イエローベルトＹ外で人が検出された場合は、危険度は小さいと判定できる。

（２）不審者の動きよっても、危険度（注意度、緊急度）を判定することができる。不審者の動きは、例えば瞳の動きと首の動き（詳細後記）や腕の動き（詳細後記）である。不審者の動きが不自然である場合、危険度（注意度、緊急度）が高いと判定できる。

ステップＳ１７で制御部１１０は、危険度に応じた画像・音声による対話又は音声による警告を行う。

ステップＳ１８で通報部１１５は、危険度（注意度、緊急度）に応じた通報を行う。通報は、例えば関係者のスマートフォン５０ａに、不審者に関する情報を送信する。この通報は、侵入犯罪の危険度（危険の度合いのクラス分け）に対応して、危険の度合いを示すメッセージやマーク、強調文字、色分けを付すようにする。また、危険度又は緊急度に対応して、通報先を変える。例えば、侵入者（不審者）が隣家の駐車場の屋根から塀を超えて侵入する場合などは、侵入者が危険で緊急度が高いと判定し、侵入者に関する最も緊急度の高いテロップを通知する。さらに、通報先の関係機関に警察等を入れる。そしてこの通報は、不審者の自動登録処理などより優先して行う。また、レッドベルトＲ内に人が検出された場合、侵入の緊急度が高いテロップを、イエローベルトＹ外で人が検出された場合は、侵入の緊急度は中程度のテロップを通知する（図４参照）。

上述したように、図４左に示すスマートフォン５０ａの待受け画面等に不審者の存在を通報するテロップを送信する。ユーザのタップにより、図４中に示すように、不審者のズーム画面を表示し、不審者の位置と状況「１Ｆ玄関に不審者」を表示するとともに、このテロップを自動音声で読み上げる。

ステップＳ１９で制御部１１０は、セキュリティ区域内の不審者の情報を記憶部１３０に登録して本フローの処理を終了する。これにより、不審者の侵入情報が記録され、防犯上有益な情報となる。
上記ステップＳ１３で監視カメラ１１によって撮影された画像から人が検出されない場合、上記ステップＳ１４で家族等のＩＤ端末を所持している人である場合、又は上記ステップＳ１５で来客等のＩＤ端末を登録した人である場合、本フローを終了する。

＜（II）「会話の内容による不審判定処理」＞
図１１は、デジタルスマート・ディフェンスセキュリティシステムの（II）「会話の内容による不審判定処理」を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図２参照）により図５で設定された「常時警備モード」で実行される。
ステップＳ２１で制御部１１０は、インターホン及び電話の会話の音声を取得する（詳細後記）。
ステップＳ２２で制御部１１０の音声認識部１１２（図２参照）は、音声認識により、取得した会話の内容の注意度を判定する。音声認識部１１２は、インターホン又は電話の会話の内容にどれだけ不審な語彙が出現するかその頻度で注意度を判定する（図１２参照）。

具体的には、音声認識部１１２は、出現頻度付き辞書１３５を参照して、会話の内容を単語の照合によって判定する。照合する単語には、出現頻度に対応して重み付けがなされる。単語の出現頻度が所定閾値より小さい場合は、注意度が小さいと判定する。単語の出現頻度が所定閾値以上の場合は、注意度が大きいと判定するとともに、注意度が所定値以上の場合、会話の内容が不審であると判定する。

注意度が所定閾値以上の場合（ステップＳ２２：Ｙｅｓ）、ステップＳ２３で制御部１１０は、警戒制御に移行する。注意度が所定閾値より小さい場合（ステップＳ２２：Ｎｏ）、正常と判断して本フローの処理を終了する。

ステップＳ２４で制御部１１０は、取得した音声がインターホンのものであるかを判定する。取得した音声がインターホンのものでない場合（ステップＳ２４：Ｎｏ）、ステップＳ２７に進む。
取得した音声がインターホンのものである場合（ステップＳ２４：Ｙｅｓ）、ステップＳ２５で制御部１１０は、登録者情報ＤＢ１６５を参照して、登録端末が存在するか否かを判定する。

登録端末が存在する場合（ステップＳ２５：Ｙｅｓ）、ステップＳ２６で制御部１１０は、警戒制御解除して本フローの処理を終了する。
登録端末が存在しない場合（ステップＳ２５：Ｎｏ）、ステップＳ２７で制御部１１０は、取得した音声が電話か否かを判定する。
取得した音声が電話のものである場合（ステップＳ２７：Ｙｅｓ）、ステップＳ２８で制御部１１０は、会話の内容を単語の照合によって会話の内容が不審か否かを判定する。
取得した音声が電話のものでない場合（ステップＳ２７：Ｎｏ）、取得した音声はインターホン及び電話のいずれでもない場合であり制御対象外と判断して本フローの処理を終了する。

上記ステップＳ２８で会話の内容が不審である判定結果の場合（ステップＳ２８：Ｙｅｓ）、ステップＳ２９で制御部１１０は、警戒制御を継続してこの会話を保存する。
ステップＳ３０で制御部１１０は、会話の内容が不審であることを保護者等へ通報して本フローの処理を終了する。

上記ステップＳ２８で会話の内容が不審である判定結果でない場合（ステップＳ２８：Ｎｏ）、ステップＳ２６で警戒制御を解除して本フローを終了する。

［音声認識部１１２による会話内容の不審判定］
次に、音声認識部１１２による会話内容の不審判定について説明する。
図１２は、デジタルスマート・ディフェンスセキュリティシステム１０００の音声認識部１１２の機能を説明する図である。
デジタルスマート・ディフェンスセキュリティシステム１０００は、電話の音声を取得し、音声認識部１１２が、出現頻度付き辞書１３５を参照して、会話の内容を単語の照合によって判定する。

出現頻度付き辞書１３５は、特殊詐欺・アポ電強盗等で使用される語彙の出現頻度付き辞書である。出現頻度付き辞書１３５は、単語が（good_freq/bad_freq）の出現頻度で紐付けられている。good_freqは、正常な通話内に現れる語彙の出現頻度、bad_freq: 特殊詐欺・アポ電強盗の通話内に現れる語彙の出現頻度である。例えば、出現頻度付き辞書１３５は、下記の語彙等を格納する。

俺 (10,000/100,000)
子供 (100/10,000)
孫 (500/10,000)
お父さん (500/50,000)
お母さん (500/50,000)
おじいちゃん (100/40,000)
おばあちゃん (100/60,000)
現金 (1,000/100,000)
へそくり (10/1,000)
預金 (700/80,000)
偽札 (10/500)
カード (100/90,000)
暗証番号 (100/100,000)
口座 (200/90,000)
金庫 (10/20,000)
その他、「部長、室長、技術本部長、常務、専務、本部、本店、本社、監査」などを含めるのもよい。
例えば、正常な通話では、現金(1,000/100,000)、暗証番号(100/100,000)、口座(200/90,000)などの語彙は、殆ど出現しない。これらbad_freqの語彙が出現する場合、特殊詐欺・アポ電強盗が疑われる。複合して出現する場合は、より詐欺の可能性が高いと判断できる。

［デジタルスマート・ディフェンスセキュリティの特徴］
次に、デジタルスマート・ディフェンスセキュリティシステムのデジタルスマート・ディフェンスセキュリティの特徴について説明する。

デジタルスマート・ディフェンスセキュリティシステム１０００は、敷地内侵入検知及び登録機能として、平面的に侵入を判定する技術と、立面的に侵入を判定する技術、平面的、立面的に検知されたものを、時間による侵入を検証する技術を、１つ又は複数組み合せて用いる。以下、詳細に説明する。

不審者を検出するには、まず人間が敷地内に侵入したかどうかをカメラ画像から判定する。この判定ののち、その人間が不審者であるかどうかを検証し登録・通知する。

警戒領域を２次元、３次元、４次元（３次元＋時間）的に検査し危険度を評価・登録する。

敷地境界内を平面的に危険度に応じて以下の３つに分類する。
・イエローベルトＹ：例えば敷地境界の内側３０ｃｍ〜４ｍ
・オレンジベルトＯ：イエローベルトＹとレッドベルトＲの間
・レッドベルト Ｒ：例えば家屋の壁面から３０ｃｍ〜４ｍ

＜セキュリティベルトについて＞
イエローベルトＹ（以下、図中はＹにより表記）は、早期警戒レベルの状態である。この部分への侵入は危険度イエローで通知されるが、３次元的、４次元的な追加情報を付加して検証し、検証の結果として侵入があれば通知することにより、検出の正確さと早期に対処を行うことが可能となる。また、レッドベルトＲ（以下、図中はＲにより表記）では領域への侵入があれば直ちに通知の対応が必要となるレベルである。

＜平面における検出＞
図１３は、平面における侵入者検出の例を示す図であり、図１３左は平面における正常な状態、図１３右は平面における異常な状態を示す。
図１３左に示すように、敷地境界の内側にイエローベルトＹを設定し、セキュリティゾーンであるオレンジベルトＯを挟んで、玄関ドア及び窓を有する家屋の壁面を囲むようにレッドベルトＲを設定する。
図１３右には、平面における異常な状態を示している。イエローベルトＹを越えて、レッドベルトＲの外側まで侵入者が侵入している。

平面における侵入者検出では、侵入者と境界との包含関係を評価する。例えば、図１３右の符号ａに示すように、監視カメラ１１が１０コマ／秒で撮影するものであれば、１０コマの画像から侵入された動体を検出し（図１３右のフレーム参照）、その平面状での位置を計算する。その１０コマ内で（秒５コマの監視カメラなら５コマ）その侵入者が確かに検出されるのであれば、侵入者が存在する可能性があると判断する。

＜立面における検出＞
図１４は、立面における侵入者検出の例を示す図であり、図１４左は立面における正常な状態、図１４右は立面における異常な状態をそれぞれ示す。
図１４左に示すように、敷地境界の内側にイエローベルトＹを設定し、オレンジベルトＯを挟んで、家屋の壁面を囲むようにレッドベルトＲを設定する。
立面における検出では、監視カメラ１１の画像から高さ（図１４右のフレーム参照）を評価する。この高さが標準的な人間の高さかどうかを評価する。例えば、図１４右の符号ｂに示すように、監視カメラ１１の１秒間の画像数を評価し、確かに侵入者が人間であることを判断する。図１４の例では、侵入者がイエローベルトＹを超えて侵入することを検出する。
立面における侵入者検出により、動物の侵入や、植栽の風による動きの誤検知を除去することができる。

＜時間による検証＞
図１５は、時間による侵入者検証の例を示す図であり、図１５左は時間における正常な状態、図１５右は時間における異常な状態をそれぞれ示す。
図１５右の符号ｃに示すように、デジタルスマート・ディフェンスセキュリティシステム１０００は、立面における侵入者検出により、得られた侵入者の検出について、一秒毎に評価を繰り返す。図１５右に示すように、侵入者はイエローベルトＹ上を歩いている。デジタルスマート・ディフェンスセキュリティシステム１０００は、侵入者がイエローベルトＹ上で継続して侵入検出されたことを受けて、侵入者が確かに侵入したと判断する。

＜立面的に侵入を判定する技術：マッピング＞
立面的に侵入を判定する技術を説明する。
立面的に侵入を判定する技術として、敷地境界の平面配置情報をカメラ画像にマッピングする。
図１６は、敷地境界をカメラ画像にマッピングする例を示す図であり、図１６左はその敷地境界の平面図、図１６右はその敷地境界をカメラ画像にマッピングした例を示す。マッピングはＣＧ（Computer Graphics）で生成された画像を写真画像に合成する技術である。合成する時、ＣＧの背景部分を透過させることによりＣＧを写真画像に自然に重畳合成できる。

図１６左に示すように、監視カメラ（図１６左の×印参照）を設置するに当たり、警戒区域（自宅敷地境界などアウトラインとなる形状）の平面図を正確に作成する。また、監視カメラの設置位置、高さ及び向き（ロール、ピッチ、ヨー情報）も与える。上記ロール、ピッチ、ヨーは、３次元空間における視線の回転角を表す。視線方向をＸ軸、それに直行する左手方向をＹ軸、視点の上方向をＺ軸とすると、Ｘ軸周りの回転をロール、Ｙ軸周りの回転をピッチ、Ｚ軸周りの回転をヨーという。

図１６右は、図１６左の符号ｄの監視カメラの画像をマッピングした例を示している。
警戒区域の位置情報をカメラのパラメータから、投影変換とビューポートによるクリッピングを行い監視カメラから得られる画像のどこが敷地内になるのかを求める（図１６右参照）。上記ビューポートは、３次元空間を２次元として認識する場合の２次元の限界を表す。これは監視カメラで写真を取った時の写真に映る範囲に相当する。ビューポートは、監視カメラで撮影できる範囲を表す。また、上記クリッピングは、３次元データで表現されたコンピュータグラフィックス等のようなオブジェクトをビューポートの大きさに切りだす処理をいう。

＜立面的に侵入を判定する技術：あらかじめ登録した物体との大きさ比較＞
マッピングされたセキュリティ区域である敷地内にある門扉の高さ、車の高さ、植生の高さ、及び人の高さ（頭の大きさ、直立した高さ、しゃがんだ高さなどの既知の人の大きさ）を比較する。

図１７は、敷地内にあらかじめあるものの高さを登録する例を説明する図である。
図１７に示すように、マッピングされたセキュリティ区域である敷地内にある門扉の高さ、車の高さ、植生の高さを登録する。また、人が有してる基準となるサイズを、すなわち人の高さ（頭の大きさ、直立した高さ、しゃがんだ高さなどの既知の人の大きさ）を画像対応ＤＢ（図示省略）にあらかじめ記憶しておく。人が侵入する場合はあらかじめ登録したセキュリティ区域である敷地内にある門扉の高さ、車の高さ、植生の高さ以外で人間的な高さがあるものが人であり、その形状の複数の画像によって侵入者（図１７のフレーム参照）を判定する。

図１８は、人間の状態による高さの変化を説明する図である。図１８の符号ｅは、高さに変化のある異常な状態を示す。図１８の符号ｆは、画像対応ＤＢに登録されている色々な高さの物体（門扉など）を示し、図１８の符号ｇは、画像対応ＤＢに登録されている正常な状態の人の大きさ（高さ）を示す。
図１８に示すように、人間の位置と３次元的な高さを（伏せる姿勢、座る姿勢、中腰の姿勢、立脚の姿勢等を判断するため、人間の５体すなわち、頭部、顔の各部部品、体、足などの厚さ、高さとの対比を正しく表せるようにする）反映する。これにより、注意度判断の精度を１００％近くまで高める。
人間の高さは、監視カメラから得られた画像の内の動体を囲む領域（一次ライン）(図１７のフレーム参照)のボックスの高さにより求める。

＜時間による侵入検証＞
立面における侵入者検出を、時間による侵入でより精度よく検証する技術を説明する。
図１９は、人間の状態による高さの変化を説明する図である。図１９の符号ｈは、侵入者が停止している状態、図１９の符号ｉは、侵入者がゆっくり移動している状態、図１９の符号ｊは、侵入者が早く移動している状態をそれぞれ示す。

前記立面における侵入者検出では、ある一瞬間に人間が警戒領域(敷地境界内)に侵入しているかどうかを判断することはできるものの、何らかの目的を持って侵入しているかどうかは判別できない。つまり、たまたま一時的に警戒領域(敷地境界内)に侵入してしまったケースを除去できない。このため、デジタルスマート・ディフェンスセキュリティシステム１０００では、時間的な継続性を加味する。

図１９に示すように、人間が敷地内に侵入したことを判別した情報が短い時間の間に連続して得られた場合。例えば２秒間に連続して検知されたとすると、それは侵入者が意図をもって侵入したと判断できる。この時間による侵入を検証技術を用いて「人が意図を持って敷地内に侵入した」という事実を判断でき、その状態情報を登録することができる。

［検出された侵入者の注意度評価］
デジタルスマート・ディフェンスセキュリティシステム１０００は、検出された侵入者の注意度を評価し、注意度に応じて利用者に通知する。上述した、図１１のフローのステップＳ１９の「危険度（注意度、緊急度）に応じた通報」に対応する。
具体的には、瞳の動きによる判断技術と、首の動きによる判断技術を用いる。これにより、デジタルスマート・ディフェンスセキュリティシステムは、警戒領域に侵入検知された対象の心理状態を危険度として評価を行うことができる。

＜瞳の動きによる判断＞
図２０上段は、瞳の動き（左右）による判断を説明する図である。
画像処理の技術を用いると顔は「顔器官検出（Facial Landmark Detection）」によって、目鼻口の位置を獲得できる。次の技術により瞳の場所を判断する。
まず、（１）目の画像を切り出す。これを一次ラインと呼称する。（２）次にその画像を二値化する。瞳は黒くなり、白眼は白となる。（３）目を水平の３つの領域に分ける（右、中央、左）。このそれぞれの領域の黒の画素を数える。この最も多い領域を二次ラインと呼称する。この二次ラインに瞳が有ると判断する。つまり、瞳が右に寄っているか、左に寄っているか、中央にあるかを判断できる。

＜首の動き（左右）による判断＞
図２０中段は、首の動き（左右）による判断を説明する図である。
首の動き、つまり左右を見渡したり、上をうかがう時、人は首を動かす。この首の動きは顔の向きという形であらわされる。顔器官検出で得られる点を内包する矩形を一次ラインとし、目鼻口を内包する矩形を二次ラインとすると、この一次ラインと二次ラインに囲まれる領域の重心座標の隔たりにより顔の向きをベクトルとして数値的にあらわすことができる。

図２０中段の矩形枠に示す顔全体の位置に対して、目・眉・鼻・口・顎の輪郭を抽出することで、図２０中段の中央のニュートラルな状態から、左に顔を向けるように首を動かす状態と、右に顔を向けるように首を動かす状態とが段階的に判定される。なお、この技術を用いて、ある角度から撮影された顔画像をもとに、ニュートラルな状態の顔画像を生成することもできる。

＜首の動き（上下）による判断＞
図２０下段は、首の動き（上下）による判断を説明する図である。
この首の動き（上下）も首の動き（左右）と同様に判断することができる。

＜時間の経過による判断＞
図２０上段に示す瞳の位置による判断だけでは、瞬間的な状況だけしかわからない。このため、短い時間における状態を追跡する。例えば、１秒間に５フレーム又は１０フレームで目の位置情報を取得して記録し、右、中央、左と判断される状況が混在した場合、目が激しく動いていると判断できる。これにより、デジタルスマート・ディフェンスセキュリティシステムは、「人が悪意を持つことにより目を激しく動かせた」と考えられる状態を判断でき、その状態を登録することができる。

また、首の位置についても同様に、首の動き時間の変化を用いることにより動きを判断できる。例えば２秒という短い時間にベクトルが右方向から左方向、或いは上方向から下方向に変化した場合、首が激しく動いたと判断できる。これにより、デジタルスマート・ディフェンスセキュリティシステムは、「人が悪意を持つことにより首を激しく動かせた」と考えられる状態を判断でき、その状態を登録することができる。
なお、図２０の瞳と首の動きの変化による判断処理は、図２８の適用例４において後記する。

［BLEによる警備解除］
図２１は、BLEによる一時的な警備解除を説明する図である。
BLE（Bluetooth Low Energy）は、近接接近を検知する技術である。デジタルスマート・ディフェンスセキュリティシステムは、利用者がスマートフォンにデジタルスマート・ディフェンスセキュリティシステム専用のアプリケーションをインストールすることにより、利用者、その家族が警戒範囲に侵入することを許す機能を持つ。利用者はあらかじめ定められた解除コードを持ち（アプリの中にインストールされている）、近接を感知すると、この解除コードがデジタルスマート・ディフェンスセキュリティシステムに送信され、一時的に警戒モードを解除する（図５のステップＳ３参照）。これにより、利用者・その家族が敷地内でする行動について検知対象外とすることが可能になり、精度の高い侵入検知を行うことができる。

［適用例］
デジタルスマート・ディフェンスセキュリティシステムによる侵入検出の適用例について説明する。
＜適用例１＞
図２２は、デジタルスマート・ディフェンスセキュリティシステム１０００による侵入検出の適用例１を説明する図である。
図２２に示すように、敷地境界の内側にイエローベルトＹを設定し、オレンジベルトＯを挟んで、玄関ドア及び窓を有する家屋の壁面を囲むようにレッドベルトＲを設定する。図２２は、平面図であるが、立面による侵入者の検出を示すために、侵入者については、(1)水平位置（Ｘ軸，Ｙ軸）と水平位置に垂直な(2)垂直位置（Ｚ軸）を破線により表している。すなわち、侵入者は、上述した「制御部１１０によって３次元空間内の位置」が検出される。図２２の西側スペース及び南側スペースのセキュリティゾーンにいる不審者（しゃがんだ不審者、伏した不審者）についても同様に、立面における侵入者検出が実行される。

図２３は、図２２の適用例１において、デジタルスマート・ディフェンスセキュリティシステム１０００、家族、不審者の動作の概要を示すフローチャートである。図２３の家族及び不審者のフローは、ＣＰＵ処理ではないが、便宜上ステップ番号を付して説明する。家族（family）はステップＦ、不審者（Suspicious person）はステップＳＰを付している。

《デジタルスマート・ディフェンスセキュリティシステム》
ステップＳ１０１でデジタルスマート・ディフェンスセキュリティシステム１０００が警備を開始する（ステップＳ１）。
ステップＳ１０２で時間により警備モードを変更する（ステップＳ２）（図５のステップＳ２に対応）。

設定した任意の条件判定を行う（ステップＳ１０３）。
２２：００以降など家族全員が帰宅済みの場合、ステップＳ１０４で在宅警備を自動開始する。
夜２３：００などの場合、ステップＳ１０５で在宅警備を自動開始する。
朝５：００などの場合、ステップＳ１０６で在宅警備を自動解除する。

監視カメラから画像を得る（ステップＳ１０７）。
画像の中で人間を囲む矩形を得る（ステップＳ１０８）。
家屋外周に設置された監視カメラ１１の映像から、侵入者を検出して登録する（ステップＳ１０９）。
家族のスマートフォンにBLE信号を送る（ステップＳ１１０）。

BLEによる警備の一時解除が行われたか否か判定する（ステップＳ１１１）。
警備の一時解除が行われた場合、警備を一時解除する（ステップＳ１１２）。
警備の一時解除が行われない場合、ステップＳ１１３で侵入者の水平位置、垂直位置を取得する。

不審者による敷地内への侵入が行われたか否かを判別する（ステップＳ１１４）。
不審者による敷地内への侵入が行われた場合、ステップＳ１１５で検出された侵入者の注意度（図１０のステップＳ１７の「危険度判定」に対応）を評価し、注意度に応じて利用者に通知する情報を作成する。
ステップＳ１１６で家族のスマートフォンに発報して通知して（図１０のステップＳ１８の「通報」に対応）上記ステップＳ１０２に戻る。

《家族》
家族又は関係者が警備モードを設定する（ステップＦ１）。家族が不在の時は外出警備にし、家族が在宅の時は在宅警備にする（図６下参照）。家族による警備モードの設定（ステップＦ１）情報は、デジタルスマート・ディフェンスセキュリティシステム１０００に送信され、デジタルスマート・ディフェンスセキュリティシステム１０００が警備を開始する（ステップＳ１）。

イエローベルトＹ内に侵入者が侵入する（ステップＦ２）。例えば、図２２に示す北側のイエローベルトＹに不審者が侵入する。デジタルスマート・ディフェンスセキュリティシステム１０００は、監視カメラから画像を得る（ステップＳ１０７）。

侵入者は家族であるか否かを判定する（ステップＦ３）。
侵入者が家族の場合、イエローベルトＹ内に家族が立ち入っている（ステップＦ４）。例えば、図２２に示す北側のイエローベルトＹ内に家族が立ち入っている。

デジタルスマート・ディフェンスセキュリティシステム１０００は、家族のスマートフォンにBLE信号を送り（ステップＳ１１０）、家族のスマートフォンがBLE信号を受信する（ステップＦ５）。

これを受けて、家族又は関係者はスマートフォンにより屋外から警備モードを変更する（ステップＦ６）。家族がイエローベルトＹにいても不審者ではないので、警備を一時解除するためである。
敷地内で自由に行動する（ステップＦ７）。

スマートフォンでデジタルスマート・ディフェンスセキュリティシステム１０００からの通知を受け取る（ステップＦ８）。
スマートフォン、監視カメラのスピーカから侵入者に警告を通知する（ステップＦ９）。

《侵入者》
イエローベルトＹ内に侵入者が侵入し、侵入者が家族でない場合、イエローベルトＹ内に不審者が立ち入っている（ステップＳＰ１）。
敷地内で不審者が伏せる姿勢、座る姿勢、中腰の姿勢、立脚の姿勢等をとる（ステップＳＰ２）。
不審者の目が左右にきょろきょろする（ステップＳＰ３）。
不審者が首を左右に素早く振る（ステップＳＰ４）。
不審者が首を上下に素早く振る（ステップＳＰ５）。
これら不審者の動きは、デジタルスマート・ディフェンスセキュリティシステム１０００に送られ、デジタルスマート・ディフェンスセキュリティシステム１０００は、不審者の動きに基づいて危険度（注意度、緊急度）を判定する。デジタルスマート・ディフェンスセキュリティシステム１０００は、家族や関係機関に、危険度（注意度、緊急度）に応じたレベルの通知を行うことができる。

＜適用例２＞
図２４は、デジタルスマート・ディフェンスセキュリティシステム１０００による侵入検出の適用例２を説明する図である。図２４は、家屋外周に設置された監視カメラの映像から侵入者を検出・登録する例を示している。図２５は、図２４の適用例２において、デジタルスマート・ディフェンスセキュリティシステム１０００の動作を示すフローチャートである。
図２４左は、不審者侵入前（Before）の１秒間に１０コマの場合の画像である。図２４左に示すように、不審者は、イエローベルトＹへ侵入していない。

図２４右は、不審者侵入後（After）の１秒間に１０コマの場合の画像である。図２４右に示すように、不審者は、イエローベルトＹへ侵入した。デジタルスマート・ディフェンスセキュリティシステム１０００の制御部１１０（図２参照）の人検出部１１１は、監視カメラ１１によって撮影された画像から人（不審者）を検出する。図２４右において検出された不審者は、矩形の枠で示され、レッドベルトＲまでのおおよその２次元距離は破線で示される。図２４右に示すように、イエローベルトＹを越えて侵入した不審者は、レッドベルトＲに近づいて来ている。

図２５において、ステップＳ２０１でレッドベルトＲへの侵入者を検出する。上述したように、デジタルスマート・ディフェンスセキュリティシステム１０００の制御部１１０（図２参照）の人検出部１１１は、監視カメラ１１によって撮影された画像から人を検出する。
ステップＳ２０２でレッドベルトＲ（家屋の壁面等から例えば３０ｃｍ〜４ｍの範囲）への侵入者検出を開始する。

以下、立面における侵入者検出（ステップＳ２０３〜ステップＳ２０９）と、平面における侵入者検出（ステップＳ２１０〜ステップＳ２１４）と、に分岐して、立面と平面のそれぞれにおいて侵入者を検出する。本実施形態は、制御部１１０（図２参照）は、人検出によって検出された人の２次元の位置と人の大きさとに基づいて、画像対応ＤＢを参照して人の３次元空間内の位置を検出する。そして、制御部１１０は、検出された人の３次元空間内の位置が３次元のセキュリティ区域内であることを受けて、不審者の存在を通報することに特徴がある。このため、立面における侵入者検出が主要動作であり、図２４も立面における侵入者の画像を示している。

ステップＳ２０３で立面における侵入者検出を開始（１秒間に５〜１０コマの画像）する。
ステップＳ２０４で１秒間の画像、例えば１０コマ／秒の場合１／１０〜１０／１０の画像を立面上で検査する。

ステップＳ２０５で侵入検知されたか否かを判定する。
ステップＳ２０５で侵入検知されない場合、ステップＳ２０６で侵入なしと判定し、ステップＳ２０７で正常と判断して本フローの処理を終了する。
ステップＳ２０５で侵入検知された場合、ステップＳ２０８で侵入ありと判定し、ステップＳ２０９で異常（要注意）と判断して本フローの処理を終了する。

一方、ステップＳ２１０で平面における侵入者検出を開始（１秒間に５〜１０コマの画像）する。
ステップＳ２１１で１秒間の画像、例えば１秒間に１０コマの場合１／１０〜１０／１０の画像を平面上で検査する。

ステップＳ２１２で侵入検知されたか否かを判定する。
ステップＳ２１２で侵入検知されない場合、ステップＳ２１３で侵入なしと判定し、ステップＳ２０７で正常と判断して本フローの処理を終了する。
ステップＳ２１２で侵入検知された場合、ステップＳ２１４で侵入ありと判定し、ステップＳ２０９で異常（要注意）と判断して本フローの処理を終了する。

適用例２では、立面における侵入者検出と平面における侵入者検出とを併用しているので、立面における侵入者検出単体よりも検出の精度を高めることができる。

＜適用例３＞
図２６は、デジタルスマート・ディフェンスセキュリティシステム１０００による侵入検出の適用例３を説明する図である。図２６左は平面における侵入者検出を示す平面図、図２６右は立面における侵入者検出を示す立面図である。

図２６右は、図２６左の平面図を、上述した「立面的に侵入を判定する技術（図１６〜図１７参照）」により立面による侵入者の検出の３次元空間に投影変換した立面図である。図２６右は、カーゲートより内側に侵入者が入っている様子を示す。侵入者は、水平位置（Ｘ軸，Ｙ軸）と垂直位置（Ｚ軸）を破線により表される。

図２７は、図２６の適用例３において、デジタルスマート・ディフェンスセキュリティシステム１０００が家屋外周に設置された監視カメラの映像から侵入者を検出して登録する動作を示すフローチャートである。
ステップＳ３０１でイエローベルトＹ（セキュリティ該当敷地内、道路境界、隣地境界から例えば３０ｃｍ〜４ｍの範囲）への侵入者検出を開始する。

以下、立面における侵入者検出（ステップＳ３０２〜ステップＳ３１１）と、平面における侵入者検出（ステップＳ２１０〜ステップＳ２１４）と、に分岐して、立面と平面のそれぞれにおいて侵入者を検出する。

ステップＳ３０２で立面における侵入者検出を開始（５〜１０コマ／秒の画像）する。
ステップＳ３０３で１秒間の画像（例えば、１秒間に１０コマの場合１／１０〜１０／１０の画像）を立面上で検査する。
ステップＳ３０４で１秒後から２秒後までの１秒間の画像（例えば、１０コマの画像）を立面上で検査する。

ステップＳ３０５で１秒経過後、２秒以内に２コマ以上検知されたか否かを判定する。
１秒経過後、２秒以内に２コマ以上検知されない場合、ステップＳ３０６で侵入がないと判断し、ステップＳ３０７で正常と判断して本フローの処理を終了する。

上記ステップＳ３０５で１秒経過後、２秒以内に２コマ以上検知された場合、ステップＳ３０８で侵入の可能性があると判断し、ステップＳ３０９で時間的検証を開始する。立面における時間的検証は、下記の通りである。
すなわち、ステップＳ３１０で次の１秒間の画像（例えば、１０コマ）を立面上で検査する。次いで、ステップＳ３１１で上記ステップＳ３１０の時間的検証を１〜２分間繰り返し行って精度を高める。

ステップＳ３１２で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知された場合、ステップＳ３１３で異常（要注意）と判定して本フローの処理を終了する。

一方、ステップＳ３１４で平面における侵入者検出を開始（５〜１０コマ／秒の画像）する。
ステップＳ３１５で１秒間の画像（例えば、１秒間に１０コマの場合１／１０〜１０／１０の画像）を平面上で検査する。
ステップＳ３１６で１秒後から２秒後までの１秒間の画像（例えば、１０コマの画像）を平面上で検査する。

ステップＳ３１７で１秒経過後、２秒以内に２コマ以上検知されたか否かを判定する。
１秒経過後、２秒以内に２コマ以上検知されない場合、ステップＳ３１９で侵入がないと判断し、ステップＳ３０７で正常と判断して本フローの処理を終了する。

上記ステップＳ３１７で１秒経過後、２秒以内に２コマ以上検知された場合、ステップＳ３１９で侵入の可能性があると判断し、ステップＳ３０９で時間的検証を開始する。平面における時間的検証は、下記の通りである。
すなわち、ステップＳ３２０で次の１秒間の画像（例えば、１０コマ）を平面上で検査する。次いで、ステップＳ３２１で上記ステップＳ３２０の時間的検証を１〜２分間繰り返し行って精度を高める。

ステップＳ３１２で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知された場合、ステップＳ３１３で異常（要注意）と判定して本フローの処理を終了する。

適用例３では、適用例２と同様に、立面における侵入者検出と平面における侵入者検出とを併用しているので、立面における侵入者検出単体よりも検出の精度を高めることができる。
また、適用例３では、侵入の可能性がある場合、時間的検証を行っているので、侵入者の侵入があることをより確実に検出することができ、検出の精度を高めることができる。

このように、デジタルスマート・ディフェンスセキュリティシステム１０００は、セキュリティ区域内に侵入した侵入者の位置をカメラの画像をもとにＸ、Ｙ、Ｚ座標として正確に測位する技術をベースとし、従来のセキュリティシステムにあった誤検知の課題を解決することができる。

＜適用例４＞
図２８は、適用例４において、デジタルスマート・ディフェンスセキュリティシステム１０００の注意度に応じて利用者に通知する処理を示すフローチャートである。図２８のフローは、図２０の瞳と首の動きの変化による判断処理を示している。
ステップＳ４０１で顔器官を検出する。

以下、瞳の動きによる侵入者検出と、首の左右の動きによる侵入者検出と、首の上下の動きによる侵入者検出と、に分岐して、侵入者を検出する。
《瞳の動き》
ステップＳ４０２で１秒間に５〜１０コマの画像をもとに、瞳の左右の場所を判断する。
ステップＳ４０３で１秒間の画像、例えば１秒間に１０コマの場合１／１０〜１０／１０の画像を検査する。
ステップＳ４０４で１秒後から２秒後までの１秒間の画像（例えば、１０コマ）を検査する。

ステップＳ４０５で１秒経過後、２秒以内に２コマ以上検知されたか否かを判定する。
１秒経過後、２秒以内に２コマ以上検知されない場合、ステップＳ４０６で正常と判断して本フローの処理を終了する。

上記ステップＳ４０５で１秒経過後、２秒以内に２コマ以上検知された場合、ステップＳ４０７で異常の可能性があると判断してステップＳ４０８に進む。
ステップＳ４０８で時間的検証を開始する。瞳の動きによる時間的検証は、下記の通りである。
すなわち、ステップＳ４０９で次の１秒間の画像（例えば、１０コマ）を検査する。次いで、ステップＳ４１０で上記ステップＳ４０９の時間的検証を１〜２分間繰り返し行って精度を高める。

ステップＳ４１１で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知されなかった場合、ステップＳ４１２で正常と判定して本フローの処理を終了する。一定時間連続検知された場合、ステップＳ４１３で異常（要注意）と判定して本フローの処理を終了する。

《首の左右の動き》
ステップＳ４１４で１秒間に５〜１０コマの画像をもとに、首の左右の場所を判断する。
ステップＳ４１５で１秒間の画像、例えば１秒間に１０コマの場合１／１０〜１０／１０の画像を検査する。
ステップＳ４１６で１秒後から２秒後までの１秒間の画像（例えば、１０コマ）を検査する。

ステップＳ４１７で１秒経過後、２秒以内に２コマ以上検知されたか否かを判定する。
１秒経過後、２秒以内に２コマ以上検知されない場合、ステップＳ４１８で正常と判断して本フローの処理を終了する。

上記ステップＳ４１９で１秒経過後、２秒以内に２コマ以上検知された場合、ステップＳ４１９で異常の可能性があると判断してステップＳ４０８に進む。
ステップＳ４０８で時間的検証を開始する。首の左右の動きによる時間的検証は、下記の通りである。
すなわち、ステップＳ４２０で次の１秒間の画像（例えば、１０コマ）を検査する。次いで、ステップＳ４２１で上記ステップＳ４０９の時間的検証を１〜２分間繰り返し行って精度を高める。

ステップＳ４１１で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知されなかった場合、ステップＳ４１２で正常と判定して本フローの処理を終了する。一定時間連続検知された場合、ステップＳ４１３で異常（要注意）と判定して本フローの処理を終了する。

《首の上下の動き》
ステップＳ４２２で１秒間に５〜１０コマの画像をもとに、首の上下の場所を判断する。
ステップＳ４２３で１秒間の画像、例えば１秒間に１０コマの場合１／１０〜１０／１０の画像を検査する。
ステップＳ４２４で１秒後から２秒後までの１秒間の画像（例えば、１０コマ）を検査する。

ステップＳ４２５で１秒経過後、２秒以内に２コマ以上検知されたか否かを判定する。
１秒経過後、２秒以内に２コマ以上検知されない場合、ステップＳ４２６で正常と判断して本フローの処理を終了する。

上記ステップＳ４２５で１秒経過後、２秒以内に２コマ以上検知された場合、ステップＳ４２７で異常の可能性があると判断してステップＳ４０８に進む。
ステップＳ４０８で時間的検証を開始する。首の上下の動きによる時間的検証は、下記の通りである。
すなわち、ステップＳ４２８で次の１秒間の画像（例えば、１０コマ）を検査する。次いで、ステップＳ４２９で上記ステップＳ４２８の時間的検証を１〜２分間繰り返し行って精度を高める。

ステップＳ４１１で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知されなかった場合、ステップＳ４１２で正常と判定して本フローの処理を終了する。一定時間連続検知された場合、ステップＳ４１３で異常（要注意）と判定して本フローの処理を終了する。

上記フローにより、瞳の動き、首の左右の動き、首の上下の動きを判定することで、善意の人か悪意のある侵入者かの判断する際の確度を高めることができ、危険度の判定をより精度良く行うことができる。

＜適用例５＞
図２９は、デジタルスマート・ディフェンスセキュリティシステム１０００の適用例５において、セキュリティ区域内の人に応じた自動音声による警告のデジタルスマート・ディフェンスセキュリティシステム及び家族・保護者の動作の概要を示すフローチャートである。本フローは、画像及び音声により対話及び警告を行う機能を実行する。
なお、図２９の《家族・保護者》のフローは、ＣＰＵ処理ではないが、便宜上ステップ番号Ｆを付して説明する。

《デジタルスマート・ディフェンスセキュリティシステム》
デジタルスマート・ディフェンスセキュリティシステム１０００は、来訪者がイエローベルトＹ（図９上参照）に侵入したことを検知する（ステップＳ５０１）。
警備モードが、常時警備モードか外出・在宅警備モード（図６下参照）かを判別する（ステップＳ５０２）。
常時警備モードの場合、ステップＳ５０３〜ステップＳ５１１を実行する。また、外出・在宅警備モードの場合、ステップＳ５１２〜ステップＳ５１９を実行する。

常時警備モードでは、自動音声により「ご用の方はドアホンのカメラにＱＲコードを提示してください」等と伝える（ステップＳ５０３）。
ＱＲコードを識別し、登録者情報ＤＢ１６５（図１参照）と照合する（ステップＳ５０４）。
登録者情報ＤＢ１６５と照合して、来訪者は登録済みか否かを判定する（ステップＳ５０５）。
来訪者が登録済みの場合（ステップＳ５０５：Ｙｅｓ）、自動音声で登録済みであることを来訪者に伝えてフローの処理を終了する（ステップＳ５０６）。

上記ステップＳ５０５で来訪者が登録済みでない場合（ステップＳ５０５：Ｎｏ）、未登録者の来訪を保護者のスマートフォン５０ａ（図１参照）に通知する（ステップＳ５０７）。
ドアホンでの対話を遠隔の保護者との対話に切り替える（ステップＳ５０８）。

来訪者がレッドベルトＲ（図９上参照）に侵入したことを検知する（ステップＳ５０９）。
自動音声により「あなたの画像を登録し関係機関に通報します」等というメッセージを流す（ステップＳ５１０）。
「ドアホン型対話システム」（図９中参照）を使用し、来訪者からの応答をマイク入力で取得し、遠隔の保護者のスマートフォン５０ａに送る（ステップＳ５１１）。

一方、上記ステップＳ５０２で警備モードが、外出・在宅警備モード（図６下参照）の場合、自動音声により「このエリアは現在警備中です」等というメッセージを流す（ステップＳ５１２）。
来訪者がオレンジベルトＯ（図９上参照）に侵入したことを検知する（ステップＳ５１３）。
自動音声により「このエリアから直ちに退去して下さい」等というメッセージを流す（ステップＳ５１４）。
侵入ありと家族のスマートフォン５０ａに通知する（ステップＳ５１５）。
来訪者がレッドベルトＲ（図９上参照）に侵入したことを検知する（ステップＳ５１６）。
自動音声により「あなたの画像を登録し関係機関に通報します」等というメッセージを流す（ステップＳ５１７）。
「防犯カメラ型対話システム」（図９下参照）を使用し、侵入者からの応答をマイク入力で取得し、遠隔の家族のスマートフォン５０ａに送る（ステップＳ５１８）。

また、図９中及び図９下に示すように、「ドアホン型対話システム」及び「防犯カメラ型対話システム」のいずれのシステムにおいても、クラウド対話中継システムを介在させることにより、現地のシステムと遠隔のスマートフォン５０ａとの間の画像及び音声を中継する（ステップＳ５１９，ステップＦ１３）。

《家族・保護者》
家族・保護者は、デジタルスマート・ディフェンスセキュリティシステム１０００から、未登録者が来訪したとの通知を受ける（ステップＦ１１）。例えば、家族・保護者は、デジタルスマート・ディフェンスセキュリティシステム１０００から、オレンジベルトＯに侵入した来訪者に対して「このエリアから直ちに退去して下さい」等という警告を出した旨のメッセージを受け取る（ステップＳ５１４）。

家族・保護者は、デジタルスマート・ディフェンスセキュリティシステム１０００から、侵入者が敷地に入ったとの通知を受ける（ステップＦ１２）。
家族・保護者は、未登録者が来訪したとの通知を受け取った場合、又は侵入者が敷地に入ったとの通知を受け取った場合、スマートフォン５０ａのアプリを使用し「ご用があるなら用件を言って下さい」等と声掛けし、相手からの応答を聞く（ステップＦ１３）。

家族・保護者は、来訪者は問題ないかを判断する（ステップＦ１４）。
来訪者に問題がない場合、要件を聞いて対応する（ステップＦ１５）。来訪者に問題がある場合、画像と音声を添付して関係機関に通報する（ステップＦ１６）。

適用例５に示すように、デジタルスマート・ディフェンスセキュリティシステム１０００は、侵入者の位置に応じて自動音声により警告するとともに、画像・音声による遠隔からの対話機能が実現される。

また、デジタルスマート・ディフェンスセキュリティシステム１０００は、すべての警備モードで以下の画像のプライバシー保護機能を提供する。
・敷地（道路・隣地）境界線の外部、公道、隣地等において、通行人、近隣の住民等の検知された人間の画像にモザイクをかけ、プライバシーを保護する機能を有する。
・上記の通行人、近隣の住民等が敷地（道路、隣地）境界線の内部、イエローベルトＹ、オレンジベルトＯ、又はレッドベルトＲに侵入したことを検知した場合に画像からモザイクを外す機能を有する。

＜適用例６＞
図３０は、デジタルスマート・ディフェンスセキュリティシステム１０００の適用例６において、不審な電話の検知、登録及び転送の概要を示すフローチャートである。本フローは、不審な電話を自動検知して登録、判断が必要なときは保護者のスマートフォンに転送する。
なお、図３０の《保護者》のフローは、ＣＰＵ処理ではないが、便宜上ステップ番号Ｆを付して説明する。

《デジタルスマート・ディフェンスセキュリティシステム》
デジタルスマート・ディフェンスセキュリティシステム１０００は、不審者が高齢者等を狙って家の電話に発信する発呼を確認する（ステップＳ６０１）。
デジタルスマート・ディフェンスセキュリティシステム１０００は、高齢者等が家の電話をとる前に応答する（ステップＳ６０２）。
発信者番号が取れたか否かを判定する（ステップＳ６０３）。

発信者番号が取得できた場合、発信者番号を電話帳と照合する（ステップＳ６０４）。
既登録か未登録かを判定する（ステップＳ６０５）。
通常の登録の場合、家の電話を鳴動させる（ステップＳ６０６）。
不審者として登録の場合、不審者と判断し（ステップＳ６０７）、電話を切る（ステップＳ６０８）。
また、未登録の場合、ステップＳ６１０に進む。

一方、上記ステップＳ６０３で発信者番号が取得できない場合、相手が発信者番号を隠匿している（不審者の可能性がある）と判断してステップＳ６１０に進む（ステップＳ６０９）。

ステップＳ６１０では、自動メッセージで「ただいま振り込め詐欺対策モードになっています。この電話を録音します。・・・あなたの名前とご用件または所属機関をおっしゃって下さい」等という不審者であることが疑われる人向けのメッセージを流す。
発信者番号（取れた場合）を所定ＤＢ（図示省略）に登録し、電話の録音を開始する（ステップＳ６１１）。
名前と用件、所属機関を言ったか否かを判定する（ステップＳ６１２）。
名前と用件、所属機関を言わない場合、未登録の不審者と判断し（ステップＳ６１３）、電話を切る（ステップＳ６１４）。

名前と用件・所属機関を言った場合、所属機関が警察、役所、金融機関等であるか否かを判定する（ステップＳ６１５）。
所属機関が警察、役所、金融機関等である場合、自動メッセージで「折り返し電話します」等というメッセージを流し（ステップＳ６１６）、電話を切る（ステップＳ６１７）。

所属機関が警察、役所、金融機関等でない場合、音声認識により通話相手の注意度を判定する（ステップＳ６１８）。音声認識による通話相手の注意度判定の具体的手法については、図１１乃至図１２で述べた。
クラウド型ＩＰ電話転送システム（図示省略）を通して保護者のスマートフォン５０ａ（図１参照）に転送する（ステップＳ６１９）。
なお、本機能を利用する上での前提として、(1)家庭にひかり電話ルータ等が設置されていること、(2)保護者がスマートフォンにＩＰ電話（ＶｏＩＰ：Voice over Internet Protocol）アプリを導入しておくこと、(3)電話会社との間でナンバーディスプレイ等のサービスを契約しておくことが必要である。

《保護者》
スマートフォン５０ａに転送されてきた電話の着信を受ける（ステップＦ２１）。
電話の相手を確認する（ステップＦ２２）。
電話の相手が信用できるか否かを判断する（ステップＦ２３）。
電話の相手が信用できる場合、正常と判断し（ステップＦ２４）、要件を聞く（ステップＦ２５）。

電話の相手が信用できない場合、未登録の不審者と判断し（ステップＦ２６）、発信者番号を不審者として登録して（ステップＦ２７）、電話を切る（ステップＦ２８）。

適用例６に示すように、不審者が高齢者等を狙って家の電話に発信した場合、高齢者等が家の電話をとる前にデジタルスマート・ディフェンスセキュリティシステム１０００が応答し、不審な電話を自動検知して登録し、判断が必要なときは保護者のスマートフォン５０ａに転送する。これにより、高齢者等が家の電話をとる前の水際で、アポ電強盗及び振込詐欺を防止することができる。

＜適用例７＞
図３１は、デジタルスマート・ディフェンスセキュリティシステム１０００の適用例７において、音声認識により通話相手の注意度を判定する機能を示すフローチャートである。本フローは、図１１乃至図１２で述べた、音声認識により通話相手の注意度判定の具体例である。
なお、図３１の《不審者》のフローは、ＣＰＵ処理ではないが、便宜上ステップ番号ＳＰを付して説明する。

《不審者》
不審者が高齢者等を狙って子供、孫等に成りすまそうとする（ステップＳＰ１１）。例えば、いわゆる「オレオレ詐欺」では、息子や孫になりすまして電話をし、「電話番号が変わった」「声が変わっているのは風邪を引いているから」と本当の身内だと信じ込ませる。始めに連絡先が変わったことだけを伝え、少し日を空けてから「実はお金が必要で…」と話を切り出してくる場合もある。その後「交通事故を起こしてしまったので示談金を払わなければならない」など、今すぐお金が必要な状況を説明して、指定の口座に振り込むように言う。

不審者が高齢者等からキャッシュカードの暗証番号を聞き出そうとする（ステップＳＰ１２）。例えば、いわゆる「還付金詐欺」では、「社会保険事務局」「○○市源泉徴収課」と公的機関の職員を装いながら電話をし、「年金の還付がある」「保険料の一部が戻ってくる」と伝える。また、このとき「受け取るための番号になる」と言ってターゲットの残高の数字を右から読ませたり、口座番号を聞き出す。

不審者が高齢者等を狙って家に現金がどれくらいあるかを聞き出そうとする（ステップＳＰ１３）。例えば、いわゆる「融資保険詐欺」や「架空請求詐欺」では、大手金融機関に似せた名前やロゴマークを載せたはがき等を送り、その後、「先にある程度の保証金が必要」などと言ってお金を振り込むように要求する。
このように、不審者は高齢者等を言葉巧みに誘導して、キャッシュカードの暗証番号を聞き出したり、指定の口座に振り込みをさせる。

以上、いずれも不審者からの電話が契機となる。デジタルスマート・ディフェンスセキュリティシステム１０００は、電話詐欺に対するセキュリティ機能として、音声認識により通話相手の注意度を判定し、電話による会話から不審者を判定することで振込詐欺等を未然に防止する。

《デジタルスマート・ディフェンスセキュリティシステム》
デジタルスマート・ディフェンスセキュリティシステム１０００は、通話相手の音声を音声認識部１１２（図１２参照）に送る（ステップＳ７０１）。
特殊詐欺・アポ電強盗等の時間的検証を開始する（ステップＳ７０２）。
音声を取得する（ステップＳ７０３）。

取得した音声を特殊詐欺・アポ電強盗等で使用される語彙の出現頻度付き辞書１３５（図１２参照）と照合する（ステップＳ７０４）。デジタルスマート・ディフェンスセキュリティシステム１０００は、電話の音声を取得し、音声認識部１１２が、出現頻度付き辞書１３５を参照して、会話の内容を単語の照合によって判定する。例えば、電話による会話に「俺」「電話番号が変わった」「示談金」「誰にも言わないで」「振り込んで」「至急」「還付金」「口座」等の語彙が正常な通話内に現れる語彙の出現頻度よりも多く出現するときには、通話相手の注意度が高いと判定する。特に、特殊詐欺に直結する語彙である「暗証番号」等が含まれる場合や、これら語彙が複合して出現する場合は、より詐欺の可能性が高いと判定する。

特殊詐欺・アポ電強盗等の確率を求める（ステップＳ７０５）。
確率が一定のレベル以上（例えば、０．９以上）あるか否かを判定する（ステップＳ７０６）。
確率が一定のレベルに達しない場合、正常と判定して本フローの処理をする（ステップＳ７０７）。

確率が一定のレベル以上ある場合、異常の可能性ありと判定する（ステップＳ７０８）。
次の音声を取得して新しい確率を求める（ステップＳ７０９）。
最大判定時間（例えば、１０秒）に達したか否かを判定する（ステップＳ７１０）。
最大判定時間に達していなければ、判定を継続して上記ステップＳ７０７に戻る（ステップＳ７１１）。
最大判定時間に達した場合、確率は一定のレベル以上（例えば、０．９以上）あるか否かを判定する（ステップＳ７１２）。
確率が一定のレベルに達しない場合、正常と判定して本フローの処理をする（ステップＳ７１３）。
確率が一定のレベル以上ある場合、未登録の不審者と判定して本フローの処理をする（ステップＳ７１４）。

適用例７に示すように、不審者が高齢者等を狙って家の電話に発信した場合、電話による会話から不審者を判定することができ、アポ電強盗及び振込詐欺を未然に防止することができる。

以上詳細に説明したように、本実施の形態によれば、デジタルスマート・ディフェンスセキュリティシステム１０００（図１参照）は、複数の領域が危険度に応じて設定されたセキュリティ区域にいる人を検出する人検出部１１１と、人検出部１１１によって検出された人に対して、領域に対応した音声で警告を行うとともに、不審者の存在を通報する通報部１１５と、会話の音声を取得し、会話の内容が不審なものであることを判定する音声認識部１１２とを備え、通報部１１５は、音声認識部１１２によって会話の内容が不審なものであると判定されたことを受けて、不審者の存在を通報する。

この構成により、危険度に応じて設定されたセキュリティ区域にいる人を判定して、危険度に応じた音声で警告するので、セキュリティ区域内の人の位置に応じて迅速かつ適切な警報を出力することができる。例えば、宅配者、セールスマン、銀行員等に成りすました不審者が家に来訪する場合がある。この場合、不審者の位置に応じて危険度に対応した音声で警告するので、不審者であれば、不審行為を躊躇させる、又は不審者を撃退することができる。

また、会話の内容が不審なものであると判定されたことを受けて、不審者の存在を通報することで、不審者を家へ入れてしまうことを防止することができる。セキュリティ区域内の不審者の位置判定だけでは、不審者を判断できなかった場合であっても不審者との会話から不審者であることを判定することができる。会話はセキュリティ区域内の人には限定されず、電話による会話についても同様である。

本実施形態では、音声認識部１１２が、玄関に設置されたインターホンの会話の音声を認識することで、インターホンの会話を通じて、宅配人、セールスマン、銀行員等に成りすました来訪者を不審者であると判定することができ、不審者を家へ入れてしまうことを防止することができる。

本実施形態では、デジタルスマート・ディフェンスセキュリティシステム１０００は、非侵入者が所持するＩＤ端末を検出するＩＤ端末検出部１１３を備え、通報部１１５は、ＩＤ端末検出部１１３が検出したＩＤ端末を所持している人を通報しないことで、例えば家族及び関係者のスマートフォンを検出して不審者から除外し、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。

本実施形態では、音声認識部１１２は、電話の通話の音声を認識することで、電話による会話から不審者を判定することができ、アポ電強盗及び振込詐欺を未然に防止することができる。なお、電話による会話は、メールにおける単語にも同様に適用可能である。

本実施形態では、デジタルスマート・ディフェンスセキュリティシステム１０００は、不審会話で使用される語彙を格納した出現頻度付き辞書１３５を備え、音声認識部１１２は、取得した音声に出現する単語を、出現頻度付き辞書１３５の語彙と照合して、会話の内容が不審なものであることを判定することで、不審者判定の精度を高めることができ、アポ電強盗及び振込詐欺を確実に防止することができる。

本実施形態では、デジタルスマート・ディフェンスセキュリティシステム１０００は、ＣＰＵ以外の計算リソースであるＡＩアクセラレータ２００を備え、制御部１１０の人検出部１１１は、ＡＩアクセラレータ２００を用いて、セキュリティ区域内の人を検出する。ＡＩアクセラレータ２００は、ＣＰＵ処理とは別に人の検出処理を専用ハードで実行することで、広範なセキュリティ区域内に存在する人を実時間で検出することができる。また、安価なカメラ機器用いた構成であっても、リアルタイムで人を検出することができる。
また、ＡＩアクセラレータ２００であることで、従来の画像差分を用いた動体検出型の監視カメラによる画像認識に比べて極めて高い精度での侵入者の検出を行うことができる。

以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
例えば、図５及び図６では、スマートフォン５０ａを使用して屋外から警備モードを変更する例を示したが、利用者が手動で警備モードを変更するものでよい。

なお、上述したように、デジタルスマート・ディフェンスセキュリティシステム１０００のデジタルスマート・ディフェンスセキュリティ処理は、（Ｉ）「侵入者の位置に応じて自動音声により警告及び画像・音声による遠隔からの対話処理」（図９上、図１０、図２９など）と、（II）「会話の内容による不審判定処理」（図１１、図３０、図３１など）とがある。上記（Ｉ）と上記（II）とは、それぞれ単独で実行してもよいし、組み合わせて実行してもよい。上記（Ｉ）では、主としてセキュリティ区域内の人の位置に応じて迅速かつ適切な警報を出力することができ、上記（II）では、主として人が不審者であることをより精度良く判定することができる。

また、上記実施の形態ではデジタルスマート・ディフェンスセキュリティシステム及び方法という名称を用いたが、これは説明の便宜上であり、監視システム、セキュリティシステム、スマート・ディフェンスセキュリティ方法等であってもよい。

また、本発明のデジタルスマート・ディフェンスセキュリティシステム及び方法は、コンピュータを本デジタルスマート・ディフェンスセキュリティシステム又は方法として機能させるためのプログラムでも実現される。このプログラムは、コンピュータで読み取り可能な記録媒体に格納されていてもよい。

このプログラムを記録した記録媒体は、本デジタルスマート・ディフェンスセキュリティシステムのＲＯＭそのものであってもよいし、また、外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等であってもよい。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣ（Integrated Circuit）カード、ＳＤ（Secure Digital）カード、光ディスク等の記録媒体に保持することができる。

本明細書で引用したすべての刊行物、特許及び特許出願は、そのまま参考として、ここにとり入れるものとする。

本発明に係るデジタルスマート・ディフェンスセキュリティシステム、方法及びプログラムは、住居、企業の事務所、工場、研究所、情報処理室、金銭集計室等の高度の管理を要する事業所等への設置が期待される。さらに、住宅、商業施設、事務所、病院、ホテル、金融機関、工場、研究所、発電所、エアーターミナル、集会場、競技場、美術館等の建物屋内外、交通機関の電車、フェリー、飛行機の車内等も対象である。

１１ 監視カメラ（撮影手段）
２０ 人感センサ
３０ Ｗｉ-Ｆｉ親機
４０ ビーコン親機
５０ 携帯端末装置（ＩＤ端末）
５０ａ スマートフォン（携帯端末装置；ＩＤ端末）
５１ Ｗｉ-Ｆｉ子機
５２ ビーコン子機
５３ ＧＰＳ
１００ 監視装置
１１０ 制御部
１１１ 人検出部（人検出手段）
１１２ 音声認識部（音声認識手段）
１１３ ＩＤ端末検出部（ＩＤ端末検出手段）
１１４ ＩＤ端末登録部（ＩＤ端末登録手段）
１１５ 通報部（通報手段）
１２０ 入力部
１３０ 記憶部
１３５ 出現頻度付き辞書（不審語彙格納手段）
１４０ 表示部
１５０ 出力部
１６０ 録画部
１６５ 登録者情報ＤＢ
１７０ 画像処理部
１８０ インタフェース（Ｉ／Ｆ）部
１９０ 通信部
２００ ＡＩアクセラレータ（人検出手段）
１０００ デジタルスマート・ディフェンスセキュリティシステム
Ｙ，Ｏ，Ｒ セキュリティベルト

本発明は、通話の音声に基づいて防犯を行うデジタルスマート・ディフェンスセキュリティシステム、方法及びプログラムに関する。

人が不審者であることをより精度良く判定することが求められている。
本発明の目的は、通話の音声に基づいて迅速かつ適切な警報を出力することができるデジタルスマート・ディフェンスセキュリティシステム、方法及びプログラムを提供することにある。

本発明に係るデジタルスマート・ディフェンスセキュリティシステムは、インターホン又は電話の通話の音声を取得し、前記通話の音声を認識して特殊詐欺又はアポ電強盗である不審なものであることを判定する音声認識手段と、前記音声認識手段によって前記通話の音声が特殊詐欺又はアポ電強盗である不審なものであると判定されたことを受けて、不審者の存在を通報する通報手段とを備えることを特徴とする。これによって、インターホン又は電話による会話から不審者であることを判定し、特殊詐欺又はアポ電強盗を未然に防止することができる。

不審会話で使用される語彙を格納した不審語彙格納手段を備え、前記音声認識手段は、取得した前記通話の音声に出現する単語を、前記不審語彙格納手段の語彙と照合して、前記通話の音声が不審なものであることを判定することで、不審者判定の精度を高めることができ、特殊詐欺又はアポ電強盗を確実に防止することができる。

また、本発明のデジタルスマート・ディフェンスセキュリティ方法は、インターホン又は電話の通話の音声を取得し、前記通話の音声を認識して特殊詐欺又はアポ電強盗である不審なものであることを判定する音声認識ステップと、前記音声認識ステップによって前記通話の音声が特殊詐欺又はアポ電強盗である不審なものであると判定されたことを受けて、不審者の存在を通報する通報ステップとを備えることを特徴とする。

また、本発明は、コンピュータを、インターホン又は電話の通話の音声を取得し、前記通話の音声を認識して特殊詐欺又はアポ電強盗である不審なものであることを判定する音声認識手段と、前記音声認識手段によって前記通話の音声が特殊詐欺又はアポ電強盗である不審なものであると判定されたことを受けて、不審者の存在を通報する通報手段とを備えるデジタルスマート・ディフェンスセキュリティシステムとして機能させるためのプログラムである。

本発明によれば、インターホン又は電話による会話から不審者を判定することができ、アポ電強盗又は振込詐欺を未然に防止することができる。

Claims (8)

1. 複数の領域が危険度に応じて設定されたセキュリティ区域にいる人を検出する人検出手段と、
   前記人検出手段によって検出された人に対して、前記領域に対応した音声で警告を行うとともに、不審者の存在を通報する通報手段と
   を備えることを特徴とするデジタルスマート・ディフェンスセキュリティシステム。
2. 会話の音声を取得し、前記会話の内容が不審なものであることを判定する音声認識手段を備え、
   前記通報手段は、前記音声認識手段によって前記会話の内容が不審なものであると判定されたことを受けて、不審者の存在を通報することを特徴とする請求項１記載のデジタルスマート・ディフェンスセキュリティシステム。
3. 前記音声認識手段は、玄関に設置されたインターホンの会話の音声を認識することを特徴とする請求項２記載のデジタルスマート・ディフェンスセキュリティシステム。
4. 非侵入者が所持するＩＤ（Identification）端末を検出するＩＤ端末検出手段を備え、
   前記通報手段は、前記ＩＤ端末検出手段が検出した前記ＩＤ端末を所持している人を通報しないことを特徴とする請求項１乃至請求項３のいずれかに記載のデジタルスマート・ディフェンスセキュリティシステム。
5. 前記音声認識手段は、電話の通話の音声を認識することを特徴とする請求項２記載のデジタルスマート・ディフェンスセキュリティシステム。
6. 不審会話で使用される語彙を格納した不審語彙格納手段を備え、
   前記音声認識手段は、取得した前記音声に出現する単語を、前記不審語彙格納手段の語彙と照合して、前記会話の内容が不審なものであることを判定することを特徴とする請求項２記載のデジタルスマート・ディフェンスセキュリティシステム。
7. 複数の領域が危険度に応じて設定されたセキュリティ区域にいる人を検出する人検出ステップと、
   前記人検出ステップによって検出された人に対して、前記領域に対応した音声で警告を行うとともに、不審者の存在を通報する通報ステップと
   を備えるデジタルスマート・ディフェンスセキュリティ方法。
8. コンピュータを、
   複数の領域が危険度に応じて設定されたセキュリティ区域にいる人を検出する人検出手段と、前記人検出手段によって検出された人に対して、前記領域に対応した音声で警告を行うとともに、不審者の存在を通報する通報手段とを備えるデジタルスマート・ディフェンスセキュリティシステム
   として機能させるためのプログラム。
   

Images