JP7347950B2 - 警備システム、管理装置、携帯端末及び警備方法 - Google Patents

Description

この発明は、緊急度の高い事象が発生した位置に警備員を優先的に直行させることができる警備システム、管理装置、携帯端末及び警備方法に関する。

従来、警備員による対処が必要となる火災・救急等の事案が発生した場合には、その発見者である警備員等は、自らが所有する携帯端末を用いてその事案内容及び発生位置を警備会社のセンタ（以下、「コントロールセンタ」と言う）に通報する。そして、かかる通報を受けたコントロールセンタは、警備員の状態や事案発生位置に応じて、適切な警備員へ直行指示を行うことにより、適切な駆け付け対処が行われる。

ここで、特許文献１には、監視映像情報から人物の視線方向を求め、複数の人物の視線方向が特定位置に向いていることを判別して注目事象を検知し、注目事象の発生を通知する映像監視装置が開示されている。かかる特許文献１を用いることにより、コントロールセンタは、発生した事象の詳細を把握することができる。

ところが、上記特許文献１のものは、映像監視装置が配設されていない位置で事象が発生した場合には、対応することができない。このため、特許文献２には、災害時に携帯端末の自撮りカメラ入出力画面の前方向を撮影した撮影画像を受信し、受信した撮影画像に基づいて携帯端末の利用者の緊急度を判定し、該緊急度を送信する安否確認装置が開示されている。かかる特許文献２を用いることにより、コントロールセンタは、発生した事象による緊急度を把握することができる。

特開２０１８－１４８４０２号公報 特開２０１８－０９２３４１号公報

しかしながら、上記特許文献２のものは、携帯端末の自撮りカメラ入出力画面の前方向に事象が写っていない場合には、緊急度を判定することができない。この際、携帯端末の操作者が、いたずら目的で通報ボタンを押下操作されたケースや、誤操作により通報ボタンを押下操作したケースを判別することができないため、他の箇所で緊急性の高い事象が発生しているにも関わらず、事象の発生していない位置に警備員を直行させる問題が生ずる可能性がある。このため、いかにして緊急度の高い事象が発生した位置に警備員を優先的に直行させるかが重要な課題となっている。

本発明は、上記の課題（問題点）を解決するためになされたものであり、緊急度の高い事象が発生した位置に警備員を優先的に直行させることができる警備システム、管理装置、携帯端末及び警備方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、通報者の顔を含む画像を撮像する第１の撮像部と、周囲の画像を撮像する第２の撮像部とを有する携帯端末と、前記携帯端末から通報情報を受信して警備員に対する所定の指示を行う管理装置とを有する警備システムであって、前記携帯端末は、所定の通報操作を受け付けたことを条件として、前記第１の撮像部により撮像された第１の画像、及び、前記第２の撮像部により撮像された第２の画像を取得する取得部と、前記第１の画像及び前記第２の画像を含む通報情報を前記管理装置に対して通知する通報情報通知部とを備え、前記管理装置は、前記第１の画像から前記通報者の顔の部分画像を切り出すとともに、前記第２の画像から前記通報者の周囲に所在する者の顔の部分画像を切り出す切出部と、前記切出部により切り出された前記通報者の顔の部分画像、及び、前記通報者の周囲に所在する者の顔の部分画像にそれぞれ含まれる顔の表情を分類する分類処理部と、前記分類処理部により分類された顔の表情に基づいて、事象の緊急度を算定する緊急度算定部と、前記緊急度算定部により算定した緊急度に基づいて、所定の警備員が所持する携帯端末に対して指示を行う指示部とを備えたことを特徴とする。

また、本発明は、上記の発明において、前記分類処理部は、顔の部分画像と分類結果からなる教師データにより学習された学習済モデルを用いて顔の表情を分類することを特徴とする。

また、本発明は、上記の発明において、前記学習済モデルから出力された分類結果は、喜びを示す第１の確率、信頼を示す第２の確率、期待を示す第３の確率、恐れを示す第４の確率、驚きを示す第５の確率、悲しみを示す第６の確率、嫌悪を示す第７の確率、怒りを示す第８の確率を含み、前記緊急度算定部は、前記第４の確率、前記第５の確率、前記第６の確率、前記第８の確率が所定値以上である場合に緊急度を高くし、前記第１の確率、前記第２の確率、前記第３の確率、前記第７の確率が所定値以上である場合に緊急度を低くすることを特徴とする。

また、本発明は、上記の発明において、前記指示部は、前記緊急度が所定値以上である場合に、所定の警備員が所持する携帯端末に対して事象の発生位置への直行指示を行うことを特徴とする。

また、本発明は、上記の発明において、前記指示部は、複数の異なる位置に所在する前記携帯端末から通報情報を受け付けた場合に、所定の警備員が所持する携帯端末に対してより緊急度が高い事象の発生位置への直行指示を行うことを特徴とする。

また、本発明は、通報者の顔を含む画像を撮像する第１の撮像部と、周囲の画像を撮像する第２の撮像部とを有する携帯端末と、前記携帯端末から通報情報を受信して警備員に対する所定の指示を行う管理装置とを有する警備システムであって、前記携帯端末は、所定の通報操作を受け付けたことを条件として、前記第１の撮像部により撮像された第１の画像、及び、前記第２の撮像部により撮像された第２の画像を取得する取得部と、前記第１の画像から前記通報者の顔の部分画像を切り出すとともに、前記第２の画像から前記通報者の周囲に所在する者の顔の部分画像を切り出す切出部と、前記切出部により切り出された前記通報者の顔の部分画像、及び、前記通報者の周囲に所在する者の顔の部分画像にそれぞれ含まれる顔の表情を分類する分類処理部と、前記分類処理部により分類された顔の表情に基づいて、事象の緊急度を算定する緊急度算定部と、前記緊急度算定部により算定された緊急度を含む通報情報を前記管理装置に対して通知する通報情報通知部とを備え、前記管理装置は、前記通報情報に含まれる緊急度に基づいて、所定の警備員が所持する携帯端末に対して指示を行う指示部を備えたことを特徴とする。

また、本発明は、通報者の顔を含む画像を撮像する第１の撮像部と、周囲の画像を撮像する第２の撮像部とを有する携帯端末と通信可能な管理装置であって、前記第１の撮像部により撮像された第１の画像、及び、前記第２の撮像部により撮像された第２の画像を前記携帯端末から受信する受信部と、前記第１の画像から前記通報者の顔の部分画像を切り出すとともに、前記第２の画像から前記通報者の周囲に所在する者の顔の部分画像を切り出す切出部と、前記切出部により切り出された前記通報者の顔の部分画像、及び、前記通報者の周囲に所在する者の顔の部分画像にそれぞれ含まれる顔の表情を分類する分類処理部と、前記分類処理部により分類された顔の表情に基づいて、事象の緊急度を算定する緊急度算定部と、前記緊急度算定部により算定した緊急度に基づいて、所定の警備員が所持する携帯端末に対して指示を行う指示部とを備えたことを特徴とする。

また、本発明は、警備員に対する所定の指示を行う管理装置と通信可能であり、通報者の顔を含む画像を撮像する第１の撮像部と、周囲の画像を撮像する第２の撮像部とを有する携帯端末であって、所定の通報操作を受け付けたことを条件として、前記第１の撮像部により撮像された第１の画像、及び、前記第２の撮像部により撮像された第２の画像を取得する取得部と、前記第１の画像から前記通報者の顔の部分画像を切り出すとともに、前記第２の画像から前記通報者の周囲に所在する者の顔の部分画像を切り出す切出部と、前記切出部により切り出された前記通報者の顔の部分画像、及び、前記通報者の周囲に所在する者の顔の部分画像にそれぞれ含まれる顔の表情を分類する分類処理部と、前記分類処理部により分類された顔の表情に基づいて、事象の緊急度を算定する緊急度算定部と、前記緊急度算定部により算定された緊急度を含む通報情報を前記管理装置に対して通知する通報情報通知部とを備えたことを特徴とする。

また、本発明は、通報者の顔を含む画像を撮像する第１の撮像部と、周囲の画像を撮像する第２の撮像部とを有する携帯端末と、前記携帯端末から通報情報を受信して警備員に対する所定の指示を行う管理装置とを有する警備システムにおける警備方法であって、前記携帯端末が、所定の通報操作を受け付けたことを条件として、前記第１の撮像部により撮像された第１の画像、及び、前記第２の撮像部により撮像された第２の画像を取得する取得工程と、前記第１の画像及び前記第２の画像を含む通報情報を前記管理装置に対して通知する通報情報通知工程と、前記管理装置が、前記第１の画像から前記通報者の顔の部分画像を切り出すとともに、前記第２の画像から前記通報者の周囲に所在する者の顔の部分画像を切り出す切出工程と、前記管理装置が、前記切出工程により切り出された前記通報者の顔の部分画像、及び、前記通報者の周囲に所在する者の顔の部分画像にそれぞれ含まれる顔の表情を分類する分類処理工程と、前記管理装置が、前記分類処理工程により分類された顔の表情に基づいて、事象の緊急度を算定する緊急度算定工程と、前記管理装置が、前記緊急度算定工程により算定した緊急度に基づいて、所定の警備員が所持する携帯端末に対して指示を行う指示工程とを含んだことを特徴とする。

また、本発明は、通報者の顔を含む画像を撮像する第１の撮像部と、周囲の画像を撮像する第２の撮像部とを有する携帯端末と、前記携帯端末から通報情報を受信して警備員に対する所定の指示を行う管理装置とを有する警備システムにおける警備方法であって、前記携帯端末が、所定の通報操作を受け付けたことを条件として、前記第１の撮像部により撮像された第１の画像、及び、前記第２の撮像部により撮像された第２の画像を取得する取得工程と、前記携帯端末が、前記第１の画像から前記通報者の顔の部分画像を切り出すとともに、前記第２の画像から前記通報者の周囲に所在する者の顔の部分画像を切り出す切出工程と、前記携帯端末が、前記切出工程により切り出された前記通報者の顔の部分画像、及び、前記通報者の周囲に所在する者の顔の部分画像にそれぞれ含まれる顔の表情を分類する分類処理工程と、前記携帯端末が、前記分類処理工程により分類された顔の表情に基づいて、事象の緊急度を算定する緊急度算定工程と、前記携帯端末が、前記緊急度算定工程により算定された緊急度を含む通報情報を前記管理装置に対して通知する通報情報通知工程と、前記管理装置が、前記通報情報に含まれる緊急度に基づいて、所定の警備員が所持する携帯端末に対して指示を行う指示工程とを含んだことを特徴とする。

本発明によれば、緊急度の高い事象が発生した位置に警備員を優先的に直行させることが可能となる。

図１は、実施例１に係る警備システムのシステム構成及び概要を説明するための説明図である。 図２は、図１に示した携帯端末の構成を示す機能ブロック図である。 図３は、図２に示した携帯端末の動作を説明する説明図である。 図４は、図１に示したコントロールセンタの構成を示すブロック図である。 図５は、顔の切出処理を説明するための説明図である。 図６は、クラスタリングの一例を示す図である。 図７は、学習済モデルを用いたクラスタリングを説明するための説明図である。 図８は、学習済モデルの構造の一例を示す図である。 図９は、図１に示した警備システムの通報処理手順を示すフローチャートである。 図１０は、実施例２に係る警備システムのシステム構成及び概要を説明するための説明図である。 図１１は、図１０に示した携帯端末の構成を示す機能ブロック図である。 図１２は、図１０に示した警備システムの通報処理手順を示すフローチャートである。

以下に、添付図面を参照して、本発明に係る警備システム、管理装置、携帯端末及び警備方法の好適な実施例を詳細に説明する。なお、下記に示す実施例１では、クラスタリング及び緊急度の算定をコントロールセンタで行う場合を示し、下記に示す実施例２では、クラスタリング及び緊急度の算定を携帯端末で行う場合を示すこととする。

＜システム構成と概要＞
まず、本実施例１に係る警備システムのシステム構成と概要について説明する。ここでは、通報者Ａ１、通報者Ａ２、警備員Ｂ１及び警備員Ｂ２が、同じ携帯端末１０を所持しているものとする。また、通報者Ａ１及び通報者Ａ２は、警備員、警備ボランティア又は一般ユーザのいずれであっても良いものとする。ただし、警備ボランティア又は一般ユーザである場合には、通報を行うための通報アプリを自ら所持する携帯端末１０にインストールしているものとする。また、本実施例１では、説明の便宜上、警備本部を意味するコントロールセンタ２０を図示するが、このコントロールセンタ２０は、コンピュータからなる一種の管理装置を意味する。

図１は、実施例１に係る警備システムのシステム構成及び概要を説明するための説明図である。図１に示すように、通報者Ａ１は、自らの周囲に警備対応を必要とする事案が発生したならば、通報者Ａ１自身が所持する携帯端末１０を操作して通報アプリを起動する。この通報アプリは、警備会社が運営するウエブサーバ等からダウンロードすることができる。

そして、通報者Ａ１が、携帯端末１０の画面上に表示された通報ボタンを押下操作し、携帯端末１０が通報操作を受け付けたならば（Ｓ１１）、携帯端末１０は、通報者Ａ１自身の顔を撮影するインカメラを起動して顔画像を自動的に撮像するとともに、アウトカメラを起動して周囲の画像を自動的に撮像する（Ｓ１２）。

その後、携帯端末１０は、インカメラ及びアウトカメラで撮像した画像を含む通報情報をコントロールセンタ２０に送信する(Ｓ１３)。なお、この通報情報には、通報者Ａ１の識別情報、位置情報などを含む。

コントロールセンタ２０は、携帯端末１０から通報情報を受信したならば、この通報情報に含まれる画像から顔の部分画像を切出処理する（Ｓ１４）。具体的には、インカメラで撮像した画像に含まれる通報者Ａ１の顔の部分画像、アウトカメラで撮像した画像に含まれる周囲に所在する者の顔の部分画像を切り出す。

その後、コントロールセンタ２０は、切出処理された顔の部分画像を学習済モデルに入力し、Ｐ１～Ｐ８の確率をそれぞれ出力するクラスタリング処理を行う（Ｓ１５）。このＰ１は「喜び」を示す確率であり、Ｐ２は「信頼」を示す確率であり、Ｐ３は「期待」を示す確率であり、Ｐ４は「恐れ」を示す確率であり、Ｐ５は「驚き」を示す確率であり、Ｐ６は「悲しみ」を示す確率であり、Ｐ７は「嫌悪」を示す確率であり、Ｐ８は「怒り」を示す確率である。

そして、コントロールセンタ２０は、クラスタリング結果に基づいて緊急度を算定する（Ｓ１６）。具体的には、Ｐ４、Ｐ５、Ｐ６、Ｐ８が所定値以上である場合に緊急度を高くし、Ｐ１、Ｐ２、Ｐ３、Ｐ７が所定値以上である場合に緊急度を低くすることになる。例えば、緊急度Ｋは、Ｋ＝Ｐ４＋Ｐ５＋Ｐ６＋Ｐ８－（Ｐ１＋Ｐ２＋Ｐ３＋Ｐ７）により求めることができる。各確率に所定の係数を乗算することもできる。

その後、コントロールセンタ２０は、かかる緊急度が所定値以上である場合に、警備員Ｂ１の携帯端末１０に通報者Ａ１の位置に直行するよう指示を行い（Ｓ１７）、携帯端末１０上でこの指示内容を確認した警備員Ｂ１が通報者Ａ１の位置に直行する（Ｓ１８）。

これに対して、通報者Ａ１による通報と同じタイミングで、通報者Ａ１と異なる場所に所在する他の通報者Ａ２の携帯端末１０が、画像を含む通報情報をコントロールセンタ２０に送信し（Ｓ２１）、コントロールセンタ２０がこの通報情報を受信したならば、先ほど説明した手順で、顔画像の切り出し、クラスタリング処理、緊急度算定処理を行う。

例えば、この通報者Ａ２により通報された通報情報の緊急度が所定の閾値よりも低かったならば、コントロールセンタ２０は、通報者Ａ２に対して電話連絡を行うとともに（Ｓ２２）、その電話連絡により警備員が通報者Ａ２に対応する必要があることが判明した場合には、通報者Ａ２への別途対応指示を警備員Ｂ２の携帯端末１０に対して行う（Ｓ２３）。つまり、緊急度が高くない場合には、警備員Ｂ２に対して直行指示を行わない。

また、事象に対する発生位置への直行が可能な警備員が警備員Ｂ１のみであり、かつ、通報者Ａ１により通報された通報情報の緊急度及び通報者Ａ２により通報された通報情報の緊急度がともに閾値以上である場合には、警備員Ｂ１に対してより緊急度が高い通報者の位置へ直行するよう指示する。

このように、本実施例１に係る警備システムは、各通報者Ａ１，Ａ２に所持された携帯端末１０と、携帯端末１０から通報情報を受信して警備員に対する所定の指示を行うコントロールセンタ（管理装置）２０とを有する警備システムであって、携帯端末１０は、通報操作を受け付けたことを条件として、インカメラ及びアウトカメラで画像を撮像し、撮像した画像を含む通報情報をコントロールセンタ２０に通知し、コントロールセンタ２０は、通報情報を受け付けた場合に、該通報情報に含まれる画像から顔の部分画像を切り出し、切り出した顔の部分画像を学習済モデルに入力してクラスタリングを行い、このクラスタリング結果に基づいて事象の緊急度を算定し、算定した緊急度に基づいて警備員Ｂ１、Ｂ２が所持する携帯端末１０に対して指示を行うよう構成したので、いたずら目的又は誤操作により通報操作がなされた場合に警備員を直行させる事態を防止しつつ、緊急度の高い事象が発生した位置に警備員を優先的に直行させることが可能となる。

＜携帯端末１０の構成＞
次に、図１に示した携帯端末１０の構成について説明する。図２は、図１に示した携帯端末１０の構成を示す機能ブロック図である。図３は、図２に示した携帯端末１０の動作を説明する説明図である。図２に示すように、携帯端末１０は、表示操作部１１と、インカメラ１２ａと、アウトカメラ１２ｂと、マイク１３と、ＧＰＳユニット１４と、イヤホン１５と、スピーカ１６と、通信Ｉ／Ｆ部１７と、記憶部１８と、制御部１９とを有する。

表示操作部１１は、入力デバイス及び表示デバイスを兼ねるタッチパネル式の液晶パネル等からなる。インカメラ１２ａは、操作者の顔画像を撮像する撮像装置であり、アウトカメラ１２ｂは、周囲の画像を撮像する撮像装置である。マイク１３は、集音デバイスであり、ＧＰＳユニット１４は、ＧＰＳ（Global Positioning System）により携帯端末１０の現在位置を取得する装置である。イヤホン１５は、操作者に耳に装着して音を伝達する音響デバイスであり、スピーカ１６は、音を外部に出力する音響デバイスである。通信Ｉ／Ｆ部１７は、音声通信及びデータ通信を行うための通信インターフェース部である。記憶部１８は、ハードディスク装置又は不揮発性メモリからなる記憶デバイスであり、ＯＳ（Operating System）、システムプログラム、各種アプリ、各種データを記憶する。

制御部１９は、携帯端末１０を全体制御する制御部であり、通報操作受付部１９ａと、撮像処理部１９ｂと、通報情報送信部１９ｃとを有する。実際には、携帯端末１０のＣＰＵ（Central Processing Unit）が、本実施例１に係る通報アプリを不揮発性メモリ等から主記憶装置であるＲＡＭ上にロードして実行することにより、通報操作受付部１９ａ、撮像処理部１９ｂ、通報情報送信部１９ｃに対応するプロセスが形成される。

通報操作受付部１９ａは、通報者による通報操作を受け付ける処理部であり、例えば、通報アプリを起動したならば表示操作部１１に「通報ボタン」が表示される。通報者である操作者によりこの通報ボタンが押下操作されたならば、この押下操作を通報操作として受け付ける。

撮像処理部１９ｂは、通報操作の受け付けに連動してインカメラ１２ａ及びアウトカメラ１２ｂにて画像を撮像する処理部である。携帯端末の基本機能の一つにインカメラ１２ａ又はアウトカメラ１２ｂにて画像を撮像可能状態にする機能が存在するが、この基本機能とは異なり、この撮像処理部１９ｂは、通報操作の受け付けに連動して自動撮像を行う。例えば、携帯端末１０上で通報ボタンの押下操作を受け付けたならば、図３に示すように、インカメラ１２ａで通報者の顔を自動的に撮像するとともに、アウトカメラ１２ｂで周囲を自動的に撮像する。なお、ここでは表示操作部１１上に「通報操作を受け付けました。画像を撮像し、コントロールセンタに送信します」とのメッセージを表示する状況を示している。

通報情報送信部１９ｃは、撮像処理部１９ｂにより撮像された画像を含む通報情報をコントロールセンタ２０に自動送信する処理部である。

＜コントロールセンタ２０の構成＞
次に、図１に示したコントロールセンタ２０の構成について説明する。図４は、図１に示したコントロールセンタ２０の構成を示すブロック図である。同図に示すように、コントロールセンタ２０は、入力部２１と、表示部２２と、通信Ｉ／Ｆ部２３と、記憶部２４と、制御部２５とを有する。

入力部２１は、キーボードやマウス等の入力デバイスであり、表示部２２は、液晶パネルやディスプレイ装置等の表示デバイスである。通信Ｉ／Ｆ部２３は、ネットワークを介して携帯端末１０等との通信を行うための通信デバイスである。

記憶部２４は、ハードディスク装置又はＳＳＤ等の二次記憶媒体であり、学習済モデル２４ａ、教師データ２４ｂ等を記憶する。なお、本実施例１では、学習済モデル２４ａは、ソフトウエアにより形成されているものとする。このため、コントロールセンタ２０が、学習済モデル２４ａを利用する場合には、学習済モデル２４ａを記憶部２４から読み出して主記憶装置であるＲＡＭ（Random Access Memory）上に展開して動作実行させることになる。教師データ２４ｂは、多層ニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）に教師あり学習を行わせるための教師データである。なお、学習済モデル２４ａの詳細な説明については後述する。

制御部２５は、コントロールセンタ２０を全体制御する制御装置であり、顔切出処理部２５ａ、クラスタリング処理部２５ｂ、緊急度算定部２５ｃ、指示部２５ｄ及び学習処理部２５ｅを有する。実際には、コントロールセンタ２０のＣＰＵ（Central Processing Unit）が、本実施例１に係る警備プログラムを不揮発性メモリ等から主記憶装置であるＲＡＭ上にロードして実行することにより、顔切出処理部２５ａ、クラスタリング処理部２５ｂ、緊急度算定部２５ｃ、指示部２５ｄ及び学習処理部２５ｅに対応するプロセスが形成される。

顔切出処理部２５ａは、携帯端末１０から受信した通報情報に含まれる画像から人の顔の部分画像を切り出す処理部である。例えば、人の顔の形状を示す様々な画素数のテンプレートを準備しておき、既存のテンプレートマッチング技術を用いて矩形形状の顔の部分画像を抽出することができる。なお、かかる処理に限定されるものではない。これにより、図５に示した画像Ｇ１から顔の部分画像Ｆ１を抽出し、画像Ｇ２から顔の部分画像Ｆ２及び部分画像Ｆ３が抽出される。

クラスタリング処理部２５ｂは、深層学習で教師あり学習を行った学習済モデル２４ａに対して顔の部分画像を入力し、この顔の表情のクラスタリングを行う処理部である。図７は、学習済モデル２４ａを用いたクラスタリングを説明するための説明図である。図７に示すように、学習済モデル２４ａに顔の部分画像Ｆを入力すると、クラスタリング結果として確率Ｐ１～Ｐ８が出力される。なお、Ｐ１は「喜び」を示す確率であり、Ｐ２は「信頼」を示す確率であり、Ｐ３は「期待」を示す確率であり、Ｐ４は「恐れ」を示す確率であり、Ｐ５は「驚き」を示す確率であり、Ｐ６は「悲しみ」を示す確率であり、Ｐ７は「嫌悪」を示す確率であり、Ｐ８は「怒り」を示す確率である。

緊急度算定部２５ｃは、クラスタリング結果に基づいて緊急度を算定する処理部である。具体的には、Ｐ４、Ｐ５、Ｐ６、Ｐ８が所定値以上である場合に緊急度を高くし、Ｐ１、Ｐ２、Ｐ３、Ｐ７が所定値以上である場合に緊急度を低くする。この緊急度Ｋは、Ｋ＝Ｐ４＋Ｐ５＋Ｐ６＋Ｐ８－（Ｐ１＋Ｐ２＋Ｐ３＋Ｐ７）により求めることができる。各確率に所定の係数を乗算することもできる。例えば、図６に示すように、図５に示す顔の部分画像Ｆ１が「恐れ」を示すＰ４の値が高くなり、部分画像Ｆ２及びＦ３が「驚き」を示すＰ５の値が高くなったならば、事象の緊急度は高くなる。

指示部２５ｄは、緊急度が所定の閾値（例えば、「０．８（８０％）」）以上である場合に、警備員Ｂ１の携帯端末１０に通報者Ａ１の位置に直行するよう指示を行い、緊急度が所定の閾値（例えば、「０．８（８０％）」）よりも低かったならば、警備員Ｂ２に対する直行指示を行なわず、通報者Ａ２への電話連絡指示等の別途対応指示を警備員Ｂ２の携帯端末１０に行う。

なお、事象に対する発生位置への直行が可能な警備員が警備員Ｂ１のみであり、かつ、通報者Ａ１により通報された通報情報の緊急度及び通報者Ａ２により通報された通報情報の緊急度がともに閾値以上である場合には、警備員Ｂ１に対してより緊急度が高い通報者の位置へ直行するよう指示する。

学習処理部２５ｅは、深層学習を用いてＣＮＮに教師あり学習を行って、学習済みデータを生成する処理部である。具体的には、多層ニューラルネットワーク（ＣＮＮ）に教師あり学習をさせるためには、入力データと正解データ（分類結果）のセットからなる教師データが必要となる。このため、記憶部２４に記憶した教師データ２４ｂの入力データと、例えば（Ｐ１，Ｐ２，Ｐ３、Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８）＝（０，０，０、１，０，０，０，０）という正解データとを利用し、バックプロパゲーションと呼ばれる手法によってニューロン間のパスの重み等のパラメータを変動させ、もって多層ニューラルネットワーク（ＣＮＮ）に学習させることが可能となる。

＜学習済モデル２４ａの構造＞
次に、学習済モデル２４ａの構造の一例について説明する。図８は、学習済モデル２４ａの構造の一例を示す図である。図８に示す学習済モデル２４ａは、コンボリューション層（Convolution）、コンボリューション層（Convolution）、アベレージプーリング層（Average Pooling）、コンボリューション層（Convolution）、アベレージプーリング層（Average Pooling）、全結合層（Fully Connect）、全結合層（Fully Connect）及び出力層（Softmax）を有する。かかるコンボリューション層（Convolution）に対して顔の部分画像Ｆが入力されたならば、出力層（Softmax）から分類結果である８つの確率Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６。Ｐ７、Ｐ８が出力される。

ここで、コンボリューション層は、局所的な特徴を抽出するために、前層で近くにあるノードにフィルタを畳み込んで特徴マップを生成する。アベレージプーリング層は、局所的な特徴をまとめあげるために、前層であるコンボリューション層から出力された特徴マップをさらに縮小して新たな特徴マップとする。このように、多層ニューラルネットワーク（ＣＮＮ）の隠れ層は、コンボリューション層とアベレージプーリング層により形成される。全結合層は、特徴部分が取り出された特徴マップを一つのノードに結合し、所定の活性化関数によって変換された値を出力する。この活性化関数には、周知技術であるＲｅＬＵ（Rectified Linear Unit）等を用いることができる。出力層は、全結合層からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、それぞれ正しく分類される確率を出力する。また、オーバーフィッティングを避けるためにドロップアウト層を追加することもできる。なお、多層ニューラルネットワーク（ＣＮＮ）の基本構造は周知技術であるため、ここではその詳細な説明を省略する。

＜通報処理手順＞
次に、図１に示した警備システムの通報処理手順について説明する。図９は、図１に示した警備システムの通報処理手順を示すフローチャートである。同図に示すように、携帯端末１０は通報操作待ちの状態にあり（ステップＳ１０１；Ｎｏ）、通報操作を受け付けたならば（ステップＳ１０１；Ｙｅｓ）、インカメラ１２ａ及びアウトカメラ１２ｂで画像を撮像する（ステップＳ１０２）。そして、これらの画像を含む通報情報をコントロールセンタ２０に送信する（ステップＳ１０３）。

コントロールセンタ２０は、通報情報の受信待ちの状態にあり（ステップＳ１０４；Ｎｏ）、通報情報を受信したならば（ステップＳ１０４；Ｙｅｓ）、通報情報に含まれる画像から人の顔の部分画像を切り出し（ステップＳ１０５）、この部分画像を学習済モデル２４ａに入力して、クラスタリング結果を取得する（ステップＳ１０６）。

その後、コントロールセンタ２０は、クラスタリング結果に基づいて緊急度を算定し（ステップＳ１０７）、緊急度が所定値以上であれば（ステップＳ１０８；Ｙｅｓ）、警備員の携帯端末１０に対して直行指示を行う（ステップＳ１０９）。これに対して、緊急度が所定値未満であれば（ステップＳ１０８；Ｎｏ）、通報者に対して電話連絡を行うとともに、その電話連絡により警備員が通報者に対応する必要があることが判明した場合には、通報者への別途対応指示を警備員の携帯端末１０に対して行う（ステップＳ１１０）。なお、通報者への電話連絡の結果、警備員による対応が不要であることが判明したならば、警備員の携帯端末１０に対する別途対応指示は行わない。

上述してきたように、本実施例１では、通報者に所持された携帯端末１０と、携帯端末１０から通報情報を受信して警備員に対する所定の指示を行うコントロールセンタ２０とを有する警備システムであって、携帯端末１０は、通報操作を受け付けたことを条件として、インカメラ及びアウトカメラで画像を撮像し、撮像した画像を含む通報情報をコントロールセンタ２０に通知し、コントロールセンタ２０は、通報情報を受け付けた場合に、該通報情報に含まれる画像から顔の部分画像を切り出し、切り出した顔の部分画像を学習済モデルに入力してクラスタリングを行い、このクラスタリング結果に基づいて事象の緊急度を算定し、算定した緊急度に基づいて警備員Ｂ１、Ｂ２が所持する携帯端末１０に対して指示を行うよう構成したので、いたずら目的又は誤操作により通報操作がなされた場合に警備員を直行させる事態を防止しつつ、緊急度の高い事象が発生した位置に警備員を優先的に直行させることが可能となる。

ところで、上記の実施例１では、コントロールセンタ２０においてフィルタリング処理及び緊急度の算定処理を行う場合を示したが、本発明はこれに限定されるものではなく、携帯端末においてフィルタリング処理及び緊急度の算定処理を行うこともできる。そこで、本実施例２では、携帯端末３０においてフィルタリング処理及び緊急度の算定処理を行う場合について説明する。なお、実施例１と同様の部分についてはその詳細な説明を省略する。

＜システム構成と概要＞
まず、本実施例２に係る警備システムのシステム構成と概要について説明する。図１０は、実施例２に係る警備システムのシステム構成及び概要を説明するための説明図である。図１０に示すように、通報者Ａ１が、携帯端末３０の画面上に表示された通報ボタンを押下操作し、携帯端末３０が通報操作を受け付けたならば（Ｓ３１）、携帯端末３０は、通報者Ａ１自身の顔を撮影するインカメラを起動して顔画像を自動的に撮像するとともに、アウトカメラを起動して周囲の画像を自動的に撮像する（Ｓ３２）。

その後、携帯端末３０は、画像から顔の部分画像を切出処理する（Ｓ３３）。具体的には、インカメラで撮像した画像に含まれる通報者Ａ１の顔の部分画像、アウトカメラで撮像した画像に含まれる周囲に所在する者の顔の部分画像を切り出す。

その後、携帯端末３０は、切出処理された顔の部分画像を学習済モデルに入力し、Ｐ１～Ｐ８の確率をそれぞれ出力するクラスタリング処理を行い（Ｓ３４）、クラスタリング結果に基づいて緊急度を算定する（Ｓ３５）。かかるＳ３３～Ｓ３５の処理内容は、実施例１に示すコントロールセンタ２０が行う処理と同様である。その後、携帯端末３０は、この緊急度を含む通報情報をコントロールセンタ４０に送信する（Ｓ３６）。

コントロールセンタ４０は、通報情報を受信したならば、該通信情報に含まれる緊急度が所定値以上である場合に、警備員Ｂ１の携帯端末３０に通報者Ａ１の位置に直行するよう指示を行い（Ｓ３７）、携帯端末３０上でこの指示内容を確認した警備員Ｂ１が通報者Ａ１の位置に直行する（Ｓ３８）。

これに対して、通報者Ａ１による通報と同じタイミングで、通報者Ａ１と異なる場所に所在する他の通報者Ａ２の携帯端末３０が、緊急度を含む通報情報をコントロールセンタ４０に送信し（Ｓ４１）、コントロールセンタ４０がこの通報情報を受信したならば、通信情報に含まれる緊急度に基づいて、警備員に対する自動直行指示又は警備員Ｂ２に対する対応指示を行う。例えば、この通報情報の緊急度が所定の閾値よりも低かったならば、コントロールセンタ４０は、通報者Ａ２に対して電話連絡を行うとともに（Ｓ４２）、その電話連絡により警備員が通報者Ａ２に対応する必要があることが判明した場合には、通報者Ａ２への別途対応指示を警備員Ｂ２の携帯端末３０に対して行う（Ｓ４３）。なお、通報者への電話連絡の結果、警備員による対応が不要であることが判明したならば、警備員の携帯端末３０に対する別途対応指示は行わない。

また、事象に対する発生位置への直行が可能な警備員が警備員Ｂ１のみであり、かつ、通報者Ａ１により通報された通報情報の緊急度及び通報者Ａ２により通報された通報情報の緊急度がともに閾値以上である場合には、警備員Ｂ１に対してより緊急度が高い通報者の位置へ直行するよう指示する。

このように、本実施例２に係る警備システムは、各通報者Ａ１，Ａ２に所持された携帯端末３０と、携帯端末３０から通報情報を受信して警備員に対する所定の指示を行うコントロールセンタ（管理装置）４０とを有する警備システムであって、携帯端末３０は、通報操作を受け付けたことを条件として、インカメラ及びアウトカメラで画像を撮像し、撮像した画像から顔の部分画像を切り出し、切り出した顔の部分画像を学習済モデルに入力してクラスタリングを行い、このクラスタリング結果に基づいて事象の緊急度を算定し、算定した緊急度を含む通報情報をコントロールセンタ４０に送信し、コントロールセンタ４０は、通報情報を受け付けた場合に、該通報情報に含まれる緊急度に応じて警備員の携帯端末３０に対して指示を行うよう構成したので、いたずら目的又は誤操作により通報操作がなされた場合に警備員を直行させる事態を防止しつつ、緊急度の高い事象が発生した位置に警備員を優先的に直行させることが可能となる。

＜携帯端末３０の構成＞
次に、図１０に示した携帯端末３０の構成について説明する。図１１は、図１０に示した携帯端末３０の構成を示す機能ブロック図である。なお、図２に示す携帯端末１０と同様の機能部については、同一の符号を付してその詳細な説明を省略する。

図１１に示すように、制御部１９は、顔切出処理部３１、クラスタリング処理部３２、緊急度算定部３３を有する。かかる顔切出処理部３１、クラスタリング処理部３２、緊急度算定部３３は、図４に示したコントロールセンタ２０に図示された顔切出処理部２５ａ、クラスタリング処理部２５ｂ、緊急度算定部２５ｃにそれぞれ対応する処理を行う機能部である。

このように、かかる携帯端末３０は、携帯端末３０上でそれぞれ緊急度の算定を行うよう構成されている。このため、コントロールセンタ４０における処理負荷を軽減することができる。なお、かかる場合における携帯端末３０の処理負荷を軽減するため、クラスタリング処理部３２が使用する学習済モデルは、ＡＳＩＣ又はＦＰＧＡなどのハードウエア回路で実装することが望ましい。

＜通報処理手順＞
次に、図１０に示した警備システムの通報処理手順について説明する。図１２は、図１０に示した警備システムの処理手順を示すフローチャートである。図１２に示すように、携帯端末３０は通報操作待ちの状態にあり（ステップＳ２０１；Ｎｏ）、通報操作を受け付けたならば（ステップＳ２０１；Ｙｅｓ）、インカメラ１２ａ及びアウトカメラ１２ｂで画像を撮像する（ステップＳ２０２）。そして、撮像した画像から人の顔の部分画像を切り出し（ステップＳ２０３）、この部分画像を学習済モデル２４ａに入力して、クラスタリング結果を取得する（ステップＳ２０４）。その後、クラスタリング結果に基づいて緊急度を算定し（ステップＳ２０５）、算定した緊急度を含む通報情報をコントロールセンタ４０に送信する（ステップＳ２０６）。なお、例えばインカメラ１２ａ及びアウトカメラ１２ｂで撮像した画像に３名の人物の顔画像が存在し、それぞれの緊急度が算定された場合には、３名分の緊急度をインカメラ１２ａ又はアウトカメラ１２ｂの識別情報に対応づけてコントロールセンタ４０に送信する。

コントロールセンタ４０は、通報情報の受信待ちの状態にあり（ステップＳ２０７；Ｎｏ）、通報情報を受信したならば（ステップＳ２０７；Ｙｅｓ）、通報情報に含まれる緊急度が所定値以上であれば（ステップＳ２０８；Ｙｅｓ）、警備員の携帯端末３０に対して直行指示を行う（ステップＳ２０９）。これに対して、緊急度が所定値未満であれば（ステップＳ２０８；Ｎｏ）、通報者に対して電話連絡を行うとともに、その電話連絡により警備員が通報者に対応する必要があることが判明した場合には、通報者への別途対応指示を警備員の携帯端末３０に対して行う（ステップＳ２１０）。なお、通報者への電話連絡の結果、警備員による対応が不要であることが判明したならば、警備員の携帯端末３０に対する別途対応指示は行わない。例えば、通報情報に含まれる緊急度が３つ存在する場合には、３つの緊急度の平均値を用いることができる。また、インカメラ１２ａに含まれる緊急度の重みを高くした重み付け平均値を用いることもできる。

上述してきたように、本実施例２では、各通報者Ａ１，Ａ２に所持された携帯端末３０と、携帯端末３０から通報情報を受信して警備員に対する所定の指示を行うコントロールセンタ（管理装置）４０とを有する警備システムであって、携帯端末３０は、通報操作を受け付けたことを条件として、インカメラ及びアウトカメラで画像を撮像し、撮像した画像から顔の部分画像を切り出し、切り出した顔の部分画像を学習済モデルに入力してクラスタリングを行い、このクラスタリング結果に基づいて事象の緊急度を算定し、算定した緊急度を含む通報情報をコントロールセンタ４０に送信し、コントロールセンタ４０は、通報情報を受け付けた場合に、該通報情報に含まれる緊急度に応じて警備員の携帯端末３０に対して指示を行うよう構成したので、いたずら目的又は誤操作により通報操作がなされた場合に警備員を直行させる事態を防止しつつ、緊急度の高い事象が発生した位置に警備員を優先的に直行させることが可能となる。

なお、本実施例２では、携帯端末３０上で算定した緊急度をコントロールセンタ４０に送信する場合について説明したが、本発明はこれに限定されるものではなく、この緊急度を警備員相互で行うチャット通信、映像通信などに反映させ、通信相手の警備員に緊急度を把握させるよう構成することもできる。

また、上記実施例１及び２では、携帯端末上で通報ボタンの押下操作（通報操作）を受け付けたことをトリガとしてインカメラ１２ａ及びアウトカメラ１２ｂで画像を撮像することとしたが、通報者の音声による通報指示をトリガとしてインカメラ１２ａ及びアウトカメラ１２ｂで画像を撮像することもできる。また、インカメラ１２ａ及びアウトカメラ１２ｂの両方で画像を撮像するのではなく、インカメラ１２ａ及びアウトカメラ１２ｂの一方のみで画像を撮像するよう構成することもできる。

また、上記実施例１及び２では、携帯端末が、画像又は緊急度を含む通報情報をコントロールセンタに送信する場合を示したが、本発明はこれに限定されるものではなく、画像又は緊急度と通報情報とを別々にコントロールセンタに送信するよう構成することもできる。

また、上記実施例１及び２では、携帯端末上で通報操作を受け付けた時点で画像を撮像することとしたが、本発明はこれに限定されるものではなく、通報操作を受け付けてから一定時間に撮像した複数の画像又は複数の緊急度をコントロールセンタに送信するよう構成することもできる。通報者等の一時点のみの表情で緊急度を判定することとすると、重大な事象の発生を見逃す可能性があるためである。

また、上記実施例１及び２では、顔切出部が顔の部分画像を切り出す場合を示したが、本発明はこれに限定されるものではなく、画像に含まれる「火」、「煙」、「血液」、「倒れている人」なども切り出すこともできる。さらに、携帯端末上での通報操作に応答して撮像した画像又は該画像に基づく緊急度ではなく、携帯端末のマイクに入力される音情報又は音情報から算定される緊急度をコントロールセンタに送信することもできる。また、通報者の「手ぶれ」、「ボタンを押す強さ」などの情報を組み合わせることもできる。

また、上記実施例１及び２では、深層学習を行ったＣＮＮを学習済モデルとする場合を示したが、本発明はこれに限定されるものではなく、ランダムフォレストなどの機械学習を用いる場合に適用することもできる。また、上記実施例１及び２では、教師あり学習を行う場合を示したが、現場での教師なし学習を併用することもできる。

また、いたずら目的又は誤操作であると判定された通報が一定回数行った通報者については、警備システムの利用を自動停止させるよう構成することもできる。

なお、上記の実施例１及び２で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

本発明に係る警備システム、管理装置、携帯端末及び警備方法は、緊急度の高い事象が発生した位置に警備員を優先的に直行させる場合に有用である。

Ａ１、Ａ２ 通報者
Ｂ１、Ｂ２ 警備員
Ｆ１、Ｆ２、Ｆ３ 顔の部分画像
Ｇ１、Ｇ２ 画像
１０ 携帯端末
１１ 表示操作部
１２ａ インカメラ
１２ｂ アウトカメラ
１３ マイク
１４ ＧＰＳユニット
１５ イヤホン
１６ スピーカ
１７ 通信Ｉ／Ｆ部
１８ 記憶部
１９ 制御部
１９ａ 通報操作受付部
１９ｂ 撮像処理部
１９ｃ 通報情報送信部
２０ コントロールセンタ
２１ 入力部
２２ 表示部
２３ 通信Ｉ／Ｆ部
２４ 記憶部
２４ａ 学習済モデル
２４ｂ 教師データ
２５ 制御部
２５ａ 顔切出処理部
２５ｂ クラスタリング処理部
２５ｃ 緊急度算定部
２５ｄ 指示部
２５ｅ 学習処理部
３０ 携帯端末
３１ 顔切出処理部
３２ クラスタリング処理部
３３ 緊急度算定部
４０ コントロールセンタ

Claims (10)

1. 通報者の顔を含む画像を撮像する第１の撮像部と、周囲の画像を撮像する第２の撮像部とを有する携帯端末と、前記携帯端末から通報情報を受信して警備員に対する所定の指示を行う管理装置とを有する警備システムであって、
   前記携帯端末は、
   所定の通報操作を受け付けたことを条件として、前記第１の撮像部により撮像された第１の画像、及び、前記第２の撮像部により撮像された第２の画像を取得する取得部と、
   前記第１の画像及び前記第２の画像を含む通報情報を前記管理装置に対して通知する通報情報通知部と
   を備え、
   前記管理装置は、
   前記第１の画像から前記通報者の顔の部分画像を切り出すとともに、前記第２の画像から前記通報者の周囲に所在する者の顔の部分画像を切り出す切出部と、
   前記切出部により切り出された前記通報者の顔の部分画像、及び、前記通報者の周囲に所在する者の顔の部分画像にそれぞれ含まれる顔の表情を分類する分類処理部と、
   前記分類処理部により分類された顔の表情に基づいて、事象の緊急度を算定する緊急度算定部と、
   前記緊急度算定部により算定した緊急度に基づいて、所定の警備員が所持する携帯端末に対して指示を行う指示部と
   を備えたことを特徴とする警備システム。
2. 前記分類処理部は、
   顔の部分画像と分類結果からなる教師データにより学習された学習済モデルを用いて顔の表情を分類する
   ことを特徴とする請求項１に記載の警備システム。
3. 前記学習済モデルから出力された分類結果は、喜びを示す第１の確率、信頼を示す第２の確率、期待を示す第３の確率、恐れを示す第４の確率、驚きを示す第５の確率、悲しみを示す第６の確率、嫌悪を示す第７の確率、怒りを示す第８の確率を含み、
   前記緊急度算定部は、
   前記第４の確率、前記第５の確率、前記第６の確率、前記第８の確率が所定値以上である場合に緊急度を高くし、前記第１の確率、前記第２の確率、前記第３の確率、前記第７の確率が所定値以上である場合に緊急度を低くする
   ことを特徴とする請求項２に記載の警備システム。
4. 前記指示部は、
   前記緊急度が所定値以上である場合に、所定の警備員が所持する携帯端末に対して事象の発生位置への直行指示を行う
   ことを特徴とする請求項１乃至３のいずれか一つに記載の警備システム。
5. 前記指示部は、
   複数の異なる位置に所在する前記携帯端末から通報情報を受け付けた場合に、所定の警備員が所持する携帯端末に対してより緊急度が高い事象の発生位置への直行指示を行う
   ことを特徴とする請求項１乃至４のいずれか一つに記載の警備システム。
6. 通報者の顔を含む画像を撮像する第１の撮像部と、周囲の画像を撮像する第２の撮像部とを有する携帯端末と、前記携帯端末から通報情報を受信して警備員に対する所定の指示を行う管理装置とを有する警備システムであって、
   前記携帯端末は、
   所定の通報操作を受け付けたことを条件として、前記第１の撮像部により撮像された第１の画像、及び、前記第２の撮像部により撮像された第２の画像を取得する取得部と、
   前記第１の画像から前記通報者の顔の部分画像を切り出すとともに、前記第２の画像から前記通報者の周囲に所在する者の顔の部分画像を切り出す切出部と、
   前記切出部により切り出された前記通報者の顔の部分画像、及び、前記通報者の周囲に所在する者の顔の部分画像にそれぞれ含まれる顔の表情を分類する分類処理部と、
   前記分類処理部により分類された顔の表情に基づいて、事象の緊急度を算定する緊急度算定部と、
   前記緊急度算定部により算定された緊急度を含む通報情報を前記管理装置に対して通知する通報情報通知部と
   を備え、
   前記管理装置は、
   前記通報情報に含まれる緊急度に基づいて、所定の警備員が所持する携帯端末に対して指示を行う指示部
   を備えたことを特徴とする警備システム。
7. 通報者の顔を含む画像を撮像する第１の撮像部と、周囲の画像を撮像する第２の撮像部とを有する携帯端末と通信可能な管理装置であって、
   前記第１の撮像部により撮像された第１の画像、及び、前記第２の撮像部により撮像された第２の画像を前記携帯端末から受信する受信部と、
   前記第１の画像から前記通報者の顔の部分画像を切り出すとともに、前記第２の画像から前記通報者の周囲に所在する者の顔の部分画像を切り出す切出部と、
   前記切出部により切り出された前記通報者の顔の部分画像、及び、前記通報者の周囲に所在する者の顔の部分画像にそれぞれ含まれる顔の表情を分類する分類処理部と、
   前記分類処理部により分類された顔の表情に基づいて、事象の緊急度を算定する緊急度算定部と、
   前記緊急度算定部により算定した緊急度に基づいて、所定の警備員が所持する携帯端末に対して指示を行う指示部と
   を備えたことを特徴とする管理装置。
8. 警備員に対する所定の指示を行う管理装置と通信可能であり、通報者の顔を含む画像を撮像する第１の撮像部と、周囲の画像を撮像する第２の撮像部とを有する携帯端末であって、
   所定の通報操作を受け付けたことを条件として、前記第１の撮像部により撮像された第１の画像、及び、前記第２の撮像部により撮像された第２の画像を取得する取得部と、
   前記第１の画像から前記通報者の顔の部分画像を切り出すとともに、前記第２の画像から前記通報者の周囲に所在する者の顔の部分画像を切り出す切出部と、
   前記切出部により切り出された前記通報者の顔の部分画像、及び、前記通報者の周囲に所在する者の顔の部分画像にそれぞれ含まれる顔の表情を分類する分類処理部と、
   前記分類処理部により分類された顔の表情に基づいて、事象の緊急度を算定する緊急度算定部と、
   前記緊急度算定部により算定された緊急度を含む通報情報を前記管理装置に対して通知する通報情報通知部と
   を備えたことを特徴とする携帯端末。
9. 通報者の顔を含む画像を撮像する第１の撮像部と、周囲の画像を撮像する第２の撮像部とを有する携帯端末と、前記携帯端末から通報情報を受信して警備員に対する所定の指示を行う管理装置とを有する警備システムにおける警備方法であって、
   前記携帯端末が、所定の通報操作を受け付けたことを条件として、前記第１の撮像部により撮像された第１の画像、及び、前記第２の撮像部により撮像された第２の画像を取得する取得工程と、
   前記第１の画像及び前記第２の画像を含む通報情報を前記管理装置に対して通知する通報情報通知工程と、
   前記管理装置が、前記第１の画像から前記通報者の顔の部分画像を切り出すとともに、前記第２の画像から前記通報者の周囲に所在する者の顔の部分画像を切り出す切出工程と、
   前記管理装置が、前記切出工程により切り出された前記通報者の顔の部分画像、及び、前記通報者の周囲に所在する者の顔の部分画像にそれぞれ含まれる顔の表情を分類する分類処理工程と、
   前記管理装置が、前記分類処理工程により分類された顔の表情に基づいて、事象の緊急度を算定する緊急度算定工程と、
   前記管理装置が、前記緊急度算定工程により算定した緊急度に基づいて、所定の警備員が所持する携帯端末に対して指示を行う指示工程と
   を含んだことを特徴とする警備方法。
10. 通報者の顔を含む画像を撮像する第１の撮像部と、周囲の画像を撮像する第２の撮像部とを有する携帯端末と、前記携帯端末から通報情報を受信して警備員に対する所定の指示を行う管理装置とを有する警備システムにおける警備方法であって、
    前記携帯端末が、所定の通報操作を受け付けたことを条件として、前記第１の撮像部により撮像された第１の画像、及び、前記第２の撮像部により撮像された第２の画像を取得する取得工程と、
    前記携帯端末が、前記第１の画像から前記通報者の顔の部分画像を切り出すとともに、前記第２の画像から前記通報者の周囲に所在する者の顔の部分画像を切り出す切出工程と、
    前記携帯端末が、前記切出工程により切り出された前記通報者の顔の部分画像、及び、前記通報者の周囲に所在する者の顔の部分画像にそれぞれ含まれる顔の表情を分類する分類処理工程と、
    前記携帯端末が、前記分類処理工程により分類された顔の表情に基づいて、事象の緊急度を算定する緊急度算定工程と、
    前記携帯端末が、前記緊急度算定工程により算定された緊急度を含む通報情報を前記管理装置に対して通知する通報情報通知工程と、
    前記管理装置が、前記通報情報に含まれる緊急度に基づいて、所定の警備員が所持する携帯端末に対して指示を行う指示工程と
    を含んだことを特徴とする警備方法。

Images