JP7308068B2 - 警備システム及び監視表示装置 - Google Patents

Description

本発明は、警備システム及び監視表示装置に関する。

従来、空港、駅等の交通機関の施設、商業施設、興行施設や企業の事務所等には、警備員が配置され、立哨警備や巡回警備等を行っている。このような施設における立哨警備は、監視によってもたらされる威嚇効果により犯罪を未然に抑止するほか、施設の利用者に対して受付や案内等の応対を行うことで、施設におけるサービスを向上させるという側面を有している。

一方で、警備員の人手不足の問題から、警備員を模したキャラクタの画像を表示するとともに、利用者の操作に応じて監視室に常駐するオペレータによる応対を可能とする監視表示装置が開発されている。例えば、特許文献１には、警備員画面を表示するとともに、利用者の操作に応じて警備室とのテレビ通話ができる警備装置が記載されている。

特許第６２５９８９０号公報

しかしながら、オペレータによる応対は緊急時に求められることも多く、このような時に利用者による監視表示装置の操作を期待することは難しい。一方で、利用者による操作を待たずにオペレータによる応対を行う場合、オペレータが、複数の監視表示装置により監視される各監視空間の状況を把握し続ける必要があり、オペレータの判断ミス等により適切な応対が行われない可能性がある。そこで、このような監視表示装置を備える警備システムにおいては、監視空間の状況に応じて適切にオペレータによる応対がなされることが望まれている。

本発明は、上述の課題を解決するためになされたものであり、監視空間内の人物の状況や人物との対話状況等に応じて適切にオペレータによる応対がなされることを可能とする警備システム及び監視表示装置を提供することを目的とする。

本発明に係る警備システムは、監視表示装置と、監視表示装置と通信可能に接続される管理装置と、を有する警備システムであって、監視表示装置は、立哨する警備員を模したキャラクタの画像を表示する表示部と、キャラクタの音声の出力及び周囲の音声の入力をする音声入出力部と、監視空間内の人物を検知する検知部と、音声入出力部を介して、キャラクタに検知された人物と対話させることによって第１応対を行う第１応対部と、対話の対話状況を特定する特定部と、検知された人物の動作及び発話又は対話に関する所定の切替条件が満たされるか否かを判定する判定部と、切替条件が満たされると判定された場合、第１応対から管理装置を介したオペレータとの通話による第２応対への切替要求を管理装置に送信する送信部と、を備え、送信部は、切替条件が満たされた時の対話状況に応じて切替要求の緊急度を異ならせ、管理装置は、監視表示装置を介して検知された人物との通話を可能とする通話部と、受信した切替要求の緊急度に応じた第２応対への切替処理を行う第２応対部と、を備えることを特徴とする。

また、本発明に係る警備システムにおいて、第２応対部は、受信した切替要求の緊急度が所定値以上である場合、自動的に第２応対を開始し、緊急度が所定値未満である場合、オペレータによる所定の操作を受付けたことに応じて第２応対を開始する第２応対部を備える、ことが好ましい。

また、本発明に係る警備システムにおいて、特定部は、対話状況として対話が継続しているか否かを特定する、ことが好ましい。

また、本発明に係る警備システムにおいて、特定部は、対話状況として対話の目的を特定する、ことが好ましい。

また、本発明に係る警備システムにおいて、切替条件は、第１応対において、検知された人物の動作及び発話が所定期間以上検知されないこと、検知された人物による発話が所定の単語を含むこと、検知された人物の感情が所定の条件を満たすこと、検知された人物または監視表示装置が同一の内容を含む発話を所定回数以上繰り返すこと、及び、監視表示装置が検知された人物の発話を認識できない又は発話に対して対応できないことの少なくとも一つである、ことが好ましい。

本発明に係る監視表示装置は、オペレータと監視空間内の人物との通話を可能とする通話部と、オペレータとの通話による第２応対への切替要求の緊急度に応じた第２応対への切替処理を行う第２応対部と、を備える管理装置と通信可能に接続される監視表示装置であって、立哨する警備員を模したキャラクタの画像を表示する表示部と、キャラクタの音声の出力及び周囲の音声の入力をする音声入出力部と、監視空間内の人物を検知する検知部と、音声入出力部を介して、キャラクタに検知された人物と対話させることによって第１応対を行う第１応対部と、対話の対話状況を特定する特定部と、検知された人物の動作及び発話又は対話に関する所定の切替条件が満たされるか否かを判定する判定部と、切替条件が満たされると判定された場合、第１応対から管理装置を介した第２応対への切替要求を管理装置に送信する送信部と、を備え、送信部は、切替条件が満たされた時の対話状況に応じて切替要求の緊急度を異ならせる、ことを特徴とする。

本発明に係る警備システム及び監視表示装置は、監視空間内の人物の状況や人物との対話状況等に応じて適切にオペレータによる応対が行われることを可能とする。

警備システム１の概略構成の一例を示す図である。 監視表示装置２の概略構成の一例を示す図である。 監視表示装置２の外観の一例について説明するための模式図である。 管理装置３の概略構成の一例を示す図である。 対話目的テーブル２６１のデータ構造の一例を示す図である。 切替条件テーブル２６２のデータ構造の一例を示す図である。 警備システム１による監視処理の流れの一例を示すシーケンス図である。 警備システム１による応対処理の流れの一例を示すフロー図である。 監視画面９００の一例を示す図である。 監視画面１０００の一例を示す図である。 応対画面１１００の一例を示す図である。

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、本発明に係る警備システム１の概略構成の一例を示す図である。警備システム１は、例えば、監視対象である施設において監視機能及び受付機能を含む警備サービスを提供するために用いられる。

警備システム１は、複数の監視表示装置２ａ－２ｄ（以下、特に区別する必要がないときは監視表示装置２と称する。）と、管理装置３とを有する。監視表示装置２と管理装置３とは、インターネット又はイントラネット等のネットワーク４を介して互いに通信可能に接続される。

監視表示装置２は、監視対象である施設において、それぞれ異なる監視空間に設置され、各監視空間の監視を行うとともに、施設の利用者に対する案内等を行う。

管理装置３は、ワークステーション又はＰＣ等の情報処理装置である。管理装置３は、所定の情報処理が可能な多機能携帯電話、タブレット端末等であってもよい。管理装置３は、例えば、施設内の監視室等に設置され、その監視室に常駐するオペレータによって操作される。管理装置３は、施設外に設置されてもよい。

監視表示装置２は、立哨する警備員を模したキャラクタ（以下、「警備員キャラクタ」と称する。）を表示する。監視表示装置２は、施設の利用者等の監視空間内の人物を検知する。監視表示装置２は、検知した人物の動作及び発話を認識し、警備員キャラクタに検知した人物と対話させることによって応対（以下、「第１応対」と称する。）を行う。また、監視表示装置２は、管理装置３との間のビデオ通話機能を備え、管理装置３に切替要求を送信することで管理装置３を操作するオペレータによる、検知した人物に対する応対（以下、「第２応対」と称する。）を可能とする。

図２は、監視表示装置２の概略構成の一例を示す図である。監視表示装置２は、第１表示部２１と、第１撮像部２２と、センサ２３と、第１音声入出力部２４と、第１通信部２５と、第１記憶部２６と、第１制御部２７とを備える。

第１表示部２１は、ミラー型ディスプレイであり、第１制御部２７から供給されたデータに応じた画像、テキスト等の各情報を表示する。特に、第１表示部２１は、第１制御部２７からの指示に従って、警備員キャラクタを表示する。なお、第１表示部２１は、液晶ディスプレイ又は有機ＥＬディスプレイ等の非ミラー型ディスプレイでもよい。

第１撮像部２２は、結像光学系、撮像素子及び画像処理部等を備える。結像光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、撮像面上に結像した被写体像の画像信号を出力する。画像処理部は、撮像素子によって生成された画像信号から所定のファイル形式の画像データを生成して第１制御部２７に供給する。

センサ２３は、監視表示装置２の周囲の対象物までの距離を測定するデバイスであり、例えばＴＯＦ（Time of Flight）方式のレーザ測距センサである。センサ２３は、所定の走査範囲内の各方向にパルス変調されたレーザ光を照射し、その反射光を検出するまでの時間に基づいて各方向の反射点までの距離を算出する。続いて、センサ２３はレーザ光を照射した方向と各方向における反射点までの距離とを対応付けて測距データとして第１制御部２７に供給する。

第１音声入出力部２４は、例えば、マイク及びスピーカである。第１音声入出力部２４は、監視表示装置２の周囲の音声を電気信号に変換して第１制御部２７に供給するとともに、第１制御部２７から供給された電気信号を音声に変換して出力する。

第１通信部２５は、ネットワーク４を介して監視表示装置２を管理装置３と通信可能にする通信インタフェース回路を備える。第１通信部２５が備える通信インタフェース回路は、ＬＴＥ（Long Term Evolution）又は無線ＬＡＮ若しくは有線ＬＡＮの通信インタフェース回路等である。第１通信部２５は、第１制御部２７から供給されたデータを管理装置３に送信するとともに、管理装置３から送信されたデータを受信し、第１制御部２７に供給する。

第１記憶部２６は、プログラムまたはデータを記憶するためのデバイスであり、例えば、半導体メモリ装置を備える。第１記憶部２６は、第１制御部２７による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。プログラムは、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記憶媒体から、公知のセットアッププログラム等を用いて第１記憶部２６にインストールされる。

また、第１記憶部２６は、データとして対話目的テーブル２６１及び切替条件テーブル２６２を記憶する。

第１制御部２７は、一又は複数個のプロセッサ及びその周辺回路を備える。第１制御部２７は、例えばＣＰＵ（Central Processing Unit）であり、監視表示装置２の動作を統括的に制御する。なお、第１制御部２７は、ＤＳＰ（Digital Signal Processor）、ＬＳＩ（Large-Scaled IC）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等でもよい。第１制御部２７は、第１記憶部２６に記憶されているプログラム又は第１音声入出力部２４からの音声入力に基づいて監視表示装置２の各種処理が適切な手順で実行されるように、第１表示部２１や第１通信部２５の動作を制御する。第１制御部２７は、第１記憶部２６に記憶されているプログラムに基づいて処理を実行する。また、第１制御部２７は、複数のプログラムを並列に実行することができる。

第１制御部２７は、第１表示制御部２７１、検知部２７２、第１応対部２７３、特定部２７４、判定部２７５及び送信部２７６をその機能ブロックとして備える。第１表示制御部２７１は、認識した監視空間の状況等に応じて表示する警備員キャラクタの動作を表示制御する。また、第１応対部２７３は、監視表示装置１０の近傍（例えば、１ｍ以内）で立ち止まった人物を検知したり、人物からの発話を検知したりすると当該人物と対話するように音声出力を制御する。第１表示制御部２７１、検知部２７２、第１応対部２７３、特定部２７４、判定部２７５及び送信部２７６は、第１制御部２７が実行するプログラムによって実現される機能モジュールである。また、これらの各部は、ファームウェアとして監視表示装置２に実装されてもよい。

図３は、監視表示装置２の外観を説明するための模式図である。図３に示すように、監視表示装置２の第１表示部２１は、台座２８により支持されている。監視表示装置２は、第１表示部２１が監視空間Ａに向くように配置される。

第１表示部２１は、例えば、モニターの表示面にミラーパネル２１１を貼り合わせることにより形成されている。ミラーパネル２１１は、外側（監視空間側）からの光を反射しつつ、内側（モニター側）からの光（画像）を透過する。これにより、第１表示部２１は、監視空間Ａを往来する人物Ｈ１、Ｈ２の像を反射させて表示しつつ、第１制御部２７から出力された警備員キャラクタＣの画像を表示する。

ミラーパネル２１１の外枠２１２には、センサ２３が監視空間Ａに向けて近赤外線のパルスレーザを照射可能に配置される。同様に、外枠２１２には、第１撮像部２２が監視空間Ａを撮像可能に配置され、第１音声入出力部２４が、監視空間Ａの音を集音可能且つ監視空間Ａに向けて音を出力可能に配置される。なお、センサ２３、第１撮像部２２、第１音声入出力部２４の配置は外枠２１２に限られるものではなく、ミラーパネル２１１越しに配置されてもよい。

図４は、管理装置３の概略構成の一例を示す図である。管理装置３は、第２通信部３１と、第２表示部３２と、操作部３３と、第２音声入出力部３４と、第２撮像部３５と、第２記憶部３６と、第２制御部３７とを備える。

第２通信部３１、第２音声入出力部３４、第２撮像部３５及び第２記憶部３６の構成は、それぞれ第１通信部２５、第１音声入出力部２４、第１撮像部２２及び第１記憶部２６と同様である。

第２表示部３２は、オペレータに対して画像等を表示するデバイスであり、例えば、液晶ディスプレイや有機ＥＬディスプレイである。第２表示部３２は、第２制御部３７から供給されるデータに応じた画像等を表示する。

操作部３３は、オペレータによる管理装置３の操作を受付けるためのデバイスであり、例えば、キーボード及びマウス等である。操作部３３は、ユーザによる文字、数字、記号等の入力操作及び選択操作等を受付ける。操作部３３は、ユーザによる操作を受付けた場合、その操作に対応する信号を生成し、第２制御部３７に供給する。

第２制御部３７は、一又は複数個のプロセッサ及びその周辺回路を備える。第２制御部３７は、例えばＣＰＵであり、管理装置３の動作を統括的に制御する。なお、第２制御部３７は、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等でもよい。第２制御部３７は、管理装置３に記憶されているプログラムに基づいて管理装置３の各種処理が適切な手順で実行されるように、第２通信部３１や第２表示部３２の動作を制御する。第２制御部３７は、管理装置３に記憶されているプログラムに基づいて処理を実行する。また、第２制御部３７は、複数のプログラムを並列に実行することができる。

第２制御部３７は、第２表示制御部３７１及び第２応対部３７２をその機能ブロックとして備える。これらの各部は、第２制御部３７によって実行されるプログラムによって実現される機能モジュールである。また、これらの各部は、ファームウェアとして管理装置３に実装されてもよい。

図５は、監視表示装置２の第１記憶部２６に記憶される対話目的テーブル２６１のデータ構造の一例を示す図である。対話目的テーブル２６１は、複数の対話条件と、対話目的と、発話内容とを互いに関連付けて記憶している。

対話条件は、監視表示装置２が第１応対において対話を行うための条件であり、監視表示装置２によって検知された人物の動作又は発話に関する条件である。対話目的は、関連付けられた対話条件が満たされた場合に行われる対話の目的である。対話目的には、「あいさつ」、「案内」及び「安否問いかけ」等が含まれる。発話内容は、関連付けられた対話条件が満たされた場合に警備員キャラクタによって発話される（すなわち、音声として出力される）内容であり、関連付けられた対話目的に沿った内容が記憶されている。

図５に示す例では、「人物が接近して５秒以上経過」という対話条件に「あいさつ」という対話目的及び「こんにちは。」という発話内容が関連付けられている。すなわち、監視表示装置２が「人物が接近して５秒以上経過」という対話条件が満たされたと判定した場合、第１応対において「あいさつ」を対話目的とする対話を開始する。そして、監視表示装置２は、警備員キャラクタに「こんにちは。」と発話させる。なお、検知部２７２は、監視空間内の人物位置が、予め設定された特定エリアの位置から所定距離内である場合、その人物が特定エリアへ接近していると判定する。

また、同様に、監視表示装置２が「人物からの場所の問いかけ」という対話条件が満たされたと判定した場合、第１応対において「案内」を対話目的とする対話を開始する。そして、監視表示装置２は、人物から問いかけがあった場所への経路を第１記憶部２６から取得し、警備員キャラクタに「○○へは、右手の通路をお進みください。」というように、取得した経路を案内するように発話させる。

対話目的テーブル２６１の各種データは、警備サービスの提供者によってあらかじめ適切に設定され、第１記憶部２６に記憶される。

図６は、第１記憶部２６に記憶される切替条件テーブル２６２のデータ構造の一例である。切替条件テーブル２６２は、切替条件と、対話継続情報と、対話目的と、緊急度とを互いに関連付けて記憶している。

切替条件は、監視表示装置２が、第１応対から第２応対への切替要求を管理装置に送信するための条件であり、監視表示装置２が検知した人物の動作及び発話又は検知した人物との第１応対における対話に関する条件である。対話継続情報は、第１応対において対話が継続しているか否かを示す情報であり、「対話中」は対話が継続していることを示し、「立哨中」は対話が継続していないことを示す。緊急度は、関連付けられた切替条件が満たされた時の対話目的及び対話継続情報に応じた、切替要求の緊急度である。

図６に示す例では、「人物の動作及び発話が１０秒以上検知されない」という切替条件に、「対話中」という対話継続情報、「あいさつ」という対話目的及び「低」の緊急度が関連付けられている。すなわち、監視表示装置２が「人物の動作及び発話が１０秒以上検知されない」という切替条件が満たされたと判定した時に対話が継続しており、且つ、その対話の対話目的が「あいさつ」であれば、緊急度が「低」である切替要求が送信される。

また、監視表示装置２は、対話継続情報に応じて、切替条件が満たされると判定された場合でも切替要求を送信しなくてもよい。例えば、監視表示装置２が検知した人物の発話の認識に失敗したとしても、監視表示装置２がその人物との対話をしていない場合には、第２応対に切り替える必要性は小さい。そこで、図６に示す例では、「人物の発話が認識できず、又は発話に対して対応できない」という切替条件には、「立哨中」の対話継続情報が関連付けられていない。すなわち、「人物の発話が認識できない又は発話に対して対応できない」という切替条件が人物との対話をしていないときに満たされたとしても、監視表示装置２は切替要求を送信しなくてもよい。このようにすることで、監視空間内の人物の状況に応じてより適切にオペレータによる応対が可能となる。

切替条件テーブル２６２の各種データは、警備サービスの提供者によってあらかじめ適切に設定され、第１記憶部２６に記憶される。

なお、図６の例に限られず、例えば、切替条件を満たした場合は、切替条件の内容や対話目的によらず「対話中」の対話継続情報であれば「高」の緊急度として、「立哨中」の対話継続状態であれば「低」の緊急度としてもよい。また、切替条件の内容や対話目的によらず「あいさつ」の対話目的であれば「低」の緊急度として、「案内」の対話目的であれば「中」の緊急度として、「安否問いかけ」の対話目的であれば「高」の緊急度としてもよい。また、切替条件の内容と対話継続情報とを考慮した緊急度を関連付けてもよい。この場合、例えば、「人物の発話が認識できない又は発話に対して対応できない」における「対話中」には、「中」の緊急度を関連付け、「人物が同一の発話を３回以上繰り返す」における「対話中」には、「中」の緊急度が関連付けられる。また、切替条件の内容と対話目的とを考慮した緊急度を関連付けてもよい。例えば、「人物の感情が「怒り」である」切替条件を満たしたときの対話目的として「あいさつ」の場合は「低」の緊急度を関連付け、「案内」の場合は「高」の緊急度を対応付け、「安否問いかけ」の場合は「中」の緊急度を関連付ける。

図７は、警備システム１による監視処理の流れの一例を示すシーケンス図であり、図８は、警備システム１による応対処理の流れの一例を示すフロー図である。これらの処理は、あらかじめ第１記憶部２６及び第２記憶部３６に記憶されているプログラムに基づいて、第１制御部２７及び第２制御部３７が監視表示装置２及び管理装置３の各構成要素と協働することにより実現される。なお、これらの処理は、定期的に、互いに非同期に並行して実行される。

また、これらの処理が実行されている間、監視表示装置２の第１表示制御部２７１は、継続して第１表示部２１に警備員キャラクタを表示する。この場合、第１表示制御部２７１は、警備員キャラクタが所定の監視動作をするように警備員キャラクタの表示を制御してもよい。所定の監視動作は、例えば、周囲を監視するように視線又は顔若しくは体の向きを左右に動かす動作、監視空間内に人物が検知された場合にその人物を所定時間だけ追跡するように視線を動かす動作等である。このようにすることで、第１表示制御部２７１は、警備員キャラクタの自然な動きにより利用者に安心感を与え、利用者が警備員キャラクタによる応対を受けようという意欲を促進させる。

まず、図７を参照して監視処理について説明する。まず、監視表示装置２の送信部２７６は、第１撮像部２２に監視空間を撮像させて、撮像画像を取得する（Ｓ１０１）。続いて、特定部２７４は、警備員キャラクタと監視空間内に検知された人物との対話状況を特定し、第１記憶部２６に記憶する（Ｓ１０２）。なお、対話状況には最新の対話継続情報と対話目的とが含まれる。特定部２７４による対話状況の特定方法は応対処理の説明において詳述する。続いて、送信部２７６は、撮像画像と対話状況とを対応付けて管理装置３に送信する（Ｓ１０３）。

続いて、管理装置３の第２表示制御部３７１は、各監視表示装置２から受信した撮像画像と対話状況とをそれぞれ対応付けて表示する（Ｓ１０４）。例えば、第２表示制御部３７１は、受信した撮像画像と対話状況とを含む監視画面９００を第２表示部３２に表示する。

図９は、第２表示部３２に表示される監視画面９００の一例を示す図である。監視画面９００は、監視表示装置２ａ－２ｄのそれぞれから送信された撮像画像９１０－９４０を含む。撮像画像９１０には、対応する監視表示装置２ａの名称９１１と、対話継続情報９１２とが重畳して表示される。また、対話が継続している場合、撮像画像９１０には、監視表示装置２ａの対話目的９１３が重畳して表示されてもよい。撮像画像９２０－９４０についても同様である。なお、監視表示装置２の名称の表示に代えて、設置場所を示す情報（例えば、エントランス等）を表示してもよい。なお、対話継続情報９１２と対話目的９１３のいずれか一方が表示されてもよい。

続いて、図８を参照して応対処理について説明する。まず、警備員キャラクタの視線を所定範囲内で動かすように表示制御することで立哨警備を行う。この制御と並行して、監視表示装置２の検知部２７２は、監視空間を含む監視装置周辺の人物を検知する（Ｓ２０１）。例えば、検知部２７２は、撮像画像から監視空間内の人物を検知する。この場合、検知部２７２は、順次撮像された複数の撮像画像にフレーム差分技術又は背景差分技術を適用し、撮像画像から背景を除いた変化領域を抽出する。検知部２７２は、抽出した変化領域の大きさ及び形状等とあらかじめ記憶されたパターンとのマッチング処理を行うことで、人物領域を抽出する。続いて、検知部２７２は、あらかじめ第１記憶部２６に記憶されたマップ情報を参照し、抽出した人物領域の足元に相当する位置に基づいて人物位置を特定する。

なお、検知部２７２は、センサ２３が取得した測距データから人物を検知してもよい。この場合、検知部２７２は、取得された測距データにおいて、監視空間に人物がいない時に測定された測距データに対して距離が変化した方向を示す変化領域を抽出する。続いて、検知部２７２は、抽出した変化領域の大きさ及び形状等とあらかじめ記憶されたパターンとのマッチング処理を行うことで、人物領域を抽出する。続いて、検知部２７２は、抽出した人物領域の位置に基づいて人物位置を特定する。

続いて、検知部２７２は、Ｓ２０１の検知処理において、監視空間内に人物が検知されたか否かを判定する（Ｓ２０２）。人物が検知されたと判定された場合、応対処理はＳ２０３へ進む。人物が検知されない場合、応対処理はＳ２０１に戻る。なお、検知部２７２は、監視空間内に人物が所定時間（例えば、５秒）以上継続して検知された場合に人物が検知されたと判定してもよい。

続いて、第１応対部２７３は、警備員キャラクタを検知された人物と対話させることにより第１応対を行う（Ｓ２０３）。なお、第１応対部２７３は、第１応対において、警備員キャラクタが所定の応対動作をするように警備員キャラクタの表示を制御する。所定の応対動作は、例えば、体の向きを検知された人物の方向に変える動作、視線を検知された人物の顔に向ける動作、検知された人物に対して会釈する動作である。所定の応対動作は、検知された人物が子どもである場合にしゃがんで目線の高さを合わせる等の、検知された人物の属性に応じて異なる動作を含んでもよい。このようにすることで、第１表示制御部２７１は、警備員キャラクタの自然な動きにより、応対を受ける利用者に安心感を与えることができる。

まず、第１応対部２７３は、検知された人物の動作及び発話を特定する。例えば、第１応対部２７３は、撮像画像から抽出された人物領域から肩や肘等の関節点を抽出し、関節点の位置関係を特定する。そして、第１応対部２７３は、特定された位置関係と姿勢ごとに予め設定されたパターンとのマッチング処理を行うことで人物の姿勢を推定する。そして、第１応対部２７３は、推定された姿勢の時間変化に基づいて人物の動作を特定する。例えば、人物の姿勢として「立っている」、「しゃがんでいる」及び「倒れている」という姿勢がこの順に推定された場合、その人物は「立っている」姿勢から「倒れる」という動作をしたと考えられる。したがって、この場合、第１応対部２７３は人物の動作として「倒れる」という動作を特定する。また、人物の動作として、人物位置の時間的な変化から人物が移動しているかを判定してもよい。また、第１応対部２７３は、第１音声入出力部２４から取得した音声データに公知の音声認識技術及び自然言語処理技術を適用することにより、人物の発話に含まれる内容を特定する。続いて、第１応対部２７３は、対話目的テーブル２６１を参照し、特定した人物の動作及び発話が何れかの対話条件を満たすか否かを判定する。何れかの対話条件が満たされると判定された場合、第１応対部２７３は、その対話条件に対応する対話目的を特定する。なお、何れの対話条件も満たされない場合は対話を行わず、立哨警備を継続する。

続いて、第１応対部２７３は、対話目的テーブル２６１を参照し、特定された対話目的に関連付けられた発話内容を取得する。続いて、第１応対部２７３は、第１音声入出力部２４を介して、取得した発話内容を音声として出力させる。

続いて、特定部２７４は、警備員キャラクタと検知された人物との対話状況を特定する（Ｓ２０４）。特定部２７４は、対話状況として、Ｓ２０３において第１応対部２７３が特定した対話目的を特定する。また、特定部２７４は、対話状況として警備員キャラクタと検知された人物との間の対話が継続しているか否かを判定する。例えば、「人物が接近して５秒以上経過」という対話条件が満たされ、警備員キャラクタが発話した時には、警備員キャラクタからの一方的な発話があったにすぎず、対話は開始していない。したがって、この場合、特定部２７４は対話が継続していないと判定し、現在の対話継続情報として「立哨中」を第１記憶部２６に記憶する。一方、「人物からの場所の問いかけ」という対話条件が満たされ、警備員キャラクタが発話した時には、人物からの問いかけに対して警備員キャラクタが応答するという対話が開始している。したがって、この場合、特定部２７４は対話が継続していると判定し、現在の対話継続情報として「対話中」を第１記憶部２６に記憶する。特定部２７４は、第１記憶部２６に記憶した現在の対話継続情報を対話状況として特定する。特定部２７４は、特定した対話状況を第１記憶部２６に記憶する。

続いて、監視表示装置の判定部２７５は、切替条件が満たされるか否かを判定する（Ｓ２０５）。判定部２７５は、切替条件テーブル２６２を参照して、複数の切替条件のうちの何れかが満たされるか否かを判定する。

まず、判定部２７５は、第１応対部２７３と同様にして人物の動作及び発話を特定する。そして、判定部２７５は、人物が１０秒以上動作をせず、且つ１０秒以上発話をしていない場合、「人物の動作及び発話が１０秒以上検知されない」という切替条件が満たされると判定する。また、判定部２７５は、取得した人物の発話に「苦しい」等の特定の単語が含まれる場合、「人物の発話が特定の単語を含む」という切替条件が満たされると判定する。また、判定部２７５は、人物の発話に係る音声入力の音圧が所定値以上である場合に「人物の感情が「怒り」である」という切替条件が満たされると判定する。また、判定部２７５は、取得した人物の発話が連続して同一の内容を含む場合、「人物が同一の発話を３回以上繰り返す」という切替条件が満たされると判定する。また、判定部２７５は、警備員キャラクタの発話が連続して同一の内容を含む場合、「警備員キャラクタが同一の発話を３回以上繰り返す」という切替条件が満たされると判定する。

なお、判定部２７５は、人物の表情に基づいて人物の感情に関する切替条件が満たされるか否かを判定してもよい。この場合、判定部２７５は、撮像画像から抽出された人物領域の上部に位置する顔領域から、目、耳、鼻等の各部分の位置又は大きさといった特徴量を抽出し、表情ごとに予め設定された特徴量のパターンとのマッチング処理を行うことにより人物の表情を推定する。続いて、表情に基づいて人物の感情を特定し、特定した感情に関する切替条件が満たされるか否かを判定する。

切替条件のうちの何れかが満たされると判定された場合（Ｓ２０５－Ｙ）、送信部２７６は、第１応対からオペレータとの通話による第２応対への切替要求を管理装置３に送信する（Ｓ２０６）。送信部２７６は、切替条件テーブル２６２を参照し、満たされると判定された切替条件、切替条件が満たされた時の対話状況に基づいて切替要求の緊急度を決定する。続いて、送信部２７６は、決定した緊急度がパラメータとして設定された切替要求を管理装置３に送信する。

切替条件が満たされないと判定された場合（Ｓ２０５－Ｎ）、応対処理はＳ２１０へ進む。

管理装置３の第２表示制御部３７１は、切替要求を送信した監視表示装置２から受信した撮像画像を、その切替要求の緊急度に応じて異なる態様で表示する（Ｓ２０７）。第２表示制御部３７１は、切替要求を受信し、受信した切替要求を送信した監視表示装置２を特定するとともに、その切替要求に設定された緊急度を取得する。第２表示制御部３７１は、特定された監視表示装置２から送信された撮像画像を取得した緊急度に応じた態様で表示する。

図１０は、Ｓ２０７において第２表示部３２に表示される監視画面１０００の一例を示す図である。図１０に示す監視画面１０００は、監視表示装置２ｄから切替要求が送信された場合に、監視画面９００に代わって表示される画面である。なお、図９と同一の構成については説明を省略する。監視画面１０００は、強調表示オブジェクト１００１と、第２応対開始画面１０１０と、対話履歴１０２０とを含む。

強調表示オブジェクト１００１は、切替要求を送信した監視表示装置２ｄの撮像画像を他の監視表示装置２ａ－２ｃの撮像画像とは異なる態様で表示させるためのオブジェクトである。また、強調表示オブジェクト１００１は、切替要求に設定された緊急度に応じて表示態様が変更される。第２応対開始画面１０１０は、オペレータに第２応対を開始させるための画面であり、緊急度情報１０１１と「応対する」ボタン１０１２と「応対しない」ボタン１０１３とを含む。

なお、撮像画像は強調表示オブジェクト１００１とは異なる方法により表示態様が変更されてもよい。例えば、切替要求を送信した監視表示装置２ｄの撮像画像が拡大表示されてもよい。また、切替要求を送信した監視表示装置２ｄの撮像画像が監視画面１０００の中央に表示されてもよい。さらに、切替要求の緊急度に応じて表示態様が変更されてもよい。例えば、緊急度が高いほど、切替要求を送信した監視表示装置２ｄの撮像画像をより拡大表示する。

図８に戻り、第２応対部３７２は、第２応対が開始される条件が満たされるか否かを判定する（Ｓ２０８）。第２応対部３７２が「応対する」ボタン１０１２を選択するオペレータの操作を受付けた場合、第２応対部３７２は、第２応対が開始される条件が満たされると判定する。また、第２応対部３７２が「応対しない」ボタン１０１３を選択するオペレータの操作を受付けた場合、第２応対部３７２は、第２応対が開始される条件が満たされないと判定する。第２応対が開始される条件が満たされないと判定された場合（Ｓ２０８－Ｎ）、応対処理はＳ２１０へ進む。

なお、第２応対部３７２は、受信した切替要求の緊急度に応じた第２応対への切替処理を行ってもよい。例えば、第２応対部３７２は、受信した切替要求の緊急度が所定値以上である場合、自動的に第２応対が開始される条件が満たされると判定する。例えば、第２応対部３７２は、緊急度が「高」である場合、自動的に第２応対を開始し、緊急度が「中」又は「低」である場合、「応対する」ボタン１０１２を選択するオペレータの操作を受付けたときに第２応対を開始する。このようにすることで、緊急時にオペレータが迅速に対応することが可能となる。

第２応対が開始される条件が満たされると判定された場合（Ｓ２０８－Ｙ）、第２応対部３７２は、第２応対を開始する（Ｓ２０９）。第２応対部３７２は、第２音声入出力部３４及び第２撮像部から取得したオペレータの音声及び画像を第２通信部３１を介して監視表示装置２に送信することにより、オペレータと監視表示装置２に検知された人物との通話による第２応対を行う。第２応対において、第２応対部３７２は、オペレータの音声を監視表示装置２の第１音声入出力部２４から出力させるとともに、オペレータの画像を第１表示部２１に表示させる。

図１１は、第２応対が開始された後の第１表示部２１に表示される応対画面１１００の一例を示す図である。応対画面１１００には、ミラーパネル２１１に反射した監視空間Ａに加え、オペレータの画像を表示するオペレータ画面１１１０が含まれる。

図８に戻り、監視表示装置２の第１応対部２７３は、対話終了条件が満たされるか否かを判定する（Ｓ２１０）。対話終了条件は、例えば、監視空間内に人物が検知されなくなったこと、対話終了時に発する可能性の高い単語（例えば、「ありがとう。」「さようなら。」等）を含む音声が検知されたこと等である。なお、第２応対が行われた場合、第１応対部２７３は自動的に対話終了条件が満たされると判定してもよい。

対話終了条件が満たされると判定された場合（Ｓ２１０－Ｙ）、第１応対部２７３は、対話継続情報を「立哨中」に更新するとともに対話を終了し、一連の処理を終了する。対話終了条件が満たされないと判定された場合（Ｓ２１０－Ｎ）、応対処理はＳ２０３に戻る。

以上説明したように、本発明に係る警備システム１において、送信部２７６は、第１応対における対話状況に応じて、警備員キャラクタによる第１応対からオペレータによる第２応対への切替要求の緊急度を異ならせる。このようにすることで、警備システム１は、監視空間内の人物の状況に応じて適切にオペレータによる応対がなされることを可能とする。

また、本発明に係る警備システムにおいて、送信部２７６は、対話継続情報又は対話目的に基づいて緊急度を異ならせる。このようにすることで、警備システム１は、監視空間内の人物の状況に応じてより適切にオペレータによる応対がなされるようにする。

また、本発明に係る警備システム１において、図９では撮像画像とともに対話状況を表示する例について説明したが、管理装置３は、通常は各監視表示装置２から受信した撮像画像のみを表示してもよい。この場合、各監視表示装置２から受信した対話状況を第２記憶部３６に記憶しておき、切替要求を受信した場合に切替要求を送信した監視表示装置に対応する対話状況を第２記憶部３６から読み出して撮像画像とともに表示するようにしてもよい。これにより、オペレータが適切なタイミングで監視空間の状況を確認できる。なお、送信部２７６は、通常は撮像画像のみを送信し、切替要求を送信するときに対話状況を併せて送信するようにしてもよい。

また、本発明に係る警備システム１において、警備員キャラクタと監視空間内に検知された人物とがそれぞれ発話した対話内容を対話履歴として時系列に記憶してもよい。この場合、送信部２７６は、撮像画像に対話履歴を対応付けて管理装置３に送信し、第２表示制御部３７１は、監視表示装置２から対話履歴を受信した場合、その監視表示装置２から受信した撮像画像に対話履歴を対応付けて表示する。このようにすることで、警備システム１は、オペレータによる応対が開始される時にオペレータが過去の対話の状況を把握することを可能とし、円滑な応対が可能となる。なお、対話履歴は常時表示してもよいし、オペレータによる操作により表示するようにしてもよい。また、切替要求を受信した場合に切替要求を送信した監視表示装置に対応する対話履歴を表示するようにしてもよい。これにより、オペレータが適切なタイミングで監視空間の状況を確認できる。なお、送信部２７６は、通常は撮影画像のみを送信し、切替要求を送信するときに対話履歴を併せて送信するようにしてもよい。

また、本発明に係る警備システム１において、オペレータの画像を第１表示部２１に表示させずに警備員キャラクタの画像を表示したまま、オペレータの音声をキャラクタの音声に変換し、監視表示装置２の第１音声入出力部２４から出力してもよい。この場合、音声は、第１制御部２７又は第２制御部３７により変換される。これにより、オペレータによる対応を行っている場合でも目の前のキャラクタが応対している印象を抱かせることができる。また、オペレータによる選択操作や切替条件、緊急度に応じて、第２応対をオペレータの画像を表示して行うかキャラクタの表示のまま行うかを決定してもよい。例えば、「人物の感情等が「怒り」である」や「高」の緊急度の場合はオペレータの画像を表示し、「人物の動作及び発話が１０秒以上検知されない」場合や「低」の緊急度の場合はオペレータの画像を表示させずキャラクタの表示のまま第２応対を行う。これにより、対応するオペレータの画像を表示させた方が好ましい場合やキャラクタが応対している印象を抱かせた方が好ましい場合等に応じて適切な対応ができる。

また、本発明に係る警備システム１において、第２表示制御部３７１は、監視表示装置２から受信した対話状況に応じて、監視表示装置２から受信した画像の表示態様を異ならせるようにしてもよい。例えば、「対話中」の監視表示装置の画像を拡大表示したり、監視画面１０００中央に表示したりすることで、オペレータが監視表示装置２による応対の状況を容易に視認することができるようになる。

当業者は、本発明の精神および範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。例えば、上述した各部の処理は、本発明の範囲において、適宜に異なる順序で実行されてもよい。また、上述した実施形態及び変形例は、本発明の範囲において、適宜に組み合わせて実施されてもよい。

１ 警備システム
２ 監視表示装置
２７１ 第１表示制御部
２７２ 検知部
２７３ 第１応対部
２７４ 特定部
２７５ 判定部
２７６ 送信部
３ 管理装置
３７１ 第２表示制御部
３７２ 第２応対部

Claims (6)

1. 監視表示装置と、前記監視表示装置と通信可能に接続される管理装置と、を有する警備システムであって、
   前記監視表示装置は、
   立哨警備するキャラクタの画像を表示する表示部と、
   前記キャラクタの音声の出力及び周囲の音声の入力をする音声入出力部と、
   監視空間内の人物を検知する検知部と、
   前記音声入出力部を介して、前記キャラクタに前記検知された人物と対話させることによって第１応対を行う第１応対部と、
   前記対話の対話状況を特定する特定部と、
   前記検知された人物の動作及び発話又は前記対話に関する所定の切替条件が満たされるか否かを判定する判定部と、
   前記切替条件が満たされると判定された場合、前記第１応対から前記管理装置を介したオペレータとの通話による第２応対への切替要求を前記管理装置に送信する送信部と、を備え、
   前記送信部は、前記切替条件が満たされた時の前記対話状況に応じて前記切替要求の緊急度を異ならせ、
   前記管理装置は、
   前記監視表示装置を介して前記検知された人物との前記通話を可能とする通話部と、
   受信した前記切替要求の緊急度に応じた前記第２応対への切替処理を行う第２応対部と、を備える
   ことを特徴とする警備システム。
2. 前記第２応対部は、受信した前記切替要求の緊急度が所定値以上である場合、自動的に前記第２応対を開始し、前記緊急度が前記所定値未満である場合、前記オペレータによる所定の操作を受付けたことに応じて前記第２応対を開始する、
   請求項１に記載の警備システム。
3. 前記特定部は、前記対話状況として前記対話が継続しているか否かを特定する、
   請求項１又は２に記載の警備システム。
4. 前記特定部は、前記対話状況として前記対話の目的を特定する、
   請求項１－３の何れか一項に記載の警備システム。
5. 前記切替条件は、前記第１応対において、前記検知された人物の動作及び発話が所定期間以上検知されないこと、前記検知された人物による発話が所定の単語を含むこと、前記検知された人物の感情が所定の条件を満たすこと、前記検知された人物または前記監視表示装置が同一の内容を含む発話を所定回数以上繰り返すこと、及び、前記監視表示装置が前記検知された人物の発話を認識できない又は当該発話に対して対応できないことの少なくとも一つである、
   請求項１－４の何れか一項に記載の警備システム。
6. オペレータと監視空間内の人物との通話を可能とする通話部と、前記オペレータとの通話による第２応対への切替要求の緊急度に応じた前記第２応対への切替処理を行う第２応対部と、を備える管理装置と通信可能に接続される監視表示装置であって、
   立哨警備するキャラクタの画像を表示する表示部と、
   前記キャラクタの音声の出力及び周囲の音声の入力をする音声入出力部と、
   前記監視空間内の人物を検知する検知部と、
   前記音声入出力部を介して、前記キャラクタに前記検知された人物と対話させることによって第１応対を行う第１応対部と、
   前記対話の対話状況を特定する特定部と、
   前記検知された人物の動作及び発話又は前記対話に関する所定の切替条件が満たされるか否かを判定する判定部と、
   前記切替条件が満たされると判定された場合、前記第１応対から前記管理装置を介した前記第２応対への切替要求を前記管理装置に送信する送信部と、を備え、
   前記送信部は、前記切替条件が満たされた時の前記対話状況に応じて前記切替要求の緊急度を異ならせる、
   ことを特徴とする監視表示装置。

Images