JP7312598B2 - 監視表示装置 - Google Patents

Description

本発明は、監視空間を監視する監視表示装置に関する。

近年、空港、駅、商業施設（デパート、スーパーマーケット等）、興行場、企業の事務所等の施設において犯罪を未然に防止するために警備員による警備の重要性が高まっているが、警備員の人手不足が深刻化している。警備員の人手不足を解消するために、警備員を模したキャラクタの画像を表示しつつ、各施設の監視空間を監視する監視表示装置が開発されている。

例えば、特許文献１には、人の上半身の形状に合わせたスクリーンを設置し、スクリーンの形状に合わせて警備員の映像を投影させる映像出力装置搭載機器が開示されている。この映像出力装置搭載機器は、所定の範囲内に人がいるか否かを検出する人感センサによって人が検出された際に、警備員の映像をスクリーンに投影させる。

特開２０１１－１５０２２１号公報

警備員を模したキャラクタの画像を表示しつつ監視空間を監視する監視表示装置では、監視空間内に存在する人物に対して、より適切な対応を行うことが求められている。

本発明の目的は、警備員を模したキャラクタの画像を表示しつつ監視空間を監視する際に、監視空間内に存在する人物に対して、より適切な対応を行うことができる監視表示装置を提供することにある。

かかる課題を解決するため本発明は、立哨する警備員を模したキャラクタの画像を表示する表示部と、監視空間内の人物を検知する人物検知部と、人物検知部により検知された人物の監視表示装置への接近状態を検知する接近状態検知部と、表示するキャラクタの動作を表示制御し、接近状態検知部により検知された接近状態に応じて、表示されたキャラクタの立哨に係る態様を変更する表示制御部と、を有する監視表示装置を提供する。

この監視表示装置において、接近状態検知部は、接近状態として、人物検知部により検知された人物の監視表示装置への接近速度を検知することが好適である。

この監視表示装置において、表示制御部は、キャラクタの立哨に係る態様として、キャラクタの表情を変更することが好適である。

この監視表示装置において、表示制御部は、キャラクタの立哨に係る態様として、キャラクタの視線の向け方を変更することが好適である。

この監視表示装置において、キャラクタの音声を出力する音声出力部と、前記表示されたキャラクタが発する音声を出力制御し、接近状態に応じて、キャラクタが発する声質を変更する音声制御部と、をさらに有することが好適である。

本発明に係る監視表示装置は、警備員を模したキャラクタの画像を表示しつつ監視空間を監視する際に、監視空間内に存在する人物に対して、より適切な対応を行うことが可能となる。

監視システム１の全体システム構成を示す図である。 監視表示装置１０の外観を示す模式図である。 表示処理の動作の例を示すフローチャートである。 （ａ）、（ｂ）は、キャラクタの表情の一例を示す模式図である。 （ａ）、（ｂ）は、キャラクタの視線の一例を示す模式図である。

以下、実施形態に係る監視システムについて図を参照しつつ説明する。

図１は、実施形態に係る監視システム１の全体システム構成を示す図である。図１に示すように、監視システム１は、複数の監視表示装置１０及び管理装置２０等を有する。各監視表示装置１０は、空港、駅、商業施設（デパート、スーパーマーケット等）、興行場、企業の事務所等の監視対象施設において、それぞれ異なる監視空間に設置され、各監視空間を監視及び警備する端末である。管理装置２０は、警備会社が運営する警備センタ又は監視対象施設内の防災センタの監視卓等に設置され、各監視表示装置１０による監視結果（撮影映像等）を収集し、管理する装置である。各監視表示装置１０及び管理装置２０は、イントラネット、インターネット又は携帯電話ネットワーク等の通信ネットワークを介して相互に接続される。
なお、監視システム１は、それぞれ異なる複数の監視対象をそれぞれ管理する複数の管理装置２０を有してもよい。その場合、監視システム１は、各監視対象から離れた位置に設置された監視センタに配置されたサーバ装置をさらに有し、サーバ装置が、各管理装置２０が管理する情報を収集し、管理してもよい。

監視表示装置１０は、ミラーサイネージ等の表示装置である。監視表示装置１０は、表示部１１、センサ１２、撮像部１３、音声入力部１４、音声出力部１５、通信部１６、記憶部１７及び制御部１８等を有する。

表示部１１は、ミラー型ディスプレイ等であり、制御部１８からの指示に従って画像、テキスト等の各情報を表示する。特に、表示部１１は、制御部１８からの指示に従って、立哨する警備員を模したキャラクタ（以降、警備員キャラクタと称する場合がある）の画像を表示する。なお、表示部１１は、液晶ディスプレイ又は有機ＥＬディスプレイ等の非ミラー型ディスプレイでもよい。表示部１１の詳細については後述する。

センサ１２は、周期的に監視空間内の人物を検知し、検知した人物の位置を求める人体検知センサである。センサ１２として、例えばレーザ測距センサが利用される。レーザ測距センサは、予め設定された走査範囲（例えば180°）にわたって水平方向に所定の角度ステップ（例えば0.25°単位）で、所定の波長（例えば約870nm）を有する近赤外線のパルスレーザを照射し、そのレーザの反射光を検出する。レーザ測距センサは、例えばTime-of-Flight法により、レーザを反射した物体までの距離を測定する。センサ１２は、一定の周期（例えば200msec）で走査範囲全体を走査し、その走査範囲内の各方位における、レーザが反射された点までの距離を測定し、測定された距離を、パルスレーザを投光した方位と対応付けた測距データを制御部１８へ出力する。なお、センサ１２は、位相差方式、三角測量方式等の他の公知の測距方法を用いて人物の位置を求めてもよい。また、センサ１２は、複数設けられてもよい。

撮像部１３は、ＣＣＤ素子またはＣ－ＭＯＳ素子など、可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。撮像部１３は、撮影したＲＧＢ各色の画像を各画素が０～２５５の範囲の輝度値を有するデジタルの入力画像に変換して制御部１８へ出力する。なお、撮像部１３は、複数設けられてもよい。
音声入力部１４は、マイクロフォンと、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。音声入力部１４は、入力された音声をデジタルの入力音声に変換して制御部１８へ出力する。
音声出力部１５は、例えばスピーカ等であり、制御部１８からの指示に従って音声を出力する。特に、音声出力部１５は、警備員キャラクタの音声を出力する。

通信部１６は、例えばＴＣＰ／ＩＰ等に準拠した通信インタフェース回路を有し、イントラネット又はインターネット等の通信ネットワークに接続する。または、通信部１６は、例えばＷ－ＣＤＭＡ方式又はＬＴＥ方式等に準拠した通信インタフェース回路を有し、基地局を介して移動体通信網等の通信ネットワークに接続する。通信部１６は、通信ネットワークから受信したデータを制御部１８へ出力し、制御部１８から入力されたデータを通信ネットワークに送信する。

記憶部１７は、ＲＯＭ、ＲＡＭ等の半導体メモリ、磁気ディスク又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスクドライブ及びその記録媒体を有する。記憶部１７は、監視表示装置１０を制御するためのコンピュータプログラム及び各種データを記憶し、制御部１８との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて記憶部１７にインストールされてもよい。
また、記憶部１７は、データとして、監視空間における監視表示装置１０の設置位置、及び、入場ゲートや立入禁止区域等の特定エリアの位置を記憶する。また、記憶部１７は、データとして、監視空間におけるセンサ１２の配置位置、及び、パルスレーザの照射方向を記憶する。また、記憶部１７は、データとして、撮像部１３により撮像される画像内の各画素と、監視空間内の各位置との対応関係を示すマップ情報を記憶する。

制御部１８は、ＣＰＵ、ＭＰＵ等のプロセッサと、ＲＯＭ、ＲＡＭ等のメモリと、その周辺回路とを有し、監視表示装置１０の各種信号処理を実行する。制御部１８は、プロセッサ上で動作するプログラムの機能モジュールとして実装される人物検知部１８１、接近状態検知部１８２及び出力制御部１８３等を有する。出力制御部１８３は、認識した監視空間の状況等に応じて表示するキャラクタの動作を表示制御する。また、出力制御部１８３は、監視表示装置１０の近傍（例えば、１ｍ以内）で立ち止まった人物を検知したり、人物からの発話を検知したりすると当該人物と対話するようにキャラクタが発する音声を出力制御する。なお、制御部１８として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。
制御部１８は、撮像部１３が監視空間を撮像した入力画像又は音声入力部１４が集音した入力音声を、通信部１６を介して管理装置２０へ送信する。また、制御部１８は、通信部１６を介して管理装置２０から受信した監視員の音声を音声出力部１５から出力する。

管理装置２０は、例えばパーソナルコンピュータ等である。管理装置２０は、第２表示部２１、第２音声入力部２２、第２音声出力部２３、第２通信部２４、第２記憶部２５及び第２制御部２６等を有する。

第２表示部２１は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、第２制御部２６からの指示に従って画像、テキスト等の各情報を表示する。
第２音声入力部２２は、音声入力部１４と同様の構成を有し、入力された音声をデジタルの音声データに変換して第２制御部２６へ出力する。
第２音声出力部２３は、音声出力部１５と同様の構成を有し、第２制御部２６からの指示に従って音声を出力する。

第２通信部２４は、例えばＴＣＰ／ＩＰ等に準拠した通信インタフェース回路を有し、イントラネット又はインターネット等の通信ネットワークに接続する。第２通信部２４は、通信ネットワークから受信したデータを第２制御部２６へ出力し、第２制御部２６から入力されたデータを通信ネットワークに送信する。

第２記憶部２５は、記憶部１７と同様の半導体メモリ、磁気ディスク又は光ディスクドライブ及びその記録媒体を有する。第２記憶部２５は、管理装置２０を制御するためのコンピュータプログラム及び各種データを記憶し、第２制御部２６との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第２記憶部２５にインストールされてもよい。

第２制御部２６は、制御部１８と同様のプロセッサ、メモリ及び周辺回路を有し、管理装置２０の各種信号処理を実行する。なお、第２制御部２６として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。
第２制御部２６は、第２通信部２４を介して監視表示装置１０から受信した入力画像を第２表示部２１に表示するとともに、第２通信部２４を介して監視表示装置１０から受信した入力音声を第２音声出力部２３から出力する。また、第２制御部２６は、第２音声入力部２２から入力された監視員による音声を、第２通信部２４を介して監視表示装置１０に送信する。

図２は、監視表示装置１０の外観を示す模式図である。図２に示すように、監視表示装置１０の表示部１１は、台座１９により支持されている。監視表示装置１０は、表示部１１が監視空間Ａに向くように配置される。
表示部１１は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等のモニターの表示面にミラーパネル１１１を貼り合わせることにより形成されている。ミラーパネル１１１は、外側（監視空間側）からの光を反射しつつ、内側（モニター側）からの光（画像）を透過する。これにより、表示部１１は、監視空間Ａを往来する人物Ｈ１、Ｈ２の像を反射させて表示しつつ、制御部１８から出力された警備員キャラクタＣの画像を表示する。
ミラーパネル１１１の外枠１１２には、センサ１２が監視空間Ａに向けて近赤外線のパルスレーザを投光可能に配置される。同様に、外枠１１２には、撮像部１３が監視空間Ａを撮像可能に配置され、音声入力部１４が監視空間Ａの音を集音可能に配置され、音声出力部１５が監視空間Ａに向けて音を出力可能に配置される。なお、センサ１２、撮像部１３、音声入力部１４及び音声出力部１５の配置は外枠１１２に限られるものではなく、ミラーパネル１１１越しに配置されてもよい。

図３は、監視表示装置１０による表示処理の動作の例を示すフローチャートである。このフローチャートは、予め記憶部１７に記憶されているプログラムに基づいて、主に制御部１８により、監視表示装置１０の各要素と協働して実行される。表示処理が実行されている間、出力制御部１８３は、警備員キャラクタの画像を表示部１１に表示し続ける。

まず、人物検知部１８１は、撮像部１３に監視空間を撮像させ、監視空間を撮像した入力画像を撮像部１３から取得する（ステップＳ１０１）。

次に、人物検知部１８１は、監視空間内の人物を検知する検知処理を実行する（ステップＳ１０２）。
人物検知部１８１は、入力画像から人物を検知する。人物検知部１８１は、例えばフレーム間差分処理または背景差分処理を利用して、順次撮影された複数の入力画像において輝度値の時間的な変化を有する変化領域を抽出する。人物検知部１８１は、抽出した各変化領域の大きさ、形状等の特徴量に基づいて、人物らしいと考えられる変化領域を人物領域として抽出する。人物検知部１８１は、抽出した人物領域に対してSobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素を抽出する。人物検知部１８１は、抽出したエッジ画素から、例えば一般化ハフ変換を用いて、所定の大きさを有する、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として抽出する。なお、人物検知部１８１は、Adaboost識別器等の他の公知の方法を用いて顔領域を抽出してもよい。人物検知部１８１は、入力画像から顔領域を抽出した場合、その顔領域に対応する人物領域に含まれる人物を監視空間内の人物として検出する。そして、人物検知部１８１は、マップ情報に基づいて、検出した人物の足元が写っている、人物領域の最下端の画素に対応する監視空間内の位置を人物位置として特定する。人物検知部１８１は、複数の顔領域が抽出された場合、抽出した顔領域毎に人物を検出して人物位置を特定する。

なお、人物検知部１８１は、センサ１２から測距データを取得し、取得した測距データから人物を検知してもよい。人物検知部１８１は、取得した測距データを予め設定された基準測定データと比較し、所定以上の距離変化が生じている方向（走査方位）を抽出し、所定以上の連続性（例えば一般的な人のサイズ）を有する距離変化方向群を監視空間内の人物として検出する。人物検知部１８１は、監視空間におけるセンサ１２の配置位置及びパルスレーザの照射方向と、検出した人物に係る代表測距データ（例えば、距離変化方向群の中心の走査方位及び測定距離）とから、監視空間内の人物位置を特定する。人物検知部１８１は、複数の距離変化方向群が抽出された場合、距離変化方向群毎に人物か否かを判別し、人物位置を特定する。
また、 人物検知部１８１は、音声入力部１４から入力音声を取得し、取得した入力音声から人物を検知してもよい。人物検知部１８１は、入力音声の音圧が、予め設定された閾値以上である場合に、監視空間に人物が存在すると判定する。なお、人物検知部１８１は、入力音声の周波数が、予め設定された範囲内である場合に、監視空間に人物が存在すると判定してもよい。

次に、人物検知部１８１は、検知処理において人物が検知されたか否かを判定する（ステップＳ１０３）。

検知処理において人物が検知されなかった場合、出力制御部１８３は、特に処理を実行せずに、処理をステップＳ１０１へ戻す。

一方、検知処理において人物が検知された場合、人物検知部１８１は、検知された人物の追跡処理を実行する（ステップＳ１０４）。
人物検知部１８１は、複数の入力画像にわたって抽出された人物領域に対して公知のトラッキング技術を利用して追跡処理を行い、同一人物が写っている人物領域同士を対応付けることにより人物領域を追跡する。人物検知部１８１は、例えば、現フレームから抽出された人物領域の重心位置と、前フレームから抽出された人物領域の重心位置の距離を求めて、その距離が閾値以下である場合に、その人物領域に写っている人物を同一人物として対応付ける。なお、人物領域が複数抽出されている場合、人物検知部１８１は、距離が閾値以下である人物領域の内、重心位置が最も近い人物領域に写っている人物を同一人物として対応付ける。また、人物検知部１８１は、オプティカルフロー、パーティクルフィルタ等の他の公知の方法を用いて人物領域の追跡処理を行ってもよい。
なお、人物検知部１８１は、センサ１２から取得した測距データから人物を検知した場合、今回検出された人物位置と、前回検出された人物位置の距離を求めて、その距離が閾値以下である場合に、その人物位置に対応する人物を同一人物として対応付ける。なお、人物が複数検知されている場合、人物検知部１８１は、距離が閾値以下である人物位置の内、最も近い人物位置に対応する人物を同一人物として対応付ける。

次に、接近状態検知部１８２は、人物検知部１８１により検知された人物の監視表示装置１０への接近状態を検知する（ステップＳ１０５）。
接近状態検知部１８２は、接近状態として、人物検知部１８１により検知された人物の監視表示装置１０への接近速度を検知する。その場合、接近状態検知部１８２は、検知された人物毎に、各人物の最新の人物位置から監視表示装置１０の設置位置までの第１距離と、その人物の直前の人物位置から監視表示装置１０の設置位置までの第２距離とを算出する。接近状態検知部１８２は、第２距離から第１距離を減算した値を、各人物位置を特定するために使用された各入力画像の撮像時刻又は各測距データの取得時刻の間の時間で除算した値を、各人物の監視表示装置１０への接近速度として算出する。
なお、接近状態検知部１８２は、接近状態として、人物検知部１８１により検知された人物の監視表示装置１０との間の距離を検知してもよい。その場合、接近状態検知部１８２は、検知された人物毎に、各人物の最新の人物位置から監視表示装置１０の設置位置までの距離を、監視表示装置１０との間の距離として算出する。
また、接近状態検知部１８２は、接近状態として、監視表示装置１０へ接近している人物の人数を検知してもよい。その場合、接近状態検知部１８２は、接近速度を検知する場合と同様に第１距離及び第２距離を算出し、第１距離が第２距離より小さい人物の人数を、監視表示装置１０へ接近している人物の人数として算出する。

次に、出力制御部１８３は、接近状態検知部１８２により検知された接近状態に応じて、警備員キャラクタの表情を決定する（ステップＳ１０６）。警備員キャラクタの表情は、警備員キャラクタの立哨に係る態様の一例である。警備員キャラクタの立哨に係る態様とは、警備員キャラクタの立哨を行う際の態度（立哨態度）を表現するための警備員キャラクタの表示態様及び／又は音声態様であり、例えば、警備員キャラクタの動き方や話し方である。この表示態様及び／又は音声態様は、警備員キャラクタへの話しかけやすさを与えることや周囲へ監視効果（威嚇効果）を発揮すること、あるいは、周囲の状況（例えば、緊急事態の発生有無）等を考慮して決定される。

出力制御部１８３は、算出した接近速度の内の最も高い速度が速度閾値以上である場合、警備員キャラクタの表情を厳格な表情に決定し、最も高い速度が速度閾値未満である場合、警備員キャラクタの表情を温和な表情に決定する。速度閾値は、一般的な人間が歩く速度（時速４ｋｍ）と走る速度（時速１０ｋｍ）の間の値に設定される。厳格な表情は、真面目な表情又は緊迫感のある表情であり、温和な表情は、優しい表情又は穏やかな表情である。例えば、厳格な表情として、微笑んでいない表情が用いられ、温和な表情として微笑んでいる表情が用いられる。
または、出力制御部１８３は、監視表示装置１０の最も近くに存在する人物と監視表示装置１０との間の距離が距離閾値（例えば１ｍ）未満である場合、警備員キャラクタの表情を厳格な表情に決定し、その距離が距離閾値以上である場合、警備員キャラクタの表情を温和な表情に決定する。
または、出力制御部１８３は、監視表示装置１０へ接近している人物の人数が人数閾値（例えば３人）以上である場合、警備員キャラクタの表情を厳格な表情に決定し、その人数が人数閾値未満である場合、警備員キャラクタの表情を温和な表情に決定する。
なお、出力制御部１８３は、各人物の接近速度、監視表示装置１０との間の距離、又は監視表示装置１０へ接近している人物の人数に応じて、警備員キャラクタの表情を段階的に変更してもよい。

図４（ａ）、（ｂ）は、警備員キャラクタの表情の一例を示す模式図である。図４（ａ）は、厳格な表情を有する警備員キャラクタＣを示し、図４（ｂ）は、温和な表情を有する警備員キャラクタＣを示す。監視空間内の人物の接近速度が高い場合、監視空間内の人物の監視表示装置１０との距離が近い場合、又は、監視表示装置１０へ接近している人物の人数が多い場合、何らかの緊急事態が発生して警備員に助けを求めていることが想定される。そのような場合、出力制御部１８３は、警備員キャラクタＣに厳格な表情で対応させることにより、監視空間内の人物に不信感や不安を抱かせることを防止でき、安心感を与えられる。また、監視空間内の人物の接近速度が低い場合、監視空間内の人物の監視表示装置１０との距離が遠い場合、又は、監視表示装置１０へ接近している人物の人数が少ない場合、緊急事態が発生していない可能性が高く、警備員キャラクタＣに何らかの問いかけをすることが想定される。そのような場合、出力制御部１８３は、警備員キャラクタＣに温和な表情で対応させることにより、警備員キャラクタＣに対する親しみやすさ及び話しかけやすさを監視空間内の人物に抱かせることができる。

次に、出力制御部１８３は、接近状態検知部１８２により検知された接近状態に応じて、警備員キャラクタの視線の向け方を決定する（ステップＳ１０７）。警備員キャラクタの視線の向け方は、警備員キャラクタの立哨に係る態様の一例である。

出力制御部１８３は、算出した接近速度の内の最も高い速度が速度閾値以上である場合、警備員キャラクタの視線の向け方を激しい視線の向け方に決定し、最も高い速度が速度閾値未満である場合、警備員キャラクタの視線の向け方を緩やかな視線の向け方に決定する。出力制御部１８３は、激しい視線の向け方では、緩やかな視線の向け方より、警備員キャラクタの動作を大きくする。例えば、出力制御部１８３は、緩やかな視線の向け方では、目のみを移動させ、激しい視線の向け方では、顔又は体全体を移動させる。または、出力制御部１８３は、緩やかな視線の向け方では、顔を移動させ、激しい視線の向け方では、体全体を移動させる。また、 激しい視線の向け方では、緩やかな視線の向け方より、警備員キャラクタの視線の向け方を素早くしてもよい。例えば、出力制御部１８３は、緩やかな視線の向け方では、ゆっくりと視線を移動させ、激しい視線の向け方では、機敏に視線を移動させる。
または、出力制御部１８３は、監視表示装置１０の最も近くに存在する人物と監視表示装置１０との間の距離が距離閾値未満である場合、警備員キャラクタの視線の向け方を激しい視線の向け方に決定し、その距離が距離閾値以上である場合、警備員キャラクタの視線の向け方を緩やかな視線の向け方に決定する。
または、出力制御部１８３は、監視表示装置１０へ接近している人物の人数が人数閾値以上である場合、警備員キャラクタの視線の向け方を激しい視線の向け方に決定し、その人数が人数閾値未満である場合、警備員キャラクタの視線の向け方を緩やかな視線の向け方に決定する。
なお、出力制御部１８３は、各人物の接近速度、監視表示装置１０との間の距離、又は監視表示装置１０へ接近している人物の人数に応じて、警備員キャラクタの視線の向け方を段階的に変更してもよい。

また、出力制御部１８３は、接近状態検知部１８２により検知された接近状態に応じて、警備員キャラクタの視線を向ける視線方向を決定する。例えば、出力制御部１８３は、警備員キャラクタの視線を接近速度が最も高い人物に向けるように視線方向を決定する。なお、出力制御部１８３は、警備員キャラクタの視線を監視表示装置１０との間の距離が最も小さい人物に向けるように視線方向を決定してもよい。出力制御部１８３は、監視表示装置１０の設置位置から、その人物の人物位置に向かう方向を視線方向に決定する。
なお、接近速度が速度閾値以上である人物又は監視表示装置１０との間の距離が距離閾値未満である人物が複数存在する場合、出力制御部１８３は、警備員キャラクタの視線を向ける人物を一定時間毎に変更してもよい。
また、出力制御部１８３は、接近速度が速度閾値以上である人物又は監視表示装置１０との間の距離が距離閾値未満である人物の人数に応じて、警備員キャラクタの視線を向ける人物の切り替え時間を変更してもよい。例えば、出力制御部１８３は、対応する人物の人数が多いほど、警備員キャラクタが各人物に視線を向ける時間を短くする。これにより、出力制御部１８３は、それぞれの人物に対して、見られている意識を効率良く与えることが可能となる。
また、出力制御部１８３は、各人物に対して優先度を設定してもよい。例えば、出力制御部１８３は、接近速度が大きい人物ほど高くなるように優先度を設定する。または、出力制御部１８３は、監視表示装置１０の設置位置又は特定エリアの位置に近い人物ほど高くなるように優先度を設定してもよい。そして、出力制御部１８３は、優先度が高い人物から順に警備員キャラクタの視線を向けるように視線方向を決定する。なお、出力制御部１８３は、優先度が高い人物ほど警備員キャラクタの視線を向ける時間を長くしてもよい。これにより、出力制御部１８３は、より危険性が高い人物に対して、見られている意識を強く与えることが可能となる。
また、出力制御部１８３は、各人物の人物位置及び／又は各人物の移動方向に基づいて、各人物をグループ化してもよい。例えば、出力制御部１８３は、人物位置が特定の距離内である一又は複数の人物、及び／又は、移動方向（ベクトル）の差が特定の範囲内である一又は複数の人物を一つのグループにまとめる。出力制御部１８３は、一定時間毎に、警備員キャラクタの視線を向けるグループを変更し、そのグループに含まれる各人物の人物位置の重心位置に警備員キャラクタの視線を向けるように視線方向を決定する。これにより、出力制御部１８３は、検知された人物が多数存在する場合に、視線を効率良く変更することができる。

また、出力制御部１８３は、接近速度が速度閾値以上であった人物又は監視表示装置１０との間の距離が距離閾値未満である人物の最新の接近速度が第２速度閾値未満である場合、警備員キャラクタの視線をその人物に向けるように視線方向を決定してもよい。第２速度閾値は、速度閾値より小さい値に設定され、例えば一般的な人物がゆっくり歩く速度（例えば時速１ｋｍ）に設定される。これにより、出力制御部１８３は、監視表示装置１０に近寄って立ち止まった人物に警備員キャラクタの視線を向けることができる。

図５（ａ）、（ｂ）は、警備員キャラクタの視線の一例を示す模式図である。図５（ａ）は、激しい視線の向け方で人物を見る警備員キャラクタＣを示し、図５（ｂ）は、緩やかな視線の向け方で人物を見る警備員キャラクタＣを示す。警備員キャラクタＣは、図５（ａ）では人物Ｈ２に顔を向けることにより視線を向けており、図５（ｂ）では人物Ｈ２に目のみを向けることにより視線を向けている。何らかの緊急事態が発生していることが想定される場合、出力制御部１８３は、警備員キャラクタＣに激しい動作で監視空間内の人物に視線を向けさせることにより、監視空間内の人物に緊迫感をもって対応している印象を抱かせることができる。一方、緊急事態が発生しておらず警備員キャラクタＣに何らかの問いかけをすることが想定される場合、出力制御部１８３は、警備員キャラクタＣに緩やかな動作で監視空間内の人物に視線を向けさせることにより、警備員キャラクタＣに対する話しかけやすさを監視空間内の人物に抱かせることができる。

次に、出力制御部１８３は、接近状態検知部１８２により検知された接近状態に応じて、警備員キャラクタの表示サイズを決定する（ステップＳ１０８）。警備員キャラクタの表示サイズは、警備員キャラクタの立哨に係る態様の一例である。

出力制御部１８３は、接近速度が速度閾値以上である人物が存在する場合の表示サイズを、接近速度が速度閾値以上である人物が存在しない場合の表示サイズの所定倍（例えば１．１倍）に設定する。
また、出力制御部１８３は、監視表示装置１０との間の距離が距離閾値未満である人物が存在する場合の表示サイズを、監視表示装置１０との間の距離が距離閾値未満である人物が存在しない場合の表示サイズの所定倍に設定する。
また、出力制御部１８３は、監視表示装置１０へ接近している人物の人数が人数閾値以上である場合の表示サイズを、その人数が人数閾値未満である場合の表示サイズの所定倍に設定する。
なお、出力制御部１８３は、各人物の接近速度、監視表示装置１０との間の距離、又は監視表示装置１０へ接近している人物の人数に応じて、表示サイズを段階的に変更してもよい。
何らかの緊急事態が発生している場合、出力制御部１８３は、警備員キャラクタの表示サイズを大きくすることにより、警備員キャラクタの存在感を高めることができる。特に、出力制御部１８３は、監視表示装置１０の付近に多数の人物が存在する場合でも、警備員キャラクタの存在感が低減することを抑制できる。

また、出力制御部１８３は、各人物の接近速度、監視表示装置１０との間の距離、又は監視表示装置１０へ接近している人物の人数に応じて、表示部１１に表示される警備員キャラクタがジェスチャー等により人物に案内したり指示を出したりするときの手の高さ（位置）等を変更してもよい。これにより、出力制御部１８３は、監視表示装置１０に接近する人物の目線の高さにあわせて、警備員キャラクタを動作させることができる。

次に、出力制御部１８３は、接近状態検知部１８２により検知された接近状態に応じて、警備員キャラクタが発する声質を決定する（ステップＳ１０９）。警備員キャラクタが発する声質は、警備員キャラクタの立哨に係る態様の一例である。

出力制御部１８３は、算出した接近速度の内の最も高い速度が速度閾値以上である場合、警備員キャラクタの声質を硬い声質に決定し、最も高い速度が速度閾値未満である場合、警備員キャラクタの声質を優しい声質に決定する。例えば、硬い声質は、優しい声質より低いトーンを有する。または、硬い声質は、優しい声質より低い（遅い）発話速度を有する。
または、出力制御部１８３は、監視表示装置１０の最も近くに存在する人物と監視表示装置１０の間の距離が距離閾値未満である場合、警備員キャラクタの声質を硬い声質に決定し、その距離が距離閾値以上である場合、警備員キャラクタの声質を優しい声質に決定する。
または、出力制御部１８３は、監視表示装置１０へ接近している人物の人数が人数閾値以上である場合、警備員キャラクタの声質を硬い声質に決定し、その人数が人数閾値未満である場合、警備員キャラクタの声質を優しい声質に決定する。
なお、出力制御部１８３は、各人物の接近速度、監視表示装置１０との間の距離、又は監視表示装置１０へ接近している人物の人数に応じて、警備員キャラクタの声質を段階的に変更してもよい。
これにより、警備員キャラクタの表示を決定したときと同様に、緊急事態の発生が想定されるような場合等においては緊迫感をもって対応している印象を抱かせ、警備員キャラクタに話しかけようとしていることが想定されるような場合等においては話しかけやすさを抱かせることができ、さらに、周囲の人物に安心感を与えることもできる。

次に、出力制御部１８３は、決定した態様で立哨を行わせるように、警備員キャラクタの画像表示及び音声出力を制御し（ステップＳ１１０）、処理をステップＳ１０１へ戻す。これにより、出力制御部１８３は、接近状態検知部１８２により検知された接近状態に応じて、警備員キャラクタの立哨に係る態様を変更する。

出力制御部１８３は、ステップＳ１０６～Ｓ１０８で決定した表示態様を表すように、表示部１１に表示される警備員キャラクタの画像表示を更新する。
監視表示装置１０は、例えば、複数の表情毎に、別個の警備員キャラクタの顔画像を予め記憶部１７に記憶しておく。出力制御部１８３は、表示部１１に表示される警備員キャラクタの顔画像を、決定された表情に対応する顔画像に置換することにより、警備員キャラクタの画像表示を更新する。
また、監視表示装置１０は、例えば、１枚の警備員キャラクタの画像を目、鼻、口、顔の輪郭、首、体、腕、足等の所定のパーツごとに分割し、各パーツにポリゴンを割り当てておく。さらに、監視表示装置１０は、複数の視線方向毎に、各視線方向に対応する各パーツのポリゴンの位置及び向きを事前に記憶部１７に設定しておく。出力制御部１８３は、警備員キャラクタが、決定した視線の向け方で視線方向を向くように、ポリゴンを動かし、ポリゴンにあわせて各パーツを動かすことにより、警備員キャラクタの画像表示を更新する。なお、監視表示装置１０は、複数の視線の向け方及び視線方向毎に、別個の警備員キャラクタの画像を予め記憶しておいてもよい。その場合、監視表示装置１０は、決定した視線の向け方及び視線方向に応じた警備員キャラクタの画像を順次表示させることにより、警備員キャラクタの画像表示を更新する。
また、出力制御部１８３は、決定した表示サイズで警備員キャラクタが表示されるように、警備員キャラクタの画像表示を更新する。

また、出力制御部１８３は、ステップＳ１０９で決定した音声態様で音声出力するように、警備員キャラクタの声のトーン又は発話速度等の音声特性を変更する。また、出力制御部１８３は、口調（言い回し）を変えるようにしてもよい。例えば、速度閾値未満の人物に対しては「どうされましたか？」と発話することで丁寧な印象とともに話しやすさを与え、速度閾値以上の人物に対しては「どうしましたか？」と発話することで緊迫感をもって対応している印象を与えることができる。
監視表示装置１０は、例えば、警備員キャラクタの発話内容毎に、各音声特性に対応する音声パターンを予め記憶部１７に記憶しておく。出力制御部１８３は、決定された音声特性に対応する音声パターンを音声出力部１５から出力することにより、警備員キャラクタの音声特性を変更する。

なお、出力制御部１８３は、ステップＳ１０６～Ｓ１０９の内、少なくとも何れか一つの処理のみを実行し、他の処理を省略してもよい。その場合、ステップＳ１１０において、出力制御部１８３は、省略した処理に対応する態様については変更しない。この場合も、出力制御部１８３は、監視空間内に存在する人物に対して適切な対応を行うことが可能となる。
一方、出力制御部１８３は、ステップＳ１０６～Ｓ１０９の内、二つ以上の処理を組み合わせて実行することにより、監視空間内に存在する人物に対して、より適切な対応を行うことが可能となる。

また、出力制御部１８３は、検知された人物が所定の属性を有する場合に限り警備員キャラクタの立哨に係る態様を変更してもよい。その場合、人物検知部１８１は、追跡処理で対応付けた人物毎に、各人物の属性を特定する。人物検知部１８１は、人物の属性として、年齢、性別、表情及び／又は車いすの使用有無等を特定する。
例えば、人物検知部１８１は、機械学習技術を用いて、人物の属性を特定する。監視表示装置１０は、様々な属性を有する人物が写っている複数のサンプル画像を用いて、各サンプル画像が入力された場合にそのサンプル画像に写っている人物の属性を出力するように事前に学習された識別器を記憶部１７に記憶しておく。人物検知部１８１は、入力画像内の人物領域を切り出して識別器に入力し、識別器から出力された属性を、その人物領域に写っている人物の属性として取得する。
なお、人物検知部１８１は、特徴量マッチング技術を用いて、各人物の属性を特定してもよい。監視表示装置１０は、様々な属性を有する人物が写っている複数のサンプル画像から算出された「目」「鼻」「口」「体」等の各部位の特徴量をその属性と関連付けて事前に記憶部１７に記憶しておく。特徴量は、ハールライク（Haar-Like）特徴量又はＨＯＧ（Histogram of Oriented Gradient）特徴量等である。人物検知部１８１は、入力画像内の人物領域から、各部位の位置又は形状等の特徴に基づいて各部位を検出し、その特徴量を算出する。人物検知部１８１は、算出した特徴量と、記憶部１７に記憶しておいた各特徴量との類似の程度を算出し、類似の程度が最も高い特徴量に関連付けられた属性を、その人物領域に写っている人物の属性として取得する。類似の程度は、正規化相互相関値等である。
出力制御部１８３は、監視表示装置１０に接近する人物又は監視表示装置１０の近傍に存在する人物が所定の属性（例えば男性、２０歳以上、緊迫した表情等）を有する場合に限り警備員キャラクタの立哨に係る態様を変更する。これにより、出力制御部１８３は、より注意を払うべき人物に対して警備員キャラクタの存在感を強く発揮させることが可能となる。

なお、接近状態検知部１８２は、監視表示装置１０に接近する人物又は監視表示装置１０の近傍に存在する人物の表情を接近状態として検知してもよい。その場合、出力制御部１８３は、例えば、人物の表情が緊迫した表情である場合、警備員キャラクタの表情を厳格な表情に決定し、人物の表情が緊迫した表情でない場合、警備員キャラクタの表情を温和な表情に決定する。また、出力制御部１８３は、人物の表情が緊迫した表情である場合、警備員キャラクタの視線の向け方を激しい視線の向け方に決定し、人物の表情が緊迫した表情でない場合、警備員キャラクタの視線の向け方を緩やかな視線の向け方に決定する。また、出力制御部１８３は、人物の表情が緊迫した表情である場合の警備員キャラクタの表示サイズを、人物の表情が緊迫した表情でない場合の表示サイズより大きくする。また、出力制御部１８３は、人物の表情が緊迫した表情である場合、警備員キャラクタの声質を硬い声質に決定し、人物の表情が緊迫した表情でない場合、警備員キャラクタの声質を優しい声質に決定する。これにより、例えば、緊急事態が発生していることが想定される場合に、接近してきた人物に緊迫感をもって対応している印象を抱かせることができる。
なお、 人物の表情を接近状態とする場合について、緊迫した表情であるか否かにより警備員キャラクタの表示態様及び／又は音声態様を決定する例について説明したがこれに限られるものではなく、例えば、不安そうな表情であるか否かにより決定するようにしてもよい。この場合、人物の表情が不安そうな表情である場合に、温和な表情、緩やかな視線の向け方、優しい声質に決定することにより人物に話しかけやすさや安心感を与えることができる。

また、出力制御部１８３は、検知された人物が所定の姿勢（動作）を取っている場合に限り警備員キャラクタの立哨に係る態様を変更してもよい。その場合、人物検知部１８１は、追跡処理で対応付けた人物毎に、各人物の姿勢を特定する。人物検知部１８１は、人物の姿勢として、敬礼の姿勢又はしゃがむ姿勢等を特定する。
例えば、人物検知部１８１は、機械学習技術を用いて、人物の姿勢を特定する。監視表示装置１０は、様々な姿勢を取っている人物が写っている複数のサンプル画像を用いて、各サンプル画像が入力された場合にそのサンプル画像に写っている人物の姿勢を出力するように事前に学習された識別器を記憶部１７に記憶しておく。人物検知部１８１は、入力画像内の人物領域を切り出して識別器に入力し、識別器から出力された姿勢を、その人物領域に写っている人物の姿勢として取得する。
なお、人物検知部１８１は、特徴量マッチング技術を用いて、各人物の姿勢を特定してもよい。監視表示装置１０は、様々な姿勢を有する人物が写っている複数のサンプル画像から算出された「顔」「腕」「足」「体」等の各部位の特徴量をその姿勢と関連付けて事前に記憶部１７に記憶しておく。特徴量は、ハールライク特徴量又はＨＯＧ特徴量等である。人物検知部１８１は、入力画像内の人物領域から、各部位の位置又は形状等の特徴に基づいて各部位を検出し、その特徴量を算出する。人物検知部１８１は、算出した特徴量と、記憶部１７に記憶しておいた各特徴量との類似の程度を算出し、類似の程度が最も高い特徴量に関連付けられた姿勢を、その人物領域に写っている人物の姿勢として取得する。
出力制御部１８３は、検知された人物が所定の姿勢を取っている場合に限り警備員キャラクタの立哨に係る態様を変更する。これにより、出力制御部１８３は、より注意を払うべき人物に対して警備員キャラクタの存在感を強く発揮させることが可能となる。

また、出力制御部１８３は、検知された人物の姿勢に応じて警備員キャラクタの姿勢を変更してもよい。例えば、出力制御部１８３は、検知された人物が敬礼の姿勢を取った場合に警備員キャラクタも敬礼の姿勢を取り、検知された人物がしゃがんだ場合に警備員キャラクタもしゃがむように、警備員キャラクタの表示を制御する。監視表示装置１０は、複数の姿勢毎に、各姿勢に対応する各パーツのポリゴンの位置及び向きを事前に記憶部１７に設定しておく。出力制御部１８３は、警備員キャラクタが、所定の姿勢を取るように、ポリゴンを動かし、ポリゴンにあわせて各パーツを動かすことにより、警備員キャラクタの画像表示を更新する。なお、監視表示装置１０は、複数の姿勢毎に、別個の警備員キャラクタの画像を予め記憶しておいてもよい。その場合、監視表示装置１０は、所定の姿勢を取るように警備員キャラクタの画像を順次表示させることにより、警備員キャラクタの画像表示を更新する。
また、出力制御部１８３は、検知された人物の属性に応じて警備員キャラクタの姿勢を変更してもよい。例えば、出力制御部１８３は、検知された人物が子供又は車いすの使用者である場合、警備員キャラクタがしゃがむように警備員キャラクタの表示を制御する。これらにより、出力制御部１８３は、警備員キャラクタに対する親しみやすさ及び話しかけやすさを監視空間内の人物に抱かせることができる。

また、出力制御部１８３は、検知された人物が予め登録された登録者である場合に限り警備員キャラクタの立哨に係る態様を変更してもよい。その場合、監視表示装置１０は、各登録者の顔画像を記憶部１７に登録しておく。人物検知部１８１は、各人物の顔領域と各登録者の顔画像との類似の程度、又は、各人物の顔領域から抽出された特徴量と各登録者の顔画像から抽出された特徴量との類似の程度を算出し、類似の程度が閾値以上である場合にその人物が登録者であると判定する。なお、監視表示装置１０は、ＩＣタグリーダを有するとともに、各登録者に配布したＩＣタグのＩＤを記憶部１７に登録しておいてもよい。その場合、人物検知部１８１は、ＩＣタグリーダが、登録されたＩＤを読み取った場合に、監視空間内の人物が登録者であると判定する。

また、出力制御部１８３は、検知された人物が登録者である場合、警備員キャラクタの姿勢を変更してもよい。例えば、出力制御部１８３は、検知された人物が登録者である場合、警備員キャラクタが敬礼の姿勢を取るように警備員キャラクタの表示を制御する。また、出力制御部１８３は、検知された人物が登録者である場合、登録者に応じた音声を出力してもよい。例えば、出力制御部１８３は、検知された人物が登録者である場合、警備員キャラクタが「○○さん、お疲れ様です。」と音声出力するように制御する。これらにより、出力制御部１８３は、登録者に対して個別のサービスを提供することができる。

なお、上記実施形態では、人物の接近状態（接近速度、接近距離、接近人数等）に応じて、警備員キャラクタの表情や声質、視線の向け方を決定する例を説明したが、上記内容に限られるものではない。例えば、監視空間の人物に威嚇効果を発揮しつつ、近づいてきた人物には話しかけやすさを与えたい場合は、距離閾値以上である場合は厳格な表情や硬い声質、激しい視線の向け方に決定し、距離閾値未満である場合には温和な表情や優しい声質、緩やかな視線の向け方に決定することが好適である。一方で、近づいてきた人物により威嚇効果を発揮することを目的とする場合には、上記とは逆の表情や声質、視線の向け方となるように決定することが好適である。このように、話しかけやすさを与えたい場合（対話目的）と威嚇効果を与えたい場合（監視目的）といった目的を考慮して接近状態に応じた表情や声質、視線の向け方を決定することが好適である。

また、警備員キャラクタの表示態様および音声態様を出力制御部１８３により制御する例を示したが、これに限らず、出力制御部１８３は表示制御部及び音声制御部を含み、表示態様の制御は表示制御部で行われ、音声態様の制御は音声制御部で行われてもよい。即ち、表示制御部は、警備員キャラクタの動作を表示制御し、接近状態に応じて警備員キャラクタの立哨に係る態様を変更する。一方、音声制御部は、警備員キャラクタが発する音声を出力制御し、接近状態に応じて警備員キャラクタが発する声質を変更する。

また、出力制御部１８３は、上記した表示処理と並行して、監視空間の状況に応じて、又は、予め定められたルールに従って、警備員キャラクタに所定の動き又は発声を実行させる。例えば、出力制御部１８３は、人物検知部１８１が検知した人物位置の所定期間内の変化量が閾値以下である場合、その人物が立ち止まっていると判定し、警備員キャラクタに所定の動き又は発声を実行させる。または、出力制御部１８３は、音声入力部１４から取得した入力音声に、公知の音声認識技術及び自然言語処理技術を適用して監視空間内の人物による発話内容を検出し、検出した発話内容に所定のキーワードが含まれる場合、警備員キャラクタに所定の動き又は発声を実行させる。または、出力制御部１８３は、一定期間経過する毎に、警備員キャラクタに所定の動き又は発声を実行させる。例えば、出力制御部１８３は、所定の動きとして、警備員キャラクタが敬礼等の所定の姿勢を取るように表示部１１に表示された警備員キャラクタの画像表示を制御する。また、出力制御部１８３は、所定の発声として、例えば「こんにちわ」等の挨拶又は「大丈夫ですか」等の安否問いかけ等を音声出力部１５から音声出力する。

以上説明してきたように、本発明に係る監視表示装置１０は、監視空間内の人物の監視表示装置１０への接近状態に応じて、警備員キャラクタの立哨に係る態様を変更する。これにより、監視表示装置１０は、警備員キャラクタの画像を表示しつつ監視空間を監視する際に、監視空間内に存在する人物に対して、その人物の状況を考慮して、より適切な対応を行うことが可能となる。また、監視表示装置１０は、警備員キャラクタに自然な振る舞いを行わせて警備員としての存在感を発揮させ、より本物の警備員らしい画像を表示することが可能となる。したがって、監視表示装置１０は、監視空間内に存在する人物に、見られている意識、及び、見守られている安心感を与えることが可能となる。

１０ 監視表示装置、１１ 表示部、１５ 音声出力部、１８１ 人物検知部、１８２ 接近状態検知部、１８３ 出力制御部

Claims (5)

1. 監視表示装置であって、
   立哨警備するキャラクタの画像を表示する表示部と、
   監視空間内の人物を検知する人物検知部と、
   前記人物検知部により検知された人物の前記監視表示装置への接近状態を検知する接近状態検知部と、
   前記表示するキャラクタの動作を表示制御し、前記接近状態検知部により検知された接近状態に応じて、前記表示されたキャラクタの立哨に係る態様を変更する表示制御部と、
   を有することを特徴とする監視表示装置。
2. 前記接近状態検知部は、前記接近状態として、前記人物検知部により検知された人物の前記監視表示装置への接近速度を検知する、請求項１に記載の監視表示装置。
3. 前記表示制御部は、前記キャラクタの立哨に係る態様として、前記キャラクタの表情を変更する、請求項１または２に記載の監視表示装置。
4. 前記表示制御部は、前記キャラクタの立哨に係る態様として、前記キャラクタの視線の向け方を変更する、請求項１～３の何れか一項に記載の監視表示装置。
5. 前記キャラクタの音声を出力する音声出力部と、
   前記表示されたキャラクタが発する音声を出力制御し、前記接近状態に応じて、前記キャラクタが発する声質を変更する音声制御部と、をさらに有する、請求項１～４の何れか一項に記載の監視表示装置。

Images