特許法第30条第2項適用 開催場所:セコム株式会社(1)本社(東京都渋谷区神宮前一丁目5番1号) (2)セコムTEセンター(東京都三鷹市下連雀6-11-23) 開催日:(1)令和2年6月1日から5日 (2)令和2年6月18日から25日 [刊行物等] ウェブサイトのアドレス:https://www.secom.co.jp/corporate/release/2020/nr_20200601.html https://www.secom.co.jp/corporate/release/2020/pdf/nr_20200601.pdf https://prtimes.jp/main/html/rd/p/000000022.000036837.html 掲載日:令和2年6月1日 [刊行物等] ウェブサイトのアドレス:https://www3.nhk.or.jp/news/html/20200601/k10012453261000.html 掲載日:令和2年6月1日 [刊行物等] ウェブサイトのアドレス:https://news.tv-asahi.co.jp/news_economy/articles/000185369.html 掲載日:令和2年6月3日 [刊行物等] 放送番組:ニュース(関東) 放送日:令和2年6月1日 [刊行物等] 放送番組:スーパーJチャンネル 放送日:令和2年6月2日 [刊行物等] 取材場所(メール送信先):株式会社日本経済新聞社 取材日:令和2年6月1日 [刊行物等] 取材場所(メール送信先):警備保障タイムズ株式会社 取材日:令和2年6月2日 [刊行物等] 取材場所(メール送信先):株式会社日本経済新聞社 取材日:令和2年6月2日
以下では、図面を参照しつつ、本発明の様々な実施形態について説明する。本発明の技術的範囲はそれらの実施形態には限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
(第1の実施形態)
図1は、第1の実施形態に係る応対システム1の概略構成の一例を示す図である。応対システム1は、オフィスビル、病院又は商業施設等の施設の入口11の近傍に設けられる。応対システム1は、入口11から入場した施設の利用者の動線D1に沿って配置されたロープパーティション12、動線D1上に配置された表示装置2、表示装置2の側方に動線D1から外れて配置されたパーティション13を有する。なお、表示装置2は、応対装置の一例である。
表示装置2の前方には、検温エリアA1が形成される。また、検温エリアA1の内部には、表示装置2に近接して、検温エリアA1より狭い応対エリアA2が形成される。なお、図1に示す例では検温エリアA1が応対エリアA2を包含しているが、両者は隣接していてもよく、離隔していてもよい。表示装置2の側方には、パーティション13によって区画された、発熱が疑われる利用者が検査を受けるための検査エリアA3が設けられる。
施設の利用者は、入口11から施設に入場すると、動線D1に従って検温エリアA1内に移動して待機し、一人ずつ応対エリアA2内に移動する。表示装置2は、検温エリアA1内の利用者の体温を測定し、体温が正常であるか否かを判定する。なお、体温が正常であるとは、発熱が疑われないことをいい、例えば、体温が所定値(例えば、37.5度)以下であることをいう。
利用者が応対エリアA2内に移動したとき、表示装置2は、判定の結果に応じて利用者が進行すべき方向を示す。表示装置2は、体温が正常であると判定された場合、利用者が進行すべき方向として施設に入場する方向D2を示し、体温が正常でないと判定された場合、利用者が進行すべき方向として検査エリアA3への方向D3を示す。なお、方向D2と方向D3とは異なる方向であり、例えば、表示装置を挟んで相互に反対の方向や、キャラクタCの案内により区別可能な方向である。また、施設に入場する方向D2は、例えば、受付や入場ゲートへの方向である。なお、入場する方向は、ある一の方向に限定されるものではなく、施設の利用者の目的に応じて複数の方向が設定され得る。すなわち、上記の受付や入場ゲートへの方向に限らず、利用者の訪問目的に応じて、例えば、エレベータホールの方向や、待合スペースの方向へ案内する。
利用者は、表示装置2に示された進行すべき方向D2又はD3に進行する。検査エリアへの方向D3を示された利用者は、検査エリアA3に待機する検査者により、再検温や問診等の検査を受ける。検査の結果、感染症の疑いがないと判断された利用者は、検査者の指示に従って方向D4に進行し、施設に入場する。感染症の疑いがあると判断された利用者は、検査者の指示に従って方向D5に進行し、出口14から退場する。なお、検査エリアA3では、検査者による検査に限らず、熱画像カメラ等の非接触式の体温計を別途設けて無人での再検温を行い、又は利用者に再検温を行わせ、再検温の結果、体温が正常であるか否かに応じて、入場または退場を促すように案内してもよい。無人での再検温を行う場合、検査の対象となる利用者に立ち位置や顔の位置の案内を行い、利用者の顔の位置や向き合わせを厳格に行うことで、より正確な検温結果を得られるようにする。別室に待機している検査者が、ビデオ通話等を用いて遠隔で検査するように構成してもよい。このように、検温等の検査を無人で行うことで、感染リスクをより低減できる。
また、検温エリアA1内で待機する利用者の体温が正常でないと判定された場合、表示装置2は、応対エリアA2内の利用者に対する応対を中断し、体温が正常でないと判定された検温エリアA1内の利用者に対する応対を行う。表示装置2は、検温エリアA1内の利用者に対する応対において、利用者が進行すべき方向として検査エリアA3への方向を示す。
図2は、表示装置2の正面図であり、図3は、表示装置2の概略構成の一例を示す図である。表示装置2は、第1表示部21、センサ部22、撮像部23、熱画像撮像部24、第2表示部25、音声出力部26、記憶部27及び処理部28を有する。
第1表示部21は、表示装置2の前面に設けられる、画像を表示するための構成であり、例えば、液晶ディスプレイ又は有機EL(Electro-Luminescence)ディスプレイ等のディスプレイを備える。第1表示部21は、処理部28から供給された表示データに基づいて画像を表示する。第1表示部21は、画像として、警備員を模したキャラクタCを表示する。第1表示部21は、キャラクタCを現実の警備員と同程度の大きさに表示可能とするために十分な大きさを有する。なお、キャラクタCは警備員を模したものに限られず、任意のキャラクタであってよい。
第1表示部21は、ディスプレイにハーフミラーフィルム等の反射部材を接合したミラー型ディスプレイでもよい。これにより、警備員を模したキャラクタCと反射した施設内の風景とが重畳して表示されるため、警備員が現実に存在するような印象を与えることができる。
センサ部22は、第1表示部21の上側に設けられる、表示装置2の周囲の対象物までの距離を測定するための構成であり、例えばTOF(Time of Flight)方式のレーザ測距センサを備える。センサ部22は、測定範囲内の各方向にパルス変調されたレーザ光を照射し、その反射光を検出するまでの時間に基づいて各方向の反射点までの距離を算出する。センサ部22は、レーザ光が照射された方向と算出された距離とに基づいて、各画素に距離情報が関連付けられた距離画像データを生成し、処理部28に供給する。
撮像部23は、第1表示部21の上側にセンサ部22と並んで設けられる、被写体を撮像するための構成であり、例えば、カメラを備える。撮像部23は、光学レンズ等を用いて撮像範囲内の被写体からの光線を集束することにより結像した被写体像に対応する画像信号を生成し、所定の形式の画像データに変換して処理部28に供給する。
熱画像撮像部24は、第1表示部21の側方に設けられる、検温エリアA1内の被写体の温度を示す熱画像を生成するための構成であり、例えば、熱画像カメラを備える。熱画像撮像部24は、サーモパイル等を用いて、測定範囲内の各方向から入射した赤外線の強度を算出する。熱画像撮像部24は、赤外線の入射方向と赤外線の強度に対応する温度とに基づいて、各画素に温度情報が関連付けられた熱画像データを生成し、処理部28に供給する。
センサ部22の測定範囲、撮像部23の撮像範囲及び熱画像撮像部24の測定範囲は、何れも検温エリアA1を含むように設定される。また、センサ部22によって生成される距離画像データの各画素と、撮像部23によって生成される画像データの各画素と、熱画像撮像部24によって生成される熱画像データの各画素との対応関係があらかじめ設定され、後述する記憶部27にデータとして記憶される。
第2表示部25は、第1表示部21の側方に設けられる、画像を表示するための構成であり、例えば、液晶ディスプレイ又は有機EL(Electro-Luminescence)ディスプレイ等のディスプレイを備える。第2表示部25は、処理部28から供給された表示データに基づいて画像を表示する。
音声入出力部26は、第1表示部21の左右にそれぞれ設けられる、音声を出力および集音するための構成であり、例えば、スピーカとマイクロフォンを備える。音声入出力部26は、処理部28から供給された音声データに基づいて音声を出力し、また、マイクロフォンに入力された音声をデジタルの入力音声データに変換して処理部28へ供給する。
記憶部27は、プログラム及びデータを記憶するための構成であり、例えば、半導体メモリを備える。記憶部27は、処理部28による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。プログラムは、CD(Compact Disc)-ROM(Read Only Memory)等のコンピュータ読み取り可能且つ非一時的な可搬型記憶媒体から、セットアッププログラム等を用いて記憶部27にインストールされる。
記憶部27は、データとして動作テーブル271及び人物テーブル272を記憶する。
処理部28は、表示装置2の動作を統括的に制御する構成であり、一又は複数個のプロセッサ及びその周辺回路を備える。処理部28は、例えば、CPU(Central Processing Unit)、LSI(Large Scale Integration)又はASIC(Application Specific Integrated Circuit)等を備える。処理部28は、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)等を備えてもよい。処理部28は、記憶部27に記憶されているプログラムに基づいて表示装置2の処理が適切に実行されるように表示装置2の各構成の動作を制御するとともに、処理を実行する。
処理部28は、測定部281、判定部282、検知部283、通常制御部284及び非常制御部285を機能ブロックとして備える。これらの各部は、処理部28が実行するプログラムによって実現される機能モジュールである。これらの各部は、ファームウェアとして表示装置2に実装されてもよい。
図4は、第1表示部21に表示される第1誘導画面400の一例を示す図である。第1誘導画面400は、利用者の体温が正常であると判定された場合に、利用者が進行すべき方向として施設に入場する方向D2を示すために表示される。図1に示す例では、施設に入場する方向D2は利用者から見て右方向であるため、第1誘導画面400は、利用者から見て右方向を示すように動作が制御されたキャラクタCを含む。なお、入場する方向が明らかである場合(例えば、オフィス等で利用者がどのように入場するかを把握している場合や表示装置の近傍に入場ゲートを設置している場合など)、キャラクタCは具体的に方向を指示はせず、「いらっしゃいませ、お進みください」のように入場を促す音声出力により、利用者が進む方向を示すようにしてもよい。
図5は、第1表示部21に表示される第2誘導画面500の一例を示す図である。第2誘導画面500は、利用者の体温が正常でないと判定された場合に、利用者が進行すべき方向として検査エリアへの方向D3を示すために表示される。図1に示す例では、検査エリアへの方向D3は利用者から見て左方向であるため、第2誘導画面500は、利用者から見て左方向を示すように動作が制御されたキャラクタCを含む。
第2誘導画面500におけるキャラクタCの動作は、第1誘導画面400におけるキャラクタCの動作よりも小さくなるように制御される。キャラクタCの動作が小さいとは、動作するキャラクタCの部位が少ないこと、又は、画面においてキャラクタCの動作範囲にあたる領域が小さいことをいう。図4及び図5に示す例では、第1誘導画面400においてはキャラクタCの前腕部及び上腕部が動作しているのに対し、第2誘導画面500においてはキャラクタCの前腕部のみが動作している。すなわち、第2誘導画面500において動作するキャラクタCの部位が、第1誘導画面400において動作するキャラクタCの部位よりも少なくなるように制御されている。
図6は、第2表示部25に表示される体温表示画面600の一例を示す図である。体温表示画面600は、撮像画像601、人物検出オブジェクト602及び体温表示オブジェクト603を含む。
撮像画像601は、撮像部23によって撮像された利用者の画像である。人物検出オブジェクト602は、撮像画像601において利用者に対応する領域を示すオブジェクトである。図6に示す例では、人物検出オブジェクト602は利用者の顔を含む領域を示しているが、利用者の全身を含む領域を示してもよく、他の部位を示してもよい。体温表示オブジェクト603は、人物検出オブジェクト602の近傍にそれぞれ表示される、人物検出オブジェクト602によって示される利用者の体温を示すオブジェクトである。なお、撮像画像601として、熱画像撮像部24によって撮像された利用者の画像を用いてもよい。
図7は、記憶部27に記憶される動作テーブル271のデータ構造の一例を示す図である。動作テーブル271は、判定結果、誘導方向、動作、音声及び音量等を相互に関連付けて記憶する。
判定結果は、利用者の体温が正常であるか否かを判定した結果を示す情報である。誘導方向は、判定の結果に応じた、利用者が進行すべき方向である。図7に示す例では、施設に入場する方向D2が利用者から見て右方向であるため、「体温が正常である」の判定結果に「右方向」の誘導方向が関連付けられている。また、検査エリアへの方向D3が利用者から見て左方向であるため、「体温が正常でない」の判定結果に「左方向」の誘導方向が関連付けられている。
動作は、利用者に対して進行すべき方向を示すためのキャラクタCの動作を示す情報である。キャラクタCが「右方向への大きな案内動作」をするように制御された場合、第1誘導画面400が表示される。また、キャラクタCが「左方向への小さな案内動作」をするように制御された場合、第2誘導画面500が表示される。動作として、動画像のファイル等が記憶されていてもよく、キャラクタの関節の動きを示すデータ等が記憶されていてもよい。音声は、利用者に対して進行すべき方向を示すためのキャラクタの発話としての音声を示す情報である。音声として、例えば、音声のファイル等が記憶される。
音量は、関連付けられた音声が出力される時の音量を示す情報である。図7に示す例では、「体温が正常である」の判定結果に「大」の音量が関連付けられ、「体温が正常でない」の判定結果に「小」の音量が関連付けられている。すなわち、体温が正常でないと判定された場合の発話の音量が、体温が正常であると判定された場合の発話の音量よりも小さくなるように制御される。なお、「小」の音量の場合、発話の対象となる利用者が聞き漏らすおそれもあるため、第2表示部25における表示出力を注意表示(例えば、赤色で表示)するようにしてもよい。
動作テーブル271の各データは、施設の構造に応じてあらかじめ設定され、記憶部27に記憶される。
図8は、記憶部27に記憶される人物テーブル272のデータ構造の一例を示す図である。人物テーブル272は、人物ID、人物領域、体温、判定結果、位置及び進行方向等を相互に関連付けて記憶する。
人物IDは、撮像部23によって撮像された撮像画像において検出された利用者を識別するための識別情報である。人物領域は、撮像画像において検出された人物領域を特定する情報であり、例えば、人物領域の中心位置を示す情報である。人物領域を特定する情報は、領域の大きさや形状を示す情報を含んでもよい。体温は、検出された利用者の体温を示す情報である。判定結果は、利用者の体温が正常であるか否かを判定した結果を示す情報である。位置は、利用者の足元の位置を示す情報である。進行方向は、利用者の進行方向を示す情報である。
人物テーブル272の各データは、後述する第1記憶処理において表示装置2によって生成され、記憶部27に記憶される。
表示装置2は、後述する第1記憶処理、通常制御及び非常制御を並行して非同期に実行する。これらの処理は、処理部28が第1表示部21に警備員を模したキャラクタCを表示させる表示制御をしている間に、定期又は不定期に繰り返し実行される。これらの処理は、記憶部27に記憶されたプログラムに基づいて、処理部28が表示装置2の各構成要素と協働することにより実現される。
まず、キャラクタCの表示制御について説明する。処理部28は、プログラムを実行することにより、キャラクタCの表示制御をする。処理部28は、第1記憶処理の説明で後述するように、利用者を検知する。処理部28は、利用者が検知されていない状況では、キャラクタCの視線方向や身体方向を所定範囲内(例えば正面を基準に45度ずつ)で移動させる目配り動作を実行するようにキャラクタCの画像表示を制御し、応対エリアA2外において利用者を検知した場合、キャラクタCの視線を検知した利用者に向ける追跡動作を実行するようにキャラクタCの画像表示を制御する。これにより、本物の立哨警備を行う警備員らしい画像の表示ができ、警備員としての存在感が発揮される。また、処理部28は、応対エリアA2内において利用者を検知したり利用者からの発話を検知したりすると、警備員を模したキャラクタCが当該利用者と対話するように音声出力を制御することで、施設の利用者に対する受付や案内等の応対を行う。
また、処理部28は、利用者の施設への入場意思の有無を判断し、入場意思がある場合に検温結果に応じた案内を行うようにキャラクタCの表示制御をしてもよい。例えば、処理部28は、後述するように、利用者の進行方向を検知する。検知した利用者の進行方向が施設に入場する方向であるか否かにより判断したり、利用者の発話内容(例えば、「〇〇さんとの打ち合わせで参りました」)に応じて入場意思の有無を判断してもよい。入場意思のない利用者に対して応対する場合、すなわち、検温の結果に応じた応対を行わない場合においては、応対エリアA2で検知した利用者に対して、所定の発話(例えば、あいさつ)をする。また、利用者からの問いかけ(例えば、「トイレの場所はどこですか」)を受けると、予め記憶部27に記憶した問いかけ内容と問いかけに対する回答とを紐づけた対話テーブルに沿って、音声出力または表示制御により案内を行う(例えば、「トイレへは、右手の通路をお進みください」)。なお、発話内容の検出においては、通常制御の説明で後述するように、音声入出力部26から取得した入力音声に、公知の音声認識技術及び自然言語処理技術を適用して発話内容を検出する。検出した発話内容に含まれるキーワードに応じて、キャラクタCに所定の動き又は発声を実行させる。
図9は、表示装置2によって実行される第1記憶処理の流れの一例を示すフロー図である。
まず、測定部281は、検温エリアA1内の一又は複数の利用者の体温を測定する(S101)。測定部281は、利用者の体温を非接触にて測定する。測定部281は、撮像部23によって撮像された撮像画像を取得する。測定部281は、撮像画像が入力された場合に撮像画像において人物を示す人物領域を出力するように学習された学習済みモデルに撮像画像を入力することにより、撮像画像において利用者に対応する人物領域を検出する。学習済みモデルは、例えば、R-CNN(Region with Convolutional Neural Network)又はSSD(Single Shot Detector)等の物体検出用のニューラルネットワークである。
測定部281は、熱画像撮像部24によって生成された熱画像データを取得する。測定部281は、検出された撮像画像の人物領域に対応する熱画像データの領域を特定する。測定部281は、特定した熱画像データの領域の温度を利用者の体温として取得する。測定部281は、取得した撮像画像、検出された人物領域及び取得した体温に基づいて、体温表示画面600を第2表示部25に表示する。
測定部281は、人物テーブル272に記憶された利用者のうちから、検出された人物領域が示す利用者と同一の利用者を特定する。例えば、測定部281は、検出された人物領域の中心位置と、人物テーブル272に記憶された人物領域の中心位置との差分を算出し、差分が所定値以下である利用者を検出された人物領域が示す利用者と同一の利用者として特定する。測定部281は、検出された人物領域を特定する情報及び取得した体温を、特定した利用者の人物IDに関連付けて人物テーブル272に記憶することにより、人物テーブル272を更新する。このように、複数の入力画像にわたって抽出された利用者の追跡処理を行いつつ、追跡対象の利用者ごとに検温結果をあらかじめ人物テーブル272上で対応付けて記憶しておくことで、利用者が応対エリアA2に進入した時点で速やかに当該利用者の検温の結果に応じた案内を実行することが可能になる。
なお、検出された人物領域が示す利用者と同一の利用者が人物テーブル272に記憶されていない場合、測定部281は、検出された人物領域を特定する情報及び取得した体温を新たな人物IDに関連付けて人物テーブル272に記憶する。
続いて、判定部282は、測定された体温が正常であるか否かを判定する(S102)。判定部282は、人物テーブル272に記憶された体温が所定値未満である場合、測定された体温が正常であると判定する。判定部282は、人物テーブル272に記憶された体温が所定値以上である場合、測定された体温が正常でないと判定する。判定部282は、判定の結果を体温に関連付けて人物テーブル272に記憶する。
続いて、検知部283は、検温エリア内の利用者の位置及び進行方向を算出し(S103)、検出処理を終了する。検知部283は、人物テーブル272に記憶された人物領域に対応する距離画像データの領域を特定する。検知部283は、特定された距離画像データの領域に関連付けられた距離情報に基づいて、利用者の位置を算出する。検知部283は、算出した利用者の位置と人物テーブル272に記憶された位置との差分から利用者の進行方向を算出する。検知部283は、算出した利用者の位置及び進行方向を人物テーブル272に記憶する。
図10は、応対エリア内の人物を順次応対対象として、応対対象の人物に対する測定結果に基づく応対を行う通常制御の流れの一例を示すフロー図である。
まず、検知部283は、応対エリア内の利用者が検知されたか否かを判定する(S201)。検知部283は、人物テーブル272に記憶された位置のそれぞれがあらかじめ応対エリアとして設定された範囲に含まれるか否かを判定することにより、応対エリア内の利用者か検知されたか否かを判定する。応対エリア内の利用者が検知されない場合(S201-No)、応対エリア内の利用者が検知されたか否かを判定する処理を繰り返す。
応対エリア内の利用者が検知された場合(S201-Yes)、通常制御部284は、検知された応対エリア内の利用者の体温が正常であるか否かを判定する(S202)。通常制御部284は、人物テーブル272の判定結果を参照し、検知された利用者の体温が正常であるか否かを判定する。また、通常制御部284は、表示装置2から最も近い人物から順次応対を実行することで、複数の人物が検知されている場合でも速やかに応対を行うことができる。
検知された利用者の体温が正常であると判定された場合(S202-Yes)、通常制御部284は、検知された利用者に対する応対として、利用者が進行すべき方向として施設に入場する方向D2を示すようにキャラクタCを制御する(S203)。通常制御部284は、動作テーブル271を参照して、「体温が正常である」の判定結果に関連付けられた動作、音声及び音量を取得する。通常制御部284は、取得した動作をするようにキャラクタCを制御して、第1誘導画面400を第1表示部21に表示させる。また、通常制御部284は、キャラクタCの発話として、取得した音声を、取得した音量で音声出力部26から出力させる。
続いて、通常制御部284は、施設に入場する方向D2を示すようにキャラクタCを制御してから第1の時間が経過したか否かを判定する(S204)。第1の時間は、進行すべき方向を示された利用者が応対エリアを出るために十分となるようにあらかじめ定められた時間であり、例えば、5秒である。第1の時間が経過していないと判定された場合(S204-No)、応対処理はS204に戻る。すなわち、通常制御部284は、第1の時間が経過するまで待機する。
第1の時間が経過したと判定した場合(S204-Yes)、通常制御部284は、他の利用者を応対エリアに誘導し(S205)、当該利用者への応対を行う通常制御を終了して次の利用者への応対を行う。通常制御部284は、キャラクタCの発話として「次の方、どうぞ。」等の音声を音声出力部26から出力することにより、他の利用者を応対エリアに誘導する。すなわち、通常制御部284は、検知された利用者に応対してから第1の時間の経過後に他の利用者に応対する。また、通常制御において、第1の時間が経過したか否かの判断を省略して、利用者への応対を行ってから速やかに次の利用者への応対を開始するようにしてもよい。なお、応対エリア内には複数の人物が存在し得るため、応対エリア内に複数の人物が存在する場合、他の利用者を応対エリアに誘導する処理(S205)は省略され、順次、次の利用者を応対対象として応対を行う通常制御が実行される。
S202において検知された利用者の体温が正常でないと判定された場合(S202-No)、通常制御部284は、検知された利用者に対する応対として、利用者が進行すべき方向として検査エリアへの方向D3を示すようにキャラクタCを制御する(S206)。通常制御部284は、動作テーブル271を参照して、「体温が正常でない」の判定結果に関連付けられた動作及び音声を取得する。通常制御部284は、取得した動作をするようにキャラクタCを制御して、第2誘導画面500を第1表示部21に表示させる。また、通常制御部284は、キャラクタCの発話として、取得した音声を、取得した音量で音声出力部26から出力させる。
続いて、通常制御部284は、検知された利用者の進行方向が施設に入場する方向D2であるか否かを判定する(S207)。通常制御部284は、人物テーブル272を参照して、進行方向が施設に入場する方向D2であるか否かを判定する。
進行方向が施設に入場する方向D2である場合(S207-Yes)、通常制御部284は、警告を出力する(S208)。警告は、キャラクタCの発話としての音声を出力することによってなされる。例えば、通常制御部284は、「左に進んでください。」といった音声を繰り返し音声出力部26から出力することにより、警告を出力する。警告は、キャラクタCの動作を制御することによってされてもよく、効果音を出力することによってなされてもよい。なお、進行方向が施設に入場する方向D2である場合とは、進行方向が方向D2と厳密に一致する場合に限られず、進行方向が方向D2を含む所定の角度範囲に含まれることをいう。進行方向が施設に入場する方向D2でない場合(S207-No)、通常制御はS209に進む。
続いて、通常制御部284は、検査エリアへの方向D3を示すようにキャラクタCを制御してから第2の時間が経過したか否かを判定する(S209)。第2の時間は、進行すべき方向を示された利用者が検査エリアまで移動するために十分となるように予め設定された、第1の時間よりも長い時間であり、例えば、10秒である。第2の時間が経過していないと判定された場合(S209-No)、応対処理はS207に戻る。すなわち、通常制御部284は、第2の時間が経過するまで待機する。
第2の時間が経過したと判定した場合(S209-Yes)、通常制御部284は、他の利用者を応対エリアに誘導し(S205)、当該利用者への応対を行う通常制御を終了して次の利用者への応対に移行する。すなわち、通常制御部284は、検知された利用者に応対してから第2の時間の経過後に他の利用者に応対する。なお、第1の時間が経過したか否かの判断を省略する場合においても、上記のように進行すべき方向を示された利用者が検査エリアまで移動するために十分となるように予め設定された時間を第2の時間とすればよい。
図11は、非常制御の処理の流れの一例を示すフロー図である。
まず、非常制御部285は、検温エリア内の利用者の体温が正常であるか否かを判定する(S301)。非常制御部285は、人物テーブル272の判定結果を参照することにより、利用者の体温が正常であるか否かを判定する。検温エリア内の利用者の体温が正常であると判定された場合(S301-Yes)、検温エリア内の利用者の体温が正常であるか否かを判定する処理を繰り返す。
検温エリア内の利用者の体温が正常でないと判定された場合(S301-No)、非常制御部285は、通常制御を中断する(S302)。非常制御部285は、現在応対中の人物に対して実行されている通常制御が終了するまで待機した後に、次の人物に対する通常制御の処理が実行されないように制御することで、通常制御を中断する。非常制御部285は、現在実行されている通常制御を直ちに中断してもよい。この場合、キャラクタCの発話として「少々お待ちください。」等の音声を出力し、応対エリア内の利用者を待機させる。
続いて、非常制御部285は、体温が正常でないと判定された利用者に対する応対として、検査エリアへの方向D3を示すようにキャラクタCを制御する(S303)。非常制御部285は、動作テーブル271を参照して、「体温が正常でない」の判定結果に関連付けられた動作、音声及び音量を取得する。非常制御部285は、取得した動作をするようにキャラクタCを制御して、第2誘導画面500を第1表示部21に表示させる。
また、非常制御部285は、人物テーブル272の位置を参照し、体温が正常でないと判定された利用者の、他の利用者との位置関係を特定する。他の利用者の位置関係とは、例えば、複数の利用者が検温エリアに並んでいる場合において、体温が正常でないと判定された利用者が何番目に並んでいるかを示す情報である。非常制御部285は、キャラクタCの発話として、特定された位置関係を付して取得した音声を、取得した音量で音声出力部26から出力する。例えば、非常制御部285は、「3番目にお並びの方、左方向へ進み、検査をお願いします。」等の音声を出力する。
続いて、非常制御部285は、体温が正常でないと判定された利用者の進行方向が検査エリアへの方向D3であるか否かを判定する(S304)。非常制御部285は、人物テーブル272の進行方向を参照して、進行方向が検査エリアへの方向D3であるか否かを判定する。進行方向が検査エリアへの方向D3でない場合(S304-No)、応対処理はS304へ戻る。すなわち、非常制御部285は、体温が正常でないと判定された利用者の進行方向が検査エリアへの方向D3であると判定されるまで待機する。
体温が正常でない利用者の進行方向が検査エリアへの方向D3である場合(S304-Yes)、非常制御部285は、他の利用者を応対エリアに誘導し(S305)、非常制御は終了する。なお、S305において応対エリアA2に複数の人物が存在する場合、表示装置に最も近い人物から順次応対を実行する。
以上説明したように、表示装置2は、施設の利用者の体温を測定し、測定された体温が正常であるか否かを判定した結果に応じて利用者が進行すべき方向を示すようにキャラクタCを制御して、利用者に対する応対を行う通常制御を実行する。これにより、表示装置2は、発熱が疑われる者を適切に誘導でき感染リスクを低減できる。
また、表示装置2は、通常制御において、利用者の体温が正常であると判定された場合に、施設に入場する方向D2を示し、利用者の体温が正常でないと判定された場合に、検査エリアへの方向D3を示すようにキャラクタCの動作を制御する。これにより、検温の結果に応じて適切に誘導でき感染リスクを低減できる。
また、表示装置2は、利用者が進行すべき方向として検査エリアへの方向D3が示された場合であって、利用者の進行方向が施設に入場する方向D2である場合に、警告を出力する。これにより、表示装置2は、発熱が疑われる者をより適切に誘導でき感染リスクを低減することを可能とする。
また、表示装置2は、利用者の体温が正常であると判定された場合、利用者に応対してから第1の時間の経過後に他の利用者に応対し、体温が正常でないと判定された場合、利用者に応対してから、第1の時間より長い第2の時間の経過後に他の利用者に応対する。これにより、発熱が疑われる利用者が応対エリアから十分に離れてから他の利用者が応対エリア内に誘導されるようになるため、発熱が疑われる者と他の利用者とが近接するおそれが低減される。
また、表示装置2は、第2誘導画面500におけるキャラクタCの動作が、第1誘導画面400におけるキャラクタCの動作よりも小さくなるように制御する。すなわち、表示装置2は、利用者の体温が正常でないと判定された場合のキャラクタCの動作が、体温が正常であると判定された場合のキャラクタCの動作よりも小さくなるようにキャラクタCの動作を制御する。これにより、利用者に発熱が疑われる場合に、その利用者に対する応対の内容が他者に見られる可能性が小さくなり、発熱が疑われる者のプライバシーを保護することができる。
また、表示装置2は、体温が正常でないと判定された場合のキャラクタCの発話の音量が、体温が正常であると判定された場合の発話の音量よりも小さくなるように、発話の音量を制御する。これにより、利用者に発熱が疑われる場合に、その利用者に対する応対の内容が他者に聞かれる可能性が小さくなり、発熱が疑われる者のプライバシーを保護することができる。
また、表示装置2は、応対エリア内において検知された利用者とは異なる他の利用者の体温が正常でないと判定された場合に、検知された利用者に対する応対を行う通常制御を中断し、他の利用者に対する応対を行う非常制御を実行する。これにより、表示装置2は、発熱が疑われる者を速やかに誘導することを可能とする。
また、表示装置2は、非常制御において、応対した利用者の進行方向が検査エリアへの方向D3である場合に、非常制御を終了して通常制御を実行する。これにより、発熱が疑われる者が非常制御における誘導に従って移動を開始した後に他の利用者に対する応対が行われることとなり、利用者の間での感染のおそれを低減することが可能となる。
上述した説明では、表示装置2は第1記憶処理、通常制御及び非常制御を並行して実行するものとしたが、非常制御を実行せずに、第1記憶処理及び通常制御のみを並行して実行してもよい。
上述した説明では、通常制御部284は、通常制御のS202において検知された人物の体温が正常であるか否かを判定するものとしたが、このような例に限られない。通常制御部284は、利用者が進行すべき方向として施設に入場する方向D2を示すようにキャラクタCを制御してもよい。すなわち、発熱が疑われる者は検温エリアA1内で待機している間に非常制御による応対がなされているため、応対エリアA2に移動した利用者は発熱が疑われる者ではないと考えられる。したがって、このようにすることで、表示装置2の処理負荷を低減しながら発熱が疑われる者を速やかに施設の他の利用者から隔離することが可能となる。
上述した説明では、通常制御部284は、検知された人物の体温が正常であるか否かに応じた案内を行うものとしていたが、これに加えて、撮像画像から利用者がマスクを着用しているか否かを判定し、マスクを未着用と判定された場合、マスクの着用を促すよう音声出力や表示制御をしたり、入場を拒否する案内をしたりしてもよい。また、非常制御部285も、同様に、マスクを着用しているか否かを判定した結果に応じた応対をしてもよい。
上述した説明では、第1の時間及び第2の時間はあらかじめ設定された時間であるものとしたが、このような例に限られない。例えば、表示装置2は、応対した利用者の進行方向として施設に入場する方向D2が検知された時点で、第1の時間が経過したと判定してもよい。また、表示装置2は、応対した利用者が検査エリア内に到達した時点で、第2の時間が経過したと判定してもよい。これにより、発熱が疑われない利用者と次に応対エリアに移動する利用者とが近接することが回避されるとともに、発熱が疑われる者をより適切に他の利用者から隔離することが可能となる。
上述した説明では、判定部282は体温が所定値未満であるか否かに基づいて体温が正常であるか否かを判定するものとしたが、このような例に限られない。例えば、判定部282は、利用者ごとにあらかじめ設定された平熱と測定された体温とを比較することにより、体温が正常であるか否かを判定してもよい。
この場合、記憶部27は、利用者の特徴に関する情報と利用者の平熱とをあらかじめ関連付けて記憶する。利用者の特徴は、例えば、目や鼻の位置関係等、撮像画像から利用者を特定可能な特徴に関する情報である。そして、第1記憶処理のS101において、測定部281は、撮像画像から人物領域を抽出する際に、抽出した人物領域に対応する利用者の特徴をさらに抽出する。また、S102において、判定部282は、抽出した利用者の特徴に基づいてその利用者の平熱を特定し、測定した体温と特定した平熱とを比較することにより体温が正常であるか否かを判定する。例えば、判定部282は、測定した体温と平熱との差が所定値未満である場合に、体温が正常であると判定する。
これにより、オフィスビルなどの利用者があらかじめ限られている施設において、発熱が疑われる利用者を高精度に特定することが可能となる。なお、利用者の平熱は、利用者によってあらかじめ設定されてもよく、測定部281が所定の期間にわたって利用者の体温を測定することによって算出されてもよい。
(第2の実施形態)
図12は、第2の実施形態に係る応対システム1aの概略構成の一例を示す図である。以降では、第1の実施形態と同様の構成については同一の符号を付し、適宜説明を省略する。応対システム1aは、応対システム1と同様に、施設の入口11の近傍に設けられる。
応対システム1aは、入口11から入場した施設の利用者の動線D1上に配置された表示装置2a、表示装置2aの側方に配置されたパーティション13を有する。応対システム1aは、ロープパーティション12を有しない点で応対システム1と相違する。
施設の利用者は、入口11から施設に入場すると、動線D1に従って検温エリアA1内で待機し、一人ずつ応対エリアA2内に移動する。表示装置2aは、検温エリアA1内の利用者の体温を測定し、体温が正常であるか否かを判定する。利用者が応対エリアA2内に移動したとき、表示装置2aは、判定の結果に応じて、利用者が進行すべき方向として施設に入場する方向D2又は検査エリアA3への方向D3を示す。
また、ロープパーティションが設けられていないため、検温エリアA1内には待機している利用者に加え、移動している利用者等の他の利用者も存在する。表示装置2は、検温エリアA1内の利用者の体温が正常でないと判定した場合、複数の利用者のうちから、発話によりその利用者を一意に識別可能な特徴を示す特徴情報を含み且つその利用者を検査エリアA3に移動させる指示情報を出力する。
図13は、表示装置2aの概略構成の一例を示す図である。表示装置2aは、記憶部27が人物テーブル272に代えて人物テーブル272aをデータとして記憶する点で表示装置2と相違する。また、表示装置2aは、処理部28に代えて処理部28aを有する点で表示装置2と相違する。
処理部28aは、表示装置2aの動作を統括的に制御する構成であり、一又は複数個のプロセッサ及びその周辺回路を備える。処理部28aは、記憶部27に記憶されているプログラムに基づいて表示装置2の処理が適切に実行されるように表示装置2aの各構成の動作を制御するとともに、処理を実行する。
処理部28aは、測定部281a、抽出部282a、判定部283a、検知部284a、通常制御部285a、特定部286a及び非常制御部287aを機能ブロックとして備える。これらの各部は、処理部28aが実行するプログラムによって実現される機能モジュールである。これらの各部は、ファームウェアとして表示装置2aに実装されてもよい。
図14は、記憶部27に記憶される人物テーブル272aのデータ構造の一例を示す図である。人物テーブル272aは、人物ID、人物領域、体温、判定結果、位置、進行方向、特徴情報及び識別特徴情報を相互に関連付けて記憶する。
特徴情報は、複数の利用者の特徴を示す情報であり、利用者の服装や所持品等に関する情報である。識別特徴情報は、特徴情報のうち、複数の利用者のうちから、発話により一の利用者を一意に識別可能な特徴情報である。特徴情報及び識別特徴情報は、後述する第2応対処理において、表示装置2aによって生成され、人物テーブル272aに記憶される。
表示装置2aは、後述する第2記憶処理、図10を用いて説明した通常制御及び後述する指示情報出力処理を並行して非同期に実行する。これらの処理は、第1表示部21が警備員を模したキャラクタCを表示している間に、定期又は不定期に繰り返し実行される。これらの処理は、記憶部27に記憶されたプログラムに基づいて、処理部28aが表示装置2aの各構成要素と協働することにより実現される。
図15は、表示装置2aによって実行される第2記憶処理の流れの一例を示す図である。
まず、測定部281aは、検温エリア内の複数の利用者の体温を測定する(S401)。測定部281aは、撮像部23によって撮像された撮像画像を取得する。測定部281aは、撮像画像において利用者に対応する人物領域を検出する。測定部281aは、熱画像撮像部24によって生成された熱画像データの、検出された人物領域に対応する領域の温度を利用者の体温として取得する。測定部281は、検出された利用者に人物IDを設定し、取得した体温と関連付けて人物テーブル272に記憶する。
続いて、抽出部282aは、検温エリア内の複数の利用者のうちから、発話により一の利用者を一意に識別可能な特徴を示す識別特徴情報を抽出する(S402)。抽出部282aは、撮像画像が入力された場合に利用者の服装又は所持品に関する特徴を出力するように学習された学習済みモデルに撮像画像を入力することにより、利用者の服装又は所持品に関する特徴を示す特徴情報を検出する。特徴情報は、例えば、「服装、黒」、「かばん、チェック柄」等のように、あらかじめ設定された服装又は所持品の種別と、服装又は所持品の外観に関する特徴との組合せによって示される。抽出部282aは、検出された特徴情報を、撮像画像における人物領域との位置関係に基づいて利用者と関連付け、人物テーブル272aに記憶する。なお、特徴情報の検出は、S401の人物領域の検出と同時に行われてもよい。
抽出部282aは、記憶された特徴情報のうちから、複数の利用者から発話により一の利用者を一意に識別可能な特徴を示す識別特徴情報を抽出する。図14に示す例では、「服装、赤」の特徴情報を有しているのは「0001」の人物IDの利用者のみであるから、「服装、赤」の特徴情報により、「0001」の人物IDの利用者が一意に識別可能である。したがって、抽出部282aは、「0001」の人物IDの利用者について、「服装、赤」の特徴情報を識別特徴情報として抽出する。同様に、抽出部282aは、「0002」の人物IDの利用者について、「かばん、赤」の特徴情報を識別特徴情報として抽出する。なお、「0003」の人物IDの利用者については、一意に識別可能な特徴情報が検出されていないため、識別特徴情報が抽出されない。抽出部282aは、抽出された識別特徴情報を人物テーブル272aに記憶する。
続いて、判定部283aは、測定された体温が正常であるか否かを判定する(S403)。判定部283aは、判定の結果を体温に関連付けて人物テーブル272aに記憶する。
続いて、検知部284aは、検温エリア内の利用者の位置及び進行方向を算出し(S404)、第2記憶処理を終了する。検知部284aは、S103と同様にして、利用者の位置及び進行方向を算出し、人物テーブル272aに記憶する。
図16は、指示情報出力処理の流れの一例を示すフロー図である。
まず、特定部286aは、体温が正常でないと判定され且つ識別特徴情報が抽出された利用者を特定する(S501)。特定部286aは、人物テーブル272aの判定結果を参照し、体温が正常でないと判定された利用者を特定する。特定部286aは、特定された利用者に識別特徴情報が抽出された利用者が含まれる場合、その利用者を体温が正常でないと判定され且つ識別特徴情報が抽出された利用者として特定する。なお、抽出された利用者に識別特徴情報が抽出された利用者が含まれない場合、特定部286aは利用者を特定せず(S501-No)、指示情報出力処理は終了する。
体温が正常でないと判定され且つ識別特徴情報が抽出された利用者が特定された場合(S501-Yes)、非常制御部287aは、特定された人物の進行方向が施設から退場する方向であるか否かを判定する(S502)。非常制御部287aは、人物テーブル272aを参照して、特定された人物の進行方向として施設から退場する方向が検知されたか否かを判定する。施設から退場する方向とは、利用者の現在の位置から出口14に向かう方向である。
進行方向が施設から退場する方向でない場合(S502-No)、非常制御部287aは、通常制御を中断する(S503)。
続いて、非常制御部287aは、識別特徴情報を含み且つ特定された利用者を検査エリアに移動させる指示情報を出力する(S504)。例えば、識別特徴情報が「かばん、赤」である場合、非常制御部287aは、「赤いかばんをお持ちの方、左方向へ進み、検査エリアに移動してください。」等の音声を音声出力部26から出力する。
続いて、非常制御部287aは、特定された利用者の進行方向が検査エリアへの方向D3であるか否かを判定する(S505)。非常制御部287aは、人物テーブル272aを参照して、進行方向が検査エリアへの方向D3であるか否かを判定する。進行方向が検査エリアへの方向D3でない場合(S505-No)、指示情報出力処理はS505に戻る。すなわち、非常制御部287aは、特定された利用者の進行方向が検査エリアへの方向D3であると判定されるまで待機する。
続いて、非常制御部287aは、他の利用者を応対エリアに誘導する(S506)。なお、応対エリア内には複数の人物が存在し得るため、応対エリア内に複数の人物が存在する場合、他の利用者を応対エリアに誘導する処理(S506)は省略され、順次、次の利用者への処理に移る。
S502において、進行方向が施設から退場する方向である場合(S502-Yes)、指示情報出力処理は終了する。すなわち、特定された利用者の進行方向が施設から退場する方向である場合、非常制御部287aは、指示情報を出力しない。
以上説明したように、表示装置2aは、施設の利用者の体温を測定するとともに、複数の利用者から発話により一の利用者を一意に識別可能な特徴を示す特徴情報を抽出する。また、表示装置2aは、体温が正常でないと判定され且つ識別特徴情報が抽出された人物が特定された場合に、識別特徴情報を含み且つ特定された人物を検査エリアに移動させる指示情報を出力する。これにより、表示装置2aは、発熱が疑われる者を適切に誘導し感染リスクを低減することを可能とする。
すなわち、検温エリアに待機している利用者以外に、移動している利用者等の他の利用者が含まれる場合、他の利用者に発熱が疑われる場合でも、その利用者に対して適切に指示情報を伝えることは難しい。表示装置2aは、指示情報に識別特徴情報を含めることにより、出力された指示情報が自身に対するものであることを発熱が疑われる利用者が認識しやすくし、発熱が疑われる者を適切に誘導し感染リスクを低減することを可能とする。
また、表示装置2aは、応対エリア内の人物に対する応対を行う通常制御を実行し、体温が正常でないと判定され且つ識別特徴情報が抽出された人物が特定された場合に、通常制御を中断して指示情報を出力する。これにより、表示装置2aは、発熱が疑われない利用者への案内を行いながら、発熱が疑われる者を適切に誘導し感染リスクを低減することを可能とする。
また、表示装置2aは、特定された利用者の進行方向が施設から退場する方向である場合、特定された利用者に対する指示情報を出力しない。これにより、表示装置2aは、施設を退場しようとしている利用者に対し、不要な検査を促すことがなくなる。
上述した説明では、S501において、特定部286aは、体温が正常でないと判定され且つ識別特徴情報が抽出された利用者を特定するものとしたが、このような例に限られない。S501において、特定部286aは、体温が正常でないと判定され且つ識別特徴情報が抽出された利用者のうち、応対エリア外の利用者のみを特定してもよい。これにより、表示装置2aは、応対エリア外の発熱が疑われる者に対しても速やかに誘導を行え、感染リスクを低減することを可能にする。
上述した説明では、識別特徴情報は、利用者の服装又は所持品に関する情報であるものとしたが、このような例に限られない。識別特徴情報は、他の利用者の服装又は所持品に関する情報と、他の利用者との関係を示す情報とを含んでもよい。例えば、表示装置2aは、「赤い服の方の後ろにお並びの方。」等の音声を指示情報として出力する。これにより、自身が複数の利用者のうちから、発話により一意に識別可能な特徴情報を有しない利用者に対しても指示情報を出力できるようになり、発熱が疑われる利用者を適切に他の利用者から隔離することが可能となる。また、表示装置2aは、利用者の特徴情報から識別特徴情報が抽出されない場合に、他の利用者の服装又は所持品に関する情報と、他の利用者との関係を示す情報とを含む識別特徴情報を生成するようにしてもよい。また、上述した、体温が正常でないと判定された利用者の、他の利用者との位置関係を識別可能情報として用いてもよい。また、 オフィス等で利用者の顔情報が予め登録されている場合、顔認証により利用者を特定して、当該利用者の氏名を識別特徴情報として用いるようにしてもよい。
上述した説明では、表示装置2aは、警備員を模したキャラクタCを表示する第1表示部21を有するものとしたが、このような例に限られない。表示装置2aは、第1表示部21に代えて警備員を模したロボットを有し、利用者に対する応対として、ロボットの駆動機構を制御してもよい。ロボットは、関節にアクチュエータ等の駆動機構を有し、姿勢を変更することができる。この場合、表示装置2は、通常制御のS203において、利用者に対する応対として、ロボットが施設に入場する方向を示す姿勢となるようにロボットの駆動機構を制御する。また、表示装置2は、通常制御のS206及び非常制御のS303において、利用者に対する応対として、ロボットが検査エリアへの方向を示す姿勢となるようにロボットの駆動機構を制御する。また、表示装置2aは、音声を出力することのみによって利用者に対する応対を行ってもよい。
当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。例えば、上述した各部の処理は、本発明の範囲において、適宜に異なる順序で実行されてもよい。また、上述した実施形態及び変形例は、本発明の範囲において、適宜に組み合わせて実施されてもよい。