JP6812325B2 - ロボット管理システム - Google Patents

Description

本発明は、人にサービスするロボットを管理するロボット管理システムに関する。

従来、カメラで撮影された人物が特定の領域に滞在した時間を計測し、滞在時間に基づいて、物品を設置する領域に接する第１領域、及び第１領域に接する第２領域で移動又は静止する人物に対して移動ロボットが案内を行う技術がある（例えば、特許文献１参照。）。

特開２００７−１５２４４２号公報

しかしながら、特許文献１に記載のように人物が特定の領域に滞在（滞留）した時間を計測するだけでは、その滞留の要因を判定し、滞留した人物が望むサービスを適切に提供することができない。

本発明は、上記の状況を考慮してなされたものであり、ある領域に滞留する人物に対してロボットがその人物が望むサービスを適切に提供できるようにする。

本発明の一態様のロボット管理システムは、移動可能なロボットと、撮影を行うカメラと、カメラにより撮影された映像から人物を検出する人物検出部と、を備え、人物検出部により検出された人物にロボットがサービスを提供するロボット管理システムである。
上記ロボット管理システムは、行動パターンテーブルと、行動パターン判定部を備える。行動パターンテーブルには、人物の静止時間、動作時間、及び静止時間と動作時間の組み合わせの繰り返しによって定義される行動パターンと人物に提供されるサービスとが対応づけて登録される。行動パターン判定部は、カメラの映像から検出された人物の行動が、行動パターンテーブルに登録された行動パターンに合致する場合に、該当する行動パターンに基づいて行動パターンテーブルからロボットが人物に提供するべきサービスを決定する機能を備える。

本発明の少なくとも一態様によれば、滞留する人物に対してロボットがその人物が望むサービスを適切に提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の一実施形態例によるロボット管理システムの全体構成例を示すブロック図である。 本発明の一実施形態例に係るロボットの構成例を示す機能ブロック図である。 本発明の一実施形態例に係るロボット制御装置の構成例を示す機能ブロック図である。 本発明の一実施形態例に係るロボット監視センタの構成例を示す機能ブロック図である。 本発明の一実施形態例に係るカメラ制御装置の構成例を示す機能ブロック図である。 本発明の一実施形態例に係るロボット及び監視カメラが配置された建物の内部（第１の例）を示す説明図である。 本発明の一実施形態例に係るロボット及び監視カメラが配置された建物の内部（第２の例）を示す説明図である。 本発明の一実施形態例に係るロボット管理テーブルのデータ構造の一例を示す説明図である。 本発明の一実施形態例に係る監視カメラ管理テーブルのデータ構造の一例を示す説明図である。 本発明の一実施形態例に係る行動パターンテーブルのデータ構造の一例を示す説明図である。 本発明の一実施形態例に係る行動判定結果データベースのデータ構造の一例を示す説明図である。 本発明の一実施形態例に係るロボット管理システムによる滞留者の行動パターンに基づくサービス提供の手順例を示すフローチャートである。

以下、本発明を実施するための形態（以下、「実施形態」と記述する）の例について、添付図面を参照しながら説明する。本明細書及び添付図面において実質的に同一の機能又は構成を有する構成要素については、同一の符号を付して重複する説明を省略する。

＜１．一実施形態＞
［ロボット管理システムの全体構成］
始めに、図１を参照して、本発明の一実施形態例（以下、「本例」ともいう）に係るロボット管理システムの全体構成例を説明する。図１は、ロボット管理システム１の全体構成例を示すブロック図である。

図１に示すように、ロボット管理システム１は、複数台のロボット１００、ロボット制御装置１１０、及びロボット監視センタ１２０を備える。本例のロボット管理システム１では、建物３００内に、ロボット１００、ロボット制御装置１１０、監視カメラ２００、及びカメラ制御装置２１０が配置される。

ロボット１００と、ロボット１００を制御するロボット制御装置１１０は、例えば、無線ＬＡＮ（local area network）等を介して接続されている。また、一又は複数の監視カメラ２００は、建物３００内を撮影することが可能である。カメラ制御装置２１０は、監視カメラ２００が撮影した映像を有線ＬＡＮ等を介して記録する。ロボット制御装置１１０とカメラ制御装置２１０は、有線ＬＡＮ等を介して接続されており、互いにデータの送受信が可能となっている。ロボット制御装置１１０とカメラ制御装置２１０は、互いの距離が近い場合には、無線ＬＡＮなどの無線通信手段により接続されてもよい。

ロボット１００は、建物３００内にいる人物（利用者）に向けて自律移動し、この利用者に対して建物３００内の案内や商品情報の提案などを行う自律移動型の提案ロボットである。商品情報とは、例えば、建物３００内に設置される店舗等で取り扱われる商品に関する情報である。以下、ロボット１００が利用者に対して行うこれらの案内や提案などの行為を「サービス」と称する。ロボット１００は、通常、建物３００内のフロアの決められた位置で待機している。ロボット１００は、建物３００内に設置されたロボット制御装置１１０と通信を行い、ロボット制御装置１１０により無線で制御されるように構成されている。

例えばロボット制御装置１１０が利用者を検知し、ロボット１００に移動指示を出すと、ロボット１００が待機位置から目的地まで移動するルートが、ロボット制御装置１１０からの指示でロボット１００に設定される。ロボット１００は指定された利用者の位置まで自律移動し、案内や提案などのサービスを行う。利用者へのサービスが終了すると、ロボット１００は、自律移動して元の待機位置まで戻るか、次の利用者の元へ移動する。

なお、本例のロボット１００における自律移動とは、ロボット自身が動いて移動することを意味し、移動のために必要な判断（ルートの判断など）をロボット自身が全て自律的に行うことを意味するものではない。すなわち、ロボット１００が移動するルートは、上述したようにロボット制御装置１１０からの指示で設定され、ロボット１００単体で自律的に移動するルートなどを判断する構成になっていない。但し、ロボット１００が移動に必要な判断を全て行うようにしてもよい。

ロボット制御装置１１０は、ロボット１００にサービスを実行するよう指令を行う他に、インターネット等のネットワークＮを介して、建物３００の外部に設置されたロボット監視センタ１２０との通信を行う。

ロボット監視センタ１２０は、通常、複数の建物３００に設置されているロボット制御装置１１０との通信を行い、各建物３００に配置されているロボット１００の管理状況等を監視する。

監視カメラ２００は、建物３００の出入口、共用エリア、レストラン・ショップエリア等に各々一又は複数台設置されている。即ち監視カメラ２００は、建物３００内の人が行き交う場所、人が通行する通路などに設置されている。監視カメラ２００は、各撮影エリア（撮影空間）内に映っている人を撮影し続け、撮影により得られた映像データを有線ＬＡＮを介してカメラ制御装置２１０へ送信している。もちろん、監視カメラ２００は、カメラ制御装置２１０からの指示に基づいて撮影方向及び撮影倍率を任意に変更して撮影可能である。以下の説明において、監視カメラ２００が撮影の対象とする撮影エリア（撮影場所）である共用エリア、レストラン・ショップエリア等を区別しない場合には「エリア」と総称することもある。

カメラ制御装置２１０は、監視カメラ２００から取得した映像データを記録すると共に、この映像データを有線ＬＡＮを介してロボット制御装置１１０に供給する。カメラ制御装置２１０に記録されたデータは、ロボット制御装置１１０経由でネットワークＮを経由し、ロボット監視センタ１２０に供給される。本例では、後述するように映像データの解析をロボット制御装置１１０で行うが、カメラ制御装置２１０で映像データの解析を行う構成としてもよい。

本実施形態では、監視カメラ２００の設置場所を建物３００の内部としているが、設置場所は屋内に限られない。例えば監視カメラ２００が、屋外の施設又は任意の施設に属する建物の外を撮影できる位置に設置されていてもよい。

［ロボットの構成］
図２は、ロボット１００の内部構成例を示す機能ブロック図である。
図２に示すように、ロボット１００は、ＣＰＵ１０４を備え、ＣＰＵ１０４の制御下で各処理が実行されるコンピュータ装置と、そのコンピュータ装置に接続された周辺機器で構成される。ロボット１００は、バスラインを介して接続された主記憶装置１０１、入出力装置１０２、及び通信インターフェース１０３を備える。ロボット１００は、後述する図７及び図８に示す所定のエリアを移動可能である。

主記憶装置１０１は、駆動制御部１０１ａ、対話制御部１０１ｂ、及び入出力部１０１ｃを備える。駆動制御部１０１ａ、対話制御部１０１ｂ、及び入出力部１０１ｃは、ＣＰＵ１０４からの指令に基づいて動作するコンピュータープログラムが持つ機能である。コンピュータープログラムは、不図示の不揮発性の大容量記録装置に記録されており、大容量記録装置から必要なコンピュータープログラムが主記憶装置１０１に読み出される。

駆動制御部１０１ａは、ロボット１００を自律移動させる駆動制御を行う。例えば、駆動制御部１０１ａは、ロボット１００が移動する際に、ロボット１００のカメラ１０２ａが撮影した映像や、測域センサ１０２ｄが電磁波により検出した自分の位置からロボット１００の周囲の状況を判断し、対象物との距離に関するデータを用いて、人、壁等の障害物を避けてロボット１００を移動させる。また、駆動制御部１０１ａは、ジャイロセンサ１０２ｃを用いてロボット１００の機体の傾きを検知し、ロボット１００が倒れずに移動する制御を行う。

対話制御部１０１ｂは、入出力装置１０２が備えるマイクロフォン１０２ｂとスピーカ１０２ｅを用いて音声によって対象者との対話を制御する。一例を挙げると、対話制御部１０１ｂは、提案（サービス実行）に必要となる発話等の音声情報をスピーカ１０２ｅから出力し、マイクロフォン１０２ｂを通して対象者からの音声による回答を得る。これは、対象者から回答を得る方法の一例を示したものであり、代替手段の例として、ロボット１００に表示パネルやタッチパネルを取り付け、この表示パネル及びタッチパネルを通じて案内情報や商品情報などを表示してもよい。対象者は、タッチパネルを操作することにより回答や希望する情報を得ることができる。
入出力部１０１ｃは、入出力装置１０２との間で、データの入出力動作を実行する他、通信インターフェース１０３経由で、ロボット制御装置１１０との間でデータの入出力動作を実行する。

入出力装置１０２は、カメラ１０２ａ、マイクロフォン１０２ｂ、ジャイロセンサ１０２ｃ、測域センサ１０２ｄ、スピーカ１０２ｅ、及び駆動機構１０２ｆを備える。

カメラ１０２ａは、ロボット１００の周囲の撮影エリア（撮影空間）を撮影し、撮影により得られた映像データを主記憶装置１０１又は不図示の大容量記録装置に送出する。カメラ１０２ａは、ＣＣＤやＣＭＯＳ等の撮像装置を用いて構成される。一般にロボット１００のカメラ１０２ａは、撮影対象である人物の身長（例えば一般的な人（子どもを含む）の平均身長）よりも低い位置に配置されるが、この例に限られない。

マイクロフォン１０２ｂは、対象者からの音声情報を取得する。カメラ１０２ａで取得された画像情報、及びマイクロフォン１０２ｂで取得された音声情報等の各種データは、通信インターフェース１０３を経由してロボット制御装置１１０に供給される。
ジャイロセンサ１０２ｃは、ロボット１００に加わる角加速度からロボット１００の傾き等を検出し、通信インターフェース１０３を経由して検出データをロボット制御装置１１０に供給する。

測域センサ１０２ｄは、ロボット１００の位置を特定するためのセンサであり、併せてロボット１００の周囲環境を検知する。測域センサ１０２ｄは、レーザ光や赤外線等を射出し、周囲の物体からの反射を検出する。この測域センサ１０２ｄにより、ロボット１００の位置及び障害物等を含む周囲の空間形状が計測され、計測されたデータが通信インターフェース１０３を経由してロボット制御装置１１０に送られる。
スピーカ１０２ｅは、対話制御部１０１ｂで生成された、サービス対象者である滞留者への提案に必要な定型句等の対話用の音声を対象者に対して出力する。

駆動機構１０２ｆは、駆動制御部１０１ａからの指示に基づいて、ロボット１００を移動させる。駆動機構１０２ｆは、少なくとも車輪を駆動させるモータを備える。あるいは、ロボット１００が人型ロボットである場合には、歩行による移動を行うため、脚に相当する部材を駆動するアクチュエータを備える。

通信インターフェース１０３は、図１に示すように、ロボット制御装置１１０の通信インターフェース１１２（図３を参照）と無線ＬＡＮ等で接続されている。この通信インターフェース１０３は、入出力装置１０２が収集したデータをロボット制御装置１１０に出力し、またロボット制御装置１１０からの指示を受け取る。

また、駆動制御部１０１ａは、ロボット１００が移動する際に、カメラ１０２ａが撮影した画像や、測域センサ１０２ｄが検出した周囲状況を判断して、移動を停止したり障害物等を避けたりする動作の制御を行う。本例の場合には、ロボット１００が移動できる移動可能範囲は、予め決められた範囲（後述する撮影エリアとその周辺など）に制限される。つまり、駆動制御部１０１ａが判断するロボット１００の現在位置は、その移動可能範囲内での位置に留まる。

［ロボット制御装置の構成］
図３は、ロボット制御装置１１０の内部構成例を示す機能ブロック図である。ロボット制御装置１１０は、ＣＰＵ１１３の制御下で各処理が実行されるコンピュータ装置で構成される。
ＣＰＵ１１３は、バスラインを介して接続された主記憶装置１１１及び通信インターフェース１１２と接続されている。

主記憶装置１１１は、ＣＰＵ１１３の指令に基づいて動作する入出力データ処理部１１１ａ、移動指示部１１１ｂ、及びロボット管理テーブル１１１ｃを備える。また、主記憶装置１１１は、人物検出部１１１ｄ、行動分析部１１１ｅ、行動パターン判定部１１１ｆ、行動パターンテーブル１１１ｇ、及びシナリオ格納部１１１ｈを備える。行動分析部１１１ｅ及び行動パターン判定部１１１ｆはそれぞれ、サービス決定機能を構成する要素の一例である。

入出力データ処理部１１１ａは、通信インターフェース１１２を介してロボット１００やカメラ制御装置２１０やロボット監視センタ１２０とのデータの送受信の処理を行う。

移動指示部１１１ｂは、行動分析部１１１ｅにより滞留者であると判定された人物（サービス対象者）の位置まで、ロボット１００を移動させる指示を行う。この指示には、ロボット１００が移動するルートが含まれる。ルートの一例として、滞留者がいるところまでロボット１００を誘導するルート、滞留者へのサービスの提供が終了したときにロボット１００を元の待機位置に戻すためのルート、又は次の滞留者までロボット１００を誘導するルートがある。

ロボット管理テーブル１１１ｃには、ロボット制御装置１１０が管理対象とするロボット１００の管理データが格納される。ロボット管理テーブル１１１ｃの詳細は、図８において後述する。

人物検出部１１１ｄは、監視カメラ２００により撮影された映像に基づいて、人物を検出する。映像内の人物は、例えば人物の顔即ち顔画像、あるいは人物の歩容を検出することにより検出可能である。ここで、「歩容」とは、人が歩行するときの身体運動の様子を指しており、見た目に表れる歩き方のことをいう。人物検出部１１１ｄは、映像から人物を検出するとその人物を一意に特定するための人物ＩＤ（識別情報）を一時付与するとともに、映像から当該人物の位置（二次元座標又は三次元座標）を算出する。それにより、人物検出部１１１ｄは、検出した人物の位置を座標によって識別することが可能である。

行動分析部１１１ｅは、人物検出部１１１ｄにより映像から検出された人物の静止時間、動作時間、及び静止時間と動作時間の組み合わせの繰り返し（行動周期数）の各項目（図１０の行動パターンテーブル１１１ｇ参照）を計算することにより、対象人物の行動を分析する。この各項目の計算結果と行動パターンテーブル１１１ｇに記憶した行動パターンとに基づいて、行動パターン判定部１１１ｆによる滞留者の検出が行われる。本例では、静止時間と動作時間の一つの組み合わせを一行動周期とし、一行動周期の繰り返し回数を行動周期数としている。なお、静止時間と動作時間の順番はいずれが先でもよいが、静止の有無を判断した（静止時間を計算）後に動作時間を計算する流れが自然であるといえる。

ここで、本明細書において静止とは、人物がその場に立ち止まっていることや極狭い範囲内に留まっていることである。また滞留者とは、静止している人、又は、静止と動作を周期的に行っている人のうち、予め設定した条件（行動パターン）に合致する人である。例えば行動分析部１１１ｅは、同じ場所が連続して撮影された複数の画像を比較し、一定の位置若しくは一定範囲内に一定時間留まっている人物を検出する。

行動分析部１１１ｅが人物の滞留を検出するねらいは、撮影エリア内にいる人物に提供するサービスの精度を高めることである。静止する人物や、静止と動作を繰り返す人物は、何らかの興味や困りごとを有している可能性が高い。そのため、本実施形態におけるロボット１００は、ただ通り過ぎる人にはサービスを提供しないように制御される。あくまでもサービス提供の対象となる人物は、撮影エリアでの静止時間が長い、又は静止と動作を繰り返している人である。

行動パターン判定部１１１ｆは、行動分析部１１１ｅによる行動解析結果と行動パターンテーブル１１１ｇに記憶した行動パターンを比較し、滞留者の検出と滞留者の行動パターンの判定を行い、判定結果に基づいてロボットが滞留者に提供するべきサービスを決定する。この行動パターン判定部１１１ｆは、滞留者に対しロボットから提供するべきサービスを決定する機能を備えるという点でサービス決定部とも言える。また、行動パターン判定部１１１ｆは、滞留者であると判定した人物の人物ＩＤと滞留者であると判定したときの各種データを、通信インターフェース１１２を介してロボット監視センタ１２０へ供給する。そして、滞留者の人物ＩＤと滞留者であると判定したときの各種データが、行動パターンテーブル１１１ｇに登録される。

行動パターンテーブル１１１ｇには、事前に建物毎に登録した滞留者の行動パターンの情報が格納されている。行動パターンテーブル１１１ｇは、行動パターン判定部１１１ｆが滞留者の行動パターンを判定する際に参照される。

シナリオ格納部１１１ｈは、行動パターン判定部１１１ｆが判定した要因・サービスに対応する、ロボット１００が滞留者へ提供するサービスの内容が記述されたシナリオデータが格納される。

さらに、ロボット制御装置１１０は、ロボット１００及びネットワークＮと相互に通信可能な通信インターフェース１１２を有する。通信インターフェース１１２は、ネットワークＮを経由して、ロボット１００との無線通信を行う他、ロボット監視センタ１２０との通信を行う。

［ロボット監視センタの構成］
図４は、ロボット監視センタ１２０の内部構成例を示す機能ブロック図である。ロボット監視センタ１２０は、ＣＰＵ１２４の制御下で各処理が実行されるコンピュータ装置から構成される。ＣＰＵ１２４は、バスラインを介して接続された主記憶装置１２１、操作部１２２、及び通信インターフェース１２３の制御を司る。

主記憶装置１２１は、映像データ記憶部１２１ａ、行動データ記憶部１２１ｂ、及びロボット管理テーブル１２１ｃを備える。

映像データ記憶部１２１ａには、監視カメラ２００で撮影された映像が記憶される。
行動データ記憶部１２１ｂには、ロボット制御装置１１０から送信された、行動パターン判定部１１１ｆが滞留者ありと判定した際の各種データが蓄積される行動判定結果データベース１２１ｂＤ（図１１参照）が記憶される。 ロボット管理テーブル１２１ｃには、複数のロボット制御装置１１０の各々に管理されているロボット１００の管理データがまとめて格納される。
映像データ記憶部１２１ａ、行動データ記憶部１２１ｂ、及びロボット管理テーブル１２１ｃに記憶された各データは、不図示の大容量記憶装置に記憶されていてもよい。

操作部１２２には、例えば、キーボード、マウス又はタッチパネル等が用いられ、システム管理者が所定の操作を行い、指示を入力することが可能である。
通信インターフェース１２３は、ネットワークＮを介してロボット制御装置１１０との通信を行う。

［監視カメラの構成］
監視カメラ２００は、遠隔地からの操作が可能なカメラであり、いわゆるネットワークカメラである。監視カメラ２００は、ＣＣＤやＣＭＯＳ等の撮像装置（図示略）を備え、撮像装置により撮影された映像を処理して不図示の通信インターフェースを介してカメラ制御装置２１０へ送信する。一般に監視カメラ２００は、撮像装置から出力される生データ（ＲＡＷ画像）をカメラ制御装置２１０で処理可能なデータ形式に変換する映像処理部を備える。

［カメラ制御装置の構成］
図５は、カメラ制御装置２１０の内部構成例を示す機能ブロック図である。
カメラ制御装置２１０は、ＣＰＵ２１３の制御下で各処理が実行されるコンピュータ装置から構成される。ＣＰＵ２１３は、バスラインを介して接続された主記憶装置２１１及び通信インターフェース２１２の制御を司る。

主記憶装置２１１は、ＣＰＵ２１３からの指令に基づいて動作する入出力データ処理部２１１ａ、映像データ記憶部２１１ｂ、及び監視カメラ管理テーブル２１１ｃを備える。
入出力データ処理部２１１ａは、通信インターフェース２１２を介して監視カメラ２００及びロボット制御装置１１０との間で通信されるデータの入出力を行う。
映像データ記憶部２１１ｂには、監視カメラ２００で撮影された映像が記録される。
監視カメラ管理テーブル２１１ｃには、各監視カメラ２００の管理データが格納される。監視カメラ管理テーブル２１１ｃの詳細は、図９にて後述する。

通信インターフェース２１２は、ロボット制御装置１１０と有線ＬＡＮ等で通信を行う他、有線ＬＡＮ等を介して、監視カメラ２００との通信を行う。

以上の説明では、ロボット１００、ロボット制御装置１１０、ロボット監視センタ１２０及びカメラ制御装置２１０のそれぞれに、図２〜図５のブロック図に示した機能を分担させて、本例のロボット管理システム１を実現している。しかしながら、これらロボット１００、ロボット制御装置１１０、ロボット監視センタ１２０及びカメラ制御装置２１０が担う機能は、必ずしも固定されるものではない。特に、ロボット制御装置１１０が持つ機能の一部をロボット監視センタ１２０又はロボット１００に持たせることも可能である。但し、ロボット１００は単体として構成されるため、ロボット１００に多くの機能を含めたくないというシステム運用者の要望にも配慮することが望ましい。

［監視カメラの配置例］ 図６は、ロボット１００及び監視カメラ２００が配置された建物の内部（第１の例）を示す見取り図である。図７は、建物の内部（第２の例）を示す見取り図である。図６及び図７は、建物３００の例として空港３０１を示している。

図６に示す空港３０１の１階には、第１の撮影エリアとして国際線到着ロビーを撮影する監視カメラ２００−１が設置されている。国際線到着ロビーにいる人物へのサービス提供はロボット１００−１が担当する。

図７に示す空港３０１の２階には、第２の撮影エリアとしてレストラン・ショップエリアを撮影する監視カメラ２００−２と、第３の撮影エリアとして国際線出発ロビーを撮影する監視カメラ２００−３が設置されている。レストラン・ショップエリアにいる人物へのサービス提供はロボット１００−２が担当し、国際線出発ロビーにいる人物へのサービス提供はロボット１００−３が担当する。なお、監視カメラ２００−１，２００−２，２００−３を特に区別する必要がない場合には、監視カメラ２００と称する。監視カメラ２００は、撮影エリアを俯瞰できる位置に設置される。

［各種テーブルのデータ構造］
（ロボット管理テーブル） 図８は、ロボット管理テーブル１１１ｃ，１２１ｃのデータ構造の一例を示す。
ロボット管理テーブル１１１ｃ，１２１ｃは、顧客ＩＤ、施設ＩＤ、グローバルＩＰ、ロボットＩＤ、ローカルＩＰ、及びエリアの各項目を備える。

「顧客ＩＤ」は、ロボット１００の提供者と交わした契約に基づいてロボット若しくは本実施形態に係るビジネスモデルを利用する顧客を一意に特定するＩＤ（識別情報）である。
「施設ＩＤ」は、ロボットが配置される施設を一意に特定するＩＤである。施設は、屋内及び屋外を問わず、例えば屋内の例を挙げるならば建物の全区画又は一部の区画である。
「グローバルＩＰ」は、対象施設に設けられた通信機器のグローバルＩＰ（Internet Protocol）アドレスである。
「ロボットＩＤ」は、ロボット１００を一意に特定するＩＤである。
「ローカルＩＰ」は、ロボット１００（通信インターフェース１０３）のローカルＩＰアドレスである。
「エリア」は、対象施設内においてロボット１００が存在するエリア即ちロボット１００が移動可能なエリアを表す。図６及び図７の例では、国際線到着ロビー、レストラン・ショップエリア、国際線出発ロビーなどが該当する。なお、本例では、このロボット管理テーブル１１１ｃ，１２１ｃの「エリア」と、後述する監視カメラ管理テーブル２１１ｃの「エリア」が示す場所を、一致させてある。

図８の例によれば、例えばロボット提供者が顧客ＩＤ“００１”の顧客とロボット提供契約を結び、施設ＩＤ“００１”である施設において３台のロボット１００が利用されている。施設ＩＤ“００１”の施設では、ロボットＩＤ“００１”のロボット１００がエリア“Ｂ３”に配置され、ロボットＩＤ“００２”のロボット１００がエリア“Ｂ２”に配置され、ロボットＩＤ“００３”のロボット１００がエリア“Ｃ２”に配置されている。

ロボット制御装置１１０が持つロボット管理テーブル１１１ｃは、そのロボット制御装置１１０が制御するロボット１００のみの情報を管理する。一方、ロボット監視センタ１２０が持つロボット管理テーブル１２１ｃは、そのロボット監視センタ１２０が監視する全てのロボット制御装置１１０が制御するロボット１００の情報を管理する。ロボット１００が駆動機構１０２ｆを有する場合には、ロボット１００の位置を表すエリアは、ロボット１００の持つ測域センサ１０２ｄやロボット１００の持つ駆動機構１０２ｆの移動履歴（走行履歴）、不図示のビーコンなどを用いて取得される。

（監視カメラ管理テーブル） 図９は、監視カメラ管理テーブル２１１ｃのデータ構造の一例を示す。
監視カメラ管理テーブル２１１ｃは、顧客ＩＤ、施設ＩＤ、グローバルＩＰ、監視カメラＩＤ、ローカルＩＰ、及びエリアの各項目を備える。以下に、監視カメラ管理テーブル２１１ｃの各項目について説明するが、ロボット管理テーブル１２１ｃの項目と重複する項目については説明を簡略する。

「顧客ＩＤ」は、顧客を一意に特定するＩＤである。
「施設ＩＤ」は、施設を一意に特定するＩＤである。
「グローバルＩＰ」は、対象施設内の通信機器のグローバルＩＰアドレスである。
「監視カメラＩＤ」は、監視カメラ２００を一意に特定するＩＤである。
「ローカルＩＰ」は、監視カメラ２００（不図示の通信インターフェース）のローカルＩＰアドレスである。
「エリア」は、対象施設内に配置された監視カメラ２００の位置、即ち監視カメラ２００が撮影対象とするエリアを表す。

図９の例によれば、例えばロボット提供者が顧客ＩＤ“００１”の顧客と契約を結んだロボット提供施設に関し、施設ＩＤ“００１”の施設において３台の監視カメラ２００が配置されている。施設ＩＤ“００１”の施設では、監視カメラＩＤ“００１”の監視カメラ２００がエリア“Ｂ３”に配置され、監視カメラＩＤ“００２”の監視カメラ２００がエリア“Ｂ２”に配置され、監視カメラＩＤ“００３”の監視カメラ２００がエリア“Ｃ２”に配置されている。

（行動パターンテーブル）
図１０は、行動パターンテーブル１１１ｇのデータ構造の一例を示す。
行動パターンテーブル１１１ｇは、ＮＯ、施設ＩＤ、施設名、監視カメラＩＤ、対象時間帯、行動パターン名、静止時間、動作時間、行動周期数、要因・サービスの各項目を備える。

「ＮＯ」は、行動パターンテーブル１１１ｇに記憶されるデータの任意番号である。
「施設ＩＤ」は、ロボット管理テーブル１１１ｃ，１２１ｃ及び監視カメラ管理テーブル２１１ｃに格納されるものと同じである。
「施設名」は、施設ＩＤが示す施設の名称を表す。
「監視カメラＩＤ」は、監視カメラ管理テーブル２１１ｃに格納されるものと同じである。
「対象時間帯」は、該当する行動パターンが対象とする時間帯、言い換えれば該当する行動パターンが適用される時間帯である。
「行動パターン名」は、施設ＩＤと紐付けて登録される行動パターンの名称を表す。
「静止時間」は、人物が静止している連続時間を表す。
「動作時間」は、人物が動作している連続時間を表す。
「行動周期数」は、静止と動作の繰り返し行動周期が実施される数を表す。
「要因・サービス」は、対象人物の行動が登録された行動パターンに合致した場合に、滞留要因とロボット１００が対象人物（滞留者）に提供するサービスを示す。

例えば、案内希望の人物は、周囲の案内表示板や電光表示装置の情報を頻繁に見ることが多い。即ち案内希望の場合、静止時間が短く、繰り返し行動が多い傾向がある。また、体調不良の人物は、動作が鈍い、うずくまるなどの行動により、傾向として静止時間が長く、繰り返し行動が少ない。このような体調不良の人が検出された場合には、ロボット１００を対象人物へ急行させる必要がある。

図１０に示す行動パターンテーブル１１１ｇの例では、施設ごとに、時間帯別の利用者の交通量及び対象場所の特定を考慮し、行動パターンが設定されている。監視カメラＩＤ“００１”の撮影エリア（国際線到着ロビー）における行動パターンは、午前に人の行き交いが多いことを想定（午前中に到着便が多数ある場合の混雑を想定）したものである。また、監視カメラＩＤ“００２”の撮影エリア（レストラン・ショップエリア）における行動パターンは、昼に食事場所を探す人が多いことを想定したものである。さらに、監視カメラＩＤ“００３”の撮影エリア（国際線出発ロビー）における行動パターンは、午後に人の行き交いが多いことを想定（午後に出発便が多数ある場合の混雑を想定）したものである。

これらの行動パターンを登録するかしないかは、種々の条件を勘案して決定することができる。例えば、監視カメラＩＤ“００１”の撮影エリアにおいて、午後は人も少なく滞留者の判定が必要なければ、行動パターンを登録しなくてもよい。また、人は少ないが滞留者を検出しロボット１００による対応を行うが、人が滞留する傾向が午前の傾向と異なる場合には、対象時間帯、静止時間及び動作時間（並びに行動周期数）を変えて新しい行動パターンを登録することが望ましい。

また、滞留者の案内希望に対してその目的や内容に応じて適切に対応できるように、シナリオはその種類を分別して登録される。図１０の例では、監視カメラＩＤ“００１”の撮影エリア（国際線到着ロビー）に対し、空港Ａに到着した人へ空港内や空港外についての案内を想定したサービス（シナリオ案内Ａ）が登録されている。また、監視カメラＩＤ“００２”の撮影エリア（レストラン・ショップエリア）に対し、空港内の食事場所についての案内を想定したサービス（シナリオ案内Ｂ）が登録されている。また、監視カメラＩＤ“００３”の撮影エリア（国際線出発ロビー）に対し、空港Ａから出発する人へ搭乗手続きについての案内を想定したサービス（シナリオ案内Ｃ）が登録されている。

また、監視カメラＩＤ“００１”の撮影エリアに対し、体調不良の人への声かけ・救護者の呼びかけ等を想定したサービス（シナリオ体調不良）も登録されている。なお、体調不良に対するシナリオについても、その種類を分別して登録してもよい。

上記のように、施設（施設ＩＤ）、撮影場所（監視カメラＩＤに対応）、又は時間帯（対象時間帯）ごとに、行動パターンと要因・サービスを登録することにより、滞留要因とサービスの精度を向上させることができる。特に、撮影場所と時間帯によって、施設内の利用者の往来が変化するため、監視カメラＩＤ又は対象時間帯ごとに行動パターンを登録することで、ロボット制御装置１１０からロボット１００に対し、適時最適なサービス・対応を指示することが可能である。

なお、ロボット管理システム１の運用開始後に、ロボット監視センタ１２０の操作部１２２を操作して、行動パターンテーブル１１１ｇの静止時間と動作時間を任意に変更することができる。また、該当する要因・サービスも同様に変更することができる。

（行動判定結果データベース）
図１１は、行動データ記憶部１２１ｂに記憶される行動判定結果データベース１２１ｂＤのデータ構造の一例を示す。
行動判定結果データベース１２１ｂＤは、ＮＯ、施設ＩＤ、施設名、撮影日、判定時間、人物ＩＤ、監視カメラＩＤ、滞留者場所、要因・サービスの各項目を備える。

「ＮＯ」は、行動判定結果データベース１２１ｂＤに記憶されるデータ（レコード）の任意番号である。
「施設ＩＤ」は、行動パターンテーブル１１１ｇのものと同じである。
「施設名」は、行動パターンテーブル１１１ｇのものと同じである。
「撮影日」は、監視カメラ２００が滞留者を撮影した日にちである。
「判定時間」は、行動分析部１１１ｅが監視カメラ２００により撮影された映像内に滞留者がいると判定した時刻である。
「人物ＩＤ」は、映像内の人物を一意に特定するＩＤである。人物ＩＤは、一例として人物を検出した順に採番される。
「監視カメラＩＤ」は、滞留者を撮影した監視カメラＩＤを示す。
「滞留者場所」は、施設内において滞留者が存在する場所（位置）を示す。滞留者場所は、例えば施設内のある位置を基準とする座標系（本例では二次元座標）、又は緯度と経度により表される。
「要因・サービス」は、行動パターンテーブル１１１ｇのものと同じである。

行動判定結果データベース１２１ｂＤに登録されたデータは、一定期間を経過後に削除することが望ましい。これにより、ロボット監視センタ１２０の記憶装置の記憶領域に記憶されたデータ量を削減し、一定の空き領域を確保することができる。

［滞留者に対するサービス提供処理の手順］
次に、滞留者の検知からロボット１００へ指示するまでの処理の流れを、図１２を参照して説明する。図１２は、ロボット管理システム１による滞留者の行動パターンに基づくサービス提供の手順例を示すフローチャートである。

まずシステムの管理者は、滞留者であると判定する行動パターンを行動パターンテーブル１１１ｇに事前に登録しておく（Ｓ１）。このときシステム管理者は、施設及び監視カメラ２００の撮影場所ごとに行動パターンの登録を実施する。撮影場所は監視カメラＩＤと対応している。

次いで、ロボット管理システム１を運用開始後、ロボット制御装置１１０の人物検出部１１１ｄは、画像処理技術により監視カメラ２００が撮影している映像から人物を検出し、その人物に人物ＩＤを採番する（Ｓ２）。次いで、行動分析部１１１ｅは、人物検出部１１１ｄにより検出された人物の静止時間と動作時間を画像処理技術により算出する（Ｓ３）。

次いで、行動パターン判定部１１１ｆは、行動分析部１１１ｅにより計算された対象人物の静止時間と動作時間から、対象人物の静止と動作のパターンが繰り返されているか否かの判定を行う（Ｓ４）。ここで、対象人物の静止と動作の行動パターンが繰り返されている場合には（Ｓ４のＹＥＳ）、行動パターン判定部１１１ｆは、繰り返し行動有りと判断する（Ｓ５）。一方、対象人物の静止と動作のパターンが繰り返されていない場合には（Ｓ４のＮＯ）、行動パターン判定部１１１ｆは、繰り返し行動無しと判断する（Ｓ６）。

次いで、行動パターン判定部１１１ｆは、対象人物の静止と動作の行動パターンが滞留者の行動パターンに該当するか否かの判定を行う（Ｓ７）。具体的には、行動パターン判定部１１１ｆは、行動パターンテーブル１１１ｇを参照して、対象人物の静止と動作の行動パターンに合致する行動パターンを検索する。そして、行動パターン判定部１１１ｆは、行動パターンテーブル１１１ｇに対象人物の行動に合致する行動パターンが存在しない場合には（Ｓ７のＮＯ）、ステップＳ２に戻って監視カメラ２００が撮影している映像から人物を検出する処理を続ける。

一方、行動パターン判定部１１１ｆは、行動パターンテーブル１１１ｇに対象人物の行動に合致する行動パターンが存在した場合には、対象人物は滞留者であると判断し（Ｓ７のＹＥＳ）、滞留要因が何かを行動パターンテーブル１１１ｇの要因・サービスの項目を参照して判断する。例えば、行動パターン判定部１１１ｆは、合致した行動パターンに対応する要因・サービスの項目の内容から、滞留要因が体調不良であるか否かの判定を行う（Ｓ８）。

行動パターン判定部１１１ｆは、滞留要因が体調不良である場合には（Ｓ８のＹＥＳ）、対象撮影エリア若しくはその近くにいるロボット１００に指令を送りロボット１００を滞留者の元に移動させる。そして、行動パターン判定部１１１ｆは、体調不良に対応するシナリオデータをシナリオ格納部１１１ｈから読み出してロボット１００に送信する。それによりロボット１００の対話制御部１０１ｂ及び駆動制御部１０１ａは、受信したシナリオデータに基づいて、滞留者に体調を質問し救護者の呼びかけを実施する（Ｓ９）。

一方、行動パターン判定部１１１ｆは、滞留要因が体調不良ではない場合には（Ｓ８のＮＯ）、続いて滞留要因が案内希望であるか否かの判定を行う（Ｓ１０）。行動パターン判定部１１１ｆは、滞留要因が案内希望である場合には（Ｓ１０のＹＥＳ）、対象撮影エリア若しくはその近くにいるロボット１００に指令を送りロボット１００を滞留者の元に移動させる。そして、行動パターン判定部１１１ｆは、案内希望に対応するシナリオデータをシナリオ格納部１１１ｈから読み出してロボット１００に送信する。それによりロボット１００の対話制御部１０１ｂ及び駆動制御部１０１ａは、受信したシナリオデータに基づいて、滞留者に目的を質問し施設案内を実施する（Ｓ１１）。

ステップＳ９又はステップＳ１０の処理が終了後、あるいはステップＳ１０において滞留要因が案内希望ではなかった場合には（Ｓ１０のＮＯ）、ロボット１００は元の待機位置に戻る。さらに、次の滞留者がいる場合には、ロボット１００はロボット制御装置１１０の指示に基づいて次の滞留者の元へ移動する。

本実施形態では、ロボット制御装置１１０は、ステップＳ７において対象人物が滞留者であると判断した場合に、ロボット１００を制御することと並行して、滞留者ありと判定した際の各種データをロボット監視センタ１２０へ送信し、行動判定結果データベース１２１ｂＤにデータを蓄積する。

以上説明したように、本実施形態によれば、事前に施設及び撮影場所（建物３００、各撮影エリアなど）ごとに人物の滞留の原因と予想される行動パターンを行動パターンテーブル１１１ｇに登録している。ロボット制御装置１１０が、現場に設置されている監視カメラ２００に撮影された人物が登録済みの行動パターンの条件に合致するか否かを判定する。それにより、ロボット制御装置１１０は、監視カメラ２００で撮影した映像から登録済みの行動パターンに該当する人物（滞留者）の有無とその滞留要因を判定する。そして、ロボット制御装置１１０は、建物３００内の滞留者の検知及び滞留要因の特定を行うことにより、滞留要因に応じた滞留者へのサービス提供をロボット１００に実施させることが可能になる。

それゆえ、ロボット１００は、滞留者の滞留要因に応じて滞留者が望むサービスを適切に提供することができる。さらに、滞留者が望むサービスをその滞留者に提供することにより、滞留原因となっている要因を排除するための支援を実施することができる。

また、本実施形態では、行動パターンテーブル１１１ｇに登録する静止時間と動作時間を任意に変更できるとともに、該当する要因・サービスも同様に任意に変更できることから、施設（例えば建物３００）そのものの使途や現在の利用状況に応じて、判定基準を柔軟に対応させることが可能となる。利用状況とは、例えば建物３００がオフィス、スーパーマーケット、商用施設、又は集合住宅のいずれか、あるいは他の目的に利用されているのか等の情報である。それにより、施設を利用して滞留した人に適時最適なサービス・対応を行うことが可能である。

＜２．変形例＞
なお、行動パターン判定部１１１ｆは、監視カメラ２００の映像から検出された人物が属するグループ（集団）を構成する人数が所定数以上である場合には、提供するサービスを決定せず、ロボット１００に該当人物へのサービスを行わせないようにする。グループに属する人物の案内希望や体調不良への対処は、グループのメンバーで解決できることが多い。そのため、ロボット１００による声かけなどのサービスを自粛し、求められていないサービスの提供を防止する。検出された人物が属するグループは、人物検出部１１１ｄにより検出可能である。例えば、人物検出部１１１ｄは、映像から複数の人物を検出し、一定時間内において、複数の人物が同じ方向に向かって移動していたり立ち止まっていたりした場合には、これらの複数の人物（滞留者）はグループを形成していると判断する。

また、上述した実施形態では、監視カメラ２００により撮影エリア内の人物を撮影したが、ロボット１００が備えるカメラ１０２ａにより人物を撮影し、その撮影した映像から滞留者の有無を判断してもよい。

また、建物３００の同一エリアに滞留者が複数人いる場合には、ロボット制御装置１１０が、先に滞留者と判定された人物の元に向かうようロボット１００を制御してもよい。あるいは、ロボット制御装置１１０は、ロボット１００が複数人の滞留者の中で体調不良を抱えた人物に優先的に向かうように制御してもよい。

また、上述した実施形態では、人の行き交いが多く滞留者も多いと想定される施設（空港、駅、商用施設、スーパーマーケットなど）に監視カメラ２００を配置する例を説明したが、監視カメラ２００を行き交う人が少なく、滞留者が発生しにくい若しくは少ない施設や場所（例えば集合住宅、職員用通路、トイレなど）に設置してもよい。このように監視カメラ２００を滞留者が発生しにくい若しくは少ないと推測される場所に設置することにより、体調不良で倒れている人物が長時間放置されることを防止できる。また、滞留者の発生しにくい環境で滞留者が検出された場合には、体調不良の人か不審者の可能性が高いため、本発明は防犯にも寄与し、さらに撮影場所、対象時間帯、行動パターンを適切に定義することで不審者発見の精度が向上する。

さらに、本発明は上述した各実施形態例に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。

例えば、上述した実施形態例は本発明を分かりやすく説明するために装置及びシステムの構成を詳細且つ具体的に説明したものであり、必ずしも説明した全ての構成要素を備えるものに限定されない。また、ある実施形態例の構成の一部を他の実施形態例の構成要素に置き換えることは可能である。また、ある実施形態例の構成に他の実施形態例の構成要素を加えることも可能である。また、各実施形態例の構成の一部について、他の構成要素の追加、削除、置換をすることも可能である。

また、上記の各構成要素、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路の設計などによりハードウェアで実現してもよい。また、上記の各構成要素、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又はＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成要素が相互に接続されていると考えてもよい。

また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。

１…ロボット管理システム、 １００、１００−１〜１００−３…ロボット、 １１０…ロボット制御装置、 １１１ｄ…人物検出部１１１ｄ、 １１１ｅ…行動分析部、 １１１ｆ…行動パターン判定部、 １１１ｇ…行動パターンテーブル、 １１１ｈ…シナリオ格納部、 １２０…ロボット監視センタ、 ２００、２００−１〜２００−３…監視カメラ、 ２１０…カメラ制御装置

Claims (7)

1. 移動可能なロボットと、撮影を行うカメラと、前記カメラにより撮影された映像から人物を検出する人物検出部と、を備え、前記人物検出部により検出された前記人物に前記ロボットがサービスを提供するロボット管理システムであって、
   人物の静止時間、動作時間、及び前記静止時間と前記動作時間の組み合わせの繰り返しによって定義される行動パターンと人物に提供されるサービスとが対応づけて登録された行動パターンテーブルと、
   前記映像から検出された前記人物の行動が、前記行動パターンテーブルに登録された前記行動パターンに合致する場合に、該当する前記行動パターンに基づいて前記ロボットが前記人物に提供するべきサービスを決定する行動パターン判定部と、を備える
   ロボット管理システム。
2. 前記行動パターン判定部は、前記映像から検出された前記人物の行動が、前記行動パターンテーブルに登録された前記行動パターンに該当する場合、前記人物はその場に留まっている者であると判断する
   請求項１に記載のロボット管理システム。
3. 前記行動パターンテーブルには、施設別に前記行動パターンと前記サービスが登録される
   請求項２に記載のロボット管理システム。
4. 前記行動パターンテーブルには、施設内の撮影場所別に前記行動パターンと前記サービスが登録される
   請求項２に記載のロボット管理システム。
5. 前記行動パターンテーブルには、時間帯別に前記行動パターンと前記サービスが登録される
   請求項４に記載のロボット管理システム。
6. 前記行動パターン判定部は、前記映像から検出された人物が属するグループを構成する人数が所定数以上である場合には、前記ロボットに前記サービスを行わせない
   請求項２に記載のロボット管理システム。
7. 前記行動パターン判定部の決定に基づいて前記ロボットに指令を送り前記ロボットの動作を制御するロボット制御装置を備え、
   前記行動パターンテーブル及び前記行動パターン判定部は、前記ロボットとネットワークを介して接続される前記ロボット制御装置に設けられる
   請求項１乃至６のいずれか一項に記載のロボット管理システム。

Images