JP6730236B2 - 人識別システム及び人識別方法 - Google Patents

Description

本発明は、ロボットにより人（以下「人物」とも称する）を識別する人識別システム及び人識別方法に関する。

従来、ロボットが取得した画像がロボット制御装置に保存されている画像と類似する場合に、その画像に紐付けられている属性データに基づいてロボットの動作を決定するロボット制御システムが存在する。

例えば、特許文献１には、移動式ロボットに搭載されたカメラにより取得されるデータ（顔画像データ）の蓄積及び蓄積されたデータに基づく移動式ロボットの動作制御を、ネットワークを介した通信により実現するロボット制御システムが記載されている。

特開２０１５−１６３４１５号公報

しかしながら、特許文献１に記載の技術では、人物がカメラの方向を向いていない場合若しくは人物が携帯端末等の画面をのぞき込んで下を向いている場合、あるいは人物がマスクをかけている場合などには、移動式ロボットに搭載されたカメラで人物の顔を撮影できない。移動式ロボットのカメラで人物の顔を撮影できないと、人物を特定して移動式ロボットの動作制御を実現することが困難になる。

上記の状況から、ロボットに搭載されたカメラで人物の顔を撮影できない場合でも、ロボットの近くにいる人物を識別することが望まれていた。

本発明の一態様の人識別システムは、カメラを備えた移動可能なロボットと、該ロボットよりも高い位置に配置された監視カメラと、ロボットを制御するロボット制御装置と、監視カメラを制御するカメラ制御装置とを含む。
この人識別システムにおいて、カメラ制御装置は、監視カメラが撮影した人の歩行画像を監視カメラから受け取り、歩行画像から歩容識別情報を作成する歩容識別処理部、を備える。またロボット制御装置は、ロボットのカメラが撮影した人の顔画像をそのロボットから受け取り、顔画像から顔識別情報を作成する顔識別処理部と、カメラ制御装置から歩容識別情報を受け取り、歩容識別情報と顔識別情報を対応する人の識別子に対応付けて格納するユーザー識別情報テーブルと、顔識別情報及び歩容識別情報のうち得られた識別情報を用い該当する識別情報に対応した識別方法を用いて、ユーザー識別情報テーブルを参照し人の識別を行うユーザー識別処理部と、を備える。そして、ユーザー識別処理部は、テナント内では顔画像を用いた識別を行い、テナント外では歩行画像を用いた識別を行う。

本発明の少なくとも一態様によれば、ロボットに搭載されたカメラで人の顔を撮影できない場合でも、ロボットの近くにいる人を識別することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第１の実施形態例に係るロボット管理システム全体の構成を示すブロック図である。 本発明の第１の実施形態例に係るロボットの構成例を示すブロック図である。 本発明の第１の実施形態例に係るロボット制御装置の構成例を示すブロック図である。 本発明の第１の実施形態例に係るロボット監視センタの構成例を示すブロック図である。 本発明の第１の実施形態例に係る監視カメラの構成例を示すブロック図である。 本発明の第１の実施形態例に係るカメラ制御装置の構成例を示すブロック図である。 本発明の第１の実施形態例に係るロボット管理テーブルの例を示す説明図である。 本発明の第１の実施形態例に係る監視カメラ管理テーブルの例を示す説明図である。 本発明の第１の実施形態例に係るユーザー識別情報テーブルの例を示す説明図である。 本発明の第１の実施形態例に係る顔識別情報テーブルの例を示す説明図である。 本発明の第１の実施形態例に係る歩容識別情報テーブルの例を示す説明図である。 本発明の第１の実施形態例に係るロボットと監視カメラの配置例を示す説明図である。 本発明の第１の実施形態例に係るカメラ制御装置の歩容情報取得処理手法の手順を示すフローチャートである。 本発明の第１の実施形態例に係る、ロボットがエリア外に移動しないことを前提とした場合の、ロボット制御装置のユーザー情報登録処理手法の手順を示すフローチャート（１）である。 本発明の第１の実施形態例に係る、ロボットがエリア外に移動しないことを前提とした場合の、ロボット制御装置のユーザー情報登録処理手法の手順を示すフローチャート（２）である。 本発明の第２の実施形態例に係る、ロボットが移動することでロボットの存在する位置を撮影可能な監視カメラが変更されうる環境における、ロボット制御装置のユーザー情報登録処理手法の手順を示すフローチャート（１）である。 本発明の第２の実施形態例に係る、ロボットが移動することでロボットの存在する位置を撮影可能な監視カメラが変更されうる環境における、ロボット制御装置のユーザー情報登録処理手法の手順を示すフローチャート（２）である。

以下、本発明を実施するための形態の例（以下「本例」と称することがある）について、添付図面を参照しながら説明する。添付図面において実質的に同一の機能又は構成を有する構成要素については、同一の符号を付して重複する説明を省略する。

＜１．第１の実施形態＞
［ロボット管理システム全体］
図１は、本発明の第１の実施形態例に係るロボット管理システム全体の構成を示すブロック図である。ロボット管理システムは、本発明の人識別システムの一態様である。

図１に示すように、ロボット管理システム１は、顧客への提案を実施するロボット１００と、各ロボット１００の動作の制御及び各ロボット１００から取得したデータの処理を行うロボット制御装置１１０と、各ロボット１００の配置をロボット制御装置１１０を経由して管理するロボット監視センタ１２０を備える。さらにロボット管理システム１は、建物３００内を撮影する監視カメラ２００と、各監視カメラ２００の制御及びデータ処理を行うカメラ制御装置２１０を備える。ロボット１００、ロボット制御装置１１０、監視カメラ２００、及びカメラ制御装置２１０は、一台又は複数台である。

ロボット１００とロボット制御装置１１０とは、無線ＬＡＮなどを介して相互に通信可能に接続される。ロボット制御装置１１０とロボット監視センタ１２０、及びカメラ制御装置２１０とロボット監視センタ１２０とは、インターネットなどの通信ネットワークＮを介して相互に通信可能に接続される。監視カメラ２００とカメラ制御装置２１０、及びロボット制御装置１１０とカメラ制御装置２１０は、有線ＬＡＮなどを介して通信可能に接続される。ロボット制御装置１１０とカメラ制御装置２１０は互いの距離が近い場合には、無線ＬＡＮなどの無線通信手段により通信可能に接続されてもよい。

ロボット１００は、建物３００に配置される。ロボット１００は、建物３００内の歩行者（以下「ユーザー」とも称する）に向かって自律移動して商品等の提案を行うロボット（自律移動型ロボット）である。例えば、ロボット１００は、建物３００内の各階のエレベーターホールなどの決められた位置を待機位置とし、対象のユーザーの位置まで自律移動して商品等の提案を行う。このロボット１００は、常時、建物３００内に設置されたロボット制御装置１１０と無線通信を行い、ロボット制御装置１１０により無線で制御されるようになっている。例えば、上述した待機位置から目的地まで移動するルートが、ロボット制御装置１１０からの指示で設定される。なお、ロボット１００は、自律移動しない固定型ロボットであってもよい。

ロボット制御装置１１０は、ネットワークＮを介して、建物３００の外部に設置されたロボット監視センタ１２０と通信を行う。ネットワークＮとしては、例えばインターネットが適用される。ロボット監視センタ１２０は、複数の建物のロボット制御装置１１０と通信を行って、ロボット１００の稼働状態などを監視する。

なお、本例のロボット１００における自律移動とは、ロボット自身が動いて移動することを意味し、移動のために必要な判断（ルートの判断など）をロボット自身が全て自律的に行うことを意味するものではない。すなわち、ロボット１００が移動するルートは、上述したようにロボット制御装置１１０からの指示で設定され、ロボット１００単体で自律的に移動するルートなどを判断する構成になっていない。但し、ロボット１００が移動に必要な判断を全て行うようにしてもよい。

［ロボットの構成］
図２は、ロボット１００の構成例を示すブロック図である。
ロボット１００は、各種の処理を行うＣＰＵ（central processing unit：中央制御ユニット）１０１を備えて、ＣＰＵ１０１の制御下で各処理が実行されるコンピュータ装置と、そのコンピュータ装置に接続された周辺機器で構成される。ＣＰＵ１０１は、バスラインを介して、各種の情報を記憶する記憶装置１０２、各種の情報を入出力する入出力装置１０３、及びロボット制御装置１１０と通信可能な通信インターフェース１０４に接続されている。

記憶装置１０２は、入出力部１０２ａ、シナリオ処理部１０２ｂ、駆動制御部１０２ｃ、及び対話制御部１０２ｄを備える。入出力部１０２ａ、シナリオ処理部１０２ｂ、駆動制御部１０２ｃ、及び対話制御部１０２ｄは、ＣＰＵ１０１からの指令に基づいて動作するコンピュータプログラムが持つ機能である。ＣＰＵ１０１は、記憶装置１０２から適宜必要なコンピュータプログラムを不図示の主記憶装置（例えばＲＡＭ（Random Access Memory））に読み出して実行する。

入出力部１０２ａは、入出力装置１０３との間でデータの送信及び受信を行い、必要に応じて通信インターフェース１０４を介して外部装置とデータの送信及び受信を行う。
シナリオ処理部１０２ｂは、ロボット１００が応対動作（サービス）を実現するためのシナリオを実行するプログラムであり、シナリオに基づいて駆動制御部１０２ｃ及び対話制御部１０２ｄに指令を出す。例えば、応対動作が“あいさつ”の場合には、シナリオ処理部１０２ｂは駆動制御部１０２ｃにお辞儀や口を動かすなどの駆動指令を出すとともに、対話制御部１０２ｄに発話指令を出す。シナリオ処理部１０２ｂで実行されるシナリオは、応対動作ごとに用意される。なお、本例では、ロボット１００にシナリオ処理部１０２ｂを設けたが、シナリオ処理部１０２ｂをロボット制御装置１１０に設けてもよい。

駆動制御部１０２ｃは、シナリオ処理部１０２ｂから出力された、シナリオデータに基づく指令に従ってロボット１００を自律移動させる駆動制御（移動サービス）を行う。
対話制御部１０２ｄは、シナリオ処理部１０２ｂから出力された、シナリオデータに基づく指令に従って歩行者と対話（対話サービス）を行う。対話制御部１０２ｄによる歩行者との対話は、通常、後述するマイクロフォン１０３ｅとスピーカ１０３ｆを使った音声によって行われる。これに対して、不図示の表示部やタッチパネルなどを用いた、表示と入力操作によって対話するようにしてもよい。

入出力装置１０３は、撮像部１０３ａ（カメラ）、測域センサ１０３ｂ、ジャイロセンサ１０３ｃ、駆動機構１０３ｄ、マイクロフォン１０３ｅ、及びスピーカ１０３ｆを備える。

撮像部１０３ａは、ロボット１００の周囲を撮影し、撮影して得た画像データを記憶装置１０２に供給する。撮像部１０３ａは、ＣＣＤやＣＭＯＳ等の撮像装置を用いて構成される。この撮像部１０３ａは、撮影対象である歩行者の身長（例えば一般的な人間の平均身長）よりも低い位置に配置されることが望ましい（後述する図１２参照）。

測域センサ１０３ｂは、レーザ光や赤外線信号を照射して、周囲の物体からの反射を検出して、周囲の空間形状を計測するセンサである。測域センサ１０３ｂで計測されたデータは記憶装置１０２に供給される。
ジャイロセンサ１０３ｃは、ロボット１００に加わる角加速度を検出して、検出データを記憶装置１０２に供給する。

駆動機構１０３ｄは、駆動制御部１０２ｃからの指示に基づいて、ロボット１００を移動させる。駆動機構１０３ｄは、少なくとも車輪等を駆動させるモータを備える。あるいは、ロボット１００が人型ロボットである場合には、歩行による移動を行うため、脚に相当する部材を駆動するアクチュエータを備える。

上述した駆動制御部１０２ｃは、ロボット１００が移動する際に、撮像部１０３ａが撮影した映像（撮影画像）、及び測域センサ１０３ｂが検出したデータを用いて障害物を避けるなどの動作を行う。ここで、測域センサ１０３ｂの検出データは、光波によって測定した周囲の形状を示す形状データや、測定対象との距離を示す距離データである。また、駆動制御部１０２ｃは、ジャイロセンサ１０３ｃや測域センサ１０３ｂのデータを用いて、建物３００内のロボット１００の現在位置を検出する。

マイクロフォン１０３ｅは、案内対象者の音声を取得し、取得した音声データを記憶装置１０２に供給する。
スピーカ１０３ｆは、対話制御部１０２ｄで生成された対話用の音声などを出力する。

記憶装置１０２の駆動制御部１０２ｃは、駆動機構１０３ｄによる駆動でロボット１００が移動する際に、撮像部１０３ａが撮影した画像や、測域センサ１０３ｂが検出した周囲状況を判断して、障害物などを避ける動作を行う。また、駆動制御部１０２ｃは、ジャイロセンサ１０３ｃや測域センサ１０３ｂの検出データなどに基づいて、建物３００内の現在位置を判断する。本例の場合には、ロボット１００が移動できる移動可能範囲は、予め決められた範囲（後述する図１２の例でのエリアＡ内など）に制限される。つまり、駆動制御部１０２ｃが判断する現在位置は、その移動可能範囲内での位置に留まる。
通信インターフェース１０４は、ロボット制御装置１１０との無線通信を実行する。

［ロボット制御装置の構成］
図３は、ロボット制御装置１１０の構成例を示すブロック図である。
ロボット制御装置１１０は、各種の処理を行うＣＰＵ１１１の制御下で各処理が実行されるコンピュータ装置で構成される。ＣＰＵ１１１には、バスラインを介して記憶装置１１２と通信インターフェース１１３とが接続される。

記憶装置１１２は、入力データ処理部１１２ａ、出力データ処理部１１２ｂ、顔識別処理部１１２ｃ、及びユーザー識別処理部１１２ｄを備える。入力データ処理部１１２ａ、出力データ処理部１１２ｂ、顔識別処理部１１２ｃ、及びユーザー識別処理部１１２ｄは、ＣＰＵ１１１の指令に基づいて動作するコンピュータプログラムが持つ機能である。また、記憶装置１１２には、ＣＰＵ１１１の指令に基づいてコンピュータプログラムを実行することにより形成される、顔識別情報テーブル１１２ｅ、歩容識別情報テーブル１１２ｆ、ユーザー識別情報テーブル１１２ｇ、及びロボット管理テーブル１１２ｈを備える。

入力データ処理部１１２ａは、外部装置から通信インターフェース１１３が受信したデータを入力処理する。
出力データ処理部１１２ｂは、外部装置に対して通信インターフェース１１３から送信するデータを出力処理する。
顔識別処理部１１２ｃは、入力されたロボット１００の撮像部１０３ａで撮影された映像（撮影画像）から人物の顔を検出してその顔画像の特徴量を計算し、人物の顔を識別する。顔画像から特徴量を抽出する処理は周知技術であるから、ここでは詳細な説明を割愛する。

ユーザー識別処理部１１２ｄは、人物の顔画像から得られた特徴量、及び／又は人物の歩行画像から得られた特徴量に基づいてユーザーを識別する。このユーザー識別処理部１１２ｄは、ロボット１００の位置情報及びそのロボット１００を撮影可能な監視カメラ２００の位置情報を基に、ロボット１００が取得した顔データと監視カメラ２００が取得した歩容データを紐付けて登録することを可能にする。そして、ユーザー識別処理部１１２ｄは、ユーザー識別情報テーブル１１２ｇを参照してロボット１００が識別されたユーザーに行う対応動作を決定し、出力データ処理部１１２ｂを介して、その対応動作の指示をロボット１００に出力する。この場合、ユーザー識別処理部１１２ｄは、ロボット動作指示部としても機能するが、ユーザー識別処理部１１２ｄとロボット動作指示部を別個のプログラムにより構成してもよい。後述するように、ロボット制御装置１１０は、カメラ制御装置２１０から歩行画像及び特徴量を取得する。

顔識別情報テーブル１１２ｅには、顔識別処理部１１２ｃで計算された顔画像の特徴量が、顔識別処理部１１２ｃにより顔情報ＩＤ（顔識別情報の例）とともにユーザーＩＤ（Identification）（人の識別子の例）と紐付けて格納される。顔情報ＩＤにより同一の特徴量を持つ顔画像が識別される。
歩容識別情報テーブル１１２ｆには、カメラ制御装置２１０の歩容識別処理部２１２ｃで計算された歩行画像の特徴量が、歩容情報ＩＤ（歩容識別情報の例）とともにユーザーＩＤと紐付けて格納される。歩容情報ＩＤにより同一の特徴量を持つ歩行画像が識別される。この歩容識別情報テーブル１１２ｆの情報を、ロボット制御装置１１０がカメラ制御装置２１０から取得する。

ユーザー識別情報テーブル１１２ｇは、ユーザーＩＤに顔情報ＩＤ、歩容情報ＩＤ、及び応対動作等が対応づけられて、ユーザー情報として格納される。
ロボット管理テーブル１１２ｈは、各ロボット１００の管理データを格納する。
通信インターフェース１１３は、ロボット１００、ロボット監視センタ１２０、及びカメラ制御装置２１０との通信を実行する。

［ロボット監視センタの構成］
図４は、ロボット監視センタ１２０の構成例を示すブロック図である。
ロボット監視センタ１２０は、各種の処理を行うＣＰＵ１２１を備えて、ＣＰＵ１２１の制御下で各処理が実行されるコンピュータ装置と、そのコンピュータ装置に接続された周辺機器で構成される。ＣＰＵ１２１は、バスラインを介して、各種の情報を記憶する記憶装置１２２、ロボット制御装置１１０及びカメラ制御装置２１０と通信可能な通信インターフェース１２３、及び表示部１２４に接続されている。

記憶装置１２２は、入出力データ処理部１２２ａ、及び宣伝データ管理部１２２ｅを備える。入出力データ処理部１２２ａ、及び宣伝データ管理部１２２ｅは、ＣＰＵ１２１の指令に基づいて動作するコンピュータプログラムが持つ機能である。また、記憶装置１２２は、ＣＰＵ１２１の指令に基づいてコンピュータプログラムを実行することにより形成される、顔識別情報テーブル１２２ｂ、歩容識別情報テーブル１２２ｃ、ユーザー識別情報テーブル１２２ｄ、及びロボット管理テーブル１２２ｆを備える。

入出力データ処理部１２２ａは、通信インターフェース１２３を介してロボット１００やカメラ制御装置２１０との間で通信されるデータの入力処理又は出力処理を行う。
顔識別情報テーブル１２２ｂには、複数のロボット制御装置１１０から取得した顔情報ＩＤがまとめて格納される。
歩容識別情報テーブル１２２ｃには、複数のカメラ制御装置２１０から取得した歩容情報ＩＤがまとめて格納される。
ユーザー識別情報テーブル１２２ｄには、複数のロボット制御装置１１０及び複数のカメラ制御装置２１０から取得した情報と、ユーザーＩＤ（ユーザー識別情報）がまとめて格納される。

ロボット監視センタ１２０は、顔識別情報テーブル１２２ｂ、歩容識別情報テーブル１２２ｃ、及びユーザー識別情報テーブル１２２ｄにより、各ロボット制御装置１１０及び各カメラ制御装置２１０から取得した情報をまとめて管理する。

宣伝データ管理部１２２ｅは、ユーザーＩＤに応じた宣伝データを作成してロボット１００のシナリオ処理部１０２ｂへ送信する。宣伝データは、商品等の宣伝に関するデータであり、例えば応対動作が“宣伝”である場合に、シナリオ処理部１０２ｂに送信される。
ロボット管理テーブル１２２ｆには、複数のロボット制御装置１１０に管理されているロボット１００の管理データがまとめて格納される。

通信インターフェース１２３は、ロボット制御装置１１０及びカメラ制御装置２１０との通信を実行する。
表示部１２４には、必要に応じて各テーブルの内容や顔画像や歩行画像等が表示される。表示部１２４として液晶表示装置などが用いられる。

［監視カメラの構成］
図５は、監視カメラ２００の構成例を示すブロック図である。
監視カメラ２００は、各種の処理を行うＣＰＵ２０１を備えて、ＣＰＵ２０１の制御下で各処理が実行されるコンピュータ装置と、そのコンピュータ装置に接続された周辺機器で構成される。ＣＰＵ２０１は、バスラインを介して、各種の情報を記憶する記憶装置２０２、各種の情報を入出力する入出力装置２０３、及びカメラ制御装置２１０と通信可能な通信インターフェース２０４に接続されている。

記憶装置２０２は、映像処理部２０２ａを備える。映像処理部２０２ａは、ＣＰＵ２０１からの指令に基づいて動作するコンピュータプログラムが持つ機能である。ＣＰＵ２０１は、必要なプログラムを不図示の主記憶装置（例えばＲＡＭ）に読み出して適宜実行する。

映像処理部２０２ａは、撮像部２０３ａにより撮影された映像を処理して通信インターフェース２０４を介してカメラ制御装置２１０へ送信する。一例として映像処理部２０２ａは、撮像部２０３ａから出力される生データ（ＲＡＷ画像）をカメラ制御装置で処理可能なデータ形式に変換する処理を行う。

入出力装置２０３は、撮像部２０３ａ（カメラ）を備える。撮像部２０３ａは、監視カメラ２００の周囲を撮影し、撮影して得た画像データを記憶装置２０２に供給する。本実施形態では、各ロボット１００は、複数の監視カメラ２００のうち少なくとも１台の監視カメラ２００の撮影範囲内に存在することが望ましい。つまり、ロボット１００は、少なくとも１台の監視カメラ２００で撮影される位置にいることが望ましい。撮像部２０３ａは、ＣＣＤやＣＭＯＳ等の撮像装置を用いて構成される。
通信インターフェース２０４は、カメラ制御装置２１０との通信を実行する。

［カメラ制御装置の構成］
図６は、カメラ制御装置２１０の構成例を示すブロック図である。
カメラ制御装置２１０は、各種の処理を行うＣＰＵ２１１の制御下で各処理が実行されるコンピュータ装置で構成される。ＣＰＵ２１１には、バスラインを介して記憶装置２１２と通信インターフェース２１３とが接続される。

記憶装置２１２は、入力データ処理部２１２ａ、出力データ処理部２１２ｂ、及び歩容識別処理部２１２ｃを備える。入力データ処理部２１２ａ、出力データ処理部２１２ｂ、及び歩容識別処理部２１２ｃは、ＣＰＵ２１１の指令に基づいて動作するコンピュータプログラムが持つ機能である。また、記憶装置２１２は、ＣＰＵ２１１の指令に基づいてコンピュータプログラムを実行することにより形成される、歩容識別情報テーブル２１２ｄ、及び監視カメラ管理テーブル２１２ｅを備える。

入力データ処理部２１２ａは、外部装置から通信インターフェース２１３が受信したデータを入力処理する。
出力データ処理部２１２ｂは、外部装置に対して通信インターフェース２１３から送信するデータを出力処理する。
歩容識別処理部２１２ｃは、入力された監視カメラ２００の撮像部２０３ａで撮影された画像データから人物の歩行画像の特徴量（以下「歩容特徴量」と称す）を計算する。歩行画像から歩容特徴量を抽出する処理は周知技術であるから、ここでは詳細な説明を割愛する。

歩容識別情報テーブル２１２ｄには、歩容識別処理部２１２ｃで計算された歩容特徴量が歩容識別処理部２１２ｃによりユーザーＩＤと紐付けて格納される。
監視カメラ管理テーブル２１２ｅには、各監視カメラ２００の管理データが格納される。
通信インターフェース２１３は、監視カメラ２００、ロボット監視センタ１２０、及びロボット制御装置１１０との通信を実行する。

［ロボット管理テーブル］
図７は、ロボット管理テーブル１１２ｈ，１２２ｆの例を示す説明図である。
ロボット管理テーブル１１２ｈ，１２２ｆは、顧客ＩＤフィールド、施設ＩＤフィールド、グローバルＩＰフィールド、ロボットＩＤフィールド、ローカルＩＰフィールド、及びエリアフィールドを備える。各フィールドは、互いに紐付けられて管理されている。

「顧客ＩＤ」は、ロボット１００の提供者と交わした契約に基づいてロボット若しくは本実施形態に係るビジネスモデルを利用する顧客固有のＩＤである。「施設ＩＤ」は、ロボットが配置される施設固有のＩＤである。一例として施設は、建物やビルディングなどの全区画又は一部の区画の利用者（テナント、店舗、オフィス等）である。「グローバルＩＰ」は、施設の通信機器のグローバルＩＰ（Internet Protocol）アドレスである。「ロボットＩＤ」は、ロボット１００ごとに割り当てられた固有のＩＤである。「ローカルＩＰ」は、ロボット１００（通信インターフェース１０４）のローカルＩＰアドレスである。「エリア」は、施設内におけるロボット１００の位置を表す。

例えば図７の例によれば、ロボット提供者が顧客ＩＤ“００１”の顧客とロボット提供契約を結び、施設ＩＤ“００１”の施設において２台のロボット１００が利用され、施設ＩＤ“００２”の施設において１台のロボット１００が利用されている。施設ＩＤ“００１”の施設では、ロボットＩＤ“００１”のロボット１００がエリア“Ｂ３”に配置され、ロボットＩＤ“００２”のロボット１００がエリア“Ｂ２”に配置されている。また、施設ＩＤ“００２”の施設では、ロボットＩＤ“００４”のロボット１００がエリア“Ｃ２”に配置されている。

ロボット制御装置１１０が持つロボット管理テーブル１１２ｈは、そのロボット制御装置１１０が制御するロボット１００のみの情報を管理する。一方、ロボット監視センタ１２０が持つロボット管理テーブル１２２ｆは、そのロボット監視センタ１２０が監視する全てのロボット制御装置１１０が制御するロボット１００の情報を管理する。ロボット１００が駆動機構１０３ｄを有する場合には、ロボット１００の位置を表すエリアは、ロボット１００の持つ測域センサ１０３ｂやロボット１００の持つ駆動機構１０３ｄの移動履歴（走行履歴）、不図示のビーコンなどを用いて取得される。

［監視カメラ管理テーブル］
図８は、監視カメラ管理テーブル２１２ｅの例を示す説明図である。
監視カメラ管理テーブル２１２ｅは、顧客ＩＤフィールド、施設ＩＤフィールド、グローバルＩＰフィールド、カメラＩＤフィールド、ローカルＩＰフィールド、及びエリアフィールドを備える。各フィールドは、互いに紐付けられて管理されている。以下に各テーブルの各フィールドについて説明するが、名称が重複するフィールドについては説明を簡略する。

「顧客ＩＤ」は、顧客固有のＩＤである。「施設ＩＤ」は、施設固有のＩＤである。「グローバルＩＰ」は、施設の通信機器のグローバルＩＰアドレスである。「カメラＩＤ」は、監視カメラ２００ごとに割り当てられた固有のＩＤである。「ローカルＩＰ」は、監視カメラ２００（通信インターフェース２０４）のローカルＩＰアドレスである。「エリア」は、施設内に配置された監視カメラ２００の位置を表す。

例えば図８の例によれば、ロボット提供者が顧客ＩＤ“００１”の顧客と契約を結んだロボット提供施設に関し、施設ＩＤ“００１”の施設において２台の監視カメラ２００が配置され、施設ＩＤ“００２”の施設において１台の監視カメラ２００が配置されている。施設ＩＤ“００１”の施設では、カメラＩＤ“００１”の監視カメラ２００がエリア“Ｂ３”に配置され、カメラＩＤ“００２”の監視カメラ２００がエリア“Ｂ２”に配置されている。また、施設ＩＤ“００２”の施設では、カメラＩＤ“００４”の監視カメラ２００がエリア“Ｃ２”に配置されている。

［ユーザー識別情報テーブル］
図９は、ユーザー識別情報テーブル１１２ｇ，１２２ｄの例を示す説明図である。
ユーザー識別情報テーブル１１２ｇ，１２２ｄは、ユーザーＩＤフィールド、顔情報ＩＤフィールド、歩容情報ＩＤフィールド、及び応対動作フィールドを備える。各フィールドは、互いに紐付けられて管理されている。

「ユーザーＩＤ」は、ユーザー識別情報テーブル１１２ｇで管理するユーザーごとに割り当てられたユーザー固有のＩＤである。「顔情報ＩＤ」は、ロボット１００の撮像部１０３ａで撮影した顔画像を記録した顔識別情報テーブル１１２ｅ，１２２ｂを参照するためのＩＤである。「歩容情報ＩＤ」は、監視カメラ２００で撮影した歩行画像から得られる歩容情報を記録した歩容識別情報テーブル１１２ｆ，１２２ｃを参照するためのＩＤである。「応対動作」は、ロボット１００がユーザーに対して行う動作（サービス）である。

例えば図９の例によれば、ユーザーＩＤ“０００１”に対して顔情報ＩＤ“０００１”が紐付けられている。また、ユーザーＩＤ“０００２”に対して顔情報ＩＤ“０００２”、歩容情報ＩＤ“０００１”、応対動作“あいさつ”が紐付けられている。

ロボット制御装置１１０が持つユーザー識別情報テーブル１１２ｇと、ロボット監視センタ１２０が持つユーザー識別情報テーブル１２２ｄの内容は、同じものである。各ユーザー識別情報テーブル１１２ｇ，１２０ｄは、定期的に又は所定のタイミングで互いに同期をとって更新され、互いの登録データを一致させるようにしている。

［顔識別情報テーブル］
図１０は、顔識別情報テーブル１１２ｅ，１２２ｂの例を示す説明図である。
顔識別情報テーブル１１２ｅ，１２２ｂは、顔情報ＩＤフィールド、ユーザーＩＤフィールド、特徴量フィールド、及び１以上の顔画像フィールドを備える。各フィールドは、互いに紐付けられて管理されている。

「顔情報ＩＤ」は、顔識別情報テーブル１１２ｅ，１２２ｂを参照するためのＩＤである。「ユーザーＩＤ」は、ユーザー固有のＩＤである。「特徴量」は、顔画像から抽出された顔の特徴を数値化したものである。本例の特徴量は、複数の顔画像の各顔画像から計算した特徴量の平均値であるが、顔画像ごとに特徴量を登録してもよい。「顔画像」は、ロボット１００の撮像部１０３ａで撮影した人物の顔の画像である。

例えば図１０の例によれば、顔情報ＩＤ“０００１”に対して、ユーザーＩＤ“０００１”、特徴量“FaceFeature1”、顔画像１“FaceImage11”から顔画像ｎ“FaceImage1n”が紐付けられている。

ロボット制御装置１１０が持つ顔識別情報テーブル１１２ｅとロボット監視センタ１２０が持つ顔識別情報テーブル１２２ｂは、同じものである。各顔識別情報テーブル１１２ｅ，１２２ｂは、定期的に又は所定のタイミングで互いに同期をとって更新され、互いの登録データを一致させるようにしている。

［歩容識別情報テーブル］
図１１は、歩容識別情報テーブル１１２ｆ，１２２ｃ，２１２ｄの例を示す説明図である。
歩容識別情報テーブル１１２ｆ，１２２ｃ，２１２ｄは、歩容情報ＩＤフィールド、ユーザーＩＤフィールド、特徴量フィールド、及び１以上の歩行画像フィールドを備える。各フィールドは、互いに紐付けられて管理されている。

「歩容情報ＩＤ」は、歩容識別情報テーブル１１２ｆ，１２２ｃ，２１２ｄを参照するためのＩＤである。「ユーザーＩＤ」は、ユーザー固有のＩＤである。「特徴量」は、歩行画像から抽出された歩き方（歩容）の特徴を数値化したものである。本例の特徴量は、複数の歩行画像の各歩行画像から計算した特徴量の平均値であるが、歩行画像ごとに特徴量を登録してもよい。「歩行画像」は、監視カメラ２００の撮像部２０３ａで撮影した人物の歩行時の画像である。この歩行画像は、動画、若しくはある時間間隔で連続した静止画である。

例えば図１１の例によれば、歩容情報ＩＤ“０００１”に対して、ユーザーＩＤ“０００２”、特徴量“WalkFeature1”、歩行画像１“WalkImage11”から歩行画像ｎ“WalkImage1n”が紐付けられている。

ロボット制御装置１１０が持つ歩容識別情報テーブル１１２ｆと、ロボット監視センタ１２０が持つ歩容識別情報テーブル１２２ｃと、カメラ制御装置２１０が持つ歩容識別情報テーブル２１２ｄは、同じものである。各歩容識別情報テーブル１１２ｆ，１１２c及び２１２ｄは、定期的に又は所定のタイミングで互いに同期をとって更新され、互いの登録データを一致させるようにしている。

以下、建物内でユーザーの顔情報及び歩容情報を取得してユーザーＩＤに紐付けて登録する方法を、図１２〜図１５を参照して説明する。

［ロボットと監視カメラの配置例］
図１２は、ロボット１００と監視カメラ２００の配置例を示す説明図である。
図１２に示す例では、ロボット１００及び監視カメラ２００が建物３００の入り口（自動ドア３１０）付近に設置されている。本実施形態おいて、ロボット１００は建物３００の床面に設定されたエリアＡに存在し、監視カメラ２００はエリアＡの上方（壁若しくは天井）に設置されている。このとき、ロボット１００と監視カメラ２００は同じ位置（エリアＡ）に配置されているものとする。ロボット１００及び監視カメラ２００が同じ位置とは、ロボット１００が監視カメラ２００の近傍（所定距離内）に位置することであり、その一例が同一エリア（例えばエリアＡ）に存在することである。このロボット１００及び監視カメラ２００の位置情報（エリア情報）がそれぞれ、ロボット管理テーブル１１２ｈ，１２２ｆ及び監視カメラ管理テーブル２１２ｅに登録される。

本実施形態では、ロボット１００と監視カメラ２００の位置（エリア）が同じであるため、ロボット１００の撮像部１０３ａで撮影された顔画像と監視カメラ２００の撮像部２０３ａで撮影された歩行画像を、同一人物の画像として扱う。但し、撮影時、同一エリア内に複数の歩行者が存在することも考えられる。このような場合には、第１の方法として、例えばカメラ制御装置２１０は、監視カメラ２００の撮影エリア（例えばエリアＡ）を複数の領域に分割し、ロボット１００と同じ分割領域にいる歩行者の歩行画像の特徴量を取得する。

あるいは第２の方法として、カメラ制御装置２１０は、監視カメラ２００で撮影された画像に映り込んだ複数の歩行者のうち、ロボット１００が見ている歩行者（ロボット１００が向いている方向にいる歩行者）の歩行画像の特徴量を取得する。カメラ制御装置２１０の映像処理部２０２ａは、撮影画像に映るロボット１００の位置と向き、並びに歩行者の位置をリアルタイムに解析することが可能である。

なお、図１２において、自動ドア３１０の横に設置された認証装置３２０は、ユーザーＵを識別するための情報の入力及びユーザーの認証が行われる装置である。認証装置３２０としては、例えばセキュリティカード等の情報を読み取るカード情報読取り装置、ユーザーの指紋等の生体情報を用いて認証を行う生体認証装置などが利用される。例えばユーザーＵは、建物３００内（フロアＡ）に入るときに、認証装置３２０にユーザーＵの個人情報（カード情報、生体情報等）を入力し、本人確認が正常に終了したら入室が許可される。

［カメラ制御装置による歩容情報取得処理］
図１３は、カメラ制御装置２１０の歩容情報取得処理手法の手順を示すフローチャートである。
まず、カメラ制御装置２１０の歩容識別処理部２１２ｃは、監視カメラ２００から取得した撮影画像により歩行者の有無を判定する（Ｓ１）。歩行者を認識できない場合、すなわち歩行者を発見できない場合には（Ｓ１のＮＯ）、歩容識別処理部２１２ｃは、ステップＳ１の判定処理を継続して実行する。次いで、歩行者を発見すると（Ｓ１のＹＥＳ）、歩行画像の特徴量（「歩容特徴量」ともいう）を計算する（Ｓ２）。

次いで、歩容識別処理部２１２ｃは、歩行画像とその特徴量を歩容データとして、通信インターフェース２１３を介して同じエリア内（又は指定されたエリア内）のロボット１００を制御するロボット制御装置１１０へ送信する（Ｓ３）。ステップＳ３の処理後、カメラ制御装置２１０はステップＳ１の処理に戻る。なお、各装置間でデータの送信及び受信を行う際には各装置の通信インターフェース、入力データ処理部、及び出力データ処理部を通じて行うが、以下の説明では各部の記載を省略する。

［ロボット制御装置によるユーザー情報登録処理］
図１４及び図１５は、ロボット１００がエリア外に移動しないことを前提とした場合の、ロボット制御装置１１０のユーザー情報登録処理手法の手順を示すフローチャート（１）及び（２）である。図１４及び図１５は、ロボット１００と監視カメラ２００が存在する位置が同じエリアであり、かつロボット１００が駆動機構１０３ｄを有している場合でもエリア外には移動しないことを前提としている。図１４及び図１５は、この前提の下で、ロボット制御装置１１０による顔情報の取得及びユーザー識別情報テーブルへの登録に関する動作を示す。

図１４において、まずロボット制御装置１１０の顔識別処理部１１２ｃは、同一エリア内のロボット１００の撮像部によって撮影された映像（撮影画像）を取得し、取得した撮影画像内に人物の顔が存在するか否かを判定する（Ｓ１１）。撮影画像内に人物の顔が存在しなかった場合には（Ｓ１１のＮＯ）、顔識別処理部１１２ｃは、ステップＳ１１の判定処理を継続して実行する。ステップＳ１１において撮影画像内に人物の顔が存在することを検知した場合には（Ｓ１１のＹＥＳ）、顔識別処理部１１２ｃは、顔画像の特徴量を計算して、顔画像とその特徴量を顔データとして保持する（Ｓ１２）。

その後、ユーザー識別処理部１１２ｄは、カメラ制御装置２１０から歩容データを受信したか否かを判定する（Ｓ１３）。本例では、カメラ制御装置２１０が監視カメラ２００から歩行画像を取得したら、歩行画像とその特徴量をロボット制御装置１１０へ送信するように設定している。そして、ユーザー識別処理部１１２ｄは、歩容データを受信すると（Ｓ１３のＹＥＳ）、受信した歩容データと歩容識別情報テーブル１１２ｆに登録されている歩容データとの一致度を計算して、一致度が閾値以上になるデータの有無を判定する（Ｓ１４）。

ステップ１４において一致度が閾値以上となる歩容データがある場合には（Ｓ１４のＹＥＳ）、ユーザー識別処理部１１２ｄは、歩容識別情報テーブル１１２ｆの該当する歩容情報ＩＤへ歩容データを追加登録する。次に、ユーザー識別処理部１１２ｄは、ステップＳ１２で取得した顔データと顔識別情報テーブル１１２ｅに登録されている顔データとの一致度を計算して、一致度が閾値以上になる顔データの有無を判定する（Ｓ１５）。

ステップＳ１５において一致度が閾値以上となる顔データがある場合には（Ｓ１５のＹＥＳ）、顔識別処理部１１２ｃは、顔識別情報テーブル１１２ｅの該当する顔情報ＩＤへ顔データを追加登録する。次いで、ユーザー識別処理部１１２ｄは、歩容識別情報テーブル１１２ｆからステップＳ１４において一致度が最大となる歩容データのユーザーＩＤと、顔識別情報テーブル１１２ｅからステップ１５で一致度が最大となる顔データのユーザーＩＤを取得し、歩容識別情報テーブル１１２ｆから取得したユーザーＩＤと顔識別情報テーブル１１２ｅから取得したユーザーＩＤとが同一であるか否かを判定する（Ｓ１６）。

ステップＳ１６において双方のユーザーＩＤが一致する場合には（Ｓ１６のＹＥＳ）、ユーザー識別処理部１１２ｄは、ロボット１００がそのユーザーＩＤに紐づくユーザーの属性に応じた応対動作（ユーザーに適したサービス）を実施するよう制御する（Ｓ１７）。具体的にはユーザー識別処理部１１２ｄは、ユーザー識別情報テーブル１１２ｇから該当ユーザーＩＤに紐付けられた対応動作を読み出し、その対応動作の情報をロボット１００へ送信する。

次いで、ユーザー識別処理部１１２ｄは、ユーザー情報の登録処理を継続するか否かを判定し（Ｓ１８）、ユーザー情報の登録処理を継続する場合には（Ｓ１８のＹＥＳ）、ステップＳ１１の処理に移行する。また、ユーザー情報の登録を継続しない場合には（Ｓ１８のＮＯ）、ユーザー識別処理部１１２ｄは一連の処理を終了する。

上述したステップＳ１６において双方のユーザーＩＤが一致しない場合には（Ｓ１６のＮＯ）、ユーザー識別処理部１１２ｄは、双方のユーザーＩＤを統合する（Ｓ１９）。具体的にはユーザー識別処理部１１２ｄは、顔識別情報テーブル１１２ｅの該当ユーザーＩＤと歩容識別情報テーブル１１２ｆの該当ユーザーＩＤとを新たに作成したユーザーＩＤに統合し、ユーザー識別情報テーブル１１２ｇにそのユーザーＩＤを新規登録する。また、ユーザー識別処理部１１２ｄは、顔識別情報テーブル１１２ｅの該当ユーザーＩＤ及び歩容識別情報テーブル１１２ｆの該当ユーザーＩＤを、統合後のユーザーＩＤに変更する。さらに、ユーザー識別処理部１１２ｄは、ユーザー識別情報テーブル１１２ｇの統合前の各ユーザーＩＤに紐づいていた「応対動作」も同様に、予め設定した基準に従って統合する。そして、ユーザー識別処理部１１２ｄは、ステップＳ１７においてロボット１００がユーザーＩＤに対応した応対動作を実施するよう制御する。

ロボット１００と監視カメラ２００の位置（エリア）が同じである場合には、顔データに紐付いたユーザーＩＤと歩容データに紐付いたユーザーＩＤが一致しないとしても、双方のユーザーＩＤは同一人物のものと考えるのが自然である。それゆえ、上記のとおり双方のユーザーＩＤを統合することが合理的であり、記憶装置１１２のデータ量が削減される。なお、ユーザーＩＤの統合に際しては、例えば顔データに紐付いたユーザーＩＤに対し、歩容データに紐付いた他のユーザーＩＤを統合する。ユーザーＩＤの統合後は、当該他のユーザーＩＤを削除する。あるいは、取得日時がより新しいデータの方が最新のユーザーの状態を反映しているとして、取得日時の新しいデータに紐付いたユーザーＩＤに、取得日時の古い他のユーザーＩＤに紐付いたデータを統合するようにしてもよい。

一方、ステップＳ１５において一致度が閾値以上となる顔データがない場合には（Ｓ１５のＮＯ）、ユーザー識別処理部１１２ｄは、歩容データが一致したユーザーＩＤに紐付けて新規顔情報ＩＤと顔データを登録する。具体的にはユーザー識別処理部１１２ｄは、歩容識別情報テーブル１１２ｆからステップＳ１４で一致度が最大となる歩容データのユーザーＩＤを取得し、顔識別情報テーブル１１２ｅに新しい顔情報ＩＤを、該当ユーザーＩＤ及びステップＳ１２で取得した顔データと紐付けて登録する（Ｓ２０）。そして、ユーザー識別処理部１１２ｄは、ステップＳ１７においてロボット１００がユーザーＩＤに対応した応対動作を実施するよう制御する。

また、ステップＳ１４において一致度が閾値以上となる歩容データがない場合には（Ｓ１４のＮＯ）、ユーザー識別処理部１１２ｄは、歩容識別情報テーブル１１２ｆに受信した歩容データに紐付けて新たに歩容情報ＩＤを登録する（図１５のＳ２１）。

次に、顔識別処理部１１２ｃは、ステップＳ１２で取得した顔データと顔識別情報テーブル１１２ｅに登録されている顔データとの一致度を計算して、一致度が閾値以上になる顔データの有無を判定する（図１５のＳ２２）。

ステップＳ２２において一致度が閾値以上となる顔データがある場合には（Ｓ２２のＹＥＳ）、顔識別処理部１１２ｃは、顔識別情報テーブル１１２ｅの該当する顔情報ＩＤへ顔データを追加登録する。そして、ユーザー識別処理部１１２ｄは、顔識別情報テーブル１１２ｅから該当する顔情報ＩＤに紐付くユーザーＩＤを取得し、ユーザー識別情報テーブル１１２ｇの該当するユーザーＩＤのレコードに、ステップＳ２１において新規に登録した歩容情報ＩＤと歩容データを紐付けて登録する（Ｓ２３）。そして、ユーザー識別処理部１１２ｄは、図１４のステップＳ１７においてロボット１００がユーザーＩＤに対応した応対動作を実施するよう制御する。

ステップＳ２２において一致度が閾値以上となる顔データがない場合には（Ｓ２２のＮＯ）、顔識別処理部１１２ｃは、顔識別情報テーブル１１２ｅに新たに顔情報ＩＤを登録し、その顔情報ＩＤに紐付けてステップＳ１２で取得した顔データを登録する。また、ユーザー識別処理部１１２ｄは、ユーザー識別情報テーブル１１２ｇにも新たにユーザーＩＤを登録する。そして、ユーザー識別処理部１１２ｄは、そのユーザーＩＤに紐付けて顔識別情報テーブル１１２ｅの新規登録した顔情報ＩＤ及びステップＳ２１において新規に登録した歩容識別情報テーブル１１２ｆの歩容情報ＩＤを、ユーザー識別情報テーブル１１２ｇに登録する（Ｓ２４）。

そして、ユーザー識別処理部１１２ｄは、ステップＳ２４において新規に登録したユーザーＩＤに対応した対応動作を実施する（Ｓ２５）。例えばユーザー識別処理部１１２ｄは、新規ユーザーに対する応対動作の情報を、ロボット監視センタ１２０の宣伝データ管理部１２２ｅから取得し、図１４のステップＳ１８に進む。

図１４のステップＳ１３においてカメラ制御装置２１０から歩容データを受信できない場合には（Ｓ１３のＮＯ）、顔識別処理部１１２ｃは、ステップＳ１２で取得した顔データと顔識別情報テーブル１１２ｅに登録されている顔データとの一致度を計算して、一致度が閾値以上になる顔データの有無を判定する（Ｓ２６）。

ステップＳ２６において一致度が閾値以上となる顔データがない場合には（Ｓ２６のＮＯ）、顔識別処理部１１２ｃは、顔識別情報テーブル１１２ｅに新たに顔情報ＩＤを登録し、その顔情報ＩＤに紐付けてステップＳ１２で取得した顔データを登録する。また、ユーザー識別処理部１１２ｄは、ユーザー識別情報テーブル１１２ｇにも新たにユーザーＩＤを登録し、そのユーザーＩＤに紐付けて顔識別情報テーブル１１２ｅの新規登録した顔情報ＩＤを、ユーザー識別情報テーブル１１２ｇに登録する（Ｓ２７）。

一方、ステップＳ２６において一致度が閾値以上となる顔データがある場合には（Ｓ２６のＹＥＳ）、顔識別処理部１１２ｃは、顔識別情報テーブル１１２ｅの該当する顔情報ＩＤのレコードにステップＳ１２で取得した顔データを追加登録する。そして、ユーザー識別処理部１１２ｄは、該当する顔情報ＩＤに紐付くユーザーＩＤをユーザー識別情報テーブル１１２ｇから取得し、図１４のステップＳ１７においてロボット１００が該当ユーザーＩＤに対応した応対動作を実施するよう制御する。

上述した第１の実施形態によれば、ロボット制御装置１１０は、ロボット１００の位置情報及びそのロボット１００を撮影可能な監視カメラ２００の位置情報を基に、ロボット１００が取得した顔データと監視カメラ２００が取得した歩容データを対応するユーザーＩＤと紐付けてユーザー識別情報テーブル１１２ｇに登録する。ロボット制御装置１１０は、ロボット１００が取得した人物の顔データ若しくは監視カメラ２００が取得した人物の歩容データ、あるいはその両方を用いることで、ロボットの近くにいるユーザーを一意に特定することができる。すなわち、本実施形態は、顔データ（顔情報ＩＤ）及び歩容データ（歩容情報ＩＤ）のうち得られたデータを用い該当するデータに対応した識別方法を用いて、ユーザー識別情報テーブル１１２ｇを参照し人物の識別を行う。よって、顔データと歩容データのうちどちらか片方のデータしか取得できない場合においても、ユーザーを特定することができるため、ユーザー個別のサービスを実施することが可能になる。

監視カメラ２００は、ユーザーとの距離が近い場合や撮影エリア内に多数の歩行者が映り込んでいる場合には、歩行者の歩行画像を取得することが難しい。一方、監視カメラ２００は、ユーザーから適度に離れている場合や撮影エリア内に映り込んでいる歩行者が少数である場合には、比較的容易に歩行者の歩行画像を得ることができる。ユーザー識別処理部１１２ｄは、ロボット１００の撮像部１０３ａがユーザーの顔を撮影できる環境下（例えばテナント内）では顔画像を用いて人物の識別を行う（ステップＳ１３のＮＯの場合）。また、監視カメラ２０が歩行する人物の歩行（脚）を良好に撮影できる環境下（例えばテナント外）では歩行画像を用いて人物の識別を行う（ステップＳ１３のＹＥＳの場合、第３の実施形態も参照）。

＜２．第２の実施形態＞
第１の実施形態では、ロボット１００の位置が所定の監視カメラ２００の撮影可能範囲に必ず入っていることを前提にした。そして、ロボット１００が取得した顔データに基づくユーザーと監視カメラ２００が取得した歩容データに基づくユーザーが同一人物であるとしてユーザーを特定する構成を示した。これに対し、第２の実施形態では、ロボット１００が自由に建物３００内を移動することでロボット１００の存在する位置を撮影可能な監視カメラ２００が変更されうる環境におけるユーザー情報の登録処理を示す。つまり、第２の実施形態は、このような環境における、ロボット制御装置１１０による顔情報の取得及びユーザー識別情報テーブルへの登録に関する動作を示している。

［ロボット制御装置によるユーザー情報登録処理］
図１６及び図１７は、ロボット１００が移動することでロボット１００の存在する位置を撮影可能な監視カメラが変更されうる環境における、ロボット制御装置１１０のユーザー情報登録処理手法の手順を示すフローチャート（１）及び（２）である。図１６及び図１７は、ロボット１００及び監視カメラ２００が複数台存在し、ロボット１００が取得した顔画像のユーザーと監視カメラ２００が取得した歩行画像のユーザーを一意に結び付けられない場合において、ロボット制御装置１１０のユーザー情報登録処理を示す。特に、図１６及び図１７は、ロボット１００が顔を撮影したユーザーについて、監視カメラ２００により歩容データを求める場合におけるロボット制御装置１１０の動作であり、ロボット１００による人物の顔撮影がこの動作のトリガーとなる。

図１６において、まずロボット制御装置１１０の顔識別処理部１１２ｃは、同一エリア内のロボット１００の撮像部によって撮影された画像（撮影画像）を取得し、取得した撮影画像内に人物の顔が存在するか否かを判定する（Ｓ３１）。撮影画像内に人物の顔が存在しなかった場合には（Ｓ３１のＮＯ）、顔識別処理部１１２ｃは、ステップＳ３１の判定処理を継続して実行する。ステップＳ３１において撮影画像内に人物の顔が存在することを検知した場合には（Ｓ３１のＹＥＳ）、顔識別処理部１１２ｃは、顔画像の特徴量を計算して、顔画像とその特徴量を顔データとして保持する（Ｓ３２）。

次いで、ユーザー識別処理部１１２ｄは、ロボット１００の測域センサ１０３ｂ及びジャイロセンサ１０３ｃの検出データを基に、ロボット１００の位置情報を取得し（Ｓ３３）、ロボット１００が存在するエリアを特定する。そして、ユーザー識別処理部１１２ｄは、ロボット１００が存在するエリアを撮影可能な監視カメラ２００のカメラＩＤを監視カメラ管理テーブル２１２ｅから取得する（Ｓ３４）。また、ユーザー識別処理部１１２ｄは、ステップＳ３４で取得したカメラＩＤを持つ監視カメラ２００に対して、歩容データ送信を要求する（Ｓ３５）。

次に、ロボット制御装置１１０は、ステップＳ３６〜Ｓ５０（図１６及び図１７）の処理を実行する。なお、ステップＳ３６〜Ｓ５０の処理は、第１の実施形態のステップＳ１３〜Ｓ２７（図１４及び図１５）の処理と同じであるため説明を割愛する。

上述した第２の実施形態によれば、建物３００内を自由に移動するロボット１００が取得した顔画像のユーザーと監視カメラ２００が取得した歩行画像のユーザーを一意に結び付けることが困難な場合でも、ロボット１００の位置情報に紐付いたカメラＩＤを持つ監視カメラ２００の撮影画像からユーザーの歩行データを得ることができる。それゆえ、第１の実施形態と同様に、ロボット１００が取得した人物の顔データ若しくは監視カメラ２００が取得した人物の歩容データ、あるいはその両方を用いることで、ユーザーを一意に特定することができる。

＜３．第３の実施形態＞
第３の実施形態は、監視カメラ２００により歩容データが取得されたユーザーについて、ロボット１００の撮像部１０３ａにより顔を撮影する場合の例である。第３の実施形態は、このような場合に、ロボット制御装置１１０による顔情報の取得及びユーザー識別情報テーブルへの登録に関する動作を示すものである。第３の実施形態では、監視カメラ２００による歩行者の撮影がこの動作のトリガーとなる。

まずカメラ制御装置２１０は監視カメラ２００から歩行画像を取得したら、歩行画像を生成した監視カメラ２００のカメラＩＤとともに歩行画像とその特徴量（歩容データ）をロボット制御装置１１０へ送信する。ロボット制御装置１１０のユーザー識別処理部１１２ｄは、カメラ制御装置２１０から歩容データを受信すると、カメラＩＤに基づいて監視カメラ管理テーブル２１２ｅから該当する監視カメラ２００の位置情報（エリア）を取得する。次いで、ユーザー識別処理部１１２ｄは、該当位置（エリア）に存在する若しくは近いロボット１００に対し、歩行者を撮影して顔画像を取得するよう指令を出す。

その後、ロボット制御装置１１０は、第１の実施形態のステップＳ１３〜Ｓ２７（図１４及び図１５）に対応する処理を実行する。但し、顔データに関する処理と歩容データに関する処理の順番は入れ替わる。すなわち本実施形態では、図１４のステップＳ１３において撮影画像内に人物の顔を検知したか否かを判定し、ステップＳ１４において受信した顔データと顔識別情報テーブル１１２ｅに登録されている顔データが一致するか否かを判定する。その後、ステップＳ１５において受信した歩容データと歩容識別情報テーブル１１２ｆに登録されている歩容データが一致するか否かを判定する。

＜４．第４の実施形態＞
上述した第１〜第３の実施形態では、ユーザーＩＤに顔情報ＩＤと歩容情報ＩＤを紐付けて管理したが、ユーザーの識別に利用可能な他の情報（カード情報、生体情報等）を顔情報ＩＤや歩容情報ＩＤとともにユーザーＩＤに紐付けて管理してもよい。カード情報や生態情報をカードリーダーや生体認証装置などにより読み取り、それをロボット制御装置１１０が取得した顔画像やカメラ制御装置２１０が取得した歩容画像と紐付けて、ユーザーの識別に利用することができる。カード情報としては、例えばセキュリティカード番号（従業員番号等）やクレジットカード番号などがある。生体情報としては、例えば指紋、虹彩、声紋、指や手の静脈等の情報がある。

例えば図１２において、認証装置３２０とロボット制御装置１１０が有線通信又は無線通信により通信可能に接続されているとする。ユーザーが建物３００（若しくは目的のフロア）に入る際に、認証装置３２０（この場合は指紋認証装置）の読取面に指を置くと、認証装置３２０は指から指紋を読み取り、ロボット制御装置１１０へ指紋情報を送信する。

ロボット制御装置１１０の顔識別処理部１１２ｃは、受信した指紋情報を認証した直後（設定時間内）にエリアＡに入ってきたユーザーＵの顔を撮影すると、顔データ及び顔情報ＩＤを生成して顔識別情報テーブル１１２ｅに登録する。次いで、ユーザー識別処理部１１２ｄは、新規顔情報ＩＤに紐付けて新たにユーザーＩＤをユーザー識別情報テーブル１１２ｇに登録する。また、ユーザーＵがエリアＡに入ってきたことは、カメラ制御装置２１０が監視カメラ２００の撮影画像を解析することでも検知できる。以降、顔画像及び／又は指紋情報に基づいて、ユーザー（ユーザーＩＤ）を特定することが可能となる。

他の例として、ユーザーＵが建物３００内のテナントで商品を購入するため店員にクレジットカードを提示し、カード読取り装置により店員がユーザーＵのクレジットカードの処理を行っている場面をロボット１００が撮影した場合を説明する。この場合、ロボット１００が見ている方向にいるユーザーＵの顔画像とロボット１００が見ている方向にあるカード読取り装置で読み取られたカード情報を紐付ける。ここで、ロボット１００がユーザーＵの顔画像を撮影できない場合には、監視カメラ２００が撮影対象とするユーザーＵを追尾してユーザーＵが歩行した段階で歩行画像を取得し、カード情報と歩行画像を紐付けるようにしてもよい。

上述した第４の実施形態は、顔画像とユーザーの識別に利用可能な他の情報（例えばカード情報、生体情報）とを用いて、ロボット１００の近くにいるユーザーを識別することができる。すなわち第４の実施形態では、ロボット制御装置１１０のユーザー識別処理部１１２ｄは、ユーザーの顔画像と取得した他の情報とに基づいてユーザー識別情報テーブル１１２ｇを参照し、該当ユーザーＩＤを特定することができる。他の情報としては、カード情報及び生体情報の他に、ユーザーの音声に関する情報を利用することもできる。

なお、第４の実施形態においても、他の実施形態と同様に、ユーザーＵの歩行画像を取得して顔画像及び他の情報とともに、ユーザーＩＤに紐付けて登録するようにしてもよい。そして、ユーザー識別処理部１１２ｄが、顔画像と組み合わせて使用する他の情報（識別方法）として、歩容画像、カード情報、生体情報又は音声情報のいずれかを選択し、この選択した情報と顔画像とに基づいてユーザーの認識処理を行うようにしてもよい。例えば、顔画像と歩容画像とカード情報が得られている場合、ユーザーと直接関連付けられているカード情報と顔画像とを、ユーザー識別に用いるようにしてもよい。

このような第４の実施形態によれば、ユーザー識別処理部１１２ｄは、ロボット１００の動作状況（例えば位置や顔画像撮影の有無）やユーザーの行動（個人情報入力）、ロボット１００とユーザーとの対話、テナント店員の操作（クレジットカードの処理等）などの状況に応じて、ユーザーの顔画像及び／又は他の情報を適宜用いてユーザーを識別することができる。ユーザーの識別に、顔画像と他の２つの情報とを用いてもよい。

なお、顔画像しか得られなかった場合には、ユーザー識別処理部１１２ｄは、顔画像に基づいて図１５のステップＳ２６，Ｓ２７又は図１７のステップＳ４９，Ｓ５０の処理を行い、新規ユーザー用のサービスを実施する。また、他の１つの情報しか得られなかった場合には、ユーザー識別処理部１１２ｄは、第３の実施形態の処理（歩行画像を他の情報に置き換えて準用）を行い、新規ユーザー用のサービスを実施する。

＜５．変形例＞
上述した実施形態では、ロボット制御装置１１０のユーザー識別処理部１１２ｄによりユーザーを識別する例を説明したが、ロボット１００がユーザー識別処理部１１２ｄを備え、ロボット１００側でユーザーの識別処理を実行するようにしてもよい。

また、ユーザー識別情報テーブル１１２ｇ，１２２ｄ、顔識別情報テーブル１１２ｅ，１２２ｂ、及び歩容識別情報テーブル１１２ｆ，１２２ｃ，２１２ｄに登録されたデータは、一定期間を経過後に削除することが望ましい。これにより、各装置内の記憶装置の記憶領域に記憶されたデータ量を削減し、一定の空き領域を確保することができる。

さらに、本発明は上述した各実施形態例に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。

例えば、上述した実施形態例は本発明を分かりやすく説明するために装置及びシステムの構成を詳細且つ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ある実施形態例の構成の一部を他の実施形態例の構成に置き換えることは可能である。また、ある実施形態例の構成に他の実施形態例の構成を加えることも可能である。また、各実施形態例の構成の一部について、他の構成の追加、削除、置換をすることも可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又はＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…ロボット管理システム、 １００…ロボット、 １０１…ＣＰＵ、 １０２…記憶装置、 １０２ａ…入出力部、 １０２ｂ…シナリオ処理部、 １０２ｃ…駆動制御部、 １０２ｄ…対話制御部、 １０３…入出力装置、 １０３ａ…カメラ、 １０３ｂ…測域センサ、 １０３ｃ…ジャイロセンサ、 １０３ｄ…駆動機構、 １０３ｅ…マイクロフォン、 １０３ｆ…スピーカ、 １１０…ロボット制御装置、 １１１…ＣＰＵ、 １１２…記憶装置、 １１２ａ…入力データ処理部、 １１２ｂ…出力データ処理部、 １１２ｃ…顔識別処理部、 １１２ｄ…ユーザー識別処理部、 １１２ｅ…顔識別情報テーブル、 １１２ｆ…歩容識別情報テーブル、 １１２ｇ…ユーザー識別情報テーブル、 １１２ｈ…ロボット管理テーブル、 １２０…ロボット監視センタ、 １２１…ＣＰＵ、 １２２…記憶装置、 １２２ａ…入出力データ処理部、 １２２ｂ…顔画像識別情報テーブル、 １２２ｃ…歩容識別情報テーブル、 １２２ｄ…ユーザー識別情報テーブル、 １２２ｅ…宣伝データ管理部、 １２２ｆ…ロボット管理テーブル、 １２４…表示部、 ２００…監視カメラ、 ２０１…ＣＰＵ、 ２０２…記憶装置、 ２０２ａ…映像処理部、 ２０３…入出力装置、 ２０３ａ…撮像部、 ２１０…カメラ制御装置、 ２１１…ＣＰＵ、 ２１２…記憶装置、 ２１２ａ…入力データ処理部、 ２１２ｂ…出力データ処理部、 ２１２ｃ…歩容識別処理部、 ２１２ｄ…歩容識別情報テーブル、 ２１２ｅ…監視カメラ管理テーブル

Claims (6)

1. カメラを備えた移動可能なロボットと、前記ロボットよりも高い位置に配置された監視カメラと、前記ロボットを制御するロボット制御装置と、前記監視カメラを制御するカメラ制御装置とを含む人識別システムであって、
   前記カメラ制御装置は、前記監視カメラが撮影した人の歩行画像を前記監視カメラから受け取り、前記歩行画像から歩容識別情報を作成する歩容識別処理部、を備え、
   前記ロボット制御装置は、前記ロボットのカメラが撮影した人の顔画像を前記ロボットから受け取り、前記顔画像から顔識別情報を作成する顔識別処理部と、
   前記カメラ制御装置から前記歩容識別情報を受け取り、前記歩容識別情報と前記顔識別情報を対応する人の識別子に対応付けて格納するユーザー識別情報テーブルと、
   前記顔識別情報及び前記歩容識別情報のうち得られた識別情報を用い該当する識別情報に対応した識別方法を用いて、前記ユーザー識別情報テーブルを参照し前記人の識別を行うユーザー識別処理部と、を備え、
   前記ユーザー識別処理部は、テナント内では顔画像を用いた識別を行い、テナント外では歩行画像を用いた識別を行うことを特徴とする
   人識別システム。
2. 更に前記ロボット制御装置は、ロボット動作指示部、を備え、
   前記ロボット動作指示部は、前記ユーザー識別処理部により識別された前記人に対して前記ロボットが行う動作を決定し、前記動作を前記ロボットに指示することを特徴とする 請求項１に記載の人識別システム。
3. 前記ロボットが前記監視カメラの近傍に位置する場合には、前記ユーザー識別処理部は、前記顔画像から作成された顔識別情報と前記歩行画像から作成された歩容識別情報が同一人についての情報であるとして、前記顔識別情報と前記歩容識別情報を対応付けて前記ユーザー識別情報テーブルに格納することを特徴とする
   請求項１に記載の人識別システム。
4. 前記ユーザー識別処理部は、前記ロボットのカメラが人の顔を撮影できるときは顔画像を用いて人の識別を行い、前記監視カメラが歩行する人の歩行を良好に撮影できる環境下では歩行画像を用いて人の識別を行うことを特徴とする
   請求項１に記載の人識別システム。
5. 前記ユーザー識別情報テーブルには更に、前記人を識別する際に前記顔画像と組み合わせて使用可能な他の情報が前記人の識別子と対応付けて格納されており、
   前記ユーザー識別処理部は、前記他の情報が入力されると前記顔画像と前記他の情報を用いて、前記ユーザー識別情報テーブルを参照し前記人の識別を行うことを特徴とする 請求項１に記載の人識別システム。
6. カメラを備えた移動可能なロボットと、前記ロボットよりも高い位置に配置された監視カメラと、前記ロボットを制御するロボット制御装置と、前記監視カメラを制御するカメラ制御装置とを含む人識別システムによる人識別方法であって、
   前記カメラ制御装置により、前記監視カメラが撮影した人の歩行画像を前記監視カメラから受け取り、前記歩行画像から歩容識別情報を作成するステップと、
   前記ロボット制御装置により、前記ロボットのカメラが撮影した人の顔画像を前記ロボットから受け取り、前記顔画像から顔識別情報を作成するステップと、
   前記ロボット制御装置により、前記カメラ制御装置から前記歩容識別情報を受け取り、前記歩容識別情報と前記顔識別情報を対応する人の識別子に対応付けてユーザー識別情報テーブルに格納するステップと、
   前記顔識別情報及び前記歩容識別情報のうち得られた識別情報を用い該当する識別情報に対応した識別方法を用いて、前記ユーザー識別情報テーブルを参照し前記人の識別を行うステップと、を含み、
   前記人の識別は、テナント内では顔画像を用いて行い、テナント外では歩行画像を用いて行うことを特徴とする
   人識別方法。

Images