JP4303602B2 - 顔面像取得システム - Google Patents

Description

本発明は、カメラおよび腕部を有するロボットを利用した顔画像取得システムに関する。

企業などにおいて、業務の効率化や人件費の削減などを目的として、ロボットを用いて来訪者の案内を行う受付案内システムが研究されている。例えば、特許文献１および特許文献２には、ロボットを用いて受付業務を行う発明が開示されている。

しかしながら、特許文献１および特許文献２に記載の発明は、ロボットを用いて来訪者の受付を行うものの、これらのロボットは、人間の補助的な機能しか有しておらず、業務の効率化や、人件費の削減といった本来の目的を達成できていなかった。特に、これらのロボットには来訪者を認識する機能を有していないため、画一的な対応しか行えなかった。

そこで、特許文献３に開示されたような、顔認識技術を用いて、来訪者を識別して個別に対応する方法が考えられる。本願出願人は、人型のロボットに顔認識技術を適用して、来訪者に応じて個別に対応できる受付案内システムを開発した。

特開平２−２４０６８４号公報（２〜３頁、第５図） 特開平７−２９５６３７号公報（段落００１１〜００１３、図３、図４、図５） 特開２００１−２６６１５２号公報（段落００６６〜００７１、図１）

ところで、前記した人型のロボットを用いた受付案内システムにおいて、来訪者の顔認識をするためには、来訪者の顔画像を登録しておく必要がある。さらに、この画像の登録には、顔認識の精度を向上させるため、ビデオカメラなどにより、来訪者に静止してもらい撮像した顔画像を登録する作業が必要であった。そのため、顔画像が登録されていない来訪者の顔画像を登録するためには、そのような作業を受付窓口などで行う必要があり、スムーズな受付を行うことが難しかった。

したがって、本発明は、来訪者に意識させることなく、来訪者の顔画像を取得でき、その際、顔認識の精度を向上させることを目的として、来訪者の正面顔画像を取得できる顔画像の取得手段を提供することを課題とする。

前記した課題を解決するためになされた請求項１に記載された顔画像取得システムは、カメラおよび腕部を有するロボットならびに人物を特定する人物情報と前記人物情報と対応付けられた前記人物の顔画像を登録した人物情報データベース、来訪者を検出し、前記来訪者の顔画像を取得する来訪者検出手段、前記人物情報データベースと来訪者検出手段から送られる情報とに基づいて、前記ロボットの動作を指示する動作指示情報を作成する動作情報管理手段および前記動作指示情報に基づいて前記ロボットの動作の指示を送る動作指示手段を含んで構成される動作制御手段からなる来訪者の顔画像取得システムであって、前記動作制御手段は、前記来訪者検出手段において来訪者を検出すると、前記来訪者検出手段で取得した前記来訪者の顔画像に基づいて、前記人物情報データベースを参照して前記来訪者の特定を試み、前記人物情報データベースから該当する人物が登録されていないときは、前記動作情報管理手段において、前記来訪者を特定できるＩＤ情報を作成し、前記来訪者の顔画像を取得する動作指示情報を作成して、前記動作指示手段から前記ロボットに動作の指示を送信し、前記ロボットは、この動作の指示に基づいて、前記腕部を前記来訪者に差し出し、握手をする動作の間に、前記来訪者の顔画像を前記カメラにより撮像し、前記動作制御手段は、前記ＩＤ情報を人物情報として、この人物情報および前記ロボットが撮像した前記来訪者の顔画像を対応付けて前記人物情報データベースに登録することを特徴としている。

請求項１に記載の発明によると、人物情報データベースに登録されていない来訪者であっても、ＩＤ情報を設定して、来訪者の顔画像を人物情報データベースに登録することで、再度顔画像取得動作を行う必要がなくなる。

また、請求項２に記載された発明は、請求項１に記載された顔画像取得システムにおいて、前記ロボットは、前記来訪者に対して前記来訪者に関する情報の入力を促し、前記動作制御手段は、取得した前記来訪者に関する情報を、前記人物情報に付加して前記人物情報データベースに登録することを特徴としている。

請求項２に記載された発明によると、請求項１に記載された発明の効果に加えて、予め人物情報データベースに登録されていない来訪者であっても、来訪者を特定する人物情報を取得することができる。

また、請求項３に記載された発明は、請求項１または請求項２に記載された顔画像取得システムにおいて、前記ロボットは、前記来訪者の顔画像を撮像する際に、所定の枚数の顔画像を撮像し、最後に撮像した１以上の各顔画像と、それより前に撮像した顔画像を集計した顔クラスとの類似度を算出し、前記類似度の平均値が所定の値以上になるまで、さらに前記来訪者の１以上の顔画像を撮像することを特徴としている。

請求項３に記載の発明によると、所定の類似度になるまで顔画像を取得することで、来訪者の特定の精度を所定の水準に保つことができる。

また、請求項４に記載された発明は、請求項１に記載された顔画像取得システムにおいて、前記動作制御手段は、前記来訪者検出手段において来訪者を検出すると、前記来訪者検出手段で取得した前記来訪者の顔画像に基づいて、前記人物情報データベースを参照して前記来訪者の特定を試み、前記人物情報データベースから該当する人物を特定すると、前記動作情報管理手段において前記来訪者の顔画像の類似度を判定する動作指示情報を作成して、前記動作指示手段から前記ロボットに動作の指示を送信し、前記ロボットは、この動作の指示に基づいて、前記腕部を前記来訪者に差し出し、握手をする動作の間に、前記来訪者の顔画像を前記カメラにより撮像し、前記ロボットが撮像した顔画像と、前記人物情報データベースに登録された顔画像を集計した顔クラスとの類似度を算出し、前記類似度が所定の値以上になるまで、さらに前記来訪者の顔画像を撮像し、前記動作制御手段は、前記ロボットが撮像した前記来訪者の顔画像を、前記人物情報データベースに登録することを特徴としている。

請求項４に記載の発明によると、来訪者を特定し、この特定に用いられる登録された来訪者の顔画像を追加登録できるため、年齢などにより来訪者の顔が変化した場合であっても、来訪者を特定する精度を保つことができる。

また、請求項５に記載された発明は、請求項４に記載された顔画像取得システムにおいて、前記ロボットは前記来訪者が差し出した腕部を握ったか否かを判定する握手判定手段をさらに含んで構成され、前記ロボットは、握手をする動作に入ったとき、前記握手判定手段により、前記来訪者が握手をしてくれたか否かを判定し、前記来訪者が握手をしてくれたと判定した場合にのみ、前記カメラで前記来訪者の顔画像を撮像することを特徴としている。

請求項５に記載の発明によると、来訪者の特定に誤りがあった場合には、顔画像を取得しないため、人物情報データベースに誤った顔画像を追加して格納することを防ぐことができる。

また、請求項６に記載された発明は、請求項１ないし請求項５のいずれか１項に記載された顔画像取得システムにおいて、前記動作制御手段は、前記人物情報データベースに格納された人物情報のうち、所定の項目が含まれていない人物情報は、それに対応付けられた顔画像とあわせて所定のタイミングで消去することを特徴としている。

請求項６に記載の発明によると、所定のタイミングで人物情報データベースに登録された名前などの特定の項目を有しない人物情報とそれに対応付けられた顔画像を消去してしまうことで、人物情報データベースに格納する情報量の肥大化を抑えることができる。

本発明によると、握手をする自然な動作により、来訪者は所定の位置に静止するため、取得対象者の同一の位置からの顔画像を撮像でき、さらに、来訪者に負担をかけることなく顔画像の取得が可能となる。さらに、予め登録されていない来訪者であっても、新規にＩＤ情報を作成して、来訪者の顔画像を人物情報データベースに登録することで、再度顔画像の取得動作を行うことを防止することができる。また、所定のタイミングで人物情報データベースの特定の項目が含まれていない人物情報とそれに対応付けられた顔画像とを消去することで、格納する情報量の肥大化を防止することができる。さらに、各データベースに登録される顔画像は、所定の類似度を保って登録されているため、来訪者を特定する精度が向上する。

本発明の実施形態例について適宜図面を参照しながら説明する。以下、二足歩行による自律移動が可能な人間型ロボットを使用し、企業などのオフィスビルに設けられたロビーに訪れた来訪者の受付をする場合に本発明を適用した例を説明する。

例えば図１は、本実施形態例における受付システム１を示す概略図である。図２は、受付システム１のロボット２の構成例を示すブロック図である。図３は、受付システム１の受付動作制御手段Ｂの例を示すブロック図である。図１に示すように、受付システム１は、主にロボット２および受付動作制御手段Ｂから構成される。さらに、受付動作制御手段Ｂは、ロボット支援サーバ３、送受信部３５および場内カメラ４から構成されている。なお、図１では、ロボット支援サーバ３はロビー内に設置される構成としたが、別室に設置される構成であってもよい。

次に、ロボット２について説明する。図２に示すように、ロボット２は、二足歩行による自律移動が可能であり、カメラ２１ａ、２１ａ、マイク２２ａ、スピーカ２３ａ、制御部２Ａ、自律移動手段２６ｂ、作業手段２７および送受信部２８から構成されている。制御部２Ａは、画像認識部２１ｂ、音声認識部２２ｂ、発話生成部２３ｂ、人応答部２４、自己位置推定手段２５、移動制御部２６ａ、シナリオＤＢ（データベース）２９ａおよび地図情報ＤＢ２９ｂから構成されている。

ロボット２の構成要素を詳しく説明すると、カメラ２１ａは、ロボット２の周囲の状況や来訪者の顔などの画像を撮像して画像認識部２１ｂに送るための機器である。ここで、カメラ２１ａは、モノクロまたはカラービデオカメラであって、本実施例ではカメラ２１ａを２つ備える構成とした。カメラ２１ａを２つ備える構成とすることで、２つの画像の視差に基づいて、来訪者までの距離や、ロビー内における自己位置を演算することが可能となる。また、カメラ２１ａは、図示しないモータなどの駆動手段により、パン（左右方向）およびチルト（上下方向）に駆動され、所望の方向に向けることができる構成とした。

画像認識部２１ｂは、カメラ２１ａが撮像した画像情報をデジタル化して取り込む。また、動的輪郭モデル（Ｓｎａｋｅｓ）などの手法を用いた移動体の自動抽出・追跡機能を有している。また、画像認識部２１ｂは、デジタル化した画像情報を人応答部２４および自己位置推定手段２５に送る。さらに、画像認識部２１ｂは、所定のサイズに来訪者の顔画像を切り出す機能を有し、撮像した顔画像または後記するロボット支援サーバ３の来訪者情報ＤＢ３４ｂに格納された来訪者の顔画像に基づいて、来訪者の顔画像の類似度を算出して、人応答部２４に送る機能を有している。

マイク２２ａは、周囲の音や、来訪者の発話などの音情報を集め、音声認識部２２ｂに送る。また、音声認識部２２ｂは、マイク２２ａが集めた音情報に基づいて、予め登録された語彙を参照して、来訪者の発話内容を認識する。

スピーカ２３ａは、発話生成部２３ｂが生成した音声を出力し、来訪者とのコミュニケーションを行うための機器である。また、発話生成部２３ｂは、人応答部２４からシナリオＤＢ２９ａに格納されるコミュニケーションのためのシナリオや、ロボット支援サーバ３の受付動作指示手段３３（図３参照）からの受付動作の指示に基づき、来訪者に伝える内容を音声に合成してスピーカ２３ａに出力する。

人応答部２４は、図１に示したロボット支援サーバ３から送られてきた各情報、画像認識部２１ｂから送られた画像情報、マイク２２ａからの来訪者の発話などに応じて、会話の情報を生成したり、作業手段２７に信号を送ってロボット２の動作（例えば腕を上げる）を制御したりする。また、人応答部２４は、ロボット支援サーバ３からの受付動作の指示の送信により受付動作を開始するときに、受付開始情報を送受信部２８からロボット支援サーバ３に送信する。さらに、来訪者の受付動作が完了したときには、受付完了情報を送受信部２８から、ロボット支援サーバ３に送信する。さらに、画像認識部２１ｂが算出した来訪者の顔画像の類似度に基づいて、来訪者の顔画像を取得する制御を行う。

自己位置推定手段２５は、画像認識部２１ｂから送られる２つのカメラ２１ａで撮像された画像情報と、地図情報ＤＢ２９ｂに格納された地図情報とをもとに、ロボット２の現在位置を推定してロボット位置情報を算出し、移動制御部２６ａおよび送受信部２８を介してロボット支援サーバ３にこのロボット位置情報を送信する。

移動制御部２６ａは、自己位置推定手段２５から送られたロボット位置情報、地図情報ＤＢ２９ｂに格納される地図情報およびロボット支援サーバ３から送られる受付動作の指示をもとに自律移動手段２６ｂの動作を制御する。

自律移動手段２６ｂは、ロボット２が自律的に移動するための機器であり、本実施形態例ではロボット２の脚部に相当する部分である。また、作業手段２７は、人応答部２４の制御信号に応じてロボット２の作業を制御するための機器であり、本実施形態例ではロボット２の腕部に相当している。さらに、送受信部２８は、ロボット支援サーバ３との無線による送受信を行うための機器である。

シナリオＤＢ２９ａは、来訪者とのコミュニケーションを支援するデータベースであり、「はじめまして」「お名前を教えてください」などの、来訪者との間で行われる会話に用いられる文例や、この文例に対応付けられたロボット２の動作（例えば握手をする）に関する情報、さらに、受付動作の終了後にホームポジションに移動する動作に関する情報などが格納されている

地図情報ＤＢ２９ｂは、ロボット２が移動可能な領域の地図情報を格納するデータベースである。この地図情報は、ロボット支援サーバ３の地図情報ＤＢ３４ａ（図３参照）に格納されている地図情報と同一のものであり、ロボット支援サーバ３との送受信により情報の更新が可能である。

次に、図３を参照して、請求項の動作制御手段に相当する受付動作制御手段Ｂについて説明する。受付動作制御手段Ｂは、ロボット支援サーバ３、送受信部３５および場内カメラ４から主に構成される。ロボット支援サーバ３は、画像認識部３１、受付情報管理手段３２、受付動作指示手段３３、地図情報ＤＢ３４ａ、来訪者情報ＤＢ３４ｂおよびスケジュール情報ＤＢ３４ｃから構成され、付帯する送受信部３５を通じて、ロボット２とさまざまな情報を送受信可能な構成となっている。

画像認識部３１は、場内カメラ４が撮像した画像情報をデジタル化して取り込む。また、この画像認識部３１は、動的輪郭モデル（Ｓｎａｋｅｓ）などの手法を用いた移動体抽出・追跡機能を有し来訪者を検出することができる。次に、画像認識部３１は、所定のサイズに来訪者の顔画像を切り出す機能も有している。さらに、画像認識部３１は、撮像した画像情報から、ロビー内の来訪者やロボット２の位置関係を示す情報である配置情報を検出することが可能に構成されている。

場内カメラ４は、出入口を含む来訪者およびロボット２が移動可能なロビーの領域の画像情報を撮像し、画像認識部３１に送る。画像認識部３１では、場内カメラ４が出入口からロビーに入ってきた来訪者を撮像した画像情報から、撮像された移動体を来訪者であると認識する。そして、画像認識部３１は、この来訪者をはじめに認識した時刻を、来訪時刻として受付情報管理手段３２に送信する。そして、画像認識部３１は、場内カメラ４が撮像した画像情報をもとに、ロビー内における来訪者およびロボット２の位置を算出することで配置情報を取得して、受付情報管理手段３２に送る。
なお、画像認識部３１および場内カメラ４は、請求項の来訪者検出手段に相当している。

地図情報ＤＢ３４ａは、ロボット２が移動可能な領域の地図情報を格納している。例えば、ロビーの形状、ロビー内の観葉植物、ソファなどの障害物などが地図情報として格納されている。この地図情報は、図１に示したオペレータ用ＰＣからの入力により、情報の更新が可能である。したがって、ロビーの形状変更や、テーブル、ソファなどのレイアウトの変更にも対応できる。また、オペレータ用ＰＣからの入力により変更された地図情報は、送受信部３５からロボット２に送信され、ロボット２の地図情報ＤＢ２９ｂ（図２参照）に格納された地図情報も同様に更新される。

特許請求の範囲の人物情報データベースに相当する来訪者情報ＤＢ３４ｂは、来訪者情報とその来訪者の顔画像とを関連付けて格納している。この来訪者情報には、来訪者に一意に付けられたＩＤ番号、氏名、所属会社名、肩書きなどが含まれている。ここで、来訪者情報ＤＢ３４ｂに含まれる来訪者情報の一部の例を表１に示す。表１に示すように、来訪者情報は複数の項目から構成され、ＩＤ番号以外の項目は必須ではないため、入力されていない項目はデフォルトでｎｕｌｌデータとなっている。本実施形態例では、受付情報管理手段３２により、来訪者情報の項目のうち「名前」の情報がｎｕｌｌデータである来訪者情報とそれに対応付けられた顔画像は、所定の時間（例えば数日ごと）や所定のタイミング（例えば、ロボット２の電源を落とす時点）などで消去される設定となっている。
また、これらの来訪者情報の項目のうち、少なくとも一つの項目の情報を、スケジュール情報ＤＢ３４ｃに格納されたスケジュール情報を検索する際のキー情報として用いることができる。なお、来訪者情報ＤＢ３４ｂに格納された来訪者情報は、オペレータ用ＰＣから入力されることや、ロボット２が来訪者から直接取得することが考えられる。

なお、受付情報管理手段３２により、来訪者情報を消去する条件は、「来訪者情報の所定の項目の情報がｎｕｌｌデータであること」以外にも、例えば、来訪者情報に含まれる画像認識部３１が取得した来訪者の来訪時刻を用いて、来訪者が来訪して所定の時間（例えば１週間）経過したことを条件として、来訪者情報とそれに対応付けられた顔画像を消去するなど様々に変更可能である。
また、来訪者情報ＤＢ３４ｂに格納できる来訪者一人当りの顔画像の枚数を予め設定し、最大枚数になった場合は、古い画像から上書きして書き換える構成も考えられる。
さらに、来訪頻度を来訪者情報に格納して、その頻度に応じて顔画像を消去するまでの時間を可変させることも可能である。

スケジュール情報ＤＢ３４ｃは、予め登録された来訪者のスケジュール情報と来訪者情報（例えば、ＩＤ番号）とを関連付けて格納している。スケジュール情報は、例えば、来訪する日付、予定時刻、来訪者の所属会社名、肩書き、氏名、面会予定者、案内先などに関する情報である。このスケジュール情報は、事前にオペレータ用ＰＣから入力されて格納されている。

受付情報管理手段３２は、地図情報ＤＢ３４ａ、来訪者情報ＤＢ３４ｂおよびスケジュール情報ＤＢ３４ｃに格納される各情報、ならびに画像認識部３１から送られる画像情報、配置情報およびロボット２の自己位置推定手段２５（図２参照）から送信されるロボット位置情報などをもとに受付動作情報を作成し管理する。

ここで、受付動作情報の作成例について説明する。
はじめに、画像認識部３１は、来訪者の来訪時刻、所定のサイズに切り出された来訪者の顔画像および配置情報を受付情報管理手段３２に送る。そして、受付情報管理手段３２は、来訪者情報ＤＢ３４ｂから、この来訪者の顔画像と類似度の高い顔画像を求めて、その求めた顔画像に対応する来訪者情報を取得する。

ここで、画像認識部３１から送られる来訪者の顔画像と類似度の高い顔画像を、来訪者情報ＤＢ３４ｂに格納された顔画像から求める手法としては、例えば、従来技術である顔画像の各輝度値を要素とするベクトル空間に主成分分析を適用する手法（固有空間法）を用いることができる。この固有空間法とは、所定のサイズに切り出されて正規化された来訪者の顔画像から抽出した特徴ベクトルの集合から、射影成分の分散が大きい射影軸を求め、特徴ベクトルをその射影軸への射影成分（主成分）で表すことで、来訪者の顔画像および来訪者情報ＤＢ３４ｃに格納された来訪者情報の顔画像の主成分スコア間の距離を用いて類似度を算出し、その算出した類似度が所定の閾値以上でかつ最大のものを来訪者情報ＤＢ３４ｃに格納された来訪者情報の顔画像と認識する方法である。なお、本発明はこの手法に限定されず、様々な顔認識手法を適用することが可能である。

そして、受付情報管理手段３２は、来訪者情報の一つ、例えばＩＤ番号をキー情報として、スケジュール情報ＤＢ３４ｃを検索し、この来訪者のスケジュール情報を取得する。さらに、来訪者情報と、スケジュール情報と、画像認識部３１から取得した来訪者位置情報とをあわせて案内誘導のための受付動作情報を作成して、受付動作指示手段３３に送る。

なお、来訪者情報ＤＢ３４ｂに所定の類似度を有する来訪者の候補が無い場合には、未登録者として新たにＩＤ番号を設定し、新規の来訪者の顔画像の取得のための受付動作情報を受付動作指示手段３３に送る。

受付動作指示手段３３は、受付情報管理手段３２から送られる受付動作情報に基づいて、指示情報をロボット２に送信する。このように来訪者ごとに受付動作情報は異なるため、ロボット２は、来訪者に合わせた受付動作を行うことになる。
なお、この受付動作の指示については、後記する受付過程を説明するフローチャートを用いて詳しく説明する。

送受信部３５は、ロボット２の送受信部２８（図２参照）との間で無線による情報の送受信を行う。送受信の具体例としては、受付動作指示手段３３が逐次出力する指示情報をロボット２側に送信する。また、ロボット２の画像認識部２１ｂ（図２参照）がデジタル化して取得した画像情報などを受信する。さらに、ロボット２側からの受付開始情報や受付完了情報を受信し、この受信した情報をロボット支援サーバ３に送る。これらの受付開始情報および受付完了情報は、受付情報管理手段３２に送られ、来訪者情報に付加される。これにより、ロビー内の来訪者が未受付であるか、受付中であるかまたは受付済みであるかが識別可能となる。また、これらがスケジュール情報と組み合わせられることにより、予定された来訪者が未受付であるか、受付済みであるかを確認することができる。

オペレータ用ＰＣは、各ＤＢ内の情報や受付状況等を入力、表示、更新するための機器である。オペレータは、オペレータ用ＰＣの画面から受付状況を確認したりすることができる。

（受付・新規登録動作）
続いて、本実施形態例に係る受付システム１を用いた来訪者の受付動作について、図４に示すフローチャートを用いて説明する（適宜、図２、図３参照）。

はじめに、ロボット支援サーバ３は、場内カメラ４が撮像した画像をもとに、画像認識部３１において、来訪者の有無を検出する（ステップＳ４０１）。場内カメラ４の画像から来訪者が検出されない場合は（ステップ４０１においてＮｏの場合）、来訪者が検出されるまでステップＳ４０１の処理を繰り返す。

そして、ステップＳ４０１において来訪者の存在を検出した場合（ステップＳ４０１においてＹｅｓの場合）には、場内カメラ４が撮像した画像をもとに、画像認識部３１は、ロボット支援サーバ３の受付情報管理手段３２に、所定の大きさに切り出された来訪者の顔画像ならびにロビー内における来訪者およびロボット２の配置情報を送る（ステップＳ４０２）。

次に、ロボット支援サーバ３の受付情報管理手段３２では、場内カメラ４で撮像された来訪者の顔画像と来訪者情報ＤＢ３４ｂに格納された顔画像とを用いて前記した固有空間法などの所定の方法により、来訪者の顔認識を実行して、この来訪者が来訪者情報ＤＢ３４ｂに登録された人物か否かを判断する（ステップＳ４０３）。ここで、来訪者が来訪者情報ＤＢ３４ｂに登録された人物ではないと判断した場合は（ステップ４０３においてＮｏの場合）、後段側のステップに進み、登録された人物であると判断した場合は（ステップＳ４０３においてＹｅｓの場合）、後記する来訪者の受付・案内のステップ（図中では符合Ａ）に進む。
なお、この来訪者の検索の際に、現在時刻およびスケジュール情報ＤＢ３４ｃに格納された来訪者の来訪予定時刻から、来訪する可能性の高い来訪者情報を絞り込んでから、顔認識を行うことで、顔認識の精度および認識時間を向上させることも可能である。

ステップ４０３においてＮｏの場合、次に、ロボット支援サーバ３の受付情報管理手段３２は、この来訪者に一意に付けられるＩＤ番号を新たに設定して、この来訪者の来訪時刻とあわせて来訪者情報として、来訪者情報ＤＢ３４ｂに格納する（ステップＳ４０４）。

そして、受付情報管理手段３２は、画像認識部３１から送られた配置情報、地図情報ＤＢ３４ａに格納された地図情報およびロボット２から送信されたロボット位置情報を合わせて来訪者の受付・新規登録の受付動作情報を作成して（ステップＳ４０５）、受付動作指示手段３３に送る。なお、この受付・新規登録の受付動作情報は、請求項の来訪者の顔画像を取得する動作指示情報に相当する。

この来訪者の受付・新規登録の受付動作情報に基づいて、受付動作指示手段３３は、送受信部３５からロボット２に、受付動作の対象となる来訪者に対して、所定の距離まで接近するように指示する指示情報を送信する（ステップＳ４０６）。ここで、この指示情報には、受付対象となる来訪者の位置を判断する配置情報が含まれている。

この指示情報を受信した（ステップＳ４０７）ロボット２は、指示情報に含まれる配置情報に基づいて受付動作の対象となる来訪者を認識し、同時に、受付動作に入ったことを示す受付開始情報をロボット支援サーバ３に送信する（ステップＳ４０８）。この受付開始情報を受信したロボット支援サーバ３は、受付開始情報を来訪者情報ＤＢ３４ｂに格納されたこの来訪者の来訪者情報に付加して登録する（ステップＳ４０９）。
そして、ロボット２は、自律的に受付の対象である来訪者とコミュニケーションが取れる所定の距離まで接近する（ステップＳ４１０）。

ロボット２が来訪者から所定の距離まで接近すると、ロボット支援サーバ３の受付情報管理手段３２は、来訪者に挨拶をする指示情報をロボット２に送信する（ステップＳ４１１）。なお、ステップＳ４１１のタイミングは、ロボット２がステップＳ４１０の来訪者に接近する動作が終了した時点で、ロボット２がロボット支援サーバ３に動作の終了を示す情報を送信することや、ロボット支援サーバ３の画像認識部３１から送られる配置情報から、ロボット２と来訪者の距離を判断して決定することなどが考えられる。また、ロボット２のシナリオＤＢ２９ａに、来訪者と所定の距離になると、右手を差し出すことを登録しておくことも可能である。

来訪者に挨拶をする指示情報を受信したロボット２は、シナリオＤＢ２９ａに格納された挨拶のシナリオ情報に基づいて「はじめまして」と発話すると同時に、握手をするポーズである右手を差し出す（ステップＳ４１２）。ここで、ロボット２は、所定時間、来訪者がこのポーズに応じて握手をしてくれるかを判断する（ステップＳ４１３）。この来訪者が握手をしてくれるか否かの判断は、図示しないロボット２の手に備えられたタッチセンサなどを用いることや、ロボット２の画像認識部２１ｂにおいて、カメラ２１ａが撮像した画像情報から、来訪者が手を差し出したかを判定することなどにより行われる。
なお、ステップＳ４１３の握手をしてくれたか否かの判定を行わずに、ステップＳ４１２においてロボット２の右手を差し出すタイミングで、後段側のステップに進む構成とすることもできる。この場合、握手をしてくれたかの判定手段が必要ないため、ロボット２の構成を簡略化できるが、来訪者の正面顔画像を撮像できる確率が低下する。

ステップＳ４１３において、所定時間を経過しても来訪者が手を差し出さない場合は（ステップＳ４１３においてＮｏの場合）、来訪者とのコミュニケーションを断念してステップＳ４１５に進む。また、ステップＳ４１３において、来訪者が手を差し出したと判定した場合は（ステップＳ４１３においてＹｅｓの場合）、来訪者の顔画像の登録を実行する（ステップＳ４１４）。

ここで、図５は、ステップＳ４１４の来訪者の顔画像の登録の過程を詳しく説明するフローチャートである。図５を参照して来訪者の顔画像の登録について詳しく説明する（図２参照）。

はじめに、ロボット２は、来訪者が手を差し出したと判定した時点で、来訪者の顔画像を取得するために、顔画像の枚数をカウントする変数である画像枚数Ｎをリセットする（ステップＳ５０１）。そして、カメラ２１ａから、来訪者の顔画像を撮像する（ステップＳ５０２）。
このとき、来訪者はロボット２と握手をする姿勢であるため、ロボット２と対峙する所定の位置で静止することになり、来訪者の正面顔画像を取得することが可能となる。これにより、顔認識を行う際の認識精度を向上させるうえで重要な、来訪者の正面顔画像を容易に取得することができる。

そして、ロボット２の人応答部２４は、撮像開始からの時間が、所定の時間に達したかを判定する（ステップＳ５０３）。ここで、所定の時間とは、握手の動作を行っている時間以内に設定することが望ましい。そして、撮像開始からの時間が所定時間に達していない場合は（ステップＳ５０３においてＮｏの場合）、後段側のステップに進み、撮像開始からの時間が所定時間に達した場合は（ステップＳ５０３においてＹｅｓの場合）、撮像を終了してステップＳ５０６に進む。

次に、ロボット２の人応答部２４は、来訪者の顔画像の枚数が、所定枚数に達したかを判断し（ステップＳ５０４）、所定枚数に達していない場合は（ステップＳ５０４においてＮｏの場合）、さらに来訪者の顔画像を取得し、所定枚数に達した場合は（ステップＳ５０４においてＹｅｓの場合）、後段側のステップに進む。なお、この所定枚数とは、握手の動作の中で自然に撮像可能な枚数であり、例えば、撮像開始から２秒間に６０枚の顔画像を撮像することが考えられる。また、来訪者情報ＤＢ３４ｂに格納できる来訪者一人当りの顔画像の枚数を設定した場合には、設定された最大枚数まで、顔画像を撮像することとしてもよい。

次に、ステップＳ５０４において、顔画像の撮像枚数が、所定枚数に達した場合は、ロボット２の人応答部２４は、最後に撮像した顔画像の、それより前に撮像した顔画像を集計した顔クラスに対する類似度が、所定の閾値以上か否かを判定する（ステップＳ５０５）。詳しく説明すると、このステップＳ５０５では、画像認識部２１ｂにおいて、来訪者の顔画像を、所定枚数取り終えた時点で、最後に撮像された顔画像より前に撮像された顔画像をまとめて固有空間上にその来訪者の顔クラスを形成させて、最後に撮像された顔画像とこの顔クラスとの類似度を計算して人応答部２４に送る、人応答部２４では、この送られた類似度が所定の閾値を超えたか否かを判定している。
なお、ステップＳ５０５の判定において、例えば、最後に撮像された５枚の各顔画像と、この５枚の顔画像より前に撮像された顔画像の顔クラスに対する類似度の平均値が所定の閾値以上となったか否かを判定する構成とすることもできる。

ステップＳ５０５において最後に撮像した顔画像の顔クラスに対する類似度が所定の閾値以上ではない場合は（ステップＳ５０５においてＮｏの場合）、人応答部２４のさらに来訪者の顔画像の撮像を繰り返す。
なお、この追加の来訪者の顔画像の撮像は、１枚単位だけでなく、例えば５枚単位で撮像することも考えられる。この場合も、最後に撮像された５枚の各顔画像の類似度の平均値を求め、この類似度の平均値が所定の閾値以上となったか否かをステップＳ５０５において判定することになる。
また、ステップＳ５０５における類似度の判定は、必ずしも必要ではなく、図５においてステップＳ５０５を省略し、ステップＳ５０４において所定枚数の来訪者の顔画像を撮像したと判定した場合に、後段側のステップＳ５０６に進む構成とすることも可能である。

ステップＳ５０５において類似度が所定の閾値以上である場合は（ステップＳ５０５においてＹｅｓの場合）、後段側のステップに進み、ロボット２は、シナリオＤＢ２９ａに格納されたシナリオ情報に基づいて、「お名前を、教えてください。」と発話し、来訪者の名前を尋ねる（ステップＳ５０６）。

そして、ロボット２は、マイク２２ａから来訪者の音声を取得し、音声認識部２２ｂにおいて来訪者の名前を取得して、撮像された顔画像および名前の情報をロボット支援サーバ３に送信する（ステップＳ５０７）。これらの情報を受信したロボット支援サーバ３は、名前の情報を、この来訪者の来訪者情報に付加し、顔画像をこの来訪者の来訪者情報と対応付けて来訪者情報ＤＢ３４ｂに格納する（ステップＳ５０８）。これにより、この来訪者は、来訪者情報ＤＢに登録され、ロボット２と再びコミュニケーションをとる場合に、受付動作を繰り返すことはなくなる。

なお、ステップＳ５０６において、シナリオＤＢ２９ａに所定の手順を登録しておき、来訪者とコミュニケーションをとることで、来訪者の名前以外の情報（会社名、肩書、氏名、生年月日等）を質問して取得する構成とすることもできる。これらの情報が取得された場合も、顔画像とともに来訪者情報に付加して来訪者情報ＤＢ３４ｂに登録される。また、ロボット２が来訪者の名前を認識できなかった場合は、顔画像のみが、この来訪者の来訪者情報（この場合はＩＤ番号の項目のみを有する）に対応付けて来訪者情報ＤＢ３４ｂに格納される。

再び図４に戻って、ロボット２は、ステップＳ４１４において来訪者の顔画像の登録が終了するか、ステップＳ４１３において、所定時間を経過しても来訪者が手を差し出さない場合には、ロボット支援サーバ３に受付動作の終了を示す受付完了情報を送信する（ステップＳ４１５）。この受付完了情報を受信したロボット支援サーバ３は、来訪者情報ＤＢ３４ｂに格納されたこの来訪者の来訪者情報にこの受付完了情報を付加して格納する（ステップＳ４１６）。また、ステップＳ４１３において来訪者が握手してくれなかった場合は、場内カメラ４で撮像された来訪者の顔画像を来訪者情報ＤＢ３４ｂに格納し、さらにこの来訪者の来訪者情報に受付完了情報を付加して格納する。

受付完了情報が来訪者情報に付加されることで、来訪者の受付が完了しているか否かが識別でき、受付が完了した来訪者に再度受付動作を行なわないように設定できる。

そして、ロボット２は、シナリオＤＢ２９ａに格納されたシナリオ情報に基づいて、ホームポジション（例えば、ロビーの受付カウンタ付近）に戻る動作を行い、受付動作を終了する（ステップＳ４１７）。このように、ホームポジションに戻るようにするのは、受付動作が終了した場所で次の来訪者が訪れるのを待つようにすると、次の来訪者の受付動作に移るのに時間がかかるようになり、また、ロボット２が社員などの通行の邪魔になることを避けるためである。なお、ホームポジションに戻ることにより、ロボット２の充電が開始される構成にすることも可能であり、これにより受付動作中にロボット２のバッテリが切れる事態を防ぐことができる。

（受付・案内動作）
次に、ステップＳ４０３において、来訪者が来訪者情報ＤＢ３４ｂに登録された人物であると判断した場合（ステップＳ４０３においてＹｅｓの場合）の来訪者の受付・案内のステップについて、図６に示したフローチャートを参照して説明する。

受付情報管理手段３２は、来訪者の来訪者情報を用いてスケジュール情報ＤＢ３４ｄに格納されたスケジュール情報を検索し、画像認識部３１から送られた配置情報、地図情報ＤＢ３４ａに格納された地図情報およびロボット２から送信されたロボット位置情報を合わせて受付・案内の受付動作情報を作成して（ステップＳ６０１）、受付動作指示手段３３に送る。なお、この受付・案内の受付動作情報は、請求項の来訪者の顔画像の類似度を判定する動作指示情報に相当する。

以下、本実施形態例では、ロボット支援サーバ３のスケジュール情報ＤＢ３４ｃに、来訪者と所定の部屋（面談室Ａ）で面談を行うと登録されており、この情報に基づいて、来訪者を誘導する受付動作情報が作成されて、この受付動作情報によりロボット２が受付動作を行う例を説明する。

ロボット支援サーバ３の受付動作指示手段３３は、送受信部３５からロボット２に、受付対象となる来訪者に所定の距離まで接近するように指示情報を送信する（ステップＳ６０２）。ここで、この指示情報には、受付対象となる来訪者の位置を判断する配置情報が含まれている。

この指示情報を受信した（ステップＳ６０３）ロボット２は、指示情報に含まれる配置情報に基づいて受付動作の対象となる来訪者を認識し、同時に、受付動作に入ったことを示す受付開始情報をロボット支援サーバ３に送信する（ステップＳ６０４）。この受付開始情報を受信したロボット支援サーバ３は、この受付開始情報および来訪時刻を、この来訪者の来訪者情報に付加して来訪者情報ＤＢ３４ｂに格納する（ステップＳ６０５）。
そして、ロボット２は、自律的に受付動作の対象である来訪者とコミュニケーションが取れる所定の距離まで接近する（ステップＳ６０６）。

ロボット２が来訪者から所定の距離まで接近すると、ロボット支援サーバ３の受付情報管理手段３２は、来訪者に挨拶をする指示情報をロボット２に送信する（ステップＳ６０７）。なお、この指示情報には、来訪者情報ＤＢ３４ｂに格納されたこの来訪者の顔画像の情報も含まれている。また、この指示情報を送信するタイミングは、前記したように、ロボット２の前の動作（来訪者と所定の距離まで移動する）が終了した時点やロボット支援サーバ３に動作の終了情報を送信する時点や、ロボット支援サーバ３の画像認識部３１から送られる配置情報から判断して送信することなどが考えられる。

来訪者に挨拶をする指示情報を受信したロボット２は、シナリオＤＢ２９ａに格納されたシナリオ情報に基づいて、「○○さん、ようこそ」と発話すると同時に、握手をするポーズとして右手を差し出す（ステップＳ６０８）。ここで、ロボット２は、所定時間、来訪者がこのポーズに応じて握手をしてくれるかを判断する（ステップＳ６０９）。この来訪者が握手をしてくれるか否かの判断は、前記したタッチセンサなどを用いることでなされる。

ステップＳ６０９において、所定時間を経過しても来訪者が手を差し出さない場合は（ステップＳ６０７においてＮｏの場合）、来訪者とのコミュニケーションを断念してステップＳ６１４に進む。また、ステップＳ６０９において、来訪者が手を差し出したと判定した場合は（ステップＳ６０７においてＹｅｓの場合）、ロボット２は、来訪者の顔画像を撮像する（ステップＳ６１０）。

次に、ロボット２の人応答部２４は、撮像開始からの時間が、所定の時間に達したかを判定する（ステップＳ６１１）。ここで、所定の時間は、握手の動作を行っている時間以内に設定することが望ましい。そして、撮像開始からの時間が所定時間に達していない場合は（ステップＳ６１１においてＮｏの場合）、後段側のステップに進み、撮像開始からの時間が所定時間に達した場合は（ステップＳ６１１においてＹｅｓの場合）、撮像を終了してステップＳ６１４に進む。

次に、ステップＳ６１１において、撮像開始からの時間が所定時間に達していない場合は、ロボット２の人応答部２４は、撮像した顔画像と、ステップＳ６０７で送信された来訪者の顔画像を集計した顔クラスとの類似度が、所定の閾値以上か否かを判定する（ステップＳ６１２）。ステップＳ６１２において撮像した顔画像の顔クラスに対する類似度が所定の閾値以上ではない場合は（ステップＳ６１２においてＮｏの場合）、さらに来訪者の顔画像の撮像し、最後に撮像された顔画像と、それまでに撮像した顔画像含めて集計した顔クラスとの類似度が所定の閾値以上になるまで判定を繰り返す。
なお、このステップＳ６１０における追加の来訪者の顔画像の撮像は、１枚単位だけでなく、例えば、５枚単位で撮像することも考えられる。この場合、撮像された各顔画像の類似度の平均値を求め、この類似度の平均値が所定の閾値以上となったか否かをステップＳ６１２において判定することもできる

次に、ステップＳ６０９において、来訪者が握手してくれないと判定した場合およびステップＳ６１２において類似度が所定の閾値以上である場合（ステップＳ６１２においてＹｅｓの場合）、ロボット支援サーバ３の受付動作指示手段３３は、ロボット２に来訪者を案内する指示情報を送信し（ステップＳ６１３）、この来訪者を案内する指示情報を受信したロボット２は、シナリオＤＢ２９ａに格納されたシナリオ情報に基づいて、来訪者に「○○さん、面談室Ａにお入りください。」と発話して、来訪者に案内を行う（ステップＳ６１４）。

なお、このとき発話するだけでなく、実際に先導して来訪者を面談室Ａまで誘導する構成とすることもできる。また、来訪者のスケジュール等が不明である場合には、所定の場所（ロビー内のソファなど）に来訪者を誘導し、その旨をオペレータ用ＰＣに表示することで、オペレータに応援をたのむ構成でもよい。

そして、ロボット２は、ステップＳ６１４において来訪者の案内動作が終了するか、ステップＳ６０９において、所定時間を経過しても来訪者が手を差し出さない場合には、ロボット支援サーバ３に受付動作の終了を示す受付完了情報を送信する（ステップＳ６１５）。なお、この時、撮像した来訪者の顔画像がある場合にはこの顔画像も合わせて送信する。

この受付完了情報を受信したロボット支援サーバ３は、来訪者情報ＤＢ３４ｂに格納された来訪者情報に付加して格納する（ステップＳ６１６）。この際、来訪者の顔画像を合わせて受信した場合には、この顔画像も、来訪者情報ＤＢ３４ｂに格納された来訪者情報に付加して格納する。

そして、ロボット２は、シナリオＤＢ２９ａに格納されたシナリオ情報に基づいて、ホームポジション（例えば、ロビーの受付カウンタ付近）に戻る動作を行い、受付動作を終了する（ステップＳ６１７）。

なお、本実施形態例の図６に示したフローチャートでは、ロボット支援サーバ３の来訪者情報ＤＢ３４ｂに登録され、かつスケジュール情報ＤＢ３４ｃにスケジュール情報が登録された来訪者に対応する例を説明したが、ロボット支援サーバ３の来訪者情報ＤＢ３４ｂに登録され、かつスケジュール情報ＤＢ３４ｃにスケジュール情報が登録されていない来訪者に対しては、ステップＳ６１４の来訪者を案内する動作以外の受付動作を行うことになる。

以上説明した本実施形態例のかかる構成、動作により、来訪者を特定する顔認識を実行する上で重要な、来訪者の正面顔画像を、来訪者に意識させることなく取得できる。また、保持している顔画像と新たに取得した顔画像の類似度を計算し、所定の類似度を有するまで、来訪者の顔画像をさらに取得することで、顔認識の精度の向上が期待できる。

また、来訪が予定されていない来訪者であっても、新たにＩＤ番号を設定して来訪者情報ＤＢ３４ｂに、この来訪者の顔画像を登録することで、同じ来訪者に何度も受付動作を行うことが無く、さらに、所定の期間内（来訪者情報ＤＢ３４ｂに格納された来訪者情報が消去されるまで）では、予め登録された来訪者と同様に、ロボット２とコミュニケーションをとることも可能となる。

また、来訪者情報のうち名前などの特定の項目の情報が取得できなかった場合は、その来訪者に関する情報を、所定のタイミングで消去してしまうため、来訪者情報ＤＢ３４ｂの容量が肥大化することを防ぐことができる。

さらに、ロボット２が来訪者を受付中や、ロボット２のカメラ２１ａの視野に入っていない来訪者がいる場合であっても、場内カメラ４が来訪者の有無、来訪者とロボット２の配置情報、来訪者の顔画像を検出する。したがって、スムーズに来訪者の受付動作を行うことができる。

前記した実施形態は、本発明の要旨を逸脱しない範囲で適宜設計変更が可能である。例えば、前記した実施形態では、ロボット支援サーバ３において、受付動作情報を作成し、受付動作指示手段３３から、逐次ロボット２に動作指示を送信する構成としたが、一連の動作をロボット２のシナリオＤＢ２９ａに格納して、ロボット支援サーバ３においてこのシナリオ情報を選択する構成とすることも可能である。

また、ロボット支援サーバ３に含まれる機能を、ロボット２に含んだ構成とすることもできる。その場合、ロボット２と場内カメラ４およびロボット２とオペレータ用ＰＣは、無線手段などにより接続される構成となる。この場合、場内カメラ４は、単に出入口の画像を、ロボット２へ送信し、来訪者の検出および来訪者の顔認識は、ロボット２本体側で実行することになる。

また、来訪者検出手段を構成する場内カメラ４を１台備えることとしたが、これに限定されない。カメラの台数、各カメラの有する機能、カメラの設置場所等は適宜設計変更可能である。さらに、場内カメラ４の役割をロボット２のカメラ２１ａに持たせることも考えられる。この場合は、ロボット２のカメラ２１ａの視界に入った来訪者を認識して受付動作を行うことになる。

また、一台のロボット２を用いて案内動作を行う構成としたが、複数のロボット２を有する構成であってもよい。この場合には、さらにロボット２ごとに異なる役割を与えることが可能となる。例えば、既に顔画像等を登録済みの来訪者を案内するロボット２と、未登録の来訪者の受付を行い、顔画像の一時登録を行うロボット２とを備える構成であってもよい。

また、ロボット２の仕様も適宜設計変更可能である。自律移動手段２６ｂとして、複数の車輪を有する構成であってもよい。また、画像表示部を有し、文字情報や画像情報により来訪者とコミュニケーションを行うことが可能な構成であってもよい。また、タッチパネルを有し、来訪者が来訪の目的等を入力可能な構成であってもよい。

また、来訪者とロビー内を通行する社員との識別を、場内カメラ４で撮像された顔画像に基づいて受付情報管理手段３２において行い、社員と認識された場合には、受付動作を行わない構成とすることも可能である。この場合、各社員に、社員であることを認識できるような制服や靴などを着るようにしたり、社員ＩＤカードを所定の位置に付けたりすることで、社員の認識の精度を向上させることも考えられる。また、社員情報を格納した無線タグを、各社員に身に付けさせ、例えばロビーの出入口に無線タグの受信手段を備える構成とすることで、受付情報管理手段３２の認識の精度に関係なく社員を識別する構成とすることなども可能である。

本発明の実施形態例に係る受付システムを配置したロビーを示す概略図である。 本発明の実施形態例に係る受付システムのロボットの構成を示すブロック図である。 本発明の実施形態例に係る受付システムの受付動作制御手段の構成を示すブロック図である。 本発明の実施形態例に係る受付システムを用いた来訪者の受付・新規登録の過程を説明するフローチャートである。 本発明の実施形態例に係る受付システムを用いた来訪者の顔登録過程を詳しく説明するフローチャートである。 本発明の実施形態例に係る受付システムを用いた来訪者の受付・案内の過程を説明するフローチャートである。

符号の説明

１ 受付システム
２ ロボット
３ ロボット支援サーバ
４ 場内カメラ
２１ａ カメラ
２１ｂ 画像認識部
２２ａ マイク
２２ｂ 音声認識部
２３ａ スピーカ
２３ｂ 発話生成部
２４ 人応答部
２５ 自己位置推定手段
２６ａ 移動制御手段
２６ｂ 自律移動手段
２９ａ シナリオＤＢ
２９ｂ 地図情報ＤＢ
３１ 画像認識部
３２ 受付情報管理手段
３３ 受付動作指示手段
３４ａ 地図情報ＤＢ
３４ｂ 来訪者情報ＤＢ
３４ｃ スケジュール情報ＤＢ

Claims (6)

1. カメラおよび腕部を有するロボットならびに人物を特定する人物情報と前記人物情報と対応付けられた前記人物の顔画像を登録した人物情報データベース、来訪者を検出し、前記来訪者の顔画像を取得する来訪者検出手段、前記人物情報データベースと来訪者検出手段から送られる情報とに基づいて、前記ロボットの動作を指示する動作指示情報を作成する動作情報管理手段および前記動作指示情報に基づいて前記ロボットの動作の指示を送る動作指示手段を含んで構成される動作制御手段からなる来訪者の顔画像取得システムであって、
   前記動作制御手段は、前記来訪者検出手段において来訪者を検出すると、前記来訪者検出手段で取得した前記来訪者の顔画像に基づいて、前記人物情報データベースを参照して前記来訪者の特定を試み、
   前記人物情報データベースに該当する人物が登録されていないときは、
   前記動作情報管理手段において、前記来訪者を特定できるＩＤ情報を作成し、前記来訪者の顔画像を取得する動作指示情報を作成して、前記動作指示手段から前記ロボットに動作の指示を送信し、
   前記ロボットは、この動作の指示に基づいて、前記腕部を前記来訪者に差し出し、握手をする動作の間に、前記来訪者の顔画像を前記カメラにより撮像し、
   前記動作制御手段は、前記ＩＤ情報を人物情報として、この人物情報および前記ロボットが撮像した前記来訪者の顔画像を対応付けて前記人物情報データベースに登録すること、
   を特徴とする顔画像取得システム。
2. 前記ロボットは、前記来訪者に対して前記来訪者に関する情報の入力を促し、
   前記動作制御手段は、取得した前記来訪者に関する情報を、前記人物情報に付加して前記人物情報データベースに登録すること、
   を特徴とする請求項１に記載の顔画像取得システム。
3. 前記ロボットは、前記来訪者の顔画像を撮像する際に、
   所定の枚数の顔画像を撮像し、最後に撮像した１以上の各顔画像と、それより前に撮像した顔画像を集計した顔クラスとの類似度を算出し、前記類似度の平均値が所定の値以上になるまで、さらに前記来訪者の１以上の顔画像を撮像することを特徴とする請求項１または請求項２に記載の顔画像取得システム。
4. 前記動作制御手段は、前記来訪者検出手段において来訪者を検出すると、前記来訪者検出手段で取得した前記来訪者の顔画像に基づいて、前記人物情報データベースを参照して前記来訪者の特定を試み、
   前記人物情報データベースから該当する人物を特定したとき、
   前記動作情報管理手段において前記来訪者の顔画像の類似度を判定する動作指示情報を作成して、前記動作指示手段から前記ロボットに動作の指示を送信し、
   前記ロボットは、この動作の指示に基づいて、前記腕部を前記来訪者に差し出し、握手をする動作の間に、前記来訪者の顔画像を前記カメラにより撮像し、前記ロボットが撮像した顔画像と、前記人物情報データベースに登録された顔画像を集計した顔クラスとの類似度を算出し、前記類似度が所定の値以上になるまで、さらに前記来訪者の顔画像を撮像し、
   前記動作制御手段は、前記ロボットが撮像した前記来訪者の顔画像を、前記人物情報データベースに登録すること、
   を特徴とする請求項１に記載の顔画像取得システム。
5. 前記ロボットは、前記来訪者が差し出した腕部を握ったか否かを判定する握手判定手段をさらに含んで構成され、
   前記ロボットは、握手をする動作に入ったとき、前記握手判定手段により、前記来訪者が握手をしたか否かを判定し、前記来訪者が握手をしたと判定した場合に、前記カメラで前記来訪者の顔画像を撮像すること、
   を特徴とする請求項１ないし請求項４のいずれか１項に記載の顔画像取得システム。
6. 前記動作制御手段は、前記人物情報データベースに格納された人物情報のうち、所定の項目が含まれていない人物情報は、それに対応付けられた顔画像とあわせて所定のタイミングで消去すること、
   を特徴とする請求項１ないし請求項５のいずれか１項に記載の顔画像取得システム。
   

Images