JP6726388B2

JP6726388B2 - ロボット制御システム

Info

Publication number: JP6726388B2
Application number: JP2016052253A
Authority: JP
Inventors: タプリヤローシャン; ベリンダダンスタン
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2016-03-16
Filing date: 2016-03-16
Publication date: 2020-07-22
Anticipated expiration: 2036-03-16
Also published as: KR20170107875A; CN107199571B; CN107199571A; EP3219447B1; US10513038B2; KR102150928B1; US20170266812A1; JP2017167797A; EP3219447A1

Description

本発明は、ロボット制御システムに関する。

特許文献１には、ある広さの区域において火事や人などの熱源の探索、有毒ガスや有毒放射線の探索を行う場合に、複数のセンシングロボットとそれらを制御するベースステーションとセンシングロボットの移動を制御するフェロモンロボットとを含む群ロボットシステムを使用し、一つのセンシングロボットからの信号を、複数の経路に位置する複数のセンシングロボットにおいて通信を中継してベースステーションに通信する際に、通信を中継するごとに信号を補正することによってセンサ情報の信頼性を高めることが開示されている。

特開２００５−１２５４６６号公報

従来のロボットでは、対話機能とサービス実行機能の両方を一つのロボットに集約していたため、利用者の要求を受け付けてサービスを提供する際に、利用者の要求と感情に正確に応じたサービスを提供することが難しかった。例えば、対話機能を向上させて利用者の感情を引き出すためには、ロボットを人型の形状に近づける必要があり、これによりロボットの形状が制約されるために、各種サービスを提供する能力が低下する。また、サービス実行機能を向上させるために各種の機能をロボットに組み込むと、人型形状から離れてしまうため、利用者は感情を表現しなくなり、ロボットが利用者の要求と感情を正確に察知することが難しくなる。

本発明の目的は、対話機能とサービス実行機能の両方を一つのロボットに集約したロボットを使用して利用者の要求を受け付ける場合に比べて、利用者の感情反応より多く引き出し、利用者の要求に対してより正確に対応したサービスを提供できるロボット制御システムを提供することである。

上記課題を解決するために、請求項１に記載の発明は、
利用者と対話する人型対話ロボットと、
前記利用者に対して役務を提供する役務実行ロボットと、
利用者と前記人型対話ロボット間の対話を通して前記利用者の要求と感情を認識する認識手段と、
前記利用者の要求と感情に応じて、前記利用者に提供する役務と当該役務を実行する役務実行ロボットと、当該役務の優先順位を決定する決定手段と、を備え、
前記決定手段により決定された役務実行ロボットが、決定された役務を、決定された優先順位で実行する、ロボット制御システムである。
また、請求項２に記載の発明は、
利用者と対話する人型対話ロボットと、
前記利用者に対して役務を提供する役務実行ロボットと、
利用者と前記人型対話ロボット間の対話を通して前記利用者の要求と感情を認識する認識手段と、
前記利用者の要求と感情に応じて、前記利用者に提供する役務と当該役務を実行する役務実行ロボットと、当該役務を実行する役務実行ロボットの移動速度を決定する決定手段と、を備え、
前記決定手段により決定された役務実行ロボットが、決定された役務を、決定された移動速度で実行する、ロボット制御システムである。

また、請求項３に記載の発明は、請求項１又は２記載のロボット制御システムにおいて、前記人型対話ロボットが、前記認識手段により認識された前記利用者の感情に応じて、前記人型対話ロボットを構成する身体の形状を変化させることを特徴とする。

また、請求項４に記載の発明は、請求項３記載のロボット制御システムにおいて、前記人型対話ロボットが、体幹に対する胸部および頭部のいずれか或いは両方の向きを変化させることにより、前記人型対話ロボットを構成する身体の形状を変化させることを特徴とする。

また、請求項５に記載の発明は、請求項１又は２記載のロボット制御システムにおいて、前記人型対話ロボットが頭部に一つの突起部を有し、前記利用者との対話時に、前記突起部を前記利用者の方向に向けることを特徴とする。

また、請求項６に記載の発明は、請求項５記載のロボット制御システムにおいて、前記人型対話ロボットには、前記頭部に、前記突起部に向けて収束するように点灯装置が配置され、前記認識手段により認識した前記利用者の感情に応じて、前記点灯装置の点灯方法が変化することを特徴とする。

また、請求項７に記載の発明は、請求項５または６記載のロボット制御システムにおいて、前記人型対話ロボットの頭部には、人間の目および口に相当する部分が設けられておらず、前記突起部が設けられていない領域に、利用者の接触を検出するための感圧センサが設けられていることを特徴とする。

また、請求項８に記載の発明は、請求項１から７のいずれかに記載のロボット制御システムにおいて、前記役務実行ロボットは、運搬ロボット、テーブルロボット、ライティングツール提供ロボット、インタラクティブスクリーンロボットのいずれか１つまたはこれらの複数の組み合わせであることを特徴とする。

また、請求項９に記載の発明は、請求項１から８のいずれかに記載のロボット制御システムにおいて、前記認識手段が、前記人型対話ロボットに内蔵、または前記人型対話ロボットとは別体に配置、或いはその両方に設けられることを特徴とする。

また、請求項１０に記載の発明は、請求項１から９のいずれかに記載のロボット制御システムにおいて、前記認識手段が、前記人型対話ロボットに内蔵、または前記人型対話ロボットとは別体に配置、或いはその両方に設けられることを特徴とする。

また、請求項１１に記載の発明は、請求項１から１０のいずれかに記載のロボット制御システムにおいて、第１の人型対話ロボットおよび第２の人型対話ロボットを備え、第１の人型対話ロボットが前記利用者の第１の要求および感情を認識し、その後第２の人型対話ロボットが前記利用者の第２の要求および感情を認識した場合、第２の人型対話ロボットは前記決定手段に第２の要求および感情を送信し、前記決定手段は、実行する役務と役務実行ロボットを、前記第１の要求および感情と、前記第２の要求および感情とに応じて決定することを特徴とする。

請求項１、２に記載のロボット制御システムの発明によれば、対話機能とサービス実行機能の両方を一つのロボットに集約したロボットを使用して利用者の要求を受け付ける場合に比べて、利用者の感情反応より多く引き出し、利用者の要求に対してより正確に対応したサービスを提供することができる。

請求項３に記載のロボット制御システムの発明によれば、身体の形状を変化させない対話ロボットを使用した場合に比べて利用者の感情表現をいっそう引き出すことができる。

請求項４に記載のロボット制御システムの発明によれば、人型対話ロボットに、顔の表情を使用せずに、利用者の感情に合わせた感情を表現する動作ができ、胸部や頭部の向きが変化しない対話ロボットを使用した場合に比べて、利用者の感情表現をいっそう引き出すことができる。

請求項５に記載のロボット制御システムの発明によれば、利用者との対話時に、人型対話ロボットがどちらを向いて対話しているのかを利用者に対して伝達することができ、突起部を利用者の方向へ向けない対話ロボットを使用した場合に比べて、利用者との対話が促進される。

請求項６に記載のロボット制御システムの発明によれば、利用者との対話時に、利用者の感情に合わせた特定の感情を表す点灯方法によって、点灯装置を使用しない対話ロボットを使用した場合に比べて、利用者の感情表現をいっそう引き出すことができる。

請求項７に記載のロボット制御システムの発明によれば、利用者の人型対話ロボットに対する接触の強さを検出することによって利用者の感情を認識することができる。

請求項８に記載のロボット制御システムの発明によれば、各種役務（サービス）に特化したサービス実行ロボットを使用することによって、対話機能とサービス実行機能の両方を有するロボットを使用した場合に比べて、利用者の必要により正確に合ったサービスを提供することができる。

請求項９に記載のロボット制御システムの発明によれば、複数のロボットが同一の拠点において動作している場合に、統一感のない座部を有するロボットを使用した場合に比べて、チームとして動作しているロボットを容易に識別することが可能となる。

請求項１０に記載のロボット制御システムの発明によれば、利用者の要求と感情を、人型対話ロボット単体で、またはサーバにおいて、或いは人型対話ロボットとサーバの両方で認識することができる。

請求項１１に記載のロボット制御システムの発明によれば、利用者が人型対話ロボットに対して第１の要求をした後に別の人型対話ロボットに対して異なる第２の要求をした場合であっても、利用者の要求と感情に応じたサービスを提供することができる。

本発明の実施形態に係るロボット制御システム１０の一例を示す全体概略図である。人型対話ロボット２１０のハードウェア構成図である。人型対話ロボット２１０の機能ブロック図である。サービス実行ロボット２４０のハードウェア構成図である。サービス実行ロボット２４０の機能ブロック図である。サーバ４０のハードウェア構成図である。サーバ４０の機能ブロック図である。ロボット制御システム１０の動作の流れを示すフローチャートである。利用者の感情に応じて人型対話ロボット２１０が身体の形状を変化させる方法の一例を示した図である。図１０（Ａ）は、人型対話ロボット２１０の頭部の外観斜視図である。図１０（Ｂ）は、図１０（Ａ）の頭部に利用者が手で触れた状態を示す図である。人型対話ロボット２１０の電源オン時、および電源オフ時の点灯装置の点灯方法を示す図である。人型対話ロボット２１０が、「興味深い・幸せ・好奇心」の感情と受け止められる身体の形状の変化、および点灯装置の点灯方法を変化させる場合の一例を示す図である。人型対話ロボット２１０が、「悲しみ・恥ずかしさ・落胆」の感情と受け止められる身体形状の変化、および点灯装置の点灯方法を変化させる場合の一例を示す図である。人型対話ロボット２１０、２３０とサービス実行ロボット２４０、２６０が、統一感のある外観形状の座部を有することを説明する図である。

本発明の一実施形態のロボット制御システムを、図１を参照して説明する。ロボット制御システム１０は、オフィス２０等の拠点に配置され、利用者５０と対話する人型対話ロボット２１０、２３０、利用者５０に対して役務を提供する役務実行ロボット（以下、利用者５０に対してサービスを提供するので、サービス実行ロボットという）２４０、２６０、オフィス２０の天井等に配置されるセンサ２８０、およびサーバ４０を備えて構成される。そいて、サーバ４０は、各ロボット２１０〜２６０、センサ２８０にネットワーク３０によって接続される。サーバ４０と各ロボット２１０〜２６０、および、それぞれのロボット２１０〜２６０同士は、オフィス２０に設置されたアクセスポイント２７０を介して無線により接続される。

人型対話ロボット２１０、２３０は、利用者５０と対話をし、利用者の要求と感情を認識し、サーバ４０に送信する。本実施形態において、人型対話ロボット２１０、２３０は、オフィス２０に一台ずつ、合計２台配置されている。なお、本発明においては、人型対話ロボット２１０は、オフィスに一台のみ配置されてもよいし、３台以上配置されてもよい。また、複数の人型対話ロボットが配置される場合に、本実施形態のようにそれぞれの人型対話ロボットが同一の外形および機能を有するものを使用してもよいし、異なる外形および機能を有するものを使用してもよい。

また、サービス実行ロボット２４０、２６０は、例えば、運搬ロボット、テーブルロボット、ライティングツール提供ロボット、インタラクティブスクリーンロボットのいずれか１つまたはこれらの複数の組み合わせである。なお、本実施形態においては、一台目のサービス実行ロボット２４０はインタラクティブスクリーンロボットであり、もう一台のサービス実行ロボット２６０はライティングツール提供ロボットである。

センサ２８０は３次元モーションセンサ等であって、オフィス２０の天井や壁等に設置される。センサ２８０は、オフィス内における利用者５０の表情、挙動、身体の状態の変化、心拍数、体温等を検出し、ネットワーク３０を介してサーバ４０に利用者情報として出力する。

ここで、図２、３を参照して、本実施形態の人型対話ロボット２１０について説明する。図２は、人型対話ロボット２１０のハードウェア構成図である。図２に示すように、人型対話ロボット２１０は、制御用マイクロプロセッサ２１１、メモリ２１２、ハードディスク・ドライブ（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）等の記憶装置２１３、通信インタフェース２１４、カメラ２１５、マイクロフォン２１６、スピーカ２１７、モータ２１８、および点灯装置２１９、感圧センサ２２０を備えて構成され、それぞれ制御バス２２１に接続されている。

制御用マイクロプロセッサ２１１は、記憶装置２１３に記憶された制御プログラムに基づいて人型対話ロボット２１０の各部の動作を制御統括する。メモリ２１２には、人型対話ロボット２１０が利用者５０と行った対話時の対話の音声、対話内容、カメラ２１５により撮影された利用者５０の表情、挙動、身体の状態の画像等が一時的に記憶される。記憶装置２１３には人型対話ロボット２１０の各部を制御するための制御プログラムが記憶される。通信インタフェース２１４は、人型対話ロボット２１０がアクセスポイント２７０、およびネットワーク３０を介してサーバ４０、他の人型対話ロボット２３０、およびサービス実行ロボット２４０、２５０と通信を行うための通信制御を行う。

カメラ２１５は、利用者５０の表情、挙動、身体の状態の変化等を撮影し、メモリ２１２に記憶する。マイクロフォン２１６は、利用者５０と対話を行った際に、利用者５０の音声を検出し、メモリ２１２に記憶、つまり録音する。メモリ２１２には、音声を直接録音するのではなく、音声内容を解釈した後の対話内容を記憶させてもよい。スピーカ２１７は、人型対話ロボット２１０の後述する対話制御部が生成した音声を出力する。モータ２１８は、動作制御部において生成された制御情報に基づいて人型対話ロボット２１０の身体を構成する胸部や頭部を動かし、特定の挙動をとる。点灯装置２１９は、後述するが、人型対話ロボット２１０の頭部に配置された複数のＬＥＤライトで構成され、動作制御部において生成された制御情報に基づいて特定の色、特定の点灯パターンで点灯する。

感圧センサ２２０は、人型対話ロボット２１０の頭部に配置され、利用者５０が人型対話ロボット２１０に触れたかどうか、また、どの程度の強度で触れたかを検出する。感圧センサ２２０は、人型対話ロボット２１０の頭部以外の他の部位に配置されてもよい。また、感圧センサに代えて接触センサを使用し、利用者５０の心拍数や体温、導電率の変化等を検出してもよい。接触センサは、利用者の身体に装着するウエアラブルセンサであってもよいが、その場合には、接触センサは人型対話ロボット２１０とは別体となる。

図３は、人型対話ロボット２１０の機能ブロック図を示す。人型対話ロボット２１０は、記憶装置２１３に記憶されている制御プログラムを制御用マイクロプロセッサ２１１において実行することにより、図４に示されるように、認識部２２２、対話制御部２２３、動作制御部２２４として機能する。

認識部２２２は、利用者５０と人型対話ロボット２１０間の対話を通して利用者５０の要求と感情を認識し解釈する。具体的には、認識部２２２はメモリ２１２に記憶された、利用者５０との対話時における利用者５０の音声データ、或いは対話内容に基づいて、利用者５０の要求を特定する。また、認識部２２２は、メモリ２１２に記憶された利用者５０の挙動、表情、顔の色、身体の状態、さらには、声の調子、声の速さ、心拍数のいずれか少なくとも一つ、或いは複数の組み合わせで構成される情報に基づいて利用者５０の感情を解釈する。例えば、顔色の変化はカメラ２１５で撮影した利用者の顔の画像のＲＧＢの割合の変化から検出可能であるが、認識部２２２は、利用者の顔の色の変化に基づいて、利用者の心拍数や体温の変化を算出し、その算出結果に基づいて利用者５０の感情を解釈する。

認識部２２２は、さらに、マイクロフォン２１６によって検出され、メモリ２１２に記憶された利用者５０の音声のデータを解析し、声の調子（トーン）や声の速さ（言葉の速さ）等に基づいて、利用者５０の感情を解釈する。感情の解釈については、例えば、顔の色の変化と口の開け具合から、『喜んでいる』、心拍数と肌の伝導率の変化から『緊張している』、声の調子と言葉の速さから『苛立っている』というような解釈を行う。認識部２２２は、解釈した要求と感情に関する情報を、通信インタフェース２１４を介してサーバ４０に送信する。

対話制御部２２３は、人型対話ロボット２１０が利用者５０と行う対話を制御するとともに、利用者５０に対する応答内容を生成する。例えば、メモリ２１２に記憶された対話内容に応じて応答メッセージを生成し、スピーカ２１７に出力する。その際、対話制御部２２３は、認識部２２２において認識された利用者５０の感情に応じてメッセージの出力音声の大きさや発話速度を調整する。動作制御部２２４は、人型対話ロボット２１０の挙動を制御する制御情報を生成し、人型対話ロボット２１０の身体を構成する各部の動作を制御する。具体的には、制御情報を生成して、モータ２１８の動作を制御し、人型対話ロボット２１０の身体を構成する胸部や頭部を動かし、特定の挙動をとったり、点灯装置２１９を、特定の色、特定の点灯パターンで点灯したりさせる。

オフィスに配置されるもう一台の人型対話ロボット２３０は、上述した人型対話ロボット２１０の構成と同一の構成であるので、構成と動作に関する説明を省略する。人型対話ロボット２３０は、上述した人型対話ロボット２１０の構成に対して液晶ディスプレイ等の表示装置の構成を追加したものであってもよいし、点灯装置２１９および感圧センサ２２０をなくしたものであってもよい。

次に、図４、５を参照して、本実施形態のサービス実行ロボット２４０について説明する。図４は、本実施形態のサービス実行ロボット２４０のハードウェア構成図である。サービス実行ロボット２４０は、制御用マイクロプロセッサ２４１、メモリ２４２、記憶装置２４３、通信インタフェース２４４、カメラ２４５、マイクロフォン２４６、移動装置２４７、表示装置２４８、入力装置２４９を備えて構成され、それぞれ制御バス２５０に接続されている。

制御用マイクロプロセッサ２４１は、記憶装置２４３に記憶された制御プログラムを実行することによりサービス実行ロボット２４０の各部の動作を制御統括する。メモリ２４２は、通信インタフェース２４４を介して人型対話ロボット２１０、２３０やサーバ４０から受信したサービス指示情報を一時的に記憶する。また、メモリ２４２には、カメラ２４５が捉えた画像やマイクロフォン２４６が検出した音声等も一時的に記憶される。記憶装置２４３は、ハードディスク・ドライブ（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）等であり、サービス実行ロボット２４０を制御するための制御プログラムが記憶されている。通信インタフェース２４４は、サービス実行ロボット２４０がアクセスポイント２７０およびネットワーク３０を介してサーバ４０、他の人型対話ロボット２１０、２３０と通信を行うための通信制御を行う。

カメラ２４５は、サービス実行ロボット２４０が移動する際に、周囲の状況を撮影したり、利用者５０がサービス実行ロボット２４０の表示装置２４８の前に立ってテレビ電話をかける、というような場合に利用者５０の顔を撮影したりする。カメラ２４５によって撮影された画像はメモリ２４２に一時的に記憶される。マイクロフォン２４６は、利用者５０の音声等を検出し、メモリ２４２に一時的に記憶する。移動装置２４７は、サービス実行ロボット２４０を任意の場所に移動させるのに必要な車輪やモータ等の駆動装置、ＧＰＳ受信装置等で構成される。表示装置２４８は、液晶ディスプレイ、液晶ディスプレイの角度や高さを変えるための調節装置等で構成され、記憶装置２４３に記憶された情報や、通信インタフェース２４４、アクセスポイント２７０、およびネットワーク３０を介してサーバ４０やインターネット等から取得した情報を、液晶ディスプレイ上に表示する。入力装置２４９は、表示装置２４８を構成する液晶ディスプレイの表面に配置されタッチパネルであり、利用者が表示装置２４８に表示された情報を視認しながらタッチパネルの所定箇所に触れることにより、必要な情報を入力することができる。

図５は、サービス実行ロボット２４０の機能ブロック図を示す。サービス実行ロボット２４０は、記憶装置２４３に記憶されている制御プログラムを制御用マイクロプロセッサ２４１において実行することにより、図５に示されるように、サービス指示受信部２５１、サービス解釈部２５２、サービス実行部２５３として機能する。

サービス指示受信部２５１は、サーバ４０から実行すべきサービス指示情報を受信してメモリ２４２に記憶する。このサービス指示情報には、実行すべきなのはどんなサービスか（サービス内容）、そのサービスをどこで提供するのか（サービス提供の場所）、だれに対して提供するのか（サービス提供相手）、いつ、或いはいつまでに提供するのか（サービス提供の時期）といった情報が含まれる。

サービス解釈部２５２は、受信したサービス指示情報を解釈し、サービス実行ロボット２４０の各部を動作させる具体的な制御情報を生成する。制御情報には、サービス実行ロボット２４０の移動装置２４７を、いつ、どのように動作させ、サービス実行ロボット２４０をどこからどこへ移動させるか、どのように表示装置２４８を動作させるか、どんな情報を表示するか、どんなものをどのように収集、配布するか、といった具体的動作に関する情報が含まれており、メモリ２４２に一時的に記憶される。

サービス実行部２５３は、メモリ２４２に記憶されている制御情報にしたがって、移動装置２４７、表示装置２４８を動作させ、サーバ４０から受信したサービスを実行する。

サービス実行ロボット２６０は、上述したサービス実行ロボット２４０と実質的に同じ構成であるので、説明を省略する。また、サービス実行ロボットは運搬ロボットであってもよいが、その場合には、上述したサービス実行ロボット２４０から表示装置や入力装置を省略した構成となる。

次に、図６、７を参照して、本実施形態のサーバ４０について説明する。図６は、サーバ４０のハードウェア構成図である。図６に示すように、サーバ４０は、ＣＰＵ４０１、メモリ４０２、記憶装置４０３、通信インタフェース４０４、ユーザインタフェース４０５を備えて構成され、それぞれ制御バス４０６に接続されている。る。ＣＰＵ４０１は、記憶装置４０３に記憶された制御プログラムに基づいてサーバ４０各部の動作を制御統括する。メモリ４０２には、人型対話ロボット２１０、２３０から送信されてきた利用者５０の要求と感情に関する情報、センサ２８０から送信されてきた利用者情報、およびサービス実行ロボット２４０、２６０に送信されるサービス指示情報が一時的に記憶される。

記憶装置４０３は、ハードディスク・ドライブ（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）等であり、サーバ４０を制御するための制御プログラムが記憶されている。通信インタフェース４０４は、サーバ４０がアクセスポイント２７０を介して人型対話ロボット２１０、２３０、サービス実行ロボット２４０、２６０、およびセンサ２８０と各種データの送受信を行うための通信制御を行う。ユーザインタフェース４０５は、液晶ディスプレイ等の表示装置、キーボードやマウス等の入力装置によって構成されており、記憶装置４０３に記憶されている制御プログラムを管理者が調整したりするためのものである。

図７は、サーバ４０の機能ブロック図を示す。サーバ４０は、記憶装置４０３に記憶されている制御プログラムをＣＰＵ４０１において実行することにより、図７に示されるように、サービス実行ロボット決定部４０７、サービス内容決定部４０８、サービス指示情報生成部４０９、サービス指示情報送信部４１０として機能する。

サービス実行ロボット決定部４０７とサービス内容決定部４０８は、利用者５０の要求と感情に応じて、利用者５０に提供するサービスとそのサービスを実際に実行するサービス実行ロボットとを決定する決定手段として機能する。具体的に、サービス実行ロボット決定部４０７は、メモリ４０２に記憶された利用者５０の要求と感情に関する情報、およびセンサ２８０から受信した利用者情報に基づいて、どのサービス実行ロボットがサービスを実行するのが最適かを判断し、サービスを実際に実行するサービス実行ロボットを決定する。この判断は、利用者５０の要求の内容と、サービス実行ロボットの種類、また利用者５０やサービス実行ロボットの位置に応じて行われる。サービス内容決定部４０８は、メモリ４０２に記憶された利用者５０の要求と感情に関する情報、および利用者情報に基づいて、サービス実行ロボット決定部４０７によって決定されたサービス実行ロボットにどんなサービスを、どのように実行させるかを決定する。サービス指示情報生成部４０９は、サービス実行ロボット決定部４０７、サービス内容決定部４０８により決定された情報に基づいて、サービス内容、サービス提供の場所、サービス提供相手、サービス提供の時期といった情報で構成されるサービス指示情報を生成する。サービス指示情報送信部４１０は、サービス実行ロボット決定部４０７によって決定されたサービス実行ロボットに対して、サービス指示情報生成部４０９によって生成されたサービス指示情報を、アクセスポイント２７０を介して送信する。

次に、図８を参照して、本実施形態のロボット制御システム１０の動作について説明する。図８は、ロボット制御システム１０の動作の流れを示すフローチャートである。ステップＳ８０１において、人型対話ロボット２１０は、利用者５０と対話する。ステップＳ８０２において、人型対話ロボット２１０は、動作制御部２２４の制御のもとに、利用者５０の感情に応じて人型対話ロボット２１０を構成する身体の形状を変化させたり、点灯装置２１９の点灯方法を変化させたりして、利用者５０の感情反応をさらに引き出す。具体的には、後述するが、人型対話ロボット２１０は、体幹に対する胸部および頭部のいずれか或いは両方の向きを変化させることにより、利用者５０に対し、人型対話ロボット２１０が特定の感情を表現していると感じさせる。

次いで、ステップＳ８０３において、人型対話ロボット２１０の認識部２２２は、利用者５０と人型対話ロボット２１０との間の対話を通して利用者５０の要求と感情を認識する。例えば、利用者５０が「ある特定の資料を参照したい」という要求、そして「利用者５０は苛立っている」という感情を認識する。ステップＳ８０４において、認識部２２２は、利用者５０の要求と感情に関する情報をサーバ４０に送信する。上述の例では、「ある特定の資料の参照」、「利用者は苛立っている」という情報である。また、このとき、オフィス２０に設置されたセンサ２８０により、オフィス内における利用者５０の表情、挙動、身体の状態の変化、心拍数、体温等を検出し、ネットワーク３０を介してサーバ４０に利用者情報として出力する。

次いで、ステップＳ８０５において、サーバ４０は、センサ２８０から送信されてくる利用者情報を受信する。またステップＳ８０６において、人型対話ロボット２１０から送信されてきた利用者５０の要求と感情に関する情報を受信する。ステップＳ８０７において、サーバ４０のサービス実行ロボット決定部４０７は、センサ２８０から受信した利用者情報、および利用者５０の要求と感情に関する情報に応じて、どのサービス実行ロボットにサービスを実行させるかを決定する。ここで、利用者の要求は「ある特定の資料の参照」であるので、インタラクティブスクリーンロボットであるサービス提供ロボット２４０にサービスを実行させることに決定する。

また、ステップＳ８０８において、サーバ４０のサービス内容決定部４０８は、センサ２８０から受信した利用者情報、および利用者５０の要求と感情に関する情報に応じて、サービス実行ロボットが実行するサービスの内容とサービスを実行する方法を決定する。上述の例では、インタラクティブスクリーンロボット２４０を利用者５０の近くに移動させ、利用者５０が希望している資料を表示装置２４８に表示するというサービス内容に決定する。また、利用者５０が苛立っているので、通常よりも迅速に移動して（利用者５０の所に急行して）情報を表示させることに決定する。或いは、実行すべき他のサービスがある場合に、今回のサービス実行の優先順位を高くし、優先してサービスを実行させてもよい。

次いで、ステップＳ８０９の処理に進み、サーバ４０のサービス指示情報生成部４０９は、サービス実行ロボット決定部４０７、サービス内容決定部４０８により決定された情報に基づいて、サービスを実行させるサービス実行ロボット、サービス内容、サービス提供の場所、サービス提供相手、サービス提供の時期といった情報で構成されるサービス指示情報を生成する。ステップＳ８１０において、サーバ４０のサービス指示情報送信部４１０は、サービス実行ロボット決定部４０７において決定されたサービス実行ロボット（例えば、サービス実行ロボット２４０）に対して、サービス指示情報生成部４０９で生成されたサービス指示情報を送信する。

ステップＳ８１１において、サービス実行ロボット２４０のサービス指示受信部２５１は、サーバ４０からサービス指示情報を受信する。次いで、ステップＳ８１２において、サービス実行ロボット２４０のサービス解釈部２５２は、受信したサービス指示情報を解釈し、サービス実行ロボット２４０の各部を動作させる具体的な制御情報を生成する。ステップＳ８１３において、サービス実行ロボット決定部４０７により決定されたサービス実行ロボット２４０が、サービス内容決定部４０８により決定されたサービスを実行する。具体的には、サービス実行ロボット２４０のサービス実行部２５３は、生成された制御情報にしたがってサービス実行ロボット２４０の移動装置２４７、表示装置２４８等を制御し、利用者５０に対してサービスを実行する。上述の例では、サービス実行ロボット２４０は、利用者５０の近くに移動し、インタラクティブスクリーンである表示装置２４８を利用者５０の方向に向け、利用者５０が必要としている資料を記憶装置２４３、或いは通信インタフェース２４４を介してネットワーク上から入手し、表示装置２４８に表示する。

なお、上記の例においては、利用者５０が「苛立っている」場合に、サービス実行ロボット２４０が利用者５０の場所に急行した場合を説明したが、反対に、利用者５０が緊迫した状態でなければ、サービス実行ロボット２４０の移動速度を通常よりも遅くしたり、或いは他のサービスの実行がある場合に、サービス実行の優先順位を低くし、サービス実行を遅らせたりしてもよい。

なお、上記サービス実行ロボット２４０の動作は一例であり、利用者５０の他の要求や感情に応じて他の異なるサービスを実行する。例えば、利用者５０がメモを取りたい場合には、ライティングツール提供ロボットであるサービス実行ロボット２６０が利用者５０の近くに移動し、表示装置２４８でもり入力装置２４９でもあるライティングテーブルを水平な向きに展開し、利用者５０がライティングテーブルに書き込むことができるようにする。また、利用者５０が乾電池を３つ所要とする場合には、運搬ロボット（図示せず）が所定部署から乾電池を３つ収集して利用者５０のところに運搬してくる。

次に、図９を参照して、人型対話ロボット２１０が利用者５０と対話している際に、利用者の感情に応じて人型対話ロボット２１０を構成する身体の形状を変化させる方法について説明する。人型対話ロボット２１０は、体幹２１２０、体幹２１２０の左右に配置される胸部２１１０、体幹２１２０の上部に接続されるとともに胸部２１１０の上方に配置される頭部２１３０、体幹２１２０の下部に接続されるとともに胸部２１１０の下方に配置される座部２１４０により構成される。胸部２１１０と頭部２１３０は体幹２１２０に対して可動式に接続され、モータ２１８によって駆動される。また、人型対話ロボット２１０は、高さ約１１０ｃｍ〜１４０ｃｍ程度である。この高さであると、成人の身長と同じ高さの人型対話ロボット２１０を使用した場合に比べ、利用者５０は圧迫感を感じることが少なく、いっそう感情を表現しやすくなる傾向がある。

利用者５０と人型対話ロボット２１０が対話している際に、利用者５０が特別な感情を表現していなければ、人型対話ロボット２１０は、図９（Ａ）に示すような通常状態をとる。通常状態において、左右の胸部２１１０は体幹２１２０を挟んでほぼ平行に、第一の距離、つまり通常の幅で相対する。また、頭部２１３０は正面を向き、頭部２１３０の重心が体幹２１２０のちょうど上方に位置する。

利用者５０が人型対話ロボット２１０に対して熱意を込めて真剣に話しかけると、人型対話ロボット２１０の認識部２２２は利用者５０が熱意を込めて話していると判断し、動作制御部２２４がそれに応じた表現を人型対話ロボット２１０に行わせるための制御情報を生成して各部の動作を制御し、図９（Ｂ）に示すような「驚き・関心・好奇心」の状態をとる。「驚き・関心・好奇心」の状態では、左右の胸部２１１０は、前方部分が左右に開いて、通常の幅よりも広くなる。また、胸部２１１０の下方よりも上方が左右に大きく開いてもよい。さらに、頭部２１３０が斜め上方を向き、頭部２１３０の重心が体幹２１２０の上方よりも後方へ移動する。これにより、利用者５０は、人型対話ロボット２１０が驚いている、或いは関心を示している、好奇心を抱いていると判断し、さらに白熱して対話を行う。

利用者５０が人型対話ロボット２１０との対話中に怒りを表わした場合、人型対話ロボット２１０の認識部２２２は、利用者５０が怒っていると判断し、動作制御部２２４により図９（Ｃ）に示すような「悲しみ・落胆」の状態をとる。「悲しみ・落胆」状態では、左右の胸部２１１０は、前方部分が閉じて、通常の幅よりも狭くなる。また、胸部２１１０の上部或いは下部が、下部或いは上部よりも狭くなり、ちょうど「肩をすぼめている」ような恰好をとる。さらに、頭部２１３０が斜め下方を向き、頭部２１３０の重心が体幹２１２０の上方よりも前方へ移動する。これにより、利用者５０は、人型対話ロボット２１０が落胆している、しょんぼりしていると感じ、人型対話ロボット２１０の反応に応じてさらに感情を表現するよう促される。

なお、上記の、利用者の感情に応じて人型対話ロボット２１０を構成する身体の形状を変化させる方法は一例にすぎない。他にも、利用者が矛盾した指示や間違った指示を繰り返すような場合には、胸部をそり返すような動作をとることによって、高圧的、或いは怒りを表しているような身体形状をとるとともに、スピーカ２１７から通常より大きめの音声で「指示内容をまとめて下さい」といった応答をするようにしてもよい。

次に図１０を参照して、人型対話ロボット２１０の頭部２１３０の構造について説明する。図１０（Ａ）は、人型対話ロボット２１０の頭部の外観斜視図である。図１０（Ｂ）は、図１０（Ａ）の頭部に利用者が手で触れた状態を示す図である。図１０（Ａ）に示すように、人型対話ロボット２１０の頭部２１３０には、外観上人間の目および口に相当する部分が設けられておらず、代わりに一つの突起部２１３３を有しており、この突起部２１３３は頭部２１３０の上部から前部２１３１にかけて他の部位よりも外方に向けて突出するように形成されている。つまり、人型対話ロボット２１０は、人間に極似していないものの、鼻と頬のみを有する半人間的な外観形状となっている。さらに、複数本の筋状部材２１３４が、頭部２１３０の、突起部２１３３が形成されている側とは反対側の後部２１３２から突起部２１３３に向かってアーチ状、或いは流線形状に収束するように形成される。

人型対話ロボット２１０は、利用者５０との対話時に、突起部２１３３を利用者５０の方向に向ける。図１０Ａでは突起部２１３３がＸで表される地点を向いている状態が示されている。これにより、利用者５０は、人型対話ロボット２１０がどこを向いているのか、だれと対話しているのかということを容易に識別できるようになる。

さらに、複数本の筋状部材２１３４に沿って、筋状部材２１３４の上側に、突起部２１３３に向けて収束するように点灯装置２１３５が配置される。この点灯装置２１３５は、例えば一つまたは複数のＬＥＤライトで構成される。この点灯装置２１３５は、認識部２２２により認識した利用者５０の感情に応じて、点灯方法を変化させる。この点灯方法の変化については後述する。

また、図１０（Ｂ）に示すように、突起部２１３３が設けられていない領域に、つまり頭部２１３０の筋状部材２１３４の下側に、利用者５０の接触を検出するための感圧センサ２１３６が設けられている。この感圧センサ２１３６は、表面からは見えないように、頭部２１３０の内部に埋め込まれていてもよい。図１０（Ｂ）に示すように、利用者５０が手５０Ａで感圧センサ２１３６に触れると、利用者５０の接触の有無、および接触の強度が検出される。この接触の有無、また接触の強度は、人型対話ロボット２１０の認識部２２２に伝達され、利用者５０の感情を認識することに使用される。

次に、図１１〜１３を参照して、点灯装置２１３５の点灯方法の変化について説明する。図１１は、人型対話ロボット２１０の電源オン時、および電源オフ時の点灯装置２１３５の点灯方法を示す図である。図１２は、人型対話ロボット２１０が、「興味深い・幸せ・好奇心」の感情と受け止められる身体の形状の変化、および点灯装置２１３５の点灯方法を変化させる場合の一例を示す図である。図１３は、人型対話ロボット２１０が、「悲しみ・恥ずかしさ・落胆」の感情と受け止められる身体形状の変化、および点灯装置２１３５の点灯方法を変化させる場合の一例を示す図である。

人型対話ロボット２１０は電源オンの状態になると、点灯装置２１３５が、図１１（Ａ）、（Ｂ）、（Ｃ）の順番で示されるように、筋状部材２１３４側から上側に向かって点灯範囲が広がっていくように点灯する。反対に、電源オフになる場合には、電源オフになる直前に、図１１（Ｃ）、（Ｂ）、（Ａ）の順番で示されるように、上側から筋状部材２１３４側へ向かって点灯範囲が狭まるように点灯し、最後にすべて消灯する。

人型対話ロボット２１０が、「興味深い・幸せ・好奇心」の感情と受け止められるように点灯装置２１３５を点灯させる場合、点灯装置２１３５は、図１２（Ａ）、（Ｂ）、（Ｃ）の順番で示されるように、突起部２１３３側から後部２１３２に向かって後方に点灯範囲が広がっていくように点灯する。或いは、突起部２１３３側から後部２１３２に向かって後方に部分的な点灯範囲が移動していくように点灯してもよい。また、図１２の点灯方法を、一度だけ実施してもよいし、繰り返し実施してもよい。或いは、利用者５０の感情の強さに応じて点灯を繰り返す回数を決定してもよい。さらに、図１２では、点灯装置２１３５を点灯させると同時に、頭部２１３０が斜め上方を向き、頭部２１３０の重心が体幹２１２０の上方よりも後方へ移動していく様子も示されている。

一方、人型対話ロボット２１０が、「悲しみ・恥ずかしさ・落胆」の感情と受け止められるよう点灯装置２１３５を点灯させる場合、点灯装置２１３５は、図１３（Ａ）、（Ｂ）、（Ｃ）の順番で示されるように、後部２１３２側から突起部２１３３に向かって前方に部分的な点灯範囲が移動していくように点灯する。或いは、後部２１３２側から突起部２１３３に向かって前方に点灯範囲が広がっていくように点灯させてもよい。図１３の点灯方法を、一度だけ実施してもよいし、繰り返し実施してもよい。或いは、利用者５０の感情の強さに応じて点灯繰り返す回数を決定してもよい。さらに、図１３では、点灯装置２１３５を点灯させると同時に、頭部２１３０が斜め下方を向き、頭部２１３０の重心が体幹の上方よりも前方へ移動していく様子も示されている。

なお、人型対話ロボット２１０の点灯装置２１３５の点灯方法を変化させるだけでなく、点灯装置２１３５の点灯する色を変化させてもよい。例えば、「興味深い・幸せ・好奇心」の感情の場合、点灯装置２１３５を黄緑色で点灯させ、「悲しみ・恥ずかしさ・落胆」の感情の場合、点灯装置２１３５を紫色で点灯させる。

さらに、本実施形態の人型対話ロボット２１０、２３０とサービス実行ロボット２４０、２６０とは、統一感のある外観形状の座部を有している。その一例を図１４に示す。図１４においては、人型対話ロボット２１０の座部２１４０、もう一台の人型対話ロボット２３０の座部２３４０、およびサービス実行ロボット２４０、２６０の座部２４４０、２６４０がそれぞれ錐台形状の座部を有している。これらの座部２１４０、２３４０、２４４０、２６４０は、円錐台形状、三角錐台形状、四角錐台形状等であり、互いに同一、或いは相似、または類似した外形に形成されることによって統一感のある外観形状となるようにする。また、オフィス２０の他の部署に配置されるロボットには、別の外観形状を有する座部で統一する。これにより、複数のロボットで構成されるチームを、別の部署に配置されたロボットで構成されるチームと区別することが可能となる。また、座部２１４０、２３４０、２４４０、２４６０を使用することによって、人型対話ロボット２１０、２３０、サービス実行ロボット２４０、２６０を安定させ、転倒しにくくさせることもできる。

以上、本実施形態のロボット制御システム１０について説明した。なお、上記ロボット制御システム１０においては、利用者５０の要求と感情を認識する認識部２２２が人型対話ロボット２１０に内蔵されている場合を説明したが、本発明は、上記実施形態に限定されず、認識部２２２が人型対話ロボット２１０と別体に配置されていてもよい。例えば、認識部を、サーバ４０の一つの機能として動作させるようにしても良い。その場合、利用者５０の対話内容、挙動、表情、顔の色、身体の状態、声の調子、声の速さ、心拍数のいずれか少なくとも一つ、或いは複数の組み合わせで構成される情報を人型対話ロボット２１０、２３０、およびセンサ２８０から受信し、その情報に基づいて利用者５０の要求と感情を認識する。また、認識部２２２を、人型対話ロボット２１０とサーバ４０の両方に設けてもよい。

また、人型対話ロボット２１０を第１の人型対話ロボットとし、人型対話ロボット２３０を第２の人型対話ロボットとし、第１の人型対話ロボット２１０が利用者５０の第１の要求と感情を認識し、その後第２の人型対話ロボット２３０が利用者５０の第２の要求と感情を認識した場合、第２の人型対話ロボット２３０はサーバ４０に対して利用者の次の要求と感情を送信し、サーバ４０のサービス実行ロボット決定部４０７およびサービス内容決定部４０８は、サービスを実際に実行するサービス実行ロボットと、実行するサービスの内容とを、利用者５０の第１の要求および感情と、第２の要求および感情とに応じて決定する。

また、上記実施形態においては、サービス実行ロボット２４０、２６０がサービス実行を最後まで完了する場合について説明した。しかしながら、実際には、サービス実行ロボット２４０、２６０が途中で転倒したり、充電が切れたり、収集物が見つからないといった理由のためにサービスの実行を完了できない場合もある。そのような場合、サービス実行ロボット２４０は、サーバ４０、或いは人型対話ロボット２１０、２３０に対して、サービス実行が不可能であることを伝える。サーバ４０のサービス実行ロボット決定部４０７、サービス内容決定部４０８、および人型対話ロボット２１０、２３０のそれらに対応する機能は、その状況下で他のサービス実行ロボットに対して同様のサービスの実行を指示するか、完全にサービスを中止するか、或いは利用者５０に状況を伝えて指示を仰ぐかを判断し、必要な動作指示を人型対話ロボット２１０、２３０、サービス実行ロボット２４０、２６０に送信する。

なお、上記実施形態においては、人型対話ロボット２１０、２３０、サービス実行ロボット２４０、２６０のそれぞれは、アクセスポイント２７０、およびサーバ４０を介して別のロボットと通信を行う場合を説明したが、本発明は上記実施形態に限定されず、人型対話ロボット２１０と２３０相互、人型対話ロボット２１０とサービス実行ロボット２４０、２６０相互がアクセスポイント２７０を介さず直接に無線で接続され、直接通信を行うようにしてもよい。同様に、人型対話ロボット２３０とサービス実行ロボット２４０、２６０とが直接に無線で接続され、直接通信を行うようにしてもよい。

また、上記実施形態においては、サーバ４０において、サービスを実行するサービス実行ロボット、実行するサービスの内容を決定し、決定内容に基づいてサービス指示情報を生成していたが、これらの動作をサーバ４０ではなく、人型対話ロボット２１０、２３０が行うようにしてもよい。その場合、サービス実行ロボット決定部４０７、サービス内容決定部４０８、サービス情報生成部４０９に対応する機能は人型対話ロボット２１０、２３０が実行することになる。

また、上記実施形態においては、テーブルロボット、ライティングツール提供ロボット、インタラクティブスクリーンロボットはそれぞれ別々のサービス提供ロボットとして説明したが、本発明は上記実施形態に限定されず、これらのサービス提供ロボットが一体であってもよい。例えば、表示装置でもあり入力装置でもあるタッチパネル付きディスプレイ部分の向きを変化させることによって、例えば、表示装置として機能させたり、ライティングテーブルとして機能させたり、或いはプロジェクタとして機能させたりしてもよい。

１０ロボット制御システム
２０オフィス
３０ネットワーク
４０サーバ
５０利用者
２１０人型対話ロボット
２１１制御用マイクロプロセッサ
２１２メモリ
２１３記憶装置
２１４通信インタフェース
２１５カメラ
２１６マイクロフォン
２１７スピーカ
２１８モータ
２１９点灯装置
２２０感圧センサ
２２１制御バス
２２２認識部
２２３対話制御部
２２４動作制御部
２３０人型対話ロボット
２４０サービス実行ロボット
２４１制御用マイクロプロセッサ
２４２メモリ
２４３記憶装置
２４４通信インタフェース
２４５カメラ
２４６マイクロフォン
２４７移動装置
２４８表示装置
２４９入力装置
２５０制御バス
２５１サービス指示受信部
２５２サービス解釈部
２５３サービス実行部
２６０サービス実行ロボット
２７０アクセスポイント
２８０センサ
４０２メモリ
４０３記憶装置
４０４通信インタフェース
４０５ユーザインタフェース
４０６制御バス
４０７サービス実行ロボット決定部
４０８サービス内容決定部
４０９サービス指示情報生成部
４１０サービス指示情報送信部
２１１０胸部
２１２０体幹
２１３０頭部
２１３１前部
２１３２後部
２１３３突起部
２１３４筋状部材
２１３５点灯装置
２１３６感圧センサ
２１４０、２３４０、２４４０、２６４０座部

Claims

利用者と対話する人型対話ロボットと、
前記利用者に対して役務を提供する役務実行ロボットと、
利用者と前記人型対話ロボット間の対話を通して前記利用者の要求と感情を認識する認識手段と、
前記利用者の要求と感情に応じて、前記利用者に提供する役務と当該役務を実行する役務実行ロボットと、当該役務の優先順位を決定する決定手段と、を備え、
前記決定手段により決定された役務実行ロボットが、決定された役務を、決定された優先順位で実行する、ロボット制御システム。
利用者と対話する人型対話ロボットと、
前記利用者に対して役務を提供する役務実行ロボットと、
利用者と前記人型対話ロボット間の対話を通して前記利用者の要求と感情を認識する認識手段と、
前記利用者の要求と感情に応じて、前記利用者に提供する役務と当該役務を実行する役務実行ロボットと、当該役務を実行する役務実行ロボットの移動速度を決定する決定手段と、を備え、
前記決定手段により決定された役務実行ロボットが、決定された役務を、決定された移動速度で実行する、ロボット制御システム。
前記人型対話ロボットが、前記認識手段により認識された前記利用者の感情に応じて、前記人型対話ロボットを構成する身体の形状を変化させる、請求項１又は２記載のロボット制御システム。
前記人型対話ロボットが、体幹に対する胸部および頭部のいずれか或いは両方の向きを変化させることにより、前記人型対話ロボットを構成する身体の形状を変化させる請求項３記載のロボット制御システム。
前記人型対話ロボットが頭部に一つの突起部を有し、前記利用者との対話時に、前記突起部を前記利用者の方向に向ける、請求項１又は２記載のロボット制御システム。
前記人型対話ロボットには、前記頭部に、前記突起部に向けて収束するように点灯装置が配置され、前記認識手段により認識した前記利用者の感情に応じて、前記点灯装置の点灯方法が変化する、請求項５記載のロボット制御システム。
前記人型対話ロボットの頭部には、人間の目および口に相当する部分が設けられておらず、前記突起部が設けられていない領域に、利用者の接触を検出するための感圧センサが設けられている請求項５または６記載のロボット制御システム。
前記役務実行ロボットは、運搬ロボット、テーブルロボット、ライティングツール提供ロボット、インタラクティブスクリーンロボットのいずれか１つまたはこれらの複数の組み合わせである、請求項１から７のいずれかに記載のロボット制御システム。
前記役務実行ロボットと前記人型対話ロボットとが、統一感のある外観形状の座部を有する、請求項１から８のいずれかに記載のロボット制御システム。
前記認識手段が、前記人型対話ロボットに内蔵、または前記人型対話ロボットとは別体に配置、或いはその両方に設けられる、請求項１から９のいずれかに記載のロボット制御システム。
第１の人型対話ロボットおよび第２の人型対話ロボットを備え、第１の人型対話ロボットが前記利用者の第１の要求および感情を認識し、その後第２の人型対話ロボットが前記利用者の第２の要求および感情を認識した場合、第２の人型対話ロボットは前記決定手段に第２の要求および感情を送信し、前記決定手段は、実行する役務と役務実行ロボットを、前記第１の要求および感情と、前記第２の要求および感情とに応じて決定する、請求項１から１０のいずれかに記載のロボット制御システム。