JP4639343B2 - ロボット遠隔操作システム - Google Patents

Description

この発明はロボット遠隔操作システムに関し、特にたとえば、複数のコミュニケーションロボットを遠隔操作する、ロボット遠隔操作システムに関する。

従来のこの種のロボット遠隔操作システムが、たとえば特許文献１ないし３に開示される。特許文献１の技術は、警備などに利用されるロボットを遠隔操作するためのロボット遠隔操作システムである。当該ロボットは基本的には自律行動を行い、操作装置ではロボットのカメラで撮影された画像が表示される。オペレータは、画像に基づいてロボットの状態を監視し、また、操作レバーによって自律、自律遠隔協調または完全遠隔モードを切り替えることができる。自律モードでは、ロボットは、不審人物、炎または煙等を検出したとき、その異常現象に対応する動作をすることができる。自律遠隔協調モードでは、ロボットは、遠隔操作に基づいて自律動作を修正することができる。また、完全遠隔モードでは、ロボットは、完全遠隔作業が終了したときに自律モードに復帰可能か否かを判定し、可能であれば自律モードに自動復帰し、不可能であれば操作装置へ異常を通知する。

また、特許文献２の技術は、夜間や無人に近い環境でＩＴ機器の異常事態を巡回して見張り、発見した障害を解決するメンテナンスロボットシステムである。メンテナンスロボットは情報管理システムに確認した作業スケジュールおよび作業手順に基づいて顧客コンピュータの保守作業を行い、作業が正常終了しなかった場合にはコールセンタへ保守員の派遣要請を行う。また、メンテナンスロボットは、巡回点検中にＣＣＤカメラにより顧客コンピュータの障害を発見した場合には、当該障害内容を情報管理システムに送信する。情報管理システムは障害内容を解析し、復旧のための作業手順をメンテナンスロボットへ送信する。これに応じてメンテナンスロボットは保守作業を実施し、作業が正常終了しなかった場合にはコールセンタに保守員の派遣要請を行う。また、メンテナンスロボットは、ＣＣＤカメラ、温度センサ、臭いセンサまたは赤外線センサにより顧客コンピュータ障害以外の異常を検出した場合には、異常検出内容、映像情報およびセンサ出力情報をコールセンタに送信する。コールセンタは異常を解析し、必要に合わせて保守員を顧客コンピュータへ派遣し、または警察等への通報を行う。

また、特許文献３の技術は、月面や深海等の特殊な場所に設置されているロボットの駆動装置を利用者の遠隔操作によって自由に制御できる遠隔操作サービスシステムである。当該駆動装置は、遠隔操作を希望する多数の利用者により遠隔操作される。当該利用者は、遠隔操作を希望する場合、時間契約の操作予約をするだけで、自宅などに所有する各自の操作端末から当該駆動装置を遠隔操作することができる。
特開２００３−２５１５８１号公報［Ｂ２５Ｊ １３／００］ 特開２００５−１５３１０４号公報［Ｂ２５Ｊ １３／００］ 特開２００２−１０１３３３号公報［Ｈ０４Ｎ ５／２３２］

特許文献１の技術では、ロボットの動作モードはオペレータの指示に応じて切り替えられ、自律モードで動作するロボットがオペレータを呼び出すような機能がないので、オペレータは自律動作するロボットの状態を常に監視する必要があった。このように、特許文献１の技術では操作装置とロボットの関係は１対１であった。したがって、特許文献１の技術によって複数のロボットを管理しようとすると、当該複数のロボットと同数のオペレータが必要となり、非効率的であった。

また、特許文献２のように、ロボットがスケジュールに従って自立的に保守作業を実施し、異常時に保守員の派遣を要請するネットワークシステムはあったが、これは、保守員を現場に呼び出すシステムに過ぎず、オペレータによるロボットの遠隔操作によりトラブルを解消しようとするものではなかった。

さらに、特許文献３のように、複数の人間がタイムシェアリングによりロボットを遠隔操作するシステムはあったが、これはあらかじめ予約した契約時間内に限りロボットの遠隔操作を行うことのできる、複数の人間がロボットをシェアするためのスケジューリングシステムであった。つまり、少数のロボットを多数の人間に操作させるためのシステムであった。

それゆえに、この発明の主たる目的は、ロボットの台数よりも少ない数のオペレータによって効率的にロボットの遠隔操作を行うことのできる、ロボット遠隔操作システムを提供することである。

請求項１の発明は、ネットワークに接続された複数のロボット、中央制御装置および複数の操作端末を含むロボット遠隔操作システムである。複数のロボットのそれぞれは、自律制御可能なロボットであり、センサ、およびセンサによって検出された情報に基づいて呼出条件が満足されるときオペレータを呼び出す要求を中央制御装置に送信するオペレータ呼出手段を備える。中央制御装置は、少なくとも使用状態を含む各操作端末に関する情報を記憶する端末情報記憶手段、オペレータ呼出手段による要求を受信したとき、少なくとも端末情報記憶手段の情報に基づいて利用可能な操作端末を選択する選択手段、および選択手段によって選択された操作端末および要求を送信した要求ロボットの少なくとも一方に、遠隔操作開始のための情報を送信する開始送信手段を備える。複数の操作端末のそれぞれは、開始送信手段による送信に応じて、遠隔操作のための情報を出力する第１出力手段、およびオペレータの入力に応じて操作情報を要求ロボットに送信する操作情報送信手段を備える。複数のロボットのそれぞれは、操作情報送信手段による操作情報を受信したとき、当該操作情報に基づいて動作を制御する遠隔制御手段をさらに備える。

請求項１の発明では、ロボット遠隔操作システム（１０：実施例で相当する参照番号。以下同じ。）は複数のロボット（１２，１４）、中央制御装置（１６）、複数の操作端末（１８）を含み、これらは、それぞれ無線回線、電話回線、インターネットあるいはＬＡＮのようなネットワーク（１００）を介して接続される。ロボットは、たとえば自律制御可能な受付ロボットや道案内ロボットなどであり、たとえば或るイベント会場や商店街などの様々な場所や状況に配置される。

各ロボットは、センサ（２８，３２，４２，４６，４８，５８，８０，８２，９８）を含み、センサは、たとえば視覚情報、聴覚情報、物体までの距離情報または対話相手の識別情報などを含む当該ロボット周囲の情報や、たとえば接触や触覚情報などの当該ロボット自体に作用する情報などを検出する。オペレータ呼出手段（７２、９４、９６、Ｓ７３、Ｓ７５）は、センサによって検出された情報に基づいて呼出条件が満足されたか否かを判定し、呼出条件が満足されたときオペレータを呼び出す要求を中央制御装置に送信する。呼出条件は、たとえばロボットの自律制御のみでは対応が困難な状況や事態になったことを示すような条件であり、具体的には、トラブルが発生したことや遠隔操作による細やかな対応が必要な状況になったことなどを示す条件である。中央制御装置は端末情報記憶手段（Ｓ１）を含み、少なくとも使用状態を含む各操作端末に関する情報を記憶している。選択手段（Ｓ５、Ｓ７、Ｓ３５、Ｓ４１、Ｓ４３、Ｓ５５）は、オペレータ呼出要求に応じて、少なくとも端末情報記憶手段に記憶された情報に基づいて、利用可能な操作端末の選択を行う。開始送信手段（Ｓ９、Ｓ１１、Ｓ１３）は、選択された操作端末および要求を送信したロボット（すなわち要求ロボット）の少なくとも一方に、遠隔操作開始のための情報を送信する。これによって、選択操作端末によって要求ロボットの遠隔操作が開始されることとなる。各操作端末は第１出力手段（Ｓ１０３、Ｓ１０５、Ｓ１０７）を含み、第１出力手段は、遠隔操作のための情報を、たとえば画面表示または音声出力などの方法で出力する。たとえば、画面には、要求ロボットの名前、場所、センサで検出された情報などが表示されてもよい。これによって、オペレータにロボットから呼び出しがあったことを伝える。要求ロボットのセンサによって検出された情報は、当該要求ロボットから受信されてもよいし、中央制御装置から受信されてもよい。操作情報送信手段（Ｓ１０９、Ｓ１１１）は、オペレータの入力に応じて、たとえばロボットの行動プログラムを指示するコマンドなどの操作情報を要求ロボットに送信する。各ロボットは遠隔制御手段（７２、Ｓ８３、Ｓ８７）を含み、遠隔制御手段は操作情報を受信したとき、当該操作情報に基づいて動作を制御する。

請求項１の発明によれば、各ロボットが、自律制御だけでは対処できないトラブルが発生したときなど、必要に応じてオペレータを呼び出し、この呼出要求に応じて、中央制御装置が、利用可能な操作端末を選択し、遠隔操作の開始を指示するようにした。したがって、ロボットの数よりも少数の操作端末によって、効率よくロボットの遠隔操作を行うことができる。

請求項２の発明は、請求項１の発明に従属し、中央制御装置は、各ロボットに関する情報を記憶するロボット情報記憶手段をさらに備える。選択手段は、ロボット情報記憶手段に記憶された要求ロボットの情報と端末情報記憶手段の情報とに基づいて選択条件を満足する操作端末を選択する。

請求項２の発明では、中央制御装置のロボット情報記憶手段（Ｓ３）には、各ロボットに関する情報、たとえばロボットの位置、対話相手の情報などが記憶されている。中央制御装置は、各ロボットに関する情報をたとえば一定時間ごとに各ロボットから取得する。選択手段は、要求ロボットに関する情報と端末情報記憶手段に記憶された情報とに基づいて、選択条件を満足する操作端末を選択する。選択条件は、たとえば要求ロボットの現在の状況もしくは設置場所などに適合する操作端末を選択するための条件であり、要求ロボットの現在の状況に応じて設定されてもよいし、予め設定されていてもよい。また、選択条件は、必ず満足されなければならない制約条件、または満足されることが望ましい希望条件などであってもよい。また、複数の操作端末が利用可能と判定される場合には、たとえば、満足された条件数または各条件の優先度などによって決まる優先度によって、１つの操作端末が選択されてよい。

請求項２の発明によれば、ロボットの情報と操作端末の情報とに基づいて選択条件を満足する操作端末を選択するようにしたので、たとえばロボットの置かれている状況に応じて、適切な操作端末を選択することができ、したがって、より効率よくロボットの遠隔操作を行うことができる。

請求項３の発明は、請求項２の発明に従属し、ロボット情報記憶手段は、各ロボットの対話相手に関する情報を記憶していて、端末情報記憶手段は、各操作端末のオペレータに関する情報を記憶している。選択手段は、要求ロボットの対話相手の情報と各操作端末のオペレータの情報とに基づいて選択条件を満足する操作端末を選択する。

請求項３の発明では、ロボット情報記憶手段には、各ロボットの対話相手に関する情報が記憶される。たとえば、各ロボットは、センサによって対話相手の識別情報を検出し、当該識別情報を中央制御装置に送信する。中央制御装置は、各ロボットから対話相手の識別情報をたとえば一定時間ごとに取得して、当該対話相手に関する情報をロボット情報記憶手段に記憶する。また、端末情報記憶手段には、各操作端末のオペレータに関する情報が記憶される。選択手段は、要求ロボットの対話相手の情報と各操作端末のオペレータの情報とに基づいて、選択条件を満足する操作端末を選択する。したがって、ロボットの対話相手に適切なオペレータを選択することができるので、より効率よくロボットの遠隔操作を行うことができる。

請求項４の発明は、請求項１ないし３の発明のいずれかに従属し、中央制御装置は、選択手段によって選択可能な操作端末が存在しないとき、要求ロボットにエラーを送信するエラー応答手段をさらに備える。各ロボットは、エラー応答手段によるエラーを受信したとき、エラー対応処理を実行するエラー対応手段をさらに備える。

請求項４の発明では、中央制御装置のエラー応答手段（Ｓ９、Ｓ１５）は、選択可能な操作端末が存在しないときには、要求ロボットにエラーを送信する。ロボットのエラー対応手段（７２、Ｓ７７、Ｓ７９）は、エラーを受信したときエラー対応処理を実行する。たとえば、操作端末のすべてが他のロボットの遠隔操作に使用されていたり、選択条件を満足しなかったりする場合には、選択可能な操作端末は存在しない。このような場合に、オペレータの呼び出しを要求したロボットは、エラー受信によってオペレータの遠隔操作が望めない状態であることを知ることができるので、たとえば対話相手にもうしばらく待ってもらったり謝罪したりするなど、当該状態に適切な対応を実行することができる。

請求項５の発明は、請求項１ないし４の発明のいずれかに従属し、第１出力手段は、要求ロボットのセンサによって検出された情報を含む遠隔操作画面を表示する表示手段を含む。

請求項５の発明では、各操作端末の第１出力手段は、遠隔操作画面を表示する表示手段（Ｓ１０３、Ｓ１０５、Ｓ１０７）を含む。選択された操作端末は、中央制御装置からの遠隔操作開始のための情報、または中央制御装置から遠隔操作開始のための情報を受信した要求ロボットからの情報に応じて、遠隔操作画面を表示する。この遠隔操作画面には少なくとも要求ロボットのセンサによって検出された情報、たとえばカメラ画像、当該ロボットの位置、対話相手の情報が表示される。遠隔操作の開始の指示に応じてセンサ情報を含む遠隔操作画面が表示されるので、オペレータは、容易にかつ素早く、ロボットの状況を把握できる。すなわち、より効率的に遠隔操作できる。

請求項６の発明は、請求項１ないし５の発明のいずれかに従属し、各ロボットのセンサはマイクを含む。各操作端末は、開始送信手段による送信に応じて、要求ロボットのマイクで取得された音声を出力する音声出力手段をさらに備える。

請求項６の発明では、各ロボットはセンサとしてマイク（４６）を備えている。中央制御装置による遠隔操作の開始の指示に応じて、オペレータの呼び出しを要求したロボットはマイクで取得された音声を送信し、選択された操作端末の音声出力手段（Ｓ１０７）は当該音声を出力する。したがって、選択された操作端末のオペレータは、センサで検出された情報を画面で見るだけでなく、さらにロボットの周囲の音声、たとえば対話相手の発話音声を聞くことができるので、より容易に状況を把握して適切に遠隔操作を行うことができる。

この発明によれば、呼出条件の満足されたロボットからの呼出要求があったときに、中央制御装置で操作端末を選択して、当該選択された操作端末に当該ロボットの遠隔操作を行わせるようにしたので、ロボット遠隔操作システムはロボットの数よりも少数の操作端末を備えるだけで足りる。したがって、ロボットの台数よりも少ない数のオペレータにより、効率的にロボットの遠隔操作を行うことができる。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のロボット遠隔操作システム１０は、ネットワーク１００を介して接続された、複数のロボット１２，１４、中央制御装置１６および操作端末１８を含む。

ロボット１２，１４は、コミュニケーションロボットであり、主として人間Ａのようなコミュニケーションの対象とコミュニケーション行動を実行することが可能な相互作用指向のロボットであり、身振り手振りのような身体動作および音声の少なくとも一方を含むコミュニケーション行動を実行する機能を備えている。ロボット１２，１４は、一例として、受付ロボットや道案内ロボットなどであり、たとえば或るイベント会場や会社の受付などの様々な場所および状況に配置され、通常は自律制御によって、たとえば受付や道案内などの役割を果たす。しかし、自律制御だけでは対応することが難しい事態になった場合、たとえばトラブルが生じたり、より細やかな対応（コミュニケーション等）が求められる場面になったりした場合などには、ロボット１２，１４はオペレータを呼び出す。そして、ロボット１２，１４は、呼び出したオペレータによって入力された操作コマンド情報を受信したときには、当該操作コマンド情報に基づいて自身の動作を制御する。つまり、ロボット１２，１４は、オペレータによって必要に応じて遠隔操作される。

なお、図１には、簡単のため、２台のロボット（ロボット１２およびロボット１４）が示してあるが、これに限定される必要はなく、複数であれば何台でもかまわない。また、ロボット１２，１４を遠隔操作する操作端末１８も１台だけ示してあるが、操作端末１８の数は、ロボット１２，１４の台数Ｎよりも少ない台数Ｍであれば何台でもかまわない（すなわち、Ｎ＞Ｍ）。なお、図１においては省略するが、原則的に１台の操作端末１８に対して１人のオペレータが担当し、操作端末１８の操作を行う。しかし、たとえば長時間ロボット１２，１４を作動させるときなどは、複数のオペレータが交代で操作端末１８の操作を行うようにしてもよい。また、たとえば或る操作端末１８を操作するオペレータがいないときなどは、当該操作端末１８が使用休止の状態にされてもよい。また、図１には、ロボット１２，１４が応対する人間Ａを1人示してあるが、もちろん複数でもかまわない。

図２は、この実施例のロボット１２の外観を示す正面図であり、この図２を参照して、ロボット１２のハードウェアの構成について説明する。ここで、ロボット１４は、ロボット１２と同じ構成であるため、ロボット１４についての説明は省略する。

図２に示すように、ロボット１２は台車２２を含み、この台車２２の下面にはロボット１２を自律移動させる車輪２４が設けられる。車輪２４は車輪モータ２６（図３参照）によって駆動され、台車２２すなわちロボット１２を前後左右任意の方向に動かすことができる。このように、ロボット１２は配置された環境内を移動可能なものであるが、場合によっては環境内の所定位置に固定的に設けられてもよい。

なお、図２においては省略するが、台車２２の前面には、衝突センサ２８（図３参照）が取り付けられ、この衝突センサ２８は台車２２への人や他の障害物の接触を検知する。つまり、ロボット１２の移動中に障害物との接触を検知すると、直ちに車輪２４の駆動を停止してロボット１２の移動を急停止させる。

また、この実施例では、ロボット１２の背の高さは、人、特に子供に威圧感を与えることのないように、１００ｃｍ程度とされる。ただし、この背の高さは変更可能である。

台車２２の上には、多角形柱のセンサ取付パネル３０が設けられ、このセンサ取付パネル３０の各面には、超音波距離センサ３２が取り付けられる。この超音波距離センサ３２は、センサ取付パネル３０すなわちロボット１２の周囲の主として人との距離を計測するものである。

また、台車２２の上には、さらに、その下部がセンサ取付パネル３０に囲まれて、ロボット１２の胴体が直立するように設けられる。この胴体は、下部胴体３４と上部胴体３６とによって構成され、下部胴体３４および上部胴体３６は、連結部３８によって互いに連結される。図示は省略するが、連結部３８には昇降機構が内蔵されていて、この昇降機構を用いることによって、上部胴体３６の高さすなわちロボット１２の背の高さを変化させることができる。昇降機構は、後述するように、腰モータ４０（図３参照）によって駆動される。

なお、上述したロボット１２の背の高さは、上部胴体３６をそれの最下位置にしたときのものである。したがって、ロボット１２の背の高さは、１００ｃｍ以上にすることも可能である。

上部胴体３６には、１つの全方位カメラ４２が設けられる。全方位カメラ４２はたとえば背面側上端部のほぼ中央から延びる支柱４４上に設置される。全方位カメラ４２は、ロボット１２の周囲を撮影するものであり、後述する眼カメラ４８とは区別される。この全方位カメラ４２としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。また、上部胴体３６の正面側のほぼ中央には、１つのマイク４６が設けられる。マイク４６は、周囲の音、とりわけコミュニケーション対象である人の声を取り込む。なお、これら全方位カメラ４２およびマイク４６の設置位置は上部胴体３６に限られず適宜変更され得る。

上部胴体３６の両肩には、それぞれ、肩関節５０Ｒおよび５０Ｌによって、上腕５２Ｒおよび５２Ｌが設けられる。肩関節５０Ｒおよび５０Ｌは、それぞれ、３軸の自由度を有する。すなわち、肩関節５０Ｒは、Ｘ軸、Ｙ軸およびＺ軸のそれぞれの軸廻りにおいて上腕５２Ｒの角度を制御できる。Ｙ軸は、上腕５２Ｒの長手方向（または軸）に平行な軸であり、Ｘ軸およびＺ軸は、そのＹ軸に対して、それぞれ異なる方向から直交する軸である。他方、肩関節５０Ｌは、Ａ軸、Ｂ軸およびＣ軸のそれぞれの軸廻りにおいて上腕５２Ｌの角度を制御できる。Ｂ軸は、上腕５２Ｌの長手方向（または軸）に平行な軸であり、Ａ軸およびＣ軸は、そのＢ軸に対して、それぞれ異なる方向から直交する軸である。

また、上腕５２Ｒおよび５２Ｌのそれぞれの先端には、肘関節５４Ｒおよび５４Ｌを介して、前腕５６Ｒおよび５６Ｌが設けられる。肘関節５４Ｒおよび５４Ｌは、それぞれ、Ｗ軸およびＤ軸の軸廻りにおいて、前腕５６Ｒおよび５６Ｌの角度を制御できる。

なお、上腕５２Ｒおよび５２Ｌならびに前腕５６Ｒおよび５６Ｌの変位を制御するＸ軸，Ｙ軸，Ｚ軸，Ｗ軸およびＡ軸，Ｂ軸，Ｃ軸，Ｄ軸では、それぞれ、「０度」がホームポジションであり、このホームポジションでは、図２に示すように、上腕５２Ｒおよび５２Ｌならびに前腕５６Ｒおよび５６Ｌは下方に向けられる。

また、図示は省略するが、上部胴体３６の肩関節５０Ｒおよび５０Ｌを含む肩の部分や上述の上腕５２Ｒおよび５２Ｌならびに前腕５６Ｒおよび５６Ｌには、それぞれ、タッチセンサ（図３で包括的に示す。：５８）が設けられていて、これらのタッチセンサ５８は、人がロボット１２の当該各部位に触れたかどうかを検知する。

前腕５６Ｒおよび５６Ｌのそれぞれの先端には、手に相当する球体６０Ｒおよび６０Ｌがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人の手の形をした「手」を用いることも可能である。

上部胴体３６の中央上方には、首関節６２を介して頭部６４が設けられる。首関節６２は、３軸の自由度を有し、Ｓ軸、Ｔ軸およびＵ軸の各軸廻りに角度制御可能である。Ｓ軸は首から真上（鉛直上向き）に向かう軸であり、Ｔ軸およびＵ軸は、それぞれ、そのＳ軸に対して異なる方向で直交する軸である。頭部６４には、人の口に相当する位置に、スピーカ６６が設けられる。スピーカ６６は、ロボット１２が、それの周辺の人に対して音声ないし音によってコミュニケーションを取るために用いられる。ただし、スピーカ６６は、ロボット１２の他の部位、たとえば胴体などに設けられてもよい。

また、頭部６４には、目に相当する位置に眼球部６８Ｒおよび６８Ｌが設けられる。眼球部６８Ｒおよび６８Ｌは、それぞれ眼カメラ４８Ｒおよび４８Ｌを含む。以下、右の眼球部６８Ｒと左の眼球部６８Ｌとをまとめて眼球部６８ということがあり、また、右の眼カメラ４８Ｒと左の眼カメラ４８Ｌとをまとめて眼カメラ４８ということもある。

眼カメラ４８は、ロボット１２に接近した人の顔や他の部分ないし物体などを撮影して、それに対応する映像信号を取り込む。眼カメラ４８としては、上述した全方位カメラ４２と同様のカメラを用いることができる。

たとえば、眼カメラ４８は眼球部６８内に固定され、眼球部６８は眼球支持部（図示せず）を介して頭部６４内の所定位置に取り付けられる。眼球支持部は、２軸の自由度を有し、α軸およびβ軸の各軸廻りに角度制御可能である。α軸およびβ軸は頭部６４に対して設けられる軸であり、α軸は頭部６４の上へ向かう方向の軸であり、β軸はα軸に直交しかつ頭部６４の正面側（顔）が向く方向に直交する方向の軸である。この実施例では、頭部６４がホームポジションにあるとき、α軸はＳ軸と平行であり、β軸はＵ軸と平行であるように設定される。このような頭部６４において、眼球支持部がα軸およびβ軸の各軸廻りに回転されることによって、眼球部６８ないし眼カメラ４８の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。

なお、眼カメラ４８の変位を制御するα軸およびβ軸では、「０度」がホームポジションであり、このホームポジションでは、図２に示すように、眼カメラ４８のカメラ軸は頭部６４の正面側（顔）が向く方向に向けられ、視線は正視状態となる。

図３はロボット１２の電気的な構成を示すブロック図であり、この図３を参照して、ロボット１２は、全体を制御するＣＰＵ７２を含む。ＣＰＵ７２は、マイクロコンピュータ或いはプロセサとも呼ばれ、バス７４を介して、メモリ７６、モータ制御ボード７８、センサ入力／出力ボード８０および音声入力／出力ボード８２に接続される。

なお、電気的構成についても、ロボット１２とロボット１４とは同じであるため、ここでは、ロボット１２についてのみ説明し、ロボット１４の説明については省略する。また、後述する当該システム全体の説明についても、ロボット１２とロボット１４とは同様に扱われるため、代表して、ロボット１２に対してのみ説明する場合がある。

メモリ７６は、図示は省略するが、ＲＯＭやＨＤＤおよびＲＡＭを含み、ＲＯＭやＨＤＤにはロボット１２の動作を制御する制御プログラムが予め記憶される。制御プログラムには、たとえば、各センサ２８，３２，４６，５８またはカメラ４２，４８による検知情報を検出する検出プログラム、必要に応じてオペレータを呼び出すための呼出プログラム、外部コンピュータすなわち中央制御装置１６あるいは操作端末１８との間で動作に必要なデータを送受信するための通信プログラム、自律制御により自身の動作を制御する自律制御プログラムおよび受信した操作コマンド情報に基づいて自身の動作を制御する遠隔制御プログラムなどがある。お辞儀などの個々のコミュニケーション行動は、モジュール化された各行動プログラムによって実現され、メモリ７６には複数の行動プログラムが各識別情報（操作コマンド）に対応付けて記憶されてよい。ＣＰＵ７２は複数のルールと現在の状況に基づいて次の行動を決定していくことでコミュニケーション行動を自律制御できる。また、メモリ７６には各行動を実行する際に発生すべき音声または声の音声データ（音声合成データ）および所定の身振りを提示するための角度データなども記憶される。また、ＲＡＭはワークメモリやバッファメモリとして用いられる。

モータ制御ボード７８は、たとえばＤＳＰで構成され、各腕や頭部および眼球部などの各軸モータの駆動を制御する。すなわち、モータ制御ボード７８は、ＣＰＵ７２からの制御データを受け、右眼球部６８Ｒのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「右眼球モータ」と示す。）８４の回転角度を制御する。同様に、モータ制御ボード７８は、ＣＰＵ７２からの制御データを受け、左眼球部６８Ｌのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「左眼球モータ」と示す。）８６の回転角度を制御する。

また、モータ制御ボード７８は、ＣＰＵ７２からの制御データを受け、右肩関節５０ＲのＸ軸、Ｙ軸およびＺ軸のそれぞれの角度を制御する３つのモータと右肘関節５４ＲのＷ軸の角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「右腕モータ」と示す。）８８の回転角度を調節する。同様に、モータ制御ボード７８は、ＣＰＵ７２からの制御データを受け、左肩関節５０ＬのＡ軸、Ｂ軸およびＣ軸のそれぞれの角度を制御する３つのモータと左肘関節５４ＬのＤ軸の角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「左腕モータ」と示す。）９０の回転角度を調整する。

さらに、モータ制御ボード７８は、ＣＰＵ７２からの制御データを受け、頭部６４のＳ軸、Ｔ軸およびＵ軸のそれぞれの角度を制御する３つのモータ（図３では、まとめて「頭部モータ」と示す。）９２の回転角度を制御する。さらにまた、モータ制御ボード７８は、ＣＰＵ７２からの制御データを受け、腰モータ４０および車輪２４を駆動する２つのモータ（図３では、まとめて「車輪モータ」と示す。）２６の回転角度を制御する。

なお、この実施例では、車輪モータ２６を除くモータは、制御を簡素化するために、ステッピングモータ或いはパルスモータを用いるようにしてある。ただし、車輪モータ２６と同様に、直流モータを用いるようにしてもよい。

センサ入力／出力ボード８０もまた、同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ７２に与える。すなわち、超音波距離センサ３２のそれぞれからの反射時間に関するデータがこのセンサ入力／出力ボード８０を通してＣＰＵ７２に入力される。また、全方位カメラ４２からの映像信号が、必要に応じてこのセンサ入力／出力ボード８０で所定の処理を施された後、ＣＰＵ７２に入力される。眼カメラ４８からの映像信号も、同様にして、ＣＰＵ７２に入力される。また、上述した複数のタッチセンサ（図３では、まとめて「タッチセンサ５８」と示す。）、および衝突センサ２８からの信号がセンサ入力／出力ボード８０を介してＣＰＵ７２に与えられる。

音声入力／出力ボード８２もまた、同様に、ＤＳＰで構成され、ＣＰＵ７２から与えられる音声合成データに従った音声または声がスピーカ６６から出力される。また、マイク４６からの音声入力が、音声入力／出力ボード８２を介してＣＰＵ７２に取り込まれる。

また、ＣＰＵ７２は、バス７４を介して通信ＬＡＮボード９４および無線通信装置９６に接続される。ＣＰＵ７２は、通信ＬＡＮボード９４および無線通信装置９６を用いて、たとえば無線ＬＡＮアクセスポイントを介してＬＡＮ，インターネットのようなネットワーク１００に通信接続する。通信ＬＡＮボード９４は、ＤＳＰで構成され、ＣＰＵ７２から送られる送信データを無線通信装置９６に与え、無線通信装置９６から送信データを、ネットワーク１００を介して中央制御装置１６もしくは操作端末１８に送信させる。具体的には、通信ＬＡＮボード９４は、全方位カメラ４２および眼カメラ４８によって検知した視覚情報やマイク４６によって検知した聴覚情報などの検知情報を中央制御装置１６もしくは操作端末１８に送信させる。また、通信ＬＡＮボード９４は、無線通信装置９６を介して操作端末１８からの操作コマンド情報を受信し、受信した操作コマンド情報をＣＰＵ７２に与える。なお、ロボット１２が移動不可能に設置されている場合、ネットワーク１００へは有線で接続されてもよい。また、ロボット１２と中央制御装置１６もしくは操作端末１８とが無線により直接通信するように構成してもよい。

また、ＣＰＵ７２には無線タグ読取装置９８が接続される。無線タグ読取装置９８は、無線タグ（ＲＦＩＤタグ）から送信される識別情報の重畳された電波をアンテナを介して受信し、電波信号を増幅し、当該電波信号から識別情報を分離し、当該識別情報を復調（デコード）してＣＰＵ７２に与える。無線タグはイベント会場や会社等にいる人に装着されており、無線タグ読取装置９８は通信可能範囲内の無線タグを検出する。なお、無線タグはアクティブ型であってもよいし、無線タグ読取装置９８から発信される電波に応じて駆動されるパッシブ型であってもよい。

図１に戻って、中央制御装置１６は、当該遠隔操作システム１０におけるオペレータの呼び出しを制御するコンピュータであり、ロボット１２および操作端末１８の状態を示す情報を管理する。中央制御装置１６は、図示は省略するが、ＣＰＵを含み、ＣＰＵにはメモリやデータベース、通信装置などが接続される。中央制御装置１６は、通信装置を介してネットワーク１００に有線または無線で接続されている。

メモリには、当該中央制御装置１６の動作を制御するための制御プログラムおよび必要なデータが記憶される。制御プログラムは、たとえば、ロボット１２および操作端末１８との間で動作に必要なデータを送受信するための通信プログラムおよびロボット１２からオペレータの呼び出しがあったときに適切なオペレータ（操作端末１８）を選択するための選択プログラムを含む。

また、データベースには、各ロボット１２の情報を示すロボット情報テーブルおよび各操作端末１８の情報を示すオペレータ端末情報テーブルが記憶される。また、イベント会場や会社等に存在する人間の情報（たとえば無線タグの識別情報、使用言語や行動履歴）なども記憶されている。

ロボット情報テーブルには、図４に示すように、ロボット名、状態、位置および対話相手などの情報が登録される。これらの情報はロボット１２の識別情報に対応付けて記憶されている。ロボット名は、当該ロボット１２の名前（たとえば、Ｒ１，Ｒ２）を画面に表示する際に使用され得る。状態を示す情報としては、当該ロボット１２の現在の状態が登録される。具体的には、「ｂｕｓｙ」（たとえば、案内や受付の状況において人間と対話などのコミュニケーション行動を実行している状態）、もしくは「ｉｄｌｅ」（たとえば、人間と対話などのコミュニケーション行動を実行していない状態、すなわち、空いている状態）が登録される。位置を示す情報としては、当該ロボット１２が配置されている現在位置の情報が登録される。具体的には、当該ロボット１２の配置された建物や会場などの場所を示す情報（たとえば、ＡＴＲ（京都）受付、Ｘ社（東京）受付）、および当該場所において当該ロボット１２が現在存在している位置の座標（たとえば、「１２０，１４０」）が登録される。対話相手を示す情報としては、当該ロボット１２が対話などのコミュニケーション行動を実行している人間の情報が登録される。具体的には、対話相手の識別情報（ＩＤ）に対応付けて、名前（たとえば山田太郎）、使用言語（たとえば日本語）および現在位置（座標）などが登録される。また、対話相手がいない場合は「ｎｕｌｌ」（すなわち、コミュニケーション行動を行う対象が存在しない）と登録される。

中央制御装置１６は、各ロボット１２との通信によって、当該ロボット１２の状態、現在位置座標、対話相手のＩＤおよび位置などの情報をたとえば一定時間ごとに取得して、このロボット情報テーブルを生成し更新する。なお、上述したように、データベースには、会社や会場内に存在する人間の情報が予め記憶されているので、中央制御装置１６は、ロボット１２から対話相手の識別情報（ＩＤ）を受信すると、この識別情報に基づいて当該人間の名前、使用言語などの情報を読み出し、ロボット情報テーブルに登録する。図４には示していないが、たとえば、対話相手の来訪回数や来訪してからの経過時間、ロボット１２が当該相手に既に実行した行動の履歴（たとえば、挨拶を済ませたなど）などの情報も必要に応じてデータベースから取得されて適宜登録される。なお、ロボット情報テーブルには、ロボットのアドレス（ＩＰアドレス）も登録されてよい。

たとえば、図４に示すロボット情報からは、Ｒ１というロボット名のロボット１２は、ＡＴＲ（京都）の受付に配置されており、現在の座標位置は「１２０，１４０」である。このロボットＲ１は、ＩＤが１０７２０で山田太郎という名前の人間と対話中であり、状態は「ｂｕｓｙ」であるということが分かる。なお、当該人間の使用する言語は日本語であり、現在座標は「１１０，１３０」である。また、Ｒ２というロボット名のロボット１２は、Ｘ社（東京）の受付に配置されており、現在の座標位置は「２７０，１１０」である。なお、現在は対話相手が「ｎｕｌｌ」（すなわち、対話相手が存在しない）であり、状態は「ｉｄｌｅ」（すなわち、空いている状態）であるということが分かる。

オペレータ端末情報テーブルには、図５に示すように、操作端末ＩＤ（識別情報）に対応付けて、位置、オペレータ情報および状態などの情報が登録される。位置を示す情報としては、当該操作端末１８が設置されている場所（都道府県または地域など）が登録される。オペレータ情報は、当該操作端末１８を操作しているオペレータに関する情報である。具体的には、オペレータの識別情報（たとえば、ｏｐ１，ｏｐ２，ｏｐ３など）、当該オペレータが使用できる言語（たとえば、日本語，英語，中国語など）および操作端末１８による遠隔操作を経験した年月ないし経験値（操作歴）などの情報が登録される。もちろん、図５に示した他にも、オペレータに関する情報が必要に応じて適宜登録される。なお、当該操作端末１８を操作しているオペレータが存在しない場合は「ｎｕｌｌ」と記載される。状態を示す情報としては、当該操作端末１８の現在の状態が登録される。具体的には、「ｃｏｎｔｒｏｌｌｉｎｇ−Ｒ１」（ロボットＲ１を操作中である状態）、「ｉｄｌｅ」（現在、どのロボット１２も操作せずに中央制御装置１６からの呼び出し待ち、すなわち、空いている状態）および「ｎｏｔ ｉｎ ｕｓｅ」（操作するオペレータがいないなどの理由で使用不可能の状態）などが記載される。なお、オペレータ端末情報テーブルには、操作端末１８のアドレス（ＩＰアドレス）も登録されてよい。中央制御装置１６は、たとえば、各操作端末１８との通信によって、当該操作端末１８の位置、オペレータ情報および状態などの情報を一定時間ごとに取得して、このオペレータ端末情報テーブルを生成し更新する。あるいは、各操作端末１８でオペレータや状態の変更があったときに、当該操作端末１８からオペレータ情報や状態が送信されるようにしてもよいし、中央制御装置１６の管理者が入力によってオペレータ端末情報テーブルを生成および更新するようにしてもよい。

たとえば、図５に示すオペレータ端末情報からは、操作端末ＩＤがＡＡＡの操作端末１８は大阪に設置されており、当該操作端末１８（ＡＡＡ）の操作は、現在、識別情報がｏｐ１のオペレータが担当していることが分かる。当該オペレータ（ｏｐ１）は、日本語および英語を使用することができ、操作端末１８（すなわち、ロボット１２）の操作歴は３年である。また、現在は「ｃｏｎｔｒｏｌｌｉｎｇ−Ｒ１」（ロボットＲ１を操作中）であるということが分かる。また、操作端末ＩＤがＢＢＢの操作端末１８は京都に設置されており、当該操作端末１８（ＢＢＢ）の操作は、現在、識別情報がｏｐ２のオペレータが担当している。当該オペレータ（ｏｐ２）は、日本語および中国語を話すことができ、操作端末１８（すなわち、ロボット１２）の操作歴は６ヶ月である。また、現在はロボット１２の操作をしておらず、「ｉｄｌｅ」（空いている状態）であるということが分かる。また、操作端末ＩＤがＣＣＣの操作端末１８は東京に設置されているが、現在、担当するオペレータが「ｎｕｌｌ」である（存在しない）ため、「ｎｏｔ ｉｎ ｕｓｅ」である（使用できない状態）ということが分かる。

また、操作端末１８は、コンピュータであり、図示は省略するがＣＰＵを含み、ＣＰＵには、メモリ、表示装置、入力装置、スピーカおよび通信装置などが接続される。操作端末１８は、通信装置を介してネットワーク１００に有線または無線で接続されている。

メモリには、当該操作端末１８の動作を制御するための制御プログラムおよび必要なデータが記憶される。制御プログラムは、たとえば、ロボット１２および中央制御装置１６との間で動作に必要なデータを送受信するための通信プログラム、入力装置から入力された操作コマンドを検出する検出プログラムおよび表示装置に画像などを表示するための表示プログラムを含む。

表示装置には、後述するように、ＧＵＩとして、ロボットカメラ画像、ロボット情報および操作パネルなどを含む遠隔操作画面が表示される。入力装置はマウス、キーボードまたはタッチパネルなどであり、オペレータは入力装置を操作することによってロボット１２を遠隔操作するための遠隔操作コマンドを遠隔操作画面で入力することができる。スピーカは、ロボット１２のマイク４６が取得した聴覚情報を出力する。

なお、操作端末１８は、ロボット１２と離れた場所、たとえばオフィスに配置されるが、たとえばオペレータによって持ち運び可能もしくは携帯可能に形成されてもよいし、また、或る場所に固定的に設けられてもよい。

このロボット遠隔操作システム１０では、上述したように、ロボット１２は、通常、自律制御によって受付や道案内などのコミュニケーション行動を伴う動作を行う。しかし、自律制御だけでは対応することが難しい状況や事態になった場合など必要に応じて、当該ロボット１２を遠隔操作する操作端末１８すなわちオペレータを呼び出す。

ロボット１２には、図示は省略するが、オペレータ呼出条件が予めメモリ７６に記憶されている。オペレータ呼出条件が、ロボット１２において満足すると判定されたとき、オペレータが呼び出される。オペレータ呼出条件は、ロボット１２が必要に応じてオペレータを呼び出すための条件である。この呼出条件によって、ロボット１２にトラブルが生じたり、コミュニケーションでより細やかな対応が必要とされたりする状況などになったか否かが判定される。呼出条件は、各種センサの出力情報を元に判定される条件であってよい。たとえば、条件の１つは、音声認識で所定のキーワード（「責任者を呼んで」など）が検出されたことであってよい。キーワードとしては、ロボット１２が相手の意図を分かっていないことを伝えるワード、たとえば「違う」、「そうじゃないんだけど」もしくは「わからないかなあ」も考えられる。また、他の条件は、超音波距離センサ３２で取得された距離が１ｍ以内である状態が５分以上になったこと（すなわち、人がロボット１２と長い間対話している状態）であってよい。さらにまた、他の条件は、特定のＩＤの無線タグを検出したこと（たとえばＶＩＰとして登録された人が現れたこと）であってもよい。なお、呼出条件としては、適宜、様々な条件が設定され得る。たとえば、人の顔表情認識で怒りが検出されたこと、顔同定機能で特定の人を検出したことが考えられる。なお、他の実施例では、呼出条件として、ロボット１２または周囲の環境に設けられた他のセンサの出力に基づく条件が設定されてよい。たとえば、オペレータ呼出ボタンがロボット１２または周囲の環境に設けられてよい。また、体表に設けた触覚センサ（たとえば皮膚センサ）で殴られた場合の反応が検出されたこと、赤外センサで長時間連続して人が検知されたこと、環境の混雑センサで一定以上の混雑度が検出されたことなども考えられる。

ロボット１２のＣＰＵ７２は、オペレータ呼出条件が満たされたと判断すると、オペレータを呼び出す要求を、ネットワーク１００を介して中央制御装置１６に送信する。

中央制御装置１６のＣＰＵは、ロボット１２から、オペレータの呼出要求を受けると、ロボット情報テーブルおよびオペレータ端末情報テーブルに基づいて最も適切な操作端末１８すなわちオペレータを選択する。中央制御装置１６のメモリには、適切な操作端末１８を選択するための条件が記憶されており、複数の操作端末１８の中から当該条件に適合する操作端末１８が選択される。

オペレータ選択のための第１の条件は、操作端末１８の状態が「ｉｄｌｅ」であることである。この実施例では、他のロボット１２を既に操作中であったり、オペレータが不在であったりする操作端末１８を利用することはできないためである。

さらに、この実施例では、オペレータ選択条件として、制約条件および希望条件が判定される。

制約条件は、オペレータを呼び出した当該ロボット１２（要求ロボット）を操作するために、操作端末１８ないしオペレータが必ず満たさなければならない条件である。すなわち、或る操作端末１８がどのロボット１２も操作していない状態、すなわち「ｉｄｌｅ」状態であっても、制約条件を満たさなければ、当該操作端末１８が選択されることはない。

制約条件は、この実施例では、現在のロボット１２が置かれている状況に応じて設定される。この実施例では、ロボット１２の対話相手の使用言語と同一の言語を使用可能なオペレータが操作する操作端末１８であることが条件とされる。この場合には、ロボット１２の応対している相手が話している事をオペレータが理解できるので、遠隔操作によって現在の状況に適切に対応することが可能になる。たとえば、中央制御装置１６のＣＰＵは、ロボット１２からオペレータ呼出要求を受けると、ロボット情報テーブルから当該ロボット１２の対話相手の使用言語を読み出して、当該使用言語を操作端末１８の制約条件として設定する。状況に応じて、複数の制約条件が設定されてもよいし、１つの制約条件が設定されてもよい。

なお、他の制約条件としては、たとえばロボット１２で満足された呼出条件に対応する条件が設定されてもよい。また、制約条件は、状況にかかわらず固定的に設定されてもよい。さらにまた、他の実施例では、制約条件が設定されなくてもよい。

希望条件は、オペレータを呼び出したロボット１２を操作するために、操作端末１８ないしオペレータが満たすことが望ましい条件である。すなわち、希望条件を満たさなくても制約条件を満たしていればロボット１２を操作する操作端末１８として選択される場合がある。複数の操作端末１８が制約条件を満たす場合には、この実施例では、希望条件を満たす操作端末１８が優先的に選択される。また、複数の希望条件が設定される場合には、たとえば、より多くの希望条件を満たす操作端末１８が選択される。あるいは、希望条件ごとに異なる優先順位または優先度が予め設定される場合には、優先順位の一番高い希望条件を満たす操作端末１８が選択されてもよいし、もしくは、満足された希望条件の優先度の累計が最大の操作端末１８が選択されてもよい。優先度によっても１つの操作端末１８に絞られない場合には、たとえばランダムに１つの操作端末１８が選択されてよい。

なお、複数の希望条件が設定されてもよいし、１つの希望条件だけが設定されてもよい。また、希望条件は設定されてなくてもよく、その場合に複数の操作端末１８が制約条件を満足するときには、たとえばランダムに１つの操作端末１８が選択されてよい。

希望条件は、たとえば通信条件や人的条件などによって決まる条件であってよく、また、予め設定されてよい。たとえば、ロボット１２と操作端末１８の位置（距離）が近いことが条件とされてよいし、オペレータの操作歴（経験値）が所定値以上であることが条件とされてよい。このように希望条件を適宜に設定することによって、操作端末１８からの遠隔操作をより円滑に行わせることが可能になる。なお、他の実施例では、希望条件は、現在のロボット１２が置かれている状況、たとえば、満足された呼出条件、トラブルの内容、対話相手に応じて設定されてもよく、その場合には、ロボット１２の状況によりふさわしい操作端末１８を選択することができる。

中央制御装置１６は、ロボット１２の呼出要求に応じて操作端末１８を選択すると、遠隔操作を開始するための情報を、呼出要求を送信した要求ロボット１２および選択された操作端末１８の少なくとも一方に送信し、遠隔操作の開始を指示する。すなわち、中央制御装置１６は、当該操作端末１８に当該ロボット１２の遠隔操作を依頼する。具体的には、選択した操作端末１８に対して、呼出要求をしたロボット１２に関する情報（名前、位置、対話相手、アドレスなど）を含む遠隔操作開始指示を送信する。一方、呼出要求をしたロボット１２に対しては、中央制御装置１６は、呼出応答を送信して選択した操作端末１８を紹介する。具体的には、選択した操作端末１８のアドレスなどの情報を含む遠隔操作開始指示を送信する。このような呼出応答を受信したロボット１２は、操作端末１８に対して、当該ロボット１２の眼カメラ４８が取得した画像情報およびマイク４６が取得した聴覚情報などを送信する。

なお、ロボット１２および操作端末１８が、すべての操作端末１８およびすべてのロボット１２のアドレスをそれぞれ予め記憶している場合には、中央制御装置１６は、選択された操作端末１８の識別情報をロボット１２に送信し、ロボット１２の識別情報を操作端末１８に送信するようにしてよい。

操作端末１８は、中央制御装置１６からロボット１２の遠隔操作の依頼を受けると、表示装置にたとえば図６に示すような遠隔操作画面を表示する。これによって、当該操作端末１８のオペレータにロボット１２から呼び出しがあったことを知らせることができる。なお、他の方法、たとえば操作端末１８のスピーカからの音声出力によって、オペレータに遠隔操作の必要性を通知するようにしてもよい。

この遠隔操作画面では、図６に示すように、たとえば、ロボットカメラ画像、ロボット情報および操作パネルが表示される。

ロボットカメラ画像には、ロボット１２から受信した眼カメラ４８の撮影画像が表示される。これによって、オペレータは、ロボット１２の眼カメラ４８が捕らえている画像、たとえば対話している人間をリアルタイムで見ることができる。

ロボット情報には、ロボット１２自体の情報、当該ロボット１２の状況および対話相手の情報などが表示される。具体的には、当該ロボット１２の配置された場所（施設、会場、会社など）、名前（もしくは識別情報）、配置された場所の地図および対話している人間の情報が表示される。地図には、ロボット１２および対話相手を示すアイコンが各存在位置に表示される。これによって、ロボット１２が設置場所のどこに存在しているのか、対話相手がロボット１２に対してどこに存在しているのかなどを、オペレータは容易に把握することができる。なお、操作端末１８は、地図情報を予め記憶しておいてもよいし、中央制御装置１６からロボットに関する情報とともに受信するようにしてもよい。また、ロボット１２および対話相手の位置は、たとえばロボット１２から一定時間ごとに操作端末１８に送信される。ロボット１２は初期の配置位置および向きを記憶しているので、自分の現在の位置および向きを常に把握している。また、ロボット１２は、超音波距離センサ３２の出力情報と自分の位置などから対話相手のおよその位置を推定できる。また、地図には、その場所に存在する対話相手以外の人間を示すアイコンも表示されてよい。この場合には、オペレータはその場所におけるロボット１２の状況をさらに詳細に知ることができる。

なお、ロボット１２の配置場所における人間の位置情報は、周囲に設置された天井カメラ、無線タグ読取装置などのような環境のセンサを用いて、当該環境のセンサと接続された他のコンピュータで検出してよく、当該他のコンピュータからロボット１２に与え、ロボット１２から操作端末１８に送信されてよい。または、当該位置情報は上記他のコンピュータから中央制御装置１６を経由して操作端末１８に送信されてもよい。なお、環境のセンサによってロボット１２の位置なども検出可能であるので、ロボット１２は、自分の位置および向きなどの情報も、人間の位置情報などとともに上記他のコンピュータから取得してもよい。

また、対話している人間の情報としては、名前、所属（たとえば、受付の人間や来客）、来訪回数、前回の来訪日、今回の来訪後の経過時間およびロボット１２が当該相手に既に行ったコミュニケーション行動の履歴などが表示される。これによって、オペレータは、ロボット１２の対話相手の情報を知ることができる。対話相手の情報は、中央制御装置１６から操作端末１８に送信される。なお、これらオペレータに提示される情報は一例であり、ロボット情報には適宜適切な情報が表示される。このようなロボット情報によって、オペレータは、ロボット１２および対話相手の情報ならびに両者の置かれている状況などを容易に把握することができる。

また、相手が話している場合には、ロボット１２から音声情報が送信されて、操作端末１８のスピーカから当該音声が出力される。したがって、オペレータは、さらに対話相手の言葉を聞くことによって、現在の状況をより容易に把握することができる。

このような遠隔操作画面が、ロボット１２の遠隔操作依頼を受けた操作端末１８の表示装置に表示される。これによって、オペレータは、ロボット１２の撮影画像、当該ロボット１２の置かれている状況、対話相手の情報などを見たり、当該ロボット１２の取得音声を聞いたりして、ロボット１２の現在の状況を容易にかつ速やかに把握することができる。したがって、オペレータは、遠隔操作画面でロボット１２の状況を確認しながら遠隔操作の必要性を容易に判断することができ、遠隔操作の必要があると判断したときには操作パネルによってロボット１２の動作の遠隔操作を行うことができる。

操作パネルでは、オペレータが入力装置を操作することにより、ロボット１２の動作を制御する操作コマンドが入力される。たとえば、図６に示すように、操作パネルには、移動を指示するためのボタン、コミュニケーション行動を指示するためのボタンおよび遠隔操作の終了を指示するためのボタンなどが設けられる。具体的には、「前進」ボタンは、ロボット１２を前進させるためのボタンである。オペレータが「前進」ボタンを選択すると、ロボット１２は、たとえば一定距離だけ前進する。同様に、「後退」ボタンはロボット１２を後退させ、「右」ボタンはロボット１２を右旋回させ、「左」ボタンはロボット１２を左旋回させる。また、「お辞儀」ボタンは、ロボット１２にお辞儀というコミュニケーション行動を実行させるためのボタンである。オペレータが「お辞儀」ボタンを選択すると、ロボット１２は、首関節６２を制御して頭部６４を下に向け、すなわち、お辞儀をする。また、「右指差し」のボタンは、ロボット１２に右指差しというコミュニケーション行動を実行させるためのボタンである。オペレータが「右指差し」のボタンを選択すると、ロボット１２は、右肩関節５０Ｒおよび右肘関節５４Ｒを制御して腕を前方に上げる。同様にして、操作パネルに表示されたボタンをオペレータが選択ことにより、ロボット１２に、うなずき、左指差しなどの身振りや発話を含む所定のコミュニケーション行動を実行させることができる。また、「終了」ボタンは、遠隔操作を終了させるためのボタンである。オペレータが「終了」ボタンを選択すると、ロボット１２は遠隔操作対応モードから自律制御モードに移行する。

操作端末１８は、入力データとボタン配置データとに基づいて操作パネルでのボタン選択を検出すると、選択されたボタンに対応する操作コマンドを特定し、当該操作コマンド情報をネットワーク１００を介してロボット１２に送信する。ロボット１２は、操作端末１８から操作コマンド情報を受信すると、当該操作コマンド情報に基づいて自身の動作を制御する。具体的には、ロボット１２のＣＰＵ７２は、操作コマンド情報に対応するコミュニケーション行動のプログラムに従って処理を実行する。これによって、ロボット１２は所定の身振りを提示し、あるいは所定の音声を出力する。このように、オペレータが必要に応じて遠隔操作することによって、ロボット１２の自律制御だけでは対応困難な状況や事態に対して、適切に対処することができる。

具体的には、中央制御装置１６のＣＰＵは、図７および図８に示すフローチャートに従って全体処理を実施する。また、ロボット１２のＣＰＵ７２は、図９に示すフローチャートに従って遠隔操作対応処理を行い、操作端末１８のＣＰＵは、図１０に示すフローチャートに従ってロボット１２の遠隔操作処理を行う。

図７を参照して、中央制御装置１６のＣＰＵは、全体処理を開始すると、ステップＳ１で複数の操作端末１８（１〜Ｍ）の状態を取得し、テーブルを更新する。具体的には、各操作端末１８（１〜Ｍ）から、その位置、オペレータの情報および現在の使用状況などを含む情報を取得し、図５に示すようなオペレータ端末情報テーブルを更新する。

次のステップＳ３では、複数のロボット１２（１〜Ｎ）の状態を取得し、テーブルを更新する。具体的には、各ロボット１２（１〜Ｎ）から、その位置、現在の作動状態および対話相手の情報などを含む情報を取得し、図４に示すようなロボット情報テーブルを更新する。

続いて、ステップＳ５では、ロボットｉからの呼び出しがあるか否か、すなわち、いずれかのロボット１２からオペレータ呼出要求を受信したか否かを判断する。ここで「ｉ」は、Ｎ台のロボット１２のうち１つを指定するための変数である。ステップＳ５で、“ＮＯ”であれば、すなわちロボット１２からの呼び出しが無ければステップＳ１９に進み、ステップＳ１９で全体の処理を終了するか否かの確認を行う。全体処理を終了する指示は、操作端末１８から全体処理を終了する指示を送信するようにしてもよいし、中央制御装置１６に全体処理終了用のボタンを設けておき、これを操作するようにしてもよい。なお、この全体処理を終了する指示は、前述した遠隔操作を終了する指示とは違うものである。また、ロボット１２ごとに処理を終了させることも可能である。ステップＳ１９で“ＹＥＳ”であれば、この全体の処理を終了する。また、ステップＳ１９で“ＮＯ”であれば、処理はステップＳ１に戻る。このように、中央制御装置１６では、オペレータ操作端末テーブルの更新、ロボット情報テーブルの更新および呼出要求の確認などが一定時間ごとに繰り返し実行される。そして、ロボット１２から呼び出しがあった場合には、当該呼び出しに対応する処理をステップＳ７〜Ｓ１５で実行する。

具体的には、ステップＳ５で“ＹＥＳ”であれば、すなわちロボットｉからの呼び出しがあれば、ステップＳ７に進み、操作端末１８の選択を行う。この処理では、操作端末１８を選択するための条件の判定が行われ、当該条件が満足される場合には、利用可能な操作端末１８が選択される。この操作端末選択処理（図８参照）の詳細については後述する。

ステップＳ７で操作端末１８の選択が行われると、次のステップＳ９では、利用できる操作端末ｊが存在するか否かが判断される。ここで「ｊ」は、Ｍ台の操作端末１８のうち１つを指定するための変数である。ステップＳ９で“ＮＯ”の場合、すなわち、オペレータを呼び出したロボットｉを操作するのに適切な操作端末ｊが存在しなかった場合には、ステップＳ１５に進む。

ステップＳ１５では、ロボットｉに「エラー」を送信する。つまり、ロボットｉを操作する操作端末ｊ（オペレータ）が存在しないことをロボットｉに伝える。ステップＳ１５でロボットｉに「エラー」を送信すると、処理は上述のステップＳ１９に進む。

一方、ステップＳ９で“ＹＥＳ”の場合、すなわち、オペレータを呼び出したロボットｉを操作するのに適切な操作端末ｊ（オペレータ）が存在した場合には、遠隔操作を開始させるための情報をロボットｉおよび操作端末ｊの少なくとも一方に送信し、両者がネットワーク１００を介して通信を行えるようにする。

ステップＳ１１では、ロボットｉに操作端末ｊの紹介を行う。つまり、ロボットｉに対して、操作端末ｊの識別情報（ＩＰアドレス）を送信する。

続くステップＳ１３では、操作端末ｊにロボットｉの遠隔操作の依頼を行うとともに、上述したロボット情報を送信する。具体的には、ロボット情報テーブルから必要な情報を読み出して、ロボットｉのアドレスを操作端末ｊに送信し、さらに、当該ロボットｉの位置および対話相手の情報などを送信する。なお、ステップＳ１３では、さらに、オペレータ端末情報テーブルの操作端末ｊの状態を示すデータが、ロボットｉの遠隔操作対応中を示すデータ（「ｃｏｎｔｒｏｌｌｉｎｇ−Ｒｉ」）に更新されてよい。ステップＳ１３が終了すると、処理は上述のステップＳ１９に進む。

図８は、図７に示したステップＳ７の操作端末選択処理を示すフロー図である。図８を参照して、まず、ステップＳ３１では、制約条件を設定する。つまり、この実施例のように制約条件がロボットｉの状況に応じて設定される場合には、当該ロボットｉのロボット情報に基づいて制約条件を設定する。１つまたは複数の制約条件が設定されてよい。たとえば、制約条件として、対話相手の使用言語とオペレータの使用可能言語が同一であることが採用される場合には、ロボット情報テーブルから当該ロボットｉの対話相手の使用言語を取得して、当該言語をオペレータの言語条件として設定する。

次に、ステップＳ３３では、変数の初期化を行う。つまり、Ｍ台の操作端末１８のうち１つを指定するための変数ｊおよびＹ個の希望条件のうち１つを指定するための変数ｘに初期値１を設定する。

ステップＳ３５では、操作端末ｊの状態が「ｉｄｌｅ」状態か否かを判断する。すなわち、図７のステップＳ１で更新されたオペレータ端末情報テーブルから、操作端末ｊの状態を読み出し、操作端末ｊがすぐに利用できる状態か否かを判断する。ステップＳ３５で“ＮＯ”の場合、すなわち、操作端末ｊが現在他のロボットを操作中もしくは利用不可の状態であった場合には、処理はステップＳ３７に進む。

ステップＳ３７では、変数ｊの値が操作端末１８の総数Ｍの値と等しくなったか否か、すなわち、全ての操作端末ｊについて状態（「ｉｄｌｅ」か否か）を確認したか否かを判断する。ステップＳ３７で“ＮＯ”の場合には、ステップＳ３９で変数ｊをインクリメントして、処理はステップＳ３５に戻り、次の操作端末ｊについての利用可能性の判断を行う。また、ステップＳ３７で“ＹＥＳ”の場合には処理はステップＳ５５に進む。

一方、ステップＳ３５で“ＹＥＳ”の場合、すなわち、操作端末ｊがすぐに利用できる状態にあるときは、ステップＳ４１で
操作端末ｊが要求された制約条件を全て満たすか否かを判断する。上述したように、制約条件は、操作端末ｊが選択されるために必ず満たさなければならない条件であり、上述のステップＳ３１で設定される。たとえば、制約条件が言語条件である場合には、オペレータ端末情報テーブルから当該操作端末ｊに対応するオペレータの言語情報を読み出して、当該制約条件の言語が含まれるか否かが判定される。

ステップＳ４１で、“ＮＯ”と判断した場合、すなわち、要求された制約条件の中に１つでも満たされない制約条件があった場合には、処理は上述のステップＳ３７に進む。

一方、ステップＳ４１で“ＹＥＳ”と判断した場合、すなわち、全ての制約条件が満たされた場合には、処理はステップＳ４３に進む。なお、制約条件が存在しない場合は、ステップＳ４１では全て“ＹＥＳ”と判断される。

ステップＳ４３では、操作端末ｊが希望条件ｘを満たすか否かを判断する。上述したように、希望条件は、オペレータを呼び出したロボットｉを操作するために操作端末ｊが満たすことが望ましい条件であり、この実施例では予め設定される。たとえば、希望条件として位置が近いことが設定される場合には、ロボット情報テーブルとオペレータ端末情報テーブルに基づいて、ロボットｉの位置と操作端末ｊの位置とが近いか否かを判定する。また、希望条件としてオペレータの操作歴が採用される場合には、オペレータ端末情報テーブルに基づいて操作端末ｊの操作歴が所定値以上であるか否かを判定する。

ステップＳ４３で“ＹＥＳ”と判断された場合、すなわち、希望条件ｘが満足される場合には、ステップＳ４５で、操作端末ｊが優先的に選択されるための優先度を表す変数ｐｊを１加算し、ステップＳ４７に進む。このように、希望条件が満たされるごとに当該操作端末ｊの優先度ｐｊを増加するようにしているので、この実施例では、満足した希望条件の数が多いほど優先度ｐｊの値が大きくなる。一方、ステップＳ４３で“ＮＯ”である場合、すなわち、希望条件ｘが満たされない場合には、処理はそのままステップＳ４７に進む。

ステップＳ４７では、変数ｘの値と当該操作端末ｊに要求された希望条件の総数Ｙの値とが等しいか否か、すなわち、要求された全ての希望条件について判定を行ったか否かを判断する。ステップＳ４７で“ＮＯ”の場合には、ステップＳ４９で変数ｘをインクリメントして、ステップＳ４３に戻り、次の希望条件について判定を行う。一方、ステップＳ４７で“ＹＥＳ”の場合は、ステップＳ５１に進む。なお、希望条件が存在しない場合は、ステップＳ４３では全て“ＮＯ”と判断され、続くステップＳ４７では全て“ＹＥＳ”と判断される。

ステップＳ５１では、変数ｊの値が操作端末１８の総数Ｍの値と等しくなったか否か、すなわち、全ての操作端末ｊについての判定を終えたか否かを判断する。ステップＳ５１で“ＮＯ”の場合には、ステップＳ５３で、変数ｊをインクリメントしてステップＳ３５に戻り、次の操作端末ｊについて判断を行う。一方、ステップＳ５１で“ＹＥＳ”の場合には、処理はステップＳ５５に進む。

ステップＳ５５では、利用可能な操作端末１８のうち、優先度ｐｊの最も高い操作端末ｊを選択する。つまり、この実施例では、「ｉｄｌｅ」状態でかつ制約条件を全て満たした操作端末１８のうち優先度ｐｊが最大の操作端末ｊの識別情報を獲得する。なお、複数の操作端末１８の優先度ｐｊの値が同一である場合には、その中から１つをたとえばランダムに選択する。また、「ｉｄｌｅ」状態の操作端末１８が無い場合、または全ての制約条件を満足する操作端末１８が無い場合には、利用可能な操作端末ｊが存在しないことを示すデータを記憶する。これによって、オペレータを呼び出したロボットｉを操作するのに最も適切な操作端末ｊを決定し、この操作端末選択処理をリターンする。

このように、中央制御装置１６は、複数のロボット１２および複数の操作端末１８の情報を取得して記憶しているので、ロボット１２からの呼び出しがあったときには、利用可能な操作端末１８を容易に選択することができるし、さらに各種条件判定によって、呼び出したロボット１２（要求ロボット）に最も適切な操作端末１８を選択することができる。また、ロボット１２からの呼出要求があった場合にのみ操作端末１８（オペレータ）を呼び出して遠隔操作を行わせるようにしたので、ロボット遠隔操作システム１０はロボット１２の数よりも少数の操作端末１８を備えるだけで足りる。

図９には、ロボット１２のＣＰＵ７２の遠隔操作対応処理の動作の一例が示される。ロボット１２のＣＰＵ７２は、この遠隔操作対応処理を他の処理と並列的にかつ一定時間ごとに実行する。

図９を参照して、ステップＳ７１では、センサ情報の取得を行う。すなわち、オペレータ呼出条件の判定に必要なセンサ情報、たとえば、超音波距離センサ３２、マイク４６、眼カメラ４８、タッチセンサ５８および無線タグ読取装置９８のセンサ情報を取得する。

次のステップＳ７３では、オペレータ呼出条件が満たされたか否かを判断する。すなわち、ステップＳ７１で取得したセンサ情報などに基づいて、上述したオペレータ呼出条件の判定を行う。ステップＳ７３で“ＮＯ”の場合、すなわち、オペレータ呼出条件を満たさないと判断した場合には、この遠隔操作対応処理を終了する。

一方、ステップＳ７３で“ＹＥＳ”の場合、すなわち、オペレータ呼出条件を満たすと判断した場合には、自律制御だけでは解消することが難しい問題が発生したり、細やかな対応が求められる場面になったりするなど、オペレータによる遠隔操作が必要な状況になったと判断して、ステップＳ７５では、中央制御装置１６に対して、オペレータ呼出要求を送信し、当該要求に対する応答の受信を待つ。

続くステップＳ７７では、中央制御装置１６から操作端末１８の紹介があったか否かが判断される。たとえば、操作端末１８のアドレスを含む呼出応答を受信したか、またはエラーを受信したかが判定される。

ステップＳ７７で“ＮＯ”の場合、すなわち、中央制御装置１６からエラーを受信した場合には、ステップＳ７９でエラー処理を実行する。利用可能な操作端末１８（オペレータ）が存在せず、オペレータの遠隔操作による制御が望めないので、ロボット１２は自律的にエラー対応処理を行う。たとえば、満足された呼出条件に応じて異なる処理を実行してよい。自律制御では対応不可能なトラブルが発生したか否かを判定する呼出条件が満足された場合には、たとえば「手空きのオペレータがおりませんので、しばらくお待ち下さい」、「申し訳ございません。対応できるオペレータが存在しません」といった発話を含むコミュニケーション行動を実行してよい。これによって、対話相手にトラブルに対応不可能な状態であることを知らせることができ、また対話相手の違った反応を引き出して自律制御で対応可能な状態に変化することが期待される。また、たとえばＶＩＰが来たり多くの人に取り囲まれたりしたときのように、細やかな対応が求められる場面になったか否かを判定する呼出条件が満足された場合には、たとえばエラー対応としての発話や身振りを特に提示せずに、自律制御を継続するようにしてもよい。また、たとえばエラーを受信してから一定時間経過後に呼出要求を再送信するようにしてもよい。ステップＳ７９を終了するとこの遠隔操作対応処理を終了する。

なお、ステップＳ７７で呼出要求に対する応答の受信待ちがタイムアウトになったと判定されるときには、たとえば、通信困難であることを対話相手に通知したり、呼び出しを再度試みたりしてから、この遠隔操作対応処理を終了する。

一方、ステップＳ７７で“ＹＥＳ”の場合、すなわち、中央制御装置１６から操作端末１８を紹介された場合は、ステップＳ８１に進む。なお、上述のように、中央制御装置１６からの紹介は、中央制御装置１６が操作端末１８の識別情報（ＩＰアドレス）を送信することにより行われる。したがって、ロボット１２は、以降、操作端末１８との間で情報の送受信を中央制御装置１６を介さずに行うことができる。

操作端末１８の紹介があったときには、遠隔操作対応モードに移行して、続くステップＳ８１からＳ８７の処理を一定時間ごとに繰り返し実行する。この遠隔操作対応モードでは、ロボット１２の動作は基本的には自律制御され、遠隔操作があったときにはその操作コマンドに従った動作を実行する。

ステップＳ８１では、紹介された操作端末１８に対してカメラ画像および音声を送信する。すなわち、眼カメラ４８が撮影したカメラ画像情報およびマイク４６が取得した音声情報（対話相手の発話音声）が、操作端末１８に対して送信される。

ステップＳ８３では、操作端末１８から、自身の動作を制御する操作コマンドを受信したか否かを判断する。ステップＳ８３で“ＮＯ”の場合、すなわち、操作コマンドを受信しなかった場合には、ステップＳ８１に戻る。

一方、ステップＳ８３で“ＹＥＳ”の場合、すなわち、操作端末１８からの操作コマンドを受信した場合には、ステップＳ８５で、遠隔操作終了要求があったか否かを判定する。つまり、ステップＳ８３で受信した操作コマンドが遠隔操作終了コマンドであったか否かを判断する。

ステップＳ８５で“ＮＯ”の場合、すなわち、コミュニケーション行動を指示する操作コマンドを受信した場合には、ステップＳ８７で、当該操作コマンドに応じた動作が行われる。これによって、上述したように、ロボット１２の動作が遠隔操作に基づいて制御される。たとえば、お辞儀や指差しなどの身体動作および発話を含むコミュニケーション行動、あるいは、前進や旋回などの移動を実行する。なお、操作コマンドを受信したときに自律制御によってコミュニケーション行動などを実行中であった場合には、当該実行中の行動が終了するのを待ってから操作コマンドに対応する動作を実行してもよいし、当該実行中の行動を中止してから操作コマンドに対応する動作を実行してもよい。ステップＳ８７を終了すると処理はステップＳ８１へ戻る。

一方、ステップＳ８５で“ＹＥＳ”の場合、すなわち、オペレータが操作端末１８で遠隔操作による対応の終了を選択した場合には、自律制御のみでは対応することの難しかった状況が変化したと判断して、この遠隔操作対応処理を終了する。これによって、ロボット１２の動作モードは遠隔操作対応モードから自律制御モードに戻る。

図１０には、操作端末１８のＣＰＵの遠隔操作処理の動作の一例が示される。図１０を参照して、ステップＳ１０１では、中央制御装置１６から遠隔操作依頼があるか否かが判断される。具体的には、ロボット１２のアドレスを含む遠隔操作対応の依頼を中央制御装置１６から受信したか否かが判定される。このステップＳ１０１の判定は一定時間ごとに繰り返し実行される。

ステップＳ１０１で“ＹＥＳ”の場合、すなわち、中央制御装置１６からロボット１２の遠隔操作依頼を受信したときには、
ステップＳ１０３で、表示装置に遠隔操作画面が表示される。すなわち、上述した図６に示すような、ロボットカメラ画像、ロボット情報および操作パネルを含む遠隔操作画面が表示される。なお、この時点では、当該操作端末を呼び出したロボット１２のカメラ画像および当該ロボット１２に関する情報は取得されていないので、ロボットカメラ画像およびロボット情報の内容の表示は無い。ステップＳ１０３を終了すると、続くステップＳ１０５からＳ１１３の処理が一定時間ごとに繰り返し実行される。

ステップＳ１０５では、ロボット情報の受信および更新が行われる。すなわち、中央制御装置１６またはロボット１２からロボット情報を受信して、遠隔操作画面のロボット情報の表示を更新する。なお、ロボット情報を最初に表示する際には、当該ロボット１２の位置、名前、対話相手の情報などは中央制御装置１６から取得される。それ以降の画面を表示する際には、たとえば、地図表示のためのロボット１２および相手の位置情報は当該ロボット１２から取得され、他の人間の位置情報は中央制御装置１６から取得される。

また、ステップＳ１０７では、カメラ画像および音声の受信および更新が行われる。すなわち、ロボット１２から画像データを受信して、遠隔操作画面のロボットカメラ画像の表示を更新する。また、ロボット１２から音声データを受信して、スピーカから当該音声を出力する。

続いて、ステップＳ１０９では、操作コマンドの入力があったか否かを判断する。たとえば、入力装置からの入力データと操作パネルのボタン配置データとに基づいて、オペレータによって操作コマンドボタンが選択されたか否かが判断される。ステップＳ１０９で“ＮＯ”の場合、すなわち、操作コマンドの入力が無い場合には、ステップＳ１０５に戻る。

一方、ステップＳ１０９で“ＹＥＳ”の場合、すなわち、操作コマンドの入力があった場合には、ステップＳ１１１で、選択された操作コマンドを特定し、当該操作コマンドをロボット１２に送信する。

そして、ステップＳ１１３で、遠隔操作終了要求があったか否かを判定する。つまり、ステップＳ１０９で入力された操作コマンドが遠隔操作の終了を指示するコマンドであったか否かを判断する。ステップＳ１１３で“ＮＯ”の場合、すなわち、終了コマンドが入力されていない場合には、ステップＳ１０５に戻る。一方、ステップＳ１１３で“ＹＥＳ”の場合、すなわち、オペレータによって終了が指示された場合には、この遠隔操作処理を終了する。

このように、遠隔操作画面には、ロボットカメラ画像やロボット情報などがリアルタイムで表示されるので、オペレータは、ロボット１２の状況を容易に把握することができ、必要に応じてロボット１２を遠隔操作する操作コマンドを適切に入力することができる。

この実施例によれば、ロボット１２からの呼出要求があったときに、操作端末１８（オペレータ）を呼び出して、当該ロボット１２の操作権を当該操作端末１８に与えて、遠隔操作を行わせるようにしたので、ロボット遠隔操作システム１０はロボット１２の数よりも少数の操作端末１８を備えるだけで足りる。したがって、ロボット１２の台数よりも少数の操作端末１８によって遠隔操作を行うことができるので、効率のよいロボット遠隔操作システム１０を実現することができる。また、中央制御装置１６によって複数のロボット１２および複数の操作端末１８から情報を取得して記憶するようにしたので、ロボット１２からの呼び出しがあった場合には、利用可能な操作端末１８を容易に選択することができる。さらに、制約条件や希望条件を判定するようにしたので、自律制御のみでは対応が困難な事態になったロボット１２に最適な操作端末１８を選択することができ、したがって、より効率的に遠隔操作を行わせることが可能である。

なお、上述の実施例では、ロボット１２は予め設定したコミュニケーション行動を行うようにしたが、他の実施例では、オペレータが、遠隔操作画面でロボット１２の各モータ２６，４０，８４〜９２を個別に操作し、ロボット１２の動作を制御するようにしてもよい。

また、上述の各実施例では、遠隔操作画面上に操作パネルを表示してマウスクリック方式またはタッチパネル等でロボット１２の動作を指示するようにしたが、他の実施例では、操作端末１８に、操作スイッチまたはジョイスティックなどの操作部を表示装置とは別に設けて、当該操作部の操作でロボット１２の動作を指示するようにしてもよい。

また、上述の各実施例では、操作端末１８の遠隔操作画面のロボットカメラ画像には、ロボット１２の眼カメラ４８が撮影した画像を表示するようにしたが、これに限定されない。たとえば、ロボット１２の全方位カメラ４２が撮影した画像を表示するようにすれば、オペレータは、ロボット１２の全周囲の様子を確認し、より詳細にロボット１２の状況を把握することができるので、適切にロボット１２を遠隔操作することができる。また、ロボット１２の周囲に設けた天井カメラからの画像を表示するようにしてもよい。さらにまた、カメラ画像の表示は１つに限定されず、複数のカメラ画像を表示するようにしてもよい。

また、上述の各実施例では、遠隔操作対応モードにおいて、ロボット１２が発話する際には、予めメモリ７６に記憶した音声を自律制御または受信した操作コマンドに基づいて出力するようにした。しかし、他の実施例では、操作端末１８にオペレータの声（音声）を入力するマイクを設け、オペレータの入力音声をロボット１２に送信してスピーカ６６から出力することにより、オペレータがロボット１２の対話相手と直接会話できるようにしてもよい。

また、上述の各実施例では、中央制御装置１６が遠隔操作の開始を指示する際には、ステップＳ１１でロボットｉに操作端末ｊを紹介するとともに、ステップＳ１３で操作端末ｊにロボットｉの遠隔操作を依頼するようにいた。しかし、他の実施例では、中央制御装置１６がロボットｉに利用可能な操作端末ｊの情報（アドレスまたは識別情報等）を送信し、これに応じてロボットｉが操作端末ｊに遠隔操作を依頼するようにしてもよい。これによって、ロボットｉは、位置情報、対話相手の情報、カメラ画像情報もしくは音声情報など必要な情報を操作端末ｊに送信することができる。あるいは、他の実施例では、中央制御装置１６が操作端末ｊにロボットｉの情報（アドレスまたは識別情報等）を送信し、これに応じて操作端末ｊがロボットｉに、位置情報、対話相手情報、カメラ画像情報もしくは音声情報などの必要な情報の送信を要求するようにしてもよい。

また、上述の各実施例では、中央制御装置１６がロボット１２に操作端末１８（オペレータ）を紹介した後、ロボット１２と操作端末１８とがネットワーク１００を介して情報の送受信を行うようにした。しかし、他の実施例では、ロボット１２と操作端末１８との間の情報の送受信は、中央制御装置１６を介して行うようにしてもよい。

また、上述の各実施例では、遠隔操作対応モードにおいて、ロボット１２の動作は基本的に自律制御され、操作コマンドを受信したときに、当該操作コマンドに基づいて制御されるようにした。つまり、オペレータによる完全な遠隔操作が行われるのではなく、オペレータが必要と判断した場合にロボット１２が遠隔操作に基づいて動作を行うようにした。しかし、他の実施例では、ロボット１２がオペレータ呼出要求を送信して中央制御装置１６から操作端末１８の紹介を受けたときに、当該ロボット１２を自律制御モードから完全な遠隔制御モードに移行させるようにしてもよい。すなわち、オペレータによる遠隔操作にロボット１２の動作制御を完全に委ねさせるようにしてもよい。

この発明の一実施例のロボット遠隔操作システムの概要を示す図解図である。 図１のロボットの外観を正面から見た図解図である。 図１のロボットの電気的な構成を示すブロック図である。 図１の中央制御装置のデータベースに記憶されるロボット情報テーブルの一例を示す図解図である。 図１の中央制御装置のデータベースに記憶されるオペレータ端末情報テーブルの一例を示す図解図である。 図１の操作端末の表示装置に表示される遠隔操作画面の一例を示す図解図である。 図１の中央制御装置のＣＰＵによって実行される全体処理の動作の一例を示すフロー図である。 図７の端末選択処理の動作の一例を示すフロー図である。 図１のロボットのＣＰＵによって実行される遠隔操作対応処理の動作の一例を示すフロー図である。 図１の操作端末のＣＰＵによって実行される遠隔操作処理の動作の一例を示すフロー図である。

符号の説明

１０ …ロボット遠隔操作システム
１２，１４ …コミュニケーションロボット
１６ …中央制御装置
１８ …操作端末
３２ …超音波距離センサ
４２ …全方位カメラ
４６ …マイク
４８ …眼カメラ
５８ …タッチセンサ
７２ …ＣＰＵ
７６ …メモリ
７８ …モータ制御ボード
８０ …センサ入力／出力ボード
８２ …音声入力／出力ボード
９４ …通信ＬＡＮボード
９６ …無線通信装置
９８ …無線タグ読取装置
１００ …ネットワーク

Claims (6)

1. ネットワークに接続された複数のロボット、中央制御装置および複数の操作端末を含むロボット遠隔操作システムであって、
   前記複数のロボットのそれぞれは、自律制御可能なロボットであり、
   センサ、および
   前記センサによって検出された情報に基づいて呼出条件が満足されるとき、オペレータを呼び出す要求を前記中央制御装置に送信するオペレータ呼出手段を備え、
   前記中央制御装置は、
   少なくとも使用状態を含む各前記操作端末に関する情報を記憶する端末情報記憶手段、
   前記オペレータ呼出手段による前記要求を受信したとき、少なくとも前記端末情報記憶手段の情報に基づいて利用可能な前記操作端末を選択する選択手段、および
   前記選択手段によって選択された前記操作端末および前記要求を送信した要求ロボットの少なくとも一方に、遠隔操作開始のための情報を送信する開始送信手段を備え、
   前記複数の操作端末のそれぞれは、
   前記開始送信手段による送信に応じて、遠隔操作のための情報を出力する第１出力手段、および
   オペレータの入力に応じて操作情報を前記要求ロボットに送信する操作情報送信手段を備え、
   前記複数のロボットのそれぞれは、前記操作情報送信手段による前記操作情報を受信したとき、当該操作情報に基づいて動作を制御する遠隔制御手段をさらに備える、ロボット遠隔操作システム。
2. 前記中央制御装置は、各前記ロボットに関する情報を記憶するロボット情報記憶手段をさらに備え、
   前記選択手段は、前記ロボット情報記憶手段に記憶された前記要求ロボットの情報と前記端末情報記憶手段の情報とに基づいて選択条件を満足する前記操作端末を選択する、請求項１記載のロボット遠隔操作システム。
3. 前記ロボット情報記憶手段は、各前記ロボットの対話相手に関する情報を記憶していて、
   前記端末情報記憶手段は、各前記操作端末のオペレータに関する情報を記憶していて、
   前記選択手段は、前記要求ロボットの対話相手の情報と前記各操作端末のオペレータの情報とに基づいて前記選択条件を満足する前記操作端末を選択する、請求項２記載のロボット遠隔操作システム。
4. 前記中央制御装置は、前記選択手段によって選択可能な前記操作端末が存在しないとき、前記要求ロボットにエラーを送信するエラー応答手段をさらに備え、
   各前記ロボットは、前記エラー応答手段による前記エラーを受信したとき、エラー対応処理を実行するエラー対応手段をさらに備える、請求項１ないし３のいずれかに記載のロボット遠隔操作システム。
5. 前記第１出力手段は、前記要求ロボットの前記センサによって検出された情報を含む遠隔操作画面を表示する表示手段を含む、請求項１ないし４のいずれかに記載のロボット遠隔操作システム。
6. 各前記ロボットの前記センサはマイクを含み、
   各前記操作端末は、前記開始送信手段による送信に応じて、前記要求ロボットの前記マイクで取得された音声を出力する音声出力手段をさらに備える、請求項１ないし５のいずれかに記載のロボット遠隔操作システム。

Images