JP4517085B2 - ロボット遠隔制御システム - Google Patents

Description

この発明はロボット遠隔制御システムに関し、特にたとえば、ロボットと遠隔制御装置とを含み、ロボットの周囲の様子を表示する、ロボット遠隔制御システムに関する。

この種の従来のロボット遠隔操作システムの一例が非特許文献１に開示される。この非特許文献１では、人間型ロボットＨＲＰ−１Ｓを遠隔操作し、着座して運転を行うタイプの建設機械の代行運転操作を行うシステムが紹介される。ロボットが操作される可搬型遠隔操作装置では、操作者の前方に３つのディスプレイが設置され、操作者はこれらのディスプレイの少なくとも１つに表示されるロボット搭載カメラからの映像を見ながら、ロボットを操作する。

また、非特許文献２では、ロボットに対する遠隔操作プラットフォームとして『スーパーコックピット』と呼ばれるシステムが紹介されている。このシステムでは、ロボットの頭部には内蔵ステレオカメラのほか計８つのＣＣＤカメラが設けられ、水平視野角１５０度、垂直視野角１１７度をカバーする９面の大型スクリーンが操作者の前方に設けられ、そのスクリーンにロボットの視点からの３次元映像が表示される。
"プレス・リリース （４）人間型ロボットによる建設機械の代行運転の実現"、ホーム＞プレス・リリース＞働く人間型ロボット、［online］、2002年4月10日、産業技術総合研究所、［平成１６年３月１６日検索］、インタネット＜ＵＲＬ：http://www.aist.go.jp/aist_j/press_release/pr20020410/hrp/pr20020410_4.html＞ "ＭＳＴＣ、人間協調・共存型ロボットの研究プロジェクトのプラットフォームを公開"、ＡＳＣＩＩ２４／ニュース／テクノロジー／デバイス、［online］、2000年4月7日、アスキー株式会社、［平成１６年３月１３日検索］、インタネット＜ＵＲＬ：http://ascii24.com/news/i/tech/article/2000/04/07/608220-000.html＞

上述の非特許文献１および２のシステムでは、いずれも、ロボットの前方の眺めを操作者の前方に設けたディスプレイまたはスクリーンに表示するだけである。したがって、操作者はロボットの前方以外の周囲の様子を見るためには、たとえばロボットを移動または旋回させてカメラの視野範囲を変更しなければならなかったので、操作が面倒であった。また、この場合、周囲の状況が把握できていないので、周囲の危険度も分からず、ロボットの操作に危険性があった。特にコミュニケーションロボット等のように周りに人間が存在する可能性が高い場合には、周囲の状況を把握できていないと人間とぶつかってしまうおそれが強かった。

それゆえに、この発明の主たる目的は、ロボットを操作し易い、ロボット遠隔制御システムを提供することである。

この発明の他の目的は、安全性を向上できる、ロボット遠隔制御システムを提供することである。

請求項１の発明は、身振りおよび音声の少なくとも一方を用いてコミュニケーションを図る機能を備え、胴体部と、その上方に設けられる頭部と、頭部に設けられ、当該コミュニケーションロボットに接近した人や物体等を撮影して映像信号を取り込む眼カメラとを含むコミュニケーションロボットと、コミュニケーションロボットを遠隔制御するための遠隔制御装置とを含むロボット遠隔制御システムであって、コミュニケーションロボットは、眼カメラとは別に設けられ、当該コミュニケーションロボットの存在する環境や周囲の状況を確認するために、当該コミュニケーションロボットの周囲の全方位視覚情報を取得する全方位視覚センサと、全方位視覚センサで取得した全方位視覚情報を受けてその全方位視覚情報を遠隔制御装置へ送信する第１送信手段と、遠隔制御装置から送信された操作入力情報を受信する第１受信手段と、第１受信手段で受信した操作入力情報に基づいて当該コミュニケーションロボットの動作を制御する制御手段とを含み、制御手段によってコミュニケーションロボットの動作を制御する前に、全方位視覚センサで取得した全方位視覚情報を第１送信手段によって送信し、遠隔制御装置は、第１送信手段によって送信された視覚情報を受信する第２受信手段と、人間がその内部に入れる大きさを有する球面スクリーンを含み、球面スクリーンの内面で、受信した全方位視覚情報に基づいて全方位画像を表示する全方位表示手段と、球面スクリーンの内部空間に配置され、内部空間に入った操作者によって操作される操作手段と、操作手段の操作による操作入力情報をロボットへ送信する第２送信手段とを含み、操作者は球面スクリーン内にいて、球面スクリーンに表示された全方位画像を見ながら操作手段を操作するようにした、ロボット遠隔制御システムである。

請求項１の発明では、ロボット遠隔制御システムは、コミュニケーションロボットと遠隔制御装置とを含む。コミュニケーションロボットは、身振りおよび音声の少なくとも一方を用いてコミュニケーションを図る機能を備え、胴体部と、その上方に設けられる頭部と、頭部に設けられる眼カメラを備え、この眼カメラは、コミュニケーションロボットに接近した人の顔や他の部分ないし物体等を撮影して映像信号を出力する。コミュニケーションロボットは、またこの眼カメラとは別に、全方位視覚センサを含み、この全方位視覚センサは当該ロボットの周囲の全方位の視覚情報を取得する。第１送信手段は、全方位視覚センサで取得した全方位視覚情報を遠隔制御装置へ送信する。遠隔制御装置では第２受信手段が送信された全方位視覚情報を受信する。そして、全方位表示手段は、受信した全方位視覚情報に基づいて全方位画像を球面スクリーンの内面に表示する。球面スクリーンの内部空間に配置された操作手段は、操作者によって操作されるものであり、操作者は球面スクリーンの内部空間に入っている。したがって、操作者は、球面スクリーンの内部にいて、この全方位表示手段に表示されたロボットの周囲の全方位画像を見ながら、操作手段を操作することができる。そして、第２送信手段は、操作手段の操作による操作入力情報をロボットへ送信する。ロボットでは、第１受信手段が送信された操作入力情報を受信する。そして、制御手段は、受信した操作入力情報に基づいて当該ロボットの動作を制御する。したがって、請求項１の発明によれば、操作者は、遠隔制御装置の球面スクリーン内に居ながらにして、ロボットの全周囲の様子をロボットの視点から見渡すようにしてロボットを制御することができるので、ロボットを容易に操作することができる。また、ロボットは、制御手段によって操作入力情報に基づく当該ロボットの動作制御を行う前に、全方位視覚センサで取得した視覚情報を取得し、当該視覚情報を第１送信手段によって送信する。したがって、遠隔制御装置では、ロボットの行動が開始される前に、全方位表示手段によってロボットの周囲の全方位画像が球面スクリーンの内面に表示されるので、操作者はロボットを操作する前に、ロボットの存在する周囲の状況を確認することができるので、たとえばロボットが周囲の人間や物体とぶつかったり転倒したりすることを回避でき、安全性を向上できる。

請求項２の発明は、請求項１の発明に従属し、ロボットは、身振りおよび音声の少なくとも一方を用いてコミュニケーションを図る機能を備えたコミュニケーションロボットを含む。

請求項２の発明では、身振りおよび音声の少なくとも一方を用いてコミュニケーションを図る機能を備えたコミュニケーションロボットが適用され得る。したがって、請求項２の発明によれば、操作者はコミュニケーションロボットの視点からその全周囲の様子を見渡して操作できるので、ロボットの気持ちになって人間などとコミュニケーションを行うことができる。したがって、操作がし易く、しかもコミュニケーションし易い。

この発明によれば、ロボットに設けられた全方位視覚センサによって取得された全方位画像を、操作手段の配置される全方位表示手段に表示するようにしたので、操作者はロボットの存在する環境の全周囲を、そのロボットの視点から見渡して当該ロボットを制御することができる。したがって、操作者はあたかもロボットに乗り移ったような状態で操作することになるので、ロボットを容易に制御することができる。また、ロボットの周囲の状況を把握してから操作することができるので、安全性を向上できる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例の遠隔制御システム１０は、操作対象であるロボット１２と、このロボット１２を操作者１４が操作するための遠隔制御装置１６とを含む。

このロボット１２には円周方向３６０度の全方位の撮像が可能である全方位視覚センサ１８が設けられている。この全方位視覚センサ１８によって取得した全方位画像がロボット１２から遠隔制御装置１６へ送信され、遠隔制御装置１６では操作者１４にロボット１２の全周囲の様子を映し出す映像が提供されることとなる。

ロボット１２は、たとえば主として人間１などのコミュニケーションの対象とコミュニケーションすることを目的とした相互作用指向のコミュニケーションロボットであり、身振りおよび音声の少なくとも一方を用いて人間１とコミュニケーションを行う機能を備えている。

より詳しくは、図２を参照して、ロボット１２は台車２０を含み、この台車２０の下面にはロボット１２を移動させる車輪２２が設けられる。車輪２２は車輪モータ２４（図３参照）によって駆動され、台車２０すなわちロボット１２を前後左右任意の方向に動かすことができる。

なお、図２においては省略するが、台車２０の前面には衝突センサ２６（図３参照）が取り付けられ、この衝突センサ２６は台車２０への人や他の障害物の接触を検知する。つまり、ロボット１２の移動中に障害物との接触を検知すると、直ちに車輪２２の駆動を停止してロボット１２の移動を急停止させる。

台車２０の上には、多角形柱のセンサ取付パネル２８が設けられ、このセンサ取付パネル２８の各面には超音波距離センサ３０が取り付けられる。この実施例では２４個の超音波距離センサ３０が周囲３６０度にわたるように設けられる。この超音波距離センサ３０は、ロボット１２の周囲の主として人との距離を計測するものである。

また、台車２０の上には、さらに、その下部がセンサ取付パネル２８に囲まれて、ロボット１２の胴体が直立するように設けられる。この胴体は、下部胴体３２と上部胴体３４とによって構成され、下部胴体３２および上部胴体３４は、連結部３６によって互いに連結される。図示は省略するが、連結部３６には昇降機構が内蔵されていて、この昇降機構を用いることによって、上部胴体３２の高さすなわちロボット１２の背の高さを変化させることができる。昇降機構は、後述するように、腰モータ３８（図３参照）によって駆動される。

上部胴体３４のほぼ中央には、マイク４０が設けられる。マイク４０は、周囲の音、とりわけコミュニケーション対象である人の声を取り込む。なお、マイク４０の設置位置は上部胴体３４に限られず適宜変更され得る。

また、上部胴体３４のたとえば背面には、全方位の視覚情報を一度に検知できる全方位視覚センサ１８が棒状の取付具によって設けられ、ロボット１０の周囲の状況を撮像可能なように頭頂部よりも上方に配置される。全方位視覚センサ１８は、たとえば、周方向３６０度を映し出す双曲面鏡を円筒ガラスで支持する構造を有し、鏡面上の中心部には円筒ガラスによる内面反射を解消するための円錐状の突起が下向きに取り付けられる。突起の先の下方にはカメラ用ののぞき穴が設けられ、レンズを介してたとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラが設けられる。この全方位視覚センサ１８では、双曲面鏡で反射された周囲３６０度の画像がのぞき穴およびレンズを介してカメラによって取得される。円筒ガラスによる内面反射は鏡面上の突起によって解消することができるので、ゴースト画像を解消して実画像を取得することが可能である。この全方位視覚センサ１８はたとえばヴイストン株式会社（http://www.vstone.co.jp/）の製品を使用することができる。

上部胴体３４の両肩には、それぞれ、肩関節４２Ｒおよび４２Ｌによって、上腕４４Ｒおよび４４Ｌが胴体部分に対して変位自在に設けられる。肩関節４２Ｒおよび４２Ｌは３軸の自由度を有する。肩関節４２Ｒは、Ｘ軸、Ｙ軸およびＺ軸のそれぞれの軸廻りにおいて上腕４４Ｒの角度を制御できる。他方、肩関節４２Ｌは、Ａ軸、Ｂ軸およびＣ軸のそれぞれの軸廻りにおいて上腕４４Ｌの角度を制御できる。また、上腕４４Ｒおよび４４Ｌのそれぞれの先端には、１軸の肘関節４６Ｒおよび４６Ｌを介して、前腕４８Ｒおよび４８Ｌが設けられる。肘関節４６Ｒおよび４６ＬはそれぞれＷ軸およびＤ軸の軸廻りにおいて前腕４８Ｒおよび４８Ｌの角度を制御できる。また、前腕４８Ｒおよび４８Ｌのそれぞれの先端には、手５０Ｒおよび５０Ｌがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、球形に代えて人の手の形状をしたものを用いることも可能である。これら右腕および左腕の各関節における各軸はここでは図示しないモータによってそれぞれ制御される。すなわち、右腕および左腕のそれぞれ４個のモータが、図３において、それぞれ右腕モータ５２および左腕モータ５４として表される。

また、図２では省略するが、上部胴体３４の肩関節４２Ｒおよび４２Ｌを含む肩の部分や上述の上腕４４Ｒおよび４４Ｌならびに前腕４８Ｒおよび４８Ｌには、それぞれ、タッチセンサ５６（図３で包括的に示す）が設けられていて、これらのタッチセンサ５６は、人がロボット１０の当該各部位に触れたかどうかを検知する。

上部胴体３４の中央上方には、首関節５８を介して頭部６０が、人間の頭と同様に俯仰・回転可能に取付けられる。首関節５８は３軸の自由度を有し、Ｓ軸、Ｔ軸およびＵ軸の各軸廻りに角度制御可能である。この３軸の首関節５８は、３つのモータ、すなわち、図３に示す頭部モータ６２によって制御される。

また、頭部６０には、人の口に相当する位置にスピーカ６４が設けられる。スピーカ６４は、ロボット１２が、それの周辺の人に対して音声によってコミュニケーションを図るために用いられる。

また、頭部６０の前面の「目」に相当する位置には、２つの眼球部６６Ｒおよび６６Ｌが設けられる。眼球部６６Ｒおよび６６Ｌは、それぞれ眼カメラ６８Ｒおよび６８Ｌを含む。なお、眼球部６６Ｒと眼球部６６Ｌはまとめて眼球部６６で示すこともある。また、眼カメラ６８Ｒと眼カメラ６８Ｌは図３ではまとめて眼カメラ６８で示される。

眼カメラ６８は、ロボット１０に接近した人の顔や他の部分ないし物体等を撮影して、その映像信号を取り込む。眼カメラ６８としては、上述した全方位視覚センサ１８と同様のカメラを用いることができる。眼カメラ６８は眼球部６６内に固定され、眼球部６６は眼球支持部（図示せず）を介して頭部６０内の所定位置に俯仰・回転可能に取り付けられる。眼球支持部は、２軸の自由度を有し、α軸およびβ軸の各軸廻りに角度制御可能である。眼球部６６Ｒおよび６６Ｌの２軸の眼球支持部は、それぞれ２つのモータ、すなわち、図３に示す右眼球モータ７０および左眼球モータ７２によって制御される。

図３はロボット１２の電気的な構成を示すブロック図であり、この図３を参照して、ロボット１２はＣＰＵ７４を含む。ＣＰＵ７４はマイクロコンピュータ或いはプロセサとも呼ばれ、ロボット１２の全体的な制御を担当する。ＣＰＵ７４は、バス７６を介して、メモリ７８、モータ制御ボード８０、センサ入力／出力ボード８２、音声入力／出力ボード８４および通信ＬＡＮボード８６に接続される。

メモリ７８は、図示は省略するが、ＲＯＭもしくはＨＤＤおよびＲＡＭを含み、ＲＯＭやＨＤＤにはロボット１２の制御プログラムが予め記憶され、ＲＡＭはワークメモリやバッファメモリとして用いられる。制御プログラムは、たとえば各センサまたはカメラによる検知情報を検出するプログラム、外部のコンピュータすなわち遠隔制御装置１６の制御用コンピュータ９２と通信するためのプログラム、受信した操作入力情報に基づいてコミュニケーション行動や移動などの動作を制御するためのプログラム等を含む。メモリ７８にはまた、コミュニケーション行動などの動作を実行するためのデータが記憶され、そのデータは、たとえば、個々の行動を実行する際に、スピーカ６４から発生すべき音声または声の音声データ（音声合成データ）、および所定の身振りを提示するための角度データ等を含む。なお、所定のコミュニケーション行動などの各動作の角度データおよび音声データ等は、それぞれの識別子に対応付けられてメモリ７８に記憶されている。

ロボット１２は、所定のコミュニケーション行動の一例として次に挙げるような種々の行動を取ることが可能である。たとえば、「こんにちは」と話しかける。「握手しよう」と言って一方の腕を前方に差し出す。「抱っこしてね」と言って両腕を広げ、前方で輪をつくって抱きつく。

モータ制御ボード８０は、たとえばＤＳＰで構成され、各腕や頭部および眼球部等の各モータの駆動を制御する。すなわち、モータ制御ボード８０は、ＣＰＵ７４からの制御データを受け、右眼球部６６Ｒの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「右眼球モータ」として示す。）７０の回転角度を制御する。同様に、モータ制御ボード８０は、ＣＰＵ７４からの制御データを受け、左眼球部６６Ｌの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「左眼球モータ」として示す。）７２の回転角度を制御する。また、モータ制御ボード８０は、ＣＰＵ７４からの制御データを受け、右肩関節４２Ｒの３軸のそれぞれの角度を制御する３つのモータと右肘関節４６Ｒの１軸の角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「右腕モータ」として示す。）５２の回転角度を調節する。同様に、モータ制御ボード８０は、ＣＰＵ７４からの制御データを受け、左肩関節４２Ｌの３軸のそれぞれの角度を制御する３つのモータと左肘関節４６Ｌの１軸の角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「左腕モータ」として示す。）５４の回転角度を調整する。さらに、モータ制御ボード８０は、ＣＰＵ７４からの制御データを受け、首関節５８の３軸のそれぞれの角度を制御する３つのモータ（図３では、まとめて「頭部モータ」として示す。）６２の回転角度を制御する。さらにまた、モータ制御ボード８０は、ＣＰＵ７４からの制御データを受け、腰モータ３８および車輪２２を駆動する２つのモータ（図３では、まとめて「車輪モータ」と示す。）２４の回転角度を制御する。

なお、この実施例の上述のモータは、車輪モータ２４を除いて、制御を簡単化するためにそれぞれステッピングモータ或いはパルスモータであるが、車輪モータ２４と同様に、直流モータであってもよい。

センサ入力／出力ボード８２も、同様に、ＤＳＰで構成され、各センサやカメラからの信号を取り込んでＣＰＵ７４に与える。すなわち、全方位視覚センサ１８からの映像信号が、必要に応じてこのセンサ入力／出力ボード８２で所定の処理を施された後、ＣＰＵ７４に入力される。また、超音波距離センサ３０のそれぞれからの反射時間（距離情報）に関するデータがこのセンサ入力／出力ボード８２を通してＣＰＵ７４に入力される。眼カメラ６８からの映像信号も、同様に、必要に応じて所定の処理を施された後、ＣＰＵ７４に入力される。また、複数のタッチセンサ５６からの信号がセンサ入力／出力ボード８２を介してＣＰＵ７４に与えられる。さらに、衝突センサ２６からの信号も、同様に、ＣＰＵ７４に与えられる。

音声入力／出力ボード８４も、同様に、ＤＳＰで構成され、ＣＰＵ７４から与えられる音声合成データに従った音声または声がスピーカ６４から出力される。また、マイク４０からの音声入力が、音声入力／出力ボード８２を介してＣＰＵ７４に取り込まれる。

通信ＬＡＮボード８６も、同様に、ＤＳＰで構成され、無線通信装置８８と接続される。通信ＬＡＮボード８６および無線通信装置８８は、図示しない無線ＬＡＮアクセスポイントを介してＬＡＮ、インタネットのようなネットワーク９０（図１）に接続される。ロボット１２はこの実施例ではネットワーク９０を介して遠隔制御装置１６と通信を行うことができる。具体的には、通信ＬＡＮボード８６は、全方位視覚センサ１８によって検知した視覚情報を遠隔制御装置１６に送信させる。また、通信ＬＡＮボード８６は遠隔制御装置１６から制御情報を受信して、受信したデータをＣＰＵ７４に与える。なお、ロボット１２と遠隔制御装置１６とが無線により直接通信するように構成してもよい。

図１に戻って、遠隔制御装置１６は操作者１４がロボット１２の遠隔操作を行うためのインタフェースであり、この装置１６の全体的な動作を制御する制御用コンピュータ９２を含む。この制御用コンピュータ９２には、操作者によって実際に操作される操作部９４が接続される。また、この遠隔制御装置１６は、離れたところにいるロボット１２の全周囲の映像を操作者１４に提示する全方位ディスプレイとしても機能するものである。全方位ディスプレイは、没入型ディスプレイの１つであり、たとえば「Personal Omnidirectional Visualizer」（http://ed-02.ams.eng.osaka-u.ac.jp/orig/homepages2/japanese/projects/key_devices/html/pov.htm）が適用される。つまり、遠隔制御装置１６は、人間がその内部に入れる大きさ（たとえば直径２ｍ程度）を有しその内面が全面スクリーンとなるＦＲＰ製等の球面スクリーン９６を含む。この球面スクリーン９６の内部空間にはステンレス製等の半球ミラー９８およびプロジェクタ１００が設けられる。

制御用コンピュータ９２はＰＣやワークステーション等であってよい。制御用コンピュータ９２は、図示は省略するがＣＰＵを含み、ＣＰＵにはメモリや入出力インタフェース等が接続され、さらに入出力インタフェースを介して操作部９４、プロジェクタ１００および通信装置等が接続される。メモリにはこの制御用コンピュータ９２の動作を制御するためのプログラムおよび必要なデータが記憶される。プログラムは、たとえば操作部９４からの操作入力を検出するプログラム、ロボット１２と通信するためのプログラム、プロジェクタ１００を用いて画像を表示させるためのプログラム等を含む。この制御用コンピュータ９２は入出力インタフェースおよび通信装置を介してたとえばインタネットのようなネットワーク９０と接続されており、ロボット１２との間でデータを送受信することができる。具体的には、制御用コンピュータ９２は、操作部９４からの操作入力データを含む制御情報をロボット１２に送信する。また、制御用コンピュータ９２は、ロボット１２からの全方位画像データを含む視覚情報を受信する。

操作部９４は、操作者１４によって操作される操作スイッチ、操作ボタンまたはジョイスティックなどの手段を含む。操作部９４は、球面スクリーン９６の内部空間に配置され、つまり、全方位画像を見ることができる位置に配置される。ただし、操作部９４は、操作者１４によって持ち運び可能または携帯可能に形成されてよいし、球面スクリーン９６内に固定的に設けられてもよい。また、操作部９４は制御用コンピュータ９２に有線または無線のどちらで接続されてもよい。操作部９４は操作者１４による操作に応じた操作入力信号を制御用コンピュータ９２に与える。操作者１４はこの操作部９４を操作することによって、ロボット１２を操作することができる。たとえば、ロボット１２の各関節の各軸の角度や車輪モータ２４による移動などを制御することができる。あるいは、予め設定しておいた身振りや発話を含む所定のコミュニケーション行動を実行させることも可能である。

プロジェクタ１００は球面スクリーン９６内においてたとえば操作者１４の座る椅子の背後などの所定位置に配置される。半球ミラー９８は球面スクリーン９６の上方の内面の所定位置に設置される。プロジェクタ１００は、制御用コンピュータ９２と有線または無線で接続されており、制御用コンピュータ９２によって画像データが与えられる。この画像データは、ロボット１２に設けられた全方位視覚センサ１８によって取得されたロボット１２の周囲の全方位画像である。プロジェクタ１００は、与えられた画像データに基づいてその画像（全方位画像）を半球ミラー９８へ投影する。そして、半球ミラー９８によって反射された投影光は球面スクリーン９６の内面に映し出される。すなわち、球面スクリーン９６には、ロボット１２の周方向３６０度の眺めがそのまま表示される。したがって、操作者１４は、自分の周囲３６０度の球面スクリーン９６に映し出された、ロボット１２の周方向３６０度の全方位画像を見ながら操作部９４を操作して、ロボット１２を操作することができる。

なお、半球ミラー９８とプロジェクタ１００の配置は球面スクリーン９６上の解像度が最適になるように調整されている。また、球面スクリーン９６に映し出される投影画像に歪が生じないように、制御コンピュータ９２ではロボット１２からの画像情報を補正するようにしている。つまり、球面スクリーン９６には、ロボット１２の周囲の眺めがそのまま、歪なく映し出される。

この遠隔制御システム１０では、ロボット１２と遠隔制御装置１６とは互いに離れた場所に配置される。ロボット１２は、たとえば会議場、仕事場、あるいは観光地などの、操作者１４が行けない場所に代わりに配置される。そして、操作者１４は遠隔制御装置１６の球面スクリーン９６内に入ってロボット１２の操作を行う。操作者１４は、ロボット１２に設けられた全方位視覚センサ１８によって取得されて球面スクリーン９６に映し出される画像から、ロボット１２の存在する場の状況を視覚的に体験することができる。

ロボット１２の遠隔操作を行う際には、操作入力に基づいたコミュニケーション行動などの動作を開始する前に、まず、ロボット１２（ＣＰＵ７４）が、全方位視覚センサ１８でロボット１２の周囲の全方位画像を取得する。そして、ロボット１２は取得した全方位画像データを遠隔制御装置１６の制御用コンピュータ９２へ送信する。この全方位画像の取得および送信はたとえば一定周期で繰り返し実行される。

ロボット１２のデータ送信に応じて、制御用コンピュータ９２は全方位画像データを受信する。そして、制御用コンピュータ９２は受信した全方位画像データを補正し、その画像データをプロジェクタ１００に与える。プロジェクタ１００は与えられた画像データに基づいてその画像を半球ミラー９８に投影する。

このようにして、球面スクリーン９６には、ロボット１２の全方位視覚センサ１８で取得したロボット１２の周囲の全方位の映像がリアルタイムで映し出される。したがって、操作者１４は球面スクリーン９６に映し出されるロボット１２の全周囲の様子をリアルタイムで見渡すことができるとともに、ロボット１２の周りの環境をリアルタイムで見ながらロボット１２の操作を行うことができる。

制御用コンピュータ９２は操作部９２からの操作入力があったとき、操作入力データを検出する。そして、制御用コンピュータ９２は操作入力データを含む制御情報をロボット１２に送信する。たとえば、操作者１４がロボット１２の各部位などを直接操作した場合には、各モータの角度制御データを含む操作入力データが送信される。また、所定のコミュニケーション行動の実行を指示する操作が行われた場合には、その行動の識別子を含む操作入力データが送信される。

制御用コンピュータ９２のデータ送信に応じて、ロボット１２は制御情報を受信する。そして、ロボット１２は制御情報（操作入力データ）に基づいて、その動作を制御する。たとえば、各モータの制御データを受信した場合には、ロボット１２のＣＰＵ７４は、そのデータに基づいて各モータを制御して、各部位または車輪２２等を動作させる。また、所定のコミュニケーション行動の実行指示データを受信した場合には、ロボット１２のＣＰＵ７４は、識別子に基づいてメモリ７８から該当するコミュニケーション行動を実行するためのデータを読み出してその行動を実行し、各部位等を動作させたりスピーカ６４から所定の音声を出力させたりする。

このようにして、操作者１４は球面スクリーン９６に映されたロボット１２の全周囲の環境をロボット１２の視点から見渡してロボット１２の操作を行うことができる。したがって、操作者１４は、まるでロボット１２の居る場所に存在するような感覚で、あるいは、あたかもロボットに乗り移ったような状態で操作することになるので、ロボット１２を容易に操作することができる。

また、ロボット１２が行動を開始する前に、まず全方位画像を取得して全方位ディスプレイに表示するようにしているので、操作者１４は、操作部９４を操作してロボット１２を実際に移動させたり周囲の状況確認のために旋回させたりあるいはコミュニケーション行動を実行させたりする前に、ロボット１２の存在する環境や周囲の状況を確認することができる。したがって、たとえばロボット１２が周囲の人間や物体とぶつかってしまうことや、転倒なども回避することができ、安全性を向上することができる。

さらにまた、ロボット１２がコミュニケーションロボットである場合には、操作者１４は全方位ディスプレイの空間の中でロボット１２の視点からの全周囲の映像を見渡してロボット１２を操作することができるので、自分があたかもロボット１２になったかのように、ロボット１２の気持ちになって人間などとコミュニケーションを行うことができる。したがって、操作がし易く、しかもコミュニケーションがし易くなる。

図４にはこの遠隔制御システム１０の動作が示される。この図４を参照して、ロボット１２のＣＰＵ７４は、まず、ステップＳ１で、全方位視覚センサ１８で検出した全方位画像をセンサ入力／出力ボード８２を介して取得してメモリ７８に一時記憶する。次に、ステップＳ３で、ロボット１２は、取得した全方位画像データを通信ＬＡＮボード８６および無線通信装置８８を用いてネットワーク９０を介して遠隔制御装置１６へ送信する。

これに応じて、ステップＳ２１で、遠隔制御装置１６の制御用コンピュータ９２のＣＰＵは、全方位画像データを受信してメモリに一時記憶する。そして、ステップＳ２３で、全方位画像を投影する。具体的には、制御用コンピュータ９２は、受信した全方位画像データを補正してからプロジェクタ１００にその全方位画像データを与え、プロジェクタ１００によってその全方位画像を半球ミラー９８に投影させる。これによって、球面スクリーン９６の内面には全方位画像が映し出される。

続いて、制御用コンピュータ９２は、操作部９４からの操作入力があった場合、ステップＳ２５で、操作入力データを検出してメモリに一時記憶する。そして、ステップＳ２７で、操作入力データを含む制御データをネットワーク９０を介してロボット１２へ送信する。

これに応じて、ステップＳ５で、ロボット１２は、無線通信装置８８および通信ＬＡＮボード８６を用いて操作入力データを受信してメモリ７８に一時記憶する。そして、ステップＳ７で、ロボット１２は、受信した操作入力データに基づいて動作を制御する。たとえば、操作入力データがコミュニケーション行動の実行指示データであった場合には、ＣＰＵ７４は、当該コミュニケーション行動の識別子に基づいて、メモリ７８から該当する角度制御データおよび音声データを読み出して、モータ制御ボード８０を介して各モータを制御するとともに、音声入力／出力ボード８４を介してスピーカ６４からその音声を出力する。一方、操作入力データが直接入力された角度制御データであった場合は、ＣＰＵ７４は、その角度制御データに基づいてモータ制御ボード８０を介して各モータを制御する。

また、遠隔制御装置１６の制御用コンピュータ９２では、ステップＳ２９で終了と判断されるまで、ステップＳ２１からステップＳ２７の処理を繰り返す。たとえば操作者１４が遠隔操作の終了を指示する操作をした場合等にステップＳ２９で“ＹＥＳ”と判断される。また、ロボット１２では、ステップＳ９で終了と判断されるまでステップＳ１からステップＳ７の処理を繰り返す。たとえば制御用コンピュータ９２から終了を指示する操作入力データを受信した場合等にステップＳ９で“ＹＥＳ”と判断される。

この発明の一実施例の遠隔制御システムの概要を示す図解図である。 図１のロボットの一例を示す外観図である。 図２のロボットの電気的構成を示すブロック図である。 図１実施例の遠隔制御システムの動作を示すフロー図である。

符号の説明

１０ …ロボット遠隔制御システム
１２ …ロボット
１６ …遠隔制御装置
１８ …全方位視覚センサ
７４ …ＣＰＵ
７８ …メモリ
８０ …モータ制御ボード
８２ …センサ入力／出力ボード
８４ …音声入力／出力ボード
８６ …通信ＬＡＮボード
９２ …制御用コンピュータ
９４ …操作部
９６ …球面スクリーン
９８ …半球ミラー
１００ …プロジェクタ

Claims (1)

1. 身振りおよび音声の少なくとも一方を用いてコミュニケーションを図る機能を備え、胴体部と、その上方に設けられる頭部と、前記頭部に設けられ、当該コミュニケーションロボットに接近した人や物体等を撮影して映像信号を取り込む眼カメラとを含むコミュニケーションロボットと、前記コミュニケーションロボットを遠隔制御するための遠隔制御装置とを含むロボット遠隔制御システムであって、
   前記コミュニケーションロボットは、
   前記眼カメラとは別に設けられ、当該コミュニケーションロボットの存在する環境や周囲の状況を確認するために、当該コミュニケーションロボットの周囲の全方位視覚情報を取得する全方位視覚センサと、
   前記全方位視覚センサで取得した全方位視覚情報を受けてその全方位視覚情報を前記遠隔制御装置へ送信する第１送信手段と、
   前記遠隔制御装置から送信された操作入力情報を受信する第１受信手段と、
   前記第１受信手段で受信した操作入力情報に基づいて当該コミュニケーションロボットの動作を制御する制御手段とを含み、前記制御手段によって前記コミュニケーションロボットの動作を制御する前に、前記全方位視覚センサで取得した全方位視覚情報を前記第１送信手段によって送信し、
   前記遠隔制御装置は、
   前記第１送信手段によって送信された前記全方位視覚情報を受信する第２受信手段と、
   人間がその内部に入れる大きさを有する球面スクリーンを含み、前記球面スクリーンの内面で、前記第２受信手段によって受信した前記全方位視覚情報に基づいて全方位画像を表示する全方位表示手段と、
   前記球面スクリーンの内部空間に配置され、前記内部空間に入った操作者によって操作される操作手段と、
   前記操作手段の操作による操作入力情報を前記ロボットへ送信する第２送信手段とを含み、
   前記操作者は前記球面スクリーン内にいて、前記球面スクリーンに表示された全方位画像を見ながら前記操作手段を操作するようにした、ロボット遠隔制御システム。

Images