JP6678832B2 - 遠隔制御マニピュレータシステムおよび制御装置 - Google Patents

Description

本発明は、マニピュレータを遠隔制御する遠隔制御マニピュレータシステムおよび制御装置に関する。

ロボット技術が進歩し、静的な環境（定位置に置かれた、既知モデル）で使用されるロボットまたは自動化機械から、動的な環境（位置が不確定で、未知モデル）で操作対象物を操作できるロボットの開発が進んでいる。様々な状況に対応可能とするため、カメラやレーザレンジファインダーを併用した物体の自動認識機能と自律判断機能、および、複数軸で計測可能な力センサを利用した力覚制御機能を有するロボットの開発が進められている。

ロボットの重要な利用ニーズとして、重大災害等で人を支援できるロボットの開発が日本のみならず世界的に進んできている。特に、複雑な多関節構造のロボットが開発されると予想されている。その中でも、遠隔制御でロボットを制御し、さらにハンド部分に高度な作業を実施させることが求められている。

従来のロボットハンドの遠隔制御は、ハンド側に圧力センサや力覚センサを多用している（特許文献１参照）。

特開２００９−６６６８３号

センサを多用するロボットハンドの遠隔制御システムでは、制御に必要な計算量が膨大になり、制御に使用する電子計算機に高性能なものを必要とする。また、制御のためのソフトウェア規模が大きくなり、開発が難しく多大なコストを要する。自律型のロボットハンドシステムでは、安定性と信頼性の課題が残されている。

この発明は上記の問題点を解決するためになされたものであり、簡素なシステム構成で、操作者がマニピュレータを従来よりも容易に遠隔制御できるようにすることを目的とする。

この発明に係る遠隔制御マニピュレータシステムは、操作者により遠隔制御されて物体を扱うマニピュレータと、マニピュレータが含まれる撮影画像を撮影するカメラと、マニピュレータの位置および姿勢を表す姿勢データを検出する姿勢センサと、マニピュレータが動くまたは静止する動作を指示する動作指示を操作者が入力する動作指示入力部と、動作指示からマニピュレータを制御する制御信号を生成する制御信号生成部、マニピュレータの構造を表すマニピュレータ構造データを記憶する構造データ記憶部、カメラの位置から見るマニピュレータのモデルの画像であるモデル画像をマニピュレータ構造データおよび姿勢データを参照して生成するモデル画像生成部、モデル画像と撮影画像とを重ね合わせて操作者に提示する提示画像を生成する提示画像生成部を有する制御装置と、提示画像を表示する表示装置とを備えたものである。
さらに、提示画像生成部は、モデル画像でマニピュレータが表示されている画素であって、かつ撮影画像においてマニピュレータが撮影されていない画素にモデル画像を表示し、その他の画素ではモデルを表示しないようにモデル画像と撮影画像とを重ね合わせて提示画像を生成する。
また、マニピュレータが物体と接触しているか接触していないかを表す触覚データを検出する触覚センサを備え、構造データ記憶部は、触覚センサの構造を表す触覚センサ構造データを記憶し、制御装置は、触覚センサ構造データおよび触覚データを参照して触覚センサが物体と接触していることを表す接触シンボルを含む触覚画像を生成する触覚画像生成部をさらに有し、提示画像生成部は、触覚画像も重ね合わせて提示画像を生成する。

この発明に係る制御装置は、操作者が動作指示入力部により入力する動作指示が入力されて、物体を扱うマニピュレータを制御する制御信号を生成する制御信号生成部と、マニピュレータの構造を表すマニピュレータ構造データを記憶する構造データ記憶部と、姿勢センサが検出するマニピュレータの位置および姿勢を表す姿勢データと、カメラが撮影するマニピュレータが含まれる撮影画像とが入力され、姿勢データおよび構造データ記憶部を参照してカメラの位置から見るマニピュレータのモデルの画像であるモデル画像を生成するモデル画像生成部と、モデル画像と撮影画像とを重ね合わせて操作者に提示する提示画像を生成する提示画像生成部とを備えたものである。
さらに、提示画像生成部は、モデル画像でマニピュレータが表示されている画素であって、かつ撮影画像においてマニピュレータが撮影されていない画素にモデル画像を表示し、その他の画素ではモデルを表示しないようにモデル画像と撮影画像とを重ね合わせて提示画像を生成する。
また、マニピュレータが物体と接触しているか接触していないかを表す触覚データを検出する触覚センサから触覚データが入力され、構造データ記憶部は、触覚センサの構造を表す触覚センサ構造データを記憶し、触覚センサ構造データおよび触覚データを参照して触覚センサが物体と接触していることを表す接触シンボルを含む触覚画像を生成する触覚画像生成部をさらに備え、提示画像生成部は、触覚画像も重ね合わせて提示画像を生成する。

この発明によれば、簡素なシステム構成で、操作者がマニピュレータを従来よりも容易に遠隔制御できる。

この発明の実施の形態１に係る遠隔制御マニピュレータシステムの概略構成を説明する図である。 実施の形態１に係る遠隔制御マニピュレータシステムの機能構成を説明するブロック図である。 実施の形態１に係る遠隔制御マニピュレータシステムで使用される人型ロボットの正面図と左側面図である。 実施の形態１に係る遠隔制御マニピュレータシステムで使用される人型ロボットの姿勢を表す姿勢データを例により説明する図である。 実施の形態１に係る遠隔制御マニピュレータシステムでオペレータに提示される提示画像を生成する過程の前半を例により説明する図である。 実施の形態１に係る遠隔制御マニピュレータシステムでオペレータに提示される提示画像を生成する過程の後半を例により説明する図である。 実施の形態１に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する手順を説明するフローチャートである。 人間の運動知覚システムのモデルの構成図である。 実施の形態１に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する場合に人間の運動知覚システムのモデルでの情報の流れを説明する図である。 この発明の実施の形態２に係る遠隔制御マニピュレータシステムの機能構成を説明するブロック図である。 実施の形態２に係る遠隔制御マニピュレータシステムで提示画像とともに触覚データに変化があることを音声で知らせる方法を例により説明する図である。 実施の形態２に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する手順を説明するフローチャートである。 この発明の実施の形態３に係る遠隔制御マニピュレータシステムの機能構成を説明するブロック図である。 実施の形態３に係る遠隔制御マニピュレータシステムで生成する動作指示アイコンを含む提示画像を例により説明する図である。 実施の形態３に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する手順を説明するフローチャートである。 この発明の実施の形態４に係る遠隔制御マニピュレータシステムの機能構成を説明するブロック図である。 実施の形態４に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する手順を説明するフローチャートである。 実施の形態４に係る遠隔制御マニピュレータシステムの変形例の機能構成を説明するブロック図である。 実施の形態４に係る遠隔制御マニピュレータシステムの変形例で人型ロボットを遠隔制御する手順を説明するフローチャートである。 この発明の実施の形態５に係る遠隔制御マニピュレータシステムの機能構成を説明するブロック図である。 実施の形態５に係る遠隔制御マニピュレータシステムが有する外骨格型の動作指示入力装置の構造を説明する図である。 実施の形態５に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する手順を説明するフローチャートである。 実施の形態５に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する際に抵抗力が発生している状態を示す図である。

実施の形態１．
図１は、この発明の実施の形態１に係る遠隔制御マニピュレータシステムの概略構成を説明する図である。図２は、実施の形態１に係る遠隔制御マニピュレータシステムの機能構成を説明するブロック図である。遠隔制御マニピュレータシステム１００は、人型ロボット１、現場カメラ２、制御装置３、オペレータ３０が装着するヘッドマウントディスプレイ４およびヘッドホン５、指示読取カメラ６Ａ、６Ｂを主に有して構成される。人型ロボット１は、オペレータ３０に遠隔制御されて物体を扱うマニピュレータである。現場カメラ２は、人型ロボット１が操作対象である物体２０を扱う様子を撮影する。制御装置３は、人型ロボット１を遠隔制御する。オペレータ３０は、人型ロボット１への動作指示を与える操作者である。指示読取カメラ６Ａ、６Ｂは、オペレータ３０の動作を動作指示として読み取るための２台のカメラである。オペレータ３０および人型ロボットがとる動作には、動きだけでなく指示された姿勢で静止することも含む。動作は、動きおよび静止のどちらか一方または両方を含むものである。人型ロボット１が物体２０を扱う場所を現場と呼ぶ。オペレータ３０が居る場所を指令所と呼ぶ。

人型ロボット１は、両腕および両脚を有する人型のロボットである。図では、脚の部分が無い状態で示している。発明の特徴を説明する上では簡単な動作の方がよいので、片腕をオペレータ３０の動作に合わせて動かして、物体２０を操作する場合で説明する。現場カメラ２は、人型ロボット１の頭部に設置している。現場カメラ２は、人型ロボット１の腕および手と物体２０が含まれる撮影画像５１を撮影するカメラである。現場カメラ２はマイク付であり、人型ロボット１の周囲で発生する音や、物体２０を操作する際に発生する音を検出する。

提示画像５０は、現場カメラ２で撮影された撮影画像５１に、人型ロボット１に装着された触覚センサ７などの各種センサからの情報を分かりやすく重ねて表示する画像である。提示画像５０を見ることで、オペレータ３０は、操縦している人型ロボット１の状況などを認識する。提示画像５０は、制御装置３が生成する。オペレータ３０は、頭部にヘッドマウントディスプレイ４とヘッドホン５を装着している。提示画像５０は、ヘッドマウントディスプレイ４に表示される。ヘッドホン５は、現場カメラ２のマイクが検出する音声を出力する。なお、オペレータ３０の判断で、現場の音声をヘッドホン５が出力しないようにできる。ヘッドマウントディスプレイ４は、提示画像５０を表示する表示装置である。ヘッドマウントディスプレイ４は、奥行きを知覚できるモニタでもよい。指令所の壁に設置された大型ディスプレイ、机上に置かれたディスプレイなどを表示装置として使用してもよい。ヘッドホン５は、オペレータ３０に聞こえる音を発生させる音発生部である。

制御装置３は、ＣＰＵ２１、メモリ部２２などを含む電子計算機により実装される。メモリ部２２は、ＣＰＵ２１で実行されるプログラムや処理に使用するデータあるいは処理の結果で得られるデータなどを記憶する。メモリ部２２は、フラッシュメモリのような半導体メモリおよびハードディスクである。メモリ部２２は、揮発性の記憶装置および不揮発性の記憶装置を含む。

人型ロボット１と制御装置３は、通信回線８を介して接続されて、互いに通信する。通信回線８により、制御装置３から人型ロボット１を制御する制御信号が送られる。人型ロボット１からは、姿勢データ５２、触覚データ５３や、撮影画像５１などが送信される。姿勢データ５２は、姿勢センサ９が検出する人型ロボット１の位置と姿勢を表すデータである。触覚データ５３は、触覚センサ７が検出するデータである。撮影画像５１は、現場カメラ２が撮影した画像である。通信回線８は、有線回線でも無線回線でもよく、公衆回線でも専用回線でもよい。用途に合わせた通信回線を使用する。人型ロボット１が物体２０を操作する現場と、オペレータ３０が居る指令所との間の距離は、任意である。距離は、何千ｋｍも離れていてもよいし、１ｍでもよい。制御装置３は、指令所がある建物に設置される。制御装置３を、指令所がある建物とは別の建物に設置してもよい。ヘッドマウントディスプレイ４および指示読取カメラ６Ａ、６Ｂと制御装置３との間は、ＬＡＮ１０で結ぶ。この明細書における遠隔制御とは、遠隔で機械を制御する方法で制御するという意味である。人型ロボット１などの機械と制御装置３の実際の距離は、遠隔でなくてもよい。

人型ロボット１は、骨格部１１、関節部１２、アクチュエータ１３、制御部１４、通信部１５を、主に有して構成される。関節部１２は、接続角度を変更可能に骨格部１１を接続する。アクチュエータ１３は、関節部１２を動かす力を出す。制御部１４は、アクチュエータ１３を制御する。通信部１５は、制御装置３と通信する。制御部１４には、制御信号から抽出された動作指示データ５４、姿勢データ５２および触覚データ５３が入力される。制御部１４は、動作指示データ５４、姿勢データ５２および触覚データ５３などを記憶する記憶部１６を有する。制御部１４は、姿勢データ５２が動作指示データ５４と一致するようにアクチュエータ１３を制御する。制御部１４による制御は、フィードバック制御でもよいし、低次自律運動判断による制御でもよい。なお、関節部にギヤを配置しモータにより関節部の回転角度を変化させるロボットの場合は、制御部は各関節部に配置されたモータを制御する。

人型ロボット１には、現場カメラ２、触覚センサ７および姿勢センサ９が装着される。現場カメラ２は、人型ロボット１の頭部に装着される。現場カメラ２は、頭部が向く方向を変更することで、画像を撮影する方向である撮影方向を変更できる。現場カメラ２は、画像を撮影する際の撮影方向、絞りや倍率などを含む撮影条件データ５５を、撮影した画像とともに制御部１４に出力する。撮影方向は、胴体部１１Ａに対する相対的な方向である。制御部１４は、通信部１５を介して撮影画像５１と撮影条件データ５５を制御装置３に送信する。触覚センサ７は、人型ロボット１の指先に装着される。触覚センサ７は、人型ロボット１の指と物体２０とが接触しているか接触していないかという状態を検出し、接触している場合には物体２０と指先との間に働く接触力の大きさも計測する。触覚センサ７が検出する状態を表し接触力を含む触覚データ５３は制御部１４に送られ、アクチュエータ１３を制御する上で使用される。触覚データ５３は、制御装置３に送られる。撮影画像５１および撮影条件データ５５と触覚データ５３は、制御部１４が有する記憶部１６に記憶される。撮影画像５１および撮影条件データ５５は、人型ロボット１の制御部１４とは別の制御装置が保存し、制御装置３に送信してもよい。記憶部１６は、制御部１４とは別に設けてもよい。

制御装置３は、通信部３１、構造データ記憶部３２、状態データ記憶部３３、モデル画像生成部３４、触覚画像生成部３５、提示画像生成部３６、動作指示データ生成部３７、制御信号生成部３８を主に有して構成される。通信部３１は、人型ロボット１などと通信する。構造データ記憶部３２は、人型ロボット１の構造を表すロボット構造データ８１などを記憶する。構造データ記憶部３２は、変化しないデータを記憶する。状態データ記憶部３３は、姿勢データ５２など変化するデータを記憶する。モデル画像生成部３４は、人型ロボット１の３次元モデル５６に基づくモデル画像５７を生成する。触覚画像生成部３５は、触覚データ５３を視覚的に表現する触覚画像５８を生成する。提示画像生成部３６は、オペレータ３０に提示する提示画像５０を生成する。動作指示データ生成部３７は、指示読取カメラ６Ａ、６Ｂが撮影した画像から動作指示データ５４を生成する。制御信号生成部３８は、動作指示データ５４を人型ロボット１に伝えるための制御信号を生成する。３次元モデル５６は、ロボット構造データ８１および姿勢データ５２などから人型ロボット１の姿勢に応じて作成される人型ロボット１の３次元モデルである。モデル画像５７は、３次元モデル５６を現場カメラ２の位置から見る画像である。

構造データ記憶部３２と状態データ記憶部３３は、ハードウェアとしてはメモリ部２２に対応する。通信部３１、モデル画像生成部３４、触覚画像生成部３５、提示画像生成部３６、動作指示データ生成部３７および制御信号生成部３８は、メモリ部２２に記憶した専用プログラムをＣＰＵ２１で実行させることにより実現する。

ロボット構造データ８１と姿勢データ５２とを参照して、３次元モデル５６およびモデル画像５７を生成する方法を説明する。図３は、人型ロボットの正面図と左側面図である。図３(A)が左側面図であり、図３(B)が正面図である。人型ロボット１は、骨格部１１として胴体部１１Ａ、上腕部１１Ｂ、前腕部１１Ｃ、手部１１Ｄ、頭部１１Ｅを有する。関節部１２として、肩関節部１２Ａ、肘関節部１２Ｂ、手首関節部１２Ｃ、首関節部１２Ｄを有する。手部１１Ｄは、５本の指を有する。各指は、３個の指関節部を有する。ここでは、簡単のために手部１１Ｄの可動部は動かないとして説明する。

人型ロボット１の各部の位置を表現する座標系として、ＵＶＷ座標系を定義する。人型ロボット１の左右方向をＵ軸とし、前後方向をＶ軸とし、上下方向をＷ軸とする。右手側から左手側に向かう方向をＵ軸の正の方向とし、前から後ろに向かう方向をＶ軸の正の方向とし、下から上に向かう方向をＷ軸の正の方向とする。腰付近の高さの水平面にある人型ロボット１の重心Ｐ_０をＵＶＷ座標の原点とする。胴体部１１Ａにおいて肩関節部１２Ａと重心Ｐ_０との位置関係は固定であり、右の肩関節部１２Ａの位置を表す点Ｐ_１の座標は、(-W1,D1,H1)とする。

棒状の上腕部１１Ｂの一端は、肩関節部１２Ａで胴体部１１Ａに接続する。肩関節部１２Ａは、胴体部１１Ａと上腕部１１Ｂの接続角度を変更可能にする。上腕部１１Ｂの他端は、肘関節部１２Ｂで棒状の前腕部１１Ｃの一端と接続する。肘関節部１２Ｂは、上腕部１１Ｂと前腕部１１Ｃの接続角度を変更可能にする。前腕部１１Ｃの他端には手首関節部１２Ｃが設けられる。手首関節部１２Ｃは、手部１１Ｄを前腕部１１Ｃの他端に接続角度を変更可能に接続する。上腕部１１Ｂの長さはＬaであり、前腕部１１Ｃの長さはＬbである。これらの互いの接続関係や長さは変化せず、人型ロボット１の構造を表現する。これらの人型ロボット１の構造を表現するデータが、ロボット構造データ８１である。

さらに、関節部１２に関しては、その関節部１２での接続角度の取り得る値の範囲、接続角度の変化速度の可能な範囲などを、ロボット構造データ８１として定義する。アクチュエータ１３に関しては、そのアクチュエータ１３が発生する力およびトルクの最大値、発生する力およびトルクの変化速度の可能な範囲などをロボット構造データ８１として定義する。ロボット構造データ８１は、マニピュレータの構造を表すマニピュレータ構造データである。

重心Ｐ_０に対する現場カメラ２の相対位置が固定である場合には、重心Ｐ_０に対する相対位置がカメラ構造データ８２として記憶される。現場カメラ２が装着される頭部１１Ｅが、胴体部１１Ａに対して首関節部１２Ｄにより角度を変更可能な場合は、首関節部１２Ｄの重心Ｐ_０に対する相対位置と、現場カメラ２の首関節部１２Ｄとの距離が、カメラ構造データ８２として記憶される。頭部１１Ｅが向く方向に対して固定された現場カメラ２が向く相対的な方向も、カメラ構造データ８２として記憶される。カメラ構造データ８２には、撮影できる画像の縦横のサイズ、視野角、拡大倍率の可能範囲などの、現場カメラ２の仕様から決まるデータを含ませてもよい。

触覚センサ７の構造を表す構造データとしては、装着される指部と、指部における装着位置などがある。触覚センサ７が接触していることを検出する場合に、触覚画像５８において触覚データ５３を表示する位置なども、構造データである。これらの構造データは、触覚センサ構造データ８３として、構造データ記憶部３２に記憶される。１本の指部に複数の触覚センサ７を装着してもよい。

姿勢データ５２について説明する。図４は、人型ロボットの姿勢を表す姿勢データを例により説明する図である。肩関節部１２Ａは２回転自由度で回転可能であり、肩関節部１２Ａの回転角度を図４(A)に示すように(α1, β1)とする。肘関節部１２Ｂは２回転自由度で回転可能であり、回転角度を図４(A)に示すように(α2, γ2)とする。手首関節部１２Ｃは３回転自由度で回転可能であり、回転角度を図４(B)に示すように(α3, β3, γ3)とする。

肩関節部１２Ａは、胴体部１１Ａに対してＵ軸の回りの回転角度であるα１とＶ軸の回りの回転角度β１で、上腕部１１Ｂが延在する方向を表現する。肘関節部１２Ｂは、前腕部１１Ｃを上腕部１１Ｂに２回転自由度で回転可能に接続する。上腕部１１Ｂと前腕部１１Ｃの間の接続角度を、上腕部１１Ｂとともに移動するＵＶＷ座標系で表現する。上腕部１１Ｂが伸びる方向が、Ｗ軸である。肘関節部１２Ｂでは、上腕部１１Ｂに対してＵ軸の回りの回転角度であるα２とＷ軸の回りの回転角度γ２で、前腕部１１Ｃが延在する方向を表現する。肘関節部１２Ｂの回転角度を、図４(A)に示すように(α2,γ2)とする。手首関節部１２Ｃは、手部１１Ｄを前腕部１１Ｃに３回転自由度で回転可能に接続する。前腕部１１Ｃと手部１１Ｄとの間の接続角度を、前腕部１１Ｃとともに移動するＵＶＷ座標系で表現する。前腕部１１Ｃが伸びる方向がＷ軸である。手首関節部１２Ｃの回転角度を、図４(B)に示すように(α3,β3,γ3)とする。また、手部１１Ｄにおいて、手首関節部１２Ｃの回転角度(α3, β3, γ3)＝(0,0,0)での人差指の先端の手首関節部１２Ｃに対する相対位置は(W4,0,H4)であるとする。

角度(α1, β1)、角度(α2, γ2)および角度(α3, β3, γ3)が、人型ロボット１の姿勢を表す姿勢データ５２である。人型ロボット１では、姿勢データ５２を関節部１２の回転角度だけで表現できる。例えば、前腕部の長さを伸縮できる人型ロボットの場合は、前腕部の長さも姿勢データに含まれる。姿勢データは、人型ロボット（マニピュレータ）の位置および姿勢を表現できるように定義される。

角度(α1, β1)、角度(α2, γ2)および角度(α3, β3, γ3)が決まると、人型ロボット１の右腕の各部の３次元位置を決めることができる。肩関節部１２Ａの回転行列を[Ｒ1]とし、肘関節部１２Ｂの回転行列を[Ｒ2]とし、手首関節部１２Ｃの回転行列を[Ｒ3]とする。回転行列[Ｒ1]、[Ｒ2]、[Ｒ3]は、以下のように表現できる。

肘関節部１２Ｂ、手首関節部１２Ｃおよび人差指の先端の位置を表す点を、Ｐ_２、Ｐ_３、Ｐ_４とする。Ｐ_２、Ｐ_３、Ｐ_４は、以下のように表現できる。
Ｐ_１＝(-W1,D1,H1)^t (4)
Ｐ_２＝Ｐ_１＋[Ｒ1]*(0,0,-La)^t (5)
Ｐ_３＝Ｐ_２＋[Ｒ1]*[Ｒ2]*(0,0,-Lb)^t (6)
Ｐ_４＝Ｐ_３＋[Ｒ1]*[Ｒ2]*[Ｒ3]*(W4,0,H4)^t (7)

人型ロボット１の位置を表す位置データＰ０Ｇ＝(x0,y0,z0)と、胴体部１１Ａの傾斜角度(α0, β0,γ0)が与えられると、ＵＶＷ座標系でのＰ_１〜Ｐ_４は、ＸＹＺ座標系でのＰ１Ｇ〜ＰＧに以下のように変換できる。ＸＹＺ座標系は、人型ロボット１が存在する空間を表す座標系である。ここで、傾斜角度(α0, β0,γ0)を表す回転行列を[Ｒ0]とする。なお、位置データＰ_０Ｇと胴体部１１Ａの傾斜角度も姿勢データ５２に含まれる。人型ロボット１の位置は、例えばＧＰＳ(Global Positioning System)装置により計測する。

Ｐ_０Ｇ＝(x0,y0,z0) (9)
Ｐ_１Ｇ＝Ｐ_０Ｇ＋[Ｒ0]*Ｐ_１ (10)
Ｐ_２Ｇ＝Ｐ_０Ｇ＋[Ｒ0]*Ｐ_２ (11)
Ｐ_３Ｇ＝Ｐ_０Ｇ＋[Ｒ0]*Ｐ_３ (12)
Ｐ_４Ｇ＝Ｐ_０Ｇ＋[Ｒ0]*Ｐ_４ (13)

実際にはもっと複雑であるが、同様にして人型ロボット１の３次元モデル５６を生成できる。人型ロボット１の構造を表すデータを、ロボット構造データ８１として構造データ記憶部３２に記憶させておく。ロボット構造データ８１は、例えば骨格部１１と関節部１２の接続関係や、骨格部１１の寸法や関節部１２の回転可能角度などである。ロボット構造データ８１は、人型ロボット１が動いても変化しないデータである。人型ロボット１の変化する各部の値を表現する姿勢データ５２を、ロボット構造データ８１で決まる式に代入して、モデル画像生成部３４は人型ロボット１の３次元モデル５６を生成する。

モデル画像生成部３４は、カメラ構造データ８２と姿勢データ５２とを参照して現場カメラ２の３次元位置と撮影方向を決定する。現場カメラ２の胴体部１１Ａに対する相対位置は固定なので、３次元モデル５６における胴体部１１Ａの３次元位置と方向から現場カメラ２の３次元位置を決める。撮影方向は、頭部１１Ｅが向く方向と頭部１１Ｅに対する現場カメラ２の相対方向から決める。

モデル画像生成部３４は、現場カメラ２の３次元位置と撮影方向から、モデル画像５７を生成する。モデル画像生成部３４は、現場に人型ロボット１の３次元モデル５６だけが存在するものとしてモデル画像５７を生成する。モデル画像５７は、現場カメラ２の３次元位置と撮影方向から３次元モデル５６を見る画像である。モデル画像５７において、３次元モデル５６が表示されている画素の範囲をマニピュレータ画像５９と呼ぶ。モデル画像５７では、マニピュレータ画像５９でない部分は透明である。モデル画像生成部３４は、ロボット構造データ８１および姿勢データ５２を参照して、３次元モデル５６およびモデル画像５７を生成する。モデル画像生成部３４は、３次元モデル５６を生成する３次元モデル生成部でもある。３次元モデル生成部を、モデル画像生成部とは別に設けてもよい。

図５に、モデル画像５７の例を示す。図５は、手部１１Ｄで板状の物体２０を持つ場合の画像である。親指以外の指部は物体２０の裏側になり撮影画像５１では見えない。図５に示すモデル画像５７は、物体２０が存在しないものとして、現場カメラ２の位置から人型ロボット１の手部１１Ｄを見る仮想的な画像である。

触覚画像生成部３５は、触覚データ５３が入力されて、触覚センサ構造データ８３および触覚データ５３を参照して触覚画像５８を生成する。触覚データ５３は、触覚センサ７が物体２０と接触していることを表すデータである。触覚画像５８は、接触していることを検出している触覚センサ７を接触シンボル６０として含んで表示する画像である。接触シンボル６０は、触覚センサ構造データ８３に記憶されたデータから決まる触覚センサ７ごとの接触シンボル６０の表示位置に、接触力の大きさに応じて変化させる表示形態で表示される。接触シンボル６０の表示位置は、触角画像中の決められた位置でもよい。対応する触角センサ７が存在する位置に接触シンボル６０を表示する場合などでは、触覚センサ構造データ８３での接触シンボル６０の表示位置を人型ロボット１に対する相対位置で規定する。その場合には、姿勢データ５２も使用して接触シンボル６０の表示位置を決める。触覚画像５８では、接触シンボル６０の画素は５０％程度の透過率とする。接触シンボル６０でない画素は、透明すなわち透過率が１００％とする。

図６に、触覚画像５８の例を示す。図６では、指先を点線で表示しているが、接触シンボル６０の表示位置を示すためのものである。実際の触覚画像５８では、点線の指先は描画されない。接触シンボル６０は、物体２０と接触している指先が分りやすくなるように、指先の外側にも表示している。指先部分だけを色替え表示するような接触シンボル６０を表示してもよい。接触力が大きい場合は、濃い色で接触シンボル６０を表示する。接触力が小さい場合は、薄い色で接触シンボル６０を表示する。接触力に応じて接触シンボル６０の表示形態を変化することに加えて、あるいは表示形態を変化させることなく、接触シンボル６０を点滅させ、点滅の速度により接触力の大きさを表現してもよい。接触力が大きい場合は点滅の間隔を短くし、接触力が小さい場合は点滅の間隔を長くする。周期は同じにして、接触力が大きい場合は接触シンボル６０を表示する時間を長くしてもよい。接触力に応じて点滅の周期と、１周期の中で接触シンボルを表示する時間の割合の両方を変化させてもよい。

接触シンボル６０を表示することで、操作対象物である物体が硬く変形しにくい物体である場合でも、マニピュレータが物体に接触したことをオペレータ３０に提示できる。柔らかい物体の場合には、物体の変形量が大きく、接触シンボルを表示しなくてもマニピュレータが物体に接触していることを視覚的に理解しやすい。一方、硬い物体の場合には、物体の変形量が小さく、接触シンボルを表示していないとマニピュレータが物体に接触しているかどうかオペレータ３０が判断することが難しい。

提示画像生成部３６は、撮影画像５１、モデル画像５７および触覚画像５８を重ね合わせることで、提示画像５０を生成する。提示画像５０は、オペレータ３０に提示されて、オペレータ３０が人型ロボット１の状態を把握するための画像である。図５および図６は、実施の形態１に係る遠隔制御マニピュレータシステムでオペレータに提示される提示画像を生成する過程を例により説明する図である。図５に過程の前半を示し、図６に過程の後半を示す。撮影画像５１とモデル画像５７を重ね合わせる際に、モデル画像５７を前側のレイヤにする。撮影画像５１で人型ロボット１を撮影していると判断できる部分の画素では、モデル画像５７ではなく撮影画像５１を表示する。モデル画像５７のマニピュレータ画像５９が表示される画素で一定の透過率を有するように表示し、その画素に撮影画像５１も表示するようにしてもよい。マニピュレータ画像５９を撮影画像５１よりも優先して表示されるようにモデル画像５７と撮影画像５１を重ね合わせる。撮影画像５１を前のレイヤに表示し、撮影画像５１において人型ロボット１が表示されていないが、モデル画像５７での対応される画素にマニピュレータ画像５９が表示される範囲の画素では、撮影画像５１を例えば５０％以上の透過率で表示するようにしてもよい。撮影画像５１を、その全領域で透過するように表示してもよい。撮影画像５１で人型ロボット１が撮影されていない画素であって、かつモデル画像５７でマニピュレータ画像５９が表示される画素に、マニピュレータ画像５９が表示できる方法であれば、モデル画像５７と撮影画像５１を重ね合わせる方法は、どのような方法でもよい。撮影画像５１とモデル画像５７とを重ね合わせて得られる画像を、モデル表示撮影画像６１と呼ぶ。

提示画像生成部３６は、さらにモデル表示撮影画像６１の前側のレイヤに触覚画像５８を重ね合わせて、触覚表示撮影画像６２を生成する。触覚画像５８では、触覚を表示する画像ではない部分は透明であり、モデル表示撮影画像６１がそのまま見える。図において、触覚画像５８では手部１１Ｄの輪郭線を点線で示している。手部１１Ｄの輪郭線は、モデル画像５１と適切に位置あわせできることを示すために図に書いており、実際の画像には表示されない。提示画像生成部３６は、モデル画像５７と触覚画像５８を重ね合わせた画像を、撮影画像５１と重ねあわせて触覚表示撮影画像６２を生成してもよい。

提示画像生成部３６は、触覚表示撮影画像６２を提示画像５０として状態データ記憶部３３に記憶させる。ヘッドマウントディスプレイ４は、提示画像５０を表示する。

人型ロボット１にとらせたい動作をオペレータ３０がして、その動作を撮影した画像から動作を読取ることで、人型ロボット１への動作指示を生成する。オペレータ３０がとる動作は、指示読取カメラ６Ａ、６Ｂで撮影する。オペレータ３０が動作をする場所は、指令所内の決められた場所とする。指示読取カメラ６Ａ、６Ｂは、この決められた場所に存在する物体を適切な角度差で撮影できるように配置しておく。指示読取カメラ６Ａ、６Ｂが同時に撮影した画像を、動作指示入力画像６３Ａ、６３Ｂとする。指示読取カメラの台数は１台でも３台以上でもよい。

オペレータ３０が動作指示を入力するために動作をする場所、指示読取カメラ６Ａ、６Ｂの設置位置、撮影方向などを、読取カメラ構造データ８４として構造データ記憶部３２に記憶しておく。オペレータ３０の上腕の長さ、前腕の長さ、掌の形状を表す複数の特徴点の間の距離、各指の長さなどを、操作者体格データ８５として構造データ記憶部３２に記憶しておく。特徴点とは、肩関節、肘関節、手首関節、指先など、オペレータ３０の姿勢を画像から把握できる点である。特徴点を画像認識しやすくするために、オペレータ３０が有する特徴点の位置に、オペレータ３０がマークを装着してもよい。

動作指示データ生成部３７は、特徴点抽出部３９、画像制約条件生成部４０、姿勢決定部４１、指示データ変換部４２を有する。特徴点抽出部３９は、動作指示入力画像６３Ａ、６３Ｂをそれぞれ画像処理して、オペレータ３０の身体における関節位置などの特徴点が表示される画素位置を読取る。指示読取カメラ６Ａ、６Ｂおよび動作指示データ生成部３７は、人型ロボット１が動くまたは静止する動作を指示する動作指示をオペレータ３０が入力する動作指示入力部を構成する。

動作指示入力画像６３Ａで読取られた特徴点の画素位置は、指示読取カメラ６Ａの設置位置を通りその画素位置に対応する３次元空間での方向を表す直線上に、特徴点が存在することを意味する。動作指示入力画像６３Ｂでも同様である。動作指示入力画像６３Ｂで読取られた特徴点の画素位置は、指示読取カメラ６Ｂの設置位置を通りその画素位置に対応する３次元空間での方向を表す直線上に、特徴点が存在することを意味する。画像制約条件生成部４０は、特徴点抽出部３９が抽出した特徴点に対して、その特徴点が存在すべき直線を抽出する。ある特徴点がある直線上に存在する必要があることは、その特徴点の存在位置に関する制約条件（画像制約条件）である。例えば、画像の中央の画素は、撮影方向に延びる直線になる。上下方向の中央で左右方向の両端の画素は、撮影方向に対して視野角の半分だけ左右方向に傾いた方向に延びる直線になる。

姿勢決定部４１は、動作指示入力画像６３Ａ、６３Ｂとして撮影されたオペレータ３０の姿勢を表す特徴点の３次元位置である操作者姿勢データ６４を決定する。姿勢決定部４１は、操作者体格データ８５により決まる制約条件（体格制約条件）を守った上で、画像制約条件の違反量の二乗の和などの評価関数を最小にするなどして、操作者姿勢データ６４を決定する。評価関数として、体格制約条件および画像制約条件に対する違反量を重みづけした二乗和を最小にするようにして、操作者姿勢データ６４を決めてもよい。画像制約条件に対する違反量だけの二乗和をとる場合も、重み付け二乗和としてもよい。

指示データ変換部４２は、特徴点の３次元位置で表される操作者姿勢データ６４を、人型ロボット１の各関節の回転角度などで表される動作指示データ５４に変換する。動作指示データ５４は、姿勢データ５２と同様に表現される。動作指示データ生成部３７は、このようにして各時点での動作指示入力画像６３Ａ、６３Ｂから動作指示データ５４を生成する。動作指示データ５４は、撮影された時刻の順番に動作指示入力画像６３Ａ、６３Ｂから生成した動作指示データ５４の時系列として得られる。

制御信号生成部３８は、動作指示データ５４を含む制御信号を生成して、人型ロボット１に送信する。人型ロボット１は、制御信号から抽出した動作指示データ５４にしたがってその姿勢を変化させる。

動作を説明する。図７は、実施の形態１に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する手順を説明するフローチャートである。

ステップＳ０１で、ロボット構造データ８１、カメラ構造データ８２、触覚センサ構造データ８３、読取カメラ構造データ８４、操作者体格データ８５を、構造データ記憶部３２に記憶させる。

ステップＳ０２で、人型ロボット１にとらせたい動作になるように、オペレータ３０が動くまたは静止する。オペレータ３０が動いてから静止したり、静止してから動いたりしてもよい。指示読取カメラ６Ａ、６Ｂが、オペレータ３０を撮影する。

ステップＳ０３で、動作指示データ生成部３７が、指示読取カメラ６Ａ、６Ｂが撮影した動作指示入力画像６３Ａ、６３Ｂから動作指示データ５４を生成する。

ステップＳ０４で、制御信号生成部３８が動作指示データ５４から制御信号を生成して、人型ロボット１に送信する。

ステップＳ０５で、制御信号を受信した人型ロボット１が制御信号に含まれる動作指示データ５４にしたがって動くまたは静止する。人型ロボット１が動作指示データ５４で指示されるとおりの動作ができない場合は、可能な範囲で指示される動作に近くなるように動く。姿勢センサ９が人型ロボット１の姿勢データ５２を検出し、触覚センサ７が触覚データ５３を検出する。姿勢データ５２、触覚データ５３および現場カメラ２が撮影した撮影画像５１および撮影条件データ５５は、制御装置３に送信される。なお、撮影条件データ５５が常に同じである場合は、制御装置３が有する構造データ記憶部３２に記憶し、人型ロボット１から制御装置３に送信しなくてもよい。

ステップＳ０６で、現場カメラ２が撮影した撮影画像５１、姿勢データ５２および触覚データ５３から触覚表示撮影画像６２が生成される。より細かく説明すると、姿勢データ５２を用いてモデル画像生成部３４がモデル画像５７を生成する。触覚画像生成部３５が、触角データ５３を用いて触覚画像５８を生成する。提示画像生成部５０が、撮影画像５１、モデル画像５７および触覚画像５８を重ね合わせて触角表示撮影画像６２を生成する。触覚表示撮影画像６２が、提示画像５０としてヘッドマウントディスプレイ４に表示される。

ステップＳ０７で、提示画像５０を見たオペレータ３０が次にとる動作を決める。あるいは、作業の終了指示を入力する。

ステップＳ０８で、オペレータ３０が作業の終了指示を入力したかどうかをチェックする。オペレータ３０が作業の終了指示を入力している場合(Ｓ０８でＹＥＳ)は、終了する。入力していない場合(Ｓ０８でＮＯ)は、ステップＳ０２に戻る。ステップＳ０２からステップ０７は、周期的に繰り返す。

オペレータ３０には、触覚センサ７が検出する触覚データ５３も提示画像５０に表示された形で提示される。オペレータ３０の脳内では、視覚情報と整合性のとれた触覚情報が再構成されるため、触覚も含めた一体感のある形で人型ロボット１の状態を認識して適切に人型ロボット１を遠隔制御できる。

参考として、図８に、一般的な人間の運動知覚システムのモデルの構成図を示す。複数の感覚器情報は、脳内予測モデルの出力を組合せて、運動判断に使用される各種の認知情報として認知される。感覚器情報は、視覚器、聴覚器、触覚器、力覚器などの感覚器から入力される。脳内予測モデルは、脳内に蓄積した学習データから構築される。認知情報は、感覚器ごとに認知される。認知情報には、視覚認知情報、聴覚認知情報、触覚認知情報、力覚認知情報などがある。力覚とは、筋肉が力を出していることを感じることである。人間は、視覚認知情報、聴覚認知情報、触覚認知情報、力覚認知情報を基に、脳内でどのような運動をすべきか判断し、その判断に基づいて身体の各筋肉を駆動する。

図９は、実施の形態１に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する場合に人間の運動知覚システムのモデルでの情報の流れを説明する図である。視覚情報だけから構築される脳内予測モデルの出力と視覚情報だけが脳内統合処理に入力される。そのため、触覚情報や力覚情報をオペレータが受ける場合に生成される、触覚情報や力覚情報に関する脳内予測モデルが生成されず、脳内予測モデルと実際の触覚情報や力覚情報との間のタイミング差は発生しない。

離れた場所に設置されたマニピュレータ（遠隔制御マニピュレータ）が検知する触覚情報を、視覚情報に重畳させてオペレータ（人間）に提示される。オペレータは、視覚情報から脳内予測モデルを再構成するので、視覚情報と擬似的に得られる触覚の間に不整合がなく、オペレータの感覚器にとって合理的な操作感を得ることができる。

遠隔制御マニピュレータが力覚センサを備える場合は、力覚センサが検出する力覚情報を視覚的に表現することで、力覚情報を視覚情報としてオペレータに提示する。そうすることで、視覚情報と力覚情報の間に不整合がなくなる。

遠隔制御マニピュレータシステムが触覚情報をオペレータに提示する触覚提示装置を備える場合は、視覚情報と触覚情報とが異なるタイミングで入力される可能性がある。視覚情報と触覚情報とが異なるタイミングでオペレータに提示されると、オペレータはマニピュレータを操作する上で違和感を生じさせる場合があると考えられる。例えば、視覚情報を先に提示されると、視覚情報から触覚が発生するタイミングを脳内予測モデルが予測する。その予測されるタイミングとは異なるタイミングで、触覚提示装置から触覚情報が提示されると、オペエータは違和感を感ずると思われる。

触覚提示装置や力覚提示装置を有した遠隔制御マニピュレータシステムである遠隔建設機械や手術支援ロボットであるダ・ビィンチでは、触覚提示装置や力覚提示装置をオフにして運用されているらしい。オフにする理由としては、上に述べたように、予測されるタイミングとは異なるタイミングで、触覚提示装置から触覚情報が提示されると、オペエータが違和感を感ずるためと考えられる。

この発明に係る遠隔制御マニピュレータシステムでは、オペレータ３０が主に視覚的にマニピュレータの状態を把握し、オペレータが随時マニピュレータを制御する方式である。そのため、マニピュレータ側の構造が簡素になる。人間の柔軟な状況判断能力と高次の学習能力を利用することで、簡素なシステム構成で全体システムの安定性と信頼性を確保することができる。物体を扱うマニピュレータが自動認識カメラ、触覚センサ、力覚センサなどの出力を利用して自律的に制御する方式では、システムの安定性と信頼性を確保することは、まだ難しいと考えられる。

視覚情報としては、図５および図６に示すように、物体２０で隠れる部分でも人型ロボット１の手部１１Ｄをモデル画像５７として表示している。そのため、オペレータ３０は手部１１Ｄの状況を正確に把握でき、操作の精度が向上する。

図６に示すように、手部１１Ｄの指先が物体２０に接触している場合は、接触箇所に接触シンボル６０を表示している。接触シンボル６０が表示されるので、オペレータは手部１１Ｄの指先が物体２０に接触していることを容易かつ正確に理解できる。接触シンボルを表示せず、モデル画像を撮影画像に重ね合わせるだけでもよい。その場合でも、オペレータ３０は人型ロボット１の状態を正確に把握でき、従来よりも容易に人型ロボット１を遠隔制御できる。

オペレータへの情報提示は、主に視覚情報による。そのため、触覚センサが検出する触覚データをオペレータに提示する触覚提示装置が不要である。また、力覚センサが検出するマニピュレータが出している力をオペレータに感じさせるための力覚提示装置も不要である。つまり、システム構成が簡素になる。

人型ロボットではなく、上体だけのロボット、片腕のロボットアーム、ロボットハンドなどに対しても、この発明は適用できる。物体を扱う機械や装置であれば、この発明は適用できる。物体を扱う機械や装置のことをマニピュレータと呼ぶ。物体とは、マニピュレータが持つ道具、道具で処理される物体、道具を使用しないで操作される物体などである。道具としては、例えばドライバーやペンチなどの工具、包丁やメスなどの刃物、鋏や定規や筆記具などの文具、大工道具、清掃用具、パソコンなどの情報機器、建物のドアや窓、荷物を運搬するための台車など、人を移動させる車椅子や移動式ベッドなどが含まれる。物体は、液体、固体、気体の何れでもよい。人や動物や植物なども物体に含む。

この発明に係る遠隔制御マニピュレータシステムによれば、遠隔制御マニピュレータの作業操作性能を向上させる。遠隔制御するロボットあるいはマニピュレータを使用することで、危険な環境、あるいは人間には過酷なあるいは快適でない環境での作業、人間にとっては重い物体の操作などの重労働作業を、人間の負荷を軽減して実施できる。遠隔制御するロボットあるいはマニピュレータは、災害対応等に携わる作業者を支援することや、労働力が不足している産業分野で、使用できる。高齢化社会でのロボットによる介護の支援などにも利用できる。

マニピュレータ遠隔制御システムにより、災害救助時や一般産業の工場や工事現場において、遠隔で離れた地点から映像を見ながら遠隔作業機械またはロボットが有するハンドによる把持操作をする場合が想定される。しかし、実運用時は環境や把持対象物の事前学習やモデル化は困難である。本発明の遠隔制御マニピュレータの視覚ベース操作システムであれば、操作者が周辺環境や作業状況を視覚ベースの情報から判断でき、遠隔制御マニピュレータの操作信頼度の向上が可能になると期待される。

動作指示を読取る方式としては、オペレータの動作をカメラで撮影して、撮影した画像から動作指示を読取る方式以外も使用できる。例えば、オペレータの動きあるいは筋肉の緊張度などを読取るセンサをオペレータの体に付けた動作指示入力装置を使用してもよい。操縦桿、ステアリングホイール(ハンドル)、レバー、ジョイステック、ボタン、つまみ、ペダルなどで動作指示を入力してもよい。マニピュレータが動くまたは静止する動作を入力できるものであれば、動作指示入力部はどのようなものでもよい。
以上のことは、他の実施の形態にもあてはまる。

実施の形態２．
実施の形態２は、接触シンボルに加えて音でも接触したことをオペレータに通知するように実施の形態１を変更した場合である。実施の形態２では、接触シンボルを表示していない状態から表示する状態に変化する場合、あるいは接触シンボルの表示が変化する場合に、接触音を決められた時間だけ鳴らす。図１０は、この発明の実施の形態２に係る遠隔制御マニピュレータシステムの機能構成を説明するブロック図である。実施の形態１の場合の図３と異なる点を説明する。

遠隔制御マニピュレータシステム１００Ａを構成する制御装置３Ａは、接触音生成部４３を有する。接触音生成部４３が参照できるように、前回に入力された触覚データ５３を記憶しておく。接触音生成部４３は、今回、入力された触覚データ５３と前回の触覚データ５３との間の差が決められた条件を充足するかどうかチェックする。決められた条件が充足する場合は、接触音生成部４３は触覚データ５３が変化したことを表す接触音を生成する。ヘッドホン５は、現場カメラ２のマイクの音に加えて接触音も出力する。接触音生成部４３は、触覚データに応じてヘッドホン５を制御して音を発生させる音制御部である。

接触音を発生させる決められた条件(接触音出力条件と呼ぶ)は、例えば、すべての触覚センサ７が非接触であったのが、接触の状態である触覚センサ７が存在することを検出する場合である。１本の指に複数の触覚センサ７を装着する場合は、指ごとの触覚センサ７の集合の中で、すべての触覚センサ７が非接触であったのが、接触の状態である触覚センサ７が存在することを検出する場合としてもよい。接触が継続している場合は、接触音を継続して出力するようにしてもよい。

接触音を伴った提示画像５０を提示する方法を説明する。図１１は、実施の形態２に係る遠隔制御マニピュレータシステムで提示画像とともに触覚データに変化があることを音声で知らせる方法を例により説明する図である。図の上側は、ｔｎ時点で触覚データ５３がすべて非接触である場合の提示画像５０の表示例である。下側は、ｔｎ+１時点で接触の状態の触覚データ５３が存在する場合の提示画像５０の表示例である。接触している部分に接触シンボル６０を表示するとともに、接触音をヘッドホン５に出力する。ヘッドホン５への接触音の出力を、図では音符(♪)で表現している。接触音を出力する期間(Ｔs)の長さは、人間が認識する上で適切な時間とし、提示画像５０を更新する周期よりも長くてもよい。

接触力の大きさに応じて接触音を変化させてもよい。例えば、接触力が大きい場合には大きい音を、接触力が小さい場合には小さい音を出力する。また、音質も操作対象物の物性（剛性）にあわせて変化させてもよい。例えば、硬い対象物の場合には、高い周波数の打撃音、柔らかい対象物の場合には、低い周波数の打撃音が考えられる。打撃音ではなく、楽器（笛や弦楽器など）が出すような音でもよい。断続音にして音の間隔や、１回に継続する長さなどを変化させてもよい。

動作を説明する。図１２は、実施の形態２に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する手順を説明するフローチャートである。実施の形態１の図７とは異なる点を説明する。

Ｓ０６とＳ０７の間にＳ１１とＳ１２を追加している。Ｓ０６では、提示画像がオペレータに提示される。ステップＳ１１では、触覚データ５３が接触音出力条件を充足しており、かつ充足してからの経過時間がＴs以下かどうかチェックする。接触音出力条件が充足しており、経過時間がＴs以下の場合(Ｓ１１でＹＥＳ)は、ステップＳ１２で接触音をヘッドホン５から出力する。接触音出力条件が充足していない、または充足してからＴsが経過している場合(Ｓ１１でＮＯ)は、Ｓ０７へ進む。Ｓ０７では、提示画像および接触音に対して、オペレータが判断する。

触覚情報を音としてオペレータに提示することで、触覚情報の再構成をより効果的にすることができる。聴覚には、以下の２つの特徴がある。
（ア）人間の聴覚応答速度は、感覚器の中で最も速い。
（イ）音声情報のデータ容量が視覚情報のデータ量と比較して小さく、時間遅延の影響が小さい。
聴覚にはこのような特徴があるので、音を利用して触覚情報をオペレータに通知することは、有効である。音でも通知することで、視覚情報でだけ触覚情報を通知する場合と比較して、人型ロボットが物体と接触したことを、より正確かつより容易にオペレータは認識できる。

実施の形態３．
実施の形態３は、オペレータからの動作指示も提示画像に表示するように実施の形態２を変更した場合である。動作指示を表す画像を提示画像に表示することで、オペレータが人型ロボットの動きが動作指示どおりかどうかが分り、動作指示が適切かどうかを判断できる。人型ロボットの動きが動作指示と同じであれば動作指示が適切であることがオペレータに分かり、異なれば動作指示が不適切であることが分かる。図１３は、この発明の実施の形態３に係る遠隔制御マニピュレータシステムの機能構成を説明するブロック図である。実施の形態２の場合の図１０と異なる点を説明する。

遠隔制御マニピュレータシステム１００Ｂを構成する制御装置３Ｂは、動作指示画像生成部４４、指示実行結果検出部４５を有する。構造データ記憶部３２Ｂ、状態データ記憶部３３Ｂ、動作指示データ生成部３７Ｂおよび提示画像生成部３６Ｂを変更している。

動作指示データ５４Ｂは、動作で発生させる力（動作力）の最大値（指示動作力）と、動作の速度（指示速度）を含むように、動作指示データ５４から変更している。動作指示データ生成部３７Ｂは、動作指示データ５４Ｂを生成する。

動作指示画像生成部４４は、動作指示画像６６を生成する。動作指示画像６６は、モデル画像５７よりも裏側で撮影画像５１よりも前側のレイヤに表示する。動作指示画像６６には、動作指示データ５４Ｂによる動作内容をアニメーション画像のように表示する動作指示アイコン６５が含まれる。動作指示アイコン６５は、動作指示にしたがう動作を表すアイコン（絵記号）である。動作指示アイコン６５は、オペレータ３０の上腕や前腕や手などをモデル化した表示要素である動作指示表示要素８６を組合せたアイコンである。例えば、物体２０を手部１１Ｄに持たせて移動する場合の動作指示アイコン６５を、図１４に示す。図１４は、実施の形態３に係る遠隔制御マニピュレータシステムで生成する動作指示アイコンを含む提示画像を例により説明する図である。図１４(B)では、前腕および手の動作指示表示要素８６を組合せた動作指示アイコン６５を、マニピュレータ画像５９とは異なる位置に表示している。動作指示アイコン６５を人型ロボット１とは異なる位置に表示することで、動作指示データ５４Ｂで指示される動作を、人型ロボット１が実行できないことをオペレータ３０に知らせる。

動作指示表示要素８６は、動作指示アイコン６５を表現する上で使用する、形状が変化しない表示要素である。位置、向き、色などを変化させた動作指示表示要素８６を組合せたものが、動作指示アイコン６５である。動作指示表示要素８６は、構造データ記憶部３２Ｂに記憶される。

動作指示データ生成部３７Ｂは、動作力速度検知部４６も有する。動作力速度検知部４６は、オペレータ３０の動作から指示動作力と指示速度を決める。指示動作力と指示速度は動作指示データ５４Ｂの一部として人型ロボット１に送られる。指示動作力と指示速度は、関節部１２ごとに決める。なお、関節部以外にも姿勢データとなる状態量を持つマニピュレータの場合は、関節部以外でも指示動作力と指示速度を決める。

動作力速度検知部４６は、操作者姿勢データ６４の時系列から動作の速度を算出する。動作の速度は、誤差を少なくするために３個以上の時点での操作者姿勢データ６４の値から算出する。直前の値との差である瞬間速度を使用してもよい。算出した動作の速度が静止を判断する上限値よりも速い速度である場合は、指示動作力の大きさを、動作から検出する速度が小さいほど指示動作力が大きくなるように決める。動作から検出する速度に比例係数を乗算した速度を、指示速度とする。指示動作力や指示速度を求めるための操作者姿勢データ６４のそれぞれに対する比例係数や計算式で使用される定数などを、力速度換算係数８７と呼ぶ。力速度換算係数８７は、構造データ記憶部３２Ｂに記憶される。動作指示データ５４Ｂには、指示速度と指示動作力が含まれる。

指示動作力は予め入力しておいてもよい。腕を使って動作しながら、足でペダルなどを踏むなどして指示動作力を入力してもよい。オペレータが指示動作力を入力する方法は、どのような方法でもよい。

人型ロボット１の各部は、指示速度で動くように、対応するアクチュエータ１３が指示動作力以下の力を出力する。指示動作力は、動作指示データ５４Ｂに応じて人型ロボット１が出す力の上限値になる。人型ロボット１の各部を指示速度で動かすために必要な動作力(必要動作力)が指示動作力未満である場合は、対応するアクチュエータ１３は必要動作力を発生させる。指示動作力が必要動作力よりも小さい場合は、人型ロボット１のその部分は動かないか、動くが指示速度よりも遅い速度になる。なお、必要動作力は、物体２０の重さなどの動作する際の状況により変化する。

指示実行結果検出部４５は、動作指示データ５４Ｂと、決められた長さの時間（動作遅延時間）が経過後の姿勢データ５２とを比較して、人型ロボット１が動作指示データ５４Ｂにしたがった動作ができているか否かを検出し、検出の結果を動作実行結果データ６７として生成する。人型ロボット１の動作が動作指示データ５４Ｂにしたがっていないことを、不実行と呼ぶ。不実行である動作実行結果データ６７が生成された姿勢データ５２を指示不実行姿勢データと呼ぶ。動作指示画像生成部４４は、指示実行結果データ６７を利用して動作指示画像６６を生成する。

指示実行結果検出部４５は、関節部ごとに動作指示データ５４Ｂと動作遅延時間後の姿勢データ５２との差を求める。差が閾値以下である場合に、その関節部１２に関して動作指示データ５４Ｂどおりに実行されている(正常)と判断する。指示実行結果データ６７は、正常として生成される。差が閾値よりも大きい場合は、動作指示データ５４Ｂどおりに実行されていない(不実行)と判断する。指示実行結果データ６７は、不実行として生成される。姿勢データ５２の検出誤差の影響を小さくするために、１時点の動作指示データ５４Ｂに対して指示実行結果データ６７を生成するのではなく、複数の時点での動作指示データ５４Ｂに対して指示実行結果データ６７を生成してもよい。

動作指示画像生成部４４は、指示実行結果データ６７がすべて正常である場合は、動作指示アイコン６５をマニピュレータ画像５９と同じ位置でその裏側に表示する。指示実行結果データ６７がすべて正常である場合は、動作指示アイコン６５を表示しないようにしてもよい。不実行である指示実行結果データ６７が存在する場合、すなわち指示不実行姿勢データが存在する場合は、不実行な指示実行結果データ６７に対応する関節部に関しては、動作指示アイコン６５をマニピュレータ画像５９とは離れた位置に表示する。動作指示アイコン６５とマニピュレータ画像５９との位置関係は、不実行である指示実行結果データ６７が関係する動作指示データ５４Ｂと動作遅延時間後の姿勢データ５２との差の大きさにより変化させてもよい。

例として、腕を動かす状況を考える。肩関節の動きに関しては指示実行結果データ６７が正常であり、肘関節の動きに関しては指示実行結果データ６７が不実行である場合は、動作指示アイコン６５は前腕から手側の部分がマニピュレータ画像５９とは離れた位置に表示される。肩関節の動きに関しては指示実行結果データ６７が不実行であり、肘関節の動きに関しては指示実行結果データ６７が正常である場合は、動作指示アイコン６５は上腕を含む腕全体がマニピュレータ画像５９とは離れた位置に表示される。

動作指示データ５４Ｂに含まれる指示動作力が、動作指示データ５４Ｂで指示される動作に必要な動作力（必要動作力）よりも小さい場合は、対応する関節部は指示どおりに動作しない。図１４(B)は、指示動作力が必要動作力よりも小さい場合に、人型ロボット１の前腕部１１Ｃおよび手部１１Ｄが物体２０を持って移動できない場合である。前腕部１１Ｃおよび手部１１Ｄが移動せず、動作指示アイコン６５が移動を指示された位置に表示される。図１４(A)では、指示動作力が必要動作力以上なので、前腕部１１Ｃおよび手部１１Ｄが物体２０を持って移動できる。動作指示アイコン６５が、前腕部１１Ｃおよび手部１１Ｄと同じ位置で裏側に表示される。

人型ロボット１は、各関節部１２で発生する力またはトルク、移動速度、回転角速度の中の少なくとも１つに関して制限値を有する。少なくとも一部の制限値は、変更可能である。人型ロボット１は、制限値を超えないように動作する。制限値が関係する姿勢データ５２を制限値付き姿勢データ５２と呼ぶ。制限値付き姿勢データ５２が制限値を超えることになる動作指示データ５４Ｂが入力される場合に、その制限値付き姿勢データ５２が制限値のために動作指示データ５４Ｂにしたがって変化することができない。その制限値付き姿勢データ５２に関して、動作指示データ５４Ｂが不実行になり、そのことを指示実行結果検出部４５が検出する。

提示画像生成部３６Ｂは、動作指示アイコン６５を含む動作指示画像６６を触覚表示撮影画像６２に重ね合わせた動作指示表示撮影画像６８を生成する。動作指示表示撮影画像６８が提示画像５０Ｂとしてヘッドマウントディスプレイ４に表示される。

動作を説明する。図１５は、実施の形態３に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する手順を説明するフローチャートである。実施の形態２の場合の図１２と異なる点を説明する。

ステップＳ０１Ｂで、動作指示表示要素８６、力速度換算係数８７も構造データ記憶部３２Ｂに記憶させる。

ステップＳ０３Ｂで、動作指示データ生成部３７Ｂが、指示読取カメラ６Ａ、６Ｂが撮影した動作指示入力画像６３Ａ、６３Ｂから動作指示データ５４Ｂを生成する。動作指示データ５４Ｂには、指示速度と指示動作力も含まれる。

ステップＳ０５Ｂで、制御信号を受信した人型ロボット１が、制御信号に含まれる動作指示データ５４Ｂにしたがった姿勢をとる、または動く。人型ロボット１の各部は、動作指示データ５４Ｂに含まれる指示速度で動くように、指示動作力を対応するアクチュエータ１３が出力する力の上限値として動作する。指示動作力が指定されたアクチュエータ１３は、指示動作力以下の力を発生させる。

ステップＳ０６Ｂで、撮影画像５１、姿勢データ５２、触覚データ５３および動作指示データ５４Ｂから動作指示表示撮影画像６８が生成される。動作指示表示撮影画像６８が、提示画像５０としてヘッドマウントディスプレイ４に表示される。

動作指示表示撮影画像６８では、オペレータ３０が指示する動作を表す動作指示アイコン６５を、撮影画像５１とともに表示する。指示どおりに動作できている場合は、動作指示アイコン６５は撮影画像５１での人型ロボット１およびマニピュレータ画像５９に重なり裏側のレイヤに表示される。指示どおりに動作できていない場合は、撮影画像５１での人型ロボット１およびマニピュレータ画像５９から離れた位置に、動作指示アイコン６５が表示される。したがって、オペレータ３０は、指示どおりに人型ロボット１を遠隔制御できているかどうかを、提示画像５０から容易に判断できる。

指示どおりに動作できるかどうかは、動作に必要な動作力を人型ロボット１が発生させる動作指示データ５４Ｂが生成される動作をオペレータ３０がするかどうかによる。そのため、オペレータ３０が動作指示表示撮影画像６８を見ながら遠隔制御することで、オペレータ３０が遠隔制御する人型ロボット１あるいはマニピュレータの特性を効率的に学習することができる。

実施の形４．
実施の形態４は、オペレータが人型ロボットの遠隔制御に習熟するための練習ができるようにシミュレーション機能を持たせるように実施の形態３を変更した場合である。図１６は、この発明の実施の形態４に係る遠隔制御マニピュレータシステムの機能構成を説明するブロック図である。実施の形態３の場合の図１３と異なる点を説明する。

遠隔制御マニピュレータシステム１００Ｃを構成する制御装置３Ｃは、シミュレーション部４７および周囲環境画像生成部４８を有する。構造データ記憶部３２Ｃ、状態データ記憶部３３Ｃ、モデル画像生成部３４Ｃおよび提示画像生成部３６Ｃを変更している。

構造データ記憶部３２Ｃは、人型ロボット１が存在する周囲環境に関する構造データを表す環境構造データ８８も記憶する。物体２０は、周囲環境に含まれる。環境構造データ８８には、物体２０の重量および形状や、人型ロボット１が居る部屋の縦横の長さや天井までの高さなどが含まれる。ロボット構造データ８１Ｃは、アクチュエータ１３の動きをシミュレーションする上で必要な構造データも記憶する。

状態データ記憶部３３Ｃは、姿勢データ５２Ｃ、触覚データ５３Ｃ、撮影条件データ５５Ｃ、３次元モデル５６Ｃ、周囲環境画像６９およびシミュレーション画像７０を記憶する。姿勢データ５２Ｃ、触覚データ５３Ｃおよび撮影条件データ５５Ｃは、シミュレーション部４７が動作している間は、シミュレーション部４７が値を書き込む。実際に人型ロボット１を遠隔制御している場合は、通信部３１が受信した値が記憶される。状態データ記憶部３３Ｃにおいて、人型ロボット１を遠隔制御する場合と、シミュレーション部４７が動作する場合で、姿勢データ５２Ｃ、触覚データ５３Ｃおよび撮影条件データ５５Ｃを別の領域に書込みおよび参照してもよいし、同じ領域に書込みおよび参照してもよい。

シミュレーション部４７は、構造データ記憶部３２Ｃおよび状態データ記憶部３３Ｃを参照して、人型ロボット１の動きをシミュレーション（模擬）する。シミュレーション部４７は、動作指示データ５４Ｂが入力されてから動作遅延時間が経過した時点で、動作指示データ５４Ｂに対するシミュレーション結果が得られるようにシミュレーションする。シミュレーション部４７は、シミュレーションの結果として得られる、姿勢データ５２Ｃ、触覚データ５３Ｃおよび撮影条件データ５５Ｃを出力する。現場カメラ２は人型ロボット１の頭部１１Ｅに設置されているので、人型ロボット１の動作により現場カメラ２の位置は変化する場合がある。現場カメラ２の位置を含む撮影条件データ５５Ｃも、シミュレーション部４７が出力する。

３次元モデル５６Ｃは、シミュレーション時には、人型ロボット１だけでなく周囲環境の３次元の位置および形状を表す３次元モデルである。３次元モデル５６Ｃは、実際に人型ロボット１を遠隔制御する場合には、人型ロボット１だけの３次元モデルである。人型ロボット１の３次元モデルはモデル画像生成部３４Ｃが生成し、周囲環境の３次元モデルは周囲環境画像生成部４８が生成する。シミュレーション時に人型ロボット１および周囲環境の３次元モデル５６Ｃを生成する３次元モデル生成部を、モデル画像生成部３４Ｃおよび周囲環境画像生成部４８とは別に設けてもよい。

現場カメラ２の位置は、シミュレーション部４７が模擬する人型ロボット１の動きにより変化する。周囲環境画像６９は、現場カメラ２の位置から周囲環境を見る画像である。周囲環境画像生成部４８は、環境構造データ８８、姿勢データ５２Ｃおよび３次元モデル５６Ｃを参照して、周囲環境画像６９を生成する。シミュレーション時に生成される周囲環境画像６９は、シミュレーションでない場合に撮影される撮影画像５１の替りに使用される。周囲環境画像６９の各画素に対応させて、その画素に表示される物までの現場カメラ２からの距離を記憶しておく。

モデル画像生成部３４Ｃは、シミュレーション時には、シミュレーション部４７が出力する姿勢データ５２Ｃとロボット構造データ８１を参照してモデル画像５７を生成する。モデル画像５７でも、マニピュレータ画像５９を表示する各画素に対応させて、その画素に表示される３次元モデル５６の部位までの現場カメラ２からの距離を記憶する。

シミュレーション部４７が生成する姿勢データ５２Ｃから決まる人型ロボット１の各部の３次元位置と物体２０が存在する位置とが一致する場合に、触覚データ５３Ｃは、接触ありとして生成される。

提示画像生成部３６Ｃは、シミュレーション時にはモデル画像５７と周囲環境画像６９とを重ね合わせてシミュレーション画像７０を生成する。モデル画像５７と周囲環境画像６９とを重ね合わせる際には、モデル画像５７に含まれるマニピュレータ画像５９が周囲環境画像６９よりも優先して表示されるように重ね合わせる。具体的には、モデル画像５７でマニピュレータ画像５９が表示される画素には、シミュレーション画像７０でもマニピュレータ画像５９を表示する。例えばシミュレーションにおいて物体２０の３次元位置が人型ロボット１よりも現場カメラ２に近い位置であり、現場カメラ２で撮影すると物体２０が人型ロボット１を隠す場合には、その画素（画素ＸＸと呼ぶ）には周囲環境画像６９では物体２０が表示され、モデル画像５７ではマニピュレータ画像５９が表示される。シミュレーション画像７０では、画素ＸＸにマニピュレータ画像５９だけまたはマニピュレータ画像５９および物体２０を表示する。シミュレーション画像７０は、シミュレーション部４７が出力する姿勢データ５５Ｃおよび構造データ記憶部３２を参照して人型ロボット１および周囲環境を含む３次元モデル５６Ｃを現場カメラ２の位置から見る画像である。周囲環境画像生成部４８、モデル画像生成部３４Ｃおよび提示画像生成部３６Ｃは、シミュレーション画像７０を生成するシミュレーション画像生成部を構成する。

提示画像生成部３６Ｃは、シミュレーション画像７０に、さらに接触シンボル６０を含む触覚画像５８および動作指示アイコン６５を含む動作指示画像６６を重ね合わせた動作指示表示シミュレーション画像７１を生成する。動作指示表示シミュレーション画像７１が、提示画像５０としてヘッドマウントディスプレイ４に表示される。

動作を説明する。図１７は、実施の形態４に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する手順を説明するフローチャートである。実施の形態３の場合の図１５と異なる点を説明する。

ステップＳ０１Ｃで、環境構造データ８８も構造データ記憶部３２Ｃに記憶させる。

制御信号が人型ロボット１に送信されるＳ０４の前に、シミュレーションかどうかをチェックするステップＳ１３を追加する。シミュレーションでない場合(Ｓ１３でＮＯ)は、Ｓ０４からＳ０６Ｂが実行される。

シミュレーションである場合(Ｓ１３でＹＥＳ)は、ステップＳ１４で、動作指示データ５４Ｂがシミュレーション部４７に入力される。ステップＳ１５で、シミュレーション部４７が、動作指示データ５４Ｂにより指示される動作を人型ロボット１がとるようにシミュレーションする。そして、シミュレーションの結果として、姿勢データ５２Ｃ、触覚データ５３Ｃおよび撮影条件データ５５Ｃを生成して出力する。ステップＳ１６で、モデル画像生成部３４Ｃが、シミュレーション部４７が出力する姿勢データ５２Ｃおよび撮影条件データ５５Ｃからモデル画像５７を生成し、周囲環境画像生成部４８が周囲環境画像６９を生成する。

ステップＳ１７で、モデル画像５７、周囲環境画像６９、姿勢データ５２Ｃ、触覚データ５３Ｃ、撮影条件データ５５Ｃおよび動作指示データ５４Ｂから、提示画像生成部３６Ｃが動作指示表示シミュレーション画像７１を生成する。動作指示表示シミュレーション画像７１は、提示画像５０としてオペレータ３０に提示される。動作指示表示シミュレーション画像７１が、提示画像５０としてヘッドマウントディスプレイ４に表示される。Ｓ１７の後は、ステップＳ０７が実行される。

シミュレーション部４７を備えることで、人型ロボット１の操作の練習をオペレータ３０がより手軽に実施できるようになる。そのため、オペレータ３０が人型ロボット１を遠隔制御する技能を、シミュレーション部４７が無い場合よりもより短期間で効率的に習得できる。

制御装置が周囲環境画像生成部を備えず、シミュレーション画像を生成するシミュレーション画像生成部を備えるようにしてもよい。図１８と図１９を参照して、シミュレーション画像生成部を備える実施の形態４の変形例を説明する。図１８は、実施の形態４に係る遠隔制御マニピュレータシステムの変形例の機能構成を説明するブロック図である。図１９は、実施の形態４に係る遠隔制御マニピュレータシステムの変形例で人型ロボットを遠隔制御する手順を説明するフローチャートである。

変形例の遠隔制御マニピュレータシステム１００Ｄを構成する制御装置３Ｄは、制御装置３Ｃに対して、周囲環境画像生成部４８の替わりにシミュレーション画像生成部４８Ｄを有する。状態データ記憶部３３Ｄと提示画像生成部３６Ｄを変更している。制御装置３Ｄは、モデル画像生成部３４Ｃではなく、モデル画像生成部３４を有する。モデル画像生成部３４は、人型ロボット１を遠隔制御する場合だけ動作し、シミュレーション時には動作しない。

状態データ記憶部３３Ｄは、周囲環境画像６９を記憶しない。シミュレーション画像生成部４８Ｄは、３次元モデル５６Ｃを生成し、３次元モデル５６Ｃからシミュレーション画像７０を生成する。シミュレーション画像生成部４８Ｄは、３次元モデル５６Ｃから現場カメラ２からの人型ロボット１および周囲環境の距離を求め、距離が近い方を表示するようにシミュレーション画像７０を生成する。ただし、人型ロボット１よりも近い位置に物体２０などが存在する画素では、マニピュレータ画像５９と周囲環境の画像の両方が表示されるように、シミュレーション画像７０を生成する。シミュレーション画像生成部４８Ｄは、マニピュレータ画像５９を周囲環境よりも優先して表示するシミュレーション画像７０を生成する。

提示画像生成部３６Ｃは、シミュレーション画像７０に、接触シンボル６０を含む触覚画像５８および動作指示アイコン６５を含む動作指示画像６６を重ね合わせた動作指示表示シミュレーション画像７１を生成する。動作指示表示シミュレーション画像７１が、提示画像５０としてヘッドマウントディスプレイ４に表示される。

図１９と図１７の異なる点を説明する。ステップＳ１６Ｄで、シミュレーション画像生成部４８Ｄがシミュレーション画像７０を生成する。ステップＳ１７Ｄで、シミュレーション画像７０、姿勢データ５２Ｃ、触覚データ５３Ｃ、撮影条件データ５５Ｃおよび動作指示データ５４Ｂから、提示画像生成部３６Ｃが動作指示表示シミュレーション画像７１を生成する。

シミュレーション画像生成部は、モデル画像と周囲環境画像を作成して、モデル画像と周囲環境画像を重ね合わせてシミュレーション画像を作成してもよい。シミュレーション部が出力する姿勢データおよび構造データ記憶部を参照してマニピュレータのモデルおよび周囲環境をカメラの位置から見る画像であるシミュレーション画像を生成するものであれば、シミュレーション画像生成部はどのようなものでもよい。

シミュレーション部は、触覚センサ７の模擬まではせず、触覚データを出力しないようにしてもよい。触覚センサ７の模擬はするが、動作指示画像を生成しないようなシミュレーション部でもよい。触覚センサを有しない人型ロボットを制御する制御装置や、動作指示画像生成部を有しない制御装置が、シミュレーション部を備えるようにしてもよい。

実施の形５．
実施の形態５は、オペレータが外骨格型の動作指示入力装置を装着し、動作指示が不適切な場合に、動作指示入力装置がオペレータの動きを妨げる力を発生させるように実施の形態３を変更した場合である。図２０は、この発明の実施の形態５に係る遠隔制御マニピュレータシステムの機能構成を説明するブロック図である。実施の形態３の場合の図１３と異なる点を説明する。

オペレータ３０は、外骨格型の動作指示入力装置９０を装着する。図２１は、実施の形態５に係る遠隔制御マニピュレータシステムが有する外骨格型の動作指示入力装置の構造を説明する図である。動作指示入力装置９０は、肩連結フレーム９１と、肩装着バンド９２と、左右の肩関節計測部９３と、左右の上腕フレーム９４と、左右の肘関節計測部９５と、左右の前腕フレーム９６と、手首装着バンド９７とを有する。肩連結フレーム９１は、両肩の位置を結ぶフレームである。肩装着バンド９２は、肩連結フレーム９１をオペレータ３０の左右の肩付近に装着する。手首装着バンド９７は、オペレータの左右の手首に前腕フレーム９６を装着する。肩連結フレーム９１、上腕フレーム９４および前腕フレーム９６の長さは、オペレータ３０の体格に合わせて調整可能である。動作指示入力装置は、内骨格型のものでもよい。

肩関節計測部９３は、通常時はオペレータ３０の動作を妨げず、上腕フレーム９４が肩連結フレーム９１との間でなす角度を計測する。上腕フレーム９４が肩連結フレーム９１との間でなす角度として、前後方向の回転および左右方向の回転の２つの角度を、肩関節計測部９３は計測する。肘関節計測部９５は、前腕フレーム９６が上腕フレーム９４との間でなす角度を、２自由度の回転角度として計測する。

オペレータ３０が入力する動作指示にしたがって人型ロボット１の肩関節部１２Ａまたは肘関節部１２Ｂが動けない場合は、動作指示にしたがって動けない、すなわち動作指示が不実行になる部位である肩関節部１２Ａまたは肘関節部１２Ｂで、オペレータ３０の動作を妨げる力（抵抗力と呼ぶ）を発生させる。肩関節計測部９３および肘関節計測部９５は、抵抗力を発生させる動作抑制力発生部でもある。動作指示にしたがって人型ロボット１が動けない場合の例は、人型ロボット１が動ける速度を超える速さでオペレータ３０が動く場合などである。抵抗力は、電磁ソレノイド、電気粘性流体、電気ブレーキなどにより発生させる。関節部以外にも姿勢データを定義する場合は、その姿勢データに対応する部位で抵抗力を発生させるようにしてもよい。

動作指示データ生成部３７Ｅは、人型ロボット１の左右の肩関節部１２Ａ、肘関節部１２Ｂに関しては、左右の肩関節計測部９３および肘関節計測部９５が計測する角度から動作指示データ５４Ｂを生成する。肩関節部１２Ａ、肘関節部１２Ｂ以外に関しては、動作指示データ生成部３７Ｅは動作指示入力画像６３Ａ、６３Ｂから動作指示データ５４Ｂを生成する。

なお、人型ロボット１はアクチュエータ１３の伸縮により関節部１２の角度を変更する。アクチュエータ１３の配置は人間の筋肉と同様にしており、肩関節部１２Ａおよび肘関節部１２Ｂは、２回転自由度である。肩関節計測部９３および肘関節計測部９５は、計測した回転角度を人型ロボット１の肩関節部１２Ａおよび肘関節部１２Ｂがとるべき回転角度として出力する。

遠隔制御マニピュレータシステム１００Ｅを構成する制御装置３Ｅは、動作抑制力制御部４９を有する。動作抑制力制御部４９は、人型ロボット１の左右の肩関節部１２Ａ、肘関節部１２Ｂに関して指示実行結果データ６７が不実行である場合は、対応する肩関節計測部９３または肘関節計測部９５に対して、抵抗力を発生するように制御する。抵抗力の大きさは、動作指示データ５４Ｂと動作遅延時間後の姿勢データ５２との差の大きさに応じて変化させる。なお、動作抑制力制御部４９が抵抗力を発生する制御信号を送る肩関節計測部９３または肘関節計測部９５は、動作指示アイコン６５がマニピュレータ画像５９と離れて表示されることになる関節部１２に対応するものである。

構造データ記憶部３２Ｅには、動作指示入力装置９０の構造を定義する動作指示入力装置構造データ８９も記憶される。動作指示入力装置構造データ８９には、指示実行結果データ６７のそれぞれに対して、対応する動作指示入力装置９０の関節計測部（動作抑制力発生部）を定義する。

動作を説明する。図２２は、実施の形態５に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する手順を説明するフローチャートである。実施の形態３の場合の図１５と異なる点を説明する。

ステップＳ０１Ｅで、動作指示入力装置構造データ８９も構造データ記憶部３２Ｅに記憶させる。

動作指示表示撮影画像６８を提示画像５０として生成するＳ０６Ｂと並行して、ステップＳ２１およびステップＳ２２が実行される。Ｓ２１では、肩関節部１２Ａおよび肘関節部１２Ｂに関して、不実行な指示実行結果データ６７が存在するかどうかをチェックする。存在する場合(Ｓ２１でＹＥＳ)の場合は、Ｓ２２で不実行な指示実行結果データ６７に対応する姿勢データ５２に関係する関節計測部で抵抗力を発生させる。

図２３は、実施の形態５に係る遠隔制御マニピュレータシステムで人型ロボットを遠隔制御する際に抵抗力が発生している状態を示す図である。図２３は、オペレータ３０が肘関節を速く曲げすぎている場合を示している。提示画像５０において、前腕および手の動作指示アイコン６５が、人型ロボット１から離れた位置に表示される。同時に、肘関節計測部９５が抵抗力を発生させる。抵抗力が発生することで、オペレータ３０は滑らかに動いていた肘関節の動きが妨げられることを感じる。

ステップＳ０７Ｅで、オペレータ３０が提示画像５０を見ると同時に抵抗力が発生している場合には抵抗力を感じて、次にとる動作を決める。あるいは、作業の終了指示を入力する。

オペレータ３０が入力する動作指示が視覚的に表示されるだけでなく、肩関節と肘関節に関しては、入力した動作指示が不適切な場合には、動作抑制力発生部が発生する抵抗力により不適切な動作指示であることを認識できる。そのため、オペレータ３０が遠隔制御する人型ロボット１あるいはマニピュレータの特性を効率的に学習することができる。

人型ロボット１の手首関節部１２Ｃおよび手部１１Ｄの各指関節部でも、抵抗力を発生させる動作抑制力発生部として兼用される動作指示入力装置を備えるようにしてもよい。少なくとも一部の動作指示を入力する動作指示入力装置を、動作抑制力発生部として兼用される動作指示入力装置にしてもよい。オペレータ３０が、動作指示入力装置としては使用しない動作抑制力発生装置（動作抑制力発生部）を装着するようにしてもよい。

動作指示が不適切な場合にオペレータの動作を妨げる抵抗力を発生させることもできるシミュレーション部を備えるようにしてもよい。

本発明はその発明の精神の範囲内において各実施の形態の自由な組み合わせ、あるいは各実施の形態の変形や省略が可能である。

１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ：遠隔制御マニピュレータシステム
１：人型ロボット（マニピュレータ）
２：現場カメラ（カメラ）
３、３Ａ、３Ｂ、３Ｃ、３Ｄ、３Ｅ：制御装置
４：ヘッドマウントディスプレイ（表示装置）
５：ヘッドホン（音発生部）
６Ａ、６Ｂ：指示読取カメラ（動作指示入力部）
７：触覚センサ
８：通信回線
９：姿勢センサ
１０：ＬＡＮ
１１：骨格部
１１Ａ：胴体部
１１Ｂ：上腕部
１１Ｃ：前腕部
１１Ｄ：手部
１１Ｅ：頭部
１２：関節部
１２Ａ：肩関節部
１２Ｂ：肘関節部
１２Ｃ：手首関節部
１２Ｄ：首関節部
１３：アクチュエータ
１４：制御部
１５：通信部
１６：記憶部

２０：物体
３０：オペレータ（操作者）
２１：ＣＰＵ(Central processing unit)
２２：メモリ部

３１：通信部
３２、３２Ｂ、３２Ｃ、３２Ｅ：構造データ記憶部
３３、３３Ｂ、３３Ｃ、３３Ｄ：状態データ記憶部
３４：モデル画像生成部
３４Ｃ：モデル画像生成部（シミュレーション画像生成部）
３５：触覚画像生成部
３６、３６Ｂ、３６Ｄ：提示画像生成部
３６Ｃ：提示画像生成部（シミュレーション画像生成部）
３７、３７Ｂ、３７Ｅ：動作指示データ生成部（動作指示入力部）
３８：制御信号生成部
３９：特徴点抽出部
４０：画像制約条件生成部
４１：姿勢決定部
４２：指示データ変換部
４３：接触音生成部（音制御部）
４４：動作指示画像生成部
４５：指示実行結果検出部
４６：動作力速度検知部
４７：シミュレーション部
４８：周囲環境画像生成部（シミュレーション画像生成部）
４８Ｄ：シミュレーション画像生成部
４９：動作抑制力制御部

５０、５０Ｂ、５０Ｃ：提示画像
５１：撮影画像
５２、５２Ｃ：姿勢データ
５３、５３Ｃ：触覚データ
５４、５４Ｂ：動作指示データ
５５、５５Ｃ：撮影条件データ
５６：３次元モデル
５７：モデル画像
５８：触覚画像
５９：マニピュレータ画像
６０：接触シンボル
６１：モデル表示撮影画像
６２：触覚表示撮影画像
６３Ａ、６３Ｂ：動作指示入力画像
６４：操作者姿勢データ
６５：動作指示アイコン
６６：動作指示画像
６７：指示実行結果データ
６８：動作指示表示撮影画像
６９：周囲環境画像
７０：シミュレーション画像
７１：動作指示表示シミュレーション画像

８１、８１Ｃ：ロボット構造データ（マニピュレータ構造データ）
８２：カメラ構造データ
８３：触覚センサ構造データ
８４：読取カメラ構造データ
８５：操作者体格データ
８６：動作指示表示要素
８７：力速度換算係数
８８：環境構造データ
８９：動作指示入力装置構造データ

９０：動作指示入力装置（動作指示入力部、動作抑制力発生部）
９１：肩連結フレーム
９２：肩装着バンド
９３：肩関節計測部
９４：上腕フレーム
９５：肘関節計測部
９６：前腕フレーム
９７：手首装着バンド

Claims (20)

1. 操作者により遠隔制御されて物体を扱うマニピュレータと、
   前記マニピュレータが含まれる撮影画像を撮影するカメラと、
   前記マニピュレータの位置および姿勢を表す姿勢データを検出する姿勢センサと、
   前記マニピュレータが動くまたは静止する動作を指示する動作指示を前記操作者が入力する動作指示入力部と、
   前記動作指示から前記マニピュレータを制御する制御信号を生成する制御信号生成部、前記マニピュレータの構造を表すマニピュレータ構造データを記憶する構造データ記憶部、前記カメラの位置から見る前記マニピュレータのモデルの画像であるモデル画像を前記マニピュレータ構造データおよび前記姿勢データを参照して生成するモデル画像生成部、前記モデル画像と前記撮影画像とを重ね合わせて前記操作者に提示する提示画像を生成する提示画像生成部を有する制御装置と、
   前記提示画像を表示する表示装置とを備え、
   前記提示画像生成部は、前記モデル画像で前記マニピュレータが表示されている画素であって、かつ前記撮影画像において前記マニピュレータが撮影されていない画素に前記モデル画像を表示し、その他の画素では前記モデルを表示しないように前記モデル画像と前記撮影画像とを重ね合わせて前記提示画像を生成する、遠隔制御マニピュレータシステム。
2. 操作者により遠隔制御されて物体を扱うマニピュレータと、
   前記マニピュレータが含まれる撮影画像を撮影するカメラと、
   前記マニピュレータの位置および姿勢を表す姿勢データを検出する姿勢センサと、
   前記マニピュレータが動くまたは静止する動作を指示する動作指示を前記操作者が入力する動作指示入力部と、
   前記動作指示から前記マニピュレータを制御する制御信号を生成する制御信号生成部、前記マニピュレータの構造を表すマニピュレータ構造データを記憶する構造データ記憶部、前記カメラの位置から見る前記マニピュレータのモデルの画像であるモデル画像を前記マニピュレータ構造データおよび前記姿勢データを参照して生成するモデル画像生成部、前記モデル画像と前記撮影画像とを重ね合わせて前記操作者に提示する提示画像を生成する提示画像生成部を有する制御装置と、
   前記提示画像を表示する表示装置と、
   前記マニピュレータが前記物体と接触しているか接触していないかを表す触覚データを検出する触覚センサとを備え、
   前記構造データ記憶部は、前記触覚センサの構造を表す触覚センサ構造データを記憶し、
   前記制御装置は、前記触覚センサ構造データおよび前記触覚データを参照して前記触覚センサが前記物体と接触していることを表す接触シンボルを含む触覚画像を生成する触覚画像生成部をさらに有し、
   前記提示画像生成部は、前記触覚画像も重ね合わせて前記提示画像を生成する、遠隔制御マニピュレータシステム。
3. 前記触覚センサは、前記マニピュレータと前記物体の間に働く接触力を含む前記触覚データを検出し、
   前記触覚画像生成部は、前記接触力の大きさに応じて前記接触シンボルを変化させて前記触覚画像を生成する、請求項２に記載の遠隔制御マニピュレータシステム。
4. 前記操作者に聞こえる音を発生させる音発生部をさらに備え、
   前記制御装置は、前記触覚データに応じて前記音発生部を制御して音を発生させる音制御部をさらに有する、請求項２または請求項３に記載の遠隔制御マニピュレータシステム。
5. 前記制御装置は、前記姿勢データが前記動作指示にしたがっているか否かを検出する指示実行結果検出部、前記指示実行結果検出部が前記動作指示にしたがっていないと検出する前記姿勢データである指示不実行姿勢データが存在する場合に、前記動作指示にしたがう動作を表す動作指示アイコンが含まれる動作指示画像を生成する動作指示画像生成部をさらに有し、
   前記提示画像生成部は、前記動作指示画像も重ね合わせて前記提示画像を生成する、請求項１から請求項４までの何れか１項に記載の遠隔制御マニピュレータシステム。
6. 前記操作者が装着し、前記操作者の動作を妨げる抵抗力を発生させる動作抑制力発生部をさらに備え、
   前記制御装置は、前記指示不実行姿勢データが存在することを前記指示実行結果検出部が検出する場合に、前記指示不実行姿勢データに対応する部位で前記動作抑制力発生部が前記抵抗力を発生するように制御する動作抑制力制御部をさらに有する、請求項５に記載の遠隔制御マニピュレータシステム。
7. 前記動作抑制力発生部は、少なくとも一部の前記動作指示を前記操作者が入力する前記動作指示入力部と兼用され、
   前記制御信号生成部は、前記動作抑制力発生部と兼用される前記動作指示入力部から入力される前記動作指示も使用して前記制御信号を生成する、請求項６に記載の遠隔制御マニピュレータシステム。
8. 前記マニピュレータは、発生する力またはトルク、移動速度、回転角速度の中の少なくとも１つに関して制限値を有し、前記マニピュレータは前記制限値を超えないように動作し、
   前記制限値が関係する前記姿勢データである制限値付き姿勢データが前記制限値を超えることになる前記動作指示が入力される場合に、前記制限値のために前記動作指示にしたがう動作ができない前記制限値付き姿勢データを前記指示実行結果検出部が前記指示不実行姿勢データとして検出する、請求項５から請求項７の何れか１項に記載の遠隔制御マニピュレータシステム。
9. 少なくとも一部の前記制限値が変更可能である、請求項８に記載の遠隔制御マニピュレータシステム。
10. 前記動作指示には指示動作力が含まれ、前記マニピュレータは前記指示動作力以下の力を発生させる、請求項１から請求項９の何れか１項に記載の遠隔制御マニピュレータシステム。
11. 前記構造データ記憶部は、前記マニピュレータが存在する、前記物体を含む周囲環境に関する構造データである環境構造データを記憶し、
    前記制御装置は、前記構造データ記憶部を参照して前記動作指示に対する前記マニピュレータの動きを模擬して前記姿勢データを出力するシミュレーション部、前記シミュレーション部が出力する前記姿勢データおよび前記構造データ記憶部を参照して前記マニピュレータのモデルおよび前記周囲環境を前記カメラの位置から見る画像であるシミュレーション画像を生成するシミュレーション画像生成部を有し、
    前記提示画像生成部は、前記シミュレーション画像を用いて前記提示画像を生成する、請求項１から請求項１０の何れか１項に記載の遠隔制御マニピュレータシステム。
12. 操作者が動作指示入力部により入力する動作指示が入力されて、物体を扱うマニピュレータを制御する制御信号を生成する制御信号生成部と、
    前記マニピュレータの構造を表すマニピュレータ構造データを記憶する構造データ記憶部と、
    姿勢センサが検出する前記マニピュレータの位置および姿勢を表す姿勢データと、カメラが撮影する前記マニピュレータが含まれる撮影画像とが入力され、前記姿勢データおよび前記構造データ記憶部を参照して前記カメラの位置から見る前記マニピュレータのモデルの画像であるモデル画像を生成するモデル画像生成部と、
    前記モデル画像と前記撮影画像とを重ね合わせて前記操作者に提示する提示画像を生成する提示画像生成部とを備え、
    前記提示画像生成部は、前記モデル画像で前記マニピュレータが表示されている画素であって、かつ前記撮影画像において前記マニピュレータが撮影されていない画素に前記モデル画像を表示し、その他の画素では前記モデルを表示しないように前記モデル画像と前記撮影画像とを重ね合わせて前記提示画像を生成する、制御装置。
13. 操作者が動作指示入力部により入力する動作指示が入力されて、物体を扱うマニピュレータを制御する制御信号を生成する制御信号生成部と、
    前記マニピュレータの構造を表すマニピュレータ構造データを記憶する構造データ記憶部と、
    姿勢センサが検出する前記マニピュレータの位置および姿勢を表す姿勢データと、カメラが撮影する前記マニピュレータが含まれる撮影画像とが入力され、前記姿勢データおよび前記構造データ記憶部を参照して前記カメラの位置から見る前記マニピュレータのモデルの画像であるモデル画像を生成するモデル画像生成部と、
    前記モデル画像と前記撮影画像とを重ね合わせて前記操作者に提示する提示画像を生成する提示画像生成部とを備え、
    前記マニピュレータが前記物体と接触しているか接触していないかを表す触覚データを検出する触覚センサから前記触覚データが入力され、
    前記構造データ記憶部は、前記触覚センサの構造を表す触覚センサ構造データを記憶し、
    前記触覚センサ構造データおよび前記触覚データを参照して前記触覚センサが前記物体と接触していることを表す接触シンボルを含む触覚画像を生成する触覚画像生成部をさらに備え、
    前記提示画像生成部は、前記触覚画像も重ね合わせて前記提示画像を生成する、制御装置。
14. 前記触覚データには、前記マニピュレータと前記物体の間に働く接触力が含まれ、
    前記触覚画像生成部は、前記接触力の大きさに応じて前記接触シンボルを変化させて前記触覚画像を生成する、請求項１３に記載の制御装置。
15. 前記操作者に聞こえる音を発生させる音発生部を前記触覚データに応じて制御して音を発生させる音制御部をさらに備えた、請求項１３または請求項１４に記載の制御装置。
16. 前記姿勢データが前記動作指示にしたがっているか否かを検出する指示実行結果検出部と、
    前記指示実行結果検出部が前記動作指示にしたがっていないと検出する前記姿勢データである指示不実行姿勢データが存在する場合に、前記動作指示にしたがう動作を表す動作指示アイコンが含まれる動作指示画像を生成する動作指示画像生成部とをさらに備え、
    前記提示画像生成部は、前記動作指示画像も重ね合わせて前記提示画像を生成する、請求項１２から請求項１５の何れか１項に記載の制御装置。
17. 前記指示不実行姿勢データが存在することを前記指示実行結果検出部が検出する場合に、前記操作者が装着し、前記操作者の動作を妨げる抵抗力を発生させる動作抑制力発生部の前記指示不実行姿勢データに対応する部位で、前記動作抑制力発生部が前記抵抗力を発生するように制御する動作抑制力制御部をさらに備えた、請求項１６に記載の制御装置。
18. 前記動作抑制力発生部は、少なくとも一部の前記動作指示を前記操作者が入力する前記動作指示入力部と兼用され、
    前記制御信号生成部は、前記動作抑制力発生部と兼用される前記動作指示入力部から入力される前記動作指示も使用して前記制御信号を生成する、請求項１７に記載の制御装置。
19. 前記マニピュレータは、発生する力またはトルク、移動速度、回転角速度の中の少なくとも１つに関して制限値を有し、前記マニピュレータは前記制限値を超えないように動作し、
    前記制限値が関係する前記姿勢データである制限値付き姿勢データが前記制限値を超えることになる前記動作指示が入力される場合に、その前記姿勢データが前記制限値のために前記動作指示にしたがうことができない前記制限値付き姿勢データを前記指示実行結果検出部が前記指示不実行姿勢データとして検出する、請求項１６から請求項１８の何れか１項に記載の制御装置。
20. 前記構造データ記憶部は、前記マニピュレータが存在する、前記物体を含む周囲環境に関する構造データである環境構造データを記憶し、
    前記構造データ記憶部を参照して前記動作指示に対する前記マニピュレータの動きを模擬するシミュレーション部、前記シミュレーション部が出力する前記姿勢データを使用し前記構造データ記憶部を参照して前記マニピュレータのモデルおよび前記周囲環境を前記カメラから見る画像であるシミュレーション画像を生成するシミュレーション画像生成部をさらに備え、
    前記提示画像生成部は、前記シミュレーション画像を用いて前記提示画像を生成する、請求項１２から請求項１９の何れか１項に記載の制御装置。

Images