JP7212390B2 - 遠隔操作システム - Google Patents

Description

特許法第３０条第２項適用 平成３０年２月１４日に以下のウェブサイトに公開 ｈｔｔｐｓ：／／ｓ２０１８．ｓｉｇｇｒａｐｈ．ｏｒｇ／ｃｏｎｆｅｒｅｎｃｅ／ｃｏｎｆｅｒｅｎｃｅ－ｏｖｅｒｖｉｅｗ／ｅｍｅｒｇｉｎｇ－ｔｅｃｈｎｏｌｏｇｉｅｓ／ 平成３０年６月１１日に以下のウェブサイトに公開 ｈｔｔｐ：／／ｂｌｏｇ．ｓｉｇｇｒａｐｈ．ｏｒｇ／２０１８／０６／ｏｐｅｒａｔｏｒｓ－ａｎｄ－ｓｕｒｒｏｇａｔｅｓ－ｅｘｐｌｏｒｉｎｇ－ｔｅｌｅｐｒｅｓｅｎｃｅ．ｈｔｍｌ／

本発明は、遠隔操作システムに関する。

遠隔ロボットを、あたかもオペレータの手元にあるかのようなものとして制御する技術に、テレイグジスタンスがある（例えば、非特許文献１参照）。

"Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ、Ｔｅｌｅｉｍｍｅｒｓｉｏｎ ａｎｄ Ｔｅｌｅｘｉｓｔｅｎｃｅ ＩＩ" Ｓｕｓｕｍｕ Ｔａｃｈｉ、Ｏｈｍｓｈａ、ＩＯＳ Ｐｒｅｓｓ、ＩＳＢＮ ４－２７４－９０６３８－８（Ｏｈｍｓｈａ）ＩＳＢＮ １－５８６０３－５１９－３

テレイグジスタンスは、遠隔にあるロボット（「サロゲート」と呼ばれる）のセンサ等からの情報に基づいて、該サロゲートを制御・操縦する技術である。テレイグジスタンスでは、オペレータはサロゲートに「憑依」して操作するような感覚を得ることができる。これによりオペレータは、遠隔地にあるものをあたかも近くにあるかのように感じながらリアルタイムに操作することができる。

しかしながら従来のテレイグジスタンスでは、サロゲートが人間でなくロボットであるため、人間同士で身体的コミュニケーションを取ったり、感覚を共有したりすることはできない。

本発明はこうした状況に鑑みてなされたものであり、その目的は、遠隔にいる人間同士が、あたかも１つの身体を共有するような感覚を持ちながら身体的コミュニケーションを取ることを可能とする技術を提供することにある。

上記課題を解決するために、本発明のある態様の遠隔操作システムは、ロボットアームと、撮影装置と、基部と、ロボットアームを遠隔から操作するための遠隔操作部と、を備える。ロボットアームは、基部に取り付けられる。撮影装置は、基部に取り付けられて装着者の頭部近傍に配置される。基部は、装着者の背部等の上半身に装着される。ロボットアームと、撮影装置と、は、遠隔操作部に通信可能に接続されている。遠隔操作部は、撮影装置から受信した映像に基づき、ロボットアームを操作する。

なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、遠隔にいる人間同士が、あたかも１つの身体を共有するような感覚を持ちながら身体的コミュニケーションを取ることができる。

第１の実施形態に係る遠隔操作システムの模式図である。 図１の遠隔操作システムのロボットアームの模式図である。 装着者が図１の遠隔操作システムを装着した状態を示す図である。 一実施形態に係る遠隔操作システムの利用シーンを示す図である。 第２の実施形態に係る遠隔操作システムのハンド部を示す図である。 第３の実施形態に係る遠隔操作システムの固定部品を示す図である。 第５の実施形態に係る撮影装置の側面図である。 第１のタイプのコミュニケーションを示す図である。 第２のタイプのコミュニケーションを示す図である。 第３のタイプのコミュニケーションを示す図である。

（第１の実施形態）
図１は、一実施形態に係る遠隔操作システム１の模式図である。遠隔操作システム１は、ロボットアーム１０と、撮影装置２０と、基部３０と、ロボットアーム１０を遠隔から操作するための遠隔操作部（図４の７０）と、を備える。ロボットアーム１０は、基部３０に取り付けられる。基部３０は、基部３０を装着する者（以下、「装着者」という）の背部等の上半身に装着される。撮影装置２０は、基部３０に取り付けられて装着者の頭部近傍に配置される。ロボットアーム１０と、撮影装置２０と、は、遠隔操作部７０に通信可能に接続されている。

撮影装置２０は、例えば動画等の映像を撮影するビデオカメラである。撮影装置２０は装着者の頭部近傍に配置されているため、撮影装置２０が撮影する映像は、装着者が見ている景色とほぼ同じものである。この意味で撮影装置２０は、装着者と視点を共有する。撮影装置２０は、撮影した映像を遠隔操作部７０に送信する。

撮影装置２０は、装着者が見る景色とほぼ同じものを撮影するために、装着者の前方を向いて配置されていてもよい。

遠隔操作部７０は、映像受信部と、表示部と、コントローラ（図４の７２０ａ、７２０ｂ）と、操作信号送信部（図示しない）と、を備える。

映像受信部は、撮影装置２０が撮影した映像を受信する。表示部は、撮影装置２０が受信した映像を、遠隔操作部７０を操作する者（以下、「操作者」という）に対して表示する。操作者は、表示部に表示された装着者側の映像を見ながら、ロボットアーム１０を操作するために、コントローラ７２０ａ，７２０ｂを動かす。これによりコントローラ７２０ａ、７２０ｂは、ロボットアーム１０の動作を定める操作信号を生成する。操作信号送信部は、コントローラ７２０ａ、７２０ｂが生成した操作信号を、ロボットアーム１０に送信する。

映像受信部と表示部とは、図４に示されるようにヘッドマウントディスプレイ７１０として一体化されていてもよいし、別体であってもよい。表示部はこれに限られず、液晶ディスプレイ、ビデオプロジェクタなどの任意の好適な表示装置であってよい。コントローラは、図４に示されるように、操作者の右手及び左手に把持されるモーションコントローラであってよい。コントローラはこれに限られず、ジョイスティック、ゲームパッドなどの任意の好適なコントローラであってよい。

ロボットアーム１０は、遠隔操作部７０から受信した操作信号に従って運動する。ロボットアーム１０は、装着者の身体（例えば腕）に取り付けられてもよいし、取り付けられなくてもよい。ロボットアーム１０は、装着者の背部等の上半身に装着された基部３０に取り付けられているため、装着者の後方から装着者の身体に働きかけるようにして運動する。

図２は、図１の遠隔操作システム１のロボットアーム１０の模式図である。ロボットアーム１０は、肩部１１０と、肩関節１１２と、上腕部１１４と、肘関節１１６と、前腕部１１８と、手首部１２０と、を備える。

肩関節１１２は、モータによって、軸１３０、１３２、１３４の周りに、それぞれ独立に回転可能である。肘関節１１６は、モータによって、軸１３６、１３８の周りに、それぞれ独立に回転可能である。手首部１２０は、モータによって、軸１４０の周りに、それぞれ独立に回転可能である。

図１に戻る。基部３０は、ロボットアーム１０と、撮影装置２０と、が接続され、これらを支持する。基部３０は、例えば背負われる形で、装着者の背部等の上半身に装着される。基部３０は、装着者への装着を容易にするための、背負いベルト（図３の４０）等の装着具を備えてもよい。基部３０の内部には、ロボットアーム１０や撮影装置２０に電力を供給するためのバッテリーが配置されてもよい。基部３０の内部には、遠隔操作部７０からの操作信号を受信して、ロボットアーム１０や撮影装置２０の運動を制御する制御装置が配置されてもよい。

図３は、装着者が図１の遠隔操作システム１を装着した状態を示す図である。遠隔操作システム１の基部３０は、背負いベルト４０を用いて、装着者に背負われる。

遠隔操作システム１の、ユーザ（装着者及び操作者）から見た利用シーンの一例を説明する。図４は、一実施形態に係る遠隔操作システムの利用シーンを示す図である。装着者は、遠隔操作システム１の基部３０を背部等の上半身に装着する。操作者は、ヘッドマウントディスプレイ７１０を頭部に装着する。操作者は、ヘッドマウントディスプレイ７１０に表示される映像をモニタする。前述のように、ヘッドマウントディスプレイ７１０に表示される映像は、装着者の頭部近傍に配置された撮影装置２０が撮影した映像である。従って、操作者がモニタする映像は装着者が見ている景色とほぼ同じものである。換言すれば、操作者は、装着者と視点を共有し、あたかも装着者と一つの身体を共有したかのような感覚を持つ。操作者は、装着者の視点に立ったまま、右手と左手にそれぞれ把持したコントローラ７２０ａ、７２０ｂを動かすことにより、ロボットアーム１０を操作する。このようにして、操作者は、あたかも装着者と身体を共有したかのような感覚を持ちながら、ロボットアーム１０を介して装着者にアクセスすることができる。一方装着者は、ロボットアーム１０の動作を介して、操作者と身体的コミュニケーションを取ることができる。

上記のような身体的コミュニケーションの具体例には、「スポーツ、楽器演奏、運転といったスキルの伝授を目的として装着者の腕を動かすこと」「移動すべき方向に向けて装着者の腕を引っ張ること」「操作者と装着者との間でロボットアームを介して遊戯をすること」などがある。

以上述べた本実施形態によれば、遠隔にいる装着者と操作者同士が、ロボットアーム１０を介して、あたかも１つの身体を共有するような感覚を持ちながら身体的コミュニケーションを取ることができる。

（第２の実施形態）
一実施形態では、ロボットアーム１０は、ハンド部を備えてもよい。図５は、本実施形態に係る遠隔操作システム１のハンド部５０を示す図である。ハンド部５０は、ロボットアーム１０の手首部１２０に取り外し可能に取り付けられる。ハンド部５０は、手指の各関節にモータを備え、各関節で独立に曲げ伸ばしが可能である。本実施形態によれば、ハンド部５０が装着者の腕を掴んだり、ハンド部５０と装着者との間で物のやり取りを行ったりすることができるので、多様な身体的コミュニケーションが可能となる。

（第３の実施形態）
一実施形態では、ロボットアーム１０は、ロボットアーム１０を装着者の腕部に固定するための固定部品を備えてもよい。図６は、本実施形態に係る遠隔操作システム１の固定部品６０を示す図である。固定部品６０は、ロボットアーム１０の手首部１２０に取り外し可能に取り付けられる。一例として固定部品６０は、装着者の手首に巻き付けられて、ロボットアーム１０を装着者の手首に固定するバンドである。本実施形態によれば、ロボットアーム１０が装着者の腕部に固定されるので、装着者の腕部を強制的に運動させることができる。

（第４の実施形態）
ロボットアーム１０は、伸長したときの全長が装着者の腕の全長より長くてもよい。本実施形態によれば、ロボットアーム１０は、装着者が腕を伸ばした状態から更にその腕を引っ張ることが可能となるため、装着者を特定の方向に誘導することができる。

（第５の実施形態）
一実施形態では、撮影装置２０は、撮影方向を変えるための回転機構を備えてもよい。図７は、本実施形態に係る遠隔操作システム１の撮影装置２０の側面図である。回転機構２００を備える撮影装置２０は、遠隔操作部７０に通信可能に接続されている。回転機構２００は、モータによって、軸２１０、２２０、２３０の周りに、それぞれ独立に回転可能である（各軸周りの回転は、それぞれ、ローリング、ピッチング、ヨーイングの動作に相当する）。遠隔操作部７０は、回転機構２００を遠隔から操作し、撮影装置２０の撮影方向を変える。本実施形態によれば、操作者が撮影装置２０の撮影方向を自在に変えることができるので、より好適な視覚的情報を得ることができる。

（第６の実施形態）
一実施形態では、遠隔操作部７０は、操作信号を記録する記録部をさらに備えてもよい。操作信号は、遠隔操作部７０から出力されると同時に記録部に記録される。さらに操作信号は、記録部に記録されると同時にロボットアーム１０に送信されてもよい。この場合、ロボットアーム１０に送信された操作信号の履歴を記録部に残すことができる。あるいは操作信号は、記録部に記録されるが、記録と同時にロボットアーム１０に送信されなくてもよい。この場合操作信号は、遠隔操作部７０から出力されてから所定の時間を経過した後に、記録部からロボットアーム１０に送信されてもよい。記録部の構成は特に限定されないが、例えばメモリやストレージなどの記憶媒体であってよい。本実施形態によれば、操作信号を記録することができるので、操作信号の履歴を残したり、所定の時間差をおいて操作信号を送信したりすることができる。

特に遠隔操作部７０は、記録部に記録された操作信号を送信してもよい。すなわち操作信号は、遠隔操作部７０から直接送信されるのでなく、一旦記録部に記録された後に、記録部から送信される。例えば、遠隔操作システム１は、スポーツ、楽器演奏、運転といった、教師から生徒へのスキルの伝授に応用することができる。この場合、遠隔操作部７０は教師側に配置され、ロボットアーム１０は生徒側に配置される。この場合、例えば遠隔操作システム１を教室などで使用するときなどは、教師は教室に常駐しているとは限らない。このようなとき、本実施形態によれば、教師の教示内容を示す操作信号を記録部に記録しておき、当該操作信号を再生して送信することができるので、生徒は好みの時間に教室に行きスキルの伝授を受けることができる。

（第７の実施形態）
一実施形態では、遠隔操作部７０は、機械学習部をさらに備えてもよい。この機械学習部は、映像と操作信号を入力して機械学習を行うことにより、新たな操作信号を出力する。機械学習の手法は特に限定されないが、例えば畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）、再帰形ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＲＮＮ）、ＬＳＴＭネットワーク（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ：ＬＳＴＭ）などのニューラルネットワークを用いてもよく、この場合入力層を共通にした上で計算モデルごとに異なるニューラルネットワークを混在させてもよい。機械学習部は、撮影装置２０が撮影した映像と遠隔操作部７０が出力した操作信号とを教師データとして機械学習を実行し、新たな操作信号を出力する。例えば、遠隔操作システム１をスポーツにおける正しい身体運動（例えば、ゴルフのスイングやテニスのショットなど）の教示に応用する場合、生徒の実運動の映像と、それに応じた教師からの操作信号との組み合わせを教師データとして機械学習を行うことで、当該生徒にとって最適な操作信号を生成することができる。この場合、生徒の実運動の映像がゴルフのスイングやテニスのショットなどのような一連の連続映像である場合は、映像内で運動が急変する点（以下、「急変点」という）を見出し、ある急変点から次の急変点までの映像を学習のための１シーンとして切り出す処理を行ってもよい。本実施形態によれば、ロボットアーム側で撮影された映像と遠隔操作部が出力した操作信号とを教師データとして機械学習を行うことにより新たな操作信号が出力されるので、的確な操作信号を得ることができる。

特に遠隔操作部７０は、映像信号に基づき機械学習部が出力した操作信号を送信してもよい。この場合、ロボットアーム側で撮影された映像に応じた最適な操作信号が機械学習部から出力され、ロボットアーム側に送信される。本実施形態によれば、ロボットアームを装着した生徒は、自身の運動に応じた最適な操作信号を受信することができるので、最適な身体動作の教示を受けることができる。

（第８の実施形態）
一実施形態では、遠隔操作システム１は、複数のロボットアーム１０と、ロボットアーム１０と同数の撮影装置２０と、ロボットアーム１０と同数の基部３０とを備え、遠隔操作部７０は、全てのロボットアーム１０に同時に同じ操作信号を送信してもよい。例えば、遠隔操作システム１のロボットアーム側は、ロボットアーム１０と、撮影装置２０と、基部３０とからなるｎ個の組によって構成される。ただしｎは２以上の整数である。これらの組は、例えばｎ人の装着者によって装着される。一方、遠隔操作システム１の遠隔操作部側は、１つまたは複数の遠隔操作部７０から構成される。遠隔操作部７０からの操作信号は、ｎ個のロボットアームに対して同時に送信される。例えば、操作信号はマルチキャストプロトコルを用いて、ｎ個のロボットアームに送信されてよい。このとき表示部には、ｎ個の撮影装置２０のうちのいずれか１つによって撮影された映像が表示される。本実施形態によれば、例えば遠隔操作部７０が１人の教師側に配置され、ロボットアーム１０が複数の生徒側に配置されて動作の教示が行われるような応用例において、複数の生徒に同時に動作を教示することができるので、効率的な教育を実現することができる。これは、工場や学校などで、多数の生徒に対して同じ動作を教示するような場合に特に有効である。

（第９の実施形態）
一実施形態では、遠隔操作システム１は、複数の遠隔操作部７０を備え、複数の遠隔操作部７０の各々は、他の遠隔操作部７０が操作信号を送信中に割り込んで操作信号を送信することができる割り込み部を備えてもよい。例えば、遠隔操作システム１の遠隔操作部側は、ｎ個の遠隔操作部７０によって構成される。ただしｎは２以上の整数である。これらｎ個の遠隔操作部７０は、それぞれが例えばｎ人の教師によって操作される。一方、遠隔操作システム１のロボットアーム側は、ロボットアーム１０と、撮影装置２０と、基部３０とからなる１つまたは複数の組によって構成される。ロボットアームは、ｎ個の遠隔操作部７０のいずれか１つから送信された操作信号を受信し、これに基づいて動作する。ｎ個の遠隔操作部７０のそれぞれは、ロボットアーム１０を操作する操作信号を送信することができる。さらにｎ個の遠隔操作部７０のそれぞれは、割り込み部を起動することにより、他の遠隔操作部７０が操作信号を送信中に割り込んで操作信号を送信することができる。本実施形態によれば、例えば遠隔操作部７０がｎ人の教師側に配置され、ロボットアーム１０が１人の生徒側に配置されて動作の教示が行われるような応用例において、１人の生徒に対して複数の教師が共同で動作を教示することができるので、きめ細かく高度な教育を実現することができる。これは、１つの動作の教示のために、それぞれが専門性を備えた複数の教師による指示が必要な場合などに特に有効である。

（第１０の実施形態）
一実施形態では、遠隔操作システム１は、複数の遠隔操作部７０を備え、ロボットアーム１０は、複数の遠隔操作部７０から出力された操作信号が平均化された信号により操作されてもよい。例えば、遠隔操作システム１の遠隔操作部側は、ｎ個の遠隔操作部７０によって構成される。ただしｎは２以上の整数である。これらｎ個の遠隔操作部７０は、それぞれが例えばｎ人の教師によって操作される。一方、遠隔操作システム１のロボットアーム側は、ロボットアーム１０と、撮影装置２０と、基部３０とからなる１つまたは複数の組によって構成される。ｎ個の遠隔操作部７０から出力された各操作信号は、逐時集められ平均化される。以下、この逐時平均化された操作信号を「平均操作信号」と呼ぶ。平均化の方法は特に限定されないが、操作信号値の単純な算術平均を計算してもよいし、教師ごとに重みを付けた加重平均を計算してもよい。実装形態としては、ロボットアーム１０に複数の受信装置を設けて複数の遠隔操作部７０からの操作信号を受信し、これらをロボットアーム側で逐時平均化した上で操作信号として用いてもよい。あるいは、ロボットアーム側の受信部は１つとし、複数の遠隔操作部７０が共通の送信部を持ち、各遠隔操作部７０から出力された操作信号を当該送信部で逐時平均化した上でロボットアーム側に送信してもよい。教師は動作に独特の癖を持つことがあるが、この癖を生徒にそのまま伝授することは必ずしも好ましいことではない。これに対し、複数の教師を用意し、これらの教師の動作を平均化することにより、各教師の持つ癖を軽減し最適な動作とすることができる場合が多い。本実施形態によれば、教師の癖を取り除いた最適な動作を生徒に教示することができる。

装着者と操作者との間のロボットアームを介した身体的コミュニケーションは、一例として以下の３つのタイプに分類することができる。

（第１のタイプのコミュニケーション）「指示（Ｄｉｒｅｃｔ）」
図８は、第１のタイプのコミュニケーションを示す。本タイプのコミュニケーションでは、ロボットアーム１０は装着者の身体に取りつけられない。ロボットアーム１０は、指差しにより装着者に方向を指示したり、装着者との間で物を受け渡したりする。ロボットアームを介して、操作者と装着者とが握手や物のやり取りをすることなどが、本タイプのコミュニケーションの例である。本発明者らは、このタイプのコミュニケーションを指示「（Ｄｉｒｅｃｔ）」と名付けた。

（第２のタイプのコミュニケーション）「強制（Ｅｎｆｏｒｃｅ）」
図９は、第２のタイプのコミュニケーションを示す。本タイプのコミュニケーションでは、ロボットアーム１０は装着者の身体（例えば腕）に取りつけられる。ロボットアーム１０は、装着者の身体をガイドして強制的に所定の運動を行わせたり、装着者の身体を所定の位置に導いたりする。ロボットアームを介して、装着者に、スポーツ、楽器演奏、運転といったスキルを伝授することなどが、本タイプのコミュニケーションの例である。本発明者らは、このタイプのコミュニケーションを「強制（Ｅｎｆｏｒｃｅ）」と名付けた。

（第３のタイプのコミュニケーション）「誘導（Ｉｎｄｕｃｅ）」
図１０は、第３のタイプのコミュニケーションを示す。本タイプのコミュニケーションでは、ロボットアーム１０は装着者の身体に取りつけられる。更にロボットアーム１０は、伸長したときの全長が装着者の腕の全長より長い。ロボットアーム１０は、装着者が腕を伸ばした状態から、更にその腕を引っ張る方向に動作する。ロボットアームを介して、装着者を、装着者の手の届かない範囲にある所に向けて誘導することなどが、本タイプのコミュニケーションの例である。本発明者らは、このタイプのコミュニケーションを「誘導（Ｉｎｄｕｃｅ）」と名付けた。

（変形例）
以上、本発明を実施例を基に説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

撮影装置２０は２つのカメラを備えたステレオカメラであってよい。本変形例によれば、操作者は、撮影装置２０が撮影した映像を立体的に認識できるので、より高い臨場感で装着者と視点を共有することができる。

撮影装置２０の回転機構２００は、ヘッドマウントディスプレイ７１０を用いて操作されてもよい。このときヘッドマウントディスプレイ７１０は、撮影装置２０の回転機構２００を操作するための信号を、回転機構２００に送信する。送信される信号は、操作者の頭部の動きに連動して、撮影装置２０の撮影方向を動かすためのものである。本変形例によれば、操作者は、頭の動きによって、モニタする映像の撮影方向を自在に操作することができる。

撮影装置２０は、撮影装置２０の設置位置を移動するための移動機構を備えてもよい。移動機構は、モータによって、撮影装置２０の設置位置を、装着者の頭部に対して前後又は左右に移動する。遠隔操作部７０は、移動機構を遠隔から操作し、撮影装置２０の設置位置を移動する。本変形例によれば、操作者が撮影装置２０の設置位置を自在に変えることができるので、より好適な視覚的情報を得ることができる。

撮影装置２０は、前述の移動機構に加えて、装着者の頭部の位置を検知する頭部センサを備えてもよい。この場合、移動機構は、頭部センサが検知した装着者の頭部に位置に基づいて、撮影装置２０が装着者の視野内に入らないように、撮影装置２０の設置位置を移動する。本変形例によれば、撮影装置２０が装着者の視野内に入らないように移動するので、装着者の視野が撮影装置２０によって遮られることを防ぐことができる。

遠隔操作システム１は、装着者にウェアラブルなアイトラッキング装置を備えてもよい。この場合、撮影装置２０の回転機構２００は、アイトラッキング装置からの信号に基づき、装着者の視線に追随するように動作する。すなわち撮影装置２０は、装着者の視点と連動して自動的に撮影方向を変える。本変形例によれば、撮影装置２０は装着者が見た景色をそのまま撮影するため、操作者は、装着者と同じ視点を共有することができる。

遠隔操作システム１は、装着者の頭部付近にマイクロフォンを備えてもよい。マイクロフォンが集音した音は遠隔操作部７０に送信され、操作者によってモニタされる。本変形例によれば、操作者は、視点に加えて、聴覚をも装着者と共有することができる。

遠隔操作システム１は、装着者の頭部付近に配置した前述のマイクロフォンに加えて、装着者の耳付近に配置したスピーカ、あるいは装着者に装着されるヘッドフォンを備えてもよい。このとき遠隔操作部７０は、操作者の発する音声を集音するマイクロフォンを備える。装着者が発した音声は、装着者側のマイクロフォンによって集音されて、遠隔操作部７０に送信される。逆に、操作者が発した音声は、操作者側のマイクロフォンによって集音され、操作者側のスピーカ又はヘッドフォンに送信される。本変形例によれば、装着者と操作者との間で会話ができるので、両者は身体的コミュニケーションに加えて、音声的コミュニケーションを取ることができる。

ロボットアーム１０がロボットアーム１０を装着者の身体に固定するための固定部品を備える場合、固定部品はハンド型の形状であってもよい。ハンド型形状の固定部品の各手指は、対応する装着者の各手指に固定される。ハンド型形状の固定部品は、手指の各関節にモータを備え、各関節で独立に曲げ伸ばしが可能である。本変形例によれば、ロボットアーム１０が装着者の各手指で固定されるので、装着者の各手指を個別に強制的に運動させることができる。

ロボットアーム１０の上腕部１１４と前腕部１１８とは、それぞれ独立に長さ調整可能であってよい。本変形例によれば、ロボットアーム１０は、装着者の腕の長さや、前述の身体的コミュニケーションのタイプに応じて、的確な形態を取ることができる。

ロボットアーム１０は、速度センサ、加速度センサ、圧力センサ、温度センサなどのセンサを備えてもよい。これらのセンサは、ロボットアーム１０の動作に対する装着者の反応を検知し、その結果を遠隔操作部７０に送信する。例えば「強制」タイプのコミュニケーションの場合、センサは、装着者がロボットアーム１０に対してどう反応したか（例えば、「装着者の身体はロボットアーム１０の動作に対して素直に動いたか」「ロボットアーム１０の動作に逆らうような動きをしたか」「逆らうような動きをしたのであれば、いかなる強さであったか」等）を検知して、遠隔操作部７０にフィードバックする。本変形例によれば、ロボットアーム１０を介した操作者から装着者への方向のコミュニケーションに加えて、フィードバックを介した装着者から操作者への方向のコミュニケーションを取ることができる。

遠隔操作部７０は単数であることに代えて、複数であってもよい。この場合、別々の操作者がそれぞれの遠隔操作部７０を操作してもよい。本変形例によれば、操作者と装着者との間の一対一のコミュニケーションに代えて、複数の操作者と装着者との間の多対一のコミュニケーションが可能となる。これは、複数の教師（操作者）が共同して一人に生徒（装着者）にスキルを伝授するような場合、とりわけ有効である。

前述のように遠隔操作部７０が複数あって、別々の操作者がそれぞれの遠隔操作部７０を操作する実施形態の場合、遠隔操作システム１は、ある操作者が操作を行っている間は、他の操作者による操作が禁止されるような制御がされてもよい。さらに装着者側と各操作者側とにそれぞれマイクロフォンとスピーカが設けられて、双方の間で音声的コミュニケーションが可能な実施形態の場合、遠隔操作システム１は、ある操作者が装着者と会話している間は、他の操作者と装着者と間の会話が禁止されるような制御がされてもよい。本変形例によれば、複数の操作者と装着者との間の多対一のコミュニケーションにおいて、複数操作者からの同時アクセスに起因する混乱を回避することができる。

遠隔操作部７０は、コントローラ７２０ａ、７２０ｂに代えて、装着者側のロボットアーム１０と同様のロボットアームを備えてもよい。この場合、装着者側のロボットアーム１０と操作者側のロボットアームとは、同期して同じ動作をする。本変形例によれば、装着者と操作者同士が、１つの身体を共有するような感覚を持つことに加えて、同じ動作を共有するような感覚を持つことができる。

遠隔操作システム１を使用する２名の主体は、一方が操作者で他方が装着者であることに代えて、両方が対等であってもよい。この場合、２名のユーザは、それぞれ、ロボットアーム及び撮影装置を装着し、遠隔操作部を操作する。本変形例によれば、２名のユーザが対等の立場で、身体を共有するような感覚を持ちながら身体的コミュニケーションを取ることができる。

遠隔操作部７０における操作主体は、人間（操作者）であることに代えて、プログラムに基づくコンピュータであってもよい。また操作主体は、機械学習やディープラーニングなどによって実現される人工知能であってもよい。本変形例によれば、操作主体の自由度を向上することができる。

本発明は、遠隔地間の共同作業、スポーツのレッスン（ゴルフ、テニス等）、楽器演奏のレッスン（ピアノ等）、運転の教習、遠隔地間の身体を使ったゲーム、視覚障害者へのサポート等に利用することができる。

１ 遠隔操作システム、１０ ロボットアーム、 ２０ 撮影装置、 ３０ 基部、 ７０ 遠隔操作部

Claims (11)

1. ロボットアームと、撮影装置と、基部と、前記ロボットアームを遠隔から操作するための遠隔操作部と、を備え、
   前記ロボットアームは、前記基部に取り付けられ、
   前記撮影装置は、前記基部に取り付けられて装着者の頭部近傍に配置され、
   前記基部は、装着者の上半身に装着され、
   前記ロボットアームと、前記撮影装置と、は、前記遠隔操作部に通信可能に接続されており、
   前記遠隔操作部は、前記撮影装置から受信した映像を表示し、前記ロボットアームを操作する操作信号を送信することができ、
   前記ロボットアームは、上腕部および前腕部の長さがともに装着者の上腕部および前腕部より長いため装着者が腕を伸ばした状態から更にその腕を引っ張ることができることを特徴とする、遠隔操作システム。
2. 前記ロボットアームは、取外し可能なハンド部を備えることを特徴とする、請求項１に記載の遠隔操作システム。
3. 前記ロボットアームは、前記ロボットアームを装着者の腕部に固定するための固定部品を備えることを特徴とする、請求項１に記載の遠隔操作システム。
4. 前記撮影装置は、撮影方向を変えるための回転機構を備え、
   前記撮影装置は、前記遠隔操作部に通信可能に接続されており、
   前記遠隔操作部は、前記回転機構を遠隔から操作することを特徴とする、請求項１乃至３のいずれか一項に記載の遠隔操作システム。
5. 前記遠隔操作部は、前記操作信号を記録する記録部を備えることを特徴とする請求項１乃至４のいずれか一項に記載の遠隔操作システム。
6. 前記遠隔操作部は、前記記録部に記録された操作信号を送信することを特徴とする請求項５に記載の遠隔操作システム。
7. 前記遠隔操作部は、機械学習部をさらに備え、
   前記機械学習部は、前記映像と前記操作信号を入力して機械学習することにより、新たな操作信号を出力することを特徴とする請求項１乃至５のいずれか一項に記載の遠隔操作システム。
8. 前記遠隔操作部は、前記映像に基づき前記機械学習部が出力する操作信号を送信することを特徴とする請求項７に記載の遠隔操作システム。
9. 複数のロボットアームと、前記ロボットアームと同数の撮影装置と、前記ロボットアームと同数の基部とを備え、
   前記遠隔操作部は、全てのロボットアームに同時に同じ操作信号を送信することを特徴とする請求項１乃至８のいずれか一項に記載の遠隔操作システム。
10. 複数の遠隔操作部を備え、
    前記複数の遠隔操作部の各々は、他の遠隔操作部が操作信号を送信中に割り込んで操作信号を送信することができる割り込み部を備えることを特徴とする請求項１乃至９のいずれか一項に記載の遠隔操作システム。
11. 複数の遠隔操作部を備え、
    前記ロボットアームは、前記複数の遠隔操作部から出力された操作信号が平均化された信号によって操作されることを特徴とする請求項１乃至９のいずれか一項に記載の遠隔操作システム。

Images