JP7381632B2 - マルチモーダル感覚データに基づくロボットプラットフォームの遠隔制御 - Google Patents

Description

関連技術の相互参照

本出願は、同時出願である米国特許出願「Multi-Tread Vehicles and Methods of Operating Thereof」（Docket No. 16-0017-US-NP_BNGCP081US）、及び、同時出願である米国特許出願「Stereoscopic Camera and Associated Method of Varying a Scale of a Stereoscopic Image Pair」（Docket No. 15-2607-US-NP）に関連しており、これらはいずれ
も、すべての目的で参照によりその全体が本明細書に組み込まれる。

ロボットプラットフォームを制御するための方法及びシステムが提供され、より具体的には、いくつかの実施例において、遠隔の閉所に配置されるとともに、マルチモーダル感覚データに基づいて生成された遠隔の制御命令及び／又はローカルの制御命令を用いて制御されるロボットプラットフォームが提供される。

ロボットプラットフォームは、人間による直接の作業が好ましくない様々な環境に配置される。そのような環境では、ロボットプラットフォームを含む遠隔操作ロボットシステムを用いて、離れた位置にいるオペレータからの入力によって、遠隔動作を行うことができる。しかしながら、オペレータの作業環境の認識は、システムにおける感覚忠実度（sensory fidelity）のレベルによって制限される。このようなシステムを有効に動作させるためには、オペレータは、十分なレベルの忠実な感覚フィードバックを得ることによって、作業環境内に効果的にテレプレゼント（tele-present）しなければならない。一般に、オペレータに与えられる感覚の忠実度が高ければ高いほど、作業環境に実際に存在している感覚が強くなり、オペレータは、より効果的な動作命令を与えることができる。一方で、何らかの感覚体験の欠如によって状況が十分に把握できない場合、遠隔操作は非常に困難なものとなる。従来のほとんどの遠隔操作ロボットシステムでは、オペレータは、実際の作業環境について、限られた情報しか与えられない。また、主たる感覚フィードバックは視覚によるものである。高度な視覚システムを有するロボットプラットフォームでも、限られた情報しかオペレータに与えることができない。人間は、本来、視覚だけでなく複数の感覚に基づいて周囲の環境を把握する。オペレータに与えられる情報を視覚情報に限定すると、オペレータが環境を総合的に理解して必要な命令を与える能力が制限される。また、一般的な遠隔ロボットシステムは、いわゆる単眼視覚（cyclopean vision）の問題に悩まされている。具体的には、このようなシステムは、両眼立体視を提供しない単眼カメラ及びディスプレイを含む。環境を把握し、当該環境において操作タスクなどの様々な作業を行うためには、奥行きキュー（depth cue）が重要であり、精密な操作タスクのた
めにはそれが一段と重要である。様々な歪みによって、オペレータは、正確に作業することが難しく、歪みを伴ったまま長時間作業すると疲労をきたす。

人間による直接の操作に適さない閉所空間及び他の同様の空間において、ロボットプラットフォームを遠隔で制御するための方法及びシステムが提供される。制御は、マルチモーダル感覚データを用いて実現され、当該データは、両眼立体視覚（binocular stereoscopic vision）データ、両耳ステレオオーディオ（binaural stereophonic audio）データ、力反映ハプティック操作（force-reflecting haptic manipulation）データ、触覚（tactile）データなどの、少なくとも２種類の知覚反応を含むものである。マルチモーダル
感覚データは、閉所空間に配置されたロボットプラットフォームによって取得され、閉所空間の外部の遠隔制御ステーションに送信されて、閉所空間の表示を生成するために用いられる。マルチモーダル感覚データを用いることにより、遠隔制御ステーションのオペレ
ータに複数の感覚の高忠実度テレプレゼンスが提供され、オペレータは、より正確なユーザー入力を行うことができる。この入力が、ロボットプラットフォームに送信され、閉所空間内で様々な作業を行うことができる。

いくつかの実施形態において、マルチモーダル感覚データに基づいてロボットプラットフォームを遠隔制御する方法が提供される。当該方法は、ロボットプラットフォームを配置すること、前記ロボットプラットフォームを遠隔制御ステーションに通信接続すること、前記ロボットプラットフォームの２つ以上のセンサーを用いて前記マルチモーダル感覚データを取得すること、前記マルチモーダル感覚データの少なくとも一部を送信すること、及び、前記遠隔制御ステーションからの遠隔制御命令をロボットプラットフォームで受信することを含みうる。前記マルチモーダル感覚データは、少なくとも２種類の知覚反応を含みうる。前記少なくとも２種類の知覚反応は、両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データからなる群から選択することができる。マルチモーダル感覚データを取得することと、マルチモーダル感覚データを送信することとは、当該方法を実行している間、連続して繰り返される。当該方法は、前記遠隔制御ステーションから受信した前記遠隔制御命令を補正することを含みうる。いくつかの実施形態において、前記構造体は、航空機の翼である。

いくつかの実施形態において、前記ロボットプラットフォームは、構造体の閉所空間内に配置される。前記マルチモーダル感覚データの前記少なくとも一部を送信することは、前記ロボットプラットフォームが前記閉所空間内に位置している間に行われうる。

いくつかの実施形態において、当該方法は、前記マルチモーダル感覚データに基づいて、前記ロボットプラットフォームにおいてローカルの制御命令を生成することをさらに含む。当該方法は、前記ローカルの制御命令に基づいて、前記ロボットプラットフォームを用いて前記閉所空間内で１つ又は複数の作業を行うことをさらに含む。

いくつかの実施形態において、前記マルチモーダル感覚データは、少なくとも、前記両眼立体視覚データ、前記両耳ステレオオーディオデータ、及び、前記力反映ハプティック操作データを含む。これらの実施形態において、前記１つ又は複数の作業は、前記構造体の前記部品に穿孔することを含みうる。

いくつかの実施形態において、前記マルチモーダル感覚データは、少なくとも、前記両眼立体視覚データ、前記両耳ステレオオーディオデータ、前記力反映ハプティック操作データ、及び、触覚データを含みうる。これらの実施形態において、前記１つ又は複数の作業は、前記構造体に留め具を取り付けることを含む。

いくつかの実施形態において、当該方法は、前記マルチモーダル感覚データの前記少なくとも一部を送信する前に、前記マルチモーダル感覚データを補正することをさらに含む。当該方法は、送信する前記マルチモーダル感覚データの前記少なくとも一部を選択することをさらに含みうる。

いくつかの実施形態において、当該方法は、前記ロボットプラットフォームで受信した前記遠隔制御ステーションからの前記遠隔制御命令に基づいて、前記ロボットプラットフォームを用いて前記閉所空間内で１つ又は複数の作業を行うことをさらに含む。例えば、前記１つ又は複数の作業は、前記閉所空間内で前記ロボットプラットフォームの位置を変更すること、前記構造体の部品に穿孔すること、前記構造体に留め具を取り付けること、前記構造体をシールすること、前記構造体を塗装すること、前記閉所空間から物体を取り除くこと、及び、前記構造体を検査することからなる群から選択される。前記マルチモーダル感覚データの忠実度のレベルは、前記１つ又は複数の作業に対応する。いくつかの実
施形態において、前記マルチモーダル感覚データの忠実度のレベルは、時間とともに変化する。いくつかの実施形態において、前記１つ又は複数の作業は、前記ロボットプラットフォームで生成されたローカルの制御命令にも基づいて行われ、前記１つ又は複数の作業を行うために、前記ローカルの制御命令は、前記遠隔制御命令と組み合わされる。

いくつかの実施形態において、前記１つ又は複数の作業は、前記閉所空間内で前記ロボットプラットフォームの前記位置を変化させることを含む。これらの実施形態において、前記マルチモーダル感覚データは、少なくとも、前記両眼立体視覚データ及び前記ステレオオーディオデータを含みうる。

いくつかの実施形態において、前記ロボットプラットフォームは、ローカルエリアネットワークを用いて、前記遠隔制御ステーションに通信接続される。同じ又は他の実施形態において、前記ロボットプラットフォームは、少なくとも１つの無線通信リンクを用いて、前記遠隔制御ステーションに通信接続される。また、前記ロボットプラットフォームは、グローバル通信ネットワークを用いて、前記遠隔制御ステーションに通信接続される。

マルチモーダル感覚データに基づいて、構造体の閉所空間内のロボットプラットフォームを遠隔制御する方法も提供される。当該方法は、前記閉所空間内に配置された前記ロボットプラットフォームから前記マルチモーダル感覚データを受信すること、前記遠隔制御ステーションによって前記マルチモーダル感覚データの表示を生成すること、前記遠隔制御ステーションにおいてユーザー入力を捕捉すること、及び、前記閉所空間に配置された前記ロボットプラットフォームに遠隔制御命令を送信することを含みうる。前記マルチモーダル感覚データは、前記閉所空間の外部に配置されるとともに前記ロボットプラットフォームに通信接続された遠隔制御ステーションによって受信される。前記マルチモーダル感覚データは、両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データからなる群から選択される少なくとも２種類の知覚反応を含む。

いくつかの実施形態において、前記マルチモーダル感覚データの前記表示を生成することは、ビデオスペクトル、オーディオスペクトル、空間配向（spatial orientation）、
及び、固有受容感覚（proprioception）のうちの少なくとも１つに基づいて、前記マルチモーダル感覚データを補正することを含む。前記表示は、複数の感覚の高忠実度テレプレゼンスでありうる。いくつかの実施形態において、前記遠隔制御ステーションのユーザーインターフェイスは、前記マルチモーダル感覚データのうちの両眼立体視覚データを提示するための３Ｄディスプレイを含む。前記遠隔制御ステーションのユーザーインターフェイスは、前記マルチモーダル感覚データのうちの前記両耳ステレオオーディオデータを提示するためのステレオスピーカーを含みうる。

いくつかの実施形態において、前記遠隔制御命令は、前記閉所空間内において前記ロボットプラットフォームによって行われる１つ又は複数の作業を表す。前記１つ又は複数の作業は、前記閉所空間内で前記ロボットプラットフォームの位置を変更すること、前記構造体の部品に穿孔すること、前記構造体に留め具を取り付けること、前記構造体をシールすること、前記構造体を塗装すること、前記閉所空間から物体を取り除くこと、及び、前記構造体を検査すること、からなる群から選択されうる。

いくつかの実施形態において、少なくとも、前記マルチモーダル感覚データを受信することと、前記表示を生成することとは、連続して行われる。また、前記遠隔制御命令は、前記ユーザー入力に基づいて生成されうる。前記ロボットプラットフォームは、ローカルエリアネットワークを用いて、前記遠隔制御ステーションに通信接続されうる。同じ又は他の実施形態において、前記ロボットプラットフォームは、グローバル通信ネットワーク
を用いて、前記遠隔制御ステーションに通信接続される。

マルチモーダル感覚データを用いて構造体の閉所空間内で作業するためのロボットプラットフォームも提供される。当該ロボットプラットフォームは、前記マルチモーダル感覚データを生成するためのセンサーと、前記閉所空間の外部に配置された遠隔制御ステーションに通信接続するための通信モジュールとを含む。前記センサーは、両眼立体視センサー、両耳ステレオオーディオセンサー、力反映ハプティック操作センサー、及び、触覚センサーからなる群から選択される少なくとも２つを含みうる。

マルチモーダル感覚データを用いてロボットプラットフォームを制御するための遠隔制御ステーションも提供される。前記遠隔制御ステーションは、前記ロボットプラットフォームに通信接続するため、且つ、前記マルチモーダル感覚データを前記ロボットプラットフォームから受信するための、通信モジュールと、前記ロボットプラットフォームから受信したマルチモーダル感覚データの表示を生成するための出力装置を含むユーザーインターフェイスとを含みうる。前記マルチモーダル感覚データは、少なくとも２種類の知覚反応を含みうる。いくつかの実施形態において、前記少なくとも２種類の知覚反応は、両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データからなる群から選択される。

マルチモーダル感覚データに基づいて、構造体の閉所空間内のロボットプラットフォームを遠隔制御する方法も提供される。当該方法は、前記ロボットプラットフォームの２つ以上のセンサーを用いて前記マルチモーダル感覚データを取得すること、前記マルチモーダル感覚データの少なくとも一部を遠隔制御ステーションに送信すること、及び、前記遠隔制御ステーションによって前記マルチモーダル感覚データの表示を生成することを含みうる。前記マルチモーダル感覚データは、少なくとも２種類の知覚反応を含む。当該方法の様々な他の側面は、上述あるいは本文書の他の箇所に提示されている。

これら及びその他の実施形態を、図面を参照しつつ以下に説明する。

いくつかの実施形態による、閉所空間を有する航空機の概略図である。 いくつかの実施形態による、ロボットプラットフォーム及び遠隔制御ステーションを含むロボット協働システムの一例である。 いくつかの実施形態による、ロボットプラットフォームの概略図である。 いくつかの実施形態による、遠隔制御ステーションの概略図である。 いくつかの実施形態による、マルチモーダル感覚データの概略図である。 いくつかの実施形態による、閉所空間内のロボットプラットフォームを遠隔制御する方法に対応するプロセスフローチャートである。 いくつかの実施形態による、遠隔制御ステーション側から閉所空間内のロボットプラットフォームを遠隔制御する方法に対応するプロセスフローチャートである。 本明細書に記載の方法及びアセンブリを用いうる航空機の製造及び保守方法のブロック図である。

以下の説明においては、開示される概念が十分に理解されるように、多くの具体的な詳細事項を記載している。開示の概念は、これら具体的な詳細の一部又は全てが無くとも実施可能である。他の例においては、説明する概念が不必要に不明瞭にならないように、周知の処理動作の詳細は述べていない。いくつかの概念は、具体な実施形態を用いて説明するが、これらの具体的な実施形態に限定することを意図するものではない。むしろ、添付の特許請求の範囲によって規定される、本開示の精神及び範囲に含まれうる代替例、変形
例、及び均等物を網羅することが意図されている。

<導入>

人間によるリアルタイムの制御をロボットプラットフォームに加えることで、ロボットに新たな可能性を与えることができる。１つには、これによって、完全に自動化されたシステムに付随する多くの問題点を克服しやすくなる。さらには、人間がアクセスできない環境での作業、及び／又は、完全に自動化されたシステムでは提供できない作業を行うことが可能になる。

ハイブリッド人間‐ロボットシステムは、作業環境についての十分な情報が人間のオペレータに与えられると、其々の強みを確実に活用し、実質的な相乗効果を達成することができる。例えば、ロボットプラットフォームの１つの重要な強みは、閉所空間や危険な環境などの、人間が容易にアクセスできない様々な環境での配置及び作業が可能なことである。（本開示の目的において、閉所空間とは、キャビティ及び入口によって規定されるとともに、キャビティの奥行が入口の主要寸法の少なくとも５倍である包囲空間として規定される。）また、人間は、複雑で体系化されていない環境においても、感覚及び認知能力を用いて良好に作業することができ、このことは、現在のところ、完全に自動化されたロボットシステムの能力をはるかに上回っている。しかしながら、このような複雑な環境が、人間がアクセスできない又は人間には適していない地点に及ぶことがしばしばがある。例えば、航空機の内部は、組み立て、保守、及び交換を必要としうる多くの様々なコンポーネントを備えた複雑な環境である。翼のサイズ、より具体的には厚みによって、これらのコンポーネントへのアクセスが制限される。なお、作業環境へのアクセス箇所の位置、サイズ、及び、その他の特徴によっても、アクセスが制限される。現在の翼の設計は、人間のオペレータ用に設計された様々なアクセス箇所を有している。しかしながら、これらのアクセス箇所は、重量、性能、及び他の考慮事項の観点からは望ましいものではなく、概して、可能であればより小さく且つ少なくすべきである。

ハイブリッド人間‐ロボットシステムは、ロボット協働システムとも称される場合があり、それによる効果的な作業は、オペレータが正確なユーザー入力を行えるよう、高忠実度のテレプレゼンスをオペレータに提供することによって、実現される。忠実度のレベルは、作業環境内に存在するロボットプラットフォームによって取得される感覚データによって決まり、特に、データの感覚モードごとに異なる。多くの場合、個別の各種類の感覚データ（例えば視覚）は、単独では、人間のオペレータが作業環境を十分に認識するのに不十分である。多くの場合、人間は、複数の感覚を用いて周囲環境を認識している。

閉所空間に配置されたロボットプラットフォームを制御するための装置、方法、及びシステムが提供される。制御の少なくとも一部は、閉所空間の外部に配置された遠隔制御ステーションによって提供される。また、ある程度のレベルの制御が、ロボットプラットフォーム自体によって提供され、この制御を、全体制御のうちの自動部分と称することがある。制御、すなわち内部制御及び／又は外部制御は、ロボットプラットフォームによって取得されたマルチモーダル感覚データに基づく。このロボット協働手法は、人間のオペレータを閉所空間から排除し、遠隔操作による安全且つ人間工学に基づいた作業環境を提供することができる。この手法によれば、人間がアクセスできないような環境において、作業を行うことができる。また、この手法によれば、人間が直接行えないような、あるいは、完全に自動化されたロボットシステムだけでは行えないような、新たな種類の作業が行える可能性が生じる。さらに、この手法によれば、もはや人間が入る必要が無いため、作業環境を新たな構造のものにできる可能性が生じる。例えば、奥行き（Ｚ寸法）に対する弦（Ｙ寸法）の割合が大きいエーロフォイル、人間が入れる大きさのアクセス箇所を必要としないことにより軽量化された構造、及び、他の同様の構造を、航空機に採用すること
ができる。本開示において、マルチモーダル感覚データとは、閉所空間に配置されたロボットプラットフォームの1つ又は複数のセンサーによって生成されるデータであって、少
なくとも２種類の人間の感覚に（直接の形あるいは補正された形で）対応するデータとして定義される。

オペレータによる制御を補助したり、送信するマルチモーダル感覚データの選択や、さらには、マルチモーダル感覚データの変更（例えば、スケール調整、感知スペクトルの変更など）を行ったりする任意の自律のエージェントによって、ある程度のレベルの自動制御を実現してもよい。これらのエージェントは、ロボットプラットフォーム、遠隔制御ステーション、又はこれらの両方に実装することができる。具体的には、ロボットプラットフォームは、ユーザー入力に基づいて生成された制御命令無しで、ある種の動作を行うようにしてもよい。これらの動作の制御命令は、マルチモーダル感覚データに基づいて、１つ又は複数の自律エージェントによって生成することができる。これらの動作の例には、ターゲットの位置及び周囲の様々なコンポーネントの近接度合いに基づいて、閉所空間内でロボットプラットフォームを操縦することが含まれる。他の例としては、例えばユーザー入力に基づいて行われる動作よりも複雑性の低い、様々な動作がある。

いくつかの実施形態において、方法及びシステムは、没入型の複数感覚の高忠実度プレゼンス、より具体的にはテレプレゼンスによって、オペレータの状況認識を作り出す。この種の状況認識によって、オペレータは、実際にはマルチモーダル感覚データが取得された閉所空間内に居ないにもかかわらず、より正確且つより効果的に、ユーザー入力を生成することができる。また、効率が向上することに加えて、そのような高忠実度により、より複雑な動作の制御が可能となる。人間の感覚機能に制限が加えられる他の場合と同様に、感覚的プレゼンスに制限があると、タスクを行う際のオペレータの能力が大幅に制限される。

ロボット協働システムは、没入型のマルチモーダル感覚フィードバック（例えば、環境の視覚認識と聴覚認識の組み合わせ、場合によっては、力を感知する手段をこれに組み合わせたもの）を形成するように設計される。このようなフィードバックがあれば、遠隔制御ステーションを介して作業しているオペレータは、環境内に実際に居るような、より現実に忠実な感覚を持つことができ、安全性を確保しつつ、その場にいる作業員のような、直観を用いた慎重な作業を行うことができる。また、オペレータの直観及び作業は、遠隔地に居る場合でも、現在のロボットプラットフォームのいくつかの自律の機能に勝ることができ、従って、ユーザー入力（及び作業環境の把握）に基づいて生成される制御命令は、非常に貴重なものとなる。いくつかの実施形態において、マルチモーダル感覚データのうちの視覚成分は、高精細(例えば、片目あたり６０Ｈｚで１ピクセルあたり輝度データ
及び色データが２４ビットである１９２０×１２８０ピクセル)の幾何学的に正確な両眼
立体遠隔視覚センサーによって実現される。聴覚成分は、視覚的テレプレゼンスにリンクされたマイクロホンによるフルレンジの（例えば片耳あたり２０ｋＨｚの帯域）ステレオオーディオであり、再生されることにより、オペレータに自然な聴覚状況認識を与える。

他のセンサーの形態には、スケール調整可能な力反映型マニピュレータ、遠隔プラットフォーム又はそのエンドエフェクタ上の１つ又は複数の慣性計測センサーによって駆動される振幅スケール調整可能な姿勢プラットフォーム、及び、圧力及び温度再生ならびに振動再生用のフィンガーチップ・アレイを備えた遠隔触覚検知器が含まれる。スケール調整（視覚的サイズならびにスペクトル、力、聴覚）のような、他の形式の感覚補正を用いてもよい。感覚データの種類は、環境及び行われる作業に依存しうる。例えば、ブルドーザーのオペレータには、フルレンジステレオオーディオが組み合わされた広角度の高精細単眼ビデオ、及び、振動再現を備えた姿勢再生プラットフォームが提供されうる。レーシングカーのドライバーの場合は、より良い状況認識が得られるように、オペレータの顔に空
気を吹き付けることによる風速及び方向の再現を加えてもよい。環境温度（例えば、空気温度）も、要素として採用してもよい。外科医には、スケール調整された高精細立体視覚、及び、スケール調整された力反映型マニピュレータを提供してもよい。また、爆発物処理オペレータの場合は、より細かい操作のために触覚センシングを加えてもよい。

いくつかの実施形態において、当該方法及びシステムによれば、閉所環境が、例えば遠隔制御ステーションのユーザーインターフェイス上に示された際に、当該閉所環境の表示をスケール調整することができる。例えば、オペレータの手操作によって制御されて作業を行う工具が、オペレータの手より実質的に小さい場合がある。スケール調整を行うことによって、当該工具を、手の大きさに相当するスケールで表すことができる。なお、感覚データの種類ごとに異なるスケール調整を採用することができ、同じ種類の感覚データでも、サブセットのデータごとに異なるスケール調整を採用することができる。例えば、視覚的表示は、スケールアップする一方、力のフィードバックは（オペレータの手を傷めないように）スケールダウンすることができる。換言すれば、スケール調整を行うことによって、オペレータの認識及び知覚能力を、その時の特定の空間及び／又はタスクに、より効果的に合わせることができる。

例えば、１対１のスケールのシステムとすると、マニピュレータは、人間の腕と同じ長さを有し且つ同じ距離だけ移動することになるが、これは、より小さい又はより大きいマニピュレータを必要とする環境には適さない。ここで、視覚的スケール調整について述べると、立体カメラは、アクチュエータの上方における、手に対する人間の目と同じ相対距離及び位置に配置することができる。立体カメラは、我々の目と同じ瞳孔間隔を有するものとすることができる。遠隔の環境の２対１の効果的なスケール調整のためには、マニピュレータを、我々の腕の二分の一のサイズとし、立体カメラからの距離及び高さは、以前の距離及び高さの二分の一とし、瞳孔間距離は、我々（人間）の瞳孔間距離の二分の一としなければならない。

いくつかの実施形態において、方法及びシステムは、オペレータの知覚能力に基づいて、マルチモーダル感覚データを補正する。補正は、様々な種類の感覚データ（例えば、画像、音声、力、温度など）に対して行うことができ、１つの種類を別の種類に変換する（例えば、温度マップの視覚的（色付きの）表示を作成する）こともできる。このように補正できることによって、オペレータが実際の作業環境に居たら無視されるかもしれない感覚データを利用することが可能となる。例えば、オペレータは、（例えば温度を示す）赤外線を見たり、一般的な２０Ｈｚから２０ｋＨｚ以外の音（例えば、この範囲外の音は、特定の種類の摩擦力を示しうる）を聞いたりすることができない。このような範囲について収集したデータを、人間のオペレータが認識可能な範囲に変換することができる。また、ある種類の感覚を、別の種類の感覚の形態で表すこともできる。例えば、表面の温度特性を、遠隔制御ステーションのユーザーインターフェイスの様々な色で示すこともできる。

いくつかの実施形態において、当該方法及びシステムは、ハプティック遠隔操作による正確な物理的相互作用を提供する。具体的には、マルチモーダル感覚データのうちの少なくとも１つの成分を、例えば、触覚及び固有受容感覚に基づくものとすることができる。様々な種類のセンサー（例えば、力センサー、温度センサーなど）をロボットプラットフォームに用いることにより、ハプティック感覚データを生成することができる。また、ユーザーインターフェイスは、このようなデータの表示を形成するための様々なハプティック出力装置を含むことができる。

概して、体系化されていない環境での複雑なタスクは、良好に体系化された状況での繰り返しのタスクに比べて、特徴をとらえて表示することが難しい。なお、良好に体系化さ
れた状況については、ロボットの進歩が現在普及しており、完全なロボットによる自動化が既に可能である。体系化されていない環境における作業は、環境を把握して少なくともいくつかの制御命令を与える人間の能力に、今なお頼っている。ただし、オペレータは、そのような体系化されていない環境の十分な表示を必要とし、このような必要性には、マルチモーダル感覚データを用いることによって対処することができる。ロボットプラットフォームと遠隔制御ステーションとを含むシステムは、ロボットプラットフォームのための少なくともいくつかの制御命令を生成するものであり、ロボット協働システム、あるいはハイブリッドロボット‐人間システムと称されることがある。この種のシステムは、システムの其々のコンポーネントの能力を活用する。具体的には、この種のシステムは、ロボットプラットフォームの能力、すなわち、人間には適さない様々な環境にアクセスし、当該環境において特別なタスクを実行し、実施形態よっては人間の知覚能力を超えるマルチモーダル感覚データを取得する能力を利用する。また、当該システムは、上述したように、知覚及び認識の補正を行うことができる。

マルチモーダル感覚データを生成するために、ロボットプラットフォームに様々なセンサーが配置される。各センサーは、遠隔の感覚チャネルの一端に相当する。いくつかの実施形態において、チャネルは、監視エージェントを含み、監視エージェントは、例えば、センサーによって生成されたデータを変更及び／又は補正すること、及び／又は、オペレータからの制御命令を監視すること、を行う。例えば、監視エージェントは、動きのスケール調整、加速の制限、及び／又は、制御命令に対するソフトリミットの適用を行う。このスケール調整は、衝突を防止するため、及び、その他の理由で採用されうる。いくつかの実施形態において、マルチモーダル感覚データのうちの異なる種類の感覚データが、同じ監視エージェントによって同時に分析される。また、これらのデータを、遠隔制御ステーションにおいて同時に示すこともできる。このデータ分析のいくつかの例には、作業空間の３Ｄマップを作成すること（当該マップは、例えばオペレータがユーザーインターフェイス上で見ることができる）、（留め具の欠落や表面の汚損などの）異常を特定すること、及び、ユーザーインターフェイス上で異なる種類の感覚データの結合／重ね合わせを行うことが含まれるが、これらに限定されない。

本明細書に記載のロボット協働システムは、両眼立体視覚、両耳ステレオ聴覚、及び／又は、力反映ハプティック操作のための、マルチモーダル遠隔認識センサーを含みうる。これらのシステムのロボットプラットフォームは、閉鎖された空間／危険な空間に配置された状態で、遠隔で制御することができる。ロボットプラットフォームは、特定の作業環境（例えば、スペース要件、アクセスなど）及びこれらのプラットフォームによって行われる作業に合わせて適合化することができる。例えば、比較的小さく複雑に入り組んだ通路を通ってアクセスするには、スネーク状のロボットプラットフォームが必要であるかもしれないし、軌道上のアクセスには、自由飛行のロボットプラットフォームが必要であるかもしれない。

閉所空間内での作業に関する問題点のより良い理解のため、閉所空間の一例を、図１を参照して以下に説明する。具体的には、図１は、いくつかの実施形態による、航空機１００の概略図である。航空機１００は、内装１７０を有する機体１５０を含む。航空機１００は、機体１５０に連結された翼１２０を含む。航空機１００は、翼１２０に連結されたエンジン１３０も含む。いくつかの実施形態において、航空機１００は、複数の動作システム１４０及び１６０（例えばアビオニクス機器）をさらに含み、これらについては、図８に関連させて後述する。これらの航空機コンポーネントのいずれもが、人間が容易にアクセスできず、且つ、完全に自律したロボット操作を行うには複雑すぎる作業環境を有しうる。例えば、翼１２０は、様々なリブ及び他の構造部品を含んでおり、これらが、翼１２０の内部へのアクセスを制限している。

概して、ロボットプラットフォームは、人員を送るべきでない、あるいは送ることができない閉所空間及び／又は危険度の高いエリアに配置されることがある。ロボットプラットフォームは、このような環境及び／又はこのような環境で行われる作業に伴う様々なリスクに曝される。リスクには、例えば、落下する、衝突する、絡まる、嵌り込む、などの、予期あるいは意図していなかった動作が含まれる。これらの動作は、しばしば、（人間のオペレータあるいは様々な自律エージェントによる）環境の知覚認識の欠如によって起こる。

＜ロボット協働システム及びそのコンポーネントの例＞

図２は、いくつかの実施例による、ロボットプラットフォーム２３０及び遠隔制御ステーション２５０を含むロボット協働システム２００の一例である。ロボット協働システム２００の動作中は、ロボットプラットフォーム２３０は、構造体２１２の閉所空間２１０内に配置される。図２は、構造体２１２の一例として航空機の翼を示しているが、当業者であればわかるように、構造体２１２及び閉所空間２１０の他のあらゆる例が、本開示の範囲に含まれる。構造体２１２及び構造体２１２の閉所空間２１０の他の例には、航空機の胴体、ラダー、水平安定板、フラップ、スラット、エルロン、キール、クラウン部、又は他のアクセス制限されたエリアがあるが、これらに限定されない。ロボット協働システム２００の動作中、遠隔制御ステーション２５０は、閉所空間２１０の外部に配置されており、これにより、オペレータが遠隔制御ステーション２５０と相互作用できるようになっている。図２では、構造体２１２の一端に設けられたアクセス箇所を示しているが、当業者であればわかるように、アクセス箇所の他の例も本範囲に含まれる。例えば、アクセス箇所は、翼の先端部、より具体的には、翼先端部の根元部内に設けてもよい。別の例において、アクセス箇所は、胴体のクラウン部又はキールに設けてもよい。

ロボットプラットフォーム２３０と遠隔制御ステーション２５０とは、例えば通信リンク２７０を用いて通信接続されている。通信リンク２７０は、有線リンク、無線リンク、又はこれら２つの様々な組み合わせであってよい。通信リンク２７０は、様々な通信プロトコル及び／又はネットワークを用いて確立することができる。いくつかの実施形態において、通信リンク２７０は、ローカルエリアネットワーク（ＬＡＮ）、グローバル通信ネットワーク（例えばインターネット）などを用いることができる。ネットワーク及びプロトコルの選択は、ロボットプラットフォーム２３０と遠隔制御ステーション２５０との近接度合い及び他の要素に依存する。図２には示していないが、ロボット協働システム２００は、ロボットプラットフォーム２３０まで延びる動力線（例えば、油圧、電気、空気圧など）を含みうる。動力は、閉所空間２１０の外部からロボットプラットフォーム２３０に供給することができる。いくつかの実施形態において、動力源を、ロボットプラットフォーム２３０の内部に設けてもよい。

マルチモーダル感覚データは、ロボットプラットフォーム２３０から遠隔制御ステーション２５０へ、通信リンク２７０を用いて送信され、これにより遠隔制御ステーション２５０のオペレータの高忠実度没入型テレプレゼンスを作り出すことができる。この種のテレプレゼンスにより、多くの作業に必要とされる状況認識がもたらされる。一方で、そのようなテレプレゼンスを確立するには、ロボットプラットフォーム２３０によって取得された感覚及び感覚運動データを、高忠実度で捕捉及び再生することが必要である。ロボットプラットフォーム２３０によって取得される様々な種類のデータを、まとめてマルチモーダル感覚データ２７２と称する。マルチモーダル感覚データ２７２の様々な成分を概略的に表したものを、図５に示している。例えば、オペレータに対するテレプレゼンスの提示は、幾何学的に正確な両眼立体視覚システム及び高忠実度ステレオオーディオ再生を含みうる。この例において、マルチモーダル感覚データ２７２は、両眼立体視覚データ２７３ａ及び両耳ステレオオーディオデータ２７３ｂを含みうる。同じ例又は他の例において
、力反映操作センサーを用いて、力反映ハプティック操作データ２７３ｃを生成してもよい。

いくつかの実施形態において、ロボット協働システム２００は、１つ又は複数の追加の遠隔制御ステーション２５０'を含みうる。追加の遠隔制御ステーション２５０’は、第
１の遠隔制御ステーション２５０に通信接続してもよいし、ロボットプラットフォーム２３０に直接通信接続してもよい。複数の遠隔制御ステーション２５０及び２５０'を用い
て、異なるオペレータがそれぞれユーザー入力を行うことができる。異なる遠隔制御ステーション２５０及び２５０'を、同じ総括的な場所（例えば作業現場）に配置してもよい
し、異なる場所に配置してもよい。例えば、遠隔制御ステーション２５０を、ロボットプラットフォーム２３０の略近傍に配置されたローカルのステーションとし、追加の遠隔制御ステーション２５０’を別の場所に配置した遠位のステーションとしてもよい。異なる遠隔制御ステーション２５０、２５０'の制御は、異なる当事者によって行ってもよい。
例えば、ローカルの遠隔制御ステーション２５０を、航空機のオペレータ（例えば航空会社）、空港スタッフ、及び／又は、修理サービス局によって制御し、遠位の遠隔制御ステーション２５０’を、（例えば構造体２１２に対するさらなる知識を有する）航空機メーカー又は航空会社本部によって制御してもよい。

追加の遠隔制御ステーション２５０’のオペレータが、例えば、遠隔制御ステーション２５０のオペレータよりも、より具体的な専門知識を有し、複数の異なるロボット協働システム２００をサポートできるようにしてもよい。これは、付加的な知識が必要とされる不測の状況が検知された場合に、特に有用である。多種多様な遠隔地の分野エキスパートに対するこのような共同のアクセスを実現することによって、相談のための専門家をその場に配置する時間や費用をかけずに、予想外の状況に迅速に対処することができる。例えば、航空会社は、ロボット協働システム２００を操作する訓練を受けた専門家が一人しかいない一方で、複数のロボット協働システム２００又は少なくとも複数のロボットプラットフォーム２３０を有する場合がある。これらの複数のロボットプラットフォーム２３０は、様々な施設に配置されうる。当該専門家は、必要があれば、各ロボットプラットフォーム２３０を、当該ロボットプラットフォーム２３０と同じ場所に居なくても制御することができる。

次に、ロボット協働システム２００の各コンポーネントを、詳しく説明する。図３は、いくつかの実施形態による、ロボットプラットフォーム２３０の概略図である。ロボットプラットフォーム２３０は、マルチモーダル感覚データを取得するための様々なセンサー５１０を含む。センサー５１０の例には、両眼立体視センサー５１２、両耳ステレオオーディオセンサー５１４、力反映ハプティック操作センサー５１６、触覚センサー５１８、及び、温度センサー５１７が含まれるが、これらに限定されない。マルチモーダル感覚データは、これらのセンサーのうちの２つ以上の出力が組み合わされたものである。

ロボットプラットフォーム２３０におけるセンサー５１０の選択は、マルチモーダル感覚データの個々の態様に依存しうる。ロボットプラットフォーム２３０のセンサー５１０によって取得されるマルチモーダル感覚データに基づいて、遠隔制御ステーション２５０で生成される感覚体験は、表１に例示的に示すように、個々の作業ごとに選択することができる。

両眼立体視は、留め具上に締結用工具を位置させたり、落下した留め具を掴むなどの任意の操作タスク、ならびに、シーラントビードの連続形状を確認したり、もしくは、修理が必要な傷と修理が必要でないマークとを区別するなどの検査タスク、に最も有用である。両耳ステレオオーディオは、状況認識に有用である。例えば、両耳ステレオオーディオは、ロボットプラットフォームが生成し、閉所空間の内面から反射された音に基づいて、作業環境の認識を与えることができる。目つぶれや破損などの問題の検知には、ドリルなどの工具の音を聞くことも役立つ。例えば、ロボット協働システムは、作業における欠陥を検出するために、マルチモーダル感覚データのうちの音響部分を自動的に監視するソフトウェアを有していてもよい。（例えば、最適でない穿孔は、独特の音を特徴とする。）力反映ハプティック固有受容感覚は、孔に留め具を配置すること、又は、ワイピング中にクリーニングパッドの押付力と引摺力の両方をかける上で有用である。いくつかの実施形態において、ロボット協働システムは、作業をより入念にフォローするために（例えば、穿孔中に、最適でない穿孔状況を検知するために）オペレータへのフィードバック、及び／又は、力の付与を監視する１つ又は複数の自動エージェントへのフィードバックを生成する。触覚感知は、工具又は部品の精密な操作に役立ちうる。最後に、前庭の空間配向（vestibular spatial orientation）は、勘と経験による角度及び加速度の認識を与えることによって、遠隔地のビークル又はエンドエフェクタの向きの認識させるのに役立つ。また、これは、動きによる振動又はワークピースの削れを検知するのにも役立つ。

視覚データタイプ２７３ａ、又はより具体的には、両眼立体視データは、全マルチモーダル感覚データ２７２の一部でありうる。視覚データは、任意の立体視センサー５１２、又はより具体的には、幾何学的に正確な両眼立体カメラ及び視覚システムを用いて取得することができる。

視覚センサー５１２は、同一平面にある２つのカメラセンサー５１３を用いることによって、幾何学的に正確な画像捕捉を実現する。カメラセンサー５１３は、各センサーの中心をレンズ光軸からずらすことにより視野をずらし、視野の視覚エリアを一致させるように修正することができる。カメラセンサー５１３のこの独特の構成によって、従来のステレオカメラでは得られない、幾何学的に正確な画像を生成することができる。

幾何学的に正確なテレプレゼンス視覚システムでは、カメラセンサー５１３を考慮するだけでは不十分である。オペレータが、肉眼で現場を見つめているかのようなリアリティーを再現するために、遠隔制御ステーション２５０のユーザーインターフェイス６１０は、図４に示すように、対応する幾何学的形態に忠実な、ディスプレイ６１３ａのような独特の出力装置６１２を含みうる。例えば、視覚データがディスプレイ６１３ａに表示された際に、このディスプレイ６１３ａを窓と考え、この窓を通してオペレータが現場を見て
いると考えるのが自然である。両眼立体視センサー５１２のための窓を通して人間の目で直接見る視界と、ディスプレイ６１３ａのスクリーンを通したバーチャルなイメージの視界とを幾何学的形態において厳密に一致させることによって、対象のシーンを正確に再現することができる。

具体的には、オペレータの目の瞳孔間距離は、固定の測定値でありうる。窓の幅は、其々の目の視角を制限するとともに、オペレータが、２つの瞳孔を通るように引いた線が窓に平行となり、単眼点（２つの瞳孔の間の点）が窓の面に鉛直且つ窓の開口部の中心に位置するように自身の目をセットした際の、一致エリアを規定する。効果的な窓開口の選択は、ディスプレイスクリーンの物理的な幅による制限を受ける。ディスプレイスクリーンから見る人の目までの距離を組み込むことによって、システムの幾何学的制約がすべて揃う。

擬人化した聴覚（anthropomorphic audition）について説明すると、多くの微妙な奥行き及び操作上のキュー（subtle depth and manipulation cues）は、無意識のうちに、人間のステレオ聴覚によって処理されている。また、この知覚様式をロボット協働システムに加えることは、比較的容易である一方で、これによって得られる、テレプレゼンス的に知覚される環境の状況認識は、相当なものである。通常の人間のスケールの両耳聴覚データを、ステレオオーディオセンサー５１４によって、又はより具体的には、擬人化的に正確なステレオマイクロフォン５１５によって、与えることができる。ステレオオーディオセンサー５１４は、例えば図３に示すように、ロボットプラットフォーム２３０の一部である。スケール調整されたステレオ聴覚をもたらすためには（例えば、上述したスケール調整された立体視を補足するためには）、ステレオオーディオセンサー５１４を、高忠実度のミニチュアマイクとしてもよい。例えば壁間の（intermural）距離が変更されると、同じ両耳位置特定キュー（binaural localization cues）（例えば、強度、音色、スペクトル的性質、閉所空間内の反射）の多くは同じまま維持されるが、特定の周波数帯域におけるタイミングキュー及び位相キューは低減又は変更しうる。

次に、力反映ハプティック遠隔操作について説明すると、人間は、物体を触ったり、物体に軽くぶつかったりすることを利用して、視覚なしで進む（例えば暗い部屋の中を歩く）能力が非常に高い。図５に示すように、力反映ハプティック操作データ２７３ｃは、マルチモーダル感覚データ２７２のうちの低帯域の種類でありうる。遠隔環境と相互作用するためには、感覚運動性の制御をもたらすために、力フィードバックアクチュエータ及び姿勢固有受容感覚を加える。例えば、ロボット協働システム２００は、力反映外骨格（force-reflecting exo-skeleton）制御（これは、ユーザーインターフェイス６１０の一部
であるとともに出力装置６１２及び入力装置６１４の両方を含むものであってもよい）を備えたロボットハンド及びアーム（これは、センサー５１０及び作業ツール５２０の一方又は両方の一部であってもよい）を用いることができる。この手法によれば、オペレータは、多種多様な操作を自然に行うことができる。いくつかの実施形態において、遠隔制御ステーション２５０は、４軸の力フィードバックアーム、２フィンガーの力フィードバックハンド、及び、フィンガーならびにアーム用の力反映外骨格を含む。ハンドにおいてグロスの力を再現することにより、四肢及び体の他の部分の位置の自己知覚である固有受容感覚、又は、運動感覚が与えられる。これにより、没入型視覚遠隔認識に対する重要な追加の情報が与えられ、マルチモーダル感覚データ２７２の全体的な強化がもたらされる。

次に、前庭の空間配向について説明すると、ロボットプラットフォーム２３０又はロボットプラットフォーム２３０の作業ツール（例えばエンドエフェクタ）の姿勢（向き）は、マルチモーダル感覚データ２７２の一部として遠隔制御ステーション２５０に送られる。この姿勢を、プラットフォーム又はオペレータの椅子の姿勢を調節することによって再現することにより、前庭の空間配向フィードバックが実現される。このフィードバックは
、他の知覚データに比べて、比較的低い頻度で行えばよい。また、このフィードバックは、安全性及びその他の理由で、（例えば、このフィードバックを与えている間に、（実際にオペレータを落下させる）転倒点を超えてオペレータが傾くことを防止するため）、スケール調整及び／又は制限してもよい。慣性計測ユニットを、遠位のロボットシステムに組み込んで、遠隔監督者のサポートプラットフォームを駆動する３つのアクチュエータに中継することになるであろう。

ロボットプラットフォーム２３０は、閉所空間２１０の外部に位置する遠隔制御ステーション２５０に通信接続するための通信モジュール５４０をさらに含む。通信モジュール５４０の例には、モデム（有線又は無線）などが含まれる。いくつかの実施形態において、通信モジュール５４０は、無線通信モジュールである。

いくつかの実施形態において、ロボットプラットフォーム２３０は、閉所空間２１０内で１つ又は複数の作業を行うための作業ツール５２０をさらに含む。作業ツール５２の例には、ドリル、リベットガン、シーラントアプリケーター、及び、検査装置が含まれるが、これらに限定されない。

いくつかの実施形態において、ロボットプラットフォーム２３０は、閉所空間２１０内でロボットプラットフォーム２３０の位置を変更するための駆動機構５３０をさらに含む。駆動機構５３０の一例は、モータに連結された一組のベルトである。ただし、他の例も、本範囲内に含まれる。図２では、ロボットプラットフォーム２３０を、ベルトを有するビークルとして示しているが、マルチモーダル感覚データを生成可能なあらゆる種類のロボットプラットフォーム２３０が、本範囲内に含まれる。

いくつかの実施形態において、任意ではあるが、ロボットプラットフォーム２３０及び／又は遠隔制御ステーション２５０は、人間のオペレータがロボット協働システム２００の様々な制御操作を行うのを補助するために、１つ又は複数の補助エージェント（図３のブロック５５０及び図４のブロック６５０）を含みうる。具体的には、補助エージェントは、ロボットプラットフォーム２３０によって取得されたマルチモーダル感覚データを用いて、何らかのレベルの制御をロボットプラットフォーム２３０に提供すること、マルチモーダル感覚データの表示をオペレータに向けて生成する前に当該データを修正すること、及び／又は、ユーザー入力に基づいて生成された制御命令を修正すること、を行いうる。これにより、何らかのレベルの自動化がもたらされる。例えば、補助エージェントは、ロボットプラットフォーム２３０の動作の監視、分析、表示、自動化、及び制限を、自律的に行う。いくつかの実施形態において、ロボット協働システム２００の１つ又は複数のタスク領域が、分析及び規定され、補助エージェントを用いて、それらのモジュールごとの開発、検査、及び、組み込み、が可能となる。例えば、補助エージェントは、ナビゲーション機能、タスク固有のプラニング、及び、監視を行う。ロボット協働システム２００は、その１つ又は複数の自律エージェントと、ユーザー入力との間の、事前（fall forward）／事後（fallback）協力をサポートする。

図４は、いくつかの実施形態による、遠隔制御ステーション２５０の概略図である。遠隔制御ステーション２５０は、マルチモーダル感覚データの１つ又は複数の表示を生成するため、及び／又は、ユーザー入力を捕捉するために、ユーザーインターフェイス６１０を含む。具体的には、ユーザーインターフェイス６１０は、例えば１つ又は複数の出力装置６１２を含み、その例には、ディスプレイ（例えば３Ｄディスプレイ）及びスピーカー（例えば一組のステレオスピーカー）が含まれるが、これらに限定されない。また、ユーザーインターフェイスは、１つ又は複数の入力装置６１４を含みうる。

遠隔制御ステーション２５０は、ロボットプラットフォーム２３０が閉所空間２１０内
にある際に、ロボットプラットフォーム２３０に通信接続するための通信モジュール６４０をさらに含む。通信モジュール６４０は、プラットフォーム２３０の通信モジュールと同じ種類のものであってもよい。いくつかの実施形態において、遠隔制御ステーション２５０は、ロボットプラットフォームに対する制御命令を生成するためのプロセッサ６３０、及び、これらの命令及びマルチモーダル感覚データ２７２を格納するためのメモリ６３５をさらに含む。

上述したように、遠隔制御ステーション２５０は、１つ又は複数の任意の補助エージェント６５０も含みうる。ユーザーインターフェイス６１０の操作を、補助エージェント６５０の操作と統合することにより、マルチモーダル感覚データを、ユーザーインターフェイス６１０に提示する前に修正することができる。いくつかの実施形態において、ユーザーインターフェイス６１０によって捕捉したユーザー入力を、ロボットプラットフォーム２３０に対する制御命令を生成する前に、補助エージェント６５０によって修正してもよい。

いくつかの実施形態において、ハイレベルの自律的アクションの人間による監督が、インテリジェントな補助エージェントによってサポートされる。この手法では、安全な経路の計画及びナビゲーション、自動的なタスク固有の操作、又は、システムの「健全性」監視などの様々なタスクに、より大きな自律性が与えられている。

全体的に見て、遠隔制御ステーション２５０は、ロボット協働システム２００全体の計画、制御、及び、共同作業のハブとすることができる。遠隔制御ステーション２５０は、ロボット協働システム２００の移動、操作、遠隔感知、自律エージェントへのタスク付与、及びその他の動作に関わりうる。遠隔制御ステーション２５０は、遠隔地の専門家の協力（例えば、複数の専門家及び／又は補助エージェントを含む）を容易にするためのポータルを提供することができる。

遠隔制御ステーション２５０は、没入型複数感覚高忠実度プレゼンスによる状況認識を与えることにより、人間による直接の操作、又はより具体的には、遠隔操作をサポートする。さらに、遠隔制御ステーション２５０は、ハプティック遠隔操作による正確な物理的相互作用を実現する。人間によるこのように強化された操作を、自律エージェントによって、例えば安全性を監視したり作業者を助けたりすることによって、サポートすることができる。様々な態様のマルチモーダル感覚データをスケール調整する（例えば視覚データをスケール調整する）ことによって、実際の環境と、オペレータの認識及び感覚とを、より良好に一致させることができる。また、遠隔制御ステーション２５０は、視覚の範囲、聴覚スペクトルの範囲、空間配向の範囲、及び、固有受容感覚の範囲の拡張を実現する。

＜ロボット協働システム及びそのコンポーネントの操作の例＞

図６は、いくつかの実施形態による、閉所空間２１０内のプラットフォーム２３０を遠隔制御する方法３００に対応するプロセスフローチャートである。制御は、マルチモーダル感覚データに基づいて行われる。具体的には、方法３００は、ロボットプラットフォーム２３０によって行われる操作を表す。遠隔制御ステーション２５０で行われる操作については、図７を参照して後述する。当業者であればわかるように、例えば、１つの当事者がロボットプラットフォーム２３０の操作を制御し、別の当事者が遠隔制御ステーション２５０の操作を制御するなど、これらの操作が異なる当事者によって行われるとしても、どちらもロボット協働システム２００の同じ操作スキームの一部である。

方法３００は、工程３１０において、構造体２１２の閉所空間２１０内にロボットプラットフォーム２３０を配置することによって開始される。構造体２１２は、航空機の翼、
あるいは、例えば人間が中で作業するのに適さない任意の他の構造体であってよい。この配置操作は、ロボットプラットフォーム２３０において生成された制御命令に基づいて（例えば自律又は半自律移動）、及び／又は、遠隔制御ステーション２５０で生成されてロボットプラットフォーム２３０に送信された制御命令に基づいて、閉所空間２１０内に、そして、当該空間内で、ロボットプラットフォーム２３０を前進させる（例えば駆動する）ことを伴いうる。具体的には、ロボットプラットフォーム２３０は、図３を参照して上述した駆動機構５３０を含んでいてもよく、この駆動機構５３０を用いて、閉所空間２１０内にロボットプラットフォーム２３０を配置することができる。これに代えて、ロボットプラットフォーム２３０は、駆動機構を備えない構成であってもよく、手動で閉所空間２１０内に配置してもよい。

なお、ロボットプラットフォーム２３０は、閉所空間２１０内に配置されている間、閉所空間２１０の外部に配置された遠隔制御ステーション２５０に通信接続される。いくつかの実施形態において、方法３００は、図６に示す工程３１２のように、ロボットプラットフォーム２３０と遠隔制御ステーション２５０との通信接続を確立する操作を含みうる。

ロボットプラットフォーム２３０が閉所空間２１０内に配置されると、方法３００は、工程３１４において、マルチモーダル感覚データ２７２を取得する。マルチモーダル感覚データ２７２は、ロボットプラットフォーム２３０の２つ以上のセンサー５１０を用いて取得することができる。マルチモーダル感覚データ２７２は、両眼立体視データ２７３ａ、両耳ステレオオーディオデータ２７３ｂ、力反映ハプティック操作データ２７３ｃ、及び、触覚データ２７３ｄなどの、知覚反応の少なくとも２つの異なる種類２７３を含みうる。マルチモーダル感覚データ２７２の様々な要素については、上述したとおりである。

いくつかの実施形態において、方法３００は、任意の工程３１６において、マルチモーダル感覚データ２７２を補正することを含む。一般的に、マルチモーダル感覚データ２７２は、遠隔制御ステーション２５０に送信される前に（例えばロボットプラットフォーム２３０において）、あるいは、送信後に（例えば遠隔制御ステーション２５０において）、補正されうる。いずれの場合にも、マルチモーダル感覚データ２７２の補正は、自律したエージェントによって行うことができる。具体的には、エージェントは、マルチモーダル感覚データ２７２の監視、分析、表示、自動化、及び制限を、自律的に行うことができる。

例えば、視覚補正エージェントは、対象の視覚的特徴を自律的に検出する。当該エージェントは、例えば、ユーザーインターフェイスに提示される３Ｄビジュアルオーバーレイ（visual overlay）を用いて、これらの特徴をオペレータに示す。オーバーレイは、環境の実際の画像と重ねることができる。オペレータは、気が散るのを避けるために、視覚的補正をオフにすることができる。設定される特徴検出は、タスク固有の必要性に基づいて選択することができ、例えば、留め具などの部品の不足、塗装欠陥、落下した留め具又は工具などの存在すべきでない物品（遺物の破片）、余分な塗料などの自動検出がこれに含まれる。様々な種類の検査が、本範囲内に含まれる。

別の例の視覚補正エージェントは、センサーを用いて、閉所作業空間内での位置特定を行う。例えば、このエージェントによって、視覚成分及び／又は触覚成分などの、マルチモーダル感覚データのうちの１つ又は複数の成分に基づいて、作業空間の３次元マップを作成する。別個の視覚ディスプレイをオペレータに提示してもよい。このディスプレイで、マッピングされた空間、及び、空間内のロボットプラットフォーム２３０のその時点の位置を表示してもよい。この参照マップによって、非没入型のハイレベルな状況認識を提供することができる。この例の視覚補正エージェントは、視点調節などの制御機能も含ん
でいてもよい。

別の例としては、物理的補正エージェントがあり、これは、タスク及びオペレータの要件に基づいて、移動、力、及び、力反映の制限を選択的にスケール調整することができる。同じ又は別の物理的補正エージェントが、上述した位置特定データを利用してもよい。例えば、インテリジェント補助エージェントが、マッピングされた作業空間、及び、配置されたロボットプラットフォーム２３０の位置及び姿勢に基づいて、（例えば望ましくない衝突や損傷を防止するために）安全な作業ゾーン及び制限ゾーンを決定してもよい。これらのゾーンは、マルチモーダル感覚データ２７２が取得されるにつれて、リアルタイムで更新してもよい。

補正の一例として、スケール調整がある。一種類又は複数種類のマルチモーダル感覚データ２７２のスケール調整を行うことによって、オペレータがより自然に理解できるフォーマット、例えば、オペレータのスケールに従ったフォーマットで、データ２７２を提示することができる。この種のスケール調整は、人間オペレータのためのスケール調整といえる。いくつかの実施形態において、スケール調整は、上述した１つ又は複数のエージェントによって行うことができる。スケール調整は、視覚及び／又は他の成分の知覚能力の大幅な増幅である。マルチモーダル感覚データ２７２のうちの視覚データ２７３ａの有効スケールを修正する場合、カメラ５１３の倍率は変更しない。これを変更すると、光軸に沿う奥行歪みが発生するからである。修正は、スケール調整された幾何学的視覚形態が得られるようにカメラレンズの瞳孔間距離を変更することによって行うことができる。

方法３００は、工程３２０において、マルチモーダル感覚データを送信する。データは、閉所空間２１０内に配置されているロボットプラットフォーム２３０から、閉所空間２１０の外部に配置されている遠隔制御ステーション２５０に送信される。

方法３００は、次に、工程３３０において、遠隔制御ステーション２５０から遠隔制御命令を受信する。遠隔制御命令は、遠隔制御ステーション２５０によって生成されて、通信リンク２７０を用いてロボットプラットフォーム２３０によって受信される。これらの遠隔制御命令の生成については、図７を参照して後述する。手短に述べると、これらの遠隔制御命令は、ユーザー入力２５４に基づいて、及び／又は、様々な補助エージェント６５０によって、生成され、遠隔制御ステーション２５０において提供される。遠隔制御命令は、ロボットプラットフォーム２３０によって生成されるローカルの制御命令とは区別されるべきである。

いくつかの実施形態において、方法３００は、任意の工程３３４において、ロボットプラットフォーム２３０においてローカルの制御命令を生成することを含む。ローカルの制御命令は、マルチモーダル感覚データに基づいて生成することができる。

いくつかの実施形態において、方法３００は、任意の工程３５０において、ロボットプラットフォームを用いて、閉所空間内で１つ又は複数の作業を行うことをさらに含む。作業３５０は、少なくとも、ロボットプラットフォーム２３０において遠隔制御ステーション２５０から受信した遠隔制御命令に基づいて、行われうる。いくつかの実施形態において、ローカルの制御命令も、工程３５０において用いられうる。作業３５０の例には、閉所空間２１０内でロボットプラットフォーム２３０の位置を変更すること（ブロック３５０ａ）、構造体２１２の部品２１４に穿孔すること（ブロック３５０ｂ）、構造体２１６に留め具を取り付けること（ブロック３５０ｃ）、構造体２１２をシールすること（ブロック３５０ｄ）、構造体２１２に塗装すること（ブロック３５０ｅ）、閉所空間２１０から物体を取り除くこと（ブロック３５０ｆ）、及び、構造体２１２を検査すること（ブロック３５０ｇ）が含まれるが、これらに限定されない。当業者であればわかるように、作
業３５０の他の様々な例も、本範囲内に含まれる。

例えば、作業は、閉所空間内でロボットプラットフォームの位置を変更することである。この例では、マルチモーダル感覚データは、少なくとも、両眼立体視データ及びステレオオーディオデータを含みうる。

別の例において、作業は、構造体の部品に穿孔することを含む。マルチモーダル感覚データは、少なくとも、両眼立体視データ、ステレオオーディオデータ、及び、力反映ハプティック操作データを含みうる。

さらに別の例において、作業は、構造体に留め具を取り付けることを含む。マルチモーダル感覚データは、少なくとも、両眼立体視データ、ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データを含みうる。

マルチモーダル感覚データの忠実度レベルは、１つ又は複数の作業に対応するものとすることができる。作業によっては、他の作業より、高い忠実度を必要とするかもしれない。また、マルチモーダル感覚データの忠実度レベルは、時間とともに変化してもよい。

図７は、いくつかの実施形態による、遠隔制御ステーション２５０側からみた、閉所空間２１０内のロボットプラットフォーム２３０を遠隔制御する方法４００に対応するプロセスフローチャートである。制御は、マルチモーダル感覚データに基づいて行われる。方法４００の動作は、遠隔制御ステーションによって行われる。ロボットプラットフォーム２３０で行われる操作については、図６を参照して上述したとおりである。

方法４００は、工程４２０において、ロボットプラットフォーム２３０からマルチモーダル感覚データを受信することによって開始する。この受信動作の際、ロボットプラットフォーム２３０は、閉所空間２１０内に位置している。マルチモーダル感覚データは、閉所空間２１０の外部に位置する遠隔制御ステーション２５０によって受信される。また、遠隔制御ステーション２５０は、ロボットプラットフォーム２３０に通信接続されている。上述したように、マルチモーダル感覚データは、以下の知覚反応種類、すなわち、両眼立体視データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データのうちの少なくとも２つを含みうる。

方法４００は、工程４３０において、遠隔制御ステーションにおいて、マルチモーダル感覚データの表示を生成する。いくつかの実施形態において、この表示生成動作は、ビデオスペクトル、オーディオスペクトル、空間配向、及び、固有受容感覚のうちの少なくとも１つに基づいて、マルチモーダル感覚データを補正することを含む。表示は、複数感覚の高忠実度テレプレゼンスでありうる。

いくつかの実施形態において、表示は、遠隔制御ステーション２５０のユーザーインターフェイス６１０において生成される。ユーザーインターフェイス６１０、又はより具体的には、ユーザーインターフェイス６１０の出力装置６１２は、マルチモーダル感覚データに基づいて３Ｄイメージを生成する３Ｄディスプレイ６１３ａを含みうる。同じ又は他の実施形態において、ユーザーインターフェイス６１０は、マルチモーダル感覚データのうちの両耳ステレオオーディオデータに基づいてステレオサウンドを生成するステレオスピーカー６１３ｂを含む。

方法４００は、工程４４０において、遠隔制御ステーションにおいてユーザー入力を捕捉する。ユーザー入力に基づいて、遠隔制御命令が生成されうる。いくつかの実施形態において、遠隔制御命令のうちの少なくともいくつかを、ユーザー入力無しで、遠隔制御ス
テーション２５０によって生成してもよい。

方法４００は、工程４６０において、ロボットプラットフォーム２３０に遠隔制御命令を送信する。この動作の際、ロボットプラットフォーム２３０は、閉所空間２１０内に位置している。遠隔制御命令は、閉所空間２１０内でロボットプラットフォーム２３０によって行われる１つ又は複数の作業を表しうる。これらの作業のいくつかの例は、上述したとおりである。

いくつかの実施形態において、データ受信動作４２０と表示生成動作４３０とは、連続して行われる。

＜航空機及び航空機の製造ならびに操作方法の例＞

本開示の例を、図８に示す航空機の製造及び保守方法２１００、及び、図１に示す航空機１００に関連させて説明する。生産開始前の工程として、例示的な方法１２００は、航空機１００の仕様決定及び設計（ブロック１２０４）と、材料調達（ブロック１２０６）とを含む。生産段階では、航空機１００の部品及び小組立品の製造（ブロック１２０８）及び検査システムインテグレーション（ブロック１２１０）が行われる。記載の方法及びアセンブリは、上述したように、マルチモーダル感覚データに基づいてロボットプラットフォームを遠隔制御することを含み、航空機１００の仕様決定及び設計（ブロック１２０４）、材料調達（ブロック１２０６）、部品及び小組立品の製造（ブロック１２０８）、及び／又は、検査システムインテグレーション（ブロック１２１０）のいずれにおいても用いることができる。

その後、航空機１００は、認可及び納品（ブロック１２１２）の工程を経て、使用（ブロック１２１４）に入る。使用中は、航空機１００は、定例の整備及び保守（ブロック１２１６）に組み込まれる。定例の整備は、航空機１００の１つ又は複数の検査システムの改良、再構成、改修などを含みうる。記載の方法及びアセンブリは、上述したマルチモーダル感覚データに基づいてロボットプラットフォームを遠隔制御することを含みうる。この手法は、認可及び納品（ブロック１２１２）、使用（ブロック１２１４）、及び／又は、定例の整備及び保守（ブロック１２１６）のいずれにおいても採用することができる。

例示的な方法１２００の各プロセスは、検査システムインテグレーター、第三者、及び／又は、オペレータによって実行又は実施することができる。説明のために言及すると、検査システムインテグレーターは、航空機メーカー及び主要システム下請業者をいくつ含んでいてもよいが、これに限定されない。第三者は、売主、下請業者、供給業者をいくつ含んでいてもよいが、これに限定されない。オペレータは、航空会社、リース会社、軍事団体、サービス組織などであってもよい。

図１に示すように、例示的な方法１２００によって生産される航空機１００は、内装１７０を有する機体１５０を含みうる。前述したように、航空機１００は、機体１５０に連結された翼１２０をさらに含み、翼１２にはエンジン１３０が連結されている。機体１５０は、電気検査システム１４０及び環境検査システム１６０などの、複数のハイレベル検査システムをさらに含む。また、他の検査システムをいくつ含んでいてもよい。また、航空宇宙産業に用いた場合を例として示しているが、本開示の原理は、例えば自動車産業等の他の産業に適用することもできる。従って、本明細書において開示した原理は、航空機１００に加え、例えば、陸上車両、海上船舶、航空宇宙飛行体などの他の輸送体にも適用可能である。

本明細書において図示あるいは説明した装置及び方法は、製造及び保守方法（例示的な
方法１２００）における１つ又はそれ以上のどの段階において採用してもよい。例えば、部品及び小組立製造（ブロック１２０８）に対応する部品又は小組立品は、航空機１００の使用中（ブロック１２１４）に製造される部品又は小組立品と同様の方法で製造することができる。また、装置、方法、又は、これらの組み合わせの１つ又は複数の例を、製造工程（ブロック１２０８）及び（ブロック１２１０）で用いることによって、例えば、航空機１００の組み立て速度を大幅に速めたりコストを削減したりすることができる。同様に、装置、方法、又はそれらの組み合わせの実施例の1つ又は複数を、航空機１００の使
用中（ブロック１２１４）、及び／又は整備及び保守中（ブロック１２１６）に用いてもよいが、これに限定されない。

＜結語＞

本明細書に開示の装置及び方法の様々な実施例は、様々な部品、特徴、及び機能を含む。なお、本開示の装置及び方法の様々な実施例は、本開示の装置及び方法の他の任意の実施例の部品、特徴、及び機能のいずれをも、任意の組み合わせで含むことができ、このような可能性はすべて、本開示の精神及び範囲内に含まれることを意図している。

本開示に関連する分野の当業者であれば、上記の説明及び関連図面に示された教示を受けて、本開示に記載された実施例に対する様々な改変を思いつくであろう。

従って、要約すると、本発明の第１の側面によれば、以下が提供される。

Ａ１． マルチモーダル感覚データ（２７２）に基づいてロボットプラットフォーム（２３０）を遠隔制御する方法（３００）であって、
ロボットプラットフォーム（２３０）を配置し（３１０）、
前記ロボットプラットフォーム（２３０）を遠隔制御ステーション（２５０）に通信接続し（２３０）、
前記ロボットプラットフォーム（２３０）の２つ以上のセンサー（５１０）を用いて前記マルチモーダル感覚データ（２７２）を取得し（３１４）、前記マルチモーダル感覚データ（２７２）は、少なくとも２種類の知覚反応を含み、
前記マルチモーダル感覚データ（２７２）の少なくとも一部を送信し（３２０）、
前記遠隔制御ステーション（２５０）からの遠隔制御命令をロボットプラットフォーム（２３０）で受信する（３３０）、方法（３００）。

Ａ２． 前記ロボットプラットフォーム（２３０）は、構造体（２１２）の閉所空間（２１０）内に配置される、付記Ａ１に記載の方法（３００）も提供される。

Ａ３． 前記マルチモーダル感覚データ（２７２）の前記少なくとも一部を送信すること（３２０）は、前記ロボットプラットフォーム（２３０）が前記閉所空間（２１０）内に位置している間に行われる、付記Ａ２に記載の方法（３００）も提供される。

Ａ４． 前記少なくとも２種類の知覚反応は、両眼立体視覚データ（２７３ａ）、両耳ステレオオーディオデータ（２７３ｂ）、力反映ハプティック操作データ（２７３ｃ）、及び、触覚データ（２７３ｄ）からなる群から選択される、付記Ａ１に記載の方法（３００）も提供される。

Ａ５． 前記マルチモーダル感覚データ（２７２）に基づいて、前記ロボットプラットフォーム（２３０）においてローカルの制御命令を生成すること（３３４）をさらに含む、付記Ａ１に記載の方法（３００）も提供される。

Ａ６． 前記ローカルの制御命令に基づいて、前記ロボットプラットフォーム（２３０）を用いて前記閉所空間（２１０）内で１つ又は複数の作業を行うこと（３５０）をさらに含む、付記Ａ５に記載の方法（３００）も提供される。

Ａ７． 前記マルチモーダル感覚データ（２７２）は、少なくとも、前記両眼立体視覚データ（２７３ａ）、前記両耳ステレオオーディオデータ（２７３ｂ）、及び、前記力反映ハプティック操作データ（２７３ｃ）を含む、付記Ａ６に記載の方法（３００）も提供される。

Ａ８． 前記１つ又は複数の作業（３５０）は、前記構造体（２１２）の前記部品（２１４）に穿孔すること（３５０ｂ）を含む、付記Ａ７に記載の方法（３００）も提供される。

Ａ９． 前記マルチモーダル感覚データ（２７２）は、少なくとも、前記両眼立体視覚データ（２７３ａ）、前記両耳ステレオオーディオデータ（２７３ｂ）、前記力反映ハプティック操作データ（２７３ｃ）、及び、触覚データ（２７３ｄ）を含む、付記Ａ６に記載の方法（３００）も提供される。

Ａ１０． 前記１つ又は複数の作業（３５０）は、前記構造体（２１２）に留め具を取り付けること（３５０ｃ）を含む、付記Ａ９に記載の方法（３００）も提供される。

Ａ１１． 前記マルチモーダル感覚データ（２７２）を取得すること（３１４）と、前記マルチモーダル感覚データ（２７２）を送信することとは、連続して繰り返される、付記Ａ１に記載の方法（３００）も提供される。

Ａ１２． 前記マルチモーダル感覚データ（２７２）の前記少なくとも一部を送信すること（３２０）の前に、前記マルチモーダル感覚データ（２７２）を補正すること（３１６）をさらに含む、付記Ａ１に記載の方法（３００）も提供される。

Ａ１３． 送信する前記マルチモーダル感覚データ（２７２）の前記少なくとも一部を選択すること（３１８）をさらに含む、付記Ａ１に記載の方法（３００）も提供される。

Ａ１４． 前記ロボットプラットフォーム（２３０）で受信した前記遠隔制御ステーション（２５０）からの前記遠隔制御命令に基づいて、前記ロボットプラットフォーム（２３０）を用いて前記閉所空間（２１０）内で１つ又は複数の作業を行うこと（３５０）をさらに含む、付記Ａ１に記載の方法（３００）も提供される。

Ａ１５． 前記１つ又は複数の作業は、
前記閉所空間（２１０）内で前記ロボットプラットフォーム（２３０）の位置を変更すること（３５０ａ）、
前記構造体（２１２）の部品（２１４）に穿孔すること（３５０ｂ）、
前記構造体（２１２）に留め具を取り付けること（３５０ｃ）、
前記構造体（２１２）をシールすること（３５０ｄ）、
前記構造体（２１２）を塗装すること（３５０ｅ）、
前記閉所空間（２１０）から物体を取り除くこと（３５０ｆ）、及び、
前記構造体（２１２）を検査すること（３５０ｇ）からなる群から選択される、付記Ａ１４に記載の方法（３００）も提供される。

Ａ１６． 前記マルチモーダル感覚データ（２７２）の忠実度のレベルは、前記１つ又は複数の作業に対応する、付記Ａ１４に記載の方法（３００）も提供される。

Ａ１７． 前記マルチモーダル感覚データ（２７２）の忠実度のレベルは、時間とともに変化する、付記Ａ１４に記載の方法（３００）も提供される。

Ａ１８． 前記１つ又は複数の作業は、前記ロボットプラットフォーム（２３０）で生成されたローカルの制御命令にも基づいて行われ、前記１つ又は複数の作業を行うために、前記ローカルの制御命令は、前記遠隔制御命令と組み合わされる、付記Ａ１４に記載の方法（３００）も提供される。

Ａ１９． 前記１つ又は複数の作業は、前記閉所空間（２１０）内で前記ロボットプラットフォーム（２３０）の前記位置を変化させること（３５０ａ）を含み、前記マルチモーダル感覚データ（２７２）は、少なくとも、前記両眼立体視覚データ（２７３ａ）及び前記ステレオオーディオデータ（２７３ｂ）を含む、付記Ａ１に記載の方法（３００）も提供される。

Ａ２０． 前記遠隔制御ステーション（２５０）から受信した前記遠隔制御命令を補正すること（３３６）をさらに含む、付記Ａ１に記載の方法（３００）も提供される。

Ａ２１． 前記構造体（２１２）は、航空機の翼である、付記Ａ１に記載の方法（３００）も提供される。

Ａ２２． 前記ロボットプラットフォーム（２３０）は、ローカルエリアネットワークを用いて、前記遠隔制御ステーション（２５０）に通信接続される、付記Ａ１に記載の方法（３００）も提供される。

Ａ２３． 前記ロボットプラットフォーム（２３０）は、少なくとも１つの無線通信リンクを用いて、前記遠隔制御ステーション（２５０）に通信接続される、付記Ａ１に記載の方法（３００）も提供される。

Ａ２４． 前記ロボットプラットフォーム（２３０）は、グローバル通信ネットワークを用いて、前記遠隔制御ステーション（２５０）に通信接続される、付記Ａ１に記載の方法（３００）も提供される。

本発明のさらなる側面によれば、以下が提供される。

Ｂ１． マルチモーダル感覚データ（２７２）に基づいて、構造体（２１２）の閉所空間（２１０）内のロボットプラットフォーム（２３０）を遠隔制御する方法（４００）であって、
前記閉所空間（２１０）内に配置された前記ロボットプラットフォーム（２３０）から前記マルチモーダル感覚データ（２７２）を受信し（４２０）、前記マルチモーダル感覚データ（２７２）は、前記閉所空間（２１０）の外部に配置されるとともに前記ロボットプラットフォーム（２３０）に通信接続された遠隔制御ステーション（２５０）によって受信され、前記マルチモーダル感覚データ（２７２）は、両眼立体視覚データ（２７３ａ）、両耳ステレオオーディオデータ（２７３ｂ）、力反映ハプティック操作データ（２７３ｃ）、及び、触覚データ（２７３ｄ）からなる群から選択される少なくとも２種類の知覚反応を含み、
前記遠隔制御ステーション（２５０）によって前記マルチモーダル感覚データ（２７２）の表示を生成し（４３０）、
前記遠隔制御ステーション（２５０）においてユーザー入力を捕捉し（４４０）、
前記閉所空間（２１０）に配置された前記ロボットプラットフォーム（２３０）に遠隔
制御命令を送信する（４６０）、方法（４００）。

Ｂ２． 前記マルチモーダル感覚データ（２７２）の前記表示を生成すること（４３０）は、ビデオスペクトル、オーディオスペクトル、空間配向、及び、固有受容感覚のうちの少なくとも１つに基づいて、前記マルチモーダル感覚データ（２７２）を補正することを含む、付記Ｂ１に記載の方法（４００）も提供される。

Ｂ３． 前記表示は、複数感覚の高忠実度テレプレゼンスである、付記Ｂ１に記載の方法（４００）も提供される。

Ｂ４． 前記遠隔制御ステーション（２５０）のユーザーインターフェイス（６１０）は、前記マルチモーダル感覚データ（２７２）のうちの両眼立体視覚データ（２７３ａ）を提示するための３Ｄディスプレイ（６１３ａ）を含む、付記Ｂ１に記載の方法（４００）も提供される。

Ｂ５． 前記遠隔制御ステーション（２５０）のユーザーインターフェイス（６１０）は、前記マルチモーダル感覚データ（２７２）のうちの前記両耳ステレオオーディオデータ（２７３ｂ）を提示するためのステレオスピーカー（６１３ｂ）を含む、付記Ｂ１に記載の方法（４００）も提供される。

Ｂ６． 前記遠隔制御命令は、前記閉所空間（２１０）内において前記ロボットプラットフォーム（２３０）によって行われる１つ又は複数の作業を表す、付記Ｂ１に記載の方法（４００）も提供される。

Ｂ７． 前記１つ又は複数の作業は、
前記閉所空間（２１０）内で前記ロボットプラットフォーム（２３０）の位置を変更すること（３５０ａ）、
前記構造体（２１２）の部品（２１４）に穿孔すること（３５０ｂ）、
前記構造体（２１２）に留め具を取り付けること（３５０ｃ）、
前記構造体（２１２）をシールすること（３５０ｄ）、
前記構造体（２１２）を塗装すること（３５０ｅ）、
前記閉所空間（２１０）から物体を取り除くこと（３５０ｆ）、及び、
前記構造体（２１２）を検査すること（３５０ｇ）、からなる群から選択される、付記Ｂ６に記載の方法（４００）も提供される。

Ｂ８． 少なくとも、前記マルチモーダル感覚データ（２７２）を受信すること（４２０）と、前記表示を生成すること（４３０）とは、連続して行われる、付記Ｂ１に記載の方法（４００）も提供される。

Ｂ９． 前記遠隔制御命令は、前記ユーザー入力に基づいて生成される、付記Ｂ１に記載の方法（４００）も提供される。

Ｂ１０． 前記ロボットプラットフォーム（２３０）は、ローカルエリアネットワークを用いて、前記遠隔制御ステーション（２５０）に通信接続される、付記Ｂ１に記載の方法（４００）も提供される。

Ｂ１１． 前記ロボットプラットフォーム（２３０）は、グローバル通信ネットワークを用いて、前記遠隔制御ステーション（２５０）に通信接続される、付記Ｂ１に記載の方法（４００）も提供される。

本発明のさらなる側面によれば、以下が提供される。

Ｃ１． マルチモーダル感覚データ（２７２）を用いて構造体（２１２）の閉所空間（２１０）内で作業するためのロボットプラットフォーム（２３０）であって、
前記マルチモーダル感覚データ（２７２）を生成するためのセンサー（５１０）と、
前記閉所空間（２１０）の外部に配置された遠隔制御ステーション（２５０）に通信接続するための通信モジュール（５４０）と、を含む、ロボットプラットフォーム（２３０）。

Ｃ２． 前記センサー（５１０）は、両眼立体視センサー（５１２）、両耳ステレオオーディオセンサー（５１４）、力反映ハプティック操作センサー（５１６）、及び、触覚センサー（５１８）からなる群から選択される少なくとも２つを含む、付記Ｃ１に記載のロボットプラットフォーム（２３０）。

本発明のさらなる側面によれば、以下が提供される。

Ｄ１． マルチモーダル感覚データ（２７２）を用いてロボットプラットフォーム（２３０）を制御するための遠隔制御ステーション（２５０）であって、
前記ロボットプラットフォーム（２３０）に通信接続するため、且つ、少なくとも２種類の知覚反応を含む前記マルチモーダル感覚データ（２７２）を前記ロボットプラットフォーム（２３０）から受信するための、通信モジュール（５４０）と、
前記ロボットプラットフォーム（２３０）から受信したマルチモーダル感覚データ（２７２）の表示を生成するための出力装置（６１２）を含むユーザーインターフェイス（６１０）と、を含む遠隔制御ステーション。

Ｄ２． 前記少なくとも２種類の知覚反応は、両眼立体視覚データ（２７３ａ）、両耳ステレオオーディオデータ（２７３ｂ）、力反映ハプティック操作データ（２７３ｃ）、及び、触覚データ（２７３ｄ）からなる群から選択される、付記Ｄ１に記載の遠隔制御ステーション（２５０）。

本発明のさらなる側面によれば、以下が提供される。

Ｅ１． マルチモーダル感覚データ（２７２）に基づいて、構造体（２１２）の閉所空間（２１０）内のロボットプラットフォーム（２３０）を遠隔制御する方法（３００）であって、
前記ロボットプラットフォーム（２３０）の２つ以上のセンサー（５１０）を用いて前記マルチモーダル感覚データ（２７２）を取得し（３１４）、前記マルチモーダル感覚データ（２７２）は、少なくとも２種類の知覚反応を含み、
前記マルチモーダル感覚データ（２７２）の少なくとも一部を遠隔制御ステーション（２５０）に送信し（３２０）、
前記遠隔制御ステーション（２５０）によって前記マルチモーダル感覚データ（２７２）の表示を生成する、方法（３００）。

Ｅ２． 前記ロボットプラットフォーム（２３０）は、構造体（２１２）の閉所空間（２１０）内に配置される、付記Ｅ１に記載の方法（３００）も提供される。

Ｅ３． 前記マルチモーダル感覚データ（２７２）の前記少なくとも一部を送信することは、前記ロボットプラットフォーム（２３０）が前記閉所空間（２１０）内に位置している間に行われる、付記Ｅ２に記載の方法（３００）も提供される。

Ｅ４． 前記少なくとも２種類の知覚反応は、両眼立体視覚データ（２７３ａ）、両耳ステレオオーディオデータ（２７３ｂ）、力反映ハプティック操作データ（２７３ｃ）、及び、触覚データ（２７３ｄ）からなる群から選択される、付記Ｅ１に記載の方法（３００）も提供される。

Ｅ５． 前記マルチモーダル感覚データ（２７２）の前記少なくとも一部を送信する前に、前記マルチモーダル感覚データ（２７２）を補正することをさらに含む、付記Ｅ１に記載の方法（３００）も提供される。

Ｅ６． 送信する前記マルチモーダル感覚データ（２７２）の前記少なくとも一部を選択することをさらに含む、付記Ｅ１に記載の方法（３００）も提供される。

Ｅ７． 前記ロボットプラットフォーム（２３０）で受信した前記遠隔制御ステーション（２５０）からの遠隔制御命令に基づいて、前記ロボットプラットフォーム（２３０）を用いて前記閉所空間（２１０）内で１つ又は複数の作業を行うこと（３５０）をさらに含む、付記Ｅ１に記載の方法（３００）も提供される。

Ｅ８． 前記１つ又は複数の作業は、
前記閉所空間（２１０）内で前記ロボットプラットフォーム（２３０）の位置を変更すること（３５０ａ）、
前記構造体（２１２）の部品（２１４）に穿孔すること（３５０ｂ）、
前記構造体（２１２）に留め具を取り付けること（３５０ｃ）、
前記構造体（２１２）をシールすること（３５０ｄ）、
前記構造体（２１２）を塗装すること（３５０ｅ）、
前記閉所空間（２１０）から物体を取り除くこと（３５０ｆ）、及び、
前記構造体（２１２）を検査すること（３５０ｇ）からなる群から選択される、付記Ｅ７に記載の方法（３００）も提供される。

Ｅ９． 前記マルチモーダル感覚データ（２７２）の忠実度のレベルは、前記１つ又は複数の作業に対応する、付記Ｅ７に記載の方法（３００）も提供される。

Ｅ１０． 前記マルチモーダル感覚データ（２７２）の忠実度のレベルは、時間とともに変化する、付記Ｅ７に記載の方法（３００）も提供される。

Ｅ１１． 前記１つ又は複数の作業は、前記ロボットプラットフォーム（２３０）で生成されたローカルの制御命令にも基づいて行われ、前記１つ又は複数の作業を行うために、前記ローカルの制御命令は、前記遠隔制御命令と組み合わされる、付記Ｅ７に記載の方法（３００）も提供される。

Ｅ１２． 前記遠隔制御ステーション（２５０）においてユーザー入力を捕捉すること（４４０）、及び、
前記閉所空間（２１０）に配置された前記ロボットプラットフォーム（２３０）に遠隔制御命令を送信すること（４６０）をさらに含む、付記Ｅ１に記載の方法（３００）も提供される。

Ｅ１３． 前記マルチモーダル感覚データ（２７２）の表示を生成すること（４３０）は、ビデオスペクトル、オーディオスペクトル、空間配向、及び、固有受容感覚のうちの少なくとも１つに基づいて、前記マルチモーダル感覚データ（２７２）を補正することを含む、付記Ｅ１に記載の方法（３００）も提供される。

Ｅ１４． 前記表示は、複数感覚の高忠実度テレプレゼンスである、付記Ｅ１に記載の方法（３００）も提供される。

Ｅ１５． 前記遠隔制御ステーション（２５０）のユーザーインターフェイス（６１０）は、前記マルチモーダル感覚データ（２７２）のうちの両眼立体視覚データ（２７３ａ）を提示するための３Ｄディスプレイ（６１３ａ）を含む、付記Ｅ１に記載の方法（３００）も提供される。

Ｅ１６． 前記遠隔制御ステーション（２５０）のユーザーインターフェイス（６１０）は、前記マルチモーダル感覚データ（２７２）のうちの前記両耳ステレオオーディオデータ（２７３ｂ）を提示するためのステレオスピーカー（６１３ｂ）を含む、付記Ｅ１に記載の方法（３００）も提供される。

したがって、本開示は、例示した特定の実施例に限定されるものではなく、改変及び他の実施例も添付の特許請求の範囲に含まれることが意図されている。また、上述の記載及び関連図面は、要素及び／又は機能のある特定の例示的な組み合わせに関連させて本開示の実施例を説明しているが、代替の実施態様によって、添付の特許請求の範囲から逸脱することなく、要素及び／又は機能の別の組み合わせを提供することもできる。従って、添付の特許請求の範囲における括弧入りの参照数字は、例示のみを目的としたものであり、特許請求される要旨の範囲を本開示の特定の実施例に限定することを意図したものではない。

Claims (8)

1. マルチモーダル感覚データに基づいてロボットプラットフォームを遠隔制御する方法であって、前記ロボットプラットフォームは、航空機構造体の閉所空間内で前記ロボットプラットフォーム位置を変更すること、前記航空機構造体の部品に穿孔すること、前記航空機構造体に留め具を取り付けること、前記航空機構造体をシールすること、前記航空機構造体に塗装すること、前記航空機構造体の閉所空間から物体を取り除くこと、及び、前記航空機構造体を検査すること、からなる群より選択された作業を行うように構成されており、
   前記ロボットプラットフォームを前記航空機構造体の閉所空間内に配置し、
   前記ロボットプラットフォームを遠隔制御ステーションに通信接続し、
   前記ロボットプラットフォームの複数のセンサーを用いて前記マルチモーダル感覚データを取得し、前記マルチモーダル感覚データは、少なくとも両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データを含み、
   前記感覚データについて異なるスケール調整を行って、オペレータの認識及び知覚能力を前記閉所空間のサイズ及び／又は前記ロボットプラットフォームの前記閉所空間でのタスクに合わせ、
   前記選択された作業に基づいて前記マルチモーダル感覚データの少なくとも一部を選択し、
   前記マルチモーダル感覚データの前記選択された少なくとも一部を前記ロボットプラットフォームから前記遠隔制御ステーションに送信し、
   前記遠隔制御ステーションからの遠隔制御命令をロボットプラットフォームで受信する、ことを含み、
   前記マルチモーダル感覚データに基づいて、前記ロボットプラットフォームにおいてローカルの制御命令を生成することをさらに含む、方法。
2. 前記マルチモーダル感覚データの前記選択された少なくとも一部を送信することは、前記ロボットプラットフォームが前記閉所空間内に位置している間に行われる、請求項１に記載の方法。
3. 前記ローカルの制御命令に基づいて、前記ロボットプラットフォームを用いて前記閉所空間内で１つ又は複数の作業を行うことをさらに含む、請求項１に記載の方法。
4. マルチモーダル感覚データに基づいてロボットプラットフォームを遠隔制御する方法であって、前記ロボットプラットフォームは、航空機構造体の閉所空間内で前記ロボットプラットフォーム位置を変更すること、前記航空機構造体の部品に穿孔すること、前記航空機構造体に留め具を取り付けること、前記航空機構造体をシールすること、前記航空機構造体に塗装すること、前記航空機構造体の閉所空間から物体を取り除くこと、及び、前記航空機構造体を検査すること、からなる群より選択された作業を行うように構成されており、
   前記ロボットプラットフォームを前記航空機構造体の閉所空間内に配置し、
   前記ロボットプラットフォームを遠隔制御ステーションに通信接続し、
   前記ロボットプラットフォームの複数のセンサーを用いて前記マルチモーダル感覚データを取得し、前記マルチモーダル感覚データは、少なくとも両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データを含み、
   前記感覚データについて異なるスケール調整を行って、オペレータの認識及び知覚能力を前記閉所空間のサイズ及び／又は前記ロボットプラットフォームの前記閉所空間でのタスクに合わせ、
   前記選択された作業に基づいて前記マルチモーダル感覚データの少なくとも一部を選択し、
   前記マルチモーダル感覚データの前記選択された少なくとも一部を前記ロボットプラットフォームから前記遠隔制御ステーションに送信し、
   前記遠隔制御ステーションからの遠隔制御命令をロボットプラットフォームで受信する、ことを含み、
   前記マルチモーダル感覚データの前記選択された少なくとも一部を送信する前に、前記マルチモーダル感覚データを補正することをさらに含む、方法。
5. マルチモーダル感覚データに基づいてロボットプラットフォームを遠隔制御する方法であって、前記ロボットプラットフォームは、航空機構造体の閉所空間内で前記ロボットプラットフォーム位置を変更すること、前記航空機構造体の部品に穿孔すること、前記航空機構造体に留め具を取り付けること、前記航空機構造体をシールすること、前記航空機構造体に塗装すること、前記航空機構造体の閉所空間から物体を取り除くこと、及び、前記航空機構造体を検査すること、からなる群より選択された作業を行うように構成されており、
   前記ロボットプラットフォームを前記航空機構造体の閉所空間内に配置し、
   前記ロボットプラットフォームを遠隔制御ステーションに通信接続し、
   前記ロボットプラットフォームの複数のセンサーを用いて前記マルチモーダル感覚データを取得し、前記マルチモーダル感覚データは、少なくとも両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データを含み、
   前記感覚データについて異なるスケール調整を行って、オペレータの認識及び知覚能力を前記閉所空間のサイズ及び／又は前記ロボットプラットフォームの前記閉所空間でのタスクに合わせ、
   前記選択された作業に基づいて前記マルチモーダル感覚データの少なくとも一部を選択し、
   前記マルチモーダル感覚データの前記選択された少なくとも一部を前記ロボットプラットフォームから前記遠隔制御ステーションに送信し、
   前記遠隔制御ステーションからの遠隔制御命令をロボットプラットフォームで受信する、ことを含み、
   前記選択された作業は、前記ロボットプラットフォームで生成されたローカルの制御命令にも基づいて行われ、前記１つ又は複数の作業を行うために、前記ローカルの制御命令は、前記遠隔制御命令と組み合わされる、方法。
6. 前記航空機構造体は、航空機の翼である、請求項１～５のいずれかに記載の方法。
7. 少なくとも両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データを含むマルチモーダル感覚データを用いて航空機構造体の閉所空間内においてロボットプラットフォームを制御するための遠隔制御ステーションであって、前記ロボットプラットフォームは、航空機構造体の閉所空間内で前記ロボットプラットフォーム位置を変更すること、前記航空機構造体の部品に穿孔すること、前記航空機構造体に留め具を取り付けること、前記航空機構造体をシールすること、前記航空機構造体に塗装すること、前記航空機構造体の閉所空間から物体を取り除くこと、及び、前記航空機構造体を検査すること、からなる群より選択された作業を行うように構成されており、
   前記ロボットプラットフォームに通信接続するとともに、前記マルチモーダル感覚データを前記ロボットプラットフォームから受信するための、通信モジュールと、
   前記ロボットプラットフォームから受信したマルチモーダル感覚データの表示を生成するための出力装置を含むユーザーインターフェイスと、を含み、
   前記出力装置は、オペレータの認識及び知覚能力を前記閉所空間のサイズ及び／又は前記ロボットプラットフォームの前記閉所空間でのタスクに合わせるようにそれぞれ異なるスケール調整された前記マルチモーダル感覚データを表示するように構成されており、
   前記ロボットプラットフォームは、前記選択された作業に基づいて前記マルチモーダル感覚データの少なくとも一部を選択するように構成されており、
   前記遠隔制御ステーションは、前記ロボットプラットフォームに対して前記選択された作業を行うように命令を送信するように構成されているとともに、前記マルチモーダル感覚データに基づいて、前記ロボットプラットフォームにおいてローカルの制御命令を生成するように構成されている、遠隔制御ステーション。
8. 少なくとも両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データを含むマルチモーダル感覚データを用いて航空機構造体の閉所空間内においてロボットプラットフォームを制御するための遠隔制御ステーションであって、前記ロボットプラットフォームは、航空機構造体の閉所空間内で前記ロボットプラットフォーム位置を変更すること、前記航空機構造体の部品に穿孔すること、前記航空機構造体に留め具を取り付けること、前記航空機構造体をシールすること、前記航空機構造体に塗装すること、前記航空機構造体の閉所空間から物体を取り除くこと、及び、前記航空機構造体を検査すること、からなる群より選択された作業を行うように構成されており、
   前記ロボットプラットフォームに通信接続するとともに、前記マルチモーダル感覚データを前記ロボットプラットフォームから受信するための、通信モジュールと、
   前記ロボットプラットフォームから受信したマルチモーダル感覚データの表示を生成するための出力装置を含むユーザーインターフェイスと、を含み、
   前記出力装置は、オペレータの認識及び知覚能力を前記閉所空間のサイズ及び／又は前記ロボットプラットフォームの前記閉所空間でのタスクに合わせるようにそれぞれ異なるスケール調整された前記マルチモーダル感覚データを表示するように構成されており、
   前記ロボットプラットフォームは、前記選択された作業に基づいて前記マルチモーダル感覚データの少なくとも一部を選択するように構成されており、
   前記遠隔制御ステーションは、前記ロボットプラットフォームに対して前記選択された作業を行うように命令を送信するように構成されているとともに、前記マルチモーダル感覚データの前記選択された少なくとも一部を送信する前に、前記マルチモーダル感覚データを補正するように構成されている、遠隔制御ステーション。
   

Images