JP6873703B2 - 仮想現実入力を用いたロボット制御システム - Google Patents

Description

（関連出願）
本願は、構築された仮想／ゲーム世界における操作により、現実世界に変化をもたらすことができるシステムとの名称を付された、２０１４年４月３０日付け出願の特許文献１の利益を主張するものである。該米国仮特許出願の内容は全て、上記参照により、本明細書内に組み込まれている。

本願発明は、ロボット制御に関し、特に、ランダム可変環境内の仮想オブジェクトに対する人の操作により、ロボットが、対応する現実世界オブジェクトと自律的に相互作用するための入力を生成可能とするシステム及び方法に関する。

本願を通じて、様々な刊行物、特許、及び公開特許出願は、引用部分を特定することにより参照される。ここで、本願において参照される刊行物、特許、及び公開特許出願の開示内容は、本願開示の中に参照により組み込まれる。

ロボット制御の分野は、２つの異なる種類の制御：自動または人工知能制御；及び遠隔または距離制御を有する。人工知能（ＡＩ）または自動制御は、予めプログラムされた、刺激に対する一組の応答に依存する。ロボットは、予めプログラムされた応答の何れかが適合する場合に、何れが適合するかを判定するための入力を処理する。システムは、入力源の性質、プログラミングの時間に提供される“例示材料”からの予めプログラムされた応答及び変化の程度、並びにロボットにより相互作用される実用材料に限定される。このＡＩロボット制御は、ロボットが何度も繰り返して同じ事をする様に構成される場合には、繰り返し作業を得意とする傾向がある。この例は、ロボットアームが、パーツを持ち上げて回路基板上の特定の位置に繰り返し載置する組立工程であるだろう。また、ロボット装置は、例えば、その領域周辺における操作の仕方を学習することにより、環境内における動作を学習することもできる。ＲＯＯＭＢＡ（登録商標）の掃除機は、その様な装置の一例である。これらのＡＩロボット制御システムは、不安定な、不慣れな、または変化する環境に適応することが不得手な傾向にある。これらの制御システムは、通常、将来起こり得る環境の入力及び故障モードに事前に対処し、予期せぬ入力に出くわした際にその入力を無視することからシャットダウン（電源断）することまでの広範な対応を採り得ることを要求する。

遠隔または距離制御は、ロボットから物理的に離れたロボット制御システムを用いる。人間のオペレータは、システムを制御するための入力を選択し、ロボットは、通常、リアルタイムに、これらの入力に直接反応する。上記例として、ドローン飛行機、水中遠隔潜水艇、及び爆弾作業ロボットが挙げられる。これらのロボットは、動作制御を実行するために人間の制御に完全に依存するか、または、例えば、ドローン飛行機が円を描いて飛行する場合の様に、入力が無い状況において単純かつ自律的な制御に戻る。

仮想現実、仮想提示、及び仮想世界は、現実世界、または、ユーザが閲覧または接触する擬似世界の再提示を行うものとしてもよい。例えば、現実世界の空間及び属性を再提示すると共に、ユーザが移動可能な仮想世界が、生成されるものとしてもよい。

ロボット制御システムは、例えば、コンピュータの生成または拡張したグラフィック（図形）を、現実世界のオブジェクトの画像に重ね合わせて、現実世界のオブジェクトの遠隔操作を支援することにより、仮想現実の特性を用いるものとしてもよい。例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ インタフェース）は、グラフィックオブジェクトを物理オブジェクトと融合させるために、ライブ映像上に適用するものとしてもよい。その結果として拡張されたオブジェクトは、表示された後、ロボット制御を用いてユーザにより操作されるものとしてもよい。しかしながら、この様な手法は、依然として、例えばリアルタイムに、ロボットを直接制御するための人間のオペレータに依存するものである。
従来の手法の問題点を克服するため、改良されたロボット制御システムが必要である。

米国仮特許出願６１９８６２８２号

本願発明の一側面によれば、ロボットシステムは、仮想現実環境からの入力を受けると、現実世界のオブジェクト（ＲＷＯ）に対して自律的にタスクを実行するために提供される。上記システムは、ツールを作動させるためにプロセッサにより実行可能なロボット固有の一組の命令を含む、現実世界のオブジェクト（ＲＷＯ）を操作する様に構成されたツールを有する、プロセッサ制御されたロボット駆動装置（アクチュエータ）を有する。データストアは、ＲＷＯを管理する第１組のルールを有する一方、１つ以上のセンサは、ＲＷＯの存在を検知する。ロボット駆動装置及びセンサと通信可能に接続された仮想現実（ＶＲ）コンピュータは、センサデータを取得及び使用して、ＲＷＯの代表である仮想世界オブジェクト（ＶＷＯ）を有する仮想世界（ＶＷ）を生成する。データストアは、ＶＷＯを管理する第２組のルールを有する。ＶＲコンピュータユーザインタフェースは、第２組のルールに従い、ユーザがＶＷと相互作用することを許可し、ＶＷＯを操作して、修正された仮想世界（ＭＶＷ）を生成する。変換エンジンは、ＶＷ及びＭＶＷ間の差異を取得し、該差異を、ロボット駆動装置の使用可能な入力に変換し、該入力を、ロボット駆動装置へ送信する。自律的な命令エンジンは、上記入力を受けると、興味を引くＲＷＯを特定し、上記入力を第１組のルールと結び付けて、ロボット駆動装置の使用可能な一組の結合された命令を生成し、ロボット固有の命令の各々を選択的に実行し、自律的に特定のＲＷＯと相互作用する。

本願発明の別の側面は、前述のシステムを用いて、仮想現実環境からの入力を受けると、現実世界のオブジェクト（ＲＷＯ）に対して自律的にタスクを実行するための方法を含む。該方法は、センサにより、ＲＷＯの存在を検知すること、及び、対応するデータを生成することを含む。その後、ＶＲコンピュータは、データを取得して使用し、ＲＷＯの代表であるＶＷＯを有するＶＷを生成する。ユーザは、ユーザインタフェースを介して、ＶＷＯを操作し、修正された仮想世界（ＭＶＷ）を生成する。変換エンジンは、ＶＷ及びＭＶＷ間の差異を取得し、該差異を、ロボット駆動装置の使用可能な入力に変換し、変換エンジンからの該入力を、ロボット駆動装置へ送信する。自律的な命令エンジンは、上記入力を受けて使用し、興味を引くＲＷＯを特定し、上記入力を第１組のルールと結び付けて、ロボット駆動装置の使用可能な一組の結合された命令を生成し、ロボット固有の命令の各々を選択的に実行し、自律的に特定のＲＷＯと相互作用する。その後、ロボット駆動装置は、ＲＷＯを操作する。

本明細書に記載されている特徴及び効果は、全てを含むものではなく、特に、図面、明細書、及び請求項を考慮すると、当業者には、多くの付加的な特徴及び効果の存在が明らかとなるであろう。更に、明細書において使用される用語は、主に、読み易さや教示の目的のために選択されたものであり、本願発明の主題の範囲を限定するものではないことに留意すべきである。

本願発明は、一例として図示されるが、同様の構成要素を同様の参照番号により示す添付図面の形態に限定されるものではない：

本願発明の一実施形態を示す模式図 代表的な適用例における、本願発明の一実施形態を示す機能ブロック図 図１Ａ及び図１Ｂの実施形態の態様を示す機能ブロック図 図１Ａ〜図２の実施形態に従って構築された仮想世界の一部分を示す例示的な表示の説明図 代表的な適用例における、図１Ａ〜図３の実施形態を示す斜視図 本願発明の様々な態様において使用可能なコンピュータシステムの一実施形態を示すブロック図

以下の詳細な説明においては、その説明の一部を為す添付図面に参照番号が付されている。添付図面には、本願発明を実施可能な特定の実施形態が、例として示されている。これらの実施形態は、当業者が本願発明を実施可能な程度に十分に詳細に記載されており、また、当然のことながら、他の実施形態も利用可能である。また、当然のことながら、構造、手順、及びシステムは、本願発明の主旨及び範囲から逸脱することなく、変更可能である。加えて、周知の構造、回路、及び技術については、上記説明の理解の妨げとならない様に、詳細には示さない。従って、以下の詳細な説明は、限定的な意味に解釈されるものではなく、本願発明の範囲は、添付の請求項及びその均等物により規定される。

明細書及び添付の請求項において使用される、単数形の“ある”及び“上記”は、そうでない事が明示されない限り、複数の指示対象を含む。例えば、“ある分析装置”への言及は、複数のその様な分析装置を含むものである。別の例では、“ある分析”への言及は、複数のその様な分析を含むものである。

本明細書では、特別な用語が用いられるが、それらは、一般的及び記述的な意味においてのみ使用されるものであり、限定の目的で使用されるものではない。本明細書において使用される様な、技術的及び科学的な用語を含む全ての用語は、用語が別途定義されていない限り、本願発明が属する技術分野の当業者により一般的に理解されているのと同じ意味を有する。更に、当然のことながら、例えば、一般に使用される辞書において定義される用語等の用語は、本願発明が属する技術分野の当業者により一般的に理解されている意味を有する。更に、当然のことながら、例えば、一般に使用される辞書において定義される用語等の用語は、関連技術及び本願開示の文脈における意味と一致する意味を有する。この様な一般的に使用される用語は、本明細書における開示が明示的に別の意味を定義していない限り、理想化された意味または過度に形式張った意味に解釈されない。

総括
本願の発明者は、ロボットが、多くの現実世界への適用に際して効果的に動作するためには、膨大な量のテレメトリデータが必要となり、該テレメトリデータを収集するための現在の手法は、実用化が困難なほど非効率的であることを認識した。データ入力によりテレメトリデータを収集することは、人的には仕事を退屈にさせ易い傾向があるため、生産性及び品質の全てが急速に低下してしまうものであることに、発明者は、気付いた。ユーザが“失敗”し得ると共に、ユーザが成功するとテレメトリデータを収集することのできるゲームは、多くのロボットの応用に要求される大量のデータを効率的に供給することができるであろうことを、発明者は、認識した。上記ロボットの応用は、例えば、ロボットが、ごみくず（都市固形廃棄物“ＭＳＷ”）の中から、有価物または危険物を取り出すことを可能とする。

従来のロボットは、効果的にごみを分類することができない。その分類処理は、複雑過ぎ、自動化すると遅過ぎ、過度に多くの機械学習が要求されることから、コンピュータビジョン（視覚）では、対応仕切れない。人がゲーム中に関連データをシステムへ供給していれば、人及びロボットは、ＭＳＷの中から、再生利用可能な物を効率的に取り出すことができるであろうことを発明者は認識した。プレイヤは、アイテムを識別及び分類し、ロボットは取り出すであろう。ゲームの目標は、例えば、最も価値のあるアイテムを見付けること、所定時間内にアイテムを見付けること、有害なアイテムを見付けること、異なる種類の同一アイテムを分類すること、アイテムの方向及び位置を特定すること等：を含むものとしてもよい。発明者の調査は、２０％の特定及び除去という目標を有するシステムが、３年に渡り３０％のＲＯＩを有するであろうことを示した。より高いパフォーマンスを有する個々のプレイヤは、より高い対価及びより困難なチャレンジに直結するであろう。

他の手法では失敗したが、その様な解決手段を採ると、以下の理由により、成功する可能性がある。人はゲームを楽しみ、勝ってゲームに魅了される。従来の“ゲーミフィケーション”による解決手段では、データ収集インタフェースを“ゲーム化すること”により、データ収集を可能とすることを試みた。しかしながら、“ゲーム化された”製品へのユーザの興味は、製品が、“ゲーム化された”特徴を超える程に有益な利益を奏しない限り、急速に減退する。典型的な報酬：バッジ、チェックイン、ステータスは、容易に達成されるため、その価値を急速に低下させる。標準的なデータ収集システムは、要求されたデータを入力するために構築された方法を提供する。この構造及び繰返しが、離脱につながり、かつ、多くの複雑な現実世界の問題を解決するのに十分なテレメトリデータをシステムが収集することを阻害する。

本願の発明者は、ゲームへの熱中及び継続により、テレメトリデータを収集するために、人を用いる方法を特定した。本願発明に係る解決手段は、上記システムをゲームとし、固定的な解決策または固定的な結果をもつことなく、努力目標を提示して、プレイヤに解決策を発見させる。プレイヤは、必然的に試行及び失敗し、成功するために再試行することができる。上記解決手段は、効果的に、固定的な解決策が存在しない困難な要素にまで、問題を切り分ける。幾つかの実施例は：時間の許容する限りできるだけ多くの特定オブジェクトを識別し、これらのオブジェクトを、例えば１分足らずで分類するものであってもよい。この様に、上記解決手段は、ゲームに勝つという最終目標を、現実の具体的な小さな目標に分けて、試行、失敗、再試行をさせながら、プレイヤが現実の問題を解決すると共に真に熱中することを可能とする手法である。本願発明に係る実施形態は、設定された問題を解決するためのユーザの能力に依存するであろう。これらの実施形態は、問題を解決する方法をユーザに理解させ、その後、ユーザの解決策に基づいて、データを収集するであろう。

本願発明に係る実施形態は、動的または別の態様のランダム可変環境内におけるオブジェクトの操作を含む如何なる用途においても、使用可能である。ごみの分類に加えて、他の潜在的な用途は、ロボットによる採鉱、建造、深海掘削、または、意思決定の樹状図に解決策を効率的に描くことはできないが、ゲームをするユーザにより結果として提供される一組の動作を行うロボットによる解決の可能な問題を有する他の用途を含む。

簡潔に要約すると、本願発明に係る特定の実施形態は、人が現実世界オブジェクトの仮想的な再提示と相互作用すると共に、ロボットが現実世界のオブジェクトと自律的かつ非同期的に相互作用する、ロボット制御を可能とするシステムを有する。これらの実施形態は、人間のオペレータが、動作を選択し、紛争か他のものを解決し、所望の結果の方針を決定することを可能とすることにより、従来手法の限界に対処する。システムは、上記動作及び結果を、ロボット用の一組の命令に変換するであろう。その後、ロボットは、仮想的な／構築された環境に対する変化により、現実世界に変化をもたらすであろう。

専門用語
本願開示において使用される用語“仮想現実”は、コンピュータの生成する画像及び音声から成り、かつ、それを経験する人の動作による影響を受ける人工的な世界の従来の定義と同義により使用される。“コンピュータ”及び“エンドユーザ装置”の用語は、ワークステーション、パーソナルコンピュータ、携帯情報端末（ＰＤＡ）、無線電話、または、プロセッサ、コンピュータ読取り可能な（命令及び／またはデータを含む）プログラムコードが処理可能なコンピュータ読取り可能な媒体、及びユーザインタフェースを含む他の如何なる適切なコンピュータ装置も含む意味である。例えば、“サーバ”、“アプリケーション”、“エンジン”等の用語は、ハードウェア、ソフトウェア、及び／または実行中のソフトウェアを含む、コンピュータ関連の構成要素への言及を意図するものである。例えば、エンジンは、それらに限定されないが、プロセッサ、オブジェクト、実行ファイル、実行スレッド、及びプログラムを含むプロセッサ、並びにコンピュータ上で実行される処理（プロセス）であってもよい。更に、様々な構成要素は、１つのコンピュータ上に局在する、及び／または、２つ以上のコンピュータ間に分散されるものとしてもよい。例えば、“構成要素”または“モジュール”等の用語は、コンピュータ関連の実在物（エンティティ）、並びに、ハードウェア、ハードウェア及びソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアの何れかへの言及を意図するものである。例えば、モジュールは、それらに限定されないが、プロセッサ、オブジェクト、実行ファイル、実行スレッド、及びプログラムを含むプロセッサ、並びにコンピュータ上で実行される処理であってもよい。例として、サーバ上で実行されるアプリケーション、及びサーバ（または制御関連装置）の双方は、モジュールであってもよい。１つ以上のモジュールは、プロセス及び／または実行スレッド内に属するものとしてもよく、また、１つのモジュールは、１つのコンピュータ上に局在する、及び／または、２つ以上のコンピュータ若しくは制御装置間に分散されるものとしてもよい。“リアルタイム”及び“オンデマンド”の用語は、外部イベントの発生とほぼ同時に（例えば、ミリ秒若しくはマイクロ秒以内）、または、システムの処理限界、及び入力に正確に応答する様に要求された時間に付与された計画的遅延を伴うことなく、外部イベントを感知して応答することを示す。“非同期”の用語は、“リアルタイム”ではない方法により、外部イベントを感知して応答することを示す。

プログラム言語
本願発明を具現化するシステム及び方法は、例えば、これらに限定されないが：アセンブリ言語、Ｃ、Ｃ＋＋；ビジュアルベーシック；Ｊａｖａ；ＶＢスクリプト；Ｊスクリプト；ノード．ｊｓ；ＢＣＭＡスクリプト；ＤＨＴＭ１；ＸＭＬ及びＣＧＩ等の、如何なる適切な言語及び技術においてもプログラム可能である。別バージョンは、ハイパーテキストマークアップランゲッジ（ＨＴＭＬ）、アクティブサーバページ（ＡＳＰ）、及びＪａｖａスクリプトを含む他のプログラム言語を用いて、開発されるものとしてもよい。例えば、これらに限定されないが：マイクロソフト製のＳＱＬサーバまたはＩＢＭ製のＡＳ４００等の、如何なる適切なデータベース技術も利用可能である。

上述した様に、本願発明に係る実施形態は、ロボットが、意思決定の樹状図が無いか、または、費用効率性の高い方法で意思決定の樹状図に描くことのできないソフトウェア解決策を要求するタスクを実行することを可能とするシステム及び方法を有する。ロボットは、仮想世界における難題を解決する人により生成された一組の入力を受けることにより、現実世界における上記タスクを実行することが可能となる。ロボットは、ロボットが、利用可能な幾つかの手段を自律的に選択して層状にすることにより、所望のタスクを遂行する指針として、上記入力を、効果的に使用する。ここで、図面を再び参照しながら、本願発明の実施形態について、より詳細に説明する。

ここで、図１Ａには、仮想現実環境からの入力を受けると、現実世界のオブジェクト（ＲＷＯ）上で自律的にタスクを実行するための独創的なロボットシステム１０の一般的な実施形態が、図示及び記載されている。システム１０は、現実世界のオブジェクト（ＲＷＯ）２４を操作する様に構成されたツール２２を有する、プロセッサ制御されたロボット駆動装置２０を有する。該ロボット駆動装置は、一組のロボット固有の命令１１１（図１Ｂ）がその上に格納されたメモリ２６を有する。更に、ロボット駆動装置は、ツール２２を作動させるためのロボット固有の命令１１１を実行する様に構成されたプロセッサ２８を有する。また、図１Ｂに示す様に、システム１０は、ＲＷＯ２４を管理する第１組のルール１０２（図１Ｂ）を含むデータストア３２、及び、例えば、矢印ａに示す下流方向にＲＷＯを移動させる工業過程２５内において、ＲＷＯ２４の存在に応答して、データを検知するか、または別の方法で生成する様に構成された１つ以上のセンサ３４を有する。特定の実施形態では、センサ３４は、例えば、画像取込み（例えば、ＣＣＤ）装置等の電磁センサを有する。

システム１０は、更に、ロボット駆動装置２０及び１つ以上のセンサ３４と通信可能に接続された仮想現実（ＶＲ）コンピュータ４０を有する。ＶＲコンピュータ４０は、センサ３４からデータを取得し、該データを使用して、ＲＷＯ２４の代表である仮想世界オブジェクト（ＶＷＯ）３０１（図３）を含む仮想世界（ＶＷ）１０４（図１Ｂ）を生成する様に構成される。データストア３６は、ＶＷＯ３０１を管理する第２組のルール１０３（図１Ｂ）を有する。ＶＲコンピュータ４０は、ＧＵＩ４４（図３）を生成するグラフィカルユーザインタフェース（ＧＵＩ）モジュール４２を有する。ＧＵＩ４４は、ＶＷＯ３０１を操作すると共に、修正された仮想世界（ＭＶＷ）１０６（図１Ｂ）を生成するための（データストア３６内の）第２組のルール１０３に従い、ユーザがＶＷと相互作用することを可能とする。変換エンジン４６は、ＶＷ１０４（図１Ｂ）及びＭＶＷ１０６（図１Ｂ）間の差異を取得し、該差異を、ロボット駆動装置２０に転送されて使用可能な入力１０７（図１Ｂ）へ変換する様に構成される。ロボット駆動装置２０は、ＶＲコンピュータ４０から入力１０７を受信し、該入力を（データストア３２の）第１組のルールと結び付ける様に構成された自律的な命令エンジン５０を有する。この組合せは、エンジン５０が、ロボット駆動装置２０により使用可能な一組の結合された命令を生成すると共に、メモリ２６内のロボット固有の命令１１１の各々を選択的に実行して特定のＲＷＯ２４と自律的に相互作用することを可能とする。例えば、一旦、興味を引く特定のＲＷＯ２４が特定され、その情報がロボット駆動装置に伝達されると、ロボット駆動装置２０は、あらゆる手法の中から、自律的に、最も良く所望の成果を挙げる手法を選択する。これらの実施形態の具体例については、以下において、より詳細に説明する。

例えば、特定の実施形態においては、変換エンジン４６は、仮想世界（ＶＷ）１０４及び修正された仮想世界（ＭＶＷ）１０６間の差異を取得し、ユーザにより選択された仮想世界オブジェクト（ＶＷＯ）３０１を特定する様に構成される。その後、エンジン４６は、特定されたＶＷＯを、ロボット駆動装置の使用可能な入力１０７（図１Ｂ）へ変換する。様々な実施形態において、自律的な命令エンジン５０は、ユーザの特定されたＶＷＯの形態で上記入力を受信し、該入力を使用して、対応するＲＷＯ２４を特定する。この点に関し、センサ３４及びＶＲコンピュータ４０の組合せは、コンベヤベルト等の上の位置（例えば、２次元または３次元のｘ、ｙ、ｚのデカルト座標）、及び下流方向に向かうコンベヤの周知の速度に基づき、処理（プロセス）２５を有するＲＷＯの位置を探知するものとしてもよい。対応するＲＷＯの位置が一旦検知されると、特定の実施形態では、自律的な命令エンジンは、上記入力を、データストア３２内の第１組のルールと結び付けて、ＲＷＯの操作の所望の最終結果を決定する。換言すれば、エンジン５０は、入力情報（例えば、ＲＷＯの位置、種類、サイズ等）を、第１組のルール（例えば、特定のＲＷＯが入れられるべき箱）と結び付けて、ロボット駆動装置の使用可能な一組の結合された命令を生成する。その後、自律的な命令モジュール５０は、結合された命令を用いて、様々なロボット固有の命令１１１（図１Ｂ）の中から、例えば、ロボット駆動装置２０のファームウェア内に格納された命令１１１を選択し、ＲＷＯを最適に使用及び操作して、所望の結果をもたらす。ロボット固有の命令の実施例は、上記処理がＲＷＯを下流方向に運ぶ時等にＲＷＯを遮断するために、ツール２２が特定のＲＷＯを掴むべき力、及びツールが移動すべき速度を用いるための上記種類またはサイズのツール２２を有する。従って、ロボット２０は、結合された命令を、事前にプログラムされた複数の命令セットの内の１つ以上の中に挿入し、ＭＶＷ１０６を、ＲＷＯに対する所望の影響と同期させることにより、自律的にＲＷＯと相互作用するものとしてもよい。

当業者は、本願発明の実施形態が、個別のパラメータを変更するかまたは別の方法を含む如何なる用途においても使用可能であることを認識するであろう。特に１つの用途が、コンベヤベルト上を運ばれるごみの流れの中から、けん引する再生利用可能なまたは有害なアイテムを特定すること、及び指定された箱の中にアイテムを入れることを含む。これらの実施形態では、ＲＷＯを管理する第１組のルールは、これらには限定されないが、数学的法則、物理的法則、生化学的な法則、またはオブジェクトの相互作用についての若しくは相互作用を管理する他の法則を含むものとしてもよい。更なる具体例は：特定のＲＷＯのための所望の位置／箱；ＲＷＯが構築された材料を含む、ＲＷＯの物理的特性；危険を含む、ＲＷＯの処理に関連付けられた安全性考慮；色、材料の種類、性質、地表面に基づきオブジェクトの価値を管理するルールを含む、ＲＷＯオブジェクトの価値；例えば、ｐｐｍ（１００万分の１）内に生成される汚染等の、ＲＷＯが燃やされ、埋められ、沈められた場合にＲＷＯによりもたらされる被害；並びに、これらの混ぜ合わせ及び組合せを含む。

これらの実施形態では、ＶＲＯを管理する第２組のルールは、これらには限定されないが、オブジェクトのカラー化（カラーライゼーション）、オブジェクトまたは動作に関連付けられた音声及び音楽、ＶＷ１０４内のオブジェクトまたは動作に関連付けられた動画（アニメーション）または映像を含むものとしてもよい。ルール１０３の更なる具体例は：価値、材料の種類、材料の等級、ロボットを用いて掴む際の相対的困難さ、未回収が許される汚染物質のｐｐｍに関するルールに基づくオブジェクトのカラー化；異なる目標を達成するために回収されるべき種類の材料の割合（％）に関するルール；回収された材料の価値、及び回収された材料の価値の目標に関するルール；例えば、収集されたオブジェクトを有する、あるオブジェクトの出現、または、ユーザの“逃した”所望のオブジェクトの出現に関連付けられた音声及び音楽；例えば、目標を管理するルールにより決定される様な、オブジェクトの不完全同定、または、１分毎に所定数のオブジェクトを識別することの失敗等の、“報酬”が与えられているある動作に関連付けられた音声、及び妨げられている動作に関連付けられた音声；ユーザが学習する新たな動作、以前の期間においてユーザが逃したアイテムの例、特定の価値若しくは損害の新たなアイテム、または以前より周知のアイテムの価値若しくは損害における有意な変化に関連付けられた動画あるいは映像；並びに、これらの混ぜ合わせ及び組合せを含む。

ここで、図１Ｂには、本願発明の追加的な実施形態の態様が、図示及び記載されている。様々な実施形態により生成されるＶＷ１０４は、情報のセット１０１、１０２、１０３を用いて構築されるものとしてもよい。セット１０１は、これらに限らないが、光、視覚的及び非視覚的帯域、音声、温度、重さ、相対運動等を含む、システムへの一組の一般的な物理入力である。これらの入力１０１は、仮想世界１０４におけるデータ及び再提示に変換される。上述した様に、セット１０２は、現実世界におけるＲＷＯの挙動を管理するルールを有する。現実世界は、特定の実施形態において処理２５（図１Ａ）に対応する１０８により、概略的に示される。特定の実施形態では、これらのルール１０２は、例えば、本明細書において上述した様に、ＶＷ１０４内に存在する一組のルール及び／または建造物であるルールセット１０３との組合せにより、ＶＷ１０４内のＶＷＯに適用可能な仮想的なルールに変換されるものとしてもよい。上述した様に、ルール１０３は、ＶＷ１０４内のＶＲＯをユーザが操作することを支援する様に構成され、これらに限定されないが、オブジェクトのカラー化、オブジェクトまたは動作に関連付けられた音声及び音楽、ＶＷ１０４内のオブジェクトまたは動作に関連付けられた動画または映像を含むものとしてもよい。

ユーザ２０７（図２）は、一旦生成されると、ＶＲコンピュータ４０のＧＵＩモジュール４２により生成されたＧＵＩ４４（図３）を用いて、ＶＷ１０４と相互作用するものとしてもよい。ユーザ２０７は、直接的に、及び／または、例えば、クライアント−サーバの配置内のユーザ装置を経由して遠隔的に、ＶＲコンピュータ４０にアクセス可能であることに留意すべきである。この点に関し、コンピュータ４０は、ウェブブラウザプログラム等を介してサーバのＧＵＩ４４にアクセスする従来のサーバの機能を、クライアントとして機能するユーザ装置により、提供するものとしてもよい。説明を簡易化するため、図示及び本明細書に記載される実施形態では、ユーザが、ＶＲコンピュータ４０に物理的に位置し、かつ、ＶＲコンピュータ４０からシステム１０を動作させる状況を想定する。

特定の実施形態においては、構築されたＶＷ１０４は、複数のオブジェクト、音声、命令、ルール、挙動、及び入力１０１、１０２、１０３により提供される建造物を有する。その後、ユーザ２０７（図２）は、ＧＵＩ４４（図３）を介してＶＷ１０４と相互作用し、例えば、決定、動作、操作、無活動、及び特定等の形態により、ＭＶＷ１０６を生成するための一組の修正１０５を生成する。当然のことながら、ユーザの利用可能な修正または動作のセットは、部分的には、入力１０１、１０２、１０３により決定されるが、その一方で、ユーザ２０７（図２）の創造力及び知性によっても決定される。上述した様に、ロボット制御命令１０７は、元の仮想世界１０４及び修正された仮想世界１０６間の差異に基づき、変換エンジン４６（図１Ａ）により生成され、特定の実施形態においては、ＲＷＯを管理する第１組のルール１０３を含むものとしてもよい。様々な実施形態においては、命令１０７の詳細は、システム１０３への入力、選択的には１０１及び１０２への入力により管理され、例えば、利用可能な動作を、選択されたＲＷＯ２４の所望の操作に対応する動作に限定する。例えば、入力１０１〜１０３は、特定の処理２５の他の態様の操作を許可するのではなく、命令１０７を、興味を引くＲＷＯの操作に制限するものとしてもよい。

ロボット制御命令１０７のセットは、ロボット２０、２０８（図１Ａ、図２）に送信される。その後、上述した様に、ロボットは、自律的な命令エンジン５０を用いて、入力１０７を、（上述した様に、命令セット１０７内に組み入れ可能な）第１組のルール１０２と結び付けるか、または別の方法で照合を行う。この組合せは、エンジン５０が、ロボット駆動装置２０の使用可能な一組の結合された命令を生成し、ロボット固有の命令１１１の各々を選択的に特定及び実行し、ユーザの特定／選択されたＲＷＯ２４と自律的に相互作用する、例えば操作することを可能とする。この相互作用は、ロボット介在１０９として図示されている。この様に、元の現実世界または処理１０８、２５は、必要に応じて、修正された現実世界１１０を生成する様に修正される。

ここで、図２には、本願発明の態様が、システム２００として示される本願発明の代替的な実施形態に関連して、図示及び記載されている。システム２００は、図１のシステム１０と相当に類似するが、以下の相違点を有する。図示の様に、システム２００は、可視光線または不可視光線を撮像可能であり、ＶＲコンピュータ４０に対してデータを提供する、カメラ（例えば、ＣＣＤ装置）の形態を有するセンサ３４’を有する。変化するタイプの１つ以上のカメラが配置可能であるが、図面上では、単一の要素として示されている。また、１つ以上の追加のセンサ３４”が、図示の様に提供されるものとしてもよい。これらの追加のセンサ３４”は、物理オブジェクト２４若しくは処理／現実世界２５、１０８の他の態様に関するデータを収集することのできる、磁気、温度、速度、または実質上全ての他の装置を有するものとしてもよい。システム２００においては、単一のデータストア３２’が、仮想世界の生成に関する様々なルール、データ、若しくは情報、上記世界内のオブジェクトの操作、または、現実世界内のオブジェクトの価値、該オブジェクトの使用についての命令若しくはルールを格納するために用いられる。上述した様に、ＶＲコンピュータ４０は、仮想世界を生成及び維持する。なお、コンピュータ４０は、複数のコンピュータを有するものとしてもよい。この場合、各コンピュータは、本明細書に図示及び記載されている様な、必要なデータ記憶装置の部分、データ処理及び／またはデータ操作を含むが、簡単のため、単独の実在物としては示していない。ＶＷＯ３０１は、ユーザ２０７が、例えば、ＧＵＩ４４を介して、仮想世界１０４を閲覧及び相互作用することを可能とするユーザインタフェース２０６上に示される。インタフェース２０６は、例えば、タッチスクリーン、キーボード、マウス、ジョイスティック等の形態を有する１つ以上の一体型または分離型の入力装置を含む、１つ以上の監視装置、投射機（プロジェクタ）、タッチスクリーン等の形態を採ることもできる。２０６においてグループとして特定されるこれら全ての構成要素は、ＶＷを可視化して１０５にてＶＷを操作するための能力をユーザ２０７に提供するために結合し、命令１０７をロボット２０に送信する。その後、ロボット２０は、本明細書において上述した様に、介在１０９にＲＷＯ２４を操作させる様に動作する。

なお、ロボット２０は、特定の処理２５の要求を満たすために、複数機能を有する単体のロボット、互いに協働する単一の機能を有する複数のロボット、及び／またはその何れかの組合せの形態を採ることもできる。説明の簡易化のため、これらのロボット２０、その搭載装置、安全装置、電源、及び制御入力は、図面においては、単一の構成要素２０に単純化されている。また、ＲＷＯ２４、及び／または現実世界１１０に対する所望の修正を含む処理２５が、現実世界における所望の結果を表すこと、並びに、ユーザ２０７が、２０６にて表示されるＶＷを用いて、ＶＷにおける特定の所望の目標を達成する方法を決定するであろうことが認識されるべきである。ＶＷにおける所望の目標は、得点を獲得することによりゲームに勝つことであってもよい。その後、システムは、ＶＷ目標をＲＷ目標２４、１１０に変換するため、実際の現実世界目標は、ユーザには明らかにならないかもしれない。また、特定のＲＷ目標は、例えば、アイテム２４をある位置から別の位置に移動させること等の単一目標であってもよいし、または、全体目標を達成するための一連の複雑かつ小さな目標／移動であってもよいことに留意すべきである。一連の小さな目標、必須の動作、動作の順序、及び中間工程は全て、単一要素２４、１１０内に示されている。

ここで、図３には、ＧＵＩ４４を有する例示的な表示２０６が、一例としてのＶＷＯ３０１を含んで示されている。本実施例では、ユーザは、例えば、３０２に示す缶に関し、ＶＷＯ３０１を、指定された位置へ移動することにより、ＶＷＯ３０１を仮想的に操作する。操作３０２は、位置として図示されているが、他の実施形態では、例えば、圧搾または分離の様な変形動作の形態を採ることもできる。また、図示する様に、ＧＵＩ４４は、本実施例において仮想目標を達成する際のユーザの進捗に関する視覚フィードバックを提供するフィードバックディスプレイ３０３を有するものとしてもよい。上記フィードバックは、追加的または代替的に、音声、音楽、色の変化等を含むことができることが認識されるべきである。上記フィードバックは、ユーザがＶＷＯ３０１を特定し続けて、その後、所望の現実世界目標２４、１１０を達成するためにシステムにより使用される目標３０２を達成することを通知及び動機付ける、実質上全ての情報を含むものとしてもよい。

ここで、図４に示す一例としての別の実施形態では、一連のロボット２０’は、コンベヤ上を運ばれるごみの形態で、処理２５と連動して処理される。ＲＷＯ４０１に対応するＶＷＯ３０１（図３）は、物理的な目標２４（図１Ａ）の上位集合（スーパーセット）を形成する多くのアイテムの内の１つである。ロボット２０’は、現実世界において要求されたタスクを実行する様に、すなわち、ＲＷＯ４０１と連動してＲＷＯ４０１を適切な箱４０３に移動する様に特殊化されている。位置４０３におけるＲＷＯは、ロボット介在１０９（図１Ｂ）の後に、修正された現実世界１１０（図１Ｂ）を示す。

本明細書において図示及び記載される実施形態は、如何なる応用においても、上述した様な、自治体の管理するごみの流れの中から再生利用可能なアイテムを選択するという用途を含むものとしてもよい。これらの用途において、ごみは、再生利用工場により稼働するコンベヤベルト上に載せられるであろう。なお、ＶＲコンピュータ４０は、ユーザに対して動作を提案可能でありかつ許可されたＶＷＯを、事前に分類するものとしてもよい。ＶＷＯの幾つかは、ルール１０１、１０２、１０３等に従い、システムにより強調されるものとしてもよい。他の例では、ＶＷＯは、人間のオペレータ２０７（図２）により特定されるであろう。上述した様に、人間のオペレータ２０７は、仮想世界を修正することにより、正確な特定を行うであろう。仮想世界における変化は、ロボットに送信され、ロボットは、特定されたアイテムを持ち上げて、提供された場所に正確に置くであろう。

本願発明の特定の実施形態に適した別の用途は、建設廃棄物の流れの中から、再生利用可能なアイテムを選択することを含む。建設廃棄物は、再生利用工場により稼働するコンベヤベルト上に載せられるであろう。生成された仮想世界は、ユーザに対して動作を提案可能でありかつ提案するアイテムを、事前に分類するであろう。幾つかのアイテムは、仮想世界のルールに従い、システムにより強調されるであろう。他のアイテムは、人間のオペレータにより特定されるであろう。人間のオペレータは、仮想世界を修正することにより、正確な特定を行うであろう。仮想世界における変化は、ロボットに送信され、その後、ロボットは、特定されたアイテムを持ち上げて、提供された場所に正確に置くであろう。

別の用途においては、実施形態は、分類されていない再生利用可能な物の流れの中から、異なる再生利用可能な物を分類するであろう。仮想世界のユーザは、例えば、異なる種類のプラスティック、紙、金属等の、異なる種類の材料を特定するであろう。

更なる別の潜在的な用途は、焼却用に指定されたごみの流れの中から、危険または有毒な材料を選択して除去することである。システムは、仮想世界を構成して、燃やすと有害、破壊的または危険となり得るアイテムを特定するであろう。システムのユーザは、アイテムを特定すると共に、採るべき動作の所望の方針を示すであろう。ロボットは、最初の仮想世界、及びユーザ操作により生成された仮想世界間の差異に基づき、システムからロボットへの命令を受けるであろう。ロボットは、システムによる指示に従い、アイテムを持ち上げて置くであろう。残りの廃棄物は、安全に焼却されるであろう。

更に別の用途は、複合材料の分解である。仮想世界は、アイテムまたは分解中のアイテム、アイテムの価値に関する情報、並びに、アイテムの分解及び該分解にはらむ危険への最良の対処方法を含んで構築されるであろう。その後、仮想世界のユーザは、例えば、タスクの一覧表（メニュー）から選択することにより、動作の方針を選択し、ユーザ自身の専門知識と関連して順序付けられた実行すべきタスクのリストを生成するであろう。仮想世界においてユーザにより選択された動作は、物理的な空間内に位置する一連のロボットのためのコマンドに変換されるであろう。これにより、ロボットは、選択されたタスクを実行すると共に、状態の変化を通知するために、状態を仮想世界に返信して報告するであろう。

図示及び本明細書に記載された実施形態は、従来より定義される単なる“ゲーミフィケーション”、すなわち、“参加を促すために、ゲームまたはゲームの様な要素を、（タスクとして）何かに追加する処理”（http://www.merriam-webster.com/dictionary/gamification）を超えるものを示すことに留意すべきである。本願発明の実施形態は、ゲームによる報酬及び評価を、非ゲームタスクに単に適用するのではなく、目標は特定されるが達成されない“現実世界ゲーム”を効果的に生成する。ＶＲコンピュータ４０の提供する仮想現実は、解決すべき難題を、様々な視覚的及び／または聴覚的な特徴と連動させて、ユーザに対して効果的に提供し、ユーザによる難題の解決を支援すると共に、例えば、ユーザへの報酬の調整等、ユーザの進捗の監視を行う。そして、これらの実施形態は、ロボット２０が処理２５に遅れずについていかなければならない様な時間的制約のある状況において動作するものとしてもよいが、例えば、ドローン飛行機または遠隔治療を行うために使用されるロボット等のロボットに対する従来の遠隔または距離制御という意味においては、必ずしもリアルタイムに動作する必要はない。むしろ、これらの実施形態は、ロボットがその後になって使用する可能性のある非同期のユーザ入力の使用が、記載された様な所望の現実世界の動作を自律的に実行することを可能とする。更に、図示及び本明細書に記載された様々なロボット駆動装置２０、２０’は、ハードウェアツール２２を有するハードウェア装置を有するが、ロボット駆動装置及び／またはツールは、本願発明の主旨を逸脱しない範囲内で、ハードウェア及び／またはソフトウェアの様々な組合せにおいて実行可能であることが認識されるべきである。

図５は、上述した手法の何れか１つを機械に実行させるための一組の命令を実行可能なコンピュータシステム３００の一例としての形態における機械の再提示を示す図である。代替的な実施形態では、上記機械は、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話、ウェブ関連機器、または、機械の採るべき動作を特定する一連の命令を実行することのできる何れかの機械を有するものとしてもよい。

コンピュータシステム３００は、バス３０８を介して互いに通信し合うプロセッサ３０２、メインメモリ３０４、及び静的メモリ３０６を有する。コンピュータシステム３００は、映像表示装置３１０（例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、プラズマ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等）を更に有するものとしてもよい。また、コンピュータシステム３００は、英数字入力装置３１２（例えば、キーボードまたはタッチスクリーン）、カーソル制御装置３１４（例えば、マウス）、ドライブ（例えば、ディスク、フラッシュメモリ等）装置３１６、信号生成装置３２０（例えば、スピーカ）、及びネットワークインタフェース装置３２２を有するものとしてもよい。

ドライブ装置３１６は、上述した手法の何れか１つまたは全てを実現する一組の命令（すなわち、ソフトウェア）３２６が格納される、コンピュータ読取り可能な媒体３２４を有する。また、ソフトウェア３２６は、全体的にまたは少なくとも部分的に、メインメモリ３０４内及び／またはプロセッサ３０２内に属する様に示されている。更に、ソフトウェア３２６は、ネットワークインタフェース装置３２２経由で送受信されるものとしてもよい。本明細書の目的に照らし、“コンピュータ読取り可能な媒体”という用語は、コンピュータにより実行される一連の命令を格納または符号化することができ、かつ、本願発明の手法の何れか１つをコンピュータに実行させる、如何なる媒体をも含むものとする。

更に、本願発明の実施形態は、コンピュータに対して、本願発明に関連付けられた何れかの機能、方法、及び／またはモジュールの実行を指示するのに使用可能なプログラムコードをその中に記憶したコンピュータ読取り可能な記憶媒体を有するコンピュータプログラムコードベースの製品を含む。持続性のあるコンピュータ読取り可能な媒体は、これらに限られないが、以下の：ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、光ディスク、ハードドライブ、フロッピィディスク、強誘電体メモリ、フラッシュメモリ、相変化メモリ、強磁性メモリ、光学記憶装置、電荷結合素子（ＣＣＤ）、磁気または光カード、スマートカード、ＥＥＰＲＯＭ、ＥＰＲＯＭ、ＲＡＭ、ＲＯＭ、ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ、及び／あるいは他の何れかの適切な静的、動的、または揮発性のメモリ若しくはデータ記憶装置の内の何れかを含む。しかしながら、一時的な信号それ自体は含まない。

以下の例示的な実施例は、本願発明のある側面及び実施形態を示すものであり、本願発明を、何れか１つの特定の実施形態または一組の特徴に限定することを意図するものではない。

実施例
図１Ａ〜図５に関して実質的に図示及び記載されたシステムの原型は、間もなく燃やされるごみの流れの中にある電池、及び水銀を含む電球型蛍光ランプ（ＣＦＬ）の電球を発見するために構築された。ＵＳＢ映像カメラの映像データソースは、センサ３４として使用された。また、高照度光は、カメラ用のより高いコントラスト（硬調）を提供するために使用された。物理入力１０１は、カメラにより生成されたライブ映像の供給を含んだ。ＲＷＯ（ＣＦＬ）２４のための代表的な第１組のルール１０２は、データストア３２上に載せられ、電池及びＣＦＬ電球のサイズ、ＣＦＬの最適な回収位置、割れたガラスの破片を回収するための最適位置、回収された各種材料を載置するためのｘｙ座標上の位置を含んだ。また、セット１０２は、残されても安全な割れたＣＦＬガラスの量に関するデータ、及び有害性の高い方から低い方への順位付けにより、より多くの電池が特定され、その後除去可能となった場合に、電池の除去に使用する際の優先度も含んだ。ＶＲＯを管理するルール１０３は、追加され、より大きな危険に対してより大きなバケツが対応する様に、相対危険率に基づいて異なるサイズのバケツ；小さなガラス、割れたＣＦＬ、または多過ぎるアイテムが画面上に一度に存在する場合に、問題を解決する方法の可能性についてユーザ２０７にする命令；及び、できる限り多く除去し、かつ、最も有害な材料を最初に除去することを含むユーザの目標：を含んだ。他のルール１０３は、オブジェクトを容易に特定可能とするために、高いコントラストのフィルタを映像供給に適用すること；選択に対して音声を追加すること、及びアイテムをバケツの中に入れること；ユーザを落ち着かせて集中させ続けるための沈静用バックグラウンドミュージック；ユーザに注意を喚起し続けるためにＧＵＩ４４において使用される明るい色；並びに、良好な選択を監視して到達に必要な目標速度を通知するための視覚的カウンタを含んだ。ロボット相互作用ルール１１１のセットは、ロボットが何れかの種類のアイテム、例えば、ＣＦＬ電球、電池、またはＣＦＬガラスを回収するために用いるべきツール２２（例えば、グリッパ）の識別情報、及び、異なるサイズの電池をうまく回収するためにグリッパを閉じる量を含んだ。

ＶＲ世界／ゲーム１０４は、アドビ（登録商標）フラッシュを用いて構築され、かつ、仮想世界の表示装置２０６としての機能を果たすタッチスクリーンと共に、ウィンドウズ（登録商標）８．１のタブレット４０上に属した。システムは、仮想世界１０４と相互作用しながら、修正された仮想世界１０６をリアルタイムに生成した。ユーザの相互作用１０５は、仮想世界を含むコンピュータ４０から他のコンピュータ４０へ、空色プラットフォーム上で実行されるネットウェブサーバの形態で、送信された。これにより、通信プロトコルとしてインターネットを用いることで、プレイヤが、ロボット２０及び現実世界１０８から遠隔に位置することを可能とした。ウェブサーバは、ＭＶＷ１０６を形成するためのこれらの修正を記録して、“位置ｘ、ｙにおける“アイテム種類”のアイテムを回収”の形態で、ロボット宛に送信された命令１０７の生成に用いた。これらの命令の例は、“ａａ−電池”、“２３、４３”であった。ロボット２０は、空色ウェブサーバの接続ソケットから、これらの命令を受けた。

ロボット２０は、ＡＢＢ会社により製造された、ロボティックスタジオと呼ばれる仮想的なロボットシミュレータであり、ＩＲＢ１６００を含む多くのロボットの内の１つの実行をシミュレートした。ロボットは、アイテムを入れるための箱、及び特定されたアイテムのためのグリップ目標点を含む、代表モデル１０２からの情報を使用し、ロボット相互作用１１１に提供した。ロボットは、上記情報を用いて、現実世界１０８内のシミュレートされたＲＷＯを、自動的かつ自律的に操作し、ロボット介在１０９により、修正された現実世界１１０を生成した。ロボット介在１０９は、命令１０７により提供された位置に移動し、ロボットルール１１１により示されたグリッパを用い、特定の位置にある物理的な目標２４を回収するロボット２０の形態を採った。

上記システムは、様々なコンピュータ環境において実行される。例えば、本願発明は、従来のＩＢＭ社製ＰＣまたはその同等物、多結節のシステム（例えば、ＬＡＮ）、あるいはネットワークシステム（例えば、インターネット、ｗｗｗ、無線ウェブ）上で実行されるものとしてもよい。全てのプログラム及びこれに関するデータは、コンピュータの静的若しくは動的または不揮発性のメモリ内に格納され、かつ、従来のコンピュータ記憶装置、表示装置（例えば、ＣＲＴ、フラットパネルＬＣＤ、プラズマ等）及び／またはハードコピー（すなわち、印刷された）形式の何れかにおいて：ユーザにより検索されるものとしてもよい。本願発明に係るプログラムは、コンピュータシステム及び／またはソフトウェア設計の当業者により、実行されるものとしてもよい。

前述の明細書においては、図示及び説明の目的で、一例としての特定の実施形態に参照番号を付して、本願発明について記載した。かかる記載は、網羅的なものではなく、また、本願発明を、開示された通りの詳細な形態に限定することを意図するものでもない。本願開示の内容に照らして、多くの修正態様、及び変形態様を採ることが可能である。本願発明の範囲は、本明細書の詳細な説明により限定されるものではなく、むしろ本明細書に添付の請求項により限定されることを意図するものである。

更に、当然のことながら、本明細書に記載された実施形態の一つについて記載された特徴の幾つかは、本願発明の主旨から逸脱しない範囲内において、本明細書に記載された他の実施形態の幾つかに対しても、同様に適用可能である。

Claims (17)

1. 仮想現実環境から入力を受けると、現実世界のオブジェクト（ＲＷＯ）上でタスクを自律的に実行するためのロボットシステムであって：
   現実世界のオブジェクト（ＲＷＯ）を操作するように構成されたツールを有するプロセッサ制御されたロボット駆動装置であり、該ロボット駆動装置は、一組のロボット固有の命令がその上に格納されたメモリを有し、該ロボット駆動装置は、前記ツールを作動させるための前記ロボット固有の命令を実行するために構成されたプロセッサを更に有するロボット駆動装置と；
   前記ＲＷＯを管理する第１組のルールを含む１つ以上のデータストアと；
   前記ＲＷＯの存在を検知すると共に、前記存在に対応するデータを生成するように構成された１つ以上のセンサと；
   前記ロボット駆動装置及び前記１つ以上のセンサに通信可能に接続された仮想現実（ＶＲ）コンピュータであり、該ＶＲコンピュータは、前記データを取得すると共に、該データを用いて、前記ＲＷＯの代表である仮想世界オブジェクト（ＶＷＯ）を含む仮想世界（ＶＷ）を生成するように構成されたＶＲコンピュータと；
   前記ＶＷＯを管理する第２組のルールを含む１つ以上のデータストアと；
   ユーザが、前記第２組のルールに従って前記ＶＷと相互作用し、前記ＶＷＯを操作して、ゲームでの得点獲得であるＶＷ目標を得て、修正された仮想世界（ＭＶＷ）を生成することを可能とするユーザインタフェースを有する前記ＶＲコンピュータと；
   前記ＶＷ及び前記ＭＶＷ間の差異を取得し、該差異を、前記ロボット駆動装置の使用可能な入力に変換し、該入力を、前記ロボット駆動装置に送信するように構成された変換エンジンと；
   前記入力を受けて興味を引くＲＷＯを特定すると共に、前記入力を前記第１組のルールと結び付けて、前記ロボット駆動装置の使用可能な一組の結合された命令を生成し、前記ロボット固有の命令の各々を選択的に実行し、特定の前記ＲＷＯと自律的に相互作用し、所望のＲＷ目標を得るように構成された自律的な命令エンジンを有する前記ロボット駆動装置とを有する
   ことを特徴とするシステム。
2. 前記変換エンジンは、前記ＶＷ及び前記ＭＶＷ間の差異を取得し、前記ユーザにより選択されたＶＷＯを特定し、特定されたＶＷＯを、前記ロボット駆動装置の使用可能な入力に変換するように構成される
   請求項１に記載のシステム。
3. 前記変換エンジンは、前記差異を、現実世界（ＲＷ）上の特定の位置ｘ、ｙにおける特定のＲＷＯの回収として、ロボット制御命令に変換するように構成される
   請求項２に記載のシステム。
4. 前記自律的な命令エンジンは、ユーザによって特定されたＶＷＯとして前記入力を受けて、興味を引くＲＷＯを特定するように構成される
   請求項２に記載のシステム。
5. 前記自律的な命令エンジンは、前記入力を、前記第１組のルールと結び付けて、前記ＲＷＯの操作の所望の最終結果を特定し、前記ロボット駆動装置の使用可能な一組の結合された命令を生成するように構成される
   請求項４に記載のシステム。
6. 前記第１組のルールは、数学的法則、物理的法則、生化学的な法則、及びこれらの組合せを含む
   請求項１に記載のシステム。
7. 前記第１組のルールは：特定のＲＷＯのための所望の位置／特定のＲＷＯが入れられる箱；前記ＲＷＯが構築された材料を含む、前記ＲＷＯの物理的特性；危険を含む、前記ＲＷＯの処理に関連付けられた安全性考慮；色、材料種別、性質、汚れ具合（soil level）に基づいて前記オブジェクトの価値を管理するルールを含む、前記ＲＷＯの価値；ｐｐｍ（１００万分の１）オーダーの汚染の、前記ＲＷＯが燃やされ、埋められ、沈められた場合に前記ＲＷＯによりもたらされる被害；前記ＲＷＯのサイズ、前記ＲＷＯの最適な回収位置；並びに、これらの混ぜ合わせ及び組合せを含む
   請求項６に記載のシステム。
8. 前記第２組のルールは、オブジェクトのカラー化、オブジェクトまたは前記ユーザの予め設定された特定の動作に関連付けられた音声及び音楽、オブジェクトまたは前記ユーザの予め設定された特定の動作に関連付けられた動画または映像、並びに、これらの組合せを含む
   請求項１に記載のシステム。
9. 前記第２組のルールは：価値、材料種類、材料の等級、前記ロボットを用いて掴む際の相対的困難さ、未回収が許される汚染物質のｐｐｍに関するルールに基づくオブジェクトのカラー化；異なる目標を達成するために回収されるべき種類の材料の割合（％）に関するルール；回収された材料の前記価値、及び前記回収された材料の価値の前記目標に関するルール；並びに、これらの組合せを含む
   請求項８に記載のシステム。
10. 前記ロボット固有の命令は、使用するツールの種類及び／またはサイズを管理するルール、前記ツールが前記特定のＲＷＯを掴むべき力、前記ＲＷＯを捕捉するために前記ツールが移動されるべき速度、異なるサイズのＲＷＯをうまく回収するために前記ツールを閉じる量、並びに、これらの組合せを含む
    請求項１に記載のシステム。
11. 前記ロボットは、前記結合された命令を、事前にプログラムされた複数の命令セットの内の１つ以上の中に挿入し、前記ＭＶＷを、前記ＲＷＯに対する所望の影響と同期させることにより、自律的に前記ＲＷＯと相互作用するように構成される
    請求項１に記載のシステム。
12. 前記ロボット固有の前記命令セットは、ファームウェア内に格納される
    請求項１１に記載のシステム。
13. 前記センサは、電磁センサを有する
    請求項１に記載のシステム。
14. 前記電磁センサは、画像取込み装置を有する
    請求項１３に記載のシステム。
15. 光、視覚的及び非視覚的帯域、音声、温度、重さ、相対運動、並びにこれらの組合せを含む、前記ＶＷの物理的態様を管理する第３組のルールを含むデータストアを有する
    請求項１に記載のシステム。
16. 前記ロボット駆動装置は、前記ロボット固有の前記命令セットの各々を選択的に実行し、前記ＶＷとのユーザ相互作用に関連して、特定の前記ＲＷＯと自律的かつ非同期的に相互作用するように構成される
    請求項１１に記載のシステム。
17. 請求項１１に記載の前記システムを用いて、仮想現実環境から入力を受けると、現実世界のオブジェクト（ＲＷＯ）上でタスクを自律的に実行するための方法であって：
    （ａ）前記１つ以上のセンサを用いて、前記ＲＷＯの存在を検知すると共に、前記存在に対応するデータを生成することと；
    （ｂ）前記ＶＲコンピュータにより、前記データを取得及び使用し、前記ＲＷＯの代表であるＶＷＯを含む前記ＶＷを生成することと；
    （ｃ）前記ユーザインタフェースを介して、ユーザが、前記ＶＷＯを操作して、修正された仮想世界（ＭＶＷ）を生成することを可能とすることと；
    （ｄ）前記変換エンジンを用いて、前記ＶＷ及び前記ＭＶＷ間の差異を取得し、該差異を、前記ロボット駆動装置の使用可能な入力に変換すると共に、該入力を、前記変換エンジンから前記ロボット駆動装置へ送信することと；
    （ｅ）前記ロボット駆動装置の前記自律的な命令エンジンにおいて入力を受け、興味を引き、かつ、前記自律的な命令エンジンを有するロボット駆動装置を特定し、前記入力を、前記第１組のルールと結び付けて、前記ロボット駆動装置の使用可能な一組の結合された命令を生成し、前記ロボット固有の前記命令セットの各々を選択的に実行して、特定の前記ＲＷＯと自律的に相互作用することと；
    （ｆ）前記ロボット駆動装置により前記ＲＷＯを操作することを含む
    ことを特徴とする方法。

Images