JP7390405B2 - 統合された物理的環境および模擬された環境でロボットシステムを試験するための方法およびシステム - Google Patents

Description

関連出願の相互参照
特許のための本出願は、米国特許法§１１９の下に、２０１９年６月２６日に出願した、「Ａｐｐａｒａｔｕｓ Ａｎｄ Ｍｅｔｈｏｄ Ｏｆ Ｉｎｔｅｇｒａｔｅｄ Ｐｈｙｓｉｃａｌ Ａｎｄ Ｓｉｍｕｌａｔｅｄ Ｅｎｖｉｒｏｎｍｅｎｔ Ｆｏｒ Ｄｅｍｏｎｓｔｒａｔｉｎｇ Ａｎｄ Ｔｅｓｔｉｎｇ Ｒｏｂｏｔｉｃ Ｓｙｓｔｅｍｓ」という名称の米国仮特許出願第６２／８６６，８９２号の優先権を主張する、２０２０年６月２６日に出願した、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｔｅｓｔｉｎｇ Ｒｏｂｏｔｉｃ Ｓｙｓｔｅｍｓ Ｉｎ Ａｎ Ｉｎｔｅｇｒａｔｅｄ Ｐｈｙｓｉｃａｌ Ａｎｄ Ｓｉｍｕｌａｔｅｄ Ｅｎｖｉｒｏｎｍｅｎｔ」という名称の米国特許出願第１６／９１４，２１７号の優先権を主張するものであり、これらの出願の主題は、いずれも参照によりそれらの全体が本明細書に組み込まれている。

説明される実施形態は、複雑な環境でロボットシステムを試験するためのシステムおよび方法に関する。

ロボットシステムは、典型的には良好に制御された環境で、高度に反復的なタスクを実施するために広く展開されている。工場オートメーションのいくつかの例では、ロボットは、長い時間期間（例えば数カ月または数年）にわたって単一のタスクを繰り返し実施している。しかしながらロボットシステムは、あまり体系化されていない、それほどには予測可能ではない環境におけるタスクの実施に対しては、未だ広く展開されていない。ロボットシステムをこれらの環境により良好に統合するためには、新しいタスクおよび環境条件にロボットシステムを適合させることができなければならない。

いくつかの例では、ロボットシステムが体系化されていない環境で広範囲にわたるタスクを実施することができるよう、知能が強化されたロボットシステムが開発されている。インテリジェントロボットシステムは、複雑なタスクをより良好に理解し、かつ、より少ない命令で手近なタスクを実行することができる。さらに、改良されたユーザインタフェースが人間とロボットシステムとの間の通信を強化し、手近なタスクをより良好に理解するべく共同的ロボットシステムを可能にしている。

自律車両および移動マニピュレータなどのインテリジェントロボットシステムの現実のアプリケーション環境への展開を成功させるためには、現実に即した動作条件下でのシステムの広範囲にわたる試験および評価が必要である。ロボットシステムが環境内で人間と対話する場合、試験は決定的に重要である。安全性は、人間がとっぴに、また、不合理に振る舞う極端な状況を含む様々な条件下で徹底的に検証されるべき重大な問題である。さらに、アプリケーション環境は、動的に変化し、不確かであり、また、予測不可能であり得る。動的環境で人間と対話するロボットシステムは、考えられるあらゆる条件の下で試験されなければならない。

従来、新しいロボットシステムは、そのロボットシステムを現実の環境に導入する前に、模擬環境を使用して試験され、かつ、評価されている。しかしながら現在の模擬環境は、現実の環境で物理的センサによって生成される現実に即したセンサ信号を作り出すことはできない。さらに、現在の模擬環境は、人間の挙動などの複雑な実体の挙動をモデル化することはできない。さらに、現在の模擬環境は、材料の流れ、人間－ロボット対話、偶発的な事象および例外的事例を含む多くの要因および動因の中で対話を効果的に表示し、立証し、また、よくわかるように説明することはできない。

現在、ほとんどの模擬は、単に仮想環境で実施されている。この手法には多くの限界がある。例えばロボットデバイスの模擬された動きは正確ではないことがあり得る。多くのシナリオでは、スケール、およびロボットシステムが物理的世界へ移行することになる様子を理解することは困難である。

残念なことには、現実の物理的環境における試験は、利用可能な時間、資源、物理的制約および安全性要求事項のために限られていることがしばしばである。可能であるのは、ごく限られた数の環境状況およびタスクシナリオを調査することのみであることがしばしばである。詳細には、このような試験がコマーシャルサイトで実施される場合、試験は極めて煩わしいか、危険であるか、あるいはその両方であり得る。最後に、極めて特殊なシナリオを物理的環境において他の対象物の正確なタイミングまたは動きで試験することは困難である。

したがって模擬された環境または現実の物理的環境における試験だけでは、新しいロボットシステムの首尾の良い、かつ、安全な展開が保証されない。しかしながら安全性を保証するためには、多くの状況を可能な限り正確に試験することが重要である。

要約すると、複雑で比較的非体系的なタスク環境に入る前のロボットシステムの厳しい試験を可能にするためには、試験環境に対する改善が望ましい。

本明細書においては、物理的試験環境および仮想試験環境の両方を併せ持つロボットシステム試験環境でロボットシステムを試験するための方法およびシステムが提供される。１つまたは複数の現実の物理的環境と仮想環境とを併せ持つことにより、重要な動作シナリオを試験している間、周囲の潜在的な危険からロボットシステムを分離することができ、あるいはその逆についても同様である。さらに、１つまたは複数の現実の物理的環境と仮想環境とを併せ持つことにより、実際のロボットシステムを展開する前に、現実の動作環境におけるロボットシステムの能力を立証することができる。いくつかの実施形態では、ロボットシステムを試験し、かつ、評価するための現実に即した三次元の物理的環境が、模擬された仮想要素を使用して強化される。この方法によれば、ロボットシステム、人間および他の機械が現実の要素および仮想要素の両方と動的に対話する。

一態様では、物理的試験環境のモデルおよび仮想試験環境のモデルが結合され、また、結合されたモデルの状態を示す信号を使用してロボットシステムが制御される。この方法によれば、ロボットシステムは、物理的環境の測定された要素および仮想環境の要素の両方に基づいて制御される。

さらなる態様では、物理的試験環境に存在する移動ロボットが、制御下にある仮想ロボットの動きを模倣するように指令される。移動ロボットは、制御下にある仮想ロボットに構造的に対応していない。

別のさらなる態様では、仮想ロボットの存在および仮想ロボットによって取られるアクションの視覚表現を提供するために、制御下にある仮想ロボットの画像が物理的試験環境の上に投影される。

別のさらなる態様では、物理的試験環境における、制御下にあるロボットが、制御下にある仮想ロボットの動きを模倣するように指令される。制御下にあるロボットは、制御下にある仮想ロボットに構造的に対応している。

別のさらなる態様では、局所化システムが制御下にあるロボットの物理的試験環境における場所を追跡し、かつ、時間の関数としてその場所を示す信号を仮想モデルエンジンに通信する。仮想モデルエンジンは、それに応答して、制御下にある対応するロボットの物理的試験環境における位置と対応するよう、制御下にある仮想ロボットの仮想試験環境における位置を更新する。

以上は要約であり、したがって必要に応じて細部の単純化、一般化および省略を含み、したがってこの要約は単なる例証にすぎず、何ら制限するものではないことが当業者には認識されよう。本明細書において説明されているデバイスおよび／またはプロセスの他の態様、発明特徴および利点は、本明細書において示されている非制限の詳細説明で明らかになるであろう。

一実施形態におけるロボットシステム試験環境を示す図である。

別の実施形態におけるロボットシステム試験環境を示す図である。

一実施形態における物理的試験環境を示す図である。

図３Ａに示されている物理的環境の要素の仮想表現を含む仮想環境を示す図である。

制御下にある仮想ロボットの画像を含む、図３Ａに示されている物理的試験環境を示す別の図である。

別の実施形態におけるロボットシステム試験環境を示す図である。

別の実施形態における物理的試験環境を示す図である。

図５Ａに示されている物理的環境の要素の仮想表現を含む仮想環境を示す図である。

仮想対象物の画像を含む、図５Ａに示されている物理的試験環境を示す図である。

別の実施形態におけるロボットシステム試験環境を示す図である。

別の実施形態における物理的試験環境を示す図である。

図７Ａに示されている物理的環境の要素の仮想表現を含む仮想環境を示す図である。

図７Ａに示されている物理的試験環境とは異なる物理的試験環境で動作している、制御下にあるロボットを示す図である。

本明細書において説明されている、統合された物理的環境および仮想環境を含むロボット試験を実施するために使用される計算システムを示す図である。

本明細書において説明されている、統合された物理的環境および仮想環境を含むロボット試験の方法２００のフローチャートである。

以下、本発明の背景例およびいくつかの実施形態を詳細に参照し、それらの例は添付の図面に示されている。

本明細書においては、物理的試験環境および仮想試験環境の両方を併せ持つロボットシステム試験環境でロボットシステムを試験するための方法およびシステムが提供される。１つまたは複数の現実の物理的環境と仮想環境とを併せ持つことにより、重要な動作シナリオを試験している間、周囲の潜在的な危険からロボットシステムを分離することができ、あるいはその逆についても同様である。さらに、１つまたは複数の現実の物理的環境と仮想環境とを併せ持つことにより、実際のロボットシステムを展開する前に、現実の動作環境におけるロボットシステムの能力を立証することができる。いくつかの実施形態では、ロボットシステムを試験し、かつ、評価するための現実に即した三次元の物理的環境が、模擬された仮想要素を使用して強化される。この方法によれば、ロボットシステム、人間および他の機械が現実の要素および仮想要素の両方と動的に対話する。

１つまたは複数の現実の物理的環境と仮想環境とを併せ持つことにより、ロボットシステムおよび他の機械は、現実に即した物理的環境で実時間信号を生成し、かつ、反応することができる。さらに、動作している機械およびロボットシステムを含む現実の物理的環境に対して人間が反応するとき、現実に即した人間挙動が測定される。画像または仮想対象物あるいは実際のロボットシステムを使用して現実の物理的環境を強化することにより、安全性を保証するための稀ではあるが重大な状況を含む多種多様な条件および状況を広範囲にわたって模擬することができる。さらに、混合された試験環境で試験されるロボットシステムのユーザは、現実に即したタスクの実行、材料の流れ、およびシステムの有用性を観察することによってシステムを評価することができ、また、現実に即した３つの物理的環境および仮想環境における人間－ロボット対話および考えられるあらゆる偶発的な事象、および非常事態を経験することができる。

一態様では、物理的試験環境のモデルおよび仮想試験環境のモデルが結合され、また、結合されたモデルの状態を示す信号を使用してロボットシステムが制御される。このように、ロボットシステムは、物理的環境の測定された要素および仮想環境の要素の両方に基づいて制御される。

図１は、一実施形態におけるロボットシステム試験環境１００を示す図を描写したものである。ロボットシステム試験環境１００は、物理的試験環境１０１、仮想試験環境１０２および別の物理的試験環境１０３を含む。一般に、物理的試験環境１０１は、制御下にあるロボット、局所化システム、機械設備、人間、１つまたは複数のセンサシステムおよび投影システムのうちの少なくとも１つを含む。同様に、物理的試験環境１０１は、制御下にあるロボット、局所化システム、機械設備、人間、１つまたは複数のセンサシステムおよび投影システムのうちの少なくとも１つを含む。仮想試験環境１０２は、１つまたは複数の計算システム上で動作する仮想モデルエンジン１０８を含む。仮想モデルエンジン１０８は、物理的試験環境１０１および１０３から信号１０４および１０７を受け取り、また、物理的試験環境１０１および１０３に信号１０５および１０６を通信し、かつ、物理的試験環境および仮想試験環境の両方を特性化する結合モデルを計算する。結合モデルの要素は、制御下にある仮想ロボット、仮想機械設備、仮想人間および仮想センサシステムのうちの少なくとも１つを含む。

図２は、別の実施形態におけるロボットシステム試験環境１１０を示す図を描写したものである。ロボットシステム試験環境１１０は物理的試験環境１１１および仮想試験環境１１２を含む。物理的試験環境１１１は、移動ロボット１２０、機械設備１２１、一人または複数人の人間１２２、１つまたは複数のセンサシステム１２３、および１つまたは複数の投影システム１２４を含む。仮想試験環境１１２は、１つまたは複数の計算システム上で動作する仮想モデルエンジン１１３、および物理的ロボットコントローラ１１４を含む。ロボットコントローラは、ループ内ハードウェア模擬要素として仮想モデルエンジン１１３と共に動作し、仮想モデルエンジン１１３から信号１１６を受け取り、また、仮想モデルエンジン１１３に信号１１７を送り返す。

図２に描写されている実施形態では、信号１１５は１つまたは複数のセンサシステム１２３から仮想モデルエンジン１１３に通信されている。信号１１５は、物理的試験環境１１１の要素の物理的状態を示す。いくつかの実施形態では、センサシステム１２３は、物理的試験環境１１１の要素の場所を示す画像を収集するカメラのネットワークを含む。例えば図３Ａは、一実施形態における物理的試験環境１１１を描写したものである。カメラシステム１２３は、物理的試験環境１１１における移動ロボット１２０ならびに人間１２２Ａおよび１２２Ｂの場所を示す画像を生成するカメラ１２３Ａおよび１２３Ｂを含む。この実施形態では、仮想モデルエンジン１１３は、移動ロボット１２０ならびに人間１２２Ａおよび１２２Ｂの場所を示す信号１１５をカメラ１２３Ａおよび１２３Ｂから受け取っている。仮想モデルエンジン１１３は、受け取った信号１１５に基づいて、物理的試験環境１１１の要素のモデルの状態を決定する。さらに、仮想モデルエンジン１１３は、少なくとも１つの仮想要素（例えば制御下にある仮想ロボット、仮想機械設備、仮想人間、仮想センサ、等々）の状態を含む仮想試験環境１１２の状態を決定する。仮想モデルエンジン１１３は、物理的環境および仮想環境の両方の要素のモデルを結合して、１つまたは複数の仮想対象物によって強化された物理的環境をモデル化する。図３Ｂは、物理的環境１１１の要素の仮想表現を含む仮想環境１１２を描写したものである。例えば人間１２８Ａおよび１２８Ｂは人間１２２Ａおよび１２２Ｂの仮想表現である。移動ロボット１２７は移動ロボット１２０の仮想表現であり、また、ペイロード１２９は移動ロボット１２０の上に配置されたペイロード１２５の仮想表現である。さらに、仮想環境１１２は、ペイロード１２９を移動させるように動作する、制御下にある仮想ロボット１２６を含む。

仮想モデルエンジン１１３は、制御下にある仮想ロボット１２６へのペイロード１２９の所望の動きを示す制御信号１１８を生成し、この制御信号１１８は、制御下にある仮想ロボット１２６に、ペイロード１２９を仮想試験環境１１２において所望の方法で移動させることになる。したがって仮想モデルエンジン１１３は、制御下にある仮想ロボット１２６による仮想ペイロード１２９の動きを模擬する。

さらなる態様では、仮想モデルエンジン１１３は、制御信号１１８を移動ロボット１２０に通信する。移動ロボット１２０は、それに応答して、ペイロード１２５をペイロード１２９の同じ所望の動きに従って物理的試験環境において移動させる。この方法によれば、移動ロボット１２０は、制御下にある仮想ロボット１２６の動きを物理的試験環境１１１において模倣する。

別のさらなる態様では、仮想モデルエンジン１１３は信号１１９を投影システム１２４に通信する。投影システム１２４は、それに応答して、制御下にある仮想ロボット１２６の画像を物理的試験環境１１１内に投影する。図３Ｃは、プロジェクタデバイス１２４Ａおよび１２４Ｂによって投影された、制御下にある仮想ロボット１２６の画像１３０を含む物理的試験環境１１１を描写したものである。いくつかの実施形態では、投影システム１２４は三次元ホログラフィ投影システムである。いくつかの実施形態では、投影システム１２４は、制御下にある仮想ロボット１２６の二次元画像を物理的試験環境１１１の床の上に投影する液晶ディスプレイシステムなどの二次元投影システムである。

図４は、別の実施形態におけるロボットシステム試験環境１４０を示す図を描写したものである。ロボットシステム試験環境１４０は物理的試験環境１４１および仮想試験環境１４２を含む。物理的試験環境１４１は、制御下にあるロボット１４４、局所化システム１４５、一人または複数人の人間１２４、１つまたは複数のセンサシステム１４７、および１つまたは複数の投影システム１４８を含む。仮想試験環境１４２は、１つまたは複数の計算システム上で動作する仮想モデルエンジン１４３を含む。

図４に描写されている実施形態では、信号１４９は１つまたは複数のセンサシステム１４７から仮想モデルエンジン１４３に通信されている。信号１４９は、物理的試験環境１４１の要素の物理的状態を示す。いくつかの実施形態では、センサシステム１４７は、物理的試験環境１４１の要素の場所を示す画像を収集するカメラのネットワークを含む。例えば図５Ａは、一実施形態における物理的試験環境１４１を描写したものである。カメラシステム１４７は、物理的試験環境１４１における、制御下にあるロボット１４４ならびに人間１４６Ａおよび１４６Ｂの場所を示す画像を生成するカメラ１４７Ａおよび１４７Ｂを含む。この実施形態では、仮想モデルエンジン１４３は、制御下にあるロボット１４４ならびに人間１４６Ａおよび１４６Ｂの場所を示す信号１４９をカメラ１４７Ａおよび１４７Ｂから受け取っている。仮想モデルエンジン１４３は、受け取った信号１４９に基づいて、物理的試験環境１４１の要素のモデルの状態を決定する。さらに、仮想モデルエンジン１４３は、少なくとも１つの仮想要素（例えば仮想対象物、仮想機械設備、仮想人間、仮想センサ、等々）の状態を含む仮想試験環境１４２の状態を決定する。仮想モデルエンジン１４３は、物理的環境および仮想環境の両方の要素のモデルを結合して、１つまたは複数の仮想対象物によって強化された物理的環境をモデル化する。図５Ｂは、物理的環境１４１の要素の仮想表現を含む仮想環境１４２を描写したものである。例えば人間１５３Ａおよび１５３Ｂは人間１４６Ａおよび１４６Ｂの仮想表現である。制御下にある仮想ロボット１５２は、制御下にあるロボット１４４の仮想表現である。さらに、仮想環境１４２は仮想対象物１５４を含む。

仮想モデルエンジン１４３は、制御下にある仮想ロボット１５２の所望の動きを示す制御信号１５０を生成し、この制御信号１５０は、制御下にある仮想ロボット１５２に、仮想試験環境１４２において所望の方法で対象物１５４ならびに人間１５３Ａおよび１５３Ｂを回避するように移動させることになる。したがって仮想モデルエンジン１４３は、制御下にある仮想ロボット１５２の動きを模擬する。

さらなる態様では、仮想モデルエンジン１４３は、制御信号１５０を制御下にあるロボット１４４に通信する。制御下にあるロボット１４４は、それに応答して、制御下にある仮想ロボット１５２の同じ所望の動きに従って物理的試験環境内を移動する。この方法によれば、制御下にあるロボット１４４は、制御下にある仮想ロボット１５２の動きを物理的試験環境１４１において模倣する。

別のさらなる態様では、局所化システム１４５は、制御下にあるロボット１４４の物理的試験環境１４１における場所を追跡し、かつ、時間の関数としてその場所を示す信号１５７を仮想モデルエンジン１４３に通信する。仮想モデルエンジン１４３は、それに応答して、制御下にあるロボット１４４の物理的試験環境１４１における位置と対応するよう、制御下にある仮想ロボット１５２の仮想試験環境１４２における位置を更新する。

別のさらなる態様では、仮想モデルエンジン１４３は信号１５１を投影システム１４８に通信する。投影システム１４８は、それに応答して、仮想対象物１５４の画像を物理的試験環境１４１内に投影する。図５Ｃは、プロジェクタデバイス１４８Ａおよび１４８Ｂによって投影された仮想対象物１５４の画像１５５を含む物理的試験環境１４１を描写したものである。いくつかの実施形態では、投影システム１４８は三次元ホログラフィ投影システムである。いくつかの実施形態では、投影システム１４８は、仮想対象物１５４の二次元画像１５５を物理的試験環境１４１の床の上に投影する液晶ディスプレイシステムなどの二次元投影システムである。

図６は、別の実施形態におけるロボットシステム試験環境１６０を示す図を描写したものである。ロボットシステム試験環境１６０は、物理的試験環境１６１、仮想試験環境１６２および別の物理的試験環境１６３を含む。物理的試験環境１６１は、一人または複数人の人間１６４、１つまたは複数のセンサシステム１６５、機械設備１６６、および１つまたは複数の投影システム１６７を含む。仮想試験環境１６２は、１つまたは複数の計算システム上で動作する仮想モデルエンジン１６８を含む。物理的試験環境１６３は、制御下にあるロボット１６９および局所化システム１７０を含む。

図６に描写されている実施形態では、信号１７１は１つまたは複数のセンサシステム１６５から仮想モデルエンジン１６８に通信されている。信号１７１は、物理的試験環境１６１の要素の物理的状態を示す。いくつかの実施形態では、センサシステム１６５は、物理的試験環境１６１の要素の場所を示す画像を収集するカメラのネットワークを含む。例えば図７Ａは、一実施形態における物理的試験環境１６１を描写したものである。カメラシステム１６５は、人間１６４Ａおよび１６４Ｂならびに機械設備１６６を含む物理的試験環境１６１における対象物の場所を示す画像を生成するカメラ１６５Ａおよび１６５Ｂを含む。この実施形態では、仮想モデルエンジン１６８は、機械設備１６６ならびに人間１６４Ａおよび１６４Ｂを示す信号１７１をカメラ１６５Ａおよび１６５Ｂから受け取っている。仮想モデルエンジン１６８は、受け取った信号１７１に基づいて、物理的試験環境１６１の要素のモデルの状態を決定する。さらに、仮想モデルエンジン１６８は、少なくとも１つの仮想要素（例えば制御下にある仮想ロボット、仮想機械設備、仮想人間、仮想センサ、等々）の状態を含む仮想試験環境１６２の状態を決定する。仮想モデルエンジン１６８は、物理的環境および仮想環境の両方の要素のモデルを結合して、１つまたは複数の仮想対象物によって強化された物理的環境をモデル化する。図７Ｂは、物理的環境１６１の要素の仮想表現を含む仮想環境１６２を描写したものである。例えば人間１７２Ａおよび１７２Ｂは人間１６４Ａおよび１６４Ｂの仮想表現である。仮想機械設備１７１は機械設備１６６の仮想表現である。さらに、仮想環境１６２は、制御下にある仮想ロボット１７５を含む。

仮想モデルエンジン１６８は、制御下にある仮想ロボット１７５の所望の動きを示す制御信号１７３を生成し、この制御信号１７３は、制御下にある仮想ロボット１７５に、仮想試験環境１６２において所望の方法で機械設備対象物１７１ならびに人間１７２Ａおよび１７２Ｂの間を移動させることになる。したがって仮想モデルエンジン１６８は、制御下にある仮想ロボット１７５の動きを模擬する。

さらなる態様では、仮想モデルエンジン１６８は、制御信号１７３を制御下にあるロボット１６９に通信する。制御下にあるロボット１６９は、それに応答して、制御下にある仮想ロボット１７５の同じ所望の動きに従って物理的試験環境１６３内を移動する。この方法によれば、制御下にあるロボット１６９は、制御下にある仮想ロボット１７５の動きを物理的試験環境１６３において模倣する。図７Ｃは、物理的試験環境１６３で動作している、制御下にあるロボット１６９を描写したものである。

別のさらなる態様では、局所化システム１７０は、制御下にあるロボット１６９の物理的試験環境１６３における場所を追跡し、かつ、時間の関数としてその場所を示す信号１７４を仮想モデルエンジン１６８に通信する。仮想モデルエンジン１６８は、それに応答して、制御下にあるロボット１６９の物理的試験環境１６３における位置と対応するよう、制御下にある仮想ロボット１７５の仮想試験環境１６２における位置を更新する。

別のさらなる態様では、仮想モデルエンジン１６８は信号１７２を投影システム１６７に通信する。投影システム１６７は、それに応答して、制御下にあるロボット１６９の画像１７６を物理的試験環境１６１内に投影する。図７Ａは、プロジェクタデバイス１６７Ａおよび１６７Ｂによって投影された、制御下にあるロボット１６９の画像１７６を含む物理的試験環境１６１を描写したものである。いくつかの実施形態では、投影システム１６７は三次元ホログラフィ投影システムである。いくつかの実施形態では、投影システム１６７は、制御下にあるロボット１６９の二次元画像を物理的試験環境１６１の床の上に投影する液晶ディスプレイシステムなどの二次元投影システムである。

いくつかの実施形態では、本明細書で上記に説明したように、制御下にある仮想ロボットあるいは仮想対象物などの仮想要素の画像が物理的試験環境の上に投影される。これらの実施形態のうちのいくつかでは、物理的試験環境で動作している１つまたは複数の知覚システムが、投影される画像と関連する、位置、速度、等々などの情報を捕獲し、かつ、この情報を仮想モデルエンジンに通信する。例えば１つまたは複数のカメラが、画像化される対象物の時間による位置を捕獲することができる。仮想モデルエンジンは、この情報を使用して、現実のロボットまたは仮想ロボットを制御するために使用されるセンサ信号を決定することができる。

本明細書において説明されているように、仮想対象物の画像を物理的タスク環境の上に投影することができ、それにより人間または知覚システムは、物理的タスク環境において仮想対象物の動きを視覚化することができる。例えばプロジェクタは、材料およびワークピースの流れ、仮想模擬ロボットおよび他の機械の外観および状態、ならびに関連する背景画像を含む、仮想環境の模擬された画像を投影する。いくつかの実施形態では、プロジェクタは、ロボットによって処理され、輸送されている材料およびワークピース、仮想環境における作り付け備品および壁、ならびに試験環境で動作しているロボットおよび他の機械を含む対象物を三次元で投影する三次元ホログラフィプロジェクタを含む。さらに、仮想対象物の画像を複数の物理的タスク環境の上に投影することも可能であり、それにより人間または知覚システムは、複数の物理的タスク環境（例えば物理的タスク環境１６１および１６３）において仮想対象物の動きを視覚化することができる。

しかしながら一般的には、物理的タスク環境における画像の投影は任意選択であり、また、物理的タスク環境における画像の投影は、本明細書において説明されているすべての実施形態で任意選択である。

本明細書において説明されているように、移動ロボットなどのロボットを物理的タスク環境で展開することができ、それにより人間または知覚システムは、別の物理的試験環境における制御下にあるロボットの動き、あるいは制御下にある仮想ロボットの動きを視覚化することができる。これらの例では、ロボットは、制御下にある仮想ロボットの動きまたは別の物理的試験環境における制御下にあるロボットの動きを模倣する。さらに、ロボットを複数の物理的タスク環境で展開することも可能であり、それにより人間または知覚システムは、制御下にある仮想ロボットの動きまたは別の物理的試験環境における制御下にあるロボットの動きを複数の物理的タスク環境で視覚化することができる。

しかしながら一般的には、ロボットを物理的タスク環境で展開して、制御下にある仮想ロボットまたは別の物理的試験環境における制御下にあるロボットを模倣することは任意選択であり、また、ロボットを展開して、制御下にある仮想ロボットまたは別の物理的試験環境における制御下にあるロボットを模倣することは、本明細書において説明されているすべての実施形態で任意選択である。

いくつかの実施形態では、制御下にある実際のロボットを模倣しているロボットの動きが、制御下にある実際のロボットの動きに対してスケール化される。例えば模倣ロボットは大規模工場環境で動作することができ、一方、制御下にあるロボットは比較的小規模の研究室で動作する。これらの実施形態では、研究室環境で、制御下にあるロボットによってなされる動きを、工場環境におけるより大きい動きにスケールアップすることが有利であり得る。

通常、一連のセンサが物理的試験環境全体にわたって分散される。いくつかの実施形態では、センサは、物理的試験環境で動作している、制御下にあるロボットおよび他の機械に取り付けられたセンサを含む。これらのセンサは、エンコーダ、近接センサ、カメラ、加速度計、等々を含む。これらのセンサから収集されたセンサデータは、物理的試験環境のすべての関連する要素のモデルの状態を更新するために仮想モデルエンジンに通信される。

いくつかの実施形態では、集中型または分散型計算システムが仮想モデルエンジンを実行し、仮想モデルエンジンは、物理的環境および仮想環境を統合して実験を実施する。これらの実施形態では、計算システムは、物理的試験環境に固定された様々なセンサノードからセンサ信号および情報を収集し、センサデータに基づいて物理的環境モデルを構築し、かつ、更新し、また、試験のために必要な要素およびシナリオを含むべく、環境の仮想模擬モデルを構築し、かつ、更新する。さらに、計算システムは、仮想対象物および条件が物理的環境に存在する場合に出現することになるセンサ信号を模倣するために、物理的モデルおよび仮想モデルの両方に基づいてセンサ信号を修正する。ロボットおよび他の機械は、修正されたセンサ信号に基づいて実時間で制御される。

いくつかの実施形態では、物理的試験環境で、物理的ロボットを使用して仮想模擬対象物が輸送され、かつ、操作され、ロボットは、近くで働いている模擬された人間を含む仮想環境モデルを統合することによって修正された現実の物理的センサ信号に基づいて制御される。

いくつかの実施形態では、仮想模擬ロボットを使用して現実の物理的対象物が輸送され、かつ、操作され、物理的対象物は、物理的対象物の動きを模倣する追加物理的車両を使用して移動される。

いくつかの実施形態では、現実の人間の挙動が実験的に観察され、また、仮想模擬ロボットおよび対象物を使用して強化された物理的試験環境にそれらを露出することによって評価される。いくつかの例では、現実の人間がホログラフィプロジェクタを使用して三次元空間に投影された仮想ロボットおよび対象物と対話し、それにより安全性および有用性を評価する。

計算システムを使用して、１つまたは複数の物理的試験環境からセンサ信号データが受け取られ、結合された物理的試験モデルおよび仮想試験モデルが構築され、かつ、更新され、また、本明細書において説明されている１つまたは複数の物理的試験環境の様々な要素にコマンド信号が通信される。いくつかの実施形態では、物理的試験環境の多くの要素が、その特定の要素、例えば移動ロボット、制御下にあるロボット、カメラシステム、投影システム、等々の機能を制御するための専用の計算システムを含む。

図８に描写されているように、制御下にあるロボットは、センサインタフェース４１０、少なくとも１つのプロセッサ４２０、メモリ４３０、バス４４０、ワイヤレス通信トランシーバ４５０および制御されたデバイスインタフェース４６０を含む計算システム４００を含む。センサインタフェース４１０、プロセッサ４２０、メモリ４３０、ワイヤレス通信トランシーバ４５０および制御されたデバイスインタフェース４６０は、バス４４０を介して通信するように構成されている。

センサインタフェース４１０はアナログ－デジタル変換（ＡＤＣ）電子回路４１１を含む。さらに、いくつかの実施形態では、センサインタフェース４１０はデジタル入力／出力インタフェース４１２を含む。いくつかの他の実施形態では、センサインタフェース４１０は、センサと通信してセンサから測定データを受け取るように構成されたワイヤレス通信トランシーバ（図示せず）を含む。

制御されたデバイスインタフェース４６０は適切なデジタル－アナログ変換（ＤＡＣ）電子回路を含む。さらに、いくつかの実施形態では、制御されたデバイスインタフェース４６０はデジタル入力／出力インタフェースを含む。いくつかの他の実施形態では、制御されたデバイスインタフェース４６０は、制御信号の送信を含む、デバイスと通信するように構成されたワイヤレス通信トランシーバを含む。

図８に描写されているように、制御されたデバイスインタフェース４６０は、制御下にあるロボットを例えば所望の運動軌道に沿って移動させる１つまたは複数の車両アクチュエータ３０５に制御コマンド３０６を送信するように構成されている。

メモリ４３０は、制御下にあるロボットによって使用されるセンサデータ、例えばエンコーダデータ、画像データ、等々を記憶する一定量のメモリ４３１を含む。また、メモリ４３０は、プロセッサ４２０によって実行されると、プロセッサ４２０が本明細書において説明されている運動機能性を実施することになるプログラムコードを記憶する一定量のメモリ４３２を同じく含む。

いくつかの例では、プロセッサ４２０は、センサインタフェース４１０によって生成されるデジタル信号をメモリ４３０上に記憶するように構成される。さらに、プロセッサ４２０は、メモリ４３０上に記憶されているデジタル信号を読み出し、読み出したデジタル信号をワイヤレス通信トランシーバ４５０に送信するように構成されている。いくつかの実施形態では、ワイヤレス通信トランシーバ４５０は、デジタル信号を計算システム４００から計算システム５００または別の外部計算デバイス（図示せず）にワイヤレス通信リンクを介して通信するように構成される。図８に描写されているように、ワイヤレス通信トランシーバ４５０は、アンテナ４５１を介して無線周波数信号４５２を送信している。無線周波数信号４５２は、計算システム４００から計算システム５００へ通信されるデジタル信号を表すデジタル情報を含む。

いくつかの実施形態では、ワイヤレス通信トランシーバ４５０は、サーバ５００または外部計算デバイス（図示せず）からワイヤレス通信リンクを介してデジタル信号を受け取るように構成される。無線周波数信号４５３は、サーバ５００または外部計算システム（図示せず）から計算システム４００へ通信されるデジタル信号を表すデジタル情報（例えば運動制御コマンド）を含む。

非制限の例として、計算システム５００は、１つまたは複数の物理的試験環境からセンサ信号データを受け取り、結合された物理的試験モデルおよび仮想試験モデルを構築し、かつ、更新し、また、本明細書において説明されている１つまたは複数の物理的試験環境の様々な要素にコマンド信号を通信するための仮想モデルエンジン５０１として使用されている。

図８に描写されているように、計算システム５００は、仮想モデルエンジン５０１として動作している、少なくとも１つのプロセッサ５２０、メモリ５３０、バス５４０およびワイヤレス通信トランシーバ５５０を含む。プロセッサ５２０、メモリ５３０およびワイヤレス通信トランシーバ５５０は、バス５４０を介して通信するように構成されている。

いくつかの実施形態では、メモリ５３０は、物理的試験環境の１つまたは複数の要素から収集されたセンサデータを記憶する一定量のメモリ５３１を含む。また、メモリ５３０は、プロセッサ５２０によって実行されると、プロセッサ５２０が本明細書において説明されている、統合された物理的ロボットシステム試験および仮想ロボットシステム試験機能性を実施することになるプログラムコードを記憶する一定量のメモリ５３２を同じく含む。

いくつかの例では、プロセッサ５２０は、物理的試験環境に配置された１つまたは複数のセンサから受け取ったデジタル信号をメモリ５３０上に記憶するように構成される。いくつかの実施形態では、プロセッサ５２０は、計算システム４００から受け取ったデジタル信号をメモリ５３０上に記憶するように構成される。さらに、プロセッサ５２０は、メモリ５３０上に記憶されているデジタル信号を読み出し、読み出したデジタル信号をワイヤレス通信トランシーバ５５０に送信するように構成されている。いくつかの実施形態では、ワイヤレス通信トランシーバ５５０は、デジタル信号をサーバ５００から計算システム４００または外部計算デバイス（図示せず）にワイヤレス通信リンクを介して通信するように構成される。図８に描写されているように、ワイヤレス通信トランシーバ５５０は、アンテナ５５１を介して無線周波数信号５５２を送信している。無線周波数信号５５２は、サーバ５００から計算システム４００、外部計算デバイス、等々へ通信されるデジタル信号（例えば運動制御コマンド）を表すデジタル情報を含む。

いくつかの実施形態では、ワイヤレス通信トランシーバ５５０は、計算システム４００または外部計算デバイス（図示せず）からワイヤレス通信リンクを介してデジタル信号を受け取るように構成される。無線周波数信号５５３は、計算システム４００または外部計算システム（図示せず）からサーバ５００へ通信されるデジタル信号（例えば物理的試験環境内の現在の位置）を表すデジタル情報を含む。

計算システム４００および５００は、それらに限定されないが、パーソナルコンピュータシステム、本体コンピュータシステム、クラウドベース計算システム、ワークステーション、画像コンピュータ、パラレルプロセッサ、または当技術分野で知られている任意の他の計算デバイスを含むことができる。一般に、「計算システム」という用語は、メモリ媒体からの命令を実行する１つまたは複数のプロセッサを有する任意のデバイスまたはデバイスの組合せを包含するべく広義に定義することができる。一般に、計算システム４００および５００は、制御下にあるロボットなどのロボットと統合することができ、あるいは別法として、完全に、または部分的に、すべてのロボットとは別であってもよい。この意味では、計算システム４００および５００を遠隔で配置して、ロボットシステム試験環境の任意の要素からデータを受け取り、これらの任意の要素にデータを送り、また、コマンド信号を送信することができる。

図９は、本明細書において説明されているロボット試験システムによって実施するのに適した方法２００のフローチャートを示したものである。いくつかの実施形態では、図１～図７を参照して説明したロボットシステム試験環境は、図９に示されている方法２００に従って動作させることができる。しかしながら一般的には、方法２００の実行は、図１～図７を参照して説明したロボットシステム試験環境の実施形態に限定されない。本特許文書の範囲には多くの他の実施形態および動作例を企図することができるため、これらの図解および対応する説明は、一例として提供されている。

ブロック２０１で、第１の物理的試験環境に配置された１つまたは複数のセンサから１つまたは複数の信号が受け取られる。１つまたは複数の信号は、第１の物理的試験環境の１つまたは複数の要素の物理的状態を示す。１つまたは複数の要素は、制御下にあるロボット、人間、移動ロボットまたはそれらの任意の組合せのうちの少なくとも１つを含む。

ブロック２０２で、第１の物理的試験環境に配置された１つまたは複数のセンサから受け取った１つまたは複数の信号に少なくとも部分的に基づいて、第１の物理的試験環境のモデルの状態が決定される。

ブロック２０３で、試験条件の所望のセットに基づいて、仮想試験環境のモデルの状態が決定される。

ブロック２０４で、第１の物理的試験環境のモデルが仮想試験環境のモデルと結合される。

ブロック２０５で、第１の物理的試験環境と仮想試験環境の結合されたモデルの状態を示すセンサ信号のセットが決定される。

ブロック２０６で、センサ信号のセットが制御下にあるロボットまたは制御下にある仮想ロボットに通信される。

ブロック２０７で、制御下にあるロボットまたは制御下にある仮想ロボットがセンサ信号のセットに基づいて制御される。

１つまたは複数の例示的実施形態では、説明されている機能は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組合せで実施することができる。ソフトウェアで実施される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶することができ、あるいは伝送することができる。コンピュータ可読媒体は、コンピュータ記憶媒体と、１つの場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体の両方を含む。記憶媒体は、汎用コンピュータまたは専用コンピュータがアクセスすることができる利用可能な任意の媒体であってもよい。非制限の一例として、このようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコード手段を運び、あるいは記憶するために使用することができ、また、汎用コンピュータまたは専用コンピュータがアクセスすることができ、あるいは汎用プロセッサまたは専用プロセッサがアクセスすることができる任意の他の媒体を備えることができる。また、任意の接続も、コンピュータ可読媒体と適切に称することができる。例えば同軸ケーブル、光ファイバーケーブル、撚線対、デジタル加入者線（ＤＳＬ）、または赤外線、無線およびマイクロ波などのワイヤレス技術を使用してソフトウェアがウェブサイト、サーバまたは他の遠隔ソースから伝送される場合、同軸ケーブル、光ファイバーケーブル、撚線対、ＤＳＬ、または赤外線、無線およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。本明細書において使用されているように、ディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクトディスク（ｄｉｓｃ）（ＣＤ）、レーザディスク（ｄｉｓｃ）、光ディスク（ｄｉｓｃ）、デジタル汎用ディスク（ｄｉｓｃ）（ＤＶＤ）、フロッピーディスク（ｄｉｓｋ）およびブルーレイディスク（ｄｉｓｃ）を含み、ディスク（ｄｉｓｋ）は、通常、データを磁気的に再生し、一方、ディスク（ｄｉｓｃ）は、レーザを使用してデータを光的に再生する。上記の組合せも同じくコンピュータ可読媒体の範囲内に含まれるべきである。

教育を目的としてある特定の実施形態が説明されているが、本特許文書の教示は、包括的な適用性を有しており、上で説明した特定の実施形態に限定されない。したがって特許請求の範囲に示されている本発明の範囲を逸脱することなく、説明されている実施形態の様々な特徴の様々な修正、適合および組合せを実践することができる。

Claims (11)

1. １つまたは複数のセンサと、制御下にあるロボット、人間、静止対象物、移動対象物またはそれらの任意の組合せのうちの少なくとも１つとを含む第１の物理的試験環境と、
   制御下にある仮想ロボット、仮想人間、仮想静止対象物、仮想移動対象物、１つまたは複数の仮想センサまたはそれらの任意の組合せのうちの少なくとも１つを含む仮想試験環境と、
   前記第１の物理的試験環境に配置された１つまたは複数の画像投影デバイスと、
   前記第１の物理的試験環境に配置された前記１つまたは複数のセンサから、前記第１の物理的試験環境の１つまたは複数の要素の物理的状態を示す１つまたは複数の信号を受け取り、
   前記第１の物理的試験環境に配置された前記１つまたは複数のセンサから受け取った前記１つまたは複数の信号に少なくとも基づいて、前記第１の物理的試験環境のモデルの状態を決定し、
   試験条件の所望のセットに基づいて、前記仮想試験環境のモデルの状態を決定し、
   前記第１の物理的試験環境の前記モデルと前記仮想試験環境の前記モデルを結合し、
   前記第１の物理的試験環境と前記仮想試験環境の前記結合されたモデルの状態を示すセンサ信号のセットを決定し、
   前記センサ信号のセットを制御下にあるロボットまたは制御下にある仮想ロボットに通信し、
   前記制御下にあるロボットまたは前記制御下にある仮想ロボットを前記センサ信号のセットに基づいて制御し、
   前記制御下にある仮想ロボット、前記仮想人間、前記仮想静止対象物および前記仮想移動対象物のうちの少なくとも１つの状態を示す画像信号を前記１つまたは複数の画像投影デバイスに通信し、前記１つまたは複数の画像投影デバイスが、前記制御下にある仮想ロボット、前記仮想人間、前記仮想静止対象物および前記仮想移動対象物のうちの前記少なくとも１つの前記状態を示す画像を前記第１の物理的試験環境の上に投影し、前記第１の物理的試験環境に配置された前記１つまたは複数のセンサからの前記１つまたは複数の信号が、前記第１の物理的試験環境上への、前記制御下にある仮想ロボット、前記仮想人間、前記仮想静止対象物および前記仮想移動対象物のうちの前記少なくとも１つの前記状態を示す前記画像を示す、
   ように構成された計算システムと、
   を備えるロボットシステム試験環境。
2. 前記１つまたは複数の画像投影デバイスが三次元ホログラフィ画像化デバイスを含む、請求項１に記載のロボットシステム試験環境。
3. 前記第１の物理的試験環境が制御下にあるロボットを含み、前記仮想試験環境が仮想人間を含み、前記仮想人間の状態を示す画像が前記第１の物理的試験環境の上に投影され、前記第１の物理的試験環境における前記制御下にあるロボットが、前記仮想人間の前記状態に応答して移動するように制御される、請求項１に記載のロボットシステム試験環境。
4. 前記仮想試験環境が制御下にある仮想ロボットを含み、前記制御下にある仮想ロボットの状態を示す画像が前記１つまたは複数の画像投影デバイスによって前記第１の物理的試験環境の上に投影される、請求項１に記載のロボットシステム試験環境。
5. 前記計算システムが、
   前記結合されたモデルの前記状態を示す前記センサ信号のセットを物理的ロボット制御サブシステムに通信するようにさらに構成され、前記物理的ロボット制御サブシステムが前記センサ信号のセットに基づいて前記制御下にある仮想ロボットを制御する、請求項４に記載のロボットシステム試験環境。
6. 前記第１の物理的試験環境が移動ロボットの上に配置されたペイロードを含み、前記計算システムが、
   前記第１の物理的試験環境において、前記制御下にある仮想ロボットの仮想の動きに従って制御下にあるペイロードロボットを移動させるように前記移動ロボットに指令するようにさらに構成される、請求項４に記載のロボットシステム試験環境。
7. 前記第１の物理的試験環境が人間を含み、前記仮想試験環境における前記制御下にある仮想ロボットが前記人間の状態に応答して仮想的な移動を行うように制御され、前記１つまたは複数の画像投影デバイスが、前記制御下にある仮想ロボットの前記仮想的な移動を示す一連の画像を前記第１の物理的試験環境に表示する、請求項４に記載のロボットシステム試験環境。
8. 制御下にある第１のロボットを含む第２の物理的試験環境をさらに備え、前記センサ信号のセットが前記制御下にある第１のロボットに通信され、前記制御下にある第１のロボットが前記センサ信号のセットに基づいて制御される、請求項１に記載のロボットシステム試験環境。
9. 前記第２の物理的試験環境に配置された１つまたは複数の画像投影デバイス
   をさらに備え、前記計算システムが、
   前記第１の物理的試験環境の１つまたは複数の要素の状態を示す画像信号を前記１つまたは複数の画像投影デバイスに通信するようにさらに構成され、前記１つまたは複数の画像投影デバイスが、前記第１の物理的試験環境の前記１つまたは複数の要素の前記状態を示す画像を前記第２の物理的試験環境の上に投影する、請求項８に記載のロボットシステム試験環境。
10. 前記第１の物理的試験環境が制御下にある第２のロボットを含み、前記計算システムが、
    前記制御下にある第１のロボットの動きに従って移動するように前記制御下にある第２のロボットに指令するようにさらに構成される、請求項８に記載のロボットシステム試験環境。
11. 第１の物理的試験環境に配置された１つまたは複数のセンサから１つまたは複数の信号を受け取るステップであって、前記１つまたは複数の信号が前記第１の物理的試験環境の１つまたは複数の要素の物理的状態を示し、前記１つまたは複数の要素が、制御下にあるロボット、人間、移動ロボットまたはそれらの任意の組合せのうちの少なくとも１つを含む、ステップと、
    前記第１の物理的試験環境に配置された前記１つまたは複数のセンサから受け取った前記１つまたは複数の信号に少なくとも基づいて、前記第１の物理的試験環境のモデルの状態を決定するステップと、
    試験条件の所望のセットに基づいて、仮想試験環境のモデルの状態を決定するステップと、
    前記第１の物理的試験環境の前記モデルと前記仮想試験環境の前記モデルを結合するステップと、
    前記第１の物理的試験環境と前記仮想試験環境の前記結合されたモデルの状態を示すセンサ信号のセットを決定するステップと、
    前記センサ信号のセットを制御下にあるロボットまたは制御下にある仮想ロボットに通信するステップと、
    前記制御下にあるロボットまたは前記制御下にある仮想ロボットを前記センサ信号のセットに基づいて制御するステップと、
    前記仮想試験環境の少なくとも１つの要素の状態を示す画像信号を前記第１の物理的試験環境に配置された１つまたは複数の画像投影デバイスに通信するステップと、
    前記仮想試験環境の前記少なくとも１つの要素の前記状態を示す画像を前記第１の物理的試験環境の上に投影するステップであって、前記仮想試験環境の前記少なくとも１つの要素が、制御下にある仮想ロボット、仮想人間、仮想静止対象物および仮想移動対象物のうちの少なくとも１つを含み、前記第１の物理的試験環境に配置された前記１つまたは複数のセンサからの前記１つまたは複数の信号が、前記第１の物理的試験環境の上に投影される前記仮想試験環境の前記少なくとも１つの要素の前記状態を示す前記画像を示す、ステップと、
    を含む方法。

Images