JP7001359B2 - 緊急動作のためのシミュレーション拡張現実システム - Google Patents

Description

本開示の実施形態は概して、コンピュータプログラムおよびシステムの分野に関し、詳細には、製品設計およびシミュレーションならびに拡張および仮想現実の分野に関する。実施形態は、仮想現実、たとえばエンジニアリングシステム設計のような設計、保守、拡張現実、システム運用、仮想プレゼンテーション、ならびにたとえばビデオゲームおよび映画のようなエンターテイメントにおいて採用され得る。

多数の既存の製品およびシミュレーションシステムが、システム、パーツ、またはパーツのアセンブリの設計およびシミュレーションのために市場に提供されている。そのような製品およびシミュレーションシステムは通常、コンピュータ支援設計（ＣＡＤ）および／またはコンピュータ支援エンジニアリング（ＣＡＥ）プログラムを採用する。これらのシステムは、ユーザが、オブジェクトまたはオブジェクトのアセンブリの複雑な３次元モデルを構築、操作、およびシミュレートできるようにする。したがって、これらのＣＡＤおよびＣＡＥシステムは、エッジまたはラインを使用して、特定の場合にはフェイスにより、モデル化されたオブジェクトの表現をもたらす。ライン、エッジ、フェイス、またはポリゴンは、たとえば非一様有理Ｂスプライン（ＮＵＲＢＳ）など、さまざまな方式で表現されてもよい。

これらのＣＡＤシステムは、主としてジオメトリの仕様であるモデル化オブジェクトのパーツまたはパーツのアセンブリを管理する。特に、ＣＡＤファイルは、ジオメトリが生成される仕様を含む。ジオメトリから、表現が生成される。仕様、ジオメトリ、および表現は、単一のＣＡＤファイルまたは複数のＣＡＤファイルに格納されてもよい。ＣＡＤシステムは、モデル化オブジェクトを設計者に提示するためのグラフィックツールを含み、これらのツールは、複雑なオブジェクトの表示に専用である。たとえば、アセンブリは、数千のパーツを含むことができる。ＣＡＤシステムは、電子ファイルに格納されるオブジェクトのモデルを管理するために使用されてもよい。

ＣＡＤおよびＣＡＥシステムの登場により、オブジェクトの幅広い表現の可能性が実現する。例は、有限要素モデル（ＦＥＭ）、有限体積モデル、および格子ボルツマンモデル（有限粒子モデル）を含む。これらのモデルは、ＣＡＤモデルから派生されてもよく、したがって、１つまたは複数のパーツまたはアセンブリ全体を表すことができる。さらに、これらのモデルは、それが表している基礎となるオブジェクトの特性を有するような方法で、プログラムされてもよい。ＦＥＭまたは当技術分野において知られている他のそのようなオブジェクト表現は、それが表現するオブジェクトのシミュレーションを実行するためにそれが使用され得るような方法でプログラムされる。たとえば、ＦＥＭは、車両の内部キャビティ、構造体の周囲の音響流体、および任意の数の現実世界オブジェクトを表現するために使用されてもよい。さらに、ＣＡＤおよびＣＡＥシステムは、ＦＥＭ、有限体積モデル、および格子ボルツマンモデルと共に、エンジニアリングシステムをシミュレートするために利用されてもよい。たとえば、ＣＡＥシステムは、車両の騒音および振動をシミュレートするために採用されてもよい。

米国特許第８、８３１、９２６Ｂ２号明細書 米国特許出願第１４／９６９、３４１号明細書 米国特許第８、８３１、９２６号明細書

既存のシミュレーション／実験技法には、それらの欠点がないわけではない。そのような既存の方法論に関する主要な課題は、実行するために要する時間である。そのような時間の量は、既存の方法が、たとえば仮想現実およびリアルタイムアプリケーションにおいて使用されるべき、実践的な方法論となることを妨げている。

本発明の実施形態は、既存の方法論に伴う問題を克服し、拡張現実体験をリアルタイムでもたらす方法およびシステムを提供する。本発明の実施形態は、仮想現実、ビデオゲーム、仮想プレゼンテーション、ならびにシステムの設計、保守、および操作を含むさまざまな分野において方法を改善するために活用されてもよい。

少なくとも１つの例示の実施形態によれば、拡張現実体験を提供するための方法は、コンピュータメモリにおいて、現実世界システムのモデルを定義することによって開始する。そのような方法は、定義されたモデルを使用して現実世界システムの複数のシミュレーションを実行して予測されるフィールドデータを生成することによって続行し、予測されるフィールドデータはその後コンピュータメモリに格納される。次に、フィールドデータは、現実世界システムの１つまたは複数のセンサーから受信され、現実世界システムのモデルは、１つまたは複数のセンサーから受信されたフィールドデータを使用して格納された予測されるフィールドデータに関して較正される。次いで、現実世界システムの拡張現実は、現実世界システムの較正済みモデルを使用して提供される。

例示的な実施形態によれば、現実世界システムのモデルを定義するステップは、１つまたは複数のモデルパラメータを定義するステップを含む。そのような実施形態において、受信したフィールドデータを使用して現実世界システムのモデルを較正するステップは、受信したフィールドデータを所与として１つまたは複数のモデルパラメータの値を決定するステップを含む。さらにもう１つの実施形態は、１つまたは複数のモデルパラメータの１つまたは複数の変形について複数のシミュレーションを実行する。そのような方法実施形態は、複数のシミュレーションを実行する際に使用される１つまたは複数のモデルパラメータの１つまたは複数の変形をさらに格納することができる。

方法の代替的実施形態は、（１）較正済みモデルを使用して現実世界システムのシミュレーションを実行することによって、現実世界システムの１つまたは複数の障害発生ポイントを予測するステップと、（２）拡張現実において１つまたは複数の予測される障害発生ポイントを指し示すステップとをさらに備える。例示的な実施形態によれば、拡張現実は、拡張現実ヘッドセットを介して提供される。さらにもう１つの実施形態において、拡張現実を提供するステップは、将来の時点における現実世界システムの状態を示すステップを含む。そのような実施形態において、将来の時点における現実世界システムの状態は、１つまたは複数の反証研究を使用して決定されてもよい。さらに、一実施形態によれば、将来の時点における現実世界システムの状態を示すステップは、何のアクションも実行されない場合の現実世界システム、ユーザが提案するアクションが実行される場合の現実世界システム、およびシステムが推奨するアクションが実行される場合の現実世界システムのうちの少なくとも１つを表す。

さらにもう１つの例示的な実施形態において、実行された複数のシミュレーションは、現実世界システムの１つまたは複数の緊急動作をシミュレートする。さらに、もう１つの実施形態によれば、拡張現実は、較正済みのモデルを使用して決定された現実世界システムの物理フィールドデータおよび／または予測される将来の物理フィールドデータを示す。そのような実施形態において、物理フィールドデータは、特に、温度、密度、ガスフロー、見込み破断位置、破断の可能性、速度、応力、および歪みのうちの少なくとも１つを含むことができる。

本発明のもう１つの実施形態は、拡張現実体験を提供するためのコンピュータシステムに向けられる。そのようなコンピュータシステムは、プロセッサ、およびコンピュータコード命令を格納されたメモリを備え、プロセッサおよびメモリはコンピュータコード命令により、システムに、現実世界システムのモデルをコンピュータシステムメモリに定義させるように構成されている。さらに、プロセッサおよびメモリは、コンピュータコード命令により、コンピュータシステムに、定義されたモデルを使用して現実世界システムの複数のシミュレーションを実行させて、予測されるフィールドデータを生成させるようにさらに構成されてもよく、予測されるフィールドデータはコンピュータメモリに格納される。さらに、コンピュータシステムは、現実世界システムの１つまたは複数のセンサーから受信されたフィールドデータに応じて、受信したフィールドデータを使用して、予測されるフィールドデータに関して、現実世界システムのモデルを較正し、現実世界システムの較正済みモデルを使用して現実世界システムの拡張現実を提供する。

コンピュータシステムの実施形態によれば、現実世界システムのモデルを定義するステップは、１つまたは複数のモデルパラメータを定義するステップを含む。そのような実施形態において、受信したフィールドデータを使用して現実世界システムのモデルを較正するステップは、受信したフィールドデータを所与として１つまたは複数のモデルパラメータの値を決定するステップを含む。さらにまた、そのような実施形態において、複数のシミュレーションは、１つまたは複数のモデルパラメータの１つまたは複数の変形について実行されてもよい。

システムの代替的実施形態において、プロセッサおよびメモリは、コンピュータコード命令により、システムに、（１）較正済みモデルを使用して現実世界システムのシミュレーションを実行することによって、現実世界システムの１つまたは複数の障害発生ポイントを予測させ、（２）提供された拡張現実において１つまたは複数の予測される障害発生ポイントを指し示させるようにさらに構成される。さらにもう１つのシステムの実施形態は、拡張現実ヘッドセットを介して拡張現実を提供する。さらに、システムの代替的実施形態は、提供された拡張現実において将来の時点における現実世界システムの状態を示す。

本発明のもう１つの実施形態は、拡張現実体験を提供するためのクラウドコンピューティング実施態様に向けられる。そのような実施形態は、１つまたは複数のクライアントを伴うネットワークにわたる通信においてサーバによって実行されるコンピュータプログラム製品に向けられ、コンピュータプログラム製品は、コンピュータ可読媒体を備える。そのような実施形態において、コンピュータ可読媒体は、プロセッサによって実行されるとき、コンピュータメモリにおいて、現実世界システムのモデルを定義するステップと、定義されたモデルを使用して現実世界システムの複数のシミュレーションを実行させるステップであって、複数のシミュレーションを実行するステップは予測されるフィールドデータを生成するステップとを生じさせる、プログラム命令を備える。そのようなプログラム命令は、実行されるとき、さらに、予測されるフィールドデータを格納するステップと、現実世界システムの１つまたは複数のセンサーからフィールドデータを受信するステップとをさらに生じさせる。さらに、そのような実施形態において、プログラム命令は、プロセッサによって実行されるとき、予測されるフィールドデータに関して受信したフィールドデータを使用して現実世界システムのモデルを較正するステップと、現実世界システムの較正済みモデルを使用して現実世界システムの拡張現実を提供するステップとをさらに生じさせる。

上記の事項は、さまざまな図全体を通じて類似する参照特性が同一の部分を参照する添付の図面において示されているように、本発明の例示的な実施形態の以下のさらに具体的な説明から明らかとなろう。図面は、必ずしも一定の縮尺では示されていないが、本発明の実施形態を説明することに重点が置かれている。

少なくとも１つの例示的な実施形態による拡張現実体験を提供するためのコンピュータ実施の方法を示すフロー図である。 本発明の原理による拡張現実体験を提供するための実施形態の実施態様を示す図である。 実施形態により提供され得る現実世界システムの拡張現実を示す図である。 実施形態により提供され得る現実世界システムの拡張現実を示す図である。 実施形態による拡張現実を伴う現実世界システムを示す図である。 実施形態による拡張現実体験を提供するためのコンピュータシステムを示す簡略化ブロック図である。 本発明の実施形態が実施され得るコンピュータネットワーク環境を示す簡略化概略図である。

本発明の例示的な実施形態の説明が続く。

本明細書において列挙されるすべての特許の教示、公開された出願、および参照は、参照により全体として組み入れられる。

本発明の実施形態は、現実世界システムの拡張現実を提供する。本発明の方法およびシステムは、ユーザが緊急時動作、つまり以前経験していないシステム動作に遭遇するときに、成果を改善するために活用されてもよい。複雑な工場、施設、システム、および機器の緊急時対応は、通常、従業員が手引きおよび訓練を受ける緊急時手順に基づく。そのような既存の方法は、システムが、わずかなセンサーを使用して容易に観察され得るわずかな動作状況しか有していない場合、およびこれらの状況が、特定のコンポーネントに影響を及ぼすアクチュエータで程度の差はあれ直線的に制御され得る場合には、比較的良好に機能する。

しかし、サイバー物理システムの登場により、システムの全体的動作は、たとえば非線形など、各コンポーネントの動作の和とは大きくかけ離れる可能性もある。これらのますます複雑さを増すシステムの特性は、コンポーネントの動作を研究することだけでは理解され得ないが、システムのコンポーネントを個々に理解するだけではなく、コンポーネント間の相互作用も理解する必要がある。従来の方法は、これらの可能な相互作用および動作のすべてに関して従業員およびユーザを訓練することはできない。

本発明の実施形態は、現実世界システムの拡張現実をもたらす方法およびシステムを提供することにより、前述の問題を解決する。そのような方法は、訓練演習を実行する際に使用されてもよく、意志決定および成果を改善するためにリアルタイムでさらに利用されてもよい。そのような能力を提供するため、実施形態は、現実世界システムのモデル、つまり現実世界システムの特性を定義するさまざまなモデルパラメータを有する「デジタルツイン」、および定義されたモデルを使用して実行された現実世界システムの多数のシミュレーションを活用する。定義されたモデルおよびシミュレーションは、現実世界システムおよびそのさまざまな相互作用を識別するために使用される。そのようなシミュレーションは、参照により内容が本明細書に組み入れられる特許文献１に記載された実験研究または反証研究の設計を含むことができる。モデルを定義し、モデルでの複数のシミュレーションを実行した後、実施形態は次いで、これらのシミュレーションを実行する際に使用されたモデルパラメータおよび将来の使用のためにシミュレーションによりもたらされたフィールドデータを、メモリに格納して圧縮することができる。１つのそのような例示的な実施形態によれば、モデルパラメータおよびフィールドデータは、参照により内容が本明細書に援用される特許文献２に記載された仮想／拡張現実のオーサリング方法を使用して圧縮されるが、これはモデルパラメータの関数としてリアルタイムでフィールドデータを予測するように活用され得る。操作中、一実施形態によれば、固定の位置における個別のセンサーは、値を拡張現実システムに流し、これに応じて拡張現実システムは、誤差最小化のような数値較正を使用してモデルパラメータを決定し、（複数のシミュレーションを使用して決定された）予測される動作を、測定された流れる動作と適合させる。適切なモデルパラメータを決定すると、拡張現実システムは、これ以降、モデルパラメータを使用して決定された現実世界システムの動作を、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＨｏｌｏＬｅｎｓのような市販されている拡張現実ヘッドセットを使用して物理世界に投影することができる。（現実世界のコンポーネントが意図されたように機能していない）起こり得る障害モードの位置を視覚的に指し示すこと、および、たとえば現実世界システムにおいて行うべき、アクションなし、ユーザ提案のアクション、コンピューティングシステム推奨のアクションなどのような、さまざまなシナリオの下で将来の時点における現実世界システムの状態を予測することも可能である。

そのような拡張現実システムは、複合化された人為的ミスの影響を軽減することができ、現実世界システムの緊急動作中の、たとえば温度、密度、ガスフロー、材料応力、歪みエネルギー、ならびに見込み破断位置および可能性のような、不可視の特性の状況的な認識を高めることができる。これらの能力は、物理的な壊滅的障害の回避に役立てることができる。

図１は、本発明の実施形態による拡張現実体験を提供するための方法１００を示すフロー図である。方法１００は、コンピュータメモリにおいて、現実世界システムまたはオブジェクトのモデルを定義することによって、ステップ１０１において開始する。方法１００の実施形態によれば、モデルは、ユーザインタラクションに応じて定義される。たとえば、ユーザは、モデルを定義／構築して、当技術分野において知られている技法を使用してモデルが表す現実世界システム／オブジェクトに関するさまざまなデータを提供することができる。これは、現実世界システムのパラメータのすべてに適合するような方法でモデルをプログラムすることを含んでもよく、現実世界システムの動作モデル、つまり現実世界システムのデジタルツインとして機能することができる。たとえば、モデルは、例の中でも特に、表される現実世界システムの寸法、質量、および剛性のような、モデルが表す現実世界システムの任意の特性を有するようにプログラムされてもよい。モデルは、シミュレーションにおいて使用されるように適宜プログラムされ得る当技術分野において知られている任意のモデルであってもよい。言い換えれば、一実施形態によれば、モデルは、現実世界システムの動作を表すことができる。例示のモデルは、コンピュータ支援エンジニアリング（ＣＡＥ）モデル、有限要素モデル、有限体積モデル、計算流体力学モデル、および多体動力学モデルを含む。さらに、定義されるモデルはまた、モデルが表す現実世界システムのさまざまな特性を表すことができる方程式または連立方程式の形態をとってもよい。例は、代数方程式、常微分方程式、および偏微分方程式を含む。本発明の１つのそのような実施形態によれば、定義されるモデルは、現実世界システムの近似モデルである。さらに、一実施形態において、モデルは、現実世界システムの動作を迅速に決定するためにモデルがシミュレーションで使用され得るように、特許文献２に記載された原理に従って定義されてもよい。

例示の実施形態によれば、ステップ１０１においてモデルを定義するステップは、１つまたは複数のモデルパラメータを定義するステップを含む。これらのパラメータは、方法に従う現実世界システムの任意のそのような特性を含むことができる。例は、時間、寸法、材料、力、圧力負荷、温度、速度、モデル構成、システム制御設定、境界条件（ジオメトリがどのように接続するか）、時間の関数としての前述の所定の条件、および当業者に知られている任意の他のシステム特性を含む。

ステップ１０１においてモデルを定義した後、現実世界システムの複数のシミュレーションは、１０２において定義されたモデルを使用して実行される。一実施形態において、ステップ１０２において複数のシミュレーションを実行するステップは、予測されるフィールドデータを生成する。たとえば、現実世界システムがサーバルームである例を考えてみると、サーバルームのモデルはステップ１０１において定義され、サーバルームの複数のシミュレーションはステップ１０２において実行される。そのような実施形態は、サーバの多種多様な動作条件の下の、室内の温度のような、フィールドデータを生成する。モデルを定義するステップが、１つまたは複数のモデルパラメータを定義するステップを含む実施形態において、ステップ１０２で現実世界システムの複数のシミュレーションを実行するステップは、定義されたモデルパラメータのさまざまな値についてシミュレーションを実行するステップを含む。たとえば、第１のシミュレーションは、定義されるモデルパラメータが、３２°Ｆ（０℃）の外部温度、６４°Ｆ（１７．７８℃）のサーバルーム内第１の位置の温度、７０°Ｆ（２１．１１℃）のサーバルーム内第２の位置の温度、および毎秒３０メガバイトの速度でデータを転送している２つのサーバを含む場合に実行されてもよい。第２のシミュレーションは、前述のモデルパラメータが、今回は４つのサーバが毎秒５０メガバイトの速度でデータを転送していることを除いては同じである場合に、実行されてもよい。これらの２つのシミュレーションは各々、たとえば、前述の動作条件を所与としてサーバルーム内の全位置における温度を含むことができるそれぞれのフィールドデータを生成する。方法１００の実施形態によれば、ステップ１０２において実行されるシミュレーションは、当技術分野において知られている原理に従って実行されてもよい。さらに、一実施形態において、シミュレーションは、特許文献２に記載された原理に従って実行される。実施形態は、通常、システムの設計および開発中にシステム障害を予測するために使用される現実的シミュレーション結果を活用することができる。さらに、実施形態はまた、特許文献１に記載された実験研究または反証研究の設計を含むシミュレーションを実行することができる。さらに、方法１００の１つのそのような例示的な実施形態において、現実世界システムの緊急動作の１つまたは複数のシミュレーションが実行される。一実施形態において、シミュレーションは、Ｄａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ Ｓｉｍｕｌｉａ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＡｂａｑｕｓ（登録商標）のような、既存のシミュレーションプラットフォームを使用して実行される。一実施形態によれば、実行されるシミュレーションの数は、予測されるフィールドデータの正確性およびシミュレーションの複雑性によって異なる。そのような実施形態において、予測されるフィールドデータの望まれる正確性は、クロス確認を通じて、または別個の確認セットの使用を通じて決定されてもよい。

方法１００は、ステップ１０３において続行し、ステップ１０２で実行された複数のシミュレーションからもたらされる予測されるフィールドデータをコンピュータメモリに格納する。一実施形態において、シミュレーションを実行する際に使用されたモデルパラメータおよびモデルパラメータのさまざまな値もまたコンピュータメモリに格納される。予測されるフィールドデータは、当技術分野において知られる任意のストレージデバイス上に当事業分野において知られる任意の手段を介してステップ１０２において格納されてもよい。さらに、一実施形態において、データは、仮想／拡張現実のオーサリング方法（たとえば、特許文献２参照）を使用して圧縮された形態で格納されてもよい。たとえば、そのような実施形態において、予測されるフィールドデータは、現実世界システムのそれぞれの動作の継続的サロゲートを伴う別個のポリトープビンを含む１つまたは複数の補間式に圧縮されてもよい。これらの補間式は、次いでステップ１０５において、ステップ１０４で１つまたは複数のセンサーから受信されたフィールドデータに較正され、ステップ１０６において、本明細書において後段で説明される、拡張現実を提供するために使用されてもよい。ステップ１０１で定義されたモデルが近似モデルである実施形態によれば、予測されるフィールドデータは現実世界システムのモデルの一部であると見なされてもよく、したがってステップ１０３で予測されるフィールドデータをコンピュータメモリに格納するステップは、予測されるフィールドデータを使用して現実世界システムの近似状態モデルを更新して（メモリに）格納すると見なされてもよい。そのような実施形態において、近似状態モデルは、モデルが、現実世界システムのそれぞれの動作の継続的サロゲートを伴う別個のポリトープビンを各々含む１つまたは複数の補間式によって与えられるように（たとえば、特許文献２参照）、コンピュータメモリに格納されてもよい。さらに、そのような実施形態によれば、現実世界システムのモデルは、ステップ１０１で定義されたモデルと共に、ステップ１０３でコンピュータメモリに格納された予測されるフィールドデータを含む。

１つのそのような例示の実施形態によれば、ステップ１００の前述のステップ１０１～１０３は、ユーザが方法１００によって提供される拡張現実を利用したいと考える時点の前に実行される。この例示的な実施形態は、拡張現実が、最小限の待ち時間で提供されるようにする。さらに、そのような実施形態は、拡張現実が可能な限り迅速に提供され得るので、拡張現実が緊急の状況において使用される場合に、特に有利であってもよい。

方法１００は、ステップ１０４において現実世界システムの１つまたは複数のセンサーからフィールドデータを受信することによって続行する。たとえば、前述のサーバルームの例に戻ると、サーバルーム内の第１の位置から温度センサーは、ステップ１０４において方法１００を実施するコンピューティングシステムに、温度データを送信することができる。したがって、一実施形態において、ステップ１０４で受信されたフィールドデータは、たとえば、前述の例におけるように、ルーム内のポイントからの１つまたは２つの温度のような、限定された数のデータポイントであってもよい。

次に、方法１００は、ステップ１０５において、予測されるフィールドデータに関して受信したフィールドデータを使用して現実世界システムのモデルを較正する。一実施形態において、ステップ１０５において較正するステップは、受信したフィールドデータを所与としてモデルのさまざまな特性を決定する。たとえば、ステップ１０４で現実世界システムの所与のポイントについて７０°Ｆ（２１．１１℃）の計測温度が受信される場合、ステップ１０５において、現実世界システムにおいてその所与のポイントに対する７０°Ｆ（２１．１１℃）の温度をもたらすモデルの特性が決定される。したがって、一実施形態において、ステップ１０５で現実世界システムのモデルを較正するステップは、受信したフィールドデータを所与として１つまたは複数のモデルパラメータの値を決定するステップを含むことができる。一実施形態によれば、これは、１０３の格納された予測されるフィールドデータ、および／またはモデルパラメータの変形を使用して実行されてもよい。たとえば、１０３の格納されているデータは、モデルの特徴を決定するために補間および／または補外されてもよい。１つのそのような例示的な実施形態において、モデル特徴は、予測される動作と１つまたは複数のセンサーから受信したフィールドデータを適合させるために、誤差最小化のような数値較正のプロセスを使用して決定される。格納されているモデルが、現実世界システムのそれぞれの動作の継続的サロゲートを伴う別個のポリトープビンを各々含む１つまたは複数の補間式によって与えられる実施形態において、ステップ１０５でモデルを較正するステップは、その出力が現実世界のセンサー値と一致するように、サロゲートモデルの入力を最適化するステップを含む。さらに、一実施形態において、ステップ１０５において実行される較正は、その他のマシン学習モデルを使用することができる。

この較正方法論は、現実世界システムにおいて膨大数のセンサーの必要性をなくすことに役立つ。たとえば、システムのさまざまな特性および特徴のすべてを測定するように、現実世界システムにセンサーを十分に配置することが理論的に可能である。しかし、そのようなシステムは、法外な費用がかかり、極めて複雑であり、空間的なアクセスを妨げる（そのようなシステムにはフリースペースの大部分にセンサーが必要になる可能性もある）。有利なことに、方法１００は、限られた数のセンサー、以前実行されたシミュレーション、および格納されているデータに依存して、限られた量の現実世界のデータのみにより全システムのさまざまな特性を決定することができる。

較正済みモデルを所与として、方法１００は、続行し、現実世界システムの較正済みモデルを使用して現実世界システムの拡張現実を提供する。したがって、操作中、現実世界システムのユーザは、較正済みモデルを使用して決定されたさまざまな視覚化により自身の現実感を拡張させることができる。この拡張現実は、拡張現実に示される動作の予測を行うために較正済みモデルを使用して、リアルタイムで決定されてもよい。たとえば、拡張現実は、較正済みモデルを使用して現実世界システムの物理フィールドデータを示すことができる。そのようなデータ、たとえば、温度、応力、速度、歪み、密度、ガスフロー、材料応力、歪みエネルギー、見込み破断位置および可能性は、ユーザに示されてもよい。例において、橋を観察しているエンジニアは、シェーディングおよび／またはラベルの使用を通じて橋上のさまざまな位置における応力を目にすることができる。そのような例において、たとえば、高い応力を受けるコンポーネントは、赤のシェーディングでオーバーレイされ、応力の高くないコンポーネントは、黄のシェーディングでオーバーレイされる。このようにして、橋を観察するとき、拡張現実が橋のさまざまな状態を示す。そのような操作の例は、本明細書において、図４に関連して後段で説明される。

方法１００の実施形態において、拡張現実は、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＨｏｌｏＬｅｎｓのような市販されているホログラフィー拡張現実ヘッドセットを使用して、ステップ１０６において、リアルタイムで提供される。そのような実施形態において、システムの動作は、現実世界に投影されてもよい。方法１００のさらなる実施形態は、較正済みモデルを使用して現実世界システムのシミュレーションを実行することによって、現実世界システムの１つまたは複数の障害発生ポイントを予測し、次いで、拡張現実において１つまたは複数の予測される障害発生ポイントを指し示す。あるいは、実施形態は、以前実行されたシミュレーションを活用して、予測される障害発生ポイントを示すことができる。さらにもう１つの実施形態は、将来の時点における現実世界システムの状態を示す。たとえば、そのような実施形態は、たとえばコンポーネントおよびデバイス障害など、将来の危機的なシナリオを描き出すことができる。そのような実施形態において、将来の時点における現実世界システムの状態は、特許文献３に記載のように反証研究を使用して決定されてもよい。そのような実施形態は、確認手法に反証を利用して、現実世界システムの現在の状態に最も近似する障害条件を識別する。そのような例示的な実施形態において、モデルの状態空間において最も近似する障害条件が識別される。同様に、実施形態は、何のアクションも実行されない場合、ユーザが提案するアクションが実行される場合、および／またはシステムが推奨するアクションが実行される場合の現実世界システムを示すことができる。１つの実施形態において、そのような将来のアクションは、自動的に示されるか、またはユーザ要求に応じて示されてもよい。一実施形態によれば、ステップ１０５において較正を行うと、方法１００は、推奨されるアクションまたは一連のアクションを展開するために、さらなるシミュレーションを実行するか、または以前実行されたシミュレーションを活用する。１つのそのような例において、将来の時点における障害を識別するシミュレーションはが実行され、これに応じて、拡張現実システムは、この予測される障害を回避するために行われ得るアクションを識別するためにさらなるシミュレーションを実行する。次いで、ステップ１０６において、これらのアクションは拡張現実においてユーザに（視覚的またはグラフィカルに表示されて）示されてもよい。

一実施形態によれば、拡張現実は、現実世界システムの１つまたは複数の緊急動作、つまり以前経験されたことのない動作を示す。方法１００のさらにもう１つの実施形態は、新しいコンポーネントまたはソフトウェアが現実世界システムに導入されるときに、ステップ１０１で定義されたモデルを、新しい動作シナリオで更新するステップをさらに含む。そのような実施形態は、ステップ１０１においてモデルを更新し、ステップ１０２において更新済みモデルでシミュレーションを実行し、次いでステップ１０３においてこの新しいデータをコンピュータメモリに格納する。

図２は、本発明の実施形態による拡張現実を提供する実施態様を示す図である。そのような実施形態は、モデルｂ＝ｆ（ｐ、Δｔ、ｘ、ｃ）を使用して実行された現実世界システム２３０のシミュレーションからのデータを圧縮する仮想現実オーサリングシステム２２１において開始し、ここでｂはモデルの動作であり、ｐは１つまたは複数のモデルパラメータであり、ｔは時間であり、ｘは現実世界システムにおける１つまたは複数のポイントの位置であり、ｃは１つまたは複数のモデルパラメータの構成である。現実世界システム２３０のモデルおよび２２１において圧縮されたデータは、図２に示される実施態様が、相対時間（Δｔ）における現実世界システム２３０のいかなる位置でも動作ｂの予測されるフィールドデータ２２３（たとえば、温度、圧力、応力、速度）を生成できるようにする。現実世界システム２３０において、１つまたは複数のセンサー２３４は、較正ステップ２２２において使用される情報を流す。較正ステップ２２２において、現実世界システム（モデル）パラメータｐの値を、個別のポイントにおける、センサー２３４によって提供された測定された動作ｂに較正するシステム識別が実施される。モデルパラメータｐが現実世界システムに対してこれは動作していると認識されると（較正ステップ２２２において決定される）、現実世界システム２３０全体にわたる動作ｂが、予測子モジュール２２３において予測される。たとえば、緊急動作２３６は、オペレータに装着されている拡張現実ヘッドセット２２４に投影され、危険の原因を指し示して意志決定を高めることができる。

図２に示される例示的な実施形態において、現実世界システム２３０は、上部ポンプ２３１および下部ポンプ２３２という２つの直列のポンプを有する。現実世界システム２３０の通常の動作の下では、ポンプ２３１および２３２は、現実世界システム２３０に流体を送り出すように連携して動作する。１つの例示的な実施形態において、上部ポンプ２３１は、バックアップポンプ２３３によって置き換えられるように停止され、下部ポンプ２３２は稼働し続ける。そのような操作中、保守アクティビティの開始を検出する本発明の原理を利用するスマートサイバーフィジカル制御システムによって、大量の過剰な流体がバイパス２３５に自動的に迂回される。本発明の原理を実施するこの制御システムは、事前耐用年数計算（たとえば、２２１において実行されるシミュレーション）、ならびにセンサー２３４によってレポートされるバイパス２３５経由の現在の高度質量流量および温度を使用して、２２２においてモデルを較正し、予測子モジュール２２３において、バイパスシステム２３５の目前の物理障害２３６に至る恐れのあるバイパスコーナーにおける応力集中を識別する。次いで、この動作２３６は、拡張現実ヘッドセット２２４を介して、ユーザに視覚的および／またはグラフィカルに示される。

図３Ａおよび図３Ｂは、さまざまなポイントにおけるデータセンター３３０ａ、３３０ｂ、（概して３３０）を示す。データセンター３３０は、ネットワークコンピュータ３３１およびコンピュータルーム空調（ＣＲＡＣ）システムを有する。図３Ａに示されるデータセンター３３０ａの通常の動作条件の下で、一様のシェーディング３３４で表されるコンピュータ３３１の周囲の空気の温度は、安定しており、本発明の原理により提供される拡張現実を介して制御される。図３Ｂに示されるポイントにおいて、予期せぬ外部事象により、（ファンまたは換気口のような）ＣＲＡＣ換気システムの一部が損なわれている。さらに、コンピュータ３３１への処理および熱負荷は、この外部事象に応じて急激に増大して、データセンター３３０ｂ内の熱破壊を生じることもある。この熱破壊は、図３Ｂに示され、ここで濃いシェーディング３３２は過負荷および加熱状態のコンピュータアレイを表し、薄いシェーディング３３３は十分に利用されていない冷えたコンピュータアレイを表す。

本発明の原理を利用することによって、データセンターのオペレータは、データセンター室内にとどまることができ、拡張現実ヘッドセットを利用することによって、特定のコンピュータが加熱状態にあると認識して、ネットワーク障害を回避するために迅速に対処することができる。拡張現実が提供されなければ、過熱状態のコンピュータの物理的位置、空気の流れる方向を決定することも、ひいては処理負荷を適正に均等化して損なわれたＣＲＡＣシステムを制御するように対応する方法を決定することもできない。図２に示されるプロセスに従うことにより、データセンターのオペレータは、拡張現実ヘッドセットを装着して、シミュレーション結果をロードし、たとえば温度および空気流などのフィールドデータを観察することができる。次いで、この観察されたフィールドデータにより、オペレータは、気流および熱の問題を明確に視覚化して、処理負荷を位置３３２から位置３３３へと迅速に方向付けることができる。このようにして、拡張現実は、緊急動作をもたらす決定を改善し促進することができる。さらに、一実施形態において、拡張現実は、過負荷状態のコンピュータを識別すること、および追加の負荷を処理できるコンピュータを識別することによって、行うべき適正なステップを提案することができる。

図４は、橋４４１を含む現実世界システム４４０を示し、ホログラフィー拡張現実ヘッドセット４４２を利用するユーザは、拡張現実４４６を見ることができる。そのような実施形態において、橋４４１のモデルが定義され、モデル化された橋４４１のシミュレーションが実行され、シミュレーションからの結果は上記で説明されるように格納される。次いで、操作中、ユーザは橋４４１に進み、本明細書において説明される方法を実行するように構成されたコンピューティングデバイスに有線または無線接続を介して接続され得る拡張現実ヘッドセット４４２を装着し、ユーザは、橋４４１の拡張現実４４６を見ることができる。あるいは、コンピューティングは、ヘッドセット４４２自体の１つまたは複数のプロセッサを介して実行されてもよい。本発明の原理を利用することによって、ユーザは、他の方法では見ることのできないシステム４４０の特徴を確認することができる。たとえば、図４に示される実施形態において、ユーザは、さまざまなポイントにおける橋の歪みを調べることができ、それはたとえばシェーディング４４４および４４５を使用して視覚的および／またはグラフィカルに表されてもよい。図４は、濃いシェーディング４４５が、薄いシェーディング４４４の部分よりも高い歪みを受けている橋４４１上のポイントを示す例を表す。

図５は、本発明の実施形態による拡張現実体験を提供するために使用され得るヘッドセット２２４、４４２のコンピュータベースのシステム５５０のバージョンを示す簡略化ブロック図である。コンピュータベースのシステム５５０は、バス５５５を備える。バス５５５は、システム５５０のさまざまなコンポーネントの間の相互接続としての役割を果たす。バス５５５に接続されるのは、キーボード、マウス、ディスプレイ、スピーカー、センサーなどのさまざまな入出力デバイスをコンピュータベースのシステム５５０に接続するための入出力デバイスインターフェイス５５８である。中央演算処理装置（ＣＰＵ）５５２は、バス５５５に接続され、コンピュータ命令の実行を提供する。メモリ５５７は、コンピュータ命令を遂行するために使用されるデータの揮発性ストレージを提供する。ストレージ５５６は、オペレーティングシステム（図示せず）のような、ソフトウェア命令の不揮発性ストレージを提供する。システム５５０はまた、ワイドエリアネットワーク（ＷＡＮ）およびローカルエリアネットワーク（ＬＡＮ）を含む、当技術分野において知られているさまざまなネットワークに接続するためのネットワークインターフェイス５５１を備える。

本明細書において説明される例示的な実施形態が多種多様な方式で実施され得ることを理解されたい。場合によっては、本明細書において説明されるさまざまな方法およびマシンは各々、コンピュータシステム５５０のような、物理、仮想、もしくはハイブリッド汎用コンピュータ、または図６に関連して本明細書において後段で説明される、コンピュータ環境６６０のようなコンピュータネットワーク環境によって実施されてもよい。コンピュータシステム５５０は、たとえば、ソフトウェア命令をＣＰＵ５５２により実行するためにメモリ５５７または不揮発性ストレージ５５６にロードすることによって、本明細書において説明される方法／モジュール（たとえば、１００、２２１、２２２、２２３）を実行するマシンに変えられてもよい。当業者であれば、システム５５０およびそのさまざまなコンポーネントが、本明細書において説明される本発明の任意の実施形態を遂行するように構成され得ることをさらに理解されたい。さらに、システム５５０は、内部的または外部的にシステム５５０に動作可能に結合されるハードウェア、ソフトウェア、およびファームウェアモジュールの任意の組み合わせを利用して、本明細書において説明されるさまざまな実施形態を実施することができる。

図６は、本発明の実施形態が実施され得るコンピュータネットワーク環境６６０を示す。コンピュータネットワーク環境６６０において、サーバ６６１は、通信ネットワーク６６２を通じてクライアント６６３ａ～ｎにリンクされる。１つまたは複数のクライアント６６３は、上記で説明されるコンピュータベースのシステム５５０として構成される。環境６６０は、（ヘッドセット２２４、４４２のような）クライアント６６３ａ～ｎが、単独で、またはサーバ６６１との組み合わせで、上記で説明される方法／モジュール（たとえば、１００、２２１、２２２、２２３）のいずれかを実行できるようにするために使用されてもよい。

その実施形態または態様は、ハードウェア、ファームウェア、またはソフトウェアにおいて実施されてもよい。ソフトウェアにおいて実施される場合、ソフトウェアは、プロセッサがソフトウェアまたはその命令のサブセットをロードできるように構成される任意の非一時的コンピュータ可読媒体上に格納されてもよい。次いで、プロセッサは、命令を実行し、本明細書において説明される方法で、動作するか、または装置に動作させるように構成される。

さらに、ファームウェア、ソフトウェア、ルーチン、または命令は、データプロセッサの特定のアクションおよび／または機能を実行するものとして本明細書において説明されてもよい。しかし、本明細書に含まれるそのような説明は、便宜上のものにすぎず、実際にそのようなアクションが、ファームウェア、ソフトウェア、ルーチン、命令などを実行するコンピューティングデバイス、プロセッサ、コントローラ、またはその他のデバイスによりもたらされることを理解されたい。

フロー図、ブロック図、およびネットワーク図は、異なる配置または異なる提示が行われる、より多くまたはより少ない要素を含むことができることを理解されたい。しかし、特定の実施態様が、ブロックおよびネットワーク図、ならびに実施形態の実行が特定の方法で実施されることを説明するブロックおよびネットワーク図の数を決定することができることをさらに理解されたい。

したがって、さらなる実施形態はまた、さまざまなコンピュータアーキテクチャ、物理、仮想、クラウドコンピュータ、および／またはその一部の組み合わせにおいて実施されてもよく、したがって、本明細書において説明データプロセッサは、例示のみを目的とし、実施形態を限定するものではないことが企図される。

本発明は、その例示的な実施形態を参照して詳細に示され、説明されたが、特許請求の範囲によって包含される本発明の範囲を逸脱することなく、形態および詳細のさまざまな変更がそこに行なわれてもよいことが、当業者には理解されるであろう。

Claims (16)

1. 拡張現実体験を提供するためのコンピュータ実施の方法であって、
   コンピュータメモリにおいて現実世界システムのモデルを定義するステップと、
   前記定義されたモデルを使用して前記現実世界システムの複数のシミュレーションを実行するステップであって、前記複数のシミュレーションの各シミュレーションは、前記シミュレーションについての１つまたは複数のシミュレーション入力パラメータを含み、前記複数のシミュレーションの各シミュレーションの実行は前記シミュレーションについて予測されるフィールドデータを生成する、ステップと、
   前記予測されるフィールドデータおよび前記複数のシミュレーションの各シミュレーションについての関連する１つまたは複数のシミュレーション入力パラメータを格納するステップと、
   前記現実世界システムの１つまたは複数のセンサーからフィールドデータを受信するステップと、
   前記予測されるフィールドデータに関して前記受信したフィールドデータを使用して前記現実世界システムの前記モデルを較正するステップであって、前記較正は、前記複数のシミュレーション、および前記複数のシミュレーションの各々に関連付けられた前記１つまたは複数のシミュレーション入力パラメータに基づいて、前記モデルの１つまたは複数の較正済みシミュレーション入力パラメータの値を決定することを含み、その結果前記モデルの出力は、前記１つまたは複数のセンサーからの前記フィールドデータおよび前記予測されるフィールドデータの間の差を最小化し、これにより、較正済みモデルが得られる、ステップと、
   前記現実世界システムの前記較正済みモデルへの入力として、前記１つまたは複数の較正済み入力パラメータの前記決定された値を使用して、前記現実世界のシステムの前記拡張現実体験を提供するステップであって、前記拡張現実体験は、前記受信したフィールドデータおよびシミュレーションデータの提示を含む、ステップと、
   将来の時間における前記現実世界のシステムの状態を示すステップであって、将来の時間における前記現実世界のシステムの前記状態は、１つまたは複数の反証を使用して決定される、ステップと
   を備えることを特徴とする方法。
2. 前記現実世界システムの前記モデルを定義するステップは、１つまたは複数のモデルパラメータを定義するステップを含むことを特徴とする請求項１に記載の方法。
3. 前記複数のシミュレーションは、前記１つまたは複数のモデルパラメータの１つまたは複数の変形について実行されることを特徴とする請求項２に記載の方法。
4. 前記１つまたは複数のモデルパラメータの前記１つまたは複数の変形を格納するステップをさらに備えることを特徴とする請求項３に記載の方法。
5. 前記拡張現実体験は、拡張現実ヘッドセットを介して提供されることを特徴とする請求項１に記載の方法。
6. 前記較正済みモデルを使用して前記現実世界システムのシミュレーションを実行することによって、前記現実世界システムの１つまたは複数の障害発生ポイントを予測するステップと、
   前記拡張現実体験において前記１つまたは複数の予測された障害発生ポイントを指し示すステップとをさらに備えることを特徴とする請求項１に記載の方法。
7. 将来の時点における前記現実世界システムの前記状態を示すステップは、
   アクションが実行されない場合の前記現実世界システムと、
   ユーザが提案するアクションが実行される場合の前記現実世界システムと、
   システムが推奨するアクションが実行される場合の前記現実世界システムのうちの少なくとも１つを示すことを特徴とする請求項１に記載の方法。
8. 前記実行された複数のシミュレーションは、前記現実世界システムの１つまたは複数の緊急動作をシミュレートすることを特徴とする請求項１に記載の方法。
9. 前記拡張現実体験は、前記較正済みモデルを使用して決定された前記現実世界システムの物理フィールドデータを示すことを特徴とする請求項１に記載の方法。
10. 前記物理フィールドデータは、
    温度と、
    密度と、
    ガスフローと、
    見込み破断位置と、
    破断の可能性と、
    速度と、
    応力と、
    歪みのうちの少なくとも１つを含むことを特徴とする請求項９に記載の方法。
11. 拡張現実体験を提供するためのコンピュータシステムであって、
    プロセッサと、
    コンピュータコード命令を格納したメモリであって、前記プロセッサおよび前記メモリは、前記コンピュータコード命令により、システムに、
    コンピュータのメモリにおいて現実世界システムのモデルを定義させ、
    前記定義されたモデルを使用して前記現実世界システムの複数のシミュレーションを実行させ、前記複数のシミュレーションの各シミュレーションは、前記シミュレーションについての１つまたは複数のシミュレーション入力パラメータを含み、前記複数のシミュレーションの各シミュレーションの実行は前記シミュレーションについての予測されるフィールドデータを生成し、
    前記予測されるフィールドデータおよび前記複数のシミュレーションの各シミュレーションについての関連する１つまたは複数のシミュレーション入力パラメータを格納させ、
    前記現実世界システムの１つまたは複数のセンサーからフィールドデータを受信させ、
    前記予測されるフィールドデータに関して前記受信したフィールドデータを使用して前記現実世界システムの前記モデルを較正させ、前記較正は、前記複数のシミュレーション、およびそれらの関連する１つまたは複数のシミュレーション入力パラメータに基づいて、前記モデルの１つまたは複数の較正済み入力パラメータの値を決定することを含み、その結果前記モデルの出力は、前記１つまたは複数のセンサーからの前記フィールドデータおよび前記予測されるフィールドデータの間の差を最小化し、これにより、較正済みモデルが得られ、
    前記現実世界システムの前記較正済みモデルへの入力として、前記１つまたは複数の較正済み入力パラメータの前記決定された値を使用して、将来の時間における前記現実世界システムの状態を示す前記現実世界システムの前記拡張現実体験を提供させ、前記拡張現実体験は、前記受信したフィールドデータおよびシミュレーションデータの提示を含み、前記将来の時間における前記現実世界システムの前記状態は１つまたは複数の反証を使用して決定される
    ように構成されるメモリと
    を備えることを特徴とするコンピュータシステム。
12. 前記現実世界システムの前記モデルを定義するステップは、１つまたは複数のモデルパラメータを定義するステップを含むことを特徴とする請求項１１に記載のシステム。
13. 前記プロセッサおよび前記メモリは、前記コンピュータコード命令により、前記システムに、
    前記較正済みモデルを使用して前記現実世界システムのシミュレーションを実行することによって、前記現実世界システムの１つまたは複数の障害発生ポイントを予測させ、
    前記提供された拡張現実体験において前記１つまたは複数の予測された障害発生ポイントを指し示させるようにさらに構成されることを特徴とする請求項１１に記載のシステム。
14. 前記拡張現実体験を提供するステップは、
    将来の時点における前記現実世界システムの状態を示すステップを含むことを特徴とする請求項１１に記載のシステム。
15. 前記拡張現実体験は、拡張現実ヘッドセットを介して提供されることを特徴とする請求項１１に記載のシステム。
16. 拡張現実体験を提供するためのコンピュータプログラムであって、１つまたは複数のクライアントを伴うネットワークにわたる通信においてサーバによって実行され、プロセッサによって実行されるとき、
    コンピュータメモリにおいて現実世界システムのモデルを定義するステップと、
    前記定義されたモデルを使用して前記現実世界システムの複数のシミュレーションを実行するステップであって、前記複数のシミュレーションの各シミュレーションは前記シミュレーションについての１つまたは複数のシミュレーション入力パラメータを含み、前記複数のシミュレーションの各シミュレーションの実行は前記シミュレーションについての予測されるフィールドデータを生成する、ステップと、
    前記予測されるフィールドデータおよび前記複数のシミュレーションの各シミュレーションについての関連する１つまたは複数のシミュレーション入力パラメータを格納するステップと、
    前記現実世界システムの１つまたは複数のセンサーからフィールドデータを受信するステップと、
    前記予測されるフィールドデータに関して前記受信したフィールドデータを使用して前記現実世界システムの前記モデルを較正するステップであって、前記較正は、前記複数のシミュレーション、およびそれらの関連する１つまたは複数のシミュレーション入力パラメータに基づいて、前記モデルの１つまたは複数の較正済み入力パラメータの値を決定することを含み、その結果前記モデルの出力は、前記１つまたは複数のセンサーからの前記フィールドデータおよび前記予測されるフィールドデータの間の差を最小化し、これにより、較正済みモデルが得られる、ステップと、
    前記現実世界システムの前記較正済みモデルへの入力として、前記１つまたは複数の較正された入力パラメータの前記決定された値を使用して、前記現実世界システムの前記拡張現実体験を提供するステップであって、将来の時間における前記現実世界システムの状態は１つまたは複数の反証を使用して決定され、前記拡張現実体験は、前記受信したフィールドデータおよびシミュレーションデータの提示を含む、ステップと、
    を生じさせるプログラム命令を備えることを特徴とするコンピュータプログラム。

Images