JP7500187B2 - 拡張モデルを用いた拡張現実システム - Google Patents

Description

本開示は、拡張現実システム、及び、情報を視覚化する方法に関する。

拡張現実は、コンピュータシステムからの情報によって拡張された現実世界環境とのインタラクティブな経験を含む。情報は、ポータブル演算装置を通して見られる現実世界環境のライブビューに表示される。ライブビューにおける情報の表示は、対象物についての記述又はインジケータを、ライブビュー内でユーザに提示するように行われる。このような情報は、拡張現実情報とも称される。また、他の場合には、拡張現実情報を現実世界環境のライブビューに表示する際に、情報が、ポータブル演算装置を通して見られる現実世界環境の一部として知覚されるように、現実世界環境にシームレスに織り込まれる。

位置推定とマッピングの同時実行プロセスでは、アンカーを用いて、周囲環境内におけるポータブル演算装置の位置推定を行う。アンカーとは、特徴点であり、物理的対象物又は物理的対象物の近くの環境にある特別な場所である。アンカーを用いて、物理的対象物のモデルを、物理的対象物のライブビューで見ている現実世界の物理的対象物と対応付ける。

アンカーからの拡張現実装置の距離が増すにつれて、拡張現実装置が、物理的対象物のライブビュー上に拡張現実情報を表示する際の精度が、低下する場合がある。

例えば、距離が５メートルを超えると、物理的対象物上の適所または近傍に拡張現実装置が拡張現実情報を表示する精度が、所望レベルよりも低くなる。

物理的対象物のサイズが大きくなるにつれて、物理的対象物のライブビューを拡張するための情報を所望の精度で表示するのに必要なアンカーの数が大きくなり、物理的対象物によっては、実現不可能な数になる。例えば、航空機、オフィスビル、又はダムなどの大型の対象物のライブビューを拡張することは、非常に困難な場合がある。所望した精度が達成できず、処理リソースの使用量も、非常に多くなる場合がある。

本開示の一実施形態は、一群の無人航空機、コンピュータシステム、及び、ポータブル演算装置を含む、拡張現実システムを提供する。前記一群の無人航空機は、物理的対象物に対して移動し、前記物理的対象物の画像を生成し、前記物理的対象物の領域の空間内での点を記述するスキャンデータを生成する、ように動作する。前記コンピュータシステムは、通信リンクを用いて前記一群の無人ビークルと通信し、物理的対象物の画像を、前記物理的対象物に対して移動している前記一群の無人ビークルから受信し、前記物理的対象物の前記領域のスキャンデータを、前記物理的対象物に対して移動している前記一群の無人ビークルのうちの所定数の無人ビークルから受信し、前記画像及び前記スキャンデータを用いて前記物理的対象物の拡張モデルを作成する、ように動作し、前記拡張モデルにおける前記物理的対象物の前記領域は、前記拡張モデルにおける前記物理的対象物の他の領域よりも、より精細なディテールを有している。前記ポータブル演算装置は、前記拡張モデルを用いて前記物理的対象物に対する位置推定をし、前記ポータブル演算装置を通して見る前記物理的対象物のライブビューに情報を表示する、ように動作する。前記情報は、前記物理的対象物の前記拡張モデルを用いて特定される。

本開示の別の実施形態は、コンピュータシステム及び前記コンピュータシステム内のビジュアライザーを含む、拡張現実システムを提供する。前記コンピュータシステムは、前記コンピュータシステムの動作中及び一群の無人ビークルの動作中に、通信リンクを用いて、前記一群の無人ビークルと通信する。前記ビジュアライザーは、物理的対象物の画像を、前記物理的対象物に対して移動している前記一群の無人ビークルから受信し、前記物理的対象物の領域のスキャンデータを、前記物理的対象物に対して移動している前記一群の無人ビークルのうちの所定数の無人ビークルから受信するように動作する。前記ビジュアライザーは、前記画像及び前記スキャンデータを用いて、前記物理的対象物の拡張モデルを作成するように動作する。前記拡張モデルにおける前記物理的対象物の前記領域は、前記拡張モデルにおける前記物理的対象物の他の領域よりも、より精細なディテールを有する。前記ビジュアライザーは、情報をポータブル演算装置に送信する。前記情報は、前記ポータブル演算装置によって、前記ポータブル演算装置を通して見る前記物理的対象物のライブビューに表示可能である。前記情報は、前記物理的対象物の前記拡張モデルを用いて特定される。

本開示のさらに別の実施形態は、物理的対象物のライブビューに情報を視覚化する方法を提供する。物理的対象物の画像を、コンピュータシステムによって、前記物理的対象物に対して移動している一群の無人ビークルから受信する。前記コンピュータシステムは、通信リンクを用いて、前記一群の無人ビークルと通信する。前記コンピュータシステムによって、前記物理的対象物の領域のスキャンデータを受信する。前記コンピュータシステムによって、前記画像及び前記スキャンデータを用いて、前記物理的対象物の拡張モデルを作成する。前記拡張モデルにおける前記領域は、前記拡張モデルにおける前記物理的対象物の他の領域よりも、より精細なディテールを有する。前記コンピュータシステムによって、前記拡張モデルの少なくとも一部を、ポータブル演算装置に送信し、前記ポータブル演算装置は、前記拡張モデルの前記少なくとも一部を用いて、前記物理的対象物に対する位置推定をする。前記ポータブル演算装置によって表示可能な前記情報を、前記コンピュータシステムによって、前記ポータブル演算装置に送信する。前記ポータブル演算装置は、前記ポータブル演算装置を通して見る前記物理的対象物の前記ライブビューに情報を表示し、前記情報が、前記物理的対象物の前記拡張モデルを用いて特定される。

これらの特徴および機能は、本開示の様々な実施形態において個々に達成可能であり、また、他の実施形態と組み合わせることも可能である。この詳細については、以下の記載と図面から明らかになるであろう。

例示的な実施形態に特有であると考えられる新規の特徴は、添付の特許請求の範囲に記載されている。ただし、例示的な実施形態ならびに好ましい使用形態、さらにその目的および特徴は、本開示の例示的な実施形態について後述する詳細な説明を、下記の添付図面と併せて参照することにより最もよく理解されるであろう。

例示的な実施形態を実施することができるデータ処理システムのネットワークの図による表現である。 例示的な実施形態による、拡張現実環境のブロック図である。 例示的な実施形態による、拡張モデルの作成を表すブロック図である。 例示的な実施形態による、物理的対象物の領域の選択を表すブロック図である。 例示的な実施形態による視覚化環境の図による表現である。 例示的な実施形態によるグラフィカルユーザーインターフェイスの図による表現である。 例示的な実施形態による、物理的対象物のライブビュー上に情報を視覚化するプロセスのフローチャートである。 例示的な実施形態による、拡張モデルを作成するための情報を生成するために無人ビークルを制御するプロセスのフローチャートである。 例示的な実施形態による、物理的対象物の拡張モデルを作成するプロセスのフローチャートである。 例示的な実施形態による、物理的対象物のライブビュー上に情報を視覚化するプロセスのフローチャートである。 例示的な実施形態による、データ処理システムのブロック図である。 例示的な実施形態によるポータブル演算装置のブロック図である。 例示的な実施形態による無人ビークル装置のブロック図である。 例示的な実施形態による、航空機の製造及び保守方法のブロック図である。 例示的な実施形態を実現することができる航空機のブロック図である。 例示的な実施形態による、製品管理システムのブロック図である。

例示的な実施形態においては、１つ以上の異なる事項が認識及び考慮されている。例えば、例示的な実施形態は、航空機、建物、フィールドなどの物理的対象物、又はその他の大型の物理的対象物では、これらの物理的対象物のビューを拡張するための情報を表示すのが困難な場合があるということを、認識及び考慮している。１つの解決策は、人間のオペレータによって操作されるポータブルの演算装置に加えて１つ以上の演算装置を用いることにより、物理的対象物のモデルを生成することを含むということを、例示的な実施形態は、認識及び考慮している。例示的な実施形態は、これらの追加の演算装置が追加の情報を提供し、これを用いて、物理的対象物のモデルの生成、ポータブル演算装置の位置推定、又は、物理的対象物に関する他の操作のうちの少なくとも１つを行うことができるということを、認識及び考慮している。

例えば、例示的な実施形態は、無人ビークルなどのポータブルの演算装置を用いてデータを生成し、これを用いて物理的対象物のモデルを生成することができるということを、認識及び考慮している。これらの無人ビークルは、例えば、無人航空機、無人地上ビークル、又は、無人ウォータービークルを含む。また、ポータブル演算装置によって収集されたデータを用いて追加のデータを生成することができ、この追加のデータを、無人ビークルによって生成されたデータと組み合わせて用いることにより、モデルを生成することができる。

本明細書において、「～のうちの少なくとも１つ」という語句が、アイテムのリストについて用いられる場合、リストアップされたアイテムのうちの１つ以上を様々な組み合わせで用いてもよいことを意味し、また、リストの各アイテムの１つだけが必要な場合もあることを意味する。換言すれば、「～のうちの少なくとも１つ」は、リストから任意の数のアイテムを任意の組み合わせで使用することが可能であり、必ずしもリストアップされたアイテムのすべてを必要としないことを意味する。アイテムは、ある特定の対象、物、又はカテゴリーであってよい。

例えば、限定するものではないが、「アイテムＡ、アイテムＢ、又はアイテムＣのうちの少なくとも１つ」は、アイテムＡ、アイテムＡとアイテムＢ、又はアイテムＢを含む場合がある。また、この例では、アイテムＡとアイテムＢとアイテムＣ、又は、アイテムＢとアイテムＣを含む場合もある。もちろん、これらのアイテムをどのように組み合わせてもよい。いくつかの例示的な実施例において、「～のうちの少なくとも１つ」は、例えば、限定するものではないが、アイテムＡを２つ含む場合、アイテムＢを１つ含む場合、アイテムＣを１０個含む場合、アイテムＢを４つおよびアイテムＣを７つ含む場合、又は他の適当な組み合わせを含みうる。

また、物理的対象物のモデルを生成するために物理的対象物全体をスキャンすることは、物理的対象物のサイズが大きくなるにつれて、より多くのリソースを消費する場合があるということを、例示的な実施形態は、認識及び考慮している。例えば、航空機や建物などの物理的対象物のポイントクラウドを生成するために三次元スキャナでスキャンデータを生成することは、かなり大きい帯域幅、処理能力、ストレージ、又はその他のコンピューティングリソースを必要とする場合があるということを、例示的な実施形態は、認識及び考慮している。これらの三次元スキャナは、例えば、レーザスキャナ、ライダー（lidar）システム、赤外線スキャナ、又はその他の種類の走査システムを含む。

例示的な実施形態は、画像を用いて物理的対象物のモデルが生成可能であることを、認識及び考慮している。例示的な実施形態は、このような物理的対象物のモデルにおけるディテール（detail）の精細さは、ポイントクラウドを生成するために用いられるスキャンによるディテールよりも少なくなる可能性があるということを、認識及び考慮している。しかしながら、より高いレベルのディテールが所望される１つ以上の対象領域については、三次元スキャナを用いてスキャンデータが生成可能であるということを、例示的な実施形態は、認識及び考慮している。この結果、二種類のデータを用いて物理的対象物のモデルを生成することにより、帯域幅、処理リソース、ストレージ、又はその他のコンピューティングリソースのうちの少なくとも１つの量を、低減することができる。

従って、例示的な実施形態は、物理的対象物のライブビュー上に情報を視覚化するための方法、装置、及び、システムを提供する。例示的な一実施例において、コンピュータシステムは、物理的対象物の画像を、当該物理的対象物に対して移動する無人ビークルから受信する。コンピュータシステムは、通信リンクを用いて、無人ビークルと通信している。コンピュータシステムは、物理的対象物の領域に関するスキャンデータを受信する。コンピュータシステムは、これらの画像及びスキャンデータを用いて、物理的対象物の拡張モデルを生成し、拡張モデルにおける当該領域は、拡張モデルにおける物理的対象物の他の領域よりも、より精細なディテールを有している。コンピュータシステムは、拡張モデルの少なくとも一部を、ポータブル演算装置に送信し、ポータブル演算装置は、拡張モデルの当該少なくとも一部を用いて、物理的対象物に対する位置推定を行う。コンピュータシステムは、ポータブル演算装置によって表示可能な情報も送信する。ポータブル演算装置は、ポータブル演算装置を通して見る物理的対象物のライブビュー上に、情報を表示し、当該情報は、物理的対象物の拡張モデルを用いて、特定される。

次に、図を参照、特に図１を参照すると、同図には、例示的な実施形態を実施することができるデータ処理システムのネットワークの図による表現が示されている。ネットワークデータ処理システム１００は、例示的な実施形態を実施することができるコンピュータのネットワークである。ネットワークデータ処理システム１００は、ネットワーク１０２を含み、当該ネットワークは、ネットワークデータ処理システム１００内で接続される様々な装置及びコンピュータ間の通信リンクを提供するために用いられる媒体である。ネットワーク１０２は、例えば、テザー（tethered）通信リンク又は無線通信リンクなどの接続を含む。無線通信リンクは、空気、真空、又は、水のうちの少なくとも１つを介して、確立することができる。

有線通信リンクは、例えば、電線又は光ファイバケーブルのうちの少なくとも１つを含む。有線通信リンクは、かさばったり、無人ビークルが走行できる距離を制限したりする可能性がある。これらの種類の通信リンクは、無線通信リンクに比べて、高いセキュリティを実現することができる。これらの有線通信リンクは、無人航空機が帰還して、充電ステーション又はベースステーションにコンタクトを取る際に起こりうる間欠的な接続も含む。

別の例において、間欠的な接続は、例えば、無線波の送受信範囲（line sight）、距離、又は他の要因によって影響を受ける可能性がある、間欠的な無線接続の場合もある。この種の接続の場合、第１無人航空機が無線接続を失う可能性がある。この場合、別の無人航空機が、第１無人航空機に対して移動又は位置調整することにより、サーバコンピュータ１０４に対するブリッジ接続を提供することができる。

図示の例では、サーバコンピュータ１０４及びサーバコンピュータ１０６が、記憶ユニット１０８と共に、ネットワーク１０２に接続する。さらに、クライアント装置１１０も、ネットワーク１０２に接続する。図示のように、クライアント装置１１０は、無人航空機１１２、無人航空機１１４、及び、無人航空機１１６を含む。図示のように、無人航空機１１２及び無人航空機１１４は、固定翼機である。図示のように、無人航空機１１６は、クアッドコプターである。クライアント装置１１０は、例えば、コンピュータ、ワークステーション、又は、ネットワークコンピュータの場合がある。図示の例では、サーバコンピュータ１０４が、ブートファイル、オペレーティングシステムイメージ、及び、アプリケーションなどの情報を、クライアント装置１１０に提供する。また、クライアント装置１１０は、携帯電話１１８、タブレットコンピュータ１２０、及び、スマートグラス１２２などの、他の種類のクライアント装置も、含む場合がある。この例示的な実施例において、サーバコンピュータ１０４、サーバコンピュータ１０６、記憶ユニット１０８、及び、クライアント装置１１０は、ネットワーク１０２に接続するネットワーク装置であり、ネットワーク１０２は、これらのネットワーク装置の通信媒体である。クライアント装置１１０のいくつか又はすべては、例えば、モノのインターネット（ＩｏＴ）を形成し、これらの物理的な装置がネットワーク１０２に接続して、ネットワーク１０２を介して情報交換することができる。

クライアント装置１１０は、本実施例において、サーバコンピュータ１０４のクライアントである。ネットワークデータ処理システム１００は、図示しない追加のサーバコンピュータ、クライアントコンピュータ、及び他の装置を含んでもよい。クライアント装置１１０は、有線接続又は無線接続のうちの少なくとも１つを用いて、ネットワーク１０２に接続する。

ネットワークデータ処理システム１００にあるプログラムコードは、コンピュータ記録可能な記憶媒体に格納して、データ処理システム又は他の装置にダウンロードして使用することができる。例えば、プログラムコードは、サーバコンピュータ１０４上のコンピュータ記録可能記憶媒体に格納し、ネットワーク１０２を介してクライアント装置１１０にダウンロードして、クライアント装置１１０で使用することができる。いくつかの実施態様において、プロセッサが、プログラムコードを取得し、命令を実行することにより、記述されている特定の操作を開始、実行、又は制御する。

図示の例において、ネットワークデータ処理システム１００は、インターネットであり、ネットワーク１０２は、トランスミッション・コントロール・プロトコル／インターネット・プロトコル（ＴＣＰ／ＩＰ）をプロトコルスイートとして用いて互いに通信する世界中のネットワーク及びゲートウェイの集まりである。インターネットの中核には、データ及びメッセージを送信する何千もの商業系、政府系、教育系、その他のコンピュータシステムで構成される主要なノード又はホストコンピュータ間の高速データ通信回線というバックボーンがある。もちろん、ネットワークデータ処理システム１００は、所定数の異なる種類のネットワークを用いて実施することもできる。例えば、ネットワーク１０２は、インターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、又は、ワイドエリアネットワーク（ＷＡＮ）のうちの少なくとも１つによって構成することができる。別の例として、ネットワーク１０２は、メッシュネットワーク又はアドホック・ポイントツーポイント・モバイルエッジネットワークであってもよい。図１は、例示を意図したものであり、異なる例示的な実施形態に対する構造的な限定を意図したものではない。

本明細書において、「所定数の」という言葉がアイテムに言及して用いられる場合は、１つ以上のアイテムを意味する。例えば、「所定数の異なる種類のネットワーク」は、１つ以上の異なる種類のネットワークである。

例示的な実施例において、人間のオペレータ１２４は、スマートグラス１２２を用いて、航空機１２６の形態である物理的対象物を見る。この例示的な実施例において、人間のオペレータ１２４は、スマートグラス１２２を用いて、航空機１２６のライブビューを見る。このライブビューに、スマートグラス１２２を用いて見ているライブビュー上に表示される情報１４２が重ねられて、航空機１２６の拡張現実ビューを形成することができる。

この例示的な実施例において、スマートグラス１２２は、サーバコンピュータ１０４にあるビジュアライザー１２８と通信している。ビジュアライザー１２８は、参照モデル１３２から情報１４２を提供し、この情報が、スマートグラス１２２を通して見られる航空機１２６のライブビューに重ねられて表示される。スマートグラス１２２は、拡張モデル１３０を用いて、航空機１２６に対する自身の位置を推定する。

この例示的な実施例において、拡張モデル１３０は、航空機１２６の三次元モデル又はマップである。他の実施例において、モデル又はマップは、異なる物理的対象物のものである。無人航空機１１２は、航空機１２６に対して飛行しつつ、航空機１２６の画像１３４を形成する。無人航空機１１２は、画像１３４をビジュアライザー１２８に送信する。無人航空機１１４も、航空機１２６の画像１３６を形成してビジュアライザー１２８に送信する。無人航空機１１６も、航空機１２６の画像１３８を形成してビジュアライザー１２８に送信する。

ビジュアライザー１２８は、無人航空機からのこれらの画像を用いて、航空機１２６のモデルを生成する。モデルは、航空機１２６の外面の三次元モデルであり、画像からモデルを生成する現在利用可能な技術を用いて、生成することができる。これらの技術は、複数の画像から三次元再構成を行うことにより、航空機１２６の三次元モデルを作成する。このようにして、これらの画像を用いて、航空機１２６をマッピングすることができる。

例示的な実施例において、航空機１２６の領域１４４が、画像１３４、画像１３６、又は、画像１３８において、見えない場合がある。この結果、航空機１２６のモデルは、領域１４４に対応する穴又は欠落部分を有することになる。この他の場合においては、領域１４４は、画像に含まれているかもしれない。

この例において、人間のオペレータ１２４は、画像１３４、画像１３６、及び、画像１３８によって提供できるものよりも、もっと詳細な航空機１２６の領域１４４のモデルを必要とするかもしれない。換言すれば、画像から生成されるモデルに領域１４４が存在するものの、領域１４４のディテールが欠落している場合や、所望レベルのディテールを備えていない場合がある。この結果、領域１４４に表示される情報１４２が、所望の精度を有しない場合がある。

この場合、無人航空機のうちの１つ以上を用いて、当該領域のより詳細なモデルを生成することができる。例えば、無人航空機１１２が、さらに、スキャンデータ１４０を生成して、スキャンデータ１４０をビジュアライザー１２８に送信することができる。

この図示例では、スキャンデータ１４０を用いて、航空機１２６の領域１４４のポイントクラウドを生成する。次に、このポイントクラウドを用いて、航空機１２６のモデル内の領域１４４を修正して、拡張モデル１３０を形成することができる。拡張モデル１３０は、航空機１２６の領域１４４を含み、当該領域には、拡張モデル１３０内の航空機１２６の他の領域に比べて、より精細なディテールが存在する。

この例示的な実施例において、無人航空機１１２、無人航空機１１４、及び、無人航空機１１６は、拡張モデル１３０を生成するために用いられる二種類のデータ、すなわち、画像データ及びスキャンデータを提供する。拡張モデル１３０を用いて、スマートグラス１２２の位置推定をすることができる。位置推定は、位置推定とマッピングの同時実行（ＳＬＡＭ：simultaneous localization and mapping）プロセスを用いて行うことができる。

無人航空機を用いることによって、モデルを作成するための時間や労力は、スマートグラス１２２の操作や、画像、スキャンデータ、又はこれらの組み合わせの生成に費やされることとなる。人間のオペレータ１２４は、航空機１２６に関するタスクやその他の操作を行うことに集中することができる。

オペレータ１２４によって費やされる時間及び労力の節減は、例示的な実施例では、無人航空機１１２、無人航空機１１４、又は無人航空機１１６のうちの少なくとも１つを用いることによって、達成することができる。これらの無人航空機が、拡張モデル１３０を生成するためにビジュアライザー１２８によって処理される画像１３４、画像１３６、画像１３８、及びスキャンデータ１４０を提供することができる。

無人航空機によって行われるこれらの作業は、人間のオペレータ１２４が航空機１２６を見る前に、行うことができる。換言すれば、人間のオペレータ１２４は、無人航空機が必要なデータを事前に提供する際に、拡張モデル１３０を作成するためのデータ生成のための作業を行う必要は無い。無人航空機は、人間のオペレータ１２４が航空機１２６を見ている間に、画像１３４、画像１３６、画像１３８及びスキャンデータ１４０を生成することもできる。

リアルタイム又は事前に取得された追加の画像及びスキャンデータを用いて、拡張モデル１３０の精度の向上、又は、領域１４４に加えて他の領域のディテールの向上又は粒度の向上のうちの少なくとも１つを実現することができる。

例えば、これらの無人航空機を使用することにより、航空機１２６のために生成されるデータ量を、拡張モデル１３０内の情報の粒度を高めるような方法で、増やすことができる。この例示的な実施例では、無人航空機１１２、１１４、又は、１１６のうちの１つが、様々な視点から画像を撮影して、拡張モデル１３０を作成するために用いられる画像に追加したり、画像を改善したりすることができる。例えば、無人航空機１１２は、画像及びスキャンデータ１４０から、アンカーを生成することができる。アンカーは、本明細書では、参照モデル１３２を航空機１２６に位置合わせするために用いられる、航空機１２６及び参照モデル１３２にある共通の特徴を表す。無人航空機１１２は、航空機１２６から離れて十分な距離を取り、アンカーを配置すべき共通の特徴を、１つの基準系において捕捉することができる。従って、航空機１２６にモデルを位置合わせするために必要なアンカーの数を、低減することができる。換言すれば、拡張モデル１３０を、より正確に航空機１２６と位置合わせすることができる。無人航空機は、画像及びスキャンデータ１４０から、アンカーを生成することができる。

また、拡張モデル１３０を用いて航空機１２６上の特徴を位置特定する際の精度も、無人航空機の使用によって、向上する。無人航空機は、様々な視点又は位置から、画像及びスキャンデータを生成する。航空機１２６の窓などの航空機１２６の特徴は、画像１３４、画像１３６、画像１３８、又はスキャンデータ１４０のうちの少なくとも１つにおいて捉えることができる。これらの様々な視点によって、窓に関する参照モデル１３２からの情報を表示する際に、窓の位置特定の精度を向上させることができる。

例えば、無人航空機の様々な位置からのこれらの画像及びスキャンデータを用いて、三角測量を行うことができる。例えば、ビジュアライザー１２８によって、コンピュータビジョン三角測量を使用することができる。コンピュータビジョン三角測量は、三次元空間のポイントを、当該ポイントの２つ以上の画像への投影により決定するプロセスである。例示的な実施例では、より多くの画像が存在し、様々な視点が存在するほど、航空機１２６上の特定箇所の精度を向上させることができる。別の例として、実体写真測量を用いて、航空機１２６などの対象物上のポイントの三次元ポートレートを求めることができる。この技術は、無人航空機によって様々な位置から撮影された画像１３４、画像１３６、及び、画像１３８を用いて行うことができる。

スマートグラス１２２を用いている人間のオペレータ１２４が航空機１２６に近付くと、スマートグラス１２２を介してアンカーが人間のオペレータ１２４に見えるようになっている。人間のオペレータ１２４の位置は、スマートグラス１２２を通して見る拡張モデル１３０及びアンカーによって、特定することができる。人間のオペレータ１２４が航空機１２６に近付くにつれて、拡張モデル１３０又は参照モデル１３２内にアンカーを含まない航空機１２６の他の箇所が、スマートグラス１２０を通して人間のオペレータ１２４に見える。参照モデル１３２からの情報を表示する際の精度は、人間のオペレータ１２４がスマートグラス１２２を用いて最初に目にするアンカーを皮切りに特定される参照箇所によって、維持することができる。これらの参照箇所は、例えば、航空機１２６にある特徴又は要素である。

この種のモデル生成では、物理的対象物のモデルを作成するのに必要な時間及び労力が低減される。この種のモデル作成は、航空機１２６、建物、フィールド、街区、ダムなどの大型の対象物、あるいは、物理的対象物の拡張現実ビューの情報を表示するためのモデルの作成に多くの時間とプロセッサリソースを費やす可能性のあるその他の種類の物理的対象物に、特に有用である。

また、物理的対象物の画像と、物理的対象物の１つ以上の領域のスキャンデータとを処理することによって、データ処理に必要なコンピューティングリソースの量を、低減することできる。例えば、ポイントクラウドは、物理的対象物の全体ではなく、物理的対象物の領域のみに使用されるため、スキャンデータからポイントクラウドを生成して、ポイントクラウドから物理的対象物のモデルを作成するためのプロセッサリソースの使用量は、低減される。別の例として、拡張モデルのサイズは、全体がスキャンデータを用いて生成されるモデルよりも小さいので、使用されるリソースを減らすことができる。

図２を参照すると、例示的な実施形態による、拡張現実環境のブロック図が示されている。この例示的な実施例では、視覚化環境２００は、図１のネットワークデータ処理システム１００に示したハードウェアなどのハードウェアで実現可能なコンポーネントを含む。

視覚化環境２００は、ポータブル演算装置２０８を用いる人間のオペレータ２０６によって、物理的対象物２０４の情報２０２を視覚化することができる環境である。この例示的な実施例では、物理的対象物２０４は、飛行機、建物、橋、ダム、ビークル、フィールド、湖、山、エンジン、胴体部、滑走路、及びその他の種類の対象物を含むグループから選択される。この例示的な実施例において、情報２０２は、タスク情報、アセンブリ、ビデオ、不適合箇所の示唆、作業指示、アセンブリの分解図、概略図、又は、物理的対象物２０４のその他の情報のうちの少なくとも１つから選択される。

ポータブル演算装置２０８は、所定数の異なる形態を取ることができる。例えば、ポータブル演算装置２０８は、スマートグラス、携帯電話、タブレットコンピュータ、拡張現実コンタクトレンズ、バーチャル網膜ディスプレイ、ヘッドマウントディスプレイ、及び、物理的対象物２０４の拡張現実ビューを提供するのに適した他の種類の装置を含むグループから選択することができる。

タスク２１４を行う際に人間のオペレータ２０６を補助すべく、グラフィカルユーザーインターフェイス２１０における物理的対象物２０４のライブビュー２１２に表示された情報２０２を、人間のオペレータ２０６が見ることができる。この例示的な実施例において、タスク２１４は、設計タスク、製造タスク、検査タスク、保守タスク、試験タスク、物理的対象物２０４を用いるタスク、及び、物理的対象物２０４に対するタスクの実行を補助するために、物理的対象物２０４のライブビュー２１２が情報２０２で拡張される他の適当なタスクを含むグループから選択される。

この例示的な実施例において、拡張現実システム２１６は、所定数の様々なコンポーネントを含む。図示のように、拡張現実システム２１６は、コンピュータシステム２１８、一群の無人ビークル２２０、及び、ポータブル演算装置２０８を含む。

本明細書において、「一群の」という言葉がアイテムに言及して用いられる場合は、１つ以上のアイテムを意味する。例えば、「一群の無人ビークル２２０」とは、１つ以上の無人ビークル２２０である。

コンピュータシステム２１８は、物理的なハードウェアシステムであり、１つ以上のデータ処理システムを含む。コンピュータシステム２１８に２つ以上のデータ処理システムがある場合、これらのデータ処理システムは、通信媒体を用いて、互いに通信する。通信媒体は、例えば、ネットワークである。データ処理システムは、コンピュータ、サーバコンピュータ、タブレットコンピュータ、又は他の適当なデータ処理システムのうちの少なくとも１つから選択することができる。

この例示的な実施例において、一群の無人ビークル２２０は、所定数の様々な形態を取ることができる。例えば、一群の無人ビークル２２０は、無人航空機、ドローン、無人地上ビークル、又は、無人ウォータービークルのうちの少なくとも１つから選択することができる。一群の無人ビークル２２０は、物理的対象物２０４に対して移動するように動作することができる。

一群の無人ビークル２２０は、物理的対象物２０４の画像２２２を生成するとともに、物理的対象物２０４の領域２２６の空間内での点を記述するスキャンデータ２２４を生成する。この例示的な実施例において、一群の無人ビークル２２０は、一群の無人ビークル２２０のうちの所定数の無人ビークル２２０に物理的対象物２０４をスキャンさせることによって、スキャンデータ２２４を生成することができる。換言すれば、一群の無人ビークル２２０のうちのすべて又は一部が、スキャンデータ２２４を生成することができる。

例示的な実施例では、一群の無人ビークル２２０は、人間のオペレータ２０６がポータブル演算装置２０８を通して物理的対象物２０４のライブビュー２１２を見ている間、画像２２２及びスキャンデータ２２４を生成するように動作する。例えば、人間のオペレータ２０６が物理的対象物２０４のライブビュー２１２を見る前に、無人ビークル２２０が、画像２２２及びスキャンデータ２２４を生成することもできる。この例では、人間のオペレータ２０６が物理的対象物２０４を見ている間、無人ビークル２２０は、画像２２２及びスキャンデータ２２４の生成を継続することができる。他の例として、人間のオペレータ２０６がポータブル演算装置２０８を通して物理的対象物２０４のライブビュー２１２を見る際に、画像２２２及びスキャンデータ２２４の生成を行うこともできる。

図示のように、コンピュータシステム２１８は、通信リンク２２８を用いて、一群の無人ビークル２２０と通信している。通信リンク２２８は、有線通信リンク又は無線通信リンクのうちの少なくとも１つから選択することができる。有線通信リンクは、例えば、電線、電線ケーブル、同軸ケーブル、光ファイバ、又は、光ケーブルのうちの少なくとも１つを含む。無線通信リンクは、無線周波数信号、光信号、電磁放射、マイクロ波、又は他の適当な媒体のうちの少なくとも１つから選択することができる。

この例示的な実施例では、ビジュアライザー２３０は、コンピュータシステム２１８に設けられている。動作中は、コンピュータシステム２１８内のビジュアライザー２３０が、物理的対象物２０４に対して移動している一群の無人ビークル２２０から、物理的対象物２０４の画像２２２を受信する。

ビジュアライザー２３０は、物理的対象物２０４に対して移動している一群の無人ビークル２２０のうちの所定数の無人ビークル２２０から、物理的対象物２０４の領域２２６のスキャンデータ２２４を受信する。ビジュアライザー２３０は、画像２２２及びスキャンデータ２２４を用いて、物理的対象物２０４の拡張モデル２３２を作成する。

拡張モデル２３２内の物理的対象物２０４の領域２２６は、拡張モデル２３２内の物理的対象物２０４の他の領域２３４よりも、より精細なディテールを有している。例えば、スキャンデータ２２４は、画像２２２と比べて、より高解像度の領域２２６を提供することができる。別の例として、スキャンデータ２２４は、物理的対象物２０４の拡張モデル２３２の領域２２６の規則性（regularity）を向上させることもできる。レーザスキャナなどの三次元スキャナは、物理的対象物２０４に能動的に放射を方向付ける。放射エネルギーによる反応は、カメラなどの受動的なセンサシステムの場合と比べて、明るさの向上、影の減少、及び、規則性の向上に伴うその他の効果を与えることができる。三次元スキャナは、他の種類の放射を用いて、電気、光学、赤外線、光スペクトルの他の部分、電磁スペクトル、音響スペクトル、又は、その他の種類のスキャン放射などのスキャンを行うこともできる。さらに別の例として、三次元スキャナは、干渉スキャン（interference scan）を用いる圧力センサ装置を含むことができる。

三次元スキャナを用いて行うことができる様々な種類のスキャンによって、不透明度、反射性、硬度、色、色相などの特徴、又はその他の特徴を、カメラによる画像を用いる場合と比べて、より容易且つ正確に判定することができる。これらの特徴を用いて、物理的対象物２０４を評価することができる。例えば、物理的対象物２０４の健全性、残りの寿命、使用適性、又はその他の特徴を、判定することができる。例示的な実施例では、使用するセンサの種類によって、様々な種類の不適合箇所を特定することができる。例えば、カメラによって検出される光を用いて、物理的対象物２０４の構造内の不適合箇所を特定することができる。これらの不適合箇所は、カメラによって検出された画像から生成された拡張モデル２３２内の構造を、コンピュータ支援設計モデルや、以前に生成された物理的対象物２０４の拡張モデルなどの参照モデル２０２と比較することによって、特定することができる。超音波センサを用いて、物理的対象物２０４における複合構造体内の空隙を特定することもできる。さらに別の例として、磁気センサを用いて、物理的対象物２０４の金属構造体内の欠陥を特定することができる。

これらの特徴を、ビジュアライザー２３０で利用することによって、不適合箇所などの性質を分類することができる。これらの不適合箇所は、例えば、傷、へこみ、亀裂、塗料の欠落、ファスナの欠落、又は他の種類の不適合箇所のうちの少なくとも１つを含む。

ポータブル演算装置２０８は、拡張モデル２３２を用いて物理的対象物２０４に対する位置推定をすると共に、ポータブル演算装置２０８を通して見る物理的対象物２０４のライブビュー２１２に情報２０２を表示する。

この例示的な実施例では、情報２０２は、物理的対象物２０４の拡張モデル２３２を用いて特定される。例えば、情報２０２は、参照モデル２３６において見出しうる。参照モデル２３６は、物理的対象物２０４のモデルである。拡張モデル２３２と参照モデル２３６との対応位置を、画像レジストレーションによって、同じ座標系を有するように関連付けることができる。物理的対象物２０４に対するポータブル演算装置２０８の位置推定も、同じ座標系を用いることができる。

参照モデル２３６は、所定数の様々な形態を取ることができる。例えば、参照モデル２３６は、物理的対象物２０４のコンピュータ支援設計モデルの場合がある。別の例において、参照モデル２３６は、以前に画像２２２及びスキャンデータ２２４から作成された物理的対象物２０４のモデルの場合がある。例えば、参照モデル２３６は、前の製造状態における物理的対象物２０４のモデルの場合がある。別の例において、参照モデル２３６は、以前に生成された物理的対象物２０４のモデルの場合がある。この種の参照モデル２３６を、拡張モデル２３２との比較に用いることにより、変化が起こったかどうかを判定することができる。これらの変化は、例えば、不適合箇所、形状の変化、又はその他の種類の変化である。

この例示的な実施例では、コンピュータシステム２１８のビジュアライザー２３０が、一群の無人ビークル２２０を制御することにより、物理的対象物２０４に対して移動させるとともに、物理的対象物２０４の画像２２２、及び、物理的対象物２０４の領域２２６の空間内での点を記述するスキャンデータ２２４を生成させる。

他の例示的な実施例において、一群の無人ビークル２２０は、コンピュータシステム２１８のビジュアライザー２３０からの入力を用いずに、自律的に動作することができる。例えば、一群の無人ビークル２２０の各々は、画像２２２及びスキャンデータ２２４を生成する対象として物理的対象物２０４を特定するプログラムコードを含んでいてもよい。

例示的な一実施例において、ポータブル演算装置２０８を用いる人間のオペレータ２０６も、拡張モデル２３２を生成するためのデータを提供することができる。例えば、ポータブル演算装置２０８は、追加画像２３８又は追加スキャンデータ２４０のうちの少なくとも１つを生成することができる。ポータブル演算装置２０８は、通信リンク２４２を用いて、コンピュータシステム２１８と通信する。通信リンク２４２は、無線周波数信号、光信号、電磁放射、マイクロ波、又は他の適当な媒体のうちの少なくとも１つから選択することができる。

ポータブル演算装置２０８は、追加画像２３８又は追加スキャンデータ２４０のうちの少なくとも１つを、コンピュータシステム２１８内のビジュアライザー２３０に送信することができる。物理的対象物２０４の拡張モデル２３２を作成する際に、ビジュアライザー２３０は、画像２２２、追加画像２３８、スキャンデータ２２４、及び、追加スキャンデータ２４０を用いて、物理的対象物２０４の拡張モデル２３２を作成することができる。

ビジュアライザー２３０は、ソフトウェア、ハードウェア、ファームウェア、又はこれらの組み合わせで実現することができる。ソフトウェアを用いる場合、ビジュアライザー２３０によって実行される動作は、プロセッサユニットなどの、ハードウェア上で実行されるように構成されたプログラムコードで実現可能である。ファームウェアを用いる場合、ビジュアライザー２３０によって実行される動作は、プロセッサユニットで実行可能な、永続性メモリに保存されたプログラムコード及びデータで実現可能である。ハードウェアを用いる場合、ハードウェアは、例えば、ビジュアライザー２３０の動作を実行するように機能する回路を含む。

例示的な実施例において、ハードウェアは、回路システム、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス、又は、所定数の動作を実行するよう構成された他の適当な種類の他のハードウェアのうちの少なくとも１つから選択された形態を取ることができる。プログラマブルロジックデバイスの場合、当該デバイスは、所定数の操作を行うように構成することができる。当該デバイスは、所定数の操作を行うように、後ほど再構成してもよいし、永久的に構成してもよい。プログラマブルロジックデバイスとしては、例えば、プログラマブルロジックアレイ、プログラマブルアレイロジック、フィールドプログラマブルロジックアレイ、フィールドプログラマブルゲートアレイ、及び、その他の適当なハードウェア装置がある。加えて、無機コンポーネントを組み込んだ有機コンポーネントを用いて処理を実現してもよいし、人を除く有機コンポーネントのみを用いて処理を構成してもよい。例えば、これらの処理は、有機半導体の回路により実現することができる。

例示的な一実施例では、物理的対象物のライブビューを拡張するための情報の表示に関する技術的問題を、物理的対象物のポイントクラウドを生成する現在用いられている技術と比べて、処理リソースの使用量を低減するような方法で克服する、１つ以上の技術的解決策が提供される。

この結果、１つ以上の技術的解決策は、二種類のデータを用いることで、物理的対象物のモデルを作成するために使用される処理リソースの量を低減するという技術的効果をもたらす。例示的な実施例では、画像及びスキャンデータが使用され、これにより、ポイントクラウドのみを用いる現在の技術と比べて、処理リソースの使用量が低減する。

民間航空機、ダム、及び、クルーズ船などの大型の物理的対象物に関しては、現在用いられている三次元スキャナの範囲では、距離が増すほど、これらの種類の物理的対象物の三次元モデルを取得することがより困難になる可能性がある。さらに、距離が増すにつれて、スキャンに存在するステレオ視に際しての２つの視点の離間（stereoscopic separation）が（相対的に）減少し、所望の離間が実現できない場合がある。従って、無人ビークルを用いて二種類のデータ、すなわち画像とスキャンデータを生成することは、複数の技術的効果をもたらす。例えば、１つ以上の領域について、より精細なディテールを見るためのズーム機能が存在する。さらに、無人ビークルを用いることにより、これらのビークルを、より大きい離間距離を取る位置に移動させることができる。

コンピュータシステム２１８は、ソフトウェア、ハードウェア、ファームウェア、又はこれらの組み合わせを用いて、様々な例示的な実施例に記載のステップ、操作、又はアクションのうちの少なくとも１つを実行するように構成することができる。従って、コンピュータシステム２１８は、特定用途のコンピュータシステムとして動作し、コンピュータシステム２１８内のビジュアライザー２３０により、現在のプロセスと比べて処理リソースの使用量が少ない、二種類のデータを用いた拡張モデル２３２の生成が可能になる。特に、ビジュアライザー２３０により、コンピュータシステム２１８は、ビジュアライザー２３０を有しない現在利用可能な一般的なコンピュータシステムとは異なる特定用途のコンピュータシステムに、改変される。

図３を参照すると、例示的な実施形態による、拡張モデルの作成を表すブロック図が示されている。例示的な実施例において、２つ以上の図で同じ参照数字を用いる場合がある。このように、異なる図面において同じ参照数字を重複して使用する場合、これらが同じ要素であることを表す。

この例示的な実施例において、ビジュアライザー２３０は、一群の無人ビークル２２０から受信した画像２２２、及び、所定数の無人ビークル２２０から受信したスキャンデータ２２４を用いて、拡張モデル２３２を作成する。

物理的対象物２０４の拡張モデル２３２を作成する際には、ビジュアライザー２３０は、画像２２２を用いて、物理的対象物２０４のモデル３００を作成する。ビジュアライザー２３０は、対象物認識プロセスを用いて、画像２２２内の物理的対象物２０４を特定することができる。ビジュアライザー２３０は、物理的対象物２０４の三次元再構成を採用することができる。

この三次元再構成は、画像２２２において物理的対象物２０４を特定してモデル３００を作成することによって行うことができ、当該モデルは、物理的対象物２０４の三次元モデルである。モデル３００は、例えば、コンピュータ支援設計（ＣＡＤ）モデル、コンピュータ支援エンジニアリング（ＣＡＥ：computer-aided engineering）モデル、又は、その他の適当な種類のモデルである。

この図示例において、画像２２２は、様々な視点からの物理的対象物２０４の画像である。換言すれば、所定数の無人ビークル２２０は、様々な位置から、物理的対象物２０４の画像２２２を生成する。位置とは、三次元空間内の無人ビークルの配置であり、無人ビークルの向きを含む。

スキャンデータ２２４は、所定数の無人ビークル２２０によって、領域２２６について生成される。スキャンデータ２２４は、物理的対象物２０４の領域２２６の空間内での点を記述する。領域２２６は、例えば、画像２２２から欠落している領域や、画像２２２によって提供されるよりも精細なディテールが要求される領域である。

ビジュアライザー２３０は、一群の無人ビークル２２０のうちの所定数の無人ビークル２２０によって生成されるスキャンデータ２２４から、所定数のポイントクラウド３０２も作成する。所定数のポイントクラウド３０２は、領域２２６内の物理的対象物２０４の外面３０４を記述する。ビジュアライザー２３０は、所定数のポイントクラウド３０２を用いて物理的対象物２０４のモデル３００を修正して、拡張モデル２３２を形成する。

例えば、所定数のポイントクラウド３０２は、ポリゴンメッシュモデル、三角形メッシュモデル、非一様有理Ｂスプライン（non-uniform rational basis spline：NURBS）サーフェスモデル、又は、一般的に外面再構成（surface reconstruction）と称される現在使用されているプロセスによるコンピュータ支援モデルに変換することができる。

また、拡張モデル２３２は、ポータブル演算装置２０８から受信したデータを利用して作成することもできる。例えば、ポータブル演算装置２０８から、領域２２６に関する追加のスキャンデータ２４０を受信し、これを用いて、所定数のポイントクラウド３０２におけるポイントクラウド１つを生成することができる。別の例として、ポータブル演算装置２０８から追加画像２３８を受信し、これを用いてモデル３００を生成することもできる。

図４は、例示的な実施形態による、物理的対象物の領域の選択を表すブロック図を示したものである。この例示的な実施例では、コンピュータシステム２１８内のビジュアライザー２３０が、物理的対象物２０４の領域２２６を選択するとともに、一群の無人ビークル２２０のうちの所定数の無人ビークル２２０を制御して、物理的対象物２０４の領域２２６のスキャンデータ２２４を生成させる。

領域２２６は、所定数の様々な方法で選択することができる。例えば、ビジュアライザー２３０は、ポータブル演算装置２０８を用いている人間のオペレータ２０６の注視点（point of gaze）４００に基づいて、物理的対象物２０４の領域２２６を選択することができる。注視点４００は、人間のオペレータ２０６が見ている場所である。この例示的な実施例において、ポータブル演算装置２０８は、人間のオペレータ２０６の注視点４００を判定することができる。物理的対象物２０４上の注視点４００の位置を用いて、物理的対象物２０４の領域２２６を決定することができる。

別の例示的な実施例において、ビジュアライザー２３０は、ポータブル演算装置２０８を用いている人間のオペレータ２０６によって実行されるタスク２１４の位置４０２に基づいて、物理的対象物２０４の領域２２６を選択することができる。この例では、位置４０２は、領域２２６に包含される。

領域２２６が特定されると、ビジュアライザー２３０は、所定数の無人ビークル２２０を制御して、スキャンデータ２２４を生成させることができる。スキャンデータ２２４によって、拡張モデル２３２における物理的対象物２０４の領域は、拡張モデル２３２における物理的対象物２０４の他の領域２３４よりも、より精細なディテールを有することになる。

また、人口知能システム４０４は、領域２２６の特定を補助することができる。例えば、人口知能システム４０４は、人間のオペレータ２０６が見る場所を予測することができる。換言すれば、人口知能システム４０４は、人間のオペレータ２０６の注視点４００を予測して、所定数の無人ビークル２２０を物理的対象物２０４上の予測された領域に誘導することにより、スキャンデータ２２４を生成させるとともに拡張モデル２３２を生成又は更新させることができる。この拡張モデル２３２の生成又は更新は、人間のオペレータ２０６が注視点４００を予測領域に変える前に、行うことができる。

さらに、ポータブル演算装置２０８は、追加スキャンデータ２４０を生成してビジュアライザー２３０に送信することができる。この例示的な実施例において、追加スキャンデータ２４０は、例えば、注視点４００についてのものである。

図２～図４における視覚化環境２００及び視覚化環境２００内の様々なコンポーネントの図示は、例示的な実施形態が実現される態様について物理的または構造的な限定を示唆するものではない。図示されたコンポーネントに加えて、またはこれらのコンポーネントに代えて、他のコンポーネントを用いることもできる。いくつかのコンポーネントが不要とされる場合もある。また、図示したブロックは、いくつかの機能的なコンポーネントを表している。例示的な実施例においてこれらのブロック実施する際は、１つ又は複数を組み合わせたり、分割したり、組み合わせてから異なるブロックに分割したりすることができる。

例えば、１つ以上のポータブル演算装置、及び、１つ以上のポータブル演算装置を用いる一人以上の人間のオペレータが、ポータブル演算装置２０８に加えて又は代えて、視覚化環境内に存在してもよい。別の例として、例示的な実施例では、拡張モデル２３２を拡張現実システム２１６に用いるものとして示しているが、拡張モデル２３２は、仮想現実システムなどの他の複合現実システムに使用することもできる。仮想現実システムでは、拡張モデル２３２は、物理的対象物２０４に対してアクションを行うためのトレーニングに用いることができる。例えば、人間のオペレータ２０６が、物理的対象物２０４の拡張モデル２３２を見て、物理的対象物２０４に対するタスク２１４を行うためのトレーニングをすることができる。別の例として、領域２２６に加えて又は代えて、１つ以上の領域をスキャンすることにより、これらの１つ以上の領域のスキャンデータを作成することができる。

例えば、拡張モデル２３２を作成することに代えて、スキャンデータ２２４を用いて、参照モデル２３６を更新することができる。このようにして、経時的に発生した物理的対象物２０４の変化を反映するように、参照モデル２３６を更新することができる。

本実施例では、物理的対象物２０４の領域２２６をスキャンして、参照モデル２３６内の対応する領域を更新することができる。参照モデル２３６の更新により、経時的に発生する物理的対象物２０４の変化に対応することができる。また、スキャンデータ２２４を用いて、参照モデル２３６内の領域２２６のディテールを増やして、参照モデル２３６内の物理的対象物２０４の経時的変化を、ディテールのレベルを変えずに、より正確に反映することもできる。

例示的な一実施例において、物理的対象物２０４内の構造物が、経時的に、再形成、変形、又はその他の変化を受ける場合がある。変化してしまった構造物について更新する場合には、変化してしまった構造物の今現在の構成を用いて、構造物の更新内容を特定し、又は作り上げる。この変化が反映されていない参照モデル２３６は、構造物の更新に用いることができない。この場合、当該構造物が位置している物理的対象物２０４内の領域２２６をスキャンすることにより、物理的対象物２０４の参照モデル２３６における物理的対象物２０４の領域２２６のスキャンデータ２２４を生成することができる。

別の例として、画像２２２及びスキャンデータ２２４の拡張モデル２３２を用いて、参照モデル２３６を作成することができる。この種のプロセスは、例えば、参照モデル２３６が以前に存在しない場合に、有用である。

別の例示的な実施例において、物理的対象物の種類は既知であるものの、使用すべき参照モデルのより詳細な特定ができない場合がある。例えば、航空機の場合、ある種類の航空機に対していくつかの参照モデルが存在するが、その航空機の個別のモデル又は識別番号がわからない場合がある。拡張モデル２３２を用いることにより、使用すべき個別の参照モデルを特定することができる。場合によっては、物理的対象物を特定する際の信頼度の程度は、１００パーセント未満である。この場合、参照モデルのサブセットを特定して使用することができる。

次に図５を参照すると、同図には、例示的な実施形態による視覚化環境の図による表現が示されている。この例示的な実施例において、視覚化環境は、図２における視覚化環境２００の実施態様の一例である。

この例示的な実施例において、視覚化環境は、胴体セクション５０２を含む。製造におけるこの時点の段階で、人間のオペレータ５０４が、胴体セクション５０２の検査を行っている。図示のように、人間のオペレータ５０４は、スマートグラス５０６を着用しており、スマートグラスは、ポータブル演算装置の一種である。さらに、無人航空機５０８及び無人航空機５１０が含まれており、これらは、図示の例では、クアッドコプターである。

無人航空機５０８及び無人航空機５１０は、胴体セクション５０２の画像を生成する。さらに、無人航空機５０８及び無人航空機５１０は、胴体セクション５０２の１つ以上の領域をスキャンしてスキャンデータを得ることができる。例えば、無人航空機５０８は、胴体セクション５０２における、亀裂という形の不適合箇所５２２を含む領域５２０をスキャンすることができる。

無人航空機５０８及び無人航空機５１０によって生成された画像及びスキャンデータは、無線通信リンク５１４及び無線通信リンク５１６を介して、サーバコンピュータ５００に送信される。

サーバコンピュータ５１２は、無人航空機５０８及び無人航空機５１０から受信した画像及びスキャンデータを用いて、拡張モデルを生成する。領域５２０のスキャンデータにより、不適合箇所５１２を含む領域５２０を、より高い解像度で視覚化することができる。

拡張モデルの少なくとも一部は、無線通信リンク５１８を介して、スマートグラス５０６に送信される。スマートグラス５０６に送信される拡張モデルの一部は、スマートグラス５０６によって与えられ、表示されて人間のオペレータ５０４用の領域５２０のライブビューを拡張する情報である。

図６を参照すると、同図には例示的な実施形態によるグラフィカルユーザーインターフェイスの図による表現が示されている。この例示的な実施例において、グラフィカルユーザーインターフェイス６００は、図５に示した人間のオペレータ５０４のスマートグラス５０６に表示される。

この例示的な実施例において、グラフィカルユーザーインターフェイス６００は、拡張モデルからの情報６０４がライブビュー６０２を拡張している状態の、胴体セクション５０２のライブビュー６０２を含む。情報６０４は、拡張現実情報と称することもできる。この例示的な実施例において、情報６０４は、胴体セクション５０２のライブビュー６０２内で不適合箇所５１２を特定するグラフィカルインジケータ６１０を含む。グラフィカルインジケータ６１０は、胴体セクション５０２のライブビュー６０２内のこの不適合箇所に、人間のオペレータ５０４の注意を引き付ける。さらに、グラフィカルインジケータ６１２は、不適合箇所５１２を強調する。グラフィカルインジケータ６１２は、画像に加えてスキャンデータを利用した、不適合箇所５１２のより正確に表示されたライブビュー６０２である。また、情報６０４は、ライブビュー６０２に表示された作業指示６１４も含み、これは、不適合箇所５２２に関して行うべき操作を特定するものである。

次に、図７を参照すると、同図には、例示的な実施形態による、物理的対象物のライブビュー上に情報を視覚化するプロセスのフローチャートが示されている。図７のプロセスは、ハードウェア、ソフトウェア、又はこれらの両方により、実現することができる。ソフトウェアによって実現する場合、当該プロセスは、１つ以上のコンピュータシステムの１つ以上のハードウェア装置にある１つ以上のプロセッサユニットによって実行されるプログラムコードの形態を取ることができる。例えば、当該プロセスは、図２に示したコンピュータシステム２１８内のビジュアライザー２３０で、実現することができる。

当該プロセスは、物理的対象物に対して移動している一群の無人ビークルから、物理的対象物の画像を受信すること（動作７００）によって開始する。動作７００において、画像は、無人ビークルとの通信リンクを介して、受信される。

当該プロセスでは、物理的対象物の領域のスキャンデータを受信する（動作７０２）。スキャンデータは、一群の無人ビークルのうちの所定数の無人ビークルから、所定数の通信リンクを介して受信される。

当該プロセスでは、画像及びスキャンデータを用いて、物理的対象物の拡張モデルを作成する（動作７０４）。拡張モデルにおける当該領域は、拡張モデルにおける物理的対象物の他の領域よりも、より精細なディテールを有する。より精細なディテールとは、例えば、より高い解像度であり、物理的対象物の当該領域のライブビューに情報を配置する際に、より高い精度で役立つ。

当該プロセスでは、拡張モデルの少なくとも一部を、ポータブル演算装置に送信する（動作７０６）。ポータブル演算装置は、拡張モデルの当該少なくとも一部を用いて、物理的対象物に対して位置推定する。

当該プロセスでは、ポータブル演算装置によって表示可能な情報を送信し、ポータブル演算装置は、ポータブル演算装置を通して見る物理的対象物のライブビューに、当該情報を表示する（動作７０８）。その後、当該プロセスは終了する。

動作７０８において、物理的対象物の拡張モデルを用いて、情報が特定される。例えば、物理的対象物のライブビューに見える物理的対象物において位置を特定することにより、この位置を拡張モデルにおいて特定することができ、これを用いて、当該情報を含む物理的対象物の参照モデルにおける、対応位置を特定することができる。例えば、特徴抽出及びセマンティックシーンセグメンテーション（semantic scene segmentation）を、電気光学（ＥＯ）画像又は赤外線（ＩＲ）画像上で、行うことができる。画像分類及び対象物認識を用いることにより、取得画像によって、スキャン情報を参照モデルに位置合わせすることができる。

状況によっては、ハードな（不動の）中間点（waypoint）又はソフトな（概ね固定された）中間点を特徴づける、他の位置特徴又は位置シグネチャが存在する。これらの位置シグネチャは、全地球測位システム及び取得された方位（acquisition orientation）によって決定される物理的位置などである。あるいは、二次元バーコード又は三次元バーコードのうちの少なくとも１つを用いて、自動特定を行うことができる。自動特定は、無線周波数識別子、既知のロゴ、あるいは、航空機に搭載された、所定の構成の既知の識別プレートを用いて行うこともできる。参照モデル内の所望の対応位置についての情報は、参照モデルから取得することができる。

図８を参照すると、同図には、例示的な実施形態による、拡張モデルを作成するための情報を生成するために無人ビークルを制御するプロセスのフローチャートが示されている。図８のプロセスは、ハードウェア、ソフトウェア、又はこれらの両方により、実現することができる。ソフトウェアによって実現する場合、当該プロセスは、１つ以上のコンピュータシステムの１つ以上のハードウェア装置にある１つ以上のプロセッサユニットによって実行されるプログラムコードの形態を取ることができる。例えば、当該プロセスは、図２に示したコンピュータシステム２１８内のビジュアライザー２３０で実現することができる。

情報は、画像又はスキャンデータのうちの少なくとも１つを含む。画像は、物理的対象物のモデルを作成するために用いることができる。スキャンデータは、当該モデルが1つ以上の領域内でより精細なディテールを有するように拡張して、拡張モデルを形成するために用いることができる。

当該プロセスは、一群の無人ビークルを制御して、物理的対象物に対して移動させること（動作８００）によって開始する。当該プロセスでは、一群の無人ビークルを制御して、物理的対象物の画像、及び、物理的対象物の領域の空間内での点を記述するスキャンデータを生成させる（動作８０２）。画像の生成は、無人ビークルが物理的対象物に対して移動している間に行うことができる。また、画像の生成は、無人ビークルのうちの１つ以上が、対象物に対して固定位置にある状態で行うこともできる。換言すれば、画像の生成は、無人ビークルが移動している間、無人ビークルが特定の固定位置にある間、又はこれらの組み合わせにおいて、行うことができる。その後、当該プロセスは終了する。

図９を参照すると、同図には、例示的な実施形態による、物理的対象物の拡張モデルを作成するプロセスのフローチャートが示されている。図９のプロセスは、図７における動作７０４の実施態様の一例である。

当該プロセスは、画像を用いて物理的対象物のモデルを作成すること（動作９００）によって開始する。当該プロセスでは、一群の無人ビークルのうちの所定数の無人ビークルによって生成されたスキャンデータから、所定数のポイントクラウドを作成する（動作９０２）。

当該プロセスは、所定数のポイントクラウドを用いて物理的対象物のモデルを修正することにより、拡張モデルを形成する（動作９０４）。その後、当該プロセスは終了する。動作９０４において、当該プロセスでは、モデルにおける当該領域の部分を、所定数のポイントクラウドを用いて生成した当該領域のモデルと交換することができる。

次に図１０を参照すると、同図には、例示的な実施形態による、物理的対象物のライブビューに情報を視覚化するプロセスのフローチャートが示されている。図１０のプロセスは、ハードウェア、ソフトウェア、又はこれらの両方により、実現することができる。ソフトウェアによって実現する場合、当該プロセスは、１つ以上のコンピュータシステムの１つ以上のハードウェア装置にある１つ以上のプロセッサユニットによって実行されるプログラムコードの形態を取ることができる。例えば、当該プロセスは、図２に示した拡張現実システム２１６内のポータブル演算装置２０８で実現することができる。

当該プロセスは、物理的対象物の拡張モデルを用いて、物理的対象物に対するポータブル演算装置の位置推定をすること（動作１０００）によって開始する。動作１０００における位置推定は、ポータブル演算装置で実行される位置推定とマッピングの同時実行（ＳＬＡＭ）プロセスによって行うことができる。

当該プロセスでは、物理的対象物の拡張モデル及び物理的対象物の参照モデルを用いて位置推定されたポータブル演算装置の表示装置を通して見る物理的対象物のライブビューに、情報を表示する（動作１００２）。動作１００２において、ライブビュー上の物理的対象物の位置を、拡張モデル上の対応する位置と関連付けることができる。ひいては、拡張モデルにおける位置を、物理的対象物の参照モデルと関連付けることができる。情報は、参照モデル内の位置に基づいて、特定することができる。この情報は、物理的対象物のライブビューに表示することができる。これらの関連付けは、現在利用可能な画像レジストレーションプロセスを用いて行うことができる。

動作１００２は、Vuforia and PTC Incorporatedによって開発されたVuforia（登録商標）拡張現実ソフトウェアなどの、現在利用可能な拡張現実アプリケーションを用いて実施することができる。その後、当該プロセスは終了する。

フローチャートやブロック図に示した異なる実施形態は、例示的な実施形態による装置や方法について、可能ないくつかの実施態様の構造、機能、処理を示している。この点に関し、フローチャートやブロック図の各ブロックは、モジュール、セグメント、機能、又は処理や工程の一部のうちの少なくとも１つを表す場合がある。例えば、１つ以上のブロックは、プログラムコード、ハードウェア、又はプログラムコードとハードウェアの組み合わせにより実現可能である。ハードウェアで実現する場合には、そのハードウェアは、例えば、フローチャートやブロック図に示した１つ以上の工程を実行するように製造あるいは構成された集積回路の形態を取ることができる。プログラムコードとハードウェアの組み合わせで実現する場合には、ファームウェアの形態で実現してもよい。フローチャート又はブロック図に示した各ブロックは、様々な処理を実行する特定用途のハードウェアシステム、あるいは、特定用途のハードウェアと、当該特定用途のハードウェアにより実行されるプログラムコードとの組み合わせを用いて、実現可能である。

例示的な実施形態の代替的な実施態様では、ブロックに示した機能を、図に示した順序とは異なる順序で行ってもよい。例えば、場合によっては、関連する機能に応じて、連続するブロックとして示されている２つのブロックを実質的に同時に実行してもよいし、あるいは、これらブロックを逆の順序で実行してもよい。また、フローチャートまたはブロック図に示したブロックに対して、さらに他のブロックを追加してもよい。

さらに、実施例は、一例として、図２のビジュアライザー２３０によって動作が行われるものとして説明されている。他の例示的な実施例において、図４の人口知能システム４０４又は図１のビジュアライザー１２８のうちの少なくとも１つを含む他のコンポーネントによって、これらのプロセスを行うことができる。

次に、図１１を参照すると、同図には、例示的な実施形態による、データ処理システムのブロック図が示されている。データ処理システム１１００を用いて、図１のサーバコンピュータ１０４、サーバコンピュータ１０６、及び、クライアント装置１１０を実現することができる。データ処理システム１１００を用いて、図２のコンピュータシステム２１８及びポータブル演算装置２０８を実現することもできる。この例示的な実施例において、データ処理システム１１００は、通信フレームワーク１１０２を含み、当該通信フレームワークが、プロセッサユニット１１０４、メモリ１１０６、永続ストレージ１１０８、通信ユニット１１１０、入出力（Ｉ／Ｏ）ユニット１１１２、及び、ディスプレイ１１１４間の通信を実現する。この例において、通信フレームワーク１１０２は、バスシステムの形態を取ることができる。

プロセッサユニット１１０４は、メモリ１１０６にロード可能なソフトウェアの命令を実行する。プロセッサユニット１１０４は、１つ以上のプロセッサを含む。例えば、プロセッサユニット１１０４は、マルチコアプロセッサ、中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、物理演算ユニット（ＰＰＵ：physics processing unit）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、又は他の適当な種類のプロセッサのうちの少なくとも１つから選択することができる。

メモリ１１０６および永続ストレージ１１０８は、記憶装置１１１６の例である。記憶装置は、情報を一時的、永続的、又は一時的および永続的の両方で記憶することができる任意のハードウェア要素であり、ここでいう情報は、例えば、限定するものではないが、データ、関数形態のプログラムコード、又はその他の適当な情報のうちの少なくとも１つである。これらの例における記憶装置１１１６は、コンピュータ可読媒体と称される場合もある。これらの例におけるメモリ１１０６は、例えば、ランダムアクセスメモリやその他の適当な揮発性または不揮発性の記憶装置である。永続ストレージ１１０８は、特定の実施態様に応じて、様々な形態をとることができる。

例えば、永続ストレージ１１０８は、１つ以上のコンポーネント又は装置を含む。例えば、永続ストレージ１１０８は、ハードドライブ、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、書換え可能な光ディスク、書換え可能な磁気テープ、又はこれらの組み合わせであってもよい。永続ストレージ１１０８に用いられる媒体は、取り外し可能なものであってもよい。例えば、取り外し可能なハードディスクドライブを、永続ストレージ１１０８に用いることができる。

これらの例示的な実施例において、通信ユニット１１１０は、他のデータ処理システムや装置との通信を行う。これらの例示的な実施例では、通信ユニット１１１０はネットワークインターフェイスカードである。

入出力ユニット１１１２は、データ処理システム１１００に接続される他の装置と協働して、データの入出力を可能にする。例えば、入出力ユニット１１１２は、キーボード、マウス、又はその他の適当な入力装置のうちの少なくとも１つを介したユーザ入力用の接続を可能にする。さらに、入出力ユニット１１１２は、プリンタに出力を送信することができる。ディスプレイ１１１４は、ユーザに情報を表示する機構を提供する。

オペレーティングシステム、アプリケーション、又はプログラムのうちの少なくとも１つに対する命令は、通信フレームワーク１１０２を介してプロセッサユニット１１０４と通信する記憶装置１１１６に、格納しておくことができる。各実施形態の処理は、コンピュータにより実行可能な命令を用いて、プロセッサユニット１１０４により実行することが可能であり、これらの命令は、メモリ１１０６などのメモリに格納可能である。

これらの命令は、プログラムコード、コンピュータ利用可能なプログラムコード、又はコンピュータ可読のプログラムコードと呼ばれ、プロセッサユニット１１０４に含まれるプロセッサにより読み取りおよび実行可能である。各種実施形態におけるプログラムコードは、メモリ１１０６や永続ストレージ１１０８などの各種の物理的媒体又はコンピュータ可読媒体において実現することができる。

プログラムコード１１１８は、選択的に取り外し可能なコンピュータ可読媒体１１２０に関数形態で格納されており、データ処理システム１１００にロード又は転送して、プロセッサユニット１１０４により実行することができる。これらの例示的な実施例では、プログラムコード１１１８及びコンピュータ可読媒体１１２０は、コンピュータプログラム製品１１２２を構成する。例示的な実施例において、コンピュータ可読媒体１１２０は、コンピュータ可読記憶媒体１１２４である。

これらの例示的な実施例において、コンピュータ可読記憶媒体１１２４は、プログラムコード１１１８を記憶するのに用いられる物理的又は有形の記憶装置であって、プログラムコード１１１８を伝播または伝送する媒体ではない。

これに代えて、プログラムコード１１１８は、コンピュータ可読の信号媒体を用いて、データ処理システム１１００に転送することができる。コンピュータ可読信号媒体は、例えば、プログラムコード１１１８を含む搬送データ信号である。例えば、コンピュータ可読信号媒体は、電磁信号、光信号、又は任意の他の適当な種類の信号のうちの少なくとも１つであってもよい。これらの信号は、例えば、有線通信リンク又は無線通信リンクなどの接続を介して、伝送することができる。有線通信リンクは、例えば、光ファイバケーブル、同軸ケーブル、電線、又は任意の他の適当な種類の接続手段を用いた接続を含む。

データ処理システム１１００について図示した様々なコンポーネントは、異なる実施形態を実施しうる態様について何ら構造的な限定を課すものではない。いくつかの例示的な実施例において、コンポーネントのうちの１つ以上が、別のコンポーネントの一部に組み込まれたり、これを構成したりしてもよい。例えば、いくつかの例示的な実施例において、メモリ１１０６又はその一部は、プロセッサユニット１１０４に組み込むことができる。異なる例示的な実施形態は、データ処理システム１１００について示したコンポーネントに加えて、あるいは、これに代えて、他のコンポーネントを含むデータ処理システムによっても実施可能である。図１１に示したその他のコンポーネントは、図示した例示的な実施例から変更することもできる。各種の実施形態は、プログラムコード１１１８を実行可能な任意のハードウェア装置又はシステムにより実施可能である。

図１２を参照すると、同図には、例示的な実施形態による、ポータブル演算装置のブロック図が示されている。ポータブル演算装置１２００は、図２のポータブル演算装置２０８が実現される態様の一例である。この例示的な実施例において、ポータブル演算装置１２００は、プロセッサユニット１２０２、通信フレームワーク１２０４、メモリ１２０６、データストレージ１２０８、通信ユニット１２１０、ディスプレイ１２１２、及び、センサシステム１２１４などの物理的ハードウェアコンポーネントを含む。

通信フレームワーク１２０４は、ポータブル演算装置１２００内の様々なコンポーネントが、通信フレームワーク１２０４に接続された際に互いに通信できるようにする。この例示的な実施例において、通信フレームワーク１２０４は、バスシステムである。

プロセッサユニット１２０２は、メモリ１２０６にロードされたソフトウェアのプログラムコードを処理する。この例示的な実施例において、プログラムコードは、例えば、拡張現実アプリケーション１２０５及び位置推定とマッピングの同時実行（ＳＬＡＭ）プロセス１２０７などのアプリケーションを含む。

拡張現実アプリケーション１２０５は、ポータブル演算装置１２００のディスプレイ１２１２を通して見る物理的対象物のライブビューに情報を表示することにより、拡張現実ビューを提供するように動作することができる。

位置推定とマッピングの同時実行（ＳＬＡＭ：simultaneous localization and mapping）プロセス１２０７は、物理的対象物のマップ又はモデルを作成するように動作することができる。さらに、本プロセスは、物理的対象物に対するポータブル演算装置１２００の位置を推定又は特定するように動作することができる。このプロセスを用いて、物理的対象物のライブビュー対して、どこに情報を表示すべきかを判定することができる。

プロセッサユニット１２０２は、１つ以上のプロセッサを含む。例えば、プロセッサユニット１２０２は、マルチコアプロセッサ、中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、物理演算ユニット（ＰＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、又は他の適当な種類のプロセッサのうちの少なくとも１つから選択することができる。

メモリ１２０６は、通信フレームワーク１２０を介して、プロセッサユニット１２０２に接続される。メモリ１２０６は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、又は他の適当な種類のメモリ装置又は回路のうちの少なくとも１つを含むことができる。

図示のように、データストレージ１２０８は、通信フレームワーク１２０４に接続されており、データ、プログラムコード、又はその他の情報を保存することができる。プログラムコードの命令は、データストレージ１２０８からメモリ１２０６にロードされ、プロセッサユニット１２０２によって処理することができる。データストレージ１２０８は、ハードディスクドライブ、フラッシュドライブ、ソリッドステートディスクドライブ、光学ドライブ、又は他の適当な種類のデータストレージ装置又はシステムのうちの少なくとも１つを含むことができる。

この例示的な実施例において、通信ユニット１２１０は、他のデータ処理システムや装置との通信を行う。これらの例示的な実施例において、通信ユニット１２１０は、ネットワークインターフェイスカード、無線通信装置、ユニバーサルシリアルバスポート、又はその他の適当な装置のうちの少なくとも１つを含む。

ディスプレイ１２１２は、通信フレームワーク１２０４に接続されており、ユーザに情報を表示する機構を提供する。この例において、ディスプレイ１２１２は、タッチスクリーンディスプレイであり、このディスプレイを通じてユーザ入力を受信することができる。

この例示的な実施例において、センサシステム１２１４は、通信フレームワーク１２０４に接続されている。センサシステム１２１４は、センサシステム１２１４内のカメラシステム１２１６及び三次元スキャナ１２１８の動作を制御するハードウェア、ソフトウェア、又はこれらの両方を含むことができる。カメラシステム１２１６は、画像の記録又は撮影を行うことができる１つ以上のカメラを含む物理的なハードウェアである。カメラシステム１２１６は、１つ以上のデジタルカメラであり、ステレオカメラ、ミラーレスカメラ、又はその他の種類の撮像装置を含むことができる。また、カメラは、例えば、電気光学カメラ又は赤外線カメラのうちの少なくとも１つであってもよい。画像は、単品の画像であっても、ビデオ用の画像であってもよい。

三次元スキャナ１２１８は、物理的対象物をスキャンしてスキャンデータを生成することができるハードウェアである。スキャンデータは、物理的対象物に係る点を記述する。スキャンデータを用いて、対象物の領域のモデルを生成することができ、当該モデルは、画像を用いて作成された対象物の他の領域のモデルよりも、より精細である。このデータを位置推定とマッピングの同時実行（ＳＬＡＭ）プロセス１２０７と組み合わせて用いることにより、対象物をマッピングするとともに、物理的対象物に対するポータブル演算装置１２００の位置推定をする。三次元スキャナ１２１８は、所定数の様々な形態を取ることができる。例えば、三次元スキャナ１２１８は、レーザスキャナ、ライダーシステム、赤外線スキャナ、又はその他の種類の走査システムをのうちの少なくとも１つから選択することができる。

ポータブル演算装置１２００の図示は、ポータブル演算装置１２００が実現される態様の一例である。この図示は、他の例示的な実施例においてポータブル演算装置１２００が実現される態様についての限定を意図するものではない。

図１３を参照すると、同図には、例示的な実施形態による、無人ビークル装置のブロック図が示されている。無人ビークル１３００は、図１の無人航空機１１２、図１の無人航空機１１４、図１の無人航空機１１６、及び、図２の無人ビークル２２０が実現される態様の一例である。

この例示的な実施例において、無人ビークル１３００は、所定数のコンポーネントによって構成されている。図示のように、無人ビークル１３００は、フレーム１３０２、推進システム１３０４、コンピュータ１３０６、通信システム１３０８、及び、センサシステム１３１０を含む。

フレーム１３０２は、無人ビークル１３００のどのようなタイプの移動を行うかに基づいて設計される物理的構造物である。例えば、無人ビークル１３００が無人航空機の場合、無人ビークル１３００は、空力面（aerodynamic surfaces）を有する。無人ビークル１３００が無人ウォータービークルである場合、無人ビークル１３００は、例えば、水中で使用するための船体である。この例示的な実施例では、推進システム１３０４、コンピュータ１３０６、通信システム１３０８、及び、センサシステム１３１０は、フレーム１３０２に接続されている。

推進システム１３０４は、無人ビークル１３００を移動させるハードウェアシステムである。例えば、無人ビークル１３００が無人航空機の場合、推進システム１３０４は、ジェットエンジン、ロータ、又は他の推進コンポーネントを含む。

コンピュータ１３０６は、無人ビークル１３００のコンポーネントの動作を制御するハードウェアである。例えば、コンピュータ１３０６は、推進システム１３０４、通信システム１３０８、及び、センサシステム１３１０の動作を制御することができる。

通信システム１３０８は、有線通信リンク又は無線通信リンクを用いた通信を実現するハードウェアである。このような通信リンクは、地上又は他の無人ビークルのリモートコンピュータに対して、確立することができる。無線通信リンクは、無線周波数信号又は光信号を用いることができる。

センサシステム１３１０は、ハードウェア、ソフトウェア、又はこれらの両方を含む。図示のように、センサシステム１３１０は、カメラシステム１３１２及び三次元スキャナ１３１４を含む。

本開示の例示的な実施形態は、図１４に示した航空機の製造および保守方法１４００、及び、図１５に示した航空機１５００に関連させて、説明することができる。次に、図１４を参照すると、同図には、例示的な実施形態による、航空機の製造及び保守方法のブロック図が示されている。生産開始前の工程として、航空機の製造及び保守方法１４００は、例えば、図１５に示す航空機１５００の仕様決定及び設計１４０２と、材料調達１４０４とを含む。

製造中には、図１５の航空機１５００の部品及び小組立品の製造１４０６及びシステム統合１４０８が行われる。その後、図１５の航空機１５００は、認証及び納品１４１０を経て、就航１４１２の期間に入る。顧客による就航１４１２の期間中は、図１５の航空機１５００は、定期的な整備及び保守１４１４のスケジュールに組み込まれ、これは、例えば、改良、再構成、改修、及び他の整備又は保守を含む。

航空機の製造及び保守方法１４００の各工程は、システムインテグレータ、第三者、オペレータ、又はこれらの何らかの組み合わせによって、実行又は実施することができる。これらの例において、オペレータは、顧客であってもよい。なお、システムインテグレータは、航空機メーカー及び主要システム下請業者をいくつ含んでいてもよいが、これに限定されない。第三者は、売主、下請業者、及び供給業者をいくつ含んでいてもよいが、これに限定されない。オペレータは、航空会社、リース会社、軍事団体、サービス組織などであってもよい。

図１５を参照すると、同図には、例示的な実施形態を実現することができる航空機のブロック図が示されている。この例において、航空機１５００は、図１４に示した航空機の製造及び保守方法１４００によって製造され、例えば、複数のシステム１５０４及び内装１５０６を備えた機体１５０２を含む。システム１５０４の例としては、推進系１５０８、電気系１５１０、油圧系１５１２、及び、環境系１５１４のうちの１つ以上が挙げられる。また、他のシステムをいくつ含んでいてもよい。また、航空宇宙産業に用いた場合を例として説明したが、様々な例示的な実施形態を、例えば自動車産業などの他の産業に適用してもよい。

本明細書において具現化される装置及び方法は、図１４の航空機の製造及び保守方法１４００における１以上の任意の工程で採用することができる。

例示的な一実施例において、図１４に示す部品及び小組立品の製造１４０６において製造される部品及び小組立品は、航空機１５００が図１４に示す就航期間１４１２にある間に製造される部品及び小組立品と同様に製造してもよい。さらに別の例として、１つ以上の装置の実施形態、方法の実施形態、又はそれらの組み合わせを、図１４に示す部品及び小組立品の製造１４０６及びシステム統合１４０８などの生産段階において用いることができる。また、１つ以上の装置の実施形態、方法の実施形態、又はそれらの組み合わせを、図１４に示す、航空機１５００の就航期間１４１２、整備及び保守期間１４１４、又はこれらの両方において用いてもよい。

例えば、図２の拡張現実システム２１６を用いて、タスク位置を視覚化することができる。このような視覚化は、例えば、実行すべきタスクの情報をタスク位置に表示することを含む。拡張現実システム２１６は、人間のオペレータによって、部品及び小組立品の製造１４０６、システム統合１４０８、認証及び納品１４１０、又は、整備及び保守１４１４のうちの少なくとも１つの期間において、利用することができる。拡張現実システム２１６は、対象物のライブビューを拡張する現在の技術を用いる場合と比べて、一部が組み立てられた航空機などの、より大型の対象物を見る際に有用である。

様々な例示的な実施形態を用いることによって、実質的に、航空機１５００の組み立て速度を速めること、航空機１５００のコストを削減すること、又は、航空機１５００の組み立て速度を速めるとともに航空機１５００のコストを削減することが可能となる。例えば、操作を知らせる（inform operations）ために必要なプロセッサリソースの量を低減するとともに、航空機１５００やその一部などの対象物に対して操作を行う際に用いるモデルの生成に必要な時間も、削減することができる。

次に、図１６を参照すると、同図には、例示的な実施形態による、製品管理システムのブロック図が示されている。製品管理システム１６００は、物理的なハードウェアシステムである。この例示的な実施例において、製品管理システム１６００は、製造システム１６０２及び保守システム１６０４のうちの少なくとも１つを含む。

製造システム１６０２は、図１５の航空機１５００などの製品を製造するように構成されている。図示のように、製造システム１６０２は、製造装置１６０６を含む。製造装置１６０６は、作製装置１６０８又は組立装置１６１０のうちの少なくとも１つを含む。

作製装置１６０８は、図１５の航空機１５００の形成に用いられる部品のコンポーネントを作製するために用いられる装置である。例えば、作製装置１６０８は、マシン及びツールを含む。これらのマシン及びツールは、例えば、ドリル、油圧プレス、炉、金型、複合テープ敷設機、真空システム、旋盤、図２の拡張現実システム２１６、又はその他の適当な種類の装置のうちの少なくとも１つである。作製装置１６０８を用いて、例えば、金属部品、複合部品、半導体、回路、ファスナ、リブ、外板パネル、翼桁、アンテナ、又は他の適当な種類の部品のうちの少なくとも１つを作製することができる。

組立装置１６１０は、図１５の航空機１５００を形成するための部品の組み立てに用いられる装置である。具体的には、組立装置１６１０を用いてコンポーネント及び部品を組み立てて、航空機１５００を形成する。組立装置１６１０も、マシン及びツールを含む場合がある。これらのマシン及びツールは、ロボットアーム、クローラー、高速設置システム、レールを用いたドリルシステム、図２の拡張現実システム、又は、ロボットのうちの少なくとも１つであってもよい。組立装置１６１０を用いて、例えば、シート、水平安定板、翼、エンジン、エンジンハウジング、着陸ギアシステムなどの部品、及び、図１５の航空機１５００のその他の部品を組み立てることができる。

この例示的な実施例において、保守システム１６０４は、保守装置１６１２を含む。保守装置１６１２は、航空機１５００の保守を行うために必要な任意の装置を含む。保守装置１６１２は、例えば、航空機１５００の部品に対して様々な作業を行うためのツールを含む。これらの作業は、例えば、部品の分解、部品の修理、部品の検査、部品の再加工、交換部品の製造、又は、図１５の航空機１５００に対して保守を行うための他の作業のうちの少なくとも１つを含む。これらの作業は、例えば、定例の保守、検査、アップグレード、修理、又は、他のタイプの保守作業のためのものである。

例示的な実施例において、保守装置１６１２は、例えば、超音波検査装置、Ｘ線撮像システム、視覚システム、ドリル、クローラー、及び、他の適当な装置を含む。場合によっては、保守装置１６１２は、保守に必要な部品の製作及び組み立てを行うために、作製装置１６０８、組立装置１６１０、又は、これら両方を含んでもよい。

製品管理システム１６００は、例えば、制御システム１６１４も含む。制御システム１６１４は、ハードウェアシステムであり、さらに、ソフトウェア又は他のタイプのコンポーネントを含んでもよい。制御システム１６１４は、製造システム１６０２又は保守システム１６０４のうちの少なくとも一方の動作を制御するように構成されている。具体的には、制御システム１６１４は、作製装置１６０８、組立装置１６１０、又は、保守装置１６１２のうちの少なくとも１つの動作を制御することができる。

制御システム１６１４内のハードウェアは、コンピュータ、回路、ネットワーク、及び他のタイプの装置を含むハードウェアを用いて、実現することができる。制御は、製造装置１６０６の直接制御の形態を取ることができる。例えば、制御システム１９１４によって、ロボット、コンピュータ制御によるマシン、及び他の装置を、制御することができる。他の例示的な実施例において、制御システム１６１４は、航空機１５００の製造又は保守を行う際に、人間のオペレータ１６１６により実行される作業を管理してもよい。例えば、制御システム１６１４は、人間のオペレータ１６１６によって行われる作業を管理するために、タスクの割り当て、指示の送信、モデルの表示、又は、その他の作業を実行することができる。これらの例示的な実施例において、図２の拡張現実システム２１６を、制御システム１６１４に実装することにより、図１５に示す航空機１５００の製造又は保守のうちの少なくとも一方を管理することができる。

例えば、制御システム１６１４は、航空機、建物、ダムなどの対象物又はその他の適当な対象物の組み立て又は保守などのためのタスクを、１人以上の人間のオペレータ１６１６に割り当てることができる。制御システム１６１４は、例えば、ライブビューを拡張するためのタスク情報を、人間のオペレータ１６１６が着用又は携帯している図２の拡張現実システム２１６内のポータブル演算装置に送信することができる。

様々な例示的な実施例において、人間のオペレータ１６１６は、製造装置１６０６、保守装置１６１２、又は、制御システム１６１４のうちの少なくとも１つを操作したり、これと相互にやり取りしたりすることができる。このようなやり取りは、図１５の航空機１５００を製造するために行うことができる。

もちろん、製品管理システム１６００は、図１５の航空機以外の製品を管理するように構成することもできる。製品管理システム１６００の説明は、航空宇宙産業における製造に関連させて行ったが、製品管理システム１６００は、他の産業における製品を管理するように構成することもできる。例えば、製品管理システム１６００は、自動車産業や任意の他の適当な産業の製品を製造するように構成することもできる。

さらに、本開示は、以下の付記による実施形態を含む。

付記１． 物理的対象物（２０４）に対して移動し、前記物理的対象物（２０４）の画像（２２２）を生成し、前記物理的対象物（２０４）の領域（２２６）の空間内での点を記述するスキャンデータ（２２４）を生成する、ように動作する一群の無人ビークル（２２０）と、
通信リンク（２２８）を用いて前記一群の無人ビークル（２２０）と通信するコンピュータシステム（２１８）と、を含む拡張現実システム（２１６）であって、前記コンピュータシステム（２１８）は、
前記物理的対象物（２０４）の前記画像（２２２）を、前記物理的対象物（２０４）に対して移動している前記一群の無人ビークル（２２０）から受信し、
前記物理的対象物の前記領域（２２６）のスキャンデータ（２２４）を、前記物理的対象物（２０４）に対して移動している前記一群の無人ビークル（２２０）のうちの所定数の無人ビークル（２２０）から受信し、
前記画像（２２２）及び前記スキャンデータ（２２４）を用いて前記物理的対象物（２０４）の拡張モデル（２３２）を作成する、ように動作し、前記拡張モデル（２３２）における前記物理的対象物（２０４）の前記領域（２２６）は、前記拡張モデル（２３２）における前記物理的対象物（２０４）の他の領域（２３４）よりも、より精細なディテールを有しており、
前記拡張現実システムは、ポータブル演算装置（２０８）をさらに含み、前記ポータブル演算装置は、
前記拡張モデル（２３２）を用いて前記物理的対象物（２０４）に対する位置推定をし、
前記ポータブル演算装置（２０８）を通して見る前記物理的対象物（２０４）のライブビュー（２１２）に情報（２０２）を表示する、ように動作し、前記情報（２０２）は、前記物理的対象物（２０４）の前記拡張モデル（２３２）を用いて特定される、拡張現実システム。

付記２． 前記コンピュータシステム（２１８）は、前記一群の無人ビークル（２２０）を制御することにより、前記物理的対象物（２０４）に対して移動させるとともに、前記物理的対象物（２０４）の前記画像（２２２）、及び、前記物理的対象物（２０４）の前記領域（２２６）の空間内での点を記述するスキャンデータ（２２４）を生成させる、付記１に記載の拡張現実システム（２１６）。

付記３． 前記コンピュータシステム（２１８）は、前記画像（２２２）及び前記スキャンデータ（２２４）を用いて前記物理的対象物（２０４）の前記拡張モデル（２３２）を作成する際に、
前記画像（２２２）を用いて前記物理的対象物（２０４）のモデル（３００）を作成し、
前記一群の無人ビークル（２２０）のうちの所定数の無人ビークル（２２０）によって生成されるスキャンデータ（２２４）から、所定数のポイントクラウド（３０２）を作成し、
前記所定数のポイントクラウド（３０２）を用いて前記物理的対象物（２０４）の前記モデル（３００）を修正することにより、前記拡張モデル（２３２）を形成する、ように動作する、付記１又は２に記載の拡張現実システム（２１６）。

付記４． 前記一群の無人ビークル（２２０）は、人間のオペレータ（２０６）が前記ポータブル演算装置（２０８）を通して前記物理的対象物（２０４）の前記ライブビュー（２１２）を見ている間に、前記画像（２２２）及び前記スキャンデータ（２２４）を生成するように動作する、付記１～３のいずれか１つに記載の拡張現実システム（２１６）。

付記５． 前記コンピュータシステム（２１８）は、前記物理的対象物（２０４）の前記領域（２２６）を選択するとともに、前記一群の無人ビークル（２２０）のうちの所定数の無人ビークル（２２０）を制御して、前記物理的対象物（２０４）の前記領域（２２６）の前記スキャンデータ（２２４）を生成させる、付記１～４のいずれか１つに記載の拡張現実システム（２１６）。

付記６． 前記コンピュータシステム（２１８）は、前記物理的対象物（２０４）の前記領域（２２６）を選択する際に、前記ポータブル演算装置（２０８）を用いている人間のオペレータ（２０６）の注視点（４００）に基づいて、前記物理的対象物（２０４）の前記領域（２２６）を選択する、付記５に記載の拡張現実システム（２１６）。

付記７． 前記コンピュータシステム（２１８）は、前記物理的対象物（２０４）の前記領域（２２６）を選択する際に、前記ポータブル演算装置（２０８）を用いている人間のオペレータ（２０６）によって行われるタスク（２１４）の位置（４０２）に基づいて、前記物理的対象物（２０４）の前記領域（２２６）を選択し、前記位置（４０２）は前記領域（２２６）に包含される、付記５に記載の拡張現実システム（２１６）。

付記８． 前記コンピュータシステム（２１８）は、前記ポータブル演算装置（２０８）から、前記物理的対象物（２０４）の追加画像（２２８）又は前記物理的対象物（２０４）の追加スキャンデータ（２４０）のうちの少なくとも１つを受信し、
前記コンピュータシステム（２１８）は、前記画像（２２２）及び前記スキャンデータ（２２４）を用いて前記物理的対象物（２０４）の前記拡張モデル（２３２）を作成する際に、前記画像（２２２）、前記追加画像（２２８）、前記スキャンデータ（２２４）、及び、前記追加スキャンデータ（２４０）を用いて、前記物理的対象物（２０４）の前記拡張モデル（２３２）を作成する、付記１～７のいずれか１つに記載の拡張現実システム（２１６）。

付記９． 前記情報（２０２）は、タスク情報、アセンブリ、ビデオ、不適合箇所の示唆、作業指示、アセンブリの分解図、又は概略図のうちの少なくとも１つから選択される、付記１～８のいずれか１つに記載の拡張現実システム（２１６）。

付記１０． 前記物理的対象物（２０４）は、飛行機、建物、橋、ダム、ビークル、フィールド、湖、山、エンジン、胴体部、及び、滑走路を含むグループから選択される、付記１～９のいずれか１つに記載の拡張現実システム（２１６）。

付記１１． 前記ポータブル演算装置（２０８）は、スマートグラス、携帯電話、タブレットコンピュータ、及び、ヘッドマウントディスプレイを含むグループから選択される、付記１～１０のいずれか１つに記載の拡張現実システム（２１６）。

付記１２． 前記一群の無人ビークル（２２０）は、無人航空機、ドローン、無人地上ビークル、又は、無人ウォータービークルのうちの少なくとも１つから選択される、付記１～１１のいずれか１つに記載の拡張現実システム。

付記１３． コンピュータシステム（２１８）と、前記コンピュータシステム（２１８）内のビジュアライザー（２３０）と、を含む、拡張現実システム（２１６）であって、
前記コンピュータシステム（２１８）は、前記コンピュータシステム（２１８）の動作中及び一群の無人ビークル（２２０）の動作中に、通信リンク（２２８）を用いて、前記一群の無人ビークル（２２０）と通信し、
前記ビジュアライザーは、以下を行うように動作する。
物理的対象物（２０４）の画像（２２２）を、前記物理的対象物（２０４）に対して移動している前記一群の無人ビークル（２２０）から受信すること。
前記物理的対象物の領域（２２６）のスキャンデータ（２２４）を、前記物理的対象物（２０４）に対して移動している前記一群の無人ビークル（２２０）のうちの所定数の無人ビークル（２２０）から受信すること。
前記画像（２２２）及び前記スキャンデータ（２２４）を用いて、前記物理的対象物（２０４）の拡張モデル（２３２）を作成すること。この際、前記拡張モデル（２３２）における前記物理的対象物（２０４）の前記領域（２２６）は、前記拡張モデル（２３２）における前記物理的対象物（２０４）の他の領域（２３４）よりも、より精細なディテールを有する。
情報（２０２）をポータブル演算装置（２０８）に送信すること。この際、前記情報（２０２）は、前記ポータブル演算装置（２０８）によって、前記ポータブル演算装置（２０８）を通して見る前記物理的対象物（２０４）のライブビュー（２１２）に表示可能であり、前記情報（２０２）は、前記物理的対象物（２０４）の前記拡張モデル（２３２）を用いて特定される。

付記１４． 前記ビジュアライザー（２３０）は、
前記一群の無人ビークル（２２０）を制御することにより、前記物理的対象物（２０４）に対して移動させるとともに、
前記一群の無人ビークル（２２０）を制御することにより、前記物理的対象物（２０４）の前記画像（２２２）、及び、前記物理的対象物（２０４）の前記領域（２２６）の空間内での点を記述するスキャンデータ（２２４）を生成させる、付記１３に記載の拡張現実システム（２１６）。

付記１５． 前記ビジュアライザー（２３０）は、前記物理的対象物（２０４）の前記領域（２２６）を選択するとともに、前記一群の無人ビークル（２２０）のうちの前記所定数の無人ビークル（２２０）を制御して、前記物理的対象物（２０４）の前記領域（２２６）の前記スキャンデータ（２２４）を生成させる、ように動作する、付記１３～１４のいずれか１つに記載の拡張現実システム（２１６）。

付記１６． 前記ビジュアライザー（２３０）は、前記物理的対象物（２０４）の前記領域（２２６）を選択する際に、前記ポータブル演算装置（２０８）を用いている人間のオペレータ（２０６）の注視点（４００）に基づいて、前記物理的対象物（２０４）の前記領域（２２６）を選択するように動作する、付記１５に記載の拡張現実システム（２１６）。

付記１７． 前記ビジュアライザー（２３０）は、前記物理的対象物（２０４）の前記領域（２２６）を選択する際に、前記ポータブル演算装置（２０８）を用いている人間のオペレータ（２０６）によって行われるタスク（２１４）の位置（４０２）に基づいて、前記物理的対象物（２０４）の前記領域（２２６）を選択するように動作し、前記位置（４０２）は前記領域（２２６）に包含される、付記１５に記載の拡張現実システム（２１６）。

付記１８． 前記一群の無人ビークル（２２０）は、無人航空機、ドローン、無人地上ビークル、又は、無人ウォータービークルのうちの少なくとも１つから選択される、先行するいずれかの付記に記載の拡張現実システム。

付記１９． 物理的対象物（２０４）のライブビュー（２１２）に情報（２０２）を視覚化する方法であって、
コンピュータシステム（２１８）によって、前記物理的対象物（２０４）に対して移動している一群の無人ビークル（２２０）から物理的対象物（２０４）の画像（２２２）を受信し、前記コンピュータシステム（２１８）は、通信リンク（２２８）を用いて、前記一群の無人ビークル（２２０）と通信し、
前記コンピュータシステム（２１８）によって、前記物理的対象物（２０４）の領域（２２６）のスキャンデータ（２２４）を受信し、
前記コンピュータシステム（２１８）によって、前記画像（２２２）及び前記スキャンデータ（２２４）を用いて前記物理的対象物（２０４）の拡張モデル（２３２）を作成し、前記拡張モデル（２３２）における前記領域（２２６）は、前記拡張モデル（２３２）における前記物理的対象物（２０４）の他の領域（２３４）よりも、より精細なディテールを有しており、
前記コンピュータシステム（２１８）によって、前記拡張モデル（２３２）の少なくとも一部を、ポータブル演算装置（２０８）に送信し、前記ポータブル演算装置（２０８）は、前記拡張モデル（２３２）の前記少なくとも一部を用いて、前記物理的対象物（２０４）に対する位置推定をし、
前記コンピュータシステム（２１８）によって、前記ポータブル演算装置（２０８）によって表示可能な前記情報（２０２）を送信し、前記ポータブル演算装置（２０８）は、前記ポータブル演算装置（２０８）を通して見る前記物理的対象物（２０４）の前記ライブビュー（２１２）に前記情報（２０２）を表示し、前記情報（２０２）は、前記物理的対象物（２０４）の前記拡張モデル（２３２）を用いて特定される、方法。

付記２０． さらに、前記コンピュータシステム（２１８）によって、前記一群の無人ビークル（２２０）を制御することにより、前記物理的対象物（２０４）に対して移動させるとともに、
前記一群の無人ビークル（２２０）を制御することにより、前記物理的対象物（２０４）の前記画像（２２２）、及び、前記物理的対象物（２０４）の前記領域（２２６）の空間内での点を記述するスキャンデータ（２２４）を生成させる、付記１９に記載の方法。

付記２１． 前記画像（２２２）及び前記スキャンデータ（２２４）を用いて前記物理的対象物（２０４）の前記拡張モデル（２３２）を作成するに際し、
前記画像（２２２）を用いて前記物理的対象物（２０４）のモデル（３００）を作成し、
前記一群の無人ビークル（２２０）のうちの所定数の無人ビークル（２２０）によって生成されるスキャンデータ（２２４）から、所定数のポイントクラウド（３０２）を作成し、
前記所定数のポイントクラウド（３０２）を用いて前記物理的対象物（２０４）の前記モデル（３０２）を修正することにより、前記拡張モデル（２３２）を形成する、付記１９又は２０に記載の方法。

付記２２． 前記一群の無人ビークル（２２０）は、人間のオペレータ（２０６）が前記ポータブル演算装置（２０８）を通して前記物理的対象物（２０４）のライブビュー（２１２）を見ている間に、前記画像（２２２）及び前記スキャンデータ（２２４）を生成するように動作する、付記１９～２１のいずれか１つに記載の方法。

付記２３． さらに、前記コンピュータシステム（２１８）によって、前記物理的対象物（２０４）の前記領域（２２６）を選択し、
前記コンピュータシステム（２１８）によって、前記一群の無人ビークル（２２０）のうちの所定数の無人ビークル（２２０）を制御して、前記物理的対象物（２０４）の前記領域（２２６）の前記スキャンデータ（２２４）を生成させる、付記１９～２２のいずれか１つに記載の方法。

付記２４． 前記コンピュータシステム（２１８）によって、前記物理的対象物（２０４）の前記領域（２２６）を選択するに際し、
前記ポータブル演算装置（２０８）を用いている人間のオペレータ（２０６）の注視点（４００）に基づいて、前記コンピュータシステム（２１８）によって、前記物理的対象物（２０４）の前記領域（２２６）を選択する、付記２３に記載の方法。

付記２５． 前記コンピュータシステム（２１８）によって、前記物理的対象物（２０４）における前記領域（２２６）を選択するに際し、
前記ポータブル演算装置（２０８）を用いている人間のオペレータ（２０６）によって行われるタスク（２１４）の位置（４０２）に基づいて、前記コンピュータシステム（２１８）によって、前記物理的対象物（２０４）の前記領域（２２６）を選択し、前記位置（４０２）は前記領域（２２６）に包含される、付記２３に記載の方法。

付記２６． さらに、前記コンピュータシステム（２１８）によって、前記ポータブル演算装置（２０８）から、前記物理的対象物（２０４）の追加画像（２２８）又は前記物理的対象物（２０４）の追加スキャンデータ（２４０）のうちの少なくとも１つを受信し、
前記コンピュータシステム（２１８）によって、前記画像（２２２）及び前記スキャンデータ（２２４）を用いて前記物理的対象物（２０４）の前記拡張モデル（２３２）を作成するに際し、
前記コンピュータシステム（２１８）によって、前記画像（２２２）、前記追加画像（２２８）、前記スキャンデータ（２２４）、及び、前記追加スキャンデータ（２４０）を用いて、前記物理的対象物（２０４）の前記拡張モデル（２３２）を作成する、付記１９～２４のいずれか１つに記載の方法。

付記２７． 前記情報（２０２）は、タスク情報、アセンブリ、ビデオ、不適合箇所の示唆、作業指示、アセンブリの分解図、又は概略図のうちの少なくとも１つから選択される、付記１９～２６のいずれか１つに記載の方法。

付記２８． 前記物理的対象物（２０４）は、飛行機、建物、橋、ダム、ビークル、フィールド、湖、山、エンジン、胴体部、及び、滑走路を含むグループから選択される、付記１９～２７のいずれか１つに記載の方法。

付記２９． 前記ポータブル演算装置（２０８）は、スマートグラス、携帯電話、タブレットコンピュータ、及び、ヘッドマウントディスプレイを含むグループから選択される、付記１９～２８のいずれか１つに記載の方法。

このように、１つ以上の例示的な実施例は、物理的対象物のライブビューを拡張するための情報の表示に関する技術的問題を、物理的対象物のポイントクラウドを生成する現在用いられている技術と比べて、処理リソースの使用量を低減するような方法で克服する。この結果、１つ以上の例示的な実施例は、二種類のデータを用いることで、物理的対象物のモデルを作成するために使用されるコンピューティングリソースの量を低減するという技術的効果をもたらす。例示的な実施例では、画像及びスキャンデータが使用され、これにより、ポイントクラウドのみを用いる現在の技術と比べて、コンピューティングリソースの使用量が低減する。

様々な例示的な実施形態の説明は、例示および説明のために提示したものであり、すべてを網羅することや、開示した形態での実施に限定することを意図するものではない。様々な例示的な実施例は、動作や工程を行うコンポーネントを説明している。例示的な実施形態では、コンポーネントは、例えば、説明した動作や処理を実行するように構成される。例えば、コンポーネントは、当該コンポーネントにより実行されると実施例において記載された動作や処理を実行する機能を備えるような構成や設計を有することができる。

当業者には、多くの改変又は変形が明らかであろう。なお、異なる例示的な実施形態は、他の望ましい実施形態とは異なる特徴をもたらしうる。上述した実施形態は、実施形態の原理および実際の用途を最も的確に説明するとともに、当業者が、想定した特定の用途に適した種々の改変を加えた様々な実施形態のための開示を理解できるようにするために、選択および記載したものである。

Claims (15)

1. 物理的対象物に対して移動し、前記物理的対象物の画像を生成し、前記物理的対象物の領域の空間内での点を記述するスキャンデータを生成する、ように動作する一群の無人ビークルと、
   通信リンクを用いて前記一群の無人ビークルと通信するコンピュータシステムと、を含む拡張現実システムであって、前記コンピュータシステムは、
   前記物理的対象物の前記画像を、前記物理的対象物に対して移動している前記一群の無人ビークルから受信し、
   前記物理的対象物の前記領域のスキャンデータを、前記物理的対象物に対して移動している前記一群の無人ビークルのうちの所定数の無人ビークルから受信し、
   前記画像及び前記スキャンデータを用いて前記物理的対象物の拡張モデルを作成する、ように動作し、前記拡張モデルにおける前記物理的対象物の前記領域は、前記拡張モデルにおける前記物理的対象物の他の領域よりも、より精細なディテールを有しており、
   前記物理的対象物上の変形のスキャンデータに基づいて、前記拡張モデルの前に生成された前記物理的対象物のモデルを更新する、ように動作し、
   前記拡張現実システムは、ポータブル演算装置をさらに含み、前記ポータブル演算装置は、
   前記拡張モデルを用いて前記物理的対象物に対する位置推定をし、
   前記ポータブル演算装置を通して見る前記物理的対象物のライブビューに前記拡張モデルの前に生成された前記物理的対象物の前記モデルからの情報を表示する、ように動作し、前記情報は、前記物理的対象物の前記拡張モデルを用いて特定される、拡張現実システム。
2. 前記コンピュータシステムは、前記一群の無人ビークルを制御することにより、前記物理的対象物に対して移動させるとともに、前記物理的対象物の前記画像、及び、前記物理的対象物の前記領域の空間内での点を記述するスキャンデータを生成させる、請求項１に記載の拡張現実システム。
3. 前記コンピュータシステムは、前記画像及び前記スキャンデータを用いて前記物理的対象物の前記拡張モデルを作成する際に、
   前記画像を用いて前記物理的対象物のモデルを作成し、
   前記一群の無人ビークルのうちの所定数の無人ビークルによって生成されるスキャンデータから、所定数のポイントクラウドを作成し、
   前記所定数のポイントクラウドを用いて前記物理的対象物の前記モデルを修正することにより、前記拡張モデルを形成する、ように動作する、請求項１又は２に記載の拡張現実システム。
4. 前記一群の無人ビークルは、人間のオペレータが前記ポータブル演算装置を通して前記物理的対象物の前記ライブビューを見ている間に、前記画像及び前記スキャンデータを生成するように動作する、請求項１～３のいずれか１つに記載の拡張現実システム。
5. 前記コンピュータシステムは、前記物理的対象物の前記領域を選択するとともに、前記一群の無人ビークルのうちの所定数の無人ビークルを制御して、前記物理的対象物の前記領域の前記スキャンデータを生成させる、請求項１～４のいずれか１つに記載の拡張現実システム。
6. 前記コンピュータシステムは、前記物理的対象物の前記領域を選択する際に、前記ポータブル演算装置を用いている人間のオペレータの注視点に基づいて、前記物理的対象物の前記領域を選択する、請求項５に記載の拡張現実システム。
7. 前記コンピュータシステムは、前記物理的対象物の前記領域を選択する際に、前記ポータブル演算装置を用いている人間のオペレータによって行われるタスクの位置に基づいて
   、前記物理的対象物の前記領域を選択し、前記位置は前記領域に包含される、請求項５に記載の拡張現実システム。
8. 前記コンピュータシステムは、前記ポータブル演算装置から、前記物理的対象物の追加画像又は前記物理的対象物の追加スキャンデータのうちの少なくとも１つを受信し、
   前記コンピュータシステムは、前記画像及び前記スキャンデータを用いて前記物理的対象物の前記拡張モデルを作成する際に、前記画像、前記追加画像、前記スキャンデータ、及び、前記追加スキャンデータを用いて、前記物理的対象物の前記拡張モデルを作成する、請求項１～７のいずれか１つに記載の拡張現実システム。
9. 前記情報は、タスク情報、アセンブリ、ビデオ、不適合箇所の示唆、作業指示、アセンブリの分解図、又は概略図のうちの少なくとも１つから選択され、
   前記物理的対象物は、飛行機、建物、橋、ダム、ビークル、フィールド、湖、山、エンジン、胴体部、及び、滑走路を含むグループから選択され、
   前記ポータブル演算装置は、スマートグラス、携帯電話、タブレットコンピュータ、及び、ヘッドマウントディスプレイを含むグループから選択され、前記一群の無人ビークルは、無人航空機、ドローン、無人地上ビークル、又は、無人ウォータービークルのうちの少なくとも１つから選択される、請求項１～８のいずれか１つに記載の拡張現実システム。
10. 物理的対象物のライブビューに情報を視覚化する方法であって、
    コンピュータシステムによって、前記物理的対象物に対して移動している一群の無人ビークルから物理的対象物の画像を受信し、前記コンピュータシステムは、通信リンクを用いて、前記一群の無人ビークルと通信し、
    前記コンピュータシステムによって、前記物理的対象物の領域のスキャンデータを受信し、
    前記コンピュータシステムによって、前記画像及び前記スキャンデータを用いて前記物理的対象物の拡張モデルを作成し、前記拡張モデルにおける前記領域は、前記拡張モデルにおける前記物理的対象物の他の領域よりも、より精細なディテールを有しており、
    前記物理的対象物上の変形のスキャンデータを用いて、前記拡張モデルの前に生成された前記物理的対象物のモデルを更新し、
    前記コンピュータシステムによって、前記拡張モデルの少なくとも一部を、ポータブル演算装置に送信し、前記ポータブル演算装置は、前記拡張モデルの前記少なくとも一部を用いて、前記物理的対象物に対する位置推定をし、
    前記コンピュータシステムによって、前記ポータブル演算装置によって表示可能な前記拡張モデルの前に生成された前記物理的対象物の前記モデルからの前記情報を送信し、前記ポータブル演算装置は、前記ポータブル演算装置を通して見る前記物理的対象物の前記ライブビューに前記情報を表示し、前記情報は、前記物理的対象物の前記拡張モデルを用いて特定される、方法。
11. さらに、前記コンピュータシステムによって、前記一群の無人ビークルを制御することにより、前記物理的対象物に対して移動させるとともに、
    前記一群の無人ビークルを制御することにより、前記物理的対象物の前記画像、及び、前記物理的対象物の前記領域の空間内での点を記述するスキャンデータを生成させる、請求項１０に記載の方法。
12. 前記画像及び前記スキャンデータを用いて前記物理的対象物の前記拡張モデルを作成するに際し、
    前記画像を用いて前記物理的対象物のモデルを作成し、
    前記一群の無人ビークルのうちの所定数の無人ビークルによって生成されるスキャンデータから、所定数のポイントクラウドを作成し、
    前記所定数のポイントクラウドを用いて前記物理的対象物の前記モデルを修正することにより、前記拡張モデルを形成する、請求項１０又は１１に記載の方法。
13. さらに、前記ポータブル演算装置を用いている人間のオペレータの注視点に基づいて、前記コンピュータシステムによって、前記物理的対象物の前記領域を選択し、
    前記コンピュータシステムによって、前記一群の無人ビークルのうちの所定数の無人ビークルを制御して、前記物理的対象物の前記領域の前記スキャンデータを生成させる、請求項１０～１２のいずれか１つに記載の方法。
14. さらに、前記コンピュータシステムによって、前記ポータブル演算装置から、前記物理的対象物の追加画像又は前記物理的対象物の追加スキャンデータのうちの少なくとも１つを受信し、
    前記コンピュータシステムによって、前記画像及び前記スキャンデータを用いて前記物理的対象物の前記拡張モデルを作成するに際し、
    前記コンピュータシステムによって、前記画像、前記追加画像、前記スキャンデータ、及び、前記追加スキャンデータを用いて、前記物理的対象物の前記拡張モデルを作成する、請求項１０～１３のいずれか１つに記載の方法。
15. 前記情報は、タスク情報、アセンブリ、ビデオ、不適合箇所の示唆、作業指示、アセンブリの分解図、又は概略図のうちの少なくとも１つから選択され、
    前記物理的対象物は、飛行機、建物、橋、ダム、ビークル、フィールド、湖、山、エンジン、胴体部、及び、滑走路を含むグループから選択され、
    前記ポータブル演算装置は、スマートグラス、携帯電話、タブレットコンピュータ、及び、ヘッドマウントディスプレイを含むグループから選択される、請求項１０～１４のいずれか１つに記載の方法。

Images