JP7327872B2 - コンピュータによる検査システム及び方法 - Google Patents

Description

分野

[0001]本発明の実施形態は、概して、コンピュータによる検査システム（ＣＡＩＳ）及び方法に関し、より詳細には、拡張現実及び自己位置推定（localization、ローカリゼーション）技術を使用して、調査、検査、保守管理及び修復のような用途のために、構造物の精細なレベルの検査及び３Ｄ（３次元）モデルに対する比較を実施するのを支援するための方法及びシステムに関する。

背景

[0002]現在、構造物（例えば、鉄道線路、橋梁、建造物又は建造物の部分、「竣工」現場、車両（例えば、船舶、航空機、自動車など）の検査は手動で行われている。手動の検査は、構造物が設計計画、建築基準法、建築モデルなどに準拠していることを確認するために実施されなければならない、煩雑な過程である。労働コストが増大し、検査及び関連付けられる修復／保守管理を実施するには熟練した労働者を見つける必要があるため、手動検査を実施するには、人件費と検査が完了するのを待つ遅延の両方において、法外に費用がかかることになる。

[0003]多くの事例において、特定のミスはコストがかかりすぎて、一定の時点の後では修正することができない（例えば、誤りが後に発見された場合に、鉄道線路を破棄すること）。したがって、検査が完了するまで、特定の構造物に対して建造／作業を続行することはできない。したがって、建造の様々な態様が計画／法令に従って行われることを保証する必要がある。さらに、大規模な構造物及び建造現場を検査するためには、検査される必要がある建造物又は建造物の部分について現場を調査し、すべての必要な図面／計画書を携行し、現場を検査し、任意の不一致を記録するなどのために、多くの時間及び人的資源が必要である。

[0004]したがって、煩雑な手作業を、調査、検査、保守管理及び修復のような用途のために、大きい領域／構造物の自動化された精細なレベルの検査及びモデルに対する比較を実施するのを支援することができるシステム及び方法に置き換える必要がある。

概要

[0005]構造物の検査、誤り分析及び比較のためのコンピュータによる検査システム（ＣＡＩＳ）及び方法が、本明細書において提示される。いくつかの実施形態において、ＣＡＩＳは、第１のセンサパッケージから得られる情報を使用して、検査されている構造物に対する、ユーザの現実世界の大域的自己位置推定（global localization、グローバルローカリゼーション）情報を決定するように構成されているＳＬＡＭシステムと、決定されているグローバルローカリゼーション情報を使用して、検査されている構造物の３Ｄコンピュータモデル内の対応する位置にインデックス付けすることと、第１のセンサパッケージから得られる観察結果及び／又は情報を、抽出される構造物のモデル３Ｄコンピュータモデルの局所的領域（local area, ローカルエリア）に位置姿勢合わせ（align、アライン）することとを行うように構成されているモデル位置姿勢合わせ（alignment、アライメント）システムと、構造物の精細なレベルの測定値を得るように構成されている第２のセンサパッケージと、第２のセンサパッケージから構造物に関して得られる精細なレベルの測定値及び情報を、３Ｄコンピュータモデルと比較するように構成されているモデル認識システムとを含むことができる。

[0006]いくつかの実施形態において、構造物の検査、誤り分析及び比較のためのコンピュータによる検査方法は、第１のセンサパッケージから得られる情報を使用して、検査されている構造物に対する、ユーザの現実世界のグローバルローカリゼーション情報を決定するステップと、決定されているグローバルローカリゼーション情報を使用して、検査されている構造物の３Ｄコンピュータモデル内の対応する位置にインデックス付けし、モデルの関連部分を抽出するステップと、第１のセンサパッケージから得られる観察結果及び／又は情報を、構造物のモデル３Ｄコンピュータモデルにアラインするステップと、第２のセンサパッケージを使用して精細なレベルの測定値を得るステップであり、第２のセンサパッケージから構造物に関して得られる情報を、構造物の３Ｄコンピュータモデルと比較する、測定値を得るステップとを含むことができる。

[0007]いくつかの実施形態において、構造物の検査、誤り分析及び比較のためのコンピュータによる検査方法は、第１のセンサパッケージから構造物の３Ｄコンピュータモデルを受信するステップと、ｍｍレベルの測定を得るように構成されている高分解能センサから得られる構造物に関する精細なレベルの測定値及び情報を使用して、構造物の３Ｄ点群表現を生成するステップと、構造物の３ｄ点群表現内で関心物体を検出し、高分解能センサを使用して上記関心物体の測定値及び情報を得るステップと、構造物の３Ｄ点群表現を、受信されている３ｄコンピュータモデルにアラインするステップと、関心物体と、受信されている３ｄコンピュータモデルとの間の相違を検出するステップとを含むことができる。

[0008]本発明の原理による他の実施形態及びさらなる実施形態が、下記に説明される。

[0009]本発明の原理の上記で記載した特徴を詳細に理解することができるように、上記で簡潔に要約した原理の、より特定的な説明を、実施形態を参照することによって得ることができ、実施形態の一部は添付の図面に示されている。しかしながら、添付の図面は、本発明の原理による典型的な実施形態のみを示しており、したがって、本発明の原理を限定するものとして考えられるべきではなく、したがって、当該原理は、他の等しく有効な実施形態を容認し得る。

[0010]図１は、本発明の原理の実施形態によるコンピュータによる検査システム（ＣＡＩＳ）の高レベルのブロック図である。

[0011]図２Ａ及び２Ｂは、本発明の原理の実施形態によるコンピュータによる検査システム（ＣＡＩＳ）の高レベルのブロック図の追加の表現を示す図である。 [0011]図２Ａ及び２Ｂは、本発明の原理の実施形態によるコンピュータによる検査システム（ＣＡＩＳ）の高レベルのブロック図の追加の表現を示す図である。

[0012]図３は、本発明の原理の一実施形態による、ユーザによって装着される第１のグローバルローカリゼーションセンサパッケージの少なくとも１つの実施形態を示す図である。

[0013]図４は、本発明の原理の一実施形態による、第２の精細レベル測定手持ち式センサ及びディスプレイパッケージの少なくとも１つの実施形態を示す図である。

[0014]図５は、本発明の原理の一実施形態による、第１のセンサパッケージと第２のセンサパッケージとの間のハンドシェイキングプロセスの機能ブロック図である。

[0015]図６は、本発明の原理の一般的な実施形態による、構造物の検査、誤り分析及び比較のためのコンピュータによる検査方法の流れ図である。

[0016]図７は、本発明の原理の一般的な実施形態による、構造物の検査、誤り分析及び比較のためのコンピュータによる検査方法の少なくとも１つの他の実施形態の流れ図である。

[0017]図８Ａ及び８Ｂは、本発明の原理の一般的な実施形態による、鉄道線路に使用されるＣＡＩＳの動作を示す図である。 [0017]図８Ａ及び８Ｂは、本発明の原理の一般的な実施形態による、鉄道線路に使用される上記ＣＡＩＳの関連付けられるシステム図である。

[0018]図９は、本発明の様々な実施形態に利用することができるコンピュータシステムの図である。

[0019]理解を促進するために、図面に共通する同一の要素を示すために、可能な場合には、同一の参照符号が使用されている。図面は原寸に比例して描写されておらず、明瞭にするために単純化されている場合がある。１つの実施形態の要素及び特徴を、さらに記述することなく他の実施形態に有益に組み込むことができることが企図されている。

詳細な説明

[0020]本発明の原理の実施形態は、概して、コンピュータによる検査システム（ＣＡＩＳ）及び方法に関し、より詳細には、拡張現実及びローカリゼーション技術を使用して、検査、調査、誤り検出及び分析、保守管理並びに修復のような用途のために、構造物の精細なレベルの検査及び３Ｄモデルに対する比較を実施するのを支援するための方法及びシステムに関する。本発明の原理の概念は様々な改変及び代替の形態の影響を受けるが、当該概念の具体的な実施形態が例として図面内に示されており、下記に詳細に記載されている。本発明の原理の概念を、記載されている特定の形態に限定することは意図されていないことは理解されたい。逆に、本発明の原理及び添付の特許請求の範囲と一致するすべての改変、均等物、及び代替形態を包含することが意図されている。例えば、本発明の原理の実施形態は、主にコンピュータによる検査システム及び方法に関連して記載されるが、当該教示は、限定であると考えられるべきではない。本発明の原理による実施形態は、任意のタイプの構造物の検査、調査、誤り検出、保守管理及び修復、並びに、本明細書において記載されているような他の当該概念に適用することができる。

[0021]本発明の原理による実施形態は、鉄道線路、橋梁、建造物又は建造物の部分、「竣工」現場、車両（例えば、船舶、航空機、自動車など）などのような構造物の検査過程を支援するためのシステムを対象とする。本明細書において提示されている本発明の実施形態は、大規模な、複数フロアの領域（例えば、２００ｍ×２００ｍ以上）にわたる精細なレベルの検査（ｍｍスケール）及び３Ｄコンピュータモデル（例えば、船舶のＣＡＤ図面、建造物のビルディングインフォメーションモデル（ＢＩＭ）、又は当該モデルの部分）との比較を実施する。本発明の方法及びシステムは、一定の正確度（例えば、１０ｃｍ）までのグローバルローカリゼーションと、非常に精密な（例えば、ｍｍレベル）の相対的に局所的な測定及び３Ｄコンピュータモデルとの比較とを組み合わせる。

[0022]下記にさらに詳細に説明するように、本開示と一致する実施形態は一般的に、ユーザをローカルエリア内（例えば、１０ｃｍ内）まで位置推定（localize、ローカライズ）し、当該ローカリゼーションを使用して３Ｄコンピュータモデル内の対応する位置へとインデックス付けし、モデル（例えば、ＢＩＭモデルのようなＣＡＤ ３Ｄ表現）の関連部分を抽出し、センサからの観察結果をモデルと照合し、最終的に、精細なレベルの測定（ｍｍスケールにおける）及び３Ｄモデルとの比較を行うことによって、コンピュータによる検査を実施する。

[0023]コンピュータによる検査システム（ＣＡＩＳ）及び方法、並びに、より詳細には、拡張現実及びローカリゼーション技術を使用して、調査、検査、保守管理及び修復のような用途のために、構造物の精細なレベルの検査及び３Ｄモデルに対する比較を実施するのを支援するための方法及びシステムの様々な実施形態を、ここで図１～図９に関連して詳細に説明する。

[0024]図１は、本発明の原理の実施形態によるコンピュータによる検査システム（ＣＡＩＳ）１００の高レベルのブロック図を示す。ＣＡＩＳ１００は、グローバルローカリゼーションシステム１０２と、局所的測定システム１１４とを含む。

[0025]ＧＬＳ１０２によって実施されるグローバルローカリゼーションは、第１のセンサパッケージ１０４を使用して画像特徴を獲得及び追跡し、視覚的ランドマーク、タグ、又は位置座標を、当該領域の建造前のマップと照合することによって機能する。第１のセンサパッケージ１０４によって獲得される情報を使用して、ＧＬＳ１０２は、作業現場（例えば、建造現場、船舶又は造船所、鉄道線路など）にわたって、図１の１０６における世界（global、グローバル）座標系において５～１５ｃｍ又は約１０ｃｍ内まで、ユーザの位置を追跡することが可能である。したがって、ＧＬＳ１０２は、追跡情報を使用して、１０８において検査されている構造物／減歩の３Ｄコンピュータモデルと関連付けられるモデル座標系内の当該同じレベル内まで、ユーザをローカライズする（すなわち、対応する位置にあるモデルへとインデックス付けする）ことが可能である。

[0026]ＧＬＳ１０２は、第１のセンサパッケージ１０４から得られる情報を使用して、検査されている構造物に対する、ユーザの現実世界のグローバルローカリゼーション情報を決定するように構成されている、図２Ａ及び図２Ｂに示すような自己位置推定と環境地図作成の同時実施（Simultaneous Localization and Mapping、サイマルタネアス ローカリゼーション アンド マッピング：ＳＬＡＭ、スラム）システム２５２を使用する。ＳＬＡＭは、航法状態とランドマーク位置の両方を同時に推定することによって位置情報を決定し、当該好いては、コンピュータビジョンにおいてバンドル調整としても知られる一貫したＳＬＡＭ問題定式化である。いくつかの実施形態において、ユーザは、既知の視覚的パターンを有する指定の調査位置（複数可）において開始する。システムは、当該過程に基づいてシステムのグローバル位置及び向きを初期化することが可能である。次いで、ユーザが現場にわたって動くと、システムは、ユーザの位置を約５～１５ｃｍ、又は約１０ｃｍの正確度までローカライズすることができる。いくつかの実施形態において、グローバルローカリゼーションに使用される第１のセンサパッケージ１０４は、１つ又は複数の広視野カメラ、ＩＭＵ、気圧計、高度計、磁気計、ＧＰＳ（全地球測位システム）などを有するウェアラブルセンサパッケージである。いくつかの実施形態において、グローバルローカリゼーション（作業現場ローカリゼーションとしても参照される）は、図３に示すような、ヘルメット装着型コンパクトセンサパッケージ及びベルト装着型プロセッサから収集される情報によって達成される。具体的には、図３は、ヘルメット装着型ステレオカメラ及びＩＭＵセンサ３０２、ヘルメット装着型ディスプレイ（ＨＭＤ）拡張現実ゴーグル／グラス３０４、ベルト装着型バッテリパック３０６、及び第１のセンサパッケージ１０４のすべての他の要素をリンクさせるプロセッサ３０８を含む、グローバルローカリゼーションに使用される第１のセンサパッケージ１０４の要素を装着しているユーザを示す。

[0027]いくつかの実施形態において、標準的な一ベースの技術（例えば、ＧＰＳなど）が、ＳＬＡＭシステム２５２によって、グローバルローカリゼーションを実施するために使用されてもよい。他の実施形態においては、ＧＰＳデータ／サービスが利用可能でない場合があり、制限される場合があり、又は、拒絶される場合がある。ＧＰＳが拒絶されるか、又は、ＧＰＳが制限される環境においては、協調的ナビゲーション及びマッピング、並びに、ランドマーク又は物体検出に基づく位置検出が、ＳＬＡＭシステム２５２によって、グローバル座標系及び３Ｄコンピュータモデル座標系内でユーザをローカライズするために使用されてもよい。いくつかの実施形態において、ＧＬＳ１０２は、決定されているグローバルローカリゼーション情報を使用して、検査されている構造物の３Ｄコンピュータモデル内の対応する位置へとインデックス付けし、３Ｄコンピュータモデルのローカルエリアを抽出する３Ｄモデルアライメントシステム２５４からの機能をさらに使用することができる。次いで、３Ｄモデルアライメントシステム２５４は、第１のセンサパッケージ１０４から得られる観察結果及び／又は情報を、抽出されている構造物のモデル３Ｄコンピュータモデルのローカルエリアにアラインする。

[0028]いくつかの実施形態において、作業現場／建造地域にわたる現実世界の位置に配置されている視覚的タグ（例えば、ＱＲタイプコード、又は他の容易に識別可能な物体）が、精密なモデルとマップとの整合、改善されたマップベースの追跡、ナビゲーション、及びローカリゼーションのために使用される。タグは、最小限のオーバーヘッドで、ユーザ介入がほとんどからまったくない状態で、モデルとアラインされたマップを自動的に生成するように、ＳＬＡＭフレームワークを増強するために使用することができる。上記を達成するために、現実世界において利用可能な少数の調査点が、付随するモデル座標とともに使用される（すなわち、現実世界のタグ）。いくつかの実施形態において、少なくとも３つの日線形的な点が使用され、１つの実施形態においては、当該点は、各々から相対的に離間されており、より離れるほど良好になる。上記は通常、トータルステーション、精密な距離測定のための電気光学機器を介して達成される。いくつかの実施形態において、すべての調査点はタグとして識別され、３Ｄ－２Ｄ接合点として記憶される。調査タグに加えて、ＳＬＡＭフレームワークは環境内の非調査タグを利用することができ、非調査タグはすべて、広いベースライン及び異なるスケールにわたって照合することができる特別なランドマークとして作用する。上記目的のために、バンドル調整プロセス中、調査タグは２つの座標系（すなわち、グローバル座標系及び３Ｄモデル座標系）のグローバルアライメント及びマップの微調整に使用され、上記の副産物として、非調査タグの３Ｄコーナ座標も得られる。さらに、調査タグのサブセットを除外し、当該サブセットを非調査として扱うことによって、ＳＬＡＭシステムが、上記タグの推定座標と、隠れているが分かっているグランドトゥルースタグコーナ（すなわち、位置が分かっている調査タグ）とを比較することによって、定量的なエラー番号を得ることが可能になる。

[0029]いくつかの実施形態において、ＧＬＳ１０２はまた、１１０においてユーザによって識別される位置をマーク及び記憶し、１１２において、仮想ノートをマークされた位置と（例えば、ＰＯＳＴ－ＩＴノートの電子版と同様に）関連付けることも可能である。上記によって、ユーザは、構造物の３Ｄコンピュータモデルと関連付けられる特定の３Ｄ位置にあるノート（すなわち、テキスト、画像、音響メッセージ、ビデオメッセージなど）を作成し、取り出し、編集し、削除し、ノートを３Ｄコンピュータモデルに重ね合わせることが可能である。各マークされている位置及び関連付けられるノート（複数可）はテーブルに記憶される。モデル内の特定の位置に行き当たると、テーブルから情報が抽出され、ディスプレイ（例えば、ヘルメット装着型ディスプレイ）に表示される。

[0030]上述したように、グローバルローカリゼーションシステム（ＧＬＳ）１０２を介してユーザがローカライズされると、次のステップは、局所的測定（すなわち、モデルへのインデックス付け）を実施する前に、構造物の３Ｄコンピュータモデルを用いて同様の位置を決定することである。当該情報は、ＧＬＳ１０２によってＬＭＳ１１４に渡されなければならない。同様に、ＬＭＳ１１４によって局所的測定が実施された後、当該測定値は、グローバル座標系に配置されなければならない。ＧＬＳ１０２とＬＭＳ１１４との間の情報の当該転送を容易にするために、いくつかの実施形態において、グローバルローカリゼーションシステム（ＧＬＳ）１０２は、図１において１１５によって示されているように、有線又は無線通信プロトコルを使用して局所的測定システム（ＬＭＳ）１１４に通信可能に結合される。いくつかの実施形態において、図５に関連して下記により詳細に説明するように、ＧＬＳ１０２の要素とＬＭＳ１１４の要素との間でハンドシェイキングプロセスが実施されて、２つのシステムの間で情報がアラインされる。具体的には、図５に示すように、いくつかの実施形態において、ヘルメット装着型カメラ、センサ、及びＡＲディスプレイを含む第１のセンサパッケージ１０４は、タブレットを含む第２のセンサパッケージ１１６とハンドシェイクして、第２のセンサパッケージによって捕捉されるポーズを、第１のセンサパッケージによって捕捉されるポーズとアラインすることができる。例えば、第１のセンサパッケージ又は第２のセンサパッケージによって捕捉されるポーズは、６自由度（６ＤＯＦ）ポーズであってもよい。上記は、第１のセンサパッケージ１０４から第２のセンサパッケージ１１６へと複数の顕著な特徴（画像特徴記述子及び対応する３Ｄ点）を送信することによって達成される（図５の左の図）。タブレットサブシステム１１６は、受信される特徴（５０６及び５１０）及びタブレット画像内の照合される特徴（５０８）に基づいて３Ｄ－２Ｄ照合（図５の右の図）を実施して、タブレットカメラとヘルメットカメラとの間の６ＤＯＦポーズ変換（回転及び並進）を計算する。当該変換は、次いで、第２のセンサパッケージのポーズと、第１のセンサパッケージのポーズとをアラインするために使用される。当該ハンドシェイク手順は、第２のセンサポーズがグローバル基準フレームにアラインされることを保証するために、局所的検査のシーケンスを記録する前に、ユーザによって（例えば、タブレット上の又は第１のセンサパッケージと関連付けられるボタンを押下することによって）開始される。

[0031]ＬＭＳ１１４によって実施される局所的相対測定は、より狭い視野によって作動することによってより高い分解能をもたらす第２のセンサパッケージ１１６を使用して達成される。いくつかの実施形態において、ｍｍレベルの精度における局所的な精細レベルの相対測定に使用される第２のセンサパッケージ１１６は、図４に示すように、１つ又は複数のカメラ、三眼顕微鏡カメラ４０６ａ～ｃ、高分解能距離センサ、ＩＭＵ４１０、ＧＰＳ、視覚化、照明用発光装置４０８などを含むことができる、タブレット４０２のような手持ち式デバイスを含む。手持ち式タブレット４０２はまた、ハンドル４１４と、データを転送するための通信ケーブル４１２（すなわち、ＵＳＢケーブルなど）とを含むこともできる。構造物の一シーンの局所的再構成を、グローバルローカリゼーションの正確度（すなわち、約５～１５ｃｍレベル）でグローバル座標に配置することができる。設計図（例えば、船舶のＣＡＤモデル、建造物のＢＩＭ）が利用可能である場合、局所的再構成を設計図にアラインすることによって、正確なローカリゼーションが達成される。検査結果及びモデルとの比較を、拡張現実（ＡＲ）グラスに表示することができる。

[0032]いくつかの実施形態において、第２のセンサパッケージ１１６は、構造物に関する精細なレベルの測定値（ｍｍレベルの測定値）及び情報を得るように構成され、モデル認識システム２５６比較は、第２のセンサパッケージから構造物に関して得られる精細なレベルの測定値及び情報を、構造物の３Ｄコンピュータモデルと比較するように構成される。いくつかの実施形態において、モデル認識システム２５６は、第２のセンサパッケージから構造物に関して得られる測定値及び情報と構造物の３Ｄコンピュータモデルとの間で決定される不一致を含むコンプライアンス報告を生成するようにさらに構成される。

[0033]図２Ａ及び図２Ｂは、本開示の実施形態と一致するＣＡＩＳ１００の様々なシステム及び当該システムの他害に対する関係／相互作用の高レベルブロック図を示す。具体的には、図２Ａに示すように、ＣＡＩＳシステム１００は、ユーザＡと関連付けられる１つ又は複数のデバイス、ユーザＢと関連付けられる１つ又は複数のデバイス、及びサーバ２５０から成ることができる。上述したグローバルローカリゼーションシステム１０２が、図２Ａ内に分散して示されており、ＧＬＳ１０２のいくつかの要素は、第１のセンサパッケージ１０４の一部分であり、サーバ２５０の一部分である。同様に、上述した局所的測定システム１１４が、図２Ａ内に分散して示されており、ＬＭＳ１１４のいくつかの要素は、第２のセンサパッケージ１１６の一部分であり、サーバ２５０の一部分である。ユーザＡ、ユーザＢ、及びサーバ２５０と関連付けられるすべてのデバイスは、ネットワーク２２０を介して互いに通信可能に結合される。

[0034]ネットワーク／クラウド２２０は、ワイヤ、ケーブル、光ファイバ、及び／又は、ハブ、スイッチ、ルータなどのような様々なタイプの周知のネットワーク要素によって促進される無線リンクによってコンピュータを接続する１つ又は複数の通信システムを含む。ネットワーク２２０は、インターネットプロトコル（ＩＰ）ネットワーク又は他のパケットベースの通信ネットワークを含んでもよく、様々な周知のプロトコルを利用して、ネットワーク資源の間で情報を通信することができる。いくつかの実施形態において、ユーザＡのデバイス（すなわち、第１のセンサパッケージ１０４Ａ、及び第２のセンサパッケージ１１６Ａ）は、ＷＩＦＩ、ＢＬＵＥＴＯＯＴＨ（登録商標）、又は任意の他の無線若しくは有線通信プロトコルを通じて、互いと、ユーザＢのデバイス（すなわち、第１のセンサパッケージ１０４Ｂ、及び第２のセンサパッケージ１１６Ｂ）と、及び、サーバ２５０と直接的に通信することができる。

[0035]各第１のセンサパッケージ１０４は、中央処理装置（ＣＰＵ）２０２と、サポート回路２０４と、ディスプレイ２０６と、メモリ２０８と、地理位置情報（geolocation、ジオロケーション）追跡モジュール２１０と、仮想マーキングモジュール２１２と、モデル情報２１４とを備えることができる。

[0036]各第２のセンサパッケージ１１６は、中央処理装置（ＣＰＵ）２０２と、サポート回路２０４と、ディスプレイ２０６と、メモリ２０８と、測定モジュール２１６と、モデル比較モジュール２１８と、モデル情報２１４とを備えることができる。

[0037]サーバ２５０は、中央処理装置（ＣＰＵ）２０２と、サポート回路２０４と、ディスプレイ２０６と、メモリ２０８と、ＳＬＡＭシステム２５２と、３Ｄアライメントシステム２５４と、モデル認識システム２５６と、モデル情報２１４とを備えることができる。

[0038]ＣＰＵ２０２は、データ処理及び記憶を促進する１つ又は複数の市販のマイクロプロセッサ、マイクロコントローラ、ＦＰＧＡなどを含んでもよい。様々なサポート回路２０４は、ＣＰＵ２０２の動作を促進し、１つ又は複数のクロック回路、電源、キャッシュ、入出力デバイス及び回路などを含む。サポート回路２０４の入出力デバイスは、オーディオ入力及び出力（例えば、不一致が見つかった場所を修復するためのコマンド又は命令）を含むことができる。いくつかの実施形態において、ディスプレイ２０６は、ＧＬＳ１０２について図３に関連して図示及び説明されているような、ヘルメット装着型ディスプレイの一部分としてのＡＲディスプレイであってもよい。いくつかの実施形態において、ディスプレイ２０６は、ＬＭＳ１１４について図４に関連して図示及び説明されているような、第２のセンサパッケージ１１６の一部分としての手持ち式デバイスディスプレイ（例えば、タブレット）であってもよい。メモリ２０８は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ディスクドライブ記憶装置、光学記憶装置、取り外し可能記憶装置などのうちの少なくとも１つを含む。

[0039]動作時、ユーザＡは、第１のセンサパッケージ１０４（例えば、図３に示すような、身体に装着する機器）を使用して、作業現場（例えば、建造現場、船舶又は造船所、鉄道線路など）にわたって、グローバル座標系において５～１５ｃｍ又は約１０ｃｍ内まで、ユーザＡの位置を追跡及び地理的に定位（geolocate、ジオロケート）するために、ＧＬＳ１０２Ａの一部分としての第１のセンサパッケージ１０４Ａを使用している場合がある。第１のセンサパッケージ１０４から得られる情報は、ジオロケーション追跡モジュール２１０及びＳＬＡＭシステム２５２によって、ユーザをグローバルにローカライズするために使用される。いくつかの実施形態において、ジオロケーション追跡モジュール２１０自体が、上述したようにユーザをグローバルにローカライズするためにＳＬＡＭシステム２５２を含んでもよい。他の実施形態において、ジオロケーション追跡モジュール２１０は、サーバ２５０上のＳＬＡＭシステム２５２と通信することができ、ＳＬＡＭシステム２５２は、位置計算／決定を実施し、当該情報を第１のセンサパッケージ１０４に提供し戻す。

[0040]検査されている構造物の３Ｄコンピュータモデル内でユーザがローカライズされると、ユーザは、ユーザによって識別される位置（すなわち、座標）をマーク及び記憶し、仮想マーキングモジュール２１２を使用して、仮想ノートをマークされた位置と（例えば、ＰＯＳＴ－ＩＴノートの電子版と同様に）関連付けることができる。上記によって、ユーザは、構造物の３Ｄコンピュータモデルと関連付けられる特定の３Ｄ位置にあるノート（すなわち、テキスト、画像、音響メッセージ、ビデオメッセージなど）を作成し、取り出し、編集し、削除し、ノートを３Ｄコンピュータモデルに重ね合わせることが可能である。各マークされている位置及び関連付けられるノート（複数可）はテーブルに記憶される。モデル内の特定の位置に行き当たると、テーブルから情報が抽出され、ディスプレイ（例えば、ヘルメット装着型ディスプレイ）に表示される。ユーザＡによってマークされている位置及び関連付けられる視覚的ノートは、ユーザＢによって、ユーザＢのディスプレイ２０６を介して確認することができる。いくつかの実施形態において、ユーザＡ及びユーザＢは、現場／構造物にわたって歩き回りながら、視覚的又は聴覚的に、互いが確認するものを確認すること、及び／又は、互いに通信することが可能であり得る。

[0041]構造物の３Ｄコンピュータモデル内でユーザがローカライズされると、ユーザは、構造物のローカルエリアの局所的検査及び測定を開始することができる。ユーザは、第２のセンサパッケージによって捕捉される姿勢（pose、ポーズ）を、第１のセンサパッケージによって捕捉されるポーズとアラインするために、図５に関連して上述したハンドシェイキングプロセスを開始するために、第１のセンサパッケージ１０４又は第２のセンサパッケージ１１６上の物体を選択するか、又は、センサパッケージ上のボタンを押下することができる。当該アライメントは、サーバ２５０の３Ｄモデルアライメントモジュール２５４によって、又は、第２のセンサパッケージ１１６上でローカルに実施されてもよい。ハンドシェイキングが完了し、モデルがアラインされた後、測定モジュール２１６及び／又はモデル認識システム２５６によって局所的測定を実施することができる。次いで、測定情報が、モデル情報と比較され、不一致が決定される。

[0042]上述したように、本明細書において開示され、図１、図２Ａ及び図２Ｂに示す実施形態によって与えられる利点の少なくとも一部は、構造物の３Ｄコンピュータモデルを用いずに（例えば、ＢＩＭを用いずに）構造物及び構造物の部分の相対測定値が得られ、ｍｍ精度で３ｍ×３ｍ面積内の距離が測定されること（１１８、１２０）、ビデオ／ディスプレイ画像に重ね合わされた構造物の３Ｄコンピュータモデル（例えば、ＢＩＭ）を表示することによって、視覚的検査が実施されること（１２２、１２４）、照合するために構造物の３Ｄコンピュータモデルを用いて又は用いずに、０．１メートル～１０メートルの区画内で、限定ではないが、構造的支持要素の数、支持要素の直径／厚さ、各支持要素間の間隔、及び引張マーキングのような構造的情報を決定するために局所的検査が実施されること（１２６、１２８）、現場全体を通じてレイアウトされているマーカに対して、建造物建造現場にわたって５～１５ｃｍ内で、又は、船舶のような大型構造物内でユーザをローカライズするために作業現場ローカリゼーションが実施されること（１０６、１０８）、並びに、構造物の３Ｄコンピュータモデルと関連付けられる特定の３Ｄ位置におけるノート（テキスト、画像、オーディオメッセージ、ビデオメッセージなど）の追加及び取り出しを可能にする視覚的ノート（例えば、ＰＯＳＴ－ＩＴノートの電子版と同様の）を使用することが可能になること（１１０、１１２）を含む。

[0043]図６は、本発明の原理の一般的な実施形態による、構造物の検査、誤り分析及び比較のためのコンピュータによる検査方法６００の流れ図を示す。方法６００は、６０２において開始し、６０４に進み、第１のセンサパッケージから得られる情報を使用して、検査されている構造物に対するユーザの現実世界のグローバルローカリゼーション情報が決定される。６０６において、決定されているグローバルローカリゼーション情報が使用されて、検査されている構造物の３Ｄコンピュータモデル内の対応する位置へとインデックス付けされ、モデルの関連部分が抽出される。方法は６０８に進み、第１のセンサパッケージから得られる観察結果及び／又は情報が、構造物の３Ｄコンピュータモデルにアラインされる。

[0044]６１０において、第２のセンサパッケージから構造物に関して得られる情報を、構造物の３Ｄコンピュータモデルと比較するために、精細なレベルの測定値が、第２のセンサパッケージを使用して得られる。方法は６１２に進み、第２のセンサパッケージから構造物に関して得られる測定値及び情報と、構造物の３Ｄコンピュータモデルとの間の不一致が決定及びコンパイルされ、当該不一致又は不一致に関する情報／要約を含むコンプライアンス報告が生成される。構造物に関して得られる測定値及び情報と、構造物の３Ｄコンピュータモデルとの間で決定される不一致は、モデル内の構造的支持要素の数に対する、測定される構造的支持要素の数の差、支持要素の直径／厚さ、各支持要素間の間隔、様々な支持要素上の引張マーキング、鉄道線路及び／又は支持要素の角度などの差を含んでもよい。コンプライアンス報告は、例えば、何が測定されたか、及び、不一致がどこにあるかを含んでもよい。いくつかの実施形態において、測定データはモデルデータと比較され、所定の閾値（例えば、期待値の０．１～２５％）を超える値が、不一致としてフラグ立てされ、コンプライアンス報告に含まれてもよい。いくつかの実施形態において、測定値が所定の閾値を超える場合、誤っている要素が修復／補正及び再検査されることになる。例えば、構造的要素内に亀裂が見つかった場合、亀裂が補正されるまで、当該要素と関連付けられるすべての作業が停止する。他の例において、間隔又は軌間は、一定の許容範囲（すなわち、所定の閾値）内にある限り、許容可能と考えることができ、作業を進めることができる。いくつかの実施形態において、不一致は、ビデオ／ディスプレイ画像上に重ね合わされた構造物の３Ｄコンピュータモデル（例えば、ＢＩＭ）を表示することによって、視覚的に検出することができる（１２２、１２４）。ユーザは、上述したように視覚的ノートを用いて不一致のある領域をマークすることができる（１１０、１１２）。方法は、６１４において終了する。

[0045]図７は、本発明の原理の一般的な実施形態による、構造物の検査、誤り分析及び比較のためのコンピュータによる検査方法７００の流れ図を示す。方法７００は、７０２において開始し、７０４に進み、構造物の３Ｄコンピュータモデルが第１のセンサパッケージから受信される。７０６において、ｍｍレベルの測定値を得るように構成されている高分解能センサから得られる構造物に関する精細なレベルの測定値及び情報を使用して、構造物の３Ｄ点群表現が生成される。方法は７０８に進み、関心物体が構造物の３Ｄ点群表現内で検出され、７１０において、上記関心物体の測定値及び情報が、高分解能センサを使用して得られる。７１２において、構造物の３Ｄ点群表現が、受信されている３Ｄコンピュータモデルにアラインされる。方法は７１４に進み、図６の６１２に関連して上述したように、関心物体と、受信されている３ｄコンピュータモデルとの間で不一致が検出される。いくつかの実施形態において、不一致を検出することは、決定された不一致を含むコンプライアンス報告を生成することをさらに含む。方法は、７１６において終了する。

[0046]ここで、上述したシステム及び方法を利用する様々な使用事例を説明する。具体的には、本明細書において説明されているシステムは、２つの重要な機能、すなわち、グローバル定位及びアライメントを実施するためのＧＬＳ１０２、及び、精細な測定及び誤り検出を実施するためのＬＭＳ１１４を統合する。第１の機能は、ユーザが、広い作業現場を歩き回り、現場内で自身を約１０センチメートルの正確度でローカライズし、ウェアラブルディスプレイ上でＡＲアイコンを重ね合わせることを可能にする。１０ｃｍの精度でローカリゼーションを行うことによって、また、システムが、ユーザが介入することなくモデルを高精度タブレットビデオに自動的に照合することも可能にする。第２の機能は、ユーザが高精度且つ高正確度の測定（ミリメートルレベル）を行うことを可能にする。本明細書において使用される場合、正確度とは、測定値が標準的な又は既知の値に近いことを指し、一方、精度とは、２つ以上の測定値が互いに近いことを指す。例えば、精度とは、何かを１０回測定した場合、測定値が常に一定である（すなわち、誤っていたとしても、常に同じである）ことを意味する。一方、正確度とは、測定値が正しいことを指す。したがって、高精度且つ高正確度の測定とは、測定値がミリメートルレベルで一定であるとともに正確であることを指す。当該システム及び技法は一般的に、様々な用途に適用することができる。

[0047]典型的には、後述する使用事例において、高解像度ビデオ表示画面を有する、１ｍｍ精度の測定を行うためのステレオセンサヘッドが取り付けられているタブレットが局所的測定に使用され（ＬＭＳ１１４、すなわち第２のセンサパッケージの一部分として）、独立した頭部装着型光学シースルーディスプレイが、ユーザを５ｃｍ～約１５ｃｍの正確度又は約１０ｃｍの正確度までローカライズし、作業現場のどこにいてもユーザに拡張現実オーバーレイを提供する（ＧＬＳ１０２、すなわち、第１のセンサパッケージの一部分として）。図６及び図７に関連して上述したように、第２のセンサパッケージから得られる、構造物に関して得られる測定値及び情報と、構造物の３Ｄコンピュータモデルとの間で決定される不一致は、モデル内の構造的支持要素の数に対する、測定される構造的支持要素の数の差、支持要素の直径／厚さ、各支持要素間の間隔、様々な支持要素上の引張マーキング、鉄道線路及び／又は支持要素の角度などの差を含んでもよい。

[0048]当該技術には、多くの用途がある。１つの使用事例において、ＣＡＩＳは、鉄道線路の検査に使用される。具体的には、鉄道線路は、所定の値から１／１６インチ程度のわずかな逸脱について評価するために、毎月検査される必要がある。現在の検査手順は完全に主導であり、労働集約的で、もっぱら人間の観察及び測定に依拠する。これまで、人間が携帯するシステムから線路状態の定量的データを自動的に獲得する技術及びシステムは限られていた。本明細書において説明されているＣＡＩＳの実施形態を利用することによって、図８Ａ～図８Ｅに示すような、線路検査を自動化するためのシステムが達成される。具体的には、図８Ａに示すように、鉄道検査を自動化するためのビデオベースの３Ｄ再現及び測定システムが描写されている。いくつかの実施形態において、オペレータは、画面に表示される案内に従って、精細レベルセンサパッケージ（例えば、上述した第２のセンサパッケージ１１６など）を使用して、データ捕捉システムを用いて線路に沿ってビデオを記録する。収集されたビデオから線路の３Ｄモデルが生成され、必要な測定値を生成し、任意の領域が仕様（例えば、鉄道線路インフラストラクチャ完全性コンプライアンスマニュアル（Ｔｒａｃｋ ａｎｄ Ｒａｉｌ ａｎｄ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ Ｉｎｔｅｇｒｉｔｙ Ｃｏｍｐｌｉａｎｃｅ Ｍａｎｕａｌ）において規定されている要件／仕様）を遵守していないかを決定するために使用される。例えば、非遵守項目は、継ぎ目板の中央の亀裂又は破損、中央に亀裂が入った又は中央が破断した継ぎ目板の数、同じ位置において発生している複数の欠陥状態（例えば、板の中央に亀裂が入ることによる接合枕木の欠陥、枕木の欠陥による幾何学的欠陥など）、「鉄道線路末端のブレイクアウト（ｂｒｅａｋｏｕｔ ｉｎ ｒａｉｌ ｈｅａｄｓ）」、釘の喪失、不適切な修復（継ぎ目板が施与されるレールに対する構造的に堅固な設計及び寸法のものでない継ぎ目板の設置、又は、ＴＳＳに準拠しないレール端部における穿孔の失敗）によって引き起こされる線路欠陥、分岐器枕木の欠陥、又は、ウィング可動クロッシングに、ホールドダウンハウジングとホーン（複数可）との間に過剰な隙間をもたせる不十分な支持、車輪の外側によるウィングレールのゲージ側に対するえぐれ又は接触、重大な脱線災害を呈するほどに損傷又は摩耗している、損傷又は摩耗したスイッチ点を含み得る。

[0049]提案されている手法のシステム図が、図８Ｂに提示される。図８Ｂに示すように、当該使用事例の精細レベルセンサパッケージ１１６によるデータ収集（８０２）は、センサヘッドと、データ収集アプリケーションを作動させ、タッチスクリーンディスプレイを通じてユーザインターフェースを提供する１２インチタブレットＰＣとから構成され得る。センサは、バックパック内又はベルト上に担持することができる電池から給電される。センサヘッドは、２５ｃｍのベースライン及び５０°水平視野レンズ並びにＧＰＳ／ＩＭＵユニットを有する高精細カメラ（例えば、１９２０×１２００画素）のステレオペアを有する。

[0050]３Ｄ再現モジュール８０４は、センサパッケージ１１６によって得られる地面上の同じ領域の複数のビューを有する一連の画像から密な３Ｄ点群を生成する。３Ｄ再現モジュール８０４は最初に、入力ビデオシーケンスに対して視覚ナビゲーションを作動させて、各画像の初期ポーズ推定値を得る。当該ポーズに基づいて、画像のサブセット（キーフレーム）が、３Ｄ再現のために選択される。次に、特徴トラックが複数のフレームにわたって生成され、次いで、カメラポーズ、及び、各特徴トラックに対応する３Ｄ点位値を微調整するために、バンドル調整が作動される。バンドル調整ステップは、左右のカメラの間の相対運動が経時的に一定であり、３Ｄ再構成のスケールを固定するための較正から分かるという事実を使用する。最後に、各ステレオペアからの３Ｄ点群が集約されて、検査される領域の密な点群が生成される。３Ｄモデル２１４が、入力として視覚化測定ツール８０６に提供される。第１のステップは、レールの既知の３Ｄプロファイルに基づく、レールの自動検出である。次に、遵守しておらず、コンプライアンス報告８１０に含まれる領域を決定するために、いくつかの測定が実施される。一例として、軌間（線路の間の距離）測定について、以下のステップ、すなわち、主な線路方向がＹ軸とアラインされるように局所的な点群をアラインするステップと、線路（例えば３０ｃｍの長さ）に沿ったチャンクにレールポイントを分割し、分類されているレールポイントを通じて平面を適合させるステップと、Ｘ軸に沿ったポイント分布を使用して、局所的な接線を各レールに適合させ、各区画の中心点間の距離を測定するステップと、トラックに沿ったすべての区画について繰り返して、測定値のリストを生成するステップとが実施される。

[0051]上述したような鉄道線路及び建造現場の検査に加えて、他の適用例は、船舶、建造物、及び航空機のような大型の構造物の修復及び保守管理を含む。例えば、船舶建造の事例においては、図１～図７を参照して上述したように、システムは、ＧＬＳ１０２を使用して、第１のセンサパッケージ１０４を使用して画像特徴を獲得及び追跡し、視覚的ランドマーク、タグ、又は位置座標を船舶の事前に構築されたマップと照合することによって、船舶内でユーザをグローバルにローカライズする。第１のセンサパッケージ１０４によって獲得される情報を使用して、ＧＬＳ１０２は、船舶にわたって、図１の１０６におけるグローバル座標系において５～１５ｃｍ又は約１０ｃｍ内まで、ユーザの位置を追跡することが可能である。システムは次いで、ユーザの位置に基づいて船舶のモデルの適切な部分においてインデックス付けし、修復、保守管理において、次に何をすべきかについて命令を重ね合わせ、オーディオキューを提供することによってユーザを補助する。例えば、センサパッケージがＣＡＤモデル基準フレーム内でローカライズされると、ＣＡＤモデルからの任意の構成要素を、ディスプレイ（タブレット又は任意選択的にシースルーＨＭＤ）内で拡張現実オーバーレイとして提示することができる。当該機能は、例えば、空気ダクト、管、梁などの位置がモデル／計画と一致することを検証すること、及び、まだ構築されていない要素の位置を視覚化することなど、構築される要素を迅速に視覚的に検査することを可能にする。

[0052]ＣＡＩＳにおいて、システム１００はまた、広い領域にわたって実行される特定のステップシーケンス内で行われなければならない、例えば工場内の炉の動力停止など、緊急状況に関する訓練及び案内に使用することもできる。本発明のシステムは、視覚的（ＡＲ）命令及び音声命令によって安全及び緊急応答手順を通じてユーザを案内する。ユーザは、質問し、問題を対話的に診断することができる。システムは、ユーザによって装着されるＨＭＤ又はユーザによって担持されるタブレット／スマートフォン上で指示を重ね合わされたアニメーションを表示する。システムはさらに自動的に、ユーザの行動を観察し、警告及びフィードバックを与えることができる。

[0053]上記の記述は、説明を目的として、特定の実施形態を参照して記載されている。しかしながら、上記の例示的な論述は、排他的であることも、本発明を開示された正確な形態に限定することも意図されてはいない。上記の教示を考慮して多くの改変及び変更が可能である。実施形態は本開示の原理及び当該原理の実際の適用を最良に説明するために、結果、当業者が、本発明及び様々な実施形態を、企図される特定の使用に適し得るように様々な改変を加えて最良に利用することを可能にするように、選択及び説明されている。

[0054]図９は、１つ又は複数の実施形態に従って、コンピュータ及び／又はディスプレイを実施するために本発明の様々な実施形態において利用することができるコンピュータシステム９００を示す。

[0055]本明細書において説明されているように、踏査、検査、保守管理及び修復のような用途のために、構造物の精細なレベルの検査及び構造物の３Ｄモデルとの比較を実施するのを支援するために拡張現実及びローカリゼーション技術を使用する方法及び装置の様々な実施形態は、様々な他のデバイスと相互作用することができる、１つ又は複数のコンピュータシステム上で実行することができる。１つのそのようなコンピュータシステムは、様々な実施形態において、図１～図８Ｂに示す要素又は機能のいずれかを実施することができる、図９に示すコンピュータシステム９００である。様々な実施形態において、コンピュータシステム９００は、上述した方法を実施するように構成することができる。コンピュータシステム９００は、上述した実施形態の任意の他のシステム、デバイス、要素、機能又は方法を実施するために使用することができる。例示されている実施形態において、コンピュータシステム９００は、様々な実施形態において、方法６００及び７００を、プロセッサによって実行可能な、実行可能プログラム命令９２２（例えば、プロセッサ（複数可）９１０によって実行可能なプログラム命令）として実施するように構成することができる。

[0056]例示されている実施形態において、コンピュータシステム９００は、入出力（Ｉ／Ｏ）インターフェース９３０を介してシステムメモリ９２０に結合されている１つ又は複数のプロセッサ９１０ａ～９１０ｎを含む。コンピュータシステム９００は、Ｉ／Ｏインターフェース９３０に結合されているネットワークインターフェース９４０と、カーソル制御デバイス９６０、キーボード９７０、及びディスプレイ（複数可）９８０のような１つ又は複数の入出力デバイス９５０とをさらに含む。様々な実施形態において、上記構成要素のうちのいずれかは、システムによって、上述したユーザ入力を受信するために利用することができる。様々な実施形態において、ユーザインターフェースは、ディスプレイ９８０上に生成及び表示することができる。いくつかの事例において、実施形態は、単一インスタンスのコンピュータシステム９００を使用して実施されてもよく、一方、他の実施形態では、複数のそのようなシステム、又は、コンピュータシステム９００を構成する複数のノードが、様々な実施形態の異なる部分又はインスタンスをホストするように構成されてもよいことが企図される。例えば、１つの実施形態において、いくつかの要素は、他の要素を実施するノードとは異なるコンピュータシステム９００の１つ又は複数のノードを介して実施されてもよい。別の例において、複数のノードが、コンピュータシステム９００を分散様式で実施してもよい。

[0057]異なる実施形態において、コンピュータシステム９００は、限定ではないが、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ、ノートブック、タブレット又はネットブックコンピュータ、メインフレームコンピュータシステム、手持ち式コンピュータ、ワークステーション、ネットワークコンピュータ、カメラ、セットトップボックス、携帯デバイス、消費者デバイス、ビデオゲームコンソール、手持ち式ビデオゲームデバイス、アプリケーションサーバ、記憶デバイス、スイッチ、モデム、ルータのような周辺デバイス、又は、一般的に任意のタイプのコンピューティング若しくは電子デバイスを含む、様々なタイプのデバイスのいずれかであってもよい。

[0058]様々な実施形態においてコンピュータシステム９００は、１つのプロセッサ９１０を含む単一プロセッサシステムであってもよく、又は、いくつかのプロセッサ９１０（例えば、２つ、４つ、８つ、又は別の適切な数）を含む多重プロセッサシステムであってもよい。プロセッサ９１０は、命令を実行することが可能な任意の適切なプロセッサであってもよい。例えば、様々な実施形態において、プロセッサ９１０は、様々な命令セットアーキテクチャ（ＩＳＡ）のいずれかを実施する汎用又は内蔵プロセッサであってもよい。多重プロセッサシステムにおいて、プロセッサ９１０の各々は、必ずしもそうである必要はないが、共通して、同じＩＳＡを実施してもよい。

[0059]システムメモリ９２０は、プロセッサ９１０によってアクセス可能なプログラム命令９２２及び／又はデータ９３２を記憶するように構成することができる。様々な実施形態において、システムメモリ９２０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、同期型ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、又は任意の他のタイプのメモリのような、任意の適切なメモリ技術を使用して実施されてもよい。例示されている実施形態において、上述した実施形態の要素のいずれかを実施するプログラム命令及びデータは、システムメモリ９２０内に記憶することができる。他の実施形態において、プログラム命令及び／又はデータは、種々のタイプのコンピュータアクセス可能媒体又はシステムメモリ９２０若しくはコンピュータシステム９００とは別個の同様の媒体上で受信、送信又は記憶されてもよい。

[0060]１つの実施形態において、Ｉ／Ｏインターフェース９３０は、プロセッサ９１０と、システムメモリ９２０と、ネットワークインターフェース９４０、又は、入出力デバイス９５０のような他の周辺インターフェースを含む、デバイス内の任意の周辺デバイスとの間でＩ／Ｏトラフィックを調整するように構成することができる。いくつかの実施形態において、Ｉ／Ｏインターフェース９３０は、任意の必要なプロトコル、タイミング又は他のデータ変換を実施して、１つの構成要素（例えば、システムメモリ９２０）からのデータ信号を、別の構成要素（例えば、プロセッサ９１０）によって使用するのに適したフォーマットに変換することができる。いくつかの実施形態において、Ｉ／Ｏインターフェース９３０は、例えば、周辺構成要素相互接続（ＰＣＩ）バス規格又はユニバーサルシリアルバス（ＵＳＢ）規格の変形のような、様々なタイプの周辺バスを通じて取り付けられるデバイスのサポートを含むことができる。いくつかの実施形態において、Ｉ／Ｏインターフェース９３０の機能は、例えば、ノースブリッジ及びサウスブリッジのような、２つ以上の別個の構成要素に分割することができる。また、いくつかの実施形態において、システムメモリ９２０へのインターフェースのような、Ｉ／Ｏインターフェース９３０の機能の一部又は全部は、プロセッサ９１０に直に組み込まれてもよい。

[0061]ネットワークインターフェース９４０は、データが、コンピュータシステム９００と、１つ若しくは複数の外部システムのようなネットワーク（例えば、ネットワーク９９０）に取り付けられている他のデバイスとの間、又は、コンピュータシステム９００のノードの間で交換されることを可能にするように構成することができる。様々な実施形態において、ネットワーク９９０は、限定ではないが、ローカルエリアネットワーク（ＬＡＮ）（例えば、Ｅｔｈｅｒｎｅｔ［登録商標］又は企業ネットワーク）、広域ネットワーク（ＷＡＮ）（例えば、インターネット）、無線データネットワーク、何らかの他の電子データネットワーク、又は上記の何らかの組合せを含む、１つ又は複数のネットワークを含んでもよい。様々な実施形態において、ネットワークインターフェース９４０は、例えば、デジタルファイバ通信ネットワークを介する、ファイバチャネルＳＡＮのようなストレージエリアネットワークを介する、又は、任意の他の適切なタイプのネットワーク及び／若しくはプロトコルを介するなど、任意の適切なタイプのＥｔｈｅｒｎｅｔネットワークのような、有線又は無線一般データネットワークを介する通信をサポートすることができる。

[0062]入出力デバイス９５０は、いくつかの実施形態において、１つ又は複数のディスプレイ端子、キーボード、キーパッド、タッチパッド、走査デバイス、音声若しくは工学認識デバイス、又は、１つ若しくは複数のコンピュータシステム９００によってデータを入力若しくはアクセスするのに適した任意の他のデバイスを含んでもよい。複数の入出力デバイス９５０が、コンピュータシステム９００内に存在してもよく、又は、コンピュータシステム９００の様々なノードに分散されてもよい。いくつかの実施形態において、同様の入出力デバイスが、コンピュータシステム９００とは別個のものであってもよく、ネットワークインターフェース９４０などを介して、有線又は無線接続を通じてコンピュータシステム９００の１つ又は複数のノードと相互作用することができる。

[0063]いくつかの実施形態において、例示されているコンピュータシステムは、図６及び図７の流れ図によって示されている方法のような、上述した動作及び方法のいずれかを実施してもよい。他の実施形態において、異なる要素及びデータが含まれてもよい。

[0064]コンピュータシステム９００は例示に過ぎず、実施形態の範囲を限定するようには意図されていないことが、当業者には諒解されよう。特に、コンピュータシステム及びデバイスは、コンピュータ、ネットワークデバイス、インターネット家電、ＰＤＡ、無線電話機、ページャなどを含む、様々な実施形態の示されている機能を実施することができるハードウェア又はソフトウェアの任意の組合せを含んでもよい。コンピュータシステム９００はまた、例示されていない他のデバイスにも接続されてもよく、又は代わりに、独立型システムとして動作してもよい。加えて、例示されている構成要素によって提供される機能は、いくつかの実施形態において、より少数の構成要素の中で組み合わされてもよく、又は、追加の構成要素の中で分散されてもよい。同様に、いくつかの実施形態において、例示されている構成要素のうちの一部の機能は提供されなくてもよく、及び／又は、他の追加の機能が利用可能であってもよい。

[0065]様々な項目が、使用されている間にメモリ内又はストレージ上に記憶されるものとして例示されているが、当該項目又は項目の部分は、メモリ管理及びデータ完全性の目的のために、メモリと他の記憶デバイスとの間で転送されてもよいことも、当業者には諒解されよう。代替的に、他の実施形態において、ソフトウェア構成要素の一部又は全部は、別のデバイス上のメモリ内で実行してもよく、コンピュータ間通信を介して、例示されているコンピュータシステムと通信してもよい。システム構成要素又はデータ構造の一部又は全部はまた、様々な例が上述されている適切なデバイスによって読み出されるように、コンピュータアクセス可能媒体又は携帯物品に（例えば、命令又は構造化データとして）記憶されてもよい。いくつかの実施形態において、コンピュータシステム９００とは別個のコンピュータアクセス可能媒体に記憶される命令は、ネットワーク及び／又は無線リンクのような通信媒体を介して搬送される、電気信号、電磁信号、又はデジタル信号のような伝送媒体又は信号を介して、コンピュータシステム９００に送信されてもよい。様々な実施形態は、コンピュータアクセス可能媒体上で又は通信媒体を介して上記の説明に従って実施される命令及び／又はデータを受信、送信又は記憶することをさらに含んでもよい。概して、コンピュータアクセス可能媒体は、例えば、ディスク又はＤＶＤ／ＣＤ－ＲＯＭなどの磁気又は光学媒体、ＲＡＭ（例えば、ＳＤＲＡＭ、ＤＤＲ、ＲＤＲＡＭ、ＳＲＡＭなど）、ＲＯＭなどのような揮発性又は不揮発性媒体のような、記憶媒体又はメモリ媒体を含んでもよい。

[0066]本明細書において記載されている方法は、種々の実施形態において、ソフトウェア、ハードウェア、又は上記の組合せにおいて実施されてもよい。加えて、方法の順序は変更されてもよく、様々な要素が、追加、順序変更、組合せ、省略、又は他の様態で改変されてもよい。本明細書において記載されているすべての例は、非限定的に提示されている。様々な改変及び変更が、本開示の利点を得る当業者には明らかになり得る。実施形態による実現が、特定の実施形態の文脈において記載されている。当該実施形態は、限定ではなく例示であるように意図されている。多くの変形、改変、追加、及び改善が可能である。したがって、本明細書において単一のインスタンスとして記載されている構成要素に対して、複数のインスタンスが提供されてもよい。様々な構成要素、動作及びデータストアの間の境界は任意裁量によるものであり、特定の動作は、特定の例示的な構成の文脈において示されている。機能の他の配分が想定され、添付の特許請求項の範囲内に入り得る。最後に、例示的な構成において個別の構成要素として提示されている構造及び機能は、組み合わされた構造又は構成要素として実施されてもよい。これらの及び他の変形、改変、追加、及び改善は、添付の特許請求項において規定されているような実施形態の範囲内に入り得る。

[0067]上記の説明において、本開示のより完全な理解を提供するために、多数の具体的な詳細、例、及びシナリオが記載されている。しかしながら、本開示の実施形態はそのような具体的な詳細なしに実践され得ることが諒解されよう。さらに、そのような例及びシナリオは例示のために提供されており、決して本開示を限定するようには意図されていない。当業者であれば、含まれている説明によって、必要以上の実験を行うことなく適切な機能を実施することが可能なはずである。

[0068]本明細書における「一実施形態」などへの参照は、記載されている実施形態が、特定の特徴、構造、又は特性を含み得ることを示すが、すべての実施形態が必ずしも当該特定の特徴、構造、又は特性を含んでいなくてもよい。上記語句は必ずしも同じ実施形態を参照しているとは限らない。さらに、特定の特徴、構造、又は特性が一実施形態に関連して記載されているとき、明示的に示されているか否かにかかわらず、当該特徴、構造、又は特性が他の実施形態に関連して影響を及ぼすことは、当業者の知識の範囲内であると考えられる。

[0069]本開示による実施形態は、ハードウェア、ファームウェア、ソフトウェア、又は上記の任意の組合せにおいて実施されてもよい。実施形態はまた、１つ又は複数のプロセッサによって読み出され、実行され得る、１つ又は複数の機械可読媒体を使用して記憶される命令として実施されてもよい。機械可読記憶媒体は、機械（例えば、コンピューティングデバイス、又は、１つ若しくは複数のコンピューティングデバイス上で作動する「仮想機械」）によって読み出し可能な形態で情報を記憶又は送信するための任意のメカニズムを含んでもよい。例えば、機械可読媒体は、任意の適切な形態の揮発性又は不揮発性メモリを含んでもよい。
［発明の項目］
［項目１］
構造物の検査、誤り分析及び比較のためのコンピュータによる検査システムであって、
第１のセンサパッケージから得られる情報を使用して、検査されている構造物に対する、ユーザの現実世界のグローバルローカリゼーション情報を決定するように構成されている、スラム（ＳＬＡＭ）システムと、
モデルアライメントシステムであり、
決定されている前記グローバルローカリゼーション情報を使用して、前記検査されている構造物の３次元コンピュータモデル内の対応する位置へとインデックス付けし、前記３次元コンピュータモデルのローカルエリアを抽出することと、
前記第１のセンサパッケージから得られる観察結果及び／又は情報を、抽出されている前記構造物の前記モデル３次元コンピュータモデルの前記ローカルエリアにアラインすることと
を行うように構成されている、モデルアライメントシステムと、
前記構造物に関する精細なレベルの測定値及び情報を得るように構成されている第２のセンサパッケージと、
前記第２のセンサパッケージから前記構造物に関して得られる前記精細なレベルの測定値及び前記情報を、前記構造物の前記３次元コンピュータモデルと比較するように構成されているモデル認識システムと
を備える、コンピュータによる検査システム。
［項目２］
前記モデル認識システムが、前記第２のセンサパッケージから前記構造物に関して得られる前記測定値及び前記情報と前記構造物の前記３次元コンピュータモデルとの間で決定される不一致を含むコンプライアンス報告を生成するようにさらに構成されている、項目１に記載のコンピュータによる検査システム。
［項目３］
所定のエラー閾値を超える不一致が、前記コンプライアンス報告に含まれる、項目２に記載のコンピュータによる検査システム。
［項目４］
前記グローバルローカリゼーション情報が、前記ユーザを、前記構造物が位置する作業現場にわたって約５ｃｍ～約１５ｃｍ内までローカライズする、項目１に記載のコンピュータによる検査システム。
［項目５］
前記構造物に関する前記精細なレベルの測定値及び前記情報が、ミリメートルの精度及び／又は正確度レベルにある、項目１に記載のコンピュータによる検査システム。
［項目６］
前記第１のセンサパッケージが、カメラと、慣性測定ユニット（ＩＭＵ）、気圧計、高度計、又は全地球測位システムデバイスのうちの少なくとも１つとを含む、項目１～５のいずれか一項に記載のコンピュータによる検査システム。
［項目７］
前記第２のセンサパッケージが、ｍｍレベルの測定値を得るように構成されている視野の狭い１つ又は複数の高分解能センサを含む、項目１～５のいずれか一項に記載のコンピュータによる検査システム。
［項目８］
前記第１のセンサパッケージが、ヘルメット装着型拡張現実（ＡＲ）ディスプレイを含み、前記３次元コンピュータモデルが前記拡張現実ディスプレイに重ね合わされ、前記システムが、前記ユーザによって識別される前記モデル内の位置をマーク及び記憶し、仮想ノートをマークされている前記位置と関連付けるように構成されている、項目１～５のいずれか一項に記載のコンピュータによる検査システム。
［項目９］
前記第２のセンサパッケージが、ディスプレイを有する手持ち式デバイスを含み、前記手持ち式デバイスが、選択可能な物体を含み、前記選択可能な物体が、前記物体の選択に応答して前記構造物のローカルエリアの検査及び測定を開始するように構成されている、項目８に記載のコンピュータによる検査システム。
［項目１０］
前記第１のセンサパッケージが、前記手持ち式デバイスと通信可能にハンドシェイクして、前記手持ち式デバイスによって捕捉されるポーズを、前記第１のセンサパッケージによって捕捉される前記ポーズとアラインするように構成されている、項目８に記載のコンピュータによる検査システム。
［項目１１］
前記第１のセンサパッケージ及び／又は前記手持ち式デバイスによって捕捉される前記ポーズが、６自由度（６ＤＯＦ）ポーズであり、ハンドシェイクが、前記第１のセンサパッケージから前記手持ち式デバイスへと複数の顕著な特性を送信することによって達成される、項目１０に記載のコンピュータによる検査システム。
［項目１２］
前記第１のセンサパッケージ及び前記第２のセンサパッケージが、同じセンサの一部を共有する、項目１～５のいずれか一項に記載のコンピュータによる検査システム。
［項目１３］
前記スラムシステムが、既知の位置を有する現実世界タグを使用して、前記ユーザをローカライズする、項目１～５のいずれか一項に記載のコンピュータによる検査システム。
［項目１４］
前記スラムシステムが、全地球測位システムが拒絶されるか、又は、全地球測位システムが制限される環境において、前記ユーザに関するローカリゼーション情報を決定するように構成されている、項目１～５のいずれか一項に記載のコンピュータによる検査システム。
［項目１５］
前記モデルアライメントシステムが、前記構造物の点群モデルを、前記３次元コンピュータモデルとアラインするようにさらに構成されており、前記構造物の点群モデルが、前記第１のセンサパッケージ又は前記第２のセンサパッケージのうちの少なくとも一方から得られる前記測定値及び前記情報から作成される、項目１～５のいずれか一項に記載のコンピュータによる検査システム。
［項目１６］
構造物の検査、誤り分析及び比較のためのコンピュータによる検査方法であって、
第１のセンサパッケージから得られる情報を使用して、検査されている構造物に対する、ユーザの現実世界のグローバルローカリゼーション情報を決定するステップと、
決定されている前記グローバルローカリゼーション情報を使用して、前記検査されている構造物の３次元コンピュータモデル内の対応する位置へとインデックス付けし、前記モデルの関連部分を抽出するステップと、
前記第１のセンサパッケージから得られる観察結果及び／又は情報を、前記構造物の前記３次元コンピュータモデルにアラインするステップと、
精細なレベルの測定値を、第２のセンサパッケージを使用して得て、前記第２のセンサパッケージから前記構造物に関して得られる情報を、前記構造物の前記３次元コンピュータモデルと比較するステップと
を含む、コンピュータによる検査方法。
［項目１７］
前記第２のセンサパッケージの高分解能センサから得られる前記構造物に関するｍｍレベルの測定値及び情報を使用して、前記構造物の３次元点群表現を生成するステップと、
関心物体を前記構造物の前記３次元点群表現内で検出し、前記関心物体の測定値及び情報を、前記高分解能センサを使用して得るステップと、
前記構造物の前記３次元点群表現を、受信されている前記３次元コンピュータモデルにアラインするステップと、
前記関心物体と受信されている前記３次元コンピュータモデルとの間の不一致を検出するステップと
をさらに含む、項目１６に記載のコンピュータによる検査方法。
［項目１８］
前記関心物体と受信されている前記３次元コンピュータモデルとの間に検出された前記不一致を含むコンプライアンス報告を生成するステップをさらに含む、項目１６に記載のコンピュータによる検査方法。
［項目１９］
前記３次元コンピュータモデル内でユーザによって識別される位置をマーク及び記憶し、仮想ノートをマークされている前記位置と関連付けるステップと、
任意のユーザが見るために視覚的に表示されるように、前記仮想ノートを前記３次元コンピュータモデルに重ね合わせるステップと
をさらに含む、項目１６に記載のコンピュータによる検査方法。
［項目２０］
構造物の検査、誤り分析及び比較のためのコンピュータによる検査方法であって、
精細レベルセンサパッケージを使用して構造物のビデオ、画像及び／又は測定値のうちの１つ又は複数を得るステップと、
得られている前記ビデオ、画像及び／又は測定値を使用して、前記構造物の３次元点群モデルを生成するステップと、
前記構造物の仕様及び／又は要件を遵守していないすべての領域を決定するステップと、
遵守していない前記領域及び問題を含むコンプライアンス報告を生成するステップと
を含む、コンピュータによる検査方法。

Claims (19)

1. 構造物の検査、誤り分析及び比較のためのコンピュータによる検査システムであって、
   第１のセンサパッケージから得られる情報を使用して、検査されている構造物に対する、ユーザの現実世界のグローバルローカリゼーション情報を決定するように構成されている、スラム（ＳＬＡＭ）システムと、
   モデルアライメントシステムであり、
   決定されている前記グローバルローカリゼーション情報を使用して、前記検査されている構造物の３次元コンピュータモデル内の対応する位置へとインデックス付けし、前記３次元コンピュータモデルのローカルエリアを抽出することと、
   前記第１のセンサパッケージから得られる観察結果及び／又は情報を、抽出されている前記構造物の前記３次元コンピュータモデルの前記ローカルエリアにアラインすることと
   を行うように構成されている、モデルアライメントシステムと、
   前記構造物に関するｍｍレベルの測定値及び情報を得るように構成されている第２のセンサパッケージと、
   前記第２のセンサパッケージから前記構造物に関して得られる前記ｍｍレベルの測定値及び前記情報を、前記構造物の前記３次元コンピュータモデルと比較するように構成されているモデル認識システムと
   を備える、コンピュータによる検査システム。
2. 前記モデル認識システムが、前記第２のセンサパッケージから前記構造物に関して得られる前記測定値及び前記情報と前記構造物の前記３次元コンピュータモデルとの間で決定される不一致を含むコンプライアンス報告を生成するようにさらに構成されている、請求項１に記載のコンピュータによる検査システム。
3. 所定のエラー閾値を超える不一致が、前記コンプライアンス報告に含まれる、請求項２に記載のコンピュータによる検査システム。
4. 前記グローバルローカリゼーション情報が、前記ユーザを、前記構造物が位置する作業現場にわたって５ｃｍ～１５ｃｍ内までローカライズする、請求項１に記載のコンピュータによる検査システム。
5. 前記構造物に関する前記ｍｍレベルの測定値及び前記情報が、ミリメートルの精度及び／又は正確度レベルにある、請求項１に記載のコンピュータによる検査システム。
6. 前記第１のセンサパッケージが、カメラと、慣性測定ユニット（ＩＭＵ）、気圧計、高度計、又は全地球測位システムデバイスのうちの少なくとも１つとを含む、請求項１～５のいずれか一項に記載のコンピュータによる検査システム。
7. 前記第２のセンサパッケージが、ｍｍレベルの測定値を得るように構成されている視野の狭い１つ又は複数の高分解能センサを含む、請求項１～５のいずれか一項に記載のコンピュータによる検査システム。
8. 前記第１のセンサパッケージが、ヘルメット装着型の拡張現実（ＡＲ）ディスプレイを含み、前記３次元コンピュータモデルが前記拡張現実ディスプレイに重ね合わされ、前記システムが、前記ユーザによって識別される前記モデル内の位置をマーク及び記憶し、仮想ノートをマークされている前記位置と関連付けるように構成されている、請求項１～５のいずれか一項に記載のコンピュータによる検査システム。
9. 前記第２のセンサパッケージが、ディスプレイを有する手持ち式デバイスを含み、前記手持ち式デバイスが、選択可能な物体を含み、前記選択可能な物体が、前記物体の選択に応答して前記構造物のローカルエリアの検査及び測定を開始するように構成されている、請求項８に記載のコンピュータによる検査システム。
10. 前記第１のセンサパッケージが、前記手持ち式デバイスと通信可能にハンドシェイクして、前記手持ち式デバイスによって捕捉されるポーズを、前記第１のセンサパッケージによって捕捉される前記ポーズとアラインするように構成されている、請求項９に記載のコンピュータによる検査システム。
11. 前記第１のセンサパッケージ及び／又は前記手持ち式デバイスによって捕捉される前記ポーズが、６自由度（６ＤＯＦ）ポーズであり、ハンドシェイクが、前記第１のセンサパッケージから前記手持ち式デバイスへと複数の顕著な特性を送信することによって達成される、請求項１０に記載のコンピュータによる検査システム。
12. 前記第１のセンサパッケージ及び前記第２のセンサパッケージが、同じセンサの一部を共有する、請求項１～５のいずれか一項に記載のコンピュータによる検査システム。
13. 前記スラムシステムが、既知の位置を有する現実世界タグを使用して、前記ユーザをローカライズする、請求項１～５のいずれか一項に記載のコンピュータによる検査システム。
14. 前記スラムシステムが、全地球測位システムが拒絶されるか、又は、全地球測位システムが制限される環境において、前記ユーザに関するローカリゼーション情報を決定するように構成されている、請求項１～５のいずれか一項に記載のコンピュータによる検査システム。
15. 前記モデルアライメントシステムが、前記構造物の点群モデルを、前記３次元コンピュータモデルとアラインするようにさらに構成されており、前記構造物の点群モデルが、前記第１のセンサパッケージ又は前記第２のセンサパッケージのうちの少なくとも一方から得られる前記測定値及び前記情報から作成される、請求項１～５のいずれか一項に記載のコンピュータによる検査システム。
16. 構造物の検査、誤り分析及び比較のためのコンピュータによる検査方法であって、
    第１のセンサパッケージから得られる情報を使用して、検査されている構造物に対する、ユーザの現実世界のグローバルローカリゼーション情報を決定するステップと、
    決定されている前記グローバルローカリゼーション情報を使用して、前記検査されている構造物の３次元コンピュータモデル内の対応する位置へとインデックス付けし、前記モデルの関連部分を抽出するステップと、
    前記第１のセンサパッケージから得られる観察結果及び／又は情報を、前記構造物の前記３次元コンピュータモデルにアラインするステップと、
    ｍｍレベルの測定値を、第２のセンサパッケージを使用して得て、前記第２のセンサパッケージから前記構造物に関して得られる情報を、前記構造物の前記３次元コンピュータモデルと比較するステップと
    を含む、コンピュータによる検査方法。
17. 前記第２のセンサパッケージの高分解能センサから得られる前記構造物に関するｍｍレベルの測定値及び情報を使用して、前記構造物の３次元点群表現を生成するステップと、
    関心物体を前記構造物の前記３次元点群表現内で検出し、前記関心物体の測定値及び情報を、前記高分解能センサを使用して得るステップと、
    前記構造物の前記３次元点群表現を、受信されている前記３次元コンピュータモデルにアラインするステップと、
    前記関心物体と受信されている前記３次元コンピュータモデルとの間の不一致を検出するステップと
    をさらに含む、請求項１６に記載のコンピュータによる検査方法。
18. 前記関心物体と受信されている前記３次元コンピュータモデルとの間に検出された前記不一致を含むコンプライアンス報告を生成するステップをさらに含む、請求項１７に記載のコンピュータによる検査方法。
19. 前記３次元コンピュータモデル内でユーザによって識別される位置をマーク及び記憶し、仮想ノートをマークされている前記位置と関連付けるステップと、
    任意のユーザが見るために視覚的に表示されるように、前記仮想ノートを前記３次元コンピュータモデルに重ね合わせるステップと
    をさらに含む、請求項１６に記載のコンピュータによる検査方法。

Images