JP7421895B2 - 物体に対する不適合データを可視化するための拡張現実システム - Google Patents
物体に対する不適合データを可視化するための拡張現実システム Download PDFInfo
- Publication number
- JP7421895B2 JP7421895B2 JP2019181906A JP2019181906A JP7421895B2 JP 7421895 B2 JP7421895 B2 JP 7421895B2 JP 2019181906 A JP2019181906 A JP 2019181906A JP 2019181906 A JP2019181906 A JP 2019181906A JP 7421895 B2 JP7421895 B2 JP 7421895B2
- Authority
- JP
- Japan
- Prior art keywords
- computing device
- physical object
- portable computing
- augmented reality
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims description 122
- 238000000034 method Methods 0.000 claims description 89
- 238000004519 manufacturing process Methods 0.000 claims description 57
- 239000002131 composite material Substances 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 5
- 239000004984 smart glass Substances 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 4
- 239000000969 carrier Substances 0.000 claims 2
- 230000008569 process Effects 0.000 description 53
- 238000012423 maintenance Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 30
- 230000000875 corresponding effect Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000007689 inspection Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 9
- 230000002085 persistent effect Effects 0.000 description 8
- 238000011960 computer-aided design Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000011230 binding agent Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009419 refurbishment Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000032798 delamination Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
- B64F5/10—Manufacturing or assembling aircraft, e.g. jigs therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
- B64F5/60—Testing or inspecting aircraft components or systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Manufacturing & Machinery (AREA)
- Aviation & Aerospace Engineering (AREA)
- Transportation (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Description
条項1.
物理的な物体(204)に対する不適合データ(210)を可視化するための拡張現実システム(212)であって、
センサシステム(232)及び表示システム(226)を有する、携帯可能計算デバイス(214)であって、前記携帯可能計算デバイス(214)及び前記センサシステム(232)が、製造(236)のフェーズにおいて前記物理的な物体(204)に対する空間内のポイントを表す走査データ(230)を生成するように構成されている、携帯可能計算デバイス(214)、
実行されたときに、前記走査データ(230)を使用して前記物理的な物体(204)の領域(240)の表面輪郭の点群表現(242)を生成する、走査アプリケーション(218)、
実行されたときに、前記物理的な物体(204)の前記領域(240)に対する前記点群表現(242)を使用して、画定された座標立方体(246)内の前記物理的な物体(204)の前記領域(240)のモデル(244)を生成する、モデル化アプリケーション(220)、
実行されたときに、前記携帯可能計算デバイス(214)を、位置目標(250)に基づいて、前記画定された座標立方体(246)内の前記物理的な物体(204)の前記領域(240)の前記モデル(244)に位置決めし、前記物理的な物体(204)に対する前記携帯可能計算デバイス(214)の位置(248)を特定する、位置決めアプリケーション(222)、並びに
実行されたときに、
前記物理的な物体(204)上の不適合位置(208)に対応する点(234)を前記画定された座標立方体(246)内にプロットし、
前記携帯可能計算デバイス(214)によって取得された前記物理的な物体(204)の前記領域(240)の画像(238)内で視認可能な前記画定された座標立方体(246)内でプロットされた前記点(234)のサブセット(254)であって、前記携帯可能計算デバイス(214)の前記位置(248)から見たときに、物理的な物体の構造物を超えて位置付けられていると判定されたプロットされた点を排除するサブセット(254)を決定し、
前記携帯可能計算デバイス(214)内の前記表示システム(226)上で表示される前記画像(238)内の前記物理的な物体(204)に対する前記不適合位置(208)のサブセット(256)に関連付けて、前記画像(238)内で視認可能な前記点(234)の前記サブセット(254)に対する前記不適合データ(210)を表示する、拡張現実アプリケーション(224)を備える、拡張現実システム(212)。
条項2.
前記携帯可能計算デバイス(214)内の前記表示システム(226)上で表示される前記画像(238)内の前記物理的な物体(204)に対する前記不適合位置(208)の前記サブセット(256)に関連付けて、前記画像(238)内で視認可能な前記点(234)の前記サブセット(254)に対する前記不適合データ(210)を表示することにおいて、前記拡張現実アプリケーション(224)が、前記物理的な物体(204)の前記領域(240)の前記画像(238)内の視界から隠される前記不適合位置(208)に対する前記不適合データ(210)を表示することなしに、前記携帯可能計算デバイス(214)内の前記表示システム(226)上に表示される前記画像(238)内の前記物理的な物体(204)に対する前記不適合位置(208)の前記サブセット(256)に関連付けて、前記画像(238)内で視認可能な前記点(234)の前記サブセット(254)に対する前記不適合データ(210)を表示する、条項1に記載の拡張現実システム(212)。
条項3.
前記携帯可能計算デバイス(214)によって取得された前記物理的な物体(204)の前記領域(240)の画像(238)内で視認可能な前記画定された座標立方体(246)内でプロットされた前記点(234)の前記サブセット(254)であって、前記携帯可能計算デバイス(214)の前記位置(248)から見たときに、前記物理的な物体の構造物を超えて位置付けられていると判定されたプロットされた点を排除する前記サブセット(254)を決定することにおいて、前記拡張現実アプリケーション(224)が、前記不適合位置(208)に対する前記画定された座標立方体(246)内にプロットされた前記点(234)のうちのどれが、前記画像(238)内の前記物理的な物体の構造物を所定の距離以上超えて位置付けられており、前記位置(248)にある前記携帯可能計算デバイス(214)からの視界から隠されるかを決定し、前記物理的な物体の構造物を前記所定の距離以上超えているこれらの点が、前記点(234)の前記サブセット(254)から排除される、条項1に記載の拡張現実システム(212)。
条項4.
前記物理的な物体(204)が航空機構造物であり、前記携帯可能計算デバイス(214)の前記位置(248)において前記携帯可能計算デバイス(214)によって取得された前記物理的な物体(204)の前記領域(240)の画像(238)内で視認可能な前記画定された座標立方体(246)内でプロットされた前記点(234)の前記サブセット(254)を決定することにおいて、前記拡張現実アプリケーション(224)が、表示される航空機構造物からの各不適合位置の距離が、視界から隠される前記不適合位置に対応する所定の距離を超えていると判定する、条項1に記載の拡張現実システム(212)。
条項5.
前記携帯可能計算デバイス(214)を、前記画定された座標立方体(246)内の前記物理的な物体(204)の前記領域(240)の前記モデル(244)に位置決めし、前記物理的な物体(204)に対する前記携帯可能計算デバイス(214)の位置(248)を特定することにおいて、前記位置決めアプリケーション(222)が、前記物理的な物体(204)に対する位置目標(250)を位置特定し、前記位置目標(250)の目標位置(252)を使用して前記携帯可能計算デバイス(214)を前記画定された座標立方体(246)内の前記物理的な物体(204)の前記領域(240)の前記モデル(244)に位置決めし、前記物理的な物体(204)に対する前記携帯可能計算デバイス(214)の前記位置(248)を特定する、条項1に記載の拡張現実システム(212)。
条項6.
前記拡張現実アプリケーション(224)が、実行されたときに、前記携帯可能計算デバイス(214)が、パノラミックビュー向けに選択された距離より大きいかどうかを判定し、前記画定された座標立方体(246)内の前記不適合位置(208)の全てに対する前記点(234)を表示して、前記不適合位置(208)の全てのパノラミックビューを提供する、条項1に記載の拡張現実システム(212)。
条項7.
前記拡張現実アプリケーション(224)が、実行されたときに、時間情報に基づいて前記不適合データ(210)をフィルタして、歴史的な不適合データ(210)又はアクティブな不適合データ(210)のうちの少なくとも一方を表示する、条項1に記載の拡張現実システム(212)。
条項8.
前記点(234)の前記サブセット(254)に対する前記不適合データ(210)が、ライブの不適合データ(210)である、条項1に記載の拡張現実システム(212)。
条項9.
前記物理的な物体(204)上の前記不適合位置(208)を受け取るように構成されたインターフェースを更に備える、条項1に記載の拡張現実システム(212)。
条項10.
前記センサシステム(232)が、三次元スキャナ、カメラ、全地球測位システム受信器、構造化された光三次元スキャナ、ライダーシステム、レーザースキャナ、コノスコープホノグラフシステム、又は飛行時三次元スキャナのうちの少なくとも1つを備える、条項1に記載の拡張現実システム(212)。
条項11.
前記携帯可能計算デバイス(214)が、携帯電話、タブレットコンピュータ、頭部装着デバイス、及びスマート眼鏡を含む、群から選択される、条項1に記載の拡張現実システム(212)。
条項12.
前記物理的な物体(204)が、移動プラットフォーム、固定プラットフォーム、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、民間航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、航空機構造物、主翼、胴体セクション、エンジンハウジング、エンジン、複合材パネル、壁、外板、及び椅子を含む、群から選択される、条項1に記載の拡張現実システム(212)。
条項13.
物理的な物体(204)に対する不適合データ(210)を可視化するための拡張現実システム(212)であって、
物理的な物体(204)の画像(238)を取得するように構成された携帯可能計算デバイス(214)と、
前記携帯可能計算デバイス(214)によって実行されたときに、前記物理的な物体(204)上の不適合位置(208)に対応する点(234)を画定された座標立方体(246)内にプロットし、前記携帯可能計算デバイス(214)の位置(248)において前記携帯可能計算デバイス(214)によって取得された前記画像(238)内で視認可能な前記物理的な物体(204)の領域(240)に対応する前記画定された座標立方体(246)内でプロットされた前記点(234)のサブセット(254)であって、前記画像(238)内の前記物理的な物体(204)の物理的な物体の構造物によって視界から隠される不適合位置(208)を排除する前記点(234)のサブセット(254)を決定し、前記携帯可能計算デバイス(214)内の表示システム(226)上に表示される前記画像(238)内の前記物理的な物体(204)に対する前記不適合位置(208)のサブセット(256)に関連付けて、前記画像(238)内で視認可能な前記点(234)の前記サブセット(254)に対する前記不適合データ(210)を表示する、拡張現実アプリケーション(224)とを備える、拡張現実システム(212)。
条項14.
前記携帯可能計算デバイス(214)が、製造(236)のフェーズにおいて前記物理的な物体(204)に対する空間内の点(234)を表す走査データ(230)を生成するように構成された、センサシステム(232)を含み、
前記拡張現実システム(212)が更に、
実行されたときに、前記走査データ(230)を使用して前記物理的な物体(204)の領域(240)の表面輪郭の点群表現(242)を生成する、走査アプリケーション(218)と、
実行されたときに、前記物理的な物体(204)の前記領域(240)に対する前記点群表現(242)を使用して、画定された座標立方体(246)内の前記物理的な物体(204)の前記領域(240)のモデル(244)を生成する、モデル化アプリケーション(220)と、
実行されたときに、前記携帯可能計算デバイス(214)を、位置目標(250)に基づいて、前記画定された座標立方体(246)内の前記物理的な物体(204)の前記領域(240)の前記モデル(244)に位置決めし、前記物理的な物体(204)に対する前記携帯可能計算デバイス(214)の位置(248)を特定する、位置決めアプリケーション(222)とを備える、条項13に記載の拡張現実システム(212)。
条項15.
コンピュータシステムであって、前記走査アプリケーション(218)、前記モデル化アプリケーション(220)、及び前記位置決めアプリケーション(222)のうちの少なくとも1つが、前記コンピュータシステム内に位置付けられている、コンピュータシステムを更に備える、条項14に記載の拡張現実システム(212)。
条項16.
前記走査アプリケーション(218)、前記モデル化アプリケーション(220)、及び前記位置決めアプリケーション(222)のうちの少なくとも1つが、前記携帯可能計算デバイス(214)内に位置付けられている、条項14に記載の拡張現実システム(212)。
条項17.
前記携帯可能計算デバイス(214)の前記位置(248)において前記携帯可能計算デバイス(214)によって取得された前記画像(238)内で視認可能な前記物理的な物体(204)の前記領域(240)に対応する前記画定された座標立方体(246)内でプロットされた前記点(234)の前記サブセット(254)を決定することにおいて、前記拡張現実アプリケーション(224)が、不適合位置(208)に対する前記画定された座標立方体(246)内にプロットされた前記点(234)のうちのどれが、前記画像(238)内の前記物理的な物体(204)の前記物理的な物体の構造物を所定の距離以上超えて位置付けられており、前記位置(248)にある前記携帯可能計算デバイス(214)からの視界から隠されるかを決定し、前記物理的な物体の構造物を前記所定の距離以上超えているこれらの点が、前記点(234)の前記サブセット(254)から排除される、条項13に記載の拡張現実システム(212)。
条項18.
物理的な物体(204)に対する不適合データ(210)を可視化するための方法であって、
携帯可能計算デバイス(214)内の拡張現実アプリケーション(224)によって、前記物理的な物体(204)上の不適合位置(208)に対応する点(234)を、画定された座標立方体(246)内にプロットすること、
前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記携帯可能計算デバイス(214)によって取得された前記物理的な物体(204)の領域(240)の画像(238)内で視認可能な前記物理的な物体(204)の前記領域(240)に対応する前記画定された座標立方体(246)内でプロットされた前記点(234)のサブセット(254)であって、前記携帯可能計算デバイス(214)の位置(248)から見たときに物理的な物体の構造物を超えて位置付けられていると判定されたプロットされた点を排除し、前記画像(238)内の前記物理的な物体(204)の物理的な物体の構造物によって視界から隠される不適合位置(208)を排除する前記点(234)のサブセット(254)を決定すること、及び
前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記携帯可能計算デバイス(214)内の表示システム(226)上に表示される前記画像(238)内の前記物理的な物体(204)に対する前記不適合位置(208)のサブセット(256)に関連付けて、前記画像(238)内で視認可能な前記点(234)の前記サブセット(254)に対する前記不適合データ(210)を表示することを含む、方法。
条項19.
前記決定するステップが、
前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記不適合位置(208)に対する前記画定された座標立方体(246)内にプロットされた前記点(234)が、前記画像(238)内の前記物理的な物体の構造物を所定の距離以上超えて位置付けられており、前記位置(248)にある前記携帯可能計算デバイス(214)からの視界から隠されると判定すること、及び
前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記物理的な物体の構造物を所定の距離以上超えているこれらの点を排除することであって、残っている点(258)が前記点(234)の前記サブセット(254)を形成する、これらの点を排除することを含む、条項18に記載の方法。
条項20.
前記決定するステップが、
前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記不適合位置(208)に対する残っている点(258)のうちのどれが、前記画像(238)内で表示される前記物理的な物体の構造物からの各不適合位置の距離を、視界から隠される不適合位置に対応する所定の距離以上超えていると判定することによって、隠されるべきか決定することを含む、条項18に記載の方法。
条項21.
前記物理的な物体(204)に対する位置目標(250)を位置特定すること、
前記位置目標(250)の目標位置(252)を使用して、前記携帯可能計算デバイス(214)を、前記位置目標(250)に基づいて、前記画定された座標立方体(246)内の前記物理的な物体(204)の前記領域(240)のモデル(244)に位置決めすること、及び
前記物理的な物体(204)に対する前記携帯可能計算デバイス(214)の前記位置(248)を特定することを更に含む、条項18に記載の方法。
条項22.
前記表示するステップが、
前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記物理的な物体(204)の前記領域(240)の前記画像(238)内の視界から隠される前記不適合位置(208)に対する前記不適合データ(210)を表示することなしに、前記携帯可能計算デバイス(214)内で前記表示システム(226)上に表示される前記画像(238)内の前記物理的な物体(204)に対する前記不適合位置(208)の前記サブセット(256)に関連付けて、前記画像(238)内で視認可能な前記点(234)の前記サブセット(254)に対する前記不適合データ(210)を表示することを含む、条項18に記載の方法。
条項23.
前記携帯可能計算デバイス(214)が、パノラミックビュー向けに選択された距離より大きいかどうかを判定し、前記画定された座標立方体(246)内の前記不適合位置(208)の全てに対する前記点(234)を表示して、前記不適合位置(208)の全てのパノラミックビューを提供することを更に含む、条項18に記載の方法。
条項24.
前記拡張現実アプリケーション(224)が、実行されたときに、時間情報に基づいて前記不適合データ(210)をフィルタして、歴史的な不適合データ(210)又はアクティブな不適合データ(210)のうちの少なくとも一方を表示する、条項18に記載の方法。
条項25.
前記点(234)の前記サブセット(254)に対する前記不適合データ(210)が、ライブの不適合データ(210)である、条項18に記載の方法。
条項26.
前記携帯可能計算デバイス(214)が、携帯電話、タブレットコンピュータ、頭部装着デバイス、及びスマート眼鏡を含む、群から選択される、条項18に記載の方法。
条項27.
前記物理的な物体(204)が、移動プラットフォーム、固定プラットフォーム、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、民間航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、並びに、航空機構造物、主翼、胴体セクション、エンジンハウジング、エンジン、複合材パネル、壁、外板、及び椅子を含む、群から選択される、条項18に記載の方法。
Claims (13)
- 製造のフェーズ(236)において物理的な物体(204)に対する不適合データ(210)を可視化するための拡張現実システム(212)であって、
センサシステム(232)及び表示システム(226)を有する、携帯可能計算デバイス(214)であって、前記携帯可能計算デバイス(214)及び前記センサシステム(232)が、前記製造のフェーズ(236)において前記物理的な物体(204)に対する空間内のポイントを表す走査データ(230)を生成するように構成されている、携帯可能計算デバイス(214)、
実行されたときに、前記走査データ(230)を使用して前記物理的な物体(204)の領域(240)の表面輪郭の点群表現(242)を生成するように配置された、走査アプリケーション(218)、
実行されたときに、前記物理的な物体(204)の前記領域(240)に対する前記点群表現(242)を使用して、画定された座標立方体(246)内の前記物理的な物体(204)の前記領域(240)のモデル(244)を生成するように配置された、モデル化アプリケーション(220)、
実行されたときに、前記物理的な物体(204)に対する位置目標(250)を位置特定し、前記位置目標(250)の目標位置(252)を使用して、前記携帯可能計算デバイス(214)を、前記位置目標(250)に基づいて、前記画定された座標立方体(246)内の前記物理的な物体(204)の前記領域(240)の前記モデル(244)に位置決めし、前記物理的な物体(204)に対する前記携帯可能計算デバイス(214)の位置(248)を特定するように配置された、位置決めアプリケーション(222)、並びに
実行されたときに、
前記物理的な物体(204)上の不適合位置(208)に対応する点(234)を前記画定された座標立方体(246)内にプロットし、
前記携帯可能計算デバイス(214)によって取得された前記物理的な物体(204)の前記領域(240)の画像(238)内で視認可能な前記画定された座標立方体(246)内でプロットされた前記点(234)のサブセット(254)であって、前記携帯可能計算デバイス(214)の前記位置(248)から見たときに、前記画像(238)内の物理的な物体の構造物を所定の距離を超えて位置付けられていると判定されたことにより、前記携帯可能計算デバイス(214)の前記位置(248)からの視界から隠されたプロットされた点を排除するサブセット(254)を決定し、
前記携帯可能計算デバイス(214)内の前記表示システム(226)上で表示された前記画像(238)内の前記物理的な物体(204)に対する前記不適合位置(208)のサブセット(256)に関連付けて、前記画像(238)内で視認可能な前記点(234)の前記サブセット(254)に対する前記不適合データ(210)を表示し、
前記携帯可能計算デバイス(214)が、前記物理的な物体(204)のパノラミックビュー向けに選択された前記物理的な物体(204)からの距離より離れた位置にあるかどうかを決定し、
前記携帯可能計算デバイス(214)が前記選択された前記物理的な物体(204)からの距離より離れた位置にあると決定した場合に、前記画定された座標立方体(246)内の前記不適合位置(208)の全てに対する前記点(234)を表示して、前記不適合位置(208)の全てのパノラミックビューを提供するように配置された、拡張現実アプリケーション(224)を備える、拡張現実システム(212)。 - 前記携帯可能計算デバイス(214)内の前記表示システム(226)上で表示された前記画像(238)内の前記物理的な物体(204)に対する前記不適合位置(208)の前記サブセット(256)に関連付けて、前記画像(238)内で視認可能な前記点(234)の前記サブセット(254)に対する前記不適合データ(210)を表示することにおいて、前記拡張現実アプリケーション(224)が、前記物理的な物体(204)の前記領域(240)の前記画像(238)内の視界から隠されている前記不適合位置(208)に対する前記不適合データ(210)を表示することなしに、前記携帯可能計算デバイス(214)内の前記表示システム(226)上に表示された前記画像(238)内の前記物理的な物体(204)に対する前記不適合位置(208)の前記サブセット(256)に関連付けて、前記画像(238)内で視認可能な前記点(234)の前記サブセット(254)に対する前記不適合データ(210)を表示するように配置された、請求項1に記載の拡張現実システム(212)。
- 前記携帯可能計算デバイス(214)によって取得された前記物理的な物体(204)の前記領域(240)の画像(238)内で視認可能な前記画定された座標立方体(246)内でプロットされた前記点(234)の前記サブセット(254)であって、前記携帯可能計算デバイス(214)の前記位置(248)から見たときに、前記物理的な物体の構造物を超えて位置付けられていると判定されたプロットされた点を排除する前記サブセット(254)を決定することにおいて、前記拡張現実アプリケーション(224)が、前記不適合位置(208)に対する前記画定された座標立方体(246)内にプロットされた前記点(234)のうちのどれが、前記画像(238)内の前記物理的な物体の構造物を所定の距離以上超えて位置付けられており、前記位置(248)にある前記携帯可能計算デバイス(214)からの視界から隠されているかを決定するように配置され、前記物理的な物体の構造物を前記所定の距離を超えているこれらの点が、前記点(234)の前記サブセット(254)から排除されている、請求項1に記載の拡張現実システム(212)。
- 前記物理的な物体(204)が航空機構造物であり、前記携帯可能計算デバイス(214)の前記位置(248)において前記携帯可能計算デバイス(214)によって取得された前記物理的な物体(204)の前記領域(240)の画像(238)内で視認可能な前記画定された座標立方体(246)内でプロットされた前記点(234)の前記サブセット(254)を決定することにおいて、前記拡張現実アプリケーション(224)が、表示された航空機構造物からの各不適合位置の距離が、視界から隠されている前記不適合位置に対応する所定の距離を超えていると決定するように配置された、請求項1に記載の拡張現実システム(212)。
- 前記拡張現実アプリケーション(224)が、実行されたときに、時間情報に基づいて前記不適合データ(210)をフィルタして、既に解決された又は再作業された歴史的な不適合データ(210)又は未だ解決されていないアクティブな不適合データ(210)のうちの少なくとも一方を表示する、請求項1に記載の拡張現実システム(212)。
- 前記点(234)の前記サブセット(254)に対する前記不適合データ(210)が、前記物理的な物体(204)内に未だ存在するライブの不適合データ(210)である、請求項1に記載の拡張現実システム(212)。
- 前記物理的な物体(204)上の前記不適合位置(208)を受け取るように構成されたインターフェースを更に備える、請求項1に記載の拡張現実システム(212)。
- 前記センサシステム(232)が、三次元スキャナ、カメラ、全地球測位システム受信器、構造化された光三次元スキャナ、ライダーシステム、レーザースキャナ、コノスコープホログラフシステム、又は飛行時間型三次元スキャナのうちの少なくとも1つを備える、請求項1に記載の拡張現実システム(212)。
- 前記携帯可能計算デバイス(214)が、携帯電話、タブレットコンピュータ、頭部装着デバイス、及びスマートグラスを含む、群から選択され、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、民間航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、航空機構造物、主翼、胴体セクション、エンジンハウジング、エンジン、複合材パネル、壁、及び外板のうちの1つを備える、前記物理的な物体(204)に対する前記不適合データを表示するためのディスプレイを含む、請求項1に記載の拡張現実システム(212)。
- 物理的な物体(204)に対する不適合データ(210)を可視化するための方法であって、
携帯可能計算デバイス(214)内の拡張現実アプリケーション(224)によって、前記物理的な物体(204)上の不適合位置(208)に対応する点(234)を、画定された座標立方体(246)内にプロットすること、
前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記携帯可能計算デバイス(214)によって取得された前記物理的な物体(204)の領域(240)の画像(238)内で視認可能な前記物理的な物体(204)の前記領域(240)に対応する前記画定された座標立方体(246)内でプロットされた前記点(234)のサブセット(254)であって、前記携帯可能計算デバイス(214)の位置(248)から見たときに前記画像(238)内の物理的な物体の構造物を所定の距離を超えて位置付けられていると判定されたプロットされた点を排除し、前記画像(238)内の前記物理的な物体(204)の物理的な物体の構造物によって視界から隠されている不適合位置(208)を排除する前記点(234)のサブセット(254)を決定すること、
前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記携帯可能計算デバイス(214)内の表示システム(226)上に表示された前記画像(238)内の前記物理的な物体(204)に対する前記不適合位置(208)のサブセット(256)に関連付けて、前記画像(238)内で視認可能な前記点(234)の前記サブセット(254)に対する前記不適合データ(210)を表示すること、
前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記携帯可能計算デバイス(214)が、前記物理的な物体(204)のパノラミックビュー向けに選択された前記物理的な物体(204)からの距離より離れた位置にあるかどうかを決定すること、及び
前記携帯可能計算デバイス(214)が前記選択された前記物理的な物体(204)からの距離より離れた位置にあると決定した場合に、前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記画定された座標立方体(246)内の前記不適合位置(208)の全てに対する前記点(234)を表示して、前記不適合位置(208)の全てのパノラミックビューを提供することを含む、方法。 - 前記決定するステップが、
前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記不適合位置(208)に対する前記画定された座標立方体(246)内にプロットされた前記点(234)が、前記画像(238)内の前記物理的な物体の構造物を所定の距離を超えて位置付けられており、前記位置(248)にある前記携帯可能計算デバイス(214)からの視界から隠されているかを判定すること、及び
前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記物理的な物体の構造物を所定の距離を超えているこれらの点を排除することであって、残っている点(258)が前記点(234)の前記サブセット(254)を形成する、これらの点を排除することを含み、
前記方法が、
前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記不適合位置(208)に対する残っている点(258)のうちのどれが、前記画像(238)内で表示された前記物理的な物体の構造物からの各不適合位置の距離を、視界から隠されている不適合位置に対応する所定の距離を超えていると判定することによって、隠されるべきか決定する、請求項10に記載の方法。 - 前記表示するステップが、
前記携帯可能計算デバイス(214)内の前記拡張現実アプリケーション(224)によって、前記物理的な物体(204)の前記領域(240)の前記画像(238)内の視界から隠されている前記不適合位置(208)に対する前記不適合データ(210)を表示することなしに、前記携帯可能計算デバイス(214)内で前記表示システム(226)上に表示された前記画像(238)内の前記物理的な物体(204)に対する前記不適合位置(208)の前記サブセット(256)に関連付けて、前記画像(238)内で視認可能な前記点(234)の前記サブセット(254)に対する前記不適合データ(210)を表示することを含む、請求項10又は11に記載の方法。 - 前記携帯可能計算デバイス(214)が、携帯電話、タブレットコンピュータ、頭部装着デバイス、及びスマートグラスを含む、群から選択され、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、民間航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、並びに、航空機構造物、主翼、胴体セクション、エンジンハウジング、エンジン、複合材パネル、壁、外板、及び椅子のうちの1つを備える、前記物理的な物体(204)に対する不適合データを表示するためのディスプレイを含む、請求項10から12のいずれか一項に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/158,579 US10740987B2 (en) | 2018-10-12 | 2018-10-12 | Augmented reality system for visualizing nonconformance data for an object |
US16/158,579 | 2018-10-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020097391A JP2020097391A (ja) | 2020-06-25 |
JP7421895B2 true JP7421895B2 (ja) | 2024-01-25 |
Family
ID=68342464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019181906A Active JP7421895B2 (ja) | 2018-10-12 | 2019-10-02 | 物体に対する不適合データを可視化するための拡張現実システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US10740987B2 (ja) |
EP (1) | EP3637230B1 (ja) |
JP (1) | JP7421895B2 (ja) |
KR (1) | KR102649171B1 (ja) |
CN (1) | CN111047706A (ja) |
CA (1) | CA3050778C (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111583318B (zh) | 2020-05-09 | 2020-12-15 | 南京航空航天大学 | 一种基于翼身实测数据虚拟对接的整流蒙皮修配方法 |
US11527063B2 (en) | 2020-08-25 | 2022-12-13 | Raytheon Company | Visualization of non-conformance of objects via heat maps |
FR3124007A1 (fr) * | 2021-06-14 | 2022-12-16 | Airbus Operations (S.A.S.) | Procédé de visualisation d’au moins un critère d’acceptation en fonction d’un point d’une pièce ciblé |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120075343A1 (en) | 2010-09-25 | 2012-03-29 | Teledyne Scientific & Imaging, Llc | Augmented reality (ar) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene |
JP2014205485A (ja) | 2013-04-12 | 2014-10-30 | ザ・ボーイング・カンパニーTheBoeing Company | 不適合視覚化システム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120015802A (ko) * | 2010-08-13 | 2012-02-22 | 현대자동차주식회사 | 증강현실을 이용한 차량 부품 관리 시스템 및 그 방법 |
US9448758B2 (en) * | 2012-07-18 | 2016-09-20 | The Boeing Company | Projecting airplane location specific maintenance history using optical reference points |
US9508146B2 (en) | 2012-10-31 | 2016-11-29 | The Boeing Company | Automated frame of reference calibration for augmented reality |
US9129430B2 (en) * | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
US9761049B2 (en) | 2014-03-28 | 2017-09-12 | Intel Corporation | Determination of mobile display position and orientation using micropower impulse radar |
US20160085426A1 (en) | 2014-09-18 | 2016-03-24 | The Boeing Company | Interactive Imaging System |
EP3009833B1 (de) | 2014-10-14 | 2020-12-02 | Airbus Defence And Space Gmbh | In-Prozess Fehlerüberprüfung durch erweiterte Realität |
US10350839B2 (en) * | 2015-05-21 | 2019-07-16 | The Boeing Company | Remote advanced repair guidance |
US9520002B1 (en) | 2015-06-24 | 2016-12-13 | Microsoft Technology Licensing, Llc | Virtual place-located anchor |
US9852237B2 (en) * | 2015-09-16 | 2017-12-26 | The Boeing Company | Immersive object testing system |
US9881425B1 (en) | 2016-09-09 | 2018-01-30 | The Boeing Company | Synchronized side-by-side display of real and virtual environments |
GB2554914B (en) * | 2016-10-14 | 2022-07-20 | Vr Chitect Ltd | Virtual reality system and method |
US20180150070A1 (en) * | 2016-11-29 | 2018-05-31 | Caterpillar Inc. | Portable inspection and control device |
US20170084085A1 (en) | 2016-11-30 | 2017-03-23 | Caterpillar Inc. | System and method for object recognition |
-
2018
- 2018-10-12 US US16/158,579 patent/US10740987B2/en active Active
-
2019
- 2019-07-26 CA CA3050778A patent/CA3050778C/en active Active
- 2019-08-22 KR KR1020190102937A patent/KR102649171B1/ko active IP Right Grant
- 2019-09-20 CN CN201910893581.9A patent/CN111047706A/zh active Pending
- 2019-10-02 JP JP2019181906A patent/JP7421895B2/ja active Active
- 2019-10-11 EP EP19202809.0A patent/EP3637230B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120075343A1 (en) | 2010-09-25 | 2012-03-29 | Teledyne Scientific & Imaging, Llc | Augmented reality (ar) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene |
JP2014205485A (ja) | 2013-04-12 | 2014-10-30 | ザ・ボーイング・カンパニーTheBoeing Company | 不適合視覚化システム |
Also Published As
Publication number | Publication date |
---|---|
JP2020097391A (ja) | 2020-06-25 |
EP3637230B1 (en) | 2022-09-21 |
CA3050778A1 (en) | 2020-04-12 |
EP3637230A1 (en) | 2020-04-15 |
CN111047706A (zh) | 2020-04-21 |
CA3050778C (en) | 2023-12-05 |
KR102649171B1 (ko) | 2024-03-18 |
US20200118345A1 (en) | 2020-04-16 |
KR20200042391A (ko) | 2020-04-23 |
US10740987B2 (en) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106547939B (zh) | 对象管理系统、飞机设计系统及管理对象的方法 | |
US8791823B2 (en) | Aircraft part control system | |
JP7500187B2 (ja) | 拡張モデルを用いた拡張現実システム | |
JP7421895B2 (ja) | 物体に対する不適合データを可視化するための拡張現実システム | |
US10896546B2 (en) | Augmented reality system with an active portable anchor | |
US9852237B2 (en) | Immersive object testing system | |
JP2019109911A (ja) | 製造注文インスタンスの視覚化システム | |
JP6386242B2 (ja) | 構築サイクルに基づく組み立ての状況の視覚化システム | |
JP2020107321A (ja) | 複合材部品製造用の拡張現実システム | |
RU2760755C2 (ru) | Система проверки летательного аппарата с визуализацией и записью | |
US20190287304A1 (en) | Safety Enhancement System for a Mobile Display System | |
CN105388857A (zh) | 序列号控制的可视化系统 | |
JP7438680B2 (ja) | アクティブポータブルアンカーを有する拡張現実システム | |
US20220187803A1 (en) | Shop Floor Social Distancing for Aircraft Assembly | |
EP4322108A1 (en) | Verification of the correct presence of parts using contextual visualization | |
US20210181727A1 (en) | Product Manufacturing with a Manufacturing Product and Process Structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230718 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7421895 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |