JP7050472B2 - アセンブリの状態検証のための進路の識別 - Google Patents

アセンブリの状態検証のための進路の識別 Download PDF

Info

Publication number
JP7050472B2
JP7050472B2 JP2017233254A JP2017233254A JP7050472B2 JP 7050472 B2 JP7050472 B2 JP 7050472B2 JP 2017233254 A JP2017233254 A JP 2017233254A JP 2017233254 A JP2017233254 A JP 2017233254A JP 7050472 B2 JP7050472 B2 JP 7050472B2
Authority
JP
Japan
Prior art keywords
test
positions
images
image
sensor system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017233254A
Other languages
English (en)
Other versions
JP2018142300A (ja
JP2018142300A5 (ja
Inventor
マーティン・スザルスキー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2018142300A publication Critical patent/JP2018142300A/ja
Publication of JP2018142300A5 publication Critical patent/JP2018142300A5/ja
Application granted granted Critical
Publication of JP7050472B2 publication Critical patent/JP7050472B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/10Manufacturing or assembling aircraft, e.g. jigs therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60Testing or inspecting aircraft components or systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4189Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
    • G05B19/41895Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system using automatic guided vehicles [AGV]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/02Mechanical
    • G01N2201/021Special mounting in general
    • G01N2201/0216Vehicle borne
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/10Scanning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32252Scheduling production, machining, job shop
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45066Inspection robot
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/60Electric or hybrid propulsion means for production processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Electromagnetism (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Automatic Assembly (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)

Description

本開示は製造に関し、より詳細には、構造に対するアセンブリの状態の自動化された検証の実施に関する。
何千何百もの部品を含む構造を組み立てることは複数のアセンブリの段階を含む複雑なプロセスでありうる。したがって、これらのアセンブリの段階の過程にわたってアセンブリの状態を検証することは品質制御の保証を助ける。構造の「アセンブリの状態」は、例えば、当該構造の現在のビルドがその構造の設計仕様にマッチするかまたは従う度合いであってもよい。1例として、機体のような航空機構造のアセンブリは複雑な多段階プロセスでありうる。例えば、アセンブリの特定の段階の後に機体のアセンブリの状態を検証するステップは、機体の現在のビルドが選択された許容値内部であるかどうかを判定するステップを含みうる。
現在、機体のような複雑な構造のアセンブリの状態を検証するステップは一般に手動で実施される。例えば、人間のオペレータは機体を手動で検査して、機体のビルドを機体の何百もの印刷された技術的図面、機体のコンピュータ支援型設計(CAD)モデル、またはその両方と比較しうる。幾つかのケースでは、このタイプの検証は、当該オペレータが、機体の図面またはモデルを通して行動する特殊なトレーニングおよび経験を有することを要求しうる。さらに、このタイプの評価はより時間を浪費し、望ましいもの以上の誤差をより受けやすい可能性がある。したがって、構造に対するアセンブリの状態を検証するための改善された方法およびシステムを有することが望ましい。
1例示的な実施形態では、構造に対するアセンブリの状態の自動化された検証を実施するための進路を確立するための方法が提供される。自動誘導ビークルに接続されたセンサ・システムを構造と相対的な複数のテスト位置に移動してもよい。当該センサ・システムを用いて、画像データを当該複数のテスト位置の各テスト位置で生成して、複数のテスト画像を構築してもよい。当該複数のテスト画像の各テスト画像を、当該構造のコンピュータ・モデルに登録して、登録画像の集合に追加される複数の登録画像を形成してもよい。関心のある当該構造の領域の全体を、最小数の登録画像を用いて、登録画像の集合からキャプチャできるようにするであろう位置の最適集合が当該複数のテスト位置から決定される。自動誘導ビークルを位置の当該最適集合の各々に最小時間で移動するための進路が生成される。当該コンピュータ・ファイルが当該進路を識別する当該構造に対する当該アセンブリの状態を検証する自動検証プロセスを実施する際に使用するためのコンピュータ・ファイルが生成される。
別の例示的な実施形態では、機体構造に対するアセンブリの状態の自動化された検証を実施するための進路を確立するための方法が提供される。自動誘導ビークルに接続されたセンサ・システムを、機体構造を通じて複数のテスト位置に移動してもよい。当該センサ・システムを用いて、画像データを当該複数のテスト位置の各テスト位置で生成して、複数のテスト画像を構築してもよい。生成された当該複数のテスト画像の各テスト画像を機体構造のコンピュータ・モデルに登録してもよい。関心のある機体構造の領域の全体を最小数のテスト画像を用いてキャプチャできるようにする位置の最適集合が当該複数のテスト位置から決定される。自動誘導ビークルを位置の当該最適集合の各々に最小時間で移動するための進路が生成される。当該ファイルが当該進路を識別する機体構造に対する当該アセンブリの状態を検証する自動検証プロセスを実施する際に使用するためのファイルが生成される。
さらに別の例示的な実施形態では、装置は登録コンポーネントおよび最適化コンポーネントを含むプロセッサを含む。当該登録コンポーネントは複数のテスト画像を、構造と相対的な複数のテスト位置で当該複数のテスト画像を生成したセンサ・システムから受信する。当該登録コンポーネントは、生成された当該複数のテスト画像の各テスト画像を当該構造のコンピュータ・モデルに登録する。当該最適化コンポーネントは、関心のある当該構造の領域の全体を最小数のテスト画像を用いてキャプチャできるようにする位置の最適集合を当該複数のテスト位置から決定する。当該最適化コンポーネントは、自動誘導ビークルを位置の当該最適集合の各々に最小時間で移動するための進路を生成する。当該最適化コンポーネントは当該ファイルが当該進路を識別する当該構造に対する当該アセンブリの状態の当該自動化された検証を実施する際に使用するためのファイルを生成する。
以上の一般的な説明および以下の詳細な説明の両方は本質的に例示的かつ説明的であり、本開示の範囲を限定することなく本開示の例を提供することを意図していることは理解される。その点、追加の態様、本開示の特徴、および利点は以下の詳細な説明から当業者に明らかであろう。
本開示の諸態様は、添付図面とともに読んだとき、以下の詳細な説明から最も良く理解される。当業界における標準的な実践にしたがって、様々な特徴は正しく絵が描かれていないことは強調される。実際、当該様々な特徴の当該次元は議論の簡単さのため任意に増減されてもよい。さらに、本開示を当該様々な例において参照番号および/または文字を繰り返してもよい。この反復は、単純さおよび明快さのためであり、それ自体、論じられた様々な実施形態および/または構成の間の関係を示すものではない。
例示的な実施形態に従う航空機の図である。 例示的な実施形態に従う環境の製造のブロック図である。 例示的な実施形態に従う進路生成器およびセンサ・システムのブロック図である。 例示的な実施形態に従う機体構造の等角図である。 例示的な実施形態に従う機体構造の一部の画像の図である。 例示的な実施形態に従うグラフィカル・ユーザ・インタフェースに表示されるレポートの図である。 例示的な実施形態に従う構造に対するアセンブリの状態の自動化された検証を実施するための方法の図である。 例示的な実施形態に従う、構造に対するアセンブリの状態の自動化された検証を実施するための方法の図である。 例示的な実施形態に従う、航空機構造に対するアセンブリの状態の自動化された検証を実施するための方法の例示の図である。 例示的な実施形態に従う、自動検証プロセスを実施するための進路を確立するための方法の図である。 例示的な実施形態に従う自動検証プロセスを実施するための位置の最適集合を決定するステップための方法の図である。 例示的な実施形態に従うデータ処理システムのブロック図である。 例示的な実施形態に従う航空機製造およびサービス方法の図である。 例示的な実施形態に従う航空機のブロック図である。
以下の説明では、本開示と一貫して、幾つかの実施形態を記述する特定の詳細が説明されている。当該実施形態の徹底的な理解を提供するために多数の特定の詳細が説明されている。しかし、幾つかの実施形態をこれらの特定の詳細の一部または全部なしに実施してもよいこと当業者は明らかであろう。本明細書で開示した当該特定の実施形態は例示的であって限定ではない。当業者は、特にここでは説明しないが本開示の範囲と趣旨内にある他の要素を実現しうる。さらに、不必要な反復を避けるために、特に断らない限りまたは当該1つまたは複数の特徴が実施形態を非機能的にしない場合は、1実施形態と関連して図示され説明された1つまたは複数の特徴を他の実施形態に組み込んでもよい。幾つかのインスタンスでは周知の方法、手続き、コンポーネント、および回路は、当該実施形態の諸態様を不必要に不明瞭にしないために詳細には説明されていない。
当該例示的な実施形態は、構造に対するアセンブリの状態の検証の自動化により、この検証を手動の方法と比べてより迅速かつ正確に実施できることを認識し考慮する。さらに、当該アセンブリの状態検証を自動化することで、この検証プロセスに必要なダウンタイムを削減しうる。例示的な例として、当該検証をアセンブリの2つの段階の間で実施するとき、当該検証プロセスは、アセンブリの当該次の段階が始まりうる前に必要な当該ダウンタイムを減らしうる。さらに、当該例示的な実施形態は、この検証を実施するのに必要な時間および処理リソースを制限する方式で、構造に対するアセンブリの状態の検証を自動化するための方法および装置を提供する。
1例示的な実施形態では、構造の複数の画像がセンサ・システムを用いて生成されてもよい。当該構造は、例えば、機体であってもよい。機体に対するアセンブリの状態を検証するステップは、例えば、限定ではなく、特定の位置における何万から何千何百ものファスナの存在を確認するステップを含んでもよい。生成された各画像が何十、何百、または何千ものファスナをキャプチャしてもよい。
機体の複数の画像を当該構造のコンピュータ・モデルに登録してもよい。当該複数の画像内の各画像を当該複数の画像の当該コンピュータ・モデルへの登録に基づいてセグメント化して複数の画像セクションを形成してもよい。機体のアセンブリの状態に対するスコアが、当該複数の画像セクション内の各画像セクションが対応する条件を満たすかどうかに基づいて生成されてもよい。当該スコアは当該アセンブリの状態が妥当であるかどうかを示してもよい。
幾つかの実施形態では、当該複数の画像を生成するセンサ・システムが自動誘導ビークルに接続されてもよい。自動誘導ビークルを、当該構造に対する予め決定された経路に沿って移動して、当該センサ・システムが当該複数の画像を生成するのを可能としてもよい。特に、自動誘導ビークルを、当該センサ・システムを、最小数の画像を用いて関心のある構造の領域の全体をキャプチャできるようにする位置の最適集合に移動しうるように、予め決定された経路に沿って移動してもよい。この方式では、当該アセンブリの状態の自動化された検証を実施するのに必要な時間および処理リソースを削減しうる。当該例示的な実施形態は、位置の最適集合を複数のテスト位置から効率的に識別するためのコンピュータ化された方法および装置を提供してもよい。当該複数のテスト位置は、例えば、限定ではなく、何百、何千、または何万ものテスト位置を含んでもよい。
次に図面を参照する。これらの例示的な例において、同一の参照番号を複数の図面で使用してもよい。異なる図面におけるこの参照番号の再利用は当該異なる図面における同一の要素を表す。
図1は例示的な実施形態に従って示された航空機の図である。航空機100は機体106に取り付けられた翼102および翼104を含む。航空機100は翼102に取り付けられたエンジン108および翼104に取り付けられたエンジン110を含む。航空機100はまた、尾部112を含む。水平スタビライザ114、水平スタビライザ116、および垂直スタビライザ118が尾部112に取り付けられる。
航空機100は、以下で説明する例示的な実施形態に従うアセンブリの状態の自動化された検証のための方法およびシステムを用いて製造された航空機の例である。例えば、限定ではなく、機体106は、アセンブリの少なくとも1つの段階の後に実施されるアセンブリの状態の自動化された検証を伴う多段階プロセスを用いて構築された構造の1実装の例であってもよい。
図2は、例示的な実施形態に従って示された環境の製造のブロック図である。環境200を製造するステップは、自動検証プロセス202を実施しうる環境の例である。自動検証プロセス202は、構造206に対するアセンブリ204の状態がそれにより評価され有効または無効であると決定されうる、自動化されたプロセスであってもよい。特に、自動検証プロセス202は、構造206に対するアセンブリ204の状態を、人間オペレータのゼロまたは最小関与で評価できるようにしうる。構造206に対するアセンブリ204の状態は、例えば、構造206の現在のビルドが構造206の設計仕様にマッチするかまたは従う度合いであってもよい。
実装に応じて、構造206が幾つかの異なる形態をとってもよい。1つの例示的な例では、構造206が、図1の航空機100の機体106を形成するために組み立てられている機体構造の形態をとる。他の例示的な例では、構造206は、図1の航空機100の翼102、翼104、または尾部112のような異なるタイプの航空機構造であってもよい。さらに他の例示的な例、構造206は、宇宙船構造、ウォータークラフト構造、地上ビークルのサブアセンブリ、または多段階アセンブリプロセスを用いて構築される幾つかの他のタイプの構造であってもよい。
検証システム208を使用して、自動検証プロセス202を実施してもよい。1つの例示的な例では、検証システム208を使用して、アセンブリの特定の段階が完了した後に、自動検証プロセス202を実施してもよい。アセンブリのこの段階は、例えば、限定ではなく、構造206における何千から何万もの穴空けおよびこれらの穴への何千から何万ものファスナの取付けを含んでもよい。
この例示的な例では、検証システム208はセンサ・システム210およびバリデータ212を含む。センサ・システム210およびバリデータ212が通信可能に接続されてもよい。例えば、センサ・システム210およびバリデータ212は、1つまたは複数の有線通信リンク、1つまたは複数の無線通信リンク、1つまたは複数の光通信リンク、またはその組合せを用いて通信するように構成されてもよい。
この例示的な実施形態では、センサ・システム210が撮像システム214の形をとってもよい。撮像システム214は、構造206の複数の画像218を生成する際に使用するための画像データ216を生成するように構成された1つまたは複数のカメラを含んでもよい。画像220のような複数の画像218の画像は構造206の一部をキャプチャしてもよい。構造206のこの部分は構造206の大きなセクションであってもよい。例えば、限定ではなく、構造206が機体構造の形態をとるとき、画像220は、機体パネルのセクション、全体の機体パネル、複数の機体パネル、床、または機体構造の幾つかの他の部分をキャプチャしてもよい。
1つの例示的な例では、撮像システム214は自動誘導ビークル222に接続されてもよい。例えば、限定ではなく、撮像システム214は、自動誘導ビークル222に取外し可能に取り付けられ、自動誘導ビークル222に永続的に添付され、自動誘導ビークル222の一部として組み込まれ、または自動誘導ビークル222に幾つかの他の方式で接続されてもよい。
自動誘導ビークル222を、構造206と相対的な予め決定された経路224に沿って移動して、センサ・システム210が構造206と相対的な1組の位置226で画像データ216を生成できるようにしてもよい。1組の位置226は、関心のある領域の全体構造206を、最小数の画像を用いてキャプチャできるようにするために選択された位置の最適集合であってもよい。構造206と相対的な自動誘導ビークル222を移動するステップは、自動誘導ビークル222を、構造206の内部内で、構造206の外部に沿って、構造206から選択された距離で配置されたプラットフォームに沿って、構造206から選択された距離にある床に沿って、構造206に対するトラックシステムに沿って、幾つかの他の適切な方式、またはその組合せで移動するステップを含んでもよい。
他の例示的な例では、撮像システム214は、構造206と相対的な複数の固定の位置230に配置された複数の撮像センサ228を備えてもよい。複数の固定の位置230は、関心のある領域の全体構造206を、最小数の画像および最小数の撮像センサを用いてキャプチャできるようにするために選択された最適な複数の位置であってもよい。
センサ・システム210は、複数の画像218をバリデータ212に処理のために送信してもよい。実装に応じて、バリデータ212を、ソフトウェア、ハードウェア、ファームウェア、またはその組合せを用いて実装してもよい。ソフトウェアは使用されるとき、バリデータ212により実施される動作を、例えば、限定ではなく、プロセッサ・ユニットで実行するように構成されたプログラム・コードを用いて実装してもよい。ファームウェアが使用されるとき、バリデータ212により実施される動作を、例えば、限定ではなく、プロセッサ・ユニットで実行するために永続メモリに格納されたプログラム・コードおよびデータを用いて実装してもよい。
ハードウェアが使用されるとき、当該ハードウェアは、バリデータ212により実施される動作を実施するように動作する1つまたは複数の回路を含んでもよい。実装に応じて、当該ハードウェアは、任意数の動作、またはその組合せを実施するように構成された回路システム、集積回路、特殊用途向け集積回路(ASIC)、プログラム可能ロジックデバイス、幾つかの他の適切なタイプのハードウェアデバイスの形をとってもよい。
1つの例示的な例では、バリデータ212はプロセッサ232の形態をとる。幾つかの例示的な例では、バリデータ212が、互いと通信する単一のコンピュータまたは複数のコンピュータを含むコンピュータシステムであってもよい。1つの例示的な例では、バリデータ212は画像処理コンポーネント215および比較コンポーネント217を含んでもよい。
複数の画像218をセンサ・システム210から受信すると、バリデータ212は複数の画像218を構造206のコンピュータ・モデル236に登録する。コンピュータ・モデル236は、例えば、構造206のコンピュータ支援型設計モデルであってもよい。他の例示的な例では、コンピュータ・モデル236は構造206の複数のデジタル設計図面237を備えてもよい。
バリデータ212は、複数の画像218のコンピュータ・モデル236への登録に基づいて複数の画像218の各々をセグメント化し、複数の画像セクション238を形成する。特に、複数の画像218内の各画像をセグメント化して、複数の画像セクション238に追加された1組の画像セクション240のような1組の画像セクションを形成してもよい。
例示的な例として、画像220をセグメント化して、画像220のコンピュータ・モデル236への登録に基づいて1組の画像セクション240を生成してもよい。例えば、画像220のコンピュータ・モデル236への登録に基づいて、バリデータ212は、単一の関心特徴が見られることが期待される画像220内の各位置を識別してもよい。バリデータ212は画像220をセグメント化して、これらの位置の各々に対して画像セクションを生成してもよい。この方式では、1組の画像セクション240内の各画像セクションは、単一の関心特徴を有すると期待される構造206の一部をキャプチャする。
画像セクション242は1組の画像セクション240の1つの例であってもよい。画像セクション242が、例えば、限定ではなく、穴、穴に取り付けられたファスナ、穴の欠如、ファスナの欠如、または幾つかの他のタイプの特徴の1つから選択された関心特徴をキャプチャすることを期待されてもよい。画像セクション242を、例えば、限定ではなく、せん断、刈り込み、またはそうでなければ画像220から抽出することで、画像220からセグメント化してもよい。
実装に応じて、画像220から形成された1組の画像セクション240は、画像220の全体または画像220の一部のみを構成してもよい。例えば、限定ではなく、幾つかのケースでは、関心特徴を有すると期待される画像220の部分のみをせん断、刈り込み、またはそうでなければ画像220から抽出してもよい。
幾つかの例示的な例では、複数の画像218をセンサ・システム210から受信するステップ、複数の画像218のコンピュータ・モデル236への登録、複数の画像218の各画像のセグメント化をバリデータ212の画像処理コンポーネント215により実施してもよい。幾つかのケースでは、当該登録およびセグメント化のみを画像処理コンポーネント215により実施してもよい。
いったん複数の画像セクション238が生成されると、バリデータ212がアセンブリ204の状態に対する最終スコア244を生成してもよい。バリデータ212が、複数の画像セクション238内の各画像セクションが対応する条件を満たすかどうかに基づいて最終スコア244を生成してもよい。幾つかのケースでは、バリデータ212の比較コンポーネント217は複数の画像セクション238のコンピュータ・モデル236との比較を実施して、最終スコア244を生成してもよい。
例えば、限定ではなく、バリデータ212が、各画像セクションに対する対応する条件を満たす複数の画像セクション238内の画像セクションの割合を計算することで初期スコア245を生成してもよい。各画像セクションを評価するために使用される当該対応する条件が、画像セクション242のような各画像セクションが登録されるコンピュータ・モデル236の当該対応する部分に基づいて決定されてもよい。例えば、特定の画像セクションに対する当該対応する条件は、コンピュータ・モデル236により指定されるように、特定の関心特徴の存在または不存在であってもよい。当該関心特徴は、例えば、限定ではなく、穴に取り付けられた穴またはファスナであってもよい。
例示的な例として、バリデータ212が、画像セクション242を、画像セクション242が登録されるコンピュータ・モデル236の当該対応する部分と比較してもよい。コンピュータ・モデル236のこの対応する部分は、満たされるべき対応する条件がファスナの存在であることを示してもよい。バリデータ212は、1つまたは複数の画像認識技術を使用して、画像セクション242がファスナを含むかどうかを判定してもよい。
他の例示的な例では、複数の画像セクション238内の全ての画像セクションが同一の対応する条件に基づいて評価されてもよい。例えば、当該対応する条件はファスナの存在であってもよい。本例では、初期スコア245は、ファスナを含む複数の画像セクション238内の画像セクションの割合であってもよい。
幾つかの例示的な例では、バリデータ212は初期コア245をアセンブリ204の状態に対する最終スコア244として使用してもよい。最終スコア244は、最終スコア244が選択された閾値より上にあるときアセンブリ204の状態が妥当であることを示してもよい。当該選択された閾値は、実装に応じて、例えば、限定ではなく、84パーセント、88パーセント、92パーセント、95パーセント、97パーセント、または幾つかの他のパーセントであってもよい。
他の例示的な例では、バリデータ212は、1つまたは複数の無効化イベントが発生したかどうかに基づいて初期スコア245を調節して、最終スコア244を生成してもよい。例えば、画像セクション242が登録されるコンピュータ・モデル236の部分および対応する条件の重要性に基づいて、この対応する条件を満たすための画像セクション242の故障を無効化イベントと考えてもよい。無効化イベントが発生すると、バリデータ212はそれに応じて初期スコア245を調節であってもよい。
幾つかのケースでは、単一の無効化イベントはバリデータ212に初期スコア245を0パーセントに調節させてもよい。したがって、単一の無効化イベントはアセンブリ204の状態を、初期スコア245が当該選択された閾値を上回っても無効としてもよい。他のインスタンスでは、各無効化イベントはバリデータ212に初期スコア245を選択された量だけ減少させてもよい。幾つかの無効化イベントは他の無効化イベントより重要として重み付けしてもよい。例えば、バリデータ212は、別のタイプの無効化イベントと比較した或るタイプの無効化イベントの発生に基づいて、より大きな量だけ初期スコア245を減少させるように構成されてもよい。さらに他の例示的な例、バリデータ212は初期スコア245を最終スコア244として使用してもよいが、1つまたは複数の無効化イベントが発生したとき警告またはフラグを生成してもよい。
バリデータ212は最終スコア244を含むレポート246、ならびに生成された任意の警告またはフラグを生成してもよい。1つの例示的な例では、バリデータ212はレポート246をディスプレイ・システム250のグラフィカル・ユーザ・インタフェース248に表示する。ディスプレイ・システム250はバリデータ212に通信可能に接続されてもよい。他の例示的な例では、バリデータ212は最終スコア244およびグラフィカル・ユーザ・インタフェース248で生成されている任意の警告またはフラグのみを表示してもよい。ディスプレイ・システム250は実装に応じて、検証システム208の一部であってもよく、または、検証システム208と独立であってもよい。
幾つかの例示的な例では、バリデータ212は、レポート246をコンピュータ化された数値的に制御されたマシン252に処理のために送信する。レポート246を使用して、コンピュータ化された数値的に制御されたマシン252のプログラミングを調整するかまたはコンピュータ化された数値的に制御されたマシン252に対するコマンドを生成してもよい。例示的な例として、コンピュータ化された数値的に制御されたマシン252は、コンピュータ化された数値的に制御されたマシン252が、構造206に対するアセンブリ204の状態が妥当であることを示すレポート246を受信したときにアセンブリの次の段階を開始するプログラムを実行してもよい。
この方式では、検証システム208により、自動検証プロセス202を効率的に実施することができる。この自動検証プロセス202はアセンブリの段階の間のダウンタイムを削減しうる。さらに、検証システム208を用いて構造206のアセンブリ204の状態を検証することで、アセンブリ204の状態が評価される制度を改善しうる。
図3は、例示的な実施形態に従って示された、図2の進路生成器およびセンサ・システム210のブロック図である。この例示的な例では、進路生成器300が図2のバリデータ212の一部として実装される。
他の例示的な例では、進路生成器300をバリデータ212と独立に実装してもよい。例えば、進路生成器300を検証システム208内のプロセッサ302で実装してもよい。プロセッサ302は図2のプロセッサ232に通信可能に接続されてもよい。さらに、プロセッサ302はセンサ・システム210に通信可能に接続されてもよい。さらに他の例示的な例、進路生成器300を検証システム208と独立に実装してもよい。
進路生成器300は、図2の自動検証プロセス202を実施するための進路304を確立するために使用される。進路304を図2における予め決定された経路224として使用してもよい。1つの例示的な例では、進路生成器300は登録コンポーネント303および最適化コンポーネント305を含む。
この例示的な例では、センサ・システム210は自動誘導ビークル222に接続される。センサ・システム210は構造206と相対的な複数のテスト位置306に移動される。複数のテスト位置306は、例えば、限定ではなく、実装に応じて何十、何百、何千、または何万ものテスト位置を含んでもよい。1つの例示的な例では、複数のテスト位置306は100から100,000のテスト位置を含んでもよい。テスト位置308は複数のテスト位置306の1つの例である。テスト位置308はセンサ・システム210に対する位置、方位、またはその両方を備えてもよい。したがって、テスト位置308は、構造206と相対的なセンサ・システム210に対する一意な視野を定義する。
センサ・システム210は、複数のテスト画像310を構築するための複数のテスト位置306の各テスト位置で画像データを生成する。センサ・システム210ついで複数のテスト画像310を進路生成器300に処理のために送信する。
進路生成器300は、複数のテスト画像310の各テスト画像を構造206のコンピュータ・モデル236に登録して、複数の登録画像312を形成する。特に、進路生成器300の登録コンポーネント303は複数のテスト画像310の各テスト画像をコンピュータ・モデル236に登録してもよい。複数の登録画像312は登録画像314の集合に追加される。この例示的な例では、登録画像314の集合はデータ構造316に格納されてもよい。データ構造316は、例えば、限定ではなく、データベース、データリポジトリ、アソシアティブメモリ、または幾つかの他のタイプのデータ構造の形をとってもよい。
進路生成器300は、複数のテスト位置306からのどの位置により関心のある領域の全体構造206を、登録画像314の集合からの最小数の登録画像を用いてキャプチャできるかを判定する。識別された当該特定の位置は位置318の最適集合を形成する。位置318の最適集合を図2における1組の位置226として使用してもよい。1つの例示的な例では、位置318の最適集合の識別におけるこれらの上述のステップを進路生成器300の最適化コンポーネント305により実施してもよい。
この例示的な例では、進路生成器300は位置318の最適集合を使用して、構造206と相対的な自動誘導ビークル222を移動するための進路304を確立して、自動検証プロセス202を実施する。例えば、限定ではなく、進路生成器300は、センサ・システム210を位置318の最適集合に最小時間で移動できるように、構造206と相対的な自動誘導ビークル222を移動するための進路304を計算してもよい。幾つかのケースでは、進路304の生成は最適化コンポーネント305により実施される。
進路生成器300はついで、自動誘導ビークル222に対する進路304およびセンサ・システム210に対する位置318の最適集合を識別するコンピュータ・ファイル320を生成する。1つの例示的な例では、コンピュータ・ファイル320は最適化コンポーネント305により生成されてもよい。
幾つかの例示的な例では、進路生成器300はコンピュータ・ファイル320を、自動検証プロセス202を実施する際に使用するための図2のバリデータ212に送信して、構造206に対するアセンブリ204の状態を検証してもよい。他の例示的な例では、進路生成器300はコンピュータ・ファイル320をデータ記憶322に格納してもよい。データ記憶322はプロセッサ302と通信するメモリ、クラウド記憶、または幾つかの他のタイプのデータ記憶の形をとってもよい。
これらの例では、コンピュータ・ファイル320が、自動検証プロセス202を実施する際に使用するためのデータ記憶322からバリデータ212により取り出されてもよい。自動検証プロセス202を実施するための予め決定された経路224としてコンピュータ・ファイル320で識別された進路304および位置318の最適集合を用いることで、自動検証プロセス202を実施するのに必要な時間と処理リソースの量を削減しうる。
コンピュータ・ファイル320で識別された進路304および位置318の最適集合を、他の構造に対する自動検証プロセス202を実施するために使用してもよい。例えば、バリデータ212は、コンピュータ・モデル236に基づいて組み立てられている複数の構造(図示せず)に対する自動検証プロセス202を実施するためのコンピュータ・ファイル320を取り出してもよい。換言すれば、進路304および位置の最適集合を使用して、構造206と同一の設計仕様とマッチする他の構造に対して自動検証プロセス202を実施してもよい。
図2における環境200、図2における検証システム208、および図3における進路生成器300の製造の例示は、例示的な実施形態を実装しうる方式に対する物理またはアーキテクチャ的な限定を示唆することを意味しない。示したものへの追加または置換えとしての他のコンポーネントを使用してもよい。幾つかのコンポーネントはオプションであってもよい。さらに、当該ブロックを、機能コンポーネントを例示するために提示してもよい。例示的な実施形態で実装するとき、これらのブロックのうち1つまたは複数を結合し、分割してもよく、または異なるブロックに結合または分割してもよい。
例えば、自動誘導ビークル222が図1の機体106のような機体の形態での構造206を通って移動するとき、自動誘導ビークル222が機体の内部円筒部分内で移動してもよい。しかし、他の例示的な例では、構造206が図1の翼102の形をとるとき、自動誘導ビークル222を翼102の外部サーフェスに沿って移動してもよい。この方式では、自動誘導ビークル222を、構造206のタイプに依存して構造206と相対的に様々に移動してもよい。
図4は、例示的な実施形態に従って示された機体構造の等角図である。機体構造400は図2で説明した構造206に対する1実装の例であってもよい。さらに、機体構造400が、図1の機体106のような機体を構築するためのアセンブリプロセスの中間にあってもよい。
機体構造400は複数の機体パネル402を含む。この例示的な例では、機体構造400は、機体構造400の内部404がより良く見れるように、示されていない上部機体パネルを有してもよい。
自動誘導ビークル406は、自動誘導ビークル406に取り付けられた撮像システム408を用いて様々な動作を実施するために、機体構造400の内部404を通って移動してもよい。撮像システム408は、図2における撮像システム214に対する1実装の例であってもよい。1つの例示的な例では、撮像システム408が、撮像システム408が内部404の異なるビューをキャプチャできるように、機体構造400と相対的な方位を変更するように制御されてもよい。
実装に応じて、撮像システム408は、自動誘導ビークル406と相対的な1つまたは複数の線形自由度、1つまたは複数の回転自由度、またはその組合せを有してもよい。したがって、撮像システム408は、自動誘導ビークル406と相対的な6個の自由度、3つの自由度、1つの自由度、または幾つかの他の数の自由度を有してもよい。例えば、限定ではなく、撮像システム408は、自動誘導ビークル406と相対的な3つの回転自由度を移動することができてもよい。
1つの例示的な例では、自動誘導ビークル406を、図3における進路304のような進路を確立する目的のため、図2で説明した自動検証プロセス202を実施するために、機体構造400の内部404を通って移動してもよい。例えば、限定ではなく、自動誘導ビークル406を、機体構造400と相対的な予め決定されたテスト進路410に沿って移動してもよい。この例示的な例では、予め決定されたテスト進路410は機体構造400の中心線412に沿った直線経路であってもよい。他の例示的な例では、予め決定されたテスト進路410は曲がった進路、ジグザグ進路、または幾つかの他のタイプの進路であってもよい。
さらに、自動誘導ビークル406は、予め決定されたテスト進路410に沿った様々な位置に移動して、撮像システム408を複数のテスト位置に移動するのを可能としてもよい。例えば、限定ではなく、自動誘導ビークル406は、予め決定されたテスト進路410に沿った約50個の位置に移動してもよい。これらの50個の位置の各々で、撮像システム408は、自動誘導ビークル406と相対的に幾つかの数のテスト位置に移動してもよい。例えば、限定ではなく、撮像システム408を、予め決定されたテスト進路410に沿って自動誘導ビークル406により行われた各ストップでの10個以上のテスト位置に移動してもよい。各テスト位置は基準座標系と相対的なテスト位置およびテスト方位を備えてもよい。この基準座標系は、自動誘導ビークル406に対する座標系、機体構造400に対する座標系、または幾つかの他の座標系であってもよい。
各テスト位置で、撮像システム408はテスト画像を生成する。撮像システム408により生成された複数のテスト画像は、例えば、図3で説明された進路生成器300に処理のために送信されてもよい。進路生成器300はこれらのテスト画像を使用して、進路304を確立して、機体構造400に対する自動検証プロセス202を実施してもよい。いったん進路304が確立されると、進路304を使用して、機体構造400、ならびに機体構造400と同一の設計仕様に従って組み立てられている他の機体構造に対して自動検証プロセス202を実施してもよい。
図5は、例示的な実施形態に従って示された図4および5の機体構造400の一部の画像の図である。画像500は図2で説明した画像220の1実装の例であってもよい。画像500は、例えば、機体構造400の内部404内の図4の撮像システム408により生成されてもよい。
図2からのバリデータ212を、画像500を機体構造400に対するコンピュータ・モデルに登録してもよい。この登録に基づいて、バリデータ212は、ファスナが取り付けられていることが期待される画像500の様々な部分を識別してもよい。バリデータ212はついでセグメント画像500を1組の画像セクション502にセグメント化してもよい。例えば、限定ではなく、バリデータ212は、複数の画像セクション502をせん断し、刈り取り、またはそうでなければ画像500から抽出してもよい。1組の画像セクション502は図2で説明した1組の画像セクション240の1実装の例であってもよい。
複数の画像セクションの各画像セクション502をついで分析して、画像セクションが対応する条件を満たすかどうかを機体構造400に対するコンピュータ・モデルに基づいて判定してもよい。例えば、限定ではなく、当該対応する条件はファスナの存在またはファスナの不存在の何れかであってもよい。
図6は例示的な実施形態に従って示されたグラフィカル・ユーザ・インタフェースに表示されるレポートの図である。レポート600がグラフィカル・ユーザ・インタフェース602に表示される。レポート600は図2のレポート246に対する1実装の例であってもよい。グラフィカル・ユーザ・インタフェース602は図2のグラフィカル・ユーザ・インタフェース248に対する1実装の例であってもよい。レポート600が、図4の機体構造400に対するアセンブリの状態の自動化された検証が実施された後に、図2のバリデータ212により生成されてもよい。
示すように、レポート600は図604を含む。図604は機体構造400の内部404を表してもよい。この例示的な例では、図604は複数の期待されるファスナ606を識別する。ファスナ606は、アセンブリの特定の段階の後に機体構造400に存在すると期待されるファスナの全てであってもよい。
この例示的な例では、1組のグラフィカルインジケータ608を使用して、機体構造400に存在する複数の期待されるファスナ606の各ファスナを示してもよい。この方式では、図604により、レポート600を参照する人間オペレータは、さらになる着目を要求しうる機体構造400上の位置を容易に識別することができうる。
さらに、レポート600はまた一般的な情報610を含む。例えば、限定ではなく、一般的な情報610は日付612、ライン番号614、モデル616、および検査領域618を含んでもよい。日付612は、アセンブリの状態の自動化された検証が実施された日付を識別してもよい。ライン番号614およびモデル616は特に機体構造400を識別してもよい。検査領域618は、当該アセンブリの状態の自動化された検証が実施された機体構造400の特定の領域を識別してもよい。
さらに、レポート600は条件サマリ620を含む。条件サマリ620はアセンブリの状態の自動化された検証の結果を識別してもよい。例えば、限定ではなく、条件サマリ620は、最終スコア622、課題624の数、ファスナ626の数、および画像セクション628の数を識別してもよい。最終スコア622は図2の最終スコア244に対する1実装の例であってもよい。
最終スコア622は、それらのそれぞれの対応する条件を満たす、分析された画像セクションの割合を識別する。課題624の数は検出された課題の数を識別する。換言すれば、課題624の数は、それらのそれぞれの対応する条件を満たさない画像セクションの数を識別してもよい。ファスナ626の数は、1つまたは複数の画像技術を用いてバリデータ212により認識されたファスナの数を識別する。画像セクション628の数は、レポート600を生成するために使用され分析された画像セクションの総数を識別してもよい。
図1および図4乃至6の例示は、例示的な実施形態を実装しうる方式に対する物理またはアーキテクチャ的な限定を示唆することを意味しない。示したものへの追加または置換えとしての他のコンポーネントを使用してもよい。幾つかのコンポーネントはオプションであってもよい。図1および図4乃至6に示す異なるコンポーネントは、図2および3のブロック形式で示されているコンポーネントをどのように物理構造として実装できるかの例示的な例であってもよい。さらに、図1および図4乃至6のコンポーネントの幾つかが、図2および3におけるコンポーネントと結合され、図2および3におけるコンポーネントとともに使用され、そうでなければ図2および3におけるコンポーネントとともに含まれ、またはその組合せであってもよい。
図7は例示的な実施形態に従って示された、構造に対するアセンブリの状態の自動化された検証を実施するための方法の図である。図7に示す方法700を使用して、例えば、図2で前述した自動検証プロセス202を実施してもよい。方法700が、1組の動作またはプロセスとして示されている。示されている動作の全てを方法700の全ての実施形態で実施しなくてもよい。さらに、明示的に図7に明示的に示されない1つまたは複数のプロセスを、動作の前、後、それらの間、またはそれらの一部として含めてもよい。幾つかの実施形態では、当該動作のうち1つまたは複数はオプションであってもよく、したがって省略してもよい。
方法700は、構造の複数の画像を、当該複数の画像内の画像が当該構造の一部をキャプチャする当該構造のコンピュータ・モデルに登録するステップにより開始してもよい(動作702)。動作702において、当該構造は、例えば、図4の機体構造400のような機体構造であってもよい。他の例示的な例では、当該構造は幾つかの他のタイプの航空機構造であってもよい。次に、当該複数の画像内の各画像を当該複数の画像の登録に基づいて当該コンピュータ・モデルにセグメント化して複数の画像セクションを形成してもよい(動作704)。動作704を、例えば、限定ではなく、1つまたは複数の画像認識および登録技術を用いて実施してもよい。
その後、当該複数の画像セクション内の各画像セクションが、当該最終スコアはアセンブリの状態が妥当であるかどうかを示す対応する条件を満たすかどうかに基づいて、当該構造のアセンブリの状態に対する最終スコアが生成されてもよい(動作706)。1つの例示的な例では、当該最終スコアは、それらの当該コンピュータ・モデルへの登録に基づいてそれらのそれぞれの対応する条件を満たした当該複数の画像セクションの割合であってもよい。当該最終スコアはついで、ディスプレイ・システム上のグラフィカル・ユーザ・インタフェースに表示されてもよい(動作708)、当該プロセスはその後停止する。図7の方法700で説明された当該自動検証プロセスの当該動作の各々を自律的に実施してもよい。
図8は、例示的な実施形態に従って示された、構造に対するアセンブリの状態の自動化された検証を実施するための方法の図である。図8に示す方法800を使用して、例えば、図2で前述した自動検証プロセス202を実施してもよい。方法800が、1組の動作またはプロセスとして示されている。示されている動作の全てを方法800の全ての実施形態で実施しなくてもよい。さらに、明示的に図8に明示的に示されない1つまたは複数のプロセスを、当該動作の前、後、それらの間、またはそれらの一部として含めてもよい。幾つかの実施形態では、当該動作のうち1つまたは複数は任意であってもよく、したがって省略してもよい。
方法800はセンサ・システムを用いて構造の複数の画像を生成するステップにより開始してもよい(動作802)。1つの例示的な例では、当該センサ・システムは、当該構造と相対的な複数の固定の位置に配置された複数のセンサを含む。他の例示的な例では、当該センサ・システムが自動誘導ビークルに接続されてもよい。これらの例では、自動誘導ビークルを当該構造に対する予め決定された経路に沿って移動して、当該センサ・システムを1組の位置に移動し、当該複数の画像を生成してもよい。当該1組の位置は、領域の全体または関心のある構造の領域を最小数の画像でキャプチャできるようにする位置の最適集合であってもよい。
次に、当該構造の複数の画像を当該構造のコンピュータ・モデルに登録してもよい(動作804)。動作において804、当該コンピュータ・モデルは、例えば、限定ではなく、コンピュータ支援型設計モデルであってもよい。ついで、当該複数の画像内の各画像を1組の画像セクションにセグメント化し、それにより複数の画像セクションを形成する(動作806)。動作806を、例えば、限定ではなく、1つまたは複数の画像セクションを刈り取り、せん断し、またはそうでなければ各画像から抽出することにより実施してもよい。幾つかのケースでは、当該画像の当該全体をセグメント化してもよい。他のケースでは、生成された各画像セクションが、単一の関心特徴を有すると期待される当該構造の一部をキャプチャするように、当該画像の特定の部分のみをセグメント化してもよい。当該単一の関心特徴は、例えば、限定ではなく、穴、当該穴に組み込まれたファスナ、または視覚的に検出できる幾つかの他のタイプの特徴であってもよい。
その後、各画像セクションに対する対応する条件を満たす当該複数の画像セクションの割合を計算して、当該構造に対するアセンブリの状態に対する初期スコアを生成する(動作808)。動作808において、特定の画像セクションに対する対応する条件は、例えば、特定の関心特徴存在または不存在の何れかであってもよい。幾つかの例示的な例では、当該対応する条件が、穴の存在、穴に取り付けられたファスナの存在、穴の欠如、穴におけるファスナの欠如、または幾つかの他のタイプの条件の1つから選択されてもよい。
任意の無効化イベントが識別されたかどうかの判定を行ってもよい(動作810)。動作810において、無効化イベントは、例えば、当該構造に対するアセンブリの状態に重大である対応する条件を満たさない特定の画像セクションであってもよい。例えば、幾つかのケースでは、特定の位置におけるファスナの存在が当該アセンブリの状態に重大であってもよい。任意の無効化イベントが識別された場合、当該初期スコアは、当該構造に対するアセンブリの状態に対する最終スコアを生成するように調整される(動作812)。特に、動作812で、当該初期スコアが、識別された無効化イベントに基づいて調整される。動作812を、例えば、当該無効化イベントが当該アセンブリの状態を無効としたことを示すように、当該初期スコアをゼロパーセントに調節することにより実施してもよい。他の例示的な例では、無効化イベントごとに当該初期スコアに調節を行ってもよく、当該調節は、各無効化イベントの重要性に基づいて当該構造に対する当該アセンブリの状態に重み付けされる。
当該最終スコアおよび当該構造および当該構造上の関心特徴を表す図を含むレポートがついで生成される(動作814)。当該レポートがコンピュータ化された数値的に制御されたマシンに処理のために送信される(動作816)、当該プロセスはその後停止する。幾つかのケースでは、当該レポートは、当該コンピュータ化された数値的に制御されたマシンを調節するか、または、当該コンピュータ化された数値的に制御されたマシンに対するコマンドを生成するために使用される。
動作810を再度参照して、無効化イベントが識別されない場合、初期スコアは、構造に対するアセンブリの状態に対する最終スコアとして使用される(動作818)。方法800はついで上述のようにプロセス814に進む。
図9は、例示的な実施形態に従って示された、航空機構造に対するアセンブリの状態の自動化された検証を実施するための方法の図である。図9に示す方法900を使用して、例えば、図2で前述した自動検証プロセス202を実施してもよい。方法900が、1組の動作またはプロセスとして示されている。示されている動作の全てを方法900の全ての実施形態で実施しなくてもよい。さらに、明示的に図9に明示的に示されない1つまたは複数のプロセスを、当該動作の前、後、それらの間、またはそれらの一部として含めてもよい。幾つかの実施形態では、当該動作のうち1つまたは複数はオプションであってもよく、したがって省略してもよい。
方法900は、当該複数の画像内の画像が航空機構造の一部をキャプチャする自動誘導ビークルに取り付けられたセンサ・システムを用いて、航空機構造の複数の画像を生成する際に使用するための画像データを生成するステップにより開始してもよい(動作902)。次に、当該複数の画像がバリデータに処理のために送信される(動作904)。当該バリデータを、プロセッサまたはコンピュータシステムを用いて実装してもよい。当該複数の画像を当該航空機構造のコンピュータ・モデルに登録してもよい(動作906)。
その後、当該複数の画像内の各画像を当該複数の画像の登録に基づいて当該コンピュータ・モデルにセグメント化して、複数の画像セクションを形成してもよい(動作908)。当該複数の画像セクション内の各画像セクションが航空機構造の当該コンピュータ・モデルに関して対応する条件を満たすかどうかに基づいて、最終スコアが当該航空機構造に対して生成される(動作910)。動作910において、当該最終スコアは、当該構造に対するアセンブリの状態が妥当であるかどうかを示す。当該最終スコアがついで、ディスプレイ・システム上のグラフィカル・ユーザ・インタフェース内に表示される(動作912)、当該プロセスはその後停止する。
図10は、例示的な実施形態に従って示された、自動検証プロセスを実施するための進路を確立するための方法の図である。図10に示す方法1000を使用して、図3における進路304のような進路を確立し、図2で前述した自動検証プロセス202を実施してもよい。方法1000が、1組の動作またはプロセスとして示されている。示されている動作の全てを方法1000の全ての実施形態で実施しなくてもよい。さらに、明示的に図10に示されていない1つまたは複数のプロセスを、当該動作の前、後、それらの間、またはそれらの一部として含めてもよい。幾つかの実施形態では、当該動作のうち1つまたは複数はオプションであってもよく、したがって省略してもよい。
方法1000は自動誘導ビークルに接続されたセンサ・システムを構造と相対的な複数のテスト位置に移動するステップにより開始してもよい(動作1002)。動作1002を、例えば、自動誘導ビークルを予め決定されたテスト進路に沿って移動して、当該センサ・システムを当該複数のテスト位置に移動できるようにすることにより実施してもよい。次に、複数のテスト画像を構築するために、画像データが当該センサ・システムを用いて当該複数のテスト位置の各テスト位置生成される(動作1004)。当該複数のテスト画像の各テスト画像を当該構造のコンピュータ・モデルに登録して、登録画像の集合に追加される複数の登録画像を形成する(動作1006)。
動作1006を、例えば、限定ではなく、当該コンピュータ・モデルにおけるテスト画像およびこれらの同一の特徴で検出された構造の特徴の間の対応を描くことにより実施してもよい。このプロセスは、例えば、様々なアルゴリズムおよび方法を使用することを含んでもよく、これらのアルゴリズムおよび方法には、RANSAC(the Random Sample Consensus algorithm)およびICP(the iterative closest point algorithm)が含まれるがこれらに限られない。
その後、最小数の登録画像を用いて関心のある構造の領域の全体を登録画像の集合からキャプチャできるようにする位置の最適集合が複数のテスト位置から決定される(動作1008)。次に、センサ・システムを最小時間で位置の最適集合の各々に移動できるように、自動誘導ビークルを移動するために進路が生成される(動作1010)。コンピュータ・ファイルが自動誘導ビークルを移動するための進路とセンサ・システムに対する位置の最適集合とを識別する、当該構造に対するアセンブリの状態を検証する自動検証プロセスを実施する際に使用する当該コンピュータ・ファイルを生成する(動作1012)。
当該コンピュータ・ファイルがついで、当該構造と同一の設計仕様にマッチする複数の構造に対する自動検証プロセスを実施する際に使用するために格納される(動作1014)、当該プロセスはその後停止する。例えば、当該コンピュータ・ファイルで識別された位置の進路および最適集合を使用して、当該自動検証プロセスを実施する目的のための構造と同一のコンピュータ・モデルに従って組み立てられている他の構造と相対的に、自動誘導ビークルおよびセンサ・システムを、それぞれ移動してもよい。幾つかの例示的な例では、当該コンピュータ・ファイルがまた、異なるアセンブリまたはアセンブリの段階または当該構造の製造のための当該自動検証プロセスを実施する際に使用するために格納されてもよい。
図11は、例示的な実施形態に従って示された、自動検証プロセスを実施するための位置の最適集合を決定するための方法の図である。図11に示す方法1100は、図10における動作1008を実装するために使用しうる1つのプロセスの例であってもよい。方法1100が、1組の動作またはプロセスとして示されている。示されている動作の全てを方法1100の全ての実施形態で実施しなくてもよい。さらに、図11に明示的に示さない1つまたは複数のプロセスを、当該動作の前、後、それらの間、またはそれらの一部として含めてもよい。幾つかの実施形態では、当該動作のうち1つまたは複数はオプションであってもよく、したがって省略してもよい。
方法1100は、関心のある当該構造の領域の全体を最終画像セットからキャプチャできるようにする登録画像の集合から最小数の登録画像を選択するステップにより開始してもよい(動作1102)。次に、最終画像セット内の各登録画像に対応するテスト位置が、位置の最適集合を形成するために識別される(動作1104)、当該プロセスはその後停止する。
図12は、例示的な実施形態に従って示されたデータ処理システムのブロック図である。データ処理システム1200を使用して、図1におけるバリデータ212および図3における進路生成器300を実装してもよい。示すように、データ処理システム1200は通信フレームワーク1202を含む。通信フレームワーク1202は、プロセッサ・ユニット1204、記憶デバイス1206、通信ユニット1208、入出力ユニット1210、およびディスプレイ1212の間の通信を提供する。幾つかのケースでは、通信フレームワーク1202をバスシステムとして実装してもよい。
プロセッサ・ユニット1204は、幾つかの動作を実施するためのソフトウェアに関する命令を実行するように構成される。プロセッサ・ユニット1204は実装に応じて、幾つかのプロセッサ、マルチプロセッサ・コア、および/または幾つかの他のタイプのプロセッサを備えてもよい。幾つかのケースでは、プロセッサ・ユニット1204は、回路システム、特殊用途向け集積回路(ASIC)、プログラム可能ロジックデバイス、または幾つかの他の適切なタイプのハードウェア・ユニットのようなハードウェア・ユニットの形をとってもよい。
プロセッサ・ユニット1204により実行される当該動作システム、アプリケーション、および/またはプログラムに対する命令を記憶デバイス1206に配置してもよい。記憶装置1206は、通信フレームワーク1202を通じてプロセッサ・ユニット1204と通信してもよい。本明細書で説明する際、記憶デバイスは、コンピュータ可読記憶デバイスとも称され、一時的および/または永続的に情報を格納できる任意のハードウェアである。この情報は、データ、プログラム・コード、および/または他の情報を含んでもよいがこれらに限られない。
メモリ1214および永続記憶1216は記憶デバイス1206の例である。メモリ1214は、例えば、ランダム・アクセスメモリまたは幾つかのタイプの揮発性または非揮発性記憶デバイスの形をとってもよい。永続記憶1216は任意数のコンポーネントまたはデバイスを備えてもよい。例えば、永続記憶1216はハード・ドライブ、フラッシュメモリ、再書き込み可能光ディスク、再書き込み可能磁気テープ、または上述の幾つかの組合せを備えてもよい。永続記憶1216により使用される当該媒体は取外し可能であってもなくてもよい。
通信ユニット1208により、データ処理システム1200は他のデータ処理システムおよび/またはデバイスと通信することができる。通信ユニット1208は物理および/または無線通信リンクを用いて通信を提供してもよい。
入出力ユニット1210により、データ処理システム1200に接続された他のデバイスから入力を受信でき、当該他のデバイスに出力を送信することができる。例えば、入出力ユニット1210により、ユーザ入力をキーボード、マウス、および/または幾つかの他のタイプの入力デバイスを通じて受信することができる。別の例として、入出力ユニット1210により、データ処理システム1200に接続されたプリンタに出力を送信することができる。
ディスプレイ1212は情報をユーザに表示するように構成される。ディスプレイ1212は、例えば、限定ではなく、モニタ、タッチ・スクリーン、レーザディスプレイ、ホログラフィックディスプレイ、仮想ディスプレイデバイス、および/または幾つかの他のタイプのディスプレイデバイスを備えてもよい。
この例示的な例では、異なる例示的な実施形態のプロセスを、コンピュータ実行型命令を用いて、プロセッサ・ユニット1204により実施してもよい。これらの命令を、プログラム・コード、コンピュータ使用可能プログラム・コード、またはコンピュータ可読プログラム・コードと称してもよく、プロセッサ・ユニット1204内の1つまたは複数のプロセッサにより読んで実行してもよい。
これらの例では、プログラム・コード1218はコンピュータ可読媒体1220上の機能形式で配置され、コンピュータ可読媒体1220は選択的に取外し可能であり、プロセッサ・ユニット1204による実行のために、データ処理システム1200にロードするかまたはそこに転送されてもよい。プログラム・コード1218およびコンピュータ可読媒体1220は一緒にコンピュータ・プログラム製品1222を形成する。この例示的な例では、コンピュータ可読媒体1220は、コンピュータ可読記憶媒体1224またはコンピュータ可読信号媒体1226であってもよい。
コンピュータ可読記憶媒体1224は、プログラム・コード1218を伝播または送信する媒体ではなく、プログラム・コード1218を格納するために使用される物理または有形記憶デバイスである。コンピュータ可読記憶媒体1224は、例えば、限定ではなく、データ処理システム1200に接続された光または磁気ディスクまたは永続記憶デバイスであってもよい。
あるいは、プログラム・コード1218を、コンピュータ可読信号媒体1226を用いて、データ処理システム1200に転送してもよい。コンピュータ可読信号媒体1226は、例えば、プログラム・コード1218を含む伝播データ信号であってもよい。このデータ信号は、物理および/または無線通信リンク上で送信されうる電磁気信号、光信号、および/または幾つかの他のタイプの信号であってもよい。
図12におけるデータ処理システム1200の図は、例示的な実施形態を実装しうる方式に対するアーキテクチャ的な限定を提供することを意味するものではない。異なる例示的な実施形態を、データ処理システム1200に対して示されたものに追加してまたはその代わりのコンポーネントを含むデータ処理システムで実装してもよい。さらに、図12に示すコンポーネントを示した例示的な例から変更してもよい。
本開示の例示的な実施形態は、図13で示す航空機製造およびサービス方法1300および図14で示す航空機1400の文脈で説明されうる。図13は例示的な実施形態に従って示された航空機製造およびサービス方法の図である。航空機製造およびサービス方法1300を使用して、例えば、図1の航空機100を製造してもよい。事前生産の間に、航空機製造およびサービス方法1300は図14の航空機1400および材料調達1304の仕様および設計1302を含んでもよい。
生産の間に、図14の航空機1400のコンポーネントおよびサブアセンブリ製造1306およびシステム統合1308が行われる。その後、図14の航空機1400はサービス1312に置くために認証および配送1310を受けてもよい。顧客によるサービス1312中に、図14の航空機1400が定期保守およびサービス1314に対してスケジュールされ、定期保守およびサービス1314は修正、再構成、改良、および他の保守またはサービスを含んでもよい。
航空機製造およびサービス方法1300のプロセスの各々をシステム・インテグレータ、サードパーティ、および/またはオペレータにより実施または実行してもよい。これらの例では、当該オペレータは顧客であってもよい。この説明の目的のため、システム・インテグレータは、限定ではなく、任意数の航空機製造業者および主要システム下請け業者を含んでもよい。サードパーティは限定ではなく、任意数のベンダ、下請け業者、およびサプライヤを含んでもよく、オペレータは航空会社、リース企業、軍用エンティティ、サービス組織等であってもよい。
図14iは、例示的な実施形態に従って示された航空機のブロック図である。本例では、航空機1400は図13における航空機製造およびサービス方法1300により生産され、複数のシステム1404および内部1406を有する機体1402を含んでもよい。システム1404の例は推進システム1408、電気システム1410、油圧システム1412、および環境システム1414のうち1つまたは複数を含む。任意数の他のシステムを含めてもよい。航空宇宙の例が示されているが、異なる例示的な実施形態を当該自動車業界のような他の業界に適用してもよい。
本明細書で具体化される装置および方法を、図13における1300航空機製造およびサービス方法の段階の少なくとも1つの間に使用してもよい。特に、図2からの自動検証プロセス202を航空機製造およびサービス方法1300の段階の何れかの間に実施してもよい。例えば、限定ではなく、図2における検証システム208を使用して、自動検証プロセス202を実施して、コンポーネントおよびサブアセンブリ製造1306、システム統合1308、定期保守およびサービス1314、または航空機製造およびサービス方法1300の幾つかの他の段階の少なくとも1つの間に航空機1400の構造に対するアセンブリの状態を検証してもよい。さらに、図3からの進路生成器300を使用して、航空機製造およびサービス方法1300の段階の何れかの間に自動検証プロセス202を実施するための進路を確立してもよい。
1つの例示的な例では、図13におけるコンポーネントおよびサブアセンブリ製造1306で生成されるコンポーネントまたはサブアセンブリが、航空機1400が図13におけるサービス1312中に生成されたコンポーネントまたはサブアセンブリと同様な方式で製造されてもよい。さらに別の例として、1つまたは複数の装置の実施形態、方法の実施形態、またはその組合せを、図13におけるコンポーネントおよびサブアセンブリ製造1306およびシステム統合1308のような生産段階の間に利用してもよい。1つまたは複数の装置実施形態、方法実施形態、またはその組合せを、航空機1400がサービス中に1312および/または図13における保守およびサービス1314の間に利用してもよい。幾つかの当該異なる例示的な実施形態の利用は航空機1400のアセンブリを十分に利用し、かつ/または、そのコストを削減しうる。
本発明はまた以下の項でも参照され、これらは添付の特許請求の範囲と混同されるべきではない。
A1:構造(206)に対するアセンブリ(204)の状態の自動化された検証(202)を実施するための進路(304)を確立する方法であって、
自動誘導ビークル(222)に接続されたセンサ・システム(210)を当該構造(206)と相対的な複数のテスト位置(308)に移動するステップ(1002)と、
当該センサ・システム(210)を用いて当該複数のテスト位置(308)の各テスト位置で画像データを生成して複数のテスト画像(310)を構築するステップ(1004)と、
当該複数のテスト画像(310)の各テスト画像を当該構造(206)のコンピュータ・モデル(236)に登録して、登録画像(314)の集合に追加される複数の登録画像(312)を形成するステップ(1006)と、
関心のある当該構造(206)の領域の全体を最小数の登録画像を用いて、登録画像(314)の当該集合からキャプチャできるようにする位置(318)の最適集合を当該複数のテスト位置(308)から決定するステップ(1008)と、
自動誘導ビークル(222)を位置(318)の当該最適集合の各々に最小時間で移動するための当該進路(304)を生成するステップ(1010)と、
自動検証プロセス(202)を実施する際に使用するためのコンピュータ・ファイル(320)を生成して、当該コンピュータ・ファイル(320)が当該進路(304)を識別する当該構造(206)に対する当該アセンブリ(204)の状態を検証するステップ(1012)と、
を含む、方法。
A2:当該センサ・システム(210)を移動するステップ(1002)は、
自動誘導ビークル(222)を直線経路に沿って移動して、当該センサ・システム(210)が当該複数のテスト位置(308)に移動できるようにするステップを含む、段落A1に記載の方法。
A3:当該センサ・システム(210)を移動するステップ(1002)は、
自動誘導ビークル(222)を当該構造(206)と相対的な予め決定されたテスト進路(304)に沿って移動して、当該センサ・システム(210)が当該複数のテスト位置(308)に移動できるようにするステップ
を含む、段落A1に記載の方法。
A4:各テスト位置で当該画像データを生成するステップ(1004)は、当該センサ・システム(210)がテスト位置(308)に移動されたとき、テスト画像を生成するステップを含み、当該テスト位置(308)は基準座標系と相対的なテスト位置およびテスト方位を含む、段落A1に記載の方法。
A5:位置(318)の当該最適集合を当該複数のテスト位置(308)から決定するステップ(1008)は、
最小数の登録画像を、関心がある当該構造の当該領域の全体(206)をキャプチャして最終画像セットを形成できるようにする登録画像の当該集合(314)から選択するステップ(1102)と、
位置(318)の当該最適集合を形成するために、当該最終画像セット内の各登録画像に対応するテスト位置(308)を識別するステップ(1104)と、
を含む、段落A1に記載の方法。
A6:各登録画像に対応する当該テスト位置(308)を識別するステップ(1104)は、
当該最終画像セット内の登録画像に対応する当該センサ・システムに対するテスト位置およびテスト方位(210)を識別するステップを含む、段落5に記載の方法。
A7:当該センサ・システム(210)を移動するステップ(1002)は、当該センサ・システム(210)を当該構造(206)と相対的な約100から約100,000のテスト位置に移動するステップを含み、各テスト位置は基準座標系と相対的なテスト位置およびテスト方位を含む、段落A1に記載の方法。
A8:自動誘導ビークル(222)に接続され当該センサ・システム(210)を位置(318)の当該最適集合を当該コンピュータ・ファイル(320)内で識別された当該進路(304)に沿って移動して、当該自動検証プロセス(202)を実施するステップをさらに含む、段落A1に記載の方法。
A9:当該構造(206)と同一の設計仕様にマッチする複数の構造(206)に対する当該自動検証プロセス(202)を実施する際に使用するための当該コンピュータ・ファイル(320)を格納するステップ(1014)をさらに含む、段落A1に記載の方法。
A10:当該コンピュータ・ファイル(320)を用いて当該自動検証プロセス(202)を実施するステップは、当該アセンブリの状態の当該自動化された検証(204)を実施するのに必要な処理リソースの全体の量を削減する、段落A1に記載の方法。
A11:機体構造(206)に対するアセンブリ(204)の状態の自動化された検証(202)を実施するための進路(304)を確立する方法であって、
自動誘導ビークル(222)に接続されたセンサ・システム(210)を、機体構造(206)を通じて複数のテスト位置(308)に移動するステップ(1002)と、
当該センサ・システム(210)を用いて当該複数のテスト位置(308)の各テスト位置で画像データを生成して複数のテスト画像(310)を構築するステップ(1004)と、
生成された当該複数のテスト画像(310)の各テスト画像を機体構造(206)のコンピュータ・モデル(236)に登録するステップ(1006)と、
関心のある機体構造(206)の領域の全体を最小数のテスト画像を用いてキャプチャできるようにする位置(318)の最適集合を当該複数のテスト位置から決定する(308)ステップ(1008)と、
自動誘導ビークル(222)を位置(318)の当該最適集合の各々に最小時間で移動するための進路(304)を生成するステップ(1010)と、
当該ファイルが当該進路(304)を識別する機体構造(206)のための当該アセンブリ(204)の状態を検証する自動検証プロセス(202)を実施する際に使用するためのファイルを生成するステップ(1012)と、
を含む、方法。
A12:当該センサ・システム(210)を移動するステップ(1002)は、
機体構造を通る中心線に沿った直線経路(206)に沿って自動誘導ビークル(222)を移動するステップを含む、段落11に記載の方法。
A13:当該画像データを生成するステップ(1004)は、
テスト画像をテスト位置(308)でを生成するステップであって、当該テスト画像は機体構造内の複数の穴(206)または機体構造内の複数の穴に取り付けられた複数のファスナ(206)のうち少なくとも1つをキャプチャする、ステップを含む、
段落11に記載の方法。
A14:機体構造(206)と同一の設計仕様にマッチする複数の機体構造(206)に対する当該自動検証プロセス(202)を実施する際に使用するための当該コンピュータ・ファイル(320)を格納するステップ(1014)をさらに含む、段落11に記載の方法。
A15:機体構造(206)に対するアセンブリの異なる段階に対して、当該自動検証プロセス(202)を実施する際に使用するための当該コンピュータ・ファイル(320)を格納するステップをさらに含む、段落11に記載の方法。
A16:構造(206)と相対的な複数のテスト位置(308)で当該複数のテスト画像(310)を生成したセンサ・システム(210)から、複数のテスト画像(310)を受信し、生成された当該複数のテスト画像(310)の各テスト画像を当該構造(206)のコンピュータ・モデル(236)に登録する登録コンポーネント(303)と、
最小数のテスト画像を用いて、関心のある当該構造(206)の領域の全体をキャプチャできるようにする位置(318)の最適集合を当該複数のテスト位置(308)から決定し、自動誘導ビークル(222)を位置(318)の当該最適集合の各々に最小時間で移動するための進路(304)を生成し、当該ファイルが当該進路(304)を識別する当該構造(206)に対する当該アセンブリ(204)の状態の当該自動化された検証(202)を実施する際に使用するためのファイルを生成する最適化コンポーネント(305)と
を含む、プロセッサ(302)を備えた装置。
A17:当該センサ・システム(210)をさらに含み、当該センサ・システム(210)は自動誘導ビークル(222)に接続され、当該センサ・システム(210)を当該構造(206)と相対的な複数のテスト位置(308)に移動するように構成される、段落16に記載の装置。
A18:当該構造(206)は機体構造(206)であり、当該複数のテスト画像(310)内のテスト画像は機体構造(206)内の複数の穴または機体構造(206)内の複数の穴に取り付けられた複数のファスナのうち少なくとも1つをキャプチャする、段落16に記載の装置。
A19:当該複数のテスト画像(310)は約100から100,000のテスト画像を含む、段落16に記載の装置。
A20:テスト位置(308)で生成された当該複数のテスト画像(310)内のテスト画像は基準座標系に関して、当該センサ・システム(210)に対する特定のテスト位置および特定のテスト方位に対応する、段落16に記載の装置。
本発明の特定の例示的な実施形態が当該添付図面で説明され示されているが、かかる実施形態は例示的なものにすぎず、広い発明に対して限定的ではないことは理解される。さらに、様々な他の修正が当業者により行われてもよいので、本発明の当該実施形態は図示し説明された特定の構築および配置に制限されないことは理解される。
さらに、本発明の実施形態の詳細な説明において、多数の特定の詳細が、開示された実施形態の徹底的な理解を提供するために説明された。しかし、本開示の諸実施形態をこれらの特定の詳細なしに実施してもよいことは当業者には明らかであろう。幾つかのインスタンスでは、周知の方法、手続き、および構成要素は、本発明の実施形態の態様を不必要に不明瞭にしないために詳細には説明されていない。
200 製造環境
202 自動検証プロセス
204 アセンブリの状態
206 構造
208 検証システム
210 センサ・システム
212 検証器
214 撮像システム
215 画像処理コンポーネント
216 画像データ
217 比較コンポーネント
218 複数の画像
220 画像
222 自動誘導ビークル
224 所定の経路
226 1組の位置
228 複数の撮像センサ
230 複数の固定位置
232 プロセッサ
236 コンピュータ・モデル
237 複数の設計図面
238 複数の画像セクション
240 1組の画像セクション
242 画像セクション
244 最終スコア
245 初期スコア
246 レポート
248 グラフィカル・ユーザ・インタフェース
250 ディスプレイ・システム
252 コンピュータ化された数値的に制御される機械

Claims (14)

  1. 構造(206)に対するアセンブリ(204)の状態の自動化された検証(202)を実施するための進路(304)を確立する方法であって、
    自動誘導ビークル(222)に接続されたセンサ・システム(210)を前記構造(206)と相対的な複数のテスト位置(308)に移動するステップ(1002)と、
    前記センサ・システム(210)を用いて前記複数のテスト位置(308)の各テスト位置で画像データを生成して複数のテスト画像(310)を構築するステップ(1004)と、
    前記複数のテスト画像(310)の各テスト画像を前記構造(206)のコンピュータ・モデル(236)に登録して、登録画像(314)の集合に追加される複数の登録画像(312)を形成するステップ(1006)と、
    関心のある前記構造(206)の領域の全体を、最小数の登録画像を用いて、登録画像(314)の前記集合からキャプチャできるようにする位置(318)の最適集合を前記複数のテスト位置(308)から決定するステップ(1008)と、
    前記自動誘導ビークル(222)を位置(318)の前記最適集合の各々に最小時間で移動するための前記進路(304)を生成するステップ(1010)と、
    自動検証プロセス(202)を実施する際に使用するためのコンピュータ・ファイル(320)を生成して、前記構造(206)に対する前記アセンブリ(204)の状態を検証するステップであって、前記コンピュータ・ファイル(320)が前記構造(206)における前記進路(304)を識別する、ステップ(1012)と、
    を含む、方法。
  2. 前記センサ・システム(210)を移動するステップ(1002)は、
    前記自動誘導ビークル(222)を直線経路に沿って移動して、前記センサ・システム(210)が前記複数のテスト位置(308)に移動できるようにするステップ
    を含む、請求項1に記載の方法。
  3. 前記センサ・システム(210)を移動するステップ(1002)は
    前記自動誘導ビークル(222)を前記構造(206)と相対的な予め決定されたテスト進路(304)に沿って移動して、前記センサ・システム(210)が前記複数のテスト位置(308)に移動できるようにするステップ
    を含む、請求項1に記載の方法。
  4. 各テスト位置で前記画像データを生成すること(1004)は、
    前記センサ・システム(210)がテスト位置(308)に移動されたとき、テスト画像を生成するステップであって、前記テスト位置(308)は基準座標系と相対的なテスト位置およびテスト方位を含む、ステップ
    を含む、請求項1に記載の方法。
  5. 位置(318)の前記最適集合を前記複数のテスト位置(308)から決定するステップ(1008)は、
    関心がある前記構造(206)の前記領域の全体をキャプチャして最終画像セットを形成できるようにする前記最小数の登録画像を登録画像(314)の前記集合から選択するステップ(1102)と、
    前記最終画像セット内の各登録画像に対応するテスト位置(308)を識別して、位置(318)の前記最適集合を形成するステップ(1104)と、
    を含む、請求項1に記載の方法。
  6. 各登録画像に対応する前記テスト位置(308)を識別すること(1104)は、
    前記最終画像セット内の登録画像に対応する前記センサ・システム(210)に対するテスト位置およびテスト方位を識別するステップ
    を含む、請求項5に記載の方法。
  7. 前記センサ・システム(210)を移動するステップ(1002)は、
    前記センサ・システム(210)を前記構造(206)と相対的な100から100,000個のテスト位置に移動するステップであって、各テスト位置は基準座標系と相対的なテスト位置およびテスト方位を含む、ステップ
    を含む、請求項1に記載の方法。
  8. 前記自動誘導ビークル(222)に接続された前記センサ・システム(210)を位置(318)の前記最適集合に前記コンピュータ・ファイル(320)内で識別された前記進路(304)に沿って移動して、前記自動検証プロセス(202)を実施するステップをさらに含む、請求項1に記載の方法。
  9. 前記構造(206)と同一の設計仕様にマッチする複数の構造(206)に対する前記自動検証プロセス(202)を実施する際に使用するための前記コンピュータ・ファイル(320)を格納するステップ(1014)をさらに含む、請求項1に記載の方法。
  10. 構造(206)と相対的な複数のテスト位置(308)で複数のテスト画像(310)を生成したセンサ・システム(210)から、前記複数のテスト画像(310)を受信し、生成された前記複数のテスト画像(310)の各テスト画像を前記構造(206)のコンピュータ・モデル(236)に登録する登録コンポーネント(303)と、
    最小数のテスト画像を用いて、関心のある前記構造(206)の領域の全体をキャプチャできるようにする位置(318)の最適集合を前記複数のテスト位置(308)から決定し、自動誘導ビークル(222)を位置(318)の前記最適集合の各々に最小時間で移動するための進路(304)を生成し、前記構造(206)に対するアセンブリ(204)の状態の自動化された検証(202)を実施する際に使用するためのファイルを生成する最適化コンポーネントであって、前記ファイルが前記構造(206)における前記進路(304)を識別する、最適化コンポーネント(305)と、
    を含むプロセッサ(302)を備えた、装置。
  11. 前記センサ・システム(210)をさらに含み、前記センサ・システム(210)は前記センサ・システム(210)を前記構造(206)と相対的な前記複数のテスト位置(308)に移動するように構成された自動誘導ビークル(222)に接続された、請求項10に記載の装置。
  12. 前記構造(206)は機体構造(206)であり、前記複数のテスト画像(310)内のテスト画像は前記機体構造(206)内の複数の穴または前記機体構造(206)内の複数の穴に取り付けられた複数のファスナのうち少なくとも1つをキャプチャする、請求項10に記載の装置。
  13. 前記複数のテスト画像(310)は100から100,000のテスト画像を含む、請求項10に記載の装置。
  14. テスト位置(308)で生成された前記複数のテスト画像(310)内のテスト画像は、基準座標系に関して前記センサ・システム(210)に対する特定のテスト位置および特定のテスト方位に対応する、請求項10に記載の装置。
JP2017233254A 2017-02-23 2017-12-05 アセンブリの状態検証のための進路の識別 Active JP7050472B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/441,104 2017-02-23
US15/441,104 US10497110B2 (en) 2017-02-23 2017-02-23 Identifying a pathway for condition of assembly validation

Publications (3)

Publication Number Publication Date
JP2018142300A JP2018142300A (ja) 2018-09-13
JP2018142300A5 JP2018142300A5 (ja) 2021-01-21
JP7050472B2 true JP7050472B2 (ja) 2022-04-08

Family

ID=60888135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017233254A Active JP7050472B2 (ja) 2017-02-23 2017-12-05 アセンブリの状態検証のための進路の識別

Country Status (9)

Country Link
US (1) US10497110B2 (ja)
EP (1) EP3367195B1 (ja)
JP (1) JP7050472B2 (ja)
KR (1) KR102443485B1 (ja)
CN (1) CN108508851B (ja)
AU (1) AU2018201110B2 (ja)
BR (1) BR102018003248A2 (ja)
CA (1) CA2989248C (ja)
ES (1) ES2928860T3 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11486697B1 (en) * 2017-12-29 2022-11-01 II John Tyson Optical structural health monitoring
US12007220B2 (en) * 2017-12-29 2024-06-11 II John Tyson Optical structural health monitoring
NL2021599B1 (en) * 2018-09-11 2020-05-01 Boeing Co Automated supervision and inspection of assembly process
CN109379560B (zh) * 2018-10-15 2021-05-14 宁波吉利汽车研究开发有限公司 车辆制造视频采集系统及车辆制造服务系统
KR20210042571A (ko) 2019-10-10 2021-04-20 현대중공업 주식회사 선박 구조물 검증 장치 및 방법
EP3995400B1 (en) * 2020-11-10 2024-05-01 The Boeing Company Continuous airplane verification to improve production build efficiency
CN113029000A (zh) * 2021-03-15 2021-06-25 浙江大学 一种移动平台位姿状态监测装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010014504A (ja) 2008-07-02 2010-01-21 Panasonic Corp 検査条件決定方法、検査条件決定装置、外観検査機およびプログラム
US20150012171A1 (en) 2013-07-02 2015-01-08 Premium Aerotec Gmbh Assembly inspection system and method
US20160075020A1 (en) 2014-09-15 2016-03-17 The Boeing Company Methods and systems for automatically inspecting an object

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023680A (en) * 1997-05-15 2000-02-08 Panasonic Technologies, Inc. Methods, apparatus and computer program products for automated visual inspection
JP3279960B2 (ja) * 1997-06-27 2002-04-30 松下電器産業株式会社 経路画像情報記録再生装置及び経路画像情報記録方法
DE102004008675B4 (de) * 2004-02-20 2009-05-07 Imedos Gmbh Bildgebendes Verfahren zur Erfassung medizinisch relevanter Unterschiede von Strukturen und Eigenschaften eines Untersuchungsobjektes und dazu geeignete Vorrichtung
CN101163940B (zh) * 2005-04-25 2013-07-24 株式会社吉奥技术研究所 摄影位置分析方法
US8224121B2 (en) 2007-06-15 2012-07-17 The Boeing Company System and method for assembling substantially distortion-free images
FR2945630B1 (fr) 2009-05-14 2011-12-30 Airbus France Procede et systeme d'inspection a distance d'une structure
EP2296071A1 (en) * 2009-08-18 2011-03-16 Deere & Company Modular and scalable positioning and navigation system
JP2012083625A (ja) * 2010-10-13 2012-04-26 Ricoh Co Ltd 画像形成装置及び画像形成における補正効果確認方法
ES2728861T3 (es) 2013-03-15 2019-10-29 Univ Carnegie Mellon Sistema robótico autónomo supervisado para inspección y procesamiento de superficie compleja
FR3012425B1 (fr) 2013-10-24 2017-03-24 European Aeronautic Defence & Space Co Eads France Robot collaboratif d'inspection visuelle d'un aeronef
EP2937756A1 (en) 2014-04-22 2015-10-28 Airbus Operations GmbH Method for inspecting an airborne vehicle
WO2016018717A1 (en) * 2014-07-29 2016-02-04 Plethora Corporation System and method for automated object measurement
US10788813B2 (en) * 2014-10-28 2020-09-29 The Boeing Company Systems and methods for machining to nominal geometry using local features
EP3045394B1 (en) 2015-01-16 2020-05-27 The Boeing Company Method and system for repairing a structure

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010014504A (ja) 2008-07-02 2010-01-21 Panasonic Corp 検査条件決定方法、検査条件決定装置、外観検査機およびプログラム
US20150012171A1 (en) 2013-07-02 2015-01-08 Premium Aerotec Gmbh Assembly inspection system and method
US20160075020A1 (en) 2014-09-15 2016-03-17 The Boeing Company Methods and systems for automatically inspecting an object

Also Published As

Publication number Publication date
US10497110B2 (en) 2019-12-03
JP2018142300A (ja) 2018-09-13
KR102443485B1 (ko) 2022-09-14
AU2018201110B2 (en) 2022-04-21
US20180240227A1 (en) 2018-08-23
EP3367195A1 (en) 2018-08-29
ES2928860T3 (es) 2022-11-23
EP3367195B1 (en) 2022-08-10
CA2989248A1 (en) 2018-08-23
BR102018003248A2 (pt) 2018-10-30
CA2989248C (en) 2022-10-25
AU2018201110A1 (en) 2018-09-06
CN108508851B (zh) 2022-09-09
KR20180097438A (ko) 2018-08-31
CN108508851A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
JP7050472B2 (ja) アセンブリの状態検証のための進路の識別
AU2019210607B2 (en) Automated supervision and inspection of assembly process
CN107016419B (zh) 确定关于飞机的信息的飞机勘测系统和方法
US8116529B2 (en) Populating fleet maintenance data using 2D feature recognition
US11442438B2 (en) Automated supervision and inspection of assembly process
US11256231B2 (en) Object design using machine-learning model
CA2989282C (en) Automated validation of condition of assembly
CN109458962B (zh) 自动化铆钉测量系统
US10445873B2 (en) Automated validation of condition of assembly
EP3611676A1 (en) Automated supervision and inspection of assembly process
US20220414284A1 (en) Modeling based on constraints
NL2021588B1 (en) Automated supervision and inspection of assembly process
NL2021599B1 (en) Automated supervision and inspection of assembly process
EP3611698A1 (en) Automated supervision and inspection of assembly process
JP2023109486A (ja) 情報処理システム、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220329

R150 Certificate of patent or registration of utility model

Ref document number: 7050472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150