KR20180097438A - 조립 검증의 상태를 위한 경로를 식별하는 방법 및 장치 - Google Patents

조립 검증의 상태를 위한 경로를 식별하는 방법 및 장치 Download PDF

Info

Publication number
KR20180097438A
KR20180097438A KR1020170166096A KR20170166096A KR20180097438A KR 20180097438 A KR20180097438 A KR 20180097438A KR 1020170166096 A KR1020170166096 A KR 1020170166096A KR 20170166096 A KR20170166096 A KR 20170166096A KR 20180097438 A KR20180097438 A KR 20180097438A
Authority
KR
South Korea
Prior art keywords
test
images
locations
image
sensor system
Prior art date
Application number
KR1020170166096A
Other languages
English (en)
Other versions
KR102443485B1 (ko
Inventor
시자스키 마틴
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20180097438A publication Critical patent/KR20180097438A/ko
Application granted granted Critical
Publication of KR102443485B1 publication Critical patent/KR102443485B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/10—Manufacturing or assembling aircraft, e.g. jigs therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60—Testing or inspecting aircraft components or systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
    • G05B19/41895—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system using automatic guided vehicles [AGV]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/02—Mechanical
    • G01N2201/021—Special mounting in general
    • G01N2201/0216—Vehicle borne
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32252—Scheduling production, machining, job shop
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45066—Inspection robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/60—Electric or hybrid propulsion means for production processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Electromagnetism (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Automatic Assembly (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)

Abstract

조립의 상태의 자동화된 검증을 수행하기 위한 경로를 확립하기 위한 방법 및 장치가 제공된다. 자동 반송 차에 결합된 센서 시스템은 구조체에 대해 테스트 위치로 이동된다. 이미지 데이터는 테스트 이미지를 구축하기 위해 센서 시스템을 이용하여 각각의 테스트 위치에서 생성된다. 각각의 테스트 이미지는 등록된 이미지의 집합에 추가되는 등록된 이미지를 형성하기 위해 구조체의 컴퓨터 모델에 등록된다. 등록된 이미지의 집합으로부터 가장 적은 수의 등록된 이미지를 이용하여 관심 있는 영역의 전체가 캡쳐되게 하는 최적의 위치의 세트가 결정된다. 자동 반송 차를 최소한의 시간으로 각각의 최적의 위치로 이동시키기 위한 경로가 생성된다. 조립의 상태의 자동화된 검증을 수행하는데 사용하기 위해 경로를 식별하는 컴퓨터 파일이 생성된다.

Description

조립 검증의 상태를 위한 경로를 식별하는 방법 및 장치 {IDENTIFYING A PATHWAY FOR CONDITION OF ASSEMBLY VALIDATION}
본 발명은 제조에 관한 것으로, 보다 구체적으로는 구조체에 대한 조립의 상태의 자동화된 검증을 수행하는 것에 관한 것이다.
수십만 개의 부품으로 구성된 구조체를 조립하는 것은 여러 단계의 조립을 포함하는 복잡한 프로세스일 수 있다. 따라서, 이러한 조립 단계의 과정에 걸쳐서 조립의 상태를 검증하는 것은 품질 관리를 보장하는데 도움을 준다. 구조체에 대한 "조립의 상태"는, 예를 들어 구조체의 현재 구조물(build)이 그 구조체에 대한 설계 사양(design specification)과 부합하거나 일치하는 정도일 수 있다. 일례로서, 동체와 같은 항공기 구조체의 조립은 복잡한 다단계 프로세스(multi-stage process)일 수 있다. 예를 들어, 특정의 조립 단계 후에 동체의 조립의 상태를 검증하는 것은 동체의 현재 구조물이 선택된 공차 내에 있는지 여부를 결정하는 것을 포함할 수 있다.
현재, 동체와 같은 복잡한 구조체의 조립의 상태를 검증하는 것은 일반적으로 수동으로 수행된다. 예를 들어, 인간 오퍼레이터(human operator, 운용자)는 수동으로 동체를 검사하고 동체의 구조물을 동체의 수백개의 인쇄된 엔지니어링 도면, 동체의 CAD(Computer Aided Design) 모델 또는 양쪽 모두와 비교할 수 있다. 몇몇의 경우에, 이러한 타입의 검증은 오퍼레이터가 동체의 도면 또는 모델을 통해 기동하도록 특별한 교육 및 경험을 갖는 것을 요구할 수 있다. 또한, 이러한 타입의 평가는 보다 많은 시간이 소요될 수 있고 소망하는 것보다 에러가 더 많이 발생하는 경향이 있다. 따라서, 구조체를 위한 조립의 상태를 검증하기 위한 개선된 방법 및 시스템을 갖는 것이 바람직할 것이다.
하나의 예시적인 실시예에서, 구조체에 대한 조립의 상태의 자동화된 검증을 수행하기 위한 경로를 확립하는 방법이 제공된다. 자동 반송 차에 결합된 센서 시스템은 구조체에 대해 복수의 테스트 위치로 이동될 수 있다. 이미지 데이터는 복수의 테스트 이미지를 구축하기 위해 센서 시스템을 이용하여 복수의 테스트 위치의 각각의 테스트 위치에서 생성될 수 있다. 복수의 테스트 이미지의 각각의 테스트 이미지는 구조체의 컴퓨터 모델에 등록되어 등록된 이미지의 집합에 부가되는 복수의 등록된 이미지를 형성할 수 있다. 등록된 이미지의 집합으로부터 가장 적은 수의 등록 이미지를 이용하여 관심 있는 구조체의 영역 전체가 캡처될 수 있게 하는 최적의 위치의 세트가 복수의 테스트 위치로부터 결정된다. 최소한의 시간으로 최적의 위치의 세트의 각각으로 자동 반송 차를 이동시키기 위한 경로가 생성된다. 컴퓨터 파일이 자동화된 검증 프로세스를 수행하는데 사용하기 위해 생성되어 컴퓨터 파일이 경로를 식별하는 구조체에 대한 조립의 상태를 검증한다.
또 다른 예시적인 실시예에서는, 동체 구조체에 대한 조립의 상태의 자동화된 검증을 수행하기 위한 경로를 확립하는 방법이 제공된다. 자동 반송 차에 결합된 센서 시스템은 동체 구조체를 통해 복수의 테스트 위치로 이동될 수 있다. 이미지 데이터는 복수의 테스트 이미지를 구축(build)하기 위해 센서 시스템을 이용하여 복수의 테스트 위치의 각각의 테스트 위치에서 생성될 수 있다. 생성된 복수의 테스트 이미지의 각각의 테스트 이미지는 동체 구조체의 컴퓨터 모델에 등록될 수 있다. 관심 있는 동체 구조체의 영역 전체가 가장 적은 수의 테스트 이미지를 이용하여 캡처될 수 있게 하는 최적의 위치의 세트가 복수의 테스트 위치로부터 결정된다. 최소한의 시간으로 최적의 위치의 세트의 각각으로 자동 반송 차를 이동시키기 위한 경로가 생성된다. 파일이 자동화된 검증 프로세스를 수행하는데 사용하기 위해 생성되어 파일이 경로를 식별하는 구조체에 대한 조립의 상태를 검증한다.
또 다른 예시적인 실시예에서, 장치는 등록 컴포넌트 및 최적화 컴포넌트를 포함하는 프로세서를 구비한다. 등록 컴포넌트는 구조체에 대해 복수의 테스트 위치에서 복수의 테스트 이미지를 생성한 센서 시스템으로부터 복수의 테스트 이미지를 수신한다. 등록 컴포넌트는 생성된 복수의 테스트 이미지의 각각의 테스트 이미지를 구조체의 컴퓨터 모델에 등록한다. 최적화 컴포넌트는 복수의 테스트 위치로부터 최적의 위치의 세트를 결정하여, 관심 있는 구조체의 영역 전체가 가장 적은 수의 테스트 이미지를 이용하여 캡처될 수 있게 한다. 최적화 컴포넌트는 자동 반송 차를 최소한의 시간으로 최적의 위치의 세트의 각각으로 이동시키기 위한 경로를 생성한다. 최적화 컴포넌트는, 파일이 경로를 식별하는 구조체에 대한 어셈블리의 상태의 자동화된 검증 프로세스를 수행하는데 사용하기 위한 파일을 생성한다.
전술한 일반적인 설명 및 다음의 상세한 설명은 본질적으로 예시적이고 설명적이며, 본 발명의 범위를 제한하지 않으면서 본 발명의 이해를 제공하기 위한 것이다. 이와 관련하여, 본 발명의 추가적인 태양, 특징 및 이점은 다음의 상세한 설명으로부터 당업자에게 명백할 것이다.
본 발명의 태양은 첨부된 도면과 함께 읽을 때 다음의 상세한 설명으로부터 가장 잘 이해된다. 업계의 표준 관행에 따라, 다양한 특징이 일정한 비율로 그려지지 않고 있음을 강조한다. 실제로, 다양한 특징의 치수는 설명의 명료화를 위해 임의적으로 증가되거나 감소될 수 있다. 게다가, 본 발명은 다양한 예에서 참조 번호 및/또는 문자를 반복할 수 있다. 이러한 반복은 단순화 및 명료화를 목적으로 하며, 설명되는 다양한 실시예들 및/또는 구성들 사이의 관계를 그 자체로 지시하지는 않는다.
도 1은 예시적인 실시예에 따른 항공기의 도면이다.
도 2는 예시적인 실시예에 따른 제조 환경의 블록도이다.
도 3은 예예시적인 실시예에 따른 경로 생성기 및 센서 시스템의 블록도이다.
도 4는 예시적인 실시예에 따른 동체 구조의 등각도이다.
도 5는 예시적인 실시예에 따른 동체 구조체의 일부분의 이미지의 도면이다.
도 6은 예시적인 실시예에 따른 그래픽 사용자 인터페이스 상에 디스플레이되는 보고서의 도면이다.
도 7은 예시적인 실시예에 따른 구조체에 대한 조립의 상태의 자동화된 검증을 수행하기 위한 방법의 도면이다.
도 8은 예시적인 실시예에 따른 구조체에 대한 조립의 상태의 자동화된 검증을 수행하기 위한 방법의 도면이다.
도 9는 예시적인 실시예에 따른 항공기 구조체에 대한 조립의 상태의 자동화된 검증을 수행하기 위한 방법의 도면이다.
도 10은 예시적인 실시예에 따른 자동화된 검증 프로세스를 수행하기 위한 경로를 설정하는 방법의 도면이다.
도 11은 예시적인 실시예에 따른 자동화된 검증 프로세스를 수행하기 위한 최적의 위치의 세트를 결정하는 방법의 도면이다.
도 12는 예시적인 실시예에 따른 데이터 처리 시스템의 블록도이다.
도 13은 예시적인 실시예에 따른 항공기 제조 및 점검 방법의 도면이다.
도 14는 예시적인 실시예에 따른 항공기의 블록도이다.
다음의 설명에서는, 본 발명과 일치하는 몇몇의 실시예를 묘사하는 특정 세부 사항이 제시된다. 실시예의 완전한 이해를 제공하기 위해 다수의 특정 세부 사항이 제시된다. 그러나, 당업자에게는 몇몇의 실시예가 이들 특정 세부 사항의 일부 또는 전부 없이 실시될 수 있음이 명백할 것이다. 본 명세서에 개시된 특정 실시예는 예시적이지만 제한하려는 것은 아니다. 당업자는, 여기에 구체적으로 기술되지는 않았지만 본 명세서의 범위 및 사상 내에 있는 다른 요소를 실현할 수 있다. 또한, 불필요한 반복을 회피하기 위해, 하나의 실시예와 관련하여 도시되고 설명된 하나 이상의 특징은, 달리 구체적으로 설명되지 않는 한 또는 하나 이상의 특징이 실시예를 비기능적으로 만들지 않는 한, 다른 실시예에 통합될 수 있다. 몇몇의 경우에는, 잘 알려진 방법, 절차, 컴포넌트 및 회로는 실시예의 태양을 불필요하게 불명료하게 하지 않기 위해 상세하게 설명되지 않았다.
예시적인 실시예는 구조체에 대한 조립의 상태의 검증을 자동화하는 것이 수동 방법과 비교하여 이 검증이 보다 신속하고 정확하게 수행되게 할 수 있음을 인식하여 고려하고 있다. 또한, 조립 검증의 상태를 자동화함으로써, 이 검증 프로세스에 필요한 다운 타임(downtime, 중단 시간)이 저감될 수 있다. 하나의 예시적인 예로서, 검증이 조립의 두 단계 사이에 수행될 때, 검증 프로세스는 조립의 다음 단계가 시작되기 전에 필요한 다운 타임을 저감시킬 수 있다. 추가적으로, 예시적인 실시예는 이 검증을 수행하는 데 필요한 시간 및 처리 리소스를 제한하는 방식으로 구조체에 대한 조립의 상태의 검증을 자동화하기 위한 방법 및 장치를 제공한다.
하나의 예시적인 실시예에서, 구조체의 복수의 이미지는 센서 시스템을 이용하여 생성될 수 있다. 구조체는, 예를 들어 동체(fuselage)일 수 있다. 동체에 대한 조립의 상태를 검증하는 것은, 예를 들어, 제한 없이 특정 위치에서 수만 내지 수십만 개의 패스너의 존재를 확인하는 것을 포함할 수 있다. 생성된 각각의 이미지는 수십, 수백 또는 수천 개의 패스너를 캡처할 수 있다.
동체의 복수의 이미지는 구조체의 컴퓨터 모델에 등록될 수 있다. 복수의 이미지의 각각의 이미지는 복수의 이미지 섹션을 형성하기 위해 컴퓨터 모델로의 복수의 이미지의 등록에 기초하여 분할될 수 있다. 복수의 이미지 섹션의 각각의 이미지 섹션이 대응하는 상태를 충족시키는지의 여부에 기초하여 동체의 조립의 상태에 대해 스코어(score)가 생성될 수 있다. 스코어는 조립의 상태가 유효한지 여부를 나타낼 수 있다.
몇몇의 실시예에서, 복수의 이미지를 생성하는 센서 시스템은 자동 반송 차에 결합될 수 있다. 자동 반송 차는, 센서 시스템이 복수의 이미지를 생성할 수 있게 하기 위해 구조체에 대해 소정의 경로를 따라 이동될 수 있다. 특히, 자동 반송 차는, 센서 시스템이 관심 있는 구조체의 영역 전체가 가장 적은 수의 이미지를 이용하여 캡처되게 하는 최적의 위치의 세트로 이동될 수 있도록, 소정의 경로를 따라 이동될 수 있다. 이러한 방식으로, 조립의 상태의 자동화된 검증을 수행하는 데 필요한 시간 및 처리 리소스가 저감될 수 있다. 예시적인 실시예는 복수의 테스트 위치 중에서 최적의 위치의 세트를 효율적으로 식별하기 위한 컴퓨터화된 방법 및 장치를 제공할 수 있다. 복수의 테스트 위치는, 예를 들어, 제한 없이, 수백, 수천 또는 수만 개의 테스트 위치를 포함할 수 있다.
이제 도면들을 참조하면, 이들 예시적인 실시예에서, 동일한 도면 부호가 하나 이상의 도면에서 사용될 수 있다. 다른 도면에서의 참조 번호의 이러한 재사용은 다른 도면에서 동일한 요소를 나타낸다.
도 1은 예시적인 실시예에 따라 도시된 항공기의 도면이다. 항공기(100)는 동체(106)에 부착된 날개(102) 및 날개(104)를 포함한다. 항공기(100)는 날개(102)에 부착된 엔진(108) 및 날개(104)에 부착된 엔진(110)을 포함한다. 항공기(100)는 또한 꼬리 부분(112)을 포함한다. 수평 안정판(horizontal stabilizer; 114), 수평 안정판(116) 및 수직 안정판(vertical stabilizer; 118)은 꼬리 부분(112)에 부착된다.
항공기(100)는 후술하는 예시적인 실시예에 따라 조립의 상태의 자동화된 검증을 위한 방법 및 시스템을 이용하여 제조된 항공기의 예이다. 예를 들어, 제한 없이, 동체(106)는 적어도 하나의 조립 단계 후에 수행된 조립의 상태의 자동화된 검증을 갖는 다단계 프로세스를 이용하여 구축된 구조체의 하나의 구현의 예일 수 있다.
도 2는 예시적인 실시예에 따라 도시된 제조 환경(manufacturing environment)의 블록도이다. 제조 환경(200)은 자동화된 검증 프로세스(202)가 수행될 수 있는 환경의 예이다. 자동화된 검증 프로세스(202)는 구조체(206)에 대한 조립의 상태(204)가 평가되어 유효하거나 무효한 것으로 결정될 수 있는 자동화된 프로세스일 수 있다. 특히, 자동화된 검증 프로세스(202)는 구조체(206)에 대한 조립의 상태(204)가 인간 오퍼레이터의 제로 또는 최소한의 개입으로 평가될 수 있게 할 수 있다. 구조체(206)에 대한 조립의 상태(204)는, 예를 들어, 구조체(206)의 현재의 구조물(build)이 구조체(206)의 설계 사양에 부합하거나 일치하는 정도일 수 있다.
구현에 따라, 구조체(206)는 다수의 다른 형태를 취할 수 있다. 하나의 예시적인 예에서, 구조체(206)는 도 1에서의 항공기(100)의 동체(106)를 형성하도록 조립되는 동체 구조체의 형태를 취한다. 다른 예시적인 예에서, 구조체(206)는 도 1에서의 항공기(100)의 날개(102), 날개(104) 또는 꼬리 부분(112) 등과 같은 항공기 구조체의 다른 타입일 수 있다. 또 다른 예시적인 예에서, 구조체(206)는 우주선 구조체, 선박 구조체, 지상 차량을 위한 서브어셈블리, 또는 다단계 조립 프로세스를 이용하여 구축되는 몇몇 다른 타입의 구조체일 수 있다.
검증 시스템(208)은 자동화된 검증 프로세스(202)를 수행하기 위해 사용될 수 있다. 하나의 예시적인 예에서, 검증 시스템(208)은 특정 조립 단계가 완료된 후에 자동화된 검증 프로세스(202)를 수행하기 위해 사용될 수 있다. 이러한 조립의 단계는, 예를 들어, 제한 없이, 구조체(206)에서 수천 내지 수만 개의 홀(hole, 구멍)을 뚫는 단계 및 이러한 홀 내에서 수천 내지 수만 개의 패스너(fastener)를 설치하는 단계를 포함할 수 있다.
이 예시적인 실시예에서, 검증 시스템(208)은 센서 시스템(210) 및 검증기(212)를 포함한다. 센서 시스템(210) 및 검증기(212)는 통신 가능하게 결합될 수 있다. 예를 들어, 센서 시스템(210) 및 검증기(212)는 하나 이상의 유선 통신 링크, 하나 이상의 무선 통신 링크, 하나 이상의 광 통신 링크 또는 그 조합을 이용하여 통신하도록 구성될 수 있다.
이 예시적인 실시예에서, 센서 시스템(210)은 이미징 시스템(imaging system; 214)의 형태를 취할 수 있다. 이미징 시스템(214)은 구조체(206)의 복수의 이미지(218)를 생성하는데 사용하기 위한 이미지 데이터(216)를 생성하도록 구성된 하나 이상의 카메라를 포함할 수 있다. 이미지(220)와 같은 복수의 이미지(218)의 이미지는 구조체(206)의 일부를 캡처할 수 있다. 구조체(206)의 이 부분은 구조체(206)의 큰 부분일 수 있다. 예를 들어, 제한 없이, 구조체(206)가 동체 구조체의 형태를 취할 때, 이미지(220)는 동체 패널의 섹션, 전체 동체 패널, 다수의 동체 패널, 바닥재 또는 동체 구조체의 몇몇 다른 부분을 캡처할 수 있다.
하나의 예시적인 예에서, 이미징 시스템(214)은 자동 반송 차(automated guided vehicle; 222)에 결합될 수 있다. 예를 들어, 제한 없이, 이미징 시스템(214)이 자동 반송 차(222)에 착탈 가능하게 부착, 자동 반송 차(222)에 완전히 부착, 자동 반송 차(222)의 일부로서 내장 또는 몇몇 다른 방식으로 자동 반송 차(222)에 결합될 수 있다.
자동 반송 차(222)는 센서 시스템(210)이 구조체(206)에 대해 위치의 세트(226)에서 이미지 데이터(216)를 생성할 수 있도록 구조체(206)에 대해 소정의 경로(224)를 따라 변동될 수 있다. 위치의 세트(226)는 관심 있는 구조체(206)의 영역 전체가 가장 적은 수의 이미지를 이용하여 캡처되게 하기 위해 선택된 최적의 위치의 세트일 수 있다. 구조체(206)에 대해 자동 반송 차(222)를 이동시키는 것은, 구조체(206)의 내부 내에서, 구조체(206)의 외부를 따라, 구조체(206)로부터 선택된 거리에 위치된 플랫폼을 따라, 구조체(206)로부터 선택된 거리에서 바닥재를 따라, 구조체(206)에 대한 트랙 시스템을 따라, 몇몇 다른 적절한 방식 또는 그 조합으로 자동 반송 차(222)를 이동시키는 것을 포함할 수 있다.
다른 예시적인 예에서, 이미징 시스템(214)은 구조체(206)에 대해 복수의 고정된 위치(230)에 위치된 복수의 영상 센서(228)를 포함할 수 있다. 복수의 고정된 위치(230)는 관심 있는 구조체(206)의 영역 전체가 가장 적은 수의 이미지 및 가장 적은 수의 이미지 센서를 이용하여 캡처되게 하기 위해 선택된 최적의 복수의 위치일 수 있다.
센서 시스템(210)은 처리를 위해 검증기(212)에 복수의 이미지(218)를 전송할 수 있다. 구현에 따라, 검증기(212)는 소프트웨어, 하드웨어, 펌웨어, 또는 그 조합을 이용하여 구현될 수 있다. 소프트웨어가 사용될 때, 검증기(212)에 의해 수행되는 조작은, 예를 들어, 제한 없이, 프로세서 유닛 상에서 실행되도록 구성된 프로그램 코드를 이용하여 구현될 수 있다. 펌웨어가 사용될 때, 검증기(212)에 의해 수행되는 조작은, 예를 들어, 제한 없이, 프로세서 유닛 상에서 실행하기 위해 영구 메모리에 저장된 프로그램 코드 및 데이터를 이용하여 구현될 수 있다.
하드웨어가 채용될 때, 하드웨어는 검증기(212)에 의해 수행되는 조작을 수행하도록 동작하는 하나 이상의 회로를 포함할 수 있다. 구현에 따라, 하드웨어는 회로 시스템, 집적 회로, 응용 주문형 집적 회로(application specific integrated circuit, ASIC), 프로그램 가능 논리 장치(programmable logic device), 임의의 수의 조작을 수행하도록 구성된 몇몇 다른 적절한 타입의 하드웨어 장치, 또는 그 조합의 형태를 취할 수 있다.
하나의 예시적인 예에서, 검증기(212)는 프로세서(232)의 형태를 취한다. 몇몇 예시적인 예에서, 검증기(212)는 단일의 컴퓨터 또는 서로 통신하는 다수의 컴퓨터를 포함하는 컴퓨터 시스템일 수 있다. 하나의 예시적인 예에서, 검증기(212)는 이미지 처리 컴포넌트(215) 및 비교 컴포넌트(217)를 포함할 수 있다.
센서 시스템(210)으로부터 복수의 이미지(218)를 수신하자마자 검증기(212)는 복수의 이미지(218)를 구조체(206)의 컴퓨터 모델(236)에 등록한다. 컴퓨터 모델(236)은, 예를 들어 구조체(206)의 컴퓨터 지원 설계 모델일 수 있다. 다른 예시적인 예에서, 컴퓨터 모델(236)은 구조체(206)의 복수의 디지털 엔지니어링 도면(237)을 포함할 수 있다.
검증기(212)는 복수의 이미지 섹션(238)을 형성하기 위해 컴퓨터 모델(236)로의 복수의 이미지(218)의 등록에 기초하여 복수의 이미지(218)의 각각을 분할(segment)한다. 특히, 복수의 이미지(218)의 각각의 이미지는 복수의 이미지 섹션(238)에 부가되는 이미지 섹션의 세트(240)와 같은 이미지 섹션의 세트를 형성하도록 분할될 수 있다.
하나의 예시적인 예로서, 이미지(220)는 컴퓨터 모델(236)로의 이미지(220)의 등록에 기초하여 이미지 섹션의 세트(240)를 생성하도록 분할될 수 있다. 예를 들어, 이미지(220)를 컴퓨터 모델(236)에 등록함으로써, 검증기(212)는 관심 있는 단일 특징이 보여질 것으로 기대되는 이미지(220)의 각각의 위치를 식별할 수 있다. 검증기(212)는 이들 위치의 각각의 위치에 대한 이미지 섹션을 생성하기 위해 이미지(220)를 분할할 수 있다. 이러한 방식으로, 이미지 섹션의 세트(240)의 각각의 이미지 섹션은 관심 있는 단일 특징을 가질 것으로 기대되는 구조체(206)의 일부를 캡처한다.
이미지 섹션(242)은 이미지 섹션의 세트(240) 중 하나의 예일 수 있다. 이미지 섹션(242)은, 예를 들어, 제한 없이, 홀, 홀에 설치된 패스너, 홀의 부재, 패스너의 부재, 또는 몇몇 다른 타입의 특징의 하나로부터 선택된 관심 있는 특징을 캡처할 것으로 기대될 수 있다. 이미지 섹션(242)은, 예를 들어, 제한 없이, 이미지(220)로부터 스니핑(snipping), 크로핑(cropping) 또는 그렇지 않으면 추출됨으로써 이미지(220)로부터 분할될 수 있다.
구현에 따라, 이미지(220)로부터 형성된 이미지 섹션의 세트(240)는 이미지(220)의 전체 또는 이미지(220)의 일부만을 형성할 수 있다. 예를 들어, 제한 없이, 몇몇의 경우에, 관심 있는 특징을 가질 것으로 기대되는 이미지(220)의 부분만이 이미지(220)로부터 스니핑, 크로핑 또는 그렇지 않으면 추출될 수 있다.
몇몇의 예시적인 예에서, 센서 시스템(210)로부터의 복수의 이미지(218)의 수신, 복수의 이미지(218)의 시스템 모델(236)로의 등록 및 복수의 이미지(218)의 각각의 이미지의 분할은, 검증기(212)의 이미지 처리 컴포넌트(215)에 의해 수행될 수 있다. 몇몇의 경우에는, 등록 및 분할 단계만이 이미지 처리 컴포넌트(215)에 의해 수행될 수 있다.
일단 복수의 이미지 섹션(238)이 생성되면, 검증기(212)는 조립의 상태(204)에 대한 최종 스코어(244)를 생성할 수 있다. 검증기(212)는 복수의 이미지 섹션(238)의 각각의 이미지 섹션이 대응하는 상태를 충족시키는지 여부에 기초하여 최종 스코어(244)를 생성할 수 있다. 몇몇의 경우에는, 검증기(212)의 비교 컴포넌트(217)가 복수의 이미지 섹션(238)의 컴퓨터 모델(236)과의 비교를 수행하여 최종 스코어(244)를 생성할 수도 있다.
예를 들어, 제한 없이, 검증기(212)는 각각의 개별적인 이미지 섹션에 대한 대응하는 상태를 충족시키는 복수의 이미지 섹션(238)의 이미지 섹션의 비율(percentage, 백분율)을 계산함으로써 초기 스코어(245)를 생성할 수 있다. 각각의 이미지 섹션을 평가하는데 사용되는 대응하는 상태는, 이미지 섹션(242)과 같은 각각의 이미지 섹션이 등록되어 있는 컴퓨터 모델(236)의 대응하는 부분에 기초하여 결정될 수 있다. 예를 들어, 특정 이미지 섹션에 대한 대응하는 상태는 컴퓨터 모델(236)에 의해 지정되는 바와 같이 특정의 관심 있는 특징의 존재 또는 부재일 수 있다. 관심 있는 특징은, 예를 들어, 제한 없이, 홀 또는 홀에 설치된 패스너일 수 있다.
하나의 예시적인 예로서, 검증기(212)는 이미지 섹션(242)을 이미지 섹션(242)이 등록되어 있는 컴퓨터 모델(236)의 대응하는 부분과 비교할 수 있다. 컴퓨터 모델(236)의 이 대응하는 부분은 충족되어야 할 대응하는 상태가 패스너의 존재임을 나타낼 수 있다. 검증기(212)는 이미지 섹션(242)이 패스너를 포함하는지 여부를 결정하기 위해 하나 이상의 이미지 인식 기술을 이용할 수 있다.
다른 예시적인 예에서, 복수의 이미지 섹션(238)의 모든 이미지 섹션은 동일한 대응하는 상태에 기초하여 평가될 수 있다. 예를 들어, 대응하는 상태는 패스너의 존재일 수 있다. 이 예에서, 초기 스코어(245)는 패스너를 포함하는 복수의 이미지 섹션(238)의 이미지 섹션의 비율일 수 있다.
몇몇 예시적인 예에서, 검증기(212)는 초기 스코어(245)를 조립의 상태(204)에 대한 최종 스코어(244)로서 이용한다. 최종 스코어(244)는, 최종 스코어(244)가 선택된 임계값 이상일 때, 조립의 상태(204)가 유효함을 나타낼 수 있다. 선택된 임계값은, 구현에 따라, 예를 들어, 제한 없이, 84%, 88%, 92%, 95%, 97% 또는 몇몇 다른 비율일 수 있다.
다른 예시적인 예에서, 검증기(212)는 최종 스코어(244)를 생성하기 위해 하나 이상의 무효화 이벤트가 발생했는지 여부에 기초하여 초기 스코어(245)를 조정할 수 있다. 예를 들어, 이미지 섹션(242)이 등록되어 있는 컴퓨터 모델(236)의 부분 및 대응하는 상태의 중요도에 기초하여, 이 대응하는 상태를 충족시키는 이미지 섹션(242)의 실패가 무효화 이벤트로 간주될 수 있다. 무효화 이벤트가 발생할 때, 검증기(212)는 그에 따라 초기 스코어(245)를 조정할 수 있다.
몇몇의 경우에, 단일의 무효화 이벤트는 검증기(212)가 초기 스코어(245)를 0 퍼센트(%)로 조정하게 할 수 있다. 따라서, 단일의 무효화 이벤트는 초기 스코어(245)가 선택된 임계값을 초과함에도 불구하고 조립의 상태(204)가 무효로 되게 할 수 있다. 다른 경우에, 각각의 무효화 이벤트는 검증기(212)가 초기 스코어(245)를 선택된 양만큼 감소시키게 할 수 있다. 몇몇 무효화 이벤트는 다른 무효화 이벤트보다 더 중요한 것으로 가중치가 부여될 수 있다. 예를 들어, 검증기(212)는 다른 타입의 무효화 이벤트와 비교하여 한 가지 타입의 무효화 이벤트의 발생에 기초하여 더 큰 양만큼 초기 스코어(245)를 감소시키도록 구성될 수 있다. 또 다른 예시적인 예에서, 검증기(212)는 최종 스코어(244)로서 초기 스코어(245)를 사용할 수 있지만, 하나 이상의 무효화 이벤트가 발생했을 때 경고 또는 플래그를 생성할 수 있다.
검증기(212)는 최종 스코어(244)뿐만 아니라 생성된 임의의 경고 또는 플래그를 포함하는 보고서(246)를 작성(create)할 수 있다. 하나의 예시적인 예에서, 검증기(212)는 디스플레이 시스템(250) 상의 그래픽 사용자 인터페이스(이미지 섹션의 세트(240)) 상에 보고서(246)를 디스플레이한다. 디스플레이 시스템(250)은 검증기(212)에 통신 가능하게 결합될 수 있다. 다른 예시적인 예에서, 검증기(212)는 최종 스코어(244) 및 그래픽 사용자 인터페이스(248) 상에 생성된 임의의 경고 또는 플래그만을 디스플레이할 수 있다. 디스플레이 시스템(250)은, 구현에 따라 검증 시스템(208)의 일부이거나 또는 검증 시스템(208)과 독립적일 수 있다.
몇몇 예시적인 예에서, 검증기(212)는 처리를 위해 컴퓨터 수치 제어 머신(252)으로 보고서(246)를 전송한다. 보고서(246)는 컴퓨터 수치 제어 머신(252)에 대한 프로그램을 조정하거나 또는 컴퓨터 수치 제어 머신(252)에 대한 명령을 생성하는데 사용될 수 있다. 하나의 예시적인 예로서, 컴퓨터 수치 제어 머신(252)은, 컴퓨터 수치 제어 머신(252)이 구조체(206)에 대한 조립체(204)의 상태가 유효함을 나타내는 보고서(246)를 수신할 때 조립의 다음 단계를 개시하는 프로그램을 실행할 수 있다.
이러한 방식으로, 검증 시스템(208)은 자동화된 검증 프로세스(202)가 효율적으로 수행되게 한다. 이러한 자동화된 검증 프로세스(202)는 조립의 단계들 사이에서의 다운 타임을 감소시킬 수 있다. 또한, 구조체(206)의 조립의 상태(204)를 확인하기 위해 검증 시스템(208)을 이용하는 것은, 조립의 상태(204)가 평가되는 정확도를 향상시킬 수 있다.
도 3은 예시적인 실시예에 따라 도시된 도 2로부터의 경로 생성기 및 센서 시스템(210)의 블록도이다. 이 예시적인 예에서는, 경로 생성기(300)는 도 2에서의 검증기(212)의 일부로서 구현된다.
다른 예시적인 예에서, 경로 생성기(300)는 검증기(212)와 독립적으로 구현될 수 있다. 예를 들어, 경로 생성기(300)는 검증 시스템(208) 내의 프로세서(302)에서 구현될 수 있다. 프로세서(302)는 도 2의 프로세서(232)에 통신 가능하게 결합될 수 있다. 또한, 프로세서(302)는 센서 시스템(210)에 통신 가능하게 결합될 수 있다. 또 다른 예시적인 예에서, 경로 생성기(300)는 검증 시스템(208)과 독립적으로 구현될 수 있다.
경로 생성기(300)는 도 2에서의 자동화된 검증 프로세스(202)를 수행하기 위한 경로(304)를 확립하는데 사용된다. 경로(304)는 도 2에서의 소정의 경로(224)로서 사용될 수 있다. 하나의 예시적인 예에서, 경로 생성기(300)는 등록 컴포넌트(303) 및 최적화 컴포넌트(305)를 포함한다.
이러한 예시적인 예에서, 센서 시스템(210)은 자동 반송 차(222)에 결합된다. 센서 시스템(210)은 구조체(206)에 대해 복수의 테스트 위치(306)로 이동된다. 복수의 테스트 위치(306)는, 예를 들어, 제한 없이, 구현에 따라 수십, 수백, 수천 또는 수만 개의 테스트 위치를 포함할 수 있다. 하나의 예시적인 예에서, 복수의 테스트 위치(306)는 100 내지 100,000개의 테스트 위치를 포함할 수 있다. 테스트 위치(308)는 복수의 테스트 위치(306) 중 하나의 예이다. 테스트 위치(308)는 센서 시스템(210)에 대한 위치, 방향, 또는 양쪽 모두를 포함할 수 있다. 따라서, 테스트 위치(308)는 구조체(206)에 대하여 센서 시스템(210)에 대한 독특한 시야(field of view)를 정의한다.
센서 시스템(210)은 복수의 테스트 이미지(310)를 구축하기 위해 복수의 테스트 위치(306)의 각각의 테스트 위치에서 이미지 데이터를 생성한다. 센서 시스템(210)은 처리를 위해 복수의 테스트 이미지(310)를 경로 생성기(300)로 전송한다.
경로 생성기(300)는 복수의 테스트 이미지(310)의 각각의 테스트 이미지를 구조체(206)의 컴퓨터 모델(236)에 등록하여 복수의 등록된 이미지(312)를 형성한다. 특히, 경로 생성기(300)의 등록 컴포넌트(303)는 복수의 테스트 이미지(310)의 각각의 테스트 이미지를 컴퓨터 모델(236)에 등록할 수 있다. 복수의 등록된 이미지(312)는 등록된 이미지의 집합(314)에 부가된다. 이 예시적인 예에서, 등록된 이미지의 집합(314)은 데이터 구조(컴퓨터 수치 제어 머신)에 저장될 수 있다. 데이터 구조(316)는, 예를 들어, 제한 없이, 데이터베이스, 데이터 스토리지, 연상 메모리 또는 몇몇 다른 타입의 데이터 구조의 형태를 취할 수 있다.
경로 생성기(300)는, 복수의 테스트 위치(306)로부터의 위치가 관심 있는 구조체(206)의 영역 전체가 등록된 이미지의 집합(314)으로부터의 가장 적은 수의 등록된 이미지를 이용하여 캡처되도록 할 수 있는지를 결정한다. 식별된 특정 위치는 최적의 위치의 세트(318)를 형성한다. 최적의 위치의 세트(318)는 도 2에서의 위치의 세트(226)로서 이용될 수 있다. 하나의 예시적인 예에서, 최적의 위치의 세트(318)의 식별에서의 이들 상술한 단계들은 경로 생성기(300)의 최적화 컴포넌트(305)에 의해 수행될 수 있다.
이 예시적인 예에서, 경로 생성기(300)는 자동화된 검증 프로세스(202)를 수행하기 위해 구조체(206)에 대해 자동 반송 차(222)를 이동시키기 위한 경로(304)를 확립하기 위해 최적의 위치의 세트(318)를 이용한다. 예를 들어, 제한 없이, 경로 생성기(300)는 센서 시스템(210)이 최소한의 시간으로 최적의 위치의 세트(318)로 이동될 수 있도록 구조체(206)에 대하여 자동 반송 차(222)를 이동시키기 위한 경로(304)를 계산할 수 있다. 몇몇의 경우에, 경로(304)의 생성은 최적화 컴포넌트(305)에 의해 수행된다.
경로 생성기(300)는 자동 반송 차(222)에 대한 경로(304) 및 센서 시스템(210)에 대한 최적의 위치의 세트(318)를 식별하는 컴퓨터 파일(320)을 생성한다. 하나의 예시적인 예에서, 컴퓨터 파일(320)은 최적화 컴포넌트(305)에 의해 생성될 수 있다.
몇몇 예시적인 예에서, 경로 생성기(300)는 구조체(206)에 대한 조립의 상태(204)를 확인하는 자동화된 검증 프로세스(202)를 수행하는데 사용하기 위해 컴퓨터 파일(320)을 도 2에서의 검증기(212)로 전송할 수 있다. 다른 예시적인 예에서, 경로 생성기(300)는 컴퓨터 파일(320)을 데이터 스토리지(322)에 저장할 수 있다. 데이터 스토리지(322)는 프로세서(302), 클라우드 스토리지 또는 몇몇 다른 타입의 데이터 스토리지와 통신하는 메모리의 형태를 취할 수 있다.
이들 예에서, 컴퓨터 파일(320)은 자동화된 검증 프로세스(202)를 수행하는데 사용하기 위해 데이터 스토리지(322)로부터 검증기(212)에 의해 검색될 수 있다. 경로(304) 및 자동화된 검증 프로세스(202)를 수행하기 위한 소정의 경로(224)로서 컴퓨터 파일(320)에서 식별된 최적의 위치의 세트(318)를 사용하는 것은, 자동화된 검증 프로세스(202)를 수행하는데 필요한 시간 및 처리 리소스의 양을 저감할 수 있다.
경로(304) 및 컴퓨터 파일(320)에서 식별된 최적의 위치의 세트(318)는 다른 구조체에 대한 자동화된 검증 프로세스(202)를 수행하는데 사용될 수 있다. 예를 들어, 검증기(212)는 컴퓨터 모델(236)에 기초하여 조립되는 복수의 구조체(도시되지 않음)에 대한 자동화된 검증 프로세스(202)를 수행하기 위해 컴퓨터 파일(320)을 검색할 수 있다. 바꾸어 말하면, 경로(304) 및 최적의 위치의 세트는 구조체(206)와 동일한 설계 사양에 부합하는 다른 구조체에 대한 자동화된 검증 프로세스(202)를 수행하는데 사용될 수 있다.
도 2에서의 제조 환경(200), 도 2에서의 검증 시스템(208), 및 도 3에서의 경로 생성기(300)의 설명은, 예시적인 실시예가 구현될 수 있는 방식에 대한 물리적 또는 구조적 제한을 의미하는 것은 아니다. 도시된 것에 더하여 또는 그 대신에 다른 컴포넌트가 사용될 수도 있다. 몇몇 컴포넌트는 선택 사항일 수 있다. 추가적으로, 블록은 기능적 컴포넌트를 설명하기 위해 제공될 수 있다. 이들 블록들 중 하나 이상은 예시적인 실시예에서 구현될 때 다른 블록에 결합, 분할 또는 결합 및 분할될 수 있다.
예를 들어, 자동 반송 차(222)가 도 1에서의 동체(106)와 같은 동체의 형태의 구조체(206)를 통해 이동될 때, 자동 반송 차(222)는 동체의 내부 원통형 부분 내에서 이동될 수 있다. 그러나, 다른 예시적인 예에서는, 구조체(206)가 도 1에서의 날개(102)의 형태를 취하는 경우에, 자동 반송 차(222)는 날개(102)의 외부 표면을 따라 이동될 수 있다. 이와 같이, 자동 반송 차(222)는 구조체(206)의 타입에 따라 구조체(206)에 대해 다른 방식으로 이동될 수 있다.
도 4는 예시적인 실시예에 따라 도시된 동체 구조체의 등각도이다. 동체 구조체(400)는 도 2에서 기술된 구조체(206)에 대한 하나의 구현의 예일 수 있다. 또한, 동체 구조체(400)는 도 1에서의 동체(106)와 같은 동체를 구축하기 위한 조립 공정의 중간에 있을 수 있다.
동체 구조체(400)는 복수의 동체 패널(402)을 포함한다. 이러한 예시적인 예에서, 동체 구조체(400)는 동체 구조체(400)의 내부(404)가 더 잘 보일 수 있도록 도시되지 않은 상부 동체 패널을 가질 수 있다.
자동 반송 차(406)는, 자동 반송 차(406)에 부착된 이미징 시스템(408)을 이용하여 각종의 조작을 수행하기 위해 동체 구조체(400)의 내부(404)를 통해 이동할 수 있다. 이미징 시스템(408)은 도 2에서의 이미징 시스템(214)에 대한 하나의 구현의 예일 수 있다. 하나의 예시적인 예에서, 이미징 시스템(408)은 이미징 시스템(408)이 내부(404)의 다른 시야를 캡처할 수 있도록 구조체(400)에 대한 방위를 변화시키도록 제어될 수 있다.
구현에 따라, 이미징 시스템(408)은 자동 반송 차(406)에 대해 하나 이상의 선형 자유도, 하나 이상의 회전 자유도 또는 그 조합을 가질 수 있다. 따라서, 이미징 시스템(408)은 자동 반송 차(406)에 대해 6개의 자유도, 3개의 자유도, 1개의 자유도 또는 몇몇 다른 수의 자유도를 가질 수 있다. 예를 들어, 제한 없이, 이미징 시스템(408)은 자동 반송 차(406)에 대해 3개의 회전 자유도로 이동할 수 있다.
하나의 예시적인 예에서, 자동 반송 차(406)는 도 2에서 기술된 자동화된 검증 프로세스(202)를 수행하기 위한 도 3에서의 경로(304)와 같은 경로를 확립할 목적으로 동체 구조체(400)의 내부(404)를 통해 이동될 수 있다. 예를 들어, 제한 없이, 자동 반송 차(406)는 동체 구조체(400)에 대하여 소정의 테스트 경로(410)를 따라 이동될 수 있다. 이 예시적인 예에서, 소정의 테스트 경로(410)는 동체 구조체(400)의 중심선(412)을 따르는 직선 경로일 수 있다. 다른 예시적인 예에서, 소정의 테스트 경로(410)는 곡선 경로, 지그재그 경로 또는 몇몇 다른 타입의 경로일 수 있다.
또한, 자동 반송 차(406)는 이미징 시스템(408)이 복수의 테스트 위치로 이동되도록 하기 위해 소정의 테스트 경로(410)를 따라 다양한 위치로 이동될 수 있다. 예를 들어, 제한 없이, 자동 반송 차(406)는 소정의 테스트 경로(410)를 따라 약 50개의 위치로 이동될 수 있다. 이들 50개의 위치의 각각에서, 이미징 시스템(408)은 자동 반송 차(406)에 대해 소정 수의 테스트 위치로 이동될 수 있다. 예를 들어, 제한 없이, 이미징 시스템(408)은 소정의 테스트 경로(410)를 따라 자동 반송 차(406)에 의해 만들어진 각각의 정지(stop) 시에 10개 이상의 테스트 위치로 이동될 수 있다. 각각의 테스트 위치는 기준 좌표계에 대한 테스트 위치 및 테스트 방향을 포함할 수 있다. 이 기준 좌표계는 자동 반송 차(406)의 좌표계, 동체 구조체(400)의 좌표계 또는 몇몇의 다른 좌표계일 수 있다.
각각의 테스트 위치에서, 이미징 시스템(408)은 테스트 이미지를 생성한다. 이미징 시스템(408)에 의해 생성된 복수의 테스트 이미지는, 예를 들어, 처리를 위해 도 3에서 기술된 경로 생성기(300)로 전송될 수 있다. 경로 생성기(300)는, 동체 구조체(400)에 대한 자동화된 검증 프로세스(202)를 수행하기 위한 경로(304)를 확립하기 위해 이들 테스트 이미지를 사용할 수 있다. 일단 경로(304)가 확립되면, 경로(304)는 동체 구조체(400)뿐만 아니라 동체 구조체(400)와 동일한 설계 사양에 따라 조립되는 다른 동체 구조체에 대한 자동화된 검증 프로세스(202)를 수행하는데 사용될 수 있다.
도 5는 예시적인 실시예에 따라 도시된 도 4 및 도 5로부터의 동체 구조체(400)의 일부의 이미지의 도면이다. 이미지(500)는 도 2에서 기술된 이미지(220)에 대한 하나의 구현의 예일 수 있다. 이미지(500)는, 예를 들어, 동체 구조체(400)의 내부(404) 내에서 도 4에서의 이미지 시스템(408)에 의해 생성될 수 있다.
도 2로부터의 검증기(212)는, 이미지(500)를 동체 구조체(400)에 대한 컴퓨터 모델에 등록할 수 있다. 이 등록에 기초하여, 검증기(212)는 패스너가 설치될 것으로 기대되는 이미지(500)의 다양한 부분을 식별할 수 있다. 그 후, 검증기(212)는 이미지(500)를 이미지 섹션의 세트(502)로 분할할 수 있다. 예를 들어, 제한 없이, 검증기(212)는 이미지(500)로부터 다수의 이미지 섹션(502)을 스니핑, 크로핑 또는 그렇지 않으면 추출할 수 있다. 이미지 섹션의 세트(502)는 도 2에서 기술된 이미지 섹션의 세트(240)에 대한 하나의 구현의 예일 수 있다.
복수의 이미지 섹션(502)의 각각의 이미지 섹션은, 그 다음에 그 이미지 섹션이 동체 구조체(400)에 대한 컴퓨터 모델에 기초하여 대응하는 상태를 충족시키는지 여부를 결정하기 위해 분석될 수 있다. 예를 들어, 제한 없이, 대응하는 상태는 패스너의 존재 또는 패스너의 부재일 수 있다.
도 6은 예시적인 실시예에 따라 도시된 그래픽 사용자 인터페이스 상에 디스플레이된 보고서의 도면이다. 보고서(600)는 그래픽 사용자 인터페이스(602) 상에 디스플레이된다. 보고서(600)는 도 2에서의 보고서(246)에 대한 하나의 구현의 예일 수 있다. 그래픽 사용자 인터페이스(602)는 도 2에서의 그래픽 사용자 인터페이스(248)에 대한 하나의 구현의 예일 수 있다. 보고서(600)는, 도 4에서의 동체 구조체(400)에 대한 조립의 상태의 자동화된 검증이 수행된 후에 도 2에서의 검증기(212)에 의해 생성될 수 있다.
도시된 바와 같이, 보고서(600)는 다이어그램(diagram; 604)을 포함한다. 다이어그램(604)은 동체 구조체(400)의 내부(404)를 나타낼 수 있다. 이 예시적인 예에서, 다이어그램(604)은 조립의 특정 단계 후에 동체 구조체(400)에 존재할 것으로 기대되는 모든 패스너일 수 있는 복수의 기대되는 패스너(606)를 식별한다.
이 예시적인 예에서, 그래픽 표시자의 세트(608)는 동체 구조체(400)에 존재하지 않는 복수의 기대되는 패스너(606)의 각각의 패스너를 나타내기 위해 사용될 수 있다. 이러한 방식으로, 다이어그램(604)은 인간 오퍼레이터가 보는 보고서(600)가 추후 주의를 요구할 수 있는 동체 구조체(400) 상의 위치를 쉽고 용이하게 식별하도록 할 수 있다.
또한, 보고서(600)는 일반 정보(610)를 포함한다. 예를 들어, 제한 없이, 일반 정보(610)는 날짜(612), 라인 번호(614), 모델(616), 및 검사 구역(618)을 포함할 수 있다. 날짜(612)는 조립의 상태의 자동화된 검증이 수행된 날짜를 식별할 수 있다. 라인 번호(614) 및 모델(616)은 동체 구조체(400)를 구체적으로 식별할 수 있다. 검사 구역(618)은 조립의 상태의 자동화된 검증이 수행된 동체 구조체(400)의 특정 영역을 식별할 수 있다.
추가적으로, 보고서(600)에는 상태 개요(620)가 포함된다. 상태 개요(620)는 조립의 상태의 자동화된 검증의 결과를 식별할 수 있다. 예를 들어, 제한 없이, 상태 개요(620)는 최종 스코어(622), 문제의 수(624), 패스너의 수(626) 및 이미지 섹션의 수(628)를 식별할 수 있다. 최종 스코어(622)는 도 2에서의 최종 스코어(244)에 대한 하나의 구현의 예일 수 있다.
최종 스코어(622)는 그들 각각의 대응하는 상태를 충족시키는 분석된 이미지 섹션의 비율을 식별한다. 문제의 수(624)는 검출된 문제의 수를 나타낸다. 바꾸어 말하면, 문제의 수(624)는 그들 각각의 대응하는 상태를 만족시키지 못한 이미지 섹션의 수를 식별할 수 있다. 패스너의 수(626)는 하나 이상의 이미지 기술을 이용하여 검증기(212)에 의해 인식된 패스너의 수를 식별한다. 이미지 섹션의 수(628)는 보고서(600)를 생성하기 위해 사용되고 분석된 이미지 섹션의 총수를 식별할 수 있다.
도 1 및 도 4 내지 도 6의 설명은, 예시적인 실시예가 구현될 수 있는 방식에 대한 물리적 또는 구조적 제한을 의미하는 것은 아니다. 도시된 것에 더하여 또는 그 대신에 다른 컴포넌트가 사용될 수도 있다. 몇몇 컴포넌트는 선택 사항일 수도 있다. 도 1 및 도 4 내지 도 6에 도시된 다른 컴포넌트는, 도 2 및 도 3에서의 블록 형태로 도시된 컴포넌트가 어떻게 물리적 구조로서 구현될 수 있는지에 대한 예시적인 예일 수 있다. 추가적으로, 도 1 및 도 4 내지 도 6의 컴포넌트 중 몇몇은 도 2 및 도 3의 컴포넌트와 결합되거나, 도 2 및 도 3의 컴포넌트와 함께 사용되거나, 그렇지 않으면 도 2 및 도 3의 컴포넌트와 관련되거나, 또는 그 조합일 수 있다.
도 7은 예시적인 실시예에 따라 도시된 구조체에 대한 조립의 상태의 자동화된 검증을 수행하기 위한 방법의 도면이다. 도 7에 도시된 방법(700)은, 예를 들어 도 2에서 이미 설명된 바와 같은 자동화된 검증 프로세스(202)를 수행하는데 사용될 수 있다. 방법(700)은 조작 또는 프로세스의 세트로서 도시되어 있다. 도시된 모든 조작이 방법(700)의 모든 실시예에서 수행될 수 있는 것은 아니다. 추가적으로, 도 7에 명확히 도시되지 않은 하나 이상의 프로세스가, 조작 전에, 조작 후에, 조작 사이에 또는 조작의 일부로서 포함될 수도 있다. 몇몇의 실시예에서는, 하나 이상의 조작이 선택 사항일 수 있고 따라서 생략될 수도 있다.
방법(700)은 복수의 이미지의 이미지가 구조체의 일부를 캡처하는 구조체의 컴퓨터 모델에 구조체의 복수의 이미지를 등록함으로써 시작될 수 있다(조작 702). 조작 702에서, 구조체는 예를 들어 도 4에서의 동체 구조체(400)와 같은 동체 구조체일 수 있다. 다른 예시적인 예에서, 구조체는 몇몇 다른 타입의 항공기 구조체일 수 있다. 다음으로, 복수의 이미지의 각각의 이미지는 복수의 이미지 섹션을 형성하기 위해 복수의 이미지의 컴퓨터 모델로의 등록에 기초하여 분할될 수 있다(조작 704). 조작 704는, 예를 들어, 제한 없이, 하나 이상의 이미지 인식 및 등록 기술을 이용하여 수행될 수 있다.
그 후, 구조체의 조립의 상태에 대한 최종 스코어가 복수의 이미지 섹션의 각각의 이미지 섹션이 대응하는 상태를 충족시키는지 여부에 기초하여 생성될 수 있는데, 최종 스코어는 조립의 상태가 유효한지 여부를 나타낸다(조작 706). 하나의 예시적인 예에서, 최종 스코어는 그들의 컴퓨터 모델로의 등록에 기초하여 그들 각각의 대응하는 상태를 충족시키는 복수의 이미지 섹션의 비율일 수 있다. 그 다음에, 최종 스코어는 디스플레이 시스템 상의 그래픽 사용자 인터페이스 상에 디스플레이될 수 있고(조작 708), 그 후 프로세스는 종료된다. 도 7의 방법(700)에서 기술된 자동화된 검증 프로세스의 조작의 각각은, 자율적으로 수행될 수 있다.
도 8은 예시적인 실시예에 따라 도시된 구조체에 대한 조립의 상태의 자동화된 검증을 수행하기 위한 방법의 도면이다. 도 8에 도시된 방법(800)은, 예를 들어, 도 2에서 이미 설명된 바와 같은 자동화된 검증 프로세스(202)를 수행하는데 사용될 수 있다. 방법(800)은 조작 또는 프로세스의 세트로서 도시되어 있다. 도시된 모든 조작이 방법(800)의 모든 실시예에서 수행될 수 있는 것은 아니다. 추가적으로, 도 8에 명확히 도시되지 않은 하나 이상의 프로세스가, 조작 전에, 조작 후에, 조작 사이에 또는 조작의 일부로서 포함될 수도 있다. 몇몇의 실시예에서는, 하나 이상의 조작이 선택 사항일 수 있고 따라서 생략될 수도 있다.
방법(800)은, 센서 시스템을 이용하여 구조체의 복수의 이미지를 생성함으로써 시작될 수 있다(조작 802). 하나의 예시적인 예에서, 센서 시스템은 구조체에 대해 복수의 고정된 위치에 배치된 복수의 센서를 포함한다. 다른 예시적인 예에서, 센서 시스템은 자동 반송 차에 결합될 수도 있다. 이들 예에서, 자동 반송 차는 구조체에 대해 소정의 경로를 따라 이동되어 센서 시스템을 복수의 이미지를 생성하기 위한 위치의 세트로 이동시킬 수 있다. 위치의 세트는 관심 있는 구조체의 영역 또는 구역 전체가 가장 적은 수의 이미지로 캡처될 수 있게 하는 최적의 위치의 세트일 수 있다.
다음으로, 구조체의 복수의 이미지가 구조체의 컴퓨터 모델에 등록될 수 있다(조작 804). 조작 804에서, 컴퓨터 모델은 예를 들어 컴퓨터 보조 설계 모델일 수 있다. 그 다음에, 복수의 이미지의 각각의 이미지는 복수의 이미지 섹션을 형성하기 위해 이미지 섹션의 세트로 분할된다(조작 806). 조작 806은, 예를 들어, 제한 없이, 각각의 이미지로부터 하나 이상의 이미지 섹션을 크로핑(cropping), 스니핑(snipping), 또는 그렇지 않으면 추출함으로써 수행될 수 있다. 몇몇의 경우에는, 이미지의 전체가 분할될 수도 있다. 다른 경우에는, 생성된 각각의 이미지 섹션이 관심 있는 단일의 특징을 가질 것으로 기대되는 구조체의 일부를 캡처하도록 이미지의 특정 부분만이 분할될 수도 있다. 관심 있는 단일의 특징은, 예를 들어, 홀, 홀 내에 설치된 패스너 또는 시각적으로 검출될 수 있는 몇몇 다른 타입의 특징일 수 있다.
그 후, 구조체에 대한 조립의 상태에 대한 초기 스코어를 생성하기 위해 각각의 개별적인 이미지 섹션에 대한 대응하는 상태를 충족시키는 복수의 이미지 섹션의 비율이 계산된다(조작 808). 조작 808에서, 특정 이미지 섹션에 대한 대응하는 상태는, 예를 들어, 관심 있는 특정의 특징의 존재 또는 부재일 수 있다. 몇몇의 예시적인 예에서, 대응하는 상태는 홀의 존재, 홀에 설치된 패스너의 존재, 홀의 부재, 홀 내의 패스너의 부재 또는 몇몇 다른 타입의 상태 중의 하나로부터 선택될 수 있다.
임의의 무효화 이벤트가 식별되었는지 여부에 관한 결정이 행해질 수 있다(조작 810). 조작 810에서, 무효화 이벤트는 예를 들어 구조체에 대한 조립의 상태에 대해 중요한 대응하는 상태를 충족시키지 않는 특정 이미지 섹션일 수 있다. 예를 들어, 몇몇의 경우에는, 특정 위치에서의 패스너의 존재가 조립의 상태에 중요할 수 있다. 임의의 무효화 이벤트가 식별되면, 구조체에 대한 조립의 상태에 대한 최종 스코어를 생성하기 위해 초기 스코어가 조정된다(조작 812). 특히, 조작 812에서, 초기 스코어는 식별된 무효화 사건에 기초하여 조정된다. 조작 812는, 예를 들어 무효화 이벤트가 조립의 상태를 무효로 만들었음을 나타내기 위해 초기 스코어를 제로 퍼센트로 조정함으로써 수행될 수 있다. 다른 예시적인 예에서는, 구조체에 대한 조립의 상태에 대한 각각의 무효화 이벤트의 중요성에 기초하여 가중치가 부여된 조정에 의해, 각각의 무효화 이벤트에 대한 초기 스코어에 대한 조정이 이루어질 수 있다.
그 다음에, 최종 스코어 및 구조체를 나타내는 다이어그램 및 구조체 상의 관심 있는 특징을 포함하는 보고서가 생성된다(조작 814). 이 보고서는 처리를 위해 컴퓨터 수치 제어 머신으로 보내지고(조작 816), 그 후 프로세스가 종료된다. 몇몇의 경우에, 보고서는 컴퓨터 수치 제어 머신을 조정하거나 또는 컴퓨터 수치 제어 머신에 대한 명령을 생성하는데 사용된다.
조작 810을 다시 참조하면, 무효화 이벤트가 식별되지 않으면, 초기 스코어는 구조체에 대한 조립의 상태에 대한 최종 스코어로서 사용된다(조작 818). 그 다음에, 방법(800)은 전술한 바와 같은 프로세스(814)로 진행한다.
도 9는 예시적인 실시예에 따라 도시된 항공기 구조체에 대한 조립의 상태의 자동화된 검증을 수행하기 위한 방법의 도면이다. 도 9에 도시된 방법(900)은, 예를 들어, 도 2에서 이미 설명된 바와 같은 자동화된 검증 프로세스(202)를 수행하는데 사용될 수 있다. 방법(900)은 조작 또는 프로세스의 세트로서 도시되어 있다. 도시된 모든 조작이 방법(900)의 모든 실시예에서 수행될 수 있는 것은 아니다. 추가적으로, 도 9에 명확히 도시되지 않은 하나 이상의 프로세스가, 조작 전에, 조작 후에, 조작 사이에 또는 조작의 일부로서 포함될 수도 있다. 몇몇의 실시예에서는, 하나 이상의 조작이 선택 사항일 수 있고 따라서 생략될 수도 있다.
방법(900)은 복수의 이미지의 이미지가 항공기 구조체의 일부를 캡처하는 자동 반송 차에 부착된 센서 시스템을 이용하여 항공기 구조체의 복수의 이미지를 생성하는데 사용하기 위한 이미지 데이터를 생성함으로써 시작될 수 있다(조작 902). 다음으로, 복수의 이미지가 처리를 위해 검증기로 전송된다(조작 904). 검증기는 프로세서 또는 컴퓨터 시스템을 이용하여 구현될 수 있다. 복수의 이미지는 항공기 구조체의 컴퓨터 모델에 등록될 수 있다(조작 906).
그 후, 복수의 이미지의 각각의 이미지가 복수의 이미지 섹션을 형성하기 위해 복수의 이미지의 컴퓨터 모델로의 등록에 기초하여 분할될 수 있다(조작 908). 복수의 이미지 섹션의 각각의 이미지 섹션이 항공기 구조체의 컴퓨터 모델에 관하여 대응하는 상태를 충족시키는지 여부에 기초하여 항공기 구조체에 대한 최종 스코어가 생성된다(조작 910). 조작 910에서, 최종 스코어는 구조체에 대한 조립의 상태가 유효한지 여부를 나타낸다. 그 다음에, 최종 스코어는 디스플레이 시스템 상의 그래픽 사용자 인터페이스에 디스플레이되고(조작 912), 그 후 프로세스가 종료된다.
도 10은 예시적인 실시예에 따라 도시된 자동 검증 프로세스를 수행하기 위한 경로를 확립하는 방법의 도면이다. 도 10에 도시된 방법(1000)은, 도 2에서 이미 설명된 바와 같은 자동화된 검증 프로세스(202)를 수행하기 위해, 도 3에서의 경로(304)와 같은 경로를 확립하는데 사용될 수 있다. 방법(1000)은 조작 또는 프로세스의 세트로서 도시되어 있다. 도시된 모든 조작이 방법(1000)의 모든 실시예에서 수행될 수 있는 것은 아니다. 추가적으로, 도 10에 명확히 도시되지 않은 하나 이상의 프로세스가, 조작 전에, 조작 후에, 조작 사이에 또는 조작의 일부로서 포함될 수도 있다. 몇몇의 실시예에서는, 하나 이상의 조작이 선택 사항일 수 있고 따라서 생략될 수도 있다.
방법(1000)은 자동 반송 차에 결합된 센서 시스템을 구조체에 대해 복수의 테스트 위치로 이동시킴으로써 시작할 수 있다(조작 1002). 조작 1002는, 예를 들어 센서 시스템이 복수의 테스트 위치로 이동되게 하기 위해 소정의 테스트 경로를 따라 자동 반송 차를 이동시킴으로써 수행될 수 있다. 다음으로, 복수의 테스트 이미지를 구축하기 위해 센서 시스템을 이용하여 복수의 테스트 위치의 각각의 테스트 위치에서 이미지 데이터가 생성된다(조작 1004). 등록된 이미지의 세트에 추가되는 복수의 등록된 이미지를 형성하기 위해 복수의 테스트 이미지의 각각의 테스트 이미지가 구조체의 컴퓨터 모델에 등록된다(조작 1006).
조작 1006은, 예를 들어, 제한 없이, 테스트 이미지에서 검출된 구조체의 특징들과 컴퓨터 모델 내의 동일한 특징들 사이의 도면 상관관계(drawing correspondence)에 의해 수행될 수 있다. 이 프로세스는, 예를 들어 RANSAC(Random Sample Consensus, 무작위 샘플 합의) 알고리즘 및 ICP(iterative nearest points) 알고리즘을 포함하지만 이에 한정되지 않는 다양한 알고리즘 및 방법을 이용하는 것을 포함할 수 있다.
그 후, 관심 있는 구조체의 영역 전체가 등록된 이미지의 집합으로부터의 가장 적은 수의 등록된 이미지를 이용하여 캡처되게 하는 최적의 위치의 세트가 복수의 테스트 위치로부터 결정된다(동작 1008). 다음으로, 센서 시스템이 최소한의 시간으로 최적의 위치의 세트의 각각으로 이동될 수 있도록 자동 반송 차를 이동시키기 위한 경로가 생성된다(조작 1010). 컴퓨터 파일이 자동화된 검증된 차량을 이동시키기 위한 경로 및 센서 시스템에 대한 최적의 위치의 세트를 식별하는 구조체에 대한 조립의 상태를 확인하기 위해 자동화된 검증 프로세스를 수행하는데 사용하기 위한 컴퓨터 파일이 생성된다(조작 1012).
그 다음에, 컴퓨터 파일이 구조체와 동일한 설계 사양에 부합하는 복수의 구조체에 대한 자동화된 검증 프로세스를 수행하는데 사용하기 위해 저장되고(조작 1014), 그 후 프로세스가 종료된다. 예를 들어, 컴퓨터 파일에서 식별된 경로 및 최적의 위치의 세트는, 자동화된 검증 프로세스를 수행하기 위해 구조체와 동일한 컴퓨터 모델에 따라 조립되는 다른 구조체에 대해, 자동 반송 차 및 센서 시스템을 각각 이동시키는데 사용될 수 있다. 몇몇의 예시적인 실시예에서, 컴퓨터 파일은 또한 구조체에 대한 다른 조립 또는 조립의 단계 또는 제조에 대한 자동화된 검증 프로세스를 수행하는데 사용하기 위해 저장될 수 있다.
도 11은 예시적인 실시예에 따라 도시된 자동화된 검증 프로세스를 수행하기 위한 최적의 위치의 세트를 결정하는 방법의 도면이다. 도 11에 도시된 방법(1100)은, 도 10에서의 조작 1008을 구현하는데 사용될 수 있는 하나의 프로세스의 예일 수 있다. 방법(1100)은 조작 또는 프로세스의 세트로서 도시되어 있다. 도시된 모든 조작이 방법(1100)의 모든 실시예에서 수행될 수 있는 것은 아니다. 추가적으로, 도 11에 명확히 도시되지 않은 하나 이상의 프로세스가, 조작 전에, 조작 후에, 조작 사이에 또는 조작의 일부로서 포함될 수도 있다. 몇몇의 실시예에서는, 하나 이상의 조작이 선택 사항일 수 있고 따라서 생략될 수도 있다.
방법(1100)은, 관심 있는 구조체의 영역 전체가 최종 이미지 세트를 형성하도록 캡처되게 하는 등록된 이미지의 집합으로부터 가장 적은 수의 등록된 이미지를 선택함으로써 시작될 수 있다(조작 1102). 다음으로, 최적의 세트의 위치를 형성하기 위해 최종 이미지 세트 내의 각각의 등록된 이미지에 대응하는 테스트 위치가 식별되고(조작 1104), 그 후에 프로세스가 종료된다.
도 12는 예시적인 실시예에 따라 도시된 데이터 처리 시스템의 블록도이다. 데이터 처리 시스템(1200)은 도 1에서의 검증기(212) 및 도 3에서의 경로 생성기(300)를 구현하는데 사용될 수 있다. 도시된 바와 같이, 데이터 처리 시스템(1200)은 프로세서 유닛(1204), 저장 장치(1206), 통신 유닛(1208), 입/출력 유닛(1210) 및 디스플레이(1212) 사이의 통신을 제공하는 통신 프레임워크(1202)를 포함한다. 몇몇의 경우에, 통신 프레임워크(1202)는 버스 시스템으로서 구현될 수 있다.
프로세서 유닛(1204)은 다수의 조작을 수행하기 위해 소프트웨어에 대한 명령을 수행하도록 구성된다. 프로세서 유닛(1204)은 구현에 따라 다수의 프로세서, 멀티프로세서 코어, 및/또는 몇몇의 다른 타입의 프로세서를 포함할 수 있다. 몇몇의 경우에, 프로세서 유닛(1204)은 회로 시스템, 응용 주문형 집적 회로(ASIC), 프로그램 가능 논리 장치, 또는 다른 적절한 타입의 하드웨어 유닛과 같은 하드웨어 유닛의 형태를 취할 수 있다.
프로세서 유닛(1204)에 의해 실행되는 운영 시스템, 애플리케이션 및/또는 프로그램에 대한 명령은 저장 장치(1206)에 위치될 수 있다. 저장 장치(1206)는 통신 프레임워크(1202)를 통해 프로세서 유닛(1204)과 통신할 수 있다. 여기에 사용된 바와 같이, 컴퓨터 판독 가능 저장 장치로서도 불리는 저장 장치는 일시적으로 및/또는 영구적으로 정보를 저장할 수 있는 임의의 하드웨어 조각이다. 이 정보는, 데이터, 프로그램 코드 및/또는 다른 정보를 포함할 수 있지만, 이에 한정되지는 않는다.
메모리(1214) 및 영구 저장 장치(1216)는 저장 장치(1206)의 예들이다. 메모리(1214)는, 예를 들어 랜덤 액세스 메모리 또는 몇몇 타입의 휘발성 또는 비휘발성 저장 장치의 형태를 취할 수 있다. 영구 저장 장치(1216)는 임의의 수의 컴포넌트 또는 장치를 포함할 수 있다. 예를 들어, 영구 저장 장치(1216)는 하드 드라이브, 플래시 메모리, 재기록 가능한 광학 디스크, 재기록 가능한 자기 테이프, 또는 상기의 몇몇 조합을 포함할 수 있다. 영구 저장 장치(1216)에 의해 사용되는 매체(media)는 착탈 가능하거나 불가능할 수 있다.
통신 유닛(1208)은 데이터 처리 시스템(1200)이 다른 데이터 처리 시스템 및/또는 장치와 통신할 수 있게 한다. 통신 유닛(1208)은 물리적 및/또는 무선 통신 링크를 이용하여 통신을 제공할 수 있다.
입/출력 유닛(1210)은 데이터 처리 시스템(1200)에 접속된 다른 장치로부터 입력이 수신되고 다른 장치로 출력이 전송되도록 한다. 예를 들어, 입/출력 유닛(1210)은 사용자 입력이 키보드, 마우스 및/또는 다른 타입의 입력 장치를 통해 수신되도록 할 수 있다. 다른 예로서, 입/출력 유닛(1210)은 출력이 데이터 처리 시스템(1200)에 접속된 프린터로 전송되도록 할 수 있다.
디스플레이(1212)는 정보를 사용자에게 디스플레이하도록 구성된다. 디스플레이(1212)는, 예를 들어, 제한 없이, 모니터, 터치 스크린, 레이저 디스플레이, 홀로그래픽 디스플레이, 가상 디스플레이 장치, 및/또는 몇몇 다른 타입의 디스플레이 장치를 포함할 수 있다.
이 예시적인 예에서는, 다른 예시적인 실시예의 프로세스가 컴퓨터 구현 명령을 이용하는 프로세서 유닛(1204)에 의해 수행될 수 있다. 이들 명령은, 프로그램 코드, 컴퓨터 사용 가능 프로그램 코드 또는 컴퓨터 판독 가능 프로그램 코드로서 불릴 수 있고 프로세서 유닛(1204)의 하나 이상의 프로세서에 의해 판독되어 실행될 수 있다.
이들 예에서, 프로그램 코드(1218)는 선택적으로 착탈 가능한 컴퓨터 판독 가능 매체(1220) 상에 기능적 형태로 위치되고, 프로세서 유닛(1204)에 의한 실행을 위해 데이터 처리 시스템(1200) 상에 로딩되거나 데이터 처리 시스템(1200)으로 전송될 수 있다. 프로그램 코드(1218) 및 컴퓨터 판독 가능 매체(1220)는 함께 컴퓨터 프로그램 제품(1222)을 형성한다. 이 예시적인 예에서, 컴퓨터 판독 가능 매체(1220)는 컴퓨터 판독 가능 저장 매체(1224) 또는 컴퓨터 판독 가능 신호 매체(1226)일 수 있다.
컴퓨터 판독 가능 저장 매체(1224)는 프로그램 코드(1218)를 전파하거나 전송하는 매체라기보다는 프로그램 코드(1218)를 저장하는데 사용되는 물리적 또는 유형의 저장 장치(physical or tangible storage device)이다. 컴퓨터 판독 가능 저장 매체(1224)는, 예를 들어, 제한 없이, 광학 또는 자기 디스크 또는 데이터 처리 시스템(1200)에 접속된 영구 저장 장치일 수 있지만, 이에 한정되는 것은 아니다.
그 대신에, 프로그램 코드(1218)는 컴퓨터 판독 가능 신호 매체(1226)를 이용하여 데이터 처리 시스템(1200)으로 전송될 수도 있다. 컴퓨터 판독 가능 신호 매체(1026)는, 예를 들어, 프로그램 코드(1018)를 포함하는 전파된 데이터 신호일 수 있다. 이 데이터 신호는 전자기 신호, 광학 신호, 및/또는 물리적 및/또는 무선 통신 링크를 통해 전송될 수 있는 몇몇 다른 타입의 신호일 수 있다.
도 12의 데이터 처리 시스템(1200)의 도면은, 예시적인 실시예가 구현될 수 있는 방식에 구조적 제한을 제공하려는 것은 아니다. 다른 예시적인 실시예들은 데이터 처리 시스템(1200)에 대해 예시된 것들에 부가되어 또는 그 대신에 컴포넌트들을 포함하는 데이터 처리 시스템에서 구현될 수도 있다. 또한, 도 12에 도시된 컴포넌트들은 도시된 예시적인 예들로부터 변경될 수도 있다.
본 발명의 예시적인 실시예는 도 13에 도시된 바와 같은 항공기 제조 및 점검 방법(1300) 및 도 14에 도시된 바와 같은 항공기(1400)의 맥락에서 설명될 수 있다. 도 13은 예시적인 실시예에 따라 도시된 항공기 제조 및 점검 방법의 도면이다. 항공기 제조 및 점검 방법(1300)은, 예를 들어 도 1의 항공기(100)를 제조하는데 사용될 수 있다. 생산 전(pre-production) 동안, 항공기 제조 및 점검 방법(1300)은 도 14의 항공기(1400)의 사양 및 설계(specification and design; 1302)와 자재 조달(material procurement; 1304)을 포함할 수 있다.
생산(production) 동안, 도 14의 항공기(1400)의 컴포넌트 및 서브어셈블리 제조(component and subassembly manufacturing; 1306)와 시스템 통합(system integration; 1308)이 일어난다. 그 후에, 도 14의 항공기(1400)는 서비스 중(in service; 1312)에 놓이기 위해 인증 및 인도(certification and delivery; 1310)를 거친다. 고객에 의해 서비스 중(1312)에 있는 동안, 도 14의 항공기(1400)는 변형(modification), 재구성(reconfiguration), 재단장(refurbishment), 및 다른 유지보수 및 점검을 포함할 수 있는 일상적인 유지보수 및 점검(maintenance and service; 1314)에 대한 스케줄이 잡힌다.
항공기 제조 및 점검 방법(1300)의 각각의 프로세스는 시스템 통합자(system integrator), 써드 파티(third party, 제3자), 및/또는 오퍼레이터(operator)에 의해서 실시되거나 수행될 수 있다. 이들 예에서, 오퍼레이터는 고객일 수 있다. 이 설명의 목적을 위해서, 시스템 통합자는 제한 없이 임의의 수의 항공기 제조자 및 메이저-시스템(major-system) 하청업자를 포함할 수 있고; 써드 파티는 제한 없이 임의의 수의 판매자(vendor), 하청업자(subcontractor), 및 공급자(supplier)를 포함할 수 있고; 오퍼레이터는 항공사(airline), 리스회사(leasing company), 군사 단체(military entity), 서비스 기구(service organization) 등일 수 있다.
도 14는 예시적인 실시예에 따라 도시된 항공기의 블록도이다. 이 예에서, 항공기(1400)는 도 13의 항공기 제조 및 점검 방법(1300)에 의해 생산되고, 복수의 시스템(1404)을 가진 기체(airframe; 1402) 및 내부(interior; 1406)를 포함할 수 있다. 시스템(1404)의 예는 추진 시스템(propulsion system; 1408), 전기 시스템(electrical system; 1410), 유압 시스템(hydraulic system; 1412), 및 환경 시스템(environmental system; 1414) 중의 하나 이상을 포함한다. 임의의 수의 다른 시스템이 포함될 수도 있다. 항공우주적인 예가 도시되었지만, 다른 예시적인 실시예들이 자동차 산업(automotive industry)과 같은 다른 산업에 적용될 수 있다.
여기에 구체화된 장치 및 방법은 도 13의 항공기 제조 및 점검 방법(1300)의 단계들 중의 적어도 하나 동안에 채용될 수 있다. 특히, 도 2로부터의 자동화된 검증 프로세스(202)가 항공기 제조 및 점검 방법(1300)의 단계들 중의 어느 하나 동안 수행될 수 있다. 예를 들어, 제한 없이, 도 2에서의 검증 시스템(208)은 컴포넌트 및 서브어셈블리 제조(1306), 시스템 통합(1308), 일상적인 유지보수 및 점검(1314) 또는 항공기 제조 및 점검 방법(1300)의 몇몇의 다른 단계 중의 적어도 하나 동안 항공기(1400)의 구조체에 대한 조립의 상태를 확인하기 위해 자동화된 검증 프로세스(202)를 수행하는데 사용될 수 있다. 또한 더욱이, 도 3으로부터의 경로 생성기(300)가 항공기 제조 및 점검 방법(1300)의 단계 중의 임의의 하나의 단계 동안 자동화된 검증 프로세스(202)를 수행하기 위한 경로를 확립하는데 사용될 수 있다.
하나의 예시적인 예에서, 도 13의 컴포넌트 및 서브어셈블리 제조(1306)에서 생산되는 컴포넌트 또는 서브어셈블리는, 항공기(1400)가 도 13의 서비스 중(1312)인 동안 생산되는 컴포넌트 및 서브어셈블리와 유사한 방식으로 제작되거나 제조될 수 있다. 또 다른 예로서, 하나 이상의 장치 실시예, 방법 실시예, 또는 그 조합이 도 13의 컴포넌트 및 서브어셈블리 제조(1306) 및 시스템 통합(1308)과 같은 제조 단계 동안 이용될 수 있다. 하나 이상의 장치 실시예, 방법 실시예, 또는 그 조합은, 항공기(1400)가 도 13의 서비스 중(1312)인 동안, 및/또는 유지보수 및 점검(1314) 중에 이용될 수 있다. 다수의 다른 예시적인 실시예의 이용은 항공기(1400)의 조립을 현저하게 가속화하고 항공기(1400)의 비용을 현저하게 감소시킬 수 있다.
본 발명은 또한 청구범위와 혼동되어서는 않되는 다음의 단락(paragraph)에서 언급된다.
A1. 구조체(206)에 대한 조립의 상태(204)의 자동화된 검증(202)을 수행하기 위한 경로(304)를 확립하는 방법으로서,
자동 반송 차(222)에 결합된 센서 시스템(210)을 구조체(206)에 대해 복수의 테스트 위치(308)로 이동시키는 단계(1002);
복수의 테스트 이미지(310)를 구축하기 위해 센서 시스템(210)을 이용하여 복수의 테스트 위치(308)의 각각의 테스트 위치에서 이미지 데이터를 생성하는 단계(1004);
등록된 이미지의 집합(314)에 추가되는 복수의 등록된 이미지(312)를 형성하기 위해 구조체(206)의 컴퓨터 모델(236)에 복수의 테스트 이미지(310)의 각각의 테스트 이미지를 등록하는 단계(1006);
관심 있는 구조체(206)의 영역 전체가 등록된 이미지의 집합(314)으로부터의 가장 적은 수의 등록된 이미지를 이용하여 캡처되게 하는 최적의 위치의 세트(318)를 복수의 테스트 위치(308)로부터 결정하는 단계(1008);
자동 반송 차(222)를 최소한의 시간으로 최적의 위치의 세트(318)의 각각으로 이동시키는 경로(304)를 생성하는 단계(1010); 및
컴퓨터 파일(320)이 경로(304)를 식별하는 구조체(206)에 대한 조립의 상태(204)를 확인하기 위해 자동화된 검증 프로세스(202)를 수행하는데 사용하기 위한 컴퓨터 파일(320)을 생성하는 단계(1012)를 포함하는 방법.
A2. 또한, 센서 시스템(210)을 이동시키는 단계(1002)는,
센서 시스템(210)이 복수의 테스트 위치(308)로 이동되게 하는 직선 경로를 따라 자동 반송 차(222)를 이동시키는 단계를 포함하는 단락 A1의 방법이 제공된다.
A3. 또한, 센서 시스템(210)을 이동시키는 단계(1002)는,
센서 시스템(210)이 복수의 테스트 위치(308)로 이동되도록 구조체(206)에 대해 소정의 테스트 경로(304)를 따라 자동 반송 차(222)를 이동시키는 단계를 포함하는 단락 A1의 방법이 제공된다.
A4. 또한, 각각의 테스트 위치에서 이미지 데이터를 생성하는 단계(1004)는,
센서 시스템(210)이 테스트 위치(308)로 이동될 때 테스트 이미지를 생성하는 단계를 포함하고, 테스트 위치(308)는 기준 좌표계에 대한 테스트 위치 및 테스트 방향을 포함하는 단락 A1의 방법이 제공된다.
A5. 또한, 복수의 테스트 위치(308)로부터 최적의 위치의 세트(318)를 결정하는 단계(1008)는,
관심 있는 구조체(206)의 영역 전체가 최종 이미지 세트를 형성하도록 캡처되게 하는 등록된 이미지의 집합(314)으로부터 가장 적은 수의 등록된 이미지를 선택하는 단계(1102); 및
최적의 위치의 세트(318)를 형성하도록 최종 이미지 세트 내의 각각의 등록된 이미지에 대응하는 테스트 위치(308)를 식별하는 단계(1104)를 포함하는 단락 A1의 방법이 제공된다.
A6. 또한, 각각의 등록된 이미지에 대응하는 테스트 위치(308)를 식별하는 단계(1104)는,
최종 이미지 세트의 등록된 이미지에 대응하는 센서 시스템(210)에 대한 테스트 위치 및 테스트 방향을 식별하는 단계를 포함하는 단락 A5의 방법이 제공된다.
A7. 또한, 센서 시스템(210)을 이동시키는 단계(1002)는,
구조체(206)에 대해 약 100 내지 약 100,000개의 테스트 위치 사이에서 센서 시스템(210)을 이동시키는 단계를 포함하고, 각각의 테스트 위치는 기준 좌표계에 대한 테스트 위치 및 테스트 방향을 포함하는 단락 A1의 방법이 제공된다.
A8. 또한, 자동화된 검증 프로세스(202)를 수행하기 위해 자동 반송 차(222)에 결합된 센서 시스템(210)을 컴퓨터 파일(320)에서 식별된 경로(304)를 따라 최적의 위치의 세트(318)로 이동시키는 단계를 더 포함하는 단락 A1의 방법이 제공된다..
A9. 또한, 구조체(206)와 동일한 설계 사양에 부합하는 복수의 구조체(206)에 대한 자동화된 검증 프로세스(202)를 수행하는데 사용하기 위해 컴퓨터 파일(320)을 저장하는 단계(1014)를 더 포함하는 단락 A1의 방법이 제공된다.
A10. 또한, 컴퓨터 파일(320)을 이용하여 자동화된 검증 프로세스(202)를 수행하는 단계는 조립의 상태(204)의 자동화된 검증을 수행하는데 필요한 처리 리소스의 전체 양을 감소시키는 단락 A1의 방법이 제공된다.
A11. 동체 구조체(206)에 대한 조립의 상태(204)의 자동화된 검증(202)을 수행하기 위한 경로(304)를 확립하는 방법으로서,
자동 반송 차(222)에 결합된 센서 시스템(210)을 동체 구조체(206)를 통해 복수의 테스트 위치(308)로 이동시키는 단계(1002);
복수의 테스트 이미지(310)를 구축하기 위해 센서 시스템(210)을 이용하여 복수의 테스트 위치(308)의 각각의 테스트 위치에서 이미지 데이터를 생성하는 단계(1004);
동체 구조체(206)의 컴퓨터 모델(236)에 대해 생성된 복수의 테스트 이미지(310)의 각각의 테스트 이미지를 등록하는 단계(1006);
관심 있는 동체 구조체(206)의 영역 전체가 가장 적은 수의 테스트 이미지를 이용하여 캡처되게 하는 복수의 테스트 위치(308)로부터 최적의 위치의 세트(318)를 결정하는 단계(1008);
자동 반송 차(222)를 최소한의 시간으로 최적의 위치의 세트(318)의 각각으로 이동시키는 경로(304)를 생성하는 단계(1010); 및
파일이 경로(304)를 식별하는 동체 구조체(206)에 대한 조립의 상태(204)를 확인하기 위해 자동화된 검증 프로세스(202)를 수행하는데 사용하기 위한 파일을 생성하는 단계(1012)를 포함하는 방법.
A12. 또한, 센서 시스템(210)을 이동시키는 단계(1002)는,
동체 구조체(206)를 통해 중심선을 따라 직선 경로를 따라 자동 반송 차(222)를 이동시키는 단계를 포함하는 단락 A11의 방법이 제공된다.
A13. 또한, 이미지 데이터를 생성하는 단계(1004)는,
동체 구조체(206)의 복수의 홀 중 적어도 하나 또는 동체 구조체(206)의 복수의 홀에 설치된 복수의 패스너를 캡처하는 테스트 이미지를 테스트 위치(308)에서 생성하는 단계를 포함하는 단락 A11의 방법이 제공된다.
A14. 또한, 동체 구조체(206)와 동일한 설계 사양에 부합하는 복수의 동체 구조체(206)에 대한 자동화된 검증 프로세스(202)를 수행하는데 사용하기 위해 컴퓨터 파일(320)을 저장하는 단계(1014)를 더 포함하는 단락 A11의 방법이 제공된다.
A15. 또한, 동체 구조체(206)에 대한 조립의 다른 단계들에 대한 자동 검증 프로세스(202)를 수행하는데 사용하기 위해 컴퓨터 파일(320)을 저장하는 단계를 더 포함하는 단락 A11의 방법이 제공된다.
A16. 장치로서,
프로세서(302)를 구비하되,
프로세서(302)가,
구조체(206)에 대해 복수의 테스트 위치(308)에서 복수의 테스트 이미지(310)를 생성하는 센서 시스템(210)으로부터 복수의 테스트 이미지(310)를 수신하고, 생성된 복수의 테스트 이미지(310)의 각각의 테스트 이미지를 구조체(206)의 컴퓨터 모델(236)에 등록하는 등록 컴포넌트(303); 및
관심 있는 구조체(206)의 영역 전체가 가장 적은 수의 테스트 이미지를 이용하여 캡처되게 하는 복수의 테스트 위치(308)로부터 최적의 위치의 세트(318)를 결정하고, 자동 반송 차(222)를 최소한의 시간으로 최적의 위치의 세트(318)의 각각으로 이동시키기 위한 경로(304)를 생성하며, 파일이 경로(304)를 식별하는 구조체(206)에 대한 조립의 상태(204)의 자동화된 검증(202)을 수행하는데 사용하기 위한 파일을 생성하는 최적화 컴포넌트(305)를 포함하는 장치.
A17. 또한, 센서 시스템(210)을 더 포함하되,
센서 시스템(210)이 센서 시스템(210)을 구조체(206)에 대해 복수의 테스트 위치(308)로 이동시키도록 구성된 자동 반송 차(222)에 결합되는 단락 A16의 장치가 제공된다.
A18. 또한, 구조체(206)는 동체 구조체(206)이고, 복수의 테스트 이미지(310)의 테스트 이미지는 동체 구조체(206)의 복수의 홀 중 적어도 하나 또는 동체 구조체(206)의 복수의 홀에 설치된 복수의 패스너를 캡처하는 단락 A16의 장치가 제공된다.
A19. 또한, 복수의 테스트 이미지(310)는 약 100 내지 100,000개의 테스트 이미지를 포함하는 단락 A16의 장치가 제공된다.
A20. 또한, 테스트 위치(308)에서 생성된 복수의 테스트 이미지(310)의 테스트 이미지는 기준 좌표계에 대하여 센서 시스템(210)에 대한 특정 테스트 위치 및 특정 테스트 방향에 대응하는 단락 A16의 장치가 제공된다.
본 발명의 소정의 예시적인 실시예가 첨부된 도면에 기술되고 도시되었지만, 그러한 실시예는 단지 폭넓은 발명을 예시하는 것일 뿐이고 제한하지 않는 것으로 이해되어야 한다. 추가적으로, 본 발명의 실시예는 도시되고 기술된 특정 구조 및 배열에 제한되지 않으며, 다양한 다른 변형이 당업자에게 발생할 수 있음을 이해해야 한다.
또한, 본 발명의 실시예들의 상세한 설명에서는, 다수의 특정 세부 사항들이 개시된 실시예들의 완전한 이해를 제공하기 위해 설명되었다. 그러나, 이러한 발명의 실시예가 이들 특정 세부 사항 없이 실시될 수 있음은 당업자에게 자명할 것이다. 몇몇 경우에서, 잘 알려진 방법들, 절차들 및 컴포넌트들은 본 발명의 실시예의 태양들을 불필요하게 모호하게 하지 않기 위해 상세하게 설명되지 않았다.

Claims (14)

  1. 구조체(206)에 대한 조립의 상태(204)의 자동화된 검증(202)을 수행하기 위한 경로(304)를 확립하는 방법으로서,
    자동 반송 차(222)에 결합된 센서 시스템(210)을 구조체(206)에 대해 복수의 테스트 위치(308)로 이동시키는 단계(1002);
    복수의 테스트 이미지(310)를 구축하기 위해 센서 시스템(210)을 이용하여 복수의 테스트 위치(308)의 각각의 테스트 위치에서 이미지 데이터를 생성하는 단계(1004);
    등록된 이미지의 집합(314)에 추가되는 복수의 등록된 이미지(312)를 형성하기 위해 구조체(206)의 컴퓨터 모델(236)에 복수의 테스트 이미지(310)의 각각의 테스트 이미지를 등록하는 단계(1006);
    관심 있는 구조체(206)의 영역 전체가 등록된 이미지의 집합(314)으로부터의 가장 적은 수의 등록된 이미지를 이용하여 캡처되게 하는 최적의 위치의 세트(318)를 복수의 테스트 위치(308)로부터 결정하는 단계(1008);
    자동 반송 차(222)를 최소한의 시간으로 최적의 위치의 세트(318)의 각각으로 이동시키는 경로(304)를 생성하는 단계(1010); 및
    컴퓨터 파일(320)이 경로(304)를 식별하는 구조체(206)에 대한 조립의 상태(204)를 확인하기 위해 자동화된 검증 프로세스(202)를 수행하는데 사용하기 위한 컴퓨터 파일(320)을 생성하는 단계(1012)를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 센서 시스템(210)을 이동시키는 단계(1002)는,
    센서 시스템(210)이 복수의 테스트 위치(308)로 이동되게 하는 직선 경로를 따라 자동 반송 차(222)를 이동시키는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 센서 시스템(210)을 이동시키는 단계(1002)는,
    센서 시스템(210)이 복수의 테스트 위치(308)로 이동되도록 구조체(206)에 대해 소정의 테스트 경로(304)를 따라 자동 반송 차(222)를 이동시키는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 각각의 테스트 위치에서 이미지 데이터를 생성하는 단계(1004)는,
    센서 시스템(210)이 테스트 위치(308)로 이동될 때 테스트 이미지를 생성하는 단계를 포함하고, 테스트 위치(308)는 기준 좌표계에 대한 테스트 위치 및 테스트 방향을 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 복수의 테스트 위치(308)로부터 최적의 위치의 세트(318)를 결정하는 단계(1008)는,
    관심 있는 구조체(206)의 영역 전체가 최종 이미지 세트를 형성하도록 캡처되게 하는 등록된 이미지의 집합(314)으로부터 가장 적은 수의 등록된 이미지를 선택하는 단계(1102); 및
    최적의 위치의 세트(318)를 형성하도록 최종 이미지 세트 내의 각각의 등록된 이미지에 대응하는 테스트 위치(308)를 식별하는 단계(1104)를 포함하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서, 각각의 등록된 이미지에 대응하는 테스트 위치(308)를 식별하는 단계(1104)는,
    최종 이미지 세트의 등록된 이미지에 대응하는 센서 시스템(210)에 대한 테스트 위치 및 테스트 방향을 식별하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서, 센서 시스템(210)을 이동시키는 단계(1002)는,
    구조체(206)에 대해 약 100 내지 약 100,000개의 테스트 위치 사이에서 센서 시스템(210)을 이동시키는 단계를 포함하고, 각각의 테스트 위치는 기준 좌표계에 대한 테스트 위치 및 테스트 방향을 포함하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    자동화된 검증 프로세스(202)를 수행하기 위해 자동 반송 차(222)에 결합된 센서 시스템(210)을 컴퓨터 파일(320)에서 식별된 경로(304)를 따라 최적의 위치의 세트(318)로 이동시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    구조체(206)와 동일한 설계 사양에 부합하는 복수의 구조체(206)에 대한 자동화된 검증 프로세스(202)를 수행하는데 사용하기 위해 컴퓨터 파일(320)을 저장하는 단계(1014)를 더 포함하는 것을 특징으로 하는 방법.
  10. 장치로서,
    프로세서(302)를 구비하되,
    프로세서(302)가,
    구조체(206)에 대해 복수의 테스트 위치(308)에서 복수의 테스트 이미지(310)를 생성하는 센서 시스템(210)으로부터 복수의 테스트 이미지(310)를 수신하고, 생성된 복수의 테스트 이미지(310)의 각각의 테스트 이미지를 구조체(206)의 컴퓨터 모델(236)에 등록하는 등록 컴포넌트(303); 및
    관심 있는 구조체(206)의 영역 전체가 가장 적은 수의 테스트 이미지를 이용하여 캡처되게 하는 복수의 테스트 위치(308)로부터 최적의 위치의 세트(318)를 결정하고, 자동 반송 차(222)를 최소한의 시간으로 최적의 위치의 세트(318)의 각각으로 이동시키기 위한 경로(304)를 생성하며, 파일이 경로(304)를 식별하는 구조체(206)에 대한 조립의 상태(204)의 자동화된 검증(202)을 수행하는데 사용하기 위한 파일을 생성하는 최적화 컴포넌트(305)를 포함하는 것을 특징으로 하는 장치.
  11. 제10항에 있어서,
    센서 시스템(210)을 더 포함하되,
    센서 시스템(210)이 센서 시스템(210)을 구조체(206)에 대해 복수의 테스트 위치(308)로 이동시키도록 구성된 자동 반송 차(222)에 결합되는 것을 특징으로 하는 장치.
  12. 제10항에 있어서, 구조체(206)는 동체 구조체(206)이고, 복수의 테스트 이미지(310)의 테스트 이미지는 동체 구조체(206)의 복수의 홀 중 적어도 하나 또는 동체 구조체(206)의 복수의 홀에 설치된 복수의 패스너를 캡처하는 것을 특징으로 하는 장치.
  13. 제10항에 있어서, 복수의 테스트 이미지(310)는 약 100 내지 100,000개의 테스트 이미지를 포함하는 것을 특징으로 하는 장치.
  14. 제10항에 있어서, 테스트 위치(308)에서 생성된 복수의 테스트 이미지(310)의 테스트 이미지는 기준 좌표계에 대하여 센서 시스템(210)에 대한 특정 테스트 위치 및 특정 테스트 방향에 대응하는 것을 특징으로 하는 장치.
KR1020170166096A 2017-02-23 2017-12-05 조립 검증의 상태를 위한 경로를 식별하는 방법 및 장치 KR102443485B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/441,104 2017-02-23
US15/441,104 US10497110B2 (en) 2017-02-23 2017-02-23 Identifying a pathway for condition of assembly validation

Publications (2)

Publication Number Publication Date
KR20180097438A true KR20180097438A (ko) 2018-08-31
KR102443485B1 KR102443485B1 (ko) 2022-09-14

Family

ID=60888135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170166096A KR102443485B1 (ko) 2017-02-23 2017-12-05 조립 검증의 상태를 위한 경로를 식별하는 방법 및 장치

Country Status (9)

Country Link
US (1) US10497110B2 (ko)
EP (1) EP3367195B1 (ko)
JP (1) JP7050472B2 (ko)
KR (1) KR102443485B1 (ko)
CN (1) CN108508851B (ko)
AU (1) AU2018201110B2 (ko)
BR (1) BR102018003248A2 (ko)
CA (1) CA2989248C (ko)
ES (1) ES2928860T3 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210042571A (ko) 2019-10-10 2021-04-20 현대중공업 주식회사 선박 구조물 검증 장치 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11486697B1 (en) * 2017-12-29 2022-11-01 II John Tyson Optical structural health monitoring
US12007220B2 (en) * 2017-12-29 2024-06-11 II John Tyson Optical structural health monitoring
NL2021599B1 (en) * 2018-09-11 2020-05-01 Boeing Co Automated supervision and inspection of assembly process
CN109379560B (zh) * 2018-10-15 2021-05-14 宁波吉利汽车研究开发有限公司 车辆制造视频采集系统及车辆制造服务系统
EP3995400B1 (en) * 2020-11-10 2024-05-01 The Boeing Company Continuous airplane verification to improve production build efficiency
CN113029000A (zh) * 2021-03-15 2021-06-25 浙江大学 一种移动平台位姿状态监测装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160075020A1 (en) * 2014-09-15 2016-03-17 The Boeing Company Methods and systems for automatically inspecting an object
US20160264262A1 (en) * 2013-10-24 2016-09-15 Airbus Group Sas Collaborative robot for visually inspecting an aircraft

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023680A (en) * 1997-05-15 2000-02-08 Panasonic Technologies, Inc. Methods, apparatus and computer program products for automated visual inspection
JP3279960B2 (ja) * 1997-06-27 2002-04-30 松下電器産業株式会社 経路画像情報記録再生装置及び経路画像情報記録方法
DE102004008675B4 (de) * 2004-02-20 2009-05-07 Imedos Gmbh Bildgebendes Verfahren zur Erfassung medizinisch relevanter Unterschiede von Strukturen und Eigenschaften eines Untersuchungsobjektes und dazu geeignete Vorrichtung
CN101163940B (zh) * 2005-04-25 2013-07-24 株式会社吉奥技术研究所 摄影位置分析方法
US8224121B2 (en) 2007-06-15 2012-07-17 The Boeing Company System and method for assembling substantially distortion-free images
JP5354978B2 (ja) * 2008-07-02 2013-11-27 パナソニック株式会社 検査条件決定方法
FR2945630B1 (fr) 2009-05-14 2011-12-30 Airbus France Procede et systeme d'inspection a distance d'une structure
EP2296071A1 (en) * 2009-08-18 2011-03-16 Deere & Company Modular and scalable positioning and navigation system
JP2012083625A (ja) * 2010-10-13 2012-04-26 Ricoh Co Ltd 画像形成装置及び画像形成における補正効果確認方法
ES2728861T3 (es) 2013-03-15 2019-10-29 Univ Carnegie Mellon Sistema robótico autónomo supervisado para inspección y procesamiento de superficie compleja
US9187188B2 (en) * 2013-07-02 2015-11-17 Premium Aerotec Gmbh Assembly inspection system and method
EP2937756A1 (en) 2014-04-22 2015-10-28 Airbus Operations GmbH Method for inspecting an airborne vehicle
WO2016018717A1 (en) * 2014-07-29 2016-02-04 Plethora Corporation System and method for automated object measurement
US10788813B2 (en) * 2014-10-28 2020-09-29 The Boeing Company Systems and methods for machining to nominal geometry using local features
EP3045394B1 (en) 2015-01-16 2020-05-27 The Boeing Company Method and system for repairing a structure

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160264262A1 (en) * 2013-10-24 2016-09-15 Airbus Group Sas Collaborative robot for visually inspecting an aircraft
US20160075020A1 (en) * 2014-09-15 2016-03-17 The Boeing Company Methods and systems for automatically inspecting an object

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210042571A (ko) 2019-10-10 2021-04-20 현대중공업 주식회사 선박 구조물 검증 장치 및 방법

Also Published As

Publication number Publication date
US10497110B2 (en) 2019-12-03
JP2018142300A (ja) 2018-09-13
KR102443485B1 (ko) 2022-09-14
AU2018201110B2 (en) 2022-04-21
US20180240227A1 (en) 2018-08-23
EP3367195A1 (en) 2018-08-29
ES2928860T3 (es) 2022-11-23
JP7050472B2 (ja) 2022-04-08
EP3367195B1 (en) 2022-08-10
CA2989248A1 (en) 2018-08-23
BR102018003248A2 (pt) 2018-10-30
CA2989248C (en) 2022-10-25
AU2018201110A1 (en) 2018-09-06
CN108508851B (zh) 2022-09-09
CN108508851A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
KR102443485B1 (ko) 조립 검증의 상태를 위한 경로를 식별하는 방법 및 장치
CA3050966C (en) Automated supervision and inspection of assembly process
JP7403255B2 (ja) 組立プロセスの自動化された監視および検査
CA2989282C (en) Automated validation of condition of assembly
US11256231B2 (en) Object design using machine-learning model
EP2664548B1 (en) Damage assessment system and method of operating same
CN109458962B (zh) 自动化铆钉测量系统
US10445873B2 (en) Automated validation of condition of assembly
EP3611676A1 (en) Automated supervision and inspection of assembly process
US20220198091A1 (en) Structural inconsistency detection using distance data
NL2021588B1 (en) Automated supervision and inspection of assembly process
NL2021599B1 (en) Automated supervision and inspection of assembly process
EP3611698A1 (en) Automated supervision and inspection of assembly process

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant