KR102030854B1 - 워크피스를 검사하기 위한 방법 및 시스템 - Google Patents

워크피스를 검사하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR102030854B1
KR102030854B1 KR1020130073594A KR20130073594A KR102030854B1 KR 102030854 B1 KR102030854 B1 KR 102030854B1 KR 1020130073594 A KR1020130073594 A KR 1020130073594A KR 20130073594 A KR20130073594 A KR 20130073594A KR 102030854 B1 KR102030854 B1 KR 102030854B1
Authority
KR
South Korea
Prior art keywords
workpiece
model
sensing device
depth
inspection
Prior art date
Application number
KR1020130073594A
Other languages
English (en)
Other versions
KR20140027868A (ko
Inventor
디. 도일 조셉
알. 데이비스 폴
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20140027868A publication Critical patent/KR20140027868A/ko
Application granted granted Critical
Publication of KR102030854B1 publication Critical patent/KR102030854B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

워크피스를 검사하기 위한 방법들 및 시스템들이 제공된다. 본 방법은 워크피스와 관련된 모델 데이터를 검사 시스템에 입력하는 단계, 워크피스에 대한 심도 감지 장치의 상대적 위치를 결정하는 단계, 및 워크피스에 대한 심도 감지 장치의 위치를 기초로 하여 모델에 대해 검사 시스템을 위한 포즈 뷰를 캘리브레이팅하는 단계를 포함한다. 본 방법은 워크피스에 대해 심도 감지 장치의 적어도 하나의 픽셀의 실제 심도 거리 데이터를 측정하는 단계, 및 워크피스가 미리 결정된 검사 기준을 만족시키는지 여부를 실제 심도 거리 데이터를 기초로 하여 결정하는 단계를 추가로 포함한다.

Description

워크피스를 검사하기 위한 방법 및 시스템{METHODS AND SYSTEMS FOR INSPECTING A WORKPIECE}
본 발명은 일반적으로 비파괴(non-destructive) 워크피스 검사에 관한 것이며, 더욱 구체적으로는, 워크피스(workpiece)의 자동화된 검사를 위한 방법 및 시스템에 관한 것이다.
워크피스 또는 조립체(assembly)의 생산은 복수의 부품(part)들 및 도구(tool)들을 이용하는 것을 필요로 할 수 있다. 조립 에러(assembly error), 조립체에서의 구성요소(component)의 손상, 및/또는 외부 이물질(foreign object debris: FOD)과 같은 발생가능한 문제점들을 식별함(identifying)으로써 생산 품질을 보장하기 위하여, 제조 동안 및 제조 후에 조립체에 대하여 정밀하고 신뢰할 수 있는 검사(inspection)를 수행하는 것이 바람직하다.
조립체들에 대한 적어도 몇몇 공지된 검사들은 수동으로(manually) 수행된다. 이러한 검사들에 있어서, 검사자는 전형적으로 워크피스를 설계 모델 또는 차트(chart)와 비교하기 위하여 개인적인 지식과 결부시켜 시각적 및 촉각적 검사를 이용한다. 하지만, 수동적 검사는 일반적으로 검사자로 하여금 조립체와 모델 간의 차이를 검출하기 위해 워크피스를 시각적으로 검사하고 만져보고 느낄 것을 요한다. 그래서, 수동적 검사는 휴먼 에러(human error)의 가능성을 가진다. 예를 들어, 항공기, 기차, 자동차, 및 선박과 같은 대형 조립체들은 제한된 접근성(accessibility)을 갖는 영역에서 작은 물체들을 포함할 수 있고, 그래서 이 영역들은 검사자가 검사하기에 어려울 수 있다. 게다가, 수동적 검사는 시간 소모적일 수 있으며, 및/또는 많은 비용이 드는 숙련된 노동력을 요할 수 있다. 몇몇 예들에서, 검사자는 보로스코프(boroscope) 또는 엑스레이(X-ray) 기술과 같은 소형 광학(optical) 검사 도구를 이용할 수 있으나, 이러한 검사 방법은 검사자로 하여금 워크피스와 모델 간의 차이를 시각적으로 인식하도록 요하기 때문에 휴먼 에러에 대한 가능성을 여전히 가진다. 게다가, 몇몇 물질들은 엑스레이 기술을 이용해도 보이지 않기 때문에, 엑스레이 기술은 제한된 부류의 물질에 대해서만 이용될 수 있다.
다른 공지된 검사 방법은 검사를 수행하기 위하여 자동화된 이미지 프로세싱(image processing)을 이용한다. 검사 동안, 워크피스의 이미지들이 캡쳐되고, 이미지 프로세싱을 이용해서 분석되어서, 이미지들 내의 특징들이 기준 특징(standard feature)들의 라이브러리(library)와 비교된다. 특징들은 보터 피팅(border fitting), 칼라 매칭(color matching), 신축성 있는 물체(flexible object)들의 리사이징(re-sizing)을 이용해서 식별될 수 있다. 하지만, 이러한 검사 방법들은 작은 부품들을 식별할 때 및 동일한 색의 물체들을 검사할 때 여전히 부정확성을 가질 수 있다. 게다가, 이러한 기술들을 이용해서 검사될 수 있는 영역들은 한정되어 있을 수 있다.
본 발명은 워크피스를 검사하기 위한 방법 및 워크피스를 검사하기 위한 시스템을 제공하는 것을 목적으로 한다.
일 태양에 있어서, 워크피스를 검사하기 위한 방법이 제공된다. 본 방법은 워크피스와 관련된 모델 데이터를 검사 시스템에 입력하는 단계, 워크피스에 대한 심도 감지 장치의 상대적 위치를 결정하는 단계, 및 워크피스에 대한 심도 감지 장치의 위치를 기초로 하여 모델에 대해 검사 시스템을 위한 포즈 뷰를 캘리브레이팅하는 단계를 포함한다. 본 방법은 워크피스에 대해 심도 감지 장치의 적어도 하나의 픽셀의 실제 심도 거리 데이터를 측정하는 단계, 및 워크피스가 미리 결정된 검사 기준을 만족시키는지 여부를 실제 심도 거리 데이터를 기초로 하여 결정하는 단계를 추가로 포함한다.
다른 태양에 있어서, 워크피스를 검사하기 위한 컴퓨터 시스템이 제공된다. 본 컴퓨터 시스템은 프로세서, 및 기능들을 수행하기 위해서 프로세서에 의해 실행가능한 컴퓨터 판독가능한(readable) 명령어들을 인코딩하여 갖고 있는 컴퓨터-판독가능한 저장 장치를 포함한다. 프로세서는 워크피스와 관련된 모델 데이터를 저장 장치에 입력하는 것 및 워크피스에 대한 심도 감지 장치의 상대적 위치를 결정하는 것을 포함하는 기능들을 수행한다. 프로세서는 워크피스에 대한 심도 감지 장치의 위치를 기초로 하여 모델에 대해 컴퓨터 시스템을 위한 포즈 뷰를 캘리브레이팅하는 것을 포함하는 기능들을 추가로 수행한다. 프로세서는 워크피스에 대해 심도 감지 장치의 적어도 하나의 픽셀의 실제 심도 거리 데이터를 측정하는 것, 및 워크피스가 미리 결정된 검사 기준을 만족시키는지 여부를 실제 심도 거리 데이터를 기초로 하여 결정하는 것을 포함하는 기능들을 추가로 수행한다.
또 다른 태양에 있어서, 워크피스를 검사하기 위한 시스템이 제공된다. 본 시스템은 워크피스에 대해 심도 감지 장치의 적어도 하나의 픽셀의 실제 심도 거리 데이터를 측정하도록 구성된 심도 감지 장치를 포함한다. 본 시스템은 또한 워크피스에 대한 심도 감지 장치의 상대적 위치를 결정하도록 구성된 포즈(pose) 검출 시스템을 포함한다. 본 시스템은 또한 심도 감지 장치 및 포즈 검출 시스템과 통신하는 검사 컴퓨터 시스템을 포함한다. 검사 시스템은, 워크피스와 관련된 모델 데이터를 입력하도록 프로그램되고, 워크피스에 대한 심도 감지 장치의 위치를 기초로 하여 모델에 대해 검사 컴퓨터 시스템을 위한 포즈 뷰를 캘리브레이팅하도록 프로그램된다. 검사 시스템은 워크피스가 미리 결정된 검사 기준을 만족시키는지 여부를 실제 심도 거리 데이터를 기초로 하여 결정하도록 추가로 프로그램된다.
본 발명의 일 태양에 따르면, 워크피스를 검사하기 위한 방법이 제공되는데, 상기 방법은, 워크피스와 관련된 모델 데이터를 검사 시스템에 입력하는 단계, 워크피스에 대한 심도 감지 장치의 상대적 위치를 결정하는 단계, 워크피스에 대한 심도 감지 장치의 위치를 기초로 하여 모델에 대해 검사 시스템을 위한 포즈 뷰를 캘리브레이팅하는 단계, 워크피스에 대해 심도 감지 장치의 적어도 하나의 픽셀의 실제 심도 거리 데이터를 측정하는 단계, 및 워크피스가 미리 결정된 검사 기준을 만족시키는지 여부를 실제 심도 거리 데이터를 기초로 하여 결정하는 단계를 포함한다. 유익하게는, 모델 데이터를 입력하는 것은 워크피스와 관련된 CAD(computer aided design) 모델 데이터를 입력하는 것을 포함한다. 유익하게는, 모델 데이터를 입력하는 것은 워크피스의 사전에 스캔된(previously scanned) 모델을 입력하는 것을 더 포함할 수 있다.
유익하게는, 심도 감지 장치의 상대적 위치를 결정하는 단계는 워크피스의 지정된 위치에서 좌표계 원점을 정의하는 단계 및 복수의 위치-검출 카메라들을 이용해서 워크피스에 대한 심도 감지 장치의 위치를 결정하는 단계를 포함한다. 유익하게는, 본 방법은 심도 감지 장치의 위치를 검사 시스템으로 전송하는 단계를 더 포함할 수 있다.
유익하게는, 실제 심도 거리를 측정하는 것은 복수의 실제 심도 거리들을 캡쳐하기 위하여 워크피스 둘레에서 심도 감지 장치를 이동시키는 것을 포함하고, 상기 방법은 복수의 실제 심도 거리들을 복수의 관련 모델 심도 거리들과 비교해서 비등가적(non-equivalent) 부분들을 식별하는 단계를 더 포함한다.
유익하게는, 실제 심도 거리 데이터를 기초로 하여 결정하는 단계는 검사 시스템의 포즈 뷰를 위해 모델 심도 거리 데이터를 산출하는 단계, 실제 심도 거리가 모델 심도 거리와 차이가 있는지 여부를 결정하는 단계, 및 실제 심도 거리가 모델 심도 거리와 차이가 있는 경우에 상기 차이가 검사 기준을 만족하는지 여부를 결정하는 단계를 포함하고, 모델 심도 거리 데이터는 검사 시스템의 포즈 뷰에서부터 모델 워크피스까지의 모델 심도 거리를 나타내고, 한계값(threshold)의 준수(compliance)는 워크피스가 수용가능한 상태(acceptable condition)에 있음을 나타낸다. 추가로, 본 방법은 심도 감지 장치의 뷰(view)에 적용되는 오버레이(overlay)를 이용해서 모델 워크피스에 존재하지 않는 워크피스의 부분을 디스플레이하는 단계를 포함할 수 있다. 추가로, 상기 오버레이는 외부 이물질(foreign object debris), 누락된 구성요소, 조립 에러, 및 손상된 구성요소 중의 적어도 하나의 존재를 표현하도록(illustrate) 구성될 수 있다. 유익하게는, 실제 심도 거리 데이터를 측정하는 단계는 3차원의 포인트 클라우드(point cloud)를 생성하는 단계를 더 포함한다.
본 발명의 다른 태양에 따르면, 워크피스를 검사하기 위한 컴퓨터 시스템이 제공되는데, 상기 컴퓨터 시스템은 프로세서; 및 기능들을 수행하기 위해서 프로세서에 의해 실행가능한 컴퓨터 판독가능한 명령어들을 인코딩하여 갖고 있는 컴퓨터-판독가능한 저장 장치를 포함하고, 프로세서는 워크피스와 관련된 모델 데이터를 저장 장치에 입력하는 것, 워크피스에 대한 심도 감지 장치의 상대적 위치를 결정하는 것, 워크피스에 대한 심도 감지 장치의 위치를 기초로 하여 모델에 대해 컴퓨터 시스템을 위한 포즈 뷰를 캘리브레이팅하는 것, 워크피스에 대해 심도 감지 장치의 적어도 하나의 픽셀의 실제 심도 거리 데이터를 측정하는 것, 및 워크피스가 미리 결정된 검사 기준을 만족시키는지 여부를 실제 심도 거리 데이터를 기초로 하여 결정하는 것을 포함하는 기능들을 수행한다.
유익하게는, 프로세서에 의해 수행되는 기능들은 워크피스와 관련된 CAD(computer aided design) 모델 데이터 및 워크피스의 사전에 스캔된 모델 중의 적어도 하나를 입력하는 것을 더 포함한다. 유익하게는, 프로세서에 의해 수행되는 기능들은 컴퓨터 시스템의 포즈 뷰를 위해 모델 심도 거리 데이터를 산출하는 것, 실제 심도 거리가 모델 심도 거리와 차이가 있는지 여부를 결정하는 것, 및 실제 심도 거리가 모델 심도 거리와 차이가 있는 경우에 상기 차이가 검사 기준을 만족하는지 여부를 결정하는 것을 더 포함하고, 모델 심도 거리 데이터는 컴퓨터 시스템의 포즈 뷰에서부터 모델 워크피스까지의 모델 심도 거리를 나타내고, 한계값의 준수는 워크피스가 수용가능한 상태(acceptable condition)에 있음을 나타낸다. 추가로, 프로세서에 의해 수행되는 기능들은 심도 감지 장치의 뷰에 적용되는 오버레이를 이용해서 모델 워크피스에 존재하지 않는 워크피스의 부분을 디스플레이하는 것을 포함할 수 있다.
본 발명의 추가적인 태양에 따르면, 워크피스를 검사하기 위한 시스템이 제공되는데, 상기 시스템은, 워크피스에 대해 심도 감지 장치의 적어도 하나의 픽셀의 실제 심도 거리 데이터를 측정하도록 구성된 심도 감지 장치, 워크피스에 대한 심도 감지 장치의 상대적 위치를 결정하도록 구성된 포즈 검출 시스템, 및 심도 감지 장치 및 포즈 검출 시스템과 통신하는 검사 컴퓨터 시스템을 포함하고, 검사 컴퓨터 시스템은 워크피스와 관련된 모델 데이터를 입력하도록 프로그램되고, 워크피스에 대한 심도 감지 장치의 위치를 기초로 하여 모델에 대해 검사 컴퓨터 시스템을 위한 포즈 뷰를 캘리브레이팅하도록 프로그램되고, 워크피스가 미리 결정된 검사 기준을 만족시키는지 여부를 실제 심도 거리 데이터를 기초로 하여 결정하도록 프로그램된다.
유익하게는, 모델 데이터를 입력하기 위하여, 검사 컴퓨터 시스템은 워크피스와 관련된 CAD(computer aided design) 모델 데이터를 입력하도록 추가로 프로그램된다. 추가로, 모델 데이터를 입력하기 위하여, 검사 컴퓨터 시스템은 워크피스의 사전에 스캔된 모델을 저장하도록 프로그램될 수 있다.
유익하게는, 검사 컴퓨터 시스템은 검사 컴퓨터 시스템의 포즈 뷰를 위해 모델 심도 거리 데이터를 산출하도록 추가로 프로그램되고, 실제 심도 거리가 모델 심도 거리와 차이가 있는지 여부를 결정하도록 추가로 프로그램되고, 실제 심도 거리가 모델 심도 거리와 차이가 있는 경우에 상기 차이가 검사 기준을 만족하는지 여부를 결정하도록 추가로 프로그램되고, 모델 심도 거리 데이터는 검사 컴퓨터 시스템의 포즈 뷰에서부터 모델 워크피스까지의 모델 심도 거리를 나타내고, 한계값의 준수는 워크피스가 수용가능한 상태(acceptable condition)에 있음을 나타낸다. 추가로, 오버레이는 실시간(real-time) 또는 준 실시간(near real-time) 중의 하나로 디스플레이될 수 있다. 추가로, 검사 컴퓨터 시스템은 심도 감지 장치의 뷰에 적용되는 오버레이를 이용해서 모델 워크피스에 존재하지 않는 워크피스의 부분을 디스플레이하도록 구성될 수 있다.
도 1은 예시적인 검사 시스템의 개략적 도면이다.
도 2는 도 1에 도시된 검사 시스템과 함께 이용될 수 있는 예시적인 검사 컴퓨터 시스템의 개략적 도면이다.
도 3은 도 1에 도시된 검사 시스템에 의해서 구현될 수 있는 예시적인 방법의 흐름도이다.
본 발명은 일반적으로 워크피스 검사에 관한 것이고, 더욱 구체적으로는 워크피스의 자동화된 검사를 가능하게 하는 방법 및 시스템에 관한 것이다. 일 실시 예에 있어서, 검사 시스템은, 심도(depth) 감지 장치의 적어도 하나의 픽셀(pixel)에 대하여 실제 심도 거리(depth distance) 데이터를 측정하는 심도-감지 장치, 워크피스에 대한 심도 감지 장치의 포즈(pose) 데이터를 결정하는 위치 및 방향 (포즈) 검출 시스템, 및 심도 감지 장치 및 포즈 검출 시스템에 연결되어 있는 검사 컴퓨터 시스템을 포함한다. 본 명세서에서 설명된 방법 및 시스템의 실시 예들은 컴퓨팅 시스템으로 하여금 (i) 워크피스와 관련된 모델 데이터(model data)를 입력하는 것, (ii) 워크피스에 대한 심도 감지 장치의 상대적 위치를 결정하는 것, (iii) 워크피스에 대한 심도 감지 장치의 위치를 기초로 하여 모델에 대해 검사 컴퓨터 시스템을 위한 포즈 뷰(pose view)를 캘리브레이팅하는 것, (iv) 워크피스에 대해 심도 감지 장치의 적어도 하나의 픽셀의 실제 심도 거리 데이터를 측정하는 것, 및 (v) 워크피스와 관련하여 미리 결정된 한계값(threshold)이 초과되었는지 여부를 실제 심도 거리 데이터를 기초로 해서 결정하는 것을 가능하게 한다.
본 명세서에서 설명된 방법 및 시스템들은 컴퓨터 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합 또는 서브셋(subset)을 포함하는 컴퓨터 프로그래밍 또는 엔지니어링 기술을 이용해서 구현될 수 있으며, 그 기술적 효과는 a) 워크피스에 대한 모델 데이터를 검사 컴퓨터 시스템 상으로 로딩(loading)하는 것; b) 검사되고 있는 워크피스에 대한 심도 감지 장치의 포즈 데이터(pose data)를 결정하는 것; c) 검사되고 있는 워크피스에 대한 심도 감지 장치의 포즈 및 모델에 대한 검사 컴퓨터 시스템을 위한 포즈 뷰를 캘리브레이팅(calibrating)하는 것; d) 적어도 하나의 픽셀에 대하여 실제 심도 거리 데이터를 측정하는 것, 여기서 실제 심도 거리 데이터는 검사되고 있는 워크피스와 심도 감지 장치 간의 실제 심도 거리를 나타냄; e) 검사 컴퓨터 시스템의 포즈 뷰를 위해 모델 심도 거리 데이터를 캘리브레이팅하는 것, 여기서 모델 심도 거리 데이터는 검사 컴퓨터 시스템의 포즈 뷰에서부터 모델 워크피스까지의 모델 심도 거리를 나타냄; f) 실제 심도 거리 데이터를 모델 심도 거리 데이터와 비교하는 것; g) 실제 심도 거리가 모델 심도 거리와 차이가 있는 여부를 결정하는 것 및 그 차이가 미리 결정되어 있는 한계값을 초과하는지 여부를 결정하는 것; 및 h) 심도 감지 장치의 뷰(view)에 적용되는 오버레이를 이용해서 모델 워크피스에 존재하지 않는 워크피스의 부분을 디스플레이하는 것; 중의 적어도 하나를 포함할 수 있다.
본 명세서에서 사용된 바와 같이, 단수로 언급된(영문에서는 관사 "a" 또는 "an"으로 처리됨) 구성요소 또는 단계는 복수를 배제한다는 것이 명시적으로 언급되지 않는 이상 복수의 구성요소들 또는 단계들을 배제하지 않는 것으로 이해되어야 한다. 게다가, "일 실시 예" 및/또는 "예시적인 실시 예"에 대한 언급은 언급된 특징들을 포함하는 추가적인 실시 예의 존재를 배제하는 것으로 해석되도록 의도된 것이 아니다.
도 1은 조립체 또는 워크피스(108)를 검사하기 위해서 이용될 수 있는 예시적인 검사 시스템(100)의 개략적 도면이다. 일반적으로, 워크피스는 기술공학 환경(engineered environment)의 산물(product)이며, 그 구조물의 구성요소들은 미리 정해진 방식으로 조립도어, 구성하고 있는 구성요소들이 전체적으로 워크피스에 대해서 및 서로에 대해서 미리 정해진 방식으로 배치되고 지향된다. 검사 시스템(100)은 다양한 방면의 애플리케이션들에서 이용될 수 있다. 예를 들어, 검사 시스템(100)은 항공기, 기차, 선박, 또는 수많은 구성요소들을 갖는 임의의 다른 대형 조립체와 같은 대형 조립체들을 검사하기 위해 이용될 수 있다. 이와 달리, 검사 시스템(100)은 도구 또는 기체/유체 튜브(tube) 등과 같은 소형 조립체들을 검사하는 데 이용될 수도 있다.
도 1에서 도시된 바와 같이, 검사 시스템(100)은 심도 감지 장치(depth sensing device)(102), 포즈 검출 시스템(pose detection system)(104), 및 검사 컴퓨터 시스템(inspection computer system)(106)을 포함한다. 본 명세서에서 사용된 바와 같이, 용어 "포즈(pose)"는 하나의 물체의 다른 물체에 대한 위치 및 방향으로서 정의된다. 검사 시스템(100)은 이하에서 더욱 상세하게 설명되는 바와 같이 워크피스, 예컨대 워크피스(108)를 검사하기 위해 이용되고, 심도 감지 장치(102)는 검사 컴퓨터 시스템(106)과 통신한다. 구체적으로, 심도 감지 장치(102)는 심도 감지 장치(102)의 뷰 영역(field of view)의 각각의 픽셀에 대해서 심도 감지 장치(102)와 워크피스(108) 간의 거리 D를 나타내는 신호(110)를 전송한다. 포즈 검출 시스템(104)은 검사 컴퓨터 시스템(106)과 통신하고, 워크피스(108)에 대한 심도 감지 장치(102)의 포즈를 나타내는 신호(112)를 전송한다. 대안적으로 또는 부가적으로, 심도 감지 장치(102) 및 포즈 검출 시스템(104)은 트랜스미터(transmitter), 트랜시버(transceiver), 및/또는 검사 시스템(100)으로 하여금 본 명세서에서 설명된 바와 같이 기능할 수 있도록 하는 임의의 다른 신호 전송 장치를 포함할 수 있다.
심도 감지 장치(102)는 심도 감지 장치(102)와 워크피스(108) 사이에서 실제 거리를 측정할 수 있는 임의의 적절한 심도 감지 장치 또는 카메라일 수 있다. 몇몇 실시 예들에서, 심도 감지 장치(102)는 레이저 또는 3D 광(light) 심도 감지 장치일 수 있다. 일 실시 예에 있어서, 심도 감지 장치(102)는, 워크피스(108)로 향해 전송되어 워크피스(108)로부터 반사된 레이저 빔의 양방향 이동 시간을 계산함으로써 실제 거리 데이터를 결정한다. 다른 실시 예에 있어서, 심도 감지 장치(102)는 워크피스(108)를 향하여 적외선(IR) 패턴을 비춘다. 심도 감지 장치(102)는 IR 패턴의 이미지를 캡쳐하는 적외선 카메라(도시되지 않음)를 포함한다. 이후, 심도 감지 장치(102)에 의해 보이는 실제 IR 패턴과 예상 IR 패턴을 비교함으로써 심도 데이터가 결정된다. 이와 달리, 거리를 계산하기 위해서, 심도 감지 장치(102)는 레이저 빔(laser beam)의 위상 차이(phase difference)를 결정할 수 있다. 심도 감지 장치(102)는 복수의 점(point)들이 무리를 지어 있는(grouped) 포인트 클라우드(point cloud)에서 3D 좌표 구성요소들(즉, X, Y, Z 축 상의 점들)을 이용해서 이동 시간 또는 위상 거리를 기초로 하여 거리를 결정한다.
예시적인 실시 예에서, 심도 감지 장치(102)는 유선 연결을 통해서 또는 무선 전송을 통해서 검사 컴퓨터 시스템(106)과 통신하고, 실제 심도 거리 데이터를 검사 컴퓨터 시스템(106)으로 전송한다. 예시적인 실시 예에서, 심도 감지 장치(102)는 그 뷰 영역 내의 임의의 물체의 비디오 이미지가 실시간 또는 실질적으로 실시간으로 생성될 수 있도록 하는 이미지 프로세서를 포함한다. 대안적인 실시 예에서, 심도 감지 장치(102)는 그 뷰 영역 내의 임의의 물체의 이미지를 캡쳐하고 저장할 수 있다. 사용 동안, 예시적인 실시 예에서, 사용자는 심도 감지 장치(102)를 워크피스(108)에 대해 원하는 위치에 수동으로 배치한다. 심도 감지 장치(102)가 비디오 이미지를 생성하기 때문에, 사용자는 검사에서 에러 또는 부정확성을 초래하지 않으면서 워크피스(108)에 대해 심도 감지 장치(102)를 이동시킬 수 있다. 대안적인 실시 예들에서, 심도 감지 장치(102)는 자동화된 제어 장치들을 이용해서 배치될 수 있으며, 또는 워크피스(108)가 심도 감지 장치(102)에 대해 이동하는 동안 심도 감지 장치(102)가 움직이지 않는 채로 있을 수 있다.
예시적인 실시 예에서, 포즈 검출 시스템(104)은 워크피스(108)에 대한 심도 감지 장치(102)의 포즈를 결정한다. 더욱 구체적으로, 예시적인 실시 예에서, 포즈 검출 시스템(104)은 포즈 검출 시스템(104)이 실시간 또는 준 실시간(near real-time)으로 심도 감지 장치(102)의 포즈를 결정할 수 있도록 하는 프로세스를 포함한다. 포즈 검출 시스템(104)은 유선 연결을 통해서 또는 무선 전송을 통해서 검사 컴퓨터 시스템(106)과 통신한다.
포즈 검출 시스템(104)은 상이한 방법들을 이용해서 심도 감지 장치(102)의 포즈를 결정할 수 있다. 예시적인 실시 예에서, 포즈 검출 시스템(104)은 워크피스(108) 둘레에 배치된 복수의 카메라(116)들을 포함하는 모션 캡쳐(motion capture) 시스템이다. 복수의 소형 반사 마커(reflective marker)(118)들이 추적되고 있는 각각의 물체에(즉, 심도 감지 장치(102) 및 워크피스(108)에) 연결된다(coupled). 이러한 마커(118)들은 워크피스(108)에 대한 심도 감지 장치(102)의 포즈의 캘리브레이션(calibration)을 용이하게 한다. 카메라(116)들은 워크피스(108) 둘레에 근적외선 광(near infra-red light)을 방출하고, 이것은 마커(118)들로부터 다시 반사된다. 예시적인 실시 예에서, 워크피스(108)는 검사 과정 동안 움직이지 않는 채로 있고, 워크피스(108)가 검사 과정 동안 움직이지 않는 채로 있기 때문에 워크피스(108)는 좌표계에 관해서 원점(0, 0, 0)으로 캘리브레이팅된다. 복수의 카메라(116)들이 반사 마커(118)를 목격할 때, 포즈 검출 시스템(104)은 3D 공간에서 마커(118)의 위치를 결정할, 즉 기본적으로 삼각측량할(triangulate) 수 있다. 게다가, 복수의 마커(118)들이 동일한 물체에 부착되어 있는 경우에, 포즈 검출 시스템(104)은 또한 그 물체의 상대적 방향을 결정할 수 있다. 심도 감지 장치(102)의 포즈를 결정하는 다른 시스템들 및 방법들은 마커-기반 추적(marker-based tracking), 2차원(2D) 평면적-자연적(planar-natural) 특징 추적, 3D 모델-기반 추적, 3D 심도-센서 트레이닝(training), 반복적 최근점점(iterative closest point)을 이용한 3D 추적, 심도 감지 장치(102)를 참조(reference) 위치에 물리적으로 연결하는 기계적 추적 장치들(즉, 워크피스(108) 상의 마커), 펄스 자기장(pulsed magnetic field)의 강도 및 위치를 결정하는 자기-추적 장치들, 지구의 자기장을 참조하는 수동 자기 센서(magnetic sensor)들을 이용하는 소스리스 비관성(sourceless non-inertial) 추적 장치들, 광학적 추적 장치들, 음향 추적 장치들, 및/또는 포즈가 결정되는 것을 가능하게 하는 임의의 다른 추적 장치, 장치들 또는 방법들의 조합들을 포함할 수 있으나, 이에 한정되지 않는다.
도 2는 검사 시스템(100)(도 1에 도시됨)과 함께 이용될 수 있는 예시적인 검사 컴퓨터 시스템(106)(도 1에 도시됨)의 개략적 도면이다. 예시적인 실시 예에서, 검사 컴퓨터 시스템(106)은 메모리 장치(200), 및 명령어들을 실행하는 데 이용하기 위해 메모리 장치(200)에 연결된 프로세서(202)를 포함한다. 더욱 구체적으로, 예시적인 실시 예에서, 검사 컴퓨터 시스템(106)은 메모리 장치(200) 및/또는 프로세서(202)를 프로그래밍함으로써 본 명세서에 설명된 하나 이상의 오퍼레이션(operation)을 수행하도록 구성될 수 있다. 예를 들어, 프로세서(202)는 오퍼레이션을 하나 이상의 실행가능한 명령어로 인코딩(encoding)함으로써 및 메모리 장치(200)에 실행가능한 명령어들을 제공함으로써 프로그램될 수 있다.
프로세서(202)는 (예컨대, 멀티-코어(multi-core) 구성에서) 하나 이상의 처리 유닛(processing unit)을 포함할 수 있다. 본 명세서에서 사용된 바와 같이, 용어 "프로세서(processor)"는 본 기술분야에서 컴퓨터로 지칭되는 집적 회로(integrated circuit)들에 한정되지 않으며, 오히려 더욱 광범위하게 컨트롤러, 마이크로컨트롤러(microcontroller), 마이크로컴퓨터, PLC(programmable logic controller), ASIC(application specific integrated circuit), 및 다른 프로그램가능한 회로들을 지칭한다.
예시적인 실시 예에서, 프로세서(202)는 워크피스(108)(도 1에 도시됨)를 위한 모델 워크피스(120)(도 1에 도시됨) 데이터를 로딩하도록 구성되며, 포즈 검출 시스템(104)(도 1에 도시됨)으로부터 포즈 데이터를 수신하도록 구성되며, 워크피스(108)에 대한 심도 감지 장치(102)(도 1에 도시됨)의 포즈 및 모델에 대해 검사 컴퓨터 시스템(106)을 위한 포즈 뷰를 캘리브레이팅하도록 구성되며, 심도 감지 장치(102)로부터 실제 심도 거리 데이터를 수신하도록 구성되며, 검사 컴퓨터 시스템(106)의 포즈 뷰를 위한 모델 워크피스(120) 심도 거리 데이터를 산출하도록 구성되며, 실제 심도 거리 데이터를 모델 심도 거리 데이터와 비교하도록 구성되며, 여기서 모델 심도 거리 데이터는 검사 컴퓨터 시스템(106)의 포즈 뷰에서부터 모델 워크피스(120)까지의 모델 심도 거리를 나타낸다.
예시적인 실시 예에서, 메모리 장치(200)는 실행가능한 명령어들 및/또는 다른 데이터와 같은 정보가 선택적으로 저장되거나 검색되는 것을 가능하게 하는 하나 이상의 장치들(도시되지 않음)을 포함한다. 예시적인 실시 예에서, 이러한 데이터는 포즈 데이터, 위치 데이터, 방향 데이터, 사전에 스캔된(previously scanned) 모델 워크피스(120) 데이터, CAD(computer aided design) 모델 데이터, GPS 데이터, 맵(map) 데이터, 블루프린트(blueprint) 데이터, 플로어 플랜(floor plan) 데이터, 작동 데이터(operational data), 검사 한계값 데이터, 및/또는 제어 알고리즘을 포함하되 이에 한정되지 않을 수 있다. 이와 달리, 검사 컴퓨터 시스템(106)은 방법들 및 시스템들이 본 명세서에서 설명된 바와 같이 기능할 수 있도록 하는 임의의 알고리즘 및/또는 방법을 이용하도록 구성될 수 있다. 메모리 장치(200)는 또한 제한 없이 DRAM(dynamic random access memory), SRAM(static random access memory), 솔리드 스테이트 디스크(solid state disk), 및/또는 하드 디스크(hard disk)와 같은 하나 이상의 컴퓨터 판독가능 매체를 포함할 수 있다. 예시적인 실시 예에서, 메모리 장치(200)는 검사 프로세스에 관련된 데이터, 예를 들어, 사전에 스캔된 모델 워크피스(120) 데이터, 워크피스(108)의 CAD 모델 데이터, 및/또는 검사 한계값 데이터를 저장한다. 심도 감지 장치(102)에 의해 검출되는 포인트 클라우드들 또한 메모리 장치(200)에 저장될 수 있으며, 워크피스(108)의 제조 상태(built condition) 또는 검증된 검사(verified inspection)의 문서로서 이용될 수 있다.
예시적인 실시 예에서, 검사 컴퓨터 시스템(106)은 사용자에게 정보를 나타내는 데 이용하기 위해 프로세서(202)에 연결된 표시 인터페이스(presentation interface)(204)를 포함한다. 예를 들어, 표시 인터페이스(204)는 제한 없이 CRT(cathode ray tube), LCD(liquid crystal display), LED(light-emitting diode) 디스플레이, OLED(organic LED) 디스플레이, "전자 잉크(electronic ink)" 디스플레이, 및/또는 프린터와 같은 디스플레이 장치(도시되지 않음)에 연결될 수 있는 디스플레이 어댑터(display adapter)(도시되지 않음)를 포함할 수 있다. 몇몇 실시 예들에서, 표시 인터페이스(204)는 하나 이상의 디스플레이 장치들을 포함한다. 예시적인 실시 예에서, 프로세서(202)는 검사 컴퓨터 시스템(106)에 의해서 모델 워크피스(120)에 대해 계산된 거리 D2(도 1에 도시됨)와 심도 감지 장치(102)에 의해서 측정된 거리 D(도 1에 도시됨)를 비교하도록 구성된다. 만일 차이가 존재한다면, 프로세서(202)는 이 차이를 메모리 장치(200)에 저장되어 있는 미리 결정된 한계값 데이터와 비교한다. 예시적인 실시 예에서, 거리들 D와 D2의 차이가 미리 결정된 한계값을 초과하는 경우에, 프로세서(202)는 표시 인터페이스(204)를 이용해서 모델 워크피스(120)에 존재하지 않는 워크피스(108)의 부분을 사용자에게 디스플레이한다. 상이한 방법들을 이용해서 오버레이가 디스플레이될 수 있다. 일 실시 예에 있어서, 미리 결정된 한계값을 초과하는 워크피스(108)의 부분만이 디스플레이된다. 다른 실시 예에 있어서, 모든 워크피스(108)가 디스플레이되고, 워크피스(108)의 비-준수(non-compliant) 부분들은 워크피스(108)의 나머지와는 다른 색으로 디스플레이된다. 이와 달리, 허용오차(tolerance)를 미리 결정한 부분들을 갖도록 결정된 워크피스의 선택된 영역들을 디스플레이할 수 있는 임의의 다른 방법의 디스플레이가 이용될 수 있다.
예시적인 실시 예에서, 검사 컴퓨터 시스템(106)은 사용자로부터 입력을 수신하기 위한 입력 인터페이스(input interface)(206)를 포함한다. 예를 들어, 예시적인 실시 예에서, 입력 인터페이스(206)는 본 명세서에서 설명된 임의의 방법과 함께 이용하기에 적합한 정보를 수신한다. 입력 인터페이스(206)는 프로세서(202)에 연결되고, 예를 들어, 조이스틱, 키보드, 포인팅(pointing) 장치, 마우스, 스타일러스(stylus), 터치 감응 패널(touch sensitive panel)(예컨대, 터치 패드 또는 터치 스크린), 및/또는 위치 검출기를 포함할 수 있다. 하나의 구성요소, 예를 들어, 터치 스크린이 표시 인터페이스(204) 및 입력 인터페이스(206) 둘 다로서 기능할 수 있다는 점에 유의해야 한다.
예시적인 실시 예에서, 검사 컴퓨터 시스템(106)은 프로세서(202)에 연결되어 있는 통신 인터페이스(208)를 포함한다. 예시적인 실시 예에서, 통신 인터페이스(208)는 심도 감지 장치(102) 및/또는 포즈 검출 시스템(104)과 같은 적어도 하나의 원격 장치(remote device)와 통신한다. 예를 들어, 통신 인터페이스(208)는 제한 없이 유선 네트워크 어댑터, 무선 네트워크 어댑터, 및/또는 모바일 통신 어댑터를 이용할 수 있다. 원격 장치에 검사 컴퓨터 시스템(106)을 연결하기 위해 이용되는 네트워크(도시되지 않음)는 제한 없이 인터넷, LAN(local area network), WAN(wide area network), WLAN(wireless LAN), 메쉬 네트워크(mesh network), 및/또는 VPN(virtual private network), 또는 다른 적절한 통신 수단을 포함할 수 있다.
도 3은 검사 시스템(100)(도 1에 도시됨)과 같은 검사 시스템을 이용해서 워크피스(108)(도 1에 도시됨)와 같은 워크피스를 검사하기 위해 구현될 수 있는 예시적인 방법(300)의 흐름도이다. 동작 동안, 예시적인 실시 예에서, 검사 시스템(100)은 검사 컴퓨터 시스템(106)(도 1에 도시됨)을 이용해서 사용자에 의해 작동된다. 입력 인터페이스(206)(도 2에 도시됨)는 사용자로 하여금 워크피스(108)와 관련된 모델 워크피스(120) 데이터를 검사 컴퓨터 시스템(106)에 입력하는 것(302)을 가능하게 한다. 일 실시 예에 있어서, 모델 데이터는 메모리 장치(200)(도 2에 도시됨)에 저장되어 있는 3D CAD 모델 데이터이다.
모델 데이터를 입력(302)한 후에, 검사 컴퓨터 시스템(106)은 포즈 검출 시스템(104)(도 1에 도시됨)이 워크피스(108)에 대한 심도 감지 장치(102)(도 1에 도시됨)의 포즈를 결정(306)하도록 요청하는 신호(112)(도 1에 도시됨)를 전송한다(304).
심도 감지 장치(102)의 포즈를 결정(306)하기 위하여, 예시적인 실시 예에서, 사용자는 워크피스(108)의 위치에서 3D 좌표계 원점을 정의한다(308). 포즈 검출 시스템(104)은 카메라(116)들(도 1에 도시됨)과 같은 복수의 위치-검출 카메라들을 이용해서 워크피스(108)에 대한 심도 감지 장치(102)의 포즈를 결정한다(306). 포즈 검출 시스템(104)은 포즈 데이터를 신호(112)로서 검사 컴퓨터 시스템(106)으로 도로 전송한다(310).
메모리 장치(200)에 저장되어 있는 워크피스(108)를 위한 모델 데이터 및 심도 감지 장치(102)의 포즈 데이터를 이용해서, 검사 컴퓨터 시스템(106)은 모델 워크피스에 대해 검사 컴퓨터 시스템(106)을 위한 포즈 뷰를 생성한다(312). 검사 컴퓨터 시스템(106)은 모델 워크피스(120)의 포즈 뷰 및 심도 감지 장치(102)의 포즈를 캘리브레이팅하고(314), 심도 감지 장치(102)가 워크피스(108) 둘레에서 재배치될 때 모델 워크피스(120)의 포즈 뷰가 워크피스(108)에 대한 심도 감지 장치(102)의 뷰와 동기(sync)가 유지되도록 검사 컴퓨터 시스템(106)에 의해 디스플레이될 수 있게 한다.
사용자는 워크피스(108)의 원하는 부분의 검사를 위해 심도 감지 장치(102)를 배치한다(316). 예시적인 실시 예에서, 심도 감지 장치(102)는 사용자에 의해서 수동으로 배치된다(316). 대안적인 실시 예들에서, 심도 감지 장치(102)는 자동화된 배치 시스템에 의해서 배치될 수 있고(316), 또는 워크피스(108)가 검사를 위해 움직이는 동안 움직이지 않는 채로 있을 수 있다.
캘리브레이션(314) 및 배치(316) 후에, 심도 감지 장치(102)는 심도 감지 장치(102)의 각각의 픽셀에 대해 심도 감지 장치(102)와 워크피스(108) 간의 실제 심도 거리를 결정하기 위하여 심도 거리 데이터를 측정한다(318). 일 실시 예에 있어서, 사용자는 복수의 실제 심도 거리들을 캡쳐하기 위하여, 그리고 복수의 관련 모델 심도 거리들에 대한 비교(320)가 워크피스(108)에 대한 손상 및/또는 조립 에러(assembly error)를 나타낼 수 있는 비등가적(non-equivalent) 부분들을 식별시킬 수 있도록 하기 위하여(322), 워크피스(108) 둘레에서 심도 감지 장치(102)를 연속적으로 이동시키거나 스윕(sweep)할 수 있다. 심도 감지 장치(102)는 실제 심도 거리 데이터를 신호(110)(도 1에 도시됨)로서 검사 컴퓨터 시스템(106)에 전송한다(324).
이후, 검사 컴퓨터 시스템(106)은 검사 컴퓨터 시스템(106)에 의해서 생성되는(312) 포즈 뷰와 모델 워크피스(120) 사이의 모델 심도 거리를 나타내는 모델 워크피스(120) 심도 거리 데이터를 산출한다(326). 검사 컴퓨터 시스템(106)은 실제 심도 거리가 모델 심도 거리와 차이가 있는지 여부를 결정하기(330) 위하여 실제 심도 거리 데이터를 모델 심도 거리 데이터와 비교한다(328). 만일, 실제 심도 거리가 모델 심도 거리와 차이가 있다면, 검사 컴퓨터 시스템(106)은 그 차이가 미리 결정된 한계값을 초과하는지 여부를 결정한다(332). 한계값의 준수(compliance)는 워크피스(108)가 수용가능한 상태(acceptable condition)에 있다는 것의 표시이다. 만일, 한계값이 초과된다면, 검사 컴퓨터 시스템(106)은 가능성 있는 조립 에러, 외부 이물질의 존재, 및/또는 워크피스(108)에 대한 손상을 나타내기 위한 경고 또는 이벤트(event)를 발생시킨다(334). 게다가, 검사 컴퓨터 시스템(106)은 심도 감지 장치(102)의 뷰에 적용되는 오버레이를 이용해서 모델 워크피스(120)에 존재하지 않는 워크피스(108)의 부분을 디스플레이한다(336).
본 명세서에서 설명된 실시 예들은 일반적으로 워크피스 검사에 관한 것이고, 더욱 구체적으로는 워크피스의 자동화된 검사를 위한 방법들 및 시스템들에 관한 것이다. 본 명세서에서 설명된 실시 예들은 워크피스 검사를 위하여 정확하고 신뢰성 있는 시스템들 및 방법들을 조직화(coordinate)한다. 더욱 구체적으로, 본 명세서에서 설명된 실시 예들은 워크피스 검사 동안 휴먼 에러 요소를 감소시키기에 용이한 자동화된 방법을 제공한다. 심도 감지 장치는 그 뷰 영역에서의 각각의 픽셀에 대해 거리를 측정하고 거리 데이터를 검사 컴퓨터 시스템으로 전송한다. 포즈 검출 시스템은 워크피스와 관련하여 심도 감지 장치의 위치 및 방향을 추적하고, 그 포지셔닝(positioning)을 검사 컴퓨터 시스템으로 전송한다. 검사 컴퓨터 시스템에 저장된 워크피스의 모델을 이용함으로써, 시스템은 모델 워크피스의 모델 뷰를 생성하는데, 모델 뷰는 실시간 또는 거의 실시간으로 심도 감지 장치에 의해 보이는 실제 뷰를 추적한다. 이후, 검사 컴퓨터 시스템은 심도 감지 장치에 의해 보이는 실제 거리를 검사 컴퓨터 시스템상에서 계산된 모델 거리와 비교하고, 거리의 차이가 미리 결정된 한계값을 초과하면 경고를 생성한다. 검사 컴퓨터 시스템은 또한 워크피스의 어느 부분이 경고를 초래했는지를 사용자에게 나타내기 위한 디스플레이를 생성할 수 있다. 본 명세서에서 설명된 실시 예들에 의해서 휴먼 에러가 현저히 감소된다. 게다가, 검사 시스템은 대형 및 소형 워크피스들 양쪽 모두뿐만 아니라 제한된 물리적 접근성을 가진 워크피스의 측정을 가능하게 한다. 본 명세서에서 설명된 실시 예들은 또한 많은 비용이 드는 수동적 검사의 검사 시간을 감소시키는 것을 용이하게 한다.
워크피스 검사 시스템에 대한 방법들 및 시스템들의 예시적인 실시 예들이 이상에서 상세하게 설명되었다. 본 방법들 및 시스템들은 본 명세서에서 설명된 구체적인 실시 예들에 한정되는 것이 아니라, 오히려 시스템의 구성요소들 및/또는 방법의 단계들은 본 명세서에서 설명된 다른 구성요소들 및/또는 단계들과는 독립적으로 및 별개로 이용될 수 있다. 각각의 방법의 단계 및 구성요소는 다른 방법의 단계들 및/또는 구성요소들과 조합하여 이용될 수도 있다. 다양한 실시 예들의 구체적인 특징들이 몇몇 도면들에서는 도시되고 다른 도면들에서는 도시되지 않지만, 이것은 단지 편의를 위한 것이다. 한 도면에서의 임의의 특징은 임의의 다른 도면의 임의의 특징과 조합하여 참조될 수 있고 및/또는 청구될 수 있다.
서면으로 작성된 본 설명은, 베스트 모드(best mode)를 포함하여 실시 예들을 공개하기 위해서, 그리고 또한 임의의 장치들 또는 시스템들을 만들고 이용하는 것 및 임의의 통합된 방법들을 수행하는 것을 포함하여 임의의 통상의 기술자가 실시 예들을 실시할 수 있도록 하기 위해서 예들을 이용한다. 본 발명의 특허가능한 범위는 청구항들에 의해서 정의되며, 통상의 기술자에게 떠오르는 다른 예들을 포함할 수 있다. 다른 예들은 만일 이들이 청구항들의 문언적 표현과 다르지 않은 구조적 엘리먼트들을 가진다면, 또는 이들이 청구항의 문언적 표현과 경미한 차이가 있는 등가적인(equivalent) 구조적 엘리먼트들을 포함한다면, 본 청구항들의 범위 내에 있는 것을 의도된다.

Claims (16)

  1. 워크피스(workpiece)를 검사하기 위한 방법으로서,
    워크피스와 관련된 모델 데이터(model data)를 검사 시스템에 입력하는 단계;
    워크피스에 대한 심도 감지 장치(depth sensing device)의 상대적 위치를 결정하는 단계;
    워크피스에 대한 심도 감지 장치의 위치를 기초로 하여 모델에 대해 검사 시스템을 위한 포즈 뷰(pose view)를 캘리브레이팅(calibrating)하는 단계;
    워크피스에 대해 심도 감지 장치의 적어도 하나의 픽셀(pixel)의 실제 심도 거리(depth distance) 데이터를 측정하는 단계; 및
    워크피스가 미리 결정된 검사 기준을 만족시키는지 여부를 실제 심도 거리 데이터를 기초로 하여 결정하는 단계를 포함하는 것을 특징으로 하는, 워크피스를 검사하기 위한 방법.
  2. 제 1 항에 있어서,
    모델 데이터를 입력하는 것은 워크피스와 관련된 CAD(computer aided design) 모델 데이터를 입력하는 것을 포함하는 것을 특징으로 하는, 워크피스를 검사하기 위한 방법.
  3. 제 1 항에 있어서,
    모델 데이터를 입력하는 것은 워크피스의 사전에 스캔된(previously scanned) 모델을 입력하는 것을 포함하는 것을 특징으로 하는, 워크피스를 검사하기 위한 방법.
  4. 제 1 항에 있어서,
    심도 감지 장치의 상대적 위치를 결정하는 단계는:
    워크피스의 지정된 위치에서 좌표계 원점을 정의하는 단계; 및
    복수의 위치-검출 카메라들을 이용해서 워크피스에 대한 심도 감지 장치의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는, 워크피스를 검사하기 위한 방법.
  5. 제 1 항에 있어서,
    심도 감지 장치의 위치를 검사 시스템으로 전송하는 단계를 더 포함하는 것을 특징으로 하는, 워크피스를 검사하기 위한 방법.
  6. 제 1 항에 있어서,
    실제 심도 거리 데이터를 측정하는 단계는 복수의 실제 심도 거리들을 캡쳐(capture)하기 위하여 워크피스 둘레에서 심도 감지 장치를 이동시키는 단계를 포함하고,
    상기 방법은:
    복수의 실제 심도 거리들을 복수의 관련 모델 심도 거리들과 비교해서 비등가적(non-equivalent) 부분들을 식별하는 단계를 더 포함하는 것을 특징으로 하는, 워크피스를 검사하기 위한 방법.
  7. 제 1 항에 있어서,
    실제 심도 거리 데이터를 기초로 하여 결정하는 단계는:
    검사 시스템의 포즈 뷰를 위해 모델 심도 거리 데이터를 산출하는 단계;
    실제 심도 거리가 모델 심도 거리와 차이가 있는지 여부를 결정하는 단계; 및
    실제 심도 거리가 모델 심도 거리와 차이가 있는 경우에 상기 차이가 검사 기준을 만족하는지 여부를 결정하는 단계를 포함하고,
    모델 심도 거리 데이터는 검사 시스템의 포즈 뷰에서부터 모델 워크피스까지의 모델 심도 거리를 나타내는 것을 특징으로 하는, 워크피스를 검사하기 위한 방법.
  8. 제 7 항에 있어서,
    심도 감지 장치의 뷰(view)에 적용되는 오버레이(overlay)를 이용해서 모델 워크피스에 존재하지 않는 워크피스의 부분을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는, 워크피스를 검사하기 위한 방법.
  9. 제 8 항에 있어서,
    상기 오버레이는 외부 이물질(foreign object debris), 누락된 구성요소, 조립 에러(assembly error), 및 손상된 구성요소 중의 적어도 하나의 존재를 표현하도록 구성된 것을 특징으로 하는, 워크피스를 검사하기 위한 방법.
  10. 제 1 항에 있어서,
    실제 심도 거리 데이터를 측정하는 단계는 3차원의 포인트 클라우드(point cloud)를 생성하는 단계를 더 포함하는 것을 특징으로 하는, 워크피스를 검사하기 위한 방법.
  11. 워크피스를 검사하기 위한 시스템으로서,
    상기 시스템은:
    워크피스에 대해 심도 감지 장치의 적어도 하나의 픽셀의 실제 심도 거리 데이터를 측정하도록 구성된 심도 감지 장치;
    워크피스에 대한 심도 감지 장치의 상대적 위치를 결정하도록 구성된 포즈(pose) 검출 시스템; 및
    심도 감지 장치 및 포즈 검출 시스템과 통신하는 검사 컴퓨터 시스템을 포함하고,
    검사 컴퓨터 시스템은:
    워크피스와 관련된 모델 데이터를 입력하도록 프로그램되고;
    워크피스에 대한 심도 감지 장치의 위치를 기초로 하여 모델에 대해 검사 컴퓨터 시스템을 위한 포즈 뷰를 캘리브레이팅하도록 프로그램되고;
    워크피스가 미리 결정된 검사 기준을 만족시키는지 여부를 실제 심도 거리 데이터를 기초로 하여 결정하도록 프로그램되는 것을 특징으로 하는, 워크피스를 검사하기 위한 시스템.
  12. 제 11 항에 있어서,
    모델 데이터를 입력하기 위하여, 검사 컴퓨터 시스템이 워크피스의 사전에 스캔된 모델을 입력하도록 추가로 프로그램되는 것을 특징으로 하는, 워크피스를 검사하기 위한 시스템.
  13. 제 11 항에 있어서,
    검사 컴퓨터 시스템은:
    검사 컴퓨터 시스템의 포즈 뷰를 위해 모델 심도 거리 데이터를 산출하도록 추가로 프로그램되고;
    실제 심도 거리가 모델 심도 거리와 차이가 있는지 여부를 결정하도록 추가로 프로그램되고;
    실제 심도 거리가 모델 심도 거리와 차이가 있는 경우에 상기 차이가 검사 기준을 만족하는지 여부를 결정하도록 추가로 프로그램되고,
    모델 심도 거리 데이터는 검사 컴퓨터 시스템의 포즈 뷰에서부터 모델 워크피스까지의 모델 심도 거리를 나타내는 것을 특징으로 하는, 워크피스를 검사하기 위한 시스템.
  14. 삭제
  15. 제 11 항에 있어서,
    검사 컴퓨터 시스템은 심도 감지 장치의 뷰에 적용되는 오버레이를 이용해서 모델 워크피스에 존재하지 않는 워크피스의 부분을 디스플레이하도록 구성된 것을 특징으로 하는, 워크피스를 검사하기 위한 시스템.
  16. 제 15 항에 있어서,
    상기 오버레이가 실시간(real-time) 또는 준 실시간(near real-time)으로 디스플레이되는 것을 특징으로 하는, 워크피스를 검사하기 위한 시스템.
KR1020130073594A 2012-08-27 2013-06-26 워크피스를 검사하기 위한 방법 및 시스템 KR102030854B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/594,928 US8855404B2 (en) 2012-08-27 2012-08-27 Methods and systems for inspecting a workpiece
US13/594,928 2012-08-27

Publications (2)

Publication Number Publication Date
KR20140027868A KR20140027868A (ko) 2014-03-07
KR102030854B1 true KR102030854B1 (ko) 2019-10-10

Family

ID=49084754

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130073594A KR102030854B1 (ko) 2012-08-27 2013-06-26 워크피스를 검사하기 위한 방법 및 시스템

Country Status (9)

Country Link
US (1) US8855404B2 (ko)
EP (1) EP2703776B1 (ko)
JP (1) JP6251519B2 (ko)
KR (1) KR102030854B1 (ko)
CN (1) CN103630071B (ko)
BR (1) BR102013021722B1 (ko)
CA (1) CA2820320C (ko)
ES (1) ES2785302T3 (ko)
RU (1) RU2643619C2 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9124801B2 (en) * 2012-07-26 2015-09-01 Omnivision Technologies, Inc. Image processing system and method using multiple imagers for providing extended view
KR102377634B1 (ko) * 2012-09-10 2022-03-22 에이매스, 아이엔씨. 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐
WO2014101955A1 (en) * 2012-12-28 2014-07-03 Metaio Gmbh Method of and system for projecting digital information on a real object in a real environment
TW201446386A (zh) * 2013-06-14 2014-12-16 Hon Hai Prec Ind Co Ltd 雷射加工系統
WO2015097893A1 (ja) * 2013-12-27 2015-07-02 株式会社牧野フライス製作所 工作機械の制御装置
US9489724B2 (en) 2014-03-31 2016-11-08 The Boeing Company Three-dimensional stereoscopic projection on complex surfaces
NO343149B1 (no) * 2014-04-22 2018-11-19 Vision Io As Fremgangsmåte for visuell inspeksjon og logging
CN104200464B (zh) * 2014-08-19 2018-03-09 苏州华兴致远电子科技有限公司 一种识别列车异常的检测方法及系统
CN104986539B (zh) * 2015-05-21 2017-03-01 上海神机软件有限公司 组合模板自动输送系统
US10757394B1 (en) * 2015-11-09 2020-08-25 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US20180374239A1 (en) * 2015-11-09 2018-12-27 Cognex Corporation System and method for field calibration of a vision system imaging two opposite sides of a calibration object
US11562502B2 (en) * 2015-11-09 2023-01-24 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US10812778B1 (en) 2015-11-09 2020-10-20 Cognex Corporation System and method for calibrating one or more 3D sensors mounted on a moving manipulator
CN105486249B (zh) * 2015-11-26 2018-01-16 北京市计算中心 三维扫描数据的自适应底面消除方法
US9721334B2 (en) 2015-12-03 2017-08-01 International Business Machines Corporation Work-piece defect inspection via optical images and CT images
US9880075B2 (en) * 2016-02-11 2018-01-30 Caterpillar Inc. Wear measurement system using a computer model
US9875535B2 (en) * 2016-02-11 2018-01-23 Caterpillar Inc. Wear measurement system using computer vision
DE102016106696A1 (de) * 2016-04-12 2017-10-12 Carl Zeiss Industrielle Messtechnik Gmbh Koordinatenmesssystem
US9950815B2 (en) * 2016-07-01 2018-04-24 United Technologies Corporation Systems and methods for detecting damage
US10620618B2 (en) * 2016-12-20 2020-04-14 Palantir Technologies Inc. Systems and methods for determining relationships between defects
US10249033B1 (en) 2016-12-20 2019-04-02 Palantir Technologies Inc. User interface for managing defects
US11314721B1 (en) 2017-12-07 2022-04-26 Palantir Technologies Inc. User-interactive defect analysis for root cause
WO2019185153A1 (de) * 2018-03-29 2019-10-03 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und vorrichtung zum bestimmen von 3d-koordinaten eines objekts
US10928362B2 (en) 2018-05-04 2021-02-23 Raytheon Technologies Corporation Nondestructive inspection using dual pulse-echo ultrasonics and method therefor
US10914191B2 (en) 2018-05-04 2021-02-09 Raytheon Technologies Corporation System and method for in situ airfoil inspection
US11079285B2 (en) 2018-05-04 2021-08-03 Raytheon Technologies Corporation Automated analysis of thermally-sensitive coating and method therefor
US11268881B2 (en) 2018-05-04 2022-03-08 Raytheon Technologies Corporation System and method for fan blade rotor disk and gear inspection
US10488371B1 (en) * 2018-05-04 2019-11-26 United Technologies Corporation Nondestructive inspection using thermoacoustic imagery and method therefor
US10473593B1 (en) 2018-05-04 2019-11-12 United Technologies Corporation System and method for damage detection by cast shadows
US10943320B2 (en) 2018-05-04 2021-03-09 Raytheon Technologies Corporation System and method for robotic inspection
US10958843B2 (en) 2018-05-04 2021-03-23 Raytheon Technologies Corporation Multi-camera system for simultaneous registration and zoomed imagery
US10902664B2 (en) 2018-05-04 2021-01-26 Raytheon Technologies Corporation System and method for detecting damage using two-dimensional imagery and three-dimensional model
US10685433B2 (en) 2018-05-04 2020-06-16 Raytheon Technologies Corporation Nondestructive coating imperfection detection system and method therefor
KR102134590B1 (ko) * 2018-10-12 2020-08-27 주식회사 화승알앤에이 측정 대상의 3d 모델과 측정 대상에 대한 3d 스캔 데이터 간의 오차를 추출하는 방법
US11467270B2 (en) * 2019-03-27 2022-10-11 Asmpt Singapore Pte. Ltd. Apparatus and method for calibrating or testing an imaging device
US20230221709A1 (en) * 2020-06-11 2023-07-13 Interaptix Inc. System and method for manufacturing and maintenance
CN113942347B (zh) * 2020-07-16 2022-09-09 比亚迪股份有限公司 用于车辆的轮胎磨损检测系统和车辆
US11631184B2 (en) 2020-09-18 2023-04-18 Spirit Aerosystems, Inc. Feature inspection system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001241927A (ja) 2000-03-01 2001-09-07 Sanyo Electric Co Ltd 形状測定装置
US20060259180A1 (en) 2005-05-13 2006-11-16 Siemens Aktiengesellschaft Device and method for workpiece calibration
JP2006322937A (ja) 2005-05-18 2006-11-30 Steinbichler Optotechnik Gmbh オブジェクトの表面の３ｄ座標を判定する方法
JP2012078105A (ja) 2010-09-30 2012-04-19 Mitsubishi Heavy Ind Ltd 姿勢制御装置、制御方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2551860B1 (fr) 1983-09-08 1987-05-07 Sciaky Sa Installation pour la determination des coordonnees spatiales d'un point d'une piece, notamment pour le controle d'un outillage tel qu'un outillage de soudage de carrosserie de vehicule automobile
US5175601A (en) 1991-10-15 1992-12-29 Electro-Optical Information Systems High-speed 3-D surface measurement surface inspection and reverse-CAD system
DE19526526A1 (de) 1995-07-20 1997-01-23 Bayerische Motoren Werke Ag Vorrichtung zum optischen Abtasten von Meßflächen
JP3893169B2 (ja) * 1996-06-18 2007-03-14 コニカミノルタホールディングス株式会社 ３次元計測装置
JP2002053198A (ja) * 2000-08-10 2002-02-19 Asahi Breweries Ltd 瓶ビールの製造方法及びその装置、並びに封入物の製造方法
US6856407B2 (en) 2000-09-13 2005-02-15 Nextengine, Inc. Method for depth detection in 3D imaging providing a depth measurement for each unitary group of pixels
JP2003065736A (ja) * 2001-08-24 2003-03-05 Sanyo Electric Co Ltd ３次元モデリング装置
CN1648667A (zh) * 2004-01-30 2005-08-03 英业达股份有限公司 零部件安装缺失检测方法以及系统
US7495758B2 (en) 2006-09-06 2009-02-24 Theo Boeing Company Apparatus and methods for two-dimensional and three-dimensional inspection of a workpiece
WO2009038465A1 (en) * 2007-09-17 2009-03-26 Conoptica As Rotating part position and change finding method and apparatus
US7778794B2 (en) 2007-11-26 2010-08-17 The Boeing Company System and method for identifying an element of a structure in an engineered environment
US8131055B2 (en) 2008-01-31 2012-03-06 Caterpillar Inc. System and method for assembly inspection
JP2010277164A (ja) * 2009-05-26 2010-12-09 Seiko Epson Corp モデルデータ作成装置、モデルデータ作成方法、物体認識装置、及び物体認識方法
US9082208B2 (en) * 2011-07-12 2015-07-14 Spirit Aerosystems, Inc. System and method for locating and displaying aircraft information
CN102538677A (zh) * 2012-01-16 2012-07-04 苏州临点三维科技有限公司 一种基于光学的管道快速检测方法
US9448758B2 (en) * 2012-07-18 2016-09-20 The Boeing Company Projecting airplane location specific maintenance history using optical reference points

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001241927A (ja) 2000-03-01 2001-09-07 Sanyo Electric Co Ltd 形状測定装置
US20060259180A1 (en) 2005-05-13 2006-11-16 Siemens Aktiengesellschaft Device and method for workpiece calibration
JP2006322937A (ja) 2005-05-18 2006-11-30 Steinbichler Optotechnik Gmbh オブジェクトの表面の３ｄ座標を判定する方法
JP2012078105A (ja) 2010-09-30 2012-04-19 Mitsubishi Heavy Ind Ltd 姿勢制御装置、制御方法及びプログラム

Also Published As

Publication number Publication date
JP2014044203A (ja) 2014-03-13
RU2013139448A (ru) 2015-03-10
CA2820320C (en) 2015-11-24
CA2820320A1 (en) 2014-02-27
RU2643619C2 (ru) 2018-02-02
JP6251519B2 (ja) 2017-12-20
CN103630071A (zh) 2014-03-12
US20140056507A1 (en) 2014-02-27
US8855404B2 (en) 2014-10-07
EP2703776A1 (en) 2014-03-05
KR20140027868A (ko) 2014-03-07
BR102013021722A2 (pt) 2015-07-21
CN103630071B (zh) 2018-01-23
EP2703776B1 (en) 2020-03-18
BR102013021722B1 (pt) 2020-12-01
ES2785302T3 (es) 2020-10-06

Similar Documents

Publication Publication Date Title
KR102030854B1 (ko) 워크피스를 검사하기 위한 방법 및 시스템
US9488589B2 (en) Mapping damaged regions on objects
Becerik-Gerber et al. Assessment of target types and layouts in 3D laser scanning for registration accuracy
KR101604037B1 (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
JP5409771B2 (ja) 物体の寸法取得を向上させる方法およびコンピュータプログラム
US8520930B2 (en) Method and computer program for improving the dimensional acquisition of an object
EP2576156B1 (en) Methods and systems for inspection sensor placement
JP5991489B2 (ja) 道路変状検出装置、道路変状検出方法及びプログラム
US8249832B2 (en) Correlation of inspection information and computer-aided design data for structural assessment
CN108474653B (zh) 三维计测装置及其计测辅助处理方法
US20160075028A1 (en) Methods and systems of repairing a structure
US10286553B2 (en) Methods and systems for automatically inspecting an object
KR101534087B1 (ko) 마커를 이용한 초음파 영상 디스플레이 방법 및 초음파 진단 장치
EP3045394A1 (en) Method and system for repairing a structure
US11566888B1 (en) Systems and methods for automatic measurement and scanning of complex surfaces
KR101403377B1 (ko) 2차원 레이저 센서를 이용한 대상 물체의 6 자유도 운동 산출 방법
WO2022060689A1 (en) Feature inspection system
JP2015049192A (ja) 水中移動体の位置検知装置
JP7410387B2 (ja) 付属品の取り付け位置検査方法及び取り付け位置検査装置
Javaid et al. Studies on the Metrological Need and Capabilities of 3D Scanning Technologies
KR20120058034A (ko) 고준위 알파/베타선 오염도 원격 측정 방법 및 이를 이용한 시스템
JP2023180184A (ja) 外観検査システム
JP2023100502A (ja) 検査システム、及び検査方法
JP2015137968A (ja) 水中移動体の位置検知装置及び位置検知方法
JP2006067215A (ja) 撮像表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant