KR102073205B1 - 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법 및 스캐너 - Google Patents

복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법 및 스캐너 Download PDF

Info

Publication number
KR102073205B1
KR102073205B1 KR1020197011378A KR20197011378A KR102073205B1 KR 102073205 B1 KR102073205 B1 KR 102073205B1 KR 1020197011378 A KR1020197011378 A KR 1020197011378A KR 20197011378 A KR20197011378 A KR 20197011378A KR 102073205 B1 KR102073205 B1 KR 102073205B1
Authority
KR
South Korea
Prior art keywords
laser
cameras
camera
dimensional
scanner
Prior art date
Application number
KR1020197011378A
Other languages
English (en)
Other versions
KR20190051052A (ko
Inventor
준 젱
샹지안 첸
Original Assignee
항저우 스캔테크 컴파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 항저우 스캔테크 컴파니 리미티드 filed Critical 항저우 스캔테크 컴파니 리미티드
Publication of KR20190051052A publication Critical patent/KR20190051052A/ko
Application granted granted Critical
Publication of KR102073205B1 publication Critical patent/KR102073205B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045Correction of measurements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법에 있어서, 3차원 스캔 방법을 구현하는 스캐너는 적어도 2개의 위치가 고정되는 카메라와 적어도 2개의 레이저 프로젝터를 포함하고, 적어도 2개의 레이저 프로젝터는 적어도 2가지 다른 파장에 대응되며, 2개의 카메라의 공간 위치 관계의 교정이 주어지고, 3차원 스캔 방법은 2개의 카메라에 의해 촬영된 스캔되는 물체 표면에 투영되는 레이저 윤곽선의 2D 패턴에 따라 하이라이트 중심의 2차원 라인을 각각 식별하여 획득한 후, 삼각법 원리와 에피폴라 제약조건 원리를 통해 3차원 점 구름 데이터를 획득한다. 또한 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법을 구현하는 스캐너를 제공한다. 본 발명은 다른 복수 개의 파장을 포함하여 적용성이 양호하고 단일 스캐너의 기능을 크게 증가할 수 있고 가성비를 향상시킨다.

Description

복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법 및 스캐너
본 발명은 3차원 스캔기술에 관한 것으로서, 특히 3차원 스캔 방법 및 스캐너에 관한 것이다.
최근 나타난 핸드 헬드 레이저 3차원 스캐너, 레이저 3차원 윤곽 센서 등 3차원 측정기의 원리는 모두 레이저와 카메라의 조합을 통해 삼각 측량법에 따라 물체 표면의 3차원 데이터를 획득하는 원리를 이용한 것으로서, 이러한 측량 원리의 응용이 점차적으로 광범위하게 사용되며 고정밀도 3차원 측량 분야의 주요 측량 방법 중 하나로서 기계, 자동차, 항공, 조각, 의료 및 기타 산업에서 널리 사용되고 있다.
이러한 레이저와 카메라를 토대로 한 3차원 측량 방법 중 레이저 주파수대는 흔히 405nm의 보라색 레이저, 450nm의 청색 레이저, 532nm의 녹색 레이저, 650nm의 적색 레이저 등이 있으며, 다른 주파수대의 레이저가 3차원 스캔 효과에 미치는 영향은 다르다. 예컨대 적색 레이저는 스페클 현상이 비교적 뚜렷하여 스캐닝의 정확도에 영향을 주지만, 적색 레이저는 비교적 안정적이고 눈에 상대적으로 안전한 편이다. 이와 비교하면, 청색 레이저는 스페클 현상은 별로 뚜렷하지 않고 카메라의 식별 정확도가 높아 보다 좋은 스캐닝 결과를 얻을 수 있다. 하지만, 청색 레이저는 눈에 해롭기 때문에 보안경의 착용이 필요하여 이를 이용한 3차원 스캔의 응용장소가 제한된다. 따라서, 적합한 주파수대의 레이저를 선택함과 동시에 다른 3차원 스캔 장소의 수요에 충족하는 것은 매우 어려운 일이다.
기존의 핸드 헬드 레이저 3차원 스캐너의 단일 파장만 가지고 적용성이 떨어지고 비용이 높은 단점을 극복하기 위해, 본 발명은 복수 개의 다른 파장을 가지고, 적용성이 양호하며, 단일 스캐너의 기능이 증가되고, 가성비가 향상된 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법 및 스캐너를 제공하고 있다.
기술적 문제를 해결하기 위한 본 발명의 기술적 수단은,
복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법에 있어서, 상기 3차원 스캔 방법을 구현하는 스캐너는 적어도 2개의 위치가 고정되는 카메라와 적어도 2개의 레이저 프로젝터를 포함하고, 상기 적어도 2개의 레이저 프로젝터는 적어도 2가지 다른 파장에 대응되며, 상기 2개의 카메라의 공간 위치 관계의 교정이 주어진다. 상기 3차원 스캔 방법은 아래와 같다.
2개의 카메라에 의해 촬영된 스캔되는 물체 표면에 투영되는 레이저 윤곽선의 2D 패턴에 따라 하이라이트 중심의 2차원 라인을 각각 식별하여 획득한 후, 삼각법 원리와 에피폴라 제약조건 원리를 통해 3차원 점 구름 데이터를 획득한다.
더 나아가, 2개의 카메라는 스캔되는 물체 표면의 레이저 윤곽 피처를 포착하는 동시에 시야에서의 스캔되는 물체 표면의 고유 피처 점을 식별함으로써 상대 위치의 변화정보를 획득하고, 전후 프레임의 위치 변화 정보를 이용하여 스캐너의 연속 프레임이 획득한 3차원 윤곽선 점 구름 데이터를 하나의 좌표계로 결합시켜, 스캔되는 물체의 완전한 표면의 3차원 윤곽 점 구름 데이터를 획득하여 연속 스캔을 구현한다.
또는, 위치 신호를 가진 어셈블리 라인 또는 선형 슬라이드, 각도 신호를 가진 회전 플랫폼 상에 스캔되는 물체를 올려 두는 것을 통해 스캐너와 스캔되는 물체의 상대위치의 변화정보를 직접 획득한 다음, 전후 프레임의 위치 변화정보를 이용하여 스캐너의 연속 프레임이 획득한 3차원 윤곽선 점 구름 데이터를 하나의 좌표계로 결합시켜, 스캔되는 물체의 완전한 표면의 3차원 윤곽 점 구름 데이터를 획득하여 연속 스캔을 구현한다.
더 나아가, 상기 3차원 스캔 방법은 아래와 같은 단계를 포함한다.
단계1): 사전에 적어도 2개의 카메라가 각각 다른 파장에서의 카메라 내부 파라미터와 왜곡 계수를 교정한다.
단계 2): 사전에 2개의 카메라의 위치관계를 각각 교정한다.
단계 3): 스캔 전에, 현장의 정밀도 및 스캔 면 폭의 수요에 따라 대응되는 주파수대 레이저 프로젝터를 선택하여 스캐닝하고, 설정에 따라 대응 파장에서의 적어도 2개의 카메라를 선택하여 내부 파라미터 및 왜곡 계수를 교정하여 2D 이미지 레이저 윤곽선 추출기와 3D 구조기로 출력한다.
단계 4): 스캔할 때, 적어도 2개의 카메라는 포착된 물체 표면의 레이저 윤곽 이미지를 2D 이미지 레이저 윤곽선 추출기로 동기화 입력하고, 선택된 현재 주파수대의 적어도 2개의 카메라 내부 파라미터와 왜곡 계수에 따라 2폭의 이미지에 대하여 왜곡 보정을 수행하고, 보정된 이미지에서 각각 픽셀 그레이스케일 차이에 따라 라인 윤곽의 연결 영역을 추출하며, 상기 연결 영역 내의 그레이스케일의 중심에 따라 각각 서브 픽셀 레벨의 하이라이트 중심의 2차원 라인 집합을 계산하여 획득하고, 3D 구조기로 출력하고 3D 구조기는 선택된 현재 주파수대의 적어도 2개의 카메라 내부 파라미터, 왜곡 계수 및 2개의 카메라의 위치관계에 따라, 에피폴라 제약조건 원리를 통해 3차원 윤곽 점 구름 데이터를 획득하고 출력한다.
상기 단계 1)에서의 카메라의 교정 방법은 장정우 교정법을 사용하여 카메라의 초점 거리, 중심 오프셋 및 방사 왜곡 및 접선 왜곡 계수를 획득한다.
상기 단계 2)에서의 교정 방법은 입체 교정법을 사용한다.
복수 개의 다른 파장의 레이저를 포함하는 3차원 스캐너에 있어서, 상기 스캐너는 적어도 2개의 레이저 프로젝터와, 적어도 2개의 검출되는 물체 표면에 투영되는 레이저 패턴을 촬영하는 카메라와 하나의 카메라에 연결되어 이미지 식별 및 3차원 재구성하는 계산 처리 유닛을 포함하고, 상기 적어도 2개의 레이저 프로젝터는 적어도 두 가지 다른 파장에 대응하고, 상기 적어도 2개의 레이저 프로젝터는 위치가 고정되며, 상기 2개의 카메라의 공간 위치 관계의 교정이 주어지고, 상기 적어도 2개의 카메라의 출력단과 상기 계산 처리 유닛은 연결되고, 상기 계산 처리 유닛은 2D 이미지 레이저 윤곽선 추출기, 3D 구조기와 적어도 2개의 카메라의 선정된 파장에서의 교정 내부 파라미터와 왜곡 계수를 선택하는 주파수대 전환 판단기를 포함하고, 상기 적어도 2개의 카메라의 출력단과 상기 2D 이미지 레이저 윤곽선 추출기는 연결되며, 상기 2D 이미지 레이저 윤곽선 추출기와 상기 3D 구조기, 상기 주파수대 전환 판단기는 각각 상기 2D 이미지 레이저 윤곽선 추출기, 3D 구조기와 연결된다.
더 나아가, 상기 레이저 프로젝터와 카메라의 트리거단은 모두 상기 동일한 파장의 하나 또는 복수의 레이저 프로젝터와 카메라를 선택적으로 트리거하여 동기화 작업하도록 하는 동기화 트리거 유닛과 연결된다.
더 나아가, 상기 카메라에 다중 대역 통과 필터를 설치하고, 상기 필터의 대역 통과 주파수대와 상기 적어도 2개의 레이저 프로젝터의 적어도 2가지 파장은 대응된다.
더 나아가, 적어도 2개의 다른 파장의 레이저 프로젝터는 청색 주파수대의 레이저 프로젝터와 적색 주파수대의 레이저 프로젝터를 포함한다.
본 발명의 기술적 구상은 아래와 같다. 짧은 주파수대의 레이저와 긴 주파수대의 레이저를 동시에 한 대의 스캐너에 설치하면, 다른 주파수대의 광선이 2가지 매개물을 통과하는 굴절률이 다르므로 고정 초점 거리와 조리개의 카메라는 다른 주파수대 광선에 다른 초점을 가지기 때문에, 비교적 짧은 주파수대 광선을 반사하는 피사체의 초점을 촬영하는 것이 파장이 비교적 긴 광선을 반사하는 피사체의 초점을 촬영하는 것보다 카메라에 더 접근한다. 적색과 청색 두 가지 주파수대를 예로 들어, 초점을 정확히 맞추기 위해 청색 물체가 적색 물체보다 카메라에 더 가까이 있어야 하고, 카메라의 해상도가 변하지 않는 상황에서 가까이 있는 물체를 촬영한다는 것은 더 작은 국부를 동일한 면적의 감광소자 상에 투영한다는 것을 의미하며, 즉 촬영된 청색 물체의 폭 면이 비교적 작지만 해상도는 비교적 높고, 촬영된 적색 물체의 폭 면은 비교적 크지만 해상도가 비교적 낮다. 또한, 레이저가 단색 광이기 때문에, 물체 표면에 조사될 경우 간섭 현상이 생기며 카메라에 의해 포착된 피사체 표면의 레이저 윤곽선 상에 불균일하게 분포된 과립형 광점, 즉 레이저 스페클이 생긴다. 주파수대가 비교적 짧은 레이저의 스페클 현상은 주파수대가 비교적 긴 레이저보다 약하여 카메라에 포착되는 피사체 표면의 레이저 윤곽선도 보다 더 예리하고 표면의 세부사항을 획득하기에 더욱 유리하다.
(유익효과)
본 발명의 유익한 효과는 전통적인 단일 파장 레이저를 포함하는 3차원 스캐너와 비교해 보았을 때 고정밀도 측정 상황에서도 응용할 수 있고 일반적인 3차원 스캔 상황에서도 고효율적으로 안전하게 사용할 수 있는 것으로써 단일 스캐너의 기능을 크게 증가할 수 있고 그 가성비를 향상시키는 데 있다.
도 1은 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캐너의 원리도이다.
도 2는 동기화 트리거 유닛의 내부 작업의 원리 설명도이다.
도 3은 계산 처리 유닛의 원리도이다.
이하, 도면을 참조하여 본 발명을 상세히 설명한다.
(실시 예 1)
도 1~도 3을 참조하면, 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법에 있어서, 상기 3차원 스캔방법을 구현하는 스캐너는 적어도 2개의 위치가 고정되는 카메라 및 적어도 2개의 레이저 프로젝터를 포함하고, 상기 적어도 2개의 레이저 프로젝터는 적어도 2가지 다른 파장에 대응하고, 상기 2개의 카메라의 공간위치 관계의 교정이 주어지며, 상기 3차원 스캔 방법은 아래와 같다.
2개의 카메라에 의해 촬영된 스캔되는 물체 표면에 투영되는 레이저 윤곽선의 2D 패턴에 따라 하이라이트 중심의 2차원 라인을 각각 식별하여 획득한 후 3차원 삼각법 원리와 에피폴라 제약조건 원리를 통해 상기 후보 3차원 점 구름 데이터를 획득한다.
더 나아가, 2개의 카메라는 스캔되는 물체 표면의 레이저 윤곽 피처를 포착하는 동시에 시야에서의 스캔되는 물체 표면의 고유 피처 점을 식별하여 상대 위치의 변화정보를 획득하고, 전후 프레임의 위치 변화 정보를 이용하여, 스캐너의 연속 프레임이 획득한 3차원 윤곽선 점 구름 데이터를 하나의 좌표계에 결합시켜 스캔 되는 물체의 완전한 표면의 3차원 윤곽 점 구름 데이터를 획득하여 연속 스캔을 구현한다.
또는, 위치 신호를 가진 어셈블리 라인 또는 선형 슬라이드, 각도 신호를 가진 회전 플랫폼 상에 스캔되는 물체를 올려 두는 것을 통해 스캐너와 스캔되는 물체의 상대위치의 변화정보를 직접 획득한 다음, 전후 프레임의 위치 변화정보를 통해 스캐너의 연속 프레임이 획득한 3차원 윤곽선 점 구름 데이터를 하나의 좌표계로 결합시켜, 스캔되는 물체의 완전한 표면의 3차원 윤곽 점 구름 데이터를 획득하여 연속 스캔을 구현한다.
더 나아가, 상기 3차원 스캔 방법은 아래와 같은 단계를 포함한다.
1) 사전에 적어도 2개의 카메라의 각각의 다른 파장에서의 카메라 내부 파라미터와 왜곡 계수를 교정한다.
2) 사전에 2개의 카메라의 위치관계를 각각 교정한다.
3) 스캔 전에, 현장의 정밀도 및 스캔 면 폭의 수요에 따라 대응되는 주파수대 레이저 프로젝터를 선택하여 스캐닝하고, 설정에 따라 대응 파장에서의 적어도 2개의 카메라를 선택하여 내부 파라미터 및 왜곡 계수를 교정하여 2D 이미지 레이저 윤곽선 추출기와 3D 구조기로 출력한다.
4) 스캔할 때, 적어도 2개의 카메라는 포착된 물체 표면의 레이저 윤곽 이미지를 2D 이미지 레이저 윤곽선 추출기로 동기화 입력하고, 선택된 현재 주파수대의 적어도 2개의 카메라 내부 파라미터와 왜곡 계수에 따라 2폭의 이미지에 대하여 왜곡 보정을 수행하고 보정된 이미지에서 각각 픽셀 그레이스케일 차이에 따라 라인 윤곽의 연결 영역을 추출하며, 상기 연결 영역 내의 그레이스케일의 중심에 따라 각각 서브 픽셀 레벨의 하이라이트 중심의 2차원 라인 집합을 계산하여 획득하고 3D 구조기로 출력하며, 3D 구조기는 선택된 현재 주파수대의 적어도 2개의 카메라 내부 파라미터, 왜곡 계수 및 2개의 카메라의 위치관계에 따라, 에피폴라 제약조건 원리를 통해 3차원 윤곽 점 구름 데이터를 획득하고 출력한다.
상기 단계 1)에서 카메라의 교정 방법은 장정우 교정법을 사용하여 카메라의 초점 거리, 중심 오프셋 및 방사 왜곡 및 접선 왜곡 계수를 획득한다.
상기 단계 2)에서 교정 방법은 입체 교정법을 사용한다.
2개의 카메라와 하나의 적색 주파수대 및 하나의 청색 주파수대 2개의 선형 레이저를 포함하는 프로젝터를 예로 들어 본 기술적 수단의 구현 원리를 구체적으로 설명한다. 도 1과 같이, 주파수대 1 레이저 프로젝터는 적색 선형 레이저이고, 주파수대 2 레이저 프로젝터는 청색 선형 레이저이며, 동기화 트리거 유닛은 2개의 카메라의 외부 트리거 포트 및 2개의 레이저 프로젝터의 구동 제어 포트에 동시에 연결되고, 카메라와 현재 작업 중인 주파수대의 레이저 프로젝터에 대하여 동기화 트리거하고, 카메라에 실시간으로 포착된 이미지를 계산 처리 유닛으로 발송하여 입체 시각 3차원 재구성을 통해 3차원 점 구름을 최종적으로 계산하여 출력한다. 구체적으로 구현 방법은 도 3과 같으며, 단계는 아래와 같다.
단계 1: 사전에 1번 카메라와 2번 카메라의 각각 파장 1과 파장 2(파장 1과 파장 2는 각각 1번 레이저와 2번 레이저의 파장임)에서의 카메라 내부 파라미터와 왜곡 계수를 교정하고, 시스템의 계산 처리 유닛에 저장한다. 카메라의 교정 방법은 현재 광범위하게 사용되는 장정우 교정법을 사용하여 카메라의 초점 거리, 중심 오프셋 및 방사 왜곡 및 접선 왜곡 계수를 획득한다.
단계 2: 사전에 2개의 카메라의 위치관계를 교정하고, 교정 방법은 통상적인 입체 교정법을 사용할 수 있고, 교정 결과는 3D 구조기에 저장한다.
단계 3: 스캔 전에, 현장의 정밀도 및 스캔 면 폭의 수요에 따라 적색 주파수대 레이저 또는 청색 주파수대 레이저를 선택하여 스캐닝하며 주파수대 전환 판단기에 기록한다. 주파수대 전환 판단기는 설정에 따라 대응 파장에서의 2개의 카메라의 교정 내부 파라미터 및 왜곡 계수를 선택하여 2D 이미지 레이저 윤곽선 추출기 및 3D 구조기로 출력한다.
단계 4: 스캔할 때, 1번 카메라와 2번 카메라는 포착된 물체 표면의 레이저 윤곽 이미지 1과 물체 표면의 레이저 윤곽 이미지 2를 계산 처리 유닛의 2D 이미지 레이저 윤곽선 추출기로 동기화 입력하고, 주파수대 전환 판단기에 의해 선택된 현재 주파수대의 1번 카메라와 2번 카메라의 내부 파라미터와 왜곡 계수에 따라 2폭의 이미지에 대하여 각각 왜곡 보정을 수행하고, 보정된 이미지에서 각각 픽셀 그레이스케일 차이에 따라 라인 윤곽의 연결 영역을 추출하며, 상기 연결 영역 내의 그레이스케일의 중심에 따라 각각 서브 픽셀 레벨의 하이라이트 중심의 2차원 라인 집합 1과 2차원 라인 집합 2를 계산하여 획득하고, 3D 구조기로 출력한다. 3D 구조기는 주파수대 전환 판단기에 의해 선택된 현재 주파수대의 1번 카메라와 2번 카메라의 내부 파라미터, 왜곡 계수 및 2개의 카메라의 위치관계에 따라, 에피폴라 제약조건 원리를 통해 3차원 윤곽 점 구름 데이터를 획득하여 출력한다.
(실시 예 2)
도 1~도 3을 참조하면, 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캐너에 있어서, 상기 스캐너는 적어도 2개의 레이저 프로젝터, 적어도 2개의 검출되는 물체 표면에 투영되는 레이저 패턴의 카메라와 카메라에 연결되어 이미지 식별 및 3차원 재구성하는 계산 처리 유닛을 포함하고, 상기 적어도 2개의 레이저 프로젝터는 적어도 2가지 다른 파장에 대응하고, 상기 적어도 2개의 레이저 프로젝터는 위치가 고정되며, 상기 2개의 카메라의 공간 위치 관계의 교정이 주어지고, 상기 적어도 2개의 카메라의 출력단과 상기 계산 처리 유닛이 연결되고, 상기 계산 처리 유닛은 2D 이미지 레이저 윤곽선 추출기, 3D 구조기와 적어도 2개의 카메라의 선정된 파장에서의 교정 내부 파라미터와 왜곡 계수를 선택하는 주파수대 전환 판단기를 포함하고, 상기 적어도 2개의 카메라의 출력단과 상기 2D 이미지 레이저 윤곽선 추출기가 연결되고, 상기 2D 이미지 레이저 윤곽선 추출기와 상기 3D 구조기, 상기 주파수대 전환 판단기는 각각 상기 2D 이미지 레이저 윤곽선 추출기, 3D 구조기에 연결된다.
더 나아가, 상기 레이저 프로젝터와 카메라의 트리거 단은 모두 상기 동일한 파장의 하나 또는 복수의 레이저 프로젝터를 선택적으로 트리거하는 카메라와 동기화 작업하는 동기화 트리거 유닛과 연결된다.
더 나아가, 상기 카메라에 다중 대역 통과 필터를 설치하고, 상기 필터의 대역 통과 주파수대와 상기 적어도 2개의 레이저 프로젝터의 적어도 2가지 파장이 대응된다.
더 나아가, 적어도 2개의 다른 파장의 레이저 프로젝터는 청색 주파수대의 레이저 프로젝터와 적색 주파수대의 레이저 프로젝터를 포함한다.
적색, 청색 2가지 주파수대 선형 레이저 프로젝터를 포함하는 3차원 스캐너를 예로 들어 본 발명의 시스템 및 원리에 대하여 설명한다. 본 발명의 동작 원리는 도 1과 같이, 주파수대 1 레이저 프로젝터는 적색 선형 레이저이고, 주파수대 2 레이저 프로젝터는 청색 선형 레이저이며, 동기화 트리거 유닛 2개의 카메라의 외부 트리거 포트 및 2개의 레이저 프로젝터의 구동 포트에 동시에 연결되고, 2개의 카메라 및 하나의 현재 작업 중인 주파수대의 레이저 프로젝터에 대하여 동기화 트리거하고 카메라에 실시간으로 포착된 이미지를 계산 처리 유닛으로 발송하여 입체 시각 3차원 재건을 하여 최종적으로 3차원 점 구름을 계산하여 출력한다.
상기 동기화 트리거 유닛의 내부는 마이크로 제어 유닛 MCU로 작업템포를 제어할 수 있으며, 동기화 제어 신호를 절연장치 OC를 통해 전력장치 MOS로 출력하여 최종적으로 레이저 프로젝터 LASER1/LA SER2와 카메라 CAMERA의 동기화 작업을 제어한다. MCU의 펌웨어는 사용자의 선택에 따라 어느 한 시각이 1 적색 광의 LASERl와 CAMERAl(및 CAMERA2)를 동기화 트리거하는지 아니면 주파수대 2 청색 광의 LASER2와 CAMERAl(및 CAMERA2)을 동기화 트리거하는지 확정한다.
물론, 만약 연속 스캔을 하면 MCU는 설정되는 프레임률에 따라 레이저와 카메라를 순환적으로 동기화 트리거 하고 카메라는 포착된 이미지를 연속적으로 계산 처리 유닛으로 출력하여 3차원 입체 시각 3차원 재건을 계산하고 최종적으로 3차원 점 구름 데이터를 지속적으로 출력한다.

Claims (10)

  1. 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법에 있어서,
    상기 3차원 스캔 방법을 구현하는 스캐너는, 적어도 2개의 위치가 고정되는 카메라와 적어도 2개의 레이저 프로젝터를 포함하고, 상기 적어도 2개의 레이저 프로젝터는 적어도 2가지 다른 파장에 대응되며, 상기 2개의 카메라의 공간 위치 관계의 교정이 주어지고,
    1) 사전에 적어도 2개의 카메라가 각각 다른 파장에서의 카메라 내부 파라미터와 왜곡 계수를 교정하는 단계;
    2) 사전에 상기 2개의 카메라의 위치관계를 각각 교정하는 단계;
    3) 상기 레이저 프로젝터와 카메라의 트리거단을, 하나의 파장의 레이저 프로젝터를 선택적으로 트리거하여 카메라와 동기화 작업하도록 하는 동기화 트리거 유닛과 연결시키는 단계;
    4) 스캔 전에, 현장의 정밀도 및 스캔 면 폭의 수요에 따라 대응되는 주파수대 레이저 프로젝터를 선택하여 스캐닝하고, 설정에 따라 대응 파장에서의 적어도 2개의 카메라를 선택하여 내부 파라미터 및 왜곡 계수를 교정하여 2D 이미지 레이저 윤곽선 추출기와 3D 구조기로 출력하는 단계; 및
    5) 스캔할 때, 적어도 2개의 카메라는 포착된 물체 표면의 레이저 윤곽 이미지를 2D 이미지 레이저 윤곽선 추출기로 동기화 입력하고, 선택된 현재 주파수대의 적어도 2개의 카메라 내부 파라미터와 왜곡 계수에 따라 2폭의 이미지에 대하여 왜곡 보정을 수행하고 보정된 이미지에서 각각 픽셀 그레이스케일 차이에 따라 라인 윤곽의 연결 영역을 추출하며, 상기 연결 영역 내의 그레이스케일의 중심에 따라 각각 서브 픽셀 레벨의 하이라이트 중심의 2차원 라인 집합을 계산하여 획득하고 3D 구조기로 출력하고, 3D 구조기는 선택된 현재 주파수대의 적어도 2개의 카메라 내부 파라미터, 왜곡 계수 및 2개의 카메라의 위치관계에 따라, 에피폴라 제약조건 원리를 통해 3차원 윤곽 점 구름 데이터를 획득하고 출력하는 단계;
    를 포함하는 것을 특징으로 하는 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법.
  2. 제1 항에 있어서,
    상기 2개의 카메라는 스캔되는 물체 표면의 레이저 윤곽 피처를 포착하는 동시에 시야에서의 스캔되는 물체 표면의 고유 피처 점을 식별함으로써 상대 위치의 변화정보를 획득하고, 전후 프레임의 위치 변화 정보를 이용하여 스캐너의 연속 프레임이 획득한 3차원 윤곽선 점 구름 데이터를 하나의 좌표계로 결합시켜 스캔되는 물체의 완전한 표면의 3차원 윤곽 점 구름 데이터를 획득하여 연속 스캔을 구현하는 것을 특징으로 하는 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법.
  3. 제1 항에 있어서,
    위치 신호를 가진 어셈블리 라인 또는 선형 슬라이드, 각도 신호를 가진 회전 플랫폼 상에 스캔되는 물체를 올려 두는 것을 통해 스캐너와 스캔되는 물체의 상대위치의 변화정보를 직접 획득한 다음, 전후 프레임의 위치 변화정보를 이용하여 스캐너의 연속 프레임이 획득한 3차원 윤곽선 점 구름 데이터를 하나의 좌표계로 결합시켜, 스캔되는 물체의 완전한 표면의 3차원 윤곽 점 구름 데이터를 획득하여 연속 스캔을 구현하는 것을 특징으로 하는 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법.
  4. 제1 항에 있어서,
    상기 단계 1)에서의 카메라의 교정 방법은 장정우 교정법을 사용하여 카메라의 초점 거리, 중심 오프셋 및 방사 왜곡 및 접선 왜곡 계수를 획득하는 것을 특징으로 하는 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법.
  5. 제1 항에 있어서,
    상기 단계 2)에서의 교정 방법은 입체 교정법을 사용하는 것을 특징으로 하는 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법.
  6. 제1 항에 따른 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법을 구현하는 스캐너에 있어서,
    상기 스캐너는 적어도 2개의 레이저 프로젝터와, 적어도 2개의 검출되는 물체 표면에 투영되는 레이저 패턴을 촬영하는 카메라와 하나의 카메라에 연결되어 이미지 식별 및 3차원 재구성하는 계산 처리 유닛을 포함하고; 상기 적어도 2개의 레이저 프로젝터는 적어도 두 가지의 다른 파장에 대응하고, 상기 적어도 2개의 레이저 프로젝터는 위치가 고정되며; 상기 2개의 카메라의 공간 위치 관계의 교정이 주어지고; 상기 적어도 2개의 카메라의 출력단과 상기 계산 처리 유닛이 연결되고; 상기 계산 처리 유닛은 2D 이미지 레이저 윤곽선 추출기, 3D 구조기와 적어도 2개의 카메라의 선정된 파장에서의 교정 내부 파라미터와 왜곡 계수를 선택하는 주파수대 전환 판단기를 포함하고; 상기 적어도 2개의 카메라의 출력단과 상기 2D 이미지 레이저 윤곽선 추출기는 연결되며, 상기 2D 이미지 레이저 윤곽선 추출기와 상기 3D 구조기, 상기 주파수대 전환 판단기는 각각 상기 2D 이미지 레이저 윤곽선 추출기 및 3D 구조기와 연결되고; 상기 레이저 프로젝터와 카메라의 트리거단은 상기 동일한 파장의 하나 또는 복수의 레이저 프로젝터를 선택적으로 트리거하여 상기 카메라와 동기화 작업하도록 하는 동기화 트리거 유닛과 연결되는 것을 특징으로 하는 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법을 구현하는 스캐너.
  7. 제6 항에 있어서,
    상기 카메라에 다중 대역 통과 필터를 설치하고, 상기 필터의 대역 통과 주파수대와 상기 적어도 2개의 레이저 프로젝터의 적어도 2가지 파장은 대응되는 것을 특징으로 하는 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법을 구현하는 스캐너.
  8. 제6 항에 있어서,
    적어도 2개의 다른 파장의 레이저 프로젝터는 청색 주파수대의 레이저 프로젝터와 적색 주파수대의 레이저 프로젝터를 포함하는 것을 특징으로 하는 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법을 구현하는 스캐너.
  9. 삭제
  10. 삭제
KR1020197011378A 2016-10-19 2017-05-11 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법 및 스캐너 KR102073205B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610910273.9A CN106500628B (zh) 2016-10-19 2016-10-19 一种含有多个不同波长激光器的三维扫描方法及扫描仪
CN201610910273.9 2016-10-19
PCT/CN2017/083918 WO2018072433A1 (zh) 2016-10-19 2017-05-11 一种含有多个不同波长激光器的三维扫描方法及扫描仪

Publications (2)

Publication Number Publication Date
KR20190051052A KR20190051052A (ko) 2019-05-14
KR102073205B1 true KR102073205B1 (ko) 2020-02-04

Family

ID=58294198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197011378A KR102073205B1 (ko) 2016-10-19 2017-05-11 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법 및 스캐너

Country Status (4)

Country Link
EP (1) EP3531066B1 (ko)
KR (1) KR102073205B1 (ko)
CN (1) CN106500628B (ko)
WO (1) WO2018072433A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106500627B (zh) * 2016-10-19 2019-02-01 杭州思看科技有限公司 含有多个不同波长激光器的三维扫描方法及扫描仪
CN106500628B (zh) * 2016-10-19 2019-02-19 杭州思看科技有限公司 一种含有多个不同波长激光器的三维扫描方法及扫描仪
CN107860335B (zh) * 2017-11-10 2020-07-14 北京博清科技有限公司 一种应用于建筑行业实测实量的三维激光扫描仪
CN108527007B (zh) * 2018-03-29 2020-05-19 上海大学 基于光学三角测量法的立式加工中心在机测量系统及方法
CN108534708B (zh) * 2018-03-30 2020-04-24 深圳积木易搭科技技术有限公司 一种双目三维扫描仪组件及扫描方法
CN109141289B (zh) * 2018-08-01 2020-12-29 先临三维科技股份有限公司 三维扫描方法和系统
CN110891169B (zh) * 2018-08-19 2021-07-09 安徽省东超科技有限公司 一种基于光泳捕获的可交互体三维显示装置及其控制方法
CN109816774B (zh) * 2018-12-31 2023-11-17 江苏天策机器人科技有限公司 一种基于无人机的三维重建系统及三维重建方法
US11953312B2 (en) 2019-02-01 2024-04-09 Mit Semiconductor (Tian Jin) Co., Ltd System and method of object inspection using multispectral 3D laser scanning
CN111623725B (zh) * 2019-02-27 2022-04-29 杭州思看科技有限公司 一种跟踪式三维扫描系统
CN110853160B (zh) * 2019-09-29 2022-01-18 广州市凌特电子有限公司 一种高速公路车道多维度识别系统及方法
CN111023970B (zh) * 2019-12-17 2021-11-16 杭州思看科技有限公司 多模式三维扫描方法及系统
CN111601097B (zh) * 2020-04-10 2020-12-18 熵智科技(深圳)有限公司 基于双投射器的双目立体匹配方法、装置、介质和设备
CN111983709A (zh) * 2020-07-02 2020-11-24 中科兴华(深圳)科技服务有限公司 一种激光检测器的多物体捕捉方法
CN112539710A (zh) * 2020-08-17 2021-03-23 武汉中观自动化科技有限公司 一种具有不同工作模式的三维扫描系统
CN112070709A (zh) * 2020-09-04 2020-12-11 三一重工股份有限公司 三维点云信息的采集方法、装置及电子设备
CN113379844B (zh) * 2021-05-25 2022-07-15 成都飞机工业(集团)有限责任公司 一种飞机大范围表面质量检测方法
CN114248293B (zh) * 2021-12-23 2024-04-09 成都大学 一种基于2d激光轮廓仪与2d相机的带孔零件抓取方法及系统
CN117579753A (zh) * 2024-01-16 2024-02-20 思看科技(杭州)股份有限公司 三维扫描方法、装置、计算机设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014219404A (ja) * 2013-04-30 2014-11-20 アイメス サービシーズ ゲーエムベーハーAimess Services Gmbh 数波長で同時に面の三次元測定を行う装置及び方法
CN104930985A (zh) * 2015-06-16 2015-09-23 大连理工大学 基于时空约束的双目视觉三维形貌测量方法
JP2016514271A (ja) * 2013-03-15 2016-05-19 ファロ テクノロジーズ インコーポレーテッド 三次元座標スキャナと操作方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100565076B1 (ko) * 2004-08-05 2006-03-30 삼성전자주식회사 레이저 반점을 제거한 조명계 및 이를 채용한 프로젝션시스템
CN1330928C (zh) * 2005-12-29 2007-08-08 清华紫光股份有限公司 一种采用双波长结构光测量物体轮廓的方法
KR100910573B1 (ko) * 2008-05-29 2009-08-04 선문대학교 산학협력단 칼라 다파장 위상을 적용한 3차원 측정방법
CN101320473B (zh) * 2008-07-01 2011-07-20 上海大学 自由多视角、实时的三维重建系统和方法
CN101655352B (zh) * 2009-09-15 2011-02-09 西安交通大学 一种三维散斑应变测量装置的测量方法
CN101936718B (zh) * 2010-03-23 2012-07-18 上海复蝶智能科技有限公司 正弦条纹投影装置以及三维轮廓测量方法
CN101853528B (zh) * 2010-05-10 2011-12-07 沈阳雅克科技有限公司 一种手持式三维型面信息提取方法及其提取仪
WO2011163359A2 (en) * 2010-06-23 2011-12-29 The Trustees Of Dartmouth College 3d scanning laser systems and methods for determining surface geometry of an immersed object in a transparent cylindrical glass tank
CN102183869B (zh) * 2011-03-22 2012-06-27 中国科学院半导体研究所 基于全半导体激光器的激光投影显示系统
CN102506830B (zh) * 2011-11-21 2014-03-12 奇瑞汽车股份有限公司 视觉定位方法及装置
CN103376071B (zh) * 2012-04-20 2017-06-30 德律科技股份有限公司 三维测量系统与三维测量方法
CN104279978B (zh) * 2013-07-12 2018-01-19 上海微电子装备(集团)股份有限公司 三维图形检测装置及测量方法
CN104077804B (zh) * 2014-06-09 2017-03-01 广州嘉崎智能科技有限公司 一种基于多帧视频图像构建三维人脸模型的方法
CN104165600B (zh) * 2014-07-03 2016-10-05 杭州鼎热科技有限公司 一种无线手持3d激光扫描系统
WO2016024026A1 (en) * 2014-08-15 2016-02-18 Fugro N.V. Underwater laser based modeling device
US9693040B2 (en) * 2014-09-10 2017-06-27 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
FR3030066B1 (fr) * 2014-12-16 2017-12-22 Commissariat Energie Atomique Projecteur de lumiere structuree et scanner tridimensionnel comportant un tel projecteur
CN104833483A (zh) * 2015-04-29 2015-08-12 山东大学 一种激光投影显示中散斑的测量评价方法及应用
CN105607400A (zh) * 2015-12-29 2016-05-25 海信集团有限公司 一种激光光源装置和激光投影设备
CN205505996U (zh) * 2016-01-15 2016-08-24 中国工程物理研究院激光聚变研究中心 一种基于条纹投影的全景三维形貌测量装置
CN105955269A (zh) * 2016-05-12 2016-09-21 武汉理工大学 基于模糊pid算法的船舶航向控制器
CN106500627B (zh) * 2016-10-19 2019-02-01 杭州思看科技有限公司 含有多个不同波长激光器的三维扫描方法及扫描仪
CN106500628B (zh) * 2016-10-19 2019-02-19 杭州思看科技有限公司 一种含有多个不同波长激光器的三维扫描方法及扫描仪
CN106501959A (zh) * 2016-10-26 2017-03-15 深圳奥比中光科技有限公司 一种面阵激光投影仪及其深度相机

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016514271A (ja) * 2013-03-15 2016-05-19 ファロ テクノロジーズ インコーポレーテッド 三次元座標スキャナと操作方法
JP2014219404A (ja) * 2013-04-30 2014-11-20 アイメス サービシーズ ゲーエムベーハーAimess Services Gmbh 数波長で同時に面の三次元測定を行う装置及び方法
CN104930985A (zh) * 2015-06-16 2015-09-23 大连理工大学 基于时空约束的双目视觉三维形貌测量方法

Also Published As

Publication number Publication date
EP3531066B1 (en) 2021-09-08
WO2018072433A1 (zh) 2018-04-26
EP3531066A4 (en) 2020-06-24
EP3531066A1 (en) 2019-08-28
CN106500628A (zh) 2017-03-15
CN106500628B (zh) 2019-02-19
KR20190051052A (ko) 2019-05-14

Similar Documents

Publication Publication Date Title
KR102073205B1 (ko) 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법 및 스캐너
US10782126B2 (en) Three-dimensional scanning method containing multiple lasers with different wavelengths and scanner
CN106500627B (zh) 含有多个不同波长激光器的三维扫描方法及扫描仪
CN104776815B (zh) 一种基于达曼光栅的彩色三维轮廓测量装置与方法
AU2017400983B2 (en) Three-dimensional scanning system and scanning method thereof
CN108267097B (zh) 基于双目三维扫描系统的三维重构方法和装置
US20180356213A1 (en) Three-dimensional sensor system and three-dimensional data acquisition method
JP5635218B1 (ja) 空間コード化スライド画像に対するパターンのアライメント方法およびシステム
US8144974B2 (en) Image processing apparatus, method, and program
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
CN107241592B (zh) 一种成像设备及成像方法
JP5849522B2 (ja) 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP2016217833A (ja) 画像処理システム及び画像処理方法
US20190353477A1 (en) Three-dimensional sensor system and three-dimensional data acquisition method
KR102160340B1 (ko) 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치
Beltran et al. A comparison between active and passive 3d vision sensors: Bumblebeexb3 and Microsoft Kinect
JP3818028B2 (ja) 3次元画像撮像装置および3次元画像撮像方法
JP2008128771A (ja) 分光情報および形状情報同時取得装置及び情報取得方法
US20230003894A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method
CN212843399U (zh) 一种便携的三维测量设备
TWI638566B (zh) 一種拍攝方法及其成像方法、裝置和設備
Gurbuz Application of inverse square law for 3D sensing
CN117629109A (zh) 三维测量装置、方法、存储介质、系统和物品制造方法
CA2810587C (en) Method and system for alignment of a pattern on a spatial coded slide image
JP2007163363A (ja) 距離測定装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant