KR102178860B1 - 레이저 레이더 장치 및 그것의 동작 방법 - Google Patents
레이저 레이더 장치 및 그것의 동작 방법 Download PDFInfo
- Publication number
- KR102178860B1 KR102178860B1 KR1020140071586A KR20140071586A KR102178860B1 KR 102178860 B1 KR102178860 B1 KR 102178860B1 KR 1020140071586 A KR1020140071586 A KR 1020140071586A KR 20140071586 A KR20140071586 A KR 20140071586A KR 102178860 B1 KR102178860 B1 KR 102178860B1
- Authority
- KR
- South Korea
- Prior art keywords
- optical
- modules
- transmission
- laser radar
- radar device
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 레이저 레이더 장치에 관한 것이다. 본 발명의 레이저 레이더 장치는 스캔 방향에 수직한 면을 기준으로 스캔 방향의 반대 방향으로 오목한 형태로 배열되는 복수의 송수신광 모듈들을 포함하고, 복수의 송수신광 모듈들 각각은 레이저 빔을 편향시켜 목표물에 조사하는 송신부, 및 목표물로부터 반사되는 레이저 빔을 수신하는 수신부를 포함한다.
Description
본 발명은 레이저 레이더 시스템에 관한 것으로, 특히 영상 정보 획득에 필요한 송수신광 유닛 모듈의 개수를 감소시킬 수 있는 레이저 레이더 장치 및 그것의 동작 방법에 관한 것이다.
일반적인 레이저 레이더 시스템은 3차원 영상의 획득을 위해서 차량의 상부에 회전하는 형태의 전방향 스캔 레이저 레이더(Panoramic Scan LADAR)와 돌출형의 실시간 광각의 레이저 레이더를 포함한다.
전방향 스캔 레이저 레이더는 복수의 레이저 발생 모듈들과 복수의 광검출기들을 포함한다. 이때, 레이저 발생 모듈들과 광검출기들이 하나의 라인 형태 또는 미리 정해진 형태로 스캔될 수 있도록 레이저 발생 모듈들과 대응되는 광검출기들을 정렬하기 어렵다. 즉, 광검출기들 각각에서 검출된 신호의 공간적인 관찰 범위를 검사하고, 스펙에 맞도록 레이저 발생 모듈들과 광검출기들의 어레이 배치를 수정해야 한다. 이와 같은 동작은 모듈의 단가를 상승시키고, 대량 생산을 어렵게 한다. 그리고, 전방향 스캔 레이더는 모듈이 회전하지 못한 상태에서 2차원 영상을 획득할 수 있으나, 3차원 영상을 획득하기 위해서는 레이저 발생 모듈들과 광검출기들이 모두 회전해야 한다.
다음으로, 광각의 레이저 레이더는 광각의 3차원 영상을 획득하기 위해, 복수개의 카메라들을 배치하여 시각(Field of View, 이하 'FOV'라 칭하기로 함)을 증가시킨다. 다수개의 카메라들은 중심에서 가장자리로 갈수록 증가된 FOV값을 갖는다. 이때, 광각의 레이저 레이더는 촬영된 영상을 출력하는 다수의 카메라들을 갖는 깔대기 모양의 광각 촬영 영상 장치를 포함한다. 또한, 스티치 테이블을 생성하기 위한 깔대기 모양의 광각 스티칭 시스템을 포함할 수 있고, 스티치 테이블을 통해 조립된 휨 테이블을 만든다. 왜곡과 지각 문제의 보정을 위해 휨 테이블을 사용하여 촬영된 영상을 처리한다.
이러한, 기존의 레이저 레이더 시스템들은 전방향 스캔을 위해서 많은 개수의 송수신광 모듈을 구비해야 하는 문제점이 있었다. 또한, 기존의 레이저 레이더 시스템은 회전과 같은 모듈을 포함하거나 구조적인 문제로 인해 이동체 등의 내부에 장착되기 어려운 형태를 갖는 문제점이 있었다.
본 발명의 목적은 영상 정보의 획득을 위한 송수신광 유닛 모듈의 개수를 감소시킬 수 있는 레이저 레이더 장치 및 그것의 동작 방법을 제공함에 있다.
본 발명의 다른 목적은 감소된 크기를 가지며, 이동체의 내부에 장착될 수 있는 레이저 레이더 장치 및 그것의 동작 방법을 제공함에 있다.
본 발명에 따른 레이저 레이더 장치는 스캔 방향에 수직한 면을 기준으로 상기 스캔 방향의 반대 방향으로 오목한 형태로 배열되는 복수의 송수신광 모듈들을 포함하고, 상기 복수의 송수신광 모듈들 각각은 레이저 빔을 편향시켜 목표물에 조사하는 송신부, 및 상기 목표물로부터 반사되는 레이저 빔을 수신하는 수신부를 포함한다.
이 실시예에 있어서, 상기 송신부는 레이저 빔을 발생시키는 광원, 및 상기 광원에서 출력되는 레이저 빔을 편향시켜 상기 목표물에 대해 조사하는 광편향기를 포함한다.
이 실시예에 있어서, 상기 수신부는 상기 광편향기의 조사에 따라 상기 목표물로부터 반사되는 레이저 빔을 검출하는 광검출기를 포함한다.
이 실시예에 있어서, 상기 수신부는 상기 레이저 빔을 필터링하는 광필터, 및 상기 레이저 빔을 상기 광검출기로 출력하도록 초점을 형성하는 수광 렌즈를 더 포함한다.
이 실시예에 있어서, 상기 복수의 송수신광 모듈들을 적어도 두 개 이상의 그룹으로 나누고, 상기 구분된 그룹들 간에 서로 다른 시간 프레임에서 상기 송신기와 상기 수신기를 구동하는 것을 특징으로 한다.
이 실시예에 있어서, 상기 복수의 송수신광 모듈들 각각은 인접한 송수신광 모듈들을 서로 다른 그룹으로 구분하는 것을 특징으로 한다.
이 실시예에 있어서, 상기 복수의 송수신광 모듈들은 일측면에 위치한 송수신광 모듈을 기준으로 홀수 번째에 위치한 송수신광 모듈들을 포함한 제 1 그룹을 오드(Odd) 시간 프레임에 동작시키고, 짝수 번째에 위치한 송수신광 모듈들을 포함한 제 2 그룹을 이븐(Even) 시간 프레임에 동작시키고, 상기 오드 시간 프레임과 상기 이븐 시간 프레임은 상호 간에 시간 도메인 상에서 중복되지 않는 시간 프레임인 것을 특징으로 한다.
이 실시예에 있어서, 상기 복수의 송수신광 모듈들을 서로 다른 시간에 동작하도록 제어하고, 상기 복수의 송수신광 모듈들 각각으로부터의 레이저 빔 송수신을 통해 수신된 신호들을 판독하는 신호 판독부, 및 상기 판독된 신호들에 근거하여 상기 목표물의 위치, 거리, 및 영상 중 적어도 하나를 획득하는 영상 처리부를 더 포함한다.
이 실시예에 있어서, 상기 레이저 레이더 장치는 이동체에 결합되는 것을 특징으로 한다.
이 실시예에 있어서, 상기 복수의 송수신광 모듈들은 상기 이동체의 폭 방향을 기준으로 미리 결정된 이격 거리를 갖도록 배열되는 것을 특징으로 한다.
이 실시예에 있어서, 상기 복수의 송수신광 모듈들은 상기 이동체의 높이 방향을 기준으로 적층된 형태를 갖도록 배열되는 것을 특징으로 한다.
본 발명에 따른 레이저 레이더 장치의 동작 방법은 상기 레이저 레이더 장치는 스캔 방향에 수직한 면을 기준으로 상기 스캔 방향의 반대 방향으로 오목한 형태로 배열되는 복수의 송수신광 모듈들을 포함하며, 상기 복수의 송수신광 모듈들을 적어도 두 개의 그룹으로 구분하는 단계, 상기 적어도 두 개의 그룹들 각각을 서로 다른 시간 구간에서 레이저 빔을 목표물로 송수신하는 단계, 상기 레이저 빔의 송수신에 따라 수신된 신호들을 판독하는 단계, 및 상기 판독된 신호들에 근거하여 상기 목표물의 위치, 거리, 및 영상 중 적어도 하나를 획득하는 단계를 포함한다.
이 실시예에 있어서, 상기 목표물로 송수신하는 단계는 상기 복수의 송수신광 모듈들 각각에서, 레이저 빔을 발생시키는 단계, 상기 발생된 레이저 빔을 편향시켜 상기 목표물에 조사하는 단계, 및 상기 조사된 레이저 빔에 의해 상기 목표물로부터 반사되는 레이저 빔을 검출하는 단계를 포함한다.
이 실시예에 있어서, 적어도 두 개의 그룹으로 구분하는 단계는 상기 복수의 송수신광 모듈들 각각을 인접한 송수신광 모듈들 간에 서로 다른 그룹으로 구분하는 단계를 포함한다.
이 실시예에 있어서, 상기 적어도 두 개의 그룹으로 구분하는 단계는 일측면에 위치한 송수신광 모듈을 기준으로 홀수 번째에 위치한 송수신광 모듈들을 제 1 그룹으로 구분하고, 짝수 번째에 위치한 송수신광 모듈을 제 2 그룹으로 구분하는 단계를 더 포함하고, 상기 제 1 그룹은 오드 시간 프레임에 동작되고, 상기 제 2 그룹은 이븐 시간 프레임에 동작되며, 상기 오드 시간 프레임과 상기 이븐 시간 프레임은 상호 간에 시간 도메인 상에서 중복되지 않는 것을 특징으로 한다.
이 실시예에 있어서, 상기 레이저 레이더 장치는 이동체에 결합되는 것을 특징으로 한다.
본 발명의 레이저 레이더 장치는 스캔 방향 기준으로 음각의 내각형 형태로 배열된 송수신광 모듈들을 배치함으로써, 레이저 레이더 장치의 구성에 필요한 송수신광 유닛 모듈의 개수를 감소시킬 수 있다. 또한, 레이저 레이더 장치는 음각의 내각형 형태로 배열된 송수신광 모듈들을 포함함에 따라 비회전형 구조를 가짐으로 이동체의 내부의 공간에 장착할 수 있다.
도 1은 본 발명의 실시예에 따른 송수신광 모듈을 도시한 도면,
도 2는 본 발명의 실시예에 따른 송수신광 모듈의 송수신 동작에 따른 시각을 도시한 도면,
도 3은 본 발명의 실시예에 따른 레이저 레이더 장치를 도시한 도면,
도 4는 본 발명의 실시예에 따른 레이저 레이더 장치와 같은 개수의 송수신광 모듈들로 구성한 다른 레이더 장치를 도시한 도면,
도 5는 도 2에서 도시된 레이저 레이더 장치에서 오드(Odd) 시간 프레임의 구동 동작을 예시적으로 도시한 도면,
도 6은 도 2에서 도시된 레이저 레이더 장치에서 이븐(Even) 시간 프레임의 구동 동작을 도시한 도면,
도 7은 본 발명의 실시예에 따른 레이저 레이더 장치가 차량용으로 적용된 멀티섹션 동작을 도시한 도면,
도 8은 본 발명의 실시예에 따른 레이저 레이더 장치를 적용한 차량의 측면을 도시한 도면,
도 9는 본 발명의 실시예에 따른 레이저 레이더 장치를 적용한 차량의 정면을 도시한 도면, 및
도 10은 본 발명의 실시예에 따른 레이저 레이더 장치의 동작을 도시한 순서도이다.
도 2는 본 발명의 실시예에 따른 송수신광 모듈의 송수신 동작에 따른 시각을 도시한 도면,
도 3은 본 발명의 실시예에 따른 레이저 레이더 장치를 도시한 도면,
도 4는 본 발명의 실시예에 따른 레이저 레이더 장치와 같은 개수의 송수신광 모듈들로 구성한 다른 레이더 장치를 도시한 도면,
도 5는 도 2에서 도시된 레이저 레이더 장치에서 오드(Odd) 시간 프레임의 구동 동작을 예시적으로 도시한 도면,
도 6은 도 2에서 도시된 레이저 레이더 장치에서 이븐(Even) 시간 프레임의 구동 동작을 도시한 도면,
도 7은 본 발명의 실시예에 따른 레이저 레이더 장치가 차량용으로 적용된 멀티섹션 동작을 도시한 도면,
도 8은 본 발명의 실시예에 따른 레이저 레이더 장치를 적용한 차량의 측면을 도시한 도면,
도 9는 본 발명의 실시예에 따른 레이저 레이더 장치를 적용한 차량의 정면을 도시한 도면, 및
도 10은 본 발명의 실시예에 따른 레이저 레이더 장치의 동작을 도시한 순서도이다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 모호하지 않도록 하기 위해 생략될 것이라는 것을 유의하여야 한다.
본 발명은 레이저 레이더 시스템에서 적은 개수의 송수신광 모듈들을 활용하여 전방향 스캔을 할 수 있는 레이저 레이더 장치를 제공한다. 이러한 레이저 레이더 장치는 전방향 스캔을 통해 3차원의 영상을 획득할 수 있다.
도 1은 본 발명의 실시예에 따른 송수신광 모듈을 도시한 도면이다.
도 1을 참조하면, 송수신광 모듈(100)은 송신부(101)와 수신부(102)를 포함한다.
송신부(101)는 레이저 빔을 편향시켜 목표물(10)에 조사한다. 송신부(101)는 광원(110)과 광편향기(120)를 포함한다.
광원(110)은 레이저 빔을 발생시킨다. 광원(110)은 펄스 레이저를 포함할 수있다. 광원(110)은 발생된 레이저 빔을 광편항기(120)로 출력한다.
광편항기(120)는 광원(110)으로부터의 레이저 빔을 편향시켜 목표물(10)에 대해 조사한다. 이때, 광편향기(120)는 목표물(10)의 검출을 위한 서로 다른 영역들로 레이저빔을 조사할 수 있다. 광편향기(120)는 시간이 경과함에 따라 목표물(10)의 서로 다른 위치에 조사되도록 레이저빔의 조사 방향을 조절한다.
수신부(102)는 목표물(10)로부터 반사되는 레이저 빔을 수신한다. 수신부(102)는 광필터(130), 수광 렌즈(140), 및 광검출기(150)를 포함한다.
광필터(130)는 목표물(10)로부터 반사되는 레이저 빔을 필터링한다. 광필터(130)는 필터링된 레이저 빔을 수광 렌즈(140)로 출력한다. 이때, 광필터(130)는 필요에 따라 선택적으로 송수신광 모듈(100)에 포함될 수 있다.
수광 렌즈(140)는 레이저 빔을 광검출기(150)로 출력하도록 초점을 형성한다.
광검출기(150)는 수광 렌즈로부터 출력된 레이저 빔을 검출한다. 예를 들어, 광검출기(150)는 목표물의 각 지점(A, B)에 대한 거리 정보들(d1, d2)을 산출한다. 이를 통해, 광검출기(150) 또는 광검출기(150)의 신호를 수신하는 영상 처리부는 각 지점들(A, B)까지의 산출한 거리 정보들(d1, d2)을 이용하여 목표물의 3차원 영상을 결정할 수 있다.
도 2는 본 발명의 실시예에 따른 송수신광 모듈의 송수신 동작에 따른 시각을 도시한 도면이다.
도 2를 참조하면, 송수신광 모듈(100)은 레이저 빔의 조사, 즉 송신에 따른 영역(송신 시각(Field of View, 이하 'FOV'라 칭하기로 함))(20)과 레이저 빔의 반사, 즉 수신에 따른 영역(수신 FOV)(30)을 포함한다.
도 3은 본 발명의 실시예에 따른 레이저 레이더 장치를 도시한 도면이다.
도 3을 참조하면, 레이저 레이더 장치(200)는 복수의 송수신광 모듈들(211-219), 신호 판독부(220), 및 영상 처리부(230)를 포함한다. 여기서, 레이더 레이더 장치(200)는 전방향 스캐너 시스템이라 칭할 수도 있다.
복수의 송수신광 모듈들(211-219) 각각은 도 1과 도 2에서 설명된 송수신광 모듈(100)과 같은 구조를 갖는다. 복수의 송수신광 모듈들(211-219)은 전방향 스캔을 위해 배열된다. 복수의 송수신광 모듈들(211-219)은 스캔 방향(또는, 촬영 방향)(40)에 수직한 면(X-X')을 기준으로 스캔 방향(40)의 반대 방향(250)에 대해 오목한 형태로 배열된다. 예를 들면, 복수의 송수신광 모듈들(211-219)은 레이저 빔을 송수신하는 전면이 스캔 방향(40)을 향하도록, 반원의 호(251) 상에 일정 간격을 갖도록 이격하여 배치될 수 있다. 여기서, 반원의 호(251)는 스캔 방향(40)을 기준으로 오목한 형태를 갖는다. 또한, 복수의 송수신광 모듈들(211-219)은 높이 방향을 기준으로 적층된 형태를 갖도록 배열될 수도 있다. 이를 통해, 복수의 송수신광 모듈들(211-219)은 전방을 기준으로 약 0도 내지 약 180도의 범위 내의 방향을 스캔하도록 위치한다.
이때, 복수의 송수신광 모듈들(211-219) 각각의 송신부들에서 형성하는 송신 FOV들(201-209)이 도시된다. 예를 들어, 제 1 송수신광 모듈(211)의 송신부(TX1)에서 제 1 송신 FOV(201)를 형성하고, 제 2 송수신광 모듈(212)의 송신부(TX2)에서 제 2 송신 FOV(202)를 형성한다. 이와 같이, 나머지 송수신광 모듈들(213-219) 각각의 송신부들(TX3-TX9)에서 제 3 송신 FOV(203) 내지 제 9 송신 FOV(209)를 형성한다.
신호 판독부(220)는 복수의 송수신광 모듈들(211-219) 각각에 연결된다. 이를 통해, 신호 판독부(220)는 복수의 송수신광 모듈들(211-219) 각각으로부터의 레이저 빔 송수신을 통한 신호들을 수집한다. 신호 판독부(220)는 수집된 신호들을 판독하고, 판독된 신호들에 대한 정보를 영상 처리부(230)로 출력한다.
한편, 신호 판독부(220)는 복수의 송수신광 모듈들(211-219) 각각의 동작을 제어할 수도 있다.
영상 처리부(230)는 판독된 신호들에 대한 정보를 수신하고, 수신된 신호들을 영상 처리하여 전방향 스캔에 따른 영상을 획득할 수 있다. 이때, 영상 처리부(230)는 전방향(또는 전방향에 위치한 목표물)에 대한 2차원 영상뿐만 아니라 3차원 영상을 획득할 수 있다. 또한, 영상 처리부(230)는 판독된 신호들에 근거하여 전방향에 위치한 목표물의 위치 또는 거리를 획득할 수 있다.
영상 처리부(230)에서 3차원 영상을 획득하는 동작을 설명하면 다음과 같다. 영상 처리부(230)는 신호 판독부(220)에서 판독한 레이저 빔에 대한 정보를 이용하여 목표물까지의 각각의 거리 또는 반사광 세기 정보를 이용하여 목표물의 3차원 영상을 결정할 수 있다.
한편, 레이저 레이더 장치(200)는 아홉 개의 송수신광 모듈들을 포함하고 있으나, 예시적으로 설명된 것으로 더 많거나 더 적은 개수의 송수신광 모듈들을 포함할 수 있다.
이와 같이, 본 발명에서 제안된 레이저 레이더 장치(200)는 음각의 내각형의 형태로 복수의 송수신광 모듈들(211-219)을 배치한다. 예를 들어, 레이저 레이더 장치(200)는 차량과 같은 이동체에 탑재될 경우, 적은 개수의 송수신광 모듈들을 사용하여 구성할 수 있고, 복수의 송수신광 모듈들의 뒤쪽에 영상 처리부를 매립할 수 있는 충분한 공간을 가질 수 있다.
도 3에는 송수신광 모듈들(211-219)이 9개인 경우가 도시되어 있다. 그러나, 실시예에 따라 레이저 레이더 장치에 포함되는 송수신광 모듈들의 개수는 조정될 수 있다. 즉, 본 발명의 실시예에 따른 레이저 레이더 장치에 포함되는 송수신광 모듈의 개수는 제한되지 않으며, 각 송수신광 모듈의 FOV에 따라 다양한 개수의 송수신광 모듈이 포함될 수 있다. 예를 들어, 각 송수신광 모듈의 FOV가 도 3에 도시된 개별 송수신광 모듈들(211-219)의 FOV(201-209)보다 좁은 경우, 도 3에 도시된 것보다 많은 개수의 송수신광 모듈들이 사용될 수 있다. 또 다른 예에서, 각 송수신광 모듈의 FOV가 도 3에 도시된 개별 송수신광 모듈들(211-219)의 FOV(201-209)보다 넓은 경우, 도 3에 도시된 것보다 적은 개수의 송수신광 모듈들이 사용될 수도 있다.
도 4는 본 발명의 실시예에 따른 레이저 레이더 장치와 같은 개수의 송수신광 모듈들로 구성한 다른 레이더 장치를 도시한 도면이다.
도 4를 참조하면, 레이저 레이더 장치(300)는 복수의 송수신광 모듈들(311-319), 신호 판독부(320), 및 영상 처리부(330)를 포함한다.
여기서, 신호 판독부(320)와 영상 처리부(330)의 구성에 대한 설명은 도 4를 참조하기로 한다.
한편, 복수의 송수신광 모듈들(311-319) 각각은 도 1과 도 2에서 설명된 송수신광 모듈(100)과 같은 구조를 갖는다. 복수의 송수신광 모듈들(311-319)은 전방향 스캔을 위해 배열된다.
이때, 복수의 송수신광 모듈들(311-319)은 스캔 방향(또는, 촬영 방향)(40)에 수직한 면(X-X')을 기준으로 스캔 방향(40)과 동일한 방향(350)에 대해 볼록한 형태로 배열된다. 예를 들면, 복수의 송수신광 모듈들(311-319)은 레이저 빔을 송수신하는 전면이 스캔 방향(40)을 향하도록, 반원의 호(351) 상에 일정 간격을 갖도록 배치될 수 있다. 여기서, 반원의 호(351)는 스캔 방향(40)을 기준으로 볼록한 형태를 갖는다.
이때, 복수의 송수신광 모듈들(311-319) 각각의 송신부들에서 형성하는 송신 FOV들(301-309)이 도시된다. 예를 들어, 제 1 송수신광 모듈(311)의 송신부(TX1)에서 제 1 송신 FOV(301)를 형성하고, 제 2 송수신광 모듈(312)의 송신부(TX2)에서 제 2 송신 FOV(302)를 형성한다. 이와 같이, 나머지 송수신광 모듈들(313-319) 각각의 송신부들(TX3-TX9)에서 제 3 송신 FOV(303) 내지 제 9 송신 FOV(309)를 형성한다. 여기서, 송신 FOV들(301-309)을 예시적으로 설명하였지만, 수신 FOV들도 송신 FOV들(301-309)과 유사한 형태로 형성될 수 있다.
이를 통해, 도 4의 레이저 레이더 장치(300)는 도 3의 레이저 레이더 장치(200)와 동일한 개수의 송수신광 모듈들을 포함한다. 하지만, 레이저 레이더 장치(300)는 양각의 외각형 형태로 송수신광 모듈들(311-319)을 배열함에 따라 송신 FOV들(301-309)을 통해 목표물을 검출할 수 없는 영역이 존재한다. 따라서, 목표물의 검출을 위해 레이저 레이더 장치(300)는 레이저 레이더 장치(200) 대비 더 많은 개수의 송수신광 모듈들을 포함하여야 한다. 따라서, 양각의 외각형이 아닌 음각의 형태로 배열된 송수신광 모듈들(211-219)을 포함한 도 3의 레이저 레이더 장치(200)는 도 4의 레이저 레이더 장치(300) 대비 더 적은 개수의 송수신광 모듈로 구현할 수 있다.
또한, 도 4의 레이저 레이더 장치(300)는 9개의 송수신광 모듈들(311-319)을 포함하는 것으로 도시되어 있다. 그러나, 실시예에 따라 레이저 레이더 장치에 포함되는 송수신광 모듈들의 개수는 조정될 수 있다. 즉, 본 발명의 실시예에 따른 레이저 레이더 장치에 포함되는 송수신광 모듈의 개수는 제한되지 않으며, 각 송수신광 모듈의 FOV에 따라 다양한 개수의 송수신광 모듈이 포함될 수 있다. 예를 들어, 각 송수신광 모듈의 FOV가 도 4에 도시된 개별 송수신광 모듈들(311-319)의 FOV(301-309)보다 좁은 경우, 도 4에 도시된 것보다 많은 개수의 송수신광 모듈들이 사용될 수 있다. 또 다른 예에서, 각 송수신광 모듈의 FOV가 도 4에 도시된 개별 송수신광 모듈들(311-319)의 FOV(301-309)보다 넓은 경우, 도 3에 도시된 것보다 적은 개수의 송수신광 모듈들이 사용될 수도 있다.
도 5는 도 2에서 도시된 레이저 레이더 장치에서 오드(Odd) 시간 프레임의 구동 동작을 예시적으로 도시한 도면이다.
도 5를 참조하면, 레이저 레이더 장치(200)에서 인접한 FOV들(송신 영역(송신 FOV)들 또는 수신 영역(수신 FOV)들) 간에 중복(즉, 오버랩)될 수 있다. 이를 위해, 레이저 레이더 장치(200)는 제 1 시구간에 대응되는 오드 시간 프레임에서 제 1 송수신광 모듈(211), 제 3 송수신광 모듈(213), 제 5 송수신광 모듈(215), 제 7 송수신광 모듈(217), 및 제 9 송수신광 모듈(219)의 송신부들(TX1, TX3, TX5, TX7, TX9)을 동시에 동작시키거나 수신부들(RX1, RX3, RX5, RX7, RX9)을 동시에 동작시킨다. 이를 통해, 오드 시간 프레임에서 동작하는 송수신광 모듈들에 인접한 송수신광 모듈들이 동작하지 않음으로 중복이 발생되지 않는다.
예를 들면, 오드 시간 프레임에서 송신 영역들(송신 FOV들(201, 203, 205, 207, 209))에서 신호들이 전송될 때, 다른 송신 영역들(송신 FOV들(202, 204, 206, 208))에서 신호들이 전송되지 않는다. 이와 유사하게, 오드 시간 프레임에서 송신 영역들(송신 FOV들(201, 203, 205, 207, 209))에 대응되는 수신 영역들(수신 FOV들)에서만 신호들이 수신되고, 다른 송신 영역들(송신 FOV들(202, 204, 206, 208))에 대응되는 수신 영역들에서는 신호들이 수신되지 않는다.
도 6은 도 2에서 도시된 레이저 레이더 장치에서 이븐(Even) 시간 프레임의 구동 동작을 도시한 도면이다.
도 6을 참조하면, 레이저 레이더 장치(200)에서 인접한 FOV들(송신 영역(송신 FOV)들 또는 수신 영역(수신 FOV)들) 간에 중복(즉, 오버랩)될 수 있다. 이를 위해, 레이저 레이더 장치(200)는 제 2 시구간에 대응되는 이븐 시간 프레임에서 제 2 송수신광 모듈(212), 제 4 송수신광 모듈(214), 제 6 송수신광 모듈(216), 제 8 송수신광 모듈(218)의 송신부들(TX2, TX4, TX6, TX8)을 동시에 동작시키거나 수신부들(RX2, RX4, RX6, RX8)을 동시에 동작시킨다. 여기서, 제 2 시구간은 제 1 시구간과는 중복되지 않는 다른 시간 구간이다. 이를 통해, 이븐 시간 프레임에서 동작하는 송수신광 모듈들에 인접한 송수신광 모듈들이 동작하지 않음으로 중복이 발생되지 않는다.
예를 들면, 이븐 시간 프레임에서 송신 영역들(송신 FOV들(202, 204, 206, 208))에서 신호들이 전송될 때, 다른 송신 영역들(송신 FOV들(201, 203, 205, 207, 209))에서 신호들이 전송되지 않는다. 이와 유사하게, 이븐 시간 프레임에서 송신 영역들(송신 FOV들(202, 204, 206, 208))에 대응되는 수신 영역들(수신 FOV들)에서만 신호들이 수신되고, 다른 송신 영역들(송신 FOV들(201, 203, 205, 207, 209))에 대응되는 수신 영역들에서는 신호들이 수신되지 않는다.
도 5와 도 6에서는 두 개의 시간 프레임을 기준으로 설명하지만, 세 개 이상의 시간 프레임으로 나누어서 동작시킬 수도 있다.
만약, 세 개 이상의 시간 프레임으로 나누는 경우를 예를 들어 설명하면 다음과 같다. 제 1 시간 프레임에서 제 1 송수신광 모듈(211), 제 4 송수신광 모듈(214), 및 제 7 송수신광 모듈(217)의 송신부 또는 수신부가 동작한다. 다음으로, 제 2 시간 프레임에서 제 2 송수신광 모듈(212), 제 5 송수신광 모듈(215), 및 제 8 송수신광 모듈(218)의 송신부 또는 수신부가 동작한다. 마지막으로, 제 3 시간 프레임에서 제 3 송수신광 모듈(213), 제 6 송수신광 모듈(216), 및 제 9 송수신광 모듈(219)의 송신부 또는 수신부가 동작한다. 여기서도, 제 1 시간 프레임 내지 제 3 시감 프레임 각각은 중복되지 않는다.
도 3 및 도 4를 참조하여 설명한 바와 같이, 본 발명의 실시예에 따른 레이저 레이더 장치에 포함되는 송수신광 모듈들의 개수는 제한되지 않으며 필요에 따라 다양한 개수의 송수신광 모듈들을 포함할 수 있다. 예를 들어, 개별 송수신광 모듈의 FOV가 상대적으로 넓은 경우 레이저 레이더 장치는 더 적은 개수의 송수신광 모듈들을 포함할 수 있고, 개별 송수신광 모듈의 FOV가 상대적으로 좁은 경우 레이저 레이더 장치는 더 많은 개수의 송수신광 모듈들을 포함할 수 있다.
도 7은 본 발명의 실시예에 따른 레이저 레이더 장치가 차량용으로 적용된 멀티섹션 동작을 도시한 도면이다.
도 7을 참조하면, 레이저 레이더 장치(200)는 이동체, 일예로 차량(50)에 부착될 수 있다. 이때, 레이저 레이더 장치(200)는 차량(50)의 전방의 180도의 전방향을 스캔할 수 있다. 예를 들면, 레이저 레이더 장치는 자율 주행을 위한 어플리케이션과 함께 동작할 수 있다. 레이저 레이더 장치(200)는 차량(50)의 폭 방향을 기준으로 미리 결정된 이격 거리를 갖도록 배열되어 있다. 또한, 레이저 레이더 장치(200)는 차량(50)의 높이 방향을 기준으로 적층된 형태를 갖도록 배열될 수도 있다.
도 8은 본 발명의 실시예에 따른 레이저 레이더 장치를 적용한 차량의 측면을 도시한 도면이다.
도 8을 참조하면, 레이저 레이더 장치(200)는 일예로, 차량(50)의 룸미러 부근에 위치할 수 있다. 이를 통해, 레이저 레이더 장치는 전방에 있는 목표물(60)에 대한 목표물의 위치, 거리, 및 영상 중 적어도 하나를 획득할 수 있다.
도 9는 본 발명의 실시예에 따른 레이저 레이더 장치를 적용한 차량의 정면을 도시한 도면이다.
도 9를 참조하면, 레이저 레이더 장치(200)는 차량(50)의 정면의 중심에 위치할 수 있다.
도 8과 도 9는 레이저 레이더 장치(200)가 차량(50)에 부착된 경우를 예시적으로 설명한 것으로, 상술한 위치 이외의 다른 위치들에도 위치할 수 있다.
도 10은 본 발명의 실시예에 따른 레이저 레이더 장치의 동작을 도시한 순서도이다.
도 10을 참조하면, 레이저 레이더 장치(200)는 복수의 송수신광 모듈들을 적어도 두 개의 그룹으로 구분한다(410단계). 이때, 레이저 레이더 장치(200)는 서로 인접한 송수신광 모듈들 간에 동일한 그룹에 포함되지 않도록 구분한다. 즉, 인접한 송수신광 모듈들 간에는 서로 다른 그룹으로 구분된다.
레이저 레이더 장치(200)는 구분된 그룹들 각각의 송수신광 모듈들을 서로 다른 시간 구간에서 동작시킨다(420단계). 이를 통해, 레이저 레이더 장치(200)는 시분할 방식으로 레이저 빔을 번갈아가며 조사할 수 있다.
레이저 레이더 장치(200)는 레이저 빔의 송수신에 따라 수신된 신호들을 판독한다(430단계).
레이저 레이더 장치(200)는 판독된 신호들에 근거하여 목표물의 위치, 거리, 및 영상 중 적어도 하나를 획득한다(440단계).
본 발명의 레이저 레이더 장치는 양각의 외각형의 회전체가 아닌 형태를 가짐으로써 이동체의 내부에 내장이 가능하며, 송수신광 모듈에 포함된 송수신부를 번갈아가며 동작함으로써 전방의 물체를 검출할 수 있다. 하나의 고정된 송수신광 모듈이 모든 전방향을 스캔할 수 없고, 하나의 송수신광 모듈을 통해서 스캔할 수 있는 구역이 결정되어 있다. 따라서, 레이저 레이더 장치는 음각의 내각형으로 송수신광 모듈들이 배열되도록 함으로써, 적은 수의 송수신광 모듈을 이용하여 전체 레이저 레이더 장치의 부피를 감소시킬 수 있다.
레이저 레이더 장치는 송수신광 모듈들이 위치한 후면의 공간이 양각의 외각형 구조를 갖는 레이저 레이더 장치에 비해서 더 크다. 이를 통해, 레이저 레이더 장치는 3차원 영상을 처리할 수 있는 영상 처리부를 장치 내부에 동시에 탑재할 수 있다.
또한, 레이저 레이더 장치는 이동체에 탑재될 때, 외부에 돌출되지 않고, 내부의 공간에 장착이 가능한 비회전형 구조를 가짐으로 장착 비용을 감소시킬 수도 있다.
본 발명에 제안된 레이저 레이더 장치는 예를 들어, 3차원 디스플레이 TV, 목표물 탐지를 위한 군용 장비, 및 자율 주행과 같은 동작을 위한 3차원 영상 획득을 위한 차량 등에 활용될 수 있으며, 상술한 분야 이외의 다양한 분야 및 장치들에 활용될 수 있다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10: 목표물 100: 송수신광 모듈
101: 송신부 102: 수신부
110: 광원 120: 광편향기
130: 광필터 140: 수광렌즈
160: 광검출기 50: 차량
101: 송신부 102: 수신부
110: 광원 120: 광편향기
130: 광필터 140: 수광렌즈
160: 광검출기 50: 차량
Claims (16)
- 스캔 방향에 수직한 면을 기준으로 상기 스캔 방향의 반대 방향으로 오목한 형태로 배열되는 복수의 송수신광 모듈들을 포함하고,
상기 복수의 송수신광 모듈들 각각은
레이저 빔을 편향시켜 목표물에 조사하는 송신부; 및
상기 목표물로부터 반사되는 레이저 빔을 수신하는 수신부를 포함하고,
상기 복수의 송수신광 모듈들을 적어도 두 개 이상의 그룹으로 나누어지고, 상기 나누어진 그룹들 간에 서로 다른 시간 프레임에서 상기 송신부와 상기 수신부를 구동하고,
상기 복수의 송수신광 모듈들 각각은 인접한 송수신광 모듈들을 서로 다른 그룹으로 구분하고,
상기 복수의 송수신광 모듈들은 일측면에 위치한 송수신광 모듈을 기준으로 홀수 번째에 위치한 송수신광 모듈들을 포함한 제 1 그룹을 오드(Odd) 시간 프레임에 동작시키고, 짝수 번째에 위치한 송수신광 모듈들을 포함한 제 2 그룹을 이븐(Even) 시간 프레임에 동작시키고,
상기 오드 시간 프레임과 상기 이븐 시간 프레임은 상호 간에 시간 도메인 상에서 중복되지 않는 시간 프레임인 것을 특징으로 하는 레이저 레이더 장치. - 제 1 항에 있어서,
상기 송신부는
레이저 빔을 발생시키는 광원; 및
상기 광원에서 출력되는 레이저 빔을 편향시켜 상기 목표물에 대해 조사하는 광편향기를 포함하는 레이저 레이더 장치. - 제 2 항에 있어서,
상기 수신부는
상기 광편향기의 조사에 따라 상기 목표물로부터 반사되는 레이저 빔을 검출하는 광검출기를 포함하는 레이저 레이더 장치. - 제 3 항에 있어서,
상기 수신부는
상기 레이저 빔을 필터링하는 광필터; 및
상기 레이저 빔을 상기 광검출기로 출력하도록 초점을 형성하는 수광 렌즈를 더 포함하는 레이저 레이더 장치. - 삭제
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 복수의 송수신광 모듈들을 서로 다른 시간에 동작하도록 제어하고, 상기 복수의 송수신광 모듈들 각각으로부터의 레이저 빔 송수신을 통해 수신된 신호들을 판독하는 신호 판독부; 및
상기 판독된 신호들에 근거하여 상기 목표물의 위치, 거리, 및 영상 중 적어도 하나를 획득하는 영상 처리부를 더 포함하는 레이저 레이더 장치. - 제 8 항에 있어서,
상기 레이저 레이더 장치는 이동체에 결합되는 것을 특징으로 하는 레이저 레이더 장치. - 제 9 항에 있어서,
상기 복수의 송수신광 모듈들은 상기 이동체의 폭 방향을 기준으로 미리 결정된 이격 거리를 갖도록 배열되는 것을 특징으로 하는 레이저 레이더 장치. - 제 9 항에 있어서,
상기 복수의 송수신광 모듈들은 상기 이동체의 높이 방향을 기준으로 적층된 형태를 갖도록 배열되는 것을 특징으로 하는 레이저 레이더 장치. - 레이저 레이더 장치의 동작 방법에 있어서,
상기 레이저 레이더 장치는 스캔 방향에 수직한 면을 기준으로 상기 스캔 방향의 반대 방향으로 오목한 형태로 배열되는 복수의 송수신광 모듈들을 포함하며,
상기 복수의 송수신광 모듈들을 적어도 두 개의 그룹으로 구분하는 단계;
상기 적어도 두 개의 그룹들 각각을 서로 다른 시간 구간에서 레이저 빔을 목표물로 송수신하는 단계;
상기 레이저 빔의 송수신에 따라 수신된 신호들을 판독하는 단계; 및
상기 판독된 신호들에 근거하여 상기 목표물의 위치, 거리, 및 영상 중 적어도 하나를 획득하는 단계를 포함하고,
상기 적어도 두 개의 그룹으로 구분하는 단계는:
상기 복수의 송수신광 모듈들 각각을 인접한 송수신광 모듈들 간에 서로 다른 그룹으로 구분하는 단계; 및
일측면에 위치한 송수신광 모듈을 기준으로 홀수 번째에 위치한 송수신광 모듈들을 제 1 그룹으로 구분하고, 짝수 번째에 위치한 송수신광 모듈을 제 2 그룹으로 구분하는 단계를 더 포함하고,
상기 제 1 그룹은 오드 시간 프레임에 동작되고, 상기 제 2 그룹은 이븐 시간 프레임에 동작되며, 상기 오드 시간 프레임과 상기 이븐 시간 프레임은 상호 간에 시간 도메인 상에서 중복되지 않는 것을 특징으로 하는 동작 방법. - 제 12 항에 있어서,
상기 목표물로 송수신하는 단계는
상기 복수의 송수신광 모듈들 각각에서, 레이저 빔을 발생시키는 단계;
상기 발생된 레이저 빔을 편향시켜 상기 목표물에 조사하는 단계; 및
상기 조사된 레이저 빔에 의해 상기 목표물로부터 반사되는 레이저 빔을 검출하는 단계를 포함하는 동작 방법. - 삭제
- 삭제
- 제 12 항에 있어서,
상기 레이저 레이더 장치는 이동체에 결합되는 것을 특징으로 하는 동작 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/517,119 US9733344B2 (en) | 2013-11-25 | 2014-10-17 | Laser radar apparatus and method for operating thereof |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130143942 | 2013-11-25 | ||
KR1020130143942 | 2013-11-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150061547A KR20150061547A (ko) | 2015-06-04 |
KR102178860B1 true KR102178860B1 (ko) | 2020-11-18 |
Family
ID=53499501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140071586A KR102178860B1 (ko) | 2013-11-25 | 2014-06-12 | 레이저 레이더 장치 및 그것의 동작 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102178860B1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102457029B1 (ko) * | 2016-09-20 | 2022-10-24 | 이노비즈 테크놀로지스 엘티디 | Lidar 시스템 및 방법 |
KR102181867B1 (ko) * | 2018-09-14 | 2020-11-24 | 한국전자기술연구원 | 무회전 스캐닝라이다 및 그것을 이용한 하이브리드 라이다 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070181810A1 (en) * | 2006-02-06 | 2007-08-09 | Tan Michael R T | Vertical cavity surface emitting laser (VCSEL) array laser scanner |
JP4258570B2 (ja) * | 2008-02-08 | 2009-04-30 | 住友電気工業株式会社 | 風速レーダ |
WO2011132617A1 (ja) * | 2010-04-20 | 2011-10-27 | 富士フイルム株式会社 | 撮像装置及び固体撮像素子の駆動方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070029294A (ko) * | 2005-09-09 | 2007-03-14 | 이광재 | 레이저 레이더를 위한 양극성 신호방식 및 장치 |
KR20100136163A (ko) * | 2009-06-18 | 2010-12-28 | 한국전자통신연구원 | 레이저 레이더 |
KR101308409B1 (ko) * | 2009-12-21 | 2013-09-12 | 한국전자통신연구원 | 물체형상 3차원 측정 장치 |
KR20120069487A (ko) * | 2010-12-20 | 2012-06-28 | 한국전자통신연구원 | 능동형 광 레이더 장치 |
-
2014
- 2014-06-12 KR KR1020140071586A patent/KR102178860B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070181810A1 (en) * | 2006-02-06 | 2007-08-09 | Tan Michael R T | Vertical cavity surface emitting laser (VCSEL) array laser scanner |
JP4258570B2 (ja) * | 2008-02-08 | 2009-04-30 | 住友電気工業株式会社 | 風速レーダ |
WO2011132617A1 (ja) * | 2010-04-20 | 2011-10-27 | 富士フイルム株式会社 | 撮像装置及び固体撮像素子の駆動方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20150061547A (ko) | 2015-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11558566B2 (en) | Synchronized spinning LIDAR and rolling shutter camera system | |
US9733344B2 (en) | Laser radar apparatus and method for operating thereof | |
US20240080414A1 (en) | Rotating lidar with co-aligned imager | |
US20180302611A1 (en) | 3D Time of Flight Camera and Method of Detecting Three-Dimensional Image Data | |
US11117529B2 (en) | Capturing camera | |
CN106716240A (zh) | 基于一维转向光学相位阵列的三维映射二维扫描激光雷达及其使用方法 | |
WO2020075525A1 (ja) | センサフュージョンシステム、同期制御装置、及び同期制御方法 | |
US20170234977A1 (en) | Lidar system and multiple detection signal processing method thereof | |
TW201702563A (zh) | 對來自雷射指示器之脉衝重複頻率雷射能量的偵測、追踪及解碼 | |
KR101799522B1 (ko) | 교환렌즈 형태를 채용한 3차원 영상 획득 장치 | |
KR101737085B1 (ko) | 3차원 카메라 | |
KR101884781B1 (ko) | 3차원 스캐닝 시스템 | |
CN102789114A (zh) | 一种可见-红外双通摄像机 | |
KR101545971B1 (ko) | 복합 영상 센싱 시스템 | |
US20190011539A1 (en) | Light Projecting/Reception Unit And Radar | |
CN104967769A (zh) | 一种车底扫描系统和方法 | |
US11675055B2 (en) | LiDAR systems and methods with beam steering and wide angle signal detection | |
CN108279421B (zh) | 带有高分辨率彩色图像的飞行时间相机 | |
KR102178860B1 (ko) | 레이저 레이더 장치 및 그것의 동작 방법 | |
US20170332068A1 (en) | System for three-dimensional image capture while moving | |
JP2010152881A (ja) | バーコード・スキャナ及びバーコード走査方法 | |
KR20220023979A (ko) | 위치 검출 시스템, 화상 처리 장치, 위치 검출 방법 및 위치 검출 프로그램 | |
US20240098377A1 (en) | Imaging device and imaging method | |
JP2020071487A (ja) | カメラ装置、運転支援システムおよび車両 | |
KR20180130378A (ko) | 산란매질 신호처리 기능이 탑재된 라이트필드 카메라 어뎁터 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |