KR20150076760A - 차량용 tof 카메라 및 그의 구동 방법 - Google Patents

차량용 tof 카메라 및 그의 구동 방법 Download PDF

Info

Publication number
KR20150076760A
KR20150076760A KR1020130165320A KR20130165320A KR20150076760A KR 20150076760 A KR20150076760 A KR 20150076760A KR 1020130165320 A KR1020130165320 A KR 1020130165320A KR 20130165320 A KR20130165320 A KR 20130165320A KR 20150076760 A KR20150076760 A KR 20150076760A
Authority
KR
South Korea
Prior art keywords
laser diode
driving
sequence
light
light receiving
Prior art date
Application number
KR1020130165320A
Other languages
English (en)
Other versions
KR101770872B1 (ko
Inventor
박세경
김병성
정성희
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020130165320A priority Critical patent/KR101770872B1/ko
Priority to DE102014009647.5A priority patent/DE102014009647B4/de
Priority to CN201410291965.0A priority patent/CN104748731A/zh
Priority to US14/316,543 priority patent/US9244171B2/en
Publication of KR20150076760A publication Critical patent/KR20150076760A/ko
Application granted granted Critical
Publication of KR101770872B1 publication Critical patent/KR101770872B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters

Abstract

다수의 레이저 다이오드를 광원으로 이용하여, 탐지 거리를 증가시킬 수 있는 차량용 TOF 카메라 및 그의 구동 방법에 관한 것으로, 피사체에 빛을 조사하는 발광부와, 피사체에서 반사되어 되돌아오는 빛에 기초하여, 피사체와의 거리를 탐지하고, 빛의 주파수 변조를 위한 변조 신호를 생성하는 수광부와, 수광부의 변조 신호에 따라, 발광부의 구동을 제어하는 제어부를 포함하고, 발광부는, 다수의 레이저 다이오드를 포함하며, 제어부는, 수광부의 변조 신호에 따라, 레이저 다이오드의 구동 순서를 결정하여, 레이저 다이오드의 구동을 제어하고, 수광부의 변조 신호에 따라, 레이저 다이오드의 전류값을 결정하여, 구동되는 레이저 다이오드의 전류량을 제어할 수 있다.

Description

차량용 TOF 카메라 및 그의 구동 방법{TOF camera for vehicle and method for driving thereof}
본 발명은 차량용 TOF 카메라에 관한 것으로, 보다 상세하게는 다수의 레이저 다이오드를 광원으로 이용하여, 탐지 거리를 증가시킬 수 있는 차량용 TOF 카메라 및 그의 구동 방법에 관한 것이다.
일반적으로, TOF(Time of Flight) 카메라는, 소정의 주파수로 변조된 빛이 피사체에서 반사되어 되돌아오는 과정에서, 발생되는 위상의 지연 등을 이용하여, 피사체를 탐지하는 것으로, 지형측량 분야 또는 피사체의 자세제어 분야 및 차량의 추돌방지장치 등에 사용되고 있다.
TOF 카메라의 동작 원리를 살펴보면, TOF 카메라는, 소정의 중심 파장을 갖는 빛을 출사하는 광원을 포함하고 있으며, 광원에서, 출사되는 빛을 소정 주파수로 변조시켜 탐지하고자 하는 피사체에 조사하게 된다.
이 후, 피사체에 조사된 빛은 반사되어 TOF 카메라로 되돌아 오게 되며, TOF 카메라는, 내장된 센서를 이용하여, 되돌아오는 빛을 검출하게 된다.
이 경우, TOF 카메라에서, 출사되는 빛과 피사체에 반사되어 되돌아오는 빛의 위상을 대비하게 되면, 피사체까지의 거리를 알 수 있게 된다.
도 1은 일반적인 TOF 카메라를 보여주는 블럭구성도이다.
도 1에 도시된 바와 같이, TOF 카메라는, 물체(30)로부터 반사되는 반사신호를 수광하는 수광부(10)와, 변조된 광선을 물체(30)에 조사하는 발광부(20)를 포함할 수 있다.
여기서, 발광부(20)는, 수광부(10)에서 제공되는 변조 신호를 이용하여, 각 발광 소자(22)를 제어함으로써, 변조된 광선을 물체(30)에 조사할 수 있게 된다.
그리고, 변조된 광선은, 물체(30)에서 반사되어 수광부(10)의 수광 렌즈 모듈(12)을 통해 수광소자(14)에 집광하게 된다.
이어, 수광 소자(14)는, 빛에너지를 전기에너지로 변환하여 신호처리 모듈(16)에 전달하고, 신호처리 모듈(16)에서는, 입력신호와 변조신호 사이의 위상 차이를 이용하여 물체의 거리를 판단할 수 있다.
하지만, 기존의 TOF 카메라는, 발광 다이오드를 광원으로 이용하므로, 탐지 거리가 짧은 문제가 있었다.
따라서, 발광 다이오드를 대신하여, 레이저 다이오드를 광원으로 사용하는 경우, 레이저 다이오드는, 발광 다이오드에 비해, 상대적으로 강한 광 파워를 얻을 수 있어, 동일한 전류 대비 향상된 탐지 거리를 얻을 수 있다.
도 2는 발광 다이오드와 레이저 다이오드의 광 파워 특성을 비교한 그래프이다.
도 2에 도시된 바와 같이, 레이저 다이오드는, 발광 다이오드에 비해, 동일한 전류 대비, 상대적으로 강한 광 파워를 얻을 수 있는 것을 알 수 있다.
따라서, 레이저 다이오드는, 발광 다이오드에 비해, 탐지 거리가 향상되고, 파장 대역이 좁아 외광에 더 강인한 특성을 가지고 있다.
여기서, TOF 카메라는, 기본적으로 변조 신호를 기반으로 발광 소자를 동작시키기 때문에, 레이저 다이오드를 사용하기 위해서는, 펄스 모드로 동작시켜야 한다.
하지만, 펄스드 레이저 다이오드(pulsed laser diode)는, 높은 피크 파워(peak power)를 가진 반면에 발광 시, 발생한 열을 제거하기 위한 긴 냉각 시간이 필요하게 된다.
따라서, 레이저 다이오드의 긴 듀티 사이클(duty cycle)로 인하여, TOF 카메라의 빠른 변조 시간에 맞추어서 동작시키기는 어려운 문제가 있었다.
본 발명의 일실시예가 이루고자 하는 기술적 과제는, 다수의 레이저 다이오드를 변조 신호에 맞추어 순차적으로 동작시킴으로써, 탐지 거리가 향상되고, 외광에 강한 차량용 TOF 카메라 및 그의 구동 방법을 제공하고자 한다.
본 발명의 일실시예에 의한 차량용 TOF 카메라는, 피사체에 빛을 조사하는 발광부와, 피사체에서 반사되어 되돌아오는 빛에 기초하여, 피사체와의 거리를 탐지하고, 빛의 주파수 변조를 위한 변조 신호를 생성하는 수광부와, 수광부의 변조 신호에 따라, 발광부의 구동을 제어하는 제어부를 포함하고, 발광부는, 다수의 레이저 다이오드를 포함하며, 제어부는, 수광부의 변조 신호에 따라, 레이저 다이오드의 구동 순서를 결정하여, 레이저 다이오드의 구동을 제어하고, 수광부의 변조 신호에 따라, 레이저 다이오드의 전류값을 결정하여, 구동되는 레이저 다이오드의 전류량을 제어할 수 있다.
여기서, 제어부는, 수광부의 변조 신호에 따라, 레이저 다이오드의 구동 순서를 결정하는 구동 순서 결정부와, 결정된 구동 순서에 따라, 레이저 다이오드의 구동을 제어하는 구동 제어부와, 수광부의 변조 신호에 따라, 레이저 다이오드의 전류값을 결정하고, 구동 제어부의 제어 신호에 의해, 구동되는 레이저 다이오드의 전류량을 제어하는 전류 제어부를 포함할 수 있다.
그리고, 제어부는, 레이저 다이오드의 듀티 사이클에 따라, 구동하고자 하는 레이저 다이오드의 개수를 조절하여, 발광부의 구동을 제어할 수 있다.
이어, 제어부는, 레이저 다이오드의 듀티 사이클에 따라, 레이저 다이오드의 구동 순서를 조절하여, 발광부의 구동을 제어할 수 있다.
본 발명의 일실시예에 의한 차량용 TOF 카메라의 구동 방법은, 수광부의 변조 신호에 따라, 레이저 다이오드의 구동 순서를 결정하는 단계와, 결정된 구동 순서에 따라, 레이저 다이오드의 구동을 제어하는 단계와, 수광부의 변조 신호에 따라, 레이저 다이오드의 전류값을 결정하고, 구동 순서에 의해, 선택 구동되는 레이저 다이오드의 전류량을 제어하는 단계와, 구동 순서에 따라, 구동되는 레이저 다이오드로, 결정된 전류값에 상응하는 전류를 인가하는 단계를 포함하여 이루어질 수 있다.
본 발명의 일실시예에 의하면, 다수의 레이저 다이오드를 변조 신호에 맞추어 순차적으로 동작시킴으로써, 탐지 거리가 향상되고, 외광에 강하여, 차량용 TOF 카메라의 성능이 향상될 수 있는 효과가 있다.
도 1은 일반적인 TOF 카메라를 보여주는 블럭구성도
도 2는 발광 다이오드와 레이저 다이오드의 광 파워 특성을 비교한 그래프
도 3은 본 발명에 따른 차량용 TOF 카메라를 보여주는 블럭 구성도
도 4는 도 3의 제어부를 보여주는 블럭 구성도
도 5는 도 4의 제어부에 의해 순차적으로 구동되는 레이저 다이오드의 동작 주기를 보여주는 도면
도 6은 레이저 다이오드의 듀티 사이클에 따라, 구동하고자 하는 레이저 다이오드의 개수를 조절하는 것을 보여주는 실시예
도 7은 레이저 다이오드의 듀티 사이클에 따라, 레이저 다이오드의 구동 순서를 조절하는 것을 보여주는 실시예
도 8은 본 발명에 따른 차량용 TOF 카메라의 구동 방법을 설명하기 위한 흐름도
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 3은 본 발명에 따른 차량용 TOF 카메라를 보여주는 블럭 구성도이다.
도 3에 도시된 바와 같이, 본 발명의 TOF 카메라는, 변조 신호를 생성하는 수광부(100)와, 다수의 레이저 다이오드(210)를 갖는 발광부(200)를 포함할 수 있다.
그리고, 추가적으로, 본 발명은, 수광부(100)의 변조 신호에 따라, 발광부(200)의 구동을 제어하는 제어부(400)를 더 포함할 수 있다.
즉, 본 발명의 발광부(200)는, 피사체(300)에 빛을 조사할 수 있고, 수광부(100)는, 피사체(300)에서 반사되어 되돌아오는 빛에 기초하여, 피사체(300)와의 거리를 탐지하고, 빛의 주파수 변조를 위한 변조 신호를 생성할 수 있다.
그리고, 제어부(400)는, 수광부(100)의 변조 신호에 따라, 발광부(200)의 구동을 제어할 수 있다.
여기서, 발광부(200)는, 다수의 레이저 다이오드(210)들을 포함할 수 있는데, 레이저 다이오드(210)는, 발광 다이오드에 비해, 동일한 전류 대비, 상대적으로 강한 광 파워를 얻을 수 있는 장점이 있다.
따라서, 레이저 다이오드는, 발광 다이오드에 비해, 탐지 거리가 향상되고, 파장 대역이 좁아 외광에 더 강인한 특성을 가지고 있다.
하지만, 레이저 다이오드는, 긴 듀티 사이클(duty cycle)로 인하여, TOF 카메라의 빠른 변조 시간에 맞추어서 동작시키기는 어려운 문제가 있지만, 제어부(400)는, 다수의 레이저 다이오드(210)들을 순차적으로 구동시킴으로써, 문제를 해결할 수 있다
예를 들면, 제어부(400)는, 수광부(100)의 변조 신호에 따라, 레이저 다이오드(210)들의 구동 순서를 결정하여, 레이저 다이오드(210)의 구동을 제어할 수 있고, 제어부(400)는, 수광부(100)의 변조 신호에 따라, 레이저 다이오드(210)의 전류값을 결정하여, 구동되는 레이저 다이오드(210)의 전류량을 제어할 수 있다.
즉, 제어부(400)는, 수광부(100)의 변조 신호에 따라, 레이저 다이오드(210)들의 구동 순서를 결정하고, 결정된 구동 순서에 따라, 레이저 다이오드(210)들의 구동을 제어할 수 있다.
그리고, 제어부(400)는, 수광부(100)의 변조 신호에 따라, 레이저 다이오드(210)의 전류값을 결정하고, 구동 순서에 의해, 선택 구동되는 레이저 다이오드(210)의 전류량을 제어하며, 구동 순서에 따라, 구동되는 레이저 다이오드(210)로, 결정된 전류값에 상응하는 전류를 인가할 수 있다.
도 4는 도 3의 제어부를 보여주는 블럭 구성도이다.
도 4에 도시된 바와 같이, 제어부(400)는, 구동 순서 결정부(410), 구동 제어부(420), 그리고 전류 제어부(430)를 포함할 수 있다.
여기서, 구동 순서 결정부(410)는, 수광부의 변조 신호에 따라, 레이저 다이오드들의 구동 순서를 결정할 수 있다.
경우에 따라, 구동 순서 결정부(410)는, 수광부로부터 변조 신호가 수신되면, 미리 설정된 레이저 다이오드의 구동 순서에 따라, 레이저 다이오드의 구동 순서를 결정할 수 있다.
다른 경우로서, 구동 순서 결정부(410)는, 수광부로부터 변조 신호가 수신되면, 레이저 다이오드의 구동 순서에 대한 변경 요청이 있는지를 확인하고, 변경 요청이 있으면, 미리 설정된 레이저 다이오드의 구동 순서를, 다른 레이저 다이오드의 구동 순서로 변경하여 결정할 수도 있다.
다음, 구동 제어부(420)는, 결정된 구동 순서에 따라, 레이저 다이오드들의 구동을 제어할 수 있다.
즉, 구동 제어부(420)는, 결정된 구동 순서에 따라, 레이저 다이오드에 인에이블(enable) 신호를 인가하여, 구동하고자 하는 레이저 다이오드를 결정할 수 있다.
여기서, 구동 순서 결정부(410)는, 내부 카운터로서, 순환 카운터 형태로 사용하여 순차적으로 레이저 다이오드를 구동시키는 것으로, 미리 설정된 레이저 다이오드의 구동 순서에 따라, 레이저 다이오드의 구동 순서를 결정할 수 있다.
경우에 따라, 사용자의 목적에 따라, 레이저 다이오드의 구동 순서를 변경하고자 하는 경우에는, 구동 순서를 정의하고 있는 특정한 모듈로 대체될 수 있다.
즉, 구동 순서 결정부(410)는, 사용자로부터 레이저 다이오드의 구동 순서에 대한 변경 요청이 있다면, 미리 설정된 레이저 다이오드의 구동 순서를, 다른 레이저 다이오드의 구동 순서로 변경하여 결정할 수도 있다.
여기서, 다른 레이저 다이오드의 구동 순서도, 미리 설정되어 메모리에 저장되어 있을 수도 있다.
또한, 레이저 다이오드의 종류에 따라, 개별적인 냉각 장치가 필요한 경우에는, 개별적인 냉각 장치의 동작 인에이블 신호로 사용될 수도 있다.
예를 들면, 구동 제어부(420)는, 발광부(200)가, 레이저 다이오드(210)를 냉각시키기 위한 개별 냉각 장치를 다수개 포함하면, 결정된 구동 순서에 따라, 냉각 장치의 구동을 제어할 수도 있다.
다음, 전류 제어부(430)는, 수광부의 변조 신호에 따라, 레이저 다이오드의 전류값을 결정하고, 구동 제어부(420)의 제어 신호에 의해, 구동되는 레이저 다이오드의 전류량을 제어할 수 있다.
여기서, 전류 제어부(430)는, 변조 신호에 맞게 빛의 발광량을 조절하기 위하여, 레이저 다이오드로 공급되는 전류량을 제어할 수 있다.
경우에 따라, 전류 제어부(430)는, 전류를 각각의 레이저 다이오드로 전달해야 하므로, 먹스(Mux)를 포함할 수 있으며, 전류 제어부(430)의 제어 신호에 의해, 구동하고자 하는 레이저 다이오드로 전류량이 조절된 전류를 공급할 수 있다.
이처럼, 본 발명의 제어부(400)는, 수광부의 변조 신호에 따라, 레이저 다이오드(210)들의 구동 순서를 결정하여, 레이저 다이오드(210)의 구동을 제어할 수 있고, 제어부(400)는, 수광부의 변조 신호에 따라, 레이저 다이오드(210)의 전류값을 결정하여, 구동되는 레이저 다이오드(210)의 전류량을 제어할 수 있다.
즉, 제어부(400)는, 수광부의 변조 신호에 따라, 레이저 다이오드(210)들의 구동 순서를 결정하고, 결정된 구동 순서에 따라, 레이저 다이오드(210)들의 구동을 제어할 수 있다.
그리고, 제어부(400)는, 수광부의 변조 신호에 따라, 레이저 다이오드(210)의 전류값을 결정하고, 구동 순서에 의해, 선택 구동되는 레이저 다이오드(210)의 전류량을 제어하며, 구동 순서에 따라, 구동되는 레이저 다이오드(210)로, 결정된 전류값에 상응하는 전류를 인가할 수 있다.
도 5는 도 4의 제어부에 의해 순차적으로 구동되는 레이저 다이오드의 동작 주기를 보여주는 도면이다.
도 5에 도시된 바와 같이, 레이저 다이오드는, 높은 피크 파워(peak power)를 가진 반면에, 발광 시, 발생한 열을 제거하기 위한 긴 냉각 시간이 필요하게 된다.
따라서, 레이저 다이오드는 처음 구동 타임에서 다음 구동 타임까지, 긴 동작 주기를 가질 수 있다.
이러한, 레이저 다이오드는, 긴 듀티 사이클(duty cycle)로 인하여, TOF 카메라의 빠른 변조 시간에 맞추어서 동작시키기 어려울 수 있다.
그러므로, 본 발명은, 여러 개의 레이저 다이오드를 TOF 변조 신호에 맞추어 순차적으로 동작시킴으로써, 긴 듀티 사이클을 보완할 수 있다.
즉, 본 발명의 제어부는, 내부 카운터를 이용하여, 동작시키고자 하는 레이저 다이오드를 결정하고, 수신된 변조 신호에 따라, 해당하는 레이저 다이오드의 빛의 발광량을 제어할 수 있다.
따라서, 본 발명은, 다수의 레이저 다이오드를 변조 신호에 맞추어 순차적으로 동작시킴으로써, 탐지 거리가 향상되고, 외광에 강하여, 차량용 TOF 카메라의 성능이 향상될 수 있다.
도 6은 레이저 다이오드의 듀티 사이클에 따라, 구동하고자 하는 레이저 다이오드의 개수를 조절하는 것을 보여주는 실시예이다.
도 6에 도시된 바와 같이, 제어부(400)는, 레이저 다이오드(210)의 듀티 사이클에 따라, 구동하고자 하는 레이저 다이오드(210)의 개수를 조절하여, 발광부(200)의 구동을 제어할 수 있다.
즉, 본 발명은, 레이저 다이오드의 긴 듀티 사이클을, 여러 개의 레이저 다이오드를 이용하여 보완하는 것으로, 레이저 다이오드의 듀티 사이클과 변조 신호의 주파수에 맞게 레이저 다이오드의 개수를 조절할 수 있다.
예를 들면, 제어부(400)는, 레이저 다이오드(210)의 듀티 사이클이 짧으면, 구동하고자 하는 레이저 다이오드(210)의 개수를 줄이고, 레이저 다이오드(210)의 듀티 사이클이 길면, 구동하고자 하는 레이저 다이오드(210)의 개수를 늘려, 발광부(200)의 구동을 제어할 수 있다.
도 7은 레이저 다이오드의 듀티 사이클에 따라, 레이저 다이오드의 구동 순서를 조절하는 것을 보여주는 실시예이다.
도 7에 도시된 바와 같이, 제어부(400)는, 레이저 다이오드(210)의 듀티 사이클에 따라, 레이저 다이오드(210)의 구동 순서를 조절하여, 발광부(200)의 구동을 제어할 수 있다.
예를 들면, 제어부(400)는, 레이저 다이오드(210)의 배열 순서에 따라, 좌측에서 우측 방향으로, 그리고 상부에서 하부 방향으로, 구동 순서를 결정하여, 그에 따라, 순차적으로 레이저 다이오드(210)를 구동할 수 있다.
하지만, 제어부(400)는, 레이저 다이오드(210)의 듀티 사이클에 따라, 레이저 다이오드(210)의 배열 순서에 의존하지 않고, 구동 순서를 불규칙적으로 결정하여, 그에 따라, 레이저 다이오드(210)를 구동할 수도 있다.
도 8은 본 발명에 따른 차량용 TOF 카메라의 구동 방법을 설명하기 위한 흐름도이다.
도 8에 도시된 바와 같이, 제어부의 구동 순서 결정부는, 수광부의 변조 신호에 따라, 레이저 다이오드들의 구동 순서를 결정한다.(S11)
그리고, 제어부의 구동 제어부는, 결정된 구동 순서에 따라, 레이저 다이오드들의 구동을 제어한다.(S12)
여기서, 제어부의 구동 제어부는, 수광부로부터 변조 신호가 수신되면, 미리 설정된 레이저 다이오드의 구동 순서에 따라, 레이저 다이오드의 구동 순서를 결정할 수 있다.
하지만, 경우에 따라, 제어부의 구동 제어부는, 수광부로부터 변조 신호가 수신되면, 레이저 다이오드의 구동 순서에 대한 변경 요청이 있는지를 확인하고, 변경 요청이 있으면, 미리 설정된 레이저 다이오드의 구동 순서를, 다른 레이저 다이오드의 구동 순서로 변경하여 결정할 수 있다.
여기서, 다른 레이저 다이오드의 구동 순서도, 미리 설정되어 메모리에 저장되어 있을 수도 있다.
이어, 제어부의 전류 제어부는, 수광부의 변조 신호에 따라, 레이저 다이오드의 전류값을 결정하고, 구동 순서에 의해, 선택 구동되는 레이저 다이오드의 전류량을 제어한다.(S13)
그리고, 제어부의 전류 제어부는, 구동 순서에 따라, 구동되는 레이저 다이오드로, 결정된 전류값에 상응하는 전류를 인가할 수 있다.(S14)
다음, 제어부의 구동 순서 결정부는, 수광부로부터 생성된 변조 신호가 수신되는지를 확인하고,(S15) 변조 신호가 수신되면, 제어부의 구동 순서 결정부는, 수광부의 변조 신호에 따라, 레이저 다이오드들의 구동 순서를 결정하는 단계(S11) 및 그 이하의 동작들을 반복 수행한다.
하지만, 변조 신호가 수신되지 않으면, 레이저 다이오드의 동작 제어를 종료할 수 있다.
이와 같이, 본 발명은, 다수의 레이저 다이오드를 변조 신호에 맞추어 순차적으로 동작시킴으로써, 탐지 거리가 향상되고, 외광에 강하여, 차량용 TOF 카메라의 성능이 향상될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
100: 수광부 200: 발광부
210: 레이저 다이오드 300: 물체
400: 제어부 410: 구동 순서 결정부
420: 구동 제어부 430: 전류 제어부

Claims (12)

  1. 피사체에 빛을 조사하는 발광부;
    상기 피사체에서 반사되어 되돌아오는 빛에 기초하여, 상기 피사체와의 거리를 탐지하고, 상기 빛의 주파수 변조를 위한 변조 신호를 생성하는 수광부; 그리고,
    상기 수광부의 변조 신호에 따라, 상기 발광부의 구동을 제어하는 제어부를 포함하고,
    상기 발광부는,
    다수의 레이저 다이오드를 포함하며,
    상기 제어부는,
    상기 수광부의 변조 신호에 따라, 상기 레이저 다이오드의 구동 순서를 결정하여, 상기 레이저 다이오드의 구동을 제어하고,
    상기 수광부의 변조 신호에 따라, 상기 레이저 다이오드의 전류값을 결정하여, 상기 구동되는 레이저 다이오드의 전류량을 제어하는 것을 특징으로 하는 차량용 TOF 카메라.
  2. 제 1 항에 있어서, 상기 제어부는,
    상기 수광부의 변조 신호에 따라, 상기 레이저 다이오드의 구동 순서를 결정하는 구동 순서 결정부;
    상기 결정된 구동 순서에 따라, 상기 레이저 다이오드의 구동을 제어하는 구동 제어부; 그리고,
    상기 수광부의 변조 신호에 따라, 상기 레이저 다이오드의 전류값을 결정하고, 상기 구동 제어부의 제어 신호에 의해, 구동되는 레이저 다이오드의 전류량을 제어하는 전류 제어부를 포함하는 것을 특징으로 하는 차량용 TOF 카메라.
  3. 제 2 항에 있어서, 상기 구동 순서 결정부는,
    상기 수광부로부터 변조 신호가 수신되면, 미리 설정된 레이저 다이오드의 구동 순서에 따라, 상기 레이저 다이오드의 구동 순서를 결정하는 것을 특징으로 하는 차량용 TOF 카메라.
  4. 제 2 항에 있어서, 상기 구동 순서 결정부는,
    상기 수광부로부터 변조 신호가 수신되면, 상기 레이저 다이오드의 구동 순서에 대한 변경 요청이 있는지를 확인하고,
    상기 변경 요청이 있으면, 상기 미리 설정된 레이저 다이오드의 구동 순서를, 다른 레이저 다이오드의 구동 순서로 변경하여 결정하는 것을 특징으로 하는 차량용 TOF 카메라.
  5. 제 2 항에 있어서, 상기 구동 제어부는,
    상기 발광부가, 상기 레이저 다이오드를 냉각시키기 위한 개별 냉각 장치를 다수개 포함하면, 상기 결정된 구동 순서에 따라, 상기 냉각 장치의 구동을 제어하는 것을 특징으로 하는 차량용 TOF 카메라.
  6. 제 2 항에 있어서, 상기 전류 제어부는,
    상기 구동 제어부의 제어 신호에 따라, 상기 다수의 레이저 다이오드 중 어느 하나를 선택하고, 상기 선택된 레이저 다이오드의 전류량 제어 신호를 출력하는 먹스(mux)를 더 포함하는 것을 특징으로 하는 차량용 TOF 카메라.
  7. 제 1 항에 있어서, 상기 제어부는,
    상기 레이저 다이오드의 듀티 사이클에 따라, 구동하고자 하는 레이저 다이오드의 개수를 조절하여, 상기 발광부의 구동을 제어하는 것을 특징으로 하는 차량용 TOF 카메라.
  8. 제 7 항에 있어서, 상기 제어부는,
    상기 레이저 다이오드의 듀티 사이클이 짧으면, 구동하고자 하는 레이저 다이오드의 개수를 줄이고,
    상기 레이저 다이오드의 듀티 사이클이 길면, 구동하고자 하는 레이저 다이오드의 개수를 늘려, 상기 발광부의 구동을 제어하는 것을 특징으로 하는 차량용 TOF 카메라.
  9. 제 1 항에 있어서, 상기 제어부는,
    상기 레이저 다이오드의 듀티 사이클에 따라, 상기 레이저 다이오드의 구동 순서를 조절하여, 상기 발광부의 구동을 제어하는 것을 특징으로 하는 차량용 TOF 카메라.
  10. 변조 신호를 생성하는 수광부와, 다수의 레이저 다이오드를 갖는 발광부를 포함하는 차량용 TOF 카메라의 구동 방법에 있어서,
    상기 수광부의 변조 신호에 따라, 상기 레이저 다이오드의 구동 순서를 결정하는 단계;
    상기 결정된 구동 순서에 따라, 상기 레이저 다이오드의 구동을 제어하는 단계;
    상기 수광부의 변조 신호에 따라, 상기 레이저 다이오드의 전류값을 결정하고, 상기 구동 순서에 의해, 선택 구동되는 레이저 다이오드의 전류량을 제어하는 단계;
    상기 구동 순서에 따라, 구동되는 레이저 다이오드로, 상기 결정된 전류값에 상응하는 전류를 인가하는 단계를 포함하여 이루어지는 것을 특징으로 하는 차량용 TOF 카메라의 구동 방법.
  11. 제 10 항에 있어서, 상기 레이저 다이오드의 구동 순서를 결정하는 단계는,
    상기 수광부로부터 변조 신호가 수신되면, 미리 설정된 레이저 다이오드의 구동 순서에 따라, 상기 레이저 다이오드의 구동 순서를 결정하는 것을 특징으로 하는 차량용 TOF 카메라의 구동 방법.
  12. 제 10 항에 있어서, 상기 레이저 다이오드의 구동 순서를 결정하는 단계는,
    상기 수광부로부터 변조 신호가 수신되면, 상기 레이저 다이오드의 구동 순서에 대한 변경 요청이 있는지를 확인하는 단계;
    상기 변경 요청이 있으면, 상기 미리 설정된 레이저 다이오드의 구동 순서를, 다른 레이저 다이오드의 구동 순서로 변경하여 결정하는 단계를 포함하여 이루어지는 것을 특징으로 하는 차량용 TOF 카메라.
KR1020130165320A 2013-12-27 2013-12-27 차량용 tof 카메라 및 그의 구동 방법 KR101770872B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130165320A KR101770872B1 (ko) 2013-12-27 2013-12-27 차량용 tof 카메라 및 그의 구동 방법
DE102014009647.5A DE102014009647B4 (de) 2013-12-27 2014-06-26 TOF-Kamera für ein Fahrzeug und Verfahren zum Ansteuern derselben
CN201410291965.0A CN104748731A (zh) 2013-12-27 2014-06-26 车用tof相机及其驱动方法
US14/316,543 US9244171B2 (en) 2013-12-27 2014-06-26 TOF camera for vehicle and method for driving the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130165320A KR101770872B1 (ko) 2013-12-27 2013-12-27 차량용 tof 카메라 및 그의 구동 방법

Publications (2)

Publication Number Publication Date
KR20150076760A true KR20150076760A (ko) 2015-07-07
KR101770872B1 KR101770872B1 (ko) 2017-08-23

Family

ID=53372086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130165320A KR101770872B1 (ko) 2013-12-27 2013-12-27 차량용 tof 카메라 및 그의 구동 방법

Country Status (4)

Country Link
US (1) US9244171B2 (ko)
KR (1) KR101770872B1 (ko)
CN (1) CN104748731A (ko)
DE (1) DE102014009647B4 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180049937A (ko) * 2016-11-04 2018-05-14 한국광기술원 매트릭스 구조를 갖는 라이다 시스템의 발광 제어장치
WO2019017692A1 (ko) * 2017-07-18 2019-01-24 엘지이노텍 주식회사 Tof 모듈 및 그 tof 모듈을 이용한 피사체 인식장치
EP3557951A1 (en) 2018-04-19 2019-10-23 Meerecompany Inc. Camera using light source having subject eye protection function
KR20190123669A (ko) 2018-04-24 2019-11-01 (주)미래컴퍼니 피사체 눈 보호 기능이 구비된 광원을 이용한 카메라
WO2020032485A1 (ko) * 2018-08-07 2020-02-13 엘지이노텍 주식회사 카메라
WO2020149908A3 (en) * 2018-11-01 2020-09-24 Waymo Llc Shot reordering in lidar systems
WO2020226886A1 (en) * 2019-05-06 2020-11-12 Waymo Llc Methods and systems to determine a strategy for a drop process associated with a light detection and ranging (lidar) device
WO2021137329A1 (ko) * 2019-12-31 2021-07-08 엘지전자 주식회사 광학 장치

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE46672E1 (en) 2006-07-13 2018-01-16 Velodyne Lidar, Inc. High definition LiDAR system
DE102013108824A1 (de) * 2013-08-14 2015-02-19 Huf Hülsbeck & Fürst Gmbh & Co. Kg Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
WO2017164989A1 (en) 2016-03-19 2017-09-28 Velodyne Lidar, Inc. Integrated illumination and detection for lidar based 3-d imaging
CA3024510C (en) 2016-06-01 2022-10-04 Velodyne Lidar, Inc. Multiple pixel scanning lidar
CN108663682A (zh) * 2017-03-28 2018-10-16 比亚迪股份有限公司 障碍物测距系统及具有其的车辆和tof测距方法
CA3057988A1 (en) 2017-03-31 2018-10-04 Velodyne Lidar, Inc. Integrated lidar illumination power control
CN109387819A (zh) * 2017-08-03 2019-02-26 北京北科天绘科技有限公司 一种激光雷达装置及其通道选通方法
WO2018208843A1 (en) 2017-05-08 2018-11-15 Velodyne Lidar, Inc. Lidar data acquisition and control
JP7028588B2 (ja) * 2017-09-04 2022-03-02 株式会社日立エルジーデータストレージ 3次元距離測定装置
US11294041B2 (en) * 2017-12-08 2022-04-05 Velodyne Lidar Usa, Inc. Systems and methods for improving detection of a return signal in a light ranging and detection system
CN108445506B (zh) * 2018-05-11 2023-11-03 北醒(北京)光子科技有限公司 一种提高激光雷达透雾性的测量方法
US10712434B2 (en) 2018-09-18 2020-07-14 Velodyne Lidar, Inc. Multi-channel LIDAR illumination driver
US11082010B2 (en) 2018-11-06 2021-08-03 Velodyne Lidar Usa, Inc. Systems and methods for TIA base current detection and compensation
US11885958B2 (en) 2019-01-07 2024-01-30 Velodyne Lidar Usa, Inc. Systems and methods for a dual axis resonant scanning mirror
US10613203B1 (en) 2019-07-01 2020-04-07 Velodyne Lidar, Inc. Interference mitigation for light detection and ranging
WO2021181907A1 (ja) * 2020-03-13 2021-09-16 ソニーセミコンダクタソリューションズ株式会社 光源駆動装置、光源装置および撮像装置
CN112234432B (zh) * 2020-12-09 2021-11-23 常州纵慧芯光半导体科技有限公司 一种多芯片可寻址的tof发射模组及激光器
KR102558600B1 (ko) 2020-12-11 2023-07-24 현대모비스 주식회사 라이다 센서 비유효 ToF 제거 시스템 및 방법
KR20220089787A (ko) 2020-12-21 2022-06-29 현대모비스 주식회사 차량용 카메라 및 이를 구비한 주차보조 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4891772A (en) 1987-04-15 1990-01-02 Cyberoptics Corporation Point and line range sensors
US6822687B1 (en) 1999-07-08 2004-11-23 Pentax Corporation Three-dimensional image capturing device and its laser emitting device
JP2002323563A (ja) * 2001-04-27 2002-11-08 Sokkia Co Ltd 光波距離計
US7746450B2 (en) 2007-08-28 2010-06-29 Science Applications International Corporation Full-field light detection and ranging imaging system
DE102008060042A1 (de) 2008-12-02 2009-09-17 Daimler Ag Verfahren zur Ansteuerung einer Beleuchtungseinheit, Beleuchtungseinheit und Beleuchtungseinrichtung für ein Fahrzeug
EP2378310B1 (en) * 2010-04-15 2016-08-10 Rockwell Automation Safety AG Time of flight camera unit and optical surveillance system
CN102447882A (zh) * 2010-10-13 2012-05-09 鸿富锦精密工业(深圳)有限公司 时间飞行摄影机装置及利用其进行影像监控的方法
GB2492833A (en) 2011-07-14 2013-01-16 Softkinetic Sensors Nv LED boost converter driver circuit for Time Of Flight light sources

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180049937A (ko) * 2016-11-04 2018-05-14 한국광기술원 매트릭스 구조를 갖는 라이다 시스템의 발광 제어장치
WO2019017692A1 (ko) * 2017-07-18 2019-01-24 엘지이노텍 주식회사 Tof 모듈 및 그 tof 모듈을 이용한 피사체 인식장치
CN110945380A (zh) * 2017-07-18 2020-03-31 Lg伊诺特有限公司 ToF模块以及使用ToF模块的对象识别装置
CN110945380B (zh) * 2017-07-18 2023-10-24 Lg伊诺特有限公司 ToF模块以及使用ToF模块的对象识别装置
US11782161B2 (en) 2017-07-18 2023-10-10 Lg Innotek Co., Ltd. ToF module and object recognition device using ToF module
EP3557951A1 (en) 2018-04-19 2019-10-23 Meerecompany Inc. Camera using light source having subject eye protection function
CN110389357A (zh) * 2018-04-19 2019-10-29 韩商未来股份有限公司 使用具有被摄体眼睛保护功能的光源的相机
US10481470B2 (en) 2018-04-19 2019-11-19 Meerecompany Inc. Camera using light source having subject eye protection function
KR20190123669A (ko) 2018-04-24 2019-11-01 (주)미래컴퍼니 피사체 눈 보호 기능이 구비된 광원을 이용한 카메라
US11659155B2 (en) 2018-08-07 2023-05-23 Lg Innotek Co., Ltd. Camera
WO2020032485A1 (ko) * 2018-08-07 2020-02-13 엘지이노텍 주식회사 카메라
WO2020149908A3 (en) * 2018-11-01 2020-09-24 Waymo Llc Shot reordering in lidar systems
US11543495B2 (en) 2018-11-01 2023-01-03 Waymo Llc Shot reordering in LIDAR systems
US11604284B2 (en) 2019-05-06 2023-03-14 Waymo Llc Methods and systems to determine a strategy for a drop process associated with a light detection and ranging (LIDAR) device
WO2020226886A1 (en) * 2019-05-06 2020-11-12 Waymo Llc Methods and systems to determine a strategy for a drop process associated with a light detection and ranging (lidar) device
WO2021137329A1 (ko) * 2019-12-31 2021-07-08 엘지전자 주식회사 광학 장치

Also Published As

Publication number Publication date
CN104748731A (zh) 2015-07-01
DE102014009647A1 (de) 2015-07-02
US9244171B2 (en) 2016-01-26
US20150185325A1 (en) 2015-07-02
DE102014009647B4 (de) 2023-10-26
KR101770872B1 (ko) 2017-08-23

Similar Documents

Publication Publication Date Title
KR101770872B1 (ko) 차량용 tof 카메라 및 그의 구동 방법
CN107946903B (zh) 用于控制照明源的驱动电流的装置
US10132926B2 (en) Range finder, mobile object and range-finding method
US10557703B2 (en) Distance measuring device and method for determining a distance
CN107018295B (zh) 用于产生深度图像的方法和装置
KR101890033B1 (ko) 동적 제어를 이용한 적응형 수광 신호의 감도 제어장치
KR101877128B1 (ko) 동적 제어를 이용한 적응형 발광 신호의 광량 제어장치
WO2019065490A1 (ja) 制御装置、検出装置、アバランシェダイオードを制御する方法、プログラム及び記憶媒体
TWI711870B (zh) 具有可調光強度的深度產生系統
US10317530B2 (en) Laser range finding apparatus
US10509125B2 (en) Method and device for acquiring distance information
US20170094751A1 (en) Light source device, projection display device, and light source control method
JP6907311B2 (ja) 電子回路、および、そのような電子回路を備える飛行時間センサ
CN110945380B (zh) ToF模块以及使用ToF模块的对象识别装置
JP2009508096A (ja) 3d画像化方法及び装置
KR102101865B1 (ko) 카메라 장치
US20210270972A1 (en) Time-of-flight camera system having an adjustable optical power output
JP2016142571A (ja) 測距装置
KR102087519B1 (ko) 눈보호기능의 오동작을 방지하는 빔프로젝터모듈 및 그 제어방법
WO2016193727A1 (en) Controlling emission of passive q-switched laser pulses
US9697726B2 (en) Apparatus and method for detecting the presence of a mobile device
US11693116B2 (en) Distance measurement device using two light modulation frequencies and operating method thereof
WO2019189059A1 (ja) 制御装置および制御方法
US6723976B2 (en) Optical detector with regulated emission

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant