KR102041633B1 - 물체 인식 시스템 - Google Patents

물체 인식 시스템 Download PDF

Info

Publication number
KR102041633B1
KR102041633B1 KR1020130054170A KR20130054170A KR102041633B1 KR 102041633 B1 KR102041633 B1 KR 102041633B1 KR 1020130054170 A KR1020130054170 A KR 1020130054170A KR 20130054170 A KR20130054170 A KR 20130054170A KR 102041633 B1 KR102041633 B1 KR 102041633B1
Authority
KR
South Korea
Prior art keywords
reflectance
light
reflected
information
learner
Prior art date
Application number
KR1020130054170A
Other languages
English (en)
Other versions
KR20140134395A (ko
Inventor
김영신
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020130054170A priority Critical patent/KR102041633B1/ko
Publication of KR20140134395A publication Critical patent/KR20140134395A/ko
Application granted granted Critical
Publication of KR102041633B1 publication Critical patent/KR102041633B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에 따른 물체 인식 시스템은, 물체에 대해 서로 다른 파장을 갖는 레이저 광을 송신하도록 하나 이상의 발광부를 포함하는 송신부; 상기 물체로부터 반사되는 반사광을 수신하여 상기 물체의 위치, 거리 및 반사량에 대한 정보를 획득하는 수신부; 및 동일 물체에 대한 두 개의 반사량을 토대로 상기 물체의 반사율 경계치를 산출한 후 물체의 재질에 따라 저장된 반사율 정보와 비교하여 물체를 분류하는 처리부;를 포함할 수 있다.

Description

물체 인식 시스템{Object Recognition System}
본 발명은 차량에 구비되는 물체 인식 시스템에 관한 것으로, 더 구체적으로는 다중 파장의 LIDAR 센서를 이용하여 높은 분류 성능을 가질 수 있는 물체 인식 시스템에 관한 것이다.
최근 차량 전방의 보행자를 인식하고, 충돌 위험이 존재하는 경우 운전자에게 경고하거나 자동으로 제동 제어나 조향 제어를 수행함으로써 충돌을 회피하는 시스템이 개발되고 있다.
이러한 시스템이 제대로 작동하기 위해서는 차량 전방의 물체가 보행자인지, 아니면 차량인지, 아니면 이외의 다른 물체인지를 빠르고 정확하게 판별하는 것이 선행되어야 한다.
전방의 물체를 인식하는 방법으로는 현재 사용되고 있는 것은 카메라를 이용하는 방법, 레인지 센서를 이용하는 방법 등이 있다.
카메라를 이용한 방법으로는 적외선 카메라, 스테레오 카메라, 모노 카메라 등을 이용한 방법이 있으며, 레인지 센서를 이용하는 방법으로는 초음파 센서를 이용하는 방법, 레이다를 이용하는 방법, 레이저 레이다를 이용하는 방법 등이 있다.
그러나 이러한 방법들은 정확하고 신속한 전방 장애물의 판별에 한계가 있다.
이러한 문제를 해결하기 위해 레이저 스캐너와 카메라를 융합한 기술을 통해 차량 전방의 물체를 식별할 수 있는 장치가 제공되었으나, 이와 같은 종래 기술의 전방 물체 판별 장치는 단일 파장의 레이저만을 사용하여 물체를 분류함에 의해, 물체 인식의 신뢰성이 낮은 문제점이 있었다.
한국공개특허공보 제2009-0021724호(출원일 : 2007.08.28)
본 발명은 다중 파장의 레이저를 사용하여 물체 인식의 신뢰성이 높은 물체 인식 시스템을 제공하는 것을 목적으로 한다.
본 발명에 따른 물체 인식 시스템은 물체에 대해 서로 다른 파장을 갖는 레이저 광을 송신하도록 하나 이상의 발광부를 포함하는 송신부; 상기 물체로부터 반사되는 반사광을 수신하여 상기 물체의 위치, 거리 및 반사량에 대한 정보를 획득하는 수신부; 및 동일 물체에 대한 두 개의 반사량을 토대로 상기 물체의 반사율 경계치를 산출한 후 물체의 재질에 따라 저장된 반사율 정보와 비교하여 물체를 분류하는 처리부;를 포함할 수 있다.
여기서, 상기 처리부는, 상기 수신부로부터 전달된 물체의 거리 정보를 이용하여 같은 거리값을 갖는 주변 영역을 하나의 관심영역(ROI)으로 검출하는 검출부; 및 물체의 재질에 따른 반사율 정보를 저장한 학습기 및 상기 관심영역에 대한 상기 반사율 경계치와 상기 학습기의 반사율 정보를 비교하여 물체를 분류하는 분류기를 포함한 분류부;를 포함할 수 있다.
또한, 상기 분류기는 상기 수신부로부터 수신된 다중 파장의 반사광의 반사량을 알비도(반사율)로 대체하여 상기 학습기에 저장된 물체의 종류에 따른 반사율 특징과 비교하여 물체를 인식할 수 있다.
또한, 상기 학습기는, 차량, 이륜차 및 보행자에 대한 반사율 정보를 저장할 수 있다.
또한, 상기 송신부는, 950nm의 파장을 갖는 레이저 광을 발광하는 제1발광부; 및 1550nm의 파장을 갖는 레이저 광을 발광하는 제2발광부를 포함할 수 있다.
또한, 상기 수신부는, 상기 제1 및 제2발광부로부터 발광된 레이저 광이 물체에서 반사된 반사광을 수신하는 제1 및 제2APD를 포함하며, 상기 수신부는 수신된 반사광을 통해 물체와 사이의 거리정보인 거리값과, 물체의 위치를 나타내는 좌표값 및 물체로부터 반사되는 반사광의 반사량(radiance) 정보를 획득할 수 있다.
또한, 상기 수신부는 상기 제1 및 제2APD의 전방에 발산광을 평행광으로 변환시키기 위한 제1 및 제2렌즈가 구비될 수 있다.
본 발명의 물체 인식 시스템에 따르면, 서로 다른 파장을 갖는 두 개의 레이저를 동시에 사용하여 물체의 기하학적 형태나 주변 환경에 의한 노이즈 발생 등에서도 높은 물체 인식 성능을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 물체 인식 시스템의 개략도;
도 2는 도 1의 처리부의 개략도;
도 3은 물체에 대한 반사율 정보를 나타내는 개략도; 및
도 4는 파장에 대한 반사율 차이를 나타내는 개략도;이다.
이하, 첨부한 도면을 참조로 본 발명의 바람직한 실시예에 따른 물체 인식 시스템에 대하여 상세하게 설명한다.
도 1에 도시한 바와 같이, 본 실시예의 물체 인식 시스템(100)은 제1발광부(111)와 제2발광부(112)를 포함하여 다중 파장의 레이저 광을 송신하는 송신부(110)와 두 개의 APD(Avalanche Photo Diode)를 포함하여 물체로부터 반사되는 반사 광을 수신하는 수신부(120) 및 수신부(120)를 통해 수신된 반사광으로부터 물체를 인식하는 처리부(130)를 포함할 수 있다.
송신부(110)는 차량 전방의 물체로 다중 파장의 레이저 광을 송신하도록 제1 및 제2발광부(111,112)를 포함하며, 제1발광부(111)와 제2발광부(112)는 서로 다른 파장의 레이저 광을 발광할 수 있다. 본 실시예에서 제1발광부(111)는 950nm의 파장을 갖는 레이저 광을 발광하고, 제2발광부(112)는 1550nm의 파장을 갖는 레이저 광을 발광할 수 있다. 이와 달리 제1 및 제2발광부(111,112)에서 발광되는 레이저 광들은 서로 다른 파장을 갖는다면, 그 파장은 자유롭게 변형 실시될 수 있다.
수신부(120)는 송신부(110)로부터 발광된 레이저 광이 물체에 의해 반사되는 반사광을 수신하도록, 제1 및 제2APD(121,122)를 포함할 수 있으며, 제1 및 제2APD(121,122)의 전방에는 발산광을 평행광으로 변환시키기 위한 제1 및 제2렌즈(123,124)가 구비될 수 있다.
또한, 수신부(120)는 수신된 반사광을 통해 물체와 사이의 거리정보인 거리값과, 물체의 위치를 나타내는 좌표값 및 물체로부터 반사되는 반사광의 반사량(radiance) 정보를 획득할 수 있다.
처리부(130)는 수신부(120)로부터 수신된 두 개의 반사광을 통해 차량 전방의 물체를 인식하기 위한 것으로, 도 2에 도시한 바와 같이, 검출부(131)와 분류부(132)를 포함할 수 있다.
검출부(131)는 수신부(120)에서 전달된 거리 정보를 이용하여 같은 거리값을 갖는 주변 영역을 하나의 물체로 검출하여 관심영역(ROI;Region of Interest)을 검출할 수 있다.
분류부(132)는 수신부(120)를 통해 수신된 반사량 정보를 통해 관심영역의 물체를 분류할 수 있으며, 본 실시예의 분류부(132)는 차량, 보행자, 이륜차 등의 반사율(알비도; Albedo) 경계치 정보를 수집하여 학습하는 학습기(133)와, 반사량 정보와 학습기(133)의 알비도 경계치 정보를 통해 물체를 분류하는 분류기(134)를 포함할 수 있다.
본 실시예에서 물체를 분류할 때 사용하는 반사량(radiance)은 반사율(Albedo)로 대체되어 사용될 수 있다.
레이저 광이 반사되어 분류될 물체를 랑베르 표면(lambertian surface)이라고 가정하였을 때, 고유의 반사율인 알비도(albedo)는 물체의 재질과 빛의 파장에 따라서 일정한 값을 지니게 된다.
랑베르 표면(lambertian surface)은 물체 표면의 각에 따른 반사광의 세기가 법선과 반사광의 방향 사이의 각이 코사인 함수값으로 변하는, 즉 단위 입체각에서 모든 방향으로 균일한 광속을 갖는 반사체로 반사도가 보는 각도에 관계없이 일정한 것을 말한다.
반면, 본 실시예의 수신부(120)에서 수신하는 반사량(radiance)은 물체의 형태, 조명, 시점에 따라 같은 물체라도 다른 값을 갖게 된다. 따라서, 분류부(132)에서 정확한 물체 분류를 위해서는 물체 고유의 특성을 갖는 알비도가 사용되어야 하며, 실제 차량 인식 시스템의 적용 환경을 고려할 때, 수신부(120)로터 얻어지는 반사량(radiance)은 알비도로 대체될 수 있다
빛의 반사량은 그레이 값(I)으로 측정되며 물체의 재질(material) 에 따른 알비도인 K와 물체의 형태(shape), 조명(illumination), 시점(viewpoint) 관련 요소인 G의 곱으로 표현할 수 있다.
한편, 실제 차량 환경을 고려하면 조명 및 시점은 고정되어 있으며, 물체 (차량, 이륜차, 보행자 등)가 유사한 형태의 특징을 갖기 때문에 빛의 강도, 물체의 기하학적 구조를 같다고 가정할 수 있다. 따라서, LIDAR 센서의 반사량을 빛의 파장에 따른 반사율이 일정한 알비도로 가정할 수 있다.
따라서 실제 차량 인식 시스템의 적용 환경에서는 다른 물체들 간의 G값은 거의 유사한 바, 반사량의 차이는 물체의 재질의 차이로 나타내게 된다. 그러므로 재질이 다른 물체 종류에 따른 알비도는 단순히 반사량의 비교로 간략화할 수 있다
즉, 본 실시예의 분류기(134)는 수신부(120)로부터 수신된 다중 파장의 반사광의 반사량을 알비도(반사율)로 대체하여 학습기(133)에 저장된 물체의 종류에 따른 반사율 특징과 비교하여 해당 물체를 인식할 수 있다.
도 3에 도시한 바와 같이, 본 실시예의 물체 인식 시스템(100)에 의해 인식되는 물체는 그 종류 및 재질에 따라 여러 반사율 특징을 나타내고 있으며, 이와 같은 반사율 특징들은 본 실시예의 학습기(133)에 저장될 수 있다.
학습기(133)에 저장되는 물체들은 차량에 의해 인식되는 물체, 즉 차량, 이륜차 및 보행자 별로 구분될 수 있으며, 차량과 이륜차는 금속 재질의 물체(차체, 반사판, 번호판)의 반사율을 가지며, 보행자는 의복이나 피부와 같은 반사율을 가질 수 있어, 차량과 보행자가 구분될 수 있다.
도 4에 도시한 바와 같이, 동일 물체에 반사되는 레이저 광의 파장에 따라 서로 다른 반사율 특징이 나타날 수 있다. 도 4는 사람의 피부에 서로 다른 파장의 레이저 광을 조사했을 경우 반사된 반사광의 반사율의 차이를 나타내는 일례로서, 낮은 파장의 반사광의 반사율과 높은 파장의 반사광의 반사율의 경계치를 통해 물체를 인식할 수 있다.
처리부(130)는 수신부(120)로부터 수신된 두 개의 반사광을 통해 차량 전방의 물체를 인식하기 위한 것으로, 도 2에 도시한 바와 같이, 검출부(131)와 분류부(132)를 포함할 수 있다.
즉 본 실시예의 처리부(130)는 검출부(131)로부터 검출된 관심영역(ROI)으로부터 반사된 제1 및 제2APD(121,122)의 두 개의 반사량을 두 개의 반사율로 대체하고, 이 두 개의 반사율의 경계치를 분류부(132)의 분류기(134)에서 학습기(133)에 저장된 물체의 반사율 정보와 비교하여 물체를 분류할 수 있다.
이와 같이 본 발명의 물체 인식 시스템은, 두 개의 파장을 갖는 레이저 광을 통해 물체로부터 반사율 정보를 획득하고 이를 토대로 물체를 분류할 수 있어, 종래 단일 파장의 레이저를 통해 물체를 인식하는 인식 시스템에 비해 높은 물체 인식률을 가질 수 있다.
이상, 본 발명의 바람직한 실시예를 참조로 본 발명의 물체 인식 시스템에 대하여 설명하였지만, 본 발명의 권리범위는 상술한 실시예에 한정되지 않으며, 본 발명의 사상을 벗어나지 않는 범위 내에서 수정, 변경 및 다양한 변형실시예가 가능함은 당업자에게 명백하다.
100 : 물체 인식 시스템
110 : 송신부
111,112 : 제1 및 제2발광부
120 : 수신부
121, 122 : APD
130 : 처리부
131 : 검출부
132 : 분류부
133 : 학습기
134 : 분류기

Claims (7)

  1. 물체에 대해 서로 다른 파장을 갖는 레이저 광을 송신하도록 둘 이상의 발광부를 포함하는 송신부;
    상기 물체로부터 반사되는 반사광을 수신하여 상기 물체의 위치, 거리 및 반사량에 대한 정보를 획득하는 수신부; 및
    동일 물체에 대한 두 개의 반사량을 토대로 상기 물체의 반사율 경계치를 산출한 후 물체의 재질에 따라 저장된 반사율 정보와 비교하여 물체를 분류하는 처리부;를 포함하고,
    상기 처리부는,
    상기 수신부로부터 전달된 물체의 거리 정보를 이용하여 같은 거리값을 갖는 주변 영역을 하나의 관심영역(ROI)으로 검출하는 검출부; 및
    물체의 재질에 따른 반사율 정보를 저장한 학습기 및 상기 관심영역에 대한 상기 반사율 경계치와 상기 학습기의 반사율 정보를 비교하여 물체를 분류하는 분류기를 포함한 분류부;를 포함하고,
    상기 분류기는,
    상기 수신부로부터 수신된 다중 파장의 반사광의 반사량을 알비도(반사율)로 대체하여 상기 학습기에 저장된 물체의 종류에 따른 반사율 특징과 비교하여 물체를 인식하며,
    상기 학습기는,
    차량, 이륜차 및 보행자에 대한 반사율 정보를 저장하고,
    상기 송신부는,
    950nm의 파장을 갖는 레이저 광을 발광하는 제1발광부; 및
    1550nm의 파장을 갖는 레이저 광을 발광하는 제2발광부를 포함하며,
    상기 수신부는,
    상기 제1 및 제2발광부로부터 발광된 레이저 광이 물체에서 반사된 반사광을 수신하는 제1 및 제2APD를 포함하며,
    상기 수신부는,
    수신된 반사광을 통해 물체와 사이의 거리정보인 거리값과, 물체의 위치를 나타내는 좌표값 및 물체로부터 반사되는 반사광의 반사량(radiance) 정보를 획득하고,
    상기 수신부는,
    서로 다른 파장을 갖는 레이저 광이 물체로부터 반사되는 반사광을 수신하도록, 상기 제1 및 제2APD의 전방에 발산광을 평행광으로 변환시키기 위한 제1 및 제2렌즈가 구비된 것을 특징으로 하는 물체 인식 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
KR1020130054170A 2013-05-14 2013-05-14 물체 인식 시스템 KR102041633B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130054170A KR102041633B1 (ko) 2013-05-14 2013-05-14 물체 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130054170A KR102041633B1 (ko) 2013-05-14 2013-05-14 물체 인식 시스템

Publications (2)

Publication Number Publication Date
KR20140134395A KR20140134395A (ko) 2014-11-24
KR102041633B1 true KR102041633B1 (ko) 2019-11-06

Family

ID=52455469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130054170A KR102041633B1 (ko) 2013-05-14 2013-05-14 물체 인식 시스템

Country Status (1)

Country Link
KR (1) KR102041633B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101704139B1 (ko) * 2014-12-12 2017-02-22 현대자동차주식회사 장애물 인지 시스템 및 그 방법
DE102017204681A1 (de) 2017-03-21 2018-09-27 Robert Bosch Gmbh Vorrichtung zum Auslösen einer externen Schutzfunktion
CN112926702A (zh) * 2019-12-06 2021-06-08 李雯毓 主动光源式物体材质识别系统及方法
US11536608B2 (en) * 2021-01-04 2022-12-27 Argo AI, LLC Systems and methods for characterizing spectral reflectance of real world objects

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240203A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp レーダ装置
JP2011182300A (ja) * 2010-03-03 2011-09-15 Nec Corp アクティブ型車両視界補助装置及び車両視界補助方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815434A (ja) * 1994-06-23 1996-01-19 Nikon Corp 距離測定装置
KR101188584B1 (ko) 2007-08-28 2012-10-05 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240203A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp レーダ装置
JP2011182300A (ja) * 2010-03-03 2011-09-15 Nec Corp アクティブ型車両視界補助装置及び車両視界補助方法

Also Published As

Publication number Publication date
KR20140134395A (ko) 2014-11-24

Similar Documents

Publication Publication Date Title
KR102129588B1 (ko) 물체 인식 시스템
KR101551667B1 (ko) 라이다 센서 시스템
US10591601B2 (en) Camera-gated lidar system
US11623558B2 (en) Sensor system
US9575164B2 (en) LIDAR sensor system
KR102192252B1 (ko) 센서를 이용한 차량 인식 시스템 및 그 방법
US8885889B2 (en) Parking assist apparatus and parking assist method and parking assist system using the same
KR102041633B1 (ko) 물체 인식 시스템
JP7131180B2 (ja) 測距装置、測距方法、プログラム、移動体
CN115712107A (zh) 用于激光雷达的信号处理方法、探测方法以及激光雷达
JP5968494B2 (ja) 車両検出システムおよび車両検出方法
EP3091342A1 (en) Optical sensor device for a vehicle
US20230065210A1 (en) Optical distance measuring device
KR20140145481A (ko) 차량용 tof 카메라
JP2023086904A (ja) 路面状態検知システム
US20220413159A1 (en) Method for fog detection for a vehicle with a fog detector with a specially shaped lens
US11846726B2 (en) Method and device for identifying objects detected by a LiDAR device
Cahyadi et al. Efficient road surface detection using visible light communication
WO2022043777A1 (en) Safety device for self-propelled industrial vehicles
JP2017528691A (ja) 降雨検出装置
WO2020022206A1 (ja) 測距装置
JP2019128221A (ja) 時間測定装置、距離測定装置、移動体装置、時間測定方法及び距離測定方法
KR20190001860A (ko) 대상체 표면 감지장치
KR101076984B1 (ko) 다수의 레이저 빔을 이용한 차선 이탈 방지 장치
KR102203276B1 (ko) 센서를 이용한 차량 인식 시스템 및 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130514

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180514

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130514

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190704

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20191025

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191031

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191031

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220926

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230925

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee