KR101242891B1 - 뎁스맵 이미지 추출 장치 및 방법 - Google Patents
뎁스맵 이미지 추출 장치 및 방법 Download PDFInfo
- Publication number
- KR101242891B1 KR101242891B1 KR1020110087678A KR20110087678A KR101242891B1 KR 101242891 B1 KR101242891 B1 KR 101242891B1 KR 1020110087678 A KR1020110087678 A KR 1020110087678A KR 20110087678 A KR20110087678 A KR 20110087678A KR 101242891 B1 KR101242891 B1 KR 101242891B1
- Authority
- KR
- South Korea
- Prior art keywords
- illuminance
- depth map
- map image
- image
- detected
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 뎁스맵 이미지 추출 장치 및 방법에 관한 것이다.
즉, 본 발명의 뎁스맵 이미지 추출 장치는 대상물의 조도를 감지하고, 감지된 조도가 기준 조도 이상인 경우, 제 1 신호를 출력하고, 상기 조도 감지부에서 감지된 조도가 기준 조도 미만인 경우, 제 2 신호를 출력하는 조도 감지부와; 상기 조도 감지부에서 출력된 제 1 신호로 동작되어, 대상물의 스테레오 영상을 획득하는 스테레오 카메라와; 상기 조도 감지부에서 출력된 제 2 신호로 동작되어, 대상물에 적외선을 조사하고 반사된 적외선을 감지하는 적외선 감지 센서와; 상기 스테레오 카메라에서 획득된 스테레오 영상, 또는 상기 적외선 감지 센서에서 감지된 적외선으로 뎁스맵 이미지(Depth map image) 추출하는 뎁스맵 이미지 추출부를 포함한다.
즉, 본 발명의 뎁스맵 이미지 추출 장치는 대상물의 조도를 감지하고, 감지된 조도가 기준 조도 이상인 경우, 제 1 신호를 출력하고, 상기 조도 감지부에서 감지된 조도가 기준 조도 미만인 경우, 제 2 신호를 출력하는 조도 감지부와; 상기 조도 감지부에서 출력된 제 1 신호로 동작되어, 대상물의 스테레오 영상을 획득하는 스테레오 카메라와; 상기 조도 감지부에서 출력된 제 2 신호로 동작되어, 대상물에 적외선을 조사하고 반사된 적외선을 감지하는 적외선 감지 센서와; 상기 스테레오 카메라에서 획득된 스테레오 영상, 또는 상기 적외선 감지 센서에서 감지된 적외선으로 뎁스맵 이미지(Depth map image) 추출하는 뎁스맵 이미지 추출부를 포함한다.
Description
본 발명은 뎁스맵 이미지 추출 장치 및 방법에 관한 것이다.
일반적으로, 뎁스맵(Depth map) 이미지를 추출하는 방법에는 TOF(Time of flight) 방식, 스테레오 카메라를 이용하는 방식, 구조광 방식 등이 있다.
여기서, TOF 카메라는 소정 주파수로 변조(modulation)된 빛이 피사체에서 반사되어 되돌아 오는 과정에서 발생되는 위상(phase)의 지연 등을 이용하여 피사체를 탐지하여 뎁스맵 이미지를 추출한다.
그리고, TOF 방식과 구조광 방식은 저조도 환경, 즉, 주변 환경에 영향을 크게 받지 않으나, 스테레오 카메라를 이용하는 방식은 조도에 의한 영향을 받아 뎁스맵 이미지를 추출하기 어렵다.
한편, 선행문헌인 한국공개특허 2011-0071528호에는 스테레오 영상을 획득하는 적어도 두 대의 카메라를 포함하는 카메라부; 상기 적어도 두 대의 카메라의 주시 각도 및 간격을 조절하는 카메라 제어부; 상기 스테레오 영상으로부터 깊이 정보를 획득하는 깊이 정보 획득부를 포함하는 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치가 개시되어 있으며, 이 선행문헌에 개시된 깊이 영상 획득 카메라 장치도 저조도 환경에서 뎁스맵 이미지의 추출은 어려운 것이다.
그러므로, 스테레오 카메라를 이용하는 방식에서, 저조도 환경하에 뎁스맵 이미지를 추출하는 기술의 개발이 시급한 현실에 있다.
본 발명은 저조도 환경에서도 안전하게 뎁스맵 이미지를 추출할 수 있는 뎁스맵 이미지 추출 장치 및 방법이다.
본 발명은,
대상물의 조도를 감지하고, 감지된 조도가 기준 조도 이상인 경우, 제 1 신호를 출력하고, 상기 조도 감지부에서 감지된 조도가 기준 조도 미만인 경우, 제 2 신호를 출력하는 조도 감지부와;
상기 조도 감지부에서 출력된 제 1 신호로 동작되어, 대상물의 스테레오 영상을 획득하는 스테레오 카메라와;
상기 조도 감지부에서 출력된 제 2 신호로 동작되어, 대상물에 적외선을 조사하고 반사된 적외선을 감지하는 적외선 감지 센서와;
상기 스테레오 카메라에서 획득된 스테레오 영상, 또는 상기 적외선 감지 센서에서 감지된 적외선으로 뎁스맵 이미지(Depth map image) 추출하는 뎁스맵 이미지 추출부를 포함하는 뎁스맵 이미지 추출 장치가 제공된다.
그리고, 본 발명의 일실시예는 상기 스테레오 카메라는, 제 1 영상을 촬영하는 제 1 카메라부와; 제 2 영상을 촬영하는 제 2 카메라부를 포함하고, 상기 제 1 카메라부와 상기 제 2 카메라부는 소정 간격으로 이격되어 있다.
또, 상기 기준 조도는 500lux이다.
본 발명은,
대상물의 조도를 감지하는 단계와;
상기 감지된 조도가 기준 조도 이상인가를 판단하는 단계와;
상기 감지된 조도가 기준 조도 이상인 경우, 스테레오 카메라를 구동시켜 상기 대상물의 스테레오 영상을 획득하고, 상기 감지된 조도가 기준 조도 미만인 경우, 적외선 감지 센서를 구동시켜 대상물에 적외선을 조사하고 반사된 적외선을 감지하는 단계와;
상기 획득된 스테레오 영상 또는 상기 감지된 적외선으로 뎁스맵 이미지를 추출하는 단계를 포함하는 뎁스맵 이미지 추출 방법이 제공된다.
그리고, 본 발명의 일실시예는 상기 대상물이 사람이다.
또한, 상기 획득된 스테레오 영상 또는 상기 감지된 적외선으로 뎁스맵 이미지를 추출하는 단계' 후에, 상기 뎁스맵 이미지로 사람의 얼굴을 인식하거나 또는 제스쳐를 인식하는 단계를 더 수행한다.
본 발명에 따른 뎁스맵 이미지 추출 장치는 감지된 조도가 기준 조도 이상인 경우, 스테레오 카메라에서 촬영된 스테레오 영상으로 뎁스맵 이미지를 추출하고, 감지된 조도가 기준 조도 미만인 경우, 적외선 감지 센서에서 감지된 적외선으로 뎁스맵 이미지를 추출함으로써, 저조도 환경에서도 안전하게 뎁스맵 이미지를 추출할 수 있어, 추출된 뎁스맵 이미지로 얼굴 인식이나, 제스쳐(Gesture) 인식에 활용할 수 있는 효과가 있다.
도 1은 본 발명에 따른 뎁스맵 이미지(Depth map image) 추출 장치의 구성 블록도
도 2는 본 발명에 따른 뎁스맵 이미지 추출 장치에서 추출된 뎁스맵 이미지의 일례의 사진도
도 3은 본 발명에 적용된 스테레오 카메라를 설명하기 위한 모식적인 도면
도 4는 본 발명에 적용된 적외선 감지 센서를 설명하기 위한 모식적인 도면
도 5는 본 발명에 따른 뎁스맵 이미지 추출 방법의 플로우챠트
도 2는 본 발명에 따른 뎁스맵 이미지 추출 장치에서 추출된 뎁스맵 이미지의 일례의 사진도
도 3은 본 발명에 적용된 스테레오 카메라를 설명하기 위한 모식적인 도면
도 4는 본 발명에 적용된 적외선 감지 센서를 설명하기 위한 모식적인 도면
도 5는 본 발명에 따른 뎁스맵 이미지 추출 방법의 플로우챠트
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하면 다음과 같다.
이 과정에서 도면에 도시된 구성요소의 크기나 형상 등은 설명의 명료성과 편의상 과장되게 도시될 수 있다. 또한, 본 발명의 구성 및 작용은 고려하여 특별히 정의된 용어들은 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 한다.
도 1은 본 발명에 따른 뎁스맵 이미지(Depth map image) 추출 장치의 구성 블록도이고, 도 2는 본 발명에 따른 뎁스맵 이미지 추출 장치에서 추출된 뎁스맵 이미지의 일례의 사진도이다.
본 발명에 따른 뎁스맵 이미지 추출 장치는 대상물의 조도를 감지하고, 감지된 조도가 기준 조도 이상인 경우, 제 1 신호를 출력하고, 상기 조도 감지부(100)에서 감지된 조도가 기준 조도 미만인 경우, 제 2 신호를 출력하는 조도 감지부(100)와; 상기 조도 감지부(100)에서 출력된 제 1 신호로 동작되어, 대상물의 스테레오 영상을 획득하는 스테레오 카메라(110)와; 상기 조도 감지부(100)에서 출력된 제 2 신호로 동작되어, 대상물에 적외선을 조사하고 반사된 적외선을 감지하는 적외선 감지 센서(120)와; 상기 스테레오 카메라(110)에서 획득된 스테레오 영상, 또는 상기 적외선 감지 센서(120)에서 감지된 적외선으로 뎁스맵 이미지(Depth map image) 추출하는 뎁스맵 이미지 추출부(130)를 포함한다.
여기서, 상기 스테레오 카메라(110)는 적어도 두 개의 카메라부를 포함한다.
그리고, 상기 뎁스맵 이미지 추출 장치의 동작을 설명하면, 먼저, 상기 조도 감지부(100)에서 대상물의 조도를 감지하고, 감지된 조도가 기준 조도 이상인 경우, 제 1 신호를 상기 스테레오 카메라(110)에 출력하여 상기 스테레오 카메라(110)를 구동시킨다.
상기 스테레오 카메라(110)는 상기 대상물의 스테레오 영상을 획득하고, 상기 뎁스맵 이미지 추출부(130)는 상기 스테레오 카메라(110)에서 획득된 스테레오 영상으로 뎁스맵 이미지를 추출한다.
또, 상기 조도 감지부(100)에서 감지된 조도가 기준 조도 미만인 경우, 제 2 신호를 상기 적외선 감지 센서(120)로 출력한다.
상기 제 2 신호에 의해 상기 적외선 감지 센서(120)는 구동되어, 대상물에 적외선을 조사하고 반사된 적외선을 감지하고, 상기 뎁스맵 이미지 추출부(130)는 상기 적외선 감지 센서(120)에서 감지된 적외선으로 뎁스맵 이미지를 추출하게 된다.
그리고, 상기 기준 조도는 500lux일 수 있다.
또, 도 2는 뎁스맵 이미지 추출 장치에서 추출된 일례의 뎁스맵 이미지(10)의 사진을 도시한 것이다.
따라서, 본 발명에 따른 뎁스맵 이미지 추출 장치는 감지된 조도가 기준 조도 이상인 경우, 스테레오 카메라에서 촬영된 스테레오 영상으로 뎁스맵 이미지를 추출하고, 감지된 조도가 기준 조도 미만인 경우, 적외선 감지 센서에서 감지된 적외선으로 뎁스맵 이미지를 추출함으로써, 저조도 환경에서도 안전하게 뎁스맵 이미지를 추출할 수 있어, 추출된 뎁스맵 이미지로 얼굴 인식이나, 제스쳐(Gesture) 인식에 활용할 수 있는 장점이 있다.
도 3은 본 발명에 적용된 스테레오 카메라를 설명하기 위한 모식적인 도면이고, 도 4는 본 발명에 적용된 적외선 감지 센서를 설명하기 위한 모식적인 도면이다.
전술된 스테레오 카메라(110)는 두 개의 카메라부인 경우, 도 3에 도시된 바와 같이, 제 1 영상을 촬영하는 제 1 카메라부(111)와; 제 2 영상을 촬영하는 제 2 카메라부(112)를 포함하고, 상기 제 1 카메라부(111)와 상기 제 2 카메라부(112)는 소정 간격으로 이격되어 있다.
그리고, 적외선 감지 센서(120)는 적외선 송신부(121)와 적외선 수신부(122)를 구비하고 있어, 상기 적외선 송신부(121)에서 적외선(IR)을 대상물로 송신하고, 상기 대상물에서 반사된 적외선(IR)을 감지하게 된다.
도 5는 본 발명에 따른 뎁스맵 이미지 추출 방법의 플로우챠트이다.
본 발명에 따른 뎁스맵 이미지 추출 방법은 대상물의 조도를 감지한다.(S100단계)
그 후, 상기 감지된 조도가 기준 조도 이상인가를 판단한다.(S110단계)
계속, 상기 감지된 조도가 기준 조도 이상인 경우, 스테레오 카메라를 구동시켜 상기 대상물의 스테레오 영상을 획득하고(S120단계), 상기 감지된 조도가 기준 조도 미만인 경우, 적외선 감지 센서를 구동시켜 대상물에 적외선을 조사하고 반사된 적외선을 감지한다.(S130단계)
그 다음, 상기 획득된 스테레오 영상 또는 상기 감지된 적외선으로 뎁스맵 이미지를 추출한다.(S140단계)
상기 대상물이 사람이고, 'S140단계' 후에, 상기 뎁스맵 이미지로 사람의 얼굴을 인식하거나 또는 제스쳐를 인식하는 단계를 더 수행할 수 있다.
이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하고, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.
Claims (6)
- 대상물의 조도를 감지하고, 감지된 조도가 기준 조도 이상인 경우, 제 1 신호를 출력하고, 감지된 조도가 기준 조도 미만인 경우, 제 2 신호를 출력하는 조도 감지부와;
상기 조도 감지부에서 출력된 제 1 신호로 동작되어, 대상물의 스테레오 영상을 획득하는 스테레오 카메라와;
상기 조도 감지부에서 출력된 제 2 신호로 동작되어, 대상물에 적외선을 조사하고 반사된 적외선을 감지하는 적외선 감지 센서와;
상기 스테레오 카메라에서 획득된 스테레오 영상, 또는 상기 적외선 감지 센서에서 감지된 적외선으로 뎁스맵 이미지(Depth map image) 추출하는 뎁스맵 이미지 추출부를 포함하는 뎁스맵 이미지 추출 장치.
- 청구항 1에 있어서,
상기 스테레오 카메라는,
제 1 영상을 촬영하는 제 1 카메라부와;
제 2 영상을 촬영하는 제 2 카메라부를 포함하고,
상기 제 1 카메라부와 상기 제 2 카메라부는 소정 간격으로 이격되어 있는 뎁스맵 이미지 추출 장치. - 청구항 1에 있어서,
상기 기준 조도는,
500lux인 뎁스맵 이미지 추출 장치.
- 대상물의 조도를 감지하는 단계와;
상기 감지된 조도가 기준 조도 이상인가를 판단하는 단계와;
상기 감지된 조도가 기준 조도 이상인 경우, 스테레오 카메라를 구동시켜 상기 대상물의 스테레오 영상을 획득하고, 상기 감지된 조도가 기준 조도 미만인 경우, 적외선 감지 센서를 구동시켜 대상물에 적외선을 조사하고 반사된 적외선을 감지하는 단계와;
상기 획득된 스테레오 영상 또는 상기 감지된 적외선으로 뎁스맵 이미지를 추출하는 단계를 포함하는 뎁스맵 이미지 추출 방법.
- 청구항 4에 있어서,
상기 대상물이 사람인 뎁스맵 이미지 추출 방법.
- 청구항 5에 있어서,
상기 획득된 스테레오 영상 또는 상기 감지된 적외선으로 뎁스맵 이미지를 추출하는 단계' 후에, 상기 뎁스맵 이미지로 사람의 얼굴을 인식하거나 또는 제스쳐를 인식하는 단계를 더 수행하는 뎁스맵 이미지 추출 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110087678A KR101242891B1 (ko) | 2011-08-31 | 2011-08-31 | 뎁스맵 이미지 추출 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110087678A KR101242891B1 (ko) | 2011-08-31 | 2011-08-31 | 뎁스맵 이미지 추출 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130024312A KR20130024312A (ko) | 2013-03-08 |
| KR101242891B1 true KR101242891B1 (ko) | 2013-03-12 |
Family
ID=48176400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110087678A KR101242891B1 (ko) | 2011-08-31 | 2011-08-31 | 뎁스맵 이미지 추출 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101242891B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11025890B2 (en) | 2018-12-03 | 2021-06-01 | Samsung Electronics Co., Ltd. | Electronic device and method for acquiring depth information by using at least one of cameras or depth sensor |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10055881B2 (en) | 2015-07-14 | 2018-08-21 | Microsoft Technology Licensing, Llc | Video imaging to assess specularity |
| KR102370763B1 (ko) | 2017-09-26 | 2022-03-04 | 삼성전자주식회사 | 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법 |
| KR101987922B1 (ko) * | 2019-01-08 | 2019-06-11 | 오은실 | 라이트 셀의 능동적 제어를 통한 자동 이미지 캡쳐 시스템 |
| CN110852310B (zh) * | 2020-01-14 | 2021-02-09 | 长沙小钴科技有限公司 | 三维人脸识别方法、装置、终端设备及计算机可读介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060073094A (ko) * | 2004-12-24 | 2006-06-28 | 주식회사 팬택 | 이동통신단말기에서의 카메라 사용시 적외선 모드 자동제어 장치 |
| KR20110084029A (ko) * | 2010-01-15 | 2011-07-21 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 방법 |
-
2011
- 2011-08-31 KR KR1020110087678A patent/KR101242891B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060073094A (ko) * | 2004-12-24 | 2006-06-28 | 주식회사 팬택 | 이동통신단말기에서의 카메라 사용시 적외선 모드 자동제어 장치 |
| KR20110084029A (ko) * | 2010-01-15 | 2011-07-21 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11025890B2 (en) | 2018-12-03 | 2021-06-01 | Samsung Electronics Co., Ltd. | Electronic device and method for acquiring depth information by using at least one of cameras or depth sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130024312A (ko) | 2013-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102400992B1 (ko) | 깊이 정보 추출 장치 및 방법 | |
| KR101242891B1 (ko) | 뎁스맵 이미지 추출 장치 및 방법 | |
| EP2871843A3 (en) | Digital device and method for processing three dimensional image thereof | |
| KR101613133B1 (ko) | 3차원 영상 처리 장치 및 그 방법 | |
| KR101182188B1 (ko) | 적외선 센서 및 이를 이용한 감지 방법 | |
| WO2006022980A3 (en) | System and method for efficiently performing a depth map recovery procedure | |
| EP2268048A3 (en) | Distance measuring apparatus having dual stereo camera | |
| WO2016203078A3 (es) | Procedimiento de mejora de imagen térmica o ir basado en información de escena para videoanálisis | |
| WO2017215351A1 (zh) | 摄像装置识别范围的调整方法及装置 | |
| WO2016165379A1 (zh) | 一种投影方法、装置、设备及计算机存储介质 | |
| EP2884336A3 (en) | Focus control apparatus and control method therefor | |
| EP2830002A3 (en) | Image capture device, biometric authentication apparatus, and image capture method | |
| US20150055158A1 (en) | Processing apparatus | |
| KR20120007734A (ko) | 거리 측정 모듈 및 이를 포함하는 디스플레이 장치, 디스플레이 장치의 거리 측정 방법 | |
| TWI518305B (zh) | 影像擷取方法 | |
| US9202115B2 (en) | Event detection system and method using image analysis | |
| WO2020015403A1 (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| KR20150142475A (ko) | 장애물 식별 장치 및 방법 | |
| KR101617068B1 (ko) | 편광 차분 카메라를 이용한 영상처리 시스템 | |
| CN108833885B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| KR101490909B1 (ko) | 차량용 영상 처리 장치 및 방법 | |
| EP2919450A3 (en) | A method and a guided imaging unit for guiding a user to capture an image | |
| EP2669849A3 (en) | Object detecting device and object detecting method | |
| JP4611919B2 (ja) | 歩行者認識装置 | |
| KR20170020961A (ko) | 차선 인식 장치 및 차선 인식 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160205 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170207 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180205 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190213 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20200211 Year of fee payment: 8 |