KR101393869B1 - 3ｄ 카메라 모듈 및 그의 구동 방법 - Google Patents

3ｄ 카메라 모듈 및 그의 구동 방법 Download PDF

Info

Publication number
KR101393869B1
KR101393869B1 KR1020120074839A KR20120074839A KR101393869B1 KR 101393869 B1 KR101393869 B1 KR 101393869B1 KR 1020120074839 A KR1020120074839 A KR 1020120074839A KR 20120074839 A KR20120074839 A KR 20120074839A KR 101393869 B1 KR101393869 B1 KR 101393869B1
Authority
KR
South Korea
Prior art keywords
distance
maximum distance
image
depth map
image data
Prior art date
Application number
KR1020120074839A
Other languages
English (en)
Other versions
KR20140007999A (ko
Inventor
이세규
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020120074839A priority Critical patent/KR101393869B1/ko
Publication of KR20140007999A publication Critical patent/KR20140007999A/ko
Application granted granted Critical
Publication of KR101393869B1 publication Critical patent/KR101393869B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 적어도 둘 이상의 이미지 센서, 상기 이미지 센서의 동작을 제어하는 구동부, 그리고 상기 이미지 센서로부터 피사체에 대한 영상 데이터를 수신하여 상기 피사체와의 최대 거리를 연산하여 3D 심도맵(depth map)을 추출하는 변환부를 포함하는 3D 카메라 모듈을 제공한다. 따라서, 기준 거리보다 최대 거리가 작은 경우에는 최대 거리를 기준으로 심도맵을 형성하여 해상도를 높일 수 있으며, 기준 거리보다 최대 거리가 큰 경우에는 최대 거리를 기준으로 심도맵을 형성하여 추출 거리를 증가시킬 수 있다.

Description

3Ｄ 카메라 모듈 및 그의 구동 방법{3D camera module and the method for driving the same}
본 발명은 3D 카메라 모듈 및 그의 구동 방법에 관한 것이다.
차원 입체 영상 기술은 차세대 정보 통신 서비스로서, 수요 및 기술 개발 경쟁이 치열한 첨단의 고도화 기술에서 정보통신, 방송, 의료, 교육 훈련, 군사, 게임, 애니메이션, 가상현실, CAD, 산업 기술 등 그 응용 분야가 매우 다양하며 여러 분야에서 공통적으로 요구되는 차세대 실감 3차원 입체 멀티미디어 정보 통신의 핵심 기반기술이라고 할 수 있다.
일반적으로 사람이 지각하는 입체감은 관찰하고자 하는 물체의 위치에 따른 수정체의 두께 변화 정도, 양쪽 눈과 대상물과의 각도 차이, 그리고 좌우 눈에 보이는 대상물의 위치 및 형태의 차이, 대상물의 운동에 따라 생기는 시차, 그 밖에 각종 심리 및 기억에 의한 효과 등이 복합적으로 작용해 생긴다. 그 중에서도 사람의 두 눈이 가로 방향으로 약 6~7㎝ 가량 떨어져 위치함으로써 나타나게 되는 양안 시차(binocular disparity)는 입체감의 가장 중요한 요인이라고 할 수 있다. 즉 양안시차에 의해 대상물에 대해 각도 차이를 갖고 바라보게 되고, 이 차이로 인해 각각의 눈에 들어오는 이미지가 서로 다른 상을 갖게 되며 이 두 영상이 망막을 통해 뇌로 전달되면 뇌는 이 두 개의 정보를 정확히 서로 융합하여 본래의 3차원 입체 영상을 느낄 수 있는 것이다.
이를 위해 3D를 표현하기 위한 카메라 모듈에서는 상호 이격된 두 개의 이미지 센서를 구비하여 각각 좌안 영상과 우안 영상에 해당하는 영상 정보를 입력하여 입체 영상을 표현하게 되나, 입체 영상을 표시하는 3D 심도맵(Depth map)을 형성 시에 기준 거리에 따라 획일적으로 데이터를 처리하여 해상도가 감소하는 문제가 있다.
실시예는 최대 거리를 추출하여 3D 심도맵을 구현하는 3D 카메라 모듈 및 그의 구동 방법을 제공한다.
실시예는 적어도 둘 이상의 이미지 센서, 상기 이미지 센서의 동작을 제어하는 구동부, 그리고 상기 이미지 센서로부터 피사체에 대한 영상 데이터를 수신하여 상기 피사체와의 최대 거리를 연산하여 3D 심도맵(depth map)을 추출하는 변환부를 포함하는 3D 카메라 모듈을 제공한다.
상기 구동부 및 변환부의 동작을 제어하는 제어부를 더 포함할 수 있다.
상기 변환부로부터 3D 영상 데이터를 수신하여 표시하는 표시부를 더 포함할 수 있다.
상기 구동부는 상기 이미지 센서 사이의 거리를 조절할 수 있다.
상기 변환부는 상기 영상 데이터를 수신하여 상기 피사체와 상기 이미지 센서 사이의 최대거리를 추출하는 최대거리추출부, 상기 영상 데이터 및 상기 최대거리에 기초하여 3D 심도맵을 추출하는 3D 심도맵 추출부, 그리고 상기 3D 심도맵과 상기 영상 데이터에 기초하여 상기 3D 영상 데이터를 생성하는 포맷 변환부를 포함할 수 있다.
상기 최대거리추출부는 상기 3D 심도맵 상에서 가장 먼 거리의 피사체의 계조가 최대 계조를 충족하도록 상기 이미지 센서 사이의 거리를 조절할 수 있다.
상기 최대거리추출부는 조절된 상기 이미지 센서 사이의 거리에 따라 상기 이미지 센서로부터 상기 피사체까지의 최대 거리를 연산할 수 있다.
상기 3D 심도맵추출부는 상기 최대 거리를 기준으로 해상도를 측정할 수 있다.
한편, 실시예는 복수의 이미지 센서로부터 영상 데이터를 수신하는 단계, 상기 영상 데이터로부터 피사체와 상기 이미지 센서 사이의 최대거리를 추출하는 단계, 상기 영상 데이터 및 상기 최대거리에 기초하여 3D 심도맵을 추출하는 단계, 그리고 상기 3D 심도맵과 상기 영상 데이터에 기초하여 상기 3D 영상 데이터를 생성하는 단계를 포함하는 3D 카메라 모듈의 구동 방법을 제공한다.
상기 3D 영상 데이터를 수신하여 3D 영상을 표시하는 단계를 더 포함할 수 있다.
상기 최대거리를 추출하는 단계는 상기 3D 심도맵 상에서 가장 먼 거리의 피사체의 계조가 최대 계조를 충족하도록 상기 이미지 센서 사이의 거리를 조절할 수 있다.
상기 최대거리를 추출하는 단계는 조절된 상기 이미지 센서 사이의 거리에 따라 상기 이미지 센서로부터 상기 피사체까지의 최대 거리를 연산할 수 있다.
상기 3D 심도맵을 추출하는 단계는 상기 최대 거리를 기준으로 해상도를 측정할 수 있다.
상기 최대거리가 상기 해상도의 기준 거리보다 큰 경우, 상기 기준 거리를 상기 최대거리로 확장할 수 있다.
상기 최대거리가 상기 해상도의 기준 거리보다 작은 경우, 상기 기준 거리를 상기 최대거리로 축소할 수 있다.
본 발명에 따르면, 기준 거리보다 최대 거리가 작은 경우에는 최대 거리를 기준으로 심도맵을 형성하여 해상도를 높일 수 있으며, 기준 거리보다 최대 거리가 큰 경우에는 최대 거리를 기준으로 심도맵을 형성하여 추출 거리를 증가시킬 수 있다.
도 1은 본 발명의 이미지 센서의 구성도이다.
도 2는 도 1의 변환부의 구성도이다.
도 3은 변환부의 동작을 나타내는 순서도이다.
도 4는 최대 거리를 추출하는 방법을 나태내는 도면이다.
도 5a 및 도 5b는 추출된 최대 거리에 따른 기준 거리를 도시한 도면이다.
도 6은 본 발명에 따른 심도맵을 나타내는 사진이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 이미지 센서와 피사체 사이의 최대 거리를 추출하여 심도맵 추출 시에 기준 거리를 수정함으로써 리소스를 절약할 수 있는 이미지 센서를 제공한다.
이하에서는 도 1 내지 도 6을 참고하여 본 발명의 3D 카메라 모듈을 설명한다.
도 1은 본 발명의 카메라 모듈의 구성도이고, 도 2는 도 1의 변환부의 구성도이고, 도 3은 변환부의 동작을 나타내는 순서도이고, 도 4는 최대 거리를 추출하는 방법을 나태내는 도면이고, 도 5a 및 도 5b는 추출된 최대 거리에 따른 기준 거리를 도시한 도면이며, 도 6은 본 발명에 따른 심도맵을 나타내는 사진이다.
도 1을 참고하면, 발명의 실시예에 따른 3D 카메라 모듈(200)은 이미지 센서(250, 255), 구동부(240), 제어부(260), 변환부(100) 및 표시부(300)로 구성되어 있다.
상기 이미지 센서(250, 255)는 적어도 하나의 렌즈를 포함할 수 있으며, 외부의 영상정보를 수집한다. 즉, 피사체에서 획득된 영상 데이터를 수집하여 변환부(100)에 전달한다.
상기 이미지 센서(250, 255)는 구동부(240)에 의해 촬영되는 영상 데이터가 변경될 수 있다. 구체적으로 상기 이미지 센서(250, 255)는 좌이미지 센서(250)과 우이미지 센서(255)를 포함하며, 좌이미지 센서(250)가 좌안 영상을 수집하고, 우이미지 센서(255)가 우안 영상을 수집한다.
상기 좌안 영상은 사람의 좌안에 해당하는 영상 정보를 의미하고, 우안 영상은 사람의 우안에 해당하는 영상 정보를 의미한다.
상기 구동부(240)는 상기 이미지 센서(250, 255)의 거리 및 각도를 제어하고 센싱 시간을 제어한다.
즉, 상기 구동부(240)는 상기 이미지 센서(250, 255)의 좌우 영상간의 기구적 편차를 보정한다.
상기 제어부(260)는 변환부(100) 및 구동부(240)의 동작 여부를 제어하는 것으로, 상기 구동부(240)가 동작하지 않는 경우, 상기 이미지 센서(250, 255)는 2D의 평면 영상을 수집하게 된다. 상기 구동부(240)가 동작하는 경우, 이미지 센서(250, 255)는 좌안 영상 및 우안 영상을 시간의 경과에 따라 교대로 수집하여 3D 영상을 표시하게 된다.
상기 변환부(100)는 상기 제어부(260)에 의해 이미지 센서(250, 255)로부터 영상 데이터를 수신하여 3D 영상 데이터로 변환하여 표시부(300)로 출력한다.
상기 변환부(100)는 영상 데이터를 변환 할 때, 3D 심도맵을 추출하여 변환한다.
이를 위하여, 상기 변환부(100)는 도 2와 같이 입력부(110)(110), 최대거리추출부(120)(120), 3D심도맵추출부(130) 및 포맷 변환부를 포함한다.
상기 입력부(110)는 상기 이미지 센서(250, 255)로부터 상기 좌 우 영상 데이터를 수신한다(S100).
상기 수신된 영상 데이터로부터 상기 최대거리추출부(120)는 카메라 모듈로부터 피사체까지의 최대 거리를 측정한다(S110).
즉, 도 4와 같이 3D 심도맵 상에서 가장 먼 거리의 피사체를 흰색, 즉 255 계조 중 최고 계조로 표현할 때, 3D 심도맵 상에서 가장 먼 거리의 피사체가 흰색으로 표시되도록 두 개의 이미지 센서(250, 255) 사이의 거리(dLR)를 조절한다.
이와 같이 두 개의 이미지 센서(250, 255) 사이의 거리(dLR)를 조절하면 삼각 기법에 의해 상기 이미지 센서(250, 255)와 피사체 사이의 최대 거리(d)를 구할 수 있다.
이와 같이 최대 거리(d)가 추출되면 상기 최대 거리(d)를 기초로 3D 심도맵추출부(130)는 3D 심도맵을 추출한다(S120).
3D 심도맵은 이미지 센서(250, 255)로부터 입력된 영상을 상기 추출된 최대 거리(d)를 해상도로 나누고, 상기 해상도의 해당 깊이에 따라 원근을 0부터 255 계조로 표현한 것이다.
상기 3D 심도맵을 추출할 때, 일반적으로 도 5a와 같이 해상도를 구분하는 기준 거리(dspec)를 설정하고, 피사체와의 거리가 기준 거리보다 작거나 크더라도 관계 없이 기준 거리에 준하여 해상도를 결정한다.
따라서, 기준 거리(dspec)보다 피사체와의 거리(dA)가 먼 경우에는 심도맵이 추출되지 않는 구간이 발생하고, 기준 거리(dspec)보다 피사체와의 거리(dB)가 가까운 경우에는 기준 거리(dspec)보다 짧은 거리에 정해진 해상도를 할당함으로 해상도가 낭비된다.
이때, 본 발명의 도 5b를 참고하면, 피사체와의 최대 거리(d)를 추출하여 상기 최대 거리(dA, dB)와 기준 거리(dspec)를 비교한다.
상기 최대 거리(dA)가 기준 거리(dspec)보다 작은 A의 경우, 해상도를 할당하는 기준 거리(dspec)를 상기 최대 거리(dA)로 축소하여 해상도를 높일 수 있다. 반면 최대 거리(dB)가 기준 거리(dspec)보다 큰 B의 경우, 기준 거리(dspec)를 상기 최대 거리(dB)로 확장하여 해상도는 낮게 형성되나 종래 기준 거리(dspec)보다 먼 거리까지 심도맵을 형성함으로써 피사체 전체의 원근을 표현할 수 있다.
따라서, 도 6과 같이 원영상의 피사체 전체에 대하여 심도맵을 형성할 수 있다.
다음으로, 포맷 변환부(140)는 좌안 영상과 우안 영상 및 심도맵을 종합하여 3D 영상 데이터로 변환한다.
상기 포맷 변환부(140)는 3D 영상 데이터를 상기 표시부(300)로 출력함으로써 이미지 센서(250, 255)로부터 수신한 좌안 및 우안 영상을 3D 영상 데이터로 변환하여 표시할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
이미지 센서 50, 255
제어부 260
구동부 240
변환부 100
표시부 300
입력부 110
최대거리 추출부 120
3D심도맵 추출부 130
포맷 변환부 140

Claims (15)

  1. 적어도 둘 이상의 이미지 센서,
    상기 이미지 센서의 동작을 제어하는 구동부, 그리고
    상기 이미지 센서로부터 피사체에 대한 영상 데이터를 수신하여 상기 피사체와의 최대 거리를 연산하여 3D 심도맵(depth map)을 추출하는 변환부
    를 포함하는 3D 카메라 모듈.
  2. 제1항에 있어서,
    상기 구동부 및 변환부의 동작을 제어하는 제어부를 더 포함하는 3D 카메라 모듈.
  3. 제1항에 있어서,
    상기 변환부로부터 3D 영상 데이터를 수신하여 표시하는 표시부를 더 포함하는 3D 카메라 모듈.
  4. 제1항에 있어서,
    상기 구동부는 상기 이미지 센서 사이의 거리를 조절하는 3D 카메라 모듈.
  5. 제1항에 있어서,
    상기 변환부는
    상기 영상 데이터를 수신하여 상기 피사체와 상기 이미지 센서 사이의 최대거리를 추출하는 최대거리추출부,
    상기 영상 데이터 및 상기 최대거리에 기초하여 3D 심도맵을 추출하는 3D 심도맵 추출부, 그리고
    상기 3D 심도맵과 상기 영상 데이터에 기초하여 상기 3D 영상 데이터를 생성하는 포맷 변환부
    를 포함하는 3D 카메라 모듈.
  6. 제5항에 있어서,
    상기 최대거리추출부는
    상기 3D 심도맵 상에서 가장 먼 거리의 피사체의 계조가 최대 계조를 충족하도록 상기 이미지 센서 사이의 거리를 조절하는 3D 카메라 모듈.
  7. 제6항에 있어서,
    상기 최대거리추출부는
    조절된 상기 이미지 센서 사이의 거리에 따라 상기 이미지 센서로부터 상기 피사체까지의 최대 거리를 연산하는 3D 카메라 모듈.
  8. 제7항에 있어서,
    상기 3D 심도맵추출부는
    상기 최대 거리를 기준으로 해상도 결정에 기준이 되는 기준 거리를 조정하는 3D 카메라 모듈.
  9. 복수의 이미지 센서로부터 영상 데이터를 수신하는 단계,
    상기 영상 데이터로부터 피사체와 상기 이미지 센서 사이의 최대거리를 추출하는 단계,
    상기 영상 데이터 및 상기 최대거리에 기초하여 3D 심도맵을 추출하는 단계, 그리고
    상기 3D 심도맵과 상기 영상 데이터에 기초하여 상기 3D 영상 데이터를 생성하는 단계
    를 포함하는 3D 카메라 모듈의 구동 방법.
  10. 제9항에 있어서,
    상기 3D 영상 데이터를 수신하여 3D 영상을 표시하는 단계를 더 포함하는 3D 카메라 모듈의 구동 방법.
  11. 제9항에 있어서,
    상기 최대거리를 추출하는 단계는
    상기 3D 심도맵 상에서 가장 먼 거리의 피사체의 계조가 최대 계조를 충족하도록 상기 이미지 센서 사이의 거리를 조절하는 3D 카메라 모듈의 구동 방법.
  12. 제11항에 있어서,
    상기 최대거리를 추출하는 단계는
    조절된 상기 이미지 센서 사이의 거리에 따라 상기 이미지 센서로부터 상기 피사체까지의 최대 거리를 연산하는 3D 카메라 모듈의 구동 방법.
  13. 제9항에 있어서,
    상기 3D 심도맵을 추출하는 단계는
    상기 최대 거리를 기준으로 해상도 결정에 기준이 되는 기준 거리를 조정하는 3D 카메라 모듈의 구동 방법.
  14. 제13항에 있어서,
    상기 최대거리가 상기 기준 거리보다 큰 경우, 상기 기준 거리를 상기 최대거리로 확장하는 3D 카메라 모듈의 구동 방법.
  15. 제14항에 있어서,
    상기 최대거리가 상기 기준 거리보다 작은 경우, 상기 기준 거리를 상기 최대거리로 축소하는 3D 카메라 모듈의 구동 방법.
KR1020120074839A 2012-07-10 2012-07-10 3ｄ 카메라 모듈 및 그의 구동 방법 KR101393869B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120074839A KR101393869B1 (ko) 2012-07-10 2012-07-10 3ｄ 카메라 모듈 및 그의 구동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120074839A KR101393869B1 (ko) 2012-07-10 2012-07-10 3ｄ 카메라 모듈 및 그의 구동 방법

Publications (2)

Publication Number Publication Date
KR20140007999A KR20140007999A (ko) 2014-01-21
KR101393869B1 true KR101393869B1 (ko) 2014-05-12

Family

ID=50142025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120074839A KR101393869B1 (ko) 2012-07-10 2012-07-10 3ｄ 카메라 모듈 및 그의 구동 방법

Country Status (1)

Country Link
KR (1) KR101393869B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0153214B1 (ko) * 1993-08-26 1998-11-16 모리시타 요이찌 입체화상촬상 및 표시장치
KR20110037472A (ko) * 2009-10-07 2011-04-13 삼성전자주식회사 깊이 조절 방법 및 장치
US20110142287A1 (en) * 2009-12-16 2011-06-16 Sony Corporation Algorithms for estimating precise and relative object distances in a scene
KR20110116166A (ko) * 2009-01-12 2011-10-25 엘지전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0153214B1 (ko) * 1993-08-26 1998-11-16 모리시타 요이찌 입체화상촬상 및 표시장치
KR20110116166A (ko) * 2009-01-12 2011-10-25 엘지전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
KR20110037472A (ko) * 2009-10-07 2011-04-13 삼성전자주식회사 깊이 조절 방법 및 장치
US20110142287A1 (en) * 2009-12-16 2011-06-16 Sony Corporation Algorithms for estimating precise and relative object distances in a scene

Also Published As

Publication number Publication date
KR20140007999A (ko) 2014-01-21

Similar Documents

Publication Publication Date Title
US9224232B2 (en) Stereoscopic image generation device, stereoscopic image display device, stereoscopic image adjustment method, program for causing computer to execute stereoscopic image adjustment method, and recording medium on which the program is recorded
US8817073B2 (en) System and method of processing 3D stereoscopic image
EP2360932A1 (en) Method and apparatus for generating 3d image data
WO2012077420A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5178876B2 (ja) 立体映像表示装置及び立体映像表示方法
KR20120053536A (ko) 화상 표시 장치 및 화상 표시 방법
WO2014000370A1 (zh) 景深保持装置、3d显示系统及显示方法
US20120007949A1 (en) Method and apparatus for displaying
KR20100112840A (ko) 스테레오 카메라 시스템 및 이를 이용한 시차검출방법
KR20090059380A (ko) 다시점 영상의 인식 깊이감 조절 장치 및 방법
EP2471583A3 (en) Display control program, display control method, and display control system
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
JP2014074969A (ja) 画像処理装置及びその方法
WO2018074419A1 (ja) 情報処理装置
KR101393869B1 (ko) 3ｄ 카메라 모듈 및 그의 구동 방법
KR100728110B1 (ko) 입체감을 조절할 수 있는 입체영상 표시장치 및 그 방법
JP2012105172A (ja) 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体
CN104616287A (zh) 一种用于3d图像采集与3d打印的移动终端及方法
CN102857769A (zh) 3d 影像处理装置
KR101779423B1 (ko) 영상처리방법 및 영상처리장치
US20140085434A1 (en) Image signal processing device and image signal processing method
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
JP2011223126A (ja) 立体映像表示装置および立体映像表示方法
TW201139974A (en) Calculation method for eye spacing
CN104702937A (zh) 多摄像头实现3d图像采集与打印的移动终端及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170405

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 5