KR101489323B1 - 항공기 조종사용 야간투시경 영상 촬영 장치 및 방법 - Google Patents

항공기 조종사용 야간투시경 영상 촬영 장치 및 방법 Download PDF

Info

Publication number
KR101489323B1
KR101489323B1 KR20120037140A KR20120037140A KR101489323B1 KR 101489323 B1 KR101489323 B1 KR 101489323B1 KR 20120037140 A KR20120037140 A KR 20120037140A KR 20120037140 A KR20120037140 A KR 20120037140A KR 101489323 B1 KR101489323 B1 KR 101489323B1
Authority
KR
South Korea
Prior art keywords
night vision
pilot
amount
light
image
Prior art date
Application number
KR20120037140A
Other languages
English (en)
Other versions
KR20130114814A (ko
Inventor
서정재
Original Assignee
삼성탈레스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성탈레스 주식회사 filed Critical 삼성탈레스 주식회사
Priority to KR20120037140A priority Critical patent/KR101489323B1/ko
Publication of KR20130114814A publication Critical patent/KR20130114814A/ko
Application granted granted Critical
Publication of KR101489323B1 publication Critical patent/KR101489323B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/12Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
    • G02B23/125Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification head-mounted
    • AHUMAN NECESSITIES
    • A42HEADWEAR
    • A42BHATS; HEAD COVERINGS
    • A42B1/00Hats; Caps; Hoods
    • A42B1/24Hats; Caps; Hoods with means for attaching articles thereto, e.g. memorandum tablets or mirrors
    • A42B1/242Means for mounting detecting, signalling or lighting devices
    • AHUMAN NECESSITIES
    • A42HEADWEAR
    • A42BHATS; HEAD COVERINGS
    • A42B3/00Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04Parts, details or accessories of helmets
    • A42B3/0406Accessories for helmets
    • A42B3/042Optical devices
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 항공기 조종사용 야간투시경 영상 촬영 장치 및 방법에 관한 것으로서, 항공기 조종사용 야간투시경 영상 촬영 장치는 항공기 조종사의 헬멧에 고정된 야간투시경 및 상기 야간투시경에 부착되고, 상기 야간투시경의 광축과 평행하게 광축을 조정하고, 상기 야간투시경의 배율과 동일하게 배율을 조정하여 촬영하는 영상 촬영 장치를 포함하도록 구성될 수 있다. 여기에서, 상기 영상 촬영 장치는, 주야간 촬영 및 관측이 가능하도록 야시 튜브(Intensified Tube)에 입사되는 광량을 조정하는 게이팅(Gating) 제어를 할 수 있다. 또한, 상기 영상 촬영 장치는, 상기 게이팅(Gating) 제어를 위해 빛의 양을 감지하는 광량 센서를 포함하도록 할 수 있다. 상기와 같은 항공기 조종사용 야간투시경 영상 촬영 장치 및 방법에 따르면, 야간투시경에 부착된 영상 촬영 장치를 통해 조종사가 야간투시경을 이용하여 바라보는 영상을 그대로 촬영하여 외부로 출력할 수 있다. 이를 이용하여, 조종사와 부조종사간 동일한 표적 영상을 공유할 수 있으며, 조종사와 외부 기지 또는 인접 아군간 실시간 영상 공유가 가능하다. 그리고 촬영된 영상을 녹화하여 훈련 성과 분석 및 사고 원인을 파악하는 데도 도움이 된다.

Description

항공기 조종사용 야간투시경 영상 촬영 장치 및 방법{APPARATUS AND METHOD OF IMAGE PHOTOGRAPHING OF NIGHT VISION GOGGLE FOR PILOT}
본 발명은 조종사용 야간투시경에 관한 것으로서, 좀 더 상세하게는 조종사용 야간투시경 영상 촬영 장치 및 방법에 관한 것이다.
항공기 조종사는 야간 운행 시 시야 확보를 위하여 양안 야간투시경을 사용한다. 야간투시경은 육안으로 목표물을 관측하기 어려운 경우 관측자에게 입사되는 광량을 증폭시켜 관측이 가능하도록 도와주는 장비이다.
항공기 조종사용 야간투시경은 조종사용 헬멧에 부착되어 육안으로 관측하는 1인용 장비이기 때문에, 조종사 이외의 다른 사람은 조종사가 야간투시경을 통해 관측하는 정보를 알 수가 없다.
따라서 조종사와 다른 사람들간에 관측 대상에 대한 정보를 정확하게 공유하기가 어려우며, 사고 상황 시 외부에서 항공기 주변의 상황을 정확하게 분석하는 것이 불가능하다.
특히, 야간에는 항공기 주위 환경의 정보를 한눈에 파악하기가 어렵기 때문에 조종사와 부조종사, 또는 인접 아군이나 외부 기지와의 소통이 굉장히 중요하게 된다. 하지만, 헬멧에 부착된 1인용 야간투시경으로는 조종사와 부조종사들 사이에서 서로 관측하는 대상이 다르기 때문에 정보 공유 및 소통의 어려움이 있다.
또한, 야간투시경은 어두운 상황에 맞게 설계되어 있기 때문에, 주간에는 사용할 수 없다는 단점이 있다.
본 발명의 목적은 항공기 조종사용 야간투시경 영상 촬영 장치를 제공하는 데 있다.
본 발명의 다른 목적은 항공기 조종사용 야간투시경 영상 촬영 방법을 제공하는 데 있다.
상술한 본 발명의 목적에 따른 항공기 조종사용 야간투시경 영상 촬영 장치는, 항공기 조종사의 헬멧에 고정된 야간투시경 및 상기 야간투시경의 광축과 평행한 광축을 갖도록 상기 야간투시경에 부착되는 영상 촬영 장치를 포함하도록 구성될 수 있으며, 상기 영상 촬영 장치는 상기 야간투시경의 배율과 동일하게 배율을 자동 조정하여 촬영할 수 있다.
여기에서, 상기 영상 촬영 장치는, 주야간 촬영 및 관측이 가능하도록 야시 튜브(Intensified Tube)에 입사되는 광량을 조정하는 게이팅(Gating) 제어를 할 수 있도록 구성되는 것이 바람직하다.
또한, 상기 영상 촬영 장치는, 상기 게이팅(Gating) 제어를 위해 빛의 양을 감지하는 광량 센서를 포함할 수 있다.
상술한 본 발명의 다른 목적에 따른 항공기 조종사용 야간투시경 영상 촬영방법은, 항공기 조종사의 헬멧에 고정되어 있는 야간투시경이 표적에 의해 반사되는빛을 증폭시켜 상기 조종사에게 제공하는 단계, 상기 야간투시경의 광축과 평행한 광축을 갖도록 상기 야간투시경에 부착된 영상 촬영 장치의 배율을 상기 야간투시경의 배율과 동일하게 조정하는 단계, 상기 영상 촬영 장치의 광량 센서를 이용하여 빛의 양을 감지하는 단계, 상기 감지된 빛의 양에 따라 상기 영상 촬영 장치의 입사 광량을 조정하는 단계, 상기 배율 및 입사 광량이 조정된 영상 촬영 장치가 영상을 촬영하는 단계 및 상기 촬영된 영상 신호를 녹화하고 출력하는 단계를 포함하도록 구성될 수 있다.
이때, 상기 감지된 빛의 양에 따라 상기 영상 촬영 장치의 입사 광량을 조정하는 단계는, 게이팅(Gating) 제어를 통해 야시 튜브(Intensified Tube)에 입사되는 광량을 조정하는 단계를 포함할 수 있다.
또한, 상기 촬영된 영상 신호를 녹화하고 출력하는 단계에서는, 상기 촬영된 영상 신호를 타 조종사 또는 외부 기지로 전송하여 모니터를 통해 출력할 수 있다.
상기와 같은 항공기 조종사용 야간투시경 영상 촬영 장치 및 방법에 따르면, 야간투시경에 부착된 영상 촬영 장치를 통해 조종사가 야간투시경을 이용하여 바라보는 영상을 그대로 촬영하여 외부로 출력할 수 있다. 이를 이용하여, 조종사와 부조종사간 동일한 표적 영상을 공유할 수 있으며, 조종사와 외부 기지 또는 인접 아군간 실시간 영상 공유가 가능하다. 그리고 촬영된 영상을 녹화하여 훈련 성과 분석 및 사고 원인을 파악하는 데도 도움이 된다.
또한, 게이팅(Gating) 제어가 가능한 영상 촬영 장치 및 방법을 이용하여, 야간뿐만 아니라 주간에도 CCTV처럼 조종사가 바라보는 영상을 그대로 촬영하여 관측이 가능하고, 촬영된 영상을 녹화하여 영상 정보를 저장할 수 있다.
따라서, 조종사와 외부 기지 또는 인접 아군간 실시간 영상 공유를 통하여 보다 안전한 비행을 할 수 있으며, 주야간 하나의 장비를 이용하여 관측 또는 녹화가 가능하므로 장비의 비용 절감 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 항공기 조종사용 야간투시경 영상 촬영장치의 사시도이다.
도 2는 본 발명의 일 실시예에 따른 항공기 조종사용 야간투시경 영상 촬영방법의 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 항공기 조종사용 야간투시경 영상 촬영장치의 사시도이다.
도 1을 참조하면, 항공기 조종사용 야간투시경 영상 촬영 장치(100)는 야간투시경(110) 및 영상 촬영 장치(120)를 포함하도록 구성될 수 있다.
야간투시경(110)은 항공기 조종사용 야간투시경으로, 조종사 헬멧에 부착되어 야간 운행 시 또는 주변 환경이 어두운 상황에서 조종사의 시야를 확보하기 위한 장비이다. 야간투시경(110)은 표적에 의해 반사되는 미세한 빛을 증폭시켜 항공기 조종사에게 제공한다.
영상 촬영 장치(120)는 야간투시경(110)의 광축과 평행한 광축을 갖도록 야간투시경(110)에 부착되고, 영상 촬영 장치(120)의 배율을 야간투시경(110)의 배율과 동일하게 자동 조정하여 촬영한다. 여기에서, 야간투시경(110)과 영상 촬영 장치(120)가 동일한 표적을 바라보도록 하기 위해 두 광학 장치의 중심을 평행하게 일치시키는 것이 바람직하다. 또한, 영상 촬영 장치(120)의 배율은 야간투시경(110)과 동일한 배율을 갖도록 야간투시경(110)의 배율 정보를 받아 자동으로 조정되도록 제어할 수 있다. 그리고 영상 촬영 장치(120)는 어두운 곳에서 육안으로 감지하기 힘든 표적을 촬영할 수 있는 ICCD(Intensified Charge Coupled Device)를 사용하는 것이 바람직하다.
또한, 영상 촬영 장치(120)는 주야간 촬영 및 관측이 가능하도록 영상 촬영 장치(120)의 야시 튜브(Intensified Tube)에 입사되는 광량을 조정하는 게이팅(Gating) 제어를 할 수 있게 구성 될 수 있다. 그리고 게이팅 제어를 위해 빛의 양을 감지하는 광량 센서를 포함하도록 구성될 수 있다.
다시 말하면, 야시 튜브와 광량 센서는 영상 촬영 장치(120) 내에 구비되며, 광량 센서에서 감지된 빛의 양에 따라 야시 튜브를 게이팅 제어하여 야시 튜브에 입사되는 광량을 늘리거나 줄이도록 구성된다. 즉, 광량 센서의 센싱 신호에 따라 야시 튜브의 입사 광량이 조절된다.
도 2는 본 발명의 일 실시예에 따른 항공기 조종사용 야간투시경 영상 촬영방법의 순서도이다.
도 2를 참조하면, 먼저 항공기 조종사의 헬멧에 고정되어 있는 야간투시경(110)은 표적에 의해 반사되는 빛을 증폭시켜 상기 조종사에게 제공한다(S110).
그리고 상기 야간투시경(110)의 광축과 평행한 광축을 갖도록 상기 야간투시경(110)에 부착된 영상 촬영 장치(120)의 배율을 상기 야간투시경(110)의 배율과 동일하게 조정한다(S120).
또한, 영상 촬영 장치(120)의 광량 센서를 이용하여 빛의 양을 감지하고(S130), 감지된 빛의 양에 따라 영상 촬영 장치(120)의 입사 광량을 조정한다(S140). 이때, 감지된 빛의 양에 따라 영상 촬영 장치(120)의 입사 광량을 조정하는 단계는, 게이팅(Gating) 제어를 통해 영상 촬영 장치(120)의 야시 튜브(Intensified Tube)에 입사되는 광량을 조정하도록 할 수 있다.
다음으로, 배율 및 입사 광량이 조정된 영상 촬영 장치(120)는 조종사가 관측하는 대상을 촬영한다(S150).
마지막으로, 촬영된 영상 신호를 녹화하고 출력한다(S160). 이때, 촬영된 영상 신호를 타 조종사 또는 외부 기지로 전송하여 모니터를 통해 출력할 수 있다.
100: 야간투시경 영상 촬영 장치
110: 야간투시경
120: 영상 촬영 장치

Claims (6)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 항공기 조종사의 헬멧에 고정되어 있는 야간투시경(110)이 표적에 의해 반사되는 빛을 증폭시켜 상기 조종사에게 제공하는 단계;
    상기 야간투시경(110)의 광축과 평행한 광축을 갖도록 상기 야간투시경(110)에 부착된 영상 촬영 장치(120)의 배율을 상기 야간투시경(110)의 배율과 동일하게 조정하는 단계;
    상기 영상 촬영 장치(120)의 광량 센서를 이용하여 빛의 양을 감지하는 단계;
    상기 감지된 빛의 양에 따라 상기 영상 촬영 장치(120)의 입사 광량을 조정하는 단계;
    상기 배율 및 입사 광량이 조정된 영상 촬영 장치(120)가 상기 조종사가 관측하는 대상을 촬영하는 단계;
    상기 촬영된 영상 신호를 녹화하고 출력하는 단계를 포함하는 항공기 조종사용 야간투시경 영상 촬영 방법.
  5. 제4항에 있어서, 상기 감지된 빛의 양에 따라 상기 영상 촬영 장치(120)의 입사 광량을 조정하는 단계는,
    게이팅(Gating) 제어를 통해 상기 영상 촬영 장치(120) 내에 구비되는 야시 튜브(Intensified Tube)에 입사되는 광량을 조정하는 것을 특징으로 하는 항공기 조종사용 야간투시경 영상 촬영 방법.
  6. 제4항에 있어서, 상기 촬영된 영상 신호를 녹화하고 출력하는 단계는,
    상기 촬영된 영상 신호를 타 조종사 또는 외부 기지로 전송하여 모니터를 통해 출력하는 것을 특징으로 하는 항공기 조종사용 야간투시경 영상 촬영 방법.

KR20120037140A 2012-04-10 2012-04-10 항공기 조종사용 야간투시경 영상 촬영 장치 및 방법 KR101489323B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20120037140A KR101489323B1 (ko) 2012-04-10 2012-04-10 항공기 조종사용 야간투시경 영상 촬영 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20120037140A KR101489323B1 (ko) 2012-04-10 2012-04-10 항공기 조종사용 야간투시경 영상 촬영 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130114814A KR20130114814A (ko) 2013-10-21
KR101489323B1 true KR101489323B1 (ko) 2015-02-03

Family

ID=49634629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20120037140A KR101489323B1 (ko) 2012-04-10 2012-04-10 항공기 조종사용 야간투시경 영상 촬영 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101489323B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5146077A (en) 1991-03-19 1992-09-08 Itt Corporation Gated voltage apparatus for high light resolution and bright source protection of image intensifier tube
KR960002316B1 (ko) * 1987-06-08 1996-02-16 바로 인코포레이티드 야간 투시경
US5949063A (en) 1997-07-28 1999-09-07 Saldana; Michael R. Night vision device having improved automatic brightness control and bright-source protection, improved power supply for such a night vision device, and method of its operation
US6560029B1 (en) * 2001-12-21 2003-05-06 Itt Manufacturing Enterprises, Inc. Video enhanced night vision goggle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960002316B1 (ko) * 1987-06-08 1996-02-16 바로 인코포레이티드 야간 투시경
US5146077A (en) 1991-03-19 1992-09-08 Itt Corporation Gated voltage apparatus for high light resolution and bright source protection of image intensifier tube
US5949063A (en) 1997-07-28 1999-09-07 Saldana; Michael R. Night vision device having improved automatic brightness control and bright-source protection, improved power supply for such a night vision device, and method of its operation
US6560029B1 (en) * 2001-12-21 2003-05-06 Itt Manufacturing Enterprises, Inc. Video enhanced night vision goggle

Also Published As

Publication number Publication date
KR20130114814A (ko) 2013-10-21

Similar Documents

Publication Publication Date Title
AU2010236651B2 (en) Vehicle-mountable imaging systems and methods
ES2633742T3 (es) Sistema para procesamiento de imagen panorámica
US7936319B2 (en) Zero-lag image response to pilot head mounted display control
US20110291918A1 (en) Enhancing Vision Using An Array Of Sensor Modules
US20210168334A1 (en) Data communication between image sensors and image displays
EP2336027A1 (en) Method and system for enhanced vision in aerial refuelling operations
US20110147528A1 (en) Method and system for enhanced vision in aerial refueling operations
KR20120082728A (ko) 공중추적영상촬영을 위한 무인헬리콥터 탑재 카메라 짐벌의 시선각 연동 장치
Gerken et al. Military reconnaissance platform for the spectral range from the visible to the MWIR
JP2011524699A (ja) 複数の動作モードの光学機器
JP5953636B2 (ja) 融合光学センサを有するモジュール式暗視システム
CN108459408A (zh) 一种智能混合现实望远镜
US20120300048A1 (en) Imaging Device and Method for Video Data Transmission Optimization
WO2020110292A1 (ja) 表示制御システム、表示制御装置及び表示制御方法
DE102014112794A1 (de) System zum modularen Nachrüsten oder Ergänzen eines optischen Geräts mit einer Laserentfernungsmessung
KR101489323B1 (ko) 항공기 조종사용 야간투시경 영상 촬영 장치 및 방법
US20240027758A1 (en) Multi-task augmented reality heads up display
JP6575593B2 (ja) 暗視装置、暗視方法およびプログラム
US20080151090A1 (en) Digital Eyepiece Module
KR101546799B1 (ko) 열 영상 카메라를 이용하는 발칸포용 야간조준기 및 그 방법
EP3054665B1 (en) Short wave infrared camera
EP0481623B1 (en) Head-up display with camera
US20120287239A1 (en) Robot Vision With Three Dimensional Thermal Imaging
Boehm et al. Requirements of an HMS/D for a Night-Flying Helicopter
CN205622773U (zh) 一种便携式红外夜视仪

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20171227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 6