KR101606560B1 - 피하 혈관 탐지 영상 보정 방법 - Google Patents

피하 혈관 탐지 영상 보정 방법 Download PDF

Info

Publication number
KR101606560B1
KR101606560B1 KR1020130045890A KR20130045890A KR101606560B1 KR 101606560 B1 KR101606560 B1 KR 101606560B1 KR 1020130045890 A KR1020130045890 A KR 1020130045890A KR 20130045890 A KR20130045890 A KR 20130045890A KR 101606560 B1 KR101606560 B1 KR 101606560B1
Authority
KR
South Korea
Prior art keywords
subcutaneous
correcting
brightness value
brightness
image information
Prior art date
Application number
KR1020130045890A
Other languages
English (en)
Other versions
KR20140127505A (ko
Inventor
진승민
양일승
서영덕
김유식
박소정
Original Assignee
한국화학연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국화학연구원 filed Critical 한국화학연구원
Priority to KR1020130045890A priority Critical patent/KR101606560B1/ko
Publication of KR20140127505A publication Critical patent/KR20140127505A/ko
Application granted granted Critical
Publication of KR101606560B1 publication Critical patent/KR101606560B1/ko

Links

Images

Classifications

    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

피하 혈관 탐지 영상 보정 방법은 적외선 광원을 이용하여 적외선을 피부에 조사하고, 반사된 빛을 카메라로 수용하며, 수용된 빛을 기초로, 피하 혈관을 가시화하는 디지털 영상 정보를 획득하고, 룩업 테이블 알고리즘을 이용하여 획득된 디지털 영상 정보를 보정한다. 디지털 영상 정보를 보정할 때, 명도값과 그 명도값에 상응하는 출력 밝기 간의 함수가 비선형 함수가 되도록 룩업 테이블 알고리즘을 조정한다. 이에 따라, 피하 혈관 이미지 또는 영상의 감도를 향상시켜 피하 혈관의 선별을 보다 용이하게 할 수 있다.

Description

피하 혈관 탐지 영상 보정 방법{METHOD OF CORRECTING HYPODERMIC VEIN DETECTION IMAGES}
본 발명은 적외선 광원을 통해 획득된 피하 혈관 탐지 영상의 보정 방법에 관한 것으로, 보다 상세하게는, 적외선 광원을 이용하여 피부 안쪽에 위치하는 혈관의 디지털 영상 정보를 얻고, 획득된 디지털 영상 정보를 보정하여 영상의 감도를 향상시키는 피하 혈관 탐지 영상의 보정 방법에 관한 것이다.
치료 등의 목적으로 적외선 광원을 이용하여 피부 안쪽에 위치하는 혈관의 디지털 영상 정보를 얻는 기술이 알려져 있다. 예를 들어, WO04/082276 (2004.09.23) 는 물체에 확산된 광을 조사하여 피하 혈관의 시인성을 향상시키는 장치를 개시하고 있다. 또한, 한국등록특허 제823,886호는 돔형 지지대, 다수의 적외선 광원, 톱니 등을 포함하는 간단한 구성을 통하여 넓은 영역에서 고른 분포를 갖는 적외선을 이용할 수 있는 장치를 개시하고 있다.
그러나, 이러한 종래의 장치들은 획득된 디지털 영상의 감도가 여전히 떨어진다는 문제가 있었다. 따라서, 이러한 종래의 장치들로는 두께가 얇은 모세 혈관 등을 탐지하는데 어려움이 있었다. 이에 따라, 피하 혈관 탐지 영상의 감도를 더욱 향상시키고자 하는 요구가 있었다.
본 발명은 상기 종래 기술의 문제를 해결하기 위해서 안출된 것으로, 본 발명의 일 목적은, 영상처리 기법에서 사용되는 룩업 테이블 (lookup table) 알고리즘을 이용하여 피하 혈관 탐지 이미지 또는 영상의 감도를 향상시키는 기술을 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
본 발명의 일 목적을 달성하기 위하여, 피하 혈관 탐지 영상 보정 방법은 적외선 광원을 이용하여 적외선을 피부에 조사하고, 상기 반사된 빛을 카메라로 수용하며, 상기 수용된 빛을 기초로, 피하 혈관을 가시화하는 디지털 영상 정보를 획득하고, 룩업 테이블 알고리즘을 이용하여 상기 획득된 디지털 영상 정보를 보정한다. 상기 보정하는 단계는 명도값과 상기 명도값에 상응하는 출력 밝기 간의 함수가 비선형 함수가 되도록 상기 룩업 테이블 알고리즘을 조정한다.
일 실시예에 의하면, 상기 함수는 x축이 명도값이고 y축이 출력 밝기일 때 아래로 볼록한 곡선 형태를 가질 수 있다.
일 실시예에 의하면, 상기 보정하는 단계는 상기 함수에서 낮은 명도값에서의 출력 밝기를 낮춤으로써 명도 대비를 높일 수 있다.
일 실시예에 의하면, 피하 혈관 탐지 영상 보정 방법은 상기 피부로부터 반사된 빛을 광학줌렌즈 및 적외선 투과 필터에 대해 통과시킬 수 있다.
본 발명의 실시예들에 따른 피하 혈관 탐지 영상 보정 방법에서는 룩업 테이블 알고리즘을 이용하여 피하 혈관 탐지 영상을 보정함으로써, 피하 혈관 이미지 또는 영상의 감도를 향상시킬 수 있다. 이에 따라, 피하 혈관의 선별을 보다 용이하게 할 수 있으며, 특히 굵기가 가늘어서 식별이 어려운 모세 혈관 등을 뚜렷하게 탐지할 수 있다.
다만, 본 발명의 효과는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 피하 혈관 탐지 영상 보정 방법을 수행하기 위한 장치의 분해도이다.
도 2는 본 발명의 일 실시예에 따른 피하 혈관 탐지 영상 보정 방법을 나타내는 순서도이다.
도 3은 룩업 테이블 알고리즘을 조정하는 예시적인 방법을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 피하 혈관 탐지 영상 보정 방법을 적용한 결과를 나타낸다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 피하 혈관 탐지 영상 보정 방법을 수행하기 위한 장치의 분해도이다.
도 1 에 도시된 장치 (10) 는 광원 지지대 (13), 광원 지지대 (13) 의 일면에 원주 방향으로 일정한 간격을 두고 배열되는 복수의 적외선 LED (11), 광원 지지대 (13) 의 상부 중앙에 위치하는 광학줌렌즈 (15), 광학줌렌즈 (15) 를 통과한 빛을 필터링하는 적외선 투과 필터 (17), 적외선 투과 필터 (17) 에 의하여 필터링된 빛을 수용하는 카메라 (19), 카메라 (19) 에 의하여 얻어진 디지털 영상 정보를 가시화하기 위한 영상 표시 장치 (도시되지 않음) 를 포함한다. 카메라 (19) 는 예를 들어, CCD 디지털 카메라, CMOS 디지털 카메라 또는 아날로그 카메라가 될 수 있으며, 이에 한정되지 않는다. 광학줌렌즈 (15), 적외선 투과 필터 (17) 및 카메라 (19) 는 광원 지지대 (13) 로부터 상방으로 순차적으로 고정되어 위치할 수 있다. 또한, 본 발명에 따른 피하 혈관 탐지 영상 장치 (10) 는 카메라 (19) 에 의하여 얻어진 디지털 영상 정보를 가공 처리할 수 있는 프로그램으로 이루어지는 가공 처리 장치 (도시되지 않음) 를 더 포함할 수 있다. 일 실시예에서, 상기 디지털 영상 정보를 가공 처리할 수 있는 프로그램은 룩업 테이블 알고리즘을 포함할 수 있다. 룩업 테이블 알고리즘에 대해서는 도 2 내지 도 4를 참조하여 상세히 후술한다. 또한, 도 1에 도시된 장치 (10) 는 예시적인 것일 뿐이며, 지지대의 형상, 적외선 LED의 배치 등은 실시예에 따라 다양하게 변경될 수 있다.
또한, 도 1 에 도시된 장치는 조사된 적외선이 피부에서 반사하고 난 후, 카메라 (19) 에 의하여 검출되기 직전에 광학 필터 (17) 로 걸러 줌으로써 효과적인 노이즈 제거 효과를 얻을 수 있다. 광학 필터 (17) 의 투과 파장은 복수의 LED 파장에 맞추어져 있기 때문에 외부 광원 (태양빛, 형광등 등)에 의한 노이즈 제거 역할을 한다.
또한, 도 1 에 도시된 장치는 광학줌렌즈 (15) 를 사용하여, 광학적으로 확대된 영상을 얻을 수 있다. 디지털 영상 처리를 통한 화면 확대와는 달리 렌즈를 이용하여 원본 영상 자체를 확대함으로써, 영상의 흐려짐이 없고, 선명한 확대 영상을 얻을 수 있다. 이를 토대로 굵기가 가늘어서 식별이 어려운 모세 혈관 등을 뚜렷하게 탐지할 수 있다. 실시예에 따라, 광학줌렌즈 (15) 내부에 셔터를 장착하여 들어오는 영상의 세기를 조절하는 기능을 포함하도록 할 수도 있다.
도 2는 본 발명의 실시예들에 따른 피하 혈관 탐지 영상 보정 방법을 나타내는 순서도이다.
도 2를 참조하면, 적외선 광원을 이용하여 적외선을 피부에 조사한다 (S210). 이후, 상기 피부로부터 반사된 빛을 광학줌렌즈 및 적외선 투과 필터에 대해 통과시킨다 (S220). 이에 따라, 외부 광원에 의한 노이즈를 제거할 수 있으며, 광학적으로 확대된 영상을 얻을 수 있다. 이후, 상기 통과된 빛을 카메라로 수용하고 (S230), 상기 수용된 빛을 기초로, 피하 혈관을 가시화하는 디지털 영상 정보를 획득한다 (S240). 본 발명의 실시예들에 따른 피하 혈관 탐지 영상 보정 방법에서는 카메라를 통하여 피하 혈관의 영상 정보를 디지털 데이터의 형태로 얻음으로써, 용이하게 상기 정보를 가공하여 원하는 형태로 가시화할 수 있다.
다음으로, 룩업 테이블 알고리즘을 이용하여 상기 획득된 디지털 영상 정보를 보정한다 (S250). 본 발명의 실시예들에 따른 피하 혈관 탐지 영상 보정 방법은 명도값과 상기 명도값에 상응하는 출력 밝기 간의 함수가 비선형 함수가 되도록 상기 룩업 테이블 알고리즘을 조정할 수 있다 (S260). 예를 들어, x축이 명도값이고 y축이 출력 밝기값을 갖는 함수에서, 상기 함수가 아래로 볼록한 곡선 형태를 갖도록 상기 룩업 테이블 알고리즘을 조정할 수 있다. 예를 들어, x축이 명도값이고 y축이 출력 밝기값을 갖는 함수에서, 낮은 명도값에서의 출력 밝기를 낮춤으로써 명도 대비 (lightness contrast) 를 높이도록 상기 룩업 테이블 알고리즘을 조정할 수 있다.
도 3은 룩업 테이블 알고리즘을 조정하는 예시적인 방법을 나타낸다.
본 발명의 실시예들에 따른 피하 혈관 탐지 영상 보정 방법에서는 영상처리 기법에서 주로 사용되는 기술 중에 하나인 룩업 테이블 알고리즘을 이용하여 피하 혈관 이미지 또는 영상의 감도를 향상시킬 수 있다. 이에 따라, 피하 혈관의 선별을 보다 용이하게 할 수 있으며, 특히 굵기가 가늘어서 식별이 어려운 모세 혈관 등을 뚜렷하게 탐지할 수 있는 효과가 있다.
도 3을 참조하면, 함수 (310, 330) 는 x축으로 명도값, 예를 들어, 0 내지 255의 픽셀값을 갖고, y축으로 출력을 갖는다. 함수 (310, 330) 는 입력되는 명도값에 대한 출력 밝기를 나타낸다. 점선으로 표시한 함수 (310) 는 종래 기술에 따른 명도값과 출력 밝기의 함수를 선형 함수로 조정한 경우를 나타내고, 실선으로 표시한 함수 (330) 는 본 발명의 실시예들에 따른 명도값과 출력 밝기의 함수를 비선형 함수로 조정한 경우를 나타낸다. 본 발명의 실시예들에 따른 피하 혈관 탐지 영상 보정 방법에 따르면, 명도값과 출력 밝기의 함수가 아래로 볼록한 비선형 곡선 (330) 이 되도록 룩업 테이블 알고리즘을 조정할 수 있다. 구체적으로, 낮은 명도값에서의 출력 밝기를 약화시킴으로써, 명도 대비를 향상시킬 수 있다.
도 4는 본 발명의 일 실시예에 따른 피하 혈관 탐지 영상 보정 방법을 적용한 결과를 나타낸다.
도 4에 도시된 바와 같이, 피하 혈관 탐지 영상의 보정 방법에서, 명도값과 출력 밝기의 함수를 선형 함수로 조정한 경우 피하 혈관 탐지 영상의 감도가 떨어지게 된다 (도 4의 (a)). 반면, 본 발명의 피하 혈관 탐지 영상 보정 방법에 따라, 명도값과 출력 밝기의 함수가 아래로 볼록한 비선형 곡선이 되도록 룩업 테이블 알고리즘을 조정한 경우 피하 혈관 탐지 영상의 감도를 향상시킬 수 있다 (도 4의 (b)). 도 4의 (b)에 도시된 바와 같이, 낮은 명도값에서의 출력 밝기를 약화시켜 명도 대비를 높임으로써 피하 혈관의 선별을 보다 용이하게 할 수 있다.
상기에서는 본 발명을 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (4)

  1. 피하 혈관 탐지 영상 보정 방법에 있어서,
    상기 방법은,
    적외선 광원을 이용하여 적외선을 피부에 조사하는 단계;
    조사된 피부로부터 반사된 빛을 카메라로 수용하는 단계;
    상기 수용된 빛을 기초로, 피하 혈관을 가시화하는 디지털 영상 정보를 획득하는 단계; 및
    룩업 테이블 알고리즘을 이용하여 상기 획득된 디지털 영상 정보를 보정하는 단계를 포함하고,
    상기 보정하는 단계는, x 축을 명도값으로 하고, 상기 명도값에 상응하는 출력 밝기를 y 값으로 하는 함수가 아래로 볼록한 곡선 형태를 갖는 비선형 함수가 되도록 상기 룩업 테이블 알고리즘을 조정하는 것이며, 상기 함수에서 낮은 명도값에서의 출력 밝기를 낮춤으로써 명도 대비를 높이는 것을 특징으로 하는, 피하 혈관 탐지 영상 보정 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 피부로부터 반사된 빛을 광학줌렌즈 및 적외선 투과 필터에 대해 통과시키는 단계를 더 포함하는, 피하 혈관 탐지 영상 보정 방법.
KR1020130045890A 2013-04-25 2013-04-25 피하 혈관 탐지 영상 보정 방법 KR101606560B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130045890A KR101606560B1 (ko) 2013-04-25 2013-04-25 피하 혈관 탐지 영상 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130045890A KR101606560B1 (ko) 2013-04-25 2013-04-25 피하 혈관 탐지 영상 보정 방법

Publications (2)

Publication Number Publication Date
KR20140127505A KR20140127505A (ko) 2014-11-04
KR101606560B1 true KR101606560B1 (ko) 2016-03-28

Family

ID=52451727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130045890A KR101606560B1 (ko) 2013-04-25 2013-04-25 피하 혈관 탐지 영상 보정 방법

Country Status (1)

Country Link
KR (1) KR101606560B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101716663B1 (ko) * 2015-12-09 2017-03-15 (주)아이에스엠아이엔씨 무채혈 혈당 측정 보정 방법 및 장치
KR101716667B1 (ko) * 2016-12-01 2017-03-15 (주)아이에스엠아이엔씨 피하 혈관의 혈류량 변화를 측정하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100823886B1 (ko) * 2006-12-08 2008-04-21 김성근 적외선 광학계를 이용한 피하 혈관 탐지 영상 장치
KR101005625B1 (ko) * 2009-04-22 2011-01-05 이화여자대학교 산학협력단 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법
KR101064613B1 (ko) 2010-04-22 2011-09-15 주식회사 인트로메딕 소화 기관의 촬영 영상의 프로세싱 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100023240A (ko) * 2008-08-21 2010-03-04 엘지전자 주식회사 영상 표시 장치 및 영상 처리 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100823886B1 (ko) * 2006-12-08 2008-04-21 김성근 적외선 광학계를 이용한 피하 혈관 탐지 영상 장치
KR101005625B1 (ko) * 2009-04-22 2011-01-05 이화여자대학교 산학협력단 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법
KR101064613B1 (ko) 2010-04-22 2011-09-15 주식회사 인트로메딕 소화 기관의 촬영 영상의 프로세싱 방법

Also Published As

Publication number Publication date
KR20140127505A (ko) 2014-11-04

Similar Documents

Publication Publication Date Title
US9674433B1 (en) Image center calibration for a quadric panoramic optical device
US7589771B2 (en) Image processing apparatus, image processing method, image pickup apparatus, computer program and recording medium
KR20160050755A (ko) 전자 장치 및 그의 홍채 인식 방법
JP2013198041A (ja) 画像処理装置
US11569283B2 (en) Image pickup apparatus having image sensor equipped with polarizing element and control method therefor
JP2016081427A (ja) 画像処装置および画像処理方法、並びにプログラム
KR101606560B1 (ko) 피하 혈관 탐지 영상 보정 방법
CN106716990B (zh) 红外线摄像装置及固定图案噪声计算方法
JP6847636B2 (ja) 医療用信号処理装置及び医療用観察システム
JP6017749B1 (ja) 撮像装置、撮像装置の作動方法
JP4804387B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
KR101870895B1 (ko) 멀티 터치 인식 장치 및 그 제어방법
KR101611816B1 (ko) 얼굴 인식 장치 및 방법
US9154716B2 (en) Image processing apparatus and method for smoothing pixel values according to a divergence of pixel candidates
KR101950433B1 (ko) 중적외선 영상에서의 물체 검출 방법 및 장치
JP2010187394A (ja) 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP6431210B2 (ja) 撮像装置
JP2010147800A (ja) 画像処理装置
JP2010056817A (ja) 撮像装置
JP5600580B2 (ja) 画像処理装置、及び撮像装置
JP2013115702A5 (ja) 撮像装置、及び撮像装置の制御方法
TWI511549B (zh) 影像處理方法與影像處理系統
JP2016177215A (ja) 撮像装置
KR101950436B1 (ko) 중적외선 영상에서의 물체 검출 장치
JP6512806B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20141201

Effective date: 20151020

S901 Examination by remand of revocation
E902 Notification of reason for refusal
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190305

Year of fee payment: 4