KR101592392B1 - 곡면 디스플레이 장치 - Google Patents

곡면 디스플레이 장치 Download PDF

Info

Publication number
KR101592392B1
KR101592392B1 KR1020130151790A KR20130151790A KR101592392B1 KR 101592392 B1 KR101592392 B1 KR 101592392B1 KR 1020130151790 A KR1020130151790 A KR 1020130151790A KR 20130151790 A KR20130151790 A KR 20130151790A KR 101592392 B1 KR101592392 B1 KR 101592392B1
Authority
KR
South Korea
Prior art keywords
curved screen
curved
image
infrared
dew
Prior art date
Application number
KR1020130151790A
Other languages
English (en)
Other versions
KR20150066356A (ko
Inventor
이종복
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020130151790A priority Critical patent/KR101592392B1/ko
Publication of KR20150066356A publication Critical patent/KR20150066356A/ko
Application granted granted Critical
Publication of KR101592392B1 publication Critical patent/KR101592392B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements

Abstract

본 발명의 일 실시 예에 따른 곡면 디스플레이 장치는 곡면 스크린, 곡면 스크린의 후방에 배치되어, 곡면 스크린으로 적외선을 조사하는 적외선 조명, 곡면 스크린에서 반사된 적외선 이미지를 촬영하는 적외선 카메라 및 적외선 이미지를 이용하여 곡면 스크린의 결로 영역을 검출하고, 결로 영역을 제외한 곡면 스크린의 정상 영역에 영상을 표시하는 제어부를 포함한다.

Description

곡면 디스플레이 장치 {CURVED DISPLAY DEVICE}
본 발명은 곡면 디스플레이 장치에 관한 것으로, 더욱 상세하게는 곡면 디스플레이 장치로 표시되는 영상의 색상을 정확하게 표시하기 위한 곡면 디스플레이 장치에 관한 것이다.
차량의 기능이 다양화, 고급화되면서, 차량의 각종 기능에 대한 명령을 입력할 수 있는 다양한 입력장치들이 개발되고 있다. 운전자의 편의를 향상시키기 위해, 차량의 클러스터(Cluster) 또는 AVN (Audio Video Navigation)에도 터치 스크린을 적용하려는 시도가 이루어지고 있다.
일반적으로 차량에 장착되는 터치 스크린의 경우, 운전석의 전면에 설치되기 때문에 공간 활용이 효율적이지 못하고, 차량 내부의 곡선 디자인과 어울리기 어렵기 때문에, 최근에는 차량에 곡면 디스플레이 장치가 설치되는 추세이다.
곡면 디스플레이 장치는 기존의 평면 디스플레이 장치와 비교할 때, 터치 입력을 감지하기 어렵기 때문에, 곡면디스플레이 장치의 효율적인 사용을 위해, 사용자의 터치 입력을 감지하기 위한 별도의 장치가 요구된다. 이러한 요구에 부응하기 위해, 종래에는 적외선을 이용하여 사용자의 터치를 인식하는 기술이 사용되고 있다.
이러한 곡면 디스플레이 장치의 기능 지지 및 증대를 위해, 곡면 디스플레이 장치의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.
곡면 디스플레이 장치는 곡면 스크린의 입체적인 형상, 곡면 스크린의 소재 등에 의해 결로 현상이 발생하는 문제점이 있다.
특허문헌 1 : 한국공개특허 제2013-0064003호 (2013.06.17. 공개)
본 발명은 전술한 필요성을 충족하기 위해 제안되는 것으로서, 곡면 스크린에 표시하는 영상에 대한 사용자의 시인성을 높이기 위한 곡면 디스플레이 장치를 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기한 바와 같은 목적을 달성하기 위해 본 발명의 일 실시 예에 따른 곡면 디스플레이 장치는 곡면 스크린, 곡면 스크린의 후방에 배치되어, 곡면 스크린으로 적외선을 조사하는 적외선 조명, 곡면 스크린에서 반사된 적외선 이미지를 촬영하는 적외선 카메라 및 적외선 이미지를 이용하여 곡면 스크린의 결로 영역을 검출하고, 결로 영역을 제외한 곡면 스크린의 정상 영역에 영상을 표시하는 제어부를 포함한다.
제어부는 적외선 이미지에서 정상 영역에서 반사된 적외선이 촬영되는 위치를 이용하여 터치 입력을 검출할 수 있다.
제어부는 결로 영역에 암영상을 표시할 수 있다.
제어부는 결로 영역에 표시되는 객체를 정상 영역으로 이동시켜 표시할 수 있다.
제어부는 곡면 스크린에 결로 영역을 지시하는 인디케이터를 영상 또는 객체와 함께 표시할 수 있다.
곡면 스크린은 아크릴 소재를 포함할 수 있다.
본 발명에 따른 곡면 디스플레이 장치의 효과에 대해 설명하면 다음과 같다.
본 발명에 따른 곡면 디스플레이 장치는 곡면 스크린에 표시하는 영상에 대한 사용자의 시인성을 증가시킬 수 있는 효과가 있다.
그리고, 본 발명에 따른 곡면 디스플레이 장치는 곡면 스크린의 결로 여부를 사용자에게 알리는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이 도면들은 본 발명의 예시적인 실시 예를 설명하는데 참조하기 위함이므로, 본 발명의 기술적 사상을 첨부한 도면에 한정해서 해석하여서는 아니된다.
도 1은 본 발명의 일 실시 예에 따른 곡면 디스플레이 장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 곡면 디스플레이 장치의 곡면 스크린에 영상을 표시하는 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 곡면 디스플레이 장치의 곡면 스크린에 결로 영역이 검출되는 경우 영상을 표시하는 예시도이다.
도 4는 본 발명의 다른 실시 예에 따른 곡면 디스플레이 장치의 곡면 스크린에 결로 영역이 검출되는 경우, 영상을 표시하는 예시도이다.
이하, 본 발명과 관련된 곡면 디스플레이 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않으며, 여러 부분 및 영역을 명확하게 표현하기 위하여 두께를 확대하여 나타내었다.
도 1은 본 발명의 일 실시 예에 따른 곡면 디스플레이 장치의 구성도이다.
도 1에 도시된 바와 같이, 곡면 디스플레이 장치는 곡면 스크린(10), 프로젝터(20), 비구면 거울(30), 반사 거울(40), 적외선 조명(50), 적외선 카메라(52) 및 제어부(60) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 곡면 디스플레이 장치가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
곡면 스크린(10)은 영상이 표시될 수 있다. 곡면 스크린(10)은 아크릴 판과 상기 아크릴 판에 접착된 후면투사필름으로 구성될 수 있다. 그리고, 곡면 스크린(10)을 차량의 전면부에 설치하기 위해서는 곡면 스크린(10)의 외곽과 베젤이 결합하여 베젤을 차량의 전면부에 고정하게 된다.
프로젝터(20)는 곡면 스크린(10)의 후방에 구비되어 곡면 스크린(10)에 영상을 투사할 수 있다. 프로젝터(20)는 램프 또는 LED와 같은 광원, 광원을 이용하여 스크린으로 영상을 투사하기 위한 복수의 렌즈를 포함하는 투사부 등을 포함할 수 있으며, 이에 한정되지 않는다.
그리고, 프로젝터(20)와 곡면 스크린(10) 사이에는 비구면 거울(30)과 반사 거울(40)이 구비될 수 있다. 비구면 거울(30)은 프로젝터(20)로부터 투사된 영상을 반사하고, 반사 거울(40)은 비구면 거울(30)로부터 반사된 영상을 곡면 스크린(10)에 투사할 수 있다.
곡면 스크린(10)에 대한 사용자의 터치 입력을 감지하기 위해, 곡면 스크린(10)의 후방에는 적외선 조명(50) 및 적외선 카메라(52)가 구비될 수 있다.
적외선 조명(50)은 곡면 스크린(10)의 전 영역에 고르게 적외선을 조사할 수 있다.
그러면, 적외선 카메라(52)는 곡면 스크린(10)에서 반사된 적외선 이미지를 촬영할 수 있다. 적외선 카메라(52)는 적외선 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 제어부(60)로 출력될 수 있다.
제어부(60)는 촬영된 적외선 이미지를 분석하여 사용자에 의해 터치되는 위치 및 면적을 검출할 수 있다.
제어부(60)는 적외선 카메라(52)로부터 출력되는 화상 프레임으로부터 곡면 스크린(10)의 결로 영역을 검출할 수 있다. 제어부(60)는 화상 프레임에 포함되는 복수의 픽셀 값을 이용하여, 소정 픽셀 값 범위를 벗어나는 픽셀의 좌표를 결로 영역으로 검출할 수 있다.
그리고, 제어부(60)는 결로 영역에서 난반사 또는 굴절되는 적외선이 촬영되는 화상 프레임으로부터 결로 영역의 좌표를 판단할 수 있다. 제어부(60)는 정상 영역에서 반사되는 적외선을 촬영한 화상 프레임을 이용하여 사용자의 터치 입력을 검출할 수 있다.
예를 들어, 제어부(60)는 결로 영역에서 난반사 또는 굴절되는 적외선이 촬영되는 화상 프레임 내의 위치를 계산하고, 계산된 위치를 제외한 화상 프레임의 위치에서 터치 입력에 따른 적외선이 촬영될 때, 이를 이용하여 터치 입력을 검출할 수 있다.
또한, 제어부(60)는 결로 영역을 제외한 곡면 스크린(10)의 정상 영역에 영상을 표시할 수 있다. 제어부(60)는 결로 영역의 좌표를 이용하여, 곡면 스크린(10)에 표시되는 영상을 변경하여 표시할 수 있다.
그리고, 제어부(60)는 결로 영역에 암영상을 표시하고, 결로 영역에 표시되는 객체를 정상 영역으로 이동시켜 표시할 수 있다.
또한, 제어부(60)는 결로 영역이 검출되면, 곡면 스크린(10)에 결로 영역이 검출되었음을 사용자에게 알리는 알림창, 결로 영역을 지시하는 인디케이터를 상기 영상과 함께 표시할 수 있다.
이에 대해서는 도 2 내지 도 4를 참조하여 후술한다.
여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시 예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(60) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 제어부(60)에 의해 실행될 수 있다.
다음으로, 도 2 내지 도 4를 참조하여 곡면 디스플레이 장치의 곡면 스크린(10)에 결로 영역이 검출되는 경우, 결로 영역에 암영상을 표시하고 정상 영역에 영상을 표시하는 방법에 대해 설명한다.
도 2는 본 발명의 일 실시 예에 따른 곡면 디스플레이 장치의 곡면 스크린(10)에 영상을 표시하는 예시도이다. 도시된 바와 같이, 곡면 스크린(10)의 상단부(100)에는 현재 시각이 표시되고, 중앙부에는 사용자의 선택 빈도가 높은 적어도 하나의 제1 객체(102, 104, 106)가 표시되고, 하단부에는 사용자의 선택 빈도가 낮은 적어도 하나의 제2 객체(110)가 표시될 수 있다.
이때, 곡면 스크린(10)은 곡면 스크린(10) 내부 및 외부의 습도 차 또는 온도 차 등에 의해 결로될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 곡면 디스플레이 장치의 곡면 스크린(10)에 결로 영역(200)이 검출되는 경우 영상을 표시하는 예시도이다. 도시된 바와 같이, 제어부(60)는 곡면 스크린(10)의 결로 영역(200)에 암영상(202)을 표시할 수 있다.
그리고, 제어부(60)는 사용자의 선택 빈도가 높은 적어도 하나의 제1 객체(102, 104, 106)를 곡면 스크린(10)의 좌측에 표시하고, 사용자의 선택 빈도가 낮은 적어도 하나의 제2 객체(110)를 곡면 스크린(10)의 우측에 표시할 수 있다.
제어부(60)는 결로 영역(200)에 표시되는 제1 객체(102, 104, 106)를 곡면 스크린(10)의 좌측에 표시하여, 사용자의 시인성을 증가시킬 수 있다.
그리고, 제어부(60)는 화면 전환 객체(108)를 더 표시할 수 있다. 화면 전환 객체(108)가 사용자에 의해 터치되는 경우, 제어부(60)는 곡면 스크린(10)의 좌측에 적어도 하나의 제2 객체(110)를 표시하고, 곡면 스크린(10)의 우측에 적어도 하나의 제1 객체(102, 104, 106)를 표시할 수 있다.
따라서, 곡면 스크린(10)이 결로되는 경우에도, 제어부(60)는 결로 영역(200)에 표시되는 객체를 정상 영역으로 이동시켜 표시하므로 곡면 스크린(10)에 표시되는 영상에 대한 사용자의 시인성을 증가시킬 수 있다.
도 4는 본 발명의 다른 실시 예에 따른 곡면 디스플레이 장치의 곡면 스크린(10)에 결로 영역(200)이 검출되는 경우, 영상을 표시하는 예시도이다. 도시된 바와 같이, 제어부(60)는 사용자의 선택 빈도가 높은 적어도 하나의 제1 객체(102, 104, 106)를 곡면 스크린(10)의 좌측에 표시하고, 사용자의 선택 빈도가 낮은 적어도 하나의 제2 객체(110)를 곡면 스크린(10)의 우측에 표시할 수 있다. 제어부(60)는 화면 전환 객체(108)를 더 표시할 수 있다.
그리고, 제어부(60)는 결로 영역(200)이 검출되었음을 알리는 알림창(122)과 결로 영역(200)을 지시하는 인디케이터(120)를 제1 객체(102, 104, 106) 및 제2 객체(110)와 함께 표시할 수 있다.
알림창(202)과 인디케이터(120, 122)가 표시됨에 따라, 사용자는 결로 영역(200)에 대해 용이하게 파악할 수 있다.
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 용이하게 선택하여 대체할 수 있다. 또한 당업자는 본 명세서에서 설명된 구성요소 중 일부를 성능의 열화 없이 생략하거나 성능을 개선하기 위해 구성요소를 추가할 수 있다. 뿐만 아니라, 당업자는 공정 환경이나 장비에 따라 본 명세서에서 설명한 방법 단계의 순서를 변경할 수도 있다. 따라서 본 발명의 범위는 설명된 실시형태가 아니라 특허청구범위 및 그 균등물에 의해 결정되어야 한다.
10: 곡면 스크린
20: 프로젝터
30: 비구면 거울
40: 반사 거울
50: 적외선 조명
52: 적외선 카메라
60: 제어부

Claims (6)

  1. 곡면 스크린;
    상기 곡면 스크린의 후방에 배치되어, 상기 곡면 스크린으로 적외선을 조사하는 적외선 조명;
    상기 곡면 스크린에서 반사된 적외선 이미지를 촬영하는 적외선 카메라; 및
    상기 적외선 이미지를 이용하여 상기 곡면 스크린의 결로 영역을 검출하고, 상기 결로 영역에 표시되는 객체를 정상 영역으로 이동시켜 표시하며, 상기 적외선 이미지 내에서 상기 정상 영역에서 반사된 적외선이 촬영되는 위치만을 이용하여 터치 입력을 검출하는 제어부;
    를 포함하는 곡면 디스플레이 장치.
  2. 삭제
  3. 제1 항에 있어서,
    상기 제어부는 상기 결로 영역에 암영상을 표시하는 곡면 디스플레이 장치.
  4. 삭제
  5. 제1 항에 있어서,
    상기 제어부는 상기 곡면 스크린에 상기 결로 영역을 지시하는 인디케이터를 영상 또는 상기 객체와 함께 표시하는 곡면 디스플레이 장치.
  6. 제1 항에 있어서,
    상기 곡면 스크린은 아크릴 소재를 포함하는 곡면 디스플레이 장치.
KR1020130151790A 2013-12-06 2013-12-06 곡면 디스플레이 장치 KR101592392B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130151790A KR101592392B1 (ko) 2013-12-06 2013-12-06 곡면 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130151790A KR101592392B1 (ko) 2013-12-06 2013-12-06 곡면 디스플레이 장치

Publications (2)

Publication Number Publication Date
KR20150066356A KR20150066356A (ko) 2015-06-16
KR101592392B1 true KR101592392B1 (ko) 2016-02-18

Family

ID=53514776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130151790A KR101592392B1 (ko) 2013-12-06 2013-12-06 곡면 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR101592392B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009122094A1 (fr) 2008-03-19 2009-10-08 Saint-Gobain Glass France Dispositif de visualisation tete haute
JP2012101743A (ja) * 2010-11-12 2012-05-31 Toyota Motor Corp 車両用表示装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101488287B1 (ko) * 2011-09-20 2015-02-02 현대자동차주식회사 터치 인식 디스플레이 장치
KR101956928B1 (ko) 2011-12-07 2019-03-12 현대자동차주식회사 카메라기반 터치스크린 장치의 영상취득 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009122094A1 (fr) 2008-03-19 2009-10-08 Saint-Gobain Glass France Dispositif de visualisation tete haute
JP2012101743A (ja) * 2010-11-12 2012-05-31 Toyota Motor Corp 車両用表示装置

Also Published As

Publication number Publication date
KR20150066356A (ko) 2015-06-16

Similar Documents

Publication Publication Date Title
CN101390041B (zh) 交互式显示面板的均匀照明
US9122354B2 (en) Detecting wave gestures near an illuminated surface
US20120068974A1 (en) Optical Position Detection Apparatus
KR101610092B1 (ko) 차량용 곡면 디스플레이 장치
US7973779B2 (en) Detecting ambient light levels in a vision system
US20110199335A1 (en) Determining a Position of an Object Using a Single Camera
CA2999004C (en) Vehicular display device and vehicular display method
KR101438640B1 (ko) 선바이저 제어장치 및 선바이저 제어방법
JP2016154035A5 (ko)
US20190191135A1 (en) Method for managing image projection of electronic device, electronic device and projector
JP4570145B2 (ja) 位置検出平面外に撮像部を有する光学式位置検出装置
US9262014B2 (en) Touch recognition apparatus of curved display
TWI410842B (zh) 觸控顯示系統
KR101592392B1 (ko) 곡면 디스플레이 장치
CN103348306A (zh) 交互式显示
KR20150063857A (ko) 곡면 디스플레이 장치
KR101418305B1 (ko) 터치 스크린 장치
US9207809B2 (en) Optical touch system and optical touch control method
KR101646110B1 (ko) 곡면 디스플레이 장치
KR20150035064A (ko) 곡면 디스플레이의 키스톤 보정 장치
KR20150070863A (ko) 곡면 디스플레이 장치
US8969787B2 (en) Optical detecting apparatus for computing location information of an object according to the generated object image data with a side light source for minimizing height
KR20150071556A (ko) 디스플레이 장치 및 이를 이용한 디스플레이 방법
KR101592397B1 (ko) 디스플레이 장치 및 이를 이용한 디스플레이 방법
KR101346373B1 (ko) 전자칠판용 카메라 렌즈의 자동 포커스 켈리브레이션 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 4