KR101558619B1 - Display system for recognition of gaze direction - Google Patents

Display system for recognition of gaze direction Download PDF

Info

Publication number
KR101558619B1
KR101558619B1 KR1020100120980A KR20100120980A KR101558619B1 KR 101558619 B1 KR101558619 B1 KR 101558619B1 KR 1020100120980 A KR1020100120980 A KR 1020100120980A KR 20100120980 A KR20100120980 A KR 20100120980A KR 101558619 B1 KR101558619 B1 KR 101558619B1
Authority
KR
South Korea
Prior art keywords
information
user
display
reaction
area
Prior art date
Application number
KR1020100120980A
Other languages
Korean (ko)
Other versions
KR20120059304A (en
Inventor
홍기범
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020100120980A priority Critical patent/KR101558619B1/en
Publication of KR20120059304A publication Critical patent/KR20120059304A/en
Application granted granted Critical
Publication of KR101558619B1 publication Critical patent/KR101558619B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Abstract

본 발명은 시선인식 디스플레이 시스템으로서, 사용자의 시선중심을 감지하는 감지부, 정보표시영역을 포함하는 디스플레이부, 상기 정보표시영역을 기준으로 제1 반응영역을 설정하는 반응영역설정부, 및 상기 제1 반응영역에 상기 사용자의 시선중심이 포함되는 경우, 상기 정보표시영역에 정보를 표시하는 제어부를 포함한다. 본 발명에 따르면, 운전 중인 사용자의 시야를 방해하지 않으면서 사용자가 원하는 정보를 표시할 수 있다. The present invention provides a line-of-sight display system comprising: a sensing unit for sensing a center of a user's gaze; a display unit including an information display area; a reaction area setting unit for setting a first reaction area on the basis of the information display area; And a controller for displaying information in the information display area when the user's gaze center is included in one reaction area. According to the present invention, the user can display desired information without disturbing the view of the driving user.

Description

시선인식 디스플레이 시스템{Display system for recognition of gaze direction}[0001] The present invention relates to a display system,

본 발명은 시선인식 디스플레이 시스템으로서, 보다 상세하게는 사용자의 시선중심을 인식하여 디스플레이부에 정보를 표시할 수 있는 시선인식 디스플레이 시스템이다.The present invention relates to a line-of-sight recognition display system, and more particularly, to a line-of-sight recognition display system capable of recognizing a line-of-sight center of a user and displaying information on a display unit.

차량 디스플레이부에 있어서, 차유리 디스플레이(wind shield display) 또는 헤드업 디스플레이(head-up display)가 이용되기 시작했다. 차유리 디스플레이 또는 헤드업 디스플레이는 운전자 시야범위에서 정보를 표시할 수 있다. 따라서 차량 운전 중에도 운전자는 시선을 돌리거나 시선 방향을 바꿀 필요없이 정보를 볼 수 있다.In the vehicle display section, a windshield display or a head-up display has started to be used. The car glass display or head-up display can display information in the driver's field of view. Therefore, the driver can view the information without turning the eyes or changing the direction of the eyes while driving the vehicle.

그러나, 정보가 표시되는 영역이 운전자의 시야를 방해할 수 있기 때문에 안전상의 문제가 발생하고, 표현되는 정보가 너무 많은 경우 운전자가 정확한 정보를 획득하기도 어렵다. 또한, 사용자의 시선의 움직임에 따라 정보표시영역이 변경되는 경우, 차량의 외부를 보기 위한 사용자의 의도와 달리 정보가 표시되어 사용자에게 불편함을 줄 수 있다.However, since a region in which information is displayed may interfere with the driver ' s field of view, a safety problem arises, and it is also difficult for the driver to obtain accurate information when the information to be displayed is too large. In addition, when the information display area is changed according to the movement of the user's gaze, information may be displayed unlike the user's intention to view the outside of the vehicle, which may cause inconvenience to the user.

본 발명은 사용자의 시선중심을 인식하여 정보를 디스플레이부에 표시함으로서, 사용자의 시야를 방해하지 않으면서 사용자가 원하는 정보를 표시할 수 있는 시선인식 디스플레이 시스템을 제공하는데 그 목적이 있다.An object of the present invention is to provide a line recognition display system which can display information desired by the user without disturbing the user's view by displaying information on the display unit by recognizing the line of sight of the user.

본 발명은 시선인식 디스플레이 시스템으로서, 사용자의 시선중심을 감지하는 감지부, 정보표시영역을 포함하는 디스플레이부, 상기 정보표시영역을 기준으로 제1 반응영역을 설정하는 반응영역설정부, 및 상기 제1 반응영역에 상기 사용자의 시선중심이 포함되는 경우, 상기 정보표시영역에 정보를 표시하는 제어부를 포함한다.The present invention provides a line-of-sight display system comprising: a sensing unit for sensing a center of a user's gaze; a display unit including an information display area; a reaction area setting unit for setting a first reaction area on the basis of the information display area; And a controller for displaying information in the information display area when the user's gaze center is included in one reaction area.

또한, 본 발명은 시선인식 디스플레이 시스템으로서, 사용자의 시선중심을 감지하는 감지부, 정보표시영역을 포함하는 디스플레이부, 상기 사용자의 시선중심을 기준으로 제2 반응영역을 설정하는 반응영역설정부, 및 상기 제2 반응영역과 상기 정보표시영역이 겹쳐지는 경우, 상기 정보표시영역에 정보를 표시하는 제어부를 포함한다.According to another aspect of the present invention, there is provided a line-of-sight display system including a sensing unit for sensing a center of a user's gaze, a display unit including an information display area, a reaction area setting unit for setting a second reaction area based on the user's gaze center, And a controller for displaying information in the information display area when the second reaction area overlaps with the information display area.

또한, 본 발명은 시선인식 디스플레이 시스템으로서, 사용자의 시선중심을 감지하는 감지부, 정보표시영역을 포함하는 디스플레이부, 상기 정보표시영역을 기준으로 제1 반응영역을 설정하고, 상기 사용자의 시선중심을 기준으로 제2 반응영역을 설정하는 반응영역설정부, 및 상기 제1 반응영역 및 상기 제2 반응영역이 겹쳐지는 경우, 상기 정보표시영역에 정보를 표시하는 제어부를 포함한다.According to another aspect of the present invention, there is provided a line-of-sight recognition system comprising: a sensing unit for sensing a center of a line of sight of a user; a display unit including an information display area; And a control unit for displaying information in the information display area when the first reaction area and the second reaction area are overlapped with each other.

차량 내부의 사용자의 시야를 방해하지 않으면서 디스플레이부에 사용자가 원하는 정보를 표시할 수 있고, 정보의 중요도에 따라 정보 표시의 투명도 또는 정보 표시 시간을 조절할 수 있어 운전 중인 사용자에게도 편리하게 정보를 제공할 수 있다.It is possible to display information desired by the user on the display unit without interfering with the visibility of the user inside the vehicle and to adjust the transparency of the information display or the information display time according to the importance of the information, can do.

또한, 사용자가 필요한 경우에만 정보를 표시하므로, 전력 낭비를 줄일 수 있고, 운전 중인 사용자의 운전안전도가 향상될 수 있다.Further, since the information is displayed only when the user needs it, the power consumption can be reduced and the operation safety of the user in operation can be improved.

도 1은 본 발명의 일실시예에 따른 시선인식 디스플레이 시스템을 나타내는 구성도이다.
도 2는 본 발명의 일실시예에 따른 반응영역 및 정보표시영역를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 시선인식 디스플레이 방법을 나타내는 흐름도이다.1 is a block diagram illustrating a visual-recognition display system according to an embodiment of the present invention.
2 is a view showing a reaction region and an information display region according to an embodiment of the present invention.
3 is a flowchart illustrating a method of displaying a line of sight recognition according to an exemplary embodiment of the present invention.

도 1은 본 발명의 일실시예에 따른 시선인식 디스플레이 시스템을 나타내는 구성도이다.1 is a block diagram illustrating a visual-recognition display system according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 시선인식 디스플레이 시스템은 감지부(101), 반응영역설정부(103), 제어부(105) 및 디스플레이부(107)를 포함한다.1, the line-of-sight recognition display system includes a sensing unit 101, a reaction area setting unit 103, a control unit 105, and a display unit 107. As shown in FIG.

감지부(101)는 사용자의 시선중심을 감지한다. 감지부(101)는 디스플레이부를 향하는 사용자의 시선중심을 감지한다.The sensing unit 101 senses the center of the user's gaze. The sensing unit 101 senses the center of the user's gaze toward the display unit.

반응영역설정부(103)는 디스플레이부(107)의 정보표시영역에 정보를 표시하기 위해 사용자의 시선중심에 대한 반응영역을 설정하는 장치이다. 반응영역설정부(103)는 디스플레이부(107)에 표시되는 정보표시영역의 중심을 기준으로 소정의 반경을 갖는 영역을 제1 반응영역으로 설정할 수 있다. 또한, 반응영역설정부(103)는 감지부(101)에 의해 감지된 시선중심을 기준으로 소정의 반경을 갖는 영역을 제2 반응영역으로 설정할 수 있다. 반응영역설정부(103)는 제1 반응영역 및 제2 반응영역을 동시에 설정할 수도 있다. 여기서 소정의 반경이란, 10cm, 20cm, 30cm 등 다양한 크기가 될 수 있으며, 사용자에 의해 변경될 수 있다.The reaction region setting unit 103 is a unit for setting a reaction region with respect to the user's line of sight to display information in the information display region of the display unit 107. [ The reaction region setting unit 103 can set the region having the predetermined radius as the first reaction region based on the center of the information display region displayed on the display unit 107. [ The reaction region setting unit 103 may set a region having a predetermined radius as a second reaction region based on the center of sight detected by the sensing unit 101. [ The reaction region setting unit 103 may set the first reaction region and the second reaction region at the same time. Here, the predetermined radius may be various sizes such as 10 cm, 20 cm, 30 cm, and may be changed by the user.

제어부(105)는 반응영역설정부(103)에 의해 제1 반응영역이 설정되고, 상기 제1 반응영역에 상기 감지부(101)에 의해 감지된 사용자 시선중심이 포함되는 경우, 상기 정보표시영역에 정보를 표시할 수 있다. 또한, 반응영역설정부(103)에 의해 제2 반응영역이 설정되고, 상기 제2 반응영역과 상기 정보표시영역이 겹쳐지는 경우, 상기 정보표시영역에 정보를 표시할 수 있다. 또한, 반응영역설정부(103)에 의해 제1 반응영역 및 제2 반응영역이 동시에 설정되고, 상기 제1 반응영역 및 상기 제2 반응영역이 겹쳐지는 경우, 상기 정보표시영역에 정보를 표시할 수 있다.When the first reaction area is set by the reaction area setting part 103 and the user's line of sight detected by the sensing part 101 is included in the first reaction area, Can be displayed. In addition, when the second reaction zone is set by the reaction zone setting unit 103, and the second reaction zone overlaps with the information display zone, the information can be displayed in the information zone. When the first reaction zone and the second reaction zone are simultaneously set by the reaction zone setting unit 103 and the first reaction zone and the second reaction zone overlap each other, information is displayed in the information display zone .

또한 제어부(105)는 소정의 기준 또는 사용자의 설정에 따라 정보표시영역의 크기 및 정보표시영역에 표시되는 정보의 투명도를 변경할 수 있고, 정보가 표시되는 시간도 변경할 수 있다. 여기서, 소정의 기준이란, 표시되는 정보와 운전 안전도, 정보제공시의 만족도, 정보미제공시의 불편함, 사용빈도, 정보 노출이 필요한 시간 등을 포함하며, 운전자 뿐 아니라 동승자의 사용여부도 소정의 기준이 될 수 있다. In addition, the control unit 105 can change the size of the information display area and the transparency of the information displayed in the information display area according to a predetermined reference or user's setting, and also can change the display time of the information. Here, the predetermined criterion includes information to be displayed and the degree of driving safety, degree of satisfaction at the time of information provision, inconvenience at the time of non-informing, frequency of use, time required to expose information, As a reference.

디스플레이부(107)는 정보표시영역을 포함하며, 자동차의 유리 위에 정보를 표시할 수 있는 장치이다. 정보표시영역이란 디스플레이부(107)에서 사용자가 원하는 정보를 표시할 수 있는 일부 영역을 의미하고, 정보표시영역은 설정에 따라 위치가 변경될 수 있다. 디스플레이부(107)는 차유리 디스플레이(windshield display) 또는 헤드업 디스플레이(head-up display)이다.
The display unit 107 includes an information display area and is a device capable of displaying information on a glass of an automobile. The information display area is a part of the display area 107 where the user can display desired information, and the information display area can be changed in position according to the setting. The display unit 107 is a windshield display or a head-up display.

도 2는 본 발명의 일실시예에 따른 반응영역 및 정보표시영역를 나타내는 도면이다.2 is a view showing a reaction region and an information display region according to an embodiment of the present invention.

도 2의 (a)는 제1 반응영역만 설정된 경우, 도 2의 (b)는 제2 반응영역만 설정된 경우, 도 2의 (c)는 제1 반응영역 및 제2 반응영역이 동시에 설정된 경우를 나타낸다.2 (a) shows the case where only the first reaction zone is set, FIG. 2 (b) shows the case where only the second reaction zone is set, and FIG. 2 (c) .

도 2의 (a)는 바람막이 차 유리(200) 위에 정보를 표시할 수 있는 디스플레이부를 나타낸다. 제1 반응영역(203)은 정보표시영역(201)을 기준으로 설정되고, 시선중심(205)이 제1 반응영역(203)에 포함되는 경우에만 정보가 정보표시영역(201)에 표시된다.2 (a) shows a display unit capable of displaying information on the windshield glass 200. Information is displayed in the information display area 201 only when the first reaction area 203 is set on the basis of the information display area 201 and the sight line center 205 is included in the first reaction area 203. [

도 2의 (b)에서, 제2 반응영역(213)은 사용자의 시선중심(211)을 기준으로 설정되고, 제2 반응영역(213)이 정보표시영역(215)과 겹쳐지는 경우에만 정보가 정보표시영역(215)에 표시된다.2B, the second reaction zone 213 is set based on the user's gaze center 211, and only when the second reaction zone 213 overlaps with the information display zone 215, And is displayed in the information display area 215.

도 2의 (c)에서, 제1 반응영역(223)은 정보표시영역(221)을 기준으로 설정되고 제2 반응영역(227)은 사용자의 시선중심(225)을 기준으로 설정된다. 제1 반응영역(223)과 제2 반응영역(227)이 겹쳐지는 경우에만 정보가 정보표시영역(221)에 표시된다.
2C, the first reaction zone 223 is set on the basis of the information display zone 221 and the second reaction zone 227 is set on the basis of the user's gaze center 225. Information is displayed in the information display area 221 only when the first reaction area 223 and the second reaction area 227 overlap.

도 3은 본 발명의 일실시예에 따른 시선인식 디스플레이 방법을 나타내는 흐름도이다.3 is a flowchart illustrating a method of displaying a line of sight recognition according to an exemplary embodiment of the present invention.

도 3에 도시된 바와 같이, 반응영역설정부(103)에 의해 제1 반응영역 또는 제2 반응영역이 설정된다(S301).As shown in FIG. 3, the first reaction zone or the second reaction zone is set by the reaction zone setting unit 103 (S301).

다음, 감지부(101)에 의해 사용자의 시선중심이 감지된다(S303). 다음, 제어부(105)는 정보표시영역에 정보가 표시될 수 있는 ON 조건이 만족되는지 판단한다(S305). 여기서 ON 조건이란, 시선중심이 제1 반응영역에 포함되는 경우 또는 제2 반응영역이 정보표시영역과 겹쳐지는 경우 또는 제1 반응영역과 제2 반응영역이 겹쳐지는 경우를 포함한다.Next, the center of sight of the user is sensed by the sensing unit 101 (S303). Next, the control unit 105 determines whether the ON condition that information can be displayed in the information display area is satisfied (S305). Here, the ON condition includes a case where the center of sight is included in the first reaction zone, a case where the second reaction zone overlaps with the information display zone, or a case where the first reaction zone and the second reaction zone overlap.

ON 조건이 만족되는 경우, 제어부(105)는 정보표시영역에 정보를 표시한다(S307). If the ON condition is satisfied, the control unit 105 displays the information in the information display area (S307).

다음, 제어부는 정보표시영역에 표시된 정보가 삭제되는 OFF 조건이 만족되는지 판단한다(S309). OFF 조건이 만족되는 경우, 제어부(105)는 정보표시영역에 표시된 정보를 삭제한다. 여기서, OFF 조건이란, 정보가 표시된 후 일정 시간이 경과한 경우 또는 상기 ON 조건이 종료되는 경우를 포함한다.Next, the control unit determines whether the OFF condition for deleting the information displayed in the information display area is satisfied (S309). If the OFF condition is satisfied, the control unit 105 deletes the information displayed in the information display area. Here, the OFF condition includes a case where a certain period of time has elapsed after information is displayed or a case where the ON condition is terminated.

본 발명은 프로세서가 읽을 수 있는 기록매체에 코드로서 구현될 수 있다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. The present invention can be embodied as a code in a recording medium readable by a processor. Examples of the recording medium on which the processor can read are ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like.

본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능하다.The present invention is not limited to the above-described specific embodiments, and various modifications may be made by those skilled in the art.

Claims (7)

삭제delete 삭제delete 삭제delete 삭제delete 사용자의 시선중심을 감지하는 감지부;
정보표시영역을 포함하는 디스플레이부;
상기 정보표시영역을 기준으로 제1 반응영역을 설정하고, 상기 사용자의 시선중심을 기준으로 제2 반응영역을 설정하는 반응영역설정부; 및
상기 제1 반응영역 및 상기 제2 반응영역이 겹쳐지는 경우, 상기 정보표시영역에 정보를 표시하는 제어부를 포함하는 시선인식 디스플레이 시스템.A sensing unit for sensing the center of the user's gaze;
A display unit including an information display area;
A reaction region setting unit setting a first reaction region based on the information display region and setting a second reaction region based on a center of sight of the user; And
And a controller for displaying information in the information display area when the first reaction area and the second reaction area are overlapped with each other. 제5항에 있어서,
상기 제어부는 설정에 따라 상기 정보표시영역에 표시되는 정보의 투명도를 변경하는 것을 특징으로 하는 시선인식 디스플레이 시스템.6. The method of claim 5,
Wherein the control unit changes the transparency of the information displayed in the information display area according to the setting. 제5항에 있어서,
상기 제어부는 설정에 따라 상기 정보표시영역에 표시되는 정보가 표시되는 시간을 변경하는 것을 특징으로 하는 시선인식 디스플레이 시스템.6. The method of claim 5,
Wherein the control unit changes the display time of the information displayed in the information display area according to the setting.
KR1020100120980A 2010-11-30 2010-11-30 Display system for recognition of gaze direction KR101558619B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100120980A KR101558619B1 (en) 2010-11-30 2010-11-30 Display system for recognition of gaze direction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100120980A KR101558619B1 (en) 2010-11-30 2010-11-30 Display system for recognition of gaze direction

Publications (2)

Publication Number Publication Date
KR20120059304A KR20120059304A (en) 2012-06-08
KR101558619B1 true KR101558619B1 (en) 2015-10-07

Family

ID=46610607

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100120980A KR101558619B1 (en) 2010-11-30 2010-11-30 Display system for recognition of gaze direction

Country Status (1)

Country Link
KR (1) KR101558619B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200118524A (en) 2019-04-08 2020-10-16 유홍준 Image Processing System and Method Based on Active Motion Recognition Tracking

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102118438B1 (en) 2013-01-28 2020-06-04 한국전자통신연구원 Head up display apparatus for vehicle and method thereof
US9525817B2 (en) 2013-11-22 2016-12-20 Samsung Electro-Mechanics Co., Ltd. System and method of controlling imaging direction and angle of view of camera
CN107850989A (en) * 2015-07-31 2018-03-27 大众汽车（中国）投资有限公司 For the methods, devices and systems of information to be presented in vehicle
KR102400640B1 (en) * 2015-09-23 2022-05-20 엘지전자 주식회사 Display device and operating method thereof
US11073904B2 (en) 2017-07-26 2021-07-27 Microsoft Technology Licensing, Llc Intelligent user interface element selection using eye-gaze

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200118524A (en) 2019-04-08 2020-10-16 유홍준 Image Processing System and Method Based on Active Motion Recognition Tracking

Also Published As

Publication number Publication date
KR20120059304A (en) 2012-06-08

Similar Documents

Publication Publication Date Title
KR101558619B1 (en) Display system for recognition of gaze direction
US20190073122A1 (en) System, apparatus and method for vehicle command and control
EP2714456B1 (en) System and method for selectively altering content of a vehicle interface
EP3118047B1 (en) Display control device, display device, display control program, display control method, and recording medium
ES2702640T3 (en) Post-driving summary with tutorial
EP3395600A1 (en) In-vehicle device
WO2019184837A1 (en) Control method for on-board display device, and control device
US20170053444A1 (en) Augmented reality interactive system and dynamic information interactive display method thereof
CN105446172B (en) A kind of vehicle-mounted control method, vehicle control syetem and automobile
US9493125B2 (en) Apparatus and method for controlling of vehicle using wearable device
US10137779B2 (en) Vehicular image display device and vehicular image display method
CN105283356A (en) Program, method, and device for controlling application, and recording medium
US10983691B2 (en) Terminal, vehicle having the terminal, and method for controlling the vehicle
US20160021167A1 (en) Method for extending vehicle interface
US20140278033A1 (en) Window-oriented displays for travel user interfaces
KR102343329B1 (en) Electronic apparatus and method for assisting driving of a vehicle
US9607488B2 (en) Wearable vehicle information indicator and method of indicating vehicle information using the same
US11595878B2 (en) Systems, devices, and methods for controlling operation of wearable displays during vehicle operation
US20160124224A1 (en) Dashboard system for vehicle
JP2012132789A (en) Vehicular navigation device
KR102375240B1 (en) A transparent display device for a vehicle
JP5257600B2 (en) Display control system and display control program
JP2014211738A (en) On-vehicle device controller and on-vehicle device
JP2014037172A (en) Display controller and display control method for head-up display
US9801034B2 (en) Vehicle and control method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 5