KR20150001091A - 운전자의 수동적 과업 관련 피로 방지 장치 및 그 방법 - Google Patents
운전자의 수동적 과업 관련 피로 방지 장치 및 그 방법 Download PDFInfo
- Publication number
- KR20150001091A KR20150001091A KR1020130073765A KR20130073765A KR20150001091A KR 20150001091 A KR20150001091 A KR 20150001091A KR 1020130073765 A KR1020130073765 A KR 1020130073765A KR 20130073765 A KR20130073765 A KR 20130073765A KR 20150001091 A KR20150001091 A KR 20150001091A
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- unit
- server
- vehicle
- cruise control
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims abstract description 15
- 230000002265 prevention Effects 0.000 claims description 14
- 206010041349 Somnolence Diseases 0.000 description 7
- 208000032140 Sleepiness Diseases 0.000 description 5
- 230000037321 sleepiness Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 206010048232 Yawning Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008667 sleep stage Effects 0.000 description 1
- 201000009482 yaws Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
- B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/14—Cruise control
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- Combustion & Propulsion (AREA)
- Life Sciences & Earth Sciences (AREA)
- Emergency Management (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Dentistry (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Mathematical Physics (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 운전자의 수동적 과업 관련 피로 방지 장치 및 그 방법에 관한 것으로, 운전자가 수동적 과업 관련 피로를 느끼는 시점에 운전자와의 상호작용(Interaction)을 수행함으로써, 운전자로 하여금 수동적 과업 관련 피로를 느끼지 못하게 하여 안전운전을 도모하는, 운전자의 수동적 과업 관련 피로 방지 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 운전자의 수동적 과업 관련 피로 방지 장치에 있어서, 차량에 탑재된 크루즈 컨트롤 스위치의 온/오프 상태를 감시하는 크루즈 컨트롤 감시부; 서버로부터 차량의 위치에 상응하는 퀴즈 데이터를 제공받는 서버 연동부; 상기 서버 연동부가 제공받은 퀴즈 데이터를 디스플레이하는 디스플레이부; 운전자로부터 퀴즈에 대한 응답을 입력받는 입력부; 상기 입력부를 통해 입력받은 운전자의 응답에 상응하는 소리를 출력하는 출력부; 상기 운전자의 응답이 오답인 경우에 시트를 진동시키는 시트 진동부; 및 상기 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하여 유지되면, 상기 서버 연동부를 통해 제공받은 차량의 위치에 상응하는 퀴즈 데이터를 기반으로, 운전자와의 상호작용(Inrteraction)을 수행하는 제어부를 포함한다.
이를 위하여, 본 발명은 운전자의 수동적 과업 관련 피로 방지 장치에 있어서, 차량에 탑재된 크루즈 컨트롤 스위치의 온/오프 상태를 감시하는 크루즈 컨트롤 감시부; 서버로부터 차량의 위치에 상응하는 퀴즈 데이터를 제공받는 서버 연동부; 상기 서버 연동부가 제공받은 퀴즈 데이터를 디스플레이하는 디스플레이부; 운전자로부터 퀴즈에 대한 응답을 입력받는 입력부; 상기 입력부를 통해 입력받은 운전자의 응답에 상응하는 소리를 출력하는 출력부; 상기 운전자의 응답이 오답인 경우에 시트를 진동시키는 시트 진동부; 및 상기 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하여 유지되면, 상기 서버 연동부를 통해 제공받은 차량의 위치에 상응하는 퀴즈 데이터를 기반으로, 운전자와의 상호작용(Inrteraction)을 수행하는 제어부를 포함한다.
Description
본 발명은 운전자의 수동적 과업 관련 피로 방지 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 운전자가 수동적 과업 관련 피로를 느끼는 시점에 운전자와의 상호작용(Interaction)을 수행함으로써, 운전자로 하여금 수동적 과업 관련 피로를 느끼지 못하게 하여 안전운전을 도모하는 기술에 관한 것이다.
본 발명에서, 운전자와의 상호작용이란, 퀴즈 데이터 또는 비트 시퀀스 데이터를 운전자에게 보여주고, 응답을 받고, 응답에 따른 결과를 시각적, 청각적, 촉각적으로 알려주는 일련의 동작 및 상기 동작을 위한 각 구성요소의 제어를 의미한다.
일반적으로, 운전자의 졸음 방지 기술은 차량에 운전자를 모니터링하기 위한 카메라를 장착한 후, 운전자가 특정 모션을 수행하는지 분석하여 운전자의 졸음 여부를 감지한다. 여기서, 특정 모션은 운전자가 하품을 하는지, 운전자가 비정상적으로 눈을 깜박이는지, 운전자가 자주 고개를 꾸벅거리는지 하는 등의 모션을 포함한다.
이렇게 운전자의 졸음이 감지되면 경보음을 울려 운전자의 졸음을 쫓거나 차량을 아예 정지시키기도 한다.
이러한 종래의 운전자의 졸음 방지 기술은 이미 졸음으로부터 헤어나기 힘든 깊은 단계로 접어든 운전자, 즉 수차례에 걸쳐 하품을 한다든지, 눈꺼풀이 반쯤 감겼다든지, 자주 고개를 꾸벅거린다든지 하는 운전자를 대상으로 졸음을 깨기 위한 다양한 방식의 기술을 제시하고 있기 때문에 그 효율성이 떨어지는 것이 현실이다.
보통, 운전자의 졸음은 초기 단계인 수동적 과업 관련 피로(Passive Task-Related Fatigue)를 느끼는 단계, 수면 진입 단계, 수면 단계로 구분할 수 있습니다. 이때, 수동적 과업 관련 피로는, "Jennifer F. May, Carryl L. Baldwin"에 의해 "Transportation Research Part F 12 (2009) 218-224"에 게시된 "Driver fatigue: The importance of identifying causal factors of fatigue when considering detection and countermeasure technologies"에 자세히 명시되어 있다.
수면 진입 단계는 운전자가 수차례에 걸쳐 하품을 한다든지, 눈꺼풀이 반쯤 감긴다든지, 자주 고개를 꾸벅거린다든지 하는 상태로서, 이 단계에서는 운전자의 잠을 깨우는 것이 용이하지 않다.
이에 졸음의 초기 단계인 수동적 과업 관련 피로, 즉 운전자가 운전중 아무런 조작 없이 전방만 주시함으로써 발생하는 피로를 미연에 방지할 수 있는 기술에 대한 요구가 대두되고 있다.
상기와 같은 요구에 부응하기 위하여, 본 발명은 운전자가 수동적 과업 관련 피로를 느끼는 시점에 운전자와의 상호작용(Interaction)을 수행함으로써, 운전자로 하여금 수동적 과업 관련 피로를 느끼지 못하게 하여 안전운전을 도모하는, 운전자의 수동적 과업 관련 피로 방지 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 운전자의 수동적 과업 관련 피로 방지 장치에 있어서, 차량에 탑재된 크루즈 컨트롤 스위치의 온/오프 상태를 감시하는 크루즈 컨트롤 감시부; 서버로부터 차량의 위치에 상응하는 퀴즈 데이터를 제공받는 서버 연동부; 상기 서버 연동부가 제공받은 퀴즈 데이터를 디스플레이하는 디스플레이부; 운전자로부터 퀴즈에 대한 응답을 입력받는 입력부; 상기 입력부를 통해 입력받은 운전자의 응답에 상응하는 소리를 출력하는 출력부; 상기 운전자의 응답이 오답인 경우에 시트를 진동시키는 시트 진동부; 및 상기 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하여 유지되면, 상기 서버 연동부를 통해 제공받은 차량의 위치에 상응하는 퀴즈 데이터를 기반으로, 운전자와의 상호작용(Inrteraction)을 수행하는 제어부를 포함한다.
또한 상기 목적을 달성하기 위한 본 발명의 방법은, 운전자의 수동적 과업 관련 피로 방지 방법에 있어서, 크루즈 컨트롤 감시부가 차량에 탑재된 크루즈 컨트롤 스위치의 온 상태를 검출하는 단계; 제어부가 상기 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하는지 카운팅하는 단계; 상기 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과함에 따라 서버 연동부가 상기 제어부의 제어하에 서버로부터 차량의 위치에 상응하는 퀴즈 데이터를 제공받는 단계; 및 상기 제어부가 상기 서버 연동부를 통해 제공받은 차량의 위치에 상응하는 퀴즈 데이터를 기반으로, 운전자와의 상호작용(Inrteraction)을 수행하는 단계를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 다른 방법은, 운전자의 수동적 과업 관련 피로 방지 방법에 있어서, 크루즈 컨트롤 감시부가 차량에 탑재된 크루즈 컨트롤 스위치의 온 상태를 검출하는 단계; 제어부가 상기 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하는지 카운팅하는 단계; 스티어링 휠 감시부가 상기 차량의 스티어링 휠의 조작량을 감시하는 단계; 상기 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하지 않은 상태에서, 상기 스티어링 휠 조작량이 임계치를 초과하면 서버 연동부가 상기 제어부의 제어하에 서버로부터 차량의 위치에 상응하는 퀴즈 데이터를 제공받는 단계; 및 상기 제어부가 상기 서버 연동부를 통해 제공받은 차량의 위치에 상응하는 퀴즈 데이터를 기반으로, 운전자와의 상호작용(Inrteraction)을 수행하는 단계를 포함한다.
상기와 같은 본 발명은, 운전자가 수동적 과업 관련 피로를 느끼는 시점에 운전자와의 상호작용(Interaction)을 수행함으로써, 운전자로 하여금 수동적 과업 관련 피로를 느끼지 못하게 하여 안전운전을 도모할 수 있는 효과가 있다.
도 1 은 본 발명이 적용되는 운전자의 수동적 과업 관련 피로 방지 시스템에 대한 일실시예 구성도,
도 2 는 본 발명에 따른 운전자의 수동적 과업 관련 피로 방지 장치에 대한 일실시예 구성도,
도 3 은 본 발명에 따른 운전자의 수동적 과업 관련 피로 방지 방법에 대한 일실시예 흐름도이다.
도 2 는 본 발명에 따른 운전자의 수동적 과업 관련 피로 방지 장치에 대한 일실시예 구성도,
도 3 은 본 발명에 따른 운전자의 수동적 과업 관련 피로 방지 방법에 대한 일실시예 흐름도이다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1 은 본 발명이 적용되는 운전자의 수동적 과업 관련 피로 방지 시스템에 대한 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명이 적용되는 운전자의 수동적 과업 관련 피로 방지 시스템은, 적어도 하나 이상의 수동적 과업 관련 피로 방지 장치(10), 서버(20), 및 데이터베이스(30)를 포함한다.
먼저, 각 차량에 탑재되는 수동적 과업 관련 피로 방지 장치(10)는, 서버(20)와 연동하며, 서버(20)로부터 제공받은 각종 데이터를 기반으로 운전자의 수동적 과업 관련 피로를 방지한다. 여기서, 각종 데이터는 운전자의 현재 위치와 관련된 퀴즈 데이터, 다양한 음악과 연계된 비트 시퀀스(Beat Sequence) 데이터를 포함한다.
예를 들어, 퀴즈 데이터는 예/아니오의 선택형 퀴즈 데이터로서, 질문은 "현재 좌측에 강이 흐르고 있다.", "현재 우측에 야구장이 있다.", "현재 전방에 다리가 있다." 등을 포함할 수 있다. 이때, 운전자는 직접 눈으로 확인해서 각 질문에 대한 답을 알 수 있다. 아울러, 서버(20)는 차량으로부터 현재 위치정보를 제공받아 차량의 위치에 상응하는 퀴즈 데이터를 실시간으로 차량으로 제공한다.
특히, 수동적 과업 관련 피로 방지 장치(10)는 운전자가 수동적 과업 관련 피로를 느끼는 시점을 검출하기 위해 크루즈 컨트롤 스위치의 온/오프를 감시한다. 즉, 수동적 과업 관련 피로 방지 장치(10)는 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하는 시점을 운전자가 수동적 과업 관련 피로를 느끼는 시점으로 판단한다. 즉, 크루즈 컨트롤의 동작시간이 임계시간을 초과하면, 운전자가 수동적 과업 관련 피로를 느끼는 시점으로 판단한다.
이때, 크루즈 컨트롤은 정속 주행 장치로서, 운전자가 희망하는 속도로 고정하면 가속 페달을 밟지 않아도 그 속도를 유지하면서 주행하는 장치이다. 또한, 임계시간은 다양한 시간대(오전 8시, 오후 2시, 오후 6시 등)별로 복수의 운전자를 대상으로 실험을 통해 얻은 평균값으로서, 일예로 7분이 바람직하다.
다른 실시예로, 수동적 과업 관련 피로 방지 장치(10)는 스티어링 휠 감시부(미도시)를 더 구비하여, 운전자가 수동적 과업 관련 피로를 느끼는 시점을 검출하는데 이용할 수도 있다.
예를 들어, 수동적 과업 관련 피로 방지 장치(10)는 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하지 않은 경우에도, 스티어링 휠 조작량이 갑자기 급격히 늘어나면 운전자가 수동적 과업 관련 피로를 느끼고 있다고 판단한다. 이때, 스티어링 휠의 조작량은 스티어링 휠의 회전량을 의미한다.
한편, 수동적 과업 관련 피로 방지 장치(10)는 운전자에 의해 설정된 정보에 따라 서버(20)로 퀴즈 데이터 또는 비트 시퀀스 데이터를 요청한다. 이때, 운전자에 의한 별도의 선택이 없을 경우, 기본으로 세팅된 퀴즈 데이터를 요청한다.
다음으로, 서버(20)는 각 차량에 탑재된 수동적 과업 관련 피로 방지 장치(10)와 연동하여 각 차량의 위치정보를 획득하며, 각 수동적 과업 관련 피로 방지 장치(10)로부터의 요청에 따라 퀴즈 데이터 또는 비트 시퀀스 데이터를 제공한다. 이때, 서버(20)는 각 차량의 위치정보에 상응하는 퀴즈 데이터를 선별하여 제공한다.
다음으로, 데이터베이스(30)는 각 위치에 상응하는 퀴즈 데이터, 다양한 음악과 연계된 비트 시퀀스를 저장한다.
도 2 는 본 발명에 따른 운전자의 수동적 과업 관련 피로 방지 장치에 대한 일실시예 구성도이다.
도 2에 도시된 바와 같이, 본 발명에 따른 운전자의 수동적 과업 관련 피로 방지 장치는, 크루즈 컨트롤 감시부(11), 서버 연동부(12), 디스플레이부(13), 입력부(14), 출력부(15), 시트 진동부(16), 및 제어부(17)를 포함한다.
상기 각 구성요소들에 대해 살펴보면, 먼저 크루즈 컨트롤 감시부(11)는 차량에 탑재된 크루즈 컨트롤을 동작시키기 위한 크루즈 컨트롤 스위치의 온/오프 상태를 감시한다.
다음으로, 서버 연동부(12)는 서버(20)와 연동하여 차량의 위치정보를 서버(20)로 제공하고, 서버(20)로부터 차량의 위치에 상응하는 퀴즈 데이터를 제공받는다.
다음으로, 디스플레이부(13)는 일예로 HUD(Head Up Display)로서, 서버 연동부(12)가 제공받은 퀴즈를 디스플레이한다. 또한, 디스플레이부(13)는 비트 시퀀스를 디스플레이할 수도 있다.
다음으로, 입력부(14)는 차량의 스티어링 휠에 장착되는 터치패드로서, 운전자로부터 퀴즈에 대한 정답을 입력받는다. 또한, 입력부(14)는 운전자로부터 비트를 입력받을 수도 있다.
다음으로, 출력부(15)는 제어부(17)의 제어하에, 입력부(14)를 통해 입력받은 운전자의 응답이 정답이면 정답을 알리는 소리를 출력하고, 오답이면 오답을 알리는 소리를 출력한다. 또한, 출력부(15)는 다양한 음악을 출력한다.
다음으로, 시트 진동부(16)는 제어부(17)의 제어하에, 입력부(14)를 입력받은 운전자의 응답이 오답인 경우 시트를 진동시켜, 운전자의 수동적 과업 관련 피로를 방지한다.
다음으로, 제어부(17)는 상기 각 구성요소들을 제어한다. 특히, 제어부(17)는 크루즈 컨트롤 감시부(11)를 통해 크루즈 컨트롤 스위치의 온 상태를 확인하면 그 상태가 임계시간을 초과하여 유지되는지 모니터링한다.
이때, 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하여 유지되면, 곧바로 서버 연동부(12)를 통해 현재 위치정보를 서버(20)로 제공하고, 서버(20)로부터 위치에 상응하는 퀴즈 데이터를 제공받아 운전자와의 상호작용(Inrteraction)을 수행한다.
또한, 제어부(17)는 서버 연동부(12)를 통해 주기적으로 차량의 위치정보를 제공할 수도 있다.
도 3 은 본 발명에 따른 운전자의 수동적 과업 관련 피로 방지 방법에 대한 일실시예 흐름도이다.
먼저, 크루즈 컨트롤 감시부(11)가 차량에 탑재된 크루즈 컨트롤 스위치의 온 상태를 검출한다(301).
이후, 제어부(17)가 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하는지 카운팅한다(302).
이후, 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과함에 따라 서버 연동부(12)가, 제어부(17)의 제어하에 서버(20)로부터 차량의 위치에 상응하는 퀴즈 데이터를 제공받는다(303).
이후, 제어부(17)가 서버 연동부(12)를 통해 제공받은 차량의 위치에 상응하는 퀴즈 데이터를 기반으로, 운전자와의 상호작용(Inrteraction)을 수행한다(304).
이때, 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하지 않아도, 스티어링 휠 조작량이 임계치를 초과하면 서버 연동부(12)를 통해 제공받은 차량의 위치에 상응하는 퀴즈 데이터를 기반으로, 운전자와의 상호작용을 수행할 수도 있다.
본 발명에서, 운전자와의 상호작용이란, 퀴즈 데이터 또는 비트 시퀀스 데이터를 운전자에게 보여주고, 응답을 받고, 응답에 따른 결과를 시각적, 청각적, 촉각적으로 알려주는 일련의 동작 및 상기 동작을 위한 각 구성요소의 제어를 의미한다.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
10 : 수동적 과업 관련 피로 방지 장치
20 : 서버
30 : 데이터베이스
20 : 서버
30 : 데이터베이스
Claims (9)
- 차량에 탑재된 크루즈 컨트롤 스위치의 온/오프 상태를 감시하는 크루즈 컨트롤 감시부;
서버로부터 차량의 위치에 상응하는 퀴즈 데이터를 제공받는 서버 연동부;
상기 서버 연동부가 제공받은 퀴즈 데이터를 디스플레이하는 디스플레이부;
운전자로부터 퀴즈에 대한 응답을 입력받는 입력부;
상기 입력부를 통해 입력받은 운전자의 응답에 상응하는 소리를 출력하는 출력부;
상기 운전자의 응답이 오답인 경우에 시트를 진동시키는 시트 진동부; 및
상기 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하여 유지되면, 상기 서버 연동부를 통해 제공받은 차량의 위치에 상응하는 퀴즈 데이터를 기반으로, 운전자와의 상호작용(Inrteraction)을 수행하는 제어부
를 포함하는 운전자의 수동적 과업 관련 피로 방지 장치.
- 제 1 항에 있어서,
상기 차량의 스티어링 휠의 조작량을 감시하는 스티어링 휠 감시부
를 더 포함하는 운전자의 수동적 과업 관련 피로 방지 장치.
- 제 2 항에 있어서,
상기 제어부는,
상기 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하지 않아도, 상기 스티어링 휠 조작량이 임계치를 초과하면 상기 서버 연동부를 통해 제공받은 차량의 위치에 상응하는 퀴즈 데이터를 기반으로, 운전자와의 상호작용을 수행하는 것을 특징으로 하는 운전자의 수동적 과업 관련 피로 방지 장치.
- 제 1 항에 있어서,
상기 서버 연동부는,
상기 제어부의 제어하에, 주기적으로 차량의 위치정보를 상기 서버로 제공하는 것을 특징으로 하는 운전자의 수동적 과업 관련 피로 방지 장치.
- 제 1 항에 있어서,
상기 제어부는,
상기 운전자의 응답이 오답인 경우에 시트를 진동시키도록 상기 시트 진동부를 제어하는 것을 특징으로 하는 운전자의 수동적 과업 관련 피로 방지 장치.
- 크루즈 컨트롤 감시부가 차량에 탑재된 크루즈 컨트롤 스위치의 온 상태를 검출하는 단계;
제어부가 상기 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하는지 카운팅하는 단계;
상기 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과함에 따라 서버 연동부가 상기 제어부의 제어하에 서버로부터 차량의 위치에 상응하는 퀴즈 데이터를 제공받는 단계; 및
상기 제어부가 상기 서버 연동부를 통해 제공받은 차량의 위치에 상응하는 퀴즈 데이터를 기반으로, 운전자와의 상호작용(Inrteraction)을 수행하는 단계
를 포함하는 운전자의 수동적 과업 관련 피로 방지 방법.
- 제 6 항에 있어서,
상기 퀴즈 데이터를 제공받는 단계는,
상기 차량의 위치정보를 상기 서버로 전송하는 단계를 포함하는 운전자의 수동적 과업 관련 피로 방지 방법.
- 크루즈 컨트롤 감시부가 차량에 탑재된 크루즈 컨트롤 스위치의 온 상태를 검출하는 단계;
제어부가 상기 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하는지 카운팅하는 단계;
스티어링 휠 감시부가 상기 차량의 스티어링 휠의 조작량을 감시하는 단계;
상기 크루즈 컨트롤 스위치의 온 상태가 임계시간을 초과하지 않은 상태에서, 상기 스티어링 휠 조작량이 임계치를 초과하면 서버 연동부가 상기 제어부의 제어하에 서버로부터 차량의 위치에 상응하는 퀴즈 데이터를 제공받는 단계; 및
상기 제어부가 상기 서버 연동부를 통해 제공받은 차량의 위치에 상응하는 퀴즈 데이터를 기반으로, 운전자와의 상호작용(Inrteraction)을 수행하는 단계
를 포함하는 운전자의 수동적 과업 관련 피로 방지 방법.
- 제 8 항에 있어서,
상기 퀴즈 데이터를 제공받는 단계는,
상기 차량의 위치정보를 상기 서버로 전송하는 단계를 포함하는 운전자의 수동적 과업 관련 피로 방지 방법.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130073765A KR101500092B1 (ko) | 2013-06-26 | 2013-06-26 | 운전자의 수동적 과업 관련 피로 방지 장치 및 그 방법 |
US14/067,163 US9035780B2 (en) | 2013-06-26 | 2013-10-30 | Apparatus for preventing passive task-related fatigue of driver and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130073765A KR101500092B1 (ko) | 2013-06-26 | 2013-06-26 | 운전자의 수동적 과업 관련 피로 방지 장치 및 그 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150001091A true KR20150001091A (ko) | 2015-01-06 |
KR101500092B1 KR101500092B1 (ko) | 2015-03-06 |
Family
ID=52115035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130073765A KR101500092B1 (ko) | 2013-06-26 | 2013-06-26 | 운전자의 수동적 과업 관련 피로 방지 장치 및 그 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9035780B2 (ko) |
KR (1) | KR101500092B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180129398A (ko) * | 2017-05-26 | 2018-12-05 | 주식회사 만도 | 운전상태 기반 차량제어장치 및 차량제어방법 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101500092B1 (ko) * | 2013-06-26 | 2015-03-06 | 현대자동차주식회사 | 운전자의 수동적 과업 관련 피로 방지 장치 및 그 방법 |
US20190183412A1 (en) * | 2016-08-08 | 2019-06-20 | Koninklijke Philips N.V. | System and method for assisting exercising of a subject |
US11106927B2 (en) * | 2017-12-27 | 2021-08-31 | Direct Current Capital LLC | Method for monitoring an interior state of an autonomous vehicle |
CN109377722A (zh) * | 2018-11-13 | 2019-02-22 | 陕西科技大学 | 驾驶员心电数据监测装置及利用该装置的疲劳提醒系统 |
CN111661063A (zh) * | 2019-11-18 | 2020-09-15 | 摩登汽车有限公司 | 电动汽车的人车交互系统及电动汽车 |
CN113997949A (zh) * | 2021-12-17 | 2022-02-01 | 歌尔科技有限公司 | 一种驾驶员疲劳缓解方法及相关组件 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3640990A1 (de) | 1986-12-01 | 1988-06-16 | Patent Treuhand Ges Fuer Elektrische Gluehlampen Mbh | Einseitig gequetschte hochdruckentladungslampe |
JPS63148530U (ko) * | 1987-03-23 | 1988-09-30 | ||
US6720920B2 (en) * | 1997-10-22 | 2004-04-13 | Intelligent Technologies International Inc. | Method and arrangement for communicating between vehicles |
KR19980030211A (ko) | 1996-10-29 | 1998-07-25 | 김영귀 | 운전자 졸음방지 시트진동장치 |
KR19980048428A (ko) | 1996-12-17 | 1998-09-15 | 박병재 | 차량의 운행중 졸음운전 방지방법 |
KR19990084391A (ko) * | 1998-05-06 | 1999-12-06 | 홍종만 | 졸음 운전 방지 장치 및 방법 |
JP3956713B2 (ja) * | 2002-02-18 | 2007-08-08 | 株式会社デンソー | カーナビゲーションシステム |
KR20030094564A (ko) | 2002-06-04 | 2003-12-18 | 원종갑 | 졸음방지장치 |
US7124027B1 (en) * | 2002-07-11 | 2006-10-17 | Yazaki North America, Inc. | Vehicular collision avoidance system |
US7301464B2 (en) * | 2005-05-24 | 2007-11-27 | Electronic Data Systems Corporation | Process and method for safer vehicle navigation through facial gesture recognition and operator condition monitoring |
JP4761364B2 (ja) | 2005-12-12 | 2011-08-31 | 東海旅客鉄道株式会社 | 眠気予防情報提示装置、眠気予防情報提示システム、プログラムおよび記録媒体 |
US8214219B2 (en) * | 2006-09-15 | 2012-07-03 | Volkswagen Of America, Inc. | Speech communications system for a vehicle and method of operating a speech communications system for a vehicle |
US7652583B2 (en) * | 2007-03-20 | 2010-01-26 | Deere & Company | Method and system for maintaining operator alertness |
US7982620B2 (en) * | 2007-05-23 | 2011-07-19 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for reducing boredom while driving |
US8022831B1 (en) * | 2008-01-03 | 2011-09-20 | Pamela Wood-Eyre | Interactive fatigue management system and method |
US20100102972A1 (en) * | 2008-10-29 | 2010-04-29 | Transportation Safety Products, Inc. | Driver inattention detection system and methodology |
US20140276090A1 (en) * | 2011-03-14 | 2014-09-18 | American Vehcular Sciences Llc | Driver health and fatigue monitoring system and method using optics |
US9235987B2 (en) * | 2011-11-17 | 2016-01-12 | GM Global Technology Operations LLC | System and method for closed-loop driver attention management |
US8823530B2 (en) * | 2011-11-17 | 2014-09-02 | GM Global Technology Operations LLC | System and method for auto-correcting an autonomous driving system |
US10182723B2 (en) * | 2012-02-08 | 2019-01-22 | Easyg Llc | Electrode units for sensing physiological electrical activity |
TWI438727B (zh) * | 2012-02-15 | 2014-05-21 | Wistron Corp | 防瞌睡預警系統及方法 |
US20130257620A1 (en) * | 2012-03-30 | 2013-10-03 | Utechzone Co., Ltd. | Device and method for detecting driver's attention through interactive voice questioning |
US20140167948A1 (en) * | 2012-12-18 | 2014-06-19 | Continental Automotive Systems, Inc. | Intelligent tachometer |
US20140240132A1 (en) * | 2013-02-28 | 2014-08-28 | Exmovere Wireless LLC | Method and apparatus for determining vehicle operator performance |
KR101500092B1 (ko) * | 2013-06-26 | 2015-03-06 | 현대자동차주식회사 | 운전자의 수동적 과업 관련 피로 방지 장치 및 그 방법 |
-
2013
- 2013-06-26 KR KR1020130073765A patent/KR101500092B1/ko active IP Right Grant
- 2013-10-30 US US14/067,163 patent/US9035780B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180129398A (ko) * | 2017-05-26 | 2018-12-05 | 주식회사 만도 | 운전상태 기반 차량제어장치 및 차량제어방법 |
Also Published As
Publication number | Publication date |
---|---|
US9035780B2 (en) | 2015-05-19 |
US20150002298A1 (en) | 2015-01-01 |
KR101500092B1 (ko) | 2015-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101500092B1 (ko) | 운전자의 수동적 과업 관련 피로 방지 장치 및 그 방법 | |
JP6497915B2 (ja) | 運転支援システム | |
JP5353040B2 (ja) | 運転シミュレーション装置、運転シミュレーション方法、およびプログラム | |
Mulder et al. | Haptic gas pedal feedback | |
Wulf et al. | Recommendations supporting situation awareness in partially automated driver assistance systems | |
EP2487085A2 (en) | Lane departure warning system and a method for a lane departure warning system | |
KR20090018785A (ko) | 동적 시스템 및 장치의 수동 조종을 모니터링하는 방법 | |
US9984298B2 (en) | Method for outputting a drowsiness warning and control unit | |
US11993267B2 (en) | Alerter augmentation system | |
JP5643142B2 (ja) | 運転能力判定装置及び運転能力判定方法 | |
JP6331945B2 (ja) | 心理状態推定装置および心理状態推定方法 | |
CN110861654A (zh) | 一种提醒方法、装置、车辆、设备和存储介质 | |
JP2009294250A (ja) | 運転操作評価装置 | |
JP5733057B2 (ja) | プラットフォーム装置、プログラム、及びシステム | |
JP2010282368A (ja) | 運転支援装置、及びプログラム | |
EP3353032B1 (en) | Vehicle interface apparatus and method | |
JP2011128823A (ja) | 安全運転サポート装置 | |
Lee et al. | Driver sensitivity to brake pulse duration and magnitude | |
CN114037981A (zh) | 疲劳驾驶示警方法、装置、存储介质及电子设备 | |
JP4968133B2 (ja) | 車両用警報装置 | |
JP6972877B2 (ja) | 警告情報通知装置 | |
Zuki et al. | Using multimodal warning as a method of optimizing an in-vehicle warning system | |
CN113879319B (zh) | 困倦征兆通知系统 | |
Hempel et al. | User interaction based detection of driver distraction | |
JP2022071595A (ja) | 運転適正状態判定装置及び運転適正状態判定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20180227 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20190227 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20200227 Year of fee payment: 6 |