KR102631160B1 - 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치 - Google Patents

차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치 Download PDF

Info

Publication number
KR102631160B1
KR102631160B1 KR1020190084000A KR20190084000A KR102631160B1 KR 102631160 B1 KR102631160 B1 KR 102631160B1 KR 1020190084000 A KR1020190084000 A KR 1020190084000A KR 20190084000 A KR20190084000 A KR 20190084000A KR 102631160 B1 KR102631160 B1 KR 102631160B1
Authority
KR
South Korea
Prior art keywords
vehicle
signals
signal
vehicle occupant
occupant
Prior art date
Application number
KR1020190084000A
Other languages
English (en)
Other versions
KR20190090367A (ko
Inventor
김태환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190084000A priority Critical patent/KR102631160B1/ko
Publication of KR20190090367A publication Critical patent/KR20190090367A/ko
Priority to US16/559,311 priority patent/US11345234B2/en
Application granted granted Critical
Publication of KR102631160B1 publication Critical patent/KR102631160B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/0507—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  using microwaves or terahertz waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0461—Sensor means for detecting integrated or attached to an item closely associated with the person but not worn by the person, e.g. chair, walking stick, bed sensor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/03—Actuating a signal or alarm device
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Cardiology (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Pulmonology (AREA)
  • Psychiatry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computational Linguistics (AREA)

Abstract

탑재된 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행하여 차량에 탑승한 탑승자의 생체신호를 취득하고, 취득한 탑승자 생체신호에서 움직임 신호, 호흡 신호 및 심박수 신호를 통해 탑승자의 신체 변화를 측정한 뒤, 5G 통신 환경에서 차량 내부 기기와 통신하여 추정된 탑승자의 신체 변화에 대응할 수 있도록 차량 내부 기기의 구동을 제어하거나 차량 운행을 제어할 수 있는 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치가 개시된다. 본 발명에 의하여 차량 내 탑재된 RF 센서를 통해 차량에 탑승한 탑승자의 움직임, 호흡, 심박수 신호를 추출한 뒤, 추출된 탑승자의 생체신호를 기초로 탑승자의 신체 상태를 추정하여 신체 상태가 정상상태를 벗어난 생체신호로 추정되면, 이를 탑승자에 알릴 수 있다.

Description

차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치{METHOD AND APPARATUS FOR DETECTING STATUS OF VEHICLE OCCUPANT}
본 발명은 차량에 탑승한 탑승자의 상태를 감지할 수 있는 방법 및 장치에 관한 것으로, 더욱 상세하게는 차량 내 센서를 통해 차량에 탑승한 탑승자의 움직임, 호흡, 심박 신호 등을 이용하여 탑승자의 신체 상태를 추정하고 신체 상태가 정상상태를 벗어나면, 이를 탑승자에 알릴 수 있도록 하는 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치에 관한 것이다.
차량의 주행 성능 향상과 더불어 주행 안전성을 향상시키려는 노력이 계속되고 있다. 이를 위해, 차량의 차선 변경에 따른 핸들 진동과 같은 운전자의 안전성 향상을 위한 기술들이 차량 내부에 접목되고 있다. 더욱이, 최근에는 차량 주행 시 운전자의 안전을 향상시키기 위한 기술뿐 아니라, 차량 운전자의 상태를 모니터링하기 위한 기술이 논의되고 있다.
이러한 차량 운전자의 상태를 모니터링하기 위한 기술 중, 운전자의 생체이상 여부를 판단할 수 있는 기술이 주목되고 있다. 구체적으로 운전자의 생체정보를 측정하는 실시예에 대한 기술이 선행기술 1 및 선행기술 2에 의해 개시되어 있다.
선행기술 1은 차량에 탑승한 탑승자 건강 상태를 측정하기 위한 장치 및 방법에 관한 것으로, 탑승자의 건강상태를 측정하고, 측정한 건강상태를 기반으로 차량의 공조를 제어하는 등의 환경을 변경할 수 있는 기술이 기재되어 있다. 특히, 선행기술 1의 탑승자의 건강상태를 측정하기 위한 장치로 카메라가 개시되어 있다.
차량 내 탑재된 카메라를 이용하여 운전자의 생체정보(예: 졸음 상태, 운정 상태 등)을 측정할 수 있지만, 카메라를 이용하여 운전자의 생체정보를 측정한다는 점에서 운전자 또는 차량에 탑승한 탑승자의 개인 정보가 누출될 수 있는 위험이 있었다.
따라서, 선행기술 1의 기술을 통해서는 탑승자의 개인 정보 누출을 제한하면서 탑승자의 생체정보를 수집할 수 있는 기술을 제시하는데 한계가 있다.
선행기술 2에는 초광대역 통신 센서를 이용하는 웨어러블 기기를 통해 차량 운전자의 생체정보 신호를 측정하고, 운전자의 생체정보에 이상이 발생하는 경우 차량 속도 제한, 차량 회차를 유도할 수 있는 기술이 기재되어 있다.
그러나 선행기술 2는 별도의 웨어러블 기기가 장착되어야 할 필요가 있고, 차량 운전자의 생체정보만을 측정하는 기술이 개시되어 있는바, 차량 내 탑승한 탑승자의 생체정보를 측정하여 웨어러블 기기를 장착하지 않은 운전자 또는 운전자 이외의 탑승자(예: 카시트에 탑승한 영유아)의 신체상태를 모니터링하기 위한 기술을 제시하는 데에는 한계가 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
[선행기술문헌]
[특허문헌]
선행기술 1: 한국 공개특허 제10-2018-0120901호 (2018.11.07. 공개)
선행기술 2: 한국 등록특허 제 10-1642697호 (2016.07.20. 등록)
본 발명의 실시예에 따른 일 과제는, 차량에 탑재된 RF 센서를 이용하여 차량에 탑승한 탑승자의 생체신호를 측정하고, 측정된 생체신호를 통해 탑승자의 상태를 판단할 수 있도록 하는데 있다.
본 발명의 실시예에 따른 일 과제는, 차량에 탑승한 탑승자의 생체신호를 측정하고, 측정한 생체신호에 따라 운전자의 생체신호가 정상 상태를 벗어나는 경우, 이를 알려 운전이 이루어지지 않도록 하여 보다 안전하게 운전이 이루어질 수 있도록 할 수 있다.
또한, 본 발명의 실시예에 따른 일 과제는 차량에 탑승한 탑승자의 생체신호를 측정할 수 있음에 따라 건강에 이상이 발생한 탑승자의 경우 함께 탑승한 탑승자에게 건강 이상 여부를 알릴 수 있도록 하는데 있다.
본 발명의 실시예에 따른 일 과제는, 차량에 탑승한 탑승자의 개인 정보를 누출하지 않고도 탑승자의 생체신호를 취득할 수 있는데 있다.
본 발명의 실시예에 따른 일 과제는, 차량의 탑승자 중 운전자의 생체신호 추정 후, 운전자의 상태에 따라 차량의 운행을 제어할 수 있도록 함으로써, 차량이 보다 안정적으로 운전될 수 있도록 하는데 있다.
본 발명의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 발명의 실시예에 따른 차량 탑승자 상태 감지방법은 차량에 탑승한 탑승자의 생체신호를 추출하고, 추출된 탑승자의 생체신호에서 탑승자의 신체 상태가 정상 상태를 벗어나는 경우, 이를 알려 위험 상황을 벗어날 수 있는 방법이다.
이를 위한 차량 탑승자 상태 감지방법은, 차량 내에 탑재된 RF 센서를 통해 차량 내 탑승자의 신체신호를 취득하는 단계와, 신체신호를 처리하여 움직임 신호, 호흡 신호 및 심박 신호 중 적어도 하나를 포함하는 생체신호를 추출하는 단계와, 추출된 생체신호를 기초로 탑승자의 신체 상태를 추정하는 단계 및 추정된 탑승자의 신체 상태가 정상 상태를 벗어나는 경우, 알람을 발생시키는 단계를 포함할 수 있다.
차량 탑승자 상태 감지 방법에 의하여, 차량에 탑승한 탑승자의 신체 상태를 추정할 수 있으므로, 운전자의 경우는 보다 안전한 운전이 이루어질 수 있으며, 운전자 이외의 탑승자의 경우 건강 이상을 주변 탑승자에게 알릴 수 있어 위급상황에서 보다 빠른 대처가 이루어질 수 있다.
또한, RF 센서를 이용하여 탑승자의 생체신호를 취득함에 따라 영상을 통해 취득하기 어려운 호흡, 심박 신호를 취득할 수 있게 된다. 더불어, RF 센서를 통해 취득하는 생체신호는 개인을 특정하기 어렵기 때문에 취득한 생체신호를 통한 개인정보 누출을 방지하여 개인정보 보호가 가능해질 수 있다.
이때, 추정하는 단계는, 특정한 신체 상태가 가지는 움직임 특징, 호흡 특징, 및 심박 특징을 학습 데이터로 사용하여 기 훈련된 심층 신경망 모델을 이용하여 탑승자의 신체 상태를 추정할 수 있다.
즉, 다양한 조건의 데이터(예: 정상 상태의 심박, 호흡, 움직임 특징, 수면 상태의 심박, 호흡, 움직임 특징, 질병 상태의 심방, 호흡, 움직임 특징 등)를 학습한 상태에서, 입력되는 생체신호 데이터가 어떠한 데이터인지를 추정할 수 있다.
본 발명의 생체신호를 추출하는 단계는, 일정 크기 이상의 신체 변화를 표시하는 신호에 대해서는 필터링(filtering out)을 수행하는 단계 및 필터링을 통해 일정 크기 이상의 신체 변화를 표시하는 신호가 제거된 신체 신호를 대상으로 심박 신호 및 호흡 신호를 추출하는 단계를 포함할 수 있다.
이로써, 잡음이 최소화된 생체 신호를 추출할 수 있다.
또한, 본 발명의 신체신호를 취득하는 단계는, 차량의 동작이 제1 조건을 만족하는 경우에 개시하고, 제1 조건은 차량의 이동 속도, 차량의 방향 전환 각도, 차량 주변의 차량 밀집도, 및 차량의 특정 영역으로의 진입 여부 중 적어도 하나와 관련하여 정의될 수 있다.
즉, 차량 운전 시, 상황 변화에 따라 차량 탑승자의 신체 신호를 취득할 수 있다. 이렇게 상황 변화에 따라 탑승자의 신체신호를 취득함에 따라 상황 변화에 대응하는 운전이 이루어지지 않는 이유를 추정하고, 문제 발생 시 이를 알려 탑승자의 안전을 확보하고 보다 안전한 운전이 이루어질 수 있게 된다.
또한, 본 발명의 생체신호를 추출하는 단계는, 탑승자의 신체신호에 대하여 저주파 필터링(Low Pass Filtering), 고주파 필터링(High Pass Filtering), 대역 필터링(Band Pass Filtering), 노치 필터링(Notch Filtering) 및 직류 신호 제거(DC Blocker) 중 적어도 하나를 적용하는 단계를 더 포함할 수 있다.
이와 같이 탑승자의 신체신호에서 탑승자의 신체 변화를 추정할 수 있는 생체신호만을 추출할 수 있는 것이다.
또한, 본 발명의 탑승자의 신체신호를 취득하는 단계는, 차량의 운전석에 탑승한 운전자의 신체신호를 우선적으로 취득하는 단계를 포함할 수 있다.
예시적으로 차량의 운전석을 기준으로 운전석에 탑승한 운전자의 생체신호를 우선적으로 취득할 때, 차량의 탑승석 전체의 생체신호를 동시에 취득할 수 있다. 이로써, 운전자 이외의 탑승자 전체의 생체신호 변화를 통해 탑승자 중 응급상황이 발생하게 되면 운전자를 포함한 탑승자 전체로 응급상황이 발생한 탑승자 상태를 알려 응급상황을 해결할 수 있다.
이와 다르게, 탑승자의 신체신호를 취득하는 단계는, 차량의 탑승석 전체의 신체신호를 동시에 취득하는 단계를 포함할 수도 있다. 즉, 운전자의 생체신호를 우선적으로 취득하여 보다 안정적인 운전이 이루어질 수 있다.
또한, 본 발명의 탑승자의 신체신호를 취득하는 단계는, 운전석을 기준으로 시계방향 또는 시계 반대방향을 따라 차량에 탑승한 탑승자의 생체신호를 순차적으로 취득할 수 있다.
또한, 본 발명의 탑승자의 신체 상태를 추정하는 단계는, 차량의 동작이 제2 조건을 만족하는 경우에 개시하고, 차량의 동작이 제2 조건을 만족하는 않는 경우에, 알람을 발생시키는 단계는, 호흡 신호 및 심박 신호 중 적어도 하나가 미리 결정된 범위를 벗어나는지를 기초로 탑승자의 신체 상태가 정상 상태를 벗어나는지를 판단하는 단계를 포함하고, 제2 조건은 차량의 이동 속도, 차량의 방향 전환 각도, 차량 주변의 차량 밀집도, 및 차량의 특정 영역으로의 진입 여부 중 적어도 하나와 관련하여 정의될 수 있다.
즉, 일반적인 차량 운행 상태에서도 탑승자의 신체 상태 변화를 측정할 수 있게 된다.
또한, 본 발명의 실시예에 따른 차량 탑승자 상태 감지장치는, 차량에 탑승한 탑승자의 생체신호를 추출하고, 추출된 탑승자의 생체신호에서 탑승자의 신체 상태가 정상 상태를 벗어나는 경우, 이를 알려 위험 상황을 벗어날 수 있도록 하는 장치이다.
구체적으로 본 발명의 차량 탑승자 상태 감지장치는, 차량 내 탑재된 RF 센서를 통해 차량에 탑승한 탑승자의 신체신호를 취득하는 취득부, 신체신호를 처리하여 움직임 신호, 호흡 신호 및 심박 신호 중 적어도 하나를 포함하는 생체신호를 추출하는 추출부, 추출된 생체신호를 기초로 탑승자의 신체 상태를 추정하는 추정부 및 추정된 탑승자의 신체 상태가 정상 상태를 벗어나는 경우, 알람을 발생시키는 알람부를 포함할 수 있다.
이러한 차량 탑승자 상태 감지장치에 의하여 차량에 탑승한 탑승자의 신체 상태를 추정할 수 있다. 특히, 운전자의 경우는 보다 안전한 운전이 이루어질 수 있으며, 운전자 이외의 탑승자의 경우 건강 이상을 주변 탑승자에게 알릴 수 있어 위급상황에서 보다 빠른 대처가 이루어질 수 있다.
구체적으로, 본 발명의 차량 탑승자 상태 감지장치의 추정부는, 특정한 신체 상태가 가지는 움직임 특징, 호흡 특징, 및 심박 특징을 학습 데이터로 사용하여 기 훈련된 심층 신경망 모델을 이용하여 탑승자의 신체 상태를 추정할 수 있다.
즉, 본 발명의 차량 탑승자 상태 감지장치는 다양한 조건의 데이터(예: 정상 상태의 심박, 호흡, 움직임 특징, 수면 상태의 심박, 호흡, 움직임 특징, 질병 상태의 심방, 호흡, 움직임 특징 등)를 학습할 수 있다. 학습된 데이터를 기초로 취득부에서 탑승자의 생체신호를 취득하면, 취득된 탑승자의 생체신호가 어떠한 데이터인지를 추정할 수 있는 것이다.
또한, 본 발명의 차량 탑승자 상태 감지장치의 추출부는, 일정 크기 이상의 신체 변화를 표시하는 신호에 대해서는 필터링(filtering out)을 수행하고, 필터링을 통해 일정 크기 이상의 신체 변화를 표시하는 신호가 제거된 신체 신호를 대상으로 심박 신호 및 호흡 신호를 추출하도록 구성될 수 있다.
이로써, 잡음이 최소화된 생체 신호를 추출할 수 있다.
또한, 본 발명의 차량 탑승자 상태 감지장치의 취득부는, 차량의 동작이 제1 조건을 만족하는 경우에 탑승자의 신체신호를 취득하도록 구성되고, 제1 조건은 차량의 이동 속도, 차량의 방향 전환 각도, 차량 주변의 차량 밀집도, 및 차량의 특정 영역으로의 진입 여부 중 적어도 하나와 관련하여 정의될 수 있다.
즉, 차량 운전 시, 상황 변화에 따라 차량 탑승자의 신체 신호를 취득할 수 있다. 이렇게 상황 변화에 따라 탑승자의 신체신호를 취득함에 따라 상황 변화에 대응하는 운전이 이루어지지 않는 이유를 추정하고, 문제 발생 시 이를 알려 탑승자의 안전을 확보하고 보다 안전한 운전이 이루어질 수 있게 된다.
또한, 본 발명의 차량 탑승자 상태 감지장치의 추출부는, 탑승자의 신체신호에 대하여 저주파 필터링(Low Pass Filtering), 고주파 필터링(High Pass Filtering), 대역 필터링(Band Pass Filtering), 노치 필터링(Notch Filtering) 및 직류 신호 제거(DC Blocker) 중 적어도 하나를 적용하여 생체신호를 처리하도록 구성할 수 있다.
이와 같이 탑승자의 신체신호에서 탑승자의 신체 변화를 추정할 수 있는 생체신호만을 추출할 수 있는 것이다.
또한 본 발명의 차량 탑승자 상태 감지장치의 취득부는, 차량의 운전석에 탑승한 탑승자의 신체신호를 우선적으로 취득하도록 구성할 수 있다.
예시적으로 차량의 운전석을 기준으로 운전석에 탑승한 운전자의 생체신호를 우선적으로 취득할 때, 차량의 탑승석 전체의 생체신호를 동시에 취득할 수 있다. 이로써, 운전자 이외의 탑승자 전체의 생체신호 변화를 통해 탑승자 중 응급상황이 발생하게 되면 운전자를 포함한 탑승자 전체로 응급상황이 발생한 탑승자 상태를 알려 응급상황을 해결할 수 있다.
또한, 본 발명의 차량 탑승자 상태 감지장치는 정상상태를 벗어난 생체신호를 감지하면, 정상상태를 벗어난 생체신호에 기초하여 차량의 구동기기 및 방향 조정기기를 통해 차량이 수행할 동작을 수행하도록 제어하는 기기 제어부를 포함할 수 있다.
즉, 취득한 생체신호가 운전자의 생체신호이고, 운전자가 졸음의 상태인 것으로 판단되면 차량 운행을 중지시키거나, 우회시켜 안전한 차량 운행이 이루어질 수 있도록 하는 것이다.
또한, 취득한 생체신호가 탑승자의 생체신호이고, 탑승자의 건강 상태가 이상상태인 것으로 판단되면, 인접한 병원을 검색하고, 차량의 운행을 검색된 병원으로 우회시켜 탑승자의 위급 상황을 해결할 수 있도록 할 수 있다.
또한 본 발명의 차량 탑승자 상태 감지장치의 추정부는, 차량의 동작이 제2 조건을 만족하는 경우에 기 훈련된 심층 신경망 모델을 이용하여 탑승자의 신체 상태를 추정하도록 구성되고, 차량의 동작이 제2 조건을 만족하는 않는 경우에, 탑승자의 신체 상태가 정상 상태를 벗어나는지는 호흡 신호 및 심박 신호 중 적어도 하나가 미리 결정된 범위를 벗어나는지를 기초로 판단되고, 제2 조건은 차량의 이동 속도, 차량의 방향 전환 각도, 차량 주변의 차량 밀집도, 및 차량의 특정 영역으로의 진입 여부 중 적어도 하나와 관련하여 정의될 수 있다.
이로 인해, 일반적인 차량 운행 상태에서도 탑승자의 신체 상태 변화를 측정할 수 있게 된다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 의하면, 차량에 탑승한 탑승자의 신체 상태를 추정할 수 있다. 추정된 탑승자의 신체 상태가 졸음, 신체상태 이상 등과 같이 정상상태에서 벗어난 경우 탑승자에게 이를 알릴 수 있다. 이로써, 운전자의 경우는 보다 안전한 운전이 이루어질 수 있으며, 운전자 이외의 탑승자의 경우 신체 이상을 주변 탑승자에게 알릴 수 있어 위급상황에서 보다 빠른 대처가 이루어질 수 있다.
또한, 차량에 탑승한 탑승자의 생체신호 측정을 위해 RF 센서를 이용할 수 있다. 즉, 영상을 통해 취득하기 어려운 호흡, 심박 신호 등을 취득할 수 있다. 또한, 차량 내부에 탑재된 영상장치로 취득되는 영상정보는 개인정보를 포함하고 있다. 이에 반해 RF 센서를 통해 생체신호를 취득하는 경우, 취득하는 생체신호를 이용하여 개인을 특정하기 어렵기 때문에 RF 센서로 취득한 생체신호는 개인 정보를 포함하고 있지 않다. 따라서, RF 센서를 통해 생체신호를 취득함에 따라 개인 정보가 누출되는 것을 방지할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량 탑승자의 상태가 정상상태를 벗어났는지를 알릴 수 있는 차량을 설명하기 위한 도면이다.
도 2는 도 1의 차량 내부에 탑재된 차량 탑승자 상태 감지장치의 실시예를 도시한 도면이다.
도 2(a)는 단일의 차량 탑승자 상태 감지장치를 이용하여 차량 탑승자의 생체신호를 취득하는 실시예를 도시한 도면이고,
도 2(b)는 복수의 차량 탑승자 상태 감지장치를 이용하여 차량 탑승자의 생체신호를 취득하는 실시예를 도시한 도면이다.
도 3은 본 발명의 차량 탑승자 상태 감지장치의 구성을 도시한 개략적인 블록도이다.
도 4는 도 3의 추출부의 구성을 도시한 개략적인 블록도이다.
도 5는 본 발명의 차량 탑승자 상태 감지장치를 통해 취득한 차량에 탑승한 탑승자의 생체신호에서 움직임 신호, 호흡 신호, 심박 신호를 추출하는 예시를 도시한 도면이다.
도 6은 도 5에서 추출된 움직임 신호, 호흡 신호, 심박 신호를 통해 탑승자의 신체 상태를 판별하기 위한 예시를 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 차량 탑승자 상태 감지방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 차량 탑승자의 상태가 정상상태를 벗어났는지를 알릴 수 있는 차량을 설명하기 위한 도면이고, 도 2는 도 1의 차량 내부에 탑재된 차량 탑승자 상태 감지장치의 실시예를 도시한 도면이다.
도 1 및 도 2를 참조하면, 차량(10)과 차량(10) 내부에 탑재된 차량 탑승자 상태 감지장치(100)가 묘사되어 있다.
차량(10)은 차량(10)에 탑승하는 탑승자가 착석 가능한 복수의 시트(30a, 30b)를 포함하고 있으며, 차량(10)은 탑승자가 탑승하는 여부를 감지할 수 있는 차량 도어 센서, 시트 압력 센서 등을 포함할 수 있다.
차량 탑승자 상태 감지장치(100)는 차량(10) 내부의 룸미러에 탑재될 수 있으며, 차량(10)에 탑승한 탑승자의 생체신호를 취득할 수 있는 장치이다.
이러한 차량 탑승자 상태 감지장치(100)는 차량(10)에 탑승한 탑승자의 생체신호의 특징에 따라 차량(10)의 운행을 제어하거나 차량(10) 내 탑재된 내부 기기(20_예: 차량 창문, 공조 시스템, 라디오 등의 볼륨 시스템 등도 3 참고)를 제어할 수 있다. 이를 위해 차량 탑승자 상태 감지장치(100)와 차량(10)은 5G 통신 환경에서 서로 연결될 수 있다. 또한, 차량 탑승자 상태 감지장치(100)와 차량(10) 및 차량(10)은 사물 인터넷 환경 하에서 서로 연결되어 동작할 수 있다.
차량 탑승자 상태 감지장치(100)는 차량(10) 내 룸미러에 RF 센서를 부착 또는/및 내장하여 차량(10)에 탑승한 탑승자들의 생체신호를 무선으로 측정할 수 있다. 이러한 차량 탑승자 상태 감지장치(100)가 측정한 탑승자들의 생체신호를 통해 탑승자들의 신체상태를 판단할 수 있다.
구체적으로, 차량 탑승자 상태 감지장치(100)가 측정한 탑승자 생체신호가 운전자의 생체신호이고, 측정한 운전자의 생체신호가 기 훈련된 심층 신경망 모델에 의해 "졸음"이라고 판단되면 차량 탑승자 상태 감지장치(100)는 운전자의 신체 상태를 "졸음 상태로 판단할 수 있다.
다른 예에서, 차량 탑승자 상태 감지장치(100)가 측정한 탑승자 생체신호가 운전자의 생체신호이고, 측정한 운전자의 생체신호가 기 훈련된 심층 신경망 모델에 의해 "저심박"이라고 판단되면 차량 탑승자 상태 감지장치(100)는 운전자의 신체 상태를 "위험 상태로 판단할 수 있다.
유사하게, 차량 탑승자 상태 감지장치(100)가 측정한 탑승자 생체신호가 운전자가 아닌 탑승자의 생체신호이고, 측정한 탑승자의 생체신호가 기 훈련된 심층 신경망 모델에 의해 "부정호흡"이라고 판단되면 차량 탑승자 상태 감지장치(100)는 탑승자의 신체 상태를 "상태 확인으로 판단하여 운전자 또는 동승한 탑승자에게 이러한 정보를 알려줄 수 있다.
차량 탑승자의 신체 상태를 추정하는 기 훈련된 심층 신경망 모델(40_도 6 참고)에 대해 구체적으로 살펴보면, 기 훈련된 심층 신경망 모델(40)은 특정한 신체 상태(예: 탑승자 나이 대의 신체 상태, 운전자 및 비운전자 별 신체상태, 정상 상태, 졸음 상태 등)가 가질 수 있는 움직임 특징, 호흡 특징 및 심박 특징을 학습 데이터로 이용하여 훈련된 것일 수 있다. 예를 들어, 정상인 상태의 움직임 특징, 호흡 특징, 심박 특징에는 정상 상태의 레이블이 붙어 심층 신경망에 입력되고, 졸음 상태의 움직임 특징, 호흡 특징, 심박 특징에는 졸음 상태의 레이블이 붙어 심층 신경망에 입력되어 지도학습이 수행될 수 있다. 훈련 데이터 세트를 통해 기 훈련된 심층 신경망 모델(40)에 차량 탑승자의 생체신호가 탑승자 상태를 추정할 수 있다. 이렇게 생성된 학습모델을 통해 차량 탑승자의 신체 상태를 판단하는 것이다.
한편, 기 훈련된 심층 신경망 모델(40)은 차량 탑승자 상태 감지장치(100)가 차량(10)에 탑재될 때 차량 탑승자 상태 감지장치(100)의 메모리에 저장될 수 있으며, 다르게는 차량 탑승자 상태 감지장치(100)의 사용에 따라 지속적으로 저장 및 업데이트될 수도 있다. 또한, 기 훈련된 심층 신경망 모델(40)은 후술하는 메모리(도 3의 170)에 저장될 수 있다.
이렇게 차량 탑승자 상태 감지장치(100)에 입력된 차량 탑승자의 생체신호 추정 학습모델을 통해 차량 탑승자의 신체 상태를 판단하여 차량 탑승자의 신체 상태가 "졸음" 또는 "상태 확인" 등의 주의가 필요한 상태라고 추정되면 이를 탑승자에게 알리고, 차량에 탑재된 내부 기기(20)를 작동시킬 수 있다.
앞서 예시에 의하여 차량 탑승자가 운전자이고, 운전자의 신체 상태가 "졸음"으로 추정되면 차량 내에 탑재된 알람 시스템 또는 차량 탑승자 상태 감지장치(100)와 통신으로 연결된 운전자의 사용자 기기(예: 단말기, 웨어러블 기기 등)로 알람을 발생시킬 수 있으며, 차량의 창문을 오픈하여 운전자의 "졸음" 상태를 전환시킬 수 있도록 할 수 있다. 또한 차량 공조기기를 작동시키거나, 차량에 탑재된 라디오를 동작시키는 등의 차량 내부 기기(20)를 작동시켜 운전자의 졸음 상태를 변환시키도록 한다. 다르게는 차량이 자율주행으로 전환되어 쉼터와 같은 곳으로 이동하여 차량 운행을 일시적으로 중지시킬 수 있도록 차량 주행을 변경할 수도 있다.
또한, 앞서 예시에 의하여 차량 탑승자가 운전자 및 비운전자이고, 탑승자 중 비운전자의 신체 상태가 "상태 확인"으로 추정되면, 차량에 상태 확인이 필요한 탑승자의 신체 상태를 확인할 수 있도록 한다. 예컨대, 차량 계기판, 대쉬보드 등에 경고문구를 표시하거나 스피커를 통한 알람을 발생시켜 상태 확인이 필요한 탑승자의 신체 상태를 확인할 수 있도록 한다. 차량 탑승자에 영유아, 노약자와 같이 돌봄이 필요한 탑승자가 탑승한 경우라면, 탑승자에게 돌봄이 필요한 경우 즉각적으로 대응할 수 있게 된다.
즉, 본 발명의 실시예는 차량 탑승자가 차량(10)을 탑승하고, 차량 주행 중 신체 변화가 발생하였을 때, 이를 외부에 알리도록 하는 것이다. 이렇게 차량 탑승자의 신체 변화를 외부에 알림에 따라 운전자의 경우, 보다 안전한 운전이 이루어질 수 있으며, 비운전자의 경우 상태 확인이 필요한 응급상황에 즉각적인 대응이 가능해질 수 있다.
한편, 차량 탑승자 상태 감지장치(100)는 각종 인공지능 알고리즘을 적용하는데 필요한 빅데이터 및 음성 인식에 관한 데이터를 제공하는 데이터베이스 서버와 연결되어 동작할 수 있다. 또한, 차량 탑승자 상태 감지장치(100)에는 애플리케이션 또는 웹 브라우저가 설치될 수 있으며, 이를 이용하여 차량 탑승자 상태 감지장치(100)는 웹 서버 또는 애플리케이션 서버를 통해 원격에서 제어될 수도 있다.
여기서 인공 지능(artificial intelligence, AI)은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미할 수 있다.
또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
머신 러닝(machine learning)은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야를 포함할 수 있다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다.
또한, 차량 탑승자 상태 감지장치(100)는 차량(10)에 탑재된 내부 기기(20)와 연결될 수도 있다. 즉, 차량 탑승자의 신체 변화에 의해 차량의 공조시스템을 제어하거나, 라디오 온/오프, 볼륨 조정, 차량의 창문 제어 등을 자율적으로 제어하기 위함이다. 이를 위해, 차량 탑승자 상태 감지장치(100)와 차량(10)에 탑재된 내부 기기(20)는 예컨대 LANs(local area networks), WANs(wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크 등으로 연결될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
더불어 차량 탑승자 상태 감지장치(100)와 차량(10)에 탑재된 내부 기기(20)는 근거리 통신 및/또는 원거리 통신을 이용하여 내부 기기(20)를 제어하기 위한 정보를 송수신할 수 있다. 여기서 근거리 통신은 블루투스(Bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi (wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.
더욱이, 차량 탑승자 상태 감지장치(100)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함하여 내부 기기(20)와의 연결이 이루어질 수도 있다. 구체적으로, 차량 탑승자 상태 감지장치(100)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 이러한 네트워크에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 차량 탑승자 상태 감지장치(100)와 내부 기기(20)는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신으로 연결될 수 있다.
다시 도 1 및 도 2를 참조하면, 차량(10) 룸미러에 탑재된 차량 탑승자 상태 감지장치(100)는 차량 내 룸미러에 단일 또는 복수개 설치될 수 있다.
구체적으로, 차량 탑승자 상태 감지장치(100)는 차량 룸미러에 단일의 RF 센서가 탑재되도록 하여 운전석 시트(30)를 중심으로 순차적으로(예: ①->②->③->④_도 2(a) 참고) 탑승자 신체신호를 취득할 수 있다.
이에 반해, 차량 탑승자 상태 감지장치(100)는 차량 룸미러에 복수의 RF 센서가 탑재되도록 하여 차량(10) 내 착석한 탑승자(①, ②, ③, ④_도 2의 (b) 참고) 전체의 신체신호를 취득할 수도 있다. 이때, 복수의 RF 센서가 탑재되는 경우, 차량 시트 개수와 동일한 센서가 탑재되도록 하는 것이 바람직하다. 더욱이, 탑승자가 어떤 시트에 탑승하였는지를 판단하여 탑승자가 착석한 시트에 대응하는 센서가 작동할 수 있도록 알고리즘이 설정될 수도 있다.
이하 도 3 및 도 4를 참고하여 차량 탑승자 상태 감지장치에 대해 보다 구체적으로 살펴보기로 한다.
도 3은 본 발명의 차량 탑승자 상태 감지장치의 구성을 도시한 개략적인 블록도이고, 도 4는 도 3의 추출부의 구성을 도시한 개략적인 블록도이다. 이하의 설명에서 도 1 및 도 2에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
통신부(110)는 차량(10) 내부 기기(20)와 연동하여 차량 탑승자 상태 감지장치(100)를 통해 취득한 차량 탑승자의 생체신호를 기초로 차량(10)을 제어하는데 필요한 통신 인터페이스를 제공할 수 있다.
구체적으로, 통신부(110)는 내부 기기(20) 및 차량 탑승자 상태 감지장치(100)로부터 소정의 정보 요청 신호를 수신하는 역할을 할 수 있고, 차량 탑승자 상태 감지장치(100)가 처리한 정보를 차량(10) 내부 기기(20)로 전송하는 역할을 수행할 수 있다. 이러한 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
본 실시예에서 내부 기기(20)라 함은, 차량(10)에 탑재된 라디오, 계기판, 대쉬보드, 네비게이션, 차량 구동장치 등을 포함할 수 있다.
취득부(120)는 차량(10) 내 탑재된 RF 센서를 통해 차량(10)에 탑승한 탑승자의 신체신호를 취득할 수 있다. 이러한 취득부는 차량(10) 내부 룸미러에 설치될 수 있지만, 다르게는 차량(10) 실내등, 차량(10)의 백미러 등에 설치 또는/및 내장될 수도 있다.
취득부(120)에서 취득한 탑승자의 신체신호는 후술할 추출부(130)에서 신호 처리하여 움직임 신호, 호흡 신호 및 심박 신호 등의 생체신호로 추출되어 탑승자의 신체 변화 상태를 추정하는 데이터가 될 수 있다.
이때, 취득부(120)는 차량(10)의 동작이 제1 조건을 만족하는 경우에 탑승자의 신체신호를 취득하도록 구성될 수 있다. 이러한 제1 조건은 차량의 이동속도, 차량의 방향 전환 각도, 차량의 밀집도 및 차량이 특정 영역으로 진입하는 진입 여부 중 적어도 하나와 관련하여 정의될 수 있다.
예를 들어, 취득부(120)가 차량(10) 시동이 켜지는 시점에서부터 차량(10) 시동이 꺼지는 시점까지 차량(10) 내부의 탑승자 신체신호를 취득할 수 있지만, 특히 차량(10) 탑승자의 신체 상태가 보다 긴밀하게 모니터링되어야 하는 상황이 있을 수도 있다. 예컨대, 차량(10)이 사고 다발 지역으로 진입하거나, 차량의 이동속도가 도로의 지정된 제한속도 보다 빠른 경우(예를 들어 어린이 구역임에도 제한 속도보다 빠르게 차량 운행이 이루어지는 경우) 등의 상황에서 차량 탑승자의 신체 신호를 취득할 수 있다. 또는, 차량(10)이 일정 속도 이상, 예를 들어 30km/h 이상의 속도로 움직이거나, 차량(10)의 방향 전환이 일정 각도(예를 들어, 15도)보다 크거나, 운행중인 차량(10)의 주위 일정 영역 내에 다른 차량의 수가 많다거나(반경 30m 내에 5대 이상) 하는 경우에 차량 탑승자 상태 감지장치(100)는 차량 탑승자의 신체 신호 취득을 개시할 수 있다.
이렇게 상황 변화에 따라 상시적인 신체신호 취득으로 인한 배터리 및 프로세싱 리소스의 낭비를 방지할 수 있다. 아울러, 탑승자의 상황 변화에 대응하는 운전이 이루어지지 않는 이유를 추정하고, 문제 발생 시 이를 알려 탑승자의 안전을 확보하고 보다 안전한 운전이 이루어질 수 있게 된다.
한편, 취득부(120)를 RF 센서로 구현하여 차량(10) 탑승자의 신체신호를 취득할 수 있도록 함에 따라 영상을 통해 취득하기 어려운 호흡, 심박 신호 등을 취득할 수 있다. 즉, 영상에서는 확인할 수 없지만 신체 변화를 나타내는 호흡, 심박 신호를 포함하는 신체신호를 RF 센서를 통해 취득할 수 있다. 따라서, 영상으로 확인 가능한 움직임 변화 이외에도 생체신호를 통해 신체 변화를 추정하게 되어 보다 다양한 방법으로 신체 변화를 측정할 수 있게 되는 것이다.
더욱이, 영상 정보와는 달리 취득하는 신체신호는 특정 개인의 정보를 포함하는 것이 아니므로, 개인 정보가 노출되는 것을 방지할 수 있다. 예시적으로 차량 대여 서비스를 이용하는 탑승자의 경우, 영상 장치를 통해 탑승자의 정보를 취득하는 것으로 탑승자의 개인 정보(예: 얼굴 노출)가 노출되는 문제점이 발생할 수 있다. 그러나, 본 발명의 취득부(120)는 탑승자의 얼굴과 같이 탑승자를 식별할 수 있는 정보 없이 생체신호만을 취득하는 것이므로, 탑승자의 개인 정보가 노출되지 않는 것이다. 따라서, 개인 정보를 노출하지 않고도 탑승자의 신체 변화를 추정할 수 있게 되는 것이다.
또한, 취득부(120)는 차량 탑승자 상태 감지장치(100)의 주변 상황을 센싱하는 근접센서, 영상센서 등을 포함할 수 있다. 예컨대, 취득부(120)는 탑승자가 운전자인 경우, 운전하는 상황을 취득할 수 있으며, 구체적으로 운전자의 눈동자 변화 정보, 안면 변화 정보, 운전자의 자세 정보 변화 등을 취득할 수 있다.
이와 같이 취득부(120)가 RF 센서로 구현됨과 더불어 영상센서, 근접센서 등을 더 포함함에 따라 탑승자의 신체 변화를 호흡 신호, 움직임 신호 및 심박 신호 이외에 영상을 통한 탑승자 신체 변화로 추정할 수 있게 되어 보다 정확하게 탑승자의 신체 상태 변화를 추정하는 방식도 함께 채택될 수 있다.
본 실시예에서 취득부(120)를 RF 센서, 근접센서, 영상센서 등으로 기재하고 있으나, 이에 국한되지 않고, 차량(10)에 탑승한 탑승자의 신체정보를 취득할 수 있는 다양한 센서 중 어느 하나가 될 수 있는 것은 물론이다.
이때, 취득부(120)는 차량(10)의 운전석을 기준으로 운전석에 탑승한 탑승자의 신체신호를 우선적으로 취득할 수 있다.
이를 위한 예시로, 취득부(120)는 차량 룸미러에 하나의 RF 센서로 구현될 수 있다. 취득부(120)가 단일의 RF 센서로 구현됨에 따라 취득부(120)는 차량(10)에 탑승자가 탑승하면 운전석(①_도 2 참고)에 탑승한 탑승자(운전자)의 신체신호를 우선적으로 취득한다. 이후, 순차적으로 시계 방향(①->②->③->④) 또는 반시계 방향(①->③->④->②)으로 탑승자의 신체신호를 취득할 수 있다. 이때, 차량(10) 시트(30)에 탑승자가 탑승하지 않은 경우에는 빈 좌석을 향해 RF 센서가 작동하지 않을 수 있으며, 다르게는 RF 센서는 작동하더라도 신체신호를 취득하지 않는 것으로 구성될 수 있다.
이와 다르게, 취득부(120)는 차량(10) 탑승석 전체의 신체신호를 동시에 취득할 수 있다. 구체적으로, 차량 탑승자 상태 감지장치(100)는 차량 룸미러에 복수의 RF 센서가 탑재되도록 하여 차량(10) 내 착석한 탑승자(①, ②, ③, ④_도 2의 (b) 참고) 전체의 신체 상태를 확인하는 것이다. 이때, 복수의 RF 센서가 탑재되는 경우, 차량 시트 개수와 동일한 센서가 탑재되도록 하는 것이 바람직하다. 더욱이, 탑승자가 어떤 시트에 탑승하였는지를 판단하여 탑승자가 착석한 시트에 대응하는 센서가 작동할 수 있도록 알고리즘이 설정될 수도 있다.
추출부(130)는, 차량(10)에 탑승한 탑승자의 신체신호를 취득부(120)로부터 취득하면, 취득한 신체신호를 처리하여 움직임 신호, 호흡 신호 및 심박 신호 중 적어도 하나를 포함하는 생체신호를 추출할 수 있다. 이러한 추출부(130)는 생체신호 기록부(131), 필터링부(132) 등을 포함할 수 있다.
RF 센서를 통해 취득된 신체신호는 탑승자의 생체활동을 나타내는 정보 이외에도 다양한 노이즈가 포함되어 있으므로, 추출부(130)는 이러한 신체신호를 처리하여 유의미한 생체활동을 나타내는 신호들을 생성할 필요가 있다.
추출부(130)는 심박 신호 및 호흡 신호를 추출하기 위해 심박 및 호흡과는 관련 없는 탑승자의 움직임을 제거하도록 구성될 수도 있다. 예를 들어, 심박 및 호흡을 위한 움직임이 아니라 운전 중 다른 기기를 조작하기 위해 몸을 기울이는 움직임 등과 같은 움직임에 대한 신호는 제거될 필요가 있다.
이에 따라, 추출부(130)는 호흡과 심박 활동을 나타내는 작은 신체 변화를 보여주는 신호가 아닌 일정 크기 이상의 신체 변화를 표시하는 신호에 대해서는 필터링(filtering out)하도록 구성될 수도 있다.
추출부(130)는 필터링을 통해 심박 및 호흡과 관련 없는 일정 크기 이상의 신체 변화를 표시하는 신호가 제거된 신체 신호를 대상으로 심박 신호 및 호흡 신호를 추출할 수 있다.
다른 예에서는, 호흡 및 심박 이외에 신체의 움직임을 나타내는 신호도 탑승자의 상태를 추정하는데 유용할 수 있다고 판단하여, 추출부(130)가 신체 신호로부터 움직임 신호, 호흡 신호 및 심박 신호를 모두 추출해내도록 구성될 수도 있다.
생체신호 기록부(131)는 차량(10)에 탑승한 탑승자의 생체신호를 추출, 기록할 수 있다. 예를 들어, 탑승자가 차량(10)의 운전석(①_30a_도 2 참고)에 탑승하고, 탑승한 시점에서 탑승자의 생체신호를 추출하여 기록할 수 있다. 이때, 생체신호 기록부(131)는 탑승자가 탑승한 시점 또는 차량이 운행하는 특정 시점에서의 탑승자의 움직임 신호, 호흡 신호 및 심박 신호 정보를 추출하여 기록하게 된다.
또한, 생체신호 기록부(131)는 탑승자가 차량 주행 시 움직일 때 발생하는 마찰 소음과 같은 신호를 추출할 수 있으며, 탑승자의 호흡 신호 및 심박 신호를 음향신호로서 추출할 수 있다.
필터링부(132)는 탑승자의 신체신호에 대하여 저주파 필터링(Low Pass Filtering), 고주파 필터링(High Pass Filtering), 대역 필터링(Band Pass Filtering), 노치 필터링(Notch Filtering) 및 직류 신호 제거(DC Blocker) 중 적어도 하나를 적용하여 탑승자의 생체신호를 처리할 수 있다.
예를 들어, 필터링부(132)는 저주파 필터링(Low Pass Filtering)하는 제1 필터링부(132-1)와, 저주파 필터링된 탑승자의 생체신호에서 직류 신호를 제거하는 제2 필터링부(132-2)를 포함할 수 있다.
구체적으로, RF 센서로 구현된 취득부(120)에서 취득한 신체신호는 탑승자 신체 내외의 움직임 정보가 반영된 신호이다. 이러한 신호를 추출부(130)에서 신호 처리하여 탑승자의 움직임 신호, 호흡 신호 및 심박 신호인 생체신호로 분리하는 것이다.
이하 본 발명에서는 제1 필터링부(132-1)에서 저주파 필터링을 통해 생체 신호 이외의 신호가 필터링 되는 예를 들지만, 본 발명의 실시예가 이에 국한되는 것은 아니다.
한편, 신체신호는 제1 필터링부(132-1)와 제2 필터링부(132-2)를 순차적으로 통과하도록 설정되어 필터링될 수 있다. 이와 같이 신체신호가 제1 필터링부(132-1)와 제2 필터링부(132-2)를 순차적으로 통과하도록 함으로써, 신체신호에 남아 있는 잡음을 제거할 수 있게 된다.
이렇게 신호 처리된 신체신호는 움직임 신호(131-1), 호흡 신호(131-2) 및 심박수 신호(131-3)로 분리 추출될 수 있다. 분리 추출된 움직임 신호(131-1), 호흡 신호(131-2) 및 심박 신호(131-3)는 앞서 설명된 기 훈련된 심층 신경망 모델(40)에 입력되어 탑승자의 신체 상태가 추정될 수 있다.
이러한 추출부(130)에 의해 추출된 탑승자의 움직임 신호, 호흡 신호 및 심박 신호로부터 기 훈련된 심층 신경망 모델(40)을 이용하여 특정한 신체 상태를 추정할 수 있다.
즉, 기 훈련된 심층 신경망 모델(40)에 생체신호가 입력되고, 머신 러닝 및/또는 딥러닝 학습으로 기 훈련된 심층 신경망 모델(40)을 이용하여 추정부(140)는 탑승자의 신체 상태를 추정할 수 있다. 구체적으로, 추출부(130)에서 추출된 신체신호의 특징을 기초로 기 훈련된 심층 신경망 모델(40)에 의해 예측된 신체 상태가 정상적인 신체 상태에서 벗어난 경우를 추정할 수 있다.
한편, 추출부(130)는 시간의 흐름에 따라 탑승자의 움직임 변화, 호흡 변화, 심박 변화를 추출할 수도 있다. 이로 인해, 지속적으로 탑승자의 신체 상태 변화를 추정할 수 있게 된다.
이와 같이, 추출부(130)는 탑승자의 신체신호로부터 움직임 신호, 호흡 신호 및 심박 신호를 추출할 수 있고, 추정부(140)는 추출된 움직임 신호, 호흡 신호 및 심박 신호를 기초로 탑승자의 신체 상태를 추정할 수 있다. 예컨대 추정부(140)는 특정한 신체 상태(예: 운전자, 영유아 및 노약자)가 가지는 움직임 특징, 호흡 특징 및 심박 특징을 학습데이터로 사용하여 기 훈련된 심층 신경망 모델(40)을 통하여 탑승자의 신체 상태를 추정할 수 있다.
구체적으로, 추정부(140)는 차량(10)의 동작이 제2 조건을 만족하는 경우에 기 훈련된 심층 신경망 모델(40)을 이용하여 신체 상태를 추정하도록 구성될 수 있다. 이때, 제2 조건은 차량의 이동속도, 차량의 방향 전환 각도, 차량 주변의 차량 밀집도 및 차량이 특정 영역으로 진입하는지 여부 등에 관련하여 정의될 수 있다.
예를 들어, 차량(10)이 일정 속도 이상(예를 들어, 30km/h 이상)의 속도로 움직이거나, 차량(10)의 방향 전환이 일정 각도(예를 들어, 15도)보다 크거나, 운행중인 차량(10)의 주위 일정 영역 내에 다른 차량의 수가 많다거나(반경 30m 내에 5대 이상) 하는 경우에 추정부(140)는 기 훈련된 심층 신경망 모델(40)을 이용하여 신체 상태를 추정하도록 구성될 수 있다.예컨대, 제2 조건은 차량 운행 시, 발생 가능한 상황 변화를 의미한다. 상황 변화란 차량이 사고 다발 지역으로 차량이 진입하거나, 차량의 이동속도가 도로의 지정된 제한속도 보다 빠른 경우(예를 들어 어린이 구역임에도 제한 속도보다 빠르게 차량 운행이 이루어지는 경우) 등의 상황을 의미할 수도 있다.
차량의 동작이 제2 조건을 만족하지 않는 경우, 탑승자의 신체 상태가 정상 상태를 벗어나는지를 호흡 신호, 심박 신호 중 적어도 하나가 미리 결정된 범위를 벗어나는지를 기초로 판단할 수 있다.
구체적으로, 탑승자가 성인 운전자이고, 차량이 제한속도 구역이 아닌 도로에서 운행한다고 가정하는 경우에 탑승자의 호흡 신호 또는 심박 신호 중 어느 하나가 미리 설정된 범위 값에서 벗어나는 것으로 판단되면 탑승자가 정상상태가 아닌 것으로 판단하는 것이다.
예를 들어, 탑승한 성인의 호흡 신호, 움직임 신호, 심박 신호의 생체신호가 데이터 세트에 저장된 성인의 일반적인 생체신호(호흡수 분당 12~17회, 심박수 60~80회)의 범주와 다른 경우, 추정부(140)는 탑승한 성인이 “정상상태에서 벗어난” 것으로 판단하는 것이다.
또한, 운전자의 경우 움직임이 운전 상태에서의 특정 행동으로 특징될 수 있다. 이러한 데이터 세트가 심층 신경망 모델(40)에 학습된 상태에서 운전자가 탑승하고, 탑승한 운전자의 호흡이 일정해지거나, 움직임이 발생하지 않는 등의 “정상상태에서 벗어난” 생체신호가 추출되면 추정부(140)는 운전자가 “정상상태에서 벗어난” 것으로 추정할 수 있다.
추정부(140)에 의해 운전자의 상태가 “졸음” 상태로 추정되면 후술할 기기 제어부(160)를 통해 차량 운행을 제어하거나 차량(10)에 탑재된 내부 기기(20)를 제어하여 운전자의 “졸음” 상태를 전환시키도록 할 수 있다.
또한, 앞서 설명된 실시예를 참조로 영유아가 탑승하는 경우, 차량 탑승자 상태 감지장치(100)를 통해 운전자 생체신호 이외에 탑승자인 영유아의 생체신호를 모두 추출할 수 있다. 이때, 추출부(130)를 통해 추출된 탑승자(영유아 및 동승한 탑승자) 및 운전자의 각각의 생체신호는 메모리(도 3의 170 참고)에 저장될 수 있다. 이렇게 추출된 운전자의 생체신호와 탑승자의 생체신호가 기 훈련된 심층 신경망 모델(40)로부터 정상 상태를 벗어난다고 판단될 수 있다. 구체적으로 영유아는 나이에 따라 심박 신호가 다르고, 고혈압 환자의 심박 신호도 정상적인 성인의 심박신호와 다르게 추출될 수 있다. 이러한 기 정보를 기초로, 영유아의 심박 신호가 정상적인 영유아의 심박 신호보다 느린 경우, 영유아의 상태를 “상태 확인”으로 추정할 수 있다.
이때, 영유아의 상태를 추정하기 위해서는 차량(10)에 탑재된 영상센서를 이용하여 차량(10) 탑승한 영유아의 얼굴, 체형 등의 외형적인 특징으로 영유아의 나이대를 추정할 수 있다. 이후, 나이대에 맞는 호흡 신호, 심박 신호에서 추출한 호흡 신호 및 심박신호가 범주를 벗어난 경우에 탑승한 영유아의 상태를 “상태 확인”으로 추정하는 알고리즘이 설정될 수 있다.
추정부(140)에서 심층 신경망 모델(40)을 기초로 탑승자의 신체 상태를 추정하고, 추정된 결과가 정상 상태에서 벗어나는 경우, 알람부(150)를 통해 탑승자가 정상 상태에서 벗어났음을 알리고, 기기 제어부(180)를 통해 차량(10)의 구동 기기 및 방향 조정 기기를 통해 차량이 수행할 동작을 수행하도록 할 수 있다.
즉, 정상 상태인지의 판단은 정상 상태의 생체 데이터(호흡, 심박, 움직임 신호) 및 비정상 상태의 생체 데이터(호흡, 심박, 움직임 신호)를 이용한 지도학습을 통해 기 학습된 심층 신경망을 통해 이루어질 수 있다.
한편, 정상 상태인지 아닌지의 판단은 신체 신호로부터 추출된 생체 신호 중 일부의 신호(예를 들어, 심박, 호흡 신호)의 값이 정상 범위로 설정된 일정 범위를 벗어나는지를 통해 이루어질 수도 있다.
앞선 예시에 대응하여 탑승자가 운전자이고, 탑승자의 신체 상태가 “졸음”으로 추정되면 탑승자가 소지한 사용자 기기(예: 단말기, 웨어러블 기기 등)를 통해 진동, 음성 알람이 이루어지도록 하거나, 차량(10) 내 내부 기기(20)를 작동시킬 수 있다. 이때, 내부 기기(20)란 라디오를 작동시켜 라디오의 볼륨을 증가시키거나, 차량(10) 창문을 열어 환기를 통해 운전자의 “졸음” 상태를 전환하도록 할 수 있다. 이외에도 차량(10)을 자율주행으로 전환하여 차량(10)이 휴게소나 쉼터로 이동할 수도 있다.
이와 유사하게, 차량(10)에 운전자 이외의 영유아가 탑승하고, 탑승자 중 영유아의 신체 상태가 “상태 확인”으로 추정되면 차량(10) 대쉬보드, 계기판 등에 동승자의 탑승자를 확인할 수 있는 경고 메시지가 발생하도록 할 수 있다.
메모리(170)는 차량 탑승자 상태 감지장치(100)의 동작에 필요한 각종 정보들을 기록하고, 심층 신경망 모델(40)이 저장되는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 제어부(180)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(hard disk drive), SSD(solid state disk), SDD(silicon disk drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다. 본 실시예에서 메모리(170)에 저장되는 정보는 문맥에 맞게 상황 별로 기재하기로 한다.
메모리(170)에는 제한적인 데이터가 저장될 수 있다. 예를 들어, 메모리(170)에는 차량 탑승자 상태 감지장치(100)의 추출부(130)를 통해 추출된 차량 탑승자의 생체신호 정보가 저장될 수 있으며, 차량 탑승자의 생체신호가 "정상 상태를 벗어난" 여부를 확인하기 위한 심층 신경망 모델(40)의 데이터 세트가 저장될 수도 있다.
제어부(180)는 심층 신경망 모델(40)의 데이터 세트를 기초로 차량 탑승자의 생체신호가 "정상 상태를 벗어난"것으로 추정을 기초로 차량(10) 내부 기기(20)를 제어할 수 있는 처리 결과를 출력할 수 있다. 처리 결과는 예컨대, 탑승자의 신체 변화를 탑승자 및/또는 동승한 다른 탑승자에게 신체 변화가 발생한 여부를 알릴 수 있도록 하는 데이터이다.
구체적으로 앞선 실시예를 참고하면, 탑승자가 운전자이고, 운전자의 졸음을 추정하면, 제어부(180)는 기기 제어부(160)를 통해 차량(10) 창문을 열어 환기를 통해 운전자의 "졸음" 상태를 전환하도록 할 수 있다. 이외에도 제어부(180)는 기기 제어부()를 통해 차량(10)을 자율주행으로 전환하여 차량(10)이 휴게소나 쉼터로 이동하도록 할 수 있는 데이터를 출력할 수 있다.
또한, 차량에 운전자 외 영유아가 탑승하고, 영유아의 신체 확인이 필요한 것으로 추정되면, 제어부(180)는 차량(10) 대쉬보드, 계기판 등에 동승자(예: 영유아)의 탑승자를 확인할 수 있는 경고 메시지가 발생하도록 하는 데이터를 출력할 수 있다.
이러한 제어부(180)는 일종의 중앙처리장치로서 메모리(170)에 탑재된 제어 소프트웨어를 구동하고, 내부 기기(20)를 제어할 수 있는 처리 결과를 출력하는 등의 다양한 기능을 제공할 수 있다. 여기서, 제어부(180)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 실시예에서 차량 탑승자 상태 감지장치(100)는 차량에 탑승하는 탑승자의 생체신호를 통해 탑승자의 신체 변화를 예측 및/또는 추정하기 위해 딥러닝(Deep Learning) 등 머신 러닝(machine learning)을 통해 기 훈련된 심층 신경망 모델(40)을 이용할 수 있고, 메모리(170)는, 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.
머신 러닝의 일종인 딥러닝(deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습할 수 있다. 딥러닝은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다.
딥러닝 구조는 인공신경망(ANN)을 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(DNN)으로 구성될 수 있다. 본 실시예에 따른 딥러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥러닝 구조는 CNN, RNN, DBN 등을 포함할 수 있다. RNN은, 시간의 흐름에 따라 변하는 시계열 데이터(time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아 올려 인공신경망 구조를 구성할 수 있다. DBN은 딥러닝 기법인 RBM(restricted boltzman machine)을 다층으로 쌓아 구성되는 딥러닝 구조를 포함할 수 있다. RBM 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN을 구성할 수 있다. CNN은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델을 포함할 수 있다.
한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트 시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(back propagation) 등의 방법이 사용될 수 있다.
한편, 차량 탑승자 상태 감지장치(100)에는 인공신경망(artificial neural network)이 탑재될 수 있고, 취득하는 차량 탑승자의 생체신호를 입력 데이터로 하는 머신 러닝 기반의 사용자의 활동 인식을 수행할 수도 있다.
제어부(180)는 설정에 따라 사용자(예: 차량 탑승자)의 활동 정보를 기초로 사용자 행동에 연관되는 동작을 내부 기기(20)가 실행하도록 사용자 행동 정보를 업데이트 시키도록 제어할 수 있다.
도 5는 본 발명의 차량 탑승자 상태 감지장치(100)를 통해 취득한 차량에 탑승한 탑승자의 생체신호에서 움직임 신호, 호흡 신호, 심박 신호를 추출하는 예시를 도시한 도면이고, 도 6은 도 5에서 추출된 움직임 신호, 호흡 신호, 심박 신호를 통해 탑승자의 신체 상태를 판별하기 위한 예시를 도시한 도면이다. 이하의 설명에서 도 1 내지 도 4에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 5를 참고하면, 차량 탑승자 상태 감지장치(100)의 취득부(120)를 통해 차량 탑승자의 신체신호(R)가 취득될 수 있다. 취득부(120)를 통해 취득되는 차량 탑승자의 신체신호(R)는 RF 센서로 취득되는 로(raw) 데이터가 될 수 있으며, 차량 탑승자 신체 내외 전체적인 움직임 정보가 반영된 신호라고 할 수 있다.
추출부(130)는 이렇게 취득한 신체신호(R)를 신호 처리할 수 있다(도 5의 (a), (b)). 예를 들어, 신체신호(R)는 저주파 필터링 및 직류 제거를 통해 불필요한 잡음을 제거하는 것이라 할 수 있다.
이렇게 신호 처리된 신체신호는 추출부(130)에 의해 탑승자의 차량 내 움직임 신호(131-1), 호흡 신호(131-2) 및 심박 신호(131-3)를 기초로 하는 생체신호로 추출될 수 있다. 도 5에 도시된 바와 같이 추출된 생체신호의 움직임 신호(131-1), 호흡 신호(131-2) 및 심박 신호(131-3)는 각각의 주파수 특징이 있으며, 이러한 특징이 탑승자의 신체 특징이 될 수 있는 것이다.
추출한 차량 탑승자의 움직임 신호(131-1), 호흡 신호(131-2) 및 심박 신호(131-3)는 탑승자 특성의 움직임 특징(M), 호흡 특징(B) 및 심박수 특징(H)으로 분류될 수 있다. 이렇게 분류된 움직임 특징(M), 호흡 특징(B) 및 심박수 특징(H)은 기 훈련된 심층 신경망 모델(40)을 통해 탑승자의 신체 상태를 예측하는데 사용될 수 있다.
정리하면, 취득부(120)를 통해 취득한 차량 탑승자의 신체신호에서 움직임 신호(131-1), 호흡 신호(131-2) 및 심박 신호(131-3)를 추출부(130)가 추출하고, 추출된 각각의 신호에서 움직임 특징(M), 호흡 특징(B) 및 심박수 특징(H)을 분석할 수 있다. 이렇게 분석된 움직임 특징(M), 호흡 특징(B) 및 심박수 특징(H)은 기 훈련된 심층 신경망 모델(40)에 입력하면, AI 모델을 기반으로 탑승자의 신체 상태를 예측할 수 있도록 하는 것이다.
도 7은 본 발명의 실시예에 따른 차량 탑승자 상태 감지방법의 흐름도이다. 이하의 설명에서 도 1 내지 도 6에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 7을 참조하면 S110단계에서, 차량(10)에 탑재된 차량 도어 센서, 시트 압력 센서 등을 이용하여 차량(10)에 탑승자가 탑승한지 여부를 감지할 수 있다. 즉, 차량(10)에 탑승하는 탑승자에 의해 시트(30)를 가압하는 압력 등으로 탑승자가 탑승하였는지를 감지할 수 있다.
차량(10)에 탑승자가 탑승하였는지를 감지하면, S120 단계에서, 차량(10) 룸미러에 탑재된 RF센서를 통해 차량(10) 내 탑승자의 신체신호를 취득할 수 있다.
예컨대, 차량 룸미러에 단일의 RF 센서가 탑재되도록 하여 운전석 시트(30)를 중심으로 순차적(예: ①->②->③->④_도 2(a) 참고) 또는 차량 룸미러에 복수의 RF 센서가 탑재되도록 하여 차량(10) 내 착석한 탑승자(①, ②, ③, ④_도 2의 (b) 참고) 전체의 신체신호를 취득할 수 있다.
이렇게 차량(10)에 탑승한 탑승자의 신체신호를 RF 센서를 이용하여 취득함에 따라, 영상을 통해 취득하기 어려운 호흡, 심박 신호 등을 취득할 수 있다. 즉, 영상에서는 확인할 수 없지만 신체 변화를 나타내는 호흡, 심박 신호를 포함하는 신체신호를 RF 센서를 통해 취득할 수 있다. 따라서, 영상으로 확인 가능한 움직임 변화 이외에도 생체신호를 통해 신체 변화를 추정하게 되어 보다 다양한 방법으로 신체 변화를 측정할 수 있게 되는 것이다.
더욱이, 취득하는 신체신호는 특정 개인의 정보를 포함하는 것이 아니므로, 신체 신호를 취득하는 것으로 개인 정보가 노출되는 것을 방지할 수 있다. 예시적으로 차량 대여 서비스를 이용하는 탑승자의 경우, 영상 장치를 통해 탑승자의 정보를 취득하는 것으로 탑승자의 개인 정보(예: 얼굴 노출)가 노출되는 문제점이 발생할 수 있다. 그러나, 본 발명의 실시예는, 탑승자의 생체신호를 취득하는 것이므로, 탑승자의 개인 정보가 노출되지 않는 것이다. 따라서, 개인 정보를 노출하지 않고도 탑승자의 신체 변화를 추정할 수 있다.
이후, S130단계에서, 취득한 신체신호에서 탑승자의 생체신호를 추출할 수 있다. 구체적으로, 취득한 신체신호를 처리하여 움직임 신호, 호흡 신호 및 심박 신호에 대응하는 생체신호를 추출할 수 있다.
예를 들어, 탑승자가 차량(10) 운전석(①_30a_도 2 참고)에 탑승하고, 시점에서 탑승자의 생체신호를 추출하여 기록할 수 있다. 이때, 생체신호 기록부(131)는 탑승자가 탑승한 시점 또는 차량이 운행하는 시점에서의 탑승자의 움직임 신호, 호흡 신호 및 심박 신호 정보를 추출할 수 있다.
이렇게 추출된 생체신호는, 기 훈련된 심층 신경망 모델(40)에 입력되어 특정한 신체 상태를 추정할 수 있다. 즉, 기 훈련된 심층 신경망 모델(40)은 신체 상태를 추정할 수 있는 연령별, 성별 등에 따른 생체신호 특징을 포함하는 데이터 세트가 학습되어 있다. 이렇게 데이터가 학습된 기 훈련된 심층 신경망 모델(40)를 통해 탑승자의 신체 상태를 추정하는 것이다.
이후, 단계 S140에 도시된 바와 같이, 기 훈련된 심층 신경망 모델(40)을 통해 탑승자의 신체 상태가 정상 상태를 벗어났는지 여부를 판단할 수 있다. 이때, 탑승자의 생체신호가 입력되면 기 훈련된 심층 신경망 모델(40)이 차량 탑승자의 신체 상태가 정상상태에서 벗어난 것으로 추정할 수 있다.
이렇게 차량 탑승자의 신체 상태가 정상에서 벗어난 것으로 판단되면, 단계 S160에 도시된 바와 같이, 탑승자에게 "정상 상태에서 벗어난" 탑승자의 이상상태를 알릴 수 있다.
앞선 예시에 대응하여 탑승자가 운전자이고, 탑승자의 신체 상태가 “졸음”으로 추정되면 탑승자가 소지한 사용자 기기(예: 휴대단말기, 웨어러블 기기 등)를 통해 진동, 음성 알람이 이루어지도록 하거나, 차량(10) 내 내부 기기(20)를 작동시킬 수 있다.
이와 유사하게, 차량(10)에 운전자 이외의 영유아가 탑승하고, 탑승자 중 영유아의 신체 상태가 “상태 확인”으로 추정되면 차량(10) 대쉬보드, 계기판 등에 동승자의 탑승자를 확인할 수 있는 경고 메시지가 발생하도록 할 수 있다.
이후 단계 S170에서 보이듯, 탑승자의 이상 상태를 알리면 차량(10) 내부 기기(20)를 제어할 수 있다. 구체적으로, 라디오를 작동시켜 라디오의 볼륨을 증가시키거나, 차량(10) 창문을 열어 환기를 통해 운전자의 “졸음” 상태를 전환하도록 할 수 있다. 이외에도 차량(10)을 자율주행으로 전환하여 차량(10)이 휴게소나 쉼터로 이동하도록 하는 것이다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 단계들은 적당한 순서로 행해질 수 있다. 반드시 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 또한, 본 발명에 따른 방법들에 포함된 단계들은 프로세서 또는 해당 단계의 기능을 수행하기 위한 모듈들을 통해서 수행될 수 있다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 생체신호를 통해 차량 탑승자의 상태를 감지하는 방법으로서,
    차량 내에 탑재된 RF 센서를 통해 상기 차량 탑승자의 신체신호를 취득하는 단계;
    상기 신체신호를 처리하여 움직임 신호, 호흡 신호 및 심박 신호 중 적어도 하나를 포함하는 생체신호를 추출하는 단계;
    추출된 상기 생체신호를 기초로 상기 차량 탑승자의 신체 상태를 추정하는 단계; 및
    추정된 상기 차량 탑승자의 신체 상태가 정상 상태를 벗어나는 경우, 알람을 발생시키는 단계를 포함하고,
    상기 추정하는 단계는,
    특정한 신체 상태가 가지는 움직임 특징, 호흡 특징, 및 심박 특징을 학습 데이터로 사용하여 기 훈련된 심층 신경망 모델을 이용하여 상기 차량 탑승자의 신체 상태를 추정하는,
    차량 탑승자 상태 감지방법.
  2. 제1항에 있어서,
    상기 생체신호를 추출하는 단계는,
    일정 크기 이상의 신체 변화를 표시하는 신호에 대해서는 필터링(filtering out)을 수행하는 단계; 및
    상기 필터링을 통해 일정 크기 이상의 신체 변화를 표시하는 신호가 제거된 신체 신호를 대상으로 심박 신호 및 호흡 신호를 추출하는 단계를 포함하는,
    차량 탑승자 상태 감지방법.
  3. 제1항에 있어서,
    상기 신체신호를 취득하는 단계는, 상기 차량의 동작이 제1 조건을 만족하는 경우에 개시하고,
    상기 제1 조건은 상기 차량의 이동 속도, 상기 차량의 방향 전환 각도, 상기 차량 주변의 차량 밀집도, 및 상기 차량의 특정 영역으로의 진입 여부 중 적어도 하나와 관련하여 정의되는,
    차량 탑승자 상태 감지방법.
  4. 제1항에 있어서,
    상기 생체신호를 추출하는 단계는,
    상기 차량 탑승자의 신체신호에 대하여 저주파 필터링(Low Pass Filtering), 고주파 필터링(High Pass Filtering), 대역 필터링(Band Pass Filtering), 노치 필터링(Notch Filtering) 및 직류 신호 제거(DC Blocker) 중 적어도 하나를 적용하는 단계를 더 포함하는,
    차량 탑승자 상태 감지방법.
  5. 제1항에 있어서,
    상기 차량 탑승자의 신체신호를 취득하는 단계는,
    상기 차량의 운전석에 탑승한 운전자의 신체신호를 우선적으로 취득하는 단계를 포함하는,
    차량 탑승자 상태 감지방법.
  6. 제1항에 있어서,
    상기 차량 탑승자의 신체신호를 취득하는 단계는,
    상기 차량의 탑승석 전체의 신체신호를 동시에 취득하는 단계를 포함하는,
    차량 탑승자 상태 감지방법.
  7. 제1항에 있어서,
    상기 차량 탑승자의 신체신호를 취득하는 단계는,
    상기 차량의 운전석을 기준으로 시계방향 또는 시계 반대방향을 따라 상기 차량 탑승자의 생체신호를 순차적으로 취득하는,
    차량 탑승자 상태 감지방법.
  8. 제1항에 있어서,
    상기 차량 탑승자의 신체 상태를 추정하는 단계는, 상기 차량의 동작이 제2 조건을 만족하는 경우에 개시하고,
    상기 차량의 동작이 제2 조건을 만족하는 않는 경우에, 상기 알람을 발생시키는 단계는, 상기 호흡 신호 및 상기 심박 신호 중 적어도 하나가 미리 결정된 범위를 벗어나는지를 기초로 상기 차량 탑승자의 신체 상태가 정상 상태를 벗어나는지를 판단하는 단계를 포함하고,
    상기 제2 조건은 상기 차량의 이동 속도, 상기 차량의 방향 전환 각도, 상기 차량 주변의 차량 밀집도, 및 상기 차량의 특정 영역으로의 진입 여부 중 적어도 하나와 관련하여 정의되는,
    차량 탑승자 상태 감지방법.
  9. 차량 탑승자 상태 감지장치로서,
    상기 차량 내 탑재된 RF 센서를 통해 상기 차량 탑승자의 신체신호를 취득하는 취득부;
    상기 신체신호를 처리하여 움직임 신호, 호흡 신호 및 심박 신호 중 적어도 하나를 포함하는 생체신호를 추출하는 추출부;
    추출된 상기 생체신호를 기초로 상기 차량 탑승자의 신체 상태를 추정하는 추정부; 및
    추정된 상기 차량 탑승자의 신체 상태가 정상 상태를 벗어나는 경우, 알람을 발생시키는 알람부를 포함하고,
    상기 추정부는,
    특정한 신체 상태가 가지는 움직임 특징, 호흡 특징, 및 심박 특징을 학습 데이터로 사용하여 기 훈련된 심층 신경망 모델을 이용하여 상기 차량 탑승자의 신체 상태를 추정하는,
    차량 탑승자 상태 감지장치.
  10. 제9항에 있어서,
    상기 추출부는,
    일정 크기 이상의 신체 변화를 표시하는 신호에 대해서는 필터링(filtering out)을 수행하고, 상기 필터링을 통해 일정 크기 이상의 신체 변화를 표시하는 신호가 제거된 신체 신호를 대상으로 심박 신호 및 호흡 신호를 추출하도록 구성되는,
    차량 탑승자 상태 감지장치.
  11. 제9항에 있어서,
    상기 취득부는,
    상기 차량의 동작이 제1 조건을 만족하는 경우에 상기 차량 탑승자의 신체신호를 취득하도록 구성되고,
    상기 제1 조건은 상기 차량의 이동 속도, 상기 차량의 방향 전환 각도, 상기 차량 주변의 차량 밀집도, 및 상기 차량의 특정 영역으로의 진입 여부 중 적어도 하나와 관련하여 정의되는,
    차량 탑승자 상태 감지장치.
  12. 제9항에 있어서,
    상기 추출부는,
    상기 차량 탑승자의 신체신호에 대하여 저주파 필터링(Low Pass Filtering), 고주파 필터링(High Pass Filtering), 대역 필터링(Band Pass Filtering), 노치 필터링(Notch Filtering) 및 직류 신호 제거(DC Blocker) 중 적어도 하나를 적용하여 상기 생체신호를 처리하도록 구성되는,
    차량 탑승자 상태 감지장치.
  13. 제9항에 있어서,
    상기 취득부는,
    상기 차량의 운전석에 탑승한 상기 차량 탑승자의 신체신호를 우선적으로 취득하도록 구성되는,
    차량 탑승자 상태 감지장치.
  14. 제9항에 있어서,
    상기 정상 상태를 벗어난 생체신호를 감지하면, 상기 정상 상태를 벗어난 생체신호에 기초하여 상기 차량의 구동기기 및 방향 조정기기를 통해 상기 차량이 수행하도록 미리 결정된 동작을 수행하도록 제어하는 기기 제어부를 포함하는,
    차량 탑승자 상태 감지장치.
  15. 제9항에 있어서,
    상기 추정부는, 상기 차량의 동작이 제2 조건을 만족하는 경우에 기 훈련된 심층 신경망 모델을 이용하여 상기 차량 탑승자의 신체 상태를 추정하도록 구성되고,
    상기 차량의 동작이 제2 조건을 만족하는 않는 경우에, 상기 차량 탑승자의 신체 상태가 정상 상태를 벗어나는지는 상기 호흡 신호 및 상기 심박 신호 중 적어도 하나가 미리 결정된 범위를 벗어나는지를 기초로 판단되고,
    상기 제2 조건은 상기 차량의 이동 속도, 상기 차량의 방향 전환 각도, 상기 차량 주변의 차량 밀집도, 및 상기 차량의 특정 영역으로의 진입 여부 중 적어도 하나와 관련하여 정의되는,
    차량 탑승자 상태 감지장치.




KR1020190084000A 2019-07-11 2019-07-11 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치 KR102631160B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190084000A KR102631160B1 (ko) 2019-07-11 2019-07-11 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치
US16/559,311 US11345234B2 (en) 2019-07-11 2019-09-03 Method and apparatus for detecting status of vehicle occupant

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190084000A KR102631160B1 (ko) 2019-07-11 2019-07-11 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치

Publications (2)

Publication Number Publication Date
KR20190090367A KR20190090367A (ko) 2019-08-01
KR102631160B1 true KR102631160B1 (ko) 2024-01-30

Family

ID=67615662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190084000A KR102631160B1 (ko) 2019-07-11 2019-07-11 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치

Country Status (2)

Country Link
US (1) US11345234B2 (ko)
KR (1) KR102631160B1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019238142A2 (zh) * 2019-08-05 2019-12-19 深圳市锐明技术股份有限公司 一种车辆监控系统及车辆监控方法
US11586194B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network models of automotive predictive maintenance
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11586943B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US11748626B2 (en) 2019-08-12 2023-09-05 Micron Technology, Inc. Storage devices with neural network accelerators for automotive predictive maintenance
US11775816B2 (en) 2019-08-12 2023-10-03 Micron Technology, Inc. Storage and access of neural network outputs in automotive predictive maintenance
US11635893B2 (en) 2019-08-12 2023-04-25 Micron Technology, Inc. Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
US11702086B2 (en) 2019-08-21 2023-07-18 Micron Technology, Inc. Intelligent recording of errant vehicle behaviors
US11042350B2 (en) 2019-08-21 2021-06-22 Micron Technology, Inc. Intelligent audio control in vehicles
US11498388B2 (en) 2019-08-21 2022-11-15 Micron Technology, Inc. Intelligent climate control in vehicles
US10993647B2 (en) * 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
US11361552B2 (en) 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
KR20210026112A (ko) * 2019-08-29 2021-03-10 주식회사 선택인터내셔날 무감독 학습 기반의 탐지 방법 및 그를 이용한 운전자 프로파일 기반 차량 도난 감지 장치 및 방법
US11436076B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Predictive management of failing portions in a data storage device
US11693562B2 (en) 2019-09-05 2023-07-04 Micron Technology, Inc. Bandwidth optimization for different types of operations scheduled in a data storage device
US11650746B2 (en) 2019-09-05 2023-05-16 Micron Technology, Inc. Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles
US11435946B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles
US11409654B2 (en) 2019-09-05 2022-08-09 Micron Technology, Inc. Intelligent optimization of caching operations in a data storage device
JPWO2021064985A1 (ko) * 2019-10-04 2021-04-08
CN110626352A (zh) * 2019-10-08 2019-12-31 昆山聚创新能源科技有限公司 车辆及其司乘人员焦虑情况的检测方法和装置
KR20210048058A (ko) * 2019-10-23 2021-05-03 삼성에스디에스 주식회사 심층 신경망 학습 장치 및 방법
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
US11531339B2 (en) 2020-02-14 2022-12-20 Micron Technology, Inc. Monitoring of drive by wire sensors in vehicles
US11709625B2 (en) 2020-02-14 2023-07-25 Micron Technology, Inc. Optimization of power usage of data storage devices
KR102374234B1 (ko) * 2020-07-17 2022-03-16 주식회사 엔디오에스 딥러닝 학습을 이용한 사용자 경험 기반의 차량 연동 디스플레이 시스템 및 그 운영 방법
KR20220010899A (ko) * 2020-07-20 2022-01-27 현대모비스 주식회사 차량용 보안해제 장치 및 방법
GB2597944A (en) * 2020-08-11 2022-02-16 Daimler Ag A method for predicting a user of a user with an autoencoder algorithm, as well as electronic computing device
WO2022131396A1 (ko) * 2020-12-16 2022-06-23 주식회사 모빌린트 운전석을 포함한 차량의 실내 장치를 자동으로 조절하기 위한 방법 및 이를 위한 장치
KR102232646B1 (ko) * 2020-12-16 2021-03-30 주식회사 모빌린트 운전석을 포함한 차량의 실내 장치를 자동으로 조절하기 위한 방법 및 이를 위한 장치
KR102301508B1 (ko) * 2021-06-23 2021-09-14 백우민 사용자 인식 웨어러블 스마트 키 시스템
US11904893B2 (en) * 2021-06-30 2024-02-20 Motional Ad Llc Operating a vehicle
KR20230036590A (ko) * 2021-09-06 2023-03-15 주식회사 에이치엘클레무브 차량 탑승 인원 모니터링 장치 및 방법
KR102635461B1 (ko) * 2021-12-28 2024-02-07 현대오토에버 주식회사 차량 내 탑승자 감지 방법 및 장치
EP4299355A1 (en) * 2022-06-29 2024-01-03 Volvo Truck Corporation A method for monitoring heartbeat of one or more occupants in a vehicle
CN118405087B (zh) * 2024-07-01 2024-09-10 福建警察学院 一种机动车内物品的防盗预警方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018041238A (ja) * 2016-09-07 2018-03-15 アルパイン株式会社 運転支援システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120068625A (ko) * 2010-12-17 2012-06-27 대구대학교 산학협력단 뇌파센서를 이용한 장애인용 드라이빙 시뮬레이터의 가감속 시스템 및 뇌파센서를 이용한 장애인용 차량의 가감속그 제어방법
JP6114802B1 (ja) * 2015-10-30 2017-04-12 テイ・エス テック株式会社 覚醒状態判定方法
KR101642697B1 (ko) * 2015-12-03 2016-08-10 양선종 차량 운전자 생체정보신호 측정 시스템 및 방법
JP6230764B1 (ja) * 2016-03-16 2017-11-15 三菱電機株式会社 車載装置、居眠り運転防止方法及び居眠り運転防止プログラム
US20170291544A1 (en) * 2016-04-12 2017-10-12 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive alert system for autonomous vehicle
US10007264B2 (en) * 2016-07-14 2018-06-26 Baidu Usa Llc Autonomous vehicle human driver takeover mechanism using electrodes
CA3057315A1 (en) * 2017-03-26 2018-10-04 Massachussetts Institute Of Technology Learning sleep stages from radio signals
KR102026806B1 (ko) 2017-04-28 2019-09-30 쌍용자동차 주식회사 차량에서 탑승자 건강상태 측정을 통한 헬스 케어 장치
KR20190061726A (ko) * 2017-11-28 2019-06-05 현대자동차주식회사 차량의 운전제어권 조정 시스템 및 방법
US10936913B2 (en) * 2018-03-20 2021-03-02 The Regents Of The University Of Michigan Automatic filter pruning technique for convolutional neural networks
US10867218B2 (en) * 2018-04-26 2020-12-15 Lear Corporation Biometric sensor fusion to classify vehicle passenger state
DE102018111239A1 (de) * 2018-05-09 2019-11-14 Motherson Innovations Company Limited Vorrichtung und Verfahren zum Betreiben einer Objekterkennung für den Innenraum eines Kraftfahrzeugs sowie ein Kraftfahrzeug
WO2019215306A1 (en) * 2018-05-10 2019-11-14 Koninklijke Philips N.V. System and method for enhancing sensory stimulation delivered to a user using neural networks
US20210101547A1 (en) * 2018-06-07 2021-04-08 Sony Corporation Control device, control method, program, and mobile object
US20190391581A1 (en) * 2018-06-26 2019-12-26 Uber Technologies, Inc. Passenger Health Monitoring and Intervention for Autonomous Vehicles
CN109091125B (zh) * 2018-08-27 2020-06-30 江苏盖睿健康科技有限公司 一种提高睡眠监测准确性的可穿戴设备
US11079756B2 (en) * 2019-03-06 2021-08-03 Ford Global Technologies, Llc Monitoring of steering wheel engagement for autonomous vehicles

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018041238A (ja) * 2016-09-07 2018-03-15 アルパイン株式会社 運転支援システム

Also Published As

Publication number Publication date
US20200070657A1 (en) 2020-03-05
KR20190090367A (ko) 2019-08-01
US11345234B2 (en) 2022-05-31

Similar Documents

Publication Publication Date Title
KR102631160B1 (ko) 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치
US10759438B2 (en) System and method for responding to driver state
US10034631B1 (en) Vehicle seating system with seat occupant vital sign monitoring
US10486590B2 (en) System and method for vehicle control integrating health priority alerts of vehicle occupants
EP3683623B1 (en) System and method for responding to driver state
JP7273031B2 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2019188398A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
EP3751474A1 (en) Evaluation device, action control device, evaluation method, and evaluation program
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
KR101446845B1 (ko) 뇌파를 이용한 주행체 제어 방법, 장치 및 그 방법을 수행하기 위한 프로그램을 기록한 기록매체
JP2020154976A (ja) 車内環境警告装置及び車内環境警告方法
US20200238827A1 (en) Enhanced touchscreen operation
KR102613180B1 (ko) 차량 및 그 제어방법
JP2024044096A (ja) 情報処理装置及び車両
Haque Detection of a driver's eye blinks and brain wave in different scenarios by EEG to measure drowsiness

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant