KR20170086241A - 바이오피드백 가능한 드라이빙 코치 시스템 및 방법 - Google Patents

바이오피드백 가능한 드라이빙 코치 시스템 및 방법 Download PDF

Info

Publication number
KR20170086241A
KR20170086241A KR1020160005830A KR20160005830A KR20170086241A KR 20170086241 A KR20170086241 A KR 20170086241A KR 1020160005830 A KR1020160005830 A KR 1020160005830A KR 20160005830 A KR20160005830 A KR 20160005830A KR 20170086241 A KR20170086241 A KR 20170086241A
Authority
KR
South Korea
Prior art keywords
biofeedback
driver
controller
pulse signal
feedback unit
Prior art date
Application number
KR1020160005830A
Other languages
English (en)
Inventor
이종하
김윤년
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020160005830A priority Critical patent/KR20170086241A/ko
Publication of KR20170086241A publication Critical patent/KR20170086241A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • H04N5/225—
    • B60K2350/2013—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 바이오피드백 가능한 드라이빙 코치 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 운전자의 안면을 인식하는 센서부; 상기 센서부에서 인식된 안면 영상을 분석하여 생체 데이터를 검출하는 제어부; 및 상기 제어부에서 검출된 생체 데이터에 따라 바이오피드백을 제공하는 피드백부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 바이오피드백 가능한 드라이빙 코치 시스템 및 방법에 따르면, 센서부를 구성하는 무구속 센서인 카메라가 운전자의 안면을 인식하여 촬영하고, 제어부가 안면 영상을 분석하여 맥박 신호를 측정하며, 측정된 맥박 신호의 주파수를 분석하여 교감 신경 및 부교감 신경의 비율을 검출함으로써, 운전자의 안면 영상만으로 운전자의 졸음 상태 및 감성 상태를 판단할 수 있고, 운전자의 상태에 따라 진동, 음성, 음악, 영상 및 조명에 변화를 주는 등의 구체적인 피드백을 제공함으로써, 운전자의 컨디션을 효과적으로 정상화시킬 수 있다.

Description

바이오피드백 가능한 드라이빙 코치 시스템 및 방법{DRIVING COACH SYSTEM AND METHOD CAPABLE OF BIO-FEEDBACK}
본 발명은 드라이빙 코치 시스템에 관한 것으로서, 보다 구체적으로는 바이오피드백 가능한 드라이빙 코치 시스템 및 방법에 관한 것이다.
차량을 운전하는 운전자의 안전을 위해서는, 차량에 설치된 각종 안전장치의 성능도 중요하지만, 그보다 더 중요한 것이 운전자의 상태를 최상의 상태로 유지하여 사고 발생을 근본적으로 예방하는 것이라고 할 수 있다. 즉, 운전자가 운전 중에 정상의 컨디션을 유지하지 못한다면, 주의력 및 순간적인 판단력을 상실하면서 사고 발생의 가능성이 매우 높아지고, 결국 사고로 인하여 운전자의 생명까지 잃게 되는 심각한 상황을 초래할 수 있다.
이러한 운전자의 비정상적인 신체 상태로 인하여 발생하는 안전사고를 예방하기 위해서는, 운전자의 졸음 상태나 감성상태 등의 신체 상태를 파악하는 것이 우선이며, 그 예로 졸음운전 예방을 위하여 카메라를 이용한 운전자의 안구 움직임을 모니터링하고 분석하는 기술이 제시된 바 있다.
그러나 카메라를 이용한 운전자의 안구 움직임 측정은, 운전자가 고개를 카메라가 있는 쪽이 아닌 다른 쪽을 향하는 경우, 민감도가 떨어져 정확한 모니터링이 불가능하고, 안구전도를 이용하는 경우에는, 운전자 안구 주위에 센서를 부착해야하기 때문에 운전자가 불편함을 느낄 수 있을 뿐만 아니라, 오히려 센서 부착이 주행 안전을 저해시키는 요인이 될 수도 있다.
또한, 운전자의 생체신호를 감지하여 건강을 분석하는 시스템도 개발된 바 있으나, 이는 단순히 신호의 감지 및 분석 결과를 디스플레이하여 정상/비정상으로만 알려주는 시스템에 불과하며, 차량운전자의 감성상태를 생리신호 측정 장비를 통하여 측정하는 예도 있으나, 이를 활용하여 운전자에게 구체적으로 피드백을 제공하는 부분이 구축된 바 없다는 한계가 있다. 대한민국 공개특허공보 제10-2015-0076797호 및 대한민국 등록특허공보 제10-1416522호는 차량 운전자 졸음운전 감지 시스템 및 방지 방법에 대한 선행기술 문헌을 개시하고 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 센서부를 구성하는 무구속 센서인 카메라가 운전자의 안면을 인식하여 촬영하고, 제어부가 안면 영상을 분석하여 맥박 신호를 측정하며, 측정된 맥박 신호의 주파수를 분석하여 교감 신경 및 부교감 신경의 비율을 검출함으로써, 운전자의 안면 영상만으로 운전자의 졸음 상태 및 감성 상태를 판단할 수 있으며, 운전자의 상태에 따라 진동, 음성, 음악, 영상 및 조명에 변화를 주는 등의 구체적인 피드백을 제공함으로써, 운전자의 컨디션을 효과적으로 정상화시킬 수 있는, 바이오피드백 가능한 드라이빙 코치 시스템 및 방법을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 바이오피드백 가능한 드라이빙 코치 시스템은,
운전자의 안면을 인식하는 센서부;
상기 센서부에서 인식된 안면 영상을 분석하여 생체 데이터를 검출하는 제어부; 및
상기 제어부에서 검출된 생체 데이터에 따라 바이오피드백을 제공하는 피드백부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 센서부는,
차량 내에 설치된 카메라로 구성될 수 있다.
바람직하게는, 상기 제어부는,
상기 안면 영상으로부터 상기 운전자의 맥박 신호를 측정할 수 있다.
더욱 바람직하게는, 상기 제어부는,
상기 맥박 신호의 주파수를 분석하여 교감 신경 및 부교감 신경의 비율을 검출할 수 있다.
더욱 바람직하게는, 상기 제어부는,
상기 맥박 신호로부터 상기 운전자의 졸음 상태를 판단하고, 상기 교감 신경 및 부교감 신경의 비율로부터 상기 운전자의 감성 상태를 판단할 수 있다.
더욱 더 바람직하게는, 상기 피드백부는,
상기 운전자의 졸음 상태 및 감성 상태에 따른 바이오피드백을 제공할 수 있다.
바람직하게는, 상기 피드백부는,
상기 운전자의 신체와 접촉되는 부분에 미리 구비된 진동소자와 연동되어 바이오피드백을 제공할 수 있다.
바람직하게는, 상기 피드백부는,
차량 내 인포테인먼트(infortainment) 장치와 연동되어 바이오피드백을 제공할 수 있다.
더욱 바람직하게는, 상기 인포테인먼트 장치는,
상기 생체 데이터에 따라 미리 설정된 음성, 음악 및 영상 중 적어도 어느 하나 이상을 재생시킬 수 있다.
바람직하게는, 상기 피드백부는,
차량 내 조명 장치와 연동되어 바이오피드백을 제공할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 바이오피드백 가능한 드라이빙 코치 방법은,
(1) 센서부가 운전자의 안면을 인식하는 단계;
(2) 제어부가 상기 단계 (1)에서 인식된 안면 영상을 분석하여 생체 데이터를 검출하는 단계; 및
(3) 피드백부가 상기 단계 (2)에서 검출된 생체 데이터에 따라 바이오피드백을 제공하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1)의 센서부는,
차량 내에 설치된 카메라로 구성될 수 있다.
바람직하게는, 상기 단계 (2)는,
(2-1) 제어부가 상기 단계 (1)에서 인식된 안면 영상으로부터 상기 운전자의 맥박 신호를 측정하는 단계; 및
(2-2) 제어부가 상기 단계 (2-1)에서 측정된 맥박 신호의 주파수를 분석하여 교감 신경 및 부교감 신경의 비율을 검출하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (2-1) 이후에,
(2-1′) 제어부가 상기 단계 (2-1)에서 측정된 맥박 신호로부터 상기 운전자의 졸음 상태를 판단하는 단계를 더 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (2-2) 이후에,
(2-2′) 제어부가 상기 단계 (2-2)에서 검출된 교감 신경 및 부교감 신경의 비율로부터 상기 운전자의 감성 상태를 판단하는 단계를 더 포함할 수 있다.
더욱 더 바람직하게는, 상기 단계 (3)의 피드백부는,
상기 운전자의 졸음 상태 및 감성 상태에 따른 바이오피드백을 제공할 수 있다.
바람직하게는, 상기 단계 (3)의 피드백부는,
상기 운전자의 신체와 접촉되는 부분에 미리 구비된 진동소자와 연동되어 바이오피드백을 제공할 수 있다.
바람직하게는, 상기 단계 (3)의 피드백부는,
차량 내 인포테인먼트(infortainment) 장치와 연동되어 바이오피드백을 제공할 수 있다.
더욱 바람직하게는, 상기 인포테인먼트 장치는,
상기 생체 데이터에 따라 미리 설정된 음성, 음악 및 영상 중 적어도 어느 하나 이상을 재생시킬 수 있다.
바람직하게는, 상기 단계 (3)의 피드백부는,
차량 내 조명 장치와 연동되어 바이오피드백을 제공할 수 있다.
본 발명에서 제안하고 있는 바이오피드백 가능한 드라이빙 코치 시스템 및 방법에 따르면, 센서부를 구성하는 무구속 센서인 카메라가 운전자의 안면을 인식하여 촬영하고, 제어부가 안면 영상을 분석하여 맥박 신호를 측정하며, 측정된 맥박 신호의 주파수를 분석하여 교감 신경 및 부교감 신경의 비율을 검출함으로써, 운전자의 안면 영상만으로 운전자의 졸음 상태 및 감성 상태를 판단할 수 있고, 운전자의 상태에 따라 진동, 음성, 음악, 영상 및 조명에 변화를 주는 등의 구체적인 피드백을 제공함으로써, 운전자의 컨디션을 효과적으로 정상화시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템의 센서부를 설명하기 위해 도시한 도면.
도 3은 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템의 피드백부와 진동소자의 연동을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템의 피드백부와 인포테인먼트 장치의 연동을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템의 피드백부와 조명 장치의 연동을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 방법의 흐름을 도시한 도면.
도 7은 본 발명의 다른 실시예에 따른 바이오피드백 가능한 드라이빙 코치 방법의 흐름을 도시한 도면.
도 8은 본 발명의 또 다른 실시예에 따른 바이오피드백 가능한 드라이빙 코치 방법의 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템은, 센서부(100), 제어부(200) 및 피드백부(300)를 포함하여 구성될 수 있다.
센서부(100)는, 운전자의 안면을 인식할 수 있다. 보다 구체적으로는, 운전자의 안면을 무구속적으로 인식할 수 있다. 이러한 센서부(100)의 구체적인 구성에 대해서는 추후 도 2를 참조하여 상세히 설명하도록 한다.
제어부(200)는, 센서부(100)에서 인식된 안면 영상을 분석하여 생체 데이터를 검출할 수 있다. 보다 구체적으로는, 센서부(100)에서 인식된 안면 영상으로부터 운전자의 맥박 신호를 측정할 수 있고, 맥박 신호의 주파수를 분석하여 교감 신경 및 부교감 신경의 비율을 검출할 수 있다.
또한, 측정된 맥박 신호로부터 운전자의 졸음 상태를 판단할 수 있고, 검출된 교감 신경 및 부교감 신경의 비율로부터 운전자의 감성 상태를 판단할 수 있다.
보다 구체적으로는, 안면 영상으로부터 운전자의 맥박 신호를 측정함에 있어서, 영상처리기법을 이용하여, 안면 영상을 분석하고 운전자의 맥박을 감지할 수 있는데, 실시예에 따라서는, 안면 영상으로부터 획득한 각 프레임마다의 운전자 안면의 색 성분을 해석하여 맥박을 검출할 수 있다.
이때, 이와 같이 측정된 맥박 신호로부터 운전자의 졸음 상태를 판단할 수 있고, 맥박 신호의 주파수를 분석하여, 운전자의 감성 상태와 연관되는 자율신경계 상태를 나타내는 교감 신경 및 부교감 신경의 비율을 검출할 수 있다.
보다 구체적으로는, 실시예에 따라서, 측정된 맥박 신호로부터 맥박주기를 결정하고 맥박변이도(pulse rate variability, PRV)를 검출하여, 검출된 맥박변이도(PRV)의 주파수 분석을 통해 교감 신경 및 부교감 신경의 비율을 검출할 수 있다. 또한, 실시예에 따라서는, 맥박변이도(PRV)의 주파수 분석을 위해 고속 퓨리에 변환(fast fourier transform, FFT)을 이용할 수 있다.
이와 같이, 검출된 교감 신경 및 부교감 신경의 비율은, 교감 신경계와 부교감 신경계의 활동 비율을 나타내는 지표인 LF/HF 비율로 나타내어질 수 있고, 이때, LF(저주파성분)는 교감신경계의 활동과 혈압 조절 메카니즘과 관계있는 압수용체 반사를 나타내고, HF(고주파성분)는 부교감신경계 특히, 미주신경의 활동과 호흡 활동에 대한 정보를 가질 수 있다.
따라서 제어부(200)는, 이러한 교감 신경 및 부교감 신경의 비율의 분석을 통해 운전자의 감성 상태를 판단하여, 운전자에게 어떠한 바이오피드백을 제공하여야 하는지를 판단할 수 있다.
피드백부(300)는, 제어부(200)에서 검출된 생체 데이터에 따라 바이오피드백을 제공할 수 있다. 보다 구체적으로는, 운전자의 졸음 상태 및 감성 상태에 따른 바이오피드백을 제공할 수 있으며, 여기서 운전자의 졸음 상태 및 감성 상태는, 제어부(200)에서 생체 데이터를 분석하여 도출한 결과일 수 있다.
한편, 이러한 피드백부(300)의 구체적인 구성에 대해서는 추후 도 3 내지 도 5를 참조하여 상세히 설명하도록 한다.
도 2는 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템의 센서부(100)를 설명하기 위해 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템의 센서부(100)는, 차량 내에 설치된 카메라로 구성될 수 있다.
즉, 차량 내 운전자의 전면부에 설치된 카메라를 통하여 운전자의 안면을 인식하여 촬영하고, 제어부(200)에서는 카메라를 통해 촬영된 안면 영상만을 분석하여 생체 데이터를 검출함으로써, 무구속적으로 운전자의 생체 신호를 감지할 수 있다.
한편, 도 2에는 편의상 백미러의 전면에 카메라가 설치된 것으로 도시하였으나, 이에 한정하는 것은 아니고, 운전자의 안면을 인식할 수 있다면, 차량 내부의 어느 위치든지 설치될 수 있다. 예를 들어, 센서부(100)는, 블랙박스에 설치된 카메라로 구성될 수도 있다.
도 3은 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템의 피드백부(300)와 진동소자의 연동을 설명하기 위해 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템의 피드백부(300)는, 운전자의 신체와 접촉되는 부분에 미리 구비된 진동소자와 연동되어 바이오피드백을 제공할 수 있다.
즉, 운전자가 직접 손으로 파지하는 핸들 및 운전자가 직접 착석하는 좌석 시트 중 적어도 어느 하나 이상에 미리 구비된 진동소자와 연동되어, 운전자에게 직접적으로 진동을 가함으로써, 바이오피드백을 제공할 수 있다.
도 4는 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템의 피드백부(300)와 인포테인먼트 장치의 연동을 설명하기 위해 도시한 도면. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템의 피드백부(300)는, 차량 내 인포테인먼트(infortainment) 장치와 연동되어 바이오피드백을 제공할 수 있다.
즉, 운전자에게 멀티미디어 컨텐츠를 통해 바이오피드백을 제공할 수 있는 인포테인먼트 장치와 연동되어, 시청각적으로 바이오피드백을 제공할 수 있다.
보다 구체적으로는, 인포테인먼트 장치는, 생체 데이터에 따라 미리 설정된 음성, 음악 및 영상 중 적어도 어느 하나 이상을 재생시킬 수 있다. 즉, 제어부(200)에서 운전자의 졸음 상태 및 감성 상태를 판단하기 위해 검출한 생체 데이터에 따라서, 운전자의 졸음을 깨게 하거나, 감성 상태를 긍정적인 상태로 유도하도록 미리 설정된 음성, 음악 및 영상 중 적어도 어느 하나 이상을 재생시킬 수 있다.
이때, 인포테인먼트 장치는, HUD(Head-Up Display), AVN(Audio Video Navigation) 등을 포함하는 장치로서, 차량 내에 설치되어 운전과 길 안내 등 필요한 정보를 제공하는 인포메이션(information) 기능과 다양한 오락거리와 인간 친화적인 기능을 제공하는 엔터테인먼트(entertainment) 기능이 통합된 장치라면, 모두 가능하다.
도 5는 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템의 피드백부(300)와 조명 장치의 연동을 설명하기 위해 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 시스템의 피드백부(300)는, 차량 내 조명 장치와 연동되어 바이오피드백을 제공할 수 있다.
즉, 피드백부(300)는, 차량 내 조명 장치와 연동되어, 제어부(200)에서 판단된 운전자의 졸음 상태나 감성 상태에 따라 미리 설정된 조명을 점등하도록 하는 방식으로 바이오피드백을 제공할 수 있다.
보다 구체적으로는, 실시예에 따라서, 운전자의 졸음 상태나 감성 상태에 따라 미리 설정된 색의 조명을 점등하거나, 조명을 깜빡이게 하거나, 깜빡임의 횟수, 빈도를 조절하는 등의 방식을 통해 바이오피드백을 제공할 수 있다.
도 6은 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 방법의 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 바이오피드백 가능한 드라이빙 코치 방법은, 센서부(100)가 운전자의 안면을 인식하는 단계(S100), 제어부(200)가 단계 S100에서 인식된 안면 영상을 분석하여 생체 데이터를 검출하는 단계(S200), 및 피드백부(300)가 단계 S200에서 검출된 생체 데이터에 따라 바이오피드백을 제공하는 단계(S300)를 포함하여 구현될 수 있다.
이때, 단계 S100, S200 및 S300의 센서부(100), 제어부(200) 및 피드백부(300)의 구체적인 구성에 대해서는, 앞에서 도 1 내지 도 5를 참조하여 상세히 설명한 바와 같으므로, 이하 생략한다.
도 7은 본 발명의 다른 실시예에 따른 바이오피드백 가능한 드라이빙 코치 방법의 흐름을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 다른 실시예에 따르면, 단계 S200은, 제어부(200)가 단계 S100에서 인식된 안면 영상으로부터 운전자의 맥박 신호를 측정하는 단계(S210), 및 제어부(200)가 단계 S210에서 측정된 맥박 신호의 주파수를 분석하여 교감 신경 및 부교감 신경의 비율을 검출하는 단계(S220)를 포함할 수 있다.
이때, 단계 S210 및 S220에서 제어부(200)가 안면 영상으로부터 맥박 신호를 측정하고, 맥박 신호의 주파수를 분석하여 교감 신경 및 부교감 신경의 비율을 검출하는 구성에 대해서는, 앞에서 도 1을 참조하여 상세히 설명한 바와 같으므로, 이하 생략한다.
도 8은 본 발명의 또 다른 실시예에 따른 바이오피드백 가능한 드라이빙 코치 방법의 흐름을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 또 다른 실시예에 따르면, 단계 S210 이후에, 제어부(200)가 단계 S210에서 측정된 맥박 신호로부터 운전자의 졸음 상태를 판단하는 단계(S210′)를 더 포함할 수 있고, 단계 S220 이후에, 제어부(200)가 단계 S220에서 검출된 교감 신경 및 부교감 신경의 비율로부터 운전자의 감성 상태를 판단하는 단계(S220′)를 더 포함할 수 있다.
이때, 단계 S210′ 및 S220′에서 제어부(200)가 운전자의 졸음 상태 및 감성 상태를 판단하는 구성에 대해서는, 앞에서 도 1을 참조하여 상세히 설명한 바와 같으므로, 이하 생략한다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 센서부 200: 제어부
300: 피드백부
S100: 센서부가 운전자의 안면을 인식하는 단계
S200: 제어부가 단계 S100에서 인식된 안면 영상을 분석하여 생체 데이터를 검출하는 단계
S210: 제어부가 단계 S100에서 인식된 안면 영상으로부터 운전자의 맥박 신호를 측정하는 단계
S210′: 제어부가 단계 S210에서 측정된 맥박 신호로부터 운전자의 졸음 상태를 판단하는 단계
S220: 제어부가 단계 S210에서 측정된 맥박 신호의 주파수를 분석하여 교감 신경 및 부교감 신경의 비율을 검출하는 단계
S220′: 제어부가 단계 S220에서 검출된 교감 신경 및 부교감 신경의 비율로부터 운전자의 감성 상태를 판단하는 단계
S300: 피드백부가 단계 S200에서 검출된 생체 데이터에 따라 바이오피드백을 제공하는 단계

Claims (20)

  1. 바이오피드백 가능한 드라이빙 코치 시스템으로서,
    운전자의 안면을 인식하는 센서부(100);
    상기 센서부(100)에서 인식된 안면 영상을 분석하여 생체 데이터를 검출하는 제어부(200); 및
    상기 제어부(200)에서 검출된 생체 데이터에 따라 바이오피드백을 제공하는 피드백부(300)를 포함하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 시스템.
  2. 제1항에 있어서, 상기 센서부(100)는,
    차량 내에 설치된 카메라로 구성되는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 시스템.
  3. 제1항에 있어서, 상기 제어부(200)는,
    상기 안면 영상으로부터 상기 운전자의 맥박 신호를 측정하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 시스템.
  4. 제3항에 있어서, 상기 제어부(200)는,
    상기 맥박 신호의 주파수를 분석하여 교감 신경 및 부교감 신경의 비율을 검출하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 시스템.
  5. 제3항 또는 제4항에 있어서, 상기 제어부(200)는,
    상기 맥박 신호로부터 상기 운전자의 졸음 상태를 판단하고, 상기 교감 신경 및 부교감 신경의 비율로부터 상기 운전자의 감성 상태를 판단하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 시스템.
  6. 제5항에 있어서, 상기 피드백부(300)는,
    상기 운전자의 졸음 상태 및 감성 상태에 따른 바이오피드백을 제공하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 시스템.
  7. 제1항에 있어서, 상기 피드백부(300)는,
    상기 운전자의 신체와 접촉되는 부분에 미리 구비된 진동소자와 연동되어 바이오피드백을 제공하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 시스템.
  8. 제1항에 있어서, 상기 피드백부(300)는,
    차량 내 인포테인먼트(infortainment) 장치와 연동되어 바이오피드백을 제공하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 시스템.
  9. 제8항에 있어서, 상기 인포테인먼트 장치는,
    상기 생체 데이터에 따라 미리 설정된 음성, 음악 및 영상 중 적어도 어느 하나 이상을 재생시키는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 시스템.
  10. 제1항에 있어서, 상기 피드백부(300)는,
    차량 내 조명 장치와 연동되어 바이오피드백을 제공하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 시스템.
  11. 바이오피드백 가능한 드라이빙 코치 방법으로서,
    (1) 센서부(100)가 운전자의 안면을 인식하는 단계;
    (2) 제어부(200)가 상기 단계 (1)에서 인식된 안면 영상을 분석하여 생체 데이터를 검출하는 단계; 및
    (3) 피드백부(300)가 상기 단계 (2)에서 검출된 생체 데이터에 따라 바이오피드백을 제공하는 단계를 포함하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 방법.
  12. 제11항에 있어서, 상기 단계 (1)의 센서부(100)는,
    차량 내에 설치된 카메라로 구성되는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 방법.
  13. 제11항에 있어서, 상기 단계 (2)는,
    (2-1) 제어부(200)가 상기 단계 (1)에서 인식된 안면 영상으로부터 상기 운전자의 맥박 신호를 측정하는 단계; 및
    (2-2) 제어부(200)가 상기 단계 (2-1)에서 측정된 맥박 신호의 주파수를 분석하여 교감 신경 및 부교감 신경의 비율을 검출하는 단계를 포함하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 방법.
  14. 제13항에 있어서, 상기 단계 (2-1) 이후에,
    (2-1′) 제어부(200)가 상기 단계 (2-1)에서 측정된 맥박 신호로부터 상기 운전자의 졸음 상태를 판단하는 단계를 더 포함하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 방법.
  15. 제13항에 있어서, 상기 단계 (2-2) 이후에,
    (2-2′) 제어부(200)가 상기 단계 (2-2)에서 검출된 교감 신경 및 부교감 신경의 비율로부터 상기 운전자의 감성 상태를 판단하는 단계를 더 포함하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 방법.
  16. 제14항 또는 제15항에 있어서, 상기 단계 (3)의 피드백부(300)는,
    상기 운전자의 졸음 상태 및 감성 상태에 따른 바이오피드백을 제공하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 방법.
  17. 제11항에 있어서, 상기 단계 (3)의 피드백부(300)는,
    상기 운전자의 신체와 접촉되는 부분에 미리 구비된 진동소자와 연동되어 바이오피드백을 제공하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 방법.
  18. 제11항에 있어서, 상기 단계 (3)의 피드백부(300)는,
    차량 내 인포테인먼트(infortainment) 장치와 연동되어 바이오피드백을 제공하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 방법.
  19. 제18항에 있어서, 상기 인포테인먼트 장치는,
    상기 생체 데이터에 따라 미리 설정된 음성, 음악 및 영상 중 적어도 어느 하나 이상을 재생시키는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 방법.
  20. 제11항에 있어서, 상기 단계 (3)의 피드백부(300)는,
    차량 내 조명 장치와 연동되어 바이오피드백을 제공하는 것을 특징으로 하는, 바이오피드백 가능한 드라이빙 코치 방법.
KR1020160005830A 2016-01-18 2016-01-18 바이오피드백 가능한 드라이빙 코치 시스템 및 방법 KR20170086241A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160005830A KR20170086241A (ko) 2016-01-18 2016-01-18 바이오피드백 가능한 드라이빙 코치 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160005830A KR20170086241A (ko) 2016-01-18 2016-01-18 바이오피드백 가능한 드라이빙 코치 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20170086241A true KR20170086241A (ko) 2017-07-26

Family

ID=59427272

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160005830A KR20170086241A (ko) 2016-01-18 2016-01-18 바이오피드백 가능한 드라이빙 코치 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20170086241A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054803A (ko) * 2017-11-14 2019-05-22 현대오트론 주식회사 운전자 상태 추정 방법
WO2021006365A1 (ko) * 2019-07-05 2021-01-14 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
KR102631940B1 (ko) * 2023-03-21 2024-01-30 주식회사 뮤직메디컬케어 음악을 활용한 신경 케어 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054803A (ko) * 2017-11-14 2019-05-22 현대오트론 주식회사 운전자 상태 추정 방법
WO2021006365A1 (ko) * 2019-07-05 2021-01-14 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
KR102631940B1 (ko) * 2023-03-21 2024-01-30 주식회사 뮤직메디컬케어 음악을 활용한 신경 케어 시스템

Similar Documents

Publication Publication Date Title
US20210009149A1 (en) Distractedness sensing system
US8356899B2 (en) Sleepiness signal detector
US10864918B2 (en) Vehicle and method for supporting driving safety thereof
US20170032200A1 (en) Method for calculating a response time
EP2497670B1 (en) Method and apparatus for monitoring the alertness of the driver of a vehicle
US20170291544A1 (en) Adaptive alert system for autonomous vehicle
US7948387B2 (en) Drowsiness determination apparatus, program, and method
CN111754729A (zh) 疲劳驾驶提示装置及提示方法
WO2010032491A1 (ja) 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム
US20090268022A1 (en) Wakefulness level estimation apparatus
KR102272774B1 (ko) 차량, 및 차량의 제어방법
JP6839090B2 (ja) 動力車両の運転手の覚醒レベルを予知する装置および方法
US11091168B2 (en) Autonomous driving support systems including vehicle headrest monitoring devices and methods incorporating the same
US20150125126A1 (en) Detection system in a vehicle for recording the speaking activity of a vehicle occupant
KR101926921B1 (ko) 운전자 모니터링 장치 및 방법
JP2017220097A (ja) 運転支援装置
KR20170086241A (ko) 바이오피드백 가능한 드라이빙 코치 시스템 및 방법
JP2007183824A (ja) 運転支援装置
JP2013105263A (ja) 車両の覚醒度検出装置及び車両の警報装置
JP2002065650A (ja) 疲労度判定装置
JP6776681B2 (ja) ドライバ状態判定装置、及びドライバ状態判定プログラム
TW201441080A (zh) 疲勞駕駛監測系統與方法
US20190295400A1 (en) Driving assistance device
KR101636241B1 (ko) 졸음 운전 방지 시스템
JP2017084071A (ja) 車載機

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment