KR20140080727A - 운전자 감성제어 장치 및 그 방법 - Google Patents

운전자 감성제어 장치 및 그 방법 Download PDF

Info

Publication number
KR20140080727A
KR20140080727A KR1020120146418A KR20120146418A KR20140080727A KR 20140080727 A KR20140080727 A KR 20140080727A KR 1020120146418 A KR1020120146418 A KR 1020120146418A KR 20120146418 A KR20120146418 A KR 20120146418A KR 20140080727 A KR20140080727 A KR 20140080727A
Authority
KR
South Korea
Prior art keywords
driver
state
emotion
information
bio
Prior art date
Application number
KR1020120146418A
Other languages
English (en)
Inventor
박병준
김상협
장은혜
철 허
정명애
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120146418A priority Critical patent/KR20140080727A/ko
Priority to US14/020,572 priority patent/US20140171752A1/en
Publication of KR20140080727A publication Critical patent/KR20140080727A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice

Abstract

본 발명은 운전자로부터 표정, 음성 및 생체신호를 측정하여 운전자의 감성상태를 인지 및 분석하고, 운전자의 감성 상태를 평온 상태로 유지할 수 있도록 감정을 조절할 수 있는 감성 제어 운전대 장치 및 방법에 대한 것이다. 본 발명에 따른 운전자 감성 제어 장치는 운전자로부터 생체 신호를 수집하고, 수집된 생체 신호에 기초하여 생체 정보 데이터를 생성하는 감성 센서부, 운전자의 감성 상태 각각에 대한 생체 신호를 포함하는 운전자 정보 및 다수의 대응 콘텐츠를 저장하고 있으며, 수신된 요청에 따라 운전자 정보 및 대응 콘텐츠를 전달하는 사용자 메모리부 및 사용자 메모리부로부터 수신된 운전자 정보 및 감성 센서부로부터 수신된 생체 정보 데이터에 기초하여 운전자의 감성 상태를 판단하고, 판단된 운전자의 감성 상태에 대응하는 대응 콘텐츠를 사용자 메모리부에 요청하고, 사용자 메모리부로부터 수신된 콘텐츠를 상기 운전자에게 제공하는 감성 관리부를 포함한다.

Description

운전자 감성제어 장치 및 그 방법{SYSTEM AND METHOD FOR CONTROLLING SENSIBILITY OF DRIVER}
본 발명은 감성인식 분야에 관한 것으로, 더욱 상세하게는 생체신호로부터 인간의 감성 상태를 분석 및 인식하는 장치 및 방법에 관한 것이다.
기존의 자동차 관련 기술은 자동차를 더 잘 달리게 하기 위한 기술과 연료를 절감하는 기술에 대해 발전하였다면, 최근 자동차 기술은 탑승자의 안전성 및 편의성을 향상시키는 방향으로 발전하고 있다. 이에 따라 사고시 탑승자의 안전을 보장하기 위한 다양한 기술들이 개발 및 적용되고 있다. 하지만, 자동차의 안전 문제는 자동차의 구조적인 특성도 중요하지만 운전자의 감성 상태 또한 자동차의 안전에 큰 영향을 미친다. 하지만, 현재 자동차에 일반적으로 적용되는 안전성 관련 기술들은 운전자의 감성 상태를 고려하지 않고 있다.
만약 운전 중 운전자의 감성 상태가 평상시 상태를 유지하지 못하고 급변하게 된다면, 순간적으로 주의력이나 판단력이 감소 또는 상실됨으로써 사고 위험성이 높아질 수 있다. 또한, 운전자의 감성 상태가 졸음과 같은 상태로 빠지게 될 경우 큰 사고를 유발할 수 있다. 이렇듯 운전자의 안전을 위하여 운전자의 감성 상태를 인지하고, 인지된 운전자의 감성 상태에 따라 운전자의 운전 중 감성을 조절할 필요가 있다. 이러한 인간의 감성을 측정하는 기술은 현재 인간의 안면의 표현분석, 안구의 움직임 분석, 감성언어의 분석 및 생체신호 분석 등의 방법이 활용되고 있다.
본 발명에서 해결하고자 하는 과제는 차량의 운전대를 통해 운전자로부터 표정, 음성 및 생체신호를 측정하여 운전자의 감성상태를 인지 및 분석하고, 운전자의 감성 상태를 평온 상태로 유지할 수 있도록 감정을 조절할 수 있는 감성 제어 운전대 장치 및 방법을 제공하는 것이다.
본 발명에 따른 운전자 감성 제어 장치는 운전자로부터 생체 신호를 수집하고, 수집된 생체 신호에 기초하여 생체 정보 데이터를 생성하는 감성 센서부, 운전자의 감성 상태 각각에 대한 생체 신호를 포함하는 운전자 정보 및 다수의 대응 콘텐츠를 저장하고 있으며, 수신된 요청에 따라 운전자 정보 및 대응 콘텐츠를 전달하는 사용자 메모리부 및 사용자 메모리부로부터 수신된 운전자 정보 및 감성 센서부로부터 수신된 생체 정보 데이터에 기초하여 운전자의 감성 상태를 판단하고, 판단된 운전자의 감성 상태에 대응하는 대응 콘텐츠를 사용자 메모리부에 요청하고, 사용자 메모리부로부터 수신된 콘텐츠를 상기 운전자에게 제공하는 감성 관리부를 포함한다.
감성 센서부는 상기 사용자의 얼굴, 몸짓 및 동공 상태를 인식하는 영상 인식 장치, 상기 사용자의 음성을 인식하는 음성 인식 장치 및 접촉식 센서 장치로 구성된다. 그리고 접촉식 센서는 피부 온도 측정기(Skin Temperature), 맥파(Pulse Wave) 측정기, 피부전도도 측정기, 심전도(Electrocardiogram, ECG) 측정기 및 광혈류 측정기(photoplethysmography, PPG) 등을 포함한다. 접촉식 센서는 차량의 운전대에 위치하며, 운전자의 손과 직접 접촉하여 생체신호를 수집할 수 있다.
감성 관리부는 수신된 생체 정보 데이터를 수신된 운전자 정보와 비교하여 운전자의 감성 상태를 판단하고, 판단된 운전자의 감성 상태에 기초하여 감성 상태 정보를 생성하여 전달하는 감성 분석부 및 수신된 감성 상태 정보에 기초하여 다수의 대응 콘텐츠 중에서 판단된 운전자의 감성 상태를 평온 상태로 조절하기 위한 대응 콘텐츠를 검색하여 운전자에게 제공하는 감성 제어부를 포함한다. 감성 제어부는 차량 내에 연결된 영상 재생 장치를 통한 영상 콘텐츠 제공, 음성 재생 장치를 통한 음성 콘텐츠 제공, 조명 제어, 공기청정장치 제어 및 창문 개폐 제어 등의 방법을 통해 운전자의 감성 상태를 조절한다.
본 발명에 따른 운전자의 감성 제어 방법은 먼저, 운전자로부터 생체 신호를 수집한다. 그리고 운전자로부터 수집된 생체 신호 및 운전자의 감성 상태 각각에 대한 생체 신호를 포함하는 운전자 정보에 기초하여 상기 운전자의 감성 상태를 판단한다. 다음으로, 판단된 운전자의 감성 상태에 기초하여 대응 콘텐츠를 검색하고, 검색된 대응 콘텐츠를 상기 운전자에 제공하여 운전자의 감성 상태를 조절한다. 또한, 대응 콘텐츠를 제공받은 상기 운전자의 감성 상태가 평온한 상태로 회복되는지 여부를 감시하고, 운전자의 감성 상태가 회복되면, 운전자에게 제공된 대응 콘텐츠를 평가한 정보 및 운전자의 생체 신호를 갱신한다. 그리고 운전자로부터 수집된 생체 신호를 상기 운전자 정보와 비교하여 상기 운전자의 등록 여부를 식별할 수 있다.
본 발명에 따른 운전자 감성 제어 장치 및 방법에 따르면, 운전 중 발생하는 운전자의 감성변화를 인식하여 스트레스, 흥분 상태 또는 무료한 상태 등의 감성 상태를 검출하고, 운전자의 감성을 조절할 수 있도록 함으로써 스트레스, 흥분 상태 또는 무료한 상태 등의 감성 상태에서 유발될 수 있는 운전 과실을 방지하고 안전운전을 유도하는 효과가 있다.
도 1은 본 발명에 따른 운전자 감성 제어 장치의 일 실시예를 나타내는 구성도이다.
도 2는 본 발명에 따른 운전자 감성 제어 장치를 나타내는 상세도이다.
도 3은 본 발명의 일 실시예에 따른 운전자 감성 제어 방법을 나타내는 흐름도이다.
도 4는 본 발명에 따른 운전자의 감성 제어 장치를 운전대에 적용한 일례를 나타내는 구성도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 본 명세서에서 사용되는 용어는 실시예에서의 기능 및 효과를 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자 또는 운용자의 의도 또는 업계의 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 명시된 경우에는 명시된 정의에 따르며, 구체적으로 명시하지 않는 경우, 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 본 발명에 따른 운전자 감성 제어 장치의 일 실시예를 나타내는 구성도이다.
도 1을 참조하면, 본 발명에 따른 운전자 감성 제어 장치는 크게 감성 센서부(100), 감성 관리부(120) 및 사용자 메모리부(140)를 포함한다.
감성 센서부(100)는 운전자로부터 발생하는 음성 신호를 수집하는 음성 센서, 운전자의 얼굴 표정, 안구 및 동공 상태 및 몸짓 등과 같은 이미지 신호를 수집하는 이미지 센서 그리고 운전자의 생체정보를 측정하기 위한 접촉식 센서를 포함한다. 감성 센서부(100)는 상술한 센서들을 이용하여 운전자로부터 생체 신호를 수집한다.
운전자로부터 수집되는 생체 신호는 운전자의 얼굴, 표정, 몸짓, 음성 및 직접 접촉하여 수집되는 생체 신호를 포함한다. 음성 센서는 운전자가 발생하는 다양한 음성 신호를 수집한다. 운전자가 발생하는 음성 신호는 운전자가 말하는 음성을 포함한다. 이미지 센서는 영상 촬영 장치를 포함하고 있으며, 영상 촬영 장치를 통해 운전자를 촬영하여 운전자의 얼굴 표정, 안구/동공의 상태 또는 운전자의 몸짓 등을 포함하는 이미지 신호를 수집한다.
접촉식 센서는 운전자의 신체에 직접 접촉하여 운전자의 생체신호를 수집한다. 접촉식 센서는 자동차의 운전대 표면에 위치하며, 운전대를 조작하는 운전자의 손에 직접 접촉하여 생체신호를 측정한다. 접촉식 센서는 피부 온도 측정기(Skin Temperature), 맥파(Pulse Wave) 측정기, 피부전도도 측정기, 심전도(Electrocardiogram, ECG) 측정기 및 광혈류 측정기(photoplethysmography, PPG))를 포함한다.
감성 센서부(100)는 수집된 운전자의 생체 신호에 기초하여 운전자의 생체 정보 데이터를 생성하여 감성 관리부(120)로 전달한다.
감성 관리부(120)는 감성 센서부(100)로부터 수신된 생체 정보 데이터를 분석하여 운전자의 감성 상태를 인식한다. 감성 센서부(100)로부터 수신된 생체 정보 데이터는 운전자의 음성, 이미지, 혈압, 심박, 체온, 맥파 및 심전도를 포함하는 운전자의 생체 신호에 대한 정보를 포함한다. 감성 관리부(120)는 다양한 감성 인식 기술을 이용하여 수신된 생체 정보 데이터를 분석하여 운전자의 감성 상태를 인식할 수 있다.
감성 관리부(120)는 운전자의 감성정보 및 생체정보를 포함하는 운전자 정보를 사용자 메모리부(140)로부터 전달받는다. 수신된 운전자의 감성정보 및 생체정보는 수집된 운전자의 생체 정보 데이터와 비교하기 위한 기준이 된다. 감성 관리부(120)는 수신된 운전자의 생체 정보 데이터를 미리 저장된 운전자의 감성정보 및 생체정보를 참조하여 분석함으로써, 더욱 정확한 운전자의 감성 상태를 인식할 수 있다. 예를 들어, 사람마다 심장 박동수나 혈압 등이 차이가 날 수 있으며, 따라서 운전자가 흥분상태임을 판단하기 위한 심장 박동수나 혈압의 기준 또한 달라질 수 있다. 이럴 경우, 미리 저장된 운전자의 감성정보 및 생체정보를 참조하면 각각의 운전자에 대해 더욱 정확한 감성 상태를 인식할 수 있다.
감성 관리부(120)는 인식된 운전자의 감성 상태에 기초하여 운전자의 감성 상태를 조절한다. 인식된 운전자의 감성 상태가 차량 운전의 안전성에 영향을 줄 수 있다고 판단되면, 감성 관리부(120)는 운전자의 감성 상태가 정상상태로 돌아 갈 수 있도록 운전자의 감성 상태를 조절하기 위해 사용자 메모리부(140)에 저장된 대응 콘텐츠를 검색하고, 검색된 콘텐츠를 수신받아 운전자에게 제공한다. 운전자의 감성 상태를 조절하기 위한 조치는 미디어 장치를 이용한 콘텐츠 제공, 공기정화장치, 음성장치, 영상장치 등을 통해 운전자의 감성 조절을 유도한다. 예를 들어, 운전자가 수면 상태이거나 수면 상태로 들어가는 중이라고 판단되면 공기정화장치를 가동시키거나 차량의 창문을 열러 운전자의 졸음을 방지한다. 또는 미디어 장치를 이용하여 운전자에게 적절한 음악을 제공하거나, 음성 또는 영상 장치를 이용하여 직접적인 경고를 전달할 수 있다.
사용자 메모리부(140)는 운전자 정보 및 대응 콘텐츠를 저장하고 있으며, 감성 관리부(120)로부터 수신된 대응 콘텐츠 요청 및 운전자 정보 요청에 기초하여 대응 콘텐츠 및 운전자 정보를 감성 관리부(120)로 전달한다.
감성 관리부(120) 및 사용자 메모리부(140)에 대한 구체적인 내용은 후술하는 도 2에서 설명하도록 한다.
도 2는 본 발명에 따른 운전자 감성 제어 장치를 나타내는 상세도이다.
도 2를 참조하면, 본 발명에 따른 운전자 감성 제어 장치의 감성 관리부(120)는 감성 분석부(121) 및 감성 제어부(122)를 포함하고, 사용자 메모리부(140)는 정보 저장부(141) 및 콘텐츠 저장부(142)를 포함한다.
감성 분석부(121)는 감성 센서부(100)로부터 수신된 생체 정보 데이터를 분석하여 운전자의 감성 상태를 인식한다. 수신된 생체 정보 데이터는 운전자의 얼굴, 표정, 몸짓을 비롯한 이미지 정보와 운전자가 발생하는 음성을 포함하는 정보는 물론 운전자와 접촉하여 직접 측정한 다양한 생체신호를 포함한다. 감성 분석부(121)는 이러한 생체 정보 데이터로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 체온 등의 운전자 상태 정보 추출하고, 추출된 다양한 정보에 기초하여 운전자의 감성상태를 인식한다.
그리고 감성 분석부(121)는 정보 저장부(141)로부터 운전자 정보를 수신한다. 수신된 운전자 정보는 운전자의 다양한 감정상태에 대한 생체신호 정보를 포함한다. 운전자가 임의의 감성상태일 때의 운전자의 얼굴, 표정, 몸짓을 비롯한 이미지 정보와 운전자가 발생하는 음성 정보 및 접촉하여 측정한 다양한 생체신호에 대한 정보를 포함한다. 예를 들어, 운전자의 화가 난 상태일 때의 정보를 저장하거나, 지루하거나 졸고 있는 상태의 정보를 미리 저장할 수 있다.
감성 분석부(121)는 정보 저장부(141)로부터 수신된 운전자 정보와 수신된 생체 정보 데이터를 비교하여 인식의 정확도를 높인다. 각각의 사람마다 각각의 감성상태에서 조금씩 다른 생체신호나 이미지/음성 정보를 나타낼 수 있다. 수신된 운전자 정보는 운전자의 감성상태를 더 정확하게 인지하기 위해 사용된다. 예를 들어, 운전자가 지루해 하는 감성상태일 때의 얼굴, 표정, 몸짓 및 생체신호를 저장하고, 또한 심박변이도(HRV), 호흡, 맥파속도(PWV), 체온 등의 운전자 상태 정보를 미리 저장하고 있는다. 감성 분석부(121)는 수신된 생체 정보 데이터로부터 추출된 운전자 상태 정보와 미리 저장된 운전자 정보를 비교하여 현재 운전자의 감성상태를 더욱 정확하게 인식할 수 있다.
감성 분석부(121)는 수신된 생체 정보 데이터와 수신된 운전자 정보에 기초하여 운전자의 감성 상태에 대한 정보를 포함하는 감성 상태 정보를 생성하여 감성 제어부(122)로 전달한다.
감성 제어부(122)는 감성 분석부(121)로부터 수신된 감성 상태 정보에 기초하여 운전자의 감성 상태를 조절한다. 감성 분석부(121)는 수신된 생체 정보 데이터 및 수신된 운전자 정보에 기초하여 현재 운전자의 감성 상태를 인지한다. 인지된 운전자의 감성 상태는 일반적인 평정 상태, 지루하거나 졸린 상태, 흥분한 상태, 산만한 상태 등 다양한 상태를 나타낼 수 있다. 이렇듯 다양하게 인지된 운전자의 감성 상태는 운전자의 운전 및 안전에 영향을 미칠 수 있다. 예를 들어, 운전자가 지루하거나 졸린 상태라면 졸음 운전을 할 가능성이 매우 높다. 졸음 운전을 하는 경우, 운전자의 안전은 심각한 위협을 받게 된다. 따라서 운전자의 안전을 위해 인지된 운전자의 감성 상태를 제어할 필요성이 존재한다.
따라서 감성 제어부(122)는 먼저 수신된 감성 상태 정보에 기초하여 판단된 운전자의 감성 상태가 운전자의 안전성에 영향을 줄 수 있는지 여부를 판단한다. 예를 들어, 운전자가 졸음 상태로 빠져든다고 인지되면 감성 제어부(122)는 운전자의 안전에 문제가 발생하였음을 판단할 수 있다. 또는 운전자가 흥분 상태에 놓여있다고 인지되면, 감성 제어부(122)는 이 또한 운전자의 안전에 문제가 발생하였다고 판단할 수 있다. 감성 제어부(122)에서 운전자의 감성 상태가 운전자의 안전성에 영향을 줄 수 있는지 판단하는 기준은 일반적으로 생각되는 졸음, 흥분 또는 산만한 상태 등을 포함할 수 있으며, 이는 운전자 본인 또는 제품 설계 과정에서의 설정에 따라 인지 가능한 모든 감성 상태를 포함할 수 있다.
감성 제어부(122)는 운전자의 안전에 문제가 있다고 판단되면, 수신된 감성 상태 정보에 기초한 운전자의 감성 상태를 조절하기 위해 적절한 대응 방안을 결정한다. 감성 제어부(122)가 운전자의 감성 상태를 조절하기 위한 방법은 차량 내에 연결된 미디어 장치, 조명 및 공기정화장치 등을 포함하는 차량 내에 제어 가능한 모든 장치를 포함할 수 있다. 차량 내의 조명의 밝기를 조절하거나, 공기정화장치 등을 작동시킬 수 있으며, 차량의 창문을 열거나 차량 내의 미디어 장치를 통해 운전자에게 콘텐츠나 메시지를 전달할 수 있다.
감성 제어부(122)는 운전자의 감성 상태를 조절하기 위한 대응 방안을 결정하면 운전자의 감성 상태 제어를 수행한다. 감성 제어부(122)가 차량 내에 연결된 미디어 장치를 통해 운전자에게 대응하는 콘텐츠나 메시지를 전달하기로 결정한 경우, 감성 제어부(122)는 콘텐츠 저장부(142)로 대응 콘텐츠를 요청한다. 콘텐츠 저장부(142)는 감성 제어부(122)의 대응 콘텐츠 요청에 따라, 해당하는 대응 콘텐츠를 감성 제어부(122)로 전달한다.
콘텐츠 저장부(142)로부터 대응 콘텐츠를 수신한 감성 제어부(122)는 차량 내에 연결된 미디어 장치를 통해 운전자에게 대응 콘텐츠를 제공한다. 대응 콘텐츠는 음악, 영상, 음성 및 다양한 신호 등을 포함할 수 있다. 예를 들어, 운전자가 즐겨 듣는 음악을 차량 내에 연결된 오디오 장치를 통해 재생함으로써 운전자에게 음악을 제공할 수 있다. 또한 운전자에게 음성 또는 영상 재생 장치를 통해 경고 메시지나 현재 상태를 알리는 메시지 등을 포함하는 다양한 메시지를 전달할 수 있다.
감성 제어부(122)는 또한 대응 콘텐츠를 제공하여 운전자의 감성 상태를 조절하는 방법이 아니라 직접 차량 내의 다양한 장치를 통해 운전자의 감성 상태를 조절할 수 있다. 차량의 창문을 개방하거나 차량 내의 공기정화장치 등을 작동시킬 수 있다. 또한 차량 내의 조명을 제어하여 내부의 밝기를 조절할 수 있다. 예를 들어, 운전자가 졸고 있다고 판단되면, 차량의 창문을 개방하여 운전자를 졸음 상태에서 벗어나게 유도할 수 있다. 또는 운전자가 흥분 상태라고 판단되는 경우, 차량 내의 조명을 제어하여 차량 내의 밝기를 어둡게 조절할 수 있다.
감성 제어부(122)는 대응 콘텐츠 제공 또는 차량 내의 장치 제어 중에서 하나의 방법을 이용하여 운전자의 감성 상태를 조절할 수 있으며, 두 가지 방법을 동시에 운전자에게 제공하여 운전자의 감성 상태를 조절할 수 있다.
정보 저장부(141)는 감성 분석부(121)로부터 운전자 정보 요청이 수신되면, 수신된 운전자 정보 요청에 기초하여 운전자 정보를 감성 분석부(121)로 전달한다. 운전자 정보는 운전자의 다양한 감성 상태 각각에 대한 얼굴, 표정, 몸짓 및 생체신호를 포함하며, 심박변이도(HRV), 호흡, 맥파속도(PWV), 체온 등의 정보를 더 포함할 수 있다. 서로 다른 사람은 동일한 감성 상태를 나타낼 때, 얼굴, 표정, 몸짓 및 생체 신호를 포함하는 신체의 반응이 서로 다를 수 있다. 따라서 해당 운전자가 각각의 감성 상태를 나타낼 때의 얼굴, 표정, 몸짓 및 생체신호를 포함하며, 심박변이도(HRV), 호흡, 맥파속도(PWV), 체온 등의 정보를 미리 입력받아 저장한다. 운전자에 대한 운전자 정보는 별도로 생성된 운전자 정보를 정보 저장부(141)에 입력할 수 있다. 그리고 운전자가 직접 운전자 감성 제어 장치의 감성 센서부(100)를 통해 각각의 감정 상태에 대한 운전자 본인의 신호를 측정하여 운전자 정보를 생성할 수 있다. 또한 반복적인 측정을 통해 피드백 및 학습을 수행하여 운전자 정보를 갱신(Update)할 수 있다.
그리고 정보 저장부(141)는 한 사람의 운전자에 대한 운전자 정보뿐만 아니라 둘 이상의 운전자 정보를 저장할 수 있다. 둘 이상의 운전자 정보를 저장하는 경우, 운전자로부터 입력된 식별 번호를 이용하여 식별하거나, 측정된 생체 신호를 통해 식별할 수 있다.
콘텐츠 저장부(142)는 음악, 음성, 영상 및 메시지를 포함하는 다양한 콘텐츠를 저장한다. 콘텐츠 저장부(142)는 각각의 운전자 또는 각각의 감성 상태에 따라 각각의 콘텐츠를 분류하여 저장할 수 있다. 각각의 운전자는 본인의 취향, 취미 및 습관 등에 따라 서로 다른 콘텐츠를 저장할 수 있다. 또한 다양한 감성 상태에 따라 서로 다른 콘텐츠를 저장할 수 있다. 예를 들어, 졸음 상태인 경우에 대응하여 빠른 비트의 음악을 저장하고, 흥분 상태인 경우에 대응하여 클래식 음악과 같은 느린 비트의 음악을 저장할 수 있다.
콘텐츠 저장부(142)는 운전자로부터 직접 콘텐츠를 입력받아 저장할 수 있으며, 유/무선 통신을 이용하여 외부의 콘텐츠 서버로부터 콘텐츠를 다운로드 받거나 스트리밍(Streaming) 하여 콘텐츠를 저장 및 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 운전자 감성 제어 방법을 나타내는 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 운전자 감성 제어 방법은
먼저, 운전자로부터 식별을 위한 정보를 입력받는다(301). 운전자를 식별하기 위한 방법은 크게 두 가지 방법을 사용할 수 있다. 첫 번째 방법은 운전자로부터 직접 식별을 위한 정보를 입력받는 방법으로, 식별을 위한 정보는 식별 번호나 암호 등을 포함한다. 두 번째 방법은 운전자로부터 생체신호를 측정하여 식별을 위한 정보를 수집하는 방법으로, 운전자가 운전석에 않아 운전을 시작하면, 감성 센서부에 포함된 다양한 센서를 이용하여 운전자의 생체신호를 측정한다. 본 발명에서는 이미지 및 음성 인식 장치를 이용하여 운전자의 얼굴, 동작 및 음성 등의 생체 정보를 인식하거나 운전대에 포함된 생체측정 센서를 이용하여 운전자가 운전대를 손으로 잡았을 때, 운전자의 생체신호를 측정할 수 있다.
그리고 입력된 식별 정보와 저장되어 있던 등록된 운전자 정보와 비교한다(302). 운전자로부터 측정된 생체신호를 저장되어 있던 생체신호와 비교하거나, 입력된 식별번호를 등록되어 있는 식별번호와 비교한다. 다음으로 측정된 운전자의 생체신호와 저장되어 있던 운전자 정보와 비교한 결과, 해당 운전자가 등록된 운전자 정보와 일치하는지를 판단한다(303). 해당 운전자로부터 수집된 식별을 위한 정보와 저장되어 있던 운전자 정보와 비교하여 해당 운전자가 등록된 운전자인지 비등록 운전자인지 여부를 판단할 수 있다. 만약 수집된 식별을 위한 정보가 저장되어 있는 운전자 정보와 일치하지 않는다면, 해당 운전자를 비등록 운전자로 판단하고 본 발명에 따른 운전자 감성 제어 방법을 종료한다(304).
만약, 측정된 운전자의 생체신호와 등록된 운전자 정보를 비교한 결과가 일치하면, 감성 상태 인식을 위한 운전자의 생체정보를 수집한다(305). 운전자의 생체정보는 운전자의 얼굴, 표정, 안구/동공의 상태, 동작, 몸짓 및 음성과 같은 신호를 포함하며, 피부 온도 측정기(Skin Temperature), 맥파(Pulse Wave) 측정기, 피부전도도 측정기, 심전도(Electrocardiogram, ECG) 측정기 및 광혈류 측정기(photoplethysmography, PPG)) 신호를 포함한다. 운전자의 생체정보를 측정하는 방법은 이미지 센서와 음성 센서를 통해 운전자를 인식하여 측정하는 방법과 운전대에 포함된 둘 이상의 접촉식 센서를 통해 운전자의 신체에 직접 접촉하여 생체신호를 측정하는 방법을 포함한다.
다음으로 저장되어 있던 운전자 정보 및 측정된 운전자의 생체정보에 기초하여 운전자의 감성을 분석 및 인식한다(306). 각각의 서로 다른 사람은 동일한 감성 상태이더라도 신체 반응이나 신체 상태는 서로 다를 수 있다. 따라서 수집된 운전자의 생체신호로부터 운전자의 감성 상태를 정확하게 인지하기 위해서는 해당 운전자에 대한 비교 기준이나 척도가 필요하다. 본 발명에서는 운전자 정보를 통해 측정된 운전자의 생체정보와 비교한다. 저장되어 있던 운전자 정보는 각각의 운전자의 다양한 감정상태에 대한 생체신호 정보를 포함한다. 각각의 사람마다 각각의 감성상태에서 조금씩 다른 생체신호나 이미지/음성 정보를 나타낼 수 있다. 수신된 운전자 정보는 운전자의 감성 상태를 더 정확하게 인지하기 위해 사용된다. 예를 들어, 운전자가 지루해 하는 감성상태일 때의 얼굴, 표정, 몸짓 및 생체신호를 저장하고, 또한 심박변이도(HRV), 호흡, 맥파속도(PWV), 체온 등의 운전자 상태 정보를 미리 저장하고 있는다. 감성 분석부(121)는 수신된 생체 정보 데이터로부터 추출된 운전자 상태 정보와 미리 저장된 운전자 정보를 비교하여 현재 운전자의 감성상태를 더욱 정확하게 인식할 수 있다. 측정된 운전자의 생테정보와 저장되어 있던 운전자 정보에 기초하여 운전자의 현재 신체 상태를 파악하고 이를 통해 운전자의 감성 상태를 인지한다.
다음으로 현재 운전자의 감성 상태가 감성 조절 중인지 여부를 판단한다(307). 감성 조절 중인지 여부 판단 결과 감성 조절 중이 아닌 경우, 운전자의 감성 상태를 감시(Monitoring)하며, 감성 변화 여부를 판단한다(308). 일반적으로 운전자의 감성 상태가 평정상태라면, 안전성에 문제가 없는 것으로 판단한다. 하지만 운전자의 감성 상태가 평정 상태에서 변화한다면, 이는 운전자의 안전에 영향을 미칠 수 있다. 따라서 운전자의 감성 상태를 지속적으로 감시하면서 운전자의 감성이 변화하는지 여부를 파악한다.
만약 운전자의 감성 상태에 변화가 감지되지 않는다면, 계속 운전자의 생체 신호를 수집하여 운전자의 감성 상태를 파악한다(305 단계를 반복).
만약 감성 변화 여부 판단 결과, 운전자의 감성이 변화하면 감성 변화에 대응하는 콘텐츠를 검색한다(309). 운전자의 감성 상태를 지속적으로 감시하면서, 만약 운전자의 감성 상태에 변화가 감지되면 감성 상태 변화에 효과적인 콘텐츠를 검색한다. 인지된 운전자의 감성 상태는 일반적인 평정 상태, 지루하거나 졸린 상태, 흥분한 상태, 산만한 상태 등 다양한 상태를 나타낼 수 있다. 이렇듯 다양하게 인지된 운전자의 감성 상태는 운전자의 운전 및 안전에 영향을 미칠 수 있다. 예를 들어, 운전자가 지루하거나 졸린 상태라면 졸음 운전을 할 가능성이 매우 높다. 졸음 운전을 하는 경우, 운전자의 안전은 심각한 위협을 받게 된다. 따라서 운전자의 감성 변화에 대응하는 콘텐츠를 제공하여 운전자의 감성을 제어한다.
운전자의 감성을 제어하기 위한 대응 콘텐츠는 음악, 영상, 음성 신호 및 메시지 등 차량 내의 미디어 장치를 통해 제공할 수 있는 콘텐츠를 포함하고, 차량 내의 조명, 창문 및 공기정화장치 등의 제어 가능한 장치를 이용하는 방법을 포함한다. 다양한 콘텐츠 중에서 현재 운전자의 감성 상태 변화에 대응하는 적절한 콘텐츠를 검색한다. 예를 들어, 운전자가 졸음 상태이거나 지루한 상태라면, 빠른 비트의 음악이나 운전자가 즐겨 듣는 음악을 선택하고, 차량의 창문을 여는 선택 등을 할 수 있다.
그리고 감성 조절을 위해 검색된 콘텐츠에 기초하여 차량 내의 미디어 장치, 창문, 조명 및 다양한 장치를 제어하여 운전자에게 검색된 콘텐츠를 제공한다(310). 검색된 콘텐츠가 음악이나 음성 신호인 경우, 차량 내의 오디오 장치를 이용하여 음악을 재생하거나 경고 신호와 같은 음성 신호를 재생하여 운전자에게 해당 콘텐츠를 제공할 수 있다. 영상 콘텐츠가 검색되면, 차량 내의 영상 재생 장치를 통해 운전자에게 제공할 수 있으며, 차량의 조명을 제어하여 차량 내의 밝기를 조절하거나 차량의 창문을 개방하는 등의 방법을 이용할 수 있다.
307 단계에서, 감성 조절 중인지 여부 판단 결과 감성 조절 중인 경우, 운전자의 감성이 변화하고 있는지 여부를 판단한다(311). 현재 운전자의 감성을 조절 중이라면, 제공되는 콘텐츠에 의해 운전자의 감성 상태가 변화하고 있는지를 확인해야 한다. 만약 감성 조절을 시도하고 있으나 운전자의 감성 상태가 변화하지 않는다면, 감성 변화에 대응하는 콘텐츠를 다시 검색(309 단계)한다. 또한 제공되는 콘텐츠에 의해 운전자의 감성 상태 변화 여부에 따라 해당 콘텐츠에 대한 평가를 수행할 수 있다. 예를 들어, 운전자의 감성 상태가 변화하지 않는다면 해당 콘텐츠는 해당 운전자의 현재 감성 상태 변화에 적절하지 못하다는 평가가 내려질 수 있다. 이러한 콘텐츠 평가는 이후 운전자의 감성 상태 변화를 위해 콘텐츠를 검색하는 과정에서 참고 자료가 될 수 있다.
만약 운전자의 감성이 변화하고 있다면, 운전자의 감성 상태가 평온 상태가 되었는지 판단한다(312). 운전자의 감성 상태가 변화하고 있다면, 운전자의 감성 상태 변화를 지속적으로 감시하여 운전자의 감성 상태가 평온한 상태로 회복되었는지 확인해야 한다. 만약 평온한 상태로 회복되지 않는다면, 계속해서 콘텐츠를 제공(310 단계).
만약 운전자의 감성이 평온 상태가 되었다면, 운전자의 생체정보를 포함하는 감성 정보와 제공된 콘텐츠 및 평가 정보 등을 갱신한다(313). 운전자의 감성이 평온한 상태로 회복되는 것이 확인되면 측정된 운전자의 생체 신호와 인식된 감성 상태 그리고 콘텐츠에 대한 평가 정보를 갱신하여 저장한다. 갱신된 정보는 이후 운전자의 감성 상태 조절에 참고 자료로 이용될 수 있으며, 이를 통해 더 효율적으로 운전자의 감성 상태를 조절할 수 있다.
도 4는 본 발명에 따른 운전자의 감성 제어 장치를 운전대에 적용한 일례를 나타내는 구성도이다.
도 4를 참조하면, 본 발명에 따른 운전자의 감성 제어 장치는 차량의 운전대에 적용이 가능하다. 운전자가 운전을 위해 차량의 운전대를 잡게 되면, 운전대에 위치한 감성 센서부(100)가 운전자의 손과 접촉하게 된다. 감성 센서부(100)는 접촉한 운전자의 손을 통해 운전자의 생체 신호를 측정할 수 있다. 운전대에 위치한 감성 센서부(100)를 통해 수집된 운전자의 생체 신호는 감성 센서부(100)에서 운전자의 생체 정보 데이터로 변환되어 감성 관리부(120)로 전달된다. 감성 관리부(120)는 감성 센서부(100)로부터 수신된 감성 정보 데이터에 기초하여 운전자의 감성 상태를 인식하고, 운전자의 감성 상태를 조절하게 된다. 도 4에서는 감성 센서부(100)는 운전자의 손과 접촉하여 정보를 수집하는 접속 방식의 센서만을 운전대에 위치시켰으나, 이로 한정되는 것은 아니다. 접촉식 센서뿐만 아니라, 음성 및 영상 신호를 수집하는 장치를 포함하여 운전대에 위치할 수 있다.
이상 바람직한 실시 예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시 예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형이 가능하다.
100: 감성 센서부
120: 감성 관리부
121: 감성 분석부
122: 감성 제어부
140: 사용자 메모리부
141: 정보 저장부
142: 콘텐츠 저장부

Claims (11)

  1. 운전자로부터 생체 신호를 수집하고, 수집된 상기 생체 신호에 기초하여 생체 정보 데이터를 생성하는 감성 센서부;
    상기 운전자의 감성 상태 각각에 대한 생체 신호를 포함하는 운전자 정보 및 다수의 대응 콘텐츠를 저장하고 있으며, 수신된 요청에 따라 상기 운전자 정보 및 상기 대응 콘텐츠를 전달하는 사용자 메모리부; 및
    상기 사용자 메모리부로부터 수신된 운전자 정보 및 상기 감성 센서부로부터 수신된 생체 정보 데이터에 기초하여 상기 운전자의 감성 상태를 판단하고, 판단된 상기 운전자의 감성 상태에 대응하는 대응 콘텐츠를 상기 사용자 메모리부에 요청하고, 상기 사용자 메모리부로부터 수신된 콘텐츠를 상기 운전자에게 제공하는 감성 관리부;
    를 포함하는 것을 특징으로 하는 운전자 감성 제어 장치.
  2. 제 1항에 있어서,
    상기 감성 센서부는 상기 사용자의 얼굴, 몸짓 및 동공 상태를 인식하는 영상 인식 장치, 상기 사용자의 음성을 인식하는 음성 인식 장치 및 접촉식 센서 장치를 포함하는 것을 특징으로 하는 운전자 감성 제어 장치.
  3. 제 2항에 있어서,
    상기 접촉식 센서는 피부 온도 측정기(Skin Temperature), 맥파(Pulse Wave) 측정기, 피부전도도 측정기, 심전도(Electrocardiogram, ECG) 측정기 및 광혈류 측정기(photoplethysmography, PPG) 중에서 적어도 한가지 이상을 포함하는 것을 특징으로 하는 운전자 감성 제어 장치.
  4. 제 2항에 있어서,
    상기 접촉식 센서는 차량의 운전대에 위치하며, 상기 운전자의 손과 직접 접촉하여 상기 생체신호를 수집하는 것을 특징으로 하는 운전자 감성 제어 장치.
  5. 제 1항에 있어서,
    상기 감성 관리부는,
    상기 수신된 생체 정보 데이터를 상기 수신된 운전자 정보와 비교하여 상기 운전자의 감성 상태를 판단하고, 상기 판단된 운전자의 감성 상태에 기초하여 감성 상태 정보를 생성하여 전달하는 감성 분석부; 및
    수신된 상기 감성 상태 정보에 기초하여 상기 다수의 대응 콘텐츠 중에서 상기 판단된 운전자의 감성 상태를 평온 상태로 조절하기 위한 대응 콘텐츠를 검색하여 상기 운전자에게 제공하는 감성 제어부;
    를 포함하는 것을 특징으로 하는 운전자 감성 제어 장치.
  6. 제 5항에 있어서,
    상기 감성 제어부는,
    차량 내에 연결된 영상 재생 장치를 통한 영상 콘텐츠 제공, 음성 재생 장치를 통한 음성 콘텐츠 제공, 조명 제어, 공기청정장치 제어 및 창문 개폐 제어 중에서 적어도 한가지 이상의 방법을 통해 상기 운전자에게 상기 대응 콘텐츠를 제공하는 것을 특징으로 하는 운전자 감성 제어 장치.
  7. 운전자로부터 생체 신호를 수집하는 단계;
    상기 운전자로부터 수집된 생체 신호 및 상기 운전자의 감성 상태 각각에 대한 생체 신호를 포함하는 운전자 정보에 기초하여 상기 운전자의 감성 상태를 판단하는 단계;
    상기 판단된 운전자의 감성 상태에 기초하여 대응 콘텐츠를 검색하고, 상기 검색된 대응 콘텐츠를 상기 운전자에 제공하여 상기 운전자의 감성 상태를 조절하는 단계;
    를 포함하는 것을 특징으로 하는 운전자 감성 제어 방법.
  8. 제 7항에 있어서,
    상기 운전자로부터 수집된 생체 신호를 상기 운전자 정보와 비교하여 상기 운전자의 등록 여부를 판단하는 단계;
    를 더 포함하는 것을 특징으로 하는 운전자 감성 제어 방법.
  9. 제 7항에 있어서,
    상기 대응 콘텐츠를 제공받은 상기 운전자의 감성 상태가 평온한 상태로 회복되는지 여부를 감시하는 단계; 및
    상기 운전자의 감성 상태가 회복되면, 상기 운전자에게 제공된 대응 콘텐츠를 평가한 정보 및 상기 운전자의 생체 신호를 갱신하는 단계;
    를 더 포함하는 것을 특징으로 하는 운전자 감성 제어 방법.
  10. 제 7항에 있어서,
    상기 운전자로부터 수집된 생체 신호는 상기 사용자의 얼굴, 몸짓 및 동공 상태, 음성 및 접촉식 센서로 수집된 신호 중에서 적어도 한 가지 이상을 포함하는 것을 특징으로 하는 운전자 감성 제어 방법.
  11. 제 10항에 있어서,
    접촉식 센서로 수집된 신호는 피부 온도 측정기(Skin Temperature), 맥파(Pulse Wave) 측정기, 피부전도도 측정기, 심전도(Electrocardiogram, ECG) 측정기 및 광혈류 측정기(photoplethysmography, PPG) 중에서 적어도 한 가지 이상을 포함하는 것을 특징으로 하는 운전자 감성 제어 방법.
KR1020120146418A 2012-12-14 2012-12-14 운전자 감성제어 장치 및 그 방법 KR20140080727A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120146418A KR20140080727A (ko) 2012-12-14 2012-12-14 운전자 감성제어 장치 및 그 방법
US14/020,572 US20140171752A1 (en) 2012-12-14 2013-09-06 Apparatus and method for controlling emotion of driver

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120146418A KR20140080727A (ko) 2012-12-14 2012-12-14 운전자 감성제어 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20140080727A true KR20140080727A (ko) 2014-07-01

Family

ID=50931687

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120146418A KR20140080727A (ko) 2012-12-14 2012-12-14 운전자 감성제어 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20140171752A1 (ko)
KR (1) KR20140080727A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10997155B2 (en) 2018-04-19 2021-05-04 Hyundai Motor Company Data classification apparatus, vehicle including the same, and control method of the same
WO2023158060A1 (ko) * 2022-02-18 2023-08-24 경북대학교 산학협력단 다중 센서 융합기반 운전자 모니터링 장치 및 방법
KR20230124837A (ko) * 2022-02-18 2023-08-28 경북대학교 산학협력단 다중 센서 융합기반 운전자 모니터링 장치 및 방법

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US10911829B2 (en) 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US11151610B2 (en) 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US20140310379A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle initiated communications with third parties via virtual personality
EP2817176A4 (en) * 2013-04-15 2016-08-10 Autoconnect Holdings Llc USER INTERFACE AND VIRTUAL PERSONALITY PRESENTATION BASED ON USER PROFILES
CN104859559B (zh) * 2014-12-22 2018-05-11 北京宝沃汽车有限公司 车辆内部环境的控制方法及装置
PT108192A (pt) * 2015-02-04 2016-08-04 Healthyroad Sist Biométricos Lda Dispositivo e método para monitorizar o estado de alerta do condutor de um veículo e prevenir acidentes
US10692126B2 (en) 2015-11-17 2020-06-23 Nio Usa, Inc. Network-based system for selling and servicing cars
US20180012197A1 (en) 2016-07-07 2018-01-11 NextEv USA, Inc. Battery exchange licensing program based on state of charge of battery pack
US9928734B2 (en) 2016-08-02 2018-03-27 Nio Usa, Inc. Vehicle-to-pedestrian communication systems
CN109804400B (zh) * 2016-09-30 2022-10-18 本田技研工业株式会社 信息提供装置和移动体
CN109690601B (zh) * 2016-09-30 2022-11-18 本田技研工业株式会社 信息提供装置和移动体
US11240189B2 (en) * 2016-10-14 2022-02-01 International Business Machines Corporation Biometric-based sentiment management in a social networking environment
US9963106B1 (en) 2016-11-07 2018-05-08 Nio Usa, Inc. Method and system for authentication in autonomous vehicles
US10410064B2 (en) 2016-11-11 2019-09-10 Nio Usa, Inc. System for tracking and identifying vehicles and pedestrians
US10708547B2 (en) 2016-11-11 2020-07-07 Nio Usa, Inc. Using vehicle sensor data to monitor environmental and geologic conditions
US10694357B2 (en) 2016-11-11 2020-06-23 Nio Usa, Inc. Using vehicle sensor data to monitor pedestrian health
US10699305B2 (en) 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10249104B2 (en) 2016-12-06 2019-04-02 Nio Usa, Inc. Lease observation and event recording
JP6422477B2 (ja) * 2016-12-21 2018-11-14 本田技研工業株式会社 コンテンツ提供装置、コンテンツ提供方法およびコンテンツ提供システム
JP2018102617A (ja) * 2016-12-27 2018-07-05 オムロン株式会社 感情推定装置、方法およびプログラム
US10074223B2 (en) 2017-01-13 2018-09-11 Nio Usa, Inc. Secured vehicle for user use only
US9984572B1 (en) 2017-01-16 2018-05-29 Nio Usa, Inc. Method and system for sharing parking space availability among autonomous vehicles
US10471829B2 (en) 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US10031521B1 (en) 2017-01-16 2018-07-24 Nio Usa, Inc. Method and system for using weather information in operation of autonomous vehicles
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
US10464530B2 (en) 2017-01-17 2019-11-05 Nio Usa, Inc. Voice biometric pre-purchase enrollment for autonomous vehicles
US10322727B1 (en) * 2017-01-18 2019-06-18 State Farm Mutual Automobile Insurance Company Technology for assessing emotional state of vehicle operator
US10897469B2 (en) 2017-02-02 2021-01-19 Nio Usa, Inc. System and method for firewalls between vehicle networks
JP6558719B2 (ja) * 2017-03-29 2019-08-14 マツダ株式会社 車両運転支援システム及び車両運転支援方法
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
US10159435B1 (en) * 2017-09-29 2018-12-25 Novelic D.O.O. Emotion sensor system
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10935978B2 (en) 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10717412B2 (en) 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
DE102018207333A1 (de) 2018-05-09 2019-11-14 Volkswagen Aktiengesellschaft Multifunktionale Bedieneinheit für ein Fahrzeug
US10369966B1 (en) 2018-05-23 2019-08-06 Nio Usa, Inc. Controlling access to a vehicle using wireless access devices
CN109190459A (zh) * 2018-07-20 2019-01-11 上海博泰悦臻电子设备制造有限公司 一种车主情绪识别及调节方法、存储介质及车载系统
CN110908576A (zh) * 2018-09-18 2020-03-24 阿里巴巴集团控股有限公司 车辆系统/车辆应用显示方法、装置及电子设备
JP7465484B2 (ja) * 2018-09-30 2024-04-11 ストロング フォース ティーピー ポートフォリオ ２０２２，エルエルシー 高機能輸送システム
DE112019006823T5 (de) * 2019-02-04 2021-10-21 Mitsubishi Electric Corporation Emotionsschätzvorrichtung und Emotionsschätzverfahren
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
CN110910881A (zh) * 2019-12-02 2020-03-24 苏州思必驰信息科技有限公司 基于语音识别的控制方法、装置以及计算机可读存储介质
US11315675B2 (en) * 2020-02-18 2022-04-26 Bayerische Motoren Werke Aktiengesellschaft System and method for entrainment of a user based on bio-rhythm of the user
CN113815625B (zh) * 2020-06-19 2024-01-19 广州汽车集团股份有限公司 车辆辅助驾驶控制方法、装置及智能方向盘

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005069675A1 (ja) * 2004-01-20 2005-07-28 Omron Corporation 運転中における電話使用時の電話対策装置及び電話対策方法
KR101173944B1 (ko) * 2008-12-01 2012-08-20 한국전자통신연구원 차량 운전자의 감성 조절 시스템 및 방법
KR101901417B1 (ko) * 2011-08-29 2018-09-27 한국전자통신연구원 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10997155B2 (en) 2018-04-19 2021-05-04 Hyundai Motor Company Data classification apparatus, vehicle including the same, and control method of the same
WO2023158060A1 (ko) * 2022-02-18 2023-08-24 경북대학교 산학협력단 다중 센서 융합기반 운전자 모니터링 장치 및 방법
KR20230124837A (ko) * 2022-02-18 2023-08-28 경북대학교 산학협력단 다중 센서 융합기반 운전자 모니터링 장치 및 방법

Also Published As

Publication number Publication date
US20140171752A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
KR20140080727A (ko) 운전자 감성제어 장치 및 그 방법
Doudou et al. Driver drowsiness measurement technologies: Current research, market solutions, and challenges
CN107791893B (zh) 车辆座椅
US10759438B2 (en) System and method for responding to driver state
US10258760B1 (en) Computer system for determining a state of mind and providing a sensory-type antidote to a subject
Warwick et al. Detecting driver drowsiness using wireless wearables
EP3158392B1 (en) System and method for responding to driver state
Dong et al. Driver inattention monitoring system for intelligent vehicles: A review
Hassib et al. Detecting and influencing driver emotions using psycho-physiological sensors and ambient light
Bundele et al. Detection of fatigue of vehicular driver using skin conductance and oximetry pulse: a neural network approach
KR20140096609A (ko) 생체정보를 통한 운전자 개인인식 및 운전상태 변화정보 제공방법
US10877444B1 (en) System and method for biofeedback including relevance assessment
Abbood et al. Prediction of driver fatigue: Approaches and open challenges
JP2020154976A (ja) 車内環境警告装置及び車内環境警告方法
JP2021146214A (ja) ドライバー監視システムでメディア誘発感情から運転感情を分離するための技術
JP2006034576A (ja) 乗り物酔い対策装置および乗り物酔い対策方法
Murata Proposal of a method to predict subjective rating on drowsiness using physiological and behavioral measures
EP3895949B1 (en) Method and device for evaluating user discomfort
WO2018222028A1 (en) A system and a method to determine and control emotional state of a vehicle operator
Murugan et al. Analysis of different measures to detect driver states: A review
Zhou et al. Predicting driver fatigue in automated driving with explainability
Ahuja et al. Significance, Techniques, and Challenges in Driver Drowsiness Issue: A Guide Tour
Fernandes Driver drowsiness detection using non-intrusive eletrocardiogram and steering wheel angle signals
Peruzzini et al. Toward the Definition of a Technological Set-up for Drivers’ Health Status Monitoring
Dababneh et al. Driver vigilance level detection systems: A literature survey

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid