KR20170018696A - 감성 인식 차량 제어 장치, 시스템 및 방법 - Google Patents

감성 인식 차량 제어 장치, 시스템 및 방법 Download PDF

Info

Publication number
KR20170018696A
KR20170018696A KR1020150112649A KR20150112649A KR20170018696A KR 20170018696 A KR20170018696 A KR 20170018696A KR 1020150112649 A KR1020150112649 A KR 1020150112649A KR 20150112649 A KR20150112649 A KR 20150112649A KR 20170018696 A KR20170018696 A KR 20170018696A
Authority
KR
South Korea
Prior art keywords
driver
vehicle
emotion
information
vehicle control
Prior art date
Application number
KR1020150112649A
Other languages
English (en)
Other versions
KR102330385B1 (ko
Inventor
장영민
김건우
최아라
손태윤
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020150112649A priority Critical patent/KR102330385B1/ko
Publication of KR20170018696A publication Critical patent/KR20170018696A/ko
Application granted granted Critical
Publication of KR102330385B1 publication Critical patent/KR102330385B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 주변을 촬영하는 복수의 카메라, 상기 복수의 카메라가 촬영하는 영역 내 상기 차량과 주변환경이 이루는 복수의 거리 값을 측정하는 복수의 거리 측정부, 상기 복수의 거리 값으로 구성된 복수의 깊이 영상을 생성하는 깊이 영상 생성부, 상기 복수의 카메라가 촬영한 복수의 카메라 영상과 상기 복수의 깊이 영상을 대응되는 영역에 대한 것끼리 각각 맵핑하여 복수의 입체 영상을 생성하는 영상 처리부 및 상기 복수의 입체 영상을 합성하여 상기 차량을 위에서 아래를 바라보는 시점의 입체 탑뷰(Top-View) 영상을 생성하는 합성부를 포함하는 어라운드뷰 제공 장치에 관한 것이다.

Description

감성 인식 차량 제어 장치, 시스템 및 방법 {Apparatus, system and method for recognizing emotion and controlling vehicle}
본 발명은 감성 인식 차량 제어 장치, 시스템 및 방법에 관한 것으로, 운전자의 감성을 분석하여 인식하고 이에 따른 최적의 주행 상태로 차량을 제어하는 감성 인식 차량 제어 장치, 시스템 및 방법에 관한 것이다.
최근 운전자의 의도 및 감성을 차량에 반영하여 운전자에게 최적의 주행 환경을 만들어 주려는 기술이 있다.
차량의 내/외부에 부착되어 있는 센서 정보(ADAS) 및 운전자 모니터링 정보를 융합하려는 연구가 많이 있으며, ADAS, IT, 뇌과학, UX 기술등을 활용한 차량 편의/안전 연구도 많이 있다.
이러한 기술은 운전자의 맥박, 체온, 심박수 등의 생체 신호를 측정하고 이에 대응하여 차량 조향, 구동, 제동 장치의 감도 등을 조절한다.
하지만 기존의 기술들은 운전자의 감성을 정확하고 신속하게 파악하지 못하는 문제점이 있다.
이에 따라 운전자의 감성을 신속하고 정확하게 파악하고, 이에 대응하는 최적의 주행 환경을 조성하는 기술이 연구 중이다.
본 발명이 해결하고자 하는 과제는 운전자의 감성을 나타내는 여러가지 요소를 추출하고 분석하여 운전자의 감성을 정확하게 인식할 수 있게 하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는 운전자의 감성을 여러가지 분류로 나타내어 이에 가장 적합한 주행 환경을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명에 따른 감성 인식 차량 제어 장치는 웨어러블 디바이스, 클라우드 서버 및 차량에 구비된 첨단 운전자 지원 시스템(ADAS, Advanced driver assistance systems)와 데이터 통신을 수행하는 통신부(100), 상기 웨어러블 디바이스로부터 수신된 운전자의 생체 신호, 상기 첨단 운전자 지원 시스템으로부터 수신된 차량 주행 정보가 포함된 신호 및 상기 클라우드 서버에 저장된 운전자 감성 정보를 이용하여 상기 운전자의 감성을 분석하는 감성 분석부(200) 및 상기 운전자 감성 분석의 결과에 대응하여 상기 차량을 제어하는 차량 제어 신호를 생성하고, 상기 차량 제어 신호가 상기 첨단 운전자 지원 시스템에 송신되도록 상기 통신부(100)를 제어하는 제어부(300)를 포함할 수 있다.
본 발명에 따른 감성 인식 차량 제어 방법은 웨어러블 디바이스가 운전자의 심전도(ECG, electrocardiogram), 피부저항(GSR, galvanic skin response), 피부온도(SKT, skin temperature) 및 뇌파(EEG, electroencephalogram)가 포함된 생체 신호를 측정하는 생체신호 측정 단계, 차량에 구비된 첨단 운전자 지원 시스템이 상기 차량의 스티어링 휠의 조향 각도 및 토크(Torque), 액셀레이터(accelerator) 밟는 횟수 및 강도, 브레이크 밟는 횟수 및 강도, 주행 중 차선 변경 횟수 및 범위, 주행 도로, 차량 위치, 차량 속도 및 주행 시간이 포함된 차량 주행 정보를 추출하는 차량 주행 정보 추출 단계, 감성 인식 차량 제어 장치가 상기 생체 신호 및 상기 차량 주행 정보를 전송 받고, 클라우드 서버에 접속하여 운전자 감성 정보를 다운로드 받는 정보 수집 단계, 상기 감성 인식 차량 제어 장치가 상기 생체 신호, 상기 차량 주행 정보 및 상기 운전자 감성 정보를 이용하여 상기 운전자의 감성을 분석하는 운전자 감성 분석 단계, 상기 감성 인식 차량 제어 장치가 상기 운전자 감성 분석의 결과에 대응하여 상기 운전자가 운전하는 차량을 제어하는 차량 제어 신호를 생성하고, 상기 차량 제어 신호를 상기 첨단 운전자 지원 시스템에 송신하는 제어 신호 송신 단계, 상기 첨단 운전자 지원 시스템이 상기 차량 제어 신호를 수신하고, 상기 차량 제어 신호에 따라 상기 차량을 제어하는 차량 제어 단계를 포함할 수 있다.
본 발명에 따른 감성 인식 차량 제어 장치, 시스템 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째,　운전자의 생체 신호, 운전자의 운전 습관, 운전자의 지금까지의 감성 정보 등 여러가지 요소를 이용하여 운전자의 현재 감성을 정화하게 파악할 수 있다.
둘째,　운전자의 감성을 여러가지 분류로 나누어 이에 따라 가장 이상적인 주행 환경을 조성할 수 있다.
셋째, 운전자의 감성 분석에 관련된 데이터를 클라우드 서버에 저장하여 운전자 감성 분석할 때 과거의 데이터를 활용함으로써 분석의 효율성을 향상시킬 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 감성 인식 차량 제어 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예로 직접적 감성 분석부가 상기 운전자의 직접적인 감성을 분석하는 과정을 나타낸 것이다.
도 3은 본 발명의 일 실시예로 간접적 감성 분석부가 상기 운전자의 간접적인 감성을 분석하는 과정을 나타낸 것이다.
도 4는 본 발명의 일 실시예로 통합 감성 분석부가 운전자의 감성을 분석하는 과정을 나타낸 것이다.
도 5는 본 발명에 따른 감성 인식 차량 제어 시스템에서 웨어러블 디바이스, 감성 인식 차량 제어 장치, 첨단 운전자 지원 시스템 및 클라우드 서버 통신을 수행하고, 운전자 감성을 분석하고, 차량 제어를 수행하는 과정을 나타낸 것이다.
도 6은 본 발명의 일 실시예로 감성 인식 차량 제어 장치가 첨단 운전자 지원 시스템에 제어 신호를 송신하여 차량 제어를 수행하는 것을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 도면들을 참고하여 본 발명에 따른 감성 인식 차량 제어 장치, 시스템 및 방법을 설명하도록 한다.
본 발명은 운전자의 감성에 따른 최적의 차량 제어를 수행하기 위하여 웨어러블 디바이스, 첨단 운전자 지원 시스템, 감성 인식 차량 제어 장치 및 클라우드 서버를 기반으로 사람의 감성을 직접적 및 간접적으로 분석하는 방법을 통합하여 상기 운전자의 감성을 분석한다.
우선, 사람의 감성을 분석하기 위해 감성영역을 정의한다. 사람의 감성은 감정과 구별되고, 감각 자극에 따라 직관적이고, 순간적이며, 복합적으로 생겨난다. 사람의 감성은 논리적 사고와 의사결정, 감정의 발생, 행동 등에 영향을 받고, 감각자극을 받는 즉시 직관적으로 나타나고, 감각자극에 대한 정보처리나 의사결정에 영향을 미치고, 감성이 감정이나 논리적 의사결정 보다 앞에 위치 하고, 개인의 내부요인이 중요하게 작용 한다.
인간의 뇌 해부학에서 감성영역을 담당하고 있는 곳은 머리속 내부의 Limbic System이 담당한다. Limbic System은 두뇌의 Central Core(중핵)를 둥그렇게 둘러싸고, Cerebral Cortex(대뇌피질)과 Central Core(중핵) 사이에 위치한다.
Limbic System의 구성과 각 구성요소의 역할은 다음과 같다.
Hippocampus(해마)는 Short-term memory와 같이 학습에 관계된다. Amygdala(편도체)는 각종 감각자극에 대하여 반응하는데, 특히 감성을 발생시키는 자극에 민감하다. Hypothalamus(시상하부)는 그 부위에 따라 기쁨과 분노, 불쾌, 혐오, 웃음 등과 같은 감정의 발생에 관계된다.
Limbic System의 각 기능들은 사람의 감성이 갖는 특성과 연결된다.
Limbic System은 일상생활의(개인의 습관) 경험에 대한 기억을 축적한다. 이 경험에 대한 기억들은 long-term memory와는 다른 형태의 memory를 형성한다(reflective(short-term) memory로 기억). Limbic System은 감각정보를 통과시키면서 그 감각정보에 감성이라는 내용을 부가 시킨다. 개인의 생활 경험에 따른 감각 정보는 다른 종류의 감성을 만들어낼 수 있게 한다.
사람의 감성이 발생되면, 감성에 의해 시상이 반응하고, 이는 대뇌피질로 투사되어 뇌파 측정 시스템으로 측정이 가능하다.
자율신경계의 반응 경로는 감각기의 정보, 뇌간 망상체(reticular formation), 시상(thalamus), 시상하부(hypothalamus), 편도체(Amygdala), 해마(Hippocampus), 전두엽 순서이다.
도 1은 본 발명에 따른 감성 인식 차량 제어 장치의 구성을 나타낸 블록도이다.
본 발명에 따른 감성 인식 차량 제어 장치는 웨어러블 디바이스, 클라우드 서버 및 차량에 구비된 첨단 운전자 지원 시스템(ADAS, Advanced driver assistance systems)와 데이터 통신을 수행하는 통신부(100), 상기 웨어러블 디바이스로부터 수신된 운전자의 생체 신호, 상기 첨단 운전자 지원 시스템으로부터 수신된 차량 주행 정보가 포함된 신호 및 상기 클라우드 서버에 저장된 운전자 감성 정보를 이용하여 상기 운전자의 감성을 분석하는 감성 분석부(200) 및 상기 운전자 감성 분석의 결과에 대응하여 상기 차량을 제어하는 차량 제어 신호를 생성하고, 상기 차량 제어 신호가 상기 첨단 운전자 지원 시스템에 송신되도록 상기 통신부(100)를 제어하는 제어부(300)를 포함할 수 있다.
본 발명에 따른 감성 인식 차량 제어 장치는 스마트 폰이 될 수 있다.
상기 생체 신호는 상기 운전자의 심전도(ECG, electrocardiogram), 피부저항(GSR, galvanic skin response), 피부온도(SKT, skin temperature) 및 뇌파(EEG, electroencephalogram)를 포함할 수 있다.
본 발명은 운전자의 감성을 분석하기 위하여 4가지 생체 신호를 이용한다.
피부저항은, 사람의 피부에 땀이 나는 것 등의 정보이고, 불안, 초조, 놀람등의 감성을 가졌을때 피부 전도도가 높게 측정된다.
심전도는, 사람의 심장에서 발생하는 심장 파형으로 감성에 따라 심장 파형의 발생 빈도 및 심장 파형의 높이가 달라지는 것을 이용한 것이다.
피부온도는, 사람의 감성에 따라 발생하는 피부 온도 변화를 이용한 것이다.
뇌 전위는, 사람의 두뇌 중 전두엽 영역의 대뇌 피질의 전기 진폭을 측정하여 사람의 감성을 분석할 수 있음을 이용한 것이다.
상기 차량 주행 정보는 스티어링 휠의 조향 각도 및 토크(Torque), 액셀레이터(accelerator) 밟는 횟수 및 강도, 브레이크 밟는 횟수 및 강도, 주행 중 차선 변경 횟수 및 범위, 주행 도로, 차량 위치, 차량 속도 및 주행 시간을 포함할 수 있다.
본 발명은 차량에 구비된 ADAS가 차량 주행 정보를 추출하고, 이를 이용하여 운전자의 개인적인 주행 습관 및 성향을 나타내는 간접적 운전자 감성을 분석한다.
예를 들어, ADAS는 추출하는 차량 주행 정보는 운전자가 조작하는 스티어링 휠의 조향 각도 및 토크 정보, 순간 가속도 정보, 액셀레이터을 밟는 횟수 및 순간 강도(밟는 깊이), 브레이크를 밟는 횟수 및 순간 강도(밟는 깊이), 차량 운행중 차선을 넘어가는 횟수 및 범위, 영상 정보 및 GPS 위치정보로 현재 주행중인 도로 정보(고속도로 또는 도심도로 등) 및 이에 따른 차량 속도 정보 등을 포함한다.
이러한 차량 주행 정보는 운전자의 차량 주행 습관을 파악하기 위한 것으로, 개개인의 주행 습관이나 성향을 간접적으로 파악할 수 있게 한다.
상기 운전자 감성 정보는 상기 클라우드 서버에 현재까지 누적되어 저장된 상기 운전자의 생체 신호, 상기 운전자가 운행한 차량의 주행 정보를 포함할 수 있다.
상기 감성 분석부(200)는, 상기 생체 신호를 이용하여 상기 운전자의 직접적인 감성을 분석하는 직접적 감성 분석부(210), 상기 차량 주행 정보를 이용하여 상기 운전자의 운전 습관을 나타내는 간접적 운전자 감성을 분석하는 간접적 감성 분석부(220) 및 상기 직접적 감성 분석의 결과, 상기 간접적 감성 분석의 결과 및 상기 운전자 감성 정보를 통합하여 상기 운전자의 감성을 분석하는 통합 감성 분석부(230)를 포함할 수 있다.
상기 직접적 감성 분석부(210)는, 상기 생체 신호의 외부 환경으로 인한 잡음을 제거한 후, 감성과 관련된 특징 정보를 추출하고, 상기 추출된 특징 정보에 앙상블 기법을 적용하여 상기 운전자의 직접적인 감성을 분석할 수 있다.
도 2는 본 발명의 일 실시예로 직접적 감성 분석부(210)가 상기 운전자의 직접적인 감성을 분석하는 과정을 나타낸 것이다.
도 2를 참고하여 본 발명의 일 실시예로 직접적 감성 분석부(210)가 상기 운전자의 직접적인 감성을 분석하는 과정을 설명한다.
상기 직접적 감성 분석부(210)는 상기 생체 신호의 외부 환경 잡음을 제거 하기 위하여, 시계열 데이터인 전기적 신호 데이터를 고속 푸리에 변환(FFT, Fast Fourier Transform)을 이용하여 주파수 영역의 데이터로 변환하고, 노치필터(Notch filter)를 이용하여 잡음에 해당하는 장비 주파수를 제거하고, ICA(Independent Component Analysis) 알고리즘을 이용하여 잡음에 해당하는 운전자 근육 움직임을 제거한다.
상기 직접적 감성 분석부(210)는 잡음이 제거된 4가지 생체 신호에 대해서 감성과 관련된 특징 정보를 추출하기 위해서, 패턴인식 방법인 PCA(principal component analysis, 주성분 분석) 기법을 이용하여, 생체 신호에서 감성과 관련되어 이에 따라 반응하는 특징 정보를 추출한다.
상기 직접적 감성 분석부(210)는 상기 특징 정보에 기계 학습 알고리즘인 앙상블 기법을 적용하여 운전자 생체 신호에 기반한 상기 운전자의 직접적인 감성을 분석할 수 있다.
상기 간접적 감성 분석부(220)는, 상기 차량 주행 정보에 포함된 잡음을 제거한 후, 상기 운전자의 주행 습관과 관련된 반복되는 특징 정보를 추출하고, 상기 반복되는 특징 정보에 앙상블기법을 적용하여 상기 운전자의 간접적인 감성을 분석할 수 있다.
도 3은 본 발명의 일 실시예로 간접적 감성 분석부(220)가 상기 운전자의 간접적인 감성을 분석하는 과정을 나타낸 것이다.
도 3를 참고하여 본 발명의 일 실시예로 간접적 감성 분석부(220)가 상기 운전자의 간접적인 감성을 분석하는 과정을 설명한다.
상기 간접적 감성 분석부(220)는 가우시안 필터를 이용하여 상기 차량 주행 정보에 포함된 잡음을 제거할 수 있다.
상기 직접적 감성 분석부(210)는 잡음이 제거된 차량 주향 정보에 대해서 운전자의 주행 습관과 관련된 반복되는 특징 정보를 추출하기 위해서, 패턴인식 방법인 PCA(principal component analysis, 주성분 분석) 기법을 이용할 수 있다.
상기 직접적 감성 분석부(210)는 상기 추출된 특징 정보에 기계 학습 알고리즘인 앙상블 기법 중 하나인 Multi-Class SVM을 적용하여 운전자 주행 습관 또는 성향에 기반한 상기 운전자의 간접적인 감성을 분석할 수 있다.
상기 직접적 감성 분석부(210)는 상기 운전자의 간접적인 감성 분석의 결과로 상기 운전자의 주행 습관을 6가지로 분류된 카테고리인 과격, 조신, 급함, 느긋함, 적극적, 수동적으로 나타낼 수 있다. 하나의 간접적인 감성 분석의 결과에서 상기 카테고리들이 한번에 2개 이상 나타날 수 있으며, 상기 운전자의 주행 습관에서 각각의 카테고리가 차지하는 정도가 나타낼 수도 있다.
결국, 운전자의 주행 습관에 따라 과격하다, 조신하다, 급하다, 느긋하다, 적극적이다, 수동적이다 등의 개인적인 성향이 나타날 것이다.
상기 통합 감성 분석부(230)는, 상기 직접적 감성 분석의 결과, 상기 간접적 감성 분석의 결과 및 상기 운전자 감성 정보에 앙상블 기법을 적용하여 상기 운전자의 감성을 분석할 수 있다.
상기 통합 감성 분석부(230)는, 상기 앙상블 기법 적용 시, 상기 운전자 감성 정보 보다 상기 직접적 감성 분석의 결과 및 상기 간접적 감성 분석의 결과에 가중치를 주고, 상기 운전자의 감성을 분석한 결과를 표현함에 있어서, 8개로 분류된 감성 상태인 불안, 안정, 호감, 비호감, 편안, 불편함, 즐거움 및 즐겁지 않음 각각이, 상기 운전자의 감성에서 차지하는 정도를 표현할 수 있다.
도 4는 본 발명의 일 실시예로 통합 감성 분석부(230)가 운전자의 감성을 분석하는 과정을 나타낸 것이다.
도 4를 참고하여 본 발명의 일 실시예로 통합 감성 분석부(230)가 상기 운전자의 감성을 분석하는 과정을 설명한다.
통합 감성 분석부(230)는, 운전자의 감성을 분석하기 위하여 운전자의 생체 신호를 이용한 직접적 감성 분석 결과와 운전자의 개인 습관 또는 성향을 나타내는 ADAS가 추출한 차량 주행 정보 기반의 간접적 감성 분석 결과를 통합함으로써 최종적으로 운전자의 감성을 분석한다.
통합 감성 분석부(230)는, 상기 직접적 감성 분석 결과와 상기 간접적 감성 분석 결과뿐만 아니라 클라우드 서버에 저장된 현재까지의 운전자 감성 정보를 다운로드 받고 이를 추가적으로 이용하여 최종적으로 운전자의 감성을 분석할 수 있다.
클라우드 서버에는 현재까지 감성 인식 차량 제어 장치가 분석한 운전자의 감성 정보와 상기 감성 인식 차량 제어 장치가 웨어러블 디바이스로부터 전송받은 운전자의 생체 신호 및 ADAS로부터 전송받은 차량 주행 정보가 저장되어 있다. 즉, 틀라우드 서버에는 현재까지의 상기 감성 인식 차량 제어 장치가 전송받은 정보와 준석한 정보가 누적되어 방대한 양의 정보가 저장되어 있다. 이러한 방대한 양의 정보를 빅 데이터라고 하고도 하며, 이러한 빅 데이터를 분석하는 방법으로 앙상블 기법이 있다. 통합 감성 분석부(230)는 이러한 빅데이터를 분석한다.
이에 따라, 통합 감성 분석부(230)의 최종적인 운전자 감성 분석에 이용되는 정보에는 특별한 제한을 두지 않으며, 이는 소위 말하는 빅데이터를 활용하는 방법 중 하나인 앙상블 기법을 적용하기 때문에 다양한 정보가 운전자 감성 분석에 이용될 수 있을 것이다.
통합 감성 분석부(230)의 운전자 감성 분석 시, 운전자의 생체 신호 및 차량 주행 정보는 각종 잡음이 제거된 정보일 수 있다. 통합 감성 분석부(230)는 앙상블 기법을 적용하여 운전자 감성 분석을 수행할 때, 상기 운전자 감성 정보 보다 상기 직접적 감성 분석의 결과 및 상기 간접적 감성 분석의 결과에 가중치를 줄 수 있다. 이는 현재 분석된 운전자의 감성 정보가 저장되어 있던 정보보다 현재 운전자의 감성을 파악하는데 도움이 될 수 있기 때문이다.
통합 감성 분석부(230)의 최종적인 운전자 감성 분석 결과는, 운전자의 감성을 불안, 안정, 호감, 비호감, 편안, 불편함, 즐거움, 즐겁지 않음의 8가지 분류로 나누어 분석한 결과일 수 있다. 예를 들어 특정 운전자의 감성 분석 결과는 불안이 5, 안정이 95, 호감이 45, 비호감이 30, 편안이 10, 불편함이 80, 즐거움이 14, 즐겁지 않음이 80으로 나타날 수 있다.
상기 제어부(300)는, 상기 운전자 감성 분석의 결과에 대응하여 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치 중 적어도 하나를 제어하는 차량 제어 신호를 생성할 수 있다. 상기 제어부(300)는 상기 차량 제어 신호가 상기 첨단 운전자 지원 시스템에 송신되도록 통신부(100)를 제어할 수 있고, 첨단 운전자 지원 시스템은 상기 차량 제어 신호를 수신하여 상기 신호에 따라 차량을 제어할 수 있다.
상기 통신부(100)는, 상기 웨어러블 디바이스 및 상기 첨단 운전자 지원 시스템과 데이터 통신을 수행하는 근거리 통신부(110) 및 상기 클라우드 서버와 데이터 통신을 수행하는 무선 통신부(120)를 포함할 수 있다. 상기 근거리 통신부(110)는 블루투스 통신을 수행할 수 있다. 무선 통신부(120)는 와이파이를 통해 클라우드 서버와 데이터 통신을 수행할 수 있다. 클라우드 서버는 개인화되어 데이터의 업로드 또는 다운로드시 사용자 인증을 수행할 수 있고, 사용자 인증 수행시 각 장치의 Mac Address 정보를 이용할 수 있다.
상기 제어부(300)는, 상기 생체 신호, 상기 차량 주행 정보 및 상기 운전자 감성 분석의 결과가 상기 클라우드 서버에 송신되도록 상기 무선 통신부(120)를 제어할 수 있다.
본 발명에 따른 감성 인식 차량 제어 시스템은, 운전자의 심전도(ECG, electrocardiogram), 피부저항(GSR, galvanic skin response), 피부온도(SKT, skin temperature) 및 뇌파(EEG, electroencephalogram)가 포함된 생체 신호를 측정하는 웨어러블 디바이스, 차량에 구비되어, 상기 차량의 스티어링 휠의 조향 각도 및 토크(Torque), 액셀레이터(accelerator) 밟는 횟수 및 강도, 브레이크 밟는 횟수 및 강도, 주행 중 차선 변경 횟수 및 범위, 주행 도로, 차량 위치, 차량 속도 및 주행 시간이 포함된 차량 주행 정보를 추출하는 첨단 운전자 지원 시스템, 상기 운전자의 생체 정보와 차량 주행 정보가 누적된 정보인 운전자 감성 정보가 저장된 클라우드 서버 및 상기 웨어러블 디바이스로부터 상기 생체 신호를 전송 받고, 상기 첨단 운전자 지원 시스템으로부터 상기 차량 주행 정보를 전송 받고, 상기 클라우드 서버에 접속하여 상기 운전자 감성 정보를 다운로드 받고, 상기 생체 신호, 상기 차량 주행 정보 및 상기 운전자 감성 정보를 이용하여 상기 운전자의 감성을 분석하고, 상기 운전자 감성 분석의 결과에 대응하여 상기 운전자가 운전하는 차량을 제어하는 차량 제어 신호를 상기 차량에 구비된 첨단 운전자 지원 시스템에 송신하여 상기 차량을 제어하는 감성 인식 차량 제어 장치를 포함할 수 있다.
도 5는 본 발명에 따른 감성 인식 차량 제어 시스템에서 웨어러블 디바이스, 감성 인식 차량 제어 장치, 첨단 운전자 지원 시스템 및 클라우드 서버 통신을 수행하고, 운전자 감성을 분석하고, 차량 제어를 수행하는 과정을 나타낸 것이다.
상기 감성 인식 차량 제어 장치는, 상기 운전자 감성 분석의 결과, 상기 웨어러블 디바이스로부터 전송 받은 상기 생체 신호 및 상기 첨단 운전자 지원 시스템으로부터 전송 받은 상기 차량 주행 정보를 상기 클라우드 서버에 업로드할 수 있다. 상기 감성 인식 차량 제어 장치는, 상기 업로드를 수행하기 전에 운전자 감성 분석을 수행할 수도 있다. 업로드와 운전자 감성 분석 간의 순서는 무관하다.
상기 클라우드 서버는, 업로드 또는 다운로드가 정당한 사용자에 의한 것인지 인증되는 경우에만 상기 업로드 또는 다운로드가 수행될 수 있도록 할 수 있다.
상기 감성 인식 차량 제어 장치는, 상기 운전자 감성 분석의 결과에 대응하여 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치를 제어하는 차량 제어 신호를 생성하여 상기 첨단 운전자 지원 시스템에 송신할 수 있고, 상기 첨단 운전자 지원 시스템은, 상기 차량 제어 신호를 수신하고, 상기 차량 제어 신호에 따라 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치를 제어할 수 있다.
상기 첨단 운전자 지원 시스템은, 운전자가 선택할 수 있는 모드로 일반 모드 및 자율주행 모드를 가지고, 상기 일반 모드 선택 시 상기 차량 제어 신호에 따라 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치를 제어하고, 상기 자율주행 모드 선택 시 상기 차량 제어 신호에 따라 상기 차량의 음향장치 만을 제어할 수 있다.
도 6은 본 발명의 일 실시예로 감성 인식 차량 제어 장치가 첨단 운전자 지원 시스템에 제어 신호를 송신하여 차량 제어를 수행하는 것을 나타낸 것이다.
본 발명에 따른 감성 인식 차량 제어 방법은 웨어러블 디바이스가 운전자의 심전도(ECG, electrocardiogram), 피부저항(GSR, galvanic skin response), 피부온도(SKT, skin temperature) 및 뇌파(EEG, electroencephalogram)가 포함된 생체 신호를 측정하는 생체신호 측정 단계, 차량에 구비된 첨단 운전자 지원 시스템이 상기 차량의 스티어링 휠의 조향 각도 및 토크(Torque), 액셀레이터(accelerator) 밟는 횟수 및 강도, 브레이크 밟는 횟수 및 강도, 주행 중 차선 변경 횟수 및 범위, 주행 도로, 차량 위치, 차량 속도 및 주행 시간이 포함된 차량 주행 정보를 추출하는 차량 주행 정보 추출 단계, 감성 인식 차량 제어 장치가 상기 생체 신호 및 상기 차량 주행 정보를 전송 받고, 클라우드 서버에 접속하여 운전자 감성 정보를 다운로드 받는 정보 수집 단계, 상기 감성 인식 차량 제어 장치가 상기 생체 신호, 상기 차량 주행 정보 및 상기 운전자 감성 정보를 이용하여 상기 운전자의 감성을 분석하는 운전자 감성 분석 단계, 상기 감성 인식 차량 제어 장치가 상기 운전자 감성 분석의 결과에 대응하여 상기 운전자가 운전하는 차량을 제어하는 차량 제어 신호를 생성하고, 상기 차량 제어 신호를 상기 첨단 운전자 지원 시스템에 송신하는 제어 신호 송신 단계, 상기 첨단 운전자 지원 시스템이 상기 차량 제어 신호를 수신하고, 상기 차량 제어 신호에 따라 상기 차량을 제어하는 차량 제어 단계를 포함할 수 있다.
상기 정보 수집 단계는, 상기 감성 인식 차량 제어 장치가 상기 클라우드 서버에 접속할 때 정당한 사용자에 의한 것인지 인증을 수행하여 인증되는 경우에 운전자 감성 정보를 다운로드 받을 수 있다.
상기 운전자 감성 분석 단계는, 상기 생체 신호의 외부 환경으로 인한 잡음을 제거한 후, 감성과 관련된 특징 정보를 추출하고, 상기 추출된 특징 정보에 앙상블 기법을 적용하여 상기 운전자의 직접적인 감성을 분석하는 직접적 감성 분석 단계, 상기 차량 주행 정보에 포함된 잡음을 제거한 후, 상기 운전자의 주행 습관과 관련된 반복되는 특징 정보를 추출하고, 상기 반복되는 특징 정보에 앙상블기법을 적용하여 상기 운전자의 간접적인 감성을 분석하는 간접적 감성 분석 단계 및 상기 직접적 감성 분석의 결과, 상기 간접적 감성 분석의 결과 및 상기 운전자 감성 정보에 앙상블 기법을 적용하여 상기 운전자의 감성을 분석하는 통합 감성 분석 단계를 포함할 수 있다.
상기 제어 신호 송신 단계는, 상기 운전자 감성 분석의 결과에 대응하여 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치를 제어하는 차량 제어 신호를 생성하여 송신할 수 있다.
상기 차량 제어 단계는, 상기 차량 제어 신호에 따라 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치를 제어할 수 있다.
상기 차량 제어 단계는, 상기 운전자가 일반 모드 및 자율주행 모드 중 상기 일반 모드 선택 시 상기 차량 제어 신호에 따라 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치를 제어하고, 상기 자율주행 모드 선택 시 상기 차량 제어 신호에 따라 상기 차량의 음향장치 만을 제어할 수 있다.
이하 본 발명의 실시예를 설명한다. 이하 설명에서 스마트 디바이스는 본 발명에 따른 감성 인식 차량 제어 장치 일 수 있다. 생체 정보는 상기 생체 신호일 수 있고, ADAS 센서 정보는 상기 차량 주행 정보일 수 있다.
개인 스마트 디바이스 장치를 가진 운전자가 차량으로 접근하게 되면(블루투스 통신 가능 거리이내), 스마트 디바이스 장치에서는 클라우드 서버로 접근 (스마트 디바이스 장치의 Mac Address를 이용한 개인 인증을 먼저 수행한 후)하여 개인의 과거 생체정보 및 ADAS 센서 정보를 가져와서 최적의 차량 운행 조건 제공하기 위한 차량의 조향/현가/제동/음향 장치의 제어 신호를 생성하여 차량에게 블루투스 통신를 이용하여 전송한다. 이에 차량은 스마트 디바이스 장치로부터 받은 차량 제어 신호에 따라 차량의 조향/현가/제동/음향 장치를 제어한다.
운전자가 차량에 탑승후 운행을 시작할 때 앞서 언급한 것과 같이 차량의 조향/현가/제동/음향 장치는 제어된 상태이다.
이후 운전자가 차량을 운전하면서 얻어지는 생체 신호 및 ADAS 센서 정보들은 클라우드에서 다운로드된 과거의 데이터(생채 신호, ADAS 센서 정보)와 통합되어, 현재 데이터(0.7) 과거 데이터(0.3)의 가중치가 들어간 앙상블 러닝 결과를 고려하여 차량의 음향/제동/조향/현가 장치의 제어 신호를 송신하고, 차량 제어 상태를 업데이트 한다.
이때 상기 앙상블 러닝 결과에 현재 차량의 환경정보(차량속도, GPS 정보, 도심 또는 고속 도로의 위치 정보, 차량 주행 복잡도 등)의 조건 변수를 추가적으로 고려하여 차량 제어 신호를 송신할 수 있다.
예를 들면, 아래 표와 같다.
Figure pat00001
(단계란 것은 가중치의 곱을 의미한다.)
그리고 스마트 디바이스 장치는 운전자와 차량 간의 거리(블루투스 통신 거리)에 따라 자동으로 켜지거나 꺼지고, 클라우드 서버의 접속 시점도 결정된다. 이에 따라 스마트 디바이스 장치의 전원이 절약된다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
통신부 100
근거리 통신부 110
무선 통신부 120
감성 분석부 200
직접적 감성 분석부 210
간접적 감성 분석부 220
통합 감성 분석부 230
제어부 300

Claims (16)

  1. 웨어러블 디바이스, 클라우드 서버 및 차량에 구비된 첨단 운전자 지원 시스템(ADAS, Advanced driver assistance systems)와 데이터 통신을 수행하는 통신부;
    상기 웨어러블 디바이스로부터 수신된 운전자의 생체 신호, 상기 첨단 운전자 지원 시스템으로부터 수신된 차량 주행 정보가 포함된 신호 및 상기 클라우드 서버에 저장된 운전자 감성 정보를 이용하여 상기 운전자의 감성을 분석하는 감성 분석부; 및
    상기 운전자 감성 분석의 결과에 대응하여 상기 차량을 제어하는 차량 제어 신호를 생성하고, 상기 차량 제어 신호가 상기 첨단 운전자 지원 시스템에 송신되도록 상기 통신부를 제어하는 제어부; 를 포함하는 감성 인식 차량 제어 장치.
  2. 제 1 항에 있어서,
    상기 생체 신호는,
    상기 운전자의 심전도(ECG, electrocardiogram), 피부저항(GSR, galvanic skin response), 피부온도(SKT, skin temperature) 및 뇌파(EEG, electroencephalogram)를 포함하고,
    상기 차량 주행 정보는,
    스티어링 휠의 조향 각도 및 토크(Torque), 액셀레이터(accelerator) 밟는 횟수 및 강도, 브레이크 밟는 횟수 및 강도, 주행 중 차선 변경 횟수 및 범위, 주행 도로, 차량 위치, 차량 속도 및 주행 시간을 포함하고,
    상기 운전자 감성 정보는,
    상기 클라우드 서버에 현재까지 누적되어 저장된 상기 운전자의 생체 신호, 상기 운전자가 운행한 차량의 주행 정보를 포함하는 감성 인식 차량 제어 장치.
  3. 제 1 항에 있어서,
    상기 감성 분석부는,
    상기 생체 신호를 이용하여 상기 운전자의 직접적인 감성을 분석하는 직접적 감성 분석부;
    상기 차량 주행 정보를 이용하여 상기 운전자의 운전 습관을 나타내는 간접적 운전자 감성을 분석하는 간접적 감성 분석부; 및
    상기 직접적 감성 분석의 결과, 상기 간접적 감성 분석의 결과 및 상기 운전자 감성 정보를 통합하여 상기 운전자의 감성을 분석하는 통합 감성 분석부; 를 포함하는 감성 인식 차량 제어 장치.
  4. 제 2 항에 있어서,
    상기 직접적 감성 분석부는,
    상기 생체 신호의 외부 환경으로 인한 잡음을 제거한 후, 감성과 관련된 특징 정보를 추출하고, 상기 추출된 특징 정보에 앙상블 기법을 적용하여 상기 운전자의 직접적인 감성을 분석하고,
    상기 간접적 감성 분석부는,
    상기 차량 주행 정보에 포함된 잡음을 제거한 후, 상기 운전자의 주행 습관과 관련된 반복되는 특징 정보를 추출하고, 상기 반복되는 특징 정보에 앙상블기법을 적용하여 상기 운전자의 간접적인 감성을 분석하고,
    상기 통합 감성 분석부는,
    상기 직접적 감성 분석의 결과, 상기 간접적 감성 분석의 결과 및 상기 운전자 감성 정보에 앙상블 기법을 적용하여 상기 운전자의 감성을 분석하는 감성 인식 차량 제어 장치.
  5. 제 4 항에 있어서,
    상기 통합 감성 분석부는,
    상기 앙상블 기법 적용 시, 상기 운전자 감성 정보 보다 상기 직접적 감성 분석의 결과 및 상기 간접적 감성 분석의 결과에 가중치를 주고,
    상기 운전자의 감성을 분석한 결과를 표현함에 있어서, 8개로 분류된 감성 상태인 불안, 안정, 호감, 비호감, 편안, 불편함, 즐거움 및 즐겁지 않음 각각이, 상기 운전자의 감성에서 차지하는 정도를 표현하는 감성 인식 차량 제어 장치.
  6. 제 1 항에 있어서,
    상기 제어부는,
    상기 운전자 감성 분석의 결과에 대응하여 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치 중 적어도 하나를 제어하는 차량 제어 신호를 생성하는 감성 인식 차량 제어 장치.
  7. 제 1 항에 있어서,
    상기 통신부는,
    상기 웨어러블 디바이스 및 상기 첨단 운전자 지원 시스템과 데이터 통신을 수행하는 근거리 통신부; 및
    상기 클라우드 서버와 데이터 통신을 수행하는 무선 통신부; 를 포함하고,
    상기 제어부는,
    상기 생체 신호, 상기 차량 주행 정보 및 상기 운전자 감성 분석의 결과가 상기 클라우드 서버에 송신되도록 상기 무선 통신부를 제어하는 감성 인식 차량 제어 장치.
  8. 운전자의 심전도(ECG, electrocardiogram), 피부저항(GSR, galvanic skin response), 피부온도(SKT, skin temperature) 및 뇌파(EEG, electroencephalogram)가 포함된 생체 신호를 측정하는 웨어러블 디바이스;
    차량에 구비되어, 상기 차량의 스티어링 휠의 조향 각도 및 토크(Torque), 액셀레이터(accelerator) 밟는 횟수 및 강도, 브레이크 밟는 횟수 및 강도, 주행 중 차선 변경 횟수 및 범위, 주행 도로, 차량 위치, 차량 속도 및 주행 시간이 포함된 차량 주행 정보를 추출하는 첨단 운전자 지원 시스템;
    상기 운전자의 생체 정보와 차량 주행 정보가 누적된 정보인 운전자 감성 정보가 저장된 클라우드 서버; 및
    상기 웨어러블 디바이스로부터 상기 생체 신호를 전송 받고, 상기 첨단 운전자 지원 시스템으로부터 상기 차량 주행 정보를 전송 받고, 상기 클라우드 서버에 접속하여 상기 운전자 감성 정보를 다운로드 받고, 상기 생체 신호, 상기 차량 주행 정보 및 상기 운전자 감성 정보를 이용하여 상기 운전자의 감성을 분석하고, 상기 운전자 감성 분석의 결과에 대응하여 상기 운전자가 운전하는 차량을 제어하는 차량 제어 신호를 상기 차량에 구비된 첨단 운전자 지원 시스템에 송신하여 상기 차량을 제어하는 감성 인식 차량 제어 장치; 를 포함하는 감성 인식 차량 제어 시스템.
  9. 제 8 항에 있어서,
    상기 감성 인식 차량 제어 장치는,
    상기 운전자 감성 분석의 결과, 상기 웨어러블 디바이스로부터 전송 받은 상기 생체 신호 및 상기 첨단 운전자 지원 시스템으로부터 전송 받은 상기 차량 주행 정보를 상기 클라우드 서버에 업로드 하고,
    상기 클라우드 서버는,
    업로드 또는 다운로드가 정당한 사용자에 의한 것인지 인증되는 경우에만 상기 업로드 또는 다운로드가 수행될 수 있도록 하는 감성 인식 차량 제어 시스템.
  10. 제 8 항에 있어서,
    상기 감성 인식 차량 제어 장치는,
    상기 운전자 감성 분석의 결과에 대응하여 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치를 제어하는 차량 제어 신호를 생성하여 상기 첨단 운전자 지원 시스템에 송신하고,
    상기 첨단 운전자 지원 시스템은,
    상기 차량 제어 신호를 수신하고, 상기 차량 제어 신호에 따라 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치를 제어하는 감성 인식 차량 제어 시스템.
  11. 제 10 항에 있어서,
    상기 첨단 운전자 지원 시스템은,
    운전자가 선택할 수 있는 모드로 일반 모드 및 자율주행 모드를 가지고, 상기 일반 모드 선택 시 상기 차량 제어 신호에 따라 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치를 제어하고, 상기 자율주행 모드 선택 시 상기 차량 제어 신호에 따라 상기 차량의 음향장치 만을 제어하는 감성 인식 차량 제어 시스템.
  12. 웨어러블 디바이스가 운전자의 심전도(ECG, electrocardiogram), 피부저항(GSR, galvanic skin response), 피부온도(SKT, skin temperature) 및 뇌파(EEG, electroencephalogram)가 포함된 생체 신호를 측정하는 생체신호 측정 단계;
    차량에 구비된 첨단 운전자 지원 시스템이 상기 차량의 스티어링 휠의 조향 각도 및 토크(Torque), 액셀레이터(accelerator) 밟는 횟수 및 강도, 브레이크 밟는 횟수 및 강도, 주행 중 차선 변경 횟수 및 범위, 주행 도로, 차량 위치, 차량 속도 및 주행 시간이 포함된 차량 주행 정보를 추출하는 차량 주행 정보 추출 단계;
    감성 인식 차량 제어 장치가 상기 생체 신호 및 상기 차량 주행 정보를 전송 받고, 클라우드 서버에 접속하여 운전자 감성 정보를 다운로드 받는 정보 수집 단계;
    상기 감성 인식 차량 제어 장치가 상기 생체 신호, 상기 차량 주행 정보 및 상기 운전자 감성 정보를 이용하여 상기 운전자의 감성을 분석하는 운전자 감성 분석 단계;
    상기 감성 인식 차량 제어 장치가 상기 운전자 감성 분석의 결과에 대응하여 상기 운전자가 운전하는 차량을 제어하는 차량 제어 신호를 생성하고, 상기 차량 제어 신호를 상기 첨단 운전자 지원 시스템에 송신하는 제어 신호 송신 단계;
    상기 첨단 운전자 지원 시스템이 상기 차량 제어 신호를 수신하고, 상기 차량 제어 신호에 따라 상기 차량을 제어하는 차량 제어 단계; 를 포함하는 감성 인식 차량 제어 방법.
  13. 제 12 항에 있어서,
    상기 정보 수집 단계는,
    상기 감성 인식 차량 제어 장치가 상기 클라우드 서버에 접속할 때 정당한 사용자에 의한 것인지 인증을 수행하여 인증되는 경우에 운전자 감성 정보를 다운로드 받는 감성 인식 차량 제어 방법.
  14. 제 12 항에 있어서,
    상기 운전자 감성 분석 단계는,
    상기 생체 신호의 외부 환경으로 인한 잡음을 제거한 후, 감성과 관련된 특징 정보를 추출하고, 상기 추출된 특징 정보에 앙상블 기법을 적용하여 상기 운전자의 직접적인 감성을 분석하는 직접적 감성 분석 단계;
    상기 차량 주행 정보에 포함된 잡음을 제거한 후, 상기 운전자의 주행 습관과 관련된 반복되는 특징 정보를 추출하고, 상기 반복되는 특징 정보에 앙상블기법을 적용하여 상기 운전자의 간접적인 감성을 분석하는 간접적 감성 분석 단계; 및
    상기 직접적 감성 분석의 결과, 상기 간접적 감성 분석의 결과 및 상기 운전자 감성 정보에 앙상블 기법을 적용하여 상기 운전자의 감성을 분석하는 통합 감성 분석 단계; 를 포함하는 감성 인식 차량 제어 방법.
  15. 제 12 항에 있어서,
    상기 제어 신호 송신 단계는,
    상기 운전자 감성 분석의 결과에 대응하여 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치를 제어하는 차량 제어 신호를 생성하여 송신하고,
    상기 차량 제어 단계는,
    상기 차량 제어 신호에 따라 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치를 제어하는 감성 인식 차량 제어 방법.
  16. 제 15 항에 있어서,
    상기 차량 제어 단계는,
    상기 운전자가 일반 모드 및 자율주행 모드 중 상기 일반 모드 선택 시 상기 차량 제어 신호에 따라 상기 차량의 조향장치, 현가장치, 제동장치, 음향장치, 공조장치 및 디스플레이장치를 제어하고, 상기 자율주행 모드 선택 시 상기 차량 제어 신호에 따라 상기 차량의 음향장치 만을 제어하는 감성 인식 차량 제어 방법.

KR1020150112649A 2015-08-10 2015-08-10 감성 인식 차량 제어 장치, 시스템 및 방법 KR102330385B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150112649A KR102330385B1 (ko) 2015-08-10 2015-08-10 감성 인식 차량 제어 장치, 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150112649A KR102330385B1 (ko) 2015-08-10 2015-08-10 감성 인식 차량 제어 장치, 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170018696A true KR20170018696A (ko) 2017-02-20
KR102330385B1 KR102330385B1 (ko) 2021-11-23

Family

ID=58265166

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150112649A KR102330385B1 (ko) 2015-08-10 2015-08-10 감성 인식 차량 제어 장치, 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102330385B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108382331A (zh) * 2018-02-10 2018-08-10 山东国金汽车制造有限公司 一种适用于新能源汽车的远程监控终端
KR20190027657A (ko) * 2017-09-07 2019-03-15 삼성전자주식회사 차량의 주행을 보조하는 장치 및 방법
KR20190063450A (ko) * 2017-11-29 2019-06-07 한국전자통신연구원 운전자 감정에 따른 운전자와 차량간의 상호작용 제공 장치 및 그 방법
KR20190073207A (ko) * 2017-12-18 2019-06-26 현대모비스 주식회사 안전운전 지원 장치 및 방법
KR20200026545A (ko) * 2018-09-03 2020-03-11 현대자동차주식회사 차량 및 차량 시스템
KR102108409B1 (ko) * 2019-07-01 2020-05-12 인천대학교 산학협력단 운전자 생체 신호 기반의 도로 상황 대응 시스템 및 방법
KR20200055171A (ko) * 2018-11-07 2020-05-21 현대모비스 주식회사 안전운전 지원 장치 및 방법
US10997155B2 (en) 2018-04-19 2021-05-04 Hyundai Motor Company Data classification apparatus, vehicle including the same, and control method of the same
KR102373572B1 (ko) * 2020-11-25 2022-03-10 주식회사 펀진 서라운드 뷰 모니터링 시스템 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060066822A (ko) * 2004-12-14 2006-06-19 현대자동차주식회사 차량용 운전자 생체변화 자가감시 및 피드백 시스템
KR101181909B1 (ko) * 2012-05-14 2012-09-10 케이티텔레캅 주식회사 차량용 블랙박스 기능을 구비한 운전 관리 장치를 이용한 운전자 원격 진단 시스템
KR20130023535A (ko) * 2011-08-29 2013-03-08 한국전자통신연구원 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
KR20140022312A (ko) * 2012-08-14 2014-02-24 엘지전자 주식회사 운전자의 생체 신호 측정 장치
KR20140096609A (ko) * 2013-01-28 2014-08-06 주식회사 라이프사이언스테크놀로지 생체정보를 통한 운전자 개인인식 및 운전상태 변화정보 제공방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060066822A (ko) * 2004-12-14 2006-06-19 현대자동차주식회사 차량용 운전자 생체변화 자가감시 및 피드백 시스템
KR20130023535A (ko) * 2011-08-29 2013-03-08 한국전자통신연구원 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
KR101181909B1 (ko) * 2012-05-14 2012-09-10 케이티텔레캅 주식회사 차량용 블랙박스 기능을 구비한 운전 관리 장치를 이용한 운전자 원격 진단 시스템
KR20140022312A (ko) * 2012-08-14 2014-02-24 엘지전자 주식회사 운전자의 생체 신호 측정 장치
KR20140096609A (ko) * 2013-01-28 2014-08-06 주식회사 라이프사이언스테크놀로지 생체정보를 통한 운전자 개인인식 및 운전상태 변화정보 제공방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190027657A (ko) * 2017-09-07 2019-03-15 삼성전자주식회사 차량의 주행을 보조하는 장치 및 방법
KR20190063450A (ko) * 2017-11-29 2019-06-07 한국전자통신연구원 운전자 감정에 따른 운전자와 차량간의 상호작용 제공 장치 및 그 방법
KR20190073207A (ko) * 2017-12-18 2019-06-26 현대모비스 주식회사 안전운전 지원 장치 및 방법
CN109941288A (zh) * 2017-12-18 2019-06-28 现代摩比斯株式会社 安全驾驶辅助装置和方法
KR20210117229A (ko) * 2017-12-18 2021-09-28 현대모비스 주식회사 안전운전 지원 장치 및 방법
CN108382331A (zh) * 2018-02-10 2018-08-10 山东国金汽车制造有限公司 一种适用于新能源汽车的远程监控终端
US10997155B2 (en) 2018-04-19 2021-05-04 Hyundai Motor Company Data classification apparatus, vehicle including the same, and control method of the same
KR20200026545A (ko) * 2018-09-03 2020-03-11 현대자동차주식회사 차량 및 차량 시스템
KR20200055171A (ko) * 2018-11-07 2020-05-21 현대모비스 주식회사 안전운전 지원 장치 및 방법
KR102108409B1 (ko) * 2019-07-01 2020-05-12 인천대학교 산학협력단 운전자 생체 신호 기반의 도로 상황 대응 시스템 및 방법
KR102373572B1 (ko) * 2020-11-25 2022-03-10 주식회사 펀진 서라운드 뷰 모니터링 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102330385B1 (ko) 2021-11-23

Similar Documents

Publication Publication Date Title
KR20170018696A (ko) 감성 인식 차량 제어 장치, 시스템 및 방법
US20210221404A1 (en) Driver predictive mental response profile and application to automated vehicle brain interface control
CN110422174A (zh) 生物特征传感器融合以对车辆乘客状态进行分类
Lin et al. Adaptive EEG-based alertness estimation system by using ICA-based fuzzy neural networks
KR102045569B1 (ko) 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법
Lin et al. EEG-based assessment of driver cognitive responses in a dynamic virtual-reality driving environment
DE102018207069B4 (de) Verfahren und Steuereinheit zum Betreiben eines autonomen Fahrzeugs
KR101446845B1 (ko) 뇌파를 이용한 주행체 제어 방법, 장치 및 그 방법을 수행하기 위한 프로그램을 기록한 기록매체
JP2022523686A (ja) 運転者の認知状態の検出
KR101518575B1 (ko) Bci를 위한 사용자 의도인지 분석 방법
JP4867215B2 (ja) 生理・心理状態判定装置、生理・心理状態判定方法、リファレンスデータ生成装置、及びリファレンスデータ生成方法。
EP3882097A1 (en) Techniques for separating driving emotion from media induced emotion in a driver monitoring system
CN107554528A (zh) 驾乘人员的疲劳等级检测方法及装置、存储介质、终端
CN112455461B (zh) 自动驾驶车辆的人车交互的方法、自动驾驶系统
CN107168313A (zh) 控制车辆驾驶的方法及装置
Huve et al. Online recognition of the mental states of drivers with an fnirs-based brain-computer interface using deep neural network
WO2020039994A1 (ja) カーシェアリングシステム、運転制御調整装置、および車両の嗜好適合化方法
Raimundo et al. Driving simulator for performance monitoring with physiological sensors
DE102019208979A1 (de) Steuergerät zum Einsatz in einem Kraftfahrzeug
JP6648788B1 (ja) 運転制御調整装置および運転制御調整方法
Nader et al. Using BCI and EEG to process and analyze driver’s brain activity signals during VR simulation
Peruzzini et al. Toward the Definition of a Technological Set-up for Drivers’ Health Status Monitoring
Tiwari et al. Design approach for EEG-based human computer interaction driver monitoring system
JP6550952B2 (ja) 脳波の分析方法および分析装置
KR102507038B1 (ko) 안전을 위한 운전자 감시 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant