KR102579371B1 - 운전자 감성 인식 방법 및 장치 - Google Patents
운전자 감성 인식 방법 및 장치 Download PDFInfo
- Publication number
- KR102579371B1 KR102579371B1 KR1020190020798A KR20190020798A KR102579371B1 KR 102579371 B1 KR102579371 B1 KR 102579371B1 KR 1020190020798 A KR1020190020798 A KR 1020190020798A KR 20190020798 A KR20190020798 A KR 20190020798A KR 102579371 B1 KR102579371 B1 KR 102579371B1
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- dominant
- emotional state
- emotion
- emotion recognition
- Prior art date
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000002996 emotional effect Effects 0.000 claims abstract description 211
- 230000008909 emotion recognition Effects 0.000 claims abstract description 139
- 230000003993 interaction Effects 0.000 claims abstract description 84
- 238000006243 chemical reaction Methods 0.000 claims abstract description 50
- 230000001939 inductive effect Effects 0.000 claims abstract description 25
- 230000009471 action Effects 0.000 claims description 62
- 230000004044 response Effects 0.000 claims description 57
- 230000006698 induction Effects 0.000 claims description 39
- 238000005259 measurement Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 30
- 230000008859 change Effects 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002222 downregulating effect Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1123—Discriminating type of movement, e.g. walking or running
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Automation & Control Theory (AREA)
- Psychiatry (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
Abstract
운전자의 감정인식을 하기 위한 방법 및 장치가 개시된다. 본 발명에 따른 운전자 감정인식 방법은, 차량 상태정보 및 운전자 상태정보 중 적어도 하나를 포함하는 감정인식정보를 수신하는 단계, 상기 감정인식정보 및 감정인식 모델정보에 기초하여 상기 운전자가 가지는 하나 이상의 감정상태들 중 지배적인 감정상태가 존재하는지 여부를 판별하는 단계 및 상기 운전자의 지배적인 감정상태가 존재한다 판별한 경우, 상기 판별한 지배적인 감정상태에 기초해서 결정된 상기 운전자에 대한 반응유도 상호작용을 상기 운전자와 수행하는 단계를 포함한다.
Description
본 발명은 운전자 감성 인식 방법 및 장치에 관한 것으로, 상세하게는 운전자의 감정정보 및 차량상태정보에 기초하여 운전자와의 반응유도 상호작용 및 그에 대한 반응 확인을 통해 운전자의 감정 상태에 대한 인식 정확성을 향상시키는 방법 및 장치에 관한 것이다.
자동차 이용 인구 수의 대폭적인 증가에도 불구하고 도로 증설은 이에 미치지 못하고 있어 교통 체증이 날로 늘고 있다. 이러한 상황에서의 운전자는 운전시 여러 스트레스 상항에 놓이게 되어, 운전자의 안전 운행에 문제가 발생할 수 있다. 또한 인구 고령화에 따라 고령 운전자의 운전으로 인한 교통 사고 발생 비율이 점점 높아지고 있다.
한편, 인간의 감정(감성을 포함)을 측정하기 위한 감정 인식 기술이 주목 받고 있다. 감정 인식 기술은 안면의 표현 분석, 안구의 움직임 분석, 사용 언어 분석 및 인체의 다양한 생체 신호 분석 등을 통해 인간의 감정을 인식한다.
또한 완전한 자율주행 차량의 개발 및 보급 전에 인간 운전자의 관여를 통한 준(semi)자율주행 차량에 대한 수요도 클 것으로 예상된다. 전술한 이러한 상황들을 고려하면 운전자(이하의 본 발명에서의 운전자는 인간 운전자를 의미함)의 감정상태에 대한 신속하고 정확한 인식을 통해 운전자의 안전성을 높일 필요가 있다.
한편, 운전자가 느끼는 감정은 복합적인 운전 환경에 의해 발생하므로 특정 조건에서 동일한 감정을 느낀다고 단언할 수 없다. 따라서, 운전 중 발생하는 상황에 따라 지속적으로 감정 인식 방법과 상호 작용 방법을 갱신해야 할 필요가 있다.
그런데, 종래의 운전자 감정 인식 기술은 미리 학습된 감정 인식 장치 및 방법에 따라 운전자의 감정을 인식하고, 미리 정의된 상호 작용 장치 및 방법에 따라 운전자에게 피드백을 제공하는 것에 관한 것이 주를 이루고 있다. 이러한 경우, 미리 학습된 감정 인식 방법에 의존적이며 미리 정의된 상호 작용 방법에 제한된 피드백을 제공할 수 밖에 없는 문제점이 있으며, 또한 안전에 관련되어 고도의 신뢰도가 요구되는 운전자의 감정 인식에 대하여 충분한 신뢰도를 보장하기 어렵다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 운전자의 감정 정보 및 차량상태 정보에 기초하는 운전자의 감정상태를 파악하는 방법 및 장치를 제공하는 데 있다.
본 발명의 다른 목적은, 운전자와 차량 간의 반응유도 상호 작용 수행 과정을 통해 불명확한 운전자의 감정상태를 신속하고도 정확하게 파악하는 방법 및 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 운전자 감정인식 방법은 차량 상태정보 및 운전자 감정상태정보 중 적어도 하나를 포함하는 감정인식정보를 수신하는 단계, 상기 감정인식정보 및 감정인식 모델에 기초하여 상기 운전자가 가지는 하나 이상의 감정상태들 중 지배적인 감정상태가 존재하는지 여부를 판별하는 단계 및 상기 운전자의 지배적인 감정상태가 존재한다 판별한 경우, 상기 판별한 지배적인 감정상태에 기초해서 결정된 상기 운전자에 대한 반응유도 상호작용을 상기 운전자와 수행하는 단계를 포함한다.
본 발명의 일 실시예에 따른 운전자 감정인식 방법에서의 상기 지배적인 감정상태 존재 여부를 판별하는 단계는 상기 감정인식정보로부터 상기 운전자가 가지는 감정상태의 수를 파악하는 단계, 상기 파악된 감정상태 각각을 지배감정지수로 전환하는 단계, 상기 지배감정지수들 중 소정의 기준치를 도과하는 지배감정지수가 존재하는지를 파악하는 단계 및 상기 기준치를 도과하는 지배감정지수가 존재하는 경우, 상기 소정의 기준치를 도과하는 지배감정지수들 중 가장 많이 기준치를 도과하는 지배감정지수에 해당하는 감정상태를 지배적인 감정상태로 결정하는 단계를 포함한다.
본 발명의 일 실시예에 따른 운전자 감정인식 방법에서의 상기 운전자에 대한 반응유도 상호작용을 상기 운전자와 수행하는 단계는 상기 운전자에게 운전 제어와 관련된 특정 행위의 수행을 요청하는 단계, 상기 운전자로부터 상기 특정 행위의 수행 요청에 대한 운전자 피드백(feedback) 정보를 수신하는 단계, 상기 수신한 운전자 피드백 정보가 긍정적(positive)인 반응으로 판별되면 상기 반응유도 상호작용에 대한 가중치를 상향 조절하는 단계 및 상기 수신한 운전자 피드백 정보가 부정적(negative)인 반응으로 판별되면 상기 반응유도 상호작용에 대한 가중치를 하향 조절하는 단계를 포함한다.
본 발명의 일 실시예에 따른 운전자 감정인식 방법에서의 상기 반응유도 상호작용에 대한 가중치를 상향 조절하는 단계는 상기 지배적인 감정상태 존재 여부 판별에서의 지배감정지수 전환시의 가중치를 상향 조절하는 단계 및 상기 운전자와의 반응유도 상호작용 수행에서의 상기 특정 행위의 수행 요청에 대한 가중치를 상향 조절하는 단계 중 적어도 하나를 포함한다.
본 발명의 일 실시예에 따른 운전자 감정인식 방법에서의 상기 반응유도 상호작용에 대한 가중치를 하향 조절하는 단계는 상기 지배적인 감정상태 존재 여부 판별에서의 지배감정지수 전환시의 가중치를 하향 조절하는 단계 및 상기 운전자와의 반응유도 상호작용 수행에서의 상기 특정 행위의 수행 요청에 대한 가중치를 하향 조절하는 단계 중 적어도 하나를 포함한다.
본 발명의 일 실시예에 따른 운전자 감정인식 방법에서 상기 운전자의 지배적인 감정상태가 존재하지 않는다 판별한 경우, 상기 운전자의 지배적인 감정상태 존재 여부 판별 단계에서 도출된 상기 운전자의 적어도 하나의 감정상태 중에서 지배감정지수가 높은 순으로 N개의 감정상태를 선택하는 단계, 상기 N개의 감정상태 중 임의로 선택된 감정상태를 유보적 지배감정상태로 결정하는 단계 및 상기 결정된 유보적 지배감정상태에 대한 정보에 기초해서 결정된 상기 운전자에 대한 반응유도 상호작용을 상기 운전자와 수행하는 단계를 더 포함하는 운전자 감정인식 방법.
본 발명의 일 실시예에 따른 운전자 감정인식 방법에서의 상기 반응유도 상호작용에 대한 가중치를 하향 조절하는 단계는 상기 운전자의 지배적인 감정상태가 존재한다 판별한 경우에서 상기 운전자 피드백 정보가 부정적인 반응을 지시하는 경우에는, 상기 운전자의 지배적인 감정상태에 대한 특정 행위의 수행을 요청을 변경하는 단계 및 상기 운전자의 지배적인 감정상태가 존재하지 않는다 판별한 경우에서 상기 운전자 피드백 정보가 부정적인 반응을 지시하는 경우에는, 상기 결정된 유보적 지배감정상태를 갱신하는 단계를 포함한다
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 운전자 감정인식 장치는 차량 상태정보 및 운전자 감정상태정보 중 적어도 하나를 포함하는 감정인식정보를 수신하는 감정인식정보 입력부, 상기 운전자의 감정인식모델을 저장하는 감정인식모델 저장부, 상기 수신한 감정인식정보와 상기 감정인식모델에 기초하여 상기 운전자의 지배적 감정상태정보 및 유보적 지배감정상태정보 중 적어도 하나를 생성하는 운전자감정 인식부, 상기 판별된 운전자의 지배적인 감정상태정보 및 유보적 지배감정상태정보 중 적어도 하나에 기초하여 상기 운전자에게 운전제어관련 특정행위 수행을 요청하는 상호작용 결정부, 상기 운전자로부터 상기 특정행위 수행 요청에 대한 운전자 피드백 정보를 수신하는 운전자반응 측정부 및 상기 운전자의 감정인식정보, 지배적 감정상태정보, 및 유보적 지배감정상태정보 중 적어도 하나를 저장하는 인식정보 저장부를 포함한다.
본 발명의 다른 실시예에 따른 운전자 감정인식 장치는 상기 운전자 피드백에 기초해서 생성되는 상기 운전자에 대한 감정인식모델 갱신에 관한 정보에 기초하여 상기 감정인식모델의 갱신을 수행하는 감정인식모델 갱신부를 더 포함한다.
또한 상기 운전자감정 인식부는 상기 감정인식정보로부터 상기 운전자가 가지는 감정상태의 수를 파악하는 단계, 상기 파악된 감정상태 각각을 지배감정지수로 전환하는 단계, 상기 지배감정지수들 중 소정의 기준치를 도과하는 지배감정지수가 존재하는지를 파악하는 단계 및 상기 기준치를 도과하는 지배감정지수가 존재하는 경우, 상기 소정의 기준치를 도과하는 지배감정지수들 중 가장 많이 기준치를 도과하는 지배감정지수에 해당하는 감정상태를 지배적인 감정상태정보로서 생성하는 단계를 수행한다.
또한 상기 운전자감정 인식부는 상기 감정인식정보로부터 상기 운전자가 가지는 감정상태의 수를 파악하는 단계, 상기 파악된 감정상태 각각을 지배감정지수로 전환하는 단계, 상기 지배감정지수들 중 소정의 기준치를 도과하는 지배감정지수가 존재하는지를 파악하는 단계 및 상기 기준치를 도과하는 지배감정지수가 존재하지 않는 경우, 상기 지배감정지수들 중 지배감정지수가 높은 순으로 N개의 지배감정지수를 선택하는 단계, 상기 N개의 지배감정지수 중 임의로 선택된 하나의 지배감정지수와 연관된 감정상태를 유보적 지배감정상태정보로서 생성하는 단계를 더 수행한다.
또한 상기 운전자반응 측정부는 상기 수신한 운전자 피드백 정보가 긍정적(positive)인 반응으로 판별되면 상기 운전자에게의 운전제어관련 특정행위 수행요청에 대한 가중치를 상향 조절하고, 상기 가중치를 상향 조절하는 것은 상기 운전자감정 인식부에서의 지배적 감정상태정보 생성에서의 가중치를 상향 조절하는 단계 및 상기 상호작용 결정부에서의 상기 특정 행위의 수행 요청에 대한 가중치를 상향 조절하는 단계 중 적어도 하나를 수행한다.
또한 상기 운전자반응 측정부는 상기 수신한 운전자 피드백 정보가 부정적(negative)인 반응으로 판별되면 상기 운전자에게의 운전제어관련 특정행위 수행요청에 대한 가중치를 하향 조절하고, 상기 가중치를 하향 조절하는 것은 상기 운전자감정 인식부에서의 유보적 지배감정상태정보 생성에서의 가중치를 하향 조절하는 단계 및 상기 상호작용 결정부에서의 상기 특정 행위의 수행 요청에 대한 가중치를 하향 조절하는 단계 중 적어도 하나를 수행한다.
본 발명의 다른 실시예에 따른 운전자 감정인식 장치에서의 상기 상호작용 결정부에서의 상기 특정 행위의 수행 요청에 대한 가중치를 하향 조절하는 단계는 상기 상호작용 결정부의 상기 지배적인 감정상태정보에 기초한 상기 운전자에게의 운전제어관련 특정행위 수행 요청에 대해 상기 운전자반응 측정부가 부정적인 운전자 피드백 정보를 수신한 경우, 상기 운전자의 지배감정상태 정보와 관련된 운전제어관련 특정행위 수행 요청을 변경하는 단계 및 상기 상호작용 결정부의 상기 유보적 지배감정상태정보에 기초한 상기 운전자에게의 운전제어관련 특정행위 수행 요청에 대해 상기 운전자반응 측정부가 부정적인 운전자 피드백 정보를 수신한 경우, 상기 생성된 유보적 지배감정상태정보를 갱신하는 단계를 수행한다.
상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 운전자 감정인식 방법은, 차량 상태정보 및 운전자 감정상태정보 중 적어도 하나를 포함하는 감정인식정보를 수신하는 단계, 상기 감정인식정보에 포함된 적어도 하나의 운전자의 감정상태를 도출하는 단계, 상기 도출된 운전자의 감정상태를 지배감정지수로 전환하는 단계, 상기 전환된 지배감정지수를 크기순으로 정렬하는 단계 및 상기 정렬된 지배감정지수와 지배적인 감정 결정을 위한 기준치를 비교하여 지배적인 감정의 존재 여부를 판단하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 운전자 감정인식 방법에서의 상기 지배적인 감정의 존재여부를 판단하는 단계는 상기 기준치보다 큰 지배감정지수를 도출하는 단계 및 상기 기준치보다 큰 지배감정지수가 하나 이상인 경우 가장 큰 지배감정지수를 선택하여 이와 연관된 감정상태를 운전자의 지배적인 감정상태로 결정하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 운전자 감정인식 방법에서의 상기 지배적인 감정의 존재여부를 판단하는 단계는 상기 기준치보다 큰 지배감정지수를 도출하는 단계, 상기 기준치보다 큰 지배감정지수가 없는 경우 지배감정지수가 높은 순으로 N개의 지배감정지수를 선택하는 단계 및 상기 N개의 지배감정지수 중 임의로 선택된 지배감정지수와 연관된 감정상태를 유보적 지배감정상태로 결정하는 단계를 포함한다.
본 발명에 의하면, 운전자의 감정상태정보 및 차량 상태정보 분석에 기초하는 운전자-차량 간의 반응유도 상호 작용 확인 과정을 통해 운전자 감정상태 파악의 정확성을 높일 수 있다.
도 1는 본 발명의 일 실시예에 따른 운전자 감정인식 방법을 설명하는 흐름도.
도 2는 본 발명의 일 실시예에 따른 지배적 감정상태 및 유보적 지배감정상태를 결정하는 방법을 설명하는 흐름도.
도 3은 본 발명의 일 실시예에 따른 운전자 감정인식 장치를 설명하는 블록도.
도 2는 본 발명의 일 실시예에 따른 지배적 감정상태 및 유보적 지배감정상태를 결정하는 방법을 설명하는 흐름도.
도 3은 본 발명의 일 실시예에 따른 운전자 감정인식 장치를 설명하는 블록도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 몇몇 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 권리범위는 실시예들로부터 관념되는 본 발명의 기술적 사상에 속하는 모든 변경, 변형, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에만, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 제시되는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
기술적이거나 과학적인 용어를 포함해서 본 명세서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있으며, 이상적이거나 과도하게 축소된 형식적인 의미로 해석되지 않아야 할 것이며, 본 명세서에서 어떤 용어의 의미를 정의할 경우 해 용어는 그 정의된 대로 해석되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1는 본 발명의 일 실시예에 따른 운전자 감정인식 방법을 설명하는 흐름도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 운전자 감정인식 방법은 먼저 운전자의 감정 상태에 대한 정보(운전자 상태정보라 칭함)와 해당 운전자가 운전하는 차량의 상태에 대한 정보(차량상태정보)를 포함하는 감정인식정보를 획득한다(S110).
운전자 감정상태정보는 운전자의 표정, 대화 내용, 행동(제스쳐 포함), 및 혈압, 체온 등의 생체 신호를 포함한다. 운전자 감정상태정보는 차량 내 설치된 센서(카메라, 영상 센서, 온도 센서 등)들을 이용해 측정될 수 있다. 차량상태정보는 차량의 운행 관련 정보로서 차량의 속도, 가감속 정도, 회전 상태, 급발진, 내외부 조명 상태, 소음 상태 등에 대한 것이다. 이러한 차량상태정보는 차량 내 탑재된 각종 센서류로부터 측정되거나 ECU(electro control unit)와 같은 차량 내 장치를 통해 전달받을 수 있다.
획득한 감정인식정보를 사전에 구비되어 있는 감정인식모델과 비교한 결과에 기초하여 해당 운전자의 감정상태를 인식한다(S120). 운전자 감정상태 인식을 통해 해당 운전자가 가지고 있다 생각되는 감정상태를 하나 이상 인식할 수 있다. 즉, 운전자가 현재 즐거운 감정을 가진다고도 인식할 수 있고, 슬픈 감정을 가진다고도 할 수 있고, 피곤하고 쉬고 싶어하는 감정을 가진다고도 판단할 수 있다.
본 발명의 일 실시예에 따른 감정인식 방법에서는 감정인식정보와 감정인식모델의 비교에 기초하여 해당 운전자의 현재 주된 감정상태라 할 수 있는 지배적 감정상태가 존재하는지를 판단한다(S130). 지배적 감정상태가 존재하는지를 판단하기 위해서는 소정의 기준치(임계치)를 도과하는 감정상태가 존재하는지를 파악한다(만약 두 개 이상의 감정상태가 소정의 기준치를 도과하는 경우 보다 더 큰 감정상태를 지배적 감정상태로 파악한다. 감정상태와 기준치를 비교하는 방법에 대해서는 후술한다).
지배적 감정상태가 존재하는지에 대해 판단한 결과 소정의 기준치를 도과하는 감정상태가 없는 경우(인식유보상태인 경우) 유보적 지배감정상태를 결정한다(S160). 유보적 지배감정상태는 지배적 감정상태에 해당하지는 않으나 인식된 다수의 감정상태 중 후속하는 반응유도 상호작용 절차 진행을 위해 임시로 지배적인 감정상태로서 설정한 감정상태를 의미하며 상세한 설명은 후술한다.
이와 같은 절차를 통해 지배적 감정상태나 유보적 지배감정상태를 판별한 후 해당하는 감정상태에 맞는 특정 행위를 수행하는 반응유도 상호작용을 수행한다. 반응유도 상호작용은 본 발명의 일 실시예에 따른 운전자 감정인식 방법을 수행하는 감정인식 장치가 운전자의 감정(지배적 감정상태 또는 유보적 지배감정상태)을 파악한 후 그와 관련된 운전제어 관련 특정 행위 수행을 요청하고(반응을 유도하고), 이에 대해 운전자로부터 피드백(운전자가 요청된 해당 특정행위를 수행함)을 받는 운전자와 감정인식 장치간의 상호작용을 의미한다.
즉, 반응유도 상호작용은 운전자 감정상태에 대한 운전제어 관련 특정 행위수행 요청을 하는 과정을 말한다. 감정인식 시스템이 운전자에게 요청하는 특정행위는 이런 요청을 받은 운전자가 자신의 감정상태에 대한 인지 여부에 상관없이 요청 받은 행위를 긍정적으로 수행할 것으로 예상되는 행위일 수 있다.
즉, 운전자의 감정상태가 산만한 감정상태로 파악되면 감정인식 장치는 차량의 속도 조절, 조명 조절, 차량 내 음량 조절 등을 제어하도록 운전자에게 요청할 수 있다. 이에 대해 운전자는 요청 받은 행위들을 그대로 수행하는 경우가 있고, 수행하지 않는 경우가 있다. 이러한 운전자의 요청 받은 행위 수행 여부를 운전자 피드백이라 한다. 이와 같이 파악된 운전자의 (지배적)감정상태에 대한 특정 행위 수행 요청 및 이에 대한 긍정적인 운전자 피드백의 과정을 반응유도 상호작용이라 한다.
본 발명의 일 실시예에 따른 반응유도 상호작용은 운전자에게 명시적인 긍정 피드백을 기대하는 명시적 반응유도 상호작용과 비명시적인 긍정 피드백을 요구하는 잠재적 반응유도 상호작용을 포함한다. 명시적 반응유도 상호작용의 일례로 운전자의 지배적인 감정상태가 분노로 파악되면, 운전자에게 명시적인 감속을 요청한 후 운전자로부터 명시적인 긍정적인 답변(일례로 음성으로 "알겠음")과 감속 수행을 들 수 있다. 잠재적 반응유도 상호작용의 일례로 운전자의 지배적인 감정상태가 분노로 파악되면, 운전자에게 감속 행위 수행을 요청하고 이에 대해 운전자가 감속을 수행하는 과정을 들 수 있다.
본 발명의 일 실시예에 따른 운전자 감정 인식 방법에서는 평균적인 운전자의 감정 상태를 기준으로 운전제어 관련 특정 행위 수행토록 할 수 있다. 표1은 본 발명의 일 실시예에 따른 평균적인 감정 상태와 운전제어 관련 특정 수행 맵핑관계의 일례를 나타낸다(그러나 이에 한정되는 것은 아니며 여러 감정상태에 따라 더욱 세분화하여 특정행위를 수행하도록 할 수 있다).
| 운전자 감정상태 (지배적/유보적) |
반응유도 상호작용 상의 운전제어 특정행위 | |
| 현재 상태 | 변경 필요 상태 | |
| 분노 | 과속 | 20km 감속 |
| 산만 | 헤드라이트 꺼짐(야간) | 전방 헤드라이트 켬 |
| 음악 소리 큼 | 음악 소리 작게 조절 | |
| 피곤 | 과속 | 10km 감속 |
| 주행 | 전방 5km 앞 졸음 쉼터 이동 휴식 | |
| ... | ... | ... |
한편, 본 발명의 일 실시예에 따른 운전자 감성 인식 방법에서의 지배적인 감정 상태 및 유보적인 지배적 감정상태 결정은 도 2에 도시된 방법으로 결정될 수 있다.
먼저 도1의 운전자 감정인식 방법에서의 감정인식정보를 수신한다(S210). 감정인식정보를 분석하면 하나 이상의 감정상태가 도출될 수 있다. 도출된 감정상태를 감정상태 종류별로 분류한다(S220). 분류된 감정상태들을 각각 지배감정지수로 전환한다(S230). 지배감정지수로 전환하는 방법의 일례로는 도출된 감정상태의 세기를 파악해서 이를 수치화 또는 레벨화(일례로 강,중,약)가 가능하다. 하나 이상의 감정상태가 도출된 경우 이를 지배감정지수를 크기 기준으로 정렬한다(S240). 크기 기준으로 정렬된 지배감정지수들을 소정의 기준치(임계치)와 비교하여 그 기준치를 도과하는 지배감정지수가 있는지를 파악한다(S250).
기준치를 도과하는 지배감정지수가 있으면 이를 선택한다(S260). 만약 두 개 이상의 지배감정지수가 기준치를 도과하면 이 중 더 큰 지배감정지수를 가진 지배감정지수로서 선택한다(S265). 가장 큰 지배감정지수를 가지는 감정상태를 지배 감정상태로 결정한다(S270).
기준치를 도과하는 지배감정지수가 없거나, 같은 정도의 둘 이상의 감정이 혼재되어 1종의 지배적 감정 상태를 유추할 수 없으면 지배적 감정 인식 유보 상태로 분류한다. 그러나, 지배적 감정 인식 유보 상태이더라도 본 발명에 따른 반응유도 상호작용을 적용하고, 반응유도 상호작용을 통해서 지배적 감정 상태를 유추할 수도 있으므로, 이하의 단계(S275 내지 S285)를 수행하는 것이 바람직하다.
즉, 기준치를 도과하는 지배감정지수가 없으면 지배감정지수 크기 기준으로 상위 N개(일례로, N=3)의 지배감정지수를 선택한다(S275). 선택된 N개의 지배감정지수 중 1개의 지배감정지수를 선택한다(S280). 선택의 기준은 가장 큰 지배감정지수 선택, 선택된 지배감정지수들 중 평균 지배감정지수 선택, 임의의 지배감정지수 선택 등 다양한 방법이 가능하다. 이와 같은 선택된 지배감정지수에 해당하는 감정상태를 유보적 지배감정상태로 결정한다(S285)
이와 같은 절차를 통해 지배적 감정상태의 존재를 파악해서 지배적 감정상태를 파악한 경우, 운전자와 해당 지배적 감정상태와 관련된 명시적/잠재적 반응유도 상호작용을 수행한다. 구체적으로는 지배적 감정상태와 관련된 특정 행위를 수행하도록 요청한다(S140). 그 후 이에 대한 운전자 피드백을 수신하여 판별한다(S150).
또한 지배적 감정상태의 존재를 파악해서 지배적 감정상태가 존재하지 않아 유보적 지배감정상태를 결정한 경우(S160), 운전자와 해당 유보적 지배감정상태와 관련된 명시적/잠재적 반응유도 상호작용을 수행한다. 구체적으로는 유보적 지배감정상태와 관련된 특정 행위를 수행하도록 요청한다(S170). 그 후 이에 대한 운전자 피드백을 수신하여 판별한다(S180).
본 발명의 일 실시예에 따른 운전자 감정인식 방법은 반응유도 상호작용을 통해 운전자 피드백을 수신 및 판별 과정을 통해 운전자의 피드백이 긍정적인지 부정적인지에 대해 판별한다. 운전자 피드백이 긍정적이라 판별되면(운전자가 요청된 특정 행위 수행에 대해 즉각적인 수행 등) 해당 반응유도 상호작용에 대한 가중치를 상향조절 할 수 있다.
즉, 감정인식정보를 통해 운전자에 대한 지배적/유보적 감정을 파악하는 과정, 파악된 감정에 대한 운전제어 관련 특정 행위 선택 및 운전자로의 통보(전송, 알림 등 포함) 과정을 적절한 것으로 판단하여 이러한 과정에 대해 상향된 가중치를 부가할 수 있다(즉, 반응유도 상호작용에 대한 운전자의 반응이 긍정적이라면 상기 감정인식의 입력 대 출력, 출력 대 상호 작용에 대한 절차는 바람직하다고 판단할 수 있으므로 상기 절차에 대한 가중치를 상향조절한다).
운전자 피드백이 부정적이라 판별되면(운전자가 요청된 특정 행위 수행에 대해 수행을 하지 않는 등) 해당 반응유도 상호작용에 대한 가중치를 하향조절 할 수 있다. 즉, 감정인식정보를 통해 운전자에 대한 지배적/유보적 감정을 파악하는 과정, 파악된 감정에 대한 운전제어 관련 특정 행위 선택 및 운전자로의 통보(전송, 알림 등 포함) 과정을 부적절한 것으로 판단하여 이러한 과정에 대해 하향된 가중치를 부가할 수 있다(즉, 반응유도 상호작용에 대한 운전자의 반응이 부정적이라면 상기 감정인식의 입력 대 출력, 출력 대 상호 작용에 대한 절차는 바람직하지 않다고 판단할 수 있으므로 상기 절차에 대한 가중치를 하향조절한다).
또한 운전자 피드백이 부정적인 경우 감정인식정보를 통해 운전자에 대한 지배적/유보적 감정상태를 파악하는 과정의 오류인지(감정 인시 결과의 오류), 파악된 감정상태에 대한 운전제어 관련 특정 행위 선택 및 운전자로의 통보 과정의 오류(반응유도 상호작용의 오류)인지를 판단할 수 있다. 이때 감정상태 인식 과정을 통해 지배적인 감정상태를 인식하는 과정 결과로써 지배적인 감정을 도출한 경우에는 반응유도 상호작용에서의 특정 행위 선택 과정의 오류 및 변경필요로 판단할 수 있고, 유보적 지배감정상태를 도출한 경우에는 유보적 지배감정상태 도출과정의 오류 및 변경필요로 판단할 수 있다.
이와 같은 절차를 통해 감정인식 모델의 갱신 필요 여부에 대해 판별할 수 있다(S190). 구체적으로는 운전자 피드백을 통해 특정 반응유도 상호반응 과정의 가중치가 변경되면 변경된 가중치를 적용하여 해당 운전자와의 반응유도 상호과정을 수행한다. 추후 과정을 통해 해당 운전자와 동일한 반응유도 상호작용을 수행하는 경우 변경된 가중치가 적용되어 수행하게 된다. 즉, 긍정적 운전자 피드백으로 가중치가 상향 조절되면 해당 반응유도 상호작용은 추후 감정인식 과정에서 동일하게 수행될 것이나, 부정적 운전자 피드백으로 가중치가 하향 조절이 되는 것이 반복되면 해당 반응유도 상호작용은 부적절한 것으로 볼 수 있다.
따라서 본 발명의 일 실시예에 따른 감정인식 방법은 부정적 운전자 피드백으로 가중치가 반복적으로 하향 조절이 되어 일정 기준치(임계치)를 넘게 되면 감정인식 모델을 갱신하게 된다(S195). 감정인식모델을 갱신할 정도가 되지 않으면 기존 감정인식 모델을 이용해서 운전자와의 반응유도 상호작용을 수행한다.
또한 유보적 지배감정상태에 대한 반응유도 상호작용에서의 긍정적 피드백으로 인한 가중치 상향조절이 일정 기준치(임계치)이상 수행되면 해당 유보적 지배감정은 지배적 감정상태로 전환되고 이를 반영하기 위해 감정인식모델을 갱신한다(S195). 다음으로 본 발명의 일 실시예에 따른 운전자 감정인식 장치에 대해 설명한다.
도 3은 본 발명의 일 실시예에 따른 운전자 감정인식 장치를 설명하는 블록도이다.
도 3은 도 1에 도시된 본 발명의 일 실시예에 따른 운전자 감정인식 방법을 수행하는 운전자 감정인식 장치(300)를 나타낸다. 감정인식정보 입력부(310)는 차량상태 정보 및 운전자 상태 정보를 수신한다. 운전자 감정상태정보는 차량 내 설치된 센서(카메라, 영상 센서, 온도 센서 등)들을 이용해 측정될 수 있다.
차량상태정보는 차량의 운행 관련 정보로서 차량의 속도, 가감속 정도, 회전 상태, 급발진, 내외부 조명 상태, 소음 상태 등에 대한 것이다. 이러한 차량 상태정보는 차량 내 탑재된 각종 센서류로부터 측정되거나 ECU(electro control unit)와 같은 차량 내 장치를 통해 전달받을 수 있다.
운전자감정 인식부(320)는 수신한 감정인식정보와 감정인식모델에 기초하여 운전자의 지배적 감정상태 존재 여부 및 유보적 지배감정상태 존재 여부에 대해 판별한 후 그에 따른 지배적 감정상태정보 및 유보적 지배감정상태정보 중 적어도 하나를 생성한다.
감정인식모델 저장부(370)는 운전자의 감정인식 모델을 저장한다. 운전자의 감정인식 모델은 운전자의 표정, 대화 내용, 행동(제스처 포함), 각종 생체 신호로부터 파악되는 운전자의 감정을 나타낸다. 즉, 파악된 특정 표정, 대화 내용, 대화 속도, 특정 제스쳐, 생체 신호와 운전자의 특정 감정 상태간의 관계를 나타낸다. 후술할 감정인식모델 갱신부(360)의 결과에 따라 감정인식모델 저장부(370) 내 저장된 감정인식모델이 변경되어 저장될 수 있다.
상호작용 결정부(340)는 생성된 운전자의 지배적인 감정상태정보 및 유보적 지배감정상태정보 중 적어도 하나에 기초하여 상기 차량운전자에게 운전제어관련 특정행위 수행을 요청한다.
운전자반응 측정부(350)는 상호작용 결정부(340)에 의한 특정행위 수행 요청에 대해 운전자로부터 운전자 피드백 정보를 수신한다. 운전자반응 측정부(350)는 수신한 운전자 피드백 정보를 분석 및 판별하여 반응유도 상호작용에 대한 가중치를 조절할 수 있다.
운전자 피드백 정보가 긍정적이라 판별되면(운전자가 요청된 특정 행위 수행에 대해 즉각적인 수행 등) 해당 반응유도 상호작용에 대한 가중치를 상향조절 할 수 있다. 가중치를 상향 조절하는 것은 운전자감정 인식부(320)에서의 지배적 감정상태정보 생성에서의 가중치를 상향 조절하는 단계 및/또는 상호작용 결정부(340)에서의 특정 행위의 수행 요청에 대한 가중치를 상향 조절하는 단계 중 적어도 하나를 수행할 수 있다.
운전자 피드백이 부정적이라 판별되면(운전자가 요청된 특정 행위 수행에 대해 수행을 하지 않는 등) 해당 반응유도 상호작용에 대한 가중치를 하향조절 할 수 있다. 가중치를 하향 조절하는 것은 운전자감정 인식부(320)에서의 유보적 지배감정상태정보 생성에서의 가중치를 하향 조절하는 단계 및/또는 상호작용 결정부(340)에서의 특정 행위의 수행 요청에 대한 가중치를 하향 조절하는 단계 중 적어도 하나를 수행할 수 있다.
또한 운전자 피드백이 부정적인 경우 감정인식정보를 통해 운전자에 대한 지배적/유보적 감정상태를 파악하는 과정의 오류인지(감정 인식 결과의 오류), 파악된 감정상태에 대한 운전제어 관련 특정 행위 선택 및 운전자로의 통보 과정의 오류(반응유도 상호작용의 오류)인지를 판단할 수 있다.
이때 감정상태 인식 과정을 통해 지배적인 감정상태를 인식하는 과정 결과로써 지배적인 감정을 도출한 경우에는 반응유도 상호작용에서의 특정 행위 선택 과정의 오류 및 변경필요(운전자의 지배감정상태 정보와 관련된 운전제어관련 특정행위 수행 요청을 변경)로 판단할 수 있고, 유보적 지배감정상태를 도출한 경우에는 유보적 지배감정상태 도출과정의 오류 및 변경필요(유보적 지배감정상태정보를 갱신)로 판단할 수 있다.
감정인식모델 갱신부(360)는 운전자반응 측정부(350)로부터 운전자 피드백 정보에 기초해서 반응유도 상호작용 시 적용되는 감정인식모델을 갱신할 수 있다.
부정적 운전자 피드백으로 가중치가 반복적으로 하향 조절이 되어 일정 기준치(임계치)를 넘게 되면 감정인식 모델을 갱신할 수 있다. 또한 유보적 지배감정상태에 대한 반응유도 상호작용에서의 긍정적 피드백으로 인한 가중치 상향조절이 일정 기준치(임계치)이상 수행되면 해당 유보적 지배감정은 지배적 감정상태로 전환되고 이를 반영하기 위해 감정인식모델을 갱신할 수 있다.
한편, 전술한 각 구성은 각각이 별도의 장치로 설명하였으나, 이는 설명의 편의와 이해의 증진을 위한 예시적 설명에 불과한 것으로서, 본 발명의 기술적 사상의 범주 내에서 다양한 형태로 구현될 수 있음은 물론이다. 예컨대, 인식정보 저장부(330)와 감정인식모델 저장부(370)는 각각 별도의 장치로 구현되거나 하나의 장치로 통합되어 구현될 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다.
컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상, 본 발명의 바람직한 실시예를 통해 본 발명의 구성에 대하여 상세히 설명하였다. 그러나 전술한 실시예는 예시에 불과한 것으로서, 본 발명의 권리범위를 제한하지 아니한다. 본 발명의 기술분야에 통상의 지식을 가진 자라면 본 명세서의 교시와 시사로부터 본 발명의 기술적 사상의 범주내의 다양한 변형과 변경이 가능할 것이다. 따라서, 본 발명의 보호범위는 이하의 특허청구범위의 기재에 의하여 정하여짐이 마땅하다.
Claims (17)
- 차량 상태정보 및 운전자 감정상태정보 중 적어도 하나를 포함하는 감정인식정보를 수신하는 단계;
상기 감정인식정보 및 감정인식 모델에 기초하여 상기 운전자가 가지는 하나 이상의 감정상태들 중 지배적인 감정상태가 존재하는지 여부를 판별하는 단계; 및
상기 운전자의 지배적인 감정상태가 존재한다 판별한 경우, 상기 판별한 지배적인 감정상태에 기초해서 결정된 상기 운전자에 대한 반응유도 상호작용을 상기 운전자와 수행하는 단계를 포함하고,
상기 운전자에 대한 반응유도 상호작용을 상기 운전자와 수행하는 단계는,
상기 운전자에게 운전 제어와 관련된 특정 행위의 수행을 요청하는 단계;
상기 운전자로부터 상기 특정 행위의 수행 요청에 대한 운전자 피드백(feedback) 정보를 수신하는 단계;
상기 수신한 운전자 피드백 정보가 긍정적(positive)인 반응으로 판별되면 상기 반응유도 상호작용에 대한 가중치를 상향 조절하는 단계; 및
상기 수신한 운전자 피드백 정보가 부정적(negative)인 반응으로 판별되면 상기 반응유도 상호작용에 대한 가중치를 하향 조절하는 단계를 포함하는 것
인 운전자 감정인식 방법. - 제1항에 있어서,
상기 지배적인 감정상태 존재 여부를 판별하는 단계는
상기 감정인식정보로부터 상기 운전자가 가지는 감정상태의 수를 파악하는 단계;
상기 파악된 감정상태 각각을 지배감정지수로 전환하는 단계;
상기 지배감정지수들 중 소정의 기준치를 도과하는 지배감정지수가 존재하는지를 파악하는 단계; 및
상기 기준치를 도과하는 지배감정지수가 존재하는 경우,
상기 소정의 기준치를 도과하는 지배감정지수들 중 가장 많이 기준치를 도과하는 지배감정지수에 해당하는 감정상태를 지배적인 감정상태로 결정하는 단계를 포함하는, 운전자 감정인식 방법. - 삭제
- 제1항에 있어서,
상기 반응유도 상호작용에 대한 가중치를 상향 조절하는 단계는
상기 지배적인 감정상태 존재 여부 판별에서의 지배감정지수 전환시의 가중치를 상향 조절하는 단계; 및
상기 운전자와의 반응유도 상호작용 수행에서의 상기 특정 행위의 수행 요청에 대한 가중치를 상향 조절하는 단계 중 적어도 하나를 포함하는, 운전자 감정인식 방법. - 제1항에 있어서,
상기 반응유도 상호작용에 대한 가중치를 하향 조절하는 단계는
상기 지배적인 감정상태 존재 여부 판별에서의 지배감정지수 전환시의 가중치를 하향 조절하는 단계; 및
상기 운전자와의 반응유도 상호작용 수행에서의 상기 특정 행위의 수행 요청에 대한 가중치를 하향 조절하는 단계 중 적어도 하나를 포함하는, 운전자 감정인식 방법. - 제2항에 있어서,
상기 운전자의 지배적인 감정상태가 존재하지 않는다 판별한 경우,
상기 운전자의 지배적인 감정상태 존재 여부 판별 단계에서 도출된 상기 운전자의 적어도 하나의 감정상태 중에서 지배감정지수가 높은 순으로 N개의 감정상태를 선택하는 단계;
상기 N개의 감정상태 중 임의로 선택된 감정상태를 유보적 지배감정상태로 결정하는 단계; 및
상기 결정된 유보적 지배감정상태에 대한 정보에 기초해서 결정된 상기 운전자에 대한 반응유도 상호작용을 상기 운전자와 수행하는 단계를 더 포함하는 운전자 감정인식 방법. - 제6항에 있어서,
상기 반응유도 상호작용에 대한 가중치를 하향 조절하는 단계는
상기 운전자의 지배적인 감정상태가 존재한다 판별한 경우에서 상기 운전자 피드백 정보가 부정적인 반응을 지시하는 경우에는, 상기 운전자의 지배적인 감정상태에 대한 특정 행위의 수행을 요청을 변경하는 단계; 및
상기 운전자의 지배적인 감정상태가 존재하지 않는다 판별한 경우에서 상기 운전자 피드백 정보가 부정적인 반응을 지시하는 경우에는, 상기 결정된 유보적 지배감정상태를 갱신하는 단계를 포함하는, 운전자 감정인식 방법. - 차량 상태정보 및 운전자 감정상태정보 중 적어도 하나를 포함하는 감정인식정보를 수신하는 감정인식정보 입력부;
상기 운전자의 감정인식모델을 저장하는 감정인식모델 저장부;
상기 수신한 감정인식정보와 상기 감정인식모델에 기초하여 상기 운전자의 지배적 감정상태정보 및 유보적 지배감정상태정보 중 적어도 하나를 생성하는 운전자감정 인식부;
상기 운전자의 지배적 감정상태정보 및 유보적 지배감정상태정보 중 적어도 하나에 기초하여 상기 운전자에게 운전제어관련 특정행위 수행을 요청하는 상호작용 결정부;
상기 운전자로부터 상기 특정행위 수행 요청에 대한 운전자 피드백 정보를 수신하고, 상기 수신한 운전자 피드백 정보가 긍정적(positive)인 반응으로 판별되면 상기 운전자와의 반응유도 상호작용에 대한 가중치를 상향 조절하고, 상기 수신한 운전자 피드백 정보가 부정적(negative)인 반응으로 판별되면 상기 반응유도 상호작용에 대한 가중치를 하향 조절하는 운전자반응 측정부; 및
상기 운전자의 감정인식정보, 지배적 감정상태정보, 및 유보적 지배감정상태정보 중 적어도 하나를 저장하는 인식정보 저장부를 포함하는 운전자 감정인식 장치. - 제8항에 있어서,
상기 수신한 운전자 피드백 정보에 기초해서 생성되는 상기 운전자에 대한 감정인식모델 갱신에 관한 정보에 기초하여 상기 감정인식모델의 갱신을 수행하는 감정인식모델 갱신부를 더 포함하는 운전자 감정인식 장치. - 제8항에 있어서,
상기 운전자감정 인식부는
상기 감정인식정보로부터 상기 운전자가 가지는 감정상태의 수를 파악하는 단계;
상기 파악된 감정상태 각각을 지배감정지수로 전환하는 단계;
상기 지배감정지수들 중 소정의 기준치를 도과하는 지배감정지수가 존재하는지를 파악하는 단계; 및
상기 기준치를 도과하는 지배감정지수가 존재하는 경우,
상기 소정의 기준치를 도과하는 지배감정지수들 중 가장 많이 기준치를 도과하는 지배감정지수에 해당하는 감정상태를 지배적인 감정상태정보로서 생성하는 단계를 수행하는, 운전자 감정인식 장치. - 제8항에 있어서,
상기 운전자감정 인식부는
상기 감정인식정보로부터 상기 운전자가 가지는 감정상태의 수를 파악하는 단계;
상기 파악된 감정상태 각각을 지배감정지수로 전환하는 단계;
상기 지배감정지수들 중 소정의 기준치를 도과하는 지배감정지수가 존재하는지를 파악하는 단계; 및
상기 기준치를 도과하는 지배감정지수가 존재하지 않는 경우,
상기 지배감정지수들 중 지배감정지수가 높은 순으로 N개의 지배감정지수를 선택하는 단계;
상기 N개의 지배감정지수 중 임의로 선택된 하나의 지배감정지수와 연관된 감정상태를 유보적 지배감정상태정보로서 생성하는 단계를 더 수행하는, 운전자 감정인식 장치. - 제8항에 있어서,
상기 운전자반응 측정부가 상기 반응유도 상호작용에 대한 가중치를 상향 조절하는 것은, 상기 운전자감정 인식부에서의 지배적 감정상태정보 생성에서의 가중치를 상향 조절하는 단계; 및
상기 상호작용 결정부에서의 상기 특정 행위의 수행 요청에 대한 가중치를 상향 조절하는 단계 중 적어도 하나를 수행하는 것
인 운전자 감정인식 장치. - 제8항에 있어서,
상기 운전자반응 측정부가 상기 반응유도 상호작용에 대한 가중치를 하향 조절하는 것은, 상기 운전자감정 인식부에서의 유보적 지배감정상태정보 생성에서의 가중치를 하향 조절하는 단계; 및
상기 상호작용 결정부에서의 상기 특정 행위의 수행 요청에 대한 가중치를 하향 조절하는 단계 중 적어도 하나를 수행하는 것
인 운전자 감정인식 장치. - 제13항에 있어서,
상기 상호작용 결정부에서의 상기 특정 행위의 수행 요청에 대한 가중치를 하향 조절하는 단계는
상기 상호작용 결정부의 상기 지배적인 감정상태정보에 기초한 상기 운전자에게의 운전제어관련 특정행위 수행 요청에 대해 상기 운전자반응 측정부가 부정적인 운전자 피드백 정보를 수신한 경우, 상기 운전자의 지배감정상태 정보와 관련된 운전제어관련 특정행위 수행 요청을 변경하는 단계; 및
상기 상호작용 결정부의 상기 유보적 지배감정상태정보에 기초한 상기 운전자에게의 운전제어관련 특정행위 수행 요청에 대해 상기 운전자반응 측정부가 부정적인 운전자 피드백 정보를 수신한 경우, 상기 생성된 유보적 지배감정상태정보를 갱신하는 단계를 수행하는, 운전자 감정인식 장치. - 삭제
- 삭제
- 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190020798A KR102579371B1 (ko) | 2019-02-21 | 2019-02-21 | 운전자 감성 인식 방법 및 장치 |
| US16/790,480 US20200269865A1 (en) | 2019-02-21 | 2020-02-13 | Method of recognizing emotion of driver and apparatus using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190020798A KR102579371B1 (ko) | 2019-02-21 | 2019-02-21 | 운전자 감성 인식 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200102307A KR20200102307A (ko) | 2020-08-31 |
| KR102579371B1 true KR102579371B1 (ko) | 2023-09-18 |
Family
ID=72142701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190020798A KR102579371B1 (ko) | 2019-02-21 | 2019-02-21 | 운전자 감성 인식 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20200269865A1 (ko) |
| KR (1) | KR102579371B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021140624A (ja) * | 2020-03-09 | 2021-09-16 | 株式会社Subaru | データ収集装置 |
| US11383640B2 (en) * | 2020-09-24 | 2022-07-12 | Harman International Industries, Incorporated | Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems |
| CN114506334A (zh) * | 2020-10-29 | 2022-05-17 | 上海汽车集团股份有限公司 | 一种车辆控制方法和相关装置 |
| CN114386763B (zh) * | 2021-12-10 | 2023-05-23 | 斑马网络技术有限公司 | 一种车辆交互方法、车辆交互装置及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007086880A (ja) * | 2005-09-20 | 2007-04-05 | Denso Corp | 車両用情報提供装置 |
| JP2017073107A (ja) * | 2015-10-08 | 2017-04-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 情報提示装置の制御方法、及び、情報提示装置 |
| JP2017136922A (ja) * | 2016-02-02 | 2017-08-10 | 富士通テン株式会社 | 車両制御装置、車載機器制御装置、地図情報生成装置、車両制御方法及び車載機器制御方法 |
| JP2018022229A (ja) * | 2016-08-01 | 2018-02-08 | 株式会社デンソーテン | 安全運転行動通知システム及び安全運転行動通知方法 |
-
2019
- 2019-02-21 KR KR1020190020798A patent/KR102579371B1/ko active IP Right Grant
-
2020
- 2020-02-13 US US16/790,480 patent/US20200269865A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007086880A (ja) * | 2005-09-20 | 2007-04-05 | Denso Corp | 車両用情報提供装置 |
| JP2017073107A (ja) * | 2015-10-08 | 2017-04-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 情報提示装置の制御方法、及び、情報提示装置 |
| JP2017136922A (ja) * | 2016-02-02 | 2017-08-10 | 富士通テン株式会社 | 車両制御装置、車載機器制御装置、地図情報生成装置、車両制御方法及び車載機器制御方法 |
| JP2018022229A (ja) * | 2016-08-01 | 2018-02-08 | 株式会社デンソーテン | 安全運転行動通知システム及び安全運転行動通知方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200102307A (ko) | 2020-08-31 |
| US20200269865A1 (en) | 2020-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102579371B1 (ko) | 운전자 감성 인식 방법 및 장치 | |
| RU2692300C2 (ru) | Адаптивное объединение идентификаций водителя | |
| US11422553B2 (en) | Methods and apparatus to adjust autonomous vehicle driving software using machine programming | |
| KR101173944B1 (ko) | 차량 운전자의 감성 조절 시스템 및 방법 | |
| EP3387995A1 (en) | Apparatus and method for controlling vehicle based on degree of fatigue | |
| US11685390B2 (en) | Assistance method and assistance system and assistance device using assistance method that execute processing relating to a behavior model | |
| US11453414B2 (en) | Method and device for adapting a driving strategy of an at least partially automated transportation vehicle | |
| EP3889740A1 (en) | Affective-cognitive load based digital assistant | |
| US20140304635A1 (en) | System architecture for contextual hmi detectors | |
| US11040720B2 (en) | Sleepiness level prediction device and sleepiness level prediction method | |
| US20180286413A1 (en) | Dynamic acoustic model for vehicle | |
| JP2010128099A (ja) | 車載用音声情報提供システム | |
| KR102533295B1 (ko) | 차량 및 그 제어 방법 | |
| KR20240013829A (ko) | 콘텐츠 표시순위 결정 장치, 콘텐츠 표시순위 결정 장치의 제어방법 및 콘텐츠 표시순위 결정 장치를 포함한 차량 | |
| CN110816542A (zh) | 提供驾驶员帮助的方法 | |
| JP6917728B2 (ja) | 情報処理装置及び音声応答システム | |
| JP2014218124A (ja) | 操作支援装置及び操作支援方法 | |
| US20190176821A1 (en) | Adaptive method for controlling a vehicle speed and adaptive device for using the same | |
| JP2019207544A (ja) | 走行制御装置、走行制御方法、及び走行制御プログラム | |
| US11383640B2 (en) | Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems | |
| KR102095673B1 (ko) | 실시간 운전성향 검출 장치 및 방법 | |
| CN108437794B (zh) | 一种汽车限速系统 | |
| KR20210042282A (ko) | 차량 체감 측정평가 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| KR101700642B1 (ko) | 차량용 헤드램프 구동 제어장치 | |
| KR20200061083A (ko) | 차량의 변속 제어 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |