KR20170094836A - 운전자의 감정상태 인식 장치 및 방법 - Google Patents
운전자의 감정상태 인식 장치 및 방법 Download PDFInfo
- Publication number
- KR20170094836A KR20170094836A KR1020160016049A KR20160016049A KR20170094836A KR 20170094836 A KR20170094836 A KR 20170094836A KR 1020160016049 A KR1020160016049 A KR 1020160016049A KR 20160016049 A KR20160016049 A KR 20160016049A KR 20170094836 A KR20170094836 A KR 20170094836A
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- emotion
- feature vector
- emotional state
- target driver
- Prior art date
Links
- 230000002996 emotional effect Effects 0.000 title abstract description 46
- 238000000034 method Methods 0.000 title abstract description 22
- 239000013598 vector Substances 0.000 claims abstract description 64
- 238000013500 data storage Methods 0.000 claims abstract description 19
- 230000008451 emotion Effects 0.000 claims description 92
- 238000000605 extraction Methods 0.000 abstract description 14
- 239000000284 extract Substances 0.000 abstract description 11
- 238000013480 data collection Methods 0.000 abstract description 2
- 238000012795 verification Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 239000000470 constituent Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G06K9/6288—
-
- G06K9/00221—
-
- G06K9/00268—
-
- G06K9/00845—
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Traffic Control Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
본 발명은 운전자의 감정상태 인식 장치 및 방법에 관한 것이다. 본 발명의 일예와 관련된 운전자의 감정상태 인식 장치는 대상 운전자의 음성을 획득하는 마이크 및 상기 대상 운전자의 얼굴을 촬영하는 카메라를 포함하는 데이터 수집부, 상기 카메라가 촬영한 얼굴 이미지로부터 기 설정된 제 1 알고리즘에 따라 제 1 특징벡터를 추출하고, 상기 마이크가 획득한 음성 데이터로부터 기 설정된 제 2 알고리즘에 따라 제 2 특징벡터를 추출하며, 상기 제 1 특징벡터 및 상기 제 2 특징벡터를 통합하여 멀티 모달 데이터(Multimodal data)를 생성하는 감정특징 추출부, 운전자별 기 분류된 복수의 감정상태의 빈도수를 저장하는 감정상태 데이터 저장부 및 상기 멀티 모달 데이터 및 상기 기 분류된 복수의 감정상태의 빈도수를 이용하여 상기 대상 운전자의 감정상태를 판단하는 감정상태 판단부를 포함할 수 있다.
Description
본 발명은 운전자의 감정상태 인식 장치 및 방법에 관한 것으로, 운전자 개인별 감정 상태를 판단하고 그에 따른 편의 기능을 제공함으로써, 주행 중 운전자의 안전성을 향상 시키는 기술에 관한 것이다.
1980년대 마이카 시대 이후 자동차의 등록대수가 급격히 증가하고 있다. 예를 들어, 2005년 1,540만대에서 2014년 2,012만대로 매년 점진적으로 증가하고 있으며, 이와 같이 교통사고의 위험도 또한 증가하고 있다. 이에 따라, 자동차 회사들은 운전자에게 편의를 제공하기 위해 각종 센서를 활용한 안전 기술을 제공하고 있다.
대표적인 기술로는 차선이탈 경보 시스템과 전방충돌 경고 시스템이 있다. 차선이탈 경보 시스템은 카메라를 이용하여 전방 차선을 인식하고 차량이 차선을 이탈한 경우 운전자에게 경보를 해주는 시스템이며, 전방충돌 경고 시스템은 전방 차량과 운전자 차량과의 거리와 상대속도 값을 기반으로 차량 충돌 위험 시 경고를 발생시키는 시스템이다.
이와 같은 시스템은 악천후나 차선이 끊기거나 구불구불한 길 등의 환경에서 제대로 작동이 되지 않을뿐더러, 운전자의 상태 정보를 고려하지 않기 때문에 경고하는 시점이 최적이 아닌 문제점이 있다.
최근에는 운전자의 집중도 및 감정 상태 정보를 인식한 후 이와 같은 정보를 활용하여 운전자의 안전성을 향상시키기 위한 기술들이 선보이고 있다.
이와 같은 기술은 접촉식 및 비 접촉식 센서를 활용하여 주행 중 운전자의 시선, 생체신호, 머리 움직임, 감정변화 등을 인식하여 운전자의 상태를 파악함으로써, 주행의 안전성을 향상시킬 수 있는 편의 기능 및 경보를 제공한다.
이와 같은 기술은 한 차량에 대한 운전자가 여러 명 일 경우 주행 중 운전자의 감정 변화 대한 추이나 추적이 어려울뿐더러, 일반적인 집중도나 감성 모델의 경우에는 학습을 할 때 개인의 정보가 포함되어 있지 않았기 때문에 집중도나 감정 상태 분류에 대한 인식률이 떨어지는 문제점을 가지고 있다.
따라서 운전자의 감정 상태를 보다 정확하게 인식할 수 있는 장치 및 방법의 개발이 요구되고 있는 실정이다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 운전자의 감정상태를 개인 맞춤형 감정인식 방법을 통해 인식하는 시스템을 사용자에게 제공하는 데 그 목적이 있다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 운전자의 감정상태 인식 장치는 대상 운전자의 음성을 획득하는 마이크 및 상기 대상 운전자의 얼굴을 촬영하는 카메라를 포함하는 데이터 수집부, 상기 카메라가 촬영한 얼굴 이미지로부터 기 설정된 제 1 알고리즘에 따라 제 1 특징벡터를 추출하고, 상기 마이크가 획득한 음성 데이터로부터 기 설정된 제 2 알고리즘에 따라 제 2 특징벡터를 추출하며, 상기 제 1 특징벡터 및 상기 제 2 특징벡터를 통합하여 멀티 모달 데이터(Multimodal data)를 생성하는 감정특징 추출부, 운전자별 기 분류된 복수의 감정상태의 빈도수를 저장하는 감정상태 데이터 저장부 및 상기 멀티 모달 데이터 및 상기 기 분류된 복수의 감정상태의 빈도수를 이용하여 상기 대상 운전자의 감정상태를 판단하는 감정상태 판단부를 포함할 수 있다.
또한, 상기 감정상태 판단부는, 상기 멀티 모달 데이터로부터 상기 복수의 감정상태 각각의 정도를 도출하고, 상기 복수의 감정상태 정도 각각에 상기 대상 운전자의 상기 복수의 감정상태 각각의 빈도수를 반영하여 상기 복수의 감정상태 각각에 대한 출력값을 계산하며, 상기 복수의 출력값 중 가장 큰 출력값을 가지는 감정상태를 상기 대상 운전자의 감정상태로 판단할 수 있다.
또한, 복수의 운전자 얼굴 데이터를 저장하는 얼굴 데이터 저장부 및 상기 제 1 특징벡터와 상기 운전자 얼굴 데이터 저장부에 저장된 복수의 운전자 얼굴 데이터를 이용하여 상기 대상 운전자를 인식하는 신원 확인부를 더 포함할 수 있다.
또한, 상기 신원 확인부는, 상기 얼굴 이미지로부터 상기 대상 운전자의 얼굴 영역을 검출하고, 검출한 대상 운전자의 얼굴 영역으로부터 상기 제 1 특징벡터를 추출할 수 있다.
또한, 상기 신원 확인부는, 상기 대상 운전자가 상기 데이터 저장부에 저장되지 않은 운전자인 경우, 상기 대상 운전자의 얼굴 영역 이미지를 상기 얼굴 데이터 저장부에 저장할 수 있다.
또한, 감정특징 추출부는, 기 설정된 제 3 알고리즘에 따라 상기 제 1 특징벡터 및 상기 제 2 특징벡터의 차원수를 줄인 후, 상기 제 1 특징벡터 및 상기 제 2 특징벡터를 통합할 수 있다.
또한, 상기 감정상태 판단부는, 하기 수학식을 이용하여 상기 복수의 감정상태 각각에 대한 출력값을 계산할 수 있다.
[수학식 1]
S = H + H x ω
상기 S는 상기 감정상태에 대한 출력값이고, 상기 H는 상기 감정상태의 정도이며, 상기 ω는 상기 대상 운전자의 상기 감정상태의 빈도수에 따른 확률밀도 값이다.
또한, 상기 감정상태의 출력값이 기 설정된 출력값 범위를 벗어나는 경우, 경고음을 출력하는 위험도 판단 및 조치부를 더 포함할 수 있다.
본 발명의 일 실시예는 운전자의 감정상태를 개인 맞춤형 감정인식 방법을 통해 인식하는 시스템을 사용자에게 제공할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시례를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 운전자의 감정상태 인식 장치에 대한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 이미지와 음성신호로부터 멀티 모달 데이터로 생성되는 과정을 나타내는 그림이다.
도 3은 본 발명의 일 실시예에 따른 복수의 감정상태 분류를 나타내는 그림이다.
도 4는 본 발명의 일 실시예에 따른 운전자의 감정상태 확률밀도 히스토그램이다.
도 5는 본 발명의 일 실시예에 따른 운전자의 감정상태 인식 방법을 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 운전자의 감정상태 인식 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도이다.
도 1은 본 발명의 일 실시예에 따른 운전자의 감정상태 인식 장치에 대한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 이미지와 음성신호로부터 멀티 모달 데이터로 생성되는 과정을 나타내는 그림이다.
도 3은 본 발명의 일 실시예에 따른 복수의 감정상태 분류를 나타내는 그림이다.
도 4는 본 발명의 일 실시예에 따른 운전자의 감정상태 확률밀도 히스토그램이다.
도 5는 본 발명의 일 실시예에 따른 운전자의 감정상태 인식 방법을 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 운전자의 감정상태 인식 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 운전자의 감정상태 인식 장치에 대한 블록도이다.
도 1을 참조하면, 운전자의 감정상태 인식 장치는 데이터 수집부(100), 얼굴 데이터 저장부(200), 신원 확인부(300), 감정특징 추출부(400), 감정상태 판단부(500), 감정상태 데이터 저장부(600) 및 위험도 판단 및 조치부(700) 등을 포함할 수 있다.
다만, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 운전자의 감정상태 인식 장치가 구현될 수도 있다.
데이터 수집부(100)는 대상 운전자의 음성 및 얼굴 이미지를 획득하는 구성으로서, 마이크(110) 및 카메라(120)를 포함할 수 있다.
즉, 마이크(110)를 이용하여 대상 운전자의 음성을 획득하고, 카메라(120)를 이용하여 대상 운전자의 얼굴을 촬영하여 얼굴 이미지를 획득할 수 있다.
얼굴 데이터 저장부(200)는 복수의 운전자 얼굴 데이터를 저장하는 구성이다.
복수의 운전자 얼굴 데이터는 후술할 신원 확인부(300)가 대상 운전자를 인식하는 데에 사용된다. 그리고 복수의 운전자 얼굴 데이터는 복수의 운전자 얼굴 이미지 또는 복수의 운전자 얼굴 이미지로부터 기 설정된 제 1 알고리즘에 따라 추출된 특징벡터일 수 있다.
또한, 얼굴 데이터 저장부(200)에는 후술할 신원 확인부(300)에 의해 새로운 운전자 얼굴 데이터가 저장될 수 있으며, 이에 대해서는 아래에서 상세히 설명한다.
신원 확인부(300)는 카메라(120)가 촬영한 얼굴 이미지로부터 대상 운전자를 인식하는 구성이다.
신원 확인부(300)는 대상 운전자를 인식하기 위해 얼굴 이미지로부터 기 설정된 제 1 알고리즘에 따라 제 1 특징벡터를 추출한다.
그리고 신원 확인부(300)는 제 1 알고리즘으로 LBP(Local Binary Patterns), Gabor 등의 알고리즘을 사용할 수 있다.
신원 확인부(300)는 추출한 제 1 특징벡터와 얼굴 데이터 저장부(200)에 저장된 복수의 운전자 얼굴 데이터를 비교하여 대상 운전자를 인식한다. 이 때 얼굴 데이터 저장부(200)에 저장된 복수의 운전자 얼굴 데이터가 특징벡터인 경우, SVM(support vector machine)과 같은 분류기를 사용하여 대상 운전자를 인식할 수 있다. 또한, 얼굴 데이터 저장부(200)에 저장된 복수의 운전자 얼굴 데이터가 운전자의 얼굴 이미지인 경우, 복수의 운전자 얼굴 이미지로부터 상기 제 1 알고리즘에 따라 특징벡터를 추출한 후, 대상 운전자를 인식할 수 있다.
한편, 본 발명의 일 실시예에 따라 신원 확인부(300)는 제 1 특징벡터를 추출하기 전, 카메라(120)가 촬영한 얼굴 이미지로부터 얼굴 영역을 검출하는 기능을 더 수행하고 검출한 얼굴 영역에서 제 1 특징벡터를 추출할 수 있다. 카메라(120)가 대상 운전자의 얼굴을 촬영할 때에는 촬영한 이미지에 대상 운전자의 얼굴 이외의 사물이 포함될 수 있기 때문이다.
이 때 얼굴 영역을 검출하기 위한 알고리즘으로는 일반적으로 사용되는 Adaboost 기반 알고리즘이 사용될 수 있으나, 이에 한정되지는 않는다.
또한, 신원 확인부(300)는 본 발명의 일 실시예에 따라 인식하려는 대상 운전자가 얼굴 데이터 저장부(200)에 저장되지 않은 운전자인 경우, 해당 대상 운전자를 미등록 운전자로 판단하고 얼굴 데이터 저장부(200)에 대상 운전자의 얼굴 이미지 및 얼굴 이미지로부터 추출한 제 1 특징벡터를 추가적으로 저장할 수 있다.
감정특징 추출부(400)는 음성 데이터와 얼굴 이미지 데이터를 포함하는 멀티 모달 데이터(Multimodal data)를 생성하는 구성이다.
감정특징 추출부(400)는 발명의 일 실시예에 따라 신원 확인부(300)와 같이 기 설정된 제 1 알고리즘에 따라 제 1 특징벡터를 추출할 수 있다.
그리고 감정특징 추출부(400)는 신원 확인부(300)와 마찬가지로 제 1 알고리즘으로 LBP(Local Binary Patterns), Gabor 등의 알고리즘을 사용할 수 있으며, 제 1 특징벡터를 추출하기 전, 카메라(120)가 촬영한 얼굴 이미지로부터 얼굴 영역을 검출하는 기능을 더 수행하고 검출한 얼굴 영역에서 제 1 특징벡터를 추출할 수 있다.
마이크(110)가 획득한 대상 운전자의 음성 데이터에서 기 설정된 제 2 알고리즘에 따라 제 2 특징벡터를 추출한다. 이 때 제 2 알고리즘으로는 MFCC(Mel-frequency cepstral coefficients) 등이 사용될 수 있다.
감정특징 추출부(400)는 제 1 특징벡터와 제 2 특징벡터를 통합하여 멀티 모달 데이터를 생성한다. 이 때, 감정특징 추출부(400)는 제 1 특징벡터와 제 2 특징벡터를 통합하기 위해 딥러닝 방법인 DBN(Deep Belief Network)를 이용할 수 있다.
감정특징 추출부(400)는 본 발명의 일 실시예에 따라 멀티 모달 데이터를 생성하기 전 PCA(Principle component analysis) 등과 같은 알고리즘을 사용하여 제 1 특징벡터와 제 2 특징벡터의 차원수를 줄인 후 통합할 수도 있다.
이와 같은 멀티 모달 데이터를 생성하는 과정을 도시적으로 설명하기 위해 도 2를 참조하여 서술한다.
도 2는 본 발명의 일 실시예에 따른 얼굴 이미지와 음성신호로부터 멀티 모달 데이터로 생성되는 과정을 나타내는 그림으로서, 도 2를 참조하면 좌측 상단 그림은 카메라(120)가 획득한 대상 운전자의 얼굴 이미지이고, 좌측 하단 그림은 마이크(110)가 획득한 대상 운전자의 음성 신호이다.
전술한 신원 확인부(300) 또는 감정특징 추출부(400)는 얼굴 이미지로부터 제 1 특징벡터를 추출하고, 감정특징 추출부(400)는 음성 신호로부터 제 2 특징벡터를 추출한다.
이러한 제 1 특징벡터와 제 2 특징벡터를 나타낸 그림이 도 2의 우측 최하단에 나타나있다.
부가적인 단계로써 추출된 제 1 특징벡터 및 제 2 특징벡터의 차원수는 감정특징 추출부(400)에 의해 줄어들 수 있고, 차원수가 줄어든 제 1 특징벡터 및 제 2 특징벡터가 도 2의 우측 중단에 나타나있다.
그 후, 감정 특징 추출부(400)는 제 1 특징벡터와 제 2 특징벡터를 통합하여 멀티 모달 데이터를 생성할 수 있으며, 이는 도 2의 우측 상단에 나타나있다.
다시 도 1을 참조하면, 감정상태 판단부(500)는 멀티 모달 데이터를 이용하여 대상 운전자의 감정상태를 판단하는 구성이다.
감정상태 판단부(500)는 대상 운전자의 감정상태를 판단하기 위해 기 분류된 복수의 감정상태 각각의 정도를 도출한다.
도 3은 본 발명의 일 실시예에 따른 복수의 감정상태 분류를 나타내는 그림이다.
감정상태 판단부(500)는, 예를 들어, 도 3에 나타난 것과 같이‘각성-불쾌’, ‘각성’, ‘각성-쾌’, ‘불쾌’, ‘중립’, ‘쾌’, ‘이완-불쾌’, ‘이완’, ‘이완-쾌’의 정도를 도출할 수 있고, 이 때 HMM(Hidden Markov Model) 등과 같은 분류기를 사용할 수 있다.
감정상태 데이터 저장부(600)는 운전자별 기 분류된 복수의 감정상태의 빈도수를 저장한다. 그 빈도수는 감정상태의 발생횟수로 저장될 수 있고, 확률밀도로 저장될 수도 있다.
감정상태 판단부(500)는 도출한 결과 중 가장 높은 정도를 갖는 감정상태를 대상 운전자의 감정상태로 판단할 수 있지만, 획일적인 결과가 아닌 운전자 맞춤형 감정상태 판단을 위해 감정상태 데이터 저장부(600)에 저장된 데이터를 이용할 수 있다.
즉, 감정상태 판단부(500)는 운전자별 맞춤형 감정상태 판단을 위하여 도출한 각 감정상태의 정도에 복수의 감정상태 각각의 빈도수를 반영하여 상기 복수의 감정상태 각각에 대한 출력값을 계산할 수 있다. 그리고 계산한 복수의 출력값 중 가장 큰 출력값을 가지는 감정상태를 대상 운전자의 감정상태로 판단할 수 있다.
감정상태 판단부(500)는 복수의 감정상태 각각의 빈도수를 반영한 출력값을 계산하기 위해 다음의 수학식을 사용할 수 있다.
[수학식 1]
S = H + H x ω
상기 S는 감정상태의 정도에 빈도수를 반영한 출력값이고, 상기 H는 감정상태의 정도이며, 상기 ω는 대상 운전자의 감정상태의 빈도수에 따른 확률밀도 값이다.
이하에서는 도 4를 참조하여 상기 수학식을 이용하여 감정상태 판단부(500)가 대상 운전자의 감정상태를 판단하는 실시예에 대해 설명한다.
도 4는 본 발명의 일 실시예에 따른 대상 운전자의 감정상태 확률밀도 히스토그램이다.
먼저, 감정상태 판단부(500)가 도출한 각성-불쾌의 정도가 4, 각성의 정도가 4, 각성-쾌의 정도가 5, 불쾌의 정도가 6, 중립의 정도가 5, 쾌의 정도가 11, 이완-불쾌의 정도가 4, 이완의 정도가 2, 이완-쾌의 정도가 10라고 가정한다.
단순히 감정상태의 정도로써 대상 운전자의 감정상태를 판단한다면 그 정도가 가장 큰 ‘쾌’가 대상 운전자의 감정상태로 판단될 것이다. 그러나 운전자별 맞춤형 감정상태 판단을 위해 도 4의 확률밀도 히스토그램을 이용하면 그 결과가 달라진다.
위의 수학식을 사용하여 출력값을 계산하면 각성-불쾌의 출력값은 약 4.44, 각성의 출력값은 약 4.72, 각성-쾌의 출력값은 6, 불쾌의 출력값은 6.3, 중립의 출력값은 약 5.2, 쾌의 출력값은 약 11.66, 이완-불쾌의 출력값은 약 4.36, 이완의 출력값은 약 2.24, 이완-쾌의 출력값은 약 13.1이다.
이 중 가장 높은 출력값을 가지는 감정상태는 ‘이완-쾌’이므로 대상 운전자의 감정상태 빈도수를 반영하여 도출한 대상 운전자의 감정상태는 ‘이완-쾌’로써 단순히 감정상태의 정도만을 고려한 결과와 다르다.
이와 같이 운전자별 감정상태 데이터 저장부(600)를 이용함으로써, 개인별 감정상태 인식 성능을 향상 시킬 수 있다.
본 발명의 일 실시예에 따라 운전자의 감정상태 인식 장치는 위험 판단 및 조치부(700)를 더 포함할 수 있다.
위험 판단 및 조치부(700)는 대상 운전자의 감정상태에 따라 위험을 판단하고 이에 따른 경보 등의 조치를 취하는 구성이다.
위험 판단 및 조치부(700)는 위험을 판단하기 위해 감정상태 판단부(500)가 판단한 감정상태의 정도 또는 출력값이 기준 범위에서 벗어난다면 대상 운전자가 위험한 상태라고 판단할 수 있다.
예를 들어, 주행 중 대상 운전자의 감정상태가 각성-불쾌로 나타나고, 그 출력값이 기준값을 초과한다면 대상 운전자의 상태를 위험으로 판단한다.
위험 판단 및 조치부(700)는 이와 같이 대상 운전자가 위험한 상태라고 판단하는 경우, 이에 따른 경보 등의 기능을 제공한다.
예를 들어, 경고음 출력 등을 통해 대상 운전자에게 위험을 알릴 수 있고, 안마 의자 작동, 온열 시트 작동, 음악 재생 등을 통하여 대상 운전자의 감정 상태를 안정적으로 변화 시킬 수 있는 기능을 제공할 수 있다.
위험 판단 및 조치부(700)를 더 구비함으로써 운전 주행의 안전성을 향상시킬 수 있다.
이하에서는 도 5를 참조하여 전술한 구성들을 기초로 운전자의 감정상태 인식 방법에 대해 설명한다.
도 5는 본 발명의 일 실시예에 따른 운전자의 감정상태 인식 방법을 나타내는 순서도이다.
데이터 수집부가 대상 운전자의 음성 및 얼굴 이미지를 획득한다(S100).
전술한 구성인 마이크가 대상 운전자의 음성을 획득하고, 카메라가 대상 운전자의 얼굴 이미지를 획득한다.
신원 확인부가 얼굴 이미지로부터 제 1 특징벡터를 추출한다(S200).
신원 확인부가 기 설정된 제 1 알고리즘에 따라 얼굴 이미지로부터 제 1 특징벡터를 추출하는 것이며, 전술한 것과 같이 LBP(Local Binary Patterns), Gabor 등의 알고리즘이 사용될 수 있다.
또한, 제 1 특징벡터를 추출하기 전, 얼굴 이미지로부터 얼굴 영역을 검출하고 검출한 얼굴 영역에서 제 1 특징벡터를 추출할 수 있다.
신원 확인부가 제 1 특징벡터로부터 대상 운전자를 인식한다(S300).
기 저장된 복수의 운전자 얼굴 데이터와 제 1 특징벡터를 비교하여 대상 운전자가 어떤 사람인지 인식하는 단계이다.
S300단계에서 운전자를 인식하기 위해 SVM(support vector machine)과 같은 분류기가 사용될 수 있다.
감정특징 추출부가 음성으로부터 제 2 특징벡터를 추출한다(S400).
마이크가 획득한 음성 데이터에서 기 설정된 제 2 알고리즘에 따라 제 2 특징벡터를 추출하는 것이며, MFCC(Mel-frequency cepstral coefficients) 등의 알고리즘이 사용될 수 있다.
감정 특징 추출부가 제 1 특징벡터 및 제 2 특징벡터 통합하여 멀티 모달 데이터를 생성한다(S500).
앞서 추출한 제 1 특징벡터와 제 2 특징벡터를 통합하여 멀티 모달 데이터를 생성하는 단계로서, 딥러닝 방법인 DBN(Deep Belief Network)이 사용될 수 있다.
또한, 제 1 특징벡터와 제 2 특징벡터를 통합하기 전 제 1 특징벡터와 제 2 특징벡터의 차원수를 줄인 후, 통합할 수도 있다.
감정상태 판단부가 멀티 모달 데이터를 이용하여 대상 운전자의 감정상태를 판단한다(S600).
S600 단계에서는 운전자 맞춤형 감정상태 판단을 위해 기 분류된 복수의 감정상태 각각의 정도를 도출하고, 기 저장된 대상 운전자의 각 감정상태의 빈도수를 반영하여 출력값을 계산할 수 있다.
전술한 바와 같이 운전자의 각 감정상태의 빈도수는 도 4와 같은 확률밀도로 저장될 수 있으며, 각 감정상태의 정도에 빈도수를 반영하기 위해 다음과 같은 수학식을 사용할 수 있다.
[수학식 2]
S = H + H x ω
상기 S는 감정상태의 정도에 빈도수를 반영한 출력값이고, 상기 H는 감정상태의 정도이며, 상기 ω는 운전자의 감정상태의 빈도수에 따른 확률밀도 값이다.
위의 수학식을 사용하여 각 감정상태에 대한 출력값인 S가 도출될 것이고, 복수의 S 중 가장 큰 값을 가지는 감정상태를 대상 운전자의 감정상태로 판단할 수 있다.
한편, 본 발명의 일 실시예에 따라 대상 운전자의 감정상태에 따라 경보를 발생하는 단계가 더 수행될 수 있다.
S600단계에서 대상 운전자의 감정상태를 판단하기 위해 계산한 출력값이 기 설정된 기준 범위에서 벗어난다면 대상 운전자의 상태가 위험한 것으로 판단될 수 있고, 이에 따라 경고음 출력 등을 통한 경보를 발생시킬 수 있다.
이로써, 대상 운전자의 운전 주행의 안전성을 향상시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 운전자의 감정상태 인식 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도이다.
도 6을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
상기와 같이 설명된 운전자의 감정상태 인식 장치 및 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100 : 데이터 수집부
110 : 마이크
120 : 카메라
200 : 얼굴 데이터 저장부
300 : 신원 확인부
400 : 감정 특징 추출부
500 : 감정 상태 판단부
600 : 감정 상태 데이터 저장부
700 : 위험 판단 및 조치부
1000: 컴퓨팅 시스템
1100: 프로세서
1200: 시스템 버스
1300: 메모리
1310: ROM
1320: RAM
1400: 사용자 인터페이스
110 : 마이크
120 : 카메라
200 : 얼굴 데이터 저장부
300 : 신원 확인부
400 : 감정 특징 추출부
500 : 감정 상태 판단부
600 : 감정 상태 데이터 저장부
700 : 위험 판단 및 조치부
1000: 컴퓨팅 시스템
1100: 프로세서
1200: 시스템 버스
1300: 메모리
1310: ROM
1320: RAM
1400: 사용자 인터페이스
Claims (1)
- 대상 운전자의 음성을 획득하는 마이크 및 상기 대상 운전자의 얼굴을 촬영하는 카메라를 포함하는 데이터 수집부;
상기 카메라가 촬영한 얼굴 이미지로부터 기 설정된 제 1 알고리즘에 따라 제 1 특징벡터를 추출하고, 상기 마이크가 획득한 음성 데이터로부터 기 설정된 제 2 알고리즘에 따라 제 2 특징벡터를 추출하며, 상기 제 1 특징벡터 및 상기 제 2 특징벡터를 통합하여 멀티 모달 데이터(Multimodal data)를 생성하는 감정특징 추출부;
운전자별 기 분류된 복수의 감정상태의 빈도수를 저장하는 감정상태 데이터 저장부; 및
상기 멀티 모달 데이터 및 상기 기 분류된 복수의 감정상태의 빈도수를 이용하여 상기 대상 운전자의 감정상태를 판단하는 감정상태 판단부;를 포함하는 것을 특징으로 하는 운전자의 감정상태 인식 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160016049A KR102429822B1 (ko) | 2016-02-12 | 2016-02-12 | 운전자의 감정상태 인식 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160016049A KR102429822B1 (ko) | 2016-02-12 | 2016-02-12 | 운전자의 감정상태 인식 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170094836A true KR20170094836A (ko) | 2017-08-22 |
| KR102429822B1 KR102429822B1 (ko) | 2022-08-08 |
Family
ID=59757895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160016049A KR102429822B1 (ko) | 2016-02-12 | 2016-02-12 | 운전자의 감정상태 인식 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102429822B1 (ko) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764169A (zh) * | 2018-05-31 | 2018-11-06 | 厦门大学 | 一种基于机器学习的驾驶员情绪识别与显示装置及方法 |
| CN109522945A (zh) * | 2018-10-31 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种群体情感识别方法、装置、智能设备及存储介质 |
| CN109858738A (zh) * | 2018-12-19 | 2019-06-07 | 青岛科技大学 | 一种车辆跟驰状态驾驶员情感动态特征提取及辨识方法 |
| KR20190123400A (ko) * | 2018-04-24 | 2019-11-01 | 현대자동차주식회사 | 데이터 분류 장치, 이를 포함하는 차량, 및 데이터 분류 장치의 제어방법 |
| CN110755092A (zh) * | 2019-09-02 | 2020-02-07 | 中国航天员科研训练中心 | 具有跨媒体信息融合功能的非接触式情绪监测方法 |
| WO2020196976A1 (ko) * | 2019-03-22 | 2020-10-01 | 한국과학기술원 | 멀티모달 데이터를 이용한 주의집중의 순환 신경망 기반 전자 장치 및 그의 동작 방법 |
| CN112418172A (zh) * | 2020-12-11 | 2021-02-26 | 苏州元启创人工智能科技有限公司 | 基于多模信息智能处理单元的多模信息融合情感分析方法 |
| CN112541425A (zh) * | 2020-12-10 | 2021-03-23 | 深圳地平线机器人科技有限公司 | 情绪检测方法、装置、介质及电子设备 |
| CN113128284A (zh) * | 2019-12-31 | 2021-07-16 | 上海汽车集团股份有限公司 | 一种多模态情感识别方法和装置 |
| US11093734B2 (en) | 2018-01-05 | 2021-08-17 | Samsung Electronics Co., Ltd. | Method and apparatus with emotion recognition |
| EP3895949A1 (en) | 2020-04-17 | 2021-10-20 | Toyota Jidosha Kabushiki Kaisha | Method and device for evaluating user discomfort |
| KR20220069677A (ko) | 2020-11-20 | 2022-05-27 | 오로라월드 주식회사 | 멀티-모달 기반의 감정 분류장치 및 방법 |
| KR20230124839A (ko) | 2022-02-18 | 2023-08-28 | 경북대학교 산학협력단 | 자율주행 관리서버, 운전자 상태 감응형 자율주행자동차 및 자율주행방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090055426A (ko) * | 2007-11-28 | 2009-06-02 | 중앙대학교 산학협력단 | 특징 융합 기반 감정인식 방법 및 시스템 |
| KR20100001928A (ko) * | 2008-06-27 | 2010-01-06 | 중앙대학교 산학협력단 | 감정인식에 기반한 서비스 장치 및 방법 |
| JP2010015451A (ja) * | 2008-07-04 | 2010-01-21 | Toyota Motor Corp | 運転者状態記録装置 |
| JP2013206320A (ja) * | 2012-03-29 | 2013-10-07 | Lassic Co Ltd | マルチモーダル型トラッキングシステム及びそのプログラム |
-
2016
- 2016-02-12 KR KR1020160016049A patent/KR102429822B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090055426A (ko) * | 2007-11-28 | 2009-06-02 | 중앙대학교 산학협력단 | 특징 융합 기반 감정인식 방법 및 시스템 |
| KR20100001928A (ko) * | 2008-06-27 | 2010-01-06 | 중앙대학교 산학협력단 | 감정인식에 기반한 서비스 장치 및 방법 |
| JP2010015451A (ja) * | 2008-07-04 | 2010-01-21 | Toyota Motor Corp | 運転者状態記録装置 |
| JP2013206320A (ja) * | 2012-03-29 | 2013-10-07 | Lassic Co Ltd | マルチモーダル型トラッキングシステム及びそのプログラム |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11093734B2 (en) | 2018-01-05 | 2021-08-17 | Samsung Electronics Co., Ltd. | Method and apparatus with emotion recognition |
| KR20190123400A (ko) * | 2018-04-24 | 2019-11-01 | 현대자동차주식회사 | 데이터 분류 장치, 이를 포함하는 차량, 및 데이터 분류 장치의 제어방법 |
| CN108764169A (zh) * | 2018-05-31 | 2018-11-06 | 厦门大学 | 一种基于机器学习的驾驶员情绪识别与显示装置及方法 |
| CN109522945A (zh) * | 2018-10-31 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种群体情感识别方法、装置、智能设备及存储介质 |
| CN109522945B (zh) * | 2018-10-31 | 2020-09-25 | 中国科学院深圳先进技术研究院 | 一种群体情感识别方法、装置、智能设备及存储介质 |
| CN109858738A (zh) * | 2018-12-19 | 2019-06-07 | 青岛科技大学 | 一种车辆跟驰状态驾驶员情感动态特征提取及辨识方法 |
| WO2020196976A1 (ko) * | 2019-03-22 | 2020-10-01 | 한국과학기술원 | 멀티모달 데이터를 이용한 주의집중의 순환 신경망 기반 전자 장치 및 그의 동작 방법 |
| CN110755092A (zh) * | 2019-09-02 | 2020-02-07 | 中国航天员科研训练中心 | 具有跨媒体信息融合功能的非接触式情绪监测方法 |
| CN113128284A (zh) * | 2019-12-31 | 2021-07-16 | 上海汽车集团股份有限公司 | 一种多模态情感识别方法和装置 |
| EP3895949A1 (en) | 2020-04-17 | 2021-10-20 | Toyota Jidosha Kabushiki Kaisha | Method and device for evaluating user discomfort |
| KR20220069677A (ko) | 2020-11-20 | 2022-05-27 | 오로라월드 주식회사 | 멀티-모달 기반의 감정 분류장치 및 방법 |
| CN112541425A (zh) * | 2020-12-10 | 2021-03-23 | 深圳地平线机器人科技有限公司 | 情绪检测方法、装置、介质及电子设备 |
| CN112418172A (zh) * | 2020-12-11 | 2021-02-26 | 苏州元启创人工智能科技有限公司 | 基于多模信息智能处理单元的多模信息融合情感分析方法 |
| KR20230124839A (ko) | 2022-02-18 | 2023-08-28 | 경북대학교 산학협력단 | 자율주행 관리서버, 운전자 상태 감응형 자율주행자동차 및 자율주행방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102429822B1 (ko) | 2022-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102429822B1 (ko) | 운전자의 감정상태 인식 장치 및 방법 | |
| US8837786B2 (en) | Face recognition apparatus and method | |
| CN108021933B (zh) | 神经网络识别装置及识别方法 | |
| CN106557726B (zh) | 一种带静默式活体检测的人脸身份认证系统及其方法 | |
| Seshadri et al. | Driver cell phone usage detection on strategic highway research program (SHRP2) face view videos | |
| JP5755012B2 (ja) | 情報処理装置、その処理方法、プログラム及び撮像装置 | |
| CN106557723B (zh) | 一种带交互式活体检测的人脸身份认证系统及其方法 | |
| US20070230797A1 (en) | Method, apparatus, and program for detecting sightlines | |
| Erzin et al. | Multimodal person recognition for human-vehicle interaction | |
| KR100745980B1 (ko) | 분류기 통합을 위한 스코어 합성 방법 및 장치 | |
| KR101165106B1 (ko) | 얼굴 인식에 기반한 운전자 인증 장치 및 방법 | |
| Sathyanarayana et al. | Information fusion for robust ‘context and driver aware’active vehicle safety systems | |
| Lip et al. | Comparative study on feature, score and decision level fusion schemes for robust multibiometric systems | |
| JP4730812B2 (ja) | 個人認証装置、個人認証処理方法、そのためのプログラム及び記録媒体 | |
| Paleari et al. | Evidence theory-based multimodal emotion recognition | |
| US20070253598A1 (en) | Image monitoring apparatus | |
| JP2008004050A (ja) | 個人情報認証システム、個人情報認証方法、プログラム、及び記録媒体 | |
| CN115376113A (zh) | 驾驶员分心检测方法、驾驶员监控系统及存储介质 | |
| Oh et al. | Recognition of a driver's gaze for vehicle headlamp control | |
| Akrouf et al. | A multi-modal recognition system using face and speech | |
| KR20170028631A (ko) | 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치 | |
| KR20160056189A (ko) | 보행자 검출 경보 장치 및 방법 | |
| KR102249663B1 (ko) | 귀 인식 기반 신원확인 방법 및 시스템 | |
| Sahoo et al. | Bimodal biometric person authentication using speech and face under degraded condition | |
| Rezaei | Computer vision for road safety: a system for simultaneous monitoring of driver behaviour and road hazards |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |