KR101619257B1 - 운전자 감성 제어 장치 및 그 방법 - Google Patents

운전자 감성 제어 장치 및 그 방법 Download PDF

Info

Publication number
KR101619257B1
KR101619257B1 KR1020140166785A KR20140166785A KR101619257B1 KR 101619257 B1 KR101619257 B1 KR 101619257B1 KR 1020140166785 A KR1020140166785 A KR 1020140166785A KR 20140166785 A KR20140166785 A KR 20140166785A KR 101619257 B1 KR101619257 B1 KR 101619257B1
Authority
KR
South Korea
Prior art keywords
emotion
frequency
driver
recognition result
voice
Prior art date
Application number
KR1020140166785A
Other languages
English (en)
Inventor
김비호
Original Assignee
현대자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차 주식회사 filed Critical 현대자동차 주식회사
Priority to KR1020140166785A priority Critical patent/KR101619257B1/ko
Application granted granted Critical
Publication of KR101619257B1 publication Critical patent/KR101619257B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

운전자 감성 제어 장치 및 그 방법이 개시된다. 여기서, 운전자 감성 제어 장치는 입력받은 음성을 분석하여 감정을 인식하고, 감정 인식 결과에 차량 운행 정보에 따라 가중치를 부여하는 감정 인식부, 상기 감정 인식부의 감정 인식 결과에 따라 음원 이퀄라이저를 조정하여 음원을 출력하는 음원 이퀄라이저, 그리고 상기 감정 인식 결과에 따라 네비게이션 메시지 출력 시기를 조정하는 네비게이션 제어부를 포함한다.

Description

운전자 감성 제어 장치 및 그 방법{SYSTEM AND METHOD FOR CONTROLLING SENSIBILITY OF DRIVER}
본 발명은 운전자 감성 제어 장치 및 그 방법에 관한 내용이다.
기존의 자동차 관련 기술은 자동차를 더 잘 달리계 하기 위한 기술과 연료를 절감하는 기술에 대해 발전하였다면, 최근 자동차 기술은 탑승자의 안전성 및 편의성을 향상시키는 방향으로 발전하고 있다. 이에 따라 사고시 탑승자의 안전을 보장하기 위한 다양한 기술들이 개발 및 적용되고 있다. 하지만, 자동차의 안전 문제는 자동차의 구조적인 특성도 중요하지만 운전자의 감성 상태 또한 자동차의 안전에 큰 영향을 미친다.
만약, 운전 중 운전자의 감성 상태가 평상시 상태를 유지하지 못하고 급변하계 된다면, 순간적으로 주의력이나 판단력이 감소 또는 상실됨으로써 사고 위험성이 높아질 수 있다. 운전자의 감정 상태가 중립적인 상태를 벗어나계 되면 이러한 감정이 주행 중에 들어나 안전을 위협할 수가 있다.
분노 상태에서는 상대적으로 인지 능력이 떨어지고 악셀과 브레이크를 급하계 밟는다든지 혹은 즐거운 상태에서는 사이드 미러와 백미러의 관찰 비중이 줄어든지 하기 때문에 상대적으로 위험해질 수 있다. 또한, 운전자의 감성 상태가 졸음과 같은 상태로 빠지계 될 경우 큰 사고를 유발할 수 있다. 이렇듯 운전자의 안전을 위하여 운전자의 감성 상태를 인지하고, 인지된 운전자의 감성 상태에 따라 운전자의 운전 중 감성을 조절할 필요가 있다.
종래에 음성 인식을 이용한 알고리즘 및 특허가 다수 제안되어 있다. NMF(Non-negative Matrix Factorization)를 이용한 방법, HMM(Hidden Markov model)을 이용한 방법, LPC(Linear Prediction Coefficient)를 이용한 방법 등등 있다. 하지만, 음성을 통해서 감정을 인식한 후 이를 응용할 방법에 대한 방법에 대한 내용은 거의 없다.
또한, 음성만을 이용한 감정 인식은 인식 성능이 그다지 높지 않기 때문에 이러한 부분을 적용시키기 위해서는 다른 정보들이 도움을 줄 수 있다.
또한, 도로 혼잡도 및 기후 정보 등을 파악할 수 있다면 차량 시스템에 도움이 될 수 있다.
따라서, 본 발명이 이루고자 하는 기술적 과제는 음성 인식에 사용되는 목소리 및 운행 정보를 통해 사용자 감정을 인식한 후 사용자 감정에 맞춰서 차량의 환경을 조절하는 운전자 감성 제어 장치 및 그 방법을 제공하는 것이다.
본 발명의 하나의 특징에 따르면, 운전자 감성 제어 장치는 입력받은 음성을 분석하여 감정을 인식하고, 차량 운행 정보에 따라 감정 인식 결과에 가중치를 부여하는 감정 인식부, 상기 감정 인식 결과에 따라 음원 이퀄라이저를 조정하여 음원을 출력하는 음원 이퀄라이저, 그리고 상기 감정 인식 결과에 따라 네비게이션 메시지 출력 시기를 조정하는 네비게이션 제어부를 포함한다.
상기 감정 인식부는,
입력받은 음성을 주파수 변환하는 주파수 변환 모듈, 네가지 감정에 대한 훈련된 가우시안 혼합 모델을 저장하는 저장부, 그리고 상기 주파수 변환된 음성과 상기 가우시안 혼합 모델을 이용한 우도를 계산하여 감정을 인식하고, 상기 우도 계산시 상기 차량 운행 정보에 따른 가중치를 반영하는 우도 계산부를 포함할 수 있다.
상기 운전자 감성 제어 장치는 입력받은 음성에서 감정에 해당하는 성분을 제외시키는 전처리를 하는 전처리부를 더 포함하고,
상기 전처리된 음성은 음성 인식 시스템에 이용되는 것일 수 있다.
상기 전처리부는,
입력받은 음성을 주파수 영역의 신호로 변환하는 주파수 변환 모듈, 상기 주파수 변환된 음성에 대한 멜 켑스트럼(MFCC)을 수행하여 특징을 추출하는 MFCC 모듈, 상기 MFCC 모듈이 추출한 특징에서 감정에 해당하는 성분을 제거하기 위해 켑스트럼 평균 차감(Cepstral mean subtraction)을 수행하는 보상 모듈, 상기 보상 모듈에 의해 처리된 주파수 변환된 음성에 대한 역 멜 켑스트럼을 수행하는 역 MFCC 모듈, 그리고 상기 역 멜 켑스트럼 처리된 신호를 다시 음성 신호로 변환하는 주파수 역변환 모듈을 포함할 수 있다.
상기 음원 이퀄라이저는,
분노 상태의 감정 인식 결과가 입력되면, 짝수 포먼트를 강화환 이퀄라이저를 적용하고, 슬픔 또는 지루한 상태일 경우 홀수 포먼트를 강화한 이퀄라이저를 적용할 수 있다.
본 발명의 다른 특징에 따르면, 운전자 감성 제어 방법은 운전자 감성 제어 장치의 운전자 감성 제어 방법으로서, 입력받은 음성 및 차량 운행 정보를 토대로 감정 인식 결과를 도출하는 단계, 상기 감정 인식 결과에 따라 음원 이퀄라이저를 조정하여 음원을 출력하는 단계, 그리고 상기 감정 인식 결과에 따라 네비게이션 메시지 출력 시기를 조정하는 단계를 포함한다.
상기 감정을 인식하는 단계는,
입력받은 음성을 주파수 변환하는 단계, 그리고 상기 차량 운행 정보에 따른 가중치를 반영하여 네가지 감정에 대한 훈련된 가우시안 혼합 모델과 상기 주파수 변환된 음성을 이용한 우도를 계산하여 감정을 인식하는 단계를 포함할 수 있다.
상기 감정 인식 결과를 도출하는 단계 이후,
입력받은 음성을 주파수 영역의 신호로 변환하는 단계, 상기 주파수 변환된 음성에 대한 멜 켑스트럼(MFCC)을 수행하여 특징을 추출하는 단계, 상기 MFCC 모듈이 추출한 특징에서 감정에 해당하는 성분을 제거하기 위해 켑스트럼 평균 차감(Cepstral mean subtraction)을 수행하는 단계, 상기 보상 모듈에 의해 처리된 주파수 변환된 음성에 대한 역 멜 켑스트럼을 수행하는 단계, 그리고 상기 역 멜 켑스트럼 처리된 신호를 다시 음성 신호로 변환하는 단계를 더 포함할 수 있다.
상기 음원을 출력하는 단계는,
분노 상태의 감정 인식 결과가 입력되면, 짝수 포먼트를 강화환 이퀄라이저를 적용하고, 슬픔 또는 지루한 상태일 경우 홀수 포먼트를 강화한 이퀄라이저를 적용할 수 있다.
본 발명의 실시예에 따르면, 운전자의 감정 및 주행 정보에 대응하여 차량의 주행 관련 도움 및 인포테이먼트 시스템을 동작을 통해서 차량의 주행 안정성을 향상시킨다.
또한, 주행 정보를 감정 인식에 적용함으로서 음성을 이용한 감정 인식의 성능을 높일 수 있고 또한 감정 인식을 통해서 나온 정보를 적용시키는 구체적인 시스템을 제안함으로서 주행 안정성을 상승시킬 수 있다.
도 1은 본 발명의 실시예에 따른 운전자 감성 제어 장치의 구성을 나타낸 블록도이다.
도 2는 도 1의 감정 인식부의 세부적인 구성을 나타낸 블록도이다.
도 3은 도 1의 전처리부의 세부적인 구성을 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 포먼트를 나타낸 그래프이다.
도 5는 본 발명의 실시에에 따른 운전자 감성 제어 방법을 나타낸 순서도이다.
도 6은 도 5의 S107 단계를 상세히 나타낸 순서도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하계 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하계 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부"의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 운전자 감성 제어 장치 및 그 방법에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 운전자 감성 제어 장치의 구성을 나타낸 블록도이고, 도 2는 도 1의 감정 인식부의 세부적인 구성을 나타낸 블록도이며, 도 3은 도 1의 전처리부의 세부적인 구성을 나타낸 블록도이고, 도 4는 본 발명의 실시예에 따른 포먼트를 나타낸 그래프이다.
도 1을 참조하면, 운전자 감성 제어 장치(100)는 운행정보 수집부(110), 감정 인식부(130) 및 감정 관리부(150)를 포함한다.
여기서, 운전자 감성 제어 장치(100)는 음성을 이용하여 부가적인 기능 추가, 즉, 이퀄라이저 기능 및 네비계이션 시스템, 음성 인식 성능 음성 인식기 앞 단 또는 독립적인 구성으로 쓰일 수 있다.
이때, 운행정보 수집부(110)는 차량의 운행상황에 대한 정보에는 차량 속도, 조도, 온도(실내/외), 습도, 날씨(비, 구름 많음, 맑음 등), 주행 도로, 시간대 정보 중 하나 이상의 정보가 포함된다. 차량 속도는 휠 속도 센서로부터 취득될 수 있고, 조도 정보는 조도 센서로부터 취득될 수 있고, 온도 정보는 온도 센서로부터 취득될 수 있으며, 습도 정보는 습도 센서로부터 취득될 수 있다. 그리고 날씨 정보는 TPEG(Transport Protocol Expert Group) 데이터로부터 취득될 수 있고, 주행 도로 정보는 내비계이션 데이터로부터 취득될 수 있으며, 시간대 정보는 GPS 모듈이나 차량 내 타이머로부터 취득될 수 있다.
여기서, 주행 도로 정보라 함은 차량이 주행중인 도로가 고속도로인지 전용도로인지 아니면 일반도로인지 등을 나타내는 정보를 말한다. 일 실시예에 있어서, 운행상황 정보 취득 장치를 통해 차량 속도, 조도, 온도, 및 습도 정보를 수집할 수 있으며, AVN((AUDIO, VIDEO, NAVIGATION) 헤드 유닛을 통해 날씨 정보와 주행 도로 정보 및 시간대 정보를 수집할 수 있다.
감정 인식부(130)는 입력받은 음성을 토대로 운전자의 감성을 인식한다. 감정 인식 결과는 '중립(Neutral)','분노(Angry)','행복(Happy)','슬픔(Sad(Boring))'이렇계 4가지 결과일 수 있다.
이때, 감정 인식부(130)는 운행정보 수집부(110)로부터 전달받은 운행 정보를 고려하여 입력 음성을 토대로 운전자의 감성을 인식한다.
하나의 실시예에 따르면, 감정 인식부(130)는 감정 인식 결과를 도출할 때 각각의 감정에 대한 스코어링(Scoring)을 하는데 이때 도로 혼잡도의 정보를 반영할 수 있다. 도로가 혼잡할 때에는 본노 상태에 가중치를
Figure 112014114799550-pat00001
배, 예를 들면, 1.2배를 적용할 수 있다. 또한, 도로가 한산할 때에는 슬픔 혹은 지루한 상태에 가중치를
Figure 112014114799550-pat00002
배, 예를 들면, 1.2배를 적용할 수 있다.
여기서, 감정 인식부(130)는 도 2와 같이 구현될 수 있다.
도 2를 참조하면, 감정 인식부(130)는 주파수 변환 모듈(131), 학습모델 저장부(133) 및 우도 계산부(135)를 포함한다.
주파수 변환 모듈(131)은 입력 음성을 주파수 영역의 신호로 변환한다.
학습모델 저장부(133)는 학습된 가우시안 혼합 모델(Gaussian mixture model, GMM)을 저장한다. 학습모델 저장부(133)는 '중립(Neutral) GMM', '분노(Angry) GMM', '행복(Happy) GMM', '슬픔(Sad(Boring)) GMM'을 저장한다.
우도 계산부(135)는 주파수 변환 모듈(131)이 출력하는 결과를 학습모델 저장부(133)에 저장된 GMM들과의 우도를 계산하여 감정을 인식한다.
우도 계산부(135)는 가우시안 혼합 밀도 모델(GMM)을 이용한 대수 우도비(LLR) 신뢰도를 계산한다. 여기서, 가우시안 혼합 밀도 모델(GMM)은 N차원 벡터공간(vector space)을 M개의 다변량 가우시안 분포가 가산된 형태로 모델링하는 통계 모델 기법이며, 음성인식 또는 화자인식기에 널리 사용된다. 그리고 우도 계산부(135)는 계산 결과에 따라 입력 음성의 감정을 인식한 결과를 출력한다. 즉, 중립인지 슬픔인지 등이 출력된다.
이때, 우도 계산부(135)는 운행 정보 수집부(110)가 출력하는 운행 정보를 토대로 우도 계산 결과의 가중치를 부여한다. 즉,우도 계산 결과 분노와 슬픔의 인식 결과가 나타났을 경우, 도로가 혼잡하면 분노에 가중치를 부여하여 최종 감정 인식 결과를 분노로 출력하는 것이다. 예를 들면, 음성 입력에 대해서 각각의 GMM과 우도비를 계산하면 0 ~ 1 사이의 숫자가 나오는데, 예컨대 중립 우도비 0.5x , 분노 우도비 0.73 일 수 있다. 이때, 가장 높은 우도비가 산출된 값을 해당하는 감정으로 판단한다. 이러한 우도비에 운행 정보등을 반영하여 가중치를 주어서 가장 높은 값을 해당 감정이라고 판단한다.
다시, 도 1을 참조하면, 감정 관리부(150)는 우도 계산부(135)의 감정 인식 결과에 따라 운전자 감성 제어 동작을 수행한다.
감정 관리부(150)는 음원 이퀄라이저(151), 네비게이션 제어부(153) 및 전처리부(155)를 포함한다.
음원 이퀄라이저(151)는 감정 인식 결과에 따라 음원 EQ를 조정하여 출력한다. 하나의 실시예에 따르면, 분노 상태일 경우 출력 음악에 기분이 좋아질 수 있는 EQ를 적용 슬픔 혹은 지루한 상태에 대하여 졸음 방지를 위해 전체적인 출력 크기 및 EQ를 적용한다.
음원 이퀄라이저(151)는 분노 상태일 경우 출력 음악에 기분이 온화해지는 EQ를 적용한다. 또한, 슬픔 혹은 지루한 상태에 대하여 졸음 방지를 위해 전체적인 출력 크기 상승 및 자극적 EQ를 적용한다.
이때, 도 4와 같이 포먼트는 주파수 축에서 낮은 쪽의 꼭대기부터 지칭하는 용어인데, 짝수 포먼트는 넓고 따듯한, 홀수 포먼트는 좁고 거친 느낌을 갖는다. 2nd : 풍성함, 3rd: 부드러움, 7th: 날카로움으로 설정되어 감정 인식 결과에 따라 포먼트를 강화할 수 있다.
즉, 분노 상태의 경우 짝수 포먼트 강화 및 포먼트 강화를 할 수 있다. 그리고 슬픔 혹은 지루한 상태일 경우 홀수 포먼트 강화 및 전체 게인 상승을 할 수 있다.
음원 이퀄라이저(151)는 입력받은 음성을 LPC(linear predictive coding) 변환하고, 피크치를 검출한 후, EQ를 계산할 수 있으며, 이는 수학식 1과 같다.
Figure 112014114799550-pat00003
여기서, G는 전체 이득 상수 h는 해밍 윈도우, N는 윈도우 크기, k는 주파수 index, w는 가중 인자를 나타낸다.
네비게이션 제어부(153)는 감정 인식 결과에 따라 네비게이션 안내 메시지 출력 시기를 조정한다. 예를 들면, 즐거운 상태 및 분노 상태에서는 전방 집중도가 떨어진다. 따라서, 즐거운 상태 및 분노 상태에 대하여 안내 메시지 출력 시기 앞당긴다. 에컨대, 원래 100m 전방에서 출력이 된다면, 이를 150m 전방으로 앞당길 수 있다.
전처리부(155)는 평상시 상태를 제외한 상태에 대해서 감정 변화에 강인하도록 전처리를 실행한다. 전처리부(155)는 감정이 들어간 음성은 음성 인식기 학습모델과 다르기 때문에 음성 인식 성능이 저하한다. 감정의 대부분인 중립 상태일 경우는 음성인식에 바로 입력 나머지 상태에 대해서 전처리 필요하다. 감정에 해당하는 성분을 제거하기 위해 Cepstral mean subtraction 수행한다.
이러한 전처리부(155)는 도 3과 같이 구현될 수 있다.
도 3을 참조하면, 전처리부(155)는 주파수 변환 모듈(155-1), MFCC(Mel Frequency Cepstral Coefficient) 모듈(155-3), 보상 모듈(155-5), 역 MFCC 모듈(155-7) 및 주파수 역변환 모듈(155-9)을 포함한다.
주파수 변환 모듈(155-1)은 감정 인식부(130)가 출력하는 감정 인식 결과를토대로 음성 인식을 위한 전처리를 수행한다. 즉, 음성을 입력받아 주파수 영역의 신호로 변환한다.
MFCC 모듈(155-3)은 멜 켑스트럼(MFCC)을 기반으로 주파수 영역의 음성 신호로부터 특징 벡터를 추출한다. Mel-Frequency Cepstral Coefficient(MFCC) 변환 과정은 프리-엠퍼시스(Pre-Emphasis) -> FFT -> |.|2 -> 멜-스케일 필터뱅크(Mel-scale Filterbank) -> 로그(Log) 연산 -> DCT(Discrete Cosine Transform) 연산을 포함한다.
보상 모듈(155-5)은 Cepstral mean subtraction을 수행한다. 그리고 감정 인식부(130)가 출력하는 감정 인식 결과를 토대로 감정에 해당하는 성분을 제거한다. 이러한 과정은 수학식 2와 같다.
Figure 112014114799550-pat00004
여기서,
Figure 112014114799550-pat00005
은 전체 프레임 수
Figure 112014114799550-pat00006
는 캡스트럼 평균,
Figure 112014114799550-pat00007
는 보상된 캡스트럼을 말한다.
역 MFCC 모듈(155-7)은 MFCC는 비가역 변환이기 때문에 직접 값을 변환하는 하는 형식이 아닌 이득을 적용하는 방식으로 구현되며, 수학식 3과 같다.
Figure 112014114799550-pat00008
여기서, IDCT은 역DCT m는 캡스트럼 index, mel은 mel-filterbank 계수이다.
주파수 역변환 모듈(155-9)은 역 MFCC 모듈(155-7)이 출력하는 신호를 다시 원래의 음성 신호로 변환한다. 이처럼 역변환된 음성은 감정 인식부(110)로 입력된다.
그러면, 지금까지 설명한 내용을 기초로 운전자 감성을 제어하는 과정을 설명하면 다음과 같다.
도 5는 본 발명의 실시예에 따른 운전자 감성 제어 방법을 나타낸 순서도이다.
도 5를 참조하면, 운행정보 수집부(110)는 운행정보를 수집한다(S101).
감정 인식부(130)는 S101 단계에서 수집한 운행정보를 고려하여 입력받은 음성을 토대로 감정을 인식한다(S103).
감정 관리부(150)의 이퀄라이저(151)는 감정 인식 결과에 따라 출력 음원의 이퀄라이저(EQ)를 조정한다(S105).
또한, 감정 관리부(150)의 네비게이션 제어부(153)는 감정 인식 결과에 따라 네비게이션 안내 메시지 출력 시기를 조정한다(S107).
또한, 감정 관리부(150)의 전처리부(155)는 감정 인식 결과에 따라 음성 인식을 전처리한다(S109). 즉, S103 단계에서 인식한 감정 인식 결과에 기초하여 음성에서 감정을 제거한 후, 음성 인식이 처리되도록 한다.
도 6은 도 5의 S107 단계를 상세히 나타낸 순서도이다.
도 6을 참조하면, 감정 관리부(150)의 이퀄라이저(151)는 감정 인식 결과가 분노와 슬픔으로 판단(S201)되면, 음성을 LPC 변환한다(S203). 그리고 피크를 검출하여 EQ를 계산한다(S205). 그리고 EQ에 따른 음원을 출력한다(S207).
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하계 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (9)

  1. 입력받은 음성을 분석하여 감정을 인식하고, 차량 운행 정보에 따라 감정 인식 결과에 가중치를 부여하는 감정 인식부,
    상기 감정 인식 결과에 따라 음원 이퀄라이저를 조정하여 음원을 출력하는 음원 이퀄라이저, 그리고
    상기 감정 인식 결과에 따라 네비게이션 메시지 출력 시기를 조정하는 네비게이션 제어부를 포함하고,
    상기 감정 인식부는,
    입력받은 음성을 주파수 변환하는 주파수 변환 모듈,
    사전에 설정된 복수의 감정에 대하여 훈련된 학습 모델을 저장하는 저장부, 그리고
    주파수 변환된 음성과 상기 저장부에 저장된 학습 모델을 비교하여 감정을 인식하고, 상기 비교시 차량 운행 정보에 따른 가중치를 반영하는 계산부
    를 포함하는 운전자 감성 제어 장치.
  2. 제1항에 있어서,
    상기 저장부는, 상기 복수의 감정에 대해 훈련된 가우시안 혼합 모델을 저장하고,
    상기 계산부는,
    상기 주파수 변환된 음성과 상기 가우시안 혼합 모델을 이용한 우도를 계산하여 감정을 인식하고, 상기 우도 계산시 상기 차량 운행 정보에 따른 가중치를 반영하는
    운전자 감성 제어 장치.
  3. 제2항에 있어서,
    입력받은 음성에서 감정에 해당하는 성분을 제외시키는 전처리를 하는 전처리부를 더 포함하고,
    상기 전처리된 음성은 음성 인식 시스템에 이용되는 것인 운전자 감성 제어 장치.
  4. 제3항에 있어서,
    상기 전처리부는,
    입력받은 음성을 주파수 영역의 신호로 변환하는 주파수 변환 모듈,
    상기 주파수 변환된 음성에 대한 멜 켑스트럼(MFCC)을 수행하여 특징을 추출하는 MFCC 모듈,
    상기 MFCC 모듈이 추출한 특징에서 감정에 해당하는 성분을 제거하기 위해 켑스트럼 평균 차감(Cepstral mean subtraction)을 수행하는 보상 모듈,
    상기 보상 모듈에 의해 처리된 주파수 변환된 음성에 대한 역 멜 켑스트럼을 수행하는 역 MFCC 모듈, 그리고
    상기 역 멜 켑스트럼 처리된 신호를 다시 음성 신호로 변환하는 주파수 역변환 모듈
    을 포함하는 운전자 감성 제어 장치.
  5. 제1항에 있어서,
    상기 음원 이퀄라이저는,
    분노 상태의 감정 인식 결과가 입력되면, 짝수 포먼트를 강화환 이퀄라이저를 적용하고, 슬픔 또는 지루한 상태일 경우 홀수 포먼트를 강화한 이퀄라이저를 적용하는 운전자 감성 제어 장치.
  6. 운전자 감성 제어 장치의 운전자 감성 제어 방법으로서,
    입력받은 음성 및 차량 운행 정보를 토대로 감정 인식 결과를 도출하는 단계,
    상기 감정 인식 결과에 따라 음원 이퀄라이저를 조정하여 음원을 출력하는 단계, 그리고
    상기 감정 인식 결과에 따라 네비게이션 메시지 출력 시기를 조정하는 단계를 포함하고,
    상기 감정 인식 결과를 도출하는 단계는,
    입력받은 음성을 주파수 변환하는 단계, 그리고
    사전에 설정된 복수의 감정에 대하여 훈련된 학습 모델과, 주파수 변환된 음성을 비교하여 감정을 인식하고, 상기 비교시 차량 운행 정보에 따른 가중치를 반영하는 단계
    를 포함하는 운전자 감성 제어 방법.
  7. 제6항에 있어서,
    상기 가중치를 반영하는 단계는,
    상기 차량 운행 정보에 따른 가중치를 반영하여 상기 복수의 감정에 대해 훈련된 가우시안 혼합 모델과 상기 주파수 변환된 음성을 이용한 우도를 계산하여 감정을 인식하는 운전자 감성 제어 방법.
  8. 제7항에 있어서,
    상기 감정 인식 결과를 도출하는 단계 이후,
    입력받은 음성을 주파수 영역의 신호로 변환하는 단계,
    상기 주파수 변환된 음성에 대한 멜 켑스트럼(MFCC)을 수행하여 특징을 추출하는 단계,
    추출한 특징에서 감정에 해당하는 성분을 제거하기 위해 켑스트럼 평균 차감(Cepstral mean subtraction)을 수행하는 단계,
    주파수 변환된 음성에 대한 역 멜 켑스트럼을 수행하는 단계, 그리고
    상기 역 멜 켑스트럼 처리된 신호를 다시 음성 신호로 변환하는 단계
    를 더 포함하는 운전자 감성 제어 방법.
  9. 제6항에 있어서,
    상기 음원을 출력하는 단계는,
    분노 상태의 감정 인식 결과가 입력되면, 짝수 포먼트를 강화환 이퀄라이저를 적용하고, 슬픔 또는 지루한 상태일 경우 홀수 포먼트를 강화한 이퀄라이저를 적용하는 운전자 감성 제어 방법.
KR1020140166785A 2014-11-26 2014-11-26 운전자 감성 제어 장치 및 그 방법 KR101619257B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140166785A KR101619257B1 (ko) 2014-11-26 2014-11-26 운전자 감성 제어 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140166785A KR101619257B1 (ko) 2014-11-26 2014-11-26 운전자 감성 제어 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101619257B1 true KR101619257B1 (ko) 2016-05-10

Family

ID=56021175

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140166785A KR101619257B1 (ko) 2014-11-26 2014-11-26 운전자 감성 제어 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101619257B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102145777B1 (ko) * 2019-09-23 2020-08-19 인포보스 주식회사 인공지능을 이용한 셀프검증형 감성분석에 기반한 기기제어 방법 및 장치
KR102200807B1 (ko) 2020-04-07 2021-01-11 인포뱅크 주식회사 자율주행차량의 속도 제어 장치 및 방법
KR20230042835A (ko) 2021-09-23 2023-03-30 쌍용자동차 주식회사 운전자 감성대응 주크박스 기능이 내장된 오디오장치 및 그 제어방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102145777B1 (ko) * 2019-09-23 2020-08-19 인포보스 주식회사 인공지능을 이용한 셀프검증형 감성분석에 기반한 기기제어 방법 및 장치
KR102200807B1 (ko) 2020-04-07 2021-01-11 인포뱅크 주식회사 자율주행차량의 속도 제어 장치 및 방법
KR20230042835A (ko) 2021-09-23 2023-03-30 쌍용자동차 주식회사 운전자 감성대응 주크박스 기능이 내장된 오디오장치 및 그 제어방법

Similar Documents

Publication Publication Date Title
US11232788B2 (en) Wakeword detection
EP3955246B1 (en) Voiceprint recognition method and device based on memory bottleneck feature
Miyajima et al. Driver modeling based on driving behavior and its evaluation in driver identification
EP2713367B1 (en) Speaker recognition
US8560313B2 (en) Transient noise rejection for speech recognition
US8639508B2 (en) User-specific confidence thresholds for speech recognition
US20160071520A1 (en) Speaker indexing device and speaker indexing method
JP4357867B2 (ja) 音声認識装置、音声認識方法、並びに、音声認識プログラムおよびそれを記録した記録媒体
CN110428854B (zh) 车载端的语音端点检测方法、装置和计算机设备
Gajšek et al. Speaker state recognition using an HMM-based feature extraction method
US20130211832A1 (en) Speech signal processing responsive to low noise levels
Bořil et al. Towards multimodal driver’s stress detection
KR101619257B1 (ko) 운전자 감성 제어 장치 및 그 방법
Nandwana et al. Towards Smart-Cars That Can Listen: Abnormal Acoustic Event Detection on the Road.
Prudnikov et al. Improving acoustic models for Russian spontaneous speech recognition
Boril et al. UTDrive: Emotion and cognitive load classification for in-vehicle scenarios
US11273778B1 (en) Vehicle voice user interface
US11404075B1 (en) Vehicle voice user interface
Jessen et al. Evaluation of Nuance Forensics 9.2 and 11.1 under conditions reflecting those of a real forensic voice comparison case (forensic_eval_01)
Dusan et al. On integrating insights from human speech perception into automatic speech recognition.
Loh et al. Speech recognition interactive system for vehicle
Jafarnejad et al. Revisiting gaussian mixture models for driver identification
Krishnamurthy et al. Car noise verification and applications
CN115641861A (zh) 一种车载语音增强方法、装置、存储介质及设备
CN115376508A (zh) 一种根据驾驶员情绪状态切换的车载语音交互系统及方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 4