KR101449856B1 - 전화 통화의 사용자 감정 판단 방법 - Google Patents

전화 통화의 사용자 감정 판단 방법 Download PDF

Info

Publication number
KR101449856B1
KR101449856B1 KR1020130069707A KR20130069707A KR101449856B1 KR 101449856 B1 KR101449856 B1 KR 101449856B1 KR 1020130069707 A KR1020130069707 A KR 1020130069707A KR 20130069707 A KR20130069707 A KR 20130069707A KR 101449856 B1 KR101449856 B1 KR 101449856B1
Authority
KR
South Korea
Prior art keywords
emotion
window
user
detailed
unit
Prior art date
Application number
KR1020130069707A
Other languages
English (en)
Inventor
이승룡
방재훈
차정훈
정태충
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020130069707A priority Critical patent/KR101449856B1/ko
Application granted granted Critical
Publication of KR101449856B1 publication Critical patent/KR101449856B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Abstract

본 발명은 전화 통화에 내포되어 있는 사용자의 감정을 판단하는 방법 및 그 장치에 관한 것으로, 보다 구체적으로 전화 통화 시간에 해당하는 전체 윈도우를 세부 윈도우로 분할하고, 각 세부 윈도우에서 사용자의 세부 감정에 기초하여 전체 전화 통화에 내포되어 있는 사용자의 감정을 정확하게 판단할 수 있는 사용자의 감정 판단 방법 및 그 장치를 제공하는 것이다.

Description

전화 통화의 사용자 감정 판단 방법{Method for estimating user emotion based on call speech}
본 발명은 전화 통화에 내포되어 있는 사용자의 감정을 판단하는 방법 및 그 장치에 관한 것으로, 보다 구체적으로 전화 통화 시간에 해당하는 전체 윈도우를 세부 윈도우로 분할하고, 각 세부 윈도우에서 사용자의 세부 감정에 기초하여 전체 전화 통화에 내포되어 있는 사용자의 감정을 정확하게 판단할 수 있는 사용자의 감정 판단 방법 및 그 장치를 제공하는 것이다.
최근 스마트폰이 널리 보급되면서 사용자 정보를 활용한 다양한 개인화 서비스에 대한 연구가 활발히 진행되고 있다. 사용자 정보의 예로는 사용자의 상황 정보와 사용자의 감정 정보 등이 있다. 특히 감정 정보는 사용자의 현재 감정 상태를 나타내는 정보로 감정 상태에 따라 달라지는 음악 추천과 같은 문화 콘텐츠 서비스와 콜센터나 메디컬 센터에서 고객 감정 모니터링 등에 매우 유용하다.
음성 기반 감정인식이란 사용자의 음성신호를 분석하여 사용자의 감정을 자동으로 인식하는 기술이다. 스마트폰은 마이크로 폰 센서를 구비하여 스마트폰에서 마이크로 폰 센서를 이용하여 사용자의 통화 음성 데이터 수집 및 처리가 용이해짐에 따라 감정인식 기술 연구가 활발히 진행되고 있다.
스마트폰에서의 감정 기반 개인화 서비스를 제공하기 위해서는 통화 종료 후 사용자 감정을 통화 단위로 판단해야 한다. 그러나 종래 음성기반 감정인식 기술은 전체 통화에 대한 감정의 인식이 아닌 현재 통화 시점에서 사용자의 감정을 인식하는 기술로서, 전체 통화기간 동안의 사용자 감정을 인식하기 곤란하다는 문제점을 가진다.
예를 들어, 사용자가 통화의 대부분을 화를 내며 대화를 하고 마지막 통화 시간 동안 차분한 상태로 통화를 종료하는 경우, 기존의 감정인식 기술은 사용자의 감정상태를 "평범"이라 인식한다. 이 경우 전체적인 전화 통화에서 사용자의 감정 상태는 "화남"이고 통화 종료 후의 사용자의 감정상태 역시 "화남"이다. 따라서 전화 통화라는 1개의 이벤트에 대해 사용자의 감정상태를 정확하게 판단하기 위해서는 전화 통화 전체를 1개의 이벤트로 설정하여 전화 통화 전체에서 반영되는 사용자의 감정 상태를 판단하는 것이 중요하다.
본 발명은 위에서 언급한 종래 전화통화의 사용자 감정인식 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 전화 통화 전체에 나타나는 사용자 감정을 판단할 수 있는 전화통화에서의 사용자 감정 판단 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 사용자의 감정은 시간이 경과함에 따라 감정 크기가 줄어든다는 감정 생존 특징에 기초하여 전체 통화 시간을 세부 윈도우로 분할하여 각 세부 윈도우별로 판단한 사용자의 세부 감정에 서로 다른 가중치를 부여하여 전체 전화 통화에 반영된 사용자의 감정을 판단하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 목적은 전체 전화 통화 시간에서 통화 시간의 경과에 따라 세부 윈도우의 크기를 줄여감으로써 장기간의 전화 통화에서 사용자의 감정을 적은 연산량으로 정확하게 판단할 수 있는 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위하여 본 발명에 따른 전화 통화에서의 사용자 감정 판단 방법은 전화 통화 시간에 해당하는 전체 윈도우를 분할하여 세부 윈도우를 생성하는 단계와, 세부 윈도우의 전화 통화에서 감정 특징 요인을 추출하고 감정 특징 요인에 기초하여 세부 윈도우 단위로 사용자 감정을 판단하는 단계와, 세부 윈도우 단위의 사용자 감정으로부터 전체 윈도우에서의 사용자 감정을 판단하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 사용자 감정 판단 방법에서 세부 윈도우는 서로 동일한 크기를 가지도록 생성되며, 세부 윈도우 단위의 사용자 감정에 서로 다른 가중치를 부여하여 전체 윈도우에서의 사용자 감정을 판단하는 것을 특징으로 한다.
바람직하게, 세부 윈도우 단위의 사용자 감정에 부여되는 가중치는 전화 통화 종료시점의 세부 윈도우에 가장 큰 가중치를 부여하고, 전화 통화 종료시점의 세부 윈도우로부터 멀어질수록 작은 가중치를 부여하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 사용자 감정 판단 방법에서 세부 윈도우는 전화 통화의 종료시점에서 가장 짧고 종료 시점부터 멀어질수록 길게 생성되는 것을 특징으로 한다.
바람직하게, 세부 윈도우 단위의 사용자 감정에 서로 다른 가중치를 부여하여 전체 윈도우에서의 사용자 감정을 판단하는 것을 특징으로 한다.
본 발명의 일 실시예 또는 다른 실시예에 따른 사용자 감정 판단 방법은 전화 통화에서 묵음을 판단하고 전화 통화에서 묵음을 삭제하여 가공 전화 통화를 생성하는 단계를 더 포함하며, 세부 윈도우는 가공 전화 통화 시간에 해당하는 전체 윈도우를 분할하여 생성되는 것을 특징으로 한다.
한편, 본 발명에 따른 전화 통화에서의 사용자의 감정을 판단하는 장치는 전화 통화 시간에 해당하는 전체 윈도우를 분할하여 세부 윈도우를 생성하는 세부 윈도우 생성부와, 세부 윈도우의 전화 통화에서 감정 특징 요인을 추출하고 감정 특징 요인에 기초하여 세부 윈도우 단위로 사용자 감정을 판단하는 세부 감정 판단부와, 세부 윈도우 단위의 사용자 감정으로부터 전체 윈도우에서의 사용자 감정을 판단하는 감정 판단부를 포함하는 것을 특징으로 한다.
바람직하게, 본 발명에 따른 사용자 감정 판단 장치는 전화 통화에서 묵음을 제거하여 가공 전화 통화를 생성하는 가공 전화 생성부를 더 포함하며, 세부 윈도우 생성부는 가공 전화 통화 시간에 해당하는 전체 윈도우를 분할하여 세부 윈도우를 생성하는 것을 특징으로 한다.
여기서 가공 전화 생성부는 전화 통화의 통화 세기 평균값으로부터 묵음 임계값을 계산하는 임계값 계산부와, 묵음 임계값과 상기 전화 통화의 세기를 비교하여 전화 통화에서 묵음을 판단하는 묵음 판단부와, 전화 통화에서 판단한 묵음을 삭제하여 가공 전화 통화를 생성하는 가공부를 포함하는 것을 특징으로 한다.
여기서 세부 감정 판단부는 세부 윈도우에서 감정 특징 요인을 추출하는 특징 추출부와, 감정 특징 요인과 감정 데이터베이스에 저장되어 있는 기준 특징 요인을 비교하여 감정 특징 요인에 매핑되는 기준 특징 요인을 검색하는 검색부와, 감정 특징 요인에 매핑되는 기준 특징 요인에 기초하여 세부 윈도우의 세부 감정을 판단하는 세부 판단부를 포함하는 것을 특징으로 한다.
여기서 감정 판단부는 전화 통화의 시간 흐름에 따라 세부 윈도우 단위의 사용자 감정에 부여되는 가중치를 할당하는 가중치 할당부와, 세부 윈도우 단위의 사용자 감정과 각 세부 윈도우에 부여된 가중치를 곱하여 생성되는 세부 윈도우 감정값을 계산하는 세부 감정값 계산부와, 세부 윈도우 감정값을 감정별로 분류하고 감정별로 분류한 세부 윈도우 감정값의 합으로부터 감정별 감정값을 계산하는 감정값 계산부와, 감정별 감정값에 기초하여 가장 높은 값을 가지는 감정을 전체 윈도우에서의 사용자 감정으로 판단하는 전체 판단부를 포함하는 것을 특징으로 한다.
본 발명에 따른 사용자 감정 판단 장치의 일 실시예에서 세부 윈도우 생성부는 세부 윈도우가 서로 동일한 크기를 가지도록 전체 윈도우를 분할하여 세부 윈도우를 생성하며, 가중치 할당부는 전화 통화 종료시점의 세부 윈도우에 가장 큰 가중치를 할당하고 전화 통화 종료시점의 세부 윈도우로부터 멀어질수록 작은 가중치를 할당하는 것을 특징으로 한다.
본 발명에 따른 사용자 감정 판단 장치의 다른 실시예에서 세부 윈도우 생성부는 세부 윈도우가 전화 통화의 종료시점에서 가장 짧고 종료 시점부터 멀어질수록 길게 생성하며, 가중치 할당부는 세부 윈도우에 동일한 가중치를 할당하는 것을 특징으로 한다.
본 발명에 따른 전화통화에서의 사용자 감정 판단 방법 및 그 장치는 다음과 같은 효과들을 가진다.
첫째, 본 발명에 따른 사용자 감정 판단 방법은 전체 전화 통화를 세부 윈도우로 분할하고 각 세부 윈도우에서 사용자의 세부 감정을 통합하여 사용자 감정을 판단함으로써, 전체 전화 통화에 내포되어 있는 사용자 감정을 정확하게 판단할 수 있다.
둘째, 본 발명에 따른 사용자 감정 판단 방법은 사용자 감정의 경우 시간이 경과함에 따라 줄어든다는 감정 생존 법칙에 기초하여 전체 통화 시간에서 세부 윈도우에서 판단한 세부 감정에 부여되는 가중치를 통화 시간이 경과함에 따라 증가시킴으로써, 통화 시간 경과를 고려하여 전체 전화 통화에 내포된 사용자의 감정을 정확하게 판단할 수 있다.
셋째, 본 발명에 따른 사용자 감정 판단 방법은 전체 전화 통화 시간에서 통화 시간의 경과에 따라 세부 윈도우의 크기를 줄여감으로써, 장기간의 전화 통화에서 사용자의 감정을 적은 연산량으로 정확하게 판단할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전화통화에서의 사용자 감정 판단 장치를 설명하기 위한 기능 블록도이다.
도 2는 본 발명에 따른 가공 통화 생성부를 설명하기 위한 기능 블록도이다.
도 3은 본 발명에 따른 세부 감정 판단부를 설명하기 위한 기능 블록도이다.
도 4는 본 발명에 따른 감정 판단부를 설명하기 위한 기능 블록도이다.
도 5는 본 발명에 따른, 전화 통화에 반영된 사용자의 감정을 판단하는 방법을 설명하는 흐름도이다.
도 6은 세부 사용자 감정으로부터 전체 윈도우의 사용자 감정을 판단하는 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명에 따른 전체 윈도우와 세부 윈도우의 일 예를 도시하고 있는 도면이다.
도 8은 본 발명에 따른 전체 윈도우와 세부 윈도우의 다른 예를 도시하고 있는 도면이다.
도 9는 감정의 생존 곡선의 일 예를 도시하고 있다.
이하 첨부한 도면을 참고로 본 발명에 따른 사용자 감정 판단 방법에 대해 보다 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 전화통화에서의 사용자 감정 판단 장치를 설명하기 위한 기능 블록도이다.
도 1을 참고로 보다 구체적으로 살펴보면, 가공 통화 생성부(110)는 입력되는 전화 통화에서 묵음을 판단하고, 전화 통화에서 판단한 묵음을 제거하여 가공 전화 통화를 생성한다.
세부 윈도우 생성부(120)는 가공 전화 통화의 전체 통화 시간에 해당하는 전체 윈도우를 동일하거나 서로 다른 길이로 분할하여 세부 윈도우를 생성한다. 바람직하게, 세부 윈도우 생성부(120)는 세부 윈도우가 서로 동일한 크기를 가지도록 전체 윈도우를 분할하여 세부 윈도우를 생성하거나, 세부 윈도우가 전화 통화의 종료시점에서 가장 짧고 종료 시점부터 멀어질수록 길게 생성할 수 있다.
세부 감정 판단부(130)는 세부 윈도우의 전화 통화에서 감정 특징 요인을 추출하고 감정 특징 요인과 감정 데이터베이스(140)에 저장되어 있는 기준 특징 요인을 비교하여 감정 특징 요인에 매핑되는 기준 특징 요인의 감정을 세부 윈도우 단위에서의 세부 사용자 감정으로 판단한다. 바람직하게, 감정 데이터베이스(140)에서는 음성 분석을 통해 다수 사람의 음성 분석에 기초하여 또는 사용자에 개인화된 음성 분석을 통해 사용자의 감정을 나타내는 기준 특징 요인이 감정별로 분류되어 저장되어 있다.
감정 판단부(150)는 세부 윈도우 단위의 사용자 세부 감정에 가중치를 부여하여 전체 윈도우에서의 감정별 사용자 세부 감정 크기의 합을 계산하고, 계산한 감정별 사용자 세부 감정 크기의 합에 기초하여 전체 윈도우에서의 사용자 감정을 판단한다.
사용자의 전화 통화 내용을 살펴보면, 사용자 또는 상대방이 대화를 수행하는 통화 구간과 사용자 또는 상대방이 대화를 수행하지 않는 묵음 구간으로 구분되는데, 앞서 설명한 본 발명에 따른 사용자 감정 판단 장치는 사용자 전화 통화에서 묵음 구간을 제거하여 생성한 가공 전화 통화를 이용하여 사용자의 감정을 판단한다. 그러나 본 발명이 적용되는 분야에 따라 별도의 가공 통화 생성부(110)를 구비하지 않고 통화 구간과 묵음 구간을 모두 구비하는 전화 통화에 기초하여 사용자의 감정을 판단할 수 있다. 이러한 경우, 묵음을 포함한 전체 전화 통화를 전체 윈도우로 설정하여 세부 윈도우가 생성되며, 생성된 세부 윈도우에 기초하여 사용자 감정을 판단할 수 있다.
도 2는 본 발명에 따른 가공 통화 생성부를 설명하기 위한 기능 블록도이다.
도 2를 참고로 보다 구체적으로 살펴보면, 임계값 계산부(111)는 전체 전화 통화에서 나타나는 사용자의 통화 세기 평균값으로부터 묵음 임계값을 계산한다. 사용자의 전체 전화 통화에서 사용자가 상대방과 통화하는 통화 내용 중 사용자의 통화음 세기는 일정하지 않은데, 전체 전화 통화에서 사용자의 통화음 세기로부터 통화 세기 평균값을 계산하고 계산한 통화 세기 평균값(AC)으로부터 아래의 수학식(1)과 같이 묵음 임계값(ST)을 계산한다.
[수학식 1]
Figure 112013054155020-pat00001
여기서 α는 0 내지 1에서 설정되는 임계 상수로 통화 세기 평균값에 기초하여 묵음을 판단하는 기준값이다.
묵음 판단부(113)는 묵음 임계값과 사용자의 전화 통화 내용에서 사용자의 통화음 세기를 비교하여 묵음 임계값 이하의 통화음 세기를 가지는 사용자의 전화 통화를 묵음 구간으로 판단한다. 가공부(115)는 사용자의 전화 통화에서 판단한 묵음 구간을 삭제하여 사용자의 통화 구간으로만 구성되는 가공 전화 통화를 생성한다.
도 3은 본 발명에 따른 세부 감정 판단부를 설명하기 위한 기능 블록도이다.
도 3을 참고로 보다 구체적으로 살펴보면, 특징 추출부(131)는 세부 윈도우에서 사용자의 감정 특징 요인을 추출하는데, 감정 특징 요인은 음성 톤의 세기, 주파수, 피치, 통화속도 등이 사용될 수 있다. 본 발명이 적용되는 분야에 따라 다양한 감정 특징 요인이 사용될 수 있으며 이는 본 발명의 범위에 속한다.
검색부(133)는 감정 특징 요인과 감정 데이터베이스에 저장되어 있는 기준 특징 요인을 비교하여 감정 특징 요인에 매핑되는 기준 특징 요인을 검색한다. 감정 데이터베이스에는 사용자의 감정별 또는 감정크기별 음성 톤의 세기, 주파수, 피치, 통화속도 등을 규정하는 기준 특징 요인이 저장되어 있는데, 감정 특징 요인과 매칭되는 기준 특징 요인을 감정 데이터베이스에서 검색한다.
세부 판단부(135)는 감정 특징 요인에 매핑되는 기준 특징 요인에 기초하여 감정 특징 요인에 매핑되는 기준 특징 요인에 해당하는 감정으로 세부 윈도우의 세부 감정을 판단한다.
도 4는 본 발명에 따른 감정 판단부를 설명하기 위한 기능 블록도이다.
도 4를 참고로 보다 구체적으로 살펴보면, 가중치 할당부(151)는 전화 통화의 시간 흐름에 따라 세부 윈도우 단위의 사용자 세부 감정에 부여되는 가중치를 할당 부여한다. 가중치 할당부(151)는 세부 윈도우가 동일한 크기로 분할되어 생성되는 경우 전화 통화 종료시점의 세부 윈도우에서 판단한 사용자 세부 감정에 가장 큰 가중치를 할당하고 전화 통화 종료시점의 세부 윈도우로부터 멀어질수록 세부 윈도우에서 판단한 사용자 세부 감정에 작은 가중치로 할당한다. 한편, 세부 윈도우가 전화 통화의 종료시점에서 가장 짧고 종료 시점부터 멀어질수록 길게 생성되는 경우 가중치 할당부(151)는 세부 윈도우의 사용자 세부 감정에 동일한 가중치를 할당하거나 또는 전화 통화 종료시점의 세부 윈도우의 사용자 세부 감정에 가장 큰 가중치를 할당하고 전화 통화 종료시점의 세부 윈도우로부터 멀어질수록 각 세부 윈도우의 사용자 세부 감정에 작은 가중치로 할당한다.
본 발명에서 전화 통화의 종료시점의 세부 윈도우에서 판단한 사용자 세부 감정에 가장 큰 가중치를 할당하고 전화 통화 종료시점의 세부 윈도우로부터 멀어질수록 세부 윈도우에서 판단한 사용자 세부 감정에 작은 가중치를 할당함으로써, 전체 전화 통화를 모두 고려함과 동시에 통화 시간이 경과함에 줄어드는 사용자의 감정 생존 상태를 고려하여 사용자의 감정 상태를 판단할 수 있다. 더욱이 장시간의 전화 통화의 경우에는 세부 윈도우를 전화 통화의 종료시점에서 가장 짧고 종료 시점부터 멀어질수록 길게 생성하며, 각 세부 윈도우의 사용자 세부 감정에 동일한 가중치를 할당하거나 전화 통화 종료시점의 세부 윈도우의 사용자 세부 감정에 가장 큰 가중치를 할당하고 전화 통화 종료시점의 세부 윈도우로부터 멀어질수록 각 세부 윈도우의 사용자 세부 감정에 작은 가중치로 할당함으로써, 장시간의 전화 통화에서 내포되어 있는 사용자 감정을 적은 연산량으로 정확하게 판단할 수 있다.
세부 감정값 계산부(153)는 세부 윈도우 단위의 사용자 세부 감정에 각 세부 윈도우에 부여된 가중치를 곱하여 생성되는 세부 윈도우 감정값을 계산하며, 감정값 계산부(155)는 세부 윈도우 감정값을 감정별로 분류하고, 감정별로 분류한 세부 윈도우 감정값의 합으로부터 감정별 감정값을 계산한다. 여기서 세부 윈도우 감정값을 계산함에 있어, 각 사용자 세부 감정은 1의 값을 가지며 각 사용자 세부 감정에 가중치를 곱하여 세부 윈도우 감정값을 계산한다. 전체 판단부(157)는 감정별 감정값에 기초하여 가장 높은 값을 가지는 감정을 전체 윈도우에서의 사용자 감정으로 판단한다.
도 5는 본 발명에 따른, 전화 통화에 반영된 사용자의 감정을 판단하는 방법을 설명하는 흐름도이다.
도 5를 참고로 보다 구체적으로 살펴보면, 사용자의 전화 통화에서 통화 구간과 묵음 구간을 판단하고 전화 통화에서 판단한 묵음 구간을 삭제하여 가공 통화 전화를 생성한다(S100).
가공 전화 통화 시간을 전체 윈도우로 설정하고 전체 윈도우를 분할하여 세부 윈도우를 생성한다(S120). 본 발명이 적용되는 분야에 따라 사용자의 전화 통화에서 묵음 구간을 제거하지 않은 상태로 사용자 전화 통화 시간을 전체 윈도우로 설정하여 세부 윈도우를 생성할 수 있으며, 이는 본 발명의 범위에 속한다. 여기서 세부 윈도우는 동일한 크기를 가지도록 또는 서로 다른 크기를 가지도록 설정될 수 있다.
세부 윈도우의 전화 통화에서 사용자 세부 감정을 판단하는데 이용되는, 사용자의 통화음성 톤의 세기, 주파수, 피치, 통화속도 등의 감정 특징 요인을 추출하고, 추출한 감정 특징 요인에 기초하여 세부 윈도우 단위로 사용자 세부 감정을 판단한다(S130). 세부 윈도우 단위의 사용자 세부 감정으로부터 전체 윈도우에서 판단한 사용자 감정별 크기에 기초하여 전체 윈도우에서의 사용자 감정을 판단한다(S140).
도 6은 본 발명에서 세부 윈도우 단위의 사용자 세부 감정으로부터 전체 윈도우에서 판단한 사용자 감정별 크기에 기초하여 전체 윈도우에서의 사용자 감정을 판단하는 단계를 설명하기 위한 흐름도이다.
도 6을 참고로 보다 구체적으로 살펴보면, 전화 통화의 시간 흐름에 따라 세부 윈도우 단위로 판단한 사용자 세부 감정에 부여되는 가중치를 할당하여 부여한다(S141). 바람직하게, 세부 윈도우 단위로 판단한 사용자 세부 감정에 부여되는 가중치는 세부 윈도우가 동일한 크기로 생성되는지 아니면 서로 상이한 크기로 생성되는지에 따라 달리 할당 부여될 수 있다.
세부 윈도우 단위의 사용자 감정에 각 세부 윈도우에 부여된 가중치를 곱하여 생성되는 세부 윈도우 감정값을 계산하고(S143), 세부 윈도우 감정값을 감정별로 분류하여 감정별로 분류한 세부 윈도우 감정값의 합으로부터 감정별 감정값을 계산한다(S145). 감정별 감정값에 기초하여 가장 높은 값을 가지는 감정을 전체 윈도우에서의 사용자 감정으로 판단한다(S147).
도 7은 본 발명에 따른 전체 윈도우와 세부 윈도우의 일 예를 도시하고 있는 도면이다.
도 7을 참고로 살펴보면, 사용자의 전화 통화의 전체 시간(TW) 또는 사용자의 전화 통화에서 묵음 구간을 제거한 가공 전화 통화의 전체 시간(TW)을 분할하여 동일한 크기를 가지는 세부 윈도우(SW)를 생성한다. 각 세부 윈도우(SW)에서 판단한 사용자 세부 감정에 가중치가 부여되는데, 전화 통화 종료시점의 세부 윈도우(SW4)에 가장 큰 가중치(a4)가 부여되고, 전화 통화 종료시점의 세부 윈도우(SW4)로부터 멀어질수록 각 세부 윈도우에서 판단한 사용자 세부 감정에 작은 가중치가 부여된다. 즉, 세부 윈도우(SW3), 세부윈도우(SW2) 및 세부 윈도우(SW1)에 각각 부여되는 가중치는 a3>a2>a1와 같다.
도 8은 본 발명에 따른 전체 윈도우와 세부 윈도우의 다른 예를 도시하고 있는 도면이다.
도 8을 참고로 살펴보면, 사용자의 전화 통화의 전체 시간(TW) 또는 사용자의 전화 통화에서 묵음 구간을 제거한 가공 전화 통화의 전체 시간(TW)을 분할하여 서로 다른 크기를 가지는 세부 윈도우(SW)를 생성한다. 세부 윈도우(SW)는 전화 통화의 종료시점에서 가장 짧고, 상기 종료 시점부터 멀어질수록 길게 생성되는 것을 특징으로 한다. 즉, 통화 종료시점에서의 세부 윈도우(SW4)는 가장 짧게 생성되고, 전화 통화의 종료시점의 세부 윈도우(SW4)에서 멀어질수록 각 세부 윈도우의 크기는 증가한다. 즉, 세부 윈도우(SW3), 세부윈도우(SW2) 및 세부 윈도우(SW1)의 크기는 순차적으로 증가한다. 세부 윈도우(SW1, SW2, SW3, SW4)에서 판단한 사용자 세부 감정에 부여되는 가중치(a4, a3, a2, a1 ) 값은 서로 동일하거나, 전화 통화 종료시점의 세부 윈도우(SW4)에 가장 큰 가중치(a4)가 부여되고 전화 통화 종료시점의 세부 윈도우(SW4)로부터 멀어질수록 각 세부 윈도우에서 판단한 사용자의 세부 감정에 작은 가중치가 부여된다.
이와 같이 전체 전화 통화 시간에서 통화 시간의 경과에 따라 세부 윈도우의 크기를 줄여감으로써, 장기간의 전화 통화에서 사용자의 감정을 적은 연산량으로 정확하게 판단할 수 있다.
도 9는 감정의 생존 곡선의 일 예를 도시하고 있는데, 도 9를 참고로 살펴보면 사용자 감정은 시간이 경과할수록 줄어듬을 알 수 있다. 이와 같이 사용자 전화 통화에서 사용자 감정의 크기도 감정 생존 곡선과 같이 줄어듬에 기초하여 전화 통화 시간이 경과함에 따라 사용자가 느끼는 감정을 판단함에 있어서 전체 전화 통화 시간을 고려하여 사용자 감정을 판단한다. 또한 통화 시간이 경과함에 따라 최근 통화 시간에서 판단한 사용자의 세부 감정에 큰 가중치를 부여함으로써, 사용자의 현재 감정 상태를 정확하게 판단할 수 있다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110: 가공 통화 생성부 120: 세부 윈도우 생성부
130: 세부 감정 판단부 140: 감정 데이터베이스
150: 감정 판단부 111: 임계값 계산부
113: 묵음 판단부 115: 가공부
131: 특징 추출부 133: 검색부
135: 세부 판단부 151: 가중치 할당부
153: 세부 감정값 계산부 155: 감정값 계산부
157: 전체 판단부

Claims (13)

  1. 전화 통화에 기반하여 사용자의 감정을 판단하는 방법에 있어서,
    상기 전화 통화에서 묵음을 판단하고 상기 전화 통화에서 묵음을 삭제하여 가공 전화 통화를 생성하는 단계;
    상기 가공 전화 통화 시간에 해당하는 전체 윈도우를 분할하여 세부 윈도우를 생성하는 단계;
    상기 세부 윈도우의 전화 통화에서 감정 특징 요인을 추출하고, 상기 감정 특징 요인에 기초하여 상기 세부 윈도우 단위로 사용자 감정을 판단하는 단계; 및
    상기 세부 윈도우 단위의 사용자 감정으로부터 상기 전체 윈도우에서의 사용자 감정을 판단하는 단계를 포함하는 것을 특징으로 하는 사용자 감정 판단 방법.
  2. 제 1 항에 있어서, 상기 세부 윈도우는 서로 동일한 크기를 가지도록 생성되며,
    상기 세부 윈도우 단위의 사용자 감정에 서로 다른 가중치를 부여하여 상기 전체 윈도우에서의 사용자 감정을 판단하는 것을 특징으로 하는 사용자 감정 판단 방법.
  3. 제 2 항에 있어서, 상기 세부 윈도우 단위의 사용자 감정에 부여되는 가중치는 전화 통화 종료시점의 세부 윈도우에 가장 큰 가중치를 부여하고, 상기 전화 통화 종료시점의 세부 윈도우로부터 멀어질수록 작은 가중치를 부여하는 것을 특징으로 하는 사용자 감정 판단 방법.
  4. 제 1 항에 있어서, 상기 세부 윈도우는 전화 통화의 종료시점에서 가장 짧고, 상기 종료 시점부터 멀어질수록 길게 생성되는 것을 특징으로 하는 사용자 감정 판단 방법.
  5. 제 4 항에 있어서, 상기 세부 윈도우 단위의 사용자 감정에 서로 다른 가중치를 부여하여 상기 전체 윈도우에서의 사용자 감정을 판단하는 것을 특징으로 하는 사용자 감정 판단 방법.
  6. 삭제
  7. 전화 통화에 기반하여 사용자의 감정을 판단하는 장치에 있어서,
    상기 전화 통화에서 묵음을 제거하여 가공 전화 통화를 생성하는 가공 전화 생성부;
    상기 가공 전화 통화 시간에 해당하는 전체 윈도우를 분할하여 세부 윈도우를 생성하는 세부 윈도우 생성부;
    상기 세부 윈도우의 전화 통화에서 감정 특징 요인을 추출하고 상기 감정 특징 요인에 기초하여 상기 세부 윈도우 단위로 사용자 감정을 판단하는 세부 감정 판단부; 및
    상기 세부 윈도우 단위의 사용자 감정으로부터 상기 전체 윈도우에서의 사용자 감정을 판단하는 감정 판단부를 포함하는 것을 특징으로 하는 사용자 감정 판단 장치.
  8. 삭제
  9. 제 7 항에 있어서, 상기 가공 전화 생성부는
    상기 전화 통화의 통화 세기 평균값으로부터 묵음 임계값을 계산하는 임계값 계산부;
    상기 묵음 임계값과 상기 전화 통화의 세기를 비교하여 상기 전화 통화에서 묵음을 판단하는 묵음 판단부; 및
    상기 전화 통화에서 판단한 상기 묵음을 삭제하여 가공 전화 통화를 생성하는 가공부를 포함하는 것을 특징으로 하는 사용자 감정 판단 장치.
  10. 제 7 항에 있어서, 상기 세부 감정 판단부는
    상기 세부 윈도우에서 감정 특징 요인을 추출하는 특징 추출부;
    상기 감정 특징 요인과 감정 데이터베이스에 저장되어 있는 기준 특징 요인을 비교하여 상기 감정 특징 요인에 매핑되는 기준 특징 요인을 검색하는 검색부; 및
    상기 감정 특징 요인에 매핑되는 기준 특징 요인에 기초하여 상기 세부 윈도우의 세부 감정을 판단하는 세부 판단부를 포함하는 것을 특징으로 하는 사용자 감정 판단 장치.
  11. 제 7 항에 있어서, 상기 감정 판단부는
    상기 전화 통화의 시간 흐름에 따라 상기 세부 윈도우 단위의 사용자 감정에 부여되는 가중치를 할당하는 가중치 할당부;
    상기 세부 윈도우 단위의 사용자 감정과 각 세부 윈도우에 부여된 가중치를 곱하여 생성되는 세부 윈도우 감정값을 계산하는 세부 감정값 계산부;
    상기 세부 윈도우 감정값을 감정별로 분류하고, 감정별로 분류한 상기 세부 윈도우 감정값의 합으로부터 감정별 감정값을 계산하는 감정값 계산부; 및
    상기 감정별 감정값에 기초하여 가장 높은 값을 가지는 감정을 상기 전체 윈도우에서의 사용자 감정으로 판단하는 전체 판단부를 포함하는 것을 특징으로 하는 사용자 감정 판단 장치.
  12. 제 11 항에 있어서, 상기 세부 윈도우 생성부는 상기 세부 윈도우가 서로 동일한 크기를 가지도록 상기 전체 윈도우를 분할하여 상기 세부 윈도우를 생성하며,
    상기 가중치 할당부는 전화 통화 종료시점의 세부 윈도우에 가장 큰 가중치를 할당하고, 상기 전화 통화 종료시점의 세부 윈도우로부터 멀어질수록 작은 가중치를 할당하는 것을 특징으로 하는 사용자 감정 판단 장치.
  13. 제 11 항에 있어서, 상기 세부 윈도우 생성부는 상기 세부 윈도우가 전화 통화의 종료시점에서 가장 짧고, 상기 종료 시점부터 멀어질수록 길게 생성하며,
    상기 가중치 할당부는 상기 세부 윈도우에 동일한 가중치를 할당하는 것을 특징으로 하는 사용자 감정 판단 장치.
KR1020130069707A 2013-06-18 2013-06-18 전화 통화의 사용자 감정 판단 방법 KR101449856B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130069707A KR101449856B1 (ko) 2013-06-18 2013-06-18 전화 통화의 사용자 감정 판단 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130069707A KR101449856B1 (ko) 2013-06-18 2013-06-18 전화 통화의 사용자 감정 판단 방법

Publications (1)

Publication Number Publication Date
KR101449856B1 true KR101449856B1 (ko) 2014-10-13

Family

ID=51997375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130069707A KR101449856B1 (ko) 2013-06-18 2013-06-18 전화 통화의 사용자 감정 판단 방법

Country Status (1)

Country Link
KR (1) KR101449856B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018084379A1 (ko) * 2016-11-03 2018-05-11 세종대학교산학협력단 발화자에 대한 신뢰도 측정 장치 및 방법
KR20200087889A (ko) * 2018-12-28 2020-07-22 강원대학교산학협력단 음성 인식 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009175336A (ja) 2008-01-23 2009-08-06 Seiko Epson Corp コールセンターのデータベースシステム、その情報管理方法及び情報管理プログラム
JP2011009902A (ja) 2009-06-24 2011-01-13 Seiko Epson Corp 顧客対応装置
KR20110025719A (ko) * 2009-09-05 2011-03-11 에스케이텔레콤 주식회사 상대방의 감정을 전달하는 영상통화 시스템 및 방법
KR20130055429A (ko) * 2011-11-18 2013-05-28 삼성전자주식회사 감정 세그먼트 기반의 감정 인식 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009175336A (ja) 2008-01-23 2009-08-06 Seiko Epson Corp コールセンターのデータベースシステム、その情報管理方法及び情報管理プログラム
JP2011009902A (ja) 2009-06-24 2011-01-13 Seiko Epson Corp 顧客対応装置
KR20110025719A (ko) * 2009-09-05 2011-03-11 에스케이텔레콤 주식회사 상대방의 감정을 전달하는 영상통화 시스템 및 방법
KR20130055429A (ko) * 2011-11-18 2013-05-28 삼성전자주식회사 감정 세그먼트 기반의 감정 인식 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018084379A1 (ko) * 2016-11-03 2018-05-11 세종대학교산학협력단 발화자에 대한 신뢰도 측정 장치 및 방법
KR20200087889A (ko) * 2018-12-28 2020-07-22 강원대학교산학협력단 음성 인식 장치 및 방법
KR102199825B1 (ko) 2018-12-28 2021-01-08 강원대학교산학협력단 음성 인식 장치 및 방법

Similar Documents

Publication Publication Date Title
US10878823B2 (en) Voiceprint recognition method, device, terminal apparatus and storage medium
CN111128223B (zh) 一种基于文本信息的辅助说话人分离方法及相关装置
KR101610151B1 (ko) 개인음향모델을 이용한 음성 인식장치 및 방법
CN112289323B (zh) 语音数据处理方法、装置、计算机设备和存储介质
JP3886024B2 (ja) 音声認識装置及びそれを用いた情報処理装置
KR101863097B1 (ko) 키워드 인식 장치 및 방법
CN106847305B (zh) 一种处理客服电话的录音数据的方法及装置
CN106875936B (zh) 语音识别方法及装置
WO2021151310A1 (zh) 语音通话的噪声消除方法、装置、电子设备及存储介质
CN107316635B (zh) 语音识别方法及装置、存储介质、电子设备
WO2020013296A1 (ja) 精神・神経系疾患を推定する装置
JP5549506B2 (ja) 音声認識装置及び音声認識方法
JP2017010309A (ja) 意思決定支援装置および意思決定支援方法
CN114141252A (zh) 声纹识别方法、装置、电子设备和存储介质
JP6268916B2 (ja) 異常会話検出装置、異常会話検出方法及び異常会話検出用コンピュータプログラム
KR101449856B1 (ko) 전화 통화의 사용자 감정 판단 방법
CN110895930B (zh) 语音识别方法及装置
CN112992153B (zh) 音频处理方法、声纹识别方法、装置、计算机设备
CN112802498B (zh) 语音检测方法、装置、计算机设备和存储介质
JP6327252B2 (ja) 分析対象決定装置及び分析対象決定方法
CN111710332B (zh) 语音处理方法、装置、电子设备及存储介质
JP5988077B2 (ja) 発話区間検出装置及び発話区間検出のためのコンピュータプログラム
CN115223584B (zh) 音频数据处理方法、装置、设备及存储介质
CN114038487A (zh) 一种音频提取方法、装置、设备和可读存储介质
CN112309374A (zh) 服务报告生成方法、装置和计算机设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 5