KR101009604B1 - 음악적 구성요소를 이용한 감성인식 방법 - Google Patents

Abstract

본 발명은 감성인식 방법에 관한 것으로서, 특히 화성법 및 대위법의 음악적 구성요소인 화음정보, 템포정보, 볼륨정보 및 배음/음역정보를 이용하여 화자 및 화자주변의 소음과 음악의 감성상태를 인식하는 방법에 관한 것이다.

보다 상세하게는 화자의 감성상태정보 및 이를 유발하는 음악적구성요소정보를 매핑한 매핑테이블을 사전 설정하여 기록하는 단계, 입력되는 음성신호로부터 음악적구성요소정보 및 화성적불협음정보를 검출하는 단계, 검출되는 음악적구성요소정보에 대응하는 감성상태정보를 기설정된 매핑테이블로부터 독출 및 연산하고, 화성적불협음정보로부터 화성적불협지수를 연산하는 단계 및 연산된 감성상태정보 및 화성적불협지수를 시청각적으로 표시하는 단계를 포함한다.

이와 같은 본 발명에 따르면 화자의 감성인식률의 신뢰성을 향상시킬 수 있으며, 화자의 주변 소음 및 음악의 감성상태를 인식하여 화자에게 감성적으로 미치는 영향의 정보를 화자에게 제공하고 이에 대응하여 화자의 감성상태를 이로운 방향으로 가변할 수 있는 요소를 화자에게 제공하여 화자의 감성상태를 개선할 수 있는 양방향 효과를 제공한다.

화자, 화성법, 대위법, 음악적구성요소, 감성인식, 감정인식

Description

음악적 구성요소를 이용한 감성인식 방법{Methode for recognizing sensibility using musical elements}

본 발명은 감성인식 방법에 관한 것으로서, 보다 상세하게는 화성법 및 대위법의 음악적구성요소를 이용하여 화자의 감성상태를 인식하고, 화자 주변의 소음 및 음악의 감성상태를 인식하여 화자에게 제공하는 방법에 관한 것이다.

종래의 감성인식방법은 무수히 많이 연구되고 있으나, 화자의 지역사투리, 연령, 성별, 비만정도, 시간적주기, 개성 및 가치관 등에 따른 개인편차가 심하여 그 신뢰성이 낮다는 문제점이 있었다.

상기한 문제점을 해결하기 위하여, 화자인식을 통한 자가학습에 의하여 화자의 감성인식률을 개선한 방법들이 있으나, 이 또한 자가학습에 장시간이 소요되며 그 학습능률에 한계가 있다는 문제점이 있었다.

본 발명의 목적은 상기한 문제점들을 해결하기 위한 것으로서, 화성법 및 대위법의 음악적구성요소들을 이용하여 화자의 감성상태를 인식하는 새로운 방법을 제공하는 것을 목적으로 한다.

본 발명의 다른 목적은 화자의 지역사투리, 연령, 성별, 비만정도, 시간적주기 등의 화자정보에 근거하여 갱신되는 다수의 매핑정보를 통계화 하고 이를 이용하여 매핑테이블 정보를 갱신함으로써 화자 감성인식률의 신뢰성을 향상시키는 방법을 제공하는 것을 목적으로 한다.

본 발명의 또 다른 목적은 화자 주변의 소음 및 음악의 감성상태를 함께 인식하여 화자에게 감성적으로 미치는 영향의 정보를 화자에게 제공하고 이에 대응하여 화자의 감성상태를 이로운 방향으로 가변할 수 있는 요소를 화자에게 제공하는 것을 목적으로 한다.

본 발명에 따른 음악적구성요소를 이용한 감성인식 방법은 감성인식 방법에 있어서, a) 화자의 감성상태정보 및 이를 유발하는 음악적구성요소정보를 매핑한 매핑테이블을 사전 설정하여 기록하는 단계; b) 입력되는 음성신호로부터 음악적구성요소정보 및 화성적불협음정보를 검출하는 단계; c) 상기 검출되는 음악적구성요소정보에 대응하는 감성상태정보를 상기 기설정된 매핑테이블로부터 독출 및 연산하고, 상기 화성적불협음정보로부터 화성적불협지수를 연산하는 단계; 및 d) 상기 연산된 감성상태정보 및 화성적불협지수를 시청각적으로 표시하는 단계를 포함하는 것을 특징으로 한다.

바람직하게 상기 b) 단계는 b1) 외부로부터 입력되는 음성신호를 소음신호, 음악신호, 및 화자음성신호로 구별하여 분리하는 단계; 및 b2) 상기 분리된 각 신호를 기반으로 상기 매핑테이블에 저장되어 있는 음악적구성요소정보와 비교하여 설정비율 이상 일치하는 정보를 검출하고, 상기 검출된 정보의 일치정도 및 빈도에 근거하여 검출된 화성정보에 가중치를 부여하는 단계를 포함하는 것을 특징으로 한다.

바람직하게 상기 b2) 단계는 상기 분리된 각 신호의 근음을 시간의 흐름에 따라 검출하고, 검출된 적어도 둘 이상의 인접하는 근음의 음고정보를 상기 매핑테이블에 저장되어 있는 화음코드와 비교하여 설정비율 이상 일치하는 화음정보를 검출하는 단계; 설정된 시간적 구간 내에서 상기 검출된 화성정보의 일치정도 및 빈도에 근거하여 검출된 화성정보에 가중치를 부여하고, 화음정보와 일치하지 않는 화성적불협음정보를 검출하는 단계; 상기 분리된 각 신호의 비트 및 근음의 시간적 변화에 근거하여 상기 매핑테이블에 저장되어 있는 템포값과 비교하여 설정비율 이상 일치하는 템포정보를 검출하는 단계; 설정된 시간적 구간 내에서 상기 검출된 템포정보의 일치정도 및 빈도에 근거하여 검출된 템포정보에 가중치를 부여하는 단계; 상기 분리된 각 신호의 음량을 실시간 검출하고, 상기 매핑테이블에 저장되어 있는 볼륨값과 비교하여 설정비율 이상 일치하는 볼륨정보를 검출하는 단계; 설정된 시간적 구간 내에서 상기 검출된 볼륨정보의 일치정도 및 빈도에 근거하여 검출 된 상기 볼륨정보에 가중치를 부여하는 단계; 상기 분리된 각 신호의 배음구조 및 음역대값을 실시간 검출하고, 상기 매핑테이블에 저장되어 있는 배음구조 및 음역값과 비교하여 설정비율 이상 일치하는 배음/음역 정보를 검출하는 단계; 및 설정된 시간적 구간 내에서 상기 검출된 배음/음역 정보의 일치정도 및 빈도에 근거하여 검출된 상기 배음/음역 정보에 가중치를 부여하는 단계를 포함하는 것을 특징으로 한다.

바람직하게 상기 설정된 시간적 구간이 경과하면 상기 각 정보의 변화추이로부터 주기정보를 검출하는 단계; 및 상기 화자 및 주기정보에 근거하여 상기 매핑테이블에 저장되어 있는 매핑정보를 갱신하는 단계를 더 포함하는 것을 특징으로 한다.

바람직하게 상기 화자음성신호의 입력이 없는 경우, 상기 검출되는 주기정보에 근거하여 상기 화자의 감성상태를 예측하는 단계; 및 상기 예측되는 화자의 감성상태에 근거하여 상기 화자의 감성상태를 대응되는 음악적구성요소정보를 포함하는 기성소음, 자동소음, 기성음악 및 자동음악 중 적어도 하나를 선택적으로 상기 화자에게 제공하는 단계를 더 포함하는 것을 특징으로 한다.

바람직하게 상기 c) 단계는 상기 검출된 음악적구성요소정보에 근거하여 이에 대응하는 감성상태정보를 상기 매핑테이블로부터 각각 검출하는 단계; 상기 검출한 감성상태정보 중 최고치의 가중치에 대응하는 감성상태와 상반되는 구역의 감성상태를 제외한 나머지 가중치를 합산하여 감성상태정보를 연산하는 단계; 및 음성신호가 입력되는 총 시간에 대한 상기 검출된 화성적불협음정보의 불협음이 발생 하는 시간의 비율로 연산하여 화성적불협지수를 산출하는 단계를 포함하는 것을 특징으로 한다.

바람직하게 상기 d) 단계는 상기 연산된 감성상태정보를 포함하는 소음정보 및 음악정보를 상기 매핑테이블로부터 독출하는 단계; 상기 독출된 소음정보 및 음악정보에 대응하는 기성소음 및 기성음악을 상기 화자에게 실시간으로 제공하는 단계; 및 상기 연산된 감성상태정보 및 상기 화성적불협음정보에 근거하여 이를 포함하는 자동소음 및 자동음악을 연주하여 상기 화자에게 실시간으로 제공하는 단계를 포함하는 것을 특징으로 한다.

바람직하게 상기 시청각적으로 표시되는 감성상태정보를 상기 화자에 의하여 갱신하는 단계를 더 포함하는 것을 특징으로 한다.

이상에서 기술한 바와 같이, 본 발명은 화자의 지역사투리, 연령, 성별, 비만정도, 시간적주기 등의 화자정보에 근거하여 매핑정보를 갱신함으로써 화자 감성인식률의 신뢰성을 향상시킬 수 있다.

또한 본 발명은 화자 주변의 소음 및 음악의 감성상태를 함께 인식하여 화자에게 감성적으로 미치는 영향의 정보를 화자에게 제공하고 이에 대응하여 화자의 감성상태를 이로운 방향으로 가변할 수 있는 요소를 화자에게 제공하여 화자의 감성상태를 개선할 수 있는 양방향 효과를 제공한다.

이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한 다.

화성법이란 여러 음들의 주파수 관계에 따라 달라지는 화음을 체계화한 것이며, 대위법(작곡법)이란 화성과 선율을 목적에 맞게 배역하는 방법을 체계화한 것이다.

화성법과 대위법은 작곡을 위한 필수구성요소로서, 일반적으로 작곡가들은 인간으로 하여금 특정 감성을 유발시키기 위하여 이에 대응하는 특정한 음악적구성요소 값을 사용해 왔으며, 이들 특정한 음악적구성요소의 값은 인간의 특정 감성을 유발하는 통계적 규칙이 존재함은 이미 오랜 기간 동안 입증되어 왔다.

음악적구성요소에는 화음(특정 시간적 구간 내에서의 주음의 화음구조 및 특정시간에서 배음들 간의 화음구조), 선율(주음의 시간적 변이), 템포(박자), 볼륨(음량) 등 다양한 요소가 있으며 그 각각의 구성요소의 특정 값으로 작곡된 음악은 이를 듣는 인간의 감성상태를 다양하게 변화시킨다.

즉, 특정한 값을 갖는 음악적구성요소들은 인간으로 하여금 특정한 감성을 유발시키며, 역으로 특정한 감성상태의 화자의 음성에는 특정한 값을 갖는 음악적구성요소가 존재한다. 이는 화자의 감성상태를 인위적으로 음악으로 표현하는 오페라와 같은 형식에서뿐만 아니라 일상적인 대화 패턴에서도 화자의 음성에는 감성상태와 대응하는 규칙적인 음악적구성요소의 특징이 발생한다.

본 발명은 화자의 음성정보로부터 이와 매핑 하는 음악적구성요소의 특정 값을 독출 및 연산하여 화자의 감성상태정보를 유출하는 방법이다.

본 발명의 동작을 설명하기에 앞서, 본 발명에 의한 감성상태를 분류하는 방 법을 설명하면 하기와 같다.

인간의 감정은 여러 가지 방법에 의해 분류되지만 종래의 대표적인 분류법 가운데 하나인 Ekman분류법에 의하면 행복, 슬픔, 혐오, 놀라움, 분노 및 두려움의 6가지 감정 상태로 분류된다. 이 6가지의 감정은 인간에게 자주 나타나는 대표적인 감정이기는 하나 긍정적인 감정은 ‘행복’ 하나뿐이고, 나머지는 모두 부정적인 감정으로 분류됨으로써 불균형을 이루고 있다.

따라서 본 발명에서는 긍정적인 감정인 ‘행복’이 너무 포괄적인 느낌을 받고 있기에 ‘행복’을 화목, 기쁨, 사랑, 편함, 여유, 자신감으로 세분화시키고, 혐오와 분노의 감정은 좀 더 포괄적인 느낌을 가지는 무관심과 긴장으로 대치한다.

한편 인간과 모든 우주는 양면성을 띄고 있기에 이 감정들에 대한 반대 감정들을 다음과 같이 정리하여 생성한다.

화목<->고독, 기쁨<->슬픔, 사랑<->무관심, 편함<->놀람, 여유<->긴장, 두려움<->자신감

상기한 바와 같이 본 발명에서는 6가지로 정의되었던 기본감정을 인간이 가질 수 있는 다양한 감정을 포괄할 수 있도록 확장시켜 12가지로 재정의한다. 그리고, 상기 12가지의 감정을 이하에서 감성이라 정의한다. 이때, 세분화한 12가지의 감성은 하나의 실시예로서 그 설명을 위한 것이지, 그 제한을 위한 것이 아님을 주의하여야 한다. 따라서 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 감성의 추가, 변경이 가능함을 이해하여야 할 것이다.

상기 12가지로 정의된 감성상태를 도 5에 도시된 바와 같이 환형 상에 배치한다. 도 5는 본 발명의 일실시예에 의해 분류된 감성상태의 배치적 특징을 나타낸 도면이다. 즉, 정적이고 차가운상태 및 동적이고 따뜻한상태의 감성은 환형상의 세로축에 배치하고, 밝고 긍정적상태 및 어둡고 부정적상태의 감성은 환형상의 가로축에 배치한다.

그리고 가장 동적인 감성상태에는 긴장을, 가장 정적인 감정상태에는 여유를, 가장 밝은 감성상태에는 화목을, 가장 어두운 감성상태에는 고독을 배치한다. 이 4가지 감성상태의 배치를 기본 축으로 하여 나머지 8가지의 감성상태를 배치한다.

즉, 가장 밝은 감성상태인 화목을 기준으로 좀 더 동적인 기쁨과 좀 더 정적인 자신감을 각각 이웃하게 배치한다. 그리고, 가장 어두운 감성인 고독을 기준으로 좀 더 동적인 두려움과 좀 더 정적인 슬픔을 각각 이웃하게 배치한다. 또한 가장 동적인 감성인 긴장을 기준으로 좀 더 밝은 사랑과 좀 더 어두운 놀람을 각각 이웃하게 배치하고, 가장 정적인 감성인 여유를 기준으로 좀 더 밝은 편함과 좀 더 어두운 무관심을 각각 이웃하게 배치한다.

이 결과, 환형상의 중심점을 기준으로 서로 마주보는 위치에 서로 상반되는 감성상태가 배치하게 된다.

이와 같은 감성상태의 배치는 메인감성상태를 추정함에 있어서 반대감성상태를 배제함으로써 감성인식률의 신뢰성을 향상시킴을 그 목적으로 한다.

아울러, 도 6a에 도시된 바와 같이, 상기 기본 12가지 감성상태의 하위범주 에 속하는 12가지의 감성상태를 상기한 방법으로 환형상의 내부에 3차례 추가 배치하면, 36가지의 감성상태가 추가로 배치되고 이 감성상태들 역시 환형상의 중심점을 기준으로 서로 마주보는 위치에 서로 상반된 감성상태가 배치하게 된다(도 6a 참조).

도 6b는 도 6a의 감성상태에 화음코드를 매핑한 화음매핑정보의 일실시예를 나타낸 도면으로서, 작곡을 업으로 하는 작곡가들이 인간으로 하여금 상기 감성상태를 유발시키기 위하여 주로 사용하는 화성코드의 일예이다. 상기 도 6b에 도시된 감성상태에 대응하는 화성코드는 작곡가들 개개인에 따라 차이가 있을 수 있지만, 큰 맥락의 감성상태에 대응하는 화성코드는 대체로 일관성을 갖고 있다.

도 7a는 도 6a상에 Ekman분류법에 의해 분류된 감성상태를 배치한 도면으로서, 도시된 바와 같이 감성상태의 배치가 한 쪽 방향으로 치우쳐 있음을 알 수 있다.

도 7b는 Ekman분류법에 의해 분류된 감성상태를 도 5의 특징에 근거하여 분류한 감성상태분류도의 일실시예를 나타낸 도면으로서, 도 6a의 다른 실시예이다. 즉, 도 7b의 감성상태에 도 6b의 화음코드를 매핑하여 화음매핑정보의 다른 실시예를 얻을 수 있다.

도 8, 도 9 및 도 11은 도 6a의 감성상태에 템포값, 볼륨값 및 배음구조/음역대값을 각각 매핑한 매핑정보의 일실시예로서, 마찬가지로 작곡가들이 인간으로 하여금 특정 감성상태를 유발시키기 위하여 주로 사용하는 음악적구성요소의 값들이다.

한편, 도 10은 도 8의 템포값과 도 9의 볼륨값의 증감에 따른 배치적 특징을 도 6a의 감성상태분류도와 비교하여 나타낸 도면으로서, 음의 템포 및 볼륨의 증감을 환형상의 좌우에 배치하여 긴장의 감성상태에 최고값 여유의 감성상태에 최저값이 매핑되도록 배치한다.

이어서, 본 발명의 동작을 설명하면 하기와 같다.

도 1은 본 발명의 동작을 설명하기 위한 순서도, 도 2는 본 발명의 바람직한 일실시예에 따른 구성도, 도 3은 본 발명에 의해 화음정보가 검출되는 과정을 나타낸 도면, 및 도 4는 본 발명의 일실시예에 의해 음악적구성요소 및 감성상태를 매핑한 매핑테이블 이다.

도 2에 도시된 바와 같이, 서버(200)에는 지역별로 분포되어 있는 다수의 지역단말(220)이 유무선으로 연결되어 있고 데이터를 저장하기 위한 매핑테이블DB서버(210)가 연결되어 있다. 상기 지역단말(220)은 외부로부터 입력되는 음성신호로부터 화자, 주변소음 및 주변음악의 감성상태정보 및 불협지수를 연산하여 화자에게 제공하고, 화자에 의해 갱신된 매핑정보를 화자정보와 함께 상기 서버(200)로 전송한다. 서버(200)는 각 지역단말(220)로부터 입력되는 화자정보 및 갱신된 매핑정보를 상기 화자정보에 근거하여 데이터베이스화 하고 이를 통계화 하여 매핑테이블DB서버(210)에 갱신하여 저장한다(S100).

그리고 지역단말(220)은 화자인식을 위하여 외부로부터 다수의 화자정보를 입력받아 저장한다. 이어 입력되는 음성신호를 소음신호, 음악신호, 및 화자음성 신호로 구별하여 분리한다(S110). 상기 음성신호를 분리하는 방법은 공지기술이므로 상세한 기술을 생략한다.

한편, 지역단말(220)은 상기 분리된 소음신호, 음악신호, 및 화자음성신호로부터 각각 음악적구성요소정보(화음정보, 템포정보, 볼륨정보 및 배음구조/음역대정보) 및 화성적불협음정보를 검출한다(S120).

이때, 상기 음성신호로부터 분리된 화자음성신호가 다수의 화자로부터 입력되는 경우 입력되는 화자음성신호에 근거하여 기 입력된 다수의 화자정보로부터 특정 화자정보를 독출하여 화자를 인식한다.

그리고 상기 화자인식 단계가 수행되면, 지역단말(220)은 상기 독출한 화자정보를 서버(200)로 전송하여 매핑정보를 요구한다. 서버(200)는 각 지역단말(220)이 매핑정보를 요구할 때, 상기 화자정보에 근거하여 이에 대응하는 매핑정보를 상기 매핑테이블DB서버(210)로부터 독출하여 지역단말(220)로 전송한다.

이어 지역단말(220)은 서버(200)로부터 입력받은 매핑정보에 근거하여 상기 검출한 음악적구성요소정보에 대응하는 감성상태정보를 연산하고, 화성적불협음정보에 대응하는 화성적불협지수를 연산한다(S130).

상기한 단계 120(S120) 및 단계 130(S130)은 이후에 보다 상세히 설명하기로 한다.

그리고, 상기 지역단말(220)은 상기 연산된 감성상태정보 및 화성적불협지수를 화자에게 시청각적으로 제공하고 화자는 선택적으로 이를 수정한다(S140). 상기 연산된 감성상태정보가 화자에 의하여 수정되는 경우, 상기 지역단말(220)은 이 에 대응하는 수정된 매핑정보를 화자정보와 함께 서버(200)로 전송한다. 그리고, 서버(200)는 지역단말(220)로부터 전송받은 수정된 매핑정보를 상기 화자정보에 근거하여 이를 통계화하고 데이터베이스화 하여 매핑테이블DB서버(210)에 갱신하여 저장한다(S100).

또한, 상기 지역단말(220)은 상기 화자의 감성상태를 이로운 방향으로 유도하거나 화자의 감성상태에 어울리는 음악적구성요소정보를 연산하여 서버(200)로 전송하고 서버(200)는 상기 지역단말(220)로부터 전송받은 음악적구성요소정보를 포함하는 소음정보 및 음악정보를 상기 매핑테이블DB서버(210)로부터 독출하여 지역단말(220)로 전송한다. 그리고, 상기 지역단말(220)은 상기 서버(200)로부터 전송받은 소음정보 및 음악정보에 대응하는 기성소음 및 기성음악을 상기 화자에게 실시간으로 제공한다. 또한, 상기 지역단말(220)은 상기 연산된 음악적구성요소정보에 근거하여 이를 포함하는 자동소음 및 자동음악을 연주하여 상기 화자에게 실시간 제공한다. 즉, 상기 기성소음/음악 또는 자동소음/음악 중 어느 하나가 화자의 선택에 의해 화자에게 제공된다(S150). 상기한 기성소음은 녹음된 자연의소리 등이며, 자동소음은 컴퓨터 연산에 의해 만들어진 소음이다. 그리고, 상기한 기성음악은 작곡가에 의해 만들어진 음악이며, 자동음악은 컴퓨터 연산에 의해 만들어진 음악이다. 상기 도면상에는 도시되어 있지 않지만 상기 매핑테이블DB서버(210)에는 각종 음악적구성요소정보에 대응하는 소음정보DB 및 음악정보DB가 함께 매핑되어 저장되어 있다. 그리고, 상기 소음정보DB 및 음악정보DB는 화자에 의해 선택적으로 갱신될 수 있다.

그리고 지역단말(220)은 상기 분리된 각 신호에 대한 상기 감성상태정보 및 화성적불협지수의 시간적 변화정보를 일시적으로 저장하고(S160), 설정된 소정 기간이 경과 하였는지 판별해서(S170), 경과 하지 않았으면 단계110을 반복 수행하고, 경과 하면 저장된 상기 정보의 변화추이로부터 일간, 주간, 및 월간 주기정보를 검출하여(S180) 상기 화자정보와 함께 상기 서버(200)로 전송한다.

한편, 서버(200)는 다수의 지역단말(220)들로부터 입력되는 상기 화자정보 및 주기정보에 근거하여 상기 매핑테이블DB서버(210)에 저장되어 있는 매핑정보를 갱신한다(S190).

상기한 바와 같이 화자에 대한 주기정보가 생성되면, 상기 지역단말(220)은 상기 화자음성신호가 입력되지 않는 경우에도, 상기 주기정보에 근거하여 상기 화자의 감성상태를 예측한다. 그리고 상기 지역단말(220)은 상기 예측되는 화자의 감성상태정보에 근거하여 상기 화자의 감성상태를 이로운 방향으로 유도하거나 화자의 감성상태에 어울리는 음악적구성요소정보를 포함하는 기성소음, 자동소음, 기성음악 및 자동음악을 선택적으로 상기 화자에게 제공하여 상기 단계 150(S150)을 수행한다.

상기한 본 발명의 동작 가운데 상기 단계 120(S120)을 보다 상세히 설명하면 다음과 같다. 상기 단계는 상기 분리된 소음신호, 음악신호, 및 화자음성신호로부터 각각 음악적구성요소정보(화음정보, 템포정보, 볼륨정보 및 배음구조와음역대정보) 및 화성적불협음정보를 검출하는 단계이다.

먼저, 지역단말(220)이 상기 입력되는 신호로부터 화음정보 및 불협음정보를 검출하는 동작은 다음과 같다. 도 6b는 도 6a의 감성상태에 화음코드를 매핑한 화음매핑정보의 일실시예를 나타낸 도면으로서, 작곡을 업으로 하는 작곡가들이 인간으로 하여금 특정 감성상태를 유발시키기 위하여 주로 사용하는 화음코드를 감성상태에 매핑한 일예이다. 상기 도 6b에 도시된 감성상태에 대응하는 화음코드는 작곡가들 개개인에 따라 차이가 있을 수 있지만, 큰 맥락의 감성상태에 대응하는 화음코드는 대체로 일관성을 띄고 있다. 상기 도 6a 및 도 6b에서 상호 매핑하고 있는 48가지의 감성상태와 화음코드 중에서 기본 12가지 정보가 도 4(매핑테이블)에 예시적으로 매핑되어 있다. 도 4는 주말오후에 부산지역 사투리을 사용하는 과체중의 37세 남성이 지역단말(220)을 통하여 서버(200)로부터 전송받은 매핑정보테이블이다. 상기 지역단말(220)은 상기 분리된 각 신호의 근음을 시간의 흐름에 따라 검출한다. 그리고, 지역단말(220)은 상기 검출된 적어도 둘 이상의 인접하는 근음의 음고정보를 상기 전송받은 매핑정보테이블에 저장되어 있는 화음코드와 비교하여 소정비율 이상 일치하는 화음정보를 검출한다. 그리고 지역단말(220)은 소정 시간적 구간 내에서 상기 검출된 화음정보의 일치정도 및 빈도에 근거하여 상기 검출된 화음정보에 가중치를 부여한다. 그리고, 지역단말(220)은 화음정보와 일치하지 않는 불협음정보를 검출한다. 즉, 도 3에 도시된 바와 같이, 시간의 흐름에 따라 인접하는 음고의 변화추이정보(300)에 근거해서 화음정보와 가중치 및 불협음(disharmony)정보(310)를 검출한다.

그리고, 지역단말(220)이 상기 입력되는 신호로부터 템포(Bit per Minute)정 보를 검출하는 동작은 다음과 같다. 도 8은 도 6a의 감성상태에 템포값을 매핑한 템포매핑정보의 일실시예를 나타낸 도면으로서, 도 4(매핑테이블)에 매핑되어 있다. 상기한 템포매핑정보는 작곡가들이 인간으로 하여금 특정 감성상태를 유발시키기 위하여 주로 사용하는 템포값을 감성상태에 매핑한 일예이다. 상기 지역단말(220)은 상기 분리된 각 신호의 비트 및 근음의 시간적 변화에 근거하여 상기 전송받은 매핑정보테이블에 저장되어 있는 템포값과 비교하여 소정비율 이상 일치하는 템포정보를 검출한다. 그리고, 지역단말(220)은 소정 시간적 구간 내에서 상기 검출된 템포정보의 일치정도 및 빈도에 근거하여 검출된 상기 템포정보에 가중치를 부여한다.

그리고, 지역단말(220)이 상기 입력되는 신호로부터 볼륨정보를 검출하는 동작은 다음과 같다. 도 9는 도 6a의 감성상태에 볼륨값을 매핑한 볼륨매핑정보의 일실시예를 나타낸 도면으로서, 도 4(매핑테이블)에 매핑되어 있다. 상기한 볼륨매핑정보는 작곡가들이 인간으로 하여금 특정 감성상태를 유발시키기 위하여 주로 사용하는 볼륨값을 감성상태에 매핑한 일예이다. 상기 지역단말(220)은 상기 분리된 각 신호의 음량을 실시간 검출하고 상기 전송받은 매핑정보테이블에 저장되어 있는 볼륨값과 비교하여 소정비율 이상 일치하는 볼륨정보를 검출한다. 그리고, 지역단말(220)은 소정 시간적 구간 내에서 상기 검출된 볼륨정보의 일치정도 및 빈도에 근거하여 검출된 상기 볼륨정보에 가중치를 부여한다.

그리고, 지역단말(220)이 상기 입력되는 신호로부터 배음구조 및 음역대정보를 검출하는 동작은 다음과 같다. 도 11은 도 6a의 감성상태에 배음구조 및 음역 대값을 매핑한 배음및음역매핑정보의 일실시예를 나타낸 도면으로서, 도 4(매핑테이블)에 매핑되어 있다. 상기 지역단말(220)은 상기 분리된 각 신호의 배음구조 및 음역대값을 실시간 검출하고 상기 전송받은 매핑정보테이블에 저장되어 있는 배음/음역값과 비교하여 소정비율 이상 일치하는 배음/음역정보를 검출한다. 그리고, 지역단말(220)은 소정 시간적 구간 내에서 상기 검출된 배음/음역정보의 일치정도 및 빈도에 근거하여 검출된 상기 배음/음역정보에 가중치를 부여한다.

이어서, 단계 130(S130)을 보다 상세히 설명하면 다음과 같다. 상기 단계는 검출된 음악적구성요소의 값에 대응하는 감성상태정보를 상기 전송받은 매핑정보테이블로부터 검출 및 연산하고, 상기 검출된 화성적불협음정보로부터 화성적불협지수를 연산하는 단계이다.

먼저, 상기 지역단말(220)은 상기 분리된 소음신호, 음악신호, 및 화자음성신호로부터 소정 시간구간 내에 검출된 화음정보, 템포정보, 볼륨정보 및 배음/음역정보에 근거하여 이에 대응하는 감성상태정보를 상기 매핑정보테이블로부터 각각 검출한다. 그리고, 지역단말(220)은 상기 검출한 감성상태정보 중에서 최고치의 가중치에 대응하는 감성상태와 상반되는 구역의 감성상태를 연산구역에서 제외하고 가중치를 합산하여 감성상태정보를 연산한다.

일예로서 상기 화자음성신호부터 검출된 음악적구성요소정보의 가중치 및 이에 대응하는 감성상태정보가 하기와 같다고 가정한다.

화음정보 : 자신감40%, 화목20%, 긴장20%, 고독20%

템포정보 : 자신감/슬픔40%, 화목/고독30%, 편함/무관심30%

볼륨정보 : 화목/고독60%, 자신감/슬픔20%, 기쁨/두려움20%

배음및음역정보 : 편함35%, 기쁨25%, 자신감20%, 긴장20%

상기 검출된 감성상태정보 및 가중치를 도 6a의 감성상태분류도와 비교하여 본다. 먼저, 화음정보로부터 검출된 자신감은 가장 큰 가중치로서 그 반대감성상태 구역인 두려움 주변의 감성상태정보(두려움, 고독, 놀람, 슬픔, 긴장)는 연산구역에서 제외한다. 템포정보 및 볼륨정보로부터 검출된 감성상태는 2개의 감성상태가 함께 검출되므로 각 감성상태의 가중치는 절반값을 취한다.

상기 감성상태정보 및 가중치에 근거하여 감성상태정보를 종합적으로 연산하여 보면 하기와 같다.

자신감90, 화목65, 편함50, 기쁨35, 무관심15

즉, 연산된 감성상태정보는 상기와 같고, 메인 감성상태는 ‘자신감’이다.

따라서 상기 화자의 감성상태정보를 종합하여 보면, 화자정보는 주말 오후 부산지역 사투리를 사용하는 과체중의 37세 남성으로서, 화자의 감성상태는 ‘자신감’이며, 약 27%의 불협지수임을 알 수 있다. 이때, 불협지수는 상기 분리된 신호가 입력되는 총 시간에 대한 상기 불협음이 발생하는 시간의 비율로 연산 된다.

도 1은 본 발명의 동작을 설명하기 위한 순서도

도 2는 본 발명의 바람직한 일실시예에 따른 구성도

도 3은 본 발명에 의해 화음정보가 검출되는 과정을 나타낸 도면

도 4는 본 발명의 일실시예에 의해 음악적구성요소 및 감성상태를 매핑한 매핑정보테이블

도 5는 본 발명의 일실시예에 의해 분류된 감성상태의 배치적 특징을 나타낸 도면

도 6a는 도 5의 특징에 근거하여 분류한 감성상태분류도의 일실시예를 나타낸 도면

도 6b는 도 6a의 감성상태에 화음코드를 매핑한 화음매핑정보의 일실시예를 나타낸 도면

도 7a는 도 6a상에 Ekman분류법에 의해 분류된 감성상태를 배치한 도면

도 7b는 Ekman분류법에 의해 분류된 감성상태를 도 5의 특징에 근거하여 분류한 감성상태분류도의 일실시예를 나타낸 도면

도 8은 도 6a의 감성상태에 템포값을 매핑한 템포매핑정보의 일실시예를 나타낸 도면

도 9는 도 6a의 감성상태에 볼륨값을 매핑한 볼륨매핑정보의 일실시예를 나타낸 도면

도 10은 도 8의 템포값과 도 9의 볼륨값의 증감에 따른 배치적 특징을 도 6a 의 감성상태분류도와 비교하여 나타낸 도면

도 11은 도 6a의 감성상태에 배음구조 및 음역대값을 매핑한 배음및음역매핑정보의 일실시예를 나타낸 도면

<도면의 주요부분에 대한 부호의 설명>

200 : 서버 210 : 매핑테이블DB서버

220 : 지역단말

Claims (9)

1. 감성인식 방법에 있어서,

   a) 화자의 감성상태정보 및 이를 유발하는 음악적구성요소정보를 매핑한 매핑테이블을 사전 설정하여 기록하는 단계;

   b) 입력되는 음성신호로부터 음악적구성요소정보 및 화성적불협음정보를 검출하는 단계;

   c) 상기 검출되는 음악적구성요소정보에 대응하는 감성상태정보를 상기 기설정된 매핑테이블로부터 독출 및 연산하고, 상기 화성적불협음정보로부터 화성적불협지수를 연산하는 단계; 및

   d) 상기 연산된 감성상태정보 및 화성적불협지수를 시청각적으로 표시하는 단계를 포함하는 것을 특징으로 하는 음악적구성요소를 이용한 감성인식 방법.
2. 제 1 항에 있어서, 상기 b) 단계는

   b1) 외부로부터 입력되는 음성신호를 소음신호, 음악신호, 및 화자음성신호로 구별하여 분리하는 단계; 및

   b2) 상기 분리된 각 신호를 기반으로 상기 매핑테이블에 저장되어 있는 음악적구성요소정보와 비교하여 설정비율 이상 일치하는 정보를 검출하고, 상기 검출된 정보의 일치정도 및 빈도에 근거하여 검출된 화성정보에 가중치를 부여하는 단계를 포함하는 것을 특징으로 하는 음악적구성요소를 이용한 감성인식 방법.
3. 제 2 항에 있어서, 상기 b2) 단계는

   상기 분리된 각 신호의 근음을 시간의 흐름에 따라 검출하고, 검출된 적어도 둘 이상의 인접하는 근음의 음고정보를 상기 매핑테이블에 저장되어 있는 화음코드와 비교하여 설정비율 이상 일치하는 화음정보를 검출하는 단계;

   설정된 시간적 구간 내에서 상기 검출된 화성정보의 일치정도 및 빈도에 근거하여 검출된 화성정보에 가중치를 부여하고, 화음정보와 일치하지 않는 화성적불협음정보를 검출하는 단계;

   상기 분리된 각 신호의 비트 및 근음의 시간적 변화에 근거하여 상기 매핑테이블에 저장되어 있는 템포값과 비교하여 설정비율 이상 일치하는 템포정보를 검출하는 단계;

   설정된 시간적 구간 내에서 상기 검출된 템포정보의 일치정도 및 빈도에 근거하여 검출된 템포정보에 가중치를 부여하는 단계;

   상기 분리된 각 신호의 음량을 실시간 검출하고, 상기 매핑테이블에 저장되어 있는 볼륨값과 비교하여 설정비율 이상 일치하는 볼륨정보를 검출하는 단계;

   설정된 시간적 구간 내에서 상기 검출된 볼륨정보의 일치정도 및 빈도에 근거하여 검출된 상기 볼륨정보에 가중치를 부여하는 단계;

   상기 분리된 각 신호의 배음구조 및 음역대값을 실시간 검출하고, 상기 매핑테이블에 저장되어 있는 배음구조 및 음역값과 비교하여 설정비율 이상 일치하는 배음/음역 정보를 검출하는 단계; 및

   설정된 시간적 구간 내에서 상기 검출된 배음/음역 정보의 일치정도 및 빈도에 근거하여 검출된 상기 배음/음역 정보에 가중치를 부여하는 단계를 포함하는 것을 특징으로 하는 음악적구성요소를 이용한 감성인식 방법.
4. 제 3 항에 있어서,

   상기 설정된 시간적 구간이 경과하면 상기 각 정보의 변화추이로부터 주기정보를 검출하는 단계; 및

   상기 화자 및 주기정보에 근거하여 상기 매핑테이블에 저장되어 있는 매핑정보를 갱신하는 단계를 더 포함하는 것을 특징으로 하는 음악적구성요소를 이용한 감성인식 방법.
5. 제 4 항에 있어서,

   상기 화자음성신호의 입력이 없는 경우, 상기 검출되는 주기정보에 근거하여 상기 화자의 감성상태를 예측하는 단계; 및

   상기 예측되는 화자의 감성상태에 근거하여 상기 화자의 감성상태를 대응되는 음악적구성요소정보를 포함하는 기성소음, 자동소음, 기성음악 및 자동음악 중 적어도 하나를 선택적으로 상기 화자에게 제공하는 단계를 더 포함하는 것을 특징으로 하는 음악적구성요소를 이용한 감성인식 방법.
6. 제 1 항에 있어서, 상기 c) 단계는

   상기 검출된 음악적구성요소정보에 근거하여 이에 대응하는 감성상태정보를 상기 매핑테이블로부터 각각 검출하는 단계;

   상기 검출한 감성상태정보 중 최고치의 가중치에 대응하는 감성상태와 상반되는 구역의 감성상태를 제외한 나머지 가중치를 합산하여 감성상태정보를 연산하는 단계; 및

   음성신호가 입력되는 총 시간에 대한 상기 검출된 화성적불협음정보의 불협음이 발생하는 시간의 비율로 연산하여 화성적불협지수를 산출하는 단계를 포함하는 것을 특징으로 하는 음악적구성요소를 이용한 감성인식 방법.
7. 제 1 항에 있어서, 상기 d) 단계는

   상기 연산된 감성상태정보를 포함하는 소음정보 및 음악정보를 상기 매핑테이블로부터 독출하는 단계;

   상기 독출된 소음정보 및 음악정보에 대응하는 기성소음 및 기성음악을 상기 화자에게 실시간으로 제공하는 단계; 및

   상기 연산된 감성상태정보 및 상기 화성적불협음정보에 근거하여 이를 포함하는 자동소음 및 자동음악을 연주하여 상기 화자에게 실시간으로 제공하는 단계를 포함하는 것을 특징으로 하는 음악적구성요소를 이용한 감성인식 방법.
8. 제 1 항에 있어서,

   상기 시청각적으로 표시되는 감성상태정보를 상기 화자에 의하여 갱신하는 단계를 더 포함하는 것을 특징으로 하는 음악적구성요소를 이용한 감성인식 방법.
9. 제 1 항, 제 2 항, 제 5 항 및 제 6 항 중 어느 하나에 있어서,

   상기 음악적구성요소정보는 화음정보, 템포정보, 볼륨정보 및 배음구조/음역대정보 중 적어도 하나 이상인 것을 특징으로 하는 음악적구성요소를 이용한 감성인식 방법.

Images