KR101520572B1 - 음악에 대한 복합 의미 인식 방법 및 그 장치 - Google Patents

음악에 대한 복합 의미 인식 방법 및 그 장치 Download PDF

Info

Publication number
KR101520572B1
KR101520572B1 KR1020140002673A KR20140002673A KR101520572B1 KR 101520572 B1 KR101520572 B1 KR 101520572B1 KR 1020140002673 A KR1020140002673 A KR 1020140002673A KR 20140002673 A KR20140002673 A KR 20140002673A KR 101520572 B1 KR101520572 B1 KR 101520572B1
Authority
KR
South Korea
Prior art keywords
music
features
emotion
feature
label
Prior art date
Application number
KR1020140002673A
Other languages
English (en)
Inventor
김대원
이재성
조진혁
임현기
채종훈
이재준
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020140002673A priority Critical patent/KR101520572B1/ko
Application granted granted Critical
Publication of KR101520572B1 publication Critical patent/KR101520572B1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E03—WATER SUPPLY; SEWERAGE
    • E03F—SEWERS; CESSPOOLS
    • E03F5/00—Sewerage structures
    • E03F5/04—Gullies inlets, road sinks, floor drains with or without odour seals or sediment traps
    • E03F5/0407—Floor drains for indoor use
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16K—VALVES; TAPS; COCKS; ACTUATING-FLOATS; DEVICES FOR VENTING OR AERATING
    • F16K15/00—Check valves
    • F16K15/02—Check valves with guided rigid valve members
    • F16K15/06—Check valves with guided rigid valve members with guided stems
    • F16K15/063—Check valves with guided rigid valve members with guided stems the valve being loaded by a spring
    • E—FIXED CONSTRUCTIONS
    • E03—WATER SUPPLY; SEWERAGE
    • E03F—SEWERS; CESSPOOLS
    • E03F5/00—Sewerage structures
    • E03F5/04—Gullies inlets, road sinks, floor drains with or without odour seals or sediment traps
    • E03F2005/0416—Gullies inlets, road sinks, floor drains with or without odour seals or sediment traps with an odour seal

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Hydrology & Water Resources (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

복합 의미 인식 방법 및 그 장치가 개시된다. 복합 의미 인식 방법은 이전 선별된 특징들과는 상호 의존성이 최소이고, 정서 라벨들과는 조건부 상호 정보량이 최대인 음악 특징을 선별하는 단계; 및 상기 선별된 특징과 상기 정서 라벨들과의 연관법칙 마이닝(associative mining algorithm)을 통해 음악 관련 감정에 대한 의미를 분류하는 단계를 포함한다.

Description

음악에 대한 복합 의미 인식 방법 및 그 장치{Method and apparatus for multiple meaning classification related music}
발명은 음악 경험에서의 정서 파악을 위한 복합 의미 인식 방법 및 그 장치에 관한 것이다.
디지털 음악 시장의 성장에 따라 개인은 수많은 음악들을 쉽게 접할 수 있게 되었다. 또한, 매일 매일 쏟아지는 엄청난 양의 음악들로 인해 사용자는 정작 자신이 원하는 음악을 찾기가 매우 어려운 현실에 직면하고 있다. 이에 따라, 음악 정보를 검색할 수 있는 시스템에 대한 사람들의 관심이 높아지게 되었으며, 사람들은 음악 정보 검색 시스템을 통해 특정 가수, 제목 등의 키워드를 기반으로 음악을 검색하고 있다.
종래의 음악 정보 검색 시스템은 단순 키워드 기반으로 음악 검색 결과를 제공하는데 그치지 않고, 장르, 스타일, 정서 등과 같이 음악이 가지고 있는 콘텐트(content)를 기반으로 사용자가 원하는 음악을 검색하기 위한 여러 가지 방안이 연구되고 있다. 그러나, 정확하게 음악의 복합 의미를 인식하여 음악 정보를 제공하지 못하는 단점이 있다.
본 발명은 음악 경험에서의 정서 파악을 위한 복합 의미 인식 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 음악 경험에서의 정서 파악을 위한 복합 의미 인식 방법이 제공된다.
본 발명의 일 실시예에 따르면, 이전 선별된 특징들과는 상호 의존성이 최소이고, 정서 라벨들과는 조건부 상호 정보량이 최대인 음악 특징을 선별하는 단계; 및 상기 선별된 특징과 상기 정서 라벨들과의 연관법칙 마이닝(associative mining algorithm)을 통해 음악 관련 감정에 대한 의미를 분류하는 단계를 포함하는 음악의 복합 의미 인식 방법이 제공될 수 있다.
음악 특징을 선별하는 단계 이전에, 적어도 하나의 음악 클립에서 적어도 하나의 음악 특징을 추출하고, 상기 음악 클립에 대한 적어도 하나의 정서 라벨을 수집하여 데이터 셋을 구성하는 단계를 더 포함할 수 있다.
상기 선별된 특징은 하기 수식을 이용하여 선별되되,
Figure 112014002199707-pat00001
여기서, F 는 상기 음악 특징들을 나타내고, 상기 S t 는 선별된 특징 세트를 나타내며, L 은 정서 라벨 세트를 나타내고, l i 는 각 정서 라벨을 나타내고, f j 는 각 선별된 특징을 나타내고, f t+1 은 선별할 음악 특징을 나타낸다.
상기 선별할 음악 특징은 상기 선별된 특징들과 마코브 블랭킷(Markov blanket)일 수 있다.
상기 정서 라벨은 valence and arousal 감정 분류에 기반하여 라벨링될 수 있다.
본 발명의 다른 측면에 따르면, 음악 경험에서의 정서 파악을 위한 복합 의미 인식 장치가 제공된다.
본 발명의 일 실시예에 따르면, 이전 선별된 특징들과는 상호 의존성이 최소이고, 정서 라벨들과는 조건부 상호 정보량이 최대인 음악 특징을 선별하는 특징 선별부; 및 상기 선별된 특징과 상기 정서 라벨들과의 연관법칙 마이닝(associative mining algorithm)을 통해 음악 클립의 음악 관련 정서에 대한 의미를 분류하는 분류부를 포함하는 복합 의미 인식 장치가 제공될 수 있다.
적어도 하나의 음악 클립에서 적어도 하나의 음악 특징을 추출하고, 상기 음악 클립에 대한 적어도 하나의 정서 라벨을 수집하여 데이터 셋을 구성하는 데이터 구성부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 음악 경험에서의 정서 파악을 위한 복합 의미 인식 방법 및 그 장치를 제공함으로써, 음악 경험에 기반하여 각 음악에 대한 복합 의미를 인식할 수 있다.
도 1은 본 발명의 일 실시예에 따른 음악 경험에서의 정서 파악을 위한 복합 의미 인식 방법을 나타낸 순서도.
도 2는 음악 정서 모델을 도시한 도면.
도 3은 종래와 본 발명의 일 실시예에 따른 음악 클립에 대한 복합 의미 인식 성능을 비교한 그래프.
도 4는 본 발명의 일 실시예에 따른 음악 특징과 정서 라벨간 연관 관계 규칙을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 복합 의미 인식 장치의 내부 구성을 개략적으로 도시한 블록도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 음악(music)의 속성을 통해 추출된 음악 특징과 복합 정서로 구성된 데이터 셋을 생성하고, 음악에 대해 선택된 특징들간의 상호 의존성을 최소화하는 정서에 종속적인 의미 있는 음악 특징들을 식별하여 음악 경험에서의 정서 파악을 위한 복합 의미를 인식할 수 있다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 복합 의미 인식 방법을 나타낸 순서도이고, 도 2는 음악 정서 모델을 도시한 도면이며, 도 3은 종래와 본 발명의 일 실시예에 따른 음악 클립에 대한 복합 의미 인식 성능을 비교한 그래프이고, 도 4는 본 발명의 일 실시예에 따른 음악 특징과 정서 라벨간 연관 관계 규칙을 설명하기 위해 도시한 도면이다.
우선, 단계 110에서 복합 의미 인식 장치(100)는 적어도 하나의 음악 클립을 이용하여 적어도 하나의 음악 특징을 추출하고, 음악 클립에 대한 적어도 하나의 정서 라벨을 수집하여 데이터 셋을 구성한다.
데이터 셋을 구성하는 방법에 대해 상세히 설명하면 다음과 같다.
우선, 복합 의미 인식 장치(100)는 음악 클립으로부터 오디오 속성들을 각각 음악 특징으로써 추출한다. 예를 들어, 오디오 속성들은 음색, 박자, 템포 등일 수 있다. 이외에도 음악 클립을 통해 추출될 수 있는 오디오 신호들은 모두 음악 특징으로 추출될 수 있다.
예를 들어, 각 음악 클립들이 숏텀 퓨리에 트랜스폼(short-term furrier transform)이 수행되고, 이로 인해 음악적 속성들은 오디오 시그널에서 수치값으로 변환될 수 있다.
이와 같이, 각 음악 클립을 통해 각 음악 클립에 대해 적어도 하나의 음악 특징들이 추출되며, 각 음악 클립에 대한 감정 응답을 수집한다.
예를 들어, 복합 의미 인식 장치(100)는 온라인 주석 시스템(on-line annotation system)을 통해 약 500번 이상 라벨 붙여진 유명한 5개 장르로부터 100개의 음악 클립을 수집하고, 100개의 음악 클립에서 음악 특징들을 추출하였다. 각 음악 클립에 대해 추출된 음악 특징들은 6개의 타입으로 구분될 수 있다. 여기서, 음악적 특징들의 6개 타입은 예를 들어, 다이나믹(dynamic), 변동(fluctuation), 리듬(rhythm), 스펙트럴(spectral), 음색(timbre) 및 톤(tone) 특징일 수 있다. 또한, 복합 의미 인식 장치(100)는 17개 장르로부터 약 3600번 이상 라벨 붙여진 565 음악 클립에서 음악 특성들을 추출한다. 예를 들어, 복합 의미 인식 장치(100)는 565 음악 클립에서 565 음악 패턴과 346 음악 특징들을 추출할 수 있다.
본 발명의 일 실시예에 따르면, 정서 라벨은 Thayer 감정 모델을 이용하여 라벨링하였다.
Thayer 감정 모델은 인간 감정의 상태를 valence-arousal 두 축으로 표현하였다. 도 2를 참조하여 Thayer 감정 모델에 대해 간단하게 설명하면, valence는 감정의 긍정 또는 부정의 정도를 나타낸다. Valence 축의 값이 +로 커질수록 긍정적인 감정을 의미하며, -로 작아질수록 부정적인 감정을 의미한다. 또한, arousal 감정은 감정의 강도를 의미하는 것으로, +로 커질수록 더욱 신나는 감정을 의미하고, -로 작아질수록 더욱 조용한 감정을 의미한다.
이에 따라, Thayer의 감정 모델은 valence-arousal 두 축으로 하여, 제1 평면은 흥분(Excitement) 정서를 나타내고, 제2 평면은 고통(distress) 정서를 나타내고, 제3 평면은 우울(depression) 정서를 나타내며, 제4 평면은 만족 (contentment) 정서로 분류할 수 있다.
이외에도 음악 정서 모델은 다양한 방법으로 표현될 수도 있음은 당연하다.
단계 115에서 복합 의미 인식 장치(100)는 이전 선별된 특징들과 상호 의존성이 최소이고, 정서 라벨들과는 조건부 상호 정보량이 최대인 음악 특징을 중요한 음악 특징으로 각각 선별한다.
각 음악 패턴( X )는 n 개의 음악 특징들이 추출될 수 있다. 여기서, n 은 자연수이다. 이와 같이 추출된 n 개의 음악 특징들은 각각 정서 라벨 세트(
Figure 112014002199707-pat00002
)에 포함된 임의의 정서 라벨 중 적어도 하나와 매칭될 수 있다. 여기서, 정서 라벨 세트는 m (자연수)개의 정서 라벨을 포함한다.
예를 들어, F 를 음악 패턴에서 추출한 음악 특징들의 집합이라고 가정하자. F 에 포함된 음악 특징들은 복수일 수 있음은 당연하다. 즉, F 는 각 음악 패턴에서 추출한 음악 특징들을 포함하는 집합을 의미한다.
F 에서 감정과 상관도가 높은 t 개의 음악 특징들이 선별되었다고 가정하자. 선별된 특징들의 세트를 S t 라고 칭하기로 하자. S t = {f 1 , f 2 , … , f t } 와 같이 나타낼 수 있다.
t 개의 특징들이 이미 선별되어 있는 상태에서 t+1 번째 음악 특징을 선별하는 경우를 가정하여 설명하기로 한다.
선별할 음악 특징을 f t+1 라고 가정하자. 이때, f t+1 는 선별되지 않은 음악 특징들 중에서 선별된다(즉, f t+1 은 F- S t 에서 선별될 수 있다).
음악 특징들 중 f t+1 는 정서 라벨에 높은 상관을 가지며, 이전 선별된 특징들( S t )에는 상호 상관이 낮은 음악 특징을 대상으로 선별된다.
이를 위해 우선, 선별되지 않은 음악 특징들 중 f t+1 를 선별하기 위해 정서 라벨과 상호 정보량(MI: mutual information)를 최대로 하는 음악 특징을 선별한다.
이를 수식으로 표현하면 수 1과 같다.
Figure 112014002199707-pat00003
Figure 112014002199707-pat00004
}이 주어져 있을 때, 특징과 정서 라벨( l m )의 조건부 상호 정보(CMI: conditional mutual information)는 하기 수 2와 같이 정의된다.
Figure 112014002199707-pat00005
여기서,
Figure 112014002199707-pat00006
로, 주어진 변수 집합( S )에 대한 임의의 척도를 나타내고, P(S) 는 확률 질량 함수(probabilistic mass function)를 나타낸다.
수 2는 입력 변수(예를 들어, 특징( f t+1 ) 또는 정서 라벨( l m )이 주어진 변수(예를 들어,
Figure 112014002199707-pat00007
})에 종속적인 경우, 조건부 상호 정보는 낮은 값을 갖게 된다.
예를 들어, 특정 특징( f t+1 )이 제1 정서 라벨(l1 )에 가장 높은 상관을 갖는 경우, 주어진 정서 라벨 세트에 대한 특정 특징과 각 정서 라벨간의 조건부 상호 정보는 최소화되는 것을 알 수 있다.
이에 따라, 수 1을 다시 정리하면, 수 3과 같이 근사화시킬 수 있다.
Figure 112014002199707-pat00008
즉, 수 3을 통해 선별되지 않은 음악 특징들 중 선별할 음악 특징( f t+1 )은 적어도 하나의 정서 라벨에 종속되어야 하는 것을 알 수 있다.
또한, 선별할 음악 특징( f t+1 )은 이전 선별된 특징들( S t )과 상호 독립적이어야만 한다. 이는 선별된 특징( S t )가 주어졌을 때, 선별할 음악 특징( f t+1 )과 정서 라벨 세트( L )와의 조건부 상호 정보를 최대로 하는 문제로 해결할 수 있다. 그러나 이는 선별된 특징( S t )의 사이즈가 커짐에 따라 고차원 조인트 엔트로피의 정확한 값을 계산하기 어려운 문제가 있다.
이에 따라, 하기 수 4와 같이 조건부 상호 정보량을 근사화하여 해결할 수 있다.
Figure 112014002199707-pat00009
여기서, S t 는 f t+1 를 위한 마코브 블랭킷으로 간주될 수 있다. S t 에 커버되지 않는 선별할 음악 특징( f t+1 )을 선별하기 위해, 선별된 특징들과 마코브 블랭킷 범위에 있는 음악 특징들을 고려해야 한다. 선별된 특징과 마코브 블랭킷 범위에 있을 때 선별할 음악 특징의 조건부 종속성이 줄어들게 된다. 따라서, 수 3 및 수 4의 조합에 의해 최적 선별 기준( J )는 수 5와 같이 나타낼 수 있다.
Figure 112014002199707-pat00010
여기서, F 는 상기 음악 특징들을 나타내고, 상기 S t 는 선별된 특징 세트를 나타내며, L 은 정서 라벨 세트를 나타내고, l i 는 각 정서 라벨을 나타내고, f j 는 각 선별된 특징을 나타내고, f t+1 은 선별할 음악 특징을 나타낸다.
이와 같이, 각 음악 클립에 대해 정서 라벨과 의미 있는 중요한 음악 특징들을 선별한 후 단계 120에서 복합 의미 인식 장치(100)는 선별된 특징들을 대상으로 연관 법칙 마이닝(associative mining algorithm)을 이용하여 각 음악 클립의 음악 감정에 대한 의미를 분류한다. 여기서, 연관 법칙 마이닝은 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.
도 3은 종래와 본 발명의 일 실시예에 따른 음악 감정 분류에 기반한 분류 성능을 비교한 그래프이다. 도 3에 도시된 바와 같이, 성능 평가를 위해 해밍 로스(hamming loss)와 멀티 라벨 정확도를 각각 척도로 사용하여 성능을 평가하였다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 복합 의미 인식 방법이 해밍 로스에서는 낮은 값을 가지며, 멀티 라벨 정확성에서는 높은 값을 가지는 것을 알 수 있으며, 결과적으로 본 발명의 일 실시예에 따른 복합 의미 인식 방법이 성능이 더 뛰어난 것을 알 수 있다.
도 4는 본 발명의 일 실시예에 따른 음악 특징과 정서 라벨간 상위 세개 연관 관계를 나타낸 것이다. 특징들은 TSM(timbre spectralflux mean), TKM(tone keyclarity mean), TZM(timbre zerocross mean), SCM(spectral centroid mean) and SMS(spectral melfrequecny cepstral coefficient STD)가 이용되었다. 각 규칙은 5개의 특징과 각 특징에 할당된 값으로 구성되며, 예를 들어, 규칙 1은 TKM과 TZM이 높은 값이 주어지고, SMS가 낮은 값이 할당되면, 음악 클립의 음악 관련 정소는 흥분 정서로 할당된다.
도 4에 도시된 바와 같이, 하나의 음악 클립이 TZM이 높은 값을 갖는 경우, 음악 정서는 흥분 또는 고통이 할당될 수 있다. 반대로, TKM과 SMS가 높은 값을 갖는 경우 우울 정서에 영향이 있음을 알 수 있다. 또한, TSM이 낮고 SCM이 높은 값을 갖는 경우 만족 정서 라벨에 영향이 있음 알 수 있다.
도 5는 본 발명의 일 실시예에 따른 복합 의미 인식 장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 복합 의미 인식 장치(100)는 데이터 구성부(510), 특징 선별부(515), 분류부(520), 메모리(525) 및 제어부(530)를 포함하여 구성된다.
데이터 구성부(510)는 적어도 하나의 음악 클립에서 적어도 하나의 오디오 속성을 각 음악 특징으로 추출하고, 각 음악 클립에 대한 적어도 하나의 정서 라벨을 수집한 후 데이터 셋을 구성하기 위한 수단이다.
특징 선별부(515)는 추출된 음악 특징들 중 음악 정서 라벨과 상호 상관이 높은 음악 특징들을 선별하기 위한 수단이다. 이를 위해, 특징 선별부(515)는 이전 선별된 특징들과는 상호 의존성이 최소이고, 정서 라벨들과는 조건부 상호 정보량이 최대인 음악 특징을 선별할 수 있다. 이는 도 1에서 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
분류부(520)는 선별된 특징과 정서 라벨간의 연관 법칙 마이닝을 통해 각 규칙을 생성하고, 생성된 규칙을 통해 각 음악 클립의 음악 관련 정서에 대한 의미를 분류하기 위한 수단이다.
메모리(525)는 본 발명의 일 실시예에 따른 복합 의미 인식 장치(100)를 운용하기 위한 다양한 알고리즘, 데이터 등을 저장하기 위한 수단이다.
제어부(530)는 본 발명의 일 실시예에 따른 복합 의미 인식 장치(100)의 내부 구성 요소들(예를 들어, 데이터 구성부(510), 특징 선별부(515), 분류부(520), 메모리(525) 등)을 제어하기 위한 수단이다.
한편, 본 발명의 실시예에 따른 복합 의미 인식 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
510: 데이터 구성부
515: 특징 추출부
520: 분류부
525: 메모리
530: 제어부

Claims (8)

  1. 적어도 하나의 음악 클립에서 적어도 하나의 음악 특징을 추출하고, 상기 음악 클립에 대한 적어도 하나의 정서 라벨을 수집하여 데이터 셋을 구성하는 단계;
    상기 데이터 셋에서 음악 특징을 선별하는 단계; 및
    상기 선별된 음악 특징과 정서 라벨들과의 연관법칙 마이닝(associative mining algorithm)을 통해 음악 관련 정서에 대한 의미를 분류하는 단계를 포함하되,
    상기 음악 특징을 선별하는 단계는,
    상기 추출된 음악 특징 중 이전 선별된 특징들에 포함되지 않으며 상기 이전 선별된 특징들과 마코브 블랫킹 Markov blanket 범위에 있는 음악 특징을 대상으로 정서 라벨과의 조건부 상호 정보량을 계산하여 상기 계산된 조건부 상호 정보량이 가장 큰 음악 특징을 선별하는 것을 특징으로 하는 복합 의미 인식 방법.
  2. 삭제
  3. 제1 항에 있어서,
    상기 선별된 특징은 하기 수식을 이용하여 선별되는 것을 특징으로 하는 복합 의미 인식 방법.
    Figure 112014002199707-pat00011

    여기서, F 는 상기 음악 특징들을 나타내고, 상기 S t 는 선별된 특징 세트를 나타내며, L 은 정서 라벨 세트를 나타내고, l i 는 각 정서 라벨을 나타내고, f j 는 각 선별된 특징을 나타내고, f t+1 은 선별할 음악 특징을 나타냄.
  4. 삭제
  5. 제1 항에 있어서,
    상기 정서 라벨은 valence and arousal 정서 분류에 기반하여 라벨링된 것을 특징으로 하는 복합 의미 인식 방법.
  6. 제1 항, 제3항, 제5 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체.
  7. 적어도 하나의 음악 클립에서 적어도 하나의 음악 특징을 추출하고, 상기 음악 클립에 대한 적어도 하나의 정서 라벨을 수집하여 데이터 셋을 구성하는 데이터 구성부; 및
    상기 데이터 셋에서 음악 특징을 선별하는 특징 선별부; 및
    상기 선별된 특징과 상기 정서 라벨들과의 연관법칙 마이닝(associative mining algorithm)을 통해 음악 클립의 음악 관련 정서에 대한 의미를 분류하는 분류부를 포함하되,
    상기 특징 선별부는,
    상기 추출된 음악 특징 중 이전 선별된 특징들에 포함되지 않으며 상기 이전 선별된 특징들과 마코브 블랫킹 Markov blanket 범위에 있는 음악 특징을 대상으로 정서 라벨과의 조건부 상호 정보량을 계산하여 상기 계산된 조건부 상호 정보량이 가장 큰 음악 특징을 선별하는 것을 특징으로 하는 복합 의미 인식 장치.
  8. 삭제
KR1020140002673A 2014-01-09 2014-01-09 음악에 대한 복합 의미 인식 방법 및 그 장치 KR101520572B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140002673A KR101520572B1 (ko) 2014-01-09 2014-01-09 음악에 대한 복합 의미 인식 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140002673A KR101520572B1 (ko) 2014-01-09 2014-01-09 음악에 대한 복합 의미 인식 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101520572B1 true KR101520572B1 (ko) 2015-05-18

Family

ID=53394784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140002673A KR101520572B1 (ko) 2014-01-09 2014-01-09 음악에 대한 복합 의미 인식 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101520572B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10237669B2 (en) 2015-10-07 2019-03-19 Samsung Electronics Co., Ltd. Electronic device and music visualization method thereof
US10565435B2 (en) 2018-03-08 2020-02-18 Electronics And Telecommunications Research Institute Apparatus and method for determining video-related emotion and method of generating data for learning video-related emotion

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058874A (ja) * 2004-08-20 2006-03-02 Mitsubishi Electric Research Laboratories Inc マルチメディア中の事象を検出する方法
JP3953024B2 (ja) * 2003-11-20 2007-08-01 ソニー株式会社 感情算出装置及び感情算出方法、並びに携帯型通信装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3953024B2 (ja) * 2003-11-20 2007-08-01 ソニー株式会社 感情算出装置及び感情算出方法、並びに携帯型通信装置
JP2006058874A (ja) * 2004-08-20 2006-03-02 Mitsubishi Electric Research Laboratories Inc マルチメディア中の事象を検出する方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10237669B2 (en) 2015-10-07 2019-03-19 Samsung Electronics Co., Ltd. Electronic device and music visualization method thereof
US10645506B2 (en) 2015-10-07 2020-05-05 Samsung Electronics Co., Ltd. Electronic device and music visualization method thereof
US11128970B2 (en) 2015-10-07 2021-09-21 Samsung Electronics Co., Ltd. Electronic device and music visualization method thereof
US11812232B2 (en) 2015-10-07 2023-11-07 Samsung Electronics Co., Ltd. Electronic device and music visualization method thereof
US10565435B2 (en) 2018-03-08 2020-02-18 Electronics And Telecommunications Research Institute Apparatus and method for determining video-related emotion and method of generating data for learning video-related emotion

Similar Documents

Publication Publication Date Title
Yang et al. Review of data features-based music emotion recognition methods
Cheng et al. On effective location-aware music recommendation
Tzanetakis et al. Marsyas: A framework for audio analysis
Li et al. Music data mining
US8170702B2 (en) Method for classifying audio data
Bountourakis et al. Machine learning algorithms for environmental sound recognition: Towards soundscape semantics
US8489606B2 (en) Music search apparatus and method using emotion model
KR101942459B1 (ko) 음원 컨텐츠 및 메타 정보를 이용한 플레이리스트 자동 생성 방법 및 시스템
Tzanetakis et al. A framework for audio analysis based on classification and temporal segmentation
West et al. A model-based approach to constructing music similarity functions
JP4479210B2 (ja) サマリ作成用プログラム
Wu et al. Probabilistic estimation of a novel music emotion model
Kuzminykh et al. Audio interval retrieval using convolutional neural networks
Levy et al. Lightweight measures for timbral similarity of musical audio
KR101520572B1 (ko) 음악에 대한 복합 의미 인식 방법 및 그 장치
Thiruvengatanadhan Music genre classification using gmm
Xie et al. Investigation of acoustic and visual features for frog call classification
Nagavi et al. Content based audio retrieval with MFCC feature extraction, clustering and sort-merge techniques
Bargaje Emotion recognition and emotion based classification of audio using genetic algorithm-an optimized approach
Senan et al. Rough set approach for attributes selection of traditional Malay musical instruments sounds classification
West et al. Incorporating machine-learning into music similarity estimation
Jitendra et al. An ensemble model of CNN with Bi-LSTM for automatic singer identification
Amiriparian et al. Humans inside: cooperative big multimedia data mining
He et al. Deepchorus: A hybrid model of multi-scale convolution and self-attention for chorus detection
Heittola Computational Audio Content Analysis in Everyday Environments

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200309

Year of fee payment: 6