KR102138247B1

KR102138247B1 - 음원 평가 방법 및 그 장치와 이를 이용한 음원 생성 방법 및 그 장치

Info

Publication number: KR102138247B1
Application number: KR1020180023898A
Authority: KR
Inventors: 안창욱; 이종현; 정윤채; 정재훈
Original assignee: 주식회사 크리에이티브마인드; 광주과학기술원
Priority date: 2018-02-27
Filing date: 2018-02-27
Publication date: 2020-07-28
Also published as: KR20190109626A

Abstract

음원 평가 방법 및 그 장치와 이를 이용한 음원 생성 방법 및 그 장치가 개시된다. 음원평가장치는 학습음원의 각 구간별로 추출한 적어도 하나 이상의 특징값들을 기초로 선호도를 출력하는 적어도 하나 이상의 분류기를 학습시킨 후 평가대상음원의 각 마디별로 적어도 하나 이상의 특징값들을 추출하고, 적어도 하나 이상의 분류기를 이용하여 평가대상음원의 선호도를 파악한다.

Description

음원 평가 방법 및 그 장치와 이를 이용한 음원 생성 방법 및 그 장치{Method and apparatus for generating and evaluating music}

본 발명은 음원의 평가 및 생성에 관한 것으로, 보다 상세하게는 기계 학습(Machine Learning)을 이용하여 음원을 평가하고 음원을 생성하는 방법 및 그 장치에 관한 것이다.

일반적으로 화음은 사람들에게 안정감을 주나 불협화음은 사람들에게 긴장감을 유발한다. 또한, 음의 높이가 점차 높아지면 긴장감이 높아지고 음의 높이가 점차 낮아지면 안정감이 높아진다. 이와 같이 화음이나 음의 진행 과정에 따라 사람이 느끼는 감정에 대한 다양한 이론이 존재한다. 그러나 이러한 기존 이론만으로 사람들이 선호하는 음원인지 평가하는 데에는 한계가 있다.

본 발명이 이루고자 하는 기술적 과제는, 기계 학습을 이용하여 실제 사람이 느끼는 선호도와 유사하게 음원을 평가하는 방법 및 그 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 음원의 평가 결과를 이용하여 퀄리티 높은 음원을 생성하는 방법 및 그 장치를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 음원 평가 방법의 일 예는, 학습음원의 각 구간별로 추출한 적어도 하나 이상의 특징값들을 기초로 선호도를 출력하는 적어도 하나 이상의 분류기를 학습시키는 단계; 평가대상음원의 각 구간별로 적어도 하나 이상의 특징값들을 추출하는 단계; 및 상기 적어도 하나 이상의 분류기를 이용하여 상기 평가대상음원의 선호도를 파악하는 단계;를 포함한다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 음원 평가 장치의 일 예는, 학습음원의 각 구간별로 추출한 적어도 하나 이상의 특징값들을 기초로 선호도를 출력하는 적어도 하나 이상의 분류기; 평가대상음원의 각 구간별로 적어도 하나 이상의 특징값들을 추출하는 특징추출부; 및 상기 적어도 하나 이상의 분류기를 이용하여 상기 평가대상음원의 선호도를 파악하는 평가부;를 포함한다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 음원 생성 장치의 일 예는, 무작위의 음표로 구성되는 적어도 하나 이상의 제1 평가대상음원을 생성하는 음원생성부; 및 상기 제1 평가대상음원의 적어도 한 구간 이상을 다른 음원의 해당 구간과 교체하거나 적어도 하나 이상의 음표를 다른 음표로 바꾸어 적어도 하나 이상의 제2 평가대상음원을 생성하는 음원진화부;를 포함하고, 상기 음원진화부는, 상기 적어도 하나 이상의 제1 평가대상음원 또는 상기 적어도 하나 이상의 제2 평가대상음원 중 선호도가 일정 이상인 음원들 상호간의 적어도 하나 이상의 구간 교체 또는 음표 변경을 이용하여 적어도 하나 이상의 제3 평가대상음원을 생성하는 과정을 반복수행한다.

본 발명에 따르면, 실제 사람의 평가와 유사하게 음원을 평가할 수 있다. 또한, 평가 결과를 이용하여 퀄리티 높은 음원을 자동으로 생성할 수 있다. 또한, 특정 감정에 맞는 음원을 생성할 수 있다.

도 1은 본 발명의 실시 예에 따른 음원평가장치의 일 예를 도시한 도면,
도 2는 본 발명의 실시 예에 따른 음원평가를 이용한 음원생성장치의 일 예를 도시한 도면,
도 3은 본 발명의 실시 예에 따른 음원의 악보의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 음원평가를 위해 추출하는 특징값 리스트의 일 예를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 분류기의 학습 방법의 일 예를 도시한 도면,
도 6은 본 발명의 실시 예에 따른 분류기의 학습 방법의 다른 예를 도시한 도면,
도 7은 본 발명의 실시 예에 따른 분류기를 이용한 음원 평가 방법의 일 예를 도시한 도면,
도 8은 본 발명의 실시 예에 따른 음원의 유사도를 나타내는 그래프의 일 예를 도시한 도면,
도 9는 본 발명의 실시 예에 따른 음원의 평가결과를 나타내는 그래프의 일 예를 도시한 도면,
도 10은 본 발명의 실시 예에 따른 음원의 반주부분을 생성하는 방법의 일 예를 도시한 도면,
도 11은 본 발명의 실시 예에 따른 음원을 유전적 방법을 통해 생성하는 방법의 일 예를 도시한 도면,
도 12는 본 발명의 실시 예에 따른 음원 평가 방법의 일 예를 도시한 흐름도,
도 13은 본 발명의 실시 예에 다른 음원 생성 방법의 일 예를 도시한 흐름도,
도 14는 본 발명의 실시 예에 따른 음원평가장치의 일 예의 구성을 도시한 도면, 그리고,
도 15는 본 발명의 실시 예에 따른 음원생성장치의 일 예의 구성을 도시한 도면이다.

이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 음원 평가 방법 및 그 장치와, 이를 이용한 음원 생성 방법 및 그 장치에 대해 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 음원평가장치의 일 예를 도시한 도면이다.

도 1을 참조하면, 음원평가장치(100)는 음원에 대한 선호도 또는 기존 음원과의 유사도 등의 평가결과를 출력한다. 본 실시 예에서, 음원은 스피커를 통해 소리나 음악을 출력할 수 있는 모든 형태의 데이터를 의미한다. 예를 들어, 음원은 악보를 포함하는 전자문서, MIDI(Musical Instrument Digital Interface) 형태의 디지털신호, MP3(MPEG-1 Audio Layer-3) 등과 같은 각종 오디오 데이터를 저장하는 음악 파일 등 컴퓨터에서 읽고 처리할 수 있는 다양한 형태일 수 있다. 또한, 본 실시 예에서의 음원은 한 곡 전체의 데이터뿐만 아니라 그 일부만을 포함할 수도 있다.

음원에 대해 사람들의 좋고 나쁨을 나타내는 선호도는 개인차가 존재하나 모집단을 크게 할 경우에 통계적으로 해당 음원에 대한 선호도를 일정 값으로 수치화할 수 있다. 예를 들어, A 음원을 100명의 사람들에게 들려준 후 1~10의 범위 내의 선호도를 설문조사하여 이를 평균하면 A 음원의 선호도를 수치화할 수 있다. 본 실시 예는 이와 같은 선호도를 종래의 통계적 방법이 아닌 기계 학습(Machine Learning)을 이용하여 자동으로 파악할 수 있는 방법을 제시한다. 기계 학습을 이용한 선호도 파악의 방법에 대해서는 도 5 내지 도 7에서 다시 살펴본다. 그리고 음원의 유사도를 파악하는 방법에 대해서는 도 8에서 살펴본다.

도 2는 본 발명의 실시 예에 따른 음원평가를 이용한 음원생성장치의 일 예를 도시한 도면이다.

도 2를 참조하면, 음원생성장치(200)는 임의로 생성한 음원을 음원평가장치(100)로 입력하여 그 평가결과를 수신한다. 음원생성장치(200)는 기 정의된 음악이론에 따라 임의의 멜로디를 가지는 음원을 생성할 수 있다. 예를 들어, 음원생성장치는 임의의 음자리표(높은음자리표, 가온음자리표, 낮은음자리표 등)를 선택하고, 박자(2/4, 4/3, 4/4, 6/8 등)를 선택한 후 각 마디별 박자에 맞게 음표의 길이 및 높이를 임의 선택하고 배치하여 음원을 생성할 수 있다. 이 외에도 작곡방법과 관련된 종래의 다양한 이론이 존재하며, 음원생성장치(200)에 작곡이론과 관련된 다양한 규칙이 알고리즘으로 구현되어 있거나, 종래의 다양한 음원 생성 알고리즘이 미리 구축되어 있다면 이를 통해 임의의 음원을 생성할 수도 있다.

임의로 생성된 음원의 품질은 일정하지가 않다. 1000곡의 음원을 임의 생성하여 음원평가장치(100)에서 평가한다면 이 중에서 10곡의 음원의 평가결과는 일정 기준값 이상이나 990곡의 음원은 평가결과가 낮을 수 있다. 또한, 임의 생성하는 음원이 기존의 음원과 유사할 수도 있다. 특히 음원이 기존의 작곡 이론만으로 만들어진다면 그 유사도는 더 높아질 수 있다.

이에 본 실시 예의 음원생성장치(200)는 임의 생성된 음원들 중 그나마 평가결과가 좋은 음원들을 일종의 생물처럼 유전적 방법으로 변형시켜 새로운 음원을 생성하는 방법을 사용한다. 다시 말해, 부모의 두 유전자 사이의 교차 또는 변이를 통해 자식의 유전자가 새롭게 결정되는 것과 같이, 음원생성장치(200)는 두 음원을 유전자처럼 취급하여 음원의 일부를 교차 또는 변이하여 새로운 자식 음원을 생성한다. 예를 들어, 1000곡의 임의 생성 음원에 대해 음원평가장치(100)의 평가 결과 일정 이상인 음원을 선별하고, 선별된 음원들의 유전적 변형을 통해 자식 음원을 생성한 후 음원평가장치(100)를 통해 다시 선별하고, 다시 선별된 음원들 사이의 유전적 변형을 통해 다시 자식 음원을 생성하고 평가하는 과정을 반복하여 점점 더 평가결과가 우수한 음원을 만들어 갈 수 있다. 음원을 유전적 방법을 통해 진화시키는 방법의 일 예가 도 11에 도시되어 있다.

도 3은 본 발명의 실시 예에 따른 음원의 악보의 일 예를 도시한 도면이다.

도 3을 참조하면, 음원(300)은 크게 멜로디 부분(310)과 반주 부분(320)을 포함할 수 있다. 실시 예에 따라 음원(300)은 멜로디 부분(310)만을 포함하거나 반주 부분(320)만을 포함할 수 있다. 다만, 설명의 편의를 위하여 이하에서 음원은 멜로디 부분(310)과 반주 부분(320)을 모두 포함하는 것으로 설명한다.

또한, 음원은 기 정의된 다양한 방법에 따라 복수의 구간으로 분할될 수 있다. 예를 들어, 음원은 마디 또는 소절 단위로 분할되거나 사용자가 정의한 구간으로 분할될 수 있다. 이하에서 다시 살펴보겠지만, 음원평가장치(100)는 음원을 복수의 구간으로 분할한 후 각 구간별로 도 4와 같은 특징값들을 파악한다. 이하 설명의 편의를 위하여 음원평가장치(100)는 음원을 마디별로 분할하고, 마디별로 특징값들을 추출하는 것으로 한정하여 설명한다.

도 4는 본 발명의 실시 예에 따른 음원평가를 위해 추출하는 특징값 리스트의 일 예를 도시한 도면이다.

도 4를 참조하면, 특징값 리스트는 피치(pitch)(400), 멜로디(410), 리듬(420), 화음(Chord)(430) 등을 포함한다.

피치(400)는 음의 높이를 의미하며 주파수와 관련된다. 음의 주파수가 높을수록 피치가 높고 음의 주파수가 낮을수록 피치가 낮다. 피치(400)와 관련한 특징값의 예로 음의 최고높이와 최저높이의 차이를 나타내는 범위(range), 각 높이별 빈도수(occurrence rate), 조성(Tonal) 등이 있다. 피치(400)의 특징값은 음원의 멜로디 부분 및 반주 부분에서 파악될 수 있다.

멜로디(410)는 높이가 길이로 가진 음을 시간적인 질서로 결합하여 나타내는 가락 또는 선율을 의미한다. 멜로디(410)와 관련된 특징값의 예로 이웃 음 사이의 시간 간격을 나타내는 간격(intervals), 복수의 음으로 구성된 서브 그룹 단위(예를 들어, 마디 단위)의 변화(variation), 멜로디의 전체적인 윤곽(contours), 반복 패턴(repetition) 등이 있다. 멜로디(410)는 음원의 멜로디 부분에서 파악될 수 있다.

리듬(420)과 관련된 특징값의 예로 시간 간격(time intervals), 음의 지속시간(duration), 시간 축의 배치 패턴(patterns), 싱커페이션(syncopation) 등이 있고, 화음(430)과 관련된 특징값의 예로 음의 수직 간격(vertical intervals), 화음 타입(type of chords), 하모닉 변화(harmonic movement) 등이 있다. 리듬(420)은 음원의 멜로디 부분 및 반주 부분에서 파악될 수 있으며, 화음(430)은 음원의 반주 부분에서 파악될 수 있다.

본 실시 예의 특징값 리스트는 이해를 돕기 위한 하나의 예이며, 음의 특징을 나타내는 여러 값이 존재할 수 있다. 따라서, 도 4에 도시된 특징값 리스트가 모두 본 실시 예에 사용되거나 일부만이 사용되거나 아니면 전혀 다른 특징값을 정의하여 사용할 수 있는 등 다양하게 변형 가능하다.

사람이 아닌 컴퓨터를 통해 음원을 평가하기 위해서는 특징값들은 컴퓨터에서 처리할 수 있는 일정한 값의 형태로 만들어져야 한다. 예를 들어, 피치(400)의 범위는 주파수와 관련된 값이므로 음의 높이에 해당하는 주파수와 일대일 맵핑되는 숫자를 정의하여 사용할 수 있다. 이 외에도 각 특징값들을 어떤 문자나 숫자로 표현할지 실시 예에 따라 다양하게 미리 정의하여 사용할 수 있다.

음원평가장치(100)는 음원의 각 구간별(예를 들어, 마디별)로 특징값을 추출한다. 예를 들어, 도 4의 특징값 리스트를 사용하고, 음원이 30개의 마디로 구성되었다면, 음원평가장치(100)는 각 마디별로 피치(400), 멜로디(410), 리듬(420), 화음(430)의 각 특징값들을 파악한다.

도 5는 본 발명의 실시 예에 따른 분류기의 학습 방법의 일 예를 도시한 도면이다.

도 5를 참조하면, 음원평가장치(100)는 음원 평가를 위하여 분류기(530)를 이용한다. 분류기(530)는 기계 학습을 수행하는 인공지능을 의미하고, 특정 용어에 한정되는 것은 아니며 종래 기계 학습을 수행하는 다양한 형태로 구현될 수 있다. 예를 들어, 분류기(530)는 신경망네트워크(neural network), 서포트 벡터 머신(Support Vector Machine), 의사결정 나무(Decision Tree), 나이브 베이지안(Naive Bayesian) 등으로 구현될 수 있다. 기계 학습이나 신경망네트워크 등은 이미 널리 알려진 구성이므로 이에 대한 상세한 설명은 생략한다. 이하에서는 이러한 종래의 다양한 형태로 구현되는 분류기(530)를 어떻게 학습시켜 음원 평가에 사용할 수 있는지에 대해 설명한다.

먼저, 음원평가장치(100)는 미리 선호도가 정의된 복수의 학습음원(500,502,504)을 포함한다. 복수의 학습음원(500,502,504)은 복수의 사람에 대한 설문조사 또는 전문가의 평가 등을 통해 선호도가 미리 결정된다.

음원평가장치(100)는 복수의 학습음원(500,502,504)에 대해 특징값들을 추출한다. 예를 들어, 음원평가장치(100)는 각 학습음원의 마디별로 도 4에 도시된 특징값 리스트(510)의 특징값을 추출할 수 있다. 음원평가장치(100)는 추출한 특징값들을 기 정의된 순서로 나열한 데이터 셋을 만들거나, 이를 벡터(즉, 특징벡터)(520)로 만들 수 있다. 본 실시 예는 각 음원에서 추출한 특징값들 기 정의된 순서로 분류기(530)에 입력한다. 다만, 설명의 편의를 위하여 이하에서 음원으로부터 추출한 특징값들을 특징벡터(520)로 표현한다.

음원평가장치(100)는 각 음원의 특징벡터(520)를 분류기(530)에 입력하고 분류기(530)의 결과값과 해당 음원에 미리 정의된 선호도를 비교한다(540). 음원평가장치(100)는 각 음원의 분류기(530)의 결과값과 선호도가 일치하도록 분류기(530)의 파라미터를 조정한다. 학습음원이 많을수록 분류기(530)의 파라미터를 보다 정교하게 조정하여, 분류기(530)를 이용한 선호도의 평가결과를 보다 정확하게 할 수 있다.

실시 예에 따라, 특징값 리스트(510)의 특징값 종류가 수십 개가 존재하고 학습음원(500,502,504)의 개수가 수백~수천 개가 존재한다면 각 음원으로부터 모든 특징값들을 추출하여 특징 벡터를 만들고 이를 분류기에 학습시키는데 상당한 시간이 소요될 수 있다. 분류기의 학습을 보다 간결하고 빠르게 하기 위한 방법의 일 예가 도 6에 도시되어 있다.

도 6은 본 발명의 실시 예에 따른 분류기의 학습 방법의 다른 예를 도시한 도면이다.

도 6을 참조하면, 특징값 리스트(610)에 포함된 전체 특징값들 중 일부를 임의 선별하고 조합한 특징값 서브셋(630,632,634,636,638)을 만든다. 예를 들어, 특징값 리스트(610)가 특징값0, 특징값1, 특징값2... 특징값7로 구성된 경우에, 음원평가장치(100)는 특징값0, 특징값1, 특징값2로 구성된 제1 특징값 서브셋(630)을 생성하고, 특징값3, 특징값5, 특징값6으로 구성된 제2 특징값 서브셋(632) 등을 생성한다. 각 특징값 서브셋(630,632,634,636,638)은 특징값 리스트(610)에 속한 특징값들의 서로 다른 조합으로 구성된다.

또한, 음원평가장치(100)는 전체 학습음원(600) 중 일부를 임의 선별하고 조합(620,622,624,626,628)하여 특징값 서브셋(630,632,634,636,638)에 분산 할당한다. 예를 들어, 학습음원(600)이 학습음원0, 학습음원1... 학습음원9로 구성된 경우에, 음원평가장치(100)는 학습음원1,3,4,5,6(620)을 제1 특징값 서브셋(630)에 할당하고, 학습음원0,2,7,8,9(622)를 제2 특징값 서브넷(632)에 할당한다.

그리고 음원평가장치(100)는 각 학습음원의 서브셋(620,622,624,626,628)에 대해 특징값 서브셋(630,632,634,636,638)에 해당하는 특징값을 추출한다. 음원평가장치(100)는 각 학습음원 서브셋(620,622,624,626,628)에 대해 파악한 각 특징벡터(640,642,644,646,648)를 각 분류기(650,652,654,656,658)에 입력한다. 예를 들어, 제1 특징값 서브셋(630)으로 추출하여 얻은 제1 특징벡터(640)를 제1 분류기(650)에 입력하고, 제2 특징값 서브셋(632)으로 추출하여 얻은 제2 특징백터642)를 제2 분류기(662)에 입력한다.

음원평가장치(100)는 도 5에서 살핀 바와 같이 각 분류기(650,652,654,656,658)의 각 출력값(660,662,664,666,668)과 해당 학습음원의 선호도를 일치시키는 파라미터 조정 과정을 통해 분류기(650,652,654,656,658)를 학습시킨다.

도 7은 본 발명의 실시 예에 따른 분류기를 이용한 음원 평가 방법의 일 예를 도시한 도면이다.

도 7을 참조하면, M개의 분류기(730,732,734)가 존재하며, M개의 분류기(730,732,734)는 도 6의 방법을 통해 미리 학습되었다고 가정한다. 본 실시 예는 복수의 분류기(730,732,734)를 이용하는 경우를 설명하고 있으나, 도 5와 같이 하나의 분류기를 학습시킨 후 하나의 분류기를 이용하여 음원 평가를 할 수 있다.

음원평가장치(100)는 평가대상음원(700)의 각 마디별로 각 특징값 서브셋(710,712,714)의 특징값들을 추출한다. 음원평가장치(100)는 각 특징값 서브셋(710,712,714)을 통해 추출된 각 특징벡터(720,722,724)를 각 분류기(730,732,734)에 입력한다. 음원평가장치(100)는 각 분류기(70,732,734)의 출력값(740,742,744)의 통계값(예를 들어, 출력값들의 평균)을 평가대상음원(700)의 선호도로 출력한다. 음원평가장치(100)에 의해 평가된 평가대상음원(700)은 도 5 또는 도 6에서 살핀 학습음원으로 활용할 수 있다.

도 8은 본 발명의 실시 예에 따른 음원의 유사도를 나타내는 그래프의 일 예를 도시한 도면이다.

도 8을 참조하면, 음원평가장치(100)는 평가대상음원(810)과 기 저장된 복수의 음원(830,832,834,836,838)과의 유사도를 파악한다. 예를 들어, 음원평가장치(100)는 모든 음원을 일정한 데이터 포맷(예를 들어, MIDI 포맷)으로 저장하고 있을 수 있다. 음원평가장치(100)는 이러한 데이터를 벡터로 만든 후 두 벡터 사이의 거리인 유클리드 거리(Euclidean distance)를 파악할 수 있다. 음원평가장치(100)는 평가대상음원(810)과 기 저장된 각 음원(830,832,834,836,838) 사이의 거리를 평균하여 유사도를 파악할 수 있다. 이 외에도 두 데이터의 유사도를 파악하는 종래의 다양한 알고리즘이 적용될 수 있다.

기 저장된 복수의 음원이 많다면, 평가대상음원(810)과 기 저장된 음원(830,832,834,836,838) 사이의 각각의 거리를 파악하는데 많은 시간이 소요될 수 있으므로, 기 저장된 복수의 음원을 복수의 그룹(830,832,834,836,838)으로 그룹핑한 후 해당 그룹을 대표하는 벡터값을 만들 수 있다. 이 경우, 음원평가장치(100)는 평가대상음원(810)과 각 그룹(830,832,834,836,838)의 대표 벡터값 사이의 거리를 산출하여 유사도를 파악할 수 있다.

도 9는 본 발명의 실시 예에 따른 음원의 평가결과를 나타내는 그래프의 일 예를 도시한 도면이다.

도 9를 참조하면, 각 음원의 평가결과가 선호도 및 유사도를 각 축으로 하는 그래프에 도시되어 있다. 음원의 퀄리티가 높을수록 선호도는 커지고 유사도는 낮아진다. 음원평가장치(100)는 선호도와 유사도가 일정 크기 이상인 음원(900)을 선별할 수 있다. 선호도와 유사도가 일정 크기 이상인 음원(900)은 도 2에서 살핀 음원생성장치(200)의 음원 생성에 사용될 수 있다.

도 10은 본 발명의 실시 예에 따른 음원의 반주부분을 생성하는 방법의 일 예를 도시한 도면이다.

도 10을 참조하면, 반주템플릿데이터베이스(1000)는 음원의 반주부분에 대한 템플릿을 포함한다. 반주템플릿은 기존에 존재하는 음원에 사용된 반주부분의 전체 또는 일부이거나 새롭게 작곡된 반주부분일 수 있다. 예를 들어, 반주템플릿은 마디 또는 소절 단위로 저장 관리되거나 한 곡 전체의 반주부분이 저장 관리될 수 있다.

음원생성장치(200)는 반주템플릿데이터베이스에서 반주템플릿 임의 추출(1010)하여 반주 부분을 생성(1030)할 수 있다. 예를 들어, 음원생성장치(200)는 30마디로 구성된 멜로디 부분을 임의로 생성하고, 반주템플릿데이터베이스(1000)에서 반주템플릿을 임의 추출하여 30마디의 반주부분을 생성할 수 있다. 일 예로, 반주템플릿이 마디 단위로 저장되어 있다면, 음원생성장치(200)는 30개의 서로 다른 반주템플릿을 임의의 순서로 추출하여 반주부분을 생성하거나 30개 미만의 서로 다른 반주템플릿을 추출하고 몇 개의 반주템플릿을 반복 사용하여 30마디의 반주부분을 생성할 수 있다. 또 다른 예로, 반주템플릿이 소절이나 한 곡 단위로 저장 관리되는 경우에, 음원생성장치(200)는 반주템플릿의 소절 또는 한 곡 단위를 그대로 추출하여 반주부분을 생성하거나 소절 또는 한 곡 단위의 일부분을 추출하여 반주부분을 생성할 수 있다.

음원생성장치(200)는 반주템플릿데이터베이스(1000)로부터 추출한 반주템플릿을 나열하여 생성한 반주부분을 화음에 따라 변조한다(1020). 음원에 사용되는 화음의 진행 순서는 임의로 선정되거나 미리 정해진 작곡 이론에 따라 정해질 수 있다. 예를 들어, 경쾌한 음악, 슬픈 음악, 조용한 음악 등 각 장르에 대한 화음의 진행 순서가 작곡 이론에 따라 미리 정의되어 음원생성장치(200)에 저장되어 있다면, 음원생성장치(2000)는 각 장르별 화음에 맞도록 반주부분을 변조한다. 음원생성장치(200)에는 미리 정의된 작곡이론에 따라 반주부분을 각 화음에 맞도록 변조하는 화음 변조 규칙이 저장되어 있다.

음원생성장치(200)는 감정정보를 입력받는다면, 해당 감정정보에 맞은 화음의 진행순서로 반주부분을 변조할 수 있다. 예를 들어, 음원생성장치(200)는 복수의 감정 중 어느 하나를 사용자로부터 선택받은 후 해당 감정에 대한 화음의 진행순서에 따라 반주부분을 변조할 수 있다.

도 11은 본 발명의 실시 예에 따른 음원을 유전적 방법을 통해 생성하는 방법의 일 예를 도시한 도면이다.

도 11을 참조하면, 음원생성장치(200)는 두 음원(1100,1110)의 일부분(1120,1130)을 서로 교체하거나 음원의 특정 부분(1140)을 변경한다. 예를 들어, 음원생성장치(200)는 제1 음원(1100)과 제2 음원(1110)의 서로 대응되는 부분을 서로 교체할 수 있다. 이때 교체되는 부분은 반드시 마디 단위일 필요는 없으며, 하나의 음표가 되거나 두 마디에 걸친 부분(1130)이 될 수 있는 등 실시 예에 따라 다양하게 설정될 수 있다. 음원이 멜로디 부분과 반주부분으로 구성된 경우에 음원생성장치(200)는 각 음원의 멜로디 부분과 반주 부분을 서로 대응하여 함께 교체하거나 변경할 수 있다. 또는 음원생성장치(200)는 멜로디 부분과 반주부분 각각 별개로 상호 교체하거나 변경할 수 있다. 즉, 두 음원(1100,1110)에서 멜로디 부분은 첫 번째 마디가 교체되고, 반주 부분은 첫 번째 마디가 아닌 두 번째 마디가 교체될 수 있다.

두 음원(1100,1110) 사이의 교체되는 부분(1120,1130)은 음원생성장치(200)에 미리 정의되어 있을 수 있으나, 이 경우 다양한 변형이 이루어지지 않으므로, 가능하면 교체되는 부분을 임의로 선택하는 것이 바람직하다. 즉, 음원생성장치(200)는 두 음원(1100,1110) 사이의 교체부분(1120,1130)의 위치 및 크기 등을 매번 임의로 선택할 수 있다. 예를 들어, 음원생성장치(200)는 교체 개수를 기 설정된 범위(예를 들어, 5~10) 내에서 임의 선택하고, 교체 위치를 전체 음원의 길이에서 임의 선택하고, 또한 교체 크기를 마디 단위로 미리 정의하거나 기 설정된 범위 내에서 임의의 크기(예를 들어, 4박자 크기 또는 8박자 크기 등)로 설정할 수 있다.

음원생성장치(200)는 음원의 다양한 변형을 위하여 두 음원 사이의 교체뿐만 아니라 음원의 특정 부분(1140)을 변형할 수 있다. 음원생성장치(200)는 특정 부분(11400의 음의 높이를 변형하거나 음의 길이를 변형할 수 있다. 음원생성장치(200)는 변형 부분(1140)을 임의로 선택하고, 변형 부분의 범위를 하나의 음표, 복수의 음표 또는 마디 등과 같이 미리 정의하거나 기 설정된 범위 내에서 선택할 수 있다. 변형 부분(1140)의 개수 및 위치 또한 미리 정의되거나 기 설정된 범위 내에서 선택될 수 있다.

도 12는 본 발명의 실시 예에 따른 음원 평가 방법의 일 예를 도시한 흐름도이다.

도 12를 참조하면, 음원평가장치(100)는 학습음원의 각 마디별로 추출한 적어도 하나 이상의 특징값들을 기초로 선호도를 출력하는 적어도 하나 이상의 분류기를 학습한다(S1200). 분류기의 학습 방법의 예는 도 5 및 도 6에 도시되어 있다.

분류기의 학습이 완료되면, 음원평가장치(100)는 평가대상음원의 각 마디별로 적어도 하나 이상의 특징값들을 추출하고(S1210), 적어도 하나 이상의 분류기를 이용하여 평가대상음원의 선호도를 파악한다(S1220). 음원평가장치(100)는 또한 평가대상음원과 기 저장된 복수의 음원에 대한 유사도를 파악한다(S1230). 음원평가장치는 선호도 및 유사도를 기초로 평가대상음원의 평가결과를 출력한다(S1240).

도 13은 본 발명의 실시 예에 다른 음원 생성 방법의 일 예를 도시한 흐름도이다.

도 13을 참조하면, 음원생성장치(200)는 무작위의 음표로 구성되는 적어도 하나 이상의 음원을 생성한다(S1300). 음원생성장치(200)는 음원평가장치를 통한 음원 평가결과가 일정 이상인 적어도 하나 이상의 음원을 선별한다(S1310). 그리고 음원생성장치(200)는 선별된 음원 사이에 적어도 한 구간 이상을 서로 교체하거나 적어도 하나 이상의 음표를 다른 음표로 바꾸어 새로운 음원을 생성하고 평가하는 과정을 반복 수행한다(S1320).

예를 들어, 음원생성장치(200)는 초기에 1000곡의 음원을 임의생성하고 음원 평가결과가 일정 이상인 음원을 선별한다. 평가평가가 일정 이상인 음원이 100곡이 존재하면, 음원생성장치(200)는 100곡의 음원에 대해 도 11과 같이 교체 또는 변형하여 새로운 복수의 음원을 생성한다. 예를 들어, 100곡의 음원을 일렬로 배열한 후 1번째 음원과 51번째 음원 사이의 도 11과 같은 유전적 변형, 2번째 음원과 52번째 음원 사이의 유전적 변형 등을 순차적으로 생성하여 복수의 새로운 음원을 생성할 수 있다. 음원생성장치(200)는 새롭게 생성된 복수의 음원에 대해 다시 평가하여 일정 개수의 음원을 새롭게 선별하고, 다시 도 11과 같은 유전적 변형을 반복한다.

음원생성장치(200)는 도 11과 같은 유전적 변형을 기 설정된 횟수만큼 반복하거나, 평가결과의 선호도 및 유사도가 기 설정된 기준에 도달하는 음원이 생성될 때까지 반복 수행할 수 있다.

도 14는 본 발명의 실시 예에 따른 음원평가장치의 일 예의 구성을 도시한 도면이다.

도 14를 참조하면, 음원평가장치(100)는 특징추출부(1410), 평가부(1420) 및 학습부(1400)를 포함한다.

학습부(1400)는 선호도가 기 정의된 학습음원을 이용하여 분류기를 학습시킨다. 예를 들어, 학습부(1400)는 도 5 및 도 6과 같이 복수의 학습음원으로부터 특징값들을 추출하고 이를 분류기에 입력한 후 그 결과값이 해당 학습음원의 선호도와 동일하도록 파라미터를 조정하는 과정을 통해 분류기를 학습시킨다.

특징추출부(1410)는 평가대상음원의 각 마디별로 특징값들을 추출한다. 예를 들어, 특징추출부(1410)는 도 7과 같이 특징값 리스트의 특징값들을 복수 개의 특징값 서브셋으로 구성한 후 특징값 서브셋별로 평가대상음원의 각 마디의 특징값을 추출할 수 있다.

평가부(1420)는 특징추출부(1410)에서 추출한 특징값들을 분류기에 입력하여 선호도를 파악하고, 평가대상음원과 기 저장된 다른 음원과의 유사도를 파악하여 출력한다.

도 15는 본 발명의 실시 예에 따른 음원생성장치의 일 예의 구성을 도시한 도면이다.

도 15를 참조하면, 음원생성장치(200)는 음원생성부(1500) 및 음원진화부(1510)를 포함한다.

음원생성부(1500)는 음원을 임의로 생성한다. 예를 들어, 음원생성부(1500)는 멜로디 부분의 음표를 임의로 구성하고, 반주 부분은 도 10과 같이 반주템플릿데이터베이스를 이용하여 구성할 수 있다.

음원진화부(1510)는 음원평가장치를 통해 일정 이상의 평가 결과가 나오는 음원들을 도 11과 같은 유전적 변형을 통해 새로운 음원을 생성한다. 음원진화부(1510)는 새롭게 생성된 음원들 중에 평가 결과가 일정 이상인 음원들을 선정한 후 다시 도 11과 같은 유전적 변형을 수행한다. 음원진화부(1510)는 이와 같은 유전적 진화 과정을 일정 횟수 반복 수행한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

학습음원의 각 구간별로 추출한 적어도 하나 이상의 특징값들을 기초로 선호도를 출력하는 복수 개의 분류기를 학습시키는 단계;
평가대상음원의 각 구간별로 적어도 하나 이상의 특징값들을 추출하는 단계;
상기 복수 개의 분류기를 이용하여 상기 평가대상음원의 선호도를 파악하는 단계;를 포함하고,
상기 학습시키는 단계는,
기 정의된 특징값 리스트에 포함된 전체 특징값 중 일부를 일부 선별하고 조합하여 서로 다른 복수 개의 특징값 서브셋을 만드는 단계;
복수 개의 학습음원 중 일부를 임의 선별하고 조합하여 만든 복수 개의 학습음원 서브셋을 상기 복수 개의 특징값 서브셋에 분산 할당하는 단계;
각 특징값 서브셋을 이용하여 각 학습음원 서브셋으로부터 추출한 특징값을 이용하여 각 학습음원 서브셋에 대한 특징벡터를 얻는 단계;
각 학습음원 서브셋에 대한 특징벡터를 각 분류기에 입력하는 단계;
각 분류기의 출력값이 기 정의된 학습음원 선호도에 부합하도록 학습시키는 단계;를 포함하는 것을 특징으로 하는 음원 평가 방법.
제 1항에 있어서, 상기 분류기를 학습시키는 단계는,
선호도에 대한 사전 정보가 정의된 복수의 학습음원의 각 구간별로 적어도 하나 이상의 특징값들을 추출하는 단계; 및
상기 분류기에 상기 학습음원의 특징값들을 입력하여 얻어지는 값이 상기 학습음원에 대해 미리 정의된 선호도에 부합하도록 상기 분류기의 파라미터를 조정하는 단계;를 포함하는 것을 특징으로 하는 음원 평가 방법.
제 1항에 있어서,
복수 개의 분류기가 존재하고,
각 분류기에 입력되는 특징값들의 조합은 서로 상이한 것을 특징으로 하는 음원 평가 방법.
제 3항에 있어서, 상기 선호도를 파악하는 단계는,
상기 평가대상음원의 각 구간별로 추출한 특징값들의 서로 다른 조합을 복수의 분류기의 각각에 입력하여 얻은 복수 개의 값에 대한 통계값을 상기 평가대상음원의 선호도로 출력하는 단계;를 포함하는 것을 특징으로 하는 음원 평가 방법.
제 1항에 있어서,
상기 평가대상음원과 기 저장된 복수의 음원 사이의 유사도를 파악하는 단계; 및
상기 선호도 및 상기 유사도를 기초로 상기 평가대상음원의 평가결과를 출력하는 단계;를 더 포함하는 것을 특징으로 하는 음원 평가 방법.
제 1항에 있어서,
무작위의 음표로 구성되는 복수 개의 제1 평가대상음원을 생성하는 단계; 및
상기 복수 개의 제1 평가대상음원 중 상기 분류기를 통해 파악한 선호도가 일정 이상인 음원들 상호간의 적어도 하나 이상의 구간 교체 또는 음표 변경을 이용하여 복수 개의 제2 평가대상음원을 생성하는 단계;
상기 복수 개의 제2 평가대상음원 중 상기 분류기를 통해 파악한 선호도가 일정 이상인 음원들 상호간의 적어도 하나 이상의 구간 교체 또는 음표 변경을 이용하여 적어도 하나 이상의 제3 평가대상음원을 생성하는 단계;를 포함하는 것을 특징으로 하는 음원 평가 방법.
학습음원의 각 구간별로 추출한 적어도 하나 이상의 특징값들을 기초로 선호도를 출력하는 적어도 하나 이상의 분류기를 학습시키는 단계;
평가대상음원의 각 구간별로 적어도 하나 이상의 특징값들을 추출하는 단계;
상기 적어도 하나 이상의 분류기를 이용하여 상기 평가대상음원의 선호도를 파악하는 단계; 및
무작위의 음표로 구성되는 적어도 하나 이상의 제1 평가대상음원을 생성하는 단계;를 포함하고,
상기 제1 평가대상음원은 멜로디부분과 반주부분으로 구성되고,
상기 제1 평가대상음원을 생성하는 단계는,
음표를 무작위로 선택하여 상기 멜로디부분을 구성하고, 기 저장된 복수 개의 반주 템플릿을 코드에 따라 변조하여 반주부분을 구성하는 단계를 포함하는 것을 특징으로 하는 음원 평가 방법.
제 7항에 있어서, 상기 반주부분을 구성하는 단계는,
감정정보를 입력받는 단계; 및
기 정의된 감정에 따른 코드 진행 규칙을 이용하여 상기 감정정보에 해당하는 반주부분을 생성하는 단계;을 포함하는 것을 특징으로 하는 음원 평가 방법.
기 저장된 복수 개의 반주 템플릿을 임의 추출하는 단계;
임의 추출한 반주 템플릿을 코드에 따라 변조하여 음원의 반주부분을 생성하는 단계;
무작위의 음표로 구성되는 복수 개의 멜로디부분을 생성하는 단계;
상기 복수 개의 멜로디부분과 상기 복수 개의 반주부분을 조합하여 구성된 복수 개의 제1 음원들 상호간의 적어도 한 구간 이상을 교체하거나 적어도 하나 이상의 음표를 다른 음표로 바꾸어 복수 개의 제2 음원들을 생성하는 단계;
음원의 각 구간별로 추출한 적어도 하나 이상의 특징값을 입력받고 선호도를 출력하는 적어도 하나 이상의 분류기를 이용하여 상기 복수 개의 제2 음원들 중 선호도가 일정 이상인 음원들을 파악하는 단계; 및
상기 제2 음원들 중 상기 선호도가 일정 이상인 음원들 상호간의 적어도 하나 이상의 구간 교체 또는 음표 변경을 이용하여 적어도 하나 이상의 새로운 음원을 생성하는 단계;를 포함하는 것을 특징으로 하는 음원 생성 방법.
제 9항에 있어서, 상기 반주부분을 생성하는 단계는,
감정정보를 입력받는 단계; 및
기 정의된 감정에 따른 코드 진행 규칙을 이용하여 상기 감정정보에 해당하는 코드로 반주 템플릿을 변조하여 반주부분을 생성하는 단계;를 포함하는 것을 특징으로 하는 음원 생성 방법.
삭제
학습음원의 각 구간별로 추출한 적어도 하나 이상의 특징값들을 기초로 선호도를 출력하는 복수 개의 분류기;
평가대상음원의 각 구간별로 적어도 하나 이상의 특징값들을 추출하는 특징추출부;
상기 복수 개의 분류기를 이용하여 상기 평가대상음원의 선호도를 파악하는 평가부; 및
기 정의된 특징값 리스트에 포함된 전체 특징값 중 일부를 일부 선별하고 조합하여 서로 다른 복수 개의 특징값 서브셋을 만들고, 복수 개의 학습음원 중 일부를 임의 선별하고 조합하여 만든 복수 개의 학습음원 서브셋을 상기 복수 개의 특징값 서브셋에 분산 할당하고, 각 특징값 서브셋을 이용하여 각 학습음원 서브셋으로부터 추출한 특징값을 이용하여 각 학습음원 서브셋에 대한 특징벡터를 얻은 후 각 학습음원 서브셋에 대한 특징벡터를 각 분류기에 입력하고, 각 분류기의 출력값이 기 정의된 학습음원 선호도에 부합하도록 학습시키는 학습부;를 포함하는 것을 특징으로 하는 음원 평가 장치.
음원의 각 구간별로 추출한 적어도 하나 이상의 특징값들을 입력받고 선호도를 출력하는 적어도 하나 이상의 분류기;
무작위의 음표로 구성되는 복수 개의 제1 평가대상음원을 생성하는 음원생성부; 및
상기 제1 평가대상음원 중 상기 분류기를 통해 파악한 선호도가 일정 이상인 음원들 상호간의 적어도 하나 이상의 구간 교체 또는 음표 변경을 이용하여 복수 개의 제2 평가대상음원을 생성하는 음원진화부;를 포함하고,
상기 음원진화부는, 복수 개의 제N(N은 2 이상의 자연수) 평가대상음원 중 상기 분류기를 통해 파악한 선호도가 일정 이상인 음원들 상호간의 적어도 하나 이상의 구간 교체 또는 음표 변경을 이용하여 복수 개의 제N+1 평가대상음원을 생성하는 과정을 기 정의된 횟수 또는 상기 제N+1 평가대상음원의 선호도가 기 설정된 기준에 도달할 때까지 반복수행하는 것을 특징으로 하는 음원 생성 장치.
제 1항 내지 제 10항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터가 읽을 수 있는 코드를 기록한 컴퓨터로 읽을 수 있는 기록매체.