KR102313549B1

KR102313549B1 - 음원 생성 방법 및 음원 생성 시스템

Info

Publication number: KR102313549B1
Application number: KR1020200186144A
Authority: KR
Inventors: 문중철; 양호영; 황금화; 김강빈
Original assignee: 주식회사 업보트엔터
Priority date: 2020-12-29
Filing date: 2020-12-29
Publication date: 2021-10-15

Abstract

본 발명의 일 기술적 측면에 따른 음원 생성 시스템은, 사용자 단말로부터 제공된 요청을 기초로 자동화된 음원을 생성하여 상기 사용자 단말에게 음원을 제공하는 음원 생성 시스템으로서, 복수 종류로 분류된 악기에 대하여 각각의 악기 마다 특유하게 데이터 구현범위를 설정하고, 피치 특징, 오프셋 특징 및 듀레이션 특징으로 구분되는 복수의 음원 특징을 설정하여 복수의 원시 데이터를 생성하는 원시 데이터 생성부, 상기 복수의 원시 데이터에 포함된 복수의 음원 특징에 대하여 가중치를 부여하고 정규화를 수행하여 전처리를 수행하고, 전처리된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 그룹을 설정하여 군집화를 수행하는 군집화 처리부 및 사용자로부터 키워드를 제공받아 상기 키워드와 연관된 그룹을 선정하고, 선정된 그룹에 포함된 원시 데이터를 이용하여 음원을 생성하는 음원 생성부를 포함 할 수 있다.

Description

음원 생성 방법 및 음원 생성 시스템 {METHOD AND SYSTEM FOR MUSIC GENERATION}

본 발명은 음원 생성 방법 및 음원 생성 시스템에 관한 것이다.

작곡, 즉, 음원을 생성하는 것은 인간의 가장 대표적인 창작적 활동 중의 하나로서, 음악을 창조해내는 행위이다.

이러한 작곡은, 작곡가 섭외 및 받은 음원에 대한 편곡 허용 범위 협의, 표절 여부 확인 등 복잡한 과정이 필요하고, 음원 수급 과정에서 많은 시간과 비용이 발생하는 특수성이 있다.

또한, 음원 의뢰 및 작곡 완성 기간을 일정하게 특정하기 어렵고, 작곡 분야는 음악 전문 지식과 작곡 Tool에 대한 지식이 필요하여 음악 창작 활동에 대한 허들이 높은 문제가 있다.

따라서, 이러한 작곡, 즉, 음원 생성에 있어서 컴퓨팅 디바이스를 이용한 음원 생성기술에 대한 개발이 이루어지고 있다.

종래의 기술로서 한국공개특허공보 제10-2017-0128072호 등이 있으며, 이러한 종래 기술의 경우, 베이스 라인 등을 추출하여 이를 기반으로 음악을 만드는 방식을 이용한다.

그러나, 이러한 종래 기술의 경우, 기존에 존재하는 음원을 뼈대로 일부 변형을 수행하여 음원을 만들게 되므로, 기존의 음원과의 차이점이 크지 않고, 만들 수 있는 음원의 폭이 제한되는 문제점이 있다.

한국공개특허공보 제10-2017-0128072호

본 발명의 일 기술적 측면은 상기한 종래 기술의 문제점을 해결하기 위한 것으로써, 자체적으로 음원에 대하여 복수의 원시 데이터를 생성하여 빅 데이터를 구성하고 이러한 원시 데이터들을 군집화하여 구분하고 그를 기반으로 음원을 생성함으로써, 제한되지 않은 다양한 원시 데이터를 기초로 음원을 생성하므로 매우 다양한 음악을 짧은 시간 내에 적은 비용을 창작할 수 있고, 또한 저작권의 문제로부터 자유로운 음원 생성 방법 및 음원 생성 시스템을 제공하는 것이다.

또한, 본 발명의 일 기술적 측면은, 음원 생성에 사용되는 악기를 6가지로 분류하고 이러한 각각의 악기에 대하여 16가지의 특징 정보를 자유롭게 설정함으로써 생성 가능한 원시 데이터에 대한 제한 없이 구현 가능한 매우 다양한 소리가 원시 데이터로서 적용 가능한 음원 생성 방법 및 음원 생성 시스템을 제공하는 것이다.

또한, 본 발명의 일 기술적 측면은, 사용자가 입력한 키워드를 기초로 해당 키워드와 연관된 음원을 제안하고, 사용자의 피드백에 따라 키워드 음원 영향 항목을 조정하여 사용자의 요구에 적합한 음원을 생성하도록 함으로써, 일반 대중들도 음악적 지식 없이 음원 창작 가능 하고, 빅데이터와 사용자의 감성을 조합하여 트렌디 하면서도 독창성이 있는 곡을 창작 할 수 있는 음원 생성 방법 및 음원 생성 시스템을 제공하는 것이다.

본 발명의 상기 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.

본 발명의 일 기술적 측면은 음원 생성 시스템의 일 실시예를 제안한다. 상기 음원 생성 시스템의 일 실시예는, 사용자 단말로부터 제공된 요청을 기초로 자동화된 음원을 생성하여 상기 사용자 단말에게 음원을 제공하는 음원 생성 시스템으로서, 복수 종류로 분류된 악기에 대하여 각각의 악기 마다 특유하게 데이터 구현범위를 설정하고, 피치 특징, 오프셋 특징 및 듀레이션 특징으로 구분되는 복수의 음원 특징을 설정하여 복수의 원시 데이터를 생성하는 원시 데이터 생성부, 상기 복수의 원시 데이터에 포함된 복수의 음원 특징에 대하여 가중치를 부여하고 정규화를 수행하여 전처리를 수행하고, 전처리된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 그룹을 설정하여 군집화를 수행하는 군집화 처리부 및 사용자로부터 키워드를 제공받아 상기 키워드와 연관된 그룹을 선정하고, 선정된 그룹에 포함된 원시 데이터를 이용하여 음원을 생성하는 음원 생성부를 포함 할 수 있다.

일 실시예에서, 상기 원시 데이터 생성부는, 상기 악기로서, 멜로디, 드럼, 플럭, 베이스, 패드 및 리드를 설정하고, 상기 악기에 대하여, 오프셋 최소 횟수, 오프셋 최대 횟수, 오프셋 한 개당 최소 노트 개수, 오프셋 한 개당 최대 노트 개수, 1개 미디 노트 최소 길이, 1개 미디 노트 최대 길이, 생성할 전체 음정의 옥타브 범위, 최대 도약거리 및 화음과 화음간의 간격을 상기 데이터 구현 범위로서 설정 할 수 있다.

일 실시예에서, 상기 원시 데이터 생성부는, 상기 피치 특징으로서 음정 범위, 첫 음정, 화음 내의 음정간 거리, 단음 피치간 피치거리 및 화음 피치간 피치거리를 설정하고, 상기 오프셋 특징으로서 전체 개수, 1박자 단위 개수, 전체 발생위치, 단음 위치, 화음 위치 및 통일 안된 화음 위치를 설정하고, 상기 듀레이션 특징으로서 전체 합 듀레이션, 솔로 듀레이션의 합, 화음 듀레이션의 합 및 통일 안된 화음 듀레이션을 설정 할 수 있다.

일 실시예에서, 상기 원시 데이터 생성부는, 상기 멜로디, 상기 드럼, 상기 플럭, 상기 베이스, 상기 패드 및 상기 리드에 대하여 각각의 악기 마다 특유하게 상기 오프셋 최소 횟수, 상기 오프셋 최대 횟수, 상기 오프셋 한 개당 최소 노트 개수, 상기 오프셋 한 개당 최대 노트 개수, 상기 1개 미디 노트 최소 길이, 상기 1개 미디 노트 최대 길이, 상기 생성할 전체 음정의 옥타브 범위, 상기 최대 도약거리 및 상기 화음과 화음간의 간격을 설정하는 원시 데이터 설정모듈 및 상기 각각의 악기에 대하여 상기 피치 특징, 상기 오프셋 특징 및 상기 듀레이션 특징의 세부 내용 중 적어도 하나를 다르게 설정하여 복수의 기준 마디를 생성하여 상기 복수의 원시 데이터로서 설정하는 기준마디 생성모듈을 포함 할 수 있다.

일 실시예에서, 상기 군집화 처리부는, 상기 복수의 원시 데이터에 포함된 복수의 음원 특징 중 적어도 일부에 대하여 가중치를 부여하고 상기 복수의 음원 특징을 동일 차원의 데이터로 변경하여 1차 전처리를 수행하는 1차 전처리 모듈, 상기 1차 전처리된 데이터에 대하여 상기 복수의 음원 특징 중 적어도 일부를 기준으로 정규화를 수행하여, 상기 1차 전처리된 데이터를 분류하여 2차 전처리를 수행하는 2차 전처리 모듈 및 2차 전처리 된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 상기 그룹을 설정하여 군집화를 수행하는 군집화 학습 모델을 포함 할 수 있다.

일 실시예에서, 상기 음원 생성부는, 사용자로부터 키워드를 제공받아 상기 키워드와 연관된 그룹을 선정하고, 선정된 그룹에 포함된 원시 데이터를 이용하여 음원을 생성하는 키워드 기반 작곡모듈 및 상기 사용자로부터 레퍼런스 음원을 제공받고, 원시 데이터를 이용하여 상기 레퍼런스 음원과 멜로디 및 반주가 유사한 음원을 생성하는 레퍼런스 기반 작곡모듈을 포함 할 수 있다.

일 실시예에서, 상기 레퍼런스 기반 작곡모듈은, 상기 레퍼런스 음원의 코드, 음정, 박자 및 길이를 기초로 멜로디 유사성을 판단하고, 상기 레퍼런스 음원의 드럼 반주, 드럼 외 반주 및 반주 레퍼런스 기준을 기초로 반주 유사성을 판단 할 수 있다.

본 발명의 일 기술적 측면은 음원 생성 시스템의 다른 일 실시예를 제안한다. 상기 음원 생성 시스템의 다른 일 실시예는, 사용자 단말로부터 제공된 요청을 기초로 자동화된 음원을 생성하여 상기 사용자 단말에게 음원을 제공하는 음원 생성 시스템으로서, 복수 종류로 분류된 악기에 대하여 각각의 악기 마다 특유하게 데이터 구현범위를 설정하고, 피치 특징, 오프셋 특징 및 듀레이션 특징으로 구분되는 복수의 음원 특징을 설정하여 복수의 원시 데이터를 생성하는 원시 데이터 생성부, 상기 복수의 원시 데이터에 포함된 복수의 음원 특징에 대하여 가중치를 부여하고 정규화를 수행하여 전처리를 수행하고, 전처리된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 그룹을 설정하여 군집화를 수행하는 군집화 처리부 및 사용자로부터 레퍼런스 음원을 제공받고, 원시 데이터를 이용하여 상기 레퍼런스 음원과 멜로디 및 반주가 유사한 음원을 생성하는 음원 생성부를 포함 할 수 있다.

일 실시예에서, 상기 원시 데이터 생성부는, 상기 악기 로서, 멜로디, 드럼, 플럭, 베이스, 패드 및 리드를 설정하고, 상기 악기에 대하여, 오프셋 최소 횟수, 오프셋 최대 횟수, 오프셋 한 개당 최소 노트 개수, 오프셋 한 개당 최대 노트 개수, 1개 미디 노트 최소 길이, 1개 미디 노트 최대 길이, 생성할 전체 음정의 옥타브 범위, 최대 도약거리 및 화음과 화음간의 간격을 상기 데이터 구현 범위로서 설정 할 수 있다.

일 실시예에서, 상기 음원 생성부는, 상기 레퍼런스 음원의 코드, 음정, 박자 및 길이를 기초로 멜로디 유사성을 판단하고, 상기 레퍼런스 음원의 드럼 반주, 드럼 외 반주 및 반주 레퍼런스 기준을 기초로 반주 유사성을 판단 할 수 있다.

본 발명의 일 기술적 측면은 음원 생성 방법을 제안한다. 상기 음원 생성 방법은, 사용자 단말로부터 제공된 요청을 기초로 자동화된 음원을 생성하여 상기 사용자 단말에게 음원을 제공하는 음원 생성 시스템에서 수행되는 음원 생성 방법으로서, 복수 종류로 분류된 악기에 대하여 각각의 악기 마다 특유하게 데이터 구현범위를 설정하고, 피치 특징, 오프셋 특징 및 듀레이션 특징으로 구분되는 복수의 음원 특징을 설정하여 복수의 원시 데이터를 생성하는 단계, 상기 복수의 원시 데이터에 포함된 복수의 음원 특징에 대하여 가중치를 부여하고 정규화를 수행하여 전처리를 수행하고, 전처리된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 그룹을 설정하여 군집화를 수행하는 단계 및 사용자로부터 제공된 데이터를 기반으로 상기 원시 데이터를 이용하여 음원을 생성하는 단계를 포함 할 수 있다.

일 실시예에서, 상기 복수의 원시 데이터를 생성하는 단계는, 상기 악기 로서, 멜로디, 드럼, 플럭, 베이스, 패드 및 리드를 설정하는 단계 및 상기 악기에 대하여, 오프셋 최소 횟수, 오프셋 최대 횟수, 오프셋 한 개당 최소 노트 개수, 오프셋 한 개당 최대 노트 개수, 1개 미디 노트 최소 길이, 1개 미디 노트 최대 길이, 생성할 전체 음정의 옥타브 범위, 최대 도약거리 및 화음과 화음간의 간격을 상기 데이터 구현 범위로서 설정하는 단계를 포함 할 수 있다.

일 실시예에서, 상기 복수의 원시 데이터를 생성하는 단계는, 상기 피치 특징으로서, 음정 범위, 첫 음정, 화음 내의 음정간 거리, 단음 피치간 피치거리 및 화음 피치간 피치거리를 설정하는 단계, 상기 오프셋 특징으로서, 전체 개수, 1박자 단위 개수, 전체 발생위치, 단음 위치, 화음 위치 및 통일 안된 화음 위치를 설정하는 단계 및 상기 듀레이션 특징으로서, 전체 합 듀레이션, 솔로 듀레이션의 합, 화음 듀레이션의 합 및 통일 안된 화음 듀레이션을 설정하는 단계를 포함 할 수 있다.

일 실시예에서, 상기 군집화를 수행하는 단계는, 상기 복수의 원시 데이터에 포함된 복수의 음원 특징 중 적어도 일부에 대하여 가중치를 부여하고 상기 복수의 음원 특징을 동일 차원의 데이터로 변경하여 1차 전처리를 수행하는 단계, 상기 1차 전처리된 데이터에 대하여 상기 복수의 음원 특징 중 적어도 일부를 기준으로 정규화를 수행하여, 상기 1차 전처리된 데이터를 분류하여 2차 전처리를 수행하는 단계 및 2차 전처리 된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 상기 그룹을 설정하여 군집화를 수행하는 단계를 포함 할 수 있다.

일 실시예에서, 상기 음원을 생성하는 단계는, 사용자로부터 키워드를 제공받아 상기 키워드와 연관된 그룹을 선정하고, 선정된 그룹에 포함된 원시 데이터를 이용하여 음원을 생성하는 단계 및 상기 사용자로부터 레퍼런스 음원을 제공받고, 원시 데이터를 이용하여 상기 레퍼런스 음원과 멜로디 및 반주가 유사한 음원을 생성하는 단계를 포함 할 수 있다.

일 실시예에서, 상기 레퍼런스 음원과 멜로디 및 반주가 유사한 음원을 생성하는 단계는, 상기 레퍼런스 음원의 코드, 음정, 박자 및 길이를 기초로 멜로디 유사성을 판단하는 단계 및 상기 레퍼런스 음원의 드럼 반주, 드럼 외 반주 및 반주 레퍼런스 기준을 기초로 반주 유사성을 판단하는 단계를 포함 할 수 있다.

상기한 과제의 해결 수단은, 본 발명의 특징을 모두 열거한 것은 아니다. 본 발명의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.

본 발명에 의하면, 자체적으로 음원에 대하여 복수의 원시 데이터를 생성하여 빅 데이터를 구성하고 이러한 원시 데이터들을 군집화하여 구분하고 그를 기반으로 음원을 생성함으로써, 제한되지 않은 다양한 원시 데이터를 기초로 음원을 생성하므로 매우 다양한 음악을 짧은 시간 내에 적은 비용을 창작할 수 있고, 또한 저작권의 문제로부터 자유로운 효과가 있다.

또한, 본 발명에 의하면, 악기를 6가지로 분류하고 이러한 각각의 악기에 대하여 16가지의 특징 정보를 자유롭게 설정함으로써 생성 가능한 원시 데이터에 대한 제한 없이 구현 가능한 매우 다양한 소리가 원시 데이터로서 적용 효과가 있다.

또한, 본 발명에 의하면,사용자가 입력한 키워드를 기초로 해당 키워드와 연관된 음원을 제안하고, 사용자의 피드백에 따라 키워드 음원 영향 항목을 조정하여 사용자의 요구에 적합한 음원을 생성하도록 함으로써, 일반 대중들도 음악적 지식 없이 음원 창작 가능 하고, 빅데이터와 사용자의 감성을 조합하여 트렌디 하면서도 독창성이 있는 곡을 창작 할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 음원 생성 시스템의 일 적용예를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 음원 생성서버의 예시적인 컴퓨팅 운영 환경을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 음원 생성서버를 설명하는 블록 구성도이다.
도 4는 도 3에 도시된 원시 데이터 생성부의 일 실시예를 설명하는 블록 구성도이다.
도 5는 도 3에 도시된 군집화 처리부의 일 실시예를 설명하는 블록 구성도이다.
도 6은 도 3에 도시된 군집화 처리부의 다른 일 실시예를 설명하는 블록 구성도이다.
도 7은 도 3에 도시된 음원 요청 설정부의 일 실시예를 설명하는 블록 구성도이다.
도 8은 도 3에 도시된 음원 생성부의 일 실시예를 설명하는 블록 구성도이다.
도 9는 원시 데이터의 특징 항목에 대한 설명 및 데이터 양식을 예시하는 도면이다.
도 10은 16가지의 특징 항목이 설정된 하나의 원시 데이터의 형식을 예시하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 음원 생성 방법을 설명하는 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다.

그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.

즉, 전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 이하에서 본 발명에 따른 시스템을 설명하기 위하여 다양한 구성요소 및 그의 하부 구성요소에 대하여 설명하고 있다. 이러한 구성요소 및 그의 하부 구성요소들은, 하드웨어, 소프트웨어 또는 이들의 조합 등 다양한 형태로서 구현될 수 있다. 예컨대, 각 요소들은 해당 기능을 수행하기 위한 전자적 구성으로 구현되거나, 또는 전자적 시스템에서 구동 가능한 소프트웨어 자체이거나 그러한 소프트웨어의 일 기능적인 요소로 구현될 수 있다. 또는, 전자적 구성과 그에 대응되는 구동 소프트웨어로 구현될 수 있다.

본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현되거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "부(Unit)", "서버(Server)" 및 "시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 시스템에서 실행되는 각 기능은 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.

본 발명의 실시형태를 설명하기 위하여 다양한 순서도가 개시되고 있으나, 이는 각 단계의 설명의 편의를 위한 것으로, 반드시 순서도의 순서에 따라 각 단계가 수행되는 것은 아니다. 즉, 순서도에서의 각 단계는, 서로 동시에 수행되거나, 순서도에 따른 순서대로 수행되거나, 또는 순서도에서의 순서와 반대의 순서로도 수행될 수 있다.

도 1은 본 발명의 일 실시예에 따른 음원 생성 시스템의 일 적용예를 설명하기 위한 도면이다.

도 1을 참조하면, 사용자는 사용자 단말(100)을 통하여 음원 생성 시스템에 접속할 수 있다. 이하에서는, 음원 생성 시스템이 음원 생성 서버(200)로서 적용된 예를 들어 설명한다.

음원 생성 서버(200)는 사용자로부터 제공된 데이터(예컨대, 생성하고자 하는 음원에 대한 키워드나 레퍼런스 음원 등)를 기초로 음원을 생성하여 사용자 단말(100)에 제공할 수 있다.

음원 생성 서버(200)는 음원 생성에 사용하기 위하여 소정의 데이터(이하, '원시 데이터'라 함)를 자체적으로 생성하고, 이러한 원시 데이터를 빅데이터와 같이 음원 데이터의 기초 데이터로서 활용하여 음원 데이터를 생성할 수 있다.

즉, 음원 생성 서버(200)는 원시 데이터를 직접 생성하고 이를 기반으로 음원 데이터를 생성하므로, 종래의 음원이나 음원의 일부 데이터를 입력받을 필요가 없으며 따라서, 종래에서 사용되어 오던 음악적 문법으로 제한되지 않고 다양한 음원을 생성할 수 있다.

도 1 및 이하에서의 설명에서는 음원 생성 서버(200)가 하나의 서버로 구성되는 것으로 설명하나, 이는 위하여 예시적으로 표현한 것으로서 이에 한정되지 않는다. 따라서, 음원 생성 서버(200)의 일부 기능이 개별적으로 동작하는 서버로 구현되거나, 또는 분산 처리로서 구현되는 등 다양하게 변형하여 실시 가능하다.

도 2는 본 발명의 일 실시예에 따른 음원 생성서버의 예시적인 컴퓨팅 운영 환경을 설명하는 도면이다.

도 2는 음원 생성서버(200)의 실시예들이 구현될 수 있는 적합한 컴퓨팅 환경의 일반적이고 단순화된 설명을 제공하기 위한 것으로, 도 2를 참조하면, 음원 생성서버(200)의 일 예로서 컴퓨팅 장치(300)가 도시된다.

컴퓨팅 장치(300)는 적어도 프로세싱 유닛(303)과 시스템 메모리(301)를 포함할 수 있다.

컴퓨팅 장치(300)는 프로그램을 실행할 때 협조하는 복수의 프로세싱 유닛을 포함할 수도 있다. 컴퓨팅 장치의 정확한 구성 및 유형에 의존하여, 시스템 메모리(301)는 휘발성(예컨대, 램(RAM)), 비휘발성(예컨대, 롬(ROM), 플래시 메모리 등) 또는 이들의 조합일 수 있다. 시스템 메모리(301)는 플랫폼의 동작을 제어하기 위한 적합한 운영 체제(302)를 포함하는데, 예컨대 마이크로소프트사로부터의 WINDOWS 운영체제와 같은 것일 수 있다. 시스템 메모리(301)는 프로그램 모듈, 애플리케이션 등의 같은 하나 이상의 소프트웨어 애플리케이션을 포함할 수도 있다.

컴퓨팅 장치(300)는 자기 디스크, 광학적 디스크, 또는 테이프와 같은 추가적인 데이터 저장 장치(304)를 포함할 수 있다. 이러한 추가적 저장소는 이동식 저장소 및/또는 고정식 저장소 일 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 인스트럭션, 데이터 구조, 프로그램 모듈, 또는 기타 데이터와 같은 저장정보를 위한 임의의 방법이나 기법으로 구현되는 휘발성 및 비휘발성, 이동식 및 고정식 매체를 포함할 수 있다. 시스템 메모리(301), 저장소(304)는 모두 컴퓨터 판독가능 저장 매체의 예시일 뿐이다. 컴퓨터 판독가능 저장 매체는 램(RAM), 롬(ROM), EEPROM, 플래시 메모리 또는 다른 메모리 기법, CD-ROM, DVD 또는 다른 광학적 저장소, 자기 테이프, 자기 디스크 저장소 또는 다른 자기적 저장 장치, 또는 원하는 정보를 저장하고 컴퓨팅 장치(300)에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있는데, 이에 한정되는 것은 아니다.

컴퓨팅 장치의 입력 장치(305), 예컨대 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치, 및 비교 가능한 입력 장치를 포함할 수 있다. 출력 장치(306)는, 예컨대 디스플레이, 스피커, 프린터, 및 다른 유형의 출력 장치가 포함될 수도 있다. 이들 장치는 본 기술분야에서 널리 알려진 것이므로 자세한 설명은 생략한다.

컴퓨팅 장치(300)는 예컨대 분산 컴퓨팅 환경에서의 네트워크, 예컨대, 유무선 네트워크, 위성 링크, 셀룰러 링크, 근거리 네트워크, 및 비교가능한 메커니즘을 통해 장치가 다른 장치들과 통신하도록 허용하는 통신 장치(307)를 포함할 수도 있다. 통신 장치(307)는 통신 매체의 한가지 예시이며, 통신 매체는 그 안에 컴퓨터 판독 가능 인스트럭션, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 포함할 수 있다. 예시적으로, 통신 매체는 유선 네트워크나 직접 유션 접속과 같은 유선 매체, 및 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함하는데, 이에 한정되는 것은 아니다.

음원 생성서버(200) 또는 그의 구성요소는 이러한 컴퓨팅 환경에서 구현되는 기능적 구성으로 설명될 수 있다.

이하에서 도 3 내지 도 8을 참조하여 음원 생성서버(200)의 다양한 실시예들에 대하여 보다 상세히 설명한다.

도 3은 본 발명의 일 실시예에 따른 음원 생성서버를 설명하는 블록 구성도이다.

도 3을 참조하면, 음원 생성서버(200)는 원시 데이터 생성부(210), 군집화 처리부(220), 음원 요청 설정부(230) 및 음원 생성부(240)를 포함할 수 있다.

원시 데이터 생성부(210)는 복수의 악기에 대하여 각각 특유하게 데이터 구현 범위를 설정하고, 각각의 악기에 대하여 다양한 음원 특징을 설정하여 원시 데이터를 생성할 수 있다.

즉, 원시 데이터 생성부(210)는 복수 종류로 분류된 악기에 대하여 각각의 악기 마다 특유하게 데이터 구현범위를 설정하고, 피치 특징, 오프셋 특징 및 듀레이션 특징으로 구분되는 복수의 음원 특징을 설정하여 복수의 원시 데이터를 생성할 수 있다.

원시 데이터 생성부(210)는 악기 로서, 멜로디, 드럼, 플럭, 베이스, 패드 및 리드를 설정할 수 있다.

원시 데이터 생성부(210)는 상기 6개의 악기, 즉, 멜로디, 드럼, 플럭, 베이스, 패드 및 리드에 대하여, 오프셋 최소 횟수, 오프셋 최대 횟수, 오프셋 한 개당 최소 노트 개수, 오프셋 한 개당 최대 노트 개수, 1개 미디 노트 최소 길이, 1개 미디 노트 최대 길이, 생성할 전체 음정의 옥타브 범위, 최대 도약거리 및 화음과 화음간의 간격을 데이터 구현 범위로서 설정할 수 있다

원시 데이터 생성부(210)는 아래의 표 1과 같이, 멜로디 원시 데이터 구현 범위를 설정할 수 있다.

[표 1]

원시 데이터 생성부(210)는 아래의 표 2와 같이, 드럼 원시 데이터 구현 범위를 설정할 수 있다.

[표 2]

원시 데이터 생성부(210)는 아래의 표 3과 같이, 플럭-피아노 플럭의 원시 데이터 구현 범위를 설정할 수 있다.

[표 3]

원시 데이터 생성부(210)는 아래의 표 4와 같이, 플럭-리듬 플럭의 원시 데이터 구현 범위를 설정할 수 있다.

[표 4]

원시 데이터 생성부(210)는 아래의 표 5와 같이, 플럭-섹션 플럭의 원시 데이터 구현 범위를 설정할 수 있다.

[표 5]

원시 데이터 생성부(210)는 아래의 표 6과 같이, 베이스의 원시 데이터 구현 범위를 설정할 수 있다.

[표 6]

원시 데이터 생성부(210)는 아래의 표 7과 같이, 패드의 원시 데이터 구현 범위를 설정할 수 있다.

[표 7]

원시 데이터 생성부(210)는 아래의 표 8과 같이, 리드의 원시 데이터 구현 범위를 설정할 수 있다.

[표 8]

원시 데이터 생성부(210)는 각각의 악기에 대하여 피치 특징, 오프셋 특징 및 듀레이션 특징의 세부 내용 중 적어도 하나를 다르게 설정하여 복수의 기준 마디를 생성하여 복수의 원시 데이터로서 설정할 수 있다.

이하에서는, 기준 마디로서 1마디를 가지는 원시 데이터의 예를 들어 설명하나, 이에 한정되는 것은 아니다. 따라서, 기준마디는 2마디, 4마디 등 다양하게 설정될 수도 있다.

상술한 바와 같이, 1마디(기준 마디)로 구성되는 원시 데이터는 각각의 악기에 대하여, 피치 특징, 오프셋 특징 및 듀레이션 특징의 세부 내용 중 적어도 하나가 다르게 설정될 수 있다.

도 9는 원시 데이터의 특징 항목에 대한 설명 및 데이터 양식을 예시하는 도면으로, 도 9에 예시된 바와 같이, 원시 데이터 생성부(210)는 16가지 특징을 설정할 수 있다. 예컨대, 원시 데이터 생성부(210)는, 피치 특징으로서, 음정 범위(PR, Pitch Range), 첫 음정(PF, Pitch First), 통일된 화음내의 음정간 거리(PD-C), 통일 안 된 화음내의 음정간 거리(PD-EC), 단음 피치간피치거리(PSD, Pitches Solo Distance), 화음 피치간피치거리(PCD, Pitches Chord Distance)를 설정할 수 있다. 원시 데이터 생성부(210)는, 오프셋 특징으로서, 전체 개수(ON, Offset Number), 1박자 단위 개수(OBP, Offsert Bar Pitches), 전체 발생위치(OA, Offset All), 단음 위치(OS, Offset Solo), 화음 위치(OC, Offset Chord), 통일 안된 화음 위치(OEC, Offset Each Chord)를 설정할 수 있다. 원시 데이터 생성부(210)는, 전체 합 듀레이션(DA, Duration All), 솔로 듀레이션의 합(DS, Duration Solo), 화음 듀레이션의 합(DC, Duration Chord) 및 통일 안된 화음 듀레이션(DEC, Duration Each Chord)을 설정할 수 있다.

도 10은 16가지의 특징 항목이 설정된 하나의 원시 데이터의 형식을 예시하는 도면이다. 도 10에 도시된 바와 같이, 각각의 특징 정보 항목에 데이터 값이 설정되며, 도 10의 예와 같이 원시 데이터를 표시할 수 있다.

이와 같이, 원시 데이터 생성부(210)에 의하여 생성되는 원시 데이터는 매우 많은 숫자가 된다. 다만, 이러한 원시 데이터를 음원으로 사용하기 위해서는, 음악적인 연관성을 가지도록 원시 데이터들을 군집화 하여야 한다. 따라서, 군집화 처리부(220)는 원시 데이터 생성부(210)에서 생성된 다수의 원시 데이터를 대상으로 군집화를 수행한다.

군집화 처리부(220)는 복수의 원시 데이터에 포함된 복수의 음원 특징에 대하여 가중치를 부여하고 정규화를 수행하여 전처리를 수행하고, 전처리된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 그룹을 설정하여 군집화를 수행할 수 있다.

일 예로, 군집화 처리부(220)는 멜로디, 드럼, 플럭, 베이스, 패드 및 리드에 대하여 각각의 악기 마다 특유하게 오프셋 최소 횟수, 오프셋 최대 횟수, 오프셋 한 개당 최소 노트 개수, 오프셋 한 개당 최대 노트 개수, 1개 미디 노트 최소 길이, 1개 미디 노트 최대 길이, 생성할 전체 음정의 옥타브 범위, 최대 도약거리 및 화음과 화음간의 간격을 설정할 수 있다. 또한, 군집화 처리부(220)는 각각의 악기에 대하여 피치 특징, 오프셋 특징 및 듀레이션 특징의 세부 내용 중 적어도 하나를 다르게 설정하여 복수의 기준 마디를 생성하여 복수의 원시 데이터로서 설정할 수 있다.

이러한 군집화 처리부(220)에 대해서는 도 5를 참조하여 이하에서 보다 상세히 후술한다.

음원 요청 설정부(230)는 사용자 단말(100)과 연동하여 사용자의 입력에 따라 음원 요청을 설정할 수 있다. 음원 요청 설정부(230)는 생성된 음원 요청을 음원 생성부(240)에 제공하고 음원 생성부(240)는 그러한 요청에 적합한 음원을 생성할 수 있다.

음원 요청 설정부(230)는 키워드 셋을 기 설정하여 구비하고, 사용자에게 키워드 셋을 제공하여 사용자가 원하는 키워드를 설정하도록 하여 사용자 키워드를 설정할 수 있다.

음원 요청 설정부(230)는 설정된 사용자 키워드를 음원 생성부(240)에 제공하고, 음원 생성부(240)는 해당 키워드에 연관된 군집화 데이터를 이용하여 음원을 생성함으로써, 사용자의 요청에 대응되는 음원을 생성하도록 할 수 있다.

또한, 음원 요청 설정부(230)는 사운드 밸런스 정보를 설정할 수 있다.

이러한 음원 요청 설정부(230)에 대해서는 도 7을 참조하여 이하에서 보다 상세히 후술한다.

음원 생성부(240)는 사용자로부터 제공된 상술한 데이터들을 기반으로 원시 데이터를 이용하여 음원을 생성할 수 있다.

일 예로, 음원 생성부(240)는 사용자로부터 키워드를 제공받아 해당 키워드와 연관된 음원을 생성할 수 있다.

다른 예로, 음원 생성부(240)는 사용자로부터 레퍼런스 음원을 제공받고 해당 레퍼런스 음원과 유사한 음악적 특성을 가지는 음원을 생성할 수 있다.

여기에서, 레퍼런스 음원은 저작권 이슈가 해결된 음원을 의미한다. 또한, 이하 및 본 명세서에서 의미하는 레퍼런스 음원은 저작권 이슈가 해결된 음원을 의미한다.

이하, 도 4 내지 도 8을 참조하여, 음원 생성 서버의 각 구성요소들의 다양한 실시예들에 대하여 설명한다.

도 4는 도 3에 도시된 원시 데이터 생성부의 일 실시예를 설명하는 블록 구성도이다.

도 4를 참조하면, 원시 데이터 생성부(210)는 원시 데이터 설정모듈(211) 및 기준마디 생성모듈(212)을 포함할 수 있다.

원시 데이터 설정모듈(211)은 악기로서, 멜로디, 드럼, 플럭, 베이스, 패드 및 리드를 설정하고, 상기 6개의 악기에 대하여, 오프셋 최소 횟수, 오프셋 최대 횟수, 오프셋 한 개당 최소 노트 개수, 오프셋 한 개당 최대 노트 개수, 1개 미디 노트 최소 길이, 1개 미디 노트 최대 길이, 생성할 전체 음정의 옥타브 범위, 최대 도약거리 및 화음과 화음간의 간격을 데이터 구현 범위로서 설정할 수 있다

기준마디 생성모듈(212)은 각각의 악기에 대하여 피치 특징, 오프셋 특징 및 듀레이션 특징의 세부 내용 중 적어도 하나를 다르게 설정하여 복수의 기준 마디를 생성하여 복수의 원시 데이터로서 설정할 수 있다. 이에 대해서는 표 1 내지 표 8을 참조하여 설명한 바로부터 쉽게 이해할 수 있다.

즉, 기준마디 생성모듈(212)은 각각의 악기에 대하여 피치 특징, 오프셋 특징 및 듀레이션 특징의 세부 내용 중 적어도 하나를 다르게 설정하여 복수의 기준 마디를 생성하여 복수의 원시 데이터로서 설정할 수 있다.

도 5는 도 3에 도시된 군집화 처리부의 일 실시예를 설명하는 블록 구성도이다.

도 5를 참조하면, 군집화 처리부(220)는 1차 전처리 모듈(221), 2차 전처리 모듈(222) 및 군집화 학습 모델(223)을 포함할 수 있다.

1차 전처리 모듈(221)은 원시 데이터 생성부(210)에서 생성한 다수의 원시 데이터에 대하여 1차 전처리를 수행한다.

즉, 1차 전처리 모듈(221)은 복수의 원시 데이터에 포함된 복수의 음원 특징 중 적어도 일부에 대하여 가중치를 부여하고 복수의 음원 특징을 동일 차원의 데이터로 변경하여 1차 전처리를 수행할 수 있다.

예컨대, 1차 전처리 모듈(221)은 음원 특징 중 1차원이 아닌 형태로 설정된 항목들을 1차원 데이터로 변경하여 전처리를 수행할 수 있다. 예컨대, 어느 음원 특징이 한 쌍의 값(즉, 2차원 데이터)으로 표현되는 경우, 해당 한 쌍의 값을 1차원 데이터로 변경할 수 있다. 이는, 음원 특징에 대한 학습이 용이하도록, 모든 음원 특징이 동일 차원의 데이터로 표현되도록 하기 위함이다.

또한, 1차 전처리 모듈(221)은 복수의 음원 특징 중 적어도 일부에 대하여 가중치를 부여할 수 있다.

1차 전처리 모듈(221)은 악기에 따라 다르게 가중치를 설정할 수 있다. 즉, 전술한 바와 같이, 악기는 멜로디, 드럼, 플럭, 베이스, 패드 및 리드로 구성되는 6가지로 구분될 수 있고, 1차 전처리 모듈(221)은 악기에 따라 전술한 16가지의 특징에 대하여 각각 다르게 가중치를 설정할 수 있다.

2차 전처리 모듈(222)은 1차 전처리된 데이터에 대하여 정규화를 수행하여 분류를 수행할 수 있다.

즉, 2차 전처리 모듈(222)은 1차 전처리된 데이터에 대하여 복수의 음원 특징 중 적어도 일부를 기준으로 정규화를 수행하여 2차 전처리를 수행할 수 있다. 이러한 2차 전처리는 기계 학습에 유리한 데이터 형식을 가지도록 하기 위함이다.

따라서, 군집화 학습 모델(223)은 이러한 2차 전처리가 완료된 데이터를 대상으로 학습을 수행할 수 있다.

군집화 학습 모델(223)은 전처리된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 그룹을 설정하여 군집화를 수행할 수 있다.

여기에서, 군집화 학습 모델(223)에서 사용하는 학습 모델에 대해서는 특별히 한정하지 않는다. 즉, 군집화 학습 모델(223)은 K-means, DBSCAN, Hierarchical clustering 등 다양한 학습 알고리즘을 활용할 수 있으며, 실시예에 따라 복수의 학습 알고리즘을 구비하고 그 중에서 알고리즘을 선택하여 학습을 수행할 수행할 수도 있다.

도 6은 도 3에 도시된 군집화 처리부의 다른 일 실시예를 설명하는 블록 구성도이다.

도 6을 참조하면, 군집화 처리부(220)는 1차 전처리 모듈(221), 2차 전처리 모듈(222), 군집화 학습 모델(223) 및 피드백 설정모듈(224)을 포함할 수 있다.

1차 전처리 모듈(221) 내지 군집화 학습 모델(223)에 대해서는 도 5를 참조하여 상술한 바로부터 쉽게 이해할 수 있으므로, 여기서는 그 설명을 생략한다.

피드백 설정모듈(224)은 군집화된 각 그룹에 대한 피드백을 설정할 수 있다. 예컨대, 피드백 설정모듈(224)은 사전에 설정된 사용자(예컨대, 작곡가)로부터 군집화된 각 그룹에 대한 피드백을 설정할 수 있다.

일 실시예에서, 피드백 설정모듈(224)은 군집화된 원시 데이터의 각 그룹마다 대표 원시 데이터를 설정하고, 대표 원시 데이터를 사전에 설정된 사용자에게 제공하고 사전에 설정된 사용자가 설정한 해당 대표 원시 데이터에 대한 키워드를 해당 그룹의 키워드로서 설정할 수 있다.

예컨대, 피드백 설정모듈(224)은 군집화된 원시 데이터의 각 그룹마다 해당 그룹을 구성하는 복수의 원시 데이터들의 악기 별로 상술한 특징 항목의 평균값을 산출하고, 산출된 평균값에 가장 근접한 특징항목 값을 가지는 어느 하나의 원시 데이터를 상술한 대표 원시 데이터로 설정할 수 있다.

따라서, 선정되는 대표 원시 데이터는, 해당 그룹의 악기 별 특징항목의 중앙값에 가장 가까우므로, 해당 그룹에 대한 키워드를 보다 정확하게 설정하도록 할 수 있다.

도 7은 도 3에 도시된 음원 요청 설정부의 일 실시예를 설명하는 블록 구성도이다.

도 7을 참조하면, 음원 요청 설정부(230)는 키워드 입력모듈(231) 및 음원 조건 설정모듈(232)을 포함할 수 있다.

음원 요청 설정부(230)는 사용자 단말(100)과 연동하여 사용자의 입력에 따라 음원 요청을 설정할 수 있다.

키워드 입력모듈(231)은 키워드 셋을 기 설정하여 구비하고, 사용자에게 키워드 셋을 제공하여 사용자가 원하는 키워드를 설정하도록 하여 사용자 키워드를 설정할 수 있다.

일 실시예에서, 키워드 입력모듈(231)은 장르에 대한 제1 키워드 셋, 분위기에 대한 제2 키워드 셋, 빠르기에 대한 제3 키워드 셋, 대표 키워드에 대한 제4 키워드 셋를 순차적으로 사용자에게 제공하고, 사용자가 순차적으로 선택한 키워드들로 사용자 키워드를 설정할 수 있다.

일 예로, 키워드 입력모듈(231)은 장르에 대한 제1 키워드 셋으로, 팝 Pop, 댄스 Dance, 힙합 Hiphop, 일렉트로니카 Electronica, 얼터너티브/인디 Alternative/Indie, 발라드 Ballad, 알앤비 R&B, 컨츄리 Country, 락 Rock, 레게 Reggae, 블루스 Blues, 라틴 Latin, 재즈 Jazz, 동요 Children's song, 트로트 Trot, 뉴에이지 Newage, 클래식 Classic, 기타 ETC 총 18개의 키워드를 포함할 수 있다.

일 예로, 키워드 입력모듈(231)은, 분위기에 대한 제2 키워드 셋으로, 가벼운 Light, 귀여운 Cute, 그루비한 Groovy, 꿈꾸는 듯한 Dreaming, 느긋한 Chill, 느린 Slow, 달콤한 Sweet, 따듯한 Warm, 레트로한 Retro, 로맨틱 Romantic, 리드미컬한 Rhythmical, 매력적인 Fancy, 무거운 Heavy, 부드러운 Soft, 블루지한 Bluesy, 사랑스러운 Lovely, 섹시한 Sexy, 슬픈 Sad, 신나는 Funky, 열정적인 Energetic, 예민한 Sensitive, 우울한 Depressed, 울적한 Gloomy, 위풍당당한 Majestic, 자신감있는 confident, 조용한 Calm, 즐거운 Joyful, 춤추고싶은 Danceable, 터프한 Tough, 트로피컬한 Tropical, 편안한 Comfortable, 행복한 Happy, 환상적인 Fantastic, 흥분된 Extied, 힘이 넘치는 Powerful, 감성적인 Emotional, 밝은 Bright, 어두운 Dark 총 38개의 키워드를 포함할 수 있다.

키워드 입력모듈(231)은 사용자에 의하여 설정된 사용자 키워드를 음원 생성부(240)에 제공하고, 음원 생성부(240)는 해당 키워드에 연관된 군집화 데이터를 이용하여 음원을 생성함으로써, 사용자의 요청에 대응되는 음원을 생성하도록 할 수 있다.

음원 조건 설정모듈(232)은 사용자의 입력을 기초로 생성하고자 하는 음원에 대한 기본 설정 및 상세 설정을 설정할 수 있다. 기본 설정은, 음원의 빠르기(BPM, Bit Per Minite), 재생시간, 밝기(장조, 단조) 및 멜로디에 대한 사용자의 입력값으로 설정될 수 있다. 상세 설정은 악기 대분류(예컨대, 피아노, 말렛 등)와 악기 세부 사운드(예컨대, 대분류가 피아노의 경우, 그랜드 피아노, 어쿠스틱 피아노 등)를 설정하도록 할 수 있다.

표 9는 음원 조건 설정모듈(232)에서 설정하는 기본 설정의 일 예를, 표 10은 음원 조건 설정모듈(232)에서 설정하는 상세설정의 일 예를 도시한다.

[표 9]

[표 10]

음원 조건 설정모듈(232)은 그외에도 사운드 밸런스 정보를 설정할 수 있으며, 표 11은 음원 조건 설정모듈(232)에서 설정하는 사운드 밸런스 정보의 일 예를 도시한다.

[표 11]

도 8은 도 3에 도시된 음원 생성부의 일 실시예를 설명하는 블록 구성도이다.

도 8을 참조하면, 음원 생성부(240)는 키워드 기반 작곡모듈(241) 및 레퍼런스 기반 작곡모듈(242)를 포함할 수 있다.

키워드 기반 작곡모듈(241)은 사용자가 입력한 키워드를 이용하여 음원을 생성하고, 레퍼런스 기반 작곡모듈(242)은 사용자가 입력한 레퍼런스 곡을 이용하여 음원을 생성한다.

키워드 기반 작곡모듈(241)은 사용자로부터 키워드를 제공받아 해당 키워드와 연관된 음원을 생성할 수 있다. 즉, 키워드 기반 작곡모듈(241)은 사용자로부터 키워드를 제공받아 키워드와 연관된 원시 데이터 그룹을 선정하고, 선정된 원시 데이터 그룹에 포함된 원시 데이터를 이용하여 음원을 생성할 수 있다.

레퍼런스 기반 작곡모듈(242)은 사용자로부터 레퍼런스 음원을 제공받고 해당 레퍼런스 음원과 유사한 음악적 특성을 가지는 음원을 생성할 수 있다. 즉, 음원 생성부(240)는 사용자로부터 레퍼런스 음원을 제공받고, 원시 데이터를 이용하여 레퍼런스 음원과 멜로디 및 반주가 유사한 음원을 생성할 수 있다.

일 실시예에서, 레퍼런스 기반 작곡모듈(242)은, 멜로디 유사성 및 반주 유사성을 설정하고, 해당 유사성의 범위 내에서 원시 데이터를 조합하여 음원을 생성할 수 있다.

레퍼런스 기반 작곡모듈(242)은 레퍼런스 음원의 코드, 음정, 박자 및 길이를 기초로 멜로디 유사성을 설정하는 멜로디 유사성 설정유닛(미도시)와, 레퍼런스 음원의 드럼 반주, 드럼 외 반주 및 반주 레퍼런스 기준을 기초로 반주 유사성을 판단하는 반주유사성 설정유닛(미도시)을 이용하여 레퍼런스 음원과 유사한 음원을 생성할 수 있다.

표 12는 레퍼런스 기반 작곡모듈(242)에서 설정하는 멜로디 레퍼런스 기준의 일 예를 도시하는 표이다.

[표 12]

표 12에 도시된 바와 같이, 레퍼런스 기반 작곡모듈(242)는 레퍼런스 음원의 코드, 음정, 박자, 길이, 기타 요소에 대하여 분석하고, 해당 요소들과 유사한 특징을 가지는 원시 데이터를 선별하여 음원을 생성함으로써 레퍼런스 음원과 유사한 음원을 생성할 수 있다.

또한, 레퍼런스 기반 작곡모듈(242)은 각각의 요소에 대한 유사도 가중치를 두어 원시 데이터의 선별을 수행할 수 있다. 즉, 표 12에 대하여 박자는 30%의 유사도 가중치를, 음정은 10%의 유사도 가중치가 설정되며, 따라서, 레퍼런스 기반 작곡모듈(242)은 레퍼런스 음원(레퍼런스 음원의 특정 마디)와 박자 유사도가 높은 원시데이터를 선별하게 된다.

예컨대, 레퍼런스 음원의 첫 마디와 비교시, A 원시 데이터는 음정 50% 유사, 박자 30% 유사라고 가정하고, B 원시 데이터는 음정 30% 유사, 박자 50% 유사라고 가정하자. 레퍼런스 기반 작곡모듈(242)이 표 12의 유사도 가중치를 부여하여 계산하면, A 원시 데이터는 음정에 대하여 5% (50% 유사도 x 10% 가중치), 박자에 대하여 9%(30% 유사도 x 30% 가중치)를 합산하여 총 14%의 가중된 유사도를 가진다. 반면, B 원시 데이터는 음정에 대하여 3% (30% 유사도 x 10% 가중치), 박자에 대하여 15%(50% 유사도 x 30% 가중치)를 합산하여 총 18%의 가중된 유사도를 가진다. 따라서, 레퍼런스 기반 작곡모듈(242)은 레퍼런스 음원의 첫마디에 대응하여 B 원시 데이터를 선정할 수 있다. 이와 같이, 레퍼런스 음원의 각 마디에 대응되는 원시 데이터를 설정함으로써 레퍼런스 음원과 유사한 음원을 생성할 수 있다.

이상에서는 도 1 내지 도 10을 참조하여, 음원 생성 시스템의 다양한 실시예들에 대하여 설명하였다.

이하에서는, 도 11을 참조하여, 본 발명의 일 실시예에 따른 음원 생성 방법에 대하여 설명한다.

이하에서 설명할 음원 생성 방법은, 도 1 내지 도 10을 참조하여 설명한 음원 생성 시스템을 기초로 수행되므로, 도 1 내지 도 10을 참조하여 기 설명한 내용으로부터 보다 쉽게 이해할 수 있다.

도 11은 본 발명의 일 실시예에 따른 음원 생성 방법을 설명하는 순서도이다.

도 11을 참조하면, 음원 생성 서버(200)는 복수 종류로 분류된 악기에 대하여 각각의 악기 마다 특유하게 데이터 구현범위를 설정하고, 피치 특징, 오프셋 특징 및 듀레이션 특징으로 구분되는 복수의 음원 특징을 설정하여 복수의 원시 데이터를 생성할 수 있다(S1110).

음원 생성 서버(200)는 복수의 원시 데이터에 포함된 복수의 음원 특징에 대하여 정규화를 수행하여 전처리를 수행하고, 전처리된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 그룹을 설정하여 군집화를 수행할 수 있다(S1120).

음원 생성 서버(200)는 사용자로부터 제공된 데이터를 기반으로 상기 원시 데이터를 이용하여 음원을 생성할 수 있다(S1130).

단계 S1110에 대한 일 실시예에서, 음원 생성 서버(200)는, 악기 로서, 멜로디, 드럼, 플럭, 베이스, 패드 및 리드를 설정하는 단계 및 악기에 대하여, 오프셋 최소 횟수, 오프셋 최대 횟수, 오프셋 한 개당 최소 노트 개수, 오프셋 한 개당 최대 노트 개수, 1개 미디 노트 최소 길이, 1개 미디 노트 최대 길이, 생성할 전체 음정의 옥타브 범위, 최대 도약거리 및 화음과 화음간의 간격을 상기 데이터 구현 범위로서 설정하는 단계를 수행할 수 있다.

단계 S1110에 대한 일 실시예에서, 음원 생성 서버(200)는, 상기 피치 특징으로서, 음정 범위, 첫 음정, 화음 내의 음정간 거리, 단음 피치간 피치거리 및 화음 피치간 피치거리를 설정하는 단계, 상기 오프셋 특징으로서, 전체 개수, 1박자 단위 개수, 전체 발생위치, 단음 위치, 화음 위치 및 통일 안된 화음 위치를 설정하는 단계 및 상기 듀레이션 특징으로서, 전체 합 듀레이션, 솔로 듀레이션의 합, 화음 듀레이션의 합 및 통일 안된 화음 듀레이션을 설정하는 단계를 수행할 수 있다.

단계 S1120에 대한 일 실시예에서, 음원 생성 서버(200)는, 복수의 원시 데이터에 포함된 복수의 음원 특징 중 적어도 일부에 대하여 가중치를 부여하고 복수의 음원 특징을 동일 차원의 데이터로 변경하여 1차 전처리를 수행하는 단계, 1차 전처리된 데이터에 대하여 복수의 음원 특징 중 적어도 일부를 기준으로 정규화를 수행하여, 1차 전처리된 데이터를 분류하여 2차 전처리를 수행하는 단계 및 2차 전처리 된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 그룹을 설정하여 군집화를 수행하는 단계를 수행할 수 있다.

단계 S113에 대한 일 실시예에서, 음원 생성 서버(200)는, 사용자로부터 키워드를 제공받아 키워드와 연관된 그룹을 선정하고, 선정된 그룹에 포함된 원시 데이터를 이용하여 음원을 생성하는 단계 및 사용자로부터 레퍼런스 음원을 제공받고, 원시 데이터를 이용하여 레퍼런스 음원과 멜로디 및 반주가 유사한 음원을 생성하는 단계를 수행할 수 있다.

여기에서, 레퍼런스 음원과 멜로디 및 반주가 유사한 음원을 생성하기 위하여, 음원 생성 서버(200)는, 레퍼런스 음원의 코드, 음정, 박자 및 길이를 기초로 멜로디 유사성을 판단하는 단계 및 레퍼런스 음원의 드럼 반주, 드럼 외 반주 및 반주 레퍼런스 기준을 기초로 반주 유사성을 판단하는 단계를 수행할 수 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.

100 : 사용자 단말 200 : 음원 생성 서버
210 : 원시 데이터 생성부 220 : 군집화 처리부
230 : 음원 요청 설정부 240 : 음원 생성부
211 : 원시 데이터 설정모듈 212 : 기준마디 생성모듈
221 : 1차 전처리 모듈 222 : 2차 전처리 모듈
223 : 군집화 학습모델 224 : 피드백 설정모듈
231 : 키워드 입력모듈 232 : 음원조건 설정모듈
241 : 키워드 기반 작곡모듈 242 : 레퍼런스 기반 작곡모듈
301 : 시스템 메모리 302 : 운영체제
303 : 프로세싱 유닛 304 : 저장소
305 : 입력장치 306 : 출력장치
307 : 통신장치

Claims

사용자 단말로부터 제공된 요청을 기초로 자동화된 음원을 생성하여 상기 사용자 단말에게 음원을 제공하는 음원 생성 시스템으로서,
복수 종류로 분류된 악기에 대하여 각각의 악기 마다 특유하게 데이터 구현범위를 설정하고, 피치 특징, 오프셋 특징 및 듀레이션 특징으로 구분되는 복수의 음원 특징을 설정하여 복수의 원시 데이터를 생성하는 원시 데이터 생성부;
상기 복수의 원시 데이터에 포함된 복수의 음원 특징에 대하여 가중치를 부여하고 정규화를 수행하여 전처리를 수행하고, 전처리된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 그룹을 설정하여 군집화를 수행하는 군집화 처리부; 및
사용자로부터 키워드를 제공받아 상기 키워드와 연관된 그룹을 선정하고, 선정된 그룹에 포함된 원시 데이터를 이용하여 음원을 생성하는 음원 생성부;
를 포함하는 것을 특징으로 하는 음원 생성 시스템.
제1항에 있어서,
상기 원시 데이터 생성부는,
상기 악기 로서, 멜로디, 드럼, 플럭, 베이스, 패드 및 리드를 설정하고,
상기 악기에 대하여, 오프셋 최소 횟수, 오프셋 최대 횟수, 오프셋 한 개당 최소 노트 개수, 오프셋 한 개당 최대 노트 개수, 1개 미디 노트 최소 길이, 1개 미디 노트 최대 길이, 생성할 전체 음정의 옥타브 범위, 최대 도약거리 및 화음과 화음간의 간격을 상기 데이터 구현 범위로서 설정하는 것
을 특징으로 하는 음원 생성 시스템.
제2항에 있어서,
상기 원시 데이터 생성부는,
피치 특징으로서,
음정 범위, 첫 음정, 화음 내의 음정간 거리, 단음 피치간 피치거리 및 화음 피치간 피치거리를 설정하고,
오프셋 특징으로서,
전체 개수, 1박자 단위 개수, 전체 발생위치, 단음 위치, 화음 위치 및 통일 안된 화음 위치를 설정하고,
듀레이션 특징으로서,
전체 합 듀레이션, 솔로 듀레이션의 합, 화음 듀레이션의 합 및 통일 안된 화음 듀레이션을 설정하는 것
을 특징으로 하는 음원 생성 시스템.
제3항에 있어서,
상기 원시 데이터 생성부는,
상기 멜로디, 상기 드럼, 상기 플럭, 상기 베이스, 상기 패드 및 상기 리드에 대하여 각각의 악기 마다 특유하게 상기 오프셋 최소 횟수, 상기 오프셋 최대 횟수, 상기 오프셋 한 개당 최소 노트 개수, 상기 오프셋 한 개당 최대 노트 개수, 상기 1개 미디 노트 최소 길이, 상기 1개 미디 노트 최대 길이, 상기 생성할 전체 음정의 옥타브 범위, 상기 최대 도약거리 및 상기 화음과 화음간의 간격을 설정하는 원시 데이터 설정모듈; 및
상기 각각의 악기에 대하여 상기 피치 특징, 상기 오프셋 특징 및 상기 듀레이션 특징의 세부 내용 중 적어도 하나를 다르게 설정하여 복수의 기준 마디를 생성하여 상기 복수의 원시 데이터로서 설정하는 기준마디 생성모듈;
을 포함하는 것을 특징으로 하는 음원 생성 시스템.
제1항에 있어서,
상기 군집화 처리부는,
상기 복수의 원시 데이터에 포함된 복수의 음원 특징을 동일 차원의 데이터로 변경하고, 상기 복수의 음원 특징 중 적어도 일부에 대하여 가중치를 부여하여 1차 전처리를 수행하는 1차 전처리 모듈;
상기 1차 전처리된 데이터에 대하여 상기 복수의 음원 특징 중 적어도 일부를 기준으로 정규화를 수행하여, 상기 1차 전처리된 데이터를 분류하여 2차 전처리를 수행하는 2차 전처리 모듈; 및
2차 전처리 된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 상기 그룹을 설정하여 군집화를 수행하는 군집화 학습 모델;
을 포함하는 것을 특징으로 하는 음원 생성 시스템.
제5항에 있어서,
상기 음원 생성부는,
사용자로부터 키워드를 제공받아 상기 키워드와 연관된 그룹을 선정하고, 선정된 그룹에 포함된 원시 데이터를 이용하여 음원을 생성하는 키워드 기반 작곡모듈; 및
상기 사용자로부터 레퍼런스 음원을 제공받고, 원시 데이터를 이용하여 상기 레퍼런스 음원과 멜로디 및 반주가 유사한 음원을 생성하는 레퍼런스 기반 작곡모듈;
을 포함하는 것을 특징으로 하는 음원 생성 시스템.
제6항에 있어서,
상기 레퍼런스 기반 작곡모듈은,
상기 레퍼런스 음원의 코드, 음정, 박자 및 길이를 기초로 멜로디 유사성을 판단하고,
상기 레퍼런스 음원의 드럼 반주, 드럼 외 반주 및 반주 레퍼런스 기준을 기초로 반주 유사성을 판단하는 것
을 특징으로 하는 음원 생성 시스템.
사용자 단말로부터 제공된 요청을 기초로 자동화된 음원을 생성하여 상기 사용자 단말에게 음원을 제공하는 음원 생성 시스템으로서,
복수 종류로 분류된 악기에 대하여 각각의 악기 마다 특유하게 데이터 구현범위를 설정하고, 피치 특징, 오프셋 특징 및 듀레이션 특징으로 구분되는 복수의 음원 특징을 설정하여 복수의 원시 데이터를 생성하는 원시 데이터 생성부;
상기 복수의 원시 데이터에 포함된 복수의 음원 특징에 대하여 가중치를 부여하고 정규화를 수행하여 전처리를 수행하고, 전처리된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 그룹을 설정하여 군집화를 수행하는 군집화 처리부; 및
사용자로부터 레퍼런스 음원을 제공받고, 원시 데이터를 이용하여 상기 레퍼런스 음원과 멜로디 및 반주가 유사한 음원을 생성하는 음원 생성부;
를 포함하는 것을 특징으로 하는 음원 생성 시스템.
제8항에 있어서,
상기 원시 데이터 생성부는,
상기 악기로서, 멜로디, 드럼, 플럭, 베이스, 패드 및 리드를 설정하고,
상기 악기에 대하여, 오프셋 최소 횟수, 오프셋 최대 횟수, 오프셋 한 개당 최소 노트 개수, 오프셋 한 개당 최대 노트 개수, 1개 미디 노트 최소 길이, 1개 미디 노트 최대 길이, 생성할 전체 음정의 옥타브 범위, 최대 도약거리 및 화음과 화음간의 간격을 상기 데이터 구현 범위로서 설정하는 것
을 특징으로 하는 음원 생성 시스템.
제9항에 있어서, 상기 원시 데이터 생성부는,
상기 피치 특징으로서,
음정 범위, 첫 음정, 화음 내의 음정간 거리, 단음 피치간 피치거리 및 화음 피치간 피치거리를 설정하고,
상기 오프셋 특징으로서,
전체 개수, 1박자 단위 개수, 전체 발생위치, 단음 위치, 화음 위치 및 통일 안된 화음 위치를 설정하고,
상기 듀레이션 특징으로서,
전체 합 듀레이션, 솔로 듀레이션의 합, 화음 듀레이션의 합 및 통일 안된 화음 듀레이션을 설정하는 것
을 특징으로 하는 음원 생성 시스템.
제8항에 있어서,
상기 음원 생성부는,
상기 레퍼런스 음원의 코드, 음정, 박자 및 길이를 기초로 멜로디 유사성을 판단하고,
상기 레퍼런스 음원의 드럼 반주, 드럼 외 반주 및 반주 레퍼런스 기준을 기초로 반주 유사성을 판단하는 것
을 특징으로 하는 음원 생성 시스템.
사용자 단말로부터 제공된 요청을 기초로 자동화된 음원을 생성하여 상기 사용자 단말에게 음원을 제공하는 음원 생성 시스템에서 수행되는 음원 생성 방법으로서,
복수 종류로 분류된 악기에 대하여 각각의 악기 마다 특유하게 데이터 구현범위를 설정하고, 피치 특징, 오프셋 특징 및 듀레이션 특징으로 구분되는 복수의 음원 특징을 설정하여 복수의 원시 데이터를 생성하는 단계;
상기 복수의 원시 데이터에 포함된 복수의 음원 특징에 대하여 정규화를 수행하여 전처리를 수행하고, 전처리된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 그룹을 설정하여 군집화를 수행하는 단계; 및
사용자로부터 제공된 데이터를 기반으로 상기 원시 데이터를 이용하여 음원을 생성하는 단계;
를 포함하는 것을 특징으로 하는 음원 생성 방법.
제12항에 있어서,
상기 복수의 원시 데이터를 생성하는 단계는,
상기 악기 로서, 멜로디, 드럼, 플럭, 베이스, 패드 및 리드를 설정하는 단계; 및
상기 악기에 대하여, 오프셋 최소 횟수, 오프셋 최대 횟수, 오프셋 한 개당 최소 노트 개수, 오프셋 한 개당 최대 노트 개수, 1개 미디 노트 최소 길이, 1개 미디 노트 최대 길이, 생성할 전체 음정의 옥타브 범위, 최대 도약거리 및 화음과 화음간의 간격을 상기 데이터 구현 범위로서 설정하는 단계;
를 포함하는 것을 특징으로 하는 음원 생성 방법.
제13항에 있어서,
상기 복수의 원시 데이터를 생성하는 단계는,
상기 피치 특징으로서, 음정 범위, 첫 음정, 화음 내의 음정간 거리, 단음 피치간 피치거리 및 화음 피치간 피치거리를 설정하는 단계;
상기 오프셋 특징으로서, 전체 개수, 1박자 단위 개수, 전체 발생위치, 단음 위치, 화음 위치 및 통일 안된 화음 위치를 설정하는 단계; 및
상기 듀레이션 특징으로서, 전체 합 듀레이션, 솔로 듀레이션의 합, 화음 듀레이션의 합 및 통일 안된 화음 듀레이션을 설정하는 단계;
를 포함하는 것을 특징으로 하는 음원 생성 방법.
제12항에 있어서,
상기 군집화를 수행하는 단계는,
상기 복수의 원시 데이터에 포함된 복수의 음원 특징 중 적어도 일부에 대하여 가중치를 부여하고 상기 복수의 음원 특징을 동일 차원의 데이터로 변경하여 1차 전처리를 수행하는 단계;
상기 1차 전처리된 데이터에 대하여 상기 복수의 음원 특징 중 적어도 일부를 기준으로 정규화를 수행하여, 상기 1차 전처리된 데이터를 분류하여 2차 전처리를 수행하는 단계; 및
2차 전처리 된 데이터를 대상으로 학습 모델을 구축하여 음악적 유사성을 기준으로 상기 그룹을 설정하여 군집화를 수행하는 단계;
를 포함하는 것을 특징으로 하는 음원 생성 방법.
제12항에 있어서,
상기 음원을 생성하는 단계는,
사용자로부터 키워드를 제공받아 상기 키워드와 연관된 그룹을 선정하고, 선정된 그룹에 포함된 원시 데이터를 이용하여 음원을 생성하는 단계; 및
상기 사용자로부터 레퍼런스 음원을 제공받고, 원시 데이터를 이용하여 상기 레퍼런스 음원과 멜로디 및 반주가 유사한 음원을 생성하는 단계;
를 포함하는 것을 특징으로 하는 음원 생성 방법.
제16항에 있어서,
상기 레퍼런스 음원과 멜로디 및 반주가 유사한 음원을 생성하는 단계는,
상기 레퍼런스 음원의 코드, 음정, 박자 및 길이를 기초로 멜로디 유사성을 판단하는 단계; 및
상기 레퍼런스 음원의 드럼 반주, 드럼 외 반주 및 반주 레퍼런스 기준을 기초로 반주 유사성을 판단하는 단계;
를 포함하는 것을 특징으로 하는 음원 생성 방법.