KR101970878B1 - 작곡 과정별 히스토리를 이용한 자동 작곡 방법 및 장치 - Google Patents

Abstract

작곡 과정별 히스토리를 이용한 자동 작곡 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 자동 작곡 방법은 사용자 입력을 통해 작곡 과정 단계별 각각의 정보를 수신하는 단계; 기존 작곡들 각각에 대해 미리 저장된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물로부터 상기 수신된 작곡 과정 단계별 각각의 정보에 대응하는 결과물들을 검색하는 단계; 및 상기 검색된 결과물들에 기초하여 자동으로 작곡을 수행하는 단계를 포함한다.

Description

작곡 과정별 히스토리를 이용한 자동 작곡 방법 및 장치 {Automatic Composition Method Using Composition Processing History and Apparatus Therefor}

본 발명은 작곡 과정별 히스토리를 이용한 자동 작곡 기술에 관한 것으로서, 보다 구체적으로 작곡된 곡들의 작곡 과정별 히스토리와 작곡 과정별 각각의 결과물을 이용하여 작곡을 자동으로 수행할 수 있는 자동 작곡 방법 및 장치에 관한 것이다.

작곡, 즉 곡의 창작은 본래 인간의 정신적 활동의 결과로서 이루어지는 것으로, 이러한 인간의 사상이나 감정을 표현하는 창작물을 인간의 정신 활동이 배제된 자동 작곡 방법으로 구현할 수 있는 것인가에 대해서는 많은 의구심이 제기되어 온 것이 사실이다.

즉, 인간의 머리 속에서 이루어지는 작곡의 과정을 최대한 유사하게 컴퓨터 프로그램 등으로 구현한다고 하여도, 감정이나 사상 등에서 시발되어 나오는 모티브 등을 실체화하는 단계는 상기 프로세스만으로 해결할 수 없는 부분이며, 이른바 '영혼 없는 음악'은 고사하고, 실제 사람들이 '음악'이라고 받아들일 수 있는 수준의 곡을 창작하는 것 조차 쉽지 않은 일이었던 것이다.

그러나, 음악에 대한 요구 또한 상당히 다양하며, 예술 영역의 작곡까지는 아니더라도, 현대 사회의 시장 상황에서 다양한 필요성에 부합하는 다양한 수준의 음악이 존재하며, 특정 수준의 음악을 사람의 정신적 노력을 배제하거나 최소화한 상태로 만들 수 있다면, 이 또한 문화 산업적으로 의미를 가질 수 있다.

최근 각종 오디션 프로그램의 증가 추세와 더불어 전문적인 교육을 받지 않더라도 취미, 흥미 위주의 작곡(또는 작사)를 하는 경우가 증가하고 있다.

따라서, 비전공자, 비숙련자 등 전문가가 아니더라도 자동으로 작곡(또는 작사)을 수행할 수 있는 방법의 필요성이 대두된다.

본 발명의 실시예들은, 작곡된 곡들의 작곡 과정별 히스토리와 작곡 과정별 각각의 결과물을 이용하여 작곡을 자동으로 수행할 수 있는 자동 작곡 방법 및 장치를 제공한다.

본 발명의 일 실시예에 따른 자동 작곡 방법은 사용자 입력을 통해 작곡 과정 단계별 각각의 정보를 수신하는 단계; 기존 작곡들 각각에 대해 미리 저장된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물로부터 상기 수신된 작곡 과정 단계별 각각의 정보에 대응하는 결과물들을 검색하는 단계; 및 상기 검색된 결과물들에 기초하여 자동으로 작곡을 수행하는 단계를 포함한다.

상기 수신하는 단계는 상기 사용자 입력을 통해 사용자의 감성, 기분, 날씨, 환경, 분위기 및 심리 상태 중 적어도 하나를 포함하는 정성적인 입력 조건을 수신하며, 상기 작곡을 수행하는 단계는 상기 검색된 결과물들에 상기 정성적인 입력 조건을 반영하여 자동으로 작곡을 수행할 수 있다.

상기 작곡을 수행하는 단계는 상기 검색된 결과물들을 이용하여 베이스라인을 작곡하는 단계; 상기 작곡된 베이스라인과 미리 저장된 작곡들을 비교하여 표절 부분을 수정하는 단계; 및 상기 정성적인 입력 조건을 반영하여 편곡을 수행하는 단계를 포함할 수 있다.

상기 표절 부분을 수정하는 단계는 코드 유지, 리듬 유지, 주요음 제거, 주요음 변경 및 주요 패턴 변경 중 적어도 하나를 포함하는 멜로디 변형을 통해 상기 표절 부분을 수정하거나, 멜로디 노트 유지 및 리듬 변형 중 적어도 하나를 통해 상기 표절 부분을 수정할 수 있다.

상기 작곡을 수행하는 단계는 상기 검색된 결과물들에 대하여, 상기 정성적인 입력 조건에 기초하여 우선 순위를 설정하고, 상기 우선 순위가 설정된 결과물들에 기초하여 상기 작곡을 수행할 수 있다.

나아가, 본 발명의 일 실시예에 따른 자동 작곡 방법은 상기 작곡이 수행되면 상기 사용자에 의해 작곡된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물을 데이터베이스에 업데이트하는 단계를 더 포함할 수 있다.

상기 검색하는 단계는 상기 기존 작곡들 각각에 대해 미리 저장된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물에 대한 학습을 이용하여 상기 수신된 작곡 과정 단계별 각각의 정보에 대응하는 결과물들을 검색할 수 있다.

본 발명의 일 실시예에 따른 자동 작곡 장치는 사용자 입력을 통해 작곡 과정 단계별 각각의 정보를 수신하는 수신부; 기존 작곡들 각각에 대해 미리 저장된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물로부터 상기 수신된 작곡 과정 단계별 각각의 정보에 대응하는 결과물들을 검색하는 검색부; 및 상기 검색된 결과물들에 기초하여 자동으로 작곡을 수행하는 작곡부를 포함한다.

상기 수신부는 상기 사용자 입력을 통해 사용자의 감성, 기분, 날씨, 환경, 분위기 및 심리 상태 중 적어도 하나를 포함하는 정성적인 입력 조건을 수신하며, 상기 작곡부는 상기 검색된 결과물들에 상기 정성적인 입력 조건을 반영하여 자동으로 작곡을 수행할 수 있다.

상기 작곡부는 상기 검색된 결과물들을 이용하여 베이스라인을 작곡하고, 상기 작곡된 베이스라인과 미리 저장된 작곡들을 비교하여 표절 부분을 수정하며, 상기 정성적인 입력 조건을 반영하여 편곡을 수행할 수 있다.

상기 작곡부는 코드 유지, 리듬 유지, 주요음 제거, 주요음 변경 및 주요 패턴 변경 중 적어도 하나를 포함하는 멜로디 변형을 통해 상기 표절 부분을 수정하거나, 멜로디 노트 유지 및 리듬 변형 중 적어도 하나를 통해 상기 표절 부분을 수정할 수 있다.

상기 작곡부는 상기 검색된 결과물들에 대하여, 상기 정성적인 입력 조건에 기초하여 우선 순위를 설정하고, 상기 우선 순위가 설정된 결과물들에 기초하여 상기 작곡을 수행할 수 있다.

나아가, 본 발명의 일 실시예에 따른 자동 작곡 장치는 상기 작곡이 수행되면 상기 사용자에 의해 작곡된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물을 데이터베이스에 업데이트하는 업데이트부를 더 포함할 수 있다.

상기 검색부는 상기 기존 작곡들 각각에 대해 미리 저장된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물에 대한 학습을 이용하여 상기 수신된 작곡 과정 단계별 각각의 정보에 대응하는 결과물들을 검색할 수 있다.

본 발명의 실시예들에 따르면, 작곡된 곡들의 작곡 과정별 히스토리와 작곡 과정별 각각의 결과물을 이용하여 작곡을 자동으로 수행할 수 있다.

본 발명의 실시예들에 따르면, 작곡된 곡들의 작곡 과정별 히스토리와 작곡 과정별 각각의 결과물을 이용하여 작곡을 자동으로 수행할 수 있기 때문에 비전공자, 비숙련자 등 전문가가 아니더라도 작곡을 수행할 수 있다.

본 발명의 실시예들에 따르면, 작곡 과정별 히스토리와 이에 대한 결과물 뿐만 아니라 작곡을 수행하는 사용자의 심리 상태 또는 정서 상태를 반영하여 작곡을 수행함으로써, 사용자의 심리 상태 또는 정서 상태에 따른 작곡을 자동으로 수행할 수 있다. 즉, 본 발명은 사용자의 요구에 따라 기존 곡의 재창조가 가능하고 다양한 뉘앙스, 분위기, 그루브 등을 반영한 작곡을 용이하게 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 자동 작곡 방법에 대한 동작 흐름도를 나타낸 것이다.
도2는 도 1에 도시된 단계 S130에 대한 일 실시예에 따른 동작 흐름도를 나타낸 것이다.
도 3은 본 발명에 따른 방법을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4내지 도 6은 작곡 변형에 대한 예시도들을 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 자동 작곡 장치에 대한 구성을 나타낸 것이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

본 발명의 실시예들은, 작곡된 곡들의 작곡 과정별 히스토리와 작곡 과정별 각각의 결과물을 이용하여 작곡을 자동으로 수행하는 것을 그 요지로 한다.

여기서, 본 발명은 사용자의 감성, 기분, 날씨, 환경, 분위기 및 심리 상태 등을 포함하는 정성적인 입력 조건을 반영하여 작곡을 수행할 수 있으며, 정성적인 입력 조건은 사용자에 의해 설정 또는 입력된 작곡 과정별 각각의 정보를 통해 검색된 결과물들에 정성적인 입력 조건을 반영함으로써, 사용자의 정성적인 입력 조건에 대응하는 작곡을 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 자동 작곡 방법에 대한 동작 흐름도를 나타낸 것이고, 도 3은 본 발명에 따른 방법을 설명하기 위한 일 예시도를 나타낸 것이다.

도 1과 도 3을 참조하면, 본 발명의 일 실시예에 따른 자동 작곡 방법은 사용자 입력을 통해 작곡 과정 단계별 각각의 정보와 정성적인 입력 조건을 수신한다(S110).

여기서, 단계 S110에 의해 수신되는 정성적인 입력 조건은 사용자의 감성, 기분, 날씨, 소음, 조도, 분위기 및 심리 상태 중 적어도 하나 이상을 포함할 수 있으며, 작곡 과정별 각각의 정보는 멜로디, 화성, 코드, 리듬, 비트, 템포, 선율, 뉘앙스(톤, 음길이, 셈여림 등) 및 그루브 등에 대한 정보를 포함할 수 있다.

예를 들어, 사용자가 여름 해변의 밝고 신나는 기분을 표현하는 곡을 작곡하고자 하는 경우 밝음, 신남, 여름, 해변, 경쾌함 등과 같은 키워드를 초기 입력 조건으로 수신할 수도 있다.

단계 S110의 정성적인 입력 조건 중 날씨, 소음, 조도 등과 같은 환경 조건은 별도로 구비된 센서들을 이용하여 센싱함으로써, 사용자의 정성적인 입력 조건에 대한 정보를 제공할 수도 있다.

즉, 단계 S110은 사용자가 작곡을 수행하기 위한 초기 입력 조건을 수신하는 과정으로, 사용자의 심리 상태를 포함하는 조건과 작곡하고자 하는 곡의 멜로디, 화성, 코드, 리듬, 비트, 뉘앙스, 그루브와 같은 작곡 과정별(또는 단계별) 정보를 수신할 수 있다. 물론, 단계 S110은 작곡 과정별 모든 단계에 대한 정보를 수신할 수도 있고, 적어도 하나의 작곡 과정에 대한 정보를 수신할 수도 있다.

즉, 사용자는 정성적인 입력 조건을 입력하고, 곡의 작곡 과정에 대해 잘 모르는 경우라도 작곡 과정에 대한 정보 중 적어도 하나를 입력함으로써, 후술한 본 발명에 따른 방법을 이용하여 작곡을 수행할 수 있다. 이와 같이, 본 발명은 작곡에 대한 전문적인 지식이 없는 상태라도 작곡을 수행하기 위한 초기 조건만을 입력함으로써, 작곡을 수행할 수 있으며, 이에 대해 상세히 설명한다.

단계 S110에 의해 사용자의 정성적인 입력 조건 및 작곡 과정별 각각의 정보가 사용자 입력을 통해 수신되면, 기존 작곡들에 대해 미리 저장된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 각각에 대한 결과물로부터 수신된 작곡 과정별 각각의 정보에 대응하는 결과물들을 검색한다(S120).

여기서, 단계 S120은 도 3에 도시된 바와 같이, 본 발명에 따른 방법에 의해 작곡된 기존 작곡들 그리고 상황에 따라 외부로부터 수신된 작곡들에 대한 초기 입력 조건, 작곡 과정별 히스토리, 작곡들 각각의 정보를 이용하여 미리 분류되어 생성된 테이블들로부터 사용자 입력을 통해 수신된 작곡 과정별 각각의 정보 또는 정성적인 입력 조건에 대응하는 결과물들을 검색할 수 있다.

이 때, 데이터베이스는 기존 작곡들, 기존 작곡들에 대한 정보, 작곡 이론, 기존 작곡들에 대하여, 미리 정해진 기준에 의해 분류된 테이블들 예를 들어, 장르별 분류 테이블, 감성적 분류 테이블, 계절별 분류 테이블, 작곡가별 분류 테이블, 가수별 분류 테이블, 유행별 분류 테이블, 악기별 분류 테이블, 계절별 분류 테이블, 음색별 분류 테이블, 리듬별 분류 테이블, 작곡 단계별 분류 테이블 등을 포함할 수 있다. 물론, 데이터베이스에 저장된 데이터는 본 발명에 따른 방법을 통해 작곡이 수행되는 경우 각각의 분류 테이블에 저장되는 데이터가 업데이트될 수 있다.

즉, 단계 S120은 사용자 입력을 통해 입력된 초기 입력 조건에 대응하는 결과물들을 데이터베이스에 저장된 데이터로부터 검색하여 자동으로 작곡을 수행하기 위한 결과물들을 검색한다.

여기서, 단계 S120은 미리 설정된 우선 순위 예를 들어, 초기 입력 조건에서 사용자 또는 해당 방법에서 결정된 기준의 우선 순위에 기초하여 우선 순위의 테이블들로부터 초기 입력 조건에 대응하는 결과물들을 검색할 수 있다. 물론, 우선 순위는 사용자가 작곡 시 중요하게 생각하는 기준에 기초하여 결정될 수도 있고, 사용자의 설정 조건과 작곡 시의 중요한 요소들을 반영함으로써, 결정될 수도 있다.

단계 S120에 의해 초기 입력 조건에 대응하는 결과물들이 검색되면, 검색된 결과물들에 사용자의 정성적인 입력 조건을 반영하여 자동으로 작곡을 수행한다(S130).

여기서, 단계 S130은 단계 S120에 의해 검색된 결과물들을 이용하여 작곡을 수행할 때, 최신 작곡들에 대한 트렌드(trend)를 반영하거나, 표절을 방지하거나 사용자의 정성적인 입력 조건을 반영함으로써, 작곡 예를 들어, 스케치 작곡을 수행할 수 있으며, 이렇게 작곡된 결과물은 악보 또는 파일로 제공될 수 있다.

그리고, 단계 S130에 의해 최종 작곡 결과물이 생성되면, 사용자에 의해 입력된 정성적인 입력 조건, 작곡 과정별 각각의 히스토리, 작곡 과정 단계별 결과물 그리고 최종 결과물을 이용하여 데이터베이스에 저장된 데이터를 업데이트한다.

이와 같이, 본 발명에 따른 방법은 사용자에 의해 입력된 작곡 과정 단계별 각각에 대한 정보에 기초하여 작곡 과정 단계별 정보에 대응하는 결과물들을 검색하고, 검색된 결과물들에 사용자의 정성적인 입력 조건을 반영함으로써, 감성, 기분, 날씨, 환경, 분위기 등과 정성적인 입력 조건에 따라 사용자가 원하는 뉘앙스와 그루브를 표현하는 작곡을 수행할 수 있다.

단계 S130에서 작곡을 수행하는 과정을 도 2를 참조하여 상세히 설명하면 다음과 같다.

도2는 도 1에 도시된 단계 S130에 대한 일 실시예에 따른 동작 흐름도를 나타낸 것으로, 도 2에 도시된 바와 같이, 작곡을 수행하는 단계(S130)는 단계 S120에 의해 검색된 결과물들을 이용하여 베이스라인을 작곡하는 1차 작곡을 수행한다(S210).

단계 S210의 1차 작곡에 의해 베이스라인이 작곡되면, 작곡된 베이스라인과 미리 저장된 작곡들 예를 들어, 본 발명에 의해 생성된 기존 작곡들과 이미 작곡된 작곡들을 비교하여 표절 부분을 확인하고, 표절 부분이 확인되면 확인된 표절 부분을 수정함으로써, 2차 작곡을 수행한다(S220).

여기서, 단계 S220은 멜로디 변형, 리듬 변형 및 코드 변형 중 적어도 하나의 변형을 통해 표절 부분을 수정할 수 있는데, 멜로디 변형은 코드 유지, 리듬 유지, 주요음 제거, 주요음 변경 및 주요 패턴 변경 중 적어도 하나를 포함할 수 있으며, 리듬 변형은 멜로디 노트 유지 및 리듬 변형(장르적 분류 테이블을 참조하여 리듬을 변형할 수 있음) 중 적어도 하나를 포함할 수 있다.

예컨대, 단계 S220은 표절 부분에 대한 리듬 변형 시 밝고 경쾌한 느낌을 많이 주는 스윙(Swing) 스타일로 리듬 변형을 수행할 수 있는데, 리듬 변형 시 아래 표 1에 나타낸 바와 같이, 리듬 변형을 위한 참고자료 곡을 이용할 수 있다.

	참고자료 곡
	스윙 스타일 1
	스윙 스타일 2
	스윙 스타일 3
	스윙 스타일 4

일 예로, 표 1에 도시된 스윙 스타일 중 해변의 경쾌한 느낌과 통통 튀는 느낌이 표현된 스타일을 선택하고자 하는 경우 스윙 스타일의 4곡 중에서 스윙 스타일 3을 선택함으로써, 표절 부분의 리듬 변형을 수행할 수 있다.

마지막으로, 단계 S220에 의해 표절 부분이 수정되면 표절 부분이 수정된 2차 작곡에 대해 사용자의 정성적인 입력 조건을 반영하여 편곡을 수행함으로써, 3차 작곡을 수행하여 최종 작곡 결과물을 생성한다(S230).

여기서, 단계 S230은 표절 부분이 수정된 2차 작곡에 대하여 트렌드, 감성, 분위기, 정서 등 사용자 조건에 적합한 편곡을 수행할 수 있다.

예를 들어, 단계 S220에서 표절 부분의 리듬 변형을 통해 선택된 스윙 스타일 3을 사용자의 입력 조건과 트렌드, 감성, 분위기, 정서 등에 적합하게 뉘앙스(tone, 음길이, 셈여림 등을 포함)와 그루브 등을 보완함으로써, 최종 작곡 결과물을 생성할 수 있다.

이러한 본 발명에 따른 방법은 데이터베이스 자료를 다양한 기준으로 분류한 테이블을 활용하여 사용자의 작곡 과정 단계별 각각의 정보와 사용자의 정성적인 입력 조건 예를 들어, 감성, 기분, 날씨, 환경, 분위기, 심리상태 등에 적합한 뉘앙스와 그루브를 표현하는 작곡을 자동으로 수행할 수 있다.

또한, 본 발명에 따른 방법은 상황에 따라 고전적인 작곡 이론과 정형화된 코드 전개 방식 등을 패키지, 모듈, 음절 형태로 제공함으로써, 자동으로 작곡을 수행하는데 용이함을 제공할 수도 있다.

또한, 본 발명에 따른 방법은 단독 악기부터 밴드, 오케스트라 등 정형화된 악기 조합부터 사용자에 의한 다양한 세션의 조합도 가능할 수 있으며, 빅데이터로 구성된 데이터베이스를 활용하는 경우 영화, 드라마 등 영상 콘텐츠에 사용된 음악을 참고자료로 사용하여 사용자의 감성, 기분 등 심리적인 상태를 반영한 작곡을 수행할 수도 있다.

나아가, 본 발명에 따른 방법은 빅데이터로 구성된 데이터베이스를 활용하는 경우 영화, 드라마 등 영상 콘텐츠에 사용된 음악을 참고자료로 사용하여 영상 장면의 배경음, OST 등 영상 콘텐츠에 적용 가능한 형태로 초안 작곡이 가능할 수도 있다.

이와 같이, 본 발명에 따른 방법은 작곡된 곡들의 작곡 과정별 히스토리와 작곡 과정별 각각의 결과물을 이용하여 작곡을 자동으로 수행할 수 있기 때문에 비전공자, 비숙련자 등 전문가가 아니더라도 작곡을 수행할 수 있으며, 작곡 과정별 히스토리와 이에 대한 결과물 뿐만 아니라 작곡을 수행하는 사용자의 심리 상태 또는 정서 상태를 반영하여 작곡을 수행함으로써, 사용자의 심리 상태 또는 정서 상태에 따른 작곡을 자동으로 수행할 수 있다. 즉, 본 발명은 사용자의 요구에 따라 기존 곡의 재창조가 가능하고 다양한 뉘앙스, 분위기, 그루브 등을 반영한 작곡을 용이하게 할 수 있다.

또한, 본 발명에 따른 방법은 데이터베이스에 저장된 데이터로부터 초기 입력 조건에 대응하는 결과물을 검색하는데 있어서, DNN(deep neural network), CNN(convolutional neural network)와 같은 학습망을 이용한 기계 학습이나 인공 지능을 이용할 수도 있다. 예를 들어, 데이터베이스에 저장된 데이터를 학습망을 이용하여 학습함으로써, 초기 입력 조건 예를 들어, 작곡 과정 단계별 각각에 대한 정보, 정성적인 입력 조건 각각을 입력으로 하는 학습을 통해 초기 입력 조건 각각과 이에 대한 결과물들을 학습할 수 있으며, 이렇게 학습된 정보를 이용하여 사용자로부터 입력된 초기 입력 조건에 대응하는 결과물들을 검색할 수 있다.

일 예로, 본 발명은 DNN을 이용하여 데이터베이스에 저장된 작곡 과정 단계별 각각의 정보와 이에 대한 결과물에 대해 학습함으로써, 사용자로부터 작곡 과정 단계별 각각의 정보가 입력되면 입력된 작곡 과정 단계별 각각의 정보에 대응하는 결과물들을 학습망을 통해 검색할 수 있고, 이를 통해 각 단계에서 어떻게 작곡할지 의사 결정할 수 있다.

다른 일 예로, 본 발명은 DNN을 이용하여 데이터베이스에 저장된 정성적인 입력 조건 각각과 이에 대한 결과물들을 학습함으로써, 사용자로부터 작곡 과정 단계별 각각의 정보 뿐만 아니라 정성적인 입력 조건이 입력되면 입력된 초기 입력 조건에 대응하는 결과물들을 학습망을 통해 검색할 수 있고, 이를 통해 정성적인 입력 조건과 각 단계에서 어떻게 작곡할지 의사 결정할 수 있으며, 나아가 DNN을 이용하여 데이터베이스에 저장된 작곡 과정 단계별 각각의 정보와 이에 대한 결과물에 대해 학습과 정성적인 입력 조건 각각과 이에 대한 결과물에 대한 학습을 독립적으로 구현함으로써, 사용자로부터 작곡 과정 단계별 각각의 정보가 입력되면 입력된 작곡 과정 단계별 각각의 정보에 대응하는 결과물들을 학습망을 통해 검색하고, 사용자로부터 입력된 정성적인 입력 조건에 대한 학습 정보를 반영하여, 작곡을 수행할 수도 있다.

즉, 본 발명에 따른 방법은 작곡 과정 단계별 정보에 대한 결과물과 정성적인 입력 조건에 대한 검색 결과물 그리고 검색 결과물에 대한 정성적인 입력 조건 반영을 통해 수행되는 최종 작곡 결과물 등에 대하여, DNN 등을 포함하는 학습망을 이용한 학습을 통해 수행할 수 있다. 물론, 상술한 바와 같이, DNN과 같은 학습망을 이용하는 것으로 설명하였지만, 이에 한정하지 않으며 학습 알고리즘을 이용할 수도 있으며, 학습 알고리즘은 본 발명에 적용할 수 있는 모든 종류의 학습 알고리즘을 이용할 수 있다.

또한, 본 발명은 데이터베이스에 저장된 데이터의 학습을 통해 정성적인 입력 조건 예를 들어, 감성, 기분, 날씨, 환경, 분위기 및 심리상태 등에서 각각 어떤 음악 또는 소리를 좋아하고 어떤 음악 또는 소리에 어떻게 반응하는지에 대한 정보를 학습할 수도 있다.

도 4내지 도 6은 작곡 변형에 대한 예시도들을 나타낸 것으로, 작곡 변형에 대한 예를 설명하면 다음과 같다.

도4는 도 4a에 도시된 'Let it be'를 발랄한 느낌으로 변형하는 과정을 나타낸 것으로, 스케치 초벌을 위해서 비틀즈의 명곡 'Let it be'를 예제로 한 멜로디 변형 작곡법을 실행한 것이며, 도 4b 내지 도4d의 단계를 걸쳐서 진행된 것이다.

여기서, 각 단계의 작곡과정은 마지막 작곡 형태를 위해 거쳐 가는 단계로 볼 수도 있지만 각각의 단계를 독립적으로 사용할 수도 있다.

도 4b는 첫 번째 단계로, 도 4a의 원곡에서 리듬은 그대로 하고 멜로디만 차분한 느낌으로 변형한 것이며, 붉은 표시 부분은 주요 노트(note)를 나타낸 것이다.

도 4c는 경쾌한 느낌으로 변형하기 위하여, 주요 음만 사용한 리듬 변형에 대한 것으로, 주요음으로 멜로디를 변형하고 다른 패턴으로 변형한 예를 나타낸 것이며, 붉은 표시 부분은 주요 노트(note)를 나타낸 것이다.

도 4d는 주요 음을 사용하고 6/8박자로 변경함으로써, 발랄한 느낌으로 변형한 예를 나타낸 것이며, 붉은 표시 부분은 주요 노트(note)를 나타낸 것이다.

도5는 멜로디 변형의 예를 나타낸 것으로, 도 5a에 도시된 평이한 4분 음표의 멜로디인 오리지널 멜로디를 도 5b에 도시된 바와 같이, 8분 쉼표를 추가하고 두 번째, 세 번째 마디 멜로디를 싱코페이션(syncopation)(당김음) 시킴으로써, 재즈적인 느낌으로 변형시킬 수 있다.

또한, 도 5c에 도시된 바와 같이, 음을 8분음표로 나뉘어 당기고 싱코페이션을 추가 시킴으로써, 다른 재즈적인 느낌으로 변형시킬 수도 있다.

또한, 도 5d에 도시된 바와 같이, 2분쉼표와 8분음표 멜로디를 사용함으로써, 멜로디의 리듬 위치를 변화시키고 이를 통해 경쾌한 느낌으로 변형시킬 수도 있다.

또한, 도 5e에 도시된 바와 같이, 점4분 음표와 2분음표를 사용하여 멜로디를 늘림으로써, 멜로디의 리듬 위치를 변화시키고 이를 통해 늘어지는 느낌으로 변형시킬 수도 있다.

도 6은 멜로디 변형과 코드 변형을 이용한 작곡 변형의 예를 나타낸 것으로, 도 6a에 도시된 비틀즈의 명곡 "Imagine"을 이용하여 변경한 예를 나타낸 것이다.

여기서, 도 6의 경우 I-IV의 단순한 코드진행과 쉬운 멜로디라인으로 인하여 아주 많은 변형이 나올 수 있으며, 도 6b 내지 도 6d는 "Imagine" 원곡을 팝이나 재즈에서 대표적으로 많이 쓰이는 II-V-I 코드진행으로 코드를 변형하고, 그에 맞게 멜로디도 변형한 예를 나타낸 것이다.

도 6b는 5마디째부터 진행되는 코드진행이 어두운 느낌을 줌으로써, "Imagine" 원곡을 우울하고 어두운 느낌으로 멜로디와 코드 변형한 예를 나타낸 것이다.

도 6c는 쉼표와 반복적인 멜로디 리듬이 경쾌한 느낌을 줌으로써, "Imagine" 원곡을 경쾌하고 리드미컬한 느낌으로 멜로디와 코드 변형한 예를 나타낸 것이다.

도 6d는 멜로디의 진행이 자연을 연상케 하는 느낌을 줌으로써, "Imagine" 원곡을 차분하고 자연적인 느낌으로 멜로디 변형한 예를 나타낸 것이다.

도 7은 본 발명의 일 실시예에 따른 자동 작곡 장치에 대한 구성을 나타낸 것으로, 상술한 도 1 내지 도6의 방법을 수행하는 장치에 대한 개념적인 구성을 나타낸 것이다.

도 7을 참조하면, 본 발명에 따른 자동 작곡 장치(700)는 수신부(710), 검색부(720), 작곡부(730), 업데이트부(740) 및 데이터베이스(750)를 포함한다.

데이터베이스(750)는 본 발명과 관련된 모든 데이터를 저장하는 구성 수단으로, 기존 작곡들, 기존 작곡들에 대한 정보, 작곡 이론, 기존 작곡들에 대하여, 미리 정해진 기준에 의해 분류된 테이블들 예를 들어, 장르별 분류 테이블, 감성적 분류 테이블, 계절별 분류 테이블, 작곡가별 분류 테이블, 가수별 분류 테이블, 유행별 분류 테이블, 악기별 분류 테이블, 계절별 분류 테이블, 음색별 분류 테이블, 리듬별 분류 테이블, 작곡 단계별 분류 테이블 등을 포함할 수 있다.

여기서, 데이터베이스(750)는 사용자에 의해 곡이 수행되는 경우 각각의 분류 테이블에 저장되는 데이터가 업데이트부에 의해 업데이트될 수 있다.

수신부(710)는 사용자 입력을 통해 작곡 과정 단계별 각각의 정보를 수신한다.

여기서, 수신부(710)는 사용자 입력을 통해 사용자의 감성, 기분, 날씨, 환경, 분위기 및 심리 상태 중 적어도 하나를 포함하는 정성적인 입력 조건을 수신할 수도 있다.

예를 들어, 수신부(710)는 사용자 입력을 통해 사용자의 심리 상태를 포함하는 조건과 작곡하고자 하는 곡의 멜로디, 화성, 코드, 리듬, 비트, 뉘앙스, 그루브와 같은 작곡 과정별(또는 단계별) 정보를 수신할 수 있다.

검색부(720)는 기존 작곡들 각각에 대해 데이터베이스에 미리 저장된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물로부터 수신된 작곡 과정 단계별 각각의 정보에 대응하는 결과물들을 검색한다.

여기서, 검색부(720)는 초기 입력 조건에서 사용자에 의해 설정되거나 본 발명에서 미리 정해진 기준의 우선 순위에 기초하여 데이터베이스에 저장된 테이블들 중 우선 순위의 테이블들로부터 초기 입력 조건에 대응하는 결과물들을 검색할 수도 있다.

작곡부(730)는 검색된 결과물들에 기초하여 자동으로 작곡을 수행한다.

여기서, 작곡부(730)는 검색된 결과물들에 사용자의 정성적인 입력 조건을 반영하여 자동으로 작곡을 수행할 수 있다.

구체적으로, 작곡부(730)는 검색된 결과물들을 이용하여 베이스라인을 작곡하고, 작곡된 베이스라인과 미리 저장된 작곡들을 비교하여 표절 부분을 수정한 후 사용자의 정성적인 입력 조건을 반영하여 편곡을 수행함으로써, 최종 작곡 결과물을 생성할 수 있다.

이 때, 작곡부(730)는 표절 부분을 수정하는데 있어서, 코드 유지, 리듬 유지, 주요음 제거, 주요음 변경 및 주요 패턴 변경 중 적어도 하나를 포함하는 멜로디 변형을 통해 표절 부분을 수정할 수도 있고, 멜로디 노트 유지 및 리듬 변형 중 적어도 하나를 통해 표절 부분을 수정할 수도 있다.

나아가, 작곡부(730)는 검색부(720)에 의해 검색된 결과물들에 대하여, 사용자의 정성적인 입력 조건에 기초하여 우선 순위를 설정하고, 우선 순위가 설정된 결과물들에 기초하여 작곡을 수행할 수도 있다. 물론, 이러한 우선 순위는 작곡을 수행할 때 사용될 수도 있지만, 이에 한정되지 않으며 상술한 바와 같이 결과물을 검색하는데 있어서 사용될 수도 있다.

업데이트부(740)는 작곡이 수행되면 사용자에 의해 작곡된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물을 데이터베이스에 업데이트한다.

여기서, 업데이트부(740)는 사용자에 의해 입력된 정성적인 입력 조건, 작곡 과정별 각각의 히스토리, 작곡 과정 단계별 결과물 그리고 최종 결과물을 이용하여 데이터베이스에 저장된 데이터를 업데이트할 수 있다.

비록, 도 7의 자동 작곡 장치에서 그 설명을 생략하였더라도, 본 발명에 따른 자동 작곡 장치는 상술한 도 1 내지 도6에 기재된 모든 내용을 포함할 수 있으며, 이러한 사실은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

1. 사용자 입력을 통해 작곡 과정 단계별 각각의 정보를 수신하는 단계;
   기존 작곡들 각각에 대해 미리 저장된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물로부터 상기 수신된 작곡 과정 단계별 각각의 정보에 대응하는 결과물들을 검색하는 단계; 및
   상기 검색된 결과물들에 기초하여 자동으로 작곡을 수행하는 단계
   를 포함하고,
   상기 수신하는 단계는
   상기 사용자 입력을 통해 사용자의 감성, 기분, 날씨, 환경, 분위기 및 심리 상태 중 적어도 하나를 포함하는 정성적인 입력 조건을 수신하며,
   상기 작곡을 수행하는 단계는
   상기 검색된 결과물들을 이용하여 베이스라인을 작곡하는 단계;
   상기 작곡된 베이스라인과 미리 저장된 작곡들을 비교하여 표절 부분을 수정하는 단계; 및
   상기 정성적인 입력 조건을 반영하여 편곡을 수행하는 단계
   를 포함하고,
   상기 검색하는 단계는
   상기 사용자에 의해 미리 설정된 설정 조건과 작곡 시 미리 설정된 중요 요소들을 반영하여 검색 우선 순위를 결정하며, 상기 결정된 검색 우선 순위에 기초하여 상기 결과물들을 검색하고,
   상기 편곡을 수행하는 단계는
   상기 표절 부분이 수정된 작곡에 대하여 상기 정성적인 입력 조건을 반영하여 뉘앙스와 그루부를 보완함으로써, 상기 편곡을 수행하는 자동 작곡 방법.
   
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 표절 부분을 수정하는 단계는
   코드 유지, 리듬 유지, 주요음 제거, 주요음 변경 및 주요 패턴 변경 중 적어도 하나를 포함하는 멜로디 변형을 통해 상기 표절 부분을 수정하거나, 멜로디 노트 유지 및 리듬 변형 중 적어도 하나를 통해 상기 표절 부분을 수정하는 것을 특징으로 하는 자동 작곡 방법.
   
5. 제1항에 있어서,
   상기 작곡을 수행하는 단계는
   상기 검색된 결과물들에 대하여, 상기 정성적인 입력 조건에 기초하여 우선 순위를 설정하고, 상기 우선 순위가 설정된 결과물들에 기초하여 상기 작곡을 수행하는 것을 특징으로 하는 자동 작곡 방법.
   
6. 제1항에 있어서,
   상기 작곡이 수행되면 상기 사용자에 의해 작곡된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물을 데이터베이스에 업데이트하는 단계
   를 더 포함하는 것을 특징으로 하는 자동 작곡 방법.
   
7. 제1항에 있어서,
   상기 검색하는 단계는
   상기 기존 작곡들 각각에 대해 미리 저장된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물에 대한 학습을 이용하여 상기 수신된 작곡 과정 단계별 각각의 정보에 대응하는 결과물들을 검색하는 것을 특징으로 하는 자동 작곡 방법.
   
8. 사용자 입력을 통해 작곡 과정 단계별 각각의 정보를 수신하는 수신부;
   기존 작곡들 각각에 대해 미리 저장된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물로부터 상기 수신된 작곡 과정 단계별 각각의 정보에 대응하는 결과물들을 검색하는 검색부; 및
   상기 검색된 결과물들에 기초하여 자동으로 작곡을 수행하는 작곡부
   를 포함하고,
   상기 수신부는
   상기 사용자 입력을 통해 사용자의 감성, 기분, 날씨, 환경, 분위기 및 심리 상태 중 적어도 하나를 포함하는 정성적인 입력 조건을 수신하며,
   상기 작곡부는
   상기 검색된 결과물들을 이용하여 베이스라인을 작곡하고, 상기 작곡된 베이스라인과 미리 저장된 작곡들을 비교하여 표절 부분을 수정하며, 상기 정성적인 입력 조건을 반영하여 편곡을 수행하고,
   상기 검색부는
   상기 사용자에 의해 미리 설정된 설정 조건과 작곡 시 미리 설정된 중요 요소들을 반영하여 검색 우선 순위를 결정하며, 상기 결정된 검색 우선 순위에 기초하여 상기 결과물들을 검색하고,
   상기 작곡부는
   상기 표절 부분이 수정된 작곡에 대하여 상기 정성적인 입력 조건을 반영하여 뉘앙스와 그루부를 보완함으로써, 상기 편곡을 수행하는 자동 작곡 장치.
   
9. 삭제
10. 삭제
11. 제8항에 있어서,
    상기 작곡부는
    코드 유지, 리듬 유지, 주요음 제거, 주요음 변경 및 주요 패턴 변경 중 적어도 하나를 포함하는 멜로디 변형을 통해 상기 표절 부분을 수정하거나, 멜로디 노트 유지 및 리듬 변형 중 적어도 하나를 통해 상기 표절 부분을 수정하는 것을 특징으로 하는 자동 작곡 장치.
    
12. 제8항에 있어서,
    상기 작곡부는
    상기 검색된 결과물들에 대하여, 상기 정성적인 입력 조건에 기초하여 우선 순위를 설정하고, 상기 우선 순위가 설정된 결과물들에 기초하여 상기 작곡을 수행하는 것을 특징으로 하는 자동 작곡 장치.
    
13. 제8항에 있어서,
    상기 작곡이 수행되면 상기 사용자에 의해 작곡된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물을 데이터베이스에 업데이트하는 업데이트부
    를 더 포함하는 것을 특징으로 하는 자동 작곡 장치.
    
14. 제8항에 있어서,
    상기 검색부는
    상기 기존 작곡들 각각에 대해 미리 저장된 작곡 과정 단계별 히스토리 및 작곡 과정 단계별 결과물에 대한 학습을 이용하여 상기 수신된 작곡 과정 단계별 각각의 정보에 대응하는 결과물들을 검색하는 것을 특징으로 하는 자동 작곡 장치.
    

Images