KR102240871B1 - 장난감 사용자의 감정에 따른 음악 생성 방법 및 그 장치 - Google Patents

장난감 사용자의 감정에 따른 음악 생성 방법 및 그 장치 Download PDF

Info

Publication number
KR102240871B1
KR102240871B1 KR1020190047523A KR20190047523A KR102240871B1 KR 102240871 B1 KR102240871 B1 KR 102240871B1 KR 1020190047523 A KR1020190047523 A KR 1020190047523A KR 20190047523 A KR20190047523 A KR 20190047523A KR 102240871 B1 KR102240871 B1 KR 102240871B1
Authority
KR
South Korea
Prior art keywords
song
weight
emotion
emotion mode
pattern
Prior art date
Application number
KR1020190047523A
Other languages
English (en)
Other versions
KR20200124088A (ko
Inventor
이종현
정재훈
Original Assignee
주식회사 크리에이티브마인드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크리에이티브마인드 filed Critical 주식회사 크리에이티브마인드
Priority to KR1020190047523A priority Critical patent/KR102240871B1/ko
Publication of KR20200124088A publication Critical patent/KR20200124088A/ko
Application granted granted Critical
Publication of KR102240871B1 publication Critical patent/KR102240871B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/145—Composing rules, e.g. harmonic or musical rules, for use in automatic composition; Rule generation algorithms therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

장난감 사용자의 감정에 따른 음악 생성 방법 및 그 장치가 개시된다. 음악생성장치는 적어도 하나 이상의 센서를 이용하여 파악되는 장난감 사용자의 움직임, 얼굴 표정, 음성 또는 장난감의 움직임을 기초로 기 정의된 복수 개의 감정 모드 중 어느 하나를 선택하고, 재생되고 있는 곡에 감정 모드를 기초로 가중치를 부여하거나, 재생되고 있는 곡의 장르, 코드, 리듬, 멜로디 및 반주 중 적어도 하나를 포함하는 작곡요소에 감정 모드를 기초로 가중치를 부여한 후 곡의 가중치를 기초로 다음 재생 곡을 선택하거나, 작곡요소의 가중치를 기초로 다음 재생 곡을 자동 작곡한다.

Description

장난감 사용자의 감정에 따른 음악 생성 방법 및 그 장치{Method for generating music based on feeling of toy user}
본 발명의 실시 예는 장난감 사용자의 감정에 따른 음악을 재생하거나 자동으로 작곡하는 방법 및 그 장치에 관한 것이다.
종래에 다양한 작곡 이론이 존재한다. 작곡가는 이러한 작곡 이론에 창의성을 결합하여 다양한 음악을 작곡한다. 컴퓨터를 이용하여 작곡하고 이를 다양한 소리로 출력하는 MIDI((Musical Instrument Digital Interface) 장치가 존재한다. 그러나 종래의 MIDI 장치는 사용자의 작업을 도와주는 역할에 그칠 뿐 곡을 자동으로 작곡할 수 없다. 자동 작곡에 관한 종래 방법으로, 인공 신경망을 이용한 자동 작곡 방법이 존재한다.
등록특허공보 제10-1854706호 "인공 신경망을 이용한 자동 작곡 방법 및 그 기록매체"
본 발명의 실시 예가 이루고자 하는 기술적 과제는, 장난감 사용자의 감정에 따라 다음 재생 곡을 선택하거나 자동 작곡하는 음악 생성 방법 및 그 장치를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 장난감 사용자의 감정에 따른 음악생성방법의 일 예는, 음악 생성 장치가 수행하는 음악 생성 방법에 있어서, 적어도 하나 이상의 센서를 이용하여 파악되는 장난감 사용자의 움직임, 얼굴 표정, 음성 또는 장난감의 움직임을 기초로 기 정의된 복수 개의 감정 모드 중 어느 하나를 선택하는 단계; 재생되고 있는 곡에 감정 모드를 기초로 가중치를 부여하거나, 재생되고 있는 곡의 장르, 코드, 리듬, 멜로디 및 반주 중 적어도 하나를 포함하는 작곡요소에 감정 모드를 기초로 가중치를 부여하는 단계; 및 곡의 가중치를 기초로 다음 재생 곡을 선택하거나, 작곡요소의 가중치를 기초로 다음 재생 곡을 자동 작곡하는 단계;를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 음악생성장치의 일 예는, 적어도 하나 이상의 센서를 이용하여 파악되는 장난감 사용자의 움직임, 얼굴 표정, 음성 또는 장난감의 움직임을 기초로 기 정의된 복수 개의 감정 모드 중 어느 하나를 선택하는 감정모드파악부; 재생되고 있는 곡의 장르, 코드, 리듬, 멜로디 및 반주 중 적어도 하나를 포함하는 작곡요소에 감정 모드를 기초로 가중치를 부여하는 가중치결정부; 및 작곡요소에 대한 가중치를 기초로 다음 재생 곡을 자동 작곡하는 자동작곡부;를 포함한다.
본 발명의 실시 예에 따르면, 장난감 사용자의 감정에 따라 다음 재생 곡을 선택하거나 자동으로 작곡할 수 있다. 본 발명의 실시 예가 모빌 장난감으로 구현된 경우에 유아의 감정에 맞는 곡을 자동 선택하거나 자동 작곡할 수 있다.
도 1은 본 발명의 실시 예에 따른 음악생성장치의 구성을 도시한 도면,
도 2는 본 발명의 실시 예에 따른 감정 모드의 종류의 일 예를 도시한 도면,
도 3은 본 발명의 실시 예에 따라 곡 재생 동안 파악된 감정 모드의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따라 감정 모드를 파악하는 방법의 일 예를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 감정 모드별 재생리스트의 일 예를 도시한 도면,
도 6은 본 발명의 실시 예에 따른 작곡요소별 가중치를 부여하는 방법의 일 예를 도시한 도면,
도 7은 본 발명의 실시 예에 따른 작곡 템플릿의 일 예를 도시한 도면,
도 8은 본 발명의 실시 예에 따른 자동작곡부의 상세 구성의 일 예를 도시한 도면,
도 9는 본 발명의 실시 예에 따른 코드패턴 데이터베이스의 일 예를 도시한 도면,
도 10은 본 발명의 실시 예에 따른 리듬패턴 데이터베이스의 일 예를 도시한 도면,
도 11은 본 발명의 실시 예에 따른 반복구조패턴 데이터베이스의 일 예를 도시한 도면,
도 12는 본 발명의 실시 예에 따른 코드와 리듬의 배치 예를 도시한 도면,
도 13은 본 발명의 실시 예에 따른 음 높이 결정 방법의 일 예를 도시한 도면,
도 14는 본 발명의 실시 예에 따른 코드반주를 위한 작곡 방법의 일 예를 도시한 도면,
도 15는 본 발명의 실시 예에 따른 코드리듬패턴의 배치 방법의 일 예를 도시한 도면,
도 16은 본 발명의 실시 예에 따른 아르페지오 리듬패턴과 베이스 리듬패턴의 일 예를 도시한 도면,
도 17은 본 발명의 실시 예에 따른 음악생성방법의 일 예를 도시한 흐름도, 그리고,
도 18은 본 발명의 실시 예에 따른 자동작곡방법의 일 예를 도시한 흐름도이다.
이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 장난감 사용자의 감정에 따른 음악생성방법 및 그 장치에 대해 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 음악생성장치의 구성을 도시한 도면이다.
도 1을 참조하면, 음악생성장치(100)는 감정모드파악부(110), 가중치결정부(120), 재생부(130) 및 자동작곡부(140)를 포함한다.
음악생성장치(100)는 유아 또는 어린이가 가지고 노는 장난감(예를 들어, 모빌, 오뚝이 등)의 일부로 구현되거나, 스마트폰, 태블릿PC 등과 같은 휴대 단말 장치 또는 컴퓨터에 구현될 수 있다. 예를 들어, 본 발명의 실시 예에 따른 방법을 소프트웨어로 구현한 후 이를 스마트폰 또는 컴퓨터 등의 장치를 통해 구동할 수 있다. 다만, 이하에서는 설명의 편의를 위하여 음악생성장치(100)는 모빌, 오뚝이 등과 같은 장난감의 일부로 구현된 경우를 가정하여 설명한다.
감정모드파악부(110)는 적어도 하나 이상의 센서를 이용하여 장난감 사용자의 움직임, 얼굴 표정 또는 음성을 파악하거나 장난감의 움직임을 파악하고, 장난감 사용자의 움직임, 얼굴 표정, 음성 또는 장난감의 움직임을 기초로 기 정의된 복수 개의 감정 모드 중 어느 하나의 감정 모드를 선택한다. 감정 모드의 종류는 실시 예에 따라 다양하게 정의할 수 있으며, 이하에서는 도 2와 같이 활발, 평온, 불편의 세 가지 감정 모드가 존재하는 경우를 가정하여 설명한다.
감정 모드를 파악하기 위한 센서의 예로, 카메라, 마이크, 움직임 감지 센서 등이 있다. 예를 들어, 감정모드파악부(110)는 카메라를 통해 촬영된 장난감 사용자의 움직임 크기(거리나 속도 등) 또는 얼굴 표정(웃는 표정, 우는 표정, 찡그린 표정 등) 등을 파악한다. 사용자의 움직임 또는 얼굴 표정의 파악에는 종래의 다양한 움직임 감지 알고리즘과 얼굴 인식 알고리즘이 사용될 수 있다. 또는 감정모드파악부(110)는 마이크를 통해 입력되는 소리의 크기나 날까로움 등을 파악하거나, 장난감에 위치한 움직임 감지 센서를 통해 장난감의 움직임 크기(거리나 속도 등)를 파악할 수 있다.
다른 실시 예로, 감정모드파악부(110)는 사용자로부터 감정 모드를 직접 입력받을 수 있는 버튼 등과 같은 사용자 인터페이스를 더 포함할 수 있다. 예를 들어, 모빌이나 오뚝이 등과 같이 유아를 위한 장난감에 본 실시 예의 음악생성장치(100)가 구현된 경우에, 유아의 보호자는 장난감의 일측에 위치한 인터페이스를 통해 감정 모드를 선택하고 입력할 수 있다. 또는 음악생성장치(100)는 블루투스 등의 근거리 통신 또는 인터넷 등을 통해 스마트폰 등과 같은 사용자 단말과 연결되어, 사용자 단말로부터 감정 모드를 입력받을 수 있다.
가중치결정부(120)는 감정모드파악부(110)에 의해 선택된 감정 모드를 기초로 현재 재생되고 있는 곡에 가중치를 부여하거나, 재생되고 있는 곡의 장르, 반복구조패턴, 코드패턴, 리듬패턴, 멜로디, 반주리듬패턴, 코드톤과 논코드톤의 비율, 빠르기 중 적어도 하나를 포함하는 작곡요소에 가중치를 부여한다.
일 실시 예로, 가중치결정부(120)는 감정 모드에 따라 서로 다른 가중치를 곡 또는 작곡요소에 부여할 수 있다. 예를 들어, 곡의 재생 동안 파악된 감정 모드가 '불편'인 경우에, 가중치결정부(120)는 해당 곡 또는 해당 곡의 작곡요소에 '불편'에 해당하는 가중치(예를 들어, '1')를 부여하고, '평온'인 경우에는 '평온'에 해당하는 가중치(예를 들어, '3')를 부여하고, '활발'인 경우에는 '활발'에 해당하는 가중치(예를 들어, '5')를 부여할 수 있다. 각 감정 모드별 가중치의 크기는 실시 예에 따라 다양하게 변형 가능하다.
현재 재생되고 있는 곡 또는 작곡요소에 대해 이전에 이미 부여한 가중치가 존재하는 경우에, 가중치결정부(120)는 이전 가중치를 현재 가중치로 대체하거나, 현재 가중치와 이전 가중치를 다양한 통계적 기법(단순 평균, 가중 평균 등)을 통해 평균한 값을 현재 재생되고 있는 곡 또는 작곡요소의 가중치로 결정하거나, 또는 이전 가중치와 현재 가중치를 더하여 누적할 수 있다. 이 외에도 다양한 방법으로 이전 가중치와 현재 가중치를 함께 고려할 수 있다.
다른 실시 예로, 가중치결정부(120)는 감정 모드별 가중치를 독립적으로 부여할 수 있다. 예를 들어, 재생 리스트에 포함된 복수 개의 곡은 도 5와 같이 '활발', '평온', '불편' 등의 감정 모드별로 분류될 수 있다. 가중치결정부(120)는 '활발'에 속한 곡 또는 해당 곡의 작곡요소에 대해 0~5 사이의 가중치를 부여하고, '평온' 및 '불편'에 속한 곡 또는 해당 곡의 작곡요소에 대해서도 각각 0~5 사이의 가중치를 부여할 수 있다. 예를 들어, '평온' 그룹에 속한 곡을 재생하는 동안 파악된 감정 모드가 '불편'이면 해당 곡 또는 작곡요소에 대해 '불편'에 해당하는 가중치를 부여하고, 곡 재생 동안 파악된 감정 모드가 '활발'이면 해당 곡 또는 작곡요소에 대해 '활발'에 해당하는 가중치를 부여할 수 있다. 각 감정 모드별 가중치의 부여 범위는 앞서 살핀 0~5 외에 다양하게 변경할 수 있다.
또 다른 실시 예로, 가중치결정부(120)는 곡의 재생 동안 사용자의 감정 모드의 변화를 기초로 해당 곡 또는 해당 곡의 작곡요소에 가중치를 부여할 수 있다. 예를 들어, 곡의 재생 동안 사용자의 감정 모드가 불편에서 평온 또는 평온에서 활발과 같이 긍정방향으로 변화하면 해당 곡 또는 해당 곡의 작곡요소에 높은 가중치를 부여하고, 반대로 감정 모드가 활발에서 평온 또는 평온에서 불편과 같이 부정방향으로 진행하면 낮은 가중치를 부여할 수 있다. 이에 대해서는 도 6에서 다시 살펴본다.
재생부(130)는 곡의 가중치를 기초로 재생리스트에서 다음 재생 곡을 선택한다. 예를 들어, 재생부(130)는 재생리스트에서 가중치가 높은 곡을 다음 재생 곡으로 선택할 수 있다. 다른 예로, 재생리스트가 도 5와 같이 감정 모드별로 그룹핑되어 있는 경우에, 재생부(130)는 감정모드파악부(110)에서 파악된 감정 모드에 해당하는 곡 리스트 중에서 가중치가 높은 곡을 다음 재생 곡으로 선택할 수 있다. 다시 말해, 현재 파악된 감정 모드가 '평온'이면, 재생부(130)는 '평온' 그룹에 속한 곡 리스트 중에서 가중치가 높은 곡을 선택하여 재생할 수 있다.
자동작곡부(140)는 작곡요소의 가중치를 기초로 다음 재생 곡을 자동 작곡한다. 재생리스트에 존재하는 곡 중에서 어느 하나를 선택하여 재생할지 아니면 자동작곡부(140)에 의해 자동 작곡된 곡을 다음에 재생할지는 임의로 선택되거나 미리 지정된 순서나 방법에 따라 선택될 수 있다. 예를 들어, 재생리스트에서 일정 이상의 가중치를 가진 곡의 개수가 기 설정된 개수 미만이면, 자동작곡부(140)가 다음 재생 곡을 작곡할 수 있다. 자동 작곡의 방법에 대해서는 도 7 이하에서 다시 설명한다.
도 2는 본 발명의 실시 예에 따른 감정 모드의 종류의 일 예를 도시한 도면이다.
도 2를 참조하면, 본 실시 예에서 감정 모드(200)는 활발(210), 평온(220), 불편(230)의 세 개의 모드를 포함한다. 음악생성장치(100)는 사용자 움직임, 얼굴 표정, 소리, 장난감 움직임 등을 기초로 복수 개의 감정 모드(200,210,220) 중 어느 하나를 선택할 수 있다.
예를 들어, 사용자 움직임(예를 들어, 사용자의 이동 거리나 이동 속도, 팔이나 다리 등의 움직임)의 크기별로 복수 개의 기준값을 미리 정의한 후, 음악생성장치(100)는 사용자 움직임의 크기가 제1 기준값을 초과하면 '활발'(210), 제1 기준값과 제2 기준값 사이이면 '평온'(220)의 감정 모드를 선택할 수 있다.
다른 예로, 소리의 크기나 날카로움 정도를 복수 개의 기준값을 미리 정의한 후, 음악생성장치(100)는 사용자의 소리의 크기와 날카로움을 기초로 '활발'(210), '평온'(220), '불편'(230)의 감정 모드를 선택할 수 있다. 예를 들어, 장난감 사용자가 유아인 경우에, 음악생성장치(100)는 우는 소리가 있는 경우에 '불편'(230)의 감정 모드를 선택하고 잠을 자거나 조용한 경우에는 '평온'(220)의 감정 모드를 선택하고, 웃거나 옹알이 등이 있는 경우에는 '활발'(210)의 감정 모드를 선택할 수 있다.
이와 같이, 음악생성장치(100)는 다양한 센서를 통해 파악된 센싱값(240)을 미리 정의된 기준값과 비교하여 활발(210), 평온(220), 불편(230) 등의 감정 모드를 선택할 수 있다. 장난감 사용자가 유아인 경우에 움직임만으로 '활발'(210)과 '불편'(230)을 구분하기 어려운 경우도 있을 수 있으므로, 음악생성장치(100)는 사용자 움직임, 얼굴 표정, 소리 중 둘 이상을 함께 파악하여 감정 모드(200)를 선택할 수 있다. 예를 들어, 음악생성장치(100)는 움직임이 많고 우는 소리가 있는 경우에는 '불편'(230)의 감정 모드를 선택하고, 움직임이 많으나 조용한 경우에는 '활발'(210)의 감정 모드를 선택할 수 있다.
도 3은 본 발명의 실시 예에 따라 곡 재생 동안 파악된 감정 모드의 일 예를 도시한 도면이다.
도 3을 참조하면, 제1 곡의 재생 동안 파악된 감정 모드는 '활발'이고, 제2 곡의 재생 동안 파악된 감정 모드는 '불편'이다. 이 경우에, 음악생성장치(100)는 해당 곡 또는 해당 곡의 작곡요소에 감정 모드에 해당하는 가중치를 부여할 수 있다.
도 4는 본 발명의 실시 예에 따라 감정 모드를 파악하는 방법의 일 예를 도시한 도면이다.
도 4를 참조하면, 음악생성장치(100)는 한 곡의 재생시간 동안 일정 시간 간격으로 감정 모드를 파악할 수 있다. 감정 모드는 한 곡의 재생시간 동안 여러 번 바뀔 수 있다. 예를 들어, 제1 곡이 재생되는 동안 감정모드는 '활발' -> '평온' -> '불편' -> '평온' ...-> '활발' 등과 같이 변경될 수 있다.
한 곡의 재생시간 동안 여러 감정 모드가 파악되는 경우에, 음악생성장치(100)는 빈도를 기초로 해당 곡에 대한 감정 모드를 선택할 수 있다. 예를 들어, 제1 곡이 재생되는 동안 파악된 감정 모드 중 최대 빈도의 감정 모드가 '활발'이면 제1 곡의 감정 모드를 '활발'로 파악한다.
도 5는 본 발명의 실시 예에 따른 감정 모드별 재생리스트의 일 예를 도시한 도면이다.
도 5를 참조하면, 재생리스트(500)는 감정 모드별 곡 리스트를 포함할 수 있다. 각 감정 모드 그룹(510,520,530)의 곡 리스트(512,522,532)에는 가중치(514,524,534)가 부여된다. 예를 들어, 곡 재생시간 동안 파악된 감정 모드가 '평온'이면, 음악생성장치(100)는 현 재생 곡에 대해 '평온'에 해당하는 가중치를 부여한다. 그리고 음악생성장치(100)는 다음 재생 곡으로 '평온' 그룹(520)에 속한 곡들 중 가중치가 높은 곡을 다음 재생 곡으로 선택할 수 있다.
복수 개의 곡은 초기에 사용자에 의해 감정 모드 그룹(510,520,530)으로 나누어질 수 있다. 또는 재생 리스트(500)에 포함된 곡을 재생할 때 파악된 사용자의 감정 모드를 기초로 재생리스트(500)의 곡들을 감정 모드별로 자동 분류할 수 있다. 예를 들어, 도 3과 같이, 제1 곡을 재생할 때 파악된 사용자의 감정 모드가 '평온'이면, 제1 곡은 '평온' 그룹(520)으로 분류되고, 제2 곡을 재생할 때 파악된 사용자의 감정 모드가 '활발'이면, 제2 곡은 '활발' 그룹(510)으로 분류된다.
다른 실시 예로, 곡의 재생 동안 파악된 감정 모드에 따라 이미 분류된 곡을 다시 분류할 수 있다. 예를 들어, 현재 재생되는 곡이 '평온' 그룹(520)에 속해 있으나, 곡 재생 중 새롭게 파악된 감정 모드가 '불편'이면, 해당 곡을 '불편' 그룹(530)으로 이동시킬 수 있다.
도 6은 본 발명의 실시 예에 따른 작곡요소별 가중치를 부여하는 방법의 일 예를 도시한 도면이다.
도 6을 참조하면, 작곡요소(600)는 장르, 반복구조패턴, 코드패턴, 리듬패턴, 멜로디, 반주리듬패턴, 빠르기, 코드톤과 논코드톤의 비율 등을 포함할 수 있다. 실시 예에 따라 가중치 부여 대상이 되는 작곡요소(600)의 개수 및 종류는 다양하게 변형 가능하다.
음악생성장치(100)는 곡이 재생되는 동안 파악된 감정 모드를 기초로 해당 곡에 사용된 코드패턴이나 리듬패턴 등의 작곡요소에 가중치를 부여한다. 예를 들어, 도 3과 같이 제1 곡의 재생 동안 '활발'의 감정 모드가 파악된 경우, 음악생성장치(100)는 제1 곡에 사용된 코드패턴과 리듬패턴 등의 작곡요소에 '활발'에 해당하는 가중치(예를 들어, 5)를 부여할 수 있다. 제2 곡의 재생 동안 '불편'의 감정 모드가 파악된 경우, 음악생성장치(100)는 제2 곡에 사용된 작곡요소에 '불편'에 해당하는 가중치(예를 들어, 1)를 부여할 수 있다. 작곡요소에 이미 이전에 부여된 가중치가 존재하는 경우, 음악생성장치(100)는 이전 가중치를 현재 파악된 가중치로 대체하거나 이전 가중치와 현재 가중치를 평균하거나 또는 이전 가중치와 현재 가중치를 여러 통계적 방법으로 평균하여 작곡요소의 가중치를 결정할 수 있다.
다른 실시 예로, 도 4와 같이 한 곡이 재생되는 동안 감정 모드를 여러 번 파악하는 경우에, 음악생성장치(100)는 감정 모드를 파악하는 시점에 해당 곡의 작곡요소를 파악하여 감정 모드에 따른 가중치를 부여할 수 있다. 예를 들어, 도 4의 경우에, 제1 곡이 재생되는 동안 4마디 마다 감정 모드를 파악한다고 가정하면, 첫 번째 네 마디에 사용된 코드 패턴과 리듬 패턴 등의 작곡요소에 대해서는 '활발'의 감정모드에 해당하는 가중치를 부여하고, 두 번째 네 마디에 사용된 작곡요소에 대해서는 '평온'에 해당하는 가중치를 부여할 수 있다.
또 다른 실시 예로, 음악생성장치(100)는 감정 모드의 변화 방향에 따라 가중치를 부여할 수 있다. 예를 들어, 한 곡이 재생되는 동안, 불편 -> 평온 -> 활발과 같이 감정모드가 긍정방향(610)으로 변화하면, 음악생성장치(100)는 해당 곡에 사용된 작곡요소에 높은 가중치를 부여할 수 있다. 반대로 한 곡이 재생되는 동안, 활발 -> 평온 -> 불편과 같이 감정 모드가 부정방향(620)으로 변화하면, 음악생성장치(100)는 해당 곡에 사용된 작곡요소에 낮은 가중치를 부여할 수 있다.
도 7은 본 발명의 실시 예에 따른 작곡 템플릿의 일 예를 도시한 도면이다.
도 7을 참조하면, 작곡 템플릿(700)은 멜로디(710), 코드(패드) 반주(720), 아르페지오 반주(730), 베이스 반주(740) 및 드럼 반주(750)를 포함한다. 음악생성장치(100)는 작곡 템플릿(700)에 포함된 각 요소(710,720,730,740,750)를 위한 곡을 자동으로 생성한다. 음악생성장치(100)가 멜로디(710)를 작곡하는 방법의 일 예가 도 8 내지 도 13에 도시되어 있고, 코드 반주(720)를 작곡하는 방법의 일 예가 도 14 및 도 15에 도시되어 있다. 또한, 아르페지오 반주(730) 및 베이스 반주(740)를 작곡하는 방법의 일 예가 도 16에 도시되어 있다.
본 실시 예의 작곡 템플릿(700)은 본 발명의 이해를 돕기 위한 하나의 예일 뿐 작곡 템플릿(700)에 포함되는 요소는 실시 예에 따라 다양하게 변형될 수 있다. 예를 들어, 작곡 템플릿(700)은 멜로디(710) 하나만을 포함하거나, 멜로디(710)와 코드반주(720)의 두 개만을 포함할 수 있다.
다른 실시 예로, 서로 다른 요소들을 포함하는 복수 개의 작곡 템플릿(700)이 존재할 수 있다. 예를 들어, 음악 장르별(예를 들어, EDM, 재즈, 힙합 등) 서로 다른 작곡 템플릿이 존재할 수 있다.
도 8은 본 발명의 실시 예에 따른 자동작곡부의 상세 구성의 일 예를 도시한 도면이다.
도 8을 참조하면, 자동작곡부(140)는 멜로디 작곡을 위한 구성으로, 코드패턴 데이터베이스(800), 리듬패턴 데이터베이스(810), 반복구조패턴 데이터베이스(820), 패턴배치부(840) 및 톤선택부(850)를 포함한다. 이 외에 자동작곡부(140)는 작곡 템플릿(700)의 코드반주(720), 아르페이지오 반주(730), 베이스 반주(740), 드럼 반주(750)의 작곡을 위한 코드리듬패턴(832), 베이스리듬패턴(834), 아르페지오 리듬패턴(836), 드럼패턴(838)을 포함하는 데이터베이스(830)를 더 포함할 수 있다. 실시 예에 따라 코드리듬패턴(832) 등을 포함하는 데이터베이스(830)는 생략될 수 있다.
코드패턴 데이터베이스(800)는 음악 장르별 코드진행 패턴을 저장한다. 예를 들어, 코드패턴 데이터베이스(800)는 적어도 하나 이상의 음악 장르에 대한 다양한 4마디 코드진행 패턴을 포함할 수 있다. 코드패턴 데이터베이스(800)의 일 예가 도 9에 도시되어 있다.
리듬패턴 데이터베이스(810)는 음악 장르별 리듬패턴을 저장한다. 예를 들어, 리듬패턴 데이터베이스(810)는 적어도 하나 이상의 음악 장르에 대한 다양한 마디별 리듬패턴을 포함할 수 있다. 리듬패턴 데이터베이스(800)의 일 예가 도 10에 도시되어 있다.
반복구조패턴 데이터베이스(820)는 음악 장르별 마디 반복 패턴을 저장한다. 예를 들어, 반복구조패턴 데이터베이스(820)는 적어도 하나 이상의 음악 장르에 대한 다양한 4마디 배치 구조를 포함할 수 있다. 반복구조패턴 데이터베이스(820)의 일 예가 도 11에 도시되어 있다.
패턴배치부(840)는 반복구조패턴 데이터베이스(820)에서 반복구조패턴을 선택하고, 코드패턴 데이터베이스(800)와 리듬패턴 데이터베이스(810)에서 코드패턴과 리듬패턴을 선택하여 복수의 마디에 배치한다. 패턴배치의 일 예가 도 12에 도시되어 있다.
패턴배치부(840)는 반복구조패턴, 코드패턴 및 리듬패턴 중 적어도 하나를 가중치를 기초로 선택할 수 있다. 예를 들어, 반복구조패턴에 앞서 살핀 감정 모드에 따른 가중치가 부여되어 있다면, 패턴배치부(840)는 가중치가 높은 반복패턴을 선택하거나, 가중치가 일정 이상인 반복패턴 중에서 임의 선택하거나, 가중치에 비례하는 추출확률을 각 반복패턴에 부여한 후 추출확률을 기반으로 임의의 반복패턴을 추출할 수 있다. 코드패턴 또는 리듬패턴에 감정 모드에 따른 가중치가 부여되어 있다면, 패턴배치부(840)는 코드패턴 또는 리듬패턴 또한 가중치를 기초로 선택할 수 있다.
톤선택부(850)는 복수의 마디에 배치된 리듬패턴의 각 음의 높이를 코드톤 또는 논코드톤으로 선택한다. 코드톤은 코드(예를 들어, Cm, D 등)에 해당하는 음 높이를 의미하고, 논코드톤은 코드와 무관한 음 높이를 의미한다. 각 마디 내 코드톤과 논코드톤의 비율은 미리 정의되어 있거나, 톤선택부(850)가 매번 임의적으로 선택 수 있다. 예를 들어, 코드톤과 논코드톤의 비율이 50%로 지정되었다면, 톤선택부(850)는 마디를 구성하는 음의 개수 중 50%는 코드톤을 선택하고 나머지 50%는 논코드톤을 선택한다. 마디 내 코드톤과 논코드톤이 적용되는 음의 위치는 임의로 선택될 수 있다. 예를 들어, 톤선택부(850)는 도 13과 같이 첫 번째, 두 번째 및 네 번째 음을 코드톤으로 지정하고, 세 번째, 다섯 번째 및 여섯 번째 음을 논코드톤으로 지정할 수 있다. 다른 실시 예로, 톤선택부(850)는 재생리스트에 존재하는 곡들 중 가중치가 높은 곡에 적용된 코드톤과 논코드톤의 비율을 자동 작곡에 적용할 수 있다.
코드리듬패턴(832), 베이스 리듬패턴(834), 아르페이지오 리듬패턴(836), 드럼패턴(838) 등을 각 마디에 배치하는 방법에 대해서는 도 14 내지 도 16에서 살펴본다.
도 9는 본 발명의 실시 예에 따른 코드패턴 데이터베이스의 일 예를 도시한 도면이다.
도 9를 참조하면, 코드패턴 데이터베이스(800)는 음악 장르별 일정 개수의 마디에 대한 코드 진행 패턴(910,920,930)과 각 코드 진행 패턴에 대한 가중치(912,922,932)를 포함한다. 예를 들어, 본 실시 예를 클래식 음악의 자동 작곡에 적용할 경우, 코드패턴 데이터베이스(800)는 클래식 음악에 대한 다양한 코드 진행 패턴을 포함할 수 있다. 본 실시 예는 설명의 편의를 위해 Cm, Dm, C 등 다양한 코드를 코드1, 코드2, 코드3 등으로 표시한다.
본 실시 예는 4마디의 코드 진행 패턴을 도시하고 있으나, 실시 예에 따라, 코드패턴 데이터베이스(800)는 2마디, 8마디 등 다양한 개수의 마디에 대한 코드 진행 패턴을 포함할 수 있다.
코드패턴 데이터베이스(800)는 코드패턴을 다양한 방법으로 입력받을 수 있다. 일 예로 사용자가 코드패턴을 직접 코드패턴 데이터베이스(800)에 저장할 수 있다. 다른 예로, 음악생성장치(100)는 악보 데이터(예를 들어, MIDI 규격 등)를 입력받으면, 악보 데이터를 분석하여 일정 마디의 코드 진행 패턴을 파악하고, 파악한 코드패턴을 코드패턴 데이터베이스(800)에 저장할 수 있다.
도 10은 본 발명의 실시 예에 따른 리듬패턴 데이터베이스의 일 예를 도시한 도면이다.
도 10을 참조하면, 리듬패턴 데이터베이스(810)는 음악 장르별 멜로디의 한 마디 리듬패턴(1010,1020)과 이에 대한 가중치(1012,1022)를 저장한다. 리듬패턴(1010,1020)은 다양한 길이를 가진 음의 배치를 의미한다. 리듬패턴 데이터베이스(810)는 사용자에 의해 구축되거나, 음악생성장치(100)에 의해 자동으로 구축될 수 있다. 예를 들어, 음악생성장치(100)는 악보 데이터를 자동 분석하여 각 마디의 리듬패턴을 추출하고 이를 리듬패턴 데이터베이스(810)에 저장할 수 있다.
도 11은 본 발명의 실시 예에 따른 반복구조패턴 데이터베이스의 일 예를 도시한 도면이다.
도 11을 참조하면, 반복구조패턴 데이터베이스(820)는 음악 장르별 마디의 반복 패턴을 포함한다. 예를 들어, 반복구조패턴(1110,1120,1130)은 AAAA', AAAB, AABA 등 다양하다. A,B는 서로 다른 마디를 의미하고, A' 마디는 A 마디를 일부 변형한 마디를 의미한다.
본 실시 예는 4마디의 배치 패턴을 도시하고 있으나, 실시 예에 따라 반복구조패턴 데이터베이스(820)는 2마디, 8마디 등 다양한 마디의 배치 패턴을 포함할 수 있다.
반복구조패턴 데이터베이스(820)는 음악생성장치(100)에 의해 자동으로 구축될 수 있다. 예를 들어, 음악생성장치(100)는 악보 데이터를 분석하여 각 마디의 리듬패턴이 어떻게 배치되었는지 파악하고 파악된 반복구조패턴을 반복구조패턴 데이터베이스(820)에 저장할 수 있다. 다른 실시 예로, 반복구조패턴(1110,1120,1130)은 각 반복패턴에 대한 가중치를 함께 저장할 수 있다.
도 12는 본 발명의 실시 예에 따른 코드와 리듬의 배치 예를 도시한 도면이다.
도 12를 참조하면, 반복구조패턴이 AAAA'(1110)이고, 코드패턴과 리듬패턴이 각각 코드패턴2(920)와 리듬패턴1(1010)인 경우에(1210), 각 마디(1200)에 코드1, 코드4, 코드5, 코드1이 배치되고 또한 각 마디에 동일한 리듬패턴1(1010)이 배치된다. 다만 A'이 배치된 네 번째 마디는 음의 높이 일부가 A가 배치된 앞의 세 마디와 다르게 변형된다. A' 마디를 위한 음 변형 방법에 대해서는 도 13에서 다시 설명한다.
반복구조패턴 AAAB(1120)가 선택된 경우에(1220), 서로 다른 종류의 마디가 2개이므로, 코드패턴1과 서로 다른 두 개의 리듬패턴(즉, 리듬패턴1(1010) 및 리듬패턴2(1020))이 선택된다. 각 마디에 코드패턴1의 코드1, 코드2, 코드3, 코드4가 배치된다. 또한, A가 배치된 앞의 세 마디에는 리듬패턴1(1010)이 배치되고, B가 배치된 네 번째 마디에는 리듬패턴2(1020)가 배치된다. 즉, A와 B에 해당하는 각 마디에 서로 다른 리듬패턴이 배치된다.
도 13은 본 발명의 실시 예에 따른 음 높이 결정 방법의 일 예를 도시한 도면이다.
도 13을 참조하면, 자동작곡부(140)의 톤선택부(850)는 각 마디에 속한 리듬패턴의 음 높이를 코드톤 또는 논코드톤으로 선택한다. 예를 들어, 톤선택부(850)는 리듬패턴1(1010)에 대해, 첫 번째, 두 번째, 네 번째 음은 코드톤(1300)으로 선택하고, 세 번째, 다섯 번째, 여섯 번째 음은 논코드톤(1310)으로 선택한다.
도 12의 첫 번째 예(1210)의 1~3번째 마디는 모두 동일한 마디(즉, A에 해당)이므로, 톤선택부(850)는 세 마디 모두의 리듬패턴에 대해 동일한 형태로 코드톤(1300) 및 논코드톤(1310)을 선택한다. 다시 말해, 세 마디 모두, 1,2,4번째 음은 코드톤(1300), 3,5,6번째 음은 논코드톤(1310)으로 선택한다.
톤선택부(850)는 음이 코드톤(1300)이면 해당 마디에 할당된 코드음을 기초로 음 높이를 선택한다. 예를 들어, 도 12의 예에서, 첫 번째 마디에 할당된 코드1이 C 코드이면, 톤선택부(850)는 1,2,4번째 음의 높이를 C코드음 '도,미,솔' 중에서 임의 선택한다. 톤선택부(850)는 첫 번째 음을 '도', 두 번째 음을 '솔', 세 번째 음을 한 옥타브 높은 '미'로 선택할 수 있다. 두 번째 마디에 할당된 코드4가 D코드이면, 톤선택부(850)는 1,2,4번째 음의 높이를 D코드음 '레,파,라' 중에서 임의 선택한다.
톤선택부(850)는 음이 논코드톤(1310)이면 코드와 무관하게 음의 높이를 선택한다. 다만, 논코드톤(1310)이 코드톤(1300) 다음에 위치하는 경우에 부적합한 소리가 나오지 않도록 화성학 관점에서 적절하게 음 높이를 선택하는 것이 바람직하다. 예를 들어, 리듬패턴1(1010)의 3번째 음은 코드톤(1300) 다음에 위치한 논코드톤(1310)이므로, 톤선택부(850)는 경과음, 보조음, 계류음, 전타음, 선행음, 이탈음, 지속중 중에 어느 하나를 3번째 음의 높이로 결정한다.
도 12의 첫 번째 예(1210)에서 A'에 해당하는 네 번째 마디는 A에 해당하는 마디와 일부 다르게 만들어져야 한다. 따라서 톤선택부(850)는 1~3번째 마디의 각 리듬패턴의 음 높이 선택방법과 동일한 방법(즉, 코드톤과 논코드톤을 동일 형태로 적용)으로 4번째 마디의 리듬패턴의 음 높이를 선택한 후 기 설정된 개수(예를 들어, 1 또는 2개)의 음 높이를 추가 변형한다. A' 마디를 위해 추가 변형되는 음의 위치는 임의로 선택될 수 있다.
도 12의 두 번째 예(1220)에서 B가 배치된 네 번째 마디의 리듬패턴은 앞의 세 마디의 리듬패턴과 다르다. 즉, A 마디에는 리듬패턴1(1010)이 배치되고 B 마디에는 리듬패턴2(1020)가 배치되어 있다. 톤선택부(850)는 A 마디와 B 마디에 대해 서로 다른 형태로 코드톤과 논코드톤을 부여한다. 예를 들어, A에 해당하는 1~3번째 마디의 리듬패턴1(1010)에 대해 톤선택부(850)는 도 13과 같이 1,2,4번째 음을 코드톤(1300)으로 지정하고, 3,5,6번째 음을 논코드톤(1310)으로 지정하는 반면, B에 해당하는 4번째 마디의 리듬패턴2(1020)에 대해서는 1,3,4,5번째 음을 코드톤, 2,6번째 음을 논코드톤으로 지정할 수 있다. 즉, 반복구조패턴의 서로 다른 마디(즉, A와 B)에 대해, 톤선택부(850)는 코드톤과 논코드톤의 지정 위치 또는 지정 개수를 서로 다르게 할 수 있다.
도 14는 본 발명의 실시 예에 따른 코드반주를 위한 작곡 방법의 일 예를 도시한 도면이다.
도 14를 참조하면, 코드리듬패턴 데이터베이스(832)는 코드반주 위치를 나타내는 다양한 코드리듬패턴(1400,1410)을 포함한다. 코드리듬패턴(1400,1410)은 한 마디를 16등분하고 코드리듬의 연주 위치를 '1'로 표시한다. 코드의 연주 위치를 표시하는 방법은 본 실시 예에 한정되지 아니하고 다양하게 변형 가능하다. 또한, 한 마디를 몇 등분으로 나눌지도 실시 예에 따라 다양하게 변형 가능하다. 또한, 본 실시 예는, 한 마디의 코드리듬패턴(1400,1410)을 도시하고 있으나, 실시 예에 따라 2마디, 4마디 등 코드리듬패턴의 길이를 다양하게 변형 가능하다. 다른 실시 예로, 코드리듬패턴 데이터베이스(832)는 코드리듬패턴(1400,1410)과 감정 모드에 따라 결정된 가중치를 함께 저장할 수 있다.
패턴배치부(840)는 코드리듬패턴 데이터베이스(832)에서 코드리듬패턴(1400,1410)을 임의로 선택하거나, 가중치를 고려하여 코드리듬패턴(1400,1410)을 선택할 수 있다. 패턴배치부(840)는 선택한 코드리듬패턴을 반복구조패턴(1430)에 따라 배치하고, 또한, 각 마디에 할당된 코드패턴(1440)에 따라 코드음을 배치한다. 코드반주를 위한 코드리듬패턴의 배치에 대한 일 예가 도 15에 도시되어 있다.
패턴배치부(840)는 코드리듬패턴(1420)에 코드 보이싱(voicing)(1450)을 적용할 수 있다. 코드리듬패턴 데이터베이스(832)는 코드 보이싱 패턴을 더 저장하고 있을 수 있으며, 패턴배치부(840)는 코드 보이싱 패턴을 임의 선택한 후 코드 보이싱 패턴에 따라 코드 보이싱(1450)을 적용할 수 있다. 또는, 패턴배치부(840)는 코드 보이싱(1450)을 무작위로 적용할 수 있다.
코드리듬패턴 데이터베이스(832)의 코드리듬패턴(1400,1410)은 패드 반주를 위한 리듬 패턴으로 이용될 수 있다. 패드반주는 코드가 바뀌기 전까지 코드의 구성음을 동시에 길에 끌어 연주하여 은은하게 음악을 채우는 역할을 수행한다.
도 15는 본 발명의 실시 예에 따른 코드리듬패턴의 배치 방법의 일 예를 도시한 도면이다.
도 15를 참조하면, 반복구조패턴 및 코드패턴이 도 12의 첫 번째 예와 동일한 경우이다. 도 14의 코드리듬패턴 데이터베이스(832)에서 코드리듬패턴1(1400)이 선택되면, 패턴배치부(840)는 코드리듬패턴1(1400)을 4마디(1500)에 모두 배치한다.
4번째 마디는 A를 일부 변형한 마디 A'이므로, 패턴배치부(840)는 코드리듬패턴1(1400)의 일부를 변경한다. 예를 들어, 패턴배치부(840)는 코드리듬패턴1(1400)의 일부에 대한 연주 위치 변경(1510), 연주 위치 삭제(1520), 또는 연주 위치 추가 등을 수행할 수 있다. A'마디를 위해 코드리듬패턴1(1400)을 변경되는 위치 및 개수는 미리 정의되어 있으나 임의로 선택될 수 있다.
톤선택부(850)는 첫 번째 마디에 코드1의 코드음을 코드리듬패턴에 맞추어 배치하고, 두 번째 마디에 코드4의 코드음을 코드리듬패턴에 맞추어 배치한다. 이와 같은 방법으로 전체 마디에 코드반주를 위한 코드음을 배치한다.
도 16은 본 발명의 실시 예에 따른 아르페지오 리듬패턴과 베이스 리듬패턴의 일 예를 도시한 도면이다.
도 16을 참조하면, 아르페지오 리듬패턴 데이터베이스(836)와 베이스 리듬패턴 데이터베이스(834)는 각 연주 위치를 나타내는 패턴(1600,1610)을 포함한다. 아르페지오 리듬패턴(1600)은 연주 위치를 '1'로 나타내고, 베이스 리듬패턴(1619(은 연주 위치를 '1' 이상의 정수로 나타낸다. 아르페지오 리듬패턴(1600)과 베이스 리듬패턴(1610)은 한 마디를 8등분하고 연주위치를 나타내고 있으나 실시 예에 따라 한 마디를 몇 등분할지 다양하게 변형 가능하다.
베이스 리듬패턴(1610)에서 숫자 크기는 음의 상대적 높이를 나타낸다. 예를 들어, '1'은 코드의 시작음을 나타내고, '5'는 코드의 시작음으로부터 상대적으로 5도 높은 음을 나타낸다.
아르페지오 리듬패턴(1600)과 베이스 리듬패턴(1610)은 도 15에서 살핀 코드리듬패턴과 동일한 방법으로 각 마디에 배치될 수 있다. 예를 들어, 도 15와 같이 반복구조패턴이 AAAA'(1110)이면, 아르페지오 리듬패턴(1600)과 베이스 리듬패턴(1610)을 4마디에 동일하게 배치하되, A'마디에 속한 아르페지오 리듬패턴(1600)과 베이스 리듬패턴(1610)은 그 일부를 변형한다. 예를 들어, A'마디에 속한 아르페지오 리듬패턴(1600)과 베이스 리듬패턴(1610)의 일부의 연주위치의 변경, 추가, 삭제를 통해 변형할 수 있다.
톤선택부(850)는 아르페지오 리듬패턴(1600)에서 연주되는 위치의 음을 주로 코드톤으로 배치한다. 일부 음은 코드톤과 반음관계로 부딪히지 않는 조성 내의 논코드톤인 경과음으로 배치한다. 논코드톤으로 배치되는 음의 위치 및 개수는 미리 정의되거나 임의로 선택될 수 있다.
드럼패턴 데이터베이스(838)는 드럼의 악기소리를 녹음한 데이터로 구성될 수 있다. 이 경우에, 패턴배치부(840)는 드럼패턴 데이터베이스(838)에서 드럼 패턴을 임의 선택한 후 이를 반복구조패턴에 따라 복수의 마디에 배치한다. 예를 들어, 반복구조패턴이 AAAA'(1110)이면, 하나의 드럼패턴이 선택되고, 반복구조패턴이 AAAB(1120)이면, 두 개의 서로 다른 드럼패턴이 선택된다. A' 마디의 드럼패턴과 A 마디의 드럼패턴은 별도 변형 없이 서로 동일할 수 있다.
도 17은 본 발명의 실시 예에 따른 음악생성방법의 일 예를 도시한 흐름도이다.
도 17을 참조하면, 음악생성장치(100)는 적어도 하나 이상의 센서를 이용하여 파악되는 장난감 사용자의 움직임, 얼굴 표정, 음성 또는 장난감의 움직임을 기초로 기 정의된 복수 개의 감정 모드 중 어느 하나를 선택한다(S1700). 예를 들어, 음악생성장치(100)는 카메라를 통해 촬영된 장난감 사용자의 움직임의 크기 또는 얼굴 표정을 기초로 감정 모드를 선택하거나, 마이크를 통해 입력된 장난감 사용자의 음성의 크기나 높낮이를 기초로 감정 모드를 선택하거나, 장난감에 위치한 움직임 감지 센서를 통해 파악된 장난감의 움직임 크기를 기초로 감정 모드를 선택할 수 있다. 감정 모드를 파악하는 방법의 예가 도 2 내지 도 4에 도시되어 있다.
음악생성장치(100)는 재생되고 있는 곡에 감정 모드를 기초로 가중치를 부여하거나, 재생되고 있는 곡의 장르, 코드, 리듬, 멜로디 및 반주 중 적어도 하나를 포함하는 작곡요소에 감정 모드를 기초로 가중치를 부여한다(S1710). 작곡요소에 가중치를 부여하는 방법의 일 예가 도 6에 도시되어 있다.
음악생성장치(100)는 곡의 가중치를 기초로 다음 재생 곡을 선택하거나, 작곡요소의 가중치를 기초로 다음 재생 곡을 자동 작곡한다(S1720). 자동 작곡의 방법이 도 7 내지 도 16에 도시되어 있다.
도 18은 본 발명의 실시 예에 따른 자동작곡방법의 일 예를 도시한 흐름도이다.
도 18을 참조하면, 자동작곡부(140)는 반복구조패턴, 코드패턴, 리듬패턴을 선택한다(S1800). 자동작곡부(140)는 반복구조패턴, 코드패턴 및 리듬패턴 중 적어도 하나 이상을 가중치를 기초로 선택할 수 있다.
자동작곡부(140)는 선택한 코드패턴 및 리듬패턴을 반복구조패턴에 따라 복수의 마디에 배치한다(S1810). 그리고 자동작곡부(140)는 각 마디의 리듬패턴의 음 높이를 코드톤 또는 논코드톤으로 선택한다(S1820).
이와 같은 방법으로 작곡 템플릿의 멜로디 부분의 작곡이 완료되면, 자동작곡부(140)는 실시 예에 따라 반주부분 등을 위한 작곡을 추가적으로 수행할 수 있다. 반주부분 등의 작곡 방법은 도 14 내지 도 16에서 살펴본 바와 같다.
작곡 템플릿의 각 요소에 대한 작곡이 완료되면, 자동작곡부(140)는 악기 샘플음을 이용하여 자동 작곡된 각 음의 길이 및 높이에 맞도록 악기음을 생성하여 음악을 출력할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

  1. 음악 생성 장치가 수행하는 음악 생성 방법에 있어서,
    곡의 재생 중에 적어도 하나 이상의 센서를 이용하여 파악되는 장난감 사용자의 움직임, 얼굴 표정, 음성 또는 장난감의 움직임을 기초로 기 정의된 복수 개의 감정 모드 중 어느 하나를 선택하는 단계;
    재생되고 있는 곡에 감정 모드를 기초로 가중치를 부여하거나, 재생되고 있는 곡의 장르, 코드, 리듬, 멜로디 및 반주 중 적어도 하나를 포함하는 작곡요소에 감정 모드를 기초로 가중치를 부여하는 단계; 및
    곡의 가중치를 기초로 다음 재생 곡을 선택하거나, 작곡요소의 가중치를 기초로 다음 재생 곡을 자동 작곡하는 단계;를 포함하고,
    상기 감정 모드 중 어느 하나를 선택하는 단계는,
    상기 재생되고 있는 곡에서 일정 마디 구간별 감정 모드를 파악하는 단계; 및
    상기 일정 마디 구간별 감정 모드의 빈도를 기초로 상기 재생되고 있는 곡에 대한 감정 모드를 파악하는 단계;를 포함하고,
    상기 가중치를 부여하는 단계는,
    상기 일정 마디 구간별 감정 모드를 기초로 상기 재생되고 있는 곡에 대한 가중치를 결정하는 단계;를 포함하고,
    상기 다음 재생 곡을 선택하는 단계는,
    감정 모드별 분류된 곡을 포함하는 재생리스트에서 상기 사용자의 감정 모드에 해당하는 곡을 다음에 재생할 곡으로 선택하는 단계; 및
    상기 재생되고 있는 곡에 대해 파악한 감정 모드와 상기 재생되고 있는 곡이 이미 속해 있는 감정 모드가 서로 상이하면, 상기 재생되고 있는 곡의 감정 모드를 상기 파악된 감정 모드로 재분류하는 단계;를 포함하는 것을 특징으로 하는 장난감 사용자의 감정에 따른 음악 생성 방법.
  2. 제 1항에 있어서, 상기 감정 모드 중 어느 하나를 선택하는 단계는,
    카메라를 통해 촬영된 장난감 사용자의 움직임의 크기 또는 얼굴 표정을 기초로 감정 모드를 선택하거나, 마이크를 통해 입력된 장난감 사용자의 음성의 크기나 높낮이를 기초로 감정 모드를 선택하거나, 장난감에 위치한 움직임 감지 센서를 통해 파악된 장난감의 움직임 크기를 기초로 감정 모드를 선택하는 단계;를 포함하는 것을 특징으로 하는 장난감 사용자의 감정에 따른 음악 생성 방법.
  3. 제 1항에 있어서, 상기 가중치를 부여하는 단계는,
    한 곡의 재생시간 동안 감정 모드가 부정에서 긍정방향으로 진행하면 가중치를 높이고, 감정 모드가 긍정에서 부정방향으로 진행하면 가중치를 낮추는 단계;를 포함하고,
    상기 다음 재생 곡을 선택하는 단계는, 상기 재생리스트에서 상기 사용자의 감정 모드에 해당하는 곡 중 가중치가 높은 순으로 다음에 재생할 곡을 선택하는 단계;를 포함하는 것을 특징으로 하는 장난감 사용자의 감정에 따른 음악 생성 방법.
  4. 제 1항에 있어서, 상기 가중치를 부여하는 단계는,
    감정 모드별 가중치를 독립적으로 부여하는 단계;를 포함하는 것을 특징으로 하는 장난감 사용자의 감정에 따른 음악 생성 방법.
  5. 제 1항에 있어서,
    상기 자동 작곡하는 단계는, 상기 재생리스트에 일정 이상의 가중치를 가진 곡의 개수를 기초로 상기 재생리스트에서 다음 곡을 재생할지 아니면 자동 작곡할지를 선택하는 단계;를 포함하는 것을 특징으로 하는 장난감 사용자의 감정에 따른 음악 생성 방법.
  6. 제 1항에 있어서, 상기 자동 작곡하는 단계는,
    복수 개의 코드패턴 및 복수 개의 리듬패턴 중 가중치에 따른 추출 확률을 기초로 임의의 코드패턴 및 리듬패턴을 추출하는 단계;
    임의의 반복구조패턴을 선택하고, 상기 반복구조패턴의 각 마디에 상기 코드패턴 및 리듬패턴에 따른 코드와 리듬을 배치하는 단계; 및
    각 마디의 리듬패턴의 일부를 해당 마디에 부여된 코드에 따른 음 높이를 가지는 코드톤으로 선택하고, 나머지를 코드와 무관한 음 높이를 가지는 논코드톤으로 선택하는 톤 선택 단계;를 포함하는 것을 특징으로 하는 장난감 사용자의 감정에 따른 음악 생성 방법.
  7. 제 6항에 있어서, 상기 톤 선택 단계는,
    선택된 감정 모드에 따라 코드톤과 논코드톤의 비율을 다르게 결정하는 단계;를 포함하는 것을 특징으로 하는 장난감 사용자의 감정에 따른 음악 생성 방법.
  8. 제 6항에 있어서, 상기 자동 작곡하는 단계는,
    연주 위치를 나타내는 코드리듬패턴, 베이스리듬패턴 또는 아르페지오리듬패턴을 저장하는 데이터베이스로부터 코드리듬패턴, 베이스리듬패턴 또는 아르페지이로리듬패턴을 임의 추출하는 단계; 및
    상기 반복구조패턴에 따라 코드리듬패턴, 베이스패턴 또는 아프레지오패턴을 반복 배치, 일부 변형 배치 또는 서로 다르게 배치하는 단계;를 포함하는 것을 특징으로 하는 장난감 사용자의 감정에 따른 음악 생성 방법.
  9. 곡의 재생 중에 적어도 하나 이상의 센서를 이용하여 파악되는 장난감 사용자의 움직임, 얼굴 표정, 음성 또는 장난감의 움직임을 기초로 기 정의된 복수 개의 감정 모드 중 어느 하나를 선택하는 감정모드파악부;
    재생되고 있는 곡의 장르, 코드, 리듬, 멜로디 및 반주 중 적어도 하나를 포함하는 작곡요소에 감정 모드를 기초로 가중치를 부여하는 가중치결정부;
    작곡요소에 대한 가중치를 기초로 다음 재생 곡을 자동 작곡하는 자동작곡부; 및
    곡에 대한 가중치를 기초로 다음 재생 곡을 선택하는 재생부;를 포함하고,
    상기 감정모드파악부는, 상기 재생되고 있는 곡에서 일정 마디 구간별 감정 모드를 파악하고, 상기 일정 마디 구간별 감정 모드의 빈도를 기초로 상기 재생되고 있는 곡에 대한 감정 모드를 파악하고,
    상기 가중치결정부는, 상기 일정 마디 구간별 감정 모드를 기초로 상기 재생되고 있는 곡에 대한 가중치를 결정하고,
    상기 재생부는, 감정 모드별 분류된 곡을 포함하는 재생리스트에서 상기 사용자의 감정 모드에 해당하는 곡 중에서 가중치가 높은 순으로 다음 재생 곡을 선택하고, 상기 재생되고 있는 곡에 대해 파악한 감정 모드와 상기 재생되고 있는 곡이 이미 속해 있는 감정 모드가 서로 상이하면, 상기 재생되고 있는 곡의 감정 모드를 상기 파악된 감정 모드로 재분류하는 것을 특징으로 하는 음악생성장치.
  10. 삭제
  11. 제 1항 내지 제 8항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020190047523A 2019-04-23 2019-04-23 장난감 사용자의 감정에 따른 음악 생성 방법 및 그 장치 KR102240871B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190047523A KR102240871B1 (ko) 2019-04-23 2019-04-23 장난감 사용자의 감정에 따른 음악 생성 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190047523A KR102240871B1 (ko) 2019-04-23 2019-04-23 장난감 사용자의 감정에 따른 음악 생성 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20200124088A KR20200124088A (ko) 2020-11-02
KR102240871B1 true KR102240871B1 (ko) 2021-04-16

Family

ID=73397628

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190047523A KR102240871B1 (ko) 2019-04-23 2019-04-23 장난감 사용자의 감정에 따른 음악 생성 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102240871B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018002650A1 (en) * 2016-06-30 2018-01-04 Lifescore Limited Apparatus and methods for cellular compositions

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161267A (ja) * 1997-11-26 1999-06-18 Yamaha Corp 自動作曲装置および記録媒体
KR20160121879A (ko) * 2015-04-13 2016-10-21 성균관대학교산학협력단 멜로디 자동 생성 방법 및 멜로디 자동 생성 시스템
KR101854706B1 (ko) 2017-01-20 2018-05-08 한성대학교 산학협력단 인공 신경망을 이용한 자동 작곡 방법 및 그 기록 매체
KR20190000246A (ko) * 2017-06-22 2019-01-02 고려대학교 산학협력단 감정 기반 사운드 제어 장치 및 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018002650A1 (en) * 2016-06-30 2018-01-04 Lifescore Limited Apparatus and methods for cellular compositions

Also Published As

Publication number Publication date
KR20200124088A (ko) 2020-11-02

Similar Documents

Publication Publication Date Title
JP4199097B2 (ja) 楽曲自動分類装置及び方法
US9928835B1 (en) Systems and methods for determining content preferences based on vocal utterances and/or movement by a user
CN107123415B (zh) 一种自动编曲方法及系统
CN112382257B (zh) 一种音频处理方法、装置、设备及介质
US11271993B2 (en) Streaming music categorization using rhythm, texture and pitch
JP2024038111A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Chew Playing with the edge: Tipping points and the role of tonality
KR102313549B1 (ko) 음원 생성 방법 및 음원 생성 시스템
KR102240871B1 (ko) 장난감 사용자의 감정에 따른 음악 생성 방법 및 그 장치
KR102240872B1 (ko) 주변 환경 기반의 자동 작곡 방법 및 그 장치
KR102560394B1 (ko) 악보 코드 ai판별 알고리즘 기반 코드 생성 시스템
KR102138248B1 (ko) 온라인 채팅의 배경음악생성방법 및 그 장치
Unehara et al. Music composition system with human evaluation as human centered system
KR102269591B1 (ko) 자동작곡장치 및 그 방법
KR102390950B1 (ko) 실시간 사용자 참여형 음악 생성 방법 및 그 장치
WO2021106512A1 (ja) 楽曲生成方法および楽曲生成システム
JP3934556B2 (ja) 信号識別子の抽出方法及びその装置、信号識別子からデータベースを作成する方法及びその装置、及び、検索時間領域信号を参照する方法及びその装置
JP6954780B2 (ja) カラオケ装置
CN101710367A (zh) 基于勋伯格十二音体系的计算机作曲方法
O'Keeffe Dancing monkeys
US11797267B2 (en) Method for playing audio source using user interaction and a music application using the same
Herremans et al. Towards emotion based music generation: A tonal tension model based on the spiral array
KR102490769B1 (ko) 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치
JP5994343B2 (ja) 演奏評価装置及びカラオケ装置
JP6074835B2 (ja) 楽曲練習支援装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right