KR20210152847A - 실시간 사용자 참여형 음악 생성 방법 및 그 장치 - Google Patents

실시간 사용자 참여형 음악 생성 방법 및 그 장치 Download PDF

Info

Publication number
KR20210152847A
KR20210152847A KR1020200069841A KR20200069841A KR20210152847A KR 20210152847 A KR20210152847 A KR 20210152847A KR 1020200069841 A KR1020200069841 A KR 1020200069841A KR 20200069841 A KR20200069841 A KR 20200069841A KR 20210152847 A KR20210152847 A KR 20210152847A
Authority
KR
South Korea
Prior art keywords
music
control device
motion information
track
changing
Prior art date
Application number
KR1020200069841A
Other languages
English (en)
Other versions
KR102390950B1 (ko
Inventor
이종현
정재훈
Original Assignee
주식회사 크리에이티브마인드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크리에이티브마인드 filed Critical 주식회사 크리에이티브마인드
Priority to KR1020200069841A priority Critical patent/KR102390950B1/ko
Publication of KR20210152847A publication Critical patent/KR20210152847A/ko
Application granted granted Critical
Publication of KR102390950B1 publication Critical patent/KR102390950B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

실시간 사용자 참여형 음악 생성 방법 및 그 장치가 개시된다. 음악재생장치는 음악 재생 중에 적어도 하나 이상의 제어장치로부터 움직임정보를 수신하고, 움직임정보를 기초로 재생 중인 음악의 음 진행을 변경하거나 연주 방식을 변경한다.

Description

실시간 사용자 참여형 음악 생성 방법 및 그 장치{Method for generating user engagement music and apparatus therefor}
본 발명의 실시 예는 음악 생성 방법 및 그 장치에 관한 것으로, 보다 상세하게는 사용자의 실시간 참여가 가능한 음악 생성 방법 및 그 장치에 관한 것이다.
작곡 이론에 대한 지식이 없어도 음악을 작곡할 수 있는 종래 다양한 자동작곡알고리즘이 존재한다. 자동작곡알고리즘은 음악 장르나 분위기 등과 같은 사용자 입력을 기초로 그에 맞는 음악을 자동 작곡한다. 자동작곡과 관련하여, 국내특허출원 제10-2018-0023898호 "음원 평가 방법 및 그 장치와 이를 이용한 음원 생성 방법 및 그 장치", 국내특허출원 제10-2018-0129339호 "자동자곡장치 및 그 방법" 등이 존재한다.
본 발명의 실시 예가 이루고자 하는 기술적 과제는, 음악 재생 중에 사용자가 실시간으로 음을 변경하거나 연주 방식을 변경할 수 있도록 실시간 참여가 가능한 음악 생성 방법 및 그 장치를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 실시간 사용자 참여형 음악 생성 방법의 일 예는, 음악 재생 중에 적어도 하나 이상의 제어장치로부터 움직임정보를 수신하는 단계; 및 상기 제어장치로부터 수신한 움직임정보를 기초로 재생 중인 음악의 음 진행을 변경하거나 연주 방식을 변경하는 단계;를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 음악생성장치의 일 예는, 적어도 하나 이상의 제어장치와 유선 또는 무선통신을 연결하는 통신부; 음악생성알고리즘이 저장된 저장부; 상기 음악생성알고리즘을 실행하는 프로세서; 및 상기 음악생성알고리즘에 의해 생성된 음악을 출력하는 스피커;를 포함하고, 상기 음악생성알고리즘은 음악 재생 중에 상기 적어도 하나 이상의 제어장치로부터 수신한 움직임정보를 기초로 재생 중인 음악의 음 진행을 변경하거나 연주 방식을 변경한다.
본 발명이 실시 예에 따르면, 재생 중인 음악의 리듬이나 음정, 음역대, 또는 연주 방법 등을 사용자가 실시간으로 변경할 수 있다. 재생 중인 음악이 자동작곡알고리즘을 통해 만들어지는 경우, 사용자는 작곡 이론에 대한 지식이 없어도 제어장치의 움직임만으로 작곡에 실시간으로 참여할 수 있다. 또한, 다수의 사용자가 동시에 음악 생성에 참여할 수 있다. 또한, 다수의 사용자가 재생 중인 음악의 악기 연주 주법이나 세기 등을 제어할 수 있다.
도 1은 본 발명의 실시 예에 따른 실시간 사용자 참여형 음악 생성을 위한 시스템을 개략적으로 도시한 도면,
도 2는 본 발명의 실시 예에 따른 제어장치의 일 예의 구성을 도시한 도면,
도 3은 본 발명의 실시 예에 따른 음악생성장치의 일 예의 구성을 도시한 도면,
도 4는 본 발명의 실시 예에 따른 음악의 트랙과 제어장치 사이의 맵핑관계의 일 예를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 움직임정보와 작곡 요소 또는 연주 방식의 맵핑관계의 일 예를 도시한 도면,
도 6은 본 발명의 실시 예에 따른 사용자 참여를 반영한 실시간 작곡 방법의 일 예를 도시한 도면, 그리고,
도 7은 본 발명의 실시 예에 따른 사용자 참여형 음악 생성 방법의 일 예를 도시한 흐름도이다.
이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 실시간 사용자 참여형 음악 생성 방법 및 그 장치에 대해 상세히 살펴본다.
도 1은 본 발명의 실시 예에 따른 실시간 사용자 참여형 음악 생성을 위한 시스템을 개략적으로 도시한 도면이다.
도 1을 참조하면, 음악생성장치(100)는 적어도 하나 이상의 제어장치(110,120,130)와 유선 또는 무선통신으로 연결된다. 음악생성장치(100)와 연결되는 제어장치(110,120,130)의 수는 다양하게 변형 가능하다. 예를 들어, 복수의 제어장치(110,120,130)가 존재하는 경우에, 음악생성장치(100)는 그 중 어느 하나의 제어장치(110)와 연결되거나, 또는 복수의 제어장치(110,120,130)와 동시에 모두 연결될 수 있다.
제어장치(110,120,130)는 움직임센서를 포함하는 장치이며, 사용자가 제어장치(110,120,130)를 움직일 때 움직임센서를 통해 파악한 움직임정보를 음악생성장치(100)에 전송한다. 제어장치(110,120,130)에 대해서는 도 2에 다시 설명한다.
음악생성장치(100)는 제어장치(110,120,130)로부터 수신한 움직임정보에 따라 재생 중인 음악의 음 진행을 변경하거나 연주 방식을 변경할 수 있다. 음악생성장치(100)의 구성에 대해서는 도 3 이하에서 구체적으로 살펴본다.
도 2는 본 발명의 실시 예에 따른 제어장치의 일 예의 구성을 도시한 도면이다.
도 2를 참조하면, 제어장치(110,120,130)는 움직임센서(200), 통신부(210) 및 제어부(220)를 포함한다.
움직임센서(200)는 제어장치(110,120,130)의 위치, 방향, 속도 및 가속도 중 적어도 하나 이상을 측정하기 위한 센서로서, 가속도 센서, 지자기 센서 및 자이로 센서 중 적어도 하나 이상을 포함할 수 있다.
통신부(210)는 음악생성장치(100)와 통신연결을 수행한다. 예를 들어, 통신부(210)는 블루투스 등의 근거리 통신 방법을 이용하여 음악생성장치와 연결하거나, 인터넷을 통해 음악생성장치와 연결할 수 있는 등 종래의 다양한 통신 방법이 본 실시 예에 적용될 수 있다. 다른 실시 예로, 통신부(210)는 유선을 통해 음악생성장치(100)와 연결될 수도 있다.
제어부(220)는 움직임센서(200)를 통해 측정한 값을 기초로 움직임정보를 생성한 후 이를 통신부(210)를 통해 음악생성장치(100)에 전송한다. 제어부(220)가 움직임정보를 전송하는 시점 등은 다양한 방법으로 구현할 수 있다.
일 실시 예로, 제어부(220)는 음악생성장치(100)와 통신이 연결되면 움직임정보를 일정시간 단위(예를 들어, 0.5초 단위)로 음악생성장치(100)에 전송할 수 있다.
다른 실시 예로, 제어부(220)는 사용자로부터 특정 동작이나 버튼 입력 등이 있는 경우에만 움직임정보를 음악생성장치(100)로 전송할 수 있다. 예를 들어, 제어장치에 버튼이 존재하는 경우에, 제어부(220)는 사용자가 버튼을 누르고 있는 동안에만 제어장치의 움직임정보를 음악생성장치로 전송할 수 있다. 다른 예로, 제어장치의 터치스크린 등에 시작버튼과 종료버튼이 존재한다면, 제어부(220)는 시작버튼을 누른 후 종료버튼이 눌러질 때까지 그 사이의 제어장치의 움직임정보를 음악생성장치로 전송할 수 있다. 또 다른 예로, 제어부(220)는 특정 동작 또는 특정 소리나 단어 등을 기초로 움직임정보의 전송시작시점과 전송종료시점을 제어할 수 있다.
제어장치(110,120,130)는 막대 모양 등 다양한 형태로 구현될 수 있다. 또는 제어장치(110,120,130)는 스마트폰으로 구현될 수 있다. 예를 들어, 본 실시 예를 애플리케이션 형태로 구현한 후 이를 스마트폰에 탑재하여 스마트폰을 제어장치(110,120,130)로 활용할 수 있다.
도 3은 본 발명의 실시 예에 따른 음악생성장치의 일 예의 구성을 도시한 도면이다.
도 3을 참조하면, 음악생성장치(100)는 통신부(300), 프로세서(310), 스피커(320) 및 저장부(330)를 포함한다.
통신부(300)는 적어도 하나 이상의 제어장치(110,120,130)와 유선 또는 무선 통신을 연결한다. 예를 들어, 통신부(300)는 블루투스를 통해 복수의 제어장치와 동시에 연결하거나, 인터넷을 통해 복수의 제어장치와 동시에 연결할 수 있다.
프로세서(310)는 저장부(330)에 저장된 음악생성알고리즘을 실행한다.
저장부(330)는 사용자 참여형 음악 생성 방법이 구현된 음악생성알고리즘 (340)을 포함한다. 저장부(330)는 메모리, SSD(Solid State Drive) 등 다양한 형태로 구현될 수 있다. 저장부(330)는 또한 이미 완성된 음악을 저장하거나, 실시간 작곡되는 음악을 저장할 수 있다.
스피커(320)는 저장부(330)에 저장된 음악 또는 실시간 작곡되는 음악을 출력할 수 있다. 실시 예에 따라 스피커(320)는 생략될 수 있다. 예를 들어, 제어장치(110,120,130)에 스피커가 존재한다면, 음악생성장치(100)는 음악을 통신부(300)를 통해 제어장치(110,120,130)로 전송하여 출력되도록 할 수 있다.
저장부(330)에 저장된 음악생성알고리즘(340)을 좀 더 구체적으로 살펴보면, 맵핑부(350), 작곡부(360), 참여부(370) 및 재생부(380)를 포함한다.
맵핑부(350)는 음악의 각 트랙과 적어도 하나 이상의 제어장치 사이의 맵핑관계를 저장한다. 예를 들어, 음악은 멜로디, 반주, 베이스 등과 같이 복수 개의 트랙으로 구성될 수 있으며, 맵핑부(350)는 이러한 각 트랙과 각 제어장치 사이의 맵핑관계를 저장한다. 일 실시 예로, 음악생성장치(100)는 각 트랙과 각 제어장치 사이를 사용자가 맵핑할 수 있도록 다양한 형태의 인터페이스(예를 들어, 화면 인터페이스 등)를 제공할 수 있다. 다른 예로, 각 트랙과 각 제어장치 사이의 맵핑관계는 미리 고정되어 있을 수 있다. 트랙과 제어장치 사이의 맵핑관계의 일 예가 도 4에 도시되어 있다.
작곡부(360)는 자동작곡알고리즘을 이용하여 음악을 자동작곡한다. 예를 들어, 작곡부(360)는 국내특허출원 제10-2018-0023898호 "음원 평가 방법 및 그 장치와 이를 이용한 음원 생성 방법 및 그 장치", 국내특허출원 제10-2018-0129339호 "자동자곡장치 및 그 방법"의 방법을 이용하여 작곡할 수 있다. 이 외에도 종래에 다양한 자동작곡알고리즘이 본 실시 예에 적용될 수 있다. 실시 예에 따라 작곡부(360)는 생략가능하다.
재생부(380)는 저장부(330)에 저장된 음악을 재생하거나 작곡부(360)에 의해 실시간 작곡되는 음악을 재생한다. 예를 들어, 재생부(380)는 이전에 이미 작곡되어 저장된 음악을 다시 재생할 수도 있다.
참여부(370)는 적어도 하나 이상의 제어장치(110,120,130)로부터 움직임정보를 수신하면, 움직임정보에 해당하는 작곡 요소(리듬이나 음정, 음역대, 장르, 빠르기 등)를 결정한다. 예를 들어, 제어장치(110,120,130)의 움직임 속도나 빈도, 앞뒤 이동, 상하 이동 또는 좌우 이동 등에 따라 음악의 리듬밀도나 음정도약 크기 또는 음역대의 이동, 장르, 빠르기 등과 같은 다양한 작곡 요소를 결정할 수 있다. 움직임정보에 따른 작곡요소를 결정하는 방법의 일 예가 도 5에 도시되어 있다.
복수의 제어장치(110,120,130)와 동시에 연결되고 복수의 제어장치(110,120,130)로부터 움직임정보를 수신하는 경우에, 참여부(370)는 각 제어장치와 맵핑된 각 트랙에 대한 작곡 요소를 각각 생성할 수 있다. 예를 들어, 도 4를 참조하면, 음악의 제1 트랙(410)과 맵핑된 제1 제어장치(110)로부터 움직임정보를 수신하면, 참여부(370)는 제1 제어장치(110)의 움직임정보를 기초로 제1 트랙(410)에 대한 작곡요소를 결정하고, 제2 트랙(420)과 맵핑된 제2 제어장치(120)로부터 움직임정보를 수신하면, 참여부(370)는 제2 제어장치(120)의 움직임정보를 기초로 제2 트랙(420)에 대한 작곡요소를 결정한다. 즉, 각 트랙별 작곡요소는 각 제어장치(110,120,130)의 움직임정보를 기초로 서로 독립적으로 결정될 수 있다.
참여부(370)가 생성한 작곡요소는 작곡부(360)에 입력되고, 작곡부(360)는 참여부(370)로부터 수신한 작곡요소에 따라 재생중인 음악의 음 진행을 변경한다. 참여부(370)가 생성한 작곡요소에 따라 재생 중인 음악의 음 진행을 변경하는 예에 대하여 도 6에서 다시 설명한다.
도 4는 본 발명의 실시 예에 따른 음악의 트랙과 제어장치 사이의 맵핑관계의 일 예를 도시한 도면이다.
도 4를 참조하면, 음악(400)은 복수의 트랙(410,420,430)으로 구성될 수 있다. 예를 들어, 제1 트랙(410)은 멜로디, 제2 트랙(420)은 반주, 제3 트랙(430)은 베이스일 수 있다. 또한 제1 트랙(410)은 피아노로 연주되고, 제2 트랙(420)은 바이올린으로 연주되고, 제3 트랙(430)은 베이스기타로 연주될 수 있다.
음악생성장치(100)는 제1 트랙(410)과 제1 제어장치(110) 사이를 맵핑하고, 제2 트랙(420)과 제2 제어장치(120) 사이를 맵핑하고, 제3 트랙(430)과 제3 제어장치(130) 사이를 맵핑할 수 있다. 본 실시 예는 이해를 돕기 위하여 트랙(410,420,430)과 제어장치(110,120,130) 사이의 1:1 맵핑관계를 도시하고 있으나, 트랙(410,420,430)과 제어장치(110,120,130) 사이의 맵핑관계는 n:1 또는 1:n(n은 2 이상의 자연수)이 될 수 있는 등 실시 예에 따라 다양하게 변형할 수 있다.
도 5는 본 발명의 실시 예에 따른 움직임정보와 작곡 요소 또는 연주 방식의 맵핑관계의 일 예를 도시한 도면이다.
도 5를 참조하면, 음직임정보는 움직임 속도/빈도(510), 앞뒤 이동(520), 상하 이동(530), 좌우 이동(540), 가속도 크기(550) 중 적어도 하나 이상의 값을 포함할 수 있다. 예를 들어, 사용자가 제어장치(110,120,130)를 상하, 좌우, 또는 앞뒤로 이동시키는 경우, 또는 제어장치(110,120,130)를 빠른 속도로 흔드는 경우에 그에 따른 움직임정보가 생성된다.
재생 중인 음악의 음 진행을 변경하는데 사용되는 작곡 요소의 일 예로, 리듬밀도(515), 음정도약(525), 음역대 이동(535) 등이 존재하고, 재생 중인 음악의 연주 방식의 변경의 예로, 연주 주법(545)(예를 들어, 바이올린이 레카도, 스타카토, 트레몰로 등의 연주 주법), 연주 세기(555) 등이 존재한다.
음악생성장치(100)는 움직임정보를 구성하는 각 정보를 기초로 여러 사용자가 작곡(500)에 참여하도록 하거나 재생 중인 음악의 연주(505) 방식을 다르게 할 수 있다.
사용자가 제어장치(110,120,130)를 흔드는 경우에, 음악생성장치(100)는 제어장치(110,120,130)로부터 수신한 움직임 속도 또는 왕복 빈도에 해당하는 리듬 밀도(515)(즉, 한 마디에 존재하는 음표의 개수)를 결정한다. 예를 들어, 음악생성장치(100)는 움직임 속도/빈도가 빠르면 리듬밀도를 증가시키고 움직임 속도 또는 빈도가 느리면 리듬 밀도(515)를 줄일 수 있다. 움직임 속도 또는 빈도의 각 구간과 이에 해당하는 리듬 밀도(515의 정량적인 값을 미리 정해 놓은 후, 음악생성장치(100)는 제어장치(110,120,130)로부터 수신한 움직임 속도 또는 빈도가 속하는 구간의 리듬 밀도의 값을 파악할 수 있다. 또는 움직임 속도 또는 빈도가 일정 이상이면 리듬 밀도(515)의 상향, 일정 이하이면 리듬 밀도의 하향을 결정할 수 있다. 음악생성장치(100)는 움직임정보를 기초로 결정된 리듬 밀도의 작곡 요소를 자동작곡알고리즘에 입력하여 리듬 밀도(515)에 맞는 곡을 자동 자곡할 수 있다. 이때 자동작곡알고리즘은 화성학적으로 조화된 곡을 자동으로 작곡하는 알고리즘이므로, 사용자는 리듬을 더 조밀하게 할지 더 느슨하게 할지 제어장치를 통해 결정하면 될 뿐 작곡 이론에 대한 전문적인 지식 등이 필요하지 않는다.
사용자가 제어장치(110,120,130)를 앞뒤로 이동하는 경우에, 음악생성장치(100)는 음정도약(525)의 크기를 변경할 수 있다. 예를 들어, 제어장치(110,120,130)가 앞쪽으로 이동하는 거리에 비례하여 음악생성장치(100)는 음정도약(525)의 크기를 결정할 수 있다.
사용자가 제어장치(110,120,130)를 상하로 이동하는 경우에, 음악생성장치(100)는 음역대(535)를 이동시킬 수 있다. 예를 들어, 제어장치(100)가 위쪽으로 이동하는 거리에 비례하여 음악생성장치(100)는 음역대(535)의 이동 거리를 결정할 수 있다.
도 4에서 살핀 바와 같이, 각 제어장치(110,120,130)는 음악의 각 트랙과 맵핑된다. 따라서 멜로디인 제1 트랙(410)과 맵핑된 제1 제어장치(110)로부터 움직임정보를 수신하면, 음악생성장치(100)는 제1 트랙(410)의 리듬밀도, 음정도약 크기, 음역대 이동 등을 변경할 수 있다.
다른 예로, 반주인 제2 트랙(420)과 맵핑된 제2 제어장치(120)로부터 움직임정보를 수신하면, 음악생성장치(100)는 움직임의 속도/빈도에 따라 리듬의 밀도를 변경할 수 있다. 반주가 아르페지오인 경우에, 음악생성장치9100)는 제2 제어장치(120)의 앞뒤 이동에 따라 음정도약 크기를 변화하고, 상하 이동에 따라 아르페지오의 음 움직임 방향을 변화시킬 수 있다. 반주가 코드 반주인 경우에, 음악생성장치(100)는 제2 제어장치(120)의 상하 이동에 따라 코드 구성음의 복잡도를 변경시킬 수 있다.
또 다른 예로, 베이스인 제3 트랙(430)과 맵핑된 제3 제어장치(130)로부터 움직임정보를 수신하면, 음악생성장치(100)는 움직임의 속도/빈도에 따라 리듬의 밀도를 변경한다. 또한 음악생성장치(100)는 앞뒤 이동에 따라 음정도약 크기를 변경하고, 상하 이동에 따라 음역대의 이동을 변경할 수 있다.
또 다른 예로, 음악생성장치(100)는 각 제어장치(110,120,130)로부터 수신한 움직임정보를 기초로 각 트랙의 연주방식(505)을 변경할 수 있다. 예를 들어, 제1 트랙(410)이 바이올린으로 연주되는 경우에, 음악생성장치(100)는 제1 제어장치(110)의 좌우 이동에 따라 바이올린의 주법을 레가토, 스타카토, 트레몰로 등으로 변경할 수 있다. 또는 음악생성장치(100)는 제1 제어장치(110)의 가속도 크기에 따라 연주세기를 변경할 수 있다.
도 6은 본 발명의 실시 예에 따른 사용자 참여를 반영한 실시간 작곡 방법의 일 예를 도시한 도면이다.
도 6을 참조하면, 음악생성장치는 음악의 재생 중에 적어도 하나 이상의 제어장치로부터 움직임정보를 수신한다. 본 실시 예는 설명의 편의를 위하여 음악의 한 트랙(600)만을 도시하여 설명한다.
제어장치(110)로부터 움직임정보를 수신하면, 음악생성장치(100)는 움직임정보에 따른 작곡 요소를 결정한다. 예를 들어, 도 5에서 살핀 바와 같이 제어장치(110)가 위로 이동하였다면, 음악생성장치(100)는 음역대 이동에 대한 작곡요소를 결정한다.
음악생성장치(100)가 결정한 작곡 요소는 음악의 다음 마디에 반영된다. 예를 들어, 음악생성장치(100)는 음악의 첫 번째 마디(610)가 재생되는 동안 제어장치(110)로부터 수신한 제1 움직임정보를 기초로 변경할 작곡 요소를 결정하고, 이를 이용하여 두 번째 마디(620)를 자동 작곡한다. 그리고 음악생성장치(100)는 자동 작곡된 두 번째 마디(620)의 재생 중에 제어장치(110)로부터 수신한 제2 움직임정보를 기초로 결정된 작곡 요소를 이용하여 세 번째 마디(630)를 자동 작곡한다.
도 7은 본 발명의 실시 예에 따른 사용자 참여형 음악 생성 방법의 일 예를 도시한 흐름도이다.
도 7을 참조하면, 음악생성장치(100)는 음악의 트랙과 제어장치 사이를 맵핑한다(S700). 트랙과 제어장치 사이의 맵핑관계의 일 예가 도 4에 도시되어 있다. 음악생성장치(100)는 기 저장된 음악을 재생하거나 또는 실시간 음악을 작곡하여 재생한다(S710). 음악의 재생 동안, 음악생성장치(100)는 제어장치로부터 움직임정보를 수신하면(S720), 움직임정보를 기초로 결정한 작곡 요소를 반영하여 재생 중인 음악의 음 진행을 변경하거나 연주 방식을 변경한다(S730).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (7)

  1. 음악 재생 중에 적어도 하나 이상의 제어장치로부터 움직임정보를 수신하는 단계; 및
    상기 제어장치로부터 수신한 움직임정보를 기초로 재생 중인 음악의 음 진행을 변경하거나 연주 방식을 변경하는 단계;를 포함하는 것을 특징으로 하는 실시간 사용자 참여형 음악 생성 방법.
  2. 제 1항에 있어서,
    자동작곡알고리즘을 이용하여 음악을 실시간 작곡하는 단계;를 더 포함하고,
    상기 변경하는 단계는, 상기 움직임정보를 기초로 결정한 리듬, 음정, 음역대의 변경요청사항을 상기 자동작곡알고리즘에 입력하는 단계;를 포함하는 것을 특징으로 하는 실시간 사용자 참여형 음악 생성 방법.
  3. 제 1항에 있어서,
    상기 움직임정보는 제어장치의 움직임 속도나 빈도, 움직임 방향, 위치 또는 가속도를 포함하는 것을 특징으로 하는 실시간 사용자 참여형 음악 생성 방법.
  4. 제 1항에 있어서,
    복수의 제어장치를 각 음악트랙과 맵핑하는 단계;를 더 포함하고,
    상기 음악의 음 진행을 변경하는 단계는,
    각 제어장치로부터 수신한 움직임정보를 기초로 각 트랙의 리듬, 음정 또는 음역대를 변경하는 단계;를 포함하는 것을 특징으로 하는 실시간 사용자 참여형 음악 생성 방법.
  5. 제 1항에 있어서,
    복수의 제어장치를 각 음악트랙과 맵핑하는 단계;를 더 포함하고,
    상기 연주 방식을 변경하는 단계는,
    각 제어장치로부터 수신한 움직임정보를 기초로 각 트랙의 악기의 주법 또는 연주 세기를 변경하는 단계;를 포함하는 것을 특징으로 하는 실시간 사용자 참여형 음악 생성 방법.
  6. 적어도 하나 이상의 제어장치와 유선 또는 무선통신을 연결하는 통신부;
    음악생성알고리즘이 저장된 저장부;
    상기 음악생성알고리즘을 실행하는 프로세서; 및
    상기 음악생성알고리즘에 의해 생성된 음악을 출력하는 스피커;를 포함하고,
    상기 음악생성알고리즘은 음악 재생 중에 상기 적어도 하나 이상의 제어장치로부터 수신한 움직임정보를 기초로 재생 중인 음악의 음 진행을 변경하거나 연주 방식을 변경하는 것을 특징으로 하는 음악생성장치.
  7. 제 1항 내지 제 5항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

KR1020200069841A 2020-06-09 2020-06-09 실시간 사용자 참여형 음악 생성 방법 및 그 장치 KR102390950B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200069841A KR102390950B1 (ko) 2020-06-09 2020-06-09 실시간 사용자 참여형 음악 생성 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200069841A KR102390950B1 (ko) 2020-06-09 2020-06-09 실시간 사용자 참여형 음악 생성 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20210152847A true KR20210152847A (ko) 2021-12-16
KR102390950B1 KR102390950B1 (ko) 2022-04-27

Family

ID=79033385

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200069841A KR102390950B1 (ko) 2020-06-09 2020-06-09 실시간 사용자 참여형 음악 생성 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102390950B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230147296A (ko) 2022-04-14 2023-10-23 전주대학교 산학협력단 움직임 유도를 위한 악기 제외 또는 추가를 이용하는 음악 피드백 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002341870A (ja) * 2001-05-15 2002-11-29 Yamaha Corp 楽音制御システムおよび楽音制御装置
KR20150072597A (ko) * 2013-12-20 2015-06-30 삼성전자주식회사 멀티미디어 장치 및 이의 음악 작곡 방법, 그리고 노래 보정 방법
KR20200047198A (ko) * 2018-10-26 2020-05-07 주식회사 크리에이티브마인드 자동작곡장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002341870A (ja) * 2001-05-15 2002-11-29 Yamaha Corp 楽音制御システムおよび楽音制御装置
KR20150072597A (ko) * 2013-12-20 2015-06-30 삼성전자주식회사 멀티미디어 장치 및 이의 음악 작곡 방법, 그리고 노래 보정 방법
KR20200047198A (ko) * 2018-10-26 2020-05-07 주식회사 크리에이티브마인드 자동작곡장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230147296A (ko) 2022-04-14 2023-10-23 전주대학교 산학협력단 움직임 유도를 위한 악기 제외 또는 추가를 이용하는 음악 피드백 시스템

Also Published As

Publication number Publication date
KR102390950B1 (ko) 2022-04-27

Similar Documents

Publication Publication Date Title
JP4306754B2 (ja) 楽曲データ自動生成装置及び音楽再生制御装置
JPWO2008004690A1 (ja) 携帯型和音出力装置、コンピュータプログラムおよび記録媒体
JP5377878B2 (ja) プログラム、情報記憶媒体、及びゲームシステム
JP2014217627A (ja) 身体動作評価装置、カラオケシステム、及びプログラム
JP4797523B2 (ja) 合奏システム
JP4496993B2 (ja) 楽音制御装置
JP2018534631A (ja) オーディオコンテンツのダイナミック変更
JP5313196B2 (ja) 難易度算出装置、難易度算出方法及びコンピュータプログラム
JP4225812B2 (ja) ディジタル楽譜の音符とその楽譜のリアリゼーションとの間のリンクを生成する方法
KR102390950B1 (ko) 실시간 사용자 참여형 음악 생성 방법 및 그 장치
JP6065703B2 (ja) 基準データ作成システム、及び演奏端末装置
JP7367835B2 (ja) 録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器
JP2006251376A (ja) 楽音制御装置
JPH07306687A (ja) 音響再生処理装置およびそのシステム
JP5842383B2 (ja) カラオケシステム及びカラオケ装置
KR102240872B1 (ko) 주변 환경 기반의 자동 작곡 방법 및 그 장치
US20090282965A1 (en) Musical sound device
JP3812510B2 (ja) 演奏データ処理方法および楽音信号合成方法
JP5394301B2 (ja) タイミング指定装置、曲再生装置、カラオケシステム及びタイミング指定方法
US8294015B2 (en) Method and system for utilizing a gaming instrument controller
JP2737169B2 (ja) 自動伴奏装置
WO2022172732A1 (ja) 情報処理システム、電子楽器、情報処理方法および機械学習システム
JP4134624B2 (ja) 再生制御情報作成装置とプログラム
JP2010185973A (ja) 発音制御装置
JP2006251054A (ja) 楽音制御装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right