KR101975193B1 - Automatic composition apparatus and computer-executable automatic composition method - Google Patents
Automatic composition apparatus and computer-executable automatic composition method Download PDFInfo
- Publication number
- KR101975193B1 KR101975193B1 KR1020170152311A KR20170152311A KR101975193B1 KR 101975193 B1 KR101975193 B1 KR 101975193B1 KR 1020170152311 A KR1020170152311 A KR 1020170152311A KR 20170152311 A KR20170152311 A KR 20170152311A KR 101975193 B1 KR101975193 B1 KR 101975193B1
- Authority
- KR
- South Korea
- Prior art keywords
- accompaniment
- user
- melody
- song
- sound source
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/105—Composing aid, e.g. for supporting creation, edition or modification of a piece of music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/111—Automatic composing, i.e. using predefined musical rules
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Description
본 발명은 자동 작곡 기술에 관한 것으로, 보다 상세하게는 반주와 함께 입력받은 사용자 노래를 기초로 작곡한 음원을 제공할 수 있는 자동 작곡 장치 및 컴퓨터 수행 가능한 자동 작곡 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to automatic composing techniques, and more particularly, to an automatic composing apparatus and a computer-executable automatic composing method capable of providing a music composition based on a user song inputted together with accompaniment.
자동 작곡 기술은 음악 작곡을 위해 떠오른 악상을 기록하는 것을 자동으로 수행하여 작곡능력이 부족한 사람들이 쉽게 작곡을 할 수 있도록 도와줄 수 있다. 종래에 제시되었던 자동 작곡 기술들은 실질적인 작곡을 하는 것이 아닌 단순한 음악 파편들을 조합하는 것에 불과하여 고품질의 결과물을 제공하기 어렵다.Auto-composing technology automatically records the emerging rogues for music composition, which can help people with low ability to write easily. The conventional automatic composition techniques merely combine simple music fragments rather than actual composition, and it is difficult to provide high-quality results.
한국등록특허 제 10-1191907(2012.10.10)호는 자동작곡시스템 및 이를 이용한 자동작곡방법, 그 방법이 기록된 기록매체에 관한 것으로, 특히 자동작곡시스템은 다양한 음원을 튜닝작업을 거쳐 PCM(pulse code modulation) 데이터로 추출하고 장르에 맞는 악기별로 음원을 압축하여 재료음원을 형성하는 음원라이브러리부와 상기 음원라이브러리부에서 제공되는 상기 재료음원을 토대로, 장르에 따라 설정된 악기의 트랙을 구성하고, 코드와 코드를 연결하여 음원을 완성하는 음원완성부, 상기 완성된 음원을 암호화하거나 복호화하는 복합코딩부를 포함하여 구성될 수 있다.Korean Patent No. 10-1191907 (Oct. 10, 2012) relates to an automatic composing system, an automatic composing method using the same, and a recording medium on which the method is recorded. Specifically, the automatic composing system includes a PCM a sound source library unit for extracting the sound source from the sound source library unit and generating a material sound source by compressing the sound source for each genre according to the genre, and a track of the musical instrument set according to the genre on the basis of the material sound source provided by the sound source library unit, And a complex coding unit for encrypting or decrypting the completed sound source.
한국공개특허 제10-2016-0076775(2016.07.01)호는 입력 곡 정보에 기반한 자동 작곡 프로그램 및 시스템에 관한 것으로, 창작에 대한 인간의 정신적 활동이 완전히 배제된 상태에서도 결과물에 곡 분위기, 수준 등에 대한 입력자의 의도가 최대한 반영될 수 있고, 마코프 체인 모델 이론을 적용함으로써 입력된 기존곡의 카피가 아니면서도 해당 곡의 분위기 등이 충실히 표현된 결과물을 생성할 수 있는 자동 작곡 프로그램을 제공할 수 있다.Korean Patent Laid-Open No. 10-2016-0076775 (2016.07.01) relates to an automatic composition program and system based on input song information. Even if human mental activity on creation is completely excluded, It is possible to provide an automatic composition program capable of generating an output in which the ambience of the song is not exactly a copy of the input original song but is faithfully expressed by applying the Markov chain model theory .
본 발명의 일 실시예는 반주와 함께 입력받은 사용자 노래를 기초로 작곡한 음원을 제공할 수 있는 자동 작곡 장치 및 컴퓨터 수행 가능한 자동 작곡 방법을 제공하고자 한다.An embodiment of the present invention is to provide an automatic composing apparatus and a computer-executable automatic composing method capable of providing a music composition based on a user song input together with accompaniment accompaniment.
본 발명의 일 실시예는 반주와 사용자 노래가 포함된 음원으로부터 사용자 노래를 분리하여 멜로디를 분석할 수 있는 자동 작곡 장치 및 컴퓨터 수행 가능한 자동 작곡 방법을 제공하고자 한다.An embodiment of the present invention is to provide an automatic composition device and a computer-executable automatic composition method capable of analyzing a melody by separating a user song from a sound source including an accompaniment and a user song.
본 발명의 일 실시예는 음원으로부터 분리된 멜로디를 기초로 추천 반주의 합성, 사용자 목소리의 보정 및 멜로디에 해당하는 음의 악기 연주 생성 중 적어도 하나를 수행할 수 있는 자동 작곡 장치 및 컴퓨터 수행 가능한 자동 작곡 방법을 제공하고자 한다.An embodiment of the present invention provides an automatic composition device capable of performing at least one of synthesis of a recommended accompaniment based on a melody separated from a sound source, correction of a user's voice, and generation of a musical instrument performance corresponding to a melody, And to provide a composition method.
실시예들 중에서, 자동 작곡 장치는 반주와 사용자 노래를 포함한 음원을 수신하는 음원 수신부, 상기 음원으로부터 상기 사용자 노래를 분리하여 멜로디를 분석하는 멜로디 분석부 및 상기 멜로디를 기초로 상기 반주의 수정, 상기 사용자 노래의 수정 및 상기 멜로디의 악기 연주 생성 중 적어도 하나를 수행하는 자동 작곡부를 포함한다.In an embodiment of the present invention, the automatic composing apparatus includes a sound source receiving unit for receiving a sound source including an accompaniment and a user song, a melody analyzing unit for analyzing the melody by separating the user song from the sound source, And an automatic composition unit for performing at least one of modification of a user song and generation of musical instrument performance of the melody.
상기 음원 수신부는 상기 반주를 사용자 제어를 통해 선택하고 상기 선택된 반주가 재생되는 동안 상기 사용자 노래를 수신하여 상기 선택된 반주와 상기 사용자 노래를 합성할 수 있다.The sound source receiving unit may select the accompaniment through user control and receive the user song while the selected accompaniment is being reproduced to synthesize the selected accompaniment and the user song.
상기 음원 수신부는 사용자의 반주 선택 히스토리(History)를 학습하고 날짜, 시간 및 환경 중 적어도 하나를 반영하여 상기 반주를 자동으로 선택 또는 추천할 수 있다.The sound source receiver may learn the accompaniment selection history of the user and automatically select or recommend the accompaniment by reflecting at least one of date, time, and environment.
상기 음원 수신부는 특정 기간 동안의 반주 선택 범용트랜드(Trend), 지역, 국가 및 이벤트 중 적어도 하나를 반영하여 상기 반주의 스타일, 분위기 및 장르 중 적어도 하나를 선택 또는 추천할 수 있다.The sound source receiving unit may select or recommend at least one of the style, atmosphere, and genre of the accompaniment by reflecting at least one of an accompaniment selection general trend, a region, a country, and an event for a specific period.
상기 멜로디 분석부는 상기 음원으로부터 사용자 목소리 입력 여부 및 상기 사용자 목소리의 입력 부분을 판단할 수 있다.The melody analyzing unit may determine whether a user voice is input from the sound source and an input part of the user voice.
상기 멜로디 분석부는 상기 음원으로부터 독창, 2중창 및 3중창을 포함하는 합창 여부를 판단할 수 있다.The melody analyzing unit may determine whether or not it is a chorus including solo, duo, and trio from the sound source.
상기 멜로디 분석부는 상기 사용자 노래에 관한 피치 추출, BPM(beats per minute) 추정, 조성 추정, 사용자 성별 추정, 사용자 분위기 추정 및 사용자 스타일 추정 중 적어도 하나를 수행할 수 있다.The melody analyzer may perform at least one of pitch extraction, beats per minute (BPM) estimation, composition estimation, user gender estimation, user atmosphere estimation, and user style estimation for the user song.
상기 자동 작곡부는 상기 사용자 노래에 관한 피치, BPM, 조성, 사용자 성별, 사용자 분위기 및 사용자 스타일 중 적어도 하나를 기초로 신규의 반주를 생성하여 상기 반주의 수정으로서 상기 신규의 반주를 추천할 수 있다.The automatic composer may create a new accompaniment based on at least one of a pitch, a BPM, a composition, a user gender, a user atmosphere, and a user style for the user song to recommend the new accompaniment as a modification of the accompaniment.
상기 자동 작곡부는 상기 사용자 노래에 관한 음 높이, 음 길이 및 음 떨림 중 적어도 하나를 보정할 수 있다.The automatic composition unit may correct at least one of a pitch, a pitch, and a pitch of the user song.
상기 자동 작곡부는 목소리 변형 필터를 통해 상기 사용자 노래의 보정을 수행할 수 있다.The automatic composition unit may perform the correction of the user song through a voice transformation filter.
상기 자동 작곡부는 상기 사용자 노래에 관한 음에 해당하는 악기를 결정하고 상기 결정된 악기로 상기 멜로디를 연주하여 상기 반주에 합성할 수 있다.The automatic composition unit may determine an instrument corresponding to the sound related to the user song and synthesize the melody to the accompaniment by playing the melody with the determined instrument.
상기 자동 작곡 장치는 사용자 선택에 따라 상기 반주의 수정, 상기 사용자 노래의 수정 및 상기 멜로디의 악기 연주 생성 중 하나를 선택하여 상기 음원에 관한 작곡을 자동으로 완성하는 자동 작곡 완성부를 더 포함할 수 있다.The automatic composing apparatus may further include an automatic composition completion unit for automatically completing a composition of the sound source by selecting one of modification of the accompaniment, modification of the user song, and creation of musical instrument performance of the melody according to user's selection .
실시예들 중에서, 컴퓨터 수행 가능한 자동 작곡 방법은 반주와 사용자 노래를 포함한 음원을 수신하는 음원 수신단계, 상기 음원으로부터 상기 사용자 노래를 분리하여 멜로디를 분석하는 멜로디 분석단계 및 상기 멜로디를 기초로 상기 반주의 수정, 상기 사용자 노래의 수정 및 상기 멜로디의 악기 연주 생성 중 적어도 하나를 수행하는 자동 작곡단계를 포함한다.Among the embodiments, a computer-executable automatic composition method includes a sound source receiving step of receiving a sound source including an accompaniment and a user song, a melody analysis step of analyzing the melody by separating the user song from the sound source, A modification of the user song, and a musical instrument performance creation of the melody.
상기 멜로디 분석 단계는 상기 반주에 관한 스피커 출력 신호와 마이크 수신 신호 간의 시간 차이, 세기 차이, 스피커 출력신호의 주파수별 크기, 분포, 경향 및 신호형태 왜곡 모델 중 적어도 하나를 기초로 상기 음원으로부터 상기 반주와 상기 사용자 노래를 분리할 수 있다.The melody analyzing step may include analyzing the melody of the accompaniment based on at least one of a time difference, an intensity difference between the speaker output signal and the microphone receiving signal related to the accompaniment, a size, a distribution, a tendency, And the user song.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technique may have the following effects. It is to be understood, however, that the scope of the disclosed technology is not to be construed as limited thereby, as it is not meant to imply that a particular embodiment should include all of the following effects or only the following effects.
본 발명의 일 실시예에 따른 자동 작곡 장치 및 컴퓨터 수행 가능한 자동 작곡 방법은 반주와 사용자 노래가 포함된 음원으로부터 사용자 노래를 분리하여 멜로디를 분석할 수 있다.The automatic composing apparatus and the computer-executable automatic composing method according to an embodiment of the present invention can analyze a melody by separating a user song from a sound source including an accompaniment and a user song.
본 발명의 일 실시예에 따른 자동 작곡 장치 및 컴퓨터 수행 가능한 자동 작곡 방법은 음원으로부터 분리된 멜로디를 기초로 추천 반주의 합성, 사용자 목소리의 보정 및 멜로의 악기 연주 생성 중 적어도 하나를 수행할 수 있다.The automatic composing apparatus and the computer-executable automatic composing method according to an embodiment of the present invention can perform at least one of synthesizing a recommendation accompaniment based on a melody separated from a sound source, correcting a user's voice, and generating a melody musical instrument performance .
도 1은 본 발명의 일 실시예에 따른 자동 작곡 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 자동 작곡 장치를 설명하는 블록도이다.
도 3은 도 1에 있는 자동 작곡 장치에서 자동 작곡을 수행하는 과정을 설명하는 흐름도이다.
도 4는 도 1에 있는 사용자 단말 상에서 반주와 사용자 노래를 입력받는 과정을 설명한 도면이다.
도 5는 도 1에 있는 자동 작곡 장치에서 자동 작곡을 수행하는 과정을 설명한 도면이다.
도 6은 도 2에 있는 음원 수신부에서 사용자 단말에 제공한 반주 선택 인터페이스의 일 실시예를 나타내는 예시도이다.1 is a view for explaining an automatic composition system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating the automatic composer of FIG. 1. FIG.
FIG. 3 is a flowchart illustrating a process of performing automatic composition in the automatic composition apparatus shown in FIG. 1. FIG.
FIG. 4 is a diagram illustrating a process of receiving an accompaniment and a user song on the user terminal of FIG. 1;
5 is a diagram for explaining a process of performing automatic composition in the automatic composition apparatus shown in FIG.
FIG. 6 is an exemplary diagram illustrating an embodiment of an accompaniment selection interface provided to a user terminal in the tone generator receiving unit shown in FIG. 2. FIG.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The description of the present invention is merely an example for structural or functional explanation, and the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas. Also, the purpose or effect of the present invention should not be construed as limiting the scope of the present invention, since it does not mean that a specific embodiment should include all or only such effect.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present application should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms " first ", " second ", and the like are intended to distinguish one element from another, and the scope of the right should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It is to be understood that the singular " include " or " have " are to be construed as including the stated feature, number, step, operation, It is to be understood that the combination is intended to specify that it does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, the identification code does not describe the order of each step, Unless otherwise stated, it may occur differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer-readable code on a computer-readable recording medium, and the computer-readable recording medium includes all kinds of recording devices for storing data that can be read by a computer system . Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the related art and can not be interpreted as having ideal or overly formal meaning unless explicitly defined in the present application.
도 1은 본 발명의 일 실시예에 따른 자동 작곡 시스템을 설명하는 도면이다.1 is a view for explaining an automatic composition system according to an embodiment of the present invention.
도 1을 참조하면, 자동 작곡 시스템(100)은 사용자 단말(110), 자동 작곡 장치(130) 및 데이터베이스(150)를 포함할 수 있다.Referring to FIG. 1, the
사용자 단말(110)은 사용자의 노래를 입력받고 자동으로 작곡한 음원을 재생할 수 있는 컴퓨팅 장치에 해당하고, 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(110)은 자동 작곡 장치(130)와 네트워크를 통해 연결될 수 있고, 사용자 단말 1(110a) 내지 사용자 단말 n(110n)을 포함하는 적어도 하나의 사용자 단말(110)은 자동 작곡 장치(130)와 동시에 연결될 수 있다. 사용자 단말(110)은 사용자 노래를 수신할 수 있는 마이크, 반주 또는 음원을 재생할 수 있는 스피커를 포함할 수 있다.The
자동 작곡 장치(130)는 네트워크를 통해 사용자 단말(110)로부터 반주와 사용자 노래를 포함하는 음원을 수신할 수 있고, 수신한 음원을 기초로 자동으로 작곡을 수행하여 사용자 단말(110)에 제공할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 자동 작곡 장치(130)는 사용자 단말(110)과 블루투스, WiFi 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 주고 받을 수 있다.The automatic
자동 작곡 장치(130)는 데이터베이스(150)를 포함하여 구현될 수 있고, 데이터베이스(150)와 별도로 구현될 수 있다. 데이터베이스(150)와 별도로 구현된 경우 자동 작곡 장치(130)는 데이터베이스(150)와 유선 또는 무선으로 연결되어 데이터를 송수신할 수 있다.The
데이터베이스(150)는 자동 작곡 장치(130)가 사용자 단말(110)에게 자동 작곡된 음원을 제공하기 위해 사용하는 다양한 정보들을 저장하는 저장장치이다. 예를 들어, 데이터베이스(150)는 다양한 반주, 악보, 악기 및 멜로디에 관한 정보를 저장할 수 있고, 사용자별 반주 선택 히스토리(History), 특정 기간 동안의 반주 선택에 관한 범용트랜드(Trend), 사용자 성별과 분위기 및 스타일에 관한 통계 정보 및 목소리 변형 필터에 관한 정보들을 저장할 수 있으며, 반드시 이에 한정되지 않고, 음원을 수신받아 자동으로 작곡을 수행하여 제공하는데 필요한 다양한 형태의 정보들을 저장할 수 있다.The
데이터베이스(150)는 특정 범위에 속하는 정보들을 저장하는 적어도 하나의 독립된 서브-데이터베이스들로 구성될 수 있고, 적어도 하나의 독립된 서브-데이터베이스들이 하나로 통합된 통합 데이터베이스로 구성될 수 있다. 적어도 하나의 독립된 서브-데이터베이스들로 구성되는 경우에는 각각의 서브-데이터베이스들은 블루투스, WiFi 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 상호 간의 데이터를 주고 받을 수 있다. 통합 데이터베이스로 구성되는 경우에는 각각의 서브-데이터베이스들을 하나로 통합하고 상호 간의 데이터 교환 및 제어 흐름을 관리하는 제어부를 포함할 수 있다.The
도 2는 도 1에 있는 자동 작곡 장치를 설명하는 블록도이다.FIG. 2 is a block diagram illustrating the automatic composer of FIG. 1. FIG.
도 2를 참조하면, 자동 작곡 장치(130)는 음원 수신부(210), 멜로디 분석부(220), 자동 작곡부(230), 자동 작곡 완성부(240) 및 제어부(250)를 포함할 수 있다.2, the
음원 수신부(210)는 사용자 단말(110)로부터 반주와 사용자 노래를 포함한 음원을 수신할 수 있다. 음원 수신부(210)는 사용자 단말(110)로부터 반주와 사용자 노래를 독립적으로 수신할 수 있고, 반주와 사용자 노래가 합쳐진 음원 파일을 직접 수신할 수 있다. 일 실시예에서, 음원 수신부(210)는 사용자 단말(110)에 저장된 반주를 수신할 수 있고, 데이터베이스(150)에 저장된 반주를 수신할 수 있다.The sound
일 실시예에서, 음원 수신부(210)는 반주를 사용자 제어를 통해 선택하고 선택된 반주가 재생되는 동안 사용자 노래를 수신하여 선택된 반주와 사용자 노래를 합성할 수 있다. 보다 구체적으로, 자동 작곡 장치(130)는 사용자 단말(110)을 통해 사용자가 선택한 반주를 재생할 수 있다. 음원 수신부(210)는 사용자 단말(110)을 통해 반주가 재생되는 동안 사용자 노래를 수신하여 저장할 수 있다. 음원 수신부(210)는 저장된 사용자 노래를 반주와 합성하여 음원을 생성할 수 있고, 데이터베이스(150)에 저장할 수 있다.In one embodiment, the
일 실시예에서, 음원 수신부(210)는 사용자 단말(110)을 통해 재생되는 반주와 사용자 노래를 함께 수신하여 음원을 생성할 수 있다. 일 실시예에서, 음원 수신부(210)는 사용자의 허밍(Humming)을 사용자의 노래로써 수신할 수 있다.In one embodiment, the sound
일 실시예에서, 음원 수신부(210)는 사용자의 반주 선택 히스토리(History)를 학습하고 날짜, 시간 및 환경 중 적어도 하나를 반영하여 반주를 자동으로 선택 또는 추천할 수 있다. 음원 수신부(210)는 사용자로부터 특정 반주에 대한 선택을 수신할 수 있는 반주 선택 인터페이스(Interface)를 사용자 단말(110)에 제공할 수 있다.In one embodiment, the
음원 수신부(210)는 사용자의 반주 선택을 수신한 경우, 일반적인 학습 알고리즘을 통해 학습하고 데이터베이스(150)에 저장할 수 있다. 일 실시예에서, 음원 수신부(210)는 데이터베이스(150)로부터 특정 기간 동안의 사용자 선택 히스토리를 추출할 수 있고, 추출된 사용자 선택 히스토리를 기초로 학습을 수행할 수 있다.When receiving the accompaniment selection of the user, the sound
음원 수신부(210) 사용자의 반주 선택 히스토리 학습 결과를 기초로 현재 시점의 날짜, 시간 및 환경 중 적어도 하나를 반영하여 반주를 자동으로 선택 또는 추천할 수 있다. 자동 작곡 장치(130)는 날짜, 시간 및 환경 중 반영할 항목 및 그 조합을 자동 또는 수동으로 설정할 수 있고, 반드시 이에 한정되지 않고, 반영 항목을 추가하거나 새로운 조합을 추가하여 설정할 수 있다. 음원 수신부(210)는 반주를 자동으로 선택하는 경우 사용자로부터 선택된 반주의 재생 여부를 수신받을 수 있는 인터페이스를 제공할 수 있고, 반주를 자동으로 추천하는 경우에는 적어도 하나의 추천 반주 중 어느 하나를 선택할 수 있는 인터페이스를 제공할 수 있다.It is possible to automatically select or recommend the accompaniment by reflecting at least one of the date, time, and environment of the current time based on the result of learning the accompaniment selection history of the user of the
일 실시예에서, 음원 수신부(210)는 특정 기간 동안의 반주 선택 범용트랜드(Trend), 지역, 국가 및 이벤트 중 적어도 하나를 반영하여 반주의 스타일(Style), 분위기(mood) 및 장르(Genre) 중 적어도 하나를 선택 또는 추천할 수 있다. In one embodiment, the
여기에서, 반주 선택 범용트랜드는 특정 기간 동안 특정 지역의 사용자들이 반주를 선택하는 경향이나 유행을 의미할 수 있다. 이벤트는 현재 사용자 단말(110)의 위치를 기준으로 지역 또는 국가의 행사, 연휴, 기념일에 해당할 수 있고, 위치와 관계없는 국제적인 행사에 해당할 수 있으며, 반드시 이에 해당하지 않고, 사용장의 반주 선택에 영향을 줄 수 있는 다양한 이벤트를 포함할 수 있다. Here, the accompaniment selection general trend may mean a tendency or fashion for users of a particular area to select an accompaniment for a certain period of time. The event may correspond to a local or national event, holiday, or anniversary based on the location of the
음원 수신부(210)는 사용자 단말(110)에 포함된 GPS를 이용하여 사용자 단말(110)의 현재 위치 정보를 수신할 수 있고, 위치 정보를 기초로 현재의 지역 및 국가를 결정할 수 있다. 음원 수신부(210)는 반주의 스타일, 분위기 및 장르 각각을 독립적으로 선택할 수 있는 인터페이스를 제공할 수 있다.The sound
일 실시예에서, 음원 수신부(210)는 사용자 단말(110)에 반주, 반주의 스타일, 분위기 및 장르 중 적어도 하나를 선택 또는 추천할 수 있는 인터페이스를 제공하면서 선택 또는 추천에 반영한 요소를 기준으로 우선순위가 높은 순서에 따라 선택 버튼의 크기를 동적으로 결정할 수 있다. 예를 들어, 음원 수신부(210)는 반주를 추천하면서, 사용자의 반주 선택 히스토리를 기초로 가장 많이 선택한 반주에 관한 버튼 크기를 가장 크게 하여 사용자 단말(110)에 제공할 수 있다.In one embodiment, the sound
멜로디 분석부(220)는 음원 수신부(210)를 통해 수신한 음원으로부터 사용자 노래를 분리하여 멜로디를 분석할 수 있다. 멜로디 분석부(220)는 수신한 음원으로부터 수신된 반주를 제거함으로써 사용자 노래를 분리할 수 있다. 멜로디 분석부(220)는 음원 수신부(210)를 통해 반주와 사용자 노래를 독립적으로 수신한 경우 분리 과정없이 사용자 노래를 이용하여 멜로디를 분석할 수 있다. The
일 실시예에서, 멜로디 분석부(220)는 반주에 관한 스피커 출력 신호와 마이크 수신 신호 간의 시간 차이, 세기 차이, 스피커 출력신호의 주파수별 크기, 분포, 경향 및 신호형태 왜곡 모델 중 적어도 하나를 기초로 음원으로부터 반주와 사용자 노래를 분리할 수 있다.In one embodiment, the
일 실시예에서, 멜로디 분석부(220)는 음원으로부터 사용자 목소리 입력 여부 및 사용자 목소리의 입력 부분을 판단할 수 있다. 멜로디 분석부(220)는 사용자 단말(110)을 통해 재생된 반주를 사용자 노래와 함께 입력받을 수 있고, 재생된 반주 및 수신한 반주를 기초로 해당 음원으로부터 사용자 목소리 입력 여부 및 사용자 목소리의 입력 부분을 판단할 수 있다.In one embodiment, the
일 실시예에서, 멜로디 분석부(220)는 음원으로부터 독창, 2중창 및 3중창을 포함하는 합창 여부를 판단할 수 있다. 멜로디 분석부(220)는 음원으로부터 사용자 노래를 분리한 후 분리된 사용자 노래를 분석하여 합창 여부를 판단할 수 있다. 멜로디 분석부(220)는 음원 분석을 통해 합창인 것으로 판단된 경우, 2중창 또는 3중창 등을 포함하여 특정 수의 목소리가 포함된 합창인지를 판단할 수 있다.In one embodiment, the
일 실시예에서, 멜로디 분석부(220)는 사용자 노래에 관한 피치 추출, BPM(beats per minute) 추정, 조성 추정, 사용자 성별 추정, 사용자 분위기 추정 및 사용자 스타일 추정 중 적어도 하나를 수행할 수 있다. 멜로디 분석부(220)는 음원으로부터 음원의 특징들을 추출할 수 있고, 추출된 음원의 특징들을 기초로 해당 음원의 피치를 추출할 수 있으며, BPM, 조성, 사용자의 성별, 사용자의 분위기 및 사용자의 스타일을 추정할 수 있다.In one embodiment, the
자동 작곡부(230)는 멜로디 분석부(220)를 통해 음원으로부터 분석된 멜로디를 기초로 반주의 수정, 사용자 노래의 수정 및 멜로디의 악기 연주 생성 중 적어도 하나를 수행할 수 있다. 자동 작곡부(230)는 반주의 수정, 사용자 노래의 수정 및 멜로디의 악기 연주 생성에 관해 사용자의 선택을 받을 수 있도록 사용자 단말(110)에 인터페이스를 제공할 수 있다.The
일 실시예에서, 자동 작곡부(230)는 사용자 노래에 관한 피치, BPM, 조성, 사용자 성별, 사용자 분위기 및 사용자 스타일 중 적어도 하나를 기초로 신규의 반주를 생성하여 반주의 수정으로서 신규의 반주를 추천할 수 있다. 자동 작곡부(230)는 사용자 단말(110)에게 신규 반주를 들을 수 있고, 기존 반주의 신규 반주로의 수정을 확인할 수 있는 인터페이스를 제공할 수 있다.In one embodiment, the
일 실시예에서, 자동 작곡부(230)는 사용자 노래에 관한 음 높이, 음 길이 및 음 떨림 중 적어도 하나를 보정할 수 있다. 자동 작곡부(230)는 사용자 노래에 관한 음 높이, 음 길이 및 음 떨림 중 적어도 하나를 보정할 수 있는 인터페이스를 사용자 단말(110)에 제공할 수 있다. 인터페이스에는 음원 전체 구간에 대해 음 높이, 음 길이 및 음 떨림 각각의 추정 값을 포함하고, 보정 값을 입력할 수 있는 입력 기능을 포함할 수 있다.In one embodiment, the
일 실시예에서, 자동 작곡부(230)는 목소리 변형 필터를 통해 사용자 노래의 보정을 수행할 수 있다. 자동 작곡부(230)는 특정 목소리 변형 필터를 선택할 수 있는 인터페이스를 사용자 단말(110)에 제공할 수 있다. 인터페이스에는 특정 목소리 변형 필터를 적용한 노래를 실시간으로 들을 수 있는 출력 기능을 포함할 수 있다.In one embodiment, the
일 실시예에서, 자동 작곡부(230)는 사용자 노래에 관한 음에 해당하는 악기를 결정하고 결정된 악기로 멜로디를 연주하여 반주에 합성할 수 있다. 자동 작곡부(230)는 사용자 노래에 관한 음에 관한 악기를 자동으로 결정할 수 있고 사용자 단말(110)을 통해 입력받을 수 있다. 자동 작곡부(230)는 결정된 악기로 멜로디 분석부(220)를 통해 분석된 멜로디에 맞춰 연주한 연주음을 생성할 수 있고, 생성된 연주음을 반주에 합성할 수 있다. 자동 작곡부(230)는 사용자로부터 연주음 생성에 사용할 악기의 선택을 입력받을 수 있고, 선택된 악기를 통해 생성된 연주음 및 연주음과 반주를 합성한 음원을 들을 수 있는 인터페이스를 사용자 단말(110)에 제공할 수 있다.In one embodiment, the
자동 작곡 완성부(240)는 사용자 선택에 따라 반주의 수정, 사용자 노래의 수정 및 멜로디의 악기 연주 생성 중 하나를 선택하여 음원에 관한 작곡을 자동으로 완성할 수 있다. 자동 작곡 완성부(240)는 사용자의 선택을 입력받을 수 있는 인터페이스를 사용자 단말(110)에 제공할 수 있다. 자동 작곡 완성부(240)는 사용자 단말(110)로부터 입력된 사용자의 선택에 따라, 음원으로부터 사용자 노래를 분리하고, 멜로디를 분석한 후 사용자의 선택에 따라 작곡을 자동으로 완성할 수 있다.The automatic
보다 구체적으로, 자동 작곡 완성부(240)는 사용자가 반주의 수정을 선택한 경우, 사용자 노래에 관한 피치, BPM, 조성, 사용자 성별, 사용자 분위기 및 사용자 스타일 중 적어도 하나를 기초로 신규의 반주를 생성하여 사용자의 노래와 합성함으로써 새로운 음원을 생성할 수 있다.More specifically, the automatic
자동 작곡 완성부(240)는 사용자가 사용자 노래의 수정을 선택한 경우, 사용자 노래에 관한 음 높이, 음 길이 및 음 떨림 중 적어도 하나를 보정한 후 반주와 합성함으로써 새로운 음원을 생성할 수 있다. 또한, 자동 작곡 완성부(240)는 목소리 변형 필터를 통해 사용자 노래의 보정을 수행한 후 반주와 합성함으로써 새로운 음원을 생성할 수 있다.The automatic
자동 작곡 완성부(240)는 사용자가 멜로디의 악기 연주 생성을 선택한 경우, 사용자 노래에 관한 음에 해당하는 악기를 자동으로 결정하고 결정된 악기로 멜로디를 연주하여 반주에 합성한 후 사용자 노래와 합성하여 새로운 음원을 생성할 수 있다.The automatic
제어부(250)는 자동 작곡 장치(130)의 전체적인 동작을 제어하고, 음원 수신부(210), 멜로디 분석부(220), 자동 작곡부(230) 및 자동 작곡 완성부(240) 간의 제어 흐름 및 데이터 흐름을 관리할 수 있다. The
도 3은 도 1에 있는 자동 작곡 장치에서 자동 작곡을 수행하는 과정을 설명하는 흐름도이다.FIG. 3 is a flowchart illustrating a process of performing automatic composition in the automatic composition apparatus shown in FIG. 1. FIG.
도 3을 참조하면, 자동 작곡 장치(130)는 음원 수신부(210)를 통해 반주와 사용자 노래를 포함한 음원을 수신할 수 있다(단계 S310). 자동 작곡 장치(130)는 멜로디 분석부(220)를 통해 음원으로부터 사용자 노래를 분리하여 멜로디를 분석할 수 있다(단계 S330). 자동 작곡 장치(130)는 자동 작곡부(230)를 통해 멜로디를 기초로 반주의 수정, 사용자 노래의 수정 및 멜로디의 악기 연주 생성 중 적어도 하나를 수행할 수 있다(단계 S350).Referring to FIG. 3, the
일 실시예에서, 자동 작곡 장치(130)는 자동 작곡 완성부(240)를 통해 사용자 선택에 따라 반주의 수정, 사용자 노래의 수정 및 멜로디의 악기 연주 생성 중 하나를 선택하여 음원에 관한 작곡을 자동으로 완성할 수 있다.In one embodiment, the
도 4는 도 1에 있는 사용자 단말 상에서 반주와 사용자 노래를 입력받는 과정을 설명한 도면이다.FIG. 4 is a diagram illustrating a process of receiving an accompaniment and a user song on the user terminal of FIG. 1;
도 4를 참조하면, 사용자 단말(410) 상에서 반주 선택을 위한 인터페이스를 통해 사용자의 입력(450)을 받을 수 있다. 자동 작곡 장치(130)는 음원 수신부(210)를 통해 반주를 자동 선택하거나 추천할 수 있다(430). 사용자 단말(410)의 스피커를 통해 반주가 재생되는 동안 사용자 단말(410)의 마이크를 통해 사용자 노래를 입력받을 수 있고, 반주와 사용자 노래는 녹음되어 사용자 단말(410)에 저장될 수 있다. 녹음된 음원은 사용자 단말(410)에서 재생하여 사용자가 이를 확인할 수 있다. 자동 작곡 장치(130)는 음원 수신부(210)를 통해 네트워크를 통해 사용자 단말(410)로부터 녹음된 음원을 수신할 수 있다.Referring to FIG. 4, a
도 5는 도 1에 있는 자동 작곡 장치에서 자동 작곡을 수행하는 과정을 설명한 도면이다.5 is a diagram for explaining a process of performing automatic composition in the automatic composition apparatus shown in FIG.
도 5를 참조하면, 자동 작곡 장치(130)는 멜로디 분석부(510)를 통해 음원으로부터 반주와 사용자 노래를 분리할 수 있다. 멜로디 분석부(510)는 반주에 관한 스피커 출력 신호와 마이크 수신 신호 간의 시간 차이, 세기 차이, 스피커 출력신호의 주파수별 크기, 분포, 경향 및 신호형태 왜곡 모델 중 적어도 하나를 기초로 음원으로부터 반주와 사용자 노래를 분리할 수 있다. 멜로디 분석부(510)는 분리된 사용자 노래를 기초로 멜로디를 분석할 수 있다.Referring to FIG. 5, the
자동 작곡 장치(130)는 자동 작곡부(530)를 통해 자동 자곡을 수행할 수 있다. 보다 구체적으로, 자동 작곡부(530)는 멜로디 분리부(510)에 의해 음원으로부터 분리된 멜로디를 기초로 반주의 수정, 사용자 노래의 수정 및 멜로디의 악기 연주 생성 중 적어도 하나를 수행할 수 있다.The
자동 작곡부(530)는 반주의 수정으로써 분석된 멜로디를 기초로 반주를 추천할 수 있고, 추천 반주를 사용자 노래와 합성하여 자동 작곡을 수행할 수 있다. 자동 작곡부(530)는 사용자 노래의 수정으로써 분석된 멜로디를 기초로 사용자 목소리를 보정할 수 있고, 반주와 합성하여 자동 작곡을 수행할 수 있다. 자동 작곡부(530)는 멜로디의 악기 연주 생성으로써 분석된 멜로디를 기초로 멜로디를 악기로 연주한 연주음을 생성할 수 있고, 반주와 합성하여 자동 작곡을 수행할 수 있다. 자동 작곡 장치는 자동 작곡으로 생성된 음원을 재생할 수 있는 인터페이스를 사용자 단말(110)에 제공하여 사용자가 자동 작곡된 음원을 직접 확인하도록 할 수 있다.The
도 6은 도 2에 있는 음원 수신부에서 사용자 단말에 제공한 반주 선택 인터페이스의 일 실시예를 나타내는 예시도이다.FIG. 6 is an exemplary diagram illustrating an embodiment of an accompaniment selection interface provided to a user terminal in the tone generator receiving unit shown in FIG. 2. FIG.
도 6을 참조하면, 음원 수신부(210)는 사용자 단말(110)에 사용자가 반주를 선택할 수 있는 인터페이스를 제공할 수 있다. 음원 수신부(210)는 자동으로 추천된 반주, 반주의 스타일, 분위기 및 장르 중 적어도 하나에 관해 선택할 수 있는 버튼(610, 630)을 제공할 수 있다. 일 실시예에서, 음원 수신부(210)는 버튼의 모양 및 색, 크기 등을 포함하는 디자인을 다양하게 변경하여 사용자 단말(110)에 제공할 수 있다. 예를 들어, 음원 수신부(210)는 버튼 모양을 사각형, 격자무늬의 영역 등으로 구현할 수 있으며, 반드시 이에 한정되지 않고, 인터페이스 전체 디자인 패턴에 맞춰 다양하게 구현할 수 있다.Referring to FIG. 6, the sound
일 실시예에서, 음원 수신부(210)는 특정 기준에 따른 우선순위를 기초로 버튼의 크기를 변경하여 사용자 단말(110)에 제공할 수 있다. 도 6에서, 높은 선호도를 가진 장르의 반주 선택 버튼(610)은 낮은 선호도를 가진 장르의 반주 선택 버튼보다 크게 표시될 수 있다. 또한, 낮은 선호도를 가진 분위기의 반주 선택 버튼(630)은 높은 선호도를 가진 분위기의 반주 선택 버튼보다 작게 표시될 수 있다.In one embodiment, the sound
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that
100: 자동 작곡 시스템
110: 사용자 단말 130: 자동 작곡 장치
150: 데이터베이스
210: 음원 수신부 220: 멜로디 분석부
230: 자동 작곡부 240: 자동 작곡 완성부
250: 제어부
410: 사용자 단말 430: 반주의 자동 선택 또는 추천
450: 사용자 입력
510: 멜로디 분석부 530: 자동 작곡부
610: 높은 선호도를 가진 선택 버튼
630: 낮은 선호도를 가진 선택 버튼100: Automatic composition system
110: user terminal 130: automatic composer
150: Database
210: Sound source receiving unit 220: Melody analyzing unit
230: Automatic composer 240: Automatic composer
250:
410: user terminal 430: automatic selection or recommendation of accompaniment
450: user input
510: melody analyzing unit 530: automatic composition unit
610: Select button with high preference
630: Select button with low affinity
Claims (14)
상기 음원으로부터 상기 사용자 노래를 분리하여 멜로디를 분석하는 멜로디 분석부;
상기 멜로디를 기초로 상기 반주의 수정, 상기 사용자 노래의 수정 및 상기 멜로디의 악기 연주 생성 중 적어도 하나를 수행하는 자동 작곡부; 및
사용자 선택에 따라 상기 반주의 수정, 상기 사용자 노래의 수정 및 상기 멜로디의 악기 연주 생성 중 적어도 하나를 선택하여 상기 음원에 관한 작곡을 자동으로 완성하는 자동 작곡 완성부를 포함하되,
상기 자동 작곡 완성부는
상기 반주의 수정을 선택한 경우 수정된 상기 반주와 상기 사용자 노래를 합성하고, 상기 사용자 노래의 수정을 선택한 경우 수정된 상기 사용자 노래와 상기 반주를 합성하며, 상기 멜로디의 악기 연주 생성을 선택한 경우 생성된 상기 멜로디의 악기 연주와 상기 반주 및 상기 사용자의 노래를 합성하고,
상기 반주의 수정, 상기 사용자 노래의 수정 및 상기 멜로디의 악기 연주 생성 중 복수를 선택한 경우 해당 선택에 따라 수정된 상기 반주, 수정된 상기 사용자 노래 및 생성된 상기 멜로디의 악기 연주를 각각 합성하는 것을 특징으로 하는 자동 작곡 장치.
A sound source receiving unit for receiving a sound source including an accompaniment and a user song;
A melody analyzer for analyzing the melody by separating the user song from the sound source;
An automatic composition unit for performing at least one of modification of the accompaniment based on the melody, modification of the user song, and creation of musical instrument performance of the melody; And
And an automatic composition completion unit for automatically completing a composition of the sound source by selecting at least one of modification of the accompaniment, modification of the user song, and creation of musical instrument performance of the melody according to a user's selection,
The automatic composition completion unit
Synthesizing the modified accompaniment and the user song when the correction of the accompaniment is selected, synthesizing the modified user song and the accompaniment when the modification of the user song is selected, Synthesizing the musical instrument performance of the melody, the accompaniment and the song of the user,
When the plural of the accompaniment is modified, the user song is modified, and the plurality of musical instrument performances of the melody is selected, the modified accompaniment, the modified user song, and the musical instrument performance of the generated melody are synthesized .
상기 반주를 사용자 제어를 통해 선택하고 상기 선택된 반주가 재생되는 동안 상기 사용자 노래를 수신하여 상기 선택된 반주와 상기 사용자 노래를 합성하는 것을 특징으로 하는 자동 작곡 장치.
The apparatus of claim 1, wherein the sound source receiving unit
Selects the accompaniment through user control and receives the user song while the selected accompaniment is being played back to synthesize the selected accompaniment and the user song.
사용자의 반주 선택 히스토리(History)를 학습하고 날짜, 시간 및 환경 중 적어도 하나를 반영하여 상기 반주를 자동으로 선택 또는 추천하는 것을 특징으로 하는 자동 작곡 장치.
3. The apparatus of claim 2, wherein the sound source receiving unit
And automatically selects or recommends the accompaniment based on at least one of a date, a time, and an environment by learning the accompaniment selection history of the user.
특정 기간 동안의 반주 선택 범용트랜드(Trend), 지역, 국가 및 이벤트 중 적어도 하나를 반영하여 상기 반주의 스타일, 분위기 및 장르 중 적어도 하나를 선택 또는 추천하는 것을 특징으로 하는 자동 작곡 장치.
3. The apparatus of claim 2, wherein the sound source receiving unit
And selecting or recommending at least one of the style, atmosphere, and genre of the accompaniment based on at least one of an accompaniment selection general trend, a region, a country, and an event for a specific period.
상기 음원으로부터 사용자 목소리 입력 여부 및 상기 사용자 목소리의 입력 부분을 판단하는 것을 특징으로 하는 자동 작곡 장치.
The apparatus of claim 1, wherein the melody analyzer
And determining whether to input a user voice from the sound source and an input portion of the user voice.
상기 음원으로부터 독창, 2중창 및 3중창을 포함하는 합창 여부를 판단하는 것을 특징으로 하는 자동 작곡 장치.
The apparatus of claim 1, wherein the melody analyzer
And judges whether or not a chorus including solo, duo, and trio is to be chorus from the sound source.
상기 사용자 노래에 관한 피치 추출, BPM(beats per minute) 추정, 조성 추정, 사용자 성별 추정, 사용자 분위기 추정 및 사용자 스타일 추정 중 적어도 하나를 수행하는 것을 특징으로 하는 자동 작곡 장치.
The apparatus of claim 1, wherein the melody analyzer
And performing at least one of pitch extraction, beats per minute (BPM) estimation, composition estimation, user gender estimation, user atmosphere estimation, and user style estimation on the user song.
상기 사용자 노래에 관한 피치, BPM, 조성, 사용자 성별, 사용자 분위기 및 사용자 스타일 중 적어도 하나를 기초로 신규의 반주를 생성하여 상기 반주의 수정으로서 상기 신규의 반주를 추천하는 것을 특징으로 하는 자동 작곡 장치.
8. The apparatus of claim 7, wherein the automatic composer
Generating a new accompaniment based on at least one of a pitch, a BPM, a composition, a user gender, a user atmosphere, and a user style for the user song to recommend the new accompaniment as a modification of the accompaniment. .
상기 사용자 노래에 관한 음 높이, 음 길이 및 음 떨림 중 적어도 하나를 보정하는 것을 특징으로 하는 자동 작곡 장치.
8. The apparatus of claim 7, wherein the automatic composer
And corrects at least one of a pitch height, a sound length and a negative shake of the user song.
목소리 변형 필터를 통해 상기 사용자 노래의 보정을 수행하는 것을 특징으로 하는 자동 작곡 장치.
The apparatus of claim 9, wherein the automatic composition unit
And performs a correction of the user song through a voice transformation filter.
상기 사용자 노래에 관한 음에 해당하는 악기를 결정하고 상기 결정된 악기로 상기 멜로디를 연주하여 상기 반주에 합성하는 것을 특징으로 하는 자동 작곡 장치.
8. The apparatus of claim 7, wherein the automatic composer
Determines an instrument corresponding to the sound related to the user song, and synthesizes the melody to the accompaniment by playing the melody with the determined musical instrument.
상기 음원으로부터 상기 사용자 노래를 분리하여 멜로디를 분석하는 멜로디 분석단계;
상기 멜로디를 기초로 상기 반주의 수정, 상기 사용자 노래의 수정 및 상기 멜로디의 악기 연주 생성 중 적어도 하나를 수행하는 자동 작곡단계; 및
사용자 선택에 따라 상기 반주의 수정, 상기 사용자 노래의 수정 및 상기 멜로디의 악기 연주 생성 중 적어도 하나를 선택하여 상기 음원에 관한 작곡을 자동으로 완성하는 단계를 포함하되,
상기 음원에 관한 작곡을 자동으로 완성하는 단계는
상기 반주의 수정을 선택한 경우 수정된 상기 반주와 상기 사용자 노래를 합성하고, 상기 사용자 노래의 수정을 선택한 경우 수정된 상기 사용자 노래와 상기 반주를 합성하며, 상기 멜로디의 악기 연주 생성을 선택한 경우 생성된 상기 멜로디의 악기 연주와 상기 반주 및 상기 사용자의 노래를 합성하고,
상기 반주의 수정, 상기 사용자 노래의 수정 및 상기 멜로디의 악기 연주 생성 중 복수를 선택한 경우 해당 선택에 따라 수정된 상기 반주, 수정된 상기 사용자 노래 및 생성된 상기 멜로디의 악기 연주를 각각 합성하는 단계인 것을 특징으로 하는 컴퓨터 수행 가능한 자동 작곡 방법.
A sound source receiving step of receiving a sound source including an accompaniment and a user song;
A melody analyzing step of analyzing the melody by separating the user song from the sound source;
An automatic composition step of performing at least one of modification of the accompaniment based on the melody, modification of the user song, and generation of musical instrument performance of the melody; And
Selecting at least one of modification of the accompaniment, modification of the user song, and creation of musical instrument performance of the melody according to a user's selection, and automatically completing the composition of the sound source,
The step of automatically composing the music source
Synthesizing the modified accompaniment and the user song when the correction of the accompaniment is selected, synthesizing the modified user song and the accompaniment when the modification of the user song is selected, Synthesizing the musical instrument performance of the melody, the accompaniment and the song of the user,
Synthesizing the accompaniment, the modified user song, and the musical instrument performance of the generated melody in accordance with the selection, when the plurality of the musical instrument performance is generated during the modification of the accompaniment, the modification of the user song, Lt; RTI ID = 0.0 > of: < / RTI >
상기 반주에 관한 스피커 출력 신호와 마이크 수신 신호 간의 시간 차이, 세기 차이, 스피커 출력신호의 주파수별 크기, 분포, 경향 및 신호형태 왜곡 모델 중 적어도 하나를 기초로 상기 음원으로부터 상기 반주와 상기 사용자 노래를 분리하는 단계인 것을 특징으로 하는 컴퓨터 수행 가능한 자동 작곡 방법.
14. The method of claim 13, wherein the melody analyzing step
The accompaniment and the user song from the sound source based on at least one of a time difference, an intensity difference between the speaker output signal and a microphone receive signal regarding the accompaniment, a size, a distribution, a tendency, and a signal shape distortion model of the speaker output signal, Said method comprising the steps of:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170152311A KR101975193B1 (en) | 2017-11-15 | 2017-11-15 | Automatic composition apparatus and computer-executable automatic composition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170152311A KR101975193B1 (en) | 2017-11-15 | 2017-11-15 | Automatic composition apparatus and computer-executable automatic composition method |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101975193B1 true KR101975193B1 (en) | 2019-05-07 |
Family
ID=66656270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170152311A KR101975193B1 (en) | 2017-11-15 | 2017-11-15 | Automatic composition apparatus and computer-executable automatic composition method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101975193B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112417201A (en) * | 2019-08-22 | 2021-02-26 | 北京峰趣互联网信息服务有限公司 | Audio information pushing method and system, electronic equipment and computer readable medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060109813A (en) * | 2005-04-18 | 2006-10-23 | 엘지전자 주식회사 | Music composing device and operating method thereof |
JP2007241123A (en) * | 2006-03-10 | 2007-09-20 | Pioneer Electronic Corp | Apparatus, method and program for processing data, and recording medium |
KR101191907B1 (en) | 2010-12-01 | 2012-10-17 | 주식회사 싸일런트뮤직밴드 | A system and a method for providing a composition and a record medium recorded program for realizing the same |
KR101406398B1 (en) * | 2012-06-29 | 2014-06-13 | 인텔렉추얼디스커버리 주식회사 | Apparatus, method and recording medium for evaluating user sound source |
KR20150072597A (en) * | 2013-12-20 | 2015-06-30 | 삼성전자주식회사 | Multimedia apparatus, Method for composition of music, and Method for correction of song thereof |
KR20160076775A (en) | 2014-12-23 | 2016-07-01 | 김성현 | Composition program based on input music data and system thereof |
-
2017
- 2017-11-15 KR KR1020170152311A patent/KR101975193B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060109813A (en) * | 2005-04-18 | 2006-10-23 | 엘지전자 주식회사 | Music composing device and operating method thereof |
JP2007241123A (en) * | 2006-03-10 | 2007-09-20 | Pioneer Electronic Corp | Apparatus, method and program for processing data, and recording medium |
KR101191907B1 (en) | 2010-12-01 | 2012-10-17 | 주식회사 싸일런트뮤직밴드 | A system and a method for providing a composition and a record medium recorded program for realizing the same |
KR101406398B1 (en) * | 2012-06-29 | 2014-06-13 | 인텔렉추얼디스커버리 주식회사 | Apparatus, method and recording medium for evaluating user sound source |
KR20150072597A (en) * | 2013-12-20 | 2015-06-30 | 삼성전자주식회사 | Multimedia apparatus, Method for composition of music, and Method for correction of song thereof |
KR20160076775A (en) | 2014-12-23 | 2016-07-01 | 김성현 | Composition program based on input music data and system thereof |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112417201A (en) * | 2019-08-22 | 2021-02-26 | 北京峰趣互联网信息服务有限公司 | Audio information pushing method and system, electronic equipment and computer readable medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10657934B1 (en) | Enhancements for musical composition applications | |
CN105740394B (en) | Song generation method, terminal and server | |
US20200313782A1 (en) | Personalized real-time audio generation based on user physiological response | |
CN101996627B (en) | Speech processing apparatus, speech processing method and program | |
TW201238279A (en) | Semantic audio track mixer | |
JP2006084749A (en) | Content generation device and content generation method | |
JPWO2008149547A1 (en) | Voice quality editing apparatus and voice quality editing method | |
US20200410968A1 (en) | Method of combining audio signals | |
JP6452229B2 (en) | Karaoke sound effect setting system | |
CN108053696A (en) | A kind of method, apparatus and terminal device that sound broadcasting is carried out according to reading content | |
JP2004117632A (en) | Play list generator, music player, music delivery system, method therefor, program, and recording medium | |
JP2007271977A (en) | Evaluation standard decision device, control method, and program | |
KR101975193B1 (en) | Automatic composition apparatus and computer-executable automatic composition method | |
KR101813704B1 (en) | Analyzing Device and Method for User's Voice Tone | |
JP6153255B2 (en) | Singing part decision system | |
JP6701478B2 (en) | Video generation apparatus, video generation model learning apparatus, method thereof, and program | |
JP6102076B2 (en) | Evaluation device | |
JP2007256619A (en) | Evaluation device, control method and program | |
CN107871492A (en) | Music synthesis method and system | |
JP2014035436A (en) | Voice processing device | |
JP2017027070A (en) | Evaluation device and program | |
KR20180012397A (en) | Management system and method for digital sound source, device and method of playing digital sound source | |
JP2001318677A (en) | Portable telephone set | |
CN111883090A (en) | Method and device for making audio file based on mobile terminal | |
JP2007241015A (en) | Voice evaluation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |