KR101020557B1

KR101020557B1 - Apparatus and method of generate the music note for user created music contents

Info

Publication number: KR101020557B1
Application number: KR1020090019147A
Authority: KR
Inventors: 강장묵; 곽봉철
Original assignee: 세종대학교산학협력단
Priority date: 2009-03-06
Filing date: 2009-03-06
Publication date: 2011-03-09
Also published as: KR20100100319A

Abstract

The present invention relates to a sheet music generating apparatus and a method thereof, and more particularly, to generate a basic sheet music corresponding to a user's humming, hum, song or external sound, music, sound or improvised musical instrument performance, By creating and providing the final sheet music for each instrument layer corresponding to the basic sheet music, users without disabilities, people with disabilities, etc. can easily and conveniently create, create, and create user-created music contents by selecting the desired instrument for the music they want to compose. Provided is a sheet music generating device and method for producing user-created music contents for arranging and producing a music.

User-created music content, ideas, compositions, arrangements, production, basic scores, various instruments, final scores for each instrument layer

Description

Apparatus and method of generate the music note for user created music contents}

본 발명은 악보 생성 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 사용자의 흥얼거림, 콧노래, 가창 또는 외부의 소리, 음악, 사운드 또는 즉흥적 악기 연주에 해당되는 기본 악보를 생성하고, 각종 악기 정보를 토대로 기본 악보에 해당되는 악기 레이어별 최종 악보를 생성하여 제공함으로써, 전문 지식이 없는 사람, 장애인 등도 자신이 작곡하고 싶은 음악에 대해 원하는 악기를 선택해 사용자 창조형 음악 콘텐츠를 쉽고 편리하게 발상, 작곡, 편곡을 하여 제작할 수 있도록 하기 위한, 사용자 창조형 음악 콘텐츠 제작을 위한 악보 생성 장치 및 그 방법에 관한 것이다.The present invention relates to a sheet music generating apparatus and a method thereof, and more particularly, to generate a basic sheet music corresponding to a user's humming, hum, song or external sound, music, sound or improvised musical instrument performance, By creating and providing the final sheet music for each instrument layer corresponding to the basic sheet music, users without disabilities, people with disabilities, etc. can easily and conveniently create, create, and create user-created music contents by selecting the desired instrument for the music they want to compose. The present invention relates to a sheet music generating apparatus and method for producing user-created music contents for arranging and producing the music.

통상적으로 음악 분야에 전문성을 갖는 작곡자들, 편곡자들은 미디(MIDI; Music Instrument Digital Interface) 장치를 이용해 사람의 음성, 악기의 연주 소 리를 합성해 작곡, 편곡 등의 작업을 한다.Typically, composers and arrangers with expertise in the music field use MIDI (Music Instrument Digital Interface) devices to compose and arrange the sounds of human voices and musical instruments.

최근에 미디 장치 보급화(가격 하락)에 힘입어 전문가가 아닌 일반 사용자들도 미디 장치를 구매해 음악 공부를 할 수 있게 되었다.Recently, due to the spread of MIDI devices (price drops), non-professional users can purchase MIDI devices to study music.

그러나, 일반 사용자들이 미디 장치를 구매할 수 있으나, 이 미디 장치의 사용에 전문성이 요구되기에 일반 사용자들이 미디 장치를 이용해 작곡, 편곡 등의 작업을 하기에는 상당한 어려움이 있는 형편이다.However, although general users can purchase MIDI devices, it is difficult for general users to compose, arrange, etc. using MIDI devices because professionalism is required for using them.

한편 사람에 의한 음악 발상 과정을 살펴보면, 일반 사용자들 뿐만 아니라 전문가들은 작업실에서 악상을 떠 올릴 수도 있겠지만, 길을 가다가, 밥을 먹다가, TV를 보다가 등과 같이 임의의 어떤 장소에서 어느 순간에 자신이 흥얼거린 소리, 콧노래, 가창 등 또는 외부[주변 또는 음향 장치 등]에서 들리는 소리, 음악, 사운드 또는 자신 혹은 타인의 즉흥적 악기 연주 등을 통해 영감을 얻어 음악 발상을 하는 경우가 빈번하다.On the other hand, if you look at the process of music by humans, not only ordinary users but also experts can think of music in the studio, but at any moment in any place, such as going on the road, eating, watching TV, etc. It is common to inspire music by humming sounds, hums, singing, or sounds from outside (such as surroundings or sound devices), inspired by music, sounds, or improvisation of one's own or others.

위와 같이 발상한 음악에 대해 악보로 적어 작곡 과정이 이루어지는데, 사람의 흥얼거림, 콧노래, 가창 또는 외부의 소리, 음악, 사운드 또는 즉흥적 악기 연주에 관한 음정, 음 높이, 음 길이, 조, 박자 및 템포 등을 알아 내어 이를 악보로 적는 작업은, 전문가들에게도 어려운데 일반 사용자들에게는 더욱 어려운 형편이다.The composition process is written by writing music for the above-mentioned music, including the pitch, pitch, pitch, beat, beat, and the like of a person's humming, hum, song or external sound, music, sound, or improvisation. Finding the tempo and writing it down as a score is difficult for professionals, but even more difficult for the average user.

따라서, 사용자의 흥얼거림, 콧노래, 가창 또는 외부의 소리, 음악, 사운드 또는 즉흥적 악기 연주 소리를 특정 장치에 입력하는 것만으로 이에 상응하는 음정, 음 높이, 음 길이, 조, 박자 및 템포 등을 정확하게 검출해 해당 기본 악보를 자동적으로 생성할 수 있는 기술이 절실히 요구되고 있다. 예컨대, 사용자가 자신의 흥얼거림, 콧노래, 가창 또는 외부에서 들리는 소리, 음악, 사운드 또는 자신 혹은 타인의 즉흥적 악기 연주를 통해 음악 작곡 등의 전문 지식이 없이도 쉽고 편리하게 해당 기본 악보를 만들 수 있도록 하는 기술이 절실히 요구되고 있다.Thus, by simply inputting the user's humming, hum, song or external sound, music, sound or improvised instrument performance into a specific device, the corresponding pitch, pitch, pitch, duration, duration, tempo and tempo, etc. There is an urgent need for a technique that can detect and automatically generate the basic sheet music. For example, it allows users to easily and conveniently create their basic scores without the knowledge of music composition, such as hum, hum, singing or external sounds, music, sound or impromptu musical instruments by themselves or others. Technology is desperately needed.

한편 최종적인 음악이 완성되기 위해서는 기본 악보를 기초로 하여 작곡자가 자신의 음악에 넣고 싶은 악기를 선정하고, 신디사이저 등과 같은 전자 장비의 음향 합성 기능을 통해 재생해 해당 악기별 음색, 소리 등을 듣고 다른 악기와의 조화 등을 고려해 각 악기별 악보를 적는 작업을 행한다.Meanwhile, in order for the final music to be completed, the composer selects an instrument to be included in his music based on the basic sheet music, and plays it through the sound synthesis function of electronic equipment such as a synthesizer, and listens to the tones and sounds of each instrument. In order to harmonize with musical instruments, students will write notes for each instrument.

그런데, 상기와 같은 종래 방식에서는 사용자가 전자 장비를 이용해 악기를 연주하면서 악기별 음색, 소리 등을 들어야만 자신의 음악에 넣고 싶은 악기를 선정할 수 있고, 더군다나 사용자가 기본 악보를 참조해 이 선정한 악기들에 대한 각각의 악보를 만들어야 되는 문제점이 있다. 이는 전문가들에게도 어려운데 일반 사용자들에게는 더욱 어려움을 주어 음악 발상에 따른 작곡 의욕을 상당히 떨어뜨리는 요인이 되고 있는 형편이다.However, in the conventional method as described above, the user can select an instrument to be included in his or her own music only when the user plays the instrument using electronic equipment and listens to the tone, sound, etc. of the instrument. There is a problem of making each sheet music for instruments. This is difficult for professionals, but it is more difficult for general users, which is a factor that greatly reduces the motivation to compose music.

따라서, 자동적으로 기본 악보가 생성된 상태에서 사용자가 자신이 원하는 각종 악기 정보를 선택하는 것만으로 특정 장치가 이 기본 악보에 해당되는 악기 레이어별 최종 악보를 자동적으로 생성할 수 있는 기술이 절실히 요구되고 있다.Therefore, there is an urgent need for a technology that enables a specific device to automatically generate final sheet music for each instrument layer corresponding to the basic sheet music simply by selecting various musical instrument information desired by the user while the sheet music is automatically generated. have.

한편, 최근에 음악은 교과목 편성 등과 같은 학습 분야 뿐만 아니라 인성 교육 분야, 심리 치료 분야 등에 널리 이용되고 있다. 한편, 최근에는 컨텐츠 공급자 등이 아닌 일반 사용자들이 직접 제작한 UCC(User Created Contents)가 대중으로부 터 큰 호응을 얻고 있으며, 웹2.0의 개념이 확산되면서 UCC에 관한 사용자들의 참여가 기존 소비자 형태에서 생산자+소비자 형태인 프로슈머로 변화되고 있다.On the other hand, recently, music has been widely used in the field of character education, psychotherapy, as well as in the field of learning such as curriculum. Recently, UCC (User Created Contents), which is produced by general users, not by content providers, has gained great response from the public, and as the concept of Web 2.0 spreads, users' participation in UCC has become more popular. It is becoming a prosumer, a producer + consumer.

따라서, 다양한 분야에 있어 전문 지식이 없는 사람, 장애인 등도 자신이 작곡하고 싶은 음악에 대해 원하는 악기를 선택해 사용자 창조형 음악 콘텐츠[user created music contents]를 쉽고 편리하게 발상, 작곡, 편곡을 하여 제작할 수 있도록 하기 위한 기술이 절실히 요구되고 있다.Therefore, people who do not have expertise in various fields, people with disabilities, etc. can easily and conveniently create, compose and arrange user created music contents by selecting a desired instrument for the music they want to compose. There is an urgent need for technology to ensure this.

이에, 본 발명은 상기와 같은 문제점을 해결하고 상기와 같은 요구에 부응하기 위하여 제안된 것으로, 사용자의 흥얼거림, 콧노래, 가창 또는 외부의 소리, 음악, 사운드 또는 즉흥적 악기 연주에 해당되는 기본 악보를 생성하고, 각종 악기 정보를 토대로 기본 악보에 해당되는 악기 레이어별 최종 악보를 생성하여 제공함으로써, 전문 지식이 없는 사람, 장애인 등도 자신이 작곡하고 싶은 음악에 대해 원하는 악기를 선택해 사용자 창조형 음악 콘텐츠를 쉽고 편리하게 발상, 작곡, 편곡을 하여 제작할 수 있도록 하기 위한, 사용자 창조형 음악 콘텐츠 제작을 위한 악보 생성 장치 및 그 방법을 제공하는데 그 목적이 있다.Accordingly, the present invention has been proposed to solve the above problems and to meet the above demands, and the basic scores corresponding to the user's humming, hum, singing or external sounds, music, sound or improvised musical instrument performance. By creating and providing the final sheet music for each instrument layer corresponding to the basic sheet music based on various musical instrument information, users who do not have expertise or the disabled can select the desired instrument for the music they want to compose and create user-created music contents. It is an object of the present invention to provide a sheet music generating apparatus and method for producing user-created music contents, which can be produced easily, conveniently, by creating ideas, compositions, and arrangements.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention which are not mentioned can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기의 목적을 달성하기 위한 본 발명의 장치는, 악보 생성 장치에 있어서, 사용자의 흥얼거림, 콧노래, 가창 또는 외부의 소리, 음악, 사운드 또는 즉흥적 악기 연주 소리에 해당되는 기본 악보를 생성하기 위한 기본 악보 생성 모듈; 및 기 저장된 각종 악기에 관한 악기음 정보를 토대로 상기 기본 악보 생성 모듈에서 생성한 기본 악보에 해당되는 악기 레이어별 최종 악보를 생성하기 위한 악기 레이어별 최종 악보 생성 모듈을 포함한다.The apparatus of the present invention for achieving the above object, in the score generating apparatus, a basic score for generating a basic sheet music corresponding to the user's humming, hum, singing or external sounds, music, sound or improvised instrument playing sound Sheet music generation module; And a final musical score generation module for each musical instrument layer for generating final musical scores for each musical instrument layer corresponding to the basic musical scores generated by the basic musical score generating module based on musical instrument sound information about various musical instruments previously stored.

한편, 본 발명의 제1 방법은, 악보 생성 방법에 있어서, 기본 악보 생성 과정은, 사용자의 흥얼거림, 콧노래, 가창 또는 외부의 소리, 음악, 사운드 또는 즉흥적 악기 연주 소리[이하 '오디오'라 함]를 입력받으면 상기 오디오의 파형을 검출하여 아날로그 오디오신호를 획득하는 단계; 상기 획득한 아날로그 오디오신호를 디지털 오디오신호로 변환하는 단계; 상기 변환한 디지털 오디오신호의 주파수 영역을 분석하여 음정, 음 높이, 음 길이, 조, 박자 및 템포를 추출하는 단계; 및 상기 분석, 추출한 음정, 음 높이, 음 길이, 조, 박자 및 템포를 이용하여 기본 음표 상의 기본 악보를 생성하는 단계를 포함한다.On the other hand, in the first method of the present invention, in the sheet music generating method, the basic sheet music generating process is a user's humming, hum, song or external sound, music, sound or improvised musical instrument sound [hereinafter referred to as 'audio' Obtaining an analog audio signal by detecting a waveform of the audio when a] is received; Converting the obtained analog audio signal into a digital audio signal; Analyzing the frequency domain of the converted digital audio signal to extract pitch, pitch, pitch, beat, tempo and tempo; And generating a basic score on a basic note using the analyzed, extracted pitch, pitch, pitch, duration, beat and tempo.

한편, 본 발명의 제2 방법은, 악보 생성 방법에 있어서, 악기 레이어별 최종 악보 생성 과정은, 외부로부터 기본 음표 상의 기본 악보를 입력받으면, 사용자로 부터 선택받은 하나 또는 다수의 악기에 관한 악기음 정보를 토대로 기본 음표 상의 기본 악보에 매칭되게 해당 악기음을 믹싱하는 단계; 상기 믹싱한 악기음으로부터 악기 레이어별 주파수 영역을 도출하는 단계; 및 기 저장된 각종 악기에 관한 악기음 정보를 토대로 상기 도출한 악기 레이어별 주파수 영역을 분석하여 기본 악보에 상응하는 악기 레이어별 최종 악보를 생성하는 단계를 포함한다.On the other hand, according to the second method of the present invention, in the sheet music generating method, the final sheet music generating process for each musical instrument layer is an instrument sound for one or more musical instruments selected from the user when the basic sheet music on the basic musical notes is received from the outside. Mixing corresponding musical notes to match basic notes on basic notes based on the information; Deriving a frequency domain for each instrument layer from the mixed instrument sounds; And generating a final score for each musical instrument layer corresponding to the basic musical score by analyzing the derived frequency domain for each musical instrument layer based on musical instrument sound information about various musical instruments previously stored.

한편, 본 발명의 제3 방법은, 악보 생성 방법에 있어서, 악기/보컬 레이어별 악보 생성 과정은, 기성 연주 또는 기성 가요에 관한 음악 정보가 아날로그 오디오신호로 작성되어 있되, 상기 아날로그 오디오신호를 입력받아 디지털 오디오신호로 변환하는 단계; 상기 변환한 디지털 오디오신호의 주파수 영역을 분석하여 음정, 음 높이, 음 길이, 조, 박자 및 템포를 추출하는 단계; 및 상기 분석, 추출한 음정, 음 높이, 음 길이, 조, 박자 및 템포를 이용하여 각종 악기의 정보나 음의 특성을 구별하여 악기 및 보컬을 각기 다른 레이어로 분리하여 악기/보컬 레이어별 악보를 생성하는 단계를 포함한다.On the other hand, in the third method of the present invention, in the sheet music generation method, the musical score generation process for each instrument / vocal layer includes inputting the analog audio signal while music information on the ready-made performance or the ready-made song is prepared as an analog audio signal. Receiving and converting the digital audio signal; Analyzing the frequency domain of the converted digital audio signal to extract pitch, pitch, pitch, beat, tempo and tempo; And generating musical scores for each instrument / vocal layer by separating musical instruments and vocals into different layers by distinguishing information and characteristics of various musical instruments using the analyzed, extracted pitch, pitch, pitch, jaws, time signature, and tempo. It includes a step.

상기와 같은 본 발명은 사용자가 자신의 흥얼거림, 콧노래, 가창 또는 외부에서 들리는 소리, 음악, 사운드 또는 자신 혹은 타인의 즉흥적 악기 연주 소리를 입력하는 것만으로도 해당되는 기본 악보를 만들 수 있도록 하는 효과가 있다.As described above, the present invention allows the user to create a basic sheet music by simply inputting his humming, hum, song or sound heard outside, music, sound or improvised musical instrument performance of himself or others. There is.

또한, 본 발명은 기본 악보를 기초로 하여 작곡하고 싶은 음악에 넣고 싶은 악기들을 선택하면서 악기 레이어별 최종 악보를 만들 수 있도록 하는 효과가 있 다.In addition, the present invention has the effect of making the final sheet music for each instrument layer while selecting the instruments that you want to put in the music to be composed based on the basic sheet music.

또한, 본 발명은 학습 분야, 인성 교육 분야, 심리 치료 분야 등의 다양한 분야에서 전문 지식이 없는 사람, 장애인 등도 자신이 작곡하고 싶은 음악에 대해 원하는 악기로 사용자 창조형 음악 콘텐츠를 쉽고 편리하게 발상, 작곡, 편곡을 하여 제작할 수 있도록 하는 효과가 있다.In addition, the present invention is an easy and convenient way to think of user-created music content as a musical instrument for people who do not have expertise in the field of learning, personality education, psychotherapy, etc. Compose, arrange the effect is to be able to produce.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, It can be easily carried out. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 사용자 창조형 음악 콘텐츠 제작을 위한 악보 생성 장치에 대한 실시예 구성도이다.1 is a block diagram of an embodiment of a sheet music generating apparatus for producing user-created music contents according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 사용자 창조형 음악 콘텐츠 제작을 위한 악보 생성 장치는 기본 악보 생성 모듈(10)과, 악기 레이어별 최종 악보 생성 모듈(20)로 구성된다.As shown in FIG. 1, the sheet music generating apparatus for producing user-created music contents according to the present invention includes a basic sheet music generating module 10 and a final sheet music generating module 20 for each musical instrument layer.

상기 기본 악보 생성 모듈(10)은 오디오 입력부(11), 아날로그 오디오신호 획득부(12), 디지털 오디오신호 변환부(13), 기본음표 주파수 영역 분석부(14) 및 기본 악보 생성부(15) 등을 포함한다.The basic sheet music generating module 10 includes an audio input unit 11, an analog audio signal obtaining unit 12, a digital audio signal converting unit 13, a basic note frequency domain analyzer 14, and a basic sheet music generating unit 15. And the like.

상기 악기 레이어별 최종 악보 생성 모듈(20)은 악기 정보 DB(21), 기본 악보 입력부(22), 악기음 처리부(23) 및 악기 레이어별 최종 악보 생성부(24) 등을 포함한다.The final sheet music generating module 20 for each instrument layer includes an instrument information DB 21, a basic sheet music input unit 22, a musical instrument sound processor 23, and a musical instrument layer final sheet music generator 24.

본 발명의 악보 생성 장치는 미디(MIDI) 장치, 신디사이저 등과 같은 음악 전문 장비가 아닌, 통상적인 단말기(예; 컴퓨터, 노트북, PDA, 네비게이션, 휴대폰, 미디어 재생 장치(MP3 플레이어, PMP 플레이어 등)) 등과 같이 소정의 프로세서(CPU 등) 및 저장매체(플래시 메모리, 하드디스크 등)가 구비된 어떠한 장치로도 구현이 가능하다.The music generating apparatus of the present invention is not a music specialized equipment such as a MIDI device, a synthesizer, etc., but a conventional terminal (for example, a computer, a notebook, a PDA, a navigation, a mobile phone, a media playback device (MP3 player, PMP player, etc.)). It can be implemented in any device equipped with a predetermined processor (CPU, etc.) and a storage medium (flash memory, hard disk, etc.).

한편, 본 발명에 있어 기본 악보 생성 모듈(10)에 비해 악기 레이어별 최종 악보 생성 모듈(20)에서 대용량 데이터 처리, 즉 다양한 각종 악기에 관한 악기음 정보 저장, 악기음 믹싱 처리 등이 이루어져야 되는 점을 고려해, 저사양 단말기에 기본 악보 생성 모듈(10)을 구현하고, 고사양 단말기에 악기 레이어별 최종 악보 생성 모듈(20)을 구현할 수 있다.On the other hand, in the present invention compared to the basic sheet music generation module 10, the final sheet music generation module 20 for each instrument layer, a large amount of data processing, that is, the instrument sound information storage for a variety of various instruments, instrument sound mixing processing, etc. In consideration of this, the basic sheet music generation module 10 may be implemented in the low specification terminal, and the final sheet music generation module 20 for each instrument layer may be implemented in the high specification terminal.

예컨대, 기본 악보 생성 모듈(10)이 휴대폰에 탑재되어 있고 악기 레이어별 최종 악보 생성 모듈(20)이 컴퓨터에 탑재되어 있는 것과 같이 이원화된 악보 생성 장치가 구현된 경우를 살펴보면 다음과 같다.For example, a case in which a dual sheet music generating device is implemented such that the basic sheet music generating module 10 is mounted in a mobile phone and the final sheet music generating module 20 for each instrument layer is mounted in a computer is as follows.

예를 들어, 사용자는 길을 가다가, 밥을 먹다가, TV를 보다가 등과 같이 임 의의 어떤 장소에서 어느 순간에 자신이 흥얼거린 소리, 콧노래, 가창 등 또는 외부[주변 또는 음향 장치 등]에서 들리는 소리, 음악, 사운드 또는 자신 혹은 타인의 즉흥적 악기 연주 등을 통해 영감을 얻어 음악 발상을 하게 되면, 그 자리에서 즉시 자신의 흥얼거림, 콧노래, 가창 또는 외부의 소리, 음악, 사운드 또는 즉흥적 악기 연주 소리를 휴대폰의 마이크(송수화기)를 통해 입력하는 것만으로 해당되는 기본 악보를 만들 수 있다.For example, a user may humming, hum, sing, etc. at any moment in any place, such as while walking down the street, eating, watching TV, or from outside (such as a peripheral or sound device). When you are inspired by music, sound, or the performance of an impromptu instrument by yourself or someone else, you immediately hear your humming, hum, song or external sound, music, sound or improvisation. You can create a basic score by simply typing it through your phone's microphone (handset).

이후에, 사용자는 집으로 귀가해서 케이블을 통해 휴대폰과 컴퓨터를 연결시켜 휴대폰에 저장된 기본 악보를 컴퓨터로 올린 다음에, 본 발명에서 제시한 프로그램을 실행시켜 이 기본 악보를 기초로 하여 작곡하고 싶은 음악에 넣고 싶은 악기들을 선택하면서 악기 레이어별 최종 악보를 만들 수 있다.After that, the user returns home, connects the mobile phone to the computer via a cable, uploads the basic sheet music stored in the cellular phone to the computer, and then executes the program proposed in the present invention to compose music based on the basic sheet music. You can create final scores for each instrument layer by selecting the instruments you want to add to the instrument.

아울러, 사용자는 UCC 저작툴 등을 이용해 상기 악기 레이어별 최종 악보로 파일 형태의 사용자 창조형 음악 콘텐츠를 제작할 수 있으며, 자신이 제작한 사용자 창조형 음악 콘텐츠를 포탈 사이트, 블로그, 미니홈피 등에 올려 타인과 공유하거나 콘텐츠 마켓플레이스 등을 통해 유로로 판매할 수도 있다.In addition, the user can create a user-created music content in the form of a file as the final sheet music for each instrument layer using the UCC authoring tool, and uploaded the user-created music content produced by the user to portal sites, blogs, and mini homepages. You can also share or sell in Euros through the Content Marketplace.

물론, 사용자는 자신이 만든 기본 악보, 악기 레이어별 최종 악보도 포탈 사이트, 블로그, 미니홈피 등에 올려 타인과 공유하거나 콘텐츠 마켓플레이스 등을 통해 유로로 판매할 수도 있다.Of course, the user can also upload his or her basic sheet music and the final sheet music for each instrument layer to portal sites, blogs, and mini homepages, and share them with others or sell them in euros through the content marketplace.

그럼, 본 발명의 기본 악보 생성 모듈(10)부터 구체적으로 설명하기로 한다.Then, the basic sheet music generation module 10 of the present invention will be described in detail.

상기 오디오 입력부(11)는 사용자의 흥얼거린 소리, 콧노래, 가창 등 또는 외부[주변 또는 음향 장치 등]에서 들리는 소리, 음악, 사운드 또는 즉흥적 악기 연주 소리 등을 입력받는다. 이하, 사용자의 흥얼거린 소리, 콧노래, 가창 등 또는 외부에서 들리는 소리, 음악, 사운드 또는 즉흥적 악기 연주 소리 등을 '오디오'라 통칭하기로 한다.The audio input unit 11 receives a user's humming sound, a hum, a song, or a sound heard from the outside (such as a peripheral or sound device), music, a sound, or an improvised instrument playing sound. Hereinafter, a user's humming sound, a hum, a song, or an externally heard sound, music, a sound, or an improvised instrument playing sound will be collectively referred to as 'audio'.

상기 아날로그 오디오신호 획득부(12)는 오디오 입력부(11)에서 입력받은 오디오의 파형(음파)을 검출하여 아날로그 오디오신호를 획득한다. 여기서, 기본 악보 생성에 유효한 아날로그 오디오신호를 획득하기 위해 오디오의 파형에 섞인 잡음 등을 제거하는 것이 바람직하다.The analog audio signal acquisition unit 12 obtains an analog audio signal by detecting a waveform (sound wave) of audio received from the audio input unit 11. Here, in order to obtain an analog audio signal effective for generating basic sheet music, it is desirable to remove noise or the like mixed with the waveform of the audio.

상기 디지털 오디오신호 변환부(13)는 아날로그 오디오신호 획득부(12)에서 획득한 아날로그 오디오신호를 디지털 오디오신호로 변환한다.The digital audio signal conversion unit 13 converts the analog audio signal obtained by the analog audio signal acquisition unit 12 into a digital audio signal.

상기 기본음표 주파수 영역 분석부(14)는 디지털 오디오신호 변환부(13)에서 변환한 디지털 오디오신호의 주파수 영역을 분석하여 음정, 음 높이, 음 길이, 조, 박자 및 템포 등을 추출한다. 여기서, 사전에 설정된 '도레미파솔라시도'와 같은 기본 음표에 상응하는 주파수를 토대로 디지털 오디오신호에 대해 그 기본 음표에 해당되는 주파수 영역을 분석하는 것이 바람직하다.The basic note frequency domain analyzer 14 analyzes the frequency domain of the digital audio signal converted by the digital audio signal converter 13 and extracts pitch, pitch, pitch, duration, tempo and tempo. Here, it is preferable to analyze the frequency domain corresponding to the basic note with respect to the digital audio signal on the basis of the frequency corresponding to the basic note such as 'DOREMIPASOLASIDO'.

상기 기본 악보 생성부(15)는 기본음표 주파수 영역 분석부(14)에서 분석, 추출한 음정, 음 높이, 음 길이, 조, 박자 및 템포 등을 이용하여 기본 음표 상의 기본 악보를 생성한다.The basic score generator 15 generates basic scores on the basic notes by using the pitch, pitch, pitch, duration, tempo, tempo, etc. analyzed and extracted by the basic note frequency domain analyzer 14.

다음으로, 악기 레이어별 최종 악보 생성 모듈(20)에 대해 구체적으로 설명하기로 한다.Next, the final sheet music generation module 20 for each musical instrument layer will be described in detail.

상기 악기 정보 DB(21)에는 각종 악기에 관한 악기음 정보(예; 악기별 주파 수 특성에 따른 음향, 음색, 높낮이, 세기 등)가 저장되어 있다.The musical instrument information DB 21 stores musical instrument sound information (for example, sound, timbre, height, intensity, etc. according to the frequency characteristics of each instrument) regarding various musical instruments.

예컨대, 악기 정보 DB 체계를 살펴보면 서로 다른 종류의 악기(예; 피아노, 기타, 드럼, 색소폰, 바이올린, 플루트 등)의 제조사별(예; 야마하, 영창, 삼익 등) 및 타입별(예; 그랜드 피아노, 업라이트 피아노, 디지털 피아노 등)로 해당 악기에 관한 악기음 정보가 분류되어 저장된다.For example, looking at the musical instrument information DB system, manufacturers (e.g. Yamaha, Young Chang, Samik, etc.) and types (e.g. grand piano) of different kinds of musical instruments (e.g. piano, guitar, drums, saxophone, violin, flute, etc.) , Upright piano, digital piano, etc.), musical instrument information of the instrument is classified and stored.

위와 같이 악기 정보 DB(21)에 저장되어 있는 각종 악기에 관한 악기음 정보는 '악기음 정보 보기 메뉴' 등을 통해 사용자에게 화면 등을 통해 표시될 수 있다.Instrument sound information about various instruments stored in the instrument information DB 21 as described above may be displayed to the user through a screen or the like through the 'instrument sound information view menu'.

상기 기본 악보 입력부(22)는 기본 악보 생성 모듈(10)에서 생성된 기본 음표 상의 기본 악보를 입력받는다.The basic sheet music input unit 22 receives a basic sheet music on a basic note generated by the basic sheet music generating module 10.

상기 악기음 처리부(23)는 사용자로부터 선택받은 하나 또는 다수의 악기에 관한 악기음 정보를 토대로, 기본 악보 입력부(22)에서 입력받은 기본 음표 상의 기본 악보에 매칭되게 해당 악기음을 믹싱하고, 이 믹싱한 악기음으로부터 악기 레이어별 주파수 영역[계층적으로 표현되는 악기 각각의 주파수 영역]을 도출한다.The instrument sound processor 23 mixes the instrument sounds to match the basic scores on the basic notes received by the basic score input unit 22 based on the instrument sound information about one or more instruments selected by the user. From the mixed musical instrument sounds, a frequency domain for each instrument layer (the frequency domain of each instrument represented hierarchically) is derived.

상기 악기 레이어별 최종 악보 생성부(24)는 악기 정보 DB(21)의 각종 악기에 관한 악기음 정보(예; 악기별 주파수 특성에 따른 음향, 음색, 높낮이, 세기 등)를 토대로, 악기음 처리부(23)에서 도출한 악기 레이어별 주파수 영역을 분석하여 기본 악보에 상응하는 악기 레이어별 최종 악보[[계층적으로 표현되는 악기 각각의 최종 악보]를 생성한다.The final sheet music generation unit 24 for each instrument layer is an instrument sound processor based on instrument sound information (for example, sound, timbre, height, intensity, etc. according to frequency characteristics of each instrument) of the instrument information DB 21. By analyzing the frequency domain for each instrument layer derived from (23), a final sheet music [[the final sheet music of each instrument to be represented hierarchically] corresponding to the basic sheet music is generated.

도 2는 본 발명에 따른 사용자 창조형 음악 콘텐츠 제작을 위한 악보 생성 방법에 대한 실시예 흐름도이다.2 is a flowchart illustrating a music generating method for producing user-created music contents according to the present invention.

먼저, 기본 악보 생성 모듈(10)에서의 기본 악보 생성 과정에 대해 구체적으로 설명하기로 한다.First, a basic sheet music generating process in the basic sheet music generating module 10 will be described in detail.

사용자의 흥얼거린 소리, 콧노래, 가창 등 또는 외부[주변 또는 음향 장치 등]에서 들리는 소리, 음악, 사운드 또는 즉흥적 악기 연주 소리 등(이하 '오디오'라 통칭함)을 입력받으면(201), 기본 악보 생성 모듈(10)에서는 이 오디오의 파형(음파)을 검출하여 아날로그 오디오신호를 획득한다(202).When a user hears a humming sound, a hum, a song, or an external sound (such as a peripheral or sound device), music, a sound, or an improvised musical instrument (hereinafter referred to as 'audio'), the basic sheet music is input. The generation module 10 detects the waveform (sound wave) of the audio to obtain an analog audio signal (202).

그런후, 기본 악보 생성 모듈(10)에서는 상기 획득한 아날로그 오디오신호를 디지털 오디오신호로 변환한다(203).Then, the basic sheet music generation module 10 converts the obtained analog audio signal into a digital audio signal (203).

그런후, 기본 악보 생성 모듈(10)에서는 상기 변환한 디지털 오디오신호의 주파수 영역을 분석하여 음정, 음 높이, 음 길이, 조, 박자 및 템포 등을 추출한다(204).Then, the basic sheet music generation module 10 analyzes the frequency domain of the converted digital audio signal and extracts pitch, pitch, pitch, beat, tempo, and tempo (204).

그런후, 기본 악보 생성 모듈(10)에서는 상기 분석, 추출한 음정, 음 높이, 음 길이, 조, 박자 및 템포 등을 이용하여 기본 음표 상의 기본 악보를 생성한다(205).Thereafter, the basic sheet music generation module 10 generates basic musical scores on the basic musical notes by using the analysis, the extracted pitch, the pitch, the pitch, the tempo, the beat, and the tempo (205).

다음으로, 악기 레이어별 최종 악보 생성 모듈(20)에서의 악기 레이어별 최종 악보 생성 과정에 대해 구체적으로 설명하기로 한다. 한편, 악기 레이어별 최종 악보 생성 모듈(20)에는 각종 악기에 관한 악기음 정보(예; 악기별 주파수 특성에 따른 음향, 음색, 높낮이, 세기 등)가 저장되어 있다.Next, the final sheet music generating process for each musical instrument layer in the musical instrument layer final sheet music generating module 20 will be described in detail. On the other hand, the final sheet music generation module 20 for each musical instrument layer stores musical instrument sound information (eg, sound, timbre, height, intensity, etc. according to the frequency characteristics of the musical instruments) for various musical instruments.

상기 기본 악보 생성 모듈(10)로부터 기본 음표 상의 기본 악보를 입력받으 면(211), 악기 레이어별 최종 악보 생성 모듈(20)에서는 사용자로부터 선택받은 하나 또는 다수의 악기에 관한 악기음 정보를 토대로 기본 음표 상의 기본 악보에 매칭되게 해당 악기음을 믹싱하고(212), 이 믹싱한 악기음으로부터 악기 레이어별 주파수 영역[계층적으로 표현되는 악기 각각의 주파수 영역]을 도출한다(213).When the basic sheet music on the basic note is input from the basic sheet music generating module 10 (211), the final sheet music generating module 20 for each musical instrument layer based on the instrument sound information on one or more instruments selected by the user The instrument sounds are mixed to match the basic score on the musical notes (212), and the frequency domain for each instrument layer (frequency region of each instrument represented hierarchically) is derived from the mixed musical instruments (213).

그런후, 악기 레이어별 최종 악보 생성 모듈(20)에서는 기 저장된 각종 악기에 관한 악기음 정보(예; 악기별 주파수 특성에 따른 음향, 음색, 높낮이, 세기 등)를 토대로 상기 도출한 악기 레이어별 주파수 영역을 분석하여 기본 악보에 상응하는 악기 레이어별 최종 악보[[계층적으로 표현되는 악기 각각의 최종 악보]를 생성한다(214).Then, the final score generation module for each instrument layer 20 in the instrument layer frequency derived based on the instrument sound information (for example, sound, timbre, height, intensity, etc. according to the frequency characteristics of the instrument) for the previously stored various instruments The region is analyzed to generate final sheet music [the final sheet music of each instrument to be represented hierarchically] corresponding to the basic sheet music (214).

한편, 본 발명에서는 전술한 바와 같은 기본 악보 생성 과정 및 악기 레이어별 최종 악보 생성 과정을 응용해 악기/보컬 레이어별 악보를 생성할 수 있다.Meanwhile, in the present invention, the sheet music for each instrument / vocal layer may be generated by applying the basic sheet music generating process and the final sheet music generating process for each instrument layer as described above.

즉, 기존의 아날로그식으로 작성된 연주나 가요 등의 음악으로 된 정보를 입력받으면 이 입력받은 음악에서 주파수 영역을 분석하여 음정, 음 높이, 음 길이, 조, 박자 및 템포를 추출한 후에, 이 분석, 추출한 음정, 음 높이, 음 길이, 조, 박자 및 템포를 이용하여 각종 악기의 정보나 음의 특성을 구별하여 악기 및 보컬을 각기 다른 레이어로 분리하여 악기/보컬 레이어별 악보를 생성한다. 이와 같이 생성된 악기/보컬 레이어별 악보를 이용해 사용자는 파일 형태의 사용자 창조형 음악 콘텐츠를 제작 등의 작업을 할 수 있게 된다.In other words, when information on music, such as a performance or a song written in an existing analog format, is input, the frequency domain is analyzed from the received music to extract pitch, pitch, pitch, duration, tempo, and tempo, and then the analysis, Using the extracted pitch, pitch, pitch, tempo, tempo, and tempo, the information and characteristics of various instruments are distinguished, and musical instruments and vocals are separated into different layers to generate sheet music for each instrument / vocal layer. By using the musical scores for each instrument / vocal layer generated in this way, a user can create a user-created music content in the form of a file.

위와 같은 악기/보컬 레이어별 악보 생성 과정의 플로우를 살펴보면, 기성 연주 또는 기성 가요에 관한 음악 정보가 아날로그 오디오신호로 작성되어 있는 상 태에서, 이 아날로그 오디오신호를 입력받으면 디지털 오디오신호로 변환하고, 이 디지털 오디오신호의 주파수 영역을 분석하여 음정, 음 높이, 음 길이, 조, 박자 및 템포를 추출한 후에, 상기 음정, 음 높이, 음 길이, 조, 박자 및 템포를 이용하여 각종 악기의 정보나 음의 특성을 구별하여 악기 및 보컬을 각기 다른 레이어로 분리하여 악기/보컬 레이어별 악보를 생성한다.Looking at the flow of the musical score generation process for each instrument / vocal layer as described above, when the music information about ready-made performance or ready-made music is written as an analog audio signal, the analog audio signal is converted into a digital audio signal. After analyzing the frequency domain of the digital audio signal to extract the pitch, pitch, pitch, beat, tempo, and tempo, use the pitch, pitch, pitch, beat, tempo, and tempo to select information or notes of various instruments. Musical instruments and vocals are separated into different layers by distinguishing the characteristics of each other to create musical scores for each instrument / vocal layer.

한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.On the other hand, the method of the present invention as described above can be written in a computer program. And the code and code segments constituting the program can be easily inferred by a computer programmer in the art. In addition, the written program is stored in a computer-readable recording medium (information storage medium), and read and executed by a computer to implement the method of the present invention. The recording medium may include any type of computer readable recording medium.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

도 1은 본 발명에 따른 사용자 창조형 음악 콘텐츠 제작을 위한 악보 생성 장치에 대한 실시예 구성도.1 is a block diagram of an embodiment of a sheet music generating apparatus for producing user-created music contents according to the present invention;

도 2는 본 발명에 따른 사용자 창조형 음악 콘텐츠 제작을 위한 악보 생성 방법에 대한 실시예 흐름도.2 is a flow chart of an embodiment of a music score generating method for producing user-created music contents according to the present invention;

* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing

10 : 기본 악보 생성 모듈10: basic sheet music generation module

11 : 오디오 입력부11: audio input

12 : 아날로그 오디오신호 획득부12: analog audio signal acquisition unit

13 : 디지털 오디오신호 변환부13 digital audio signal conversion unit

14 : 기본음표 주파수 영역 분석부14: basic note frequency domain analysis unit

15 : 기본 악보 생성부15: basic sheet music generation unit

20 : 악기 레이어별 최종 악보 생성 모듈20: Final sheet music generation module for each instrument layer

21 : 악기 정보 DB21: Instrument Information DB

22 : 기본 악보 입력부22: basic sheet music input unit

23 : 악기음 처리부23: instrument sound processor

24 : 악기 레이어별 최종 악보 생성부24: the final sheet music generation section for each instrument layer

Claims

In the sheet music generating apparatus,

A basic sheet music generation module for generating basic sheet music corresponding to a user's humming, hum, song or external sound, music, sound or improvised musical instrument playing sound; And

And a final score generation module for each instrument layer for generating final score for each instrument layer corresponding to the basic score generated by the basic score generation module based on instrument sound information about various musical instruments previously stored.

The final sheet music generation module for each instrument layer,

A musical instrument information DB storing musical instrument sound information relating to various musical instruments including sounds, tones, heights, and intensities according to the frequency characteristics of the musical instruments;

A basic score input unit for receiving basic scores on basic notes generated by the basic score generating module;

Based on the instrument sound information of one or more instruments selected by the user, the instrument sounds are mixed to match the basic scores on the basic notes input by the basic score input unit, and the frequency range for each instrument layer is mixed from the mixed musical notes. Instrument sound processing unit for deriving; And

Generating final sheet music for each instrument layer to generate a final score for each instrument layer corresponding to a basic sheet by analyzing a frequency region of each instrument layer derived from the instrument sound processor based on instrument sound information of various instruments of the instrument information DB. A music generating device for producing user-created music content including a wealth.

The method of claim 1,

The basic sheet music generation module,

An audio input unit for receiving a user's humming, hum, song or external sound, music, sound or improvised musical instrument performance (hereinafter referred to as 'audio');

An analog audio signal acquisition unit for detecting an waveform of audio received from the audio input unit to obtain an analog audio signal;

A digital audio signal conversion unit for converting the analog audio signal obtained by the analog audio signal acquisition unit into a digital audio signal;

A basic note frequency domain analyzer for analyzing the frequency domain of the digital audio signal converted by the digital audio signal converter to extract pitch, pitch, pitch, tempo, tempo, and tempo; And

Basic score generation unit for generating basic scores on basic notes using the pitch, pitch, pitch, duration, tempo and tempo analyzed and extracted by the basic note frequency domain analyzer

Sheet music generating device for producing user-created music content comprising a.

The method of claim 2,

The basic note frequency domain analyzer,

User creation, characterized in that to extract the pitch, pitch, pitch, beat, tempo and tempo by analyzing the frequency domain corresponding to the basic note on the digital audio signal based on the frequency corresponding to the preset basic note A music generating device for producing type music contents.

delete

The method of claim 1,

The instrument information DB,

Musical score generation device for producing user-created music content, characterized in that the musical instrument information of the instrument is classified and stored for each manufacturer and type of different types of instruments.

In the sheet music generating method,

The basic music generation process is

Acquiring an analog audio signal by detecting a waveform of the audio when a user's humming, hum, song or external sound, music, sound, or improvised musical instrument sound (hereinafter referred to as 'audio') is received;

Converting the obtained analog audio signal into a digital audio signal;

Analyzing the frequency domain of the converted digital audio signal to extract pitch, pitch, pitch, beat, tempo and tempo; And

Generating a basic score on a basic note using the analysis, the extracted pitch, pitch, pitch, duration, beat, and tempo;

The final score generation process for each instrument layer is

If the basic musical notes on the basic musical notes are received from the outside, mixing the musical instruments to match the basic musical notes on the basic musical notes based on musical instrument information on one or more musical instruments selected by the user;

Deriving a frequency domain for each instrument layer from the mixed instrument sounds; And

Generating the final score for each musical instrument layer corresponding to the basic musical score by analyzing the derived frequency domain for the musical instrument layer based on the musical instrument information of various musical instruments previously stored;

Music score generation method for producing user-created music content comprising a.

delete