KR100735444B1 - Method for outputting audio data and music image - Google Patents

Method for outputting audio data and music image Download PDF

Info

Publication number
KR100735444B1
KR100735444B1 KR1020060051072A KR20060051072A KR100735444B1 KR 100735444 B1 KR100735444 B1 KR 100735444B1 KR 1020060051072 A KR1020060051072 A KR 1020060051072A KR 20060051072 A KR20060051072 A KR 20060051072A KR 100735444 B1 KR100735444 B1 KR 100735444B1
Authority
KR
South Korea
Prior art keywords
note
extracting
music
sound
audio data
Prior art date
Application number
KR1020060051072A
Other languages
Korean (ko)
Other versions
KR20070011095A (en
Inventor
노동훈
김주섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060051072A priority Critical patent/KR100735444B1/en
Priority to US11/485,986 priority patent/US7547840B2/en
Priority to EP06014908.5A priority patent/EP1746576A3/en
Priority to CN200610101399A priority patent/CN100588279C/en
Publication of KR20070011095A publication Critical patent/KR20070011095A/en
Application granted granted Critical
Publication of KR100735444B1 publication Critical patent/KR100735444B1/en
Priority to US12/222,261 priority patent/US20080295673A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10F—AUTOMATIC MUSICAL INSTRUMENTS
    • G10F1/00—Automatic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/125—Extracting or recognising the pitch or fundamental frequency of the picked up signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/046—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for differentiation between music and non-music signals, based on the identification of musical parameters, e.g. based on tempo detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/086—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/016—File editing, i.e. modifying musical data files or streams as such

Abstract

본 발명은 오디오데이터 및 악보이미지 추출방법에 관한 것으로, 특히 재생되는 오디오데이터의 악보이미지를 표시하고, 또는 악보이미지를 통해 오디오데이터를 출력하는 오디오데이터 및 악보이미지 추출방법에 관한 것이다. The present invention relates to a method for extracting audio data and score image, and more particularly, to a method for extracting audio data and score image, which displays a score image of audio data to be reproduced or outputs audio data through the score image.

이를 달성하기 위하여, 오디오데이터를 악보로 출력하는 방법이, 상기 오디오데이터 재생 중 가사를 제거한 음을 추출하는 과정과; 상기 음을 주파수로 변환하는 과정과; 일정시간이 경과되면, 상기 일정시간동안 추출된 주파수를 분석하여 단음 및 복음을 구분하는 과정과; 상기 단음 또는 복음에 해당하는 주파수를 음 정보데이터로 변환하여 저장하는 과정과; 상기 음 정보데이터에 대응되는 음악기호를 추출하여 악보로 표시하는 과정으로 이루어지며,In order to achieve this, a method of outputting audio data as a score includes the steps of: extracting a sound from which lyrics are removed during audio data reproduction; Converting the sound into a frequency; When a predetermined time has elapsed, analyzing the frequency extracted during the predetermined time and separating the single tone and the gospel; Converting and storing frequencies corresponding to the single tone or the gospel into sound information data; Extracting a music symbol corresponding to the tone information data and displaying the score as a musical score,

또한 악보를 오디오데이터로 출력하는 방법이, 상기 악보를 촬영하는 과정과; 상기 촬영된 악보에서 음악기호를 추출하는 과정과; 상기 음악기호 중 오선지 및 음표정보를 통해 음의 높이를 추출하는 과정과; 상기 음악기호 중 상기 음표정보를 통해 음의 길이를 추출하는 과정과; 상기 추출된 음의 높이 및 음의 길이를 통해 오디오데이터를 출력하는 과정으로 이루어진 것을 특징으로 한다.In addition, a method for outputting the sheet music as audio data includes the steps of photographing the sheet music; Extracting a music symbol from the photographed score; Extracting the height of the music through the music paper and the musical note information of the music symbols; Extracting a length of sound through the note information of the music symbol; Characterized in that the process of outputting the audio data through the height and the length of the extracted sound.

오디오데이터, 악보이미지, 단음, 복음, 음의 높이, 음의 길이 Audio data, score image, single tone, gospel, pitch height, pitch length

Description

오디오데이터 및 악보이미지 추출방법{METHOD FOR OUTPUTTING AUDIO DATA AND MUSIC IMAGE}Audio data and music image extraction method {METHOD FOR OUTPUTTING AUDIO DATA AND MUSIC IMAGE}

도 1은 본 발명의 실시 예에 따른 휴대단말기의 구성도.1 is a block diagram of a mobile terminal according to an embodiment of the present invention.

도 2는 본 발명의 실시 예에 따른 휴대단말기에서 오디오데이터를 악보이미지로 추출하는 방법을 도시한 흐름도.2 is a flowchart illustrating a method of extracting audio data into a score image in a portable terminal according to an exemplary embodiment of the present invention.

도 3은 본 발명의 실시 예에 따른 휴대단말기에서 악보이미지를 오디오데이터로 추출하여 표시하는 방법을 도시한 흐름도. 3 is a flowchart illustrating a method of extracting and displaying music score images as audio data in a mobile terminal according to an exemplary embodiment of the present invention.

본 발명은 오디오데이터 및 악보이미지 추출방법에 관한 것으로, 특히 재생되는 오디오데이터의 악보이미지를 표시하며, 악보이미지를 통해 오디오데이터를 출력하는 오디오데이터 및 악보이미지 추출방법에 관한 것이다. The present invention relates to a method for extracting audio data and score image, and more particularly, to a method for extracting audio data and score image, which displays a score image of reproduced audio data and outputs audio data through the score image.

현재 휴대단말기에서는 통화서비스 이외의 다양한 부가적인 서비스 기능을 제공하고 있다. 특히, 상기 휴대단말기에 구비된 MP3 서비스기능은 MP3 플레이어를 따로 가지고 다닐 필요가 없이 상기 휴대단말기를 통해 MP3 오디오데이터를 재생할 수 있는 기능이다. Currently, the mobile terminal provides various additional service functions in addition to the call service. In particular, the MP3 service function provided in the portable terminal is a function of playing MP3 audio data through the portable terminal without having to carry an MP3 player separately.

상기와 같이 휴대단말기를 통해 MP3 오디오데이터 재생뿐만 아니라 재생 중인 MP3 오디오데이터를 악보로 표시할 수 있다면, 상기 휴대단말기의 사용자에게 재미있고 시각적으로 음을 알 수 있는 서비스를 제공할 수 있을 것이다.As described above, if the MP3 audio data being played back as well as the MP3 audio data being played through the portable terminal can be displayed as a score, the user of the portable terminal can provide a fun and visually recognized service.

그리고, 상기 휴대단말기에서 구비된 멜로디 작곡기능은 사용자에 의해 작곡된 오디오데이터를 출력하는 기능으로써, 이 또한 사용자에게 재미를 제공하는 서비스 중의 하나가 되고 있다.The melody composition function provided in the portable terminal is a function of outputting audio data composed by the user, which is also one of services that provide fun to the user.

그러나, 상기 종래의 멜로디 작곡기능은 사용자에게 번거로운 동작과 배터리 소모의 문제점을 야기하고 있다. 상기 멜로디 작곡기능에 대한 동작을 살펴보면, 상기 휴대단말기의 사용자가 오선지에 음표를 모두 직접 입력해야 한다. 이때 음의 높낮이를 설정하는 경우'도'음을 기준으로 상하버튼을 이용하여 설정하는데, 기본' 도'음과 차이가 많이 나는 경우 하나의 음을 입력하는 경우에도 상하버튼을 여러 번 눌어야 하는 번거로움과 시간적인 소모를 요하게 된다.However, the conventional melody composition functions cause troublesome operation and battery consumption for the user. Looking at the operation of the melody composition function, the user of the portable terminal should directly enter all the notes on the stairway. At this time, if you set the height of the sound by using the up and down buttons based on the 'degree' sound, if the difference between the default 'degree' sound, even if you enter a single note, you have to press the up and down button several times It will be cumbersome and time consuming.

또한 음의 길이를 설정하는 경우, 팝업메뉴를 띄어서 상기 팝업메뉴에서 선택을 해야 하므로 하나의 음 길이를 설정 시에도 많은 동작이 필요하게 된다.In addition, when the length of the sound is set, a pop-up menu is displayed to select from the pop-up menu, so a lot of operations are required even when setting one sound length.

상기와 같은 이유로 실제 휴대단말기에서 작곡을 하는 경우 시간이 많이 걸리며, 사용자가 빈번한 키 조작으로 인한 불편함을 느낄 수 있다. 또한 상기 휴대단말기 자체에서도 부하가 많이 걸리게 되고 배터리소모가 빨리 될 수 있는 문제점이 있었다. For the reason as described above, it takes a lot of time to compose in the actual mobile terminal, the user may feel inconvenient due to frequent key operation. In addition, there is a problem in that the mobile terminal itself takes a lot of load and the battery consumption can be faster.

따라서 본 발명의 목적은 재생되는 오디오데이터의 악보이미지를 표시하며, 악보이미지를 통해 오디오데이터를 출력하는 오디오데이터 및 악보이미지 추출방법을 제공함에 있다. Accordingly, an object of the present invention is to provide a method for extracting audio data and a score image for displaying a score image of audio data to be reproduced and outputting audio data through the score image.

상기 목적을 달성하기 위한 오디오데이터를 악보로 출력하는 방법이, 상기 오디오데이터 재생 중 가사를 제거한 음을 추출하는 과정과; 상기 음을 주파수로 변환하는 과정과; 상기 주파수를 분석하여 음 정보데이터로 변환 후 저장하는 과정과; 상기 음 정보데이터에 대응되는 악보를 표시하는 과정으로 이루어진 것을 특징으로 한다.A method of outputting audio data as a score to achieve the above object comprises the steps of: extracting a sound from which the lyrics are removed during audio data reproduction; Converting the sound into a frequency; Analyzing and storing the frequency into sound information data; Characteristic information corresponding to the sound information data is characterized in that it consists of a process of displaying.

또한 상기 목적을 달성하기 위한 오디오데이터를 악보로 출력하는 방법이, 상기 오디오데이터 재생 중 가사를 제거한 음을 추출하는 과정과; 상기 음을 주파수로 변환하는 과정과; 일정시간이 경과되면, 상기 일정시간동안 추출된 주파수를 분석하여 단음 및 복음을 구분하는 과정과; 상기 단음 또는 복음에 해당하는 주파수를 음 정보데이터로 변환하여 저장하는 과정과; 상기 음 정보데이터에 대응되는 음악기호를 추출하여 악보로 표시하는 과정으로 이루어진 것을 특징으로 한다.In addition, the method for outputting the audio data to the score to achieve the above object comprises the steps of: extracting the sound from the lyrics removed during the audio data playback; Converting the sound into a frequency; When a predetermined time has elapsed, analyzing the frequency extracted during the predetermined time and separating the single tone and the gospel; Converting and storing frequencies corresponding to the single tone or the gospel into sound information data; And extracting a music symbol corresponding to the tone information data and displaying the score.

또한 상기 목적을 달성하기 위한 악보를 오디오데이터로 출력하는 방법이, 상기 악보를 촬영하는 과정과; 상기 촬영된 악보에서 음악기호를 추출하는 과정과; 상기 음악기호 중 오선지 및 음표정보를 통해 음의 높이를 추출하는 과정과; 상기 음악기호 중 상기 음표정보를 통해 음의 길이를 추출하는 과정과; 상기 추출된 음의 높이 및 음의 길이를 통해 오디오데이터를 출력하는 과정으로 이루어진 것을 특 징으로 한다.In addition, a method for outputting the sheet music as audio data for achieving the above object comprises the steps of photographing the sheet music; Extracting a music symbol from the photographed score; Extracting the height of the music through the music paper and the musical note information of the music symbols; Extracting a length of sound through the note information of the music symbol; Characterized in that the process consisting of outputting the audio data through the height and the length of the extracted sound.

이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.DETAILED DESCRIPTION Hereinafter, detailed descriptions of preferred embodiments of the present invention will be described with reference to the accompanying drawings. It should be noted that the same components in the figures represent the same numerals wherever possible.

도 1은 본 발명의 실시 예에 따른 휴대 단말기의 구성을 도시하는 도면으로써, 카메라를 구비하는 휴대 단말기의 구성을 도시하는 도면이다. 1 is a diagram illustrating a configuration of a portable terminal according to an embodiment of the present invention, which illustrates a configuration of a portable terminal including a camera.

상기 도 1을 참조하면, RF부123은 휴대 단말기의 무선 통신 기능을 수행한다. 상기 RF부123은 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강변환하는 RF수신기등을 포함한다. 모뎀(MODEM)120은 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화하는 수신기 등을 구비한다. 오디오 처리부125는 코덱을 구성할 수 있으며, 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비한다. 상기 오디오 처리부125는 상기 모뎀120에서 수신되는 디지털 오디오신호를 상기 오디오코덱을 통해 아날로그신호 변환하여 재생하거나 또는 마이크로부터 발생되는 송신되는 아날로그 오디오신호를 상기 오디오코덱을 통해 디지털 오디오신호로 변환하여 상기 모뎀120으로 전송하는 기능을 수행한다. 상기 코덱은 별도로 구비거나 또는 제어부110에 포함될 수 있다.Referring to FIG. 1, the RF unit 123 performs a wireless communication function of the portable terminal. The RF unit 123 includes an RF transmitter for upconverting and amplifying a frequency of a transmitted signal, and an RF receiver for low noise amplifying and downconverting a received signal. The modem 120 includes a transmitter for encoding and modulating the transmitted signal, a receiver for demodulating and decoding the received signal, and the like. The audio processor 125 may configure a codec, and the codec includes a data codec for processing packet data and an audio codec for processing an audio signal such as voice. The audio processor 125 converts and reproduces the digital audio signal received by the modem 120 through the audio codec or converts the analog audio signal generated from the microphone into a digital audio signal through the audio codec and converts the digital audio signal into the digital audio signal. Sends the function to 120. The codec may be provided separately or included in the controller 110.

메모리130은 프로그램 메모리, 데이터 메모리들로 구성될 수 있다. 상기 프로그램 메모리는 휴대단말기의 일반적인 동작을 제어하기 위한 프로그램들을 저장할 수 있다. The memory 130 may include program memory and data memories. The program memory may store programs for controlling a general operation of the portable terminal.

또한 상기 메모리130은 본 발명의 실시 예에 따라 오디오데이터를 주파수로 변환하도록 제어하는 프로그램, 상기 주파수를 분석하여 음 정보데이터를 추출하도록 제어하는 프로그램 및 상기 음 정보데이터에 대응되는 음악기호를 추출하여 악보이미지로 표시하도록 제어하는 프로그램을 저장할 수 있다. 또한 상기 메모리130은 본 발명의 실시 예에 따라 상기 음 정보데이터에 대응되는 음악기호를 추출하기 위한 음악기호에 대한 이미지의 데이터베이스를 저장한다.In addition, the memory 130 is a program for controlling the conversion of audio data to a frequency according to an embodiment of the present invention, a program for controlling to extract the sound information data by analyzing the frequency and extracts a music symbol corresponding to the sound information data You can save a program that controls the display of score images. In addition, the memory 130 stores a database of images of music symbols for extracting music symbols corresponding to the tone information data according to an embodiment of the present invention.

또한 상기 메모리130은 본 발명의 실시 예에 따라 촬영된 악보에서 음악기호이미지를 인식하여 오디오데이터로 출력하도록 제어하는 프로그램을 저장할 수 있다. 또한 상기 메모리130은 본 발명의 실시 예에 따라 상기 음악기호이미지에 대응되는 오디오데이터 값을 가지는 오디오데이터의 데이터베이스를 저장한다. In addition, the memory 130 may store a program for controlling the music symbol image to be output as audio data from the music score photographed according to an embodiment of the present invention. In addition, the memory 130 stores a database of audio data having an audio data value corresponding to the music symbol image according to an embodiment of the present invention.

또한 상기 데이터 메모리는 상기프로그램들을 수행하는 중에 발생되는 데이터들을 일시 저장하는 기능을 수행한다. The data memory also temporarily stores data generated during the execution of the programs.

제어부110은 휴대단말기의 전반적인 동작을 제어하는 기능을 수행한다. 또한 상기 제어부110은 상기 모뎀120 및 코덱을 포함할 수도 있다. The controller 110 controls a general operation of the mobile terminal. In addition, the controller 110 may include the modem 120 and the codec.

또한 상기 제어부110은 본 발명의 실시 예에 따라 재생되는 오디데이터를 악보이미지로 표시하도록 제어한다. 또한 상기 제어부110은 본 발명의 실시 예에 따라 상기 표시되는 악보이미지에 대한 편집기능을 제공도록 하도록 제어한다. 또한 상기 제어부110은 본 발명의 실시 예에 따라 촬영된 악보이미지를 오디오데이터로 출력하도록 제어한다. In addition, the controller 110 controls the audio data to be reproduced according to an embodiment of the present invention as a score image. In addition, the control unit 110 controls to provide an editing function for the displayed score image according to an embodiment of the present invention. In addition, the control unit 110 controls to output the music score image photographed according to an embodiment of the present invention as audio data.

본 발명의 실시 예에 따라 오디오데이터를 악보이미지로 표시하며, 악보이미지를 오디오데이터로 출력하는 동작은 상기 제어부110의 제어 하에 멀티미디어부170이 수행할 수도 있다. 본 발명의 실시 예에서 오디오데이터를 악보이미지로 표시하며, 악보이미지를 오디오데이터로 출력하는 동작은 상기 제어부110이 제어하며 수행한다고 가정하여 설명한다. According to an embodiment of the present invention, the operation of displaying the audio data as the score image and outputting the score image as the audio data may be performed by the multimedia unit 170 under the control of the controller 110. In the embodiment of the present invention, the operation of displaying the audio data as the score image and outputting the score image as the audio data will be described on the assumption that the control unit 110 performs the control.

상기 멀티미디어부170은 상기 제어부의 제어 하에 상기 휴대단말기에서 제공하는 부가적인 서비스 기능, 예를 들어 카메라촬영, MP3데이터 출력등을 수행한다. 또한 상기 멀티미디어부170은 본 발명의 실시 예에서 상기 제어부110의 제어 하에 오디오데이터를 악보이미지로 표시하며, 악보이미지를 오디오데이터로 출력하도록 제어한다. 본 발명의 실시 예에 따른 상기 멀티미디어부170의 기능은 상기 제어부110에서 제어하며 수행 할 수도 있다. The multimedia unit 170 performs additional service functions provided by the portable terminal under the control of the controller, for example, camera photography, MP3 data output, and the like. In addition, the multimedia unit 170 displays the audio data as the music score image under the control of the controller 110, and controls to output the music score image as the audio data. The function of the multimedia unit 170 according to an embodiment of the present invention may be controlled and performed by the controller 110.

카메라부(camera module)140은 영상데이터를 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 구비한다. 여기서 상기 카메라 센서는 CCD센서라 가정하며, 상기 신호처리부는 DSP(Digital Signal Processor: DSP)로 구현할 수 있다. 또한 상기 카메라 센서 및 신호처리부는 일체형으로 구현할 수 있으며, 또한 분리하여 구현할 수도 있다. 또한 상기 카메라부140은 본 발명의 실시 예에 따라 악보인식모드에서 악보를 촬영한다. The camera module 140 captures image data, and includes a camera sensor for converting the photographed optical signal into an electrical signal, and a signal processor for converting the analog image signal photographed from the camera sensor into digital data. Herein, it is assumed that the camera sensor is a CCD sensor, and the signal processor may be implemented by a digital signal processor (DSP). In addition, the camera sensor and the signal processor may be integrally implemented or may be separately implemented. In addition, the camera unit 140 photographs the score in the score recognition mode according to an embodiment of the present invention.

영상처리부150은 상기 카메라부140에서 출력되는 영상신호를 표시하기 위한 화면 데이터를 발생하는 기능을 수행한다. 상기 영상처리부150은 상기 카메라부40에서 출력되는 영상신호를 프레임 단위로 처리하며, 상기 프레임 영상데이터를 상기 표시부160의 특성 및 크기에 맞춰 출력한다. 또한 상기 영상처리부150은 영상코덱을 구비하며, 상기 표시부160에 표시되는 프레임 영상데이터를 설정된 방식으로 압축하거나, 압축된 프레임 영상데이터를 원래의 프레임 영상데이터로 복원하는 기능을 수행한다. 여기서 상기 영상코덱은 JPEG 코덱, MPEG4 코덱, Wavelet 코덱 등이 될 수 있다. 상기 영상처리부150은 OSD(On Screen Display) 기능을 구비한다고 가정하며, 상기 제어부110의 제어하여 표시되는 화면크기에 따라 온스크린 표시데이터를 출력할 수 있다. 또한 상기 영상처리부150은 본 발명의 실시 예에 따라 악보인식모드에서 상기 카메라부140을 통해 촬영되어 저장된 악보이미지를 디코딩하며, 상기 디코딩된 악보이미지를 흑백이미지로 변환한다. The image processor 150 performs a function of generating screen data for displaying an image signal output from the camera unit 140. The image processor 150 processes the image signal output from the camera unit 40 in units of frames, and outputs the frame image data according to the characteristics and size of the display unit 160. In addition, the image processor 150 includes an image codec and performs a function of compressing the frame image data displayed on the display unit 160 in a set manner or restoring the compressed frame image data to the original frame image data. The image codec may be a JPEG codec, an MPEG4 codec, a wavelet codec, or the like. It is assumed that the image processor 150 has an On Screen Display (OSD) function, and may output on-screen display data according to a screen size displayed by the control of the controller 110. In addition, the image processor 150 decodes the score image captured and stored by the camera unit 140 in the score recognition mode according to an embodiment of the present invention, and converts the decoded score image into a black and white image.

상기 표시부160은 상기 영상처리부150에서 출력되는 영상신호를 화면으로 표시하며, 상기 제어부110에서 출력되는 사용자 데이터를 표시한다. 여기서 상기 표시부160은 LCD를 사용할 수 있으며, 이런 경우 상기 표시부160은 LCD제어부(LCD controller), 영상데이터를 저장할 수 있는 메모리 및 LCD표시소자 등을 구비할 수 있다. 여기서 상기 LCD를 터치스크린(touch screen) 방식으로 구현하는 경우, 입력부로 동작할 수도 있다. 또한 상기 표시부160은 본 발명의 실시 예에 따라 재생되오디오데이터의 악보이미지를 표시할 수 있다. The display unit 160 displays an image signal output from the image processor 150 on a screen, and displays user data output from the controller 110. The display unit 160 may use an LCD. In this case, the display unit 160 may include an LCD controller, a memory capable of storing image data, and an LCD display device. In this case, when the LCD is implemented using a touch screen method, the LCD may operate as an input unit. In addition, the display unit 160 may display the score image of the audio data to be reproduced according to an embodiment of the present invention.

키입력부127은 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능키들을 구비한다. 또한 상기 키입력부127은 본 발명의 실시 예에 따라 재생되는 오디오데이터에 대한 악보이미지를 표시하도록 제어하는 키를 구비할수 있다. 또한 상기 키입력부127은 본 발명의 실시 예에 따라 악보이미지에 대한 오디오데이터를 출력하도록 제어하는 키를 구비할 수 있다The key input unit 127 includes keys for inputting numeric and character information and function keys for setting various functions. In addition, the key input unit 127 may include a key for controlling to display a music score image for the reproduced audio data according to an embodiment of the present invention. In addition, the key input unit 127 may be provided with a key for controlling to output audio data for the music score image according to an embodiment of the present invention.

상기와 같은 휴대단말기에서 오디오데이터를 악보이미지로 표시하는 동작 및 악보이미지를 오디오데이터로 출력하는 동작을 도 2 및 도 3을 통해 살펴본다.The operation of displaying the audio data as the music score image and the operation of outputting the music score image as the audio data in the portable terminal will be described with reference to FIGS. 2 and 3.

도 2는 본 발명의 실시 예에 따른 휴대단말기에서 오디오데이터를 악보이미지로 추출하는 방법을 도시한 흐름도이다.2 is a flowchart illustrating a method of extracting audio data into a score image in a portable terminal according to an exemplary embodiment of the present invention.

이하 본 발명의 실시 예를 도 1의 참조와 함께 상세히 설명한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to FIG. 1.

상기 도 2를 참조하면, 상기 휴대단말기에서 MP3 오디오데이터를 재생하는 201단계에서 악보표시가 선택되면, 상기 제어부110은 202단계에서 이를 감지하고 상기 재생되는 MP3 오디오데이터에서 필터링을 통해 가사를 제거한 후, 상기 가사를 제거한 상기 MP3오디오데이터의 음만을 추출하는 203단계를 진행한다.Referring to FIG. 2, when the music score display is selected in step 201 of playing the MP3 audio data in the mobile terminal, the controller 110 detects the music score in step 202 and removes the lyrics through filtering from the played MP3 audio data. In step 203, only the sound of the MP3 audio data from which the lyrics are removed is extracted.

상기 제어부110은 상기 203단계에서 추출된 음을 양자화 및 PCM(Pulse Code Modulation)을 통해 아날로그신호에서 디지털 신호로 변환하며, 상기 디지털신호로 변환된 음을 FFT(Fast Fourier Transform)를 통해 주파수로 변환하는 204단계를 진행한다.The controller 110 converts the sound extracted in step 203 into an analog signal to a digital signal through quantization and pulse code modulation (PCM), and converts the sound converted into the digital signal into frequency through a fast fourier transform (FFT). Proceed to step 204.

상기 203단계 및 204단계를 반복수행 중 일정시간이 경과되면, 상기 제어부110은 205단계에서 이를 감지하고 상기 일정시간동안 추출된 주파수 값들에 대한 평균값을 구한 후, 상기 평균값을 임계 값으로 설정하는 206단계를 진행한다. 본 발명의 실시 예에서 상기 일정시간은 초 단위가 될 수 있다.When a predetermined time has elapsed while repeating steps 203 and 204, the controller 110 detects this in step 205, obtains an average value of the frequency values extracted during the predetermined time, and sets the average value as a threshold value. Proceed to step. In an embodiment of the present invention, the predetermined time may be in seconds.

상기 제어부110은 상기 206단계에서 설정된 임계 값과 상기 일정시간동안 추출된 주파수 값을 비교한다. 상기 일정시간동안 추출된 주파수 값이 상기 임계 값보다 작으면, 상기 제어부110은 207단계에서 이를 감지하고 상기 임계값 보다 작은 주파수 값을 단음으로 추출하는 208단계를 진행한다. 상기 제어부110은 상기 208단계에서 단음으로 추출된 주파수 값 중 임계 값 이상의 주파수 값을 제거하여 노이즈를 제거하는 209단계를 진행한다. The controller 110 compares the threshold value set in step 206 with the frequency value extracted during the predetermined time. If the frequency value extracted for the predetermined time is less than the threshold value, the controller 110 detects it in step 207 and proceeds to step 208 to extract a frequency value smaller than the threshold value as a single tone. The control unit 110 proceeds to step 209 to remove noise by removing a frequency value greater than or equal to a threshold value among the frequency values extracted as the single tone in step 208.

상기 제어부110은 상기 209단계에서 노이즈가 제거된 상기 주파수를 분석하여 해당 음 정보데이터로 변환하는 211단계를 진행한다. 상기 211단계에서 상기 제어부110은 상기 단음으로 추출된 주파수를 분석하여, 음의 높이 및 음의 길이에 따른 음표정보와 상기 음표정보이외의 부수적인 음악기호정보로 구성된 음악기호정보를 가지는 음 정보데이터로 변환하도록 제어한다.In step 209, the controller 110 analyzes the frequency from which the noise is removed and converts the frequency into corresponding sound information data. In step 211, the control unit 110 analyzes the frequency extracted as the single tone, and musical note information having musical symbol information including note information according to the height and length of the note and additional musical symbol information other than the note information. Control to convert

상기 제어부110은 상기 211단계에서 변환된 상기 음 정보데이터를 상기 메모리130에 저장하는 212단계를 진행하며, 상기 메모리130에 저장된 음악기호에 대한 이미지의 데이터베이스를 통해 상기 음 정보데이터에 대응되는 음악기호를 추출하여 상기 표시부160에 표시하는 213단계를 진행한다. The controller 110 proceeds to step 212 of storing the tone information data converted in the step 211 in the memory 130, and the music symbol corresponding to the tone information data through a database of images of the music symbol stored in the memory 130. The process proceeds to step 213 to extract and display on the display unit 160.

또는 상기 일정시간동안 추출된 주파수 값이 상기 임계 값보다 크면, 상기 제어부110은 207단계에서 이를 감지하고 상기 임계값 보다 큰 주파수 값을 복음으로 추출하는 210단계를 진행한다. Alternatively, if the frequency value extracted during the predetermined time is greater than the threshold value, the controller 110 detects it in step 207 and proceeds to step 210 to extract a frequency value greater than the threshold value as the gospel.

상기 제어부110은 상기 210단계에서 복음으로 추출된 주파수를 분석하여 해 당 음 정보데이터로 변환하는 211단계를 진행한다. 상기 211단계에서 상기 제어부110은 상기 복음으로 추출된 주파수를 분석하여, 음의 높이 및 음의 길이에 따른 음표정보와 상기 음표정보이외의 부수적인 음악기호정보로 구성된 음악기호정보를 가지는 음 정보데이터로 변환하도록 제어한다.In step 210, the controller 110 analyzes the frequency extracted by the gospel and converts the frequency into corresponding sound information data. In step 211, the control unit 110 analyzes the frequency extracted by the Gospel, and the note information data having music symbol information including note information according to the height and length of the note and additional music symbol information other than the note information. Control to convert

상기 제어부110은 상기 211단계에서 변환된 상기 음 정보데이터를 상기 메모리130에 저장하는 212단계를 진행하며, 상기 메모리130에 저장된 음악기호에 대한 이미지의 데이터베이스를 통해 상기 음 정보데이터에 대응되는 음악기호를 추출하여 상기 표시부160에 표시하는 213단계를 진행한다.The controller 110 proceeds to step 212 of storing the tone information data converted in the step 211 in the memory 130, and the music symbol corresponding to the tone information data through a database of images of the music symbol stored in the memory 130. The process proceeds to step 213 to extract and display on the display unit 160.

상기 203단계 - 상기 213단계를 반복수행하면서, 상기 제어부110은 상기 201단계에서 재생되는 MP3오디오데이터에 대한 악보이미지를 상기 표시부130에 표시하도록 제어한다. While repeating steps 203 to 213, the controller 110 controls the display unit 130 to display a score image of the MP3 audio data reproduced in step 201.

또한 상기 203단계 - 상기 213단계를 통해 표시되는 악보이미지는 악보편집과정을 통해 편집될 수 있다. In addition, the sheet music image displayed in step 203 to step 213 may be edited through a sheet music editing process.

상기 악보편집과정을 살펴보면, 상기 표시부130에 상기 악보이미지가 표시된 상태에서 악보편집이 선택되면, 상기 제어부110은 214단계에서 이를 감지하고 상기 휴대단말기를 악보편집모드로 전환하는 215단계를 진행한다. Referring to the sheet music editing process, when the sheet music editing is selected while the sheet music image is displayed on the display unit 130, the control unit 110 detects it in step 214 and proceeds to step 215 in which the mobile terminal switches to the sheet music editing mode.

상기 악보편집모드에서 상기 제어부110은 악보편집을 위한 음표 선택박스가 상기 악보이지미 중 해당음표, 예를 들어 첫 번째 표시된 음표를 선택하며 표시하도록 제어한다. 상기 음표 선택박스는 방향키 중 좌/우측 키의 입력에 따라 이동되면서 해당 음표를 선택하여 표시할 수 있다. 상기 음표 선택박스는 오선지 상에서 일정위치 단위로 이동하면서 음표 또는 상기 음표이외의 부수적인 음악적 기호 또는 빈 공간에 위치되어 표시될 수 있다. In the score editing mode, the controller 110 controls a note selection box for editing scores to select and display a corresponding note, for example, the first displayed note, among the score notes. The note selection box may be moved according to the input of the left and right keys of the direction keys, and then selected and displayed. The note selection box may be positioned and displayed in a musical space or an additional musical symbol other than the note or an empty space while moving in a unit of a predetermined position on the stave.

상기 악보편집모드에서 상기 방향키 중 상측키가 입력되면, 상기 제어부110은 이를 감지하고 상기 입력되는 상측키의 입력에 따라 오선지 상에서 상기 음표 선택박스에 의해 선택된 음표의 음 높이를 높이도록 제어한다. 또는 상기 악보편집모드에서 방향키 중 하측 키가 입력되면, 상기 제어부110은 이를 감지하고 상기 입력되는 하측 키의 입력에 따라 상기 오선지 상에서 상기 음표 선택박스에 의해 선택된 음표의 음 높이를 낮추도록 제어한다.When the upper key of the direction keys is input in the sheet music editing mode, the control unit 110 detects this and controls the height of the note selected by the note selection box on the wrong line according to the input of the upper key. Alternatively, when the lower key of the direction keys is input in the sheet music editing mode, the controller 110 detects this and controls to lower the pitch of the note selected by the note selection box on the stave line according to the input of the lower key.

또한 상기 악보편집모드에서 음 길이가 선택되면, 상기 제어부110은 이를 감지하고 음 길이의 종류를 표시하도록 제어한다. 상기 음 길이의 종류 중 반음내림(b)이 선택되면, 상기 제어부110은 이를 감지하고 상기 음표 선택박스에 의해 선택된 음표의 음 길이를 반음 내리도록 제어한다. 또한, 상기 음 길이의 종류 중 반음올림(#)이 선택되면, 상기 제어부110은 이를 감지하고 상기 음표 선택박스에 의해 선택된 음표의 음 길이를 반음 올리도록 제어한다.In addition, when a sound length is selected in the score editing mode, the controller 110 detects this and controls to display the type of sound length. When the halftone lowering (b) is selected among the types of the sound length, the controller 110 detects this and controls the sound length of the note selected by the note selection box to be reduced by half a tone. In addition, when a halftone round (#) is selected among the types of the note length, the controller 110 detects this and controls to raise the note length of the note selected by the note selection box.

또한 상기 악보편집모드에서 음표 종류가 선택되면, 상기 제어부110은 이를 감지하고 음표의 종류를 표시한다. 상기 표시된 음표의 종류 중 해당 음표가 선택되면, 상기 제어부110은 이를 감지하고 상기 음표 선택박스에 의해 선택된 음표를 상기 선택된 음표의 종류로 변환하여 표시하도록 제어하거나 또는 상기 음표 선택박스에 의해 선택된 빈 공간에 상기 선택된 음표의 종류를 표시하도록 제어한다. In addition, when a note type is selected in the score editing mode, the controller 110 detects it and displays the type of the note. When a corresponding note is selected among the displayed types of notes, the controller 110 detects this and controls to display the note selected by the note selection box by converting it into the type of the selected note or by selecting the empty space selected by the note selection box. Control to display the type of the selected note.

또한 상기 악보편집모드에서 부수적인 음악기호가 선택되면, 상기 제어부110 은 이를 감지하고 부수적인 음악기호의 종류를 표시한다. 상기 표시된 부수적인 음악기호종류 중 해당하는 부수적인 음악기호가 선택되면, 상기 제어부110은 이를 감지하고 상기 음표 선택박스에 의해 선택된 해당 부수적인 음악기호를 상기 선택된 부수적인 음악기호로 변환하여 표시하도록 제어하거나 또는, 상기 음표 선택박스에 의해 선택된 빈 공간에 상기 선택된 부수적인 음악기호를 표시하도록 제어한다. In addition, when an additional music symbol is selected in the score editing mode, the controller 110 detects this and displays the type of the additional music symbol. When a corresponding additional music symbol is selected among the displayed additional music symbol types, the controller 110 detects the control signal and converts the corresponding additional music symbol selected by the note selection box into the selected additional music symbol and displays the converted additional music symbol. Or to display the selected additional music symbol in the empty space selected by the note selection box.

또한 상기 악보편집모드에서 부가기능이 선택되면, 상기 제어부110은 이를 감지하고 상기 악보편집의 부가기능을 표시하도록 제어한다. 상기 악보편집의 부가기능은 구간설정, 복사, 자르기, 붙이기, 삭제 및 재생이 포함된다.In addition, when the additional function is selected in the sheet music editing mode, the control unit 110 detects it and controls to display the additional function of the sheet music editing. Additional functions of the sheet music editing include section setting, copying, cutting, pasting, deleting and playing.

상기 구간설정은 상기 표시되는 악보이미지들 중 일정구간에 표시되는 음표 또는 부수적인 음악기호를 선택할 수 있는 기능이며, 상기 복사는 상기 구간설정에 의해 또는 상기 음표선택박스에 의해 선택된 음표 또는 부수적인 음악기호를 복사하는 기능이다. 또한, 상기 자르기는 상기 구간설정에 의해 또는 음표선택박스에 의해 선택된 음표 또는 부수적인 음악기호를 잘라내는 기능이며, 상기 붙이기는 상기 복사 또는 상기 자르기 기능에 의해 선택된 음표 또는 부수적인 음악기호를 상기 구간설정에 의해 또는 상기 음표 선택박스에 의해 선택된 오선지 상의 일정위치에 붙이는 기능이디. 또한 상기 삭제는 상기 구간설정에 의해 또는 상기 음표 선택박스에 의해 선택된 음표 또는 부수적인 음악기호를 삭제하는 기능이며, 상기 재생은 상기 악보편집모드에서 표시되는 악보를 재생하는 기능이다. The section setting is a function of selecting a note or an additional music symbol displayed in a certain section among the displayed score images, and the copying is a note or an additional music selected by the section setting or the note selection box. Copy a symbol. The cutting may be a function of cutting out a note or an additional musical symbol selected by the interval setting or by a note selection box, and the pasting of the note or an additional musical symbol selected by the copying or cutting function. A function to paste to a certain position on the wrong paper selected by setting or by the note selection box. The deletion is a function of deleting a note or an accompanying musical symbol selected by the section setting or by the note selection box, and the reproducing is a function of reproducing the sheet music displayed in the sheet music editing mode.

도 3은 본 발명의 실시 예에 따른 휴대단말기에서 악보이미지를 오디오데이터로 추출하여 표시하는 방법을 도시한 흐름도이다. 3 is a flowchart illustrating a method of extracting and displaying a music score image as audio data in a mobile terminal according to an exemplary embodiment of the present invention.

이하 본 발명의 실시 예를 도 1의 참조와 함께 상세히 설명한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to FIG. 1.

상기 도 3을 참조하면, 상기 휴대단말기의 악보인식모드에서 상기 카메라부140을 통해 악보이미지가 촬영되면, 상기 제어부110은 301단계에서 이를 감지하고 상기 촬영된 악보이미지를 상기 메모리130에 저장한다. 상기 제어부110은 상기 영상처리부150을 통해 상기 메모리130에 저장된 악보이미지를 디코딩하며, 상기 디코딩된 악보이미지를 흑백이미지로 변환하는 302단계를 진행한다. Referring to FIG. 3, when a music score image is photographed through the camera unit 140 in the music score recognition mode of the portable terminal, the controller 110 detects the music score image in step 301 and stores the photographed score image in the memory 130. The controller 110 decodes the music score image stored in the memory 130 through the image processor 150, and proceeds to step 302 of converting the decoded music score image into a black and white image.

상기 제어부110은 상기 흑백이미지로 변환된 악보이미지에서 음악기호를 추출하는 303단계를 진행한다. 상기 303단계에서 추출된 음악기호들 중 상기 제어부110은 먼저, 오선지의 5개의 선을 추출하며, 상기 오선지의 5개선 및 상기 선과 선 사이에 각각의 번호를 지정하는 304단계를 진행한다. The controller 110 proceeds to step 303 to extract a music symbol from the score image converted into the black and white image. The controller 110 of the music symbols extracted in step 303 first extracts five lines of the wrong line, and proceeds to step 304 of specifying five numbers of the wrong line and each number between the line and the line.

상기 304단계에서 상기 제어부110은 상기 오선지의 5개의 선들 중 맨 아랫선부터 차례로 1번, 3번, 5번 ,7번 및 9번을 지정한다. 또한 상기 제어부110은 상기 1번 아래의 공백부분을 0번으로, 상기 1번과 3번사이의 공백을 2번으로, 상기 3번과 5번사이의 공백을 4번으로, 상기 5번과 7번사이의 공백을 6번으로, 상기 7번과 9번사이의 공백을 8번으로, 상기 9번의 윗부분 공백은 10번으로 지정한다.In step 304, the control unit 110 designates 1, 3, 5, 7, and 9 sequentially from the bottom of the five lines of the wrong paper. In addition, the control unit 110 is a blank portion below the first number 0, the space between the 1 and 3 times 2, the space between the 3 and 5 to 4, the 5 and 7 The space between the times is designated as 6, the space between 7 and 9 is designated as 8, and the upper space of 9 is designated as 10.

상기 304단계에서 상기 오선지의 5개의 선 및 선과 선 사이에 번호를 지정한 상기 제어부110은 상기 303단계에서 추출된 음악기호 중 음표정보를 추출하며, 상기 음표정보 중 음표의 머리위치와 상기 오선지에 지정된 번호를 매칭하여 음의 높이를 수치화된 값으로 추출하는 305단계를 진행한다.In step 304, the controller 110 designating a number between the five lines and the line and the line of the mistaken line extracts the note information among the music symbols extracted in the step 303, and designates the head position of the note and the designated line of the note information. Step 305 is performed in which the negative height is extracted as a numerical value by matching the numbers.

상기 305단계에서 상기 제어부110은 상기 음표의 머리위치가 상기 0번 또는 상기 10번에 위치하는지 판단한다. 상기 음표의 머리위치가 상기 0번 또는 상기 10번에 위치하지 않으면, 상기 제어부110은 이를 감지하고 상기 음표의 머리가 위치한 부분의 오선지의 번호를 추출하여 음의 높이를 수치화된 값으로 구한다. 예를 들어 상기 음표의 머리가 상기 2번에 위치하면, 상기 제어부110은 '파'를 추출할 수 있다.In step 305, the controller 110 determines whether the head position of the note is located at 0 or 10. If the head position of the note is not located at the 0 or 10, the controller 110 detects this and extracts the number of the stave of the portion where the head of the note is located to obtain the height of the note as a numerical value. For example, when the head of the note is located at the second position, the controller 110 may extract a wave.

그러나. 상기 음표의 머리위치가 상기 0번 또는 상기 10번에 위치하면, 상기 제어부110은 이를 감지하고 상기 음표의 머리개수에 따라 상기 음의 높이를 수치화된 값으로 구한다. But. When the head position of the note is located at 0 or 10, the controller 110 detects this and obtains the height of the note as a numerical value according to the number of heads of the note.

상기 305단계를 통해 음의 높이 값이 추출되면, 상기 제어부110은 음의 길이값을 추출한다. 상기 제어부110이 상기 음의 길이 값을 구하기 위하여 상기 음표정보 중 음표의 머리색, 음표의 꼬리개수 및 음표 옆의 점 개수를 추출한다.When the negative height value is extracted in step 305, the controller 110 extracts the negative length value. The controller 110 extracts the head color of the note, the number of tails of the note, and the number of points next to the note in order to obtain the length value of the note.

상기 제어부110이 상기 음표의 머리색에 대한 값을 구하기 위하여, 상기 음표의 머리색을 판단하는 306단계를 진행한다. 상기 제어부110은 307단계에서 상기 음표의 머리가 검은색으로 채워지면 '0'으로 지정하고, 상기 음표의 머리가 검은색으로 채워지지 않으면 '1'로 지정하여, 상기 음표의 머리색에 따라 수치화된 값을 구한다.In order to obtain a value for the head color of the note, the controller 110 proceeds to step 306 of determining the head color of the note. In step 307, the controller 110 designates '0' if the head of the note is filled with black, and designates '1' if the head of the note is not filled with black, and digitizes it according to the head color of the note. Get the corrected value.

또한, 상기 제어부110은 상기 음표의 꼬리개수에 대한 값을 구하기 위하여, 상기 음표의 꼬리개수를 추출하는 308단계를 진행한다. 상기 제어부110은 309단계에서 상기 음표의 꼬리개수가 없으면 '0'으로 지정하고, 상기 음표의 꼬리개수가 있으면 꼬리개수에 해당하는 숫자를 지정하여, 상기 음표의 꼬리개수에 따라 수치 화된 값을 구한다.In addition, the control unit 110 proceeds to step 308 to extract the number of tails of the note to obtain a value for the number of tails of the note. In step 309, if the number of tails of the note is specified, the controller 110 designates '0', and if the number of tails of the note is specified, specifies a number corresponding to the number of tails, and obtains a numerical value according to the number of tails of the note. .

또한, 상기 제어부110은 상기 음표 옆의 점 개수에 대한 값을 구하기 위하여, 상기 음표 옆의 점 개수를 추출하는 310단계를 진행한다. 상기 제어부110은 310단계에서 상기 음표 옆의 점 가 없으면 '0'으로 지정하고, 상기 음표 옆의 점 개수가 있으면 점 개수에 해당하는 숫자를 지정하여, 상기 음표 옆의 점 개수에 따라 수치화된 값을 구한다. In addition, the control unit 110 proceeds to step 310 to extract the number of points next to the note in order to obtain a value for the number of points next to the note. If there is no point next to the note in step 310, the controller 110 designates '0', and if there is a number of points next to the note, designates a number corresponding to the number of points, and digitizes the number according to the number of points next to the note. Obtain

상기 307단계, 상기 309단계 및 상기 311단계를 통해, 상기 제어부110은 음의 길이 값을 추출하는 312단계를 진행한다.In step 307, step 309 and step 311, the control unit 110 proceeds to step 312 to extract a negative length value.

상기 305단계에서의 음의 높이 및 상기 312단계에서의 음의 길이를 추출 후, 상기 제어부110은 상기 음악기호 중 상기 오선지 및 음표정보이외의 부수적인 음악적 기호를 추출하며, 상기 부수적인 음악기호를 해당 데이터베이스를 통해 수치적인 값으로 추출하는 313단계를 진행한다.After extracting the height of the sound in step 305 and the length of the sound in step 312, the controller 110 extracts additional musical symbols other than the stave and note information among the music symbols, and extracts the additional musical symbols. Step 313 is performed to extract numerical values through the database.

상기 제어부110은 상기 305단계에서 추출된 음의 높이, 상기 312단계에서 추출된 음의 길이 및 상기 313단계에서 추출된 부수적인 음악기호에 대한 수치적인 값들을 상기 메모리130에 저장된 오디오데이터의 데이터베이스를 통해 해당 오디오데이터 값으로 추출하여 출력하는 314단계를 진행한다.The controller 110 stores numerical values of the height of the sound extracted in step 305, the length of the sound extracted in step 312, and the additional music symbols extracted in step 313. Step 314 is performed to extract and output the corresponding audio data value.

상술한 본 발명의 설명에서는 휴대 단말기와 같은 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시 할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.In the above description of the present invention, a specific embodiment such as a mobile terminal has been described, but various modifications can be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be defined by the described embodiments, but should be determined by the equivalent of claims and claims.

즉, 상술한 바와 같이 본 발명은 오디오데이터를 악보이미지로 출력하고, 악보이미지를 오디오데이터로 출력하는 방법을 제공함으로써, 음악이나 악기 소리를 듣고 그 에 해당하는 악보를 그릴 수 있는 엔터테이먼트를 제공할 수 있으며, 또한 상기 악보를 인식하여 오디오데이터로 출력할 수 있는 효과가 있다.That is, as described above, the present invention provides a method of outputting audio data as a score image and outputting the score image as audio data, thereby providing an entertainment for listening to music or musical instrument sounds and drawing the corresponding score. In addition, the music score can be recognized and output as audio data.

또한 음악을 공부하려는 일반인들에게 재미있게 공부하며 즐길 수 있는 기능을 제공하며, 일반인들도 음악의 분야에 쉽게 접근할 수 있는 효과가 있다.In addition, it provides a fun way to study and enjoy the ordinary people who want to study music, the general public has an effect that can easily access the field of music.

또한 상기와 같은 엔터테인먼트 기능을 사용하는 계층은 중학교, 고등학교 학생임을 감안할 때 이들에게 보다 많은 재미를 가져다 줄 수 있는 효과가 있다.In addition, the layer using the entertainment function as described above is a middle school, high school students have an effect that can bring more fun to them.

Claims (26)

오디오데이터를 악보로 출력하는 방법에 있어서,In the method for outputting audio data as sheet music, 상기 오디오데이터 재생 중 가사를 제거한 음을 추출하는 과정과,Extracting a sound from which the lyrics are removed while the audio data is being played; 상기 음을 주파수로 변환하는 과정과,Converting the sound into a frequency; 상기 주파수를 분석하여 음 정보데이터로 변환 후 저장하는 과정과,Analyzing and storing the frequency into sound information data; 상기 음 정보데이터에 대응되는 악보를 표시하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And extracting the sheet music corresponding to the sound information data. 제1항에 있어서,The method of claim 1, 상기 오디오데이터 재생 중 가사를 제거한 음을 추출하는 과정 및 상기 음을 주파수로 변환하는 과정은 일정시간마다 이루어지는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And extracting the sound from which the lyrics are removed during the audio data reproduction and converting the sound into the frequency are performed at predetermined time intervals. 제1항에 있어서, 상기 음을 주파수로 변환하는 과정이,The method of claim 1, wherein converting the sound into a frequency, 상기 가사를 제거한 음을 양자화하는 과정과,Quantizing the sound from which the lyrics are removed, 상기 양자화된 데이터에서 PCM 데이터를 추출하는 과정과,Extracting PCM data from the quantized data; 상기 PCM 데이터를 FFT를 통해 주파수로 변환하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And converting the PCM data into a frequency through an FFT. 제1항에 있어서, 상기 음 정보데이터로 변환 후 저장하는 과정이,The method of claim 1, wherein the converting and storing the sound information data comprises: 일정시간동안 추출되는 주파수들의 평균값을 구하며, 상기 평균값을 임계값으로 설정하는 과정과.Obtaining an average value of frequencies extracted for a predetermined time and setting the average value as a threshold value; 상기 임계 값 보다 작은 주파수를 단음으로 구분하고, 해당 주파수를 음 정보데이터로 변환하여 저장하는 과정과,Dividing a frequency smaller than the threshold into single tones, converting the frequency into sound information data, and storing the frequency; 상기 임계 값보다 큰 주파수를 복음으로 구분하고, 해당 주파수를 음 정보데이터로 변환하여 저장하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And dividing a frequency greater than the threshold value into a gospel, and converting the frequency into sound information data and storing the converted frequency information. 제4항에 있어서,The method of claim 4, wherein 상기 단음으로 구분되면, 상기 임계값 이상의 주파수를 노이즈로 제거하는 과정을 더 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.The audio data and score image extraction method further comprises the step of removing the frequency above the threshold value by noise, when divided into the single tone. 제1항에 있어서, The method of claim 1, 상기 악보는 상기 음 정보데이터에 대응되는 음악기호를 추출하여 표시되는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And the music score is extracted by displaying a music symbol corresponding to the tone information data. 제1항에 있어서, The method of claim 1, 상기 음 정보데이터는 음의 높이 및 음의 길이에 따른 음표정보와, 부수적인 음악기호정보로 이루어진 음악기호의 정보를 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And the note information data includes note information corresponding to the height and length of the note and information of a music symbol consisting of additional music symbol information. 제1항에 있어서,The method of claim 1, 상기 음 정보데이터에 대응되어 표시되는 악보를 편집하는 과정을 더 포함하며, 상기 악보편집과정은,Comprising a step of editing the sheet music displayed corresponding to the tone information data, wherein the sheet music editing process, 상기 악보를 표시하는 동안 편집이 선택되면, 악보편집모드로 전환하는 과정과,If editing is selected while displaying the sheet music, switching to the sheet music editing mode, 상기 악보편집모드에서 상기 악보 중 해당음표에 대한 음의 높이를 조절하는 과정과,Adjusting a height of a note for the corresponding note among the scores in the score editing mode; 상기 악보편집모드에서 상기 악보 중 해당음표에 대한 음의 길이를 변환하는 과정과,Converting a length of a note for a corresponding note among the scores in the score editing mode; 상기 악보편집모드에서 상기 악보 중 해당음표를 선택된 음표의 종류로 변환하는 과정과,Converting a corresponding note among the scores into a selected note type in the score editing mode; 상기 악보편집모드에서 악보편집의 부가기능을 수행하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And performing a supplementary function of sheet music editing in the sheet music editing mode. 제8항에 있어서,The method of claim 8, 상기 악보편집의 부가기능은 구간설정, 복사, 자르기, 붙이기, 삭제 및 재생을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.The additional function of the music editing is audio data and sheet music image extraction method comprising the section setting, copying, cutting, pasting, deleting and playing. 오디오데이터를 악보로 출력하는 방법에 있어서,In the method for outputting audio data as sheet music, 상기 오디오데이터 재생 중 가사를 제거한 음을 추출하는 과정과,Extracting a sound from which the lyrics are removed while the audio data is being played; 상기 음을 주파수로 변환하는 과정과,Converting the sound into a frequency; 일정시간이 경과되면, 상기 일정시간동안 추출된 주파수를 분석하여 단음 및 복음을 구분하는 과정과,After a certain time, the process of separating the single tone and the gospel by analyzing the frequency extracted during the predetermined time; 상기 단음 또는 복음에 해당하는 주파수를 음 정보데이터로 변환하여 저장하는 과정과,Converting and storing the frequency corresponding to the single tone or the gospel into sound information data; 상기 음 정보데이터에 대응되는 음악기호를 추출하여 악보로 표시하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And extracting a music symbol corresponding to the note information data and displaying the music symbol as a score. 제10항에 있어서, 상기 음을 주파수로 변환하는 과정이,The method of claim 10, wherein converting the sound into a frequency, 상기 가사를 제거한 음을 양자화하는 과정과,Quantizing the sound from which the lyrics are removed, 상기 양자화된 데이터에서 PCM 데이터를 추출하는 과정과,Extracting PCM data from the quantized data; 상기 PCM 데이터를 FFT를 통해 주파수로 변환하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And converting the PCM data into a frequency through an FFT. 제10항에 있어서, 상기 단음 및 복음을 구분하는 과정이,The method of claim 10, wherein the process of dividing the monophonic and the gospel, 상기 일정시간동안 추출되는 주파수들의 평균값을 구하며, 상기 평균값을 임계값으로 설정하는 과정과.Obtaining an average value of the frequencies extracted during the predetermined time period and setting the average value as a threshold value; 상기 임계값 보다 작은 주파수를 단음으로 구분하고, 상기 임계값 이상의 주파수를 노이즈로 제거한 후, 해당 주파수를 음 정보데이터로 변환하여 저장하는 과정과,Dividing a frequency smaller than the threshold into single tones, removing the frequency above the threshold with noise, and converting the frequency into sound information data and storing the frequency; 상기 임계값 보다 큰 주파수를 복음으로 구분하고, 해당 주파수를 음 정보데이터로 변환하여 저장하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And dividing a frequency greater than the threshold value into a gospel, and converting the frequency into sound information data and storing the converted frequency information. 삭제delete 제10항에 있어서, The method of claim 10, 상기 음 정보데이터는 음의 높이 및 음의 길이에 따른 음표정보와, 부수적인 음악기호정보로 이루어진 음악기호의 정보를 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And the note information data includes note information corresponding to the height and length of the note and information of a music symbol consisting of additional music symbol information. 제10항에 있어서, The method of claim 10, 상기 음 정보데이터에 대응되어 표시되는 악보를 편집하는 과정을 더 포함하며, 상기 악보편집과정은,Comprising a step of editing the sheet music displayed corresponding to the tone information data, wherein the sheet music editing process, 상기 악보를 표시하는 동안 편집이 선택되면, 악보편집모드로 전환하는 과정과,If editing is selected while displaying the sheet music, switching to the sheet music editing mode, 상기 악보편집모드에서 상기 악보 중 해당음표에 대한 음의 높이를 조절하는 과정과,Adjusting a height of a note for the corresponding note among the scores in the score editing mode; 상기 악보편집모드에서 상기 악보 중 해당음표에 대한 음의 길이를 변환하는 과정과,Converting a length of a note for a corresponding note among the scores in the score editing mode; 상기 악보편집모드에서 상기 악보 중 해당음표를 선택된 음표의 종류로 변환하는 과정과,Converting a corresponding note among the scores into a selected note type in the score editing mode; 상기 악보편집모드에서 악보편집의 부가기능을 수행하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And performing a supplementary function of sheet music editing in the sheet music editing mode. 제15항에 있어서,The method of claim 15, 상기 악보편집의 부가기능은 구간설정, 복사, 자르기, 붙이기, 삭제 및 재생을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.The additional function of the music editing is audio data and sheet music image extraction method comprising the section setting, copying, cutting, pasting, deleting and playing. 악보를 오디오데이터로 출력하는 방법에 있어서,In the method of outputting the sheet music as audio data, 상기 악보를 촬영하는 과정과,Photographing the score, 상기 촬영된 악보에서 음악기호를 추출하는 과정과,Extracting a music symbol from the photographed score; 상기 음악기호 중 오선지 및 음표정보를 통해 음의 높이를 추출하는 과정과,Extracting the height of the music through the music paper and note information of the music symbol; 상기 음악기호 중 상기 음표정보를 통해 음의 길이를 추출하는 과정과,Extracting a length of a sound through the note information of the music symbol; 상기 추출된 음의 높이 및 음의 길이를 통해 오디오데이터를 출력하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And extracting audio data through the height and length of the extracted sound. 제17항에 있어서,The method of claim 17, 상기 촬영된 악보를 흑백이미지로 변환하는 과정을 더 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.The audio data and score image extraction method further comprises the step of converting the photographed score into a black and white image. 제17항에 있어서, 상기 음의 높이를 추출하는 과정이,18. The method of claim 17, wherein the step of extracting the height of the sound, 상기 오선지의 5개 선 및 선과 선 사이에 각각의 번호를 지정하는 과정과,Assigning each number between the five lines and the line between the five lines; 상기 음표정보 중 음표의 머리위치와 상기 지정된 번호를 매칭하여 음의 높이를 추출하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And extracting the height of the sound by matching the head position of the note with the designated number among the note information. 제19항에 있어서, 상기 오선지에 각각의 번호를 지정하는 과정이,20. The method of claim 19, wherein assigning each number to the wrong place, 상기 오선지의 5개 선 중 아랫선부터 1,3,5,7,9의 번호를 지정하는 과정과,Designating a number of 1, 3, 5, 7, and 9 from the lower line among the five lines of the five papers; 상기 지정된 1번의 아랫부분 공백을 0번으로, 상기 1번과 상기 3번사이의 공백을 2번으로, 상기 3번과 상기 5번 사이의 공백을 4번으로, 상기 5번과 상기 7번사이의 공백을 6번으로, 상기 7번과 상기 9번사이의 공백을 8번으로, 상기 9번의 윗부분 공백을 10번으로 지정하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.The designated first lower part blank is 0, the blank between 1 and 3 is 2, the blank between 3 and 5 is 4, and between 5 and 7 And specifying a space of 6 as the spaces, a space between the 7th and the 9th spaces as 8, and an upper space of the 9th space as 10 times. 제19항에 있어서, 상기 음의 높이를 추출하는 과정이,The method of claim 19, wherein the step of extracting the height of the sound, 상기 음표정보 중 음표의 머리부분 위치를 추출하는 과정과,Extracting the position of the head of the note from the note information; 상기 음표의 머리부분이 상기 오선지의 맨 아랫선의 공백 또는 맨 윗선의 공백에 위치하는지 판단하는 과정과,Determining whether a head of the note is located at a space of a bottom line or a space of a top line of the staff; 상기 음표의 머리부분이 상기 오선지의 맨 아랫선의 공백 또는 맨 윗선의 공백에 위치하지 않으면, 상기 음표의 머리부분이 위치된 오선지의 지정번호를 통해 음의 높이를 추출하는 과정과,If the head of the note is not located in the blank of the bottom line or the top line of the stave, the step of extracting the height of the note through the designation number of the stave paper in which the head of the note is located, 상기 음표의 머리부분이 상기 오선지의 맨 아랫선의 공백 또는 맨 윗선의 공백에 위치하면, 상기 음표의 머리개수를 통해 음의 높이를 추출하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.If the head of the note is located in the blank of the bottom line or the top of the line five, the audio data and score image extraction method comprising the step of extracting the height of the sound through the number of heads of the note . 제17항에 있어서, 상기 음의 길이를 추출하는 과정이,The method of claim 17, wherein the step of extracting the length of the sound, 상기 음표정보 중 음표의 머리색을 판단하는 과정과,Determining the head color of the note among the note information; 상기 음표정보 중 음표의 꼬리개수를 추출하는 과정과,Extracting the number of tails of the note from the note information; 상기 음표정보 중 음표 옆의 점의 개수를 추출하는 과정과, Extracting the number of points next to the note from the note information; 상기 음표의 머리색, 상기 음표의 꼬리 개수 및 상기 음표의 점의 개수를 통해 상기 음의 길이를 추출하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And extracting the length of the sound through the head color of the note, the number of tails of the note, and the number of points of the note. 제22항에 있어서, 상기 음표의 머리색을 판단하는 과정이,The method of claim 22, wherein the determining of the hair color of the note comprises: 상기 음표의 머리가 검은색으로 채워졌으면 '0'으로 판단하는 과정과,If the head of the note is filled with black is determined as '0' and, 상기 음표의 머리가 검은색으로 채워지지 않았으면 '1'로 판단하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.If the head of the note is not filled with black, the audio data and score image extraction method comprising the step of judging as '1'. 제22항에 있어서, 상기 음표의 꼬리개수를 추출하는 과정이,The method of claim 22, wherein the extracting the number of tails of the note comprises 상기 음표의 꼬리개수가 없으면, '0'개로 추출하는 과정과,If there is no number of tails of the note, the process of extracting to '0' and, 상기 음표의 꼬리개수가 있으면, 꼬리개수에 해당하는 숫자를 추출하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And extracting the number corresponding to the number of tails, if the number of tails of the note is included. 제22항에 있어서, 음표 옆의 점의 개수를 추출하는 과정이,The method of claim 22, wherein the process of extracting the number of points next to a note 상기 음표 옆의 점의 개수가 없으면, '0'개로 추출하는 과정과,If there is no number of points next to the note, the process of extracting to '0' and, 상기 음표 옆의 점의 개수가 있으면, 점의 개수에 해당하는 숫자를 추출하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And extracting a number corresponding to the number of points if the number of points next to the note is present. 제17항에 있어서,The method of claim 17, 상기 음악기호 중 상기 오선지와 부수적인 음악기호에 대한 해당 정보를 추출하는 과정과,Extracting the corresponding information about the miso of the music symbol and the incidental music symbol; 상기 추출된 음의 높이, 상기 음의 길이 및 상기 오선지와 부수적인 음악기호에 대한 해당정보를 통해 오디오데이터를 출력하는 과정을 더 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.And outputting audio data through the extracted height of the sound, the length of the sound, and corresponding information about the music note and an accompanying music symbol.
KR1020060051072A 2005-07-18 2006-06-07 Method for outputting audio data and music image KR100735444B1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020060051072A KR100735444B1 (en) 2005-07-18 2006-06-07 Method for outputting audio data and music image
US11/485,986 US7547840B2 (en) 2005-07-18 2006-07-14 Method and apparatus for outputting audio data and musical score image
EP06014908.5A EP1746576A3 (en) 2005-07-18 2006-07-18 Method and apparatus for outputting audio data and musical score image
CN200610101399A CN100588279C (en) 2005-07-18 2006-07-18 Method and apparatus for outputting audio data and musical score image
US12/222,261 US20080295673A1 (en) 2005-07-18 2008-08-06 Method and apparatus for outputting audio data and musical score image

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020050064712 2005-07-18
KR20050064712 2005-07-18
KR1020060051072A KR100735444B1 (en) 2005-07-18 2006-06-07 Method for outputting audio data and music image

Publications (2)

Publication Number Publication Date
KR20070011095A KR20070011095A (en) 2007-01-24
KR100735444B1 true KR100735444B1 (en) 2007-07-04

Family

ID=37258909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060051072A KR100735444B1 (en) 2005-07-18 2006-06-07 Method for outputting audio data and music image

Country Status (4)

Country Link
US (2) US7547840B2 (en)
EP (1) EP1746576A3 (en)
KR (1) KR100735444B1 (en)
CN (1) CN100588279C (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459766B1 (en) * 2008-02-12 2014-11-10 삼성전자주식회사 Method for recognizing a music score image with automatic accompaniment in a mobile device

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8093484B2 (en) * 2004-10-29 2012-01-10 Zenph Sound Innovations, Inc. Methods, systems and computer program products for regenerating audio performances
US7598447B2 (en) * 2004-10-29 2009-10-06 Zenph Studios, Inc. Methods, systems and computer program products for detecting musical notes in an audio signal
US20080014911A1 (en) * 2006-07-13 2008-01-17 Jonathan William Medved Group sharing of media content
ES2539813T3 (en) * 2007-02-01 2015-07-06 Museami, Inc. Music transcription
CN102867526A (en) * 2007-02-14 2013-01-09 缪斯亚米有限公司 Collaborative music creation
WO2009103023A2 (en) 2008-02-13 2009-08-20 Museami, Inc. Music score deconstruction
JP5335501B2 (en) * 2009-03-18 2013-11-06 キヤノン株式会社 Image processing apparatus, image processing method, and program
US8629342B2 (en) * 2009-07-02 2014-01-14 The Way Of H, Inc. Music instruction system
WO2011090843A2 (en) 2010-01-22 2011-07-28 Si X Semiconductor Inc. Drum and drum-set tuner
CN101944356B (en) * 2010-09-17 2012-07-04 厦门大学 Music rhythm generating method suitable for playing music of abbreviated character notation of seven-stringed plucked instrument
EP2786369A4 (en) 2011-11-30 2016-12-07 Overtone Labs Inc Drum and drum-set tuner
CN102420910A (en) * 2011-12-16 2012-04-18 广东步步高电子工业有限公司 Handheld mobile terminal capable of playing music and synchronously displaying music score and realization method thereof
US9153221B2 (en) 2012-09-11 2015-10-06 Overtone Labs, Inc. Timpani tuning and pitch control system
US9099065B2 (en) 2013-03-15 2015-08-04 Justin LILLARD System and method for teaching and playing a musical instrument
CN104078035B (en) * 2013-07-02 2016-10-05 深圳市腾讯计算机系统有限公司 A kind of method and device of playing music
JP6197631B2 (en) * 2013-12-19 2017-09-20 ヤマハ株式会社 Music score analysis apparatus and music score analysis method
CN105280170A (en) * 2015-10-10 2016-01-27 北京百度网讯科技有限公司 Method and device for playing music score
CN105825740A (en) * 2016-05-19 2016-08-03 魏金会 Multi-mode music teaching software
CN107832048A (en) * 2017-10-20 2018-03-23 周亮 The implementation method and device of editable beat
CN109003627B (en) * 2018-09-07 2021-02-12 广州酷狗计算机科技有限公司 Method, device, terminal and storage medium for determining audio score
CN109376776A (en) * 2018-10-15 2019-02-22 百度在线网络技术（北京）有限公司 Method and apparatus for playing music
CN110070846A (en) * 2019-03-14 2019-07-30 合肥磐石自动化科技有限公司 A kind of the play music identification of spectrogram of robot of vibraphone is played music method
CN110010112A (en) * 2019-04-22 2019-07-12 咸阳师范学院 A kind of electronic music editing system
CN113963723B (en) * 2021-09-16 2023-05-26 秦慈军 Music presentation method, device, equipment and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990009032A (en) * 1997-07-07 1999-02-05 배순훈 Music score display device and method of digital electronic musical instrument

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4463650A (en) * 1981-11-19 1984-08-07 Rupert Robert E System for converting oral music to instrumental music
US4457203A (en) * 1982-03-09 1984-07-03 Wright-Malta Corporation Sound signal automatic detection and display method and system
US4633748A (en) * 1983-02-27 1987-01-06 Casio Computer Co., Ltd. Electronic musical instrument
US4479416A (en) * 1983-08-25 1984-10-30 Clague Kevin L Apparatus and method for transcribing music
US5038658A (en) * 1988-02-29 1991-08-13 Nec Home Electronics Ltd. Method for automatically transcribing music and apparatus therefore
JP2775651B2 (en) * 1990-05-14 1998-07-16 カシオ計算機株式会社 Scale detecting device and electronic musical instrument using the same
US5210366A (en) * 1991-06-10 1993-05-11 Sykes Jr Richard O Method and device for detecting and separating voices in a complex musical composition
US5357045A (en) * 1991-10-24 1994-10-18 Nec Corporation Repetitive PCM data developing device
US5841903A (en) * 1992-01-17 1998-11-24 Yamaha Corporation Method and device for extracting a connected component of image data
US5864631A (en) * 1992-08-03 1999-01-26 Yamaha Corporation Method and apparatus for musical score recognition with quick processing of image data
GB2276972B (en) * 1993-04-09 1996-12-11 Matsushita Electric Ind Co Ltd Training apparatus for singing
TW250558B (en) * 1993-10-20 1995-07-01 Yamaha Corp Sheet music recognition device
JP3448928B2 (en) * 1993-11-05 2003-09-22 ヤマハ株式会社 Music score recognition device
US5567901A (en) * 1995-01-18 1996-10-22 Ivl Technologies Ltd. Method and apparatus for changing the timbre and/or pitch of audio signals
JP3424787B2 (en) * 1996-03-12 2003-07-07 ヤマハ株式会社 Performance information detection device
US5693903A (en) * 1996-04-04 1997-12-02 Coda Music Technology, Inc. Apparatus and method for analyzing vocal audio data to provide accompaniment to a vocalist
US5773741A (en) * 1996-09-19 1998-06-30 Sunhawk Corporation, Inc. Method and apparatus for nonsequential storage of and access to digital musical score and performance information
US5952597A (en) * 1996-10-25 1999-09-14 Timewarp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
US6166314A (en) * 1997-06-19 2000-12-26 Time Warp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
JP3502247B2 (en) * 1997-10-28 2004-03-02 ヤマハ株式会社 Voice converter
US6140568A (en) * 1997-11-06 2000-10-31 Innovative Music Systems, Inc. System and method for automatically detecting a set of fundamental frequencies simultaneously present in an audio signal
US5986199A (en) * 1998-05-29 1999-11-16 Creative Technology, Ltd. Device for acoustic entry of musical data
TW430778B (en) * 1998-06-15 2001-04-21 Yamaha Corp Voice converter with extraction and modification of attribute data
AUPP547898A0 (en) * 1998-08-26 1998-09-17 Canon Kabushiki Kaisha System and method for automatic music generation
JP3399409B2 (en) * 1998-09-11 2003-04-21 株式会社村田製作所 Composite circuit board, non-reciprocal circuit element, resonator, filter, duplexer, communication device, circuit module, and composite circuit board manufacturing method and non-reciprocal circuit element manufacturing method
US6725108B1 (en) * 1999-01-28 2004-04-20 International Business Machines Corporation System and method for interpretation and visualization of acoustic spectra, particularly to discover the pitch and timbre of musical sounds
US6787689B1 (en) * 1999-04-01 2004-09-07 Industrial Technology Research Institute Computer & Communication Research Laboratories Fast beat counter with stability enhancement
US6355869B1 (en) * 1999-08-19 2002-03-12 Duane Mitton Method and system for creating musical scores from musical recordings
WO2001067306A1 (en) * 2000-03-08 2001-09-13 Lyrrus Inc. Doing Business As G- Vox On-line notation system
EP1273001A2 (en) * 2000-04-06 2003-01-08 Rainbow Music Corporation System for playing music having multi-colored musical notation and instruments
JP4399961B2 (en) * 2000-06-21 2010-01-20 ヤマハ株式会社 Music score screen display device and performance device
FI20001592A (en) * 2000-07-03 2002-04-11 Elmorex Ltd Oy Generation of a note-based code
EP1340219A4 (en) * 2000-12-05 2005-04-13 Amusetec Co Ltd Method for analyzing music using sounds of instruments
CA2836213A1 (en) * 2001-02-20 2002-08-29 3D Radio, Llc Multiple radio signal processing and storing method and apparatus
JP3744366B2 (en) * 2001-03-06 2006-02-08 ヤマハ株式会社 Music symbol automatic determination device based on music data, musical score display control device based on music data, and music symbol automatic determination program based on music data
DE10117870B4 (en) * 2001-04-10 2005-06-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for transferring a music signal into a score-based description and method and apparatus for referencing a music signal in a database
US20070265834A1 (en) * 2001-09-06 2007-11-15 Einat Melnick In-context analysis
US7314994B2 (en) * 2001-11-19 2008-01-01 Ricoh Company, Ltd. Music processing printer
KR100455751B1 (en) * 2001-12-18 2004-11-06 어뮤즈텍(주) Apparatus for analyzing music using sound of instruments
US7202407B2 (en) * 2002-02-28 2007-04-10 Yamaha Corporation Tone material editing apparatus and tone material editing program
EP1529279A1 (en) * 2002-08-02 2005-05-11 Koninklijke Philips Electronics N.V. Method and apparatus to improve the reproduction of music content
JP3891111B2 (en) * 2002-12-12 2007-03-14 ソニー株式会社 Acoustic signal processing apparatus and method, signal recording apparatus and method, and program
US20040193429A1 (en) * 2003-03-24 2004-09-30 Suns-K Co., Ltd. Music file generating apparatus, music file generating method, and recorded medium
US7323629B2 (en) * 2003-07-16 2008-01-29 Univ Iowa State Res Found Inc Real time music recognition and display system
TWI282970B (en) * 2003-11-28 2007-06-21 Mediatek Inc Method and apparatus for karaoke scoring
JP2006106818A (en) * 2004-09-30 2006-04-20 Toshiba Corp Music retrieval device, music retrieval method and music retrieval program
US7598447B2 (en) * 2004-10-29 2009-10-06 Zenph Studios, Inc. Methods, systems and computer program products for detecting musical notes in an audio signal
US20060112812A1 (en) * 2004-11-30 2006-06-01 Anand Venkataraman Method and apparatus for adapting original musical tracks for karaoke use
US20060150803A1 (en) * 2004-12-15 2006-07-13 Robert Taub System and method for music score capture and synthesized audio performance with synchronized presentation
US7718882B2 (en) * 2007-03-22 2010-05-18 Qualcomm Incorporated Efficient identification of sets of audio parameters
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990009032A (en) * 1997-07-07 1999-02-05 배순훈 Music score display device and method of digital electronic musical instrument

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459766B1 (en) * 2008-02-12 2014-11-10 삼성전자주식회사 Method for recognizing a music score image with automatic accompaniment in a mobile device

Also Published As

Publication number Publication date
EP1746576A3 (en) 2017-07-26
US7547840B2 (en) 2009-06-16
US20080295673A1 (en) 2008-12-04
CN100588279C (en) 2010-02-03
CN1901716A (en) 2007-01-24
EP1746576A2 (en) 2007-01-24
KR20070011095A (en) 2007-01-24
US20070012165A1 (en) 2007-01-18

Similar Documents

Publication Publication Date Title
KR100735444B1 (en) Method for outputting audio data and music image
JP4919993B2 (en) Information recording device
TWI262718B (en) System and method for high-quality variable speed playback of audio-visual media
KR100726258B1 (en) Method for producing digital images using photographic files and phonetic files in a mobile device
JP3615195B2 (en) Content recording / playback apparatus and content editing method
US20100067798A1 (en) Method of facial image reproduction and related device
WO2001016935A1 (en) Information retrieving/processing method, retrieving/processing device, storing method and storing device
US6704582B2 (en) Personalized incoming call signal for communication devices
WO2006112429A1 (en) Recording device
KR100630206B1 (en) Method for adjusting volume in music file
JP2006221253A (en) Image processor and image processing program
KR100726723B1 (en) Song accompaniment apparatus for selecting musical program using code recognition
KR20050075082A (en) Manufacture system of music video using karaoke
JP2005043628A (en) Dialog recorder and dialog recording method
JPH0738868A (en) Terminal equipment for video conference
JP5188619B2 (en) Information recording device
KR20050084720A (en) Method for playing musical note
KR101023301B1 (en) Method for sending and editing mp3 file in wireless terminal
KR100726721B1 (en) Song accompaniment apparatus have study function and method for thereof
JP2000122686A (en) Speech recognizer, and electronic equipment using same
KR200347187Y1 (en) Manufacture System of Music Video Using Karaoke
CN117376633A (en) Audio signal processing method, device, intelligent television, medium and program product
JPH11136342A (en) Memory dial red aloud device
KR20070010762A (en) Chord image display apparatus, the method thereof and the mobile communication terminal having the said function
JP2000092435A (en) Signal characteristic extracting method and its system, voice recognition method and its system, dynamic image edit method and its system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150528

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160530

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee