KR100735444B1 - 오디오데이터 및 악보이미지 추출방법 - Google Patents

오디오데이터 및 악보이미지 추출방법 Download PDF

Info

Publication number
KR100735444B1
KR100735444B1 KR1020060051072A KR20060051072A KR100735444B1 KR 100735444 B1 KR100735444 B1 KR 100735444B1 KR 1020060051072 A KR1020060051072 A KR 1020060051072A KR 20060051072 A KR20060051072 A KR 20060051072A KR 100735444 B1 KR100735444 B1 KR 100735444B1
Authority
KR
South Korea
Prior art keywords
note
extracting
music
sound
audio data
Prior art date
Application number
KR1020060051072A
Other languages
English (en)
Other versions
KR20070011095A (ko
Inventor
노동훈
김주섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060051072A priority Critical patent/KR100735444B1/ko
Priority to US11/485,986 priority patent/US7547840B2/en
Priority to EP06014908.5A priority patent/EP1746576A3/en
Priority to CN200610101399A priority patent/CN100588279C/zh
Publication of KR20070011095A publication Critical patent/KR20070011095A/ko
Application granted granted Critical
Publication of KR100735444B1 publication Critical patent/KR100735444B1/ko
Priority to US12/222,261 priority patent/US20080295673A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10F—AUTOMATIC MUSICAL INSTRUMENTS
    • G10F1/00—Automatic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/125—Extracting or recognising the pitch or fundamental frequency of the picked up signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/046—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for differentiation between music and non-music signals, based on the identification of musical parameters, e.g. based on tempo detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/086—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/016—File editing, i.e. modifying musical data files or streams as such

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명은 오디오데이터 및 악보이미지 추출방법에 관한 것으로, 특히 재생되는 오디오데이터의 악보이미지를 표시하고, 또는 악보이미지를 통해 오디오데이터를 출력하는 오디오데이터 및 악보이미지 추출방법에 관한 것이다.
이를 달성하기 위하여, 오디오데이터를 악보로 출력하는 방법이, 상기 오디오데이터 재생 중 가사를 제거한 음을 추출하는 과정과; 상기 음을 주파수로 변환하는 과정과; 일정시간이 경과되면, 상기 일정시간동안 추출된 주파수를 분석하여 단음 및 복음을 구분하는 과정과; 상기 단음 또는 복음에 해당하는 주파수를 음 정보데이터로 변환하여 저장하는 과정과; 상기 음 정보데이터에 대응되는 음악기호를 추출하여 악보로 표시하는 과정으로 이루어지며,
또한 악보를 오디오데이터로 출력하는 방법이, 상기 악보를 촬영하는 과정과; 상기 촬영된 악보에서 음악기호를 추출하는 과정과; 상기 음악기호 중 오선지 및 음표정보를 통해 음의 높이를 추출하는 과정과; 상기 음악기호 중 상기 음표정보를 통해 음의 길이를 추출하는 과정과; 상기 추출된 음의 높이 및 음의 길이를 통해 오디오데이터를 출력하는 과정으로 이루어진 것을 특징으로 한다.
오디오데이터, 악보이미지, 단음, 복음, 음의 높이, 음의 길이

Description

오디오데이터 및 악보이미지 추출방법{METHOD FOR OUTPUTTING AUDIO DATA AND MUSIC IMAGE}
도 1은 본 발명의 실시 예에 따른 휴대단말기의 구성도.
도 2는 본 발명의 실시 예에 따른 휴대단말기에서 오디오데이터를 악보이미지로 추출하는 방법을 도시한 흐름도.
도 3은 본 발명의 실시 예에 따른 휴대단말기에서 악보이미지를 오디오데이터로 추출하여 표시하는 방법을 도시한 흐름도.
본 발명은 오디오데이터 및 악보이미지 추출방법에 관한 것으로, 특히 재생되는 오디오데이터의 악보이미지를 표시하며, 악보이미지를 통해 오디오데이터를 출력하는 오디오데이터 및 악보이미지 추출방법에 관한 것이다.
현재 휴대단말기에서는 통화서비스 이외의 다양한 부가적인 서비스 기능을 제공하고 있다. 특히, 상기 휴대단말기에 구비된 MP3 서비스기능은 MP3 플레이어를 따로 가지고 다닐 필요가 없이 상기 휴대단말기를 통해 MP3 오디오데이터를 재생할 수 있는 기능이다.
상기와 같이 휴대단말기를 통해 MP3 오디오데이터 재생뿐만 아니라 재생 중인 MP3 오디오데이터를 악보로 표시할 수 있다면, 상기 휴대단말기의 사용자에게 재미있고 시각적으로 음을 알 수 있는 서비스를 제공할 수 있을 것이다.
그리고, 상기 휴대단말기에서 구비된 멜로디 작곡기능은 사용자에 의해 작곡된 오디오데이터를 출력하는 기능으로써, 이 또한 사용자에게 재미를 제공하는 서비스 중의 하나가 되고 있다.
그러나, 상기 종래의 멜로디 작곡기능은 사용자에게 번거로운 동작과 배터리 소모의 문제점을 야기하고 있다. 상기 멜로디 작곡기능에 대한 동작을 살펴보면, 상기 휴대단말기의 사용자가 오선지에 음표를 모두 직접 입력해야 한다. 이때 음의 높낮이를 설정하는 경우'도'음을 기준으로 상하버튼을 이용하여 설정하는데, 기본' 도'음과 차이가 많이 나는 경우 하나의 음을 입력하는 경우에도 상하버튼을 여러 번 눌어야 하는 번거로움과 시간적인 소모를 요하게 된다.
또한 음의 길이를 설정하는 경우, 팝업메뉴를 띄어서 상기 팝업메뉴에서 선택을 해야 하므로 하나의 음 길이를 설정 시에도 많은 동작이 필요하게 된다.
상기와 같은 이유로 실제 휴대단말기에서 작곡을 하는 경우 시간이 많이 걸리며, 사용자가 빈번한 키 조작으로 인한 불편함을 느낄 수 있다. 또한 상기 휴대단말기 자체에서도 부하가 많이 걸리게 되고 배터리소모가 빨리 될 수 있는 문제점이 있었다.
따라서 본 발명의 목적은 재생되는 오디오데이터의 악보이미지를 표시하며, 악보이미지를 통해 오디오데이터를 출력하는 오디오데이터 및 악보이미지 추출방법을 제공함에 있다.
상기 목적을 달성하기 위한 오디오데이터를 악보로 출력하는 방법이, 상기 오디오데이터 재생 중 가사를 제거한 음을 추출하는 과정과; 상기 음을 주파수로 변환하는 과정과; 상기 주파수를 분석하여 음 정보데이터로 변환 후 저장하는 과정과; 상기 음 정보데이터에 대응되는 악보를 표시하는 과정으로 이루어진 것을 특징으로 한다.
또한 상기 목적을 달성하기 위한 오디오데이터를 악보로 출력하는 방법이, 상기 오디오데이터 재생 중 가사를 제거한 음을 추출하는 과정과; 상기 음을 주파수로 변환하는 과정과; 일정시간이 경과되면, 상기 일정시간동안 추출된 주파수를 분석하여 단음 및 복음을 구분하는 과정과; 상기 단음 또는 복음에 해당하는 주파수를 음 정보데이터로 변환하여 저장하는 과정과; 상기 음 정보데이터에 대응되는 음악기호를 추출하여 악보로 표시하는 과정으로 이루어진 것을 특징으로 한다.
또한 상기 목적을 달성하기 위한 악보를 오디오데이터로 출력하는 방법이, 상기 악보를 촬영하는 과정과; 상기 촬영된 악보에서 음악기호를 추출하는 과정과; 상기 음악기호 중 오선지 및 음표정보를 통해 음의 높이를 추출하는 과정과; 상기 음악기호 중 상기 음표정보를 통해 음의 길이를 추출하는 과정과; 상기 추출된 음의 높이 및 음의 길이를 통해 오디오데이터를 출력하는 과정으로 이루어진 것을 특 징으로 한다.
이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
도 1은 본 발명의 실시 예에 따른 휴대 단말기의 구성을 도시하는 도면으로써, 카메라를 구비하는 휴대 단말기의 구성을 도시하는 도면이다.
상기 도 1을 참조하면, RF부123은 휴대 단말기의 무선 통신 기능을 수행한다. 상기 RF부123은 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강변환하는 RF수신기등을 포함한다. 모뎀(MODEM)120은 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화하는 수신기 등을 구비한다. 오디오 처리부125는 코덱을 구성할 수 있으며, 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비한다. 상기 오디오 처리부125는 상기 모뎀120에서 수신되는 디지털 오디오신호를 상기 오디오코덱을 통해 아날로그신호 변환하여 재생하거나 또는 마이크로부터 발생되는 송신되는 아날로그 오디오신호를 상기 오디오코덱을 통해 디지털 오디오신호로 변환하여 상기 모뎀120으로 전송하는 기능을 수행한다. 상기 코덱은 별도로 구비거나 또는 제어부110에 포함될 수 있다.
메모리130은 프로그램 메모리, 데이터 메모리들로 구성될 수 있다. 상기 프로그램 메모리는 휴대단말기의 일반적인 동작을 제어하기 위한 프로그램들을 저장할 수 있다.
또한 상기 메모리130은 본 발명의 실시 예에 따라 오디오데이터를 주파수로 변환하도록 제어하는 프로그램, 상기 주파수를 분석하여 음 정보데이터를 추출하도록 제어하는 프로그램 및 상기 음 정보데이터에 대응되는 음악기호를 추출하여 악보이미지로 표시하도록 제어하는 프로그램을 저장할 수 있다. 또한 상기 메모리130은 본 발명의 실시 예에 따라 상기 음 정보데이터에 대응되는 음악기호를 추출하기 위한 음악기호에 대한 이미지의 데이터베이스를 저장한다.
또한 상기 메모리130은 본 발명의 실시 예에 따라 촬영된 악보에서 음악기호이미지를 인식하여 오디오데이터로 출력하도록 제어하는 프로그램을 저장할 수 있다. 또한 상기 메모리130은 본 발명의 실시 예에 따라 상기 음악기호이미지에 대응되는 오디오데이터 값을 가지는 오디오데이터의 데이터베이스를 저장한다.
또한 상기 데이터 메모리는 상기프로그램들을 수행하는 중에 발생되는 데이터들을 일시 저장하는 기능을 수행한다.
제어부110은 휴대단말기의 전반적인 동작을 제어하는 기능을 수행한다. 또한 상기 제어부110은 상기 모뎀120 및 코덱을 포함할 수도 있다.
또한 상기 제어부110은 본 발명의 실시 예에 따라 재생되는 오디데이터를 악보이미지로 표시하도록 제어한다. 또한 상기 제어부110은 본 발명의 실시 예에 따라 상기 표시되는 악보이미지에 대한 편집기능을 제공도록 하도록 제어한다. 또한 상기 제어부110은 본 발명의 실시 예에 따라 촬영된 악보이미지를 오디오데이터로 출력하도록 제어한다.
본 발명의 실시 예에 따라 오디오데이터를 악보이미지로 표시하며, 악보이미지를 오디오데이터로 출력하는 동작은 상기 제어부110의 제어 하에 멀티미디어부170이 수행할 수도 있다. 본 발명의 실시 예에서 오디오데이터를 악보이미지로 표시하며, 악보이미지를 오디오데이터로 출력하는 동작은 상기 제어부110이 제어하며 수행한다고 가정하여 설명한다.
상기 멀티미디어부170은 상기 제어부의 제어 하에 상기 휴대단말기에서 제공하는 부가적인 서비스 기능, 예를 들어 카메라촬영, MP3데이터 출력등을 수행한다. 또한 상기 멀티미디어부170은 본 발명의 실시 예에서 상기 제어부110의 제어 하에 오디오데이터를 악보이미지로 표시하며, 악보이미지를 오디오데이터로 출력하도록 제어한다. 본 발명의 실시 예에 따른 상기 멀티미디어부170의 기능은 상기 제어부110에서 제어하며 수행 할 수도 있다.
카메라부(camera module)140은 영상데이터를 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 구비한다. 여기서 상기 카메라 센서는 CCD센서라 가정하며, 상기 신호처리부는 DSP(Digital Signal Processor: DSP)로 구현할 수 있다. 또한 상기 카메라 센서 및 신호처리부는 일체형으로 구현할 수 있으며, 또한 분리하여 구현할 수도 있다. 또한 상기 카메라부140은 본 발명의 실시 예에 따라 악보인식모드에서 악보를 촬영한다.
영상처리부150은 상기 카메라부140에서 출력되는 영상신호를 표시하기 위한 화면 데이터를 발생하는 기능을 수행한다. 상기 영상처리부150은 상기 카메라부40에서 출력되는 영상신호를 프레임 단위로 처리하며, 상기 프레임 영상데이터를 상기 표시부160의 특성 및 크기에 맞춰 출력한다. 또한 상기 영상처리부150은 영상코덱을 구비하며, 상기 표시부160에 표시되는 프레임 영상데이터를 설정된 방식으로 압축하거나, 압축된 프레임 영상데이터를 원래의 프레임 영상데이터로 복원하는 기능을 수행한다. 여기서 상기 영상코덱은 JPEG 코덱, MPEG4 코덱, Wavelet 코덱 등이 될 수 있다. 상기 영상처리부150은 OSD(On Screen Display) 기능을 구비한다고 가정하며, 상기 제어부110의 제어하여 표시되는 화면크기에 따라 온스크린 표시데이터를 출력할 수 있다. 또한 상기 영상처리부150은 본 발명의 실시 예에 따라 악보인식모드에서 상기 카메라부140을 통해 촬영되어 저장된 악보이미지를 디코딩하며, 상기 디코딩된 악보이미지를 흑백이미지로 변환한다.
상기 표시부160은 상기 영상처리부150에서 출력되는 영상신호를 화면으로 표시하며, 상기 제어부110에서 출력되는 사용자 데이터를 표시한다. 여기서 상기 표시부160은 LCD를 사용할 수 있으며, 이런 경우 상기 표시부160은 LCD제어부(LCD controller), 영상데이터를 저장할 수 있는 메모리 및 LCD표시소자 등을 구비할 수 있다. 여기서 상기 LCD를 터치스크린(touch screen) 방식으로 구현하는 경우, 입력부로 동작할 수도 있다. 또한 상기 표시부160은 본 발명의 실시 예에 따라 재생되오디오데이터의 악보이미지를 표시할 수 있다.
키입력부127은 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능키들을 구비한다. 또한 상기 키입력부127은 본 발명의 실시 예에 따라 재생되는 오디오데이터에 대한 악보이미지를 표시하도록 제어하는 키를 구비할수 있다. 또한 상기 키입력부127은 본 발명의 실시 예에 따라 악보이미지에 대한 오디오데이터를 출력하도록 제어하는 키를 구비할 수 있다
상기와 같은 휴대단말기에서 오디오데이터를 악보이미지로 표시하는 동작 및 악보이미지를 오디오데이터로 출력하는 동작을 도 2 및 도 3을 통해 살펴본다.
도 2는 본 발명의 실시 예에 따른 휴대단말기에서 오디오데이터를 악보이미지로 추출하는 방법을 도시한 흐름도이다.
이하 본 발명의 실시 예를 도 1의 참조와 함께 상세히 설명한다.
상기 도 2를 참조하면, 상기 휴대단말기에서 MP3 오디오데이터를 재생하는 201단계에서 악보표시가 선택되면, 상기 제어부110은 202단계에서 이를 감지하고 상기 재생되는 MP3 오디오데이터에서 필터링을 통해 가사를 제거한 후, 상기 가사를 제거한 상기 MP3오디오데이터의 음만을 추출하는 203단계를 진행한다.
상기 제어부110은 상기 203단계에서 추출된 음을 양자화 및 PCM(Pulse Code Modulation)을 통해 아날로그신호에서 디지털 신호로 변환하며, 상기 디지털신호로 변환된 음을 FFT(Fast Fourier Transform)를 통해 주파수로 변환하는 204단계를 진행한다.
상기 203단계 및 204단계를 반복수행 중 일정시간이 경과되면, 상기 제어부110은 205단계에서 이를 감지하고 상기 일정시간동안 추출된 주파수 값들에 대한 평균값을 구한 후, 상기 평균값을 임계 값으로 설정하는 206단계를 진행한다. 본 발명의 실시 예에서 상기 일정시간은 초 단위가 될 수 있다.
상기 제어부110은 상기 206단계에서 설정된 임계 값과 상기 일정시간동안 추출된 주파수 값을 비교한다. 상기 일정시간동안 추출된 주파수 값이 상기 임계 값보다 작으면, 상기 제어부110은 207단계에서 이를 감지하고 상기 임계값 보다 작은 주파수 값을 단음으로 추출하는 208단계를 진행한다. 상기 제어부110은 상기 208단계에서 단음으로 추출된 주파수 값 중 임계 값 이상의 주파수 값을 제거하여 노이즈를 제거하는 209단계를 진행한다.
상기 제어부110은 상기 209단계에서 노이즈가 제거된 상기 주파수를 분석하여 해당 음 정보데이터로 변환하는 211단계를 진행한다. 상기 211단계에서 상기 제어부110은 상기 단음으로 추출된 주파수를 분석하여, 음의 높이 및 음의 길이에 따른 음표정보와 상기 음표정보이외의 부수적인 음악기호정보로 구성된 음악기호정보를 가지는 음 정보데이터로 변환하도록 제어한다.
상기 제어부110은 상기 211단계에서 변환된 상기 음 정보데이터를 상기 메모리130에 저장하는 212단계를 진행하며, 상기 메모리130에 저장된 음악기호에 대한 이미지의 데이터베이스를 통해 상기 음 정보데이터에 대응되는 음악기호를 추출하여 상기 표시부160에 표시하는 213단계를 진행한다.
또는 상기 일정시간동안 추출된 주파수 값이 상기 임계 값보다 크면, 상기 제어부110은 207단계에서 이를 감지하고 상기 임계값 보다 큰 주파수 값을 복음으로 추출하는 210단계를 진행한다.
상기 제어부110은 상기 210단계에서 복음으로 추출된 주파수를 분석하여 해 당 음 정보데이터로 변환하는 211단계를 진행한다. 상기 211단계에서 상기 제어부110은 상기 복음으로 추출된 주파수를 분석하여, 음의 높이 및 음의 길이에 따른 음표정보와 상기 음표정보이외의 부수적인 음악기호정보로 구성된 음악기호정보를 가지는 음 정보데이터로 변환하도록 제어한다.
상기 제어부110은 상기 211단계에서 변환된 상기 음 정보데이터를 상기 메모리130에 저장하는 212단계를 진행하며, 상기 메모리130에 저장된 음악기호에 대한 이미지의 데이터베이스를 통해 상기 음 정보데이터에 대응되는 음악기호를 추출하여 상기 표시부160에 표시하는 213단계를 진행한다.
상기 203단계 - 상기 213단계를 반복수행하면서, 상기 제어부110은 상기 201단계에서 재생되는 MP3오디오데이터에 대한 악보이미지를 상기 표시부130에 표시하도록 제어한다.
또한 상기 203단계 - 상기 213단계를 통해 표시되는 악보이미지는 악보편집과정을 통해 편집될 수 있다.
상기 악보편집과정을 살펴보면, 상기 표시부130에 상기 악보이미지가 표시된 상태에서 악보편집이 선택되면, 상기 제어부110은 214단계에서 이를 감지하고 상기 휴대단말기를 악보편집모드로 전환하는 215단계를 진행한다.
상기 악보편집모드에서 상기 제어부110은 악보편집을 위한 음표 선택박스가 상기 악보이지미 중 해당음표, 예를 들어 첫 번째 표시된 음표를 선택하며 표시하도록 제어한다. 상기 음표 선택박스는 방향키 중 좌/우측 키의 입력에 따라 이동되면서 해당 음표를 선택하여 표시할 수 있다. 상기 음표 선택박스는 오선지 상에서 일정위치 단위로 이동하면서 음표 또는 상기 음표이외의 부수적인 음악적 기호 또는 빈 공간에 위치되어 표시될 수 있다.
상기 악보편집모드에서 상기 방향키 중 상측키가 입력되면, 상기 제어부110은 이를 감지하고 상기 입력되는 상측키의 입력에 따라 오선지 상에서 상기 음표 선택박스에 의해 선택된 음표의 음 높이를 높이도록 제어한다. 또는 상기 악보편집모드에서 방향키 중 하측 키가 입력되면, 상기 제어부110은 이를 감지하고 상기 입력되는 하측 키의 입력에 따라 상기 오선지 상에서 상기 음표 선택박스에 의해 선택된 음표의 음 높이를 낮추도록 제어한다.
또한 상기 악보편집모드에서 음 길이가 선택되면, 상기 제어부110은 이를 감지하고 음 길이의 종류를 표시하도록 제어한다. 상기 음 길이의 종류 중 반음내림(b)이 선택되면, 상기 제어부110은 이를 감지하고 상기 음표 선택박스에 의해 선택된 음표의 음 길이를 반음 내리도록 제어한다. 또한, 상기 음 길이의 종류 중 반음올림(#)이 선택되면, 상기 제어부110은 이를 감지하고 상기 음표 선택박스에 의해 선택된 음표의 음 길이를 반음 올리도록 제어한다.
또한 상기 악보편집모드에서 음표 종류가 선택되면, 상기 제어부110은 이를 감지하고 음표의 종류를 표시한다. 상기 표시된 음표의 종류 중 해당 음표가 선택되면, 상기 제어부110은 이를 감지하고 상기 음표 선택박스에 의해 선택된 음표를 상기 선택된 음표의 종류로 변환하여 표시하도록 제어하거나 또는 상기 음표 선택박스에 의해 선택된 빈 공간에 상기 선택된 음표의 종류를 표시하도록 제어한다.
또한 상기 악보편집모드에서 부수적인 음악기호가 선택되면, 상기 제어부110 은 이를 감지하고 부수적인 음악기호의 종류를 표시한다. 상기 표시된 부수적인 음악기호종류 중 해당하는 부수적인 음악기호가 선택되면, 상기 제어부110은 이를 감지하고 상기 음표 선택박스에 의해 선택된 해당 부수적인 음악기호를 상기 선택된 부수적인 음악기호로 변환하여 표시하도록 제어하거나 또는, 상기 음표 선택박스에 의해 선택된 빈 공간에 상기 선택된 부수적인 음악기호를 표시하도록 제어한다.
또한 상기 악보편집모드에서 부가기능이 선택되면, 상기 제어부110은 이를 감지하고 상기 악보편집의 부가기능을 표시하도록 제어한다. 상기 악보편집의 부가기능은 구간설정, 복사, 자르기, 붙이기, 삭제 및 재생이 포함된다.
상기 구간설정은 상기 표시되는 악보이미지들 중 일정구간에 표시되는 음표 또는 부수적인 음악기호를 선택할 수 있는 기능이며, 상기 복사는 상기 구간설정에 의해 또는 상기 음표선택박스에 의해 선택된 음표 또는 부수적인 음악기호를 복사하는 기능이다. 또한, 상기 자르기는 상기 구간설정에 의해 또는 음표선택박스에 의해 선택된 음표 또는 부수적인 음악기호를 잘라내는 기능이며, 상기 붙이기는 상기 복사 또는 상기 자르기 기능에 의해 선택된 음표 또는 부수적인 음악기호를 상기 구간설정에 의해 또는 상기 음표 선택박스에 의해 선택된 오선지 상의 일정위치에 붙이는 기능이디. 또한 상기 삭제는 상기 구간설정에 의해 또는 상기 음표 선택박스에 의해 선택된 음표 또는 부수적인 음악기호를 삭제하는 기능이며, 상기 재생은 상기 악보편집모드에서 표시되는 악보를 재생하는 기능이다.
도 3은 본 발명의 실시 예에 따른 휴대단말기에서 악보이미지를 오디오데이터로 추출하여 표시하는 방법을 도시한 흐름도이다.
이하 본 발명의 실시 예를 도 1의 참조와 함께 상세히 설명한다.
상기 도 3을 참조하면, 상기 휴대단말기의 악보인식모드에서 상기 카메라부140을 통해 악보이미지가 촬영되면, 상기 제어부110은 301단계에서 이를 감지하고 상기 촬영된 악보이미지를 상기 메모리130에 저장한다. 상기 제어부110은 상기 영상처리부150을 통해 상기 메모리130에 저장된 악보이미지를 디코딩하며, 상기 디코딩된 악보이미지를 흑백이미지로 변환하는 302단계를 진행한다.
상기 제어부110은 상기 흑백이미지로 변환된 악보이미지에서 음악기호를 추출하는 303단계를 진행한다. 상기 303단계에서 추출된 음악기호들 중 상기 제어부110은 먼저, 오선지의 5개의 선을 추출하며, 상기 오선지의 5개선 및 상기 선과 선 사이에 각각의 번호를 지정하는 304단계를 진행한다.
상기 304단계에서 상기 제어부110은 상기 오선지의 5개의 선들 중 맨 아랫선부터 차례로 1번, 3번, 5번 ,7번 및 9번을 지정한다. 또한 상기 제어부110은 상기 1번 아래의 공백부분을 0번으로, 상기 1번과 3번사이의 공백을 2번으로, 상기 3번과 5번사이의 공백을 4번으로, 상기 5번과 7번사이의 공백을 6번으로, 상기 7번과 9번사이의 공백을 8번으로, 상기 9번의 윗부분 공백은 10번으로 지정한다.
상기 304단계에서 상기 오선지의 5개의 선 및 선과 선 사이에 번호를 지정한 상기 제어부110은 상기 303단계에서 추출된 음악기호 중 음표정보를 추출하며, 상기 음표정보 중 음표의 머리위치와 상기 오선지에 지정된 번호를 매칭하여 음의 높이를 수치화된 값으로 추출하는 305단계를 진행한다.
상기 305단계에서 상기 제어부110은 상기 음표의 머리위치가 상기 0번 또는 상기 10번에 위치하는지 판단한다. 상기 음표의 머리위치가 상기 0번 또는 상기 10번에 위치하지 않으면, 상기 제어부110은 이를 감지하고 상기 음표의 머리가 위치한 부분의 오선지의 번호를 추출하여 음의 높이를 수치화된 값으로 구한다. 예를 들어 상기 음표의 머리가 상기 2번에 위치하면, 상기 제어부110은 '파'를 추출할 수 있다.
그러나. 상기 음표의 머리위치가 상기 0번 또는 상기 10번에 위치하면, 상기 제어부110은 이를 감지하고 상기 음표의 머리개수에 따라 상기 음의 높이를 수치화된 값으로 구한다.
상기 305단계를 통해 음의 높이 값이 추출되면, 상기 제어부110은 음의 길이값을 추출한다. 상기 제어부110이 상기 음의 길이 값을 구하기 위하여 상기 음표정보 중 음표의 머리색, 음표의 꼬리개수 및 음표 옆의 점 개수를 추출한다.
상기 제어부110이 상기 음표의 머리색에 대한 값을 구하기 위하여, 상기 음표의 머리색을 판단하는 306단계를 진행한다. 상기 제어부110은 307단계에서 상기 음표의 머리가 검은색으로 채워지면 '0'으로 지정하고, 상기 음표의 머리가 검은색으로 채워지지 않으면 '1'로 지정하여, 상기 음표의 머리색에 따라 수치화된 값을 구한다.
또한, 상기 제어부110은 상기 음표의 꼬리개수에 대한 값을 구하기 위하여, 상기 음표의 꼬리개수를 추출하는 308단계를 진행한다. 상기 제어부110은 309단계에서 상기 음표의 꼬리개수가 없으면 '0'으로 지정하고, 상기 음표의 꼬리개수가 있으면 꼬리개수에 해당하는 숫자를 지정하여, 상기 음표의 꼬리개수에 따라 수치 화된 값을 구한다.
또한, 상기 제어부110은 상기 음표 옆의 점 개수에 대한 값을 구하기 위하여, 상기 음표 옆의 점 개수를 추출하는 310단계를 진행한다. 상기 제어부110은 310단계에서 상기 음표 옆의 점 가 없으면 '0'으로 지정하고, 상기 음표 옆의 점 개수가 있으면 점 개수에 해당하는 숫자를 지정하여, 상기 음표 옆의 점 개수에 따라 수치화된 값을 구한다.
상기 307단계, 상기 309단계 및 상기 311단계를 통해, 상기 제어부110은 음의 길이 값을 추출하는 312단계를 진행한다.
상기 305단계에서의 음의 높이 및 상기 312단계에서의 음의 길이를 추출 후, 상기 제어부110은 상기 음악기호 중 상기 오선지 및 음표정보이외의 부수적인 음악적 기호를 추출하며, 상기 부수적인 음악기호를 해당 데이터베이스를 통해 수치적인 값으로 추출하는 313단계를 진행한다.
상기 제어부110은 상기 305단계에서 추출된 음의 높이, 상기 312단계에서 추출된 음의 길이 및 상기 313단계에서 추출된 부수적인 음악기호에 대한 수치적인 값들을 상기 메모리130에 저장된 오디오데이터의 데이터베이스를 통해 해당 오디오데이터 값으로 추출하여 출력하는 314단계를 진행한다.
상술한 본 발명의 설명에서는 휴대 단말기와 같은 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시 할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.
즉, 상술한 바와 같이 본 발명은 오디오데이터를 악보이미지로 출력하고, 악보이미지를 오디오데이터로 출력하는 방법을 제공함으로써, 음악이나 악기 소리를 듣고 그 에 해당하는 악보를 그릴 수 있는 엔터테이먼트를 제공할 수 있으며, 또한 상기 악보를 인식하여 오디오데이터로 출력할 수 있는 효과가 있다.
또한 음악을 공부하려는 일반인들에게 재미있게 공부하며 즐길 수 있는 기능을 제공하며, 일반인들도 음악의 분야에 쉽게 접근할 수 있는 효과가 있다.
또한 상기와 같은 엔터테인먼트 기능을 사용하는 계층은 중학교, 고등학교 학생임을 감안할 때 이들에게 보다 많은 재미를 가져다 줄 수 있는 효과가 있다.

Claims (26)

  1. 오디오데이터를 악보로 출력하는 방법에 있어서,
    상기 오디오데이터 재생 중 가사를 제거한 음을 추출하는 과정과,
    상기 음을 주파수로 변환하는 과정과,
    상기 주파수를 분석하여 음 정보데이터로 변환 후 저장하는 과정과,
    상기 음 정보데이터에 대응되는 악보를 표시하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  2. 제1항에 있어서,
    상기 오디오데이터 재생 중 가사를 제거한 음을 추출하는 과정 및 상기 음을 주파수로 변환하는 과정은 일정시간마다 이루어지는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  3. 제1항에 있어서, 상기 음을 주파수로 변환하는 과정이,
    상기 가사를 제거한 음을 양자화하는 과정과,
    상기 양자화된 데이터에서 PCM 데이터를 추출하는 과정과,
    상기 PCM 데이터를 FFT를 통해 주파수로 변환하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  4. 제1항에 있어서, 상기 음 정보데이터로 변환 후 저장하는 과정이,
    일정시간동안 추출되는 주파수들의 평균값을 구하며, 상기 평균값을 임계값으로 설정하는 과정과.
    상기 임계 값 보다 작은 주파수를 단음으로 구분하고, 해당 주파수를 음 정보데이터로 변환하여 저장하는 과정과,
    상기 임계 값보다 큰 주파수를 복음으로 구분하고, 해당 주파수를 음 정보데이터로 변환하여 저장하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  5. 제4항에 있어서,
    상기 단음으로 구분되면, 상기 임계값 이상의 주파수를 노이즈로 제거하는 과정을 더 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  6. 제1항에 있어서,
    상기 악보는 상기 음 정보데이터에 대응되는 음악기호를 추출하여 표시되는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  7. 제1항에 있어서,
    상기 음 정보데이터는 음의 높이 및 음의 길이에 따른 음표정보와, 부수적인 음악기호정보로 이루어진 음악기호의 정보를 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  8. 제1항에 있어서,
    상기 음 정보데이터에 대응되어 표시되는 악보를 편집하는 과정을 더 포함하며, 상기 악보편집과정은,
    상기 악보를 표시하는 동안 편집이 선택되면, 악보편집모드로 전환하는 과정과,
    상기 악보편집모드에서 상기 악보 중 해당음표에 대한 음의 높이를 조절하는 과정과,
    상기 악보편집모드에서 상기 악보 중 해당음표에 대한 음의 길이를 변환하는 과정과,
    상기 악보편집모드에서 상기 악보 중 해당음표를 선택된 음표의 종류로 변환하는 과정과,
    상기 악보편집모드에서 악보편집의 부가기능을 수행하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  9. 제8항에 있어서,
    상기 악보편집의 부가기능은 구간설정, 복사, 자르기, 붙이기, 삭제 및 재생을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  10. 오디오데이터를 악보로 출력하는 방법에 있어서,
    상기 오디오데이터 재생 중 가사를 제거한 음을 추출하는 과정과,
    상기 음을 주파수로 변환하는 과정과,
    일정시간이 경과되면, 상기 일정시간동안 추출된 주파수를 분석하여 단음 및 복음을 구분하는 과정과,
    상기 단음 또는 복음에 해당하는 주파수를 음 정보데이터로 변환하여 저장하는 과정과,
    상기 음 정보데이터에 대응되는 음악기호를 추출하여 악보로 표시하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  11. 제10항에 있어서, 상기 음을 주파수로 변환하는 과정이,
    상기 가사를 제거한 음을 양자화하는 과정과,
    상기 양자화된 데이터에서 PCM 데이터를 추출하는 과정과,
    상기 PCM 데이터를 FFT를 통해 주파수로 변환하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  12. 제10항에 있어서, 상기 단음 및 복음을 구분하는 과정이,
    상기 일정시간동안 추출되는 주파수들의 평균값을 구하며, 상기 평균값을 임계값으로 설정하는 과정과.
    상기 임계값 보다 작은 주파수를 단음으로 구분하고, 상기 임계값 이상의 주파수를 노이즈로 제거한 후, 해당 주파수를 음 정보데이터로 변환하여 저장하는 과정과,
    상기 임계값 보다 큰 주파수를 복음으로 구분하고, 해당 주파수를 음 정보데이터로 변환하여 저장하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  13. 삭제
  14. 제10항에 있어서,
    상기 음 정보데이터는 음의 높이 및 음의 길이에 따른 음표정보와, 부수적인 음악기호정보로 이루어진 음악기호의 정보를 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  15. 제10항에 있어서,
    상기 음 정보데이터에 대응되어 표시되는 악보를 편집하는 과정을 더 포함하며, 상기 악보편집과정은,
    상기 악보를 표시하는 동안 편집이 선택되면, 악보편집모드로 전환하는 과정과,
    상기 악보편집모드에서 상기 악보 중 해당음표에 대한 음의 높이를 조절하는 과정과,
    상기 악보편집모드에서 상기 악보 중 해당음표에 대한 음의 길이를 변환하는 과정과,
    상기 악보편집모드에서 상기 악보 중 해당음표를 선택된 음표의 종류로 변환하는 과정과,
    상기 악보편집모드에서 악보편집의 부가기능을 수행하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  16. 제15항에 있어서,
    상기 악보편집의 부가기능은 구간설정, 복사, 자르기, 붙이기, 삭제 및 재생을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  17. 악보를 오디오데이터로 출력하는 방법에 있어서,
    상기 악보를 촬영하는 과정과,
    상기 촬영된 악보에서 음악기호를 추출하는 과정과,
    상기 음악기호 중 오선지 및 음표정보를 통해 음의 높이를 추출하는 과정과,
    상기 음악기호 중 상기 음표정보를 통해 음의 길이를 추출하는 과정과,
    상기 추출된 음의 높이 및 음의 길이를 통해 오디오데이터를 출력하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  18. 제17항에 있어서,
    상기 촬영된 악보를 흑백이미지로 변환하는 과정을 더 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  19. 제17항에 있어서, 상기 음의 높이를 추출하는 과정이,
    상기 오선지의 5개 선 및 선과 선 사이에 각각의 번호를 지정하는 과정과,
    상기 음표정보 중 음표의 머리위치와 상기 지정된 번호를 매칭하여 음의 높이를 추출하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  20. 제19항에 있어서, 상기 오선지에 각각의 번호를 지정하는 과정이,
    상기 오선지의 5개 선 중 아랫선부터 1,3,5,7,9의 번호를 지정하는 과정과,
    상기 지정된 1번의 아랫부분 공백을 0번으로, 상기 1번과 상기 3번사이의 공백을 2번으로, 상기 3번과 상기 5번 사이의 공백을 4번으로, 상기 5번과 상기 7번사이의 공백을 6번으로, 상기 7번과 상기 9번사이의 공백을 8번으로, 상기 9번의 윗부분 공백을 10번으로 지정하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  21. 제19항에 있어서, 상기 음의 높이를 추출하는 과정이,
    상기 음표정보 중 음표의 머리부분 위치를 추출하는 과정과,
    상기 음표의 머리부분이 상기 오선지의 맨 아랫선의 공백 또는 맨 윗선의 공백에 위치하는지 판단하는 과정과,
    상기 음표의 머리부분이 상기 오선지의 맨 아랫선의 공백 또는 맨 윗선의 공백에 위치하지 않으면, 상기 음표의 머리부분이 위치된 오선지의 지정번호를 통해 음의 높이를 추출하는 과정과,
    상기 음표의 머리부분이 상기 오선지의 맨 아랫선의 공백 또는 맨 윗선의 공백에 위치하면, 상기 음표의 머리개수를 통해 음의 높이를 추출하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  22. 제17항에 있어서, 상기 음의 길이를 추출하는 과정이,
    상기 음표정보 중 음표의 머리색을 판단하는 과정과,
    상기 음표정보 중 음표의 꼬리개수를 추출하는 과정과,
    상기 음표정보 중 음표 옆의 점의 개수를 추출하는 과정과,
    상기 음표의 머리색, 상기 음표의 꼬리 개수 및 상기 음표의 점의 개수를 통해 상기 음의 길이를 추출하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  23. 제22항에 있어서, 상기 음표의 머리색을 판단하는 과정이,
    상기 음표의 머리가 검은색으로 채워졌으면 '0'으로 판단하는 과정과,
    상기 음표의 머리가 검은색으로 채워지지 않았으면 '1'로 판단하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  24. 제22항에 있어서, 상기 음표의 꼬리개수를 추출하는 과정이,
    상기 음표의 꼬리개수가 없으면, '0'개로 추출하는 과정과,
    상기 음표의 꼬리개수가 있으면, 꼬리개수에 해당하는 숫자를 추출하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  25. 제22항에 있어서, 음표 옆의 점의 개수를 추출하는 과정이,
    상기 음표 옆의 점의 개수가 없으면, '0'개로 추출하는 과정과,
    상기 음표 옆의 점의 개수가 있으면, 점의 개수에 해당하는 숫자를 추출하는 과정을 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
  26. 제17항에 있어서,
    상기 음악기호 중 상기 오선지와 부수적인 음악기호에 대한 해당 정보를 추출하는 과정과,
    상기 추출된 음의 높이, 상기 음의 길이 및 상기 오선지와 부수적인 음악기호에 대한 해당정보를 통해 오디오데이터를 출력하는 과정을 더 포함하는 것을 특징으로 하는 오디오데이터 및 악보이미지 추출방법.
KR1020060051072A 2005-07-18 2006-06-07 오디오데이터 및 악보이미지 추출방법 KR100735444B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020060051072A KR100735444B1 (ko) 2005-07-18 2006-06-07 오디오데이터 및 악보이미지 추출방법
US11/485,986 US7547840B2 (en) 2005-07-18 2006-07-14 Method and apparatus for outputting audio data and musical score image
EP06014908.5A EP1746576A3 (en) 2005-07-18 2006-07-18 Method and apparatus for outputting audio data and musical score image
CN200610101399A CN100588279C (zh) 2005-07-18 2006-07-18 输出音频数据和乐谱图像的方法和设备
US12/222,261 US20080295673A1 (en) 2005-07-18 2008-08-06 Method and apparatus for outputting audio data and musical score image

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020050064712 2005-07-18
KR20050064712 2005-07-18
KR1020060051072A KR100735444B1 (ko) 2005-07-18 2006-06-07 오디오데이터 및 악보이미지 추출방법

Publications (2)

Publication Number Publication Date
KR20070011095A KR20070011095A (ko) 2007-01-24
KR100735444B1 true KR100735444B1 (ko) 2007-07-04

Family

ID=37258909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060051072A KR100735444B1 (ko) 2005-07-18 2006-06-07 오디오데이터 및 악보이미지 추출방법

Country Status (4)

Country Link
US (2) US7547840B2 (ko)
EP (1) EP1746576A3 (ko)
KR (1) KR100735444B1 (ko)
CN (1) CN100588279C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459766B1 (ko) * 2008-02-12 2014-11-10 삼성전자주식회사 휴대 단말에서 자동반주 악보를 인식하는 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8093484B2 (en) * 2004-10-29 2012-01-10 Zenph Sound Innovations, Inc. Methods, systems and computer program products for regenerating audio performances
US7598447B2 (en) * 2004-10-29 2009-10-06 Zenph Studios, Inc. Methods, systems and computer program products for detecting musical notes in an audio signal
US20080014911A1 (en) * 2006-07-13 2008-01-17 Jonathan William Medved Group sharing of media content
US7667125B2 (en) * 2007-02-01 2010-02-23 Museami, Inc. Music transcription
JP2010518459A (ja) * 2007-02-14 2010-05-27 ミューズアミ， インコーポレイテッド 配布オーディオファイル編集用ウェブポータル
WO2009103023A2 (en) 2008-02-13 2009-08-20 Museami, Inc. Music score deconstruction
JP5335501B2 (ja) * 2009-03-18 2013-11-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US8629342B2 (en) * 2009-07-02 2014-01-14 The Way Of H, Inc. Music instruction system
WO2011090843A2 (en) 2010-01-22 2011-07-28 Si X Semiconductor Inc. Drum and drum-set tuner
CN101944356B (zh) * 2010-09-17 2012-07-04 厦门大学 一种适用于古琴减字谱打谱的音乐节奏生成方法
CN103890837A (zh) 2011-11-30 2014-06-25 泛音实验室股份有限公司 鼓和架子鼓调谐装置
CN102420910A (zh) * 2011-12-16 2012-04-18 广东步步高电子工业有限公司 一种播放音乐同步显示乐谱的移动手持终端及其实现方法
US9153221B2 (en) 2012-09-11 2015-10-06 Overtone Labs, Inc. Timpani tuning and pitch control system
US9099065B2 (en) 2013-03-15 2015-08-04 Justin LILLARD System and method for teaching and playing a musical instrument
CN104078035B (zh) * 2013-07-02 2016-10-05 深圳市腾讯计算机系统有限公司 一种演奏乐曲的方法及装置
JP6197631B2 (ja) * 2013-12-19 2017-09-20 ヤマハ株式会社 楽譜解析装置および楽譜解析方法
CN105280170A (zh) * 2015-10-10 2016-01-27 北京百度网讯科技有限公司 一种乐谱演奏的方法和装置
CN105825740A (zh) * 2016-05-19 2016-08-03 魏金会 一种多模式音乐教学软件
CN107832048A (zh) * 2017-10-20 2018-03-23 周亮 可编辑节拍的实现方法及装置
CN109003627B (zh) * 2018-09-07 2021-02-12 广州酷狗计算机科技有限公司 确定音频得分的方法、装置、终端及存储介质
CN109376776A (zh) * 2018-10-15 2019-02-22 百度在线网络技术（北京）有限公司 用于播放音乐的方法和装置
CN110070846A (zh) * 2019-03-14 2019-07-30 合肥磐石自动化科技有限公司 一种颤音琴奏乐机器人的识谱奏乐方法
CN110010112A (zh) * 2019-04-22 2019-07-12 咸阳师范学院 一种电子乐谱编辑系统
CN113963723B (zh) * 2021-09-16 2023-05-26 秦慈军 一种音乐呈现方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990009032A (ko) * 1997-07-07 1999-02-05 배순훈 디지탈 전자악기의 악보표시장치 및 방법

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4463650A (en) * 1981-11-19 1984-08-07 Rupert Robert E System for converting oral music to instrumental music
US4457203A (en) * 1982-03-09 1984-07-03 Wright-Malta Corporation Sound signal automatic detection and display method and system
US4633748A (en) * 1983-02-27 1987-01-06 Casio Computer Co., Ltd. Electronic musical instrument
US4479416A (en) * 1983-08-25 1984-10-30 Clague Kevin L Apparatus and method for transcribing music
US5038658A (en) * 1988-02-29 1991-08-13 Nec Home Electronics Ltd. Method for automatically transcribing music and apparatus therefore
JP2775651B2 (ja) * 1990-05-14 1998-07-16 カシオ計算機株式会社 音階検出装置及びそれを用いた電子楽器
US5210366A (en) * 1991-06-10 1993-05-11 Sykes Jr Richard O Method and device for detecting and separating voices in a complex musical composition
US5357045A (en) * 1991-10-24 1994-10-18 Nec Corporation Repetitive PCM data developing device
US5841903A (en) * 1992-01-17 1998-11-24 Yamaha Corporation Method and device for extracting a connected component of image data
US5864631A (en) * 1992-08-03 1999-01-26 Yamaha Corporation Method and apparatus for musical score recognition with quick processing of image data
GB2276972B (en) * 1993-04-09 1996-12-11 Matsushita Electric Ind Co Ltd Training apparatus for singing
TW250558B (en) * 1993-10-20 1995-07-01 Yamaha Corp Sheet music recognition device
JP3448928B2 (ja) * 1993-11-05 2003-09-22 ヤマハ株式会社 楽譜認識装置
US5567901A (en) * 1995-01-18 1996-10-22 Ivl Technologies Ltd. Method and apparatus for changing the timbre and/or pitch of audio signals
JP3424787B2 (ja) * 1996-03-12 2003-07-07 ヤマハ株式会社 演奏情報検出装置
US5693903A (en) * 1996-04-04 1997-12-02 Coda Music Technology, Inc. Apparatus and method for analyzing vocal audio data to provide accompaniment to a vocalist
US5773741A (en) * 1996-09-19 1998-06-30 Sunhawk Corporation, Inc. Method and apparatus for nonsequential storage of and access to digital musical score and performance information
US5952597A (en) * 1996-10-25 1999-09-14 Timewarp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
US6166314A (en) * 1997-06-19 2000-12-26 Time Warp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
JP3502247B2 (ja) * 1997-10-28 2004-03-02 ヤマハ株式会社 音声変換装置
US6140568A (en) * 1997-11-06 2000-10-31 Innovative Music Systems, Inc. System and method for automatically detecting a set of fundamental frequencies simultaneously present in an audio signal
US5986199A (en) * 1998-05-29 1999-11-16 Creative Technology, Ltd. Device for acoustic entry of musical data
TW430778B (en) * 1998-06-15 2001-04-21 Yamaha Corp Voice converter with extraction and modification of attribute data
AUPP547898A0 (en) * 1998-08-26 1998-09-17 Canon Kabushiki Kaisha System and method for automatic music generation
JP3399409B2 (ja) * 1998-09-11 2003-04-21 株式会社村田製作所 複合回路基板、非可逆回路素子、共振器、フィルタ、デュプレクサ、通信機装置、回路モジュール、ならびに複合回路基板の製造方法と非可逆回路素子の製造方法
US6725108B1 (en) * 1999-01-28 2004-04-20 International Business Machines Corporation System and method for interpretation and visualization of acoustic spectra, particularly to discover the pitch and timbre of musical sounds
US6787689B1 (en) * 1999-04-01 2004-09-07 Industrial Technology Research Institute Computer & Communication Research Laboratories Fast beat counter with stability enhancement
US6355869B1 (en) * 1999-08-19 2002-03-12 Duane Mitton Method and system for creating musical scores from musical recordings
AU2001243484A1 (en) * 2000-03-08 2001-09-17 Lyrrus Inc. Doing Business As G- Vox On-line notation system
AU2001251393A1 (en) * 2000-04-06 2001-10-23 Rainbow Music Corporation System for playing music having multi-colored musical notation and instruments
JP4399961B2 (ja) * 2000-06-21 2010-01-20 ヤマハ株式会社 楽譜画面表示装置及び演奏装置
FI20001592A (fi) * 2000-07-03 2002-04-11 Elmorex Ltd Oy Nuottipohjaisen koodin generointi
AU2002221181A1 (en) * 2000-12-05 2002-06-18 Amusetec Co. Ltd. Method for analyzing music using sounds of instruments
WO2002067447A2 (en) * 2001-02-20 2002-08-29 Ellis Caron S Enhanced radio systems and methods
JP3744366B2 (ja) * 2001-03-06 2006-02-08 ヤマハ株式会社 楽曲データに基づく音楽記号自動決定装置、楽曲データに基づく楽譜表示制御装置、および、楽曲データに基づく音楽記号自動決定プログラム
DE10117870B4 (de) * 2001-04-10 2005-06-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Überführen eines Musiksignals in eine Noten-basierte Beschreibung und Verfahren und Vorrichtung zum Referenzieren eines Musiksignals in einer Datenbank
US20070265834A1 (en) * 2001-09-06 2007-11-15 Einat Melnick In-context analysis
US7314994B2 (en) * 2001-11-19 2008-01-01 Ricoh Company, Ltd. Music processing printer
KR100455751B1 (ko) * 2001-12-18 2004-11-06 어뮤즈텍(주) 연주악기의 소리정보를 이용한 음악분석장치
US7202407B2 (en) * 2002-02-28 2007-04-10 Yamaha Corporation Tone material editing apparatus and tone material editing program
AU2003249521A1 (en) * 2002-08-02 2004-02-25 Koninklijke Philips Electronics N.V. Method and apparatus to improve the reproduction of music content
JP3891111B2 (ja) * 2002-12-12 2007-03-14 ソニー株式会社 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム
US20040193429A1 (en) * 2003-03-24 2004-09-30 Suns-K Co., Ltd. Music file generating apparatus, music file generating method, and recorded medium
US7323629B2 (en) * 2003-07-16 2008-01-29 Univ Iowa State Res Found Inc Real time music recognition and display system
TWI282970B (en) * 2003-11-28 2007-06-21 Mediatek Inc Method and apparatus for karaoke scoring
JP2006106818A (ja) * 2004-09-30 2006-04-20 Toshiba Corp 音楽検索装置、音楽検索方法及び音楽検索プログラム
US7598447B2 (en) * 2004-10-29 2009-10-06 Zenph Studios, Inc. Methods, systems and computer program products for detecting musical notes in an audio signal
US20060112812A1 (en) * 2004-11-30 2006-06-01 Anand Venkataraman Method and apparatus for adapting original musical tracks for karaoke use
US20060150803A1 (en) * 2004-12-15 2006-07-13 Robert Taub System and method for music score capture and synthesized audio performance with synchronized presentation
US7718882B2 (en) * 2007-03-22 2010-05-18 Qualcomm Incorporated Efficient identification of sets of audio parameters
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990009032A (ko) * 1997-07-07 1999-02-05 배순훈 디지탈 전자악기의 악보표시장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459766B1 (ko) * 2008-02-12 2014-11-10 삼성전자주식회사 휴대 단말에서 자동반주 악보를 인식하는 방법

Also Published As

Publication number Publication date
CN100588279C (zh) 2010-02-03
EP1746576A2 (en) 2007-01-24
KR20070011095A (ko) 2007-01-24
US20080295673A1 (en) 2008-12-04
CN1901716A (zh) 2007-01-24
EP1746576A3 (en) 2017-07-26
US20070012165A1 (en) 2007-01-18
US7547840B2 (en) 2009-06-16

Similar Documents

Publication Publication Date Title
KR100735444B1 (ko) 오디오데이터 및 악보이미지 추출방법
KR100726258B1 (ko) 휴대단말의 사진파일 및 음성파일을 이용한 영상물 제작방법
KR101026328B1 (ko) 정보 기록 장치
JP3615195B2 (ja) コンテンツ記録再生装置およびコンテンツ編集方法
US20100106272A1 (en) Sound Recording Device, Sound Recording Method, And Sound Recording Program Embodied On Computer Readable Medium
WO2001016935A1 (fr) Procede et dispositif d'extraction/traitement d'informations, et procede et dispositif de stockage
US6704582B2 (en) Personalized incoming call signal for communication devices
JP2006259707A (ja) 携帯用端末機における演奏機能を行う装置及び方法
WO2006112429A1 (ja) 録画装置
JP2006221253A (ja) 画像処理装置および画像処理プログラム
KR100726723B1 (ko) 코드인식을 이용한 노래선곡이 가능한 노래반주기
JP3927155B2 (ja) 対話記録装置および対話記録プログラム
KR20050075082A (ko) 노래방용 뮤직비디오 제작시스템
KR200347187Y1 (ko) 노래방용 뮤직비디오 제작시스템
JPH0738868A (ja) テレビ会議用端末装置
JP5188619B2 (ja) 情報記録装置
KR20050084720A (ko) 휴대폰에서의 악보 연주 방법
KR100726721B1 (ko) 학습기능을 갖는 노래반주기 및 그 학습방법
JP2000122686A (ja) 音声認識装置およびそれを用いた電子機器
KR20220001658A (ko) 영상 편집 방법
CN117376633A (zh) 音频信号处理方法、装置、智能电视、介质、程序产品
JP5102231B2 (ja) 音声記録装置及び通信端末
KR100617825B1 (ko) 휴대 단말기에서 ｍｐ3파일 정보를 표시하는 방법
KR20070010762A (ko) 재생음의 화음 이미지 출력장치와 그 방법 및 그 기능을가지는 이동통신 단말기
JP2000092435A (ja) 信号特徴抽出方法及びその装置、音声認識方法及びその装置、動画編集方法及びその装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150528

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160530

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee