KR100413039B1 - Pitch correction method and apparatus - Google Patents
Pitch correction method and apparatus Download PDFInfo
- Publication number
- KR100413039B1 KR100413039B1 KR10-2002-0002406A KR20020002406A KR100413039B1 KR 100413039 B1 KR100413039 B1 KR 100413039B1 KR 20020002406 A KR20020002406 A KR 20020002406A KR 100413039 B1 KR100413039 B1 KR 100413039B1
- Authority
- KR
- South Korea
- Prior art keywords
- pitch
- frame
- frequency
- pitch frequency
- octave
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 239000011295 pitch Substances 0.000 description 201
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
본 발명은 피치보정방법 및 그 장치에 관한 것으로서, 본 발명의 피치보정장치는 외부에서 연주되는 음악을 디지털음향으로 변환하여 입력하는 디지털신호입력부와, 상기 디지털신호입력부에서 출력되는 디지털신호를 소정시간단위의 프레임별 주파수성분으로 분해한 후, 시간의 흐름에 따라 피치주파수 검출 대상이 되는 대상프레임을 선택하여 그 대상프레임의 피치주파수를 검출하는 피치검출부와, 상기 피치검출부에서 검출된 프레임별 피치주파수를 임시저장하는 피치저장부와, 상기 피치저장부에 저장된 프레임별 피치주파수를 실시간으로 판독하여, 피치주파수 검출이 누락된 프레임의 피치주파수를 이전프레임의 피치주파수에 의해 보상하고, 현재프레임의 피치주파수와 이전프레임의 피치주파수들 간의 관계를 파악하여 옥타브오류를 보상하는 피치보정부와, 상기 피치보정부에 의해 보정된 프레임별 피치주파수를 출력하는 결과출력부로 구성되고, 이러한 피치보정장치에 의해 피치가 누락된 프레임을 판별한 후 이전프레임의 피치정보에 의해 누락된 피치를 보상하고, 현재 프레임으로부터 도출된 피치정보와 이전프레임의 피치정보들간의 관계를 파악하여 옥타브오류를 보정함으로써, 보다 정확한 피치주파수를 도출할 수 있도록 한다.The present invention relates to a pitch correction method and apparatus, wherein the pitch correction device according to the present invention is a digital signal input unit for converting and inputting music played outside to digital sound, and a digital signal output from the digital signal input unit for a predetermined time. A pitch detector which detects the pitch frequency of the target frame by selecting a target frame to be pitch frequency detected according to the passage of time after decomposing the frequency component of each frame in units; and the pitch frequency for each frame detected by the pitch detector And a pitch storage unit for temporarily storing the data and the pitch frequency of each frame stored in the pitch storage unit in real time, compensating the pitch frequency of the frame missing the pitch frequency detection by the pitch frequency of the previous frame, and pitch of the current frame. Find the relationship between the frequency and the pitch frequencies of the previous frame The upper and lower sides are composed of a pitch correction unit and a result output unit which outputs the pitch frequency for each frame corrected by the pitch correction unit, and is determined by the pitch information of the previous frame after determining the frame whose pitch is missing by the pitch correction unit. By correcting the pit pitch, and correcting the octave error by grasping the relationship between the pitch information derived from the current frame and the pitch information of the previous frame, it is possible to derive a more accurate pitch frequency.
Description
본 발명은 피치보정방법 및 그 장치에 관한 것으로서, 디지털 음향으로부터 검출된 피치를 보정하여 실제연주음 정보에 근접한 피치를 도출하도록 하기 위한피치보정방법 및 그 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a pitch correction method and apparatus, and to a pitch correction method and apparatus for correcting a pitch detected from digital sound to derive a pitch close to actual performance sound information.
1980년대 개인용 컴퓨터의 보급이 시작된 이후로 컴퓨터의 기술, 성능 및 환경이 급속도로 발전하였으며, 1990년대에는 인터넷이 회사의 각 부문 및 개인생활영역까지 급속도로 퍼지게 되었다. 이에 따라서, 21세기에는 전세계적으로 컴퓨터의 이용이 모든 분야에서 매우 중요한 사항으로 인식되고 있다.Since the introduction of personal computers in the 1980s, the technology, performance, and environment of computers have developed rapidly. In the 1990s, the Internet spread rapidly to various sectors of the company and personal life. Accordingly, in the 21st century, the use of computers is recognized as a very important matter in all fields around the world.
음악분야에도 이러한 컴퓨터 기술이 적용되고 있으며, 사람의 음성이나 악기의 연주소리들을 합성(Synthesis)하고 저장하는 컴퓨터 음악기술의 대표적인 예로 '미디(MIDI: Music Instrument Digital Interface)'를 들 수 있다. 미디는 악기의 종류, 음의 높이 및 세기, 음의 시작과 끝 정보를 이용하여 음악을 표현하며, 그 미디데이터들의 조작에 의해 다양한 형태의 음악을 재생하도록 할 수 있다. 따라서, 미디는 음악가들이 주로 이용하는 컴퓨터 음악기술이다.The computer technology is applied to the music field, and 'MIDI: Music Instrument Digital Interface' is a representative example of computer music technology that synthesizes and stores human voices or musical instruments. MIDI expresses music by using the type of musical instrument, the height and strength of the sound, the start and end information of the sound, and can play various types of music by manipulating the MIDI data. Thus, MIDI is a computer music technology that musicians mainly use.
한편, 음악 인식 기술의 발달로 인해, 실시간으로 연주되는 악기의 연주음 또는 사람의 목소리에 대한 피치(주파수)를 판단한 후, 그 피치로부터 미디데이터를 도출하는 것이 가능하게 되었다.On the other hand, with the development of music recognition technology, it is possible to derive MIDI data from the pitch after determining the pitch (frequency) of the performance sound of a musical instrument played in real time or a human voice.
이로 인해, 음악인식 기술 및 미디 기술들을 응용하는 기술들이 활발하게 개발되고 있는 실정이다. 예를 들면, 사람의 노래 소리로부터 미디신호를 도출하고, 그 미디신호로부터 노래에 대한 반주음을 생성하여 노래소리와 반주음을 동시에 재생하는 등의 기술들이 개발되고 있다. 하지만, 이러한 기술들이 실용음악에 효과적으로 활용되기 위해서는 실제연주음으로부터 보다 정확한 미디데이터를 도출하여야 한다.For this reason, technologies for applying music recognition technology and MIDI technologies are being actively developed. For example, techniques have been developed such as deriving a MIDI signal from a person's song sound, generating an accompaniment sound for the song from the MIDI signal, and simultaneously playing the song sound and the accompaniment sound. However, in order for these technologies to be effectively used in practical music, more accurate MIDI data must be derived from the actual performance sound.
따라서, 실제연주음으로부터 피치주파수를 도출하고, 그 피치주파수를 미디데이터로 변환하기 위한 기술(Sound2MIDI)들이 다양하게 개발되고 있으나, 아직까지는 인식률이 저조하고, 사람의 음악적 지능에 미흡한 상황이다.Therefore, various technologies (Sound2MIDI) for deriving a pitch frequency from a real playing sound and converting the pitch frequency into MIDI data have been developed. However, the recognition rate is low and it is insufficient for human musical intelligence.
특히, 실제연주음으로부터 피치주파수를 도출하는 과정에 있어서, 연주악기의 특성에 따라 새로운 음이 발생한 후 소정 시간동안 피치를 검출하지 못하거나, 음의 중간에 해당 음의 옥타브를 잘못 판단하는 경우가 종종 발생한다.In particular, in the process of deriving the pitch frequency from the actual playing sound, the pitch may not be detected for a predetermined time after a new sound is generated according to the characteristics of the playing instrument, or the octave of the sound is incorrectly judged in the middle of the sound. Often occurs.
본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 프레임의 세기에 의해 피치가 누락된 프레임을 판별한 후 이전프레임의 피치정보에 의해 누락된 피치를 보상하고, 현재 프레임으로부터 도출된 피치정보와 이전프레임의 피치정보들간의 관계를 파악하여 옥타브오류를 보정함으로써, 실제연주음 정보에 근접한 피치를 도출하도록 하기 위한 피치보정방법 및 그 장치를 제공하는 데에 있다.The present invention has been made to solve the conventional problems as described above, the object of the present invention is to determine the frame missing the pitch by the intensity of the frame and to compensate for the missing pitch by the pitch information of the previous frame The present invention provides a pitch correction method and apparatus for deriving a pitch close to actual performance sound information by correcting an octave error by grasping a relationship between pitch information derived from a current frame and pitch information of a previous frame. .
도 1은 본 발명의 실시예에 따른 피치보정장치에 대한 개략적인 블록도,1 is a schematic block diagram of a pitch correction device according to an embodiment of the present invention;
도 2는 본 발명의 실시예에 따른 피치보정방법에 대한 처리 흐름도,2 is a flowchart illustrating a pitch correction method according to an embodiment of the present invention;
도 2a는 본 발명의 실시예에 따른 초기보상과정에 대한 처리 흐름도,2A is a flowchart illustrating an initial compensation process according to an embodiment of the present invention;
도 2b는 본 발명의 실시예에 따른 옥타브오류보상과정에 대한 처리 흐름도,2b is a process flow diagram for an octave error compensation process according to an embodiment of the present invention;
도 2c는 본 발명의 실시예에 따른 피치보상과정에 대한 처리 흐름도,2c is a flowchart illustrating a pitch compensation process according to an embodiment of the present invention;
도 3은 본 발명의 실시예에 따라 실제연주음으로부터 피치를 도출하고, 그 피치를 보정한 결과에 대한 예시도.3 is a diagram illustrating a result of deriving a pitch from an actual playing sound and correcting the pitch according to an exemplary embodiment of the present invention.
♣ 도면의 주요 부분에 대한 부호의 설명 ♣♣ Explanation of symbols for the main parts of the drawing ♣
100 : 디지털신호입력부 200 : 피치검출부100: digital signal input unit 200: pitch detection unit
300 : 피치저장부 400 : 결과출력부300: pitch storage unit 400: result output unit
500 : 피치보정부500: pitch correction
상기 목적을 달성하기 위한 본 발명의 피치보정장치는 외부에서 연주되는 음악을 디지털음향으로 변환하여 입력하는 디지털신호입력부와, 상기 디지털신호입력부에서 출력되는 디지털신호를 소정시간단위의 프레임별 주파수성분으로 분해한 후, 시간의 흐름에 따라 피치주파수 검출 대상이 되는 대상프레임을 선택하여 그 대상프레임의 피치주파수를 검출하는 피치검출부와, 상기 피치검출부에서 검출된 프레임별 피치주파수를 임시저장하는 피치저장부와, 상기 피치저장부에 저장된 프레임별 피치주파수를 실시간으로 판독하여, 피치주파수 검출이 누락된 프레임의 피치주파수를 이전프레임의 피치주파수에 의해 보상하고, 현재프레임의 피치주파수와 이전프레임의 피치주파수들 간의 관계를 파악하여 옥타브오류를 보상하는 피치보정부와, 상기 피치보정부에 의해 보정된 프레임별 피치주파수를 출력하는 결과출력부를 포함하는 것을 특징으로 한다.The pitch correction device of the present invention for achieving the above object is a digital signal input unit for converting the music played from the outside into digital sound and input, and the digital signal output from the digital signal input unit as a frequency component for each frame of a predetermined time unit After decomposition, the pitch detection unit detects the pitch frequency of the target frame by selecting the target frame to be detected as the frequency of the passage of time, and the pitch storage unit to temporarily store the pitch frequency for each frame detected by the pitch detection unit And, by reading the pitch frequency for each frame stored in the pitch storage in real time, to compensate the pitch frequency of the frame missing the pitch frequency detection by the pitch frequency of the previous frame, the pitch frequency of the current frame and the pitch frequency of the previous frame The pitch correction to compensate for the octave error Outputting the frame-by-frame pitch frequency corrected by the pitch correction is characterized in that it comprises parts of the resulting output.
한편, 상기 목적을 달성하기 위한 본 발명의 피치보정방법은 외부로부터 입력되는 디지털 신호를 소정시간단위의 프레임별 주파수성분으로 분해한 후, 시간의 흐름에 따라 피치주파수 검출대상이 되는 대상프레임을 선택하여 그 대상프레임의 피치주파수를 검출하는 제1 과정과, 상기 제1 과정에서 새로운 음의 입력으로 인해 피치주파수를 누락한 경우, 상기 대상프레임을 초기보상리스트에 등록하는 제2 과정과, 상기 제1 과정에서 피치주파수를 검출한 경우, 그 피치주파수를 해당 프레임의 피치주파수로 저장하는 제3 과정과, 초기보상리스트에 등록된 프레임이 있는 경우, 상기 제1 과정에서 검출된 피치주파수에 의해 상기 초기보상리스트에 등록된 모든 프레임의 피치주파수를 보상하는 제4 과정과, 상기 대상프레임 이전에 검출된 소정개의 피치주파수들에 의해 상기 제1 과정에서 검출된 피치주파수의 옥타브오류를 보상하는 제5 과정과, 상기 제1 과정에서 피치검출알고리즘의 오류로 인해 피치주파수를 누락한 경우, 상기 대상프레임 이전프레임의 피치주파수에 의해 대상프레임의 피치주파수를 보상하는 제6 과정을 포함하는 것을 특징으로 한다.On the other hand, the pitch correction method of the present invention for achieving the above object is to decompose the digital signal input from the outside into a frequency component for each frame of a predetermined time unit, and then select the target frame to be the pitch frequency detection target over time A first step of detecting a pitch frequency of the target frame; and a second step of registering the target frame in an initial compensation list when the pitch frequency is missed due to a new sound input in the first step; When the pitch frequency is detected in step 1, when the pitch frequency is stored as the pitch frequency of the corresponding frame, and when there is a frame registered in the initial compensation list, the pitch frequency detected in the first step is A fourth process of compensating the pitch frequencies of all frames registered in the initial compensation list, and a predetermined pitch detected before the target frame The fifth step of compensating the octave error of the pitch frequency detected by the wave numbers in the first step, and the pitch of the previous frame of the target frame when the pitch frequency is omitted due to an error of the pitch detection algorithm in the first step. And a sixth process of compensating the pitch frequency of the target frame by the frequency.
이하, 첨부한 도면에 의거하여, 본 발명에 따른 피치보정방법 및 그 장치에 대한 바람직한 실시예를 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of a pitch correction method and apparatus according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 피치보정장치에 대한 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 피치보정장치는 디지털신호입력부(100)와, 피치검출부(200)와, 피치저장부(300)와, 결과출력부(400)와, 피치보정부(500)를 포함하여 구성된다.1 is a schematic block diagram of a pitch correction apparatus according to an embodiment of the present invention. Referring to FIG. 1, the pitch correction apparatus of the present invention includes a digital signal input unit 100, a pitch detection unit 200, a pitch storage unit 300, a result output unit 400, and a pitch correction unit 500. It is configured to include.
디지털신호입력부(100)는 외부에서 연주되는 음악을 디지털음향으로 변환하여 입력한다.The digital signal input unit 100 converts the music played outside into digital sound and inputs it.
피치검출부(200)는 디지털신호입력부(100)에서 출력되는 디지털신호를 소정시간단위의 프레임별 주파수성분으로 분해한 후, 시간의 흐름에 따라 피치주파수 검출 대상이 되는 대상프레임을 선택하여 그 대상프레임의 피치주파수를 검출한다.The pitch detection unit 200 decomposes the digital signal output from the digital signal input unit 100 into frequency components for each frame in a predetermined time unit, and then selects a target frame to be a pitch frequency detection target according to the passage of time. Pitch frequency is detected.
이 때, 피치검출 알고리즘은 이미 공지된 다양한 방법을 적용하는 것이 가능하다.At this time, the pitch detection algorithm can apply various known methods.
피치저장부(300)는 피치검출부(200)에서 검출된 프레임별 피치주파수를 임시저장하고, 피치보정부(500)의 보정결과를 결과출력부(400)로 전달한다.The pitch storage unit 300 temporarily stores the pitch frequency for each frame detected by the pitch detection unit 200, and transmits the correction result of the pitch correction unit 500 to the result output unit 400.
피치보정부(500)는 피치저장부(300)에 저장된 프레임별 피치주파수를 실시간으로 판독하여, 피치를 보정한다. 즉, 피치보정부(500)는 피치주파수 검출이 누락된 프레임의 피치주파수를 이전프레임의 피치주파수에 의해 보상하고, 현재프레임의 피치주파수와 이전프레임의 피치주파수들 간의 관계를 파악하여 옥타브오류를 보상한다.The pitch correction unit 500 reads the pitch frequency for each frame stored in the pitch storage unit 300 in real time to correct the pitch. That is, the pitch correction unit 500 compensates the pitch frequency of the frame in which the pitch frequency detection is omitted by the pitch frequency of the previous frame, and grasps the relationship between the pitch frequency of the current frame and the pitch frequencies of the previous frame to detect the octave error. To compensate.
좀 더 구체적으로 설명하면, 피치보정부(500)는 피치저장부(300)를 판독하여, 이전프레임의 피치주파수 저장영역에 데이터가 없는 경우, 이전프레임에 원래피치주파수가 존재하지 않는 것인지, 피치주파수는 존재하나 피치검출 알고리즘의 오류로 피치주파수를 누락한 것인지를 판단한다. 이 때, 피치주파수의 부재 또는 누락 여부를 판단하는 것은 프레임의 세기에 의해 가능하다. 즉, 이전프레임의 세기를 측정한 후, 그 프레임세기가 기 설정된 피치판단기준값 이상이면 피치주파수의 누락으로 판단하고, 그 프레임세기가 기 설정된 피치판단기준값 보다 작으면 피치주파수의 부재로 판단하는 것이다.More specifically, the pitch correction unit 500 reads the pitch storage unit 300, and if there is no data in the pitch frequency storage area of the previous frame, whether the original pitch frequency does not exist in the previous frame, pitch It is determined whether the frequency exists but the pitch frequency is missing due to an error in the pitch detection algorithm. At this time, it is possible to determine whether the pitch frequency is absent or missing by the intensity of the frame. That is, after measuring the intensity of the previous frame, if the frame intensity is more than the preset pitch determination reference value, it is determined that the pitch frequency is missing, and if the frame intensity is less than the preset pitch determination reference value, it is determined that there is no pitch frequency. .
상기 판단에 의해 이전프레임에서 피치주파수가 누락되었다고 판단되면, 피치보정부(500)는 현재프레임의 피치주파수로 이전프레임의 피치주파수를 보상한다.If it is determined by the determination that the pitch frequency is missing in the previous frame, the pitch correction unit 500 compensates the pitch frequency of the previous frame by the pitch frequency of the current frame.
한편, 옥타브오류를 보상하기 위해, 피치보정부(500)는 피치저장부(300) 판독결과 현재프레임의 피치주파수(PFC)와 이전프레임의 피치주파수(PFP)가 서로 옥타브관계에 있는지를 확인한다. 만약, 현재프레임의 피치주파수(PFC)와 이전프레임의 피치주파수(PFP)가 서로 옥타브관계에 있으면, 피치보정부(500)는 현재프레임의 피치주파수(PFC)와 이전프레임의 피치주파수(PFP)의 주파수성분이 동일한지를 확인하고, 그 결과 현재프레임의 피치주파수(PFC)와 이전프레임의 피치주파수(PFP)가 동일하다면, 현재프레임의 피치주파수(PFC)를 옥타브오류로 판단하여 현재프레임의 피치주파수(PFC)를 이전프레임의 피치주파수(PFP)로 보상한다.On the other hand, in order to compensate for the octave error, the pitch compensator 500 reads whether the pitch frequency PF C of the current frame and the pitch frequency PF P of the previous frame have an octave relationship with each other as a result of the pitch storage 300. Check it. If the pitch frequency PF C of the current frame and the pitch frequency PF P of the previous frame have an octave relationship with each other, the pitch compensator 500 may adjust the pitch frequency PF C of the current frame and the pitch frequency of the previous frame. Check that the frequency components of (PF P ) are the same, and as a result, if the pitch frequency (PF C ) of the current frame and the pitch frequency (PF P ) of the previous frame are the same, the pitch frequency (PF C ) of the current frame is octave error. The pitch frequency PF C of the current frame is compensated by the pitch frequency PF P of the previous frame.
이 때, 피치보정부(500)는 옥타브오류에 대한 연속적인 옥타브보상횟수(NR)를 카운팅하여, 옥타브보상횟수(NR)가 소정개 이상 반복될 경우 옥타브오류가 아닌 것으로 판단한다. 즉, 피치보정부(500)는 실제로 연주음된 음이 이전에 연주된 음과 한옥타브 차이를 가지는 것으로 판단한다. 따라서, 피치보정부(500)는 옥타브보상횟수(NR)에 해당하는 이전프레임들의 피치주파수를 옥타브오류보상 이전의 피치로 복귀한다. 즉, 피치보정부(500)는 옥타브보상을 잘못한 피치들을 순차적으로 원래음으로 복귀한다.At this time, the pitch correction unit 500 counts the continuous octave compensation number (N R ) for the octave error, and determines that the octave compensation number (N R ) is not an octave error when repeated more than a predetermined number. That is, the pitch correction unit 500 determines that the sound actually played has a difference of one octave from the previously played sound. Accordingly, the pitch correction unit 500 returns the pitch frequency of the previous frames corresponding to the octave compensation frequency N R to the pitch before the octave error compensation. That is, the pitch correction unit 500 sequentially returns the pitches of the octave compensation to the original sound.
결과출력부(400)는 피치보정부(500)에 의해 보정된 프레임별 피치주파수를 외부로 출력한다.The result output unit 400 outputs the pitch frequency for each frame corrected by the pitch correction unit 500 to the outside.
도 2는 본 발명의 실시예에 따른 피치보정방법에 대한 처리 흐름도이다. 도 2를 참조하면 본 발명의 실시예에 따른 피치보정방법은 다음과 같다. 먼저, 외부로부터 디지털신호가 입력되면(s100), 그 디지털신호를 소정시간단위의 프레임별 주파수성분으로 분해한 후 시간의 흐름에 따라 피치주파수 검출대상이 되는 대상프레임을 선택하여(s200) 그 대상프레임의 피치주파수(이하, 도면에서는 '피치'로 표기함)를 검출한다(s300).2 is a flowchart illustrating a pitch correction method according to an exemplary embodiment of the present invention. 2, the pitch correction method according to the embodiment of the present invention is as follows. First, when a digital signal is input from the outside (s100), the digital signal is decomposed into frequency components for each frame in a predetermined time unit, and a target frame to be detected as a pitch frequency is selected according to the passage of time (s200). The pitch frequency of the frame (hereinafter referred to as 'pitch' in the figure) is detected (s300).
상기 검출결과 피치주파수가 검출되면 그 피치주파수를 대상프레임으로 선택된 해당프레임의 피치주파수로 저장한다(s400, s500).When the pitch frequency is detected as a result of the detection, the pitch frequency is stored as the pitch frequency of the corresponding frame selected as the target frame (s400 and s500).
그리고, 현재 검출된 피치주파수에 대한 초기보상을 수행한다(s600). 이와 같이 초기보상(s600)을 수행하는 이유는 새로운 음이 시작된 후, 소정 시간 동안 피치를 검출하지 못한 경우 이를 보상하기 위함이다. 예를 들어, 피아노와 같이 그악기의 특성에 따라 소리의 크기변화 등에 의해 음의 시작점은 찾았으나 일정시간(예컨대, 0.1초 내외)동안 음의 높이를 인식하지 못하게 되는 경우, 이를 보상하기 위한 것이다.In operation S600, initial compensation for the currently detected pitch frequency is performed. The reason for performing the initial compensation (s600) as described above is to compensate for this when the pitch is not detected for a predetermined time after the start of a new sound. For example, if a starting point of a sound is found due to a change in the sound volume according to the characteristics of the instrument, such as a piano, but the sound height is not recognized for a predetermined time (for example, about 0.1 second), this is to compensate for this. .
또한, 현재 검출된 피치주파수에 옥타브오류가 발생했는지의 여부를 판단하여, 옥타브오류가 발생한 경우 이를 보상한다(s700).In addition, it is determined whether or not an octave error occurs in the currently detected pitch frequency, and compensates for an octave error (s700).
한편, 상기 피치검출 수행결과 피치주파수를 검출하지 못하고, 해당 프레임의 피치주파수를 누락한 경우 그 누락 발생 이유를 판단하여 그 누락이유에 따른 피치보상을 수행한다(s800).On the other hand, if a pitch frequency is not detected as a result of performing the pitch detection, and if the pitch frequency of the corresponding frame is missed, the reason for the omission occurs is determined and pitch compensation is performed according to the reason for the omission (s800).
즉, 새로운 음의 입력으로 인해 피치주파수를 누락한 경우 초기보상(s600) 과정에서 해당 피치주파수를 보상할 수 있도록 하기 위해, 해당 프레임을 초기보상리스트에 등록하고, 피치검출 알고리즘의 오류로 인해 피치주파수를 누락한 경우 이전프레임의 피치주파수로 현재프레임의 피치주파수를 보상한다.That is, if the pitch frequency is missed due to a new sound input, the frame is registered in the initial compensation list in order to compensate for the pitch frequency in the initial compensation process (s600), and the pitch is due to an error in the pitch detection algorithm. If the frequency is omitted, the pitch frequency of the current frame is compensated by the pitch frequency of the previous frame.
그리고, 종료 여부를 판단하여(s900), 종료명령이 입력되거나, 외부로부터 입력되는 디지털 신호의 세기가 소정 기준값 이하로 계속 유지될 때까지, 상기 과정들(s200 내지 s800)을 반복 수행한다.In operation S900, the processes S200 to S800 are repeatedly performed until an end command is input or the intensity of the digital signal input from the outside is kept below a predetermined reference value.
도 2a는 본 발명의 실시예에 따른 초기보상과정에 대한 처리 흐름도이다. 도 2a를 참조하면, 초기보상과정(s600)은 초기보상리스트에 등록된 프레임이 있는지를 판단하여(s601), 초기보상리스트에 등록된 프레임이 있는 경우 현재 프레임에서 검출된 피치주파수에 의해 그 초기보상리스트에 등록된 모든 프레임의 피치주파수를 보상한다(s602). 이 때, 초기보상리스트는 상기 피치보상(s800) 수행시 생성된 것으로서, 새로운 음의 입력으로 인해 피치가 누락된 프레임을 식별하기 위해 그 프레임들을 임시로 저장한다.2A is a flowchart illustrating an initial compensation process according to an embodiment of the present invention. Referring to FIG. 2A, the initial compensation process s600 determines whether there is a frame registered in the initial compensation list (s601), and if there is a frame registered in the initial compensation list, the initial compensation process based on the pitch frequency detected in the current frame. The pitch frequency of all frames registered in the compensation list is compensated (s602). At this time, the initial compensation list is generated when the pitch compensation s800 is performed, and temporarily stores the frames to identify a frame whose pitch is missing due to a new sound input.
도 2b는 본 발명의 실시예에 따른 옥타브오류보상과정에 대한 처리 흐름도이다. 도 2b를 참조하면, 우선 현재프레임의 피치주파수가 옥타브오류인지의 여부를 판단하기 위해, 현재프레임의 피치주파수(이하, 현재피치)가 이전프레임의 피치주파수(이하, 이전피치)와 동일한 지를 확인한다(s701). 그리고, 현재피치와 이전피치가 다른 경우, 현재피치가 이전피치와 옥타브관계인지의 여부를 확인한다(s702).2B is a flowchart illustrating an octave error compensation process according to an exemplary embodiment of the present invention. Referring to FIG. 2B, first, to determine whether the pitch frequency of the current frame is an octave error, check whether the pitch frequency (hereinafter, the current pitch) of the current frame is the same as the pitch frequency (hereinafter, the previous pitch) of the previous frame. (S701). If the current pitch and the previous pitch are different, it is checked whether the current pitch is an octave relationship with the previous pitch (s702).
상기 확인결과 현재피치와 이전피치가 서로 옥타브관계로 판단된 경우 현재피치가 일단 옥타브오류인 것으로 판단하여, 옥타브보상카운터를 증가한다(s703).If it is determined that the current pitch and the previous pitch are in octave relationship with each other, it is determined that the current pitch is an octave error, and the octave compensation counter is increased (s703).
이는 동일음에 대한 옥타브오류가 소정횟수(N)이상 연속적으로 발생할 경우, 이를 옥타브오류가 아닌 실제 한 옥타브 차이나는 음을 연주한 것으로 판단하도록 하기 위함이다.This is to determine that if an octave error for the same sound occurs more than a predetermined number (N) in succession, this is not an octave error but is judged as actually playing an octave difference sound.
따라서, 옥타브보상카운터가 소정값(N) 이하이고(s704), 이전프레임과 현재프레임의 주파수성분이 서로 같으면(s705, s706) 옥타브오류로 판단하여 현재피치를 이전피치로 변경한다(s707). 즉, 이전피치에 의해 현재피치를 보상한다. 이 때, 만일 옥타브보상카운터가 소정값(N) 이하이지만, 이전프레임과 현재프레임의 주파수성분이 같지 않으면 이를 옥타브오류가 아닌 것으로 판단하여 옥타브보상카운터를 초기화한 후(s710) 옥타브 오류 보상 과정(s700)을 종료한다.Therefore, if the octave compensation counter is equal to or less than the predetermined value N (s704), and the frequency components of the previous frame and the current frame are the same (s705 and s706), it is determined as an octave error and the current pitch is changed to the previous pitch (s707). That is, the current pitch is compensated by the previous pitch. At this time, if the octave compensation counter is less than or equal to the predetermined value (N), but if the frequency components of the previous frame and the current frame are not the same, it is determined that the octave compensation counter is not an octave error (s710) and then the octave error compensation process ( s700) ends.
한편, 옥타브보상카운터가 소정값(N) 이상인 경우, 현재피치가 옥타브오류가 아닌 실제 연주음인 것으로 판단하여 옥타브보상을 수행한 이전프레임들의 피치주파수를 모두 옥타브보상 이전의 피치주파수로 복귀한다(s709). 이 때, 이전프레임들 중 옥타브복귀 대상 프레임의 개수를 판단하기 위해, 옥타브보상카운터에서 '1'을 뺀 값인 옥타브복귀카운터(s708)를 이용한다. 이와 같이 옥타브보상된 피치주파수들을 그 이전 값으로 복귀하였으면, 옥타브보상카운터를 초기화하여(s710), 다음번 옥타브오류를 대비한다.On the other hand, if the octave compensation counter is greater than or equal to the predetermined value (N), it is determined that the current pitch is not the octave error but the actual performance sound, and the pitch frequencies of the previous frames that performed the octave compensation are all returned to the pitch frequency before the octave compensation ( s709). In this case, an octave return counter s708, which is a value obtained by subtracting '1' from an octave compensation counter, is used to determine the number of octave return frames among previous frames. When the octave compensated pitch frequencies are returned to their previous values, the octave compensation counter is initialized (s710) to prepare for the next octave error.
도 2c는 본 발명의 실시예에 따른 피치보상과정에 대한 처리 흐름도이다. 도 2c를 참조하면, 피치보상(s800)은 피치검출과정(s300)에서 피치를 검출하지 못한 경우, 그 이유에 따른 처리를 위해 우선 새로운 음의 시작인지의 여부를 판단한다(s801). 이 때, 새로운 음의 시작인지의 여부를 판단하기 위해 이미 공지된 기술인 다양한 방법(온셋(Onset) 방법)을 이용하는 것이 가능하다.2C is a flowchart illustrating a pitch compensation process according to an exemplary embodiment of the present invention. Referring to FIG. 2C, when the pitch compensation s800 does not detect a pitch in the pitch detection process s300, it is first determined whether a new sound starts for processing according to the reason (S801). At this time, it is possible to use various methods (Onset method) which are already known techniques for determining whether or not a new sound starts.
그리고, 새로운 음의 시작으로 판단되면, 현재의 프레임을 초기보상리스트에 등록한다(s802). 이는 향후 새롭게 시작된 음에 대한 피치를 검출한 경우, 그 피치에 의해 현재 프레임에서 누락된 피치값을 보상할 때, 참고하기 위함이다.When it is determined that the start of a new sound, the current frame is registered in the initial compensation list (s802). This is to refer to when a pitch for a newly started note is detected in the future, when a pitch value missed in the current frame is compensated for by the pitch.
한편, 새로운 음의 시작이 아니면, 현재 대상프레임의 세기를 측정하여, 그 세기가 기 설정된 피치판단 기준값 이상인 경우(s803), 피치검출 알고리즘의 오류로 인해 피치주파수를 누락한 것으로 판단하여 이전프레임의 피치주파수에 의해 현재프레임의 피치주파수를 보상한다(s804).On the other hand, if it is not the start of a new note, if the intensity of the current target frame is measured and the intensity is greater than the preset pitch determination reference value (s803), it is determined that the pitch frequency is missing due to an error in the pitch detection algorithm, The pitch frequency of the current frame is compensated by the pitch frequency (s804).
도 3은 본 발명의 실시예에 따라 실제연주음으로부터 피치를 도출하고, 그 피치를 보정한 결과에 대한 예시도이다.3 is an exemplary diagram of a result of deriving a pitch from an actual playing sound and correcting the pitch according to an embodiment of the present invention.
도 3(a)는 실제연주음에 대한 프레임별 피치주파수를 나타내고, 도 3(b)는피치검출 결과에 대한 프레임별 피치주파수를 나타내고, 도 3(c)는 피치보정 후의 프레임별 피치주파수를 나타낸다.Fig. 3 (a) shows the pitch frequency for each frame for the actual performance sound, Fig. 3 (b) shows the pitch frequency for each frame for the pitch detection result, and Fig. 3 (c) shows the pitch frequency for each frame after pitch correction. Indicates.
이 때, 도 3(a) 내지 도 3(c)의 좌측칸은 프레임 식별기호를 나타내고, 우측칸은 해당 프레임별 피치주파수를 나타낸다. 또한, 새로운 음이 연주된 경우 프레임별 구분선을 굵게 표시하였다.At this time, the left column of Figs. 3 (a) to 3 (c) represents a frame identifier, and the right column represents a pitch frequency for each frame. In addition, when a new note is played, the division line for each frame is indicated in bold.
도 3(a) 내지 도 3(c)를 참조하면, 각 새로운 음이 연주된 후 3번째 프레임까지는 피치주파수가 누락되었으므로, 초기보상에 의해 해당 피치주파수를 보상(F1~F3, F9~F11, F13~F15, F21~F23)하였고, 음의 중간에 피치검출 알고리즘의 오류로 인해 피치주파수가 누락된 경우 피치보상에 의해 해당 피치주파수를 보상하였다(F18). 한편, 옥타브오류가 발생한 피치주파수의 경우 옥타브오류보상에 의해 피치주파수를 보상하였다(F26). 따라서, 도 3(a) 및 도 3(c)를 참조하면, 초기보상, 피치보상 및 옥타브오류보상에 의해 실제연주음과 피치보정결과가 동일함을 알 수 있다.3 (a) to 3 (c), since the pitch frequency is missing until the third frame after each new note is played, the corresponding pitch frequency is compensated by the initial compensation (F1 to F3, F9 to F11, F13 ~ F15, F21 ~ F23), and if the pitch frequency is missing due to the error of the pitch detection algorithm in the middle of the sound to compensate the pitch frequency by the pitch compensation (F18). On the other hand, in the case of the pitch frequency in which the octave error occurs, the pitch frequency is compensated by the octave error compensation (F26). Therefore, referring to FIGS. 3A and 3C, it can be seen that the actual performance sound and the pitch correction result are the same due to the initial compensation, the pitch compensation, and the octave error compensation.
이상의 설명은 하나의 실시예를 설명한 것에 불과하고, 본 발명은 상술한 실시예에 한정되지 않으며 첨부한 특허청구범위 내에서 다양하게 변경 가능한 것이다. 예를 들어 본 발명의 실시예에 구체적으로 나타난 각 구성 요소의 형상 및 구조는 변형하여 실시할 수 있는 것이다.The above description is only for explaining one embodiment, and the present invention is not limited to the above-described embodiment and can be variously changed within the scope of the appended claims. For example, the shape and structure of each component specifically shown in the embodiment of the present invention can be modified.
상기와 같은 본 발명의 피치보정방법 및 그 장치는 프레임의 세기에 의해 피치가 누락된 프레임을 판별한 후 이전프레임의 피치정보에 의해 누락된 피치를 보상하고, 현재 프레임으로부터 도출된 피치정보와 이전프레임의 피치정보들간의 관계를 파악하여 옥타브오류를 보정함으로써, 보다 정확한 피치주파수를 도출할 수 있도록 한다. 따라서, 실제연주음으로부터 보다 정확한 미디데이터를 도출할 수 있고, 이로 인해 음악인식 기술 및 미디 기술을 실용음악에 보다 효과적으로 활용할 수 있다는 장점이 있다.The pitch correction method and apparatus of the present invention as described above determine the frame missing the pitch by the strength of the frame and compensates for the missing pitch by the pitch information of the previous frame, and the pitch information derived from the current frame and the previous By identifying the relationship between the pitch information of the frame and correcting the octave error, it is possible to derive a more accurate pitch frequency. Therefore, it is possible to derive more accurate MIDI data from the actual playing sound, which has the advantage that the music recognition technology and MIDI technology can be used more effectively in practical music.
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0002406A KR100413039B1 (en) | 2002-01-16 | 2002-01-16 | Pitch correction method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0002406A KR100413039B1 (en) | 2002-01-16 | 2002-01-16 | Pitch correction method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20030062369A KR20030062369A (en) | 2003-07-25 |
| KR100413039B1 true KR100413039B1 (en) | 2003-12-31 |
Family
ID=32218179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2002-0002406A KR100413039B1 (en) | 2002-01-16 | 2002-01-16 | Pitch correction method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100413039B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8473283B2 (en) | 2007-11-02 | 2013-06-25 | Soundhound, Inc. | Pitch selection modules in a system for automatic transcription of sung or hummed melodies |
| WO2010051542A2 (en) | 2008-10-31 | 2010-05-06 | Melodis Corporation | Melodis crystal decoder method and device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4375581A (en) * | 1980-06-30 | 1983-03-01 | Bell Telephone Laboratories, Incorporated | Digital transmission error reduction |
| US4639920A (en) * | 1983-02-25 | 1987-01-27 | Nec Corporation | Data interpolating circuit using a two data word memory |
| US5305332A (en) * | 1990-05-28 | 1994-04-19 | Nec Corporation | Speech decoder for high quality reproduced speech through interpolation |
| US5550543A (en) * | 1994-10-14 | 1996-08-27 | Lucent Technologies Inc. | Frame erasure or packet loss compensation method |
| JPH09190197A (en) * | 1995-06-07 | 1997-07-22 | At & T Ipm Corp | Method for correcting pitch delay during frame disapperance |
-
2002
- 2002-01-16 KR KR10-2002-0002406A patent/KR100413039B1/en not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4375581A (en) * | 1980-06-30 | 1983-03-01 | Bell Telephone Laboratories, Incorporated | Digital transmission error reduction |
| US4639920A (en) * | 1983-02-25 | 1987-01-27 | Nec Corporation | Data interpolating circuit using a two data word memory |
| US5305332A (en) * | 1990-05-28 | 1994-04-19 | Nec Corporation | Speech decoder for high quality reproduced speech through interpolation |
| US5550543A (en) * | 1994-10-14 | 1996-08-27 | Lucent Technologies Inc. | Frame erasure or packet loss compensation method |
| JPH09190197A (en) * | 1995-06-07 | 1997-07-22 | At & T Ipm Corp | Method for correcting pitch delay during frame disapperance |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20030062369A (en) | 2003-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6930236B2 (en) | Apparatus for analyzing music using sounds of instruments | |
| JP3964792B2 (en) | Method and apparatus for converting a music signal into note reference notation, and method and apparatus for querying a music bank for a music signal | |
| JP4672613B2 (en) | Tempo detection device and computer program for tempo detection | |
| JP4823804B2 (en) | Code name detection device and code name detection program | |
| JP4916947B2 (en) | Rhythm detection device and computer program for rhythm detection | |
| JP2002529772A (en) | Fundamental wave high-speed discovery method | |
| US20050038635A1 (en) | Apparatus and method for characterizing an information signal | |
| JP2008516289A (en) | Method and apparatus for extracting a melody that is the basis of an audio signal | |
| US6766288B1 (en) | Fast find fundamental method | |
| US8541676B1 (en) | Method for extracting individual instrumental parts from an audio recording and optionally outputting sheet music | |
| JP2004184510A (en) | Device and method for preparing musical data | |
| JP5345783B2 (en) | How to generate a footprint for an audio signal | |
| JP2008516288A (en) | Extraction of melody that is the basis of audio signal | |
| JPH07295560A (en) | Midi data editing device | |
| KR100413039B1 (en) | Pitch correction method and apparatus | |
| JP2007072023A (en) | Information processing apparatus and method | |
| JP3915428B2 (en) | Music analysis apparatus and program | |
| JP5153517B2 (en) | Code name detection device and computer program for code name detection | |
| JP7293653B2 (en) | Performance correction method, performance correction device and program | |
| US20040158437A1 (en) | Method and device for extracting a signal identifier, method and device for creating a database from signal identifiers and method and device for referencing a search time signal | |
| JPH07117833B2 (en) | Musical note similarity calculator | |
| JP3271331B2 (en) | Melody analyzer | |
| KR100444930B1 (en) | Apparatus and method for extracting quantized MIDI note | |
| JP2010032809A (en) | Automatic musical performance device and computer program for automatic musical performance | |
| CN115171729B (en) | Audio quality determination method and device, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20111201 Year of fee payment: 9 |
|
| LAPS | Lapse due to unpaid annual fee |