KR20060081500A - 음악에서의 비브라토 자동 검출방법 - Google Patents

음악에서의 비브라토 자동 검출방법 Download PDF

Info

Publication number
KR20060081500A
KR20060081500A KR1020050001845A KR20050001845A KR20060081500A KR 20060081500 A KR20060081500 A KR 20060081500A KR 1020050001845 A KR1020050001845 A KR 1020050001845A KR 20050001845 A KR20050001845 A KR 20050001845A KR 20060081500 A KR20060081500 A KR 20060081500A
Authority
KR
South Korea
Prior art keywords
vibrato
music
extent
rate
probability
Prior art date
Application number
KR1020050001845A
Other languages
English (en)
Other versions
KR100659884B1 (ko
Inventor
방희석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050001845A priority Critical patent/KR100659884B1/ko
Priority to US11/326,842 priority patent/US20060150805A1/en
Publication of KR20060081500A publication Critical patent/KR20060081500A/ko
Application granted granted Critical
Publication of KR100659884B1 publication Critical patent/KR100659884B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/125—Extracting or recognising the pitch or fundamental frequency of the picked up signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/195—Modulation effects, i.e. smooth non-discontinuous variations over a time interval, e.g. within a note, melody or musical transition, of any sound parameter, e.g. amplitude, pitch, spectral response, playback speed
    • G10H2210/201—Vibrato, i.e. rapid, repetitive and smooth variation of amplitude, pitch or timbre within a note or chord
    • G10H2210/211—Pitch vibrato, i.e. repetitive and smooth variation in pitch, e.g. as obtainable with a whammy bar or tremolo arm on a guitar

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명은 컴퓨터에 의한 음악의 자동 인식 시스템에서, 음악에서의 비브라토(vibrato) 구간을 자동으로 검출하는 방법에 관한 것으로서, 특히 음고(pitch)를 가진 악기음 및 음성으로 이루어진 모노포닉 음악(monophonic music) 및 폴리포닉 음악(polyphonic music)에 대하여 비브라토 구간을 자동으로 검출하는 방법에 관한 것이다.
본 발명의 비브라토 자동 검출방법은 각 악기 혹은 화자(singer)별 기본주파수 정보에 대해 최우도 추정(Maximum Likelihood Estimation)을 실행하고 이에 의해서 비브라토 율(Vibrato Rate), 비브라토 익스텐트(Vibrato Extent), 인터네이션(Intonation) 등 3개의 비브라토 파라미터(Vibrato Parameter)를 계산하는 단계; 상기 비브라토 파라미터를 이용해서 비브라토 존재확률을 구하는 단계; 상기 구해진 비브라토 존재확률을 검증하여 최종 비브라토 구간을 확정하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.
음악인식, 비브라토 검출, 모노포닉 음악, 폴리포닉 음악

Description

음악에서의 비브라토 자동 검출방법{METHOD ON AUTOMATIC DETECTION OF VIBRATO IN MUSIC}
도1은 본 발명의 비브라토 자동 검출방법의 플로우차트
도2는 본 발명의 비브라토 자동 검출방법에 따른 파형의 예를 나타낸 도면
본 발명은 컴퓨터에 의한 음악의 자동 인식 시스템에서, 음악에서의 비브라토(vibrato) 구간을 자동으로 검출하는 방법에 관한 것으로서, 특히 음고(pitch)를 가진 악기음 및 음성으로 이루어진 모노포닉 음악(monophonic music) 및 폴리포닉 음악(polyphonic music)에 대하여 비브라토 구간을 자동으로 검출하는 방법에 관한 것이다.
컴퓨터에 의한 영상, 이미지, 음성, 음악의 인식은 신호처러 및 패턴 인식 기술의 발전에 힘입어 많은 기술적 진보를 거듭해 왔다. 음악 부분에서는 특히 WAV-to-MIDI 변환(웨이브-미디변환)이 많은 주목을 받고 있다. 이 기술은 음악을 입력하면 컴퓨터가 해당 음악을 이루는 여러가지 음악적 구성요소들을 자동으로 인식하고 그 것을 악보로 구현해 주는 것을 의미한다. 음악의 시작, 끝, 음계의 전환 등 기본적인 이벤트(event)들은 현재의 기술로도 무리없이 검출 가능하지만, 아직까지는 다양한 음악적 표현에 대한 컴퓨터의 인식은 제한적인 형편이다.
이는 음악이 다양한 악기음, 다양한 음높이와 음색, 음의 세기, 또한 이들이 서로 어우러져서 내는 섬세한 표현이기 때문에 복잡하기 이를 데 없는 음악적 요소들을 컴퓨터가 분석하고 해독하여 그 결과를 내주는 것이 매우 어려운 작업에 해당하기 때문이다.
음악의 다양한 구성요소 중에서 비브라토(vibrato)가 있다. 비브라토는 음색을 화려하게 하기 위한 음악적 기법 중의 하나로서, 음을 가늘게 반복하여 떨리는 형식으로 소리내는 기법이다. 즉, 같은 음높이에서 가늘게 떨리는 듯한 음색을 가해줌으로써 음악을 보다 더 아름답고 감성적으로 만들어 주는 기법이다. 상기 PC 기반의 음악 검출 시스템에서도 아직까지 비브라토의 검출은 이루어지기 어렵다. 따라서, 아직까지는 사람에 의해서 검출이 행해지고 있는 실정이다.
그렇지만, 비브라토는 음악에서 적지않게 사용되고 있는 기법이기 때문에 이 것을 자동으로 검출하면 보다 더 높은 성능의 음악 자동 검출 시스템 구현이 가능하게 될 것이다.
본 발명은 음악적 구성 요소 중에서 비브라토 구간을 자동으로 검출하는 방법을 제공하는데 그 목적이 있다.
특히 본 발명은 음악적 구성 요소 중에서 비브라토 구간을 자동으로 검출함에 있어서, 단선율(모노포닉: monophonic) 및 폴리포닉 음악(polyphonic music)에 서의 비브라토 구간을 자동으로 검출하는 방법을 제공한다.
본 발명은 각 악기 혹은 음성별 주파수 정보에 대해서 최우도 추정(Maximum Likelihood Estimation)에 의해서 비브라토 율(Vibrato Rate), 비브라토 익스텐트(Vibrato Extent), 인터네이션(Intonation) 등 3개의 비브라토 파라미터(Vibrato Parameter)를 계산하고, 이 것을 바탕으로 하여 음악에서 비브라토가 존재할 확률을 구하고, 구해진 비브라토 존재 확률을 토대로 하여 비브라토 구간을 검출하는 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 비브라토 검출방법은,
모노포닉 및 폴리포닉 음악에 대해서 최우도 추정(Maximum Likelihood Estimation)에 의해서 비브라토 율(Vibrato Rate), 비브라토 익스텐트(Vibrato Extent), 인터네이션(Intonation) 등 3개의 비브라토 파라미터(Vibrato Parameter)를 계산하는 단계; 상기 비브라토 파라미터를 이용해서 비브라토 존재확률을 구하는 단계; 상기 구해진 비브라토 존재확률을 검증하여 최종 비브라토 구간을 확정하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.
또한 본 발명에 따른 음악에서의 비브라토 자동 검출방법에서, 상기 비브라토 존재확률은 비브라토 율을 이용하여 구한 제1 비브라토 존재확률(frate)과, 상기 비브라토 익스텐트 및 인터네이션을 이용하여 구한 제2 비브라토 존재확률(fextent)의 곱([f(xr,xe) = frate(xr)·fextent(xe)]으로 결정하는 것을 특징으로 한다.
또한 본 발명에 따른 음악에서의 비브라토 자동 검출방법에서, 상기 비브라토 검증은 상기 비브라토 존재확률이 소정 시간 이상의 시간 길이를 가지고 연속되는 경우를 비브라토 구간으로 판정하는 것을 특징으로 한다.
또한 본 발명에 따른 음악에서의 비브라토 자동 검출방법에서, 상기 비브라토 파라미터 값들은 최우도 추정 시의 노이즈 성분 제거를 위한 평균화 처리를 수행하는 것을 특징으로 한다.
또한 본 발명에 따른 음악에서의 비브라토 자동 검출방법에서, 상기 비브라토 율을 기반으로 하는 제1 존재확률 frate은 주관적으로 선호하는 범위를 고려할 수 있도록,
Figure 112005001061096-PAT00001
(단, xr은 측정값, fv는 선호하는 값) ; 으로 정의하고,
상기 익스텐트 및 인터네이션을 기반으로 하는 제2 존재확률 fextent는 노멀라이즈 비브라토 익스텐트 xe를 xe = (VibratoExtent)/(Intonation)으로 정의하고, 이를 고려한 fextent는,
Figure 112005001061096-PAT00002
(단, xthd, ethd는 임계치) ; 로 정의하는 것을 특징으로 한다.
또한 본 발명에 따른 음악에서의 비브라토 자동 검출방법에서, 상기 비브라토 존재확률의 각각의 계수값들은 음악적 성향이나 문화적 기반에 따라 가변적으로 설정 가능한 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 음악에서의 비브라토 자동 검출방법의 실시예를 설명한다.
도1은 본 발명의 비브라토 자동 검출방법의 수순을 나타낸 플로우차트이다.
제1 단계(S10)는 시간에 따른 기본 주파수 데이터를 입력하는 단계이다. 이 단계는 음악의 자동 인식 시스템에서 마이크로 입력되는 음악이나 다른 음향저장 장치로부터의 음악 자원을 입력받아 아날로그 음악신호를 디지털 음악 신호(디지털 샘플)로 변환한 데이터로부터 주파수 해석을 기반으로 하여 시간에 따른 기본 주파수 데이터를 입력받는 과정에 해당한다.
제2 단계(S20)는 상기 입력된 기본 주파수 데이터에 최우도 추정방법(Maimum Likelihood Estimation)을 적용하여 비브라토 파라미터 값을 계산하는 단계이다. 본 발명에서 구하고자 하는 비브라토 파라미터 값은 비브라토 율(Vivrato Rate), 비브라토 익스텐트(Vibrato Extent) 및 인터네이션(Intonation)이다. 비브라토 율(Vivrato Rate)은 비브라토 자체가 가늘게 떨리는 음색에 해당하므로 단위 시간당 변화 속도(정도)에 해당하는 파라미터이고, 비브라토 익스텐트(Vibrato Extent)는 비브라토가 어느 정도의 세기로 수행되고 있는가를 의미하는 비브라토의 진폭에 해 당하는 파라미터이며, 인터네이션(Intonation)은 음조에 해당하는 파라미터로서 같은 음높이에서 떨림이 일어나는 값의 중간값을 사용할 것이다.
그리고, 상기 최우도 추정방법은 기본 주파수 데이터를 이용하여 음악 구성요소의 특정 파라미터 값을 계산하는 알려진 방법으로서, 기본 주파수 데이터 f(m)을 사용하여 L(fv) = xmr TE(EHE)-1EHxmr 로 표현되는 알고리즘을 수행하는 일련의 과정에 해당한다.
단, 여기서 H와 T는 행렬에 대한 복소 공액 전치(complex Conjugate Transpose) 및, 전치(Transpose)를 의미하며, xmr은 원래 데이터인 x=[f(m)...f(m+M-1)]T에 대해서 평균을 제거한 데이터이고, E=[e1 e2 e3]이며, en=[1 exp(2πifn)...exp(2πifn(M-1))]T이고, f1=0, f2=fv/fframe, f3=-f2이다. 그리고 fframe은 샘플링 주파수를 STFT에서의 연속되는 프레임 간의 시간 차이로 나눈 것이며, M은 한번에 처리되는 데이터의 길이를 의미한다.
상기 최우도 추정방법[L(fv) = xmr TE(EHE)-1EHx mr]에 의해서 비브라토 율(Vibrato Rate)은 L(fv)를 최대로 하는 fv에 해당하며 이 것은 1차원 검색으로 찾을 수 있다. 즉, L(fv)를 최대로 하는 fv에 해당하는 값(solution)을 구한다.
그리고, 상기 값을 이용해서 A=(Ev HEv)-1Ev Hx 를 구한다. 여기서 E는 앞에서 구한 fv를 이용해서 만든 행렬이고, 행렬 A의 (i,j)번째 원소를 aij라고 할 때, 비브라토 파라미터 값중의 하나인 인터네이션(Intonation)과 비브라토 익스텐트(Vibrato Extent)는 각각 ｜a11｜과 ｜a21+a31｜로 구해진다. 즉, 인터네이션(Intonation)은 ｜a11｜, 익스텐트(Vibrato Extent)는 ｜a21+a31｜으로 구하는 것이다.
이렇게 해서 비브라토 율(Vivrato Rate)과 비브라토 익스텐트(Vibrato Extent), 그리고 인터네이션(Intonation) 등 3개의 비브라토 파라미터 값을 구하였다. 그리고 이렇게 구한 비브라토 파라미터 값들은 앞서 최우도 추정방법에서 발생하는 노이즈 성분을 제거하기 위하여 적절한 길이로 평균화(averaging) 처리를 수행한다. 즉, 노이즈 제거를 위한 후처리(post processing)를 수행하는 것이다.
다음의 제3단계(S31) 및 제4 단계(S32)는 상기 구해진 비브라토 파라미터 값을 이용해서 비브라토 존재 확률을 계산하는 단계이다.
본 발명에서 비브라토 존재확률은 비브라토 율(Vivrato Rate)을 기반으로 구한 제1 존재확률과, 비브라토 익스텐트(Vibrato Extent) 및 인터네이션(Intonation)을 기반으로 구한 제2 존재확률을 사용한다.
비브라토 율(Vivrato Rate)은 주관적으로 가장 선호하는 범위가 존재한다. 그러므로 이 것을 비브라토 제1 존재확률에 반영한다. 즉, 주관적인 선호도를 고려하여 비브라토 율(Vivrato Rate) 기반의 제1 존재확률 frate은 가우시안 확률 함수 'Gaussian Probability Function'의 수정 형태인
Figure 112005001061096-PAT00003
와 같이 정의한다. 여기서, xr은 측정값, fv는 선호하는 값이며, fv는 서양 음악의 특성이나 문화적 차이에 따라 적절하게 고정된 값을 선정하여 사용하게 되는데, 예를 들면 6Hz 정도로 고정하여 사용할 수 있다.
한편, 비브라토 익스텐트(Vibrato Extent)의 경우는 비브라토 율(Vivrato Rate)과 달리 그 값이 크면 클수록 비브라토 존재확률은 높아진다. 이 것은 비브라토 익스텐트(Vibrato Extent)가 비브라토의 세기(진폭)를 반영하는 파라미터이기 때문이다. 그렇지만 실제로 그 크기는 제한되어 있다. 왜냐하면 비브라토를 과도하게 주면 음높이를 넘나드는 형태가 되어 비브라토 본연의 목적에 의한 음색변화가 음높이의 변화로 변질되기 때문이다.
따라서, 비브라토 익스텐트(Vibrato Extent)를 인터네이션(Intonation)을 고려하여 노멀라이즈(Normalize) 처리한 '노멀라이즈 비브라토 익스텐트(Normalized Vibrato Extent)' xe를 xe = (VibratoExtent)/(Intonation)으로 정의하고, 이와 관 련된 제2 존재확률 fextent는 다음과 같이 정의한다.
Figure 112005001061096-PAT00004
여기서, xthd, ethd는 임계치이다.
이와 같이 비브라토 율(Vivrato Rate)을 기반으로 하여 구한 제1 존재확률 frate과, 비브라토 익스텐트(Vibrato Extent) 및 인터네이션을 기반으로 하여 구한 제2 존재확률 fextent을 구하였다.
도1에서, 다음의 제4 단계(S40)는 최종적인 비브라토 존재확률 f(xr,xe)를 구하는 단계이다. 본 발명에서 최종적인 비브라토 존재확률 f(xr,xe)은 상기 frate 와 fextent의 곱으로 구한다. 즉, f(xr,xe) = frate(xr)·f extent(xe)로 정의하는 것이다.
여기서, 비브라토가 시간 t에 의존하는 함수임을 고려하여, 상기 각각의 존재 확률들을 다음과 같이 표현한다.
frate(t), fextent(t), f(xr,xe,t) = frate(xr ,t)·fextent(xr,t).
다음의 제5 단계(S50)에서는 유효 구간 길이를 검사한다. 즉, 비브라토 존재 확률을 토대로 하여 비브라토 구간을 검출함에 있어, 앞서 설명한 바와 같이 비브라토가 시간(t)의 함수임을 고려해서 일정 수준 이상의 비브라토 존재확률이 소정 시간 이상 지속되는가의 여부를 검사하는 것이다. 이 것은 통상 비브라토가 사람(청중)이 그 음색의 변화를 느낄만큼의 최소 시간 이상 지속될 경우에만 비브라토라고 인정하기 위한 검사에 해당하며, 사람이 인식하기 조차 너무 짧은 시간 동안의 음의 떨림 현상이 일어난다고 할 때는 이를 비브라토라고 보기 어렵기 때문이다.
다음의 제6 단계(S60)에서는 상기 유효 구간 길이 검사를 통과한 구간을 해당 음악에서의 비브라토 구간이라고 최종적으로 판정하고, 그 검출 결과를 출력하는 단계이다.
이와 같이, 본 발명에서는 최우도 추정방법을 적용해서 비브라토 파라미터 값들을 계산하였고, 그 계산된 결과값인 파라미터 값들을 이용해서 비브라토 존재확률을 각각, 비브라토 율(Vivrato Rate)을 기반으로 하는 확률 frate(t)과 비브라토 익스텐트(Vibrato Extent) 및 인터네이션(Intonation)을 기반으로 하는 확률 fextent(t)의 곱 f(xr,xe,t) = frate(xr,t)·f extent(xr,t) 로 정의하고, 이 것을 토대로 하여 일정 시간 길이 이상 지속하여 비브라토 존재확률이 보장되는 경우를 비브라토 구간이라고 판정하였다.
상기 각각의 확률에서의 계수값은 하나의 예제로써, 서양 음악에 대해서 사람의 청각 특성을 고려한 값을 다음과 같이 설정하면 바람직한 결과를 얻을 수 있다.
즉, 상기 fv는 6Hz, σ2는 1/loge2, c=1000, xthd=0.0021186, ethd=0.03으로 설 정하며, 이 값들을 사용하여 f(xr,xe)가 0.5보다 크면 비브라토가 존재하는 것으로 판단하고, 0.5보다 작으면 비브라토가 존재하지 않는 것으로 판단하는 것이다.
그렇지만 이 값들은 하나의 실시예로써, 고정된 값을 의미하지는 않으며, 음악적 성향이나 문화에 따라 다른 값으로 수정되어 사용될 수 있다.
그리고, 비브라토의 특성 상 어느 정도의 시간 길이를 가지고 있으므로, f(xr,xe,t)가 설정된 기준값 0.5를 넘는 구간이 일정 시간을 초과하는 경우를 비브라토 구간으로 인정하고, 그 것을 최종적인 비브라토 구간 검출의 결과로 출력한다.
도2에는 지금까지 설명한 본 발명에 따른 음악에서의 비브라토 자동 검출방법의 각각의 단계에서 예시될 수 있는 파형과 샘플값 들을 나타내었다.
도2에서 (a)는 원 음악의 파형을 보여준다. 원 음악의 파형을 살펴보면 다양한 진폭과 주파수 성분이 혼재된 음악임을 알 수 있다. 도2에서 (b)는 상기 원 음악의 주파수 해석을 통해서 기본 주파수 성분을 구한 결과를 보여주고 있다(fundamental frequency track). 도2의 (b)에서 살펴보면 각각의 시간별 구간에서는 가늘게 떨리는 음이 개입되어 있는 것을 알 수 있다.
도2의 (c)는 상기 기본 주파수 데이터를 입력으로 하여 앞서 설명한 비브라토 율(Vivrato Rate)을 기반으로 하는 비브라토 존재확률 frate(xr)을 구한 결과를 보여주고 있다. 도2의 (d)는 상기 기본 주파수 데이터를 입력으로 하여 앞서 설명한 비브라토 익스텐트(Vibrato Extent) 및 인터네이션(Intonation)을 기반으로 하 는 비브라토 존재확률 fextent(xe)를 구한 결과를 보여주고 있다.
도2의 (d)는 상기 비브라토 율(Vivrato Rate)을 기반으로 하는 비브라토 존재확률 frate(xr)과 비브라토 익스텐트(Vibrato Extent) 및 인터네이션(Intonation)을 기반으로 하는 비브라토 존재확률 fextent(xe)의 곱, 즉 본 발명에서 제안한 비브라토 존재확률 f(xr,xe)을 구한 결과를 보여주고 있다.
도2의 (d)에서 살펴보면 거의 대부분의 구간에서 비브라토 존재확률 값이 구해지고 있는데, 이 비브라토 존재확률이 0.5 이상이고 소정 시간 이상 계속되는 구간(도면에서 점선으로 표현하였다)에 대해서만 해당 구간을 비브라토 구간으로 결정해서 출력하는 것이다. 도2의 (d)에서 시간 구간 0~2 사이는 비브라토 존재확률이 0.5 이상인 경우가 발생하고 있지만 이 것이 짧은 시간에 이르기 때문에 이 구간은 비브라토 구간으로 판정하지 않고 있음을 알 수 있다.
본 발명은 모노포닉 음악에서 비브라토 구간을 자동으로 검출하는 방법을 제공한다. 따라서, 음악 인식 시스템에서 기존에 검출이 어려웠던 비브라토를 자동으로 검출할 수 있고, 비브라토 검출시에 해당 구간이 진정 비브라토 구간인지의 여부를 검증하는 단계를 확보함으로써, 비브라토 검출의 성능과 품질을 유지할 수 있다.

Claims (8)

  1. 모노포닉 및 폴리포닉 음악에 대해서 최우도 추정(Maximum Likelihood Estimation)에 의해서 비브라토 율(Vibrato Rate), 비브라토 익스텐트(Vibrato Extent), 인터네이션(Intonation) 등 3개의 비브라토 파라미터(Vibrato Parameter)를 계산하는 단계; 상기 비브라토 파라미터를 이용해서 비브라토 존재확률을 구하는 단계; 상기 구해진 비브라토 존재확률을 검증하여 최종 비브라토 구간을 확정하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 음악에서의 비브라토 자동 검출방법.
  2. 제 1 항에 있어서, 상기 비브라토 존재확률은 비브라토 율(Vivrato Rate)을 이용하여 구한 제1 비브라토 존재확률(frate)과, 상기 비브라토 익스텐트(Vibrato Extent) 및 인터네이션(Intonation)을 이용하여 구한 제2 비브라토 존재확률(fextent)의 곱 [f(xr,xe) = frate(xr)·fextent(xe ) 으로 결정하는 것을 특징으로 하는 음악에서의 비브라토 자동 검출방법.
  3. 제 1 항에 있어서, 상기 비브라토 검증은 상기 비브라토 존재확률이 소정 시간 이상의 시간 길이를 가지고 연속되는 경우를 비브라토 구간으로 판정하는 것을 특징으로 하는 음악에서의 비브라토 자동 검출방법.
  4. 제 1 항에 있어서, 상기 비브라토 파라미터 값들은 최우도 추정 시의 노이즈 성분 제거를 위한 평균화 처리를 수행하는 것을 특징으로 하는 음악에서의 비브라토 자동 검출방법.
  5. 제 2 항에 있어서, 상기 비브라토 율(Vivrato Rate)을 기반으로 하는 제1 존재확률 frate은 주관적으로 선호하는 범위를 고려할 수 있도록,
    Figure 112005001061096-PAT00005
    (단, xr은 측정값, fv는 선호하는 값) ; 으로 정의하는 것을 특징으로 하는 음악에서의 비브라토 자동 검출방법.
  6. 제 2 항에 있어서, 상기 익스텐트(Vibrato Extent) 및 인터네이션(Intonation)을 기반으로 하는 제2 존재확률 fextent는 노멀라이즈 비브라토 익스텐트 xe를 xe = (VibratoExtent)/(Intonation)으로 정의하고, 이를 고려한 fextent 는,
    Figure 112005001061096-PAT00006
    (단, xthd, ethd는 임계치) ; 로 정의하는 것을 특징으로 하는 음악에서의 비브라토 자동 검출방법.
  7. 제 2 항에 있어서, 상기 비브라토 율(Vivrato Rate)을 기반으로 하는 제1 존재확률 frate은 주관적으로 선호하는 범위를 고려할 수 있도록,
    Figure 112005001061096-PAT00007
    (단, xr은 측정값, fv는 선호하는 값) ; 으로 정의하고,
    상기 비브라토 익스텐트(Vibrato Extent) 및 인터네이션(Intonation)을 기반으로 하는 제2 존재확률 fextent는 노멀라이즈 비브라토 익스텐트(Normalized Vibrato Extent) xe를 xe = (VibratoExtent)/(Intonation)으로 정의하고, 이를 고려한 fextent는,
    Figure 112005001061096-PAT00008
    (단, xthd, ethd는 임계치) ; 로 정의하고,
    상기 fv는 6Hz, σ2는 1/loge2, c=1000, xthd=0.0021186, e thd=0.03으로 설정하 며, 이 값들을 사용하여 f(xr,xe)가 0.5보다 크면 비브라토가 존재하는 것으로 판정하고, 0.5보다 작으면 비브라토가 존재하지 않는 것으로 판정하는 것을 특징으로 하는 음악에서의 비브라토 자동 검출방법.
  8. 제 2 항에 있어서, 상기 비브라토 존재확률의 각각의 계수값들은 음악적 성향이나 문화적 기반에 따라 가변적으로 설정 가능한 것을 특징으로 하는 음악에서의 비브라토 자동 검출방법.
KR1020050001845A 2005-01-07 2005-01-07 음악에서의 비브라토 자동 검출방법 KR100659884B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050001845A KR100659884B1 (ko) 2005-01-07 2005-01-07 음악에서의 비브라토 자동 검출방법
US11/326,842 US20060150805A1 (en) 2005-01-07 2006-01-06 Method of automatically detecting vibrato in music

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050001845A KR100659884B1 (ko) 2005-01-07 2005-01-07 음악에서의 비브라토 자동 검출방법

Publications (2)

Publication Number Publication Date
KR20060081500A true KR20060081500A (ko) 2006-07-13
KR100659884B1 KR100659884B1 (ko) 2006-12-20

Family

ID=36651925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050001845A KR100659884B1 (ko) 2005-01-07 2005-01-07 음악에서의 비브라토 자동 검출방법

Country Status (2)

Country Link
US (1) US20060150805A1 (ko)
KR (1) KR100659884B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009059300A2 (en) * 2007-11-02 2009-05-07 Melodis Corporation Pitch selection, voicing detection and vibrato detection modules in a system for automatic transcription of sung or hummed melodies

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008095190A2 (en) * 2007-02-01 2008-08-07 Museami, Inc. Music transcription
US7838755B2 (en) * 2007-02-14 2010-11-23 Museami, Inc. Music-based search engine
US8494257B2 (en) 2008-02-13 2013-07-23 Museami, Inc. Music score deconstruction

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389040B1 (en) * 1998-09-11 2002-05-14 Lucent Technologies Inc. Apparatus and method for generating a frequency offset estimate for communication systems having frequency selecting fading channels

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009059300A2 (en) * 2007-11-02 2009-05-07 Melodis Corporation Pitch selection, voicing detection and vibrato detection modules in a system for automatic transcription of sung or hummed melodies
WO2009059300A3 (en) * 2007-11-02 2009-06-18 Melodis Corp Pitch selection, voicing detection and vibrato detection modules in a system for automatic transcription of sung or hummed melodies

Also Published As

Publication number Publication date
US20060150805A1 (en) 2006-07-13
KR100659884B1 (ko) 2006-12-20

Similar Documents

Publication Publication Date Title
Virtanen Monaural sound source separation by nonnegative matrix factorization with temporal continuity and sparseness criteria
Marolt A connectionist approach to automatic transcription of polyphonic piano music
Klapuri et al. Robust multipitch estimation for the analysis and manipulation of polyphonic musical signals
JP6027087B2 (ja) スペクトル挙動の変換を実行する音響信号処理システム及び方法
US8889976B2 (en) Musical score position estimating device, musical score position estimating method, and musical score position estimating robot
US7035742B2 (en) Apparatus and method for characterizing an information signal
JP3789326B2 (ja) テンポ抽出装置、テンポ抽出方法、テンポ抽出プログラム及び記録媒体
JP5127982B2 (ja) 音楽検索装置
CN107210029B (zh) 用于处理一连串信号以进行复调音符辨识的方法和装置
JP3552837B2 (ja) 周波数分析方法及び装置並びにこれを用いた複数ピッチ周波数検出方法及び装置
KR100659884B1 (ko) 음악에서의 비브라토 자동 검출방법
JP2008516288A (ja) 音声信号の基礎となるメロディの抽出
JP2005292207A (ja) 音楽分析の方法
Amado et al. Pitch detection algorithms based on zero-cross rate and autocorrelation function for musical notes
TWI299855B (en) Detection method for voice activity endpoint
JP5924968B2 (ja) 楽譜位置推定装置、及び楽譜位置推定方法
Goto A predominant-F0 estimation method for polyphonic musical audio signals
Pilia et al. Time scaling detection and estimation in audio recordings
Li et al. Musical sound separation using pitch-based labeling and binary time-frequency masking
JPH0675562A (ja) 自動採譜装置
US7505858B2 (en) Method for analyzing tone quality of exhaust sound
Stöter et al. Unison Source Separation.
Dziubiński et al. High accuracy and octave error immune pitch detection algorithms
Barbedo et al. Empirical methods to determine the number of sources in single-channel musical signals
JP3870727B2 (ja) 演奏タイミング抽出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090929

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee