KR100406248B1 - 새로운 음 연주 판별 방법 및 그 장치 - Google Patents

Abstract

본 발명은 새로운 음 연주 판별 방법 및 그 장치에 관한 것으로서, 특히, 외부에서 입력되는 디지털 음향을 주파수 성분으로 분해한 후, 그 주파수 성분 값들에 의거하여, 연주 소리의 크기 변화 및 주파수 상에 퍼진 연주 소리의 퍼짐도를 분석하고, 그 결과에 의해 새로운 음이 연주되었는지를 판별하는 새로운 음 연주 판별 방법 및 그 장치에 관한 것이다.

Description

새로운 음 연주 판별 방법 및 그 장치{Method and apparatus for onset-detecting}

본 발명은 연주 음악에서 새로운 음이 연주되는 것을 판별하는 방법 및 그 장치에 관한 것이다.

일반적으로 연주 음악 재생기들로부터 출력되는 연주 음악 또는 연주자의 실제 음악을 들으면서, 음악의 진행 정도를 인식하고, 그 음악의 리듬을 파악하는 등 연주 음악의 연주 상태를 모니터링하기 위한 방법으로 새로운 음이 연주되는 시점을 파악하는 방법이 종종 사용되고 있다.

이를 위해 종래에는 도 1에 도시된 바와 같은 처리 과정을 거쳐 새로운 음이 연주되는 것을 판별하였다. 도 1은 종래의 일 실시예에 따른 새로운 음 연주 판별 과정에 대한 흐름도로서, 도 1을 참조하면, 외부에서 연주 소리가 입력되는 경우(s10), 먼저, 그 연주 소리를 디지털 음향으로 변환하고(s20), 디지털 음향의 파형을 분석한다(s30). 그리고, 그 분석 결과에 의해 새로운 음을 판별하여(s40), 새로운 음이 연주되었다고 판별되면(s50), 새로운 음이 연주되었음을 알리는 새로운 음 연주 신호를 발생한다(s60).

한편, 도 2는 종래의 일 실시예에 따른 새로운 음 연주 판별 방법을 설명하기 위한 파형도로서, 도 2를 참조하면, 외부로부터 도 2(a)와 같은 파형이 입력되면, 그 파형을 전파 정류하여 도 2(b)와 같은 웨이브 형태(wave form)를 생성한다. 그리고, 도 2(c)와 같이 도 2(b)에서 신호가 일정값 이상 올라가는 시점에 트리거를 발생시켜, 트리거가 발생된 시점에 새로운 음이 연주된 것으로 간주한다.

이와 같은 종래의 방법은 외부로부터 입력되는 음향 신호의 크기 정보에 의존하여 새로운 음 연주를 판별하였다. 즉, 음의 퍼짐도를 간과함으로써, 피아노와같은 공진 현상이 발생되는 악기에서의 새로운 음의 연주 여부를 정확히 판별할 수 없다는 단점이 있었다.

따라서, 본 발명은 상기한 바와 같은 종래의 제반 문제점을 해결하고, 보다 정확하게 새로운 음의 연주 여부를 판별하도록 하기 위해, 연주 소리의 크기 변화 및 그 연주 소리의 주파수 퍼짐도 변화에 의해 새로운 음이 연주되었는지를 판별하는 새로운 음 연주 판별 방법 및 그 장치를 제공하는 것을 목적으로 한다.

도 1은 종래의 일 실시예에 따른 새로운 음 연주 판별 과정에 대한 흐름도,

도 2는 종래의 일 실시예에 따른 새로운 음 연주 판별 방법을 설명하기 위한 파형도,

도 3은 본 발명의 일 실시예에 따른 새로운 음 연주 판별 장치에 대한 개략적인 블록도,

도 4는 본 발명의 일 실시예에 따른 새로운 음 연주 판별 과정에 대한 개략적인 흐름도,

도 5는 본 발명의 일 실시예에 따른 새로운 음 연주 판별 과정에 대한 세부적인 흐름도.

♣ 도면의 주요 부분에 대한 부호의 설명 ♣

100 : 입력부 200 : 주파수 변환부

300 : 새로운 음 판별부 400 : 출력부

상기 목적을 달성하기 위한 본 발명의 새로운 음 연주 판별 방법은 외부에서 연주되는 음악을 디지털 음향으로 변환하여 입력하는 제1 과정과, 기 설정된 일정 시간 단위로 상기 디지털 음향을 주파수 성분으로 분해하는 제2 과정과, 상기 주파수 성분 값들에 의거하여, 연주 소리의 크기 변화 및 주파수 상에 퍼진 연주 소리의 퍼짐도를 분석하여 새로운 음이 연주되었는지를 판별하는 제3 과정과, 상기 제3 과정의 판별 결과를 출력하는 제4 과정을 포함한다.

한편, 상기 목적을 달성하기 위한 본 발명의 새로운 음 연주 판별 장치는 외부에서 연주되는 음악을 디지털 음향으로 변환하여 입력하는 입력부와, 상기 입력된 디지털 음향을 주파수 성분으로 분해하는 주파수 변환부와, 상기 주파수 성분 값들에 의거하여, 연주 소리의 크기 변화 및 주파수 상에 퍼진 연주 소리의 퍼짐도를 분석하여 새로운 음이 연주되었는지를 판별하는 새로운 음 판별부와, 상기 새로운 음 판별부의 판별 결과를 출력하는 출력부를 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 새로운 음 연주 판별 방법 및 그 장치를 좀 더 상세히 설명하면 다음과 같다.

도 3은 본 발명의 일 실시예에 따른 새로운 음 연주 판별 장치에 대한 개략적인 블록도이다.

도 3을 참조하면, 본 발명이 새로운 음 연주 판별 장치는 입력부(100)와, 주파수 변환부(200)와, 새로운 음 판별부(300)와, 출력부(400)를 포함하여 구성된다.

입력부(100)는 연주 음악 재생기나 연주자의 연주로부터 음향을 받아들여 디지털 음향으로 변환하는 장치로서, 일반적으로 A/D 컨버터가 주로 사용된다. 일반적인 컴퓨터의 경우 사운드 카드가 이러한 기능을 수행한다.

주파수 변환부(200)는 입력부(100)를 통한 디지털 음향을 주파수 성분으로 분해한다. 이 때, 디지털 음향을 주파수 성분으로 분해하는 방법은 일반적으로 고속 푸리에 변환(FFT)을 이용하지만, 웨이브렛(wavelet) 변환과 같은 다른 방법을 이용하는 것도 가능하다.

새로운 음 판별부(300)는 주파수 변환부(200)에서 생성된 주파수 성분 값들에 의거하여, 연주 소리의 크기 변화 및 주파수 상에 퍼진 연주 소리의 퍼짐도를 분석함으로써 새로운 음이 연주되었는지를 판별한다. 이를 위해, 새로운 음 판별부(300)는 그 연주 소리의 크기 변화율(r1)과 연주 소리의 퍼짐도 변화율(r2)에 의거한 제1 판별 계수(od1)와, 상기 제1 판별 계수(od1)와 현재 연주 소리의 크기 정보 및 퍼짐도 정보가 결합된 제2 판별 계수(od2)를 산출하고, 그 제1 판별 계수(od1) 및 제2 판별 계수(od2)가 기 설정된 새로운 음 연주 판별 조건을 만족할경우, 새로운 음이 연주된 것으로 판별한다. 이러한 새로운 음 판별부(300)의 처리 방법은 도 5를 참조한 설명에서 보다 상세히 설명한다.

마지막으로, 출력부(400)는 새로운 음 판별부(300)의 판별 결과를 출력한다. 이 때, 출력부(400)는 그 음의 연주 상태를 전자 악보 상에 직접 표시하는 등, 사용자가 지정한 형태로 새로운 음의 연주 여부를 출력한다.

도 4는 본 발명의 일 실시예에 따른 새로운 음 연주 판별 과정에 대한 개략적인 흐름도로서, 도 3에 도시된 바와 같은 새로운 음 연주 판별 장치에 의한 새로운 음 판별 과정을 나타낸다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 새로운 음 연주 판별 과정은 우선 외부로부터 연주 소리가 입력되면(s100), 그 연주 소리를 디지털 음향으로 변환한다(s200). 즉, 한 개 이상의 마이크를 통해 입력되는 아날로그 연주 음악의 경우 아날로그-디지털 변환(A/D Convert)을 거쳐 디지털 음향으로 변환하고, CD 음향(Audio) 또는 MP3 음향(Audio) 등의 디지털 오디오 신호나 WMA(마이크로소프트 사의 윈도우 미디어 플레이어에서 재생하는 스트림 오디오 형식 이름) 또는 RA(리얼오디오사의 스트림 오디오 형식 이름)등의 스트림 형식의 디지털 오디오 신호의 경우 웨이브로 변환하여 디지털 음향을 생성한다.

이와 같이 모든 연주 소리를 디지털 음향으로 변환하였으면, 그 디지털 음향을 주파수 성분으로 분해한다(s300). 이를 위해 일반적으로 고속 푸리에 변환(FFT)을 이용하지만, 웨이브렛(wavelet) 변환과 같은 다른 방법을 이용하는 것도 가능하다. 고속 푸리에 변환(FFT)이나, 웨이브렛(wavelet) 변환 방법 등은 이미 공지된기술이므로 본 발명에서는 언급하지 않는다.

그리고, 상기 과정(s300)에서 생성된 주파수 성분 값들을 분석하여 새로운 음이 연주되었는지의 여부를 판별(s400)한다. 즉, 주파수 성분 값들에 의거하여 연주 소리의 크기 변화 및 주파수 상에 퍼진 연주 소리의 퍼짐도를 분석하고, 그 연주 소리의 크기 변화 및 연주 소리의 퍼짐도 변화 정보에 의해 새로운 음이 연주되었는지를 판별한다.

상기 과정(s400) 수행 결과, 새로운 음이 연주되었다고 판별되면(s500), 새로운 음이 연주되었음을 알리는 신호(Onset signal)를 발생시킨다(s600). 이 때, 그 신호(Onset signal) 발생 방법은 그 음의 연주 상태를 전자 악보 상에 직접 표시하는 등, 사용자가 지정한 다양한 방법이 가능하다.

도 5는 본 발명의 일 실시예에 따른 새로운 음 연주 판별 과정(s400)에 대한 세부적인 흐름도이다.

도 5를 참조하면, 먼저, 주파수 성분의 변화에 따른 연주 소리의 크기 변화율(r1)을 산출하는데, 이 때, 연주 소리의 크기는 주파수 성분의 크기(주파수의 세기)와 비례하므로, 주파수 성분의 크기 변화를 산출한다(s410). 즉, 각 주파수 성분들의 제곱의 합(s)에 대한 증가율을 산출하는 (수학식 1)에 의해 연주 소리의 크기 변화율(r1)을 산출한다.

그리고, 상기 주파수 성분의 변화에 따라 그 주파수 상에 퍼진 연주 소리의 퍼짐도 변화율(r2)을 산출한다(s420). 이 때, 음의 퍼짐 정도를 검출하기 위해서는 일반적으로 코베리언스 함수(cov( ))와 로그 함수(log( ))가 주로 사용되는데, (수학식 2)는 각 주파수 성분들의 로그(log) 함수 값(ls)에 대한 증가율에 의해 연주 소리의 퍼짐도 변화율(r2)을 산출하는 방법을 나타내고, (수학식 3)은 각 주파수 성분들의 코베리언스 함수(cov( ))값(ls)에 대한 증가율에 의해 연주 소리의 퍼짐도 변화율(r2)을 산출하는 방법을 나타낸다.

이와 같이 연주 소리의 크기 변화율(r1)과 그 연주 소리의 퍼짐도 변화율(r2)을 산출하였으면, 그 값들에 의거하여 새로운 음을 판별하기 위한 제1 판별 계수(od1)를 산출한다(s430). 즉, 상기 연주 소리의 크기 변화율(r1)과 연주 소리의 퍼짐도 변화율(r2)의 곱에 대한 변화율을 산출하는 (수학식 4)에 의해 제1 판별 계수(od1)를 산출한다.

또한, 상기 제1 판별 계수(od1)와 현재 연주 소리의 크기 정보 및 퍼짐도 정보가 결합된 제2 판별 계수(od2)를 산출한다(s440). 즉, 상기 제1 판별 계수(od1)의 제곱 및 현재 연주 소리의 크기(s_c)의 제곱을 곱한 값을 10⁵으로 나눈 값에 현재 연주 소리의 퍼짐도(ls_c)를 곱한 값을 산출하는 (수학식 5)에 의해 제2 판별 계수(od2)를 산출한다.

이 때, 상기 제1 판별 계수(od1)는 이전 프레임과 현재 프레임과의 세기에 따른 증가율을 의미하고, 제2 판별 계수(od2)는 작은 주파수 세기에서의 증가율을 무시하기 위해 필요한 것으로서, 잡음에 의한 주파수 신호의 변화를 새로운 음(Onset)으로 판별하는 것을 방지하기 위해 필요하다.

이와 같이 제1 판별 계수(od1) 및 제2 판별 계수(od2)가 산출되었으면, 그 값들(od1, od2)에 의해 새로운 음(Onset)이 연주되었는지의 여부를 판별하고(s450, s460), 그 결과에 의해 새로운 음 연주 신호를 발생한다(s470).

이 때, 본 발명의 실시예에서는 제1 판별 계수(od1)가 1.5를 초과하고, 제2 판별 계수(od2)가 15를 초과한 경우 새로운 음(Onset)이 연주된 것으로 판별한다. 하지만, 그 기준 값은 해당 악기의 특성 및 연주 음악의 종류 등에 의해 변동 적용하는 것이 가능하다.

이상의 설명은 하나의 실시예를 설명한 것에 불과한 것으로서, 본 발명은 상술한 실시예에 한정되지 않으며 첨부한 특허청구범위 내에서 다양하게 변경 가능하다. 예를 들어 본 발명의 실시예에 구체적으로 나타난 각 구성 요소의 형상 및 구조는 변형하여 실시할 수 있다.

상기와 같은 본 발명의 새로운 음 판별 방법 및 그 장치는 연주 소리의 크기 변화 및 그 퍼짐도의 변화에 의해 새로운 음이 연주되었는지의 여부를 판별하도록 함으로써, 공진 현상이 발생되는 악기(예컨대, 피아노 등)에서도 새로운 음의 연주 여부를 정확하게 판별할 수 있다는 장점이 있다.

Claims (11)

1. 외부에서 연주되는 음악을 디지털 음향으로 변환하여 입력하는 제1 과정과,

   기 설정된 일정 시간 단위로 상기 디지털 음향을 주파수 성분으로 분해하는 제2 과정과,

   상기 주파수 성분 값들에 의거하여, 연주 소리의 크기 변화 및 주파수 상에 퍼진 연주 소리의 퍼짐도를 분석하여 새로운 음이 연주되었는지를 판별하는 제3 과정과,

   상기 제3 과정의 판별 결과를 출력하는 제4 과정을 포함하는 것을 특징으로 하는 새로운 음 연주 판별 방법.
2. 제1항에 있어서, 상기 제2 과정은

   상기 디지털 음향을 고속 푸리에 변환(FFT)하는 것을 특징으로 하는 새로운 음 연주 판별 방법.
3. 제1항에 있어서, 상기 제3 과정은

   상기 주파수 성분의 변화에 따른 연주 소리의 크기 변화율(r1)을 산출하는 제3-1 과정과,

   상기 주파수 성분의 변화에 따라 그 주파수 상에 퍼진 연주 소리의 퍼짐도 변화율(r2)을 산출하는 제3-2 과정과,

   상기 연주 소리의 크기 변화율(r1)과 그 연주 소리의 퍼짐도 변화율(r2)에 의거한 제1 판별 계수(od1)를 산출하는 제3-3 과정과,

   상기 제1 판별 계수(od1)와 현재 연주 소리의 크기 정보 및 퍼짐도 정보가 결합된 제2 판별 계수(od2)를 산출하는 제3-4 과정과,

   상기 제1 판별 계수(od1) 및 제2 판별 계수(od2)가 기 설정된 음 연주 판별 조건을 만족하는 경우 새로운 음이 연주된 것으로 판별하고, 새로운 음 연주 신호를 발생하는 제3-5 과정을 포함하는 것을 특징으로 하는 새로운 음 연주 판별 방법.
4. 제3항에 있어서, 상기 제3-1 과정은

   각 주파수 성분들의 제곱의 합(s)에 대한 증가율을 산출하는 하기의 수학식에 의해 연주 소리의 크기 변화율(r1)을 산출하는 것을 특징으로 하는 새로운 음 연주 판별 방법.

   (수학식)

   r1 = (s_c+1)/(s_p+1)

   이 때, s_c= 현재 프레임의 s, s_p= 이전 프레임의 s,

   s=M(1)²+M(2)²+ …+M(n)²,

   M(i)='i'번째 주파수 성분의 크기,i=1,…,n
5. 제3항에 있어서, 제3-2 과정은

   각 주파수 성분들의 로그(log) 함수 값(ls)에 대한 증가율을 산출하는 하기의 수학식에 의해 연주 소리의 퍼짐도 변화율(r2)을 산출하는 것을 특징으로 하는 새로운 음 연주 판별 방법.

   (수학식)

   r2 = (ls_c+1)/(ls_p+1)

   이 때, ls_c= 현재 프레임의 ls, ls_p= 이전 프레임의 ls,

   ls=log(M(1)²+1) + log(M(2)²+1) + …+log(M(n)²+1),

   M(i)='i'번째 주파수 성분의 크기,i=1,…,n
6. 제3항에 있어서, 제3-2 과정은

   각 주파수 성분들의 코베리언스(cov) 함수 값(ls)에 대한 증가율을 산출하는 하기의 수학식에 의해 연주 소리의 퍼짐도 변화율(r2)을 산출하는 것을 특징으로 하는 새로운 음 연주 판별 방법.

   (수학식)

   r2 = (ls_c+1)/(ls_p+1)

   이 때, ls_c= 현재 프레임의 ls, ls_p= 이전 프레임의 ls,

   ls=cov( M(1),M(2) … ,M(n) ),

   M(i)='i'번째 주파수 성분의 크기,i=1,…,n
7. 제3항에 있어서, 제3-3 과정은

   상기 연주 소리의 크기 변화율(r1)과 연주 소리의 퍼짐도 변화율(r2)의 곱에 대한 변화율을 산출하는 하기의 수학식에 의해 제1 판별 계수(od1)를 산출하는 것을 특징으로 하는 새로운 음 연주 판별 방법.

   (수학식)

   od1 = (r1_c*r2_c+1)/(r1_p*r2_p+1)

   이 때, r1_c= 현재 프레임의 연주 소리의 크기 변화율,

   r2_c= 현재 프레임의 연주 소리의 퍼짐도 변화율,

   r1_p= 이전 프레임의 연주 소리의 크기 변화율,

   r2_p= 이전 프레임의 연주 소리의 퍼짐도 변화율
8. 제3항에 있어서, 제3-4 과정은

   상기 제1 판별 계수(od1)의 제곱 및 현재 연주 소리의 크기(s_c)의 제곱을 곱한 값을 10⁵으로 나눈 값에 현재 연주 소리의 퍼짐도(ls_c)를 곱한 값을 산출하는 하기의 수학식에 의해 제2 판별 계수(od2)를 산출하는 것을 특징으로 하는 새로운 음연주 판별 방법.

   (수학식)

   od2 = ((od1²* s_c ²) / 10⁵) * ls_c

   이 때, od1 = 제1 판별 계수, s_c= 현재 연주 소리의 크기 정보,

   ls_c= 현재 연주 소리의 퍼짐도
9. 외부에서 연주되는 음악을 디지털 음향으로 신호로 변환하여 입력하는 입력부와,

   상기 입력된 디지털 음향을 주파수 성분으로 분해하는 주파수 변환부와,

   상기 주파수 성분 값들에 의거하여, 연주 소리의 크기 변화 및 주파수 상에 퍼진 연주 소리의 퍼짐도를 분석하여 새로운 음이 연주되었는지를 판별하는 새로운 음 판별부와,

   상기 새로운 음 판별부의 판별 결과를 출력하는 출력부를 포함하는 것을 특징으로 하는 새로운 음 연주 판별 장치.
10. 제9항에 있어서, 상기 주파수 변환부는

    기 설정된 일정 시간 단위로 상기 디지털 음향을 고속 푸리에 변환(FFT)하는 것을 특징으로 하는 새로운 음 연주 판별 장치.
11. 삭제