KR101509649B1 - 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법 및 장치 - Google Patents

Abstract

본 발명은 보컬을 포함하여 여러 악기 음원이 혼합된 음악 신호에서, 패닝 기법을 통해 방향성을 가지고 있는 음원 위치의 검출 방법 및 장치에 관한 것으로, 본 발명에 따른 가중 평균을 이용한 음원 위치 검출 방법은 입력된 스테레오 신호를 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 상기 스테레오 신호의 주성분에 대한 고유벡터를 추출하는 단계; 상기 추출된 고유벡터를 이용하여 상기 스테레오 신호의 대역별 음원 위치를 추출하는 단계; 및 상기 스테레오 신호의 대역별 에너지를 이용하여 상기 추출된 음원 위치의 정확도에 따른 가중 평균을 산출하는 단계를 포함한다. 본 발명에 따르면 음원 객체의 위치 추정 정확도를 향상할 수 있기 때문에 다음원 음악 신호에서 음원 객체별 위치를 보다 정확하게 구현하여 주며, 종래 기술에 사용하는 균일 평균 방식을 사용하지 않고 추정 SNR과 밴드별 에너지를 이용하여 효과적으로 음원 객체 위치 추정 정확도를 향상할 수 있다. 또한, 다양한 종류의 음악에 대하여 음원 객체의 위치를 추정함에 따라 음원 객체별 재 배치가 가능하다.

Description

대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법 및 장치{Method and apparatus for detecting sound object based on estimation accuracy in frequency band}

본 발명은 보컬을 포함하여 여러 악기 음원이 혼합된 음악 신호에서, 패닝 기법을 통해 방향성을 가지고 있는 음원 위치의 검출 방법 및 장치에 관한 것이다.

일반적으로 스테레오 음원에서 위치 추정은 방향성을 가지고 있는 주성분(primary)의 음원 위치를 추정한다. 하지만 음원에 주성분과 방향성이 없는 주변 성분이 더해지면 주성분의 음원 위치가 흔들린다.

따라서, 주성분으로 이루어진 원본 신호에 주변 성분이 더해지면 주성분의 음원 위치를 정확하게 추정할 수 없으므로 PCA를 이용하여 주성분을 분리하고 주성분의 음원 위치를 추정한다. 밴드별로 음원 위치가 추정되면 추정된 음원 위치를 하나의 프레임 위치로 변환하여, 실제 음원 위치를 검출하게 된다.

이때 밴드별로 추정된 음원 위치의 정확도는 서로 다르므로 균일 평균을 이용하여 프레임 위치를 추정하는 경우 정확도가 감소하는 문제점이 있다. 즉, 주변 성분은 낮은 주파수에 더 많은 에너지를 가지고 있어, 낮은 밴드의 추정 음원 위치의 정확도를 감소시킨다. 주성분과 주변 성분 모두 높은 주파수로 갈수록 에너지가 감소하기 때문이다. 에너지가 낮은 구간에서 추정된 음원 위치는 정확도가 떨어지게 되고 따라서, 정확도를 고려하지 않고 균일 평균을 이용하여 프레임 위치를 추정하는 경우 검출된 음원 위치의 정확도가 떨어지게 된다.

즉, 종래 기술은 여러 음원을 포함하는 음악 신호에서 정확한 음원 객체의 위치의 정확도를 효율적으로 추정하지 못한다.

본 발명의 목적은 효율적이고 정확하게 음원 객체 위치 추정의 정확도의 향상 장치 및 방법을 제공함에 있다.

보다 상세하게는 본 발명의 다른 목적은 음원 위치의 추정에 있어 추정된 음원 위치 중 정확도가 높은 구간을 판단하여 정확도가 높은 구간은 PCA를 이용한 추정 SNR과 밴드별 에너지를 이용하여 구할 수 있으며, 정확도에 따른 가중 평균(weighted average)을 통하여 좀 더 정밀하게 음원의 위치를 추정하는 것을 목적으로 한다.

상기 기술적 과제를 해결하기 위한 본 실시예에 따른 가중 평균을 이용한 음원 위치 검출 방법은 입력된 스테레오 신호를 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 상기 스테레오 신호의 주성분에 대한 고유벡터를 추출하는 단계; 상기 추출된 고유벡터를 이용하여 상기 스테레오 신호의 대역별 음원 위치를 추출하는 단계; 및 상기 스테레오 신호의 대역별 에너지를 이용하여 상기 추출된 음원 위치의 정확도에 따른 가중 평균을 산출하는 단계를 포함한다.

상기 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법은, 상기 산출된 가중 평균을 이용하여 상기 스테레오 신호의 프레임 음원 위치를 검출하는 단계를 더 포함하는 것이 바람직하다.

상기 가중 평균을 산출하는 단계는 상기 대역별 에너지에 따라 가중 평균의 산출 여부를 결정하는 단계; 및 상기 가중 평균의 산출이 결정된 대역에 대하여 SNR을 이용한 가중 평균을 산출하는 단계를 포함한다.

상기 SNR을 이용한 가중 평균을 산출하는 단계는 추정 원본 신호와 상기 PCA 기법으로 분리된 주변성분 신호를 이용하여 추정 SNR을 산출하고, 상기 산출된 추정 SNR을 이용하여 상기 프레임 음원 위치의 검출을 위한 가중 평균을 산출하는 것이 바람직하다.

상기 기술적 과제를 해결하기 위한 본 실시예에 따른 가중 평균을 이용한 음원 위치 검출 장치는 입력된 스테레오 신호를 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 상기 스테레오 신호의 주성분에 대한 고유벡터를 추출하는 벡터 추출부; 상기 추출된 고유벡터를 이용하여 상기 스테레오 신호의 대역별 음원 위치를 추출하는 대역별 음원 위치 추출부; 상기 스테레오 신호의 대역별 에너지를 이용하여 상기 추출된 음원 위치의 정확도에 따른 가중 평균을 산출하는 가중 평균 산출부; 및 상기 산출된 가중 평균을 이용하여 상기 스테레오 신호의 프레임 음원 위치를 검출하는 프레임 음원 위치 검출부를 포함한다.

본 발명에 따르면 음원 객체의 위치 추정 정확도를 향상할 수 있기 때문에 다음원 음악 신호에서 음원 객체별 위치를 보다 정확하게 구현하여 주며, 종래 기술에 사용하는 균일 평균 방식을 사용하지 않고 추정 SNR과 밴드별 에너지를 이용하여 효과적으로 음원 객체 위치 추정 정확도를 향상할 수 있다.

또한, 다양한 종류의 음악에 대하여 음원 객체의 위치를 추정함에 따라 음원 객체별 재 배치가 가능하다.

도 1은 본 발명의 일 실시예에 따른 가중 평균을 이용한 음원 위치 검출 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 가중 평균을 이용한 음원 위치 검출 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 가중 평균을 이용한 음원 위치 검출 방법의 SNR에 따른 추정 음원 위치 오차를 나타내는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 가중 평균을 이용한 음원 위치 검출 방법의 SNR에 따른 가중치를 나타내는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 가중 평균을 이용한 음원 위치 검출 방법의 에너지에 따른 추정 음원 위치 오차를 나타내는 예시도이다.

이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.

또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법 및 장치에 대하여 설명한다.

먼저 도 1을 참조하면, 도 1은 본 발명의 일실시예에 따른 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 장치를 나타내는 블록도이다.

본 실시예에 따른 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 장치는 벡터 추출부(100), 대역별 음원 추출부(200), 가중 평균 산출부(300), 음원 위치 검출부를 포함한다.

본 실시예에서 벡터 추출부(100)는 입력된 스테레오 신호를 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 스테레오 신호의 주성분에 대한 고유벡터를 추출한다.

고유벡터가 추축되면 대역별 음원 추출부(200)는 추출된 고유벡터를 이용하여 스테레오 신호의 대역별 음원 위치를 추출한다.

다음, 가중 평균 산출부(300)는 스테레오 신호의 대역별 에너지를 이용하여 추출된 음원 위치의 정확도에 따른 가중 평균을 산출한다.

음원 위치 검출부는 산출된 가중 평균을 이용하여 스테레오 신호의 프레임 음원 위치를 검출하게 된다.

또한, 가중 평균 산출부(300)는 대역별 에너지에 따라 가중 평균의 산출 여부를 결정하는 에너지 가중 평균 산출부(300)와, 가중 평균의 산출이 결정된 대역에 대하여 SNR을 이용한 가중 평균을 산출하는 SNR 가중 평균 산출부(300)를 더 포함하고, 본 실시예에서 SNR 가중 평균 산출부(300)는 추정 원본 신호와 PCA 기법으로 분리된 주변성분 신호를 이용하여 추정 SNR을 산출하고, 산출된 추정 SNR을 이용하여 프레임 음원 위치의 검출을 위한 가중 평균을 산출한다.

다음 음원 위치 검출부가 산출된 가중 평균을 이용하여 스테레오 신호의 프레임 음원 위치를 검출하게 된다.

이하 도 2를 참조하여 본 발명에 따른 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 장치의 동작에 대하여 보다 상세히 설명한다.

도 2는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법을 나타내는 흐름도이다.

도 2를 참조하면, 본 실시예에 따른 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법은 벡터 추출 단계(S100), 대역별 음원 추출 단계(S200), 가중 평균 산출 단계(S300), 음원 위치 검출 단계(S400)를 포함한다.

상술한 바와 같이 벡터 추출 단계(S100)는 백터 추출부가 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 스테레오 신호의 주성분에 대한 고유벡터를 추출한다.

구체적으로, 고유벡터의 추출을 위하여 먼저 먼저 입력된 스테레오 신호의 프레임별 N-point DFT(Discrete Fourier Transform)를 수행한 후 주파수 영역에서의 공분산을 구한다. 구해진 공분산을 이용하여 PCA 기법으로 주성분과 주변 성분을 분리한 후 좌, 우 신호의 고유벡터를 추정한다.

다음 대역별 음원 추출 단계(S200)는 대역별 음원 추출부(200)가, 추정한 고유벡터를 이용해 패닝 게인을 대역 별로 추정하고 패닝 게인을 음원 위치로 변환하여 스테레오 신호의 대역별 음원 위치를 추출한다.

이때 대역별로 추정된 음원 위치의 정확도는 상술한 바와 같이 서로 다르므로 균일 평균(uniform average)으로 음원 위치를 결정하면 정확한 위치를 찾을 수 없으므로, 추정된 음원 위치 중 정확도가 높은 구간을 판단하고, 이에 따라 가중치를 얻고 프레임에 대한 가중 평균을 산출하여야 한다.

따라서, 가중 평균 산출 단계(S300)는 가중 평균 산출부(300)가 스테레오 신호의 대역별 에너지를 이용하여 추출된 음원 위치의 정확도에 따른 가중 평균을 산출한다. 이하 본 실시예에 따른 가중 평균의 산출방법에 대하여 상세히 설명한다.

먼저 본 실시예에서 가중 평균 산출 단계(S300)는 대역별 에너지를 추출할 수 있다. 즉, 대역별 에너지에 따라 가중 평균의 산출 여부를 결정하고 가중 평균의 산출이 결정된 대역에 대하여 SNR을 이용한 가중 평균을 산출한다.

대역별 에너지가 너무 적은 구간에 대해서는 오차가 커지고 정확도가 떨어지는 문제가 발생하는 바, 임의의 에너지 이하의 구간에 대하여 추출된 음원 위치는 가중 평균을 통한 프레임 위치 검출시 제외하거나, 매우 작은 가중치를 설정하여 영향을 최소화 할 수 있다.

다음, 대역별 에너지가 가중 평균의 산출에 적합한 수준 이상인 경우 본 실시예에서 가중 평균 산출 단계(S300)는 PCA를 이용한 추정 SNR 가중 평균을 산출 한다.

추정 SNR은 PCA로 분리한 주변 성분 신호와 입력신호를 이용하여 추정한다. 추정 SNR이 높을수록 추정치의 정확도가 높아지며 에너지가 클수록 추정치의 정확도가 높아진다. 학습을 통해 미리 얻은 SNR-weight 곡선을 이용하여 가중 평균의 가중치를 산출한다.

즉, 낮은 밴드에서는 주변 성분이 많이 더해져 있어 SNR을 이용하여 가중치를 추정할 수 있다. SNR은 입력 신호와 PCA로 분리한 주변 신호를 이용하여 추정하고 밴드별 SNR을 구하기 위해 주파수 도메인에서 동작한다.

[수학식 1]

수학식 1을 참조하면 본 실시예에서 SNR은 dB스케일로 추출될 수 있다. 수학식 1에서 P_original은 원본 신호에 대한 파워, P_noise는 노이즈 신호에 대한 파워를 의미한다.

즉, SNR은 원본 신호와 잡음에 대한 파워의 비로 나타낸다. 주성분으로 이루어진 신호를 원본 신호, 주변 성분을 노이즈라 가정한다. 다만, 음원 위치 추정 기술에서 원본 신호에 대한 정보를 알 수 없으므로 추정 SNR을 사용한다. 이때 원본 신호의 추정은 입력 신호의 주성분과 주변 성분을 PCA를 이용하여 분리하고 수학식 2를 통해 추정한다.

[수학식 2]

위 식에서 X_input은 입력신호이고 X_primary와 X_ambient는 주성분과 주변 성분이다. 그리고 X^_original은 입력신호와 주변성분을 이용해 추정한 원본신호이고 X^_ambient는 PCA를 이용하여 분리한 주변성분이다. 입력 신호 X_input에 주성분과 주변성분이 있으므로 입력 신호에서 추출한 X^_ambient을 입력신호와 빼면 추정 원본신호를 구할 수 있다. 추정 원본 신호와 입력신호에서 분리한 주변 성분을 이용해 추정 SNR을 구한다.

즉, 도 3을 참조하면 도 3은 SNR에 따른 추정 음원 위치 오차를 나타내는 예시도로서, 오차가 0에 가까울수록 정확도가 높은 음원 위치를 추정한 것이다. 도 3에서 SNR이 감소하면 오차는 커지고 SNR이 상승하면 오차는 감소한다. 따라서 SNR값에 대응하는 가중치는 도 4에 따른 그래프를 이용하여 추정할 수 있다.

도 4는 SNR에 따른 가중치를 나타내는 예시도로서, 도 3을 training 데이터로 사용하여 추정하여 산출된 결과이다. 즉, 도 4에 나타난 그래프를 이용하여 추정 SNR에 따른 가중치를 구할 수 있고 가중치를 구하기 위한 식은 다음과 같다.

[수학식 3]

위 식에서 weight는 가중치, SNR_estimate은 추정 SNR이다. 위 식에 추정 SNR을 대입하여 SNR에 따른 가중치를 얻고 프레임에 대한 가중 평균을 얻을 수 있다.

이하, 또 다른 가중치 판별 방법으로서 높은 대역에 대한 가중 평균 산출 방법에 대하여 설명한다.

즉, 높은 밴드에서의 정확도 감소는 밴드별 에너지 감소 때문에 발생한다. 에너지가 작은 구간에서는 방향성을 찾기 어렵기 때문이다. 따라서 에너지가 작은 구간에서는 음원 위치 추정을 할 수 없다.

본 실시예에서는 SNR 가중 평균 산출과 병행하여 에너지 가중 평균 산출을 수행할 수 있다. 이때 SNR 가중 평균과 다르게 양자택일로 진행된다. 즉, 특정 밴드의 에너지가 일정 값 이하로 떨어지면 그 밴드의 위치 추정값은 프레임 평균을 추출하는 데 사용하지 않는다.

도 5를 참조하면, 도 5는 에너지에 따른 추정 음원 위치 오차를 나타내는 예시도로서, 오차 값은 각도이고 0에서 가장 작은 오차를 나타낸다. (a)는 에너지 전대역에 대한 그래프를 그린 것이고 (b)는 (a) 그래프에서 에너지 0 ∼ 0.1 사이의 부분을 확대하여 그린 것이다. 에너지와 작을 때 정확도가 함께 떨어지고 특히 밴드 에너지 값이 0.02 이하부터 오차 값이 커지기 시작한다. 따라서 본 실시예에서는 가중 평균시 에너지 0.02 이하의 밴드는 제외하고 가중 평균을 추정한다.

즉, 본 실시예에서 가중 평균 산출 단계(S300)는 가중 평균 산출부(300)가 스테레오 신호의 대역별 에너지를 이용하여 상기 추출된 음원 위치의 정확도에 따른 가중 평균을 산출함에 있어, 먼저 대역별 에너지를 추출하고 가중 평균의 산출 여부를 결정한 다음, 임의의 기준에 따라 낮은 밴드에 대해서는 SNR 가중 평균 산출을 수행할 수 있으며 또한 높은 밴드에 대해서는 양자 택일 적인 에너지 가중 평균 산출을 수행할 수 있다.

이상의 실시예에 따라 가중 평균이 산출되면 음원 위치 검출 단계는 음원 위치 검출부가 산출된 가중 평균을 이용하여 상기 스테레오 신호의 프레임 음원 위치를 검출하게 된다.

본 발명에 따르면 음원 객체의 위치 추정 정확도를 향상할 수 있기 때문에 다음원 음악 신호에서 음원 객체별 위치를 보다 정확하게 구현하여 주며, 종래 기술에 사용하는 균일 평균 방식을 사용하지 않고 추정 SNR과 밴드별 에너지를 이용하여 효과적으로 음원 객체 위치 추정 정확도를 향상할 수 있다.

또한, 다양한 종류의 음악에 대하여 음원 객체의 위치를 추정함에 따라 음원 객체별 재 배치가 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.

따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (7)

1. 입력된 스테레오 신호를 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 상기 스테레오 신호의 주성분에 대한 고유벡터를 추출하는 단계;
   상기 추출된 고유벡터를 이용하여 상기 스테레오 신호의 대역별 음원 위치를 추출하는 단계;
   상기 스테레오 신호의 대역별 에너지에 따라 가중 평균의 산출 여부를 결정하는 단계; 및
   상기 가중 평균의 산출이 결정된 대역에 대하여 SNR을 이용한 가중 평균을 산출하는 단계를 포함하는 것을 특징으로 하는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법
2. 제 1 항에 있어서,
   상기 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법은,
   상기 산출된 가중 평균을 이용하여 상기 스테레오 신호의 프레임 음원 위치를 검출하는 단계를 더 포함하는 것을 특징으로 하는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법
3. 삭제
4. 제 2 항에 있어서,
   상기 SNR을 이용한 가중 평균을 산출하는 단계는 추정 원본 신호와 상기 PCA 기법으로 분리된 주변성분 신호를 이용하여 추정 SNR을 산출하고,
   상기 산출된 추정 SNR을 이용하여 상기 프레임 음원 위치의 검출을 위한 가중 평균을 산출하는 것을 특징으로 하는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법
5. 입력된 스테레오 신호를 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 상기 스테레오 신호의 주성분에 대한 고유벡터를 추출하는 벡터 추출부;
   상기 추출된 고유벡터를 이용하여 상기 스테레오 신호의 대역별 음원 위치를 추출하는 대역별 음원 위치 추출부;
   상기 스테레오 신호의 대역별 에너지를 이용하여 상기 추출된 음원 위치의 정확도에 따른 가중 평균을 산출하는 가중 평균 산출부; 및
   상기 산출된 가중 평균을 이용하여 상기 스테레오 신호의 프레임 음원 위치를 검출하는 프레임 음원 위치 검출부를 포함하고,
   상기 가중 평균 산출부는 상기 대역별 에너지에 따라 가중 평균의 산출 여부를 결정하는 에너지 가중 평균 산출부; 및
   상기 가중 평균의 산출이 결정된 대역에 대하여 SNR을 이용한 가중 평균을 산출하는 SNR 가중 평균 산출부를 포함하는 것을 특징으로 하는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 장치
6. 삭제
7. 제 5 항에 있어서,
   상기 SNR 가중 평균 산출부는 추정 원본 신호와 상기 PCA 기법으로 분리된 주변성분 신호를 이용하여 추정 SNR을 산출하고,
   상기 산출된 추정 SNR을 이용하여 상기 프레임 음원 위치의 검출을 위한 가중 평균을 산출하는 것을 특징으로 하는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 장치

Images