KR100933604B1 - 유동적 주파수 밴드를 이용한 단채널 음질 향상 기술 - Google Patents

Abstract

본 발명에 따른 유동적 주파수 밴드를 이용한 단채널 음질 향상 기술은 입력 신호의 주파수 특성에 따라 유동적으로 변화하는 주파수 밴드를 이용하는 음질 향상 기법에 관한 것이다.

이를 위해, 본 발명은 음질 향상 방법에 있어서, 이전 프레임의 추정된 잡음을 이용하여 잡음의 주파수 특성을 파악하고, 그 결과에 따라 잡음의 주파수 밴드를 각각 나누어 연산한 후 그 결과를 본래의 선형 밴드로 환원하는 단계를 거쳐 다양한 잡음 환경 하에서의 음질 향상 방법을 제공할 수 있다.

음질 향상 기법, 주파수 밴드, 잡음의 주파수 특성

Description

유동적 주파수 밴드를 이용한 단채널 음질 향상 기술 {METHOD FOR SINGLE CHANNEL SPEECH ENHANCEMENT ALGORITHM USING ADAPTIVE FREQUENCY BAND}

본 발명은 음질 향상 기술에 관한 것으로서, 보다 상세하게는 유동적 주파수 밴드를 이용한 단채널 음질 향상 기술에 관한 것이다.

음성 인식과 부호화 등에서 잡음이 인가되는 경우, 그 성능이 급격히 저하되므로, 이러한 문제점을 해결하는 주요 수단인 음질 향상 기법에 관한 관심이 크게 증가하고 있는데 기존의 단채널 음질 향상 방법 등은 음성이 존재하지 않는 구간에서 측정된 신호의 평균을 해당 주파수 빈의 잡음 신호로 가정하거나 혹은 해당 주파수 빈의 일정 구간 내에서의 최소값을 잡음 신호로 가정하여 이로부터 잡음 신호의 주파수 값을 추정하고, 그런 다음 입력 음성 신호로부터 잡음 신호의 주파수 에너지 값을 차감함으로써 음질의 출력신호를 얻는다. 이 경우 음질 향상 기술들은 대부분 모든 주파수를 선형 빈(bin)으로 분리한 후, 각 빈에 동일한 연산을 반복하는데, 여기서 선형 분리 방법은 인간의 청각적 인지 능력을 고려할 때 연산량 측면에서 비효율적이라는 판단 하에 bark 밴드로 나누어 처리하는 방법이 제안되었다.

그러나 이러한 청각 영향뿐만 아니라, 실생활에 존재하는 잡음 역시 중요하 게 취급해야 하고, 이러한 잡음들은 주파수 도메인 상에서 상이한 특징을 갖기 때문에 각 잡음의 특성을 고려하여 주파수 밴드를 설정하는 것이 요구된다.

본 발명은 상기와 같은 점을 감안하여 안출한 것으로서, 잡음의 주파수 특성에 따라 연산 주파수 밴드를 유동적으로 결정함으로써 기존의 방식에 비해 변화가 심한 잡음에 대해서 성능이 우수하며 상대적으로 복잡도가 낮은 음질 향상 방법을 제공하고자 한다.

상기 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명 일실시예에 따른 단채널 음질 향상 방법은 이전 프레임의 추정된 잡음과 현재 프레임의 선형 밴드 형태의 입력 신호를 이용하여 잡음의 주파수 특성을 예측하는 단계, 상기 예측된 잡음의 주파수 특성에 의하여 연산 주파수 밴드를 결정하는 단계, 상기 결정된 연산 주파수 밴드에 의해 상기 입력 신호를 특정 주파수 대역으로 묶는 단계, 상기 특정 주파수 대역으로 묶여진 신호에 대한 음질을 조정 하는 단계, 상기 음질이 조정된 특정 주파수 대역으로 묶여진 신호를 상기 결정된 연산 주파수 밴드를 이용하여 본래의 선형 밴드로 환원하는 단계를 포함한다.

본 발명에 따르면, 다수의 주파수 빈을 묶어 연산함으로써 계산량이 적고, 잡음 환경의 특성을 반영하여 추정함으로써 변화가 심한 잡음에 대해 강인한 성능을 얻을 수 있다.

또한 기존의 다양한 잡음 추정 기술과 상호 연동이 가능케 한다.

이하에서는, 첨부된 도면들 및 상기 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시 예들을 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1 은 본 발명의 일실시예에 따른 단채널 음질 향상 시스템을 도시한 블록도이다.

이하, 도 1 을 참조하여, 본 발명의 일실시예에 따른 유동적 주파수 밴드를 이용한 단채널 음질 향상 기술을 설명한다.

본 발명에 따른 유동적 주파수 밴드를 이용한 단채널 음질 향상 장치는 잡음 추정부(noise power spectrum estimation) (103), 이득 추정부(gain estimation) (104), 연역적 SNR 추정부(a priori SNR estimation) (105), 음성 부재 확률 추정부(speech absence probability estimation) (106)에 본 발명에 따른 잡음 특성 판 정부(101), 밴드 결정부(102), 밴드 환원부(107) 등을 포함하여 구성되며 그 실시예는 다음과 같다.

잡음 특성 판정부(101)는 잡음의 주파수 특성을 파악하는 단계이며, 고속 퓨리에 변환(FFT)에 의한 분할된 신호에 대해 이전 프레임에서 추정된 잡음의 스팩트럼을 이용하여 현재 잡음의 특성을 예측한다. 이때 잡음의 주파수 특성 파악을 위해 다음과 같이 현재 프레임의 잡음 파워 스팩트럼의 분산

과 기울기 정보

를 사용할 수 있다.

　　　　　　　

과

는 각각 이전 프레임에서 추정된 잡음 스팩트럼과 그 평균값이며,

는 평활화 상수이다.

는 주파수 인덱스,

은 프레임 인덱스를 의미한다. 즉,

는 이전 프레임에서 추정된 잡음 파워 스팩트 럼의 정규화된 분산값의 순환평균이며,

은 이전 프레임에서 추정된 잡음 파워 스팩트럼의 저주파 대역과 고주파 대역에서의 비율에 의해 결정된다.

즉, 상기 잡음의 주파수 특성 판단(예측)은 이전프레임에서 추정된 잡음의 주파수의 정규화된 분산의 순환평균 값과 이전프레임에서 추정된 잡음 의 주파수의 저주파 대역과 고주파 대역에서의 비율을 이용하여 현재 프레임에서의 잡음의 주파수 특성을 파악함으로써 이루어 진다.

밴드 결정부(102)는 주파수 밴드 결정 단계로서 상기 잡음 특성 판정부(101)를 통과하여 예측된(분석된) 잡음의 주파수 정보를 기반으로 상기 예측된 주파수 특성에 따라 연산 주파수 밴드를 결정하고, 상기 결정된 연산 주파수 밴드에 의해 상기 입력 신호를 특정 주파수 대역으로 묶는다.

여기서 상기 연산 주파수 밴드의 결정은 상기 예측된 잡음의 주파수 특성에 의해 bark 밴드, uniform 밴드, 그리고 modified bark 밴드로 구분하게 된다.

상기 연산 주파수 밴드는 상기 잡음 특성 판단부(101)에서 예측된 잡음의 특성이 주파수 전 대역에서 평탄한 백색 잡음에 가까울 경우에 대해서는 bark 밴드로, 상대적으로 저주파 대역에 에너지 분포가 많은 잡음의 경우에는 uniform 밴드로 결정되며, 나머지 경우에 대해서는 modified bark 밴드의 형태로 결정된다.

modified bark 밴드는 특정 주파수에 에너지가 집중된 특성을 가진 잡음으로 인한 음질의 왜곡을 최소화 하기 위해 에너지가 집중된 해당 주파수 주변을 하나의 밴드로 묶어주는 역할을 한다. 이를 위해 전체 주파수 빈(bin)을 다수의 sub밴드로 나누고 상기 에너지가 집중된 해당 주파수 주변의 각 sub밴드의 평균 에너지 값들 중 최대치를 갖는 두 개의 주파수 빈을 중심으로 주변 주파수를 묶어 새로운 밴드를 설정하게 된다.

여기서 백색잡음 (white noise)이란 넓은 주파수 범위에서 거의 일정한 주파수 스펙트럼을 가지는 신호다. 연속 스펙트라(spectra)를 갖는 잡음으로 단위주파수대역에 포함되는 성분의 강도가 주파수에 관계없이 일정한 소리를 말한다. 즉 특정한 청각패턴을 갖지 않고 단지 전체적인 소음레벨로서 받아들이는 소음이다.

잡음 추정부(103)는 음질 향상 기술의 전체 성능을 결정하는 부분으로 잡음이 음성에 비해 상대적으로 느리게 변화한다는 가정에 근거하여, 일반적으로 음성이 존재하지 않는 구간에서 측정된 신호의 평균 파워를 잡음의 파워 스펙트럼으로 추정하여 사용한다. 또한, 잡음은 항상 존재한다는 가정하에 일정구간의 각 주파수 값 중 최소값을 추정하여 이를 잡음의 파워 스펙트럼으로 사용하기도 한다.

이득 추정부(104)는 입력 신호의 감쇄 정도를 결정하는 이득 추정 부분으로 추정한 신호대 잡음비(SNR)를 이용한 비선형 필터로써 낮은 SNR 성분에 대해 상대적으로 작은 이득을 주어 잡음을 제거하고 음질을 조정하는 기법으로서 Wiener, Spectral subtraction, MMSE 등 다양한 방법이 제안되었다. 상기의 음질 조정에 의해 음질의 향상, 개선이 이루어지게 된다.

여기서 신호대 잡음비(SNR)란 아날로그와 디지털 통신에서, 신호 대 잡음의 상대적인 크기를 재는 것으로서, 대개 데시벨이라는 단위가 사용된다.

연역적 SNR 추정부(105)는 상기 이득 추정부(103)를 보완하는 비선형 함수로 써 합성된 음성의 왜곡을 줄이는 역할을 한다.

음성 부재 확률 추정부(106)는 상기 이득 추정부(103)를 통해 왜곡이 줄어든 신호에 대하여 음성 존재의 불확실성을 고려하여 이득 값을 수정함으로써 변화가 심한 잡음 환경에서의 성능을 보완하는 부분이다.

밴드 환원부(107)는 상기 밴드 결정부(102)에서 결정된 주파수 밴드를 이용하여 음질이 조정된 특정 주파수 대역으로 묶여진 신호를 본래의 선형 밴드로 풀어주는 과정을 수행한다.

상기의 각 과정을 거친 신호는 다시 역고속 퓨리에 변환(IFFT)을 통해 원 신호에 비해 향상된 음질으로 제공되게 된다.

도 2 는 본 발명의 일실시예에 따른 주파수 밴드 결정 과정의 흐름도이다.

이하, 도 2 를 참조하여, 본 발명의 일실시예에 따른 주파수 밴드 결정 과정을 설명한다.

와

는 각각 잡음 분산

과 기울기

의 경계값이다.

상기 도 1 의 밴드 결정부(102)에서 나눠 지는 연산 주파수 밴드 결정은 상기 잡음 특성 판정부(101)에서 예측된 잡음의 특성이 잡음 분산의 경계값보다 적어(201) 주파수 전 대역에서 평탄한 백색 잡음에 가까울 경우에 대해서는 Typical bark 밴드(203)로, 예측된 잡음 특성이 잡음 분산의 경계값보다 같거나 크나, 기울기는 경계값보다 작거나 같은(202) 상대적으로 저주파 대역의 에너지 분포가 많은 잡음의 경우에는 Uniform 밴드(205)로 결정된다.

Modified bark band(204)는 위 2 가지 주파수 밴드에 해당되는 경우 이외의 예측된 잡음 특성이 잡음 분산의 경계값보다 같거나 크나, 기울기는 경계값보다 큰 특정 주파수에 에너지가 집중된 특성을 가진 잡음에 대해 결정된 주파수 밴드이다.

상기 연산 주파수 밴드는 도 2 에 표시된 형태에 국한되지 않으며 다양한 형태로 결정 가능하다. 예측된 잡음의 주파수 특성에 따라 주파수 워핑(warping) 밴드를 이용하거나 주파수 밴드의 분해능(resolution)을 변화시키는 방법을 이용하여 보다 일반화된 형태로 연산 주파수 밴드를 설정하는 것이 가능하다

도 3 은 본 발명의 일실시예에 따라 설정된 주파수 밴드의 형태이다.

이하, 도 3 을 참조하여, 본 발명의 일실시예에 따른 주파수 밴드의 형태를 설명한다.

본 발명에 따른 주파수 밴드의 형태는 Typical bark band(303), Modified bark band(304), Uniform band(305)로 구성되며 이는 도 2 에서 각각 결정된 연산 주파수 밴드의 형태이다.

Modified bark band(304)는 특정 주파수에 에너지가 집중된 경우 음질의 왜곡을 최소화하기 위해 에너지가 집중된 해당 주파수 주변을 하나의 밴드로 묶어주는 역할을 한다. 이를 위해 전체 주파수 빈(bin)을 다수의 sub 밴드로 나누고 각 sub 밴드의 평균 에너지 값들 중 최대치를 갖는 두 개의 주파수 빈을 중심으로 주변 주파수를 묶어 새로운 밴드를 설정한다. 이렇게 설정된 두 개의 밴드에 의해 변형된 Modified bark band가 구성된다.

도 4 는 본 발명의 일실시예에 따른 유동적 주파수 밴드를 이용한 단채널 음질 향상 기술을 도시한 흐름도이다.

처음 입력된 신호에 대한 고속 퓨리에 변환(FFT) 후의 신호에 대한 이전 프레임의 추정된 잡음과 선형 밴드 형태의 입력 신호를 이용하여 잡음의 주파수 특성을 예측(파악)하고(S401), 상기 예측된 잡음의 주파수 특성에 의하여 Typical bark band(303), Modified bark band(304), Uniform band(305) 중의 하나로 연산 주파수 밴드를 결정한 뒤, 상기 결정된 연산 주파수 밴드에 의해 상기 입력 신호를 특정 주파수 대역으로 묶는다(S402).

상기 특정 주파수 대역으로 묶여진 신호에 대한 음질을 조정하는 과정을 거친 결과에 대해 상기 결정된 연산 주파수 밴드를 이용하여 본래의 선형 밴드로 환원한 후(S403), 이를 역고속 퓨리에 변환(IFFT)에 의해 원 신호 형태로 재생하게 된다.

상기 특정 주파수 대역으로 묶여진 신호에 대한 음질을 조정 하는 과정은 상기 특정 주파수 대역으로 묶여진 신호에 대하여 음성이 존재하지 않는 구간에서 측정된 신호의 평균을 해당 주파수 빈의 잡음 신호로 추정하거나 혹은 해당 주파수 빈의 일정 구간내에서의 최소값을 잡음 신호로 추정하여 음성의 왜곡을 줄이고, 상기 추정한 신호대 잡음비를 이용하여 잡음을 제거하여 이루어 진다.

즉, 상기 이득 추정부(104)와 상기 음성 부재 확률 추정부(106)에서 특정 주파수 대역으로 묶여진 신호에 대하여 상기 잡음 추정부(103)과 상기 연역적 SNR 추정부(105)를 통해 얻어진 상기 추정한 신호대 잡음비(SNR)를 이용하여 잡음을 제거 함으로써 이루어 진다.

본 발명에 따른 유동적 주파수 밴드를 이용한 단채널 음질 향상 기술은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명이 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되 며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 1 은 본 발명의 일실시예에 따른 유동적 주파수 밴드를 이용한 단채널 음질 향상 기술을 도시한 블록도이다.

도 2 는 본 발명의 일실시예에 따른 주파수 밴드 결정 과정의 흐름도이다.

도 3 은 본 발명의 일실시예에 따라 설정된 주파수 밴드의 형태이다.

도 4 는 본 발명의 일실시예에 따른 유동적 주파수 밴드를 이용한 단채널 음질 향상 기술을 도시한 흐름도이다.

<도면의 주요 부분에 대한 부호의 설명>

101 : 잡음 특성 판정부;　　　　　　　　　　　　　　　

102 : 밴드 결정부;

107 : 밴드 환원부;

Claims (7)

1. 이전 프레임의 추정된 잡음과 선형 밴드 형태의 입력 신호를 이용하여 잡음의 주파수 특성을 예측하는 단계;

   상기 예측된 잡음의 주파수 특성에 의하여 연산 주파수 밴드를 결정하는 단계;

   상기 결정된 연산 주파수 밴드에 의해 상기 입력 신호를 특정 주파수 대역으로 묶는 단계;

   상기 특정 주파수 대역으로 묶여진 신호에 대한 음질을 조정 하는 단계;

   상기 음질이 조정된 특정 주파수 대역으로 묶여진 신호를 상기 결정된 연산 주파수 밴드를 이용하여 본래의 선형 밴드로 환원하는 단계

   를 포함하여 이루어지는 것을 특징으로 하는 유동적 주파수 밴드를 이용한 단채널 음질 향상 방법.
2. 제 1 항에 있어서,

   상기 특정 주파수 대역으로 묶여진 신호에 대한 음질을 조정 하는 단계는,

   상기 특정 주파수 대역으로 묶여진 신호에 대하여 음성이 존재하지 않는 구간에서 측정된 신호의 평균을 해당 주파수 빈의 잡음 신호로 추정하거나 혹은 해당 주파수 빈의 일정 구간 내에서의 최소값을 잡음 신호로 추정하여 음성의 왜곡을 줄이는 단계;

   상기 추정한 잡음 신호를 이용하여 잡음을 제거하여 음질을 조정하는 단계

   를 포함하여 이루어지는 것을 특징으로 하는 유동적 주파수 밴드를 이용한 단채널 음질 향상 방법.
3. 제 1 항에 있어서,

   상기 잡음의 주파수 특성을 예측하는 단계는,

   이전프레임에서 추정된 잡음의 주파수의 정규화된 분산의 순환평균 값과 이전프레임에서 추정된 잡음의 주파수의 저주파 대역과 고주파 대역에서의 비율을 이용하여 현재 프레임에서의 잡음의 주파수 특성을 파악하는 것을 특징으로 하는 유동적 주파수 밴드를 이용한 단채널 음질 향상 방법.
4. 제 1 항에 있어서,

   상기 연산 주파수 밴드를 결정하는 단계는,

   bark 밴드, uniform 밴드, 그리고 modified bark 밴드로 구분하는 것을 특징으로 하는 유동적 주파수 밴드를 이용한 단채널 음질 향상 방법.
5. 제 4 항에 있어서,

   상기 modified bark 밴드는,

   특정 주파수에 에너지가 집중된 특성을 가진 잡음의 경우에, 상기 에너지가 집중된 해당 주파수 주변의 최대치를 갖는 두 개의 sub 밴드를 중심으로 주변 주파수를 묶음으로써 구성되는 것을 특징으로 하는 유동적 주파수 밴드를 이용한 단채널 음질 향상 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
7. 이전 프레임의 추정된 잡음과 입력 신호를 이용하여 잡음의 주파수 특성을 예측하는 잡음 특성 판정부;

   상기 예측된 주파수 특성에 따라 연산 주파수 밴드를 결정하고, 상기 결정된 연산 주파수 밴드에 의해 상기 입력 신호를 특정 주파수 대역으로 묶는 밴드 결정부;

   상기 특정 주파수 대역으로 묶여진 신호에 대하여 음성이 존재하지 않는 구간에서 측정된 신호의 평균을 해당 주파수 빈의 잡음 신호로 추정하거나 혹은 해당 주파수 빈의 일정 구간 내에서의 최소값을 잡음 신호로 추정하는 잡음 추정부;

   상기 추정한 잡음 신호를 이용하여 낮은 SNR 성분에 대해 상대적으로 작은 이득을 주어 잡음을 제거하고 음질을 조정시키는 이득 추정부;

   상기 이득 추정부를 보완하여 합성된 음성의 왜곡을 줄이는 연역적 SNR 추정부;

   상기 이득 추정부를 통해 왜곡이 줄어든 신호에 대하여 음성 존재의 불확실성을 고려하여 이득 값을 수정함으로써 변화가 심한 잡음 환경에서의 성능을 보완하는 음성 부재 확률 추정부;

   상기 이득 값이 수정된 특정 주파수 대역으로 묶여진 신호를 상기 결정된 연산 주파수 밴드를 이용하여 본래의 선형 밴드로 환원하는 밴드 환원부

   를 포함하여 이루어지는 것을 특징으로 하는 유동적 주파수 밴드를 이용한 단채널 음질 향상 장치.

Images