KR20060010222A

KR20060010222A - 레코더 기기의 잡음 제거 장치 및 그 방법

Info

Publication number: KR20060010222A
Application number: KR1020040058849A
Authority: KR
Inventors: 오윤학
Original assignee: 삼성전자주식회사
Priority date: 2004-07-27
Filing date: 2004-07-27
Publication date: 2006-02-02
Also published as: JP2006039547A; US20060025992A1; NL1029367C2; NL1029367A1; BRPI0502147A; KR100677126B1; CN1728237A

Abstract

캠코더와 같은 레코더기기에서 잡음과 오디오 신호가 입력될 때 잡음만을 제거하는 잡음 제거 장치 및 그 방법이 개시되어 있다. 본 발명은 입력되는 프레임 단위의 오디오 스펙트럼에 대해 잡음 스펙트럼 갱신 구간별로 임계치를 다르게 설정하여 잡음 프레임 유무를 판별하는 과정, 현재 프레임이 잡음 프레임으로 판별되면 이전 프레임의 잡음 스펙트럼과 현재 프레임의 스펙트럼을 바탕으로 잡음 스펙트럼을 갱신하는 과정, 입력되는 프레임 단위의 오디오 스펙트럼에서 상기 갱신된 잡음 스펙트럼을 차감하는 과정을 포함한다.

Description

레코더 기기의 잡음 제거 장치 및 그 방법{Apparatus and method for eliminating noise}

도 1은 본 발명에 따른 레코더 기기의 잡음 제거 장치를 도시한 것이다.

도 2는 도 1의 노이즈 프레임 검출부(130)에서 노이즈 프레임을 검출하는 흐름도이다.

도 3a 내지 3c는 잡음 스펙트럼이 갱신되는 파형도이다.

도 4a 및 도 4b는 본 발명에 따른 잡음 차감방식을 적용하기 전의 오디오 신호와 후의 오디오 신호를 보이는 파형도이다.

본 발명은 레코더기기에 관한 것이며, 특히 캠코더와 같은 레코더기기에서 잡음과 오디오 신호가 입력될 때 잡음만을 제거하는 잡음 제거 장치 및 그 방법에 관한 것이다.

종래에는 캠코더를 사용하여 카메라 촬영시 줌 모터(zoom motor)나 드럼 모터(drum motor)등의 회전에 의해서 소음이 발생한다. 이 잡음은 마이크등을 통하여 오디오 신호와 함께 녹음되므로 오디오 재생시 기기의 음질을 저하시키게 된다.

따라서 이러한 주변 환경의 소음을 제거하기 위한 잡음 제거 기술이 필요하게 된다. 일반적으로 잡음 제거 장치는 배경 잡음을 제거하기 위해 스펙트럼 차감법(spectral subtraction)을 이용하고 있다.

이하에서 스펙트럼 차감법(spectral subtraction)을 설명한다.

먼저, 마이크로폰으로 입력되는 아날로그 신호를 디지털 신호로 변환한다. 이어서, 그 디지털 신호는 시간축 영역에서 프레임 단위화(framing)를 수행한다. 이어서, 프레임 단위의 신호는 프레임간의 정보 단절과 왜곡을 줄이기 위해 윈도우를 취한다. 이어서, 윈도우를 적용한 신호는 푸리에 변환(Fast Foruier Transform: FFT)을 통해 주파수 스펙트럼으로 변환된다.

이 스팩트럼 정보는 크기 스펙트럼(magnitude spectrum) 정보와 위상 스펙트럼(phase spectrum) 정보로 이루어진다. 이때 크기 스펙트럼(spectrum) 정보는 스펙트럼 차감에 이용되고, 위상 스펙트럼(phase spectrum) 정보는 역 프리에 변환(Inverse Fast Fourier Transform:IFFT)에 이용된다.

스펙트럼 차감은 음성과 잡음이 섞인 크기 스펙트럼에서 추정된 잡음 스펙트럼을 빼는 연산이다. 이때 통상적으로 잡음 스펙트럼은 잡음 구간의 크기 스펙트럼을 평균하여 음성 구간의 잡음 스펙트럼으로 추정한다.

잡음 특성이 정상적일 경우 추정된 잡음 스펙트럼은 실제 잡음 성분의 스펙트럼과 유사하다. 따라서 스펙트럼 차감에 의해 얻어지는 크기 스펙트럼은 근사적으로 잡음이 제거된 음성 신호만의 크기 스펙트럼이 된다.

스펙트럼 차감에 의해 구해진 크기 스펙트럼과 위상 스펙트럼을 조합하여 역 FFT를 통해 원래의 시간 영역의 신호로 복원한다.

이러한 종래 기술의 스펙트럼 차감법은 일정한 주파수 형태를 갖느 잡음 신호가 오디오 신호에 인가되는 경우 잡음 신호만의 주파수 형태를 미리 파악하였다가 잡음과 오디오 신호가 혼합된 신호가 입력되면 그 잡음 주파수 성분만 빼내는 것이다. 그러므로 종래에는 만약 잡음 신호만의 주파수 형태를 잘못 추정하면, 즉, 잡음이 아닌 오디오 신호의 주파수 성분을 잡음 신호라고 판단하면 잡음 이외의 오디오 신호도 제거되며, 잡음 신호의 주파수 성분인데도 불구하고 잡음 신호가 아니라고 판단하면 잡음 신호를 제대로 제거하지 못하는 문제점을 가진다.

본 발명이 이루고자하는 기술적 과제는 잡음이 혼합된 오디오 신호에 대해 잡음 스펙트럼을 갱신하는 구간별로 임계치를 다르게 설정함으로써 잡음 성분을 제거하는 잡음 제거 방법을 제공하는 데 있다.

본 발명이 이루고자하는 다른 기술적 과제는 상기 잡음 제거 방법이 적용된 잡음 제거 장치 및 레코더 기기를 제공하는 데 있다.

상기의 기술적 과제를 해결하기 위하여, 본 발명은 오디오 신호의 잡음 제거 방법에 있어서, 입력되는 프레임 단위의 오디오 스펙트럼에 대해 잡음 스펙트럼 갱신 구간별로 임계치를 다르게 설정하여 잡음 프레임 유무를 판별하는 과정, 현재 프레임이 잡음 프레임으로 판별되면 이전 프레임의 잡음 스펙트럼과 현재 프레임의 스펙트럼을 바탕으로 잡음 스펙트럼을 갱신하는 과정, 입력되는 프레임 단위의 오디오 스펙트럼에서 상기 갱신된 잡음 스펙트럼을 차감하는 과정을 포함한다.

상기의 다른 기술적 과제를 해결하기 위하여, 본 발명은 녹화기기에 있어서,

프레임 단위로 분할된 신호들을 푸리에 변환하여 주파수 스펙트럼 정보를 계산하는 FFT부;

상기 FFT부에서 계산된 주파수 스펙트럼에 대해 잡음 스펙트럼 갱신 구간별로 임계치를 다르게 설정하여 잡음 프레임을 판별하는 노이즈 프레임 검출부;

상기 노이즈 프레임 검출부에서 현재 프레임이 잡음만 있는 프레임으로 판별되면 그 현재 프레임의 스펙트럼과 이전의 잡음 스펙트럼을 이용하여 잡음 스펙트럼을 갱신하는 노이즈 스펙트럼 갱신부;

입력되는 신호의 스펙트럼에서 상기 노이즈 스펙트럼 갱신부에서 갱신된 잡음 스펙트럼을 차감하는 스펙트럼 차감부

상기 스펙트럼 차감부에서 출력되는 오디오 스펙트럼과 상기 FFT부에서 출력되는 위상 스펙트럼 정보를 합산하는 합산부;

상기 합산부에서 출력되는 오디오 스펙트럼을 IFFT를 통해 원래의 시간 영역의 신호로 복원하는 IFFT부를 포함하는 것을 특징으로한다.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 1의 잡음 제거 장치는 전처리부(110), FFT부(120), 노이즈 프레임 검출부(130), 노이즈 스펙트럼 갱신부(140), 스펙트럼 차감부(150), 합산부(160), IFFT부 (170)를 구비한다.

도 1을 참조하면, 먼저 마이크로폰으로 입력되는 아날로그 신호를 디지털 신호로 변환한다. 이때 아날로그 신호에는 잡음과 오디오 신호가 혼합되어 있다고 가정하자.

전처리부(110)는 입력되는 잡음과 오디오가 혼합된 신호를 프레임 단위로 나누고 매 프레임마다 윈도우(window)를 취한다. 이때 윈도윙 방법은 일반적으로 해밍 윈도우(Hamming window)나 해닝 윈도우(Hanning window)등을 이용한다. 윈도우들은 각 프레임의 끝점(endpoints)에서 불연속의 영향(the effects of the discontinuities)을 완화시킨다.

FFT부(120)는 전처리부(110)로부터 프레임 단위로 분할된 신호들을 푸리에 변환(Fast Foruier Transform: FFT)을 통해 주파수 스펙트럼 정보를 구한다. 이때 주파수 스펙트럼 정보는 크기 스펙트럼(magnitude spectrum) 정보와 위상 스펙트럼(phase spectrum) 정보로 이루어진다. 크기 스펙트럼(magnitude spectrum) 정보는 스펙트럼 차감에 이용되고, 위상 스펙트럼(phase spectrum) 정보는 역 프리에 변환(Inverse Fast Fourier Transform:IFFT)에 이용된다.

노이즈 프레임 검출부(130)는 FFT부(120)에서 FFT 처리된 현재 프레임의 신호가 잡음만 있는 프레임인지 또는 잡음+오디오 신호가 있는 프레임인지를 3가지 의 임계치를 이용하여 판별하며, 그 노이즈 프레임으로 판별된 현재 프레임 신호{X_n[w]+N_n[n]})를 출력한다. 즉, 노이즈 프레임 검출부(130)는 현재 프레임의 에너지와 제1임계치, 현재 프레임 스펙트럼과 잡음 스펙트럼간의 에너지 차와 제2임 계치, 현재 프레임의 스펙트럼과 잡음 스펙트럼간의 차와 제3임계치를 동시에 만족하는 입력 프레임을 노이즈 프레임으로 판단한다. 이때 제1,제2,제3임계들은 잡음 스펙트럼 갱신 구간별로 다르게 설정된다.

노이즈 스펙트럼 갱신부(140)는 노이즈 프레임 검출부(130)에서 현재 프레임이 잡음만 있는 프레임으로 판별되면 그 프레임의 스펙트럼({X_n[w]+N_n[n]})과 이전의 잡음 스펙트럼을 이용하여 잡음 스펙트럼을 갱신(update)한다. 즉, 노이즈 스펙트럼 갱신부(140)에서 갱신되는 잡음 스펙트럼을 식으로 표현하면 잡음 스펙트럼(N_n[w])= N_n-1[w]*(1-α)+{X_n[w]+N_n[n]}*α이 되며, 여기서 N_n-1[w]는 이전 프레임의 잡음 스펙트럼이며, X_n[w]는 현재 프레임의 스펙트럼으로 바람직하게는 0 이며, N_n[n]는 현재 프레임의 노이즈 스펙트럼이며, α는 노이즈 스펙트럼 갱신 계수이며 바람직하게는 0.2이다.

스펙트럼 차감부(150)는 입력되는 잡음+오디오 신호의 스펙트럼에서 노이즈 스펙트럼 갱신부(140)에서 갱신된 잡음 스펙트럼을 차감한다.

합산부(160)는 스펙트럼 차감부(150)에서 출력되는 오디오 스펙트럼과 FFT부(120)에서 출력되는 위상 스펙트럼 정보를 합산한다.

IFFT부(170)는 합산부(160)에서 출력되는 오디오 스펙트럼을 IFFT를 통해 원래의 시간 영역의 신호로 복원한다.

도 2는 도 1의 노이즈 프레임 검출부(130)의 노이즈 프레임을 판별하는 흐름도이다.

도 2를 참조하면, 입력되는 신호는 매 프레임 마다 주파수 스펙트럼으로 변 환된다(210).

이어서, 입력 신호의 에너지 레벨을 모니터링한다. 여기서 현재 프레임의 에너지 레벨과 제1임계치(E_th)를 비교한다(220). 이때 잡음만 존재하는 프레임은 잡음과 혼합된 신호가 존재하는 프레임보다 보다 에너지 레벨이 적으므로 현재 프레임의 에너지 레벨이 제1임계치와 비교하여 적어야한다.

이어서, 현재 프레임의 에너지가 제1임계치보다 적으면 다시 입력 신호의 매 프레임별 에너지 레벨의 변화량을 모니터링한다. 여기서 현재 프레임의 에너지 레벨과 이전 프레임에서 갱신된 노이즈 스펙트럼의 에너지 레벨간의 차와 제2임계치(ED_th)를 비교한다(220). 이때 현재 프레임이 잡음 프레임이라면 그 잡음 프레임은 잡음과 혼합된 신호 프레임보다 에너지의 변화량이 적으므로 그 에너지 레벨 차가 제2임계치와 비교하여 적어야한다. 반면에 현재 프레임의 에너지가 제1임계치보다 크면 업데이트 카운트(UpdateCNT)를 초기화시킨다(290 과정).

이어서, 현재 프레임의 에너지 레벨과 이전 프레임에서 갱신된 노이즈 스펙트럼의 에너지 레벨간의 차가 제2임계치보다 적으면 다시 입력 신호의 스펙트럼의 변화량을 모니터링한다. 여기서 현재 프레임의 스펙트럼과 이전 프레임에서 갱신된 노이즈 스펙트럼간의 차와 제3임계치(SD_th)를 비교한다(240 과정). 이때 현재 프레임 구간이 잡음 구간이라면 스펙트럼의 변화량이 적으므로 그 스펙트럼 차가 제3임계치와 비교하여 적어야 한다. 반면에 현재 프레임의 에너지와 이전 프레임에서 갱신된 노이즈 스펙트럼의 에너지 레벨간의 차가 제2임계치보다 크면 업데이트 카운트(UpdateCNT)를 초기화시킨다(290 과정).

이어서, 현재 프레임의 스펙트럼과 이전 프레임에서 갱신된 노이즈 스펙트럼간의 차가 제3임계치보다 적으면 노이즈 스펙트럼 업데이트를 수행한다(250 과정).반면에 현재 프레임의 스펙트럼과 이전 프레임에서 갱신된 노이즈 스펙트럼간의 차가 제3임계치보다 크면 업데이트 카운트(UpdateCNT)를 초기화시킨다(290 과정).

따라서 에너지(energy), 에너지 차(Energydiff), 스펙트럼 차(Spectdiff)들이 각각 제1,제2,제3임계치를 모두 만족하면 업데이트 카운트(UpdateCNT)를 1 증가 시킨다(260 과정).

이어서, 업 데이터 카운트가 임계치(UC_th)보다 크면 제2임계치(ED_th) 및 제3임계치(SD_th)를 업데이트시킨다.

도 3a 내지 3c는 잡음 스펙트럼이 갱신되는 파형도이다.

경험적으로 정해진 초기 잡음 스펙트럼 특성은 현재 입력되는 잡음 스펙트럼 특성과 차이가 있을 수 있다. 이 경우 초기 잡음 스펙트럼은 현재 입력되는 잡음 스펙트럼으로 갱신되어야한다. 도 3a 내지 3c에 도시된 제1,제2,제3임계치에 대한 변화를 참조하여 초기 잡음 스펙트럼이 갱신되는 과정을 설명한다. 이때 도 3a는 좌,우 채널로 입력되는 현재 프레임의 에너지와 제1임계치(E_th)(점선 표시)를 도시한 것이다. 도 3b는 현재 프레임의 에너지 레벨과 이전 프레임에서 갱신된 노이즈 스펙트럼의 에너지 레벨간의 차와 임계치(ED_th)(점선 표시)를 도시한 것이다. 여기서 위의 파형은 입력되는 신호이며, 아래 파형은 에너지 레벨 차를 보이는 콘투어(contour)이다. 도 3c는 현재 프레임의 스펙트럼과 이전 프레임에서 갱신된 노이즈 스펙트럼간의 차와 제3임계치(SD_th)(점선 표시)를 도시한 것이다. 여기서 위의 파형은 입력되는 신호이며, 아래 파형은 스펙트럴 차를 보이는 콘투어(contour)이다.

도 3a에서 도 3c에 도시된 바와 같이 처음 10번째 노이즈 스펙트럼 업데이트 기간 동안에는 제1,제2,제3임계치를 크게 설정함으로써 초기 잡음 스펙트럼을 입력되는 잡음 스펙트럼으로 근접하도록한다. 그리고 다음 20번째 노이즈 스펙트럼 업데이트 기간 동안에는 제2임계치(ED_th) 및 제3임계치(SD_th)를 줄임으로써 잡음+오디오 프레임을 정교하게 검출하여 잡음 스펙트럼을 갱신하고, 이후의 노이즈 스펙트럼 업데이트 기간 동안에는 제2임계치(ED_th) 및 제3임계치를 엄격하게 설정함으로써 매우 정밀하게 잡음 프레임을 검출하여 잡음 스펙트럼을 갱신한다.

도 4a 및 도 4b는 본 발명에 따른 잡음 차감 방식을 적용하기 전의 오디오 신호와 후의 좌,우 채널 오디오 신호를 보이는 파형도이다.

도 4a 및 도 4b를 보면, 정교하게 설계된 잡음 제거 방법을 적용하여 잡음 신호만을 제거하고 오디오 신호에 대해서는 그대로 출력되도록 한다.

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다.

상술한 바와 같이 본 발명에 의하면, 입력 신호에 대해 잡음 스펙트럼을 갱신하는 구간별로 임계치를 다르게 설정함으로써 잡음 신호만을 제거하고 잡음이 아닌 오디오 신호에 대해서는 영향이 없도록 함으로써 캠코더로 녹음되는 음성 신호의 음질을 크게 향상시킬 수 있다.

Claims

오디오 신호의 잡음 제거 방법에 있어서,

(a) 상기 입력되는 프레임 단위의 오디오 스펙트럼에 대해 잡음 스펙트럼 갱신 구간별로 임계치를 다르게 설정하여 잡음 프레임 유무를 판별하는 과정;

(b) 상기 과정에서 현재 프레임이 잡음 프레임으로 판별되면 이전 프레임의 잡음 스펙트럼과 현재 프레임의 스펙트럼을 바탕으로 잡음 스펙트럼을 갱신하는 과정;

(c) 상기 입력되는 프레임 단위의 오디오 스펙트럼에서 상기 갱신된 잡음 스펙트럼을 차감하는 과정을 포함하는 잡음 제거 방법.
제1항에 있어서, 상기 (a) 과정에서 상기 임계치는 현재 프레임의 에너지, 현재 프레임 스펙트럼과 잡음 스펙트럼간의 에너지 차, 현재 프레임의 스펙트럼과 잡음 스펙트럼간의 차를 동시에 사용하는 것을 특징으로 하는 잡음 제거 방법.
제1항에 있어서, 상기 (a) 과정은 초기 잡음 스펙트럼에서 입력되는 잡음 스펙트럼으로 근접하는 것임을 특징으로 하는 잡음 제거 방법.
제1항에 있어서, 상기 (a) 과정은 현재 프레임의 에너지가 제1임계치보다 적고, 그리고 현재 프레임의 에너지와 이전 프레임에서 갱신된 노이즈 스펙트럼의 에 너지간의 차가 제2임계치보다 적고, 그리고 현재 프레임의 스펙트럼과 이전 프레임에서 갱신된 노이즈 스펙트럼간의 차가 제3임계치보다 적으면 현재 프레임을 잡음 프레임으로 판별하는 것임을 특징으로 하는 잡음 제거 방법.
제4항에 있어서, 상기 현재 프레임의 신호가 상기 제1,제2,제3임계치를 만족하면 잡음 스펙트럼 갱신 구간별로 상기 제1,제2,제3임계치들을 다르게 설정하는 것을 더 포함하는 것임을 특징으로 하는 잡음 제거 방법.
잡음 제거 장치에 있어서,

프레임 단위로 분할된 신호들을 푸리에 변환하여 주파수 스펙트럼 정보를 계산하는 FFT부;

상기 FFT부에서 계산된 주파수 스펙트럼에 대해 잡음 스펙트럼 갱신 구간별로 임계치를 다르게 설정하여 잡음 프레임을 판별하는 노이즈 프레임 검출부;

상기 노이즈 프레임 검출부에서 현재 프레임이 잡음만 있는 프레임으로 판별되면 그 현재 프레임의 스펙트럼과 이전의 잡음 스펙트럼을 이용하여 잡음 스펙트럼을 갱신하는 노이즈 스펙트럼 갱신부;

입력되는 신호의 스펙트럼에서 상기 노이즈 스펙트럼 갱신부에서 갱신된 잡음 스펙트럼을 차감하는 스펙트럼 차감부를 포함하는 잡음 제거 장치.
제1항에 있어서, 상기 노이즈 프레임 검출부는

현재 프레임의 에너지 레벨과 제1임계치를 비교하는 수단, 현재 프레임의 에너지 레벨과 이전 프레임에서 갱신된 노이즈 스펙트럼의 에너지 레벨간의 차와 제2임계치를 비교하는 수단, 현재 프레임의 스펙트럼과 이전 프레임에서 갱신된 노이즈 스펙트럼간의 차와 제3임계치를 비교하는 수단;

현재 프레임에 대해 상기 에너지 레벨, 상기 에너지 레벨 차, 상기 스펙트럴 차가 각각 상기 제1,제2,제3임계치보다 적으면 노이즈 프레임으로 판별하는 수단을 구비하는 것을 특징으로 하는 잡음 제거 장치
녹화기기에 있어서,

프레임 단위로 분할된 신호들을 푸리에 변환하여 주파수 스펙트럼 정보를 계산하는 FFT부;

상기 FFT부에서 계산된 주파수 스펙트럼에 대해 잡음 스펙트럼 갱신 구간별로 임계치를 다르게 설정하여 잡음 프레임을 판별하는 노이즈 프레임 검출부;

상기 노이즈 프레임 검출부에서 현재 프레임이 잡음만 있는 프레임으로 판별되면 그 현재 프레임의 스펙트럼과 이전의 잡음 스펙트럼을 이용하여 잡음 스펙트럼을 갱신하는 노이즈 스펙트럼 갱신부;

입력되는 신호의 스펙트럼에서 상기 노이즈 스펙트럼 갱신부에서 갱신된 잡음 스펙트럼을 차감하는 스펙트럼 차감부

상기 스펙트럼 차감부에서 출력되는 오디오 스펙트럼과 상기 FFT부에서 출력되는 위상 스펙트럼 정보를 합산하는 합산부;

상기 합산부에서 출력되는 오디오 스펙트럼을 IFFT를 통해 원래의 시간 영역의 신호로 복원하는 IFFT부를 포함하는 잡음 제거 장치.