KR20100003530A

KR20100003530A - 전자기기에서 음성 신호의 잡음 제거 장치 및 방법

Info

Publication number: KR20100003530A
Application number: KR1020080063467A
Authority: KR
Inventors: 백창현
Original assignee: 삼성전자주식회사
Priority date: 2008-07-01
Filing date: 2008-07-01
Publication date: 2010-01-11
Also published as: US8468018B2; US20100004929A1

Abstract

본 발명은 전자기기에서 음성 신호의 잡음 제거 장치 및 방법에 관한 것으로서, 복수의 마이크를 통해 서로 다른 위상으로 입력되는 신호에서 잡음 성분을 제거하는 범용 측대파 제거기(Generalized Sidelobe Canceller)와, 입력 신호의 신호대 잡음비(SNR)를 추정하여 상기 범용 측대파 제거기에 포함된 적응 필터의 갱신 간격(step-size)을 결정하는 결정기를 포함하여 적응적인 잡음 제거를 수행함으로써, 다양한 잡음 환경 및 신호대 잡음비 환경에서 음성 인식율을 향상시킬 수 있는 효과가 있다.

GSC(Generalized Sidelobe Canceller), FB(Fixed Beamformer), 잡음 제거, 음성 신호

Description

전자기기에서 음성 신호의 잡음 제거 장치 및 방법{APPARATUS AND MEHTOD FOR NOISE CANCELLING OF AUDIO SIGNAL IN ELECTRONIC DEVICE}

본 발명은 전자기기에서 음성 신호의 잡음 제거 장치 및 방법에 관한 것으로서, 특히 범용 측대파 제거기(Generalized Sidelobe Canceller) 기반의 전자기기에서 필터의 스텝 사이즈(step-size)를 적응적으로 변화시켜 음성 신호의 잡음을 제거하는 장치 및 방법에 관한 것이다.

최근, 전자기술의 발달로 다양한 전자기기들이 제공되면서, HMI(human machine interface)에 대한 관심이 증가되고 있다. 즉, 사용자가 어떠한 방법으로 전자기기와 소통하여 상기 전자기기를 더욱 쉽게 이용하게 할 것인가에 대한 다양한 연구가 진행되고 있다. 일 예로, 상기 전자기기에서 사용자의 음성을 어떤 방법을 인식 및 처리할 것인지에 대한 연구가 진행되고 있다.

현재 제공되는 대부분의 음성인식 모듈은 잡음이 없는 환경에서 100%에 근접하는 높은 성능을 보이지만, 실제 환경은 다양한 잡음이 존재하기 때문에 상기 음성인식 모듈의 성능이 저하된다. 이에 따라, 종래에는 상기 음성인식의 전처리 단 계로 음성강화(speech enhancement) 알고리즘을 사용하고 있다.

상기 음성 강화를 위한 전처리 알고리즘은 하나의 마이크를 이용하는 단채널 알고리즘과 복수의 마이크를 이용하는 다채널 알고리즘으로 구분할 수 있으며, 상기 다채널 알고리즘의 대표적 기술로는 빔 형성(beamforming)이 있다. 상기 빔 형성 알고리즘은 마이크에 입력되는 음성 신호의 각도로 사용자 즉, 화자의 위치를 판단한 후, 상기 화자 쪽의 방향에서 입력되는 신호의 이득은 유지하고 그외 방향에서 입력되는 신호의 이득을 줄임으로써, 음성을 강화시킨다. 이러한 빔 형성을 이용한 음성 강화 알고리즘에는 고정형 빔 형성기(fixed beamformer), LCMV(linearly constrained minimum variance) 빔 형성기, GSC(generalized sidelobe canceller) 등이 있으며, 종래에는 상기 GSC를 가장 많이 사용하고 있다.

도 1은 일반적인 GSC의 구조를 도시하고 있다. 상기 도 1에 도시된 바와 같이, GSC는 N개의 마이크(100, 102, 104)를 통해 서로 다른 위상을 가지는 신호 x₀(k)~x_N-1(k)가 입력되면, 고정형 빔 형성기(Fixed Beamformer)(110)를 통해 사용자의 음성 신호에 대한 위상만을 보상한 후 각 채널의 신호를 더하여 잡음 신호가 줄어든 신호를 획득한다. 이때, 상기 고정형 빔 형성기(110)는 여러 개의 마이크를 이용하여 목적신호 즉, 음성신호의 위상만을 보상해주기 때문에 상기 잡음 신호는 1/N의 크기로 감소하게 된다. 그리고, 상기 고정형 빔 형성기로 제거하지 못한 잡음을 제거하기 위해 차단 매트릭스(Blocking Matrix)(120)를 통해 채널별로 입력되는 신호를 차감하여 잡음 성분만을 추출한 후, 다중 입력 제거기(Multiple Input Canceller)(130)를 통해 상기 추출된 잡음 성분을 조합하여 상기 고정형 빔 형성기(110)의 출력에서 차감함으로써, 잡음을 제거한 최종 신호를 획득하게 된다. 이때, 상기 차단 매트릭스(120)와 다중 입력 제거기(130)는 일반적인 적응 필터를 사용하며, 이때 각각의 적응 필터는 음성 신호를 음성신호가 존재하는 음성 구간과 음성신호가 존재하지 않는 묵음 구간으로 분리하는 적응적 모드 제어기(Adaptive Mode Controller)의 제어 명령에 따라 각각 음성 구간과 묵음 구간에서 적응 필터링을 수행한다.

상술한 GSC에서 상기 차단 매트릭스(120)와 다중 입력 제거기(130)는 고정된 갱신간격(step-size, μ)을 이용하여 필터의 계수를 조절한다. 하지만, 상기 잡음은 비고정적(non-stationary)인 특성을 지니기 때문에 상기 고정된 갱신간격을 이용할 경우 음성 강화를 제대로 수행하기 어려운 단점을 가진다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위해 도출된 것으로서, 본 발명의 목적은 전자기기에서 음성 신호의 잡음 제거 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 전자기기에서 비고정적인 잡음의 특성을 고려하여 잡음을 제거하는 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은 전자기기에서 잡음 제거 필터의 갱신 간격(step-size)을 적응적으로 변화시켜 적응적인 잡음 제거를 수행하는 장치 및 방법을 제공함에 있다.

상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 전자기기에서 음성 신호의 잡음 제거 장치는, 복수의 마이크를 통해 서로 다른 위상으로 입력되는 신호에서 잡음 성분을 제거하는 범용 측대파 제거기(Generalized Sidelobe Canceller)와, 입력 신호의 신호대 잡음비(SNR)를 추정하여 상기 범용 측대파 제거기에 포함된 적응 필터의 갱신 간격(step-size)을 결정하는 결정기를 포함하는 것을 특징으로 한다.

상술한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 전자기기에서 음성 신호의 잡음 제거 방법은, 복수의 마이크를 중 어느 하나의 마이크로 입력 되는 신호의 신호대 잡음비(SNR)를 추정하는 과정과, 상기 신호대 잡음비에 따라 범용 측대파 제거기에 포함된 각 적응 필터의 갱신 간격(step-size)을 결정하는 과정과, 상기 결정된 갱신 간격에 따라 적응적 필터링을 수행하여 상기 복수의 마이크를 통해 입력되는 신호에서 잡음 성분을 제거하는 과정을 포함하는 것을 특징으로 한다.

본 발명은 GSC(Generalized Sidelobe Canceller)를 지원하는 전자기기에서 필터의 갱신 간격(step-size)을 적응적으로 변화시켜 적응적인 잡음 제거를 수행함으로써, 다양한 잡음 환경 및 신호대 잡음비 환경에서 음성 인식율을 향상시킬 수 있는 효과가 있다.

이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.

이하 본 발명은 GSC(Generalized Sidelobe Canceller) 시스템을 지원하는 전자기기에서 신호대 잡음비(Signal to Noise Ratio; 이하 'SNR'이라 칭함)에 따라 필터의 갱신 간격(step-size)을 적응적으로 변화시켜 음성 신호의 잡음을 제거하는 장치 및 방법에 관해 설명할 것이다.

도 2는 본 발명에 따른 전자기기에서 음성 신호를 제거하는 구조를 도시하고 있다.

상기 도 2를 참조하면, 본 발명에 따른 전자기기는 종래의 GSC 시스템과 같이 N개의 마이크(200, 202, 204), 고정형 빔 형성기(FBF: Fixed Beamformer)(240), 차단 매트릭스(BM: Blocking Matrix)(250), 다중 입력 제거기(MIC: Multiple Input Canceller)(260), 적응적 모드 제어기(Adaptive Mode Controller)(270) 및 덧셈기(280)를 포함하고, 본 발명에 따라 잡음 추정기(Noise Estimator)(210), SNR 추정기(SNR estimator)(220), 갱신 간격 결정기(Step-Size Decision)(230)를 추가로 포함하여 구성된다.

먼저, 본 발명에 따른 상기 잡음 추정기(210)는 상기 N개의 마이크(200, 202, 204)로 입력되는 신호들 중 어느 하나의 신호에 대해 주파수 영역에서의 잡음전력을 추정한다. 예를 들어, 상기 잡음 추정기(210)는 단채널 음성강화 알고리즘에서 주로 사용되는 잡음 추정 기법을 이용한다.

상기 SNR 추정기(220)는 상기 N개의 마이크(200, 202, 204)로 입력되는 신호들 중 어느 하나의 신호에 대해 주파수 영역에서의 신호 전력 값을 계산하고, 상기 잡음 추정기(210)에서 추정된 잡음 전력과 상기 신호 전력 값을 이용하여 하기 수학식 1과 같이 신호대 잡음비를 추정한다.

여기서, 상기

은 추정한 신호대 잡음비를 의미하며,

는 1번 채널을 통해 입력된 신호의 전력을 의미하며,

는 상기 1번 채널을 통해 입력된 신호의 잡음 전력을 의미한다.

이때, 상기 SNR 추정기(220)는 상기 차단 매트릭스(250)를 위해 프레임 단위의 신호대 잡음비를 추정하고, 상기 다중 입력 제거기(260)를 위해 프레임보다 큰 소정 구간의 신호대 잡음비를 추정한다. 여기서 상기 차단 매트릭스(250)와 다중 입력 제거기(260)의 갱신 간격을 구하기 위한 신호대 잡음비의 기준이 다른 것은, 상기 차단 매트릭스(250)는 음성 구간(VAD=1)에서 적응 필터링을 수행하고, 상기 다중 입력 제거기(260)는 묵음 구간(VAD=0)에서 적응 필터링을 수행하기 때문이다. 즉, 상기 음성 구간에서는 음성과 잡음 모두 존재하기 때문에 프레임 단위의 신호대 잡음비를 구할 수 있으나, 상기 묵음 구간에서는 음성 신호가 존재하지 않고 잡음만이 존재하기 때문에 프레임 단위의 신호대 잡음비를 구할 수 없다. 따라서, 상기 SNR 추정기(220)는 상기 다중 입력 제거기(260)를 위해 상기 프레임보다 큰 소정 구간에 대한 신호대 잡음비를 추정한다.

상기 갱신 간격 결정기(230)는 상기 SNR 추정기(220)로부터 제공되는 프레임 별 SNR 및 소정 구간의 SNR에 따라 상기 차단 매트릭스(250)와 다중 입력 제거기(260)의 갱신 간격을 결정한다. 이때, 상기 갱신 간격 결정기(230)는 상기 프레임별 SNR에 따른 갱신 간격을 나타내는 매핑 테이블과 상기 소정 구간의 SNR에 따른 갱신 간격을 나타내는 매핑 테이블을 미리 저장하며, 상기 두 개의 매핑 테이블은 도 3(a)와 3(b)에 나타낸 바와 같은 그래프를 바탕으로 구성될 수 있다. 상기 도 3(a)와 3(b)는 실험을 통해 획득한 SNR별 갱신 간격을 그래프로 나타낸 것이다.

상기 고정형 빔 형성기(FBF)(240)는 상기 N개의 마이크(200, 202, 204)를 통해 서로 다른 위상을 가지는 신호 x₀(k)~x_N _- ₁(k)를 제공받아 사용자의 음성 신호에 대한 위상만을 보상한 후 각 채널의 신호를 더하여 잡음 신호가 줄어든 신호 b(k)를 출력한다. 이때, 상기 고정형 빔 형성기(240)는 상기 N개의 마이크를 이용하여 목적 신호인 음성 신호의 위상만을 보상해주기 때문에 상기 잡음신호는 1/N의 크기로 감소하게 된다

상기 차단 매트릭스(BM)(250)는 상기 적응적 모드 제어기(270)의 제어에 따라 음성 신호가 존재하는 음성 구간(VAD=1)에서 상기 N개의 마이크(200, 202, 204)를 통해 채널별로 입력되는 신호 x₀(k)~x_N _- ₁(k)들에 대해 인접한 채널간의 차감을 수행하여 상기 인접한 채널의 음성 신호를 제거하는 역할을 수행한다. 다시 말해, 상기 N개의 마이크(200, 202, 204)를 통해 각 채널별로 입력되는 신호들 중 1번 채널 신호에서 2번 채널 신호를 차감하고, 2번 채널 신호에서 3번 채널 신호를 차감하며, N-1번째 채널 신호에서 N번째 신호를 차감하여 각 채널 신호의 잡음 성분 z₀(k)~z_N _-1(k)만을 획득한다. 여기서, z₀(k)는 x₀(k)-x₁(k)이며, z₁(k)는 x₁(k)-x₂(k)이며, z_N _- ₁(k)는 x_N _-1(k)-x_N(k)이다. 특히, 상기 차단 매트릭스(250)는 본 발명에 따라 음성신호가 존재하는 구간에서 상기 갱신 간격 결정기(230)로부터 제공되는 갱신 간격 μ_BM에 따라 적응 필터링을 수행한다.

상기 다중 입력 제거기(MIC)(260)는 상기 적응적 모드 제어기(270)의 제어에 따라 음성 신호가 존재하지 않은 묵음 구간(VAD=0)에서 상기 차단 매트릭스(250)에서 추출된 잡음 성분 z₀(k)~z_N _-1(k)을 조합하여 출력한다. 특히 상기 다중 입력 제거기(260)는 본 발명에 따라 음성신호가 존재하지 않는 묵음 구간에서 상기 갱신 간격 결정기(230)로부터 제공되는 갱신 간격 μ_MIC에 따라 적응 필터링을 수행한다.

상기 적응적 모드 제어기(AMC)(270)는 상기 N개의 마이크(200, 202, 204)를 통해 채널별로 입력되는 신호 x₀(k)~x_N _- ₁(k)들에 대해 음성 구간과 묵음 구간을 판별하여 상기 음성 구간일 경우에 상기 차단 매트릭스(250)로 음성 구간임을 알리는 신호(VAD=1)를 출력하고, 상기 묵음 구간일 경우에 상기 다중 입력 제거기(260)로 묵음 구간임을 알리는 신호(VAD=0)를 출력한다.

상기 덧셈기(280)는 상기 고정형 빔 형성기(240)의 출력 b(k)와 상기 다중 입력 제거기(260)의 출력을 합하여 상기 고정형 빔 형싱기(240)의 출력 b(k)에서 잡음 신호를 제거하는 역할을 수행한다.

도 4는 본 발명의 실시 예에 따른 전자기기에서 갱신 간격의 크기를 조정하는 절차를 도시하고 있다.

상기 도 4를 참조하면, 상기 전자기기는 401단계에서 N개의 마이크를 통해 사용자 음성 신호가 입력될 시, 403단계로 진행하여 상기 N개의 마이크를 통해 입력되는 음성 신호들 중 어느 하나의 마이크로 입력되는 음성 신호의 전력을 계산하고, 잡음 전력을 추정한다. 이때, 상기 음성 신호의 전력 및 잡음 전력 추정은 주파수 영역에서 이루어진다.

이후, 상기 전자기기는 405단계에서 입력 신호의 전력과 추정된 잡음 전력을 이용하여 프레임 단위의 SNR과 상기 프레임보다 큰 소정 구간의 SNR을 추정한다. 이때, 상기 SNR은 상기 수학식 1과 같이 구할 수 있다.

이후, 상기 전자기기는 407단계에서 미리 저장된 매핑 테이블을 참조하여 상기 추정된 프레임 단위의 SNR에 따른 갱신 간격과 상기 추정된 소정 구간의 SNR에 른 갱신 간격을 각각 결정한다.

이후, 상기 전자기기는 409단계에서 상기 결정된 갱신 간격을 차단 매트릭스와 다중 간섭 제거기에 각각 적용하여 적응 필터링을 수행하고, 본 발명에 따른 알고리즘을 종료한다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 일반적인 GSC의 구조를 도시하는 도면,

도 2는 본 발명에 따른 전자기기에서 음성 신호를 제거하는 구조를 도시하는 도면,

도 3은 본 발명의 실시 예에 따른 전자기기에서 신호대 잡음비에 따른 갱신간격 크기를 나타내는 도면, 및

도 4는 본 발명의 실시 예에 따른 전자기기에서 갱신 간격의 크기를 조정하는 절차를 도시하는 도면.

Claims

전자기기에서 음성 신호의 잡음 제거 장치에 있어서,

복수의 마이크를 통해 서로 다른 위상으로 입력되는 신호에서 잡음 성분을 제거하는 범용 측대파 제거기(Generalized Sidelobe Canceller)와,

입력 신호의 신호대 잡음비(SNR)를 추정하여 상기 범용 측대파 제거기에 포함된 적응 필터의 갱신 간격(step-size)을 결정하는 결정기를 포함하는 것을 특징으로 하는 장치.
제 1항에 있어서,

상기 범용 측대파 제거기는, 적응 필터를 이용하여 상기 입력되는 신호의 음성 구간에서 인접한 채널별로 음성 신호를 제거하여 잡음 성분을 획득하는 차단 매트릭스(Blocking Matrix)와,

적응 필터를 이용하여 상기 입력되는 신호의 묵음 구간에서 상기 획득된 잡음 성분을 조합하는 다중 간섭 제거기(Multiple Input Canceller)를 포함하며,

상기 결정기는, 상기 차단 매트릭스와 상기 다중 간섭 제거기에 이용되는 필터의 갱신 간격을 결정하는 것을 특징으로 하는 장치.
제 1항에 있어서,

상기 결정기는, 상기 복수의 마이크 중 어느 하나의 마이크를 통해 입력되는 신호의 잡음 전력을 추정하는 잡음 추정기와,

상기 어느 하나의 마이크를 통해 입력되는 신호의 전력과 상기 잡음 전력을 이용하여 신호대 잡음비를 추정하는 SNR 추정기와,

기 설정된 매핑 테이블을 이용하여 상기 추정된 신호대 잡음비에 따른 갱신 간격을 결정하는 갱신 간격 결정기를 포함하는 것을 특징으로 하는 장치.
제 3항에 있어서,

상기 SNR 추정기는 프레임 단위의 SNR과 상기 프레임보다 큰 소정 구간의 SNR을 추정하며,

상기 갱신 간격 결정기는 상기 매핑 테이블을 이용하여 상기 프레임 단위의 SNR과 상기 소정 구간의 SNR에 따른 갱신 간격을 각각 결정하는 것을 특징으로 하는 장치.
제 4항에 있어서,

상기 프레임 단위의 SNR에 따라 결정된 갱신 간격은 상기 범용 측대파 제거기에 포함된 차단 매트릭스의 필터에 적용되며, 상기 소정 구간의 SNR에 따라 결정 된 갱신 간격은 상기 범용 측대파 제거기에 포함된 다중 입력 제거기의 필터에 적용되는 것을 특징으로 하는 장치.
전자기기에서 음성 신호의 잡음 제거 방법에 있어서,

복수의 마이크를 중 어느 하나의 마이크로 입력되는 신호의 신호대 잡음비(SNR)를 추정하는 과정과,

상기 신호대 잡음비에 따라 범용 측대파 제거기에 포함된 각 적응 필터의 갱신 간격(step-size)을 결정하는 과정과,

상기 결정된 갱신 간격에 따라 적응적 필터링을 수행하여 상기 복수의 마이크를 통해 입력되는 신호에서 잡음 성분을 제거하는 과정을 포함하는 것을 특징으로 하는 방법.
제 6항에 있어서,

상기 신호대 잡음비(SNR)를 추정하는 과정은,

상기 어느 하나의 마이크로 입력되는 신호의 전력을 계산하는 과정과,

상기 어느 하나의 마이크로 입력되는 신호의 잡음 전력을 추정하는 과정과,

상기 신호의 전력 및 잡음 전력을 이용하여 신호대 잡음비를 추정하는 과정을 포함하는 것을 특징으로 하는 방법.
제 6항에 있어서,

상기 신호대 잡음비(SNR)를 추정하는 과정은,

상기 어느 하나의 마이크로 입력되는 신호에 대해 프레임 단위의 SNR과 상기 프레임보다 큰 소정 구간의 SNR을 추정하는 과정을 포함하는 것을 특징으로 하는 방법.
제 8항에 있어서,

상기 갱신 간격(step-size)을 결정하는 과정은,

기 설정된 매핑 테이블을 이용하여 상기 프레임 단위의 SNR과 상기 소정 구간의 SNR에 따른 갱신 간격을 각각 결정하는 과정을 포함하는 것을 특징으로 하는 방법.
제 9항에 있어서,

상기 프레임 단위의 SNR에 따라 결정된 갱신 간격은 상기 범용 측대파 제거기에 포함된 차단 매트릭스의 필터에 적용되며, 상기 소정 구간의 SNR에 따라 결정된 갱신 간격은 상기 범용 측대파 제거기에 포함된 다중 입력 제거기의 필터에 적 용되는 것을 특징으로 하는 방법.