KR102269396B1 - 오디오 신호 처리 장치 및 방법 - Google Patents

Abstract

오디오 신호 분석기 및 필터를 포함하는 오디오 신호 처리 장치가 개시된다. 상기 오디오 신호 분석기는, 상기 오디오 신호의 복수의 대역에 대한 복수의 노이즈 억제 필터 값들을 결정하기 위해 오디오 신호를 분석하며, 상기 분석기는 노이즈 억제 필터 값이 최소 노이즈 억제 필터 값보다 크거나 같도록 그리고 상기 최소 노이즈 억제 필터 값이 오디오 신호의 특성에 의존하도록, 상기 노이즈 억제 필터 값을 결정한다. 상기 필터는 상기 오디오 신호를 필터링하되 상기 필터는 상기 노이즈 억제 필터 값들에 기초하여 조정된다.

Description

오디오 신호 처리 장치 및 방법

본 발명은 전반적으로 오디오 신호 처리에 관한 것이다. 특히, 본 발명은 오디오 신호의 음성 및 노이즈 레벨의 자동 제어 기술 및 방법에 관한 것이다.

전이중(full-duplex) 음성 통신 시나리오가 도 13에 도시되어 있으며, 근단(near-end) 스피커의 음성은 하나 또는 여러 개의 마이크로폰에 의해 포착되어 라우드스피커 또는 헤드폰을 통해 포착된 사운드를 청취하는 원단(far-end) 스피커로 전송된다. 원단 청취자의 청취 편안함과 명료성을 향상시키기 위해 일부 오디오 신호 처리 기술을 적용하여 음향 에코 또는 배경 및 센서 노이즈를 포함하여 원하지 않는 사운드 구성 요소를 제거하거나 최소한 감쇠하면서도 근단 스피커의 음성을 보존할 수 있다. 청취의 편안함과 명료성을 향상시키는 또 다른 중요한 측면은 원거리 청취자를 위해 향상된 신호의 레벨을 편안한 수준으로 조정하는 것이다. 이는 사운드 캡쳐 장치의 감도에 관계 없이 그리고 근단 스피커에서 마이크까지의 거리에 관계없이 일관된 스피치 레벨을 제공할 수 있다.

이러한 전이중 음성 통신 시나리오에서, 산발적 에코(sporadic echoes)는, 예를 들어. 참고문헌 [1, 2, 3]에서 설명한 바와 같이, 음향 에코 제거, 음향 에코 억제 또는 두 기술의 조합을 사용하여 완전히 제거되어야 한다. 대조적으로, 예를 들어, 참고문헌 [4]에 설명된 바와 같이, 배경이나 센서 노이즈와 같은 보다 더 지속적인 방해(disturbances)는 일부 노이즈 감소 방법을 사용하여 음성 품질을 보존하기 위해 특정 양까지만 감쇠될 수 있다. 따라서, 까다로운(즉, 복잡하거나 불리한) 음향 환경에 있어, 결과적인 신호는 감쇠되었지만 여전히 가청인 노이즈 성분을 포함할 수 있다. 자동 이득 제어의 목표는 강화된 음성 신호의 레벨을 미리 정의된 편안한 레벨로 가져오는 것이다. 음향 에코 제거 또는 음향 에코 억제, 노이즈 감소 모듈 및 자동 이득 제어 모듈에 기초한 어떤 에코 제어를 포함하는 전형적인 오디오 신호 프로세싱 체인이 도 14에 도시되어 있다. 프로세싱 체인의 끝에 있는 컴포트 노이즈 모듈은 시스템 출력에서 쾌적하고 일시적으로 평활한 노이즈 레벨을 보장하기 위해 인공적인 랜덤 노이즈를 생성한다. 컴포트 노이즈 주입은 예를 들어 참고문헌 [5]에서 설명된 것처럼 원단(far-end) 동작 기간 동안 예를 들어, 에코 제어에 의해 트리거링된다.

또한, 음성 통신에서, 노이즈 감소는 원하는 음성 신호를 보존하면서 오디오 신호에 존재하는 고정된 또는 천천히 시변하는(time-varying) 배경 또는 센서 노이즈를 감쇠시키는 것을 목표로 한다. 이것은 예를 들어 프레임 단위로 주파수 도메인에서 수행된다. 예를 들어, 각 시간 프레임에 대해, 낮은 신호-대-노이즈 비(SNR)을 나타내는 스펙트럼 영역은 감쇠되지만, 고-SNR 영역은 변하지 않도록 유지된다. 또한, 전술한 바와 같이, 스펙트럼 영역을 다루기 위해 보다 일반적인 신호-대-간섭(SIR) 비가 고려될 수 있다.

참고문헌 [6]에서 첫 번째 NR(=Noise Reduction; 노이즈 감소) 필터는 AGC(=Automatic Gain Control; 자동 이득 제어) 이득과 독립적으로 계산된다. 그 다음, 제2 NR 필터는 AGC 이득의 함수로서 제1 NR 필터를 스케일링함으로써 계산되는데, 즉, 큰 AGC 이득에 대해 NR 이득이 감소되고(강한 노이즈 감쇠) 작은 AGC 이득에 대해서 NR 이득은 증가한다(약한 노이즈 감쇠). 두 번째 필터는 입력 신호에 적용된다. 대조적으로, 본 발명의 일 측면은 NR 및 AGC를 동시에 수행하는 필터를 도출하는 것이다. 이것은 음성 및 노이즈 레벨을 별도로 완벽하게 제어할 수 있다.

이러한 시스템에서, 특히 최소 노이즈 억제 필터 값들이 고정적으로 설정되어 처리된 오디오 신호의 오디오 품질이 저하된다는 문제점이 있다.

오디오 신호를 처리하는 기술된 문제점과 관련하여, 처리된 오디오 신호의 향상된 오디오 품질을 제공하는 개선된 개념에 대한 요구가 존재한다.

본 발명은 오디오 신호를 분석하여 오디오 신호의 복수의 대역에 대한 복수의 노이즈 억제 필터 값들을 결정하는 오디오 신호 분석기를 포함하는 오디오 신호 처리 장치를 제공하는 것을 목적으로 한다.

본 발명에 따른 바람직한 실시예는, 오디오 신호를 분석하여 오디오 신호의 복수의 대역에 대한 복수의 노이즈 억제 필터 값들을 결정하는 오디오 신호 분석기를 포함하는 오디오 신호 처리 장치를 생성하며, 상기 분석기는 노이즈 억제 필터 값이 최소 노이즈 억제 필터 값보다 크거나 같도록 노이즈 억제 필터 값들을 결정한다. 또한, 오디오 신호 분석기는 상기 최소 노이즈 억제 필터 값이 상기 오디오 신호의 특성에 의존하도록 구성된다. 또한, 상기 장치는 오디오 신호를 필터링하기 위한 필터를 포함하고, 상기 필터는 상기 노이즈 억제 필터 값들에 기초하여 조정된다.

기술된 실시예는 처리된 오디오 신호의 개선된 오디오 품질을 제공하는 데 있어 이점을 제공한다. 이 개선사항은 신호를 필터링하는 데 사용되는 노이즈 억제 필터 값 때문이며, 노이즈 억제 필터 값들은 최소 노이즈 억제 필터 값보다 크거나 같도록 조정된다. 전술한 방식으로 노이즈 억제 필터 값을 선택하는 것이 유리하기 때문에 작은 노이즈 억제 필터 값으로 인한 신호 처리로 인해 야기되는 신호 왜곡을 피할 수 있다. 또한, 최소 노이즈 억제 필터 값의 선택은 오디오 신호의 특성에 기초하여 유연한 방식으로 수행된다. 최소 노이즈 억제 필터 값의 유연성은, 예를 들면, 오디오 신호의 특성이 큰 경우에는 작은 최소 노이즈 억제 값이 결정되거나, 오디오 신호의 특성이 작은 경우는 최소 노이즈 억제 필터 값이 큰 값으로 설정되도록, 실현될 수 있다. 따라서, 최소의 노이즈 억제 필터는 다양한 잠재적인 오디오 신호에 대해 조정될 수 있다. 기술된 노이즈 억제 필터 값으로 오디오 신호를 필터링함으로써, 예를 들어, 노이즈 억제로 인해 보다 일정한 노이즈 레벨을 특징으로 하는 더 높은 품질의 오디오 신호가 얻어질 수 있다. 또한, 유연한 최소 노이즈 억제 필터 값으로 인해 필터가 노이즈를 효과적으로 억제하므로 처리된 오디오 신호의 보다 편안한 청취 경험을 얻을 수 있다.

또한, 설명된 장치는 바람직하지 않은 신호 성분, 예를 들어 배경 노이즈 성분이 억제 또는 감쇠되고, 원하는 신호 성분이 보존되거나 향상되도록 오디오 신호를 처리하는 데 유리할 수 있다. 특히, 예를 들어 스피치 신호가 오디오 신호의 원하는 성분으로 간주될 때, 기술된 실시예는 스피치 신호의 보전을 허용한다. 또한, 스피치 신호의 명료도가 바람직하지 않은 신호 성분의 감소로 인해 증가될 수 있다. 더욱이, 예를 들어, 청각 장애 청취자는, 음성 신호의 명료도가 청각 장애인에게 가장 중요한 주제이기 때문에, 전술한 실시예로 처리한 후의 신호로부터 크게 이익을 얻을 수 있다. 또한, 설명된 실시예는 청취자에게 편안한 청취 경험을 가능하게 하는데, 이는 바람직하지 않고 산만한 신호 성분이 감쇠되거나 제거되기 때문이다. 또한, 기술된 실시예는 오디오 신호가 예를 들어 마이크로폰에 의해 획득되고, 원하는 신호 성분의 에너지가 예를 들어 소스의 마이크로폰까지의 거리의 변화, 마이크로폰 감도 변화 또는 소스(예 : 말하는 사람)에 의해 방출되는 에너지의 양의 변화로 인해 변화할 때, 원하는 신호 성분을 향상시킬 수 있다.

바람직한 실시예에 따르면, 오디오 신호 분석기는 복수의 비제한된 노이즈 억제 필터 값 및 최소 노이즈 억제 필터 값에 기초하여 최대 결정을 사용하여 노이즈 억제 필터 값을 결정하도록 구성되며, 최소 노이즈 억제 필터 값은 오디오 신호의 복수의 대역에 대해 동일하다. 전술한 바와 같은 오디오 신호 분석기는, 예를 들어, 공격적인 노이즈 억제로 인한, 스피치 왜곡 또는 음악 톤을 회피하는 데 유리할 수 있다. 예를 들어, 대역에 대한 노이즈 억제 필터 값이 SNR (= 신호-대-노이즈 비)에 기초하여 추정되고, 예를 들어, 어떤 희망 신호가 여전히 존재하는데 SNR이 0임을 나타내는 비 신뢰 SNR 추정기가 사용되는 경우 대역이 완전히 억제될 수 있다. 대역의 전체 억제는 바람직하지 않은 인위적인 결과, 예를 들어 스피치가 대역 내에 실제로 존재할 때 스피치 왜곡, 또는 예를 들어 노이즈 형성으로 인한 음악 노이즈를 발생시킬 수 있다. 또한, 설명된 실시예는 복수의 대역에 대해 동일한 양의 최소 노이즈 억제를 용이하게 한다.

바람직한 실시예에 따르면, 오디오 신호 분석기는 오디오 신호의 특성으로서 오디오 신호의 프레임으로부터 이득 값을 계산하도록 구성된다. 이득 값은 오디오 신호를 향상시키는 데 유리할 수 있다. 예를 들어, 오디오 신호가 크게 변화하는 에너지를 갖는 원하는 신호 성분을 포함하는 경우, 에너지의 변화를 보상하기 위해 이득 값이 신호에 적용될 수 있다. 예를 들어, 원하는 신호 성분이 스피치 신호인 경우, 명료도는 오디오 신호에 대한 이득 값의 적용으로부터 크게 이익을 얻을 수 있다. 또한, 이득 값의 적용에 의해 보다 일정한 원하는 신호 에너지가 달성될 때, 예를 들어 청취의 편안함이 또한 증가될 수 있다.

바람직한 일 실시예에 따르면, 오디오 신호 분석기는 소정의 노이즈 억제 값 및 이득 값에 기초하여 최소 노이즈 억제 필터 값을 계산하도록 구성된다. 전술한 바와 같이 최소 노이즈 억제 필터 값을 계산하는 것은 최소 노이즈 억제 필터 값을 적용하는 데 유리할 수 있어, 오디오 신호의 원하는 신호 성분이 이득 값의 적용에 의해 증폭될 수 있지만, 바람직하지 않은 신호 성분, 예를 들어 배경 노이즈는 여전히 효과적으로 억제될 수 있다. 따라서, 예를 들어, 바람직하지 않은 신호 성분에 대한 설명된 바람직한 실시예의 전반적인 시스템 응답은 증폭되지 않을 것이다. 즉, 원하지 않는 신호 성분은 감쇠되거나 변경되지 않은 채 통과할 것이다.

또 다른 바람직한 실시예에서, 오디오 신호 분석기는 최소 노이즈 억제 필터 값이 증가하는 이득 값과 함께 감소하도록 최소 노이즈 억제 필터 값을 계산하도록 구성된다. 최소 노이즈 억제 필터 값과 이득 값 간의 설명된 역비례성은 이득 값을 오디오 신호에 적용할 때 유리할 수 있다. 예를 들어, 큰 이득 값이 제공되면, 이득 값에 종속된 오디오 신호의 노이즈 성분은 그에 따라 증폭될 것이다. 따라서, 이득 값에 비례하는 최소 노이즈 억제 필터를 감소시키는 것은 바람직한 실시예에 의해 달성되는 일정한 전체 노이즈 억제를 가져올 수 있다.

또 다른 바람직한 실시예에서, 오디오 신호 분석기는 소정의 노이즈 억제 값 그리고 소정의 노이즈 억제 값과 이득 값의 몫(quotient) 에 대한 최소 결정을 사용하여 최소 노이즈 억제 필터 값을 계산하도록 구성된다. 상술한 바와 같이 최소 결정을 사용하는 것은 예를 들어 작은 이득 값이 제공될 때 미리 결정된 노이즈 억제 값 및 이득 값의 몫이 큰 경우와 같이 편안한 청취 경험을 달성하는 데 유익할 수 있다. 따라서, 이러한 몫에 기초한 노이즈 감소는 불충분한 양의 노이즈를 감소시킬 수 있는 반면, 설명된 바람직한 실시예에서는 최소 노이즈 억제가 보장된다. 그에 따라, 노이즈가 적어도 희망하는 기 설정된 양까지 감소되기 때문에 편안한 청취 경험이 제공될 수 있다.

또 다른 바람직한 실시예에서, 오디오 신호 분석기는 제1 최소 결정에 따라 최소 노이즈 억제 필터 값을 결정하도록 구성되며, 상기 제1 최소 결정은 미리 결정된 노이즈 억제 값 및 제2 최소 결정의 결과에 의존한다. 제2 최소 결정의 결과는 이득 값의 역 및 최대 결정의 결과에 의존한다. 최대 판정의 결과는 소정의 왜곡 한계 값의 역수 및 소정의 노이즈 억제 값과 이득 값의 몫에 의존한다. 오디오 신호 분석기의 상술한 구성은, 예를 들어, 공격적인 노이즈 억제로 인한 스피치 왜곡과 같은 노이즈 감소 아티팩트를 감소시키는 데 유리할 수 있다. 특히, 큰 이득 값은 사전 결정된 노이즈 억제 값과 이득 값의 작은 몫으로 이어질 수 있으며, 결과적으로 0에 가까운 값을 초래할 수 있고, 따라서 이것이 최소 노이즈 억제 값으로서 적용될 때 잠재적으로 신호 왜곡을 야기할 수 있다. 최소 노이즈 억제 필터 값을 추정하는 것과 관련된 최대 결정에 의해 수행되는 바람직한 실시예에서 설명된 바와 같은 하한을 적용함으로써, 이러한 가능성을 회피하여 잠재적으로 보다 편안한 청취 경험을 가능하게 한다.

또 다른 바람직한 실시예에서, 상기 오디오 신호 분석기는, 상기 이득 값이 0과 1 사이에 있을 때, 최소 노이즈 억제 필터 값을 소정의 노이즈 억제 값과 동일하도록, 또는 상기 이득 값이 1보다 클 때 상기 최소 노이즈 억제 필터 값이 상기 소정의 노이즈 억제 값 및 상기 이득 값의 몫과 동일하도록 최소 노이즈 억제 필터 값을 결정하도록 구성된다. 상기 오디오 신호 분석기에 대해 설명된 구성은 이득 값에 따라 유연한 최소 노이즈 억제 필터 값을 제공하기 위해 유리하여, 큰 이득 값이 달성 가능한 노이즈 감소를 감소시키지 않는다.

또 다른 바람직한 실시예에서, 오디오 신호 분석기는 이득 값이 0과 1 사이일 때 소정의 노이즈 억제 값과 동일하도록 최소 노이즈 억제 필터 값을 결정하도록 구성된다. 그렇지 않으면, 상기 이득 값이 1과 상기 소정의 노이즈 억제 값과 소정의 왜곡 한계의 곱 사이일 때 상기 최소 노이즈 억제 필터 값이 상기 소정의 노이즈 억제 값과 상기 이득 값의 몫과 동일하다. 그렇지 않으면, 이득 값이 소정의 노이즈 억제 값과 미리 결정된 왜곡 한계의 곱보다 크고 미리 결정된 왜곡 한계보다 작은 경우, 최소 노이즈 억제 필터 값은 소정의 왜곡 한계의 역의 값과 동일하다. 그렇지 않은 경우, 이득 값이 소정의 왜곡 한계보다 클 때, 최소 노이즈 억제 필터 값은 이득 값의 역의 값과 동일하다. 상술한 바와 같이 구성된 오디오 신호 분석기는 큰 이득 값에 대해서조차도 더 큰 최소 노이즈 억제 필터 값을 제공함으로써 스피치 왜곡 또는 음악 톤을 회피하는 데 유리하며, 따라서 공격적인 노이즈 억제를 피한다.

또 다른 바람직한 실시예에서, 상기 오디오 신호 분석기는, 상기 오디오 신호의 복수의 대역들 중 일 대역을 분석하여, 상기 대역이 상기 오디오 신호의 제1 특성을 가지는지 또는 상기 제1 특성과 상이한 상기 오디오 신호의 제2 특성을 가지는지를 결정하도록 구성된다. 또한 오디오 신호 분석기는, 상기 대역에 대해 제2 특성이 결정되었을 때, 상기 이득 값이 0과 1 사이에 있을 때, 상기 노이즈 억제 필터 값들은 소정의 노이즈 억제 값과 상기 이득 값의 곱과 동일하도록, 상기 노이즈 억제 필터 값들을 결정하도록 구성된다. 또는, 상기 이득 값이 1과 상기 소정의 노이즈 억제 값과 소정의 왜곡 한계의 곱 사이일 때, 상기 노이즈 억제 필터 값들은 상기 소정의 노이즈 억제 값과 동일하다. 또는, 상기 이득 값이 상기 소정의 노이즈 억제 값과 상기 소정의 왜곡 한계의 곱보다 크고 소정의 왜곡 한계보다 작을 때, 상기 노이즈 억제 필터 값들은 상기 이득 값과 상기 소정의 왜곡 한계의 몫(quotient)과 동일하다. 또는, 상기 이득 값이 소정의 왜곡 한계보다 클 때, 상기 노이즈 억제 필터 값들은 1과 동일하다. 전술한 바와 같은 오디오 신호 분석기는, 예를 들어 제2 특성이 오디오 신호의 노이즈 내용을 기술하는 경우에 노이즈 억제 필터 값을 제공하는 데 유리할 수 있다. 제2 특성은 비-활성 프레임 또는 대역일 수 있는데, 예를 들어, 음성 활동이 해당 프레임 또는 대역에 음성이 존재하지 않음을 지시하는 경우이다. 기술된 노이즈 시나리오에서, 전체 시스템 응답은 노이즈의 증폭을 야기하지 않는다.

또 다른 바람직한 실시예에서, 오디오 신호 분석기는 오디오 신호의 제1 프레임에 대해 제1 최소 노이즈 억제 값을 야기하는 제1 이득 값을 계산하도록 구성된다. 또한, 상기 오디오 신호 분석기는 상기 오디오 신호의 제2 프레임에 대해, 평활화되지 않은 제2 최소 노이즈 억제 필터 값을 야기하는 제2 이득 값을 계산하도록 구성되며, 상기 제2 프레임은 상기 제1 프레임을 시간상 뒤따른다. 또한, 오디오 신호 분석기는 비-평활화된 제2 최소 노이즈 억제 필터 값 및 제1 최소 노이즈 억제 필터 값을 사용하여 제2 프레임에 대한 평활화된 최소 노이즈 억제 필터 값을 계산하도록 구성된다. 상술한 바와 같이 구성된 오디오 신호 분석기는 최소 노이즈 억제 필터 값의 큰 변동을 회피하는 데 유리할 수 있으며, 이로 인해 불편한 노이즈 펌핑 효과를 피하는 평활한 잔류 노이즈 레벨을 제공한다.

또 다른 바람직한 실시예에서, 상기 장치는 오디오 신호의 복수의 대역을 제공하는 오디오 신호의 주파수-도메인 표현을 제공하는 제1 시간-주파수 변환기를 포함한다. 또한, 오디오 신호 분석기는 오디오 신호의 복수의 대역 중 하나 이상의 대역 및 최소 노이즈 억제 값에 기초하여 오디오 신호의 복수의 대역 중 하나의 대역에 대한 노이즈 억제 필터 값을 계산하도록 구성된다. 또한, 최소 노이즈 억제 필터 값은 오디오 신호의 복수의 대역의 각 대역에 대해 동일한 소정의 노이즈 억제 값 또는 오디오 신호의 복수의 대역에 대해 동일한 소정의 왜곡 한계 및 상기 오디오 신호의 상기 복수의 대역의 각 대역에 대해 동일한 상기 오디오 신호의 특성으로부터 도출된 값에 기초한다. 상기 오디오 신호의 특성으로부터 도출된 값은 예를 들어 이득 값일 수 있다. 또한, 상술된 바와 같은 장치는 제1 시간-주파수 변환기에 기초하여 유연한 스펙트럼 분해능을 제공하는 데 유리할 수 있으며, 그에 따라 오디오 신호의 복수의 대역의 각 대역에 대한 개별 처리를 가능하게 한다.

또 다른 바람직한 실시예에서, 필터는 제2 복수의 대역을 얻기 위해 해당 대역에 대해 노이즈 억제 필터 값을 적용함으로써 오디오 신호의 복수의 대역의 각 대역을 변경하도록 구성된다. 또한, 상기 장치는 제2 복수의 대역들로부터 시간-도메인 출력 신호를 제공하도록 구성된 제2 시간-주파수 변환기를 포함한다. 상술된 바와 같은 장치는 제2 복수의 대역들로부터 도출된 출력에서 가청 오디오 신호를 생성하는 데 유리할 수 있다.

또 다른 바람직한 실시예에서, 상기 장치는 상기 오디오 신호 분석기에 의해 제공되는 상기 노이즈 억제 필터 값의 시간-도메인 변환을 제공하도록 구성된 제 2 시간-주파수 변환기를 포함한다. 또한, 필터는 시간 도메인 변환된 잡음 억제 필터 값과 오디오 신호를 컨벌루션함으로써 얻어지는 출력 오디오 신호를 제공하도록 구성된다. 상술한 바와 같은 장치는, 프레임 기반 프로세싱으로 인한 지연이 필터링에 필요하지 않기 때문에, 실시간에 가깝게 동작하는 저 지연 시스템을 얻는 데 유리하다.

또 다른 바람직한 실시예에서, 오디오 신호 분석기는 오디오 신호의 진폭 정보를 계산하도록 구성된다. 또한, 오디오 신호 분석기는, 오디오 신호의 진폭 정보 (오디오 신호의 특성) 및 소정의 목표 값에 기초하여, 오디오 신호의 특성(으로부터 도출된 값)으로서 이득 값을 계산하도록 구성되며, 오디오 신호는 이득 값에 의해 조정된다. 제공된 이득 값은 예를 들어, 다음과 같이 유리하게 사용될 수 있다. 예를 들어 오디오 신호 내의 원하는 신호 성분의 에너지를 변화시킴으로써 신호를 목표 값으로 예를 들어, 증폭 또는 감쇠시킨다.

또 다른 실시예에서, 오디오 신호 분석기는 진폭 정보의 계산 전에 심리음향 필터로 오디오 신호를 필터링하도록 구성된다. 또한, 상기 심리 음향 필터는 제1 주파수 범위에 대한 제1 감쇠 값, 및 제2 주파수 범위에 대한 제2 감쇠 값, 및 제 3 주파수 범위에 대한 제 3 감쇠 값을 나타내도록 구성된다. 또한, 필터는 제2 주파수 범위가 제1 주파수 범위와 제 3 주파수 범위 사이에 있도록 구성된다. 제1 주파수 범위, 제2 주파수 범위 및 제 3 주파수 범위는 중첩되지 않도록 구성될 수 있다. 또한, 필터는 제2 감쇠값이 제1 감쇠 값 및 제 3 감쇠 값보다 작도록 구성된다. 전술한 바와 같이, 심리 음향 필터에 의존하는 진폭 정보의 계산은 진폭 정보에 기초하여 이득 값의 주관적으로 보다 적합한 계산을 제공하는 데 유리할 수 있다. 예를 들어, dB(A), dB(B) 또는 dB(C)와 같이 심리음향적 측정치를 기반으로 계산된 이득 값은 오디오 신호에 적용될 때, 보다 편안한 청취 경험을 제공한다.

또 다른 바람직한 실시예에서, 오디오 신호 분석기는 오디오 신호의 제1 프레임의 제1 음성 활동 정보 및 오디오 신호의 제2 프레임의 제2 음성 활동 정보를 제공하는 음성 활동 검출 유닛, 및 이전 이득 값을 저장하는 메모리 유닛을 포함한다. 또한, 오디오 신호 분석기는 제2 음성 활동 정보에 따라 음성이 검출된 오디오 신호의 제2 프레임에 기초하여 이득 값을 추정하도록 구성된다. 대안적으로, 제1 음성 활동 정보에 기초하여 제1 프레임에서 음성이 검출된 경우, 상기 제2 음성 활동 정보에 따라 상기 제2 프레임에서 음성 활동이 검출되지 않으면 제1 프레임의 이득 값을 유지하도록 구성될 수 있는데, 여기서 제2 프레임은 상기 제1 프레임에 시간상으로 후속한다. 상술한 바와 같은 장치는 관심 신호가 없는 오디오 신호의 세그먼트에서 이득 값의 계산을 피하는 데 유리할 수 있으며, 이에 의해 바람직하지 않은 신호 성분의 증폭을 피할 수 있다.

바람직한 실시예에서, 오디오 신호 분석기는 현재 프레임에 대해 계산된 오디오 신호의 특성으로부터 도출된 값에 기초하여 현재 프레임에 대한 최소 노이즈 억제 값을 계산하도록 구성된다. 또한, 오디오 신호 분석기는 오디오 신호의 특성으로부터 도출된 값을 결정하기 위해 오디오 신호를 분석하도록 구성된다. 또한, 필터는 제1 필터 스테이지 및 제2 필터 스테이지를 포함하며, 제1 필터 스테이지는 오디오 신호의 특성(예를 들어, 이득 값)으로부터 도출된 값을 사용하여 조정된다. 또한, 제2 필터 스테이지는 노이즈 억제 필터 값에 따라 조정된다. 설명된 바람직한 실시예는 유연한 필터 구조를 가능하게 하는데, 예를 들어, 제1 스테이지 및 제2 스테이지는 서로 의존하지 않으면서 제1 스테이지가 제2 스테이지를 따를 수 있다.

또 다른 바람직한 실시예에서, 오디오 신호 분석기는 제1 프레임에 대해 계산된, 오디오 신호의 특성으로부터 도출된 값에 기초하여 제2 프레임에 대한 최소 노이즈 억제 값을 계산하도록 구성된다. 또한, 필터는 제1 필터 스테이지 및 제2 필터 스테이지를 포함하며, 제1 필터 스테이지는 노이즈 억제 필터 값에 따라 조정되고, 제2 필터 스테이지는 오디오 신호의 특성으로부터 도출된 값을 사용하여 조정된다. 또한, 오디오 신호 분석기는 오디오 신호의 특성으로부터 도출된 값을 결정하기 위해 제1 필터 스테이지의 출력을 분석하도록 구성되며, 제2 프레임은 시간상 제1 프레임을 따른다. 전술한 바와 같이 구성된 오디오 신호 분석기는 이전에 계산된 이득 값을 사용할 수 있기 때문에, 오디오 신호의 유연하고 낮은 지연 필터링을 가능하게 하는 데 유리하다.

또 다른 바람직한 실시예에서, 오디오 신호 분석기는 음성 활동 정보 및 오디오 신호에 기초하여 이득 값을 결정하도록 구성된다. 대안적으로, 오디오 신호 분석기는 노이즈 억제 필터 값에 의해 필터링된 후의 오디오 신호 및 음성 활동 정보에 기초하여 이득 값을 결정하도록 구성된다. 또한, 오디오 신호 분석기는 오디오 신호에 기초하여 음성 활동 정보를 획득하도록 구성된다. 또한, 오디오 신호 분석기는 필터에 의해 필터링된 후의 오디오 신호에 기초하여 음성 활동 정보를 얻도록 구성된다. 대안적으로, 오디오 신호 분석기는 존재하는 음성이 없음을 지시하는 음성 활동 정보가 이득 값을 감소시키는 데 사용되도록 구성된다. 전술한 바와 같은 오디오 신호 분석기는 이득 계산에 어떤 신호가 사용되는지 또는 어떤 신호가 음성 활성 검출에 사용되는지에 관한 유연성을 제공하고, 스피치가 일시 정지한 동안 이득 값을 감소시키거나 스피치가 일시 정지한 동안 심지어 이득을 적용하지 않음으로써 노이즈 증폭을 회피한다.

본 발명의 실시예들은 오디오 신호를 처리하는 방법을 제공하는데, 상기 방법은 상기 오디오 신호의 복수의 대역들에 대한 복수의 노이즈 억제 필터 값들을 결정하기 위해 오디오 신호를 분석하는 단계; 노이즈 억제 필터 값이 최소 노이즈 억제 필터 값보다 크거나 같도록 상기 노이즈 억제 필터 값들을 결정하되, 상기 최소 노이즈 억제 필터 값은 상기 오디오 신호의 특성에 의존하도록 하는, 상기 노이즈 억제 필터 값들을 결정하는 단계; 및 상기 노이즈 억제 필터 값들에 기초하여 상기 오디오 신호를 필터링하는 단계를 포함한다. 설명된 방법은, 예를 들어, 오디오 신호의 특성이 오디오 신호에 적용될 수 있는 이득 값을 추정하는 데 사용될 때 유리하다. 또한, 이득 값에 따라 필요한 노이즈 억제 필터 값들을 적절하게 선택함으로써, 유연한 노이즈 억제 필터가 이 값으로 조정될 수 있다. 이에 의해, 바람직하지 않은 신호 성분의 증폭을 피할 수 있고, 원하는 성분의 보전 또는 증진을 달성할 수 있어 편안한 청취 경험을 가능하게 한다.

또 다른 바람직한 실시예는 컴퓨터 프로그램이 컴퓨터 또는 마이크로 컨트롤러 상에서 실행될 때 상기 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램을 포함한다.

또한, 본 발명의 측면들은 노이즈 억제 필터 값을 결정하기 위해 오디오 신호를 분석하고 노이즈 억제 필터 값에 기초하여 오디오 신호를 필터링하는 장치에 관한 것으로, 최소 억제 필터 값은 오디오 신호의 특성에 의존한다.

또한, 본 발명의 실시예들은 노이즈 레벨의 임의의 증폭 또는 급격한 변동을 방지하면서, 출력 신호의 음성 신호 레벨을 자동 제어하는 수단을 제공하는 조인트 노이즈 감소 및 자동 이득 제어 장치 및 방법에 관한 것이다. 본 발명의 다른 실시예들은 큰 이득 값, 예를 들어 AGC(=자동 이득 제어) 이득에 대한 신호 왜곡을 완화하기 위한 제어 메커니즘을 포함하는 장치들 및 방법들을 기술한다. 또한, 본 발명의 실시예는 NR(=노이즈 감소) 및 AGC를 공동으로 수행하는 것에 관한 것이다. 본 발명의 또 다른 측면은 노이즈 레벨의 임의의 증폭 및 바람직하지 않은 변동을 방지하면서 원하는 스피치 성분에 대한 자동 이득 제어 메커니즘을 제공하는 것이다.

또한, 본 발명의 측면들은 오디오 신호를 처리하는 분야에 관한 것으로서, 보다 상세하게는 오디오 신호의 레벨, 예를 들어 소정의 원하는 스피치 컴포넌트 및 일부 원하지 않는 노이즈 성분을 포함하는 오디오 신호의 레벨을 자동으로 조정하는 접근법에 관한 것이다.

또한, 본 발명의 측면들은 노이즈 레벨의 임의의 증폭 또는 급격한 변동을 방지하면서 출력 신호의 스피치 신호 레벨을 자동으로 제어하는 수단을 제공하는 조인트 노이즈 감소 및 자동 이득 제어를 위한 실시예에 관한 것이다. 본 발명의 측면들은 큰 AGC 이득에 대한 신호 왜곡을 완화하기 위한 제어 메커니즘을 더 포함한다.

본 발명의 실시예에 따르면, 노이즈 억제 필터 값으로 오디오 신호를 필터링함으로써 더 높은 품질의 오디오 신호를 얻을 수 있다. 또한, 유연한 최소 노이즈 억제 필터 값으로 인해 필터가 노이즈를 효과적으로 억제하므로 처리된 오디오 신호의 보다 편안한 청취 경험을 얻을 수 있다.

도 1은 본 발명에 따른 일 실시예의 블록도이다.
도 2는 도 1에 따른 장치의 실시예의 오디오 신호 분석기의 블록도이다.
도 3은 본 발명에 따른 장치의 일 실시예의 블록도이다.
도 4는 본 발명에 따른 장치의 일 실시예의 블록도이다.
도 5는 도 2에 따른 오디오 신호 분석기의 필터 값 선택 스테이지의 블록도이다.
도 6은 도 2에 따른 오디오 신호 분석기의 필터 값 선택 스테이지의 블록도이다.
도 7은도 2에 따른 오디오 신호 분석기의 필터 값 선택 스테이지의 블록도이다.
도 8은 본 발명에 따른 바람직한 일 실시예의 블록도이다.
도 9는 본 발명에 따른 바람직한 일 실시예의 블록도이다.
도 10은 전체 시스템 응답의 다이어그램을 도시한다.
도 11은 이득 값에 따른 최소 노이즈 억제 필터 값의 다이어그램을 도시한다.
도 12는 신호 처리 전 및 후의 신호의 그래프를 도시한다.
도 13은 전이중(full-duplex) 음성 통신 시나리오의 블록도이다.
도 14는 전이중 음성 통신 시나리오의 수신기 또는 송신기 측의 블록도이다.
도 15는 본 발명의 일 측면에 따른 블록도이다.
도 16은 본 발명의 일 측면에 따른 블록도이다.
도 17은 본 발명의 일 측면에 따른 블록도이다.
도 18은 본 발명에 따른 바람직한 일 실시예에 따른 블록도이다.
도 19는 본 발명에 따른 바람직한 일 실시예에 따른 블록도이다.

아래에서, 본 발명의 실시예들이 첨부된 도면과 관련하여 설명된다.

도 1은 오디오 신호(110)를 처리하기 위한 본 발명의 일 실시예에 따른 장치(100)의 블록도로서, 오디오 신호(110)는 스펙트럼 표현으로 제공될 수 있고, 필터(120)는 오디오 신호 분석기(130)에 의해 제공된 노이즈 억제 필터 값들에 따라 조정된다. 노이즈 억제 필터 값들은 최소 노이즈 억제 필터 값(130b')보다 크도록 오디오 신호 분석기에서 결정된다(130a). 최소 노이즈 억제 필터 값(130b')은 오디오 신호 분석기(130) 내 130c에서 결정된 오디오 신호의 특성(130c')에 기초하여 130b에서 결정된다. 또한, 추정은, 오디오 신호의 복수의 대역에 대해 130d에서 추정된 비제한된 노이즈 억제 필터 값들(130d')에 기초한다. 또한, 오디오 신호의 복수의 대역들에 대한 오디오 신호의 특성(130c')은 동일하다. 비제한된 노이즈 억제 필터 값들(130d')은 예를 들어, 오디오 신호(110), 예를 들어 입력 오디오 신호의 전력 스펙트럼 밀도(PSD)

및 오디오 신호(110)에 포함된 노이즈

의 PSD에 기초하여, 위너 필터와 같은 최적의 필터에 따라 추산될 수 있는데,

여기서, 예를 들어, m은 시간 프레임 인덱스이고, k는 스펙트럼 서브밴드 인덱스이다. 위너 필터

는 상술한 바와 같이 계산된 노이즈 신호로부터 원하는 신호를 추출한다. 실제로, PSD는 위너 필터에 대해 추정되어야 한다.

예를 들어 입력 스펙트럼과 같은 오디오 신호의 복수의 대역을 상기 필터

와 예를 들어, 프레임 단위로(frame-by-frame basis) 곱함으로써 주파수 영역에서 강화된 신호가 얻어질 수 있다.

아래와 같이 정의되는 SNR을 살펴보면,

위너 필터

에 대한 수식은 아래와 같이 재정리될 수 있다.

따라서 위너 필터

는

에 대해 값 0을 취하고 큰 SNR 값에 대해 1로 수렴하는데, 이는 원하는 신호 성분은 유지하면서 노이즈를 감쇠시키는 목적하는 동작이다. 대안으로, 스펙트럼 진폭 추정기 [4]와 같은 다른 유형의 필터가 비제한된 노이즈 억제 필터 값들을 추산하는 데 사용될 수 있다. 또한, 비제한된 노이즈 억제 필터 값은 경험적 함수(heuristic function)에 기초할 수 있다.

오디오 신호(100)는 원하는 성분, 예를 들어 음성 및 배경 노이즈와 같은 일부 원하지 않는 성분을 포함할 수 있다. 필터(120)는 신호 분석기(130)에 의해 조정되어, 예를 들어 오디오 신호(110)의 음성 신호 성분은 필터(120)로 오디오 신호(110)를 필터링한 이후에 더 인식하기 쉽다. 또한, 오디오 신호(110)의 원하지 않는 성분은 필터(120)로 오디오 신호(110)를 필터링한 후에 억제될 수 있다. 비제한된 노이즈 억제 필터 값들에 대한 제한으로서 작용하는 최소 노이즈 억제 필터 값은 신호 강화를 가능하게 하고 스피치 왜곡 또는 음악적 톤(musical tones)을 회피한다.

장치(100)는 신호 향상 및 노이즈 억제 사이의 트레이드오프를 제공하면서, 오디오 신호(110)의 원하는 신호 성분의 향상을 용이하게 한다. 이 트레이드오프는 제한 조건으로 작용하는 최소 노이즈 억제 필터 값에 의해 특징지워지는데, 이것이 원하지 않는 신호 성분을 더 많이 제거하거나 신호 왜곡을 피하기 위해 원하지 않는 신호 성분의 제거를 줄이기 위해 조정될 수 있기 때이다.

도 2는 도 1에 도시된 바와 같은 장치(100)에 따른 본 발명의 일 실시예의 오디오 신호 분석기(130)의 블록도를 도시한다. 오디오 신호 분석기(130)는 오디오 신호의 복수의 대역들(215)의 각 대역에 기초하여, 비제한된 노이즈 억제 필터 값 추정(210)을 수행한다. 오디오 신호의 복수의 대역들(215)의 각 대역에 대해, 비제한된 노이즈 억제 필터 값(220) 이 오디오 신호 분석기(130)에서 추정된다. 또한, 오디오 신호의 특성(예를 들어, 이득 값) 으로부터 도출된 값(232) 및 기 설정된 노이즈 억제 값(234)에 기초하여 최소 노이즈 억제 값 추정(230)이 수행된다. 비제한된 노이즈 억제 필터 값들(220) 및 최소 노이즈 억제 필터 값(240)은 노이즈 억제 필터 값들(250)을 결정하는 데 사용된다. 이는 예를 들어, 오디오 신호의 복수의 대역들(215)에 대한 복수의 노이즈 억제 필터 값들(260)이 얻어지도록 최대 연산을 수행함으로써 행해질 수 있다. 최대 연산(250)에 의해 얻어진 노이즈 억제 필터 값(260)은 최소 노이즈 억제 필터 값(240)보다 크도록 보장되므로, 작은 값들의 또는 0과 같은 값들의 노이즈 억제 필터 값들을 피할 수 있다. 작은 값들의 또는 0과 같은 값들의 노이즈 억제 필터 값들(260) 을 회피함으로써, 달성 가능한 노이즈 억제는 최소 노이즈 억제 필터(240) 값에 의해 제한되어, 적극적인 노이즈 억제로 인한 잠재적인 왜곡을 피한다.

도 3은 본 발명의 바람직한 일 실시예에 따른 장치 300의 블록도를 도시한다. 장치 300은 오디오 신호 분석기(130) 및 필터(310)를 포함한다. 또한, 장치 300은 제1 시간-주파수 변환기(320a) 및 제2 시간-주파수 변환기(320b)를 포함한다. 또한, 장치 300은 필터(310)로 오디오 신호(110)를 필터링하기 전 또는 후에 오디오 신호(110)에 이득 값을 적용하는 것을 허용한다. 이 선택사항은 스위치 330a 및 330b에 의해 표시되어 있다. 또한, 장치(300)는 필터(310)로 오디오 신호(110)를 필터링하기 전 또는 후에, 오디오 신호(110)의 특성(예를 들어, 이득 값)으로부터 도출된 값을 계산할 수 있도록 하는 다른 스위치(330c)를 포함한다. 또한, 오디오 신호 분석기(130)는 음성 활동 검출(340), 필터(342) 및 메모리 유닛(346)을 포함한다. 음성 활동 검출(340)의 결과에 따라, 음성이 검출되었을 때, 심리음향 필터(342)에 의해 필터링된 오디오 신호(110)에 기초하여 예를 들어 진폭 정보와 같은 오디오 신호의 특성(348a)이 계산된다(348).

또한, 음성 활동 검출(340)에 의해 음성이 검출되었을 때, 진폭 정보(348a) 및 목표 값에 기초하여 새로운 이득 값이 계산된다(350). 또한, 스위치(352)는 음성 활동 검출(340)에 의해 음성이 검출되지 않을 때 메모리 유닛(346)에 유지되는 오래된 이득 값의 사용을 활성화한다. 반대로, 음성 활동 검출(340)에 의해 음성이 검출되면, 메모리(346)의 오래된 이득 값은 현재 프레임(350a)의 이득 값에 의해 덮어쓰기될 것이다.

또한, 오디오 신호 분석기(130)는, 예를 들어 위너 필터에 기초하여, 오디오 신호의 복수의 대역(354)을 기초로 비제한된 노이즈 억제 필터 값(356)을 계산하도록 구성된다. 또한, 오디오 신호 분석기(130)는 최소 노이즈 억제 필터 값(358)을 결정하도록 구성될 수 있는데, 이는 예를 들어, 노이즈 감쇠 한계

또는 소정의 왜곡 한계치(358a)와 같은 소정의 노이즈 억제 값

(234), 및 오디오 신호의 특성, 예를 들어 이득 값으로부터 도출된 값에 기초한다. 현재 프레임에서 음성 활동 검출(340)에 의해 음성 활동이 검출되지 않으면, 최소 노이즈 억제 필터 값 추정(358)은 메모리 유닛(346)에 저장된 이득 값에 대한 최소 노이즈 억제 값(358c)의 계산에 의존할 수 있다. 현재의 프레임에서 음성이 활성이면, 현재 이득 값이 최소 노이즈 억제 값 추정(358)을 위해 사용될 수 있고, 이전 및 새로운 이득 값 사이의 선택은 스위치(358b)에 의해 구현된다.

최소 노이즈 억제 필터 값 추정(358)에서 얻어진 최소 노이즈 억제 필터 값(358c)은 선택적인 스무딩(360)을 받을 수 있다. 오디오 신호의 복수의 대역(354)에 대해 동일한, 스무딩된 또는 비-스무딩된 최소 노이즈 억제 필터 값(360a) 및 비제한된 노이즈 억제 필터 값 추정(356)에 의해 얻어진 복수의 비제한된 노이즈 억제 필터 값(356a)은 최대 연산(362)을 거친다. 최대 연산(362)은 필터(310)를 조정하기 위해, 오디오 신호의 복수의 대역(354)에 대해 노이즈 억제 필터 값들(364)을 제공한다.

가장 간단한 형태로 일정한 최소 노이즈 억제 값이 적용된다. 위너 필터

는

에 대해 값 0을 취하고 큰 SNR 값에 대해 1로 수렴하는데, 이는 원하는 신호 성분들, 예를 들어, 오디오 신호의 스피치를 유지하면서 원하지 않는 신호 성분, 예를 들어, 노이즈을 감쇠시키는 목적하는 동작이다. 일정한 최소 노이즈 억제 필터 값

가 적극적인 노이즈 감소를 피하기 위해 사용될 수 있다. 따라서, 노이즈 억제 필터 값은 다음과 같은 최대 노이즈 감쇠량으로 제한되는데,

,

여기서, 상기 식은 위너 필터 기반 비제한된 노이즈 억제 필터 값들

에 대해 기술되어 있지만, 그에 따라 다르게 획득된 비제한된 노이즈 억제 필터 값들

에도 적용될 수 있다. 노이즈 감쇠 한계

은

로 정의된다. 이는 필터

의 최대 노이즈 감쇠에 대응하며, 스피치가 일시 정지된 동안, 바람직한 노이즈 감쇠량, 즉

로도 해석될 수 있다. 이는 일반적으로 -20dB에서 -10dB 사이에서 선택된다. 위너(Wiener) 필터 대신에 다른 필터링 규칙을 또한 사용할 수 있으므로, 상기 방정식은 다음과 같이 일반화될 수 있는데,

여기서,

는 임의의 노이즈 감소 규칙에 기초한, 임의의 비제한된 노이즈 억제 필터 값을 나타낸다.

필터(310)는 오디오 신호의 각 대역(354a-d)에 노이즈 억제 필터 값들(364a-d) 중 적절한 값을 적용한다. 필터(310)로 오디오 신호(354)의 복수의 대역들을 필터링함으로써 제2 복수의 대역들(366)이 얻어진다. 제2 복수의 대역들(366)은 제2 시간-주파수 변환기(320b)를 이용해 시간 영역으로 변환될 수 있어, 가청 신호가 얻어진다.

또한, 스위치들(330a, 330b)로 표시된, 오디오 신호(110)를 필터링하기 전후의 이득 값과의 곱셈은 장치(300)가 오디오 신호(110) 내 낮은 레벨의 원하는 신호 성분을 보상할 수 있도록 한다. 또한, 장치(300)은 필터(310)로 주파수 영역에서 오디오 신호(110)를 필터링함으로써, 시간 영역 기반 콘볼루션에 비해 주파수 영역에서의 연산으로 인한 파워 절감을 제공한다.

주어진 AGC 이득 값

에 대해, 오디오 신호(110)의 특성으로부터 유도된 값으로서, 조인트 NR + AGC 태스크는, 원하는 신호가 더 이상 오디오 신호(110)의 원하는 신호 성분, 예를 들어 음성 신호 그 자체이지만 AGC 이득에 의해 스케일링된, 원하는 신호 성분이 아닌 필터링 문제로 고려된다. 예를 들어 시끄러운 입력 신호로부터 스케일링된 원하는 신호 성분, 예를 들어 스피치 신호를 추출하는 위너 필터를 유도하면, 다음의 필터링 규칙이 얻어지는데,

상기 규칙은 노이즈 감소를 위해 상기 기술된 바와 같이, 위너 필터

의 함수로서 재형성될 수 있다.

여기서,

는 이득 값, 예를 들어, AGC 스케일링 팩터이다.

전술한 바와 같이, 신호 왜곡을 제한하기 위해 노이즈 감쇠 한계

가 아래와 같이 제안된다.

그러므로,

의 검사로부터, NR과 AGC를 함께 수행하는 것이 위너 필터의 출력에서(또는 동일하게 그것의 입력에서) AGC 스케일링 팩터

를 적용하는 것과 동일하다는 것을 알 수 있으며, 이는 최소 노이즈 억제 값, 예를 들어, AGC 이득에 비례하는, 노이즈 감쇠 한계를 조건으로 한다.

또한,

에 대한 상기 식은 임의의 최적 또는 경험적 필터링 규칙으로 아래와 같이 일반화될 수 있다.

where

.

또한, 최소 노이즈 억제 값 및 그에 따른 노이즈 억제 필터 값들은 오디오 신호(110)의 원하는 신호 성분, 예를 들어 스피치의 레벨, 그리고 출력에서의 노이즈 레벨을 더 양호하게 제어할 수 있도록 결합 방식으로 AGC 및 NR 프로세싱을 수행함으로써 추정될 수 있다. 레벨 추정 및 이득 계산 단계를 트리거하기 위해 VAD(=Voice Activity Detection; 음성 활동 탐지)가 이용되지만, 음성 활동에 관계없이, 각 프레임에 대해 NR 출력 신호와 AGC 이득의 곱셈이 수행된다. 본 발명의 일 측면에 따르면, 필터링은 고정된 최소 노이즈 억제 값, 예를 들어, 고정된 노이즈 감쇠 한계에 의존하지 않는다. 대조적으로, 오디오 신호(110)의 특성으로부터 유도된 값, 예를 들어 AGC- 이득, 종속적인(따라서, 예를 들면 시변하는) 최소 노이즈 억제 필터 값, 노이즈 감쇠 한계

가 적용되어 아래의 NR 필터가 산출되는데,

여기서,

는 원하는 노이즈 감쇠

및 AGC 이득의 함수로서 프레임 단위로 적용된다. 위첨자 [UC]는 이후 제시되는 제한된 경우와는 달리 비제한된 경우를 나타낸다.

본 발명의 일 측면에 따르면, 이득 값 의존 최소 노이즈 억제 필터 값, 예를 들어, 노이즈 감쇠 한계

는

에 따라 얻을 수 있다. 또 다른 측면에 따르면, 최소 노이즈 억제 값, 예를 들어, 비제한된 노이즈 감쇠 한계는 AGC가 신호를 감쇠시킬 때 노이즈의 더 나은 감쇠를 얻기 위해 다른 방식으로 정의된다(즉,

).

AGC 이득은 AGC 이득의 함수로서 NR 이득을 스케일하는 데 사용되지 않는다. 대신에, AGC 이득은 최소 노이즈 억제 필터 값

, 예를 들어 노이즈 감쇠 한계를 통해 NR 필터

설계에 직접 포함된다.

고정된 한계치

대신에 시변 노이즈 감쇠 한계

를 사용하는 이점을 설명하기 위해 전체 필터의 응답,

이 스피치(높은 SNR)에 의해 또는 노이즈(낮은 SNR)에 의해 주로 점유된 시간-주파수 영역에 대해 도출된다.

*

인 경우

o 노이즈에 의해 지배되는 낮은-SNR 시간-주파수 영역에서, NR 필터

가 그 최소치인

에 다다르고 그에 따라 전체 시스템 응답

은 아래와 같이 되는데,

이는 노이즈에 의해 지배되는 세그먼트가 AGC 이득에 관계없이 원하는 노이즈 감소의 양만큼 스케일링된다는 것을 보여준다.

o 스피치에 의해 지배되는 높은-SNR 시간-주파수 영역에서, NR 필터는 스피치를 거의 변화시키지 않는다고 가정할 수 있는데, 즉

이고, 따라서 총 응답은 다음과 같으며,

이는 스피치에 의해 지배되는 세그먼트가 노이즈 감소의 원하는 양에 관계없이 원하는 대로 AGC 이득에 의해 스케일링됨을 나타낸다.

*

인 경우

위와 같은 추론을 사용하여 다음과 같이 쓸 수 있는데,

,

,

이는 스피치 세그먼트가 예상대로 AGC 이득

에 의해 스케일링되고, 노이즈가 원하는 노이즈 감쇠량

에 의해 적어도 감쇠됨을 나타낸다.

따라서 노이즈 감쇠 한계를 원하는 노이즈 감쇠의 함수로 적용하면 아래 식,

에 따른 AGC 이득은 양의(positive) AGC 이득에 대해 시스템 출력에서 음성 및 노이즈 레벨의 완벽한 제어를 제공한다. 따라서, 그래프 1250에 도시된 바와 같이, 일관된 스피치 및 노이즈 레벨이 달성될 수 있고 노이즈 펌핑 효과가 회피될 수 있다.

AGC가 입력 신호를 감쇠시킬 때, 즉

일 때,

로부터 노이즈는 입력에 비해 출력에서 증폭되지 않으며 최소 노이즈 감쇠량이 보장됨을 확인할 수 있다. 이 경우 시변하는(time-varying) AGC 감쇠로 인해 야기되는, 낮은 레벨이지만 시간에 따라 변하는 노이즈 플로어가 발생한다. 하지만, 실제로는 입력 스피치 레벨은 비교적 일정하게 유지된다고 가정할 수 있다. VAD가 스피치 존재를 정확하게 검출할 수 있다면, AGC 이득은 수렴 후에 단지 천천히 변동할 것이고, 시스템 출력에서의 절대 노이즈 레벨은 단지 천천히 변화할 것이고, 이로써 노이즈 펌핑 효과를 피할 것이다.

전술한 바와 같이, 최소 노이즈 억제 필터 값(360a)은 원하는 노이즈 감쇠 및 AGC 이득의 함수로서 도출된다. 이는 예를 들어, 아래 식에 기초하여 얻을 수 있다.

이 접근법은 큰 AGC 이득

에 대해 임의의 작은 노이즈 감쇠 한계를 생성할 수 있다. 공격적으로 노이즈를 줄이면 가청 인공물(artefacts)이 실제로 발생할 수 있다. 발생하는 일반적인 인공물은 다음과 같다.

·스피치 왜곡, 특히 스피치가 가장 약한 고주파수에서

·배경 노이즈의 매우 비-고정적인 채색(coloration)에 의해 특징지워지는 음악 톤들

큰 AGC 이득에 대한 덜 적극적인 노이즈 감소, 즉 적당한 노이즈 감소를 얻고 그에 따라 노이즈 감소 인공물을 완화하기 위해, 노이즈 감쇠 한계에 대한 제한이 부과될 수 있다. 본 발명의 일 측면에 따르면, 최소 노이즈 억제 필터 값(360a)이 AGC 이득

, 소정의 노이즈 억제 값

(234), 예를 들어, 원하는 노이즈 감쇠량 및 왜곡 한계

(358a)의 함수로서 계산되어, 아래와 같이 도출되는데,

여기서, 위첨자 [DC]는 위첨자 [UC]로 표시된 전술한 경우와 달리 왜곡-제한된 경우를 나타낸다. 이러한 접근법은도 7 및 도 9에 보다 상세히 도시되어 있다.

왜곡-제한된 경우의 NR 필터는 전술한 바와 유사한 방식으로, 즉 아래와 같이 얻어질 수 있고,

NR 및 AGC를 수행하는 전체 필터를 도출할 수 있다.

왜곡 한계

(358a)은

을 만족해야 하는 상수이다. 또한 시스템에서 허용하는 SNR 개선 정도로 이해할 수 있다. 낮은

은 노이즈 감소에 대한 우수한 보호를 제공하지만 노이즈의 감쇠가 희생된다. 이것은 그래프 1260에 묘사되는데, 음성이 증폭되면 노이즈 레벨이 증가한다. 매우 큰 왜곡 한계

(358a)이 기본적으로 제한을 완화하고

가 그것의 비제한된 대응물인

과 동일해짐이 쉽게 증명될 수 있다. 왜곡 한계는 일반적으로 15dB및 25dB 사이에서 선택된다.

추가적으로, 시간에 따라 노이즈 감쇠 한계, 즉 최소 노이즈 억제 필터 값을 평활화하기 위해, 시간 스무딩과 같은 프로세싱 도구를

또는

에 사용할 수 있다.

도 4는 본 발명의 바람직한 실시예에 따른 장치(400)의 블록도를 도시한다. 장치(400)는 도 3에 설명된 바와 같이 오디오 신호 분석기(130)를 포함한다. 또한, 장치(400)는 오디오 신호의 복수의 대역(354)을 오디오 신호 분석기(130)로 제공하도록 구성된, 제1 시간-주파수 변환기(320a)를 포함한다. 또한, 장치(400)는 노이즈 억제 필터 값들(364)의 시간 영역 표현을 제공하도록 구성된 제2 시간-주파수 변환기(320b)를 포함한다. 제2 시간-주파수 변환기(320b)는 노이즈 억제 필터 값들(464)의 시간 도메인 표현을 제공한다. 또한, 장치(400)는 노이즈 억제 필터 값들(464)의 시간 도메인 표현에 따라 조정되는 필터(410)를 포함한다.

필터(410)는 오디오 신호(110) 및 노이즈 억제 필터 값들(464)의 시간 영역 표현의 시간 영역 컨벌루션을 수행하도록 구성된다. 장치 300과 유사하게, 장치 400은 스위치(320c)에 의해 표시된 바와 같이, 필터(410)로 필터링하기 전 또는 필터(410)로 필터링 한 후에 오디오 신호(110)에 기초하여 신호 분석기에서 음성 활동 검출(340)을 적용할 수 있는 가능성을 제공한다. 또한, 이득 값은 스위치(330a 및 330b)로 표시된 바와 같이, 필터(410)로 필터링하기 전에 또는 필터(410)로 필터링 한 후에 오디오 신호에 적용될 수 있다. 장치 400은 장치 300에 대해 설명된 바와 같은 주파수 도메인에서의 프레임 단위 프로세싱과 비교할 때 그 시간 도메인 기반 필터링을 통해 더 낮은 지연을 제공한다.

도 5는 오디오 신호 분석기(130)의 노이즈 억제 필터 값 결정을 도시한다. 제1 단계(510)에서, 소정의 노이즈 억제 값

와 이득 값

간의 몫이 계산됨으로써, 최소 노이즈 억제 필터 값(358c)이 결정된다. 다음 단계(520)에서, 비제한된 노이즈 억제 필터 값들

(356a)은 최소 노이즈 억제 값과 각각 비교되어, 최소 노이즈 억제 필터 값(358c)보다 작은 비제한 노이즈 억제 필터 값들(356a)의 값들은 최소 노이즈 억제 필터 값(358c)으로 설정된다. 이것은 다음과 같이 설명될 수 있으며,

그에 따라, 노이즈 억제 필터 값들(364)이 얻어진다. 노이즈 억제 필터 값들의 전술한 아래쪽 경계(lower bounding)는 너무 과도한 노이즈 감소로 인한 왜곡을 피하는 데 유리할 수 있다.

도 6은 본 발명의 바람직한 일 실시예에 따른 오디오 신호 분석기(130)에서 노이즈 억제 필터 값 선택을 도시한다. 제1 단계(510)에서, 소정의 노이즈 억제 값(234)과 이득 값 간의 몫이 계산된다. 다음 단계에서, 소정의 노이즈 억제 값(234)과 이득 값의 몫과 미리 결정된 노이즈 억제 값(234) 사이의 최소 결정(620)이 이루어진다. 이에 의해, 소정의 노이즈 억제 값(234)에 대한 최소 노이즈 억제 필터 값(358c)을 상한 경계로 하는 최소 결정으로 인해, 이득 값이 작을 때 큰 최소 노이즈 억제 필터 값(358c)이 회피될 수 있다. 즉, 소정의 노이즈 억제 값(234)에 의해 상한 경계지워지는 최소 노이즈 억제 필터 값(358c)이 얻어진다. 최소 노이즈 억제 필터 값(358c)의 선택은 다음의 식에 요약될 수 있다.

최종 단계에서, 최소 노이즈 억제 필터 값(358c)은 비제한된 노이즈 억제 필터 값(356a)과 비교되어, 최대 결정(630)에 기초하여, 최소 노이즈 억제 필터 값(358c)에 의해 하한 경계지워지는 노이즈 억제 필터 값들(364)이 얻어진다 . 작은 이득 값

이 제공되더라도, 설명된 추정은 노이즈 억제를 보장하여, 작은 이득 값에 의해 달성되는 전체 신호 감쇠를 넘어 노이즈 감소가 얻어진다.

도 7에서, 최소 노이즈 억제 필터 값 결정은 본 발명의 바람직한 일 실시예에 따른 오디오 신호 분석기(130)에서 수행되는 것으로 설명된다. 제1 단계에서, 소정의 노이즈 억제 값(234)과 이득 값의 몫이 계산된다. 소정의 노이즈 억제 값(234)과 이득 값 간의 몫은 소정의 왜곡 한계(358a)의 역과 함께 제1 최대 결정(710)으로 제공된다. 제1 최대 결정(710)의 결과는 이득 값(705)의 역수에 대한 제1 최소 결정(720)에 제공된다. 또한, 제1 최소 결정(720)의 결정의 결과는 미리 결정된 노이즈 억제(234) 값에 대한 제2 최소 결정(730)으로 제공된다. 따라서, 최소 노이즈 억제 필터 값(358c)은 제2 최소 결정(730)의 결과로서 얻어진다.이 절차는 소위 왜곡 제한된 최소 노이즈 억제 필터 값, 예를 들어, 왜곡 제한된 노이즈 감쇠 한계를 도출한다. 제한 조건(constraint)의 의미를 더 잘 이해하기 위해 다음과 같이 재구성할 수 있다.

전술한 바와 같이 계산된 노이즈 감쇠 한계에 대한 업데이트 규칙은 다음과 같이 등가적으로 공식화될 수 있으며,

,

도 11의 그래프에 실선으로 "왜곡-제한된(Distortion-constrained)"으로 표시되어 있다.

제2 최대 결정(740)에서, 최소 노이즈 억제 필터 값(358c)은 각각의 개별 비제한 노이즈 억제 필터 값(356a)과 비교되므로, 최소 노이즈 억제 필터 값(358c)보다 작은 비제한 노이즈 억제 값은 최소 노이즈 억제 필터 값(358c)으로 설정되고, 그에 따라 노이즈 억제 필터 값들(364)을 얻는다. 전술한 바와 같은 노이즈 억제 필터 값 결정은 공격적인 노이즈 감소로 인한 신호 왜곡들을 회피하는데 유익하다.

도 8은 비제한된 노이즈 감쇠 한계

의 자동 이득 제어로 조인트 NR/AGC 처리를 제공하는 본 발명의 바람직한 일 실시예에 따른 장치(800)의 블록도를 도시한다.

장치 800은 오디오 신호 분석기(830) 및 필터(820)를 포함한다. 또한, 입력 신호가 필터(820)에 제공되고 노이즈 감소를 적용하기 위해 제1 필터 스테이지(822)에 의해 처리된다. 또한, 제1 필터 스테이지(822)의 출력은 이득 값이 인가되는 오디오 신호 분석기(830) 및 필터(820)의 제2 필터 스테이지(824)에 제공된다.

또한, 필터는 출력 신호를 제공한다. 제1 필터 스테이지(822)의 출력 신호는 음성 활동 검출(840)을 계산하기 위해 오디오 신호 분석기(830)에서 사용된다. 음성 활동 검출(840)의 결과에 기초하여, 신호 레벨 및 목표 레벨을 기반으로 새로운 AGC 이득(844)을 계산하는 데 사용되는, 오디오 신호의 특성으로서, 신호 레벨을 계산(842)하라는 신호를 전달하거나 또는 구 AGC 이득(846)을 유지할지에 대한 결정(842)이 수행된다. 새로운 이득을 계산할지 또는 구 이득을 유지할지에 대한 결정은 음성 활동 검출기(840)에 제공된 신호 내의 스피치 존재에 기초한다.

결정된 이득 값은 신호에 적용되는 제2 필터 스테이지(840)에 제공된다. 또한, 이득 값은, 이득 값 및 원하는 노이즈 감쇠, 즉 소정의 노이즈 억제 값(234)에 기초하여, 비제한된 노이즈 감쇠 한계, 즉 최소 노이즈 억제 필터 값을 계산하기 위해 오디오 신호 분석기(830)에서 사용된다. 또한, 비제한된 노이즈 감쇠 한계, 입력 신호 및 AGC 이득을 사용하여, 노이즈 억제 필터 값들이 결정되고(862), 필터(820)의 제1 필터 스테이지(822)에 제공된다.

AGC가 (감쇠가 아닌) 신호 증폭을 트리거할 때, 도 17과 유사하게 스피치 기간 동안에만 AGC 이득을 적용하는 것이 가능하다. AGC 이득은 스피치가 일시 정지한 동안 일시적으로 감소되거나 직접 1(unity)로 설정된다. AGC 이득이 노이즈 감쇠 한계의 계산

에서 고려되기 때문에, AGC 이득이 크게 변동하더라도 노이즈 펌핑 효과는 피할 수 있다. 전술한 접근법은 큰 AGC 이득에 대해서도 노이즈 감소를 보장하는 이점을 갖는다. 더욱이, 설명된 접근법은, 이는 음성 온셋에서의 노이즈 플로어의 신속한 증가 및 음성 오프셋에서의 급격한 감소로 이어지는, 다른 접근법이 겪는 노이즈 펌핑 효과를 피하게 한다.

노이즈 억제 필터 값의 추정(862)은 예를 들어, 도 5에 따라 또는 도 6에 설명된 바와 같이 수행될 수 있다. 설명된 장치 800은 소정의 노이즈 억제를 달성하고, 명료도(intelligibility)를 증가시키는 데 필요한 경우 신호를 증폭 또는 감쇠시키는 데 적합하다.

도 9는 본 발명의 바람직한 실시예에 따른 장치 900의 블록도를 도시하며, 왜곡 한계 하에서 노이즈 감쇠 한계의 자동 제어에 의한 조인트 NR 및 AGC 프로세싱이 수행된다. 대안적으로, AGC 이득의 계산은 미처리된 오디오 입력 신호에 기초하여, 즉 노이즈 감소를 적용하기 전에 수행될 수 있다. 장치 900은 도 8의 장치 800과 동일한 기능을 많이 포함하지만, 노이즈 억제 필터 값의 추정(862)을 위해 추가 파라미터가 왜곡 한계(358a) 또는 보다 일반적으로 미리 결정된 왜곡 한계로 고려된다. 장치 900은 큰 AGC 이득에 의해 잠재적으로 유발되는 작은 최소 노이즈 억제 값에 의해 유도되는 공격적인 노이즈 억제로 인한 음성 왜곡 또는 음악 톤과 같은 신호 왜곡을 회피하는 데 특히 적합하다.

도 10은 시스템에 대한 입력 신호가 주로 노이즈로 특징지워질 때의 시스템 응답을 나타낸 다이어그램이다. 즉, 제한된 또는 비제한된 노이즈 감쇠 한계(각각 실선 및 파선)를 가지는 NR 및 AGC를 적용 할 때 AGC 이득의 함수로서 전체 노이즈 응답이 도시된다.

비제한된으로 표시된 라인은 예를 들어 도 8에서 설명된 본 발명의 바람직한 실시예인 장치 800에서 설명된 바람직한 실시예와 관련된다. 또한, 라인 “왜곡-제한된”은 예를 들어 본 발명의 바람직한 실시예로서 도 9에 도시된 장치 900와 연관된다. 도 10에서의 시스템 응답은 대수 값으로 주어진 이득 값에 따라 대수 값으로 표시된다. 도 10은 낮은 이득 값(0dB보다 작은 이득 값)에 대해 조인트 노이즈 감소 및 이득 제어로 인해 전체 시스템 응답에 대한 감쇠가 실제로 실현됨을 보여준다. 이득 값이 0dB와 소정의 노이즈 억제 값과 왜곡 한계의 곱 사이에 있을 때, 일정한 노이즈 억제는 비제한된 장치 및 왜곡-제한된 장치, 예를 들어, 장치 800 및 장치 900각각에 의해 동일하게 구현된다. 이득 값이 소정의 노이즈 억제 값과 소정의 왜곡 한계의 곱과 소정의 왜곡 한계 사이에 있을 때, 왜곡- 제한된 그래프의 전체 시스템 응답은 예를 들어 선형적으로 0dB까지 증가한다. 또한, "비제한된"으로 라벨링된 그래프는 이득 값이 소정의 노이즈 억제 값과 미리 결정된 왜곡 한계의 곱과 왜곡 한계 사이에 있을 때 미리 결정된 노이즈 억제 값의 값에서 일정하게 유지된다. 또한, "왜곡-제한된"라고 표시된 그래프는 미리 설정된 왜곡 한계보다 큰 이득 값에 대해 0 dB에서 일정하게 유지된다. 추가적으로, "비제한된"이라고 표시된 그래프는 미리 결정된 왜곡 한계보다 큰 이득 값에 대해 소정의 노이즈 억제 값의 값에서 일정하게 유지된다. 즉, 왜곡-제한된 경우, 주로 노이즈로 특징지워지는 오디오 신호에 대한 전체 시스템 응답은 다음과 같이 쓸 수 있다.

요약하면, 도 10은 예를 들어 장치 800에 관련된 "비제한된" 라벨이 붙은 그래프와, 예를 들어 장치 900과 관련된 "왜곡-제한된"으로 표시된 그래프로, 입력 신호가 노이즈에 의해서만 특징지워지는 조건에서 두 장치들에 의해 노이즈가 증폭되지 않는 상황을 설명한다. 그에 따라, 불쾌한 노이즈 증폭을 피할 수 있다.

도 11은 도 6 또는 도 7에 각각 기술된 최소 노이즈 억제 필터 값과 관련된 "비 제한된(unconstrained)" 및 "왜곡-제한된(distortion-constrained)" 라벨이 붙은 2 개의 라인을 갖는 그래프를 도시한다. 즉, 제한된 및 비제한된 케이스들(각각 실선 및 파선)에 대한 AGC 이득의 함수로서의 노이즈 감쇠 한계가 도시된다.

최소 노이즈 억제 필터 값은 예를 들어 여기서 로그 값으로 주어진 노이즈 감쇠 한계 일 수 있다. 또한 그래프는 대수 값의 이득 값에 따라 표시된다. "비제한된"라고 표시된 그래프는 0보다 작은 이득 값에 대해 사전 결정된 노이즈 억제 값에서 일정하다. 또한 "비 제한"이라고 표시된 그래프는, 0dB보다 큰 이득 값에 대해 예를 들어, 선형적으로 감소한다. 또한, "왜곡-제한된"으로 표시된 그래프는 0dB보다 작은 이득 값들에 대한 소정의 노이즈 억제 값의 값에서 일정하고, 0dB보다 크고 소정의 노이즈 억제 값과 소정의 왜곡 한계의 곱보다 작은 이득 값들에 대해서는 상기 소정의 노이즈 억제 값으로부터 상기 소정의 왜곡 한계의 역수까지 예를 들어, 선형적으로 감소한다. 또한, "왜곡-제한된"이라는 라벨이 붙은 그래프는, 소정의 노이즈 억제 값과 소정의 왜곡 한계의 곱과 미리 결정된 왜곡 한계 사이의 이득 값들에 대해, 소정의 왜곡 한계 값의 역수의 값에서 일정하게 유지된다. 또한, " 왜곡-제한된"으로 표시된 그래프는 소정의 왜곡 한계값보다 큰 이득 값에 대해, 예를 들어 선형 적으로 감소한다. 왜곡이 제한된 경우에 대해 다음 식에서 동일하게 표현될 수 있다.

비교를 위해, 비제한된 경우와 제한된 경우가 각각 파선과 실선으로 표시된다. 왜곡-제한된 노이즈 감쇠 한계는 낮은 수준에서 보통까지의 AGC 이득

에 대해 비제한된 대응물처럼 행동한다는 것을 관찰할 수 있다. AGC 이득이 증가하면

는

로 감소하고

인 동안에는 이 수준으로 유지된다. 따라서, 왜곡 한계는 왜곡 한계

까지의 AGC 이득에 대해서만 충족된다. 그 이상에서, 노이즈 감소 제한은 다시 감소하기 시작한다. 이는 노이즈가 입력에 비해 출력에서 증폭되지 않도록 보장하기 위한 것으로, 낮은 SNR을 특징으로 하는 노이즈 세그먼트에 대해 도 10에 도시된 전체 시스템 응답

를 도출하면 명백해진다. 이 경우 NR 필터

가 그 최소

에 도달한다고 가정할 수 있다. 그러면, 전체 노이즈 응답은 다음과 같이 쓸 수 있다.

여기서, AGC 이득을 증가시키려면 전체 노이즈 응답이 증가하지만, 노이즈가 증폭되지 않도록 1 미만으로 유지된다. 전체 노이즈 응답은 도 10에서 AGC 이득의 함수로서 실선으로 표현된다. 비제한된 노이즈 응답은 도 10에서 비교를 위해 점선으로 표시된다.

도 11은 인가된(AGC) 이득에 따라 유연한 노이즈 감소를 가능하게 하기 위해 이득 값에 대한 최소 노이즈 억제 필터 값의 유리한 의존성을 도시한다. 또한, "왜곡-제한된"으로 표시된 그래프와 "비제한된"으로 표시된 그래프는 최소 노이즈 억제 필터 값을 실질적으로 0 위로 유지하여 신호 왜곡을 피할 수있는 능력을 보여준다.

도 12는, 예를 들면 장치 100, 300, 400, 800, 900에 대한 각종 프로세싱 후의 신호 레벨을 나타낸다. 또한, NR+AGC 프로세싱 전(1210)과 NR/AGC 프로세싱 후(1220, 1230, 1240, 1250, 1260)의 음성 및 노이즈 레벨을 도시한다.

그래프 1210은 예를 들어 오디오 신호(110)를 기술하는 오디오 신호의 예시적인 예이다. 또한, 그래프 1210은 시간에 따른 일정한 노이즈 레벨 및 음성이 활성인 2 개의 단계들(phases)을 도시한다. 스피치는 활성화된 경우 노이즈보다 높은 신호 레벨을 가지므로 양의 신호-대-노이즈 비(SNR)가 발생한다. 또한, 그래프 1210은 예를 들어, 음성 신호가 편안한 청취 경험을 가능하게 하도록 조정되는 것으로 가정되는 목표 레벨로 표시된 파선을 도시한다.

그래프 1220은 일부 노이즈 감소 및 이득 제어, 예컨대 몇몇 기본 자동 이득 제어 방식에 의해 프로세싱된 후의 그래프 1210에 표시된 바와 같은 신호를 도시한다. 스피치 활동 기간 동안 높은 SNR이 얻어진다. 또한, 노이즈 레벨도 목표 레벨로 증폭되어 불편한 노이즈 증폭이 발생한다.

그래프 1230은 예를 들어, 자동 이득 제어를 처리하기 위해 음성 활동 검출을 이용하여 자동 이득 제어 업데이트를 지원하는 프로세싱 후에, 그래프 1210에 기술된 바와 같은 신호의 출력 레벨을 디스플레이한다. 따라서, 제1 시간 간격에서 노이즈 레벨은 목표 레벨 쪽으로 증폭되지 않고, 음성 활동이 감지된 후에만 증폭이 시작된다.

그래프 1240은 예를 들어 노이즈 감소 및 자동 이득 제어를 포함하는 프로세싱 이후에, 신호, 예를 들어, 그래프 1210에 기술된 바와 같은 입력 신호의 출력 레벨을 도시하며, 여기서 프로세싱은, 노이즈 감소 및 자동 이득 제어를 포함하고 자동 이득 제어는 스피치 온리 단계에 자동 이득 제어를 적용하기 위해 음성 활동 검출을 활용한다.

그래프 1250은, 예를 들어 장치 800에 대해 도 8에 설명된 것과 같은 비제한된 노이즈 감소 및 자동 이득 제어를 포함하는 신호 프로세싱 이후에, 예를 들어 그래프 1210에 도시된 바와 같은 입력 신호의 출력 레벨을 도시한다. 그에 따라, 스피치 활동의 단계에서 SNR의 큰 증가가 관찰 가능하다. 또한, 노이즈 레벨은 실질적으로 일정한 레벨에 있고 그래프 1210과 비교할 때 감소된다.

그래프 1260은 예를 들어, 장치(900)에 대해 도 9에 설명된 바와 같은 왜곡 한계 하에서 조인트 노이즈 감소 자동 이득 제어를 포함하는 신호 프로세싱 이후에 그래프 1210에 도시된 바와 같은 입력 신호의 출력 레벨을 도시한다. 그래프 1210 에 비해 신호-대-노이즈 비의 큰 증가가 얻어질 수 있다. 또한, 노이즈 레벨은 실질적으로 일정한 레벨에 있다. 더욱이, 왜곡 한계는 프로세싱의 출력에서 불편한 신호 왜곡을 피한다.

도 13은 본 발명의 바람직한 실시예에 따른 양-방향, 전이중(full-duplex) 음성 통신 시스템(1300)의 블록도를 도시한다. 이 시스템은 근단 및 원단 측과 그 사이의 전송단을 포함한다. 또한, 근단 측 및 원단 측 각각은 라우드스피커 및 마이크로폰뿐만 아니라 오디오 신호 처리 유닛을 포함하며, 오디오 신호 처리 유닛은 장치들 100, 300, 400, 800, 900 중 하나를 포함할 수 있다.

근단 측에서는 사람이 마이크에 대고 말을 하고 라우드스피커를 통해 오디오 정보를 수신한다. 또한, 전이중 시스템이기 때문에 원단 측에서는 다른 사람이 마이크로폰으로 말하고 거의 동시에 라우드스피커를 통해 근단 측으로부터 전송된 오디오 정보를 수신한다. 시스템(1300)은 편안한 청취 경험을 용이하게 하고 근단 및 원단 사이에서 발생하는 음성 통신의 음성 명료도를 향상시킨다. 특히, 사용자와 마이크로폰 사이의 거리가 변할 수 있는 핸즈프리 시나리오에 대해, 설명된 실시예는 명료도를 향상시키는 데 적합할 수 있다.

도 14는 음성 통신 시스템, 예를 들어 음성 통신 시스템 1300의 근-단(near-end) 또는 원-단(far-end) 측으로 사용될 수 있는 신호 처리 체인의 블록도를 도시한다.

도 15는 NR 및 AGC 프로세싱을 독립적으로 적용하는 기본 구성을 나타내는 신호 처리 체인의 블록도를 도시한다. 먼저, 입력 신호는 소정의 노이즈 억제 값, 여기서는 원하는 노이즈 감쇠에 기초하는 노이즈 감소를 적용받고, 노이즈 감소 후의 결과 신호는 신호 레벨을 계산하고 이득 값을, 예를 들어, 자동 이득 제어 이득을 계산된 신호 레벨 및 미리 결정된 목표 레벨에 기초하여 계산하는 데 사용된다. 다음 단계에서 계산된 이득 값, 예를 들어 계산된 AGC 이득이 노이즈 감소가 수행된 후의 신호에 적용된다.

자동 이득 제어는 예를 들어 도 15에 도시된 3 단계 절차를 사용하여 프레임 단위로 노이즈 감소 모듈의 출력에 적용될 수 있다.

1. 레벨 계산 :

으로 표시된 신호 레벨은 AGC 입력(여기서는 노이즈 감소(NR) 출력)에서 계산된다. 신호 레벨에 대한 측정은 단순한 차이일 수 있다. 대안으로, 스펙트럼 가중치를 적용하여 인간의 청각 시스템을 모방하여 인지된 소리의 크기를 측정할 수 있다.

2. 이득 계산 : 장치들 300 및 400에 대해 목표 값으로 설명된 바와 같이,

으로 표시된 현재 입력 신호 레벨을 미리 정의된 목표 스피치 레벨

와 비교함으로써 스칼라(scalar) 이득이 유도된다. 이것은 다음과 같이 이루어질 수 있다.

(6)

여기서, G__AGC(m)은 프레임 m에서 계산된 AGC 이득이고, β는 AGC 이득을 시간적으로 평활화(smooth)하는 데 사용되는 망각 인자이다(0≤β <1).

3. 이득 곱셈 : 마지막 단계는 입력 신호에 AGC 이득을 곱하는 것이다. 이것은 시간 도메인이나 주파수 도메인에서 동일하게 수행될 수 있다.

상기 절차는 AGC 입력 레벨

이 목표 레벨

보다 낮을 때 입력 오디오 신호의 증폭을 초래한다. 대조적으로, 신호 레벨

이 목표 레벨

이상인 경우, 일부 감쇠가 적용된다. 따라서, AGC 이득은 시간에 따라 자동으로 조정되고, 그러므로 시간에 따라 다르다. 또한, 설명된 이득 계산은 설명된 장치들 300, 400, 800 및 900의 모듈들에 부분적으로 또는 완전히 사용될 수 있다. 또한, 언급된 장치들에서의 사용을 위해, 설명된 방법들에 대한 수정들이 또한, 예를 들어 음성 활동 감지를 활용하는 것에 기초하여 적용될 수 있다. 또한, AGC와 NR 모듈 사이의 상호 작용이 없음을 주목해야 하는데, 이는 도 15의 수평 파선에 의해 강조되어 있다.

예를 들어, NR 필터링 후의 배경 노이즈 레벨이 스피치 레벨보다 낮을 때, 이 방법의 단점은 AGC 입력에서의 측정 레벨

의 감소를 야기하고, 스피치가 일시 정지하는 동안 AGC 이득이 증가하고, 스피치 온셋에서는 AGC 이득이 감소한다는 것이다. 이 현상은 도 12에 도시되어 있으며, 여기서 그래프 1210은 (NR 이전의) 입력 오디오 신호에서 음성 및 노이즈 성분의 레벨을 도시한다. 그래프 1220은 상기 절차에 따라 NR 및 AGC를 적용한 후의 음성 및 노이즈 레벨을 도시한다. 입력에서의 일정한 음성 및 노이즈 레벨에도 불구하고, 이 방법은 AGC에 대해 바람직한 동작이 아닌 시변 음성 레벨을 생성한다는 것을 알 수 있다. 또한 시간에 따라 변하는 노이즈 레벨을 발생시키므로 출력 신호에서 매우 불쾌한 노이즈 펌핑 효과가 발생한다. 이러한 문제를 해결하기 위해, 도 3, 4, 8, 9, 16 및 17에서 설명한 대로 VAD(Voice Activity Detection)가 사용된다.

도 16은 신호 처리 장치의 블록도를 도시하고, 이득 업데이트를 트리거링하는 음성 활동 검출과 함께 별도의 NR 및 AGC 프로세싱을 도시한다. 제1 단계에서, 입력 신호에는 소정의 노이즈 억제 값, 예를 들어 원하는 노이즈 감쇠에 기초한 노이즈 감소가 적용된다. 다음 단계에서, 노이즈 감소를 겪은 후의 입력 신호는 음성 활동 검출을 계산하는 데 사용되며, 여기에서 음성 활동 결정이 기초로 된다. 음성이 검출되면, 노이즈 감소 후의 입력 신호에 기초하여 신호 레벨이 계산된다. 추가적인 단계에서, 음성 활동을 가정하면, 예를 들어 새로운 자동 이득 제어 이득과 같은 이득 값이, 계산된 신호 레벨 및 미리 결정된 목표 레벨에 기초하여 결정된다. 음성 활동 검출에 의해 음성이 검출되지 않으면, 이전 시간 인스턴스로부터의 이득 값이 이용된다. 최종 단계에서, 이전 시간 인스턴스로부터의 이득 값 또는 현재 시간 인스턴스로부터 계산된 이득 값 중 하나인 이득 값이 노이즈 감소 이후의 신호에 적용되어, 출력 신호를 제공한다.

노이즈 펌핑 효과를 피하고 일관된 스피치 레벨을 제공하기 위해, 도 16에 도시된 바와 같이, VAD(= 음성 활동 검출)가 스피치 일시 정지 동안 이득 업데이트를 바이 패스하도록 적용될 수 있다. AGC 이득은 활성 스피치 세그먼트 동안에만 조정될 수 있으며, 반면에 스피치 멈춤 동안 AGC 이득은 일정하게 유지된다. 그래프 1230에 도시된 바와 같이, 이 방법은 일관된 스피치 레벨을 생성하고 노이즈 펌핑 효과(수렴 후 일정한 노이즈 레벨)를 피한다. 그러나 큰 AGC 이득의 경우 절대 노이즈 레벨이 크게 증가할 수 있다. 이는 실제로 스피치 일시 중지 중에 눈에 띄게 된다.

도 17은 전체 AGC 프로세싱을 트리거링하는 VAD와 함께 별도의 NR 및 AGC 프로세싱을 갖는 도 16에서 설명된 블록 다이어그램과 유사한 신호 처리를 위한 블록도를 도시한다. 추가적으로, 도 17의 블록도는 스피치가 검출되지 않을 때 이득 값을 1로 설정하는 것을 설명한다. 그래프 1230에 도시된 바와 같이, 스피치 일시 정지 동안 노이즈 증폭을 피하기 위해, AGC 이득은 도 17에 제시된 바와 같이, 스피치 기간 동안에만 적용된다(스피치 일시 정지 동안 유니티(unity)를 적용하는 것은 AGC 이득을 적용하지 않는 것과 동일하다). 이러한 접근법은 낮은 스피치 레벨을 제공하고 스피치 일시 정지 동안 노이즈의 증폭을 방지한다. 그러나 실제로는 시간에 따라 변하는 노이즈의 스케일링(그래프 1240 참조)이 발생하며, 이는 실제로 성가신 노이즈 펌핑 효과로 인식된다.

도 18은 본 발명의 바람직한 일 실시예에 따른 통신 시스템, 예를 들어, 도 13에 도시된 바와 같은 음성 통신 시스템(1300)의 근-단 또는 원-단 측을 도시한다. 원-단 또는 근-단 측은 유사한 구조로 구현될 수 있다. 따라서 한 쪽만 설명된다 하더라도 다른 쪽에서도 모든 기능들이 사용될 수 있다.

고려되는 측은 청취자에게 오디오 컨텐츠를 전달하기 위한 스피커(1810) 및 원하는 신호, 예를 들어, 말하는 사람의 스피치 신호를 픽업하기 위한 마이크로폰(1820)을 포함한다. 또한, 에코 제어 시스템(1830)은 라우드스피커 신호에 기초하여 마이크로폰 신호의 에코를 억제한다. 에코 제어(1830) 후에, 조인트 노이즈 감소 및 이득 제어(1840)가 신호를 처리한다. 조인트 노이즈 감소 및 이득 제어(1840)는 예를 들어 장치들 100, 300, 400, 800 및 900에 의해 실현될 수 있다.

또한, 컴포트 노이즈 시스템(1850)은 조인트 노이즈 감소 및 이득 제어(1840) 이후에 신호에 컴포트 노이즈를 적용하여, 예를 들어 원하는 신호 성분이 마이크의 획득 신호에 존재하지 않는 경우, 원-단의 사용자에게 편안한 청취 경험을 가능토록 한다(즉, 원-단에서만의 활동). 요약하면, 도 18에 도시된 시스템은, 예를 들어 원-단 측에 송신되는 신호가 원-단 측의 사용자를 위해 송신된 신호의 명료한 음성 성분 및 편안한 청취 경험을 제공하도록 하는 신호 처리를 제공한다.

도 19는 본 발명의 바람직한 일 실시예에 따른 통신 시스템의 원단 측의 블록도를 도시한다. 도 19의 시스템은 청취자에게 오디오 콘텐트를 전달하도록 구성된 라우드스피커(1810) 및 예를 들어 스피치 콘텐트를 포함하는 오디오 신호를 기록할 수 있도록 구성된 마이크로폰(1820)을 포함한다. 또한, 도 19에서 설명된 시스템은 라우드스피커(1810)에 전달된 신호에 대한 조인트 노이즈 감소 및 이득 제어(1840)를 포함한다. 또한, 마이크로폰(1820)에 의해 기록된 신호는 라우드스피커(1810)에 전달된 신호에 기초한 에코 제어(1830) 및 컴포트 노이즈 시스템(1850)에 전달된다. 에코 제어(1830) 및 컴포트 노이즈 시스템(1850)은 도 18에서 설명한 것과 동일한 기능을 포함한다. 또한, 조인트 노이즈 감소 및 이득 제어(1840)는 예를 들어, 장치들 100, 300, 400, 800 또는 900에 의해 실현될 수 있다. 따라서, 도 19에서 설명된 시스템은 라우드스피커에 전달된 오디오 신호가 스피치 성분을 포함할 때 명료한 스피치 신호를 제공한다. 또한, 노이즈 감소 부분으로 인해 편안한 청취 경험이 실현된다.

추가 실시예들은 일련의 프레임들에서 오디오 신호의 프로세싱에 의존한다. 오디오 신호 분석기(130; 830; 930)는, 제1 프레임 및 제1 프레임에 후속하는 제2 프레임을 포함하는 프레임들의 시퀀스에서 오디오 신호를 분석하여, 제1 프레임에 대한 복수의 노이즈 억제 값들 및 상기 제2 프레임에 대한 제2 복수의 노이즈 억제 값들을 결정하도록 구성된다. 상기 분석기는, 상기 제1 복수의 노이즈 억제 필터 값들의 노이즈 억제 필터 값들이 제1 프레임에 대해 결정된 제1 최소 노이즈 억제 필터 값(130b'; 240; 358c, 360a) 보다 크거나 같도록, 그리고 상기 제1 최소 노이즈 억제 필터 값이 상기 오디오 신호의 제1 프레임의 제1 특성에 의존하도록, 상기 제1 복수의 노이즈 억제 필터 값들을 결정하도록 구성된다. 분석기는 또한, 상기 제2 복수의 노이즈 억제 필터 값들의 노이즈 억제 필터 값들이 제2 프레임에 대해 결정된 제2 최소 노이즈 억제 필터 값(130b'; 240; 358c, 360a) 보다 크거나 같도록, 그리고 상기 제2 최소 노이즈 억제 필터 값이 상기 오디오 신호의 제2 프레임의 제2 특성(130c')에 의존하도록, 상기 제2 복수의 노이즈 억제 필터 값들을 결정하도록 구성된다. 필터(120; 310; 410; 820) 는 상기 프레임들의 시퀀스에서 상기 오디오 신호를 필터링하도록 구성되며, 상기 제1 프레임에 대한 제1 필터는 상기 제1 복수의 노이즈 억제 값들에 기초하여 조정되고, 상기 제2 프레임에 대한 상기 제2 필터는 상기 제2 복수의 노이즈 억제 값들에 기초하여 조정된다. 상기 필터(120; 310; 410; 820)는 또한 상기 제1 필터로 상기 오디오 신호의 상기 제1 프레임을 필터링하고 상기 제2 필터로 상기 오디오 신호의 상기 제2 프레임을 필터링하도록 구성된다.

결론적으로, 본 발명의 일부 실시예들은 리스트로 요약될 수 있다. 바람직한 실시예에서, NR이 먼저 적용되고 아래의 단계들을 포함한다:

1. 오디오 입력 신호를 수신한다.

2. 이전 시간 프레임에서 결정된 AGC 이득, 원하는 노이즈 감쇠량에 기초하여 및 선택적으로 또한 왜곡 한계에 기초하여 노이즈 감쇠 한계를 결정한다.

3. 오디오 입력 신호 및 노이즈 감쇠 한계를 기반으로 노이즈 감소 필터를 결정한다.

4. 목표 신호 레벨, 선택적인 음성 활동 정보 및 오디오 신호에 기초하여 AGC 이득을 결정한다.

a) 오디오 신호는 오디오 입력 신호이거나, 또는

b) 오디오 신호는 오디오 입력 신호에 노이즈 감소 필터를 적용함으로써 얻어진 노이즈 감소된 오디오 신호이고,

선택적 음성 활동 정보는 스피치 일시 정지 동안 선택적으로 AGC 이득을 감소시키는 데 사용된다.

5. 노이즈 감소 필터와 이전 프레임에서 얻은 AGC 이득을 오디오 입력 신호에 적용하여 출력 오디오 신호를 생성한다.

또한, 본 발명에 따른 또 다른 바람직한 실시예는 다음에 따라 AGC를 먼저 적용하는 것을 특징으로 한다:

1. 오디오 입력 신호를 수신한다.

2. 목표 신호 레벨, 선택적인 음성 활동 정보 및 오디오 입력 신호에 기초하여 AGC 이득을 결정하고, 선택적 음성 활동 정보는 스피치 일시 정지 동안 선택적으로 AGC 이득을 감소시키는 데 사용된다.

3. 노이즈 감쇠 한계를 아래와 같이 결정한다.

a) 원하는 노이즈 감쇠량 및 현재의 AGC 이득에 기초하여, 또는

b) 원하는 노이즈 감쇠량, 왜곡 한계 및 현재의 AGC 이득에 기초하여

4. 오디오 입력 신호 및 노이즈 감쇠 한계를 기반으로 노이즈 감소 필터를 결정한다.

5. 노이즈 감소 필터와 현재 AGC 이득을 오디오 입력 신호에 적용하여 출력 오디오 신호를 생성한다.

본 발명은 블록이 실제 또는 논리적 하드웨어 구성 요소를 나타내는 블록 다이어그램들과 관련하여 설명되었지만, 본 발명은 또한 컴퓨터 구현 방법에 의해 구현될 수 있다. 후자의 경우, 블록들은 상응하는 논리적 또는 물리적 하드웨어 블록에 의해 수행되는 기능을 나타내는 대응하는 방법 단계들을 나타낸다.

몇몇 측면들이 장치의 맥락에서 기술되었지만, 이들 측면들이, 블록 또는 장치가 방법 단계 또는 방법 단계의 특징에 대응하는, 상응하는 방법에 대한 설명을 나타냄이 분명하다. 유사하게, 방법 단계의 문맥에서 기술된 양태는 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 기술을 나타낸다. 방법 단계들의 일부 또는 전부는 예를 들어, 마이크로 프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용되어) 실행될 수 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 하나 이상이 그러한 장치에 의해 실행될 수 있다.

특정 구현 요건들에 따라, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 플로피 디스크, DVD, 블루-레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리와 같은 일시적 저장 매체 또는 디지털 저장 매체를 사용하여 수행될 수 있는데, 이들은 전자 판독 가능 제어 신호를 저장하고, 상기 각각의 방법이 수행되도록 프로그래밍가능한 컴퓨터 시스템과 협력한다(또는 협력 가능하다). 따라서, 디지털 저장 매체는 컴퓨터로 판독 가능할 수 있다.

본 발명에 따른 일부 실시예들은 본 명세서에서 설명된 방법들 중 하나가 수행되도록 프로그램가능한 컴퓨터 시스템과 협력할 수 있는, 전기적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함한다.

일반적으로, 본 발명의 실시예들은 컴퓨터 프로그램 제품이 컴퓨터상에서 실행될 때 상기 방법들 중 하나를 수행하도록 동작하는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 프로그램 코드는 예를 들어, 머신 판독 가능한 캐리어에 저장될 수 있다.

다른 실시예들은 머신 판독 가능한 캐리어 상에 저장된, 본 명세서에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.

즉, 본 발명의 방법의 실시예는, 컴퓨터 프로그램이 컴퓨터상에서 실행될 때, 여기에 설명된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.

따라서, 본 발명의 방법의 또 다른 실시예들은 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터-판독가능한 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 통상적으로 유형(tangible)이고 및/또는 비-일시적(non-transitionary)이다.

그러므로, 본 발명의 방법의 또 다른 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 데이터 스트림 또는 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들어, 인터넷을 통해 데이터 통신 접속을 통해 전달되도록 구성될 수 있다.

다른 실시예는 여기에서 기술된 방법들 중 하나를 수행하도록 구성되거나 조정된 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그램 가능한 논리 장치를 포함한다.

다른 실시예는 여기에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.

본 발명에 따른 또 다른 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에 전송(예를 들어, 전자적으로 또는 광학적으로)하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어, 컴퓨터, 모바일 장치, 메모리 장치 등일 수 있다. 상기 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수 있다.

일부 실시예에서, 프로그램가능한 논리 소자(예를 들어, 필드 프로그래머블 게이트 어레이)가 본원에 설명된 방법의 일부 또는 모든 기능을 수행하는데 사용될 수 있다. 일부 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위해 마이크로 프로세서와 협력할 수 있다. 일반적으로, 상기 방법들은 임의의 하드웨어 장치에 의해 수행되는 것이 바람직하다.

전술한 실시예들은 본 발명의 원리를 설명하기 위한 것일 뿐이다. 본 명세서에 기재된 구성 및 세부 사항의 변경 및 변형은 당업자에게 명백할 것이다. 따라서, 본 발명은 첨부된 청구항에 의해서만 제한되고 본 명세서의 실시예에 대한 설명 및 설명에 의해 제공된 특정 세부 사항에 의해서 한정되는 것은 아니다.

참고문헌

[1] E. H

nsler and G. Schmidt: "Hands-free telephones -Joint Control of Echo Cancellation and Postfiltering", Signal Processing, Volume: 80, Issue: 11, pp. 2295-2305, Sep. 2000.

[2] F. K

ch, E. Mabande and G. Enzner, "State-space architecture of the partitioned-block-based acoustic echo controller," in Proc. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), May 2014.

[3] A. Favrot, C. Faller, M. Kallinger, F. K

ch, and M. Schmidt, "Acoustic Echo Control Based on Temporal Fluctuations of Short-Time Spectra," in Proc. International Workshop on Acoustic Echo and Noise Control (IWAENC), Sept. 2008.

[4] Y. Ephraim, D. Malah, "Speech enhancement using a minimum mean-square error short-time spectral amplitude estimator," IEEE Trans. Acoust. Speech Signal Process, Vol. 32, pp. 1109-1121, Dec. 1984.

[5] Guangji Shi and Changxue Ma, "Subband Comfort Noise Insertion for an Acoustic Echo Suppressor," in Proc. 133rd Audio Engineering Society Convention, Oct. 2012.

[6] M. Matsubara, K. Nomoto. "Audio signal processing device and noise suppression processing method in automatic gain control device." Patent publication No. US 2008/0147387 A1.

Claims (19)

1. 오디오 신호(110)를 처리하는 장치(100; 300; 400; 800; 900)로서,
   상기 오디오 신호의 복수의 대역(215; 354)에 대한 복수의 노이즈 억제 필터 값들(260; 364, 364a-c)을 결정하기 위해 오디오 신호를 분석하는 오디오 신호 분석기(130; 830; 930)로서, 상기 오디오 신호 분석기(130; 830; 930)는 노이즈 억제 필터 값이 최소 노이즈 억제 필터 값(130b'; 240; 358c, 360a)보다 크거나 같도록 그리고 상기 최소 노이즈 억제 필터 값이 오디오 신호의 특성(130c')에 의존하도록, 상기 노이즈 억제 필터 값들을 결정하는, 상기 오디오 신호 분석기; 및
   상기 오디오 신호를 필터링하는 필터(120; 310; 410; 820)로서, 상기 필터는 상기 노이즈 억제 필터 값들에 기초하여 조정되는, 상기 필터를 포함하고,
   상기 오디오 신호 분석기(130; 830; 930)는 상기 오디오 신호의 특성으로서 상기 오디오 신호의 프레임으로부터 이득 값을 계산하도록 구성되고, 상기 오디오 신호 분석기(130; 830; 930)는 상기 이득 값이 증가할수록 상기 최소 노이즈 억제 필터 값이 감소하도록 상기 최소 노이즈 억제 필터 값을 계산하도록 구성되거나,
   상기 오디오 신호 분석기(130; 830; 930)는, 상기 오디오 신호의 진폭 정보, 그리고 기 설정된 목표 값 및 상기 진폭 정보에 기초하여, 상기 오디오 신호의 특성으로서의 이득 값을 계산하고, 상기 이득 값에 의해 상기 오디오 신호가 조정되도록 구성된, 오디오 신호 처리 장치.
2. 청구항 1 에 있어서,
   상기 오디오 신호 분석기(130; 830; 930)는 복수의 비제한된 노이즈 억제 필터 값들(220; 356a) 및 상기 최소 노이즈 억제 필터 값에 기초하여 최대 결정을 사용하여 상기 노이즈 억제 필터 값들을 결정하고, 상기 최소 노이즈 억제 필터 값은 상기 오디오 신호의 복수의 대역들에 대해 동일한, 오디오 신호 처리 장치.
3. 청구항 1에 있어서,
   상기 오디오 신호 분석기(130; 830; 930)는,
   기 설정된 노이즈 억제 값; 및
   상기 이득 값에 기초하여 상기 최소 노이즈 억제 필터 값을 계산하도록 구성된, 오디오 신호 처리 장치.
4. 청구항 1에 있어서,
   상기 오디오 신호 분석기(130; 830; 930)는 기 설정된 노이즈 억제 필터 값 및 기 설정된 노이즈 억제 필터 값과 상기 이득 값의 몫(quotient)에 의존하는 최소 결정을 이용하여 상기 최소 노이즈 억제 필터 값을 계산하도록 구성된, 오디오 신호 처리 장치.
5. 청구항 1에 있어서,
   상기 오디오 신호 분석기(130; 830; 930)는,
   기 설정된 노이즈 억제 필터 값에 의존하는 제1 최소 결정;
   상기 이득 값의 역에 의존하는 제2 최소 결정의 결과;
   기 설정된 왜곡 한계 값의 역에 의존하는 최대 결정의 결과; 및
   상기 기 설정된 노이즈 억제 필터 값 및 상기 이득 값의 몫에 따라, 상기 최소 노이즈 억제 필터 값을 결정하도록 구성된, 오디오 신호 처리 장치.
6. 청구항 1에 있어서,
   상기 오디오 신호 분석기(130; 830; 930)는, 상기 오디오 신호의 복수의 대역들 중 일 대역을 분석하여, 상기 대역이 상기 오디오 신호의 제1 특성을 가지는지 또는 상기 제1 특성과 상이한 상기 오디오 신호의 제2 특성을 가지는지를 결정하고, 상기 대역에 대해 상기 제2 특성이 결정되었을 때 상기 노이즈 억제 필터 값들을 결정하여,
   상기 이득 값이 0과 1 사이에 있을 때, 상기 노이즈 억제 필터 값들은 기 설정된 노이즈 억제 필터 값과 상기 이득 값의 곱과 동일하거나, 또는
   상기 이득 값이 1과 상기 기 설정된 노이즈 억제 필터 값과 기 설정된 왜곡 한계의 곱 사이일 때, 상기 노이즈 억제 필터 값들은 상기 기 설정된 노이즈 억제 필터 값과 동일하도록, 또는
   상기 이득 값이 상기 기 설정된 노이즈 억제 필터 값과 상기 기 설정된 왜곡 한계의 곱 사이에 있을 때, 상기 노이즈 억제 필터 값들은 상기 이득 값과 상기 기 설정된 왜곡 한계의 몫(quotient)과 동일하거나, 또는
   상기 이득 값이 상기 기 설정된 왜곡 한계보다 클 때, 상기 노이즈 억제 필터 값들은 1과 동일한, 오디오 신호 처리 장치.
7. 청구항 1에 있어서,
   상기 오디오 신호 분석기(130; 830; 930)는 상기 오디오 신호의 제1 프레임에 대해 제1 최소 노이즈 억제 필터 값을 초래하는 제1 이득 값을 계산하고,
   상기 오디오 신호 분석기(130; 830; 930)는 상기 오디오 신호의 제2 프레임에 대해 비-평활화된 제2 최소 노이즈 억제 필터 값을 초래하는 제2 이득 값을 계산하고,
   상기 제2 프레임은 시간상 상기 제1 프레임을 뒤따르고,
   상기 오디오 신호 분석기(130; 830; 930)는 상기 비-평활화된 제2 최소 노이즈 억제 필터(358c) 값 및 상기 제1 최소 노이즈 억제 필터 값을 사용해 상기 제2 프레임에 대한 평활화된 최소 노이즈 억제 필터 값(360a)을 계산하도록 구성된, 오디오 신호 처리 장치.
8. 청구항 1에 있어서,
   상기 장치는, 상기 오디오 신호의 복수의 대역을 제공하는 오디오 신호의 주파수-영역 표현을 제공하는 제1 시간-주파수 변환기(320a)를 포함하고,
   상기 오디오 신호 분석기(130; 830; 930)는,
   상기 오디오 신호의 복수의 대역들 중 하나 이상의 대역, 및 최소 노이즈 억제 필터 값에 기초하여 상기 오디오 신호의 복수의 대역들 중 하나의 대역에 대한 노이즈 억제 필터 값을 계산하도록 구성되고,
   상기 최소 노이즈 억제 필터 값은,
   상기 오디오 신호의 복수의 대역들 각각에 대해 동일한 기 설정된 노이즈 억제 필터 값, 또는 상기 오디오 신호의 복수의 대역들에 대해 동일한 기 설정된 왜곡 한계, 및
   상기 오디오 신호의 상기 복수의 대역들의 각 대역에 대해 동일한 상기 오디오 신호의 특성으로부터 도출된 값에 기초하는, 오디오 신호 처리 장치.
9. 청구항 8에 있어서,
   상기 오디오 신호 분석기(130; 830; 930)는 상기 진폭 정보의 계산 전에 심리음향(psychoacoustic) 필터(342)로 상기 오디오 신호를 필터링하도록 구성되고,
   상기 심리 음향 필터는 제1 주파수 범위에 대한 제1 감쇠 값, 제2 주파수 범위에 대한 제2 감쇠 값, 및 제3 주파수 범위에 대한 제3 감쇠 값을 포함하도록 구성되고,
   상기 필터는, 상기 제2 주파수 범위가 상기 제1 주파수 범위와 상기 제 3 주파수 범위 사이에 있도록, 구성되고,
   상기 필터는, 상기 제2 감쇠 값이 상기 제1 감쇠 값 및 상기 제 3 감쇠 값보다 작도록, 구성되는 오디오 신호 처리 장치.
10. 청구항 1에 있어서,
    상기 오디오 신호 분석기(130; 830; 930)는 상기 오디오 신호의 제1 프레임의 제1 음성 활동 정보와 상기 오디오 신호의 제2 프레임의 제2 음성 활동 정보를 제공하는 음성 활동 검출 유닛(340) 및 이전의 이득 값을 저장하는 메모리 유닛(346)을 포함하고,
    상기 오디오 신호 분석기(130; 830; 930)는,
    상기 제2 음성 활동 정보에 따라 음성이 검출된 오디오 신호의 상기 제2 프레임에 기초하여 상기 이득 값을 추정하거나, 또는
    상기 제1 음성 활동 정보에 기초하여 상기 제1 프레임에서 음성이 검출된 경우, 상기 제2 음성 활동 정보에 따라 상기 제2 프레임에서 음성 활동이 검출되지 않았으면 상기 제1 프레임의 상기 이득 값을 유지하고,
    상기 제2 프레임은 시간상 상기 제1 프레임을 뒤따르는, 오디오 신호 처리 장치.
11. 청구항 1에 있어서,
    상기 오디오 신호 분석기(130; 830; 930)는,
    현재 프레임에 대해 계산된 오디오 신호의 상기 특성으로부터 도출된 값에 기초하여 현재 프레임에 대한 최소 노이즈 억제 필터 값을 계산하도록 구성되고,
    상기 오디오 신호 분석기(130; 830; 930)는 상기 오디오 신호의 상기 특성으로부터 도출된 값을 결정하기 위해 상기 오디오 신호를 분석하도록 구성되고,
    상기 필터는 제1 필터 스테이지 및 제2 필터 스테이지를 포함하고,
    상기 제1 필터 스테이지는 상기 오디오 신호의 특성으로부터 도출된 값을 이용하여 조정되고,
    상기 제2 필터 스테이지는 상기 노이즈 억제 필터 값들에 따라 조정되는, 오디오 신호 처리 장치.
12. 청구항 1에 있어서,
    상기 오디오 신호 분석기(130; 830; 930)는,
    제1 프레임에 대해 계산된 오디오 신호의 특성으로부터 도출된 값에 기초하여 제2 프레임에 대한 최소 노이즈 억제 필터 값을 계산하도록 구성되고,
    상기 필터는 제1 필터 스테이지(822) 및 제2 필터 스테이지(824)를 포함하고,
    상기 제1 필터 스테이지는 상기 노이즈 억제 필터 값들에 따라 조정되고,
    상기 제2 필터 스테이지는 상기 오디오 신호의 특성으로부터 도출된 값을 사용하여 조정되며,
    상기 오디오 신호 분석기(130; 830; 930)는 상기 오디오 신호의 상기 특성으로부터 도출된 값을 결정하기 위해 상기 제1 필터 스테이지의 출력을 분석하고,
    상기 제2 프레임은 시간상 상기 제1 프레임을 뒤따르는, 오디오 신호 처리 장치.
13. 청구항 1에 있어서,
    상기 오디오 신호 분석기(130; 830; 930)는,
    음성 활동 정보 및 상기 오디오 신호, 또는 상기 노이즈 억제 필터 값들에 의해 필터링된 후의 음성 활동 정보 및 오디오 신호에 기초하여, 상기 이득 값을 결정하도록 구성되고,
    상기 오디오 신호 분석기(130; 830; 930)는 상기 오디오 신호에 기초하여 상기 음성 활동 정보를 획득하도록 구성되거나, 또는 상기 오디오 신호 분석기(130; 830; 930)는 상기 필터에 의해 필터링된 후의 오디오 신호에 기초하여 상기 음성 활동 정보를 획득하도록 구성되거나, 또는 상기 오디오 신호 분석기(130; 830; 930)는 음성이 존재하지 않음을 지시하는 음성 활동 정보가 상기 이득 값을 감소시키는 데 사용되도록 구성되는, 오디오 신호 처리 장치.
14. 청구항 1에 있어서,
    상기 오디오 신호 분석기(130; 830; 930)는 제1 프레임 및 상기 제1 프레임에 시간적으로 후속하는 제2 프레임을 포함하는 프레임들의 시퀀스에서 상기 오디오 신호를 분석하여, 상기 제1 프레임에 대한 제1 복수의 노이즈 억제 필터 값들 및 상기 제2 프레임에 대한 제2 복수의 노이즈 억제 필터 값들을 결정하고,
    상기 오디오 신호 분석기(130; 830; 930)는, 상기 제1 복수의 노이즈 억제 필터 값들의 노이즈 억제 필터 값들이 제1 프레임에 대해 결정된 제1 최소 노이즈 억제 필터 값(130b'; 240; 358c, 360a) 보다 크거나 같도록, 그리고 상기 제1 최소 노이즈 억제 필터 값이 상기 오디오 신호의 제1 프레임의 제1 특성(130c')에 의존하도록, 제1 복수의 노이즈 억제 필터 값들을 결정하도록 구성되고,
    상기 오디오 신호 분석기(130; 830; 930)는, 제2 복수의 노이즈 억제 필터 값들의 노이즈 억제 필터 값들이 제2 프레임에 대해 결정된 제2 최소 노이즈 억제 필터 값(130b'; 240; 358c, 360a) 보다 크거나 같도록, 그리고 상기 제2 최소 노이즈 억제 필터 값이 상기 오디오 신호의 제2 프레임의 제2 특성(130c')에 의존하도록, 제2 복수의 노이즈 억제 필터 값들을 결정하도록 구성되고,
    상기 필터(120; 310; 410; 820)는 상기 프레임들의 시퀀스에서 상기 오디오 신호를 필터링하도록 구성되며, 상기 제1 프레임에 대한 제1 필터는 상기 제1 복수의 노이즈 억제 필터 값들에 기초하여 조정되고, 상기 제2 프레임에 대한 제2 필터는 상기 제2 복수의 노이즈 억제 필터 값들에 기초하여 조정되고,
    상기 필터(120; 310; 410; 820)는 상기 제1 필터로 상기 오디오 신호의 상기 제1 프레임을 필터링하고 상기 제2 필터로 상기 오디오 신호의 상기 제2 프레임을 필터링하도록 구성되는, 오디오 신호 처리 장치.
15. 오디오 신호의 복수의 대역들에 대한 복수의 노이즈 억제 필터 값들을 결정하기 위해 오디오 신호를 분석하는 단계;
    노이즈 억제 필터 값이 최소 노이즈 억제 필터 값보다 크거나 같도록 상기 노이즈 억제 필터 값들을 결정하되, 상기 최소 노이즈 억제 필터 값이 상기 오디오 신호의 특성에 의존하도록 하는, 상기 노이즈 억제 필터 값들을 결정하는 단계; 및
    상기 노이즈 억제 필터 값들에 기초하여 상기 오디오 신호를 필터링하는 단계를 포함하고,
    상기 오디오 신호를 분석하는 단계는,
    상기 오디오 신호의 특성으로서 상기 오디오 신호의 프레임으로부터 이득 값을 계산하고, 상기 이득 값이 증가할수록 상기 최소 노이즈 억제 필터 값이 감소하도록 상기 최소 노이즈 억제 필터 값을 계산하는 단계, 또는
    상기 오디오 신호의 진폭 정보, 그리고 기 설정된 목표 값 및 상기 진폭 정보에 기초하여, 상기 오디오 신호의 특성으로서의 이득 값을 계산하여, 상기 이득 값에 의해 상기 오디오 신호가 조정되도록 하는 단계를 포함하는, 오디오 신호 처리 방법.
16. 컴퓨터 또는 마이크로컨트롤러 상에서 실행될 때, 청구항 15에 따른 방법을 수행하는 프로그램 코드를 포함하는 컴퓨터 프로그램을 저장한 저장 매체.
17. 삭제
18. 삭제
19. 삭제

Images