KR20050016719A - 고정 스펙트럼 전력 의존 오디오 강화 시스템 - Google Patents

Abstract

왜곡된 원하는 신호(z)를 나르기 위한 신호 입력, 기준 신호 입력, 및 양쪽 신호 입력들에 결합되어 원하는 신호의 왜곡에 대한 추정으로서 역할을 하는 기준 신호 x에 의해 왜곡된 원하는 신호를 처리하는 스펙트럼 프로세서(SP)를 포함하는 음성 인식이나 보이스 제어를 위한 오디오 강화 시스템(1)이 개시된다. 스펙트럼 프로세서(SP)는 그 처리 동안 인수 C'가 결정되어, 추정이 기준 신호의 스펙트럼 전력에 대한 C'곱의 함수가 되고, 인수 C'는 시간에 대해 본질적으로 고정인 신호들 z,x의 성분들 사이의 스펙트럼 비율에 따라 결정되도록 제공된다. 상기 신호들의 고정 부분들에 의해 결정된 인수는 오디오 강화 시스템 내 중요 음성 검출기의 애플리케이션을 불필요하게 한다.

Description

고정 스펙트럼 전력 의존 오디오 강화 시스템{Stationary spectral power dependent audio enhancement system}

본 발명은 왜곡된 원하는 신호(distorted desired signal)를 나르기 위한 신호 입력, 기준 신호 입력(reference signal input), 및 상기 양쪽 신호 입력들에 결합되어 원하는 신호의 왜곡에 대한 추정으로서 역할을 하는 기준 신호에 의해 상기 왜곡된 원하는 신호를 처리하는 스펙트럼 프로세서(spectral processor)를 포함하는 오디오 강화 시스템에 관한 것이고, 거기에 사용하는데 적합한 신호들에 관한 것이다.

본 발명은 또한 오디오 강화 시스템이 제공되며, 특히, 이동 전화, 음성 인식 시스템, 또는 보이스 제어 시스템 등의 핸즈프리 통신 장치와 같은 통신 시스템인 시스템에 관한 것이고, 왜곡된 원하는 신호를 강화하는 방법으로서, 상기 신호가 상기 원하는 신호의 왜곡에 대한 추정으로서 역할을 하는 기준 신호에 의해 스펙트럼 처리되는, 상기 방법에 관한 것이다.

상기 오디오 강화 시스템은 WO 97/45995에서 공지된 왜곡 잡음과 같은 간섭 성분을 억제하기 위한 배열로 구현된다. 공지된 시스템은 오디오 신호 입력들에 결합된 다수의 마이크로폰들을 포함한다. 마이크로폰들은 왜곡된 원하는 신호를 위한 주요 마이크로폰과, 간섭 신호를 수신하기 위한 하나 이상의 참조 마이크로폰들을 포함한다. 상기 시스템은 또한, 오디오 신호 입력들을 통해 마이크로폰들에 결합된 신호 처리 배열로 구현된 스펙트럼 프로세서를 포함한다. 신호 처리 배열에 있어서, 감소된 간섭 잡음 성분을 포함하는 간섭 신호는 출력 신호를 그의 출력에 나타내도록 왜곡된 신호로부터 스펙트럼 감산된다.

공지된 오디오 강화 시스템의 단점은, 그것의 간섭 신호 소거 능력들이 음성 처리 배열에 결합될 음성 검출기의 애플리케이션에 의존한다는 점이다. 공지된 오디오 강화 시스템의 동작은 결정적으로 상기 음성 검출기에 의한 적절한 음성 검출에 의존한다.

도 1은 본 발명에 따른 오디오 강화 시스템의 기본 다이어그램.

도 2는 필터 및 합계 빔형성기를 갖는 본 발명에 따른 오디오 강화 시스템의 또다른 실시예에서 구현된 기본 다이어그램.

도 3은 본 발명에 따른 오디오 강화 시스템의 상세한 실시예를 도시하는 도면.

그러므로, 본 발명의 목적은 개선된 오디오 강화 시스템과, 음성 검출기의 존재와 중요 동작에 의해 복잡해지지 않는 관련 방법을 제공하는 것이다.

또한, 본 발명에 따른 오디오 강화 시스템은, 스펙트럼 프로세서가 그 처리 동안 인수 C'가 결정되어, 왜곡된 원하는 신호에 대한 추정이 기준 신호의 스펙트럼 전력에 대한 C'곱의 함수가 되고, 인수 C'는 시간에 대해 본질적으로 고정인 신호들 z,x의 성분들 사이의 스펙트럼 비율에 따라 결정되도록 제공되는 것을 특징으로 한다.

유사하게, 본 발명에 따른 방법은, 상기 추정이 기준 신호의 스펙트럼 전력에 대한 C'곱의 함수가 되고, C'가 시간에 대해 본질적으로 고정인 신호들 z,x의 성분들 사이의 스펙트럼 비율에 따라 결정되는 것을 특징으로 한다.

발명자는, 규정된 바와 같은 인수 C'가 원하는 신호에 본질적으로 둔감하다는 것을 발견했다. 인수 C'만이 신호들 z,x 내 고정 성분들의 비를 차지한다. 상기 인수 C'의 개념으로, 음성 검출기를 사용할 필요 없이 오디오 강화 시스템에 실제로 입력되는 왜곡된 원하는 신호의 왜곡에 대해 신뢰성 있는 추정이 제공될 수 있다. 이것은 본 발명에 따른 단순화된 오디오 강화 시스템의 개선되고 덜 중요한 왜곡 소거 특성들을 유발한다. 하나 이상의 기준 신호들이 잡음, 에코들, 경합 음성, 원하는 음성 신호의 잔향 등과 같은 왜곡들을 포함하는 경우, 왜곡 소거가 특히 개선된다. 또한, 왜곡에 대한 주파수 의존 추정은 일부 기준 신호(들)이 이용가능한 시나리오에서 계산될 수 있다.

또다른 이점들은 잡음 플로어(noise floor)나 에코 테일(echo tail)과 같은 개개의 왜곡 성분들의 명백한 추정이 필요치 않다는 점이고, 요구된다면, 이 성분들을 갖는 조합 기술이 쉽게 달성될 수 있다. 이것은 애플리케이션들을 형성하는 마이크로폰 빔과 같이 우수한 추정 기술들이 존재하지 않는 경우에 특히 바람직하다.

본 발명에 따른 오디오 강화 시스템의 실시예는 제 2 항에 규정된 독특한 특징들을 갖는다.

일반적으로, 평균 스펙트럼 전력의 형태를 갖는 스펙트럼 전력들은 일정 수의 시간 프레임들을 포함한다. 일정 시간 기간 동안, 본 발명에 따른 오디오 강화 시스템의 계산상 복잡성을 부가하지 않고 최소 스펙트럼 전력들이 결정된다.

본 발명에 따른 오디오 강화 시스템의 또다른 실시예에서, 일정 시간 기간은 왜곡된 원하는 신호 내 적어도 하나의 휴지(pause)를 포함한다. 이것은 잘 결정된 최소값과 왜곡된 원하는 입력 신호의 고정 스펙트럼 성분 값을 유발하는데, 최소값은 입력 신호 내 고정 왜곡을 정확히 표현한다.

바람직하게, 오디오 강화 시스템에 대해 왜곡된 원하는 신호 입력 내 음성 휴지가 포함되도록 상기 일정 시간 기간은 4초 내지 5초를 지속한다.

오디오 강화 시스템의 또다른 실시예가 제 5 항에 규정된 독특한 특징들을 갖는다.

일반적으로, 원하는 신호의 왜곡 추정은 예를 들어, 신호 전력이나 신호 에너지와 같은 양의 함수에 의해 바람직하게 표현될 수 있고, 상기 스펙트럼 유닛들 중 하나에 의해 규정된다.

실질적으로 양호한 실시예는 제 6 항에 규정된 독특한 특징들을 갖는다.

상기의 경우, 오디오 강화 시스템은 스펙트럼 전력들 및/또는 평활화된 스펙트럼 전력들의 값들을 저장하기 위해 비용면에서 효과적이고 구현이 용이한 쉬프트 레지스터를 포함한다.

이제, 본 발명에 따른 오디오 강화 시스템과 방법은 부가적인 이점들과 함께 더 상세히 설명될 것이고, 참조되는 첨부 도면에서, 유사한 성분들은 동일한 참조 번호들에 의해 언급된다.

도 1은 주파수 도메인 입력 신호들(z,x)과, 출력 신호(q)가 도시되는 스펙트럼 프로세서 SP에 의해 구현된 오디오 강화 시스템(1)의 기본 다이어그램을 도시한다. 이 주파수 도메인 신호들은, 간단히 STFT로 언급되는 단시간(short time) DFT와 같은 이산 푸리에 변환에 의해 상기 프로세서 SP에서 블록식으로(block-wise) 스펙트럼 계산된다. 이 STFT는 인수들 kB, lw₀이나 때때로 인수 w_k만으로 표현될 수 있는 시간 및 주파수 함수이다. 여기서 k는 이산 시간 프레임 인덱스를 나타내고, B는 프레임 쉬프트를 나타내며, l은 (이산) 주파수 인덱스를 나타내고, w₀는 기본 주파수 스페이싱을 나타내며, w_k는 인덱스 k의 스펙트럼 성분을 나타낸다. 입력 신호 z는 왜곡된 원하는 신호를 나타낸다. 그것은 일반적으로 음성형으로, 원하는 신호의 잡음, 에코, 경합(competing) 음성 또는 잔향(reverberation)과 같은 왜곡들과 원하는 신호와의 합을 포함한다. 신호 x는, 왜곡된 원하는 신호 z내의 왜곡 추정이 도출되는 기준 신호를 나타낸다. 신호들 z,x은 도 1과 도 2에 도시된 바와 같이, 하나 이상의 마이크로폰들(2)로부터 발생할 수 있다. 다중-마이크로폰 오디오 강화 시스템(1)에서, 하나 이상의 마이크로폰들로부터 기준 신호를 도출하기 위해 두개 이상의 별개의 마이크로폰들(2)이 존재한다.

오디오 강화 시스템(1)은 그것으로부터 기준 신호 x를 도출하기 위해 적응 필터 수단(도시되지 않음)을 포함할 수 있다. 이 경우, 기준 신호는 통신 시스템의 최단부에서 발생한다.

도 1의 실시예에서, 신호 x만이 기준 또는 잡음 신호를 포함하고, 신호 z는 원하는 신호와 잡음 신호 양자를 포함한다. 도 2는, 마이크로폰(2)이 마이크로폰 어레이 신호들 u₁,u₂을 통해 음성과 잡음 양자를 감지하는 경우의, 오디오 강화 시스템(1)의 실시예를 도시한다. 필터와 합계 빔형성기(sum beamformer)(3)는 이제, 마이크로폰들(2)과 스펙트럼 프로세서 SP사이에 결합된다. 또한, 스펙트럼 프로세서는 전술된 신호들 z,x을 수신하는데, 신호 x만이 기준 또는 잡음을 포함하고, 신호 z는 원하는 신호 및 잡음 신호를 포함한다. 개개의 전달 함수들 f₁(w),f₂(w)을 통해, 왜곡된 원하는 신호 z가 마이크로폰 어레이 신호들 u₁,u₂ 선형 조합에 의해 각각 획득되도록 상기 빔형성기(3)가 설계된다. 원하는 신호에 직교(orthogonal)하는 서브스페이스로 이 신호들을 투사하기 위해, 기준 신호 x는 블로킹 행렬(blocking matrix) B(w)에 의해 개개의 마이크로폰 어레이 신호들로부터 도출된다. 이상적으로, 행렬 B(w)의 출력 신호 x는 원하는 음성을 포함하지 않지만 왜곡들을 포함한다. 다음, 기준 신호 x에 의해 상기 왜곡된 원하는 신호 z를 스펙트럼 처리하기 위해 신호들 z,x이 스펙트럼 프로세서 SP에 공급된다. 상기 프로세서 SP로부터의 신호 q는 사실상 왜곡 없는 출력 신호이다. q=Gxz인데, 여기서 G는 이하에서 기술될 이득 함수이다.

오디오 강화 시스템(1)은 특히 이동 전화, 음성 인식 시스템, 또는 보이스 제어 시스템 등의 핸즈프리 통신 장치와 같은 통신 시스템인 시스템에 포함될 수 있다.

스펙트럼 프로세서 SP는 전술된 이산 푸리에 변환(DFT)에 의해 발생된 후속 주파수 빈들에 대해 제어가능한 이득 함수로서 역할을 하도록 동작한다. 이 이득 함수는 왜곡된 원하는 음성 신호 z에 적용되지만, 신호 z의 위상은 변경되지 않는다. 우수한 성능의 오디오 강화를 위해, 이득 함수형, 특히, 입력 신호에 존재하는 왜곡의 추정은 중요하다. 그러나, 다양한 이득 함수들이 처리되는 최적화 기준을 따르지 않을 수 있다. 예들은 스펙트럼 감산(spectral subtraction), 위너 필터링(Wiener filtering)이나 예를 들어 스펙트럼 진폭이나 크기에 기초한 MMSE 추정(Minimum Mean-Square Error estimation)이나 로그-MMSE 추정(log-MMSE estimation), 제곱 스펙트럼 크기(squared spectral magnitude), 전력 스펙트럼 밀도(power spectral density), 또는 포함된 신호들의 멜-스케일 평활화된 스펙트럼 밀도(Mel-scale smoothed spectral density)를 포함한다. 이 기술들은 하나 이상의 마이크로폰들 및/또는 라우드스피커들을 갖는 오디오 강화 시스템들(1)에 대해 전술된 애플리케이션들과 결합될 수 있다.

예를 들어, 이하에 기술될 위너 필터형의 경우, 스펙트럼 프로세서 SP에서 구현된 이득 함수는 이하의 형태를 갖는다:

여기서 P_zz,n(kB,lw₀)와 P_zz(kB,lw₀)는 입력 신호 z내 왜곡의 전력 분배와, 입력 신호 z 그 자체의 전력 분배에 대한 추정들이다. 는 왜곡에 적용된 억제량을 조정하게 하는 소위 초과 감산 인수를 나타낸다. 이처럼 트레이드-오프(trade-off)는 왜곡 억제량과 프로세서 출력 신호의 지각 품질 사이에 형성될 수 있다.

식(1)에서, P_zz,n(kB,lw₀)는 일반적으로 공지되지 않고, 따라서 추정되어야 한다. 추정 이 이하와 같이 제안된다:

여기서 비율 항은:

여기서 은 음성과 같은 원하는 신호의 부존재시 측정된, 왜곡된 원하는 신호 z에 대한 왜곡의 시평균 스펙트럼 전력(time averaged spectral power)이고, 은 기준 신호 x의 시평균 스펙트럼 전력이다. 스펙트럼 진폭이나 크기와 같이 스펙트럼 전력에 대한 양의 값으로서, 포함된 신호들의 제곱 스펙트럼 크기, 전력 스펙트럼 밀도, 또는 멜-스케일 평활화된 스펙트럼 밀도가 취해질 수 있다. 프로세서 SP에서 식(3)의 구현은 음성 검출기를 요구한다. 상기 음성 검출기가 정확히 수행하지 않는다면, 원하는 음성이 영향받을 수 있고, 이것은 방지되어야 하는 가청 아티팩트들(audible artifacts)을 초래한다. 그러나, 차나 공장과 같은 잡음 조건들에서 신뢰성 있는 음성 검출이 수행되기는 어렵다.

일반적으로, 인수 C에 대한 추정으로서, 실제적으로 식(3)의 비율 중 고정 부분들에 집중함으로써 행해지는, 원하는 음성에 사실상 둔감한 새로운 인수 C'를 제안함으로써, 음성 검출기를 요구하지 않는 강한 알고리즘이 생성된다. 상기 아이디어의 실제적 구현에 있어서, 인수 C'는 왜곡된 원하는 신호(z)의 최소 스펙트럼 전력과 기준 신호(x)의 최소 스펙트럼 전력의 비에 의해 규정되는데, 두 최소값은 일정 시간 기간(span) 동안 결정된다. 이하와 같은 공식으로 표현된다:

1-L개의 시간 프레임들과 1개의 시간 프레임들 사이의 일정 시간 기간은, 왜곡된 원하는 신호에 존재하는 적어도 하나의 휴지(pause)를 포함하는 L개의 시간 프레임들을 포함한다. 원하는 신호가 음성 신호라면, 일반적으로 이것은 음성 휴지이다. 왜곡이나 잡음의 고정 성분들을 나타내는 결정된 최소값은 식(4)의 비를 각각 신호들 z와 x의 고정 성분들상에 집중시킨다. 일반적으로 일정 시간 기간은 적어도 4초 내지 5초를 지속한다. 식(4)에 주어진 인수 C'는 신호들 z,x의 고정 성분들에 기초하여 결정된다. 음성과 같은 비 고정 성분들이 이 신호들에 존재하는 경우에도 지속되는 것이 가정되고, 스펙트럼 프로세서 SP에 의해 수행된 동작은 상기 가정에 기초한다.

식(4)에서 인수 C'의 분자와 분모 내 스펙트럼은 평활화 상수들 β을 각각 갖는 블록들 LPF1, LPF2에 구현된 첫번째 재귀들(recursions)에서 전력 스펙트럼을 평활화함으로써 획득된다. 이 블록들에서의 재귀 구현은 입력 x,z 신호들의 평활화된 전력 스펙트럼 밀도 버전들을 획득하도록 도시된 바와 같이 결합된 곱셈기들 X, 덧셈기들 +, 및 지연 선들 z^-1을 포함한다. 예를 들어, z 신호는 이 후, 평활화 규칙을 준수한다:

여기서 평활화 상수 β는 0과 1사이의 값으로 가정한다. 동일한 규칙이 x신호 스펙트럼에 대해 적용할 수 있다. β의 값은 임의의 원하는 방식으로 제어될 수 있다. 그것의 값은 일반적으로 50-200㎳의 시간 상수에 대응한다. 시간 프레임 인덱스 m마다, 이 평활화된 양들 각각이 쉬프트 레지스터들 각각 SR1, SR2의 형태로 버퍼에 저장된다. 레지스터 위치들의 각각에 저장된 L개의 평활화된 값들 외에, 개개의 최소 값들은 식(4)에 따른 C'의 계산된 값을 나타내도록 나눗셈기 D에 공급된다. 물론, 분모에서 작은 값에 의한 나눗셈을 방지하도록 적절한 조치들이 취해진다.

원하는 음성 신호의 평균 레벨이 왜곡의 평균 레벨에 비해 너무 높은 경우, LPF1과 LPF2에 의한 평균 출력이 원하는 음성에 의해 지배되는 문제가 발생할 수 있다. 이것은, 상기 평균들이 고 음성 레벨의 발생 후에 저 왜곡 레벨로 복귀하는데 오랜 시간이 걸리기 때문이다. C'의 추정이 원하는 음성에 의해 영향을 받을 수 있을 때, 원하는 음성 신호의 원하지 않는 억제를 초래한다. 상기 영향은, 예를 들어 이하에 따라 재귀들 내 다중가변가능 압축 함수(multivariable compression function) f_c를 적용함으로써 감소된다:

동일한 규칙이 x 신호에 대해 적용할 수 있다. 새로운 입력 전력 값이 필터들 LPF1, LPF2에서의 값들에 비해 비교적 큰 경우, 재귀의 업데이터 단계를 줄이기 위해 압축 함수가 선택된다. 그러므로 압축 함수는 평균 신호 전력상에서 높은 원하는 음성 레벨의 영향을 감소시킨다. 적합한 압축 함수의 예는 이하에서 주어진다:

여기서 δ는 양의 상수이다. δ의 값이 작을수록 신호 값에서 더 느린 상승이 재귀 필터들 LPF1,LPF2에 이어진다. 압축 블록 f_c를 포함하는 실시예가 도 3에 도시된다. 압축이 필요치 않다면, 간단히 생략될 수 있다.

상기는 본질적으로 양호한 실시예들과 최상의 가능 모드들을 참조하여 기술되었지만, 첨부된 청구범위 내의 다양한 변경들, 특징들, 및 특징들의 조합이 당업자의 이해 범위 내이기 때문에, 상기 실시예들은 고려된 시스템 실시예들 및 방법 의 예들을 제한하는 것으로 해석되지 않는다는 점이 이해될 것이다.

Claims (10)

1. 왜곡된 원하는 신호(distorted desired signal) z를 나르기 위한 신호 입력, 기준 신호 입력, 및 상기 양쪽 신호 입력들에 결합되어 상기 원하는 신호의 상기 왜곡에 대한 추정으로서 역할을 하는 기준 신호 x에 의해 상기 왜곡된 원하는 신호를 처리하는 스펙트럼 프로세서를 포함하는 오디오 강화 시스템에 있어서,

   상기 스펙트럼 프로세서는 상기 처리 동안 인수 C'가 결정되어, 상기 추정이 상기 기준 신호의 스펙트럼 전력(spectral power)에 대한 C'곱의 함수가 되고, 상기 인수 C'는 시간에 대해 본질적으로 고정인 상기 신호들 z,x의 성분들 사이의 스펙트럼 비율에 따라 결정되도록 제공되는 것을 특징으로 하는, 오디오 강화 시스템.
2. 제 1 항에 있어서, 상기 인수 C'는 상기 왜곡된 원하는 신호의 최소 스펙트럼 전력들과 상기 기준 신호의 최소 스펙트럼 전력들의 비에 의해 규정되고, 상기 양쪽의 최소값은 일정 시간 기간 동안 결정되는 것을 특징으로 하는, 오디오 강화 시스템.
3. 제 2 항에 있어서, 상기 일정 시간 기간은 상기 왜곡된 원하는 신호 내 적어도 하나의 휴지(pause)를 포함하는 것을 특징으로 하는, 오디오 강화 시스템.
4. 제 3 항에 있어서, 상기 일정 시간 기간은 적어도 4초 내지 5초를 지속하는 것을 특징으로 하는, 오디오 강화 시스템.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 개개의 스펙트럼 전력들은 스펙트럼 크기, 제곱 스펙트럼 크기, 전력 스펙트럼 밀도, 또는 멜-스케일 평활화된 스펙트럼 밀도(Mel-scale smoothed spectral density)와 같이, 관계된 상기 스펙트럼 전력의 어떤 양의 함수에 의해 규정되는 것을 특징으로 하는, 오디오 강화 시스템.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 스펙트럼 프로세서는 상기 스펙트럼 전력들의 값들을 저장하는 쉬프트 레지스터들을 포함하는 것을 특징으로 하는, 오디오 강화 시스템.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 스펙트럼 전력들은 평활화된 스펙트럼 전력들(smoothed spectral powers)인 것을 특징으로 하는, 오디오 강화 시스템.
8. 오디오 강화 시스템이 제공되며, 특히, 이동 전화, 음성 인식 시스템, 또는 보이스 제어 시스템 등의 핸즈프리 통신 장치와 같은 통신 시스템인 시스템으로서, 상기 오디오 강화 시스템은 왜곡된 원하는 신호 z를 나르기 위한 신호 입력, 기준 신호 입력, 및 상기 양쪽 신호 입력들에 결합되어 상기 원하는 신호의 상기 왜곡에 대한 추정으로서 역할을 하는 기준 신호 x에 의해 상기 왜곡된 원하는 신호를 처리하는 스펙트럼 프로세서를 포함하는 시스템에 있어서,

   상기 스펙트럼 프로세서는 상기 처리 동안 인수 C'가 결정되어, 상기 추정이 상기 기준 신호의 스펙트럼 전력에 대한 C'곱의 함수가 되고, 상기 인수 C'는 시간에 대해 본질적으로 고정인 상기 신호들 z,x의 성분들 사이의 스펙트럼 비율에 따라 결정되도록 제공되는 것을 특징으로 하는, 통신 시스템.
9. 왜곡된 원하는 신호 z를 강화하는 방법으로서, 상기 신호는 상기 원하는 신호의 왜곡에 대한 추정으로서 역할을 하는 기준 신호 x에 의해 스펙트럼 처리되는, 상기 방법에 있어서,

   상기 추정은 상기 기준 신호의 스펙트럼 전력에 대한 C'곱의 함수가 되며, 상기 인수 C'는 시간에 대해 본질적으로 고정인 상기 신호들 z,x의 성분들 사이의 스펙트럼 비율에 따라 결정되는 것을 특징으로 하는, 왜곡된 원하는 신호 강화 방법.
10. 제 1 항 내지 제 7 항 중 어느 한 항에 따른 오디오 강화 시스템에서 사용하는데 적합한 신호들.