KR20060064554A

KR20060064554A - 강우 잡음을 억제하기 위한 시스템

Info

Publication number: KR20060064554A
Application number: KR1020050119546A
Authority: KR
Inventors: 필립 에이 헤더링턴; 아드리안 알 글로브
Original assignee: 하만 벡커 오토모티브 시스템스 - 웨이브마커 인크.
Priority date: 2004-12-08
Filing date: 2005-12-08
Publication date: 2006-06-13
Also published as: US20050114128A1; US20110282660A1; US7949522B2; CN1808570A; JP2006163417A; US8374855B2; EP1669983A1; CA2529594A1; CA2529594C

Abstract

음성 향상 로직은 프로세싱된 신호의 인식 품질을 향상시킨다. 음성 향상 시스템은 잡음 검출기 및 잡음 감쇠기를 포함한다. 잡음 검출기는 강우와 관련된 잡음을 검출하고 모델링한다. 잡음 감쇠기는 신호로부터의 강우 잡음을 약화시키거나 감소시켜 비음성, 완전 음성, 또는 혼합 음성 세그먼트의 식별도를 향상시킨다.

음성 향상 로직, 잡음 검출기, 잡음 감쇠기

Description

강우 잡음을 억제하기 위한 시스템{SYSTEM FOR SUPPRESSING RAIN NOISE}

도 1은 음성 향상 로직의 부분 블록도.

도 2는 강우 및 다른 음원들과 관련된 잡음의 시간 연속적인 플롯.

도 3은 강우 및 다른 음원들과 관련된 잡음의 시간-주파수 플롯.

도 4는 강우 및 다른 음원들에 대한 시뮬레이션 잡음들의 낙수 플롯(waterfall plot).

도 5는 도 1의 음성 향상 로직의 블록도.

도 6은 도 1의 음성 향상 로직에 결합되어 있는 선행-프로세싱 시스템.

도 7은 도 1의 음성 향상 로직에 결합되어 있는 다른 선행-프로세싱 시스템.

도 8은 다른 음성 향상 시스템의 블록도.

도 9는 음성 신호의 일부를 마스크하는 강우 잡음의 그래프.

도 10은 프로세싱되어 재구성된 음성 신호의 그래프.

도 11은 음성 향상의 흐름도.

도 12는 차량내 음성 향상 로직의 블록도.

도 13은 오디오 시스템 및/또는 네비게이션 시스템 및/또는 통신 시스템으로 인터페이스되는 음성 향상 로직의 블록도.

도 14는 강우 및 다른 음원들의 잡음들과 조합된 시뮬레이션 음성의 낙수 플 롯.

도 15는 2차원의 강우 잡음 모델을 나타내는 시뮬레이션된 시간-주파수 플롯.

도 16은 강우 잡음을 포함하는 시뮬레이션 프레임의 조합된 주파수-크기 및 주파수-위상 플롯.

※ 도면의 주요 일부에 대한 부호의 설명

100, 800 : 음성 향상 로직 102 : 강우 잡음 검출기

104 : 잡음 감쇠기 106, 814: 감쇠기

602 : 마이크로폰 604 : 컨트롤러

1120 : 주파수 변환

본 출원은, " Method for Suppressing Wind Noise"라는 명칭으로 2003년 2월 21일에 출원된 미국 특허출원 제 60/449,511호에 대한 우선권을 주장하는 "Method and Apparatus for Suppressing Wind Noise"라는 명칭으로 2003년 4월 10일에 출원된 미국 특허출원 제 10/410,736호의 CIP(continuation in-part) 출원인 "System for Suppressing Wind Noise"라는 명칭으로 2003년 10월 16일에 출원된 미국 특허출원 제 10/688,802호의 CIP 출원이다. 상기 출원들의 명세들은 여기에 참조로 포함된다.

1. 기술 분야

본 발명은 음향에 관한 것으로서, 좀더 구체적으로는, 간섭 잡음을 감소시키는 것에 의해 사운드의 인식 품질을 향상시키는 시스템에 관한 것이다.

2. 관련 기술

많은 핸즈프리 통신 장치들은 음성 신호를 획득하고, 동화하며(assimilate), 전송한다. 음성 신호들은 통신 매체를 통해 하나의 시스템에서 다른 시스템으로 전달된다. 차량들에서 사용되는 시스템들을 포함하는, 일부 시스템들에서는, 음성 신호의 명료성이 통신 시스템의 품질 또는 통신 매체의 품질에 의존하지 않는다. 음원 또는 수신기 부근에서 잡음이 발생할 경우, 왜곡이 음성 신호와 간섭할 수 있으며, 정보를 파괴할 수 있고, 일부 경우들에서는, 음성 신호가 인식될 수 없도록, 음성 신호를 마스크한다.

잡음은 다수 음원들로부터 기인할 수 있다. 차량에서는, 엔진, 도로, 타이어에 의해, 또는 주변 환경에 의해 잡음이 발생될 수 있다. 차량위로 비가 떨어질 때, 그것은 광역 주파수 스펙트럼에 걸쳐 청취될 수 있는 잡음을 발생시킨다. 이러한 잡음의 일부 태양들은 예측 가능하기도 하지만, 다른 것들은 임의적이다.

일부 시스템들은 다양한 사운드-억제 및 약화 재료들로 차량들을 방음하는 것에 의해 강우 잡음의 영향들을 중화하고자 한다. 이러한 재료들이 일부 잡음들을 감소시키는데는 효과적이지만, 이 재료들 또한 소정 신호들을 흡수하며 오디오 스펙트럼의 일부를 마스크할 수 있는 강우 잡음은 차단하지 않는다. 일부 음향 향 상 시스템들에서의 다른 문제는 강우 잡음을 검출하는 문제이다. 일부 음향 향상 시스템들에서의 또 다른 문제는, 이들이 다른 통신 시스템들을 쉽게 수용하지 않는다는 것이다.

따라서, 가변 주파수 범위에 걸쳐 표면을 때리는 물과 관련된 잡음을 중화시키는 시스템이 필요하다.

본 발명은, 프로세싱된 음성의 인식 품질을 향상시키는 음성 향상 로직을 제공한다. 본 시스템은, 차량 표면을 포함하는 표면을 때리는 물과 관련된 잡음을 습득하고, 인코딩한 다음, 약화시킨다. 본 시스템은 잡음 검출기 및 잡음 감쇠기를 포함한다. 잡음 검출기는, 폭풍우 동안에 청취될 수 있는 잡음과 같은, 떨어지는 물과 관련된 잡음을 검출한다. 잡음 감쇠기는 검출된 강우 잡음의 일부를 약화시키거나 감소시킨다.

다른 음성 향상 로직은 시간 주파수 변환 로직, 배경 잡음 추정기, 강우 잡음 검출기, 및 강우 잡음 감쇠기를 포함한다. 시간 주파수 변환 로직은 시간에 따라 변하는 입력 신호를 주파수 도메인 출력 신호로 변환한다. 배경 잡음 추정기는, 입력 신호에 수반될 수 있는 연속성 잡음(continuous noise)을 측정한다. 강우 잡음 검출기는 강우와 관련된 잡음의 일부를 자동적으로 식별하고 모델링하는데, 이것은 강우 잡음 감쇠기에 의해 약화되거나 감소된다.

본 발명의 다른 시스템들, 방법들, 사양들, 및 이점들은, 다음의 도면들 및 상세한 설명을 살펴보는 것에 의해, 당업자에게 명백하거나 명백해질 것이다. 이 러한 추가적 시스템들, 방법들, 사양들, 및 이점들 모두는 본 명세서내에 포함될 것이고, 본 발명의 범위내에 해당될 것이며, 다음의 청구항들에 의해 보호될 것이다.

본 발명은 다음의 도면들 및 상세한 설명을 참조할 때 좀더 잘 이해될 수 있다. 도면의 컴포넌트들이 반드시 축척대로 그려질 필요는 없는 대신, 본 발명의 원리들을 도시하는 것이 강조된다. 또한, 도면들에서, 유사한 참조 번호들은 상이한 도면들 전체에 걸쳐 대응되는 부분들을 지시한다.

바람직한 실시예들의 상세한 설명

음성 향상 로직은 프로세싱된 음성의 인식 품질을 향상시킨다. 로직은 강우와 관련된 잡음의 형태를 실시간으로 또는 지연된 시간에서 자동적으로 습득하고 인코딩할 수 있다. 선택된 속성들을 추적하는 것에 의해, 로직은, 잡음의 선택된 속성들을 일시적으로 저장하는 메모리를 사용해, 강우 잡음을 실질적으로 제거하거나 약화시킬 수 있다. 다른 방법으로, 로직은 연속성 잡음 및/또는 일부 음성 향상 시스템들에 의해 발생될 수 있는 "음악 잡음"(찍찍거리는 소리, 꽥꽥거리는 소리, 짹짹거리는 소리, 딸깍거리는 소리, 물방울 소리, 뻥하고 터지는 소리, 음질들, 또는 다른 사운드 인공 산물들)도 약화시킬 수 있다.

도 1은 음성 향상 로직(100)의 부분 블록도이다. 음성 향상 로직(100)은 하나 이상의 오퍼레이팅 시스템들과 함께 하나 이상의 프로세서들에서 실행될 수 있는 하드웨어 또는 소프트웨어를 포함할 수 있다. 고이식성 로직(highly portable logic)은 강우 잡음 검출기(102) 및 잡음 감쇠기(104)를 포함한다.

도 1에서, 강우 잡음 검출기(102)는 표면으로 떨어지거나 표면을 때리는 강우와 관련된 잡음을 식별하고 모델링할 수 있다. 강우 잡음은 광역 주파수 스펙트럼에 걸쳐 발생할 수 있지만, 강우 잡음 검출기(102)는 귀로써 인식되는 강우 잡음을 검출하고 모델링하도록 구성된다. 강우 잡음 검출기(102)는 입력 사운드를 수신하는데, 이것은, 단기 스펙트럼들에서, 3개의 광역 카테고리들: (1) 강우와 관련된 잡음을 포함할 수 있는, 예를 들어, 고조파 또는 포먼트 구조(harmonic or formant structure)는 아니지만 소정 스펙트럼 형태를 가질 수 있는, 잡음형 특징들을 나타내는 비음성; (2) 포먼트 구조를 설명할 수 있는 스펙트럼 엔빌로프(spectral envelope)로써 가중화된 피치 고조파들에서 일정한 고조파 구조 또는 피크들을 나타내는 완전 음성; 및 (3) 일부 부분들은 강우 잡음을 포함할 수 있는 잡음형 세그먼트들을 포함하고 나머지는 일정한 고조파 구조 및/또는 포먼트 구조를 나타내는, 상기 2개 카테고리들의 혼합을 나타내는 혼합 음성으로 분류될 수 있다.

강우 잡음 검출기(102)는, 입력되는 잡음 세그먼트가 얼마나 복잡할 수 있는지 또는 얼마나 클 수 있는지에 상관없이, 실시간으로 또는 지연된 시간에서 나머지 신호로부터 잡음형 세그먼트들을 분리할 수 있다. 분리된 잡음형 세그먼트들은 강우 잡음의 발생을 검출하기 위해, 그리고 일부 경우들에서는, 근본적인 연속 잡음의 존재를 검출하기 위해 분석된다. 강우 잡음이 검출될 경우, 스펙트럼이 모델링되고, 모델은 메모리에 유지된다. 강우 잡음 검출기(102)가 강우 잡음 신호의 전체 모델을 저장할 수도 있지만, 강우 잡음 검출기(102)는 선택된 속성들을 메모 리에 저장할 수도 있다. 선택된 일부 속성들은 표면을 때리는 강우, 폭풍우 속에서 청취될 수 있는 주변 잡음(예를 들어, 차량 잡음), 또는 이들의 조합에 의해 발생되는 잡음을 모델링할 수 있다.

강우 잡음의 영향들을 극복하기 위해, 그리고 일부 경우들에서는, 주변 잡음을 포함할 수 있는 근본적인 연속 잡음을 극복하기 위해, 잡음 감쇠기(104)는 비음성 및 혼합 음성 신호들로부터 강우 잡음 및/또는 연속성 잡음을 실질적으로 제거하거나 약화시킨다. 음성 향상 로직(100)은, 소정 주파수 스펙트럼에 걸쳐 강우 잡음을 실질적으로 제거하거나, 약화시키거나, 감소시키는 임의의 시스템을 포함한다. 강우 잡음을 약화시키거나 제거할 수 있는 시스템들의 예로는, (1) 잡음 신호 및 잡음 추정치의 잡음-감소 신호로의 신경망 매핑(neural network mapping)을 사용하는 시스템들, (2) 잡음 신호로부터 잡음 추정치를 감산하는 시스템들, (3) 잡음 신호 및 잡음 추정치를 사용해 코드-북으로부터 잡음-감소 신호를 선택하는 시스템들, 및 (4) 잡음 신호 및 잡음 추정치를 임의의 여타 방식으로 사용해, 마스크된 신호의 재구성에 기초한 잡음-감소 신호를 발생시키는 시스템들과 같은, 신호 및 잡음 추정치를 사용하는 시스템들을 들 수 있다. 이들 시스템들은 강우 잡음을 감쇠시킬 수 있고, 일부 경우들에서는, 단기 스펙트럼들의 일부분일 수 있는 연속성 잡음을 감쇠시킬 수도 있다. 잡음 감쇠기(104)는, 프로세싱된 신호에 도입될 수 있는 인공 산물들을 제거하거나 약화시키는 선택적인 잔여 감쇠기(106)와 인터페이스하거나 선택적인 잔여 감쇠기(106)를 포함할 수도 있다. 잔여 감쇠기(106)는 "음악 잡음"(찍찍거리는 소리, 꽥꽥거리는 소리, 짹짹거리는 소리, 딸깍거리는 소리, 물방울 소리, 뻥하고 터지는 소리, 음질들, 또는 다른 사운드 인공 산물들)을 제거할 수 있다.

도 2는 음성 발화 및 대기 중의 증기로부터 집적되어 표면상으로 방울지어 떨어지는 물에 의해 발생되는 잡음 신호의 예시적 프레임을 도시한다. 강우 펄스들(202, 204, 및 206)은 표면을 때리는 비에 의해 발생되는 사운드를 포함한다. 강우 펄스들(202, 204, 및 206)의 진폭들은, 수신기 또는 검출기에 의해 검출되는, 표면을 때리는 강우의 파워 또는 강도의 상대적 차이들을 반영한다. 차량에서, 강우 펄스들(202, 204, 및 206)은, 자연적으로 흐르는 물이 윈도우와 같은 표면을 때릴 때에 발생되는 사운드 또는 압력하에서 전달되는 물이 표면을 때릴 때 발생되는 사운드를 표현할 수 있다. 도 2에 도시된 연속성 잡음은 주변 잡음, 엔진과 관련된 잡음, 전동 장치에 의해 발생되는 잡음, 도로 잡음, 타이어 잡음, 다른 차량 잡음들, 또는 여타 사운드들을 포함할 수 있다.

도 3에 나타낸 주파수 스펙트럼 도메인에서, 연속성 잡음 및 강우 펄스들(202, 204, 및 206)은 실질적인 선형 펄스로부터 곡선형 펄스까지 이를 수 있다. 도 3에 나타낸 강우 과도 응답들(raindrop transients)의 실질적인 수직 라인들은 완전한 일직선이 아닐 수도 있다. 편차들은 강우 잡음 검출기(102)에서의 본질적인 왜곡, 차량의 음향들, 및 다른 음원들에 의한 것일 수 있다. 일부 강우 잡음 검출기들(102) 또는 강우 잡음 검출기(102)와 인터페이스할 수 있는 다른 장치들에서는, 음파들을 아날로그 신호들로 변환하거나 음파들을 디지털 데이터로 변환하는 회로들 또는 하드웨어가 강우 데이터를 왜곡시킬 수 있다. 강우 과도 응답들의 형 태는, 신호가 이러한 회로들에 의해 검출되거나 프로세싱될 때 변할 수 있다. 이러한 왜곡으로 인해, 정보가 손실될 수 있다. 일부 음성 향상 로직에서는, 왜곡이 습득되거나 인코딩될 수 있어, 잡음 감쇠기들(104) 중 일부로 하여금 왜곡을 실질적으로 제거하거나, 약화시키거나, 감소시킬 수 있게 한다.

강우 검출은 주파수 포워드 및/또는 백워드의 세그먼트들을 시간에서 모니터링하는 것에 의해 발생할 수 있다. 필터 뱅크들 또는 FFT(Fast Fourier Transforms)는 사운드를 로그 주파수 도메인으로 변환할 수 있다. 비교를 통해, 강우 잡음 검출기(102)는 그들의 인접한 주파수 대역들 또는 프레임들보다 실질적으로 더 많은 에너지를 가진 프레임들을 식별한다. 프레임의 주파수 대역이 인접 프레임에서보다 더 높은 에너지를 가지면, 강우 잡음 검출기(102)는, 이 또한 그들의 인접 프레임들에서보다 더 많은 에너지를 가진 다른 주파수 대역들을 찾는다. 이들 주파수 대역들내의 에너지가 도 4에 나타낸 직선과 같은 모델 또는 직선을 닮은 것으로 피팅될 수 있을 경우, 강우 잡음 검출기(102)는 그 대역을 잠재적인 강우 이벤트들로서 식별한다. 일부 강우 잡음 검출기들(102)에서는, 라인에 관련된 에너지의 분포 또는 변화(예를 들어, 표준 편차)가 소정 범위 또는 프로그램 가능한 범위내에 있을 경우에, 강우 이벤트들이 발생할 수 있다. 이웃보다 높은 에너지를 나타내지만 모델보다 인지할 수 있게 높은 에너지를 나타내는 대역들은 강우 잡음의 일부분인 것으로 간주되지 않을 수도 있다.

강우 과도 응답들의 상대적인 크기들 및 구간들이 습득되고 나면, 그들의 제거는 많은 방법들로써 실현될 수 있다. 일 방법으로, 잡음 감쇠기(104)는 인접 프 레임들의 값들에 기초한 예측 값으로써 강우 과도 응답을 대체한다. 시간적으로 백워드 및/또는 포워드에 배치된 하나 이상의 프레임들로써 발생할 수 있는 보간 방법이 발생할 수 있고, 소정 제약 사항들 및/또는 선행 제한 사항들을 부과할 수 있다. 다른 방법으로, 잡음 감쇠기(104)는 습득된 위치들 및 주파수들을 공지의 또는 측정된 상수 잡음 추정치에 가산한다. 그 다음, 잡음 감쇠기(104)는 모델링된 강우 잡음을 포함하는 잡음 추정치를 잡음 신호로부터 감산한다.

도 5는, 비음성, 완전 음성, 또는 혼합 음성 입력 신호를 수신하거나 검출할 수 있는 예시적인 강우 잡음 검출기(102)의 블록도이다. 수신되거나 검출된 신호는 소정 주파수에서 디지털화된다. 양호한 품질의 음성을 보장하기 위해, 음성 신호는 임의의 공통 샘플링 속도를 가진 ADC(analog-to-digital converter;502)에 의해 PCM(pulse-code-modulated) 신호로 변환된다. 윈도우 신호(windowed signal)를 획득하기 위해, 데이터 블록에 평활화 윈도우(504;smooth window)가 적용된다. 윈도우 신호를 위한 복소 스펙트럼(complex spectrum)은 디지털화된 신호들을 주파수 빈들로 분리하는 FFT(406) 또는 필터 뱅크에 의해 획득될 수 있는데, 각각의 빈은 작은 주파수 범위에 걸쳐 진폭 및 위상을 식별한다. 그 다음, 각각의 주파수 빈은 전력-스펙트럼 도메인(508) 및 로그 도메인(510)으로 변환되어 연속성 잡음 추정치를 갖추거나 갖추지 않은 강우 잡음 추정치를 발생시킬 수 있다. 사운드의 더 많은 윈도우들이 프로세싱됨에 따라, 강우 잡음 검출기(102)는 평균 강우 잡음 추정치들을 유도할 수 있다. 시간-평활화되거나 가중화된 평균은 각각의 주파수 빈에 대해 연속성 잡음 추정치를 갖추거나 갖추지 않은 강우 잡음치를 추정하는데 사용 될 수 있다.

강우 이벤트를 검출하기 위해, 라인은 주파수 스펙트럼의 선택된 일부로 피팅될 수 있다. 회귀(regression)를 통해, 가장 적합한 라인(best-fit line)이 소정 데이터 블록내의 강우 잡음의 엄격성(severity)을 측정할 수 있다. 가장 적합한 라인과 선택된 주파수 스펙트럼간의 높은 상관이 강우 잡음 이벤트를 식별할 수 있다. 높은 상관의 존재 여부는 강우 잡음의 주파수 및 진폭에서의 변화들과 음성 또는 다른 잡음들의 존재에 의존할 수 있다.

음성의 마스킹을 한정하기 위해, 의심되는 강우 잡음 신호로의 라인 피팅은 규칙들에 의해 제한될 수 있다. 예시적인 규칙들은 강우 잡음 모델에서의 오프셋, 기울기, 곡률 또는 좌표점과 같은 계산된 파라미터 기술이 평균값을 초과하는 것을 방지할 수 있다. 다른 규칙은, 잡음 감쇠기(104)가, 모음 또는 다른 고조파 구조가 검출될 때, 계산된 강우 잡음 정정을 적용하는 것을 방지하기 위해 강우 잡음 정정을 조정하거나 변조할 수 있다. 고조파는 그것의 협대역 및 그것의 날카로운 피크에 의해, 또는 음성이나 피치 검출기와 협력하여 식별될 수 있다. 모음 또는 다른 고조파 구조가 검출되면, 강우 잡음 검출기(102)는 강우 잡음 정정을 소정 또는 평균값들 이하로 한정할 수 있다. 추가적인 규칙은, 평균적인 강우 잡음 모델 또는 그것의 속성들이 비음성 세그먼트들 동안에만 업데이트되게 할 수 있다. 음성 또는 혼합 음성 세그먼트가 검출되면, 평균적인 강우 잡음 모델 또는 그것의 속성들은 이 규칙에 따라 업데이트되지 않는다. 음성이 검출되지 않으면, 강우 잡음 모델 또는 각 속성은, 가중화된 평균 또는 누설 적분기(leaky integrator)를 통하 는 것과 같은, 임의 수단을 통해 업데이트될 수 있다. 다수의 다른 규칙들이 모델에 적용될 수도 있다. 규칙들은, 음성 세그먼트의 마스킹없이, 의심되는 강우 잡음 이벤트에 실질적으로 양호한 선형 피팅을 제공할 수 있다.

강우 잡음의 영향들을 극복하기 위해, 강우 잡음 감쇠기(104)는 임의의 방법에 의해 잡음 스펙트럼으로부터 강우 잡음을 실질적으로 제거하거나 약화시킬 수 있다. 일 방법은 기록되거나 모델링된 연속성 잡음(904)에 강우 잡음 모델을 가산할 수 있다. 그 다음, 전력 스펙트럼에서, 모델링된 잡음은 미변경 스펙트럼으로부터 감산될 수 있다. 도 9에 나타낸 바와 같이 아래쪽의 피크(902) 또는 밸리(valley)가 강우 잡음에 의해 마스크되어 있거나 연속성 잡음에 의해 마스크되어 있으면, 통상적이거나 변형된 보간 방법을 사용해 도 10에 나타낸 바와 같이 피크 및/또는 밸리를 재구성할 수 있다. 선형 또는 계단식 보간기가 신호의 누락 부분을 재구성하는데 사용될 수 있다. 다음으로는, 역 FFT, 필터 뱅크가 신호 전력을 시간 도메인으로 변환하는데 사용될 수 있는데, 이것은 재구성된 음성 신호를 제공한다. 다른 방법으로는, 신호가 MFCC(Mel frequency cepstral coefficients)와 같은 다른 주파수 변환으로 변환될 수도 있다.

선택된 주파수 범위에서 일부 강우 잡음 감쇠기들에 의해 발생될 수 있는 "음악 잡음"(찍찍거리는 소리, 꽥꽥거리는 소리, 짹짹거리는 소리, 딸깍거리는 소리, 물방울 소리, 뻥하고 터지는 소리, 음질들, 또는 다른 사운드 인공 산물들)을 감소시키기 위해, (도 1에 나타낸) 선택적인 잔여 감쇠기(106)는, 음성 신호가 시간 도메인으로 변환되기 이전 또는 이후에, 음성 신호를 조정할 수도 있다. 잔여 감쇠기(106)는 미드 투 하이(mid to high) 주파수 범위(예를 들어, 약 1000 Hz 이상)와 같은 선택 주파수 범위내의 전력 스펙트럼을 추적할 수 있다. 신호 전력에서 큰 증가가 검출될 때, 그 범위에서의 전송 전력을 소정 또는 계산된 임계치로 한정하거나 약화시키는 것에 의해 향상이 획득될 수 있다. 계산된 임계치는 시간적으로 선행 주기의 그와 동일한 주파수 범위에 대한 평균 스펙트럼 전력과 동일하거나 그에 기초할 수 있다.

강우 잡음 검출기(102)가 입력 신호를 프로세싱하기 전에 입력 신호를 사전-조정하는 것에 의해, 음성 품질에 대한 추가적인 향상들이 실현될 수 있다. 일 선행-프로세싱 시스템은, 도 6에 나타낸 바와 같이, 떨어져 배치되어 있는 상이한 검출기들에 신호가 도달할 수 있는 지연 시간을 이용할 수 있다. 사운드를 전기 신호로 변환하는 다수의 검출기들 또는 마이크로폰들(602)이 사용된다면, 선행-프로세싱 시스템은, 최소량의 강우 잡음을 감지하는 마이크로폰(602) 및 채널을 자동적으로 선택하는 제어 로직(604)을 포함할 수 있다. 다른 마이크로폰(602)이 선택될 경우, 전기 신호는 강우 잡음 검출기(102)에 의해 프로세싱되기 전에 앞서 발생된 신호와 조합될 수 있다.

다른 방법으로는, 도 7에 나타낸 바와 같이, 다수의 강우 잡음 검출기들(102)이 마이크로폰들(602) 각각의 입력을 분석하는데 사용될 수 있다. 스펙트럼 강우 잡음 추정들이 채널들 각각에 대해 수행될 수 있다. 하나 이상의 채널들의 혼합은 마이크로폰들(602)의 출력들 사이에서 스위칭하는 것에 의해 발생할 수 있다. 신호들은 주파수-대-주파수 기반으로 평가되고 선택될 수 있다. 다른 방법으 로는, 제어 로직(702)이 다수 강우 잡음 검출기들(102)의 출력 신호들을 가중화 펑크션을 통해 특정 주파수 또는 주파수 범위에서 조합할 수 있다.

도 8은, 이 또한 프로세싱된 음성의 인식 품질을 향상시키는 다른 음성 향상 로직(800)이다. 향상은, 시간에 따라 변하는 신호를 디지털화하고 주파수 도메인으로 변환하는 시간-주파수 변환 로직(802)에 의해 실현된다. 배경 잡음 추정기(804)는 음원 또는 수신기 부근에서 발생하는 연속성 잡음 또는 주변 잡음을 측정한다. 배경 잡음 추정기(804)는 각 주파수 빈에서의 음향 전력을 평균하는 전력 검출기를 구비할 수 있다. 비-주기적 과도 응답들에서의 바이어스된 잡음 추정들을 방지하기 위해, 과도 응답 검출기(806)는 전력의 예상치 못한 또는 예상 불가능한 증가들 동안에는 잡음 추정 프로세스를 디스에이블한다. 도 8에서, 과도 응답 검출기(806)는, 순간적인 배경 잡음(B(f,i))이 평균 배경 잡음(B(f) _AVE )을 선택된 데시벨 수준 'c' 이상으로 초과하면, 배경 잡음 추정기(704)를 디스에이블할 수 있다. 이 관계는 다음의 수학식 1로서 표현될 수 있다.

강우 이벤트를 검출하기 위해, 강우 잡음 검출기(708)는 라인을 스펙트럼의 선택된 일부에 피팅할 수 있다. 회귀를 통해, 가장 적합한 라인이 강우 잡음(202)의 엄격성을 모델링할 수 있다. 음성의 임의 마스킹을 한정하기 위해, 강우 잡음의 의심되는 범위로의 라인 피팅은 상술된 규칙들에 의해 제한될 수 있다. 피팅된 라인과 강우와 관련된 잡음간의 높은 상관이 검출될 때, 강우 이벤트가 식별될 수 있다. 높은 상관의 존재 여부는 프로세싱된 음성의 소정 명료성 및 강우 잡음의 주파수와 진폭에서의 변동들에 의존할 수 있다.

다른 방법으로, 강우 이벤트는 스펙트럼 사진상에 그래픽으로 디스플레이될 수 있는 입력 신호의 시간에 따라 변하는 스펙트럼 특징들의 분석에 의해 식별될 수도 있다. 스펙트럼 사진은, 수직 차원들이 주파수에 대응되고 수평 차원들이 시간에 대응되는, 도 3에 나타낸 바와 같은, 2차원 패턴이다.

신호 분별기(810)는 스펙트럼의 음성 및 잡음을 실시간으로 또는 지연된 시간에서 마크(mark)할 수 있다. 임의의 방법을 사용해 음성과 잡음을 구별할 수 있다. 도 7에서, 음성 신호들은 (1) 그들의 대역들 또는 피크들의 좁은 폭들; (2) 고조파적으로 관련될 수 있는 공진 구조; (3) 포먼트 주파수들에 대응되는 공진들 또는 넓은 피크들; (4) 시간에 따라 비교적 느리게 변하는 특징들; (5) 그들의 구간들; 및 다수의 검출기들 또는 마이크로폰들이 사용될 경우, (6) 검출기들 또는 마이크로폰들의 출력 신호들의 상관 및 다수의 다른 속성들 및/또는 조합들에 의해 식별될 수 있다.

강우 잡음의 영향들을 극복하기 위해, 강우 잡음 감쇠기(812)는 임의의 방법에 의해 잡음 스펙트럼으로부터 강우 잡음을 약화시키거나 실질적으로 제거할 수 있다. 일 방법은, 주기적인 강우 잡음 펄스들을 기록되거나 모델링된 연속성 잡음에 가산할 수 있다. 그 다음, 전력 스펙트럼에서, 모델링된 잡음은 상술된 수단에 의해 미변경 스펙트럼으로부터 제거될 수 있다. 아래쪽의 피크 또는 밸리(902)가 도 9에 나타낸 바와 같이 강우 잡음(202)에 의해 마스크되어 있거나 연속성 잡음에 의해 마스크되어 있다면, 통상적이거나 변형된 보간 방법을 사용해 도 10에 나타낸 바와 같이 피크 및/또는 밸리를 재구성할 수 있다. 선형 또는 계단식 보간기를 사용해 신호의 누락 부분을 재구성할 수 있다. 그 다음, 시간 연속적인 합성기를 사용해 신호 전력을 시간 도메인으로 변환할 수 있는데, 이것은 재구성된 음성 신호를 제공한다.

선택된 주파수 범위에서 일부 강우 잡음 감쇠기들에 의해 발생될 수 있는 "음악 잡음"(찍찍거리는 소리, 꽥꽥거리는 소리, 짹짹거리는 소리, 딸깍거리는 소리, 물방울 소리, 뻥하고 터지는 소리, 음질들, 또는 다른 사운드 인공 산물들)을 최소화하기 위해, 선택적인 잔여 감쇠기(814)가 사용될 수도 있다. 잔여 감쇠기(814)는 주파수 범위내의 전력 스펙트럼을 추적할 수 있다. 신호 전력에서 큰 증가가 검출될 경우, 주파수 범위에서의 전송 전력을 소정 또는 계산된 임계치로 한정하는 것에 의해 향상이 획득될 수 있다. 계산된 임계치는 시간적으로 앞선 주기 또는 이후 주기에서의 그와 동일한 주파수 범위의 평균 스펙트럼 전력과 동일하거나 그에 기초할 수 있다.

도 11은 프로세싱된 음성의 인식 품질을 향상시키기 위해 일부 강우 잡음 및 연속성 잡음을 제거하는 음성 향상의 흐름도이다. 동작 1102에서는, 수신되거나 검출된 신호가 소정 주파수로 디지털화된다. 양호한 품질의 음성을 보장하기 위해, 음성 신호는 ADC에 의해 PCM 신호로 변환될 수 있다. 동작 1104에서는, 디지털화된 신호들을 주파수 빈들로 분리하는 FFT 또는 필터 뱅크에 의해 윈도우 신호 를 위한 복소 스펙트럼이 획득될 수 있는데, 각 빈은 작은 주파수 범위에 걸친 진폭 및 위상을 식별한다.

동작 1106에서는, 연속성 잡음 또는 주변 잡음이 측정된다. 배경 잡음 추정치는 각 주파수 빈에서의 음향 전력 평균치를 구비할 수 있다. 과도 응답들에서의 바이어스된 잡음 추정들을 방지하기 위해, 동작 1108에서의 비정상적이거나 예측 불가능한 전력 증가들 동안에는, 잡음 추정 프로세스가 디스에이블될 수 있다. 과도 응답 검출 동작(1108)은, 순간적인 배경 잡음이 평균 배경 잡음을 소정 데시벨 수준 이상으로 초과할 경우, 배경 잡음 추정을 디스에이블한다.

동작 1110에서는, 높은 상관이 가장 적합한 라인과 주파수 스펙트럼의 선택된 일부 사이에서 벗어날 때, 강우 이벤트가 검출될 수 있다. 다른 방법으로, 강우 이벤트는 입력 신호의 시간에 따라 변하는 스펙트럼 특징들을 분석하는 것에 의해 식별될 수도 있다. 라인 피팅 검출 방법이 사용될 경우, 의심되는 강우 신호로의 라인 피팅은 선택적인 일부 동작들에 의해 제한될 수 있다. 선택적인 예시적 동작들은, 강우 잡음 모델에서의 계산된 오프셋, 기울기, 또는 좌표점이 평균값을 초과하는 것을 방지할 수 있다. 선택적인 다른 동작은, 모음 또는 다른 고조파 구조가 검출될 때, 강우 잡음 검출 방법이 계산된 강우 잡음 정정을 적용하는 것을 방지할 수 있다. 모음 또는 다른 고조파 구조가 검출되면, 강우 잡음 검출 방법은 강우 접음 정정을 소정 또는 평균값들 이하로 한정할 수 있다. 추가적인 선택 동작은, 평균적인 강우 잡음 모델 또는 속성들이 비음성 세그먼트들 동안에만 업데이트되게 할 수 있다. 음성 또는 혼합 음성 세그먼트가 검출되면, 평균적인 강우 잡 음 모델 또는 속성들은 이 동작에 따라 업데이트되지 않는다. 음성이 검출되지 않으면, 강우 잡음 모델 또는 각 속성은, 가중화된 평균 또는 누설 적분기를 통하는 것과 같은, 다수 수단들을 통해 업데이트될 수 있다. 다수의 다른 선택적인 동작들도 모델에 적용될 수 있다.

동작 1112에서는, 신호 분석이 잡음형 세그먼트들로부터 음성 신호를 분별하거나 마크할 수 있다. 음성 신호들은, 예를 들어, (1) 그들의 대역들 또는 피크들의 좁은 폭들; (2) 고조파적으로 관련될 수 있는 공진 구조; (3) 포먼트 주파수들에 대응되는 그들의 고조파들; (4) 시간에 따라 비교적 느리게 변하는 특징들; (5) 그들의 구간들; 및 다수의 검출기들 또는 마이크로폰들이 사용될 경우, (6) 검출기들 또는 마이크로폰들의 출력 신호들의 상관을 포함하는 임의 수단에 의해 식별될 수 있다.

강우 잡음의 영향들을 극복하기 위해, 강우 잡음은 임의 동작에 의해 잡음 스펙트럼으로부터 실질적으로 제거되거나 약화된다. 예시적 일 동작(1114)은 실질적으로 주기적인 강우 펄스들을 기록되거나 모델링된 연속성 잡음에 가산한다. 그 다음, 전력 스펙트럼에서, 모델링된 잡음은 상술된 방법들 및 시스템들에 의해 미변경 스펙트럼으로부터 실질적으로 제거될 수 있다. 도 9에 나타낸 바와 같이 아래쪽의 피크 또는 밸리(902)가 강우 이벤트(202)에 의해 마스크되어 있거나 연속성 잡음(902)에 의해 마스크되어 있다면, 통상적이거나 변경된 보간 방법을 사용해 동작 1116에서 피크 및/또는 밸리를 재구성할 수 있다. 그 다음, 동작 1120에서는 시간 연속적인 분석을 사용해 신호 전력을 시간 도메인으로 변환할 수 있는데, 이 것은 재구성된 음성 신호를 제공한다.

선택된 주파수 범위에서 일부의 강우 잡음 제거 프로세스들에 의해 발생될 수 있는 "음악 잡음"(찍찍거리는 소리, 꽥꽥거리는 소리, 짹짹거리는 소리, 딸깍거리는 소리, 물방울 소리, 뻥하고 터지는 소리, 음질들, 또는 다른 사운드 인공 산물들)을 최소화하기 위해, 신호가 시간 도메인으로 역변환되기 전에, 잔여 감쇠 방법이 수행될 수도 있다. 선택적인 잔여 감쇠 방법(1118)은 주파수 범위내의 전력 스펙트럼을 추적할 수 있다. 신호 전력에서 큰 증가가 검출될 때, 그 주파수 범위에서의 전송 전력을 소정 또는 계산된 임계치로 한정하는 것에 의해 향상이 획득될 수 있다. 계산된 임계치는 시간적으로 앞선 주기 또는 이후 주기에서의 그와 동일한 주파수 범위의 평균 스펙트럼 전력과 동일하거나 그에 기초할 수 있다.

도 11에 나타낸 방법은 신호 보유 매체(signal bearing medium), 메모리와 같은 컴퓨터 판독 가능 매체에서 인코딩되거나, 하나 이상의 집적 회로들과 같은 장치내에서 프로그램되거나, 컨트롤러 또는 컴퓨터에 의해 프로세싱될 수 있다. 방법들이 소프트웨어에 의해 수행된다면, 소프트웨어는 강우 잡음 검출기(102), 잡음 감쇠기(104), 통신 인터페이스에 상주하거나 인터페이스되는 메모리에 상주하거나 음성 향상 로직(100 또는 800)에 인터페이스되거나 상주하는 임의의 여타 비휘발성 또는 휘발성 메모리 유형에 상주할 수 있다. 메모리는 논리 펑크션들을 구현하기 위해 순차적으로 열거되어 있는 실행 가능 명령어들을 포함할 수 있다. 논리 펑크션은 디지털 회로를 통해, 소스 코드를 통해, 아날로그 회로를 통해, 또는 아날로그 전기, 오디오, 또는 비디오 신호에 의한 것과 같은 아날로그 소스를 통해 구현될 수 있다. 소프트웨어는 임의의 컴퓨터-판독 가능 또는 신호-보유 매체에, 명령어 실행 가능 시스템, 장비, 또는 장치에 의한 사용을 위해 또는 그와 관련한 사용을 위해 구체화될 수 있다. 이러한 시스템은 컴퓨터-기반 시스템, 프로세서-포함 시스템, 또는 이 또한 명령어들을 실행할 수 있는 명령어 실행 가능 시스템, 장비, 또는 장치로부터 명령어들을 선택적으로 페치(fetch)할 수 있는 다른 시스템을 포함할 수 있다.

"컴퓨터-판독 가능 매체", "머신-판독 가능 매체", "전파-신호 매체", 및/또는 "신호-보유 매체"는 명령어 실행 가능 시스템, 장비, 또는 장치에 의한 사용을 위해 또는 그와 관련한 사용을 위해 소프트웨어를 포함하거나, 저장하거나, 통신하거나, 전파하거나, 전송하는 임의 수단을 구비할 수 있다. 머신-판독 가능 매체는 선택적으로, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장비, 장치, 또는 전파 매체일 수 있지만, 이에 한정되는 것은 아니다. 머신-판독 가능 매체의 총망라적인 것은 아닌 예들의 리스트로는, RAM(Random Access Memory;전자 장치), ROM(Read-Only Memory;전자 장치), EPROM 또는 플래시 메모리(Erasable Programmable Read-Only Memory;전자 장치), 또는 광섬유(광학 장치)와 같은, 하나 이상의 배선들을 가진 전기 접속 "전자 장치", 휴대용 자기 또는 광학 디스크, 휘발성 메모리를 들 수 있다. 또한, 머신-판독 가능 매체는, 소프트웨어가 이미지 또는 다른 포맷으로 (예를 들어, 광학 스캔을 통해) 전자적으로 저장된 다음, 컴파일되거나 그리고/또는 해석되거나 그렇지 않으면 프로세싱될 수 있으므로, 소프트웨어가 프린트되는 구체적인 매체도 포함할 수 있다. 그 다음, 프로세싱된 매체는 컴퓨터 및/또는 머신 메모리에 저장될 수 있다.

상기 설명들로부터, 상술된 시스템들은 하나의 마이크로폰 또는 검출기로부터 수신되는 신호들도 조정할 수 있다는 것을 분명히 알 수 있어야 한다. 또한, 시스템들의 다수 조합들이 강우 이벤트들을 식별하고 추적하는데 사용될 수 있다는 것도 알 수 있어야 한다. 의심되는 강우 이벤트로의 라인 피팅 이외에, 시스템은 (1) 소정 임계치보다 큰 SNR을 가진 스펙트럼들에서 주기적인 피크들을 검출할 수 있고; (2) 소정 임계치보다 큰 폭을 가진 피크들을 식별할 수 있으며; (3) 고조파 관계들이 결여된 피크들을 식별할 수 있고; (4) 피크들을 이전의 음성 스펙트럼들과 비교할 수 있으며; (5) 강우 잡음 세그먼트들, 다른 잡음형 세그먼트들, 및 일정한 고조파 구조들을 구별하기 전에, 상이한 마이크로폰들로부터 검출되는 신호들을 비교할 수 있다. 상술된 시스템들 중 하나 이상은 다른 음성 향상 로직에도 사용될 수 있다.

다른 음성 향상 시스템들은 상술된 구조 및 펑크션들의 조합들을 포함한다. 이들 음성 향상 시스템들은 상술되거나 첨부된 도면들내에 도시되어 있는 구조 및 펑크션의 임의 조합으로부터 형성된다. 로직은 소프트웨어 또는 하드웨어로 구현될 수 있다. "로직"이라는 용어는 하드웨어 장치나 회로, 소프트웨어, 또는 조합을 광범위하게 포함하기 위한 것이다. 하드웨어는 휘발성 및/또는 비휘발성 메모리를 가진 프로세서 또는 컨트롤러를 포함할 수 있고 무선 및/또는 유선 매체들을 통한 장치들간의 인터페이스들을 포함할 수도 있다. 무선 인터페이스들은 Zigbee, Wi-Fi, WiMax, Mobile-Fi, Ultrawideband, Bluetooth, 셀룰러 및 여타 무선 기술들 이나 조합을 이용할 수 있다.

본 음성 향상 로직은 임의의 기술 또는 장치들에 쉽게 적응될 수 있다. 일부 음성 향상 시스템들 또는 컴포넌트들은, 도 12에 나타낸 차량과 같이, 사람 또는 사물들을 운반하기 위한 장치들 또는 구조들과 인터페이스하거나 결합된다. 일부 음성 향상 시스템들 또는 컨포넌트들은 음성 및 다른 사운드들을, 도 13에 나타낸 바와 같이, 지상 통신선 및 무선 장치들과 같은 원격 로케이션들, 오디오 장비, 네비게이션 장비, 및 강우 잡음에 민감할 수 있는 다른 통신 시스템들로 전송될 수 있는 형태로 변환하는 도구들과 인터페이스하거나 결합된다.

본 음성 향상 로직은 프로세싱된 음성의 인식 품질을 향상시킨다. 본 로직은 물의 이동과 관련된 잡음 및/또는 표면을 때리는 물과 관련된 잡음의 형태를 실시간으로 또는 지연된 시간에서 자동적으로 습득하고 인코딩할 수 있다. 선택된 속성들 모두를 또는 일부를 실질적으로 추적하는 것에 의해, 본 로직은 그 잡음의 속성들을 일시적으로 또는 영구적으로 저장하는 메모리를 사용해 물과 관련된 잡음을 제거하거나, 약화시키거나, 감소시킬 수 있다. 또한, 본 음성 향상 로직은 연속성 잡음 및/또는 일부 음성 향상 시스템들내에서 발생될 수 있는 "음악 잡음"(찍찍거리는 소리, 꽥꽥거리는 소리, 짹짹거리는 소리, 딸깍거리는 소리, 물방울 소리, 뻥하고 터지는 소리, 음질들, 또는 다른 사운드 인공 산물들)을 약화시킬 수 있을 뿐만 아니라 필요할 경우에는 음성을 재구성할 수 있다.

강우 검출의 다른 방법은 강우 강도의 시간 및 주파수 양자에서의 2차원 모델을 사용한다. 강우 검출을 위한 가능한 시간-주파수 모델의 일례가 도 15에 도 시되어 있다. 강우 잡음은 광대역일 수 있기 때문에, 실질적으로 유사한 강도-대-시간 프로파일이 강우 이벤트와 관련된 주파수 범위들에서 예상될 수 있다. 강우와 관련된 모든 주파수들은 거의 동일한 시간에 플롯 상승할 수 있지만, 상이한 피크 값들, 구간들, 및 감쇠 속도들을 가질 수 있다. 또한, 강우 검출기는, 강우 부분이, 음성 고조파들과 같은, 더 큰 사운드들에 의해 마스크될 수 있으며, 강우 모델로부터 이러한 주파수 범위들을 일부적으로 또는 완전히 제외할 수 있다고 생각할 수도 있다. 이러한 제외는, 모델링 이전에 가능한 비-강우 사양들을 스캔하는 것에 의해 명시되거나 값들이 선택 모델을 크게 초과할 수 있게 하는 모델링 방법을 선택하는 것에 의해 암시될 수 있다.

검출은 소정 강우 모델을 스펙트럼으로 피팅하는 단계 및 매칭의 품질을 판정하는 단계 뿐만 아니라, 가능하다면, 어떤 주파수 범위들이 강우 이벤트에 관련되어 있는지를 식별하는 단계를 수반할 수 있다. 포함된 주파수 범위들은 연속적이거나 불연속적일 수 있을 뿐만 아니라, 스펙트럼의 전부 또는 일부가 강우 이벤트와 부분적으로만 관련되어 있는 것으로 식별될 수도 있다.

강우 잡음을 모델링하는데 사용되는 파라미터들의 일부 또는 전부는 소정 및/또는 적응적 제한들 이내인 것으로 한정될 수 있는데, 이것은 주파수, 음성의 존재, 최근에 검출된 강우들의 특징들, 강우들간의 평균 시간, 또는 강우 검출기에 이용될 수 있는 임의의 다른 내부 또는 외부 데이터의 펑크션일 수 있다. 특히, 이들 파라미터들은 강우 구간, 피크 강도, 상승 및 하강 속도들, 상이한 주파수 범위들간의 허용 가능한 강도 변동을 포함할 수 있다.

통상적 강우 이벤트의 높은 강도 및 짧은 구간으로 인해, 전체 이벤트가 관찰되기 전에, 더 나아가, 이용 가능한 차후 정보가 한정되거나 한정되지 않을 수 있는 실시간 설정으로 강우를 감쇠시키거나 제거하는 것이 바람직할 수 있다. 이러한 강우 검출 방법의 추가적인 세분은 강우 부분인 빠른 상승에 대한 가능성을 추정하고 완전한 차후 정보없이 강우 모델 파라미터들을 추정하기 위한 방법이다. 이 경우, 에너지 증가 속도 및 증가에 관련된 주파수들의 범위가 일차 검출 방법으로 사용될 수 있다. 예측되는 모델에서의 예상 구간 및 감쇠 속도는, 가까운 장래에, 검출된 강우가 계속해서 예측 모델을 피팅할 것인지를 확인하는데 사용될 수 있다. 음성 신호의 불필요한 감쇠를 최소화하기 위해, 강우 잡음 감쇠기는, 강우가 예상대로 거동하지 않으면, 감쇠를 중단하거나 감소시킬 수 있다. 다른 방법으로, 잡음 예측 제거 방법이 사용될 경우, 일단 모델이 강우 잡음 예측 레벨 미만으로 떨어지기만 하면, 강우 모델은 간단하게 예상대로 감쇠하여 신호가 비감쇠 상태로 통과될 수 있게 한다.

추가적인 세분은 강우 스펙트럼들의 추가적인 관측 특성들을 사용해 검출기가 강우와 비강우 신호들을 구별하는 것을 지원한다. 강우 잡음의 구별되는 일 사양은 다수의 인접 주파수 빈들에 걸쳐 그것의 스펙트럼에 대한 크기 및/또는 위상이 연속되는 것일 수 있다. 도 16에서, 강우 잡음에 의해 지배되는 스펙트럼 부분(1602)은 다른 잡음 소스들에 의해 지배되는 부분(1601)보다 훨씬 더 평활화된 크기 플롯을 가진다.

강우 잡음의 소정 유형들은 음성 또는 다른 발화 사운드들을 포함하는 스펙 트럼보다 훨씬 더 평탄하고 그리고/또는 평활한 크기를 가질 수 있다. 스펙트럼의 평탄성 또는 평활성에 대한 하나 이상의 수학적 측정치들은, 강우와 음성 스펙트럼들간의 구별을 향상시키기 위해, 스펙트럼의 일부 또는 전부에 대해, 사용될 수 있다. 소정 대역들을 위한 전체 스펙트럼에 대해 계산되거나 전체 스펙트럼에 걸쳐 슬라이딩 윈도우를 사용해 연속적으로 계산될 수 있는 이러한 측정치는, 강우 잡음이 존재하는지 그리고 각 주파수가 강우에 얼마나 관련되어 있는지의 판정을 지원하는데 사용될 수 있다.

평활화 측정치의 일례는, 인접한 주파수 빈들간의 크기 또는 로그 크기 차이의 절대값을 계산하고 이것을 다수 빈들에 걸쳐 합산하여 평탄한 스펙트럼들에 대해서는 대체적으로 작고, 인접한 주파수 빈들의 강도 사이에서 큰 변동들을 가진 스펙트럼들에 대해서는 더 큰 값을 발생시키는, 절대 차들의 합 알고리즘이다. 평탄화 측정치의 일례는, 크기 스펙트럼의 산술 평균에 대한 기하 평균의 비를 계산하는 것에 의해 발견될 수 있는 SFM(Spectral Flatness Measure)이다.

위상 연속성이 다른 사운드들로부터 강우 잡음들을 구별하는데 사용될 수도 있다. 강우 잡음은 시간 도메인에서의 짧은 고-에너지 버스트로써 표현될 수 있고, 이것은, 강우 잡음(1602)에 의해 지배되는 스펙트럼 부분의 위상 플롯으로 도시되어 있는 바와 같이, FFT 결과의 언래핑된 위상들(unwrapped phases)을 국지적으로 선형화할 수 있다.

위상들의 국지적 선형성을 판정하기 위한 일 방법은 언래핑된 위상에 대한 2차 미분의 절대값을 취한 다음, 이것을 주파수로 평활화하는 것이다. 이 측정치는 임펄스형 잡음에 의해 지배되는 스펙트럼 영역들에 대해서는 0에 가까운 값들을 그리고, 음향 또는 긴-구간 잡음과 같은, 사운드의 다른 유형들에 의해 지배되는 영역들에서는 0보다 훨씬 큰 값들을 발생시킬 수 있다. 이 측정치는 강우 잡음과 같은 과도 응답들을 음향 또는 음성 사운드들과 구별하는 것을 지원하는데 사용될 수 있다.

또한, 위상 플롯의 선형 부분에서의 기울기 값은 시간-연속적인 신호내의 과도 응답의 위치에 직접적으로 관련되어, 시간-기반 검출 또는 제거 방법이 시간 도메인에서의 변동을 좀더 정확하게 검출 및/또는 제거할 수 있게 한다.

강우 검출 모듈은, 차량의 다른 시스템들의 상태에 따라 강우 검출기 및 제거기의 거동을 조정하기 위해, 차량의 다른 장치들(예를 들어, 방풍 유리 와이퍼 컨트롤러)과 통신할 수 있다. 예를 들어, 방풍 유리 와이퍼들이 스위치 온일 경우에만 강우 검출 로직(102)을 인에이블하고 그리고/또는 와이퍼들의 스피드에 따라 강우 모델의 파라미터들을 조정하는 것이 바람직할 수 있다. 반대로, 강우 검출기는 강우형 잡음들간의 강도 및 평균 시간에 관한 정보를 와이퍼 컨트롤러로 전송할 수 있는데, 이것은 드라이버의 간섭없이 와이퍼들을 지능적으로 제어할 수 있게 하는 와이퍼 컨트롤러의 능력을 향상시킬 수 있다.

본 발명의 다양한 실시예들이 설명되었지만, 당업자들에게는, 본 발명의 범위내에서 더 많은 실시예들 및 구현들이 가능하다는 것이 명백할 것이다. 따라서, 첨부된 청구항들 및 그들의 등가물들의 관점에서만, 본 발명이 한정된다.

이상 설명한 바와 같이, 본 발명에 의하면 프로세싱된 음성의 인식 품질을 향상시키는 음성 향상 로직을 제공할 수 있다.

Claims

음성 또는 비음성 신호로부터 강우 잡음 (rain noise) 을 억제하기 위한 시스템으로서,

입력 신호로부터 강우 잡음을 검출하고 모델링하는 잡음 검출기; 및

상기 잡음 검출기에 전기적으로 접속되어 상기 입력 신호로부터 상기 강우 잡음을 실질적으로 제거하는 잡음 감쇠기를 구비하는 강우 잡음 억제 시스템.
제 1 항에 있어서, 상기 잡음 검출기는 상기 입력 신호의 일부를 모델링하는 것인 강우 잡음 억제 시스템.
제 2 항에 있어서, 상기 잡음 검출기는 상기 입력 신호의 일부에 라인을 일치시키도록 구성되어 있는 것인 강우 잡음 억제 시스템.
제 1 항에 있어서, 상기 잡음 검출기는 상관 팩터를 계산하는 것에 의해 강우 이벤트를 모델링하도록 구성되어 있는 것인 강우 잡음 억제 시스템.
제 1 항에 있어서, 상기 잡음 검출기는, 상기 모델링된 강우 잡음의 속성이 소정 값을 초과하는 것을 방지하도록 구성되어 있는 것인 강우 잡음 억제 시스템.
제 1 항에 있어서, 상기 잡음 검출기는, 모음(vowel) 또는 고조파형 구조가 검출될 때에는 강우 잡음 정정을 제한하도록 구성되어 있는 것인 강우 잡음 억제 시스템.
제 1 항에 있어서, 상기 잡음 검출기는 평균 강우 잡음 모델을 유도하도록 구성되어 있고, 음성 또는 혼합 음성 신호가 검출될 경우에는, 상기 평균 강우 잡음 모델을 업데이트하지 않는 것인 강우 잡음 억제 시스템.
제 1 항에 있어서, 상기 잡음 검출기는, 시간적으로 앞서 분석된 모델링된 다른 신호들의 가중화된 평균에 의해 유도되는 평균 강우 잡음 모델을 유도하도록 구성되어 있는 것인 강우 잡음 억제 시스템.
제 1 항에 있어서, 상기 잡음 감쇠기는 상기 입력 신호로부터 상기 강우 잡음 및 연속성 잡음을 실질적으로 제거하도록 구성되어 있는 것인 강우 잡음 억제 시스템.
제 1 항에 있어서, 상기 잡음 검출기에 결합되어 있는 잔여 감쇠기를 더 구비하고,

상기 잔여 감쇠기는, 주파수 범위에서 신호 전력의 큰 증가가 검출될 때, 상기 주파수 범위의 신호 전력을 약화시키도록 구성되어 있는 것인 강우 잡음 억제 시스템.
제 1 항에 있어서, 상기 잡음 검출기에 결합되어 있는 입력 장치를 더 구비하고,

상기 입력 장치는 음파들을 아날로그 신호들로 변환하도록 구성되어 있는 것인 강우 잡음 억제 시스템.
제 1 항에 있어서, 상기 잡음 검출기에 결합되어 있는 선행-프로세싱 시스템을 더 구비하고,

상기 선행-프로세싱 시스템은, 상기 강우 잡음 검출기가 상기 입력 신호를 프로세싱하기 전에, 상기 입력 신호를 선행-조정하도록 구성되어 있는 것인 강우 잡음 억제 시스템.
제 12 항에 있어서, 상기 선행-프로세싱 시스템은,

서로 떨어져 있는 제 1 및 제 2 마이크로폰들을 구비하고,

상기 상이한 마이크로폰들에 도달할 수 있는 신호의 지연 시간을 이용하도록 구성되어 있는 것인 강우 잡음 억제 시스템.
제 13 항에 있어서, 상기 입력 신호에서 최소량의 잡음을 감지하는 채널 및 마이크로폰을 자동적으로 선택하는 제어 로직을 더 구비하는 것인 강우 잡음 억제 시스템.
제 13 항에 있어서, 상기 잡음 검출기 및 상기 제 1 마이크로폰에 결합되어 있는 제 2 잡음 검출기를 더 구비하는 것인 강우 잡음 억제 시스템.
음성 및 비음성 신호로부터 강우 잡음을 검출하기 위한 시스템으로서,

시간에 따라 변하는 입력 신호를 주파수 도메인으로 변환하는 시간 주파수 변환 로직;

상기 시간 주파수 변환 로직에 결합되어 있으며, 수신기 부근에서 발생하는 연속성 잡음을 측정하도록 구성되어 있는 배경 잡음 추정기; 및

상기 배경 잡음 추정기에 결합되어 있으며, 강우와 관련된 잡음을 자동적으로 식별 및 모델링하도록 구성되어 있는 강우 잡음 검출기를 구비하는 강우 잡음 검출 시스템.
제 16 항에 있어서, 비-주기적 과도 신호가 검출될 경우, 상기 배경 잡음 추정기를 디스에이블하도록 구성되어 있는 과도 응답 검출기를 더 구비하는 것인 강우 잡음 검출 시스템.
제 16 항에 있어서, 상기 강우 잡음 검출기는 라인과 상기 입력 신호의 일부간의 상관을 유도하도록 구성되어 있는 것인 강우 잡음 검출 시스템.
제 16 항에 있어서, 상기 강우 잡음 검출기에 결합되어 있으며, 상기 입력 신호의 음성 및 잡음 세그먼트들을 식별하도록 구성되어 있는 신호 분별기를 더 구비하는 것인 강우 잡음 검출 시스템.
제 16 항에 있어서, 상기 강우 잡음 검출기에 결합되어 있으며, 상기 수신기에 의해 감지되는 강우와 관련된 잡음을 감소시키도록 구성되어 있는 강우 잡음 감쇠기를 더 구비하는 것인 강우 잡음 검출 시스템.
제 16 항에 있어서, 상기 잡음 감쇠기는 상기 입력 신호로부터 상기 강우와 관련된 잡음을 실질적으로 제거하도록 구성되어 있는 것인 강우 잡음 검출 시스템.
제 16 항에 있어서, 상기 배경 잡음 추정기에 결합되어 있으며, 신호 전력의 큰 증가가 주파수 범위에서 검출될 경우, 상기 주파수 범위의 신호 전력을 약화시키도록 동작할 수 있는 잔여 감쇠기를 더 구비하는 것인 강우 잡음 검출 시스템.
음성 또는 비음성 신호로부터 강우 잡음을 억제하기 위한 시스템으로서,

시간에 따라 변하는 입력 신호를 주파수 도메인으로 변환하는 시간 주파수 변환 로직;

상기 시간 주파수 변환 로직에 결합되어 있으며, 수신기 부근에서 발생하는 연속성 잡음을 측정하도록 구성되어 있는 배경 잡음 추정기;

상기 배경 잡음 추정기에 결합되어 있으며, 입력 신호의 일부에 라인을 일치시키도록 구성되어 있는 강우 잡음 검출기 수단; 및

상기 강우 잡음 검출기 수단에 결합되어 있으며, 상기 수신기에 의해 감지되는 강우와 관련된 잡음을 제거하도록 구성되어 있는 강우 잡음 감쇠기를 구비하는 강우 잡음 억제 시스템.
입력 신호로부터 강우와 관련된 잡음을 제거하는 방법으로서,

시간에 따라 변하는 신호를 복소 스펙트럼으로 변환하는 단계;

배경 잡음을 추정하는 단계;

라인과 입력 신호의 일부간에 높은 상관이 존재할 경우, 강우와 관련된 잡음을 검출하는 단계; 및

상기 입력 신호로부터 상기 강우와 관련된 잡음을 약화시키는 단계를 포함하는 잡음 제거 방법.
제 24 항에 있어서, 상기 배경 잡음을 추정하는 단계는, 비-주기적 과도 응답이 검출되진 않는 경우, 상기 배경 잡음을 추정하는 단계를 포함하는 것인 잡음 제거 방법.
제 24 항에 있어서, 상기 강우와 관련된 잡음을 제거하는 단계는 상기 입력 신호로부터 강우 잡음을 실질적으로 제거하는 단계를 포함하는 것인 잡음 제거 방법.
입력 신호로부터 강우 잡음을 제거하는 방법으로서,

시간에 따라 변하는 신호를 복소 스펙트럼으로 변환하는 단계;

배경 잡음을 추정하는 단계;

라인과 입력 신호의 일부간에 높은 상관이 존재할 경우, 강우 잡음을 검출하는 단계; 및

상기 입력 신호로부터 상기 강우 잡음을 제거하는 단계를 구비하는 것인 잡음 제거 방법.
공기를 통해 낙하하는 물과 관련된 잡음의 검출을 제어하는 소프트웨어를 가진 신호-운반 매체로서,

음파들을 전기 신호들로 변환하는 검출기;

상기 전기 신호들을 제 1 도메인으로부터 제 2 도메인으로 변환하는 스펙트럼 변환 로직; 및

강우와 관련되어 있는 상기 음파들의 일부를 모델링하는 신호 분석 로직을 구비하는 것인 신호-운반 매체.
제 28 항에 있어서, 상기 잡음에 의해 마스크되는 음성 신호의 일부를 유도 하는 로직을 더 구비하는 것인 신호-운반 매체.
제 28 항에 있어서, 상기 음파들의 일부를 감쇠시키는 로직을 더 구비하는 것인 신호-운반 매체.
제 28 항에 있어서, 전력을 선택된 주파수 범위로 제한하도록 동작할 수 있는 감쇠기 로직을 더 구비하는 것인 신호-운반 매체.
제 28 항에 있어서, 상기 검출기에 의해 감지되는 연속성 잡음 또는 주변 잡음을 측정하는 잡음 추정 로직을 더 구비하는 것인 신호-운반 매체.
제 32 항에 있어서, 전력의 증가가 검출될 경우, 상기 추정 로직을 디스에이블하는 과도 로직을 더 구비하는 것인 신호-운반 매체.
제 28 항에 있어서, 상기 신호 분석 로직은 차량에 결합되어 있는 것인 신호-운반 매체.
제 28 항에 있어서, 상기 신호 분석 로직은 오디오 시스템에 결합되어 있는 것인 신호-운반 매체.
제 28 항에 있어서, 상기 신호 분석 로직은 상기 강우와 관련되어 있는 음파들만을 모델링하는 것인 신호-운반 매체.