KR20130108063A - 다중 마이크로폰의 견고한 잡음 억제 - Google Patents
다중 마이크로폰의 견고한 잡음 억제 Download PDFInfo
- Publication number
- KR20130108063A KR20130108063A KR1020127027868A KR20127027868A KR20130108063A KR 20130108063 A KR20130108063 A KR 20130108063A KR 1020127027868 A KR1020127027868 A KR 1020127027868A KR 20127027868 A KR20127027868 A KR 20127027868A KR 20130108063 A KR20130108063 A KR 20130108063A
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- noise
- module
- subband
- processor
- Prior art date
Links
- 230000001629 suppression Effects 0.000 title claims description 27
- 238000000034 method Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 22
- 230000005236 sound signal Effects 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 13
- 230000004048 modification Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 201000007201 aphasia Diseases 0.000 claims description 6
- 210000003477 cochlea Anatomy 0.000 claims description 5
- 230000003068 static effect Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000003607 modifier Substances 0.000 description 6
- 238000009826 distribution Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B3/00—Line transmission systems
- H04B3/02—Details
- H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Circuit For Audible Band Transducer (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
견고한 잡음 제거 시스템은 음성 왜곡의 레벨을 제한함과 동시에, 어쿠스틱 신호 내의 잡음 및 에코 성분을 동시에 줄일 수 있다. 본 시스템은 크로즈-토크, 휴대용, 또는 다른 구성인 2이상의 마이크로폰으로부터 어쿠스틱 신호를 수신할 수 있다. 수신된 어쿠스틱 신호는 달팽이관 도메인 서브밴드 신호로 변환되고, 이 서브밴드 신호로부터 에코 및 잡음 성분을 뺄 수 있다. 어쿠스틱 서브밴드 신호 내의 특징이 식별되고, 곱셈식 마스크를 생성하기 위해 사용된다. 곱셈식 마스크는 잡음 제거된 서브밴드 신호에 적용되고, 서브밴드 신호는 시간 도메인으로 재구성된다.
Description
본 발명은 일반적으로 오디오 프로세싱에 관한 것이고, 더욱 상세하게는 오디오 신호의 잡음 억제 프로세싱에 관한 것이다.
현재, 열악한 오디오 환경에서 배경 잡음을 줄이는 다양한 방법이 존재한다. 정적(stationary) 잡음 억제 시스템은 정적 잡음을 고정 수치 또는 가변 수치(dB) 중 하나만큼 억제한다. 고정 억제 시스템은 정적 또는 비정적(non-stationary) 잡음을 고정 수치(dB) 만큼 억제한다. 정적 잡음 억제기의 단점은 비정적 잡음이 억제되지 않는다는 것이고, 고정 잡음 억제 시스템의 단점은 낮은 SNR에서 음성 왜곡을 피하기 위해서 보수적인 수준만큼 잡음을 억제해야 한다는 것이다.
다른 형태의 잡음 억제는 동적 잡음 억제이다. 일반적인 타입의 동적 잡음 억제 시스템은 신호대잡음비(SNR)를 기초로 한다. SNR은 억제값을 결정하기 위해 사용될 수 있다. 불행하게도, SNR 자체는 오디오 환경 내의 상이한 잡음 타입의 존재로 인해 음성 왜곡의 매우 우수한 예측인자(predictor)가 아니다. 전형적으로, 주어진 시간 기간에 걸친 음성 에너지는 단어, 포즈(pause), 단어, 포즈 등을 포함할 것이다. 부가적으로, 정적 및 동적 잡음이 오디오 환경 내에 존재할 수 있다. SNR은 이러한 정적 및 비정적 음성 및 잡음 성분 모두의 평균을 취한다. SNR의 판정에 있어서 잡음 신호의 특성에 대한 고려는 없고, 단지 전체 잡음 레벨만 고려한다.
종래기술의 이러한 단점을 극복하기 위해, 오디오 신호를 프로세싱하기 위한 향상된 잡음 억제 시스템에 대한 필요성이 존재한다.
본 발명은 음성 왜곡 레벨을 제한하면서 어쿠스틱 신호 내의 잡음 및 에코(echo) 성분을 동시에 줄일 수 있는 견고한 잡음 억제 시스템을 제공한다. 본 시스템은 클로즈 토크(close-talk), 휴대용, 또는 다른 구성요소 내의 2 이상의 마이크로폰으로부터 어쿠스틱 신호를 수신할 수 있다. 수신된 어쿠스틱 신호는 달팽이관(cochlea) 도메인의 서브밴드 신호로 변환되고, 이러한 서브밴드 신호로부터 에코 및 잡음 성분을 뺄 수 있다. 어쿠스틱 서브밴드 신호 내의 특징이 식별되고, 곱셈식(multiplicative) 마스크를 생성하기 위해 사용된다. 곱셈식 마스크는 잡음이 제거된 서브밴드 신호에 적용되고, 서브밴드 신호는 시간 도메인으로 재구성된다.
하나의 실시예는 메모리를 구비한 오디오 신호 내의 잡음 제거를 수행하는 시스템을 포함한다. 메모리에 저장되고 프로세서에 의해 실행되는 주파수 분석 모듈은 시간 도메인 어쿠스틱 신호로부터 달팽이관 도메인의 서브밴드 신호를 생성할 수 있다. 메모리에 저장되고 프로세서에 의해 실행되는 잡음 소거 모듈은 서브밴드 신호의 적어도 일부분을 소거시킬 수 있다. 메모리에 저장되고 프로세서에 의해 실행되는 수정 모듈은 수정된 서브밴드 신호 내의 잡음 성분 또는 에코 성분을 억제할 수 있다. 메모리에 저장되고 프로세서에 의해 실행되는 재구성 모듈은 수정 모듈에 의해 제공된 성분 억제된 서브밴드 신호로부터 수정된 시간 도메인 신호를 재구성할 수 있다.
또한, 잡음 제거는 프로세서 및 메모리를 구비한 기계에 의해 수행되는 프로세스로서 실시될 수 있다. 부가적으로, 컴퓨터 판독가능한 저장 매체는 내장된 프로그램으로 구현될 수 있고, 이 프로그램은 오디오 신호 내의 잡음 제거를 위한 방법을 수행하도록 프로세서에 의해 실행가능하다.
도 1은 본 발명의 실시예가 사용될 수 있는 환경의 도면이다.
도 2는 하나의 예시적인 오디오 디바이스의 블록 다이어그램이다.
도 3은 하나의 예시적인 오디오 디바이스의 블록 다이어그램이다.
도 4는 어쿠스틱 신호에 대한 잡음 제거를 수행하기 위한 하나의 예시적인 방법의 플로우차트이다.
도 5는 오디오 신호로부터 특징을 추출하기 위한 하나의 예시적인 방법의 플로우차트이다.
도 2는 하나의 예시적인 오디오 디바이스의 블록 다이어그램이다.
도 3은 하나의 예시적인 오디오 디바이스의 블록 다이어그램이다.
도 4는 어쿠스틱 신호에 대한 잡음 제거를 수행하기 위한 하나의 예시적인 방법의 플로우차트이다.
도 5는 오디오 신호로부터 특징을 추출하기 위한 하나의 예시적인 방법의 플로우차트이다.
본 발명은 음성 왜곡 레벨을 제한함과 동시에, 어쿠스틱 신호 내의 잡음 및 에코 성분을 동시에 줄일 수 있는 견고한 잡음 억제 시스템을 제공한다. 본 시스템은 클로즈 토크, 휴대용, 또는 다른 구성인 2 이상의 마이크로폰으로부터 어쿠스틱 신호를 수신할 수 있다. 수신된 어쿠스틱 신호는 달팽이관 도메인 서브밴드 신호로 변환되고, 서브밴드 신호로부터 에코 및 잡음 성분을 뺄 수 있다. 어쿠스틱 서브밴드 신호 내의 특징이 식별되고, 곱셈식 마스크를 생성하기 위해 사용된다. 곱셈식 마스크는 잡음 제거된 서브밴드 신호에 적용되고, 서브밴드 신호는 시간 도메인으로 재구성된다. 본 기술은 동적 및 비정적 잡음 억제 시스템이고, 잡음 및 사용 케이스의 특징을 기초로 한 잡음 억제의 "인지적으로 최적의" 크기를 제공한다.
잡음 소거 및 잡음 억제의 조합을 통해 잡음(및 에코) 제거를 수행하는 것은 오디오 디바이스 설계에 있어 유연성을 허용한다. 특히, 뺄셈식 및 곱셈식 스테이지의 조합은 그것이 오디오 디바이스 상의 마이크로폰 위치 및 사용 케이스(예컨대, 클로즈 토크/파 토크(far-talk))의 유연성을 허용함과 동시에, 음성 품질 대 잡음 억제의 전체 트레이드오프를 최적화할 수 있기 때문에 유리하다. 마이크로폰은 "클로즈 마이크로폰" 구성에 대하여 각각 서로 4센티미터 이내에 위치하거나, "스프레드 마이크로폰" 구성에 대하여 4센티미터 초과로 위치하거나, 또는 2 초과의 마이크로폰을 가진 구성의 조합일 수 있다.
도 1은 본 발명의 실시예가 사용될 수 있는 환경의 도면이다. 사용자는 오디오 디바이스(104)에 대한 오디오(음성) 소스(102)로서 역할할 수 있다. 예시적인 오디오 디바이스(104)는 오디오 소스(102)에 관한 주 마이크로폰(106) 및 주 마이크로폰(106)으로부터 일정 거리 떨어져 위치하는 보조 마이크로폰(108)의 2개의 마이크로폰을 포함할 수 있다. 대안으로서, 오디오 디바이스(104)는 하나의 마이크로폰을 포함할 수도 있다. 또 다른 실시예에서, 오디오 디바이스(104)는, 예컨대, 3, 4, 5, 6, 7, 8, 9, 10, 또는 더 많은 마이크로폰과 같은, 2 초과의 마이크로폰을 포함할 수도 있다.
주 마이크로폰(106) 및 보조 마이크로폰(108)은 무지향성 마이크로폰일 수 있다. 대안으로서, 실시예들은 지향성 마이크로폰과 같은, 다른 형태의 마이크로폰 또는 어쿠스틱 센서를 사용할 수 있다.
마이크로폰(106 및 108)이 오디오 소스(102)로부터 소리(즉, 어쿠스틱 신호)를 수신하는 동안, 마이크로폰(106 및 108)은 또한 잡음(112)을 픽업한다. 잡음(110)이 도 1에서 하나의 위치에서 오는 것으로 도시되어 있으나, 잡음(110)은 오디오 소스(102)의 위치와 상이한 하나 이상의 위치로부터의 임의의 소리를 포함할 수 있고, 반향음 및 에코를 포함할 수도 있다. 잡음(110)은 정적, 비정적, 및/또는 정적 및 비정적 잡음의 조합일 수 있다.
몇몇 실시예에서, 두 마이크로폰(106 및 108)에 의해 수신된 어쿠스틱 신호 사이의 레벨차(예컨대, 에너지차)를 사용할 수 있다. 클로즈토크 사용 케이스에서 주 마이크로폰(106)이 보조 마이크로폰(108)보다 오디오 소스(102)와 훨씬 더 가깝기 때문에, 강도 레벨은 주 마이크로폰(106)에 대하여 더 높고, 이는 예컨대 스피치/음성 세그먼트 동안 주 마이크로폰(106)에 의해 수신되는 더 큰 에너지 레벨을 야기한다.
그 다음, 레벨차는 시간-주파수 도메인에서 음성과 잡음을 구별하기 위해 사용될 수 있다. 다른 실시예는 음성을 구별하기 위해 시간 지연 및 에너지 레벨차의 조합을 사용할 수 있다. 입체음향 신호 인코딩(binaural cue encoding)을 기초로 하여, 음성 신호 추출 또는 음성 강화가 수행될 수 있다.
도 2는 하나의 예시적인 오디오 디바이스(104)의 블록 다이어그램이다. 도시된 실시예에서, 오디오 디바이스(104)는 수신기(200), 프로세서(202), 주 마이크로폰(106), 선택적인 보조 마이크로폰(108), 오디오 프로세싱 시스템(210), 및 출력 디바이스(206)를 포함한다. 오디오 디바이스(104)는 오디오 디바이스(104) 작동을 위해 필수적인 추가적인 또는 다른 컴포넌트를 포함할 수 있다. 이와 유사하게, 오디오 디바이스(104)는 도 2에 도시된 것과 유사하거나 동등한 기능을 수행하는 더 적은 컴포넌트를 포함할 수도 있다.
프로세서(202)는 어쿠스틱 신호에 대한 잡음 제거를 포함한, 본 명세서에 서술된 기능을 수행하기 위해 오디오 디바이스(104) 내의 (도 2에 도시되지 않은) 메모리에 저장된 명령어 및 모듈을 실행할 수 있다. 프로세서(202)는 프로세서(202)에 대한 다른 오퍼레이션 및 부동 소수점 오퍼레이션을 프로세싱할 수 있는 프로세싱 유닛으로 구현된 하드웨어 및 소프트웨어를 포함할 수 있다.
예시적인 수신기(200)는 통신 네트워크로부터 신호를 수신하도록 구성된 어쿠스틱 센서이다. 몇몇 실시예에서, 수신기(200)는 안테나 디바이스를 포함할 수 있다. 그 다음, 신호는 본 명세서에서 서술된 기술을 사용하여 잡음을 제거하고, 오디오 신호를 출력 디바이스(206)에 제공하기 위해 오디오 프로세싱 시스템(210)으로 보내질 수 있다. 본 기술은 오디오 디바이스(104)의 전송 및 수신 경로 중 하나 또는 모두에서 사용될 수 있다.
오디오 프로세싱 시스템(210)은 주 마이크로폰(106) 및 보조 마이크로폰(108)을 통해 어쿠스틱 소스로부터 어쿠스틱 신호를 수신하고, 어쿠스틱 신호를 프로세싱하도록 구성된다. 프로세싱은 어쿠스틱 신호 내에 잡음 제거를 수행하는 것을 포함할 수 있다. 오디오 프로세싱 시스템(210)은 아래에 더욱 상세하게 서술된다. 주 및 보조 마이크로폰(106 및 108)은 그들 사이의 에너지 레벨차, 시간차, 또는 위상차를 탐지하는 것을 허용하기 위해 일정 거리만큼 떨어져 있을 수 있다. 주 마이크로폰(106) 및 보조 마이크로폰(108)에 의해 수신된 어쿠스틱 신호는 전기 신호(즉, 주 전기 신호 및 보조 전기 신호)로 변환될 수 있다. 이 전기 신호들은 그 자체가 몇몇 실시예에 따른 프로세싱을 위해 (도시되지 않은) 아날로그-투-디지털 컨버터에 의해 디지털 신호로 변환될 수 있다. 명료함을 목적으로 어쿠스틱 신호를 구별하기 위해, 주 마이크로폰(106)에 의해 수신된 어쿠스틱 신호를 본 명세서에서 주 어쿠스틱 신호라 하고, 보조 마이크로폰(108)에 의해 수신된 어쿠스틱 신호를 본 명세서에서 보조 어쿠스틱 신호라 한다. 주 어쿠스틱 신호 및 보조 어쿠스틱 신호는 향상된 신호대잡음비를 가진 신호를 만들기 위해 오디오 프로세싱 시스템(210)에 의해 프로세싱될 수 있다. 본 명세서에 서술된 기술의 실시예가 주 마이크로폰(106)만 사용하여 실시될 수도 있음을 이해해야 한다.
출력 디바이스(206)는 사용자에게 오디오 출력을 제공하는 임의의 디바이스이다. 예를 들어, 출력 디바이스(206)는 스피커, 헤드셋 또는 핸드셋의 이어피스, 또는 화상회의 디바이스 상의 스피커를 포함할 수 있다.
다양한 실시예에서, 주 및 보조 마이크로폰이 근접하게 이격된(예컨대, 1-2cm 떨어진) 무지향성 마이크로폰인 경우, 포워드 페이싱(forwards-facing), 및 백워드 페이싱(backwards-facing) 지향성 마이크로폰을 시뮬레이팅하기 위해 빔성형 기술이 사용될 수 있다. 잡음 제거에 사용될 수 있는 시간-주파수 도메인에서 음성 및 잡음을 구별하기 위해 레벨차가 사용될 수 있다.
도 3은 본 명세서에 서술된 잡음 제거를 수행하기 위한 하나의 예시적인 오디오 프로세싱 시스템(210)의 블록 다이어그램이다. 예시적인 실시예에서, 오디오 프로세싱 시스템(210)은 오디오 디바이스(104) 내의 메모리 디바이스에 내장된다. 오디오 프로세싱 시스템(210)은 주파수 분석 모듈(302), 특징 추출 모듈(304), 소스 추론 엔진 모듈(306), 마스크 생성 모듈(308), 잡음 소거 모듈(310), 수정 모듈(312), 및 재구성 모듈(314)을 포함할 수 있다. 오디오 프로세싱 시스템(210)은 도 3에 도시된 것보다 많거나 적은 컴포넌트를 포함할 수 있고, 모듈의 기능은 더 적은 또는 추가적인 모듈로 결합되거나 확장될 수 있다. 예시적인 통신선이 본 명세서의 도 3 및 다른 도면의 다양한 모듈 사이에 도시되어 있다. 이러한 통신선은 어떤 모듈들이 서로 통신적으로 연결되는지 제한하도록 의도된 것도 아니고, 모듈 사이에서 통신되는 신호의 개수 및 타입을 제한하도록 의도된 것도 아니다.
그 동작에 있어서, 주 마이크로폰(106) 및 보조 마이크로폰(108)으로부터 수신된 어쿠스틱 신호는 전기 신호로 변환되고, 이 전기 신호는 주파수 분석 모듈(302)을 통해 프로세싱된다. 어쿠스틱 신호는 주파수 분석 모듈(302)에 의해 프로세싱되기 전에 시간 도메인에서 사전-프로세싱될 수 있다. 시간 도메인 프로세싱은 입력 리미터 이득을 적용하는 것, 음성 시간 스트레칭(stretching), 및 FIR 또는 IIR 필터를 사용한 필터링을 포함할 수 있다.
주파수 분석 모듈(302)은 어쿠스틱 신호를 취하고, 필터 뱅크에 의해 시뮬레이팅되는 달팽이관(예컨대, 달팽이관 도메인)의 주파수 분석을 모방한다. 주파수 분석 모듈(302)은 각각의 주 및 보조 어쿠스틱 신호를 2 이상의 주파수 서브밴드 신호로 분리시킨다. 서브밴드 신호는 입력 신호에 대한 필터링 오퍼레이션의 결과인데, 필터의 대역폭은 주파수 분석 모듈(302)에 의해 수신된 신호의 대역폭보다 좁다. 필터 뱅크는 일련의 케스케이드(cascade)된, 복소수 값의, 1차 IIR 필터에 의해 구현될 수 있다. 대안으로서, 단기 푸리에 변환(STFT), 서브밴드 필터 뱅크, MCLT(modulated complex lapped transform), 달팽이관 모델, 웨이브렛(wavelet) 등과 같은 다른 필터가 주파수 분석 및 합성을 위해 사용될 수 있다. 주파수 서브밴드 신호의 샘플은 (사전결정된 시간 기간에 걸쳐) 시간 프레임으로 순차적으로 그룹화될 수 있다. 예를 들어, 프레임의 길이는 4ms, 8ms, 또는 몇몇 다른 시간 길이일 수 있다. 몇몇 실시예에서, 프레임이 존재하지 않을 수도 있다. 결과값은 고속 달팽이관 변환(FCT) 도메인 내의 서브밴드 신호를 포함할 수 있다.
서브밴드 프레임 신호는 주파수 분석 모듈(302)에서부터 주파수 경로 서브 시스템(320) 및 신호 경로 서브 시스템(330)에 제공된다. 주파수 경로 서브 시스템(320)은 신호 특징을 식별하고, 서브밴드 신호의 음성 성분과 잡음 성분을 구별하고, 신호 수정자(signal modifier)를 생성하기 위해, 그 신호를 프로세싱한다. 신호 경로 서브 시스템(330)은 서브밴드 신호 내의 잡음을 제거함으로써 주 어쿠스틱 신호의 서브밴드 신호를 수정하는 것을 담당한다. 잡음 제거는 주파수 경로 서브 시스템(320)에서 생성된 곱셈식 이득 마스크와 같은 수정자를 적용하는 것, 또는 서브밴드 신호에서 성분들을 빼는 것을 포함할 수 있다. 이러한 잡음 제거는 서브밴드 신호 내에서 잡음을 제거하고 원하는 음성 성분을 보존할 수 있다.
신호 경로 서브 시스템(330)은 잡음 소거 모듈(310) 및 수정 모듈(312)을 포함한다. 잡음 소거 모듈(310)은 주파수 분석 모듈(302)로부터 서브밴드 프레임 신호를 수신한다. 잡음 소거 모듈(310)은 주 어쿠스틱 신호의 하나 이상의 서브밴드 신호로부터 잡음 성분을 뺄(예컨대, 소거할) 수 있다. 이처럼, 잡음 소거 모듈(310)은 주 신호 내의 잡음 성분의 서브밴드 추정값, 및 잡음 제거된 서브밴드 신호의 형태로 음성 성분의 서브밴드 추정값을 출력할 수 있다.
잡음 소거 모듈(310)은, 예컨대, 뺄셈 알고리즘을 이용하여, 소스 위치를 기초로, 투-마이크로폰 구성을 가진 시스템에서 잡음 소거를 제공할 수 있다. 잡음 소거 모듈(310)은 또한 에코 소거를 제공할 수 있고, 본질적으로 확성기 및 Rx 경로 비선형성에 대하여 견고하다. 음성품질 열화없이 또는 거의 없이 잡음 및 에코 소거를 수행함으로써(예컨대, 주 신호 서브밴드로부터 성분들을 뺌으로써), 잡음 소거 모듈(310)은 주파수 분석 모듈(302)로부터 수신되고, 수정 모듈(312) 및 포스트 필터링 모듈에 제공되는 서브밴드 신호 내의 음성대잡음비(SNR)를 증가시킬 수 있다. 수행되는 잡음 소거의 크기는 잡음 소스의 분산도(diffuseness) 및 마이크로폰 사이의 거리에 의존할 수 있는데, 이 둘 모두 마이크로폰 사이의 잡음의 코히어런스(coherence)에 기여하며, 코히어런스가 우수할수록 더 우수한 소거를 야기한다.
잡음 소거 모듈(310)은 다양한 방식으로 구현될 수 있다. 몇몇 실시예에서, 잡음 소거 모듈(310)은 단일 NPNS 모듈로 구현될 수 있다. 대안으로서, 잡음 소거 모듈(310)은, 예컨대, 캐스케이드 방식(cascaded fashion)으로 배열될 수 있는 2 이상의 NPNS 모듈을 포함할 수 있다.
잡음 소거 모듈(310)에 의해 몇몇 실시예에서 수행되는 잡음 소거의 하나의 예는 2008년 6월 30일에 출원된 "널(Null) 프로세싱 잡음 차감을 사용하여 잡음 억제를 제공하는 시스템 및 방법"이란 제목의 미국특허 출원번호 제12/215,980호, 2009년 4월 13일에 출원된 "적응 잡음 소거"란 제목의 미국 출원번호 제12/422,917호, 및 2010년 1월 26일에 출원된 "레벨 큐를 사용한 적응 잡음 제거"란 제목의 미국 출원번호 제12/693,998호에 개시되어 있다.
주파수 경로 서브 시스템(320)의 특징 추출 모듈(304)은 주파수 분석 모듈(302)에 의해 제공된 주 및 보조 어쿠스틱 신호로부터 도출된 서브밴드 프레임 신호, 및 는 NPNS 모듈(310)의 출력을 수신한다. 특징 추출 모듈(304)은 주 어쿠스틱 신호와 보조 어쿠스틱 신호 간의 서브밴드 신호의 에너지 추정값, 상호 마이크로폰 레벨차(ILD), 상호 마이크로폰 시간차(ITD), 및 상호 마이크로폰 위상차(IPD), 주 및 보조 마이크로폰에 대한 자가 잡음 추정값은 물론, 마이크로폰 신호 간의 피치 추정값 및 교차상관(cross-correlation)과 같은, 다른 모듈에 의해 사용될 수 있는 다른 모노럴(monaural) 또는 바이노럴(binaural) 특징을 계산한다. 특징 추출 모듈(304)은 NPNS 모듈(310)에 입력을 제공하고, 그로부터의 출력을 프로세싱할 수 있다.
특징 추출 모듈(304)은 널 프로세싱 상호 마이크로폰 레벨차(NP-ILD)를 생성할 수 있다. NP-ILD는 현재 시스템 내에서 무가공(raw) ILD와 상호치환가능하게 사용될 수 있다. 주 및 보조 마이크로폰 사이의 무가공 ILD는 특징 추출 모듈(304) 내의 ILD 모듈에 의해 결정될 수 있다. 하나의 실시예에서 ILD 모듈에 의해 계산된 ILD는 아래와 같이 수학적으로 표현될 수 있다.
여기서, E1 및 E2는 각각 겹치지 않은 시간 구간("프레임")에 걸친 각각의 서브밴드 신호에서 계산된 주 및 보조 마이크로폰(106, 108)의 에너지 출력이다. 이 식은 팩터 c에 의해 정규화된 dB ILD를 나타내고, 범위 [-1, +1] 로 제한된다. 그러므로, 오디오 소스(102)가 E1에 대하여 주 마이크로폰(106)과 근접한 때, 잡음은 존재하지 않지만(ILD=1), 잡음이 추가될수록 ILD는 감소할 것이다.
몇몇 경우에, 마이크로폰 간의 거리가 주 마이크로폰과 입 사이의 거리에 비해 작다면, 무가공 ILD는 소스와 전환자(distracter) 모두 거의 동일한 무가공 ILD를 가질 수 있기 때문에 전환자로부터 소스를 구별하는데 유용하지 못할 수 있다. 전환자로부터 소스를 구별하기 위해 사용되는 무가공 ILD에 관한 제한사항을 피하기 위해, 잡음 소거 모듈(330)의 출력은 음성 신호에 대하여 양의 값을 가지고, 이들이 잡음 소거 모듈(310)의 출력에서 크게 감쇄될 것이므로, 잡음 성분에 대하여 작은 또는 음의 값을 가지는 ILD를 도출하기 위해 사용될 수 있다. 잡음 소거 모듈(330)로부터 도출된 ILD는 널 프로세싱 상호 마이크로폰 레벨차(NP-ILD)일 수 있고, 아래와 같이 수학적으로 표현된다.
여기서, ENP는 NPNS의 출력 에너지이다. NP-ILD의 사용은 오디오 디바이스 내의 마이크로폰의 설치의 더 큰 유연성을 허용한다. 예를 들어, NP-ILD는 마이크로폰이 2-15cm 사이의 분리 거리를 가진 프론트-백(front-back) 구성으로 설치될 수 있게 하고, 이는 전체 억제 레벨에서 수 dB의 성능 변화를 가진다.
NPNS 모듈은 특징 추출 모듈(304) 내의 ILD 블록에 잡음 소거된 서브밴드 신호를 제공할 수 있다. ILD가 보조 마이크로폰 에너지에 대한 NPNS 출력 신호 에너지의 비율로 결정될 수 있기 때문에, ILD는 종종 널 프로세싱 상호 마이크로폰 레벨차(NP-ILD)와 상호치환가능하다. "무가공 ILD"는 ILD가 "가공되지 않은" 주 및 보조 마이크로폰 신호로부터 계산되는 경우를 명확하게 하기 위해 사용될 수 있다.
에너지 레벨 추정값 및 상호 마이크로폰 레벨차를 결정하는 것은 "음성 강화를 위해 상호 마이크로폰 레벨차를 사용하는 시스템 및 방법"이란 제목의 미국특허 출원번호 제11/343,524호에 서술되어 있다.
소스 추론 엔진 모듈(306)은 서브밴드 신호 내의 잡음 추정값을 계산하고, 잡음 및 음성의 모델을 도출하기 위해 특징 추출 모듈(304)에 의해 제공되는 프레임 에너지 추정값을 프로세싱할 수 있다. 소스 추론 엔진 모듈(306)은 NPNS 모듈(310)의 출력 신호의 에너지 스펙트럼과 같은, 어쿠스틱 소스의 속성을 적응적으로(adaptively) 추정한다. 이러한 에너지 스펙트럼 속성은 마스크 생성 모듈(308)에서 곱셈식 마스크를 생성하기 위해 사용될 수 있다.
소스 추론 엔진 모듈(306)은 특징 추출 모듈(304)로부터 NP-ILD를 수신하고, NP-ILD 확률 분포 또는 목표 오디오 소스(102)의 "클러스터", 배경 잡음 및 옵션으로서 에코를 추적할 수 있다.
그 다음, 이러한 정보는 소스 및 잡음 클래스 사이의 분류 경계를 정하기 위해, 다른 청각적 신호(auditory cues)와 함께, 사용될 수 있다. 음성, 잡음, 및 에코의 NP-ILD 분포는 환경적 조건, 오디오 디바이스(104)의 이동, 사용자의 손 및/또는 얼굴의 위치, 오디오 디바이스(104)에 대한 다른 물체, 및 다른 요인의 변화로 인해, 시간에 걸쳐 가변적일 수 있다. 클러스터 추적자는 음성 또는 잡음 소스의 시간 가변적 NP-ILD에 대하여 조절한다.
임의의 일반적인 손실없이 에코를 무시한 때, 소스와 잡음 ILD 분포가 겹치지 않을 때, 신호가 SNR이 충분히 양의 값이라면 음성으로, 또는 SNR이 충분히 음의 값이라면 잡음으로 분류되도록, 두 분포 사이에 분류 경계 또는 도미넌스(dominance) 임계값을 특정하는 것이 가능하다. 이러한 분류는 도미넌스 마스크로서, 서브밴드 및 시간-프레임마다 판정될 수 있고, 소스 추론 엔진 모듈(306) 내의 잡음 추정 모듈로 클러스터 추적 모듈에 의해 출력될 수 있다.
클러스터 추적기는 어쿠스틱 신호로부터 유도된 어쿠스틱 특징을, 적어도 부분적으로, 기초로 하는 어쿠스틱 특징의 전체적 요약은 물론, 전체적인 런닝(running) 추정값 및 어쿠스틱 특징의 전체적 요약을 기초로 순간적인 전체 분류를 결정할 수 있다. 전체적 런닝 추정값은 갱신될 수 있고, 순간적인 로컬 분류는 적어도 하나 이상의 어쿠스틱 특징을 기초로 유도된다. 그 다음, 스펙트럼 에너지 분류는 순간적인 로컬 분류, 및 하나 이상의 어쿠스틱 특징을, 적어도 일부, 기초로 하여 결정될 수 있다.
몇몇 실시예에서, 클러스터 추적 모듈은 로컬 클러스터 및 관찰을 기초로 에너지 스펙트럼 내의 포인트들이 음성 또는 잡음인지 분류한다. 이처럼, 에너지 스펙트러 내의 각각의 포인트에 대한 로컬 이진 마스크는 음성 또는 잡음 중 하나로 식별된다.
클러스터 추적 모듈은 서브밴드마다 잡음/음성 분류 신호를 생성하고, 그 분류를 NPNS 모듈(310)에 제공할 수 있다. 몇몇 실시예에서, 이러한 분류는 잡음과 음성 사이의 차이를 나타내는 컨트롤 신호이다. 잡음 소거 모듈(310)은 수신된 마이크로폰 신호 내의 잡음을 추정하기 위해 이러한 분류 신호를 사용할 수 있다. 몇몇 실시예에서, 클러스터 추적 모듈의 결과는 소스 추론 엔진 모듈(306) 내의 잡음 추정 모듈로 보내질 수 있다. 즉, 잡음이 존재하는 에너지 스펙트럼 내의 위치와 함께 현재 잡음 추정값은 오디오 프로세싱 시스템(210) 내에서 잡음 신호를 프로세싱하기 위해 제공된다.
클러스터 추적 모듈에 의해 클러스터를 추적하는 하나의 예는 2007년 12월 21일에 출원된 "오디오 소스의 적응형 분류 시스템 및 방법"이란 제목의 미국특허 출원번호 제12/004,897호에 개시되어 있다.
소스 추론 엔진 모듈(306)은 잡음 N(t,w)을 추정하기 위해 잡음 소거 모듈(310)의 출력 및 클러스터 추적 모듈로부터의 잡음/음성 분류 컨트롤 신호를 수신할 수 있는 잡음 추정 모듈을 포함할 수 있고, 여기서, t는 시간상의 포인트이고, W는 주파수 또는 서브밴드를 나타낸다. 잡음 추정 모듈에 의해 결정된 잡음 추정값은 마스크 생성 모듈(308)로 제공된다. 몇몇 실시예에서, 마스크 생성 모듈(308)은 잡음 소거 모듈(310)의 잡음 추정 출력 및 클러스터 추적 모듈의 출력을 수신한다.
소스 추론 엔진 모듈(306) 내의 잡음 추정 모듈은 NP-ILD 잡음 추정기 및 고정 잡음 추정기를 포함할 수 있다. 잡음 추정값은 결합된 잡음 추정값으로부터 야기된 잡음 억제 성능이 적어도 각각의 잡음 추정값의 잡음 억제 성능이 되도록, 예컨대, max() 오퍼레이션을 통해 결합될 수 있다.
NP-ILD 잡음 추정값은 도미넌스 마스크 및 잡음 소거 모듈(310) 출력 신호 에너지로부터 도출될 수 있다. 도미넌스 마스크가 특정한 서브밴드 내에서 (음성을 나타내는) 1일 때, 잡음 추정은 정지되고(frozen), 도미넌스 마스크가 특정한 서브밴드 내에서 (잡음을 나타내는) 0일 때, 잡음 추정값은 NPNS 출력 신호 에너지와 같게 설정된다. 고정 잡음 추적은 음성이 전형적으로 변하는 것보다 매우 더 느리게 변하는 NPNS 출력 신호의 성분을 추적하고, 이 모듈에 대한 메인 입력은 NPNS 출력 에너지이다.
마스크 생성 모듈(308)은 소스 추론 엔진 모듈(306)에 의해 추정된 서브밴드 음성 성분 및 잡음 성분의 모델을 수신하고, 곱셈식 마스크를 생성한다. 곱셈식 마스크는 NPNS(310) 및 수정기(312)에 의해 제공되는 추정된 잡음 제거된 서브밴드 신호에 적용된다. 수정 모듈(312)은 NPNS 모듈(310)에 의해 출력된 주 어쿠스틱 신호의 잡음 제거된 서브밴드 신호에 이득 마스크를 곱한다. 마스크를 적용하는 것은 주 어쿠스틱 신호의 서브밴드 신호 내의 잡음 성분의 에너지 레벨을 줄이고, 잡음 제거를 야기한다.
곱셈식 마스크는 위너 필터 및 음성 품질 최적화 억제 시스템에 의해 정해진다. 위너 필터 추정값은 주 어쿠스틱 신호의 파워 스펙트럼 밀도, 및 잡음의 파워 스펙트럼 밀도를 기초로 할 수 있다. 위너 필터는 잡음 추정값을 기초로 이득을 도출한다. 도출된 이득은 잡음 있는 신호가 주어진 깨끗한 음성 신호의 이론적 MMSE의 추정값을 생성하기 위해 사용된다. 마스크 적용의 결과인 음성 왜곡의 양을 제한하기 위해, 위너 이득은 인지가능하게 도출된 이득 하한을 사용하여 하한값으로 제한될 수 있다.
마스크 생성 모듈(308)로부터 이득 마스크 출력의 값은 시간 및 서브밴드 신호에 의존적이고, 서브밴드마다 잡음 제거를 최적화한다. 잡음 제거는 음성 손실 왜곡이 허용가능한 임계 한계를 준수한다는 제약을 받을 수 있다. 이러한 임계 한계는, 예컨대, 음성 품질 최적화 억제(VQOS) 레벨과 같은, 다수의 요인을 기초로 할 수 있다. VQOS 레벨은 잡음 제거에 의해 도입되는 서브밴드 신호 내의 음성 손실 왜곡의 추정된 최대 임계 레벨이다. VQOS는 조절가능하고, 서브밴드 신호의 특성을 고려하고, 시스템 및 어쿠스틱 설계자에게 완전한 설계 유연성을 제공한다. 서브밴드 신호 내에 수행되는 잡음 제거의 양에 대한 하한은 VQOS 임계값 하에서 결정되어, 서브밴드 신호내의 음성 손실 왜곡의 양을 제한한다. 그 결과, 많은 양의 잡음 제거가 가능할 때 서브밴드 신호 내에서 수행될 수 있고, 수용할 수 없이 높은 음성 손실 왜곡과 같은 조건이 많은 양의 잡음 제거를 허용하기 않을 때 잡음 제거는 더 작아질 수 있다.
실시예에서, 서브밴드 신호 내의 잡음 성분의 에너지 레벨은 고정적이거나 느리게 시간 가변적일 수 있는, 잔여 잡음 목표 레벨보다 작지 않게 감소될 수 있다. 몇몇 실시예에서, 잔여 잡음 목표 레벨은 각각의 서브밴드 신호에 대하여 동일하고, 다른 실시예에서, 잔여 잡음 목표 레벨은 서브밴드에 걸쳐 가변적일 수 있다. 이러한 목표 레벨은 잡음 성분이 들리지 않거나 인지불가능하게 되는 레벨이거나, 주 어쿠스틱 신호를 캡처하기 위해 사용되는 마이크로폰의 자가 잡음 레벨보다 작거나, 잡음 제거 기술을 구현하는 시스템 내의 내부 잡음 게이트 또는 베이스밴드 칩 상의 컴포넌트의 잡음 게이트보다 낮을 수 있다.
수정 모듈(312)은 잡음 소거 모듈(310)로부터 신호 경로 달팽이관 샘플을 수신하고, 수신된 샘플에 마스크 생성기(308)로부터 수신된 이득 마스크를 적용한다. 신호 경로 달팽이관 샘플은 주 어쿠스틱 신호에 대한 잡음 제거된 서브밴드 신호를 포함할 수 있다. 위너 필터 추정에 의해 제공되는 마스크는 급격하게, 예컨대, 프레임마다 변할 수 있고, 잡음 및 음성 추정값은 프레임 사이에서 변할 수 있다. 이러한 변화를 다루는 것을 돕기 위해, 마스크의 일시적 슬루 레이트(slew rate)의 상한 및 하한이 수정기(312)에 의해 합리적인 한도 내로 제약될 수 있다. 마스크는 간단한 선형 보간법(interpolation)을 사용하여 프레임 속도에서부터 샘플 속도까지 보간될 수 있고, 곱셈식 잡음 억제에 의해 서브밴드 신호에 적용될 수 있다. 수정 모듈(312)은 마스킹된 주파수 서브밴드 신호를 출력할 수 있다.
재구성 모듈(314)은 마스킹된 주파수 서브밴드 신호를 달팽이관 도메인에서 다시 시간 도메인으로 변환할 수 있다. 이러한 변환은 마스킹된 주파수 서브밴드 신호와 위상 천이된 신호를 더하는 것을 포함할 수 있다. 대안으로서, 이러한 변환은 마스킹된 주파수 서브밴드 신호와 달팽이관 채널의 주파수의 역수를 곱하는 것을 포함할 수 있따. 시간 도메인으로의 변환이 완료된 후, 합성된 어쿠스틱 신호는 출력 디바이스(206)를 통해 사용자에게 출력될 수 있고, 그리고/또는 인코딩을 위해 코덱에 제공될 수 있다.
몇몇 실시예에서, 합성된 시간 도메인의 어쿠스틱 신호의 추가적인 포스트 프로세싱(post-processing)이 수행될 수 있다. 예를 들어, 컴포트 잡음 생성기에 의해 생성된 컴포트 잡음(comfort noise)이 사용자에게 신호를 제공하기 전에 합성된 어쿠스틱 신호에 더해질 수 있다. 컴포트 잡음은 듣는 사람이 일반적으로 인지할 수 없는 균일하고 일정한 잡음(예컨대, 핑크 노이즈)일 수 있다. 이러한 컴포트 잡음은 가청 임계값을 강화하기 위해, 그리고 낮은 레벨의 비정적 출력 잡음 성분을 마스킹하기 위해 합성된 어쿠스틱 신호에 추가될 수 있다. 몇몇 실시예에서, 컴포트 잡음 레벨은 가청 임계값 바로 위로 선택될 수도 있고, 사용자에 의해 설정가능할 수도 있다. 몇몇 실시예에서, 마스크 생성 모듈(308)은 컴포트 잡음의 레벨로 또는 그 아래의 레벨로 잡음을 억제할 이득 마스크를 생성하기 위해 컴포트 잡음의 레벨에 액세스할 수 있다.
도 3의 시스템은 오디오 디바이스에 의해 수신된 수가지 타입의 신호를 프로세싱할 수 있다. 본 시스템은 하나 이상의 마이크로폰을 통해 수신된 어쿠스틱 신호에 적용될 수 있다. 본 시스템은 또한 안테나 또는 다른 연결을 통해 수신된, 디지털 Rx 신호와 같은 신호들을 프로세싱할 수 있다.
도 4 및 5는 본 기술을 수행하기 위한 예시적인 방법의 플로우차트를 포함한다. 도 4 및 5의 각각의 단계들은 임의의 순서로 수행될 수도 있고, 도 4 및 5의 방법은 각각 도시된 것보다 많거나 적은 단계를 포함할 수도 있다.
도 4는 어쿠스틱 신호에 대한 잡음 제거를 수행하는 하나의 예시적인 방법의 플로우차트이다. 마이크로폰 어쿠스틱 신호는 단계(405)에서 수신될 수 있다. 마이크로폰(106 및 108)에 의해 수신된 어쿠스틱 신호는 각각 적어도 음성 및 잡음의 일부분을 포함할 수 있다. 단계(410)에서 어쿠스틱 신호에 대한 사전 프로세싱이 수행될 수 있다. 사전 프로세싱은 어쿠스틱 신호에 이득을 적용하는 것, 이퀄라이제이션(equalization), 및 다른 신호 프로세싱을 포함할 수 있다.
단계(415)에서 서브밴드 신호가 달팽이관 도메인 내에서 생성된다. 이 서브밴드 신호는 하나의 케스케이드의 컴플렉스 필터(complex filter)를 사용하여 시간 도메인 신호로부터 생성될 수 있다.
단계(420)에서 특징 추출이 수행된다. 특징 추출은 잡음 성분을 소거하기 위해 사용되는, 서브밴드 신호로부터의 특징을 추출하고, 서브밴드가 잡음 또는 에코를 가지는지 여부를 추론하고, 마스크를 생성한다. 특징 추출을 수행하는 것은 도 5를 참조하여 더욱 상세하게 설명한다.
단계(425)에서, 잡음 소거가 수행된다. 잡음 소거는 주파수 분석 모듈(302)로부터 수신된 하나 이상의 서브밴드 신호에 대하여 NPNS 모듈(330)에 의해 수행될 수 있다. 잡음 소거는 주 어쿠스틱 신호 서브밴드로부터 잡음 성분을 빼는 것을 포함할 수 있다. 몇몇 실시예에서, 에코 성분은 주 어쿠스틱 신호 서브밴드로부터 소거될 수 있다. 잡음 소거된(또는 에코-소거된) 신호는 잡음 성분 에너지 추정값을 판정하기 위해 특징 추출 모듈(304)에, 그리고 소스 추론 엔진(306)에 제공될 수 있다.
잡음 추정값, 에코 추정값, 및 음성 추정값은 단계(430)에서 서브밴드에 대하여 판정될 수 있다. 각각의 추정값은 어쿠스틱 오디오 신호 내의 각각의 서브밴드에 대하여, 그리고 어쿠스틱 오디오 신호 내의 각각의 프레임에 대하여 판정될 수 있다. 에코는 소스 추론 엔진(306)에 의해 수신된 Rx 신호로부터 적어도 부분적으로 판정될 수 있다. 특정한 시간 프레임 내의 서브밴드가 잡음인지, 음성인지, 또는 에코인지에 관한 추론은 마스크 생성 모듈(308)에 제공된다.
단계(435)에서, 마스크가 생성된다. 이 마스크는 마스크 생성기(308)에 의해 생성될 수 있다. 마스크는 특정한 서브밴드가 잡음, 음성, 또는 에코인지 판정되는 것과 같은 판단을 기초로 각각의 프레임 동안 생성되고 각각의 서브밴드에 적용될 수 있다. 마스크는 음성 품질 최적화 억제값(특정한 레벨의 음성 왜곡에 대하여 최적화될 것으로 판정되는 억제 레벨)을 기초로 생성될 수 있다. 그 다음, 마스크는 단계(440)에서 서브밴드에 적용될 수 있다. 마스크는 NPNS(310)에 의해 출력된 서브밴드 신호에 수정자(312)에 의해 적용될 수 있다. 마스크는 수정자(312)에 의해 프레임 속도에서부터 샘플 속도까지 보간될 수 있다.
단계(445)에서, 서브밴드 신호로부터 시간 도메인 신호가 재구성된다. 시간 대역 신호는 재구성 모듈(314)에 의해 서브밴드 신호에 일련의 지연(delay) 및 복소수 곱셈 오퍼레이션을 적용함으로써 재구성될 수 있다. 그 다음, 단계(450)에서 재구성된 시간 도메인 신호에 포스트 프로세싱이 수행될 수 있다. 포스트 프로세싱은 포스트 프로세서에 의해 수행될 수 있고, 재구성된 신호에 출력 리미터(limiter)를 적용하는 것, 자동 이득 컨트롤을 적용하는 것, 및 다른 포스트 프로세싱을 포함할 수 있다. 그 다음, 재구성된 출력 신호는 단계(455)에서 출력될 수 있다.
도 5는 오디오 신호로부터 특징을 추출하는 하나의 예시적인 방법의 플로우차트이다. 도 5의 방법은 도 4의 방법의 단계(420)에 대한 더욱 세부적인 내용을 제공할 수 있다. 서브밴드 신호는 단계(505)에서 수신된다. 특징 추출 모듈(304)은 주파수 분석 모듈(302)로부터의 서브밴드 신호, 및 잡음 소거 모듈(310)로부터의 출력 신호를 수신할 수 있다. 예컨대, 서브밴드 에너지 레벨과 같은, 2차 통계가 단계(510)에서 판정된다. 에너지 서브밴드 레벨은 각각의 서브밴드에 대하여 각각의 프레임에 대하여 판정될 수 있다. 마이크로폰 간의 교차상관 및 마이크로폰 신호의 자기상관(autocorrelation)이 단계(515)에서 계산될 수 있다. 상호 마이크로폰 레벨차(ILD)가 단계(520)에서 판정된다. 널 프로세싱 상호 마이크로폰 레벨차(NP-ILD)가 단계(525)에서 판정된다. ILD 및 NP-ILD는 모두 서브밴드 신호 에너지 및 잡음 추정 에너지로부터, 적어도 부분적으로, 판정된다. 그 다음, 추출된 특징은 서브밴드 신호 내의 잡음을 제거함에 있어서 오디오 프로세싱 시스템에 의해 사용된다.
도 3에 관하여 서술된 것을 포함하여, 상술된 모듈들은 기계 판독가능한 매체(예컨대, 컴퓨터 판독가능한 매체)와 같은 저장 매체에 저장된 명령어를 포함할 수 있다. 이러한 명령어들은 본 명세서에 서술된 기능을 수행하기 위해 프로세서(202)에 의해 검색되고 실행될 수 있다. 명령어의 몇몇 예는 소프트웨어, 프로그램 코드, 및 펌웨어를 포함한다. 저장 매체의 몇몇 예는 메모리 디바이스 및 집적회로를 포함한다.
본 발명이 상술된 예 및 바람직한 실시예를 참조하여 개시되었으나, 이러한 예들이 제한하는 의미가 아니라 설명을 위한 것으로 의도된 것임을 이해해야 한다. 수정 및 조합이 당업자들에게 용이하게 일어날 수 있고, 이러한 수정 및 조합은 본 발명의 정신 및 아래의 청구항의 범위 내에 속할 것으로 생각된다.
Claims (19)
- 오디오 신호 내에서 잡음 제거를 수행하는 시스템으로서,
메모리;
시간 도메인 어쿠스틱 신호로부터 달팽이관(cochlea) 도메인의 서브밴드 신호를 생성하기 위한, 상기 메모리에 저장되고 프로세서에 의해 실행되는 주파수 분석 모듈;
상기 서브밴드 신호의 적어도 일부분을 소거시키기 위한, 상기 메모리에 저장되고 프로세서에 의해 실행되는 잡음 소거 모듈;
수정된 서브밴드 신호 내의 잡음 성분 또는 에코 성분을 억제하기 위한, 상기 메모리에 저장되고 프로세서에 의해 실행되는 수정 모듈; 및
상기 수정 모듈에 의해 제공되는 상기 성분 억제된 서브밴드 신호로부터 수정된 시간 도메인 신호를 재구성하기 위한, 상기 메모리에 저장되고 프로세서에 의해 실행되는 재구성 모듈을 포함하는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 시스템. - 제 1 항에 있어서, 상기 시간 도메인 어쿠스틱 신호는 오디오 디바이스 상의 하나 이상의 마이크로폰 신호로부터 수신되는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 시스템.
- 제 1 항에 있어서, 상기 서브밴드 신호의 특징을 판정하기 위한, 메모리에 저장되고 프로세서에 의해 실행되는 특징 추출 모듈을 더 포함하고, 상기 특징은 상기 어쿠스틱 신호에 대한 일련의 프레임 내의 각각의 프레임에 대하여 판정되는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 시스템.
- 제 3 항에 있어서, 주 어쿠스틱 신호와 제2, 제3 또는 다른 어쿠스틱 신호 사이의 상호 마이크로폰 레벨차 또는 상호 마이크로폰 시간차 또는 위상차를 기초로, 상기 잡음 소거 모듈 또는 상기 수정 모듈의 조절을 제어하도록 구성되어 있는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 시스템.
- 제 1 항에 있어서, 상기 잡음 소거 모듈은 상기 서브밴드 신호에서 잡음 성분을 뺌으로써 또는 에코 성분을 뺌으로써 상기 서브밴드 신호의 적어도 일부분을 소거시키는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 시스템.
- 제 5 항에 있어서, 상기 서브밴드 신호의 특징을 판정하기 위한, 메모리에 저장되고 프로세서에 의해 실행되는 특징 추출 모듈을 더 포함하고, 상기 특징은 상기 어쿠스틱 신호에 대한 일련의 프레임 내의 각각의 프레임에 대하여 판정되고,
상기 특징은 상호 마이크로폰 레벨차를 널 프로세싱(null-processing)하는 것과 같이, 잡음 소거 모듈의 출력으로부터 그리고 상기 수신된 입력 신호로부터 상기 특징 추출 모듈 내에서 도출되는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 시스템. - 제 1 항에 있어서, 마스크를 생성하기 위한, 메모리에 저장되고 프로세서에 의해 실행되는 마스크 생성 모듈을 더 포함하고, 상기 마스크는 상기 잡음 소거 모듈에 의해 출력된 서브밴드 신호에 상기 수정 모듈에 의해 적용되도록 구성된 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 시스템.
- 제 7 항에 있어서, 상기 서브밴드 신호의 특징을 판정하기 위한, 메모리에 저장되고 프로세서에 의해 실행되는 특징 추출 모듈을 더 포함하고, 상기 특징은 상기 어쿠스틱 신호에 대한 일련의 프레임 내의 각각의 프레임에 대하여 판정되고,
상기 마스크는 상기 특성 추출 모듈에서 도출된 하나 이상의 특징을 부분적으로 기초로 하여 결정되는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 시스템. - 제 8 항에 있어서, 상기 마스크는 상기 주 어쿠스틱 신호의 각각의 서브밴드 내의 음성 손실 왜곡의 임계 레벨, 잡음 또는 에코 억제의 원하는 레벨, 또는 추정된 신호대잡음비를 적어도 부분적으로 기초로 하여 결정되는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 시스템.
- 오디오 신호 내에서 잡음 제거를 수행하는 방법으로서,
시간 도메인 어쿠스틱 신호로부터 달팽이관(cochlea) 도메인의 서브밴드 신호를 생성하기 위한 저장된 주파수 분석 모듈을 프로세서에 의해 실행하는 단계;
상기 서브밴드 신호의 적어도 일부분을 소거시키기 위해 잡음 소거 모듈을 프로세서에 의해 실행하는 단계;
수정된 서브밴드 신호 내의 잡음 성분 또는 에코 성분을 억제하기 위한 수정 모듈을 프로세서에 의해 실행하는 단계; 및
상기 수정 모듈에 의해 제공된 성분 억제된 서브밴드 신호로부터 수정된 시간 도메인 신호를 재구성하기 위한 재구성 모듈을 프로세서에 의해 실행하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 방법. - 제 10 항에 있어서, 오디오 디바이스 상의 하나 이상의 마이크로폰 신호로부터 시간 도메인 어쿠스틱 신호를 수신하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 방법.
- 제 10 항에 있어서, 상기 서브밴드 신호의 특징을 판정하는 단계를 더 포함하고, 상기 특징은 상기 어쿠스틱 신호에 대한 일련의 프레임 내의 각각의 프레임에 대하여 판정되는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 방법.
- 제 12 항에 있어서, 주 어쿠스틱 신호와 제2, 제3, 또는 다른 어쿠스틱 신호 사이의 상호 마이크로폰 레벨차 또는 상호 마이크로폰 시간차 또는 위상차를 기초로, 상기 잡음 소거 모듈 또는 상기 수정 모듈의 조절을 컨트롤하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 방법.
- 제 10 항에 있어서, 상기 서브밴드 신호로부터 잡음 성분을 뺌으로써 또는 에코 성분을 뺌으로써, 상기 서브밴드 신호의 적어도 일부분을 소거시키는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 방법.
- 제 14 항에 있어서, 상기 서브밴드 신호의 특징을 판정하는 단계를 더 포함하고, 상기 특징은 상기 어쿠스틱 신호에 대한 일련의 프레임 내의 각각의 프레임에 대하여 판정되고,
상기 특징은 잡음 소거 모듈의 출력으로부터 그리고 상기 수신된 입력 신호로부터, 상기 특성 추출 모듈 내에서 도출되는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 방법. - 제 10 항에 있어서, 마스크를 생성하는 단계를 더 포함하고, 상기 마스크는
상기 잡음 소거 모듈에 의해 출력된 서브밴드 신호에 상기 수정 모듈에 의해 적용되도록 구성된 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 방법. - 제 16 항에 있어서, 상기 서브밴드 신호의 특징을 판정하는 단계를 더 포함하고, 상기 특징은 상기 어쿠스틱 신호에 대한 일련의 프레임 내의 각각의 프레임에 대하여 판정되고,
상기 마스크는 상기 특징 추출 모듈에서 도출된 하나 이상의 특징을 부분적으로 기초로 하여 결정되는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 방법. - 제 17 항에 있어서, 상기 마스크는 상기 주 어쿠스틱 신호의 각각의 서브밴드 내의 음성 손실 왜곡의 임계 레벨, 잡음 또는 에코 억제의 원하는 레벨, 또는 추정된 신호대잡음비를 적어도 부분적으로 기초로 하여 결정되는 것을 특징으로 하는 오디오 신호 내에서 잡음 제거를 수행하는 방법.
- 프로그램을 내장한 컴퓨터 판독가능한 저장 매체로서,
상기 프로그램은 오디오 신호 내의 잡음을 제거하는 방법을 수행하도록, 프로세서에 의해 실행가능하고,
상기 방법은:
시간 도메인 어쿠스틱 신호로부터 달팽이관(cochlea) 도메인의 서브밴드 신호를 생성하기 위한 저장된 주파수 분석 모듈을 프로세서에 의해 실행하는 단계;
상기 서브밴드 신호의 적어도 일부분을 소거시키기 위해 잡음 소거 모듈을 프로세서에 의해 실행하는 단계;
수정된 서브밴드 신호 내의 잡음 성분 또는 에코 성분을 억제하기 위한 수정 모듈을 프로세서에 의해 실행하는 단계; 및
상기 수정 모듈에 의해 제공된 성분 억제된 서브밴드 신호로부터 수정된 시간 도메인 신호를 재구성하기 위한 재구성 모듈을 프로세서에 의해 실행하는 단계를 포함하는 것을 특징으로 하는 프로그램을 내장한 컴퓨터 판독가능한 저장 매체.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US32932210P | 2010-04-29 | 2010-04-29 | |
US61/329,322 | 2010-04-29 | ||
US12/832,920 US8538035B2 (en) | 2010-04-29 | 2010-07-08 | Multi-microphone robust noise suppression |
US12/832,920 | 2010-07-08 | ||
PCT/US2011/034373 WO2011137258A1 (en) | 2010-04-29 | 2011-04-28 | Multi-microphone robust noise suppression |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20130108063A true KR20130108063A (ko) | 2013-10-02 |
Family
ID=44861918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020127027868A KR20130108063A (ko) | 2010-04-29 | 2011-04-28 | 다중 마이크로폰의 견고한 잡음 억제 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8538035B2 (ko) |
JP (1) | JP2013527493A (ko) |
KR (1) | KR20130108063A (ko) |
TW (1) | TWI466107B (ko) |
WO (1) | WO2011137258A1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9502048B2 (en) | 2010-04-19 | 2016-11-22 | Knowles Electronics, Llc | Adaptively reducing noise to limit speech distortion |
US10045140B2 (en) | 2015-01-07 | 2018-08-07 | Knowles Electronics, Llc | Utilizing digital microphones for low power keyword detection and noise suppression |
KR20190090578A (ko) * | 2018-01-25 | 2019-08-02 | 서강대학교산학협력단 | 분산도 마스크를 이용한 음원 국지화 방법 및 음원 국지화 장치 |
Families Citing this family (77)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8949120B1 (en) | 2006-05-25 | 2015-02-03 | Audience, Inc. | Adaptive noise cancelation |
US8538035B2 (en) | 2010-04-29 | 2013-09-17 | Audience, Inc. | Multi-microphone robust noise suppression |
US8781137B1 (en) | 2010-04-27 | 2014-07-15 | Audience, Inc. | Wind noise detection and suppression |
US9558755B1 (en) | 2010-05-20 | 2017-01-31 | Knowles Electronics, Llc | Noise suppression assisted automatic speech recognition |
US8447596B2 (en) | 2010-07-12 | 2013-05-21 | Audience, Inc. | Monaural noise suppression based on computational auditory scene analysis |
KR101702561B1 (ko) * | 2010-08-30 | 2017-02-03 | 삼성전자 주식회사 | 음원출력장치 및 이를 제어하는 방법 |
US8682006B1 (en) | 2010-10-20 | 2014-03-25 | Audience, Inc. | Noise suppression based on null coherence |
US9538286B2 (en) * | 2011-02-10 | 2017-01-03 | Dolby International Ab | Spatial adaptation in multi-microphone sound capture |
US10418047B2 (en) * | 2011-03-14 | 2019-09-17 | Cochlear Limited | Sound processing with increased noise suppression |
US8724823B2 (en) | 2011-05-20 | 2014-05-13 | Google Inc. | Method and apparatus for reducing noise pumping due to noise suppression and echo control interaction |
US9881616B2 (en) * | 2012-06-06 | 2018-01-30 | Qualcomm Incorporated | Method and systems having improved speech recognition |
US9264524B2 (en) | 2012-08-03 | 2016-02-16 | The Penn State Research Foundation | Microphone array transducer for acoustic musical instrument |
WO2014022280A1 (en) * | 2012-08-03 | 2014-02-06 | The Penn State Research Foundation | Microphone array transducer for acoustic musical instrument |
CN102801861B (zh) * | 2012-08-07 | 2015-08-19 | 歌尔声学股份有限公司 | 一种应用于手机的语音增强方法和装置 |
US9640194B1 (en) | 2012-10-04 | 2017-05-02 | Knowles Electronics, Llc | Noise suppression for speech processing based on machine-learning mask estimation |
US9100466B2 (en) * | 2013-05-13 | 2015-08-04 | Intel IP Corporation | Method for processing an audio signal and audio receiving circuit |
US20180317019A1 (en) | 2013-05-23 | 2018-11-01 | Knowles Electronics, Llc | Acoustic activity detecting microphone |
US9508345B1 (en) | 2013-09-24 | 2016-11-29 | Knowles Electronics, Llc | Continuous voice sensing |
US9953634B1 (en) | 2013-12-17 | 2018-04-24 | Knowles Electronics, Llc | Passive training for automatic speech recognition |
CN103915102B (zh) * | 2014-03-12 | 2017-01-18 | 哈尔滨工程大学 | 一种lfm水声多途信号的噪声抑制方法 |
US9437188B1 (en) | 2014-03-28 | 2016-09-06 | Knowles Electronics, Llc | Buffered reprocessing for multi-microphone automatic speech recognition assist |
CN106797512B (zh) | 2014-08-28 | 2019-10-25 | 美商楼氏电子有限公司 | 多源噪声抑制的方法、系统和非瞬时计算机可读存储介质 |
US10657973B2 (en) * | 2014-10-02 | 2020-05-19 | Sony Corporation | Method, apparatus and system |
US9311928B1 (en) * | 2014-11-06 | 2016-04-12 | Vocalzoom Systems Ltd. | Method and system for noise reduction and speech enhancement |
US9648419B2 (en) | 2014-11-12 | 2017-05-09 | Motorola Solutions, Inc. | Apparatus and method for coordinating use of different microphones in a communication device |
US9712915B2 (en) | 2014-11-25 | 2017-07-18 | Knowles Electronics, Llc | Reference microphone for non-linear and time variant echo cancellation |
DE112016000545B4 (de) * | 2015-01-30 | 2019-08-22 | Knowles Electronics, Llc | Kontextabhängiges schalten von mikrofonen |
US10186276B2 (en) * | 2015-09-25 | 2019-01-22 | Qualcomm Incorporated | Adaptive noise suppression for super wideband music |
WO2017096174A1 (en) | 2015-12-04 | 2017-06-08 | Knowles Electronics, Llc | Multi-microphone feedforward active noise cancellation |
WO2017123814A1 (en) * | 2016-01-14 | 2017-07-20 | Knowles Electronics, Llc | Systems and methods for assisting automatic speech recognition |
US9756421B2 (en) * | 2016-01-22 | 2017-09-05 | Mediatek Inc. | Audio refocusing methods and electronic devices utilizing the same |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US10097919B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Music service selection |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US9811314B2 (en) | 2016-02-22 | 2017-11-07 | Sonos, Inc. | Metadata exchange involving a networked playback system and a networked microphone system |
US9838737B2 (en) * | 2016-05-05 | 2017-12-05 | Google Inc. | Filtering wind noises in video content |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
US20190273988A1 (en) * | 2016-11-21 | 2019-09-05 | Harman Becker Automotive Systems Gmbh | Beamsteering |
WO2018148095A1 (en) | 2017-02-13 | 2018-08-16 | Knowles Electronics, Llc | Soft-talk audio capture for mobile devices |
US10468020B2 (en) * | 2017-06-06 | 2019-11-05 | Cypress Semiconductor Corporation | Systems and methods for removing interference for audio pattern recognition |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
US10048930B1 (en) | 2017-09-08 | 2018-08-14 | Sonos, Inc. | Dynamic computation of system response volume |
US10446165B2 (en) * | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
US20190222691A1 (en) | 2018-01-18 | 2019-07-18 | Knowles Electronics, Llc | Data driven echo cancellation and suppression |
US10755728B1 (en) * | 2018-02-27 | 2020-08-25 | Amazon Technologies, Inc. | Multichannel noise cancellation using frequency domain spectrum masking |
CN108564963B (zh) * | 2018-04-23 | 2019-10-18 | 百度在线网络技术(北京)有限公司 | 用于增强语音的方法和装置 |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
US10964314B2 (en) * | 2019-03-22 | 2021-03-30 | Cirrus Logic, Inc. | System and method for optimized noise reduction in the presence of speech distortion using adaptive microphone array |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
GB2585086A (en) * | 2019-06-28 | 2020-12-30 | Nokia Technologies Oy | Pre-processing for automatic speech recognition |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
US10764699B1 (en) | 2019-08-09 | 2020-09-01 | Bose Corporation | Managing characteristics of earpieces using controlled calibration |
CN110648679B (zh) * | 2019-09-25 | 2023-07-14 | 腾讯科技(深圳)有限公司 | 回声抑制参数的确定方法和装置、存储介质及电子装置 |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
DE102020202206A1 (de) * | 2020-02-20 | 2021-08-26 | Sivantos Pte. Ltd. | Verfahren zur Unterdrückung eines Eigenrauschens einer Mikrofonanordnung |
CN115605952A (zh) | 2020-05-08 | 2023-01-13 | 纽奥斯通讯有限公司(Us) | 用于多麦克风信号处理的数据增强的系统和方法 |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
US11610598B2 (en) | 2021-04-14 | 2023-03-21 | Harris Global Communications, Inc. | Voice enhancement in presence of noise |
Family Cites Families (222)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3581122A (en) | 1967-10-26 | 1971-05-25 | Bell Telephone Labor Inc | All-pass filter circuit having negative resistance shunting resonant circuit |
US3989897A (en) | 1974-10-25 | 1976-11-02 | Carver R W | Method and apparatus for reducing noise content in audio signals |
US4811404A (en) | 1987-10-01 | 1989-03-07 | Motorola, Inc. | Noise suppression system |
US4910779A (en) | 1987-10-15 | 1990-03-20 | Cooper Duane H | Head diffraction compensated stereo system with optimal equalization |
IL84948A0 (en) | 1987-12-25 | 1988-06-30 | D S P Group Israel Ltd | Noise reduction system |
US5027306A (en) | 1989-05-12 | 1991-06-25 | Dattorro Jon C | Decimation filter as for a sigma-delta analog-to-digital converter |
US5050217A (en) | 1990-02-16 | 1991-09-17 | Akg Acoustics, Inc. | Dynamic noise reduction and spectral restoration system |
US5103229A (en) | 1990-04-23 | 1992-04-07 | General Electric Company | Plural-order sigma-delta analog-to-digital converters using both single-bit and multiple-bit quantization |
JPH0566795A (ja) | 1991-09-06 | 1993-03-19 | Gijutsu Kenkyu Kumiai Iryo Fukushi Kiki Kenkyusho | 雑音抑圧装置とその調整装置 |
JP3279612B2 (ja) | 1991-12-06 | 2002-04-30 | ソニー株式会社 | 雑音低減装置 |
JP3176474B2 (ja) | 1992-06-03 | 2001-06-18 | 沖電気工業株式会社 | 適応ノイズキャンセラ装置 |
US5408235A (en) | 1994-03-07 | 1995-04-18 | Intel Corporation | Second order Sigma-Delta based analog to digital converter having superior analog components and having a programmable comb filter coupled to the digital signal processor |
JP3307138B2 (ja) | 1995-02-27 | 2002-07-24 | ソニー株式会社 | 信号符号化方法及び装置、並びに信号復号化方法及び装置 |
US5828997A (en) | 1995-06-07 | 1998-10-27 | Sensimetrics Corporation | Content analyzer mixing inverse-direction-probability-weighted noise to input signal |
US5687104A (en) | 1995-11-17 | 1997-11-11 | Motorola, Inc. | Method and apparatus for generating decoupled filter parameters and implementing a band decoupled filter |
US5774562A (en) | 1996-03-25 | 1998-06-30 | Nippon Telegraph And Telephone Corp. | Method and apparatus for dereverberation |
JP3325770B2 (ja) | 1996-04-26 | 2002-09-17 | 三菱電機株式会社 | ノイズ低減回路及びノイズ低減装置及びノイズ低減方法 |
US5701350A (en) | 1996-06-03 | 1997-12-23 | Digisonix, Inc. | Active acoustic control in remote regions |
US5825898A (en) | 1996-06-27 | 1998-10-20 | Lamar Signal Processing Ltd. | System and method for adaptive interference cancelling |
US5806025A (en) | 1996-08-07 | 1998-09-08 | U S West, Inc. | Method and system for adaptive filtering of speech signals using signal-to-noise ratio to choose subband filter bank |
JPH10124088A (ja) | 1996-10-24 | 1998-05-15 | Sony Corp | 音声帯域幅拡張装置及び方法 |
US5963651A (en) | 1997-01-16 | 1999-10-05 | Digisonix, Inc. | Adaptive acoustic attenuation system having distributed processing and shared state nodal architecture |
JP3328532B2 (ja) | 1997-01-22 | 2002-09-24 | シャープ株式会社 | デジタルデータの符号化方法 |
US6104993A (en) | 1997-02-26 | 2000-08-15 | Motorola, Inc. | Apparatus and method for rate determination in a communication system |
JP4132154B2 (ja) | 1997-10-23 | 2008-08-13 | ソニー株式会社 | 音声合成方法及び装置、並びに帯域幅拡張方法及び装置 |
US6343267B1 (en) | 1998-04-30 | 2002-01-29 | Matsushita Electric Industrial Co., Ltd. | Dimensionality reduction for speaker normalization and speaker and environment adaptation using eigenvoice techniques |
US6160265A (en) | 1998-07-13 | 2000-12-12 | Kensington Laboratories, Inc. | SMIF box cover hold down latch and box door latch actuating mechanism |
US6240386B1 (en) | 1998-08-24 | 2001-05-29 | Conexant Systems, Inc. | Speech codec employing noise classification for noise compensation |
US6539355B1 (en) | 1998-10-15 | 2003-03-25 | Sony Corporation | Signal band expanding method and apparatus and signal synthesis method and apparatus |
US6011501A (en) | 1998-12-31 | 2000-01-04 | Cirrus Logic, Inc. | Circuits, systems and methods for processing data in a one-bit format |
US6453287B1 (en) | 1999-02-04 | 2002-09-17 | Georgia-Tech Research Corporation | Apparatus and quality enhancement algorithm for mixed excitation linear predictive (MELP) and other speech coders |
US6381570B2 (en) | 1999-02-12 | 2002-04-30 | Telogy Networks, Inc. | Adaptive two-threshold method for discriminating noise from speech in a communication signal |
US6377915B1 (en) | 1999-03-17 | 2002-04-23 | Yrp Advanced Mobile Communication Systems Research Laboratories Co., Ltd. | Speech decoding using mix ratio table |
US6490556B2 (en) | 1999-05-28 | 2002-12-03 | Intel Corporation | Audio classifier for half duplex communication |
US20010044719A1 (en) | 1999-07-02 | 2001-11-22 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for recognizing, indexing, and searching acoustic signals |
US6453284B1 (en) | 1999-07-26 | 2002-09-17 | Texas Tech University Health Sciences Center | Multiple voice tracking system and method |
US6480610B1 (en) | 1999-09-21 | 2002-11-12 | Sonic Innovations, Inc. | Subband acoustic feedback cancellation in hearing aids |
US7054809B1 (en) | 1999-09-22 | 2006-05-30 | Mindspeed Technologies, Inc. | Rate selection method for selectable mode vocoder |
US6326912B1 (en) | 1999-09-24 | 2001-12-04 | Akm Semiconductor, Inc. | Analog-to-digital conversion using a multi-bit analog delta-sigma modulator combined with a one-bit digital delta-sigma modulator |
US6594367B1 (en) | 1999-10-25 | 2003-07-15 | Andrea Electronics Corporation | Super directional beamforming design and implementation |
US6757395B1 (en) | 2000-01-12 | 2004-06-29 | Sonic Innovations, Inc. | Noise reduction apparatus and method |
US20010046304A1 (en) | 2000-04-24 | 2001-11-29 | Rast Rodger H. | System and method for selective control of acoustic isolation in headsets |
JP2001318694A (ja) | 2000-05-10 | 2001-11-16 | Toshiba Corp | 信号処理装置、信号処理方法および記録媒体 |
US7346176B1 (en) | 2000-05-11 | 2008-03-18 | Plantronics, Inc. | Auto-adjust noise canceling microphone with position sensor |
US6377637B1 (en) | 2000-07-12 | 2002-04-23 | Andrea Electronics Corporation | Sub-band exponential smoothing noise canceling system |
US6782253B1 (en) | 2000-08-10 | 2004-08-24 | Koninklijke Philips Electronics N.V. | Mobile micro portal |
JP2004507144A (ja) | 2000-08-11 | 2004-03-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Σδ変調器を同期させる方法および装置 |
JP3566197B2 (ja) * | 2000-08-31 | 2004-09-15 | 松下電器産業株式会社 | 雑音抑圧装置及び雑音抑圧方法 |
US7472059B2 (en) | 2000-12-08 | 2008-12-30 | Qualcomm Incorporated | Method and apparatus for robust speech classification |
US20020128839A1 (en) | 2001-01-12 | 2002-09-12 | Ulf Lindgren | Speech bandwidth extension |
US20020097884A1 (en) | 2001-01-25 | 2002-07-25 | Cairns Douglas A. | Variable noise reduction algorithm based on vehicle conditions |
WO2002093561A1 (de) | 2001-05-11 | 2002-11-21 | Siemens Aktiengesellschaft | Verfahren zur erweiterung der bandbreite eines schmalbandig gefilterten sprachsignals, insbesondere eines von einem telekommunikationsgerät gesendeten sprachsignals |
US6675164B2 (en) | 2001-06-08 | 2004-01-06 | The Regents Of The University Of California | Parallel object-oriented data mining system |
DE60120504T2 (de) | 2001-06-26 | 2006-12-07 | Nokia Corp. | Verfahren zur transcodierung von audiosignalen, netzwerkelement, drahtloses kommunikationsnetzwerk und kommunikationssystem |
US6876859B2 (en) | 2001-07-18 | 2005-04-05 | Trueposition, Inc. | Method for estimating TDOA and FDOA in a wireless location system |
CA2354808A1 (en) | 2001-08-07 | 2003-02-07 | King Tam | Sub-band adaptive signal processing in an oversampled filterbank |
US6895375B2 (en) | 2001-10-04 | 2005-05-17 | At&T Corp. | System for bandwidth extension of Narrow-band speech |
US6988066B2 (en) | 2001-10-04 | 2006-01-17 | At&T Corp. | Method of bandwidth extension for narrow-band speech |
PT1423847E (pt) | 2001-11-29 | 2005-05-31 | Coding Tech Ab | Reconstrucao de componentes de frequencia elevada |
US8098844B2 (en) | 2002-02-05 | 2012-01-17 | Mh Acoustics, Llc | Dual-microphone spatial noise suppression |
US7050783B2 (en) | 2002-02-22 | 2006-05-23 | Kyocera Wireless Corp. | Accessory detection system |
WO2003084103A1 (en) | 2002-03-22 | 2003-10-09 | Georgia Tech Research Corporation | Analog audio enhancement system using a noise suppression algorithm |
GB2387008A (en) | 2002-03-28 | 2003-10-01 | Qinetiq Ltd | Signal Processing System |
US7072834B2 (en) | 2002-04-05 | 2006-07-04 | Intel Corporation | Adapting to adverse acoustic environment in speech processing using playback training data |
US7065486B1 (en) | 2002-04-11 | 2006-06-20 | Mindspeed Technologies, Inc. | Linear prediction based noise suppression |
DK1359787T3 (en) | 2002-04-25 | 2015-04-20 | Gn Resound As | Fitting method and hearing prosthesis which is based on signal to noise ratio loss of data |
US7319959B1 (en) | 2002-05-14 | 2008-01-15 | Audience, Inc. | Multi-source phoneme classification for noise-robust automatic speech recognition |
US7257231B1 (en) | 2002-06-04 | 2007-08-14 | Creative Technology Ltd. | Stream segregation for stereo signals |
CA2493105A1 (en) | 2002-07-19 | 2004-01-29 | British Telecommunications Public Limited Company | Method and system for classification of semantic content of audio/video data |
US7539273B2 (en) | 2002-08-29 | 2009-05-26 | Bae Systems Information And Electronic Systems Integration Inc. | Method for separating interfering signals and computing arrival angles |
US7574352B2 (en) | 2002-09-06 | 2009-08-11 | Massachusetts Institute Of Technology | 2-D processing of speech |
US7283956B2 (en) | 2002-09-18 | 2007-10-16 | Motorola, Inc. | Noise suppression |
US7657427B2 (en) | 2002-10-11 | 2010-02-02 | Nokia Corporation | Methods and devices for source controlled variable bit-rate wideband speech coding |
KR100477699B1 (ko) | 2003-01-15 | 2005-03-18 | 삼성전자주식회사 | 양자화 잡음 분포 조절 방법 및 장치 |
US7895036B2 (en) | 2003-02-21 | 2011-02-22 | Qnx Software Systems Co. | System for suppressing wind noise |
EP1604354A4 (en) | 2003-03-15 | 2008-04-02 | Mindspeed Tech Inc | VOICE INDEX CONTROLS FOR CELP LANGUAGE CODING |
GB2401744B (en) | 2003-05-14 | 2006-02-15 | Ultra Electronics Ltd | An adaptive control unit with feedback compensation |
JP4212591B2 (ja) | 2003-06-30 | 2009-01-21 | 富士通株式会社 | オーディオ符号化装置 |
US7245767B2 (en) | 2003-08-21 | 2007-07-17 | Hewlett-Packard Development Company, L.P. | Method and apparatus for object identification, classification or verification |
US7516067B2 (en) | 2003-08-25 | 2009-04-07 | Microsoft Corporation | Method and apparatus using harmonic-model-based front end for robust speech recognition |
CA2452945C (en) | 2003-09-23 | 2016-05-10 | Mcmaster University | Binaural adaptive hearing system |
US20050075866A1 (en) | 2003-10-06 | 2005-04-07 | Bernard Widrow | Speech enhancement in the presence of background noise |
US7461003B1 (en) | 2003-10-22 | 2008-12-02 | Tellabs Operations, Inc. | Methods and apparatus for improving the quality of speech signals |
AU2003274864A1 (en) | 2003-10-24 | 2005-05-11 | Nokia Corpration | Noise-dependent postfiltering |
US7672693B2 (en) | 2003-11-10 | 2010-03-02 | Nokia Corporation | Controlling method, secondary unit and radio terminal equipment |
US7725314B2 (en) | 2004-02-16 | 2010-05-25 | Microsoft Corporation | Method and apparatus for constructing a speech filter using estimates of clean speech and noise |
US8438026B2 (en) | 2004-02-18 | 2013-05-07 | Nuance Communications, Inc. | Method and system for generating training data for an automatic speech recognizer |
EP1580882B1 (en) | 2004-03-19 | 2007-01-10 | Harman Becker Automotive Systems GmbH | Audio enhancement system and method |
EP1743323B1 (en) | 2004-04-28 | 2013-07-10 | Koninklijke Philips Electronics N.V. | Adaptive beamformer, sidelobe canceller, handsfree speech communication device |
US8712768B2 (en) | 2004-05-25 | 2014-04-29 | Nokia Corporation | System and method for enhanced artificial bandwidth expansion |
US7254535B2 (en) | 2004-06-30 | 2007-08-07 | Motorola, Inc. | Method and apparatus for equalizing a speech signal generated within a pressurized air delivery system |
US20060089836A1 (en) | 2004-10-21 | 2006-04-27 | Motorola, Inc. | System and method of signal pre-conditioning with adaptive spectral tilt compensation for audio equalization |
US7469155B2 (en) | 2004-11-29 | 2008-12-23 | Cisco Technology, Inc. | Handheld communications device with automatic alert mode selection |
GB2422237A (en) | 2004-12-21 | 2006-07-19 | Fluency Voice Technology Ltd | Dynamic coefficients determined from temporally adjacent speech frames |
US8170221B2 (en) | 2005-03-21 | 2012-05-01 | Harman Becker Automotive Systems Gmbh | Audio enhancement system and method |
WO2006107837A1 (en) | 2005-04-01 | 2006-10-12 | Qualcomm Incorporated | Methods and apparatus for encoding and decoding an highband portion of a speech signal |
US7813931B2 (en) | 2005-04-20 | 2010-10-12 | QNX Software Systems, Co. | System for improving speech quality and intelligibility with bandwidth compression/expansion |
US8249861B2 (en) | 2005-04-20 | 2012-08-21 | Qnx Software Systems Limited | High frequency compression integration |
US8280730B2 (en) | 2005-05-25 | 2012-10-02 | Motorola Mobility Llc | Method and apparatus of increasing speech intelligibility in noisy environments |
US20070005351A1 (en) | 2005-06-30 | 2007-01-04 | Sathyendra Harsha M | Method and system for bandwidth expansion for voice communications |
KR101116363B1 (ko) | 2005-08-11 | 2012-03-09 | 삼성전자주식회사 | 음성신호 분류방법 및 장치, 및 이를 이용한 음성신호부호화방법 및 장치 |
CN101238511B (zh) | 2005-08-11 | 2011-09-07 | 旭化成株式会社 | 声源分离装置、音频识别装置、移动电话机、声源分离方法 |
US20070041589A1 (en) | 2005-08-17 | 2007-02-22 | Gennum Corporation | System and method for providing environmental specific noise reduction algorithms |
US8326614B2 (en) | 2005-09-02 | 2012-12-04 | Qnx Software Systems Limited | Speech enhancement system |
DK1760696T3 (en) | 2005-09-03 | 2016-05-02 | Gn Resound As | Method and apparatus for improved estimation of non-stationary noise to highlight speech |
US20070053522A1 (en) | 2005-09-08 | 2007-03-08 | Murray Daniel J | Method and apparatus for directional enhancement of speech elements in noisy environments |
US8139787B2 (en) | 2005-09-09 | 2012-03-20 | Simon Haykin | Method and device for binaural signal enhancement |
JP4742226B2 (ja) | 2005-09-28 | 2011-08-10 | 国立大学法人九州大学 | 能動消音制御装置及び方法 |
EP1772855B1 (en) | 2005-10-07 | 2013-09-18 | Nuance Communications, Inc. | Method for extending the spectral bandwidth of a speech signal |
US7813923B2 (en) | 2005-10-14 | 2010-10-12 | Microsoft Corporation | Calibration based beamforming, non-linear adaptive filtering, and multi-sensor headset |
EP1942583B1 (en) * | 2005-10-26 | 2016-10-12 | NEC Corporation | Echo suppressing method and device |
US7546237B2 (en) | 2005-12-23 | 2009-06-09 | Qnx Software Systems (Wavemakers), Inc. | Bandwidth extension of narrowband speech |
US8345890B2 (en) * | 2006-01-05 | 2013-01-01 | Audience, Inc. | System and method for utilizing inter-microphone level differences for speech enhancement |
US8032369B2 (en) | 2006-01-20 | 2011-10-04 | Qualcomm Incorporated | Arbitrary average data rates for variable rate coders |
US8744844B2 (en) | 2007-07-06 | 2014-06-03 | Audience, Inc. | System and method for adaptive intelligent noise suppression |
US8194880B2 (en) * | 2006-01-30 | 2012-06-05 | Audience, Inc. | System and method for utilizing omni-directional microphones for speech enhancement |
US9185487B2 (en) * | 2006-01-30 | 2015-11-10 | Audience, Inc. | System and method for providing noise suppression utilizing null processing noise subtraction |
US8271277B2 (en) | 2006-03-03 | 2012-09-18 | Nippon Telegraph And Telephone Corporation | Dereverberation apparatus, dereverberation method, dereverberation program, and recording medium |
EP1994788B1 (en) | 2006-03-10 | 2014-05-07 | MH Acoustics, LLC | Noise-reducing directional microphone array |
US8180067B2 (en) | 2006-04-28 | 2012-05-15 | Harman International Industries, Incorporated | System for selectively extracting components of an audio input signal |
US8204253B1 (en) | 2008-06-30 | 2012-06-19 | Audience, Inc. | Self calibration of audio device |
US20070299655A1 (en) | 2006-06-22 | 2007-12-27 | Nokia Corporation | Method, Apparatus and Computer Program Product for Providing Low Frequency Expansion of Speech |
ATE450987T1 (de) | 2006-06-23 | 2009-12-15 | Gn Resound As | Hörinstrument mit adaptiver richtsignalverarbeitung |
JP4836720B2 (ja) | 2006-09-07 | 2011-12-14 | 株式会社東芝 | ノイズサプレス装置 |
JP2010515290A (ja) | 2006-09-14 | 2010-05-06 | エルジー エレクトロニクス インコーポレイティド | ダイアログエンハンスメント技術のコントローラ及びユーザインタフェース |
DE102006051071B4 (de) | 2006-10-30 | 2010-12-16 | Siemens Audiologische Technik Gmbh | Pegelabhängige Geräuschreduktion |
ATE403928T1 (de) | 2006-12-14 | 2008-08-15 | Harman Becker Automotive Sys | Sprachdialogkontrolle basierend auf signalvorverarbeitung |
US7986794B2 (en) | 2007-01-11 | 2011-07-26 | Fortemedia, Inc. | Small array microphone apparatus and beam forming method thereof |
JP4882773B2 (ja) | 2007-02-05 | 2012-02-22 | ソニー株式会社 | 信号処理装置、信号処理方法 |
JP5401760B2 (ja) | 2007-02-05 | 2014-01-29 | ソニー株式会社 | ヘッドフォン装置、音声再生システム、音声再生方法 |
US8060363B2 (en) | 2007-02-13 | 2011-11-15 | Nokia Corporation | Audio signal encoding |
ES2391228T3 (es) | 2007-02-26 | 2012-11-22 | Dolby Laboratories Licensing Corporation | Realce de voz en audio de entretenimiento |
US20080208575A1 (en) | 2007-02-27 | 2008-08-28 | Nokia Corporation | Split-band encoding and decoding of an audio signal |
US7925502B2 (en) | 2007-03-01 | 2011-04-12 | Microsoft Corporation | Pitch model for noise estimation |
KR100905585B1 (ko) | 2007-03-02 | 2009-07-02 | 삼성전자주식회사 | 음성신호의 대역폭 확장 제어 방법 및 장치 |
EP1970900A1 (en) | 2007-03-14 | 2008-09-17 | Harman Becker Automotive Systems GmbH | Method and apparatus for providing a codebook for bandwidth extension of an acoustic signal |
CN101266797B (zh) | 2007-03-16 | 2011-06-01 | 展讯通信(上海)有限公司 | 语音信号后处理滤波方法 |
EP2130019B1 (en) | 2007-03-19 | 2013-01-02 | Dolby Laboratories Licensing Corporation | Speech enhancement employing a perceptual model |
US8005238B2 (en) | 2007-03-22 | 2011-08-23 | Microsoft Corporation | Robust adaptive beamforming with enhanced noise suppression |
US7873114B2 (en) | 2007-03-29 | 2011-01-18 | Motorola Mobility, Inc. | Method and apparatus for quickly detecting a presence of abrupt noise and updating a noise estimate |
US8180062B2 (en) | 2007-05-30 | 2012-05-15 | Nokia Corporation | Spatial sound zooming |
JP4455614B2 (ja) | 2007-06-13 | 2010-04-21 | 株式会社東芝 | 音響信号処理方法及び装置 |
US8428275B2 (en) | 2007-06-22 | 2013-04-23 | Sanyo Electric Co., Ltd. | Wind noise reduction device |
US8140331B2 (en) | 2007-07-06 | 2012-03-20 | Xia Lou | Feature extraction for identification and classification of audio signals |
US7817808B2 (en) | 2007-07-19 | 2010-10-19 | Alon Konchitsky | Dual adaptive structure for speech enhancement |
US7856353B2 (en) | 2007-08-07 | 2010-12-21 | Nuance Communications, Inc. | Method for processing speech signal data with reverberation filtering |
US20090043577A1 (en) | 2007-08-10 | 2009-02-12 | Ditech Networks, Inc. | Signal presence detection using bi-directional communication data |
ATE448649T1 (de) * | 2007-08-13 | 2009-11-15 | Harman Becker Automotive Sys | Rauschverringerung mittels kombination aus strahlformung und nachfilterung |
EP2191466B1 (en) | 2007-09-12 | 2013-05-22 | Dolby Laboratories Licensing Corporation | Speech enhancement with voice clarity |
US8538763B2 (en) | 2007-09-12 | 2013-09-17 | Dolby Laboratories Licensing Corporation | Speech enhancement with noise level estimation adjustment |
ATE477572T1 (de) | 2007-10-01 | 2010-08-15 | Harman Becker Automotive Sys | Effiziente audiosignalverarbeitung im subbandbereich, verfahren, vorrichtung und dazugehöriges computerprogramm |
CN101617245B (zh) | 2007-10-01 | 2012-10-10 | 松下电器产业株式会社 | 声源方向检测装置 |
US8107631B2 (en) | 2007-10-04 | 2012-01-31 | Creative Technology Ltd | Correlation-based method for ambience extraction from two-channel audio signals |
US20090095804A1 (en) | 2007-10-12 | 2009-04-16 | Sony Ericsson Mobile Communications Ab | Rfid for connected accessory identification and method |
US8046219B2 (en) | 2007-10-18 | 2011-10-25 | Motorola Mobility, Inc. | Robust two microphone noise suppression system |
WO2009051197A1 (ja) * | 2007-10-19 | 2009-04-23 | Nec Corporation | エコー抑圧方法及び装置 |
US8606566B2 (en) | 2007-10-24 | 2013-12-10 | Qnx Software Systems Limited | Speech enhancement through partial speech reconstruction |
DE602007004504D1 (de) | 2007-10-29 | 2010-03-11 | Harman Becker Automotive Sys | Partielle Sprachrekonstruktion |
EP2058804B1 (en) | 2007-10-31 | 2016-12-14 | Nuance Communications, Inc. | Method for dereverberation of an acoustic signal and system thereof |
DE602007014382D1 (de) | 2007-11-12 | 2011-06-16 | Harman Becker Automotive Sys | Unterscheidung zwischen Vordergrundsprache und Hintergrundgeräuschen |
KR101444100B1 (ko) | 2007-11-15 | 2014-09-26 | 삼성전자주식회사 | 혼합 사운드로부터 잡음을 제거하는 방법 및 장치 |
US20090150144A1 (en) | 2007-12-10 | 2009-06-11 | Qnx Software Systems (Wavemakers), Inc. | Robust voice detector for receive-side automatic gain control |
US8175291B2 (en) | 2007-12-19 | 2012-05-08 | Qualcomm Incorporated | Systems, methods, and apparatus for multi-microphone based speech enhancement |
WO2009082302A1 (en) | 2007-12-20 | 2009-07-02 | Telefonaktiebolaget L M Ericsson (Publ) | Noise suppression method and apparatus |
US8554551B2 (en) * | 2008-01-28 | 2013-10-08 | Qualcomm Incorporated | Systems, methods, and apparatus for context replacement by audio level |
US8223988B2 (en) | 2008-01-29 | 2012-07-17 | Qualcomm Incorporated | Enhanced blind source separation algorithm for highly correlated mixtures |
US8194882B2 (en) | 2008-02-29 | 2012-06-05 | Audience, Inc. | System and method for providing single microphone noise suppression fallback |
US8355511B2 (en) | 2008-03-18 | 2013-01-15 | Audience, Inc. | System and method for envelope-based acoustic echo cancellation |
US8374854B2 (en) | 2008-03-28 | 2013-02-12 | Southern Methodist University | Spatio-temporal speech enhancement technique based on generalized eigenvalue decomposition |
US9197181B2 (en) | 2008-05-12 | 2015-11-24 | Broadcom Corporation | Loudness enhancement system and method |
US8831936B2 (en) | 2008-05-29 | 2014-09-09 | Qualcomm Incorporated | Systems, methods, apparatus, and computer program products for speech signal processing using spectral contrast enhancement |
US20090315708A1 (en) | 2008-06-19 | 2009-12-24 | John Walley | Method and system for limiting audio output in audio headsets |
US9253568B2 (en) | 2008-07-25 | 2016-02-02 | Broadcom Corporation | Single-microphone wind noise suppression |
ES2678415T3 (es) | 2008-08-05 | 2018-08-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato y procedimiento para procesamiento y señal de audio para mejora de habla mediante el uso de una extracción de característica |
EP2670165B1 (en) | 2008-08-29 | 2016-10-05 | Biamp Systems Corporation | A microphone array system and method for sound acquistion |
US8392181B2 (en) | 2008-09-10 | 2013-03-05 | Texas Instruments Incorporated | Subtraction of a shaped component of a noise reduction spectrum from a combined signal |
DK2164066T3 (da) | 2008-09-15 | 2016-06-13 | Oticon As | Støjspektrumsporing i støjende akustiske signaler |
ATE552690T1 (de) | 2008-09-19 | 2012-04-15 | Dolby Lab Licensing Corp | Upstream-signalverarbeitung für client- einrichtungen in einem drahtlosen kleinzellen- netz |
US8583048B2 (en) | 2008-09-25 | 2013-11-12 | Skyphy Networks Limited | Multi-hop wireless systems having noise reduction and bandwidth expansion capabilities and the methods of the same |
US20100082339A1 (en) | 2008-09-30 | 2010-04-01 | Alon Konchitsky | Wind Noise Reduction |
US20100094622A1 (en) | 2008-10-10 | 2010-04-15 | Nexidia Inc. | Feature normalization for speech and audio processing |
US8218397B2 (en) | 2008-10-24 | 2012-07-10 | Qualcomm Incorporated | Audio source proximity estimation using sensor array for noise reduction |
US8724829B2 (en) | 2008-10-24 | 2014-05-13 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for coherence detection |
US8111843B2 (en) | 2008-11-11 | 2012-02-07 | Motorola Solutions, Inc. | Compensation for nonuniform delayed group communications |
US8243952B2 (en) | 2008-12-22 | 2012-08-14 | Conexant Systems, Inc. | Microphone array calibration method and apparatus |
DK2211339T3 (en) | 2009-01-23 | 2017-08-28 | Oticon As | listening System |
JP4892021B2 (ja) | 2009-02-26 | 2012-03-07 | 株式会社東芝 | 信号帯域拡張装置 |
US8359195B2 (en) | 2009-03-26 | 2013-01-22 | LI Creative Technologies, Inc. | Method and apparatus for processing audio and speech signals |
US8184822B2 (en) | 2009-04-28 | 2012-05-22 | Bose Corporation | ANR signal processing topology |
US8144890B2 (en) | 2009-04-28 | 2012-03-27 | Bose Corporation | ANR settings boot loading |
US8611553B2 (en) | 2010-03-30 | 2013-12-17 | Bose Corporation | ANR instability detection |
US8071869B2 (en) | 2009-05-06 | 2011-12-06 | Gracenote, Inc. | Apparatus and method for determining a prominent tempo of an audio work |
US8160265B2 (en) | 2009-05-18 | 2012-04-17 | Sony Computer Entertainment Inc. | Method and apparatus for enhancing the generation of three-dimensional sound in headphone devices |
US8737636B2 (en) | 2009-07-10 | 2014-05-27 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for adaptive active noise cancellation |
US7769187B1 (en) | 2009-07-14 | 2010-08-03 | Apple Inc. | Communications circuits for electronic devices and accessories |
US8571231B2 (en) | 2009-10-01 | 2013-10-29 | Qualcomm Incorporated | Suppressing noise in an audio signal |
US20110099010A1 (en) | 2009-10-22 | 2011-04-28 | Broadcom Corporation | Multi-channel noise suppression system |
US8244927B2 (en) | 2009-10-27 | 2012-08-14 | Fairchild Semiconductor Corporation | Method of detecting accessories on an audio jack |
US8526628B1 (en) | 2009-12-14 | 2013-09-03 | Audience, Inc. | Low latency active noise cancellation system |
US8848935B1 (en) | 2009-12-14 | 2014-09-30 | Audience, Inc. | Low latency active noise cancellation system |
US8385559B2 (en) | 2009-12-30 | 2013-02-26 | Robert Bosch Gmbh | Adaptive digital noise canceller |
US9008329B1 (en) | 2010-01-26 | 2015-04-14 | Audience, Inc. | Noise reduction using multi-feature cluster tracker |
US8700391B1 (en) | 2010-04-01 | 2014-04-15 | Audience, Inc. | Low complexity bandwidth expansion of speech |
TWI562137B (en) | 2010-04-09 | 2016-12-11 | Dts Inc | Adaptive environmental noise compensation for audio playback |
US8538035B2 (en) | 2010-04-29 | 2013-09-17 | Audience, Inc. | Multi-microphone robust noise suppression |
US8958572B1 (en) | 2010-04-19 | 2015-02-17 | Audience, Inc. | Adaptive noise cancellation for multi-microphone systems |
US8473287B2 (en) | 2010-04-19 | 2013-06-25 | Audience, Inc. | Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system |
US8606571B1 (en) | 2010-04-19 | 2013-12-10 | Audience, Inc. | Spatial selectivity noise reduction tradeoff for multi-microphone systems |
US8781137B1 (en) | 2010-04-27 | 2014-07-15 | Audience, Inc. | Wind noise detection and suppression |
US8447595B2 (en) | 2010-06-03 | 2013-05-21 | Apple Inc. | Echo-related decisions on automatic gain control of uplink speech signal in a communications device |
US8515089B2 (en) | 2010-06-04 | 2013-08-20 | Apple Inc. | Active noise cancellation decisions in a portable audio device |
US8447596B2 (en) | 2010-07-12 | 2013-05-21 | Audience, Inc. | Monaural noise suppression based on computational auditory scene analysis |
US8719475B2 (en) | 2010-07-13 | 2014-05-06 | Broadcom Corporation | Method and system for utilizing low power superspeed inter-chip (LP-SSIC) communications |
US8761410B1 (en) | 2010-08-12 | 2014-06-24 | Audience, Inc. | Systems and methods for multi-channel dereverberation |
US8611552B1 (en) | 2010-08-25 | 2013-12-17 | Audience, Inc. | Direction-aware active noise cancellation system |
US8447045B1 (en) | 2010-09-07 | 2013-05-21 | Audience, Inc. | Multi-microphone active noise cancellation system |
US9049532B2 (en) | 2010-10-19 | 2015-06-02 | Electronics And Telecommunications Research Instittute | Apparatus and method for separating sound source |
US8682006B1 (en) | 2010-10-20 | 2014-03-25 | Audience, Inc. | Noise suppression based on null coherence |
US8311817B2 (en) | 2010-11-04 | 2012-11-13 | Audience, Inc. | Systems and methods for enhancing voice quality in mobile device |
CN102486920A (zh) | 2010-12-06 | 2012-06-06 | 索尼公司 | 音频事件检测方法和装置 |
US9229833B2 (en) | 2011-01-28 | 2016-01-05 | Fairchild Semiconductor Corporation | Successive approximation resistor detection |
JP5817366B2 (ja) | 2011-09-12 | 2015-11-18 | 沖電気工業株式会社 | 音声信号処理装置、方法及びプログラム |
-
2010
- 2010-07-08 US US12/832,920 patent/US8538035B2/en not_active Expired - Fee Related
-
2011
- 2011-04-28 KR KR1020127027868A patent/KR20130108063A/ko not_active IP Right Cessation
- 2011-04-28 JP JP2013508256A patent/JP2013527493A/ja active Pending
- 2011-04-28 WO PCT/US2011/034373 patent/WO2011137258A1/en active Application Filing
- 2011-04-29 TW TW100115214A patent/TWI466107B/zh not_active IP Right Cessation
-
2013
- 2013-08-05 US US13/959,457 patent/US9438992B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9502048B2 (en) | 2010-04-19 | 2016-11-22 | Knowles Electronics, Llc | Adaptively reducing noise to limit speech distortion |
US10045140B2 (en) | 2015-01-07 | 2018-08-07 | Knowles Electronics, Llc | Utilizing digital microphones for low power keyword detection and noise suppression |
KR20190090578A (ko) * | 2018-01-25 | 2019-08-02 | 서강대학교산학협력단 | 분산도 마스크를 이용한 음원 국지화 방법 및 음원 국지화 장치 |
Also Published As
Publication number | Publication date |
---|---|
TW201205560A (en) | 2012-02-01 |
US20120027218A1 (en) | 2012-02-02 |
TWI466107B (zh) | 2014-12-21 |
US9438992B2 (en) | 2016-09-06 |
WO2011137258A1 (en) | 2011-11-03 |
JP2013527493A (ja) | 2013-06-27 |
US8538035B2 (en) | 2013-09-17 |
US20130322643A1 (en) | 2013-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI466107B (zh) | 多麥克風之穩固雜訊抑制 | |
US9343056B1 (en) | Wind noise detection and suppression | |
US9558755B1 (en) | Noise suppression assisted automatic speech recognition | |
US8447596B2 (en) | Monaural noise suppression based on computational auditory scene analysis | |
Jeub et al. | Noise reduction for dual-microphone mobile phones exploiting power level differences | |
US9502048B2 (en) | Adaptively reducing noise to limit speech distortion | |
JP5762956B2 (ja) | ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法 | |
US8718290B2 (en) | Adaptive noise reduction using level cues | |
US8880396B1 (en) | Spectrum reconstruction for automatic speech recognition | |
US8682006B1 (en) | Noise suppression based on null coherence | |
US8521530B1 (en) | System and method for enhancing a monaural audio signal | |
US8712069B1 (en) | Selection of system parameters based on non-acoustic sensor information | |
US20160066087A1 (en) | Joint noise suppression and acoustic echo cancellation | |
US9343073B1 (en) | Robust noise suppression system in adverse echo conditions | |
US9699554B1 (en) | Adaptive signal equalization | |
US8761410B1 (en) | Systems and methods for multi-channel dereverberation | |
US9378754B1 (en) | Adaptive spatial classifier for multi-microphone systems | |
US10937418B1 (en) | Echo cancellation by acoustic playback estimation | |
Zhang et al. | Speech enhancement using improved adaptive null-forming in frequency domain with postfilter | |
Hegner et al. | A high performance low complexity noise suppression algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
SUBM | Surrender of laid-open application requested |