KR20110099269A - 다중의 오디오 신호를 사용하여 주변 잡음을 억제하는 방법 및 장치 - Google Patents

다중의 오디오 신호를 사용하여 주변 잡음을 억제하는 방법 및 장치 Download PDF

Info

Publication number
KR20110099269A
KR20110099269A KR1020117014669A KR20117014669A KR20110099269A KR 20110099269 A KR20110099269 A KR 20110099269A KR 1020117014669 A KR1020117014669 A KR 1020117014669A KR 20117014669 A KR20117014669 A KR 20117014669A KR 20110099269 A KR20110099269 A KR 20110099269A
Authority
KR
South Korea
Prior art keywords
reference signal
noise reference
noise
desired audio
refined
Prior art date
Application number
KR1020117014669A
Other languages
English (en)
Other versions
KR101183847B1 (ko
Inventor
디네쉬 라마크리쉬난
송 왕
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20110099269A publication Critical patent/KR20110099269A/ko
Application granted granted Critical
Publication of KR101183847B1 publication Critical patent/KR101183847B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/07—Mechanical or electrical reduction of wind noise generated by wind passing a microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

다중의 오디오 신호를 사용하여 주변 잡음을 억제하는 방법은, 적어도 2개의 전기-음향 변환기에 의해 캡처된 적어도 2개의 오디오 신호를 제공하는 단계를 포함할 수도 있다. 적어도 2개의 오디오 신호는 원하는 오디오 및 주변 잡음을 포함할 수도 있다. 이 방법은 또한, 잡음 레퍼런스 신호로부터 분리되는 원하는 오디오 레퍼런스 신호를 획득하기 위해 적어도 2개의 오디오 신호에 대해 빔포밍을 수행하는 단계를 포함할 수도 있다.

Description

다중의 오디오 신호를 사용하여 주변 잡음을 억제하는 방법 및 장치{METHODS AND APPARATUS FOR SUPPRESSING AMBIENT NOISE USING MULTIPLE AUDIO SIGNALS}
관련 출원들
본 출원은 참조로 여기에 포함되는, 발명자들 Dinesh Ramakrishnan 및 Song Wang 에 의한 "Wind Gush Detection Using Multiple Microphones" 에 대한 2008년 3월 18일 출원된 미국 가출원 번호 제 61/037,453 호에 관한 것이고 그로부터의 우선권을 주장한다.
본 개시물은 일반적으로 신호 프로세싱에 관한 것이다. 더욱 구체적으로는, 본 개시물은 마이크로폰과 같은 전기-변환기를 사용하여 기록된 다중의 오디오 신호를 사용하여 주변 잡음 (ambient noise) 을 억제하는 것에 관한 것이다.
통신 기술들이 많은 영역에서 계속 진보하고 있다. 이들 기술이 진보할 수록, 사용자는 그들이 서로 통신할 수도 있는 방식에서 더 많은 플렉시빌리티를 갖는다. 전화 콜에 있어서, 사용자는 직접 양방향 콜 또는 컨퍼런스 콜 (conference call) 에 참여할 수도 있다. 또한, 핸즈프리 동작을 가능하게 하기 위해 헤드셋 또는 스피커폰이 사용될 수도 있다. 콜은 표준 전화, 셀룰러 전화, 컴퓨팅 디바이스 등을 사용하여 발생할 수도 있다.
통신 기술들을 진보시킴으로써 인에이블된 이러한 증가된 플렉시빌리티는 또한, 사용자가 다수의 상이한 종류의 환경으로부터 콜하는 것을 가능하게 한다. 몇몇 환경에서, 콜에 영향을 미칠 수 있는 다양한 조건이 발생할 수도 있다. 하나의 조건이 주변 잡음이다.
주변 잡음은 송신된 오디오 품질을 저하시킬 수도 있다. 특히, 송신된 스피치 품질을 저하시킬 수도 있다. 따라서, 주변 잡음을 억제하는 개선된 방법 및 장치를 제공함으로써 이점이 실현될 수도 있다.
도 1 은 무선 통신 디바이스의 예시이고, 음성 오디오 및 주변 잡음이 무선 통신 디바이스에 의해 어떻게 수신될 수도 있는지를 나타내는 예이다.
도 2a 는 주변 잡음 억제를 포함하는 시스템의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 2b 는 주변 잡음 억제를 포함하는 시스템의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 3a 는 빔포머 (beamformer) 의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 3b 는 빔포머의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 3c 는 빔포머의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 4a 는 잡음 레퍼런스 리파이너 (noise reference refiner) 의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 4b 는 잡음 레퍼런스 리파이너의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 5a 는 주변 잡음 억제를 포함하는 시스템의 하나의 가능한 구성의 몇몇 양태들을 예시하는 더욱 상세한 블록도이다.
도 5b 는 주변 잡음 억제를 포함하는 다른 가능한 구성의 몇몇 양태들을 예시하는 더욱 상세한 블록도이다.
도 5c 는 주변 잡음 억제를 포함하는 시스템의 대안의 구성을 예시한다.
도 5d 는 주변 잡음 억제를 포함하는 시스템의 다른 대안의 구성을 예시한다.
도 6a 는 주변 잡음을 억제하는 방법의 일 방법을 예시하는 흐름도이다.
도 6b 는 도 6a 에 도시된 방법에 대응하는 수단 플러스 기능 블록들을 예시하는 흐름도이다.
도 7a 는 주변 잡음 억제를 포함하는 시스템의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 7b 는 주변 잡음 억제를 포함하는 시스템의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 7c 는 주변 잡음 억제를 포함하는 시스템의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 8a 는 교정기 (calibrator) 의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 8b 는 교정기의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 8c 는 교정기의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 9a 는 잡음 레퍼런스 교정기의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 9b 는 잡음 레퍼런스 교정기의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 9c 는 잡음 레퍼런스 교정기의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 10 은 빔포머의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 11 은 사후-프로세싱 블록의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다.
도 12 는 주변 잡음을 억제하는 방법을 예시하는 흐름도이다.
도 12a 는 도 12 의 방법에 대응하는 수단 플러스 기능 블록들을 예시한다.
도 13 은 여기에 설명된 방법들을 구현하기 위해 사용될 수도 있는 통신 디바이스에서 활용될 수도 있는 다양한 컴포넌트들을 예시하는 블록도이다.
다중의 오디오 신호를 사용하여 주변 잡음을 억제하는 방법이 개시된다. 이 방법은 적어도 2개의 전기-음향 변환기 (electro-acoustic transducer) 에 의해 적어도 2개의 오디오 신호를 제공하는 단계를 포함할 수도 있다. 적어도 2개의 오디오 신호는 원하는 오디오 신호 및 주변 잡음을 포함할 수도 있다. 이 방법은 또한, 잡음 레퍼런스 신호로부터 분리되는 원하는 오디오 레퍼런스 신호를 획득하기 위해 적어도 2개의 오디오 신호에 대해 빔포밍 (beamforming) 을 수행하는 단계를 포함할 수도 있다. 이 방법은 또한, 잡은 레퍼런스 신호로부터 나머지 원하는 오디오를 제거함으로써 잡음 레퍼런스 신호를 리파이닝 (refine) 하여, 리파이닝된 잡음 레퍼런스 신호를 획득하는 단계를 포함할 수도 있다.
다중의 오디오 신호를 사용하여 주변 잡음을 억제하는 장치가 개시된다. 이 장치는 원하는 오디오 및 주변 잡음을 포함하는 적어도 2개의 오디오 신호를 제공하는 적어도 2개의 전기-음향 변환기를 포함할 수도 있다. 이 장치는 또한, 잡음 레퍼런스 신호로부터 분리되는 원하는 오디오 레퍼런스 신호를 획득하기 위해 적어도 2개의 오디오 신호에 대해 빔포밍을 수행하는 빔포머를 포함할 수도 있다. 이 장치는 또한, 잡음 레퍼런스 신호로부터 나머지 원하는 오디오를 제거함으로써 잡음 레퍼런스 신호를 리파이닝하여, 리파이닝된 잡음 레퍼런스 신호를 획득하는 잡음 레퍼런스 리파이너를 포함할 수도 있다.
다중의 오디오 신호를 사용하여 주변 잡음을 억제하는 장치가 개시된다. 이 장치는 적어도 2 개의 전기-음향 변환기에 의해 적어도 2개의 오디오 신호를 제공하는 수단을 포함할 수도 있다. 적어도 2개의 오디오 신호는 원하는 오디오 및 주변 잡음을 포함한다. 이 장치는 또한, 잡음 레퍼런스 신호로부터 분리되는 원하는 오디오 레퍼런스 신호를 획득하기 위해 적어도 2개의 오디오 신호에 대해 빔포밍을 수행하는 수단을 포함할 수도 있다. 이 장치는, 잡음 레퍼런스 신호로부터 나머지 원하는 오디오를 제거함으로써 잡음 레퍼런스 신호를 리파이닝하여, 리파이닝된 잡음 레퍼런스 신호를 획득하는 수단을 더 포함한다.
다중의 오디오 신호를 사용하여 주변 잡음을 억제하는 컴퓨터-프로그램 제품이 개시된다. 이 컴퓨터-프로그램 제품은 명령들을 갖는 컴퓨터 판독가능한 매체를 포함할 수도 있다. 이 명령들은 적어도 2개의 전기-음향 변환기에 의해 적어도 2개의 오디오 신호를 제공하는 코드를 포함할 수도 있다. 적어도 2개의 오디오 신호는 원하는 오디오 및 주변 잡음을 포함할 수도 있다. 이 명령들은 또한, 잡음 레퍼런스 신호로부터 분리되는 원하는 오디오 레퍼런스 신호를 획득하기 위해 적어도 2개의 오디오 신호에 대해 빔포밍을 수행하는 코드를 포함할 수도 있다. 이 명령들은 또한, 잡음 레퍼런스 신호로부터 나머지 원하는 오디오를 제거함으로써 잡음 레퍼런스 신호를 리파이닝하여, 리파이닝된 잡음 레퍼런스 신호를 획득하는 코드를 포함할 수도 있다.
모바일 통신 디바이스들이, 잡음이 있는 시나리오에서 송신 음성 품질을 개선하기 위해 다중의 마이크로폰을 더욱 더 이용한다. 다중의 마이크로폰은 원하는 음성과 배경 잡음 사이를 구별하는 능력을 제공할 수도 있어서, 오디오 신호에서 배경 잡음을 억제함으로써 음성 품질의 개선을 도울 수도 있다. 잡음으로부터 음성의 구별은, 마이크로폰이 디바이스의 동일측상에서 서로 근접하게 배치되는 경우에 특히 어려울 수도 있다. 이들 시나리오에서 잡음으로서 원하는 음성을 분리하는 방법 및 장치가 제공된다.
음성 품질은 모바일 통신 시스템에서 주요 관심사이다. 음성 품질은 모바일 통신 디바이스의 사용 동안 주변 잡음의 존재에 의해 매우 영향을 받는다. 잡음이 있는 시나리오 동안 음성 품질을 개선하는 하나의 솔루션은, 주변 잡음으로부터 원하는 음성을 분리하기 위해 모바일 디바이스에 다중의 마이크로폰을 장착하고, 고성능의 신호 프로세싱 기술을 사용하는 일 수도 있다. 특히, 모바일 디바이스는 배경 잡음을 억제하는 음성 품질을 개선하기 위해 2개의 마이크로폰을 이용할 수도 있다. 2개의 마이크로폰은 종종, 상대적으로 멀리 떨어져 배치될 수도 있다. 예를 들어, 음향 수신의 전달을 활용하고 원하는 음성과 배경 잡음의 더 양호한 구별을 제공하기 위해, 하나의 마이크로폰이 디바이스의 전면측상에 배치될 수도 있고, 다른 마이크로폰은 디바이스의 이면측상에 배치될 수도 있다. 그러나, 제조성 (manufacturability) 및 소비자 사용의 용이함을 위해, 2개의 마이크로폰을 디바이스의 동일측상에 서로에 근접하게 배치하는 것이 유익할 수도 있다. 다수의 일반적으로 이용가능한 신호 프로세싱 솔루션은 이러한 밀집 배치된 마이크로폰 구성을 핸들링할 수 없고, 원하는 음성과 주변 잡음의 양호한 구별을 제공하지 못한다. 따라서, 다중의 마이크로폰을 이용하는 모바일 통신 디바이스의 음성 품질을 개선하는 새로운 방법 및 장치가 개시된다. 제안된 접근방식은 다양한 밀집 배치된 마이크로폰 구성 (통상적으로 5cm 미만) 에 적용가능할 수도 있다. 그러나, 마이크로폰 간격의 임의의 특정한 값에 제한되지 않는다.
모바일 디바이스상의 2개의 밀집 배치된 마이크로폰이 송신된 음성의 품질을 개선하기 위해 활용될 수도 있다. 특히, 빔포밍 기술이 주변 잡음으로부터 원하는 오디오 (예를 들어, 스피치) 를 구별하고, 주변 잡음을 억제함으로써 오디오 품질을 개선하기 위해 사용될 수도 있다. 빔포밍은 원하는 스피커를 향해 빔을 형성함으로써 주변 잡음으로부터 원하는 오디오를 분리할 수도 있다. 또한, 원하는 오디오의 방향에서 널 빔 (null beam) 을 형성함으로써 원하는 오디오로부터 주변 잡음을 분리할 수도 있다. 빔포머 출력은 오디오 출력의 품질을 더 개선하기 위해 사후-프로세싱될 수도 있거나 사후-프로세싱되지 않을 수도 있다.
도 1 은 무선 통신 디바이스 (102) 의 예시이고, 원하는 오디오 (예를 들어, 스피치 (106)) 및 주변 잡음 (108) 이 무선 통신 디바이스 (102) 에 의해 어떻게 수신될 수도 있는지를 나타내는 예이다. 무선 통신 디바이스 (102) 는 주변 잡음 (108) 을 포함할 수도 있는 환경에서 사용될 수도 있다. 따라서, 스피치 (106) 에 부가하여 주변 잡음 (108) 이 무선 통신 디바이스 (102) 에 하우징될 수도 있는 마이크로폰 (110a, 110b) 에 의해 수신될 수도 있다. 주변 잡음 (108) 은 무선 통신 디바이스 (102) 에 의해 송신될 때 스피치 (106) 의 품질을 저하시킬 수도 있다. 따라서, 스피치 (106) 로부터 주변 잡음 (108) 을 분리하고 억제할 수 있는 방법 및 장치를 통해 이점들이 실현될 수 있다. 이러한 예가 제공되지만, 여기에 개시된 방법 및 장치는 임의의 수의 구성에서 활용될 수 있다. 예를 들어, 여기에 개시된 방법 및 장치는 모바일 폰, "지상선" 폰, 유선 헤드셋, 무선 헤드셋 (예를 들어, Bluetooth®), 보청기, 오디오/비디오 레코딩 디바이스, 및 오디오를 수신하는 변환기/마이크로폰을 활용하는 가상의 임의의 다른 디바이스에서 사용하기 위해 구성될 수도 있다.
도 2a 는 주변 잡음 억제를 포함하는 시스템 (200a) 의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 이 시스템 (200a) 은 빔포머 (214) 및/또는 잡음 레퍼런스 리파이너 (220a) 를 포함할 수도 있다. 이 시스템 (200a) 은 디지털 오디오 신호 (212a, 212b) 를 수신하도록 구성될 수도 있다. 디지털 오디오 신호 (212a, 212b) 는 매칭 또는 유사 에너지 레벨을 가질 수도 있거나 갖지 않을 수도 있다. 디지털 오디오 신호 (212a, 212b) 는 2개의 오디오 소스 (예를 들어, 도 1 에 도시된 디바이스 (102) 에서의 마이크로폰 (110a, 110b)) 로부터의 신호일 수도 있다.
디지털 오디오 신호 (212a, 212b) 는 매칭 또는 유사 신호 특징을 가질 수도 있다. 예를 들어, 신호 (212a, 212b) 모두는 원하는 오디오 신호 (예를 들어, 스피치 (106)) 를 포함할 수도 있다. 디지털 오디오 신호 (212a, 212b) 는 또한 주변 잡음 (108) 을 포함할 수도 있다.
디지털 오디오 신호 (212a, 212b) 는 빔포머 (214) 에 의해 수신될 수도 있다. 디지털 오디오 신호 중 하나 (212a) 는 또한, 잡음 레퍼런스 리파이너 (220a) 로 라우팅될 수도 있다. 빔포머 (214) 는 원하는 오디오 레퍼런스 신호 (216) (예를 들어, 음성/스피치 레퍼런스 신호) 를 생성할 수도 있다. 빔포머 (214) 는 잡음 레퍼런스 신호 (218) 를 생성할 수도 있다. 잡음 레퍼런스 신호 (218) 는 나머지 원하는 오디오를 포함할 수도 있다. 잡음 레퍼런스 리파이너 (220a) 는 리파이닝된 잡음 레퍼런스 신호 (222a) 를 생성하기 위해 잡음 레퍼런스 신호 (218) 로부터 나머지 원하는 오디오를 감소시킬 수도 있거나 효율적으로 제거할 수도 있다. 잡음 레퍼런스 리파이너 (220a) 는 리파이닝된 잡음 레퍼런스 신호 (222a) 를 생성하기 위해 디지털 오디오 신호 중 하나 (212a) 를 이용할 수도 있다. 원하는 오디오 레퍼런스 신호 (216) 및 리파이닝된 잡음 레퍼런스 신호 (222a) 는 원하는 오디오 출력을 개선하기 위해 이용될 수도 있다. 예를 들어, 리파이닝된 잡음 레퍼런스 신호 (222a) 는 원하는 오디오에서 잡음을 감소시키기 위해 원하는 오디오 레퍼런스 신호 (216) 로부터 필터링되고 감산될 수도 있다. 리파이닝된 잡음 레퍼런스 신호 (222a) 및 원하는 오디오 레퍼런스 신호 (216) 는 또한 원하는 오디오에서 잡음을 감소시키기 위해 더 프로세싱될 수도 있다.
도 2b 는 주변 잡음 억제를 포함하는 시스템 (200b) 의 다른 가능한 구성의 몇몇 양태들을 예시하는 다른 블록도이다. 이 시스템 (200b) 은 디지털 오디오 신호 (212a, 212b), 빔포머 (214), 원하는 오디오 레퍼런스 신호 (216), 잡음 레퍼런스 신호 (218), 잡음 레퍼런스 리파이너 (220b), 및 리파이닝된 잡음 레퍼런스 신호 (222b) 를 포함할 수도 있다. 잡음 레퍼런스 신호 (218) 가 나머지 원하는 오디오를 포함할 수도 있기 때문에, 잡음 레퍼런스 리파이너 (220b) 는 잡음 레퍼런스 신호 (218) 로부터 나머지 원하는 오디오를 감시키거나 효율적으로 제거할 수도 있다. 잡음 레퍼런스 리파이너 (220b) 는 리파이닝된 잡음 레퍼런스 신호 (222b) 를 생성하기 위해 잡음 레퍼런스 신호 (218) 에 부가하여 디지털 오디오 신호 (212a, 212b) 모두를 이용할 수도 있다. 리파이닝된 잡음 레퍼런스 신호 (222b) 및 원하는 오디오 레퍼런스 신호 (216) 는 원하는 오디오를 개선하기 위해 이용될 수도 있다.
도 3a 는 빔포머 (314a) 의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 빔포머 (314a) 의 주목적은 디지털 오디오 신호 (312a, 312b) 를 프로세싱하고, 원하는 오디오 레퍼런스 신호 (316a) 및 잡음 레퍼런스 신호 (318a) 를 생성하는 것일 수도 있다. 잡음 레퍼런스 신호 (318a) 는 원하는 오디오 소스 (예를 들어, 사용자) 를 향해 널 빔을 형성하고, 디지털 오디오 신호 (312a, 312b) 로부터 원하는 오디오 (예를 들어, 스피치 (106)) 를 억제함으로써 생성될 수도 있다. 원하는 오디오 레퍼런스 신호 (316a) 는 원하는 오디오 소스를 향해 빔을 형성하고, 다른 방향으로부터 오는 주변 잡음 (108) 을 억제함으로써 생성될 수도 있다. 빔포밍 프로세스는 고정형 빔포밍 및/또는 적응형 빔포밍을 통해 수행될 수도 있다. 도 3a 는 고정형 빔포밍 접근방식을 이용하는 구성 (300a) 을 예시한다.
빔포머 (314a) 는 디지털 오디오 신호 (312a, 312b) 를 수신하도록 구성될 수도 있다. 디지털 오디오 신호 (312a, 312b) 는, 그들의 에너지 레벨이 매칭되거나 유사하도록 교정되거나 교정되지 않을 수도 있다. 디지털 오디오 신호 (312a, 312b) 는 각각
Figure pct00001
및
Figure pct00002
으로 지정될 수도 있고, 여기서, n 은 디지털 오디오 샘플 수이다. 고정형 빔포밍의 단순한 형태를 "브로드사이드 (broadside)" 빔포밍이라 칭할 수도 있다. 원하는 오디오 레퍼런스 신호 (316a) 는
Figure pct00003
으로 지정될 수도 있다. 고정형 "브로드사이드" 빔포밍에 대해, 원하는 오디오 레퍼런스 신호 (316a) 는 식 (1) :
Figure pct00004
에 의해 제공될 수도 있다.
잡음 레퍼런스 신호 (318a) 는
Figure pct00005
로 지정될 수도 있다. 잡음 레퍼런스 신호 (318a) 는 식 (2) :
Figure pct00006
에 의해 제공될 수도 있다.
브로드사이드 빔포밍에 따르면, 원하는 오디오 소스가 2개의 마이크로폰 (예를 들어, 마이크로폰 110a, 110b)) 에 대해 등거리이다는 것이 가정된다. 원하는 오디오 소스가 다른 마이크로폰 보다 하나의 마이크로폰에 더 근접하면, 하나의 마이크로폰에 의해 캡처된 원하는 오디오 신호는 다른 마이크로폰에 의해 캡처된 원하는 오디오 신호에 비교하여 시간 지연을 받을 것이다. 이러한 경우에서, 고정형 빔포머의 성능은 2개의 마이크로폰 신호 사이의 시간 지연차를 보상함으로써 개선될 수 있다. 따라서, 빔포머 (314a) 는 지연 보상 필터 (324) 를 포함할 수도 있다. 원하는 오디오 레퍼런스 신호 (316a) 및 잡음 레퍼런스 신호 (318a) 는 각각 식 (3) 및 (4) :
Figure pct00007
에서 표현될 수도 있다.
여기서,
Figure pct00008
는 2개의 마이크로폰에 의해 캡처된 디지털 오디오 신호 (312a, 312b) 사이의 시간 지연을 나타낼 수도 있고, 포지티브 또는 네거티브 값들을 취할 수도 있다. 2개의 마이크로폰 신호들 사이의 시간 지연차는 당업계에 공지되어 있는 시간 지연 계산의 임의의 방법을 사용하여 계산될 수도 있다. 시간 지연 추정 방법의 정확도는 원하는 오디오 활성 주기 동안에만 시간 지연 추정치를 계산함으로써 개선될 수도 있다.
시간 지연 (
Figure pct00009
) 은 또한, 마이크로폰이 매우 밀집하게 배치되는 경우 (예를 들어, 4cm 미만), 분수값을 취할 수도 있다. 이러한 경우에서, 분수 시간 지연 추정 기술이
Figure pct00010
를 계산하기 위해 사용될 수도 있다. 분수 시간 지연 보상이 싱크 (sinc) 필터링 방법을 사용하여 수행될 수도 있다. 이러한 방법에서, 교정된 마이크로폰 신호는 식 (5) 에 나타낸 바와 같이 분수 시간 지연 보상을 수행하기 위해 지연된 싱크 신호와 컨볼빙된다.
Figure pct00011
분수 시간 지연을 계산하는 단순한 절차는, 식 (6) 에 나타낸 바와 같이 제 1 디지털 오디오 신호 (312a) (예를 들어,
Figure pct00012
) 와 시간 지연 보상된 제 2 디지털 오디오 신호 (312b) (예를 들어,
Figure pct00013
) 사이의 크로스-상관을 최대화하는 값 (
Figure pct00014
) 을 탐색하는 것을 수반할 수도 있다.
Figure pct00015
여기서, 디지털 오디오 신호 (312a, 312b) 는 프레임들로 세그먼트화될 수도 있고, N 은 프레임 당 샘플들의 수이고, k 는 프레임 수이다. 디지털 오디오 신호 (312a, 312b) (예를 들어,
Figure pct00016
및
Figure pct00017
) 사이의 크로스 상관이
Figure pct00018
의 다양한 값들에 대해 계산될 수도 있다.
Figure pct00019
에 대한 시간 지연값은 크로스 상관을 최대화하는
Figure pct00020
의 값을 찾음으로써 계산될 수도 있다. 이러한 절차는, 디지털 오디오 신호 (312a, 312b) 의 신호 대 잡음비 (SNR) 가 높을 때 양호한 결과를 제공할 수도 있다.
도 3b 는 빔포머 (314b) 의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. (도 3a 에 도시된 바와 같은) 고정형 빔포밍 절차는, 2개의 마이크로폰의 주파수 응답이 잘 매칭된다는 것을 가정한다. 그러나, 2개의 마이크로폰의 주파수 응답들 사이에는 약간의 차이가 존재한다. 빔포머 (314b) 는 적응형 빔포밍 기술을 이용할 수도 있다. 이러한 절차에서, 적응형 필터 (326) 가 제 2 디지털 오디오 신호 (312b) 를 제 1 디지털 오디오 신호 (312a) 와 매칭하기 위해 사용될 수도 있다. 즉, 적응형 필터 (326) 는 2개의 마이크로폰의 주파수 응답들에 매칭할 수도 있을 뿐만 아니라, 디지털 오디오 신호들 (312a, 312b) 사의 임의의 지연을 보상할 수도 있다. 제 2 디지털 오디오 신호 (312b) 가 적응형 필터 (326) 에 대한 입력으로서 사용될 수도 있고, 제 1 디지털 오디오 신호 (312a) 가 적응형 필터 (326) 에 대한 레퍼런스로서 사용될 수도 있다. 필터링된 오디오 신호 (328) 는
Figure pct00021
로 지정될 수도 있다. 잡음 레퍼런스 (또는 "빔포밍된") 신호 (318b) 는
Figure pct00022
로 지정될 수도 있다. 적응형 필터 (326) 에 대한 가중치가
Figure pct00023
로 지정될 수도 있고, 여기서, i 는 제로와 M-1 사이의 수이고, M 은 필터의 길이이다. 적응형 필터링 프로세스는 식 (7) 및 (8) 에 나타낸 바와 같이 표현될 수도 있다.
Figure pct00024
적응형 필터 가중치
Figure pct00025
는 최소 평균 제곱 (LMS) 또는 정규화 LMS (NLMS) 등과 같은 임의의 표준 적응형 필터링 알고리즘을 사용하여 구성될 수도 있다. 원하는 오디오 레퍼런스 신호 (316b) (예를 들어,
Figure pct00026
) 및 잡음 레퍼런스 신호 (318b) (예를 들어,
Figure pct00027
) 는 식 (9) 및 (10) 에 나타낸 바와 같이 표현될 수도 있다.
Figure pct00028
도 3b 에 도시된 적응형 빔포밍 절차는 제 2 디지털 오디오 신호 (312b) 로부터 더 많은 원하는 오디오를 제거할 수도 있고, 도 3a 에 도시된 고정형 빔포밍 기술 보다 양호한 잡음 레퍼런스 신호 (318b) 를 생성할 수도 있다.
도 3c 는 빔포머 (314c) 의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 빔포머 (314c) 는 잡음 레퍼런스 신호 (318c) 의 생성 동안에만 적용될 수도 있고, 제 1 디지털 오디오 신호 (312a) 는 원하는 오디오 레퍼런스 신호 (316c) 로서 단순히 사용될 수도 있다 (예를 들어,
Figure pct00029
). 특정한 시나리오에서, 이러한 방법은 빔포머 (314c) 에 의해 초래된 잔향 효과와 같은 가능한 원하는 오디오 품질 저하를 방지할 수도 있다.
도 4a 는 잡음 레퍼런스 리파이너 (420a) 의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 빔포머 (예를 들어, 빔포머들 (214, 314a 내지 314c) 에 의해 생성된 잡음 레퍼런스 신호 (418) 는 일부 나머지 원하는 오디오를 여전히 포함할 수도 있고, 이것은 전체 시스템의 출력에서 품질 저하를 초래할 수도 있다. 잡음 레퍼런스 리파이너 (420a) 의 목적은 잡음 레퍼런스 신호 (418) (예를 들어,
Figure pct00030
) 로부터 추가의 나머지 원하는 오디오를 제거하는 것일 수도 있다.
통상적으로, 마이크로폰이 서로에 매우 근접하게 위치되지 않으면, 나머지 원하는 오디오는 우세한 고주파수 성분을 가질 수도 있다. 따라서, 잡음 레퍼런스 리파이닝은 잡음 레퍼런스 신호 (418) 로부터 고주파수 나머지 원하는 오디오를 제거함으로써 수행될 수도 있다. 적응형 필터 (434) 가 잡음 레퍼런스 신호 (418) 로부터 나머지 원하는 오디오를 제거하기 위해 사용될 수도 있다. 제 1 디지털 오디오 신호 (412a) (예를 들어,
Figure pct00031
) 는 고역 필터 (430) 에 (선택적으로) 제공될 수도 있다. 몇몇 경우에서, 고역 필터 (430) 는 선택적일 수도 있다. 1500 ~ 2000 Hz 컷오프 주파수를 갖는 IIR 또는 FIR 필터 (예를 들어,
Figure pct00032
) 가 제 1 디지털 오디오 신호 (412a) 를 고역 필터링하기 위해 사용될 수도 있다. 고역 필터 (430) 는 잡음 레퍼런스 신호 (418) 로부터 고주파수 나머지 원하는 오디오만을 제거하는데 도움을 주기 위해 이용될 수도 있다. 고역 필터링된 제 1 디지털 오디오 신호 (432a) 는
Figure pct00033
로 지정될 수도 있다. 적응형 필터 출력 (436a) 은
Figure pct00034
으로 지정될 수도 있다. 적응형 필터 가중치 (예를 들어,
Figure pct00035
) 는 LMS, NLMS 등과 같은 당업계에 공지된 임의의 방법을 사용하여 업데이트될 수도 있다. 리파이닝된 잡음 레퍼런스 신호 (422a) 는
Figure pct00036
로 지정될 수도 있다. 잡음 레퍼런스 리파이너 (420a) 는 식 (11), (12) 및 (13) 에 표현된 바와 같은 잡음 레퍼런스 리파이닝 프로세스를 구현하도록 구성될 수도 있다.
Figure pct00037
도 4b 는 잡음 레퍼런스 리파이너 (420b) 의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 이러한 구성에서, 디지털 오디오 신호들 (412a, 412b) (예를 들어,
Figure pct00038
) 사이의 차이는 선택적 고역 필터 (430) 로 입력될 수도 있다. 고역 필터 (430) 의 출력 (432b) 은
Figure pct00039
로 지정될 수도 있다. 적응형 필터 (434) 의 출력 (436b) 은
Figure pct00040
으로 지정될 수도 있다. 리파이닝된 잡음 레퍼런스 신호 (422b) 는
Figure pct00041
로 지정될 수도 있다. 잡음 레퍼런스 리파이너 (420b) 는 식 (14), (15) 및 (16) 에 표현된 바와 같은 잡음 레퍼런스 리파이닝 프로세스를 구현하도록 구성될 수도 있다.
Figure pct00042
도 5a 는 주변 잡음 억제를 포함하는 시스템 (500a) 의 하나의 가능한 구성의 몇몇 양태들을 예시하는 더욱 상세한 블록도이다. (적응형 필터 (526) 를 포함하는) 빔포머 (514) 및 (고역 필터 (530) 및 적응형 필터 (534) 를 포함하는) 잡음 레퍼런스 리파이너 (520a) 가 디지털 오디오 신호들 (512a, 512b) 을 수신할 수도 있고, 원하는 오디오 레퍼런스 신호 (516) 및 리파이닝된 잡음 레퍼런스 신호 (522a) 를 출력할 수도 있다. 몇몇 경우에서, 고역 필터 (530) 는 선택적일 수도 있다.
도 5b 는 주변 잡음 억제를 포함하는 시스템 (500b) 의 다른 가능한 구성의 몇몇 양태들을 예시하는 더욱 상세한 블록도이다. (적응형 필터 (526) 를 포함하는) 빔포머 (514) 및 (고역 필터 (530) 및 적응형 필터 (534) 를 포함하는) 잡음 레퍼런스 리파이너 (520b) 가 디지털 오디오 신호들 (512a, 512b) 을 수신할 수도 있고, 원하는 오디오 레퍼런스 신호 (516) 및 리파이닝된 잡음 레퍼런스 신호 (522b) 를 출력할 수도 있다. 이러한 구성에서, 잡음 레퍼런스 리파이너 (520b) 는 제 1 디지털 오디오 신호 (512a) 와 제 2 디지털 오디오 신호 (512b) 사이의 차이를 선택적 고역 필터 (530) 로 입력할 수도 있다.
도 5c 는 주변 잡음 억제를 포함하는 시스템 (500c) 의 대안의 구성을 예시한다. 도 5c 의 시스템 (500c) 은, 도 5c 의 시스템 (500c) 에서, 원하는 오디오 레퍼런스 신호 (516) 가 (제 1 디지털 오디오 신호 (512a) 와 제 2 디지털 오디오 신호 (512b) 사이의 차이 대신에) 입력으로서 고역 필터 (530) 로 제공된다는 점을 제외하고는 도 5b 의 시스템 (500b) 과 유사하다.
도 5d 는 주변 잡음 억제를 포함하는 시스템 (500d) 의 다른 대안의 구성을 예시한다. 도 5d 의 시스템 (500d) 은, 도 5d 의 시스템 (500d) 에서, 빔포머 (514) 의 출력 (512a) 이제 1 디지털 오디오 신호 (512a) 와 동일하다는 점을 제외하고는 도 5b 의 시스템 (500b) 과 유사하다.
도 6a 는 주변 잡음을 억제하는 방법 (600a) 의 일 예를 예시하는 흐름도이다. 다중의 소스로부터의 디지털 오디오가 빔포밍된다 (638a). 다중의 소스로부터의 디지털 오디오는 매칭하거나 유사한 에너지 레벨을 가질 수도 있거나 갖지 않을 수도 있다. 다중의 소스로부터의 디지털 오디오는 매칭하거나 유사한 신호 특징을 가질 수도 있다. 예를 들어, 각 소스로부터의 디지털 오디오는 우세한 스피치 (106) 및 주변 잡음 (108) 을 포함할 수도 있다. 원하는 오디오 레퍼런스 신호 (예를 들어, 원하는 오디오 레퍼런스 신호 (216)) 및 잡음 레퍼런스 신호 (예를 들어, 잡음 레퍼런스 신호 (218)) 가 빔포밍 (638a) 을 통해 생성될 수도 있다. 잡음 레퍼런스 신호는 나머지 원하는 오디오를 포함할 수도 있다. 나머지 원하는 오디오는 잡음 레퍼런스 신호를 리파이닝함으로써 (640a) 잡음 레퍼런스 신호로부터 감소될 수도 있거나 효율적으로 제거될 수도 있다. 나타낸 방법 (600a) 은 진행중인 프로세스일 수도 있다.
상기 도 6a 에 설명한 방법 (600a) 은 도 6b 에 예시된 수단 플러스 기능 블록 (600b) 에 대응하는 다양한 하드웨어 및/또는 소프트웨어 컴포넌트(들) 및/또는 모듈(들)에 의해 수행될 수도 있다. 다시 말해서, 도 6a 에 예시된 블록들 (638a 내지 640a) 은 도 6b 에 예시된 수단 플러스 기능 블록들 (638b 내지 640b) 에 대응한다.
도 7a 는 주변 잡음 억제를 포함하는 시스템 (700a) 의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 주변 잡음 억제를 포함하는 시스템 (700a) 은 변환기 (예를 들어, 마이크로폰) (710a, 710b), 아날로그-디지털 컨버터 (ADC) (744a, 744b), 교정기 (748), 제 1 빔포머 (714), 잡음 레퍼런스 리파이너 (720), 잡음 레퍼런스 교정기 (750), 제 2 빔포머 (754), 및 사후 프로세싱 컴포넌트 (760) 를 포함할 수도 있다.
변환기 (710a, 710b) 는 사운드 정보를 캡처할 수도 있고, 이것을 아날로그 신호 (742a, 742b) 로 변환한다. 변환기 (710a, 710b) 는 사운드 정보를 전기 (또는 다른) 신호로 변환하기 위해 사용된 임의의 디바이스 또는 디바이스들을 포함할 수도 있다. 예를 들어, 이들은 마이크로폰과 같은 전기-음향 변환기일 수도 있다. ADC (744a, 744b) 는 변환기 (710a, 710b) 에 의해 캡처된 아날로그 신호를 비교정 디지털 오디오 신호 (746a, 746b) 로 변환할 수도 있다. ADC (744a, 744b) 는 샘플링 주파수 (
Figure pct00043
) 에서 아날로그 신호를 샘플링할 수도 있다.
2개의 비교정 디지털 오디오 신호 (746a, 746b) 는 마이크로폰 감도에서의 차이 및 근접장 스피치 레벨에서의 차이를 보상하기 위해 교정기 (748) 에 의해 고정될 수도 있다. 교정된 디지털 오디오 신호 (712a, 712b) 는 제 1 빔포머 (714) 에 의해 프로세싱되어 원하는 오디오 레퍼런스 신호 (716) 및 잡음 레퍼런스 신호 (718) 를 제공할 수도 있다. 제 1 빔포머 (714) 는 고정형 빔포머 또는 적응형 빔포머일 수도 있다. 잡음 레퍼런스 리파이너 (720) 는 잡음 레퍼런스 신호 (718) 를 리파이닝하여 나머지 원하는 오디오를 더 제거할 수도 있다.
리파이닝된 잡음 레퍼런스 신호 (722) 는 제 1 빔포머 (714) 에 의해 초래된 감쇠 효과를 보상하기 위해 잡음 레퍼런스 교정기 (750) 에 의해 또한 교정될 수도 있다. 원하는 오디오 레퍼런스 신호 (716) 및 교정된 잡음 레퍼런스 신호 (752) 는 제 2 빔포머 (754) 에 의해 프로세싱되어, 제 2 원하는 오디오 신호 (756) 및 제 2 잡음 레퍼런스 신호 (758) 를 생성할 수도 있다. 제 2 원하는 오디오 신호 (756) 및 제 2 잡음 레퍼런스 신호 (758) 는 제 2 원하는 오디오 레퍼런스 신호 (756) 로부터 더 많은 나머지 잡음을 제거하기 위해 사후 프로세싱 (760) 을 선택적으로 경험할 수도 있다. 원하는 오디오 출력 신호 (762) 및 잡음 레퍼런스 출력 신호 (764) 는 송신될 수도 있고, 스피커를 통해 출력될 수도 있고, 더 프로세싱될 수도 있거나, 다르게 이용될 수도 있다.
도 7b 는 주변 잡음 억제를 포함하는 시스템 (700b) 의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 프로세서 (766) 는, 교정기 (748), 제 1 빔포머 (714), 잡음 레퍼런스 리파이너 (720), 잡음 레퍼런스 교정기 (750), 제 2 빔포머 (754), 및/또는 사후 프로세싱 (760) 을 구현하기 위해 명령들을 실행할 수도 있고/있거나 동작들을 수행할 수도 있다.
도 7c 는 주변 잡음 억제를 포함하는 시스템 (700c) 의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 프로세서 (766a) 는 교정기 (748) 및 제 1 빔포머 (714) 를 구현하기 위해 명령들을 실행할 수도 있고/있거나 동작들을 수행할 수도 있다. 다른 프로세서 (766b) 는 잡음 레퍼런스 리파이너 (720) 및 잡음 레퍼런스 교정기 (750) 를 구현하기 위해 명령들을 실행할 수도 있고/있거나 동작들을 수행할 수도 있다. 다른 프로세서 (766c) 는 제 2 빔포머 (754) 및 사후 프로세싱 (760) 을 구현하기 위해 명령들을 실행할 수도 있고/있거나 동작들을 수행할 수도 있다. 개별 프로세서들이 각 블록들을 개별적으로 또는 블록들의 임의의 조합을 처리하기 위해 배열될 수도 있다.
도 8a 는 교정기 (848a) 의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 교정기 (848a) 는 2개의 목적, 즉, 마이크로폰 감도에서의 임의의 차이를 보상하고, 비교정 디지털 오디오 신호 (846a, 846b) 에서의 근접장 원하는 오디오 레벨차를 보상하도록 서빙할 수도 있다. 마이크로폰 감도는 입사 음향장 (incident accoustic field) 의 소정의 입력 압력에 대해 마이크로폰에 의해 생성된 전압의 강도를 측정한다. 2개의 마이크로폰이 상이한 감도를 가지면, 이들은 동일한 입력 압력에 대해 상이한 전압 레벨을 생성한다. 이러한 차이는 빔포밍을 수행하기 이전에 보상될 수도 있다. 고려될 수도 있는 제 2 팩터가 근접장 효과이다. 모바일 디바이스를 홀딩하는 사용자는 2개의 마이크로폰에 매우 근접하게 있을 수도 있기 때문에, 핸드셋 배향에서의 임의의 변화가 2개의 마이크로폰에 의해 캡처된 신호 레벨들 사이에서 현저한 차이를 발생시킬 수도 있다. 이러한 신호 레벨차의 보상은 더 양호한 잡음 레퍼런스 신호를 생성하는데 있어서 제 1 스테이지 빔포머를 도울 수도 있다.
마이크로폰 감도 및 (근접장 효과로 인한) 오디오 레벨에서의 차이들은 (스케일링 팩터라 또한 칭할 수도 있는) 교정 팩터의 세트를 계산하고, 이들을 하나 이상의 비교정 디지털 오디오 신호 (846a, 846b) 에 적용함으로써 보상될 수도 있다.
교정 블록 (868a) 은 교정 팩터를 계산할 수도 있고, 그것을 비교정 디지털 오디오 신호 (846a, 846b) 중 하나에 적용할 수도 있어서, 제 2 디지털 오디오 신호 (812b) 에서의 신호 레벨은 제 1 디지털 오디오 신호 (812a) 의 신호 레벨에 근접하다.
다양한 방법이 적절한 교정 팩터를 계산하기 위해 사용될 수도 있다. 교정 팩터를 계산하는 하나의 접근방식이, 단일 탭 위너 필터 계수를 계산하여, 그것을 제 2 비교정 디지털 오디오 신호 (846b) 에 대한 교정 팩터로서 사용하는 것일 수도 있다. 단일 탭 위너 필터 계수는 2개의 비교정 디지털 오디오 신호 (846a, 846b) 사이의 크로스 상관, 및 제 2 비교정 디지털 오디오 신호 (846b) 의 에너지를 계산함으로써 계산될 수도 있다. 2개의 비교정 디지털 오디오 신호 (846a, 846b) 는
Figure pct00044
및
Figure pct00045
로 지정될 수도 있고, 여기서, n 은 시간 인스턴트 또는 샘플 번호를 나타낸다. 비교정 디지털 오디오 신호 (846a, 846b) 는 길이 N 의 프레임 (또는 블록) 으로 세그먼트화될 수도 있다. 각 프레임 k 에 대해, 블록 크로스 상관
Figure pct00046
및 블록 에너지 추정치
Figure pct00047
는 식 (17) 및 (18) 에 나타낸 바와 같이 계산될 수도 있다.
Figure pct00048
블록 크로스 상관
Figure pct00049
및 블록 에너지 추정치
Figure pct00050
는 식 (19) 및 (20) 에 나타낸 바와 같이 추정치들의 변동을 최소화하는 지수 평균법을 사용하여 선택적으로 평활화될 수도 있다.
Figure pct00051
Figure pct00052
및
Figure pct00053
는 0 과 1 사이의 값들을 취할 수도 있는 평균 상수들이다.
Figure pct00054
및
Figure pct00055
의 값이 더 높을수록, 평균화 프로세스(들)가 더 평활화되고, 추정치들의 변동이 더 낮아진다. 통상적으로, 범위 : 0.9 내지 0.99 의 값들이 양호한 결과를 제공하는 것으로 발견되었다.
제 2 비교정 디지털 오디오 신호 (846b) 에 대한 교정 팩터 (
Figure pct00056
) 는 식 (21) 에 나타낸 바와 같이 블록 크로스 상관 추정치와 블록 에너지 추정치의 비율을 계산함으로써 발견될 수도 있다.
Figure pct00057
교정 팩터 (
Figure pct00058
) 는 식 (22) 에 나타낸 바와 같이 급변동을 최소화하기 위해 선택적으로 평활화될 수도 있다. 평활화 상수는 범위 : 0.7 내지 0.9 에서 선택될 수도 있다.
Figure pct00059
교정 팩터의 추정치는 원하는 오디오 활성 주기 동안에만 교정 팩터를 계산하고 업데이트함으로써 개선될 수도 있다. 당업계에 공지된 음성 활성 검출 (VAD) 의 임의의 방법이 이러한 목적을 위해 사용될 수도 있다.
교정 팩터는 다르게는, 최대 탐색 방법을 사용하여 추정될 수도 있다. 이러한 방법에서, 2개의 비교정 디지털 오디오 신호 (846a, 846b) 의 블록 에너지 추정치 (
Figure pct00060
및
Figure pct00061
) 는 원하는 오디오 에너지 최대치에 대해 탐색될 수도 있고, 2개의 최대치의 비율이 교정 팩터를 계산하기 위해 사용될 수도 있다. 블록 에너지 추정치 (
Figure pct00062
및
Figure pct00063
) 는 식 (23) 및 (24) 에 나타낸 바와 같이 계산될 수도 있다.
Figure pct00064
블록 에너지 추정치 (
Figure pct00065
및
Figure pct00066
) 는 식 (25) 및 (26) 에 나타낸 바와 같이 선택적으로 평활화될 수도 있다.
Figure pct00067
Figure pct00068
및
Figure pct00069
는 0 과 1 사이의 값들을 취할 수도 있는 평균 상수들이다.
Figure pct00070
및
Figure pct00071
의 값들이 더 높을수록, 평균화 프로세스(들)가 더 평활화되고, 추정치들의 변동이 더 낮아진다. 통상적으로, 범위 : 0.7 내지 0.8 의 값들이 양호한 결과를 제공하는 것으로 발견되었다. 2개의 비교정 디지털 오디오 신호 (846a, 846b) 의 원하는 오디오 최대치 (예를 들어,
Figure pct00072
및
Figure pct00073
, 여기서, m 은 다중의 프레임 인덱스 번호) 는 식 (27) 및 (28) 에 나타낸 바와 같이 여러 프레임들, 즉, K 개의 연속 프레임들에 걸쳐 블록 에너지 추정치의 최대값을 탐색함으로써 계산될 수도 있다.
Figure pct00074
최대값들은 식 (29) 및 (30) 에 나타낸 바와 같이 더 평활한 추정치들을 획득하기 위해 선택적으로 평활화될 수도 있다.
Figure pct00075
Figure pct00076
및
Figure pct00077
는 0 과 1 사이의 값들을 취할 수도 있는 평균 상수들이다.
Figure pct00078
및
Figure pct00079
의 값들이 더 높을수록, 평균화 프로세스(들)가 더 평활화되고, 추정치들의 변동이 더 낮아진다. 통상적으로, 평균 상수들의 값들은 범위 : 0.5 내지 0.7 에서 선택된다. 제 2 비교정 디지털 오디오 신호 (846b) 에 대한 교정 팩터는 식 (31) 에 나타낸 바와 같이 2개의 비교정 디지털 오디오 신호 (846a, 846b) 의 비율의 제곱근을 계산함으로써 추정될 수도 있다.
Figure pct00080
교정 팩터 (
Figure pct00081
) 는 식 (32) 에 나타낸 바와 같이 선택적으로 평활화될 수도 있다.
Figure pct00082
Figure pct00083
는 0 과 1 사이의 값들을 취할 수도 있는 평균 상수이다.
Figure pct00084
의 값이 더 높을수록, 평균화 프로세스가 더 평활화되고, 추정치들의 변동이 더 낮아진다. 이러한 평활화 프로세스는 제 2 비교정 디지털 오디오 신호 (846b) 에 대한 교정 팩터에서의 급변동을 최소화시킬 수도 있다. 교정 블록 (868a) 에 의해 계산될 때, 교정 팩터는 제 2 비교정 디지털 오디오 신호 (846b) 를 승산하기 위해 사용될 수도 있다. 이러한 프로세스는 제 2 비교정 디지털 오디오 신호 (846b) 의 스케일링을 발생시킬 수도 있어서, 디지털 오디오 신호 (812a, 812b) 에서의 원하는 오디오 에너지 레벨들이 빔포밍 이전에 밸런싱된다.
도 8b 는 교정기 (848b) 의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 이러한 구성에서, (교정 블록 (868b) 에 의해 계산될 때) 교정 팩터의 인버스가 제 1 비교정 디지털 오디오 신호 (846a) 에 적용될 수도 있다. 이러한 프로세스는 제 1 비교정 디지털 오디오 신호 (846a) 의 스케일링을 발생시킬 수도 있어서, 디지털 오디오 신호 (812a, 812b) 에서의 원하는 오디오 에너지 레벨들이 빔포밍 이전에 밸런싱된다.
도 8c 는 교정기 (848c) 의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 이러한 구성에서, 디지털 오디오 신호 (812a, 812b) 에서의 원하는 오디오 에너지 레벨들을 밸런싱하는 2개의 교정 팩터가 교정 블록 (868c) 에 의해 계산될 수도 있다. 이들 2개의 교정 팩터는 비교정 디지털 오디오 신호 (846a, 846b) 에 적용될 수도 있다.
비교정 디지털 오디오 신호 (846a, 846b) 가 교정되면, 제 1 디지털 오디오 신호 (812a) 및 제 2 디지털 오디오 신호 (812b) 는 상기 논의한 바와 같이 빔포밍될 수도 있고/있거나 리파이닝될 수도 있다.
도 9a 는 잡음 레퍼런스 교정기 (950a) 의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 제 1 빔포머 (714) 에 의해 생성될 수도 있는 잡음 레퍼런스 신호 (922) 는 감쇠 문제로부터 영향을 받을 수도 있다. 리파이닝된 잡음 레퍼런스 신호 (922) 에서의 잡음의 강도는 원하는 오디오 레퍼런스 신호 (916) 에서의 잡음의 강도와 비교하여 훨씬 작을 수도 있다. 리파이닝된 잡음 레퍼런스 신호 (922) 는 세컨더리 빔포밍을 수행하기 이전에 교정 블록 (972a) 에 의해 교정 (예를 들어, 스케일링) 될 수도 있다.
잡음 레퍼런스 교정에 대한 교정 팩터는 잡음 플로어 (noise floor) 추정치를 사용하여 계산될 수도 있다. 교정 블록 (972a) 은 원하는 오디오 레퍼런스 신호 (916) 및 리파이닝된 잡음 레퍼런스 신호 (922) 에 대한 잡음 플로어 추정치를 계산할 수도 있다. 따라서, 교정 블록 (972a) 은 교정 팩터를 계산할 수도 있고, 이것을 리파이닝된 잡음 레퍼런스 신호 (922) 에 적용할 수도 있다.
원하는 오디오 레퍼런스 신호 (예를 들어,
Figure pct00085
) 및 리파이닝된 잡음 레퍼런스 신호 (예를 들어,
Figure pct00086
) 의 블록 에너지 추정치는 각각
Figure pct00087
및
Figure pct00088
로 지정될 수도 있고, 여기서, k 는 프레임 인덱스이다.
블록 에너지의 잡음 플로어 추정치 (예를 들어,
Figure pct00089
및
Figure pct00090
, 여기서, m 은 프레임 인덱스) 는 식 (33) 및 (34) 에 표현된 바와 같은 프레임들 (예를 들어, K 개의 프레임들) 의 세트에 대해 최소값을 탐색함으로써 계산될 수도 있다.
Figure pct00091
잡음 플로어 추정치 (예를 들어,
Figure pct00092
및
Figure pct00093
) 는 식 (35) 및 (36) 에 나타낸 바와 같은 지수 평균법을 사용하여 선택적으로 평활화될 수도 있다 (예를 들어, 평활화된 잡음 플로어 추정치는
Figure pct00094
및
Figure pct00095
로 지정될 수도 있다).
Figure pct00096
Figure pct00097
및
Figure pct00098
은 0 과 1 사이의 값들을 취할 수도 있는 평균 상수들이다.
Figure pct00099
및
Figure pct00100
의 값들이 더 높을수록, 평균화 프로세스(들)가 더 평활화되고, 추정치들의 변동이 더 낮아진다. 통상적으로, 평균 상수들은 범위 : 0.7 내지 0.8 에서 선택된다. 리파이닝된 잡음 레퍼런스 (922) 교정 팩터는
Figure pct00101
으로 지정될 수도 있고, 식 (37) 에 표현된 바와 같이 계산될 수도 있다.
Figure pct00102
추정된 교정 팩터 (예를 들어,
Figure pct00103
) 는 식 (38) 에 표현된 바와 같이 교정된 잡음 레퍼런스 신호 (952) 에서 불연속성을 최소화하기 위해 선택적으로 평활화될 수도 있다 (예를 들어,
Figure pct00104
를 발생시킨다).
Figure pct00105
Figure pct00106
는 0 과 1 사이의 값들을 취할 수도 있는 평균 상수이다.
Figure pct00107
의 값이 더 높을수록, 평균화 프로세스가 더 평활화되고, 추정치들의 변동이 더 낮아진다. 통상적으로, 평균 상수는 범위 : 0.7 내지 0.8 에서 선택된다. 교정된 잡음 레퍼런스 신호 (952) 는
Figure pct00108
로 지정될 수도 있다.
도 9b 는 잡음 레퍼런스 교정기 (950b) 의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 리파이닝된 잡음 레퍼런스 신호 (922) 는 2개 (또는 그 이상) 의 서버-대역으로 분할될 수도 있고, 개별 교정 팩터가 교정 블록 (972b) 에 의해 계산될 수도 있고, 각 서브-대역에 적용될 수도 있다. 리파이닝된 잡음 레퍼런스 신호 (922) 의 저주파수 및 고주파수 성분들은 상이한 교정 값들을 가짐으로써 이득을 얻는다.
도 9b 에 도시되어 있는 바와 같이, 리파이닝된 잡음 레퍼런스 신호 (922) 가 2개의 서브-대역으로 분할되면, 서브-대역은 저역 필터 (LPF) (976a) 및 고역 필터 (HPF) (978a) 에 의해 필터링될 수도 있다. 리파이닝된 잡음 레퍼런스 신호 (922) 가 3개 이상의 서브-대역으로 분할되면, 각 서브-대역은 대역 필터에 의해 필터링될 수도 있다.
교정 블록 (972b) 은 원하는 오디오 레퍼런스 신호 (916) 및 리파이닝된 잡음 레퍼런스 신호 (922) 의 서브-대역들에 대한 잡음 플로어 추정치를 계산할 수도 있다. 그에 따라, 교정 블록 (972b) 은 교정 팩터들을 계산할 수도 있고, 이들을 리파이닝된 잡음 레퍼런스 신호 (922) 의 서브-대역들로 적용할 수도 있다. 원하는 오디오 레퍼런스 신호 (예를 들어,
Figure pct00109
) 및 리파이닝된 잡음 레퍼런스 신호 (예를 들어,
Figure pct00110
) 의 서브-대역의 블록 에너지 추정치들은 각각,
Figure pct00111
및
Figure pct00112
로 지정될 수도 있고, 여기서, k 는 프레임 인덱스이다. 블록 에너지들의 잡음 플로어 추정치들 (예를 들어,
Figure pct00113
및
Figure pct00114
, 여기서, m 은 프레임 인덱스) 은 식 (39), (40), 및 (41) 에 표현된 바와 같은 프레임들 (예를 들어, K 개의 프레임들) 의 세트에 대해 최소값을 탐색함으로써 계산될 수도 있다.
Figure pct00115
잡음 플로어 추정치들 (예를 들어,
Figure pct00116
및
Figure pct00117
) 은 식 (42), (43), 및 (44) 에 나타낸 바와 같이 지수 평균법을 사용하여 선택적으로 평활화될 수도 있다 (예를 들어, 평활화된 잡음 플로어 추정치들은
Figure pct00118
및
Figure pct00119
로 지정될 수도 있다).
Figure pct00120
Figure pct00121
및
Figure pct00122
는 0 과 1 사이의 값들을 취할 수도 있는 평균 상수들이다.
Figure pct00123
및
Figure pct00124
의 값들이 더 높을수록, 평균화 프로세스(들)가 더 평활화되고, 추정치들의 변동은 더 낮아진다. 통상적으로, 범위 : 0.5 내지 0.8 에서의 평균 상수들이 사용될 수도 있다. 리파이닝된 잡음 레퍼런스 (922) 교정 팩터들은
Figure pct00125
및
Figure pct00126
으로 지정될 수도 있고, 식 (45) 및 (46) 에 표현된 바와 같이 계산될 수도 있다.
Figure pct00127
추정된 교정 팩터들은 식 (47) 및 (48) 에 표현된 바와 같이 교정된 잡음 레퍼런스 신호 (952b) 에서의 불연속성을 최소화하기 위해 선택적으로 평활화될 수도 있다 (예를 들어,
Figure pct00128
및
Figure pct00129
를 발생시킨다).
Figure pct00130
Figure pct00131
및
Figure pct00132
은 0 과 1 사이의 값들을 취할 수도 있는 평균 상수들이다.
Figure pct00133
및
Figure pct00134
의 값들이 더 높을수록, 평균화 프로세스가 더 평활화되고, 추정치들의 변동이 더 작아진다. 통상적으로, 범위 : 0.7 내지 0.8 의 평균 상수들이 사용될 수도 있다. 교정된 잡음 레퍼런스 신호 (952b) 는 리파이닝된 잡음 레퍼런스 신호 (922) 의 2개의 스케일링된 서브-대역들의 합산일 수도 있고,
Figure pct00135
으로 지정될 수도 있다.
도 9c 는 잡음 레퍼런스 교정기 (950c) 의 다른 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 리파이닝된 잡음 레퍼런스 신호 (922) 및 원하는 오디오 레퍼런스 신호 (916) 는 2개의 서브-대역으로 분할될 수도 있고, 개별 교정 팩터가 교정 블록 (972c) 에 의해 계산될 수도 있고, 각 서브-대역에 적용될 수도 있다. 리파이닝된 잡음 레퍼런스 신호 (922) 의 저주파수 및 고주파수 성분들은 상이한 교정 값에 의해 이득을 얻는다.
원하는 오디오 레퍼런스 신호 (916) 는 저역 필터 (976b) 및 고역 필터 (978b) 에 의해 분할되고 필터링될 수도 있다. 리파이닝된 잡음 레퍼런스 신호 (922) 는 저역 필터 (976a) 및 고역 필터 (978a) 에 의해 분할되고 필터링될 수도 있다. 교정 블록 (972c) 은 원하는 오디오 레퍼런스 신호 (916) 의 서브-대역들 및 리파이닝된 잡음 레퍼런스 신호 (922) 의 서브-대역들에 대한 잡음 플로어 추정치들을 계산할 수도 있다. 그에 따라, 교정 블록 (972c) 은 교정 팩터들을 계산할 수도 있고, 이들은 리파이닝된 잡음 레퍼런스 신호 (922) 의 서브-대역들에 적용할 수도 있다. 원하는 오디오 레퍼런스 신호 (예를 들어,
Figure pct00136
) 의 서브-대역들 및 리파이닝된 잡음 레퍼런스 신호 (예를 들어,
Figure pct00137
) 의 서브-대역들의 블록 에너지 추정치들은 각각,
Figure pct00138
및
Figure pct00139
로 지정될 수도 있고, 여기서, k 는 프레임 인덱스이다. 블록 에너지들의 잡음 플로어 추정치들 (예를 들어,
Figure pct00140
및
Figure pct00141
, 여기서, m 은 프레임 인덱스) 은 식 (49), (50), (51), 및 (52) 에 표현된 바와 같이 프레임들 (예를 들어, K 개의 프레임들) 의 세트에 대해 최소값을 탐색함으로써 계산될 수도 있다.
Figure pct00142
잡음 플로어 추정치들 (예를 들어,
Figure pct00143
및
Figure pct00144
) 은 식 (53), (54), (55), 및 (56) 에 나타낸 바와 같이 지수 평균법을 사용하여 선택적으로 평활화될 수도 있다 (예를 들어, 평활화된 잡음 플로어 추정치들은
Figure pct00145
및
Figure pct00146
으로 지정될 수도 있다).
Figure pct00147
Figure pct00148
Figure pct00149
및
Figure pct00150
은 0 과 1 사이의 값들을 취할 수도 있는 평균 상수들이다.
Figure pct00151
및
Figure pct00152
의 값들이 더 높을수록, 평균화 프로세스(들)가 더 평활화되고, 추정치들의 변동이 더 낮아진다. 평균 상수들은 범위 : 0.5 내지 0.8 에서 선택될 수도 있다. 리파이닝된 잡음 레퍼런스 (922) 교정 팩터들은
Figure pct00153
및
Figure pct00154
으로 지정될 수도 있고, 식 (57) 및 (58) 에 표현된 바와 같이 계산될 수도 있다.
Figure pct00155
추정된 교정 팩터들은 식 (59) 및 (60) 에 표현된 바와 같이 교정된 잡음 레퍼런스 신호 (952) 에서의 불연속성을 최소화하기 위해 선택적으로 평활화될 수도 있다 (예를 들어,
Figure pct00156
및
Figure pct00157
를 발생시킨다).
Figure pct00158
Figure pct00159
및
Figure pct00160
은 0 과 1 사이의 값들을 취할 수도 있는 평균 상수들이다.
Figure pct00161
및
Figure pct00162
의 값들이 더 높을수록, 평균화 프로세스가 더 평활화되고, 추정치들의 변동이 더 작아진다. 통상적으로, 범위 : 0.7 내지 0.8 에서의 값들이 사용될 수도 있다. 교정된 잡음 레퍼런스 신호 (952) 는 리파이닝된 잡음 레퍼런스 신호 (922) 의 2개의 스케일링된 서브-대역들의 합산이고,
Figure pct00163
로 지정될 수도 있다.
도 10 은 빔포머 (1054) 의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 이러한 빔포머 (1054) 는 이전에 논의한 제 2 빔포머 (754) 로서 이용될 수도 있다.
세컨더리 빔포밍의 주목적은, 교정되고 리파이닝된 잡음 레퍼런스 신호 (1052) 를 이용하고, 원하는 오디오 레퍼런스 신호 (1016) 로부터 더 많은 잡음을 제거하는 것일 수도 있다. 적응형 필터 (1084) 에 대한 입력은 교정되고 리파이닝된 잡음 레퍼런스 신호 (1052) 이도록 선택될 수도 있다. 입력 신호는, 빔포머 (1054) 가 원하는 오디오 레퍼런스 신호 (1016) 에서 고주파수 콘텐츠를 적극적으로 억제하는 것을 방지하기 위해 LPF (1080) 에 의해 선택적으로 저역 필터링될 수도 있다. 입력을 저역 필터링하는 것은, 빔포머 (1054) 의 제 2 원하는 오디오 신호 (1056) 가 사운드 머플 (sound muffle) 되지 않는다는 것을 보장하는 것을 도울 수도 있다. 8 KHz 샘플링 레이트 (
Figure pct00164
) 동안 2800 내지 3500 Hz 컷-오프 주파수를 갖는 무한 임펄스 응답 (IIR) 또는 유한 임펄스 응답 (FIR) 필터가 교정되고 리파이닝된 잡음 레퍼런스 신호 (1052) 의 저역 필터링을 위해 사용될 수도 있다. 컷-오프 주파수는, 샘플링 레이트 (
Figure pct00165
) 가 2배이면, 2배가 될 수도 있다.
교정되고 리파이닝된 잡음 레퍼런스 신호 (1052) 는
Figure pct00166
로 지정될 수도 있다. LPF (1080) 는
Figure pct00167
로 지정될 수도 있다. 저역 필터링되고, 교정되고, 리파이닝된 잡음 레퍼런스 신호 (1082) 는
Figure pct00168
로 지정될 수도 있다. 적응형 필터 (1084) 의 출력 (1086) 은
Figure pct00169
로 지정될 수도 있다. 적응형 필터 가중치는
Figure pct00170
로 지정될 수도 있고, 당업계에 공지되어 있는 임의의 적응형 필터링 기술 (예를 들어, LMS, NLMS 등) 을 사용하여 업데이트될 수도 있다. 원하는 오디오 레퍼런스 신호 (1016) 는
Figure pct00171
로 지정될 수도 있다. 제 2 원하는 오디오 신호 (1056) 는
Figure pct00172
로 지정될 수도 있다. 빔포머 (1054) 는 식 (61), (62), 및 (63) 에 표현된 바와 같은 빔포밍 프로세스를 구현하도록 구성될 수도 있다.
Figure pct00173
Figure pct00174
도 10 에는 도시하지 않았지만, 교정되고, 리파이닝된 잡음 레퍼런스 신호 (1052), 저역 필터링되고, 교정되고, 리파이닝된 잡음 레퍼런스 신호 (1082), 및/또는 적응형 필터 (1084) 의 출력 (1086) 은 또한, 사후 프로세싱 블록 (예를 들어, 사후-프로세싱 블록 (760)) 을 통과할 수도 있다.
도 11 은 사후-프로세싱 블록 (1160) 의 하나의 가능한 구성의 몇몇 양태들을 예시하는 블록도이다. 사후-프로세싱 기술은 제 2 원하는 오디오 신호 (1156) 로부터 추가의 나머지 잡음을 제거하기 위해 사용될 수도 있다. 스펙트럼 감산, 위너 필터링 등과 같은 사후-프로세싱 방법이 제 2 원하는 오디오 신호 (1156) 로부터 다른 잡음을 억제하기 위해 사용될 수도 있다. 원하는 오디오 출력 신호 (1162) 는 송신될 수도 있고, 스피커를 통해 출력될 수도 있거나, 다르게 이용될 수도 있다. 잡음 레퍼런스 프로세싱된 신호 (1158) 의 임의의 스테이지가 출력 (1164) 으로서 또한 이용되거나 제공될 수도 있다.
도 12 는 주변 잡음을 억제하는 방법 (1200) 의 하나의 가능한 구성의 몇몇 양태들을 예시하는 흐름도이다. 이 방법 (1200) 은 모바일 폰, "지상선" 폰, 유선 헤드셋, 무선 헤드셋, 보청기, 오디오/비디오 레코딩 디바이스 등과 같은 통신 디바이스에 의해 구현될 수도 있다.
(스피치 (106) 를 포함할 수도 있는) 원하는 오디오 신호 뿐만 아니라 주변 잡음 (예를 들어, 주변 잡음 (108)) 은 다중의 변환기 (예를 들어, 마이크로폰 (110a, 110b)) 를 통해 수신될 수도 있다 (1288). 이들 변환기는 통신 디바이스상에 밀접 배치될 수도 있다. 이들 아날로그 신호는 디지털 오디오 신호 (예를 들어, 디지털 오디오 신호 (746a, 746b)) 로 변환될 수도 있다 (1289).
디지털 오디오 신호들은 교정될 수도 있어서 (1290), 원하는 오디오 에너지가 신호들 사이에서 밸런싱된다. 그 후, 빔포밍이 신호들에 대해 수행될 수도 있고 (1291), 이것은 적어도 하나의 원하는 오디오 레퍼런스 신호 (예를 들어, 원하는 오디오 레퍼런스 신호 (716)) 및 적어도 하나의 잡음 레퍼런스 신호 (예를 들어, 잡음 레퍼런스 신호 (718)) 를 생성할 수도 있다. 잡음 레퍼런스 신호(들)는 잡음 레퍼런스 신호(들)로부터 더 많은 원하는 오디오를 제거함으로써 리파이닝될 수도 있다 (1292). 그 후, 잡음 레퍼런스 신호(들)는 교정될 수도 있어서 (1293), 잡음 레퍼런스 신호(들)에서의 잡음의 에너지는 원하는 오디오 레퍼런스 신호(들)에서의 잡음과 밸런싱된다. 원하는 오디오 레퍼런스 신호로부터 추가의 잡음을 제거하기 위해 추가의 빔포밍이 수행될 수도 있다 (1294). 사후 프로세싱이 또한 수행될 수도 있다 (1295).
상기 도 12 에 설명한 방법 (1200) 은 도 12a 에 예시된 수단 플러스 기능 블록 (1200a) 에 대응하는 다양한 하드웨어 및/또는 소프트웨어 컴포넌트(들) 및/또는 모듈(들)에 의해 수행될 수도 있다. 다시 말해, 도 12 에 예시된 블록들 (1288 내지 1295) 은 도 12a 에 예시된 수단 플러스 기능 블록들 (1288a 내지 1295a) 에 대응한다.
이제, 도 13을 참조한다. 도 13 은 통신 디바이스 (1302) 내에 포함될 수도 있는 특정한 컴포넌트들을 예시한다. 통신 디바이스 (1302) 는 여기에 설명된 주변 잡음을 억제하는 방법을 구현하도록 구성될 수도 있다.
통신 디바이스 (1302) 는 프로세서 (1370) 를 포함한다. 프로세서 (1370) 는 범용의 단일 또는 멀티-칩 마이크로프로세서 (예를 들어, ARM), 특수 목적 마이크로프로세서 (예를 들어, 디지털 신호 프로세서 (DSP)), 마이크로제어기, 프로그래머블 게이트 어레이 등일 수도 있다. 프로세서 (1370) 를 중앙 처리 유닛 (CPU) 으로 지칭할 수도 있다. 단지 단일의 프로세서 (1370) 가 도 13 의 통신 디바이스 (1302) 에 도시되어 있지만, 대안의 구성에서는, 프로세서들 (예를 들어, ARM 및 DSP) 의 조합이 사용될 수 있다.
통신 디바이스 (1302) 는 또한 메모리 (1372) 를 포함한다. 메모리 (1372) 는 전자 정보를 저장할 수 있는 임의의 전자 컴포넌트일 수도 있다. 메모리 (1372) 는 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 자기 디스크 저장 매체, 광 저장 매체, RAM 에서의 플래시 메모리 디바이스, 프로세서와 포함된 온-보드 메모리, EPROM 메모리, EEPROM 메모리, 레지스터 등으로서 임베디드될 수도 있고, 이들의 조합을 포함한다.
데이터 (1374) 및 명령 (1376) 이 메모리 (1372) 에 저장될 수도 있다. 명령 (1376) 은 여기에 개시된 방법들을 구현하기 위해 프로세서 (1370) 에 의해 실행가능할 수도 있다. 명령 (1376) 을 실행하는 것은 메모리 (1372) 에 저장되는 데이터 (1374) 의 사용을 수반할 수도 있다.
통신 디바이스 (1302) 는 또한 다중의 마이크로폰 (1310a, 1310b, 1310n) 을 포함할 수도 있다. 마이크로폰 (1310a, 1310b, 1310n) 은 상기 논의한 바와 같이, 스피치와 주변 잡음을 포함하는 오디오 신호를 수신할 수도 있다. 통신 디바이스 (1302) 는 또한 오디오 신호를 출력하는 스피커 (1390) 를 포함할 수도 있다.
통신 디바이스 (1302) 는 또한, 그 통신 디바이스 (1302) 와 원격 위치 사이에서 신호의 무선 송신 및 수신을 허용하기 위해 송신기 (1378) 및 수신기 (1380) 를 포함할 수도 있다. 송신기 (1378) 및 수신기 (1380) 를 트랜시버 (1382) 라 총칭할 수도 있다. 안테나 (1384) 가 트랜시버 (1382) 에 전기적으로 커플링될 수도 있다. 통신 디바이스 (1302) 는 또한 다중의 송신기, 다중의 수신기, 다중의 트랜시버 및/또는 다중의 안테나 (미도시) 를 포함할 수도 있다.
통신 디바이스 (1302) 의 다양한 컴포넌트는, 전력 버스, 제어 신호 버스, 상태 신호 버스, 데이터 버스 등을 포함할 수도 있는 하나 이상의 버스에 의해 함께 커플링될 수도 있다. 명확화를 위해, 다양한 버스들은 버스 시스템 (1386) 으로서 도 13 에 예시된다.
상기 설명에서, 참조 번호들이 때때로 다양한 용어들과 관련하여 사용되었다. 용어가 참조 번호와 관련하여 사용된 곳에서, 이것은 도면들 중 하나 이상에 도시된 특정한 엘리먼트를 칭하는 것으로 의미된다. 용어가 참조 번호없이 사용된 곳에서, 이것은 임의의 특정한 도면에 제한없이 그 용어를 일반적으로 칭하는 것으로 의미된다.
용어 "결정하는 (determining)" 은 광범위한 액션을 포함하고, 따라서, "결정하는" 은 계산하고, 컴퓨팅하고, 프로세싱하고, 유도하고, 연구하고, 룩업하고 (예를 들어, 테이블, 데이터베이스 또는 다른 데이터 구조에서 룩업), 확인하는 것 등을 포함할 수 있다. 또한, "결정하는" 은 수신하고 (예를 들어, 정보를 수신), 액세스하는 (예를 들어, 메모리의 데이터에 액세스) 것 등을 포함할 수 있다. 또한, "결정하는" 은 리졸빙하고, 선택하고, 고르고, 확립하는 것 등을 포함할 수 있다.
어구 "기초하는 (based on)" 은, 다르게 명시적으로 특정되지 않으면 "에만 기초하는 (based only on)" 을 의미하지는 않는다. 다시 말하면, 어구 "기초하는"은 "에만 기초하는" 및 "적어도 기초하는" 모두를 기술하는 것이다.
용어 "프로세서"는 범용 프로세서, 중앙 처리 유닛 (CPU), 마이크로프로세서, 디지털 신호 프로세서 (DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경들에서, "프로세서"는 응용 주문형 집적 회로 (ASIC), 프로그램가능한 로직 디바이스 (PLD), 필드 프로그램가능한 게이트 어레이 (FPGA) 등을 지칭할 수 있다. 용어 "프로세서"는 프로세싱 디바이스들의 조합, 예를 들어, DSP 및 마이크로프로세서의 조합, 다수의 마이크로프로세서들, DSP 코어와 연관되는 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성을 지칭할 수 있다.
용어 "메모리"는 전자 정보를 저장할 수 있는 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. 용어 메모리는 랜덤 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 프로그램가능한 판독-전용 메모리 (PROM), 삭제가능하고 프로그램가능한 판독 전용 메모리(EPROM), 전기적으로 삭제가능한 PROM(EEPROM), 플래시 메모리, 자기 또는 광학 데이터 스토리지, 레지스터들 등과 같은 다양한 타입들의 프로세서-판독가능 매체를 지칭할 수 있다. 프로세서가 메모리로부터 정보를 판독할 수 있고/있거나 메모리로 정보를 기록할 수 있다면, 메모리는 프로세서와 전자적으로 통신한다고 간주된다. 프로세서와 일체형인 메모리는 프로세서와 전자적으로 통신한다.
용어들 "명령(instruction)들" 및 "코드(code)" 는 임의의 타입의 컴퓨터-판독가능 스테이트먼트(statement)(들)를 포함하도록 넓게 해석되어야 한다. 예를 들어, 용어들 "명령들" 및 "코드"는 하나 이상의 프로그램들, 루틴들, 서브-루틴들, 함수들, 절차(procedure)들 등을 지칭할 수 있다. "명령들" 및 "코드"는 단일 컴퓨터-판독가능 스테이트먼트 또는 많은 컴퓨터-판독가능 스테이트먼트들을 포함할 수 있다. 용어들 "명령들" 및 "코드"는 여기에서 상호교환가능하게 사용될 수도 있다.
여기에서 설명되는 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우에, 상기 기능들은 컴퓨터-판독가능 매체 상에 하나 이상의 명령들로서 저장될 수 있다. 용어 "컴퓨터-판독가능 매체"는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체를 지칭한다. 제한하지 않는 예로서, 컴퓨터-판독가능 매체는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 전달 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는, RAM, ROM, EEPROM, CD-ROM 또는 임의의 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스들, 또는 임의의 다른 매체를 포함할 수 있다. 여기에서 사용되는 바와 같은 디스크 (disk) 및 디스크 (disc) 는 콤팩트 디스크 (CD: compact disc), 레이저 디스크 (disc), 광학 디스크 (disc), 디지털 다기능 디스크 (DVD: digital versatile disc), 플로피 디스크 (disk) 및 블루-레이® 디스크 (disc) 를 포함하며, 여기서, 디스크 (disk) 들은 통상적으로 데이터를 자기적으로 재생하고 디스크 (disc) 들은 레이저들을 통해 광학적으로 데이터를 재생한다.
소프트웨어 또는 명령들은 또한 전송 매체를 통해 송신될 수도 있다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 트위스트 페어, 디지털 가입자 라인 (DSL), 또는 적외선, 라디오 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버 또는 다른 원격 소스로부터 송신되면, 동축 케이블, 광섬유 케이블, 트위스트 페어, DSL, 또는 적외선, 라디오 및 마이크로파와 같은 무선 기술들은 송신 매체의 정의에 포함된다.
여기에서 개시되는 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 상기 방법 단계들 및/또는 액션들은 청구항들의 범위를 벗어남이 없이 상호교환될 수도 있다. 다시 말하면, 설명되는 방법의 적절한 동작을 위해 특정한 순서의 단계들 또는 액션들이 요구되지 않는다면, 특정한 단계들 및/또는 액션들의 순서 및/또는 사용은 청구항들의 범위를 벗어남이 없이 변경될 수도 있다.
또한, 도 6 및 도 12 에 의해 예시된 바와 같은, 여기에서 설명되는 방법들 및 기법들을 수행하기 위한 모듈들 및/또는 다른 적절한 수단들이 다운로드되고/되거나 그렇지 않으면 디바이스에 의해 획득될 수 있다는 것을 이해해야 한다. 예를 들어, 여기에서 설명되는 방법들을 수행하기 위한 수단들의 전달을 용이하게 하기 위해 디바이스는 서버에 커플링될 수도 있다. 대안적으로, 여기에서 설명되는 다양한 방법들은 저장 수단 (예를 들어, 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 콤팩트 디스크(CD) 또는 플로피 디스크와 같은 물리적 저장 매체 등) 을 통해 제공될 수 있어서, 저장 수단을 디바이스에 커플링하거나 제공할 시에 디바이스가 다양한 방법들을 획득할 수 있다. 또한, 여기에서 설명되는 방법들 및 기법들을 디바이스로 제공하기 위한 임의의 다른 적절한 기법이 이용될 수 있다.
청구항들은 상기 예시된 정밀한 구성 및 컴포넌트들로 한정되지 않는다는 것을 이해해야 할 것이다. 다양한 변형물들, 변경물들 및 변동물들이 청구항들의 범위를 벗어남이 없이 여기에서 설명되는 시스템들, 방법들 및 장치들의 배치, 동작 및 세부사항(detail)들에서 이루어질 수도 있다.

Claims (34)

  1. 다중의 오디오 신호들을 사용하여 주변 잡음을 억제하는 방법으로서,
    적어도 2개의 전기-음향 변환기 (electro-acoustic transducer) 에 의해 적어도 2개의 오디오 신호들을 제공하는 단계로서, 상기 적어도 2개의 오디오 신호들은 원하는 오디오 및 주변 잡음을 포함하는, 상기 적어도 2개의 오디오 신호들을 제공하는 단계;
    잡음 레퍼런스 신호로부터 분리되는 원하는 오디오 레퍼런스 신호를 획득하기 위해 상기 적어도 2개의 오디오 신호들에 대해 빔포밍 (beamforming) 을 수행하는 단계; 및
    상기 잡음 레퍼런스 신호로부터 나머지 원하는 오디오를 제거함으로써 상기 잡음 레퍼런스 신호를 리파이닝 (refining) 하여, 리파이닝된 잡음 레퍼런스 신호를 획득하는 단계를 포함하는, 주변 잡음을 억제하는 방법.
  2. 제 1 항에 있어서,
    상기 나머지 원하는 오디오는 고주파수 나머지 원하는 오디오인, 주변 잡음을 억제하는 방법.
  3. 제 1 항에 있어서,
    상기 방법은 통신 디바이스에 의해 구현되고, 상기 원하는 오디오는 스피치 (speech) 를 포함하는, 주변 잡음을 억제하는 방법.
  4. 제 1 항에 있어서,
    상기 적어도 2개의 전기-음향 변환기는 마이크로폰들인, 주변 잡음을 억제하는 방법.
  5. 제 1 항에 있어서,
    상기 적어도 2개의 신호들 사이에서 원하는 오디오 에너지를 밸런싱하기 위해 상기 적어도 2개의 신호들을 교정하는 단계를 더 포함하는, 주변 잡음을 억제하는 방법.
  6. 제 1 항에 있어서,
    상기 빔포밍에 의해 초래된 감쇠 효과를 보상하기 위해 상기 리파이닝된 잡음 레퍼런스 신호를 교정하는 단계를 더 포함하는, 주변 잡음을 억제하는 방법.
  7. 제 6 항에 있어서,
    상기 리파이닝된 잡음 레퍼런스 신호를 교정하는 단계는,
    적어도 2개의 서브-대역들을 획득하기 위해 상기 리파이닝된 잡음 레퍼런스 신호를 필터링하는 단계;
    교정 (calibration) 팩터들을 계산하는 단계로서, 개별 교정 팩터가 각 서브-대역에 대해 계산되는, 상기 교정 팩터들을 계산하는 단계;
    상기 서브-대역들을 상기 교정 팩터들로 승산함으로써 상기 서브-대역들을 교정하는 단계; 및
    상기 교정된 서브-대역들을 합산하는 단계를 포함하는, 주변 잡음을 억제하는 방법.
  8. 제 1 항에 있어서,
    상기 빔포밍은 고정형 빔포밍 (fixed beamforming) 을 포함하는, 주변 잡음을 억제하는 방법.
  9. 제 1 항에 있어서,
    상기 빔포밍은 적응형 빔포밍 (adaptive beamforming) 을 포함하는, 주변 잡음을 억제하는 방법.
  10. 제 1 항에 있어서,
    상기 원하는 오디오 레퍼런스 신호로부터 추가의 잡음을 제거하기 위해 추가의 빔포밍을 수행하는 단계를 더 포함하는, 주변 잡음을 억제하는 방법.
  11. 제 10 항에 있어서,
    상기 추가의 빔포밍을 수행하는 단계는,
    교정되고, 리파이닝된 잡음 레퍼런스 신호를 저역 필터링하는 단계; 및
    상기 저역 필터링되고, 교정되고 리파이닝된 잡음 레퍼런스 신호에 대해 적응형 필터링을 수행하는 단계를 포함하는, 주변 잡음을 억제하는 방법.
  12. 다중의 오디오 신호들을 사용하여 주변 잡음을 억제하는 장치로서,
    원하는 오디오 및 주변 잡음을 포함하는 적어도 2개의 오디오 신호들을 제공하는 적어도 2개의 전기-음향 변환기;
    잡음 레퍼런스 신호로부터 분리되는 원하는 오디오 레퍼런스 신호를 획득하기 위해 상기 적어도 2개의 오디오 신호들에 대해 빔포밍을 수행하는 빔포머 (beamformer); 및
    상기 잡음 레퍼런스 신호로부터 나머지 원하는 오디오를 제거함으로써 상기 잡음 레퍼런스 신호를 리파이닝하여, 리파이닝된 잡음 레퍼런스 신호를 획득하는 잡음 레퍼런스 리파이너 (refiner) 를 포함하는, 주변 잡음을 억제하는 장치.
  13. 제 12 항에 있어서,
    상기 나머지 원하는 오디오는 고주파수 나머지 원하는 오디오인, 주변 잡음을 억제하는 장치.
  14. 제 12 항에 있어서,
    상기 장치는 통신 장치이고, 상기 원하는 오디오는 스피치를 포함하는, 주변 잡음을 억제하는 장치.
  15. 제 12 항에 있어서,
    상기 적어도 2개의 전기-음향 변환기는 마이크로폰들인, 주변 잡음을 억제하는 장치.
  16. 제 12 항에 있어서,
    상기 적어도 2개의 신호들 사이에서 원하는 오디오 에너지를 밸런싱하기 위해 상기 적어도 2개의 신호들을 교정하는 교정기 (calibrator) 를 더 포함하는, 주변 잡음을 억제하는 장치.
  17. 제 12 항에 있어서,
    상기 빔포밍에 의해 초래된 감쇠 효과를 보상하기 위해 상기 리파이닝된 잡음 레퍼런스 신호를 교정하는 잡음 레퍼런스 교정기를 더 포함하는, 주변 잡음을 억제하는 장치.
  18. 제 17 항에 있어서,
    상기 잡음 레퍼런스 교정기는,
    적어도 2개의 서브-대역들을 획득하기 위해 상기 리파이닝된 잡음 레퍼런스 신호를 필터링하는 적어도 2개의 필터;
    교정 팩터들을 계산하는 교정 유닛으로서, 개별 교정 팩터가 각 서브-대역에 대해 계산되는, 상기 교정 유닛;
    상기 서브-대역들을 상기 교정 팩터들로 승산함으로써 상기 서브-대역들을 교정하는 적어도 2개의 승산기; 및
    상기 교정된 서브-대역들을 합산하는 가산기를 포함하는, 주변 잡음을 억제하는 장치.
  19. 제 12 항에 있어서,
    상기 빔포머는 고정형 빔포머인, 주변 잡음을 억제하는 장치.
  20. 제 12 항에 있어서,
    상기 빔포머는 적응형 빔포머인, 주변 잡음을 억제하는 장치.
  21. 제 12 항에 있어서,
    상기 원하는 오디오 레퍼런스 신호로부터 추가의 잡음을 제거하기 위해 추가의 빔포밍을 수행하는 제 2 빔포머를 더 포함하는, 주변 잡음을 억제하는 장치.
  22. 제 21 항에 있어서,
    상기 제 2 빔포머는,
    교정되고, 리파이닝된 잡음 레퍼런스 신호에 대해 저역 필터링을 수행하는 저역 필터; 및
    상기 저역 필터링되고, 교정되고, 리파이닝된 잡음 레퍼런스 신호에 대해 적응형 필터링을 수행하는 적응형 필터를 포함하는, 주변 잡음을 억제하는 장치.
  23. 다중의 오디오 신호들을 사용하여 주변 잡음을 억제하는 장치로서,
    적어도 2개의 전기-음향 변환기에 의해 적어도 2개의 오디오 신호들을 제공하는 수단으로서, 상기 적어도 2개의 오디오 신호들은 원하는 오디오 및 주변 잡음을 포함하는, 상기 적어도 2개의 오디오 신호들을 제공하는 수단;
    잡음 레퍼런스 신호로부터 분리되는 원하는 오디오 레퍼런스 신호를 획득하기 위해 상기 적어도 2개의 오디오 신호들에 대해 빔포밍을 수행하는 수단; 및
    상기 잡음 레퍼런스 신호로부터 나머지 원하는 오디오를 제거함으로써 상기 잡음 레퍼런스 신호를 리파이닝하여, 리파이닝된 잡음 레퍼런스 신호를 획득하는 수단을 포함하는, 주변 잡음을 억제하는 장치.
  24. 제 23 항에 있어서,
    상기 나머지 원하는 오디오는 고주파수 나머지 원하는 오디오인, 주변 잡음을 억제하는 장치.
  25. 제 23 항에 있어서,
    상기 적어도 2개의 신호들 사이에서 원하는 오디오 에너지를 밸런싱하기 위해 상기 적어도 2개의 신호를 교정하는 수단을 더 포함하는, 주변 잡음을 억제하는 장치.
  26. 제 23 항에 있어서,
    상기 빔포밍에 의해 초래된 감쇠 효과를 보상하기 위해 상기 리파이닝된 잡음 레퍼런스 신호를 교정하는 수단을 더 포함하는, 주변 잡음을 억제하는 장치.
  27. 제 26 항에 있어서,
    상기 리파이닝된 잡음 레퍼런스 신호를 교정하는 수단은,
    적어도 2개의 서브-대역들을 획득하기 위해 상기 리파이닝된 잡음 레퍼런스 신호를 필터링하는 수단;
    교정 팩터들을 계산하는 수단으로서, 개별 교정 팩터가 각 서브-대역에 대해 계산되는, 상기 교정 팩터들을 계산하는 수단;
    상기 서브-대역들을 상기 교정 팩터들로 승산함으로써 상기 서브-대역들을 교정하는 수단; 및
    상기 교정된 서브-대역들을 합산하는 수단을 포함하는, 주변 잡음을 억제하는 장치.
  28. 제 23 항에 있어서,
    상기 원하는 오디오 레퍼런스 신호로부터 추가의 잡음을 제거하기 위해 추가의 빔포밍을 수행하는 수단을 더 포함하고,
    상기 추가의 빔포밍을 수행하는 수단은,
    교정되고, 리파이닝된 잡음 레퍼런스 신호를 저역 필터링하여, 저역 필터링되고, 교정되고, 리파이닝된 잡음 레퍼런스 신호를 획득하는 수단; 및
    상기 저역 필터링되고, 교정되고, 리파이닝된 잡음 레퍼런스 신호에 대해 적응형 필터링을 수행하는 수단을 포함하는, 주변 잡음을 억제하는 장치.
  29. 다중의 오디오 신호들을 사용하여 주변 잡음을 억제하는 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 제품은 명령들을 갖는 컴퓨터 판독가능한 매체를 포함하고,
    상기 명령들은,
    적어도 2개의 전기-음향 변환기에 의해 적어도 2개의 오디오 신호들을 제공하는 코드로서, 상기 적어도 2개의 오디오 신호들은 원하는 오디오 및 주변 잡음을 포함하는, 상기 적어도 2개의 오디오 신호들을 제공하는 코드;
    잡음 레퍼런스 신호로부터 분리되는 원하는 오디오 레퍼런스 신호를 획득하기 위해 상기 적어도 2개의 오디오 신호들에 대해 빔포밍을 수행하는 코드; 및
    상기 잡음 레퍼런스 신호로부터 나머지 원하는 오디오를 제거함으로써 상기 잡음 레퍼런스 신호를 리파이닝하여, 리파이닝된 잡음 레퍼런스 신호를 획득하는 코드를 포함하는, 컴퓨터 프로그램 제품.
  30. 제 29 항에 있어서,
    상기 나머지 원하는 오디오는 고주파수 나머지 원하는 오디오인, 컴퓨터 프로그램 제품.
  31. 제 29 항에 있어서,
    상기 적어도 2개의 신호들 사이에서 원하는 오디오 에너지를 밸런싱하기 위해 상기 적어도 2개의 신호들을 교정하는 코드를 더 포함하는, 컴퓨터 프로그램 제품.
  32. 제 29 항에 있어서,
    상기 빔포밍에 의해 초래된 감쇄 효과를 보상하기 위해 상기 리파이닝된 잡음 레퍼런스 신호를 교정하는 코드를 더 포함하는, 컴퓨터 프로그램 제품.
  33. 제 32 항에 있어서,
    상기 리파이닝된 잡음 레퍼런스 신호를 교정하는 코드는,
    적어도 2개의 서브-대역들을 획득하기 위해 상기 리파이닝된 잡음 레퍼런스 신호를 필터링하는 코드;
    교정 팩터들을 계산하는 코드로서, 개별 교정 팩터가 각 서브-대역에 대해 계산되는, 상기 교정 팩터들을 계산하는 코드;
    상기 서브-대역들을 상기 교정 팩터들로 승산함으로써 상기 서브-대역들을 교정하는 코드; 및
    상기 교정된 서브-대역들을 합산하는 코드를 포함하는, 컴퓨터 프로그램 제품.
  34. 제 29 항에 있어서,
    상기 원하는 오디오 레퍼런스 신호로부터 추가의 잡음을 제거하기 위해 추가의 빔포밍을 수행하는 코드를 더 포함하고,
    상기 추가의 빔포밍을 수행하는 코드는,
    교정되고, 리파이닝된 잡음 레퍼런스 신호를 저역 필터링하여, 저역 필터링되고, 교정되고, 리파이닝된 잡음 레퍼런스 신호를 획득하는 코드; 및
    상기 저역 필터링되고, 교정되고, 리파이닝된 잡음 레퍼런스 신호에 대해 적응형 필터링을 수행하는 코드를 포함하는, 컴퓨터 프로그램 제품.
KR1020117014669A 2008-11-25 2009-11-24 다중의 오디오 신호를 사용하여 주변 잡음을 억제하는 방법 및 장치 KR101183847B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/323,200 2008-11-25
US12/323,200 US8812309B2 (en) 2008-03-18 2008-11-25 Methods and apparatus for suppressing ambient noise using multiple audio signals
PCT/US2009/065761 WO2010068455A1 (en) 2008-11-25 2009-11-24 Methods and apparatus for suppressing ambient noise using multiple audio signals

Publications (2)

Publication Number Publication Date
KR20110099269A true KR20110099269A (ko) 2011-09-07
KR101183847B1 KR101183847B1 (ko) 2012-09-19

Family

ID=41682296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117014669A KR101183847B1 (ko) 2008-11-25 2009-11-24 다중의 오디오 신호를 사용하여 주변 잡음을 억제하는 방법 및 장치

Country Status (7)

Country Link
US (1) US8812309B2 (ko)
EP (1) EP2373967A1 (ko)
JP (1) JP5485290B2 (ko)
KR (1) KR101183847B1 (ko)
CN (1) CN102224403A (ko)
TW (1) TW201034006A (ko)
WO (1) WO2010068455A1 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949120B1 (en) * 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
US8184816B2 (en) * 2008-03-18 2012-05-22 Qualcomm Incorporated Systems and methods for detecting wind noise using multiple audio sources
US8812309B2 (en) * 2008-03-18 2014-08-19 Qualcomm Incorporated Methods and apparatus for suppressing ambient noise using multiple audio signals
JP5493611B2 (ja) * 2009-09-09 2014-05-14 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5489778B2 (ja) * 2010-02-25 2014-05-14 キヤノン株式会社 情報処理装置およびその処理方法
US9140815B2 (en) 2010-06-25 2015-09-22 Shell Oil Company Signal stacking in fiber optic distributed acoustic sensing
WO2012084997A2 (en) 2010-12-21 2012-06-28 Shell Internationale Research Maatschappij B.V. Detecting the direction of acoustic signals with a fiber optical distributed acoustic sensing (das) assembly
US9538286B2 (en) * 2011-02-10 2017-01-03 Dolby International Ab Spatial adaptation in multi-microphone sound capture
US20130051590A1 (en) * 2011-08-31 2013-02-28 Patrick Slater Hearing Enhancement and Protective Device
US11665482B2 (en) 2011-12-23 2023-05-30 Shenzhen Shokz Co., Ltd. Bone conduction speaker and compound vibration device thereof
WO2020051786A1 (en) 2018-09-12 2020-03-19 Shenzhen Voxtech Co., Ltd. Signal processing device having multiple acoustic-electric transducers
US9099098B2 (en) * 2012-01-20 2015-08-04 Qualcomm Incorporated Voice activity detection in presence of background noise
EP2665208A1 (en) * 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
ES2727786T3 (es) * 2012-05-31 2019-10-18 Univ Mississippi Sistemas y métodos para detectar señales acústicas transitorias
CN102724360B (zh) * 2012-06-05 2015-05-20 创扬通信技术（深圳）有限公司 一种手机的助听功能实现方法、装置和一种助听手机
US9767818B1 (en) * 2012-09-18 2017-09-19 Marvell International Ltd. Steerable beamformer
JP6028502B2 (ja) * 2012-10-03 2016-11-16 沖電気工業株式会社 音声信号処理装置、方法及びプログラム
US20140126733A1 (en) * 2012-11-02 2014-05-08 Daniel M. Gauger, Jr. User Interface for ANR Headphones with Active Hear-Through
KR102282366B1 (ko) * 2013-06-03 2021-07-27 삼성전자주식회사 음성 향상 방법 및 그 장치
US9257132B2 (en) * 2013-07-16 2016-02-09 Texas Instruments Incorporated Dominant speech extraction in the presence of diffused and directional noise sources
CN104751853B (zh) * 2013-12-31 2019-01-04 辰芯科技有限公司 双麦克风噪声抑制方法及系统
JP6411780B2 (ja) * 2014-06-09 2018-10-24 ローム株式会社 オーディオ信号処理回路、その方法、それを用いた電子機器
EP2963817B1 (en) * 2014-07-02 2016-12-28 GN Audio A/S Method and apparatus for attenuating undesired content in an audio signal
US9407989B1 (en) 2015-06-30 2016-08-02 Arthur Woodrow Closed audio circuit
CN105679329B (zh) * 2016-02-04 2019-08-06 厦门大学 可适应强烈背景噪声的麦克风阵列语音增强装置
WO2018127412A1 (en) * 2017-01-03 2018-07-12 Koninklijke Philips N.V. Audio capture using beamforming
EP3422736B1 (en) 2017-06-30 2020-07-29 GN Audio A/S Pop noise reduction in headsets having multiple microphones
KR20210071664A (ko) * 2019-12-06 2021-06-16 삼성전자주식회사 전자장치 및 그 제어방법
US11670322B2 (en) * 2020-07-29 2023-06-06 Distributed Creation Inc. Method and system for learning and using latent-space representations of audio signals for audio content-based retrieval

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5511128A (en) * 1994-01-21 1996-04-23 Lindemann; Eric Dynamic intensity beamforming system for noise reduction in a binaural hearing aid
US6002776A (en) * 1995-09-18 1999-12-14 Interval Research Corporation Directional acoustic signal processor and method therefor
JP3795610B2 (ja) 1997-01-22 2006-07-12 株式会社東芝 信号処理装置
US6154552A (en) * 1997-05-15 2000-11-28 Planning Systems Inc. Hybrid adaptive beamformer
JP3677143B2 (ja) 1997-07-31 2005-07-27 株式会社東芝 音声処理方法および装置
JPH11231900A (ja) 1998-02-17 1999-08-27 Nagano Japan Radio Co 雑音低減方法および雑音低減装置
US7130429B1 (en) 1998-04-08 2006-10-31 Bang & Olufsen Technology A/S Method and an apparatus for processing auscultation signals
US6594367B1 (en) * 1999-10-25 2003-07-15 Andrea Electronics Corporation Super directional beamforming design and implementation
JP4815661B2 (ja) * 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US20030027600A1 (en) 2001-05-09 2003-02-06 Leonid Krasny Microphone antenna array using voice activity detection
TW589802B (en) 2001-10-09 2004-06-01 Toa Corp Impulse noise suppression device
US20030147539A1 (en) * 2002-01-11 2003-08-07 Mh Acoustics, Llc, A Delaware Corporation Audio system based on at least second-order eigenbeams
US7171008B2 (en) * 2002-02-05 2007-01-30 Mh Acoustics, Llc Reducing noise in audio systems
US20030161485A1 (en) * 2002-02-27 2003-08-28 Shure Incorporated Multiple beam automatic mixing microphone array processing via speech detection
GB2388483B (en) 2002-05-10 2005-08-24 Wolfson Ltd Audio transient suppression circuits and methods
US7082204B2 (en) 2002-07-15 2006-07-25 Sony Ericsson Mobile Communications Ab Electronic devices, methods of operating the same, and computer program products for detecting noise in a signal based on a combination of spatial correlation and time correlation
US7613310B2 (en) * 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7340068B2 (en) 2003-02-19 2008-03-04 Oticon A/S Device and method for detecting wind noise
US7099821B2 (en) * 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
US20070076898A1 (en) * 2003-11-24 2007-04-05 Koninkiljke Phillips Electronics N.V. Adaptive beamformer with robustness against uncorrelated noise
US7778425B2 (en) 2003-12-24 2010-08-17 Nokia Corporation Method for generating noise references for generalized sidelobe canceling
US20050147258A1 (en) * 2003-12-24 2005-07-07 Ville Myllyla Method for adjusting adaptation control of adaptive interference canceller
CN101167405A (zh) * 2003-12-24 2008-04-23 诺基亚公司 利用互补噪声分离滤波器进行有效波束赋形的方法
JP4162604B2 (ja) 2004-01-08 2008-10-08 株式会社東芝 雑音抑圧装置及び雑音抑圧方法
US7415117B2 (en) * 2004-03-02 2008-08-19 Microsoft Corporation System and method for beamforming using a microphone array
ATE413769T1 (de) * 2004-09-03 2008-11-15 Harman Becker Automotive Sys Sprachsignalverarbeitung für die gemeinsame adaptive reduktion von störgeräuschen und von akustischen echos
DE602004015987D1 (de) * 2004-09-23 2008-10-02 Harman Becker Automotive Sys Mehrkanalige adaptive Sprachsignalverarbeitung mit Rauschunterdrückung
US7970151B2 (en) * 2004-10-15 2011-06-28 Lifesize Communications, Inc. Hybrid beamforming
US7876918B2 (en) * 2004-12-07 2011-01-25 Phonak Ag Method and device for processing an acoustic signal
ATE497327T1 (de) * 2005-07-06 2011-02-15 Koninkl Philips Electronics Nv Vorrichtung und verfahren zur schallstrahlformung
US20070047743A1 (en) * 2005-08-26 2007-03-01 Step Communications Corporation, A Nevada Corporation Method and apparatus for improving noise discrimination using enhanced phase difference value
WO2007028250A2 (en) 2005-09-09 2007-03-15 Mcmaster University Method and device for binaural signal enhancement
US7813923B2 (en) * 2005-10-14 2010-10-12 Microsoft Corporation Calibration based beamforming, non-linear adaptive filtering, and multi-sensor headset
US8068619B2 (en) * 2006-05-09 2011-11-29 Fortemedia, Inc. Method and apparatus for noise suppression in a small array microphone system
GB2438259B (en) * 2006-05-15 2008-04-23 Roke Manor Research An audio recording system
DE102006027673A1 (de) * 2006-06-14 2007-12-20 Friedrich-Alexander-Universität Erlangen-Nürnberg Signaltrenner, Verfahren zum Bestimmen von Ausgangssignalen basierend auf Mikrophonsignalen und Computerprogramm
EP2078301A1 (fr) 2006-09-28 2009-07-15 France Telecom Reduction de bruit et de distorsion dans une structure de type forward
TWI310177B (en) 2006-12-29 2009-05-21 Ind Tech Res Inst Noise canceling device and method thereof
WO2008101198A2 (en) 2007-02-16 2008-08-21 Gentex Corporation Triangular microphone assembly for use in a vehicle accessory
JP4897519B2 (ja) 2007-03-05 2012-03-14 株式会社神戸製鋼所 音源分離装置，音源分離プログラム及び音源分離方法
US8954324B2 (en) * 2007-09-28 2015-02-10 Qualcomm Incorporated Multiple microphone voice activity detector
US8223988B2 (en) * 2008-01-29 2012-07-17 Qualcomm Incorporated Enhanced blind source separation algorithm for highly correlated mixtures
US8812309B2 (en) * 2008-03-18 2014-08-19 Qualcomm Incorporated Methods and apparatus for suppressing ambient noise using multiple audio signals
US9113240B2 (en) * 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
US8184816B2 (en) 2008-03-18 2012-05-22 Qualcomm Incorporated Systems and methods for detecting wind noise using multiple audio sources

Also Published As

Publication number Publication date
KR101183847B1 (ko) 2012-09-19
JP5485290B2 (ja) 2014-05-07
EP2373967A1 (en) 2011-10-12
US20090240495A1 (en) 2009-09-24
TW201034006A (en) 2010-09-16
US8812309B2 (en) 2014-08-19
JP2012510090A (ja) 2012-04-26
WO2010068455A1 (en) 2010-06-17
CN102224403A (zh) 2011-10-19

Similar Documents

Publication Publication Date Title
KR101183847B1 (ko) 다중의 오디오 신호를 사용하여 주변 잡음을 억제하는 방법 및 장치
TWI435318B (zh) 利用多重裝置上的多重麥克風之語音加強之方法、設備及電腦可讀媒體
US8811601B2 (en) Integrated echo cancellation and noise suppression
US8194880B2 (en) System and method for utilizing omni-directional microphones for speech enhancement
CN111131947B (zh) 耳机信号处理方法、系统和耳机
JP5479655B2 (ja) 残留エコーを抑制するための方法及び装置
US20140328490A1 (en) Multi-channel echo cancellation and noise suppression
WO2016078369A1 (zh) 移动终端通话语音降噪方法及装置、存储介质
WO2015043150A1 (zh) 一种消除回声的方法及装置
WO2012142270A1 (en) Systems, methods, apparatus, and computer readable media for equalization
JP5785674B2 (ja) デュアルマイクに基づく音声残響低減方法及びその装置
JP5834948B2 (ja) 残響抑制装置、残響抑制方法及び残響抑制用コンピュータプログラム
JP5422054B2 (ja) 時間領域・周波数領域統合反響消去装置及び方法
WO2019112467A1 (en) Method and apparatus for acoustic echo cancellation
US20080181392A1 (en) Echo cancellation and noise suppression calibration in telephony devices
JP7527572B2 (ja) デュアルマイクロフォンアレイのエコー除去方法、装置、および電子機器
JP5022459B2 (ja) 収音装置、収音方法及び収音プログラム
WO2024009892A1 (ja) エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 7