KR20210149858A - 바람 잡음 검출 시스템들 및 방법들 - Google Patents

바람 잡음 검출 시스템들 및 방법들 Download PDF

Info

Publication number
KR20210149858A
KR20210149858A KR1020217038257A KR20217038257A KR20210149858A KR 20210149858 A KR20210149858 A KR 20210149858A KR 1020217038257 A KR1020217038257 A KR 1020217038257A KR 20217038257 A KR20217038257 A KR 20217038257A KR 20210149858 A KR20210149858 A KR 20210149858A
Authority
KR
South Korea
Prior art keywords
wind
detection flag
noise
channel
audio
Prior art date
Application number
KR1020217038257A
Other languages
English (en)
Inventor
리양 뤼
고빈드 칸난
Original Assignee
시냅틱스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시냅틱스 인코포레이티드 filed Critical 시냅틱스 인코포레이티드
Publication of KR20210149858A publication Critical patent/KR20210149858A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/07—Mechanical or electrical reduction of wind noise generated by wind passing a microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

시스템들 및 방법들은 오디오 입력 신호들을 수신하고, 단일 채널 바람 검출 플래그 및 크로스 채널 바람 검출 플래그를 포함하는 바람 검출 플래그를 출력하기 위한 바람 검출기로서, 각각의 바람 검출 플래그는 바람 잡음의 존재 또는 부존재를 표시하는, 상기 바람 검출기, 및 복수의 바람 검출 플래그들을 수신하고 출력 바람 검출 플래그를 생성하기 위한 융합 평활화 모듈을 포함한다. 마이크로폰들은 복수의 오디오 입력 신호들을 생성한다. 바람 검출기 및 융합 평활화 모듈은 디지털 신호 프로세서에 의한 실행을 위해 메모리에 저장된 프로그램 명령들을 포함할 수도 있다. 바람 검출기는 오디오 입력 신호의 단일 오디오 채널을 수신하고 단일 채널 바람 잡음 플래그를 생성하기 위한 단일 채널 검출기, 및 2 이상의 오디오 채널들 사이의 자기상관들 및 상호상관을 산출하기 위한 크로스 채널 검출기이다.

Description

바람 잡음 검출 시스템들 및 방법들
관련 출원들에 대한 상호 참조
본 출원은 “WIND NOISE DETECTION SYSTEMS AND METHODS" 의 명칭으로 2019년 4월 30일자로 출원된 미국 특허출원 제16/399,961호의 이익 및 우선권을 주장하며, 이 출원은 본 명세서에 참조로 전부 통합된다.
기술분야
본 출원은 일반적으로 잡음 소거 시스템들 및 방법들에 관한 것으로서, 더 구체적으로는, 예를 들어, 헤드폰들 (예컨대, 서컴-오럴 (circum-aural), 수프라-오럴 (supra-aural), 및 인이어 타입들), 이어버드들, 및 보청기들과 다른 개인용 청취 디바이스들과 같은 오디오 프로세싱 디바이스들에서 바람 잡음의 소거 및/또는 억제에 관한 것이다.
오디오 프로세싱 디바이스들은 일반적으로, 환경으로부터의 사운드들을 감지하고 대응하는 오디오 신호들을 생성하기 위한 하나 이상의 마이크로폰들을 포함한다. 예를 들어, 능동 잡음 소거 (ANC) 헤드폰은, 감지된 주변 잡음과 크기가 대략 동일하지만 위상이 반대인 잡음 방지 (anti-noise) 신호를 생성하기 위한 레퍼런스 마이크로폰을 포함한다. 주변 잡음 및 잡음 방지 신호는 음향적으로 서로 상쇄하여, 사용자로 하여금 원하는 오디오 신호를 듣게 한다.
하지만, 종래의 ANC 시스템들 (및 다른 잡음 감소 또는 소거 시스템들) 은 모든 잡음을 완전히 소거하지는 않아, 잔류 잡음을 남겨두고 및/또는 사용자에게 방해될 수도 있는 가청 아티팩트들을 생성한다. 예를 들어, ANC 시스템에서 소거된 주변 사운드들과는 달리, 마이크로폰 컴포넌트들에서의 국부적 난기류에 응답하여 마이크로폰에서 바람 잡음이 발생할 수도 있다. 바람 잡음은 사용자의 외이도에 도달하는 주변 잡음과 상관되지 않을 수도 있으며, 대응하는 잡음 방지 신호는 사용자에게 가청일 수도 있다. 오디오 신호로부터 배경 잡음을 제거하도록 시도하는 잡음 억제 시스템들은 바람 잡음을 제거함에 있어서 유사한 난제들에 직면한다.
상기의 관점에서, 감지된 바람 잡음을 포함할 수도 있는 오디오 신호들에 대한 개선된 잡음 감소 및 잡음 소거 시스템들 및 방법들에 대한 지속적인 필요성이 존재한다. 또한, 바람부는 환경들에서 동작할 수도 있는 헤드폰들, 이어버드들 및 다른 개인용 청취 디바이스들을 위한 개선된 능동 잡음 소거 시스템들 및 방법들에 대한 지속적인 필요성이 존재한다.
바람부는 환경들에서 사용될 수도 있는 오디오 디바이스들에서의 능동 잡음 소거 및/또는 잡음 억제를 위한 개선된 시스템들 및 방법들이 본 명세서에서 개시된다. 하나 이상의 실시형태들에 있어서, 시스템은 복수의 오디오 입력 신호들을 수신하고 단일 채널 바람 검출 플래그 및 크로스 채널 바람 검출 플래그를 포함하는 복수의 바람 검출 플래그들을 출력하도록 동작가능한 바람 검출기로서, 각각의 바람 검출 플래그는 바람 잡음의 존재 또는 부존재를 표시하는, 상기 바람 검출기, 및 복수의 바람 검출 플래그들을 수신하고 출력 바람 검출 플래그인 그 출력 바람 검출 플래그를 생성하도록 동작가능한 융합 평활화 모듈을 포함한다.
시스템은 사운드를 감지하고 복수의 오디오 입력 신호들을 생성하도록 동작가능한 복수의 마이크로폰들과, 프로그램 명령들을 저장하는 메모리와, 프로그램 명령들을 실행하도록 동작가능한 디지털 신호 프로세서를 더 포함할 수도 있다. 다양한 구현들에 있어서, 시스템은 오디오 입력 신호들 및 출력 바람 검출 플래그를 수신하고 오디오 입력 신호들에서 검출된 바람 잡음을 감소시키도록 동작가능한 잡음 억제 모듈, 및/또는 출력 바람 검출 플래그에 따라 오디오 입력 신호들의 일부분을 소거하기 위한 잡음 방지 신호를 생성하도록 동작가능한 능동 잡음 소거 시스템을 포함할 수도 있다.
다양한 실시형태들에 있어서, 바람 검출기는 복수의 오디오 입력 신호들의 단일 오디오 채널을 수신하고 단일 채널 바람 검출 플래그를 생성하도록 동작가능한 단일 채널 검출기를 포함한다. 단일 채널 검출기는 주파수 컴포넌트들의 일부분의 전력비의 평균과 표준 편차 및 스펙트럼 기울기를 포함하는 바람 스펙트럼 모델과 단일 오디오 채널을 비교하도록 동작가능할 수도 있다. 바람 검출기는, 전력비의 평균이 임계 평균보다 작고 표준 편차가 임계 표준 편차보다 크면 (예컨대, 바람 잡음이 부존재하는 것으로 결정될 경우) 플래그를 클리어하고, 스펙트럼 기울기가 미리결정된 임계 스펙트럼 기울기보다 크면 (예컨대, 바람 잡음이 존재하는 것으로 결정될 경우) 플래그를 설정하도록 동작가능하다. 바람 검출기는, 2 이상의 오디오 채널들 사이의 자기상관들 및 상호상관을 산출하고, 자기상관들이 상호상관보다 작으면 플래그를 설정하도록 동작가능한 크로스 채널 검출기를 더 포함할 수도 있다.
융합 평활화 모듈은, 크로스 채널 바람 검출 플래그가 온이고 적어도 하나의 단일 채널 바람 검출 플래그가 온이면 출력 바람 검출 플래그를 "존재" 로 설정하고, 미리결정된 수의 미리 생성된 융합 바람 플래그들이 온이면 융합 바람 플래그를 설정하도록 동작가능할 수도 있다.
하나 이상의 실시형태들에 있어서, 방법은 복수의 오디오 입력 신호들을 수신하는 단계, 단일 채널 바람 검출 플래그 및 크로스 채널 바람 검출 플래그를 포함하는 복수의 예비 바람 검출 플래그들을 생성하는 단계로서, 각각의 바람 검출 플래그는 오디오 입력 신호들의 일부분에서 바람 잡음의 존재 또는 부존재를 표시하는, 상기 복수의 예비 바람 검출 플래그들을 생성하는 단계, 및 바람 검출 플래그를 출력하는 단계를 포함한다. 그 방법은, 바람 검출 플래그가 활성이면 오디오 입력 신호들에서의 바람 잡음을 감소시키는 단계, 및/또는 바람 검출 플래그에 따라 오디오 입력 신호들의 일부분을 소거하기 위한 잡음 방지 신호를 생성하는 단계를 더 포함할 수도 있다.
다양한 실시형태들에 있어서, 그 방법은 오디오 입력 신호의 단일 오디오 채널을 수신하고 단일 채널 바람 검출 플래그를 생성하는 단계, 특정 주파수 컴포넌트들의 전력비의 평균과 표준 편차 및 스펙트럼 기울기를 계산함으로써 바람 스펙트럼 모델을 생성하는 단계, 및 단일 오디오 채널을 바람 스펙트럼 모델과 비교하는 단계를 포함한다. 전력비의 평균이 임계 평균보다 작고, 표준 편차가 임계 표준 편차보다 크면, 그 방법은, 바람 잡음이 부존재함을 표시하도록 단일 채널 바람 검출 플래그를 설정할 수도 있다. 스펙트럼 기울기가 미리결정된 임계 스펙트럼 기울기보다 크면, 그 방법은 바람 잡음이 존재함을 표시하도록 단일 채널 바람 잡음 플래그를 설정할 수도 있다.
그 방법은, 2 이상의 오디오 채널들 사이의 자기상관들 및 상호상관을 산출하는 단계, 및 자기상관들이 상호상관들보다 작으면 바람 잡음이 존재함을 결정하는 단계를 더 포함할 수도 있다. 크로스 채널 검출기 바람 잡음 플래그가 온이고 단일 채널 오디오 플래그들 중 적어도 하나가 온이면, 최종 바람 검출 플래그가 “존재" 로 설정될 수도 있다. 그 발명은 추가로, 다수의 미리 결정된 융합 바람 검출 플래그 값들에 기초하여 융합 바람 검출 플래그를 평활화할 수도 있다.
본 발명의 범위는, 이 섹션에 참조로 통합되는 청구항들에 의해 정의된다. 본 개시의 실시형태들의 더 완전한 이해가, 하나 이상의 실시형태들의 다음의 상세한 설명을 고려함으로써, 그의 부가적인 이점들의 실현 뿐만 아니라 당업자에게 제공될 것이다. 먼저 간략하게 설명될 첨부 시트들의 도면들에 대해 참조가 이루어질 것이다.
본 개시의 양태들 및 그 이점들은 다음의 도면들 및 뒤이어지는 상세한 설명을 참조하여 더 잘 이해될 수 있다. 동일한 참조 부호들은 도면들 중 하나 이상에서 예시된 동일한 엘리먼트들을 식별하는데 사용되며, 도면들에서 도시된 것은 본 개시의 실시형태들을 예시하기 위한 목적이며 이를 제한하기 위한 목적은 아님이 인식되어야 한다. 도면들에서의 컴포넌트들이 반드시 스케일링될 필요는 없으며, 대신, 본 개시의 원리들을 명확하게 예시하는데 중점을 둔다.
도 1 은 본 개시의 하나 이상의 실시형태들에 따른 바람 검출 시스템을 예시한다.
도 2 는 본 개시의 하나 이상의 실시형태들에 따른 단일 채널 바람 검출기의 플로우 차트를 예시한다.
도 3 은 본 개시의 하나 이상의 실시형태들에 따른 크로스 채널 바람 검출기의 플로우 차트를 예시한다.
도 4 는 본 개시의 하나 이상의 실시형태들에 따른, 융합-평활화 모듈에서의 융합 스테이지의 플로우 차트를 예시한다.
도 5 는 융합-평활화 모듈에서의 평활화 스테이지의 플로우 차트를 예시한다.
도 6 은 본 개시의 하나 이상의 실시형태들에 따른 오디오 디바이스의 일 실시형태를 예시한다.
능동 잡음 소거 (ANC) 시스템들, 모바일 폰들, 스마트 스피커들, 음성 커맨드 및 프로세싱 시스템들, 자동차 시스템들 (예컨대, 핸즈프리 음성 제어들), 및 바람부는 환경에서 동작할 수도 있는 다른 오디오 프로세싱 시스템들을 포함하는 다양한 오디오 프로세싱 시스템들에서 구현될 수도 있는 개선된 바람 잡음 검출 시스템들 및 방법들이 개시된다.
일 실시형태에 있어서, 바람 잡음 검출 시스템은 2 이상의 공간적으로 분리된 마이크로폰들을 포함한다. 각각의 마이크로폰은, 각각의 마이크로폰에 국부적인 난기류로 인해 감지된 바람 잡음을 포함할 수도 있는 환경에서의 사운드를 감지한다. 결과적으로, 상이한 마이크로폰들은 상이한 바람 잡음 이벤트들을 독립적으로 감지할 수도 있다. 바람 잡음 검출 시스템은 각각의 마이크로폰과 연관된 단일 채널 바람 특징들 및 오디오 채널들 중 2 이상의 오디오 채널들에 대한 크로스 채널 바람 특징들을 분석한다. 일 실시형태에 있어서, 단일 채널 바람 특징들은 바람 잡음의 스펙트럼을 특성화하고, 크로스 채널 바람 특징들은 마이크로폰 신호들의 쌍들 사이의 상호상관을 평가한다. 융합-평활화 스테이지는 결과적인 특징들을 융합하고, 검출 결과들을 필터링하고, 시스템 안정성을 개선하도록 동작한다.
본 명세서에 개시된 시스템 및 방법들은 종래의 솔루션들에 비해 다수의 이점들을 제공한다. 예를 들어, 본 개시의 바람 검출 시스템들 및 방법들은 단일 및 크로스 채널 바람 특징들 양자 모두를 탐색하고, 검출 결과들을 필터링하기 위해 융합-평활화 스테이지를 채용한다. 단일 채널 특징 검출기는 본 명세서에 개시된 바와 같은 고유한 판정 트리 구조를 포함할 수도 있고, 그 특징들은, 예를 들어, 500 Hz 와 1000 Hz 사이의 스펙트럼 기울기 및 저주파수 컴포넌트 전력비의 평균과 표준 편차를 포함할 수도 있다. 계산된 비율 평균과 표준 편차는 다양한 음성 어플리케이션들에서의 사용을 위해 스피치로부터 바람 잡음을 분리하기 위한 양호한 표시자들을 제공한다. 추가로, 스펙트럼 기울기는 바람 잡음 및 (사무실 및 거리 잡음과 같은) 주변 배경 잡음의 구별을 허용한다. 크로스 채널 특징은 2개의 채널 신호들의 상호상관을 제공한다. 시간 도메인에서 작동하는 접근법들과 달리, 제안된 바람 검출 시스템은 주파수 도메인에서 상호상관을 산출할 수도 있다. 다양한 실시형태들에 있어서, 위상 정보가 폐기될 수도 있으며, 및/또는 상호상관은, 예를 들어, 전체 주파수 대역에 대해 또는 저주파수 컴포넌트들만을 사용하여 수행될 수도 있다.
도 1 을 참조하면, 하나 이상의 실시형태들에 따라, 이제, 바람 검출 시스템 (100) 이 설명될 것이다. 바람 검출 시스템 (100) 은 환경에서의 바람의 존재를 모니터링하기 위해 2 이상의 마이크로폰들을 갖는 오디오 프로세싱 시스템으로 구현될 수도 있다. 일부 실시형태들에 있어서, 바람 검출 시스템 (100) 은, 잡음을 억제하고 스피치를 검출하고 타겟 신호를 분리하고 및/또는 다른 멀티채널 오디오 입력 프로세싱을 수행하도록 구성된 디지털 신호 프로세서 (DSP) 를 포함할 수도 있는 오디오 디바이스의 오디오 입력 프로세싱 컴포넌트들에서 구현된다. 바람 검출 시스템 (100) 은, 오디오 디바이스의 잡음 억제 성능을 최적화하는데 사용될 수도 있는 바람 잡음 정보를 생성할 수도 있다. 예를 들어, 2채널 바람 검출 시스템은 환경적 사운드를 모니터링하기 위해 (예컨대, 좌측면 및 우측면 상에) 2개의 외부 마이크로폰들이 장비된 헤드폰 상에서 사용될 수 있다.
바람 검출 시스템 (100) 은 좌측 마이크로폰 (102) 및 우측 마이크로폰 (104) 과 같은 복수의 마이크로폰들 또는 다른 오디오 센서들, 바람 검출기 모듈 (110) 및 융합-평활화 모듈 (140) 을 포함한다. 각각의 마이크로폰 (102 및 104) 은, 원하는 타겟 소스 (106) 로부터의 사운드, 잡음 소스들로부터의 사운드들 및 바람에 의해 국부적으로 생성된 사운드를 포함할 수도 있는 외부 환경에서의 사운드를 감지한다. 마이크로폰들의 각각은, 디지털 샘플링되고 주파수 도메인으로 변환된 입력 오디오 신호를 좌측 채널 (X l (f)) 및 우측 채널 (X r (f)) 로서 생성하며, 여기서, f 는 주파수이다.
바람 검출기 모듈 (110) 은 입력들로서 X l (f) 및 X r (f) 를 수신한다. 바람 검출기 모듈 (110) 은 입력 신호들의 특징들을 분석하도록 구성된 복수의 검출기 서브모듈들을 포함한다. 예시된 실시형태에 있어서, 바람 검출기 모듈 (110) 은 단일 좌측 채널 검출기 (112), 단일 우측 채널 검출기 (116), 및 크로스 채널 검출기 (114) 를 포함한다. 바람 검출기 시스템 (100) 은 추가적인 마이크로폰들을 포함할 수도 있고, 바람 검출기 모듈 (110) 은 각각의 마이크로폰에 대응하는 추가적인 단일 채널 검출기들 및 마이크로폰들 중 2 이상의 마이크로폰들의 그룹핑들에 대응하는 추가적인 크로스 채널 검출기들을 포함할 수도 있다.
단일 좌측 채널 검출기 (112) 는 X l (f) 를 바람 스펙트럼 모델과 비교한다. 비교에서 고려될 특징들은, (1) 저주파수 컴포넌트들의 전력비의 평균과 표준편차 (
Figure pct00001
및
Figure pct00002
); 및 (2) 스펙트럼 기울기 (
Figure pct00003
) 를 포함할 수도 있다. 저주파수 컴포넌트들의 전력비의 평균과 표준 편차 (
Figure pct00004
및
Figure pct00005
) 의 계산이 이제 설명된다. 바람 잡음은 통상적으로 저주파수 대역들 (예컨대, < 1000 Hz) 에 집중되는 한편, 인간 스피치 (예컨대, 음성 제어식 디바이스에서의 원하는 타겟 오디오) 는 더 고주파수 전력들을 갖고 그 전력 분포는 시간 의존적임이 관찰된다. 따라서, 바람 잡음에 있어서 저주파수 컴포넌트들의 전력비는 음성 신호들보다 덜 시간 의존적이고 더 안정적이다. 일 실시형태에 있어서, 전력비는
Figure pct00006
에 의해 산출되며,
여기서, f th 는 저주파수 임계치이다. 단일 좌측 채널 검출기 (112) 는
Figure pct00007
의 평균과 표준 편차 (
Figure pct00008
및
Figure pct00009
) 를 그 임계치들 (
Figure pct00010
및
Figure pct00011
) 과 비교한다.
Figure pct00012
또는
Figure pct00013
이면, 바람 잡음이 부존재하고 음성이 신호를 지배함을 표시한다.
이제, 스펙트럼 기울기 (
Figure pct00014
) 의 계산이 도 2 를 참조하여 설명될 것이다. 바람 잡음은 통상적으로 500 Hz 와 1000 Hz 사이의 선형 스펙트럼 기울기 (
Figure pct00015
) 를 가짐이 관찰된다. 단일 좌측 채널 검출기 (112) 는
Figure pct00016
를 예상된 기울기 임계치 (
Figure pct00017
) 와 비교한다.
Figure pct00018
이면, 바람이 부존재하고 배경 잡음이 신호를 지배함을 표시한다. 도 2 는 단일 좌측 채널 검출기 (112) 를 동작시키기 위한 프로세스 (200) 의 일 실시형태를 예시한다. 프로세스 (200) 는, 예를 들어, 디지털 프로세서에 의한 실행을 위해 메모리에 저장된 프로그램 명령들로서 포함하는 하드웨어 및 소프트웨어의 다양한 조합들에서 구현될 수도 있다.
단계 202 에서, 단일 좌측 채널 검출기는 총 신호 전력 (
Figure pct00019
) 을 산출한다. 단계 204 에서, 단일 좌측 채널 검출기는
Figure pct00020
로서 저주파수 컴포넌트들의 전력을 산출한다. 다음으로, 단계 206 에서, 전력비 (
Figure pct00021
) 가 산출되고, 단계 208 에서,
Figure pct00022
의 평균과 표준 편차 (
Figure pct00023
및
Figure pct00024
) 가 업데이트된다. 단계 210 에서,
Figure pct00025
또는
Figure pct00026
이면, 현재 신호는 음성이고 바람이 부존재한다. 그 다음, 검출기는, 단계 218 에서, 바람 플래그를 클리어하고, 바람의 플래그를 출력으로서 제공한다.
Figure pct00027
또는
Figure pct00028
이 거짓이면, 단일 좌측 채널 검출기는, 단계 212 에서, 500 Hz 와 1000 Hz 사이의 스펙트럼 기울기 (
Figure pct00029
) 를 산출한다. 단계 214 에서,
Figure pct00030
이면, 현재 신호는 배경 잡음이고, 바람이 부존재한다. 검출기는, 단계 218 에서, 바람 플래그를 클리어하고 출력한다.
Figure pct00031
이 거짓이면, 현재 신호는 음성도 배경 잡음도 아니다. 단계 216 에서 바람이 존재하고 바람 플래그가 설정 및 출력된다는 결정이 행해진다.
프로세스 (200) 는 또한, 단일 우측 채널 검출기 (116) 를 통해 잡음의 존재 또는 부존재를 검출하는데 사용될 수도 있다. 단일 우측 채널 검출기 (116) 는 프로세서로 하여금 우측 입력 오디오 채널에 대한 바람 플래그를 설정하기 위해
Figure pct00032
에 적용되는 프로세스 (200) 를 실행하게 하기 위한 프로그램 명령들을 저장할 수도 있다.
다양한 실시형태들에 있어서, 2레벨 판정 체크 프로세스가 바람 잡음을 음성 및 배경 잡음과 구별하기 위해 사용된다. 프로세스는
Figure pct00033
및
Figure pct00034
양자 모두를 프로세싱하는 크로스 채널 검출기 (114) 를 포함한다. 일부 실시형태들에 있어서, 크로스 채널 검출기 (114) 는 본 명세서에 개시된 프로세스들을 실행하도록 디지털 신호 프로세서를 명령하기 위해 메모리에 저장된 프로그램 명령들로서 구현된다. 일 실시형태에 있어서, 크로스 채널 검출기 (114) 는 다음과 같이 좌측 및 우측 채널들의 자기상관들 및 상호상관을 산출하도록 구성된다:
Figure pct00035
Figure pct00036
Figure pct00037
상관 파라미터들 (
Figure pct00038
,
Figure pct00039
, 및
Figure pct00040
) 은 상기 예에서 위상 정보없이 산출됨을 유의한다. 바람 잡음은 각각의 마이크로폰에서의 국부적인 난기류에 의해 생성될 수도 있으며, 이는 좌측 마이크로폰 및 우측 마이크로폰에서 관측되는 바람 신호들 사이의 차이들을 초래한다. 크로스 채널 검출기는
Figure pct00041
를
Figure pct00042
와 비교하며, 여기서,
Figure pct00043
는 임계 계수이다.
Figure pct00044
이면, 바람이 존재함이 결정되고, 바람 플래그가 설정된다.
도 3 은 크로스 채널 검출기 (114) 를 동작시키기 위한 프로세스 (300) 의 일 실시형태를 예시한다. 단계 302 에서, 크로스 채널 검출기는 자기상관들 (
Figure pct00045
및
Figure pct00046
) 을 산출한다. 단계 304 에서, 상호상관 (
Figure pct00047
) 이 산출된다. 단계 306 에서,
Figure pct00048
이면, 단계 308 에서, 바람이 존재하는 것으로 결정되고, 크로스 채널 검출기 (114) 는 바람 플래그를 설정한다. 그렇지 않으면, 크로스 채널 검출기 (114) 는 단계 310 에서 바람 플래그를 클리어한다.
다시 도 1 을 참조하면, 바람 검출기 모듈 (110) 은 단일 좌측 채널 검출기 (112), 단일 우측 채널 검출기 (116), 및 크로스 채널 검출기 (114) 의 결과들을 융합-평활화 모듈 (140) 에 출력한다. 3개의 검출기들의 각각의 결과들은 바람 검출을 결정하는 규칙에 의해 융합된다. 예를 들어, 단일 채널 검출기들 (112, 116) 중 적어도 하나 및 크로스 채널 검출기 (114) 의 바람 플래그들이 설정될 경우 바람이 존재하는 것으로 결정되는 규칙에 의해, 3개의 검출기들의 각각의 출력이 융합될 수도 있다.
도 4 를 참조하면, 이제, 융합 모듈 (142) 의 동작의 일 실시형태가 설명될 것이다. 프로세스 (400) 는, 예를 들어, 디지털 신호 프로세서에 의한 실행을 위해 오디오 프로세서의 메모리에 저장된 프로그램 명령들로서 포함하는 다양한 하드웨어 및/또는 소프트웨어 구성에서 구현될 수도 있다. 단계 402 에서, 크로스 채널 검출기 (114) 의 바람 플래그가 오프이면, 단계 410 에서, 바람은 부존재하며 그 다음 융합 바람 플래그는 클리어된다. 단계 404 에서, 크로스 채널 검출기 (114) 바람 플래그가 온이고 단일 좌측 채널 검출기 (112) 플래그가 온이면, 단계 408 에서, 바람이 존재하는 것으로 결정되고, 융합 바람 플래그가 설정된다. 단계 406 에서, 단일 좌측 채널 검출기 플래그가 온이 아니고 단일 우측 채널 검출기 (116) 의 바람 플래그가 온이면, 단계 408 에서, 바람이 존재하는 것으로 결정되고, 융합 바람 플래그가 설정된다. 그렇지 않으면, 단계 410 에서, 바람은 부존재하고 융합 바람 플래그가 클리어된다.
융합 바람 플래그들이 추가로, 누락 검출 및 오경보 이벤트들을 해결하도록 평활화된다. 예를 들어, 일 실시형태에 있어서, 평활화 방법은 바람 검출 스테이터스를 변경할지 여부를 결정하기 위해 마지막 N개의 융합 바람 플래그들을 체크한다. 마지막 N개의 바람 플래그들 모두가 온이면, 평활화된 바람 플래그는 온이다. 마지막 N개의 바람 플래그들 모두가 오프이면, 평활화된 바람 플래그는 오프이다. 그렇지 않으면, 평활화된 바람 플래그는 그 현재 상태에서 유지될 수도 있다. 다른 설정들 및 알고리즘들이 또한, 시스템의 목표들에 의존하여, 바람 검출 이벤트들에 대한 감도를 증가 또는 감소시키는데 사용될 수도 있다.
도 5 를 참조하면, 이제, 도 1 의 평활화 모듈 (144) 에 의해 수행되는 평활화 동작들의 일 실시형태가 설명될 것이다. 평활화 동작들 (500) 은, 예를 들어, 디지털 신호 프로세서에 의한 실행을 위해 메모리에 저장된 프로그램 명령들로서 포함하는 다양한 하드웨어 및 소프트웨어 구성들에서 구현될 수도 있다. 단계 502 에서, 평활화된 바람 플래그가 "온" 이고 융합 스테이지 바람 플래그가 "온" 이면 (단계 504), 단계 506 에서 융합 플래그 카운터가 리셋된다. 융합 스테이지 바람 플래그가 "오프" 이면, 단계 508 에서 융합 플래그 카운터가 1 만큼 증분된다. 단계 502 를 다시 참조하면, 평활화된 바람 플래그가 "오프" 이고 융합 스테이지 바람 플래그가 "오프" 이면 (단계 510), 단계 512 에서 융합 플래그 카운터가 리셋된다. 융합 스테이지 바람 플래그가 "온" 이면 (단계 510), 단계 508 에서 융합 플래그 카운터가 1 만큼 증분된다. 단계 514 에서, 융합 플래그 카운터가 N 보다 크거나 같으면 (예컨대, N 이 연속적인 바람 플래그들의 수와 동일한 경우), 평활화된 바람 플래그는 융합 바람 플래그와 동일하도록 설정된다 (단계 516).
다양한 실시형태에 있어서, 바람 검출은 셀 폰, PDA, 스마트 스피커들, 스마트 시계들, 헤드폰들, 및 보청기들과 같은 2 이상의 마이크로폰들을 갖는 다양한 디바이스들에서 구현될 수 있다. 푸리에 변환, 및 웨이블릿 변환과 같이 마이크로폰 신호들을 위한 다수의 주파수 도메인 변환 알고리즘들이 존재한다. 본 개시는 하나의 특정 알고리즘으로 제한되지 않는다. 제안된 바람 검출기는 다중 마이크로폰 케이스로 확장될 수 있다. 바람 검출기 모듈은 검출기 바람 플래그들 대신에
Figure pct00049
,
Figure pct00050
,
Figure pct00051
, 및
Figure pct00052
의 특징 값들을 출력할 수 있다. 바람 검출기 모듈은 임계 비교 전에 장기 특징 추정치들을 획득하기 위해 특징들 (
Figure pct00053
,
Figure pct00054
,
Figure pct00055
, 및
Figure pct00056
) 을 평활화할 수 있다. 특징들은 FIR 필터들 및 IIR 필터들에 의해 평활화될 수 있다. 융합-평활화 모듈은 로지스틱 회귀, 나이브 베이지안, 및 뉴럴 네트워크들과 같이, 바람 검출기 모듈 결과들을 융합하기 위한 다른 일반적인 머신 학습 알고리즘들을 채용할 수 있다. 융합-평활화 모듈은 메디안 필터, FIR 필터링, 및 IIR 필터링과 같이, 결과 평활화를 수행하기 위한 다른 일반적인 필터링 알고리즘들을 채용할 수 있다.
도 6 을 참조하면, 이제, 본 개시의 바람 검출 프로세싱을 통합하는 예시적인 시스템이 설명될 것이다. 오디오 디바이스 (600) 는 오디오 센서 어레이 (605) 와 같은 오디오 입력, 오디오 신호 프로세서 (620) 및 호스트 시스템 컴포넌트들 (650) 을 포함한다. 오디오 센서 어레이 (605) 는 하나 이상의 센서들을 포함하며, 그 각각은 음파들을 오디오 신호로 변환할 수도 있다. 예시된 환경에서, 오디오 센서 어레이 (605) 는 복수의 마이크로폰들 (605a-605n) 을 포함하며, 각각은 멀티-채널 오디오 신호의 하나의 오디오 채널을 생성한다.
오디오 신호 프로세서 (620) 는 오디오 입력 회로부 (622), 디지털 신호 프로세서 (624) 및 옵션적인 오디오 출력 회로부 (626) 를 포함한다. 다양한 실시형태들에 있어서, 오디오 신호 프로세서 (620) 는 아날로그 회로부, 디지털 회로부, 및 메모리에 저장된 프로그램 명령들을 실행하도록 동작가능한 디지털 신호 프로세서 (624) 를 포함하는 집적 회로로서 구현될 수도 있다. 예를 들어, 오디오 입력 회로부 (622) 는 오디오 센서 어레이 (605) 로의 인터페이스, 엘리어싱-제거 필터들, 아날로그-투-디지털 컨버터 회로부, 에코 소거 회로부, 및 다른 오디오 프로세싱 회로부 및 컴포넌트들을 포함할 수도 있다.
디지털 신호 프로세서 (624) 는 프로세서, 마이크로프로세서, 단일-코어 프로세서, 멀티-코어 프로세서, 마이크로 제어기, 프로그래밍가능 로직 디바이스 (PLD) (예컨대, 필드 프로그래밍가능 게이트 어레이 (FPGA)), 디지털 신호 프로세싱 (DSP) 디바이스, 또는 하드와이어링, 실행 소프트웨어 명령들, 또는 이들 양자의 조합에 의해, 본 개시의 실시형태들을 위해 본 명세서에서 논의된 다양한 동작들을 수행하도록 구성될 수도 있는 다른 로직 디바이스 중 하나 이상을 포함할 수도 있다.
디지털 신호 프로세서 (624) 는, 하나 이상의 호스트 시스템 컴포넌트들 (650) 에 출력되는 강화된 오디오 신호를 생성하기 위해 멀티채널 디지털 오디오 입력 신호를 프로세싱하도록 동작가능하다. 디지털 신호 프로세서 (624) 는 호스트 시스템 컴포넌트들 (650) 과, 예컨대, 버스 또는 다른 전자 통신 인터페이스를 통해 인터페이싱하고 통신하도록 동작가능하다. 다양한 실시형태들에 있어서, 멀티채널 오디오 신호는 잡음 신호들과 적어도 하나의 원하는 타겟 오디오 신호 (예컨대, 인간 스피치) 의 혼합물을 포함하며, 디지털 신호 프로세서 (624) 는 원하지 않는 잡음 신호들을 감소시키거나 소거하면서 원하는 타겟 신호를 격리 또는 향상시키도록 동작가능하다. 디지털 신호 프로세서 (624) 는 바람 잡음 검출, 스피치/키워드 검출 및 프로세싱, 에코 소거, 잡음 소거, 타겟 신호 추적 및 향상, 포스트-필터링, 및 다른 오디오 신호 프로세싱을 수행하도록 동작가능할 수도 있다.
예시된 실시형태에 있어서, 디지털 신호 프로세서 (624) 는 바람 잡음이 현재 오디오 샘플에 존재하는지 여부를 결정하도록 동작가능한 융합-평활화 컴포넌트 (630) (예컨대, 도 1 의 융합-평활화 모듈 (140)) 및 바람 검출기 (628) (예컨대, 도 1 의 바람 검출기 모듈 (110)) 을 포함한다. 오디오 신호 프로세서 (620) 는 호스트 시스템 컴포넌트들에 의한 추가 프로세싱 (예컨대, 음성 통신들을 위한 음성 입력, 음성 커맨드 프로세싱 등) 을 위해 강화된 타겟 신호를 생성하도록 구성될 수도 있다. 디지털 신호 프로세서 (624) 는 검출된 바람 잡음의 제거를 돕기 위해 잡음 억제 프로세스에서 바람 잡음의 존재 또는 부존재의 표시를 사용할 수도 있다. 다른 실시형태에 있어서, 오디오 신호 프로세서 (620) 는 능동 잡음 소거를 위해 구성될 수도 있고, 바람 잡음의 존재 또는 부존재의 표시는 잡음 방지 신호의 생성을 돕기 위해 디지털 신호 프로세서 (624) 에 의해 사용될 수도 있다. 디지털 신호 프로세서 (624) 는 잡음 억제/소거 모듈 (632) 과 같이 최종 바람 검출 플래그를 활용하는 다른 모듈들을 더 포함할 수도 있다. 다양한 실시형태들에 있어서, 잡음 억제/소거 모듈 (632) 은 입력 오디오 신호들에서 바람 잡음의 잡음 억제를 제공하고/하거나 바람부는 조건들에서 능동 잡음 소거를 위한 잡음 방지를 생성할 수도 있다.
오디오 출력 회로부 (626) 는, 스피커들 (610a 및 610b) 과 같은 적어도 하나의 스피커로의 출력을 위해 디지털 신호 프로세서 (624) 로부터 수신된 오디오 신호들을 프로세싱한다. 오디오 출력 회로부 (626) 는 하나 이상의 디지털 오디오 신호들을 대응하는 아날로그 신호들로 변환하는 디지털-투-아날로그 컨버터, 및 스피커들 (610a 및 610b) 을 구동하기 위한 하나 이상의 증폭기들을 포함할 수도 있다.
오디오 디바이스 (600) 는, 예를 들어, 모바일 폰, 스마트 스피커, 태블릿, 랩탑 컴퓨터, 데스크탑 컴퓨터, 음성 제어식 어플라이언스, 또는 자동차와 같이, 타겟 오디오 데이터를 수신 및 검출하도록 동작가능한 임의의 디바이스로서 구현될 수도 있다. 호스트 시스템 컴포넌트들 (650) 은 오디오 디바이스 (600) 를 동작시키기 위한 다양한 하드웨어 및 소프트웨어 컴포넌트들을 포함할 수도 있다. 예시된 실시형태에 있어서, 호스트 시스템 컴포넌트들 (650) 은 프로세서 (652), 사용자 인터페이스 컴포넌트들 (654), 외부 디바이스들 및 네트워크들, 예컨대, 네트워크 (680) (예컨대, 인터넷, 클라우드, 로컬 영역 네트워크, 또는 셀룰러 네트워크) 및 모바일 디바이스 (684) 와 통신하기 위한 통신 인터페이스 (656), 및 메모리 (658) 를 포함한다.
프로세서 (652) 는 프로세서, 마이크로프로세서, 단일-코어 프로세서, 멀티-코어 프로세서, 마이크로 제어기, 프로그래밍가능 로직 디바이스 (PLD) (예컨대, 필드 프로그래밍가능 게이트 어레이 (FPGA)), 디지털 신호 프로세싱 (DSP) 디바이스, 또는 하드와이어링, 실행 소프트웨어 명령들, 또는 이들 양자의 조합에 의해, 본 개시의 실시형태들을 위해 본 명세서에서 논의된 다양한 동작들을 수행하도록 구성될 수도 있는 다른 로직 디바이스 중 하나 이상을 포함할 수도 있다. 호스트 시스템 컴포넌트들 (650) 은 오디오 신호 프로세서 (620) 및 다른 호스트 시스템 컴포넌트들 (650) 과, 예컨대, 버스 또는 다른 전자 통신 인터페이스를 통해 인터페이싱하고 통신하도록 동작가능하다.
오디오 신호 프로세서 (620) 및 호스트 시스템 컴포넌트들 (650) 이 하드웨어 컴포넌트들, 회로부 및 소프트웨어의 조합을 통합한 것으로서 도시되지만, 일부 실시형태들에 있어서, 하드웨어 컴포넌트들 및 회로부들이 수행하도록 동작가능한 기능들의 적어도 일부 또는 전부는 메모리 (658) 또는 디지털 신호 프로세서 (624) 의 펌웨어에 저장된 소프트웨어 명령들 및/또는 구성 데이터에 응답하여 프로세서 (652) 및/또는 디지털 신호 프로세서 (624) 에 의해 실행된 소프트웨어 모듈들로서 구현될 수도 있음이 인식될 것이다.
메모리 (658) 는 오디오 데이터 및 프로그램 명령들을 포함하는 데이터 및 정보를 저장하도록 동작가능한 하나 이상의 메모리 디바이스들로서 구현될 수도 있다. 메모리 (658) 는 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 전기적으로 소거가능한 판독 전용 메모리 (EEPROM), 플래시 메모리, 하드 디스크 드라이브, 및/또는 다른 타입들의 메모리와 같은 휘발성 및 비휘발성 메모리 디바이스들을 포함하는 하나 이상의 다양한 타입들의 메모리 디바이스들을 포함할 수도 있다.
프로세서 (652) 는 메모리 (658) 에 저장된 소프트웨어 명령들을 실행하도록 동작가능할 수도 있다. 다양한 실시형태들에 있어서, 스피치 인식 엔진 (660) 은 음성 커맨드들을 식별하고 실행하는 것을 포함하여 오디오 신호 프로세서 (620) 로부터 수신된 강화된 오디오 신호를 프로세싱하도록 동작가능하다. 음성 통신 컴포넌트들 (662) 은 모바일 디바이스 (684) 또는 사용자 디바이스 (686) 와 같은 하나 이상의 외부 디바이스들과, 예컨대, 모바일 또는 셀룰러 전화 네트워크 상의 음성 호 또는 IP (인터넷 프로토콜) 네트워크 상의 VoIP 호를 통해 음성 통신을 용이하게 하도록 동작가능할 수도 있다. 다양한 실시형태들에 있어서, 음성 통신들은 강화된 오디오 신호의 외부 통신 디바이스로의 송신을 포함한다.
사용자 인터페이스 컴포넌트들 (654) 은 디스플레이, 터치패드 디스플레이, 키패드, 하나 이상의 버튼들 및/또는 사용자로 하여금 오디오 디바이스 (600) 와 직접 상호작용하게 하도록 동작가능한 다른 입력/출력 컴포넌트들을 포함할 수도 있다. 통신 인터페이스 (656) 는 오디오 디바이스 (600) 와 외부 디바이스들 사이의 통신을 용이하게 한다. 예를 들어, 통신 인터페이스 (656) 는 오디오 디바이스 (600) 와, 하나 이상의 로컬 디바이스들, 예컨대, 모바일 디바이스 (684), 또는 원격 서버 (682) 로의, 예컨대 네트워크 (680) 를 통한 네트워크 액세스를 제공하는 무선 라우터 사이의 Wi-Fi (예컨대, 802.11) 또는 블루투스 연결들을 인에이블할 수도 있다. 다양한 실시형태들에 있어서, 통신 인터페이스 (656) 는 오디오 디바이스 (600) 와 하나 이상의 다른 디바이스들 사이의 직접 또는 간접 통신을 용이하게 하는 다른 유선 및 무선 통신 컴포넌트들을 포함할 수도 있다.
전술한 개시는 개시된 사용의 특정 필드들 또는 정확한 형태들로 본 개시를 제한하도록 의도되지 않는다. 그와 같이, 본 개시에 대한 다양한 대안의 실시형태들 및/또는 수정들이, 본 명세서에 명시적으로 기재되든 암시되든, 개시를 고려하여 가능하다고 고려된다. 따라서, 본 개시의 실시형태들을 설명하였지만, 당업자는 본 개시의 범위로부터 일탈함없이 상세 및 형태에서 변경들이 행해질 수도 있음을 인식할 것이다. 따라서, 본 개시는 청구항들에 의해서만 제한된다.

Claims (20)

  1. 시스템으로서,
    복수의 오디오 입력 신호들을 수신하고, 단일 채널 바람 검출 플래그 및 크로스 채널 바람 검출 플래그를 포함하는 복수의 바람 검출 플래그들을 출력하도록 동작가능한 바람 검출기로서, 각각의 바람 검출 플래그는 바람 잡음의 존재 또는 부존재를 표시하는, 상기 바람 검출기; 및
    상기 복수의 바람 검출 플래그들을 수신하고, 출력 바람 검출 플래그인 상기 출력 바람 검출 플래그를 생성하도록 동작가능한 융합 평활화 모듈을 포함하는, 시스템.
  2. 제 1 항에 있어서,
    사운드를 감지하고 상기 복수의 오디오 입력 신호들을 생성하도록 동작가능한 복수의 마이크로폰들을 더 포함하는, 시스템.
  3. 제 1 항에 있어서,
    프로그램 명령들을 저장하는 메모리, 및 상기 프로그램 명령들을 실행하도록 동작가능한 디지털 신호 프로세서를 더 포함하고,
    상기 바람 검출기 및 상기 융합 평활화 모듈은 상기 메모리에 저장된 프로그램 명령들을 포함하는, 시스템.
  4. 제 1 항에 있어서,
    상기 오디오 입력 신호들 및 상기 출력 바람 검출 플래그를 수신하고, 상기 오디오 입력 신호들에서 검출된 바람 잡음을 감소시키도록 동작가능한 잡음 억제 모듈을 더 포함하는, 시스템.
  5. 제 1 항에 있어서,
    상기 출력 바람 검출 플래그에 따라 상기 오디오 입력 신호들의 일부분을 소거하기 위한 잡음 방지 신호를 생성하도록 동작가능한 능동 잡음 소거 시스템을 더 포함하는, 시스템.
  6. 제 1 항에 있어서,
    상기 바람 검출기는 상기 복수의 오디오 입력 신호들의 단일 오디오 채널을 수신하고, 상기 단일 채널 바람 검출 플래그를 생성하도록 동작가능한 단일 채널 검출기를 포함하는, 시스템.
  7. 제 6 항에 있어서,
    상기 단일 채널 검출기는 상기 단일 오디오 채널을 바람 스펙트럼 모델과 비교하도록 동작가능한, 시스템.
  8. 제 7 항에 있어서,
    상기 바람 스펙트럼 모델은 주파수 컴포넌트들의 일부분의 전력비의 평균과 표준 편차 및 스펙트럼 기울기를 포함하고, 상기 전력비의 평균이 임계 평균보다 작거나 상기 전력비의 표준 편차가 임계 표준 편차들보다 크면, 바람 잡음이 부존재하는 것으로 결정되고; 상기 스펙트럼 기울기가 미리결정된 임계 스펙트럼 기울기보다 크면, 바람이 존재하는 것으로 결정되는, 시스템.
  9. 제 6 항에 있어서,
    상기 바람 검출기는, 2 이상의 오디오 채널들 사이의 자기상관들 및 상호상관을 산출하도록 동작가능한 크로스 채널 검출기를 포함하고, 상기 자기상관들이 상기 상호상관보다 작으면 바람이 존재하는 것으로 결정되는, 시스템.
  10. 제 1 항에 있어서,
    상기 융합 평활화 모듈은, 상기 크로스 채널 바람 검출 플래그가 온이고 적어도 하나의 단일 채널 바람 검출 플래그가 온이면, 상기 출력 바람 검출 플래그를 존재로 설정하도록 동작가능한, 시스템.
  11. 제 1 항에 있어서,
    융합 평활화 기능부는, 미리결정된 수의 미리 생성된 융합 바람 플래그들이 온이면 융합 바람 플래그를 설정하도록 동작가능한, 시스템.
  12. 복수의 오디오 입력 신호들을 수신하는 단계;
    단일 채널 바람 검출 플래그 및 크로스 채널 바람 검출 플래그를 포함하는 복수의 예비 바람 검출 플래그들을 생성하는 단계로서, 각각의 바람 검출 플래그는 상기 오디오 입력 신호들의 일부분에서 바람 잡음의 존재 또는 부존재를 표시하는, 상기 복수의 예비 바람 검출 플래그들을 생성하는 단계; 및
    상기 바람 검출 플래그를 출력하는 단계를 포함하는, 방법.
  13. 제 12 항에 있어서,
    상기 바람 검출 플래그가 활성이면, 상기 오디오 입력 신호들에서의 바람 잡음을 감소시키는 단계를 더 포함하는, 방법.
  14. 제 12 항에 있어서,
    상기 바람 검출 플래그에 따라 상기 오디오 입력 신호들의 일부분을 소거하기 위한 잡음 방지 신호를 생성하는 단계를 더 포함하는, 방법.
  15. 제 12 항에 있어서,
    상기 오디오 입력 신호의 단일 오디오 채널을 수신하는 단계, 및 상기 단일 채널 바람 검출 플래그를 생성하는 단계를 더 포함하는, 방법.
  16. 제 15 항에 있어서,
    상기 단일 오디오 채널을 바람 스펙트럼 모델과 비교하는 단계를 더 포함하는, 방법.
  17. 제 16 항에 있어서,
    특정 주파수 컴포넌트들의 전력비의 평균과 표준 편차 및 스펙트럼 기울기를 계산함으로써 상기 바람 스펙트럼 모델을 생성하는 단계;
    상기 전력비의 평균이 임계 평균보다 작거나 상기 표준 편차가 임계 표준 편차보다 크면, 상기 바람 잡음이 부존재함을 표시하도록 상기 단일 채널 바람 검출 플래그를 설정하는 단계; 및
    상기 스펙트럼 기울기가 미리결정된 임계 스펙트럼 기울기보다 크면, 상기 바람 잡음이 존재함을 표시하도록 단일 채널 바람 잡음 플래그를 설정하는 단계를 더 포함하는, 방법.
  18. 제 16 항에 있어서,
    2 이상의 오디오 채널들 사이의 자기상관들 및 상호상관을 산출하는 단계; 및 상기 자기상관들이 상기 상호상관들보다 작으면 상기 바람 잡음이 존재함을 결정하는 단계를 더 포함하는, 방법.
  19. 제 12 항에 있어서,
    크로스 채널 검출기 바람 잡음 플래그가 온이고 단일 채널 오디오 플래그들 중 적어도 하나가 온이면, 최종 바람 검출 플래그를 존재로 설정하는 단계를 더 포함하는, 방법.
  20. 제 19 항에 있어서,
    다수의 미리 결정된 융합 바람 검출 플래그 값들에 기초하여 융합 바람 검출 플래그를 평활화하는 단계를 더 포함하는, 방법.
KR1020217038257A 2019-04-30 2020-04-28 바람 잡음 검출 시스템들 및 방법들 KR20210149858A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/399,961 US10721562B1 (en) 2019-04-30 2019-04-30 Wind noise detection systems and methods
US16/399,961 2019-04-30
PCT/US2020/030312 WO2020223261A1 (en) 2019-04-30 2020-04-28 Wind noise detection systems and methods

Publications (1)

Publication Number Publication Date
KR20210149858A true KR20210149858A (ko) 2021-12-09

Family

ID=71611939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217038257A KR20210149858A (ko) 2019-04-30 2020-04-28 바람 잡음 검출 시스템들 및 방법들

Country Status (4)

Country Link
US (1) US10721562B1 (ko)
KR (1) KR20210149858A (ko)
CN (1) CN113711308A (ko)
WO (1) WO2020223261A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11304001B2 (en) * 2019-06-13 2022-04-12 Apple Inc. Speaker emulation of a microphone for wind detection
CN113286214B (zh) * 2020-02-20 2022-09-27 小鸟创新(北京)科技有限公司 耳机信号处理方法、装置和耳机
US11468875B2 (en) * 2020-12-15 2022-10-11 Google Llc Ambient detector for dual mode ANC
WO2022140103A1 (en) * 2020-12-22 2022-06-30 Dolby Laboratories Licensing Corporation Perceptual enhancement for binaural audio recording
EP4061019A1 (en) 2021-03-18 2022-09-21 Bang & Olufsen A/S A headset capable of compensating for wind noise
US11682411B2 (en) 2021-08-31 2023-06-20 Spotify Ab Wind noise suppresor

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082204B2 (en) * 2002-07-15 2006-07-25 Sony Ericsson Mobile Communications Ab Electronic devices, methods of operating the same, and computer program products for detecting noise in a signal based on a combination of spatial correlation and time correlation
US7340068B2 (en) * 2003-02-19 2008-03-04 Oticon A/S Device and method for detecting wind noise
KR101118217B1 (ko) * 2005-04-19 2012-03-16 삼성전자주식회사 오디오 데이터 처리 장치 및 방법
US8488803B2 (en) * 2007-05-25 2013-07-16 Aliphcom Wind suppression/replacement component for use with electronic systems
US8184816B2 (en) * 2008-03-18 2012-05-22 Qualcomm Incorporated Systems and methods for detecting wind noise using multiple audio sources
US8515097B2 (en) * 2008-07-25 2013-08-20 Broadcom Corporation Single microphone wind noise suppression
US9330675B2 (en) * 2010-11-12 2016-05-03 Broadcom Corporation Method and apparatus for wind noise detection and suppression using multiple microphones
US20120163622A1 (en) * 2010-12-28 2012-06-28 Stmicroelectronics Asia Pacific Pte Ltd Noise detection and reduction in audio devices
US20150058002A1 (en) * 2012-05-03 2015-02-26 Telefonaktiebolaget L M Ericsson (Publ) Detecting Wind Noise In An Audio Signal
GB2532379B (en) * 2013-07-12 2019-06-19 Cirrus Logic Int Semiconductor Ltd Two-stage wind noise reduction method
US10091579B2 (en) * 2014-05-29 2018-10-02 Cirrus Logic, Inc. Microphone mixing for wind noise reduction
WO2016011499A1 (en) * 2014-07-21 2016-01-28 Wolfson Dynamic Hearing Pty Ltd Method and apparatus for wind noise detection
EP2996352B1 (en) * 2014-09-15 2019-04-17 Nxp B.V. Audio system and method using a loudspeaker output signal for wind noise reduction
EP3264798A1 (en) * 2016-06-27 2018-01-03 Oticon A/s Control of a hearing device
KR20180108155A (ko) * 2017-03-24 2018-10-04 삼성전자주식회사 바람 소리가 조정된 신호를 출력하는 방법 및 전자 장치
US10582293B2 (en) * 2017-08-31 2020-03-03 Bose Corporation Wind noise mitigation in active noise cancelling headphone system and method
US10504537B2 (en) * 2018-02-02 2019-12-10 Cirrus Logic, Inc. Wind noise measurement

Also Published As

Publication number Publication date
CN113711308A (zh) 2021-11-26
WO2020223261A1 (en) 2020-11-05
US10721562B1 (en) 2020-07-21

Similar Documents

Publication Publication Date Title
KR20210149858A (ko) 바람 잡음 검출 시스템들 및 방법들
US10535362B2 (en) Speech enhancement for an electronic device
US8391507B2 (en) Systems, methods, and apparatus for detection of uncorrelated component
EP3096318B1 (en) Noise reduction in multi-microphone systems
EP2736271B1 (en) A method of controlling an update algorithm of an adaptive feedback estimation system and a de-correlation unit
EP3203473B1 (en) A monaural speech intelligibility predictor unit, a hearing aid and a binaural hearing system
US20190342683A1 (en) Blocked microphone detection
KR20080059147A (ko) 노이즈 환경에서 스피치 신호의 강건한 분리
CN108235181B (zh) 在音频处理装置中降噪的方法
US20230280965A1 (en) Robust voice activity detector system for use with an earphone
US20140341386A1 (en) Noise reduction
US11206485B2 (en) Audio processing using distributed machine learning model
US10204637B2 (en) Noise reduction methodology for wearable devices employing multitude of sensors
CN113949955B (zh) 降噪处理方法、装置、电子设备、耳机及存储介质
CN113132885B (zh) 基于双麦克风能量差异判别耳机佩戴状态的方法
US11889268B2 (en) Method for operating a hearing aid system having a hearing instrument, hearing aid system and hearing instrument
US9992583B2 (en) Hearing aid system and a method of operating a hearing aid system
CN111757211B (zh) 降噪方法、终端设备及存储介质
JPH04212600A (ja) 音声入力装置
JP2009089133A (ja) 放収音装置
CN117729468A (zh) 一种tws耳机模式切换方法及装置
CN118072709A (zh) 用于有源噪声消除（anc）系统和方法的啸叫抑制