KR20170034405A - 바람 잡음 검출을 위한 방법 및 장치 - Google Patents

바람 잡음 검출을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20170034405A
KR20170034405A KR1020177004541A KR20177004541A KR20170034405A KR 20170034405 A KR20170034405 A KR 20170034405A KR 1020177004541 A KR1020177004541 A KR 1020177004541A KR 20177004541 A KR20177004541 A KR 20177004541A KR 20170034405 A KR20170034405 A KR 20170034405A
Authority
KR
South Korea
Prior art keywords
signal
distribution
wind
wind noise
microphone
Prior art date
Application number
KR1020177004541A
Other languages
English (en)
Other versions
KR102313894B1 (ko
Inventor
비탈리 사포즈니코프
Original Assignee
시러스 로직 인터내셔널 세미컨덕터 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2014902804A external-priority patent/AU2014902804A0/en
Application filed by 시러스 로직 인터내셔널 세미컨덕터 리미티드 filed Critical 시러스 로직 인터내셔널 세미컨덕터 리미티드
Publication of KR20170034405A publication Critical patent/KR20170034405A/ko
Application granted granted Critical
Publication of KR102313894B1 publication Critical patent/KR102313894B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/01Noise reduction using microphones having different directional characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/07Mechanical or electrical reduction of wind noise generated by wind passing a microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03Synergistic effects of band splitting and sub-band processing

Abstract

본 발명은 바람 잡음을 검출하기 위해 디지털화된 마이크 신호 데이터를 처리하는 것에 관한 것이다. 제1 신호 및 제2 신호는 적어도 하나의 마이크로부터 얻어진다. 제1 및 제2 신호들은 공통의 음향 입력을 반영하고, 일시적으로 별개이거나, 공간적으로 별개이거나, 둘 다이다. 제1 신호는 제1 신호의 샘플들의 제1 분포를 결정하기 위해 처리된다. 제2 신호는 제2 신호의 샘플들의 제2 분포를 결정하기 위해 처리된다. 제1 분포와 제2 분포 사이의 차이가 계산된다. 차이가 검출 임계치를 초과하면, 바람 잡음이 존재한다는 표시가 출력된다.

Description

바람 잡음 검출을 위한 방법 및 장치{METHOD AND APPARATUS FOR WIND NOISE DETECTION}
본 발명은 마이크 또는 다른 그러한 트랜스듀서로부터의 신호의 디지털 처리에 관한 것으로, 특히 예를 들어, 바람 잡음 보정 또는 억제가 개시되거나 제어되는 것을 가능하게 하도록 그러한 신호의 바람 잡음 등의 존재를 검출하는 디바이스 및 방법에 관한 것이다.
바람 잡음은 바람이 원거리 음장에서 나무를 지나 불음에 따라, 바스락거리는 나뭇잎의 소리와 같은 다른 대상을 지나 부는 바람의 소리와는 대조적으로 마이크 포트를 지나 또는 마이크 막을 통해 흐르는 기류의 난기류로부터 생성되는 마이크 신호로서 본원에 정의된다. 바람 잡음은 비연속적이고 흔히 공칭 발성 진폭을 초과하기에 충분히 큰 진폭을 갖는다. 바람 잡음은 사용자에게 불쾌할 수 있고/있거나 관심 있는 다른 신호를 마스킹할 수 있다. 디지털 신호 처리 디바이스가 신호 품질 상의 바람 잡음의 유해한 효과를 개선하는 단계들을 취하도록 구성되는 것이 바람직하다. 그렇게 하는 것은 실제로 다른 요인이 신호에 영향을 줄 때, 바람 잡음을 틀리게 검출하지 않고 바람 잡음이 일어날 때, 바람 잡음을 확실히 검출하는 적절한 수단을 필요로 한다.
바람 잡음 검출(WND)에 대한 이전 접근법은 비바람 소리가 원거리 음장에서 생성되고 따라서 각각의 마이크에서의 유사 음압 레벨(SPL) 및 위상을 갖는데 반해, 바람 잡음이 마이크들에 걸쳐 실질적으로 상관되지 않는다고 가정한다. 그러나 원거리 음장에 생성되는 비바람 소리의 경우, 마이크들 사이의 SPL은 국부화된 소리 반사, 룸 잔향 및/또는 마이크 덮개, 장애물, 또는 예를 들어, 내측을 향하는 하나의 마이크 및 외측을 향하는 다른 마이크로의 스마트폰 상의 마이크들의 직교면 배치로 인한 위치의 차이로 인해 실질적으로 다를 수 있다. 마이크들 사이의 실질적 SPL 차이는 마이크에 근접하게 쥐어지는 전화기 핸드셋과 같은 근거리 음장에 생성되는 비바람 소리로 일어날 수도 있다. 마이크 출력 신호의 차이는 마이크 감도의 차이 즉, 일치되지 않은 마이크로 인해 발생할 수도 있으며, 이는 마이크의 주어진 모델에 대한 완화된 제조 공차, 또는 시스템에서 마이크의 상이한 모델의 사용으로 인할 수 있다.
마이크들 사이의 간격은 소리가 마이크들 둘 다에 동시에 도달하는 방향에서 소리가 찾아오지 않는다면, 비바람 소리가 각각의 마이크 소리 입구에서 상이한 위상을 갖게 한다. 지향성 마이크 응용에서, 마이크 어레이의 축은 통상적으로 원하는 음원으로 가리켜지며, 이는 최악의 경우를 가정한 시간 지연 그리고 따라서 마이크들 사이의 최대 위상차를 부여한다.
수신된 소리의 파장이 마이크들 사이의 간격보다 훨씬 더 클 때, 즉, 저주파수에서, 마이크 신호들은 상당히 양호하게 상관되고 이전 WND 방법은 그러한 주파수에서 바람을 틀리게 검출하지 않을 수 있다. 그러나, 수신된 소리 파장이 마이크 간격에 접근할 때, 위상차는 마이크 신호들이 덜 상관되게 하고 비바람 소리는 바람으로서 틀리게 검출될 수 있다. 마이크 간격이 더 클수록, 비바람 소리가 바람으로서 틀리게 검출될 주파수는 더 낮으며 즉, 오류 검출이 일어날 가청의 스펙트럼의 부분이 더 크다. 오류 검출은 국부화된 소리 반사, 룸 잔향, 및/또는 마이크 위상 응답 또는 입구 포트 길이의 차이와 같은 마이크 신호들 사이의 위상차의 다른 원인으로 인해 일어날 수도 있다. 마이크에서 바람 잡음의 스펙트럼 콘텐츠가 하드웨어 구성, 사용자의 머리 또는 손의 존재, 및 바람 속도와 같은 요인에 의존하여 100 ㎐ 미만에서 10 ㎑ 초과까지 연장될 수 있다는 것을 고려하면, 바람 잡음 검출이 가청의 스펙트럼의 대부분, 그렇지 않으면 모두 전체에 걸쳐 만족스럽게 작동하여, 바람 잡음이 검출되고 적절한 억제 수단이 바람 잡음이 문제가 많은 부대역에서만 활성화될 수 있는 것이 바람직하다.
본 명세서에 포함되었던 문서, 행위, 재료, 디바이스, 물품 등의 임의의 논의는 오로지 본 발명에 대한 맥락을 제공하기 위한 것이다. 이는 이러한 문제들 중 임의의 것 또는 모두가 종래 기술 기반의 일부를 형성하거나, 본 출원의 각각의 청구항의 우선권 날짜 이전에 그것이 존재했던 것으로써 본 발명에 관련된 분야의 통상의 일반적 인지였음을 시인하는 것으로 취해지지 않아야 한다.
본 명세서 전체에 걸쳐, "포함하다(comprise)"란 단어, 또는 "포함한다(comprises)" 또는 "포함하는(comprising)"과 같은 변형은 임의의 다른 요소, 정수 또는 단계, 또는 요소들, 정수들 또는 단계들의 그룹의 배제가 아닌, 진술된 요소, 정수 또는 단계, 또는 요소들, 정수들 또는 단계들의 그룹의 포함을 나타내는 것으로 이해될 것이다.
본 명세서에서, 요소가 선택권들의 목록 “중 적어도 하나”일 수 있다는 진술은 요소가 목록으로 나열된 선택권들 중 임의의 하나일 수 있거나, 목록으로 나열된 선택권들 중 2개 이상의 임의의 조합일 수 있는 것으로 이해되어야 한다.
제1 양태에 따르면, 본 발명은 바람 잡음을 검출하기 위해 디지털화된 마이크 신호 데이터를 처리하는 방법을 제공하며, 방법은:
적어도 하나의 마이크로부터 제1 신호 및 제2 신호를 얻는 단계로서, 제1 및 제2 신호들은 공통의 음향 입력을 반영하고, 제1 및 제2 신호들은 적어도 하나가 일시적으로 별개이고 공간적으로 별개인 단계;
제1 신호의 샘플들의 제1 분포를 결정하기 위해 제1 신호를 처리하는 단계;
제2 신호의 샘플들의 제2 분포를 결정하기 위해 제2 신호를 처리하는 단계;
제1 분포와 제2 분포 사이의 차이를 계산하는 단계; 및
차이가 검출 임계치를 초과하면, 바람 잡음이 존재한다는 표시를 출력하는 단계를 포함한다.
제2 양태에 따르면, 본 발명은 바람 잡음을 검출하는 디바이스를 제공하며, 디바이스는:
적어도 제1 마이크; 및
적어도 하나의 마이크로부터 제1 신호 및 제2 신호를 얻으며, 제1 및 제2 신호들은 공통의 음향 입력을 반영하고, 제1 및 제2 신호들은 적어도 하나가 일시적으로 별개이고 공간적으로 별개이고;
제1 신호의 샘플들의 제1 분포를 결정하기 위해 제1 신호를 처리하고;
제2 신호의 샘플들의 제2 분포를 결정하기 위해 제2 신호를 처리하고;
제1 분포와 제2 분포 사이의 차이를 계산하고;
차이가 검출 임계치를 초과하면, 바람 잡음이 존재한다는 표시를 출력하도록 구성되는 프로세스를 포함한다.
제3 양태에 따르면, 본 발명은 바람 잡음 검출을 위한 절차를 컴퓨터가 수행하게 하도록 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 제품을 제공하며, 컴퓨터 프로그램 제품은:
적어도 하나의 마이크로부터 제1 신호 및 제2 신호를 얻는 컴퓨터 프로그램 코드 수단으로서, 제1 및 제2 신호들은 공통의 음향 입력을 반영하고, 제1 및 제2 신호들은 적어도 하나가 일시적으로 별개이고 공간적으로 별개인 컴퓨터 프로그램 코드 수단;
제1 신호의 샘플들의 제1 분포를 결정하기 위해 제1 신호를 처리하는 컴퓨터 프로그램 코드 수단;
제2 신호의 샘플들의 제2 분포를 결정하기 위해 제2 신호를 처리하는 컴퓨터 프로그램 코드 수단;
제1 분포와 제2 분포 사이의 차이를 계산하는 컴퓨터 프로그램 코드 수단; 및
차이가 검출 임계치를 초과하면, 바람 잡음이 존재한다는 표시를 출력하는 컴퓨터 프로그램 코드 수단을 포함한다.
컴퓨터 프로그램 제품은 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다.
본 발명은 바람 잡음이 마이크 신호 내에서 신호 샘플 크기들의 분포에 영향을 주고, 임의의 주어진 시기에서 각각의 마이크를 지나 흐르는 국부화된 기류의 고유 형태로 인해, 하나의 마이크에서 다음 마이크로 상이하게 분포에 영향을 주고 또한 각각의 마이크에서 하나의 시기에서 다음 시기로 상이하게 분포에 영향을 준다는 것을 인지한다. 바람 유도 잡음은 정지되지 않으므로, 바람 유도 잡음의 통계치들은 시간 맞춰 달라진다. 따라서, 증가된 바람은 제1 분포와 제2 분포 사이의 차이를 증가시키는 경향이 있어, 이를 바람 잡음의 존재 또는 부재에 유익한 측정 기준으로 만들 것이다. 제1 및 제2 신호들의 단기 분포들을 평가하는 것은 바람 잡음이 상응하는 분포들 사이의 차이로부터 정량화되는 것을 가능하게 한다. 더욱이, 신호 샘플 크기들의 분포들 사이의 차이를 고려함으로써, 본 발명의 방법은 마이크 신호들 사이의 위상차들을 효과적으로 무시한다.
제1 및 제2 신호들은 바람 잡음의 존재 또는 부재가 검출되도록 원해지는 공통의 음향 입력을 반영한다. 일부 실시예들에서, 제1 및 제2 신호들은 단일 마이크 신호로부터 일시적으로 별개의 샘플들을 취하거나, 하나보다 더 많은 마이크 신호로부터 일시적으로 별개의 샘플들을 취함으로써 일시적으로 별개이도록 만들어질 수 있다. 제1 및 제2 신호들이 일시적으로 별개인 정도 예를 들어, 제1 신호와 제2 신호 사이의 샘플 간격은 바람직하게는 비바람 잡음원들 또는 신호원들의 변화의 전형적 시간 미만이어서, 제1 및 제2 분포들의 변화들은 바람 잡음에 의해 좌우되고 비교적 느리게 변화하는 신호원들에 의해 최소 한도로 영향을 받을 것이다. 예를 들어, 제1 신호는 마이크 신호의 제1 프레임을 포함할 수 있고 제2 신호는 마이크 신호의 이후의 프레임을 포함할 수 있어, 전형적 오디오 샘플링 속도들에서, 제1 및 제2 신호들은 1 밀리초 미만만큼 그리고 보다 바람직하게는 125 마이크로초 이하만큼 일시적으로 별개이다.
게다가 또는 대안적으로, 일부 실시예들에서, 제1 및 제2 신호들은 제1 마이크로부터 제1 신호를 취하고 제1 마이크로부터 떨어져 이격되는 제2 마이크로부터 제2 신호를 취함으로써 공간적으로 별개이도록 만들어질 수 있다. 일부 실시예들은 바람 잡음이 존재하는지 여부의 합성 표시를 생성하도록 일시적으로 별개의 신호들 및 공간적으로 별개의 신호들 둘 다의 분포들을 결정하는 단계를 더 포함할 수 있다.
제1 및 제2 신호들의 분포는 임의의 적절한 방식으로 결정될 수 있고 단순화된 분포를 포함할 수 있다. 예를 들어, 결정되는 분포는 하나 이상의 선택된 값에서만 결정되는 신호 샘플 크기의 누계 분포를 포함할 수 있다. 일부 실시예들에서, 제1 분포와 제2 분포 사이의 차이를 계산하는 것은 각각의 선택된 값에서 제1 분포와 제2 분포 사이의 점별 차이를 계산하고, 제1 분포와 제2 분포 사이의 차이의 기준을 생성하도록 점별 차이들의 절댓값들을 합함으로써 수행될 수 있다. 그러한 실시예들에서, 각각의 신호의 누계 분포의 값은 예를 들어, 신호 샘플 크기의 예상된 범위의 값들에 걸쳐 3개와 11개 사이의 선택된 값에서 결정될 수 있다.
본 발명의 바람직한 실시예들에서, 각각의 마이크 신호는 바람직하게는 임의의 DC 성분을 제거하기 위해 예를 들어, 전치 증폭기들 또는 ADC들에 의해 고역 통과 필터링되어, 본 방법에 의해 영향을 받는 샘플값들이 양수 및 음수의 혼합체를 전형적으로 포함할 것이다. 더욱이, 각각의 마이크 신호는 바람직하게는 각각의 신호의 예상된 변동량이 동일하거나 대략 동일하도록 진폭에 대해 일치된다. 일부 실시예들에서, 제1 및 제2 마이크들은 바람 잡음 검출이 수행되기 전에, 관심 있는 음향 신호에 대해 일치된다. 예를 들어, 마이크들은 발성 신호들에 대해 일치될 수 있다.
본 발명의 방법은 동시에 얻어지는 각각의 신호의 단일 프레임으로부터의 샘플들의 분포를 비교함으로써 각각의 프레임 기반 상에 수행될 수 있다. 일부 실시예들에서, 제1 분포와 제2 분포 사이의 차이는 예를 들어, 누설 적분기의 사용에 의해 다수의 프레임에 걸쳐 평탄화될 수 있다.
검출 임계치는 1 또는 2 m.s-1 미만의 바람과 같은 두드러지지 않게 여겨지는 가벼운 바람들에 의해 트리거되지 않는 레벨로 설정될 수 있다
제1 분포와 제2 분포 사이의 차이의 크기는 적어도 고정 한계들 내에서 달리 한적한 조건들에서의 바람의 강도, 또는 바람 잡음이 존재하는 다른 소리들을 좌우하고 있는 정도를 추정하는데 사용될 수 있다.
일부 실시예들에서, 방법은 신호의 스펙트럼의 하나 이상의 부대역에 대해서 수행될 수 있다. 그러한 실시예들은 따라서, 각각의 그러한 부대역에서 바람 잡음의 존재 또는 부재를 검출할 수 있고 따라서, 바람 잡음의 존재가 검출되었던 각각의 부대역에서만 차후 바람 잡음 감소 기법들이 선택적으로 적용되는 것을 가능하게 한다. 그러한 실시예들에서, 바람 잡음의 검출은 바람직하게는 우선 더 낮은 주파수 부대역에 대해서 수행되고, 바람 잡음이 더 낮은 주파수 부대역에서 검출되면, 더 높은 주파수 부대역에 대해서만 수행된다. 그러한 실시예들은 바람 잡음이 일반적으로 증가하는 주파수와 함께 감소하여, 어떤 바람 잡음도 저주파수들에서 검출되지 않으면, 어떤 바람 잡음도 더 높은 주파수들에서 있지 않고, 따라서, 더 높은 주파수들에서 바람 잡음을 검출하는데 프로세서 사이클들을 낭비할 필요가 없다는 것이 가정될 수 있다는 것을 인지한다.
바람 잡음 검출이 하나 이상의 부대역에 대해서 수행되는 실시예들에서, 바람 잡음의 존재가 검출되는 부대역(들)은 바람의 강도를 추정하는데 사용될 수 있다. 그러한 실시예들은 가벼운 바람들이 더 낮은 주파수 부대역들에서만 바람 잡음을 야기하며, 바람 잡음은 바람 강도가 증가함에 따라, 더 높은 부대역들에서 나타난다는 것을 인지한다.
본 발명의 일부 실시예들에서, 바람 잡음 감소는 제1 및 제2 신호들에 이후에 적용될 수 있다. 바람 잡음 검출이 하나 이상의 부대역에 대해서 수행되는 실시예들에서, 바람 잡음 감소는 바람직하게는 바람 잡음이 검출되었던 부대역들에 대해서만 적용된다.
제1 및 제2 마이크들은 전화 통화 헤드셋 또는 핸드셋, 또는 카메라, 비디오 카메라, 태블릿 컴퓨터 등과 같은 다른 오디오 디바이스들의 일부일 수 있다. 대안적으로, 제1 및 제2 마이크들은 인공 귀 BTE 장치의 쉘, 또는 BTE, 귓속, 관속, 완전히 관속 또는 다른 스타일의 보청기와 같은 귀걸이형 보청기(BTE) 디바이스 상에 장착될 수 있다. 신호는 예를 들어, 8 ㎑, 16 ㎑ 또는 48 ㎑로 샘플링될 수 있다. 일부 실시예들은 단일 블록이 유사 시간 프레임을 커버하도록 더 높은 샘플링 속도들에 대해 더 긴 블록 길이들을 사용할 수 있다. 대안적으로, 바람 잡음 검출기로의 입력은 바람 잡음이 더 높은 샘플링 속도의 전체 대역폭에 걸쳐 검출될 필요가 없는 응용들에서 (필요하다면) 더 짧은 블록 길이가 사용될 수 있도록 다운 샘플링될 수 있다. 블록 길이는 16개의 샘플, 32개의 샘플 또는 다른 적절한 길이일 수 있다.
본 발명의 일 예를 이제 첨부 도면들을 참조하여 설명할 것이다:
도 1은 본 발명의 방법이 적용될 수 있는 핸드헬드 디바이스를 도시한다.
도 2는 비디오/오디오 리코더로서 사용될 때, 도 1의 디바이스에 대한 사용 경우를 도시한다.
도 3은 본 발명의 일 실시예에 따른 바람 잡음 감소 시스템의 블록도이다.
도 4는 도 3의 시스템에서 활용되는 바람 잡음 검출기의 블록도이다.
도 5는 도 4의 검출기에서 활용되는 결정 모듈의 블록도이다.
도 6은 도 4의 검출기에서의 부대역 분할 모듈에 의해 구현되는 부대역들을 도시한다.
도 7a는 바람 잡음에 의해 영향을 받지 않은 전형적 발성 신호를 도시하고; 도 7b는 도 7a의 신호의 신호 샘플 크기들의 분포를 도시하고, 도 7c는 도 7a의 신호의 신호 샘플 크기들의 누계 분포를 도시한다.
도 8은 바람 잡음에 의해 영향을 받을 때, 제1 신호 분포와 제2 신호 분포 사이의 차이의 계산을 도시한다.
도 9는 도 4의 검출기에서 활용될 수 있는 대안적인 결정 모듈의 블록도이다.
도 10은 다른 바람 속도들에서의 바람 잡음의 스펙트럼들을 도시한다.
도 11은 단일 마이크 바람 잡음 검출을 제공하는 다른 실시예의 블록도이다.
도 12는 단일 마이크 및 이중 마이크 바람 잡음 검출 둘 다를 제공하는 또 다른 실시예의 블록도이다.
본 발명은 바람 잡음 에너지가 스펙트럼의 낮은 부분에 집중되고; 증가된 바람 속도로, 바람 잡음이 점진적으로 점점 더 많은 대역폭을 점유한다는 것을 인지한다. 바람 잡음의 대역폭 및 진폭은 바람 속도, 바람 방향, 사용자의 신체에 대한 디바이스 위치, 및 디바이스 설계에 의존한다. 많은 바람 잡음 상황에 대한 바람 잡음 에너지가 주로 저주파수들에 위치되므로, 발성 스펙트럼의 상당한 부분은 비교적 바람 잡음 에너지에 의해 영향을 받지 않게 유지된다.
그러므로 처리된 오디오 신호의 자연스러움을 보존하기 위해, 본 발명의 일부 실시예들은 신호(예를 들어 발성) 에너지를 보존하면서, 바람 잡음 에너지를 감소시키려고 시도하는 바람 잡음 감소 기법들이 바람 잡음에 의해 영향을 받는 스펙트럼의 부분에만 선택적으로 적용되어야 한다는 것을 인지한다. 따라서, 발성 신호 스펙트럼의 “바람 잡음 없는” 부분들은 시스템에 의해 불필요하게 변경되지 않을 것이다. 따라서, 이러한 바람 잡음의 선택적 감소는 바람 존재 특히, 스펙트럼 부대역들을 검출하고 디바이스에 대한 바람 존재의 방향을 결정할 수 있는 지능적 검출 방법을 필요로 한다.
도 1은 터치스크린(110), 버튼(120) 및 마이크들(132, 134, 136, 138)을 갖는 핸드헬드 디바이스(100)를 도시한다. 이하의 실시예들은 예를 들어, 디바이스의 카메라(미도시)에 의해 기록되는 비디오를 수반하는 그러한 디바이스를 사용하는 오디오의 캡처를 설명한다. 마이크(132)는 제1(주) 좌측 신호(L2)를 캡처하고, 마이크(134)는 제2(보조) 좌측 신호(L1)를 캡처하고, 마이크(136) 제1(주) 우측 신호(R1)를 캡처하고, 마이크(138)는 제2(보조) 우측 신호(R2)를 캡처한다. 나타낸 바와 같이, 마이크들(132 및 136)은 디바이스(100)의 전단면 상의 포트들에 둘 다 장착된다. 따라서, 디바이스(100)의 모든 마이크가 전방향성이지만, 포트 구성은 각각이 디바이스의 전단면의 평면에의 수직선으로 있는 마이크들(132 및 136)에 각각의 화살표로 나타낸 감도의 공칭 방향을 부여한다. 그에 반해서, 마이크들(134 및 138)은 디바이스(100)의 반대 단면들 상의 포트들에 장착된다. 따라서, 마이크(134)의 감도의 공칭 방향은 마이크(138)의 감도의 공칭 방향에 역평행이고, 마이크들(132 및 136)의 감도의 공칭 방향에 수직이다. 이하의 실시예들은 예를 들어, 디바이스의 카메라(미도시)에 의해 기록되는 비디오를 수반하는 그러한 디바이스를 사용하는 오디오의 캡처를 설명한다.
비디오/오디오 리코더로서 사용될 때, 전형적 디바이스 위치 선정이 도 2에 도시되며, 각도(φ)는 디바이스에 대한 바람 방향을 나타낸다.
본 발명의 일 실시예에 따른 바람 잡음 감소 시스템(300)의 블록도가 도 3에 도시된다. Lmic(132) 및 Rmic(136)로부터의 디지털화된(양자화되고 불연속화된) 샘플들을 일정 지속 기간의 프레임들(요소의 수, M)로 결합하는 것은 통상적이다. 입력 프레임들은 바람 잡음 검출기(WND)(302)로 입력된다. WND(302)는 좌측 및 우측 마이크들(132, 136)로부터의 프레임들을 분석하고 바람이 이러한 프레임 구간 동안 존재하는지 여부, 그리고 어느 미리 결정된 부대역(들)에 존재하는지 여부를 결정한다. 다른 검출 파라미터들과 함께 “부대역 마다의” 바람 존재 결정들은 타겟 신호(예를 들어 발성)를 보존하려고 시도하면서, 영향을 받은 부대역들의 바람 잡음을 감소시키도록 선택된 기법을 적용시키는 바람 잡음 감소(WNR) 모듈(304)로 공급된다. 임의의 적절한 바람 잡음 감소 기법이 적용될 수 있다. WNR 출력들(Lout 및 Rout)은 최종 사용자에게 또는 추가 처리를 위해 출력된다.
도 4는 제안된 바람 잡음 검출기(302)의 블록도를 도시한다.
DC 모듈들(402, 404)(각각의 입력 채널마다 하나)은 DC 성분을 계산하고 좌측 및 우측 입력 채널들에서 제거하고 DC 없는 프레임들을 부대역 분할(SBS) 모듈들(412, 414)로 공급한다. SBS 모듈들(412, 414)(각각의 입력 채널마다 하나)은 각각(좌측 및 우측)의 채널로부터의 전체 대역 프레임들을 N개의 부대역으로 분할하는데 사용된다. 각각의 SBS 모듈(412, 414)은 각각이 지정된 주파수 대역 상에서만 통과시키고, 입력 신호의 스펙트럼 콘텐츠의 나머지는 정지시키는(심하게는 감쇠시키는) N개의 디지털 필터로 구성된다. 예를 들어, 입력 신호가 fs = 48,000 ㎐로 샘플링되면, 각각의 SBS는 도 6에 도시된 바와 같이, 각각이 이하의 통과 대역들(Bn): B1 = [0 내지 500 ㎐], B2 = [500 내지 1,000 ㎐], B3 = [1,000 내지 4,000 ㎐], 및 B4 = [4,000 내지 12,000 ㎐]을 갖는 N = 4개의 필터(Hn, n = 1:4)로 구성될 수 있다.
도 7a은 바람 잡음에 의해 영향을 받지 않은 전형적 발성 신호를 도시한다. 알 수 있는 바와 같이, 그리고 도 7b에 도시된 바와 같이, 도 7a의 신호의 신호 샘플 크기들의 분포는 제로 주변의 정상적 분포이다. 도 7c는 도 7a의 신호의 신호 샘플 크기들의 누계 분포를 도시한다. 그러나, 도 8은 제1 및 제2 신호 누계 분포들(820, 830)이 바람 잡음에 의해 영향을 받을 때, 어떻게 나타날 수 있는지를 도시한다. 각각의 분포 상의 선택된 지점들만이 본 발명의 본 실시예를 실행하기 위해 결정될 필요가 있고, 정확한 곡선이 다른 값들에서 곡선의 전체 길이를 통해 결정될 필요가 없으므로, 도 8의 분포들(820, 830)이 점선들로서 도시된다는 점이 주목된다. 본 실시예에서, 각각의 분포(820, 830)의 5개의 선택된 값 즉, 곡선(820) 상의 지점들(821 내지 825)에서의 각각의 누계 분포값, 그리고 곡선(830) 상의 지점들(831 내지 835)에서의 각각의 누계 분포값이 결정된다. 그 다음, 802에 나타낸 822에서의 값과 832에서의 값 사이에 분포들 사이의 5개의 차이값 중 하나를 갖는 그러한 값들에서 분포들 사이의 차이들의 절댓값이 결정된다. 지점들(821 및 822) 사이에서 일어나는 바와 같이, 곡선들(820 및 830)은 한번 이상 교차할 수 있고, 이는 차이들의 절댓값들이 취해지는 이유이다. 마지막으로, 차이들의 절댓값들은 바람 잡음을 반영하는 스칼라 측정 기준을 만들어내기 위해 합해진다.
도 7 및 도 8에 묘사된 측정 기준을 결정하는데 적절한 과정은 이하와 같다. 각각의 좌측 및 우측 SBS 모듈(412, 414)로부터의 N개의 출력 프레임이 이하와 같이 N개의 부대역 각각에 대해 하나인 바람 검출 통계치들(Dn, n =1:N)을 계산하는 바람 검출 통계치(WDS) 계산기 모듈(420)로 공급된다.
i. n = 1을 설정한다(제1 부대역을 선택한다).
ii. 좌측 및 우측 채널들의 경험적 분포 함수들(EDF)(FM 좌측(n,x) 및 FM 우측(n,x))을 이하와 같이 계산하며:
Figure pct00001
Figure pct00002
여기서,
M은 샘플들의 프레임들 크기이고,
Figure pct00003
Figure pct00004
은 각각 좌측 및 우측 채널들에서 비롯되는 n번째 부대역의 m번째 샘플들이고,
벡터
Figure pct00005
=xl(l=1:L)이도록 EDF들이 계산되는 xl 지점은 EDF들의 영역을 나타내고, L은 xl 지점의 기수를 나타내고,
Figure pct00006
Figure pct00007
이면, 1과 동일하고 그렇지 않으면, 0과 동일한 지표 함수이다.
iii. 바람 검출 통계치들(WDS)을 이하와 같이 계산한다:
Figure pct00008
iv. 누설 적분기를 적용함으로써 계산된 Dn을 이하와 같이 평탄화하며,
Figure pct00009
여기서,
Figure pct00010
Figure pct00011
의 평탄화된 값이고,
α는 누설 적분기 탭이고,
k는 프레임 색인이고,
n은 부대역 색인이다.
v. 부대역 색인(n)을 증분하고 모든
Figure pct00012
, n =1:N이 계산될 때까지, 위의 단계들을 반복한다.
벡터(
Figure pct00013
=xl, l=1:L)의 값들 및 크기가 입력 신호(
Figure pct00014
=Xm, m=1:M)의 동적 범위에 기반하여 경험적으로 선택되고
Figure pct00015
가 신호 동적 범위의 60 내지 90%에 걸치도록 히스토그램 방법을 사용하여 결정될 수 있다. 실제로, L < 12은 충분하다. 결정되면,
Figure pct00016
및 L은 변경될 필요가 없다.
부대역 전력(SBP) 계산기 모듈(430)에서, 각각의 좌측 및 우측 SBS 모듈(412, 414)로부터의 N개의 출력 프레임이 수신되고 이하와 같이 N개 부대역 각각에 대해 하나인 부대역 전력들(
Figure pct00017
Figure pct00018
, n =1:N)을 계산하는데 사용된다.
i. n = 1을 설정한다(제1 부대역을 선택한다).
ii. 좌측 및 우측 채널들의 부대역 전력들(
Figure pct00019
Figure pct00020
)을 이하와 같이 계산하며:
Figure pct00021
Figure pct00022
여기서,
M은 샘플들의 프레임들 크기이고,
Figure pct00023
Figure pct00024
은 각각 좌측 및 우측 채널들에서 비롯되는 n번째 부대역의 m번째 샘플들이다.
iii. 누설 적분기를 적용함으로써 계산된
Figure pct00025
Figure pct00026
을 이하와 같이 평탄화하며:
Figure pct00027
Figure pct00028
여기서,
Figure pct00029
Figure pct00030
은 좌측 및 우측 부대역 전력들의 평탄화된 값들이고,
α는 누설 적분기 탭이다.
iv. 평탄화된 부대역 전력들을 ㏈로 변환한다.
v. 부대역 색인(n)을 증분하고 모든
Figure pct00031
Figure pct00032
, n =1:N이 계산될 때까지, 제1 단계부터 반복한다.
결정 디바이스(DD) 모듈(440)에서, 계산된 N개의 바람 검출 통계치(
Figure pct00033
) 및 부대역 전력들(
Figure pct00034
Figure pct00035
)은 n번째 부대역에서의 바람 존재를 결정하고, 바람 속도 및 바람 방향의 추정치들을 생성하는데 사용된다. 그러나 본 발명의 다른 실시예들에서, 부대역 전력들(
Figure pct00036
Figure pct00037
)을 사용하지 않고 바람 잡음의 존재에 대해 결정하는 것이 또한 가능하고, 따라서 대안적인 실시예들에서, 속도 및 방향값들은 특히 이러한 값들이 또한 바람 방향 추정에 필요하지 않으면, 계산될 필요가 없다.
도 5는 본 발명의 일 실시예에서의 DD 모듈(440)의 블록도를 도시한다. DD 모듈(440)은 N개의 바람 존재 결정(WPD) 프로세서 모듈(510 … 512), 및 바람 파라미터 추정기(WPE) 모듈(520)로 구성된다.
WPD에서, 각각의 n번째, n = 1:N의 바람 존재 결정 프로세서(WPDn(510 내지 512))는 바람 검출 통계치(WDS) 계산기 모듈(420)에 의해 결정되는 상응하는 바람 검출 통계치(
Figure pct00038
), 및 부대역 전력(SBP) 계산기 모듈(430)에 의해 결정되는 부대역 전력들(
Figure pct00039
Figure pct00040
)이 입력된다. 바람이 n번째 부대역에서 존재하는지 여부의 2진 결정은 이하와 같이 WPD들(510 내지 512)에 의해 행해지며,
Figure pct00041
여기서,
DTHRn은 n번째 부대역에서의
Figure pct00042
에 대한 임계값이고; DTHRn은 경험적으로 결정되고;
PTHRn은 n번째 부대역에서의
Figure pct00043
Figure pct00044
에 대한 임계값이고; PTHRn은 마이크(좌측 및 우측) 잡음 전력 바로 위에 설정될 수 있고;
Wn은 n번째 부대역에 대한 바람 존재 지표이다.
DD 모듈의 대안적인 실시예에서, 도 9의 DD 모듈(940)에 도시된 바와 같이, 부대역 전력(SBP) 계산기 모듈(430)로부터의 부대역 전력들(
Figure pct00045
Figure pct00046
)의 사용은 결정 디바이스에서 생략될 수 있다. 그러한 실시예들에서, 바람이 n번째 부대역에 존재하는지 여부의 2진 결정은 이하와 같이 각각의 WPD 모듈(910 내지 912)에서 행해질 수 있으며:
Figure pct00047
여기서,
DTHRn은 n번째 부대역에서의
Figure pct00048
에 대한 임계값이며; DTHRn은 경험적으로 결정되고;
Wn은 n번째 부대역에 대한 바람 존재 지표이다.
바람 잡음 에너지가 스펙트럼의 낮은 부분에 집중되고 스펙트럼의 고주파수 부분에서 꾸준히 감소함에 따라, 결정 측정 기준(Wn + 1)은 결정(Wn)이 긍정적이었어야만 계산된다.
바람 존재 결정 벡터(
Figure pct00049
={W1,W2,…,WN})는 바람이 현재 프레임 구간 동안 n번째 부대역에서 검출되는지 여부를 나타내도록 DD(440 또는 940)로부터 출력되어, Wn = 1이면, 그 다음 바람이 n번째 부대역에서 검출되고, 그렇지 않으면, Wn = 0이다.
바람 파라미터들 추정은 바람 검출이 긍정적이었어야만 520 또는 920에서 수행되며, 이는 적어도 WPD1(510)로부터의 출력 W1 = 1이라는 것을 의미한다.
바람 파라미터 추정기(520 또는 920)는 바람 존재 결정 벡터(모든 N개의 부대역에 대해
Figure pct00050
={W1,W2,…,WN}) 및 또한 모두 부대역 전력(
Figure pct00051
Figure pct00052
, n=1:N)들이 입력된다. WPE(520, 920)는 이하와 같이 바람 파라미터 추정을 수행한다.
바람 속도(Vw). 바람 속도는 각각의 n번째 부대역에서의 Wn의 값들에 기반하여 바람 스펙트럼의 가변 컷오프 주파수(fc)를 결정함으로써 추정된다. 컷오프 주파수(fc)는 바람이 검출되었던 최고 부대역(Bn)의 우측편 통과 대역 주파수로서 추정된다. fc 추정의 주파수 해상도는 부대역들(Bn)의 번호 N 및 폭들(입도)에 의해 결정된다. 바람 속도와 바람 스펙트럼 컷오프 주파수 사이의 관계들(VW = F(fc))은 바람 속도 추정치가 출력되는 것을 가능하게 하도록 경험적으로 확립되고 룩업 테이블에 저장될 수 있다. 예를 들어, 도 10은 φ = 0° 바람 어택 각도 및 4개의 바람 속도 즉, 2 m/s, 4 m/s, 6 m/s 및 8 m/s에서 기록되는 바람 유도 잡음의 전력 스펙트럼의 일 예를 도시한다. 알 수 있는 바와 같이, 바람 잡음 스펙트럼은 일반적으로 주파수의 감소 함수이고, 바람 잡음 스펙트럼의 컷오프 주파수는 바람 속도의 함수이다. 디바이스 구성 및 다른 요인들이 또한 바람 잡음 스펙트럼에 영향을 주고, 다른 실시예들에서, 상이한 디바이스 또는 구성에 대한 바람 속도와 바람 스펙트럼 컷오프 주파수 사이의 대안적인 관계가 동등하게 결정될 수 있다는 점이 이해되어야 한다. 따라서, 레벨(1010)에서 설정되는 바람 잡음 검출 임계치는 바람 스펙트럼의 가변 컷오프 주파수(fc)가 1012에서 나타낸 바와 같이 대략 500 ㎐이면, 그 때 바람 속도는 대략 2 m/s라는 것을 경험적으로 결정하는데 사용될 수 있다. 마찬가지로, 1014, 1016, 1018에서 나타낸 바와 같이 2 ㎑, 4 ㎑ 및 6 ㎑의 바람 스펙트럼의 가변 컷오프 주파수들(fc)은 바람 속도가 각각 4 m/s, 6 m/s 및 8 m/s라는 것을 나타내도록 취해질 수 있다.
도 10에서, 대량의 바람 에너지가 10 내지 500 ㎐ 사이에 집중되지만, 더 빠른 속도들에서, 바람 잡음 레벨은 10 ㎑보다 더 큰 주파수들에서도 마이크 잡음 레벨을 넘어 유지된다는 것이 분명하다는 점이 주목되어야 한다. 증가하는 바람 속도로, 바람 유도 잡음은 스펙트럼의 더 높은 주파수 부분으로 진행한다. 따라서, 본 발명의 선택된 실시예들은 바람 잡음이 각각의 영향을 받은 대역에서 검출되고, 선택된 바람 잡음 감소 기법을 적용함으로써 제거되도록 제공한다. 다른 한편으로는, 바람 속도가 감소하면서, 대량의 바람 유도 잡음 전력은 스펙트럼의 저주파수 부분으로 이동하여, 오디오 신호 스펙트럼의 고주파수 콘텐츠의 상당한 부분이 비교적 영향을 받지 않게 남기며, 바람 잡음 감소는 적용될 필요가 없다. 영향을 받지 않는 대역들에서 바람 잡음 감소를 적용하는 것을 자제함으로써, 보다 자연스러운 소리가 출력 오디오에서 유지되고, 감소된 처리 부하가 초래된다.
바람 방향(DOAw). 디바이스(100)에 대한 바람 방향은 B1인, 바람이 검출되었던 최저 부대역에서의 좌측/우측 채널 전력차의 부호를 분석함으로써 WPE(520, 920)에 의해 추정될 수 있다. 따라서,
Wn = 1이면, 그 때 전력차(P=
Figure pct00053
-
Figure pct00054
)를 계산하며,
ΔP > δ이면, 그 때 바람은 좌측에서 비롯되며; ΔP < -δ이면, 그 때 바람은 우측에서 비롯되며; 그렇지 않으면, 바람은 전방 (또는 후방)에서 비롯되며; δ는 작은 양수이며 즉,
ΔP > δ이면, DOAw = '좌측'이며,
ΔP < -δ이면, DOAw = '우측'이며,
ΔP < δ 및 ΔP > -δ이면, DOAw = '전방 또는 후방'이다.
바람 흐름, 그리고 따라서 바람 잡음의 복잡한 국부화된 본질이 바람 방향 추정기(520, 920)가 바람의 도달의 방향의 정확한 추정치를 부여하는 것을 어렵게 하지만, 바람 도달의 방향이 상주하는 4분면의 위의 정밀하지 않은 추정은 그럼에도 불구하고 가치 있는 지표이다.
도 11은 본 발명의 단일 마이크 구현을 제공하는 본 발명의 다른 실시예의 블록도이다. 시스템(1100)에서, 처리의 대부분은 반복된 참조 번호들 402, 404, 412, 414, 420, 430, 440로 나타낸 바와 같이, 이중 마이크 바람 잡음 검출기(302)에서의 처리와 동일하다.
그러나 시스템(1100)에서, DC 제거 블록(402)으로 입력되는 제1 입력 신호(I1) 및 DC 제거 블록(404)으로 입력되는 제2 입력 신호(I2) 둘 다는 단일 마이크 입력 신호(Xin)로부터 유도된다. 특히, 제1 입력 신호(I1)는 현재 i번째의 시간 구간에서 수신되는 마이크로부터의 오디오 프레임을 포함한다. 다른 한편으로는, 제2 입력 신호(I2)는 단일 프레임 지연(1102)의 작동으로 인한 이전 프레임 구간(i-1)에서 수신되는 동일한 마이크로부터의 프레임이다. 특히, 모듈(1102)은 입력 신호(Xin)에 단일 프레임 지연을 적용함으로써 제2 신호 프레임(I2)을 생성하는데 사용된다. 바람 도달의 방향(DOA)은 입력 신호들에서 공간적 다양성의 부재로 인해 시스템(1100)에서 추정되지 않는다. 따라서, 이러한 실시예는 도 7c 내지 도 8을 비교함으로써 예시되는 효과가 단일 마이크 시스템에서의 하나의 프레임에서 다음 프레임까지로도 바람 잡음의 존재에서 발생한다는 것을 인지한다. 따라서, 하나의 프레임에서 다음 프레임까지의 누계 분포값들을 비교하는 것은 또한 바람 잡음을 반영하는 측정 기준이 생성되는 것을 가능하게 한다.
도 12는 공간적이고 일시적인 바람 검출 측정 기준들 둘 다가 결정되고 활용되는 본 발명의 또 다른 실시예에 따른 이중 마이크 바람 검출기(1200)를 도시한다. 이러한 실시예는 개선된 바람 검출 성능을 위해 도 4 및 도 11의 바람 검출기들 둘 다를 결합하는 것이 유익하다는 것을 인지한다. WND(1200)는 각각 좌측 및 우측 마이크 신호들이 입력되는 2개의 단일 마이크 검출 측정 기준 계산기(SMMCL(1210) 및 SMMCR)(1270)를 포함한다. WND(1200)는 좌측 및 우측 마이크 신호들 둘 다가 입력되는 이중 마이크 검출 측정 기준 계산기(DMMC)(1240)를 더 포함한다. WND(1200)는 결정 결합 디바이스(DCD)(1290)를 더 포함한다.
좌측 마이크(SMMCL)(1210)에 대한 단일 마이크 측정 기준 계산기는 좌측 마이크로부터 프레임화된 오디오 샘플들(Lin)이 입력된다. 측정 기준 계산기(1210)는 도 11에 관하여 WND(1100)에 대해 설명한 바와 동일한 방식으로 좌측 마이크로부터의 오디오 프레임들에 기반하여 N개의 부대역 각각에 대해 하나인 바람 검출 통계치들(DLn, n =1:N)을 추정한다.
마찬가지로, 우측 마이크(SMMCR)(1270)에 대한 단일 마이크 측정 기준 계산기는 우측 마이크로부터 프레임화된 오디오 샘플들이 입력된다. 측정 기준 계산기는 도 11에 관하여 WND(1100)에 대해 설명한 바와 동일한 방식으로 우측 마이크로부터의 오디오 프레임들에 기반하여 N개의 부대역 각각에 대해 하나인 바람 검출 통계치들(DRn, n =1:N)을 추정한다.
이중 마이크 측정 기준 계산기(1240)는 좌측 및 우측 마이크들로부터의 (프레임화된) 샘플들이 입력된다. 측정 기준 계산기는 도 4 내지 도 10에 관하여 WND(302)에 대해 설명한 바와 동일한 방식으로 좌측 및 우측 마이크들 둘 다로부터의 오디오 프레임들에 기반하여 N개의 부대역 각각에 대해 하나인 바람 검출 통계치들(Dn) 및 좌측 및 우측 채널들의 부대역 전력들(
Figure pct00055
Figure pct00056
)을 추정한다.
각각 1210, 1240, 1270에 의해 출력되는 바람 결정 통계치들(DLn, Dn 및 DRn)은 평탄화된 바람 결정 통계치들(
Figure pct00057
,
Figure pct00058
Figure pct00059
)을 생성하도록 제 시간에 평탄화된다. 마찬가지로, 1240에 의해 출력되는 N개의 부대역 전력(
Figure pct00060
Figure pct00061
)은 평탄화된 부대역 전력들(
Figure pct00062
Figure pct00063
)을 생성하도록 제 시간에 평탄화된다.
결정 결합 디바이스(DCD)(1290)는 평탄화된 통계치들(
Figure pct00064
,
Figure pct00065
Figure pct00066
) 및 부대역 전력들(
Figure pct00067
Figure pct00068
)을 수신하고, 바람이 n번째 부대역들 각각에 존재하는지 여부에 대해 결정한다. 바람 존재 결정 측정 기준은 일시적인(
Figure pct00069
,
Figure pct00070
), 및 공간적인(
Figure pct00071
) 바람 통계치들을 집계 통계치(
Figure pct00072
)로 결합함으로써 생성된다. 이러한 실시예에서,
Figure pct00073
은 이하와 같이 각각의 부대역에 대해 최대 바람 통계치를 구함으로써 계산된다:
Figure pct00074
임의의 다른 적절한 결합 방법이 집계 통계치를 생성하기 위해 본 발명의 다른 실시예들에서 활용될 수 있다는 점이 이해되어야 한다. DCD(1290)는 WPE(520 & 920)에 관하여 설명하는 방식으로 바람 속도 및 방향의 추정치들을 추가로 생성한다.
많은 변형 및/또는 변경이 폭넓게 설명하는 본 발명의 사상 또는 범위로부터 벗어나지 않는 범위 내에서 특정 실시예들에 도시된 바와 같이 본 발명에 행해질 수 있다는 점이 당업자에 의해 이해될 것이다. 예를 들어, 핸드헬드 디바이스(100)에 대해서 설명하면서, 본 발명은 예를 들어, 2개 이상의 마이크를 지니는 단일 보청기, 사용자의 머리의 각각의 측부 상에 장착되는 양 귀 보청기들, 또는 모바일 전화기들, 개인 휴대 정보 단말기들 또는 태블릿 컴퓨터들에 대해서 대안적으로 적용될 수 있다. 그러므로, 본 실시예들은 모든 점에서 제한하거나 한정적인 것이 아닌, 예시적인 것으로 고려되어야 한다.

Claims (23)

  1. 바람 잡음을 검출하기 위해 디지털화된 마이크 신호 데이터를 처리하는 방법으로서:
    적어도 하나의 마이크로부터 제1 신호 및 제2 신호를 얻는 단계로서, 상기 제1 및 제2 신호들은 공통의 음향 입력을 반영하고, 상기 제1 및 제2 신호들은 적어도 하나가 일시적으로 별개이고 공간적으로 별개인 단계;
    상기 제1 신호의 샘플들의 제1 분포를 결정하기 위해 상기 제1 신호를 처리하는 단계;
    상기 제2 신호의 샘플들의 제2 분포를 결정하기 위해 상기 제2 신호를 처리하는 단계;
    상기 제1 분포와 상기 제2 분포 사이의 차이를 계산하는 단계; 및
    상기 차이가 검출 임계치를 초과하면, 바람 잡음이 존재한다는 표시를 출력하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 제1 및 제2 신호들은 일시적으로 별개의 샘플들을 취함으로써 일시적으로 별개이도록 만들어지는, 방법.
  3. 제2항에 있어서,
    상기 일시적으로 별개의 샘플들은 단일 마이크 신호로부터 취해지는, 방법.
  4. 제1항 또는 제2항에 있어서,
    제1 및 제2 신호들은 제1 마이크로부터 상기 제1 신호를 취하고 상기 제1 마이크로부터 떨어져 이격되는 제2 마이크로부터 상기 제2 신호를 취함으로써 공간적으로 별개이게 만들어지는, 방법.
  5. 제4항에 있어서,
    각각의 마이크 신호는 각각의 신호의 예상된 변동량이 동일하거나 대략 동일하도록 진폭에 대해 일치되는, 방법.
  6. 제4항 또는 제5항에 있어서,
    상기 제1 및 제2 마이크 신호들은 바람 잡음 검출이 수행되기 전에, 관심 있는 음향 신호에 대해 일치되는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제1 및 제2 신호들 각각의 분포는 신호 샘플 크기의 누계 분포를 포함하는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 및 제2 신호들 각각의 분포는 하나 이상의 선택된 값에서만 결정되는, 방법.
  9. 제8항에 있어서,
    상기 제1 분포와 상기 제2 분포 사이의 차이를 계산하는 단계는 각각의 선택된 값에서 상기 제1 분포와 상기 제2 분포 사이의 점별 차이를 계산하고, 상기 제1 분포와 상기 제2 분포 사이의 차이의 기준을 생성하도록 상기 점별 차이들의 절댓값들을 합함으로써 수행되는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 마이크 신호 또는 각각의 마이크 신호는 임의의 DC 성분을 제거하도록 고역 통과 필터링되는, 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    각각의 신호의 단일 프레임으로부터의 샘플들의 분포를 비교함으로써 각각의 프레임 기반 상에 수행되는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 제1 분포와 상기 제2 분포 사이의 차이는 다수의 프레임들에 걸쳐 평탄화되는, 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 검출 임계치는 가벼운 바람들에 의해 트리거되지 않는 레벨로 설정되는, 방법.
  14. 제13항에 있어서,
    상기 검출 임계치는 2 m.s-1 미만의 바람에 의해 트리거되지 않는 레벨로 설정되는, 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 제1 분포와 상기 제2 분포 사이의 차이의 크기는 고정 한계들 내에서 달리 한적한 조건들에서의 바람의 강도, 또는 바람 잡음이 존재하는 다른 소리들을 좌우하고 있는 정도를 추정하는데 사용되는, 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    신호의 스펙트럼의 하나 이상의 부대역에 대해서 수행되는, 방법.
  17. 제16항에 있어서,
    바람 잡음의 검출은 우선 더 낮은 주파수 부대역에 대해서 수행되고, 바람 잡음이 상기 더 낮은 주파수 부대역에서 검출되면, 더 높은 주파수 부대역에 대해서만 수행되는, 방법.
  18. 제16항 또는 제17항에 있어서,
    바람 잡음의 존재가 검출되었던 각각의 부대역에서만 바람 잡음 감소를 수행하는 단계를 더 포함하는, 방법.
  19. 제16항 내지 제18항 중 어느 한 항에 있어서,
    바람 잡음의 존재가 검출되는 상기 부대역(들)은 바람의 강도를 추정하는데 사용되는, 방법.
  20. 바람 잡음을 검출하는 디바이스로서:
    적어도 제1 마이크; 및
    적어도 하나의 마이크로부터 제1 신호 및 제2 신호를 얻으며, 상기 제1 및 제2 신호들은 공통의 음향 입력을 반영하고, 상기 제1 및 제2 신호들은 적어도 하나가 일시적으로 별개이고 공간적으로 별개이고;
    상기 제1 신호의 샘플들의 제1 분포를 결정하기 위해 상기 제1 신호를 처리하고;
    상기 제2 신호의 샘플들의 제2 분포를 결정하기 위해 상기 제2 신호를 처리하고;
    상기 제1 분포와 상기 제2 분포 사이의 차이를 계산하고;
    상기 차이가 검출 임계치를 초과하면, 바람 잡음이 존재한다는 표시를 출력하도록 구성되는 프로세스를 포함하는, 디바이스.
  21. 제20항에 있어서,
    전화 통화 헤드셋 또는 핸드셋, 스틸 카메라, 비디오 카메라, 태블릿 컴퓨터, 인공 귀 또는 보청기 중 적어도 하나를 포함하는, 디바이스.
  22. 바람 잡음 검출을 위한 절차를 컴퓨터가 수행하게 하도록 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 제품으로서:
    적어도 하나의 마이크로부터 제1 신호 및 제2 신호를 얻는 컴퓨터 프로그램 코드 수단으로서, 상기 제1 및 제2 신호들은 공통의 음향 입력을 반영하고, 상기 제1 및 제2 신호들은 적어도 하나가 일시적으로 별개이고 공간적으로 별개인 컴퓨터 프로그램 코드 수단;
    상기 제1 신호의 샘플들의 제1 분포를 결정하기 위해 상기 제1 신호를 처리하는 컴퓨터 프로그램 코드 수단;
    상기 제2 신호의 샘플들의 제2 분포를 결정하기 위해 상기 제2 신호를 처리하는 컴퓨터 프로그램 코드 수단;
    상기 제1 분포와 상기 제2 분포 사이의 차이를 계산하는 컴퓨터 프로그램 코드 수단; 및
    상기 차이가 검출 임계치를 초과하면, 바람 잡음이 존재한다는 표시를 출력하는 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.
  23. 제22항에 있어서,
    상기 컴퓨터 프로그램 제품은 비일시적 컴퓨터 판독 가능 매체를 포함하는, 컴퓨터 프로그램 제품.
KR1020177004541A 2014-07-21 2015-07-21 바람 잡음 검출을 위한 방법 및 장치 KR102313894B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
AU2014902804A AU2014902804A0 (en) 2014-07-21 Method and Apparatus for Wind Noise Detection
AU2014902804 2014-07-21
AU2015900265 2015-01-29
AU2015900265A AU2015900265A0 (en) 2015-01-29 Method and Apparatus for Wind Noise Detection
PCT/AU2015/050406 WO2016011499A1 (en) 2014-07-21 2015-07-21 Method and apparatus for wind noise detection

Publications (2)

Publication Number Publication Date
KR20170034405A true KR20170034405A (ko) 2017-03-28
KR102313894B1 KR102313894B1 (ko) 2021-10-18

Family

ID=55162321

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177004541A KR102313894B1 (ko) 2014-07-21 2015-07-21 바람 잡음 검출을 위한 방법 및 장치

Country Status (6)

Country Link
US (2) US9906882B2 (ko)
EP (1) EP3172906B1 (ko)
KR (1) KR102313894B1 (ko)
CN (1) CN106664486B (ko)
AU (1) AU2015292259A1 (ko)
WO (1) WO2016011499A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11043228B2 (en) * 2015-05-12 2021-06-22 Nec Corporation Multi-microphone signal processing apparatus, method, and program for wind noise suppression
US11017793B2 (en) * 2015-12-18 2021-05-25 Dolby Laboratories Licensing Corporation Nuisance notification
GB2555139A (en) * 2016-10-21 2018-04-25 Nokia Technologies Oy Detecting the presence of wind noise
KR20180108155A (ko) * 2017-03-24 2018-10-04 삼성전자주식회사 바람 소리가 조정된 신호를 출력하는 방법 및 전자 장치
US10366710B2 (en) 2017-06-09 2019-07-30 Nxp B.V. Acoustic meaningful signal detection in wind noise
US10504537B2 (en) 2018-02-02 2019-12-10 Cirrus Logic, Inc. Wind noise measurement
TWI690218B (zh) * 2018-06-15 2020-04-01 瑞昱半導體股份有限公司 耳機
US11100918B2 (en) 2018-08-27 2021-08-24 American Family Mutual Insurance Company, S.I. Event sensing system
CN109286875B (zh) * 2018-09-29 2021-01-01 百度在线网络技术(北京)有限公司 用于定向拾音的方法、装置、电子设备和存储介质
CN109257675B (zh) * 2018-10-19 2019-12-10 歌尔科技有限公司 一种防风噪方法、耳机及存储介质
GB201902812D0 (en) * 2019-03-01 2019-04-17 Nokia Technologies Oy Wind noise reduction in parametric audio
US10721562B1 (en) * 2019-04-30 2020-07-21 Synaptics Incorporated Wind noise detection systems and methods
US10917716B2 (en) * 2019-06-19 2021-02-09 Cirrus Logic, Inc. Apparatus for and method of wind detection
US11303994B2 (en) 2019-07-14 2022-04-12 Peiker Acustic Gmbh Reduction of sensitivity to non-acoustic stimuli in a microphone array
TWI779261B (zh) * 2020-01-22 2022-10-01 仁寶電腦工業股份有限公司 風切濾波裝置
US11217269B2 (en) 2020-01-24 2022-01-04 Continental Automotive Systems, Inc. Method and apparatus for wind noise attenuation
US11308972B1 (en) * 2020-05-11 2022-04-19 Facebook Technologies, Llc Systems and methods for reducing wind noise
CN112653979A (zh) * 2020-12-29 2021-04-13 苏州思必驰信息科技有限公司 自适应去混响方法和装置
US11812243B2 (en) 2021-03-18 2023-11-07 Bang & Olufsen A/S Headset capable of compensating for wind noise
CN113670369B (zh) * 2021-07-09 2023-01-06 南京航空航天大学 基于移动终端的风速测量及风噪声检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014062152A1 (en) * 2012-10-15 2014-04-24 Mh Acoustics, Llc Noise-reducing directional microphone array
WO2014104815A1 (ko) * 2012-12-28 2014-07-03 한국과학기술연구원 바람 소음 제거를 통한 음원 위치 추적 장치 및 그 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10045197C1 (de) 2000-09-13 2002-03-07 Siemens Audiologische Technik Verfahren zum Betrieb eines Hörhilfegerätes oder Hörgerätessystems sowie Hörhilfegerät oder Hörgerätesystem
US7171008B2 (en) 2002-02-05 2007-01-30 Mh Acoustics, Llc Reducing noise in audio systems
US7340068B2 (en) 2003-02-19 2008-03-04 Oticon A/S Device and method for detecting wind noise
US7464029B2 (en) * 2005-07-22 2008-12-09 Qualcomm Incorporated Robust separation of speech signals in a noisy environment
US8184816B2 (en) * 2008-03-18 2012-05-22 Qualcomm Incorporated Systems and methods for detecting wind noise using multiple audio sources
JP2011030022A (ja) * 2009-07-27 2011-02-10 Canon Inc 雑音判定装置、音声記録装置、及び雑音判定装置の制御方法
US8924204B2 (en) * 2010-11-12 2014-12-30 Broadcom Corporation Method and apparatus for wind noise detection and suppression using multiple microphones
CN105792071B (zh) * 2011-02-10 2019-07-05 杜比实验室特许公司 用于风检测和抑制的系统和方法
EP2780906B1 (en) 2011-12-22 2016-09-14 Cirrus Logic International Semiconductor Limited Method and apparatus for wind noise detection
WO2013187946A2 (en) * 2012-06-10 2013-12-19 Nuance Communications, Inc. Wind noise detection for in-car communication systems with multiple acoustic zones

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014062152A1 (en) * 2012-10-15 2014-04-24 Mh Acoustics, Llc Noise-reducing directional microphone array
WO2014104815A1 (ko) * 2012-12-28 2014-07-03 한국과학기술연구원 바람 소음 제거를 통한 음원 위치 추적 장치 및 그 방법

Also Published As

Publication number Publication date
US20170208407A1 (en) 2017-07-20
US9906882B2 (en) 2018-02-27
KR102313894B1 (ko) 2021-10-18
CN106664486B (zh) 2019-06-28
US10251005B2 (en) 2019-04-02
EP3172906B1 (en) 2019-04-03
CN106664486A (zh) 2017-05-10
WO2016011499A1 (en) 2016-01-28
EP3172906A1 (en) 2017-05-31
AU2015292259A1 (en) 2016-12-15
EP3172906A4 (en) 2018-01-10
US20180176704A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
KR102313894B1 (ko) 바람 잡음 검출을 위한 방법 및 장치
US10339952B2 (en) Apparatuses and systems for acoustic channel auto-balancing during multi-channel signal extraction
US7464029B2 (en) Robust separation of speech signals in a noisy environment
KR101210313B1 (ko) 음성 향상을 위해 마이크로폰 사이의 레벨 차이를 활용하는시스템 및 방법
CN103871421B (zh) 一种基于子带噪声分析的自适应降噪方法与系统
US7983907B2 (en) Headset for separation of speech signals in a noisy environment
KR101597752B1 (ko) 잡음 추정 장치 및 방법과, 이를 이용한 잡음 감소 장치
JP5762956B2 (ja) ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法
EP2297727B1 (en) Multi-microphone voice activity detector
US20160165361A1 (en) Apparatus and method for digital signal processing with microphones
TWI463817B (zh) 可適性智慧雜訊抑制系統及方法
US11631421B2 (en) Apparatuses and methods for enhanced speech recognition in variable environments
US9467775B2 (en) Method and a system for noise suppressing an audio signal
AU2012205596A1 (en) Dynamic enhancement of audio (DAE) in headset systems
WO2015196760A1 (zh) 一种麦克风阵列语音检测方法及装置
US10516941B2 (en) Reducing instantaneous wind noise
US10504537B2 (en) Wind noise measurement
KR101817421B1 (ko) 두 채널 구조에 기초하는 사전 음성 부재 확률의 추정 방법
WO2023172609A1 (en) Method and audio processing system for wind noise suppression

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant