KR20140046405A - 마이크로폰 어레이를 위한 잡음 적응형 빔 형성 - Google Patents

마이크로폰 어레이를 위한 잡음 적응형 빔 형성 Download PDF

Info

Publication number
KR20140046405A
KR20140046405A KR1020137023310A KR20137023310A KR20140046405A KR 20140046405 A KR20140046405 A KR 20140046405A KR 1020137023310 A KR1020137023310 A KR 1020137023310A KR 20137023310 A KR20137023310 A KR 20137023310A KR 20140046405 A KR20140046405 A KR 20140046405A
Authority
KR
South Korea
Prior art keywords
noise
channel
signal
data
microphone
Prior art date
Application number
KR1020137023310A
Other languages
English (en)
Other versions
KR101910679B1 (ko
Inventor
하르샤바르다나 엔 키커리
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140046405A publication Critical patent/KR20140046405A/ko
Application granted granted Critical
Publication of KR101910679B1 publication Critical patent/KR101910679B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02168—Noise filtering characterised by the method used for estimating noise the estimation exclusively taking place during speech pauses

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 개시내용은, 실제 신호가 존재하지 않는 경우(예를 들면, 무음성 상태)에서 측정되는 잡음 에너지 플로어 레벨에 기초하여, 마이크로폰 어레이 채널을 동적으로 선택하는 잡음 적응형 빔 형성기에 관한 것이다. 음성(또는 유사한 바람직한 신호)이 검출되는 경우에, 빔 형성기는 신호 처리에서 사용하기 위한 예를 들면, 최소 잡음 채널에 대응하는 마이크로폰 신호를 선택한다. 복수의 채널이 선택될 수 있으며, 여기서 이들의 신호는 결합된다. 빔 형성기는 실제 신호가 더 이상 검출되지 않으면 잡음 측정 단계로 복귀하여 각 마이크로폰 기반으로 마이크로폰 하드웨어 차이, 변하는 잡음원 및 개별적인 마이크로폰 저하를 고려하는 것을 포함하여, 빔 형성기가 잡음 레벨의 변화에 따라 동적으로 적응되도록 한다.

Description

마이크로폰 어레이를 위한 잡음 적응형 빔 형성{NOISE ADAPTIVE BEAMFORMING FOR MICROPHONE ARRAYS}
마이크로폰 어레이는 다수의 센서로부터의 신호를 캡쳐하고 신호-대-잡음 비를 개선하기 위해 이러한 신호를 처리한다. 통상적인 빔 형성(beamforming)에서, 일반적인 접근법은 모든 센서(채널)로부터의 신호를 결합하는 것이다. 빔 형성의 하나의 전형적인 용법은 음성 인식에서 사용하기 위해 음성 인식기에 결합된 신호를 제공하는 것이다.
그러나 실제로, 이러한 접근법은 전체 성능을 실질적으로 감소시킬 수 있고, 때로는 단일 마이크로폰보다 못한 성능을 낼 수 있다. 부분적으로 이는 마이크로폰 간의 개별적인 하드웨어 차이 때문이며, 이는 상이한 마이크로 폰이 상이한 종류 및 상이한 양의 잡음을 수집하는 결과를 나타낼 수 있다. 다른 요인은 잡음원이 동적으로 변할 수 있다는 것이다. 더 나아가, 상이한 마이크로폰들이 다르게 열화되어 다시 저하된 성능으로 이어진다.
본 요약은 상세한 설명에서 이하에 추가로 설명되는 대표적인 선택 개념을 간략한 형태로 소개하기 위해 제공된다. 본 요약은 청구된 발명의 대상의 핵심 특징 또는 주요 특징을 식별하려는 것이 아니며 청구된 발명의 대상의 범위를 제한하는 임의의 방식으로 이용하고자 하는 것도 아니다.
개략적으로, 본 명세서에 기술되는 발명의 대상의 다양한 측면은, 적응형 빔 형성기(beamformer)/선택기가 각각의 채널에 대해 결정된 잡음 플로어 데이터(noise floor data)에 기초하여 마이크로폰 어레이의 어느 채널/마이크로폰을 사용할지를 선택하는데 이용하는 기술에 관한 것이다. 일 실시예에서, 실제 신호가 없는(예, 무음) 시간 동안 에너지 레벨이 획득되고, 실제 신호가 존재하면 채널 선택기가 잡음 플로어 데이터에 기초하여 어느 채널 또는 채널들이 신호 처리에서 사용될지를 선택한다. 잡음 데이터는 반복적으로 측정되고, 이로써 적응형 빔 형성기가 시간에 대한 잡음 플로어 데이터의 변화에 동적으로 적응된다.
일 실시예에서, 채널 선택기는 신호 처리(예, 음성 인식)에서의 사용을 위해 임의의 시간에 신호 채널을 선택하고, 다른 채널의 신호를 폐기한다. 다른 구현에서, 채널 선택기는 하나 이상의 채널을 선택하고, 여기서 각각의 선택된 채널로부터의 신호는 (둘 이상이 선택되는 경우에) 신호 처리에서 사용하기 위해 결합된다.
일 측면에서, 분류기(classifier)는 잡음 플로어 데이터가 잡음 측정 단계(noise measurment phase)에서 획득되는 경우 및 선택 단계에서 선택이 이루어지는 경우를 판정한다. 분류기는 에너지 레벨의 검출된 변화에 기초할 수 있다.
다른 효과는 도면과 함께 이하의 상세한 설명에 의해 분명해질 것이다.
본 발명은 동일한 예시에 의해 설명되며, 첨부된 도면(도면에서 동일한 참조 번호가 유사한 요소를 나타냄)에 한정되지 않는다.
도 1은 마이크로폰 어레이에 대한 잡음 적응형 빔 형성기/선택기에 대한 예시적인 컴포넌트를 나타내는 블록도이다.
도 2는 예시적인 8채널 마이크로폰 어레이의 마이크로폰들에 대한 잡음 대 음성 신호를 나타낸다.
도 3은 마이크로폰 어레이의 입력 채널에 의해 잡음 에너지 플로어을 추정하는 메커니즘을 나타내는 블록도이다.
도 4는 신호를 음성 인식기에 적응적으로 제공하기 위해 잡음 적응형 빔 형성기/선택기에 의해 잡음-기반 채널 선택이 사용되는 방식을 나타내는 블록도이다.
도 5는 잡음 측정 단계 및 채널 선택 단계의 예시적인 단계들을 나타내는 흐름도이다.
도 6은 예시적인 비-제한적 컴퓨팅 시스템 또는 본 명세서에 기술된 다양한 실시예의 하나 이상의 측면이 구현될 수 있는 운영 환경을 나타내는 블록도이다.
본 명세서에 설명된 기술의 다양한 측면은, 일반적으로 잡음 신호를 사용하지 않는 것에 의해, 성능을 감소시키는 마이크로폰 신호를 폐기하는 것에 관한 것이다. 본 명세서에 기술된 잡음 적응형 빔 형성 기술은 마이크로폰 하드웨어의 차이, 동적으로 변하는 잡음원 마이크로폰 열화 및/또는 가능한 기타 요인으로 인해 발생하는 역효과의 최소화를 시도하여, 예를 들면 하드웨어가 열화되는 초기에 및 일정 기간동안 음성 인식에 유리한 신호를 생성한다.
본 명세서의 임의의 예시는 비-제한적이라는 것을 이해하여야 한다. 일 예를 들면, 음성 인식은 본 명세서에 설명된 기술에 대한 하나의 유용한 응용예이나, 임의 음향 처리 응용예(예를 들면, 방향성 증폭 및/또는 잡음 억제)가 마찬가지로 효과적일 수 있다. 이와 같이, 본 발명은 임의의 특정한 실시예, 측면, 개념, 구조, 기능성 또는 본 명세서에 설명된 예시에 제한되지 않는다. 오히려, 실시예, 측면, 개념, 구조, 기능성 또는 본 명세서에 설명된 예시는 비-제한적이며, 본 발명은 일반적으로 음향 처리 및/또는 음성 인식에서 효과 및 이점을 제공하는 다양한 방식으로 사용될 수 있다.
도 1은 하나의 예시적인 잡음 적응형 빔 형성 실시예의 컴포넌트를 도시한다. 마이크로폰 어레이 채널(1021-102N)에 대응하는 복수의 마이크로폰은 각각 선택 및/또는 빔 형성을 위한 신호를 제공하고, 적어도 두 개(임의의 실질적인 수(practical number)까지)의 이러한 마이크로폰이 주어진 어레이 실시예에 존재할 수 있다는 것을 이해할 수 있다.
또한, 어레이의 마이크로폰은 대칭적으로 배열될 필요는 없고, 일 실시예에서, 마이크로폰은 다양한 이유로 비대칭적으로 배열된다. 본 명세서에 설명된 기술의 일 응용예는 모바일 로봇에서의 사용을 위한 것이며, 모바일 로봇은 자체적으로 이리저리 이동할 수 있으며 이에 따라 사람으로부터의 음성을 대기하는 동안 상이한 잡음원에 동적으로 노출될 수 있다.
도 1에 에너지 검출기(1041-104N)에 의해 표현된 것과 같이, 본 명세서에 설명된 잡음 적응형 빔 형성 기술은, 실제 신호가 없는 경우(즉, 잡음만 있는 경우)를 포함하여, 각각의 마이크로폰의 잡음 에너지 레벨을 모니터한다. 도 2는 예시적인 8채널 마이크로폰 어레이의 이러한 에너지 레벨의 표현이며, 여기서 박스(221)는 어레이의 "MIC1"에 대한 "무 실제 신호(no actual signal)" 상태를 나타낸다. 초기에는 진정한 입력 신호가 존재하지 않고, 이로써 마이크로폰의 출력은 감지된 잡음뿐이다. 도 2의 박스(221)(다른 박스와 마찬가지로)는 정확한 샘플링 프레임 또는 프레임 세트를 나타내기 위한 것이 아니라는 것에 주의한다(전형적인 샘플링 레이트는 예를 들면 16K 프레임/초임).
신호가 존재하는 경우에, 박스(222)에 의해 도 2에 나타낸 것과 같이, 에너지가 증가하고, 에너지 검출기(1041-104N)는 채널당 증가를 나타내는 추정치(estimate)를 제공한다. 잡음/음성 분류기(1061-106N)는 신호가 잡음인지 음성인지 여부를 (예를 들면, 트레이닝된 델타 에너지 레벨 또는 임계 에너지 레벨에 기초하여) 판정하는데 사용될 수 있고, 이러한 정보를 채널 선택기(108)에 공급한다. 각각의 분류기는 자신의 정규화(normalization), 필터링, 스무딩(smoothing) 및/또는 결정을 하기 위한 기타 다른 기법(예, 에너지가 일정한 수의 프레임에 대해 증가 상태를 유지할 필요가 있을 수 있고 그렇지 않으면 음성으로 간주될 음성 패턴을 매칭하여 음성 간주로부터 발생할 수 있는 짧은 잡음 에너지 스파이크 등을 제거함)을 포함할 수 있다는 것에 주의한다. 또한, 모든 채널에 대해 단일한 잡음-또는-음성 분류기를 가질 수 있다는 것에 주의한다(예를 들면, (선택 목적을 위해 이들을 별개로 유지하면서) 분류를 위한 채널 중 하나만을 사용하거나, 분류 목적으로 오디오 채널의 일부 또는 전부를 혼합하는 등).
잡음 레벨에 기초하여, 음성이 검출되는 경우에, 채널 선택기(108)는 마이크로폰이 신호 중 어느 신호(하나 또는 복수의 신호)가 추가 처리(예를 들면, 음성 처리)를 위해 사용될 것인지 및 어느 신호가 버려질 것인지를 동적으로 결정한다. 도 1의 예에서, 마이크로폰(MIC1)은 신호가 없는 경우에 상대적으로 많은 양의 잡음을 가지나, 마이크로폰(MIC7)은 신호가 없는 경우에 최소량의 잡음을 가진다(박스 227). 따라서, 음성이 발생할 경우에(각각의 채널에 대한 박스(222)에 대응하는 근사 시간(approximate time)), 마이크로폰(MIC7)으로부터의 신호는 사용될 가능성이 높고 마이크로폰(MIC1)으로부터의 신호는 버려질 가능성이 클 것이다.
잡음 적응형 빔 형성의 일 실시예에서, 최소 잡음 신호에 대응하는 채널만 선택되는데(예를 들면, 도 2의 마이크로폰(MIC7)만으로부터의 채널), 왜냐하면 이의 잡음 플로어(noise floor)는 신호가 없는 경우에 다른 마이크로폰의 잡음 플로어보다 낮기 때문이다. 선택적인 실시예에서, 채널 선택기(108)는 다중 채널로부터의 신호를 선택할 수 있으며, 이후에 이 신호는 출력을 위한 결합 신호로 결합된다. 예를 들어, 두 개의 최소 잡음 채널이 선택되고 결합될 수 있다. 임계 에너지 레벨 또는 상대적인 에너지 레벨 데이터는, 그 다음 최소값이 너무 잡음이 많거나 상대적으로 잡음이 심한 경우 등에 최소 잡음 채널 이상의 채널을 선택하지 않도록 고려될 수 있다. 다른 선택예로서, 각각의 채널에는 그 채널의 잡음 및 가중된 결합치를 사용하여 결합되는 잡음과 반비례적으로 관련되는(임의의 적합한 수학적 방식으로) 가중치가 주어질 수 있다.
이러한 방식으로, 잡음 마이크로폰이 보다 높은 잡음 레벨을 가지기 때문에 잡음 플로어 추적의 사용은 잡음 마이크로폰의 악영향을 자동으로 제거(또는 실질적으로 감소)하며, 이에 따라 이들의 신호가 사용되지 않는다. 또한, 이러한 접근법은 예를 들면 텔레비전 스피커에 인접하는 등의 주어진 상황에서 잡음원에 보다 가까운 마이크로폰의 영향을 제거한다. 유사하게, 마이크로폰 하드웨어가 낡거나 또는 손상될 경우(일부 마이크로폰은 기능이 열화되고 규칙적으로 높은 레벨의 잡음을 생성함), 잡음 적응형 빔 형성기는 자동으로 이러한 마이크로폰의 영향을 제거한다.
도 3은 예를 들면 채널 중 하나에 대한 에너지 검출기에서의 사용을 위한 예시적인 잡음 에너지 플로어 추정기 메커니즘(330)을 나타내는 블록도이다. 주어진 마이크로폰 X에 대해 입력되는 오디오 샘플(332)은 신호에서 임의의 DC 컴포넌트를 제거하기 위해 필터링되고(블록 334), 이어서 공지되어 있는 해밍 윈도우 함수(336, hamming window function)(또는 기타 유사한 함수)에 의해 처리(예, 스무딩)된 후에 그 결과를 FFT(fast Fourier transform, 고속 푸리에 변환)에 입력한다. FFT 출력에 기초하여, 잡음 에너지 플로어 추정기(340)는 일반적으로 알려진 방식으로 잡음 에너지 데이터(342)(예, 대표 값)를 계산한다.
도 4에 나타낸 바와 같이, 각각의 채널에 대한 잡음 에너지 데이터(442)가 채널 선택기(108)로 공급된다. 각각의 마이크로폰으로부터의 잡음 에너지 레벨 추정을 나타내는 데이터(442)에 따라, 오디오 샘플(4441-444N)에 대응하는 음성이 검출되는 경우에, 분류 데이터(446)에 의해 표현된 대로, 채널 선택기(108)가 각각의 마이크로폰으로부터의 신호를 사용할지 말지 여부를 결정한다. 채널 선택기(108)는 선택된 신호를 음성 인식기(450)로 공급하기 위한 선택된 오디오 채널 데이터(448)로서 출력한다. 블록(452)에 의해 표현된 대로, 채널 선택기(108)가 하나 이상의 채널을 선택하도록 구성되고 그러한 선택을 하는 경우에, 다중 채널로부터의 신호가 다양한 방법 중 임의의 방법을 사용하여 결합될 수 있다.
도 5는 채널 선택 및 사용과 관련된 다양한 예시적인 동작을 요약하며, 동작은 현재 입력이 잡음인지 음성인지 여부에 대한 분류가 이루어지는 단계(502)에서 시작한다. 잡음인 경우에, 단계(504)는 채널을 선택하고, 단계(506)은 전술한 바와 같이, 그 채널에 대한 잡음 에너지 플로어를 결정한다. 단계(508)는 이러한 채널에 대한 잡음 데이터를 계산하는 것(예를 들면, 채널 선택기에 의해 예측되는 잡음 데이터를 제공하기 위해 소정 개수의 프레임에 대해 평균 에너지 레벨을 계산하는 것, 라운딩을 수행하는 것, 정규화하는 것 등)을 나타낸다. 단계(510)는 잡음 데이터를 그 채널(예를 들면 그 채널의 식별자)과 연관시킨다.
단계(512)는 서로의 채널에 대해 단계(504-510)의 잡음 측정 단계 처리를 반복한다. 각각의 채널에 대한 잡음 데이터가 채널 식별자(channel identity)와 연관되는 경우에, 프로세스는 전술한 바와 같이 단계(502)로 복귀한다.
소정의 후속 시간에 음성이 검출되고, 이로써 단계(502)는 단계(514)로 분기하여 추가 처리 시의 사용을 위해 최저 잡음 레벨 플로어를 나타내는 연관 데이터를 가진 채널(또는 복수의 채널)을 선택하는 선택 단계로 전환한다. 하나 이상의 채널이 단계(514)에서 선택되는 경우에, 단계(516)는 각각의 채널로부터의 신호를 결합한다. 단계(518)는 단계(502)로 복귀하기 전에, 추가 처리(예, 음성 인식) 시에 사용하기 위해 선택된 채널 또는 결합된 채널의 신호를 출력한다.
도 5에는 단계(520)에 선택적 지연이 도시되어 있는데, 이는 음성이 검출된 후에 잡음을 측정하는 단계로 다시 스위칭하기 전의 지연에 사용될 수 있다. 음성 인식기가 음성 및 잡음 모두를 포함하는 입력을 지속적으로 수신하는 동안, 짧은 휴지 중에 마이크로폰을 스위칭하는 것은 인식 정확도를 감소시키는 결과로 이어질 수 있다. 예를 들어, 짧은 휴지 중에 스피커(speeker)의 흡입 또는 기타 자연스런 잡음이 최상의 잡음 결과를 가지는 마이크로폰에 의해 검출될 수 있으며, 이러한 마이크로폰으로부터 다른 쪽으로 스위칭하는 것은 더 잡음이 심한 다른 마이크로폰으로부터의 음성 입력을 제공할 수 있다. 따라서, 지연에 의해, 스피커가 짧은 휴지 중에 잡음 측정으로 다시 스위칭하는 대신에 스피커에게 스피킹을 재개할 기회가 주어진다. 지연에 대한 선택사항(또는 부가사항)으로서, 채널 선택 동작은 임의의 이러한 급속한 마이크로폰 변경 등을 배제하기 위해 스무딩, 평균화(averaging) 등을 포함할 수 있다. 예를 들어, 마이크로폰이 다른 마이크로폰에 비해 저 잡음을 가지고 이에 따라 한동안 자신의 신호가 선택되는 경우에, 자신의 잡음 플로어 에너지의 갑작스러운 변경은 순간적인 작은 문제(glitch) 등 때문에 다른 마이크로폰으로 스위칭하지 않도록 무시된다.
이상, 어느 마이크로폰을 빔 형성에 사용할 것인지를 결정하기 위해 잡음 플로어 레벨을 사용하는 잡음 적응형 빔 형성 기술을 설명하였다. 잡음 적응형 빔 형성 기술은 이러한 정보를 동적으로 업데이트하여, (전통적인 빔 형성과 대조적으로) 변화하는 환경에 동적으로 적응되도록 한다.
예시적인 컴퓨팅 장치
전술한 바와 같이, 본 명세서에 설명된 기술은 효과적으로 임의의 장치에 적용될 수 있다. 따라서, 핸드헬드, 휴대용 및 기타 컴퓨팅 장치 및 로봇을 포함하는 모든 종류의 컴퓨팅 개체가 다양한 실시예와 함께 사용하는 것이 고려된다는 것을 이해할 수 있다. 따라서, 이하에서 도 6에 설명된 이하의 범용 원격 컴퓨터는 컴퓨팅 장치의 일 예일 뿐이다.
장치 또는 개체를 위한 서비스의 개발자에 의해 및/또는 본 명세서에 설명된 다양한 실시예의 하나 이상의 기능적 측면을 수행하도록 동작하는 애플리케이션 소프트웨어 내에 포함되어, 운영 체제를 통해 실시예가 부분적으로 구현될 수 있다. 소프트웨어는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어의 범용 콘텍스트 내에 기술되며, 클라이언트 워크스테이션, 서버 또는 기타 장치와 같은 하나 이상의 컴퓨터에 의해 실행된다. 본 발명이 속하는 분야의 기술자는 컴퓨터 시스템이 다양한 구성 및 데이터를 통신하는데 사용될 수 있는 프로토콜을 가질 수 있고, 이에 따라 특정한 구성 또는 프로토콜에 제한되는 것이 아니라는 것을 이해할 것이다.
따라서, 도 6은 본 명세서에 설명된 실시예 중 하나 또는 복수의 측면들이 구현될 수 있는 적합한 컴퓨팅 시스템 환경(600)의 예를 도시하나, 위에서 명확히 언급한 바와 같이, 컴퓨팅 시스템 환경(600)은 적합한 컴퓨팅 환경의 일 예일 뿐이며, 용도 또는 기능성의 범위에 관하여 어떠한 제한을 하려는 것이 아니다. 또한, 컴퓨팅 시스템 환경(600)은 예시적인 컴퓨팅 시스템 환경(600)에 설명된 컴포넌트 중 임의의 하나 또는 이들의 조합과 관련된 종속성을 가지는 것으로 해석되는 것을 의도하지 않는다.
도 6을 참조하면, 하나 이상의 실시예를 구현하는 예시적인 원격 장치는 컴퓨터(610)의 형태인 범용 컴퓨팅 장치를 포함한다. 컴퓨터(610)의 컴포넌트는 프로세싱 유닛(620), 시스템 메모리(630) 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트를 프로세싱 유닛(620)에 연결하는 시스템 버스(622)를 포함하나 이에 한정되는 것은 아니다.
컴퓨터(610)는 전형적으로 다양한 컴퓨터 판독가능 매체를 포함하며 전형적으로 컴퓨터(610)에 의해 액세스될 수 있는 임의의 가용 매체일 수 있다. 시스템 메모리(630)는 휘발성 및/또는 비휘발성 메모리(가령, 리드 온리 메모리(ROM) 및/또는 랜덤 액세스 메모리(RAM)) 형태의 컴퓨터 저장 매체를 포함할 수 있다. 예로써(제한은 아님), 시스템 메모리(630)는 또한 운영 체제, 애플리케이션 프로그램, 기타 프로그램 모듈 및 프로그램 데이터를 포함할 수 있다.
사용자는 입력 장치(640)를 통해 컴퓨터(610)로 명령 및 정보를 입력할 수 있다. 또한, 모니터 또는 다른 유형의 디스플레이 장치가 인터페이스(예, 출력 인터페이스(650))를 통해 시스템 버스(622)에 연결된다. 모니터와 더불어, 컴퓨터는 또한 스피커 및 프린터와 같은 다른 병렬 출력 장치를 포함할 수 있으며, 이는 출력 인터페이스(650)를 통해 연결될 수 있다.
컴퓨터(610)는 원격 컴퓨터(670)와 같은 하나 이상의 다른 원격 컴퓨터에 대한 로직 연결을 사용하여 네트워킹되거나 분산된 환경에서 동작할 수 있다. 원격 컴퓨터(670)는 개인 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 기타 공통 네트워크 노드, 또는 임의의 다른 원격 매체 소비 또는 전송 장치일 수 있으며, 컴퓨터(610)에 관하여 전술한 요소 중 임의의 또는 모든 요소를 포함할 수 있다. 도 6에 나타낸 로직 연결은 네트워크(672)(예, 로컬 영역 네트워크(LAN) 또는 광역 네트워크(WAN))를 포함하고, 또한 다른 네트워크/버스를 포함할 수 있다. 이러한 네트워킹 환경은 가정, 사무실, 회사-범위의 컴퓨터 네트워크, 인트라넷 및 인터넷에서 흔하다.
전술한 바와 같이, 예시적인 실시예가 다양한 컴퓨팅 장치 및 네트워크 아키텍쳐와 함께 설명되었으나, 이하의 개념은 임의의 네트워크 시스템 및 자원 사용의 효율 개선이 요구되는 임의의 컴퓨팅 장치 또는 시스템에 적용될 수 있다.
또한, 본 명세서에 제공된 기술을 이용하기 위한 애플리케이션 및 서비스를 가능하게 하는 동일하거나 유사한 기능(예, 적합한 API, 툴 킷, 드라이버 코드, 운영 체제, 컨트롤, 단독 또는 다운로드가능한 소프트웨어 객체 등)을 구현하는 여러 방식이 존재한다. 따라서, 본 명세서의 실시예는 API(또는 기타 소프트웨어 객체)의 관점에서, 마찬가지로 본 명세서에 설명된 하나 이상의 실시예를 구현하는 소프트웨어 또는 하드웨어 객체의 관점에서 고려될 수 있다. 따라서, 본 명세서에 설명된 다양한 실시예는 하드웨어에 전체적으로, 하드웨어 및 소프트웨어에 각각 부분적으로, 마찬가지로 소프트웨어에 존재하는 측면을 가질 수 있다.
"예시적"이라는 단어는 예, 사례, 실례를 의미하도록 본 명세서에 사용된다. 의혹을 피하기 위해, 본 명세서에 개시된 발명의 대상은 이러한 예에 의해 제한되지 않는다. 또한, 본 명세서에 "예시적"이라고 기술된 임의의 측면 또는 디자인은 다른 측면 또는 디자인에 비해 바람직하거나 효과적으로 구성될 필요는 없으며, 또한 본 발명에 속하는 분야의 기술자에게 알려진 등가의 예시적인 구조 및 기술을 배제하고자 하는 것이 아니다. 나아가, "포함하다", "구비하다", "함유하다" 및 기타 유사한 단어와 같은 용어가 사용된다는 점에서, 의혹을 방지하기 위해, 그러한 용어는 청구항에서 사용되는 경우에 임의의 추가적인 또는 다른 요소를 배제하지 않고 자유 변화 단어(open transition word)로서 "포함하다"라는 용어와 유사하게 포괄적이다.
전술한 바와 같이, 본 명세서에 설명된 다양한 기술이 하드웨어 또는 소프트웨어(적합한 경우에는 하드웨어와 소프트웨어의 조합)에 관하여 구현될 수 있다. 본 명세서에 사용된 것과 같이, "컴포넌트", "모듈", "시스템" 등의 용어는 마찬가지로 컴퓨터-관련 엔티티(하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행 중의 소프트웨어 중 어느 하나)를 지칭한다. 예를 들어, 컴포넌트는 프로세서에서 실행 중인 프로세스, 프로세서, 객체, 실행가능한 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있으나, 이에 제한되는 것은 아니다. 예시로서, 컴퓨터에서 동작하는 애플리케이션 및 컴퓨터 모두가 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 실행의 프로세스 및/또는 스레드 내에 있을 수 있고, 컴포넌트는 하나의 컴퓨터에 국한될 수 있으며 및/또는 둘 이상의 컴퓨터 사이에 분산될 수 있다.
전술한 시스템은 수 개의 컴포넌트 사이의 상호작용에 관하여 설명되었다. 이러한 시스템 및 컴포넌트는 그러한 컴포넌트 또는 특정 서브-컴포넌트, 특정 컴포넌트나 서브-컴포넌트의 일부 및/또는 추가 컴포넌트 및 이들의 다양한 변경 및 이들의 조합을 포함할 수 있다는 것을 이해할 수 있다. 또한, 서브-컴포넌트는 부모 컴포넌트(계층적) 내에 포함되기보다는 다른 컴포넌트에 통신가능하게 연결되는 컴포넌트로서 구현될 수 있다. 추가로, 하나 이상의 컴포넌트가 집합 기능을 제공하는 단일 컴포넌트로 결합될 수 있거나 수 개의 분리된 서브-컴포넌트로 분할될 수 있고, 임의의 하나 이상의 중간 층(예를 들면, 관리 층)이 통합된 기능을 제공하기 위해 이러한 서브-컴포넌트에 통신가능하게 연결되도록 제공될 수 있다. 본 명세서에 설명된 임의의 컴포넌트는 또한 본 명세서에 구체적으로 기술되지 않았으나 본 발명이 속하는 분야의 기술자에게 일반적으로 알려진 하나 이상의 다른 컴포넌트와 상호작용할 수 있다.
본 명세서에 설명된 예시적인 시스템을 고려할 때, 설명된 발명의 대상에 따라 구현될 수 있는 방법론은 또한 다양한 도면의 흐름도를 참조하여 이해될 수 있다. 설명을 간단히 할 목적으로, 방법론이 일련의 블록으로 도시되고 설명되었으나, 다양한 실시예는 일부 블록이 블록의 순서에 의해 제한되지 않는다는 것을 이해할 수 있는데 이는 본 명세서에 설명되고 표현된 것과 상이한 순서로 및/또는 다른 블록과 동시에 실행될 수 있기 때문이다. 흐름도를 통해 플로우(flow)가 비-순차적으로 또는 분기되어 설명되는 경우에, 동일하거나 유사한 결과를 얻는 다양한 다른 분기점(branches), 플로우 경로, 및 블록의 순서가 구현될 수 있다. 나아가, 일부 설명된 블록은 이하에 설명되는 방법론을 구현하는 데에 있어 선택적이다.
결론
본 발명은 다양한 변경 및 선택적인 구성을 허용하나, 설명된 이들의 소정의 실시예가 도면에 도시되고 위에 상세히 설명되었다. 그러나, 본 발명은 개시된 특정한 형식으로 제한되는 것이 아니며 반대로, 모든 변형예, 선택적 구성 및 본 발명의 사상 및 범주 내의 등가물을 포괄한다.
본 명세서에 설명된 다양한 실시예에 더하여, 다른 유사한 실시예가 사용될 수 있고, 또는 대응하는 실시예(들)의 동일하거나 등가인 기능을 수행하기 위해 이들의 범위를 이탈하지 않는 한 설명된 실시예(들)에 대한 변경 및 부가가 이루질 수 있다는 것을 이해할 것이다. 더 나아가, 다수의 프로세싱 칩 또는 다수의 장치가 본 명세서에 설명되는 하나 이상의 기능의 성능을 공유할 수 있으며, 유사하게 저장요소가 복수의 장치에 대해 유효할 수 있다. 따라서, 본 발명은 임의의 단일한 실시예에 한정되는 것이 아니며, 오히려 첨부된 청구항에 따른 범위, 사상 및 범주 내에서 구성될 것이다.

Claims (10)

  1. 컴퓨팅 환경의 시스템으로서,
    채널에 대응하는 복수의 마이크로폰을 포함하는 마이크로폰 어레이 - 상기 채널은 각각 신호를 출력함 - ,
    각각의 채널에 대한 잡음 플로어 데이터(noise floor data)를 결정하도록 구성되며 상기 어레이에 연결되는 메커니즘, 및
    각각의 채널에 대한 상기 잡음 플로어 데이터에 기초하여 신호 처리에서 사용할 채널을 선택하도록 구성되는 채널 선택기 - 상기 채널 선택기는 상기 잡음 플로어 데이터의 변경에 동적으로 적응됨 - 를 포함하는
    시스템.
  2. 제1항에 있어서,
    상기 채널 선택기는 상기 신호 처리에서 사용하기 위해 임의의 시간에 단일 채널을 선택하고, 상기 시간 동안 각각의 다른 채널로부터의 신호를 폐기하는
    시스템.
  3. 제1항에 있어서,
    상기 채널 선택기는 상기 신호 처리에서 사용하기 위해 임의의 시간에 하나 이상의 채널을 선택하고,
    상기 시스템은 둘 이상의 채널이 선택되는 경우에 각각의 선택된 채널로부터의 신호를 결합하도록 구성되는 메커니즘을 더 포함하는
    시스템.
  4. 제1항에 있어서,
    잡음 플로어 데이터가 획득될 시점을 결정하도록 구성되는 분류기를 더 포함하는
    시스템.
  5. 컴퓨팅 환경에서, 적어도 하나의 프로세서에서 적어도 부분적으로 수행되는 방법으로서,
    (a) 잡음 측정 단계(noise measurment phase) 중에 잡음 데이터를 결정하는 단계 - 상기 잡음 데이터는 마이크로폰 어레이의 마이크로폰에 대응하는 복수의 채널의 각각의 채널에 대한 잡음 데이터를 포함함 - ;
    (b) 상기 잡음 데이터를 사용하여 상기 잡음 측정 단계에 뒤이은 신호 처리를 위해 사용할 채널 또는 복수의 채널을 선택하는 단계;
    (c) 잡음 데이터가 시간에 대해 변함에 따라 채널 선택을 동적으로 적응시키도록 (a) 단계로 복귀하는 단계를 포함하는
    방법.
  6. 제5항에 있어서,
    상기 잡음 데이터는 각각의 채널에 대한 에너지 레벨에 대응하는 컴퓨팅 데이터를 포함하는
    방법.
  7. 제5항에 있어서,
    (a) 단계에서 (b) 단계로의 전환 시점의 결정에 사용하기 위해, 그리고 (b) 단계에서 (c) 단계로의 전환 시점의 결정에 사용하기 위해, 상기 채널의 하나 이상의 입력 신호에 기초하여 신호 처리를 위해 상기 입력 신호가 잡음에 대응하는지 또는 신호에 대응하는지 여부를 분류하는 단계를 더 포함하는
    방법.
  8. 실행 시에 방법을 수행하는 컴퓨터-실행가능 명령어를 가진 하나 이상의 컴퓨터-판독가능 매체로서,
    상기 방법은,
    (a) 잡음 측정 단계 중에 잡음 데이터를 판정하는 단계 - 상기 판정하는 단계는 마이크로폰 어레이의 마이크로폰에 대응하는 복수의 채널의 각각 채널에 대한 잡음 플로어 에너지 레벨(noise floor energy level)을 획득하는 것을 포함함 - ;
    (b) 음성을 검출하고, 상기 잡음 데이터를 사용하여 음성 인식을 위해 사용할 채널을 선택하는 선택 단계(selection phase)로 전환하는 단계;
    (c) 음성 인식을 위해 사용하기 위한 선택된 채널에 대응하는 신호를 출력하는 단계; 및
    (d) 잡음 데이터가 시간에 대해 변함에 따라 채널 선택을 동적으로 적응시키도록 (a) 단계로 복귀하는 단계를 포함하는
    컴퓨터-판독가능 매체.
  9. 제8항에 있어서,
    상기 음성을 검출하는 것은 상기 잡음 플로어 에너지 레벨로부터 변경을 검출하는 것을 포함하는
    컴퓨터-판독가능 매체.
  10. 제8항에 있어서,
    복수의 채널은 (b) 단계에서 선택되고,
    상기 방법은 (c) 단계에서의 출력을 위해 상기 선택된 채널로부터의 신호를 결합 신호로 결합하는 단계를 더 포함하는
    컴퓨터-판독가능 매체.
KR1020137023310A 2011-03-03 2012-03-02 마이크로폰 어레이를 위한 잡음 적응형 빔 형성 기법 KR101910679B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/039,576 2011-03-03
US13/039,576 US8929564B2 (en) 2011-03-03 2011-03-03 Noise adaptive beamforming for microphone arrays
PCT/US2012/027540 WO2012119100A2 (en) 2011-03-03 2012-03-02 Noise adaptive beamforming for microphone arrays

Publications (2)

Publication Number Publication Date
KR20140046405A true KR20140046405A (ko) 2014-04-18
KR101910679B1 KR101910679B1 (ko) 2018-10-22

Family

ID=46753312

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137023310A KR101910679B1 (ko) 2011-03-03 2012-03-02 마이크로폰 어레이를 위한 잡음 적응형 빔 형성 기법

Country Status (6)

Country Link
US (1) US8929564B2 (ko)
EP (1) EP2681735A4 (ko)
JP (1) JP6203643B2 (ko)
KR (1) KR101910679B1 (ko)
CN (1) CN102708874A (ko)
WO (1) WO2012119100A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190047885A (ko) * 2017-10-30 2019-05-09 주식회사 시그널비젼 잡음 제거 방법 및 그 장치
US10750281B2 (en) 2018-12-03 2020-08-18 Samsung Electronics Co., Ltd. Sound source separation apparatus and sound source separation method

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2494204B (en) * 2011-09-05 2017-05-24 Roke Manor Research Method and apparatus for signal detection
US20130329908A1 (en) * 2012-06-08 2013-12-12 Apple Inc. Adjusting audio beamforming settings based on system state
US9076450B1 (en) * 2012-09-21 2015-07-07 Amazon Technologies, Inc. Directed audio for speech recognition
CN103019437A (zh) * 2012-10-29 2013-04-03 苏州大学 一种触摸式电子白板
US9813262B2 (en) 2012-12-03 2017-11-07 Google Technology Holdings LLC Method and apparatus for selectively transmitting data using spatial diversity
US9591508B2 (en) 2012-12-20 2017-03-07 Google Technology Holdings LLC Methods and apparatus for transmitting data between different peer-to-peer communication groups
US9979531B2 (en) 2013-01-03 2018-05-22 Google Technology Holdings LLC Method and apparatus for tuning a communication device for multi band operation
US10229697B2 (en) * 2013-03-12 2019-03-12 Google Technology Holdings LLC Apparatus and method for beamforming to obtain voice and noise signals
CN104424953B (zh) 2013-09-11 2019-11-01 华为技术有限公司 语音信号处理方法与装置
US9742573B2 (en) * 2013-10-29 2017-08-22 Cisco Technology, Inc. Method and apparatus for calibrating multiple microphones
US9549290B2 (en) 2013-12-19 2017-01-17 Google Technology Holdings LLC Method and apparatus for determining direction information for a wireless device
CN103905958A (zh) * 2014-04-21 2014-07-02 杭州百控科技有限公司 音频处理装置及方法
US9491007B2 (en) 2014-04-28 2016-11-08 Google Technology Holdings LLC Apparatus and method for antenna matching
US9478847B2 (en) 2014-06-02 2016-10-25 Google Technology Holdings LLC Antenna system and method of assembly for a wearable electronic device
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US20160221581A1 (en) * 2015-01-29 2016-08-04 GM Global Technology Operations LLC System and method for classifying a road surface
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
CN104936091B (zh) * 2015-05-14 2018-06-15 讯飞智元信息科技有限公司 基于圆形麦克风阵列的智能交互方法及系统
US9734845B1 (en) * 2015-06-26 2017-08-15 Amazon Technologies, Inc. Mitigating effects of electronic audio sources in expression detection
JP6533134B2 (ja) * 2015-09-15 2019-06-19 シャープ株式会社 マイクシステム、音声認識装置、音声処理方法、および音声処理プログラム
US9878664B2 (en) * 2015-11-04 2018-01-30 Zoox, Inc. Method for robotic vehicle communication with an external environment via acoustic beam forming
US9494940B1 (en) 2015-11-04 2016-11-15 Zoox, Inc. Quadrant configuration of robotic vehicles
US9804599B2 (en) 2015-11-04 2017-10-31 Zoox, Inc. Active lighting control for communicating a state of an autonomous vehicle to entities in a surrounding environment
CN105427860B (zh) * 2015-11-11 2019-09-03 百度在线网络技术（北京）有限公司 远场语音识别方法和装置
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9820039B2 (en) 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
EP3430821B1 (en) * 2016-03-17 2022-02-09 Sonova AG Hearing assistance system in a multi-talker acoustic network
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US9818425B1 (en) * 2016-06-17 2017-11-14 Amazon Technologies, Inc. Parallel output paths for acoustic echo cancellation
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US9980075B1 (en) 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
US10945080B2 (en) * 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
WO2018091650A1 (en) * 2016-11-21 2018-05-24 Harman Becker Automotive Systems Gmbh Beamsteering
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
EP3574659A1 (en) 2017-01-27 2019-12-04 Shure Acquisition Holdings, Inc. Array microphone module and system
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10706868B2 (en) * 2017-09-06 2020-07-07 Realwear, Inc. Multi-mode noise cancellation for voice detection
JP6345327B1 (ja) * 2017-09-07 2018-06-20 ヤフー株式会社 音声抽出装置、音声抽出方法および音声抽出プログラム
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10349169B2 (en) * 2017-10-31 2019-07-09 Bose Corporation Asymmetric microphone array for speaker system
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US10192566B1 (en) * 2018-01-17 2019-01-29 Sorenson Ip Holdings, Llc Noise reduction in an audio system
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10924873B2 (en) * 2018-05-30 2021-02-16 Signify Holding B.V. Lighting device with auxiliary microphones
US11523212B2 (en) 2018-06-01 2022-12-06 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11310596B2 (en) 2018-09-20 2022-04-19 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US11109133B2 (en) 2018-09-21 2021-08-31 Shure Acquisition Holdings, Inc. Array microphone module and system
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) * 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11438691B2 (en) 2019-03-21 2022-09-06 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
WO2020191354A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
TW202101422A (zh) 2019-05-23 2021-01-01 美商舒爾獲得控股公司 可操縱揚聲器陣列、系統及其方法
EP3977449A1 (en) 2019-05-31 2022-04-06 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
KR102586866B1 (ko) * 2019-06-28 2023-10-11 스냅 인코포레이티드 헤드-웨어러블 장치를 사용하여 캡처된 신호들의 신호 대 잡음비를 개선하기 위한 동적 빔포밍
AU2020316738B2 (en) * 2019-07-21 2023-06-22 Nuance Hearing Ltd. Speech-tracking listening device
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11297426B2 (en) 2019-08-23 2022-04-05 Shure Acquisition Holdings, Inc. One-dimensional array microphone with improved directivity
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
CN111091846B (zh) * 2019-12-26 2022-07-26 江亨湖 一种降噪方法及应用该方法的回声消除系统
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11200908B2 (en) * 2020-03-27 2021-12-14 Fortemedia, Inc. Method and device for improving voice quality
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
CN112242148B (zh) * 2020-11-12 2023-06-16 北京声加科技有限公司 一种基于头戴式耳机的风噪抑制方法及装置
US11290814B1 (en) * 2020-12-15 2022-03-29 Valeo North America, Inc. Method, apparatus, and computer-readable storage medium for modulating an audio output of a microphone array
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
CN116918351A (zh) 2021-01-28 2023-10-20 舒尔获得控股公司 混合音频波束成形系统
CN114220458B (zh) * 2021-11-16 2024-04-05 武汉普惠海洋光电技术有限公司 基于阵列水听器的声音识别方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0742679A2 (en) * 1995-05-08 1996-11-13 AT&T IPM Corp. Microphone selection process for use in a multiple microphone voice actuated switching system
EP1624717A1 (en) * 2003-05-13 2006-02-08 Sony Corporation Microphone speaker body forming type of bi-directional telephone apparatus
KR20100115787A (ko) * 2008-01-31 2010-10-28 콸콤 인코포레이티드 사용자로의 마이크로폰 커버링의 시그널링

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4658425A (en) * 1985-04-19 1987-04-14 Shure Brothers, Inc. Microphone actuation control system suitable for teleconference systems
US6154552A (en) 1997-05-15 2000-11-28 Planning Systems Inc. Hybrid adaptive beamformer
AU2003210624A1 (en) * 2002-01-18 2003-07-30 Polycom, Inc. Digital linking of multiple microphone systems
JP2003271191A (ja) 2002-03-15 2003-09-25 Toshiba Corp 音声認識用雑音抑圧装置及び方法、音声認識装置及び方法並びにプログラム
KR100446626B1 (ko) 2002-03-28 2004-09-04 삼성전자주식회사 음성신호에서 잡음을 제거하는 방법 및 장치
US7895036B2 (en) * 2003-02-21 2011-02-22 Qnx Software Systems Co. System for suppressing wind noise
US7643641B2 (en) 2003-05-09 2010-01-05 Nuance Communications, Inc. System for communication enhancement in a noisy environment
KR101149571B1 (ko) 2004-04-28 2012-05-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 적응성 빔 형성기, 사이드로브 소거기, 핸즈프리 음성 통신 디바이스
EP1931169A4 (en) 2005-09-02 2009-12-16 Japan Adv Inst Science & Tech POST-FILTER FOR A MICROPHONE MATRIX
US8068619B2 (en) 2006-05-09 2011-11-29 Fortemedia, Inc. Method and apparatus for noise suppression in a small array microphone system
JP2008048281A (ja) * 2006-08-18 2008-02-28 Sony Corp ノイズ低減装置、ノイズ低減方法及びノイズ低減プログラム
US8175291B2 (en) * 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
US8411880B2 (en) * 2008-01-29 2013-04-02 Qualcomm Incorporated Sound quality by intelligently selecting between signals from a plurality of microphones
US8503694B2 (en) 2008-06-24 2013-08-06 Microsoft Corporation Sound capture system for devices with two microphones
JP2011003944A (ja) * 2009-06-16 2011-01-06 Seiko Epson Corp プロジェクターおよび音声出力方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0742679A2 (en) * 1995-05-08 1996-11-13 AT&T IPM Corp. Microphone selection process for use in a multiple microphone voice actuated switching system
EP1624717A1 (en) * 2003-05-13 2006-02-08 Sony Corporation Microphone speaker body forming type of bi-directional telephone apparatus
KR20100115787A (ko) * 2008-01-31 2010-10-28 콸콤 인코포레이티드 사용자로의 마이크로폰 커버링의 시그널링

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190047885A (ko) * 2017-10-30 2019-05-09 주식회사 시그널비젼 잡음 제거 방법 및 그 장치
US10750281B2 (en) 2018-12-03 2020-08-18 Samsung Electronics Co., Ltd. Sound source separation apparatus and sound source separation method

Also Published As

Publication number Publication date
WO2012119100A2 (en) 2012-09-07
EP2681735A4 (en) 2015-03-11
US8929564B2 (en) 2015-01-06
CN102708874A (zh) 2012-10-03
KR101910679B1 (ko) 2018-10-22
JP6203643B2 (ja) 2017-09-27
US20120224715A1 (en) 2012-09-06
WO2012119100A3 (en) 2012-11-29
JP2014510481A (ja) 2014-04-24
EP2681735A2 (en) 2014-01-08

Similar Documents

Publication Publication Date Title
KR20140046405A (ko) 마이크로폰 어레이를 위한 잡음 적응형 빔 형성
US10602267B2 (en) Sound signal processing apparatus and method for enhancing a sound signal
EP3511937B1 (en) Device and method for sound source separation, and program
KR100486736B1 (ko) 두개의 센서를 이용한 목적원별 신호 분리방법 및 장치
JP7324753B2 (ja) 修正された一般化固有値ビームフォーマーを用いた音声信号のボイス強調
TW201629950A (zh) 針對低功耗關鍵字偵測及雜訊抑制而利用數位麥克風
JP2014523003A5 (ko)
JP6225245B2 (ja) 信号処理装置、方法及びプログラム
JP2007047427A (ja) 音声処理装置
JP5994639B2 (ja) 有音区間検出装置、有音区間検出方法、及び有音区間検出プログラム
JP2011203414A (ja) 雑音及び残響抑圧装置及びその方法
JPWO2016076237A1 (ja) 信号処理装置、信号処理方法および信号処理プログラム
JP2014194437A (ja) 音声処理装置、音声処理方法および音声処理プログラム
Grais et al. Referenceless performance evaluation of audio source separation using deep neural networks
US11984132B2 (en) Noise suppression device, noise suppression method, and storage medium storing noise suppression program
JP2011176535A (ja) 信号処理装置
JP6638248B2 (ja) 音声判定装置、方法及びプログラム、並びに、音声信号処理装置
Li et al. Adaptive extraction of repeating non-negative temporal patterns for single-channel speech enhancement
US20210174820A1 (en) Signal processing apparatus, voice speech communication terminal, signal processing method, and signal processing program
EP3291227B1 (en) Sound processing device, method of sound processing, sound processing program and storage medium
JP6613728B2 (ja) 雑音抑圧装置、プログラム及び方法
Gong et al. Noise power spectral density matrix estimation based on modified IMCRA
JP7139822B2 (ja) 雑音推定装置、雑音推定プログラム、雑音推定方法、及び収音装置
JP5134477B2 (ja) 目的信号区間推定装置、目的信号区間推定方法、目的信号区間推定プログラム及び記録媒体
US10204638B2 (en) Integrated sensor-array processor

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant