KR20210091034A - 평면 마이크로폰 어레이들에 대한 다중-소스 추적 및 음성 활동 검출들 - Google Patents

평면 마이크로폰 어레이들에 대한 다중-소스 추적 및 음성 활동 검출들 Download PDF

Info

Publication number
KR20210091034A
KR20210091034A KR1020200166979A KR20200166979A KR20210091034A KR 20210091034 A KR20210091034 A KR 20210091034A KR 1020200166979 A KR1020200166979 A KR 1020200166979A KR 20200166979 A KR20200166979 A KR 20200166979A KR 20210091034 A KR20210091034 A KR 20210091034A
Authority
KR
South Korea
Prior art keywords
tdoa
audio
microphone
covariance matrix
azimuth
Prior art date
Application number
KR1020200166979A
Other languages
English (en)
Inventor
알리 마스나디-시라지
프란체스코 네스타
Original Assignee
시냅틱스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시냅틱스 인코포레이티드 filed Critical 시냅틱스 인코포레이티드
Publication of KR20210091034A publication Critical patent/KR20210091034A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006—Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H04R29/006—Microphone matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본원에 설명된 실시형태들은 일반 어레이 지오메트리들, 예를 들어, 평면 상에 놓인 마이크로폰 어레이에 적용가능한 결합된 멀티-소스 도달 시간 차이 (TDOA) 추적 및 음성 활동 검출 (VAD) 메카니즘을 제공한다. 결합된 멀티-소스 TDOA 추적 및 VAD 메카니즘은 마이크로폰 페어들에서의 마이크로폰 어레이의 방위각 및 고도각을 스캔하고, 이에 기초하여, 물리적으로 허용가능한 TDOA들의 평면 로커스가 다수의 마이크로폰 페어들의 다차원 TDOA 공간에 형성될 수 있다. 이러한 식으로, 다차원 TDOA 추적은 각각의 차원에 대해 개별적으로 TDOA 검색을 수행하는 것에 의해 통상의 TDOA 에서 일반적으로 수반되었던 계산들의 수를 감소시킨다.

Description

평면 마이크로폰 어레이들에 대한 다중-소스 추적 및 음성 활동 검출들{MULTIPLE-SOURCE TRACKING AND VOICE ACTIVITY DETECTIONS FOR PLANAR MICROPHONE ARRAYS}
본 개시는 하나 이상의 실시형태들에 따라, 일반적으로 오디오 신호 프로세싱에 관한 것이고, 보다 구체적으로, 일반 평면 마이크로폰 어레이들에 대한 다중-소스 추적 및 멀티-스트림 음성 활동 검출들을 위한 시스템들 및 방법들에 관한 것이다.
스마트 스피커들 및 다른 음성 제어 디바이스들 및 어플라이언스들이 최근에 인기를 얻고 있다. 스마트 스피커들은 환경에서 오디오 입력들 (예를 들어, 사용자의 구두 커맨드들) 을 수신하기 위한 마이크로폰들의 어레이를 종종 포함한다. 타겟 오디오 (예를 들어, 구두 커맨드) 가 오디오 입력들에서 검출될 때, 스마트 스피커는 검출된 타겟 오디오를 하나 이상의 커맨드들로 변환하고 커맨드들에 기초하여 상이한 테스크들을 수행할 수도 있다.
이들 스마트 스피커들의 일 도전 과제는 일반적으로 동작 환경에서 잡음 또는 다른 활성 스피커들로부터 타겟 오디오 (예를 들어, 구두 커맨드) 를 효율적으로 그리고 효과적으로 분리하는 것이다. 예를 들어, 하나 이상의 스피커들은 하나 이상의 잡음 소스들의 존재에 활성일 수 있다. 목표가 특정 스피커를 강화하는 것일 때, 스피커는 타겟 스피커로 지칭되고, 나머지 스피커들은 간섭 소스들로서 보여질 수 있다. 기존 스피치 강화 알고리즘들은 대부분 다중 입력 채널들 (마이크로폰들) 을 사용한 소스들의 공간 정보, 이를 테면, 독립적 컴포넌트 분석 (ICA) 에 관련된 블라인드 소스 분리 (BSS) 방법들, 및 공간 필터링 또는 빔포밍 방법들을 활용한다.
그러나, BSS 방법들은 큰 응답 지연들에 기인하여 실제 적용들에서 원하지 않는 또는 심지어 적용가능하지 않을 수 있는 배치 프로세싱을 위해 주로 설계되었다. 한편, 공간 필터링 또는 빔포밍 방법들은 잡음/간섭 단독 세그먼트들에 관련된 공분산 매트릭스의 추정값에 전적으로 의존할 수 있는 최소화되는 비용 함수로서 음성 활동 검출 (VAD) 하에서의 감시를 종종 요구한다.
따라서, 멀티-스트림 오디오 환경에서 타겟 오디오 신호(들)을 검출하고 프로세싱하는 개선된 시스템들 및 방법들에 대한 필요가 존재한다.
본 개시의 양태들 및 이들의 이점들은 다음에 오는 상세한 설명 및 다음에 오는 도면들을 참조하여 보다 잘 이해될 것이다. 동일한 도면 부호들은 하나 이상의 도면들에서 예시된 동일한 엘리먼트들을 식별하는데 사용되며, 여기에 도시된 것은 본 개시의 실시형태들을 예시하기 위한 목적이며 이를 제한하기 위한 목적이 아니다. 도면들에서의 컴포넌트들은 반드시 필수적으로 비례하여 도시되는 것은 아니고, 그 대신에, 본 개시의 원리들을 명확하게 예시하기 위하여 강조되어 있다.
도 1 은 본 개시의 하나 이상의 실시형태들에 따른 오디오 프로세싱 디바이스에 대한 예시의 동작 환경을 예시한다.
도 2 는 본 개시의 하나 이상의 실시형태들에 따른 예시의 오디오 프로세싱 디바이스의 블록도이다.
도 3 은 본 개시의 하나 이상의 실시형태들에 따른 멀티-트랙 오디오 환경을 위한 예시의 오디오 신호 프로세서의 블록도이다.
도 4 는 본 개시의 여러 실시형태들에 따른 일반 마이크로폰 어레이로부터 다수의 오디오 신호들을 프로세싱하기 위한 예시의 멀티-트랙 활동 검출 엔진의 블록도이다.
도 5a 는 본 개시의 하나 이상의 실시형태들에 따른 마이크로폰 페어의 예시의 지오메트리를 예시하는 도면이다.
도 5b 는 본 개시의 하나 이상의 실시형태들에 따른 상이한 마이크로폰 어레이 지오메트리들에 대응하는 다차원 공간에서 도달 시간 차이 (TDOA) 로커스의 예시의 메쉬들을 예시하는 도면이다.
도 6 은 본 개시의 여러 실시형태들에 따른 멀티-소스 추적 및 활동 검출에 의해 멀티-소스 오디오 신호들을 강화하는 예시의 방법의 로직 플로우 도면이다.
도 7 은 본 개시의 여러 실시형태들에 따른 마이크로폰 페어들을 사용하여 다차원 공간에서 TDOA 로커스 정보를 연산하기 위한 예시의 프로세서의 로직 플로우 도면이다.
본 발명은 멀티-스트림 오디오 환경에서 타겟 오디오 신호(들)을 검출하고 프로세싱하는 개선된 시스템들 및 방법들을 제공하는 것이다.
음성 활동 검출 (VAD) 은 다수의 입력 채널들로부터 유도되는 소스들의 공간 정보를 활용하는 프로세스에서 타겟 오디오의 스피치 강화를 감시하는데 사용될 수도 있다. VAD 는 원하는 스피커가 활성이 될 때 잡음/간섭의 효과가 이후에 널링될 수 있도록 원하는 스피커의 무음 주기들 동안에 유도되는 간섭/잡음 소스들의 공간적 통계들을 허용할 수도 있다. 예를 들어, 각각의 소스의 VAD 는 검출이 기존 트랙의 근방에서 나타날 때를 결정하는 것에 의해 VAD 를 구성하고 검출들의 이력을 활용하는 것에 의해 도달 시간 차이 (TDOA) 또는 도달 방향 (DOA) 의 형태로 소스들의 공간 정보를 추적하도록 추론될 수도 있다. 이 프로세스는 일반적으로 M2T (Measurement-to-Track) 배정으로 알려져 있다. 이 방식으로, 다수의 VAD들이 관심 대상의 소스들 모두에 대해 추론될 수 있다.
구체적으로, 기존의 DOA 방법들은 방위각 및 고도각의 폐쇄형 맵핑에 기초하여 마이크로폰들의 전체 어레이에 대한 단일 스티어링 벡터를 통상적으로 구성하며, 이는 선형 또는 원형 어레이들의 공간적 지오메트리를 활용하는데 사용될 수 있다. 이러한 DOA 방법들은 마이크로폰 어레이들의 일반적 또는 임의적 지오메트리들로 활용될 수 없다. 추가로, 이들 폐쇄형 맵핑 기반 DOA 방법들은 다차원 공간에서 확장적 검색을 종종 요구한다. 임의적 지오메트리에 대해, 기존의 TDOA-기반 방법들이 사용될 수 있는데, 이는 특정 어레이 지오메트리로 제한할 수도 없고, 각각의 마이크로폰 페어가 다차원의 TDOA 벡터 (각각의 페어에 대해 1 차원) 를 형성하는 다수의 스티어링 벡터들을 구성할 수도 있다. 그러나, 이들 기존의 방법들은 각각의 TDOA 페어의 스펙트럼으로부터 피크들의 상호 교차에 의해 형성되는 TDOA 고스트들을 도입하는 위험을 야기한다. 그 결과, 특정 어레이 지오메트리를 수반하는 추가의 포스트 프로세싱이 종종 TDOA 고스트들을 제거하는데 요구된다.
특정 어레이 지오메트리들에 의해 제약되는 멀티-스트림 VAD 의 필요성의 관점에서, 본원에 설명된 실시형태들은 일반 어레이 지오메트리, 예를 들어, 평면 상에 존재하는 마이크로폰 어레이에 적용가능한 결합된 멀티-소스 TDOA 추적 및 VAD 메카니즘을 제공한다. 결합된 멀티-소스 TDOA 추적 및 VAD 메카니즘은 각각의 차원에 대해 개별적으로 TDOA 검색을 수행하는 것에 의해 통상의 TDOA 에서 일반적으로 수반되었던 계산들의 수를 감소시킬 수도 있다.
일부 실시형태들에서, 평면 상에 존재하는 일반 어레이 지오메트리들에 대한 다차원 TDOA 방법이 채택되며, 이는 원하지 않는 고스트 TDOA들을 방지한다. 일 실시형태에서, 일반적으로 구성되는 마이크로폰들의 직교 좌표들이 획득되며, 이 좌표 중 하나는 참조 마이크로폰으로서 선택될 수도 있다. 마이크로폰들의 방위각 및 고도각이 스캔될 수 있고, 이에 기초하여, 물리적으로 허용가능한 TDOA들의 평면 로커스가 다수의 마이크로폰 페어들의 다차원 TDOA 공간에 형성될 수 있다. 이 방식으로, 형성된 평면 로커스는 고스트 TDOA들의 형성을 회피하고 따라서 추가의 포스트-프로세싱이 요구되지 않아 고스트 TDOA들이 제거된다. 또한, 풀 DOA 스캔 방법에 비해, 본원에 개시된 다차원 TDOA 방법들은 풀 다차원 공간에서의 검색보다는 각각의 차원에 관한 페어별 TDOA 도메인에서의 검색을 개별적으로 수행하는 것에 의해 계산 복잡도를 감소시킨다.
도 1 은 오디오 프로세싱 시스템이 본 개시의 여러 실시형태들에 따라 동작할 수 있는 예시의 동작 환경 (100) 을 예시한다. 동작 환경 (100) 은 오디오 프로세싱 디바이스 (105), 타겟 오디오 소스 (110) 및 하나 이상의 잡음 소스들 (135-145) 을 포함한다. 도 1 에 예시된 실시예에서, 동작 환경이 룸 (100) 으로 예시되어 있지만, 동작 환경은 다른 영역들, 이를 테면, 차량 내부, 사무소 회의실, 집의 방, 실외 운동장, 또는 공항을 포함할 수도 있는 것으로 고려된다. 본 개시의 여러 실시형태들에 따르면, 오디오 프로세싱 디바이스 (105) 는 두개 이상의 오디오 감지 컴포넌트들 (예를 들어, 마이크로폰들) (115a-115d) 및 선택적으로, 하나 이상의 오디오 출력 컴포넌트들 (예를 들어, 스피커들)(120a-120b) 을 포함할 수도 있다.
오디오 프로세싱 디바이스 (105) 는 오디오 수신 컴포넌트들 (115a-115d) 을 통하여 사운드를 감지하고 두개 이상의 오디오 입력 신호들을 포함한 멀티-채널 오디오 입력 신호를 생성하도록 구성될 수도 있다. 오디오 프로세싱 디바이스 (105) 는 타겟 오디오 소스 (110) 로부터 수신된 오디오 신호를 강화하도록 본원에 설명된 오디오 프로세싱 기법들을 사용하여 오디오 입력 신호들을 프로세싱할 수도 있다. 예를 들어, 프로세싱된 오디오 신호들은 오디오 프로세싱 디바이스 (105), 이를 테면 스피치 인식 엔진 또는 음성 커맨드 프로세서 내의 다른 컴포넌트들로 또는 외부 디바이스로 송신될 수도 있다. 따라서, 오디오 프로세싱 디바이스 (105) 는 오디오 신호를 프로세싱하는 독립형 디바이스, 또는 외부 디바이스를 제어하거나 외부 디바이스와 상호작용하기 위하여 프로세싱된 오디오 신호들을 다른 신호들 (예를 들어, 커맨드, 명령 등) 로 턴하는 디바이스일 수도 있다. 다른 실시형태들에서, 오디오 프로세싱 디바이스 (105) 는 통신 디바이스들, 이를 테면 모바일 폰 또는 보이스-오버-IP (VoIP) 실행 디바이스일 수도 있고 프로세싱된 오디오 신호들은 원격 사용자로의 출력을 위하여 다른 디바이스로 네트워크를 통하여 송신될 수도 있다. 통신 디바이스는 또한 프로세싱된 오디오 신호들을 원격 디바이스로부터 수신하고 프로세싱된 오디오 신호들을 오디오 출력 컴포넌트들 (120a-120b) 을 통하여 출력할 수도 있다.
타겟 오디오 소스 (110) 는 오디오 프로세싱 디바이스 (105) 에 의해 검출가능한 사운드를 생성하는 임의의 소스일 수도 있다. 시스템에 의해 검출될 타겟 오디오는 사용자 또는 시스템 요건들에 의해 특정되는 기준들에 기초하여 정의될 수도 있다. 예를 들어, 타겟 오디오는 특정 애니멀 또는 머신에 의해 만들어진 사운드, 인간 스피치로서 정의될 수도 있다. 예시된 예에서, 타겟 오디오는 인간 스피치는 인간 스피치로서 정의될 수도 있고 타겟 오디오 소스 (110) 는 개인이다. 타겟 오디오 소스 (110) 에 더하여, 동작 환경 (100) 은 하나 이상의 잡음 소스들 (135-145) 을 포함할 수도 있다. 여러 실시형태들에서, 타겟 오디오가 아닌 사운드는 잡음으로서 프로세싱될 수도 있다. 예시된 예에서, 잡음 소스들 (135-145) 은 음악을 플레이하는 라우드스피커 (135), 텔레비전 쇼, 영화 또는 스포츠 경기를 플레이하는 텔레비전 (140), 및 비-타겟 스피커들 (145) 간의 배경 대화들을 포함할 수도 있다. 상이한 잡음 소스들이 여러 동작 환경들에서 존재할 수도 있음을 알아야 한다.
타겟 오디오 및 잡음이 상이한 방향들로부터 상이한 시간들에 오디오 프로세싱 디바이스 (105) 의 마이크로폰들 (115a-115d) 에 도달할 수도 있음을 주지해야 한다. 예를 들어, 잡음 소스들 (135-145) 은 룸 (100) 내의 상이한 위치들에 잡음을 생성할 수도 있고 타겟 오디오 소스 (개인)(110) 는 룸 (100) 내의 위치들 간을 이동하면서 말할 수도 있다. 또한, 타겟 오디오 및/또는 잡음은 룸 (100) 내의 설치물들 (예를 들어, 벽들) 에서 반사할 수도 있다. 예를 들어, 마이크로폰들 (115a-115d) 의 각각에 도달하도록 개인 (110) 으로부터 타겟 오디오가 횡단할 수 있는 것을 고려하여 본다. 화살표들 (125a-125d) 로 표시된 바와 같이, 타겟 오디오는 개인 (110) 으로부터 마이크로폰들 (115a-115d) 로 각각 직접 진행할 수도 있다. 추가로, 타겟 오디오는 화살표들 (130a-130b) 에 의해 표시되는 바와 같이, 벽들 (150a 및 150b) 에서 반사하고, 개인 (110) 으로부터 간접적으로 마이크로폰들 (115a-115d) 에 각각 도달할 수도 있다. 여러 실시형태들에서, 오디오 프로세싱 디바이스 (105) 는 타겟 오디오를 더욱 강화하고 잡음을 억제하기 위하여 룸 임펄스 응답을 추정 및 적용하는 하나 이상의 오디오 프로세싱 기법들을 사용할 수도 있다.
도 2 는 본 개시의 여러 실시형태들에 따라 예시의 오디오 프로세싱 디바이스 (200) 를 예시한다. 일부 실시형태들에서, 오디오 디바이스 (200) 는 도 1 의 오디오 프로세싱 디바이스 (105) 로서 구현될 수도 있다. 오디오 디바이스 (200) 는 오디오 센서 어레이 (205), 오디오 신호 프로세서 (220) 및 호스트 시스템 컴포넌트들 (250) 을 포함한다.
오디오 센서 어레이 (205) 는 두개 이상의 센서들을 포함하며, 각각의 센서는 음파의 형태로 된 오디오 입력들을 오디오 신호로 변환하는 트랜스듀서로서 구현될 수도 있다. 예시된 환경에서, 오디오 센서 어레이 (205) 는 복수의 마이크로폰들 (205a-205n) 을 포함하고, 각각의 마이크로폰은 오디오 신호 프로세서 (220) 의 오디오 입력 회로부 (222) 에 제공되는 오디오 입력 신호를 생성한다. 일 실시형태에서, 센서 어레이 (205) 는 멀티채널 오디오 신호를 생성하고, 각각의 채널은 마이크로폰들 (205a-n) 중 하나로부터의 오디오 입력 신호에 대응한다.
오디오 신호 프로세서 (220) 는 오디오 입력 회로부 (222), 디지털 신호 프로세서 (224) 및 선택적 오디오 출력 회로부 (226) 를 포함한다. 여러 실시형태들에서, 오디오 신호 프로세서 (220) 는 아날로그 회로부, 디지털 회로부 및 디지털 신호 프로세서 (224) 를 포함하는 집적 회로로서 구현될 수도 있고 이 프로세서는 펌웨어로 저장된 프로그램 명령들을 실행하도록 동작한다. 예를 들어, 오디오 입력 회로부 (222) 는 오디오 센서 어레이 (205) 로의 인터페이스, 엘리어싱-제거 필터들, 아날로그-투-디지털 컨버터 회로부, 에코 제거 회로부 및 다른 오디오 프로세싱 회로부 및 컴포넌트들을 포함할 수도 있다. 디지털 신호 프로세서 (224) 는 하나 이상의 호스트 시스템 컴포넌트 (250) 로 출력되는 강화된 오디오 신호를 생성하기 위해 멀티채널 디지털 오디오 신호를 프로세싱하도록 동작가능하다. 여러 실시형태들에서, 디지털 신호 프로세서 (224) 는 에코 제거, 잡음 제거, 타겟 신호 강화, 포스트 필터링, 및 다른 오디오 신호 프로세싱 기능들을 수행하도록 동작가능할 수도 있다.
선택적 오디오 출력 회로부 (226) 는 디지털 신호 프로세서 (224) 로부터 수신되어 적어도 하나의 스피커, 이를 테면 스피커들 (210a 및 210b) 에 출력하기 위한 오디오 신호들을 프로세싱한다. 여러 실시형태들에서, 오디오 출력 회로부 (226) 는 하나 이상의 디지털 오디오 신호들을 아날로그로 변환하는 디지털-투-아날로그 컨버터, 및 스피커들 (210a-210b) 을 구동하기 위한 하나 이상의 증폭기들을 포함할 수도 있다.
오디오 프로세싱 디바이스 (200) 는 타겟 오디오 데이터를 수신 및 강화하도록 동작가능한 임의의 디바이스, 이를 테면, 예를 들어, 모바일 폰, 스마트 스피커, 테블릿, 랩톱 컴퓨터, 데스크톱 컴퓨터, 음성 제어 어플라이언스, 또는 자동차일 수도 있다. 호스트 시스템 컴포넌트 (250) 는 오디오 프로세싱 디바이스 (200) 를 동작하기 위한 여러 하드웨어 및 소프트웨어 컴포넌트들을 포함할 수도 있다. 예시된 실시형태에서, 시스템 컴포넌트들 (250) 은 프로세서 (252), 사용자 인터페이스 컴포넌트들 (254), 외부 디바이스들 및 네트워크들, 이를 테면 네트워크 (280) (예를 들어, 인터넷, 클라우드, 근거리 통신 네트워크, 또는 셀룰라 네트워크) 및 모바일 디바이스 (284) 와 통신하기 위한 통신 인터페이스 (256) 및 메모리 (258) 를 포함한다.
프로세서 (252) 및 디지털 신호 프로세서 (224) 는 프로세서, 마이크로프로세서, 단일 코어 프로세서, 멀티 코어 프로세서, 마이크로컨트롤러, 프로그래밍가능 로직 디바이스 (PLD) (예를 들어, 필드 프로그래밍가능 게이트 어레이 (FPGA)), 디지털 신호 프로세싱 (DSP) 디바이스, 또는 하드와이어링, 소프트웨어 명령 실행 또는 양쪽의 조합에 의해, 본 개시의 실시형태들을 위하여 본원에 논의된 여러 동작들을 수행하기 위한 다른 로직 디바이스들 중 하나 이상을 포함할 수도 있다. 호스트 시스템 컴포넌트 (250) 는 오디오 신호 프로세서 (220) 및 다른 시스템 컴포넌트들 (250) 과, 이를 테면 버스 또는 다른 전자 통신 인터페이스를 통하여 인터페이스하고 통신하도록 구성된다.
오디오 신호 프로세서 (220) 및 호스트 시스템 컴포넌트 (250) 가 하드웨어 컴포넌트들, 회로부 및 소프트웨어의 조합을 통합한 것으로서 도시되어 있지만, 일부 실시형태들에서, 하드웨어 컴포넌트들 및 회로부들이 수행하도록 동작가능한 기능들의 적어도 일부 또는 전부는 메모리 (258) 또는 디지털 신호 프로세서 (222) 의 펌웨어에 저장된 소프트웨어 명령 및/또는 구성 데이터에 응답하여 프로세싱 컴포넌트들 (252) 및/또는 디지털 신호 프로세서 (224) 에 의해 실행된 소프트웨어 모듈들로서 구현될 수도 있음을 이해할 것이다.
메모리 (258) 는 오디오 데이터 및 프로그램 명령들을 포함하는 데이터 및 정보를 저장하도록 동작가능한 하나 이상의 메모리 디바이스들로서 구현될 수도 있다. 메모리 (258) 는 휘발성 및 비휘발성 메모리 디바이스들, 이를 테면 RAM (Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically-Erasable Read-Only Memory), 플래시 메모리, 하드디스크 드라이브, 및/또는 다른 유형들의 메모리를 포함하는 하나 이상의 여러 유형들의 메모리 디바이스들을 포함할 수도 있다.
프로세서 (252) 는 메모리 (258) 에 저장된 소프트웨어 명령들을 실행하도록 동작가능할 수 있다. 여러 실시형태들에서, 스피치 인식 엔진 (260) 은 음성 커맨드를 식별하고 실행하는 것을 포함한 오디오 신호 프로세서 (220) 로부터 강화된 수신된 오디오 신호를 프로세싱하도록 동작가능하다. 음성 통신 컴포넌트들 (262) 은 하나 이상의 외부 디바이스들, 이를 테면 모바일 디바이스 (284) 또는 사용자 디바이스 (286) 과, 이를 테면 모바일 또는 셀룰라 전화 네트워크 상의 음성 통화를 통하여 또는 IP 네트워크 상의 VoIP 호를 통하여 음성 통신을 용이하게 하도록 동작가능할 수도 있다. 여러 실시형태들에서, 음성 통신들은 강화된 오디오 신호의 외부 통신 디바이스로의 송신을 포함한다.
사용자 인터페이스 컴포넌트들 (254) 는 디스플레이, 터치패드 디스플레이, 키패드, 하나 이상의 버튼들 및/또는 사용자가 직접 오디오 디바이스 (200) 와 상호작용하도록 동작가능한 다른 입력/출력 컴포넌트들을 포함할 수도 있다.
통신 인터페이스 (256) 는 오디오 디바이스 (200) 와 외부 디바이스들 사이의 통신을 용이하게 한다. 예를 들어, 통신 인터페이스 (256) 는 오디오 디바이스 (200) 와, 하나 이상의 로컬 디바이스들, 이를 테면, 모바일 디바이스 (284) 또는 원격 서버 (282) 로의, 이를 테면 네트워크 (280) 를 통한 네트워크 액세스를 제공하는 무선 라우터 사이의 Wi-Fi (예를 들어, 802.11) 또는 Bluetooth 접속들을 실행할 수 있다. 여러 실시형태들에서, 통신 인터페이스 (256) 는 오디오 디바이스 (200) 와 하나 이상의 다른 디바이스들 사이의 직접 또는 간접 통신을 용이하게 하는 다른 유선 및 무선 통신 컴포넌트들을 포함할 수도 있다.
도 3 은 본 개시의 여러 실시형태들에 따른 예시의 오디오 신호 프로세서 (300) 를 예시한다. 일부 실시형태들에서, 오디오 입력 프로세서 (300) 는 디지털 신호 프로세서, 이를 테면 도 2 의 오디오 신호 프로세서 (224) 에 의해 구현되는 아날로그 및 디지털 회로부 및 펌웨어 로직을 포함하는 하나 이상의 집적 회로들로서 구현된다. 예시된 바와 같이, 오디오 신호 프로세서 (300) 는 오디오 입력 회로부 (315), 서브대역 주파수 분석기 (320), 멀티-트랙 VAD 엔진 (325), 오디오 강화 엔진 (330), 및 합성기 (335) 를 포함한다.
오디오 신호 프로세서 (300) 는 복수의 오디오 센서들, 이를 테면 적어도 두개의 오디오 센서들 (305a-n) 을 포함하는 센서 어레이 (305) 로부터 멀티-채널 오디오 입력을 수신한다. 오디오 센서들 (305a-305n) 은 오디오 프로세싱 디바이스, 이를 테면 도 2 의 오디오 프로세싱 디바이스 (200), 또는 이에 접속된 외부 컴포넌트들과 통합되는 마이크로폰들을 포함할 수도 있다. 오디오 센서들 (305a-305n) 의 배열은 본 개시의 여러 실시형태들에 따라 오디오 입력 프로세서 (300) 에 알려질 수도 또는 알려지지 않을 수도 있다.
오디오 신호들은 초기에 오디오 입력 회로부 (315) 에 의해 프로세싱될 수도 있고, 이는 엘리어싱-제거 필터들, 아날로그 투 디지털 컨버터들, 및/또는 다른 오디오 입력 회로부들을 포함할 수도 있다. 여러 실시형태들에서, 오디오 입력 회로부 (315) 는 디지털, 멀티채널, 시간-도메인 오디오 신호를 출력하고, 여기서 M 은 센서 (예를 들어, 마이크로폰) 입력들의 수이다. 멀티채널 오디오 신호는 서브-대역 주파수 분석기 (320) 에 입력되고, 분석기는 멀티채널 오디오 신호를 연속적인 프레임들로 분할하고 각각의 채널의 각각의 프레임을 복수의 주파수 서브-대역들로 분해한다. 여러 실시형태들에서, 서브-대역 주파수 분석기 (320) 는 푸리에 변환 프로세스를 포함하고 복수의 주파수 빈들을 출력한다. 분해된 오디오 신호들은 그 다음, 멀티-트랙 VAD 엔진 (325) 및 오디오 강화 엔진 (330) 에 제공된다.
멀티-트랙 VAD 엔진 (325) 은 오디오 트랙들 중 하나 이상의 트랙의 프레임들을 분석하고 타겟 오디오 활동이 현재 프레임에 존재하는지의 여부를 나타내는 VAD 출력들을 생성한다. 위에 논의된 바와 같이, 타겟 오디오는 오디오 시스템에 의해 식별될 임의의 오디오일 수도 있다. 타겟 오디오가 인간 스피치일 때, 멀티-트랙 VAD 엔진 (330) 은 음성 활동들을 검출하기 위하여 특히 구현될 수도 있다. 여러 실시형태들에서, 멀티-트랙 VAD 엔진 (330) 은 오디오 데이터의 프레임을 수신하고 오디오 데이터의 프레임에 대응하는 개별적인 오디오 트랙 상에서의 타겟 오디오의 존재 또는 부재에 관한 각각의 오디오 트랙에 대한 VAD 표시 출력을 생성하도록 동작가능하다. 멀티-트랙 VAD 엔진 (330) 의 세부적인 컴포넌트들 및 동작들은 도 4 에서 400 과 관련되어 추가로 예시된다.
오디오 강화 엔진 (330) 은 서브-대역 주파수 분석기 (320) 로부터의 서브-대역 프레임들 및 멀티-트랙 VAD 엔진 (325) 으로부터의 VAD 표시들을 수신한다. 본 개시의 여러 실시형태들에 따르면, 오디오 강화 엔진 (330) 은 멀티-트랙 오디오 신호들을 강화하기 위하여 수신된 멀티-트랙 VAD 표시들에 기초하여 서브-대역 프레임들을 프로세싱하도록 구성된다. 예를 들어, 오디오 강화 엔진 (330) 은 타겟 오디오 소스들의 방향으로부터인 것으로 결정된 오디오 신호의 부분을 강화하고 잡음인 것으로 결정되는 오디오 신호의 다른 부분들을 억제할 수도 있다.
타겟 오디오 신호를 강화한 후, 오디오 강화 엔진 (330) 은 프로세싱된 오디오 신호를 합성기 (335) 로 전달할 수도 있다. 여러 실시형태들에서, 합성기 (335) 는 서브-대역들을 결합하는 것에 의해 프레임마다에 대해 멀티채널 오디오 신호들 중 하나 이상을 복원하여 강화된 시간-도메인 오디오 신호를 형성한다. 강화된 오디오 신호는 그 다음, 시간 도메인으로 다시 변형되어 추가 프로세싱을 위하여 시스템 컴포넌트 또는 외부 디바이스로 전송될 수도 있다.
도 4 는 본 개시의 여러 실시형태들에 따라 일반 마이크로폰 어레이로부터 다수의 오디오 신호들을 프로세싱하기 위한 예시의 멀티-트랙 VAD 엔진 (400) 을 예시한다. 멀티-트랙 VAD 엔진 (400) 은 디지털 신호 프로세서에 의해 수행된 로직 및 디지털 회로부의 조합으로서 구현될 수도 있다. 일부 실시형태들에서, 멀티-트랙 VAD 엔진 (400) 은 오디오 신호 프로세서, 이를 테면 도 3 에서의 300 일 수도 있다. 멀티-트랙 VAD 엔진 (400) 은 도 3 에서의 멀티-트랙 VAD 엔진 (325) 에 추가의 구조적 및 기능적 세부사항들을 제공할 수도 있다.
본 개시의 여러 실시형태들에 따르면, 멀티-트랙 VAD 엔진 (400) 은 서브대역 분석 모듈 (405), 블록-기반 TDOA 추정 모듈 (410), TDOA 로커스 계산 모듈 (420) 및 멀티-소스 추적 및 멀티-스트림 VAD 추정 모듈 (430) 을 포함한다.
서브대역 분석 모듈 (405) 은 xm(t), m = 1,...,M 으로 표기되는 다수의 오디오 신호들 (402) 을 수신하며, 샘플링된 시간 도메인 오디오 신호는 전체 M 개의 마이크로폰들 (예를 들어, 도 3 에서 마이크로폰들 (305a-n) 과 유사함) 에 대해 m 번째 마이크로폰에서 기록된다. 오디오 신호들 (xm(t), m = 1,...,M) 은 도 3 에서 오디오 입력 회로부 (315) 를 통하여 수신될 수도 있다.
서브대역 분석 모듈 (405) 은 오디오 신호들 (402) 을 획득하여, 오리지널 시간-도메인 오디오 신호 (xm(t)) 에 대응하는 xm(l,k) 으로 표기되는 시간-주파수 도메인 표현 (404) 으로 변환하도록 구성되고, 여기서 l 은 서브대역 시간 인덱스를 나타내고 k 는 주파수 대역 인덱스를 나타낸다. 예를 들어, 서브대역 분석 모듈 (405) 은 도 3 에서의 서브-대역 주파수 분석기 (320) 와 유사할 수도 있고, 여기서 입력 시간-도메인 오디오 신호들을 주파수 도메인 표현들로 변환하기 위해 푸리에 변환을 수행한다. 서브대역 분석 모듈 (405) 은 그 다음, 생성된 시간-주파수 도메인 표현들 (404) 을 블록-기반 TDOA 추정 모듈 (410) 및 멀티-소스 추적 및 멀티-스트림 VAD 추정 모듈 (430) 로 전송할 수도 있다.
TDOA 로커스 계산 모듈 (420) 은 일반 마이크로폰 어레이 (예를 들어, 일반 어레이 지오메트리를 형성하는 마이크로폰들 (305a-n)) 을 스캔하도록 구성된다. 예를 들어, 평면상의 주어진 임의의 마이크로폰 어레이 지오메트리에 대해, 허용가능한 TDOA 로케이션들의 로커스는 시스템 부트업시 한번 연산된다. 포인트들의 이 로커스는 고스트 형성들을 회피할 수 있다.
M 개의 마이크로폰들의 어레이에 대해, 제 1 마이크로폰은 참조 마이크로폰으로서 선택될 수도 있고, 이 참조 마이크로폰은 이어서 제 1 마이크로폰에 대하여 모든 M-1 개의 마이크로폰 페어들을 제공한다. 예를 들어, 도 5a 는 예시의 마이크로폰 페어를 예시한다. i-1번째 페어로서 인덱싱된 마이크로폰 페어는 (원거리 장 모델을 가정하면) 별개의 소스로부터 방출되는 방위각 θ 및 제로의 고도각을 갖는 입사 광선 (505) 에 대해 마이크로폰 i (502) 및 참조 마이크로폰 1 (501) 을 포함한다. 501 및 502의 마이크로폰 페어 사이의 거리에 더하여, 두개의 마이크로폰들 사이의 각도는 di-1 및 ψi-1 로서 각각 표기되고, 이는 i번째 마이크로폰 (502) 의 직교 좌표가 주어지면 연산될 수도 있다. 입사 광선 (505) 이 방위 θ 및 고도
Figure pat00001
에서의 각도를 가질 때의 일반 경우에, (i-1)번째 마이크로폰 페어의 TDOA 는 다음과 같이 연산될 수 있다:
Figure pat00002
(1)
여기서 c 는 전파 속도이다.
상이한 고도각 및 방위각의 스캔 후에, TDOA 로커스 계산 모듈 (410) 은 허용가능한 TDOA들의 메쉬를 구성할 수도 있다. 모든 M 개의 마이크로폰들이 평면 상에 놓일 때, 결과적인 TDOA 로커스 (θ 및
Figure pat00003
의 모든 스캔들에 대해
Figure pat00004
) 가 또한 (M-1) 차원 공간에서 평면 상에 놓인다. M 개의 마이크로폰들의 상이한 레이아웃들은 (M-1) 차원 공간에서 상이한 평면들으로 이어질 수 있다.
예를 들어, 도 5b 는 이들 각각의 TDOA 메쉬들과 함께 두개의 상이한 예시의 마이크로폰 레이아웃들을 예시한다. M=4 개의 마이크로폰들의 세트가 510 에 도시되며, 여기서, 제 1 및 제 3 마이크로폰 사이의 거리는 8 cm 이고, 허용가능한 TDOA 의 M-1=3-차원 공간에서 결과적인 메쉬는 515 에 도시된다. 제 1 및 제 3 마이크로폰 사이의 거리가 16 cm 로 증가하면, 허용가능한 TDOA 의 결과적인 메쉬는 525 에 도시된다.
도 4 를 다시 참조하여 보면, TDOA 로커스 계산 모듈 (420) 은 그 다음, (M-1)-차원 TDOA들 (403) 을 블록-기반 TDOA 추정 모듈 (410) 로 전송할 수도 있다. 블록-기반 TDOA 추정 모듈 (410) 은 멀티-소스 오디오들 및 TDOA들 (403) 의 시간-주파수 표현들 (404) 을 수신하고, 이것에 기초하여 모듈 (410) 은 연속적인 프레임들로부터 획득된 데이터를 사용하여 소스 마이크로폰들 (예를 들어, 도 3 에 도시된 마이크로폰들 (305a-n)) 의 TDOA 정보를 추출한다.
일 실시형태에서, 블록-기반 TDOA 추정 모듈 (410) 은 멀티-소스 오디오들의 시간-주파수 도메인 표현들 (404) 로부터 TDOA 정보를 획득하기 위하여 STMV (steered minimum variance) 빔포머를 채택한다. 구체적으로, 블록-기반 TDOA 추정 모듈 (410) 은 마이크로폰을 참조 마이크로폰으로서 선택한 다음, 나머지 M-1 마이크로폰들을 참조 마이크로폰과 페어링하는 것에 의해 전체 M-1 개의 마이크로폰 페어들을 지정할 수도 있다. 마이크로폰 페어들은 p = 1,...,M-1 로 인덱싱된다.
예를 들어, 제 1 마이크로폰은 참조 마이크로폰으로서 선택될 수 있고 이에 따라, X1(l,k) 은 참조 마이크로폰으로부터의 오디오의 시간-주파수 표현을 표기한다. 마이크로폰들에 대해, 블록-기반 TDOA 추정 모듈 (410) 은
Figure pat00005
로서 매트릭스 형태에서 p번째 페어의 주파수 표현을 연산하고 여기서, ( )T 는 전치 매트릭스를 표현한다. 블록-기반 TDOA 추정 모듈 (410) 은 그 다음, 모든 주파수 대역 (k) 에 대한 p 번째 입력 신호 페어들의 공분산 매트릭스를 연산한다:
Figure pat00006
(2)
여기서 ( )H 는 에르미트 전치 매트릭스를 표현한다.
일부 구현들에서, Rp(k) 를 연산하는데 있어 요약은 특정 수의 연속하는 프레임들의 블록 상에서 구현된다. 블록의 인덱스는 여기서는 간략화를 위하여 무시된다.
블록-기반 TDOA 추정 모듈 (410) 은 그 다음, 다음과 같이 각각의 페어 및 주파수 대역에 대한 스티어링 매트릭스를 구성할 수도 있다:
Figure pat00007
(3)
여기서 τp 는 θ 및
Figure pat00008
(간략화를 위하여 무시됨) 의 상이한 스캔 후에 TDOA 로커스 계산 모듈 (420) 로부터 획득된 p번째 페어에 대한 TDOA 이고; f k 는 대역 k 에서의 주파수이고; diag([a, b]) 는 직교 성분 a 및 b 를 갖는 2×2 대각 매트릭스를 표기한다.
각각의 마이크로폰 페어 p 에 대해, 블록-기반 TDOA 추정 모듈 (410) 은 다음에 의해 모든 주파수 대역들에 걸쳐 일관성있게 정렬되는 지향성 공분산 매트릭스를 구성한다:
Figure pat00009
(4)
지향성 공분산 매트릭스 (Cp(τp)) 의 연산은 모든 마이크로폰 페어들 p 및 τp 에 대해 방위/고도 (θ,
Figure pat00010
) 의 모든 스캔에 걸쳐 반복된다. 모든 스캔들에 걸쳐 연산들을 감소시키기 위하여, p번째 마이크로폰 페어에 대응하는 각각의 차원 p 의 TDOA 공간은 q 개의 세그먼트들로 선형 양자화된다. (시스템 부트업시) 프로세싱의 시작시, 각각의 방위각 및 고도각 (θ,
Figure pat00011
) 을 스캔하는 것으로부터 획득되는 TDOA 로커스 포인트들 (
Figure pat00012
) 은 각각의 차원에 대해 최근접한 양자화된 포인트에 맵핑된다. 각각의 방위/고도 (θ,
Figure pat00013
) 에 대해, (θ,
Figure pat00014
) → (ind 1 (θ,
Figure pat00015
),...,ind M-1 (θ,
Figure pat00016
)) 의 맵핑은 메모리에 저장되고, 여기서 1≤ind p (θ,
Figure pat00017
) ≤q 는 스캔 각도들 (θ 및
Figure pat00018
) 에 관한 차원 p 의 양자화된 TDOA 인덱스이다.
예를 들어, M = 4 개의 마이크로폰들이 존재하면 방위 및 고도 스캔들은 각각 Θ= 0°: 5 : 355°, Φ = 0°: 10 : 80°이다. 수행되는데 필요한 Cp(τp) 의 별개의 연산들의 수는 길이(Θ) × 길이(Φ) × (M-1) = 72×9×3 = 1944 이다. TDOA 로커스 포인트들 (
Figure pat00019
) 이 양자화될 때, TODA 차원들의 일부가 q 개의 양자화된 세그먼트들 중에서 동일 세그먼트로 양자화될 수도 있기 때문에 모든 계산들이 수행될 필요가 있는 것은 아니다. 따라서, 예를 들어 q = 50 이면, Cp(τp) 를 연산하는데 필요한 별개의 연산들의 최대 수가 q × (M-1) = 50 × 3 = 150 로 감소된다. TDOA 양자화에 의해 Cp(τp) 의 연산을 수행하는 의사 코드는 다음과 같이 알고리즘 1 에서 논의될 수도 있다:
알고리즘 1 TDOA 양자화를 사용하여 Cp(τp) 를 계산
Figure pat00020
다음으로, 각각의 페어 p 에 대해, 그 등가의 의사-우도 솔루션을 갖는 왜곡 없는 기준을 받는 빔 전력을 최소화하는 방향은 다음으로서 연산된다:
Figure pat00021
(5)
여기서 1=[1 1]T 이다. 블록-기반 TDOA 추정 모듈 (410) 은 그 다음 마이크로폰들의 모든 M-1 페어들에 대한 STMV 조인트 의사 우도를 다음으로서 연산할 수도 있다:
Figure pat00022
(6)
그 다음, 모든 M-1 페어들의 최대 STMV 조인트 의사-우도를 산출하는 방위 및 고도가 식별되고 다음에 의해 표기된다:
Figure pat00023
(7)
방위 및 고도 페어
Figure pat00024
가 그 다음, 멀티-소스 추적 및 멀티-스트림 VAD 추정에 사용될 수도 있다. 일 가능한 솔루션은 각각의 마이크로폰 페어의 두개의 마이크로폰들 사이의 각도들을 직접 추적하는 것을 포함할 수도 있다. 그러나, 360 도에서의 방위의 랩-어라운드 효과에 기인하여, 페어링된 마이크로폰들 사이의 각도들에 대해 추적이 직접 행해지면, 트랙 손실은 마이크로폰 소스가 360°를 향하여 0°를 교차할 때 또는 그 역일 때 발생할 수도 있다. 따라서, 이러한 혼란을 피하기 위하여, 검출 z 는 다음과 같이 극 변환을 사용하여 순환형 방식으로 페어링된 마이크로폰들 사이의 각도들에 기초하여 연산된다:
Figure pat00025
(8)
여기서
Figure pat00026
은 측정 공간을 확장하여 각도들과 같은 의미있는 개념들에 관한 파라미터들과 함께 추적이 행해질 수 있도록 하는 스케일링 상수이다.
블록-기반 TDOA 추정 모듈 (410) 은 그 다음, 연산된 검출 z 를 멀티-소스 추적 및 멀티-스트림 VAD 추정 모듈 (430) 에 전송한다. N 개의 최대 수의 트랙커들이 존재하면, 블록-기반 TDOA 모듈 (410) 로부터 획득된 TDOA들은 회귀형 방식으로 이전 단계로부터 획득된 트랙을 업데이트하는 것에 의해 추적될 것이다. 구체적으로, 블록 (시간-스텝) n-1 에서 획득된 검출은 z(n-1) 로 표기되고, 그 다음 t(n-1) 의 트랙들이 존재할 때까지, 시간-스텝 n 에서 출현하는 신규 검출 zn (406) 에 대해, 멀티-소스 추적 및 멀티-스트림 VAD 추정 모듈 (430) 은 다음과 같이 기존 추적의 게이트에 기초하여 새로운 검출 zn 을 프로세싱한다:
zn 이 이전 tn-1 트랙들 중 유일한 하나의 트랙의 게이트에 들어오면, 특정 트랙은 검출 zn 을 통합하도록 업데이트된다.
zn 이 다수의 이전 tn-1 트랙들의 중첩하는 트랙들 내에 들어오면, 검출 zn 에 최근접한 트랙은 검출 zn 을 통합하도록 업데이트된다.
zn 이 이전 tn-1 트랙들의 어느 것의 게이트에도 들어오지 못하고 트랙들 N 의 최대 수에 도달되지 못하면 (예를 들어,t(n-1)<N), 신규 트랙이 검출 zn 을 통합하도록 개시되고 기존의 트랙들의 수는 시간-스텝 n 에서 예를 들어, tn=tn-1+1 에서 업데이트된다.
zn 이 이전 tn-1 트랙들의 어느 것의 게이트에도 들어오지 못하고 트랙들 N 의 최대 수에 도달되면 (예를 들어, tn-1=N), 기존 N 개의 트랙들 중에서 최저 전력을 갖는 트랙은 제거되고 검출 zn 을 통합하도록 새로운 트랙으로 대체된다.
(이전 스텝에서처럼) 업데이트, 개시 또는 대체되지 않았던 모든 다른 트랙들에 대해, 이들 트랙들은 동일한 평균 값으로 업데이트되지만, 각각의 개별적인 트랙의 분산은 예를 들어, 랜덤 워크 모델에 기초하여 불확정성을 고려하여 증가된다. 각각의 개별적인 트랙의 전력은 또한, 장래의 출현하는 소스가 개시될 기회를 갖도록 감쇠된다. 이 방식으로, 시간-스텝 n 에서 최신 검출들 (406) 을 통합한 추적 결과들 (408) 은 모듈 (430) 로부터 출력될 수 있고
Figure pat00027
으로 표기된다.
모든 오디오 트랙들이 업데이트될 때, 모듈 (430) 은 최근접 이웃하는 M2T 배정을 사용하여 멀티-스트림 VAD들 (412) 을 생성한다. 구체적으로, 시간-스텝 n 에서, M2T 배정은 검출 zn 에 최근접한 트랙에 1 을 배정하고 다른 트랙들에 0 을 배정하는 것에 의해 수행될 수 있다. 일부 구현들에서, VAD들이 이전 시간-스텝에서 1인 후에 제로로 완전하게 배정되기 전에 중간 값을 갖도록, 예를 들어, -1 등을 갖도록 행오버가 VAD들에 적용될 수도 있다. 이 방식으로, VAD1, … , VADN (각각은 임의의 음성 활동 검출이 개개의 트랙에서 발견되는지의 여부를 표현한다) 에 의해 표기되는 멀티-스트림 VAD들 (412) 은 오디오 강화를 위하여 모듈 (412) 로부터, 예를 들어, 도 3 에서의 오디오 강화 엔진 (330) 으로 출력된다.
도 6 은 본 개시의 여러 실시형태들에 따라 멀티-소스 추적 및 VAD 에 의해 멀티-소스 오디오 신호들을 강화하는 예시의 방법 (600) 을 예시한다. 일부 실시형태들에서, 방법 (600) 은 오디오 신호 프로세서 (300) 에서의 하나 이상의 컴포넌트들, 및/또는 멀티-트랙 VAD 엔진 (400) 의 하나 이상의 컴포넌트들에 의해 수행될 수도 있다.
방법 (600) 은 단계 (602) 에서 시작하며, 여기서 TDOA 로커스 정보는 마이크로폰 어레이의 공간 정보에 기초하여 연산될 수도 있다. 예를 들어, TDOA 로커스 정보는 변하는 방위각 및 고도각의 입사 광선에 의해 마이크로폰 어레이를 스캔하는 것에 의해 시스템 부트업시 한번 연산될 수도 있다. 연산은 도 7 과 관련하여 추가로 설명된 바와 같이, 마이크로폰 어레이로부터의 마이크로폰들을 페어링하는 것에 의해 구성되는 다차원 공간에서 감소된 복잡도로 수행될 수도 있다.
단계 (602) 에 대하여 추가의 단계들을 제공하는 도 7 을 참조하여 보면, 단계 (702) 에서, 제 1 마이크로폰은 마이크로폰 어레이로부터 참조 마이크로폰으로서 선택될 수도 있다. 단계 (704) 에서, 마이크로폰 어레이로부터의 각각의 나머지 마이크로폰은 참조 마이크로폰과 페어링될 수도 있다. 단계 (706) 에서, 각각의 마이크로폰 페어에 대해, 입사 광선의 특정 방위각 및 특정 고도각에 대응하는 TDOA 로케이션은 예를 들어, 도 4 와 관련하여 설명된 식 (1) 에 따라 개별적인 페어에서 두개의 마이크로폰들 사이의 거리와 각도에 기초하여 연산될 수도 있다. 입사 광선의 특정 방위각 및 특정 고도각을 갖는 예시의 마이크로폰 페어는 또한 도 5a 에 도시되어 있다.
단계 (708) 에서, 프로세싱될 더 많은 마이크로폰 페어들이 있으면, 방법은 단계 (710) 에서 다음 마이크로폰 페어를 취출하고, 단계 (706) 에서 모든 마이크로폰 페어들에 대한 TDOA 로케이션들이 연산될 때까지 반복한다.
단계 (712) 에서, 방위각 및 고도각의 더 많은 스캔이 있으면, 방법은 단계 (714) 에서 방위 각 및 고도각의 다음 스캔을 취출하고, 단계 (706) 에서 모든 방위각 및 고도각의 모든 스캔들에 대한 TDOA 로케이션들이 연산될 때까지 반복한다.
단계 (712) 에서, 방위각 및 고도각의 더 이상의 스캔이 프로세싱되지 않을 때, 예를 들어, TDOA 로케이션들이 모든 방위각 및 고도각의 모든 스캔들 상에서 모든 마이크로폰 페어들에 대해 연산될 때, TDOA 로케이션 포인트들의 메쉬가 단계 (716) 에서 형성될 수 있다. 마이크로폰 어레이들의 상이한 지오메트리들에 대응하는 TDOA 로케이션 포인트들의 예시의 메쉬들이 도 5b 에 도시된다.
도 6 을 다시 참조하여 보면, 시스템 부트업시의 TDOA 로커스 정보의 연산시, 방법 (600) 은 단계 (604) 로 이동한다. 단계 (604) 에서, 하나 이상의 멀티-소스 오디오 신호들이 마이크로폰 어레이로부터 수신될 수도 있다. 예를 들어, 도 4 에서의 멀티-소스 오디오 (402) 의 시간-도메인 샘플들은 도 3 에서의 오디오 입력 회로부 (315) 를 통하여 수신될 수도 있다.
단계 (606) 에서, 하나 이상의 멀티-소스 오디오 신호들이 시간 도메인으로부터 시간 주파수 표현들로 변환될 수도 있다. 예를 들어, 서브대역 분석 모듈 (405) 은 도 4 와 관련하여 설명된 바와 같이, 시간-도메인 신호들 (402) 을 시간-주파수 표현들 (404) 로 변환할 수도 있다.
단계 (608) 에서, TDOA 검출 데이터는 STMV 빔포머에 따라 연산된 TDOA 로커스에 기초하여 하나 이상의 멀티-소스 오디오 신호들에 대하여 연산될 수도 있다. 예를 들어, 각각의 마이크로폰 페어에 대해, 공분산 매트릭스는 예를 들어, 도 4 와 관련하여 설명된 식 (2) 에 따라 모든 주파수 대역에 대하여 개별적인 마이크로폰 페어로부터의 하나 이상의 멀티-소스 오디오 신호들의 시간-주파수 표현들을 사용하여 연산될 수도 있다. 그 다음, 스티어링 매트릭스는 예를 들어, 도 4 와 관련하여 설명된 식 (3) 에 따라 개별적인 마이크로폰 페어에 대응하는 방위각 및 고도각의 상이한 스캔들에 대한 TDOA 로케이션들에 기초하여 모든 주파수 대역에 대해 구성될 수도 있다. 지향성 공분산 매트릭스는 예를 들어, 도 4 와 관련하여 설명된 식 (4) 에 따라 구성된 스티어링 매트릭스 및 연산된 공분산 매트릭스에 기초하여 모든 주파수 대역에 걸쳐 정렬되어 구성될 수도 있다. 빔 전력을 최소화하는 의사 우도 솔루션은 예를 들어, 도 4 와 관련하여 설명된 식 (5) 에 따라 구성된 지향성 공분산 매트릭스에 기초하여 결정될 수도 있다. STMV 조인트 의사 우도는 그 다음, 예를 들어, 도 4 와 관련하여 설명된 식 (6) 에 따라 모든 마이크로폰 페어들을 걸쳐 모든 결정된 의사 우도 솔루션들의 곱을 취하는 것에 의해 연산될 수도 있다. STMV 조인트 의사 우도를 최대화하는 방위각 및 고도각의 페어는 그 다음, 예를 들어, 도 4 와 관련하여 설명된 식 (7) 에 따라 결정될 수도 있다. 방위각 및 고도각의 결정된 페어는 그 다음, 예를 들어, 도 4 와 관련하여 설명된 식 (8) 에 따라 TDOA 검출 데이터를 표현하는 극 표현으로 변환될 수도 있다.
단계 (610) 에서, 복수의 오디오 트랙들은 업데이트될 수도 있고 VAD 데이터는 현재 시간-스텝까지의 연산된 TDOA 검출 데이터에 기초하여 구성될 수도 있다. 예를 들어, 현재 시간-스텝에 대응하는 TDOA 검출 및 현재 시간-스텝까지 이전에 확립되었던 기존의 오디오 트랙들의 세트가 식별될 수도 있다. 방법 (600) 은 그 다음, 도 4 에서의 모듈 (430) 과 관련하여 설명된 바와 같이, TDOA 검출과 기존의 오디오 트랙들의 게이트 사이의 비교에 기초하여 TDOA 검출을 기존의 오디오 트랙들 중 하나에 통합할지 또는 신규의 오디오 트랙을 확립할지를 결정할 수도 있다. 다른 예에 대해, 방법 (600) 은 도 4 에서의 모듈 (430) 과 관련하여 설명된 바와 같이, 개별적인 오디오 트랙이 TDOA 검출에 최근접할 때 제 1 값을 개별적인 오디오 트랙의 VAD 에 배정하고 제 2 값을 다른 오디오 트랙들의 VAD들에 배정할 수도 있다.
단계 (612) 에서, 하나 이상의 강화된 멀티-소스 오디오 신호들은 업데이트된 복수의 오디오 트랙들 및 구성된 VAD 데이터를 사용하여 생성될 수도 있다. 예를 들어, 강화된 오디오 멀티-소스 신호들은 그 다음, 여러 디바이스들 또는 컴포넌트들로 송신될 수도 있다. 다른 예에 대해, 강화된 오디오 멀티-소스 신호들은 네트워크를 통하여 다른 오디오 출력 디바이스 (예를 들어, 스마트폰, 컴퓨터 등) 로 패킷화되어 송신될 수도 있다. 강화된 오디오 멀티-소스 신호들은 또한 음성 프로세싱 회로부 이를 테면 자동화된 스피치 인식 컴포넌트로 추가의 프로세싱을 위하여 송신될 수도 있다.
상술한 개시는 개시된 사용의 특정 분야 또는 정확한 형태로 본 발명을 제한하려 의도되지 않는다. 이로써, 본 개시의 여러 대안의 실시형태들 및/또는 변형들이 본원에 명시적으로 설명되든 묵시적으로 설명되든 본 개시의 관점에서 가능하다. 예를 들어, 개시된 실시형태들은 예를 들어, 다른 모달리티들, 이를 테면, 비디오 스트림들, 3D 카메라들, 광선 레이더들 등으로부터의 추가적인 정보를 통합하는 애플리케이션들에서 다수의 사운드 소스들의 포지션들을, 휴먼 머신 상호작용 태스크들을 감시하기 위한 환경에 제공하는데 사용될 수도 있다. 따라서, 본 개시의 실시형태들이 설명되어 있지만, 당해 기술분야의 당업자는 통상의 접근법에 비교되는 이점을 인식할 것이고 본 개시의 범위로부터 벗어남이 없이 형태 및 세부사항에 있어서의 변형이 이루어질 수 있음을 이해할 것이다. 따라서, 본 개시는 단지 다음의 청구항들에 의해서만 한정된다.

Claims (20)

  1. 멀티-소스 추적 및 음성 활동 검출에 의해 멀티-소스 오디오를 강화하는 방법으로서,
    오디오 입력 회로부를 통하여, 하나 이상의 멀티-소스 오디오 신호들을 마이크로폰 어레이로부터 수신하는 단계;
    마이크로폰 어레이로부터의 마이크로폰 페어들의 수에 의해 정의되는 다차원 공간에서 구성되는 도달 시간 차이 (TDOA) 로커스 정보에 기초하여 스티어링된 최소 분산 (STMV) 빔포머에 따라 상기 하나 이상의 멀티-소스 오디오 신호들에 대한 TDOA 검출 데이터를 연산하는 단계;
    현재 시간-스텝까지의 연산된 상기 TDOA 검출 데이터에 기초하여 복수의 오디오 트랙들을 업데이트하는 단계;
    연산된 TDOA 검출에 기초하여 복수의 오디오 트랙 각각에 대해 음성 활동 검출 (VAD) 데이터를 구성하는 단계; 및
    업데이트된 상기 복수의 오디오 트랙들 및 구성된 상기 VAD 데이터를 사용하여 하나 이상의 강화된 멀티-소스 오디오 신호들을 생성하는 단계를 포함하는, 멀티-소스 오디오를 강화하는 방법.
  2. 제 1 항에 있어서,
    상기 마이크로폰 어레이로부터의 마이크로폰 페어들의 수에 의해 정의되는 상기 다차원 공간은:
    상기 마이크로폰 어레이로부터 제 1 마이크로폰을 참조 마이크로폰으로서 선택하는 것; 및
    상기 마이크로폰 어레이로부터의 각각의 나머지 마이크로폰을 상기 참조 마이크로폰과 페어링하는 것
    에 의해 형성되는, 멀티-소스 오디오를 강화하는 방법.
  3. 제 2 항에 있어서,
    상기 TDOA 로커스 정보는:
    각각의 마이크로폰 페어에 대해, 입사 광선의 특정 방위각 및 특정 고도각에 대응하는 TDOA 로케이션을, 개별적인 페어에서 두개의 마이크로폰들 사이의 거리와 각도에 기초하여 연산하는 것; 및
    모든 마이크로폰 페어들 상에서 입사 광선의 특정 방위각 및 특정 고도각을 변경하는 것에 의해 TDOA 로케이션 포인트들의 메쉬를 형성하는 것
    에 의해 상기 마이크로폰 페어들의 수의 공간 정보에 기초하여 부트업 스테이지에서 한번 연산되는, 멀티-소스 오디오를 강화하는 방법.
  4. 제 3 항에 있어서,
    상기 TDOA 로케이션 포인트들의 메쉬는 상기 마이크로폰 어레이가 실제적으로 제 2 평면 상에 물리적으로 놓일 때, 마이크로폰 페어들의 전체 수와 동일한 수의 차원들을 갖는 다차원 공간에서의 제 1 평면에 위치되는, 멀티-소스 오디오를 강화하는 방법.
  5. 제 2 항에 있어서,
    상기 하나 이상의 멀티-소스 오디오 신호들에 대한 TDOA 검출 데이터를 연산하는 단계는:
    각각의 마이크로폰 페어에 대해:
    모든 주파수 대역에 대해 개별적인 마이크로폰 페어로부터 하나 이상의 멀티-소스 오디오 신호들의 시간-주파수 표현들을 사용하여 공분산 매트릭스를 연산하는 단계;
    상기 개별적인 마이크로폰 페어에 대응하는 방위각 및 고도각의 상이한 스캔들에 대한 TDOA 로케이션들에 기초하여 모든 주파수 대역에 대해 스티어링 매트릭스를 구성하는 단계;
    구성된 상기 스티어링 매트릭스 및 연산된 상기 공분산 매트릭스에 기초하여 모든 주파수 대역에 걸쳐 정렬된 지향성 공분산 매트릭스를 구성하는 단계; 및
    구성된 상기 지향성 공분산 매트릭스에 기초하여 빔 전력을 최소화하는 의사 우도 솔루션 (pseudo-likelihood solution) 을 결정하는 단계를 더 포함하는, 멀티-소스 오디오를 강화하는 방법.
  6. 제 5 항에 있어서,
    모든 마이크로폰 페어들에 걸쳐 모든 결정된 의사 우도 솔루션들의 곱 (product) 을 취하는 것에 의해 STMV 조인트 의사 우도를 연산하는 단계;
    상기 STMV 조인트 의사 우도를 최대화하는 방위각 및 고도각의 페어를 결정하는 단계; 및
    결정된 상기 방위각 및 고도각의 페어를, TDOA 검출 데이터를 표현하는 극 표현으로 변환하는 단계를 더 포함하는, 멀티-소스 오디오를 강화하는 방법.
  7. 제 6 항에 있어서,
    상기 구성된 스티어링 매트릭스 및 상기 연산된 공분산 매트릭스에 기초하여 모든 주파수 대역에 걸쳐 정렬된 지향성 공분산 매트릭스를 구성하는 단계는 모든 마이크로폰 페어들 및 방위각 및 고도각의 모든 스캔들 상에서 반복되는, 멀티-소스 오디오를 강화하는 방법.
  8. 제 6 항에 있어서,
    상기 구성된 스티어링 매트릭스 및 상기 연산된 공분산 매트릭스에 기초하여 모든 주파수 대역에 걸쳐 정렬된 지향성 공분산 매트릭스를 구성하는 단계는:
    다차원 공간을, 상기 다차원 공간의 차원들의 전체 수 미만인 세그먼트들의 수로 나누는 것;
    TDOA 로케이션 포인트들의 메쉬로부터의 각각의 TDOA 로케이션 포인트를 최근접 세그먼트에 맵핑하는 것; 및
    세그먼트들의 수, 및 TDOA 로케이션 포인트들의 메쉬와, 방위각 및 고도각의 모든 스캔들로부터 구축된 TDOA 로케이션 포인트들의 메쉬 대신의 세그먼트들의 수 사이의 맵핑 관계를 사용하여 지향성 공분산 매트릭스를 연산하는 것
    에 의해 감소된 반복들로 수행되는, 멀티-소스 오디오를 강화하는 방법.
  9. 제 1 항에 있어서,
    현재 시간-스텝까지의 연산된 상기 TDOA 검출 데이터에 기초하여 복수의 오디오 트랙들을 업데이트하는 단계는;
    현재 시간-스텝에 대응하는 TDOA 검출 및 상기 현재 시간-스텝까지 이전에 확립되었던 기존의 오디오 트랙들의 세트를 식별하는 단계; 및
    상기 TDOA 검출과 상기 기존의 오디오 트랙들의 게이트 사이의 비교에 기초하여 상기 TDOA 검출을 상기 기존의 오디오 트랙들 중 하나에 통합할지 또는 신규의 오디오 트랙을 확립할지를 결정하는 단계를 더 포함하는, 멀티-소스 오디오를 강화하는 방법.
  10. 제 1 항에 있어서,
    연산된 TDOA 검출에 기초하여 상기 복수의 오디오 트랙들 각각에 대해 VAD 데이터를 구성하는 단계는:
    개별적인 오디오 트랙이 상기 TDOA 검출에 최근접할 때, 제 1 값을 상기 개별적인 오디오 트랙에 배정하는 단계; 및
    제 2 값을 다른 오디오 트랙들에 배정하는 단계를 더 포함하는, 멀티-소스 오디오를 강화하는 방법.
  11. 멀티-소스 추적 및 음성 활동 검출에 의해 멀티-소스 오디오를 강화하는 오디오 프로세싱 디바이스로서,
    하나 이상의 멀티-소스 오디오 신호들을 마이크로폰 어레이로부터 수신하도록 구성되는 오디오 입력 회로부;
    상기 마이크로폰 어레이로부터의 마이크로폰 페어들의 수에 의해 정의되는 다차원 공간에서 구성되는 도달 시간 차이 (TDOA) 로커스 정보에 기초하여 스티어링된 최소 분산 (STMV) 빔포머에 따라 상기 하나 이상의 멀티-소스 오디오 신호들에 대한 TDOA 검출 데이터를 연산하도록 구성되는 TDOA 추정기;
    현재 시간-스텝까지의 연산된 상기 TDOA 검출 데이터에 기초하여 복수의 오디오 트랙들을 업데이트하고, 연산된 TDOA 검출에 기초하여 복수의 오디오 트랙 각각에 대해 음성 활동 검출 (VAD) 데이터를 구성하도록 구성되는 멀티-소스 오디오 추적기; 및
    업데이트된 상기 복수의 오디오 트랙들 및 구성된 상기 VAD 데이터를 사용하여 하나 이상의 강화된 멀티-소스 오디오 신호들을 생성하도록 구성되는 오디오 강화 엔진을 포함하는, 오디오 프로세싱 디바이스.
  12. 제 11 항에 있어서,
    상기 마이크로폰 어레이로부터의 마이크로폰 페어들의 수에 의해 정의되는 상기 다차원 공간은:
    상기 마이크로폰 어레이로부터 제 1 마이크로폰을 참조 마이크로폰으로서 선택하는 것; 및
    상기 마이크로폰 어레이로부터의 각각의 나머지 마이크로폰을 상기 참조 마이크로폰과 페어링하는 것
    에 의해 형성되는, 오디오 프로세싱 디바이스.
  13. 제 12 항에 있어서,
    상기 TDOA 로커스 정보는:
    각각의 마이크로폰 페어에 대해, 입사 광선의 특정 방위각 및 특정 고도각에 대응하는 TDOA 로케이션을, 개별적인 페어에서 두개의 마이크로폰들 사이의 거리와 각도에 기초하여 연산하는 것; 및
    모든 마이크로폰 페어들 상에서 입사 광선의 특정 방위각 및 특정 고도각을 변경하는 것에 의해 TDOA 로케이션 포인트들의 메쉬를 형성하는 것
    에 의해 상기 마이크로폰 페어들의 수의 공간 정보에 기초하여 부트업 스테이지에서 한번 연산되는, 오디오 프로세싱 디바이스.
  14. 제 13 항에 있어서,
    상기 TDOA 로케이션 포인트들의 메쉬는 상기 마이크로폰 어레이가 실제적으로 제 2 평면 상에 물리적으로 놓일 때, 마이크로폰 페어들의 전체 수와 동일한 수의 차원들을 갖는 다차원 공간에서의 제 1 평면에 위치되는, 오디오 프로세싱 디바이스.
  15. 제 12 항에 있어서,
    상기 TDOA 추정기는:
    각각의 마이크로폰 페어에 대해:
    모든 주파수 대역에 대해 개별적인 마이크로폰 페어로부터 하나 이상의 멀티-소스 오디오 신호들의 시간-주파수 표현들을 사용하여 공분산 매트릭스를 연산하는 것;
    상기 개별적인 마이크로폰 페어에 대응하는 방위각 및 고도각의 상이한 스캔들에 대한 TDOA 로케이션들에 기초하여 모든 주파수 대역에 대해 스티어링 매트릭스를 구성하는 것;
    구성된 상기 스티어링 매트릭스 및 연산된 상기 공분산 매트릭스에 기초하여 모든 주파수 대역에 걸쳐 정렬된 지향성 공분산 매트릭스를 구성하는 것; 및
    구성된 상기 지향성 공분산 매트릭스에 기초하여 빔 전력을 최소화하는 의사 우도 솔루션을 결정하는 것
    에 의해 상기 TDOA 검출 데이터를 연산하도록 구성되는, 오디오 프로세싱 디바이스.
  16. 제 15 항에 있어서,
    상기 TDOA 추정기는 또한:
    모든 마이크로폰 페어들에 걸쳐 모든 결정된 의사 우도 솔루션들의 곱을 취하는 것에 의해 STMV 조인트 의사 우도를 연산하는 것;
    상기 STMV 조인트 의사 우도를 최대화하는 방위각 및 고도각의 페어를 결정하는 것; 및
    결정된 상기 방위각 및 고도각의 페어를, TDOA 검출 데이터를 표현하는 극 표현으로 변환하는 것
    에 의해 상기 TDOA 검출 데이터를 연산하도록 구성되는, 오디오 프로세싱 디바이스.
  17. 제 16 항에 있어서,
    상기 TDOA 추정기는 또한, 상기 구성된 스티어링 매트릭스 및 상기 연산된 공분산 매트릭스에 기초하여 모든 주파수 대역을 걸쳐 정렬된 지향성 공분산 매트릭스를 구성하도록 구성되고, 모든 마이크로폰 페어들 및 방위각 및 고도각의 모든 스캔들 상에서 반복되는, 오디오 프로세싱 디바이스.
  18. 제 16 항에 있어서,
    상기 TDOA 추정기는 또한,
    다차원 공간을, 상기 다차원 공간의 차원들의 전체 수 미만인 세그먼트들의 수로 나누는 것;
    TDOA 로케이션 포인트들의 메쉬로부터의 각각의 TDOA 로케이션 포인트를 최근접 세그먼트에 맵핑하는 것; 및
    세그먼트들의 수, 및 TDOA 로케이션 포인트들의 메쉬와, 방위각 및 고도각의 모든 스캔들로부터 구축된 TDOA 로케이션 포인트들의 메쉬 대신의 세그먼트들의 수 사이의 맵핑 관계를 사용하여 지향성 공분산 매트릭스를 연산하는 것
    에 의해 감소된 반복들로, 상기 구성된 스티어링 매트릭스 및 상기 연산된 공분산 매트릭스에 기초하여 모든 주파수 대역을 걸쳐 정렬된 지향성 공분산 매트릭스를 구성하도록 구성되는, 오디오 프로세싱 디바이스.
  19. 제 11 항에 있어서,
    상기 멀티-소스 오디오 추적기는,
    현재 시간-스텝에 대응하는 TDOA 검출 및 상기 현재 시간-스텝까지 이전에 확립되었던 기존의 오디오 트랙들의 세트를 식별하는 것; 및
    상기 TDOA 검출과 상기 기존의 오디오 트랙들의 게이트 사이의 비교에 기초하여 상기 TDOA 검출을 상기 기존의 오디오 트랙들 중 하나에 통합할지 또는 신규의 오디오 트랙을 확립할지를 결정하는 것
    에 의해 현재 시간-스텝까지의 연산된 상기 TDOA 검출 데이터에 기초하여 복수의 오디오 트랙들을 업데이트하도록 구성되는, 오디오 프로세싱 디바이스.
  20. 제 11 항에 있어서,
    상기 멀티-소스 오디오 추적기는:
    개별적인 오디오 트랙이 상기 TDOA 검출에 최근접할 때, 제 1 값을 개별적인 오디오 트랙에 배정하는 것; 및
    제 2 값을 다른 오디오 트랙들에 배정하는 것
    에 의해 연산된 TDOA 검출에 기초하여 상기 복수의 오디오 트랙들 각각에 대해 VAD 데이터를 구성하도록 구성되는, 오디오 프로세싱 디바이스.
KR1020200166979A 2020-01-10 2020-12-02 평면 마이크로폰 어레이들에 대한 다중-소스 추적 및 음성 활동 검출들 KR20210091034A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/740,297 2020-01-10
US16/740,297 US11064294B1 (en) 2020-01-10 2020-01-10 Multiple-source tracking and voice activity detections for planar microphone arrays

Publications (1)

Publication Number Publication Date
KR20210091034A true KR20210091034A (ko) 2021-07-21

Family

ID=76709199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200166979A KR20210091034A (ko) 2020-01-10 2020-12-02 평면 마이크로폰 어레이들에 대한 다중-소스 추적 및 음성 활동 검출들

Country Status (4)

Country Link
US (2) US11064294B1 (ko)
JP (1) JP2021110938A (ko)
KR (1) KR20210091034A (ko)
CN (1) CN113113034A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113782047A (zh) * 2021-09-06 2021-12-10 云知声智能科技股份有限公司 语音分离方法、装置、设备和存储介质
CN115113139A (zh) * 2022-05-12 2022-09-27 苏州清听声学科技有限公司 基于传声器阵列的声源识别方法、装置及电子设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7407580B2 (ja) 2018-12-06 2024-01-04 シナプティクス インコーポレイテッド システム、及び、方法
US11197232B2 (en) * 2019-04-01 2021-12-07 Ofinno, Llc Location reporting handling
US11064294B1 (en) 2020-01-10 2021-07-13 Synaptics Incorporated Multiple-source tracking and voice activity detections for planar microphone arrays
CN111586547B (zh) * 2020-04-28 2022-05-06 北京小米松果电子有限公司 音频输入模组的检测方法及装置、存储介质
US11830471B1 (en) * 2020-08-31 2023-11-28 Amazon Technologies, Inc. Surface augmented ray-based acoustic modeling
US11823707B2 (en) 2022-01-10 2023-11-21 Synaptics Incorporated Sensitivity mode for an audio spotting system
DE202022101069U1 (de) 2022-02-24 2022-03-23 Pankaj Agarwal Intelligentes Geräuscherkennungssystem auf der Grundlage der Verarbeitung mehrerer Geräusche durch künstliche Intelligenz
US20220236360A1 (en) * 2022-04-19 2022-07-28 Intel Corporation Method and system of detection of acoustic source aiming direction
WO2024065256A1 (en) * 2022-09-28 2024-04-04 Citrix Systems, Inc. Positional and echo audio enhancement
CN115295000B (zh) * 2022-10-08 2023-01-03 深圳通联金融网络科技服务有限公司 提高多对象说话场景下语音识别准确性的方法、装置及设备

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3484112B2 (ja) 1999-09-27 2004-01-06 株式会社東芝 雑音成分抑圧処理装置および雑音成分抑圧処理方法
US6370500B1 (en) 1999-09-30 2002-04-09 Motorola, Inc. Method and apparatus for non-speech activity reduction of a low bit rate digital voice message
GB2379148A (en) 2001-08-21 2003-02-26 Mitel Knowledge Corp Voice activity detection
US7088831B2 (en) 2001-12-06 2006-08-08 Siemens Corporate Research, Inc. Real-time audio source separation by delay and attenuation compensation in the time domain
AUPS270902A0 (en) 2002-05-31 2002-06-20 Canon Kabushiki Kaisha Robust detection and classification of objects in audio using limited training data
US7146315B2 (en) 2002-08-30 2006-12-05 Siemens Corporate Research, Inc. Multichannel voice detection in adverse environments
CN1303582C (zh) 2003-09-09 2007-03-07 摩托罗拉公司 自动语音归类方法
KR100754385B1 (ko) 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
US7464029B2 (en) 2005-07-22 2008-12-09 Qualcomm Incorporated Robust separation of speech signals in a noisy environment
JP2007047427A (ja) 2005-08-10 2007-02-22 Hitachi Ltd 音声処理装置
KR100821177B1 (ko) 2006-09-29 2008-04-14 한국전자통신연구원 통계적 모델에 기반한 선험적 음성 부재 확률 추정 방법
KR100964402B1 (ko) 2006-12-14 2010-06-17 삼성전자주식회사 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치
US8098842B2 (en) 2007-03-29 2012-01-17 Microsoft Corp. Enhanced beamforming for arrays of directional microphones
US8005237B2 (en) 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
EP2081189B1 (en) 2008-01-17 2010-09-22 Harman Becker Automotive Systems GmbH Post-filter for beamforming means
US9113240B2 (en) 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
KR20100006492A (ko) 2008-07-09 2010-01-19 삼성전자주식회사 부호화 방식 결정 방법 및 장치
EP2146519B1 (en) 2008-07-16 2012-06-06 Nuance Communications, Inc. Beamforming pre-processing for speaker localization
JP2010085733A (ja) 2008-09-30 2010-04-15 Equos Research Co Ltd 音声強調システム
US9202456B2 (en) 2009-04-23 2015-12-01 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation
US20110010172A1 (en) 2009-07-10 2011-01-13 Alon Konchitsky Noise reduction system using a sensor based speech detector
JP5411807B2 (ja) 2010-05-25 2014-02-12 日本電信電話株式会社 チャネル統合方法、チャネル統合装置、プログラム
US9037458B2 (en) 2011-02-23 2015-05-19 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for spatially selective audio augmentation
CN102956230B (zh) 2011-08-19 2017-03-01 杜比实验室特许公司 对音频信号进行歌曲检测的方法和设备
EP2791935B1 (en) 2011-12-12 2016-03-09 Dolby Laboratories Licensing Corporation Low complexity repetition detection in media data
CN103325386B (zh) 2012-03-23 2016-12-21 杜比实验室特许公司 用于信号传输控制的方法和系统
KR101318328B1 (ko) 2012-04-12 2013-10-15 경북대학교 산학협력단 성김 특성 최소화를 통한 암묵 신호 제거를 이용한 음성 향상 방법 및 장치
US9768829B2 (en) 2012-05-11 2017-09-19 Intel Deutschland Gmbh Methods for processing audio signals and circuit arrangements therefor
TWI474317B (zh) 2012-07-06 2015-02-21 Realtek Semiconductor Corp 訊號處理裝置以及訊號處理方法
US10142007B2 (en) 2012-07-19 2018-11-27 Intel Deutschland Gmbh Radio communication devices and methods for controlling a radio communication device
DK2701145T3 (en) 2012-08-24 2017-01-16 Retune DSP ApS Noise cancellation for use with noise reduction and echo cancellation in personal communication
EP2747451A1 (en) 2012-12-21 2014-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Filter and method for informed spatial filtering using multiple instantaneous direction-of-arrivial estimates
US9183849B2 (en) 2012-12-21 2015-11-10 The Nielsen Company (Us), Llc Audio matching with semantic audio recognition and report generation
US9158760B2 (en) 2012-12-21 2015-10-13 The Nielsen Company (Us), Llc Audio decoding with supplemental semantic audio recognition and report generation
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
CN104078050A (zh) 2013-03-26 2014-10-01 杜比实验室特许公司 用于音频分类和音频处理的设备和方法
US9769576B2 (en) * 2013-04-09 2017-09-19 Sonova Ag Method and system for providing hearing assistance to a user
EP2801974A3 (en) 2013-05-09 2015-02-18 DSP Group Ltd. Low power activation of a voice activated device
CN104217729A (zh) 2013-05-31 2014-12-17 杜比实验室特许公司 音频处理方法和音频处理装置以及训练方法
US9747899B2 (en) 2013-06-27 2017-08-29 Amazon Technologies, Inc. Detecting self-generated wake expressions
US9601130B2 (en) 2013-07-18 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method for processing speech signals using an ensemble of speech enhancement procedures
US9240182B2 (en) 2013-09-17 2016-01-19 Qualcomm Incorporated Method and apparatus for adjusting detection threshold for activating voice assistant function
GB2518663A (en) 2013-09-27 2015-04-01 Nokia Corp Audio analysis apparatus
US9502028B2 (en) 2013-10-18 2016-11-22 Knowles Electronics, Llc Acoustic activity detection apparatus and method
US9654894B2 (en) 2013-10-31 2017-05-16 Conexant Systems, Inc. Selective audio source enhancement
EP2884489B1 (en) 2013-12-16 2020-02-05 Harman Becker Automotive Systems GmbH Sound system including an engine sound synthesizer
US9589560B1 (en) 2013-12-19 2017-03-07 Amazon Technologies, Inc. Estimating false rejection rate in a detection system
EP2916321B1 (en) 2014-03-07 2017-10-25 Oticon A/s Processing of a noisy audio signal to estimate target and noise spectral variances
US9548065B2 (en) 2014-05-05 2017-01-17 Sensory, Incorporated Energy post qualification for phrase spotting
US9484022B2 (en) 2014-05-23 2016-11-01 Google Inc. Training multiple neural networks with different accuracy
US9369113B2 (en) 2014-06-20 2016-06-14 Steve Yang Impedance adjusting device
US10360926B2 (en) 2014-07-10 2019-07-23 Analog Devices Global Unlimited Company Low-complexity voice activity detection
US9432769B1 (en) 2014-07-30 2016-08-30 Amazon Technologies, Inc. Method and system for beam selection in microphone array beamformers
US9953661B2 (en) 2014-09-26 2018-04-24 Cirrus Logic Inc. Neural network voice activity detection employing running range normalization
US9530400B2 (en) 2014-09-29 2016-12-27 Nuance Communications, Inc. System and method for compressed domain language identification
US10049678B2 (en) 2014-10-06 2018-08-14 Synaptics Incorporated System and method for suppressing transient noise in a multichannel system
JP6450139B2 (ja) 2014-10-10 2019-01-09 株式会社Ｎｔｔドコモ 音声認識装置、音声認識方法、及び音声認識プログラム
US20160275961A1 (en) 2015-03-18 2016-09-22 Qualcomm Technologies International, Ltd. Structure for multi-microphone speech enhancement system
US9734822B1 (en) 2015-06-01 2017-08-15 Amazon Technologies, Inc. Feedback based beamformed signal selection
US10229700B2 (en) 2015-09-24 2019-03-12 Google Llc Voice activity detection
US9668073B2 (en) 2015-10-07 2017-05-30 Robert Bosch Gmbh System and method for audio scene understanding of physical object sound sources
US11631421B2 (en) 2015-10-18 2023-04-18 Solos Technology Limited Apparatuses and methods for enhanced speech recognition in variable environments
US10347271B2 (en) 2015-12-04 2019-07-09 Synaptics Incorporated Semi-supervised system for multichannel source enhancement through configurable unsupervised adaptive transformations and supervised deep neural network
US9978397B2 (en) 2015-12-22 2018-05-22 Intel Corporation Wearer voice activity detection
US10090005B2 (en) 2016-03-10 2018-10-02 Aspinity, Inc. Analog voice activity detection
KR102151682B1 (ko) 2016-03-23 2020-09-04 구글 엘엘씨 다중채널 음성 인식을 위한 적응성 오디오 강화
US9947323B2 (en) 2016-04-01 2018-04-17 Intel Corporation Synthetic oversampling to enhance speaker identification or verification
US11107461B2 (en) 2016-06-01 2021-08-31 Massachusetts Institute Of Technology Low-power automatic speech recognition device
US20180039478A1 (en) 2016-08-02 2018-02-08 Google Inc. Voice interaction services
EP3522152B1 (en) 2016-09-30 2020-02-12 Sony Corporation Signal processing device, signal processing method, and program
US9741360B1 (en) 2016-10-09 2017-08-22 Spectimbre Inc. Speech enhancement for target speakers
US9881634B1 (en) 2016-12-01 2018-01-30 Arm Limited Multi-microphone speech processing system
WO2018106971A1 (en) 2016-12-07 2018-06-14 Interactive Intelligence Group, Inc. System and method for neural network based speaker classification
US10546575B2 (en) 2016-12-14 2020-01-28 International Business Machines Corporation Using recurrent neural network for partitioning of audio data into segments that each correspond to a speech feature cluster identifier
US10083689B2 (en) 2016-12-23 2018-09-25 Intel Corporation Linear scoring for low power wake on voice
US10170134B2 (en) 2017-02-21 2019-01-01 Intel IP Corporation Method and system of acoustic dereverberation factoring the actual non-ideal acoustic environment
JP6652519B2 (ja) 2017-02-28 2020-02-26 日本電信電話株式会社 ステアリングベクトル推定装置、ステアリングベクトル推定方法およびステアリングベクトル推定プログラム
US10224053B2 (en) 2017-03-24 2019-03-05 Hyundai Motor Company Audio signal quality enhancement based on quantitative SNR analysis and adaptive Wiener filtering
US10269369B2 (en) 2017-05-31 2019-04-23 Apple Inc. System and method of noise reduction for a mobile device
US10403299B2 (en) 2017-06-02 2019-09-03 Apple Inc. Multi-channel speech signal enhancement for robust voice trigger detection and automatic speech recognition
US10096328B1 (en) 2017-10-06 2018-10-09 Intel Corporation Beamformer system for tracking of speech and noise in a dynamic environment
US10090000B1 (en) 2017-11-01 2018-10-02 GM Global Technology Operations LLC Efficient echo cancellation using transfer function estimation
US10777189B1 (en) 2017-12-05 2020-09-15 Amazon Technologies, Inc. Dynamic wakeword detection
US10504539B2 (en) 2017-12-05 2019-12-10 Synaptics Incorporated Voice activity detection systems and methods
US10679617B2 (en) 2017-12-06 2020-06-09 Synaptics Incorporated Voice enhancement in audio signals through modified generalized eigenvalue beamformer
WO2019126569A1 (en) 2017-12-21 2019-06-27 Synaptics Incorporated Analog voice activity detector systems and methods
US10957338B2 (en) * 2018-05-16 2021-03-23 Synaptics Incorporated 360-degree multi-source location detection, tracking and enhancement
US11062727B2 (en) * 2018-06-13 2021-07-13 Ceva D.S.P Ltd. System and method for voice activity detection
JP7407580B2 (ja) 2018-12-06 2024-01-04 シナプティクス インコーポレイテッド システム、及び、方法
US11232788B2 (en) 2018-12-10 2022-01-25 Amazon Technologies, Inc. Wakeword detection
KR102174598B1 (ko) * 2019-01-14 2020-11-05 한국과학기술원 회절 인지를 통한 비가시선 음원 위치 추적 방법 및 시스템
US11069353B1 (en) 2019-05-06 2021-07-20 Amazon Technologies, Inc. Multilingual wakeword detection
CN114051738A (zh) * 2019-05-23 2022-02-15 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
US11064294B1 (en) 2020-01-10 2021-07-13 Synaptics Incorporated Multiple-source tracking and voice activity detections for planar microphone arrays
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
US11769520B2 (en) 2020-08-17 2023-09-26 EMC IP Holding Company LLC Communication issue detection using evaluation of multiple machine learning models

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113782047A (zh) * 2021-09-06 2021-12-10 云知声智能科技股份有限公司 语音分离方法、装置、设备和存储介质
CN115113139A (zh) * 2022-05-12 2022-09-27 苏州清听声学科技有限公司 基于传声器阵列的声源识别方法、装置及电子设备

Also Published As

Publication number Publication date
US11937054B2 (en) 2024-03-19
US11064294B1 (en) 2021-07-13
US20210314701A1 (en) 2021-10-07
CN113113034A (zh) 2021-07-13
US20210219053A1 (en) 2021-07-15
JP2021110938A (ja) 2021-08-02

Similar Documents

Publication Publication Date Title
KR20210091034A (ko) 평면 마이크로폰 어레이들에 대한 다중-소스 추적 및 음성 활동 검출들
US10123113B2 (en) Selective audio source enhancement
US9837099B1 (en) Method and system for beam selection in microphone array beamformers
US10957338B2 (en) 360-degree multi-source location detection, tracking and enhancement
US9443529B2 (en) Integrated sensor-array processor
US9706298B2 (en) Method and apparatus for localization of an acoustic source and acoustic beamforming
Yook et al. Fast sound source localization using two-level search space clustering
Nakamura et al. A real-time super-resolution robot audition system that improves the robustness of simultaneous speech recognition
US11264017B2 (en) Robust speaker localization in presence of strong noise interference systems and methods
KR20130116299A (ko) 음향 삼각 측량에 의한 공간 선택적 사운드 취득 장치 및 방법
WO2020037282A1 (en) Spatial audio signal encoder
CN112799017B (zh) 声源定位方法、装置、存储介质及电子设备
CN112420073A (zh) 语音信号处理方法、装置、电子设备和存储介质
Cho et al. Sound source localization for robot auditory systems
CN112466327B (zh) 语音处理方法、装置和电子设备
KR20210137146A (ko) 큐의 클러스터링을 사용한 음성 증강
Hosseini et al. Time difference of arrival estimation of sound source using cross correlation and modified maximum likelihood weighting function
Sewtz et al. Robust MUSIC-based sound source localization in reverberant and echoic environments
Miura et al. SLAM-based online calibration for asynchronous microphone array
CN113287032A (zh) 通过声音信号跟踪手的运动来控制设备
Grondin et al. A study of the complexity and accuracy of direction of arrival estimation methods based on GCC-PHAT for a pair of close microphones
CN109239665B (zh) 一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法和装置
KR20210021252A (ko) 집음 방법, 장치 및 매체
Lu et al. Separating voices from multiple sound sources using 2D microphone array
Kowalk et al. Geometry-aware DoA Estimation using a Deep Neural Network with mixed-data input features