KR102449230B1 - 마이크로폰의 기회주의적 사용을 통한 오디오 향상 - Google Patents

마이크로폰의 기회주의적 사용을 통한 오디오 향상 Download PDF

Info

Publication number
KR102449230B1
KR102449230B1 KR1020160093074A KR20160093074A KR102449230B1 KR 102449230 B1 KR102449230 B1 KR 102449230B1 KR 1020160093074 A KR1020160093074 A KR 1020160093074A KR 20160093074 A KR20160093074 A KR 20160093074A KR 102449230 B1 KR102449230 B1 KR 102449230B1
Authority
KR
South Korea
Prior art keywords
microphone
microphones
signal
receiver
subset
Prior art date
Application number
KR1020160093074A
Other languages
English (en)
Other versions
KR20170012121A (ko
Inventor
제임스 엠. 커쉬
브랜트 디. 톰센
Original Assignee
하만인터내셔날인더스트리스인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만인터내셔날인더스트리스인코포레이티드 filed Critical 하만인터내셔날인더스트리스인코포레이티드
Publication of KR20170012121A publication Critical patent/KR20170012121A/ko
Application granted granted Critical
Publication of KR102449230B1 publication Critical patent/KR102449230B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/50—Aspects of automatic or semi-automatic exchanges related to audio conference
    • H04M2203/509—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Abstract

오디오 프로세싱 시스템은 마이크로폰과 리시버의 동적 네트워크에 연결된, 한 그룹의 마이크로폰을 포함한다. 리시버는 주요 마이크로폰으로 지정되고, 복수의 마이크로폰 내의 마이크로폰에 의해 수신된 제1 신호를 식별하고, 복수의 마이크로폰 내에 포함된 마이크로폰의 서브세트를 식별하도록 구성되는데, 여기서 서브세트 내의 각 마이크로폰은 제1 신호에 대응되는 각각의 신호와 관련된다. 리시버는 제1 신호 및 각각의 신호에 기초하여, 서브세트 내에 포함된 각 마이크로폰을 위한 가중화 팩터를 계산하고, 복수의 마이크로폰 내에 포함되지 않고, 마이크로폰의 동적 네트워크와 연결된 마이크로폰과 연결을 기회주의적으로 구축하며, 그리고, 이 마이크로폰으로부터 수신된 신호에 기초하여, 서브세트 내의 마이크로폰 중 적어도 하나를 위한 가중화 팩터를 조절하도록 더욱 구성된다.

Description

마이크로폰의 기회주의적 사용을 통한 오디오 향상{AUDIO ENHANCEMENT VIA OPPORTUNISTIC USE OF MICROPHONES}
본 개시물의 실시예는 일반적으로 오디오 신호 프로세싱에 관한 것이고, 좀 더 구체적으로, 마이크로폰의 기회주의적 사용을 통한 오디오 향상에 관한 것이다.
오디오 향상(audio enhancement)은 회의실 내의 그룹 미팅과 같은 그룹 환경에서 그 밖의 다른 음원이나 말하는 특정인을 특정한 개인이 듣기 위한 능력을 개선하는데 종종 사용된다. 하나의 예시에서, 제한 없이, 청각 손상된 참가자는 참가자의 한 쪽 또는 양 쪽 귀 내에 위치된 보청기나 이와 유사한 도청기를 통해 사람 말을 들을 수 있다. 이러한 보청기는 전형적으로, 외이(outer ear)의 영역에 존재하는 소리를 수신하기 위한 내장형 마이크로폰, 및 소리를 증폭하고 내이(inner ear)로 증폭 소리를 전파시키는 증폭기 및 스피커를 가질 것이다. 또 다른 예시에서, 제한 없이, 멀리 있는 참가자는 스피커폰이나 그 밖의 다른 화상회의 장치를 통해 사람 말을 들을 수 있다. 이러한 장치는 마이크로폰을 통해 회의실 내에서의 소리를 수신하고, 수신된 소리를 전기 신호로 전환하며, 전기 신호를 원격 화상회의 장치로 전송한다. 원격 화상회의 장치는 전기 신호를 프로세스하고, 출력을 스피커 또는 그 밖의 다른 도청 장치로 전송하여, 원격 참가자가 회의실 내에서 소리를 들을 수 있게 한다.
상기 접근법이 가진 하나의 문제점은, 보청기 또는 화상회의 장치를 위한 마이크로폰은 전형적으로 화자로부터 멀리 떨어져 있다. 즉, 보청기의 마이크로폰은 전형적으로 보청기 자체 내에 내장되고, 이는 참가자의 귀 안에 위치된다. 이와 같이, 화상회의 장치의 마이크로폰은 전형적으로, 화상회의 장치 내에 내장되는데, 이는 종종 회의실 내의 주요 회의 탁자와 같은 회의실의 중앙에 위치된다. 두 경우에서, 화자가 대개 방의 일 측에 또는 회의실 탁자의 일단에 위치한다면, 마이크로폰의 위치는 전형적으로 방의 내의 화자로부터 상당한 거리에 있다. 일반적으로, 마이크로폰과 관심 소스 사이의 거리가 증가하면, 마이크로폰에서 수신되는 오디오의 품질은 퇴화된다. 상기 접근법이 가진 또 다른 문제점은 이러한 장치는 전형적으로 모든 소리를 비교적 동일하게 증폭한다는 것이다. 결과적으로, 청자는 말하는 특정 사람의 목소리와 같은 특정한 관심 소스를 듣는데, 특히 소음 및 사이드바 대화와 같은 환경에서 다른 오디오 소스의 존재가 있다는데에서 특히, 어려움을 가진다.
이들 문제점에 대한 하나의 해결책은 강사에 더욱 인접하게 유선 또는 무선 원격 마이크로폰을 위치시키는 것이다. 예를 들어, 보청기와 연결된 무선 마이크로폰은 화자 근처에 위치될 수 있다. 또 다른 예시에서, 화상회의 장치와 연결된 유선 또는 무선 "퍽(puck)" 스타일 마이크로폰은 회의실 탁자에 위치되거나, 또는 화자에 가까운 다른 장소에 위치될 수 있다.
이들 해결책이 가진 하나의 단점은, 화자 또는 그 밖의 다른 음원(sound source)의 위치가 시간에 따라 변하기 쉽다는 것이다. 하나의 예시에서, 화자가 걷거나 아니면 원격 마이크로폰 근처의 위치에서 원격 마이크로폰으로부터 멀리 있는 위치로 이동할 수 있다. 또 다른 예시에서, 음원은, 화자로부터, 질문을 하거나 의견에 끼어들어서 방해하는 사람 또는 오디오나 시청각 세그먼트와 같은 미디어 컨텐츠를 재생하는 콘텐츠 재생기로 변경될 수 있다. 이러한 경우에, 주요 마이크로폰과 원격 마이크로폰 모두는 새로운 사람이 말하거나 새로운 음원이 위치된 곳으로부터 비교적 멀리 떨어져 있을 수 있다. 상기 해결책이 갖는 또 다른 단점은 청각이 손상된 사람이 방에 원격 마이크로폰을 제시하고 배치하는 곤란한 상황을 경험한다는 것인데, 이는 더 넓은 그룹에게 청각이 손상된 사람으로 식별할 수 있기 때문이다.
상기에서 나타낸 바와 같이, 그룹 환경에서 특정한 사람에 대한 오디오를 향상시키기 위한 새로운 기술이 유용할 것이다.
제시된 하나 이상의 실시예는, 마이크로폰과 리시버의 동적 네트워크에 연결된, 한 그룹의 마이크로폰을 포함하는 오디오 프로세싱 시스템을 포함한다. 리시버는, 복수의 마이크로폰 내에 포함되고 주요 마이크로폰으로 지정되고, 마이크로폰에 의해 수신되는 제1 신호를 식별하도록 구성된다. 리시버는 복수의 마이크로폰 내에 포함된 마이크로폰의 서브세트를 식별하도록 더욱 구성되는데, 마이크로폰의 서브세트 내의 각 마이크로폰은 제1 신호에 대응되는 각각의 신호와 관련된다. 리시버는 제1 신호 및 각각의 신호에 적어도 부분적으로 기초하여, 마이크로폰의 서브세트 내에 포함된 각 마이크로폰에 대한 가중화 팩터를 계산하도록 더욱 구성된다. 리시버는 복수의 마이크로폰 내에 포함되지 않고, 마이크로폰의 동적 네트워크와 연결된 제1 마이크로폰과 연결을 구축하도록 더욱 구성된다. 리시버는 제1 마이크로폰으로부터 수신된 신호에 기초하여, 마이크로폰의 서브세트 내에 포함된 마이크로폰 중 적어도 하나를 위한 가중화 팩터를 조절하도록 더욱 구성된다.
다른 실시예는, 제한 없이, 개시된 기술의 하나 이상의 양태를 실행하는 오디오 리시버 및 개시된 기술의 하나 이상의 양태를 수행하기 위한 명령어를 포함하는 컴퓨터 판독가능한 매체는 물론 개시된 기술의 하나 이상의 양태를 수행하기 위한 방법을 포함한다.
본 명세서에 개시된 접근법의 적어도 하나의 이점은, 관심의 소스에 더 가까이 위치한 마이크로폰이 멀리 있는 마이크로폰보다 혼합된 오디오 신호에 더 강한 영향을 준다는 점에서, 오디오는 청자를 위해 관심의 특정 소스에 대해 향상된다. 본 명세서에 기술된 접근법의 또 다른 접근법은, 추가적인 무선 마이크로폰이 검출되고, 동적 혼합(dynamic mix)에 추가되므로, 소리의 성능과 품질은 개선된다.
상기 제시된 하나 이상의 실시예의 나열된 특징이 상세하게 이해될 수 있는 방식으로, 상기 간단히 요약된 하나 이상의 실시예의 보다 상세한 설명은 어떤 특정한 실시예를 참조함에 의해, 첨부된 도면에 나타난 일부에 의할 수 있다. 그러나, 첨부된 도면은 단지 전형적인 실시예를 도시한 것이어서, 개시물이 다른 실시예를 포함하는 범위에 대해, 임의의 방식으로 그 범위를 제한하는 것으로 간주되어서는 아니된다는 것에 주목해야 한다.
도 1은 다양한 실시예의 하나 이상의 양태를 실행하도록 구성된 오디오 프로세싱 시스템을 나타내고,
도 2는 다양한 실시예에 따른, 도 1의 오디오 프로세싱 시스템의 적용예를 나타내고, 및
도 3은 다양한 실시예에 따른, 하나 이상의 마이크로폰의 기회주의적 사용을 통해 오디오를 향상하기 위한 방법 단계의 순서도이다.
이하의 설명에서, 복수의 구체적인 세부사항이 제시되어서, 특정한 구체적인 실시예의 좀 더 완벽한 이해를 제공한다. 그러나, 다른 실시예가 하나 이상의 이들 구체적인 세부사항을 사용하지 않고 실행될 수 있거나 추가적인 구체적인 세부사항으로 실행될 수 있다는 것은 기술 분야에서의 당업자에게 명백할 것이다.
본 명세서에 추가로 기술되는 바와 같이, 오디오 프로세싱 시스템은 하나 이상의 청자(listener)가 애드 혹(ad hoc) 네트워크 컨피규레이션을 통해 함께 네트워크된 복수의 마이크로폰의 동적 혼합을 들을 수 있게 한다. 동적 혼합에 기여하는 마이크로폰의 구체적인 세트는, 상황이 변함에 따라 기회주의적으로 변화한다. 다른 청자가 하나 이상의 마이크로폰을 포함하는 무선 장치를 가지고 도착하면서, 이들 추가적인 마이크로폰은 네트워크 컨피규레이션에 추가된다. 즉, 마이크로폰은 동적 혼합(dynamic mix)에 기회주의적으로 추가되어서, 마이크로폰이 사용가능하게 된다. 청자의 무선 장치와 함께 청자가 떠나면, 이들 장치와 연결된 마이크로폰은 동적 혼합으로부터 제거된다. 또한, 마이크로폰은, 파워 업 또는 다운되는 마이크로폰이나 장치, 관심 소스의 위치 변화(스피커가 이동될 때와 같이), 마이크로폰이나 장치의 위치 변화 및 하나 이상의 마이크로폰이나 장치로부터의 신호 지연을 초래하는 네트워크 체증(network congestion)을 포함하지만, 이에 제한되지 않는, 다양하고 변화하는 상황에 기초하여, 동적 혼합에 기여하는 마이크로폰의 세트에 기회주의적으로 추가되거나, 이로부터 제거된다. 다시 말해, 오디오 프로세싱 시스템에 연결된 관련 장치 및 마이크로폰의 품질은 시간에 따라 가변하고, 동적 혼합에 기여하는 관련된 장치 및 연결된 마이크로폰의 품질도 그러하다.
연결된 마이크로폰은 주요 마이크로폰을 결정하기 위해 랭크(rank)된다. 또한, 복수의 마이크로폰은 하나 이상의 관심 소스를 보강하기 위해, 시간-정렬된다. 마이크로폰의 시간-정렬 및 혼합은, 마이크로폰의 품질 및 위치 변화, 관심 소스의 위치 변화, 하나의 관심 소스에서 다른 것으로의 변화, 및 청자의 신체 위치 또는 머리 방향의 변화를 포함하고, 이에 제한되지 않는, 음향 상태의 변화에 응답하여 동적으로 가변된다. 복수의 마이크로폰으로부터의 신호는 관심 소스에 대해 시간-정렬되어서, 음향 상 간섭에 대한 가능성을 감소시킨다.
시스템 개요
도 1은 다양한 실시예의 하나 이상의 양태를 실행하도록 구성된 오디오 프로세싱 시스템(100)을 도시한다. 도시된 바와 같이, 오디오 프로세싱 시스템(100)은, 이에 제한되지 않고, 무선 마이크로폰(110), 유선 마이크로폰(120), 안테나(130), 리시버(140), 및 스피커(150)를 포함한다. 다양한 실시예에서, 오디오 프로세싱 시스템(100)은 특정한 청자에 의해 착용된 헤드세트와 같은 개인용 장치, 또는 스피커폰이나 다른 화상회의 장치와 같은 공유된 장치일 수 있다.
무선 마이크로폰(110)은 환경으로부터 음향 신호를 수신하고, 수신된 음향 신호를 디지털 신호로 전환하며, 그리고 디지털 신호를 전송 안테나를 통해 리시버(140)와 같은 리시버로 전송하는 임의의 수신 장치를 포함한다. 다양한 실시예에서, 각각의 무선 마이크로폰(110)은, 이에 제한되지 않으면서, 모바일 텔레폰의 마이크로폰, 랩탑이나 태블릿 컴퓨터의 마이크로폰, 및 펜, 퍽-형상의 물체 또는 텔레비전 리모콘과 같은 다른 장치에 내장된 마이크로폰을 포함하는 임의의 기술적으로 가능한 형태일 수 있다. 하나 이상의 임의의 무선 마이크로폰(110)은, 벽, 천장, 회의실 탁자 또는 다른 표면에 부착되거나 내장될 수 있다. 하나 이상의 임의의 무선 마이크로폰(110)은 임의의 특정한 표면에 부착되지 않을 수 있다. 이러한 부착되지 않은 무선 마이크로폰(110)은 특정한 방이나 공간 내에 있을 수 있고, 또는 가령, 회의에서의 참가자에 의해 필요한 대로 이동될 수 있다. 하나 이상의 임의의 무선 마이크로폰(110)은, 이에 제한되지 않지만, 기기, 보안 알람 및 서모스탯과 같은 환경 컨트롤러를 포함하는 무선 통신 능력을 가진 또 다른 장치나 기기와 관련될 수 있다. 무선 마이크로폰(110)은 다른 무선 마이크로폰(110)과 리시버(140)와 무선 통신 네트워크(160)를 통해 통신하도록 구성된다. 일부 실시예에서, 무선 마이크로폰(110)은 무선 통신 네트워크(160)를 통해 수신 안테나(130)와 통신하고, 수신 안테나(130)는 결국 리시버(140)와 통신한다.
유선 마이크로폰(120)은 오디오 프로세싱 시스템(100) 내에 선택적으로 포함된다. 유선 마이크로폰(120)은, 케이블, 스피커선 또는 그 밖의 다른 물리적 연결부를 통해, 리시버(140)에 부착된다. 하나 이상의 임의의 유선 마이크로폰(120)은 벽, 천장, 회의실 탁자 또는 다른 표면에 부착되거나 내장될 수 있다. 대안적으로, 개인용 도청 장치와 연결된 유선 마이크로폰(120)은 청자에 의해 착용된 헤드폰이나 헤드세트 내에 내장될 수 있다.
무선 마이크로폰(110)과 유선 마이크로폰(120)(본 명세서에서는 집합적으로 "마이크로폰(110 및 120)"이라고 함)의 전체 품질은 리시버(140)에 연결되거나, 범위 내에서 마이크로폰(110 및 120)의 품질에 기초하여, 시간이 지남에 따라 가변한다. 무선 마이크로폰(110)은 리시버(140)로의 근접성, 리시버(140)와 무선 연결을 형성하기 위한 능력과 범위내의 다른 무선 마이크로폰(110)에 대한 오디오 기여도의 레벨의 조합에 기초하여, 리시버(140)의 범위내로 결정된다. 각 마이크로폰(110 및 120)은 전형적으로 회의실과 같은 특정한 위치 또는 개인적으로-소유한 무선 마이크로폰(110)과 같이 특정한 청자와 관련된다.
일부 실시예에서, 리시버(140)와 연결하도록 구성된 유선 또는 무선 장치(명시적으로 도시되지 않음)는 둘 이상의 관련 마이크로폰(110 및 120)을 가질 수 있다. 이러한 무선 장치는, 이러한 장치의 배향을 이용하기 위해, 리시버(140)에 의해, 본 명세서에서 빔포밍(beamforming)이라고 하는 공간적 필터링을 개선할 수 있다. 복수의 마이크로폰(110 및 120)이 있는 무선 장치는 관심 소스를 조준하거나 이를 향하여 조절되어서, 환경에서 관심 소스를 강조하고 다른 소스를 약화시키기 위한 더 우수한 능력을 제공할 수 있다.
일부 실시예에서, 하나 이상의 마이크로폰(110 및 120)은, 이에 제한되지 않지만, 중앙 프로세싱 유닛(CPU), 디지털 신호 프로세서(DSP), 및 마이크로컨트롤러를 포함하는 내장형 프로세서를 포함할 수 있다. 이러한 내장형 프로세서는, 이에 제한되지 않지만, 등화(equalization), 소음 감소, 오디오 동적 범위 압축 및 데이터 압축을 포함하는, 마이크로폰과 관련된 다양한 작업을 수행할 수 있다.
수신 안테나(130)는 무선 마이크로폰(110)과 같은 다양한 무선 장치에 의해 전송된 신호를 수신한다. 결국, 수신 안테나(130)는 프로세싱을 위해, 수신된 신호를 리시버(140)로 전송한다. 수신 안테나(130)의 품질에 의존하여, 무선 마이크로폰(110)의 위치는 리시버(140)에 의해 결졍된다.
무선 마이크로폰(110)이 수평면과 같은 평면에 위치되면, 둘 이상의 수신 안테나(130)가 있을 때, 리시버(140)는 무선 마이크로폰(110)으로부터의 도래각(angle of arrival)을 결정할 수 있다. 세 개 이상의 수신 안테나(130)가 있다면, 리시버(140)는 무선 마이크로폰(110)의 범위나 거리를 추가적으로 결정할 수 있다. 안테나의 추가적인 수량은 도래각의 정확도와 범위 계산을 개선한다. 일 예시에서, 헤드세트와 같은 두 개의 수화기 시스템에서, 귀 당 두 개의 안테나는 도래각과 범위를 해결하는데 사용될 수 있다.
무선 마이크로폰(110)이 평면에 위치되지 않고, 3차원 부피 내에 있다면, 둘 이상의 수신 안테나(130)가 있을 때, 리시버(140)는 무선 마이크로폰(110)이 위치된 표면이나 평면을 결정할 수 있다. 세 개 이상의 수신 안테나(130)가 있다면, 리시버(140)는 무선 마이크로폰(110)이 위치된 라인을 결정할 수 있다. 네 개 이상의 수신 안테나(130)가 있다면, 리시버(140)는 무선 마이크로폰(110)이 위치된 점을 결정할 수 있다. 안테나의 추가적인 수량은 도래각의 정확도와 범위 계산을 개선한다. 일 예시에서, 헤드세트와 같은 두 개의 수화기 시스템에서, 귀 당 두 개의 안테나는 도래각과 범위를 해결하는데 사용될 수 있다. 무선 마이크로폰(110) 송신기의 일부 혹은 전부로부터의 패킷이 동기화되면, 범위와 각도 추정은 더욱 개선되고, 정확한 계산을 위해 더 적은 수신 안테나(130)가 필요하다.
리시버(140)는 무선 마이크로폰(110), 유선 마이크로폰(120) 및 수신 안테나(130)로부터 수신된 신호에 대해 다양한 오디오 프로세싱 작업을 수행한다. 다양한 실시예에서, 리시버(140)는 상태 머신, 중앙 프로세싱 유닛(CPU), 디지털 신호 프로세서 (DSP), 마이크로컨트롤러, 주문형 집적 회로(ASIC) 또는 데이터를 처리하고 소프트웨어 애플리케이션을 실행하도록 구성된 임의의 장치 또는 구조물일 수 있다.
리시버(140)에 의해 수행되는 하나의 작업은 세기를 결정하여, 각 마이크로폰의 거리나 위치를 결정하기 위한 근접성 작업(proximity operation)이다. 리시버(140)는 삼각측량 기술, 신호 세기 및 GPS 데이터 중 하나 이상을 사용하여 근접성 작업을 수행한다.
리시버(140)에 의해 수행되는 또 다른 작업은 각 마이크로폰의 축외(off-axis) 각도를 결정하기 위한 로컬리제이션 작업(localization operation)이다. 리시버(140)는, 이에 제한되지 않지만, 삼각측량 기술, 지연 계산, 무선 로컬리제이션 기술 및 GPS 데이터 로컬리제이션 기술을 포함하는 하나 이상의 방법을 사용하여 로컬리제이션 작업을 수행한다.
리시버(140)에 의해 또 다른 작업은 마이크로폰 신호의 조합 또는 혼합이다. 리시버(140)는 각 마이크로폰 신호에 가중치(weight)를 할당하는데, 여기서, 가중치는 청자의 얼굴에 대한 축외 각도 및 각 마이크로폰의 근접성에 의해 동적으로 결정된다. 리시버(140)는 빔포밍, 또는 공간적 필터링 작업을 수행하여, 소리의 수신된 방향을 초점 맞춘다. 리시버(140)는 계산된 가중치에 기초하여 마이크로폰(110 및 120)의 전부 또는 일부를 선택 및 혼합을 더욱 수행한다. 리시버(140)는 코히런스 추정(coherence estimate)을 더욱 수행하여, 복수의 마이크로폰(110 및 120)에만 존재하는 신호를 강화하고, 단일 마이크로폰에만 존재하는 신호를 억제한다.
일부 실시예에서, 리시버(140)는 특정한 청자에 의해 착용된 개인용 장치인 오디오 프로세싱 시스템(100)과 연결될 수 있다. 이러한 실시예에서, 리시버(140)는 조절 기능(steering function)을 수행하여, 청자가 다른 화자에게 얼굴을 돌릴 때, 무선 마이크로폰(110)과 유선 마이크로폰(120)으로부터 수신된 마이크로폰 신호는 동적으로 가중화되어서, 청자가 향하고 있는 방향으로 선택 패턴(pickup pattern)을 초점 맞출 수 있다.
다른 실시예에서, 리시버(140)는, 스피커폰이나 다른 화상회의 장치의 경우에서와 같이, 여러 청자에 의해 공유되는 오디오 프로세싱 시스템(100)과 관련될 수 있다. 이러한 실시예에서, 리시버(140)는, 이에 제한되지 않지만, 마이크로폰(110 및 120)의 축외 각도 결정, 근접성 검출, 혼합 및 코히런스 추정을 포함하는 어떤 다른 작업도 수행할 수 있다.
동작 중에, 리시버(140)는, 둘 이상의 마이크로폰(110 및 120)으로부터 수신된 해당 신호를 식별하고, 해당 신호를 시간 정렬하며, 해당 신호의 각각에 대한 가중화 팩터를 계산하고, 계산된 가중화 팩터에 따라 해당 신호를 혼합 또는 결합한다. 다양한 실시예에서, 리시버(140)는 교차-상관(cross-correlation) 기술을 통해 이들 기능을 수행할 수 있다. 이들 실시예에서, 리시버(140)는 우선 리시버(140)와 통신하는 다른 마이크로폰(110 및 120)을 교차-상관하기 위한 마이크로폰을 선택할 수 있다. 교차-상관을 수행하기 이전에 마이크로폰을 선택하는 것은 교차-상관 작업의 전체 수를 감소시킨다. 교차-상관 이전에 마이크로폰이 선택되지 않으면, 필요한 교차-상관 작업의 수는 N*(N-1)로 주어지고, 여기서, N은 마이크로폰(110 및 120)의 개수이다. 교차-상관 이전에 마이크로폰이 선택되면, 교차-상관 작업의 수는 N-1로 줄어든다. 그래서, 가령, 리시버(140)가 10개의 마이크로폰(110 및 120)과 통신한다면, 교차-상관 이전에 마이크로폰을 선택하는 것은 교차-상관 작업의 수를 90번에서 9번으로 줄일 수 있다.
리시버(140)는, 기준 마이크로폰을 정의하거나 주요 마이크로폰을 결정함에 의해, 마이크로폰을 선택한다. 리시버(140)는 알려진 레이턴시와 품질을 가진 특정한 마이크로폰을 선택함에 의해 기준 마이크로폰을 정의한다. 예를 들어, 리시버(140)는 방의 가운데에 위치된 비교적 고품질 유선 마이크로폰을 기준 마이크로폰으로 선택할 수 있다. 교차-상관 동안에, 다른 모든 마이크로폰(110 및 120)은 기준 마이크로폰에 대해 교차-상관될 것이다.
대안적으로, 리시버(140)는 어느 마이크로폰(110 및 120)이 특정 시점에서 주요 마이크로폰인지를 결정한다. 주요 마이크로폰으로 결정된 마이크로폰은 선택된 마이크로폰이다. 교차-상관 동안에, 다른 모든 마이크로폰(110 및 120)은 주요 마이크로폰에 대해 교차-상관된다.
리시버(140)는 주요 마이크로폰을 결정하기 위한 하나 이상의 작업을 수행한다. 일 예시에서, 리시버(140)는 각 마이크로폰의 진폭을 분석하고, 스레숄드 양의 시간 동안 가장 소리의 세기가 큰(최고 진폭) 신호가 존재하는 마이크로폰을 주요 마이크로폰으로 선택할 수 있다. 이러한 예시에서, 가장 소리의 세기가 큰 신호가 존재하는 마이크로폰은, 주요 스피커와 같이 관심 소스에 가장 근접한 것으로 추정된다. 주요 스피커가 더 작은 볼륨을 나타내는 포켓 마이크로폰을 가지지만 물리적으로 스피커에 더 근접하지 않다면, 이러한 접근법은 전형적으로 잘 맞는다.
또 다른 예시에서, 리시버(140)는 기준 마이크로폰에 대해 다른 모든 마이크로폰(110 및 120)의 제1 교차-상관 단계를 수행할 수 있다. 리시버(140)는, 기준 마이크로폰에 대한 교차-상관이 기준 마이크로폰에 존재하는 신호의 가장 이른 피크를 나타내는 마이크로폰을 선택한다. 이러한 예시에서, 가장 이른 시점에서의 관심 소스를 나타내는 마이크로폰은 관심 소스에 가장 근접한 것으로 추정된다. 상당한 소음이나 시끄러운 사이드바 대화가 없다면, 이러한 접근법은 전형적으로 잘 맞는다.
또 다른 예시에서, 리시버(140)는, 마이크로폰을 사전선택하지 않고, 풀세트의 N*(N-1)번의 교차-상관 작업을 수행할 수 있다. 그리고 나서, 리시버(140)는 스레숄드 개수의 마이크로폰(110 및 120)에도 존재하는 가장 이른 신호 피크가 존재하는 마이크로폰을 선택할 것이다. 이러한 접근법은 상기 기술된 다른 접근법 보다 계산적으로 좀 더 강하지만, 대부분 현재의 관심 소스를 찾는데 잘 맞는다.
또 다른 예시에서, 복수의 고정된 마이크로폰(110 및 120)은 후보가 되는 주요 마이크로폰(110 및 120)의 풀(pool)에 위치될 수 있다. 이러한 접근법에서, 리시버(140)는 세 개와 같이, 마이크로폰(110 및 120)의 세트가 될 마이크로폰(110 및 120)의 서브세트를 지정한다. 전형적으로, 후보가 되는 주요 마이크로폰(110 및 120)은, 방에 적절한 장소에 위치되고 고정된 고품질 마이크로폰(110 및 120)이다. 리시버(140)는 후보가 되는 주요 마이크로폰(110 및 120)의 풀 내의 마이크로폰(110 및 120) 중에 교차-상관을 수행한다. 그리고 나서, 주요 마이크로폰은 교차 상관의 결과에 기초하여 풀에서 선택된다.
주요 마이크로폰을 선택한 이후에, 리시버(140)는 주요 마이크로폰에 대해 모든 마이크로폰(110 및 120)의 교차-상관을 수행한다. 리시버(140)는 주요 마이크로폰에 강하게 상관하는 마이크로폰(110 및 120)에 더 높은 가중화 팩터를 할당한다. 리시버(140)는 주요 마이크로폰에 약하게 상관하는 마이크로폰(110 및 120)에 더 낮은 가중화 팩터를 대응되게 할당한다. 리시버(140)는. 이에 제한되지 않지만, 컨볼루션 및 패턴 인식(convolution and pattern recognition)을 포함하는 임의의 기술적으로 실현가능한 교차-상관 접근법을 사용할 수 있다. 일부 실시예에서, 교차-상관 작업을 간단하게 하기 위하여, 리시버(140)는 시간 윈도우(time window)를 제한할 수 있는데, 이는 주요 마이크로폰에 대해 상관된 신호를 검색하기 위함이다. 예를 들어, 마이크로폰(110 및 120) 사이의 최대 거리가 30ms에 대응되는 33 피트로 알려져 있고, 무선 송신에 기인한 최대 허용 오차 레이턴시가 10ms라면, 리시버는 주요 마이크로폰과 각각의 다른 마이크로폰(110 및 120) 사이의 상관도를 찾기 위해 40ms 윈도우를 검사한다. 특정한 마이크로폰이 40ms 윈도우 내에 주요 마이크로폰과 상관되지 않는다면, 마이크로폰은 신호를 선택하지 않거나, 마이크로폰은 10ms 제한을 초과하여 무선 송신 지연을 겪는 것이다.
다양한 실시예에서, 리시버(140)는 교차 상관 동안에 결정된 가중화 팩터를 조절하기 위해 추가적인 작업을 수행할 수 있다. 일 실시예에서, 리시버(140)는 마이크로폰(110 및 120) 중에 소리의 세기의 차이를 보상할 수 있다. 리시버(140)는 소리의 세기가 더 큰 신호가 존재하는 마이크로폰에 대해 가중화 팩터를 올리고, 소리의 세기가 작은 신호가 존재하는 마이크로폰에 대해 가중화 팩터를 내릴 수 있다. 일 실시예에서, 리시버(140)는 마이크로폰과 주요 마이크로폰 사이의 타이밍 차이를 보상할 수 있다. 리시버(140)는, 마이크로폰이 주요 마이크로폰에 더 근접하다는 가정하에, 주요 마이크로폰에 시간상 더 가까운 신호가 존재하는 마이크로폰에 대해 가중화 팩터를 올릴 수 있다. 리시버(140)는, 마이크로폰이 주요 마이크로폰에 더 멀리 있다는 가정하에, 주요 마이크로폰에 시간상 더 멀리 있는 신호가 존재하는 마이크로폰에 대해 가중화 팩터를 내릴 수 있다.
또 다른 실시예에서, 리시버(140)는 무선 전송에 기인한, 마이크로폰(110 및 120) 사이의 레이턴시의 차이를 보상할 수 있다. 유선 마이크로폰(120)은 방의 음향 지연 및 유선 전송 시간에만 관련된 지연을 가질 수 있다. 무선 마이크로폰(110)은, 디지털화, 패킷화 및 디지털 오디오 패킷을 리시버(140)로 전송하는 프로세스 때문에 가변하는 레이턴시를 발생시킬 수 있다. 예를 들어, 소리의 속도가 1127 피트/초(밀리초당 1 피트를 조금 넘음)라면, 무선 송신에 기인한 11ms의 레이턴시는 거리의 11 피트와 일치한다. 그러므로, 더 우수한 거리 추정을 위해, 관심 소스로부터의 거리에 기초하여 가중화 팩터를 결정할 때 리시버(140)는 무선 송신 지연을 보상할 수 있다.
또 다른 실시예에서, 리시버(140)는, 마이크로폰(110 및 120) 중에 가장 이르거나 가장 소리의 세기가 큰 피크 값을 결정하는 것에 더하여, 코히런스 추정 테스트를 수행할 수 있다. 이러한 예시에서, 형상, 대역폭 및 다른 메트릭(metric)과 같은 신호 특징은, 만일 두 개의 마이크로폰(110 및 120)이 동일한 소스를 선택하며, 더 우수한 결정을 위해 마이크로폰(110 및 120) 중에 비교된다. 더 강한 코히런시는 가중화 팩터를 증가시킬 수 있는 반면, 더 약한 코히런시는 가중화 팩터를 감소시킬 수 있다.
다른 실시예에서, 리시버(140)는 마이크로폰 움직임을 측정할 수 있다. 리시버(140)는, 어떤 사람이 펜을 돌리거나 마이크로폰이 내장된 어떤 다른 장치를 빠르게 움직일 때와 같이, 마이크로폰이 빠르게 움직인다는 것을 검출할 수 있다. 리시버(140)가 빠른 움직임을 마이크로폰이 경험한다는 것을 검출하면, 리시버는(140)는 그 마이크로폰에 대해 가중화 팩터를 대응되게 감소시킬 수 있다.
또 다른 실시예에서, 리시버(140)는 마이크로폰 감도 비율의 차이에 기인한 가중화 팩터를 조절할 수 있다. 많이 민감한 마이크로폰은, 동일한 거리에서 동일한 소리 파장에 노출될 때, 덜 민감한 마이크로폰에 비해 오류가 있는 더 높은 볼륨 레벨을 보고할 수 있다. 이러한 경우에, 좀 더 민감한 마이크로폰 리시버(140)는, 더 높게 보고된 볼륨에 기초하여 좀 더 민감한 마이크로폰에 더 높은 가중화 팩터를 할당할 수 있다. 리시버(140)가 환경에서 마이크로폰(110 및 120)의 민감도에 대한 데이터를 가지면, 리시버는 마이크로폰(110 및 120)의 가변하는 민감도에 기초하여 가중화 팩터를 조절할 수 있다.
또 다른 실시예에서, 리시버(140)는 삼각측량 작업을 수행하여, 마이크로폰(110 및 120)이 방에 위치된 곳의 약도를 생성할 수 있다. 리시버(140)는 각 마이크로폰에게 명령하여서, 다른 마이크로폰(110 및 120)에 의해 수신된 초음파 신호를 발산하도록 한다. 다를 마이크로폰(110 및 120)은 초음파 신호가 수신된 시간을 주목한다. 프로세스는 다른 마이크로폰(110 및 120)의 각각에 대해 반복된다. 이러한 데이터로부터, 리시버(140)는 삼각 측량을 수행하여 신호 지연 시간을 거리로 전환하고, 그리고 나서, 마이크로폰 위치의 삼각 측량 지도를 생성한다. 주요 마이크로폰을 선택한 이후에, 본 명세서에 기술되는 바와 같이, 리시버(140)는 삼각 측량 지도를 사용하여, 어느 다른 마이크로폰(110 및 120)이 주요 마이크로폰에 가장 인접 한지를 결정한다. 리시버(140)는 더 인접한 마이크로폰(110 및 120)에 대한 가중화 팩터를 증가시키고, 좀 더 멀리 있는 마이크로폰(110 및 120)의 가중화 팩터를 감소시킬 수 있다.
또 다른 실시예에서, 리시버(140)는 다차원 가중화 작업을 수행할 수 있다. 일 예시로서, 리시버(140)는 시간 차원과 부피 차원 모두에 기초하여 가중화 팩터를 생성할 수 있다. 리시버(140)는, 이르고(early) 소리의 세기가 큰 신호를 내는 마이크로폰에게 더 높은 가중화 팩터를 할당할 것이다. 이르고 부드럽거나, 느리고 소리의 세기가 큰 신호를 내는 마이크로폰(110 및 120)에게 중간 가중화 팩터를 할당할 것이다. 리시버(140)는 느리고 부드러운 신호를 내는 마이크로폰에게 낮은 가중화 팩터를 할당할 것이다.
가중화 팩터를 결정하고 조절한 이후에, 리시버(140)는 어느 마이크로폰(110 및 120)이 최종 출력으로 혼합되는지를 결정한다. 일 실시예에서, 리시버(140)는 모든 마이크로폰(110 및 120)을 함께 혼합할 수 있는데, 여기서, 가중화 팩터는 혼합할 각 마이크로폰의 기여도를 결정한다. 대안적으로, 리시버(140)는 특정 스레숄드 아래의 가중화 팩터를 가진 마이크로폰(110 및 120)을 제거할 수 있다. 그리고 나서, 리시버(140)는 혼합에서 마이크로폰(110 및 120)의 신호를 시간-정렬한다. 예를 들어, 마이크로폰 A는 주요 마이크로폰과 상관되지만, 주요 마이크로폰에 대해 20ms 만큼 지연된다면, 리시버(140)는 20ms 만큼 주요 마이크로폰 신호를 지연함에 의해 신호를 시간-정렬한다. 관심 소스에 대해 마이크로폰을 시간-정렬함에 의해, 리시버(140)는 음향 상 간섭에 대한 가능성을 감소시킨다. 모든 마이크로폰 신호가 시간-정렬되면, 리시버(140)는 시간-정렬된 마이크로폰 신호에 대해 가중화 팩터에 따라 혼합을 수행한다.
스피커(150)는 리시버(140)로부터 오디오 신호를 수신하고 대응되는 소리를 하나 이상의 사용자에게 발산하는 하나 이상의 스피커를 포함한다. 오디오 프로세싱 시스템(100)이 개인용 장치라면, 스피커(150)는 소리를 특정한 청자의 귀로 프로젝트하는 헤드폰이나 헤드세트내에 내장될 수 있다. 오디오 프로세싱 시스템(100)이 공유된 장치라면, 스피커(150)는 메인 화상회의 장치로부터 신호를 수신하고 하나 이상의 원격에 위치된 청자로 소리를 발산하는 제2 원격 화상회의 장치에 내장될 수 있다.
무선 통신 네트워크(160)는, 이에 제한되지 않지만 무선 이더넷과 블루투스를 포함하는, 무선 마이크로폰(110)과 다른 장치를 리시버(140)에 무선으로 연결하도록 구성된 임의의 하나 이상의 무선 통신 네트워크 기술을 포함한다. 일 실시예에서, 무선 통신 네트워크(160)는 복수의 리시버가 허용되는 것을 제외하고는, 스타형 네트워크와 유사하게 구성될 수 있다. 또 다른 실시예에서, 리시버(140)가 무선 마이크로폰(110)과 같은 송신기의 위치를 결정하기 때문에, 무선 통신 네트워크(160)는 반대가 아닌, 지오캐스팅(geocasting) 네트워크의 인버스와 유사하게 구성될 수 있다. 더 많은 무선 마이크로폰(110)이 무선 통신 네트워크(160)와 연결을 구축함에 따라, 무선 통신 네트워크(160)의 메시 밀도는 증가하여서, 무선 마이크로폰(110)으로부터의 신호들을 결합할 때, 개선된 신호-대-노이즈 비율(SNR)을 초래한다. 일부 실시예에서, 무선 통신 네트워크(160)는 무선 마이크로폰(110)이 서로 네트워크하도록 하고, 서로에 대해 리피터의 역할을 하도록 구성될 수 있다.
일부 실시예에서, 펜을 떨어트리거나 탁자에 컵을 시끄럽게 놓는 것과 같은 갑작스러운 소음은 어택(attack) 및 릴리스(release) 상수를 설정함에 의해 감소되거나 제거될 수 있다. 예를 들어, 20ms로 어택 시간을 설정하는 것은 20ms 보다 짧은 소음을 제거하면서, 20ms 보다 긴 연설과 같은 시끄러운 소리는 허용한다.
개시된 기술이 특정한 실시예의 상황속에서 기술되지만, 다양한 수정예와 변형예가 가능하다. 일 실시예에서, 마이크로폰이 관심 소스와 동일한 각도이지만 관심 소스로부터 비교적 멀리 떨어져 위치될 때, 리시버는 정확하게 마이크로폰을 시간-정렬하지 못할 수 있다. 또 다른 실시예에서, 너무 멀리 위치된 마이크로폰(110 및 120)은 더 높은 주파수에서 적절하게 빔폼(beamform)할 수 없다. 그러나, 이러한 마이크로폰(110 및 120)이 최종 출력으로 여전히 혼합될 수 있다. 또 다른 실시예에서, 청자의 주머니에 위치된 마이크로폰은 너무 축외에 있어서 리시버(140)에 의해 제거될 수 있다. 그러나, 이러한 마이크로폰은 여전히 음향적으로 우수한 소스일 수 있다. 또 다른 실시예에서, 네트워크에 포함되어서는 아니되는 무선 마이크로폰을 소유한 근처의 "행인(bystander)"과 같이, 사생활 침해의 가능성을 줄이기 위해 개시된 시스템에서 보안 대책이 전개될 수 있다. 개인용 무선 마이크로폰의 경우에, 단단한 물리적 스위치는, 무선 마이크로폰으로의 전원을 불능하게 하거나 무선 마이크로폰을 불능하게 하거나 뮤트(mute)하는데 사용되어서, 무선 마이크로폰이 비활성되도록 보장할 수 있다. 또 다른 실시예에서, 무선 마이크로폰(110) 및/또는 유선 마이크로폰(120)은 회의실 이외의 환경에서 전개될 수 있다. 일 예시로서, 무선 마이크로폰(110) 및/또는 유선 마이크로폰(120)은 전신주(power pole), 빌딩 및 다른 인프라구조에 부착되어서, 마이크로폰(110 및 120)이 서로 네트워크되고, 보행자에 의해 소유된 무선 마이크로폰(110)과 네트워크된다. 청자가 거거나, 달리거나 길을 따라 사이클하면서, 다양한 마이크로폰(110 및 120)으로부터의 마이크로폰 신호는 청자 주의의 근처에서 선택 패턴(pickup pattern)을 초점 맞추기 위해 동적으로 가중화될 수 있다.
오디오 프로세싱 시스템의 동작
도 2는 다양한 실시예에 따른, 도 1의 오디오 프로세싱 시스템(100)의 적용예를 나타낸다. 도시된 바와 같이, 로컬 참가자(210, 220, 230, 240, 250, 및 260)는 회의에 참가하는 중이고, 이들의 연설 신호는 오디오 프로세싱 시스템(280)에 의해 얻어지며, 여기서, 오디오 프로세싱 시스템(280)은 도 1의 오디오 프로세싱 시스템(100)의 실시예이다. 오디오 프로세싱 시스템(280)은 마이크로폰 신호를 수신하고 프로세스하여 원격 참가자(명시적으로 도시되지 않음)에게 전송한다. 오디오 프로세싱 시스템(280)은 이들 마이크로폰 신호를, 이에 제한되지 않지만, 오디오 프로세싱 시스템(280)에 내장된 마이크로폰(명시적으로 도시되지 않음), 사용자(210)와 관련된 셀폰(215) 내의 마이크로폰, 사용자(260)와 관련된 랩톱(265) 내의 마이크로폰, 사용자(250)와 관련된 퍽 마이크로폰(257) 및 회의 탁자(200)에 부착된 고정된 마이크로폰(270 및 275)를 포함하는 다양한 소스로부터 얻는다. 오디소 프로세싱 시스템(280)은 본 명세서에서 더욱 기술되는 바와 같이, 오디오를 조절하고 관심 소스를 결정하기 위한 수신 안테나(도 2에 명시적으로 도시되지 않음)를 포함한다. 또한, 로컬 참가자(210, 220, 230, 240, 250, 및 260)는 회의의 오디오를 듣는다.
또한 도시된 바와 같이, 참가자(230 및 250)는 오디오 프로세싱 시스템(235 및 255)을 각각 가지는데, 여기서, 오디오 프로세싱 시스템(235 및 255)도 도 1의 오디오 프로세싱 시스템(100)의 실시예이다. 오디오 프로세싱 시스템(235 및 255)은 각각의 참가자(230 및 250)를 위한 마이크로폰 신호를 수신하고 프로세스한다. 이들 마이크로폰은 오디오 프로세싱 시스템(235 및 255)에 내장된 마이크로폰(명시적으로 도시되지 않음), 사용자(210)와 관련된 셀폰(215) 내의 마이크로폰, 사용자(260)와 관련된 랩톱(265) 내의 마이크로폰, 사용자(250)와 관련된 퍽 마이크로폰(257) 및 회의 탁자(200)에 부착된 고정된 마이크로폰(270 및 275)을 포함한다.
오디오 프로세싱 시스템(235 및 255)은, 참가자(230 및 250)가 그들의 머리를 움직이고 돌릴 때, 위치와 배향을 검출하는 복수의 수신 안테나(명시적으로 도시되지 않음)를 각각 포함한다. 오디오 프로세싱 시스템(235 및 255)은 수신 안테나로부터의 데이터를 사용하여, 소리를 조절하고 각각의 참가자(230 및 250)에 대한 관심 소스를 각각 결정한다. 수신 안테나 데이터는 본 명세서에 기술된 관심 소스 결정을 증가시키거나 우선한다. 참가자(230)가 참가자(240)를 바라보기 때문에, 오디오 프로세싱 시스템(235)은, 본 명세서에 기술된 다른 기술이 관심 소스가 다른 방향을 향한다고 하더라도, 참가자(230)에 대한 관심 소스가 참가자(240)의 방향을 향한다고 결정한다. 이와 같이, 참가자(250)가 참가자(220)를 바라보기 때문에, 본 명세서에 기술된 다른 기술이 관심 소스가 다른 방향을 향한다고 하더라도, 참가자(250)에 대한 관심 소스가 참가자(220)의 방향을 향한다고 결정한다.
각각의 오디오 프로세싱 시스템(280, 235 및 255)은 주요 마이크로폰을 선택하고, 교차-상관을 수행하며, 가중화 팩터를 계산하고, 원격 사용자들, 사용자(230) 및 사용자(250)에 대한 마이크로폰 신호를 각각 혼합한다. 오디오 프로세싱 시스템(235 및 255)은 전형적으로 헤드폰이나 이어폰의 형태로 하나 이상의 스피커에게 혼합된 마이크로폰 신호를 전송한다. 오디오 프로세싱 시스템(280)은 대응되는 원격 화상회의 장치와 관련된 하나 이상의 원격 스피커에게 혼합된 마이크로폰 신호를 전송한다.
도 3은 다양한 실시예에 따른, 하나 이상의 마이크로폰의 기회주의적 사용을 통해 오디오를 향상시키는 방법 단계의 순서도이다. 방법 단계가 도 1-2의 시스템과 관련하여 기술되지만, 기술 분야에서의 당업자는 방법 단계를 임의의 순서로 수행하도록 구성된 임의의 시스템이 본 개시물의 범위 내에 있다는 것을 이해할 것이다.
도시된 바와 같이, 방법(300)은 단계(302)에서 시작되는데, 여기서, 복수의 마이크로폰과 통신하는 오디오 프로세싱 시스템(100)과 연결된 리시버(140)는 마이크로폰을 주요 마이크로폰으로 선택한다. 마이크로폰은 무선 마이크로폰(110)일 수 있고, 또는 대안적으로, 리시버(140)에 연결된 유선 마이크로폰(120)일 수 있다. 리시버(140)는 본 명세서에 기술된 하나 이상의 임의의 접근법을 통해 마이크로폰을 선택하는데, 제한되지 않지만, 소리의 세기가 가장 큰 신호를 내는 마이크로폰을 선택하는 것, 가장 이른 피크 레벨을 가지고 관심 소스와 관련된 마이크로폰을 선택하는 것, 어느 마이크로폰이 관심 소스의 가장 높은 품질 신호를 가지는지 결정하기 위해 마이크로폰들 중에 교차-상관을 수행하는 것을 포함한다.
단계(304)에서, 리시버(140)는 마이크로폰의 서브세트를 선택하는데, 여기서, 마이크로폰의 서브세트 내의 각 마이크로폰은 주요 마이크로폰 신호에 존재하는 신호에 해당하거나 이와 관련된 신호를 수신한다. 단계(306)에서, 리시버(140)는 주요 마이크로폰으로의 신호에 대한 각 마이크로폰으로부터의 신호에 기초하여 마이크로폰의 서브세트 내의 각 마이크로폰에 대한 가중화 팩터를 계산한다. 단계(308)에서, 리시버(140)는 마이크로폰이 오디오 프로세싱 시스템(100)에 추가되었다는 것을 검출한다. 단계(310)에서, 리시버(140)는 하나 이상의 추가적인 조건에 기초하여 마이크로폰의 서브세트 내의 하나 이상의 마이크로폰을 위한 가중화 팩터를 조절한다. 이들 조건 중 하나는 하나 이상의 마이크로폰에 대한 가중화 팩터가 오디오 프로세싱 시스템(100)에 추가되었던 마이크로폰으로부터 수신된 신호에 기초하여 조절될 수 있다는 것이다. 본 명세서에서 논의되는 바와 같이, 이들 추가적인 조건은, 제한되지 않지만, 마이크로폰의 움직임, 마이크로폰으로부터의 신호의 시끄러움, 각 마이크로폰과 주요 마이크로폰 사이의 거리, 무선 마이크로폰에 대한 전송 시간에 기인한 레이턴시의 양, 마이크로폰의 움직임 및 마이크로폰의 민감도를 포함할 수도 있다.
단계(312)에서, 리시버(140)는 혼합하기 위해 마이크로폰의 서브세트를 선택한다. 다양한 실시예에서, 리시버(140)는 혼합하기 위해 모든 마이크로폰을 선택하거나, 대안적으로, 리시버(140)는 가중화 팩터가 스레숄드를 초과한 마이크로폰의 세트를 선택할 수 있다. 단계(314)에서, 리시버(140)는 선택된 마이크로폰의 세트에 대해 마이크로폰 신호를 시간-정렬한다. 단계(316)에서, 리시버(140)는 가중화 팩터에 기초하여 시간-정렬된 마이크로폰 신호에 대해 혼합을 수행한다. 단계(318)에서, 리시버(140)는 스피커(150)와 같은 하나 이상의 스피커에게 혼합된 오디오를 전송한다. 다양한 실시예에서, 하나 이상의 스피커는 리시버(140)와 동일한 방에 있을 수 있고, 또는 또 다른 빌딩, 도시, 주 또는 나라에 원격으로 위치될 수 있다. 오디오 프로세싱 시스템(100)의 리시버(140)는 계속하여 연속적인 루프 내의 방법(300)의 단계를 수행한다. 이들 실시예에서, 단계(318)가 수행된 이후에, 본 방법(300)은 상기 기술된 단계(302)로 진행된다. 방법(300)의 단계는, 리시버(140) 또는 오디오 프로세싱 시스템(100)이 파워 다운과 같은 특정 이벤트가 발생할 때까지 연속적인 루프에서 수행이 계속된다.
요약하면, 개시된 기술은 하나 이상의 청자가 애드 혹 네트워크 컨피규레이션을 통해 함께 네트워크된 복수의 마이크로폰의 동적 혼합을 들을 수 있도록 한다. 다른 청자가 하나 이상의 마이크로폰을 포함하는 무선 장치와 도착하면, 이들 추가적인 마이크로폰은 네트워크 컨피규레이션에 추가된다. 즉, 마이크로폰은 기회주의적으로 동적 혼합에 추가되어서, 마이크로폰이 사용가능하게 된다. 복수의 마이크로폰은 주요 마이크로폰을 결정하기 위해 랭크된다. 또한, 복수의 마이크로폰은 하나 이상의 관심 소스를 보강하기 위해 시간-정렬된다. 마이크로폰의 시간-정렬 및 혼합은 음향 상태 변화에 응답하여 동적으로 가변되는데, 제한되지 않고, 마이크로폰의 품질 및 위치 변화, 관심 소스의 위치 변화, 하나의 관심 소스에서 다른 것으로의 변화, 및 청자의 신체 위치 또는 머리 방향의 변화를 포함하고, 이에 제한되지 않는, 음향 상태의 변화에 응답하여 동적으로 가변된다. 복수의 마이크로폰으로부터의 신호는 관심 소스에 대해 시간-정렬되어서, 음향 상 간섭에 대한 가능성을 감소시킨다.
본 명세서에 기술된 접근법의 적어도 하나의 이점은, 관심 소스에 더 가까이 위치된 마이크로폰이 멀리 있는 마이크로폰 보다 혼합된 오디오 신호에 더 강한 영향을 미친다는 점에서, 오디오가 특정한 관심 소스에 대해 청자에게 향상된다는 것이다. 결과적으로, 과도한 반향(reverberation) 및 관련 없는 소음의 증폭과 같은 원치 않은 영향은 감소된다. 청자는 관심 소스와 관련되고 비교적 더 높은 품질의 소리를 들을 수 있는 반면, 소음이나 사이드바 대화와 같은 다른 소리는 억제된다. 본 명세서에 기술된 접근법의 또 다른 이점은 추가적인 무선 마이크로폰이 검출되고 동적 혼합에 추가됨에 따라 소리의 성능 및 품질이 개선된다는 점이다. 그러므로, 오디오는 회의실과 같은 다양한 환경에서 청자를 위해, 종래 접근법에 비해 좀 더 강건하고 유연한 방식으로 향상된다.
다양한 실시예의 설명은 설명을 위해 제시되지만, 개시된 실시예에 제한되거나 총망라한 것으로 의도되지 않는다. 많은 수정예와 변형예가 개시된 실시예의 범위와 사상에서 벗어나지 않으면서, 기술 분야에서의 당업자에게 명백할 것이다.
본 실시예의 양태는 시스템, 방법 또는 컴퓨터 프로그램 제품으로 구현될 수 있다. 따라서, 본 개시물의 양태는 전체적으로 하드웨어 실시예, 전체적으로 소프트웨어 실시예(펌웨어, 레지던트 소프트웨어, 마이크로-코드 등을 포함) 또는 본 명세서에서 일반적으로 "회로", "모듈" 또는 "시스템"으로 언급할 수 있는 소프트웨어와 하드웨어 양태를 결합한 실시예의 형태를 취할 수 있다. 더구나, 본 개시물의 양태는 컴퓨터 판독가능한 매체에 구현된 컴퓨터 판독가능한 프로그램 코드를 가진 하나 이상의 컴퓨터 판독가능한 매체(들)에 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
하나 이상의 컴퓨터 판독가능한 매체(들)의 임의의 조합이 사용될 수 있다. 컴퓨터 판독가능한 매체는 컴퓨터 판독가능한 신호 매체 또는 컴퓨터 판독가능한 저장 매체일 수 있다. 컴퓨터 판독가능한 저장 매체는, 가령, 전자 장치, 자기 장치, 광학 장치, 전자기 장치, 적외선 장치 또는 반도체 시스템, 기구 또는 장치 또는 상기한 것들의 적절한 조합일 수 있으나, 이에 제한되지 아니한다. 컴퓨터 판독가능한 저장 매체의 좀 더 구체적인 예시(총망라하지 않은 리스트)는 다음의, 하나 이상의 선을 가진 전기 연결부, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 리드-온리 메모리(ROM), 삭제가능한 프로그램가능한 리드-온리 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 리드-온리 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 상기한 것의 임의의 적절한 조합을 포함할 것이다. 본 문헌의 맥락에서, 컴퓨터 판독가능한 저장 매체는, 명령 실행 시스템, 기기 또는 장치에 의해, 또는 이와 연결되어 사용을 위한 프로그램을 포함하거나 저장할 수 있는 임의의 유형 매체일 수 있다.
본 개시물의 양태는 본 개시물의 실시예에 따른 방법, 기기(시스템) 및 컴퓨터 프로그램 제품의 순서도 및 블록도를 참조하여 상기에 기술된다. 순서도 및/또는 블록도의 각각, 및 순서도 및/또는 블록도 내의 블록의 조합은 컴퓨터 프로그램 명령어에 의해 실행될 수 있다는 것을 이해할 것이다. 이들 컴퓨터 프로그램 명령어는 일반 목적의 컴퓨터, 특수 목적의 컴퓨터의 프로세서 또는 다른 프로그램가능한 데이터 프로세싱 기기에 제공되어서, 머신을 생산하여, 컴퓨터의 프로세서나 다른 프로그램가능한 데이터 프로세싱 기기를 통해 실행되는 명령어가 순서도 및/또는 블록의 블록도 블록에 명시된 기능/행동의 실행을 가능하게 한다. 이러한 프로세서는 일반 목적의 프로세서, 특수-목적의 프로세서, 적용-특수 프로세서 또는 필드-프로그램가능한 것일 수 있으나, 이에 제한되지 않는다.
도면 내의 순서도 및 블록도는 본 개시물의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 실행예의 아키텍처, 기능 및 가능한 동작을 도시한다. 이와 관련하여, 순서도 및 블록도 내의 각각의 블록은 모듈, 세그멘트 또는 코드의 일부를 나타낼 수 있는데, 이는 명시된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행가능한 명령어를 포함한다. 일부 대안적인 실행예에서, 블록 내에 표시된 기능은 도면 내에 표시된 순서 이외로 발생할 수 있다는 것도 주목해야 한다. 예를 들어, 연속으로 도시된 두 개의 블록은, 사실, 관련된 기능에 따라, 실질적으로 동시에 실행될 수 있고, 또는 블록은 가끔, 반대 순서로 실행될 수 있다. 또한, 블록도 및/또는 순서도의 각 블록 및 블록도 및/또는 순서도 내의 블록의 조합은 구체적인 기능 또는 행동 또는 특수 목적 하드웨어와 컴퓨터 명령어의 조합을 수행하는 특수 목적의 하드웨어-기반의 시스템에 의해 실행될 수 있다는 것도 주목할 것이다.
상기 내용이 본 개시물의 실시예에 관한 것이지만, 본 개시물의 다른 그리고 추가의 실시예는 본 개시물의 기본 범위에서 벗어나지 않으면서 고안될 수 있고, 본 개시물의 범위는 이하의 청구항에 의해 결정된다.

Claims (15)

  1. 마이크로폰의 동적 네트워크에 연결된 복수의 마이크로폰과, 및
    상기 복수의 마이크로폰에 연결된 리시버를 포함하되, 상기 리시버는,
    상기 복수의 마이크로폰 내에 포함되고 주요 마이크로폰으로 지정된 마이크로폰에 의해 수신되는 제1 신호를 식별하고,
    상기 복수의 마이크로폰 내에 포함된 마이크로폰의 서브세트를 식별 - 마이크로폰의 서브세트 내의 각 마이크로폰은 상기 제1 신호에 대응되는 각각의 신호와 관련됨 - 하며,
    상기 제1 신호 및 상기 마이크로폰과 관련된 각각의 신호 사이의 상관 강도(strength of correlation)에 적어도 부분적으로 기초하여, 상기 마이크로폰의 서브세트 내에 포함된 각 마이크로폰에 대한 가중화 팩터(weighting factor)를 계산하고,
    상기 복수의 마이크로폰 내에 포함되지 않고, 상기 마이크로폰의 동적 네트워크와 연결된 제1 마이크로폰과의 접속을 구축하며, 및
    상기 제1 마이크로폰으로부터 수신된 신호에 기초하여, 상기 마이크로폰의 서브세트 내에 포함된 마이크로폰 중 적어도 하나에 대한 가중화 팩터를 조절하도록 구성되는 것인 오디오 프로세싱 시스템.
  2. 제 1 항에 있어서, 상기 리시버는, 상기 마이크로폰의 서브세트 내에 포함된 각 마이크로폰으로부터 수신된 마이크로폰 신호에 대해 시간-정렬 작업(time-align operation)을 수행하도록 더욱 구성되는 것인 오디오 프로세싱 시스템.
  3. 제 1 항에 있어서, 상기 리시버는, 임계치의 시간(threshold amount of time) 동안에 복수의 마이크로폰 내에 포함된 각각의 다른 마이크로폰에 의해 생성된 출력 신호의 진폭보다 더 큰 진폭을 가진 신호를 출력하는, 상기 복수의 마이크로폰내에 포함된 마이크로폰을 상기 주요 마이크로폰으로 선택하도록 더욱 구성되는 것인 오디오 프로세싱 시스템.
  4. 제 1 항에 있어서, 상기 리시버는 주요 마이크로폰을 선택하도록 더욱 구성되는데, 상기 주요 마이크로폰을 선택하는 것은,
    임계치의 시간 동안에 상기 복수의 마이크로폰 내에 포함된 각각의 다른 마이크로폰에 의해 생성된 출력 신호의 진폭보다 더 큰 진폭을 가진 신호를 출력하는, 상기 복수의 마이크로폰내에 포함된 제1 마이크로폰을 사전-선택하는 것과, 및
    상기 제1 마이크로폰에 의해 제시된 해당 신호 부분보다 더 빠른 시간의 신호 부분을 제시하는, 상기 복수의 마이크로폰 내에 포함된 제2 마이크로폰을 선택하는 것을 포함하는 것인 오디오 프로세싱 시스템.
  5. 제 1 항에 있어서, 상기 리시버는 제2 마이크로폰의 감도 비율(sensitivity rating)에 기초하여, 상기 마이크로폰의 서브세트 내에 포함된 제2 마이크로폰에 대한 가중화 팩터를 조절하도록 더욱 구성되는 것인 오디오 프로세싱 시스템.
  6. 제 1 항에 있어서, 상기 리시버는 제2 마이크로폰과 관련된 움직임(motion)을 검출하는 것에 기초하여, 상기 마이크로폰의 서브세트 내에 포함된 제2 마이크로폰에 대한 가중화 팩터를 조절하도록 더욱 구성되는 것인 오디오 프로세싱 시스템.
  7. 제 1 항에 있어서, 상기 리시버는 제2 마이크로폰과 관련된 무선 전송 레이턴시(wireless transmission latency)에 기초하여, 상기 마이크로폰의 서브세트 내에 포함된 제2 마이크로폰에 대한 가중화 팩터를 조절하도록 더욱 구성되는 것인 오디오 프로세싱 시스템.
  8. 제 1 항에 있어서, 상기 리시버는 제2 마이크로폰과 주요 마이크로폰 사이의 거리에 기초하여, 상기 마이크로폰의 서브세트 내에 포함된 제2 마이크로폰에 대한 가중화 팩터를 조절하도록 더욱 구성되는 것인 오디오 프로세싱 시스템.
  9. 제 1 항에 있어서, 복수의 수신 안테나를 더 포함하고, 마이크로폰을 주요 마이크로폰으로 선택하는 것은,
    상기 복수의 수신 안테나 내에 포함된 각 수신 안테나로부터 배향 신호를 수신하는 것과,
    상기 배향 신호에 기초하여, 배향 각도를 계산하는 것과, 및
    상기 배향 각도에 기초하여 상기 주요 마이크로폰을 선택하는 것을 포함하는 오디오 프로세싱 시스템.
  10. 프로세서에 의해 실행될 때,
    복수의 마이크로폰 내에 포함되고 주요 마이크로폰으로 지정된 마이크로폰에 의해 수신되는 제1 신호를 식별하고 - 복수의 마이크로폰은 마이크로폰의 동적 네트워크와 연결됨 - 와,
    상기 복수의 마이크로폰 내에 포함된 마이크로폰의 서브세트를 식별 - 마이크로폰의 서브세트 내의 각 마이크로폰은 제1 신호에 대응되는 각각의 신호와 관련됨 - 하며,
    상기 제1 신호 및 상기 마이크로폰과 관련된 각각의 신호 사이의 상관 강도(strength of correlation)에 적어도 부분적으로 기초하여, 상기 마이크로폰의 서브세트 내에 포함된 각 마이크로폰에 대한 가중화 팩터를 계산하고,
    상기 복수의 마이크로폰 내에 포함되지 않는 제1 마이크로폰과의 접속을 구축하며, 및
    상기 제1 마이크로폰으로부터 수신된 신호에 기초하여, 상기 마이크로폰의 서브세트 내에 포함된 마이크로폰 중 적어도 하나에 대한 가중화 팩터를 조절하는 단계를 수행함으로써,
    복수의 마이크로폰 내에 포함된 하나 이상의 마이크로폰의 기회주의적 사용(opportunistic use)을 통해 상기 프로세서가 오디오를 향상시키도록 하는 프로그램을 기록한 컴퓨터-판독가능한 저장 매체.
  11. 복수의 마이크로폰 내에 포함된 하나 이상의 마이크로폰의 기회주의적 사용을 통해 오디오를 향상시키기 위한 방법으로서, 상기 방법은,
    상기 복수의 마이크로폰 내에 포함되고 주요 마이크로폰으로 지정된 마이크로폰에 의해 수신되는 제1 신호를 식별하고,
    상기 복수의 마이크로폰 내에 포함된 마이크로폰의 서브세트를 식별 - 마이크로폰의 서브세트 내의 각 마이크로폰은 상기 제1 신호에 대응되는 각각의 신호와 관련됨 -하며,
    상기 제1 신호 및 상기 마이크로폰과 관련된 각각의 신호 사이의 상관 강도(strength of correlation)에 적어도 부분적으로 기초하여, 상기 마이크로폰의 서브세트 내에 포함된 각 마이크로폰에 대한 가중화 팩터를 계산하고,
    상기 복수의 마이크로폰 내에 포함되지 않는 제1 마이크로폰과의 접속을 구축하며,
    상기 제1 마이크로폰으로부터 수신된 신호에 기초하여, 상기 마이크로폰의 서브세트 내에 포함된 마이크로폰 중 적어도 하나에 대한 가중화 팩터를 조절하는 것을 포함하는 마이크로폰의 기회주의적 사용을 통해 오디오를 향상시키기 위한 방법.
  12. 제 11 항에 있어서, 마이크로폰의 서브세트 내에 포함된 각 마이크로폰으로부터 수신된 마이크로폰 신호에 대해 시간-정렬 작업을 수행하는 것을 더 포함하는 마이크로폰의 기회주의적 사용을 통해 오디오를 향상시키기 위한 방법.
  13. 제 11 항에 있어서, 각 마이크로폰에 대한 가중화 팩터를 계산하는 것은, 주요 마이크로폰에 대한 복수의 마이크로폰 내에 포함된 각각의 다른 마이크로폰의 교차-상관(cross-correlation)을 수행하는 것을 포함하는 마이크로폰의 기회주의적 사용을 통해 오디오를 향상시키기 위한 방법.
  14. 제 13 항에 있어서, 주요 마이크로폰에 대한 각각의 다른 마이크로폰의 교차-상관을 수행하는 것은, 다른 마이크로폰과 관련된 마이크로폰 신호의 시간 윈도우(time window)를 검색하는 것을 포함하되, 상기 시간 윈도우는 복수의 마이크로폰 내에 포함된 임의의 두 개의 마이크로폰 사이의 최대 음향 지연(acoustic delay)과 관련된 제1 지연에 기초하는 것인 마이크로폰의 기회주의적 사용을 통해 오디오를 향상시키기 위한 방법.
  15. 제 11 항에 있어서, 혼합된 마이크로폰 신호를 생성하기 위해, 상기 가중화 팩터에 기초하여 상기 마이크로폰의 서브세트 내에 포함된 각 마이크로폰으로부터 수신된 마이크로폰 신호에 대해 혼합 작업을 수행하는 것을 더 포함하는 마이크로폰의 기회주의적 사용을 통해 오디오를 향상시키기 위한 방법.
KR1020160093074A 2015-07-22 2016-07-22 마이크로폰의 기회주의적 사용을 통한 오디오 향상 KR102449230B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/806,625 2015-07-22
US14/806,625 US9769563B2 (en) 2015-07-22 2015-07-22 Audio enhancement via opportunistic use of microphones

Publications (2)

Publication Number Publication Date
KR20170012121A KR20170012121A (ko) 2017-02-02
KR102449230B1 true KR102449230B1 (ko) 2022-09-29

Family

ID=56368895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160093074A KR102449230B1 (ko) 2015-07-22 2016-07-22 마이크로폰의 기회주의적 사용을 통한 오디오 향상

Country Status (4)

Country Link
US (1) US9769563B2 (ko)
EP (1) EP3122066B1 (ko)
KR (1) KR102449230B1 (ko)
CN (1) CN106375902B (ko)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
GB201607455D0 (en) * 2016-04-29 2016-06-15 Nokia Technologies Oy An apparatus, electronic device, system, method and computer program for capturing audio signals
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
GB2556058A (en) * 2016-11-16 2018-05-23 Nokia Technologies Oy Distributed audio capture and mixing controlling
GB2559765A (en) * 2017-02-17 2018-08-22 Nokia Technologies Oy Two stage audio focus for spatial audio processing
CN110169082B (zh) * 2017-03-08 2021-03-23 惠普发展公司，有限责任合伙企业 用于组合音频信号输出的方法和装置、及计算机可读介质
US10621980B2 (en) * 2017-03-21 2020-04-14 Harman International Industries, Inc. Execution of voice commands in a multi-device system
CN108882115B (zh) * 2017-05-12 2020-08-25 华为技术有限公司 响度调节方法、装置及终端
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
GB2568940A (en) 2017-12-01 2019-06-05 Nokia Technologies Oy Processing audio signals
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
GB2572368A (en) * 2018-03-27 2019-10-02 Nokia Technologies Oy Spatial audio capture
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US11457308B2 (en) 2018-06-07 2022-09-27 Sonova Ag Microphone device to provide audio with spatial context
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
CN109121042B (zh) * 2018-07-26 2020-12-08 Oppo广东移动通信有限公司 语音数据处理方法及相关产品
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
EP3637680A1 (en) * 2018-10-08 2020-04-15 Nokia Technologies Oy Spatial audio capture & processing
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
CN111356062B (zh) * 2018-12-20 2023-09-01 北京京东尚科信息技术有限公司 数据采集方法、麦克风及计算机可读存储介质
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US10743107B1 (en) * 2019-04-30 2020-08-11 Microsoft Technology Licensing, Llc Synchronization of audio signals from distributed devices
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
JP7350092B2 (ja) * 2019-05-22 2023-09-25 ソロズ・テクノロジー・リミテッド 眼鏡デバイス、システム、装置、および方法のためのマイク配置
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
CN110519676B (zh) * 2019-08-22 2021-04-09 云知声智能科技股份有限公司 一种去中心化的分布式麦克风拾音的方法
CN110675887B (zh) * 2019-09-12 2021-12-21 厦门亿联网络技术股份有限公司 一种用于会议系统的多麦克风切换方法和系统
CN110648678B (zh) * 2019-09-20 2022-04-22 厦门亿联网络技术股份有限公司 一种用于具有多麦克风会议的场景识别方法和系统
FR3101725B1 (fr) * 2019-10-04 2022-07-22 Orange Procédé de détection de la position de participants à une réunion à l’aide des terminaux personnels des participants, programme d’ordinateur correspondant.
CN110708432B (zh) * 2019-10-12 2021-01-12 浙江大华技术股份有限公司 音频会议中音频输出的方法、系统、设备及存储介质
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11418876B2 (en) 2020-01-17 2022-08-16 Lisnr Directional detection and acknowledgment of audio-based data transmissions
US11361774B2 (en) 2020-01-17 2022-06-14 Lisnr Multi-signal detection and combination of audio-based data transmissions
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
WO2023018905A1 (en) * 2021-08-12 2023-02-16 Avail Medsystems, Inc. Systems and methods for enhancing audio communications
KR20230071634A (ko) * 2021-11-16 2023-05-23 삼성전자주식회사 전자 장치 및 그 동작 방법
US20230290370A1 (en) * 2022-03-08 2023-09-14 Cisco Technology, Inc. Audio automatic mixer with frequency weighting
US11978467B2 (en) 2022-07-21 2024-05-07 Dell Products Lp Method and apparatus for voice perception management in a multi-user environment
WO2024065256A1 (en) * 2022-09-28 2024-04-04 Citrix Systems, Inc. Positional and echo audio enhancement

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3437758A (en) * 1966-07-29 1969-04-08 Bell Telephone Labor Inc Conference telephone system
US5664021A (en) * 1993-10-05 1997-09-02 Picturetel Corporation Microphone system for teleconferencing system
US7970564B2 (en) * 2006-05-02 2011-06-28 Qualcomm Incorporated Enhancement techniques for blind source separation (BSS)
JP4455614B2 (ja) * 2007-06-13 2010-04-21 株式会社東芝 音響信号処理方法及び装置
NO332161B1 (no) * 2009-12-30 2012-07-09 Cisco Systems Int Sarl Fremgangsmate og system for a bestemme retningen mellom et deteksjonspunkt og en akustisk kilde
US9354310B2 (en) 2011-03-03 2016-05-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for source localization using audible sound and ultrasound
US9226088B2 (en) * 2011-06-11 2015-12-29 Clearone Communications, Inc. Methods and apparatuses for multiple configurations of beamforming microphone arrays
US9313336B2 (en) 2011-07-21 2016-04-12 Nuance Communications, Inc. Systems and methods for processing audio signals captured using microphones of multiple devices
US9111580B2 (en) * 2011-09-23 2015-08-18 Harman International Industries, Incorporated Time alignment of recorded audio signals
EP2618564A1 (en) * 2012-01-18 2013-07-24 Harman Becker Automotive Systems GmbH Method for operating a conference system and device for a conference system
CN102854494B (zh) * 2012-08-08 2015-09-09 Tcl集团股份有限公司 一种声源定位方法及装置
CN104244164A (zh) 2013-06-18 2014-12-24 杜比实验室特许公司 生成环绕立体声声场
GB2521649B (en) * 2013-12-27 2018-12-12 Nokia Technologies Oy Method, apparatus, computer program code and storage medium for processing audio signals

Also Published As

Publication number Publication date
US9769563B2 (en) 2017-09-19
EP3122066B1 (en) 2019-05-01
US20170026740A1 (en) 2017-01-26
CN106375902A (zh) 2017-02-01
CN106375902B (zh) 2020-07-21
EP3122066A1 (en) 2017-01-25
KR20170012121A (ko) 2017-02-02

Similar Documents

Publication Publication Date Title
KR102449230B1 (ko) 마이크로폰의 기회주의적 사용을 통한 오디오 향상
US10492015B2 (en) Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment
TWI713844B (zh) 用於語音處理的方法及積體電路
US10149049B2 (en) Processing speech from distributed microphones
US9769552B2 (en) Method and apparatus for estimating talker distance
JP5740572B2 (ja) 補聴器、信号処理方法及びプログラム
JP5581329B2 (ja) 会話検出装置、補聴器及び会話検出方法
US9516442B1 (en) Detecting the positions of earbuds and use of these positions for selecting the optimum microphones in a headset
US9432767B2 (en) Headphone with microphones that processes external sound pickup by the microphones and inputs external source sound signal
CN107465970B (zh) 用于语音通信的设备
US8363823B1 (en) Two microphone uplink communication and stereo audio playback on three wire headset assembly
US20180020298A1 (en) Hearing assistance system
JP6905319B2 (ja) 雑音を受ける発話信号の客観的知覚量を決定する方法
WO2015035785A1 (zh) 语音信号处理方法与装置
KR102577901B1 (ko) 오디오 신호 처리 장치 및 방법
CN109218948B (zh) 助听系统、系统信号处理单元及用于产生增强的电音频信号的方法
US11068233B2 (en) Selecting a microphone based on estimated proximity to sound source
US20220408200A1 (en) Generating an audio signal from multiple inputs
JP6568471B2 (ja) 音源定位を備える聴音装置および関連する方法
WO2019059939A1 (en) SPEECH TREATMENT FROM DISTRIBUTED MICROPHONES

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant