KR101520564B1 - 가변 빔포밍을 위한 방법, 장치, 시스템 및 컴퓨터 판독가능 매체 - Google Patents

가변 빔포밍을 위한 방법, 장치, 시스템 및 컴퓨터 판독가능 매체 Download PDF

Info

Publication number
KR101520564B1
KR101520564B1 KR1020137021174A KR20137021174A KR101520564B1 KR 101520564 B1 KR101520564 B1 KR 101520564B1 KR 1020137021174 A KR1020137021174 A KR 1020137021174A KR 20137021174 A KR20137021174 A KR 20137021174A KR 101520564 B1 KR101520564 B1 KR 101520564B1
Authority
KR
South Korea
Prior art keywords
sound source
mobile platform
beamforming
processor
audio information
Prior art date
Application number
KR1020137021174A
Other languages
English (en)
Other versions
KR20130114721A (ko
Inventor
바박 포루탄푸어
안드레 구스타보 피 스체비우
에릭 피써
브라이언 모메이어
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130114721A publication Critical patent/KR20130114721A/ko
Application granted granted Critical
Publication of KR101520564B1 publication Critical patent/KR101520564B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Abstract

모바일 플랫폼은 마이크로폰 어레이를 포함하고 사운드 소스로부터 오디오 정보를 증폭 또는 억제하기 위해 빔포밍을 구현 (implement) 할 수 있다. 사운드 소스는 사운드 소스의 방향으로 모바일 플랫폼을 향하게 하는 것과 같은 사용자 입력을 통해 또는 터치 스크린 디스플레이 인터페이스를 통해 지시된다. 모바일 플랫폼은 또한 모바일 플랫폼의 움직임을 검출할 수 있는 배향 센서들을 포함한다. 상기 모바일 플랫폼이 상기 사운드 소스에 대해 움직일 때, 빔포밍이 사운드 소스의 방향으로 연속적으로 구현되도록 배향 센서들로부터 데이터에 기초하여 빔포밍이 연속적으로 구현된다. 사운드 소스로부터의 오디오 정보는 전화 또는 비디오 전화 대화에 포함되거나 이로부터 억제될 수도 있다. 마찬가지로 카메라로부터의 이미지들 또는 비디오가 배향 센서들로부터의 데이터에 기초하여 제어될 수도 있다.

Description

가변 빔포밍을 위한 방법, 장치, 시스템 및 컴퓨터 판독가능 매체{METHOD, APPARATUS, SYSTEM AND COMPUTER-READABLE MEDIA FOR A VARIABLE BEAMFORMING}
현재 컴퓨터들, 이를테면, 랩톱, 데스크톱 컴퓨터들과 스마트 폰 및 태블릿 컴퓨터들은, 디바이스가 방향성 마이크로폰들 또는 마이크로폰 어레이를 포함하더라도, 다른 이들이 방에서 상이한 위치들에 있는 경우, 통화 (call) 상의 주 사용자 이외의 사람들을 용이하게 포함할 수 있는 능력을 갖고 있지 않다. 방에 있는 모든 사운드 소스들의 단순한 증폭은 통상적으로 많은 양의 바람직하지 않은 배경 잡음 (background noise) 을 만든다. 전화 또는 비디오 전화 통화에 참여하기를 원하는 개인들은 통상적으로, 마이크로폰 근처 또는 카메라 앞으로 물리적으로 움직여 앉을 필요가 있다. 결과적으로, 앉아 있거나 또는 편안하게 휴식하고 있을 수도 있지만 통화 상에 몇 마디 하기를 원하는 사람들은 마이크로폰 및/또는 카메라에 더 가깝게 움직여야 하거나 그렇지 않으면 분명히 들려지거나 또는 보여질 수 없을 것이다.
높은 잡음 억제 기법들과 같은 마이크로폰 어레이들을 사용한 빔포밍 (beamforming) 기법들이 알려져 있고, 음성 통화, VOIP (Voice over Internet Protocol) 또는 그 밖의 것 동안 산만한 주위 잡음 및 비트 레이트 요건들을 감소시킬 수 있지만, 이들 기법들은 일반적으로, 화자들 간의 고속 스위치 (switch) 동안 감쇠를 야기하고 전술된 것과 같은 다수의 화자 시나리오들을 막는, 몇 가지의 시간-, 공간-, 주파수- 및 진폭-기반 큐 (cue) 들에 기초하여 단일 화자를 식별하는 것을 시도하는 빔 스티어링 (steering) 알고리즘에 의존한다. 또한, 저조한 신호대 잡음 비 (SNR) 조건들 하에서, 도착 식별 태스크 (arrival identification task) 의 방향이 어려워 음성 머플링 (voice muffling), 배경 잡음 변조 및 다른 아티팩트 (artifact) 들을 야기한다. 더욱이, 컴퓨터 태블릿 또는 스마트 폰과 같은 모바일 디바이스들에 있어서, 디바이스는 대화 동안 움직여지기 쉬워 도달 식별 태스크의 방향을 훨씬 더 어렵게 만든다.
따라서, 사용자가 최소 노력으로 전화 또는 비디오 전화 대화 (또는 다른 그러한 애플리케이션들) 에 있어서 방에 있는 다른 이들을 용이하게 포함할 수 있는 시스템을 개발하는 것이 유익할 것이다.
요약
모바일 플랫폼은 마이크로폰 어레이를 포함하고 사운드 소스의 방향으로부터 오디오 정보를 증폭 또는 억제하는 빔포밍을 구현 (implement) 한다. 모바일 플랫폼은, 모바일 플랫폼이 사운드 소스에 대해 움직이는 동안 사운드 소스의 방향으로부터 오디오 정보를 계속 증폭 또는 억제하기 위해 빔포밍을 조정하기 위해 사용되는 모바일 플랫폼의 움직임을 검출하기 위하여 사용되는 배향 센서 (orientation sensor) 들을 더 포함한다. 사운드 소스의 방향은 사용자 입력을 통해 제공될 수 있다. 예를 들면, 사운드 소스의 방향을 식별하기 위하여 모바일 플랫폼은 사운드 소스를 향하게 될 수도 있다. 추가로 또는 대안으로, 사운드 소스들의 위치들은 마이크로폰 어레이들을 사용하여 식별되고 사용자에 디스플레이될 수도 있다. 다음으로, 사용자는, 예를 들면, 터치 스크린 디스플레이를 사용하여 사운드 소스들의 방향을 식별할 수도 있다. 모바일 플랫폼이 사운드 소스에 대해 움직일 때, 배향 센서들은 그 움직임을 검출한다. 다음으로, 빔포밍이 구현되는 방향은 배향 센서들에 의해 검출되는 모바일 플랫폼의 측정된 움직임에 기초하여 조정될 수 있다. 따라서, 사운드 소스에 대한 모바일 플랫폼의 움직임에도 불구하고 사운드 소스의 원하는 방향으로 빔포밍이 연속적으로 구현될 수도 있다. 마찬가지로, 카메라로부터의 이미지들 또는 비디오가 배향 센서들로부터의 데이터에 기초하여 제어될 수도 있다.
도 1a 및 도 1b는 모바일 플랫폼의 전면 및 이면을 각각 예시한다.
도 2a 및 도 2b는 2개의 사운드 소스들에 대해 상이한 배향을 갖는 한편 양자 모두의 사운드 소스들에 대해 빔포밍을 연속적으로 구현하는 모바일 플랫폼을 예시한다.
도 2c는, 사운드 소스들에 대해 모바일 플랫폼의 움직임을 보상하지 않고서 빔포밍을 수행하는 모바일 플랫폼을 예시한다.
도 3은, 사운드 소스들에 대해 모바일 플랫폼이 움직이는 동안 빔포밍을 구현하기 위한 플로우차트를 예시한다.
도 4a, 도 4b, 및 도 4c는 모바일 플랫폼을 사운드 소스들로 향하게 하는 것에 의해 사운드 소스들의 방향을 지시하는 것을 예시한다.
도 5는, 터치 스크린 디스플레이 상에서 그래픽 사용자 인터페이스를 사용하여 사운드 소스들의 방향을 지시하는 것을 예시한다.
도 6은, 도 1에 예시된 것과 같은, 마이크로폰 어레이의 방향에 대한 오디오 응답을 예시한다.
도 7은, 사운드 소스에 대한 모바일 플랫폼의 움직임에 응답하여 카메라를 제어하는 것을 예시한다.
도 8은, 빔포밍이 배향 센서들로부터의 데이터에 기초하여 수행되는 방향을 조정할 수 있는 모바일 플랫폼의 블록도이다.
도 1a 및 도 1b는 모바일 플랫폼 (100) 의 전면 및 이면을 각각 예시하고, 이러한 모바일 플랫폼은, 전화 또는 비디오 전화가 가능할 수도 있는, 셀룰러 폰, 스마트 폰, 컴퓨터 태블릿, 또는 다른 무선 통신 디바이스와 같은 임의의 휴대 전자 디바이스일 수도 있다. 모바일 플랫폼 (100) 은, 하우징 (101), 터치 스크린 디스플레이일 수도 있는 디스플레이 (102), 그리고 이어폰 스피커 (104) 및 2개의 라우드 스피커들 (106L 및 106R) 을 포함한다. 모바일 플랫폼 (100) 은 또한, 마이크로폰들 (108A, 108B, 108C, 108D, 및 108E) 의 어레이 (때때로 마이크로폰 어레이 (108) 로 총칭됨), 및 특정 방향들로부터의 사운드를 억제 또는 증폭하기 위하여 빔포밍을 구현할 수 있는, 마이크로폰 어레이 (108) 에 접속된, 빔포밍 시스템, 예를 들면, 마이크로폰 어레이 제어기 (192) 를 포함한다. 빔포밍은 U.S. 출원 번호 12/605,158 및 U.S. 출원 번호 12/796,566에 기재되어 있고, 이들 양자 모두는 본원의 양수인에게 양도되었고 참조에 의해 전부 이에 원용된다. 마이크로폰들은, 압전 MEMS (MicroElectrial-Mechanical System) 타입 마이크로폰들일 수도 있다. 모바일 플랫폼 (100) 은, 디지털 콤파스 및/또는 3축 자이로스코프와 연결된 3축 가속도계와 같은 배향 센서들 (110) 을 더 포함한다. 배향 센서들을 사용하여, 모바일 플랫폼 (100) 은, 모바일 플랫폼 (100) 이 사운드 소스에 대해 움직이는 동안 사운드 소스를 증폭 또는 억제하기 위하여 형성된 빔을 스티어링할 수 있다. 사운드 소스를 억제, 즉 거절하기 위하여 형성된 빔은 때때로 널 빔 (null beam) 으로 지칭될 수도 있는 반면, 사운드 소스를 증폭하기 위한 빔은 때때로 여기에서 간단히 빔으로 지칭될 수도 있다. 그럼에도 불구하고, 용어 "빔" 및 "빔포밍" 은, 달리 특별히 지시되지 않으면, 증폭 및 억제 (즉, "널 빔" 및 "널 빔포밍") 양자 모두를 뜻하는데 사용될 수도 있다는 것이 이해되야 한다.
모바일 플랫폼 (100) 은 또한 무선 송수신기 (112) 및 하나 이상의 카메라들, 이를테면 모바일 플랫폼 (100) 의 전면 상의 카메라 (114) 및 (도 1b에 도시된) 모바일 플랫폼 (100) 의 이면 상의 카메라 (116) 를 포함할 수도 있다. 개별 엘리먼트들의 정확한 위치 및 수는 원하는 경우 변화될 수도 있다는 것이 이해되야 한다. 예를 들면, 마이크로폰 어레이 (108) 는, 추가 또는 더 적은 수의 마이크로폰들을 포함할 수도 있고, 하우징 (101) 의 측면과 같은, 모바일 플랫폼 (100) 상의 상이한 위치들에 위치될 수도 있다.
여기에서 사용된 모바일 플랫폼은 임의의 휴대 전자 디바이스, 이를테면, 셀룰러 텔레폰, 스마트 폰, 태블릿 컴퓨터, 또는 다른 무선 통신 디바이스, PCS (personal communication system) 디바이스, PND (personal navigation device), PIM (Personal Information Manager), PDA (Personal Digital Assistant), 또는 다른 적합한 모바일 디바이스를 지칭할 수도 있다. 모바일 플랫폼은 무선 통신을 송신 및 수신 가능할 수도 있다. 용어 모바일 플랫폼은 또한, 위성 신호 수신, 보조 데이터 수신 및/또는 포지션 관련 프로세싱이 디바이스에서 또는 PND (personal navigation device) 에서 일어나는지에 상관 없이- 단거리 무선, 적외선, 유선 접속 또는 다른 접속에 의해서와 같이, PND와 통신하는 디바이스들을 포함하도록 의도된다. 또한, "모바일 플랫폼"은, 위성 신호 수신, 보조 데이터 수신 및/또는 포지션 관련 프로세싱이 디바이스에서, 서버에서 또는 네트워크와 연관된 다른 디바이스에서 일어나는지에 상관 없이 그리고 인터넷, WiFi, 또는 다른 네트워크를 통해서와 같이, 서버와 통신할 수 있는, 무선 통신 디바이스들, 컴퓨터들 등을 포함하는 모든 디바이스들을 포함하도록 의도된다. 상기의 임의의 동작가능한 조합이 또한 "모바일 플랫폼" 으로 고려된다.
또한, 모바일 플랫폼 (100) 은, WWAN (wireless wide area network), WLAN (wireless local area network), WPAN (wireless personal area network) 등등 또는 이들의 임의의 조합과 같은, 무선 통신 액세스 포인트들로부터 또는 셀룰러 타워들과 같은 임의의 무선 통신 네트워크들에 송수신기 (112) 를 통해 액세스할 수도 있다. 용어 "네트워크" 및 "시스템"은 종종 상호교환가능하게 사용된다. WWAN는 CDMA (Code Division Multiple Access) 네트워크, TDMA (Time Division Multiple Access) 네트워크, FDMA (Frequency Division Multiple Access) 네트워크, OFDMA (Orthogonal Frequency Division Multiple Access) 네트워크, SC-FDMA (Single-Carrier Frequency Division Multiple Access) 네트워크, LTE (Long Term Evolution) 등등일 수도 있다. CDMA 네트워크는 cdma2000, W-CDMA (Wideband-CDMA) 등등과 같은 하나 이상의 RAT (radio access technology) 들을 구현할 수도 있다. cdma2000은 IS-95, IS-2000, 및 IS-856 표준들을 포함한다. TDMA 네트워크는 GSM (Global System for Mobile Communications), D-AMPS (Digital Advanced Mobile Phone System) 또는 어떤 다른 RAT를 구현할 수도 있다. GSM 및 W-CDMA는 3GPP ("3rd Generation Partnership Project") 로 명명된 콘소시엄으로부터의 문헌들에 기재되어 있다. cdma2000는 3GPP2 ("3rd Generation Partnership Project 2") 로 명명된 콘소시엄으로부터의 문헌들에 기재되어 있다. 3GPP 및 3GPP2 문헌들은 공개적으로 이용가능하다. WLAN은 IEEE 802.11x 네트워크일 수도 있고, WPAN는 블루투스 네트워크, IEEE 802.15x, 또는 어떤 다른 타입의 네트워크일 수도 있다.
마이크로폰 어레이 (108) 및 배향 센서들 (110) 의 사용으로, 모바일 플랫폼 (100) 은, 사운드 소스들에 대한 모바일 플랫폼의 배향을 변경하는 모바일 플랫폼 (100) 의 움직임에도 불구하고 하나 이상의 사운드 소스들의 빔포밍을 구현 가능하다. 여기에서 사용된 사운드 소스는, 사람, 동물 또는 물체들을 포함하여, 오디오 정보를 생성하는 임의의 것을 포함한다. 예로써, 도 2a 및 도 2b는, 2개의 사운드 소스들, 즉 사운드 소스 A 및 사운드 소스 B에 대해 상이한 배향을 갖는 한편, 양자 모두의 사운드 소스들에 대해 빔포밍을 연속적으로 구현하는 모바일 플랫폼 (100) 을 예시한다. 사운드 소스 A 는 예를 들면 사람일 수도 있고, 그 사운드 소스 A로부터의 오디오 정보가, 곡선 (122) 에 의해 예시된 바처럼, 모바일 플랫폼 (100) 을 통해, 전화 또는 비디오 전화 대화에 포함되도록, 마이크로폰 어레이 (108) 에 의해 증폭된다. 다른 한편, 사운드 소스 B 는, 사운드 소스 B로부터의 오디오 정보가, 해칭된 곡선 (124) 에 의해 예시된 바처럼, 모바일 플랫폼 (100) 을 통해, 전화 또는 비디오 전화 대화에서 제외되거나 또는 적어도 감소되도록, 마이크로폰 어레이 (108) 에 의해 억제될 잡음성 물체 (noisy object) 일 수도 있다. 도 2b에서 볼 수 있는 바처럼, 사운드 소스 A 및 사운드 소스 B에 대한 모바일 플랫폼 (100) 의 배향의 변화에도 불구하고, 사운드 소스 A의 증폭 및 사운드 소스 B의 억제가 유지되고, 이것은 도 1a에 도시된, 배향 센서들 (110) 로부터의 데이터의 사용에 기인한다. 따라서, 모바일 플랫폼 (100) 은 거절될 사운드 소스 B 쪽으로 널의 빔을 스티어링 (때때로 널 빔포밍으로 지칭됨) 하고 원하는 사운드 소스 A 쪽으로 메인 로브를 스티어링 (때때로 단순히 빔포밍으로 지칭됨) 한다. 이에 비해, 도 2c는, 빔포밍을 수행하지만, 사운드 소스들 A 및 B에 대해 모바일 플랫폼 (100) 의 움직임을 보상하지 않는 모바일 플랫폼 (100) 을 예시한다. 도 2c에서 볼 수 있는 바처럼, 모바일 플랫폼 (100) 의 회전을 조정하지 않으면, 모바일 플랫폼 (100) 은 사운드 소스들 A 및 B의 방향으로 빔포밍을 더 이상 구현하지 않을 것이다.
도 3은, 사운드 소스에 대해 모바일 플랫폼이 움직이는 동안 사운드 소스의 방향으로 빔포밍을 연속적으로 구현하기 위한 플로우차트를 예시한다. 예시된 바처럼, 예를 들면, 주요 사용자가 전화 또는 비디오 전화 대화에서 사운드 소스로부터의 오디오 정보를 포함하거나 또는 적어도 부분적으로 제외하기를 원할 때, 모바일 플랫폼에 대한 사운드 소스의 방향이 지시된다 (202). 사운드 소스의 방향의 지시 (indication) 는, 예를 들면, 원하는 방향으로 모바일 플랫폼을 향하게 하고 버튼을 누르는 것에 의해 또는 터치 스크린 디스플레이 상의 그래픽 사용자 인터페이스 다른 유사한 타입의 인터페이스를 사용하는 것에 의해, 수행될 수도 있다.
도 4a, 도 4b, 및 도 4c는 모바일 플랫폼을 사운드 소스들로 향하게 하는 것에 의해 사운드 소스들의 방향을 나타내는 것을 예시한다. 예로써, 도 4a는, 디스플레이 (102) 에서 사운드 소스 A의 이미지에 의해 표시되는 바처럼, 사운드 소스 A의 방향으로 향하게 되는 모바일 플랫폼 (100) 을 예시한다. 모바일 플랫폼 (100) 이 사운드 소스 A 쪽을 향하게 됨에 따라, 사용자는, 예를 들면, 버튼을 누르거나 또는 터치 스크린 디스플레이 (102) 를 두드리는 것에 의해 또는 모바일 플랫폼 (100) 의 빠른 움직임 또는 제스처와 같은 다른 적절한 사용자 인터페이스를 통해, 빔포밍을 위한 사운드 소스 A의 방향을 선택할 수도 있다. 도 4a에 예시된 바처럼, 사운드 소스 A는, 예를 들면, 주요 사용자로부터의 오디오 정보와 함께, 사운드 소스 A로부터의 오디오 정보가 전화 또는 비디오 전화 대화에 포함될 수 있도록, 화살표 (130) 에 의해 표시되는 증폭을 위해 선택된다. 사운드 소스 A의 방향을 지시한 후에, 모바일 플랫폼 (100) 은 도 4b에 예시된 바처럼, 주요 사용자를 위한 편안한 포지션에 모바일 플랫폼을 위치시킬 수도 있는, 상이한 포지션으로 움직이거나 또는 회전될 수도 있다. 화살표 (130) 에 의해 예시되는 바처럼, 모바일 플랫폼 (100) 은, 사운드 소스 A로부터의 오디오 정보가 빔포밍 시스템에 의해 계속 증폭되도록 모바일 플랫폼 (100) 의 움직임을 계속 보상할 것이다. 추가적으로, 도 4c에 예시된 바처럼, 모바일 플랫폼 (100) 은 디스플레이 (102) 에 나타나는 사운드 소스 B의 이미지에 의해 표시되는 바처럼, 사운드 소스 B의 방향을 향하도록 움직여질 수도 있다. 사운드 소스 B는, 예를 들면, 상이한 버튼을 누르거나, 상이한 방식으로 디스플레이 (102) 를 두드리거나 또는 다른 적절한 사용자 인터페이스를 통하여, 도 4c에서 (부호 132로 표시된 바처럼) 억제를 위해 선택된다. 사운드 소스 B는, 사운드 소스 B로부터의 오디오 정보가 전화 또는 비디오 전화 대화에서 적어도 부분적으로 감소되도록 억제되게 선택될 수도 있다.
도 5는, 터치 스크린 디스플레이 (102) 상에서 그래픽 사용자 인터페이스 (260) 를 사용하여 모바일 플랫폼에 대해 사운드 소스 A의 방향을 지시하는 주요 사용자 (250) 의 손을 예시한다. 예를 들면, 그래픽 사용자 인터페이스는, 모바일 플랫폼 (100) 의 중심에 놓여지는, "레이더" 맵 (262) 상에서 사운드 소스들 A 및 B를 예시한다. 사운드 소스들은, 예를 들면, 마이크로폰 어레이 (108) 를 사용하여 미리 결정된 이득 레벨 위의 사운드들을 픽업 (pick up) 하고 사운드 소스들로의 방향 및 거리를 결정하는 것에 의해, 검출될 수도 있고, 그 후에 맵 (262) 상에 디스플레이될 수 있다. 사운드 소스들로의 방향 및 거리를 결정하는 것은, 예를 들면, U.S. 출원 번호 12/605,158 및 U.S. 출원 번호 12/796,566에 기재되어 있고, 이들 양자 모두는 본원의 양수인에게 양도되었고 참조에 의해 전부 이에 원용된다. 사용자 (250) 는, 증폭을 위한 하나 이상의 사운드 소스들, 예를 들면, 다크 바들 (264) 에 의해 표시되는 사운드 소스 A 를 선택하고, 억제를 위한 하나 이상의 사운드 소스들, 예를 들면, 해칭에 의해 표시되는 사운드 소스 B를 선택할 수 있다. 물론, 다른 타입의 그래픽들이 그래픽 사용자 인터페이스 (260) 에 사용될 수도 있다.
다시 도 3을 참조하면, 빔포밍이 사운드 소스의 방향으로 구현된다 (204). 빔포밍은 특정 원하는 방향들로부터의 사운드들을 증폭하고 다른 방향들로부터의 사운드는 억제하는 것으로, 마이크로폰 어레이 (108) 에 있는 각 개별 마이크로폰에 대해 지연 및 이득을 변경하는 마이크로폰 어레이 제어기 (192) 에 의해 구현된다. 마이크로폰 어레이를 사용한 빔포밍은 U.S. 출원 번호 12/605,158 및 U.S. 출원 번호 12/796,566에 논의되어 있고, 이들 양자 모두는 본원의 양수인에게 양도되었고 참조에 의해 전부 이에 원용된다. 일반적으로, 빔포밍은, 억제되야할 사운드 소스의 방향으로 "널 빔" 을 생성하거나 다른 방향으로부터의 사운드 소스를 증폭하기 위하여 마이크로폰 어레이 (108) 에서 각 개별 마이크로폰에 대한 지연 및 이득을 변경한다. 마이크로폰 어레이 (108) 는, 각 채널이 음향 환경 (acoustic environment) 에 대해 마이크로폰들 중 대응하는 하나의 응답에 기초하는 멀티채널 신호를 생성한다. 위상 기반 또는 위상 상관 기반 스킴 (scheme) 이, 원하지 않는 위상 차 특성 (예를 들면, 주파수와 상관되지 않거나 및/또는 주파수와 상관되지만 원하지 않는 방향으로 코히어런스 (coherence) 를 나타내는 위상 차) 을 나타내는 시간-주파수 포인트들을 식별하기 위하여 사용될 수도 있다. 그러한 식별은, 기록된 멀티채널 신호에 대한 방향성 마스킹 동작을 수행하는 것을 포함할 수도 있다. 방향성 마스킹 동작은, 예를 들면, 신호의 다수의 시간-주파수 포인트들을 버리기 위하여 멀티채널 신호의 위상 분석의 결과에 방향성 마스킹 함수 (또는 "마스크") 를 적용하는 것을 포함할 수도 있다. 예로써, 도 6은, 도 1에 예시된 것과 같은, 마이크로폰 어레이의 방향에 대한 오디오 응답을 예시한다. 알 수 있는 바처럼, 마이크로폰 어레이 (108) 는 임의의 원하는 방향에서 원하는 각도의 빔 폭으로부터 오디오를 픽업하는 것을 겨냥할 수 있다.
종래 다중 마이크로폰 어레이 기반 잡음 억제 시스템에서, 알고리즘은, 마이크로폰들의 각 마이크로폰에 도달하는 일련의 시간-, 공간-, 주파수- 및 진폭-기반 음향 정보를 프로세싱하는 것에 의해 화자의 방향을 식별하는 것을 시도한다. 태블릿 컴퓨터들 및 넷북들에 있는 마이크로폰들은, 대부분의 사용 경우들에서, 음향 에너지 경로 손실이 마우스 레퍼런스 포인트 (mouth reference point) 에 비해 30dB 보다 더 클 수 있도록 마우스 스피커 (mouth speaker) 로부터 충분히 멀리 떨어져 있다. 이 경로 손실은 디지털 컨버젼 (digital conversion) 전에 CODEC 에서 높은 이득을 필요로 한다. 따라서, 태블릿 컴퓨터들 및 넷북들에 사용될 수도 있는 종래 잡음 억제 알고리즘들은, 배경 잡음도 원하는 말과 같은 이득률 (gain factor) 에 의해 증폭된다는 사실을 극복해야 한다. 결과적으로, 종래 잡음 소거 알고리즘 (noise-cancellation algorithm) 은 원하는 스피커에 대한 방향을 계산하고 그 스피커 쪽으로 좁은 빔을 스티어링한다. 빔폭은 주파수 및 마이크로폰 어레이 (108) 구성 (configuration) 의 함수 (function) 이고, 여기서 더 좁은 빔폭들은 더 강한 사이드 로브 (side lobe) 가 딸려 있다. 변화하는 폭들의 빔들의 데이터뱅크 (databank) 가 모바일 플랫폼 (100) 에서 설계 및 저장될 수도 있고, 빔이 사운드 소스들을 포함 또는 제외하기에 적절한 폭을 가지도록 사용자 인터페이스를 통해서 또는 자동적으로 선택될 수도 있다.
배향 센서들 (110), 이를테면 콤파스, 자이로스코프 또는 고정 잡음 소스로부터 생성된 레퍼런스 도착 각도 (reference-angle-of-arrival) 를 사용하여, 모바일 플랫폼 (100) 의 움직임이 결정된다 (206). 일반적으로, 모바일 플랫폼 (100) 은 사운드 소스들에 대해 움직여지는 것으로 생각될 수도 있다. 배향 센서들 또는 고정 잡음 소스를 이용하여, 배향 (orientation) 또는 포지션 (position) 의 변화를 포함한 움직임을 결정하는 것은 업계에 잘 알려져 있다.
빔 포밍은 모바일 플랫폼이 움직인 후에 사운드 소스의 방향으로 빔포밍을 계속 구현하기 위하여 결정된 움직임에 기초하여 조정될 수도 있다 (208). 따라서, 예를 들면, 도 4a 및 도 4b에 예시된 바처럼, 예를 들면, 사운드 소스 A의 방향으로 모바일 플랫폼 (100) 을 향하게 하고 버튼을 누르거나 또는 다른 적절한 선택 메카니즘에 의해, 사운드 소스 A의 방향을 지시한 후에, 사운드 소스 A의 방향의 빔포밍이, 화살표 (130) 에 의해 예시된 바처럼 구현된다. 그 후에, 사용자는, 예를 들면, (도 4b에 예시된 바처럼) 모바일 플랫폼을 편안한 포지션에 두기 위해 사운드 소스 A에 대해 모바일 플랫폼 (100) 의 배향을 변경할 수 있다. 배향 센서들 (110) 은 모바일 디바이스 (100) 의 움직임을 검출한다. 예를 들면, 배향 센서들 (110) 은 모바일 플랫폼 (100) 이 50 도 만큼 회전했다고 결정할 수도 있다. 그 후에 빔포밍은, 예를 들면, 사운드 소스 A로부터 오디오 정보를 계속 픽업하기 위하여 이 경우에서는 -50 도 만큼 빔포밍의 방향을 변경하도록 마이크로폰 어레이 (108) 를 제어하는 것에 의해, 측정된 움직임을 사용하여 조정된다. 유사하게, 마이크로폰 어레이 (108) 는 모바일 플랫폼 (100) 의 측정 움직임에 기초하여 빔포밍의 방향을 조정하는 것에 의해 사운드 소스 B로부터의 오디오 정보를 계속 억제하도록 제어될 수도 있다. 다른 말로, 사운드 소스들의 현재 방향에서 빔포밍이 계속 구현될 수 있도록 모바일 플랫폼의 측정된 움직임에 기초하여 방향성 마스킹 동작이 조정된다. 결과적으로, 사용자는 상이한 위치들에 있을 수도 있는 다수의 사람들 (또는 다른 사운드 소스들) 을 포함할 수 있고, 움직이는 모바일 플랫폼으로 전화 또는 비디오 전화 대화에서 원하지 않는 사운드 소스들을 억제할 수 있다.
추가적으로, 비디오 전화 대화 동안, 사용자와 함께 원하는 사운드 소스의 이미지가 디스플레이되고 송신되는 것이 바람직할 수도 있다. 모바일 플랫폼 (100) 은 모바일 플랫폼 (100) 을 들고 있는 사용자에 대해 상대적으로 고정될 수도 있지만, 사용자의 움직임은 모바일 플랫폼 (100) 으로 하여금 다른 사운드 소스들에 상대적으로 움직이게 할 수도 있다. 따라서, 다른 사운드 소스들의 이미지들이 흔들릴 수도 있거나 충분한 사용자 움직임으로, 카메라는 다른 사운드 소스들로부터 멀리 팬 (pan) 될 수도 있다. 이에 따라, 카메라 (116) 를 제어하여 사운드 소스의 지시된 방향으로부터 비디오 또는 이미지들을 캡쳐하고 결정된 움직임을 사용하여 모바일 플랫폼이 움직인 후에 사운드 소스의 방향의 이미지들 또는 비디오를 계속 캡쳐하도록 카메라의 제어를 조정하는 것에 의해, 예를 들면 배향 센서들 (110) 로부터, 측정된 모션을 사용하여 모바일 플랫폼 (100) 의 움직임을 보상하도록 카메라 (116) 가 제어될 수도 있다.
카메라 (116) 는, 예를 들면, 모바일 플랫폼의 움직임 후에 사운드 소스의 비디오 또는 이미지들을 계속 캡쳐하기 위해 조정된 방향을 향하도록 카메라 (116) 의 PTZ (pan tilt zoom) 를 조정하는 것에 의해, 제어될 수 있다. 예로써, 도 7은 사운드 소스들 A 및 B를 포함하는 카메라 (116) 의 전체 시야 (302) 를 예시한다. 하지만, 전체 시야 (302) 중 크롭된 부분 (304) 만이, 점선으로 예시된 바처럼, 모바일 플랫폼 (100) 에 의해 디스플레이된다. 다른 말로, 전체 시야 (302) 는, 비디오 전화 대화 동안 사운드 소스 A가 크롭된 부분 (304) 에 디스플레이될 수 있도록 크롭된다. 배향 센서들 (110) 에 의해 검출되는 바처럼, 모바일 플랫폼 (100) 이 움직임에 따라, 크롭된 부분 (304) 은, 움직임을 보상하기 위하여 화살표 (306) 로 표시되는 바처럼, 전체 시야 (302) 내에서 움직인다. 따라서, 예를 들면, 모바일 플랫폼 (100) 이 우측으로 2도 회전되면, 크롭된 부분 (304) 은, 사운드 소스 A가 이미지에 남아 있도록 좌측으로 2도 시프트 (shift) 된다. 물론, 크롭된 부분 (304) 의 시프트는 수평적일 뿐만 아니라 수직적일 수도 있다.
추가로, 마이크로폰 어레이 (108) 는, 전화 또는 비디오 전화 타입 애플리케이션들 이외의 애플리케이션들에 사용되는 지정된 방향으로부터 오디오 정보를 픽업하기 위해 사용될 수도 있다. 예를 들면, 오디오 정보는 단순히 기록되고 저장될 수도 있다. 다르게는, 오디오 정보는 실시간 또는 실시간에 가깝게, 예를 들면, 모바일 플랫폼 (100) 그 자체에 의해 또는 송수신기 (112) 를 통해 서버와 같은 분리된 디바이스에 오디오 정보를 송신하는 것에 의해, 변환 (translate) 될 수도 있고, 여기서 오디오 정보가 다시 모바일 플랫폼 (100) 으로 변환 및 송신되고 Mobile Technologies, LLC.에 의한 Jibbigo와 같은 송수신기 (112) 에 의해 수신된다.
도 8은, 배향 센서들로부터의 데이터에 기초하여 모바일 플랫폼이 움직이는 동안 사운드 소스의 방향으로 빔포밍을 연속적으로 구현할 수 있는 모바일 플랫폼 (100) 의 블록도이다. 모바일 플랫폼 (100) 은, 복수의 압전 MEMS (MicroElectrial-Mechanical System) 타입 마이크로폰들을 포함할 수도 있는, 마이크로폰 어레이 (108) 와 같은, 수신된 음향 신호들에 응답하여 멀티채널 신호를 생성하기 위한 수단을 포함한다. 모바일 플랫폼 (100) 은, 디지털 콤파스 및/또는 3축 자이로스코프와 연결될 수도 있는 3축 가속도계일 수도 있는 배향 센서들 (110) 과 같은 모바일 플랫폼의 움직임을 결정하기 위한 수단을 더 포함한다. 다르게 또는 추가적으로, 모바일 플랫폼 (100) 은 고정 잡음 소스 (stationary noise-source) 로부터 생성된 레퍼런스 도착 각도를 사용하여 움직임을 결정할 수도 있다. 모바일 플랫폼 (100) 은 또한, 예를 들면, 안테나 (172) 를 통해 각각 무선 액세스 포인트로부터 또는 셀룰러 타워로부터 그리고 이로 통신을 전송 및 수신할 수 있는 무선 네트워크 라디오 수신기/송신기 또는 셀룰러 모뎀인, 무선 송수신기 (112) 를 포함할 수도 있다. 모바일 플랫폼은 또한, 하나 이상의 카메라들 (114, 116) 을 포함할 수도 있다.
모바일 플랫폼 (100) 은, 예를 들면, 스피커 (104) 및 라우드 스피커들 (106L 및 106R), 그리고 예를 들면 LCD (liquid crystal display) 기술, 또는 LPD (light emitting polymer display) 기술일 수도 있는 디스플레이 (102) 를 포함할 수도 있는 사용자 인터페이스 (160) 를 더 포함하고, 정전용량식 또는 저항식 터치 센서들과 같은, 디스플레이의 터치를 검출하기 위한 수단을 포함할 수도 있다. 사용자 인터페이스 (160) 는 또한, 키패드 (162) 또는 사용자가 정보를 모바일 플랫폼 (100) 으로 입력할 수 있는 다른 입력 디바이스를 포함할 수도 있다. 원하는 경우, 키패드 (162) 는, 터치 센서를 갖는 디스플레이 (102) 속으로 가상 키패드를 통합하는 것에 의해 제거될 수도 있다. 사용자 인터페이스 (160) 는 또한, 도 1에 도시된 마이크로폰 (108B) 과 같은, 마이크로폰 어레이 (108) 에 있는 마이크로폰들 중 하나 이상을 포함한다. 추가적으로, 배향 센서들 (110) 은, 모바일 플랫폼 (100) 의 움직임 형태의 제스쳐들을 검출하는 것에 의해 사용자 인터페이스 (160) 의 부분으로서 사용될 수도 있다. 모바일 플랫폼 (100) 은, 예를 들면, 터치 스크린 디스플레이 (102) 상의 그래픽 사용자 인터페이스 또는 사용자가 모바일 플랫폼 (100) 을 사운드 소스쪽으로 향하게 할 때 배향 센서들일 수도 있는, 모바일 플랫폼에 대한 사운드 소스의 방향을 지시하기 위한 수단을 포함한다.
모바일 플랫폼 (100) 은, 배향 센서들 (110), 마이크로폰 어레이 (108), 송수신기 (112), 카메라들 (114, 116) 및 사용자 인터페이스 (160) 로부터 데이터를 받아들이고 프로세싱하기 위해 접속되는 제어 유닛 (150) 을 포함한다. 제어 유닛 (150) 은 또한, 마이크로폰 어레이 (108) 를 포함하여 디바이스들의 동작을 제어하고, 이로써 빔포밍을 구현하고 배향 센서들에 의해 검출되는 움직임을 사용하여 모바일 플랫폼이 사운드 소스에 대해 움직인 후에 사운드 소스의 방향으로 빔포밍을 계속 구현하도록 빔포밍을 조정하기 위한 수단의 역할을 한다. 제어 유닛 (150) 은 프로세서 (152) 및 연관된 메모리 (154), 하드웨어 (156), 소프트웨어 (158), 및 펌웨어 (157) 에 의해 제공될 수도 있다. 제어 유닛 (150) 은, 마이크로폰 어레이 제어기 (192) 로서 예시된 빔포밍을 구현하기 위한 수단, 및 배향 센서 제어기 (194) 로서 예시된 모바일 플랫폼의 움직임을 측정하기 위한 수단을 포함한다. 고정 잡음 소스로부터 발생된 레퍼런스 도착 각도에 기초하여 움직임이 결정되는 경우에, 마이크로폰 어레이 제어기 (192) 가 움직임을 결정하기 위하여 사용될 수도 있다. 마이크로폰 어레이 제어기 (192) 및 배향 센서 제어기 (194) 는, 프로세서 (152), 하드웨어 (156), 펌웨어 (157), 또는 소프트웨어 (158), 즉, 메모리 (154) 에 저장되고 프로세서 (152) 에 의해 실행되는 컴퓨터 판독가능 매체, 또는 이들의 조합에 이식 (implant) 될 수도 있지만, 명료성을 위해 따로 예시된다.
여기에 사용된 바처럼, 프로세서 (152) 는 하나 이상의 마이크로프로세서들, 임베딩된 프로세서들, 제어기들, ASIC (application specific integrated circuit), DSP (digital signal processor) 및 그밖에 이와 유사한 것을 포함할 수 있지만 반드시 포함할 필요는 없다는 것이 이해될 것이다. 용어 프로세서는 특정 하드웨어가 아닌 시스템에 의해 구현된 기능들을 기술하기 위하여 의도되어 있다. 또한, 여기에 사용된 바처럼, 용어 "메모리"는 장기, 단기, 또는 모바일 플랫폼과 연관된 다른 메모리를 포함하는 임의의 타입의 컴퓨터 저장 매체를 지칭하고, 임의의 특정 타입의 메모리 또는 메모리들의 수, 또는 메모리가 저장되는 매체의 타입에 제한되지 않는다.
여기에 기술된 방법론들은 또한, 애플리케이션에 따라 다양한 수단에 의해 구현될 수도 있다. 예를 들면, 이들 방법론들은, 하드웨어 (156), 펌웨어 (157), 소프트웨어 (158) 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어 구현을 위해, 프로세싱 유닛은 하나 이상의 ASIC (application specific integrated circuit), DSP (digital signal processor), DSPD (digital signal processing device), PLD (programmable logic device), FPGA (field programmable gate array), 프로세서, 제어기, 마이크로-제어기, 마이크로프로세서, 전자 디바이스, 여기에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛, 또는 이들의 조합 내에서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현을 위해, 그 방법론들은 여기에 설명된 기능들을 수행하는 모듈 (예를 들면, 프로시저, 함수 기타 등등) 으로 구현될 수도 있다. 명령들을 유형적으로 포함하는 임의의 머신 판독가능 매체가 여기에 기재된 방법론들을 구현함에 있어서 사용될 수도 있다. 예를 들면, 소트프웨어 코드는 메모리 (154) 에 저장되고 프로세서 (152) 에 의해 실행될 수도 있다. 메모리는 프로세서 유닛 내부에 또는 프로세서 유닛 외부에 구현될 수도 있다. 또한, 여기에 사용된 바처럼, 용어 "메모리"는 장기, 단기, 휘발성, 비휘발성 또는 다른 메모리 중 임의의 타입을 지칭하고, 임의의 특정 타입의 메모리 또는 메모리들의 수, 또는 메모리가 저장되는 매체의 타입에 제한되지 않는다.
예를 들면, 소프트웨어 (158) 는, 메모리 (154) 에 저장되고 프로세서 (152) 에 의해 실행되는 프로그램 코드들을 포함할 수도 있고 프로세서를 실행하기 위하여 그리고 여기에 기재된 바처럼 모바일 플랫폼 (100) 의 동작을 제어하기 위하여 사용될 수도 있다. 메모리 (154) 와 같은, 컴퓨터 판독가능 매체에 저장된 프로그램 코드는, 사용자 입력에 기초하여 사운드 소소의 방향을 식별하기 위한 프로그램 코드; 사운드 소스의 방향으로 마이크로폰 어레이에 의해 수신된 오디오 정보를 증폭 또는 억제하기 위해 빔포밍을 구현하기 위한 프로그램 코드; 마이크로폰 어레이의 움직임을 결정하기 위한 프로그램 코드; 및 결정된 움직임을 사용하여 마이크로폰 어레이가 사운드 소스에 대해 움직인 후에 사운드 소스의 방향으로 빔포밍을 계속 구현하도록 빔포밍을 조정하기 위한 프로그램 코드를 포함할 수도 있다. 컴퓨터 판독가능 매체에 저장된 프로그램 코드는 또한, 프로세서로 하여금 여기에 기재된 바처럼 모바일 플랫폼 (100) 의 임의의 동작을 제어하게 하기 위한 프로그램 코드를 추가로 포함할 수도 있다.
펌웨어 및/또는 소프트웨어로 구현되면, 그 기능들은 컴퓨터 판독가능 매체 상의 하나 이상의 명령들 또는 코드로서 저장될 수도 있다. 예들은 데이터 구조로 인코딩된 컴퓨터 판독가능 매체 및 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 물리적 컴퓨터 저장 매체를 포함하고, 일시적 전파 신호들을 지칭하지는 않는다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 비한정적 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자성 디스크 저장 또는 다른 자성 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다; 여기에 설명된 바와 같이, 디스크 (disk) 및 디스크 (disc) 는 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, DVD (digital versatile disc), 플로피 디스크 및 블루-레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 일반적으로 데이터를 자기적으로 재생하지만, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 또한, 전술한 것의 조합은 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
본 발명은 설명 목적으로 특정 실시형태들과 관련하여 예시되었지만, 본 발명은 이에 한정되지 않는다. 다양한 적응 및 변경들이 본 발명의 범위를 이탈함이 없이 이루어질 수도 있다. 따라서, 첨부된 청구항들의 사상 및 범위는 전술한 설명으로 제한되지 않아야 한다.

Claims (22)

  1. 모바일 플랫폼을 사운드 소스 쪽으로 향하게 하여 상기 모바일 플랫폼에 대한 상기 사운드 소스의 방향을 식별하는 단계;
    상기 사운드 소스의 방향으로부터 오디오 정보의 증폭 또는 억제를 위하여 상기 사운드 소스의 방향을 선택하는 제스처를 이용하는 단계;
    상기 사운드 소스로부터 오디오 정보를 증폭 또는 억제하기 위하여 상기 사운드 소스의 방향으로 상기 모바일 플랫폼을 이용하여 빔포밍을 구현하는 단계;
    상기 사운드 소스에 대한 상기 모바일 플랫폼의 움직임을 결정하는 단계; 및
    결정된 상기 움직임을 이용하여 상기 모바일 플랫폼이 상기 사운드 소스에 대해 움직인 후에 상기 사운드 소스의 방향으로 빔포밍을 계속 구현하도록 상기 빔포밍을 조정하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 사운드 소스는 제 1 방향의 제 1 사운드 소스이며;
    상기 모바일 플랫폼에 대한 제 2 사운드 소스의 제 2 방향을 지시하는 단계;
    상기 제 2 사운드 소스로부터 오디오 정보를 증폭 또는 억제하기 위하여 상기 제 2 사운드 소스의 제 2 방향으로 상기 모바일 플랫폼을 이용하여 빔포밍을 구현하는 단계;
    결정된 상기 움직임을 이용하여 상기 모바일 플랫폼이 움직인 후에 상기 제 1 사운드 소스의 상기 제 1 방향 및 상기 제 2 사운드 소스의 상기 제 2 방향으로 빔포밍을 계속 구현하도록 상기 빔포밍을 조정하는 단계를 더 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 모바일 플랫폼에 대한 상기 사운드 소스의 방향을 식별하는 단계는 상기 사운드 소스의 방향을 향하도록 상기 모바일 플랫폼을 움직이는 단계를 더 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 모바일 플랫폼에 대한 상기 사운드 소스의 방향을 식별하는 단계는 상기 모바일 플랫폼 상의 디스플레이를 사용하여 상기 사운드 소스의 방향을 선택하는 단계를 더 포함하는, 방법.
  5. 제 1 항에 있어서,
    상기 빔포밍을 구현하는 단계는 상기 모바일 플랫폼 상의 마이크로폰 어레이로부터 멀티채널 신호를 프로세싱하는 단계를 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 빔포밍을 구현한 후에 상기 사운드 소스의 방향으로부터 오디오 정보를 무선으로 송신하는 단계를 더 포함하는, 방법.
  7. 제 6 항에 있어서,
    상기 오디오 정보는 전화 통화에서 무선으로 송신되는, 방법.
  8. 제 1 항에 있어서,
    상기 빔포밍을 구현한 후에 상기 사운드 소스의 방향으로부터 오디오 정보의 변환 (translation) 을 획득하는 단계를 더 포함하는, 방법.
  9. 제 1 항에 있어서,
    상기 사운드 소스의 방향으로부터 비디오 및 이미지들 중 적어도 하나를 캡쳐하도록 상기 모바일 플랫폼 상의 카메라를 제어하는 단계;
    결정된 상기 움직임을 이용하여 상기 모바일 플랫폼이 상기 사운드 소스에 대해 움직인 후에 상기 사운드 소스의 방향으로부터 비디오 및 이미지들 중 적어도 하나를 계속 캡쳐하도록 상기 카메라의 제어를 조정하는 단계를 더 포함하는, 방법.
  10. 모바일 플랫폼으로서,
    마이크로폰 어레이;
    배향 센서들;
    상기 마이크로폰 어레이 및 상기 배향 센서들에 접속된 프로세서;
    상기 프로세서에 접속된 메모리; 및
    상기 메모리에 유지되고 상기 프로세서에서 실행되는 소프트웨어로서, 상기 프로세서로 하여금 사운드 소스의 방향으로 향하게 되는 상기 모바일 플랫폼에 기초하여 상기 사운드 소스의 방향을 식별하게 하고, 상기 배향 센서들에 의해 검출된 상기 모바일 플랫폼의 움직임 형태의 제스처에 기초하여 상기 사운드 소스의 방향으로부터 오디오 정보의 증폭 또는 억제를 위한 상기 사운드 소스의 방향을 선택하게 하고, 상기 사운드 소스의 방향에서 상기 마이크로폰 어레이에 의해 수신된 오디오 정보를 증폭 또는 억제하기 위해 빔포밍을 구현하게 하고, 상기 배향 센서들에 의해 제공된 데이터를 사용하여 상기 모바일 플랫폼의 움직임을 결정하게 하고, 결정된 상기 움직임을 이용하여 상기 모바일 플랫폼이 상기 사운드 소스에 대해 움직인 후에 상기 사운드 소스의 방향으로 빔포밍을 계속 구현하도록 상기 빔포밍을 조정하게 하는, 상기 소프트웨어를 포함하는, 모바일 플랫폼.
  11. 제 10 항에 있어서,
    상기 사운드 소스는 제 1 방향의 제 1 사운드 소스이며,
    상기 메모리에 유지되고 상기 프로세서에서 실행되는 상기 소프트웨어는 또한 상기 프로세서로 하여금 사용자 입력에 기초하여 제 2 사운드 소스의 제 2 방향을 식별하게 하고, 상기 제 2 사운드 소스의 제 2 방향에서 상기 마이크로폰 어레이에 의해 수신된 오디오 정보를 증폭 또는 억제하기 위해 빔포밍을 구현하게 하고, 결정된 상기 움직임을 이용하여 상기 모바일 플랫폼이 움직인 후에 상기 제 1 사운드 소스의 상기 제 1 방향 및 상기 제 2 사운드 소스의 제 2 방향으로 빔포밍을 계속 구현하도록 상기 빔포밍을 조정하게 하는, 모바일 플랫폼.
  12. 제 10 항에 있어서,
    상기 메모리에 유지되고 상기 프로세서에서 실행되는 상기 소프트웨어는 또한 상기 프로세서로 하여금 상기 사운드 소스의 방향으로 향하게 하는 상기 모바일 플랫폼의 움직임에 더 기초하여 상기 사운드 소스의 방향을 식별하게 하는, 모바일 플랫폼.
  13. 제 10 항에 있어서,
    상기 프로세서에 연결된 터치 스크린 디스플레이를 더 포함하고, 상기 메모리에 유지되고 상기 프로세서에서 실행되는 상기 소프트웨어는 또한 상기 프로세서로 하여금 상기 터치 스크린 디스플레이에 의해 제공되는 데이터에 더 기초하여 상기 사운드 소스의 방향을 식별하게 하는, 모바일 플랫폼.
  14. 제 10 항에 있어서,
    상기 메모리에 유지되고 상기 프로세서에서 실행되는 상기 소프트웨어는 또한 상기 프로세서로 하여금 상기 마이크로폰 어레이로부터 멀티채널 신호를 프로세싱하는 것에 의해 빔포밍을 구현하게 하는, 모바일 플랫폼.
  15. 제 10 항에 있어서,
    상기 프로세서에 연결된 무선 송수신기를 더 포함하고, 상기 메모리에 유지되고 상기 프로세서에서 실행되는 상기 소프트웨어는 또한 상기 프로세서로 하여금 상기 빔포밍이 구현된 후에 상기 사운드 소스의 방향으로부터 획득된 오디오 정보를 송신하도록 상기 무선 송수신기를 제어하게 하는, 모바일 플랫폼.
  16. 제 15 항에 있어서,
    상기 오디오 정보는 전화 통화에서 송신되는, 모바일 플랫폼.
  17. 제 15 항에 있어서,
    송신된 상기 오디오 정보에 응답하여, 상기 무선 송수신기는 상기 오디오 정보의 변환 (translation) 을 수신하는, 모바일 플랫폼.
  18. 제 10 항에 있어서,
    상기 프로세서에 연결된 카메라를 더 포함하고, 상기 메모리에 유지되고 상기 프로세서에서 실행되는 상기 소프트웨어는 또한 상기 프로세서로 하여금 상기 사운드 소스의 방향으로부터 비디오 및 이미지들 중 적어도 하나를 캡쳐하도록 상기 카메라를 제어하게 하고, 상기 모바일 플랫폼이 상기 사운드 소스에 대해 움직인 후에 상기 사운드 소스의 방향으로부터 비디오 및 이미지들 중 적어도 하나를 계속 캡쳐하도록 상기 카메라의 제어를 조정하게 하는, 모바일 플랫폼.
  19. 사운드 소스의 방향으로 향하게 되는 모바일 플랫폼에 기초하여 모바일 플랫폼에 대한 상기 사운드 소스의 방향을 식별하기 위한 수단;
    상기 사운드 소스의 방향으로부터 오디오 정보의 증폭 또는 억제를 위한 상기 사운드 소스의 방향을 선택하는 제스처를 사용하기 위한 수단;
    상기 사운드 소스로부터 오디오 정보를 증폭 또는 억제하기 위하여 상기 사운드 소스의 방향으로 상기 모바일 플랫폼을 이용하여 빔포밍을 구현하기 위한 수단;
    상기 사운드 소스에 대한 상기 모바일 플랫폼의 움직임을 결정하기 위한 수단; 및
    결정된 상기 움직임을 이용하여 상기 모바일 플랫폼이 상기 사운드 소스에 대해 움직인 후에 상기 사운드 소스의 방향으로 빔포밍을 계속 구현하도록 상기 빔포밍을 조정하기 위한 수단을 포함하는, 시스템.
  20. 프로그램 코드가 저장된 컴퓨터 판독가능 매체로서,
    사운드 소스의 방향으로 향하게 되는 마이크로폰 어레이에 기초하여 상기 사운드 소스의 방향을 식별하기 위한 프로그램 코드;
    배향 센서들에 의해 검출된 모바일 플랫폼의 움직임 형태의 제스처에 기초하여 상기 사운드 소스의 방향으로부터 오디오 정보의 증폭 또는 억제를 위한 상기 사운드 소스의 방향을 선택하기 위한 프로그램 코드;
    상기 사운드 소스의 방향에서 상기 마이크로폰 어레이에 의해 수신된 오디오 정보를 증폭 또는 억제하기 위해 빔포밍을 구현하기 위한 프로그램 코드;
    상기 마이크로폰 어레이의 움직임을 결정하기 위한 프로그램 코드; 및
    결정된 상기 움직임을 이용하여 상기 마이크로폰 어레이가 상기 사운드 소스에 대해 움직인 후에 상기 사운드 소스의 방향으로 빔포밍을 계속 구현하도록 빔포밍을 조정하기 위한 프로그램 코드를 포함하는, 컴퓨터 판독가능 매체.
  21. 제 2 항에 있어서,
    상기 모바일 플랫폼에 대한 제 2 사운드 소스의 제 2 방향을 지시하는 단계는;
    상기 모바일 플랫폼을 상기 제 2 사운드 소스쪽으로 향하게 하여 상기 모바일 플랫폼에 대한 상기 제 2 사운드 소스의 상기 제 2 방향을 식별하는 단계; 및
    상기 제 2 사운드 소스의 상기 제 2 방향으로부터 오디오 정보의 증폭 또는 억제를 위한 상기 제 2 사운드 소스의 상기 제 2 방향을 선택하는 제 2 제스처를 사용하는 단계를 포함하는, 방법.
  22. 제 2 항에 있어서,
    제 2 사운드 소스의 제 2 방향을 지시하는 단계는 상기 제 1 사운드 소스의 상기 제 1 방향으로 빔포밍을 구현한 후에 수행되는, 방법.
KR1020137021174A 2011-01-13 2012-01-13 가변 빔포밍을 위한 방법, 장치, 시스템 및 컴퓨터 판독가능 매체 KR101520564B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/006,303 2011-01-13
US13/006,303 US8525868B2 (en) 2011-01-13 2011-01-13 Variable beamforming with a mobile platform
PCT/US2012/021340 WO2012097314A1 (en) 2011-01-13 2012-01-13 Variable beamforming with a mobile platform

Publications (2)

Publication Number Publication Date
KR20130114721A KR20130114721A (ko) 2013-10-17
KR101520564B1 true KR101520564B1 (ko) 2015-05-14

Family

ID=45582030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137021174A KR101520564B1 (ko) 2011-01-13 2012-01-13 가변 빔포밍을 위한 방법, 장치, 시스템 및 컴퓨터 판독가능 매체

Country Status (6)

Country Link
US (2) US8525868B2 (ko)
EP (1) EP2664160B1 (ko)
JP (2) JP2014510430A (ko)
KR (1) KR101520564B1 (ko)
CN (2) CN103329568B (ko)
WO (1) WO2012097314A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750281B2 (en) 2018-12-03 2020-08-18 Samsung Electronics Co., Ltd. Sound source separation apparatus and sound source separation method

Families Citing this family (143)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9037468B2 (en) * 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
JP5528856B2 (ja) * 2010-03-10 2014-06-25 オリンパスイメージング株式会社 撮影機器
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US10353495B2 (en) 2010-08-20 2019-07-16 Knowles Electronics, Llc Personalized operation of a mobile device using sensor signatures
US9313306B2 (en) 2010-12-27 2016-04-12 Rohm Co., Ltd. Mobile telephone cartilage conduction unit for making contact with the ear cartilage
KR101489612B1 (ko) 2010-12-27 2015-02-04 로무 가부시키가이샤 휴대 전화
US8525868B2 (en) 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
JP5783352B2 (ja) 2011-02-25 2015-09-24 株式会社ファインウェル 会話システム、会話システム用指輪、携帯電話用指輪、指輪型携帯電話、及び、音声聴取方法
US9264553B2 (en) 2011-06-11 2016-02-16 Clearone Communications, Inc. Methods and apparatuses for echo cancelation with beamforming microphone arrays
GB2493327B (en) * 2011-07-05 2018-06-06 Skype Processing audio signals
GB2495472B (en) 2011-09-30 2019-07-03 Skype Processing audio signals
GB2495129B (en) 2011-09-30 2017-07-19 Skype Processing signals
GB2495278A (en) 2011-09-30 2013-04-10 Skype Processing received signals from a range of receiving angles to reduce interference
GB2495130B (en) 2011-09-30 2018-10-24 Skype Processing audio signals
GB2495131A (en) * 2011-09-30 2013-04-03 Skype A mobile device includes a received-signal beamformer that adapts to motion of the mobile device
GB2495128B (en) 2011-09-30 2018-04-04 Skype Processing signals
GB2496660B (en) 2011-11-18 2014-06-04 Skype Processing audio signals
GB201120392D0 (en) 2011-11-25 2012-01-11 Skype Ltd Processing signals
GB2497343B (en) 2011-12-08 2014-11-26 Skype Processing audio signals
WO2013093187A2 (en) 2011-12-21 2013-06-27 Nokia Corporation An audio lens
CN104247453B (zh) 2012-01-20 2018-06-05 罗姆股份有限公司 移动电话
JP6162386B2 (ja) * 2012-11-05 2017-07-12 株式会社ファインウェル 携帯電話
US9583259B2 (en) 2012-03-20 2017-02-28 Qualcomm Incorporated Wireless power transfer device and method of manufacture
US9160205B2 (en) 2012-03-20 2015-10-13 Qualcomm Incorporated Magnetically permeable structures
US9431834B2 (en) 2012-03-20 2016-08-30 Qualcomm Incorporated Wireless power transfer apparatus and method of manufacture
US9653206B2 (en) 2012-03-20 2017-05-16 Qualcomm Incorporated Wireless power charging pad and method of construction
US10107887B2 (en) * 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
TWI571133B (zh) 2012-06-29 2017-02-11 Rohm Co Ltd stereophone
JP5949311B2 (ja) * 2012-08-15 2016-07-06 富士通株式会社 推定プログラム、推定装置、及び推定方法
US9690334B2 (en) 2012-08-22 2017-06-27 Intel Corporation Adaptive visual output based on change in distance of a mobile device to a user
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
US9131041B2 (en) * 2012-10-19 2015-09-08 Blackberry Limited Using an auxiliary device sensor to facilitate disambiguation of detected acoustic environment changes
US9286898B2 (en) * 2012-11-14 2016-03-15 Qualcomm Incorporated Methods and apparatuses for providing tangible control of sound
US9183829B2 (en) * 2012-12-21 2015-11-10 Intel Corporation Integrated accoustic phase array
US9525938B2 (en) * 2013-02-06 2016-12-20 Apple Inc. User voice location estimation for adjusting portable device beamforming settings
JP6221258B2 (ja) * 2013-02-26 2017-11-01 沖電気工業株式会社 信号処理装置、方法及びプログラム
US9462379B2 (en) 2013-03-12 2016-10-04 Google Technology Holdings LLC Method and apparatus for detecting and controlling the orientation of a virtual microphone
US9472844B2 (en) * 2013-03-12 2016-10-18 Intel Corporation Apparatus, system and method of wireless beamformed communication
CN104065798B (zh) * 2013-03-21 2016-08-03 华为技术有限公司 声音信号处理方法及设备
KR102127640B1 (ko) 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
EP2982139A4 (en) * 2013-04-04 2016-11-23 Nokia Technologies Oy AUDIOVISUAL PROCESSING APPARATUS
CA2908654C (en) * 2013-04-10 2019-08-13 Nokia Technologies Oy Audio recording and playback apparatus
EP3950433A1 (en) * 2013-05-23 2022-02-09 NEC Corporation Speech processing system, speech processing method, speech processing program and vehicle including speech processing system on board
US9984675B2 (en) 2013-05-24 2018-05-29 Google Technology Holdings LLC Voice controlled audio recording system with adjustable beamforming
US9269350B2 (en) 2013-05-24 2016-02-23 Google Technology Holdings LLC Voice controlled audio recording or transmission apparatus with keyword filtering
WO2015025829A1 (ja) 2013-08-23 2015-02-26 ローム株式会社 携帯電話
CN104427049A (zh) * 2013-08-30 2015-03-18 深圳富泰宏精密工业有限公司 便携式电子装置
JP6030032B2 (ja) 2013-08-30 2016-11-24 本田技研工業株式会社 音響処理装置、音響処理方法、及び音響処理プログラム
US9705548B2 (en) 2013-10-24 2017-07-11 Rohm Co., Ltd. Wristband-type handset and wristband-type alerting device
KR20150050693A (ko) * 2013-10-30 2015-05-11 삼성전자주식회사 컨텐츠 재생 방법 및 그 방법을 처리하는 전자 장치
US9432768B1 (en) 2014-03-28 2016-08-30 Amazon Technologies, Inc. Beam forming for a wearable computer
US9500739B2 (en) 2014-03-28 2016-11-22 Knowles Electronics, Llc Estimating and tracking multiple attributes of multiple objects from multi-sensor data
US9990939B2 (en) 2014-05-19 2018-06-05 Nuance Communications, Inc. Methods and apparatus for broadened beamwidth beamforming and postfiltering
US9331760B2 (en) 2014-05-28 2016-05-03 Qualcomm Incorporated Method and apparatus for leveraging spatial/location/user interaction sensors to aid in transmit and receive-side beamforming in a directional wireless network
US9986075B2 (en) * 2014-06-04 2018-05-29 Qualcomm Incorporated Mobile device including a substantially centrally located earpiece
US9904851B2 (en) * 2014-06-11 2018-02-27 At&T Intellectual Property I, L.P. Exploiting visual information for enhancing audio signals via source separation and beamforming
US9686467B2 (en) * 2014-08-15 2017-06-20 Sony Corporation Panoramic video
JP6551919B2 (ja) 2014-08-20 2019-07-31 株式会社ファインウェル 見守りシステム、見守り検知装置および見守り通報装置
DE112015003945T5 (de) 2014-08-28 2017-05-11 Knowles Electronics, Llc Mehrquellen-Rauschunterdrückung
US9978388B2 (en) 2014-09-12 2018-05-22 Knowles Electronics, Llc Systems and methods for restoration of speech components
US10283114B2 (en) * 2014-09-30 2019-05-07 Hewlett-Packard Development Company, L.P. Sound conditioning
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US20160165338A1 (en) * 2014-12-05 2016-06-09 Stages Pcs, Llc Directional audio recording system
US9747367B2 (en) 2014-12-05 2017-08-29 Stages Llc Communication system for establishing and providing preferred audio
US9654868B2 (en) 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
CN110312181B (zh) 2014-12-18 2020-12-15 株式会社精好 自行车行驶用接听装置及自行车系统
US9747068B2 (en) 2014-12-22 2017-08-29 Nokia Technologies Oy Audio processing based upon camera selection
US20160198499A1 (en) 2015-01-07 2016-07-07 Samsung Electronics Co., Ltd. Method of wirelessly connecting devices, and device thereof
JP6613503B2 (ja) * 2015-01-15 2019-12-04 本田技研工業株式会社 音源定位装置、音響処理システム、及び音源定位装置の制御方法
CN107211206A (zh) * 2015-01-20 2017-09-26 3M创新有限公司 用于测定声学信号起源的可安装的声音捕捉和重现装置
US9794685B2 (en) 2015-01-23 2017-10-17 Ricoh Company, Ltd. Video audio recording system, video audio recording device, and video audio recording method
DE112016000545B4 (de) 2015-01-30 2019-08-22 Knowles Electronics, Llc Kontextabhängiges schalten von mikrofonen
US9844077B1 (en) * 2015-03-19 2017-12-12 Sprint Spectrum L.P. Secondary component carrier beamforming
US9716944B2 (en) 2015-03-30 2017-07-25 Microsoft Technology Licensing, Llc Adjustable audio beamforming
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
CN106205628B (zh) 2015-05-06 2018-11-02 小米科技有限责任公司 声音信号优化方法及装置
DE102015210405A1 (de) * 2015-06-05 2016-12-08 Sennheiser Electronic Gmbh & Co. Kg Audioverarbeitungssystem und Verfahren zum Verarbeiten eines Audiosignals
KR102362121B1 (ko) 2015-07-10 2022-02-11 삼성전자주식회사 전자 장치 및 그 입출력 방법
EP3323567B1 (en) 2015-07-15 2020-02-12 FINEWELL Co., Ltd. Robot and robot system
US10681457B2 (en) * 2015-07-27 2020-06-09 Sonova Ag Clip-on microphone assembly
CN106486147A (zh) * 2015-08-26 2017-03-08 华为终端（东莞）有限公司 指向性录音方法、装置及录音设备
JP6551929B2 (ja) 2015-09-16 2019-07-31 株式会社ファインウェル 受話機能を有する腕時計
WO2017049441A1 (en) * 2015-09-21 2017-03-30 Motorola Solutions, Inc. Converged communications device and method of controlling the same
CN108496345B (zh) 2016-01-19 2021-02-26 株式会社精好 笔型呼入呼出通话装置
JP6847581B2 (ja) * 2016-02-12 2021-03-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 無線通信装置、及び無線通信装置における表示方法
CN107404684A (zh) * 2016-05-19 2017-11-28 华为终端（东莞）有限公司 一种采集声音信号的方法和装置
US9980042B1 (en) 2016-11-18 2018-05-22 Stages Llc Beamformer direction of arrival and orientation analysis system
US9980075B1 (en) 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
KR102534768B1 (ko) 2017-01-03 2023-05-19 삼성전자주식회사 오디오 출력 장치 및 제어방법
EP3566468B1 (en) 2017-01-09 2021-03-10 Sonova AG Microphone assembly to be worn at a user's chest
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
JP7196399B2 (ja) 2017-03-14 2022-12-27 株式会社リコー 音響装置、音響システム、方法およびプログラム
US10863399B2 (en) * 2017-05-04 2020-12-08 Qualcomm Incorporated Predictive beamforming and subarray selection
US11711125B2 (en) 2017-06-16 2023-07-25 Interdigital Ce Patent Holdings Performing enhanced sounding procedures using beamforming techniques
US10580411B2 (en) * 2017-09-25 2020-03-03 Cirrus Logic, Inc. Talker change detection
US10459076B2 (en) 2017-11-15 2019-10-29 Cognitive Systems Corp. Motion detection based on beamforming dynamic information
CN109873933A (zh) * 2017-12-05 2019-06-11 富泰华工业（深圳）有限公司 多媒体数据处理装置及方法
US10852411B2 (en) 2017-12-06 2020-12-01 Cognitive Systems Corp. Motion detection and localization based on bi-directional channel sounding
US10339949B1 (en) 2017-12-19 2019-07-02 Apple Inc. Multi-channel speech enhancement
US10979805B2 (en) * 2018-01-04 2021-04-13 Stmicroelectronics, Inc. Microphone array auto-directive adaptive wideband beamforming using orientation information from MEMS sensors
EP3528509B9 (en) * 2018-02-19 2023-01-11 Nokia Technologies Oy Audio data arrangement
GB2573537A (en) * 2018-05-09 2019-11-13 Nokia Technologies Oy An apparatus, method and computer program for audio signal processing
CN112513976A (zh) * 2018-05-16 2021-03-16 多特瑞尔技术有限公司 用于音频捕获的系统和方法
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US11432071B2 (en) * 2018-08-08 2022-08-30 Qualcomm Incorporated User interface for controlling audio zones
US11240623B2 (en) 2018-08-08 2022-02-01 Qualcomm Incorporated Rendering audio data from independently controlled audio zones
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
JP2020053948A (ja) 2018-09-28 2020-04-02 株式会社ファインウェル 聴取装置
CN109257682B (zh) * 2018-09-29 2020-04-24 歌尔科技有限公司 拾音调节方法、控制终端及计算机可读存储介质
US11089402B2 (en) * 2018-10-19 2021-08-10 Bose Corporation Conversation assistance audio device control
US10795638B2 (en) 2018-10-19 2020-10-06 Bose Corporation Conversation assistance audio device personalization
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
JP2022526761A (ja) 2019-03-21 2022-05-26 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
EP3731541A1 (en) 2019-04-23 2020-10-28 Nokia Technologies Oy Generating audio output signals
US10798529B1 (en) 2019-04-30 2020-10-06 Cognitive Systems Corp. Controlling wireless connections in wireless sensing systems
US10743143B1 (en) 2019-05-15 2020-08-11 Cognitive Systems Corp. Determining a motion zone for a location of motion detected by wireless signals
CN114051738A (zh) 2019-05-23 2022-02-15 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
EP3977449A1 (en) 2019-05-31 2022-04-06 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
JP7191793B2 (ja) * 2019-08-30 2022-12-19 株式会社東芝 信号処理装置、信号処理方法、及びプログラム
CN110530510B (zh) * 2019-09-24 2021-01-05 西北工业大学 一种利用线性声阵列波束形成的声源辐射声功率测量方法
US10924889B1 (en) 2019-09-30 2021-02-16 Cognitive Systems Corp. Detecting a location of motion using wireless signals and differences between topologies of wireless connectivity
CA3152905A1 (en) 2019-10-31 2021-05-06 Christopher Beg Using mimo training fields for motion detection
CN114599991A (zh) 2019-10-31 2022-06-07 认知系统公司 引发来自无线通信装置的mimo传输
US11570712B2 (en) 2019-10-31 2023-01-31 Cognitive Systems Corp. Varying a rate of eliciting MIMO transmissions from wireless communication devices
US11082769B2 (en) 2019-11-15 2021-08-03 Bose Corporation Audio visualization in telecommunications applications
US11055533B1 (en) * 2020-01-02 2021-07-06 International Business Machines Corporation Translating sound events to speech and AR content
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US10928503B1 (en) 2020-03-03 2021-02-23 Cognitive Systems Corp. Using over-the-air signals for passive motion detection
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
CN111688580B (zh) * 2020-05-29 2023-03-14 阿波罗智联(北京)科技有限公司 智能后视镜进行拾音的方法以及装置
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
WO2022040817A1 (en) 2020-08-31 2022-03-03 Cognitive Systems Corp. Controlling motion topology in a standardized wireless communication network
US11070399B1 (en) 2020-11-30 2021-07-20 Cognitive Systems Corp. Filtering channel responses for motion detection
US11297434B1 (en) * 2020-12-08 2022-04-05 Fdn. for Res. & Bus., Seoul Nat. Univ. of Sci. & Tech. Apparatus and method for sound production using terminal
US11513762B2 (en) 2021-01-04 2022-11-29 International Business Machines Corporation Controlling sounds of individual objects in a video
WO2022165007A1 (en) 2021-01-28 2022-08-04 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080259731A1 (en) * 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
US20100128892A1 (en) * 2008-11-25 2010-05-27 Apple Inc. Stabilizing Directional Audio Input from a Moving Microphone Array

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07321574A (ja) * 1994-05-23 1995-12-08 Nec Corp 音量および音量比の表示／調整方法
GB2294854B (en) 1994-11-03 1999-06-30 Solid State Logic Ltd Audio signal processing
GB9813973D0 (en) * 1998-06-30 1998-08-26 Univ Stirling Interactive directional hearing aid
US20020149672A1 (en) * 2001-04-13 2002-10-17 Clapp Craig S.K. Modular video conferencing system
US7783061B2 (en) 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US8270647B2 (en) 2003-05-08 2012-09-18 Advanced Bionics, Llc Modular speech processor headpiece
US7717629B2 (en) * 2004-10-15 2010-05-18 Lifesize Communications, Inc. Coordinated camera pan tilt mechanism
JP4934968B2 (ja) * 2005-02-09 2012-05-23 カシオ計算機株式会社 カメラ装置、カメラ制御プログラム及び記録音声制御方法
US20060271370A1 (en) 2005-05-24 2006-11-30 Li Qi P Mobile two-way spoken language translator and noise reduction using multi-directional microphone arrays
US20080101624A1 (en) * 2006-10-24 2008-05-01 Motorola, Inc. Speaker directionality for user interface enhancement
JP4799443B2 (ja) 2007-02-21 2011-10-26 株式会社東芝 受音装置及びその方法
JP5029986B2 (ja) * 2007-05-07 2012-09-19 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理装置、プログラム
US8154583B2 (en) 2007-05-31 2012-04-10 Eastman Kodak Company Eye gazing imaging for video communications
US8825468B2 (en) * 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US9113240B2 (en) * 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
JP5240832B2 (ja) 2008-06-04 2013-07-17 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 音入力装置、音入力方法およびプログラム
US8724829B2 (en) 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
US20100123785A1 (en) 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
US8620672B2 (en) 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
EP2517486A1 (en) * 2009-12-23 2012-10-31 Nokia Corp. An apparatus
CN102771141B (zh) * 2009-12-24 2016-01-20 诺基亚技术有限公司 一种电子装置及用于电子装置的方法
TWI415117B (zh) * 2009-12-25 2013-11-11 Univ Nat Chiao Tung 使用在麥克風陣列之消除殘響與減低噪音方法及其裝置
US8525868B2 (en) 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080259731A1 (en) * 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
US20100128892A1 (en) * 2008-11-25 2010-05-27 Apple Inc. Stabilizing Directional Audio Input from a Moving Microphone Array

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750281B2 (en) 2018-12-03 2020-08-18 Samsung Electronics Co., Ltd. Sound source separation apparatus and sound source separation method

Also Published As

Publication number Publication date
JP2014510430A (ja) 2014-04-24
US20130316691A1 (en) 2013-11-28
CN103329568B (zh) 2016-08-10
US8525868B2 (en) 2013-09-03
WO2012097314A1 (en) 2012-07-19
CN103329568A (zh) 2013-09-25
EP2664160B1 (en) 2023-09-13
US20120182429A1 (en) 2012-07-19
JP2015167408A (ja) 2015-09-24
CN105263085B (zh) 2019-03-01
CN105263085A (zh) 2016-01-20
JP6174630B2 (ja) 2017-08-02
KR20130114721A (ko) 2013-10-17
US9066170B2 (en) 2015-06-23
EP2664160A1 (en) 2013-11-20

Similar Documents

Publication Publication Date Title
KR101520564B1 (ko) 가변 빔포밍을 위한 방법, 장치, 시스템 및 컴퓨터 판독가능 매체
US9516241B2 (en) Beamforming method and apparatus for sound signal
KR102089638B1 (ko) 전자장치의 음성 녹음 방법 및 장치
US8150063B2 (en) Stabilizing directional audio input from a moving microphone array
US8416277B2 (en) Face detection as a metric to stabilize video during video chat session
US9426568B2 (en) Apparatus and method for enhancing an audio output from a target source
US8868413B2 (en) Accelerometer vector controlled noise cancelling method
US9131041B2 (en) Using an auxiliary device sensor to facilitate disambiguation of detected acoustic environment changes
KR102109739B1 (ko) 위치 기반 소리 출력 방법 및 장치
JP6977448B2 (ja) 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム
WO2022062531A1 (zh) 一种多通道音频信号获取方法、装置及系统
EP4068076A1 (en) Processing of audio data
EP3917160A1 (en) Capturing content

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 5