KR20150085030A - 물리적 공간에서 사운드 필드를 표현하기 위한 방법들 및 장치들 - Google Patents

물리적 공간에서 사운드 필드를 표현하기 위한 방법들 및 장치들 Download PDF

Info

Publication number
KR20150085030A
KR20150085030A KR1020157015747A KR20157015747A KR20150085030A KR 20150085030 A KR20150085030 A KR 20150085030A KR 1020157015747 A KR1020157015747 A KR 1020157015747A KR 20157015747 A KR20157015747 A KR 20157015747A KR 20150085030 A KR20150085030 A KR 20150085030A
Authority
KR
South Korea
Prior art keywords
sound
color
array
physical space
microphone
Prior art date
Application number
KR1020157015747A
Other languages
English (en)
Other versions
KR101762522B1 (ko
Inventor
페이 샹
켁시 리우
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150085030A publication Critical patent/KR20150085030A/ko
Application granted granted Critical
Publication of KR101762522B1 publication Critical patent/KR101762522B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002—Loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/301—Soundscape or sound field simulation, reproduction or control for musical purposes, e.g. surround or 3D sound; Granular synthesis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G10H2220/355—Geolocation input, i.e. control of musical parameters based on location or geographic position, e.g. provided by GPS, WiFi network location databases or mobile phone base station position databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stereophonic System (AREA)

Abstract

물리적 공간에서 사운드 필드를 표현하기 위한 방법들 및 장치들은, 터치 표면 가능식 디스플레이 테이블과 함께 사운드 트랜스듀서 어레이를 포함하는 시스템에서 구현되는 바와 같이 제공 및 설명된다. 그 어레이는 트랜스듀서들의 그룹 (다중의 스피커들 및/또는 마이크로폰들) 을 포함할 수도 있다. 그 어레이는, (그 어레이가 다중의 스피커들을 포함하는 구성들에서의) 사운드 렌더링 또는 (그 어레이가 다중의 마이크로폰들을 포함하는 구성들에서의) 사운드 픽업이 다른 방향들로부터의 외란들을 감소시키면서 특정 방향들에서 포커싱되는 공간 패턴들 (또는 사운드 프로젝션 패턴들) 을 가질 수 있도록, 트랜스듀서들의 그룹에 대한 신호들의 공간 프로세싱을 수행하도록 구성될 수도 있다.

Description

물리적 공간에서 사운드 필드를 표현하기 위한 방법들 및 장치들{METHODS AND APPARATUSES FOR REPRESENTING A SOUND FIELD IN A PHYSICAL SPACE}
35 U.S.C.§119(e) 하의 우선권 주장
본 특허출원은 "Device and System for Refreshing a Sound Field in a Physical Space" 의 명칭으로 2012년 11월 14일자로 출원된 미국 가출원 제61/726,451호, "Method and Apparatus for Providing Tangible Control of Sound" 의 명칭으로 2012년 11월 14일자로 출원된 미국 가출원 제61/726,456호, "Device and System Having Smart Directional Conferencing" 의 명칭으로 2012년 11월 14일자로 출원된 미국 가특허출원 제61/726,441호, 및 "Collaborative Document Review and Editing" 의 명칭으로 2012년 11월 14일자로 출원된 미국 가특허출원 제61/726,461호를 우선권 및 그 이익을 주장한다.
다양한 특징부들은 물리적 공간에서 사운드 필드를 표현하기 위한 디바이스 및 시스템에 관한 것이다.
사운드는, 가청 범위 내의 주파수들로 구성되는 고체, 액체 또는 기체를 통해 전송된 압력의 발진인 역학적 웨이브이다. 인간들에 있어서, 예를 들어, 청각은 일반적으로, 약 20 Hz 와 20,000 Hz (20 kHz) 사이의 주파수들로 제한된다. 비록 이들 사운드들이 들릴 수도 있지만, 볼 수는 없다. 인간 시각 인지는 모든 다른 감각들에 으뜸이며, 사운드를 시각화할 수 있는 것은 사용자 경험들을 크게 향상시킬 것이다.
다음은 본 개시의 하나 이상의 양태들의 기본적인 이해를 제공하기 위해 본 개시의 그 하나 이상의 양태들의 간략화된 개요를 제시한다. 이러한 개요는 본 개시의 모든 고려된 특징부들의 광범위한 개관이 아니며, 본 개시의 모든 양태들의 중요한 또는 결정적인 엘리먼트들을 식별하지도 않고 본 개시의 임의의 또는 모든 양태들의 범위를 기술하지도 않도록 의도된다. 이 개요의 유일한 목적은, 추후 제시되는 더 상세한 설명의 서두로서 본 개시의 하나 이상의 양태들의 일부 개념들을 간략화된 형태로 제시하는 것이다.
제 1 예는 물리적 공간에서 사운드 필드를 표현하기 위한 방법을 제공한다. 그 방법은 물리적 공간과 통신하는 사운드 트랜스듀서 어레이에 의해 물리적 공간으로부터 사운드를 캡처하는 단계를 포함한다. 물리적 공간은 디스플레이 스크린, 터치 스크린 및 태블릿을 포함할 수도 있다. 일단 사운드가 캡처되었으면, 캡처된 사운드의 사운드 프로젝션 패턴이 계산될 수도 있으며, 여기서, 사운드 프로젝션 패턴은 캡처된 사운드의 사운드 필드의 표현이다. 그 후, 사운드 트랜스듀서 어레이와 의도된 사용자 사이에서 연장하는 사운드 프로젝션 패턴이 물리적 공간 상으로 디스플레이될 수도 있다. 사운드 프로젝션 패턴은 실시간으로 또는 준 실시간으로 디스플레이될 수도 있다.
일 양태에 따르면, 사운드는 실시간으로 또는 준 실시간으로 캡처될 수도 있으며, 아음속 (subsonic) 사운드들, 초음속 사운드들, 적외선부 사운드들, 및 무선 주파수 사운드들을 포함할 수도 있다. 부가적으로, 캡처된 사운드는 캡처된 사운드의 발신 위치를 식별하도록 프로세싱될 수도 있다. 의도된 사용자는 캡처된 사운드의 발신 위치에 있을 수도 있다.
일 양태에 따르면, 사운드 트랜스듀서 어레이는 별개의 마이크로폰 어레이 및 스피커 어레이를 포함할 수도 있다. 마이크로폰 어레이가 스피커 어레이와는 별개일 경우, 마이크로폰 빔은 마이크로폰 어레이 상에서 캡처되고 물리적 공간에서 제 1 컬러로 디스플레이될 수도 있지만, 스피커 빔은 스피커 어레이로부터 전송되고 물리적 공간에서 제 2 컬러로 디스플레이될 수도 있으며, 여기서, 제 1 컬러는 제 2 컬러와는 상이하다. 다음으로, 컬러 히트맵이 마이크로폰 빔에 적용될 수도 있으며, 여기서, 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현한다.
일 양태에 따르면, 사운드 트랜스듀서 어레이는 결합된 마이크로폰 및 스피커 어레이를 포함할 수도 있다. 마이크로폰 및 스피커 어레이들이 결합될 경우, 마이크로폰 빔은 사운드 트랜스듀서 어레이 상에서 캡처되고 물리적 공간에서 제 1 컬러로 디스플레이될 수도 있지만, 스피커 빔은 사운드 트랜스듀서 어레이로부터 전송되고 물리적 공간에서 제 2 컬러로 디스플레이될 수도 있으며, 여기서, 제 1 컬러는 제 2 컬러와는 상이하다. 다음으로, 컬러 히트맵이 마이크로폰 빔에 적용될 수도 있으며, 여기서, 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현한다.
일 실시형태에 따르면, 사운드 프로젝션 패턴은 화살표와 같은 빔 패턴들 또는 기호의 형태일 수도 있다.
제 2 예는 사운드 트랜스듀서 어레이를 제공한다. 사운드 트랜스듀서 어레이는 스피커 어레이, 사운드를 캡처하기 위해 스피커 어레이와 통신하는 마이크로폰 어레이, 및 마이크로폰 어레이와 통신하는 적어도 하나의 프로세서를 포함할 수도 있다. 적어도 하나의 프로세서는 사운드를 캡처하고 캡처된 사운드의 사운드 프로젝션 패턴을 계산하도록 구성될 수도 있으며, 여기서, 사운드 프로젝션 패턴은 캡처된 사운드의 사운드 필드의 표현이다. 다음으로, 적어도 하나의 프로세서는, 사운드 트랜스듀서 어레이와 의도된 사용자 사이에서 연장하는 사운드 프로젝션 패턴을 물리적 공간 상으로 디스플레이하도록 구성될 수도 있다. 사운드 프로젝션 패턴은 실시간 또는 준 실시간으로 디스플레이될 수도 있으며, 물리적 공간은 디스플레이 스크린, 터치 스크린 및 태블릿을 포함할 수도 있다.
일 양태에 따르면, 사운드는 실시간으로 또는 준 실시간으로 캡처될 수도 있으며, 아음속 사운드들, 초음속 사운드들, 적외선부 사운드들, 및 무선 주파수 사운드들을 포함할 수도 있다. 부가적으로, 적어도 하나의 프로세서는 추가로, 캡처된 사운드의 발신 위치를 식별하기 위해 캡처된 사운드를 프로세싱하도록 구성될 수도 있다. 의도된 사용자는 캡처된 사운드의 발신 위치에 있을 수도 있다.
일 양태에 따르면, 적어도 하나의 프로세서는 추가로 마이크로폰 빔을 마이크로폰 어레이 상에서 캡처하도록 구성될 수도 있으며, 여기서, 마이크로폰 빔은 물리적 공간에서 제 1 컬러로 디스플레이되고 스피커 어레이로부터 스피커 빔을 전송하며, 스피커 빔은 물리적 공간에서 제 2 컬러로 디스플레이되며, 여기서, 제 1 컬러는 제 2 컬러와는 상이하다. 그 후, 적어도 하나의 프로세서는 추가로, 컬러 히트맵을 마이크로폰 빔에 적용하도록 구성될 수도 있으며, 여기서, 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현한다. 마이크로폰 어레이는 스피커 어레이와 결합될 수도 있다. 대안적으로, 마이크로폰 어레이는 스피커 어레이와는 별개일 수도 있다.
일 실시형태에 따르면, 사운드 프로젝션 패턴은 화살표와 같은 빔 패턴들 또는 기호의 형태일 수도 있다.
제 3 예는 물리적 공간에서 사운드 필드를 표현하기 위해 물리적 공간과 통신하는 사운드 트랜스듀서 어레이를 제공한다. 사운드 트랜스듀서 어레이는 물리적 공간으로부터 사운드를 캡처하는 수단을 포함할 수도 있으며, 여기서, 사운드는 물리적 공간과 통신하는 사운드 트랜스듀서 어레이에 의해 물리적 공간으로 방출된다. 물리적 공간은 디스플레이 스크린, 터치 스크린 및 태블릿을 포함할 수도 있다.
사운드 트랜스듀서 어레이는 또한 캡처된 사운드의 사운드 프로젝션 패턴을 계산하는 수단으로서, 사운드 프로젝션 패턴은 캡처된 사운드의 사운드 필드의 표현인, 상기 사운드 프로젝션 패턴을 계산하는 수단, 및 사운드 트랜스듀서 어레이와 의도된 사용자 사이에서 연장하는 사운드 프로젝션 패턴을 물리적 공간 상으로 디스플레이하는 수단을 포함할 수도 있다. 사운드 프로젝션 패턴은 실시간으로 또는 준 실시간으로 디스플레이될 수도 있다.
일 양태에 따르면, 사운드는 실시간으로 또는 준 실시간으로 캡처될 수도 있으며, 아음속 사운드들, 초음속 사운드들, 적외선부 사운드들, 및 무선 주파수 사운드들을 포함할 수도 있다. 부가적으로, 사운드 트랜스듀서 어레이는 캡처된 사운드의 발신 위치를 식별하기 위해 캡처된 사운드를 프로세싱하는 수단을 포함할 수도 있다. 의도된 사용자는 캡처된 사운드의 발신 위치에 있을 수도 있다.
일 양태에 따르면, 사운드 트랜스듀서 어레이는 별개의 마이크로폰 어레이 및 스피커 어레이를 포함할 수도 있다. 마이크로폰 어레이가 스피커 어레이와는 별개일 경우, 사운드 트랜스듀서는 마이크로폰 빔을 마이크로폰 어레이 상에서 캡처하고 물리적 공간에서 제 1 컬러로 디스플레이하는 수단뿐 아니라 스피커 어레이로부터 스피커 빔을 전송하는 수단을 더 포함할 수도 있으며, 스피커 빔은 물리적 공간에서 제 2 컬러로 디스플레이되고, 여기서, 제 1 컬러는 제 2 컬러와는 상이하다. 사운드 트랜스듀서는 컬러 히트맵을 마이크로폰 빔에 적용하는 수단을 더 포함할 수도 있으며, 여기서, 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현한다.
일 양태에 따르면, 사운드 트랜스듀서 어레이는 결합된 마이크로폰 및 스피커 어레이를 포함할 수도 있다. 마이크로폰 어레이가 스피커 어레이와 결합될 경우, 사운드 트랜스듀서는 마이크로폰 빔을 마이크로폰 어레이 상에서 캡처하고 물리적 공간에서 제 1 컬러로 디스플레이하는 수단뿐 아니라 스피커 어레이로부터 스피커 빔을 전송하는 수단을 더 포함할 수도 있으며, 스피커 빔은 물리적 공간에서 제 2 컬러로 디스플레이되고, 여기서, 제 1 컬러는 제 2 컬러와는 상이하다. 사운드 트랜스듀서는 컬러 히트맵을 마이크로폰 빔에 적용하는 수단을 더 포함할 수도 있으며, 여기서, 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현한다.
일 실시형태에 따르면, 사운드 프로젝션 패턴은 화살표와 같은 빔 패턴들 또는 기호의 형태일 수도 있다.
제 4 예는 물리적 공간에서 사운드 필드를 표현하기 위한 하나 이상의 명령들을 포함하는 컴퓨터 판독가능 저장 매체를 제공하며, 하나 이상의 명령들은, 적어도 하나의 프로세서에 의해 실행될 경우, 적어도 하나의 프로세서로 하여금 물리적 공간으로부터 사운드를 캡처하게 하는 것으로서, 사운드는 물리적 공간과 통신하는 사운드 트랜스듀서 어레이에 의해 물리적 공간으로 방출되는, 상기 사운드를 캡처하게 하고 그리고 캡처된 사운드의 사운드 프로젝션 패턴을 계산하게 하며, 여기서, 사운드 프로젝션 패턴은 캡처된 사운드의 사운드 필드의 표현이다. 다음으로, 적어도 하나의 프로세서는 사운드 트랜스듀서 어레이와 의도된 사용자 사이에서 연장하는 사운드 프로젝션을 물리적 공간 상으로 디스플레이할 수도 있다. 사운드 프로젝션 패턴은 실시간 또는 준 실시간으로 디스플레이될 수도 있으며, 물리적 공간은 디스플레이 스크린, 터치 스크린 및 태블릿을 포함할 수도 있다.
일 양태에 따르면, 사운드는 실시간으로 또는 준 실시간으로 캡처될 수도 있으며, 아음속 사운드들, 초음속 사운드들, 적외선부 사운드들, 및 무선 주파수 사운드들을 포함할 수도 있다. 부가적으로, 적어도 하나의 프로세서는 캡처된 사운드의 발신 위치를 식별하기 위해 캡처된 사운드를 프로세싱할 수도 있다. 의도된 사용자는 캡처된 사운드의 발신 위치에 있을 수도 있다.
일 양태에 따르면, 사운드 트랜스듀서 어레이는 별개의 마이크로폰 어레이 및 스피커 어레이를 포함할 수도 있다. 마이크로폰 어레이가 스피커 어레이와는 별개일 경우, 적어도 하나의 프로세서는 마이크로폰 빔을 마이크로폰 어레이 상에서 캡처하고 물리적 공간에서 제 1 컬러로 디스플레이할뿐 아니라 스피커 어레이로부터 스피커 빔을 전송할 수도 있으며, 여기서, 스피커 빔은 물리적 공간에서 제 2 컬러로 디스플레이되고, 제 1 컬러는 제 2 컬러와는 상이하다. 적어도 하나의 프로세서는 컬러 히트맵을 마이크로폰 빔에 적용할 수도 있으며, 여기서, 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현한다.
일 양태에 따르면, 사운드 트랜스듀서 어레이는 결합된 마이크로폰 및 스피커 어레이를 포함할 수도 있다. 마이크로폰 어레이가 스피커 어레이와 결합될 경우, 적어도 하나의 프로세서는 마이크로폰 빔을 마이크로폰 어레이 상에서 캡처하고 물리적 공간에서 제 1 컬러로 디스플레이할 뿐 아니라 스피커 어레이로부터 스피커 빔을 전송할 수도 있으며, 여기서, 스피커 빔은 물리적 공간에서 제 2 컬러로 디스플레이되고, 제 1 컬러는 제 2 컬러와는 상이하다. 적어도 하나의 프로세서는 또한 컬러 히트맵을 마이크로폰 빔에 적용할 수도 있으며, 여기서, 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현한다.
일 실시형태에 따르면, 사운드 프로젝션 패턴은 화살표와 같은 빔 패턴들 또는 기호의 형태일 수도 있다.
다양한 특징들, 특성, 및 이점들은 도면들과 함께 취해질 경우에 하기에 기재된 상세한 설명으로부터 더 명백하게 될 수도 있으며, 도면들에 있어서 동일한 참조 부호들은 전반에 걸쳐 대응하게 식별한다.
도 1 은 사운드 트랜스듀서 어레이를 사용한 통상적인 시스템의 일 예를 도시한다.
도 2 는 사운드 트랜스듀서 어레이, 및 터치 감지식 스크린을 갖는 디바이스를 포함하는 시스템을 도시한다.
도 3 은 음성 통신을 위한 프라이버시 구역을 생성하도록 활용되는 것과 같은 어레이의 일 예를 도시한다.
도 4 는 어레이를 사용한 공간화된 차량 네비게이션 시스템의 일 예를 도시한다.
도 5 는 서라운드 사운드 경험을 위해 어레이를 활용하는 일 예를 도시한다.
도 6 은 다중의 오디오 프로그램들을 서로 간섭하지 않고 상이한 방향들로 동시에 전달하기 위해 어레이를 활용하는 일 예를 도시한다.
도 7 은 일 실시형태에 따른, 물리적 공간에서 사운드 필드를 표현한 일 예를 도시한다.
도 8 은 사운드 필드가 화살표로서 기호로 표현되는 사운드 필드 시각화 시스템의 일 예를 도시한다.
도 9 는 일 실시형태에 따라, 말하는 개인에게 사운드 트랜스듀서 어레이가 지향되지 않음을 나타내는 물리적 공간에서 사운드 필드 시각화 이미지를 표현한 일 예를 도시한다.
도 10 은 테이블 상에 화살표로서 도시된 드래깅 커맨드를 나타낸 도 9 의 터치 표면 가능식 테이블을 도시한다.
도 11 은, 개인으로부터 사운드를 수신하기 위해 어레이가 이제 적절히 지향되는 참가자들을 나타내는, 업데이트된 사운드 필드 시각화 이미지로서 시각화된 어레이의 조정된 사운드 필드를 도시한다.
도 12 는 사운드 필드 시각화 및 제어 시스템의 블록 다이어그램을 도시한다.
도 13 은, 사용자가 서로로부터 일 거리로 분리된 2명의 인접한 화자들로부터의 사운드의 픽업을 제어할 필요가 있을 수도 있는 텔레컨퍼런스 시스템 또는 사운드 스테이지 시나리오를 도시한다.
도 14 는 귀빈 화자 ("VIP") 를 갖는 도 8 의 터치 표면 가능식 테이블을 도시하고, 귀빈 화자의 음성은 어레이로부터의 픽업 빔의 주요 포커스이다.
도 15 은 일 실시형태에 따른, 물리적 공간에서 사운드 필드를 표현하기 위한 개관 방법의 플로우 차트를 도시한다.
도 16 은 일부 구현들이 사용할 수도 있는 사운드 트랜스듀서 어레이의 일 예를 도시한다.
도 17 은 일부 구현들이 사용할 수도 있는 디바이스의 일 예를 도시한다.
도 18 은 일 실시형태에 따른, 하나 이상의 태블릿들을 활용하여 물리적 공간에서 사운드 필드를 표현 및 제어하기 위한 시스템을 도시한다.
도 19a 는 사운드 트랜스듀서 어레이 및 수개의 디바이스들을 포함하는 시스템을 도시한다.
도 19b 는 사운드 트랜스듀서 어레이 및 수개의 디바이스들을 포함하는 다른 시스템을 도시한다.
도 19c 는 사운드 트랜스듀서 어레이, 중앙 모바일 디바이스 및 수개의 디바이스들을 포함하는 다른 시스템을 도시한다.
다음의 설명에 있어서, 특정 상세들은 본 개시의 다양한 양태들의 철저한 이해를 제공하기 위해 주어진다. 하지만, 그 양태들은 이들 특정 상세들없이도 실시될 수 있음이 당업자에 의해 이해될 것이다. 예를 들어, 회로들은, 그 양태들을 불필요한 상세로 불명료하게 하는 것을 회피하기 위해 블록 다이어그램들로 도시될 수도 있다. 다른 경우들에 있어서, 널리 공지된 회로들, 구조들 및 기술들은 본 개시의 양태들을 불명료하게 하지 않도록 상세히 나타내지 않을 수도 있다.
도 1 은 사운드 트랜스듀서 어레이를 사용한 통상적인 시스템의 일 예를 도시한다. 도시된 바와 같이, 시스템은 컨퍼런스 테이블 (101) 상에 위치된 사운드 트랜스듀서 어레이 (100) 를 포함한다. 사운드 트랜스듀서 어레이 (100) 는 상이한 방향들로부터의 사운드 (또는 오디오) 를 캡처하기 위한 방식으로 배열된 수개의 마이크로폰들/스피커들을 포함한다. 일 예로서, 4명의 개인들 (104-110) 이 컨퍼런스 테이블의 주위에 위치될 수도 있다. 일 개인 (106) 이 말하고 있을 수도 있고 사운드가 사운드 트랜스듀서 어레이 (100) 에 의해 캡처되지만, 컨퍼런스 테이블 상에서 기호적으로 또는 시각적으로, 캡처된 사운드의 사운드 필드의 표현은 존재하지 않는다. 따라서, 사운드 트랜스듀서 어레이 (100) 가 사운드를 말하고/하거나 캡처하는 개인 (106) 에 대해 포커싱된다는 확인이 존재하지 않는다.
물리적 공간 (예를 들어, 물리적 표면) 에서 사운드 필드를 표현 및 제어하기 위한 방법 및 장치의 다양한 양태들이, 터치 표면 가능식 디스플레이 테이블과 함께 사운드 트랜스듀서 어레이 (본 명세서에서 "사운드 트랜스듀서 어레이", "트랜스듀서 어레이" 또는 간단히 "어레이" 로서 지칭됨) 를 포함하는 시스템에서 구현되는 바와 같이 본 명세서에서 설명된다. 그 어레이는 트랜스듀서들의 그룹 (다중의 스피커들 및/또는 마이크로폰들) 을 포함할 수도 있다. 그 어레이는, (그 어레이가 다중의 스피커들을 포함하는 구성들에서의) 사운드 렌더링 또는 (그 어레이가 다중의 마이크로폰들을 포함하는 구성들에서의) 사운드 픽업이 다른 방향들로부터의 외란들을 감소시키면서 특정 방향들에서 포커싱되는 공간 패턴들을 가질 수 있도록, 트랜스듀서들의 그룹에 대한 신호들의 공간 프로세싱을 수행하도록 구성될 수도 있다.
도 2 는 사운드 트랜스듀서 어레이, 및 터치 감지식 스크린을 갖는 디바이스를 포함하는 시스템을 도시한다. 도 2 에 도시된 바와 같이, 시스템은 사운드 트랜스듀서 어레이 (200) 및 디바이스 (201) 를 포함할 수도 있다.
일부 구현들에 있어서, 사운드 트랜스듀서 어레이 (200) 는 적어도 하나의 프로세서, 메모리, 수개의 마이크로폰들 및 스피커들, 적어도 하나의 트랜시버, 수개의 유도성 엘리먼트들, 컴파스, 적어도 하나의 통신 인터페이스, 및 적어도 하나의 식별 마커를 포함할 수도 있다. 사운드 트랜스듀서 어레이 (200) 의 마이크로폰들 및 스피커들은, 상이한 방향들로부터 사운드, 오디오 또는 마이크로폰 빔들을 캡처하고 그리고 각각 물리적 공간에서 디스플레이되는 스피커 빔을 전송하기 위한 방식으로 배열될 수도 있다. 예를 들어, 마이크로폰들 및 스피커들은 선형으로, 원으로, 또는 임의의 다른 배열들로 배열될 수도 있다. 사운드 트랜스듀서 어레이 (200) 는 통신 인터페이스 및 적어도 하나의 트랜시버를 이용함으로써 디바이스 (201) 와 통신할 수도 있다. 일부 구현들에 있어서, 트랜시버는 사운드 트랜스듀서 어레이 (200) 와 디바이스 (201) 사이에서 (데이터를 수신 및 송신하기 위한) 무선 통신 링크를 제공한다. 상이한 구현들은, 사운드 트랜스듀서 어레이 (200) 와 디바이스 (201) 사이에서 통신하기 위해 상이한 통신 프로토콜들을 사용할 수도 있다. 통신 프로토콜들의 예들은 근접장 통신 (NFC), Wi-Fi, 블루투스, 지그비, DLNA (Digital Living Network Alliance), 및 에어플레이를 포함한다.
일부 구현들에 있어서, 컴파스가 사운드 트랜스듀서 어레이 (200) 에 대한 방법을 제공하여 그 배향을 결정한다. 배향 정보는, 일부 구현들에 있어서 사운드 트랜스듀서 어레이의 포지션 및/또는 배향을 결정하기 위해 내부적으로 사용될 수도 있거나 다른 디바이스들 (예를 들어, 디바이스 (201)) 에 전달될 수도 있다. 유도성 엘리먼트들이 또한 사운드 트랜스듀서 어레이의 포지션 및/또는 배향을 결정하기 위해 사용될 수도 있다. 예를 들어, 유도성 엘리먼트들은 터치 감지식 스크린 상에서의 사운드 트랜스듀서 어레이의 포지션 및 배향을 결정하기 위해 디바이스 (예를 들어, 디바이스 (201)) 에 의해 사용될 수도 있다. 식별 마커가 또한, 마이크로폰들 및 스피커들의 포지션 및/또는 배향을 결정하기 위해 사용될 수도 있다.
상기 설명은 사운드 트랜스듀서 어레이의 가능한 컴포넌트들/엘리먼트들의 개관이다. 사운드 트랜스듀서 어레이의 컴포넌트들/엘리먼트들의 더 상세한 설명은 도 16 을 참조하여 하기에서 추가로 설명될 것이다.
더욱이, 도 2 에 도시된 바와 같이, 디바이스 (201) 는 터치 감지식 스크린 (202) 을 포함할 수도 있다. 터치 감지식 스크린 (202) 은 사운드의 유형의 제어를 제공하기 위해 사용될 수도 있다. 터치 감지식 스크린 (202) 은 또한, 사용자 움직임들 (예를 들어, 터치 스크린 상의 손가락의 움직임) 을 감지 및 캡처하기 위해 사용될 수도 있다. 일부 구현들에 있어서, 디바이스 (201) 및 터치 감지식 스크린 (202) 은 표면 테이블에서 통합된다.
터치 감지식 스크린 (202) 에 부가하여, 디바이스 (201) 는 또한 적어도 하나의 프로세서, 메모리, 적어도 하나의 트랜시버, 및 적어도 하나의 통신 인터페이스를 포함할 수도 있다. 일부 구현들에 있어서, 상기 컴포넌트들은 디바이스 (201) 로 하여금 사운드 트랜스듀서 어레이 (200), 로컬 및 원격 컴퓨터들, 무선 디바이스들 (예를 들어, 전화기들), 휴대용 컴퓨터 디바이스들 (예를 들어, 태블릿들) 과 통신하게 한다. 디바이스 (201) 의 컴포넌트들/엘리먼트들은 도 17 을 참조하여 하기에서 추가로 설명될 것이다.
물리적 공간에서 사운드 필드를 표현 및 제어하기 위한 시스템의 다양한 디바이스들 및 컴포넌트들의 개관을 제공하였으므로, 이제, 이들 디바이스들이 그러한 시스템에서 어떻게 사용되는지의 상세한 설명이 기술될 것이다. 어레이에 대한 수개의 예시적인 사용 케이스들이 도 3 내지 도 6 을 참조하여 설명된다. 이들 사용 케이스들은 컨퍼런스 테이블과 같은 표면 테이블 상에, 또는 하나 이상의 태블릿들 상에 디스플레이될 수도 있으며, 여기서, 각각의 개인은 별도의 태블릿을 갖는다. 복수의 개인들 각각이 태블릿을 활용하는 시스템은 도 18 을 참조하여 하기에서 추가로 설명될 것이다.
도 3 은 음성 통신을 위한 프라이버시 구역을 생성하도록 활용되는 것과 같은 어레이의 일 예를 도시한다. 도시된 바와 같이, 청취자는 "밝은" 구역에 있으며, 4명의 잠재적인 도청자들은 "어두운" 구역들에 위치된다. 그 구역들은, 물리적인 공간 (예를 들어, 컨퍼런스 테이블) 주위에 앉은 개인들로 하여금 "밝은" 구역을 표현한 패턴 및 "어두운" 구역 또는 구역들을 표현한 패턴을 시각화하게 하는 물리적 공간 상에 도시된다. "밝은" 구역에서의 개인은 의도된 사운드를 청취할 수도 있지만, "어두운" 구역에서의 개인 (또는 개인들) 은 밝은 구역에서의 사운드의 묵음 버전을 청취하거나 또는 밝은 구역에서의 사운드의 비-인식가능 버전을 청취한다. 사운드의 비-인식가능 버전은 밝은 구역에서의 사운드의 마스킹된 버전일 수도 있다. 빔형성 기술들 또는 다른 공간 오디오 기술들은 밝은 구역 및 어두운 구역을 형성할 시에 적용될 수도 있다. 이들 기술들의 추가의 설명은 "Systems, Methods, and Apparatus for Producing a Directional Sound Field" 의 명칭으로 2012년 10월 31일 출원된 미국 실용신안 출원 제13/665,592호 (대리인 참조번호 제112639호) 에서 발견될 수도 있다.
밝은 구역 및 어두운 구역의 표현들은 또한, 사운드가 사운드 트랜스듀서 어레이에서의 스피커들로부터 발산하고 있을 경우에 시각적으로 디스플레이될 수도 있다. 그러한 실시형태에 있어서, 도시된 청취자는 음성 통신 호출 상태일 수도 있으며, 청취자의 대화 시에 잠재적인 도청자들이 청취하는 것을 차단하기 위해 사운드 트랜스듀서 어레이를 사용하고 있을 수도 있다. 예를 들어, 밝은 구역 패턴 및 어두운 구역 패턴의 디스플레이는 본 명세서에서 추가로 설명된 바와 같은 표면 테이블 상에 있을 수도 있다.
음성 통신을 위한 프라이버시 구역의 상이한 변형은 상기 설명된 프라이버시 구역을 생성하는 것과 유사한 기술을 사용하는 것이지만, 예를 들어, 도 6 에 도시된 바와 같이, 청취자와 도청자는 모두 상이한 프로그램들을 청취하고 있다. 그러한 변형에 있어서, 물리적 공간 상에 도시된 패턴들은 어느 것이든, 프로그램을 표현한 패턴일 수도 있다. 상이한 구성에 있어서, 도시된 패턴들은 또한 프로그램들을 청취하기 위한 프라이버시 구역을 표현할 수도 있다. 예를 들어, 물리적 공간 주위의 각각의 사람은 상이한 사운드 레코딩 또는 사운드 스트림 (예를 들어, 3개의 무선국들) 을 청취하고 있을 수도 있다. 밝은 구역 및 어두운 구역들은 각각의 사람에 대해 개별화될 수도 있다. 예를 들어, 3명의 사람들이 존재하는 하나의 가능한 구현은 3개의 프라이버시 구역들을 오버레이하고, 물리적 공간에서 3개의 프라이버시 구역들 각각의 표현들을 디스플레이하는 것이다. 따라서, 각각의 사람은 사실상, 다른 사람에 대해 그 자신의 프라이버시 구역을 갖는다.
도 4 는 어레이를 사용한 공간화된 차량 네비게이션 시스템의 일 예를 도시한다. 이 예에 있어서, 각각의 턴-바이-턴 (turn-by-turn) 음성 커맨드에 대한 사운드는, 청취자가 턴을 행할 방향으로부터 발신하는 것처럼 보일 수도 있다.
도 5 는 서라운드 사운드 경험을 위해 어레이를 활용하는 일 예를 도시한다.
도 6 은 다중의 오디오 프로그램들을 서로 간섭하지 않고 상이한 방향들로 동시에 전달하기 위해 어레이를 활용하는 일 예를 도시한다.
상기 사용 예들을 구현하기 위한 어레이에 대한 신호들의 공간 프로세싱은 제어 소프트웨어에 의해 제공될 수도 있다. 사용자가 종래의 "키보드 및 마우스" 인터페이스를 사용하여 제어 소프트웨어와 상호작용하여 사운드 필드 생성 및 픽업 패턴 조정들을 구성 및 제어할 수도 있지만, 종래의 인터페이스는 여전히 오직 사운드 필드를 제어함에 있어서의 추상적인 접근법만을 제공한다. 추가로, 그 인터페이스는 사운드가 발생한 동일 위치에 있을 필요가 있다.
도 7 은 일 실시형태에 따른, 물리적 공간에서 사운드 필드를 표현한 일 예를 도시한다. 시스템에서, 사운드 트랜스듀서 어레이에 의해 캡처된 사운드의 그래픽 표현은 사운드 필드의 물리적 공간에 병치될 수도 있다. 그래픽 표현은 사운드 프로젝션 패턴들 (예를 들어, 하나 이상의 물리적 웨이브 필드들) 의 형태일 수도 있다.
도시된 바와 같이, 시스템은 사운드 트랜스듀서 어레이 (700) 및 디바이스 (701) 를 포함할 수도 있다. 일부 구현들에 있어서, 디바이스 (701) 는 테이블의 부분일 수도 있다. 사운드 트랜스듀서 어레이 (700) 는 상이한 방향들로부터의 사운드/오디오를 캡처하기 위한 방식으로 배열된 수개의 마이크로폰들/스피커들을 포함할 수도 있다. 마이크로폰들은 선형으로, 원으로, 또는 임의의 다른 배열들로 배열될 수도 있다. 디바이스 (701) 는 터치 감지식 스크린 (702) 을 포함할 수도 있다. 터치 감지식 스크린 (702) 은 캡처된 사운드의 사운드 필드의 그래픽 표현을 물리적 공간에서 디스플레이하기 위한 것일 수도 있다. 사운드에 관한 보조 정보가 또한, 태깅된 어레이 주위에 텍스트 및 차트들로 디스플레이될 수 있다. 어떤 것이 사운드에 대해 변경될 필요가 있으면, 터치 스크린은, 개인 (또는 사용자) 가 사운드를 변형하게 하는 일부 제어를 제공할 수 있다.
사운드 트랜스듀서 어레이 (700) 는 특정 통신 프로토콜을 이용하는 적어도 하나의 무선 통신 링크를 사용하여 디바이스 (701) 와 통신할 수도 있다. 통신 프로토콜들의 예들은 근접장 통신 (NFC), Wi-Fi, 블루투스, 지그비, DLNA (Digital Living Network Alliance), 및 에어플레이를 포함한다.
더욱이, 도 7 은, 회의/컨퍼런스에 참가하는 테이블 주위에 앉은 4명의 개인들 (704-710) 을 갖는 컨퍼런스 테이블의 부분으로서 터치 감지식 스크린 (702) 을 갖는 디바이스 (701) 를 도시한다. 도 7 에 도시된 바와 같이, 사운드 트랜스듀서 어레이 (700) 는 디바이스 (701) 의 스크린 (702) 의 상부 상에 위치될 수도 있다.
사운드 트랜스듀서 어레이 (700) 로부터, 마이크로폰들 및 스피커들에 대한 실제 필터 정보가 입수가능하다. 이 정보로부터, 3D 공간 (이 경우, 2D 수평 공간이 대부분의 정보를 포함함) 에 있어서의 사운드 프로젝션 패턴 또는 마이크로폰 픽업 패턴이 계산될 수 있다. 이 정보는, 상기 나타낸 바와 같이 블루투스, 근접장 통신, DLNA 등과 같은 무선 프로토콜들을 통해 표면 테이블로 전송될 수도 있다. 이 정보로, 다양한 컴퓨터 그래픽 시각화들이 생성될 수 있다. 그 그래픽들은 일반적으로, 2D 사운드 압력들에 매칭하는 2D 그래픽들 또는 그 과장된 버전들일 수도 있다. 그래픽들의 원점은 사운드 트랜스듀서 어레이 (700) 의 중심에 앵커링될 수도 있으며, 이동할 경우에 시프트할 수도 있다. 일부 구현들에 있어서, 초음속/적외선/음속 펄스들이 사운드 트랜스듀서 어레이 (700) 의 포지션을 결정하기 위해 사용될 수도 있다. 다른 구현들에 있어서, 사운드 트랜스듀서 어레이 (700) 는, 디바이스 (701) 로 하여금 사운드 트랜스듀서 어레이 (700) 의 포지션을 결정하게 하는 근접장 통신 (NFC) 태그를 포함할 수도 있다. 그에 따라, 사운드 필드 어레이의 표현 (즉, 기호화 및 표현) 은 공간에서의 실제 사운드 필드와 정렬될 수도 있다.
도 8 은 사운드 필드가 화살표로서 기호로 표현되는 사운드 필드 시각화 시스템의 일 예를 도시한다. 화살표는 사운드 트랜스듀서 어레이 (700) 로부터 캡처된 사운드의 발신 위치로 연장할 수도 있다.
도 9 는 일 실시형태에 따라, 말하는 개인에게 사운드 트랜스듀서 어레이가 지향되지 않음을 나타내는 물리적 공간에서 사운드 필드 시각화 이미지를 표현한 일 예를 도시한다.
개인 (또는 사용자) 으로 하여금 사운드 필드 생성 및 픽업 패턴들과 상호작용함에 있어서 더 직관적이고 직접적인 접근법을 제공하기 위해 직접 "사운드를 터치"하게 하는 신규하고 자명하지 않은 시스템이 본 명세서에서 설명된다. 개시된 접근법의 일 양태에 있어서, 도 9 에 도시된 바와 같은 터치 표면 가능식 테이블 (920) 은 터치 스크린 디스플레이 표면 ("테이블 표면") (922) 상에 터치 스크린 인터페이스 및 다른 센서들을 포함할 수도 있다. 사운드 트랜스듀서 어레이 ("어레이") (930) 와 같은 태깅된 오브젝트들은 테이블 (920) 의 상부 상에 및 그 근처에 배치될 수도 있다. 도 9 에서 설명된 예는 텔레컨퍼런스에 참가하고 그리고 컨퍼런스 테이블과 같은 터치 표면 가능식 테이블 (920) 주위에 위치된 4명의 개인들 (902, 904, 906, 및 908) 을 포함한다. 일 개인 (906) 이, 어레이 (930) 에 의해 캡처되는 그 개인으로부터의 사운드로 말하고 있을 수도 있다.
어레이 (930) 는 상이한 방향들로/로부터의 사운드 (또는 오디오) 를 캡처/생성하기 위한 방식으로 배열된 수개의 마이크로폰들/스피커들을 포함할 수도 있다. 마이크로폰들은 선형으로, 원으로, 또는 임의의 다른 배열들로 배열될 수도 있다. 정보 및 그래픽들은 이들 오브젝트들에 대해 테이블 (920) 상에 디스플레이될 수도 있다. 예를 들어, ("사이드 로브 제거: 20dB" 및 "빔 폭: 15도" 로서 나타낸) 공간 프로세싱 파라미터들, ("화자: Heidi" 로서 나타낸) 화자의 식별, 및 ("잔여 회의 시간: 20분" 으로서 나타낸) 시간 정보와 같은 텔레컨퍼런스를 위한 파라미터를 기술한 그래픽 정보 엘리먼트 (950) 가 테이블 표면 (922) 상에 디스플레이될 수도 있다.
부가적으로, 어레이 (930) 와 같은 사운드 디바이스들인 태깅된 오브젝트들에 대해, 사운드 방사 및/또는 마이크로폰 픽업 패턴들의 그래픽 표현이 그들 근처에서 시각화될 수도 있다. 일부 구현들에 있어서, 초음속/적외선/음속 펄스들이 어레이 (930) 의 포지션을 결정하기 위해 사용된다. 다른 구현들에 있어서, 어레이 (930) 는, 테이블 (920) 로 하여금 어레이 (930) 의 포지션 및 상대적인 배향을 결정하게 하는 근접장 통신 (NFC) 태그를 포함할 수도 있다. 그에 따라, 어레이 (930) 에 관련된 임의의 사운드 프로젝션 패턴들의 표현 (즉, 기호화 및 표현) 은 공간에서의 관련된 실제 사운드 필드와 정렬될 수도 있다. 예를 들어, 사운드 프로젝션 패턴 (또는 필드 시각화 이미지) (952) 이, 캡처된 사운드의 사운드 필드의 표현을 위해 테이블 표면 (922) 상에 디스플레이될 수도 있다. 사운드 필드 시각화 이미지 (952) 는, 어레이 (930) 가 사운드를 말하고/하거나 캡처하는 개인 (906) 에 대해 포커싱된다는 시각적 확인을 제공할 수도 있다. 도 9 에서 볼 수도 있는 바와 같이, 사운드 필드 시각화 이미지 (952) 는, 말하고 있는 개인 (906) 에게 어레이 (930) 가 지향되지 않는 -- 비록 지향되어야 하더라도 -- 참가자들을 시각적으로 나타낼 수도 있다.
개시된 접근법의 일 양태에 있어서, 터치 스크린 제어 소프트웨어가 어레이 (930) 의 공간 프로세싱 특성들을 변경하기 위해 사용될 수도 있다. 터치 스크린 제어 소프트웨어는 사운드 필드 시각화 및 제어 시스템 ("사운드 필드 시스템") (1200) 의 부분으로서 구현될 수도 있으며, 그 예가 도 12 에 도시된다. 사운드 필드 시스템 (1200) 에 있어서, 어레이 (930) 는 다양한 통신 기술들을 이용하는 임의의 수의 무선 통신 링크들 (1290) 을 사용하여 테이블 (920) 과 통신할 수도 있다.
어레이 (930) 로부터, 그 안에 포함된 마이크로폰들 및 스피커들에 대한 실제 필터 정보가 입수가능하다. 이 정보로부터, 3차원 (3D) 공간 (이 경우, 테이블 표면 (922) 에 수평한 2차원 (2D) 평면이 대부분의 정보를 포함함) 에 있어서의 사운드 프로젝션 패턴 또는 마이크로폰 픽업 패턴이 결정될 수도 있다. 이 정보는 무선 통신 링크들 (1290) 을 통해 표면 테이블로 전송될 수도 있다. 테이블 표면 (922) 이 ("그래픽 시각화들" (1222) 로서 나타낸) 사운드 프로젝션 패턴의 거동의 시각적 대응물을 디스플레이하는 동안, 테이블 (920) 은 또한, ("멀티-터치 커맨드들" (1224) 로서 나타낸) 멀티-터치 및 다른 커맨드 센서들과의 유형의 인터페이스로서 기능할 수도 있다.
일 실시형태에 따르면, 사용자 인터페이스가, 개인 (또는 사용자) 으로 하여금 원하는 동작을 선택하게 하도록 물리적 공간 상에 디스플레이될 수도 있으며; 원하는 동작은 하나 이상의 사운드 프로젝션 패턴들을, 그에 대한 제 2 동작의 적용을 위해 선택하는 것, 또는 하나 이상의 사운드 프로젝션 패턴들의 하나 이상의 가상 그룹핑들을 생성하는 것을 포함할 수도 있다. 그래픽 표현은 하나 이상의 가상 그룹핑들의 일러스트레이션 (illustration) 을 포함할 수도 있으며; 여기서 그 일러스트레이션은 하나 이상의 가상 계층들을 포함할 수도 있고, 하나 이상의 가상 그룹핑들 각각은 하나 이상의 가상 계층들 중 적어도 하나에 대응한다.
개인들 (또는 사용자들) 은, 시각적 피드백을 실시간으로 또는 준 실시간으로 수신하면서 터치 표면과 상호작용함으로써 시각화된 사운드 프로젝션 패턴들에 관련된 파라미터들을 직접 및 직관적으로 조정할 수도 있다. 가능한 상호작용 양태들은 터치 표면 상에서 하나 이상의 커맨드들을 실시하는 개인을 포함할 수도 있다. 커맨드들은, 사운드 트랜스듀서 어레이와 연관된 하나 이상의 사운드 프로젝션 패턴들 (예를 들어, 하나 이상의 물리적 웨이브 필드들) 의 그래픽 표현을 조작하기 위해 사용될 수도 있다. 커맨드는 텍스트의 형태로, 키보드들, 마우스들, 버튼들, 바들, 메뉴들, 또는 소프트웨어에서의 그 대응물들로부터의 통신물일 수도 있다. 커맨드는 또한, 터치 표면 상에서의 디스플레이의 변화로부터 수신된 시각적 피드백에 기초하여 조정될 수 있는 제스처일 수도 있다. 제스처는 컴퓨터 마우스 대신 개인의 손가락들로 수행될 수도 있다. 제스처들은 다중의 (예를 들어, 이중의 또는 삼중의) 탭핑에 의해 사운드 프로젝션 패턴을 선택하는 것, 패턴 주위로 원을 2회 이상 그리는 것, 상이한 빔들을 상이한 가상 계층들로 전송하는 것, 하나 이상의 빔들을 일시적으로 은닉하는 것, 하나 이상의 빔들을 선택하는 것, 다중의 사운드 프로젝션 패턴들을 함께 그룹핑하는 것, 및 빔 또는 그룹핑이 조정 및 강조될 수 있도록 빔 또는 그룹핑이 선택되면 부가적인 그래픽 효과의 적용 및/또는 그룹 방식으로 그 패턴들을 조작하는 것을 포함할 수 있지만 이에 한정되지 않는다.
도 9 에서의 예로 리턴하면, 그래픽 시각화들 (1222) 은 ("사운드 입력 및 출력 패턴들, 부가정보" (1232) 로서 나타낸) 어레이 (930) 로부터 수신된 정보로 생성될 수도 있다. 그래픽들은 일반적으로, 2D 사운드 압력들에 매칭하는 2D 그래픽 또는 그 과장된 버전들일 수도 있다. 도 9 에 도시된 예에 있어서, 사운드 필드 시각화 이미지 (952) 는 캡처된 사운드에 대한 2D 사운드 필드를 시각적으로 표현할 수도 있다. 개시된 접근법의 일 양태에 있어서, 그래픽들의 원점들은 어레이 (930) 의 중심에 앵커링될 수도 있으며, 어레이 (930) 가 이동되면 시프트할 수도 있다.
도 9 에 도시된 바와 같이, 사운드 필드 시각화 이미지 (952) 는, 말하고 있는 개인 (906) 에게 어레이 (930) 가 지향되지 않는 -- 비록 지향되어야 하더라도 -- 참가자들을 시각적으로 나타내고, 참가자들 중 임의의 참가자는 개인 (906) 을 향해 어레이 (930) 의 사운드 필드를 재지향시키기 위한 제스처를 수행할 수도 있다. 테이블 표면 (922) 으로부터 수신된 멀티-터치 커맨드들 (1224) 에 기초한 것과 같은 제어 정보는 ("사운드 필드 경계들, 강도, 방향 등" (1234) 로서 나타낸) 어레이 (930) 의 특성들을 변경함으로써 어레이 (930) 를 제어하는데 사용될 수도 있다. 따라서, 개인 (906) 은 도 10 에서 화살표 (1002) 로서 도시된 드래깅 커맨드를 테이블 표면 (922) 상에서 수행하고, 어레이 (930) 를 재지향할 수도 있다. 도 11 은, 개인 (906) 으로부터 사운드를 수신하기 위해 어레이 (930) 가 이제 적절히 지향되는 참가자들을 나타내는, 업데이트된 사운드 필드 시각화 이미지 (1152) 로서 시각화된 어레이 (930) 의 조정된 사운드 필드를 도시한다. 따라서, 사용자는 문자 그대로 "사운드를 터치"하고, 빔 패턴들을 재지향하고 새로운 빔 패턴들을 그리고 파라미터 값들을 조정하는 등과 같은 그러한 동작들을 수행하며, 사운드 필드가 조작되고 있을 때 시각적 변화를 볼 수도 있다.
도 13 에 도시된 바와 같이 텔레컨퍼런스 시스템 또는 사운드 스테이지 시나리오 (1300) 에서와 같은 다른 예에 있어서, 사용자는 서로로부터 일 거리로 분리된 2명의 인접한 화자들 (1302, 1304) 로부터의 사운드의 픽업을 제어할 필요가 있을 수도 있다. 인접한 화자들 (1302, 1304) 사이를 커버하기 위한 거리가 넓기 때문에, 어레이 (930) 로부터의 픽업 빔은, 픽업 빔이 화자들 (1302, 1304) 을 커버하기에 충분히 넓지만 배경 잡음과 같은 의사 사운드를 픽업하기에는 넓지 않도록 조정될 필요가 있을 수도 있다. 표면 (922) 상에 디스플레이된 사운드 필드 시각화 이미지 (1352) 에 의해 도시된 바와 같이 픽업 빔을 시각적으로 볼 수 있음에 의해, 참가자들은 어레이 (930) 로부터의 픽업 빔이 너무 좁다는 것을 알 수도 있다. 즉, 사용자는, 구성될 때, 어레이 (930) 로부터의 픽업 빔이 충분히 넓지 않다는 것을 알 수도 있다. 이 예에 있어서, 예컨데 2개 손들의 사용을 통해, 사용자는, 화살표들 (1392, 1394) 에 의해 도시된 바와 같이, 어레이 (930) 로부터의 픽업 빔의 "주밍" 을 테이블 (920) 에 제스처할 수도 있다. 그 후, 테이블 (920) 은, 사용자가 더 넓은 빔을 원한다는 것을 어레이 (930) 에 통신할 수도 있다. 어레이 (930) 는 그 내부 필터들을 적당히 조정할 수도 있으며, 테이블 (920) 은 테이블 표면 (922) 상에서의 더 넓은 빔을 모두 실시간으로 또는 준 실시간으로 시각화할 수도 있다.
통상적으로, 어레이 (930) 는, 픽업 빔이 말하는 자에게 지향되도록 자동으로 스위칭할 수 있도록 말하는 자를 뒤따를 수도 있다. 도 9 의 예를 참조하면, 도 14 에 추가로 변형된 바와 같이, 귀빈 화자 ("VIP") (1410) 가 존재할 수도 있으며, 그 음성은 어레이 (930) 로부터의 픽업 빔의 주요 포커스이다. 시스템은 VIP (1410) 가 말하고 있는 어떤 것도 놓치지 않아야 하며, 개인들 (902, 904, 906, 및 908) 과 같은 다른 개인들로부터의 일부 내용을 손실하는 것을 희생할 수도 있다. 이 예에 있어서, VIP (1410) 의 방향으로 3중 탭핑하는 것 또는 2회 원을 그리는 것과 같은 제스처에 의해, 어레이 (930) 로부터의 픽업 빔은 VIP (1410) 를 뒤따르도록 고정될 수도 있으며, 어레이 (930) 는 이제 오직 VIP (1410) 만을 레코딩할 수도 있다. 사운드 필드 시각화 이미지 (1452) 는 어레이 (930) 로부터의 픽업 빔의 현재 방향을 참가자들에게 나타내기 위해 테이블 표면 (922) 상에 디스플레이될 수도 있으며, 자물쇠 아이콘 (1454) 뿐 아니라 다른 시각적 표시자들이 또한, 픽업 빔이 고정 모드에 있음을 나타내기 위해 테이블 표면 (922) 상에 나타날 수도 있다. 사용자는 픽업 빔을 고정해제하기 위해 다른 제스처를 사용할 수도 있다.
본 명세서에서 설명된 다양한 양태들은 또한 태블릿 또는 다른 터치-스크린 디바이스들로 확장될 수도 있으며, 여기서, 어레이들은 또한 태블릿 디바이스들 상에서 태깅 및 표현될 수도 있다. 예를 들어, 다수의 참가자들은 각각, 테이블 (920) 과 함께 시스템의 부분으로서 통합될 수도 있는 관련 사운드 트랜스듀서 어레이를 갖는 태블릿 디바이스를 가질 수도 있다.
물리적 공간에서 사운드 필드를 표현하기 위한 시스템의 다양한 디바이스들 및 컴포넌트들의 개관을 제공하였으므로, 이들 디바이스들이 그러한 시스템에서 어떻게 사용되는지의 상세한 설명이 하기에서 기술된다.
도 15 는 일 실시형태에 따른, 물리적 공간에서 사운드 필드를 표현하기 위한 개관 방법의 플로우 차트를 도시한다. 도 15 에 도시된 바와 같이, 사운드는 물리적 공간으로부터 캡처될 수도 있으며, 여기서, 사운드는 물리적 공간과 통신하는 사운드 트랜스듀서 어레이에 의해 물리적 공간으로 방출된다 (1502). 사운드는 실시간으로 또는 준 실시간으로 캡처될 수도 있으며, 아음속 사운드들, 초음속 사운드들, 적외선부 사운드들, 및 무선 주파수 사운드들을 포함할 수도 있다. 물리적 공간은, 예를 들어, 디스플레이 스크린, 터치 감지식 스크린 또는 태블릿일 수도 있다. 그 후, 캡처된 사운드의 사운드 프로젝션 패턴이 계산될 수도 있으며, 여기서, 사운드 프로젝션 패턴은 캡처된 사운드의 사운드 필드의 표현이다 (1504). 사운드 프로젝션 패턴은 예를 들어, 화살표와 같은 빔 패턴들 또는 기호들의 형태일 수도 있다. 사운드 프로젝션 패턴이 계산된 이후, 사운드 프로젝션 패턴은 물리적 공간 상에서 실시간으로 또는 준 실시간으로 디스플레이될 수도 있고 사운드 트랜스듀서 어레이와 의도된 사용자 사이에서 연장할 수도 있다 (1506).
일 실시형태에 따르면, 일단 사운드가 캡처되었으면, 캡처된 사운드는 캡처된 사운드의 발신 위치를 식별하도록 프로세싱될 수도 있다. 의도된 사용자는 캡처된 사운드의 발신 위치에 있을 수도 있다.
일 실시형태에 따르면, 사운드 트랜스듀서 어레이는 결합된 마이크로폰 및 스피커 어레이를 포함할 수도 있다. 마이크로폰 빔은 사운드 트랜스듀서 어레이 상에서 캡처되고 물리적 공간에서 제 1 컬러로 디스플레이될 수도 있고, 스피커 빔은 사운드 트랜스듀서 어레이로부터 전송되고 물리적 공간에서 제 2 컬러로 디스플레이될 수도 있으며, 여기서, 제 1 컬러는 제 2 컬러와는 상이하다. 컬러 히트맵이 마이크로폰 빔에 적용될 수도 있으며, 여기서, 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현한다.
다른 실시형태에 따르면, 사운드 트랜스듀서 어레이는 별개의 마이크로폰 어레이 및 별개의 스피커 어레이를 포함할 수도 있다. 마이크로폰 어레이는, 물리적 공간에서 제 1 컬러로 디스플레이될 수도 있는 마이크로폰 빔을 캡처할 수도 있으며, 스피커 빔은 물리적 공간에서 제 2 컬러로서 디스플레이되는 스피커 빔을 전송할 수도 있으며, 여기서, 제 1 컬러는 제 2 컬러와는 상이하다. 컬러 히트가 마이크로폰 빔에 적용될 수도 있으며, 여기서, 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현한다.
도 16 은 일부 구현들이 사용할 수도 있는 사운드 트랜스듀서 어레이의 일 예를 도시한다. 도 16 에 도시된 바와 같이, 사운드 트랜스듀서 어레이 (1600) 는 적어도 하나의 프로세서/프로세싱 회로 (1602), 메모리 (1604), 복수의 마이크로폰들 및 스피커들 (1606), 수개의 입력 디바이스들 (1608), 적어도 하나의 트랜시버 (1610), 적어도 하나의 사용자 인터페이스 모듈 (1612), 및 적어도 하나의 통신 인터페이스 모듈 (1614) 를 포함할 수도 있다.
마이크로폰들 및 스피커들 (1606) 은 사운드 및/또는 음성을 캡처하고, 물리적 공간에서 디스플레이되는 스피커 빔을 전송하기 위해 사용될 수도 있다. 입력 디바이스들 (1608) 은 사용자로 하여금 문자 그대로 "사운드를 터치"하게 하고, 빔 패턴들을 재지향하고 새로운 빔 패턴들을 그리고 파라미터 값들을 조정하는 등과 같은 그러한 동작들을 수행하게 하며, 사운드 필드가 조작되고 있을 때 시각적 변화를 보게 할 수도 있다.
트랜시버 (1610) 는 사운드 트랜스듀서 어레이로 하여금 다른 디바이스들 (예를 들어, 전화기, 컴퓨터, 태블릿, 사운드 트랜스듀서 어레이) 로부터 무선 신호들을 전송 및 수신하게 할 수도 있다. 사운드 트랜스듀서 어레이는 다중의 트랜시버들을 포함할 수도 있으며, 이는 사운드 트랜스듀서 어레이로 하여금 상이한 통신 링크들 및 상이한 통신 프로토콜들을 사용하여 상이한 디바이스들과 (예를 들어, 무선으로) 통신하게 한다. 일부 구현들에 있어서, 사용자 인터페이스 모듈 (1612) 은 마이크로폰들 (1606), 입력 디바이스들 (1608), 및 프로세서/프로세싱 회로 (1602) 간의 인터페이스를 제공한다. 사용자 인터페이스 모듈 (1612) 은 수개의 사용자 인터페이스 모듈들 (예를 들어, 각각의 컴포넌트에 대한 모듈) 을 포함할 수도 있다. 일부 구현들에 있어서, 통신 인터페이스 모듈 (1614) 은 트랜시버 (1610) 및 프로세서/프로세싱 회로 (1602) 간의 인터페이스를 제공한다. 통신 인터페이스 모듈 (1614) 은 수개의 인터페이스 모듈들 (예를 들어, 각각의 트랜시버에 대한 모듈) 을 포함할 수도 있다.
도 16 에 도시된 바와 같이, 프로세서/프로세싱 회로 (1602) 는 사운드 검출 모듈/회로 (1616), 포지션/배향 모듈/회로 (1618), 사운드 프로세싱 모듈/회로 (1620), 및 커맨드 모듈/회로 (1622) 를 포함할 수도 있다.
사운드 검출 모듈/회로 (1616) 는 사운드를 검출 및 캡처하기 위한 것일 수도 있다. 일부 구현들에 있어서, 사운드 검출 모듈/회로 (1616) 는 마이크로폰들 (1606) 로부터 사운드를 캡처할 수도 있다. 포지션/배향 모듈/회로 (1618) 는 일부 구현들에 있어서 사운드 트랜스듀서 어레이 (1600) 의 포지션 및/또는 배향을 결정하기 위한 것일 수도 있다. 사운드 프로세싱 모듈/회로 (1620) 는 마이크로폰들 (1606) 에 의해 캡처된 사운드를 프로세싱하고, 캡처된 사운드의 사운드 프로젝션 패턴 (즉, 하나 이상의 물리적 웨이브 필드들의 그래픽 표현) 을 계산하고, 그리고 그래픽 표현을 물리적 공간 상에 디스플레이하기 위한 것일 수도 있다. 커맨드 모듈/회로 (1622) 는 어레이의 사운드 필드를 재지향시키기 위해 멀티-터치 커맨드들 (또는 제스처들) 에 기초하여 제어 정보를 프로세싱하기 위한 것일 수도 있다. 사운드의 프로세싱은 캡처된 사운드로부터 개별 사운드를 추출하는 것을 포함할 수도 있다. 사운드의 프로세싱은 또한, 일부 구현들에 있어서, 화자들의 아이덴터티를 식별하는 것을 포함할 수도 있다.
도 17 은 일부 구현들이 사용할 수도 있는 디바이스의 일 예를 도시한다. 도 17 에 도시된 바와 같이, 디바이스 (1700) 는 적어도 하나의 프로세서/프로세싱 회로 (1702), 메모리 (1704), 터치 감지식 스크린 (1706), 수개의 입력 디바이스들 (1708), 적어도 하나의 트랜시버 (1710), 적어도 하나의 사용자 인터페이스 모듈 (1712), 및 적어도 하나의 통신 인터페이스 모듈 (1714) 를 포함할 수도 있다.
터치 감지식 스크린 (1706) 은 사운드 필드의 그래픽 표현을 물리적 공간에서 디스플레이하기 위해 사용될 수도 있다. 터치 감지식 스크린 (1706) 은 또한, 하나 이상의 사용자들로부터 입력을 수신하기 위해 사용될 수도 있다. 입력 디바이스들 (1708) 은 사용자로 하여금 데이터를 입력하게 하고/하거나 디바이스의 제어를 제공하게 한다. 트랜시버 (1710) 는 디바이스로 하여금 다른 디바이스들 (예를 들어, 전화기, 컴퓨터, 태블릿, 사운드 트랜스듀서 어레이) 로부터 무선 신호들을 전송 및 수신하게 한다. 디바이스는 다중의 트랜시버들을 포함할 수도 있으며, 이는 사운드 트랜스듀서 어레이로 하여금 상이한 통신 링크들 및 상이한 통신 프로토콜들을 사용하여 상이한 디바이스들과 (예를 들어, 무선으로) 통신하게 한다. 일부 구현들에 있어서, 사용자 인터페이스 모듈 (1712) 은 터치 감지식 스크린 (1706), 입력 디바이스들 (1708), 및 프로세서/프로세싱 회로 (1702) 간의 인터페이스를 제공한다. 사용자 인터페이스 모듈 (1712) 은 수개의 사용자 인터페이스 모듈들 (예를 들어, 각각의 컴포넌트에 대한 모듈) 을 포함할 수도 있다. 일부 구현들에 있어서, 통신 인터페이스 모듈 (1714) 은 트랜시버 (1710) 및 프로세서/프로세싱 회로 (1702) 간의 인터페이스를 제공한다. 통신 인터페이스 모듈 (1714) 은 수개의 인터페이스 모듈들 (예를 들어, 각각의 트랜시버에 대한 모듈) 을 포함할 수도 있다.
도 17 에 도시된 바와 같이, 프로세서/프로세싱 회로 (1702) 는 사운드 트랜스듀서 어레이와 인터페이스하기 위한 사운드 검출 모듈/회로 (1716), 사운드 트랜스듀서 어레이의 포지션을 결정하기 위한 포지션/배향 모듈/회로 (1718), 사운드 프로세싱 모듈/회로 (1720), 및 커맨드 모듈/회로 (1722) 를 포함할 수도 있다.
사운드 검출 모듈/회로 (1716) 는 사운드 트랜스듀서 어레이와 인터페이스하기 위한 것일 수도 있다. 포지션/배향 모듈/회로 (1718) 는 일부 구현들에 있어서 사운드 트랜스듀서 어레이의 포지션 및/또는 배향을 결정하기 위한 것일 수도 있다. 사운드 프로세싱 모듈/회로 (1720) 는 일부 구현들에 있어서 마이크로폰들에 의해 캡처된 사운드를 프로세싱하기 위한 것일 수도 있다. 마이크로폰들은 디바이스에 커플링된 사운드 트랜스듀서 어레이로부터의 마이크로폰들일 수도 있다. 사운드의 프로세싱은 캡처된 사운드로부터 개별 사운드를 추출하는 것을 포함할 수도 있다. 사운드의 프로세싱은 또한, 일부 구현들에 있어서, 화자들의 아이덴터티를 식별하는 것을 포함할 수도 있다. 커맨드 모듈/회로 (1722) 는 어레이의 사운드 필드를 재지향시키기 위해 멀티-터치 제스처들에 기초하여 제어 정보를 프로세싱하기 위한 것일 수도 있다.
도 18 은 일 실시형태에 따른, 하나 이상의 태블릿들을 활용하여 물리적 공간에서 사운드 필드를 표현 및 제어하기 위한 시스템을 도시한다. 도 18 에 도시된 바와 같이, 3명의 개인들 (1800-1806) 은 각각, 서로와 또는 허브 (1814) 와 직접 통신할 수 있는 태블릿 (1808-1812) 을 가질 수도 있다. 각각의 태블릿은, 각각의 태블릿 내에서 내부적으로 또는 각각의 태블릿 상에서 외부적으로 위치될 수도 있는 그 자신의 사운드 트랜스듀서 어레이 (즉, 마이크로폰들 및 스피커들) (1809-1813) 를 가질 수도 있다.
도 19a 는 부가적인 디바이스들을 사용하여 구현될 수도 있는 다른 구성을 도시한다. 도 19a 에 도시된 바와 같이, 사운드 트랜스듀서 어레이 (1900) 는 수개의 모바일 디바이스들 (1902-1908) (예를 들어, 핸드셋, 태블릿) 과 통신한다. 이들 모바일 디바이스들 각각은 개별 사용자/사람 (1910-1916) 과 연관될 수도 있다. 모바일 디바이스는 핸드셋, 태블릿, 전화기, 스마트 폰, 휴대용 전자 디바이스, 전자 노트패드, 및/또는 개인용 디지털 보조기 (PDA) 일 수도 있다. 모바일 디바이스는 셀룰러 네트워크 및/또는 다른 통신 네트워크들을 통해 다른 디바이스들과 통신 가능할 수도 있다.
모바일 디바이스들 (1902-1908) 은 사용자로 하여금 사운드 트랜스듀서 어레이 (1900) 에 "체크인" 및/또는 등록하게 할 수도 있다. (예를 들어, 마이크로폰 어레이 (1900) 근처에서 모바일 디바이스를 탭핑함으로써 NFC 를 사용하여 체크인함). 하지만, 상이한 구현들이 사운드 트랜스듀서 어레이 (1900) 에 상이하게 "체크인" 및/또는 등록할 수도 있다. 예를 들어, 모바일 디바이스는 사운드 트랜스듀서 어레이 (1900) 와 통신하기 위해 다른 통신 프로토콜 또는 통신 링크 (예를 들어, 블루투스, WiFi) 를 사용할 수도 있다. 일단 사용자/모바일 디바이스가 "체크인" 또는 등록되면, 모바일 디바이스는 초음속/적외선/음속 펄스들 (또는 다른 공지된 태그들) 을 사용하여 사운드 트랜스듀서 어레이에 의해 추적될 수도 있으며, 이는 사운드 트랜스듀서 어레이 (1900) 로 하여금 모바일 디바이스의 포지션/위치를 계속 알게 하고, 이는 결과적으로, 사운드 트랜스듀서 어레이 (1900) 가, 추적되는 모바일 디바이스와 연관된 사용자의 포지션/위치를 안다는 것을 의미한다.
각각의 모바일 디바이스 (1902-1908) 는, 사용자로 하여금 사운드 트랜스듀서 어레이 (1900) 에 대한 사용자 및/또는 디바이스 (예를 들어, 태블릿) 의 포지션/위치를 명시하게 하는 그 개별 스크린 상에 그래픽 사용자 인터페이스를 제공할 수도 있다. 즉, 사용자는 모바일 디바이스의 스크린 상에, 그 후 사운드 트랜스듀서 어레이 (1900) 및/또는 다른 디바이스 (예를 들어, 디바이스 (1001)) 로 (예를 들어, 블루투스, WiFi 를 통해) 전송되는 사용자의 포지션을 표시할 수도 있다. 모바일 디바이스 (예를 들어, 모바일 디바이스들 (1902-1908)) 의 스크린 상의 그래픽 사용자 인터페이스는 또한, 텍스트 (예를 들어, 필기된 캡처형 음성) 를 제공/디스플레이할 수도 있다. 그러한 텍스트는 사운드 트랜스듀서 어레이 (1900) 및/또는 사운드 트랜스듀서 어레이 (1900) 와 통신하는 다른 디바이스로부터 제공/전송될 수도 있다.
사운드 트랜스듀서 어레이 (1900) 는 테이블 (도시 안됨) 상에 위치되거나 또는 테이블 상에 통합된 디바이스의 터치 감지식 스크린 (도시 안됨) 상에 위치될 수도 있다. 유사하게, 모바일 디바이스들 (1902-1908) 은 테이블 상에 위치되거나 또는 테이블 상에 통합된 디바이스의 터치 감지식 스크린 상에 위치될 수도 있다.
도 19b 는 상이한 디바이스를 사용하여 구현될 수도 있는 다른 구성을 도시한다. 도 19b 는, 사운드 트랜스듀서 어레이 (1900) 가 디바이스 (1920) 의 터치 감지식 스크린 (1922) 상에 위치되고 사용자들의 포지션이 디바이스 (1920) 의 터치 감지식 스크린 (1922) 의 그래픽 사용자 인터페이스 상에 명시된다는 점을 제외하고는 도 19a 와 유사하다. 도 19b 에 도시된 바와 같이, 모바일 디바이스들 (1902-1908) (예를 들어, 핸드셋, 태블릿) 은 사운드 트랜스듀서 어레이 (1900) 및/또는 디바이스 (1920) 와 (예를 들어, 블루투스, WiFi 를 사용하여) 통신한다.
도 19b 에 추가로 도시된 바와 같이, 사용자들은 그래픽 사용자 인터페이스 엘리먼트들의 포지션/위치를 명시함으로써 사운드 트랜스듀서 어레이 (1900) 에 대한 그 포지션들을 명시한다. 도 19b 에 도시된 바와 같이, 스크린 (1922) 에 도시된 그래픽 사용자 인터페이스 상에 디스플레이된 4개의 그래픽 사용자 인터페이스 엘리먼트들 (1930-1936) 이 존재한다. 각각의 그래픽 사용자 인터페이스 엘리먼트 (1930-1936) 는 특정 사용자 및/또는 모바일 디바이스와 연관될 수도 있다. 그래픽 사용자 인터페이스 엘리먼트는, 사용자 인터페이스 엘리먼트가 연관되는, 사용자를 식별하는 텍스트 또는 이미지 (예를 들어, ID, 이름, 사진) 를 포함할 수도 있다. 상이한 구현들이 그래픽 사용자 인터페이스 엘리먼트들을 상이하게 제시할 수도 있다. 일부 구현들에 있어서, 그래픽 사용자 인터페이스 엘리먼트에는, 사용자가 스크린을 탭핑하고/하거나 로그인하는 것이 제시된다. 일부 구현들에 있어서, 그래픽 사용자 인터페이스 엘리먼트는, 사용자가 도 19a 에서 상기 설명된 예시적인 방법들 중 하나를 사용하여 사운드 트랜스듀서 어레이 (1900) 및/또는 디바이스 (1920) 에 "체크인" 및/또는 등록할 경우에 (예를 들어, 사운드 트랜스듀서 어레이 (1900) 및/또는 디바이스 (1920) 를 탭핑함으로써 NFC 를 이용하여 체크인함) 제시될 수도 있다. 모바일 디바이스들 (1902-1908) 이 사운드 트랜스듀서 어레이 (1900) 및/또는 디바이스 (1920) 와 통신하기 때문에, 모바일 디바이스들 (1902-1908) 은 사운드 트랜스듀서 어레이 (1900) 및 디바이스 (1920) 중 어느 하나 또는 그 양자로부터 데이터를 수신할 수도 있다. 그러한 데이터는 모바일 디바이스들 (1902-1908) 의 스크린 상에 제시/디스플레이될 수도 있다. 데이터의 예들은 일부 구현들에 있어서, 캡처된 음성의 필기된 텍스트를 포함한다.
일부 구현들에 있어서, 디바이스 (1920) 는 모바일 디바이스 (예를 들어, 태블릿, 핸드셋) 이다. 이는 모바일 디바이스의 스크린 사이즈가 모바일 디바이스의 스크린 상에 위치될 사운드 트랜스듀서 어레이 (1900) 에 대해 충분히 클 경우에 가능할 수도 있다. 그러한 경우들에 있어서, 모바일 디바이스는, 사운드 트랜스듀서 어레이 (1900) 가 위치되는 중앙 모바일 디바이스 (예를 들어, 중앙 태블릿) 로서 기능할 수도 있다. 도 19c 는 중앙 모바일 디바이스 (예를 들어, 중앙 태블릿) 를 포함하는 구성의 일 예를 도시한다. 도 19c 에 도시된 바와 같이, 모바일 디바이스들 (1902-1908) (예를 들어, 핸드셋, 태블릿) 은 사운드 트랜스듀서 어레이 (1900) 및/또는 중앙 모바일 디바이스 (1940) 와 (예를 들어, 블루투스, WiFi 를 사용하여) 통신한다. 중앙 모바일 디바이스 (1940) 는 터치 감지식 스크린 (1942) 을 포함하고, 이 터치 감지식 스크린 상에 사운드 트랜스듀서 어레이 (1900) 가 배치될 수도 있다. 모바일 디바이스들 (1902-1908) 중 임의의 디바이스는 일부 구현들에 있어서 중앙 모바일 디바이스로서 기능할 수도 있음이 주목되어야 한다.
도 19c 의 구성은, 도 19b 의 (표면 테이블/표면 태블릿일 수도 있는) 디바이스 (1920) 가 다른 모바일 디바이스들 (예를 들어, 모바일 디바이스들 (1902-1908)) 과 통신하는 중앙 모바일 디바이스로서 기능하는 모바일 디바이스 (1940) (예를 들어, 태블릿, 스마트 폰) 로 대체되었다는 점을 제외하고는 도 19b 의 구성과 유사하다. 일부 구현들에 있어서, 도 19c 에 도시된 구성의 동작은 도 19a 및 도 19b 에 도시된 및 설명된 구성들의 동작과 유사하다. 즉, 예를 들어, 일부 구현들에 있어서, 사용자들은 NFC 또는 다른 통신 프로토콜들/링크들 (예를 들어, 블루투스, WiFi) 을 사용하여 사운드 트랜스듀서 어레이 (1900) 및/또는 중앙 모바일 디바이스 (1940) 에 "체크인", 등록 및/또는 로그인할 수도 있다.
단어 "예시적인" 은 "예, 예증, 또는 예시로서 기능하는" 을 의미하도록 본 명세서에서 사용된다. "예시적인" 것으로서 본 명세서에서 설명된 임의의 구현 또는 양태는 본 개시의 다른 양태들에 비해 반드시 선호되거나 유리한 것으로서 해석되지는 않아야 한다. 유사하게, 용어 "양태들" 은 본 개시의 모든 양태들이 논의된 특징, 이점 또는 동작 형태를 포함해야 함을 요구하지는 않는다. 용어 "커플링된" 은 2개의 오브젝트들 간의 직접 또는 간접 커플링을 지칭하도록 본 명세서에서 사용된다. 예를 들어, 오브젝트 A 가 물리적으로 오브젝트 B 를 터치하고 오브젝트 B 가 오브젝트 C 를 터치하면, 오브젝트들 A 및 C 는, 서로 물리적으로 직접 터치하지 않더라도, 서로 커플링된 것으로 여전히 고려될 수도 있다. 예를 들어, 다이의 기판은, 비록 다이의 기판이 결코 패키징 기판과 물리적으로 직접 접촉하지 않더라도, 패키징 기판에 커플링될 수도 있다.
도 1, 도 2, 도 3, 도 4, 도 5, 도 6, 도 7, 도 8, 도 9, 도 10, 도 11, 도 12, 도 13, 도 14, 도 15, 도 16, 도 17, 도 18 및/또는 도 19 에 도시된 컴포넌트들, 단계들, 특징들 및/또는 기능들 중 하나 이상은 단일 컴포넌트, 단계, 특징 또는 기능으로 재배열 및/또는 결합될 수도 있거나, 수개의 컴포넌트들, 단계들, 또는 기능들로 구현될 수도 있다. 부가적인 엘리먼트들, 컴포넌트들, 단계들, 및/또는 기능들이 또한, 본 발명으로부터 일탈함없이 부가될 수도 있다.
또한, 실시형태들은, 플로우차트, 플로우 다이어그램, 구조 다이어그램, 또는 블록 다이어그램으로서 도시된 프로세스로서 기술될 수도 있음이 주목된다. 플로우차트가 동작들을 순차적인 프로세스로서 기술할 수도 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 부가적으로, 동작들의 순서가 재배열될 수도 있다. 프로세스는 그 동작들이 완료될 경우에 종료된다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 함수에 대응할 경우, 그 종료는 그 함수의 호출 함수 또는 메인 함수로의 반환에 대응한다.
더욱이, 저장 매체는 판독 전용 메모리 (ROM), 랜덤 액세스 메모리 (RAM), 자기 디스크 저장 매체들, 광학 저장 매체들, 플래시 메모리 디바이스들 및/또는 정보를 저장하기 위한 다른 머신 판독가능 매체들을 포함하여 데이터를 저장하기 위한 하나 이상의 디바이스들을 나타낼 수도 있다. 용어들 "머신 판독가능 매체" 또는 "머신 판독가능 저장 매체" 는 휴대용 또는 고정식 저장 디바이스들, 광학 저장 디바이스들, 무선 채널들, 및 명령(들) 및/또는 데이터를 저장, 포함, 또는 수록할 수 있는 다양한 다른 매체들을 포함하지만 이에 한정되지 않는다.
더욱이, 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 또는 이들의 임의의 조합에 의해 구현될 수도 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현될 경우, 필요한 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체 또는 다른 저장부(들) 와 같은 머신 판독가능 매체에 저장될 수도 있다. 프로세서는 필요한 태스크들을 수행할 수도 있다. 코드 세그먼트는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 스테이트먼트들의 임의의 조합을 나타낼 수도 있다. 코드 세그먼트는 정보, 데이터, 인수들, 파라미터들, 또는 메모리 컨텐츠들을 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수도 있다. 정보, 인수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 전송 등을 포함한 임의의 적절한 수단을 통해 전달, 포워딩, 또는 전송될 수도 있다.
본 명세서에 개시된 예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들 (예를 들어, 프로세싱 회로), 엘리먼트들, 및/또는 컴포넌트들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그래밍가능 게이트 어레이 (FPGA) 또는 다른 프로그래밍가능 로직 컴포넌트, 별개의 게이트 또는 트랜지스터 로직, 별개의 하드웨어 컴포넌트들, 또는 본 명세서에서 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로, 그 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 컴포넌트들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 다수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 기타 다른 구성물로서 구현될 수도 있다.
본 명세서에 개시된 예들과 관련하여 설명된 방법들 또는 알고리즘들은 하드웨어에서, 프로세서에 의해 실행가능한 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 프로세싱 유닛, 프로그래밍 명령들, 또는 다른 명령들의 형태로 직접 구현될 수도 있으며, 단일의 디바이스에 포함되거나 다중의 디바이스들에 걸쳐 분산될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 착탈가능 디스크, CD-ROM, 또는 당업계에 공지된 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 저장 매체는, 프로세서가 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있도록 프로세서에 커플링될 수도 있다. 대안적으로, 저장 매체는 프로세서에 통합될 수도 있다.
당업자는 본 명세서에 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합으로서 구현될 수도 있음을 추가로 인식할 것이다. 하드웨어와 소프트웨어의 이러한 대체 가능성을 분명히 예시하기 위하여, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 일반적으로 그들의 기능의 관점에서 상기 기술되었다. 그러한 기능이 하드웨어로서 구현될지 또는 소프트웨어로서 구현될지는 전체 시스템에 부과된 특정 어플리케이션 및 설계 제약들에 의존한다.
본 명세서에서 설명된 본 발명의 다양한 특징들은 본 발명으로부터 일탈함없이 상이한 시스템들에서 구현될 수 있다. 본 개시의 전술한 양태들은 단지 예들일 뿐 본 발명을 한정하는 것으로서 해석되지 않아야 함이 주목되어야 한다. 본 개시의 양태들의 설명은 예시적인 것으로 의도되며 청구항들의 범위를 한정하도록 의도되지 않는다. 그에 따라, 본 교시들은 다른 타입들의 장치들에 용이하게 적용될 수 있으며, 다수의 대안들, 변형들, 및 변동들은 당업자에게 명백할 것이다.

Claims (61)

  1. 물리적 공간에서 사운드 필드를 표현하는 방법으로서,
    상기 물리적 공간으로부터 사운드를 캡처하는 단계로서, 상기 사운드는 상기 물리적 공간과 통신하는 사운드 트랜스듀서 어레이에 의해 상기 물리적 공간으로 방출되는, 상기 사운드를 캡처하는 단계;
    캡처된 상기 사운드의 사운드 프로젝션 패턴을 계산하는 단계로서, 상기 사운드 프로젝션 패턴은 캡처된 상기 사운드의 사운드 필드의 표현을 포함하는, 상기 사운드 프로젝션 패턴을 계산하는 단계; 및
    상기 사운드 프로젝션 패턴을 상기 물리적 공간 상에 디스플레이하는 단계를 포함하고,
    상기 사운드 프로젝션 패턴은 상기 사운드 트랜스듀서 어레이와 의도된 사용자 사이에서 연장하는, 사운드 필드를 표현하는 방법.
  2. 제 1 항에 있어서,
    캡처된 상기 사운드의 발신 위치를 식별하기 위해 캡처된 상기 사운드를 프로세싱하는 단계를 더 포함하는, 사운드 필드를 표현하는 방법.
  3. 제 2 항에 있어서,
    상기 의도된 사용자는 캡처된 상기 사운드의 발신 위치에 있는, 사운드 필드를 표현하는 방법.
  4. 제 1 항에 있어서,
    상기 사운드 트랜스듀서 어레이는 별개의 마이크로폰 어레이 및 스피커 어레이를 포함하는, 사운드 필드를 표현하는 방법.
  5. 제 4 항에 있어서,
    마이크로폰 빔을 상기 마이크로폰 어레이 상에서 캡처하는 단계로서, 상기 마이크로폰 빔은 상기 물리적 공간에서 제 1 컬러로 디스플레이되는, 상기 마이크로폰 빔을 캡처하는 단계; 및
    상기 스피커 어레이로부터 스피커 빔을 전송하는 단계를 더 포함하고,
    상기 스피커 빔은 상기 물리적 공간에서 제 2 컬러로 디스플레이되고, 상기 제 1 컬러는 상기 제 2 컬러와는 상이한, 사운드 필드를 표현하는 방법.
  6. 제 5 항에 있어서,
    컬러 히트맵을 상기 마이크로폰 빔에 적용하는 단계를 더 포함하고,
    상기 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 상기 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현하는, 사운드 필드를 표현하는 방법.
  7. 제 1 항에 있어서,
    상기 사운드 트랜스듀서 어레이는 결합된 마이크로폰 및 스피커 어레이를 포함하는, 사운드 필드를 표현하는 방법.
  8. 제 7 항에 있어서,
    마이크로폰 빔을 상기 사운드 트랜스듀서 어레이 상에서 캡처하는 단계로서, 상기 마이크로폰 빔은 상기 물리적 공간에서 제 1 컬러로 디스플레이되는, 상기 마이크로폰 빔을 캡처하는 단계; 및
    상기 사운드 트랜스듀서 어레이로부터 스피커 빔을 전송하는 단계를 더 포함하고,
    상기 스피커 빔은 상기 물리적 공간에서 제 2 컬러로 디스플레이되고, 상기 제 1 컬러는 상기 제 2 컬러와는 상이한, 사운드 필드를 표현하는 방법.
  9. 제 8 항에 있어서,
    컬러 히트맵을 상기 마이크로폰 빔에 적용하는 단계를 더 포함하고,
    상기 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 상기 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현하는, 사운드 필드를 표현하는 방법.
  10. 제 1 항에 있어서,
    상기 사운드는 아음속 사운드들, 초음속 사운드들, 적외선부 사운드들, 및 무선 주파수 사운드들을 포함하는, 사운드 필드를 표현하는 방법.
  11. 제 1 항에 있어서,
    상기 사운드는 실시간으로 또는 준 실시간으로 캡처되는, 사운드 필드를 표현하는 방법.
  12. 제 1 항에 있어서,
    상기 사운드 프로젝션 패턴은 실시간으로 또는 준 실시간으로 디스플레이되는, 사운드 필드를 표현하는 방법.
  13. 제 1 항에 있어서,
    상기 물리적 공간은 디스플레이 스크린, 터치 스크린 및 태블릿 중 적어도 하나를 포함하는, 사운드 필드를 표현하는 방법.
  14. 제 1 항에 있어서,
    상기 사운드 프로젝션 패턴은 빔 패턴들의 형태인 사운드 프로젝션 패턴을 포함하는, 사운드 필드를 표현하는 방법.
  15. 제 1 항에 있어서,
    상기 사운드 프로젝션 패턴은 기호를 포함하는, 사운드 필드를 표현하는 방법.
  16. 제 15 항에 있어서,
    상기 기호는 화살표를 포함하는, 사운드 필드를 표현하는 방법.
  17. 물리적 공간과 통신하는 사운드 트랜스듀서 어레이로서,
    스피커 어레이;
    사운드를 캡처하기 위해 상기 스피커 어레이와 통신하는 마이크로폰 어레이; 및
    상기 마이크로폰 어레이와 통신하는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 사운드를 캡처하고;
    캡처된 상기 사운드의 사운드 프로젝션 패턴을 계산하는 것으로서, 상기 사운드 프로젝션 패턴은 캡처된 상기 사운드의 사운드 필드의 표현을 포함하는, 상기 사운드 프로젝션 패턴을 계산하고; 그리고
    상기 사운드 프로젝션 패턴을 상기 물리적 공간 상에 디스플레이하도록
    구성되고,
    상기 사운드 프로젝션 패턴은 상기 사운드 트랜스듀서 어레이와 의도된 사용자 사이에서 연장하는, 사운드 트랜스듀서 어레이.
  18. 제 17 항에 있어서,
    상기 적어도 하나의 프로세서는 추가로, 캡처된 상기 사운드의 발신 위치를 식별하기 위해 캡처된 상기 사운드를 프로세싱하도록 구성되는, 사운드 트랜스듀서 어레이.
  19. 제 18 항에 있어서,
    상기 의도된 사용자는 캡처된 상기 사운드의 발신 위치에 있는, 사운드 트랜스듀서 어레이.
  20. 제 17 항에 있어서,
    상기 마이크로폰 어레이는 상기 스피커 어레이와는 별개인, 사운드 트랜스듀서 어레이.
  21. 제 20 항에 있어서,
    상기 적어도 하나의 프로세서는 추가로,
    마이크로폰 빔을 상기 마이크로폰 어레이 상에서 캡처하는 것으로서, 상기 마이크로폰 빔은 상기 물리적 공간에서 제 1 컬러로 디스플레이되는, 상기 마이크로폰 빔을 캡처하고; 그리고
    상기 스피커 어레이로부터 스피커 빔을 전송하도록
    구성되고,
    상기 스피커 빔은 상기 물리적 공간에서 제 2 컬러로 디스플레이되고, 상기 제 1 컬러는 상기 제 2 컬러와는 상이한, 사운드 트랜스듀서 어레이.
  22. 제 21 항에 있어서,
    상기 적어도 하나의 프로세서는 추가로, 컬러 히트맵을 상기 마이크로폰 빔에 적용하도록 구성되고,
    상기 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 상기 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현하는, 사운드 트랜스듀서 어레이.
  23. 제 17 항에 있어서,
    상기 마이크로폰 어레이는 상기 스피커 어레이와 결합되는, 사운드 트랜스듀서 어레이.
  24. 제 23 항에 있어서,
    상기 적어도 하나의 프로세서는 추가로,
    마이크로폰 빔을 결합된 상기 마이크로폰 및 스피커 어레이 상에서 캡처하는 것으로서, 상기 마이크로폰 빔은 상기 물리적 공간에서 제 1 컬러로 디스플레이되는, 상기 마이크로폰 빔을 캡처하고; 그리고
    결합된 상기 마이크로폰 및 스피커 어레이로부터 스피커 빔을 전송하도록
    구성되고,
    상기 스피커 빔은 상기 물리적 공간에서 제 2 컬러로 디스플레이되고, 상기 제 1 컬러는 상기 제 2 컬러와는 상이한, 사운드 트랜스듀서 어레이.
  25. 제 24 항에 있어서,
    상기 적어도 하나의 프로세서는 추가로, 컬러 히트맵을 상기 마이크로폰 빔에 적용하도록 구성되고,
    상기 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 상기 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현하는, 사운드 트랜스듀서 어레이.
  26. 제 17 항에 있어서,
    상기 사운드는 아음속 사운드들, 초음속 사운드들, 적외선부 사운드들, 및 무선 주파수 사운드들 중 하나 이상을 포함하는, 사운드 트랜스듀서 어레이.
  27. 제 17 항에 있어서,
    상기 사운드는 실시간으로 또는 준 실시간으로 캡처되는, 사운드 트랜스듀서 어레이.
  28. 제 17 항에 있어서,
    상기 사운드 프로젝션 패턴은 실시간으로 또는 준 실시간으로 디스플레이되는, 사운드 트랜스듀서 어레이.
  29. 제 17 항에 있어서,
    상기 물리적 공간은 디스플레이 스크린, 터치 스크린 및 태블릿 중 적어도 하나를 포함하는, 사운드 트랜스듀서 어레이.
  30. 제 17 항에 있어서,
    상기 사운드 프로젝션 패턴은 빔 패턴들의 형태인 사운드 프로젝션 패턴을 포함하는, 사운드 트랜스듀서 어레이.
  31. 제 17 항에 있어서,
    상기 사운드 프로젝션 패턴은 기호를 포함하는, 사운드 트랜스듀서 어레이.
  32. 제 31 항에 있어서,
    상기 기호는 화살표를 포함하는, 사운드 트랜스듀서 어레이.
  33. 물리적 공간과 통신하는 사운드 트랜스듀서 어레이로서,
    상기 물리적 공간으로부터 사운드를 캡처하는 수단으로서, 상기 사운드는 상기 물리적 공간과 통신하는 사운드 트랜스듀서 어레이에 의해 상기 물리적 공간으로 방출되는, 상기 사운드를 캡처하는 수단;
    캡처된 상기 사운드의 사운드 프로젝션 패턴을 계산하는 수단으로서, 상기 사운드 프로젝션 패턴은 캡처된 상기 사운드의 사운드 필드의 표현을 포함하는, 상기 사운드 프로젝션 패턴을 계산하는 수단; 및
    상기 사운드 프로젝션 패턴을 상기 물리적 공간 상에 디스플레이하는 수단을 포함하고,
    상기 사운드 프로젝션 패턴은 상기 사운드 트랜스듀서 어레이와 의도된 사용자 사이에서 연장하는, 사운드 트랜스듀서 어레이.
  34. 제 33 항에 있어서,
    캡처된 상기 사운드의 발신 위치를 식별하기 위해 캡처된 상기 사운드를 프로세싱하는 수단을 더 포함하는, 사운드 트랜스듀서 어레이.
  35. 제 34 항에 있어서,
    상기 의도된 사용자는 캡처된 상기 사운드의 발신 위치에 있는, 사운드 트랜스듀서 어레이.
  36. 제 33 항에 있어서,
    상기 사운드 트랜스듀서 어레이는 별개의 마이크로폰 어레이 및 스피커 어레이를 포함하는, 사운드 트랜스듀서 어레이.
  37. 제 36 항에 있어서,
    마이크로폰 빔을 상기 마이크로폰 어레이 상에서 캡처하는 수단으로서, 상기 마이크로폰 빔은 상기 물리적 공간에서 제 1 컬러로 디스플레이되는, 상기 마이크로폰 빔을 캡처하는 수단; 및
    상기 스피커 어레이로부터 스피커 빔을 전송하는 수단을 더 포함하고,
    상기 스피커 빔은 상기 물리적 공간에서 제 2 컬러로 디스플레이되고, 상기 제 1 컬러는 상기 제 2 컬러와는 상이한, 사운드 트랜스듀서 어레이.
  38. 제 37 항에 있어서,
    컬러 히트맵을 상기 마이크로폰 빔에 적용하는 수단을 더 포함하고,
    상기 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 상기 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현하는, 사운드 트랜스듀서 어레이.
  39. 제 33 항에 있어서,
    상기 사운드 트랜스듀서 어레이는 결합된 마이크로폰 및 스피커 어레이를 포함하는, 사운드 트랜스듀서 어레이.
  40. 제 39 항에 있어서,
    마이크로폰 빔을 상기 사운드 트랜스듀서 어레이 상에서 캡처하는 수단으로서, 상기 마이크로폰 빔은 상기 물리적 공간에서 제 1 컬러로 디스플레이되는, 상기 마이크로폰 빔을 캡처하는 수단; 및
    상기 사운드 트랜스듀서 어레이로부터 스피커 빔을 전송하는 수단을 더 포함하고,
    상기 스피커 빔은 상기 물리적 공간에서 제 2 컬러로 디스플레이되고, 상기 제 1 컬러는 상기 제 2 컬러와는 상이한, 사운드 트랜스듀서 어레이.
  41. 제 40 항에 있어서,
    컬러 히트맵을 상기 마이크로폰 빔에 적용하는 수단을 더 포함하고,
    상기 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 상기 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현하는, 사운드 트랜스듀서 어레이.
  42. 제 33 항에 있어서,
    상기 사운드는 아음속 사운드들, 초음속 사운드들, 적외선부 사운드들, 및 무선 주파수 사운드들 중 하나 이상을 포함하는, 사운드 트랜스듀서 어레이.
  43. 제 33 항에 있어서,
    상기 사운드는 실시간으로 또는 준 실시간으로 캡처되는, 사운드 트랜스듀서 어레이.
  44. 제 33 항에 있어서,
    상기 사운드 프로젝션 패턴은 실시간으로 또는 준 실시간으로 디스플레이되는, 사운드 트랜스듀서 어레이.
  45. 제 33 항에 있어서,
    상기 물리적 공간은 디스플레이 스크린, 터치 스크린 및 태블릿 중 적어도 하나를 포함하는, 사운드 트랜스듀서 어레이.
  46. 제 33 항에 있어서,
    상기 사운드 프로젝션 패턴은 빔 패턴들의 형태인 사운드 프로젝션 패턴을 포함하는, 사운드 트랜스듀서 어레이.
  47. 제 46 항에 있어서,
    상기 사운드 프로젝션 패턴은 기호를 포함하는, 사운드 트랜스듀서 어레이.
  48. 물리적 공간에서 사운드 필드를 표현하기 위한 하나 이상의 명령들을 포함하는 컴퓨터 판독가능 저장 매체로서,
    상기 하나 이상의 명령들은, 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서로 하여금
    상기 물리적 공간으로부터 사운드를 캡처하게 하는 것으로서, 상기 사운드는 상기 물리적 공간과 통신하는 사운드 트랜스듀서 어레이에 의해 상기 물리적 공간으로 방출되는, 상기 사운드를 캡처하게 하고;
    캡처된 상기 사운드의 사운드 프로젝션 패턴을 계산하게 하는 것으로서, 상기 사운드 프로젝션 패턴은 캡처된 상기 사운드의 사운드 필드의 표현을 포함하는, 상기 사운드 프로젝션 패턴을 계산하게 하고; 그리고
    상기 사운드 프로젝션 패턴을 상기 물리적 공간 상에 디스플레이하게 하며,
    상기 사운드 프로젝션 패턴은 상기 사운드 트랜스듀서 어레이와 의도된 사용자 사이에서 연장하는, 컴퓨터 판독가능 저장 매체.
  49. 제 48 항에 있어서,
    적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서로 하여금 캡처된 상기 사운드의 발신 위치를 식별하기 위해 캡처된 상기 사운드를 프로세싱하게 하는 하나 이상의 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
  50. 제 49 항에 있어서,
    상기 의도된 사용자는 캡처된 상기 사운드의 발신 위치에 있는, 컴퓨터 판독가능 저장 매체.
  51. 제 48 항에 있어서,
    상기 사운드 트랜스듀서 어레이는 별개의 마이크로폰 어레이 및 스피커 어레이를 포함하는, 컴퓨터 판독가능 저장 매체.
  52. 제 48 항에 있어서,
    적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서로 하여금
    마이크로폰 빔을 마이크로폰 어레이 상에서 캡처하게 하는 것으로서, 상기 마이크로폰 빔은 상기 물리적 공간에서 제 1 컬러로 디스플레이되는, 상기 마이크로폰 빔을 캡처하게 하고; 그리고
    스피커 어레이로부터 스피커 빔을 전송하게 하는
    하나 이상의 명령들을 더 포함하고,
    상기 스피커 빔은 상기 물리적 공간에서 제 2 컬러로 디스플레이되고, 상기 제 1 컬러는 상기 제 2 컬러와는 상이한, 컴퓨터 판독가능 저장 매체.
  53. 제 48 항에 있어서,
    적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서로 하여금 컬러 히트맵을 마이크로폰 빔에 적용하게 하는 하나 이상의 명령들을 더 포함하고,
    상기 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 상기 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현하는, 컴퓨터 판독가능 저장 매체.
  54. 제 48 항에 있어서,
    상기 사운드 트랜스듀서 어레이는 결합된 마이크로폰 및 스피커 어레이를 포함하는, 컴퓨터 판독가능 저장 매체.
  55. 제 54 항에 있어서,
    적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서로 하여금
    마이크로폰 빔을 상기 사운드 트랜스듀서 어레이 상에서 캡처하게 하는 것으로서, 상기 마이크로폰 빔은 상기 물리적 공간에서 제 1 컬러로 디스플레이되는, 상기 마이크로폰 빔을 캡처하게 하고; 그리고
    상기 사운드 트랜스듀서 어레이로부터 스피커 빔을 전송하게 하는
    하나 이상의 명령들을 더 포함하고,
    상기 스피커 빔은 상기 물리적 공간에서 제 2 컬러로 디스플레이되고, 상기 제 1 컬러는 상기 제 2 컬러와는 상이한, 컴퓨터 판독가능 저장 매체.
  56. 제 55 항에 있어서,
    적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서로 하여금 컬러 히트맵을 상기 마이크로폰 빔에 적용하게 하는 하나 이상의 명령들을 더 포함하고,
    상기 컬러 히트맵의 메인 로브는 강한 신호 영역을 표현하고 상기 컬러 히트맵에서의 컬러 변화들은 더 약한 신호 영역들을 표현하는, 컴퓨터 판독가능 저장 매체.
  57. 제 48 항에 있어서,
    상기 사운드는 아음속 사운드들, 초음속 사운드들, 적외선부 사운드들, 및 무선 주파수 사운드들 중 하나 이상을 포함하는, 컴퓨터 판독가능 저장 매체.
  58. 제 48 항에 있어서,
    상기 사운드는 실시간으로 또는 준 실시간으로 캡처되는, 컴퓨터 판독가능 저장 매체.
  59. 제 48 항에 있어서,
    상기 사운드 프로젝션 패턴은 실시간으로 또는 준 실시간으로 디스플레이되는, 컴퓨터 판독가능 저장 매체.
  60. 제 48 항에 있어서,
    상기 물리적 공간은 디스플레이 스크린, 터치 스크린 및 태블릿 중 적어도 하나를 포함하는, 컴퓨터 판독가능 저장 매체.
  61. 제 48 항에 있어서,
    상기 사운드 프로젝션 패턴은 빔 패턴들의 형태인 사운드 프로젝션 패턴을 포함하는, 컴퓨터 판독가능 저장 매체.
KR1020157015747A 2012-11-14 2013-10-11 물리적 공간에서 사운드 필드를 표현하기 위한 방법들 및 장치들 KR101762522B1 (ko)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201261726456P 2012-11-14 2012-11-14
US201261726451P 2012-11-14 2012-11-14
US201261726461P 2012-11-14 2012-11-14
US201261726441P 2012-11-14 2012-11-14
US61/726,461 2012-11-14
US61/726,441 2012-11-14
US61/726,456 2012-11-14
US61/726,451 2012-11-14
US13/725,951 2012-12-21
US13/725,951 US9412375B2 (en) 2012-11-14 2012-12-21 Methods and apparatuses for representing a sound field in a physical space
PCT/US2013/064707 WO2014077990A1 (en) 2012-11-14 2013-10-11 Methods and apparatuses for representing a sound field in a physical space

Publications (2)

Publication Number Publication Date
KR20150085030A true KR20150085030A (ko) 2015-07-22
KR101762522B1 KR101762522B1 (ko) 2017-07-27

Family

ID=50681708

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157015749A KR20150085032A (ko) 2012-11-14 2013-10-11 사운드의 유형의 제어를 제공하기 위한 방법들 및 장치들
KR1020157015747A KR101762522B1 (ko) 2012-11-14 2013-10-11 물리적 공간에서 사운드 필드를 표현하기 위한 방법들 및 장치들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157015749A KR20150085032A (ko) 2012-11-14 2013-10-11 사운드의 유형의 제어를 제공하기 위한 방법들 및 장치들

Country Status (6)

Country Link
US (3) US9286898B2 (ko)
EP (3) EP2920984A1 (ko)
JP (3) JP6138956B2 (ko)
KR (2) KR20150085032A (ko)
CN (3) CN104919823B (ko)
WO (3) WO2014077991A1 (ko)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286898B2 (en) 2012-11-14 2016-03-15 Qualcomm Incorporated Methods and apparatuses for providing tangible control of sound
US11140502B2 (en) * 2013-03-15 2021-10-05 Jawbone Innovations, Llc Filter selection for delivering spatial audio
US10575093B2 (en) * 2013-03-15 2020-02-25 Elwha Llc Portable electronic device directed audio emitter arrangement system and method
US10291983B2 (en) 2013-03-15 2019-05-14 Elwha Llc Portable electronic device directed audio system and method
US9886941B2 (en) 2013-03-15 2018-02-06 Elwha Llc Portable electronic device directed audio targeted user system and method
US10531190B2 (en) 2013-03-15 2020-01-07 Elwha Llc Portable electronic device directed audio system and method
US10181314B2 (en) 2013-03-15 2019-01-15 Elwha Llc Portable electronic device directed audio targeted multiple user system and method
CN104065798B (zh) * 2013-03-21 2016-08-03 华为技术有限公司 声音信号处理方法及设备
US9128552B2 (en) 2013-07-17 2015-09-08 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
US9729994B1 (en) * 2013-08-09 2017-08-08 University Of South Florida System and method for listener controlled beamforming
US9223340B2 (en) * 2013-08-14 2015-12-29 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
EP3039513B1 (en) 2013-09-03 2020-08-19 Apple Inc. Crown input for a wearable electronic device
US9398250B2 (en) * 2014-01-06 2016-07-19 Arun Sobti & Associates, Llc System and apparatus for smart devices based conferencing
US9338544B2 (en) * 2014-06-03 2016-05-10 Cisco Technology, Inc. Determination, display, and adjustment of best sound source placement region relative to microphone
EP3584671B1 (en) 2014-06-27 2022-04-27 Apple Inc. Manipulation of calendar application in device with touch screen
US10051364B2 (en) * 2014-07-03 2018-08-14 Qualcomm Incorporated Single channel or multi-channel audio control interface
US10079941B2 (en) * 2014-07-07 2018-09-18 Dolby Laboratories Licensing Corporation Audio capture and render device having a visual display and user interface for use for audio conferencing
JP2016019086A (ja) * 2014-07-07 2016-02-01 ヤマハ株式会社 ビーム方向設定装置およびビーム方向設定システム
US9817634B2 (en) * 2014-07-21 2017-11-14 Intel Corporation Distinguishing speech from multiple users in a computer interaction
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
WO2016036510A1 (en) 2014-09-02 2016-03-10 Apple Inc. Music user interface
TW201610758A (zh) 2014-09-02 2016-03-16 蘋果公司 按鈕功能性
US20160062571A1 (en) 2014-09-02 2016-03-03 Apple Inc. Reduced size user interface
CN104469595A (zh) * 2014-10-30 2015-03-25 苏州上声电子有限公司 一种基于误差模型的多区域声重放方法和装置
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
EP3266224B1 (en) * 2015-04-08 2021-05-19 Huawei Technologies Co., Ltd. Apparatus and method for driving an array of loudspeakers
CN106303810B (zh) * 2015-05-13 2021-09-10 青岛通产智能机器人有限公司 基于方向性声音传感器的声源方位判断装置及方法
GB2540224A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Multi-apparatus distributed media capture for playback control
US10013996B2 (en) 2015-09-18 2018-07-03 Qualcomm Incorporated Collaborative audio processing
US9706300B2 (en) * 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
KR20170044386A (ko) * 2015-10-15 2017-04-25 삼성전자주식회사 전자기기 및 전자기기의 제어방법
CN105187998B (zh) * 2015-10-20 2018-11-13 张浩杰 一种超声波感应电子连体扬声器
CN105898026B (zh) * 2015-12-30 2020-03-06 乐融致新电子科技(天津)有限公司 移动终端录音提示方法、提示装置及其移动终端
CN105489219A (zh) * 2016-01-06 2016-04-13 广州零号软件科技有限公司 室内空间服务机器人分布式语音识别系统与产品
US11388541B2 (en) 2016-01-07 2022-07-12 Noveto Systems Ltd. Audio communication system and method
IL243513B2 (en) * 2016-01-07 2023-11-01 Noveto Systems Ltd A system and method for voice communication
US9621795B1 (en) 2016-01-08 2017-04-11 Microsoft Technology Licensing, Llc Active speaker location detection
US10848863B2 (en) 2016-01-14 2020-11-24 Harman International Industries, Incorporated Acoustic radiation pattern control
EP3420735B1 (en) 2016-02-25 2020-06-10 Dolby Laboratories Licensing Corporation Multitalker optimised beamforming system and method
US11195542B2 (en) * 2019-10-31 2021-12-07 Ron Zass Detecting repetitions in audio data
CN107643509B (zh) * 2016-07-22 2019-01-11 腾讯科技（深圳）有限公司 定位方法、定位系统及终端设备
JP6520878B2 (ja) * 2016-09-21 2019-05-29 トヨタ自動車株式会社 音声取得システムおよび音声取得方法
US10034083B2 (en) * 2016-09-21 2018-07-24 International Business Machines Corporation Crowdsourcing sound captures to determine sound origins and to predict events
TWI619093B (zh) * 2016-10-19 2018-03-21 財團法人資訊工業策進會 視覺定位裝置、方法及其電腦程式產品
CN106409272B (zh) * 2016-11-18 2023-11-10 徐州芯特智能装备有限公司 感应式可视化铜鼓系统
GB2557219A (en) * 2016-11-30 2018-06-20 Nokia Technologies Oy Distributed audio capture and mixing controlling
US10362270B2 (en) 2016-12-12 2019-07-23 Dolby Laboratories Licensing Corporation Multimodal spatial registration of devices for congruent multimedia communications
US10952008B2 (en) 2017-01-05 2021-03-16 Noveto Systems Ltd. Audio communication system and method
KR101833892B1 (ko) * 2017-02-08 2018-03-02 포항공과대학교 산학협력단 압전 멤스 기반 초지향성 라우드 스피커 및 이의 빔 조향 방법
JP6472823B2 (ja) * 2017-03-21 2019-02-20 株式会社東芝 信号処理装置、信号処理方法および属性付与装置
CN106954136A (zh) * 2017-05-16 2017-07-14 成都泰声科技有限公司 一种集成麦克风接收阵列的超声定向发射参量阵
CN107437063A (zh) * 2017-07-04 2017-12-05 上海小蚁科技有限公司 用于感测环境的装置和方法、非暂态计算机可读介质
CN107277699A (zh) * 2017-07-21 2017-10-20 歌尔科技有限公司 一种拾音方法及装置
CN111602101A (zh) * 2017-12-22 2020-08-28 超级触觉资讯处理有限公司 利用空中触觉系统的人类交互
JP7058002B2 (ja) * 2018-01-25 2022-04-21 凸版印刷株式会社 振動提示システム、振動提示方法、操作端末および振動提示デバイス
JP7183558B2 (ja) * 2018-03-29 2022-12-06 株式会社リコー 共用支援サーバ、共用システム、共用支援方法、及びプログラム
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
WO2019231630A1 (en) * 2018-05-31 2019-12-05 Shure Acquisition Holdings, Inc. Augmented reality microphone pick-up pattern visualization
EP3588926B1 (en) * 2018-06-26 2021-07-21 Nokia Technologies Oy Apparatuses and associated methods for spatial presentation of audio
US10712824B2 (en) 2018-09-11 2020-07-14 Apple Inc. Content-based tactile outputs
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10887514B2 (en) * 2018-12-21 2021-01-05 Fuji Xerox Co., Ltd. System and method of providing gaze and awareness for ultra wide and 360 cameras
CN109451291A (zh) * 2018-12-29 2019-03-08 像航（上海）科技有限公司 无介质浮空投影声源定向语音交互系统、智能汽车
US10839807B2 (en) * 2018-12-31 2020-11-17 Hed Technologies Sarl Systems and methods for voice identification and analysis
US11082769B2 (en) 2019-11-15 2021-08-03 Bose Corporation Audio visualization in telecommunications applications
US11862168B1 (en) * 2020-03-30 2024-01-02 Amazon Technologies, Inc. Speaker disambiguation and transcription from multiple audio feeds
US11170752B1 (en) * 2020-04-29 2021-11-09 Gulfstream Aerospace Corporation Phased array speaker and microphone system for cockpit communication
US20220191305A1 (en) * 2020-12-11 2022-06-16 International Business Machines Corporation Identifying a voice command boundary
CN112834023B (zh) * 2021-01-06 2021-10-19 江苏科技大学 一种基于近场变换的空间辐射声场获取方法
US11540078B1 (en) 2021-06-04 2022-12-27 Google Llc Spatial audio in video conference calls based on content type or participant role
US11637991B2 (en) 2021-08-04 2023-04-25 Google Llc Video conferencing systems featuring multiple spatial interaction modes
US11849257B2 (en) 2021-08-04 2023-12-19 Google Llc Video conferencing systems featuring multiple spatial interaction modes

Family Cites Families (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731848A (en) 1984-10-22 1988-03-15 Northwestern University Spatial reverberator
US5666136A (en) 1991-12-17 1997-09-09 Sony Corporation Audio equipment and method of displaying operation thereof
JPH0784592A (ja) 1993-09-14 1995-03-31 Fujitsu Ltd 音声認識装置
US6545669B1 (en) 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US6826284B1 (en) 2000-02-04 2004-11-30 Agere Systems Inc. Method and apparatus for passive acoustic source localization for video camera steering applications
US20020089541A1 (en) * 2000-02-14 2002-07-11 Julian Orbanes System for graphically interconnecting operators
US6850496B1 (en) 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
US7146260B2 (en) 2001-04-24 2006-12-05 Medius, Inc. Method and apparatus for dynamic configuration of multiprocessor system
US7071920B2 (en) * 2001-07-06 2006-07-04 Hewlett-Packard Development Company, L.P. Method and apparatus for indicating an operating mode of a computer-pointing device
JP4280901B2 (ja) * 2002-02-05 2009-06-17 株式会社セガ 音声チャットシステム
TWI304559B (ko) 2002-05-24 2008-12-21 Waltop Int Corp
US6882971B2 (en) 2002-07-18 2005-04-19 General Instrument Corporation Method and apparatus for improving listener differentiation of talkers during a conference call
US20040080494A1 (en) 2002-10-29 2004-04-29 International Business Machines Corporation Force-sensing mouse pointing device for computer input
US6990193B2 (en) 2002-11-29 2006-01-24 Mitel Knowledge Corporation Method of acoustic echo cancellation in full-duplex hands free audio conferencing with spatial directivity
US7305078B2 (en) * 2003-12-18 2007-12-04 Electronic Data Systems Corporation Speaker identification during telephone conferencing
JP4546151B2 (ja) * 2004-05-26 2010-09-15 株式会社日立製作所 音声コミュニケーション・システム
US8627213B1 (en) 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
WO2006100980A1 (ja) 2005-03-18 2006-09-28 Pioneer Corporation 音声信号処理装置及びそのためのコンピュータプログラム
US7692637B2 (en) 2005-04-26 2010-04-06 Nokia Corporation User input device for electronic device
DE102005043641A1 (de) * 2005-05-04 2006-11-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Generierung und Bearbeitung von Toneffekten in räumlichen Tonwiedergabesystemen mittels einer graphischen Benutzerschnittstelle
US20070075968A1 (en) 2005-09-30 2007-04-05 Hall Bernard J System and method for sensing the position of a pointing object
US20070127668A1 (en) 2005-12-02 2007-06-07 Ahya Deepak P Method and system for performing a conference call
WO2007083739A1 (ja) 2006-01-19 2007-07-26 Nippon Hoso Kyokai ３次元音響パンニング装置
US8125508B2 (en) 2006-01-24 2012-02-28 Lifesize Communications, Inc. Sharing participant information in a videoconference
JP5286667B2 (ja) 2006-02-22 2013-09-11 コニカミノルタ株式会社 映像表示装置、及び映像表示方法
US8249233B2 (en) 2006-03-17 2012-08-21 International Business Machines Corporation Apparatus and system for representation of voices of participants to a conference call
US7843486B1 (en) 2006-04-10 2010-11-30 Avaya Inc. Selective muting for conference call participants
JP2007318438A (ja) * 2006-05-25 2007-12-06 Yamaha Corp 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム
US7920158B1 (en) 2006-07-21 2011-04-05 Avaya Inc. Individual participant identification in shared video resources
JP4894386B2 (ja) 2006-07-21 2012-03-14 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
JP4973919B2 (ja) 2006-10-23 2012-07-11 ソニー株式会社 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
US20080101624A1 (en) 2006-10-24 2008-05-01 Motorola, Inc. Speaker directionality for user interface enhancement
JP2008141465A (ja) 2006-12-01 2008-06-19 Fujitsu Ten Ltd 音場再生システム
US7844462B2 (en) * 2007-02-01 2010-11-30 Sap Ag Spatial sound generation for screen navigation
US20080255901A1 (en) * 2007-03-26 2008-10-16 John Stuart Carroll Kiosk systems and methods
US20080252595A1 (en) * 2007-04-11 2008-10-16 Marc Boillot Method and Device for Virtual Navigation and Voice Processing
US20080253592A1 (en) * 2007-04-13 2008-10-16 Christopher Sanders User interface for multi-channel sound panner
US20080259731A1 (en) 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
US8594338B2 (en) * 2007-05-09 2013-11-26 Savox Communications Oy Ab (Ltd) Display apparatus
US8108144B2 (en) * 2007-06-28 2012-01-31 Apple Inc. Location based tracking
EP2031418B1 (en) 2007-08-27 2017-11-01 Harman Becker Automotive Systems GmbH Tracking system using RFID (radio frequency identification) technology
US8073125B2 (en) 2007-09-25 2011-12-06 Microsoft Corporation Spatial audio conferencing
US8050917B2 (en) * 2007-09-27 2011-11-01 Siemens Enterprise Communications, Inc. Method and apparatus for identification of conference call participants
US7995732B2 (en) 2007-10-04 2011-08-09 At&T Intellectual Property I, Lp Managing audio in a multi-source audio environment
JP2009181457A (ja) 2008-01-31 2009-08-13 G Mode:Kk チャット・ソフトウェア
US8144896B2 (en) 2008-02-22 2012-03-27 Microsoft Corporation Speech separation with microphone arrays
KR100955339B1 (ko) 2008-04-22 2010-04-29 주식회사 애트랩 접촉 및 접근을 감지할 수 있는 디스플레이 패널과디스플레이 장치 및 이 패널을 이용하는 접촉 및 접근 감지방법
US8589161B2 (en) * 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
JP5047882B2 (ja) * 2008-06-04 2012-10-10 日本電信電話株式会社 発話関連情報提示装置及び方法
US8315366B2 (en) * 2008-07-22 2012-11-20 Shoretel, Inc. Speaker identification and representation for a phone
NO333026B1 (no) * 2008-09-17 2013-02-18 Cisco Systems Int Sarl Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale.
JP5801026B2 (ja) * 2009-05-28 2015-10-28 株式会社ザクティ 画像音響処理装置及び撮像装置
US8620672B2 (en) 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
US9094645B2 (en) 2009-07-17 2015-07-28 Lg Electronics Inc. Method for processing sound source in terminal and terminal using the same
JP5568915B2 (ja) 2009-07-29 2014-08-13 ヤマハ株式会社 外部機器制御装置
US20120022924A1 (en) 2009-08-28 2012-01-26 Nicole Runnels Method and system for creating a personalized experience with video in connection with a stored value token
US20110055703A1 (en) * 2009-09-03 2011-03-03 Niklas Lundback Spatial Apportioning of Audio in a Large Scale Multi-User, Multi-Touch System
US8363810B2 (en) * 2009-09-08 2013-01-29 Avaya Inc. Method and system for aurally positioning voice signals in a contact center environment
JP5568929B2 (ja) 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
US8144633B2 (en) 2009-09-22 2012-03-27 Avaya Inc. Method and system for controlling audio in a collaboration environment
US20110096941A1 (en) * 2009-10-28 2011-04-28 Alcatel-Lucent Usa, Incorporated Self-steering directional loudspeakers and a method of operation thereof
JP4949453B2 (ja) 2009-11-12 2012-06-06 シャープ株式会社 画像処理装置および画像処理装置の制御方法
EP2517486A1 (en) * 2009-12-23 2012-10-31 Nokia Corp. An apparatus
EP2517478B1 (en) 2009-12-24 2017-11-01 Nokia Technologies Oy An apparatus
US8676581B2 (en) 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
JP5534413B2 (ja) 2010-02-12 2014-07-02 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理装置及びプログラム
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US8174934B2 (en) 2010-07-28 2012-05-08 Empire Technology Development Llc Sound direction detection
US20120027226A1 (en) 2010-07-30 2012-02-02 Milford Desenberg System and method for providing focused directional sound in an audio system
US20120041579A1 (en) 2010-08-12 2012-02-16 Charles Davis Rear surround sound projection system
US9320957B2 (en) 2010-08-26 2016-04-26 Blast Motion Inc. Wireless and visual hybrid motion capture system
US8744065B2 (en) 2010-09-22 2014-06-03 Avaya Inc. Method and system for monitoring contact center transactions
KR20130128380A (ko) 2010-09-22 2013-11-26 사이프레스 세미컨덕터 코포레이션 터치 스크린을 위한 용량성 스타일러스
US8854298B2 (en) 2010-10-12 2014-10-07 Sony Computer Entertainment Inc. System for enabling a handheld device to capture video of an interactive application
US8848028B2 (en) * 2010-10-25 2014-09-30 Dell Products L.P. Audio cues for multi-party videoconferencing on an information handling system
US8558894B2 (en) 2010-11-16 2013-10-15 Hewlett-Packard Development Company, L.P. Support for audience interaction in presentations
JP5857674B2 (ja) 2010-12-22 2016-02-10 株式会社リコー 画像処理装置、及び画像処理システム
US8525868B2 (en) * 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
US8978047B2 (en) * 2011-02-03 2015-03-10 Sony Corporation Method and system for invoking an application in response to a trigger event
US8457654B1 (en) 2011-03-31 2013-06-04 Google Inc. Directional feedback
US20120262536A1 (en) 2011-04-14 2012-10-18 Microsoft Corporation Stereophonic teleconferencing using a microphone array
US8972251B2 (en) 2011-06-07 2015-03-03 Qualcomm Incorporated Generating a masking signal on an electronic device
WO2013000099A1 (en) 2011-06-29 2013-01-03 Intel Corporation Techniques for gesture recognition
KR101617980B1 (ko) 2011-11-23 2016-05-03 인텔 코포레이션 복수의 뷰, 디스플레이 및 피직스를 가진 제스쳐 입력
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
US8958569B2 (en) 2011-12-17 2015-02-17 Microsoft Technology Licensing, Llc Selective spatial audio communication
JP2013183286A (ja) * 2012-03-01 2013-09-12 Nec Casio Mobile Communications Ltd 携帯端末装置、音源方向検出方法、及びプログラム
WO2013137900A1 (en) 2012-03-16 2013-09-19 Nuance Communictions, Inc. User dedicated automatic speech recognition
US20130259254A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Systems, methods, and apparatus for producing a directional sound field
US20150170210A1 (en) 2012-06-11 2015-06-18 Samsung Electronics Co., Ltd. User terminal device, server device, system comprising same, and advertisement service method thereof
US20140013192A1 (en) 2012-07-09 2014-01-09 Sas Institute Inc. Techniques for touch-based digital document audio and user interface enhancement
JP2014092796A (ja) * 2012-10-31 2014-05-19 Jvc Kenwood Corp 音声情報報知装置、音声情報報知方法およびプログラム
US9286898B2 (en) 2012-11-14 2016-03-15 Qualcomm Incorporated Methods and apparatuses for providing tangible control of sound

Also Published As

Publication number Publication date
EP2920985A1 (en) 2015-09-23
US9286898B2 (en) 2016-03-15
CN104919823A (zh) 2015-09-16
CN104782146A (zh) 2015-07-15
US20140133665A1 (en) 2014-05-15
KR101762522B1 (ko) 2017-07-27
JP2016504648A (ja) 2016-02-12
KR20150085032A (ko) 2015-07-22
WO2014077991A1 (en) 2014-05-22
US20140136203A1 (en) 2014-05-15
WO2014077989A1 (en) 2014-05-22
WO2014077990A1 (en) 2014-05-22
US9368117B2 (en) 2016-06-14
US9412375B2 (en) 2016-08-09
CN104919823B (zh) 2017-12-08
CN104782146B (zh) 2017-08-25
US20140136981A1 (en) 2014-05-15
JP2016506639A (ja) 2016-03-03
JP6138956B2 (ja) 2017-05-31
EP2920983B1 (en) 2017-11-22
CN104919824A (zh) 2015-09-16
JP2016505918A (ja) 2016-02-25
EP2920984A1 (en) 2015-09-23
EP2920983A1 (en) 2015-09-23
JP6092412B2 (ja) 2017-03-08

Similar Documents

Publication Publication Date Title
KR101762522B1 (ko) 물리적 공간에서 사운드 필드를 표현하기 위한 방법들 및 장치들
US11531518B2 (en) System and method for differentially locating and modifying audio sources
KR101875743B1 (ko) 이동 단말기 및 그 제어방법
US20140215332A1 (en) Virtual microphone selection corresponding to a set of audio source devices
US20160351191A1 (en) Determination of an Operational Directive Based at Least in Part on a Spatial Audio Property
CN202948437U (zh) 用于生成用户界面的系统和装置及用于系统、设备或应用的用户界面
CN104765444A (zh) 车载手势交互空间音频系统
US11812252B2 (en) User interface feedback for controlling audio rendering for extended reality experiences
KR20130050987A (ko) 엔터테인먼트 디바이스들 및 시스템들의 음향 관리를 위한 기술들
US9369587B2 (en) System and method for software turret phone capabilities
US11375058B2 (en) Methods and systems for providing status indicators with an electronic device
JP2018186471A (ja) 目標位置設定装置及び音像定位装置
CN114520950B (zh) 音频输出方法、装置、电子设备及可读存储介质
US20200112809A1 (en) Spatial Audio Capture & Processing
CN103365427B (zh) 一种对输入内容进行调整的方法及电子设备
KR20240025431A (ko) 아바타를 이용한 대화 기능을 제공하는 전자 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant