KR20200013087A - 오디오 소스들의 무선 조정 - Google Patents

오디오 소스들의 무선 조정 Download PDF

Info

Publication number
KR20200013087A
KR20200013087A KR1020207002620A KR20207002620A KR20200013087A KR 20200013087 A KR20200013087 A KR 20200013087A KR 1020207002620 A KR1020207002620 A KR 1020207002620A KR 20207002620 A KR20207002620 A KR 20207002620A KR 20200013087 A KR20200013087 A KR 20200013087A
Authority
KR
South Korea
Prior art keywords
electronic devices
hub
playback
audio content
environment
Prior art date
Application number
KR1020207002620A
Other languages
English (en)
Other versions
KR102111435B1 (ko
Inventor
게이로드 유
스티븐 스터프
Original Assignee
에바 오토메이션, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에바 오토메이션, 인크. filed Critical 에바 오토메이션, 인크.
Publication of KR20200013087A publication Critical patent/KR20200013087A/ko
Application granted granted Critical
Publication of KR102111435B1 publication Critical patent/KR102111435B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/12—Synchronisation of different clock signals provided by a plurality of clock generators
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/02—Speed or phase control by the received code signals, the signals containing no special synchronisation information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/004—Synchronisation arrangements compensating for timing error of reception due to propagation delay
    • H04W56/005—Synchronisation arrangements compensating for timing error of reception due to propagation delay compensating for timing error by adjustment in the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005—Audio distribution systems for home, i.e. multi-room use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

오디오 콘텐츠의 재생을 조정하는 오디오/비디오(A/V) 허브가 설명된다. 특히, A/V 허브는, 전자 디바이스들로부터의 프레임들의 송신 시간들과 프레임들이 수신된 수신 시간들 사이의 차이들에 기반하여, 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록 사이의 현재 시간 오프셋들을 계산할 수 있다. 예컨대, 현재 시간 오프셋들은 A/V 허브와 전자 디바이스들 사이의 거리들을 무시함으로써 무선 거리측량을 사용하여 계산될 수 있다. 그런 다음, A/V 허브는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임을 전자 디바이스들에 송신할 수 있으며, 재생 타이밍 정보는, 현재 시간 오프셋들에 기반하여 전자 디바이스들이 오디오 콘텐츠를 재생할 재생 시간들을 특정할 수 있다. 또한, 전자 디바이스들의 재생 시간들은, 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 가질 수 있다.

Description

오디오 소스들의 무선 조정{WIRELESS COORDINATION OF AUDIO SOURCES}
설명된 실시예들은 통신 기법에 관한 것이다. 더 구체적으로, 설명된 실시예들은, 사운드를 출력하는 전자 디바이스들의 재생 시간들을 무선 조정하는 통신 기법을 포함한다.
음악은 종종 개인의 감정들 및 인지들에 상당한 영향을 미친다. 이는, 음악을 해독하고, 학습하고, 기억하는 뇌의 영역들과 전두엽들 및 변연계와 같은 감정적 반응들을 생성하는 영역들과의 연결들 또는 관계들의 결과인 것으로 생각된다. 실제로, 감정들은 음악을 해석하는 프로세스에 수반되는 것으로 생각되며, 동시에, 뇌에 대한 음악의 영향에 있어 매우 중요하다. 청취자의 '감정을 움직이는' 이러한 음악의 능력을 고려하면, 오디오 품질은 종종, 오디오 콘텐츠를 청취할 때의 그리고 더 일반적으로는 오디오/비디오(A/V) 콘텐츠를 시청하고 청취할 때의 사용자 만족도에 있어 중요한 요소이다.
그러나, 환경에서 높은 오디오 품질을 달성하는 것은 종종 난제이다. 예컨대, (라우드스피커들과 같은) 음향 소스들은 환경에 적절하게 배치되어 있지 않을 수 있다. 대안적으로 또는 부가적으로, 청취자는 환경 내의 이상적인 포지션에 위치하고 있지 않을 수 있다. 특히, 입체음향 재생 시스템에서, 원래의 사운드 소스의 겉보기 이미지 및 로컬라이제이션 둘 모두가 유지되도록 진폭 차이들 및 도달 시간 차이들이 충분히 작은 소위 '스위트 스폿(sweet spot)'은 일반적으로, 라우드스피커들 사이의 아주 작은 영역으로 제한된다. 청취자가 그 영역 밖에 있을 때, 겉보기 이미지가 붕괴되고, 라우드스피커들에 의해 출력되는 하나의 오디오 채널 또는 다른 독립적인 오디오 채널만이 청취될 수 있다. 또한, 환경에서 높은 오디오 품질을 달성하는 것은 전형적으로 라우드스피커들의 동기화에 강한 제약들을 가한다.
결과적으로, 이러한 요인들 중 하나 이상이 최적이 아닐 때, 환경에서의 음향 품질이 저하될 수 있다. 결국, 이는 오디오 콘텐츠 및/또는 A/V 콘텐츠를 청취할 때의 청취자 만족도 및 전체 사용자 경험에 악영향을 줄 수 있다.
설명된 제1 그룹의 실시예들은 오디오/비디오(A/V) 허브를 포함한다. 이러한 A/V 허브는: 하나 이상의 안테나; 및 동작 동안, 무선 통신을 사용하여 전자 디바이스들과 통신하는 인터페이스 회로를 포함한다. 동작 동안, A/V 허브는 무선 통신을 통해 전자 디바이스들로부터 프레임들을 수신하며, 여기서, 주어진 프레임은, 주어진 전자 디바이스가 주어진 프레임을 송신한 송신 시간을 포함한다. 그런 다음, A/V 허브는 프레임들이 수신된 수신 시간들을 저장하며, 여기서, 수신 시간들은 A/V 허브 내의 클록에 기반한다. 더욱이, A/V 허브는, 프레임들의 수신 시간들 및 송신 시간들에 기반하여, 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록 사이의 현재 시간 오프셋들을 계산한다. 다음으로, A/V 허브는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임을 전자 디바이스들에 송신하며, 여기서, 재생 타이밍 정보는, 현재 시간 오프셋들에 기반하여 전자 디바이스들이 오디오 콘텐츠를 재생할 재생 시간들을 특정한다. 또한, 전자 디바이스들의 재생 시간들은, 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 갖는다.
시간적 관계는 0이 아닌 값을 가질 수 있어서, 전자 디바이스들 중 적어도 일부는 상이한 값들의 재생 시간들을 사용함으로써 서로에 상대적인 위상으로 오디오 콘텐츠를 재생하도록 지시받는다는 것을 유의한다. 예컨대, 상이한 재생 시간들은 전자 디바이스들 및 A/V 허브를 포함하는 환경의 음향 특성화에 기반할 수 있다. 대안적으로 또는 부가적으로, 상이한 재생 시간들은 환경에서의 원하는 음향 특성에 기반할 수 있다.
일부 실시예들에서, 전자 디바이스들은 A/V 허브로부터의 벡터 거리들에 위치되고, 인터페이스 회로는, 무선 거리측량(ranging)을 사용하여, 송신 시간들 및 수신 시간들에 기반하여 벡터 거리들의 크기들을 결정한다. 더욱이, 인터페이스 회로는, 무선 통신 동안에 하나 이상의 안테나에 의해 수신되는 프레임들과 연관된 무선 신호들의 도달 각도에 기반하여 벡터 거리들의 각도들을 결정할 수 있다. 또한, 상이한 재생 시간들은 결정된 벡터 거리들에 기반할 수 있다.
대안적으로 또는 부가적으로, 상이한 재생 시간들은 전자 디바이스들에 대한 청취자의 추정된 위치에 기반한다. 예컨대, 인터페이스 회로는: 다른 전자 디바이스와 통신하고, 다른 전자 디바이스와의 통신에 기반하여 청취자의 추정된 위치를 계산할 수 있다. 더욱이, A/V 허브는 A/V 허브를 포함하는 환경의 사운드 측정들을 수행하는 음향 변환기를 포함할 수 있고, A/V 허브는 사운드 측정들에 기반하여 청취자의 추정된 위치를 계산할 수 있다. 또한, 인터페이스 회로는 환경 내의 다른 전자 디바이스들과 통신할 수 있고, 다른 전자 디바이스들로부터 환경의 부가적인 사운드 측정들을 수신할 수 있다. 이러한 실시예들에서, A/V 허브는 부가적인 사운드 측정들에 기반하여 청취자의 추정된 위치를 계산한다. 일부 실시예들에서, 인터페이스 회로는: 비행 시간(time-of-flight) 측정들을 수행하고, 비행 시간 측정들에 기반하여 청취자의 추정된 위치를 계산한다.
전자 디바이스들은 A/V 허브로부터 0이 아닌 거리들에 위치될 수 있고, 현재 시간 오프셋들은, 거리들을 무시함으로써, 무선 거리측량을 사용하여, 송신 시간들 및 수신 시간들에 기반하여 계산될 수 있다는 것을 유의한다.
더욱이, 현재 시간 오프셋들은 전자 디바이스들에서의 클록 드리프트의 모델들에 기반할 수 있다.
다른 실시예는 A/V 허브와 함께 사용하기 위한 컴퓨터 판독가능 저장 매체를 제공한다. 이러한 컴퓨터 판독가능 저장 매체는, A/V 허브에 의해 실행될 때, A/V 허브로 하여금 전술한 동작들 중 적어도 일부를 수행하게 하는 프로그램 모듈을 포함한다.
다른 실시예는 오디오 콘텐츠의 재생을 조정하기 위한 방법을 제공한다. 이러한 방법은 A/V 허브에 의해 수행되는 동작들 중 적어도 일부를 포함한다.
다른 실시예는 전자 디바이스들 중 하나 이상을 제공한다.
설명된 제2 그룹의 실시예들은 오디오/비디오(A/V) 허브를 포함한다. 이러한 A/V 허브는: 하나 이상의 안테나; 및 동작 동안, 무선 통신을 사용하여 전자 디바이스들과 통신하는 인터페이스 회로를 포함한다. 동작 동안, A/V 허브는 무선 통신을 통해 전자 디바이스들로부터의 프레임들을 수신한다. 그런 다음, A/V 허브는 프레임들이 수신된 수신 시간들을 저장하며, 여기서, 수신 시간들은 A/V 허브 내의 클록에 기반한다. 더욱이, A/V 허브는, 프레임들의 수신 시간들 및 예상 송신 시간들에 기반하여 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록 사이의 현재 시간 오프셋들을 계산하며, 여기서, 예상 송신 시간들은, 이전 시간에서의 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록의 조정, 및 프레임들의 미리 정의된 송신 스케줄에 기반한다. 다음으로, A/V 허브는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임을 전자 디바이스들에 송신하며, 여기서, 재생 타이밍 정보는, 현재 시간 오프셋들에 기반하여 전자 디바이스들이 오디오 콘텐츠를 재생할 재생 시간들을 특정한다. 또한, 전자 디바이스들의 재생 시간들은, 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 갖는다.
시간적 관계는 0이 아닌 값을 가질 수 있어서, 전자 디바이스들 중 적어도 일부는 상이한 값들의 재생 시간들을 사용함으로써 서로에 상대적인 위상으로 오디오 콘텐츠를 재생하도록 지시받는다는 것을 유의한다. 예컨대, 상이한 재생 시간들은 전자 디바이스들 및 A/V 허브를 포함하는 환경의 음향 특성화에 기반할 수 있다. 대안적으로 또는 부가적으로, 상이한 재생 시간들은 환경에서의 원하는 음향 특성에 기반할 수 있다.
일부 실시예들에서, 전자 디바이스들은 A/V 허브로부터의 벡터 거리들에 위치되고, 인터페이스 회로는, 무선 거리측량을 사용하여, 프레임들의 송신 시간들 및 수신 시간들에 기반하여 벡터 거리들의 크기들을 결정한다. 더욱이, 인터페이스 회로는, 무선 통신 동안에 하나 이상의 안테나에 의해 수신되는 프레임들과 연관된 무선 신호들의 도달 각도에 기반하여 벡터 거리들의 각도들을 결정할 수 있다. 또한, 상이한 재생 시간들은 결정된 벡터 거리들에 기반할 수 있다.
대안적으로 또는 부가적으로, 상이한 재생 시간들은 전자 디바이스들에 대한 청취자의 추정된 위치에 기반한다. 예컨대, 인터페이스 회로는: 다른 전자 디바이스와 통신하고, 다른 전자 디바이스와의 통신에 기반하여 청취자의 추정된 위치를 계산할 수 있다. 더욱이, A/V 허브는 A/V 허브를 포함하는 환경의 사운드 측정들을 수행하는 음향 변환기를 포함할 수 있고, A/V 허브는 사운드 측정들에 기반하여 청취자의 추정된 위치를 계산할 수 있다. 또한, 인터페이스 회로는 환경 내의 다른 전자 디바이스들과 통신할 수 있고, 다른 전자 디바이스들로부터 환경의 부가적인 사운드 측정들을 수신할 수 있다. 이러한 실시예들에서, A/V 허브는 부가적인 사운드 측정들에 기반하여 청취자의 추정된 위치를 계산한다. 일부 실시예들에서, 인터페이스 회로는: 비행 시간 측정들을 수행하고, 비행 시간 측정들에 기반하여 청취자의 추정된 위치를 계산한다.
전자 디바이스들 내의 클록들 및 A/V 허브 내의 클록의 조정은 초기화 동작 모드 동안 발생할 수 있다는 것을 유의한다.
더욱이, 현재 시간 오프셋들은 전자 디바이스들에서의 클록 드리프트의 모델들에 기반할 수 있다.
다른 실시예는 A/V 허브와 함께 사용하기 위한 컴퓨터 판독가능 저장 매체를 제공한다. 이러한 컴퓨터 판독가능 저장 매체는, A/V 허브에 의해 실행될 때, A/V 허브로 하여금 전술한 동작들 중 적어도 일부를 수행하게 하는 프로그램 모듈을 포함한다.
다른 실시예는 오디오 콘텐츠의 재생을 조정하기 위한 방법을 제공한다. 이러한 방법은 A/V 허브에 의해 수행되는 동작들 중 적어도 일부를 포함한다.
다른 실시예는 전자 디바이스들 중 하나 이상을 제공한다.
본 요약은 본원에 설명되는 주제의 일부 양상들의 기본적인 이해를 제공하기 위해, 단지 일부 예시적인 실시예들을 예시하려는 목적들을 위해 제공된다. 따라서, 위에 설명된 특징들은 단지 예들이고, 본원에서 설명되는 주제의 범위 또는 사상을 어떠한 방식으로든 한정하는 것으로 해석되어서는 안 된다는 것이 인식될 것이다. 본원에서 설명되는 주제의 다른 특징들, 양상들, 및 이점들은 다음의 상세한 설명, 도면들, 및 청구항들로부터 명백해질 것이다.
도 1은 본 개시내용의 실시예에 따른 전자 디바이스들을 갖는 시스템을 예시하는 블록도이다.
도 2는 본 개시내용의 실시예에 따른, 오디오 콘텐츠의 재생을 조정하기 위한 방법을 예시하는 흐름도이다.
도 3은 본 개시내용의 실시예에 따른, 도 1의 전자 디바이스들 간의 통신을 예시하는 도면이다.
도 4는 본 개시내용의 실시예에 따라 도 1의 전자 디바이스들에 의한 오디오 콘텐츠의 재생을 조정하는 것을 예시하는 도면이다.
도 5는 본 개시내용의 실시예에 따른, 오디오 콘텐츠의 재생을 조정하기 위한 방법을 예시하는 흐름도이다.
도 6은 본 개시내용의 실시예에 따른, 도 1의 전자 디바이스들 간의 통신을 예시하는 도면이다.
도 7은 본 개시내용의 실시예에 따라 도 1의 전자 디바이스들에 의한 오디오 콘텐츠의 재생을 조정하는 것을 예시하는 도면이다.
도 8은 본 개시내용의 실시예에 따른, 오디오 콘텐츠의 재생을 조정하기 위한 방법을 예시하는 흐름도이다.
도 9는 본 개시내용의 실시예에 따른, 도 1의 전자 디바이스들 간의 통신을 예시하는 도면이다.
도 10은 본 개시내용의 실시예에 따라 도 1의 전자 디바이스들에 의한 오디오 콘텐츠의 재생을 조정하는 것을 예시하는 도면이다.
도 11은 본 개시내용의 실시예에 따른, 환경의 하나 이상의 음향 특성을 선택적으로 결정하기 위한 방법을 예시하는 흐름도이다.
도 12는 본 개시내용의 실시예에 따른, 도 1의 전자 디바이스들 간의 통신을 예시하는 도면이다.
도 13은 본 개시내용의 실시예에 따른, 도 1의 전자 디바이스들을 포함하는 환경의 선택적 음향 특성화를 예시하는 도면이다.
도 14는 본 개시내용의 실시예에 따른, 추정된 위치를 계산하기 위한 방법을 예시하는 흐름도이다.
도 15는 본 개시내용의 실시예에 따른, 도 1의 전자 디바이스들 간의 통신을 예시하는 도면이다.
도 16은 본 개시내용의 실시예에 따라 도 1의 전자 디바이스들에 대한 하나 이상의 청취자의 추정된 위치를 계산하는 것을 예시하는 도면이다.
도 17은 본 개시내용의 실시예에 따른, 전자 디바이스들을 집합화하기 위한 방법을 예시하는 흐름도이다.
도 18은 본 개시내용의 실시예에 따른, 도 1의 전자 디바이스들 간의 통신을 예시하는 도면이다.
도 19는 본 개시내용의 실시예에 따라 도 1의 전자 디바이스들을 집합화하는 것을 예시하는 도면이다.
도 20은 본 개시내용의 실시예에 따른, 등화된 오디오 콘텐츠를 결정하기 위한 방법을 예시하는 흐름도이다.
도 21은 본 개시내용의 실시예에 따른, 도 1의 전자 디바이스들 간의 통신을 예시하는 도면이다.
도 22는 본 개시내용의 실시예에 따라 도 1의 전자 디바이스들을 사용하여 등화된 오디오 콘텐츠를 결정하는 것을 예시하는 도면이다.
도 23은 본 개시내용의 실시예에 따른 도 1의 전자 디바이스들 중 하나를 예시하는 블록도이다.
동일한 참조 부호들은 도면들 전반에 걸쳐 대응하는 부분들을 나타냄을 유의한다. 더욱이, 동일한 부분의 다수의 예시들은 대시기호로 예시 번호와 분리된 공통 접두어에 의해 지정된다.
제1 그룹의 실시예들에서, 오디오 콘텐츠의 재생을 조정하는 오디오/비디오(A/V) 허브가 설명된다. 특히, A/V 허브는, 전자 디바이스들로부터의 프레임들의 송신 시간들과 프레임들이 수신된 수신 시간들 사이의 차이들에 기반하여, 전자 디바이스들(이를테면, 스피커들을 포함하는 전자 디바이스들) 내의 클록들과 A/V 허브 내의 클록 사이의 현재 시간 오프셋들을 계산할 수 있다. 예컨대, 현재 시간 오프셋들은 A/V 허브와 전자 디바이스들 사이의 거리들을 무시함으로써 무선 거리측량을 사용하여 계산될 수 있다. 그런 다음, A/V 허브는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임을 전자 디바이스들에 송신할 수 있으며, 재생 타이밍 정보는, 현재 시간 오프셋들에 기반하여 전자 디바이스들이 오디오 콘텐츠를 재생할 재생 시간들을 특정할 수 있다. 또한, 전자 디바이스들의 재생 시간들은, 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 가질 수 있다.
전자 디바이스들에 의해 오디오 콘텐츠의 재생을 조정함으로써, 이러한 조정 기법은 A/V 허브 및 전자 디바이스들을 포함하는 환경에서 개선된 음향 경험을 제공할 수 있다. 예컨대, 조정 기법은, A/V 허브와 전자 디바이스들 사이의 클록 드리프트를 정정할 수 있다. 대안적으로 또는 부가적으로, 조정 기법은 환경의 음향 특성들을 정정하거나 적응시키고/거나 환경에서의 원하는 음향 특성에 기반하여 정정하거나 적응시킬 수 있다. 게다가, 조정 기법은, 전자 디바이스들에 대한 청취자의 추정된 위치에 기반하여 재생 시간들을 정정할 수 있다. 이러한 방식들로, 조정 기법은, A/V 허브 및 전자 디바이스들을 사용할 때, 음향 품질 및 더 일반적으로는 사용자 경험을 개선할 수 있다. 결과적으로, 조정 기법은 A/V 허브 및 전자 디바이스들의 제공자의 고객 충성도 및 수익을 증가시킬 수 있다.
제2 그룹의 실시예들에서, 오디오/비디오(A/V) 허브를 포함하는 환경의 하나 이상의 음향 특성을 선택적으로 결정하는 A/V 허브가 설명된다. 특히, A/V 허브는, 무선 통신을 사용하여, 환경 내의 전자 디바이스(이를테면, 스피커를 포함하는 전자 디바이스)를 검출할 수 있다. 그런 다음, A/V 허브는, 변화 조건, 이를테면, 전자 디바이스가 환경에서 이전에 검출되지 않았을 때 및/또는 전자 디바이스의 위치 변화를 결정할 수 있다. 변화 조건을 결정하는 것에 대한 응답으로, A/V 허브는 특성화 모드로 전환될 수 있다. 특성화 모드 동안, A/V 허브는: 특정된 재생 시간에 오디오 콘텐츠를 재생하기 위한 명령어들을 전자 디바이스에 제공하고; 환경에서의 음향 측정들에 기반하여 환경의 하나 이상의 음향 특성을 결정하고; 하나 이상의 음향 특성 및/또는 전자 디바이스의 위치를 메모리에 저장할 수 있다.
하나 이상의 음향 특성을 선택적으로 결정함으로써, 이러한 특성화 기법은 A/V 허브 및 전자 디바이스를 포함하는 환경에서의 개선된 음향 경험을 가능하게 할 수 있다. 예컨대, 특성화 기법은 변화들을 식별하고 수정된 환경을 특성화할 수 있으며, 수정된 환경은 후속하여, (전자 디바이스를 비롯한) 하나 이상의 전자 디바이스에 의한 오디오 콘텐츠의 재생 동안의 변화의 영향을 정정하는 데 사용될 수 있다. 이러한 방식들로, 특성화 기법은, A/V 허브 및 전자 디바이스들을 사용할 때, 음향 품질 및 더 일반적으로는 사용자 경험을 개선할 수 있다. 결과적으로, 특성화 기법은 A/V 허브 및 전자 디바이스들의 제공자의 고객 충성도 및 수익을 증가시킬 수 있다.
제3 그룹의 실시예들에서, 오디오 콘텐츠의 재생을 조정하는 오디오/비디오(A/V) 허브가 설명된다. 특히, A/V 허브는, 하나 이상의 음향 특성화 패턴에 대응하는 측정된 사운드, 전자 디바이스들이 사운드를 출력하는 하나 이상의 시간, 및 하나 이상의 음향 특성화 패턴에 기반하여, 전자 디바이스들(이를테면, 스피커들을 포함하는 전자 디바이스들) 내의 클록들과 A/V 허브 내의 클록 사이의 현재 시간 오프셋들을 계산할 수 있다. 그런 다음, A/V 허브는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임을 전자 디바이스들에 송신할 수 있으며, 재생 타이밍 정보는, 현재 시간 오프셋들에 기반하여 전자 디바이스들이 오디오 콘텐츠를 재생할 재생 시간들을 특정할 수 있다. 더욱이, 전자 디바이스들의 재생 시간들은, 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 가질 수 있다.
전자 디바이스들에 의해 오디오 콘텐츠의 재생을 조정함으로써, 이러한 조정 기법은 A/V 허브 및 전자 디바이스들을 포함하는 환경에서 개선된 음향 경험을 제공할 수 있다. 예컨대, 조정 기법은, A/V 허브와 전자 디바이스들 사이의 클록 드리프트를 정정할 수 있다. 대안적으로 또는 부가적으로, 조정 기법은 환경의 음향 특성들을 정정하거나 적응시키고/거나 환경에서의 원하는 음향 특성에 기반하여 정정하거나 적응시킬 수 있다. 게다가, 조정 기법은, 전자 디바이스들에 대한 청취자의 추정된 위치에 기반하여 재생 시간들을 정정할 수 있다. 이러한 방식들로, 조정 기법은, A/V 허브 및 전자 디바이스들을 사용할 때, 음향 품질 및 더 일반적으로는 사용자 경험을 개선할 수 있다. 결과적으로, 조정 기법은 A/V 허브 및 전자 디바이스들의 제공자의 고객 충성도 및 수익을 증가시킬 수 있다.
제4 그룹의 실시예들에서, 추정된 위치를 계산하는 오디오/비디오(A/V) 허브가 설명된다. 특히, A/V 허브는, 다른 전자 디바이스와의 통신; 환경에서의 사운드 측정들; 및/또는 비행 시간 측정들에 기반하여, A/V 허브 및 전자 디바이스들을 포함하는 환경에서의 전자 디바이스들(이를테면, 스피커들을 포함하는 전자 디바이스들)에 대한 청취자의 추정된 위치를 계산할 수 있다. 그런 다음, A/V 허브는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임을 전자 디바이스들에 송신할 수 있으며, 재생 타이밍 정보는, 추정된 위치에 기반하여 전자 디바이스들이 오디오 콘텐츠를 재생할 재생 시간들을 특정할 수 있다. 더욱이, 전자 디바이스들의 재생 시간들은, 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 가질 수 있다.
청취자의 추정된 위치를 계산함으로써, 이러한 특성화 기법은 A/V 허브 및 전자 디바이스를 포함하는 환경에서의 개선된 음향 경험을 가능하게 할 수 있다. 예컨대, 특성화 기법은 환경 내의 청취자의 위치 변화들을 추적할 수 있고, 이는 후속하여, 하나 이상의 전자 디바이스에 의한 오디오 콘텐츠의 재생을 정정하거나 적응시키는 데 사용될 수 있다. 이러한 방식들로, 특성화 기법은, A/V 허브 및 전자 디바이스들을 사용할 때, 음향 품질 및 더 일반적으로는 사용자 경험을 개선할 수 있다. 결과적으로, 특성화 기법은 A/V 허브 및 전자 디바이스들의 제공자의 고객 충성도 및 수익을 증가시킬 수 있다.
제5 그룹의 실시예들에서, 전자 디바이스들을 집합화하는 오디오/비디오(A/V) 허브가 설명된다. 특히, A/V 허브는, 전자 디바이스들(이를테면, 스피커들을 포함하는 전자 디바이스들)에 의해 출력되는, 오디오 콘텐츠에 대응하는 사운드를 측정할 수 있다. 그런 다음, A/V 허브는, 측정된 사운드에 기반하여 전자 디바이스들을 2개 이상의 하위 세트로 집합화할 수 있다. 더욱이, A/V 허브는 하위 세트들에 대한 재생 타이밍 정보를 결정할 수 있으며, 이러한 재생 타이밍 정보는, 주어진 하위 세트 내의 전자 디바이스들이 오디오 콘텐츠를 재생할 재생 시간들을 특정할 수 있다. 다음으로, A/V 허브는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임을 전자 디바이스들에 송신할 수 있고, 여기서, 적어도 주어진 하위 세트 내의 전자 디바이스들의 재생 시간들은, 주어진 하위 세트 내의 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 갖는다.
전자 디바이스들을 집합화함으로써, 이러한 특성화 기법은 A/V 허브 및 전자 디바이스를 포함하는 환경에서의 개선된 음향 경험을 가능하게 할 수 있다. 예컨대, 특성화 기법은, 상이한 오디오 콘텐츠; 측정된 사운드의 음향 지연; 및/또는 환경에서의 원하는 음향 특성에 기반하여 전자 디바이스들을 집합화할 수 있다. 게다가, A/V 허브는, 2개 이상의 하위 세트 간의 음향 누화를 감소시키기 위해, 하위 세트들이 오디오 콘텐츠를 재생할 때 사용되는 하위 세트들에 대한 재생 볼륨들을 결정할 수 있다. 이러한 방식들로, 특성화 기법은, A/V 허브 및 전자 디바이스들을 사용할 때, 음향 품질 및 더 일반적으로는 사용자 경험을 개선할 수 있다. 결과적으로, 특성화 기법은 A/V 허브 및 전자 디바이스들의 제공자의 고객 충성도 및 수익을 증가시킬 수 있다.
제6 그룹의 실시예들에서, 등화된 오디오 콘텐츠를 결정하는 오디오/비디오(A/V) 허브가 설명된다. 특히, A/V 허브는, 전자 디바이스들(이를테면, 스피커들을 포함하는 전자 디바이스들)에 의해 출력되는, 오디오 콘텐츠에 대응하는 사운드를 측정할 수 있다. 그런 다음, A/V 허브는, 환경 내의 제1 위치, A/V 허브의 제2 위치, 및 적어도 일정 대역의 주파수들에서의 환경의 음향 전달 함수에 기반하여, 제1 위치에서의 원하는 음향 특성과 측정된 사운드를 비교할 수 있다. 예컨대, 비교는, 환경 내의 다른 위치들에서의 음향 전달 함수에 기반하여 제1 위치에서 음향 전달 함수를 계산하는 것, 및 제1 위치에서 계산된 음향 전달 함수에 기반하여 측정된 사운드를 정정하는 것을 수반할 수 있다. 더욱이, A/V 허브는, 비교 및 오디오 콘텐츠에 기반하여, 등화된 오디오 콘텐츠를 결정할 수 있다. 다음으로, A/V 허브는, 등화된 오디오 콘텐츠에 대응하는 부가적인 사운드의 전자 디바이스들에 의한 출력을 가능하게 하기 위해, 등화된 오디오 콘텐츠를 포함하는 하나 이상의 프레임을 전자 디바이스들에 송신할 수 있다.
등화된 오디오 콘텐츠를 결정함으로써, 이러한 신호 처리 기법은 A/V 허브 및 전자 디바이스를 포함하는 환경에서의 개선된 음향 경험을 가능하게 할 수 있다. 예컨대, 신호 처리는, 전자 디바이스들의 위치들에 대한 청취자의 추정된 위치 및 적어도 일정 대역의 주파수들에서의 환경의 음향 전달 함수에 기반하여 오디오 콘텐츠를 동적으로 수정할 수 있다. 이는, 환경 내의 추정된 위치에서의 원하는 음향 특성 또는 오디오 재생의 유형(이를테면, 단일음향, 입체음향, 또는 다중채널)이 달성될 수 있게 할 수 있다. 이러한 방식들로, 신호 처리 기법은, A/V 허브 및 전자 디바이스들을 사용할 때, 음향 품질 및 더 일반적으로는 사용자 경험을 개선할 수 있다. 결과적으로, 신호 처리 기법은 A/V 허브 및 전자 디바이스들의 제공자의 고객 충성도 및 수익을 증가시킬 수 있다.
제7 그룹의 실시예들에서, 오디오 콘텐츠의 재생을 조정하는 오디오/비디오(A/V) 허브가 설명된다. 특히, A/V 허브는, 전자 디바이스들로부터 프레임들이 수신된 수신 시간들과 프레임들의 예상 송신 시간들 사이의 차이들에 기반하여, 전자 디바이스들(이를테면, 스피커들을 포함하는 전자 디바이스들) 내의 클록들과 A/V 허브 내의 클록 사이의 현재 시간 오프셋들을 계산할 수 있다. 예컨대, 예상 송신 시간들은, 이전 시간에서의 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록의 조정, 및 프레임들의 미리 정의된 송신 스케줄에 기반할 수 있다. 그런 다음, A/V 허브는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임을 전자 디바이스들에 송신할 수 있으며, 재생 타이밍 정보는, 현재 시간 오프셋들에 기반하여 전자 디바이스들이 오디오 콘텐츠를 재생할 재생 시간들을 특정할 수 있다. 또한, 전자 디바이스들의 재생 시간들은, 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 가질 수 있다.
전자 디바이스들에 의해 오디오 콘텐츠의 재생을 조정함으로써, 이러한 조정 기법은 A/V 허브 및 전자 디바이스들을 포함하는 환경에서 개선된 음향 경험을 제공할 수 있다. 예컨대, 조정 기법은, A/V 허브와 전자 디바이스들 사이의 클록 드리프트를 정정할 수 있다. 대안적으로 또는 부가적으로, 조정 기법은 환경의 음향 특성들을 정정하거나 적응시키고/거나 환경에서의 원하는(또는 목표) 음향 특성에 기반하여 정정하거나 적응시킬 수 있다. 게다가, 조정 기법은, 전자 디바이스들에 대한 청취자의 추정된 위치에 기반하여 재생 시간들을 정정할 수 있다. 이러한 방식들로, 조정 기법은, A/V 허브 및 전자 디바이스들을 사용할 때, 음향 품질 및 더 일반적으로는 사용자 경험을 개선할 수 있다. 결과적으로, 조정 기법은 A/V 허브 및 전자 디바이스들의 제공자의 고객 충성도 및 수익을 증가시킬 수 있다.
후속하는 논의에서, A/V 허브(때때로, '조정 디바이스'로 지칭됨), A/V 디스플레이 디바이스, 휴대용 전자 디바이스, 하나 이상의 수신기 디바이스, 및/또는 하나 이상의 전자 디바이스(이를테면, 스피커 및 더 일반적으로는 가전(consumer-electronic) 디바이스)는, 하나 이상의 통신 프로토콜, 이를테면, (때때로, 텍사스 오스틴의 Wi-Fi® 얼라이언스로부터의 'Wi-Fi®로 지칭되는) 전기 전자 기술자 협회(IEEE) 802.11 표준, (워싱턴 커클랜드의 블루투스 특별 관심 그룹(Bluetooth Special Interest Group)으로부터의) Bluetooth®, 셀룰러 텔레폰 통신 프로토콜, (메사추세츠 웨이크필드의 NFC 포럼으로부터의) 근접장 통신 표준 또는 규격, 및/또는 다른 유형의 무선 인터페이스에 따라 패킷들 또는 프레임들을 통신하는 라디오들을 포함할 수 있다. 예컨대, 셀룰러 텔레폰 통신 프로토콜은, 제2 세대 이동 전기통신 기술, 제3 세대 이동 전기통신 기술(이를테면, 스위스 제네바의 국제 전기통신 연합에 의한 국제 이동 전기통신-2000 규격들을 준수하는 통신 프로토콜), 제4 세대 이동 전기통신 기술(이를테면, 스위스 제네바의 국제 전기통신 연합에 의한 국제 이동 전기통신 고급 규격을 준수하는 통신 프로토콜), 및/또는 다른 셀룰러 텔레폰 통신 기법을 포함할 수 있거나 그와 호환가능할 수 있다. 일부 실시예들에서, 통신 프로토콜은 롱 텀 에볼루션(Long Term Evolution) 또는 LTE를 포함한다. 그러나, 매우 다양한 통신 프로토콜들(이를테면, 이더넷)이 사용될 수 있다. 게다가, 통신은 매우 다양한 주파수 대역들을 통해 발생할 수 있다. 휴대용 전자 디바이스, A/V 허브, A/V 디스플레이 디바이스, 및/또는 하나 이상의 전자 디바이스는 (단방향 또는 양방향 적외선 통신을 포함하는) 적외선 통신 표준과 호환가능한 적외선 통신을 사용하여 통신할 수 있다는 것을 유의한다.
더욱이, 후속하는 논의에서의 A/V 콘텐츠는, 비디오와 연관된 오디오(이를테면, 음악, 사운드, 대화 등)를, 비디오만을, 또는 오디오만을 포함할 수 있다.
전자 디바이스들 간의 통신이 도 1에 도시되며, 이는, 휴대용 전자 디바이스(110)(이를테면, 원격 제어기 또는 셀룰러 텔레폰), 하나 이상의 A/V 허브(이를테면, A/V 허브(112)), 하나 이상의 A/V 디스플레이 디바이스(114)(이를테면, 텔레비전, 모니터, 컴퓨터, 및 더 일반적으로는, 전자 디바이스와 연관된 디스플레이), 하나 이상의 수신기 디바이스(이를테면, 수신기 디바이스(116), 예컨대, A/V 디스플레이 디바이스(114-1) 상에 표시하기 위한 프레임 단위로 변환코딩된 A/V 콘텐츠를 A/V 허브(112)로부터 수신할 수 있는 근접한 A/V 디스플레이 디바이스(114-1)와 연관된 로컬 무선 수신기), 하나 이상의 스피커(118)(및 더 일반적으로는, 하나 이상의 스피커를 포함하는 하나 이상의 전자 디바이스), 및/또는 하나 이상의 콘텐츠 제공자와 연관된 하나 이상의 콘텐츠 소스(120)(예컨대, 라디오 수신기, 비디오 플레이어, 위성 수신기, 액세스 포인트(인터넷과 같은 유선 네트워크로의 연결을 제공함), 미디어 또는 콘텐츠 소스, 가전 디바이스, 엔터테인먼트 디바이스, 셋톱 박스, 케이블을 수반하지 않으면서 네트워크를 통해 또는 인터넷을 통해 전달되는 오버더톱(over-the-top) 콘텐츠, 위성 또는 다중 시스템 운영자, 보안 카메라, 모니터링 카메라 등)를 갖는 시스템(100)을 예시하는 블록도를 제시한다. A/V 허브(112), A/V 디스플레이 디바이스(114), 수신기 디바이스(116), 및 스피커들(118)은 때때로 시스템(100) 내의 "구성요소들"로 총칭하여 지칭된다는 것을 유의한다. 그러나, A/V 허브(112), A/V 디스플레이 디바이스들(114), 수신기 디바이스(116), 및/또는 스피커들(118)은 때때로 '전자 디바이스들'로 지칭된다.
특히, 휴대용 전자 디바이스(110) 및 A/V 허브(112)는 무선 통신을 사용하여 서로 통신할 수 있고, 시스템(100) 내의 하나 이상의 다른 구성요소(이를테면, 적어도, A/V 디스플레이 디바이스들(114) 중 하나, 수신기 디바이스(116), 스피커들(118) 중 하나, 및/또는 콘텐츠 소스들(120) 중 하나)는 무선 및/또는 유선 통신을 사용하여 통신할 수 있다. 무선 통신 동안, 이러한 전자 디바이스들은, 무선 채널들을 통해 공시 프레임들을 송신하고, 무선 채널들을 스캐닝함으로써 서로를 검출하고, (예컨대, 연관 요청들을 송신함으로써) 연결들을 설정하고/거나, 패킷들 또는 프레임들(연관 요청들 및/또는 부가적인 정보, 이를테면, 통신 성능, 데이터, 사용자 인터페이스, A/V 콘텐츠 등을 특정하는 정보를 페이로드들로서 포함할 수 있음)을 송신 및 수신하면서 무선으로 통신할 수 있다.
도 23을 참조하여 아래에서 추가로 설명되는 바와 같이, 휴대용 전자 디바이스(110), A/V 허브(112), A/V 디스플레이 디바이스들(114), 수신기 디바이스(116), 스피커(118), 및 콘텐츠 소스들(120)은, 네트워킹 서브시스템, 메모리 서브시스템 및 프로세서 서브시스템과 같은 서브시스템들을 포함할 수 있다. 게다가, 휴대용 전자 디바이스(110), A/V 허브(112), 수신기 디바이스(116), 및/또는 스피커들(118), 및 임의적으로는 A/V 디스플레이 디바이스들(114) 및/또는 콘텐츠 소스들(120) 중 하나 이상은 네트워킹 서브시스템 내에 라디오들(122)을 포함할 수 있다. 예컨대, 라디오 또는 수신기 디바이스는 A/V 디스플레이 디바이스 내 있을 수 있는데, 예컨대, 라디오(122-5)가 A/V 디스플레이 디바이스(114-2) 내에 포함된다. 더욱이, 라디오들(122)은 동일한 라디오의 예시들일 수 있거나 서로 상이할 수 있다는 것을 유의한다. 더 일반적으로, 휴대용 전자 디바이스(110), A/V 허브(112), 수신기 디바이스(116), 및/또는 스피커들(118)(및 임의적으로는 A/V 디스플레이 디바이스들(114) 및/또는 콘텐츠 소스들(120))는, 휴대용 전자 디바이스(110), A/V 허브(112), 수신기 디바이스(116), 및/또는 스피커들(118)(및 임의적으로는 A/V 디스플레이 디바이스들(114) 및/또는 콘텐츠 소스들(120))이 서로 무선으로 통신할 수 있게 하는 네트워킹 서브시스템들을 갖는 임의의 전자 디바이스들을 포함할 수 있다(또는 이들 내에 포함될 수 있음). 이러한 무선 통신은, 무선 채널들을 통해 공시들을 송신하여 전자 디바이스들이 초기 접촉을 행하거나 서로를 검출할 수 있게 한 후에, 후속 데이터/관리 프레임들(이를테면, 연관성 요청들 및 응답들)을 교환하는 것이 후속됨으로써, 연결을 설정하고, 보안 옵션들(예컨대, 인터넷 프로토콜 보안)을 구성하고, 연결을 통해 패킷들 또는 프레임들을 송신 및 수신하는 것 등을 포함할 수 있다.
도 1에서 알 수 있는 바와 같이, 무선 신호들(124)(톱니모양의 선으로 표현됨)이 휴대용 전자 디바이스(110) 내의 라디오(122-1)로부터 송신된다. 이러한 무선 신호들은, A/V 허브(112), 수신기 디바이스(116) 및/또는 스피커들(118) 중 적어도 하나(및 임의적으로는, A/V 디스플레이 디바이스들(114) 및/또는 콘텐츠 소스들(120) 중 하나 이상) 중 적어도 하나에 의해 수신될 수 있다. 예컨대, 휴대용 전자 디바이스(110)는 패킷들을 송신할 수 있다. 차례로, 이러한 패킷들은 A/V 허브(112) 내의 라디오(122-2)에 의해 수신될 수 있다. 이는, 휴대용 전자 디바이스(110)가 A/V 허브(112)에 정보를 통신할 수 있게 할 수 있다. 도 1은 휴대용 전자 디바이스(110)가 패킷들을 송신하는 것을 예시하지만, 휴대용 전자 디바이스(110)는 또한 A/V 허브(112) 및/또는 시스템(100) 내의 하나 이상의 다른 구성요소로부터 패킷들을 수신할 수 있다는 것을 유의한다. 더 일반적으로, 무선 신호들은 시스템(100) 내의 구성요소들 중 하나 이상에 의해 송신 및/또는 수신될 수 있다.
설명된 실시예들에서, 휴대용 전자 디바이스(110), A/V 허브(112), 수신기 디바이스(116), 및/또는 스피커(118)(및 임의적으로는 A/V 디스플레이 디바이스들(114) 및/또는 콘텐츠 소스들(120) 중 하나 이상)에서의 패킷 또는 프레임의 처리는, 패킷 또는 프레임을 갖는 무선 신호들(124)을 수신하는 것; 패킷 또는 프레임을 획득하기 위해, 수신된 무선 신호들(124)로부터 상기 패킷 또는 프레임을 디코딩/추출하는 것; 및 패킷 또는 프레임에 포함된 정보(이를테면, 데이터 스트림과 연관된 정보)를 결정하기 위해 패킷 또는 프레임을 처리하는 것을 포함한다. 예컨대, 휴대용 전자 디바이스(110)로부터의 정보는, 휴대용 전자 디바이스(110)의 사용자가, 적어도, A/V 허브(112), A/V 디스플레이 디바이스들(114) 중 적어도 하나, 스피커들(118) 중 적어도 하나, 및/또는 콘텐츠 소스들(120) 중 적어도 하나를 제어하는 데 사용하는, 휴대용 전자 디바이스(110)의 터치 감응 디스플레이(TSD)(128) 상에 표시되는 사용자 인터페이스와 연관된 사용자 인터페이스 활동 정보를 포함할 수 있다. (일부 실시예들에서, 터치 감응 디스플레이(128) 대신에 또는 그에 부가적으로, 휴대용 전자 디바이스(110)는, 적어도, A/V 허브(112), A/V 디스플레이 디바이스들(114) 중 하나, 스피커들(118) 중 적어도 하나, 및/또는 콘텐츠 소스들(120) 중 하나를 제어하기 위해 사용자가 사용할 수 있는 물리적 손잡이들 및/또는 버튼들을 갖는 사용자 인터페이스를 포함한다.) 대안적으로, 휴대용 전자 디바이스(110), A/V 허브(112), A/V 디스플레이 디바이스들(114) 중 하나 이상, 수신기 디바이스(116), 스피커들(118) 중 하나 이상, 및/또는 콘텐츠 소스들(120) 중 하나 이상으로부터의 정보는 휴대용 전자 디바이스(110)와 시스템(100) 내의 하나 이상의 다른 구성요소 사이의 통신에 관한 통신 성능을 특정할 수 있다. 더욱이, A/V 허브(112)로부터의 정보는, A/V 디스플레이 디바이스들(114) 중 적어도 하나의 현재 디바이스 상태, 스피커들(118) 중 적어도 하나, 및/또는 콘텐츠 소스들(120) 중 하나에 관한 디바이스 상태 정보(이를테면, 켜짐, 꺼짐, 재생, 되감기, 빨리 감기, 선택된 채널, 선택된 A/V 콘텐츠, 콘텐츠 소스 등)를 포함할 수 있거나, 또는 사용자 인터페이스에 대한 사용자 인터페이스 정보(디바이스 상태 정보 및/또는 사용자 인터페이스 활동 정보에 기반하여 동적으로 업데이트될 수 있음)를 포함할 수 있다. 또한, 적어도 A/V 허브(112) 및/또는 콘텐츠 소스들(120) 중 하나로부터의 정보는, A/V 디스플레이 디바이스들(114) 중 하나 이상 상에 표시되거나 제시되는 오디오 및/또는 비디오(때때로 '오디오/비디오' 또는 'A/V' 콘텐츠로 표시됨)뿐만 아니라 오디오 및/또는 비디오가 표시되거나 제시될 방식을 특정하는 디스플레이 명령어들을 포함할 수 있다.
그러나, 앞서 언급된 바와 같이, 오디오 및/또는 비디오는 유선 통신을 통해 시스템(100) 내의 구성요소들 사이에서 통신될 수 있다. 따라서, 도 1에 도시된 바와 같이, 이를테면 A/V 허브(112)와 A/V 디스플레이 디바이스(114-3) 사이에, 고해상도 멀티미디어 인터페이스(HDMI) 케이블(126)과 같은 유선 케이블 또는 링크가 존재할 수 있다. 오디오 및/또는 비디오가 HDMI 콘텐츠에 포함되거나 그와 연관될 수 있지만, 다른 실시예들에서, 오디오 콘텐츠는, 개시된 통신 기법의 실시예들에서 사용되는 다른 포맷 또는 표준과 호환가능한 A/V 콘텐츠에 포함되거나 그와 연관될 수 있다. 예컨대, A/V 콘텐츠는, H.264, MPEG-2, 퀵타임(QuickTime) 비디오 포맷, MPEG-4, MP4, 및/또는 TCP/IP를 포함할 수 있거나 그와 호환가능할 수 있다. 더욱이, A/V 콘텐츠의 비디오 모드는 720p, 1080i, 1080p, 1440p, 2000, 2160p, 2540p, 4000p 및/또는 4320p일 수 있다.
A/V 허브(112)는 A/V 디스플레이 디바이스들(114) 중 하나(이를테면, A/V 디스플레이 디바이스(114-1))에서의 디스플레이의 포맷에 기반하여 A/V 콘텐츠에 대한 디스플레이 명령어들(디스플레이 레이아웃을 가짐)을 결정할 수 있다는 것을 유의한다. 대안적으로, A/V 허브(112)는 미리 결정된 디스플레이 명령어들을 사용할 수 있거나, 또는 A/V 허브(112)는 디스플레이 레이아웃에 기반하여 A/V 콘텐츠를 수정 또는 변환할 수 있으므로, 수정된 또는 변환된 A/V 콘텐츠가 디스플레이 상에서의 표시를 위한 적절한 포맷을 갖는다. 더욱이, 디스플레이 명령어들은, (중앙 윈도우, 타일형 윈도우 등에서와 같은) A/V 콘텐츠가 표시되는 곳을 포함하여, A/V 디스플레이 디바이스(114-1)의 디스플레이 상에 표시될 정보를 특정할 수 있다. 결과적으로, 표시될 정보(즉, 디스플레이 명령어들의 인스턴스)는, 디스플레이 크기, 디스플레이 해상도, 디스플레이 종횡비, 디스플레이 명암비, 디스플레이 유형 등과 같은 디스플레이의 포맷에 기반할 수 있다. 또한, A/V 허브(112)가 콘텐츠 소스들(120) 중 하나로부터 A/V 콘텐츠를 수신할 때, A/V 허브(112)는, A/V 콘텐츠를 갖는 프레임들이 콘텐츠 소스들(120) 중 하나로부터 (예컨대, 실시간으로) 수신됨에 따라, A/V 콘텐츠가 A/V 디스플레이 디바이스(114-1)의 디스플레이 상에 표시되도록 A/V 콘텐츠 및 디스플레이 명령어들을 A/V 디스플레이 디바이스(114-1)에 제공할 수 있다는 것을 유의한다. 예컨대, A/V 허브(112)는 프레임이 수신될 때까지 버퍼에서 A/V 콘텐츠를 수집할 수 있고, 그런 다음, A/V 허브(112)는 완전한 프레임을 A/V 디스플레이 디바이스(114-1)에 제공할 수 있다. 대안적으로, A/V 허브(112)는, 프레임의 부분들이 수신됨에 따라, 프레임의 부분들을 갖는 패킷들을 A/V 디스플레이 디바이스(114-1)에 제공할 수 있다. 일부 실시예들에서, 디스플레이 명령어들은, A/V 디스플레이 디바이스(114-1)에 특징적으로(이를테면, 디스플레이 명령어들이 변경될 때), 정기적으로 또는 주기적으로(이를테면, 매 N개의 패킷들 중 하나에서 또는 각각의 프레임 내의 패킷에서) 또는 각각의 패킷에서 제공될 수 있다.
더욱이, 휴대용 전자 디바이스(110), A/V 허브(112), A/V 디스플레이 디바이스들(114) 중 하나 이상, 수신기 디바이스(116), 스피커들(118) 중 하나 이상 및/또는 하나 이상의 콘텐츠 소스들(120) 사이의 통신은, 다양한 성능 척도들, 이를테면, 수신 신호 강도 표시자(RSSI), 데이터 레이트, 라디오 프로토콜 오버헤드를 감한 데이터 레이트(때때로 '처리량'으로 지칭됨), 오류율(이를테면, 패킷 오류율, 또는 재시도율 또는 재전송률), 등화 목표에 대한 등화된 신호들의 평균 제곱 오차, 부호 간 간섭, 다중 경로 간섭, 신호 대 잡음 비, 아이 패턴(eye pattern)의 폭, 시간 간격(이를테면, 1-10 초) 동안 성공적으로 통신되는 바이트 수 대 시간 간격 내에 통신될 수 있는 추정된 최대 바이트 수(이들 중 후자는 때때로 채널 또는 링크의 '용량'으로 지칭됨)의 비, 및/또는 실제 데이터 레이트 대 추정된 최대 데이터의 비(때때로 "활용률"로 지칭됨)에 의해 특성화될 수 있다는 것을 유의한다. 더욱이, 상이한 채널들과 연관된 통신 동안의 성능이 (예컨대, 드롭된 패킷들을 식별하기 위해) 개별적으로 또는 공동으로 모니터링될 수 있다.
도 1의 휴대용 전자 디바이스(110), A/V 허브(112), A/V 디스플레이 디바이스들(114) 중 하나, 수신기 디바이스(116), 스피커들(118) 중 하나, 및/또는 콘텐츠 소스들(120) 중 하나 이상의 콘텐츠 소스 사이의 통신은, 하나 이상의 연결 또는 링크에서의 상이한 무선 채널들(또는 심지어 상이한 통신 프로토콜들, 이를테면, 상이한 Wi-Fi 통신 프로토콜들)로의 하나 이상의 독립적인 동시적 데이터 스트림을 수반할 수 있으며, 이들은 다수의 라디오들을 사용하여 통신될 수 있다. 하나 이상의 연결 또는 링크는 각각 (독점 네트워크 또는 공용 네트워크일 수 있는) 시스템(100) 내의 무선 네트워크 상의 별개의 또는 상이한 식별자(이를테면, 상이한 서비스 세트 식별자)를 각각 가질 수 있다는 것을 유의한다. 더욱이, 하나 이상의 동시적 데이터 스트림은, 동적 기반 또는 패킷별 기반으로, 부분적으로 또는 완전히 중복되어, 일시적 변화들(이를테면, 간섭, 통신될 필요가 있는 정보의 양의 변화들, 휴대용 전자 디바이스(110)의 이동 등)이 존재할 때조차 성능 척도들을 개선하거나 유지하고, (통신 프로토콜, 예컨대, Wi-Fi 통신 프로토콜과 호환가능하게 유지되면서) 서비스들, 이를테면, 채널 교정, 하나 이상의 성능 척도를 결정하는 것, 통신을 중단시킴이 없이 서비스 품질 특성화를 수행하는 것(이를테면, 채널 추정을 수행하는 것, 링크 품질을 결정하는 것, 채널 교정을 수행하는 것 및/또는 적어도 하나의 채널과 연관된 스펙트럼 분석을 수행하는 것), 상이한 무선 채널들 사이의 끊김없는 핸드오프, 구성요소들 사이의 조정된 통신 등을 용이하게 한다. 이러한 특징들은 재전송되는 패킷들의 수를 감소시킬 수 있고, 그에 따라, 레이턴시를 감소시키고 통신의 중단을 피할 수 있고, A/V 디스플레이 디바이스들(114) 중 하나 이상을 통해 A/V 콘텐츠를 시청하고/거나 스피커들(118) 중 하나 이상에 의해 출력되는 오디오를 청취하는 하나 이상의 사용자의 경험을 향상시킬 수 있다.
앞서 언급된 바와 같이, 사용자는, 휴대용 전자 디바이스(110) 상의 터치 감응 디스플레이(128) 상에 표시되는 사용자 인터페이스를 통해, 적어도 A/V 허브(112), A/V 디스플레이 디바이스들(114) 중 적어도 하나, 스피커들(118) 중 적어도 하나 및/또는 콘텐츠 소스들(120) 중 적어도 하나를 제어할 수 있다. 특히, 주어진 시간에, 사용자 인터페이스는, 적어도, A/V 허브(112), A/V 디스플레이 디바이스들(114) 중 적어도 하나, 스피커들(118) 중 적어도 하나 및/또는 콘텐츠 소스들(120) 중 적어도 하나의 기능성 또는 능력들을 사용자가 활성화, 비활성화, 또는 변경할 수 있게 하는 하나 이상의 가상 아이콘을 포함할 수 있다. 예컨대, 사용자 인터페이스 내의 주어진 가상 아이콘은 터치 감응 디스플레이(128)의 표면 상에 연관된 스트라이크 영역을 가질 수 있다. 사용자가 스트라이크 영역 내의 표면과 (예컨대, 하나 이상의 손가락 또는 디지트(digit)를 사용하거나 스타일러스를 사용하여) 접촉하고 그런 다음 접촉을 끊은 경우, 휴대용 전자 디바이스(110)(이를테면, 프로그램 모듈을 실행하는 프로세서)는, 터치 감응 디스플레이(128)에 결합되는 터치스크린 입력/출력(I/O) 제어기로부터, 이러한 명령 또는 명령어의 활성화를 표시하는 사용자 인터페이스 활동 정보를 수신할 수 있다. (대안적으로, 터치 감응 디스플레이(128)는 압력에 반응할 수 있다. 이러한 실시예들에서, 사용자는, 일반적으로 10 - 20 kPa과 같은 임계값보다 작은 평균 접촉 압력으로 터치 감응 디스플레이(128)와의 접촉을 유지할 수 있고, 터치 감응 디스플레이(128)와의 평균 접촉 압력을 임계값을 초과하게 증가시킴으로써 주어진 가상 아이콘을 활성화시킬 수 있다.) 이에 대한 응답으로, 프로그램 모듈은, 명령 또는 명령어를 표시하는 사용자 인터페이스 활동 정보를 A/V 허브(112)에 무선으로 통신할 것을 휴대용 전자 디바이스(110) 내의 인터페이스 회로에 지시할 수 있고, A/V 허브(112)는 명령 또는 명령어를 시스템(100) 내의 목표 구성요소(이를테면, A/V 디스플레이 디바이스(114-1))에 통신할 수 있다. 이러한 명령어 또는 명령은, A/V 디스플레이 디바이스(114-1)가 켜지거나 꺼지는 것, 특정 콘텐츠 소스로부터의 A/V 콘텐츠를 표시하는 것, 트릭 동작 모드(이를테면, 빨리 감기, 되돌리기, 빨리 되돌리기, 건너뛰기 등)를 수행하는 것 등을 초래할 수 있다. 예컨대, A/V 허브(112)는 콘텐츠 소스(120-1)로부터 A/V 콘텐츠를 요청할 수 있고, 그런 다음, A/V 디스플레이 디바이스(114-1)가 A/V 콘텐츠를 표시하도록, A/V 콘텐츠를 디스플레이 명령어들과 함께 A/V 디스플레이 디바이스(114-1)에 제공할 수 있다. 대안적으로 또는 부가적으로, A/V 허브(112)는 콘텐츠 소스(120-1)로부터의 비디오 콘텐츠와 연관된 오디오 콘텐츠를 스피커들(118) 중 하나 이상에 제공할 수 있다.
앞서 언급된 바와 같이, 환경(이를테면, 실내, 건물, 차량 등)에서 높은 오디오 품질을 달성하는 것은 종종 난제이다. 특히, 환경에서 높은 오디오 품질을 달성하는 것은 전형적으로 스피커들(118)과 같은 라우드스피커들의 조정에 강한 제약들을 가한다. 예컨대, 조정은 1 - 5 ㎲ 정확도(비제한적 예시적인 값들임)로 유지될 필요가 있을 수 있다. 일부 실시예들에서, 조정은, 시간적 또는 위상 정확도 내의 시간 도메인에서의 동기화 및/또는 주파수 정확도 내의 주파수 도메인에서의 동기화를 포함한다. 적합한 조정이 없는 경우, 환경에서의 음향 품질이 저하될 수 있어서, 오디오 콘텐츠 및/또는 A/V 콘텐츠를 청취할 때의 청취자 만족도 및 전체 사용자 경험에 상응하는 영향을 미친다.
이러한 난제는 스피커들(118)을 A/V 허브(112)를 이용하여 직접 또는 간접적으로 조정함으로써 조정 기법에서 해결될 수 있다. 도 2 내지 도 4를 참조하여 아래에 설명되는 바와 같이, 일부 실시예들에서, 스피커들(118)에 의한 오디오 콘텐츠의 조정된 재생은 무선 통신을 사용하여 용이하게 될 수 있다. 특히, 광의 속도는 사운드의 속도보다 거의 1,000,000배 더 빠르기 때문에, (실내와 같은) 환경에서의 무선 신호들의 전파 지연은 스피커들(118)의 원하는 조정 정확도에 비해 무시가능하다. 예컨대, 스피커들(118)의 원하는 조정 정확도는 대략 마이크로초일 수 있는 반면, (최대 10 - 30 m의 거리들에 걸친) 전형적인 방에서의 전파 지연은 10배 또는 100배 더 작을 수 있다. 결과적으로, 무선 거리측량 또는 라디오 기반 거리 측정들과 같은 기법들이 스피커들(118)을 조정하는 데 사용될 수 있다. 특히, 무선 거리측량 동안, A/V 허브(112)는, A/V 허브(112) 내의 클록에 기반하여 송신 시간 및 A/V 허브(112)의 식별자를 포함하는 프레임 또는 패킷을 송신할 수 있고, 스피커들(118) 중 주어진 스피커(이를테면, 스피커(118-1))는 스피커(118-1) 내의 클록에 기반하여 프레임 또는 패킷의 도달 또는 수신 시간을 결정할 수 있다.
대안적으로, 스피커(118-1)는 스피커(118-1) 내의 클록에 기반하여 송신 시간 및 스피커(118-1)의 식별자를 포함하는 프레임 또는 패킷(때때로, '입력 프레임'으로 지칭됨)을 송신할 수 있고, A/V 허브(112)는 A/V 허브(112) 내의 클록에 기반하여 프레임 또는 패킷의 도달 또는 수신 시간을 결정할 수 있다. 전형적으로, A/V 허브(112)와 스피커(118-1) 사이의 거리는 비행 시간(도달 시간과 송신 시간의 차이)과 전파 속도의 곱에 기반하여 결정된다. 그러나, A/V 허브(112)와 스피커(118-1) 사이의 물리적 거리를 무시함으로써, 즉, 순간적인 전파(동일한 실내 또는 환경에서의 정지상태 디바이스들에 대해 무시가능한 정적 오프셋을 유발함)를 가정함으로써, 도달 시간과 송신 시간의 차이는 A/V 허브(112) 및 스피커(118-1) 내의 클록들의 조정에서의 드리프트 또는 현재 시간 오프셋(뿐만 아니라 무시가능한 정적 오프셋)을 동적으로 추적할 수 있다.
현재 시간 오프셋은 A/V 허브(112)에 의해 결정될 수 있거나 스피커(118-1)에 의해 A/V 허브(112)에 제공될 수 있다. 그런 다음, A/V 허브(112)는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임(때때로, '출력 프레임들'로 지칭됨)을 스피커(118-1)에 송신할 수 있으며, 재생 타이밍 정보는, 현재 시간 오프셋에 기반하여 스피커(118-1)가 오디오 콘텐츠를 재생할 재생 시간들을 특정할 수 있다. 이는 다른 스피커들(118)에 대해 반복될 수 있다. 또한, 스피커들(118)의 재생 시간들은, 스피커들(118)에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 가질 수 있다.
클록들에서의 드리프트를 정정하는 것에 더하여, 이러한 조정 기법(뿐만 아니라 아래에 설명되는 조정 기술의 다른 실시예들)은 A/V 허브(112) 및 스피커들(118)을 포함하는 환경에서 개선된 음향 경험을 제공할 수 있다. 예컨대, 조정 기법은, 환경에서의 원하는 음향 특성(이를테면, 재생의 유형, 예컨대, 단일음향, 입체음향 및/또는 다중채널, 지향성 또는 확산성과 같은 음향 방사 패턴, 명료도 등)에 기반하고/거나 (도 14 내지 도 16을 참조하여 아래에서 추가로 설명되는 바와 같이) 스피커들(118)에 대한 하나 이상의 청취자의 동적으로 추정된 위치들에 기반하여, (도 11 내지 도 13을 참조하여 아래에서 추가로 설명되는 바와 같이) 환경의 미리 결정된 또는 동적으로 결정된 음향 특성들을 정정하거나 적응시킬 수 있다. 게다가, 조정 기법은 (도 17 내지 도 19를 참조하여 아래에서 추가로 설명되는 바와 같이) 그룹들로의 스피커들(118)의 동적 집합화와 함께 그리고/또는 (도 20 내지 도 22를 참조하여 아래에서 추가로 설명되는 바와 같이) 재생되는 오디오 콘텐츠 및 환경에서의 음향 특성과 원하는 음향 특성 사이의 차이들에 기반한 동적으로 등화된 오디오 콘텐츠와 함께 사용될 수 있다.
무선 거리측량(뿐만 아니라 일반적으로는 무선 통신)은 하나 이상의 주파수 대역에서 또는 그러한 대역들로 수행될 수 있는데, 이를테면, 2 GHz 무선 대역, 5 GHz 무선 대역, ISM 대역, 60 GHz 무선 대역, 초광대역 등에서 또는 그러한 대역들로 수행될 수 있다는 것을 유의한다.
일부 실시예들에서, 스피커들(118)의 조정 동안 다중 경로 무선 신호들을 식별 및/또는 배제하기 위해 하나 이상의 부가적인 통신 기법이 사용될 수 있다. 예컨대, A/V 허브(112) 및/또는 스피커들(118)은, 지향성 안테나, 알려진 위치(들)를 갖는 안테나들의 어레이에서의 차등적 도달 시간, 및/또는 알려진 위치를 갖는 2개의 수신기에서의 도달 각도(즉, 삼변측량 또는 다변측량)를 사용하여 도달 각도(비-가시선 수신을 포함함)를 결정할 수 있다.
도 5 내지 도 7을 참조하여 아래에서 추가로 설명되는 바와 같이, 스피커들(118)을 조정하기 위한 다른 접근법은 스케줄링된 송신 시간들을 사용할 수 있다. 특히, 교정 모드 동안, A/V 허브(112)와 스피커들(118) 내의 클록들이 조정될 수 있다. 후속하여, 정상 동작 모드에서, A/V 허브(112)는, A/V 허브(112) 내의 클록에 기반한 미리 정의된 송신 시간들에 A/V 허브(112)의 식별자를 갖는 프레임들 또는 패킷들을 송신할 수 있다. 그러나, A/V 허브(112) 내의 클록에서의 상대적인 드리프트 때문에, 이러한 패킷들 또는 프레임들은, 스피커들(118) 내의 클록들에 기반한 예상되는 미리 정의된 송신 시간들과 상이한 시간들에 스피커들(118)에 도달하거나 또는 스피커들(118)에서 수신될 것이다. 따라서, 전파 지연을 다시 한번 무시함으로써, 스피커들(118) 중 주어진 스피커(이를테면, 스피커(118-1))에서의 주어진 프레임의 도달 시간과 미리 정의된 송신 시간의 차이는, A/V 허브(112)와 스피커(118-1) 내의 클록들의 조정에서의 드리프트 또는 현재 시간 오프셋(뿐만 아니라 전파 지연과 연관된 무시가능한 정적 오프셋)을 동적으로 추적할 수 있다.
대안적으로 또는 부가적으로, 교정 모드 후에, 스피커들(118)은, 스피커들(118) 내의 클록에 기반한 미리 정의된 송신 시간들에 스피커들(118)의 식별자들을 갖는 프레임들 또는 패킷들을 송신할 수 있다. 그러나, 스피커들(118) 내의 클록에서의 드리프트 때문에, 이러한 패킷들 또는 프레임들은, A/V 허브(112) 내의 클록들에 기반한 예상되는 미리 정의된 송신 시간들과 상이한 시간들에 A/V 허브(112)에 도달하거나 또는 A/V 허브(112)에 의해 수신될 것이다. 따라서, 전파 지연을 다시 한번 무시함으로써, 스피커들(118) 중 주어진 스피커(이를테면, 스피커(118-1))로부터의 주어진 프레임의 도달 시간과 미리 정의된 송신 시간의 차이는, A/V 허브(112)와 스피커(118-1) 내의 클록들의 조정에서의 드리프트 또는 현재 시간 오프셋(뿐만 아니라 전파 지연과 연관된 무시가능한 정적 오프셋)을 동적으로 추적할 수 있다.
다시 한번, 현재 시간 오프셋은 A/V 허브(112)에 의해 결정될 수 있거나 스피커들(118) 중 하나 이상(이를테면, 스피커(118-1))에 의해 A/V 허브(112)에 제공될 수 있다. 일부 실시예들에서, 현재 시간 오프셋은 A/V 허브(112) 및 스피커들(118)에서의 클록 드리프트의 모델들에 추가로 기반한다는 것을 유의한다. 그런 다음, A/V 허브(112)는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임을 스피커(118-1)에 송신할 수 있으며, 재생 타이밍 정보는, 현재 시간 오프셋에 기반하여 스피커(118-1)가 오디오 콘텐츠를 재생할 재생 시간들을 특정할 수 있다. 이는 다른 스피커들(118)에 대해 반복될 수 있다. 또한, 스피커들(118)의 재생 시간들은, 스피커들(118)에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 가질 수 있다.
더욱이, 이러한 실시예들에서, 스피커들(118)의 조정 동안 다중 경로 무선 신호들을 식별 및/또는 배제하기 위해 하나 이상의 부가적인 통신 기법이 또한 사용될 수 있다는 것을 유의한다.
도 8 내지 도 10을 참조하여 아래에서 추가로 설명되는 바와 같이, 스피커들(118)을 조정하기 위한 다른 접근법은 음향 측정들을 사용할 수 있다. 특히, 교정 모드 동안, A/V 허브(112)와 스피커들(118) 내의 클록들이 조정될 수 있다. 이어서, A/V 허브(112)는 미리 정의된 송신 시간들에 A/V 허브(112)를 고유하게 식별하는 음향 특성화 패턴(이를테면, 펄스들의 시퀀스, 상이한 주파수들 등)에 대응하는 사운드를 출력할 수 있다. 이러한 음향 특성화 패턴은 인간 청력 범위 밖의 주파수들에서(이를테면, 초음파 주파수들에서) 출력될 수 있다. 그러나, A/V 허브(112) 내의 클록에서의 상대적인 드리프트 때문에, 음향 특성화 패턴에 대응하는 사운드는, 스피커들(118) 내의 클록들에 기반한 예상되는 미리 정의된 송신 시간들과 상이한 시간들에 스피커들(118)에서 측정될 것이다(즉, 스피커들(118)에 도달하거나 스피커들(118)에서 수신될 것임). 이러한 실시예들에서, 상이한 시간들은, A/V 허브(112) 및 스피커들(118)의 미리 결정된 또는 알려진 위치들에 기반하고/거나 무선 거리측량을 사용하여 음향 전파 지연들과 연관된 기여들에 대해 정정될 필요가 있다. 예컨대, 위치들은 로컬 위치결정 시스템, 글로벌 위치결정 시스템, 및/또는 무선 네트워크(이를테면, 셀룰러 텔레폰 네트워크 또는 WLAN)에서의 삼각측량 및/또는 삼변측량을 사용하여 결정될 수 있다. 따라서, 음향 전파 지연을 정정한 후에, 스피커들(118) 중 주어진 스피커(이를테면, 스피커(118-1))에서의 주어진 프레임의 도달 시간과 미리 정의된 송신 시간의 차이는, A/V 허브(112)와 스피커(118-1) 내의 클록들의 조정에서의 드리프트 또는 현재 시간 오프셋을 동적으로 추적할 수 있다.
대안적으로 또는 부가적으로, 교정 모드 후에, 스피커들(118)은 미리 정의된 송신 시간들에 스피커들(118)을 고유하게 식별하는 음향 특성화 패턴(이를테면, 펄스들의 시퀀스들, 상이한 주파수들 등)에 대응하는 사운드를 출력할 수 있다. 그러나, 스피커들(118) 내의 클록들에서의 상대적인 드리프트 때문에, 음향 특성화 패턴들에 대응하는 사운드는, A/V 허브(112) 내의 클록들에 기반한 예상되는 미리 정의된 송신 시간들과 상이한 시간들에 A/V 허브(112)에서 측정될 것이다(즉, A/V 허브(112)에 도달하거나 A/V 허브(112)에서 수신될 것임). 이러한 실시예들에서, 상이한 시간들은, A/V 허브(112) 및 스피커들(118)의 미리 결정된 또는 알려진 위치들에 기반하고/거나 무선 거리측량을 사용하여 음향 전파 지연들과 연관된 기여들에 대해 정정될 필요가 있다. 따라서, 음향 전파 지연을 정정한 후에, 스피커들(118) 중 주어진 스피커(이를테면, 스피커(118-1))로부터의 주어진 프레임의 도달 시간과 미리 정의된 송신 시간의 차이는, A/V 허브(112)와 스피커(118-1) 내의 클록들의 조정에서의 드리프트 또는 현재 시간 오프셋을 동적으로 추적할 수 있다.
다시 한번, 현재 시간 오프셋은 A/V 허브(112)에 의해 결정될 수 있거나 스피커(118-1)에 의해 A/V 허브(112)에 제공될 수 있다. 그런 다음, A/V 허브(112)는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임을 스피커(118-1)에 송신할 수 있으며, 재생 타이밍 정보는, 현재 시간 오프셋에 기반하여 스피커(118-1)가 오디오 콘텐츠를 재생할 재생 시간들을 특정할 수 있다. 이는 다른 스피커들(118)에 대해 반복될 수 있다. 또한, 스피커들(118)의 재생 시간들은, 스피커들(118)에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 가질 수 있다.
도 1에 도시된 네트워크 환경을 예로서 설명하지만, 대안적인 실시예들에서는, 상이한 수 또는 유형들의 전자 디바이스가 존재할 수 있다. 예컨대, 일부 실시예들은 더 많거나 더 적은 전자 디바이스들을 포함한다. 다른 예로서, 다른 실시예에서는, 상이한 전자 디바이스들이 패킷들 또는 프레임들을 송신 및/또는 수신하고 있다. 휴대용 전자 디바이스(110) 및 A/V 허브(112)는 라디오들(122)의 단일 인스턴스로 예시되지만, 다른 실시예들에서는, 휴대용 전자 디바이스(110) 및 A/V 허브(112)(및 임의적으로는 A/V 디스플레이 디바이스들(114), 수신기 디바이스(116), 스피커들(118) 및/또는 콘텐츠 소스들(120))는 다수의 라디오들을 포함할 수 있다.
이제 통신 기법의 실시예들이 설명된다. 도 2는 A/V 허브(112)(도 1)와 같은 A/V 허브에 의해 수행될 수 있는, 오디오 콘텐츠의 재생을 조정하기 위한 방법(200)을 예시하는 흐름도를 제시한다. 동작 동안, A/V 허브(이를테면, A/V 허브 내의, 제어 회로 또는 제어 논리, 예컨대, 프로그램 모듈을 실행하는 프로세서)는, 하나 이상의 전자 디바이스로부터 프레임들 또는 패킷들을 무선 통신을 통해 수신할 수 있으며(동작 210), 여기서, 주어진 프레임 또는 패킷은 주어진 전자 디바이스가 주어진 프레임 또는 패킷을 송신한 송신 시간을 포함한다.
그런 다음, A/V 허브는 프레임들 또는 패킷들이 수신된 수신 시간들을 저장할 수 있으며(동작 212), 여기서, 수신 시간들은 A/V 허브 내의 클록에 기반한다. 예컨대, 수신 시간은, A/V 허브 내의 인터페이스 회로 내의 또는 그와 연관된 물리 계층 및/또는 매체 액세스 제어(MAC) 계층에 의해 전자 디바이스들 중 하나로부터 수신되는 패킷 또는 프레임 또는 패킷의 인스턴스에 부가될 수 있다. 수신 시간은, 패킷 또는 프레임 또는 패킷의 선단 에지(leading edge) 또는 후단 에지(trailing edge)와 연관될 수 있는데, 이를테면, 수신 시간 신호가 선단 에지와 연관되거나 수신 클리어 신호가 후단 에지와 연관된다는 것을 유의한다. 유사하게, 송신 시간은, 전자 디바이스 내의 인터페이스 회로 내의 또는 그와 연관된 물리 계층 및/또는 MAC 계층에 의해 전자 디바이스들 중 하나에 의해 송신되는 패킷 또는 프레임의 인스턴스에 부가될 수 있다. 일부 실시예들에서, 송신 및 수신 시간들은, 인터페이스 회로들 내의 또는 그와 연관된 물리 계층 및/또는 MAC 계층에서의 무선 거리측량 능력에 의해 결정되고 프레임들 또는 패킷들에 부가된다.
더욱이, A/V 허브는, 프레임들 또는 패킷들의 수신 시간들 및 송신 시간들에 기반하여, 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록 사이의 현재 시간 오프셋들을 계산할 수 있다(동작 214). 또한, 현재 시간 오프셋들은, 전자 디바이스들에서의 클록 드리프트의 모델들, 이를테면, 클록 회로의 전기 회로 모델 및/또는 시간의 함수로서의 클록 드리프트의 탐색 테이블에 기반하여 A/V 허브에 의해 계산될 수 있다. 전자 디바이스들은 A/V 허브로부터 0이 아닌 거리들에 위치될 수 있고, 현재 시간 오프셋들은, 거리들을 무시함으로써, 무선 거리측량을 사용하여, 송신 시간들 및 수신 시간들에 기반하여 계산될 수 있다는 것을 유의한다.
다음으로, A/V 허브는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임 또는 패킷을 전자 디바이스들에 송신할 수 있으며(동작 216), 여기서, 재생 타이밍 정보는, 현재 시간 오프셋들에 기반하여 전자 디바이스들이 오디오 콘텐츠를 재생할 재생 시간들을 특정한다. 또한, 전자 디바이스들의 재생 시간들은, 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 가질 수 있다. 시간적 관계는 0이 아닌 값을 가질 수 있어서, 전자 디바이스들 중 적어도 일부는 상이한 값들의 재생 시간들을 사용함으로써 서로에 상대적인 위상으로 오디오 콘텐츠를 재생하도록 지시받는다는 것을 유의한다. 예컨대, 상이한 재생 시간들은, 전자 디바이스들 및 A/V 허브를 포함하는 환경의 미리 결정된 또는 동적으로 결정된 음향 특성들에 기반할 수 있다. 대안적으로 또는 부가적으로, 상이한 재생 시간들은 환경에서의 원하는 음향 특성에 기반할 수 있다.
일부 실시예들에서, A/V 허브는 임의적으로 하나 이상의 부가적인 동작을 수행한다(동작 218). 예컨대, 전자 디바이스들은 A/V 허브로부터 벡터 거리들에 위치될 수 있고, 인터페이스 회로는, 무선 거리측량을 사용하여, 송신 시간들 및 수신 시간들에 기반하여 벡터 거리들의 크기들을 결정할 수 있다. 더욱이, 인터페이스 회로는, 무선 통신 동안에 하나 이상의 안테나에 의해 수신되는 프레임들 또는 패킷들과 연관된 무선 신호들의 도달 각도에 기반하여 벡터 거리들의 각도들을 결정할 수 있다. 또한, 상이한 재생 시간들은 결정된 벡터 거리들에 기반할 수 있다. 예컨대, 재생 시간들은, 환경 내의 상이한 위치들에서의 상이한 전자 디바이스들로부터의 오디오 콘텐츠와 연관된 사운드가 환경 내의 위치에서(예컨대, A/V 허브의 위치에서, 환경의 중간에서, 사용자의 바람직한 청취 위치에서 등) 원하는 위상 관계로 또는 위치에서의 원하는 음향 특성을 달성하게 도달할 수 있도록, 결정된 벡터 거리들에 대응할 수 있다.
대안적으로 또는 부가적으로, 상이한 재생 시간들은 전자 디바이스들에 대한 청취자의 추정된 위치에 기반하여, 환경 내의 상이한 위치들에서의 상이한 전자 디바이스들로부터의 오디오 콘텐츠와 연관된 사운드가, 원하는 위상 관계로 청취자의 추정된 위치에 도달하거나 추정된 위치에서의 원하는 음향 특성을 달성할 수 있게 한다. 청취자의 위치를 결정하는 데 사용될 수 있는 기법들이 도 14 내지 도 16을 참조하여 아래에서 추가로 설명된다.
인터페이스 회로들에서의 무선 거리측량 능력은 A/V 허브 및 전자 디바이스들 내의 조정된 클록들을 수반할 수 있지만, 다른 실시예들에서는 클록들이 조정되지 않는다는 것을 유의한다. 따라서, 다양한 무선측위 기법들이 사용될 수 있다. 일부 실시예들에서, 무선 거리측량 능력은, 짧은 지속기간(이를테면, 예컨대 대략적으로 1 ns)의 펄스들을 생성하기 위해 GHz 또는 다중 GHz 대역폭들을 통한 송신들의 사용을 포함한다.
도 3은 A/V 허브(112)와 스피커(118-1) 사이를 예시하는 도면이다. 특히, 스피커(118-1) 내의 인터페이스 회로(310)는 하나 이상의 프레임 또는 패킷(이를테면, 패킷(312))을 A/V 허브(112)에 송신할 수 있다. 패킷(312)은, 스피커(118-1)가 패킷들(312)을 송신한 때의, 스피커(118-1) 내의 인터페이스 회로(310) 내의 또는 그와 연관된 인터페이스 클록 회로(318)에 의해 제공되는 인터페이스 클록(316)에 기반하는 대응하는 송신 시간(314)을 포함할 수 있다. A/V 허브(112) 내의 인터페이스 회로(320)가 패킷(312)을 수신할 때, 인터페이스 회로(320)는 수신 시간(322)을 패킷(312)에 포함시킬 수 있으며(또는 수신 시간(322)을 메모리(324)에 저장할 수 있음), 여기서, 각각의 패킷에 대해, 대응하는 수신 시간은 인터페이스 회로(318) 내의 또는 그와 연관된 인터페이스 클록 회로(328)에 의해 제공되는 인터페이스 클록(326)에 기반할 수 있다.
그런 다음, 인터페이스 회로(320)는, 송신 시간들(314)과 수신 시간들(322) 사이의 차이들에 기반하여, 인터페이스 클록(316)과 인터페이스 클록(326) 사이의 현재 시간 오프셋(330)을 계산할 수 있다. 더욱이, 인터페이스 회로(320)는 현재 시간 오프셋(330)을 프로세서(332)에 제공할 수 있다. (대안적으로, 프로세서(332)는 현재 시간 오프셋(330)을 계산할 수 있다.)
또한, 프로세서(332)는 재생 타이밍 정보(334) 및 오디오 콘텐츠(336)를 인터페이스 회로(320)에 제공할 수 있으며, 여기서, 재생 타이밍 정보(334)는 현재 시간 오프셋(330)에 기반하여 스피커(118-1)가 오디오 콘텐츠(336)를 재생할 재생 시간을 특정한다. 이에 대한 응답으로, 인터페이스 회로(330)는 재생 타이밍 정보(334) 및 오디오 콘텐츠(336)를 포함하는 하나 이상의 프레임 또는 패킷(338)을 스피커(118-1)에 송신할 수 있다. (그러나, 일부 실시예들에서, 재생 타이밍 정보(334) 및 오디오 콘텐츠(336)는 별개의 또는 상이한 프레임들 또는 패킷들을 사용하여 송신된다.)
인터페이스 회로(310)가 하나 이상의 프레임 또는 패킷(338)을 수신한 후에, 인터페이스 회로(310)는 재생 타이밍 정보(334) 및 오디오 콘텐츠(336)를 프로세서(340)에 제공할 수 있다. 프로세서(340)는 재생 동작(342)을 수행하는 소프트웨어를 실행할 수 있다. 예컨대, 프로세서(340)는 메모리 내의 큐에 오디오 콘텐츠(336)를 저장할 수 있다. 이러한 실시예들에서, 재생 동작(350)은, 오디오 콘텐츠(336)에 기반하여 스피커(118-1) 내의 전기-음향 변환기를 구동하는 것을 비롯하여, 큐로부터 오디오 콘텐츠(336)를 출력하는 것을 포함하며, 따라서, 스피커(118-1)는 재생 타이밍 정보(334)에 의해 특정된 시간에 사운드를 출력한다.
예시적인 실시예에서, 통신 기법은, 스피커들(118)에 의한 오디오 콘텐츠의 재생을 조정하는 데 사용된다. 이는 도 4에 예시되며, 도 4는, 스피커들(118)에 의한 오디오 콘텐츠의 재생을 조정하는 것을 예시하는 도면을 제시한다. 특히, 프레임들 또는 패킷들(이를테면, 패킷(410-1))이 스피커들(118)에 의해 송신될 때, 이들은 송신 시간들(이를테면, 송신 시간(412-1))을 특정하는 정보를 포함할 수 있다. 예컨대, 스피커들(118) 내의 인터페이스 회로들 내의 물리 계층이 송신 시간들을 패킷들(410)에 포함시킬 수 있다. 도 4 및 아래의 다른 실시예들에서, 프레임들 또는 패킷들 내의 정보는 (시작, 중간 및/또는 끝과 같은) 임의적 포지션에 포함될 수 있다는 것을 유의한다.
패킷들(410)이 A/V 허브(112)에 의해 수신될 때, (패킷(410-1)의 수신 시간(414-1)과 같은) 수신 시간을 특정하는 부가적인 정보가 패킷들(410)에 포함될 수 있다. 예컨대, A/V 허브(112) 내의 인터페이스 회로 내의 물리 계층이 수신 시간들을 패킷들(410)에 포함시킬 수 있다. 더욱이, 송신 시간들 및 수신 시간들은 A/V 허브(112) 및 스피커들(118) 내의 클록들의 드리프트를 추적하는 데 사용될 수 있다.
송신 시간들 및 수신 시간들을 사용하여, A/V 허브(112)는 스피커들(118) 내의 클록들과 A/V 허브(112) 내의 클록 사이의 현재 시간 오프셋들을 계산할 수 있다. 또한, 현재 시간 오프셋들은, 스피커들(118)에서의 클록 드리프트의 A/V 허브(112)에서의 모델들에 기반하여 A/V 허브(112)에 의해 계산될 수 있다. 예컨대, 상대적 또는 절대적 클록 드리프트의 모델은 이력 시간 오프셋들에 기반하여 시간의 함수로서 주어진 스피커에서의 클록 드리프트를 특정하거나 추정하는 파라미터들을 갖는 다항식 또는 3차 스플라인 표현(및 더 일반적으로는 함수)을 포함할 수 있다.
후속하여, A/V 허브(112)는 오디오 콘텐츠(420) 및 재생 타이밍 정보(이를테면, 패킷(416-1) 내의 재생 타이밍 정보(418-1))를 포함하는 하나 이상의 패킷 또는 프레임 또는 패킷을 스피커들(118)에 송신할 수 있으며, 여기서, 재생 타이밍 정보는, 현재 시간 오프셋들에 기반하여 스피커들(118)이 오디오 콘텐츠(420)를 재생할 재생 시간들을 특정한다. 스피커들(118)의 재생 시간들은, 스피커들(118)에 의한 오디오 콘텐츠(420)의 재생이 조정되도록, 예컨대, 연관된 사운드 또는 파면들이 원하는 위상 관계로 환경 내의 위치(422)에 도달하도록, 시간적 관계를 가질 수 있다.
통신 기법에서의 조정의 다른 실시예가 도 5에 도시되며, 도 5는 오디오 콘텐츠의 재생을 조정하기 위한 방법(500)을 예시하는 흐름도를 제시한다. 방법(500)은 A/V 허브, 이를테면 A/V 허브(112)(도 1)에 의해 수행될 수 있다는 것을 유의한다. 동작 동안, A/V 허브(이를테면, A/V 허브 내의, 제어 회로 또는 제어 논리, 예컨대, 프로그램 모듈을 실행하는 프로세서)는, 전자 디바이스들로부터 프레임들 또는 패킷들을 무선 통신을 통해 수신할 수 있다(동작 510).
그런 다음, A/V 허브는 프레임들 또는 패킷들이 수신된 수신 시간들을 저장할 수 있으며(동작 512), 여기서, 수신 시간들은 A/V 허브 내의 클록에 기반한다. 예컨대, 수신 시간은, A/V 허브 내의 인터페이스 회로 내의 또는 그와 연관된 물리 계층 및/또는 MAC 계층에 의해 전자 디바이스들 중 하나로부터 수신되는 패킷 또는 프레임의 인스턴스에 부가될 수 있다. 수신 시간은, 프레임 또는 패킷의 선단 에지 또는 후단 에지와 연관될 수 있는데, 이를테면, 수신 시간 신호가 선단 에지와 연관되거나 수신 클리어 신호가 후단 에지와 연관된다는 것을 유의한다.
더욱이, A/V 허브는, 프레임들 또는 패킷들의 수신 시간들 및 예상 송신 시간들에 기반하여 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록 사이의 현재 시간 오프셋들을 계산할 수 있으며(동작 514), 여기서, 예상 송신 시간들은, 이전 시간에서의 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록의 조정, 및 프레임들 또는 패킷의 미리 정의된 송신 스케줄(이를테면, 매 10 또는 100 ms마다, 이들은 비제한적인 예들임)에 기반한다. 예컨대, 초기화 모드 동안, 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록 사이의 시간 오프셋들이 제거될 수 있다(즉, 조정이 설정될 수 있음). 송신 스케줄에서의 미리 정의된 송신 시간들은 WLAN에서의 비컨 송신 시간들을 포함할 수 있거나 이와 다를 수 있다는 것을 유의한다. 후속하여, 클록들 및 클록은 상대적인 드리프트를 가질 수 있으며, 이는 프레임들 또는 패킷들의 수신 시간들과 예상 송신 시간들 사이의 차이들에 기반하여 추적될 수 있다. 일부 실시예들에서, 현재 시간 오프셋들은 전자 디바이스들에서의 클록 드리프트의 모델들에 기반하여 A/V 허브에 의해 계산된다.
다음으로, A/V 허브는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임 또는 패킷을 전자 디바이스들에 송신할 수 있으며(동작 516), 여기서, 재생 타이밍 정보는, 현재 시간 오프셋들에 기반하여 전자 디바이스들이 오디오 콘텐츠를 재생할 재생 시간들을 특정한다. 또한, 전자 디바이스들의 재생 시간들은, 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 가질 수 있다. 시간적 관계는 0이 아닌 값을 가질 수 있어서, 전자 디바이스들 중 적어도 일부는 상이한 값들의 재생 시간들을 사용함으로써 서로에 상대적인 위상으로 오디오 콘텐츠를 재생하도록 지시받는다는 것을 유의한다. 예컨대, 상이한 재생 시간들은, 전자 디바이스들 및 A/V 허브를 포함하는 환경의 미리 결정된 또는 동적으로 결정된 음향 특성들에 기반할 수 있다. 대안적으로 또는 부가적으로, 상이한 재생 시간들은 환경에서의 원하는 음향 특성에 기반할 수 있다.
일부 실시예들에서, A/V 허브는 임의적으로 하나 이상의 부가적인 동작을 수행한다(동작 518). 예컨대, 전자 디바이스들은 A/V 허브로부터 벡터 거리들에 위치될 수 있고, 인터페이스 회로는, 무선 거리측량을 사용하여, 송신 시간들 및 수신 시간들에 기반하여 벡터 거리들의 크기들을 결정할 수 있다. 더욱이, 인터페이스 회로는, 무선 통신 동안에 하나 이상의 안테나에 의해 수신되는 프레임들 또는 패킷들과 연관된 무선 신호들의 도달 각도에 기반하여 벡터 거리들의 각도들을 결정할 수 있다. 또한, 상이한 재생 시간들은 결정된 벡터 거리들에 기반할 수 있다. 예컨대, 재생 시간들은, 환경 내의 상이한 위치들에서의 상이한 전자 디바이스들로부터의 오디오 콘텐츠와 연관된 사운드가 환경 내의 위치에서(예컨대, A/V 허브의 위치에서, 환경의 중간에서, 사용자의 바람직한 청취 위치에서 등) 원하는 위상 관계로 또는 위치에서의 원하는 음향 특성을 달성하게 도달할 수 있도록, 결정된 벡터 거리들에 대응할 수 있다.
대안적으로 또는 부가적으로, 상이한 재생 시간들은 전자 디바이스들에 대한 청취자의 추정된 위치에 기반하여, 환경 내의 상이한 위치들에서의 상이한 전자 디바이스들로부터의 오디오 콘텐츠와 연관된 사운드가, 원하는 위상 관계로 청취자의 추정된 위치에 도달하거나 추정된 위치에서의 원하는 음향 특성을 달성할 수 있게 한다. 청취자의 위치를 결정하는 데 사용될 수 있는 기법들이 도 14 내지 도 16을 참조하여 아래에서 추가로 설명된다.
도 6은 휴대용 전자 디바이스(110), A/V 허브(112), 및 스피커(118-1) 간의 통신을 예시하는 도면이다. 특히, 초기화 모드 동안, A/V 허브(112) 내의 인터페이스 회로(610)는 스피커(118-1) 내의 인터페이스 회로(614)에 프레임 또는 패킷(612)을 송신할 수 있다. 이러한 패킷은 인터페이스 클록 회로들(616 및 618)에 의해 각각 제공되는 클록들(628 및 606)을 조정하는 정보(608)를 포함할 수 있다. 예컨대, 정보는 인터페이스 클록 회로들(616 및 618) 사이의 시간 오프셋을 제거할 수 있고/거나 인터페이스 클록 회로들(616 및 618)을 동일한 클록 주파수로 설정할 수 있다.
후속하여, 인터페이스 회로(614)는 미리 정의된 송신 시간들(622)에 하나 이상의 프레임 또는 패킷(이를테면, 패킷(620))을 A/V 허브(112)에 송신할 수 있다.
A/V 허브(112) 내의 인터페이스 회로(610)가 패킷(620)을 수신할 때, 인터페이스 회로(610)는 수신 시간(624)을 패킷(620)에 포함시킬 수 있으며(또는 수신 시간(624)을 메모리(626)에 저장할 수 있음), 여기서, 각각의 패킷에 대해, 대응하는 수신 시간은 인터페이스 회로(610) 내의 또는 그와 연관된 인터페이스 클록 회로(616)에 의해 제공되는 인터페이스 클록(628)에 기반할 수 있다.
그런 다음, 인터페이스 회로(610)는, 송신 시간들(622)과 수신 시간들(624) 사이의 차이들에 기반하여, 인터페이스 클록(628)과 인터페이스 클록(606) 사이의 현재 시간 오프셋(630)을 계산할 수 있다. 더욱이, 인터페이스 회로(610)는 현재 시간 오프셋(630)을 프로세서(632)에 제공할 수 있다. (대안적으로, 프로세서(632)는 현재 시간 오프셋(630)을 계산할 수 있다.)
또한, 프로세서(632)는 재생 타이밍 정보(634) 및 오디오 콘텐츠(636)를 인터페이스 회로(610)에 제공할 수 있으며, 여기서, 재생 타이밍 정보(634)는 현재 시간 오프셋(630)에 기반하여 스피커(118-1)가 오디오 콘텐츠(636)를 재생할 재생 시간을 특정한다. 이에 대한 응답으로, 인터페이스 회로(610)는 재생 타이밍 정보(634) 및 오디오 콘텐츠(636)를 포함하는 하나 이상의 프레임 또는 패킷(638)을 스피커(118-1)에 송신할 수 있다. (그러나, 일부 실시예들에서, 재생 타이밍 정보(634) 및 오디오 콘텐츠(636)는 별개의 또는 상이한 프레임들 또는 패킷들을 사용하여 송신된다.)
인터페이스 회로(614)가 하나 이상의 프레임 또는 패킷(638)을 수신한 후에, 인터페이스 회로(614)는 재생 타이밍 정보(634) 및 오디오 콘텐츠(636)를 프로세서(640)에 제공할 수 있다. 프로세서(640)는 재생 동작(642)을 수행하는 소프트웨어를 실행할 수 있다. 예컨대, 프로세서(640)는 메모리 내의 큐에 오디오 콘텐츠(636)를 저장할 수 있다. 이러한 실시예들에서, 재생 동작(650)은, 오디오 콘텐츠(636)에 기반하여 스피커(118-1) 내의 전기-음향 변환기를 구동하는 것을 비롯하여, 큐로부터 오디오 콘텐츠(636)를 출력하는 것을 포함하며, 따라서, 스피커(118-1)는 재생 타이밍 정보(634)에 의해 특정된 시간에 사운드를 출력한다.
예시적인 실시예에서, 통신 기법은, 스피커들(118)에 의한 오디오 콘텐츠의 재생을 조정하는 데 사용된다. 이는 도 7에 예시되며, 도 7은, 스피커들(118)에 의한 오디오 콘텐츠의 재생을 조정하는 것을 예시하는 도면을 제시한다. 특히, A/V 허브(112)는, A/V 허브(112) 및 스피커들(118) 내의 클록 회로들에 의해 제공되는 클록들을 조정하는 정보(이를테면, 패킷(710-1) 내의 정보(708))를 갖는 프레임들 또는 패킷들(710)을 스피커들(118)에 송신할 수 있다.
후속하여, 스피커들(118)은 미리 정의된 송신 시간들에 프레임들 또는 패킷들(712)을 A/V 허브(112)에 송신할 수 있다. 이러한 프레임들 또는 패킷들이 A/V 허브(112)에 의해 수신될 때, 수신 시간들을 특정하는 정보(이를테면, 패킷(712-1) 내의 수신 시간(714-1))가 패킷들(712)에 포함될 수 있다. 미리 정의된 송신 시간들 및 수신 시간들은 A/V 허브(112) 및 스피커들(118) 내의 클록들의 드리프트를 추적하는 데 사용될 수 있다.
미리 정의된 송신 시간들 및 수신 시간들을 사용하여, A/V 허브(112)는 스피커들(118) 내의 클록들과 A/V 허브(112) 내의 클록 사이의 현재 시간 오프셋들을 계산할 수 있다. 또한, 현재 시간 오프셋들은, 스피커들(118)에서의 클록 드리프트의 A/V 허브(112)에서의 모델들에 기반하여 A/V 허브(112)에 의해 계산될 수 있다. 예컨대, 상대적 또는 절대적 클록 드리프트의 모델은 이력 시간 오프셋들에 기반하여 시간의 함수로서 주어진 스피커에서의 클록 드리프트를 특정하거나 추정하는 파라미터들을 갖는 다항식 또는 3차 스플라인 표현(및 더 일반적으로는 함수)을 포함할 수 있다.
후속하여, A/V 허브(112)는 오디오 콘텐츠(720) 및 재생 타이밍 정보(이를테면, 패킷(716-1) 내의 재생 타이밍 정보(718-1))를 포함하는 하나 이상의 프레임 또는 패킷을 스피커들(118)에 송신할 수 있으며, 여기서, 재생 타이밍 정보는, 현재 시간 오프셋들에 기반하여 스피커들(118)이 오디오 콘텐츠(720)를 재생할 재생 시간들을 특정한다. 스피커들(118)의 재생 시간들은, 스피커들(118)에 의한 오디오 콘텐츠(720)의 재생이 조정되도록, 예컨대, 연관된 사운드 또는 파면들이 원하는 위상 관계로 환경 내의 위치(722)에 도달하도록, 시간적 관계를 가질 수 있다.
통신 기법에서의 조정의 다른 실시예가 도 8에 도시되며, 도 8은 오디오 콘텐츠의 재생을 조정하기 위한 방법(800)을 예시하는 흐름도를 제시한다. 방법(800)은 A/V 허브, 이를테면 A/V 허브(112)(도 1)에 의해 수행될 수 있다는 것을 유의한다. 동작 동안, A/V 허브(이를테면, A/V 허브 내의, 제어 회로 또는 제어 논리, 예컨대, 프로그램 모듈을 실행하는 프로세서)는, A/V 허브 내의 하나 이상의 음향 변환기를 사용하여, A/V 허브를 포함하는 환경에서 전자 디바이스들에 의해 출력되는 사운드를 측정할 수 있으며(동작 810), 여기서, 사운드는 하나 이상의 음향 특성화 패턴에 대응한다. 예컨대, 측정된 사운드는 음압을 포함할 수 있다. 음향 특성화 패턴들은 펄스들을 포함할 수 있다는 것을 유의한다. 더욱이, 사운드는 초음파와 같은 인간 청력 밖의 주파수들의 범위 내에 있을 수 있다.
또한, 주어진 전자 디바이스는, 주어진 전자 디바이스로부터의 사운드가 나머지 전자 디바이스들에 의해 출력되는 사운드로부터 식별되거나 그와 구별될 수 있도록, 나머지 전자 디바이스들에 의해 사용되는 시간들과 상이한 하나 이상의 시간의 시간에 사운드를 출력할 수 있다. 대안적으로 또는 부가적으로, 주어진 전자 디바이스에 의해 출력되는 사운드는, 나머지 전자 디바이스들에 의해 사용되는 것들과 상이할 수 있는 주어진 음향 특성화 패턴에 대응할 수 있다. 따라서, 음향 특성화 패턴들은 전자 디바이스들을 고유하게 식별할 수 있다.
그런 다음, A/V 허브는, 측정된 사운드, 전자 디바이스들이 사운드를 출력하는 하나 이상의 시간, 및 하나 이상의 음향 특성화 패턴에 기반하여, 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록 사이의 현재 시간 오프셋들을 계산할 수 있다(동작 812). 예컨대, A/V 허브는, 환경의 음향 특성, 이를테면, 적어도 특정 주파수와 연관된 음향 지연 또는 적어도 일정 대역의 주파수들(이를테면, 100 - 20,000 Hz, 이는 비제한적인 예임)에서의 환경의 미리 결정된(또는 동적으로 결정된) 음향 전달 함수에 기반하여, 측정된 사운드를 정정할 수 있고, 출력 시간들은 트리거링된 출력 시간들 또는 미리 정의된 출력 시간들과 비교될 수 있다. 이는 A/V 허브가 환경과 연관된 스펙트럼 필터링 또는 왜곡들 없이 원래의 출력 사운드를 결정할 수 있게 할 수 있으며, 이는, A/V 허브가 현재 시간 오프셋들을 더 정확하게 결정할 수 있게 할 수 있다.
측정된 사운드는, 전자 디바이스들이 사운드를 출력하는 하나 이상의 시간을 특정하는 정보를 포함할 수 있고(예컨대, 음향 특성화 패턴들에서의 펄스들이 시간들을 특정할 수 있음), 하나 이상의 시간은 전자 디바이스들 내의 클록들에 대응할 수 있다는 것을 유의한다. 대안적으로 또는 부가적으로, A/V 허브는 전자 디바이스들이 사운드를 출력할 하나 이상의 시간을 무선 통신을 통해 전자 디바이스들에 임의적으로 제공할 수 있고(동작 808), 하나 이상의 시간은 A/V 허브 내의 클록에 대응할 수 있다. 예컨대, A/V 허브는 하나 이상의 시간을 갖는 하나 이상의 프레임 또는 패킷을 전자 디바이스들에 송신할 수 있다. 따라서, A/V 허브가 사운드의 출력을 트리거링할 수 있거나 사운드가 미리 정의된 출력 시간들에서 출력될 수 있다.
다음으로, A/V 허브는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임 또는 패킷을 무선 통신을 사용하여 전자 디바이스들에 송신할 수 있으며(동작 814), 여기서, 재생 타이밍 정보는, 현재 시간 오프셋들에 기반하여 전자 디바이스들이 오디오 콘텐츠를 재생할 재생 시간들을 특정한다. 더욱이, 전자 디바이스들의 재생 시간들은, 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 갖는다. 시간적 관계는 0이 아닌 값을 가질 수 있어서, 전자 디바이스들 중 적어도 일부는 상이한 값들의 재생 시간들을 사용함으로써 서로에 상대적인 위상으로 오디오 콘텐츠를 재생하도록 지시받는다는 것을 유의한다. 예컨대, 상이한 재생 시간들은, 전자 디바이스들 및 A/V 허브를 포함하는 환경의 미리 결정된 또는 동적으로 결정된 음향 특성들에 기반할 수 있다. 대안적으로 또는 부가적으로, 상이한 재생 시간들은 환경에서의 원하는 음향 특성 및/또는 전자 디바이스들에 대한 청취자의 추정된 위치에 기반할 수 있다.
일부 실시예들에서, A/V 허브는 임의적으로 하나 이상의 부가적인 동작을 수행한다(동작 816). 예컨대, A/V 허브는, 음향 특성화 패턴들에서 스펙트럼 콘텐츠를 포함하는 적어도 일정 대역의 주파수들에서의 환경의 음향 전달 함수에 기반하여, 측정된 사운드를 수정할 수 있다. 음향 전달 함수는 미리 결정되고 A/V 허브에 의해 액세스되거나 A/V 허브에 의해 동적으로 결정될 수 있다는 것을 유의한다. 환경과 연관된 필터링에 대한 이러한 정정이 필요할 수 있는데, 그 이유는, 환경 내의 사운드의 전파와 연관된 시간 지연 및 분산이 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록의 원하는 조정보다 훨씬 더 클 수 있지만, 수정된 직접 사운드의 선단 에지가, 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록 사이의 현재 시간 오프셋이 결정될 수 있는 충분한 정확도로 결정될 수 있기 때문이다. 예컨대, 스피커들(118)의 원하는 조정 정확도는 대략 마이크로초 정도로 작을 수 있는 반면, (최대 10 - 30 m의 거리들에 걸친) 전형적인 방에서의 사운드의 전파 지연은 100,000배 더 클 수 있다. 그럼에도 불구하고, 수정된 측정된 사운드는 주어진 전자 디바이스로부터 출력되는 사운드에서의 펄스들과 연관된 직접 사운드의 선단 에지들이 마이크로초 정확도 정도로 적게 측정될 수 있게 할 수 있으며, 이는 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록의 조정을 용이하게 할 수 있다. 일부 실시예들에서, A/V 허브는 환경 내의 온도를 결정하고, 현재 시간 오프셋의 계산들은 (환경에서의 사운드의 속도에 영향을 주는) 온도의 변화들에 대해 정정될 수 있다.
도 9는 휴대용 전자 디바이스(110), A/V 허브(112), 및 스피커(118-1) 간의 통신을 예시하는 도면이다. 특히, 스피커(118-1) 내의 프로세서(910)는, 출력 시간에 사운드를 출력할 것을 스피커(118-1) 내의 하나 이상의 음향 변환기(914)에 지시할 수 있고(912), 여기서, 사운드는 음향 특성화 패턴에 대응한다. 예컨대, 출력 시간은 (이를테면, 음향 특성화 패턴에서의 펄스들의 시퀀스 또는 패턴, 스케줄링된 출력 시간들을 갖는 미리 정의된 출력 스케줄 또는 출력 시간들 사이의 미리 정의된 간격에 기반하여) 미리 정의될 수 있고, 그에 따라, A/V 허브(112) 및 스피커(118-1)에 알려질 수 있다. 대안적으로, A/V 허브(112) 내의 인터페이스 회로(916)는 트리거 프레임 또는 패킷(918)을 제공할 수 있다. 인터페이스 회로(920)가 트리거 패킷(918)을 수신한 후에, 인터페이스 회로(920)는 명령어(922)를 스피커(118-1) 내의 프로세서(910)에 전달할 수 있고, 프로세서(910)는 명령어(922)에 기반하여 하나 이상의 음향 변환기(914)로부터 출력되는 사운드를 트리거링한다.
후속하여, A/V 허브(112) 내의 하나 이상의 음향 변환기(924)는 사운드를 측정(926)할 수 있고, 측정들을 특정하는 정보(928)를 A/V 허브(112) 내의 프로세서(930)에 제공할 수 있다.
다음으로, 프로세서(930)는, 정보(928), 스피커(118-1)가 사운드를 출력한 하나 이상의 시간, 및 스피커(118-1)와 연관된 음향 특성화 패턴에 기반하여, 스피커(118-1) 내의 클록 회로(이를테면, 인터페이스 클록 회로)로부터의 클록과 A/V 허브(112) 내의 클록 회로(이를테면, 인터페이스 클록 회로)로부터의 클록 사이의 현재 시간 오프셋(932)을 계산할 수 있다. 예컨대, 프로세서(930)는, 스피커(118-1) 내의 하나 이상의 음향 변환기(914)가 음향 특성화 패턴에 대응하는 사운드를 출력할 때, 음향 특성화 패턴에서의 적어도 2개의 시간들에 기반하여 현재 시간 오프셋(932)을 결정할 수 있다.
더욱이, 프로세서(930)는 재생 타이밍 정보(934) 및 오디오 콘텐츠(936)를 인터페이스 회로(916)에 제공할 수 있으며, 여기서, 재생 타이밍 정보(934)는 현재 시간 오프셋(932)에 기반하여 스피커(118-1)가 오디오 콘텐츠(936)를 재생할 재생 시간을 특정한다. 프로세서(930)는 메모리(938) 내의 오디오 콘텐츠(936)에 액세스할 수 있다는 것을 유의한다. 이에 대한 응답으로, 인터페이스 회로(916)는 재생 타이밍 정보(934) 및 오디오 콘텐츠(936)를 포함하는 하나 이상의 프레임 또는 패킷(940)을 스피커(118-1)에 송신할 수 있다. (그러나, 일부 실시예들에서, 재생 타이밍 정보(934) 및 오디오 콘텐츠(936)는 별개의 또는 상이한 프레임들 또는 패킷들을 사용하여 송신된다.)
인터페이스 회로(920)가 하나 이상의 프레임 또는 패킷(940)을 수신한 후에, 인터페이스 회로(920)는 재생 타이밍 정보(934) 및 오디오 콘텐츠(936)를 프로세서(924)에 제공할 수 있다. 프로세서(924)는 재생 동작(942)을 수행하는 소프트웨어를 실행할 수 있다. 예컨대, 프로세서(924)는 메모리 내의 큐에 오디오 콘텐츠(936)를 저장할 수 있다. 이러한 실시예들에서, 재생 동작(942)은, 오디오 콘텐츠(936)에 기반하여 음향 변환기들(914) 중 하나 이상을 구동하는 것을 비롯하여, 큐로부터 오디오 콘텐츠(936)를 출력하는 것을 포함하며, 따라서, 스피커(118-1)는 재생 타이밍 정보(934)에 의해 특정된 시간에 사운드를 출력한다.
예시적인 실시예에서, 통신 기법은, 스피커들(118)에 의한 오디오 콘텐츠의 재생을 조정하는 데 사용된다. 이는 도 10에 예시되며, 도 10은, 스피커들(118)에 의한 오디오 콘텐츠의 재생을 조정하는 것을 예시하는 도면을 제시한다. 특히, 스피커들(118)은 음향 특성화 패턴들에 대응하는 사운드(1010)를 출력할 수 있다. 예컨대, 스피커(118-1)와 연관된 음향 특성화 패턴은 2개 이상의 펄스들(1012)을 포함할 수 있고, 펄스들(1012) 사이의 시간 간격(1014)은 스피커(118-1) 내의 클록 회로에 의해 제공되는 클록에 대응할 수 있다. 일부 실시예들에서, 음향 특성화 패턴들에서의 펄스들의 시퀀스 또는 패턴이 또한 스피커들(118)을 고유하게 식별할 수 있다. 도 10에서 음향 특성화 패턴들을 예시하기 위해 펄스들(1012)이 사용되지만, 다른 실시예들에서는, 진폭 변조, 주파수 변조, 위상 변조 등을 포함하는 다양한 시간적, 주파수 및/또는 변조 기법들이 사용될 수 있다. A/V 허브(112)는 스피커들(118)이 음향 특성화 패턴들에 대응하는 사운드(1010)를 출력할 시간들을 특정하는 정보(1018)를 갖는 하나 이상의 프레임 또는 패킷(1016)을 스피커들(118)에 송신함으로써 사운드(1010)의 출력을 임의적으로 트리거링할 수 있다는 것을 유의한다.
그런 다음, A/V 허브(112)는, 하나 이상의 음향 변환기를 사용하여, 전자 디바이스들에 의해 출력되는 사운드(1010)를 측정할 수 있으며, 여기서, 사운드는 음향 특성화 패턴들 중 하나 이상에 대응한다. 사운드(1010)를 측정한 후에, A/V 허브(112)는, 측정된 사운드(1010), 스피커들(118)이 사운드를 출력하는 하나 이상의 시간, 및 하나 이상의 음향 특성화 패턴에 기반하여, 스피커들(118) 내의 클록들과 A/V 허브(112) 내의 클록 사이의 현재 시간 오프셋들을 계산할 수 있다. 일부 실시예들에서, 현재 시간 오프셋들은, 스피커들(118)에서의 클록 드리프트의 A/V 허브(112)에서의 모델들에 기반하여 A/V 허브(112)에 의해 계산될 수 있다. 예컨대, 상대적 또는 절대적 클록 드리프트의 모델은 이력 시간 오프셋들에 기반하여 시간의 함수로서 주어진 스피커에서의 클록 드리프트를 특정하거나 추정하는 파라미터들을 갖는 다항식 또는 3차 스플라인 표현(및 더 일반적으로는 함수)을 포함할 수 있다.
다음으로, A/V 허브(112)는 오디오 콘텐츠(1022) 및 재생 타이밍 정보(이를테면, 패킷(1020-1) 내의 재생 타이밍 정보(1024-1))를 포함하는 하나 이상의 프레임 또는 패킷을 스피커들(118)에 송신할 수 있으며, 여기서, 재생 타이밍 정보는, 현재 시간 오프셋들에 기반하여 스피커들(118)이 오디오 콘텐츠(1022)를 재생할 재생 시간들을 특정한다. 스피커들(118)의 재생 시간들은, 스피커들(118)에 의한 오디오 콘텐츠(1022)의 재생이 조정되도록, 예컨대, 연관된 사운드 또는 파면들이 원하는 위상 관계로 환경 내의 위치(1026)에 도달하도록, 시간적 관계를 가질 수 있다.
통신 기법은 청취자들의 음향 경험을 개선하기 위해 조정을 적응시키는 데 사용되는 동작들을 포함할 수 있다. 하나의 접근법이 도 11에 도시되며, 도 11은, 환경(이를테면, 실내)의 하나 이상의 음향 특성을 선택적으로 결정하기 위한 방법(1100)을 예시하는 흐름도를 제시한다. 방법(1100)은 A/V 허브, 이를테면 A/V 허브(112)(도 1)에 의해 수행될 수 있다. 동작 동안, A/V 허브(이를테면, A/V 허브 내의, 제어 회로 또는 제어 논리, 예컨대, 프로그램 모듈을 실행하는 프로세서)는, 환경 내의 전자 디바이스를 무선 통신을 사용하여 임의적으로 검출할 수 있다(동작 1110). 대안적으로 또는 부가적으로, A/V 허브는 변화 조건을 결정할 수 있으며(동작 1112), 여기서, 변화 조건은, 전자 디바이스가 환경에서 이전에 검출되지 않았다는 것; 및/또는 전자 디바이스의 위치 변화(전자 디바이스가 환경에서 처음 검출된지 오랜 후에 발생하는 위치 변화를 포함함)를 포함한다.
변화 조건이 결정될 때(동작 1112), A/V 허브는 특성화 모드로 전환될 수 있다(동작 1114). 특성화 모드 동안, A/V 허브는: 특정된 재생 시간에 오디오 콘텐츠를 재생하기 위한 명령어들을 전자 디바이스에 제공하고(동작 1116); 환경에서의 음향 측정들에 기반하여 환경의 하나 이상의 음향 특성을 결정하고(동작 1118); 특성화 정보를 메모리에 저장할 수 있으며(동작 1120), 여기서, 특성화 정보는 하나 이상의 음향 특성을 포함한다.
더욱이, A/V 허브는, 부가적인 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임 또는 패킷을 전자 디바이스에 송신할 수 있으며(동작 1122), 여기서, 재생 타이밍 정보는, 하나 이상의 음향 특성에 기반하여 전자 디바이스가 부가적인 오디오 콘텐츠를 재생할 재생 시간을 특정할 수 있다.
일부 실시예들에서, A/V 허브는 임의적으로 하나 이상의 부가적인 동작을 수행한다(동작 1124). 예컨대, A/V 허브는, 이를테면 무선 통신에 기반하여, 환경 내의 전자 디바이스의 위치를 계산할 수 있다. 더욱이, 특성화 정보는, 무선 통신을 사용하여 A/V 허브에 의해 전자 디바이스로부터 수신될 수 있는, 전자 디바이스의 식별자를 포함할 수 있다.
또한, A/V 허브는 다른 전자 디바이스들에 의해 수행되는 음향 측정들에 적어도 부분적으로 기반하여 하나 이상의 음향 특성을 결정할 수 있다. 따라서, A/V 허브는, 무선 통신을 사용하여 환경 내의 다른 전자 디바이스들과 통신할 수 있고, 다른 전자 디바이스들로부터 음향 측정들을 수신할 수 있다. 이러한 실시예들에서, 하나 이상의 음향 특성은 환경 내의 다른 전자 디바이스들의 위치들에 기반하여 결정될 수 있다. A/V 허브는: 다른 전자 디바이스들로부터 다른 전자 디바이스들의 위치들을 수신할 수 있고; 메모리에 저장된 다른 전자 디바이스들의 미리 결정된 위치들에 액세스할 수 있고; 예컨대 무선 통신에 기반하여 다른 전자 디바이스들의 위치들을 결정할 수 있다는 것을 유의한다.
일부 실시예들에서, A/V 허브는 하나 이상의 음향 변환기를 포함하고, A/V 허브는 하나 이상의 음향 변환기를 사용하여 음향 측정들을 수행한다. 따라서, 하나 이상의 음향 특성은, A/V 허브에 의해 단독으로 또는 다른 전자 디바이스들에 의해 수행되는 음향 측정들과 함께 결정될 수 있다.
그러나, 일부 실시예들에서, 하나 이상의 음향 특성을 결정하는 대신, A/V 허브는 다른 전자 디바이스들 중 하나로부터, 결정된 하나 이상의 음향 특성을 수신한다.
음향 특성화는 변화 조건에 기반하여 완전히 자동화될 수 있지만, 일부 실시예들에서, 사용자는 특성화 모드를 수동으로 개시할 수 있거나, 변화 조건이 검출될 때 특성화 모드를 수동으로 승인할 수 있다. 예컨대, A/V 허브는: 사용자 입력을 수신할 수 있고; 사용자 입력에 기반하여 상기 특성화 모드로 전환될 수 있다.
도 12는 A/V 허브(112)와 스피커(118-1) 사이의 통신을 예시하는 도면이다. 특히, A/V 허브(112) 내의 인터페이스 회로(1210)는 스피커(118-1) 내의 인터페이스 회로(1214)와의 프레임들 또는 패킷들(1212)의 무선 통신에 의해 스피커(118-1)를 검출할 수 있다. 이러한 통신은 단방향 또는 양방향일 수 있다는 것을 유의한다.
인터페이스 회로(1210)는 정보(1216)를 프로세서(1218)에 제공할 수 있다. 이러한 정보는 환경에서의 스피커(118-1)의 존재를 표시할 수 있다. 대안적으로 또는 부가적으로, 정보(1216)는 스피커(118-1)의 위치를 특정할 수 있다.
그런 다음, 프로세서(1218)는 변화 조건(1220)이 발생했는지 여부를 결정할 수 있다. 예컨대, 프로세서(1218)는, 스피커(118-1)가 이전에 존재하지 않았거나 이전에 검출된 스피커(118-1)의 위치가 변경되었을 때 환경 내의 스피커(118-1)의 존재를 결정할 수 있다.
변화 조건(1220)이 결정될 때, 프로세서(1218)는 특성화 모드(1222)로 전환될 수 있다. 특성화 모드(1222) 동안, 프로세서(1218)는 명령어(1224)를 인터페이스 회로(1210)에 제공할 수 있다. 이에 대한 응답으로, 인터페이스 회로(1210)는 프레임 또는 패킷(1226)에서 명령어(1224)를 인터페이스 회로(1214)에 송신할 수 있다.
패킷(1226)을 수신한 후에, 인터페이스 회로(1214)는, 이후, 특정된 재생 시간에 오디오 콘텐츠(1232)를 재생할 것을 하나 이상의 음향 변환기(1230)에 지시할 때, 프로세서(1228)에 명령어(1224)를 제공할 수 있다. 프로세서(1228)가 메모리(1208) 내의 오디오 콘텐츠(1232)에 액세스할 수 있거나, 오디오 콘텐츠(1232)가 패킷(1226)에 포함될 수 있다는 것을 유의한다. 다음으로, A/V 허브(112) 내의 하나 이상의 음향 변환기(1234)는 하나 이상의 음향 변환기(1230)에 의해 출력된 오디오 콘텐츠(1232)에 대응하는 사운드의 음향 측정들(1236)을 수행할 수 있다. 음향 측정들(1236)(및/또는 인터페이스 회로(1210)에 의해 다른 스피커들로부터 수신된 추가적인 음향 측정들)에 기반하여, 프로세서(1218)는 환경의 하나 이상의 음향 특성(1238)을 결정할 수 있고, 이는 이후 메모리(1240)에 저장된다.
더욱이, 프로세서(1218)는 재생 타이밍 정보(1242) 및 오디오 콘텐츠(1244)를 인터페이스 회로(1210)에 제공할 수 있으며, 여기서, 재생 타이밍 정보(1242)는 하나 이상의 음향 특성(1238)에 적어도 부분적으로 기반하여 스피커(118-1)가 오디오 콘텐츠(1244)를 재생할 재생 시간을 특정한다. 이에 대한 응답으로, 인터페이스 회로(1210)는 재생 타이밍 정보(1242) 및 오디오 콘텐츠(1244)를 포함하는 하나 이상의 프레임 또는 패킷(1246)을 스피커(118-1)에 송신할 수 있다. (그러나, 일부 실시예들에서, 재생 타이밍 정보(1242) 및 오디오 콘텐츠(1244)는 별개의 또는 상이한 프레임들 또는 패킷들을 사용하여 송신된다.)
인터페이스 회로(1214)가 하나 이상의 프레임 또는 패킷(1246)을 수신한 후에, 인터페이스 회로(1214)는 재생 타이밍 정보(1242) 및 오디오 콘텐츠(1244)를 프로세서(1228)에 제공할 수 있다. 프로세서(1228)는 재생 동작(1248)을 수행하는 소프트웨어를 실행할 수 있다. 예컨대, 프로세서(1228)는 메모리 내의 큐에 오디오 콘텐츠(1244)를 저장할 수 있다. 이러한 실시예들에서, 재생 동작(1248)은, 오디오 콘텐츠(1244)에 기반하여 음향 변환기들(1230) 중 하나 이상을 구동하는 것을 비롯하여, 큐로부터 오디오 콘텐츠(1244)를 출력하는 것을 포함하며, 따라서, 스피커(118-1)는 재생 타이밍 정보(1242)에 의해 특정된 시간에 사운드를 출력한다.
예시적인 실시예에서, 통신 기법은, 변화가 검출될 때 A/V 허브(112)를 포함하는 환경(이를테면, 실내)의 하나 이상의 음향 특성을 선택적으로 결정하는 데 사용된다. 도 13은 스피커들(118)을 포함하는 환경의 선택적 음향 특성화를 예시하는 도면을 제시한다. 특히, A/V 허브(112)는 환경 내의 스피커(118-1)를 검출할 수 있다. 예컨대, A/V 허브(112)는 스피커(118-1)와의 하나 이상의 프레임 또는 패킷(1310)의 무선 통신에 기반하여 스피커(118-1)를 검출할 수 있다. 무선 통신은 단방향 또는 양방향일 수 있다는 것을 유의한다.
변화 조건이 결정될 때(이를테면, 스피커(118-1)의 존재가 처음 검출된 때, 즉, 스피커(118-1)가 환경에서 이전에 검출되지 않았을 때 그리고/또는 환경에서 이전에 검출된 스피커(118-1)의 위치(1312)의 변화가 있을 때), A/V 허브(112)는 특성화 모드로 전환될 수 있다. 예컨대, A/V 허브(112)는, 대략 인간 청력의 상한에서의 파장으로의 위치(1312)의 크기 변화, 예컨대, 스피커(118-1)의 위치(1312)의 0.0085, 0.017 또는 0.305 m(비제한적인 예들임)의 변화가 검출될 때, 특성화 모드로 전환될 수 있다.
특성화 모드 동안, A/V 허브(112)는: 특정된 재생 시간에 오디오 콘텐츠를 재생하기 위해(즉, 사운드(1316)를 출력하기 위해) 프레임 또는 패킷(1314)에서 명령어들을 스피커(118-1)에 제공하고; 스피커(118-1)에 의해 출력되는 사운드(1316)의 음향 측정들에 기반하여 환경의 하나 이상의 음향 특성을 결정하고; 스피커(118-1)의 위치(1312)를 포함할 수 있는 하나 이상의 음향 특성을 메모리에 저장할 수 있다.
예컨대, 오디오 콘텐츠는, 일정 범위의 주파수들(이를테면, 비제한적인 예들인, 100 내지 10,000 또는 20,000 Hz, 또는 인간 청력의 범위 내의 2개 이상의 하위 주파수 대역들, 예컨대 500, 1000, 및 2000 Hz)에 걸친 의사랜덤 주파수 패턴 또는 백색 잡음, 일정 범위의 주파수들에 걸쳐 시간의 함수로서 변화하는 캐리어 주파수를 갖는 음향 패턴, 일정 범위의 주파수들에서 스펙트럼 콘텐츠를 갖는 음향 패턴, 및/또는 하나 이상의 유형의 음악(이를테면, 교향악, 클래식 음악, 실내악, 오페라, 락 또는 대중 음악 등)을 포함할 수 있다. 일부 실시예들에서, 특정 시간적 패턴, 스펙트럼 콘텐츠 및/또는 하나 이상의 주파수 톤과 같은 오디오 콘텐츠가 스피커(118-1)를 고유하게 식별한다. 대안적으로 또는 부가적으로, A/V 허브(112)는, 스피커(118-1)와의 무선 통신을 통해, 문자숫자식 코드와 같은 스피커(118-1)의 식별자를 수신할 수 있다.
그러나, 일부 실시예들에서, 음향 특성화는 스피커(118-1)가 오디오 콘텐츠를 재생함이 없이 수행된다. 예컨대, 음향 특성화는, 사람의 음성과 연관된 음향 에너지에 기반하거나 환경의 퍼커시브(percussive) 배경 잡음을 1 - 2 분 측정함으로써 이루어질 수 있다. 따라서, 일부 실시예들에서, 음향 특성화는 (오디오 콘텐츠가 재생될 때의 능동 측정들 대신) 수동 특성화를 포함한다.
더욱이, 음향 특성들은: 일정 범위의 주파수들에 걸친 환경의 음향 스펙트럼 응답(즉, 주파수의 함수로서 진폭 응답을 특정하는 정보), 일정 범위의 주파수들에 걸친 음향 전달 함수 또는 임펄스 응답(즉, 주파수의 함수로서 진폭 및 위상 응답을 특정하는 정보), 실내 공진들 또는 저주파수 실내 모드들(환경에서의 포지션 또는 위치의 함수로서 노드들 및 안티노드들을 갖고, 환경에서의 사운드를 서로로부터 90°로 상이한 방향들로 측정함으로써 결정될 수 있음), 스피커(118-1)의 위치(1312), 반향들(스피커(118-1)로부터의 직접 사운드의 도달의 50 - 60 ms 내의 초기 반향들, 및 더 긴 시간 척도들로 발생하는 늦은 반향들 또는 에코들을 포함하며, 이는 선명도에 영향을 미칠 수 있음), 직접 사운드의 음향 지연, 일정 범위의 주파수들에 걸친 평균 잔향 시간(또는 오디오 콘텐츠가 중단된 후의 일정 범위의 주파수들에 걸친 환경에서의 음향 사운드의 지속성), 환경의 볼륨(이를테면, 광학적으로 결정될 수 있는, 실내의 크기 및/또는 기하학적 구조), 환경의 배경 잡음, 환경의 주변 사운드, 환경의 온도, 환경 내의 사람의 수(및 더 일반적으로는, 환경에서의 일정 범위의 주파수들에 걸친 흡수 또는 음향 손실), 환경이 음향적으로 얼마나 생동감이 있는지, 선명한지 또는 흐릿한지의 척도, 및/또는 환경의 유형을 특정하는 정보(이를테면, 강당, 범용적 실내, 콘서트 홀, 실내의 크기, 실내에 있는 가구의 유형들 등)를 포함할 수 있다. 예컨대, 잔향 시간은, 주파수에서의 임펄스와 연관된 음압이 - 60 dB와 같은 특정 레벨로 감쇠하기 위한 시간으로서 정의될 수 있다. 일부 실시예들에서, 잔향 시간은 주파수의 함수이다. 음향 특성들의 앞선 예들에서의 주파수들의 범위는 서로 동일하거나 상이할 수 있다는 것을 유의한다. 따라서, 일부 실시예들에서, 상이한 음향 특성들에 대해 상이한 주파수들의 범위들이 사용될 수 있다. 게다가, 일부 실시예들에서의 '음향 전달 함수'는 음향 전달 함수의 크기(때때로 '음향 스펙트럼 응답'으로 지칭됨), 음향 전달 함수의 위상, 또는 둘 모두를 포함할 수 있다는 것을 유의한다.
앞서 언급된 바와 같이, 음향 특성들은 스피커(118-1)의 위치(1312)를 포함할 수 있다. 스피커(118-1)의 위치(1312)(거리 및 방향을 포함함)는, 삼각측량, 삼변측량, 비행 시간, 무선 거리측량, 도달 각도 등과 같은 기법들을 사용하여 A/V 허브(112)에 의해 그리고/또는 환경 내의 다른 전자 디바이스들(이를테면, 스피커들(118))과 함께 결정될 수 있다. 더욱이, 위치(1312)는, 무선 통신(이를테면, 무선 로컬 영역 네트워크 또는 셀룰러 텔레폰 네트워크와의 통신), 음향 측정들, 로컬 위치결정 시스템, 글로벌 위치결정 시스템 등을 사용하여 A/V 허브(112)에 의해 결정될 수 있다.
음향 특성들이 A/V 허브(112)에 의해 수행되는 측정들에 기반하여 A/V 허브(112)에 의해 결정될 수 있지만, 일부 실시예들에서, 음향 특성들은 환경 내의 다른 전자 디바이스들에 의해 또는 그와 함께 결정된다. 특히, 하나 이상의 다른 전자 디바이스(이를테면, 하나 이상의 다른 스피커(118))는 음향 측정들을 수행할 수 있고, 이 음향 측정들은 이어서 프레임들 또는 패킷들(1318)에서 A/V 허브(112)에 무선으로 통신된다. (따라서, 음향 측정들을 수행하는 음향 변환기가 A/V 허브(112)에 그리고/또는 하나 이상의 다른 스피커(118)에 포함될 수 있다.) 결과적으로, A/V 허브(112)는, A/V 허브(112) 및/또는 하나 이상의 다른 스피커(118)에 의해 수행되는 음향 측정들에 적어도 부분적으로 기반하여 음향 특성들을 계산할 수 있다. 계산들은 또한 환경 내의 하나 이상의 다른 스피커(118)의 위치(들)(1320)에 기반할 수 있다는 것을 유의한다. 이러한 위치들은, 프레임들 또는 패킷들(1318)에서 하나 이상의 다른 스피커(118)로부터 수신되고, 전술한 기법들 중 하나를 사용하여(이를테면, 무선 거리측량을 사용하여) 계산되고/거나 메모리에서 액세스될 수 있다(즉, 위치들(1320)이 미리 결정될 수 있음).
더욱이, 변화 조건이 검출될 때 음향 특성화가 발생할 수 있지만, 대안적으로 또는 부가적으로, A/V 허브(112)는 사용자 입력에 기반하여 특성화 모드로 전환될 수 있다. 예컨대, 사용자는 휴대용 전자 디바이스(110) 상의 사용자 인터페이스에서 가상 명령 아이콘을 활성화할 수 있다. 따라서, 음향 특성화는 자동으로, 수동으로 개시되고/거나 반자동(사용자 인터페이스는 특성화 모드로의 전환 전에 사용자에게 승인을 요청하는 데 사용됨)으로 개시될 수 있다.
음향 특성들을 결정한 후에, A/V 허브(112)는 정상 동작 모드로 다시 전환될 수 있다. 이러한 동작 모드에서, A/V 허브(112)는, 부가적인 오디오 콘텐츠(1324)(이를테면, 음악) 및 재생 타이밍 정보(1326)를 포함하는 하나 이상의 프레임 또는 패킷(이를테면, 패킷(1322))을 스피커(118-1)에 송신할 수 있으며, 여기서, 재생 타이밍 정보(1326)는, 하나 이상의 음향 특성에 기반하여 스피커(118-1)가 부가적인 오디오 콘텐츠(1324)를 재생할 재생 시간을 특정할 수 있다. 따라서, 음향 특성화는, 스피커(118-1)의 위치(1312)의 변화와 연관되는 하나 이상의 음향 특성의 변화들(직접 또는 간접)을 정정하거나 그에 적응하기 위해 사용될 수 있고, 그에 의해 사용자 경험이 개선된다.
음향 경험을 개선하기 위한 다른 접근법은, 하나 이상의 청취자의 동적으로 추적된 위치들에 기반하여 조정을 적응시키는 것이다. 이는 도 14에 도시되며, 도 14는, 추정된 위치를 계산하기 위한 방법(1400)을 예시하는 흐름도를 제시한다. 방법(1400)은 A/V 허브, 이를테면 A/V 허브(112)(도 1)에 의해 수행될 수 있다는 것을 유의한다. 동작 동안, A/V 허브(이를테면, A/V 허브 내의, 제어 회로 또는 제어 논리, 예컨대, 프로그램 모듈을 실행하는 프로세서)는, A/V 허브 및 전자 디바이스들을 포함하는 환경에서 전자 디바이스들에 대한 청취자(또는 청취자와 연관된 전자 디바이스, 이를테면, 도 1의 휴대용 전자 디바이스(110))의 추정된 위치를 계산할 수 있다(동작 1410).
그런 다음, A/V 허브는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임 또는 패킷을 전자 디바이스들에 송신할 수 있으며(동작 1412), 여기서, 재생 타이밍 정보는, 추정된 위치에 기반하여 전자 디바이스들이 오디오 콘텐츠를 재생할 재생 시간들을 특정한다. 또한, 전자 디바이스들의 재생 시간들은, 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 갖는다. 시간적 관계는 0이 아닌 값을 가질 수 있어서, 전자 디바이스들 중 적어도 일부는 상이한 값들의 재생 시간들을 사용함으로써 서로에 상대적인 위상으로 오디오 콘텐츠를 재생하도록 지시받는다는 것을 유의한다. 예컨대, 상이한 재생 시간들은, 전자 디바이스들 및 A/V 허브를 포함하는 환경의 미리 결정된 또는 동적으로 결정된 음향 특성들에 기반할 수 있다. 대안적으로 또는 부가적으로, 상이한 재생 시간들은 환경에서의 원하는 음향 특성에 기반할 수 있다. 부가적으로, 재생 시간들은 전자 디바이스들 내의 클록들과 A/V 허브 내의 클록 사이의 현재 시간 오프셋들에 기반할 수 있다.
일부 실시예들에서, A/V 허브는 임의적으로 하나 이상의 부가적인 동작을 수행한다(동작 1414). 예컨대, A/V 허브는 다른 전자 디바이스와 통신할 수 있고, 다른 전자 디바이스와의 통신에 기반하여 청취자의 추정된 위치가 계산될 수 있다.
더욱이, A/V 허브는 환경에서 사운드 측정들을 수행하는 음향 변환기를 포함할 수 있고, 청취자의 추정된 위치는 사운드 측정들에 기반하여 계산될 수 있다. 대안적으로 또는 부가적으로, A/V 허브는 환경 내의 다른 전자 디바이스들과 통신할 수 있고, 다른 전자 디바이스들로부터 환경의 부가적인 사운드 측정들을 수신할 수 있으며, 청취자의 추정된 위치는 부가적인 사운드 측정들에 기반하여 계산될 수 있다.
일부 실시예들에서, A/V 허브는 비행 시간 측정들을 수행하며, 청취자의 추정된 위치는 비행 시간 측정들에 기반하여 계산된다.
또한, A/V 허브는 환경 내의 전자 디바이스들에 대한 부가적인 청취자들의 부가적인 추정된 위치들을 계산할 수 있으며, 재생 시간들은 추정된 위치 및 부가적인 추정된 위치들에 기반할 수 있다. 예컨대, 재생 시간들은 추정된 위치와 부가적인 추정된 위치들의 평균에 기반할 수 있다. 대안적으로, 재생 시간들은 추정된 위치와 부가적인 추정된 위치들의 가중 평균에 기반할 수 있다.
도 15는 휴대용 전자 디바이스(110), A/V 허브(112), 및 스피커들(118), 이를테면 스피커(118-1) 간의 통신을 예시하는 도면이다. 특히, A/V 허브(112) 내의 인터페이스 회로(1510)는 휴대용 전자 디바이스(110) 내의 인터페이스 회로(1514)로부터 하나 이상의 프레임 또는 패킷(1512)을 수신할 수 있다. A/V 허브(112)와 휴대용 전자 디바이스(110) 사이의 통신은 단방향 또는 양방향일 수 있다는 것을 유의한다. 그런 다음, 하나 이상의 프레임 또는 패킷(1512)에 기반하여, A/V 허브(112) 내의 인터페이스 회로(1510) 및/또는 프로세서(1516)는, 휴대용 전자 디바이스(110)와 연관된 청취자의 위치(1518)를 추정할 수 있다. 예컨대, 인터페이스 회로(1510)는 패킷들(1512)에 기반하여 정보(1508)를 제공할 수 있고, 이는 위치(1518)를 추정하기 위해 프로세서(1516)에 의해 사용된다.
대안적으로 또는 부가적으로, A/V 허브(112) 내의 하나 이상의 음향 변환기(1520) 및/또는 스피커들(118) 내의 하나 이상의 음향 변환기(1506)는 청취자와 연관된 사운드의 측정들(1522)을 수행할 수 있다. 스피커들(118)이 사운드의 측정들(1522-2)을 수행하는 경우, 스피커들(118) 중 하나 이상(이를테면, 스피커(118-1)) 내의 인터페이스 회로들(1524)은, 프로세서(1532)로부터의 명령어들(1530)에 기반하여 사운드의 측정들(1522-2)을 특정하는 정보(1528)를 갖는 하나 이상의 프레임 또는 패킷(1526)을 인터페이스 회로(1510)에 송신할 수 있다. 그런 다음, 인터페이스 회로(1514) 및/또는 프로세서(1516)는 측정된 사운드(1522)에 기반하여 위치(1518)를 추정할 수 있다.
다음으로, 프로세서(1516)는, 재생 타이밍 정보(1538) 및 오디오 콘텐츠(1540)를 갖는 하나 이상의 프레임 또는 패킷(1536)을 스피커(118-1)에 송신할 것을 인터페이스 회로(1510)에 지시할 수 있으며, 여기서, 재생 타이밍 정보(1538)는, 위치(1518)에 적어도 부분적으로 기반하여 스피커(118-1)가 오디오 콘텐츠(1540)를 재생할 재생 시간을 특정한다. (그러나, 일부 실시예들에서, 재생 타이밍 정보(1538) 및 오디오 콘텐츠(1540)는 별개의 또는 상이한 프레임들 또는 패킷들을 사용하여 송신된다.) 프로세서(1516)는 메모리(1534) 내의 오디오 콘텐츠(1540)에 액세스할 수 있다는 것을 유의한다.
하나 이상의 프레임 또는 패킷(1536)을 수신한 후에, 인터페이스 회로(1524)는 재생 타이밍 정보(1538) 및 오디오 콘텐츠(1540)를 프로세서(1532)에 제공할 수 있다. 프로세서(1532)는 재생 동작(1542)을 수행하는 소프트웨어를 실행할 수 있다. 예컨대, 프로세서(1532)는 메모리 내의 큐에 오디오 콘텐츠(1540)를 저장할 수 있다. 이러한 실시예들에서, 재생 동작(1542)은, 오디오 콘텐츠(1540)에 기반하여 음향 변환기들(1506) 중 하나 이상을 구동하는 것을 비롯하여, 큐로부터 오디오 콘텐츠(1540)를 출력하는 것을 포함하며, 따라서, 스피커(118-1)는 재생 타이밍 정보(1538)에 의해 특정된 시간에 사운드를 출력한다.
예시적인 실시예에서, 통신 기법은, 환경에서 하나 이상의 청취자의 위치를 동적으로 추적하는 데 사용된다. 도 16은 스피커(118)에 대한 하나 이상의 청취자의 추정된 위치를 계산하는 것을 예시하는 도면을 제시한다. 특히, A/V 허브(112)는, A/V 허브(112) 및 스피커들(118)을 포함하는 환경에서, 이를테면 스피커들(118)에 대한 청취자(1612)의 위치(1610)와 같은, 하나 이상의 청취자들의 추정된 위치(들)를 계산할 수 있다. 예컨대, 위치(1610)는 대략적으로(예컨대, 실내에 가까운 정도로, 3 - 10 m 정확도 등) 또는 정밀하게(예컨대, 0.1 - 3 m 정확도) 결정될 수 있으며, 이들은 비제한적인 수치적 예들이다.
일반적으로, 위치(1610)는, 삼각측량, 삼변측량, 비행 시간, 무선 거리측량, 도달 각도 등과 같은 기법들을 사용하여 A/V 허브(112)에 의해 그리고/또는 환경 내의 다른 전자 디바이스들(이를테면, 스피커들(118))과 함께 결정될 수 있다. 더욱이, 위치(1610)는, 무선 통신(이를테면, 무선 로컬 영역 네트워크 또는 셀룰러 텔레폰 네트워크와의 통신), 음향 측정들, 로컬 위치결정 시스템, 글로벌 위치결정 시스템 등을 사용하여 A/V 허브(112)에 의해 결정될 수 있다.
예컨대, 적어도 청취자(1612)의 위치(1610)는, A/V 허브(112)에 의해, 청취자(1612) 또는 그를 지니고 있는 사람에 근접해 있을 수 있는 다른 전자 디바이스, 이를테면 휴대용 전자 디바이스(110)와의 하나 이상의 프레임 또는 패킷(1614)의 무선 통신에 기반하여(이를테면, 무선 거리측량, 비행 시간 측정들, 도달 각도, RSSI 등을 사용하여) 추정될 수 있다. 일부 실시예들에서, 다른 전자 디바이스와의 무선 통신(이를테면, 휴대용 전자 디바이스(110)로부터 수신된 프레임들 또는 패킷들에서의 MAC 어드레스)은 청취자(1612)를 식별하는 서명 또는 전자 무인(thumbprint)으로서 사용된다. 휴대용 전자 디바이스(110)와 A/V 허브(112) 사이의 통신은 단방향 또는 양방향일 수 있다는 것을 유의한다.
무선 거리측량 동안, A/V 허브(112)는, 송신 시간을 포함하는 프레임 또는 패킷을, 예컨대 휴대용 전자 디바이스(110)에 송신할 수 있다. 이러한 프레임 또는 패킷이 휴대용 전자 디바이스(110)에 의해 수신될 때, 도달 시간이 결정될 수 있다. 비행 시간(도달 시간과 송신 시간의 차이)과 전파 속도의 곱에 기반하여, A/V 허브(112)와 휴대용 전자 디바이스(110) 사이의 거리가 계산될 수 있다. 그런 다음, 이러한 거리는 휴대용 전자 디바이스(110)로부터의 프레임 또는 패킷의 후속 송신에서 휴대용 전자 디바이스(110)의 식별자와 함께 A/V 허브(112)에 통신될 수 있다. 대안적으로, 휴대용 전자 디바이스(110)는 송신 시간 및 휴대용 전자 디바이스(110)의 식별자를 포함하는 프레임 또는 패킷을 송신할 수 있고, A/V 허브(112)는 비행 시간(도달 시간과 송신 시간의 차이)과 전파 속도의 곱에 기반하여 휴대용 전자 디바이스(110)와 A/V 허브(112) 사이의 거리를 결정할 수 있다.
이러한 접근법에 대한 변형에서, A/V 허브(112)는, 휴대용 전자 디바이스(110)에서 반사되는 프레임들 또는 패킷들(1614)을 송신할 수 있고, 반사된 프레임들 또는 패킷들(1614)은 휴대용 전자 디바이스(110)와 A/V 허브(112) 사이의 거리를 동적으로 결정하는 데 사용될 수 있다.
앞선 예는 휴대용 전자 디바이스(110)와 A/V 허브(112) 내의 조정된 클록들을 이용하는 무선 거리측량을 예시하지만, 다른 실시예들에서는, 클록들이 조정되지 않는다. 예컨대, 휴대용 전자 디바이스(110)의 포지션은, 송신 시간이 알려져 있지 않거나 이용가능하지 않은 경우라 하더라도, 환경 내의 상이한 알려진 위치들에 있는 몇몇 수신기들에서의 무선 신호들의 도달 시간 데이터(때때로, '차등적 도달 시간'으로 지칭됨) 및 전파 속도에 기반하여 추정될 수 있다. 예컨대, 수신기들은 미리 정의되거나 미리 결정될 수 있는 위치들(1616)에 있는 다른 스피커들(118) 중 적어도 일부일 수 있다. 더 일반적으로, 원래의 송신 신호 강도에 대한 RSSI의 전력의 차이에 기반하여 거리를 결정하는 것(흡수, 굴절, 섀도잉, 및/또는 반사에 대한 정정들을 포함할 수 있음); 지향성 안테나를 사용하거나 환경 내의 알려진 위치(들)를 갖는 안테나들의 어레이에서의 차등적 도달 시간에 기반하여 수신기에서의 도달 각도(비-가시선 수신을 포함함)를 결정하는 것; 후방산란된 무선 신호들에 기반하여 거리를 결정하는 것; 및/또는 환경 내의 알려진 위치를 갖는 2개의 수신기에서의 도달 각도를 결정하는 것(즉, 삼변측량 또는 다변측량)과 같은 다양한 무선측위 기법들이 사용될 수 있다. 무선 신호들은, 짧은 지속기간(이를테면, 예컨대 대략적으로 1 ns)의 펄스들을 생성하기 위해 GHz 또는 다중 GHz 대역폭들을 통한 송신들을 포함할 수 있으며, 이는, 0.305 m(예컨대, 1 ft) 내에서 거리가 결정될 수 있게 할 수 있고, 비제한적인 예들이라는 것을 유의한다. 일부 실시예들에서, 무선 거리측량은, 로컬 위치결정 시스템, 글로벌 위치결정 시스템, 및/또는 무선 네트워크에 의해 결정되거나 특정되는 환경 내의 전자 디바이스들 중 하나 이상의 전자 디바이스의 위치(이를테면, 위치들(1616))와 같은 위치 정보를 사용하여 가능해진다.
대안적으로 또는 부가적으로, 위치(1610)는, 청취자(1612)의 음향 추적과 같은, 환경에서의 사운드 측정들에 기반하여, 예컨대, 청취자가 돌아다니고, 말하고/거나 호흡함에 따라 청취자가 발생시키는 사운드들(1618)에 기반하여 A/V 허브(112)에 의해 추정될 수 있다. 사운드 측정들은 (이를테면, 위상 어레이로서 배열될 수 있는 2개 이상의 음향 변환기들, 예컨대, 마이크로폰들을 사용하여) A/V 허브(112)에 의해 수행될 수 있다. 그러나, 일부 실시예들에서, 사운드 측정들은 스피커들(118)과 같은 환경 내의 하나 이상의 전자 디바이스에 의해 별개로 또는 부가적으로 수행될 수 있고, 이러한 사운드 측정들은 프레임들 또는 패킷들(1618)에서 A/V 허브(112)에 무선으로 통신될 수 있으며, A/V 허브(112)는 이후 위치(1610)를 추정하기 위해 사운드 측정들을 사용한다. 일부 실시예들에서, 청취자(1612)는 음성 인식 기법을 사용하여 식별된다.
일부 실시예들에서, 위치(1610)는, 환경에서의 사운드 측정들 및 환경의 미리 결정된 음향 특성, 이를테면, 스펙트럼 응답 또는 음향 전달 함수에 기반하여 A/V 허브(112)에 의해 추정된다. 예컨대, 청취자(1612)가 환경에서 이동함에 따라 미리 결정된 실내 모드들의 여기(excitation)에서의 변동이 위치(1610)를 추정하는 데 사용될 수 있다.
더욱이, 청취자(1612)의 위치(1610)를 추적하거나 추정하기 위해 하나 이상의 다른 기법이 사용될 수 있다. 예컨대, 위치(1610)는, (가시 광 또는 적외선 광과 같은) 파장들의 대역에서의 청취자(1612)의 광학 이미징, (레이저 거리측량과 같은) 비행 시간 측정들, 및/또는 빔-라인 교차들의 패턴에 기반하여 그리드에 청취자(1612)를 로컬라이징하는(그리고 그에 따라, 위치(1610)를 대략적으로 결정하는) 광학 빔들(이를테면, 적외선 빔들)의 그리드에 기반하여 추정될 수 있다. 일부 실시예들에서, 청취자(1612)의 신원은 안면 인식 및/또는 게이트 인식 기법을 사용하여 광학 이미지들에서 결정된다.
예컨대, 일부 실시예들에서, 환경 내의 청취자의 위치는, 청취자에게 휴대되는 셀룰러 텔레폰과의 무선 통신에 기반하여 추적된다. 환경 내의 위치들의 패턴에 기반하여, 환경 내의 가구의 위치들 및/또는 환경의 기하학적 구조(이를테면, 실내의 크기 또는 치수들)가 결정될 수 있다. 이러한 정보는 환경의 음향 특성을 결정하는 데 사용될 수 있다. 더욱이, 청취자의 이력 위치들은 환경 내의 청취자의 추정된 위치를 제약하는 데 사용될 수 있다. 특히, 상이한 시간들에서의 환경 내의 청취자의 위치에 관한 이력 정보는, 하루 중 특정 시간에서의 청취자의 현재 위치를 추정하는 것을 보조하는 데 사용될 수 있다. 따라서, 일반적으로, 청취자의 위치는 광학 측정들, 음향 측정들, 음향 특성들, 무선 통신 및/또는 기계 학습의 조합을 사용하여 추정될 수 있다.
위치(1610)를 결정한 후에, A/V 허브(112)는, 부가적인 오디오 콘텐츠(1622)(이를테면, 음악) 및 재생 타이밍 정보를 포함하는 적어도 하나 이상의 프레임 또는 패킷을 스피커들(118)에 송신할 수 있으며(이를테면, 패킷(1620-1)에서 재생 타이밍 정보(1624-1)를 스피커(118-1)에 송신할 수 있음), 여기서, 재생 타이밍 정보(1624-1)는, 위치(1610)에 기반하여 스피커(118-1)가 부가적인 오디오 콘텐츠(1622)를 재생할 재생 시간을 특정할 수 있다. 따라서, 통신 기법은, 위치(1610)의 변화들을 정정하거나 그에 적응하기 위해 사용될 수 있고, 그에 의해 사용자 경험이 개선된다.
앞서 언급된 바와 같이, 상이한 재생 시간들은 환경에서의 원하는 음향 특성에 기반할 수 있다. 예컨대, 원하는 음향 특성은: 단일음향, 입체음향, 및/또는 다중채널 사운드와 같은 재생 유형을 포함할 수 있다. 단일음향 사운드는, 지향성 신호들을 복제하거나 모의하는 어떠한 진폭(또는 레벨) 및 도달 시간/위상 정보도 포함하지 않는 하나 이상의 오디오 신호를 포함할 수 있다.
더욱이, 입체음향 사운드는 2개의 독립적인 오디오 신호 채널을 포함할 수 있고, 오디오 신호들은 서로에 대해 특정 진폭 및 위상 관계를 가질 수 있어서, 재생 동작 동안, 원래의 사운드 소스의 겉보기 이미지가 존재한다. 일반적으로, 두 채널 모두에 대한 오디오 신호들이 환경의 대부분 또는 전체에 걸친 유효 도달 범위(coverage)를 제공할 수 있다. 오디오 채널들의 상대적인 진폭들 및/또는 위상들을 조정함으로써, 스위트 스폿은 적어도 청취자의 결정된 위치를 따르도록 이동될 수 있다. 그러나, 진폭 차이들 및 도달 시간 차이들(지향성 신호들)은 입체음향 이미지 및 로컬라이제이션 둘 모두가 유지될 정도로 충분히 작을 필요가 있을 수 있다. 그렇지 않으면, 이미지가 붕괴될 수 있고, 오직 하나 또는 다른 오디오 채널만이 청취된다.
입체음향 사운드에서의 오디오 채널들은 정확한 절대 위상 응답을 가질 필요가 있을 수 있다는 것을 유의한다. 이는, 시스템에 대한 입력에서 양의 압력 파형을 갖는 오디오 신호가 스피커들(118) 중 하나로부터의 출력에서 동일한 양의 압력 파형을 가질 필요가 있을 수 있다는 것을 의미한다. 따라서, 타격될 때 마이크로폰에서 양의 압력 파형을 생성하는 드럼은 환경에서 양의 압력 파형을 생성할 필요가 있을 수 있다. 대안적으로, 절대 극성이 잘못된 방식으로 플립되는 경우, 오디오 이미지는 안정적이지 않을 수 있다. 특히, 청취자는 안정적인 오디오 이미지를 발견하거나 인지하지 못할 수 있다. 대신, 오디오 이미지는 배회할 수 있고, 스피커들(118)에 로컬라이징할 수 있다.
또한, 다중채널 사운드는 좌측, 중앙 및 우측 오디오 채널들을 포함할 수 있다. 예컨대, 이러한 채널들은, 단일음향 음성 강화 및 음악 또는 사운드 효과 신호들이 로컬라이징되거나 특정 관점으로 입체음향 또는 입체음향형 이미징과 혼합될 수 있게 할 수 있다. 따라서, 3개의 오디오 채널들은, 단일음향 또는 입체음향 사운드에 대한 경우와 같이, 진폭 및 지향성 신호들을 유지하면서 전체 환경의 대부분 또는 전체에 걸친 유효 도달 범위를 제공할 수 있다.
대안적으로 또는 부가적으로, 원하는 음향 특성은 음향 방사 패턴을 포함할 수 있다. 원하는 음향 방사 패턴은 환경에서의 잔향 시간의 함수일 수 있다. 예컨대, 잔향 시간은, 환경 내의 사람들의 수, 환경 내의 가구의 유형 및 양, 커튼들이 개방되어 있는지 또는 폐쇄되어 있는지 여부, 창문이 개방되어 있는지 또는 폐쇄되어 있는지 여부 등에 따라 변할 수 있다. 잔향 시간이 더 길거나 증가될 때, 사운드가 청취자에게 조향되거나 빔지향될 수 있도록, 원하는 음향 방사 패턴이 보다 지향될 수 있다(그에 의해 잔향이 감소됨). 일부 실시예들에서, 원하는 음향 특성은 단어들의 명료도를 포함한다.
앞선 논의는 청취자(1612)(또는 휴대용 전자 디바이스(110))의 위치(1610)를 동적으로 추적하는 데 사용될 수 있는 기법들을 예시하지만, 이러한 기법들은 환경 내의 전자 디바이스(이를테면, 스피커(118-1))의 위치를 결정하는 데 사용될 수 있다.
음향 경험을 개선하기 위한 다른 접근법은, 전자 디바이스들을 그룹들로 동적으로 집합화하고/거나 그룹들에 기반하여 조정을 적응시키는 것이다. 이는 도 17에 도시되며, 도 17은, 전자 디바이스들을 집합화하기 위한 방법(1700)을 예시하는 흐름도를 제시한다. 방법(1700)은 A/V 허브, 이를테면 A/V 허브(112)(도 1)에 의해 수행될 수 있다는 것을 유의한다. 동작 동안, A/V 허브(이를테면, A/V 허브 내의, 제어 회로 또는 제어 논리, 예컨대, 프로그램 모듈을 실행하는 프로세서)는, 하나 이상의 음향 변환기를 사용하여, 환경에서 전자 디바이스들(이를테면, 스피커들(118))에 의해 출력되는 사운드를 측정할 수 있으며(동작 1710), 여기서, 사운드는 오디오 콘텐츠에 대응한다. 예컨대, 측정된 사운드는 음압을 포함할 수 있다.
그런 다음, A/V 허브는, 측정된 사운드에 기반하여 전자 디바이스들을 2개 이상의 하위 세트로 집합화할 수 있다(동작 1712). 상이한 하위 세트들은 환경 내의 상이한 실내들에 위치될 수 있다는 것을 유의한다. 더욱이, 하위 세트들 중 적어도 하나는 나머지 하위 세트들과는 상이한 오디오 콘텐츠를 재생할 수 있다. 또한, 2개 이상의 하위 세트로의 전자 디바이스들의 집합화는, 상이한 오디오 콘텐츠; 측정된 사운드의 음향 지연; 및/또는 환경에서의 원하는 음향 특성에 기반할 수 있다. 일부 실시예들에서, 하위 세트들 내의 전자 디바이스들 및/또는 하위 세트들과 연관된 지리적 위치들 또는 구역들은 미리 정의되지 않는다. 대신, A/V 허브는 하위 세트들을 동적으로 집합화할 수 있다.
더욱이, A/V 허브는 하위 세트들에 대한 재생 타이밍 정보를 결정할 수 있고(동작 1714), 여기서, 재생 타이밍 정보는, 주어진 하위 세트 내의 전자 디바이스들이 오디오 콘텐츠를 재생할 재생 시간들을 특정한다.
다음으로, A/V 허브는, 오디오 콘텐츠 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임 또는 패킷을 무선 통신을 사용하여 전자 디바이스들에 송신할 수 있고(동작 1716), 여기서, 적어도 주어진 하위 세트 내의 전자 디바이스들의 재생 시간들은, 주어진 하위 세트 내의 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 갖는다.
일부 실시예들에서, A/V 허브는 임의적으로 하나 이상의 부가적인 동작을 수행한다(동작 1718). 예컨대, A/V 허브는, 전자 디바이스들에 대해 적어도 청취자의 추정된 위치를 계산할 수 있고, 2개 이상의 하위 세트로의 전자 디바이스들의 집합화는 적어도 청취자의 추정된 위치에 기반할 수 있다. 이는, 청취자가, 다른 하위 세트(들)로부터의 음향 누화가 감소된 개선된 음향 경험을 갖도록 보장하는 것을 도울 수 있다.
더욱이, A/V 허브는, 적어도 일정 대역의 주파수들(이를테면, 비제한적인 예인, 100 - 20,000 Hz)에서 환경의 미리 결정된(또는 동적으로 결정된) 음향 전달 함수에 기반하여, 측정된 사운드를 수정할 수 있다. 이는, A/V 허브가 환경과 연관된 스펙트럼 필터링 또는 왜곡들 없이 원래의 출력 사운드를 결정할 수 있게 할 수 있으며, 이는, A/V 허브가 하위 세트들을 집합화할 때 더 양호한 결정들을 행할 수 있게 할 수 있다.
또한, A/V 허브는 하위 세트들이 오디오 콘텐츠를 재생할 때 사용되는 하위 세트들에 대한 재생 볼륨들을 결정할 수 있고, 하나 이상의 프레임 또는 패킷은 재생 볼륨들을 특정하는 정보를 포함할 수 있다. 예컨대, 하위 세트들 중 적어도 하나의 하위 세트에 대한 재생 볼륨은 나머지 하위 세트들의 재생 볼륨들과 상이할 수 있다. 대안적으로 또는 부가적으로, 재생 볼륨들은, 청취자들이 자신이 근접해 있거나 가장 가까이에 있는 하위 세트에 의해 출력되는 사운드를 청취할 가능성이 더 높도록, 2개 이상의 하위 세트 간의 음향 누화를 감소시킬 수 있다.
도 18은 휴대용 전자 디바이스(110), A/V 허브(112), 및 스피커들(118) 간의 통신을 예시하는 도면이다. 특히, 프로세서(1810)는 스피커(118)와 연관된 사운드의 측정들(1816)을 수행할 것을 A/V 허브(112) 내의 하나 이상의 음향 변환기(1814)에 지시(1812)할 수 있다. 그런 다음, 측정들(1816)에 기반하여, 프로세서(1810)는 스피커들(118)을 2개 이상의 하위 세트(1818)로 집합화할 수 있다.
더욱이, 프로세서(1810)는 하위 세트들(1818)에 대한 재생 타이밍 정보(1820)를 결정할 수 있고, 여기서, 재생 타이밍 정보(1820)는, 주어진 하위 세트 내의 스피커들(118)이 오디오 콘텐츠(1822)를 재생할 재생 시간들을 특정한다. 프로세서(1810)는 메모리(1824) 내의 오디오 콘텐츠(1822)에 액세스할 수 있다는 것을 유의한다.
다음으로, 프로세서(1810)는, 재생 타이밍 정보(1820) 및 오디오 콘텐츠(1822)를 갖는 프레임들 또는 패킷들(1828)을 스피커들(118)에 송신할 것을 인터페이스 회로(1826)에 지시할 수 있다. (그러나, 일부 실시예들에서, 재생 타이밍 정보(1820) 및 오디오 콘텐츠(1822)는 별개의 또는 상이한 프레임들 또는 패킷들을 사용하여 송신된다.)
하나 이상의 프레임 또는 패킷(1826)을 수신한 후에, 스피커(118-3) 내의 인터페이스 회로는 재생 타이밍 정보(1820) 및 오디오 콘텐츠(1822)를 프로세서에 제공할 수 있다. 이러한 프로세서는 재생 동작(1830)을 수행하는 소프트웨어를 실행할 수 있다. 예컨대, 프로세서는 메모리 내의 큐에 오디오 콘텐츠(1822)를 저장할 수 있다. 이러한 실시예들에서, 재생 동작(1830)은, 오디오 콘텐츠(1822)에 기반하여 음향 변환기들 중 하나 이상을 구동하는 것을 비롯하여, 큐로부터 오디오 콘텐츠(1822)를 출력하는 것을 포함하며, 따라서, 스피커(118-3)는 재생 타이밍 정보(1820)에 의해 특정된 시간에 사운드를 출력한다. 적어도 주어진 하위 세트 내의 스피커들(118)의 재생 시간들은, 주어진 하위 세트 내의 스피커들(118)에 의한 오디오 콘텐츠(1822)의 재생이 조정되도록 시간적 관계를 갖는다는 것을 유의한다.
예시적인 실시예에서, 통신 기법은, 스피커들(118)을 하위 세트들로 집합화하는 데 사용된다. 도 19는 환경의 동일하거나 상이한 실내들에 있을 수 있는 스피커들(118)을 집합화하는 것을 예시하는 도면을 제시한다. A/V 허브(112)는 스피커들(118)에 의해 출력되는 사운드(1910)를 측정할 수 있다. 이러한 측정들에 기반하여, A/V 허브(112)는 스피커들(118)을 하위 세트들(1912)로 집합화할 수 있다. 예컨대, 하위 세트들(1912)은, 근접한 스피커들이 함께 집합화되도록, 사운드 강도 및/또는 음향 지연에 기반하여 집합화될 수 있다. 특히, 가장 높은 음향 강도 또는 유사한 음향 지연을 갖는 스피커들이 함께 집합화될 수 있다. 집합화를 용이하게 하기 위해, 스피커들(118)은 인간 청력 범위 밖의 식별 정보 또는 음향 특성화 패턴들을 무선으로 송신하고/거나 음향적으로 출력할 수 있다. 예컨대, 음향 특성화 패턴들은 펄스들을 포함할 수 있다. 그러나, 진폭 변조, 주파수 변조, 위상 변조 등을 포함하는 다양한 시간적, 주파수 및/또는 변조 기법들이 사용될 수 있다. 대안적으로 또는 부가적으로, A/V 허브(112)는, A/V 허브(112)가 측정된 사운드를 특정 스피커들과 연관시킬 수 있도록, 스피커들(118) 각각에, 그들의 출력 사운드의 재생 시간들 또는 위상을 한 번에 하나씩 디더링할 것을 지시할 수 있다. 더욱이, 측정된 사운드(1910)는, 스피커들(118)을 집합화하기 전에 반향들 및 필터링(또는 왜곡)의 영향이 제거되도록, 환경의 음향 전달 함수를 사용하여 정정될 수 있다. 일부 실시예들에서, 스피커들(118)은, 전술한 기법들 중 하나 이상을 사용하여(이를테면, 무선 거리측량을 사용하여) 결정될 수 있는 스피커들(118)의 위치들(1914)에 적어도 부분적으로 기반하여 집합화된다. 이러한 방식으로, 하위 세트들(1912)은, 하나 이상의 청취자가 환경 내에 스피커들(118)을 재위치결정함에 따라 동적으로 수정될 수 있다.
그런 다음, A/V 허브(112)는, 부가적인 오디오 콘텐츠(1918)(이를테면, 음악) 및 재생 타이밍 정보(1920)를 포함하는 하나 이상의 프레임 또는 패킷(이를테면, 패킷(1916))을 하위 세트들(1912) 중 적어도 하나(이를테면, 하위 세트(1912-1)) 내의 스피커들(118)에 송신할 수 있으며, 여기서, 재생 타이밍 정보(1920)는, 하위 세트(1912-1) 내의 스피커들(118)이 부가적인 오디오 콘텐츠(1918)를 재생할 재생 시간들을 특정할 수 있다. 따라서, 통신 기법은, 예컨대, A/V 허브(112) 및 스피커들(118)을 포함하는 환경에서의 청취자의 위치 및/또는 원하는 음향 특성에 기반하여, 하위 세트들(1912)을 동적으로 선택하는 데 사용될 수 있다.
음향 경험을 개선하기 위한 다른 접근법은 환경에서의 음향 모니터링에 기반하여 오디오를 동적으로 등화시키는 것이다. 도 20은 A/V 허브(112)(도 1)와 같은 A/V 허브에 의해 수행될 수 있는, 등화된 오디오 콘텐츠를 결정하기 위한 방법(2000)을 예시하는 흐름도를 제시한다. 동작 동안, A/V 허브(이를테면, A/V 허브 내의, 제어 회로 또는 제어 논리, 예컨대, 프로그램 모듈을 실행하는 프로세서)는, 하나 이상의 음향 변환기를 사용하여, 환경에서 전자 디바이스들(이를테면, 스피커들(118))에 의해 출력되는 사운드를 측정할 수 있으며(동작 2010), 여기서, 사운드는 오디오 콘텐츠에 대응한다. 예컨대, 측정된 사운드는 음압을 포함할 수 있다.
그런 다음, A/V 허브는, 환경 내의 제1 위치, A/V 허브의 제2 위치, 및 적어도 일정 대역의 주파수들(이를테면, 비제한적인 예인, 100 - 20,000 kHz)에서의 환경의 미리 결정된 또는 동적으로 결정된 음향 전달 함수에 기반하여, 제1 위치에서의 원하는 음향 특성과 측정된 사운드를 비교할 수 있다(동작 2012). 비교는, 시간 도메인 및/또는 주파수 도메인에서 수행될 수 있다는 것을 유의한다. 비교를 수행하기 위해, A/V 허브는, 제1 위치 및/또는 제2 위치에서의 음향 특성(이를테면, 음향 전달 함수 또는 모드 응답 등)을 계산할 수 있고, 계산된 음향 특성을 사용하여, 환경에서의 필터링 또는 왜곡들에 대해, 측정된 사운드를 정정할 수 있다. 예로서, 음향 전달 함수를 사용하여, 이러한 계산은, 환경 내의 미리 정의된 또는 알려진 위치(들)에서 하나 이상의 포인트 또는 분산된 음향 소스를 갖는 위치의 함수로서 환경의 음향 응답을 계산하기 위해 그린(Green)의 함수 기법의 사용을 수반할 수 있다. 제1 위치에서의 음향 전달 함수 및 정정은 환경의 통합된 음향 거동(및 그에 따라, 환경 내의 제2 위치 및/또는 스피커들(118)과 같은 음향 소스들의 위치들)에 의존할 수 있다는 것을 유의한다. 따라서, 음향 전달 함수는, 음향 전달 함수가 결정된 환경 내의 위치(들)(예컨대, 제2 위치) 및/또는 환경 내의 음향 소스의 위치(들)(이를테면, 전자 디바이스들 중 적어도 하나의 위치)를 특정하는 정보를 포함할 수 있다.
더욱이, A/V 허브는, 비교 및 오디오 콘텐츠에 기반하여, 등화된 오디오 콘텐츠를 결정할 수 있다(동작 2014). 원하는 음향 특성은, 단일음향, 입체음향, 및/또는 다중채널과 같은 오디오 재생 유형에 기반할 수 있다는 것을 유의한다. 대안적으로 또는 부가적으로, 원하는 음향 특성은 음향 방사 패턴을 포함할 수 있다. 원하는 음향 방사 패턴은 환경에서의 잔향 시간의 함수일 수 있다. 예컨대, 잔향 시간은, 환경 내의 사람들의 수, 환경 내의 가구의 유형 및 양, 커튼들이 개방되어 있는지 또는 폐쇄되어 있는지 여부, 창문이 개방되어 있는지 또는 폐쇄되어 있는지 여부 등에 따라 변할 수 있다. 잔향 시간이 더 길거나 증가될 때, 등화된 오디오 콘텐츠와 연관된 사운드가 청취자에게 조향되거나 빔지향될 수 있도록, 원하는 음향 방사 패턴이 보다 지향될 수 있다(그에 의해 잔향이 감소됨). 결과적으로, 일부 실시예들에서, 등화는 오디오 콘텐츠의 진폭 및/또는 위상을 수정하는 복잡한 함수이다. 더욱이, 원하는 음향 특성은, 음향 콘텐츠의 연관된 저주파수들에서의 에너지를 감소시킴으로써 실내 공진들 또는 실내 모드들을 감소시키는 것을 포함할 수 있다. 일부 실시예들에서, 원하는 음향 특성은 단어들의 명료도를 포함한다는 것을 유의한다. 따라서, 그 목표(원하는 음향 특성)는 오디오 콘텐츠의 등화를 적응시키는 데 사용될 수 있다.
다음으로, A/V 허브는, 등화된 오디오 콘텐츠에 대응하는 부가적인 사운드의 전자 디바이스들에 의한 출력을 가능하게 하기 위해, 등화된 오디오 콘텐츠를 포함하는 하나 이상의 프레임 또는 패킷을 무선 통신을 사용하여 전자 디바이스들에 송신할 수 있다(동작 2016).
일부 실시예들에서, A/V 허브는 임의적으로 하나 이상의 부가적인 동작을 수행한다(동작 2018). 예컨대, 제1 위치는 전자 디바이스들에 대한 청취자의 추정된 위치를 포함할 수 있고, A/V 허브는 청취자의 추정된 위치를 계산할 수 있다. 특히, 청취자의 추정된 위치는, 청취자의 위치를 동적으로 결정하기 위한 전술한 기법들 중 하나 이상을 사용할 수 있다. 따라서, A/V 허브는 사운드 측정들에 기반하여 청취자의 추정된 위치를 계산할 수 있다. 대안적으로 또는 부가적으로, A/V 허브는 다른 전자 디바이스와 통신할 수 있고, 다른 전자 디바이스와의 통신에 기반하여 청취자의 추정된 위치를 계산할 수 있다. 일부 실시예들에서, 다른 전자 디바이스와의 통신은 무선 거리측량을 포함하고, 추정된 위치는 무선 거리측량 및 다른 전자 디바이스로부터의 무선 신호들의 도달 각도에 기반하여 계산될 수 있다. 또한, A/V 허브는 비행 시간 측정들을 수행할 수 있고, 비행 시간 측정들에 기반하여 청취자의 추정된 위치를 계산할 수 있다. 일부 실시예들에서, 동적 등화는 환경 내의 '스위트 스폿'이 청취자의 위치에 기반하여 적응될 수 있게 한다. A/V 허브는 환경 내의 청취자들의 수 및/또는 청취자들의 위치들을 결정할 수 있고, 동적 등화는 청취자들(또는 대다수의 청취자들)이 등화된 오디오 콘텐츠를 청취할 때 원하는 음향 특성을 갖도록 사운드를 적응시킬 수 있다는 것을 유의한다.
더욱이, A/V 허브는 환경 내의 다른 전자 디바이스들과 통신할 수 있고, 다른 전자 디바이스들로부터 환경의 부가적인 사운드 측정들을 (사운드 측정들과 별개로 또는 그와 함께) 수신할 수 있다. 그런 다음, A/V 허브는, 다른 전자 디바이스들의 하나 이상의 제3 위치(이를테면, 스피커들(118)의 위치들) 및 적어도 일정 대역의 주파수들에서의 환경의 미리 결정된 또는 동적으로 결정된 음향 전달 함수에 기반하여, 환경 내의 제1 위치에서의 원하는 음향 특성에 대한, 부가적인 사운드 측정들의 하나 이상의 부가적인 비교를 수행할 수 있고, 등화된 오디오 콘텐츠는 추가로 하나 이상의 부가적인 비교에 기반하여 결정된다. 일부 실시예들에서, A/V 허브는 다른 전자 디바이스들과의 통신에 기반하여 하나 이상의 제3 위치를 결정한다. 예컨대, 다른 전자 디바이스들과의 통신은 무선 거리측량을 포함할 수 있고, 하나 이상의 제3 위치는 무선 거리측량 및 다른 전자 디바이스들로부터의 무선 신호들의 도달 각도들에 기반하여 계산될 수 있다. 대안적으로 또는 부가적으로, A/V 허브는 다른 전자 디바이스들로부터 제3 위치들을 특정하는 정보를 수신할 수 있다. 따라서, 다른 전자 디바이스들의 위치들은 환경 내의 전자 디바이스의 위치를 결정하기 위한 전술한 기법들 중 하나 이상을 사용하여 결정될 수 있다.
또한, A/V 허브는, 전자 디바이스들이 등화된 오디오 콘텐츠를 재생하는 재생 시간들을 특정하는 재생 타이밍 정보를 결정할 수 있고, 하나 이상의 프레임 또는 패킷이 재생 타이밍 정보를 포함할 수 있다. 이러한 실시예들에서, 전자 디바이스들의 재생 시간들은, 전자 디바이스들에 의한 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 갖는다.
도 21은 휴대용 전자 디바이스(110), A/V 허브(112), 및 스피커들(118) 간의 통신을 예시하는 도면이다. 특히, 프로세서(2110)는, 스피커(118)와 연관되고 오디오 콘텐츠(2118)에 대응하는 사운드(2116)를 측정할 것을 A/V 허브(112) 내의 하나 이상의 음향 변환기(2114)에 지시(2112)할 수 있다. 그런 다음, 프로세서(21110)는, 환경 내의 제1 위치, A/V 허브(112)의 제2 위치, 및 적어도 일정 대역의 주파수들에서의 환경의 미리 결정된 또는 동적으로 결정된 음향 전달 함수(2124)(이들은 메모리(2128)에서 액세스될 수 있음)에 기반하여, 제1 위치에서의 원하는 음향 특성(2122)과 측정된 사운드(2116)를 비교(2120)할 수 있다.
더욱이, 프로세서(2110)는 비교(2120) 및 메모리(2128)에서 액세스될 수 있는 오디오 콘텐츠(2118)에 기반하여, 등화된 오디오 콘텐츠(2126)를 결정할 수 있다. 프로세서(2110)는, 스피커들(118)에 의해 출력되는 오디오 콘텐츠(2118)를 미리 알 수 있다는 것을 유의한다.
다음으로, 프로세서(2110)는 재생 타이밍 정보(2130)를 결정할 수 있고, 여기서, 재생 타이밍 정보(2130)는, 스피커들(118)이 등화된 오디오 콘텐츠(2126)를 재생할 재생 시간들을 특정한다.
또한, 프로세서(2110)는, 재생 타이밍 정보(2130) 및 등화된 오디오 콘텐츠(2126)를 갖는 하나 이상의 프레임 또는 패킷(2134)을 스피커들(118)에 송신할 것을 인터페이스 회로(2132)에 지시할 수 있다. (그러나, 일부 실시예들에서, 재생 타이밍 정보(2130) 및 오디오 콘텐츠(2126)는 별개의 또는 상이한 프레임들 또는 패킷들을 사용하여 송신된다.)
하나 이상의 프레임 또는 패킷(2134)을 수신한 후에, 스피커들(118) 중 하나(이를테면, 스피커(118-1)) 내의 인터페이스 회로는 재생 타이밍 정보(2130) 및 등화된 오디오 콘텐츠(2126)를 프로세서에 제공할 수 있다. 이러한 프로세서는 재생 동작을 수행하는 소프트웨어를 실행할 수 있다. 예컨대, 프로세서는 메모리 내의 큐에 등화된 오디오 콘텐츠(2126)를 저장할 수 있다. 이러한 실시예들에서, 재생 동작은, 등화된 오디오 콘텐츠(2126)에 기반하여 음향 변환기들 중 하나 이상을 구동하는 것을 비롯하여, 큐로부터 등화된 오디오 콘텐츠(2126)를 출력하는 것을 포함하며, 따라서, 스피커(118-1)는 재생 타이밍 정보(2130)에 의해 특정된 시간에 사운드를 출력한다. 스피커들(118)의 재생 시간들은, 스피커들(118)에 의한 등화된 오디오 콘텐츠(2126)의 재생이 조정되도록 시간적 관계를 갖는다는 것을 유의한다.
예시적인 실시예에서, 통신 기법은, 오디오 콘텐츠를 동적으로 등화시키는 데 사용된다. 도 22는 스피커(118)를 사용하여 등화된 오디오 콘텐츠를 결정하는 것을 예시하는 도면을 제시한다. 특히, A/V 허브(112)는 스피커들(118)에 의해 출력되는 오디오 콘텐츠에 대응하는 사운드(2210)를 측정할 수 있다. 대안적으로 또는 부가적으로, 휴대용 전자 디바이스(110) 및/또는 스피커들(118) 중 적어도 일부는 사운드(2210)를 측정할 수 있고, 프레임들 또는 패킷들(2212)에서 측정들을 특정하는 정보를 A/V 허브(112)에 제공할 수 있다.
그런 다음, A/V 허브(112)는, 위치(2214), A/V 허브(112)의 위치(2216), 스피커들(118)의 위치들(2218), 및/또는 적어도 일정 대역의 주파수들에서의 환경의 미리 결정된 또는 동적으로 결정된 음향 전달 함수(또는 더 일반적으로는, 음향 특성)에 기반하여, 환경 내의 위치(2214)(이를테면, 하나 이상의 청취자의 동적 위치, 이는 또한, 휴대용 전자 디바이스(110)의 위치일 수 있음)에서의 원하는 음향 특성과 측정된 사운드(2210)를 비교할 수 있다. 예컨대, A/V 허브(112)는 위치(2214, 2216 및/또는 2218)에서의 음향 전달 함수를 계산할 수 있다. 앞서 언급된 같이, 이러한 계산은 위치들(2214, 2216 및/또는 2218)에서의 음향 응답을 계산하기 위해 그린의 함수 기법의 사용을 포함할 수 있다. 대안적으로 또는 부가적으로, 계산은, 위치들(2214, 2216 및/또는 2218)과 상이한, 환경 내의 위치들에서의, 미리 결정된 음향 전달 함수의 보간(예컨대, 최소 대역폭 보간)을 수반할 수 있다. 그런 다음, A/V 허브(112)는 계산된 그리고/또는 보간된 음향 전달 함수(및 더 일반적으로는, 음향 특성)에 기반하여, 측정된 사운드(2210)를 정정할 수 있다.
이러한 방식으로, 통신 기법은, 음향 전달 함수가 원래 결정되었을 때의 희소 샘플링을 보상하는 데 사용될 수 있다.
더욱이, A/V 허브(112)는, 비교 및 오디오 콘텐츠에 기반하여, 등화된 오디오 콘텐츠를 결정할 수 있다. 예컨대, A/V 허브(112)는 일정 범위의 주파수들(이를테면, 100 - 10,000 또는 20,000 Hz)의 함수로서 스펙트럼 콘텐츠 및/또는 오디오 콘텐츠의 위상을 수정하여 원하는 음향 특성을 달성할 수 있다.
다음으로, A/V 허브(112)는 등화된 오디오 콘텐츠(이를테면, 음악) 및 재생 타이밍 정보를 포함하는 하나 이상의 프레임 또는 패킷(이를테면, 등화된 오디오 콘텐츠(2222) 및 재생 타이밍 정보(2224)를 갖는 패킷(2220))을 스피커들(118)에 송신할 수 있으며, 여기서, 재생 타이밍 정보는, 스피커들(118)이 등화된 오디오 콘텐츠를 재생할 재생 시간들을 특정한다.
이러한 방식으로, 통신 기법은, 스피커들(118)에 의해 출력되는 사운드가 하나 이상의 청취자의 위치(2214)(이를테면, 평균이 되는 위치 또는 평균 위치, 대다수의 청취자들에 대응하는 위치, 오디오 콘텐츠 및 환경의 음향 전달 함수 또는 음향 특성들을 고려하여 원하는 음향 특성이 달성될 수 있는 청취자들의 가장 큰 하위 세트의 평균 위치 등)의 변화들에 적응할 수 있게 할 수 있다. 이는, 입체음향 사운드에서의 스위트 스폿이 하나 이상의 청취자들의 움직임 및/또는 환경 내의 청취자들의 수(전술한 기법들 중 하나 이상을 사용하여 A/V 허브(112)에 의해 결정될 수 있음)의 변화들을 추적할 수 있게 할 수 있다. 대안적으로 또는 부가적으로, 통신 기법은, 스피커(118)에 의해 출력되는 사운드가 오디오 콘텐츠 및/또는 원하는 음향 특성의 변화들에 적응할 수 있게 할 수 있다. 예컨대, 오디오 콘텐츠의 유형(이를테면, 음악의 유형)에 따라, 하나 이상의 청취자는 크고 넓은 사운드(겉보기에 물리적으로 연장된 음향 소스에 대응하는 발산하는 음파들을 가짐) 또는 겉보기에 좁은 또는 포인트 소스를 바라거나 원할 수 있다. 따라서, 통신 기법은, 오디오 콘텐츠가 하나 이상의 청취자의 원하는 음향 심리학적 경험에 따라 등화될 수 있게 할 수 있다. 원하는 음향 특성 또는 원하는 음향 심리학적 경험은 청취자들 중 하나 이상에 의해 (이를테면, 휴대용 전자 디바이스(110) 상의 사용자 인터페이스를 사용함으로써) 명시적으로 특정될 수 있거나 또는 (이를테면, 청취 이력에 저장된 하나 이상의 청취자의 음악 또는 이전 음향 선호도들의 유형에 기반하여) 사용자의 동작 없이 간접적으로 결정 또는 추론될 수 있다는 것을 유의한다.
방법들(200(도 2), 500(도 5), 800(도 8), 1100(도 11), 1400(도 14), 1700(도 17) 및/또는 2000(도 20))의 일부 실시예들에서, 부가적인 동작들 또는 더 적은 동작들이 존재한다. 더욱이, 동작들의 순서는 변경될 수 있고/거나 2개 이상의 동작이 단일 동작으로 결합될 수 있다. 또한, 하나 이상의 동작이 수정될 수 있다.
이제 전자 디바이스의 실시예들이 설명된다. 도 23은, 도 1의 휴대용 전자 디바이스(110), A/V 허브(112), A/V 디스플레이 디바이스들(114) 중 하나, 수신기 디바이스(116), 또는 스피커들(118) 중 하나와 같은 전자 디바이스(2300)를 예시하는 블록도를 제시한다. 이러한 전자 디바이스는, 처리 서브시스템(2310), 메모리 서브시스템(2312), 네트워킹 서브시스템(2314), 임의적 피드백 서브시스템(2334), 및 임의적 모니터링 서브시스템(2336)을 포함한다. 처리 서브시스템(2310)은 계산 동작들을 수행하도록 구성되는 하나 이상의 디바이스를 포함한다. 예컨대, 처리 서브시스템(2310)은, 하나 이상의 마이크로프로세서, 주문형 집적 회로(ASIC), 마이크로제어기, 프로그래밍가능 논리 디바이스 및/또는 하나 이상의 디지털 신호 프로세서(DSP)를 포함할 수 있다. 처리 서브시스템 내의 이러한 구성요소들 중 하나 이상은 때때로 '제어 회로'로 지칭된다. 일부 실시예들에서, 처리 서브시스템(2310)은 통신 기법에서의 동작들 중 적어도 일부를 수행하는 '제어 메커니즘' 또는 '처리하기 위한 수단'을 포함한다.
메모리 서브시스템(2312)은, 처리 서브시스템(2310) 및 네트워킹 서브시스템(2314)에 대한 데이터 및/또는 명령어들을 저장하기 위한 하나 이상의 디바이스를 포함한다. 예컨대, 메모리 서브시스템(2312)은 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM), 및/또는 다른 유형들의 메모리를 포함할 수 있다. 일부 실시예들에서, 메모리 서브시스템(2312) 내의, 처리 서브시스템(2310)에 대한 명령어들은, 처리 서브시스템(2310)에 의해 실행될 수 있는, 하나 이상의 프로그램 모듈들 또는 명령어들의 세트들(이를테면, 프로그램 모듈(2322) 또는 운영 체제(2324))을 포함한다. 하나 이상의 컴퓨터 프로그램 또는 프로그램 모듈이 컴퓨터 프로그램 메커니즘을 구성할 수 있다는 것을 유의한다. 더욱이, 메모리 서브시스템(2312) 내의 다양한 모듈들에서의 명령어들은, 고레벨 절차 언어, 객체 지향 프로그래밍 언어, 및/또는 어셈블리 또는 기계 언어로 구현될 수 있다. 또한, 프로그래밍 언어는 처리 서브시스템(2310)에 의해 실행되도록 컴파일 또는 해석될 수 있는데, 예컨대, 구성가능하거나 구성될 수 있다(이러한 용어들은 본 논의에서 상호교환가능하게 사용될 수 있음).
게다가, 메모리 서브시스템(2312)은 메모리에 대한 액세스를 제어하기 위한 메커니즘들을 포함할 수 있다. 일부 실시예들에서, 메모리 서브시스템(2312)은 전자 디바이스(2300)의 메모리에 결합되는 하나 이상의 캐시를 포함하는 메모리 계층구조를 포함한다. 이러한 실시예들 중 일부에서, 캐시들 중 하나 이상은 처리 서브시스템(2310)에 위치된다.
일부 실시예들에서, 메모리 서브시스템(2312)은 하나 이상의 고성능 대용량 저장 디바이스들(도시되지 않음)에 결합된다. 예컨대, 메모리 서브시스템(2312)은 자기 또는 광학 드라이브, 솔리드 스테이트 드라이브, 또는 다른 유형의 대용량 저장 디바이스에 결합될 수 있다. 이러한 실시예들에서, 메모리 서브시스템(2312)은 자주 사용되는 데이터에 대한 고속 액세스 저장소로서 전자 디바이스(2300)에 의해 사용될 수 있는 반면, 대용량 저장 디바이스는 덜 빈번하게 사용되는 데이터를 저장하는 데 사용된다.
네트워킹 서브시스템(2314)은 유선 및/또는 무선 네트워크에 결합되고 그를 통해 통신하도록(즉, 네트워크 동작들을 수행하도록) 구성되는, 제어 논리(2316), 인터페이스 회로들(2318) 및 연관된 안테나들(2320)을 포함하는 하나 이상의 디바이스를 포함한다. (도 23은 안테나들(2320)을 포함하지만, 일부 실시예들에서, 전자 디바이스(2300)는, 안테나들(2320)에 결합될 수 있는, 노드들(2308)과 같은 하나 이상의 노드, 예컨대 패드를 포함한다. 따라서, 전자 디바이스(2300)는 안테나들(2320)을 포함하거나 포함하지 않을 수 있다.) 예컨대, 네트워킹 서브시스템(2314)은 블루투스 네트워킹 시스템, 셀룰러 네트워킹 시스템(예컨대, 3G/4G 네트워크, 이를테면 UMTS, LTE 등), 범용 직렬 버스(USB) 네트워킹 시스템, IEEE 802.11에 설명된 표준들에 기반한 네트워킹 시스템(예컨대, Wi-Fi 네트워킹 시스템), 이더넷 네트워킹 시스템, 및/또는 다른 네트워킹 시스템을 포함할 수 있다. 인터페이스 회로들(2318) 중 주어진 인터페이스 회로 및 안테나들(2320) 중 적어도 하나의 안테나의 조합이 라디오를 구성할 수 있다는 것을 유의한다. 일부 실시예들에서, 네트워킹 서브시스템(2314)은 HDMI 인터페이스(2330)와 같은 유선 인터페이스를 포함한다.
네트워킹 서브시스템(2314)은 프로세서들, 제어기들, 라디오들/안테나들, 소켓들/플러그들, 및/또는 각각의 지원되는 네트워킹 시스템에 결합되고, 그를 통해 통신하고, 그에 대한 데이터 및 이벤트들을 처리하는 데 사용되는 다른 디바이스들을 포함한다. 각각의 네트워크 시스템에 결합되고, 그를 통해 통신하고, 그에 대한 데이터 및 이벤트들을 처리하는 데 사용되는 메커니즘들은 때때로 네트워크 시스템에 대한 '네트워크 인터페이스'로 총칭하여 지칭된다는 것을 유의한다. 더욱이, 일부 실시예들에서, 전자 디바이스들 사이의 '네트워크'는 아직 존재하지 않는다. 따라서, 전자 디바이스(2300)는, 전자 디바이스들 사이의 간단한 무선 통신을 수행하기 위해, 예컨대, 공시 또는 비컨 프레임들 또는 패킷들을 송신하고/거나 앞서 설명된 바와 같이 다른 전자 디바이스들에 의해 송신되는 공시 프레임들 또는 패킷들을 스캐닝하기 위해, 네트워킹 서브시스템(2314)의 메커니즘들을 사용할 수 있다.
전자 디바이스(2300) 내에서, 처리 서브시스템(2310), 메모리 서브시스템(2312), 네트워킹 서브시스템(2314), 임의적 피드백 서브시스템(2334), 및 임의적 모니터링 서브시스템(2336)이 버스(2328)를 사용하여 함께 결합된다. 버스(2328)는 서브시스템들이 서로 간에 명령들 및 데이터를 통신하기 위해 사용할 수 있는 전기, 광학, 및/또는 전기-광학 연결을 포함할 수 있다. 명확성을 위해 단지 하나의 버스(2328)가 도시되지만, 상이한 실시예들은 서브시스템들 간에 상이한 수 또는 구성의 전기, 광학, 및/또는 전기-광학 연결들을 포함할 수 있다.
일부 실시예들에서, 전자 디바이스(2300)는 디스플레이 드라이버, I/O 제어기, 및 디스플레이를 포함할 수 있는, 디스플레이 상에 정보(이를테면, 식별된 환경을 명확히 하기 위한 요청)를 표시하기 위한 디스플레이 서브시스템(2326)을 포함한다. 매우 다양한 디스플레이 유형들이 디스플레이 서브시스템(2326)에서 사용될 수 있으며, 이는, 2차원 디스플레이, 3차원 디스플레이(이를테면 홀로그래픽 디스플레이 또는 체적 디스플레이), 머리 장착형 디스플레이, 망막 이미지 프로젝터, 헤드 업 디스플레이, 음극선관, 액정 디스플레이, 투사형 디스플레이, 전자발광 디스플레이, 전자 종이 기반 디스플레이, 박막 트랜지스터 디스플레이, 고성능 어드레싱 디스플레이, 유기 발광 다이오드 디스플레이, 표면 전도형 전자 방출기 디스플레이, 레이저 디스플레이, 탄소 나노튜브 디스플레이, 양자점 디스플레이, 간섭계 변조기 디스플레이, 다중 터치 터치스크린(때때로, 터치 감응 디스플레이로 지칭됨), 및/또는 다른 유형의 디스플레이 기술 또는 물리적 현상에 기반한 디스플레이를 포함한다는 것을 유의한다.
또한, 임의적 피드백 서브시스템(2334)은, 전자 디바이스(2300)의 사용자에게 피드백(이를테면, 감각 피드백)을 제공하는 데 사용될 수 있는, 진동 메커니즘 또는 진동 액추에이터(예컨대, 편심 회전 질량 액추에이터 또는 선형 공진 액추에이터), 광, 하나 이상의 스피커들 등과 같은 하나 이상의 센서-피드백 메커니즘들 또는 디바이스들을 포함할 수 있다. 대안적으로 또는 부가적으로, 임의적 피드백 서브시스템(2334)은 사용자에게 감각 입력을 제공하는 데 사용될 수 있다. 예컨대, 하나 이상의 스피커는 오디오와 같은 사운드를 출력할 수 있다. 하나 이상의 스피커는, 하나 이상의 스피커에 의해 출력되는 사운드의 특성을 조정하도록 수정될 수 있는 변환기들의 어레이, 이를테면 음향 변환기들의 위상 어레이를 포함할 수 있다는 것을 유의한다. 이러한 능력은, 하나 이상의 스피커가, 이를테면, 등화 또는 스펙트럼 콘텐츠, 위상 및/또는 전파되는 음파의 방향을 변경하는 것에 의해, 사용자에 대한 원하는 음향 경험을 달성하도록 환경에서의 사운드를 수정할 수 있게 할 수 있다.
일부 실시예들에서, 임의적 모니터링 서브시스템(2336)은 전자 디바이스(2300)를 포함하는 환경에서 사운드를 모니터링하는 하나 이상의 음향 변환기(2338)(이를테면, 하나 이상의 마이크로폰, 위상 어레이 등)를 포함한다. 음향 모니터링은 전자 디바이스(2300)가 환경을 음향적으로 특성화하고, 환경 내의 스피커들에 의해 출력되는 사운드(이를테면, 오디오 콘텐츠에 대응하는 사운드)를 음향적으로 특성화하고, 청취자의 위치를 결정하고, 환경 내의 스피커의 위치를 결정하고/거나, 하나 이상의 음향 특성화 패턴에 대응하는 하나 이상의 스피커로부터의 사운드를 측정(오디오 콘텐츠의 재생을 조정하기 위해 사용될 수 있음)할 수 있게 할 수 있다. 부가적으로, 임의적 모니터링 서브시스템(2336)은 환경 내의 청취자 또는 전자 디바이스(이를테면, 스피커)의 위치를 결정하는 데 사용될 수 있는 위치 변환기들(2340)을 포함할 수 있다.
전자 디바이스(2300)는 적어도 하나의 네트워크 인터페이스를 갖는 임의의 전자 디바이스일 수 있다(또는 그에 포함될 수 있음). 예컨대, 전자 디바이스(2300)는: 데스크톱 컴퓨터, 랩톱 컴퓨터, 서브노트북/넷북, 서버, 태블릿 컴퓨터, 스마트폰, 셀룰러 텔레폰, 스마트워치, 가전 디바이스(이를테면, 텔레비전, 셋톱 박스, 오디오 장비, 스피커, 비디오 장비 등), 원격 제어기, 휴대용 컴퓨팅 디바이스, 액세스 포인트, 라우터, 스위치, 통신 장비, 테스트 장비, 및/또는 다른 전자 디바이스일 수 있다(또는 그에 포함될 수 있음).
특정 구성요소들이 전자 디바이스(2300)를 설명하는 데 사용되지만, 대안적인 실시예들에서, 상이한 구성요소들 및/또는 서브시스템들이 전자 디바이스(2300)에 존재할 수 있다. 예컨대, 전자 디바이스(2300)는 하나 이상의 부가적인 처리 서브시스템, 메모리 서브시스템, 네트워킹 서브시스템, 및/또는 디스플레이 서브시스템을 포함할 수 있다. 더욱이, 안테나들(2320) 중 하나가 인터페이스 회로들(2318) 중 주어진 안테나에 결합된 것으로 도시되지만, 인터페이스 회로들(2318) 중 주어진 인터페이스 회로에 결합된 다수의 안테나들이 존재할 수 있다. 예컨대, 3 x 3 라디오의 인스턴스는 3개의 안테나를 포함할 수 있다. 부가적으로, 서브시스템들 중 하나 이상이 전자 디바이스(2300)에 존재하지 않을 수 있다. 또한, 일부 실시예들에서, 전자 디바이스(2300)는 도 23에 도시되지 않은 하나 이상의 부가적인 서브시스템을 포함할 수 있다. 또한, 별개의 서브시스템들이 도 23에 도시되지만, 일부 실시예들에서, 주어진 서브시스템 또는 구성요소 중 일부 또는 전부가 전자 디바이스(2300)의 다른 서브시스템들 또는 구성요소(들) 중 하나 이상에 통합될 수 있다. 예컨대, 일부 실시예들에서, 프로그램 모듈(2322)은 운영 체제(2324)에 포함된다.
더욱이, 전자 디바이스(2300)의 회로들 및 구성요소들은 아날로그 및/또는 디지털 회로의 임의의 조합을 사용하여 구현될 수 있으며, 이들은, 양극성, PMOS 및/또는 NMOS 게이트들 또는 트랜지스터들을 포함한다. 또한, 이러한 실시예들에서의 신호들은, 대략적으로 이산적 값들을 갖는 디지털 신호들 및/또는 연속적 값들을 갖는 아날로그 신호들을 포함할 수 있다. 부가적으로, 구성요소들 및 회로들은 싱글 엔드형 또는 차동형일 수 있으며, 전력 공급부들은 단극성 또는 양극성일 수 있다.
집적 회로는 하나 이상의 라디오와 같은 네트워킹 서브시스템(2314)의 기능성 중 일부 또는 전부를 구현할 수 있다. 더욱이, 집적 회로는 전자 디바이스(2300)로부터 무선 신호들을 송신하고 다른 전자 디바이스들로부터 전자 디바이스(2300)에서 신호들을 수신하는 데 사용되는 하드웨어 및/또는 소프트웨어 메커니즘들을 포함할 수 있다. 본원에서 설명된 메커니즘들 외에, 라디오들은 일반적으로 관련 기술분야에 공지되어 있으므로 상세히 설명되지 않는다. 일반적으로, 네트워킹 서브시스템(2314) 및/또는 집적 회로는 임의의 수의 라디오를 포함할 수 있다.
일부 실시예들에서, 네트워킹 서브시스템(2314) 및/또는 집적 회로는 주어진 채널(예컨대, 주어진 캐리어 주파수) 상에서 송신 및/또는 수신하도록 라디오들을 구성하는 구성 메커니즘(이를테면, 하나 이상의 하드웨어 및/또는 소프트웨어 메커니즘)을 포함한다. 예컨대, 일부 실시예들에서, 구성 메커니즘은 주어진 채널 상에서의 모니터링 및/또는 송신으로부터 상이한 채널 상에서의 모니터링 및/또는 송신으로 라디오를 스위칭하는 데 사용될 수 있다. (본원에서 사용되는 바와 같은 '모니터링'은 다른 전자 디바이스들로부터 신호들을 수신하는 것 및 가능하게는 수신된 신호들에 대해 하나 이상의 처리 동작들을 수행하는 것, 예컨대, 수신된 신호가 공시 프레임 또는 패킷을 포함하는지를 결정하는 것, 성능 척도를 계산하는 것, 스펙트럼 분석을 수행하는 것 등을 포함한다는 것을 유의한다.) 또한, 네트워킹 서브시스템(2314)은 데이터 스트림 내의 정보를 수신하고/거나 A/V 디스플레이 디바이스들(114)(도 1) 중 적어도 하나, 스피커들(118)(도 1) 중 적어도 하나, 및/또는 콘텐츠 소스들(120)(도 1) 중 적어도 하나에 제공하기 위한 적어도 하나의 포트(이를테면, HDMI 포트(2332))를 포함할 수 있다.
Wi-Fi와 호환가능한 통신 프로토콜이 예시적인 예로서 사용되었지만, 설명된 실시예들은 다양한 네트워크 인터페이스들에서 사용될 수 있다. 또한, 앞선 실시예들의 동작들 중 일부는 하드웨어 또는 소프트웨어로 구현되지만, 일반적으로, 앞선 실시예의 동작들은 매우 다양한 구성들 및 아키텍쳐들로 구현될 수 있다. 따라서, 앞선 실시예들의 동작들 중 일부 또는 전부가 하드웨어로, 소프트웨어로 또는 이들 둘 모두로 수행될 수 있다. 예컨대, 통신 기법의 동작들 중 적어도 일부는 프로그램 모듈(2322), 운영 체제(2324)(이를테면, 인터페이스 회로들(2318)에 대한 드라이버들)를 사용하여 그리고/또는 인터페이스 회로(2318)의 펌웨어로 구현될 수 있다. 대안적으로 또는 부가적으로, 통신 기법의 동작들 중 적어도 일부는 인터페이스 회로(2318) 내의 하드웨어와 같은 물리 계층에서 구현될 수 있다.
더욱이, 앞선 실시예들은 사용자가 (예컨대, 손가락 또는 디지트로, 또는 스타일러스로) 터치하는 휴대용 전자 디바이스의 터치 감응 디스플레이를 포함하지만, 다른 실시예들에서, 사용자 인터페이스는 휴대용 전자 디바이스의 디스플레이 상에 표시되고, 사용자는 디스플레이의 표면과 접촉하거나 표면을 터치함이 없이 사용자 인터페이스와 상호작용한다. 예컨대, 사용자 인터페이스와의 사용자의 상호작용(들)은 비행 시간 측정들, 움직임 감지(이를테면, 도플러 측정), 또는 하나 이상의 가상 명령 아이콘의 포지션(들)에 대한 사용자의 손가락 또는 디지트(또는 스타일러스)의 포지션, 움직임의 방향 및/또는 속도가 결정될 수 있게 하는 다른 비-접촉 측정을 사용하여 결정될 수 있다. 이러한 실시예들에서, 사용자는 (디스플레이의 표면과 접촉함이 없이 공중에서 자신의 손가락을 '탭'하는 것과 같은) 제스처를 수행함으로써 주어진 가상 명령 아이콘을 활성화할 수 있다는 것을 유의한다. 일부 실시예들에서, 사용자는, 음성 명령들 또는 명령어들을 사용하여(즉, 음성 인식을 통해) 그리고/또는 도 1의 A/V 디스플레이 디바이스들(114) 중 하나 상에서 또는 휴대용 전자 디바이스(110)의 디스플레이 상에서 사용자가 보는 곳에 기반하여(예컨대, 사용자의 시선 또는 사용자가 보는 곳을 추적함으로써) 사용자 인터페이스를 탐색하고/거나 시스템(100)(도 1)의 구성요소들 중 하나의 기능들을 활성화/비활성화시킨다.
또한, A/V 허브(112)(도 1)가 A/V 디스플레이 디바이스들(114)(도 1)과 별개의 구성요소들로서 예시되지만, 일부 실시예들에서, A/V 허브 및 A/V 디스플레이 디바이스는 단일 구성요소 또는 단일 전자 디바이스로 결합된다.
앞선 실시예들은 (HDMI 콘텐츠와 같은) 오디오 및/또는 비디오 콘텐츠에 대한 통신 기법을 예시하지만, 다른 실시예들에서, 통신 기법은, 임의의 유형의 데이터 또는 정보의 맥락에서 사용된다. 예컨대, 통신 기법은 홈-자동화 데이터와 함께 사용될 수 있다. 이러한 실시예들에서, A/V 허브(112)(도 1)는 매우 다양한 전자 디바이스들의 제어 및 그들 간의 통신을 용이하게 할 수 있다. 따라서, A/V 허브(112)(도 1) 및 통신 기법은 소위 사물 인터넷에서의 서비스들을 용이하게 하거나 구현하는 데 사용될 수 있다.
앞선 설명에서, '일부 실시예들'이 참조되었다. '일부 실시예들'이 모든 가능한 실시예들의 하위 세트를 설명하지만, 실시예들의 동일한 하위 세트를 항상 특정하지는 않는다는 것을 유의한다.
전술한 설명은 관련 기술분야의 통상의 기술자가 본 개시내용을 실시하고 사용하는 것을 가능하게 하도록 의도되며, 특정 응용 및 그의 요건들의 맥락에서 제공된다. 더욱이, 본 개시내용의 실시예들의 전술한 설명들은 예시 및 설명의 목적들만으로 제시되었다. 이들은 포괄적이거나 본 개시내용을 개시된 형태들로 제한하도록 의도되지 않는다. 따라서, 많은 수정들 및 변형들이 관련 기술분야의 통상의 기술자들에게 명백할 것이며, 본원에 정의된 일반적인 원리들은 본 개시내용의 사상 및 범위로부터 벗어나지 않으면서 다른 실시예들 및 응용들에 적용될 수 있다. 부가적으로, 앞선 실시예들의 논의는 본 개시내용을 제한하도록 의도되지 않는다. 따라서, 본 개시내용은, 도시된 실시예들로 제한되도록 의도되는 것이 아니라, 본원에 개시된 원리들 및 특징들과 일치하는 가장 넓은 범위에 부합할 것이다.

Claims (20)

  1. 조정 디바이스로서,
    하나 이상의 안테나에 통신가능하게 결합되도록 구성되는 하나 이상의 노드; 및
    상기 하나 이상의 노드에 통신가능하게 결합되는 인터페이스 회로를 포함하며,
    상기 조정 디바이스는,
    상기 하나 이상의 노드로부터, 전자 디바이스들과 연관된 입력 프레임들을 수신하고,
    상기 입력 프레임들이 수신된 수신 시간들을 저장하고 - 상기 수신 시간들은 상기 조정 디바이스 내의 클록에 기반함 -,
    상기 입력 프레임들의 상기 수신 시간들 및 예상 송신 시간들에 기반하여, 상기 전자 디바이스들 내의 클록들과 상기 조정 디바이스 내의 클록 사이의 현재 시간 오프셋들을 계산하고 - 상기 예상 송신 시간들은 이전 시간에서의 상기 전자 디바이스들 내의 클록들과 상기 조정 디바이스 내의 클록의 조정, 및 상기 입력 프레임들의 미리 정의된 송신 스케줄에 기반하고, 주어진 현재 시간 오프셋의 상기 계산은 주어진 전자 디바이스와 상기 조정 디바이스 사이에서의 타이밍 정보의 단방향 통신에 기반함 -,
    상기 하나 이상의 노드를 통해, 오디오 콘텐츠 및 상기 전자 디바이스들에 의도된 재생 타이밍 정보를 포함하는 하나 이상의 출력 프레임을 송신하도록 구성되고, 상기 재생 타이밍 정보는, 상기 현재 시간 오프셋들에 기반하여 상기 전자 디바이스들이 상기 오디오 콘텐츠를 동시에 재생할 재생 시간들을 특정하고,
    상기 전자 디바이스들의 재생 시간들은, 상기 전자 디바이스들에 의한 상기 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 갖는, 조정 디바이스.
  2. 제1항에 있어서,
    상기 시간적 관계는, 상기 전자 디바이스들 중 적어도 일부가 상이한 값들의 재생 시간들을 사용함으로써 서로에 상대적인 위상으로 상기 오디오 콘텐츠를 재생할 것을 지시받도록, 0이 아닌 값을 갖는, 조정 디바이스.
  3. 제2항에 있어서,
    상기 상이한 재생 시간들은 환경의 음향 특성화에 기반하는, 조정 디바이스.
  4. 제2항에 있어서,
    상기 상이한 재생 시간들은 환경에서의 원하는 음향 특성에 기반하는, 조정 디바이스.
  5. 제2항에 있어서,
    상기 전자 디바이스들은 상기 조정 디바이스로부터 벡터 거리들에 위치되고,
    상기 인터페이스 회로는, 무선 거리측량(ranging)을 사용하여, 상기 입력 프레임들의 상기 예상 송신 시간들 및 상기 수신 시간들에 기반하여 상기 벡터 거리들의 크기들을 결정하도록 구성되고, 상기 입력 프레임들과 연관된 무선 신호들의 도달 각도에 기반하여 상기 벡터 거리들의 각도들을 결정하도록 구성되고,
    상기 상이한 재생 시간들은 결정된 벡터 거리들에 기반하는, 조정 디바이스.
  6. 제2항에 있어서,
    상기 상이한 재생 시간들은 상기 전자 디바이스들에 대한 청취자의 추정된 위치에 기반하는, 조정 디바이스.
  7. 제6항에 있어서,
    상기 인터페이스 회로는,
    상기 하나 이상의 노드로부터 또는 상기 하나 이상의 노드에, 다른 전자 디바이스와 연관된 제2 프레임들을 통신하고,
    상기 다른 전자 디바이스와의 상기 통신에 기반하여 상기 청취자의 상기 추정된 위치를 계산하도록 구성되는, 조정 디바이스.
  8. 제6항에 있어서,
    상기 조정 디바이스는, 환경의 사운드 측정들을 수행하도록 구성되는 음향 변환기를 더 포함하고,
    상기 조정 디바이스는, 상기 사운드 측정들에 기반하여 상기 청취자의 상기 추정된 위치를 계산하도록 구성되는, 조정 디바이스.
  9. 제6항에 있어서,
    상기 인터페이스 회로는, 상기 하나 이상의 노드로부터 또는 상기 하나 이상의 노드에, 환경 내의 다른 전자 디바이스들과 연관된 제3 프레임들을 통신하고, 상기 하나 이상의 노드로부터, 상기 다른 전자 디바이스들과 연관된, 상기 환경의 부가적인 사운드 측정들을 수신하도록 구성되고,
    상기 조정 디바이스는, 상기 부가적인 사운드 측정들에 기반하여 상기 청취자의 상기 추정된 위치를 계산하도록 구성되는, 조정 디바이스.
  10. 제6항에 있어서,
    상기 인터페이스 회로는,
    비행 시간(time-of-flight) 측정들을 수행하고,
    상기 비행 시간 측정들에 기반하여 상기 청취자의 상기 추정된 위치를 계산하도록 구성되는, 조정 디바이스.
  11. 제1항에 있어서,
    상기 전자 디바이스들 내의 클록들과 상기 조정 디바이스 내의 클록의 조정은 초기화 동작 모드 동안 발생되는, 조정 디바이스.
  12. 제1항에 있어서,
    상기 현재 시간 오프셋들은 상기 전자 디바이스들에서의 클록 드리프트의 모델들에 추가로 기반하는, 조정 디바이스.
  13. 조정 디바이스와 함께 사용하기 위한 비-일시적인 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 판독가능 저장 매체는 프로그램 모듈을 저장하고, 상기 프로그램 모듈은, 상기 조정 디바이스에 의해 실행될 때, 상기 조정 디바이스로 하여금,
    하나 이상의 안테나에 통신가능하게 결합되는 상기 조정 디바이스 내의 하나 이상의 노드로부터, 전자 디바이스들과 연관된 입력 프레임들을 수신하는 것;
    상기 입력 프레임들이 수신된 수신 시간들을 저장하는 것 - 상기 수신 시간들은 상기 조정 디바이스 내의 클록에 기반함 -;
    상기 입력 프레임들의 상기 수신 시간들 및 예상 송신 시간들에 기반하여, 상기 전자 디바이스들 내의 클록들과 상기 조정 디바이스 내의 클록 사이의 현재 시간 오프셋들을 계산하는 것 - 상기 예상 송신 시간들은 이전 시간에서의 상기 전자 디바이스들 내의 클록들과 상기 조정 디바이스 내의 클록의 조정, 및 상기 입력 프레임들의 미리 정의된 송신 스케줄에 기반하고, 주어진 현재 시간 오프셋의 상기 계산은 주어진 전자 디바이스와 상기 조정 디바이스 사이에서의 타이밍 정보의 단방향 통신에 기반함 -; 및
    상기 하나 이상의 노드를 통해, 오디오 콘텐츠 및 상기 전자 디바이스들에 의도된 재생 타이밍 정보를 포함하는 하나 이상의 출력 프레임을 송신하는 것을 포함하는 하나 이상의 동작을 수행함으로써 상기 오디오 콘텐츠의 재생을 조정하게 하며, 상기 재생 타이밍 정보는, 상기 현재 시간 오프셋들에 기반하여 상기 전자 디바이스들이 상기 오디오 콘텐츠를 동시에 재생할 재생 시간들을 특정하고,
    상기 전자 디바이스들의 재생 시간들은, 상기 전자 디바이스들에 의한 상기 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 갖는, 비-일시적인 컴퓨터 판독가능 저장 매체.
  14. 제13항에 있어서,
    상기 시간적 관계는, 상기 전자 디바이스들 중 적어도 일부가 상이한 값들의 재생 시간들을 사용함으로써 서로에 상대적인 위상으로 상기 오디오 콘텐츠를 재생할 것을 지시받도록, 0이 아닌 값을 갖고,
    상기 상이한 재생 시간들은 환경의 음향 특성화에 기반하는, 비-일시적인 컴퓨터 판독가능 저장 매체.
  15. 제14항에 있어서,
    상기 시간적 관계는, 상기 전자 디바이스들 중 적어도 일부가 상이한 값들의 재생 시간들을 사용함으로써 서로에 상대적인 위상으로 상기 오디오 콘텐츠를 재생할 것을 지시받도록, 0이 아닌 값을 갖고,
    상기 상이한 재생 시간들은 상기 환경에서의 원하는 음향 특성에 기반하는, 비-일시적인 컴퓨터 판독가능 저장 매체.
  16. 제14항에 있어서,
    상기 시간적 관계는, 상기 전자 디바이스들 중 적어도 일부가 상이한 값들의 재생 시간들을 사용함으로써 서로에 상대적인 위상으로 상기 오디오 콘텐츠를 재생할 것을 지시받도록, 0이 아닌 값을 갖고,
    상기 전자 디바이스들은 상기 조정 디바이스로부터 벡터 거리들에 위치되고,
    상기 하나 이상의 동작은,
    무선 거리측량을 사용하여, 상기 입력 프레임들의 상기 예상 송신 시간들 및 상기 수신 시간들에 기반하여 상기 벡터 거리들의 크기들을 결정하는 것; 및
    상기 입력 프레임들과 연관된 무선 신호들의 도달 각도에 기반하여 상기 벡터 거리들의 각도들을 결정하는 것을 포함하고,
    상기 상이한 재생 시간들은 결정된 벡터 거리들에 기반하는, 비-일시적인 컴퓨터 판독가능 저장 매체.
  17. 제14항에 있어서,
    상기 시간적 관계는, 상기 전자 디바이스들 중 적어도 일부가 상이한 값들의 재생 시간들을 사용함으로써 서로에 상대적인 위상으로 상기 오디오 콘텐츠를 재생할 것을 지시받도록, 0이 아닌 값을 갖고,
    상기 상이한 재생 시간들은 상기 전자 디바이스들에 대한 청취자의 추정된 위치에 기반하는, 비-일시적인 컴퓨터 판독가능 저장 매체.
  18. 제17항에 있어서,
    상기 하나 이상의 동작은,
    비행 시간 측정들을 수행하는 것; 및
    상기 비행 시간 측정들에 기반하여 상기 청취자의 상기 추정된 위치를 계산하는 것을 포함하는, 비-일시적인 컴퓨터 판독가능 저장 매체.
  19. 제13항에 있어서,
    상기 현재 시간 오프셋들은 상기 전자 디바이스들에서의 클록 드리프트의 모델들에 추가로 기반하는, 비-일시적인 컴퓨터 판독가능 저장 매체.
  20. 오디오 콘텐츠의 재생을 조정하기 위한 방법으로서,
    상기 방법은,
    조정 디바이스에 의해,
    하나 이상의 안테나에 통신가능하게 결합되는 상기 조정 디바이스 내의 하나 이상의 노드로부터, 전자 디바이스들과 연관된 입력 프레임들을 수신하는 단계;
    상기 입력 프레임들이 수신된 수신 시간들을 저장하는 단계 - 상기 수신 시간들은 상기 조정 디바이스 내의 클록에 기반함 -;
    상기 입력 프레임들의 상기 수신 시간들 및 예상 송신 시간들에 기반하여, 상기 전자 디바이스들 내의 클록들과 상기 조정 디바이스 내의 클록 사이의 현재 시간 오프셋들을 계산하는 단계 - 상기 예상 송신 시간들은 이전 시간에서의 상기 전자 디바이스들 내의 클록들과 상기 조정 디바이스 내의 클록의 조정, 및 상기 입력 프레임들의 미리 정의된 송신 스케줄에 기반하고, 주어진 현재 시간 오프셋의 상기 계산은 주어진 전자 디바이스와 상기 조정 디바이스 사이에서의 타이밍 정보의 단방향 통신에 기반함 -; 및
    상기 하나 이상의 노드를 통해, 오디오 콘텐츠 및 상기 전자 디바이스들에 의도된 재생 타이밍 정보를 포함하는 하나 이상의 출력 프레임을 송신하는 단계를 포함하며, 상기 재생 타이밍 정보는, 상기 현재 시간 오프셋들에 기반하여 상기 전자 디바이스들이 상기 오디오 콘텐츠를 동시에 재생할 재생 시간들을 특정하고,
    상기 전자 디바이스들의 재생 시간들은, 상기 전자 디바이스들에 의한 상기 오디오 콘텐츠의 재생이 조정되도록 시간적 관계를 갖는, 오디오 콘텐츠의 재생을 조정하기 위한 방법.
KR1020207002620A 2016-12-13 2017-11-19 오디오 소스들의 무선 조정 KR102111435B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662433237P 2016-12-13 2016-12-13
US62/433,237 2016-12-13
PCT/US2017/062446 WO2018111500A1 (en) 2016-12-13 2017-11-19 Wireless coordination of audio sources

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197019307A Division KR102072682B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207013388A Division KR102224872B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정

Publications (2)

Publication Number Publication Date
KR20200013087A true KR20200013087A (ko) 2020-02-05
KR102111435B1 KR102111435B1 (ko) 2020-05-15

Family

ID=62487894

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020197019307A KR102072682B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정
KR1020217006398A KR102357777B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정
KR1020227021892A KR102510369B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정
KR1020217006400A KR102293642B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정
KR1020207013388A KR102224872B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정
KR1020207002620A KR102111435B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정
KR1020227002970A KR102415171B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020197019307A KR102072682B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정
KR1020217006398A KR102357777B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정
KR1020227021892A KR102510369B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정
KR1020217006400A KR102293642B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정
KR1020207013388A KR102224872B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227002970A KR102415171B1 (ko) 2016-12-13 2017-11-19 오디오 소스들의 무선 조정

Country Status (6)

Country Link
US (10) US10255032B2 (ko)
EP (3) EP3751918B1 (ko)
JP (4) JP6737959B2 (ko)
KR (7) KR102072682B1 (ko)
CN (1) CN110291820B (ko)
WO (1) WO2018111500A1 (ko)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US10296275B2 (en) * 2015-08-30 2019-05-21 EVA Automation, Inc. User interface based on device-state information
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9826306B2 (en) 2016-02-22 2017-11-21 Sonos, Inc. Default playback device designation
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
WO2018155480A1 (ja) 2017-02-27 2018-08-30 ヤマハ株式会社 情報処理方法および情報処理装置
JP7086521B2 (ja) 2017-02-27 2022-06-20 ヤマハ株式会社 情報処理方法および情報処理装置
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11876847B2 (en) 2018-02-05 2024-01-16 D&M Holding System and method for synchronizing networked rendering devices
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) * 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
FR3086451B1 (fr) * 2018-09-20 2021-04-30 Sagemcom Broadband Sas Filtrage d'un signal sonore acquis par un systeme de reconnaissance vocale
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US10880594B2 (en) * 2019-02-06 2020-12-29 Bose Corporation Latency negotiation in a heterogeneous network of synchronized speakers
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
EP3709194A1 (en) 2019-03-15 2020-09-16 Spotify AB Ensemble-based data comparison
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
WO2020230460A1 (ja) * 2019-05-14 2020-11-19 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
WO2020256184A1 (ko) * 2019-06-20 2020-12-24 엘지전자 주식회사 디스플레이 장치
US10645520B1 (en) 2019-06-24 2020-05-05 Facebook Technologies, Llc Audio system for artificial reality environment
JP7362320B2 (ja) * 2019-07-04 2023-10-17 フォルシアクラリオン・エレクトロニクス株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
CN110572799B (zh) * 2019-07-25 2020-12-25 华为技术有限公司 一种同时响应的方法及设备
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
CN110290412B (zh) * 2019-08-26 2019-11-29 恒玄科技(北京)有限公司 一种音频同步播放方法、装置及扬声器设备、无线耳机
US11094319B2 (en) * 2019-08-30 2021-08-17 Spotify Ab Systems and methods for generating a cleaned version of ambient sound
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11328722B2 (en) 2020-02-11 2022-05-10 Spotify Ab Systems and methods for generating a singular voice audio stream
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
JP2021196582A (ja) * 2020-06-18 2021-12-27 ヤマハ株式会社 音響特性の補正方法および音響特性補正装置
CN112153525B (zh) * 2020-08-11 2022-09-16 广东声音科技有限公司 多扬声器全景音效的定位方法及系统
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
KR20240039120A (ko) 2021-08-06 2024-03-26 소니그룹주식회사 음향 처리 장치, 음향 처리 방법, 음향 처리 프로그램 및 음향 처리 시스템
US11716569B2 (en) * 2021-12-30 2023-08-01 Google Llc Methods, systems, and media for identifying a plurality of sets of coordinates for a plurality of devices
CN114866787B (zh) * 2022-07-04 2022-09-23 深圳市必提教育科技有限公司 一种直播实现方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998052376A1 (en) * 1997-05-09 1998-11-19 Nokia Telecommunications Oy A method for determining timing differences between radio transmitters and a radio network incorporating the same
US20090298420A1 (en) * 2008-05-27 2009-12-03 Sony Ericsson Mobile Communications Ab Apparatus and methods for time synchronization of wireless audio data streams
US20140323036A1 (en) * 2013-04-29 2014-10-30 Motorola Mobility Llc Systems and Methods for Syncronizing Multiple Electronic Devices

Family Cites Families (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5872743A (en) * 1998-02-10 1999-02-16 Vlsi Technology, Inc. Method and apparatus for locating the user of a computer system
US7577260B1 (en) * 1999-09-29 2009-08-18 Cambridge Mechatronics Limited Method and apparatus to direct sound
US6400646B1 (en) * 1999-12-09 2002-06-04 Halliburton Energy Services, Inc. Method for compensating for remote clock offset
EP1393591A2 (en) 2000-11-16 2004-03-03 Koninklijke Philips Electronics N.V. Automatically adjusting audio system
US20020124097A1 (en) 2000-12-29 2002-09-05 Isely Larson J. Methods, systems and computer program products for zone based distribution of audio signals
JP4766440B2 (ja) * 2001-07-27 2011-09-07 日本電気株式会社 携帯端末装置及び携帯端末装置の音響再生システム
JP2004021162A (ja) * 2002-06-20 2004-01-22 Sony Corp 音響機器および音響機器の制御方法、ならびに、音響機器制御デバイス
DE60211157T2 (de) * 2002-09-06 2007-02-08 Sony Deutschland Gmbh Synchrones Abspielen von Medien-Paketen
JP2004193868A (ja) * 2002-12-10 2004-07-08 Alps Electric Co Ltd 無線送受信システム及び無線送受信方法
GB0301093D0 (en) * 2003-01-17 2003-02-19 1 Ltd Set-up method for array-type sound systems
US8020023B2 (en) 2003-07-28 2011-09-13 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices without a voltage controlled crystal oscillator
US9207905B2 (en) 2003-07-28 2015-12-08 Sonos, Inc. Method and apparatus for providing synchrony group status information
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US7668964B2 (en) 2005-04-23 2010-02-23 Sonos, Inc. System and method for synchronizing channel handoff as among a plurality of devices
US7526093B2 (en) * 2003-08-04 2009-04-28 Harman International Industries, Incorporated System for configuring audio system
EP1542503B1 (en) * 2003-12-11 2011-08-24 Sony Deutschland GmbH Dynamic sweet spot tracking
US20070110074A1 (en) 2004-06-04 2007-05-17 Bob Bradley System and Method for Synchronizing Media Presentation at Multiple Recipients
JP2006054515A (ja) * 2004-08-09 2006-02-23 Matsushita Electric Ind Co Ltd 音響システム、音声信号処理装置およびスピーカ
JP4345816B2 (ja) * 2004-09-09 2009-10-14 パナソニック株式会社 ネットワークシステムおよび中継装置
US8880205B2 (en) * 2004-12-30 2014-11-04 Mondo Systems, Inc. Integrated multimedia signal processing system using centralized processing of signals
EP1737265A1 (en) * 2005-06-23 2006-12-27 AKG Acoustics GmbH Determination of the position of sound sources
WO2007028094A1 (en) * 2005-09-02 2007-03-08 Harman International Industries, Incorporated Self-calibrating loudspeaker
US8981996B2 (en) * 2005-09-27 2015-03-17 Qualcomm Incorporated Position location using transmitters with timing offset and phase adjustment
US7539889B2 (en) * 2005-12-30 2009-05-26 Avega Systems Pty Ltd Media data synchronization in a wireless network
US9413799B2 (en) * 2007-01-27 2016-08-09 Blackfire Research Corporation Broadcasting media from a stationary source to multiple mobile devices over wi-fi
US20080004729A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Direct encoding into a directional audio coding format
US9420332B2 (en) * 2006-07-06 2016-08-16 Qualcomm Incorporated Clock compensation techniques for audio decoding
US20080077261A1 (en) * 2006-08-29 2008-03-27 Motorola, Inc. Method and system for sharing an audio experience
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
JP5150652B2 (ja) 2007-03-20 2013-02-20 マーベル ワールド トレード リミテッド 同期ネットワークデバイス
CN101731011B (zh) 2007-05-11 2014-05-28 奥迪耐特有限公司 用于设置接收器延迟时间的方法
US8320410B2 (en) 2007-05-23 2012-11-27 Broadcom Corporation Synchronization of media data streams with separate sinks using a relay
US7729204B2 (en) * 2007-06-08 2010-06-01 Microsoft Corporation Acoustic ranging
JP4442662B2 (ja) * 2007-08-31 2010-03-31 ソニー株式会社 オーディオ信号伝送システム及びオーディオ信号伝送方法
KR101238361B1 (ko) * 2007-10-15 2013-02-28 삼성전자주식회사 어레이 스피커 시스템에서 근접장 효과를 보상하는 방법 및장치
US20110015769A1 (en) 2008-03-12 2011-01-20 Genelec Oy Data transfer method and system for loudspeakers in a digital sound reproduction system
US8989882B2 (en) * 2008-08-06 2015-03-24 At&T Intellectual Property I, L.P. Method and apparatus for managing presentation of media content
US9645225B2 (en) * 2008-11-21 2017-05-09 Qualcomm Incorporated Network-centric determination of node processing delay
US8285405B2 (en) * 2009-02-26 2012-10-09 Creative Technology Ltd Methods and an apparatus for optimizing playback of media content from a digital handheld device
KR101705592B1 (ko) 2009-05-18 2017-02-10 삼성전자주식회사 노드 간의 시간 동기화를 수행하는 네트워크 동기화 방법 및 장치
KR20100124909A (ko) * 2009-05-20 2010-11-30 삼성전자주식회사 이동통신 단말기에서 영상과 음성의 동기화를 위한 장치 및 방법
WO2011034520A1 (en) * 2009-09-15 2011-03-24 Hewlett-Packard Development Company, L.P. System and method for modifying an audio signal
US9307340B2 (en) * 2010-05-06 2016-04-05 Dolby Laboratories Licensing Corporation Audio system equalization for portable media playback devices
US9565035B1 (en) 2010-05-26 2017-02-07 Marvell International Ltd. Enhanced audio video bridging (AVB) methods and apparatus
US9237324B2 (en) 2010-10-22 2016-01-12 Phorus, Inc. Playback synchronization
CN103493447B (zh) 2011-03-10 2016-05-11 马维尔国际贸易有限公司 用于非任意网络的数据阻止系统
US9107023B2 (en) * 2011-03-18 2015-08-11 Dolby Laboratories Licensing Corporation N surround
US8619803B2 (en) 2011-05-05 2013-12-31 Harman International Industries, Incorporated Sparse mode system
US8516130B2 (en) 2011-06-30 2013-08-20 Harman International Industries, Incorporated Using non-AVB application layer interface and message to establish a connection over an AVB network
US8948037B1 (en) 2011-07-01 2015-02-03 Marvell Israel (M.I.S.L) Ltd. Checksum trailer in timing protocols
US9232026B2 (en) 2011-12-21 2016-01-05 Harman International Industries, Incorporated System for communicating control messages in an AVB network
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
EP2611213B1 (en) 2011-12-29 2015-08-26 Harman Becker Automotive Systems GmbH Sound system with individual playback zones
US9256247B2 (en) 2012-01-04 2016-02-09 Marvell World Trade Ltd. Method and apparatus for communicating time information between time aware devices
WO2013117217A1 (en) 2012-02-07 2013-08-15 Telefonaktiebolaget L M Ericsson (Publ) Method and device for resident time calculation and synchronization
CN104247309B (zh) 2012-02-09 2017-11-10 马维尔以色列(M.I.S.L.)有限公司 使用多个网络路径的时钟同步
US9112630B1 (en) 2012-02-09 2015-08-18 Marvell Israel (M.I.S.L) Ltd. Clock synchronization in the presence of security threats
US9219693B2 (en) 2012-02-22 2015-12-22 Marvell World Trade Ltd. Network devices with time aware medium access controller
US9547332B1 (en) 2012-03-21 2017-01-17 Marvell Israel (M.I.S.L) Ltd. Accurate time capture and transfer between clock domains
US9288777B2 (en) 2012-05-11 2016-03-15 Apple Inc. Methods and apparatus for synchronizing clock signals in a wireless system
US10663610B2 (en) * 2012-06-04 2020-05-26 Fairfield Industries Incorporated Seismic data analysis using ocean bottom node data collection
US8837316B2 (en) 2012-06-14 2014-09-16 Qualcomm Incorporated RTT based ranging system and method
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US8989552B2 (en) * 2012-08-17 2015-03-24 Nokia Corporation Multi device audio capture
US9470776B2 (en) * 2012-09-06 2016-10-18 Cascube Ltd Position and behavioral tracking system and uses thereof
EP2896170B1 (en) 2012-09-11 2023-03-08 Marvell Asia Pte, Ltd. Method and apparatus for transmitting packets in accordance with ieee 802.1 qbv
US9549253B2 (en) * 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
US9554203B1 (en) * 2012-09-26 2017-01-24 Foundation for Research and Technolgy—Hellas (FORTH) Institute of Computer Science (ICS) Sound source characterization apparatuses, methods and systems
JP6290915B2 (ja) * 2012-11-16 2018-03-07 ブラックファイヤー リサーチ コーポレイションＢｌａｃｋｆｉｒｅ Ｒｅｓｅａｒｃｈ Ｃｏｒｐｏｒａｔｉｏｎ 共通イベントベースのマルチデバイスメディア再生
WO2014100554A1 (en) * 2012-12-20 2014-06-26 Strubwerks Llc Systems and methods for providing three dimensional enhanced audio
US9165371B2 (en) 2012-12-24 2015-10-20 Harman International Industries, Incorporated User location system
US10070369B2 (en) 2013-01-02 2018-09-04 Comcast Cable Communications, Llc Network provisioning
US9104343B2 (en) 2013-03-13 2015-08-11 Silicon Graphics International Corp. Global synchronous clock circuit and method for blade processors
WO2015009748A1 (en) 2013-07-15 2015-01-22 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
US9940904B2 (en) * 2013-10-23 2018-04-10 Intel Corporation Techniques for determining an adjustment for a visual output
WO2015062658A1 (en) * 2013-10-31 2015-05-07 Huawei Technologies Co., Ltd. System and method for evaluating an acoustic transfer function
WO2015087024A1 (en) * 2013-12-09 2015-06-18 Khalifa University Of Science, Technology And Research Method and devices for synchronization using linear programming
US9178637B2 (en) * 2013-12-09 2015-11-03 Khalifa University of Science, Technology, and Research Method and devices for synchronization using linear programming
US9432791B2 (en) 2013-12-11 2016-08-30 Harman International Industries, Inc. Location aware self-configuring loudspeaker
US9301077B2 (en) 2014-01-02 2016-03-29 Harman International Industries, Incorporated Context-based audio tuning
US9313591B2 (en) 2014-01-27 2016-04-12 Sonos, Inc. Audio synchronization among playback devices using offset information
FI20140021L (fi) * 2014-01-27 2015-07-28 Asmo Saloranta Akkulaturi
CN104811582A (zh) 2014-01-28 2015-07-29 华为技术有限公司 多智能设备同步播放的方法和装置
US9736806B2 (en) 2014-02-28 2017-08-15 Qualcomm Incorporated Apparatuses and methods for wireless synchronization of multiple multimedia devices using a common timing framework
US9264839B2 (en) * 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
WO2015145782A1 (en) * 2014-03-26 2015-10-01 Panasonic Corporation Apparatus and method for surround audio signal processing
WO2016001355A1 (en) * 2014-07-02 2016-01-07 Thomson Licensing Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a hoa signal representation
US9451361B2 (en) * 2014-07-08 2016-09-20 Intel IP Corporation Apparatus, method and system of communicating acoustic information of a distributed microphone array between mobile devices
US9891881B2 (en) * 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US9910634B2 (en) * 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
CN111654785B (zh) * 2014-09-26 2022-08-23 苹果公司 具有可配置区的音频系统
US9984693B2 (en) * 2014-10-10 2018-05-29 Qualcomm Incorporated Signaling channels for scalable coding of higher order ambisonic audio data
KR101596756B1 (ko) 2014-11-03 2016-03-07 현대자동차주식회사 리던던트 그랜드마스터를 이용한 차량 내 네트워크 시간 동기화 제공 방법 및 장치
US20160150008A1 (en) * 2014-11-25 2016-05-26 Google Inc. Clock synchronization using wifi beacons
EP3235310B1 (en) 2014-12-17 2021-11-03 Telefonaktiebolaget LM Ericsson (publ) Communication network nodes and methods performed therein
US9671998B2 (en) * 2014-12-31 2017-06-06 Qualcomm Incorporated Synchronised control
US10187817B2 (en) 2015-05-27 2019-01-22 Qualcomm Incorporated Measuring distance in wireless devices
US11125866B2 (en) * 2015-06-04 2021-09-21 Chikayoshi Sumi Measurement and imaging instruments and beamforming method
CN113473353B (zh) * 2015-06-24 2023-03-07 索尼公司 音频处理装置和方法以及计算机可读存储介质
US10003903B2 (en) * 2015-08-21 2018-06-19 Avago Technologies General Ip (Singapore) Pte. Ltd. Methods for determining relative locations of wireless loudspeakers
US9911433B2 (en) 2015-09-08 2018-03-06 Bose Corporation Wireless audio synchronization
US9699580B2 (en) * 2015-09-28 2017-07-04 International Business Machines Corporation Electronic media volume control
US10454604B2 (en) 2015-10-02 2019-10-22 Bose Corporation Encoded audio synchronization
US10353424B2 (en) * 2016-07-01 2019-07-16 Imagination Technologies Limited Clock synchronisation
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998052376A1 (en) * 1997-05-09 1998-11-19 Nokia Telecommunications Oy A method for determining timing differences between radio transmitters and a radio network incorporating the same
US20090298420A1 (en) * 2008-05-27 2009-12-03 Sony Ericsson Mobile Communications Ab Apparatus and methods for time synchronization of wireless audio data streams
US20140323036A1 (en) * 2013-04-29 2014-10-30 Motorola Mobility Llc Systems and Methods for Syncronizing Multiple Electronic Devices

Also Published As

Publication number Publication date
EP3539334A4 (en) 2019-09-18
US20200264838A1 (en) 2020-08-20
CN110291820A (zh) 2019-09-27
KR20210025735A (ko) 2021-03-09
KR20210025734A (ko) 2021-03-09
KR102224872B1 (ko) 2021-03-09
KR20220019296A (ko) 2022-02-16
US10255032B2 (en) 2019-04-09
US10649722B2 (en) 2020-05-12
JP2020184788A (ja) 2020-11-12
JP2022019843A (ja) 2022-01-27
US10241748B2 (en) 2019-03-26
KR20220098391A (ko) 2022-07-12
US11194542B2 (en) 2021-12-07
US10649716B2 (en) 2020-05-12
US10684817B2 (en) 2020-06-16
EP3539334A1 (en) 2019-09-18
EP3751918B1 (en) 2023-05-10
US10552115B2 (en) 2020-02-04
US20180167758A1 (en) 2018-06-14
US20180167645A1 (en) 2018-06-14
KR102293642B1 (ko) 2021-08-24
JP7206362B2 (ja) 2023-01-17
EP3539334B1 (en) 2020-09-02
US20180167760A1 (en) 2018-06-14
CN110291820B (zh) 2020-10-30
US20190220241A1 (en) 2019-07-18
US20180167757A1 (en) 2018-06-14
US20180167759A1 (en) 2018-06-14
KR102357777B1 (ko) 2022-02-08
KR102111435B1 (ko) 2020-05-15
JP6737959B2 (ja) 2020-08-12
US20190171411A1 (en) 2019-06-06
WO2018111500A1 (en) 2018-06-21
EP4250747A2 (en) 2023-09-27
KR102415171B1 (ko) 2022-07-01
KR20190084335A (ko) 2019-07-16
KR102072682B1 (ko) 2020-02-04
EP4250747A3 (en) 2023-10-04
JP2020507058A (ja) 2020-03-05
JP2023052202A (ja) 2023-04-11
US10296287B2 (en) 2019-05-21
KR20200053656A (ko) 2020-05-19
US10649721B2 (en) 2020-05-12
US20180165055A1 (en) 2018-06-14
KR102510369B1 (ko) 2023-03-15
EP3751918A1 (en) 2020-12-16
JP6987189B2 (ja) 2021-12-22
US10956114B2 (en) 2021-03-23
US20180166101A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
KR102072682B1 (ko) 오디오 소스들의 무선 조정
KR102077295B1 (ko) 오디오 재생의 무선 조정

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant