KR20150088874A - 협업 사운드 시스템 - Google Patents

협업 사운드 시스템 Download PDF

Info

Publication number
KR20150088874A
KR20150088874A KR1020157017060A KR20157017060A KR20150088874A KR 20150088874 A KR20150088874 A KR 20150088874A KR 1020157017060 A KR1020157017060 A KR 1020157017060A KR 20157017060 A KR20157017060 A KR 20157017060A KR 20150088874 A KR20150088874 A KR 20150088874A
Authority
KR
South Korea
Prior art keywords
mobile devices
audio
mobile device
audio signals
identified
Prior art date
Application number
KR1020157017060A
Other languages
English (en)
Other versions
KR101673834B1 (ko
Inventor
래훈 김
페이 샹
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150088874A publication Critical patent/KR20150088874A/ko
Application granted granted Critical
Publication of KR101673834B1 publication Critical patent/KR101673834B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic Arrangements (AREA)

Abstract

대체로, 협업 사운드 시스템을 형성하는 기법들이 설명된다. 하나 이상의 프로세서들을 포함하는 헤드엔드 디바이스가 그 기법들을 수행할 수도 있다. 그 프로세서들은 각각 스피커를 구비하고 협업 서라운드 사운드 시스템에 참여하는데 이용가능한 모바일 디바이스들을 식별하도록 구성될 수도 있다. 그 프로세서들은 그 모바일 디바이스들 중 각각의 모바일 디바이스의 스피커를 이 시스템의 하나 이상의 가상 스피커들로서 활용하도록 협업 서라운드 사운드 시스템을 구성하고, 그 다음에 오디오 신호들이 모바일 디바이스들의 스피커들에 의해 플레이되는 경우, 오디오 신호들의 오디오 플레이백으로 하여금 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 오디오 소스로부터의 오디오 신호들을 렌더링할 수도 있다. 그 프로세서들은 그 다음에 렌더링된 프로세싱된 오디오 신호들을 협업 서라운드 사운드 시스템에 참여하고 있는 모바일 디바이스로 송신할 수도 있다.

Description

협업 사운드 시스템{COLLABORATIVE SOUND SYSTEM}
본 출원은 2012년 11월 28일자로 출원된 미국 가출원 제61/730,911호를 우선권 주장한다.
기술 분야
본 개시물은 다중-채널 사운드 시스템에 관한 것으로, 더 상세하게는, 협업 (collaborative) 다중-채널 사운드 시스템들에 관한 것이다.
전형적인 다중-채널 사운드 시스템 (이는 "다중-채널 서라운드 사운드 시스템"이라고 또한 지칭될 수도 있음) 은 오디오/비디오 (AV) 수신기와 둘 이상의 스피커들을 통상적으로 포함한다. AV 수신기는 스피커들과 인터페이싱하는 다수의 출력들과 오디오 및/또는 비디오 신호들을 수신하는 다수의 입력들을 통상적으로 구비한다. 종종, 오디오 및/또는 비디오 신호들은 다양한 홈 시어터 또는 오디오 컴포넌트들, 이를테면 텔레비전 세트들, 디지털 비디오 디스크 (DVD) 플레이어들, 고선명 비디오 플레이어들, 게임 시스템들, 레코드 플레이어들, 콤팩트 디스크 (CD) 플레이어들, 디지털 미디어 플레이어들, 셋톱 박스들 (STB들), 랩톱 컴퓨터들, 태블릿 컴퓨터들 등에 의해 생성된다.
AV 수신기는 상향 변환 또는 다른 비디오 프로세싱 기능들을 제공하기 위해 비디오 신호들을 프로세싱할 수도 있지만, 통상적으로 AV 수신기는 적절한 채널을 적절한 스피커들 (이는 "라우드스피커들"이라고 또한 지칭될 수도 있음) 에 제공하기 위해서 서라운드 사운드 시스템에서 오디오 프로세싱을 수행하는데 이용된다. 사운드의 스테이지 또는 영역을 복제함으로써 더욱 몰입적 사운드 경험을 양호하게 제공하는 다수의 상이한 서라운드 사운드 포맷들이 존재한다. 5.1 서라운드 사운드 시스템에서, AV 수신기는 중앙 채널, 좌측 채널, 우측 채널, 후방 우측 채널 및 후방 좌측 채널을 포함하는 5 개 채널들의 오디오를 프로세싱한다. 5.1의 ".1"을 형성하는 부가적인 채널이 서브우퍼 또는 베이스 채널을 위한 것이다. 다른 서라운드 사운드 포맷들이 7.1 서라운드 사운드 포맷 (이는 부가적인 후방 좌측 및 우측 채널들을 추가한 것임) 과 22.2 서라운드 사운드 포맷 (이는 부가적인 전방 및 후방 채널들 외에 가변하는 높이들에서의 부가적인 채널들과 다른 서브우퍼 또는 베이스 채널을 추가한 것임) 을 포함한다.
5.1 서라운드 사운드 포맷의 맥락에서, AV 수신기는 이들 5 개 채널들을 프로세싱하고 5 개 채널들을 5 개 라우드스피커들 및 서브우퍼로 배분할 수도 있다. AV 수신기는 그 신호들을 프로세싱하여 서라운드 사운드 시스템이 동작하는 특정 방 (room) 에서 서라운드 사운드 오디오를 적절히 복제하기 위해서 신호의 볼륨 레벨들 및 다른 특성들을 변경할 수도 있다. 다시 말하면, 원래의 서라운드 사운드 오디오 신호는 주어진 방, 이를테면 15×15 피트의 방을 수용하기 위해 캡처되고 렌더링되었을 수도 있다. AV 수신기는 서라운드 사운드 시스템이 동작하는 방을 수용하기 위해 이 신호를 렌더링할 수도 있다. AV 수신기는 이 렌더링을 수행하여 양호한 사운드 스테이지를 생성함으로써 더 양호한 또는 더 몰입적인 청취 경험을 제공할 수도 있다.
비록 서라운드 사운드가 더욱 몰입적인 청취 (및, 비디오와 연계하여, 시청) 경험을 제공할 수도 있지만, 실감나는 서라운드 사운드를 재생하는데 필요한 AV 수신기와 라우드스피커들은 종종 비싸다. 더구나, 라우드스피커들에 적절히 전력을 공급하기 위해, AV 수신기는 라우드스피커들에 (통상적으로는 스피커 와이어를 통해) 종종 물리적으로 커플링되어야만 한다. 적어도 2 개의 스피커들이 청취자 뒤에 위치되는 것을 서라운드 사운드가 통상적으로 요구한다는 것을 고려하면, AV 수신기는 AV 수신기를 서라운드 사운드 시스템에서의 후방 좌측 및 후방 우측 스피커들에 물리적으로 접속하기 위해 스피커 와이어 또는 다른 물리적 접속들이 방을 가로질러 이어질 것을 종종 필요로 한다. 이어지는 이들 와이어들은 보기 흉하고 소비자들에 의한 5.1, 7.1 및 더 높은 차수의 서라운드 사운드 시스템들의 채택을 방해할 수도 있다.
일반적으로, 본 개시물은 협업 서라운드 사운드 시스템이 이용가능한 모바일 디바이스들을 서라운드 사운드 스피커들로서 또는, 일부 경우들에서는, 전방 좌측, 중앙 및/또는 전방 우측 스피커들로서 채용하는 것을 가능하게 하는 기법들을 설명한다. 헤드엔드 디바이스가 본 개시물에서 설명되는 기법들을 수행하도록 구성될 수도 있다. 헤드엔드 디바이스는 협업 사운드 시스템을 형성하기 위해 하나 이상의 모바일 디바이스들과 인터페이싱하도록 구성될 수도 있다. 헤드엔드 디바이스는 하나 이상의 모바일 디바이스들과 인터페이싱하여 이들 모바일 디바이스들의 스피커들을 협업 사운드 시스템의 스피커들로서 이용할 수도 있다. 종종 헤드엔드 디바이스는 무선 접속을 통해 이들 모바일 디바이스들과 통신하여, 사운드 시스템에서의 후방-좌측, 후방-우측, 또는 다른 후방 위치된 스피커들을 위해 모바일 디바이스들의 스피커들을 이용할 수도 있다.
이러한 방식으로, 헤드엔드 디바이스는 일반적으로 이용가능하지만 종래의 사운드 시스템들에서 이용되지 않은 모바일 디바이스들의 스피커들을 사용하여 협업 사운드 시스템을 형성함으로써, 사용자들이 전용 스피커들의 구매에 연관된 비용들을 피하거나 또는 줄이는 것을 가능하게 할 수도 있다. 덧붙여서, 모바일 디바이스들은 헤드엔드 디바이스에 무선으로 커플링될 수도 있다는 것을 고려하면, 본 개시물에서 설명되는 기법들에 따라 형성된 협업 서라운드 사운드 시스템은 스피커들에 전력을 제공하기 위해 스피커 와이어 또는 다른 물리적 접속들을 이어지게 하는 일 없이 후방 사운드를 가능하게 할 수도 있다. 따라서, 그 기법들은 전용 스피커들의 구매 및 이러한 스피커들의 설치에 연관된 비용을 피한다는 측면에서의 비용 절약들과 후방 스피커들을 헤드엔드 디바이스에 커플링하는 전용 물리적 접속들을 제공할 필요가 없도록 하는 구성의 용이함과 유연성 양자를 촉진할 수도 있다.
하나의 양태에서, 방법은, 각각 스피커를 구비하고 협업 서라운드 사운드 시스템에 참여하는데 이용가능한 하나 이상의 모바일 디바이스들을 식별하는 단계와 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스의 스피커를 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로서 활용하도록 협업 서라운드 사운드 시스템을 구성하는 단계를 포함한다. 그 방법은, 오디오 신호들이 하나 이상의 모바일 디바이스들의 스피커들에 의해 플레이되는 경우, 오디오 신호들의 오디오 플레이백으로 하여금 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 오디오 소스로부터의 오디오 신호들을 렌더링하는 단계, 및 오디오 소스로부터 렌더링된 프로세싱된 오디오 신호들을 협업 서라운드 사운드 시스템에 참여하고 있는 모바일 디바이스의 각각으로 송신하는 단계를 더 포함한다.
다른 양태에서, 헤드엔드 디바이스는, 각각 스피커를 구비하고 협업 서라운드 사운드 시스템에 참여하는데 이용가능한 하나 이상의 모바일 디바이스들을 식별하고, 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스의 스피커를 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로서 활용하도록 협업 서라운드 사운드 시스템을 구성하고, 오디오 신호들이 하나 이상의 모바일 디바이스들의 스피커들에 의해 플레이되는 경우, 오디오 신호들의 오디오 플레이백으로 하여금 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 오디오 소스로부터의 오디오 신호들을 렌더링하며, 그리고 오디오 소스로부터 렌더링된 프로세싱된 오디오 신호들을 협업 서라운드 사운드 시스템에 참여하고 있는 모바일 디바이스의 각각으로 송신하도록 구성된 하나 이상의 프로세서들을 포함한다.
다른 양태에서, 헤드엔드 디바이스는, 각각 스피커를 구비하고 협업 서라운드 사운드 시스템에 참여하는데 이용가능한 하나 이상의 모바일 디바이스들을 식별하는 수단과 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스의 스피커를 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로서 활용하도록 협업 서라운드 사운드 시스템을 구성하는 수단을 포함한다. 그 헤드엔드 디바이스는, 오디오 신호들이 하나 이상의 모바일 디바이스들의 스피커들에 의해 플레이되는 경우, 오디오 신호들의 오디오 플레이백으로 하여금 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 오디오 소스로부터의 오디오 신호들을 렌더링하는 수단, 및 오디오 소스로부터 렌더링된 프로세싱된 오디오 신호들을 협업 서라운드 사운드 시스템에 참여하고 있는 모바일 디바이스의 각각으로 송신하는 수단을 더 포함한다.
다른 양태에서, 비일시적 컴퓨터 판독가능 저장 매체는, 명령들을 저장하고 있으며, 그 명령들은, 실행되는 경우, 하나 이상의 프로세서들로 하여금, 각각 스피커를 구비하고 협업 서라운드 사운드 시스템에 참여하는데 이용가능한 하나 이상의 모바일 디바이스들을 식별하게 하며, 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스의 스피커를 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로서 활용하도록 협업 서라운드 사운드 시스템을 구성하게 하며, 오디오 신호들이 하나 이상의 모바일 디바이스들의 스피커들에 의해 플레이되는 경우, 오디오 신호들의 오디오 플레이백으로 하여금 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 오디오 소스로부터의 오디오 신호들을 렌더링하게 하고, 오디오 소스로부터 렌더링된 프로세싱된 오디오 신호들을 협업 서라운드 사운드 시스템에 참여하고 있는 모바일 디바이스의 각각으로 송신하게 한다.
본 기법들의 하나 이상의 실시형태들의 상세는 첨부 도면들과 아래의 설명에서 언급된다. 본 기법들의 다른 특징들, 목적들, 및 이점들은 상세한 설명 및 도면들로부터, 그리고 청구항들로부터 명확하게 될 것이다.
도 1은 본 개시물에서 설명되는 기법들에 따라 형성된 일 예의 협업 서라운드 사운드 시스템을 도시하는 블록도이다.
도 2는 도 1의 협업 서라운드 사운드 시스템의 다양한 양태들을 더 상세히 도시하는 블록도이다.
도 3a 내지 도 3c는 본 개시물에서 설명되는 협업 서라운드 사운드 시스템 기법들을 수행함에 있어서 헤드엔드 디바이스 및 모바일 디바이스들의 예의 동작을 도시하는 흐름도들이다.
도 4는 본 개시물에서 설명되는 기법들에 따라 형성된 협업 서라운드 사운드 시스템의 추가의 양태들을 예시하는 블록도이다.
도 5는 도 1의 협업 서라운드 사운드 시스템의 다른 양태를 더 상세히 예시하는 블록도이다.
도 6a 내지 도 6c는 본 개시물에서 설명되는 기법들의 다양한 양태들에 따라 모바일 디바이스에 의해 디스플레되는 바와 같은 예시적인 이미지들을 더 상세히 도시하는 도면들이다.
도 7a 내지 도 7c는 본 개시물에서 설명되는 기법들의 다양한 양태들에 따라 헤드엔드 디바이스에 커플링된 디바이스에 의해 디스플레이되는 바와 같은 예시적인 이미지들을 더 상세히 도시하는 도면들이다.
도 8a 내지 도 8c는 본 개시물에서 설명되는 협업 서라운드 사운드 시스템 기법들의 다양한 양태들을 수행함에 있어서 헤드엔드 디바이스 및 모바일 디바이스들의 예의 동작을 도시하는 흐름도들이다.
도 9a 내지 도 9c는 본 개시물에서 설명되는 기법들에 따라 형성된 협업 서라운드 사운드 시스템의 다양한 구성들을 예시하는 블록도들이다.
도 10은 본 개시물에서 설명되는 기법들의 다양한 전력 조절 (accommodation) 양태들을 구현함에 있어서 헤드엔드 디바이스의 예시적인 동작을 도시하는 흐름도이다.
도 11 내지 도 13은 다양한 차수들 및 하위-차수들의 구면 조화 기저 함수들을 예시하는 도면들이다.
도 1은 본 개시물에서 설명되는 기법들에 따라 형성된 일 예의 협업 서라운드 사운드 시스템 (10) 을 도시하는 블록도이다. 도 1의 예에서, 협업 서라운드 사운드 시스템 (10) 은 오디오 소스 디바이스 (12), 헤드엔드 디바이스 (14), 전방 좌측 스피커 (16A), 전방 우측 스피커 (16B) 및 모바일 디바이스들 (18A - 18N) ("모바일 디바이스들 (18)") 을 구비한다. 전용의 전방 좌측 스피커 (16A) 와 전용의 전방 우측 스피커 (16B) 를 구비한 것으로 도시되었지만, 그 기법들은 모바일 디바이스들 (18) 이 전방 좌측, 중앙 및 전방 우측 스피커들로서 또한 사용되는 경우들에서 수행될 수도 있다. 따라서, 그 기법들은 도 1의 예에서 도시된 예의 협업 서라운드 사운드 시스템 (10) 으로 제한되지 않아야 한다. 더구나, 협업 서라운드 사운드 시스템 (10) 에 관해 설명되지만, 본 개시물의 기법들은 협업 사운드 시스템을 제공하는 임의의 형태의 사운드 시스템에 의해 구현될 수도 있다.
오디오 소스 디바이스 (12) 는 소스 오디오 데이터를 생성할 수 있는 임의의 유형의 디바이스를 나타낼 수도 있다. 예를 들어, 오디오 소스 디바이스 (12) 는, 텔레비전 세트 (인터넷 액세스를 특징으로 하는 그리고/또는 애플리케이션들의 실행을 지원할 수 있는 운영 체제를 실행하는 이른바 "스마트 텔레비전들" 또는 "smarTVs"을 포함함), 디지털 셋탑 박스 (STB), 디지털 비디오 디스크 (DVD) 플레이어, 고선명 디스크 플레이어, 게이밍 시스템, 멀티미디어 플레이어, 스트리밍 멀티미디어 플레이어, 레코드 플레이어, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 또는 슬레이트 컴퓨터, 셀룰러 폰 (이른바 "스마트 폰들을 포함함), 또는 소스 오디오 데이터를 생성할 수 있거나 또는 그렇지 않으면 제공할 수 있는 임의의 다른 유형의 디바이스 또는 컴포넌트를 나타낼 수도 있다. 어떤 경우들에서는, 이를테면 오디오 소스 디바이스 (12) 가 텔레비전, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 또는 슬레이트 컴퓨터, 또는 셀룰러 폰을 나타내는 경우에 오디오 소스 디바이스 (12) 는 디스플레이를 구비할 수도 있다.
헤드엔드 디바이스 (14) 는 오디오 소스 디바이스 (12) 에 의해 생성된 또는 그렇지 않으면 제공된 소스 오디오 데이터를 프로세싱 (또는, 다르게 말하면, 렌더링) 할 수 있는 임의의 디바이스를 나타낸다. 어떤 경우들에서, 헤드엔드 디바이스 (14) 는 단일 디바이스를 형성하기 위해, 예컨대, 오디오 소스 디바이스 (12) 가 헤드엔드 디바이스 (14) 의 내부에 있거나 또는 그 헤드엔드 디바이스의 부분이 되도록 오디오 소스 디바이스 (12) 와 통합될 수도 있다. 예시하기 위해, 오디오 소스 디바이스 (12) 가 몇몇 예들을 제공하기 위한 텔레비전, 데스크톱 컴퓨터, 랩톱 컴퓨터, 슬레이트 또는 태블릿 컴퓨터, 게이밍 시스템, 모바일 폰, 또는 고선명 디스크 플레이어를 나타내는 경우, 오디오 소스 디바이스 (12) 는 헤드엔드 디바이스 (14) 와 통합될 수도 있다. 다시 말하면, 헤드엔드 디바이스 (14) 는 텔레비전, 데스크톱 컴퓨터, 랩톱 컴퓨터, 슬레이트 또는 태블릿 컴퓨터, 게이밍 시스템, 셀룰러 폰, 또는 고선명 디스크 플레이어 등과 같은 다양한 디바이스들 중 임의의 것일 수도 있다. 헤드엔드 디바이스 (14) 는, 오디오 소스 디바이스 (12) 와 통합되지 않은 경우, 유선 또는 무선 접속을 통해 오디오 소스 디바이스 (12), 전방 좌측 스피커 (16A), 전방 우측 스피커 (16B) 및/또는 모바일 디바이스들 (18) 과 통신하게 하는 다수의 인터페이스들을 제공하는 오디오/비디오 수신기 (이는 "A/V 수신기"라고 보통 지칭됨) 를 나타낼 수도 있다.
전방 좌측 스피커 (16A) 와 전방 우측 스피커 (16B) ("스피커들 (16)") 는 하나 이상의 트랜스듀서들을 갖는 라우드스피커들을 나타낼 수도 있다. 보통, 전방 좌측 스피커 (16A) 는 전방 우측 스피커 (16B) 와 유사하거나 또는 거의 동일하다. 스피커들 (16) 은 헤드엔드 디바이스 (14) 와 통신하게 하는 유선 및/또는, 일부 경우들에서는 무선 인터페이스들을 제공할 수도 있다. 스피커들 (16) 은 능동적으로 전력을 공급받거나 또는 수동적으로 전력을 공급받을 수도 있는데, 수동적으로 전력을 공급받는 경우, 헤드엔드 디바이스 (14) 는 스피커들 (16) 의 각각을 구동할 수도 있다. 위에서 언급했듯이, 전용 스피커들 (16) 이 모바일 디바이스들 (18) 중 하나 이상의 모바일 디바이스에 의해 대체될 수도 있는 경우, 그 기법들은 전용 스피커들 (16) 없이 수행될 수도 있다. 어떤 경우들에서, 전용 스피커들 (16) 은 오디오 소스 디바이스 (12) 속에 포함될 수도 있거나 또는 그렇지 않고 통합될 수도 있다.
모바일 디바이스들 (18) 은 셀룰러 폰들 (이른바 "스마트 폰들"을 포함함), 태블릿 또는 슬레이트 컴퓨터들, 넷북들, 랩톱 컴퓨터들, 디지털 화상 프레임들, 또는 애플리케이션들을 실행할 수 있고 그리고/또는 헤드엔드 디바이스 (14) 와 무선으로 인터페이싱할 수 있는 임의의 다른 유형의 모바일 디바이스를 통상적으로 나타낸다. 모바일 디바이스들 (18) 은 각각이 스피커 (20A - 20N) ("스피커들 (20)") 를 포함할 수도 있다. 이들 스피커들 (20) 은 각각이 오디오 플레이백을 위해 구성될 수도 있고, 어떤 경우들에서는, 스피치 오디오 플레이백을 위해 구성될 수도 있다. 예시의 편의를 위해 본 개시물에서는 셀룰러 폰들에 관해 설명되지만, 그 기법들은, 스피커를 제공하고 헤드엔드 디바이스 (14) 와 유선 또는 무선 통신할 수 있는 임의의 휴대용 디바이스에 관해 구현될 수도 있다.
전형적인 다중-채널 사운드 시스템 (이는 "다중-채널 서라운드 사운드 시스템" 또는 "서라운드 사운드 시스템"이라고 또한 지칭될 수도 있음) 에서, 하나의 예로서 헤드엔드 디바이스를 나타낼 수도 있는 A/V 수신기는, 전용의 전방 좌측, 전방 중앙, 전방 우측, 후방 좌측 (이는 "서라운드 좌측"이라고 또한 지칭될 수도 있음) 및 후방 우측 (이는 "서라운드 우측"이라고 또한 지칭될 수도 있음) 스피커들의 배치를 수용하기 위해 소스 오디오 데이터를 프로세싱한다. A/V 수신기는 양호한 오디오 품질을 제공하며, 스피커들에 전력을 공급하고 간섭을 줄이기 위해서 이들 스피커들의 각각에 전용 유선 접속을 종종 제공한다. A/V 수신기는 적절한 스피커에 적절한 채널을 제공하도록 구성될 수도 있다.
사운드의 스테이지 또는 영역을 복제함으로써 더욱 몰입적 사운드 경험을 양호하게 제공하는 다수의 상이한 서라운드 사운드 포맷들이 존재한다. 5.1 서라운드 사운드 시스템에서, A/V 수신기는 중앙 채널, 좌측 채널, 우측 채널, 후방 우측 채널 및 후방 좌측 채널을 포함하는 5 개 채널들의 오디오를 렌더링한다. 5.1의 ".1"을 형성하는 부가적인 채널이 서브우퍼 또는 베이스 채널을 위한 것이다. 다른 서라운드 사운드 포맷들이 7.1 서라운드 사운드 포맷 (이는 부가적인 후방 좌측 및 우측 채널들을 추가한 것임) 과 22.2 서라운드 사운드 포맷 (이는 부가적인 전방 및 후방 채널들 외에 가변하는 높이들에서의 부가적인 채널들과 다른 서브우퍼 또는 베이스 채널을 추가한 것임) 을 포함한다.
5.1 서라운드 사운드 포맷의 맥락에서, A/V 수신기는 5 개 라우드스피커들을 위한 이들 5 개 채널들과 서브우퍼를 위한 베이스 채널을 렌더링할 수도 있다. A/V 수신기는 그 신호들을 렌더링하여 서라운드 사운드 시스템이 동작하는 특정 방에서 서라운드 사운드 오디오를 적절히 복제하기 위해서 신호의 볼륨 레벨들 및 다른 특성들을 변경할 수도 있다. 다시 말하면, 원래의 서라운드 사운드 오디오 신호는 주어진 방, 이를테면 15×15 피트의 방을 수용하기 위해 캡처되고 프로세싱되었을 수도 있다. A/V 수신기는 서라운드 사운드 시스템이 동작하는 방을 수용하기 위해 이 신호를 프로세싱할 수도 있다. A/V 수신기는 이 렌더링을 수행하여 양호한 사운드 스테이지를 생성함으로써 더 양호한 또는 더 몰입적인 청취 경험을 제공할 수도 있다.
서라운드 사운드가 더욱 몰입적인 청취 (및, 비디오와 연계하여, 시청) 경험을 제공할 수도 있지만, 확실한 서라운드 사운드를 재생하는데 필요한 A/V 수신기와 스피커들은 종종 비싸다. 더구나, 그 스피커들에 적절히 전력을 공급하기 위해, A/V 수신기는 위에서 언급된 이유로 라우드스피커들에 (통상적으로는 스피커 와이어를 통해) 종종 물리적으로 커플링되어야만 한다. 적어도 2 개의 스피커들이 청취자 뒤에 위치되는 것을 서라운드 사운드가 통상적으로 요구한다는 것을 고려하면, A/V 수신기는 A/V 수신기를 서라운드 사운드 시스템에서의 후방 좌측 및 후방 우측 스피커들에 물리적으로 접속하기 위해 스피커 와이어 또는 다른 물리적 접속들이 방을 가로질러 이어질 것을 종종 필요로 한다. 이어지는 이들 와이어들은 보기 흉하고 소비자들에 의한 5.1, 7.1 및 더 높은 차수의 서라운드 사운드 시스템들의 채택의 채택을 방해할 수도 있다.
본 개시물에서 설명되는 기법들에 따라, 헤드엔드 디바이스 (14) 는 협업 서라운드 사운드 시스템 (10) 을 형성하기 위해 모바일 디바이스들 (18) 과 인터페이싱할 수도 있다. 헤드엔드 디바이스 (14) 는 모바일 디바이스들 (18) 의 스피커들 (20) 을 협업 서라운드 사운드 시스템 (10) 의 서라운드 사운드 스피커들로서 이용하기 위해 이들 모바일 디바이스들과 인터페이싱할 수도 있다. 종종 헤드엔드 디바이스 (14) 는, 도 1의 예에서 도시된 바와 같이, 무선 접속을 통해 이들 모바일 디바이스들 (18) 과 통신하여, 서라운드 사운드 시스템에서의 후방-좌측, 후방-우측, 또는 다른 후방 위치된 스피커들을 위해 모바일 디바이스들 (18) 의 스피커들 (20) 을 이용할 수도 있다.
이러한 방식으로, 헤드엔드 디바이스 (14) 는, 일반적으로 이용가능하지만 기존의 서라운드 사운드 시스템들에서 활용되지 않은 모바일 디바이스들 (18) 의 스피커들 (20) 을 사용하여 협업 서라운드 사운드 시스템 (10) 을 형성함으로써, 사용자들이 전용 서라운드 사운드 스피커들의 구매에 연관된 비용들을 회피하는 것을 가능하게 할 수도 있다. 덧붙여서, 모바일 디바이스들 (18) 은 헤드엔드 디바이스 (14) 에 무선으로 커플링될 수도 있다는 것을 고려하면, 본 개시물에서 설명되는 기법들을 따라 형성된 협업 서라운드 사운드 시스템 (10) 은 스피커들에 전력을 제공하기 위해 스피커 와이어 또는 다른 물리적 접속들을 이어지게 하는 일 없이 후방 서라운드 사운드를 가능하게 할 수도 있다. 따라서, 그 기법들은 전용 서라운드 사운드 스피커들의 구매 및 이러한 스피커들의 설치에 연관된 비용을 피한다는 측면에서의 비용 절약들과, 후방 스피커들을 헤드엔드 디바이스에 커플링하는 전용 물리적 접속들을 제공할 필요가 없도록 하는 구성의 용이함 양자를 촉진할 수도 있다.
동작 시, 헤드엔드 디바이스 (14) 는, 모바일 디바이스들 (18) 중에서, 스피커들 (20) 중 대응하는 각각 스피커를 구비하고 협업 서라운드 사운드 시스템 (10) 에 참여하는데 이용가능한 모바일 디바이스들 (예컨대, 모바일 디바이스들 (18) 중에서 파워 온되거나 또는 작동중인 모바일 디바이스들) 을 식별할 수도 있다. 어떤 경우들에서, 모바일 디바이스 (18) 는 각각, 모바일 디바이스들 (18) 중에서 애플리케이션 (이는 "앱"이라고 보통 지칭될 수도 있음) 을 실행중인 모바일 디바이스들 (18) 을 협업 서라운드 사운드 시스템 (10) 에 참여하는데 이용가능한 것으로서 헤드엔드 디바이스 (18) 가 식별하는 것을 가능하게 하는 앱을 실행할 수도 있다.
헤드엔드 디바이스 (14) 는 그 다음에 스피커들 (20) 중 대응하는 스피커들을 협업 서라운드 사운드 시스템 (10) 의 하나 이상의 스피커들로서 이용하기 위해 식별된 모바일 디바이스들 (18) 을 구성할 수도 있다. 일부 예들에서, 헤드엔드 디바이스 (14) 는 협업 서라운드 사운드 시스템 (10) 의 구성을 돕기 위해, 식별된 모바일 디바이스들 (18) 중 오디오 데이터 소스 (12) 에 의해 생성된 소스 오디오 데이터 (여기서 이러한 소스 오디오 데이터는, 어떤 경우들에서는, "다중-채널 오디오 데이터"라고 또한 지칭될 수도 있음) 의 오디오 플레이백에 영향을 주는 대응하는 모바일 디바이스의 양태들을 특정하는 모바일 디바이스 데이터를 모바일 디바이스들 (18) 이 제공할 것을 폴링하거나 또는 그렇지 않으면 요청할 수도 있다. 모바일 디바이스들 (18) 은, 어떤 경우들에서는, 헤드엔드 디바이스 (14) 와의 통신 시 이 모바일 디바이스 데이터를 자동으로 제공할 수도 있고, 이 정보를 요청하는 헤드엔드 디바이스 (14) 가 없으면 이 정보에 대한 변경들에 응답하여 이 모바일 디바이스 데이터를 주기적으로 업데이트할 수도 있다. 모바일 디바이스들 (18) 은, 예를 들어, 모바일 디바이스 데이터의 일부 양태가 변경된 경우 업데이트된 모바일 디바이스 데이터를 제공할 수도 있다.
도 1의 예에서, 모바일 디바이스들 (18) 은 세션들 (22A - 22N) ("세션들 (22)") 중 대응하는 세션을 통해 헤드엔드 디바이스 (14) 와 무선으로 커플링하는데, 이는 "무선 세션들 (22)" 이라고 또한 지칭될 수도 있다. 무선 세션들 (22) 은 미국 전기 전자 학회 (IEEE) 802.11a 사양, IEEE 802.11b 사양, IEEE 802.11g 사양, IEEE 802.11n 사양, IEEE 802.11ac 사양, 및 802.11ad 사양, 뿐만 아니라, 임의의 유형의 개인 영역 네트워크 (PAN) 사양들 등에 따라 형성된 무선 세션을 포함할 수도 있다. 일부 예들에서, 헤드엔드 디바이스 (14) 는 위에서 설명된 사양들 중 하나에 따라 무선 네트워크와 커플링하고, 모바일 디바이스들 (18) 은 동일한 무선 네트워크와 커플링하며, 그 때문에 모바일 디바이스들 (18) 은, 종종 애플리케이션을 실행하고 무선 네트워크 내에서 헤드엔드 디바이스 (14) 를 로케이팅함으로써 헤드엔드 디바이스 (14) 에 등록할 수도 있다.
헤드엔드 디바이스 (14) 와 무선 세션들 (22) 을 확립한 후, 모바일 디바이스들 (18) 은 위에서 언급된 모바일 디바이스 데이터를 수집하여, 이 모바일 디바이스 데이터를 무선 세션들 (22) 중 개별 무선 세션들을 통해 헤드엔드 디바이스 (14) 로 제공할 수도 있다. 이 모바일 디바이스 데이터는 임의의 수의 특성들을 포함할 수도 있다. 모바일 디바이스 데이터에 의해 특정되는 예의 특성들 또는 양태들은, (이용가능하면 GPS 또는 무선 네트워크 삼각측량을 사용하여) 식별된 모바일 디바이스들 중 대응하는 모바일 디바이스의 로케이션, 스피커들 (20) 중 식별된 모바일 디바이스들 (18) 중 각각의 모바일 디바이스 내에 포함된 대응하는 스피커들의 주파수 응답, 식별된 모바일 디바이스들 (18) 중 대응하는 모바일 디바이스 내에 포함된 스피커 (20) 의 최대 허용가능 사운드 재생 레벨, 식별된 모바일 디바이스들 (18) 중 대응하는 모바일 디바이스의 배터리의 전력 레벨 또는 배터리 스테이터스, 식별된 모바일 디바이스들 (18) 중 대응하는 모바일 디바이스의 동기화 스테이터스 (예컨대, 모바일 디바이스들 (18) 이 헤드엔드 디바이스 (14) 와 동기되는지의 여부), 및 식별된 모바일 디바이스들 (18) 중 대응하는 모바일 디바이스의 헤드폰 스테이터스 중 하나 이상을 포함할 수도 있다.
이 모바일 디바이스 데이터에 기초하여, 헤드엔드 디바이스 (14) 는 이들 모바일 디바이스들 (18) 중 각각의 모바일 디바이스의 스피커들 (20) 을 협업 서라운드 사운드 시스템 (10) 의 하나 이상의 스피커들로서 활용하기 위해 모바일 디바이스들 (18) 을 구성할 수도 있다. 예를 들어, 모바일 디바이스 데이터가 모바일 디바이스들 (18) 중 각각의 모바일 디바이스의 로케이션을 특정한다고 가정하면, 헤드엔드 디바이스 (14) 는, 식별된 모바일 디바이스들 (18) 중 하나의 모바일 디바이스가, 모바일 디바이스들 (18) 중 대응하는 모바일 디바이스 데이터에 의해 특정된 이 하나의 모바일 디바이스의 로케이션에 기초하여 다중-채널 오디오 소스 데이터를 플레이하기 위한 최적의 로케이션에 있지 않다고 결정할 수도 있다.
어떤 경우들에서, 헤드엔드 디바이스 (14) 는, 모바일 디바이스들 (18) 중 하나 이상의 모바일 디바이스가 "최적의 로케이션들"로서 특징화될 수도 있는 로케이션에 있지 않다는 결정에 응답하여, 모바일 디바이스들 (18) 중 하나 이상의 모바일 디바이스의 차선의 로케이션(들)을 수용하는 방식으로 오디오 소스로부터 렌더링된 오디오 신호들의 플레이백을 제어하기 위해 협업 서라운드 사운드 시스템 (10) 을 구성할 수도 있다. 다시 말하면, 헤드엔드 디바이스 (14) 는, 식별된 모바일 디바이스들 (18) 의 현재 로케이션을 수용하기 위해서, 그리고 모바일 디바이스들을 이동시키기 위해 사용자를 귀찮게 하는 일 없이 더욱 몰입적 서라운드 사운드 경험을 제공하기 위해서 소스 오디오 데이터를 렌더링하기 위한 하나 이상의 사전-프로세싱 기능들을 구성할 수도 있다.
더 설명하기 위해, 헤드엔드 디바이스 (14) 는 렌더링된 오디오 신호들의 플레이백 동안에 오디오가 기인하는 것으로 여겨지는 곳을 효과적으로 재로케이팅하기 위해서 소스 오디오 데이터로부터의 오디오 신호들을 렌더링할 수도 있다. 이런 의미에서, 헤드엔드 디바이스 (14) 는 모바일 디바이스들 (18) 중 포지션에서 벗어난 것으로 결정되는 하나의 모바일 디바이스의 적절한 또는 최적의 로케이션을 식별하여, 협업 서라운드 사운드 시스템 (10) 의 가상 스피커라고 지칭될 수도 있는 것을 확립할 수도 있다. 헤드엔드 디바이스 (14) 는 소스 오디오 데이터의 플레이백 동안에 이러한 가상 스피커의 외관을 생성하기 위해 소스 오디오 데이터로부터 렌더링된 오디오 신호들을 스피커들 (16 및 20) 중 둘 이상의 스피커들 사이에, 예를 들어, 크로스믹싱 (crossmix) 하거나 또는 그렇지 않으면 배분할 수도 있다. 이 오디오 소스 데이터가 가상 스피커들의 외관을 생성하기 위해 렌더링되는 방법에 관한 더 상세한 것은 도 4의 예에 관해 아래에서 제공된다.
이런 방식으로, 헤드엔드 디바이스 (14) 는 모바일 디바이스들 (18) 중에서 스피커들 (20) 중 개별 스피커를 각각이 포함하고 협업 서라운드 사운드 시스템 (10) 에 참여하는데 이용가능한 모바일 디바이스들을 식별할 수도 있다. 헤드엔드 디바이스 (14) 는 그 다음에 대응하는 스피커들 (20) 의 각각을 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로서 이용하기 위해 식별된 모바일 디바이스들 (18) 을 구성할 수도 있다. 헤드엔드 디바이스 (14) 는 그 다음에, 오디오 신호들이 모바일 디바이스들 (18) 의 스피커들 (20) 에 의해 플레이되는 경우, 오디오 신호들의 오디오 플레이백으로 하여금 협업 서라운드 사운드 시스템 (10) 의 하나 이상의 가상 스피커들, 즉, 모바일 디바이스들 (18) 중 적어도 하나의 모바일 디바이스 (및 스피커들 (20) 중 그 대응하는 스피커) 의 로케이션과는 상이한 로케이션에 종종 배치되는 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 오디오 소스 데이터로부터의 오디오 신호들을 렌더링할 수도 있다. 헤드엔드 디바이스 (14) 는 그 다음에, 렌더링된 오디오 신호들을 협업 서라운드 사운드 시스템 (10) 의 스피커들 (16 및 20) 로 송신할 수도 있다.
어떤 경우들에서, 헤드엔드 디바이스 (14) 는 모바일 디바이스들 (18) 중 하나 이상의 모바일 디바이스에 의해 다중-채널 소스 오디오 데이터로부터 렌더링된 오디오 신호들의 플레이백을 효과적으로 "최적화"하기 위해서 모바일 디바이스들 (18) 중 이들 모바일 디바이스들을 재 포지셔닝할 것을 모바일 디바이스들 (18) 중 하나 이상의 모바일 디바이스의 사용자에게 프롬프트할 수도 있다.
일부 예들에서, 헤드엔드 디바이스 (14) 는 모바일 디바이스 데이터에 기초하여 소스 오디오 데이터로부터의 오디오 신호들를 렌더링할 수도 있다. 예시를 위하여, 모바일 디바이스 데이터는 모바일 디바이스들의 전력 레벨 (이는 "배터리 스테이터스"라고 또한 지칭될 수도 있음) 을 특정할 수도 있다. 이 전력 레벨에 기초하여, 헤드엔드 디바이스 (14) 는 오디오 신호들의 일부 부분이 (오디오를 플레이하는 소비 전력의 측면에서) 덜 부담스러운 오디오 플레이백이 되도록 소스 오디오 데이터로부터의 오디오 신호들을 렌더링할 수도 있다. 헤드엔드 디바이스 (14) 는 그 다음에 이들 덜 부담스러운 오디오 신호들을 모바일 디바이스들 (18) 중 감소된 전력 레벨들을 갖는 모바일 디바이스들에게 제공할 수도 있다. 더구나, 헤드엔드 디바이스 (14) 는, 모바일 디바이스들 (18) 중 이들 둘 이상의 모바일 디바이스들의 전력 레벨들이 소스 오디오 데이터의 알려진 지속기간에 주어진 할당된 채널의 플레이백을 완료하는데 불충분한 경우, 가상 스피커를 형성하는 오디오 신호들의 플레이백 동안의 소비 전력을 감소시키기 위해, 모바일 디바이스들 (18) 중 둘 이상의 모바일 디바이스들이 협업 서라운드 사운드 시스템 (10) 의 단일 스피커를 형성하도록 협업한다고 결정할 수도 있다. 위의 전력 레벨 적응은 도 9a 내지 도 9c와 도 10에 관해 더 상세히 설명된다.
헤드엔드 디바이스 (14) 는, 부가적으로, 협업 서라운드 사운드 시스템 (10) 의 스피커들의 각각이 배치될 스피커 섹터들을 결정할 수도 있다. 헤드엔드 디바이스 (14) 는 그 다음에 모바일 디바이스들 (18) 중 차선의 로케이션들에 있을 수도 있는 대응하는 모바일 디바이스들을 다수의 상이한 방식들로 재 포지셔닝할 것을 사용자에게 프롬프트할 수도 있다. 하나의 방도로, 헤드엔드 디바이스 (14) 는 모바일 디바이스들 (18) 중 재 포지셔닝될 차선으로 배치된 모바일 디바이스들과 인터페이싱하여 모바일 디바이스들 (18) 중 이들 모바일 디바이스들을 재 포지셔닝하기 위해 모바일 디바이스가 (그것의 할당된 스피커 섹터 내와 같은) 더욱 최적의 로케이션으로 이동될 방향을 나타낼 수도 있다. 대안으로, 헤드엔드 디바이스 (18) 는 모바일 디바이스의 현재 로케이션과 모바일 디바이스가 이동되어야 하는 더욱 최적의 로케이션을 식별하는 이미지를 제시하기 위해, 디스플레이, 이를테면 텔레비전과 인터페이싱할 수도 있다. 차선으로 배치된 모바일 디바이스를 재 포지셔닝할 것을 사용자에게 프롬프트하기 위한 다음의 대체예들이 도 5, 도 6a 내지 도 6c, 도 7a 내지 도 7c 및 도 8a 내지 도 8c에 관하여 더 상세히 설명된다.
이러한 방식으로, 헤드엔드 디바이스 (14) 는 협업 서라운드 사운드 시스템 (10) 의 복수의 스피커들 중 하나의 스피커로서 협업 서라운드 사운드 시스템 (10) 에 참여하는 모바일 디바이스들 (18) 의 로케이션을 결정하도록 구성될 수도 있다. 헤드엔드 디바이스 (14) 는 협업 서라운드 사운드 시스템 (10) 의 복수의 다른 스피커들에 대하여 협업 서라운드 사운드 시스템 (10) 에 참여중인 모바일 디바이스들 (18) 의 로케이션을 묘사하는 이미지를 생성하도록 또한 구성될 수도 있다.
헤드엔드 디바이스 (14) 는, 그러나, 광범위한 구색의 모바일 디바이스들과 콘텍스트들을 수용하도록 사전-프로세싱 기능들을 구성할 수도 있다. 예를 들어, 헤드엔드 디바이스 (14) 는 모바일 디바이스들 (18) 의 스피커들 (20) 의 하나 이상의 특성들, 예컨대, 스피커들 (20) 의 주파수 응답 및/또는 스피커들 (20) 의 최대 허용가능 사운드 재생 레벨에 기초하여 소스 오디오 데이터를 렌더링하는 오디오 사전-프로세싱 기능을 구성할 수도 있다.
또 다른 예로서, 헤드엔드 디바이스 (20) 는, 위에서 언급했듯이, 협업 서라운드 사운드 시스템 (10) 에서의 스피커들로서 이용되고 있는 모바일 디바이스들 (18) 의 배터리 스테이터스 또는 전력 레벨을 나타내는 모바일 디바이스 데이터를 수신할 수도 있다. 헤드엔드 디바이스 (14) 는 이들 모바일 디바이스들 (18) 중 이 모바일 디바이스 데이터에 의해 특정된 하나 이상의 모바일 디바이스의 전력 레벨이 소스 오디오 데이터의 플레이백을 완료하는데 불충분하다고 결정할 수도 있다. 헤드엔드 디바이스 (14) 는 그 다음에, 이들 모바일 디바이스들 (18) 의 전력 레벨이 다중-채널 소스 오디오 데이터의 플레이백을 완료하는데 불충분하다는 결정에 기초하여 다중-채널 소스 오디오 데이터로부터 렌더링된 오디오 신호들을 플레이하기 위해 모바일 디바이스 (18) 중 이들 모바일 디바이스들에 의해 요구된 전력의 양을 감소시키게 소스 오디오 데이터를 렌더링하도록 사전-프로세싱 기능을 구성할 수도 있다.
헤드엔드 디바이스 (14) 는, 하나의 예로서, 모바일 디바이스들 (18) 중 이들 모바일 디바이스들에 의한 플레이백을 위해 다중-채널 소스 오디오 데이터로부터 렌더링된 오디오 신호들의 볼륨을 조절함으로써 이들 모바일 디바이스들 (18) 에서의 소비 전력을 감소시키도록 사전-프로세싱 기능을 구성할 수도 있다. 다른 예에서, 헤드엔드 디바이스 (14) 는 이들 모바일 디바이스들 (18) 에 의해 플레이될 다중-채널 소스 오디오 데이터로부터 렌더링된 오디오 신호들과 모바일 디바이스들 (18) 중 다른 모바일 디바이스들에 의해 플레이될 다중-채널 소스 오디오 데이터로부터 렌더링된 오디오 신호들을 크로스-믹싱하도록 사전-프로세싱 기능을 구성할 수도 있다. 또 다른 예로서, 헤드엔드 디바이스 (14) 는 모바일 디바이스들 (18) 중 (일 예로서, 로 엔드 (low end) 주파수들을 제거하기 위해서) 플레이백을 완료하는데 충분한 전력이 부족한 그들 모바일 디바이스들에 의해 플레이될 다중-채널 소스 오디오 데이터로부터 렌더링된 오디오 신호들의 주파수들의 적어도 일부 범위를 줄이도록 사전-프로세싱 기능을 구성할 수도 있다.
이러한 방식으로, 헤드엔드 디바이스 (14) 는 사용자들의 다양한 요구들에 맞추고 매우 다양한 모바일 디바이스들 (18) 및 그것들의 대응하는 오디오 능력들을 수용하기 위해 이 소스 오디오 데이터의 플레이백을 맞춤, 적응 또는 그렇지 않으면 동적으로 구성하도록 소스 오디오 데이터에 사전-프로세싱 기능들을 적용할 수도 있다.
일단 협업 서라운드 사운드 시스템 (10) 이 위에서 설명된 다양한 방식들로 구성되면, 헤드엔드 시스템 (14) 은 렌더링된 오디오 신호들을 협업 서라운드 사운드 시스템 (10) 의 하나 이상의 스피커들 중 각각의 스피커로 송신하는 것을 시작할 수도 있는데, 협업 서라운드 사운드 시스템 (10) 에서는 다시 모바일 디바이스들 (18) 의 스피커들 (20) 중 하나 이상의 스피커 및/또는 스피커들 (16) 은 협업 서라운드 사운드 시스템 (10) 의 단일 스피커를 형성하기 위해 협업할 수도 있다.
소스 오디오 데이터의 플레이백 동안, 모바일 디바이스들 (18) 중 하나 이상의 모바일 디바이스는 업데이트된 모바일 디바이스 데이터를 제공할 수도 있다. 어떤 경우들에서, 모바일 디바이스들 (18) 은 협업 서라운드 사운드 시스템 (10) 에서의 스피커들로서 참여하는 것을 중지하여, 모바일 디바이스들 (18) 중 대응하는 모바일 디바이스가 협업 서라운드 사운드 시스템 (10) 에 더 이상 참여하지 않을 것임을 나타내기 위해 모바일 디바이스 데이터를 업데이트하는 것을 제공할 수도 있다. 모바일 디바이스들 (18) 은 전력 제한, 모바일 디바이스들 (18) 상에서 실행하는 애플리케이션을 통해 설정된 선호조건 (preference) 들, 음성 통화의 수신, 이메일의 수신, 텍스트 메시지의 수신, 푸시 통지의 수신, 또는 임의의 수의 다른 이유들로 인해 참여하는 것을 중지할 할 수도 있다. 헤드엔드 디바이스 (14) 는 그 다음에 협업 서라운드 사운드 시스템 (10) 에 참여하고 있는 모바일 디바이스들 (18) 의 수에서의 변경을 수용하기 위해 사전-프로세싱 기능들을 다시 만들 수도 있다. 하나의 예에서, 헤드엔드 디바이스 (14) 는 사용자들에게 플레이백 동안 모바일 디바이스들 (18) 중 그들의 대응하는 모바일 디바이스들을 이동시킬 것을 프롬프트하지 않을 수도 있고, 대신 위에서 설명된 방식으로 가상 스피커들의 외관을 시뮬레이션하는 오디오 신호들을 생성하기 위해 다중-채널 소스 오디오 데이터를 렌더링할 수도 있다.
이러한 방식으로, 본 개시물의 기법들은 애드-혹 네트워크의 형성을 조정하는 중앙 디바이스 또는 헤드엔드 시스템 (14) 과 애드-혹 네트워크 (이는, 위에서 언급했듯이, 보통 802.11 또는 PAN임) 를 형성함으로써 모바일 디바이스들 (18) 이 협업 서라운드 사운드 시스템 (10) 에 참여하는 것을 효과적으로 가능하게 한다. 헤드엔드 디바이스 (14) 는, 위에서 설명된 바와 같이, 다중-채널 소스 오디오 데이터로부터 렌더링된 오디오 신호들을 플레이하기 위해, 스피커들 (20) 중 하나의 스피커를 구비하고 모바일 디바이스들 (18) 의 애드 혹 무선 네트워크에 참여하는데 이용가능한 모바일 디바이스들 (18) 을 식별할 수도 있다. 헤드엔드 디바이스 (14) 는 그 다음에 식별된 모바일 디바이스들 (18) 중 다중-채널 소스 오디오 데이터로부터 렌더링된 오디오 신호들의 오디오 플레이백에 영향을 줄 수도 있는 대응하는 모바일 디바이스의 양태들 또는 특성들을 특정하는 모바일 디바이스 데이터를, 식별된 모바일 디바이스들 (18) 의 각각으로부터 수신할 수도 있다. 헤드엔드 디바이스 (14) 는 그 다음에 다중-채널 소스 오디오 데이터의 오디오 플레이백에 영향을 주는 식별된 모바일 디바이스들 (18) 의 양태들을 수용하는 방식으로 다중-채널 소스 오디오 데이터로부터 렌더링된 오디오 신호들의 플레이백을 제어하기 위해, 그 모바일 디바이스 데이터에 기초하여 모바일 디바이스들 (18) 의 애드 혹 무선 네트워크를 구성할 수도 있다.
모바일 디바이스들 (18) 및 전용 스피커들 (16) 을 구비하는 협업 서라운드 사운드 시스템 (10) 을 지향하고 있는 것으로서 위에서 설명되었지만, 그 기법들은 모바일 디바이스들 (18) 및/또는 전용 스피커들 (16) 의 임의의 조합에 관해 수행될 수도 있다. 어떤 경우들에서, 그 기법들은 모바일 디바이스들만을 포함하는 협업 서라운드 사운드 시스템에 관해 수행될 수도 있다. 그 기법들은 그러므로 도 1의 예로 제한되지 않아야 한다.
더구나, 다중-채널 소스 오디오 데이터에 관해 수행되고 있는 것으로서 설명 내내 기술되지만, 그 기법들은 오브젝트-기반 오디오 데이터와 고차 앰비소닉 (higher order ambisonic; HOA) 오디오 데이터 (이는 구면 조화 계수 (spherical harmonic coefficient; SHC) 들과 같은 계층적 엘리먼트들의 형태로 오디오 데이터를 특정할 수도 있음) 를 포함한 임의의 유형의 소스 오디오 데이터에 관해 수행될 수도 있다. HOA 오디오 데이터는 도 11 내지 도 13에 관하여 아래에서 더 상세히 설명된다.
도 2는 도 1의 협업 서라운드 사운드 시스템 (10) 의 부분을 더 상세히 도시하는 블록도이다. 도 2에 도시된 협업 서라운드 사운드 시스템 (10) 의 부분은 헤드엔드 디바이스 (14) 와 모바일 디바이스 (18A) 를 구비한다. 예시 목적들의 편의를 위해, 단일 모바일 디바이스, 즉, 도 2의 모바일 디바이스 (18A) 에 관해 설명되지만, 그 기법들은 다수의 모바일 디바이스들, 예컨대, 도 1의 예에서 도시된 모바일 디바이스들 (18) 에 관하여 구현될 수도 있다.
도 2의 예에서 도시된 바와 같이, 헤드엔드 디바이스 (14) 는 제어 유닛 (30) 을 구비한다. 제어 유닛 (30) (이는 프로세서라고 또한 일반적으로 지칭될 수도 있음) 은, 하나 이상의 프로세서들로 하여금 본원에서 설명되는 기법들을 수행하게 하는 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체 (도 2에 도시되지 않음), 이를테면 저장 디바이스 (예컨대, 디스크 드라이브, 또는 광 드라이브), 또는 메모리 (이를테면 플래시 메모리, 랜덤 액세스 메모리 또는 RAM) 또는 임의의 다른 유형의 휘발성 또는 비휘발성 메모리에 저장된 소프트웨어 명령들, 이를테면 소프트웨어 또는 컴퓨터 프로그램을 정의하는데 사용되는 소프트웨어 명령들을 실행하는 하나 이상의 중앙 프로세싱 유닛들 및/또는 그래픽 프로세싱 유닛들 (또한 이것들 양쪽 모두는 도 2에 도시되지 않음) 을 나타낼 수도 있다. 대안으로, 제어 유닛 (30) 은 본원에서 설명되는 기법들을 수행하기 위해 전용 하드웨어, 이를테면 하나 이상의 집적회로들, 하나 이상의 주문형 집적회로들 (ASIC들), 하나 이상의 애플리케이션 특정 특수 프로세서 (Application Specific Special Processor; ASSP) 들, 하나 이상의 필드 프로그램가능 게이트 어레이들 (FPGA들), 또는 전용 하드웨어의 전술한 예들 중 하나 이상의 임의의 조합을 나타낼 수도 있다.
제어 유닛 (30) 은 데이터 취출 엔진 (32), 전력 분석 모듈 (34) 및 오디오 렌더링 엔진 (36) 을 구현하도록 실행 또는 그렇지 않으면 구성될 수도 있다. 데이터 취출 엔진 (32) 은 모바일 디바이스 (18A) (뿐만 아니라, 나머지 모바일 디바이스들 (18B - 18N)) 로부터 모바일 디바이스 데이터 (60) 를 취출 또는 그렇지 않으면 수신하도록 구성된 모듈 또는 유닛을 나타낼 수도 있다. 데이터 취출 엔진 (32) 은 모바일 디바이스 데이터 (62) 를 통해 모바일 디바이스 (18A) 에 의해 로케이션이 제공되지 않는 경우 헤드엔드 디바이스 (14) 에 대한 모바일 디바이스 (18A) 의 로케이션을 결정하는 로케이션 모듈 (38) 을 구비할 수도 있다. 데이터 취출 엔진 (32) 은 이 결정된 로케이션을 포함하게 모바일 디바이스 데이터 (60) 를 업데이트함으로써, 업데이트된 모바일 디바이스 데이터 (64) 를 생성할 수도 있다.
전력 분석 모듈 (34) 은 모바일 디바이스들 (18) 에 의해 보고된 소비 전력 데이터를 모바일 디바이스 데이터 (60) 의 부분으로서 프로세싱하도록 구성된 모듈 또는 유닛을 나타낸다. 소비 전력 데이터는 모바일 디바이스 (18A) 의 배터리 사이즈, 오디오 증폭기 전력 등급 (power rating), 스피커 (20A) 의 모델 및 효율 그리고 상이한 프로세스들 (무선 오디오 채널 프로세스들을 포함함) 을 위한 모바일 디바이스 (18A) 에 대한 전력 프로파일들을 포함할 수도 있다. 전력 분석 모듈 (34) 은 이 소비 전력 데이터를 프로세싱하여 리파인된 전력 데이터 (62) 를 결정할 수도 있으며, 이 리파인된 전력 데이터는 데이터 취출 엔진 (32) 으로 다시 제공된다. 리파인된 전력 데이터 (62) 는 현재 전력 레벨 또는 용량, 주어진 량의 시간에서의 의도된 전력 소비 속도 (power consumption rate) 등을 특정할 수도 있다. 데이터 취출 엔진 (32) 은 그 다음에 이 리파인된 전력 데이터 (62) 를 포함하게 모바일 디바이스 데이터 (60) 를 업데이트함으로써, 업데이트된 모바일 디바이스 데이터 (64) 를 생성할 수도 있다. 어떤 경우들에서, 전력 분석 모듈 (34) 은 리파인된 전력 데이터 (62) 를 직접 오디오 렌더링 엔진 (36) 으로 제공하는데, 그 오디오 렌더링 엔진은 이 리파인된 전력 데이터 (62) 와 업데이트된 모바일 디바이스 데이터 (64) 를 결합하여 업데이트된 모바일 디바이스 데이터 (64) 를 추가로 업데이트한다.
오디오 렌더링 엔진 (36) 은 업데이트된 모바일 디바이스 데이터 (64) 를 수신하고 업데이트된 모바일 디바이스 데이터 (64) 에 기초하여 소스 오디오 데이터 (37) 를 프로세싱하도록 구성된 모듈 또는 유닛을 나타낸다. 오디오 렌더링 엔진 (36) 은 소스 오디오 데이터 (37) 를 임의의 수의 방식들로 프로세싱할 수도 있는데, 이 방식들은 아래에서 더 상세히 설명된다. 단일 모바일 디바이스, 즉, 도 2의 예에서의 모바일 디바이스 (18A) 로부터의 업데이트된 모바일 디바이스 데이터 (64) 에 관하여 소스 오디오 데이터 (37) 를 프로세싱하는 것만을 도시하고 있지만, 데이터 취출 엔진 (32) 과 전력 분석 모듈 (64) 은 모바일 디바이스들 (18) 중 각각의 모바일 디바이스로부터 모바일 디바이스 데이터 (60) 를 취출하여, 모바일 디바이스들 (18) 중 각각의 모바일 디바이스에 대한 업데이트된 모바일 디바이스 데이터 (64) 를 생성할 수도 있고, 그 때문에, 오디오 렌더링 엔진 (36) 은 업데이트된 모바일 디바이스 데이터 (64) 의 각각의 경우 또는 다수의 경우들의 조합 (이를테면 모바일 디바이스들 (18) 중 둘 이상의 모바일 디바이스들이 협업 서라운드 사운드 시스템 (10) 의 단일 스피커를 형성하는데 이용되는 경우) 에 기초하여 소스 오디오 데이터 (37) 를 렌더링할 수도 있다. 오디오 렌더링 엔진 (36) 은 모바일 디바이스들 (18) 에 의한 플레이백을 위해 렌더링한 오디오 신호들 (66) 을 출력한다.
도 2에서 더 도시된 바와 같이, 모바일 디바이스 (18A) 는 제어 유닛 (40) 과 스피커 (20A) 를 구비한다. 제어 유닛 (40) 은 헤드엔드 디바이스 (14) 의 제어 유닛 (30) 과 유사하거나 또는 실질적으로 유사할 수도 있다. 스피커 (20A) 는 모바일 디바이스가 프로세싱된 오디오 신호들 (66) 의 플레이백을 통해 소스 오디오 데이터 (37) 를 재생할 수도 있게 하는 하나 이상의 스피커들을 나타낸다.
제어 유닛 (40) 은 협업 사운드 시스템 애플리케이션 (42) 과 오디오 플레이백 모듈 (44) 을 구현하도록 실행하거나 또는 그렇지 않으면 구성될 수도 있다. 협업 사운드 시스템 애플리케이션 (42) 은 헤드엔드 디바이스 (14) 와 무선 세션 (22A) 을 확립한 다음 이 무선 세션 (22A) 을 통해 헤드엔드 디바이스 (14) 로 모바일 디바이스 데이터 (60) 를 통신하도록 구성된 모듈 또는 유닛을 나타낼 수도 있다. 협업 사운드 시스템 애플리케이션 (42) 이 렌더링된 오디오 신호들 (66) 의 플레이백에 영향을 줄 수도 있는 모바일 디바이스 (60) 의 스테이터스에서의 변경을 검출하는 경우, 협업 사운드 시스템 애플리케이션 (42) 은 모바일 디바이스 데이터 (60) 를 또한 주기적으로 송신할 수도 있다. 오디오 플레이백 모듈 (44) 은 오디오 데이터 또는 신호들을 플레이백하도록 구성된 모듈 또는 유닛을 나타낼 수도 있다. 오디오 플레이백 모듈 (44) 은 렌더링된 오디오 신호들 (66) 을 플레이백을 위해 스피커 (20A) 에 제시할 수도 있다.
협업 사운드 시스템 애플리케이션 (42) 은 모바일 디바이스 데이터 (60) 를 수집하도록 구성된 모듈 또는 유닛을 나타내는 데이터 수집 엔진 (46) 을 구비할 수도 있다. 데이터 수집 엔진 (46) 은 로케이션 모듈 (48), 전력 모듈 (50) 및 스피커 모듈 (52) 을 구비할 수도 있다. 로케이션 모듈 (48) 은, 가능하다면, 글로벌 포지셔닝 시스템 (GPS) 을 사용하여 또는 무선 네트워크 삼각측량을 통해 헤드엔드 디바이스 (14) 에 대한 모바일 디바이스 (18A) 의 로케이션을 해결할 수도 있다. 종종, 로케이션 모듈 (48) 은 헤드엔드 디바이스 (14) 에 대한 모바일 디바이스 (18A) 의 로케이션을 헤드엔드 디바이스 (14) 가 본 개시물에서 설명되는 기법들을 적절히 수행하는 것을 허용하는 충분한 정확도로 분석하지 못할 수도 있다.
이것이 그 경우이면, 로케이션 모듈 (48) 은 헤드엔드 디바이스 (14) 의 제어 유닛 (30) 에 의해 실행된 또는 구현된 로케이션 모듈 (38) 과 협력할 수도 있다. 로케이션 모듈 (38) 은 톤 (61) 또는 다른 사운드를 로케이션 모듈 (48) 로 송신할 수도 있는데, 로케이션 모듈 (48) 은 오디오 플레이백 모듈 (44) 이 스피커 (20A) 로 하여금 이 톤 (61) 을 플레이백하게 하도록 오디오 플레이백 모듈 (44) 과 인터페이싱할 수도 있다. 톤 (61) 은 주어진 주파수의 톤을 포함할 수도 있다. 종종, 톤 (61) 은 인간 청각 시스템에 의해 들을 수 있는 주파수 범위에 있지 않다. 로케이션 모듈 (38) 은 그 다음에 모바일 디바이스 (18A) 의 스피커 (20A) 에 의해 이 톤 (61) 의 플레이백을 검출할 수도 있고, 이 톤 (61) 의 플레이백에 기초하여 모바일 디바이스 (18A) 의 로케이션을 유도하거나 또는 그렇지 않으면 결정할 수도 있다.
전력 모듈 (50) 은 위에서 언급된 소비 전력 데이터를 결정하도록 구성된 유닛 또는 모듈을 나타내는데, 위에서 언급된 소비 전력 데이터는, 모바일 디바이스 (18A) 의 배터리의 사이즈, 오디오 플레이백 모듈 (44) 에 의해 채용된 오디오 증폭기의 전력 등급, 스피커 (20A) 의 모델 및 전력 효율, 모바일 디바이스 (18A) 의 (무선 오디오 채널 프로세스들을 포함하는) 제어 유닛 (40) 에 의해 실행된 다양한 프로세스들의 전력 프로파일들을 또한 포함할 수도 있다. 전력 모듈 (50) 은 이 정보를 시스템 펌웨어, 제어 유닛 (40) 에 의해 실행된 운영 체제 또는 조사하는 다양한 시스템 데이터로부터 결정할 수도 있다. 어떤 경우들에서, 전력 모듈 (50) 은 네트워크 (이를테면 인터넷) 에서 액세스가능한 파일 서버 또는 일부 다른 데이터 소스에 액세스하여, 모바일 디바이스 (18A) 를 식별하는 유형, 버전, 제조 또는 다른 데이터를 이 소비 전력 데이터의 다양한 양태들을 취출하기 위해 파일 서버로 제공할 수도 있다.
스피커 모듈 (52) 은 스피커 특성들을 결정하도록 구성된 모듈 또는 유닛을 나타낸다. 전력 모듈 (50) 과 유사하게, 스피커 모듈 (52) 은 스피커 (20A) 에 대한 주파수 범위, 스피커 (20A) 에 대한 최대 볼륨 레벨 (종종 데시벨 (dB) 로 표현됨), 스피커 (20A) 의 주파수 응답 등을 포함한 스피커 (20A) 의 다양한 특성들을 수집하거나 또는 그렇지 않으면 결정할 수도 있다. 스피커 모듈 (52) 은 이 정보를 시스템 펌웨어, 제어 유닛 (40) 에 의해 실행된 운영 체제 또는 조사하는 다양한 시스템 데이터로부터 결정할 수도 있다. 어떤 경우들에서, 스피커 모듈 (52) 은 네트워크 (이를테면 인터넷) 에서 액세스가능한 파일 서버 또는 일부 다른 데이터 소스에 액세스하여, 모바일 디바이스 (18A) 를 식별하는 유형, 버전, 제조 또는 다른 데이터를 이 스피커 특성 데이터의 다양한 양태들을 취출하기 위해 파일 서버로 제공할 수도 있다.
초기에, 위에서 설명된 바와 같이, 모바일 디바이스 (18A) 의 사용자 또는 다른 오퍼레이터가 협업 사운드 시스템 애플리케이션 (42) 을 실행하기 위해 제어 유닛 (40) 과 인터페이싱한다. 제어 유닛 (40) 은, 이 사용자 입력에 응답하여, 협업 사운드 시스템 애플리케이션 (42) 을 실행한다. 협업 사운드 시스템 애플리케이션 (42) 의 실행 시, 협업 사운드 시스템 애플리케이션 (42) 이 헤드엔드 디바이스 (14) 를 로케이팅할 수도 있다고 가정하여, 모바일 디바이스 (18A) 를 헤드엔드 디바이스 (14) 에 등록하기 위해, 사용자는 (예시 목적들의 편의를 위해 도 2의 예에서 도시되지 않은 그래픽 사용자 인터페이스를 제시하는 터치 디스플레이를 통해 종종) 협업 사운드 시스템 애플리케이션 (42) 과 인터페이싱할 수도 있다. 헤드엔드 디바이스 (14) 를 로케이팅할 수 없으면, 협업 사운드 시스템 애플리케이션 (42) 은, 예를 들어, 헤드엔드 디바이스 (14) 및 모바일 디바이스 (18A) 양쪽 모두가 동일한 무선 네트워크 또는 PAN에 접속되는 것을 보장하는 문제해결 팁들을 잠재적으로 제공하여, 헤드엔드 디바이스 (14) 를 로케이팅하는 것과 함께하는 임의의 어려움들을 사용자가 해결하는 것을 도울 수도 있다.
여하튼, 협업 사운드 시스템 애플리케이션 (42) 이 헤드엔드 디바이스 (14) 를 성공적으로 로케이팅하고 모바일 디바이스 (18A) 를 헤드엔드 디바이스 (14) 에 등록한다고 가정하여, 협업 사운드 시스템 애플리케이션 (42) 은 모바일 디바이스 데이터 (60) 를 취출하기 위해 데이터 수집 엔진 (46) 을 호출할 수도 있다. 데이터 수집 엔진 (46) 을 호출함에 있어서, 로케이션 모듈 (48) 은, 헤드엔드 디바이스 (14) 가 위에서 설명된 방식으로 헤드엔드 디바이스 (14) 에 대한 모바일 디바이스 (18A) 의 로케이션을 해결하는 것을 가능하게 하기 위해 톤 (61) 을 사용하여 로케이션 모듈 (38) 과 아마도 협업하여, 헤드엔드 디바이스 (14) 에 대한 모바일 디바이스 (18A) 의 로케이션을 결정할 것을 시도할 수도 있다.
모바일 디바이스들 (18B - 18N) 중 협업 서라운드 사운드 시스템 (10) 에 참여하는 그리고 헤드엔드 디바이스 (14) 에 대한 자신들의 개별 로케이션들을 결정하기 위해 로케이션 모듈 (38) 과 협업할 것을 또한 시도하고 있을 수도 있는 다른 모바일 디바이스들로부터 모바일 디바이스 (18A) 를 구별하기 위해서, 톤 (61) 은, 위에서 언급했듯이, 소정의 주파수로 이루어질 수도 있다. 다르게 말하면, 헤드엔드 디바이스 (14) 는 모바일 디바이스 (18A) 와 제 1 주파수를 갖는 톤 (61), 모바일 디바이스 (18B) 와 제 2 의 상이한 주파수를 갖는 톤, 모바일 디바이스 (18C) 와 제 3 의 상이한 주파수를 갖는 톤 등을 연관시킬 수도 있다. 이러한 방식으로, 헤드엔드 디바이스 (14) 는 모바일 디바이스들 (18) 중 각각의 모바일 디바이스를 순차적으로 로케이팅하는 것이 아니라 동시에 모바일 디바이스들 (18) 중 다수의 모바일 디바이스들을 병행하여 로케이팅할 수도 있다.
전력 모듈 (50) 과 스피커 모듈 (52) 은 위에서 설명된 방식으로 소비 전력 데이터와 스피커 특성 데이터를 수집할 수도 있다. 데이터 수집 엔진 (46) 은 이 데이터를 결집하여 모바일 디바이스 데이터 (60) 를 형성할 수도 있다. 데이터 수집 엔진 (46) 은 모바일 디바이스 데이터 (60) 가 모바일 디바이스 (18A) 의 로케이션 (가능하다면), 스피커 (20A) 의 주파수 응답, 스피커 (20A) 의 최대 허용가능 사운드 재생 레벨, 모바일 디바이스 (18A) 내에 포함되고 전력을 공급하는 배터리의 배터리 스테이터스, 모바일 디바이스 (18A) 의 동기화 스테이터스, 및 모바일 디바이스 (18A) 의 헤드폰 스테이터스 (예컨대, 스피커 (20A) 의 사용을 방지하는 헤드폰 잭이 현재 사용 중인지의 여부) 중 하나 이상을 특정하도록 모바일 디바이스 데이터 (60) 를 생성할 수도 있다. 데이터 수집 엔진 (46) 은 그 다음에 이 모바일 디바이스 데이터 (60) 를 헤드엔드 디바이스 (14) 의 제어 유닛 (30) 에 의해 실행되는 데이터 취출 엔진 (32) 으로 송신한다.
데이터 취출 엔진 (32) 은 소비 전력 데이터를 전력 분석 모듈 (34) 에 제공하기 위해 이 모바일 디바이스 데이터 (60) 를 파싱할 수도 있다. 전력 분석 모듈 (34) 은, 위에서 설명된 바와 같이, 이 소비 전력 데이터를 프로세싱하여 리파인된 전력 데이터 (62) 를 생성할 수도 있다. 데이터 취출 엔진 (32) 은 위에서 설명된 방식으로 헤드엔드 디바이스 (14) 에 대한 모바일 디바이스 (18A) 의 로케이션을 결정하기 위해 로케이션 모듈 (38) 을 또한 호출할 수도 있다. 데이터 취출 엔진 (32) 은 그 다음에 결정된 로케이션 (가능하다면) 과 리파인된 전력 데이터 (62) 를 포함하게 모바일 디바이스 데이터 (60) 를 업데이트하여, 이 업데이트된 모바일 디바이스 데이터 (60) 를 오디오 렌더링 엔진 (36) 으로 전달할 수도 있다.
오디오 렌더링 엔진 (36) 은 그 다음에 업데이트된 모바일 디바이스 데이터 (64) 에 기초하여 소스 오디오 데이터 (37) 를 렌더링할 수도 있다. 오디오 렌더링 엔진 (36) 은 그 다음에 모바일 디바이스 (18) 의 스피커 (20A) 를 협업 서라운드 사운드 시스템 (10) 의 하나 이상의 가상 스피커들로서 이용하기 위해 협업 서라운드 사운드 시스템 (10) 을 구성할 수도 있다. 오디오 렌더링 엔진 (36) 은, 모바일 디바이스 (18A) 의 스피커 (20A) 가 렌더링된 오디오 신호들 (66) 을 플레이하는 경우, 렌더링된 오디오 신호들 (66) 의 오디오 플레이백으로 하여금 협업 서라운드 사운드 시스템 (10) 의 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 소스 오디오 데이터 (37) 로부터의 오디오 신호들 (66) 을 또한 렌더링할 수도 있는데, 이 하나 이상의 가상 스피커는 다시, 모바일 디바이스들 (18) 중 적어도 하나의 모바일 디바이스, 이를테면 모바일 디바이스들 (18A) 의 결정된 로케이션과는 상이한 로케이션에 배치될 것으로 종종 여겨진다.
예시하기 위해, 오디오 렌더링 엔진 (36) 은 협업 서라운드 사운드 시스템 (10) 의 가상 스피커들 중 각각의 가상 스피커가 소스 오디오 데이터 (37) 로부터 기원하는 것으로 여겨지도록 하기 위한 스피커 섹터들을 식별할 수도 있다. 소스 오디오 데이터 (37) 를 렌더링하는 경우, 오디오 렌더링 엔진 (36) 은 그때, 렌더링된 오디오 신호들 (66) 이 모바일 디바이스들 (18) 의 스피커들 (20) 에 의해 플레이되는 경우, 렌더링된 오디오 신호들 (66) 의 오디오 플레이백으로 하여금 스피커 섹터들 중 대응하는 식별된 스피커 섹터 내의 로케이션에서 협업 서라운드 사운드 시스템 (10) 의 가상 스피커들로부터 기원하는 것으로 여겨지도록 소스 오디오 데이터 (37) 로부터의 오디오 신호들 (66) 을 렌더링할 수도 있다.
소스 오디오 데이터 (37) 를 이런 방식으로 렌더링하기 위하여, 오디오 렌더링 엔진 (36) 은, 모바일 디바이스 (18A) 를 이동시킬 것을 사용자에게 프롬프트하는 것을 회피하기 위해, 모바일 디바이스들 (18) 중 하나의 모바일 디바이스, 예컨대, 모바일 디바이스 (18A) 의 로케이션에 기초하여 소스 오디오 데이터 (37) 를 렌더링하는 오디오 사전-프로세싱 기능을 구성할 수도 있다. 모바일 디바이스를 이동시키는 것이 방 내의 다른 청취자들을 방해할 수도 있다는 것을 감안하면, 디바이스를 이동시킬 것을 사용자에게 프롬프트하는 것을 피하는 것이 오디오 데이터의 플레이백이 시작된 후와 같은 어떤 경우들에서는 필요할 수도 있다. 오디오 렌더링 엔진 (36) 은 그 다음에 모바일 디바이스 (18A) 의 로케이션을 수용하는 것에 관한 그런 방식으로 소스 오디오 데이터의 플레이백을 제어하기 위해 소스 오디오 데이터 (37) 의 적어도 부분을 렌더링하는 경우 구성된 오디오 사전-프로세싱 기능을 사용할 수도 있다.
덧붙여, 오디오 렌더링 엔진 (36) 은 모바일 디바이스 데이터 (60) 의 다른 양태들에 기초하여 소스 오디오 데이터 (37) 를 렌더링할 수도 있다. 예를 들어, 오디오 렌더링 엔진 (36) 은 (다른 예로서, 예를 들어 모바일 디바이스 (18A) 의 스피커 (20A) 의 주파수 범위 또는 모바일 디바이스 (18A) 의 스피커 (20A) 의 최대 볼륨을 수용하기 위해서) 하나 이상의 스피커 특성들에 기초하여 소스 오디오 데이터 (37) 를 렌더링하는 경우에 사용하기 위한 오디오 사전-프로세싱 기능을 구성할 수도 있다. 오디오 렌더링 엔진 (36) 은 그 다음에 모바일 디바이스 (18A) 의 스피커 (20A) 에 의한 렌더링된 오디오 신호들 (66) 의 플레이백을 제어하기 위해 구성된 오디오 사전-프로세싱 기능에 기초하여 소스 오디오 데이터 (37) 의 적어도 부분을 렌더링할 수도 있다.
오디오 렌더링 엔진 (36) 은 그 다음에 렌더링된 오디오 신호들 (66) 또는 그 부분을 모바일 디바이스들 (18) 로 전송하거나 또는 그렇지 않으면 송신할 수도 있다.
도 3a 내지 도 3c는 본 개시물에서 설명되는 협업 서라운드 사운드 시스템 기법들을 수행함에 있어서 헤드엔드 디바이스 (14) 및 모바일 디바이스들 (18) 의 예의 동작을 도시하는 흐름도들이다. 도 2와 도 3a 내지 도 3c의 예들에서 모바일 디바이스들 (18) 중 특정 하나의 모바일 디바이스, 즉, 모바일 디바이스 (18A) 에 관해 아래에서 설명되지만, 그 기법들은 모바일 디바이스 (18A) 에 관해 본원에서 설명되는 것과 유사한 방식으로 모바일 디바이스들 (18B - 18N) 에 의해 수행될 수도 있다.
처음에, 모바일 디바이스 (18A) 의 제어 유닛 (40) 은 협업 사운드 시스템 애플리케이션 (42) 을 실행할 수도 있다 (80). 협업 사운드 시스템 애플리케이션 (42) 은 먼저 무선 네트워크 상에서 헤드엔드 디바이스 (14) 의 존재를 로케이팅하는 것을 시도할 수도 있다 (82). 협업 사운드 시스템 애플리케이션 (42) 이 네트워크 상에서 헤드엔드 디바이스 (14) 를 로케이팅할 수 없으면 ("아니오" 84), 모바일 디바이스 (18A) 는 그 네트워크 상에서 헤드엔드 디바이스 (14) 를 로케이팅하는 것을 계속 시도할 수도 있는 한편, 헤드엔드 디바이스 (14) 를 로케이팅함에 있어서 사용자에게 도움을 주는 문제해결 팁들을 또한 잠재적으로 제시할 수도 있다 (82). 그러나, 협업 사운드 시스템 애플리케이션 (42) 이 헤드엔드 디바이스 (14) 를 로케이팅하면 ("예" 84), 협업 사운드 시스템 애플리케이션 (42) 은 세션 (22A) 을 확립하고 세션 (22A) 을 통해 헤드엔드 디바이스 (14) 에 등록하여 (86), 헤드엔드 디바이스 (14) 가 모바일 디바이스 (18A) 를, 스피커 (20A) 를 구비하고 협업 서라운드 사운드 시스템 (10) 에 참여할 수 있는 디바이스로서 식별하는 것을 효과적으로 가능하게 할 수도 있다.
헤드엔드 디바이스 (14) 에 등록한 후, 협업 사운드 시스템 애플리케이션 (42) 은 데이터 수집 엔진 (46) 을 호출할 수도 있는데, 그 데이터 수집 엔진은 위에서 설명된 방식으로 모바일 디바이스 데이터 (60) 를 수집한다 (88). 데이터 수집 엔진 (46) 은 그 다음에 모바일 디바이스 데이터 (60) 를 헤드엔드 디바이스 (14) 로 전송할 수도 있다 (90). 헤드엔드 디바이스 (14) 의 데이터 취출 엔진 (32) 은 모바일 디바이스 데이터 (60) 를 수신하고 (92), 이 모바일 디바이스 데이터 (60) 가 헤드엔드 디바이스 (14) 에 대한 모바일 디바이스 (18A) 의 로케이션을 특정하는 로케이션 데이터를 포함하는지의 여부를 결정한다 (94). 헤드엔드 디바이스 (14) 가 모바일 디바이스 (18A) 를 정확히 로케이팅하는 것을 가능하게 하는데 로케이션 데이터 (이를테면 30 피트 이내로만 정확한 GPS 데이터) 가 불충분하거나 로케이션 데이터가 모바일 디바이스 데이터 (60) 에 존재하지 않으면 ("아니오" 94), 데이터 취출 엔진 (32) 은 로케이션 모듈 (38) 을 호출할 수도 있는데, 그 로케이션 모듈은 협업 사운드 시스템 애플리케이션 (42) 에 의해 호출된 데이터 수집 엔진 (46) 의 로케이션 모듈 (48) 과 인터페이싱하여 모바일 디바이스 (18A) 의 로케이션 모듈 (48) 로 톤 (61) 을 전송한다 (96). 모바일 디바이스 (18A) 의 로케이션 모듈 (48) 은 그러면 이 톤 (61) 을 오디오 플레이백 모듈 (44) 로 전달하는데, 그 오디오 플레이백 모듈은 스피커 (20A) 와 인터페이싱하여 톤 (61) 을 재생한다 (98).
한편, 헤드엔드 디바이스 (14) 의 로케이션 모듈 (38) 은, 톤 (61) 을 전송한 후, 마이크로폰과 인터페이싱하여 스피커 (20A) 에 의한 톤 (61) 의 재생을 검출할 수도 있다 (100). 헤드엔드 디바이스 (14) 의 로케이션 모듈 (38) 은 그 다음에 톤 (61) 의 검출된 재생에 기초하여 모바일 디바이스 (18A) 의 로케이션을 결정할 수도 있다 (102). 톤 (61) 을 사용하여 모바일 디바이스 (18A) 의 로케이션을 결정한 후, 헤드엔드 디바이스 (18) 의 데이터 취출 모듈 (32) 은 결정된 로케이션을 포함하게 모바일 디바이스 데이터 (60) 를 업데이트함으로써, 업데이트된 모바일 디바이스 데이터 (64) 를 생성할 수도 있다 (도 3b, 104).
로케이션 데이터가 모바일 디바이스 데이터 (60) 내에 존재한다고 (또는 헤드엔드 디바이스 (14) 가 헤드엔드 디바이스 (14) 에 대해 모바일 디바이스 (18A) 를 로케이팅하는 것을 가능하게 하는데 로케이션 데이터가 충분히 정확하다고) 데이터 취출 모듈 (32) 이 결정하면, 또는 결정된 로케이션을 포함하는 업데이트된 모바일 디바이스 데이터 (64) 를 생성한 후, 데이터 취출 모듈 (32) 은 헤드엔드 디바이스 (14) 에 등록된 모바일 디바이스들 (18) 중 각각의 모바일 디바이스로부터 모바일 디바이스 데이터 (60) 를 취출하는 것을 종료하였는지의 여부를 결정할 수도 있다 (106). 헤드엔드 디바이스 (14) 의 데이터 취출 모듈 (32) 이 모바일 디바이스들 (18) 중 각각의 모바일 디바이스로부터 모바일 디바이스 데이터 (60) 를 취출하는 것을 종료하지 않았으면 ("아니오" 106), 데이터 취출 모듈 (32) 은 위에서 설명된 방식으로 모바일 디바이스 데이터 (60) 를 계속 취출하고 업데이트된 모바일 디바이스 데이터 (64) 를 생성한다 (92 - 106). 그러나, 데이터 취출 모듈 (32) 이 모바일 디바이스 데이터 (60) 를 수집하는 것과 업데이트된 모바일 디바이스 데이터 (64) 를 생성하는 것을 종료하였다고 데이터 취출 모듈 (32) 이 결정하면 ("예" 106), 데이터 취출 모듈 (32) 은 업데이트된 모바일 디바이스 데이터 (64) 를 오디오 렌더링 엔진 (36) 으로 전달한다.
오디오 렌더링 엔진 (36) 은, 이 업데이트된 모바일 디바이스 데이터 (64) 의 수신에 응답하여, 소스 오디오 데이터 (37) 를 취출할 수도 있다 (108). 오디오 렌더링 엔진 (36) 은, 소스 오디오 데이터 (37) 를 렌더링하는 경우, 먼저, 다중-채널 소스 오디오 데이터 (37) 의 플레이백을 수용하기 위해 스피커들이 배치되어야 하는 섹터들을 나타내는 스피커 섹터들을 결정할 수도 있다 (110). 예를 들어, 5.1 채널 소스 오디오 데이터는 전방 좌측 채널, 중앙 채널, 전방 우측 채널, 서라운드 좌측 채널, 서라운드 우측 채널 및 서브우퍼 채널을 포함한다. 낮은 주파수들이 헤드엔드 디바이스에 관해 서브우퍼의 로케이션에 상관 없이 충분한 영향을 통상적으로 제공한다는 것을 감안하면 서브우퍼 채널은 지향성이 아니거나 또는 고려할 가치가 없다. 그러나, 다른 5 개 채널들은, 몰입적 오디오 플레이백을 위한 최선의 사운드 스테이지를 제공하기 위해서 특정 로케이션에 대응할 수도 있다. 오디오 렌더링 엔진 (36) 은, 일부 예들에서, 방의 경계들을 도출하기 위해 로케이션 모듈 (38) 과 인터페이싱할 수도 있으며, 이로 인해 로케이션 모듈 (38) 은 벽들, 사람들, 가구들 등의 로케이션을 식별하기 위해서 스피커들 (16) 중 하나 이상의 스피커 및/또는 스피커들 (20) 로 하여금 톤들 또는 사운드들을 방출하게 할 수도 있다. 이 방 또는 오브젝트 로케이션 정보에 기초하여, 오디오 렌더링 엔진 (36) 은 전방 좌측 스피커, 중앙 스피커, 전방 우측 스피커, 서라운드 좌측 스피커 및 서라운드 우측 스피커의 각각에 대한 스피커 섹터들을 결정할 수도 있다.
이들 스피커 섹터들에 기초하여, 오디오 렌더링 엔진 (36) 은 협업 서라운드 사운드 시스템 (10) 의 가상 스피커들의 로케이션을 결정할 수도 있다 (112). 다시 말하면, 오디오 렌더링 엔진 (36) 은 스피커 섹터들의 각각 내의 가상 스피커들을 방 또는 오브젝트 로케이션 정보를 기준으로 종종 최적의 또는 준 최적의 로케이션들에 배치시킬 수도 있다. 오디오 렌더링 엔진 (36) 은 그 다음에 모바일 디바이스 데이터 (18) 에 기초하여 모바일 디바이스들 (18) 을 각각의 가상 스피커에 매핑할 수도 있다 (114).
예를 들어, 오디오 렌더링 엔진 (36) 은 먼저, 업데이트된 모바일 디바이스 데이터 (60) 에서 특정된 모바일 디바이스들 (18) 중 각각의 모바일 디바이스의 로케이션을 고려하여, 모바일 디바이스들 (18) 의 결정된 로케이션에 가장 가까운 가상 로케이션을 갖는 가상 스피커들에 그 디바이스들을 매핑시킬 수도 있다. 오디오 렌더링 엔진 (36) 은 모바일 디바이스들 (18) 중 현재 할당된 모바일 디바이스들이 가상 스피커의 로케이션에 얼마나 가까운지에 기초하여 모바일 디바이스들 (18) 중 하나를 초과하는 모바일 디바이스들을 가상 스피커에 매핑할지의 여부를 결정할 수도 있다. 더구나, 오디오 렌더링 엔진 (36) 은, 위에서 설명된 바와 같이, 모바일 디바이스들 (18) 중 둘 이상의 모바일 디바이스들을, 그 둘 이상의 모바일 디바이스들 (18) 중 하나의 모바일 디바이스에 연관된 리파인된 전력 데이터 (62) 가 전체적으로 소스 오디오 데이터 (37) 를 플레이백하는데 불충분한 경우, 동일한 가상 스피커에 매핑할 것을 결정할 수도 있다. 오디오 렌더링 엔진 (36) 은, 위에서 설명된 바와 같이 다시, 스피커 특성들을 포함한 모바일 디바이스 데이터 (60) 의 다른 양태들에 기초하여 이들 모바일 디바이스들 (18) 을 또한 매핑할 수도 있다.
오디오 렌더링 엔진 (36) 은 그 다음에 스피커들 (16) 및 스피커들 (20) 의 각각에 대해 위에서 설명된 방식으로 소스 오디오 데이터 (37) 로부터의 오디오 신호들을 렌더링하여, 가상 스피커들의 로케이션 및/또는 모바일 디바이스 데이터 (60) 에 기초하여 효과적으로 오디오 신호들을 렌더링할 수도 있다 (116). 다르게 말하면, 오디오 렌더링 엔진 (36) 은 그 다음에, 위에서 더 상세히 설명된 바와 같이, 소스 오디오 데이터 (37) 를 렌더링하기 위해 사전-프로세싱 기능들을 인스턴스화하거나 또는 그렇지 않으면 정의할 수도 있다. 이러한 방식으로, 오디오 렌더링 엔진 (36) 은 가상 스피커들의 로케이션 및 모바일 디바이스 데이터 (60) 에 기초하여 소스 오디오 데이터 (37) 를 렌더링하거나 또는 그렇지 않으면 프로세싱할 수도 있다. 위에서 언급했듯이, 오디오 렌더링 엔진 (36) 은 이 오디오 데이터를 프로세싱하는 경우 모바일 디바이스들 (18) 중 각각의 모바일 디바이스로부터의 모바일 디바이스 데이터 (60) 를 종합하여 또는 전체로서 고려할 수도 있지만, 오디오 소스 데이터 (60) 로부터 렌더링된 별개의 오디오 신호들을 모바일 디바이스들 (18) 중 각각의 모바일 디바이스로 송신할 수도 있다. 따라서, 오디오 렌더링 엔진 (36) 은 렌더링된 오디오 신호들 (66) 을 모바일 디바이스들 (18) 로 송신한다 (도 3c, 120).
이 렌더링된 오디오 신호들 (66) 의 수신에 응답하여, 협업 사운드 시스템 애플리케이션 (42) 은 오디오 플레이백 모듈 (44) 과 인터페이싱하며, 그 오디오 플레이백 모듈은 결국 스피커 (20A) 와 인터페이싱하여 렌더링된 오디오 신호들 (66) 을 플레이한다 (122). 위에서 언급했듯이, 협업 사운드 시스템 애플리케이션 (42) 은 모바일 디바이스 데이터 (60) 중 어느 것이라도 변경되었거나 또는 업데이트되었는지를 결정하기 위해 데이터 수집 엔진 (46) 을 주기적으로 호출할 수도 있다 (124). 모바일 디바이스 데이터 (60) 가 변경되지 않았다면 ("아니오" 124), 모바일 디바이스 (18A) 는 렌더링된 오디오 신호들 (66) 을 계속 플레이할 수도 있다 (122). 그러나, 모바일 디바이스 데이터 (60) 가 변경되었거나 또는 업데이트되었다면 ("예" 124), 데이터 수집 엔진 (46) 은 이 변경된 모바일 디바이스 데이터 (60) 를 헤드엔드 디바이스 (14) 의 데이터 취출 엔진 (32) 으로 송신할 수도 있다 (126).
데이터 취출 엔진 (32) 은 이 변경된 모바일 디바이스 데이터를 오디오 렌더링 엔진 (36) 으로 전달할 수도 있으며, 그 오디오 렌더링 엔진은 변경된 모바일 디바이스 데이터 (60) 에 기초하여 가상 스피커 구성을 통해 모바일 디바이스 (18A) 가 매핑했던 오디오 신호들을 렌더링하는 사전-프로세싱 기능들을 수정할 수도 있다. 아래에서 더 상세히 설명되는 바와 같이, 일반적으로 업데이트된 또는 변경된 모바일 디바이스 데이터 (60) 는, 하나의 예로서, 소비 전력에서의 변경들로 인해 또는 모바일 디바이스 (18A) 가 다른 태스크, 이를테면 오디오 플레이백을 인터럽트하는 음성 통화에 의해 미리 점유되기 때문에 변경한다.
어떤 경우들에서, 데이터 취출 엔진 (32) 은 데이터 취출 모듈 (32) 의 로케이션 모듈 (38) 이 모바일 디바이스 (18) 의 로케이션에서의 변경을 검출할 수도 있다는 의미에서 모바일 디바이스 데이터 (60) 가 변경하였다고 결정할 수도 있다. 다르게 말하면, 데이터 취출 모듈 (32) 은 모바일 디바이스들 (18) 의 현재 로케이션을 결정하기 위해 로케이션 모듈 (38) 을 주기적으로 호출할 수도 있다 (또는, 대안으로, 로케이션 모듈 (38) 은 모바일 디바이스들 (18) 의 로케이션을 지속적으로 모니터링할 수도 있다). 로케이션 모듈 (38) 은 그 다음에 모바일 디바이스들 (18) 중 하나 이상의 모바일 디바이스가 이동되었는지의 여부를 결정함으로써, (예를 들어, 사용자가 텍스트 메시지를 보기 위해 모바일 디바이스를 집어 든 다음 그 모바일 디바이스를 상이한 로케이션에 내려 놓으면 일어날 것 같은) 모바일 디바이스들 (18) 의 로케이션에서의 진행중인 변경들을 수용하기 위해 사전-프로세싱 기능들을 오디오 렌더링 엔진 (36) 이 동적으로 수정하는 것을 가능하게 할 수도 있다. 따라서, 그 기법은, 비록 모바일 디바이스들 (18) 이 플레이백 동안에 이동될 수도 있거나 또는 재로케이팅(relocate)될 수도 있더라도, 전체 플레이백 동안에 가상 스피커들이 최적의 로케이션들에 적어도 근접하게 유지되는 것을 잠재적으로 보장하기 위해 동적 셋팅들에서 적용가능할 수도 있다.
도 4는 본 개시물에서 설명되는 기법들에 따라 형성된 다른 협업 서라운드 사운드 시스템 (140) 을 예시하는 블록도이다. 도 4의 예에서, 오디오 소스 디바이스 (142), 헤드엔드 디바이스 (144), 전방 좌측 스피커 (146A), 전방 우측 스피커 (146B) 및 모바일 디바이스들 (148A - 148C) 은, 도 1, 도 2, 도 3a 내지 도 3c에 관해 위에서 설명된 오디오 소스 디바이스 (12), 헤드엔드 디바이스 (14), 전방 좌측 스피커 (16A), 전방 우측 스피커 (16B) 및 모바일 디바이스들 (18A - 18N) 과 각각 실질적으로 유사할 수도 있다.
도 4의 예에서 도시된 바와 같이, 헤드엔드 디바이스 (144) 는 협업 서라운드 사운드 시스템 (140) 이 5 개의 별개의 스피커 섹터들 (152A - 152E) ("섹터들 (152)") 에서 동작하게 방을 분할한다. 이들 섹터들 (152) 을 결정한 후, 헤드엔드 디바이스 (144) 는 섹터들 (152) 의 각각마다 가상 스피커들 (154A - 154E) ("가상 스피커들 (154)") 에 대한 로케이션들을 결정할 수도 있다.
섹터들 (152A 및 152B) 의 각각에 대해, 헤드엔드 디바이스 (144) 는 가상 스피커들 (154A 및 154B) 의 로케이션이 전방 좌측 스피커 (146A) 및 전방 우측 스피커 (146B) 의 로케이션에 각각 가깝거나 또는 일치한다고 결정한다. 섹터 (152C) 에 대해, 헤드엔드 디바이스 (144) 는 가상 스피커 (154C) 의 로케이션이 모바일 디바이스들 (148A - 148C) ("모바일 디바이스들 (148)") 중 어느 것과도 겹치지 않는다고 결정한다. 그 결과, 헤드엔드 디바이스 (144) 는 섹터 (152C) 내에 위치된 또는 그 섹터 내에 부분적으로 위치된 임의의 모바일 디바이스들 (148) 을 식별하기 위해 섹터 (152C) 를 검색한다. 이 검색을 수행함에 있어서, 헤드엔드 디바이스 (144) 는 모바일 디바이스들 (148A 및 148B) 이 섹터 (152C) 내에 위치되거나 또는 그 섹터 내에 부분적으로 위치된다고 결정한다. 헤드엔드 디바이스 (144) 는 그러면 이들 모바일 디바이스들 (148A 및 148B) 을 가상 스피커 (154C) 에 매핑한다. 헤드엔드 디바이스 (144) 는 그 다음에 사운드가 가상 스피커 (154C) 로부터 기원하는 것처럼 여겨지도록 소스 오디오 데이터로부터의 서라운드 좌측 채널을 모바일 디바이스 (148A) 에 의한 플레이백을 위해 렌더링하는 제 1 사전-프로세싱 기능을 정의한다. 헤드엔드 디바이스 (144) 는 그 다음에 사운드가 가상 스피커 (154C) 로부터 기원하는 것처럼 여겨지도록 소스 오디오 데이터로부터의 서라운드 우측 채널을 모바일 디바이스 (148B) 에 의한 플레이백을 위해 렌더링하는 제 2 사전-프로세싱 기능을 정의한다.
헤드엔드 디바이스 (144) 는 그 다음에 가상 스피커 (154D) 를 고려할 수도 있고, 모바일 디바이스 (148C) 의 로케이션이 (종종, 정의된 또는 구성된 임계치 내에서) 가상 스피커 (154D) 의 로케이션과 중첩한다는 점에서 모바일 디바이스 (148C) 가 섹터 (152D) 내의 준최적의 로케이션에 배치된다고 결정한다. 헤드엔드 디바이스 (144) 는 모바일 디바이스 (148C) 에 연관된 모바일 디바이스 데이터의 다른 양태들에 기초하여 서라운드 우측 채널을 렌더링하는 사전-프로세싱 기능들을 정의할 수도 있지만, 이 서라운드 우측 채널이 기원하는 것으로 여겨질 곳을 수정하는 사전-프로세싱 기능들을 정의해야 할 필요가 없을 수도 있다.
헤드엔드 디바이스 (144) 는 그 다음에 중앙 스피커 섹터 (152E) 내에는 가상 스피커 (154E) 를 지원할 수 있는 중앙 스피커가 없다고 결정할 수도 있다. 그 결과, 헤드엔드 디바이스 (144) 는 전방 좌측 스피커 (146A) 와 전방 우측 스피커 (146B) 가 그것들의 개별 전방 좌측 채널 및 전방 우측 채널의 양쪽 모두와 중앙 채널을 재생하도록 중앙 채널과 전방 좌측 채널 및 전방 우측 채널 양쪽 모두를 크로스믹싱하기 위해 소스 오디오 데이터로부터 중앙 채널을 렌더링하는 사전-프로세싱 기능들을 정의할 수도 있다. 이 사전-프로세싱 기능은 사운드가 가상 스피커 (154E) 의 로케이션으로부터 재생되는 것처럼 여겨지도록 중앙 채널을 수정할 수도 있다.
소스 오디오 데이터가 가상 스피커, 이를테면 가상 스피커 (154C) 와 가상 스피커 (154E) 로부터 기원하는 것으로 여겨지도록 소스 오디오 데이터를 프로세싱하는 사전-프로세싱 기능들을 정의하는 경우, 스피커들 (150) 중 하나 이상의 스피커가 이들 가상 스피커들의 의도된 로케이션에 위치되지 않을 때, 헤드엔드 디바이스 (144) 는 본 개시물에서 설명되는 기법들의 제약된 벡터 기반 동적 진폭 패닝 양태를 수행할 수도 있다. 쌍방식 (pair-wise) (2차원의 경우 2 개의 스피커들 그리고 3차원의 경우 3 개의 스피커들) 스피커들에만 기초하는 벡터 기반 진폭 패닝 (vector based amplitude panning; VBAP) 을 수행하는 것이 아니라, 헤드엔드 디바이스 (144) 는 3 개 이상의 스피커들에 대해 제약된 벡터 기반 동적 진폭 패닝 기법들을 수행할 수도 있다. 제약된 벡터 기반 동적 진폭 패닝 기법들은 현실적인 제약조건들에 기초함으로써, VBAP에 비하여 높은 자유도를 제공할 수도 있다.
예시하기 위해, 3 개의 라우드스피커들이 후방 좌측 코너에 위치되고 따라서 서라운드 좌측 스피커 섹터 (152C) 내에 위치될 수도 있는 다음의 예를 고려한다. 이 예에서, 3 개의 벡터들이 정의될 수도 있는데, 이 벡터들은
Figure pct00001
,
Figure pct00002
,
Figure pct00003
에 의해 표시될 수도 있으며, 더불어서 주어진
Figure pct00004
는 가상 소스의 전력 및 로케이션을 나타낸다. 헤드엔드 디바이스 (144) 는 그러면 다음의 식을 풀 수도 있으며:
Figure pct00005
, 여기서
Figure pct00006
는 헤드엔드 디바이스 (144) 가 컴퓨팅할 필요가 있을 수도 있는 미지수이다.
Figure pct00007
에 대한 풀이는 전형적인 많은 미지수들의 문제이고, 전형적인 해는 헤드엔드 디바이스 (144) 가 최소 놈 (norm) 해를 결정하는 것을 수반한다. 헤드엔드 디바이스 (144) 가 이 식을 L2 놈을 사용하여 푼다고 가정하면, 헤드엔드 디바이스 (144) 는 다음의 식을 푼다:
Figure pct00008
헤드엔드 디바이스 (144) 는 제약조건에 기초하여 벡터들을 조작하는 것에 의해 하나의 방향 (way) 에서 g1, g2 및 g3를 제약할 수도 있다. 헤드엔드 디바이스 (144) 는 그 다음에,
Figure pct00009
와
Figure pct00010
에서처럼, 스칼라 전력 계수 a1, a2, a3를 추가할 수도 있다.
서라운드 좌측 섹터 (152C) 에 위치된 3 개의 스피커들의 각각마다 적절한 이득을 제공하는 해인 L2 놈 해를 사용하는 경우, 헤드엔드 디바이스 (144) 는 가상적으로 위치된 라우드스피커를 생성할 수도 있고 동시에 이득의 거듭제곱 합 (power sum) 은 최소가 되어서 헤드엔드 디바이스 (144) 는 내재하는 소비 전력 한계에 대한 제약조건을 고려해 볼 때 모든 이용가능한 3 개의 라우드스피커들에 대해 소비 전력을 합리적으로 분배할 수도 있다는 것에 주의한다.
예시하기 위해, 제 2 디바이스가 배터리 전력을 다 써버린다면, 헤드엔드 디바이스 (144) 는 a2를 다른 전력들 (a1 및 a3) 에 비하여 낮출 수도 있다. 더욱 구체적인 예로서, 헤드엔드 디바이스 (144) 가 3 개의 라우드스피커 벡터들
Figure pct00011
, ,
Figure pct00013
을 결정하고 헤드엔드 디바이스 (144) 는 그 해에서
Figure pct00014
인 것으로 제약된다고 가정한다. a1 = a2 = a3 = 1을 의미하는 제약이 없다면,
Figure pct00015
이다. 그러나, 라우드스피커 당 배터리 또는 내재하는 최대 소리크기 (loudness) 와 같은 몇몇 이유로, 헤드엔드 디바이스 (144) 가 제 2 라우드스피커의 볼륨을 낮추어서 제 2 벡터가
Figure pct00016
만큼 낮아지는 것이 필요할 수도 있다면,
Figure pct00017
이다. 이 예에서, 헤드엔드 디바이스 (144) 는 제 2 라우드스피커에 대한 이득을 감소시킬 수도 있지만, 가상 이미지는 동일한 또는 거의 동일한 로케이션에 남아있다.
위에서 설명된 이들 기법들은 다음과 같이 일반화될 수도 있다:
1. 스피커들 중 하나 이상의 스피커가 주파수 종속적 제약을 갖는다고 헤드엔드 디바이스 (144) 가 결정하면, 헤드엔드 디바이스는 단기 (short-time) 푸리에 변환을 포함한 임의의 종류의 필터 뱅크 분석 및 합성을 통해 위의 식을 k가 주파수 계수인, 종속적
Figure pct00018
이도록 정의할 수도 있다.
2. 헤드엔드 디바이스 (144) 는 검출된 로케이션에 기초하여 벡터를 할당하는 것에 의해, 이것을 임의의 N≥2 개 라우드스피커들의 경우로 확장할 수도 있다.
3. 헤드엔드 디바이스 (144) 는 적절한 전력 이득 제약조건을 이용하여 임의의 조합을 임의적으로 그룹화할 수도 있는데, 여기서 이 전력 이득 제약조건은 중첩되거나 또는 중첩되지 않을 수도 있다. 어떤 경우들에서, 헤드엔드 디바이스 (144) 는 5 개 이상의 상이한 로케이션 기반 사운드들을 생성하기 위해 모든 라우드스피커들을 동시에 사용할 수 있다. 일부 예들에서, 헤드엔드 디바이스 (144) 는 각각의 지정된 지역, 예컨대 도 4에 도시된 5 개 스피커 섹터들 (152) 에서 라우드 스피커들을 그룹화할 수도 있다. 하나의 지역에 하나만 있다면, 헤드엔드 디바이스 (144) 는 그 지역에 대한 그룹을 옆 지역으로 확장할 수도 있다.
4. 일부 디바이스들이 이동하고 있거나 또는 협업 서라운드 사운드 시스템 (140) 에 단지 등록된다면, 헤드엔드 디바이스 (144) 는 대응하는 기저 벡터 (basis vector) 들을 업데이트 (변경 또는 추가) 하고 각각의 스피커에 대한 이득을 컴퓨팅할 수도 있는데, 이는 조정될 가능성이 있을 것이다.
5. L2 놈에 관해 위에서 설명되었지만, 헤드엔드 디바이스 (144) 는 이 최소 놈 해를 갖기 위해 L2 놈과는 다른 상이한 놈들을 이용할 수도 있다. 예를 들어, L0 놈을 사용하는 경우, 헤드엔드 디바이스 (144) 는, L2 놈 경우에 대한 작은 이득 라우드스피커가 0의 이득 라우드스피커가 될 것을 의미하는 희소 (sparse) 이득 해를 계산할 수도 있다.
6. 위에서 제시된 전력 제약 추가된 최소 놈 해는 제약 최적화 문제를 구현하는 특정 방법이다. 그러나, 다음과 같이 임의의 종류의 제약된 컨벡스 최적화 (convex optimization) 방법이 그 문제와 결합될 수 있다:
Figure pct00019
을 조건으로
Figure pct00020
.
이러한 방식으로, 헤드엔드 디바이스 (144) 는, 협업 서라운드 사운드 시스템 (140) 에 참여하는 모바일 디바이스 (150A) 에 대해, 협업 서라운드 사운드 시스템 (140) 의 가상 스피커 (154C) 의 특정된 로케이션을 식별할 수도 있다. 헤드엔드 디바이스 (144) 는 그 다음에 모바일 디바이스에 의한 다중-채널 오디오 데이터의 플레이백에 영향을 주는 제약조건, 이를테면 예상되는 전력 지속기간을 결정할 수도 있다. 헤드엔드 디바이스 (144) 는 그 다음에 모바일 디바이스 (150A) 에 의한 렌더링된 오디오 신호들 (66) 의 플레이백에 대한 결정된 제약조건의 영향을 감소시키는 방식으로 오디오 신호들 (66) 를 렌더링하기 위해 결정된 제약조건을 사용하여 소스 오디오 데이터 (37) 에 관해 위에서 설명된 제약된 벡터 기반 동적 진폭 패닝을 수행할 수도 있다.
덧붙여서, 헤드엔드 디바이스 (144) 는, 제약조건을 결정하는 경우, 모바일 디바이스가 소스 오디오 데이터 (37) 를 플레이백하는데 충분한 전력을 가질 예상된 지속기간을 나타내는 예상된 전력 지속기간을 결정할 수도 있다. 헤드엔드 디바이스 (144) 는 그 다음에 소스 오디오 데이터 (37) 의 플레이백 지속기간을 나타내는 소스 오디오 지속기간을 결정할 수도 있다. 소스 오디오 지속기간이 예상된 전력 지속기간을 초과하는 경우, 헤드엔드 디바이스 (144) 는 예상된 전력 지속기간을 제약조건으로서 결정할 수도 있다.
더구나, 어떤 경우들에서, 제약된 벡터 기반 동적 진폭 패닝을 수행하는 경우, 헤드엔드 디바이스 (144) 는 렌더링된 오디오 신호들 (66) 을 플레이백하는데 예상된 전력 지속기간이 소스 오디오 지속기간 미만이 되도록 오디오 신호들 (66) 을 렌더링하는 제약조건으로서 결정된 예상된 전력 지속기간을 사용하여 소스 오디오 데이터 (37) 에 관해 제약된 벡터 기반 동적 진폭 패닝을 수행할 수도 있다.
어떤 경우들에서, 제약조건을 결정하는 경우, 헤드엔드 디바이스 (144) 는 주파수 종속 제약조건을 결정할 수도 있다. 제약된 벡터 기반 동적 진폭 패닝을 수행하는 경우, 헤드엔드 디바이스 (144) 는 렌더링된 오디오 신호들 (66) 을 모바일 디바이스 (150A) 에 의해 플레이백하는데 예상된 전력 지속기간이, 하나의 예로서, 소스 오디오 데이터 (37) 의 플레이백 지속기간을 나타내는 소스 오디오 지속기간 미만이 되도록 오디오 신호들 (66) 을 렌더링하는 결정된 주파수 제약조건을 사용하여 소스 오디오 데이터 (37) 에 관해 제약된 벡터 기반 동적 진폭 패닝을 수행할 수도 있다.
어떤 경우들에서, 제약된 벡터 기반 동적 진폭 패닝을 수행하는 경우, 헤드엔드 디바이스 (144) 는 복수의 가상 스피커들 중 하나의 가상 스피커를 지원하는 복수의 모바일 디바이스들을 고려할 수도 있다. 위에서 언급했듯이, 어떤 경우들에서, 헤드엔드 디바이스 (144) 는 3 개의 모바일 디바이스들에 관해 기법들의 이 양태를 수행할 수도 있다. 예상된 전력 지속기간을 제약조건으로서 사용하여 소스 오디오 데이터 (37) 에 관해 제약된 벡터 기반 동적 진폭 패닝을 수행하는 경우 그리고 3 개의 모바일 디바이스들이 단일 가상 스피커를 지원한다고 가정하면, 헤드엔드 디바이스 (144) 는 먼저, 다음의 식에 따라 각각 제 1 모바일 디바이스, 제 2 모바일 디바이스 및 제 3 모바일 디바이스에 대한 볼륨 이득들 (g1, g2 및 g3) 을 컴퓨팅할 수도 있다:
Figure pct00021
위에서 언급했듯이, a1, a2 및 a3는 제 1 모바일 디바이스에 대한 스칼라 전력 계수, 제 2 모바일 디바이스에 대한 스칼라 전력 계수 및 제 3 모바일 디바이스에 대한 스칼라 전력 계수를 나타낸다. l11, l12는 헤드엔드 디바이스 (144) 를 기준으로 제 1 모바일 디바이스의 로케이션을 식별하는 벡터를 나타낸다. l21, l22는 헤드엔드 디바이스 (144) 를 기준으로 제 2 모바일 디바이스의 로케이션을 식별하는 벡터를 나타낸다. l31, l32는 헤드엔드 디바이스 (144) 를 기준으로 제 3 모바일 디바이스의 로케이션을 식별하는 벡터를 나타낸다. p1, p2는 제 1 모바일 디바이스, 제 2 모바일 디바이스 및 제 3 모바일 디바이스에 의해 지원되는 복수의 가상 스피커들 중 하나의 가상 스피커의 헤드엔드 디바이스 (144) 에 대하여 특정된 로케이션을 식별하는 벡터를 나타낸다.
도 5는 도 1의 협업 서라운드 사운드 시스템 (10) 의 부분을 더 상세히 도시하는 블록도이다. 도 2에 도시된 협업 서라운드 사운드 시스템 (10) 의 부분은 헤드엔드 디바이스 (14) 와 모바일 디바이스 (18A) 를 구비한다. 예시 목적들의 편의를 위해, 단일 모바일 디바이스, 즉, 도 5의 모바일 디바이스 (18A) 에 관해 설명되지만, 그 기법들은 다수의 모바일 디바이스들, 예컨대, 도 1의 예에서 도시된 모바일 디바이스들 (18) 에 관하여 구현될 수도 있다.
도 5의 예에서 도시된 바와 같이, 헤드엔드 디바이스 (14) 는 도 2의 예에서 도시되고 도 2에 관하여 위에서 설명된 동일한 컴포넌트들, 유닛들 및 모듈들을 포함하지만, 또한 부가적인 이미지 생성 모듈 (160) 을 구비한다. 이미지 생성 모듈 (160) 은 모바일 디바이스 (18A) 의 디스플레이 디바이스 (164) 를 통한 디스플레이를 위한 하나 이상의 이미지들 (170) 과 소스 오디오 디바이스 (12) 의 디스플레이 디바이스 (166) 를 통한 디스플레이를 위한 하나 이상의 이미지들 (172) 을 생성하도록 구성되는 모듈 또는 유닛을 나타낸다. 이미지들 (170) 은 모바일 디바이스 (18A) 가 이동될 또는 배치될 방향 또는 로케이션을 특정할 수도 있는 임의의 하나 이상의 이미지들을 나타낼 수도 있다. 비슷하게, 이미지들 (172) 은 모바일 디바이스 (18A) 의 현재 로케이션과 모바일 디바이스 (18A) 의 소망의 또는 의도된 로케이션을 표시하는 하나 이상의 이미지들을 나타낼 수도 있다. 이미지들 (172) 은 모바일 디바이스 (18A) 가 이동될 방향을 또한 특정할 수도 있다.
비슷하게, 모바일 디바이스 (18A) 는 도 2의 예에서 도시되고 도 2에 관해 위에서 설명된 동일한 컴포넌트, 유닛들 및 모듈들을 포함하지만, 또한 디스플레이 인터페이스 모듈 (168) 을 구비한다. 디스플레이 인터페이스 모듈 (168) 은 디스플레이 디바이스 (164) 와 상호작용하도록 구성되는 협업 사운드 시스템 애플리케이션 (42) 의 유닛 또는 모듈을 나타낼 수도 있다. 디스플레이 인터페이스 모듈 (168) 은 이미지들 (170) 을 송신하게 하거나 또는 그렇지 않으면 디스플레이 디바이스 (164) 로 하여금 디스플레이하게 하도록 디스플레이 디바이스 (164) 와 인터페이싱할 수도 있다.
처음에, 위에서 설명된 바와 같이, 모바일 디바이스 (18A) 의 사용자 또는 다른 오퍼레이터는 협업 사운드 시스템 애플리케이션 (42) 을 실행하기 위해 제어 유닛 (40) 과 인터페이싱한다. 제어 유닛 (40) 은, 이 사용자 입력에 응답하여, 협업 사운드 시스템 애플리케이션 (42) 을 실행한다. 협업 사운드 시스템 애플리케이션 (42) 의 실행 시, 협업 사운드 시스템 애플리케이션 (42) 이 헤드엔드 디바이스 (14) 를 로케이팅할 수도 있다고 가정하여, 모바일 디바이스 (18A) 를 헤드엔드 디바이스 (14) 에 등록하기 위해 사용자는 (예시 목적들의 편의를 위해 도 2의 예에서 도시되지 않은 그래픽 사용자 인터페이스를 제시하는 터치 디스플레이를 통해 종종) 협업 사운드 시스템 애플리케이션 (42) 과 인터페이싱할 수도 있다. 헤드엔드 디바이스 (14) 를 로케이팅할 수 없으면, 협업 사운드 시스템 애플리케이션 (42) 은, 예를 들어, 헤드엔드 디바이스 (14) 및 모바일 디바이스 (18A) 양쪽 모두가 동일한 무선 네트워크 또는 PAN에 접속되는 것을 보장하는 문제해결 팁들을 잠재적으로 제공하여, 헤드엔드 디바이스 (14) 를 로케이팅하는 것과 함께하는 임의의 어려움들을 사용자가 해결하는 것을 도울 수도 있다.
여하튼, 협업 사운드 시스템 애플리케이션 (42) 은 헤드엔드 디바이스 (14) 를 성공적으로 로케이팅하고 모바일 디바이스 (18A) 를 헤드엔드 디바이스 (14) 에 등록한다고 가정하여, 협업 사운드 시스템 애플리케이션 (42) 은 모바일 디바이스 데이터 (60) 를 취출하기 위해 데이터 수집 엔진 (46) 을 호출할 수도 있다. 데이터 수집 엔진 (46) 을 호출함에 있어서, 로케이션 모듈 (48) 은, 헤드엔드 디바이스 (14) 가 위에서 설명된 방식으로 헤드엔드 디바이스 (14) 에 대한 모바일 디바이스 (18A) 의 로케이션을 해결하는 것을 가능하게 하기 위해 톤 (61) 을 사용하여 로케이션 모듈 (38) 과 아마도 협업하여, 헤드엔드 디바이스 (14) 에 대한 모바일 디바이스 (18A) 의 로케이션을 결정할 것을 시도할 수도 있다.
헤드엔드 디바이스 (14) 에 대한 자신들의 개별 로케이션들을 결정하기 위해 로케이션 모듈 (38) 과 협업할 것을 또한 시도하고 있을 수도 있는 협업 서라운드 사운드 시스템 (10) 에 참여하는 다른 모바일 디바이스들 (18B - 18N) 로부터 모바일 디바이스 (18A) 를 구별하기 위해서, 톤 (61) 은, 위에서 언급했듯이, 주어진 주파수로 될 수도 있다. 다르게 말하면, 헤드엔드 디바이스 (14) 는 모바일 디바이스 (18A) 와 제 1 주파수를 갖는 톤 (61), 모바일 디바이스 (18B) 와 제 2 상이한 주파수를 갖는 톤, 모바일 디바이스 (18C) 와 제 3 상이한 주파수를 갖는 톤 등을 연관시킬 수도 있다. 이런 방식으로, 헤드엔드 디바이스 (14) 는 모바일 디바이스들 (18) 중 각각의 모바일 디바이스를 순차적으로 로케이팅하는 것이 아니라 동시에 모바일 디바이스들 (18) 중 다수의 모바일 디바이스들을 병행하여 로케이팅할 수도 있다.
전력 모듈 (50) 과 스피커 모듈 (52) 은 위에서 설명된 방식으로 소비 전력 데이터와 스피커 특성 데이터를 수집할 수도 있다. 데이터 수집 엔진 (46) 은 모바일 디바이스 데이터 (60) 를 형성하는 이 데이터를 결집시킬 수도 있다. 데이터 수집 엔진 (46) 은 모바일 디바이스 (18A) 의 로케이션 (가능하다면), 스피커 (20A) 의 주파수 응답, 스피커 (20A) 의 최대 허용가능 사운드 재생 레벨, 모바일 디바이스 (18A) 내에 포함되고 전력을 공급하는 배터리의 배터리 스테이터스, 모바일 디바이스 (18A) 의 동기화 스테이터스, 및 모바일 디바이스 (18A) 의 헤드폰 스테이터스 (예컨대, 스피커 (20A) 의 사용을 방지하는 헤드폰 잭이 현재 사용 중인지의 여부) 중 하나 이상을 특정하는 모바일 디바이스 데이터 (60) 를 생성할 수도 있다. 데이터 수집 엔진 (46) 은 그 다음에 이 모바일 디바이스 데이터 (60) 를 헤드엔드 디바이스 (14) 의 제어 유닛 (30) 에 의해 실행되는 데이터 취출 엔진 (32) 으로 송신한다.
데이터 취출 엔진 (32) 은 소비 전력 데이터를 전력 분석 모듈 (34) 에 제공하기 위해 이 모바일 디바이스 데이터 (60) 를 파싱할 수도 있다. 전력 분석 모듈 (34) 은, 위에서 설명된 바와 같이, 이 소비 전력 데이터를 프로세싱하여 리파인된 전력 데이터 (62) 를 생성할 수도 있다. 데이터 취출 엔진 (32) 은 위에서 설명된 방식으로 헤드엔드 디바이스 (14) 에 대한 모바일 디바이스 (18A) 의 로케이션을 결정하기 위해 로케이션 모듈 (38) 을 또한 호출할 수도 있다. 데이터 취출 엔진 (32) 은 그 다음에 결정된 로케이션 (가능하다면) 과 리파인된 전력 데이터 (62) 를 포함하게 모바일 디바이스 데이터 (60) 를 업데이트하여, 이 업데이트된 모바일 디바이스 데이터 (60) 를 오디오 렌더링 엔진 (36) 으로 전달할 수도 있다.
오디오 렌더링 엔진 (36) 은 그 다음에 업데이트된 모바일 디바이스 데이터 (64) 에 기초하여 소스 오디오 데이터 (37) 를 프로세싱할 수도 있다. 오디오 렌더링 엔진 (36) 은 그 다음에 모바일 디바이스 (18A) 의 스피커 (20A) 를 협업 서라운드 사운드 시스템 (10) 의 하나 이상의 가상 스피커들로서 이용하기 위해 협업 서라운드 사운드 시스템 (10) 을 구성할 수도 있다. 오디오 렌더링 엔진 (36) 은, 모바일 디바이스 (18A) 의 스피커 (20A) 가 렌더링된 오디오 신호들 (66) 을 플레이하는 경우, 렌더링된 오디오 신호들 (66) 의 오디오 플레이백으로 하여금 협업 서라운드 사운드 시스템 (10) 의 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 소스 오디오 데이터 (37) 로부터의 오디오 신호들 (66) 을 또한 렌더링할 수도 있는데, 이 하나 이상의 가상 스피커는, 모바일 디바이스 (18A) 의 결정된 로케이션과는 상이한 로케이션에 배치될 것으로 종종 여겨진다.
예시하기 위해, 가상 스피커들 중 대응하는 하나 이상의 가상 스피커를 지원하는 모바일 디바이스들 (18) 중 하나 이상의 모바일 디바이스로부터 모바일 디바이스 데이터 (60) 가 주어진다고 하면, 오디오 렌더링 엔진 (36) 은 협업 서라운드 사운드 시스템 (10) 의 하나 이상의 가상 스피커들 중 각각의 가상 스피커에 스피커 섹터들을 할당할 수도 있다. 소스 오디오 데이터 (37) 를 렌더링하는 경우, 오디오 렌더링 엔진 (36) 은 그때, 렌더링된 오디오 신호들 (66) 이 모바일 디바이스들 (18) 의 스피커들 (20) 에 의해 플레이되는 경우, 렌더링된 오디오 신호들 (66) 의 오디오 플레이백으로 하여금 협업 서라운드 사운드 시스템 (10) 의 가상 스피커들로부터 기원하는 것으로 여겨지도록 소스 오디오 데이터 (37) 로부터의 오디오 신호들 (66) 을 렌더링할 수도 있는데, 그 가상 스피커들은 다시, 모바일 디바이스들 (18) 중 적어도 하나의 모바일 디바이스의 로케이션과는 상이한 스피커 섹터들 중 대응하는 식별된 스피커 섹터 내의 로케이션에 종종 있다.
소스 오디오 데이터 (37) 를 이런 방식으로 렌더링하기 위하여, 오디오 렌더링 엔진 (36) 은, 모바일 디바이스 (18A) 를 이동시킬 것을 사용자에게 프롬프트하는 것을 회피하기 위해, 모바일 디바이스들 (18) 중 하나의 모바일 디바이스, 예컨대, 모바일 디바이스 (18A) 의 로케이션에 기초하여 소스 오디오 데이터 (37) 를 렌더링하는 오디오 사전-프로세싱 기능을 구성할 수도 있다. 디바이스를 이동시키기 위한 사용자 프롬프트를 피하는 것이 오디오 신호들 (66) 의 플레이백이 시작된 후와 같은 어떤 경우들에서는 필요할 수도 있지만, 플레이백 전에 방 주위에서 모바일 디바이스들 (18) 을 처음 배치하는 경우, 헤드엔드 디바이스 (14) 는, 특정한 경우들에서, 모바일 디바이스들 (18) 을 이동시킬 것을 사용자에게 프롬프트할 수도 있다. 헤드엔드 디바이스 (14) 는 스피커 섹터들을 분석하고 하나 이상의 스피커 섹터들이 임의의 모바일 디바이스들을 가지지 않거나 또는 다른 스피커들이 섹터에 존재한다고 결정하는 것에 의해, 모바일 디바이스들 (18) 중 하나 이상의 모바일 디바이스가 이동될 것을 필요로 한다고 결정할 수도 있다.
헤드엔드 디바이스 (14) 는 그 다음에 임의의 스피커 섹터들이 둘 이상의 스피커들을 갖는지의 여부를 결정하고, 업데이트된 모바일 디바이스 데이터 (64) 에 기초하여, 이 스피커 섹터 내에 위치된 모바일 디바이스들 (18) 중 어느 것도 가지지 않는 비어 있는 스피커 섹터로 재로케이팅되어야 할 스피커를 이들 둘 이상의 스피커들 중에서 식별할 수도 있다. 헤드엔드 디바이스 (14) 는 둘 이상의 스피커들 중 하나 이상의 스피커를 하나의 스피커 섹터로부터 다른 스피커 섹터로 재로케이팅하는 것을 시도하는 경우 리파인된 전력 데이터 (62) 를 고려하여, 둘 이상의 스피커들 중 렌더링된 오디오 신호들 (66) 을 전체적으로 플레이백하기 위해 리파인된 전력 데이터 (62) 에 의해 표시된 바와 같은 적어도 충분한 전력을 갖는 스피커들을 재로케이팅할 것을 결정할 수도 있다. 이 전력 기준들을 충족하는 스피커들이 없다면, 헤드엔드 디바이스 (14) 는 비어 있는 스피커 섹터 (이는 모바일 디바이스들 또는 다른 스피커들이 존재하지 않는 스피커 섹터를 지칭할 수도 있음) 에 대해 중첩된 스피커 섹터들 (이는 당해 섹터에 위치된 하나를 초과하는 스피커들을 갖는 그들 스피커 섹터들을 지칭할 수도 있음) 로부터 당해 둘 이상의 스피커들을 결정할 수도 있다.
모바일 디바이스들 (18) 중에서 비어 있는 스피커 섹터로 재로케이팅할 모바일 디바이스들과 이들 모바일 디바이스들 (18) 이 배치될 로케이션의 결정 시, 제어 유닛 (30) 은 이미지 생성 모듈 (160) 을 호출할 수도 있다. 로케이션 모듈 (38) 은 의도된 또는 소망의 로케이션과 모바일 디바이스들 (18) 중 이미지 생성 모듈 (160) 로 재로케이팅될 모바일 디바이스들의 현재 로케이션을 제공할 수도 있다. 이미지 생성 모듈 (160) 은 그 다음에 이미지들 (170 및/또는 172) 을 생성하여, 이들 이미지들 (170 및/또는 172) 을 각각 모바일 디바이스 (18A) 및 소스 오디오 디바이스 (12) 로 송신할 수도 있다. 모바일 디바이스 (18A) 는 그 다음에 이미지들 (170) 을 디스플레이 디바이스 (164) 를 통해 제시할 수도 있는 반면, 소스 오디오 디바이스 (12) 는 이미지들 (172) 을 디스플레이 디바이스 (164) 를 통해 제시할 수도 있다. 이미지 생성 모듈 (160) 은 로케이션 모듈 (38) 로부터 모바일 디바이스들 (18) 의 현재 로케이션에 대한 업데이트를 수신하는 것과 이 업데이트된 현재 로케이션을 디스플레이하는 이미지들 (170 및 172) 을 생성하는 것을 계속할 수도 있다. 이런 의미에서, 이미지 생성 모듈 (160) 은 헤드엔드 유닛 (14) 에 대한 모바일 디바이스들 (18) 의 현재 이동과 의도된 로케이션을 반영한 이미지들 (170 및/또는 172) 을 동적으로 생성할 수도 있다. 일단 의도된 로케이션에 배치되면, 이미지 생성 모듈 (160) 은 모바일 디바이스들 (18) 이 의도된 또는 소망의 로케이션에 배치되었음을 나타내는 이미지들 (170 및/또는 172) 을 생성함으로써, 협업 서라운드 사운드 시스템 (10) 의 구성을 용이하게 할 수도 있다. 이미지들 (170 및 172) 은 도 6a 내지 도 6c와 도 7a 내지 도 7c에 관하여 아래에서 더 상세히 설명된다.
덧붙여, 오디오 렌더링 엔진 (36) 은 모바일 디바이스 데이터 (60) 의 다른 양태들에 기초하여 소스 오디오 데이터 (37) 로부터의 오디오 신호들 (66) 을 렌더링할 수도 있다. 예를 들어, 오디오 렌더링 엔진 (36) 은 (다른 예로서, 예를 들어 모바일 디바이스 (18A) 의 스피커 (20A) 의 주파수 범위 또는 모바일 디바이스 (18A) 의 스피커 (20A) 의 최대 볼륨을 수용하기 위해서) 하나 이상의 스피커 특성들에 기초하여 소스 오디오 데이터 (37) 를 렌더링하는 오디오 사전-프로세싱 기능을 구성할 수도 있다. 오디오 렌더링 엔진 (36) 은 그 다음에 모바일 디바이스 (18A) 의 스피커 (20A) 에 의한 렌더링된 오디오 신호들 (66) 의 플레이백을 제어하기 위해, 구성된 오디오 사전-프로세싱 기능을 소스 오디오 데이터 (37) 의 적어도 부분에 적용할 수도 있다.
오디오 렌더링 엔진 (36) 은 그 다음에 렌더링된 오디오 신호들 (66) 또는 그 부분을 모바일 디바이스들 (18A) 로 전송하거나 또는 그렇지 않으면 송신할 수도 있다. 오디오 렌더링 엔진 (36) 은 모바일 디바이스들 (18) 중 하나 이상의 모바일 디바이스를 가상 스피커 구성을 통해 다중-채널 소스 오디오 데이터 (37) 의 각각의 채널에 매핑할 수도 있다. 다시 말하면, 모바일 디바이스들 (18) 의 각각은 협업 서라운드 사운드 시스템 (10) 의 상이한 가상 스피커에 매핑된다. 각각의 가상 스피커는 결국 스피커 섹터에 매핑되는데, 이 스피커 섹터는 다중-채널 소스 오디오 데이터 (37) 의 하나 이상의 채널들을 지원할 수도 있다. 따라서, 렌더링된 오디오 신호들 (66) 을 송신하는 경우, 오디오 렌더링 엔진 (36) 은 렌더링된 오디오 신호들 (66) 의 매핑된 채널들을, 모바일 디바이스들 (18) 중 협업 서라운드 사운드 시스템 (10) 의 대응하는 하나 이상의 가상 스피커들로서 구성되는 대응하는 하나 이상의 모바일 디바이스로 송신할 수도 있다.
도 6a 내지 도 6c와 도 7a 내지 도 7c에 관해 아래에서 설명되는 기법들의 논의 전체에 걸쳐, 채널들이 다음과 같이 참조될 수도 있다: 좌측 채널은 "L"로서 표시될 수도 있으며, 우측 채널은 "R"로서 표시될 수도 있으며, 중앙 채널은 "C"로서 표시될 수도 있으며, 후방-좌측 채널은 "서라운드 좌측 채널"이라 지칭될 수도 있고 "SL"로서 표시될 수도 있고, 후방-우측 채널은 "서라운드 우측 채널"이라고 지칭될 수도 있고 "SR"로서 표시될 수도 있다. 다시, 서브우퍼 채널은 도 1에서 도시되지 않는데, 양호한 서라운드 사운드 경험을 제공함에 있어서 서브우퍼의 로케이션이 다른 5 개 채널들의 로케이션만큼 중요하지 않아서이다.
도 6a 내지 도 6c는 본 개시물에서 설명되는 기법들의 다양한 양태들에 따라 모바일 디바이스 (18A) 에 의해 디스플레되는 바와 같은 도 5의 예시적인 이미지들 (170A - 170C) 을 더 상세히 도시하는 도면들이다. 도 6a는 제 1 이미지 (172A) 를 도시하는 도면인데, 제 1 이미지는 화살표 173A를 포함한다. 화살표 173A는 모바일 디바이스 (18A) 를 의도된 또는 최적의 로케이션에 배치하기 위해 모바일 디바이스 (18A) 가 이동될 방향을 나타낸다. 화살표 173A의 길이는 의도된 로케이션으로부터 모바일 디바이스 (18A) 의 현재 로케이션이 얼마나 먼 지를 대략적으로 나타낼 수도 있다.
도 6b는 제 2 이미지 (170B) 를 예시하는 도면인데, 제 2 이미지는 제 2 화살표 173B를 포함한다. 이 화살표 173B는, 화살표 173A처럼, 의도된 또는 최적의 로케이션에 모바일 디바이스 (18A) 를 배치하기 위해 모바일 디바이스 (18A) 가 이동될 방향을 나타낼 수도 있다. 이미지 (170A) 가 제시되었던 경우 모바일 디바이스 (18A) 의 로케이션에 비하여 모바일 디바이스 (18A) 가 의도된 로케이션에 더 가까이 이동하였음을 나타내는 화살표 173B는 화살표 173B가 더 짧은 길이를 갖는다는 점에서 화살표 173A와는 상이하다. 이 예에서, 이미지 생성 모듈 (160) 은 로케이션 모듈 (38) 이 모바일 디바이스 (18A) 의 업데이트된 현재 로케이션을 제공하는 것에 응답하여 이미지 (170B) 를 생성할 수도 있다.
도 6c는 제 3 이미지 (170C) 를 예시하는 도면인데, 이미지들 (170A - 170C) 은 이미지들 (170) (이것들은 도 5의 예에서 도시되어 있음) 이라고 지칭될 수도 있다. 이미지 (170C) 는 모바일 디바이스 (18A) 가 서라운드 좌측 가상 스피커의 의도된 로케이션에 배치되었음을 나타낸다. 이미지 (170C) 는 모바일 디바이스 (18A) 가 서라운드 좌측 가상 스피커의 의도된 로케이션에 위치되었다는 표시 (174) ("SL") 를 포함한다. 이미지 (170C) 는 디바이스가 서라운드 사운드 후방 좌측 스피커로서 재로케이팅되었음을 나타내는 텍스트 지역 (176) 을 또한 포함하여서, 모바일 디바이스 (18) 가 가상 서라운드 사운드 스피커를 지원하는 의도된 로케이션에 적절히 위치됨을 사용자는 더 잘 이해한다. 이미지 (170C) 는 협업 서라운드 사운드 시스템 (10) 의 서라운드 사운드 좌측 가상 스피커를 지원하는데 참여하는 것으로서 모바일 디바이스 (18A) 를 등록하는 것을 사용자가 확인 (버튼 178A) 또는 취소 (버튼 178B) 하는 것을 가능하게 하는 2 개의 가상 버튼들 (178A 및 178B) 을 더 포함한다.
도 7a 내지 도 7c는 본 개시물에서 설명되는 기법들의 다양한 양태들에 따라 소스 오디오 디바이스 (12) 에 의해 디스플레이된 것으로서 도 5의 예시적인 이미지들 (172A - 172C) 을 더 상세히 도시하는 도면들이다. 도 7a는 제 1 이미지 (170A) 를 도시하는 도면인데, 제 1 이미지는 스피커 섹터들 (192A - 192E), 스피커들 (이것들은 모바일 디바이스들 (18) 을 나타낼 수도 있음) (194A - 194E), 의도된 서라운드 사운드 가상 스피커 좌측 표시 (196) 및 화살표 198A를 포함한다. 스피커 섹터들 (192A - 192E) ("스피커 섹터들 (192)") 은 각각이 5.1 서라운드 사운드 포맷의 상이한 스피커 섹터를 나타낼 수도 있다. 5 개 스피커 섹터들을 포함하는 것으로 도시되었지만, 그 기법들은 7.1 서라운드 사운드 포맷과 신흥 3차원 서라운드 사운드 포맷들을 수용하는 7 개 스피커 섹터들을 포함한 스피커 섹터들의 임의의 구성에 관해 구현될 수도 있다.
스피커들 (194A - 194E) ("스피커들 (194)") 은 스피커들 (194) 의 현재 로케이션을 나타낼 수도 있는데, 스피커들 (194) 은 도 1의 예에서 도시된 스피커들 (16) 과 모바일 디바이스들 (18) 을 나타낼 수도 있다. 적절히 위치된 경우, 스피커들 (194) 은 가상 스피커들의 의도된 로케이션을 나타낼 수도 있다. 스피커들 (194) 중 하나 이상의 스피커가 가상 스피커들 중 하나 이상의 가상 스피커를 지원하기 위해 적절히 위치되지 않는다는 검출 시, 헤드엔드 디바이스 (14) 는 스피커들 (194) 중 하나 이상의 스피커가 이동될 것임을 표시하는 화살표 198A를 갖는 이미지 (172A) 를 생성할 수도 있다. 도 7a의 예에서, 모바일 디바이스 (18A) 는 서라운드 사운드 좌측 (SL) 스피커 (194C) 를 나타내는데, 이 SL 스피커는 서라운드 우측 (SR) 스피커 섹터 (192D) 내에서 제자리에 있지 않게 위치된다. 따라서, 헤드엔드 디바이스 (14) 는 SL 스피커 (194C) 가 의도된 SL 포지션 (196) 으로 이동될 것임을 표시하는 화살표 198A를 갖는 이미지 (172A) 를 생성한다. 의도된 SL 포지션 (196) 은 SL 스피커 (194C) 의 의도된 포지션을 나타내는데, 화살표 198A는 SL 스피커 (194C) 의 현재 로케이션으로부터 의도된 SL 포지션 (196) 을 가리킨다. 헤드엔드 디바이스 (14) 는 모바일 디바이스 (18A) 의 재로케이팅을 한층 더 용이하게 하기 위해 모바일 디바이스 (18A) 상의 디스플레이를 위해 위에서 설명된 이미지 (170A) 를 또한 생성할 수도 있다.
도 7b는 제 2 이미지 (172B) 를 예시하는 도면인데, 이미지 (172B) 가 좌측으로 이동한 SL 스피커 (194C) 의 현재 로케이션을 갖는 새로운 화살표 198B를 포함한다는 것을 제외하면 제 2 이미지는 이미지 (172A) 와 유사하다. 화살표 198B는, 화살표 198A처럼, 의도된 로케이션에 모바일 디바이스 (18A) 를 배치하기 위해 모바일 디바이스 (18A) 가 이동될 방향을 나타낼 수도 있다. 이미지 (172A) 가 제시되었던 경우 모바일 디바이스 (18A) 의 로케이션에 비하여 모바일 디바이스 (18A) 가 의도된 로케이션에 더 가까이 이동하였음을 나타내는 화살표 198B는 화살표 198B가 더 짧은 길이를 갖는다는 점에서 화살표 198A와는 상이하다. 이 예에서, 이미지 생성 모듈 (160) 은 로케이션 모듈 (38) 이 모바일 디바이스 (18A) 의 업데이트된 현재 로케이션을 제공하는 것에 응답하여 이미지 (172B) 를 생성할 수도 있다.
도 7c는 제 3 이미지 (172C) 를 예시하는 도면인데, 이미지들 (172A - 172C) 은 이미지들 (172) (이것들은 도 5의 예에서 도시되어 있음) 이라고 지칭될 수도 있다. 이미지 (172C) 는 모바일 디바이스 (18A) 가 서라운드 좌측 가상 스피커의 의도된 로케이션에 배치되었음을 나타낸다. 이미지 (170C) 는 (실선의 SL 스피커 (194C) 로 대체하여 SL 표시 (196) 의 파선들을 제거하여) 의도된 로케이션 표시 (196) 를 제거하고 SL 스피커 (194C) 가 적절히 배치됨을 나타내는 것에 의해 이 적절한 배치를 나타낸다. 이미지 (172C) 는, 모바일 디바이스 (18A) 가 협업 서라운드 사운드 시스템 (10) 의 SL 가상 스피커를 지원하는데 참여한다는 것을 사용자가 이미지 (170C) 의 확인 버튼 (178A) 을 사용하여 확인하는 것에 응답하여 생성되고 디스플레이될 수도 있다.
이미지들 (170 및/또는 172) 을 사용하여, 협업 서라운드 사운드 시스템의 사용자는 협업 서라운드 사운드 시스템의 SL 스피커를 SL 스피커 섹터로 이동시킬 수도 있다. 헤드엔드 디바이스 (14) 는 방 설정 내의 SL 스피커의 이동을 반영하여 사용자의 SL 스피커 재포지셔닝을 용이하게 하기 위해 위에서 설명된 바와 같이 이들 이미지들을 주기적으로 업데이트할 수도 있다. 다시 말하면, 헤드엔드 디바이스 (14) 는 스피커로 하여금 위에서 언급된 사운드를 지속적으로 방출하게 하며, 이 사운드를 검출하고, 이미지 내에서 이 스피커의 로케이션을 다른 스피커들에 대하여 업데이트하게할 수도 있는데, 그 헤드엔드 디바이스에서 이 업데이트된 이미지는 그 다음에 디스플레이된다. 이러한 방식으로, 그 기법들은 더욱 몰입적 서라운드 사운드 경험을 위한 더욱 정확한 사운드 스테이지를 재현하는 더욱 최적의 서라운드 사운드 스피커 구성을 잠재적으로 달성하기 위해 협업 서라운드 사운드 시스템의 적응적 구성을 촉진할 수도 있다.
도 8a 내지 도 8c는 본 개시물에서 설명되는 협업 서라운드 사운드 시스템 기법들의 다양한 양태들을 수행함에 있어서 헤드엔드 디바이스 (14) 및 모바일 디바이스들 (18) 의 예의 동작을 도시하는 흐름도들이다. 도 5의 예들에서 모바일 디바이스들 (18) 중 특정 하나의 모바일 디바이스, 즉, 모바일 디바이스 (18A) 에 관해 아래에서 설명되지만, 그 기법들은 모바일 디바이스 (18A) 에 관해 본원에서 설명되는 것과 유사한 방식으로 모바일 디바이스들 (18B - 18N) 에 의해 수행될 수도 있다.
처음에, 모바일 디바이스 (18A) 의 제어 유닛 (40) 은 협업 사운드 시스템 애플리케이션 (42) 을 실행할 수도 있다 (210). 협업 사운드 시스템 애플리케이션 (42) 은 먼저 무선 네트워크 상의 헤드엔드 디바이스 (14) 의 존재를 로케이팅하는 것을 시도할 수도 있다 (212). 협업 사운드 시스템 애플리케이션 (42) 이 네트워크 상에서 헤드엔드 디바이스 (14) 를 로케이팅할 수 없으면 ("아니오" 214), 모바일 디바이스 (18A) 는 그 네트워크 상에서 헤드엔드 디바이스 (14) 를 로케이팅하는 것을 계속 시도할 수도 있는 한편, 헤드엔드 디바이스 (14) 를 로케이팅함에 있어서 사용자에게 도움을 주는 문제해결 팁들을 또한 잠재적으로 제시할 수도 있다 (212). 그러나, 협업 사운드 시스템 애플리케이션 (42) 이 헤드엔드 디바이스 (14) 를 로케이팅하면 ("예" 214), 협업 사운드 시스템 애플리케이션 (42) 은 세션 (22A) 을 확립하고 세션 (22A) 을 통해 헤드엔드 디바이스 (14) 에 등록하여 (216), 헤드엔드 디바이스 (14) 가 모바일 디바이스 (18A) 를, 스피커 (20A) 를 구비하고 협업 서라운드 사운드 시스템 (10) 에 참여할 수 있는 디바이스로서 식별하는 것을 효과적으로 가능하게 할 수도 있다.
헤드엔드 디바이스 (14) 에 등록한 후, 협업 사운드 시스템 애플리케이션 (42) 은 데이터 수집 엔진 (46) 을 호출할 수도 있는데, 그 데이터 수집 엔진은 위에서 설명된 방식으로 모바일 디바이스 데이터 (60) 를 수집한다 (218). 데이터 수집 엔진 (46) 은 그 다음에 모바일 디바이스 데이터 (60) 를 헤드엔드 디바이스 (14) 로 전송할 수도 있다 (220). 헤드엔드 디바이스 (14) 의 데이터 취출 엔진 (32) 은 모바일 디바이스 데이터 (60) 를 수신하고 (221), 이 모바일 디바이스 데이터 (60) 가 헤드엔드 디바이스 (14) 에 대한 모바일 디바이스 (18A) 의 로케이션을 특정하는 로케이션 데이터를 포함하는지의 여부를 결정한다 (222). 헤드엔드 디바이스 (14) 가 모바일 디바이스 (18A) 를 정확히 로케이팅하는 것을 가능하게 하는데 로케이션 데이터 (이를테면 30 피트 이내로만 정확한 GPS 데이터) 가 불충분하면 또는 로케이션 데이터가 모바일 디바이스 데이터 (60) 에 존재하지 않으면 ("아니오" 222), 데이터 취출 엔진 (32) 은 로케이션 모듈 (38) 을 호출할 수도 있는데, 그 로케이션 모듈은 협업 사운드 시스템 애플리케이션 (42) 에 의해 호출된 데이터 수집 엔진 (46) 의 로케이션 모듈 (48) 과 인터페이싱하여 모바일 디바이스 (18A) 의 로케이션 모듈 (48) 로 톤 (61) 을 전송한다 (224). 모바일 디바이스 (18A) 의 로케이션 모듈 (48) 은 그러면 이 톤 (61) 을 오디오 플레이백 모듈 (44) 로 전달하는데, 그 오디오 플레이백 모듈은 스피커 (20A) 와 인터페이싱하여 톤 (61) 을 재생한다 (226).
한편, 헤드엔드 디바이스 (14) 의 로케이션 모듈 (38) 은, 톤 (61) 을 전송한 후, 마이크로폰과 인터페이싱하여 스피커 (20A) 에 의한 톤 (61) 의 재생을 검출할 수도 있다 (228). 헤드엔드 디바이스 (14) 의 로케이션 모듈 (38) 은 그 다음에 톤 (61) 의 검출된 재생에 기초하여 모바일 디바이스 (18A) 의 로케이션을 결정할 수도 있다 (230). 톤 (61) 을 사용하여 모바일 디바이스 (18A) 의 로케이션을 결정한 후, 헤드엔드 디바이스 (18) 의 데이터 취출 모듈 (32) 은 결정된 로케이션을 포함하게 모바일 디바이스 데이터 (60) 를 업데이트함으로써, 업데이트된 모바일 디바이스 데이터 (64) 를 생성할 수도 있다 (231).
헤드엔드 디바이스 (14) 는 그 다음에 위에서 설명된 방식으로 모바일 디바이스들 (18) 중 하나 이상의 모바일 디바이스를 재로케이팅할지의 여부를 결정할 수도 있다 (도 8b; 232). 헤드엔드 디바이스 (14) 가, 하나의 예로서, 모바일 디바이스 (18A) 를 재로케이팅할 것을 결정하면 ("예" 232), 헤드엔드 디바이스 (14) 는 모바일 디바이스 (18A) 의 디스플레이 디바이스 (164) 를 위한 제 1 이미지 (170A) 를 생성 (234) 하기 위해, 그리고 헤드엔드 시스템 (14) 에 커플링된 소스 오디오 디바이스 (12) 의 디스플레이 디바이스 (166) 를 위한 제 2 이미지 (172A) 를 생성 (236) 하기 위해 이미지 생성 모듈 (160) 을 호출할 수도 있다. 이미지 생성 모듈 (160) 은 그 다음에 제 1 이미지 (170A) 를 디스플레이하기 위해 모바일 디바이스 (18A) 의 디스플레이 디바이스 (164) 와 인터페이싱하는 (238) 한편, 제 2 이미지 (172A) 를 디스플레이하기 위해 헤드엔드 시스템 (14) 에 커플링된 오디오 소스 디바이스 (12) 의 디스플레이 디바이스 (166) 와 인터페이싱할 수도 있다 (240). 헤드엔드 디바이스 (14) 의 로케이션 모듈 (38) 은 모바일 디바이스 (18A) 의 업데이트된 현재 로케이션을 결정할 수도 있는데 (242), 로케이션 모듈 (38) 은 모바일 디바이스 (18A) 에 의해 지원될 가상 스피커 (이를테면 도 7a 내지 도 7c의 예들에서 도시된 SL 가상 스피커) 의 의도된 로케이션과 업데이트된 현재 로케이션에 기초하여 모바일 디바이스 (18A) 가 적절히 위치되었는지의 여부를 결정할 수도 있다 (244).
적절히 위치되지 않았으면 ("아니오" 244), 헤드엔드 디바이스 (14) 는 모바일 디바이스 (18A) 에 의해 지원될 가상 스피커의 의도된 로케이션을 기준으로 모바일 디바이스 (18A) 의 현재 로케이션을 반영하는, 개별 디스플레이들 (164 및 166) 을 통한 디스플레이를 위한 이미지들 (이를테면 이미지들 (170B 및 172B)) 을 생성하는 것을 위에서 설명된 방식으로 계속할 수도 있다 (234 - 244). 적절히 위치되었으면 ("예" 244), 헤드엔드 디바이스 (14) 는 모바일 디바이스 (18A) 가 협업 서라운드 사운드 시스템 (10) 의 가상 서라운드 사운드 스피커들 중 대응하는 가상 서라운드 사운드 스피커를 지원하는데 참여할 것이라는 확인을 수신할 수도 있다.
도 8b를 다시 참조하면, 모바일 디바이스들 (18) 중 하나 이상의 모바일 디바이스를 재로케이팅한 후, 로케이션 데이터가 모바일 디바이스 데이터 (60) 내에 존재한다고 (또는 헤드엔드 디바이스 (14) 가 헤드엔드 디바이스 (14) 에 대해 모바일 디바이스 (18A) 를 로케이팅하는 것을 가능하게 하는데 충분히 정확하다고) 데이터 취출 모듈 (32) 이 결정하면 또는 결정된 로케이션을 포함하는 업데이트된 모바일 디바이스 데이터 (64) 를 생성한 후, 데이터 취출 모듈 (32) 은 헤드엔드 디바이스 (14) 에 등록된 모바일 디바이스들 (18) 중 각각의 모바일 디바이스로부터 모바일 디바이스 데이터 (60) 를 취출하는 것을 종료하였는지의 여부를 결정할 수도 있다 (246). 헤드엔드 디바이스 (14) 의 데이터 취출 모듈 (32) 이 모바일 디바이스들 (18) 중 각각의 모바일 디바이스로부터 모바일 디바이스 데이터 (60) 를 취출하는 것을 종료하지 않았으면 ("아니오" 246), 데이터 취출 모듈 (32) 은 위에서 설명된 방식으로 모바일 디바이스 데이터 (60) 를 계속 취출하고 업데이트된 모바일 디바이스 데이터 (64) 를 생성한다 (221 - 246). 그러나, 데이터 취출 모듈 (32) 이 모바일 디바이스 데이터 (60) 를 수집하는 것과 업데이트된 모바일 디바이스 데이터 (64) 를 생성하는 것을 종료하였다고 데이터 취출 모듈 (32) 이 결정하면 ("예" 246), 데이터 취출 모듈 (32) 은 업데이트된 모바일 디바이스 데이터 (64) 를 오디오 렌더링 엔진 (36) 으로 전달한다.
오디오 렌더링 엔진 (36) 은, 이 업데이트된 모바일 디바이스 데이터 (64) 의 수신에 응답하여, 소스 오디오 데이터 (37) 를 취출할 수도 있다 (248). 오디오 렌더링 엔진 (36) 은, 소스 오디오 데이터 (37) 를 렌더링하는 경우, 위에서 설명된 방식으로 모바일 디바이스 데이터 (64) 에 기초하여 소스 오디오 데이터 (37) 로부터의 오디오 신호들 (66) 을 렌더링할 수도 있다 (250). 일부 예들에서, 오디오 렌더링 엔진 (36) 은 먼저, 다중-채널 소스 오디오 데이터 (37) 의 플레이백을 수용하기 위해 스피커들이 배치되어 하는 섹터들을 나타내는 스피커 섹터들을 결정할 수도 있다. 예를 들어, 5.1 채널 소스 오디오 데이터는 전방 좌측 채널, 중앙 채널, 전방 우측 채널, 서라운드 좌측 채널, 서라운드 우측 채널 및 서브우퍼 채널을 포함한다. 낮은 주파수들이 헤드엔드 디바이스에 관해 서브우퍼의 로케이션에 상관 없이 충분한 영향을 통상적으로 제공한다는 것을 감안하면 서브우퍼 채널은 지향성이 아니거나 또는 고려할 가치가 없다. 다른 5 개 채널들은, 그러나, 몰입적 오디오 플레이백을 위한 최상의 사운드 스테이지를 제공하기 위해 적절히 배치되는 것을 필요로 할 수도 있다. 오디오 렌더링 엔진 (36) 은, 일부 예들에서, 방의 경계들을 도출하기 위해 로케이션 모듈 (38) 과 인터페이싱할 수도 있으며, 이로 인해 로케이션 모듈 (38) 은 벽들, 사람들, 가구들 등의 로케이션을 식별하기 위해서 스피커들 (16) 중 하나 이상의 스피커 및/또는 스피커들 (20) 로 하여금 톤들 또는 사운드들을 방출하게 할 수도 있다. 이 방 또는 오브젝트 로케이션 정보에 기초하여, 오디오 렌더링 엔진 (36) 은 전방 좌측 스피커, 중앙 스피커, 전방 우측 스피커, 서라운드 좌측 스피커 및 서라운드 우측 스피커의 각각에 대한 스피커 섹터들을 결정할 수도 있다.
이들 스피커 섹터들에 기초하여, 오디오 렌더링 엔진 (36) 은 협업 서라운드 사운드 시스템 (10) 의 가상 스피커들의 로케이션을 결정할 수도 있다. 다시 말하면, 오디오 렌더링 엔진 (36) 은 스피커 섹터들의 각각 내의 가상 스피커들을 방 또는 오브젝트 로케이션 정보를 기준으로 종종 최적의 또는 준 최적의 로케이션들에 배치시킬 수도 있다. 오디오 렌더링 엔진 (36) 은 그 다음에 모바일 디바이스 데이터 (18) 에 기초하여 모바일 디바이스들 (18) 을 각각의 가상 스피커에 매핑할 수도 있다.
예를 들어, 오디오 렌더링 엔진 (36) 은 먼저, 업데이트된 모바일 디바이스 데이터 (60) 에서 특정된 모바일 디바이스들 (18) 중 각각의 모바일 디바이스의 로케이션을 고려하여, 모바일 디바이스들 (18) 의 결정된 로케이션에 가장 가까운 가상 로케이션을 갖는 가상 스피커들에 그 디바이스들을 매핑시킬 수도 있다. 오디오 렌더링 엔진 (36) 은 현재 할당된 모바일 디바이스가 가상 스피커의 로케이션에 얼마나 가까운지에 기초하여 모바일 디바이스들 (18) 중 하나를 초과하는 모바일 디바이스들을 가상 스피커에 매핑할지의 여부를 결정할 수도 있다. 더구나, 오디오 렌더링 엔진 (36) 은, 모바일 디바이스들 (18) 중 둘 이상의 모바일 디바이스들을, 그 둘 이상의 모바일 디바이스들 (18) 중 하나의 모바일 디바이스에 연관된 리파인된 전력 데이터 (62) 가 소스 오디오 데이터 (37) 를 전체적으로 플레이백하는데 불충분한 경우, 동일한 가상 스피커에 매핑할 것을 결정할 수도 있다. 오디오 렌더링 엔진 (36) 은 스피커 특성들을 포함한 모바일 디바이스 데이터 (60) 의 다른 양태들에 기초하여 이들 모바일 디바이스들 (18) 을 또한 매핑할 수도 있다.
여하튼, 오디오 렌더링 엔진 (36) 은 그 다음에, 위에서 더 상세히 설명된 바와 같이, 소스 오디오 데이터 (37) 로부터의 오디오 신호들 (66) 을 렌더링하기 위해 사전-프로세싱 기능들을 인스턴스화하거나 또는 그렇지 않으면 정의할 수도 있다. 이러한 방식으로, 오디오 렌더링 엔진 (36) 은 가상 스피커들의 로케이션 및 모바일 디바이스 데이터 (60) 에 기초하여 소스 오디오 데이터 (37) 를 렌더링할 수도 있다. 위에서 언급했듯이, 오디오 렌더링 엔진 (36) 은 이 오디오 데이터를 프로세싱하는 경우 모바일 디바이스들 (18) 중 각각의 모바일 디바이스로부터의 모바일 디바이스 데이터 (60) 를 종합하여 또는 전체로서 고려할 수도 있지만, 별개의 오디오 신호들 (66) 또는 그 부분들을 모바일 디바이스들 (18) 의 각각으로 송신할 수도 있다. 따라서, 오디오 렌더링 엔진 (36) 은 렌더링된 오디오 신호들 (66) 을 모바일 디바이스들 (18) 로 송신한다 (252).
이 렌더링된 오디오 신호들 (66) 의 수신에 응답하여, 협업 사운드 시스템 애플리케이션 (42) 은 오디오 플레이백 모듈 (44) 과 인터페이싱하며, 그 오디오 플레이백 모듈은 결국 스피커 (20A) 와 인터페이싱하여 렌더링된 오디오 신호들 (66) 을 플레이한다 (254). 위에서 언급했듯이, 협업 사운드 시스템 애플리케이션 (42) 은 모바일 디바이스 데이터 (60) 중 어느 것이라도 변경되었거나 또는 업데이트되었는지를 결정하기 위해 데이터 수집 엔진 (46) 을 주기적으로 호출할 수도 있다 (256). 모바일 디바이스 데이터 (60) 가 변경되지 않았다면 ("아니오" 256), 모바일 디바이스 (18A) 는 렌더링된 오디오 신호들 (66) 을 계속 플레이할 수도 있다 (254). 그러나, 모바일 디바이스 데이터 (60) 가 변경되었거나 또는 업데이트되었다면 ("예" 256), 데이터 수집 엔진 (46) 은 이 변경된 모바일 디바이스 데이터 (60) 를 헤드엔드 디바이스 (14) 의 데이터 취출 엔진 (32) 으로 송신할 수도 있다 (258).
데이터 취출 엔진 (32) 은 이 변경된 모바일 디바이스 데이터를 오디오 렌더링 엔진 (36) 으로 전달할 수도 있으며, 그 오디오 렌더링 엔진은 변경된 모바일 디바이스 데이터 (60) 에 기초하여 가상 스피커 구성을 통해 모바일 디바이스 (18A) 가 매핑했던 채널을 프로세싱하는 사전-프로세싱 기능들을 수정할 수도 있다. 아래에서 더 상세히 설명되는 바와 같이, 일반적으로 업데이트된 또는 변경된 모바일 디바이스 데이터 (60) 는, 소비 전력에서의 변경들로 인해 또는 모바일 디바이스 (18A) 가 다른 태스크, 이를테면 오디오 플레이백을 인터럽트하는 음성 통화에 의해 미리 점유되기 때문에 변경한다. 이러한 방식으로, 오디오 렌더링 엔진 (36) 은 업데이트된 모바일 디바이스 데이터 (64) 에 기초하여 소스 오디오 데이터 (37) 로부터의 오디오 신호들 (66) 을 렌더링할 수도 있다 (260).
어떤 경우들에서, 데이터 취출 엔진 (32) 은 데이터 취출 모듈 (32) 의 로케이션 모듈 (38) 이 모바일 디바이스 (18A) 의 로케이션에서의 변경을 검출할 수도 있다는 의미에서 모바일 디바이스 데이터 (60) 가 변경하였다고 결정할 수도 있다. 다르게 말하면, 데이터 취출 모듈 (32) 은 모바일 디바이스들 (18) 의 현재 로케이션을 결정하기 위해 로케이션 모듈 (38) 을 주기적으로 호출할 수도 있다 (또는, 대안으로, 로케이션 모듈 (38) 은 모바일 디바이스들 (18) 의 로케이션을 지속적으로 모니터링할 수도 있다). 로케이션 모듈 (38) 은 그 다음에 모바일 디바이스들 (18) 중 하나 이상의 모바일 디바이스가 이동되었는지의 여부를 결정함으로써, (예를 들어, 사용자가 텍스트 메시지를 보기 위해 모바일 디바이스를 집어 든 다음 그 모바일 디바이스를 상이한 로케이션에 내려 놓으면, 발생할 수도 있는 것과 같은) 모바일 디바이스들 (18) 의 로케이션에서의 진행중인 변경들을 수용하기 위해 사전-프로세싱 기능들을 오디오 렌더링 엔진 (36) 이 동적으로 수정하는 것을 가능하게 할 수도 있다. 따라서, 그 기법은, 비록 모바일 디바이스들 (18) 이 플레이백 동안에 이동될 수도 있거나 또는 재로케이팅될 수도 있더라도, 전체 플레이백 동안에 가상 스피커들이 최적의 로케이션들에 적어도 근접하게 유지되는 것을 잠재적으로 보장하기 위해 동적 셋팅들에서 적용가능할 수도 있다.
도 9a 내지 도 9c는 본 개시물에서 설명되는 기법들에 따라 형성된 다양한 구성들의 협업 서라운드 사운드 시스템 (270A - 270C) 을 예시하는 블록도들이다. 도 9a는 제 1 구성의 협업 서라운드 사운드 시스템 (270A) 을 예시하는 블록도이다. 도 9a에서 도시된 바와 같이, 협업 서라운드 사운드 시스템 (270A) 은 소스 오디오 디바이스 (272), 헤드엔드 디바이스 (274), 전방 좌측 및 전방 우측 스피커들 (276A, 276B) ("스피커들 (276)") 그리고 스피커 (280A) 를 구비한 모바일 디바이스 (278A) 를 포함한다. 디바이스들 및/또는 스피커들의 각각 (272 - 278) 은 도 1, 도 2, 도 3a 내지 도3c, 도 5, 도 8a 내지 도 8c의 예들에 관해 위에서 설명된 디바이스들 및/또는 스피커들 중 대응하는 것 (12 - 18) 과 유사하거나 또는 실질적으로 유사할 수도 있다.
헤드엔드 디바이스 (274) 의 오디오 렌더링 엔진 (36) 은 그러므로 리파인된 전력 데이터 (62) 를 포함하는 업데이트된 모바일 디바이스 데이터 (64) 를 위에서 설명된 방식으로 수신할 수도 있다. 오디오 렌더링 엔진 (36) 은 위에서 더 상세히 설명된 기법들의 제약된 벡터 기반 동적 진폭 패닝 양태들을 사용하여 오디오 분배를 효과적으로 수행할 수도 있다. 이런 이유로, 오디오 렌더링 엔진 (36) 은 오디오 분배 엔진이라고 지칭될 수도 있다. 오디오 렌더링 엔진 (36) 은 리파인된 전력 데이터 (62) 을 포함한 업데이트된 모바일 디바이스 데이터 (64) 에 기초하여 이 제약된 벡터 기반 동적 진폭 패닝을 수행할 수도 있다.
도 9a의 예에서, 단일의 모바일 디바이스 (278A) 만이 협업 서라운드 사운드 시스템 (270A) 의 하나 이상의 가상 스피커의 지원에 참여한다고 가정된다. 이 예에서, 단지 2 개의 스피커들 (276) 과 모바일 디바이스 (278A) 의 스피커 (280A) 만이 협업 서라운드 사운드 시스템 (270A) 에 참여하고 있는데, 이 협업 서라운드 사운드 시스템은 5.1 서라운드 사운드 포맷들을 렌더링하는데 통상적으로 충분하지 않지만, 다른 서라운드 사운드 포맷들, 이를테면 돌비 서라운드 사운드 포맷들에 대해서는 충분할 수도 있다. 이 예에서, 리파인된 전력 데이터 (62) 는 모바일 디바이스 (278A) 가 단지 30% 전력만이 남아 있는 것을 나타낸다고 가정된다.
협업 서라운드 사운드 시스템 (270A) 의 가상 스피커들의 지원 하에 스피커들을 위한 오디오 신호들을 렌더링함에 있어서, 헤드엔드 디바이스 (274) 는 먼저, 모바일 디바이스 (278A) 에 의해 플레이될 소스 오디오 데이터 (37) 의 지속기간에 관련하여 이 리파인된 전력 데이터 (62) 를 고려할 수도 있다. 예시하기 위해, 헤드엔드 디바이스 (274) 는, 소스 오디오 데이터 (37) 의 할당된 하나 이상의 채널들을 최대 볼륨으로 플레이하는 경우, 리파인된 전력 데이터 (62) 에 의해 식별된 30% 전력 레벨이 모바일 디바이스 (278A) 가 소스 오디오 데이터 (37) 의 대략 30 분을 플레이하는 것을 가능하게 할 것이라고 결정할 수도 있는데, 이 30 분은 예상된 전력 지속기간이라고 지칭될 수도 있다. 헤드엔드 디바이스 (274) 는 그 다음에 소스 오디오 데이터 (37) 가 50 분의 소스 오디오 지속기간을 갖는다고 결정할 수도 있다. 이 소스 오디오 지속기간과 예상된 전력 지속기간을 비교하여, 헤드엔드 디바이스 (274) 의 오디오 렌더링 엔진 (36) 은 예상된 전력 지속기간이 소스 오디오 지속기간을 초과할 수도 있도록 예상된 전력 지속기간을 증가시키는 모바일 디바이스 (278A) 에 의한 플레이백을 위한 오디오 신호들을 생성하기 위해 제약된 벡터 기반 동적 진폭 패닝을 사용하여 소스 오디오 데이터 (37) 를 렌더링할 수도 있다. 하나의 예로서, 오디오 렌더링 엔진 (36) 은, 볼륨을 6 dB만큼 낮추는 것에 의해, 예상된 전력 지속기간이 대략 60 분으로 증가한다고 결정할 수도 있다. 그 결과, 오디오 렌더링 엔진 (36) 은 볼륨의 측면에서 6 dB 이하가 되도록 조절된 모바일 디바이스 (278A) 를 위해 오디오 신호들 (66) 을 렌더링하는 사전-프로세싱 기능을 정의할 수도 있다.
오디오 렌더링 엔진 (36) 은 모바일 디바이스 (278A) 의 예상된 전력 지속기간을 주기적으로 또는 지속적으로 모니터링하여, 모바일 디바이스 (278A) 가 소스 오디오 데이터 (37) 를 전체적으로 플레이백하는 것을 가능하게 하기 위해 사전-프로세싱 기능들을 업데이트 또는 재정의할 수도 있다. 일부 예들에서, 모바일 디바이스 (278A) 의 사용자가 전력 레벨들에 관하여 한계들 (cutoffs) 또는 다른 메트릭들을 특정하는 선호조건들을 정의할 수도 있다. 다시 말하면, 사용자는 하나의 예로서, 소스 오디오 데이터 (37) 의 플레이백이 완료된 후, 모바일 디바이스 (278A) 가 적어도 남아있는 전력의 특정 량, 예컨대, 50 퍼센트를 갖는 것을 요구하기 위해 모바일 디바이스 (278A) 와 인터페이싱할 수도 있다. 사용자는 소스 오디오 데이터 (37) 의 플레이백 후에 모바일 디바이스 (278A) 를 변경하는 일 없이 모바일 디바이스 (278A) 가 다른 목적들 (예컨대, 비상시 목적들, 전화 통화, 이메일, 텍스트 메시징, GPS를 사용한 로케이션 안내 등) 을 위해 채용될 수도 있도록 그러한 전력 선호조건들을 설정할 것을 원할 수도 있다.
도 9b는, 협업 서라운드 사운드 시스템 (270B) 이 2 개의 모바일 디바이스들 (278A, 278B) 을 구비하고 그 모바일 디바이스들의 각각은 스피커를 (제각기 스피커들 (280A 및 280B) 을) 구비한다는 것을 제외하면, 도 9a의 예에서 도시된 협업 서라운드 사운드 시스템 (270A) 과 실질적으로 유사한 다른 구성의 협업 서라운드 사운드 시스템 (270B) 을 도시하는 블록도이다. 도 9b의 예에서, 헤드엔드 디바이스 (274) 의 오디오 렌더링 엔진 (36) 은 모바일 디바이스 (278A) 가 그것의 배터리 전력 단지 20%만 남아있는 반면 모바일 디바이스 (278B) 가 그것의 배터리 전력 100% 남아있음을 나타내는 리파인된 전력 데이터 (62) 를 수신하였다고 가정된다. 위에서 설명된 바와 같이, 오디오 렌더링 엔진 (36) 은 모바일 디바이스 (278A) 의 예상된 전력 지속기간과 소스 오디오 데이터 (37) 에 대해 결정된 소스 오디오 지속기간을 비교할 수도 있다.
예상된 전력 지속기간이 소스 오디오 지속기간 미만이면, 오디오 렌더링 엔진 (36) 은 모바일 디바이스 (278A) 가 렌더링된 오디오 신호들 (66) 을 전체적으로 플레이백하는 것을 가능하게 하는 방식으로 소스 오디오 데이터 (37) 로부터의 오디오 신호들 (66) 을 렌더링할 수도 있다. 도 9b의 예에서, 오디오 렌더링 엔진 (36) 은 소스 오디오 데이터 (37) 의 서라운드 사운드 좌측 채널의 하나 이상의 양태들과 소스 오디오 데이터 (37) 의 렌더링된 전방 좌측 채널을 크로스믹싱하기 위해 이 서라운드 사운드 좌측 채널을 렌더링할 수도 있다. 어떤 경우들에서, 오디오 렌더링 엔진 (36) 은 서라운드 사운드 좌측 채널의 더 낮은 주파수들의 일부 부분과 전방 좌측 채널을 크로스믹싱하는 사전-프로세싱 기능을 정의할 수도 있는데, 이 사전-프로세싱 기능은 모바일 디바이스 (278A) 가 고 주파수 콘텐츠를 위한 고음재생스피커 (tweeter) 로서 역할을 하는 것을 효과적으로 가능하게 할 수도 있다. 어떤 경우들에서, 오디오 렌더링 엔진 (36) 은 도 9a의 예에 관해 위에서 설명된 방식으로 볼륨을 줄이고 이 서라운드 사운드 좌측 채널과 전방 좌측 채널을 크로스믹싱하여 서라운드 사운드 좌측 채널에 대응하는 오디오 신호들 (66) 을 플레이하면서도 모바일 디바이스 (278A) 에 의해 소비 전력을 더욱 감소시킬 수도 있다. 이런 점에서, 오디오 렌더링 엔진 (36) 은 소스 오디오 데이터 (37) 의 하나 이상의 채널들에 대응하는 오디오 신호들 (66) 을 플레이하면서도 모바일 디바이스 (278A) 에 의한 소비 전력을 감소시키기 위한 노력의 일환으로 동일한 채널을 프로세싱하기 위해 하나 이상의 상이한 사전-프로세싱 기능들을 적용할 수도 있다.
도 9c는, 협업 서라운드 사운드 시스템 (270C) 이 3 개의 모바일 디바이스들 (278A - 278C) 을 구비하고 그 모바일 디바이스들의 각각은 스피커 (제각기 스피커들 (280A - 280C)) 를 구비한다는 것을 제외하면, 도 9a의 예에서 도시된 협업 서라운드 사운드 시스템 (270A) 과 도 9b의 예에서 도시된 협업 서라운드 사운드 시스템 (270B) 과는 실질적으로 유사한 다른 구성의 협업 서라운드 사운드 시스템 (270C) 을 도시하는 블록도이다. 도 9b의 예에서, 헤드엔드 디바이스 (274) 의 오디오 렌더링 엔진 (36) 은, 모바일 디바이스 (278A) 가 그것의 배터리 전력이 90% 남아있는 반면 모바일 디바이스 (278B) 가 그것의 배터리 전력이 20% 남아있고 모바일 디바이스 (278C) 가 그것의 배터리 전력이 100% 남아있는 것을 나타내는 리파인된 전력 데이터 (62) 를 수신하였다고 가정된다. 위에서 설명된 바와 같이, 오디오 렌더링 엔진 (36) 은 모바일 디바이스 (278B) 의 예상된 전력 지속기간과 소스 오디오 데이터 (37) 에 대해 결정된 소스 오디오 지속기간을 비교할 수도 있다.
예상된 전력 지속기간이 소스 오디오 지속기간 미만이면, 오디오 렌더링 엔진 (36) 은 모바일 디바이스 (278B) 가 렌더링된 오디오 신호들 (66) 을 전체적으로 플레이백하는 것을 가능하게 하는 방식으로 소스 오디오 데이터 (37) 로부터의 오디오 신호들 (66) 을 렌더링할 수도 있다. 도 9c의 예에서, 오디오 렌더링 엔진 (36) 은 소스 오디오 데이터 (37) 의 서라운드 사운드 중앙 채널의 하나 이상의 양태들을 소스 오디오 데이터 (37) 의 서라운드 사운드 좌측 채널 (모바일 디바이스 (278A) 와 연관됨) 및 서라운드 사운드 우측 채널 (모바일 디바이스 (278C) 에 연관됨) 과 크로스믹싱하기 위해 이 서라운드 사운드 중앙 채널에 대응하는 오디오 신호들 (66) 을 렌더링할 수도 있다. 일부 서라운드 사운드 포맷들, 이를테면 5.1 서라운드 사운드 포맷들에서, 이 서라운드 사운드 중앙 채널은 존재하지 않을 수도 있으며, 이 경우 헤드엔드 디바이스 (274) 는 모바일 디바이스 (278B) 를 서라운드 사운드 좌측 가상 스피커 및 서라운드 사운드 우측 가상 스피커 중 하나 또는 양쪽 모두의 지원에 도움이 되는 것으로서 등록시킬 수도 있다. 이 경우, 헤드엔드 디바이스 (274) 의 오디오 렌더링 엔진 (36) 은 위에서 설명된 기법들의 제약된 벡터 기반 진폭 패닝 양태들에 관해 위에서 설명된 방식으로 모바일 디바이스들 (278A 및 278C) 중 하나 또는 양쪽 모두로 전송되는 렌더링된 오디오 신호들 (66) 의 볼륨을 증가시키면서도 모바일 디바이스 (278B) 로 전송되는 소스 오디오 데이터 (37) 로부터 렌더링된 오디오 신호들 (66) 의 볼륨을 감소시킬 수도 있다.
어떤 경우들에서, 오디오 렌더링 엔진 (36) 은 서라운드 사운드 중앙 채널에 연관된 오디오 신호들 (66) 의 더 낮은 주파수들의 일부 부분과 서라운드 사운드 좌측 채널 및 서라운드 사운드 우측 채널에 대응하는 오디오 신호들 (66) 중 하나 이상의 오디오 신호를 크로스믹싱하는 사전-프로세싱 기능을 정의할 수도 있는데, 이 사전-프로세싱 기능은 모바일 디바이스 (278B) 가 고 주파수 콘텐츠에 대한 고음재생스피커로서 역할을 하는 것을 효과적으로 가능하게 할 수도 있다. 어떤 경우들에서, 오디오 렌더링 엔진 (36) 은 도 9a, 도 9b의 예에 관해 위에서 설명된 방식으로 이 크로스믹싱을 수행하면서도 또한 볼륨을 감소시켜서, 서라운드 사운드 중앙 채널에 대응하는 오디오 신호들 (66) 을 플레이하면서도 모바일 디바이스 (278B) 에 의한 소비 전력을 더욱 감소시킬 수도 있다. 다시, 이런 점에서, 오디오 렌더링 엔진 (36) 은 소스 오디오 데이터 (37) 의 할당된 하나 이상의 채널들을 플레이하면서도 모바일 디바이스 (278B) 에 의한 소비 전력을 감소시키기 위한 노력의 일환으로 동일한 채널을 렌더링하기 위해 하나 이상의 상이한 사전-프로세싱 기능들을 적용할 수도 있다.
도 10은 본 개시물에서 설명되는 기법들의 다양한 전력 조절 양태들을 구현함에 있어서, 도 9a 내지 도 9c의 예들에서 도시된 헤드엔드 디바이스 (274) 와 같은 헤드엔드 디바이스의 예시적인 동작을 도시하는 흐름도이다. 위에서 더 상세히 설명된 바와 같이, 헤드엔드 디바이스 (274) 의 데이터 취출 엔진 (32) 은 모바일 디바이스들 (278) 로부터 소비 전력 데이터를 포함하는 모바일 디바이스 데이터 (60) 를 수신한다 (290). 데이터 취출 모듈 (32) 은 전력 프로세싱 모듈 (34) 을 호출하는데, 전력 프로세싱 모듈은 소비 전력 데이터를 프로세싱하여 리파인된 전력 데이터 (62) 를 생성한다 (292). 전력 프로세싱 모듈 (34) 은 이 리파인된 전력 데이터 (62) 를 데이터 취출 모듈 (32) 로 반환하며, 데이터 취출 모듈은 이 리파인된 전력 데이터 (62) 를 포함하게 모바일 디바이스 데이터 (60) 를 업데이트함으로써, 업데이트된 모바일 디바이스 데이터 (64) 를 생성한다.
오디오 렌더링 엔진 (36) 은 리파인된 전력 데이터 (62) 를 포함하는 이 업데이트된 모바일 디바이스 데이터 (64) 를 수신할 수도 있다. 오디오 렌더링 엔진 (36) 은 그 다음에 이 리파인된 전력 데이터 (62) 에 기초하여 소스 오디오 데이터 (37) 로부터 렌더링된 오디오 신호들 (66) 을 플레이하는 경우의 모바일 디바이스들 (278) 의 예상된 전력 지속기간을 결정할 수도 있다 (293). 오디오 렌더링 엔진 (36) 은 소스 오디오 데이터 (37) 의 소스 오디오 지속기간을 또한 결정할 수도 있다 (294). 오디오 렌더링 엔진 (36) 은 그 다음에 모바일 디바이스들 (278) 중 어느 모바일 디바이스에 대해서라도 예상된 전력 지속기간이 소스 오디오 지속기간을 초과하는지의 여부를 결정할 수도 있다 (296). 예상된 전력 지속기간들의 모두가 소스 오디오 지속기간을 초과하면 ("예" 298), 헤드엔드 디바이스 (274) 는 모바일 디바이스들 (278) 의 다른 양태들을 수용하도록 소스 오디오 데이터 (37) 로부터의 오디오 신호들 (66) 을 렌더링한 다음 렌더링된 오디오 신호들 (66) 을 플레이백을 위해 모바일 디바이스들 (278) 로 송신할 수도 있다 (302).
그러나, 예상된 전력 지속기간들 중 적어도 하나가 소스 오디오 지속기간을 초과하지 않는다면 ("아니오" 298), 오디오 렌더링 엔진 (36) 은 대응하는 하나 이상의 모바일 디바이스들 (278) 에 대한 전력 수요들을 줄이기 위해 소스 오디오 데이터 (37) 로부터의 오디오 신호들 (66) 을 위에서 설명된 방식으로 렌더링할 수도 있다 (300). 헤드엔드 디바이스 (274) 는 그 다음에 렌더링된 오디오 신호들 (66) 을 모바일 디바이스 (18) 로 송신할 수도 있다 (302).
기법들의 이들 양태들을 더 상세히 설명하기 위해, 이러한 시스템이 각각의 디바이스의 전력 사용량의 지식을 이용할 수도 있는 방법에 관해 영화-관람 예와 여러 작은 사용 사례들을 고려한다. 위에서 언급된 바와 같이, 모바일 디바이스들은 상이한 형태들, 폰, 테블릿들, 고정식 가전제품들, 컴퓨터 등을 예를 들 수도 있다. 중앙 디바이스는 또한, 강력한 컴퓨테이션 능력을 갖는 스마트 TV, 수신기, 또는 다른 모바일 디바이스일 수 있다.
위에서 설명된 기법들의 전력 최적화 양태들은 오디오 신호 분배들에 관해 설명된다. 하지만, 미디어 재생 확장물들로서 모바일 디바이스의 스크린과 카메라 플래시 액추에이터들을 사용하여 이들 기법들은 확장될 수도 있다. 헤드엔드 디바이스는, 이 예에서, 미디어 소스로부터 학습하고 라이트닝 (lighting) 향상 가능성들에 대해 분석할 수도 있다. 예를 들어, 야간에 뇌우들이 있는 영화에서, 일부 천둥소리들에는 주변 플래시들이 동반됨으로써, 더욱 몰입적이 되도록 시각적 경험을 잠재적으로 향상시킬 수 있다. 교회 관리인 주변에 양초들이 있는 장면의 영화에 대해, 양초들의 확장된 소스가 관리인 주변의 모바일 디바이스들의 스크린들에 렌더링될 수 있다. 이 시각적 도메인에서, 협업 시스템을 위한 전력 분석 및 관리는 위에서 설명된 오디오 시나리오들과 유사할 수도 있다.
도 11 내지 도 13은 다양한 차수들 및 하위-차수들의 구면 조화 기저 함수들을 예시하는 도면들이다. 이들 기저 함수들은 계수들과 연관될 수도 있는데, 이들 계수들은 이산 코사인 변환 (DCT) 계수들이 신호를 표현하기 위해 사용될 수도 있는 방법과는 유사한 방식으로 2 차원 또는 3 차원에서의 음장 (sound field) 을 나타내는데 사용될 수도 있다. 본 개시물에서 설명되는 기법들은 음장을 표현하기 위해 채용될 수도 있는 구면 조화 계수들 또는 임의의 다른 유형의 계층적 엘리먼트들에 관해 수행될 수도 있다. 다음으로 음장을 표현하는데 그리고 더 높은 차수의 앰비소닉 오디오 데이터를 형성하는데 사용되는 구면 조화 계수들의 전개 (evolution) 를 설명한다.
서라운드 사운드의 전개는 오늘날의 엔트테인먼트에 대해 많은 출력 포맷들을 이용가능하게 했다. 이러한 서라운드 사운드 포맷들의 예들은, 인기있는 5.1 포맷 (이는 다음의 6 개 채널들, 즉, 전방 좌측 (FL), 전방 우측 (FR), 중앙 또는 전방 중앙, 후방 좌측 또는 서라운드 좌측, 후방 우측 또는 서라운드 우측, 및 저 주파수 효과 (low frequency effects; LFE) 를 포함함), 성장하는 7.1 포맷, 그리고 새로 나올 22.2 포맷 (예컨대, 초고선명 (Ultra High Definition) 텔레비전 표준과 함께 사용하기 위함) 을 포함한다. 공간적 오디오 포맷의 다른 예는 구면 조화 계수들 (또한 고차 앰비소닉로서 알려져 있음) 이다.
향후 표준화되는 오디오-인코더 (PCM 오디오 표현들을 시간 샘플 당 필요한 비트들의 수를 보존하는 비트스트림으로 변환하는 디바이스) 에 대한 입력은 옵션으로 다음 3 개의 가능한 포맷들 중 하나일 수 있다: (i) 미리 특정된 포지션들의 라우드스피커들을 통해 플레이될 것을 의미하는 전통적인 채널 기반 오디오; (ii) 단일 오디오 오브젝트들을 위한 이산 펄스 코드 변조 (PCM) 데이터와 (다른 정보들 보다도) 그 오디오 오브젝트들의 로케이션 좌표들을 포함하는 연관된 메타데이터를 연계시키는 오브젝트-기반 오디오; 및 (iii) 구면 조화 계수들 (spherical harmonic coefficients; SHC) 을 사용하여 음장을 표현하는 것에 관련한 장면 기반 오디오 - 그 계수들은 구면 조화 기저 함수들의 선형 합계의 '가중치들'을 표현한다. SHC는, 이 맥락에서, 고차 앰비소닉 신호들이라고 또한 알려져 있다.
시장에는 다양한 '서라운드-사운드' 포맷들이 있다. 그것들은, 예를 들어, 5.1 홈 시어터 시스템 (이것은 스테레오를 훨씬 능가하여 거실들 속으로 잠식해 들어간다는 측면에서 성공적이었음) 에서부터 NHK (Nippon Hoso Kyokai 또는 Japan Broadcasting Corporation) 에 의해 개발된 22.2 시스템까지의 범위에 있다. 콘텐츠 제작자들 (예컨대, 헐리우드 스튜디오들) 은 영화에 대한 사운드트랙을 한번 생산하는 것을 바랄 것이고 각각의 스피커 구성을 위해 사운드트랙을 리믹스하는 노력을 낭비하지 않는 것을 바랄 것이다. 최근에, 표준 위원회들은 표준화된 비트스트림으로의 인코딩과 렌더러의 로케이션에서의 스피커 기하구조 및 음항적 조건들에 적응가능하고 불가지론적인 후속 디코딩을 제공하는 방식들을 고려하였다.
콘텐츠 제작자들에게 이러한 유연성을 제공하기 위해, 계층적 엘리먼트 세트가 음장을 표현하는데 사용될 수도 있다. 계층적 엘리먼트 세트는, 더 낮은 차수의 엘리먼트들의 기본적인 세트가 모델링된 음장의 전체 표현을 제공하도록 엘리먼트들이 차수화되는 엘리먼트들의 세트를 지칭할 수도 있다. 그 세트가 고차 엘리먼트들을 포함하도록 확장됨에 따라, 표현은 더 상세해진다.
계층적 엘리먼트 세트의 하나의 예가 구면 조화 계수들 (SHC) 의 세트이다. 다음의 식은 SHC를 사용한 음장의 기술 또는 표현을 입증한다:
Figure pct00022
이 식은 음장의 주어진 지점
Figure pct00023
(이것들은 이 예에서 음장을 캡처하는 마이크로폰을 기준으로 구면 좌표들로 표현됨) 에서의 압력 p i 가 SHC
Figure pct00024
에 의해 고유하게 표현될 수도 있다는 것을 보여준다. 여기서,
Figure pct00025
이며, c는 사운드의 속력 (~343 m/s) 이며,
Figure pct00026
은 참조 지점 (또는 관찰 지점) 이며,
Figure pct00027
는 차수 n의 구면 베셀 함수이고,
Figure pct00028
은 차수 n 및 하위차수 m의 구면 조화 기저 함수들이다. 꺽쇠 괄호들 내의 항은 다양한 시간-주파수 변환들, 이를테면 이산 푸리에 변환 (DFT), 이산 코사인 변환 (DCT), 또는 웨이브릿 변환에 의해 근사화될 수 있는 신호의 주파수-도메인 표현 (즉,
Figure pct00029
) 이다. 계층적 세트들의 다른 예들은 웨이브릿 변환 계수들의 세트들과 다중해상 (multiresolution) 기저 함수들의 계수들의 세트를 포함한다.
도 11은 0차 구면 조화 기저 함수 (410), 1차 구면 조화 기저 함수들 (412A - 412C) 및 2차 구면 조화 기저 함수들 (414A - 414E) 을 예시하는 도면이다. 그 차수는 행들 (416A - 416C) 로서 표시되는 테이블의 행들에 의해 식별되는데, 행 416A는 0 차를 지칭하며, 행 416B는 1차를 지칭하고 행 416C는 2차를 지칭한다. 하위차수는 열들 (418A - 418E) 로서 표시되는 테이블의 열들에 의해 식별되는데, 열 418A는 0의 하위차수를 지칭하며, 열 418B은 제 1의 하위차수를 지칭하며, 열 418C는 음의 제 1의 하위차수를 지칭하며, 열 418D는 제 2의 하위차수를 지칭하고 열 418E는 음의 제 2의 하위차수를 지칭한다. 0차 구면 조화 기저 함수 (410) 에 대응하는 SHC는 음장의 에너지를 특정하는 것으로서 간주될 수도 있는 한편, 나머지 고차 구면 조화 기저 함수들 (예컨대, 구면 조화 기저 함수들 (412A - 412C 및 414A - 414E)) 에 대응하는 SHC들은 그 에너지의 방향을 특정할 수도 있다.
도 2는 0차 (n = 0) 부터 4 차 (n = 4) 까지의 구면 조화 기저 함수들을 예시하는 도면이다. 알 수 있듯이, 각각의 차수에 대해, 예시 목적들의 편의를 위해 도 2의 예에서 도시되지만 명시적으로 언급되지 않은 하위차수들 (m) 의 확장이 있다.
도 3은 0차 (n = 0) 부터 4 차 (n = 4) 까지의 구면 조화 기저 함수들을 예시하는 다른 도면이다. 도 3에서, 구면 조화 기저 함수들은 차수 및 하위차수 양쪽 모두가 도시된 3차원 좌표 공간에서 도시된다.
여하튼, SHC
Figure pct00030
는 다양한 마이크로폰 어레이 구성들에 의해 물리적으로 획득될 (예컨대, 기록될) 수 있거나 또는, 대안으로, 그것들은 음장의 채널 기반 또는 오브젝트-기반 기술들로부터 유도될 수 있다. SHC는 장면 기반 오디오를 나타낸다. 예를 들어, 4차 SHC 표현이 시간 샘플 당 (1+4)2 = 25 개 계수들을 포함한다.
이들 SHC들이 오브젝트-기반 기술로부터 유도될 수도 있는 방법을 예시하기 위해, 다음의 식을 고려한다. 개개의 오디오 오브젝트에 대응하는 음장에 대한 계수들
Figure pct00031
는 다음으로 표현될 수도 있으며:
Figure pct00032
,
여기서 i 는
Figure pct00033
이며,
Figure pct00034
는 차수 n의 (제 2 종류의) 구면 한켈 (Hankel) 함수이고,
Figure pct00035
는 오브젝트의 로케이션이다. 소스 에너지
Figure pct00036
를 (예컨대, PCM 스트림에 대해 고속 푸리에 변환을 수행하는 것과 같은 시간-주파수 분석 기법들을 사용하여) 주파수의 함수로서 아는 것은 각각의 PCM 오브젝트 및 그것의 로케이션을 SHC
Figure pct00037
로 변환하는 것을 허용한다. 게다가, (위의 것이 선형 및 직교 분해이므로) 각각의 오브젝트에 대한
Figure pct00038
계수들이 가법적 (additive) 임을 보여줄 수 있다. 이런 방식으로, 수많은 PCM 오브젝트들이
Figure pct00039
계수들에 의해 (예컨대, 개개의 오브젝트들에 대한 계수 벡터들의 합으로서) 표현될 수 있다. 본질적으로, 이들 계수들은 음장에 대한 정보 (3D 좌표들의 함수로서의 압력) 를 포함하고, 위의 것은 관찰 지점
Figure pct00040
의 부근에서 개개의 오브젝트들로부터 전체 음장의 표현으로의 변환을 나타낸다.
SHC들은 다음과 같은 마이크로폰-어레이 기록으로부터 또한 유도될 수도 있으며:
Figure pct00041
여기서,
Figure pct00042
는
Figure pct00043
(즉, SHC) 의 시간 도메인 등가물이며, *는 콘볼루션 연산을 나타내며, <,>는 내적 (inner product) 을 나타내며, 는 r i 에 종속하는 시간 도메인 필터 함수를 나타내며, m i (t)는 i번째 마이크로폰 신호이며, i번째 마이크로폰 트랜스듀서는 반경 r i , 앙각 (elevation angle) θ i 및 방위각
Figure pct00044
에 위치된다. 따라서, 32 개의 트랜스듀서들이 (mhAcoustics 산 Eigenmike EM32 디바이스 상의 그것들과 같이) 마이크로폰 어레이 내에 있고 각각의 마이크로폰이 r i = a 가 일정하도록 구면 상에 위치되면, 25 개 SHC들은 다음과 같은 행렬 연산을 사용하여 유도될 수도 있다:
Figure pct00045
위의 식에서의 행렬은
Figure pct00046
라고 더 일반적으로 지칭될 수도 있는데, 아래첨자 s는 그 행렬이 특정한 트랜스듀서 기하구조 세트 (s) 를 위한 것임을 나타낼 수도 있다. 위의 식에서의 (*에 의해 표시된) 콘볼루션은 행 단위라서, 예를 들어, 출력
Figure pct00047
는
Figure pct00048
와,
Figure pct00049
행렬의 제 1 행과 마이크로폰 신호들의 열 (이는 시간의 함수로서 가변함 - 벡터 곱셈의 결과가 시간 급수 (time series) 라는 사실을 설명함) 의 벡터 곱셈으로부터 생겨난 시간 급수 사이의 콘볼루션의 결과이다.
본 개시물에서 설명되는 기법들은 이들 구면 조화 계수들에 관해 구현될 수도 있다. 예시하기 위해, 도 2의 예에서 도시된 헤드엔드 디바이스 (14) 의 오디오 렌더링 엔진 (36) 은 이들 SHC를 특정할 수도 있는 소스 오디오 데이터 (37) 로부터의 오디오 신호들 (66) 을 렌더링할 수도 있다. 오디오 렌더링 엔진 (36) 은, SHC가 오브젝트-기반 또는 채널 기반 오디오 데이터보다는 음장을 더 충분히 그리고/또는 더 정확히 기술할 수도 있다는 것을 고려하여, 플레이백 시에 음장을 더 충분히 및/또는 정확히 재현할 수도 있는 다양한 오디오 신호들 (66) 을 렌더링하기 위해, 아마도 스피커들 (16) 및/또는 스피커들 (20) 의 로케이션들을 설명하는 음장을 재현하기 위한 다양한 변환들을 구현할 수도 있다. 더구나, 음장은 SHC를 더 정확히 그리고 더 충분히 사용하여 종종 표현된다는 것을 감안하면, 오디오 렌더링 엔진 (36) 은 스피커들 (16 및 20) 의 대부분의 임의의 로케이션에 맞춤된 오디오 신호들 (66) 을 생성할 수도 있다. SHC는 대부분의 임의의 표준 서라운드 사운드 또는 다중-채널 오디오 포맷 (위에서 언급된 5.1, 7.1 및 22.2 서라운드 사운드 포맷들을 포함함) 에서 만연하는 스피커 로케이션들에 대한 제한들을 효과적으로 제거할 수도 있다.
예에 의존하여, 상이한 시퀀스로 수행될 수 있는, 본원에서 설명된 방법들 중 임의의 것의 특정한 액트들 또는 이벤트들이 부가되거나, 병합되거나, 또는 다함께 제외될 수도 있다 (예컨대, 모든 설명된 액트들 또는 이벤트들이 방법을 실시하는데 필요한 것은 아니다) 는 것이 이해되어야 한다. 더구나, 특정한 예들에서, 액트들 또는 이벤트들은 순차적으로라기 보다는, 예컨대, 다중 스레드식 프로세싱, 인터럽트 프로세싱, 또는 다수의 프로세서들을 통하여 동시에 수행될 수도 있다. 덧붙여서, 본 개시물의 특정한 양태들이 명료함을 위해 단일 모듈 또는 유닛에 의해 수행되는 것으로 설명되어 있지만, 본 개시물의 기법들은 비디오 코더에 연관된 단위들 또는 모듈들의 조합에 의해 수행될 수도 있다는 것이 이해되어야 한다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 그것들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현된다면, 그 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장되거나 또는 그것을 통해 송신될 수도 있고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은, 데이터 저장 매체들과 같은 유형의 (tangible) 매체에 대응하는 컴퓨터 판독가능 저장 매체들, 또는 예컨대 통신 프로토콜에 따라 한 장소에서 다른 장소로 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 통신 매체들을 포함할 수도 있다.
이런 방식으로, 컴퓨터 판독가능 매체들은 일반적으로 (1) 비일시적 (non-transitory) 인 유형의 컴퓨터 판독가능 저장 매체들 또는 (2) 신호 또는 반송파와 같은 통신 매체에 해당할 수도 있다. 데이터 저장 매체들은 본 개시물에서 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.
비제한적인 예로, 이러한 컴퓨터 판독가능 저장 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 소망의 프로그램 코드를 컴퓨터에 의해 액세스될 수 있는 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다. 예를 들어, 명령들이 웹사이트, 서버, 또는 다른 원격 자원으로부터 동축 케이블, 광섬유 케이블, 연선 (twisted pair), 디지털 가입자 회선 (DSL), 또는 무선 기술들 이를테면 적외선, 라디오, 및/또는 마이크로파를 이용하여 송신된다면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술은 매체의 정의에 포함된다.
그러나, 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 커넥션들, 반송파들, 신호들, 또는 다른 일시적인 매체들을 포함하지 않지만, 대신 비일시적, 유형의 저장 매체들을 지향하고 있음이 이해되어야 한다. 디스크 (disk 및 disc) 는 본원에서 사용되는 바와 같이, 콤팩트 디스크 (compact disc, CD), 레이저 디스크, 광 디스크, 디지털 다용도 디스크 (DVD), 플로피 디스크 (floppy disk) 및 블루레이 디스크를 포함하는데, disk들은 보통 데이터를 자기적으로 재생하지만, disc들은 레이저들로써 광적으로 데이터를 재생한다. 상기한 것들의 조합들은 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 프로세서들, 이를테면 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적회로들 (ASIC들), 필드 프로그램가능 로직 어레이들 (FPGA들), 또는 다른 동등한 집적 또는 개별 로직 회로에 의해 실행될 수도 있다. 따라서, 본원에서 사용되는 바와 같은 용어 "프로세서"는 앞서의 구조 또는 본원에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 중 임의의 것을 말할 수도 있다. 덧붙여서, 일부 양태들에서, 본원에서 설명된 기능성은 인코딩 및 디코딩을 위해 구성되는, 또는 결합형 코덱 (codec) 으로 통합되는 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수도 있다. 또한, 본 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들 내에 완전히 구현될 수 있다.
본 개시물의 기법들은 무선 핸드셋, 집적회로 (IC) 또는 IC들의 세트 (예컨대, 칩 셋) 를 포함하는 매우 다양한 디바이스들 또는 장치들로 구현될 수도 있다. 다양한 컴포넌트들, 모듈들, 또는 유닛들은 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시물에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 요구하지는 않는다. 대신에, 위에서 설명된 바와 같이, 다양한 유닛들은 코덱 하드웨어 유닛에 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어에 연계하여, 위에서 설명된 바와 같은 하나 이상의 프로세서들을 포함한 상호운용적 하드웨어 유닛들의 컬렉션에 의해 제공될 수도 있다.
본 기법들의 다양한 실시형태들이 설명되었다. 이들 및 다른 실시형태들은 다음의 청구항들의 범위 내에 있다.

Claims (48)

  1. 각각 스피커를 구비하고 협업 (collaborative) 서라운드 사운드 시스템에 참여하는데 이용가능한 하나 이상의 모바일 디바이스들을 식별하는 단계;
    상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스의 스피커를 상기 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로서 활용하도록 상기 협업 서라운드 사운드 시스템을 구성 (configure) 하는 단계;
    오디오 신호들이 상기 하나 이상의 모바일 디바이스들의 스피커들에 의해 플레이되는 경우, 상기 오디오 신호들의 오디오 플레이백이 상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 오디오 소스로부터의 상기 오디오 신호들을 렌더링하는 단계; 및
    상기 오디오 소스로부터 렌더링된 프로세싱된 오디오 신호들을 상기 협업 서라운드 사운드 시스템에 참여하고 있는 모바일 디바이스의 각각으로 송신하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들은 상기 하나 이상의 모바일 디바이스들 중 적어도 하나의 모바일 디바이스의 로케이션과는 상이한 로케이션에 위치된 것으로 여겨지는, 방법.
  3. 제 1 항에 있어서,
    상기 협업 서라운드 사운드 시스템을 구성하는 단계는, 상기 협업 서라운드 사운드 시스템의 상기 가상 스피커들 중 각각의 가상 스피커가 상기 오디오 신호들의 상기 오디오 플레이백을 기원하는 것으로 여겨지는 스피커 섹터들을 식별하는 단계를 포함하고,
    상기 오디오 신호들을 렌더링하는 단계는, 상기 오디오 신호들이 상기 하나 이상의 모바일 디바이스들의 스피커들에 의해 플레이되는 경우, 상기 오디오 신호들의 상기 오디오 플레이백이 상기 스피커 섹터들 중 대응하는 식별된 스피커 섹터 내의 로케이션에 위치된 상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 상기 오디오 소스로부터의 상기 오디오 신호들을 렌더링하는 단계를 포함하는, 방법.
  4. 제 1 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 오디오의 오디오 플레이백에 영향을 주는 대응하는 모바일 디바이스의 양태들을 특정하는 모바일 디바이스 데이터를 수신하는 단계를 더 포함하며,
    상기 협업 서라운드 사운드 시스템을 구성하는 단계는, 상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스의 스피커를 상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들로서 활용하기 위해 연관된 상기 모바일 디바이스 데이터에 기초하여 상기 협업 서라운드 사운드 시스템을 구성하는 단계를 포함하는, 방법.
  5. 제 1 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 하나 이상의 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 로케이션을 특정하는 모바일 디바이스 데이터를 수신하는 단계를 더 포함하며,
    상기 협업 서라운드 사운드 시스템을 구성하는 단계는,
    상기 모바일 디바이스 데이터에 기초하여 결정된 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 상기 로케이션에 기초하여, 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스가 상기 오디오 소스로부터 렌더링된 상기 오디오 신호들을 플레이하기 위한 특정된 로케이션에 있지 않다고 결정하는 단계; 및
    식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스에 의한 오디오의 플레이백을 수정하기 위해, 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스를 재포지셔닝할 것을 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 사용자에게 프롬프트하는 단계를 포함하는, 방법.
  6. 제 1 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 하나 이상의 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 로케이션을 특정하는 모바일 디바이스 데이터를 수신하는 단계를 더 포함하며,
    상기 오디오 신호들을 렌더링하는 단계는,
    식별된 상기 모바일 디바이스들 중 하나의 모바일 디바이스를 이동시킬 것을 사용자에게 프롬프트하는 것을 회피하기 위해 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 로케이션에 기초하여 오디오 사전-프로세싱 기능을 구성하는 단계; 및
    식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 상기 로케이션을 수용하도록 상기 오디오 신호들의 플레이백을 제어하기 위해 상기 오디오 소스로부터의 상기 오디오 신호들의 적어도 부분을 렌더링하는 경우 구성된 상기 오디오 사전-프로세싱 기능을 수행하는 단계를 포함하고,
    상기 오디오 신호들을 송신하는 단계는, 상기 오디오 소스로부터 렌더링된 상기 오디오 신호들의 적어도 사전-프로세싱된 부분을 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스로 송신하는 단계를 포함하는, 방법.
  7. 제 1 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스 내에 포함된 스피커의 하나 이상의 스피커 특성들을 특정하는 모바일 디바이스 데이터를 수신하는 단계를 더 포함하며,
    상기 오디오 신호들을 렌더링하는 단계는,
    상기 하나 이상의 스피커 특성들에 기초하여 상기 오디오 소스로부터의 오디오 신호들을 프로세싱하기 위한 오디오 사전-프로세싱 기능을 구성하는 단계; 및
    식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스 내에 포함된 상기 스피커의 상기 하나 이상의 스피커 특성들을 수용하도록 상기 오디오 신호들의 플레이백을 제어하기 위해 상기 오디오 소스로부터의 상기 오디오 신호들의 적어도 부분을 렌더링하는 경우 구성된 상기 오디오 사전-프로세싱 기능을 수행하는 단계를 포함하고,
    상기 오디오 신호들을 송신하는 단계는, 상기 오디오 신호들의 적어도 사전-프로세싱된 부분을 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스로 송신하는 단계를 포함하는, 방법.
  8. 제 1 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 오디오의 오디오 플레이백에 영향을 주는 대응하는 모바일 디바이스의 양태들을 특정하는 모바일 디바이스 데이터를 수신하는 단계를 더 포함하며,
    상기 모바일 디바이스 데이터는, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 로케이션, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스 내에 포함된 스피커의 주파수 응답, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스 내에 포함된 스피커의 최대 허용가능 사운드 재생 레벨, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 배터리 스테이터스, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 동기 스테이터스, 및 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 헤드폰 스테이터스 중 하나 이상을 특정하는, 방법.
  9. 제 1 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터 식별된 상기 모바일 디바이스들 중 대응하는 모바일 디바이스의 배터리 스테이터스를 특정하는 모바일 디바이스 데이터를 수신하는 단계를 더 포함하고,
    상기 오디오 소스로부터의 오디오 신호들을 렌더링하는 단계는, 상기 모바일 디바이스의 전력 레벨을 수용하도록 상기 오디오 소스로부터의 상기 오디오 신호들의 플레이백을 제어하기 위해 상기 모바일 디바이스의 결정된 전력 레벨에 기초하여 상기 오디오 소스로부터의 상기 오디오 신호들을 렌더링하는 단계를 포함하는, 방법.
  10. 제 9 항에 있어서,
    상기 모바일 디바이스들 중 대응하는 모바일 디바이스의 전력 레벨이 상기 오디오 소스로부터 렌더링된 오디오 신호들의 플레이백을 완료하는데 불충분하다고 결정하는 단계를 더 포함하며,
    상기 오디오 소스로부터의 오디오 신호들을 렌더링하는 단계는, 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 상기 전력 레벨이 상기 오디오 신호들의 플레이백을 완료하는데 불충분하다는 결정에 기초하여, 상기 오디오 신호들을 플레이하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 요구된 전력의 양을 감소시키도록 상기 오디오 신호들을 렌더링하는 단계를 포함하는, 방법.
  11. 제 1 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 대응하는 모바일 디바이스의 배터리 스테이터스를 특정하는 모바일 디바이스 데이터를 수신하는 단계를 더 포함하고,
    상기 오디오 소스로부터의 오디오 신호들을 렌더링하는 단계는,
    상기 모바일 디바이스의 전력 레벨을 수용하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 플레이될 오디오 신호들의 볼륨을 조절하는 단계;
    상기 모바일 디바이스의 상기 전력 레벨을 수용하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 플레이될 오디오 신호들과 나머지 모바일 디바이스들 중 하나 이상의 모바일 디바이스들에 의해 플레이될 오디오 신호들을 크로스-믹싱하는 단계; 및
    상기 모바일 디바이스의 상기 전력 레벨을 수용하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 플레이될 상기 오디오 신호들의 주파수들의 적어도 일부 범위를 감소시키는 단계
    중 하나 이상을 포함하는, 방법.
  12. 제 1 항에 있어서,
    상기 오디오 소스는 고차 앰비소닉 (ambisonic) 오디오 소스 데이터, 다중-채널 오디오 소스 데이터 및 오브젝트-기반 오디오 소스 데이터 중 하나를 포함하는, 방법.
  13. 하나 이상의 프로세서들을 포함하며,
    상기 하나 이상의 프로세서들은,
    각각 스피커를 구비하고 협업 서라운드 사운드 시스템에 참여하는데 이용가능한 하나 이상의 모바일 디바이스들을 식별하고,
    상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스의 상기 스피커를 상기 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로서 활용하도록 상기 협업 서라운드 사운드 시스템을 구성하고,
    오디오 신호들이 상기 하나 이상의 모바일 디바이스들의 스피커들에 의해 플레이되는 경우, 상기 오디오 신호들의 오디오 플레이백이 상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 오디오 소스로부터의 상기 오디오 신호들을 렌더링하며, 그리고
    상기 오디오 소스로부터 렌더링된 프로세싱된 오디오 신호들을 상기 협업 서라운드 사운드 시스템에 참여하고 있는 모바일 디바이스의 각각으로 송신하도록
    구성된, 헤드엔드 디바이스.
  14. 제 13 항에 있어서,
    상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들은 상기 하나 이상의 모바일 디바이스들 중 적어도 하나의 모바일 디바이스의 로케이션과는 상이한 로케이션에 위치된 것으로 여겨지는, 헤드엔드 디바이스.
  15. 제 13 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로, 상기 협업 서라운드 사운드 시스템을 구성하는 경우, 상기 협업 서라운드 사운드 시스템의 상기 가상 스피커들 중 각각의 가상 스피커가 상기 오디오 신호들의 상기 오디오 플레이백을 기원하는 것으로 여겨지는 스피커 섹터들을 식별하도록 구성되고,
    상기 하나 이상의 프로세서들은 추가로, 상기 오디오 신호들을 렌더링하는 경우, 상기 오디오 신호들이 상기 하나 이상의 모바일 디바이스들의 스피커들에 의해 플레이되는 경우, 상기 오디오 신호들의 상기 오디오 플레이백이 상기 스피커 섹터들 중 대응하는 식별된 스피커 섹터 내의 로케이션에 위치된 상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 상기 오디오 소스로부터의 오디오 신호들을 렌더링하도록 구성되는, 헤드엔드 디바이스.
  16. 제 13 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로, 식별된 상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 오디오의 오디오 플레이백에 영향을 주는 대응하는 모바일 디바이스의 양태들을 특정하는 모바일 디바이스 데이터를 수신하도록 구성되며,
    상기 하나 이상의 프로세서들은 추가로, 상기 협업 서라운드 사운드 시스템을 구성하는 경우, 상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스의 스피커를 상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들로서 활용하기 위해 연관된 상기 모바일 디바이스 데이터에 기초하여 상기 협업 서라운드 사운드 시스템을 구성하도록 구성되는, 헤드엔드 디바이스.
  17. 제 13 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로, 식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 하나 이상의 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 로케이션을 특정하는 모바일 디바이스 데이터를 수신하도록 구성되며,
    상기 하나 이상의 프로세서들은 추가로, 상기 협업 서라운드 사운드 시스템을 구성하는 경우, 상기 모바일 디바이스 데이터에 기초하여 결정된 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 상기 로케이션에 기초하여, 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스가 상기 오디오 소스로부터 렌더링된 상기 오디오 신호들을 플레이하기 위한 특정된 로케이션에 있지 않다고 결정하고, 그리고 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스에 의한 오디오의 플레이백을 수정하기 위해, 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스를 재포지셔닝할 것을 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 사용자에게 프롬프트하도록 구성되는, 헤드엔드 디바이스.
  18. 제 13 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로, 식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 하나 이상의 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 로케이션을 특정하는 모바일 디바이스 데이터를 수신하도록 구성되며,
    상기 하나 이상의 프로세서들은 추가로, 상기 오디오 신호들을 렌더링하는 경우, 식별된 상기 모바일 디바이스들 중 하나의 모바일 디바이스를 이동시킬 것을 사용자에게 프롬프트하는 것을 회피하기 위해 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 로케이션에 기초하여 오디오 사전-프로세싱 기능을 구성하고, 그리고 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 상기 로케이션을 수용하도록 상기 오디오 신호들의 플레이백을 제어하기 위해 상기 오디오 소스로부터의 상기 오디오 신호들의 적어도 부분을 렌더링하는 경우 구성된 상기 오디오 사전-프로세싱 기능을 수행하도록 구성되고,
    상기 하나 이상의 프로세서들은 추가로, 상기 오디오 신호들을 송신하는 경우, 상기 오디오 소스로부터 렌더링된 상기 오디오 신호들의 적어도 사전-프로세싱된 부분을 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스로 송신하도록 구성되는, 헤드엔드 디바이스.
  19. 제 13 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로, 식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스 내에 포함된 스피커의 하나 이상의 스피커 특성들을 특정하는 모바일 디바이스 데이터를 수신하도록 구성되며,
    상기 하나 이상의 프로세서들은 추가로, 상기 오디오 신호들을 렌더링하는 경우, 상기 하나 이상의 스피커 특성들에 기초하여 상기 오디오 소스로부터의 오디오 신호들을 프로세싱하기 위한 오디오 사전-프로세싱 기능을 구성하고, 그리고 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스 내에 포함된 상기 스피커의 상기 하나 이상의 스피커 특성들을 수용하도록 상기 오디오 신호들의 플레이백을 제어하기 위해 상기 오디오 소스로부터의 상기 오디오 신호들의 적어도 부분을 렌더링하는 경우 구성된 상기 오디오 사전-프로세싱 기능을 수행하도록 구성되고,
    상기 하나 이상의 프로세서들은 추가로, 상기 오디오 신호들을 송신하는 경우, 상기 오디오 신호들의 적어도 사전-프로세싱된 부분을 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스로 송신하도록 구성되는, 방법.
  20. 제 13 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로, 식별된 상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 오디오의 오디오 플레이백에 영향을 주는 대응하는 모바일 디바이스의 양태들을 특정하는 모바일 디바이스 데이터를 수신하도록 구성되며,
    상기 모바일 디바이스 데이터는, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 로케이션, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스 내에 포함된 스피커의 주파수 응답, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스 내에 포함된 스피커의 최대 허용가능 사운드 재생 레벨, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 배터리 스테이터스, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 동기 스테이터스, 및 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 헤드폰 스테이터스 중 하나 이상을 특정하는, 헤드엔드 디바이스.
  21. 제 13 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로, 식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 대응하는 모바일 디바이스의 배터리 스테이터스를 특정하는 모바일 디바이스 데이터를 수신하도록 구성되고,
    상기 하나 이상의 프로세서들은 추가로, 상기 오디오 소스로부터의 오디오 신호들을 렌더링하는 경우, 상기 모바일 디바이스의 전력 레벨을 수용하도록 상기 오디오 소스로부터의 상기 오디오 신호들의 플레이백을 제어하기 위해 상기 모바일 디바이스의 결정된 전력 레벨에 기초하여 상기 오디오 소스로부터의 상기 오디오 신호들을 렌더링하도록 구성되는, 헤드엔드 디바이스.
  22. 제 21 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로, 상기 모바일 디바이스들 중 대응하는 모바일 디바이스의 전력 레벨이 상기 오디오 소스로부터 렌더링된 오디오 신호들의 플레이백을 완료하는데 불충분하다고 결정하도록 구성되며,
    상기 오디오 소스로부터의 오디오 신호들을 렌더링하는 것은, 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 상기 전력 레벨이 상기 오디오 신호들의 플레이백을 완료하는데 불충분하다는 결정에 기초하여, 상기 오디오 신호들을 플레이하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 요구된 전력의 양을 감소시키도록 상기 오디오 신호들을 렌더링하는 것을 포함하는, 헤드엔드 디바이스.
  23. 제 13 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로, 식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 대응하는 모바일 디바이스의 배터리 스테이터스를 특정하는 모바일 디바이스 데이터를 수신하도록 구성되고,
    상기 하나 이상의 프로세서들은 추가로, 상기 오디오 소스로부터의 상기 오디오 신호들을 렌더링하는 경우, 상기 모바일 디바이스의 전력 레벨을 수용하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 플레이될 오디오 신호들의 볼륨을 조절하고, 상기 모바일 디바이스의 상기 전력 레벨을 수용하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 플레이될 오디오 신호들과 나머지 모바일 디바이스들 중 하나 이상의 모바일 디바이스들에 의해 플레이될 오디오 신호들을 크로스-믹싱하고, 그리고 상기 모바일 디바이스의 상기 전력 레벨을 수용하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 플레이될 상기 오디오 신호들의 주파수들의 적어도 일부 범위를 감소시키는 것 중 하나 이상을 수행하도록 구성되는, 헤드엔드 디바이스.
  24. 제 13 항에 있어서,
    상기 오디오 소스는 고차 앰비소닉 오디오 소스 데이터, 다중-채널 오디오 소스 데이터 및 오브젝트-기반 오디오 소스 데이터 중 하나를 포함하는, 헤드엔드 디바이스.
  25. 각각 스피커를 구비하고 협업 서라운드 사운드 시스템에 참여하는데 이용가능한 하나 이상의 모바일 디바이스들을 식별하는 수단;
    상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스의 상기 스피커를 상기 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로서 활용하도록 상기 협업 서라운드 사운드 시스템을 구성하는 수단;
    오디오 신호들이 상기 하나 이상의 모바일 디바이스들의 스피커들에 의해 플레이되는 경우, 상기 오디오 신호들의 오디오 플레이백이 상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 오디오 소스로부터의 상기 오디오 신호들을 렌더링하는 수단; 및
    상기 오디오 소스로부터 렌더링된 프로세싱된 오디오 신호들을 상기 협업 서라운드 사운드 시스템에 참여하고 있는 모바일 디바이스의 각각으로 송신하는 수단을 포함하는, 헤드엔드 디바이스.
  26. 제 25 항에 있어서,
    상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들은 상기 하나 이상의 모바일 디바이스들 중 적어도 하나의 모바일 디바이스의 로케이션과는 상이한 로케이션에 위치된 것으로 여겨지는, 헤드엔드 디바이스.
  27. 제 25 항에 있어서,
    상기 협업 서라운드 사운드 시스템을 구성하는 수단은, 상기 협업 서라운드 사운드 시스템의 상기 가상 스피커들 중 각각의 가상 스피커가 상기 오디오 신호들의 상기 오디오 플레이백을 기원하는 것으로 여겨지는 스피커 섹터들을 식별하는 수단을 포함하고,
    상기 오디오 신호들을 렌더링하는 수단은, 상기 오디오 신호들이 상기 하나 이상의 모바일 디바이스들의 스피커들에 의해 플레이되는 경우, 상기 오디오 신호들의 상기 오디오 플레이백이 상기 스피커 섹터들 중 대응하는 식별된 스피커 섹터 내의 로케이션에 위치된 상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 상기 오디오 소스로부터의 상기 오디오 신호들을 렌더링하는 수단을 포함하는, 헤드엔드 디바이스.
  28. 제 25 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 오디오의 오디오 플레이백에 영향을 주는 대응하는 모바일 디바이스의 양태들을 특정하는 모바일 디바이스 데이터를 수신하는 수단을 더 포함하며,
    상기 협업 서라운드 사운드 시스템을 구성하는 수단은, 상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스의 스피커를 상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들로서 활용하기 위해 연관된 상기 모바일 디바이스 데이터에 기초하여 상기 협업 서라운드 사운드 시스템을 구성하는 수단을 포함하는, 헤드엔드 디바이스.
  29. 제 25 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 하나 이상의 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 로케이션을 특정하는 모바일 디바이스 데이터를 수신하는 수단을 더 포함하며,
    상기 협업 서라운드 사운드 시스템을 구성하는 수단은,
    상기 모바일 디바이스 데이터에 기초하여 결정된 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 상기 로케이션에 기초하여, 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스가 상기 오디오 소스로부터 렌더링된 상기 오디오 신호들을 플레이하기 위한 특정된 로케이션에 있지 않다고 결정하는 수단; 및
    식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스에 의해 오디오의 플레이백을 수정하기 위해, 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스를 재포지셔닝할 것을 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 사용자에게 프롬프트하는 수단을 포함하는, 헤드엔드 디바이스.
  30. 제 25 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 하나 이상의 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 로케이션을 특정하는 모바일 디바이스 데이터를 수신하는 수단을 더 포함하며,
    상기 오디오 신호들을 렌더링하는 수단은,
    식별된 상기 모바일 디바이스들 중 하나의 모바일 디바이스를 이동시킬 것을 사용자에게 프롬프트하는 것을 회피하기 위해 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 로케이션에 기초하여 오디오 사전-프로세싱 기능을 구성하는 수단; 및
    식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 상기 로케이션을 수용하도록 상기 오디오 신호들의 플레이백을 제어하기 위해 상기 오디오 소스로부터의 상기 오디오 신호들의 적어도 부분을 렌더링하는 경우 구성된 오디오 사전-프로세싱 기능을 수행하는 수단을 포함하고,
    상기 오디오 신호들을 송신하는 수단은, 상기 오디오 소스로부터 렌더링된 상기 오디오 신호들의 적어도 사전-프로세싱된 부분을 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스로 송신하는 수단을 포함하는, 헤드엔드 디바이스.
  31. 제 25 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스 내에 포함된 스피커의 하나 이상의 스피커 특성들을 특정하는 모바일 디바이스 데이터를 수신하는 수단을 더 포함하며,
    상기 오디오 신호들을 렌더링하는 수단은,
    상기 하나 이상의 스피커 특성들에 기초하여 상기 오디오 소스로부터의 오디오 신호들을 프로세싱하기 위한 오디오 사전-프로세싱 기능을 구성하는 수단; 및
    식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스 내에 포함된 상기 스피커의 상기 하나 이상의 스피커 특성들을 수용하도록 상기 오디오 신호들의 플레이백을 제어하기 위해 상기 오디오 소스로부터의 상기 오디오 신호들의 적어도 부분을 렌더링하는 경우 구성된 상기 오디오 사전-프로세싱 기능을 수행하는 수단을 포함하고,
    상기 오디오 신호들을 송신하는 수단은, 상기 오디오 신호들의 적어도 사전-프로세싱된 부분을 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스로 송신하는 수단을 포함하는, 방법.
  32. 제 25 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 오디오의 오디오 플레이백에 영향을 주는 대응하는 모바일 디바이스의 양태들을 특정하는 모바일 디바이스 데이터를 수신하는 수단을 더 포함하며,
    상기 모바일 디바이스 데이터는, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 로케이션, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스 내에 포함된 스피커의 주파수 응답, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스 내에 포함된 스피커의 최대 허용가능 사운드 재생 레벨, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 배터리 스테이터스, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 동기 스테이터스, 및 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 헤드폰 스테이터스 중 하나 이상을 특정하는, 헤드엔드 디바이스.
  33. 제 25 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 대응하는 모바일 디바이스의 배터리 스테이터스를 특정하는 모바일 디바이스 데이터를 수신하는 수단을 더 포함하고,
    상기 오디오 소스로부터의 오디오 신호들을 렌더링하는 수단은, 상기 모바일 디바이스의 전력 레벨을 수용하도록 상기 오디오 소스로부터의 상기 오디오 신호들의 플레이백을 제어하기 위해 상기 모바일 디바이스의 결정된 전력 레벨에 기초하여 상기 오디오 소스로부터의 상기 오디오 신호들을 렌더링하는 수단을 포함하는, 헤드엔드 디바이스.
  34. 제 33 항에 있어서,
    상기 모바일 디바이스들 중 대응하는 모바일 디바이스의 전력 레벨이 상기 오디오 소스로부터 렌더링된 오디오 신호들의 플레이백을 완료하는데 불충분하다고 결정하는 수단을 더 포함하며,
    상기 오디오 소스로부터의 오디오 신호들을 렌더링하는 것은, 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 상기 전력 레벨이 상기 오디오 신호들의 플레이백을 완료하는데 불충분하다는 결정에 기초하여, 상기 오디오 신호들을 플레이하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 요구된 전력의 양을 감소시키도록 상기 오디오 신호들을 렌더링하는 것을 포함하는, 헤드엔드 디바이스.
  35. 제 25 항에 있어서,
    식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 대응하는 모바일 디바이스의 배터리 스테이터스를 특정하는 모바일 디바이스 데이터를 수신하는 수단을 더 포함하고,
    상기 오디오 소스로부터의 오디오 신호들을 렌더링하는 수단은,
    상기 모바일 디바이스의 전력 레벨을 수용하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 플레이될 오디오 신호들의 볼륨을 조절하는 수단;
    상기 모바일 디바이스의 상기 전력 레벨을 수용하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 플레이될 오디오 신호들과 나머지 모바일 디바이스들 중 하나 이상의 모바일 디바이스에 의해 플레이될 오디오 신호들을 크로스-믹싱하는 수단; 및
    상기 모바일 디바이스의 상기 전력 레벨을 수용하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 플레이될 상기 오디오 신호들의 주파수들의 적어도 일부 범위를 감소시키는 수단
    중 하나 이상을 포함하는, 헤드엔드 디바이스.
  36. 제 25 항에 있어서,
    상기 오디오 소스는 고차 앰비소닉 오디오 소스 데이터, 다중-채널 오디오 소스 데이터 및 오브젝트-기반 오디오 소스 데이터 중 하나를 포함하는, 헤드엔드 디바이스.
  37. 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 실행되는 경우, 하나 이상의 프로세서들로 하여금,
    각각 스피커를 구비하고 협업 서라운드 사운드 시스템에 참여하는데 이용가능한 하나 이상의 모바일 디바이스들을 식별하게 하며;
    상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스의 상기 스피커를 상기 협업 서라운드 사운드 시스템의 하나 이상의 가상 스피커들로서 활용하도록 상기 협업 서라운드 사운드 시스템을 구성하게 하며;
    오디오 신호들이 상기 하나 이상의 모바일 디바이스들의 스피커들에 의해 플레이되는 경우, 상기 오디오 신호들의 오디오 플레이백이 상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 오디오 소스로부터의 상기 오디오 신호들을 렌더링하게 하며; 그리고
    상기 오디오 소스로부터 렌더링된 프로세싱된 오디오 신호들을 상기 협업 서라운드 사운드 시스템에 참여하고 있는 모바일 디바이스의 각각으로 송신하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  38. 제 37 항에 있어서,
    상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들은 상기 하나 이상의 모바일 디바이스들 중 적어도 하나의 모바일 디바이스의 로케이션과는 상이한 로케이션에 위치된 것으로 여겨지는, 비일시적 컴퓨터 판독가능 저장 매체.
  39. 제 37 항에 있어서,
    상기 명령들은 추가로, 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 상기 협업 서라운드 사운드 시스템을 구성하는 경우, 상기 협업 서라운드 사운드 시스템의 상기 가상 스피커들 중 각각의 가상 스피커가 상기 오디오 신호들의 상기 오디오 플레이백을 기원하는 것으로 여겨지는 스피커 섹터들을 식별하게 하고,
    상기 명령들은 추가로, 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 상기 오디오 신호들을 렌더링하는 경우, 상기 오디오 신호들이 상기 하나 이상의 모바일 디바이스들의 스피커들에 의해 플레이되는 경우, 상기 오디오 신호들의 상기 오디오 플레이백이 상기 스피커 섹터들 중 대응하는 식별된 스피커 섹터 내의 로케이션에 위치된 상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들로부터 기원하는 것으로 여겨지도록 상기 오디오 소스로부터의 오디오 신호들을 렌더링하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  40. 제 37 항에 있어서,
    실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 식별된 상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 오디오의 오디오 플레이백에 영향을 주는 대응하는 모바일 디바이스의 양태들을 특정하는 모바일 디바이스 데이터를 수신하게 하는 명령들을 더 포함하며,
    상기 명령들은 추가로, 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 상기 협업 서라운드 사운드 시스템을 구성하는 경우, 상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스의 스피커를 상기 협업 서라운드 사운드 시스템의 상기 하나 이상의 가상 스피커들로서 활용하기 위해 연관된 상기 모바일 디바이스 데이터에 기초하여 상기 협업 서라운드 사운드 시스템을 구성하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  41. 제 37 항에 있어서,
    실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 하나 이상의 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 로케이션을 특정하는 모바일 디바이스 데이터를 수신하게 하는 명령들을 더 포함하며,
    상기 명령들은 추가로, 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 상기 협업 서라운드 사운드 시스템을 구성하는 경우, 상기 모바일 디바이스 데이터에 기초하여 결정된 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 상기 로케이션에 기초하여, 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스가 상기 오디오 소스로부터 렌더링된 상기 오디오 신호들을 플레이하기 위한 특정된 로케이션에 있지 않다고 결정하게 하고, 그리고 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스에 의한 오디오의 플레이백을 수정하기 위해, 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스를 재포지셔닝할 것을 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 사용자에게 프롬프트하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  42. 제 37 항에 있어서,
    실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 하나 이상의 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 로케이션을 특정하는 모바일 디바이스 데이터를 수신하게 하는 명령들을 더 포함하며,
    상기 명령들은 추가로, 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 상기 오디오 신호들을 렌더링하는 경우, 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스를 이동시킬 것을 사용자에게 프롬프트하는 것을 회피하기 위해 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 로케이션에 기초하여 오디오 사전-프로세싱 기능을 구성하게 하고, 그리고 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스의 상기 로케이션을 수용하도록 상기 오디오 신호들의 플레이백을 제어하기 위해 상기 오디오 소스로부터의 상기 오디오 신호들의 적어도 부분을 렌더링하는 경우 구성된 상기 오디오 사전-프로세싱 기능을 수행하게 하고,
    상기 명령들은 추가로, 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 상기 오디오 신호들을 송신하는 경우, 상기 오디오 소스로부터 렌더링된 상기 오디오 신호들의 적어도 사전-프로세싱된 부분을 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스로 송신하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  43. 제 37 항에 있어서,
    실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스 내에 포함된 스피커의 하나 이상의 스피커 특성들을 특정하는 모바일 디바이스 데이터를 수신하게 하는 명령들을 더 포함하며,
    상기 명령들은 추가로, 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 상기 오디오 신호들을 렌더링하는 경우, 상기 하나 이상의 스피커 특성들에 기초하여 상기 오디오 소스로부터의 오디오 신호들을 프로세싱하기 위한 오디오 사전-프로세싱 기능을 구성하게 하고, 그리고 식별된 상기 모바일 디바이스들 중 상기 하나의 모바일 디바이스 내에 포함된 상기 스피커의 상기 하나 이상의 스피커 특성들을 수용하도록 상기 오디오 신호들의 플레이백을 제어하기 위해 상기 오디오 소스로부터의 상기 오디오 신호들의 적어도 부분을 렌더링하는 경우 구성된 상기 오디오 사전-프로세싱 기능을 수행하게 하고,
    상기 명령들은 추가로, 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 상기 오디오 신호들을 송신하는 경우, 상기 오디오 신호들의 적어도 사전-프로세싱된 부분을 식별된 상기 모바일 디바이스들 중 하나의 모바일 디바이스로 송신하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  44. 제 37 항에 있어서,
    실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 식별된 상기 하나 이상의 모바일 디바이스들 중 각각의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 오디오의 오디오 플레이백에 영향을 주는 대응하는 모바일 디바이스의 양태들을 특정하는 모바일 디바이스 데이터를 수신하게 하는 명령들을 더 포함하며,
    상기 모바일 디바이스 데이터는, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 로케이션, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스 내에 포함된 스피커의 주파수 응답, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스 내에 포함된 스피커의 최대 허용가능 사운드 재생 레벨, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 배터리 스테이터스, 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 동기 스테이터스, 및 식별된 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 헤드폰 스테이터스 중 하나 이상을 특정하는, 비일시적 컴퓨터 판독가능 저장 매체.
  45. 제 37 항에 있어서,
    실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 대응하는 모바일 디바이스의 배터리 스테이터스를 특정하는 모바일 디바이스 데이터를 수신하게 하는 명령들을 더 포함하고,
    상기 명령들은 추가로, 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 상기 오디오 소스로부터의 상기 오디오 신호들을 렌더링하는 경우, 상기 모바일 디바이스의 전력 레벨을 수용하도록 상기 오디오 소스로부터의 상기 오디오 신호들의 플레이백을 제어하기 위해 상기 모바일 디바이스의 결정된 전력 레벨에 기초하여 상기 오디오 소스로부터의 상기 오디오 신호들을 렌더링하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  46. 제 45 항에 있어서,
    실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 상기 모바일 디바이스들 중 대응하는 모바일 디바이스의 전력 레벨이 상기 오디오 소스로부터 렌더링된 오디오 신호들의 플레이백을 완료하는데 불충분하다고 결정하게 하는 명령들을 더 포함하며,
    상기 오디오 소스로부터의 오디오 신호들을 렌더링하는 것은, 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스의 상기 전력 레벨이 상기 오디오 신호들의 플레이백을 완료하는데 불충분하다는 결정에 기초하여, 상기 오디오 신호들을 플레이하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 요구된 전력의 양을 감소시키도록 상기 오디오 신호들을 렌더링하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  47. 제 37 항에 있어서,
    실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 식별된 상기 하나 이상의 모바일 디바이스들 중 하나의 모바일 디바이스로부터, 식별된 상기 모바일 디바이스들 중 대응하는 모바일 디바이스의 배터리 스테이터스를 특정하는 모바일 디바이스 데이터를 수신하게 하는 명령들을 더 포함하고,
    상기 명령들은 추가로, 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금, 상기 오디오 소스로부터의 오디오 신호들을 렌더링하는 경우,
    상기 모바일 디바이스의 전력 레벨을 수용하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 플레이될 오디오 신호들의 볼륨을 조절하는 것;
    상기 모바일 디바이스의 상기 전력 레벨을 수용하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 플레이될 오디오 신호들과 나머지 모바일 디바이스들 중 하나 이상의 모바일 디바이스에 의해 플레이될 오디오 신호들을 크로스-믹싱하는 것; 및
    상기 모바일 디바이스의 상기 전력 레벨을 수용하기 위해 상기 모바일 디바이스들 중 상기 대응하는 모바일 디바이스에 의해 플레이될 상기 오디오 신호들의 주파수들의 적어도 일부 범위를 감소시키는 것
    중 하나 이상을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  48. 제 37 항에 있어서,
    상기 오디오 소스는 고차 앰비소닉 오디오 소스 데이터, 다중-채널 오디오 소스 데이터 및 오브젝트-기반 오디오 소스 데이터 중 하나를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020157017060A 2012-11-28 2013-10-28 협업 사운드 시스템 KR101673834B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261730911P 2012-11-28 2012-11-28
US61/730,911 2012-11-28
US13/831,515 US9154877B2 (en) 2012-11-28 2013-03-14 Collaborative sound system
US13/831,515 2013-03-14
PCT/US2013/067119 WO2014085005A1 (en) 2012-11-28 2013-10-28 Collaborative sound system

Publications (2)

Publication Number Publication Date
KR20150088874A true KR20150088874A (ko) 2015-08-03
KR101673834B1 KR101673834B1 (ko) 2016-11-07

Family

ID=50773327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157017060A KR101673834B1 (ko) 2012-11-28 2013-10-28 협업 사운드 시스템

Country Status (6)

Country Link
US (3) US9131298B2 (ko)
EP (3) EP2926570B1 (ko)
JP (3) JP5882552B2 (ko)
KR (1) KR101673834B1 (ko)
CN (3) CN104871566B (ko)
WO (3) WO2014085007A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210130486A (ko) * 2020-04-22 2021-11-01 연세대학교 산학협력단 사운드의 병행 출력을 통한 사운드 제어 시스템 및 이를 포함하는 통합 제어 시스템
KR20210133601A (ko) * 2020-04-29 2021-11-08 연세대학교 산학협력단 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법
WO2022225180A1 (ko) * 2021-04-23 2022-10-27 삼성전자 주식회사 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101624904B1 (ko) * 2009-11-09 2016-05-27 삼성전자주식회사 휴대용 단말기에서 디엔엘에이를 이용하여 멀티 사운드 채널 컨텐츠를 재생하기 위한 장치 및 방법
US9131305B2 (en) * 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US9288603B2 (en) 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
US9473870B2 (en) * 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
US9131298B2 (en) 2012-11-28 2015-09-08 Qualcomm Incorporated Constrained dynamic amplitude panning in collaborative sound systems
EP2946468B1 (en) * 2013-01-16 2016-12-21 Thomson Licensing Method for measuring hoa loudness level and device for measuring hoa loudness level
US10038957B2 (en) * 2013-03-19 2018-07-31 Nokia Technologies Oy Audio mixing based upon playing device location
EP2782094A1 (en) * 2013-03-22 2014-09-24 Thomson Licensing Method and apparatus for enhancing directivity of a 1st order Ambisonics signal
KR102028339B1 (ko) * 2013-03-22 2019-10-04 한국전자통신연구원 사운드 가상화 방법 및 장치
US9716958B2 (en) * 2013-10-09 2017-07-25 Voyetra Turtle Beach, Inc. Method and system for surround sound processing in a headset
US20160253145A1 (en) * 2013-10-31 2016-09-01 Lg Electronics Inc. Electronic device and method for controlling the same
US11310614B2 (en) * 2014-01-17 2022-04-19 Proctor Consulting, LLC Smart hub
US9704491B2 (en) 2014-02-11 2017-07-11 Disney Enterprises, Inc. Storytelling environment: distributed immersive audio soundscape
US9319792B1 (en) * 2014-03-17 2016-04-19 Amazon Technologies, Inc. Audio capture and remote output
DK178063B1 (en) * 2014-06-02 2015-04-20 Bang & Olufsen As Dynamic Configuring of a Multichannel Sound System
US9838819B2 (en) * 2014-07-02 2017-12-05 Qualcomm Incorporated Reducing correlation between higher order ambisonic (HOA) background channels
US9584915B2 (en) * 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
EP3248398A1 (en) * 2015-01-21 2017-11-29 Qualcomm Incorporated System and method for changing a channel configuration of a set of audio output devices
US9578418B2 (en) 2015-01-21 2017-02-21 Qualcomm Incorporated System and method for controlling output of multiple audio output devices
US9723406B2 (en) 2015-01-21 2017-08-01 Qualcomm Incorporated System and method for changing a channel configuration of a set of audio output devices
US11392580B2 (en) 2015-02-11 2022-07-19 Google Llc Methods, systems, and media for recommending computerized services based on an animate object in the user's environment
US10284537B2 (en) 2015-02-11 2019-05-07 Google Llc Methods, systems, and media for presenting information related to an event based on metadata
US9769564B2 (en) * 2015-02-11 2017-09-19 Google Inc. Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US11048855B2 (en) 2015-02-11 2021-06-29 Google Llc Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application
US10223459B2 (en) 2015-02-11 2019-03-05 Google Llc Methods, systems, and media for personalizing computerized services based on mood and/or behavior information from multiple data sources
DE102015005704A1 (de) * 2015-05-04 2016-11-10 Audi Ag Fahrzeug mit einem Infotainmentsystem
US9864571B2 (en) 2015-06-04 2018-01-09 Sonos, Inc. Dynamic bonding of playback devices
US9584758B1 (en) 2015-11-25 2017-02-28 International Business Machines Corporation Combining installed audio-visual sensors with ad-hoc mobile audio-visual sensors for smart meeting rooms
US9820048B2 (en) * 2015-12-26 2017-11-14 Intel Corporation Technologies for location-dependent wireless speaker configuration
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10097919B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
JP6461850B2 (ja) * 2016-03-31 2019-01-30 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US9763280B1 (en) 2016-06-21 2017-09-12 International Business Machines Corporation Mobile device assignment within wireless sound system based on device specifications
CN106057207B (zh) * 2016-06-30 2021-02-23 深圳市虚拟现实科技有限公司 远程立体声全方位实时传输和播放方法
GB2551779A (en) * 2016-06-30 2018-01-03 Nokia Technologies Oy An apparatus, method and computer program for audio module use in an electronic device
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US20180020309A1 (en) * 2016-07-17 2018-01-18 Bose Corporation Synchronized Audio Playback Devices
CA3032603A1 (en) * 2016-08-01 2018-02-08 Magic Leap, Inc. Mixed reality system with spatialized audio
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9913061B1 (en) 2016-08-29 2018-03-06 The Directv Group, Inc. Methods and systems for rendering binaural audio content
US10448189B2 (en) * 2016-09-14 2019-10-15 Magic Leap, Inc. Virtual reality, augmented reality, and mixed reality systems with spatialized audio
US10701508B2 (en) * 2016-09-20 2020-06-30 Sony Corporation Information processing apparatus, information processing method, and program
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
CN107872754A (zh) * 2016-12-12 2018-04-03 深圳市蚂蚁雄兵物联技术有限公司 一种多声道环绕立体声系统及安装方法
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
CN110786023B (zh) * 2017-06-21 2021-12-28 雅马哈株式会社 信息处理装置、信息处理系统、记录介质及信息处理方法
US10516962B2 (en) * 2017-07-06 2019-12-24 Huddly As Multi-channel binaural recording and dynamic playback
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
JP7004727B2 (ja) * 2017-08-08 2022-01-21 マクセル株式会社 音声連携システム
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10609485B2 (en) 2017-09-29 2020-03-31 Apple Inc. System and method for performing panning for an arbitrary loudspeaker setup
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
CN109996167B (zh) 2017-12-31 2020-09-11 华为技术有限公司 一种多终端协同播放音频文件的方法及终端
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
IL314886A (en) * 2018-04-09 2024-10-01 Dolby Int Ab Methods, devices and systems for three-degree-of-freedom amplification of MPEG-H 3D audio
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11533560B2 (en) * 2019-11-15 2022-12-20 Boomcloud 360 Inc. Dynamic rendering device metadata-informed audio enhancement system
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
CN111297054B (zh) * 2020-01-17 2021-11-30 铜仁职业技术学院 一种教学讲台
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11521623B2 (en) 2021-01-11 2022-12-06 Bank Of America Corporation System and method for single-speaker identification in a multi-speaker environment on a low-frequency audio recording
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
CN115497485B (zh) * 2021-06-18 2024-10-18 华为技术有限公司 三维音频信号编码方法、装置、编码器和系统
CN113438548B (zh) * 2021-08-30 2021-10-29 深圳佳力拓科技有限公司 基于视频数据包与音频数据包的数字电视展示方法与装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190928A1 (en) * 2004-01-28 2005-09-01 Ryuichiro Noto Transmitting/receiving system, transmitting device, and device including speaker
US20070025555A1 (en) * 2005-07-28 2007-02-01 Fujitsu Limited Method and apparatus for processing information, and computer product
US20080077261A1 (en) * 2006-08-29 2008-03-27 Motorola, Inc. Method and system for sharing an audio experience
US20110091055A1 (en) * 2009-10-19 2011-04-21 Broadcom Corporation Loudspeaker localization techniques

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6154549A (en) 1996-06-18 2000-11-28 Extreme Audio Reality, Inc. Method and apparatus for providing sound in a spatial environment
US6577738B2 (en) * 1996-07-17 2003-06-10 American Technology Corporation Parametric virtual speaker and surround-sound system
US20020072816A1 (en) * 2000-12-07 2002-06-13 Yoav Shdema Audio system
US6757517B2 (en) 2001-05-10 2004-06-29 Chin-Chi Chang Apparatus and method for coordinated music playback in wireless ad-hoc networks
JP4766440B2 (ja) 2001-07-27 2011-09-07 日本電気株式会社 携帯端末装置及び携帯端末装置の音響再生システム
EP1542503B1 (en) * 2003-12-11 2011-08-24 Sony Deutschland GmbH Dynamic sweet spot tracking
US20050286546A1 (en) 2004-06-21 2005-12-29 Arianna Bassoli Synchronized media streaming between distributed peers
EP1615464A1 (en) 2004-07-07 2006-01-11 Sony Ericsson Mobile Communications AB Method and device for producing multichannel audio signals
JP2006033077A (ja) * 2004-07-12 2006-02-02 Pioneer Electronic Corp スピーカ装置
KR20070086052A (ko) 2004-11-12 2007-08-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 헤드폰 세트를 통해 콘텐트들을 공유하는 장치 및 방법
US20060177073A1 (en) * 2005-02-10 2006-08-10 Isaac Emad S Self-orienting audio system
JP2006279548A (ja) * 2005-03-29 2006-10-12 Fujitsu Ten Ltd 車載用スピーカシステム及びオーディオ装置
KR100704697B1 (ko) * 2005-07-21 2007-04-10 경북대학교 산학협력단 배터리의 소비 전력 제어 방법 및 상기 방법이 적용되는휴대용 기기
US20070087686A1 (en) 2005-10-18 2007-04-19 Nokia Corporation Audio playback device and method of its operation
JP2007288405A (ja) * 2006-04-14 2007-11-01 Matsushita Electric Ind Co Ltd 映像音声出力システム、映像音声処理方法、およびプログラム
US9319741B2 (en) * 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
JP4810378B2 (ja) 2006-09-20 2011-11-09 キヤノン株式会社 音響出力装置及びその制御方法並びに音響システム
US20080216125A1 (en) 2007-03-01 2008-09-04 Microsoft Corporation Mobile Device Collaboration
FR2915041A1 (fr) * 2007-04-13 2008-10-17 Canon Kk Procede d'attribution d'une pluralite de canaux audio a une pluralite de haut-parleurs, produit programme d'ordinateur, moyen de stockage et noeud gestionnaire correspondants.
US8724600B2 (en) 2008-01-07 2014-05-13 Tymphany Hong Kong Limited Systems and methods for providing a media playback in a networked environment
US8380127B2 (en) * 2008-10-29 2013-02-19 National Semiconductor Corporation Plurality of mobile communication devices for performing locally collaborative operations
KR20110072650A (ko) 2009-12-23 2011-06-29 삼성전자주식회사 오디오 장치 및 이의 오디오 신호 전송 방법, 그리고 오디오 시스템
US9282418B2 (en) * 2010-05-03 2016-03-08 Kit S. Tam Cognitive loudspeaker system
US20120113224A1 (en) 2010-11-09 2012-05-10 Andy Nguyen Determining Loudspeaker Layout Using Visual Markers
US9131298B2 (en) 2012-11-28 2015-09-08 Qualcomm Incorporated Constrained dynamic amplitude panning in collaborative sound systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190928A1 (en) * 2004-01-28 2005-09-01 Ryuichiro Noto Transmitting/receiving system, transmitting device, and device including speaker
US20070025555A1 (en) * 2005-07-28 2007-02-01 Fujitsu Limited Method and apparatus for processing information, and computer product
US20080077261A1 (en) * 2006-08-29 2008-03-27 Motorola, Inc. Method and system for sharing an audio experience
US20110091055A1 (en) * 2009-10-19 2011-04-21 Broadcom Corporation Loudspeaker localization techniques

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210130486A (ko) * 2020-04-22 2021-11-01 연세대학교 산학협력단 사운드의 병행 출력을 통한 사운드 제어 시스템 및 이를 포함하는 통합 제어 시스템
KR20210133601A (ko) * 2020-04-29 2021-11-08 연세대학교 산학협력단 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법
WO2022225180A1 (ko) * 2021-04-23 2022-10-27 삼성전자 주식회사 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
JP5882552B2 (ja) 2016-03-09
CN104813683B (zh) 2017-04-12
EP2926570B1 (en) 2017-12-27
EP2926573A1 (en) 2015-10-07
WO2014085006A1 (en) 2014-06-05
EP2926570A1 (en) 2015-10-07
EP2926572A1 (en) 2015-10-07
CN104871566B (zh) 2017-04-12
JP5882550B2 (ja) 2016-03-09
JP5882551B2 (ja) 2016-03-09
JP2016504824A (ja) 2016-02-12
US9154877B2 (en) 2015-10-06
CN104871558A (zh) 2015-08-26
JP2016502344A (ja) 2016-01-21
US20140146984A1 (en) 2014-05-29
US9131298B2 (en) 2015-09-08
WO2014085007A1 (en) 2014-06-05
JP2016502345A (ja) 2016-01-21
CN104871566A (zh) 2015-08-26
US20140146970A1 (en) 2014-05-29
EP2926572B1 (en) 2017-05-17
US20140146983A1 (en) 2014-05-29
CN104813683A (zh) 2015-07-29
WO2014085005A1 (en) 2014-06-05
CN104871558B (zh) 2017-07-21
US9124966B2 (en) 2015-09-01
KR101673834B1 (ko) 2016-11-07

Similar Documents

Publication Publication Date Title
KR101673834B1 (ko) 협업 사운드 시스템
JP6676801B2 (ja) マルチチャンネル音声コンテンツを表すビットストリームを生成する方法、およびデバイス
KR101676634B1 (ko) 오브젝트―기반 오디오를 위한 반사된 사운드 렌더링
CN109791193A (zh) 环绕声系统中扬声器位置的自动发现和定位
CN109313907A (zh) 合并音频信号与空间元数据
CN106375907A (zh) 用于传送个性化音频的系统和方法
JP2017532898A (ja) 設定可能なゾーンを有するオーディオシステム
US11735194B2 (en) Audio input and output device with streaming capabilities
CN114026885A (zh) 扩展现实体验的音频捕获和渲染
CN110191745B (zh) 利用空间音频的游戏流式传输
US20240056758A1 (en) Systems and Methods for Rendering Spatial Audio Using Spatialization Shaders
CN114128312B (zh) 用于低频效果的音频渲染
US20240196150A1 (en) Adaptive loudspeaker and listener positioning compensation
EP4369739A2 (en) Adaptive sound scene rotation
JP2018174571A (ja) 設定可能なゾーンを有するオーディオシステム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190924

Year of fee payment: 4