KR20210148238A - 공간적 오디오 렌더링을 위한 시스템들 및 방법들 - Google Patents

Abstract

발명의 실시예들에 따라 공간적 오디오를 렌더링하기 위한 시스템들 및 방법들이 예시된다. 하나의 실시예는 주 네트워크 접속된 스피커를 포함하는 공간적 오디오 시스템을 포함하고, 주 네트워크 접속된 스피커는 구동기들의 복수의 세트들 - 구동기들의 각각의 세트는 상이한 방향으로 배향됨 -, 프로세서 시스템, 오디오 플레이어 애플리케이션을 포함하는 메모리를 포함하고, 여기서, 오디오 플레이어 애플리케이션은, 네트워크 인터페이스를 통해 오디오 소스로부터 오디오 소스 스트림을 획득하고, 오디오 소스를 공간적으로 인코딩하고, 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 공간적으로 인코딩된 오디오 소스를 디코딩하도록 - 구동기 입력들은 구동기들로 하여금, 방향성 오디오를 생성하게 함 - 프로세서 시스템을 구성한다.

Description

공간적 오디오 렌더링을 위한 시스템들 및 방법들

본 출원은 2019년 4월 2일자로 출원된 "System and Architecture for Spatial Audio Control and Reproduction"라는 명칭의 미국 특허 가출원 제62/828,357호; 2019년 7월 25일자로 출원된 "Method and Apparatus for Spatial Multimedia Source Management"라는 명칭의 미국 특허 가출원 제62/878,696호; 및 2019년 11월 13일자로 출원된 "Systems and Methods for Spatial Audio Rendering"라는 명칭의 미국 특허 가출원 제62/935,034호의 이익 및 이에 대한 35 U.S.C. § 119(e) 하의 우선권을 주장한다. 미국 특허 가출원 제62/828,357호; 제62/878,696호; 및 제62/935,034호의 개시내용들은 이로써, 그 전체적으로 참조로 편입된다.

본 발명은 일반적으로, 공간적 오디오 렌더링(spatial audio rendering) 기법들, 즉, 공간적 오디오 재현(spatial audio reproduction) 기법들 및/또는 모덜 빔포밍 스피커 어레이(modal beamforming speaker array)들을 이용하여 공간적 오디오를 렌더링하기 위한 시스템들 및 방법들에 관한 것이다.

라우드스피커(loudspeaker)들, 구어체로 "스피커들"은 전기적 오디오 입력 신호 또는 오디오 신호를 대응하는 음(sound)으로 변환하는 디바이스들이다. 스피커들은 전형적으로, 다수의 스피커 구동기들을 포함할 수 있는 인클로저(enclosure)에서 실장된다. 이 경우에, 다수의 개별적인 스피커 구동기들을 포함하는 인클로저는 자체로 스피커로서 지칭될 수 있고, 내부의 개별적인 스피커 구동기들은 그 다음으로, "구동기들"로서 지칭될 수 있다. 고주파수 오디오를 출력하는 구동기들은 "트위터(tweeter)들"로서 종종 지칭된다. 미드-레인지(mid-range) 주파수 오디오를 출력하는 구동기들은 "미드(mid)들" 또는 "미드-레인지 구동기들"로서 지칭될 수 있다. 저 주파수 오디오를 출력하는 구동기들은 "우퍼(woofer)들"로서 지칭될 수 있다. 음의 주파수를 설명할 때, 이 3 개의 대역들은 "하이(high)들", "미드들", 및 "로우(low)들"로서 보편적으로 지칭된다. 일부 경우들에 있어서, 로우들은 또한, "베이스(bass)"로서 지칭된다.

오디오 트랙들은 특정한 스피커 배열을 위하여 종종 믹싱된다. 가장 기본적인 레코딩(recording)들은 하나의 스피커 상에서의 재현을 위하여 의도되고, 그 포맷은 이제 "모노(mono)"로 칭해진다. 모노 레코딩들은 단일 오디오 채널을 가진다. 입체음향 오디오(stereophonic audio), 구어체로 "스테레오(stereo)"는 스테레오 재현을 위하여 레코딩되고 인코딩된 오디오 신호와 결합된 공지된 2 스피커 배열을 가짐으로써 다차원 가청 관점의 환상을 생성하는 음 재현 방법이다. 스테레오 인코딩들은 좌측 채널 및 우측 채널을 포함하고, 이상적인 청자(listener)는 좌측 스피커 및 우측 스피커로부터 등거리인 특정한 지점에 있는 것으로 가정한다. 그러나, 스테레오는 제한된 공간적 효과를 제공하는데, 그 이유는 전형적으로 오직 2 개의 전방 발사 스피커들이 이용되기 때문이다. 2보다 더 적거나 더 큰 스피커들을 이용하는 스테레오는 각각 다운 믹싱(down mixing) 또는 업 믹싱(up mixing) 아티팩트(artifact)들의 어느 하나로 인해 차선의 렌더링으로 귀착될 수 있다.

스테레오의 제한들을 시도하고 정정하기 위하여 훨씬 더 큰 수의 스피커들 및 연관된 오디오 채널들을 요구하는 몰입적 포맷들이 이제 존재한다. 이 더 높은 채널 카운트 포맷들은 "서라운드 음(surround sound)"으로서 종종 지칭된다. 5.1, 7.1, 7.1.4, 10.2, 11.1, 및 22.2와 같은, 그러나 이것으로 제한되지는 않는, 이 포맷들과 연관된 많은 상이한 스피커 구성들이 있다. 그러나, 이 포맷들에서의 문제는 이들이 큰 수의 스피커들이 올바르게 구성되고 규정된 위치들에서 배치되는 것을 요구한다는 것이다. 스피커들이 그 이상적인 위치들로부터 오프셋(offset)될 경우에, 오디오 렌더링/재현은 상당히 열화할 수 있다. 추가적으로, 큰 수의 스피커들을 채용하는 시스템들은 종종, 더 적은 스피커들을 위하여 인코딩된 채널-기반 서라운드 음 오디오를 렌더링할 때에 스피커들의 전부를 사용하지는 않는다.

오디오 레코딩 및 재현 기술은 더 높은 충실도 경험을 위하여 지속적으로 노력하였다. 청자가 음악가들과 함께 룸(room)에 있는 것처럼 음을 재현하기 위한 능력은 업계가 이행하도록 시도하였던 핵심적인 약속이었다. 그러나, 지금까지, 최고 충실도의 공간적으로 정확한 재현들은 이상적인 청자 위치에 대하여 특정한 배향으로 배열되어야 하는 대형 스피커 어레이들을 희생하면서 나왔다. 본 명세서에서 설명된 시스템들 및 방법들은 공간적 오디오 재현 원리들을 공간적 오디오 렌더링에 적용함으로써 이 문제들을 개선시킬 수 있고 추가적인 기능성을 제공할 수 있다.

발명의 실시예들에 따라 공간적 오디오를 렌더링하기 위한 시스템들 및 방법들이 예시된다. 하나의 실시예는 주 네트워크 접속된 스피커를 포함하는 공간적 오디오 시스템을 포함하고, 주 네트워크 접속된 스피커는 구동기들의 복수의 세트들 - 구동기들의 각각의 세트는 상이한 방향으로 배향됨 -, 프로세서 시스템, 오디오 플레이어 애플리케이션(audio player application)을 포함하는 메모리를 포함하고, 여기서, 오디오 플레이어 애플리케이션은, 네트워크 인터페이스를 통해 오디오 소스(audio source)로부터 오디오 소스 스트림을 획득하고, 오디오 소스를 공간적으로 인코딩하고, 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 공간적으로 인코딩된 오디오 소스를 디코딩하도록 - 구동기 입력들은 구동기들로 하여금, 방향성 오디오를 생성하게 함 - 프로세서 시스템을 구성한다.

또 다른 실시예에서, 주 네트워크 접속된 스피커는 구동기들의 3 개의 세트들을 포함하고, 여기서, 구동기들의 각각의 세트는 미드-주파수 구동기 및 트위터를 포함한다.

추가의 실시예에서, 주 네트워크 접속된 스피커는 원형 배열인 3 개의 혼(horn)들을 더 포함하고, 여기서, 각각의 혼은 미드-주파수 구동기 및 트위터의 세트에 의해 피드(feed)된다.

여전히 또 다른 실시예에서, 주 네트워크 접속된 스피커는 3 개의 혼들의 원형 배열에 수직으로 장착된 한 쌍의 대향하는 서브-우퍼(sub-woofer) 구동기들을 더 포함한다.

여전히 추가의 실시예에서, 구동기 입력들은 구동기들로 하여금, 모달 빔포밍(modal beamforming)을 이용하여 방향성 오디오를 생성하게 한다.

또 다른 실시예에서, 오디오 소스는 채널-기반 오디오 소스이고, 오디오 플레이어 애플리케이션은, 채널-기반 오디오 소스에 기초하여 복수의 공간적 오디오 객체들을 생성함으로써 - 각각의 공간적 오디오 객체는 위치를 배정받고 연관된 오디오 신호를 가짐 -, 그리고 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 인코딩함으로써, 채널-기반 오디오 소스를 공간적으로 인코딩하도록 프로세서 시스템을 구성한다.

또 추가의 실시예에서, 오디오 플레이어 애플리케이션은, 복수의 가상적 스피커(virtual speaker)들을 위한 오디오 입력들을 획득하기 위하여 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 디코딩함으로써, 그리고 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 복수의 가상적 스피커들 중의 적어도 하나를 위한 오디오 입력을 디코딩함으로써, 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 공간적으로 인코딩된 오디오 소스를 디코딩하도록 프로세서 시스템을 구성한다.

또 다른 추가적인 실시예에서, 오디오 플레이어 애플리케이션은, 주 네트워크 접속된 스피커의 위치에 기초하여 복수의 가상적 스피커들 중의 적어도 하나의 공간적 오디오 표현을 인코딩함으로써, 그리고 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 복수의 가상적 스피커들 중의 적어도 하나의 가상적 스피커의 공간적 오디오 표현을 디코딩함으로써, 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 복수의 가상적 스피커들 중의 적어도 하나의 가상적 스피커를 위한 오디오 입력을 디코딩하도록 프로세서 시스템을 구성한다.

또한 추가적인 실시예에서, 오디오 플레이어 애플리케이션은, 구동기들의 각각의 세트를 위한 필터를 이용하여 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 복수의 가상적 스피커들 중의 적어도 하나를 위한 오디오 입력을 디코딩하도록 프로세서 시스템을 구성한다.

다시 또 다른 실시예에서, 오디오 플레이어 애플리케이션은, 복수의 가상적 스피커들을 위한 직접 오디오 입력(direct audio input)들의 세트를 획득하기 위하여 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 디코딩함으로써, 그리고 복수의 가상적 스피커들을 위한 확산 오디오 입력(diffuse audio input)들의 세트를 획득하기 위하여 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 디코딩함으로써, 복수의 가상적 스피커들을 위한 오디오 입력들을 획득하기 위하여 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 디코딩하도록 프로세서 시스템을 구성한다.

다시 추가의 실시예에서, 복수의 가상적 스피커들은 링(ring)으로 배열된 적어도 8 개의 가상적 스피커들을 포함한다.

여전히 또 다른 실시예에서, 오디오 플레이어 애플리케이션은, 오디오 소스를, 1차 앰비소닉 표현(first order ambisonic representation); 더 높은 차수의 앰비소닉 표현; 벡터 기반 진폭 패닝(Vector Based Amplitude Panning)(VBAP) 표현; 거리 기반 진폭 패닝(Distance Based Amplitude Panning)(DBAP) 표현; 및 K 최근접 이웃들 패닝(K Nearest Neighbors Panning) 표현으로 구성되는 그룹으로부터 선택된 적어도 하나의 공간적 표현으로 공간적으로 인코딩하도록 프로세서 시스템을 구성한다.

여전히 또 추가의 실시예에서, 복수의 공간적 오디오 객체들의 각각은 채널-기반 오디오 소스의 채널에 대응한다.

여전히 또 다른 추가적인 실시예에서, 채널-기반 오디오 소스의 채널들의 수보다 더 큰 공간적 오디오 객체들의 수는 채널-기반 오디오 소스의 업믹싱(upmixing)을 이용하여 획득된다.

여전히 또한 추가적인 실시예에서, 복수의 공간적 오디오 객체들은 직접 공간적 오디오 객체들 및 확산 공간적 오디오 객체들을 포함한다.

다시 여전히 또 다른 실시예에서, 오디오 플레이어 애플리케이션은 채널-기반 오디오 소스의 채널들의 수에 의해 결정된 레이아웃(layout)에 기초하여 미리 결정된 위치들을 복수의 공간적 오디오 객체들에 배정하도록 프로세서 시스템을 구성한다.

다시 여전히 추가의 실시예에서, 오디오 플레이어 애플리케이션은 사용자 입력에 기초하여 위치를 공간적 오디오 객체에 배정하도록 프로세서 시스템을 구성한다.

또 다른 추가적인 실시예에서, 오디오 플레이어 애플리케이션은 프로그램 방식으로 시간 경과에 따라 변화하는 위치를 공간적 오디오 객체에 배정하도록 프로세서 시스템을 구성한다.

또 추가의 추가적인 실시예에서, 공간적 오디오 시스템은 적어도 하나의 보조 네트워크 접속된 스피커를 더 포함하고, 주 네트워크 접속된 스피커의 오디오 플레이어 애플리케이션은 주 및 적어도 하나의 보조 네트워크 접속된 스피커의 레이아웃에 기초하여 적어도 하나의 보조 네트워크 접속된 스피커들의 각각을 위한 오디오 스트림들의 세트를 획득하기 위하여 공간적으로 인코딩된 오디오 소스를 디코딩하고, 적어도 하나의 보조 네트워크 접속된 스피커의 각각을 위한 오디오 스트림들의 세트를 적어도 하나의 보조 네트워크 접속된 스피커의 각각으로 송신하도록 프로세서 시스템을 추가로 구성하고, 적어도 하나의 보조 네트워크 접속된 스피커의 각각은 구동기들의 복수의 세트들 - 구동기들의 각각의 세트는 상이한 방향으로 배향됨 -, 프로세서 시스템, 보조 오디오 플레이어 애플리케이션을 포함하는 메모리를 포함하고, 여기서, 보조 오디오 플레이어 애플리케이션은, 주 네트워크 접속된 스피커로부터 오디오 스트림들의 세트를 수신하고 - 오디오 스트림들의 세트는 구동기들의 복수의 세트들의 각각을 위한 별도의 오디오 스트림을 포함함 -, 수신된 오디오 스트림들의 세트에 기초하여 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하도록 - 구동기 입력들은 구동기들로하여금, 방향성 오디오를 생성하게 함 - 프로세서 시스템을 구성한다.

다시 또 다른 실시예에서, 주 네트워크 접속된 스피커 및 적어도 하나의 보조 네트워크 접속된 스피커의 각각은 적어도 하나의 마이크로폰(microphone)을 포함하고, 주 네트워크 접속된 스피커의 오디오 플레이어 애플리케이션은 오디오 레인징(audio ranging)을 이용하여 주 및 적어도 하나의 보조 네트워크 접속된 스피커의 레이아웃을 결정하도록 프로세서 시스템을 추가로 구성한다.

다시 또 추가의 실시예에서, 주 네트워크 접속된 스피커 및 적어도 하나의 보조 스피커는 수평 라인으로 배열된 2 개의 네트워크 접속된 스피커들, 수평 평면 상에서 삼각형으로서 배열된 3 개의 네트워크 접속된 스피커들, 및 수평 평면 위에 위치결정된 제4 네트워크 접속된 스피커와 함께, 수평 평면 상에서 삼각형으로서 배열된 3 개의 네트워크 접속된 스피커들 중의 적어도 하나를 포함한다.

또 다른 실시예에서, 네트워크 접속된 스피커는 원형 배열인 3 개의 혼들 - 각각의 혼은 미드-주파수 구동기 및 트위터의 세트에 의해 피드됨 -, 3 개의 혼들의 원형 배열에 수직으로 장착된 적어도 하나의 서브-우퍼 구동기, 프로세서 시스템, 오디오 플레이어 애플리케이션을 포함하는 메모리, 네트워크 인터페이스를 포함하고, 여기서, 오디오 플레이어 애플리케이션은 네트워크 인터페이스를 통해 오디오 소스로부터 오디오 소스 스트림을 획득하고 구동기 입력들을 생성하도록 프로세서 시스템을 구성한다.

추가의 실시예에서, 적어도 하나의 서브-우퍼 구동기는 한 쌍의 대향하는 서브-우퍼 구동기들을 포함한다.

여전히 또 다른 실시예에서, 서브-우퍼 구동기들은 각각 3축 탄소 섬유 위버(triaxial carbon fiber weaver)를 포함하는 재료로부터 구성된 다이어프램(diaphragm)을 포함한다.

여전히 추가의 실시예에서, 구동기 입력들은 구동기들로 하여금, 모달 빔포밍을 이용하여 방향성 오디오를 생성하게 한다.

또 다른 실시예에서, 오디오 소스로부터 공간적 오디오를 렌더링하는 방법은 오디오 플레이어 애플리케이션에 의해 구성된 프로세서에서 오디오 소스로부터 오디오 소스 스트림을 수신하는 단계, 오디오 플레이어 애플리케이션에 의해 구성된 프로세서를 이용하여 오디오 소스를 공간적으로 인코딩하는 단계, 및 오디오 플레이어 애플리케이션에 의해 구성된 적어도 프로세서를 이용하여 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 공간적으로 인코딩된 오디오 소스를 디코딩하는 단계 - 구동기들의 복수의 세트들의 각각은 상이한 방향으로 배향되고, 구동기 입력들은 구동기들로 하여금, 방향성 오디오를 생성하게 함 -, 및 구동기들의 복수의 세트들을 이용하여 공간적 오디오를 렌더링하는 단계를 포함한다.

추가의 실시예에서, 구동기들의 복수의 세트들의 몇몇은 오디오 플레이어 애플리케이션에 의해 구성된 프로세서를 포함하는 주 네트워크 접속된 재생 디바이스 내에 포함되고, 구동기들의 복수의 세트들의 나머지는 적어도 하나의 보조 네트워크 접속된 재생 디바이스 내에 포함되고, 적어도 하나의 보조 네트워크 접속된 재생 디바이스의 각각은 주 접속된 재생 디바이스와 네트워크 통신한다.

여전히 또 다른 실시예에서, 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 공간적으로 인코딩된 오디오 소스를 디코딩하는 단계는, 오디오 플레이어 애플리케이션에 의해 구성된 프로세서를 이용하여 주 네트워크 접속된 재생 디바이스의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 공간적으로 인코딩된 오디오 소스를 디코딩하는 단계, 오디오 플레이어 애플리케이션에 의해 구성된 프로세서를 이용하여 적어도 하나의 보조 네트워크 접속된 재생 디바이스 각각의 구동기들의 세트들의 각각을 위한 오디오 스트림들을 획득하기 위하여 공간적으로 인코딩된 오디오 소스를 디코딩하는 단계, 적어도 하나의 보조 네트워크 접속된 스피커의 각각을 위한 오디오 스트림들의 세트를 적어도 하나의 보조 네트워크 접속된 스피커의 각각으로 송신하는 단계, 및 적어도 하나의 보조 네트워크 접속된 스피커의 각각이 수신된 오디오 스트림들의 세트에 기초하여 그 개별적인 구동기들을 위한 구동기 입력들을 생성하는 단계를 더 포함한다.

여전히 추가의 실시예에서, 오디오 소스는 채널-기반 오디오 소스이고, 오디오 소스를 공간적으로 인코딩하는 단계는, 채널-기반 오디오 소스에 기초하여 복수의 공간적 오디오 객체들을 생성하는 단계 - 각각의 공간적 오디오 객체는 위치를 배정받고 연관된 오디오 신호를 가짐 -, 및 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 인코딩하는 단계를 더 포함한다.

또 다른 실시예에서, 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 공간적으로 인코딩된 오디오 소스를 디코딩하는 단계는, 복수의 가상적 스피커들을 위한 오디오 입력들을 획득하기 위하여 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 디코딩하는 단계, 및 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 복수의 가상적 스피커들의 오디오 입력들을 디코딩하는 단계를 더 포함한다.

또 추가의 실시예에서, 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 복수의 가상적 스피커들의 오디오 입력들을 디코딩하는 단계는, 주 네트워크 접속된 스피커의 위치에 기초하여 복수의 가상적 스피커들 중의 적어도 하나의 가상적 스피커의 공간적 오디오 표현을 인코딩하는 단계, 및 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 복수의 가상적 스피커들 중의 적어도 하나의 가상적 스피커의 공간적 오디오 표현을 디코딩하는 단계를 더 포함한다.

또 다른 추가적인 실시예에서, 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 복수의 가상적 스피커들의 오디오 입력들을 디코딩하는 단계는 구동기들의 각각의 세트를 위한 필터를 이용하는 단계를 더 포함한다.

또한 추가적인 실시예에서, 복수의 가상적 스피커들을 위한 오디오 입력들을 획득하기 위하여 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 디코딩하는 단계는, 복수의 가상적 스피커들을 위한 직접 오디오 입력들의 세트를 획득하기 위하여 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 디코딩하는 단계, 및 복수의 가상적 스피커들을 위한 확산 오디오 입력들의 세트를 획득하기 위하여 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 디코딩하는 단계를 더 포함한다.

다시 또 다른 실시예에서, 복수의 가상적 스피커들은 링으로 배열된 적어도 8 개의 가상적 스피커들을 포함한다.

다시 추가의 실시예에서, 오디오 소스를 공간적으로 인코딩하는 단계는, 오디오 소스를, 1차 앰비소닉 표현; 더 높은 차수의 앰비소닉 표현; 벡터 기반 진폭 패닝(VBAP) 표현; 거리 기반 진폭 패닝(DBAP) 표현; 및 K 최근접 이웃들 패닝 표현으로 구성되는 그룹으로부터 선택된 적어도 하나의 공간적 표현으로 공간적으로 인코딩하는 단계를 포함한다.

또 다른 실시예에서, 공간적 오디오 시스템은, 적어도 하나의 오디오 신호를 포함하는 오디오 스트림을 획득하고, 주 네트워크 접속된 스피커의 물리적 위치를 설명하는 위치 데이터를 획득하고, 적어도 하나의 오디오 신호를 공간적 표현으로 변환하고, 가상적 스피커 레이아웃에 기초하여 공간적 표현을 변환하고, 주 네트워크 접속된 스피커의 각각의 혼을 위한 별도의 오디오 신호를 생성하고, 각각의 혼을 위한 적어도 하나의 구동기를 이용하여 주 네트워크 접속된 스피커의 혼들에 대응하는 별도의 오디오 신호들을 재생하도록 구성된 주 네트워크 접속된 스피커를 포함한다.

추가의 실시예에서, 공간적 오디오 시스템은 적어도 하나의 보조 네트워크 접속된 스피커를 더 포함하고, 주 네트워크 접속된 스피커는 적어도 하나의 보조 네트워크 접속된 스피커의 물리적 위치를 설명하는 위치 데이터를 획득하고, 적어도 하나의 보조 네트워크 접속된 스피커의 각각의 혼을 위한 별도의 오디오 신호를 생성하고, 별도의 오디오 신호를, 각각의 별도의 오디오 신호에 대한 혼과 연관된 적어도 하나의 보조 네트워크 접속된 스피커로 송신하도록 추가로 구성된다.

여전히 또 다른 실시예에서, 주 네트워크 접속된 스피커는 수퍼 주 네트워크 접속된 스피커(super primary network connected speaker)이고, 수퍼 주 네트워크 접속된 스피커는 오디오 스트림을 제2 주 네트워크 접속된 스피커로 송신하도록 추가로 구성된다.

여전히 추가의 실시예에서, 주 네트워크 접속된 스피커는 다른 네트워크 접속된 스피커들에 의해 참여가능한 무선 네트워크를 확립할 수 있다.

또 다른 실시예에서, 주 네트워크 접속된 스피커는 제어 디바이스에 의해 제어가능하다.

또 추가의 실시예에서, 제어 디바이스는 스마트폰이다.

또 다른 추가적인 실시예에서, 주 네트워크 접속된 스피커는 오디오 신호의 멜 스펙트로그램(mel spectrogram)을 생성할 수 있고, 멜 스펙트로그램을, 오디오 신호를 시각화 나선(visualization helix)으로서 시각화할 시의 이용을 위한 시각화디바이스로 메타데이터로서 송신할 수 있다.

또한 추가적인 실시예에서, 생성된 별도의 오디오 신호들은 구동기를 직접적으로 구동하기 위하여 이용될 수 있다.

다시 또 다른 실시예에서, 가상적 스피커 레이아웃은 가상적 스피커들의 링을 포함한다.

다시 추가의 실시예에서, 가상적 스피커들의 링은 적어도 8 개의 가상적 스피커들을 포함한다.

여전히 또 다른 실시예에서, 가상적 스피커 레이아웃에서의 가상적 스피커들은 규칙적으로 이격된다.

또 다른 실시예에서, 공간적 오디오 시스템은 제1 위치에서의 제1 네트워크 접속된 스피커, 및 제2 위치에서의 제2 네트워크 접속된 스피커를 포함하고, 여기서, 제1 네트워크 접속된 스피커 및 제2 네트워크 접속된 스피커는 적어도 하나의 음 객체가 제1 모달 빔포밍 스피커에 의해 생성된 구동기 신호들에 기초하여 제1 위치 및 제2 위치와 상이한 위치에서 렌더링되도록, 오디오 신호들을 동시에 렌더링하도록 구성된다.

추가의 실시예에서, 공간적 오디오 시스템은 오디오 신호들을 제1 및 제2 네트워크 접속된 스피커들과 동시에 렌더링하도록 구성된 제3 위치에서의 제3 네트워크 접속된 스피커를 더 포함한다.

여전히 또 다른 실시예에서, 공간적 오디오 시스템은 오디오 신호들을 제1, 제2, 및 제3 네트워크 접속된 스피커들과 동시에 렌더링하도록 구성된 제4 위치에서의 제4 네트워크 접속된 스피커를 더 포함하고, 제4 위치는 제1, 제2, 및 제3 위치들보다 더 높은 고도(altitude)에 있다.

여전히 추가의 실시예에서, 제1, 제2, 제3, 및 제4 위치들은 모두 룸 내에 있고, 제4 모달 빔포밍 스피커는 룸의 천장에 연결된다.

또 다른 실시예에서, 공간적 오디오 시스템은, 주 네트워크 접속된 스피커의 물리적 위치를 설명하는 위치 데이터를 획득하는 적어도 하나의 오디오 신호를 포함하는 오디오 스트림을 획득할 수 있고, 적어도 하나의 오디오 신호를 공간적 표현으로 변환할 수 있고, 가상적 스피커 레이아웃에 기초하여 공간적 표현을 변환할 수 있고, 주 네트워크 접속된 스피커의 각각의 혼을 위한 별도의 주 오디오 신호를 생성할 수 있고, 복수의 보조 네트워크 접속된 스피커들의 각각의 혼을 위한 별도의 보조 오디오 신호를 생성할 수 있고, 각각의 별도의 보조 오디오 신호를, 개개의 혼을 포함하는 보조 네트워크 접속된 스피커로 송신할 수 있고, 복수의 보조 네트워크 접속된 스피커들과 동기화된 방식으로 각각의 혼을 위한 적어도 하나의 구동기를 이용하여 주 네트워크 접속된 스피커의 혼들에 대응하는 별도의 주 오디오 신호들을 재생할 수 있는 주 네트워크 접속된 스피커를 포함한다.

또 다른 실시예에서, 공간적 오디오를 렌더링하는 방법은 주 네트워크 접속된 스피커를 이용하여 제1 포맷으로 인코딩된 오디오 신호를 획득하는 단계, 주 네트워크 접속된 스피커를 이용하여 오디오 신호를 공간적 표현으로 변환하는 단계, 주 네트워크 접속된 스피커를 이용하여 공간적 표현에 기초하여 복수의 구동기 신호들을 생성하는 단계 - 각각의 구동기 신호는 혼과 결합된 적어도 하나의 구동기에 대응함 -, 및 복수의 구동기 신호들 및 대응하는 적어도 하나의 구동기를 이용하여 공간적 오디오를 렌더링하는 단계를 포함한다.

추가의 실시예에서, 방법은 복수의 구동기 신호들의 일부분을 적어도 하나의 보조 네트워크 접속된 스피커로 송신하는 단계, 및 주 네트워크 접속된 스피커 및 적어도 하나의 보조 네트워크 접속된 스피커를 이용하여 동기화된 방식으로 공간적 오디오를 렌더링하는 단계를 더 포함한다.

여전히 또 다른 실시예에서, 방법은 오디오 신호의 멜 스펙트로그램을 생성하는 단계, 및 멜 스펙트로그램을, 오디오 신호를 시각화 나선으로서 시각화할 시의 이용을 위한 시각화 디바이스로 메타데이터로서 송신하는 단계를 더 포함한다.

여전히 추가의 실시예에서, 복수의 구동기 신호들을 생성하는 단계는 가상적 스피커 레이아웃에 기초한다.

또 다른 실시예에서, 가상적 스피커 레이아웃은 가상적 스피커들의 링을 포함한다.

또 추가의 실시예에서, 가상적 스피커들의 링은 적어도 8 개의 가상적 스피커들을 포함한다.

또 다른 추가적인 실시예에서, 가상적 스피커 레이아웃에서의 가상적 스피커들은 규칙적으로 이격된다.

또한 추가적인 실시예에서, 주 네트워크 접속된 스피커는 수퍼 주 네트워크 접속된 스피커이고, 방법은 오디오 신호를 제2 주 네트워크 접속된 스피커로 송신하는 단계, 제2 주 네트워크 접속된 스피커를 이용하여 오디오 신호를 제2 공간적 표현으로 변환하는 단계, 제2 주 네트워크 접속된 스피커를 이용하여 제2 공간적 표현에 기초하여 제2 복수의 구동기 신호들을 생성하는 단계 - 각각의 구동기 신호는 혼과 결합된 적어도 하나의 구동기에 대응함 -, 및 복수의 구동기 신호들 및 대응하는 적어도 하나의 구동기를 이용하여 공간적 오디오를 렌더링하는 단계를 더 포함한다.

다시 또 다른 실시예에서, 제2 공간적 표현은 제1 공간적 표현과 동일하다.

다시 추가의 실시예에서, 공간적 표현에 기초하여 복수의 구동기 신호들을 생성하는 단계는 가상적 스피커 레이아웃을 이용하는 단계를 더 포함한다.

여전히 또 다른 실시예에서, 가상적 스피커 레이아웃은 가상적 스피커들의 링을 포함한다.

여전히 또 추가의 실시예에서, 가상적 스피커들의 링은 적어도 8 개의 가상적 스피커들을 포함한다.

여전히 또 다른 추가적인 실시예에서, 가상적 스피커 레이아웃에서의 가상적 스피커들은 규칙적으로 이격된다.

또 다른 실시예에서, 네트워크 접속된 스피커는 복수의 혼들 - 3 개의 혼들의 각각은 복수의 구동기들과 맞추어짐 -, 및 한 쌍의 대향하는 동축 우퍼들 - 3 개의 복수의 구동기들은 공간적 오디오를 렌더링할 수 있음 - 을 포함한다.

추가의 실시예에서, 복수의 구동기들 각각은 트위터 및 미드를 포함한다.

여전히 또 다른 실시예에서, 트위터 및 미드는 동축이 되도록 그리고 동일한 방향으로 발사하도록 구성된다.

여전히 추가의 실시예에서, 트위터는 모달 빔포밍 스피커의 중앙에 대해 미드 상부에 위치된다.

또 다른 실시예에서, 한 쌍의 우퍼들 중의 하나는 우퍼의 중앙을 통한 채널을 포함한다.

또 추가의 실시예에서, 우퍼들은 3축 탄소 섬유 위브(triaxial carbon fiber weave)로부터 구성되는 다이어프램들을 포함한다.

또 다른 추가적인 실시예에서, 복수의 혼들은 동일평면이고, 여기서, 한 쌍의 우퍼들에서의 제1 우퍼는 양의 방향(positive direction)에서 혼들의 평면에 수직으로 발사하도록 구성되고, 한 쌍의 우퍼들에서의 제2 우퍼는 음의 방향(negative direction)에서 혼들에 평면에 수직으로 발사하도록 구성된다.

또한 추가적인 실시예에서, 복수의 혼들은 링으로 구성된다.

다시 또 다른 실시예에서, 복수의 혼들은 3 개의 혼들을 포함한다.

다시 추가의 실시예에서, 복수의 혼들은 규칙적으로 이격된다.

여전히 또 다른 실시예에서, 혼들은 단일 컴포넌트를 형성한다.

여전히 또 추가의 실시예에서, 복수의 혼들은 2 개의 커버들 사이에 밀봉부(seal)를 형성한다.

여전히 또 다른 추가적인 실시예에서, 복수의 구동기들을 위한 적어도 하나의 후방 음량(back volume)은 3 개의 혼들 사이에 포함된다.

여전히 또한 추가적인 실시예에서, 네트워크 접속된 스피커는 스탠드(stand)에 연결되도록 구성된 줄기부(stem)를 더 포함한다.

다시 여전히 또 다른 실시예에서, 줄기부 및 스탠드는 바요넷 록킹 시스템(bayonet locking system)을 이용하여 연결되도록 구성된다.

다시 여전히 추가의 실시예에서, 줄기부는 재생 제어 신호들을 네트워크 접속된 스피커에 제공할 수 있는 링을 포함한다.

또 다른 추가적인 실시예에서, 네트워크 접속된 스피커는 천장으로부터 걸리도록 구성된다.

또 다른 실시예에서, 라우드스피커를 위한 혼 어레이는 링이 방사상 대칭성을 유지하면서 복수의 혼들을 형성하도록 성형된 단일체 링을 포함한다.

추가의 실시예에서, 혼 어레이는 3-D 인쇄를 이용하여 제조된다.

또 다른 실시예에서, 복수의 혼들은 120 도에서 오프셋된 3 개의 혼들을 포함한다.

또 다른 실시예에서, 오디오 시각화 방법은 오디오 신호를 획득하는 단계, 오디오 신호로부터 멜 스펙트로그램을 생성하는 단계, 하나의 피치(pitch)에 의해 오프셋된 나선의 각각의 턴 상의 지점이 그 개개의 옥타브에서의 동일한 음악적 음표(musical note)를 반영하도록, 나선 상에서 멜 스펙트로그램을 도표화하는 단계, 각각의 음표의 음량이 나선의 외향 절곡(outward bending)에 의해 시각화되도록, 진폭에 기초하여 나선 구조를 워프(warp)하는 단계를 포함한다.

추가의 실시예에서, 나선은 위로부터 시각화된다.

여전히 또 다른 실시예에서, 나선은 컬러화된다.

여전히 추가의 실시예에서, 나선의 각각의 턴(turn)은 나선의 각각의 턴에 대하여 반복되는 컬러들의 범위를 이용하여 컬러화된다.

또 다른 실시예에서, 컬러 포화(color saturation)는 나선의 각각의 턴에 대하여 감소한다.

또 추가의 실시예에서, 컬러 투명도는 나선의 각각의 턴에 대하여 감소한다.

또 다른 추가적인 실시예에서, 나선 구조는 워프될 때에 나선의 축을 향해 흔적(trail)을 남긴다.

또 다른 실시예에서, 네트워크 접속된 스피커를 구성하는 방법은 복수의 외부로 향하는 혼(outward facing horn)들을 링으로 구성하는 단계, 복수의 구동기들을 각각의 외부로 향하는 혼에 맞추는 단계, 및 하나의 우퍼가 링 위에 있고 하나의 우퍼가 링 아래에 있도록, 반대로 향하는 우퍼들의 동축 쌍을 맞추는 단계를 포함한다.

추가의 실시예에서, 복수의 외부로 향하는 혼들을 링으로 구성하는 단계는 복수의 외부로 향하는 혼들을 단일 컴포넌트로서 제조하는 단계를 더 포함한다.

여전히 또 다른 실시예에서, 복수의 외부로 향하는 혼들은 적층 제조(additive manufacturing)를 이용하여 구성된다.

여전히 추가의 실시예에서, 구성 방법은 우퍼들 중의 하나의 우퍼의 다이어프램의 중앙을 통해 봉(rod)을 배치하는 단계를 더 포함한다.

또 다른 실시예에서, 우퍼는 우퍼 상의 다이어프램의 중앙을 통해 봉을 수용하기 위하여 이중 서라운드(double surround)로 구성된다.

또 추가의 실시예에서, 각각의 우퍼는 3축 탄소 섬유 위브로 이루어진 다이어프램을 포함한다.

또 다른 추가적인 실시예에서, 구성 방법은 복수의 구동기들이 링, 제1 커버, 및 제2 커버에 의해 생성된 음량 내에 있도록, 링의 상부 상에 제1 커버를 맞추는 단계 및 링의 하부 상에 제2 커버를 맞추는 단계를 더 포함한다.

또한 추가적인 실시예에서, 각각의 혼은 복수의 구동기들에서의 고유한 트위터 및 고유한 미드와 연관된다.

다시 또 다른 실시예에서, 구성 방법은 링 상의 각각의 혼 사이에 적어도 하나의 마이크로폰을 배치하는 단계를 더 포함한다.

추가적인 실시예들 및 특징들링 상의 각각의 혼 사이에 적어도 하나의 마이크로폰을 배치하는 단계은 뒤따르는 설명에서 부분적으로 기재되고, 부분적으로, 명세서의 검토 시에 본 기술분야에서의 통상의 기술자들에게 명백해질 것이거나, 발명의 실시에 의해 학습될 수 있다. 본 발명의 본질 및 장점들의 추가의 이해는 이 개시내용의 일부를 형성하는 명세서 및 도면들의 나머지 부분들을 참조함으로써 실현될 수 있다.

설명 및 청구항들은 다음의 도면들 및 데이터 그래프들을 참조하여 더 완전히 이해될 것이고, 다음의 도면들 및 데이터 그래프들은 발명의 예시적인 실시예들로서 제시되고, 발명의 범위의 완전한 나열로서 해석되지 않아야 한다.
도 1a는 발명의 실시예에 따른, 공간적 오디오 시스템을 위한 예시적인 시스템 도면이다.
도 1b는 발명의 실시예에 따른, 공간적 오디오 시스템을 위한 예시적인 시스템 도면이다.
도 1c는 발명의 실시예에 따른, 소스 입력 디바이스를 포함하는 공간적 오디오 시스템을 위한 예시적인 시스템 도면이다.
도 2a는 발명의 실시예에 따른, 공간적 오디오 시스템을 위한 예시적인 룸 레이아웃이다.
도 2b 내지 도 2f는 발명의 실시예에 따라, 도 2a의 예시적인 룸 레이아웃에서의 셀 주위의 예시적인 1차 앰비소닉들을 예시한다.
도 2g는 발명의 실시예에 따라, 도 2a의 예시적인 룸 레이아웃에서의 셀 주위의 예시적인 2차 앰비소닉들을 예시한다.
도 3a는 발명의 실시예에 따라, 공간적 오디오 시스템을 위한 예시적인 룸 레이아웃을 예시한다.
도 3b는 발명의 실시예에 따라, 도 3a의 예시적인 룸 레이아웃에서의 셀들 주위의 예시적인 1차 앰비소닉들을 예시한다.
도 4a는 발명의 실시예에 따라, 공간적 오디오 시스템을 위한 예시적인 룸 레이아웃을 예시한다.
도 4b는 발명의 실시예에 따라, 도 4a의 예시적인 룸 레이아웃에서의 셀들 주위의 예시적인 1차 앰비소닉들을 예시한다.
도 5a는 발명의 실시예에 따라, 공간적 오디오 시스템을 위한 예시적인 룸 레이아웃을 예시한다.
도 5b는 발명의 실시예에 따라, 도 5a의 예시적인 룸 레이아웃에서의 셀들 주위의 예시적인 1차 앰비소닉들을 예시한다.
도 6a는 발명의 실시예에 따라, 공간적 오디오 시스템을 위한 예시적인 룸 레이아웃을 예시한다.
도 6b는 발명의 실시예에 따라, 도 6a의 예시적인 룸 레이아웃에서의 셀들 주위의 예시적인 1차 앰비소닉들을 예시한다.
도 7a는 발명의 실시예에 따라, 공간적 오디오 시스템을 위한 예시적인 룸 레이아웃을 예시한다.
도 7b는 발명의 실시예에 따라, 도 7a의 예시적인 룸 레이아웃에서의 셀들 주위의 예시적인 1차 앰비소닉들을 예시한다.
도 8a는 발명의 실시예에 따라, 셀들을 포함하는 예시적인 주택(home)을 예시한다.
도 8b는 발명의 실시예에 따라, 다양한 그룹들로 편성된 예시적인 주택을 예시한다.
도 8c는 발명의 실시예에 따라, 다양한 구역들로 편성된 예시적인 주택을 예시한다.
도 8d는 발명의 실시예에 따라, 셀들을 포함하는 예시적인 주택을 예시한다.
도 9는 발명의 실시예에 따라, 공간적 오디오 시스템을 예시한다.
도 10은 발명의 실시예에 따라, 공간적 오디오 시스템을 이용하여 음장(sound field)들을 렌더링하기 위한 프로세스를 예시한다.
도 11은 발명의 실시예에 따라, 공간적 오디오 제어 및 재현을 위한 프로세스를 예시한다.
도 12a 내지 도 12d는 발명의 실시예에 따라, 시스템 인코더 및 스피커 노드 인코더 내의 음 객체들의 상대적인 포지션(position)들을 예시한다.
도 13a 내지 도 13d는 발명의 실시예에 따라, 5.1 채널 오디오를 3 개의 셀들로 맵핑하기 위한 예시적인 프로세스를 시각적으로 예시한다.
도 14는 발명의 실시예에 따라, 음 정보를 프로세싱하기 위한 프로세스를 예시한다.
도 15는 발명의 실시예에 따라, 셀의 구동기 어레이에서의 구동기들의 세트들을 예시한다.
도 16은 발명의 실시예에 따라, 확산 및 지향된 방식으로 공간적 오디오를 렌더링하기 위한 프로세스를 예시한다.
도 17은 발명의 실시예에 따른, 가상적 스피커 배치들을 셀들로 전파하기 위한 프로세스이다.
도 18a는 발명의 실시예에 따라, 셀을 예시한다.
도 18b는 발명의 실시예에 따른, 셀의 할로(halo)의 렌더(render)이다.
도 18c는 발명의 실시예에 따른, 할로의 단면이다.
도 18d는 발명의 실시예에 따라, 할로의 단일 혼을 위한 구동기들의 동축 정렬의 분해도를 예시한다.
도 18e는 발명의 실시예에 따라, 할로에서의 각각의 혼을 위한 구동기들의 소켓형 세트를 예시한다.
도 18e는 발명의 실시예에 따른, 할로의 수평 단면이다.
도 18g는 발명의 실시예에 따라, 셀의 코어의 실장부의 회로 보드 환형부(annulus) 및 하부 부분을 예시한다.
도 18h는 발명의 실시예에 따른, 할로 및 코어의 예시도이다.
도 18i는 발명의 실시예에 따른, 할로, 코어, 및 크라운(crown)의 예시도이다.
도 18j는 발명의 실시예에 따른, 할로, 코어, 크라운, 폐부(lung)들의 예시도이다.
도 18k 및 도 16l은 발명의 실시예에 따라, 대향하는 우퍼들을 예시한다.
도 18m 및 도 16n은 발명의 실시예에 따른, 대향하는 우퍼들의 단면이다.
도 18o는 발명의 실시예에 따라, 줄기부를 갖는 셀을 예시한다.
도 18p는 발명의 실시예에 따라, 줄기부의 하부 상의 예시적인 커넥터를 예시한다.
도 18q는 발명의 실시예에 따른, 셀의 단면이다.
도 18r은 발명의 실시예에 따른, 셀의 분해도이다.
도 19a 내지 도 19d는 발명의 실시예들에 따라, 몇몇 스탠드 변형들 상의 셀을 예시한다.
도 20은 발명의 실시예에 따라, 줄기부 상의 제어 링을 예시한다.
도 21은 발명의 실시예에 따른, 줄기부 및 제어 링의 단면이다.
도 22는 발명의 실시예에 따른, 제어 링 회전의 예시도이다.
도 23은 발명의 실시예에 따른, 회전을 검출하기 위한 제어 링 기구의 일부분의 근접 도면이다.
도 24는 발명의 실시예에 따른, 제어 링 클릭의 예시도이다.
도 25는 발명의 실시예에 따른, 클릭들을 검출하기 위한 제어 링 기구의 일부분의 근접 도면이다.
도 26은 발명의 실시예에 따른, 제어 링 수직 이동의 예시도이다.
도 27은 발명의 실시예에 따른, 수직 이동을 검출하기 위한 제어 링 기구의 일부분의 근접 도면이다.
도 28은 발명의 실시예에 따른, 보조 평면 상에서 회전을 검출하기 위한 제어 링 기구의 일부분의 근접 도면이다.
도 29는 발명의 실시예에 따라, 바요넷 기반 록킹 시스템을 이용하여 줄기부를 스탠드에 록킹하기 위한 프로세스를 시각적으로 예시한다.
도 30은 발명의 실시예에 따른, 바요넷 기반 록킹 시스템의 단면이다.
도 31a 및 도 31b는 발명의 실시예에 따라, 바요넷 기반 록킹 시스템을 위한 록킹된 및 비록킹된 포지션을 예시한다.
도 32는 발명의 실시예에 따라, 셀 회로부를 예시하는 블록도이다.
도 33은 발명의 실시예에 따라, 셀의 예시적인 하드웨어 구현예를 예시한다.
도 34는 발명의 실시예에 따라, 소스 관리기를 예시한다.
도 35는 발명의 실시예에 따라, 포지션 관리기를 예시한다.
도 36은 발명의 실시예에 따라, 공간에서의 음 객체들의 배치를 제어하기 위한 예시적인 UI를 예시한다.
도 37a 및 도 37b는 발명의 실시예에 따라, 공간에서의 음 객체들의 배치 및 공간에서 음 객체들을 분할하는 것을 제어하기 위한 예시적인 UI를 예시한다.
도 38은 발명의 실시예에 따라, 음 객체들의 음량 및 렌더링을 제어하기 위한 예시적인 UI를 예시한다.
도 39는 발명의 실시예에 따라, 증강 현실 환경에서의 음 객체를 예시한다.
도 40은 발명의 실시예에 따라, 증강 현실 환경에서의 음 객체들을 예시한다.
도 41은 발명의 실시예에 따라, 구성 동작들을 위한 예시적인 UI를 예시한다.
도 42는 발명의 실시예에 따라, 통합된 디지털 기기를 위한 예시적인 UI를 예시한다.
도 43은 발명의 실시예에 따라, 파 피닝(wave pinning)을 관리하기 위한 예시적인 UI를 예시한다.
도 44는 발명의 실시예에 따라, 음 객체들의 이동을 추적하기 위한 일련의 UI 화면들을 예시한다.
도 45는 발명의 실시예에 따라, 모든 곳에서 스테레오의 감각을 생성하기 위한 공간에서의 오디오 객체들을 개념적으로 예시한다.
도 46은 발명의 실시예에 따라, 가상적 스테이지에 대하여 오디오 객체들을 배치하는 것을 개념적으로 예시한다.
도 47은 발명의 실시예에 따라, 3D 공간에서 오디오 객체들을 배치하는 것을 개념적으로 예시한다.
도 48은 발명의 실시예에 따라, 주 셀 또는 보조 셀로서 작동하도록 구성될 수 있는 셀의 소프트웨어를 개념적으로 예시한다.
도 49는 발명의 실시예에 따라, 음 서버 소프트웨어 구현예를 개념적으로 예시한다.
도 50은 발명의 실시예에 따라, 모노 소스를 인코딩하기 위하여 사용될 수 있는 공간적 인코더를 예시한다.
도 51은 발명의 실시예에 따라, 소스 인코더를 예시한다.
도 52는 발명의 실시예에 따른, 3 개의 혼들의 세트의 각각에 대한 피드(feed)들에 대응하는 3 개의 오디오 신호들에 기초한 개별적인 구동기 피드들의 생성을 도시하는 그래프이다.
도 53은 발명의 실시예에 따라, 수퍼 주 셀을 갖는 계층구조에서의 오디오 데이터 분포를 예시한다.
도 54는 발명의 실시예에 따라, 2 개의 수퍼 주 셀들을 갖는 계층구조에서의 오디오 데이터 분포를 예시한다.
도 55는 발명의 실시예에 따라, Wi-Fi 라우터 상에서 셀들 사이의 통신을 갖는 수퍼 주 셀을 갖는 계층구조에서의 오디오 데이터 분포를 예시한다.
도 56은 발명의 실시예에 따라, 수퍼 주 셀들을 갖지 않는 계층구조에서의 오디오 데이터 분포를 예시한다.
도 57은 발명의 실시예에 따른, 주 셀 선정 프로세스를 위한 플로우차트이다.
도 58a 및 도 58b는 발명의 실시예에 따라, 각각 측부 및 상부 관점으로부터의 시각화 나선을 예시한다.
도 59는 발명의 실시예에 따라, 나선 기반 시각화를 예시한다.
도 60은 발명의 실시예에 따라, 오디오 스트림에서의 상이한 트랙들을 위한 4 개의 나선 기반 시각화들을 예시한다.

지금부터 도면들로 돌아가면, 공간적 오디오 렌더링을 위한 시스템들 및 방법들이 예시된다. 발명의 실시예들에 따른 공간적 오디오 시스템들은 "셀(cell)들"로서 지칭될 수 있는 하나 이상의 네트워크 접속된 스피커들을 포함한다. 몇몇 실시예들에서, 공간적 오디오 시스템은 임의적인 오디오 소스를 입력으로서 수신할 수 있고, 공간에서의 셀들의 특정 수 및 배치에 기초하여 결정된 방식으로 공간적 오디오를 렌더링할 수 있다. 이러한 방식으로, 스피커들의 특정 수 및/또는 배치(예컨대, 채널-기반 서라운드 음 오디오 포맷들)를 가정하여 인코딩되는 오디오 소스들은 오디오 재현이 스피커 레이아웃으로부터 분리되도록 리인코딩(re-encode)될 수 있다. 리인코딩된 오디오는 그 다음으로, 음장을 렌더링하기 위하여 공간적 오디오 시스템에 의해 이용가능한 셀들의 특정한 수 및 레이아웃에 특정적인 방식으로 렌더링될 수 있다. 다수의 실시예들에서, 공간적 오디오의 품질은 능동 지향성 제어를 통한 방향성 오디오의 이용을 통해 개량된다. 많은 실시예들에서, 공간적 오디오 시스템들은 모달 빔포밍을 포함하는(그러나 이것으로 제한되지는 않는) 기법들을 이용하여 방향성 오디오의 생성을 가능하게 하는 구동기들의 어레이들을 포함하는 셀들을 채용한다. 이러한 방식으로, 다양한 공간적 오디오 포맷들을 렌더링할 수 있는 공간적 오디오 시스템들은 오직 단일 셀을 이용하여 구성될 수 있고 추가적인 셀들로 (잠재적으로, 시간 경과에 따른 취득으로 인해) 개량될 수 있다.

위에서 언급된 바와 같이, 전형적인 채널-기반 서라운드 음 오디오 시스템들의 제한은 스피커들의 특정 수 및 그 스피커들의 규정된 배치에 대한 요건이다. 앰비소닉 기법들, 벡터 기반 진폭 패닝(VBAP) 기법들, 거리 기반 진폭 패닝(DBAP) 기법들, 및 k-최근접-이웃들 패닝(k-Nearest-Neighbors panning)(KNN 패닝) 기법들과 같은(그러나 이것으로 제한되지는 않는) 공간적 오디오 재현 기법들은 채널 기반 오디오의 제한들을 해결할 수 있는 스피커-레이아웃 독립적 오디오 포맷을 제공하기 위하여 개발되었다. 음장 재현 기법으로서의 앰비소닉들의 이용은 문헌[Gerzon, M.A., 1973. Periphony: With-height sound reproduction. Journal of the Audio Engineering Society, 21(1), pp.2-10]에서 처음으로 설명되었다. 앰비소닉들은 구형 고조파(spherical harmonic)들을 이용하는 음장들의 표현을 가능하게 한다. 1차 앰비소닉들은 1차 구형 고조파들을 이용하는 음장의 표현을 지칭한다. 전형적인 1차 앰비소닉 인코딩에 의해 생성된 신호들의 세트는 종종 "B-포맷" 신호들로서 지칭되고, 특정한 원점 위치에서의 음압(sound pressure)에 대하여 W, 전방-마이너스-후방(front-minus-back) 음압 경도(sound pressure gradient)에 대하여 X, 좌측-마이너스-우측(left-minus-right) 음압 경도에 대하여 Y, 그리고 상부-마이너스-하부(up-minus-down) 음압 경도에 대하여 Z로 표기된 컴포넌트들을 포함한다. B-포맷의 핵심 특징은 B-포맷이 음장의 스피커-독립적 표현이라는 것이다. 앰비소닉 인코딩들은 이들이 스피커 배치에 독립적인 방식으로 음 방향들을 반영하는 것을 특정으로 한다.

기존의 공간적 오디오 재현 시스템들은, 이 공간적 오디오 재현 시스템들이 특정 스피커 배치들을 갖는 큰 수의 스피커들을 종종 요구한다는 점에서, 유사한 제약들에 의해 채널-기반 서라운드 음 오디오 시스템들로서 일반적으로 제한된다. 예를 들어, 음장의 앰비소닉 표현으로부터의 공간적 오디오의 렌더링은 이상적으로는, 원 상에서 또는 구의 표면 상에서 청자 주위에 균일하게 배열된 라우드스피커들의 그룹의 이용을 수반한다. 스피커들이 이러한 방식으로 배치될 때, 앰비소닉 디코더는 B-포맷 신호들의 선형 조합을 이용하여 희망된 음장을 재생성할 각각의 스피커를 위한 오디오 입력 신호들을 생성할 수 있다.

발명의 많은 실시예들에 따른 시스템들 및 방법들은 하나 이상의 오디오 소스들을 앰비소닉 표현, VBAP 표현, VBAP 표현, DBAP 표현, 및/또는 kNN 패닝 표면과 같은(그러나 이것으로 제한되지는 않는) 공간적 오디오 표현으로 인코딩함으로써 셀들의 임의적인 수 및/또는 배치를 이용하여 음장들의 생성을 가능하게 한다. 몇몇 실시예들에서, 공간적 오디오 시스템은 다수의 공간적 오디오 객체들을 생성하는 방식으로 오디오 소스를 디코딩한다. 오디오 소스가 채널-기반 오디오 소스일 경우에, 각각의 채널은 희망된 서라운드 음 스피커 레이아웃에서 공간적 오디오 시스템에 의해 배치되는 공간적 오디오 객체에 배정될 수 있다. 오디오 소스가 마스터 레코딩(master recording)들의 세트일 때, 공간적 오디오 시스템은 대역 성능 레이아웃 템플릿(band performance layout template)에 기초하여 3D 공간에서 배치될 수 있는 별도의 공간적 오디오 객체를 갖는 각각의 트랙을 배정할 수 있다. 많은 실시예들에서, 사용자는 다수의 사용자 입력 양상(modality)들 중의 임의의 것을 통해 공간적 오디오 객체들의 배치를 수정할 수 있다. 일단 오디오 객체들의 배치가 결정되면, 오디오 객체들의 공간적 인코딩(예컨대, 앰비소닉 인코딩)이 생성될 수 있다.

다양한 실시예들에서, 공간적 오디오 시스템들은 주 셀들 및 보조 셀들의 계층구조를 채용한다. 많은 실시예들에서, 주 셀들은 공간적 인코딩들을 생성하는 것과, 추후에, 공간적 오디오를, 주 셀이 지배하는 보조 셀들을 위한 별도의 스트림(또는 스트림들의 세트)로 디코딩하는 것을 담당한다. 이것을 행하기 위하여, 주 셀들은 공간적 오디오 객체들의 세트를 획득하기 위하여 오디오 소스를 이용할 수 있고, 그 다음으로, 오디오 객체의 공간적 표현을 획득할 수 있고, 그 다음으로, 셀들의 레이아웃에 기초하여 각각의 오디오 객체의 공간적 표현을 디코딩할 수 있다. 주 셀은 그 다음으로, 주 셀이 지배하는 각각의 보조 셀의 위치 및 배향에 기초하여 정보를 리인코딩할 수 있고, 인코딩된 오디오 스트림들을 그 개개의 보조 셀들로 유니캐스팅(unicast)할 수 있다. 보조 셀들은 궁극적으로, 구동기 입력들을 생성하기 위하여 그 수신된 오디오 스트림을 렌더링할 수 있다.

다수의 실시예들에서, 공간적 인코딩들은 공간적 객체들을 앰비소닉 표현들로 인코딩하는 것을 수반하는 네스팅된 아키텍처(nested architecture) 내에서 수행된다. 많은 실시예들에서, 네스팅된 아키텍처 내에서 수행된 공간적 인코딩들은 더 높은 차수의 앰비소닉들(예컨대, 음장 표현), VBAP 표현, DBAP 표현, 및/또는 kNN 패닝 표현을 사용한다. 용이하게 인식될 수 있는 바와 같이, 다양한 공간적 오디오 인코딩 기법들 중의 임의의 것은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이 네스팅된 아키텍처 내에서 사용될 수 있다. 또한, 오디오 객체들의 공간적 표현들이 오디오 신호들을 개별적인 셀들에 제공하기 위하여 디코딩되는 특정 방식은 오디오 객체들의 수, 가상적 스피커들의 수(네스팅된 아키텍처가 가상적 스피커들을 사용할 경우), 및/또는 셀들의 수를 포함하는(그러나, 이것으로 제한되지는 않는) 인자들에 종속될 수 있다.

몇몇 실시예들에서, 공간적 오디오 시스템은 음향적 레인징(acoustic ranging), 및 공간적 오디오 시스템과 통신할 수 있는 사용자 디바이스의 일부인 카메라를 이용하는 시각적 맵핑(visual mapping)을 포함하는(그러나 이것으로 제한되지는 않는) 다양한 레인징 기법들을 이용하여 셀들 사이의 공간적 관계들을 결정할 수 있다. 많은 실시예들에서, 셀들은 마이크로폰 어레이들을 포함하고, 배향 및 이격의 둘 모두를 결정할 수 있다. 일단 셀들 사이의 공간적 관계가 알려지면, 발명의 다수의 실시예들에 따른 공간적 오디오 시스템들은 그 네스팅된 인코딩 아키텍처를 구성하기 위하여 셀 레이아웃을 사용할 수 있다. 수 많은 실시예들에서, 셀들은 공간적 오디오의 인코딩 및/또는 디코딩에서 추가로 이용될 수 있는 그 물리적 환경을 맵핑할 수 있다. 예를 들어, 셀들은 그 환경을 맵핑하기 위하여 룸 임펄스 응답(room impulse response)들을 생성할 수 있다. 예를 들어, 룸 임펄스 응답들은 벽들, 바닥, 및/또는 천장까지의 거리를 구하는 것 뿐만 아니라, 룸에 의해 생성된 음향적 문제들을 식별 및/또는 정정하기 위하여 이용될 수 있다. 용이하게 인식될 수 있는 바와 같이, 다양한 기법들 중의 임의의 것은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이 공간적 오디오 렌더링들에서의 이용을 위한 룸 임펄스 응답들 및/또는 맵 환경들을 생성하기 위하여 사용될 수 있다.

위에서 언급된 바와 같이, 공간적 오디오 시스템들은 방향성 오디오를 생성하기 위하여 모달 빔포밍을 포함하는(그러나 이것으로 제한되지는 않는) 기법들을 사용하는 셀들을 채용할 수 있다. 많은 실시예들에서, 주 셀은 각각의 특정 셀 상에서의 재생을 위하여 설계된 오디오 스트림들을 생성하기 위하여, 자신과 그 지배된 보조 셀들 사이의 공간적 관계에 관한 정보를 사용할 수 있다. 주 셀은 공간적 오디오 재생을 조정하기 위하여 주 셀이 지배하는 각각의 보조 셀의 구동기들의 각각의 세트를 위한 별도의 오디오 스트림을 유니캐스팅할 수 있다. 인식될 수 있는 바와 같이, 송신된 채널들의 수는 셀의 구동기들 및 혼들의 수(예컨대, 3.1, 5 등)에 기초하여 수정될 수 있다. 오디오의 공간적 제어가 주어지면, 임의의 수의 상이한 기존의 서라운드 음 스피커 레이아웃들(또는 실제로 임의의 임의적인 스피커 레이아웃)은 기존의 공간적 오디오 렌더링을 이용하여 유사한 음장을 생성하기 위하여 요구될 기존의 스피커들의 수보다 상당히 더 작은 다수의 셀들을 이용하여 렌더링될 수 있다. 또한, 오디오 소스의 채널들의 업믹싱 및/또는 다운믹싱은 소스 채널들의 수와 상이할 수 있는 다수의 오디오 객체들을 렌더링하기 위하여 사용될 수 있다.

다양한 실시예들에서, 셀들은 예를 들어, 사용자가 셀들에 대한 그 위치에 관계 없이 스테레오 오디오 시스템의 초점에 있는 것처럼, 음에서 "몰입"되는 청각적 감각을 제공하기 위하여 사용될 수 있다. 많은 실시예들에서, 공간적 오디오 시스템에 의해 생성된 음장은 확산 음을 렌더링할 수 있는 셀들의 이용을 통해 음 에너지를 공간 내에서 더 균등하게 확산시키기 위하여 개량될 수 있다. 다수의 실시예들에서, 셀들은 직접 대 반향 음의 지각된 비율을 제어하는 방식으로 방향성 오디오를 렌더링함으로써 확산 오디오를 생성할 수 있다. 용이하게 인식될 수 있는 바와 같이, 공간적 오디오 시스템들이 확산 오디오를 생성하는 특정 방식은 공간적 오디오 시스템에 의해 점유된 공간의 룸 음향학(acoustics) 및 특정 애플리케이션의 요건들에 종속적일 수 있다.

다수의 실시예들에서, 공간적 오디오를 생성할 수 있는 셀들은 구동기들의 어레이들을 포함한다. 많은 실시예들에서, 구동기들의 어레이는 수평 링 주위에 분포된다. 몇몇 실시예들에서, 셀은 또한, 수직 축 상에서 배향된 2 개의 반대로 향하는 우퍼들과 같은(그러나 이것으로 제한되지는 않는) 추가적인 구동기들을 포함할 수 있다. 어떤 실시예들에서, 구동기들의 수평 링은 수평으로 정렬된 구동기들의 3 개의 세트들을 포함할 수 있고, 여기서, 각각의 세트는 "할로(halo)"로서 본 명세서에서 지칭된, 미드 구동기 및 트위터를 포함한다. 몇몇 실시예들에서, 미드 구동기 및 트위터의 각각의 세트는 혼을 피드하고, 원형 혼 배열은 지향성을 개량하기 위하여 이용될 수 있다. 혼들의 특정한 형태는 이용된 특정한 구동기들에 종속될 수 있지만, 혼 구조는 "할로"로서 본 명세서에서 지칭된다. 많은 실시예들에서, 할로와 조합한 이 구동기 배열은 모달 빔포밍을 이용하여 오디오 빔 조향(audio beam steering)을 가능하게 할 수 있다. 용이하게 인식될 수 있는 바와 같이, 상이한 수들 및 유형들의 구동기들을 가지는 셀들, 구동기들의 4면체 구성(tetrahedral configuration)과 같은(그러나 이것으로 제한되지는 않는) 구동기들의 상이한 배치를 가지는 셀들, 수평 및 수직 빔포밍의 둘 모두를 할 수 있는 셀들, 및/또는 방향성 오디오를 생성할 수 없는 셀들을 포함하는 다양한 셀들 중의 임의의 것은 발명의 다양한 실시예들에 따른 공간적 오디오 시스템들 내에서 사용될 수 있다.

실제로, 발명의 많은 실시예들은 우퍼, 미드 구동기, 및/또는 트위터를 포함하지 않는 셀들을 포함한다. 다양한 실시예들에서, 더 작은 폼 팩터(form factor) 셀은 백열전구 소켓 내로 맞도록 패키징될 수 있다. 수 많은 실시예들에서, 다수의 할로들을 갖는 더 큰 셀들이 구성될 수 있다. 주 셀들은 상이한 음향적 성질들 및/또는 구동기/혼 구성들을 가지는 보조 셀들을 위한 오디오 스트림들을 생성하는 것을 협상할 수 있다. 예를 들어, 2 개의 할로들을 갖는 더 큰 셀은 오디오의 6 개의 채널들을 필요로 할 수 있다.

추가적으로, 발명의 다양한 실시예들에 따른 공간적 오디오 시스템들은 실내 공간들, 실외 공간들, 및 승객 자동차들과 같은(그러나 이것으로 제한되지는 않는) 차량들의 내부를 포함하는 다양한 환경들 중의 임의의 것에서 구현될 수 있다. 몇몇 실시예들에서, 공간적 오디오 시스템은 작곡 도구(composition tool) 및/또는 연주 악기(performance instrument)로서 사용될 수 있다. 용이하게 인식될 수 있는 바와 같이, 발명의 많은 실시예들에 따른 공간적 오디오 시스템들의 구성, 배치, 및/또는 이용은 특정 애플리케이션의 요건들에 기초하여 결정될 수 있다.

번거로운 배선 요건들을 폐지하기 위하여, 수 많은 실시예들에서, 셀들은 음장들의 렌더링을 조정하기 위해 다른 셀들과의 무선 통신을 할 수 있다. 미디어는 로컬 소스(local source)들로부터 획득될 수 있지만, 다양한 실시예들에서, 셀들은 미디어 컨텐츠(media content) 및 다른 관련된 데이터를 획득하기 위하여 네트워크에 접속할 수 있다. 많은 실시예들에서, 네트워크 접속된 소스 입력 디바이스는 재생을 위한 미디어 컨텐츠를 제공하는 디바이스들에 직접적으로 접속하기 위하여 이용될 수 있다. 또한, 셀들은 통신 동안에 트래픽-기반 레이턴시(traffic-based latency)를 감소시키기 위하여 그 자신의 네트워크들을 생성할 수 있다. 네트워크를 확립하기 위하여, 셀들은 통신 및 프로세싱 태스크들을 간소화하기 위해 자신들 사이의 계층구조를 확립할 수 있다.

공간적 오디오 시스템이 방향성 오디오를 생성할 수 있는 단일 셀을 포함할 때, 셀의 구동기들을 위한 오디오 입력들을 생성하는 공간적 오디오 시스템의 네스팅된 아키텍처와 연관된 인코딩 및 디코딩 프로세스들은 단일 셀의 프로세싱 시스템에 의해 수행될 수 있다. 공간적 오디오 시스템이 음장을 생성하기 위하여 다수의 셀들을 사용할 때, 하나 이상의 오디오 소스들을 디코딩하는 것, 디코딩된 오디오 소스(들)를 공간적으로 인코딩하는 것, 및 공간적 오디오를 디코딩하고 에어리어(area)에서의 각각의 셀을 위한 공간적 오디오를 리인코딩하는 것과 연관된 프로세스들은 주 셀에 의해 전형적으로 처리된다. 주 셀은 그 다음으로, 개별적인 오디오 신호들을 각각의 지배된 보조 셀로 유니캐스팅할 수 있다. 다수의 실시예들에서, 셀은 주 셀을 각각 포함하는 셀들의 다수의 세트들에 의한 오디오 소스들의 동기화된 재생을 조정하는 수퍼 주 셀로서 작동할 수 있다.

그러나, 일부 실시예들에서, 주 셀은 가상적 스피커들을 위한 오디오 신호들을 지배된 보조 셀들에, 그리고 공간적 레이아웃 메타데이터를 하나 이상의 보조 셀들에 제공한다. 몇몇 실시예들에서, 공간적 레이아웃 메타데이터는 셀들 사이의 공간적 관계들, 셀들과 하나 이상의 오디오 객체들 사이의 공간적 관계들, 하나 이상의 셀들과 하나 이상의 가상적 스피커 위치들 사이의 공간적 관계들, 및/또는 룸 음향학에 관한 정보를 포함하는(그러나 이것으로 제한되지는 않는) 정보를 포함할 수 있다. 용이하게 인식될 수 있는 바와 같이, 주 셀에 의해 제공된 특정 공간적 레이아웃 메타데이터는 특정 공간적 오디오 시스템 구현예들의 요건들에 의해 주로 결정된다. 보조 셀의 프로세싱 시스템은 보조 셀의 구동기들을 위한 오디오 입력들을 생성하기 위하여 수신된 오디오 신호들 및 공간적 레이아웃 메타데이터를 이용할 수 있다.

많은 실시예들에서, 공간적 오디오 시스템들에 의한 음장들의 렌더링은 개별적인 셀들 상의 터치 인터페이스들, 셀 내에서 편입된 하나 이상의 마이크로폰들 및/또는 공간적 오디오 시스템과 통신하도록 구성된 또 다른 디바이스에 의해 검출된 음성 커맨드들, 및/또는 이동 디바이스, 개인용 컴퓨터, 및/또는 다른 형태의 소비자 전자 디바이스 상에서 실행되는 애플리케이션 소프트웨어를 포함하는 다수의 상이한 입력 양상들 중의 임의의 것을 이용하여 제어될 수 있다. 많은 실시예들에서, 사용자 인터페이스들은 선택된 오디오 소스(들)로부터의 음장을 렌더링하기 위하여 사용된 오디오 소스들의 선택 및 셀들의 식별을 가능하게 한다. 발명의 많은 실시예들에 따른 공간적 오디오 시스템들에 의해 제공된 사용자 인터페이스들은 또한, 사용자가 공간적 오디오 객체들의 배치를 제어하는 것을 가능하게 할 수 있다. 예를 들어, 사용자 인터페이스는 사용자가 채널-기반 서라운드 음 오디오 소스로부터의 오디오 채널들을 공간 내에서 배치하는 것을 가능하게 하는 이동 디바이스 상에서 제공될 수 있다. 또 다른 예에서, 사용자 인터페이스는 공간 내에서의 상이한 음악가들 및/또는 악기들에 대응하는 오디오 객체들의 배치를 가능하게 할 수 있다.

오디오 객체들이 공간 내에서 이동되는 것을 가능하게 하기 위한 발명의 많은 실시예들에 따른 공간적 오디오 시스템들의 능력은 공간적 오디오 시스템이 사용자를 추적하는 방식으로 음장을 렌더링하는 것을 가능하게 한다. 예로서, 오디오는 가상 현실, 혼합 현실, 또는 증강 현실 헤드셋을 착용하는 사용자의 머리 자세를 추적하는 방식으로 렌더링될 수 있다. 추가적으로, 공간적 오디오는 비디오 컨텐츠를 관측하기 위하여 이용되는 태블릿 컴퓨터의 배향을 추적하는 방식으로 렌더링될 수 있다. 많은 실시예들에서, 공간적 오디오 객체들의 이동은 추적된 사용자/객체에 종속적인 방식으로 공간적 오디오 시스템에 의해 생성된 오디오 소스의 공간적 표현을 패닝함으로써 달성된다. 용이하게 인식될 수 있는 바와 같이, 공간적 오디오 시스템이 오디오 객체들을 이동시킬 수 있는 단순성은 사용자들을 위한 몰입적 오디오 경험들의 주최자(host)를 가능하게 할 수 있다. 실제로, 오디오 객체들은 오디오 신호를 직접적으로 반영하는 시각화들과 추가로 연관될 수 있다. 또한, 오디오 객체들은 가상적 "음 공간(sound space)"에서 배치될 수 있고, 음장으로서 렌더링되는 대화형 장면을 생성하기 위하여 인격들, 객체들, 또는 지능을 배정받을 수 있다. 주 셀들은 시각화에서의 이용을 위한 메타데이터를 시각화를 제공하기 위하여 이용된 디바이스에 제공하기 위하여 오디오 신호들을 프로세싱할 수 있다.

공간적 오디오 시스템들, 및 이들을 구현하기 위하여 사용될 수 있는 셀들의 많은 특징들이 위에서 도입되지만, 다음의 논의는 공간적 오디오 시스템들이 구현될 수 있는 방식, 및 공간적 오디오 시스템들이 셀들의 임의적인 수 및 배치를 이용하여 다양한 오디오 소스들로부터의 음장들을 렌더링하기 위하여 사용할 수 있는 프로세스들의 면밀한 탐구를 제공한다. 뒤따르는 논의의 많은 것은 공간적 오디오 시스템들에 의한 음장들의 생성에서의 오디오 객체들의 앰비소닉 표현들의 이용을 참조한다. 그러나, 공간적 오디오 시스템들은 앰비소닉 표현들의 이용으로 제한되지 않는 것으로서 이해되어야 한다. 앰비소닉 표현들은 발명의 많은 실시예들에 따른 공간적 오디오 시스템 내에서 사용될 수 있는 공간적 오디오 표현의 예로서 간단하게 설명된다. VBAP 표현들, DBAP 표현들, 및/또는 더 높은 앰비소닉 표현들(예컨대, 음장 표현들)을 포함하는(그러나 이것으로 제한되지는 않는) 다양한 공간적 오디오 표현들 중의 임의의 것은 발명의 다양한 실시예들에 따라 구현된 공간적 오디오 시스템들을 이용하여 음장들의 생성에서 사용될 수 있다는 것이 인식되어야 한다.

섹션 1: 공간적 오디오 시스템들

공간적 오디오 시스템들은 주어진 공간에 대한 공간적 오디오를 렌더링하기 위하여 하나 이상의 셀들의 배열들을 사용하는 시스템들이다. 셀들은 실내 및 실외 공간들을 포함하는(그러나 이것으로 제한되지는 않는) 임의의 수의 상이한 공간들에서의 다양한 임의적인 배열들 중의 임의의 것으로 배치될 수 있다. 일부 셀 배열들은 다른 것들보다 더 유리하지만, 본 명세서에서 설명된 공간적 오디오 시스템들은 불완전한 셀 배치에도 불구하고 높은 충실도로 기능할 수 있다. 추가적으로, 발명의 많은 실시예들에 따른 공간적 오디오 시스템들은 셀들의 수 및/또는 배치가 원래의 오디오 소스의 인코딩에서 사용된 스피커들의 수 및 배치에 관한 가정들과 대응하지 않을 수 있다는 사실에도 불구하고, 특정한 셀 배열을 이용하여 공간적 오디오를 렌더링할 수 있다. 많은 실시예들에서, 셀들은 불완전한 배치를 수용하도록 그 재생을 구성하기 위하여 그 주변들을 맵핑할 수 있고 및/또는 서로에 대한 그 상대적인 포지션들을 결정할 수 있다. 수 많은 실시예들에서, 셀들은 무선으로 통신할 수 있고, 많은 실시예들에서, 그 자신의 애드 훅(ad hoc) 무선 네트워크들을 생성할 수 있다. 다양한 실시예들에서, 셀들은 재생을 위한 오디오를 취득하기 위하여 외부 시스템들에 접속할 수 있다. 외부 시스템들에 대한 접속들은 또한, 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 사물 인터넷(internet of things)(IoT) 디바이스들, 액세스 디지털 어시스턴트(access digital assistant)들, 재생 제어 디바이스들, 및/또는 임의의 다른 기능성을 제어하는 것을 포함하지만, 이것으로 제한되지는 않는 임의의 수의 대안적인 기능들을 위하여 이용될 수 있다.

발명의 실시예에 따른 예시적인 공간적 오디오 시스템이 도 1a에서 예시된다. 공간적 오디오 시스템(100)은 셀들(110)의 세트를 포함한다. 예시된 실시예에서의 셀들의 세트는 주 셀(112) 및 보조 셀들(114)을 포함한다. 그러나, 많은 실시예들에서, "주" 및 "보조" 셀들의 수는 동적이고, 시스템에 추가된 셀들의 현재의 수 및/또는 사용자가 공간적 오디오 시스템을 구성한 방식에 종속된다. 많은 실시예들에서, 주 셀은 다른 디바이스들에 접속하기 위하여 네트워크(120)에 접속한다. 수 많은 실시예들에서, 네트워크는 인터넷이고, 접속은 라우터를 통해 용이하게 된다. 일부 실시예들에서, 셀은 라우터, 및 유선 및/또는 무선 포트를 통해 인터넷에 직접적으로 접속하기 위한 능력을 포함한다. 주 셀들은 라우터를 통해 및/또는 네트워크(120) 상에서 전달되는 트래픽의 전체적인 양을 감소시키기 위하여 다른 셀들에 접속하기 위한 애드 훅 무선 네트워크들을 생성할 수 있다. 일부 실시예들에서, 큰 수의 셀들이 시스템에 접속될 때, 다수의 주 셀들의 동작을 조정하고 및/또는 네트워크(120) 상에서 트래픽을 처리하는 "수퍼 주" 셀이 지정될 수 있다. 많은 실시예들에서, 수퍼 주 셀은 정보를 그 자신의 애드 훅 네트워크를 통해 다양한 주 셀들로 보급할 수 있고, 이러한 다양한 주 셀들은 그 다음으로 궁극적으로, 관련된 정보를 보조 셀들로 보급한다. 주 셀이 보조 셀과 통신하는 네트워크는 수퍼 주 셀에 의해 확립된 것과 동일한 및/또는 상이한 애드 훅 네트워크일 수 있다. 발명의 실시예에 따라 수퍼 주 셀(116)을 사용하는 예시적인 시스템이 도 1b에서 예시된다. 수퍼 주 셀은, 궁극적으로 그 개개의 보조 셀들(118)을 지배하는 주 셀들(117)과 통신한다. 수퍼 주 셀들은 그 자신의 보조 셀들을 지배할 수 있다는 것에 주목한다. 그러나, 일부 실시예들에서, 셀들은 애드 훅 네트워크를 확립하지 못할 정도로 너무 멀리 떨어져서 위치될 수 있지만, 대안적인 수단을 통해 현존하는 네트워크(120)에 접속할 수 있을 수 있다. 이러한 상황에서, 주 셀들 및/또는 수퍼 주 셀들은 네트워크(120)를 통해 직접적으로 통신할 수 있다. 수퍼 주 셀은 공간적 오디오 시스템 내의 셀들의 특정한 서브세트에 대하여 주 셀로서 작동할 수 있다는 것이 인식되어야 한다.

도 1a를 다시 참조하면, 네트워크(120)는 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 인터넷, 로컬 영역 네트워크, 광역 네트워크, 및/또는 임의의 다른 유형의 네트워크를 포함하지만, 이것으로 제한되지는 않는, 위에서 언급된 바와 같은 임의의 형태의 네트워크일 수 있다. 또한, 네트워크는 유선 접속들, 무선 접속들, 또는 그 조합을 사용하는 하나 초과의 네트워크 유형으로 이루어질 수 있다. 유사하게, 셀들에 의해 확립된 애드 훅 네트워크는 임의의 유형의 유선 및/또는 무선 네트워크, 또는 그 임의의 조합일 수 있다. 셀들 사이의 통신은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 무선 로컬 영역 네트워킹 기술들(WLAN), 예컨대, WiFi, 이더넷(Ethernet), 블루투스(Bluetooth), LTE, 5G NR, 및/또는 임의의 다른 무선 통신 기술을 포함하지만, 이것으로 제한되지는 않는 임의의 수의 무선 통신 방법론들을 이용하여 확립될 수 있다.

셀들의 세트는 네트워크를 통해 미디어 서버들(130)로부터 미디어 데이터를 획득할 수 있다. 수 많은 실시예들에서, 미디어 서버들은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, Los Gatos, California의 Netflix, Inc.; Stockholm, Sweden의 Spotify Technology S.A.; Cupertino, California의 Apple Inc.; Los Angeles, California의 Hulu, LLC; 및/또는 임의의 다른 미디어 스트리밍 서비스 제공자와 같은, 그러나 이것으로 제한되지는 않는, 미디어 스트리밍 서비스들을 제공하는 제3 당사자들에 의해 제어된다. 수 많은 실시예들에서, 셀들은, 셀전화들, 텔레비전들, 컴퓨터들, 태블릿들, 네트워크 연결 저장(network attached storage)(NAS) 디바이스들, 및/또는 미디어 출력이 가능한 임의의 다른 디바이스를 포함하지만, 이것으로 제한되지는 않는 로컬 미디어 디바이스들(140)로부터 미디어 데이터를 획득할 수 있다. 미디어는 네트워크를 통해 미디어 디바이스들로부터 획득될 수 있거나, 수 많은 실시예들에서, 직접 접속을 통해 셀에 의해 직접적으로 획득될 수 있다. 직접 접속은 입력/출력(input/output)(I/O) 인터페이스를 통한 유선 접속, 및/또는 다수의 무선 통신 기술들 중의 임의의 것을 이용한 무선일 수 있다.

예시된 공간적 오디오 시스템(100)은 또한, 셀 제어 서버(150)를 포함할 수 있다(그러나, 반드시 포함할 필요가 있는 것은 아님). 많은 실시예들에서, 다양한 음악 서비스들의 미디어 서버들과 공간적 오디오 시스템 내의 셀들 사이의 접속들은 개별적인 셀들에 의해 처리된다. 몇몇 실시예들에서, 셀 제어 서버들은 셀들과 미디어 서버스들 사이의 접속들을 확립하는 것을 보조할 수 있다. 예를 들어, 셀 제어 서버들은 다양한 제3 당사자 서비스들 제공자들과의 사용자 계정들의 인증을 보조할 수 있다. 다양한 실시예들에서, 셀들은 어떤 데이터의 프로세싱을 셀 제어 서버로 오프로딩(offload)할 수 있다. 예를 들어, 음향적 레인징에 기초하여 룸을 맵핑하는 것은, 궁극적으로, 룸의 맵, 및/또는 가상적 스피커 레이아웃을 포함하는(그러나 이것으로 제한되지는 않는) 다른 음향적 모델 정보를 셀들에 다시 제공할 수 있는 셀 제어 서버에 데이터를 제공함으로써 가속될 수 있다. 수 많은 실시예들에서, 셀 제어 서버들은, 미디어 컨텐츠의 특정한 피스(piece)를 재생할 것을 셀들에 지시하는 것, 음량을 변화시키는 것, 미디어 컨텐츠의 특정한 피스를 재생하기 위하여 어느 셀들이 현재 사용되고 있는지를 변화시키는 것, 및/또는 에어리어에서의 공간적 오디오 객체들의 위치를 변화시키는 것과 같이, 그러나 이것으로 제한되지는 않는 것과 같이, 셀들을 원격으로 제어하기 위하여 이용된다. 그러나, 셀 제어 서버들은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 셀 동작을 수정하는 임의의 수의 상이한 제어 태스크들을 수행할 수 있다. 상이한 유형들의 사용자 인터페이스들이 발명의 다양한 실시예들에 따른 공간적 오디오 시스템들을 위하여 제공되는 방식은 이하에서 추가로 논의된다.

많은 실시예들에서, 공간적 오디오 시스템(100)은 셀 제어 디바이스(160)를 더 포함한다. 셀 제어 디바이스들은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 셀전화들, 텔레비전들, 컴퓨터들, 태블릿들, 및/또는 임의의 다른 컴퓨팅 디바이스를 포함하는, 그러나 이것으로 제한되지는 않는, 셀들을 직접적으로 또는 간접적으로 제어할 수 있는 임의의 디바이스일 수 있다. 수 많은 실시예들에서, 셀 제어 디바이스들은 커맨드들을 셀 제어 서버로 전송할 수 있고, 셀 제어 서버는 궁극적으로, 커맨드들을 셀들로 전송한다. 예를 들어, 이동 전화는 셀룰러 네트워크를 통해 인터넷에 접속함으로써 셀 제어 서버와 통신할 수 있다. 셀 제어 서버는 이동 전화 상에서 실행되는 소프트웨어 애플리케이션을 인증할 수 있다. 추가적으로, 셀 제어 서버는 셀 제어 서버가 명령들을 이동 전화로부터 전달할 수 있는 셀들의 세트에 대한 보안 접속을 확립할 수 있다. 이러한 방식으로, 셀들의 보안 원격 제어가 가능하다. 그러나, 수 많은 실시예들에서, 셀 제어 디바이스는 명령들을 제공하기 위하여, 네트워크, 애드 훅 네트워크의 어느 하나를 통해, 또는 셀과의 직접적인 피어-투-피어(peer-to-peer) 접속을 통해 셀에 직접적으로 접속할 수 있다. 많은 실시예들에서, 셀 제어 디바이스들은 또한, 미디어 디바이스들로서 동작할 수 있다. 그러나, 제어 서버는 공간적 오디오 시스템의 필요한 컴포넌트가 아니라는 것에 주목하는 것이 중요하다. 수 많은 실시예들에서, 셀들은 (예컨대, 셀 상에서의 물리적 입력을 통해, 또는 네트워크화된 디바이스를 통해) 코멘트(comment)들을 직접적으로 수신함으로써 그 자신의 제어를 관리할 수 있고, 그 커맨드들을 다른 셀들로 전파할 수 있다.

또한, 수 많은 실시예들에서, 네트워크 접속된 소스 입력 디바이스들은 미디어 입력들을 수집하고 조정하기 위하여 공간적 오디오 시스템들 내에 포함될 수 있다. 예를 들어, 소스 입력 디바이스는 텔레비전, 컴퓨터, 미디어 서버, 또는 임의의 수의 미디어 디바이스들에 접속할 수 있다. 수 많은 실시예들에서, 소스 입력 디바이스들은 래그(lag)를 감소시키기 위하여 이 미디어 디바이스들에 대한 유선 접속들을 가진다. 발명의 실시예에 따라 소스 입력 디바이스를 포함하는 공간적 오디오 시스템은 도 1c에서 예시된다. 소스 입력 디바이스(170)는 컴퓨터(180) 및/또는 텔레비전(182)과 같은 미디어 디바이스들로부터 오디오 데이터 및 임의의 다른 관련된 메타데이터를 수집하고, 오디오 데이터 및 관련된 메타데이터를 셀들(180)의 클러스터에서의 주 셀로 유니캐스팅한다. 그러나, 소스 입력 디바이스들은 또한, 일부 구성들에서 주 또는 수퍼 주 셀로서 작동할 수 있다는 것에 주목하는 것이 중요하다. 또한, 임의의 수의 상이한 디바이스들은 소스 입력 디바이스들에 접속할 수 있고, 이들은 셀들의 오직 하나의 클러스터와 통신하는 것으로 한정되지 않는다. 실제로, 소스 입력 디바이스들은 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 임의의 수의 상이한 셀들로 접속할 수 있다.

특정한 공간적 오디오 시스템들은 도 1a 및 도 1b에 대하여 위에서 설명되지만, 발명의 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 제3 당사자 미디어 서버들에 대한 접속들을 갖지 않는 구성들, 상이한 유형들의 네트워크 통신들을 사용하는 구성들, 공간적 오디오 시스템이 로컬 접속(예컨대, 인터넷에 대한 접속이 아님)을 갖는 셀들 및 제어 디바이스들을 오직 사용하는 구성들, 및/또는 임의의 다른 유형의 구성들을 포함하는(그러나 이것으로 제한되지는 않는) 임의의 수의 상이한 공간적 오디오 시스템 구성들이 사용될 수 있다. 셀들의 세트들의 다수의 상이한 공간적 레이아웃들이 이하에서 논의된다. 용이하게 인식될 수 있는 바와 같이, 발명의 다양한 실시예들에 따른 시스템들 및 방법들의 특징은 이러한 시스템들 및 방법들이 셀들의 특정 공간적 레이아웃들로 제한되지는 않는다는 것이다. 따라서, 이하에서 설명된 특정 공간적 레이아웃들은 발명의 많은 실시예들에 따른 공간적 오디오 시스템들이 사용자가 공간 내에서 배치한 셀들의 특정 수 및 레이아웃에 적절한 방식으로 주어진 공간적 오디오 소스를 렌더링할 수 있는 신축적인 방식을 예시하기 위하여 간단하게 제공된다.

섹션 2: 셀 공간적 레이아웃들

기존의 스피커 배열들에 대한 셀들의 장점은 공간 내의 셀들의 특정 수 및 배치를 수용하는 방식으로 공간적 오디오를 렌더링할 수 있는 공간적 오디오 시스템을 형성하기 위한 그 능력이다. 많은 실시예들에서, 셀들은 공간적 오디오를 재현하기 위한 적절한 방법을 결정하기 위하여 서로를 위치시킬 수 있고 및/또는 그 주변들을 맵핑할 수 있다. 일부 실시예들에서, 셀들은 렌더링된 음장들의 지각된 품질을 개선시킬 수 있는 사용자 인터페이스들을 통해 제안된 대안적인 배열들을 생성할 수 있다. 예를 들어, 이동 전화 상에서 렌더링된 사용자 인터페이스는 특정한 공간 내의 셀들의 배치 및/또는 배향에 관한 피드백을 제공할 수 있다. 셀들의 수가 증가함에 따라, 일반적으로, 셀들에 의한 재현이 가능한 공간적 해상도(spatial resolution)가 증가한다. 그러나, 공간에 따라, 임의의 추가적인 셀이 공간적 해상도를 증가시키지 않거나, 또는 오직 약간 증가시킬 경우에, 임계치가 충족될 수 있다.

많은 상이한 레이아웃들이 가능하고, 셀들은 임의의 수의 상이한 구성들에 적응할 수 있다. 다양한 상이한 예시적인 레이아웃들이 이하에서 논의된다. 상이한 레이아웃들 및 이들이 산출하는 경험들의 논의 후에, 셀들을 이용하여 음장들이 생성될 수 있는 방식의 논의가 섹션 3에서 이하에서 발견된다.

지금부터 도 2a로 돌아가면, 모달 빔포밍을 이용하여 방향성 오디오를 생성할 수 있는 단일 셀은 발명의 실시예에 따라 룸의 중앙에 도시된다. 많은 실시예들에서, 바닥 상에 안착되는 것, 카운터 상에 안착되는 것, 스탠드 상에 장착되는 것, 또는 천장으로부터 걸리는 것을 포함하는(그러나 이것으로 제한되지는 않는) 위치들에서 배치될 수 있다. 도 2b, 도 2c, 및 도 2d는 모달 빔포밍 기법들을 이용하여 셀 주위에 위치결정된 구동기들의 어레이에 의해 생성된 1차 카디오이드(first order cardioid)를 표현한다. 1차 카디오이드들이 예시되지만, 발명의 많은 실시예들에 따른 셀들은 또한, 수퍼카디오이드(supercardioid)들 및 하이퍼카디오이드(hypercardioid)들을 포함하는(그러나 이것으로 제한되지는 않는) 대안적인 지향성 패턴들을 생성할 수 있다. 단일 셀은 단독으로, 단일 셀을, 모달 빔포밍을 수행할 수 있는 기존의 스피커들의 어레이와 유사한 원점으로 하여 방향성 오디오를 생성할 수 있고, 또한, 도 2e에서 발명의 실시예에 따라 예시된 바와 같은 음향적 환경에 종속적인 방식으로 다수의 빔들을 생성함으로써 직접 및 반향 오디오의 지각된 비율들을 제어할 수 있다. 셀은 룸에서의 벽들, 바닥, 천장, 및/또는 객체들에 기초하여 음향성 반사들을 맵핑할 수 있고, 확산 음을 생성하기 위하여 그 구동기 입력들을 수정할 수 있다. 발명의 실시예에 따라 3 개의 혼들을 가지는 할로를 포함하는 셀이 셀에 의해 생성된 지향성 패턴을 조향할 수 있는 방식을 반영하는 카디오이드들은 도 2f에서 예시된다. 셀에 의해 또한 생성될 수 있는 다수의 더 높은 차수의 지향성 패턴들 중의 하나가 도 2g에서 예시된다.

용이하게 인식될 수 있는 바와 같이, 셀들은 구동기들의 임의의 특정한 구성으로 제한되지 않고, 셀에 의해 생성될 수 있는 지향성 패턴들은 본 명세서에서 설명된 것들로 제한되지 않는다. 예를 들어, 카디오이드들은 위에서 참조된 도면들에서 도시되지만, 수퍼카디오이드들 또는 하이퍼카디오이드들은 혼 및/또는 구동기 배열에 기초하여 추가적으로 또는 카디오이드들에 대한 대체물로서 이용될 수 있다. 수퍼카디오이드들은 많은 할로들에서 발견될 수 있는 바와 같이, ±120°로 배열된 혼들에서의 감쇠(attenuation)를 감소시킬 수 있는 ±120° 근처에서의 널(null)을 가진다. 유사하게, 하이퍼카디오이드들은 또한, 180°에서의 더 큰 사이드 로브(side lobe)를 희생하면서 훨씬 더 양호한 지향성을 제공할 수 있는 ±120°에서의 널을 가진다. 용이하게 인식될 수 있는 바와 같이, 믹싱된 앰비소닉들을 포함하는 상이한 앰비소닉들은 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 혼 및/또는 구동기 배열에 따라 이용될 수 있다. 추가적으로, 구동기들은 다양한 방향성 오디오 생성 기법들 중의 임의의 것을 이용하여 방향성 오디오를 생성할 수 있다.

제2 셀을 추가함으로써, 2 개의 셀들은 증가된 공간적 해상도를 갖는 공간적 오디오를 생성하기 위하여 상호작용하여 음 생성을 조정하기 시작할 수 있다. 룸에서의 셀들의 배치는 셀들이 음을 생성하기 위하여 자신들을 어떻게 구성하는지에 영향을 줄 수 있다. 발명의 실시예에 따라 룸에서 대각선으로 배치된 2 개의 셀들의 예는 도 3a에서 예시된다. 도 3b에서 도시된 바와 같이, 셀들은 음을 서로에 투영할 수 있다. 오직 하나의 카디오이드 파 패턴(cardioid wave pattern) 셀당 도시되지만, 셀들은 전체 룸에 걸쳐 음장을 조작하기 위하여 다수의 빔들 및/또는 지향성 패턴들을 생성할 수 있다. 발명의 실시예에 따라 공유된 벽에 대한 2 개의 셀들을 갖는 대안적인 배열이 도 4a 및 도 4b에서 예시된다. 이 구성에서는, 불균형화된 배치로 인해 셀들로부터 가장 먼 반대로 향하는 벽 상의 음량 균형에서의 쟁점들이 있을 수 있다. 그러나, 셀들은 구동기들에 의해 생성된 음을 적절하게 수정함으로써 이 배열의 영향을 약화시킬 수 있다.

셀들은 룸들의 코너들에서 반드시 배치될 필요가 없다. 도 5a 및 도 5b는 발명의 실시예에 따라 2 개의 셀들의 배치를 예시한다. 많은 상황들에서, 이것은 음향적으로 최적의 배치일 수 있다. 그러나, 룸 및 룸 내의 객체들에 따라, 이 구성에서 셀들을 배치하는 것이 실용적이지 않을 수 있다. 또한, 셀들은 특정한 방향으로 향하는 구동기들과 함께 예시되었지만, 룸에 따라서는, 셀들이 공간에 대한 더 적절한 배향으로 회전될 수 있다. 수 많은 실시예들에서, 공간적 오디오 시스템 및/또는 특정 셀들은 특정한 셀이 공간 및/또는 다른 셀들에 대한 위치결정에 더 적절한 배치를 제공하기 위하여 회전된다는 것을 제안하기 위하여 그 사용자 인터페이스들을 사용할 수 있다.

수 많은 실시예들에서, 일단 3 개의 셀들이 동일한 공간에서 네트워크화되었으면, 공간적 음 객체들의 완전한 제어 및 재현은 적어도 수평 평면에서 달성될 수 있다. 다양한 실시예들에서는, 룸에 따라, 등변(equilateral) 삼각형 배열이 사용될 수 있다. 그러나, 셀들은 대안적인 배열들에서 음장에 대한 제어를 유지하도록 적응하고 조절할 수 있다. 발명의 실시예에 따른, 각각의 셀이 모달 빔포밍을 이용하여 방향성 오디오를 생성할 수 있는 3-셀 배열이 도 6a 및 도 6b에서 예시된다. 오버헤드 셀(overhead cell)을 추가함으로써, 추가적인 3D 공간적 제어가 음장에 대하여 얻어질 수 있다. 도 7a 및 도 7b는 발명의 실시예에 따라, 천장으로부터 걸린 추가적인 중앙 오버헤드 셀을 갖는 3 개의 셀 그룹화를 예시한다.

셀들은 미디어의 피스를 공간적으로 재생하기 위하여 직렬로 동작하도록 "그룹화"될 수 있다. 종종, 그룹들은 룸에서의 셀들의 전부를 포함한다. 그러나, 특히, 매우 큰 공간들에서, 그룹들은 룸에서의 모든 셀들을 반드시 포함하지는 않는다. 그룹들은 "구역(zone)들"로 추가로 집합될 수 있다. 구역들은 그룹화되지 않았던 단일 셀들을 더 포함할 수 있다(또는 대안적으로, 1의 카디널리티(cardinality)를 갖는 그 자신의 그룹에서 고려될 수 있음). 일부 실시예들에서, 구역에서의 각각의 그룹은 미디어의 동일한 피스를 재생할 수 있지만, 객체들을 상이하게 공간적으로 위치시킬 수 있다. 발명의 실시예에 따른 셀들의 예시적인 주택 레이아웃이 도 8a에서 예시된다. 발명의 실시예에 따른 예시적인 그룹들은 도 8b에서 예시되고, 예시적인 구역들은 도 8c에서 예시된다. 그룹화들 및 구역들은 사용자들에 의해 실시간으로 조절될 수 있고, 셀들은 그 그룹화들에 동적으로 재적응(readapt)할 수 있다. 용이하게 인식될 수 있는 바와 같이, 셀들은 물리적 공간 내에서 임의의 임의적인 구성으로 배치될 수 있다. 대안적인 배열들의 비-철저한 예들은 도 8d에서 발명의 실시예에 따라 도시된다. 유사하게, 셀들은 사용자에 의해 희망된 바와 같이 임의의 임의적인 배열로 그룹화될 수 있다. 추가적으로, 많은 공간적 오디오 시스템들에서 사용된 일부 셀들은 방향성 오디오를 생성할 수 없지만, 공간적 오디오 시스템들 내로 여전히 편입될 수 있다. 셀들이 그 위치결정에 관계 없이 동기화된 그리고 제어가능한 방식으로 공간적 오디오 렌더링을 수행하는 것을 가능하게 하기 위한 프로세스들은 이하에서 논의된다.

섹션 3: 공간적 오디오 렌더링

공간적 오디오는 전통적으로, 규정된 위치들에서 위치된 스피커들의 정적 어레이로 렌더링되었다. 어느 정도까지, 어레이에서의 더 많은 스피커들이 기존에는 "더 양호한" 것으로서 생각되지만, 소비자 등급 시스템들은 하나 이상의 서브우퍼들과 조합하여 각각 5 개의 스피커들 및 7 개의 스피커들을 이용하는 5.1 및 7.1 채널 시스템들 상에서 현재 정착되었다. 현재, 일부 미디어는 (예컨대, 국제 전기통신 연합(International Telecommunication Union)에 의해 정의된 바와 같은 울트라 HD 텔레비전에서) 22.2에 이르기까지 지원된다. 더 적은 스피커들 상에서 더 높은 채널 음을 플레이하기 위하여, 오디오 입력들은 일반적으로, 존재하는 스피커들의 수와 정합하도록 다운믹싱되거나, 스피커 배열과 정합하지 않는 채널들은 단지 누락된다. 본 명세서에서 설명된 시스템들 및 방법들에 대한 장점은 오디오 소스를 인코딩하기 위하여 이용된 채널들의 수에 기초하여 임의의 수의 오디오 객체들을 생성하기 위한 능력이다. 예를 들어, 3 개의 셀들의 배열은 5 개의 오디오 객체들을 룸에서 배치함으로써, 5 개의 오디오 객체들을 공간적 표현(예컨대, B-포맷과 같은(그러나 이것으로 제한되지는 않는) 앰비소닉 표현)으로 인코딩함으로써, 그리고 그 다음으로, 셀들의 수 및 배치에 적절한 방식으로 원래의 5.1 오디오 소스의 공간적 표현을 디코딩하는 것에 의해 3 개의 셀들을 이용하여 음장을 렌더링함으로써, 5.1 스피커 배열의 존재의 청각적 감각을 생성할 수 있다(이하의 논의를 참조). 많은 실시예들에서, 베이스 채널은 셀들의 각각을 위한 구동기 신호들로 믹싱될 수 있다. 채널들을 공간적 오디오 객체들로서 취급하는 프로세스들은 임의의 임의적인 수의 스피커들 및/또는 스피커 배열들로 확장가능하다. 이러한 방식으로, 룸에서의 더 적은 물리적 스피커들은 더 높은 수의 스피커들의 효과들을 달성하기 위하여 사용될 수 있다. 또한, 셀들은 이 효과를 달성하기 위하여 정밀하게 배치될 필요가 없다.

기존의 오디오 시스템들은 전형적으로, 청자가 위치되어야 하는 "스위트 스폿(sweet spot)"으로서 종종 지칭되는 것을 가진다. 수 많은 실시예들에서, 공간적 오디오 시스템은 청자가 공간 내에서 어디에 위치되는지에 관계 없이, 청자가 음에 의해 둘러싸인 것처럼 들리도록, 주어진 공간에서 직접 및 반향 음 사이의 지각된 비율을 제어하기 위하여 룸 음향학에 관한 정보를 이용할 수 있다. 대부분의 룸들은 매우 비-확산이지만, 공간적 렌더링 방법들은 룸을 맵핑하는 것, 및 확산 오디오를 렌더링하기 위한 적절한 음장 조작을 결정하는 것을 수반할 수 있다(이하의 논의를 참조). 확산 음장들은 전형적으로, 음이 균등하게 분포된 지연들에서 균등하게 분포된 방향들로부터 무작위적으로 도달하는 것을 특징으로 한다.

많은 실시예들에서, 공간적 오디오 시스템은 룸을 맵핑한다. 셀들은, 음향적 레인징, 머신 시각 프로세스들을 적용하는 것, 및/또는 3D 공간 맵핑을 가능하게 하는 임의의 다른 레인징 방법을 포함하지만, 이것으로 제한되지는 않는, 룸을 맵핑하기 위한 다양한 방법들 중의 임의의 것을 이용할 수 있다. 스마트폰들 또는 태블릿 PC들과 같은 다른 디바이스들은 맵들을 생성하거나 증강시키기 위하여 사용될 수 있다. 맵핑은 공간에서의 셀들의 위치; 벽, 바닥, 및/또는 천장 배치들; 가구 위치들; 및/또는 공간에서의 임의의 다른 객체들의 위치를 포함할 수 있다. 몇몇 실시예들에서, 이 맵들은 특정한 위치에 맞추어질 수 있는 스피커 배치 및/또는 배향 추천들을 생성하기 위하여 이용될 수 있다. 일부 실시예들에서, 이 맵들은 공간을 횡단하는 청자들의 위치 및/또는 청자들의 위치(들)의 이력으로 연속적으로 업데이팅될 수 있다. 이하에서 추가로 논의되는 바와 같이, 발명의 많은 실시예들은 공간적 오디오를 렌더링하기 위하여 가상적 스피커 레이아웃들을 사용한다. 몇몇 실시예들에서, 셀 배치 및/또는 배향 정보, 룸 음향적 정보, 사용자/객체 추적 정보 중의 임의의 것을 포함하는(그러나 이것으로 제한되지는 않는) 정보는 개별적인 셀들에서의 구동기 입력들의 생성 시에 이용하기 위한 오디오 소스 및 가상적 스피커 레이아웃의 공간적 표현(예컨대, 앰비소닉 표현)을 인코딩하기 위한 원점 위치를 결정하기 위하여 사용될 수 있다. 발명의 어떤 실시예들에 따른 공간적 오디오 시스템들을 이용한 공간적 오디오의 렌더링을 위한 다양한 시스템들 및 방법들은 이하에서 추가로 논의된다.

다수의 실시예들에서, 업믹싱은 채널들의 수와는 상이한 다수의 오디오 객체들을 생성하기 위하여 사용될 수 있다. 몇몇 실시예들에서, 2 개의 채널들을 포함하는 스테레오 소스는 다수의 좌측(L), 중앙(C), 및 우측(R) 채널들을 생성하기 위하여 업믹싱될 수 있다. 다수의 실시예들에서, 확산 오디오 채널들은 또한, 업믹싱을 통해 생성될 수 있다. 업믹싱된 채널들에 대응하는 오디오 객체들은 그 다음으로, 도 45에서 개념적으로 예시된 바와 같이 공간 내의 모든 곳에서 스테레오의 감각을 포함하는(그러나 이것으로 제한되지는 않는) 다양한 효과들을 생성하기 위하여 다수의 셀들에 의해 정의된 공간에 대하여 배치될 수 있다. 어떤 실시예들에서, 업믹싱은 도 46에서 개념적으로 예시된 바와 같은 가상적 스테이지에 대하여 오디오 객체들을 배치하기 위하여 사용될 수 있다. 다수의 실시예들에서, 오디오 객체들은 도 47에서 개념적으로 예시된 바와 같이 3D에서 배치될 수 있다. 배치 객체들의 특정 예들은 도 45 내지 도 47을 참조하여 논의되지만, (업믹싱을 통해 획득되지 않는, 공간적 오디오 시스템으로부터 직접적으로 획득된 오디오 객체들을 포함하는) 다양한 오디오 객체들 중의 임의의 것은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같은 공간적 오디오를 렌더링하는 목적들을 위한 다양한 임의적인 1D, 2D, 및/또는 3D 구성들 중의 임의의 것으로 배치될 수 있다. 다양한 상이한 오디오 소스들로부터의 공간적 오디오의 렌더링은 이하에서 추가로 논의된다. 또한, 도 45 내지 도 47을 참조하여 위에서 설명된 오디오 객체 2D 또는 3D 레이아웃들 중의 임의의 것은 발명의 다양한 실시예들에 따라 본 명세서에서 설명된 공간적 오디오 시스템 내에서 오디오의 소스들을 선택하고 프로세싱하기 위한 프로세스들 중의 임의의 것에서 사용될 수 있다.

많은 실시예들에서, 공간적 오디오 시스템들은 렌더링을 위한 오디오의 하나 이상의 소스들 사이에서 선택할 수 있는 소스 관리기(source manager)들을 포함한다. 도 9는 본 명세서에서 개시된 공간적 멀티미디어 소스 관리를 위한 방법 및 장치의 다양한 양태들에 따라 구성된 소스 관리기(906)를 포함하는 공간적 오디오 시스템(900)을 예시한다. 위에서 언급된 바와 같이, 공간적 오디오 시스템(900)은 셀을 이용하고 및/또는 다수의 셀들을 이용하여 구현될 수 있다. 소스 관리기(906)는 컨텐츠(908) 및 렌더링 정보(910)를 생성하고 관리하기 위하여 소스 관리기(906)에 의해 이용된 다양한 데이터 및 정보를 포함하는 멀티미디어 입력(902)을 수신할 수 있다. 컨텐츠(908)는 멀티미디어 입력(902)에서의 멀티미디어 소스들로부터 공간적으로 렌더링되고 선택되어야 하는 인코딩된 오디오를 포함할 수 있다. 렌더링 정보(910)는 본 명세서에서 추가로 설명된 바와 같이, 음이 어떻게 제시되어야 하는지, 즉, 공간적으로(원격계측) 및 음량(레벨)의 둘 모두의 측면에서 컨텐츠(908)의 재현을 위한 컨텍스트(context)를 제공할 수 있다. 많은 실시예들에서, 소스 관리기는 공간적 오디오 시스템에서의 셀 내에서 구현된다. 몇몇 실시예들에서, 소스 관리기는 공간적 오디오 시스템 내의 셀들 중의 하나 이상과 통신하는 서버 시스템 상에서 구현된다. 다수의 실시예들에서, 공간적 오디오 시스템은 최근접 셀로부터 먼 위치에서의 네트워크 접속된 소스 입력 디바이스에 대한 소스들(예컨대, 벽 장착된 텔레비전들)의 접속을 가능하게 하는 네트워크 접속된 소스 입력 디바이스들을 포함한다. 몇몇 실시예들에서, 네트워크 접속된 소스 입력 디바이스는 공간적 오디오 시스템(900) 내의 셀들 상에서 렌더링을 위한 선택된 소스들을 지시할 수 있는 소스 관리기를 구현한다.

사용자는 사용자 상호작용 입력(904)을 통해 공간적 오디오 시스템(900)을 직접적으로 제어할 수 있다. 사용자 상호작용 입력(904)은, 스마트폰과 같은 "스마트 디바이스" 상의 앱(app) 상의 그래픽 사용자 인터페이스(graphical user interface)(GUI); Apple Inc.의 Siri, Amazon.com Inc.의 Alexa, 또는 Google LLC(Google)로부터의 Google Assistant(구글 어시스턴트)와 같은 "가상적 어시스턴트(virtual assistant)"에 발행된 커맨드들을 통한 것과 같은 음성 입력; 및 버튼들, 다이어들, 및 노브(knob)들과 같은 "전통적인" 물리적 인터페이스들을 포함하는 사용자 인터페이스를 통해 사용자로부터 수신된 커맨드들을 포함할 수 있다. 사용자 인터페이스는 직접적으로, 또는 각각 IEEE 802.15.1 및 IEEE 802.11 표준들에서의 IEEE에 의해 공표된 바와 같은 블루투스(Bluetooth) 또는 Wi-Fi 무선 표준들을 통한 것과 같은 무선 인터페이스를 통해, 소스 관리기(906) 및 일반적으로, 공간적 오디오 시스템(900)에 결합될 수 있다. 공간적 오디오 시스템(900) 내에서 사용된 셀들 중의 하나 이상은 또한, 터치(예컨대, 버튼들 및/또는 용량성 터치) 또는 음성 기반 사용자 상호작용 입력(904) 중의 하나 이상을 포함할 수 있다.

소스 관리기(906)는 컨텐츠(908) 및 렌더링 정보(910)를 멀티미디어 렌더링 엔진(912)에 제공할 수 있다. 멀티미디어 렌더링 엔진(912)은 컨텐츠(908) 및 렌더링 정보(910)에 기초하여 셀들(916-1 내지 916-n)의 세트에 대한 오디오 신호들 및 공간적 레이아웃 메타데이터(914)를 생성할 수 있다. 많은 실시예들에서, 오디오 신호들은 특정 오디오 객체들에 대한 오디오 신호들이다. 몇몇 실시예들에서, 오디오 신호들은 가상적 스피커 오디오 입력들이다. 셀들에 제공된 특정 공간적 레이아웃 메타데이터(914)는 전형적으로, 오디오 신호들의 본질(예컨대, 오디오 객체들의 위치들 및/또는 가상적 스피커들의 위치들)에 종속된다. 이에 따라, 셀들(916-1 내지 916-n)의 세트를 이용하면, 멀티미디어 렌더링 엔진(912)은 렌더링 정보(910)에 기초하여, 룸에서 분포된, 다수의 음 객체들을 포함할 수 있는 컨텐츠(908)를 재현할 수 있다. 발명의 다양한 실시예들에 따라 셀들을 이용하여 공간적 오디오 렌더링을 수행하기 위한 다양한 접근법들은 이하에서 추가로 논의된다.

몇몇 실시예들에서, 멀티미디어 렌더링 엔진(912)에 의해 셀들(916-1 내지 916-n)에 제공된 오디오 신호들 및 (임의적으로) 공간적 레이아웃 메타데이터(914)는 각각의 셀에 대하여 구체적으로 생성된 별도의 데이터 스트림을 포함할 수 있다. 셀들은 오디오 신호들 및 (임의적으로) 공간적 레이아웃 메타데이터(914)를 이용하여 구동기 입력들을 생성할 수 있다. 다수의 실시예들에서, 멀티미디어 렌더링 엔진(912)은 각각의 개별적인 셀을 위한 다수의 오디오 신호들을 생성할 수 있고, 여기서, 각각의 오디오 신호는 상이한 방향에 대응한다. 셀이 다수의 오디오 신호들을 수신할 때, 셀은 복수의 방향들의 각각에 대응하는 구동기들의 세트를 위한 구동기 입력들을 생성하기 위하여 다수의 오디오 신호들을 사용할 수 있다. 예를 들어, 3 개의 상이한 방향들로 배향된 구동기들의 3 개의 세트들을 포함하는 셀은 셀이 구동기들의 3 개의 세트들의 각각을 위한 구동기 입력들을 생성하기 위하여 사용할 수 있는 3 개의 오디오 신호들을 수신할 수 있다. 용이하게 인식될 수 있는 바와 같이, 오디오 신호들의 수는 구동기들의 세트들의 수, 및/또는 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 다른 인자들에 종속될 수 있다. 또한, 렌더링 엔진(912)은 각각의 셀에 특정적인 오디오 신호들을 생성할 수 있고, 또한, 동일한 베이스 신호를 모든 셀들에 제공할 수 있다.

위에서 언급된 바와 같이, 각각의 셀은 상이한 유형들의 오디오 트랜스듀서(transducer)들의 하나 이상의 세트들을 포함할 수 있다. 예를 들어, 셀들의 각각은, 하나 이상의 베이스, 미드-레인지, 및 트위터 구동기들을 포함하는 구동기들의 세트를 이용하여 구현될 수 있다. 크로스오버 필터(crossover filter)와 같은(그러나 이것으로 제한되지는 않는) 필터는, 오디오 신호가 하나 이상의 우퍼들에 대한 구동기 입력들의 생성 시에 이용될 수 있는 저역-통과(low-pass) 신호, 하나 이상의 미드들에 대한 구동기 입력들의 생성 시에 이용될 수 있는 대역통과(bandpass) 신호, 및 하나 이상의 트위터들에 대한 구동기 입력들의 생성 시에 이용될 수 있는 고역-통과(high-pass) 신호로 분할될 수 있도록 이용될 수 있다. 용이하게 인식될 수 있는 바와 같이, 구동기들의 상이한 클래스들에 대한 구동기 입력들을 생성하기 위하여 사용된 오디오 주파수 대역들은 특정 애플리케이션들의 요건들에 적절한 바와 같이 중첩할 수 있다. 또한, 임의의 수의 구동기들 및/또는 구동기들의 배향들은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이 셀을 구현하기 위하여 사용될 수 있다.

이하에서 추가로 논의되는 바와 같이, 발명의 많은 실시예들에 따른 공간적 오디오 시스템들은 하나 이상의 오디오 소스들을 공간적으로 렌더링하기 위한 다양한 프로세스들을 사용할 수 있다. 특정 프로세스들은 전형적으로, 공간적 오디오 시스템에 의해 사용된 오디오 소스들의 본질, 셀들의 수, 셀들의 레이아웃, 및 특정 공간적 오디오 표현 및 네스팅된 아키텍처에 종속된다. 도 10은 발명의 실시예에 따라, 공간적 오디오 시스템에 의해 구현될 수 있는 음장들을 렌더링하기 위한 하나의 프로세스(1000)를 예시한다. 1002에서, 공간적 오디오 시스템은 복수의 멀티미디어 소스 입력들을 수신한다. 하나 이상의 컨텐츠 소스들은 프로세서 상에서 실행되는 소스 선택 소프트웨어 프로세스에 의해 선택될 수 있고 프리프로세싱될 수 있고, 그와 연관된 데이터 및 정보는 열거 결정 소프트웨어 프로세스(enumeration determination software process)에 제공될 수 있다.

1004에서, 렌더링을 위하여 선택되는 소스들의 수는 열거 결정 소프트웨어 프로세스에 의해 결정된다. 열거 정보는 컨텐츠 소스들의 수의 추적을 허용하는 포지션 관리 소프트웨어 프로세스(position management software process)에 제공될 수 있다.

1006에서, 공간적으로 렌더링되어야 할 각각의 컨텐츠 소스에 대한 포지션 정보는 포지션 관리 소프트웨어 프로세스에 의해 결정될 수 있다. 위에서 논의된 바와 같이, 플레이되고 있는 컨텐츠의 유형, 사용자 또는 연관된 디바이스의 포지션 정보, 및/또는 이력적/예측된 포지션 정보를 포함하는(그러나 이것으로 제한되지는 않는) 다양한 인자들은 컨텐츠 소스들을 공간적으로 렌더링하기 위하여 사용된 후속 소프트웨어 프로세스들에 관련된 포지션 정보를 결정하기 위하여 이용될 수 있다.

1008에서, 다양한 포지션들에서의 열거된 컨텐츠 소스들 사이의 상호작용들은 상호작용 관리 소프트웨어 프로세스(interaction management software process)에 의해 결정될 수 있다. 다양한 상호작용들은, 컨텐츠의 유형, 재생의 포지션 및/또는 사용자 또는 연관된 디바이스의 포지션 정보, 및 이력적/예측된 상호작용 정보를 포함하는(그러나 이것으로 제한되지는 않는), 위에서 논의된 것들과 같은(그러나 이것으로 제한되지는 않는) 다양한 인자들에 기초하여 결정될 수 있다.

1010에서, 컨텐츠 및 렌더링 정보를 포함하는(그러나 이것으로 제한되지는 않는) 정보가 생성될 수 있고 멀티미디어 렌더링 엔진에 제공될 수 있다.

개시내용의 하나의 양태에서, 1006에서 결정된 각각의 컨텐츠 소스와 연관된 재생의 포지션은 컨텐츠 소스들 사이의 상호작용이 1008에서 결정되기 전에 발생할 수 있다. 이것은 공간적 오디오 소스들의 렌더링의 더 완전한 관리를 허용할 수 있다. 이에 따라, 예를 들어, 다수의 컨텐츠 소스들이 매우 인접하게 플레이되고 있을 경우에, 상호작용/믹싱은 그 포지션 인접성의 인지(awareness)에 기초하여 결정될 수 있다. 또한, 각각의 컨텐츠 소스에 대한 우선순위 레벨이 또한 고려될 수 있다.

개시내용의 다양한 양태들에 따르면, 사전설정된/이력 정보에서 수신된 정보는 멀티미디어 렌더링 엔진에 제공되는 컨텐츠 및 렌더링 정보에 영향을 주기 위하여 소스 관리기에 의해 이용될 수 있다. 정보는 사용자-정의된 사전설정치들 및 얼마나 다양한 멀티미디어 소스들이 이전에 처리되었는지의 이력을 포함할 수 있다. 예를 들어, 사용자는 특정한 HDMI 입력 상에서 수신된 모든 컨텐츠가 거실과 같은 특정한 위치에서 재현된다는 사전설정치를 정의할 수 있다. 또 다른 예로서, 이력적 데이터는 사용자가 침실에서 시간 경보들을 항상 플레이한다는 것을 표시할 수 있다. 일반적으로, 이력적 정보는 멀티미디어 소스들이 어떻게 렌더링될 수 있는지를 체험적으로 결정하기 위하여 이용될 수 있다.

소스 관리기들 및 멀티미디어 렌더링 엔진들을 포함하는 특정 공간적 오디오 시스템들 및 소스 관리기들 및 멀티미디어 렌더링 엔진들을 구현하기 위한 프로세스들은 도 9 및 도 10을 참조하여 위에서 설명되지만, 공간적 오디오 시스템들은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 셀들의 세트를 이용하여 오디오 소스들을 선택하고 음장들을 렌더링하기 위하여 다양한 하드웨어 및/또는 소프트웨어 프로세스들 중의 임의의 것을 사용할 수 있다. 발명의 다양한 실시예들에 따라 공간적 오디오 소스들의 표현들을 인코딩하고 특정 셀 구성에 기초하여 표현들을 디코딩함으로써 음장들을 렌더링하기 위한 프로세스들은 이하에서 추가로 논의된다.

섹션 4A: 네스팅된 아키텍처들

발명의 많은 실시예들에 따른 공간적 오디오 시스템들은, 네스팅된 아키텍처가 공간적 오디오를 렌더링하기 위하여 이용되고 있는 셀들 및/또는 라우드스피커들의 수 및 구성에 적응할 수 있는 방식으로 공간적 오디오 렌더링을 가능하게 한다는 점에서, 특정한 장점들을 가질 수 있는 네스팅된 아키텍처를 사용한다. 추가적으로, 네스팅된 아키텍처는 공간적 오디오 시스템 내의 다수의 컴퓨팅 디바이스들에 걸쳐 공간적 오디오의 렌더링과 연관된 프로세싱을 분포시킬 수 있다. 공간적 오디오 시스템 내의 인코더들 및 디코더들의 네스팅된 아키텍처가 구현되는 특정 방식은 주어진 애플리케이션의 요건들에 주로 종속적이다. 또한, 개별적인 인코더 및/또는 디코더 기능들은 셀들에 걸쳐 분포될 수 있다. 예를 들어, 주 셀은 셀에 특정적인 오디오 스트림들을 디코딩하기 위하여 셀 디코더의 기능을 부분적으로 수행할 수 있다. 주 셀은 그 다음으로, 이 오디오 스트림들을 관련된 보조 셀에 제공할 수 있다. 보조 셀은 그 다음으로, 오디오 스트림들을 구동기 신호들로 변환함으로써 셀 디코딩 프로세스를 완료할 수 있다. 용이하게 인식될 수 있는 바와 같이, 발명의 다양한 실시예들에 따른 공간적 오디오 시스템들은 특정 애플리케이션들의 요건들에 적절한 바와 같이, 다양한 네스팅된 아키텍처들 중의 임의의 것을 사용할 수 있다.

몇몇 실시예들에서, 공간적 오디오 시스템 내의 주 셀은 렌더링되고 있는 각각의 오디오 객체를 위한 별도의 오디오 신호들을 공간적으로 인코딩한다. 위에서 논의된 바와 같이, 소스 오디오의 채널들을 대응하는 오디오 객체들로 맵핑함으로써 획득된 및/또는 소스 오디오의 채널들을 업믹싱하고 특정 애플리케이션의 요건들에 적절한 바와 같은 대응하는 오디오 객체들로 맵핑함으로써 획득된 오디오 객체들은 공간적 오디오 시스템에 직접적으로 제공될 수 있다. 주 셀은 그 다음으로, 공간적 오디오를 렌더링하기 위하여 이용되는 셀들의 위치들에 기초하여 각각의 오디오 객체를 위한 공간적 오디오 신호들을 디코딩할 수 있다. 주어진 셀은 그 셀을 위한 공간적 오디오 신호를 인코딩하기 위하여 그 특정 오디오 신호들을 이용할 수 있고, 이러한 공간적 오디오 신호는 그 다음으로, 셀의 구동기들의 각각을 위한 신호들을 생성하기 위하여 디코딩될 수 있다.

각각의 오디오 객체가 별도로 공간적으로 인코딩될 때, 네트워크 내의 주 셀에 의해 송신된 데이터의 양은 공간적 객체들의 수와 함께 증가한다. 주 셀에 의해 송신된 데이터의 양이 오디오 객체들의 수에 독립적인 또 다른 접근법은 주 셀이 모든 오디오 객체들을 단일 공간적 표현으로 공간적으로 인코딩하기 위한 것이다. 주 셀은 그 다음으로, 가상적 스피커들의 세트에 대한 오디오 객체들의 전부의 공간적 표현을 디코딩할 수 있다. 가상적 스피커들의 수 및 위치들은 전형적으로, 공간적 오디오를 렌더링하기 위하여 이용된 셀들의 수 및 위치들에 기초하여 결정된다. 그러나, 많은 실시예들에서, 가상적 스피커들의 수는 셀들의 수에 관계 없이 고정될 수 있지만, 셀들의 수 및 위치들에 종속적인 위치들을 가질 수 있다. 예를 들어, 공간적 오디오 시스템은 (셀들의 수에 관계 없이) 어떤 이용 케이스들에서 원의 원주(circumference) 주위에 위치된 8 개의 가상적 스피커들을 사용할 수 있다. 용이하게 인식될 수 있는 바와 같이, 가상적 스피커들의 수는 그룹화된 셀들의 수 및/또는 소스에서의 채널들의 수에 종속될 수 있다. 또한, 가상적 스피커들의 수는 8보다 더 클 수 있거나 더 작을 수 있다. 주 셀은 그 다음으로, 그 셀과 연관된 가상적 스피커들의 위치들에 기초하여 디코딩된 오디오 신호들의 세트를 주어진 셀에 제공할 수 있다. 가상적 스피커 입력들은 가상적 스피커들을 오디오 객체들로서 취급함으로써, 그리고 가상적 스피커 위치들에 대한 셀의 포지션에 기초하여 공간적 인코딩을 수행함으로써, 구동기 입력들의 세트로 변환될 수 있다. 셀은 그 다음으로, 구동기 입력들을 생성하기 위하여 가상적 스피커들의 공간적 표현을 디코딩할 수 있다. 많은 실시예들에서, 셀들은 필터들의 세트를 이용하여 수신된 가상적 스피커 입력들을 구동기 입력들의 세트로 효율적으로 변환할 수 있다. 몇몇 실시예들에서, 주 셀은 각각의 셀을 위한 오디오 신호들로의 가상적 스피커 입력들의 디코딩을 시작할 수 있고, 여기서, 각각의 오디오 신호는 특정 방향에 대응한다. 오디오 신호들의 세트가 보조 셀에 제공될 때, 보조 셀은 특정한 방향에서 음을 보호하도록 배향된 구동기들의 세트를 위한 구동기 입력들을 생성하기 위하여 각각의 오디오 신호를 사용할 수 있다.

몇몇 실시예들에서, 네스팅된 아키텍처 내에서 수행된 공간적 인코딩들은 공간적 객체들을 앰비소닉 표현들로 인코딩하는 것을 수반한다. 많은 실시예들에서, 네스팅된 아키텍처 내에서 수행된 공간적 인코딩들은 더 높은 차수의 앰비소닉들(예컨대, 음장 표현), 벡터 기반 진폭 패닝(VBAP) 표현, 거리 기반 진폭 패닝(DBAP), 및/또는 k-최근접-이웃들 패닝(KNN 패닝) 표현을 사용한다. 용이하게 인식될 수 있는 바와 같이, 공간적 오디오 시스템은 다수의 공간적 인코딩들을 지원할 수 있고, 오디오 소스의 본질, 셀들의 특정한 그룹의 레이아웃, 및/또는 공간적 오디오 시스템과의 사용자 상호작용들(예컨대, 공간적 오디오 객체 배치 및/또는 공간적 인코딩 제어 명령들)을 포함하는(그러나 이것으로 제한되지는 않는) 인자들에 기초하여 다수의 상이한 공간적 오디오 인코딩 기법들 사이에서 선택할 수 있다. 용이하게 인식될 수 있는 바와 같이, 다양한 공간적 오디오 인코딩 기법들 중의 임의의 것은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 네스팅된 아키텍처 내에서 사용될 수 있다. 또한, 오디오 객체들의 공간적 표현들이 오디오 신호들을 개별적인 셀들에 제공하기 위하여 디코딩되는 특정 방식은 오디오 객체들의 수, 가상적 스피커들의 수(네스팅된 아키텍처가 가상적 스피커들을 사용할 경우), 및/또는 셀들의 수를 포함하는(그러나, 이것으로 제한되지는 않는) 인자들에 종속될 수 있다.

도 11은 상이한 채널들을 공간적 음 객체들로서 취급함으로써 오디오 소스의 앰비소닉 인코딩을 생성하는 것을 수반하는, 공간적 오디오 제어 및 재현을 위한 프로세스(1100)를 개념적으로 예시한다. 오디오 객체들은 그 다음으로, 별개의 위치들, 및 선택된 원점 위치에서 음장의 앰비소닉 표현을 생성하기 위하여 이용된 오디오 객체들의 위치들에서 배치될 수 있다. 도 11은 공간적 오디오의 앰비소닉 표현들을 이용하는 공간적 오디오 시스템의 맥락에서 설명되지만, 도 11에서 예시된 것들과 유사한 프로세스들은, 더 높은 차수의 앰비소닉들(예컨대, 음장 표현), VBAP 표현, DBAP 표현, 및/또는 KNN 패닝 표현을 포함하는(그러나 이것으로 제한되지는 않는) 다양한 공간적 오디오 표현들 중의 임의의 것을 이용하여 구현될 수 있다.

프로세스(1100)는 공간적 오디오 시스템에 의해 구현될 수 있고, 중간 포맷으로의 오디오 렌더링 정보의 변환을 제공하는 시스템 인코더(1112)를 수반할 수 있다. 많은 실시예들에서, 변환 프로세스는 컨테이너 파일(container file) 또는 컨테이너 파일의 일부분으로부터의 하나 이상의 오디오 트랙들 및/또는 오디오 채널들을 인코딩하는 인코딩된 오디오 데이터를 디멀티플렉싱(demultiplexing)하는 것을 수반할 수 있다. 오디오 데이터는 그 다음으로, 별도의 음 객체로서 각각 취급될 수 있는 복수의 별도의 오디오 입력들을 생성하기 위하여 디코딩될 수 있다. 하나의 양태에서, 시스템 인코더(1112)는 특정한 환경을 위한 음 객체들 및 그 연관된 정보(예컨대, 포지션)를 인코딩할 수 있다. 예들은 채널-기반 오디오 서라운드 음 시스템을 위한 희망된 스피커 레이아웃, 대역 포지션 템플릿, 및/또는 악기들의 세트를 위한 오케스트라 템플릿을 포함할 수 있다(그러나 이것으로 제한되지는 않음).

시스템 인코더(1112)는 음 객체들을 위치결정할 수 있거나 맵핑할 수 있고, 패너(panner)와 같은 방식으로 동작할 수 있다. 시스템 인코더(1112)는 음 정보(1102)에서의 음 객체들에 대한 정보를 수신할 수 있고, 일반화된 형태로, 이 음 객체들을 렌더링한다. 시스템 인코더(1112)는 본 명세서에서 추가로 설명된 바와 같이, 디코더들에 의해 다운스트림에서 처리되는 임의의 구현 세부사항들(예컨대, 셀들의 수, 및/또는 셀들의 배치 및 배향)에 대해 불가지적(agnostic)일 수 있다. 추가적으로, 시스템 인코더(1112)는 채널-기반 음 정보, 개별 음 객체들, 및/또는 음장들을 포함하는(그러나 이것으로 제한되지는 않는), 다양한 컨텐츠 및 포맷들인 음 정보를 수신할 수 있다.

도 12a는 시스템 인코더(1112)의 동작의 다양한 양태들을 설명하기 위하여 이용될 수 있는 시스템 인코더(1112)에 의한 음 객체들의 예시적인 맵핑을 갖는 물리적 공간(1200)의 개념적인 표현을 예시한다. 개시내용의 하나의 양태에서, 시스템 인코더(1112)는 포지션 정보가 원전에 대하여 정의되는 좌표계를 이용하여 음 객체들의 맵핑을 수행한다. 원점 및 좌표계는 임의적일 수 있고, 시스템 인코더(1112)에 의해 확립될 수 있다. 도 12a에서 도시된 바와 같은 예에서, 시스템 인코더(1112)는 개념저인 표현에서의 데카르트 좌표계(Cartesian coordinate system)에 대한 위치 [0,0]에서 원점(1202)을 확립하고, 좌표계의 4 개의 코너들은 [-1,-1], [-1,1], [1,-1], 및 [1,1]이다. 시스템 인코더(1112)에 제공된 음 정보는 시스템 인코더(1112)가 개념적인 표현에서 위치 [0,1]로 맵핑하는 음 객체 S(1212)를 포함한다. 도 12a에서 제공된 예는 2 차원들에서의 데카르트 좌표계의 측면에서 표현되지만, 극성, 원통형, 및 구형 좌표계들을 포함하는 다른 좌표계들 및 차원들이 이용될 수 있다는 것이 주목되어야 한다. 본 명세서에서의 예들에서 이용된 좌표계의 특정한 선택은 제한적인 것으로 고려되지 않아야 한다.

일부 경우들에 있어서, 시스템 인코더(1112)는, 헤드 장착형 디스플레이들, 이동 전화, 태블릿들, 또는 게이밍 제어기들을 포함하지만, 이것으로 제한되지는 않는 외부 재생 또는 제어 디바이스들의 초기 배향에 적응하기 위하여 시스템 인코더(1112)의 좌표계의 정적 변환을 적용할 수 있다. 다른 경우들에 있어서, 시스템 인코더(1112)는 예를 들어, 6 자유도(degree of freedom)(6DOF) 시스템으로부터와 같이, 사용자와 연관된 원격계측 데이터의 일정한 스트림을 수신할 수 있고, 원격계측 데이터의 이 스트림을 이용하여 특정한 렌더링을 유지하기 위하여 음 객체들을 계속적으로 재위치결정할 수 있다.

시스템 인코더(1112)는 출력으로서, 중간 포맷(예컨대, B-포맷)(1122)으로 공간적 오디오 객체들의 앰비소닉 인코딩을 생성할 수 있다. 위에서 언급된 바와 같이, 다른 포맷들은 2차 및/또는 더 높은 차수의 앰비소닉들을 표현할 수 있는 포맷들을 포함하는(그러나 이것으로 제한되지는 않는), 특정 애플리케이션들의 요건들에 적절한 바와 같은 공간적 오디오 정보를 표현하기 위하여 사용될 수 있다. 도 11에서, 음장 정보는 음장 정보(1122)로서 도시되고, 음장 정보(1122)는 음 객체 S(1212)와 같은 음 객체들에 대한 맵핑 정보를 포함할 수 있다.

다시 도 11을 참조하면, 시스템(1100)은, 시스템 인코더(1112)로부터 공간적 오디오 객체들의 앰비소닉 인코딩들(1122)을 수신하고 공간적 오디오 시스템(1100)에서의 셀들의 각각을 위한 시스템-레벨 앰비소닉 디코딩을 제공하기 위하여 이용될 수 있는 시스템 디코더(1132)를 포함한다. 개시내용의 하나의 양태에서, 시스템 디코더(1132)는 셀들 및 그 물리적 레이아웃들을 인지하고 있고, 시스템(1100)이 특정한 스피커 배열 및 환경(예컨대, 룸)을 갖는 오디오를 재현하기 위하여 음 정보(1102)를 적절하게 프로세싱하는 것을 허용한다.

도 12b는 셀들의 그룹의 레이아웃의 오버레이(overlay)를 포함하는 도 12a의 개념적인 표현에 대응하는 물리적 공간의 개념적인 표현을 예시한다. 셀들의 그룹은 3 개(3)의 셀들: 셀 1(1270_SN1), 셀 2(1270_SN2), 및 셀 3(1270_SN3)을 포함한다. 시스템 디코더(1132)는 도 12b에서 도시된 개념적인 표현에 도달하기 위하여 실제적인 물리적 측정들로 시스템 인코더(1112)에 의해 수행된 맵핑에 적응한다. 이에 따라, 도 12b에서 도시된 개념적인 표현에서, 도 12a에서 도시된 개념적인 표현의 코너들은 위치들 [-X,-Y], [-X,Y], [X,-Y], 및 [X,Y]로 병진(translate)되었고, 여기서, X 및 Y는 물리적 공간의 물리적 차원들을 표현한다. 예를 들어, 물리적 공간이 20 미터 x 14 미터 룸인 것으로 정의될 경우에, X는 20일 수 있고, Y는 20일 수 있다. 음 객체 S(1212)는 위치 [0,y_S]로 맵핑된다. 도 12b에서 도시되지 않았지만, 셀들의 공간적 위치들은 발명의 많은 실시예들에 따른 공간적 오디오 시스템들에서 3 개의 차원들로 결정된다.

시스템 디코더(1132)는, 음 객체들의 각각을 위한 오디오 신호들 및 공간적 위치 메타데이터를 포함할 수 있는(그러나 이것으로 제한되지는 않는) 각각의 셀 인코더를 위한 출력 데이터 스트림을 생성할 수 있다. 몇몇 실시예들에서, 공간적 위치 메타데이터는 시스템 인코더(1112)에 의해 생성된 공간적 오디오 객체들의 앰비소닉 표현의 앰비소닉 디코딩 시에 시스템 디코더(1132)에 의해 사용된 오디오 객체들의 위치들과 셀 사이의 공간적 관계를 설명한다. 도 11에서 도시된 바와 같이, n-셀들이 있을 경우에, 시스템 디코더(1132)는 n 개의 별개의 데이터 스트림들을 별도의 출력들(1142)로서 n 개의 셀들의 각각에 제공할 수 있고, 여기서, 각각의 데이터 스트림은 특정 셀을 위한 음 정보를 포함한다. 또한, n 개의 셀들의 각각을 위한 데이터 스트림들의 각각은 다수의 오디오 스트림들을 포함할 수 있다. 위에서 논의된 바와 같이, 각각의 오디오 스트림은 셀에 대한 방향에 대응할 수 있다.

시스템 인코더(1112)에 추가적으로, 시스템(1100)은 또한, 셀-레벨에서의 인코더 기능성을 포함한다. 개시내용의 다양한 양태들에 따르면, 시스템(1100)은 도 11에서 셀 인코더들(1152-1 내지 1152-n)으로서 예시된, 각각의 셀과 연관된 제2 인코더를 포함할 수 있다. 하나의 양태에서, 셀 인코더들(1152-1 내지 1152-n)의 각각은 시스템 디코더(1132)로부터 수신된 음 정보로부터, 그 연관된 셀을 위한 셀-레벨에서의 음장 정보를 생성하는 것을 담당한다. 구체적으로, 셀 인코더들(1152-1 내지 1152-n)의 각각은 시스템 디코더(1132)로부터의 출력(1142)으로부터 음 정보를 수신할 수 있다.

셀 인코더들(1152-1 내지 1152-n)의 각각은 셀-레벨 음장 표현 출력을, 지향성 및 조향 정보를 포함하는 개개의 셀 디코더에 제공할 수 있다. 개시내용의 하나의 양태에서, 각각의 셀 인코더로부터의 셀-레벨 음장 표현 출력은 시스템의 원점이 아니라, 그 개개의 셀에 대한 음장 표현이다. 주어진 셀 인코더는 셀-레벨 음장 표현을 인코딩하기 위하여, 시스템 원점에 대한 및/또는 서로에 대한 각각의 음 객체, 및/또는 가상적 스피커 및 셀의 위치들에 관한 정보를 사용할 수 있다. 이 정보로부터, 셀 인코더들(1152-1 내지 1152-n)의 각각은 그 연관된 셀로부터, 음 객체 S(1212)와 같은 각각의 음 객체까지의 거리 및 각도를 결정할 수 있다.

도 12c를 참조하면, 예를 들어, 3 개의 셀들(n=3)이 있을 경우에, 셀 1(1270_SN1)을 위한 제1 셀 인코더(1152_SN1)는 음 객체 S(1212)가 셀 1(1270_SN1)에 대한 각도 theta_SN1에서 거리 d_SN1에 있는 것으로 결정하기 위하여 n-채널 출력(1142)에서의 음 정보를 이용할 수 있다. 유사하게, 각각 셀 2(1270_SN2) 및 셀 3(1270_SN3)과 연관되는 제2 셀 인코더(1152_SN2) 및 제3 셀 인코더(1152_SN3)는 이 셀들의 각각 및 음 객체 S(1212)로부터 거리들 및 각도들을 결정하기 위하여 n-채널 출력(1142)에서의 음 정보를 이용할 수 있다. 개시내용의 하나의 양태에서, 각각의 셀 인코더는 n-채널 출력(1142)으로부터 그 연관된 채널을 오직 수신할 수 있다. 많은 실시예들에서, 유사한 프로세스는 셀에 대한 가상적 스피커들의 위치들에 기초하여 셀 인코딩 동안에 수행된다.

셀 인코더들(1152-1 내지 1152-n)의 전부로부터의 셀-레벨 음장 표현 출력들은 셀-레벨 음장 표현 정보(1162)로서 도 11에서 집합적으로 예시된다.

n 개의 셀들의 각각에서 또는 단일 주 셀 상에서 위치될 수 있는 셀 인코더(1152-1 내지 1152-n)로부터 수신된 셀-레벨 음장 표현 출력(1162)에 기초하여, 로컬 셀 디코더(1172-1 내지 1172-n)는 트랜스듀서 정보(1182)로서 집합적으로 예시된, 셀 내에 포함된 구동기들에 대한 오디오를 렌더링할 수 있다. 위의 예를 계속하면, 구동기들(1192-1 내지 1192-n)의 그룹들은 또한, 개개의 셀 디코더들(1172-1 내지 1172-n)과 연관되고, 여기서, 구동기들의 하나의 그룹은 각각의 셀, 그리고 더 구체적으로, 각각의 셀 디코더와 연관된다. 셀을 위한 구동기들의 그룹에서의 구동기들의 배향 및 수는 예들로서 제공되고, 그 안에 포함된 셀 디코더는 라우드스피커들의 임의의 특정 배향 또는 수에 적응할 수 있다는 것이 주목되어야 한다. 또한, 셀은 단일 구동기를 가질 수 있고, 공간적 오디오 시스템 내의 상이한 셀들은 구동기들의 상이한 세트들을 가질 수 있다.

개시내용의 하나의 양태에서, 각각의 셀 디코더는 각 개개의 셀의 물리적 구동기 기하구조에 기초한 트랜스듀서 정보를 제공한다. 본 명세서에서 추가로 설명된 바와 같이, 트랜스듀서 정보는 셀에서의 각각의 구동기에 특정적인 전기적 신호들을 생성하기 위하여 변환될 수 있다. 예를 들어, 셀 1(1270_SN1)을 위한 제1 셀 디코더는 셀(1294_S1, 1294_S2, 및 1294_S3)에서의 구동기들의 각각을 위한 트랜스듀서 정보를 제공할 수 있다. 유사하게, 제2 셀 디코더(1172_SN2) 및 제3 셀 디코더(1172_SN3)는 각각 셀 2(1270_SN2) 및 셀 3(1270_SN3)에서의 구동기들의 각각을 위한 트랜스듀서 정보를 제공할 수 있다.

도 12c에 추가적으로 도 12d를 참조하면, 셀 1(1270_SN1)이 각도 theta_SN1 및 거리 d_SN1에서 음 객체 S(1212)를 렌더링하기 위한 것이고, 여기서, 셀 1(1270_SN1)이 제1 구동기(1294_S1), 제2 구동기(1294_S2), 및 제3 구동기(1294_S3)로서 예시된 3 개의 구동기들을 포함할 경우에, 제1 셀 디코더(1172_SN1)는 트랜스듀서 정보를 이 3 개의 구동기들의 각각에 제공할 수 있다. 용이하게 인식될 수 있는 바와 같이, 셀 디코더에 의해 생성된 특정 신호들은 셀의 구성에 주로 종속적이다.

임의적인 오디오 소스들로부터의 음장들을 렌더링하기 위한 특정 프로세스들은 앰비소닉들을 이용하지만, 다양한 오디오 신호 프로세싱 파이프라인들 중의 임의의 것은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 오디오 소스의 원래의 인코딩에서 사용된 다수의 채널들 및/또는 스피커-레이아웃 가정으로부터 독립적인 방식으로, 다수의 셀들을 이용하여 음장들을 렌더링하기 위하여 사용될 수 있다. 예를 들어, 더 높은 차수의 앰비소닉들(예컨대, 음장 표현), VBAP 표현들, DBAP, 및/또는 KNN 패닝 표현들을 포함하는(그러나 이것으로 제한되지는 않는) 앰비소닉 표현들과 조합하여 또는 이러한 앰비소닉 표현들에 대한 대안으로서 다른 공간적 오디오 표현들을 채용하는 네스팅된 아키텍처들이 사용될 수 있다. 발명의 다양한 실시예들에 따라 구동기 입력들을 생성하기 위하여 개별적인 셀들에 의해 이후에 사용되는 가상적 스피커들의 세트를 위한 오디오 입력들을 생성하기 위하여 공간적 오디오 재현 기법들을 사용하는 음장들을 렌더링하기 위한 특정 프로세스들이 이하에서 추가로 논의된다.

섹션 4B: 가상적 스피커들을 사용하는 네스팅된 아키텍처들

발명의 다양한 실시예들에 따른 공간적 오디오 재현 기법들은 소스 오디오 컨텐츠의 채널들의 수에 관계 없이, 셀들의 임의의 임의적인 배열 상에서 소스 오디오 컨텐츠의 임의적인 피스를 렌더링하기 위하여 이용될 수 있다. 예를 들어, 5.1 서라운드 음 포맷으로 인코딩된 소스 오디오는 5 개의 스피커들 및 전용 서브우퍼를 이용하여 정상적으로 렌더링된다. 그러나, 본 명세서에서 설명된 시스템들 및 방법들은 더 작은 수의 셀들을 이용하여 동일한 품질에서의 동일한 컨텐츠를 렌더링할 수 있다. 지금부터 도 13a 내지 도 13d로 돌아가면, 발명의 실시예에 따라 5.1 채널 오디오를 3 개의 셀들로 맵핑하기 위하여 사용된 앰비소닉 렌더링 기법들의 시각적 표현이 예시된다. 용이하게 인식될 수 있는 바와 같이, 도 13a 내지 도 13d에서 도시된 예는 임의의 임의적인 수의 셀들에 대한 임의의 임의적인 수의 입력 채널들로 일반화가능하다. 또한, 채널 기반 오디오는 오디오의 인코딩에서 이용된 채널들의 수와 상이한 다수의 공간적 오디오 객체들을 생성하기 위하여 업믹싱 및/또는 다운믹싱될 수 있다. 추가적으로, 본 명세서에서 설명된 프로세스들은 공간적 오디오의 앰비소닉 표현들의 이용으로 제한되지 않는다.

도 13a는 희망된 5.1 채널 스피커 구성을 예시한다. 5.1 포맷은 3 개의 전방 스피커들 및 2 개의 후방 스피커들을 가지고, 여기서, 전방 및 후방 스피커들은 서로를 향해 발사한다. 5.1 채널 스피커 구성은 구성의 중앙에서의 지점이 서라운드 음의 초점이 되도록 셋업된다. 이 정보를 이용하면, 가상적 스피커들의 링은 동일한 초점으로 확립될 수 있다. 발명의 실시예에 따른 가상적 스피커들의 이 링은 도 13b에서 예시된다. 이 예에서는, 이용된 셀들의 수 및/또는 희망된 공간적 분리의 정도에 따라 수가 더 높거나 더 낮을 수 있지만, 8 개의 가상적 스피커들이 예시화된다. 많은 실시예들에서, 가상적 스피커들의 링은 앰비소닉 라우드스피커 어레이를 에뮬레이팅(emulate)한다. 앰비소닉 인코딩은 5.1 채널 스피커 시스템에 의해 생성된 음장과 정합할 동일한 음장을 생성하기 위하여 요구된 앰비소닉 표현을 계산함으로써, 5.1 채널 오디오를 가상적 라우드스피커들의 링으로 맵핑하기 위하여 이용될 수 있다. 앰비소닉 표현을 이용하면, 각각의 가상적 스피커는, 렌더링될 경우에, 상기 음장을 생성할 오디오 신호를 배정받을 수 있다. 대안적인 공간적 오디오 렌더링 기법들은 5.1 채널 오디오를 다양한 공간적 오디오 표현들 중의 임의의 것으로 인코딩하기 위하여 사용될 수 있고, 이러한 다양한 공간적 오디오 표현들 중의 임의의 것은 그 다음으로, 더 높은 차수의 앰비소닉들(예컨대, 음장 표현), VBAP 표현, DBAP 표현, 및/또는 KNN 패닝 표현과 같은(그러나 이것으로 제한되지는 않는) 표현을 이용하여 가상적 스피커들의 어레이에 기초하여 디코딩된다.

셀들이 음 객체들을 렌더링하는 것을 가능하게 하는, 발명의 많은 실시예들에서 사용된 셀들의 모달 빔포밍 능력들로 인해, 가상적 스피커들은 음 객체들로서 그룹에서의 셀들에 배정될 수 있다. 셀들은 각각 이들이 배정받는 가상적 스피커들과 연관된 오디오 신호들을 공간적 오디오 표현으로 인코딩할 수 있고, 셀은 그 다음으로, 셀 내에 포함된 구동기들을 구동하기 위한 신호들의 세트를 획득하기 위하여 공간적 오디오 표현을 디코딩할 수 있다. 이러한 방식으로, 셀들은 희망된 음장을 집합적으로 렌더링할 수 있다. 발명의 실시예에 따라 5.1 채널 오디오를 렌더링하는 3 셀 배열이 도 13c에서 예시된다. 일부 실시예들에서, 다른 셀들보다 더 높은 수평 평면 상에서 위치된 공중 셀(aerial cell)은 앰비소닉 스피커 어레이를 더 면밀하게 근사화하기 위하여 도입될 수 있다. 발명의 실시예에 따른 공중 셀을 포함하는 예시적인 구성이 도 13d에서 예시된다. 특정 예들은 5.1 채널 소스 및 3 또는 4 개의 셀들을 포함하는 그룹들에 기초하여 도 13a 내지 도 13d를 참조하여 위에서 설명되지만, 하나 이상의 셀들의 그룹의 임의적인 구성에 의해 렌더링하기 위한 (채널들의 업믹싱 및/또는 다운믹싱에 의한 것을 포함하는) 하나 이상의 공간적 오디오 객체들로의 (단일 채널을 포함하는) 임의의 수의 채널들의 다양한 맵핑들 중의 임의의 것은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이 본 명세서에서 설명된 프로세스들 중의 임의의 것과 유사한 프로세스들을 이용하여 수행될 수 있다.

도 14는 본 개시내용의 다양한 양태들에 따라, 공간적 오디오 제어 및 재현을 위한 시스템에 의해 구현될 수 있는 음 정보를 프로세싱하기 위한 음 정보 프로세스(1400)를 예시한다. 1410에서, 음 객체들을 포함할 수 있는 음 정보는 시스템 인코더에 의해 수신된다. 1420에서, 셀 위치들의 맵이 획득될 수 있다. 1430에서, 시스템 인코더는 음 객체들의 세트를 위한 음 정보를 이용하여 음장 표현을 생성한다. 일반적으로, 시스템 인코더는 시스템-레벨에서 음 객체들의 음장 표현을 생성한다. 본 개시내용의 하나의 양태에서, 이 시스템-레벨 음장 표현은 음 정보에서의 음 객체들의 포지션 정보를 포함한다. 예를 들어, 시스템 인코더는 음 정보 내에 포함된 음 객체들을 맵핑함으로써 음장 정보를 생성할 수 있다. 음장 정보는 전방향성 컴포넌트 X 및 Y, 및 적용가능할 경우에 Z인 컴포넌트들 W를 포함하는 앰비소닉 표현을 사용할 수 있다. 위에서 언급된 바와 같이, 더 높은 차수의 앰비소닉들(예컨대, 음장 표현), VBAP 표현, DBAP 표현, 및/또는 KNN 패닝 표현을 포함하는(그러나 이것으로 제한되지는 않는) 대안적인 공간적 오디오 표현들이 사용될 수 있다. 포지션 정보는 시스템 인코더에 의해 선택된 원점에 대하여 정의될 수 있고, 이 원점은 시스템 인코더가 원점을 결정하였으므로 "시스템 원점"으로서 지칭된다.

1440에서, 시스템 디코더는 음 정보를 이용하여 시스템 인코더에 의해 생성된 시스템-레벨 음장 표현을 포함하는 음장 정보를 수신한다. 시스템 디코더는 시스템-레벨 음장 표현 및 시스템에서의 셀들의 레이아웃 및 수의 인지를 이용하여, n-채널 출력의 형태로 셀당(per-cell) 출력을 생성할 수 있다. 논의된 바와 같이, 개시내용의 하나의 양태에서, n-채널 출력에서의 정보는 시스템에서의 셀들의 수 및 레이아웃에 기초한다. 많은 실시예들에서, 디코더는 가상적 스피커들의 세트를 정의하기 위하여 셀들의 레이아웃을 사용하고, 가상적 스피커들의 세트를 위한 오디오 입력들의 세트를 생성한다. 주어진 셀에 제공되는 n-채널 출력으로부터의 특정 채널 출력은 가상적 스피커들의 세트를 위한 오디오 입력들 중의 하나 이상 및 그 가상적 스피커들의 위치들에 관한 정보를 포함할 수 있다. 몇몇 실시예들에서, 주 셀은 셀들의 각각을 위한 오디오 신호들의 세트를 디코딩하기 위하여 가상적 스피커들을 사용한다(예컨대, 주 셀은 각각의 가상적 스피커(1460)를 위한 음 정보의 표현들에 기초하여 셀 신호들을 생성하기 위한 프로세싱을 수행함). 다수의 실시예들에서, 특정한 셀에 대하여 디코딩된 각각의 오디오 신호는 특정 방향으로 배향된 구동기들의 세트에 대응한다. 셀이 예를 들어, 상이한 방향들로 배향된 구동기들의 3 개의 세트들을 가질 때, 주 셀은 가상적 스피커들을 위한 오디오 신호들의 전부 또는 서브세트로부터의 3 개의 오디오 신호들(구동기들의 각각의 세트를 위하여 하나)을 디코딩할 수 있다. 주 셀이 셀들의 각각을 위한 오디오 신호들의 세트를 디코딩할 때, 이 신호들은 주어진 셀에 제공되는 n-채널 출력이다.

1450에서, 각각의 셀 인코더는 시스템 디코더에 의해 생성된 n-채널 출력에서 가상적 스피커들의 세트를 위한 음 정보의 n-채널들 중의 하나를 수신한다. 각각의 셀 인코더는 가상적 스피커들에 대한 오디오 입력들 및 가상적 스피커들의 위치들로부터 셀 레벨에서의 음장 표현 정보를 결정할 수 있고, 이것은 개개의 셀 디코더가 본 명세서에서 추가로 논의된 바와 같이, 그와 연관된 하나 이상의 구동기들을 위한 적절한 트랜스듀서 정보를 더 이후에 생성하는 것을 허용할 수 있다. 구체적으로, 셀에서의 각각의 셀 인코더는 셀-레벨 음장 표현 정보로서 집합적으로 지칭될 수 있는 그 음장 표현 정보를 출력들에서의 그 연관된 셀 디코더로 전달한다. 연관된 셀 디코더는 그 다음으로, 개별적인 구동기 신호들을 구동기들로 출력(1460)하기 위하여 셀-레벨 음장 표현 정보를 디코딩할 수 있다. 개시내용의 하나의 양태에서, 이 셀-레벨 음장 표현 정보는 각각의 셀로부터 생성되어야 할 오디오를 감소시키기 위한 정보로서 제공된다. 다시 말해서, 신호를 특정한 방향으로 바이어스하기 위하여(예컨대, 패닝), 신호는 어떤 양만큼 감쇠되고 있다. 많은 실시예들에서, 가상적 스피커 입력들은 FIR 필터들의 세트와 같은(그러나 이것으로 제한되지는 않는) 필터들의 세트를 이용하여 개별적인 구동기 신호들로 직접적으로 변환될 수 있다. 용이하게 인식될 수 있는 바와 같이, 필터들을 이용한 구동기 신호들의 생성은 셀들에 의해 렌더링된 공간적 오디오 객체들의 위치들에 관계 없이, 가상적 스피커 위치들과 셀 위치들 사이의 고정된 관계를 참작하는 방식으로 가상적 스피커 입력들을 네스팅된 인코딩 및 디코딩하는 것을 수행하기 위한 효율적인 기법이다.

몇몇 실시예들에서, 셀 인코더 및 셀 디코더는 각각의 셀에 의해 생성된 신호들의 지향성을 제어하기 위하여 앰비소닉들을 이용할 수 있다. 다수의 실시예들에서, 1차 앰비소닉들은 가상적 스피커들의 세트의 오디오 입력들에 기초하여 특정 셀을 위한 오디오 신호들을 인코딩 및/또는 디코딩하기 위한 프로세스 내에서 사용된다. 다수의 실시예들에서, 가중화된 샘플링 디코더는 셀을 위한 오디오 신호들의 세트를 생성하기 위하여 사용된다. 몇몇 실시예들에서, 추가적인 부차적 거절은 수퍼카디오이드들 및/또는 하이퍼카디오이드들을 포함하는(그러나 이것으로 제한되지는 않는) 더 높은 차수의 앰비소닉들을 이용하여 셀에 의해 형성된 빔들에서 획득된다. 이러한 방식으로, 더 높은 차수의 앰비소닉들에 의존하는 디코더의 이용은 발명의 다양한 실시예들에 따른 공간적 오디오 시스템들 내에서 사용된 셀들의 구동기들(예컨대, 혼들)의 세트들 사이에서 더 큰 지향성 및 더 작은 크로스토크(crosstalk)를 달성할 수 있다. 몇몇 실시예들에서, 최대 에너지 벡터 크기 가중화는 공간적 오디오 시스템 내의 셀을 위한 오디오 신호들을 디코딩하기 위하여 사용된 더 높은 차수의 앰비소닉 디코더를 구현하기 위하여 사용될 수 있다. 용이하게 인식될 수 있는 바와 같이, 다양한 공간적 오디오 디코더들 중의 임의의 것은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 가상적 스피커 입력 신호들의 수 및 그 위치들에 기초하여 셀을 위한 오디오 신호들을 생성하기 위하여 사용될 수 있다.

이하에서 추가로 논의되는 바와 같이, 공간적 오디오 객체들의 지각된 거리 및 방향은 셀 또는 셀들의 그룹에 인접하게 위치된 하나 이상의 청자들에 의해 지각된 확산 오디오의 전력에 대한 직접 오디오의 전력의 비율을 포함하는(그러나 이것으로 제한되지는 않는) 음의 특성들을 수정하는 방식들로 셀들에 의해 생성된 오디오의 지향성 및/또는 방향을 수정함으로써 제어될 수 있다. 가상적 스피커들을 사용하는 네스팅된 아키텍처에서의 특정 셀들을 위한 오디오 신호들을 디코딩하기 위한 다양한 프로세스들이 위에서 설명되지만, 본 명세서에서 설명된 셀 디코더들과 유사한 셀 디코더들은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 공간적 오디오의 인코딩에서의 가상적 스피커들의 이용에 의존하지 않고 및/또는 공간적 오디오의 인코딩에서의 가상적 스피커들의 다양한 상이한 수들 및/또는 구성들 중의 임의의 것에 의존하는 공간적 오디오 시스템들을 포함하는(그러나 이것으로 제한되지는 않는) 다양한 공간적 오디오 시스템들 중의 임의의 것에서 사용될 수 있다. 다수의 네트워크-접속된 셀들이 네트워크 상에서 존재할 때, 네트워크 상에서 흐르기 위하여 필요한 트래픽의 양을 감소시키는 것이 유익할 수 있다. 이것은 오디오를 동기화하기 위하여 중대할 수 있는 레이턴시를 감소시킬 수 있다. 이와 같이, 다양한 실시예들에서, 주 셀은 가상적 스피커 레이아웃에 기초하여 공간적 표현을 인코딩하는 것과 가상적 표현을 디코딩하는 것을 담당할 수 있다. 주 셀은 그 다음으로, 가상적 스피커들을 위한 디코딩된 신호들을 단계들의 나머지를 위한 보조 셀들로 송신할 수 있다. 이러한 방식으로, 네트워크에 걸쳐 송신되어야 할 오디오 신호들의 최대 수는 공간적 오디오 객체들의 수에 독립적이고, 그 대신에, 각각의 셀에 제공되도록 희망되는 가상적 스피커 오디오 신호들의 수에 종속된다. 용이하게 인식될 수 있는 바와 같이, 주 셀 프로세싱과 보조 셀 프로세싱 사이의 분할은 다양한 이점들 및 결과들로 임의의 임의적인 지점에서 인출될 수 있다.

많은 실시예들에서, 셀의 구동기 어레이에서의 구동기들은 하나 이상의 세트들로 배열될 수 있고, 이러한 하나 이상의 세트들은 각각 셀 디코더에 의해 구동될 수 있다. 수 많은 실시예들에서, 각각의 구동기 세트는 적어도 하나의 미드 및 적어도 하나의 트위터를 포함한다. 그러나, 구동기들의 상이한 수들 및 구동기들의 클래스들은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 하나의 유형의 구동기 전부를 포함하지만, 이것으로 제한되지는 않는 구동기 세트를 구성할 수 있다. 예를 들어, 도 15는 발명의 실시예에 따라, 셀의 구동기 어레이에서의 구동기들의 세트들을 예시한다. 셀 디코더(1500)는 미드/하이 구동기들의 제1 세트(1512-1), 미드/하이 구동기들의 제2 세트(1512-2), 및 미드/하이 구동기들의 제3 세트(1512-3)를 포함하는 구동기 어레이(1510)를 구동한다. 각각의 구동기 세트는 하나 이상의 베이스, 미드-레인지, 및 트위터 스피커들과 같은, 상이한 유형들의 하나 이상의 오디오 트랜스듀서들을 포함할 수 있다. 개시내용의 하나의 양태에서, 별도의 오디오 신호는 라우드스피커 어레이에서의 각각의 라우드스피커 세트를 위하여 생성될 수 있고, 크로스오버와 같은 대역통과 필터는 셀 디코더(1500)에 의해 생성된 트랜스듀서 정보가 특정한 구동기 세트에서의 상이한 유형들의 구동기의 각각을 위한 상이한 대역-통과된 신호들로 분할될 수 있도록 이용될 수 있다. 예시된 실시예에서, 미드/하이 구동기 세트들의 각각은 미드(1513-1) 및 트위터(1513-2)를 포함한다. 많은 실시예들에서, 구동기 어레이는 우퍼 구동기 세트(1514)를 더 포함한다. 많은 실시예들에서, 우퍼 구동기 세트는 2 개의 우퍼들을 포함한다. 그러나, 우퍼들을 없음, 하나의 우퍼, 또는 n 개의 우퍼들을 포함하는 임의의 수의 우퍼들은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이 사용될 수 있다.

다수의 실시예들에서, 공간적 오디오 시스템에 의해 렌더링된 공간적 오디오의 지각된 품질은 렌더링된 음장에서의 직접 및 반향 음의 지각된 비율을 제어하기 위하여 방향성 오디오를 이용함으로써 개량될 수 있다. 많은 실시예들에서, 증가된 반향 음은 공간 내의 벽들 및/또는 다른 표면들에서 반사하도록 빔들을 지향하기 위하여 모달 빔포밍을 이용하여 달성된다. 이러한 방식으로, 직접 및 반향 잡음 사이의 비율은, 제1 방향에서의 직접 컴포넌트들 및 근접한 표면들에서 반사할 추가적인 방향들에서의 추가적인 간접 오디오 컴포넌트들을 포함하는 오디오를 렌더링함으로써 제어될 수 있다. 발명의 다수의 상이한 실시예들에 따라 방향성 오디오를 이용하여 몰입적 공간적 오디오를 달성하기 위하여 사용될 수 있는 다양한 기법들이 이하에서 논의된다.

지금부터 도 16으로 돌아가면, 발명의 실시예에 따라 확산 및 지향된 방식으로 공간적 오디오를 렌더링하기 위한 프로세스가 예시된다. 프로세스(1600)는 오디오 파일의 전부 또는 일부분을 획득하는 것(1610), 및 셀 위치 맵을 획득하는 것(1620)을 포함한다. 이 정보를 이용하면, 직접 오디오 공간적 표현이 인코딩된다(1630). 직접 표현은 (확산 음이 아니라) 직접 음에 관한 정보를 포함할 수 있다. 직접 표현은 가상적 스피커 레이아웃을 이용하여 디코딩될 수 있고(1640), 그 다음으로, 출력은 진정한 셀 레이아웃에 대하여 인코딩된다(1650). 이 인코딩된 정보는 소스 오디오와 연관된 음장의 직접 부분을 생성하기 위하여 이용될 수 있는 공간적 오디오 정보를 포함할 수 있다. 실질적으로 실시간으로, 거리 스케일링 프로세스가 수행될 수 있고(1660), 확산 공간적 표현이 인코딩될 수 있다(1670). 확산 표현은 가상적 스피커 레이아웃을 이용하여 디코딩될 수 있고(1680), 직접 및 반향 음 사이의 지각된 비율을 제어하기 위하여 진정한 셀 레이아웃에 대하여 인코딩될 수 있다(1690). 확산 및 직접 표현들은 희망된 음장을 렌더링하기 위하여 셀들에 의해 디코딩될 수 있다(1695).

위의 논의로부터 인식될 수 있는 바와 같이, 공간에서의 셀들의 상대적인 포지션 및 배향을 포함하는(그러나 이것으로 제한되지는 않는) 공간적 정보를 결정하기 위한 능력, 및 공간의 음향적 특성들은 공간적 오디오의 렌더링을 대폭 보조할 수 있다. 다수의 실시예들에서, 레인징 프로세스들은 셀들의 배치 및 배향 및 /또는 셀들이 배치되는 공간의 다양한 특성들을 결정하기 위하여 사용된다. 이 정보는 그 다음으로, 가상적 스피커 위치들을 결정하기 위하여 사용될 수 있다. 셀들, 공간, 청자의 위치, 청자들의 이력적 위치들, 및/또는 가상적 스피커 위치들을 설명하는 공간적 데이터를 포함하는(그러나 이것으로 제한되지는 않는) 집합적으로 공간적 데이터는 공간적 위치 메타데이터로서 지칭될 수 있다. 공간적 위치 메타데이터를 생성하고 공간적 위치 메타데이터의 일부 또는 정부를 발명의 다양한 실시예들에 따른 공간적 오디오 시스템 내의 다양한 셀들로 분포시키기 위한 다양한 프로세스들이 이하에서 설명된다.

지금부터 도 17로 돌아가면, 발명의 실시예에 따라 가상적 스피커 배치들을 셀들로 전파하기 위한 프로세스가 예시된다. 프로세스(1700)는 공간을 맵핑하는 것(1710)을 포함한다. 위에서 언급된 바와 같이, 공간 맵핑은 다수의 기법들 중의 임의의 것을 이용하여 셀들 및/또는 다른 디바이스들에 의해 수행될 수 있다. 다양한 실시예들에서, 공간을 맵핑하는 것은 공간에서의 다양한 객체들 및 장벽들의 음향적 반사율을 결정하는 것을 포함한다.

프로세스(1700)는 이웃하는 셀들을 위치시키는 것(1720)을 더 포함한다. 수 많은 실시예들에서, 셀들은 음향적 시그널링을 이용하여 다른 셀들에 의해 위치될 수 있다. 셀들은 또한, 네트워크 접속된 카메라(예컨대, 이동 전화 카메라)를 이용하여 가상적 확인을 통해 식별될 수 있다. 일단 영역에서의 셀들이 위치되었으면, 그룹이 구성될 수 있다(1730). 그룹에서의 스피커들의 위치에 기초하여, 가상적 스피커 배치가 생성될 수 있다(1740). 가상적 스피커 배치는 그 다음으로, 다른 셀들로 전파될 수 있다(1750). 수 많은 실시예들에서, 주 셀은 가상적 스피커 배치들을 생성하고, 배치들을 주셀에 접속된 보조 셀들로 전파한다. 많은 실시예들에서, 하나 초과의 가상적 스피커 배치가 생성될 수 있다. 예를 들어, Dolby Laboratories, Inc.에 의해 개발된 바와 같은 Dolby Digital, Dolby Digital Plus, 및 Dolby Atmos를 포함하는(그러나 이것으로 제한되지는 않는) 다양한 오디오 인코딩 포맷들과 함께 추천된 스피커 배치들을 포함하는 기존의 2, 2.1, 5.1, 5.1.2, 5.1.4, 7.1, 7.1.2, 7.1.4, 9.1.2, 9.1.4, 및 11.1 스피커 배치들은 이들이 더 보편적이기 때문에 생성될 수 있다. 그러나, 가상적 스피커 배치들은 맵을 이용하여 즉석에서(on the fly) 생성될 수 있다.

위에서 언급된 바와 같이, 공간적 인코더들 및 공간적 디코더들의 네스팅된 아키텍처의 컴포넌트들은 다양한 방식들로 공간적 오디오 내의 개별적인 셀들 내에서 구현될 수 있다. 발명의 실시예에 따른 공간적 오디오 시스템 내의 주 셀 또는 보조 셀로서 작동하도록 구성될 수 있는 셀의 소프트웨어는 도 48에서 개념적으로 예시된다. 셀(4800)은 하드웨어 구동기들, 및 USB 및 HDMI 구동기들과 같은(그러나 이것으로 제한되지는 않는) 인터페이스 커넥터 구동기들을 포함하는(그러나 이것으로 제한되지는 않는) 일련의 구동기들을 포함한다. 구동기들은 셀(4800)의 소프트웨어가 하나 이상의 마이크로폰들을 이용하여 오디오 신호들을 캡처하는 것과, 셀에서의 하나 이상의 구동기들을 위한 구동기 신호들을 (예컨대, 디지털 대 아날로그 변환기를 이용하여) 생성하는 것을 가능하게 한다. 용이하게 인식될 수 있는 바와 같이, 셀에 의해 사용된 특정 구동기들은 셀의 하드웨어에 주로 종속적이다.

예시된 실시예에서, 오디오 및 미디(midi) 애플리케이션 D#402는 셀의 프로세싱 시스템 상에서 실행되는 다양한 소프트웨어 프로세스들과 하드웨어 구동기들 사이에서 전달되는 정보를 관리하기 위하여 제공된다. 몇몇 실시예들에서, 오디오 및 미디 애플리케이션은 셀의 구동기들의 세트들 상에서 렌더링하기 위한 오디오 신호들을 디코딩할 수 있다. 셀 상에서 렌더링하기 위한 오디오를 디코딩하기 위하여 본 명세서에서 설명된 프로세스들 중의 임의의 것은 이하에서 상세하게 논의된 프로세스들을 포함하는 오디오 및 미디 애플리케이션에 의해 사용될 수 있다.

하드웨어 오디오 소스 프로세스들(4804)은 인터페이스 커넥터 구동기들을 통한 외부 소스들과의 통신을 관리한다. 인터페이스 커넥터 구동기들은 오디오 소스들이 셀에 직접적으로 접속되는 것을 가능하게 할 수 있다. 오디오 신호들은 구동기들과, 오디오 서버(4806)를 이용하여 셀의 프로세싱 시스템 상에서 실행되는 다양한 소프트웨어 프로세스들 사이에서 라우팅될 수 있다.

위에서 언급된 바와 같이, 마이크로폰들에 의해 캡처된 오디오 신호들은 교정, 등화(equalization), 레인징, 및/또는 음성 커맨드 제어를 포함하는(그러나 이것으로 제한되지는 않는) 다양한 애플리케이션들을 위하여 사용될 수 있다. 예시된 실시예에서, 마이크로폰으로부터의 오디오 신호들은 오디오 서버(4806)를 이용하여 오디오 및 미디 애플리케이션(4802)으로부터 마이크로폰 프로세서(4808)로 라우팅될 수 있다. 마이크로폰 프로세서는 교정, 등화, 및/또는 레인징과 같은(그러나 이것으로 제한되지는 않는), 셀이 공간적 오디오를 생성하는 방식과 연관된 기능들을 수행할 수 있다. 몇몇 실시예들에서, 마이크로폰은 음성 커맨드들을 캡처하기 위하여 사용되고, 마이크로폰 프로세서는 마이크로폰 신호들을 프로세싱할 수 있고, 이들을 단어 검출 및/또는 음성 어시스턴트 클라이언트들(4810)에 제공할 수 있다. 커맨드 단어들이 검출될 때, 음성 어시스턴트 클라이언트들(4810)은 오디오 및/또는 오디오 커맨드들을, 추가적인 프로세싱을 위한 클라우드 서비스들에 제공할 수 있다. 음성 어시스턴트 클라이언트들(4810)은 또한, 음성 어시스턴트 클라우드 서비스들로부터의 응답을 셀의 애플리케이션 소프트웨어에 제공할 수 있다(예컨대, 음성 커맨드들을 셀의 제어들에 맵핑함). 셀의 애플리케이션 소프트웨어는 그 다음으로, 특정 음성 커맨드에 적절한 바와 같은 음성 커맨드들을 구현할 수 있다.

몇몇 실시예들에서, 셀은 네트워크 오디오 소스로부터 오디오를 수신한다. 예시된 실시예에서, 네트워크 오디오 소스 프로세스(4812)는 하나 이상의 원격 오디오 소스들과의 통신을 관리하기 위하여 제공된다. 네트워크 오디오 소스 프로세스는, 오디오를 수신하고 재생하기 위하여 셀이 특정한 네트워크 오디오 소스에 의해 수행하도록 요구되는 인증, 스트리밍, 디지털 권리 관리, 및/또는 임의의 다른 프로세스들을 관리할 수 있다. 이하에서 추가로 논의되는 바와 같이, 수신된 오디오는 소스 서버 프로세스(4814)를 이용하여 다른 셀들로 포워딩될 수 있거나, 음 서버(4816)에 제공될 수 있다.

셀은 소스 서버(4814)를 이용하여 소스를 또 다른 셀로 포워딩할 수 있다. 소스는 커넥터를 통해 셀에 직접적으로 접속된 오디오 소스, 및/또는 네트워크 오디오 소스 프로세스(4812)를 통해 네트워크 오디오 소스로부터 획득된 소스일 수 있다(그러나 이것으로 제한되지는 않음). 소스들은 셀들의 2 개의 그룹들 사이에서 소스의 재생을 동기화하기 위하여, 셀들의 제1 그룹에서의 주 셀과 셀들의 제2 그룹에서의 주 셀 사이에서 포워딩될 수 있다. 셀은 또한, 소스 서버(4814)를 통해 또 다른 셀 또는 네트워크 접속된 소스 입력 디바이스로부터 하나 이상의 소스들을 수신할 수 있다.

음 서버(4816)는 셀 상에서의 오디오 재생을 조정할 수 있다. 셀이 주 셀로 구성될 때, 음 서버(4816)는 또한, 보조 셀들 상에서의 오디오 재생을 조정할 수 있다. 셀이 주 셀로서 구성될 때, 소스 서버(4816)는 오디오 소스를 수신할 수 있고, 셀 상에서 구동기들을 이용하여 렌더링하기 위한 오디오 소스를 프로세싱할 수 있다. 용이하게 인식될 수 있는 바와 같이, 다양한 공간적 오디오 프로세싱 기법들 중의 임의의 것은 오디오 소스를 프로세싱하여 공간적 오디오 객체들을 획득하고 공간적 오디오 객체들에 기초하여 셀의 구동기들을 이용하여 오디오를 렌더링하기 위하여 사용될 수 있다. 다수의 실시예들에서, 셀 소프트웨어는 소스 오디오가 공간적 오디오 객체들을 획득하기 위하여 이용되는 위에서 설명된 다양한 네스팅된 아키텍처들과 유사한 네스팅된 아키텍처를 구현한다. 음 서버(4816)는 특정한 오디오 소스를 위한 적절한 소스 오디오 객체들을 생성할 수 있고, 그 다음으로, 공간적 오디오 객체들을 공간적으로 인코딩할 수 있다. 몇몇 실시예들에서, 오디오 소스들은 이미 공간적으로 인코딩될 수 있고(예컨대, 앰비소닉 포맷으로 인코딩), 따라서, 음 서버(4816)는 공간적 인코딩을 수행할 필요가 없다. 음 서버(4816)는 공간적 오디오를 가상적 스피커 레이아웃으로 디코딩할 수 있다. 가상적 스피커들을 위한 오디오 신호들은 그 다음으로, 셀의 위치 및/또는 그룹 내의 셀들의 위치들에 특정적인 오디오 신호들을 디코딩하기 위하여 음 서버에 의해 이용될 수 있다. 몇몇 실시예들에서, 각각의 셀을 위한 오디오 신호들을 획득하는 프로세스는 셀의 위치 및/또는 셀들의 그룹 내의 다른 셀들에 기초하여 가상적 스피커들의 오디오 입력들을 공간적으로 인코딩하는 것을 수반한다. 각각의 셀을 위한 공간적 오디오는 그 다음으로, 셀 내에 포함된 구동기들의 각각의 세트를 위한 별도의 오디오 신호들로 디코딩될 수 있다. 다수의 실시예들에서, 셀을 위한 오디오 신호는 개별적인 구동기 입력들을 생성하는 오디오 및 미디 애플리케이션(4802)에 제공될 수 있다. 셀이 셀들의 그룹 내의 주 셀일 경우에, 음 서버(4816)는 네트워크 상에서 보조 셀들의 각각을 위한 오디오 신호들을 송신할 수 있다. 많은 실시예들에서, 오디오 신호들은 유니캐스트(unicast)를 통해 송신된다. 몇몇 실시예들에서, 오디오 신호들 중의 일부는 유니캐스트이고, 적어도 하나의 신호는 멀티캐스트(multicast)이다(예컨대, 그룹 내의 모든 셀들에 의해 렌더링하기 위하여 이용되는 베이스 신호). 다수의 실시예들에서, 음 서버(4816)는 하드웨어 구동기들을 이용하여 셀의 구동기들에 대한 입력들을 생성하기 위하여 오디오 및 미디 애플리케이션(4802)에 의해 사용되는 직접 및 확산 오디오 신호들을 생성한다. 직접 및 확산 신호들은 또한, 음 서버(4816)에 의해 생성될 수 있고 보조 셀들에 제공될 수 있다.

셀이 보조 셀일 때, 음 서버(4802)는 주 셀 상에서 생성되어 네트워크를 통해 셀에 제공되었던 오디오 신호들을 수신할 수 있다. 셀은 수신된 오디오 신호들을 오디오 및 미디 애플리케이션(4802)으로 라우팅할 수 있고, 오디오 및 미디 애플리케이션(4802)은 오디오 신호들이 셀 자체에 의해 생성된 것과 동일한 방식으로 개별적인 구동기 입력들을 생성한다.

음 서버들의 다양한 잠재적인 구현예들은 도 48을 참조하여 위에서 설명된 것들과 유사한 셀들에서, 및/또는 발명의 어떤 실시예들에 따른 공간적 오디오 시스템들 내에서 사용될 수 있는 다양한 다른 유형들의 셀들 중의 임의의 것에서 사용될 수 있다. 발명의 실시예에 따른 공간적 오디오 시스템 내의 셀에서 사용될 수 있는 음 서버 소프트웨어 구현예는 도 49에서 개념적으로 예시된다. 음 서버(4900)는 특정 애플리케이션들의 요건들에 적절한 바와 같이, 적절한 공간적 인코더들(4904)로의 입력을 위한 특정한 오디오 소스들을 프로세싱하기 위하여 소스 그래프들(4902)을 사용한다. 몇몇 실시예들에서, 다수의 소스들이 믹싱될 수 있다. 예시된 실시예에서, 믹스 엔진(4906)은 소스들의 각각으로부터의 공간적으로 인코딩된 오디오를 믹싱한다. 믹싱된 공간적으로 인코딩된 오디오는 적어도 로컬 디코더(4908)에 제공되고, 이러한 로컬 디코더(4908)는 공간적으로 인코딩된 오디오를, 셀 내의 구동기들의 세트를 위한 구동기 신호들을 렌더링하기 위하여 사용될 수 있는 셀에 특정적인 오디오 신호들로 디코딩한다. 믹싱된 공간적으로 인코딩된 오디오 신호는 하나 이상의 보조 디코더들(4910)에 제공될 수 있다. 각각의 보조 디코더는 셀의 위치 및/또는 셀들의 그룹이 위치되는 환경의 레이아웃에 기초하여, 공간적으로 인코딩된 오디오를 특정한 보조 셀에 특정적인 오디오 신호들로 디코딩할 수 있다. 이러한 방식으로, 주 셀은 셀들의 그룹에서의 각각의 셀을 위한 오디오 신호들을 생성할 수 있다. 예시된 실시예에서, 보조 전송 프로세스(4912)는 오디오 신호들을 네트워크를 통해 보조 셀들로 송신하기 위하여 사용된다.

소스 그래프들(4902)은 오디오의 본질에 따라 다양한 상이한 방식들로 구성될 수 있다. 몇몇 실시예들에서, 셀은 모노, 스테레오, 다양한 멀티채널 서라운드 음 포맷들 중의 임의의 것, 및/또는 앰비소닉 포맷에 따라 인코딩된 오디오를 포함하는 소스들을 수신할 수 있다. 오디오의 인코딩에 따라, 소스 그래프는 오디오 신호 또는 오디오 채널을 오디오 객체로 맵핑할 수 있다. 위에서 논의된 바와 같이, 수신된 소스는 오디오 소스에 의해 제공된 오디오 신호들/오디오 채널들의 수와 상이한 다수의 오디오 객체들을 생성하기 위하여 업믹싱 및/또는 다운믹싱될 수 있다. 오디오가 앰비소닉 포맷으로 인코딩될 때, 소스 그래프는 오디오 소스를 직접적으로 공간적 인코더로 포워딩할 수 있을 수 있다. 몇몇 실시예들에서, 앰비소닉 포맷은 공간적 인코더와 호환불가능할 수 있고, 오디오 소스는 공간적 인코더를 위한 적절한 입력인 앰비소닉 포맷으로 리인코딩되어야 한다. 용이하게 인식될 수 있는 바와 같이, 공간적 인코더에 대한 입력을 위한 소스들을 프로세싱하기 위하여 소스 그래프들을 사용하는 장점은, 추가적인 소스 그래프들이 특정 애플리케이션들의 요건들에 적절한 바와 같이 추가적인 포맷들을 지원하기 위하여 개발될 수 있다는 것이다.

다양한 공간적 인코더들은 도 49에서 도시된 음 서버와 유사한 음 서버들에서 사용될 수 있다. 또한, 특정 셀은 오디오 소스의 유형, 셀들의 수, 및/또는 셀들의 배치 중의 임의의 하나 이상을 포함하는(그러나 이것으로 제한되지는 않는) 인자들에 기초하여 사용될 수 있는 다수의 상이한 공간적 인코더들을 포함할 수 있다. 예를 들어, 사용된 공간적 인코딩은, 다수의 셀들이 실질적으로 동일한 평면 상에 있는 구성에서, 그리고 셀들의 그룹이 또한, 오버헤드로 장착된(예컨대, 천장 장착된) 적어도 하나의 셀을 포함할 때의 제2 구성에서 셀들이 그룹화되는지 여부에 따라 변동될 수 있다.

발명의 실시예에 따라 본 명세서에서 설명된 음 서버들 중의 임의의 것에서 모노 소스를 인코딩하기 위하여 사용될 수 있는 공간적 인코더는 도 50에서 개념적으로 예시된다. 공간적 인코더(5000)는 개별적인 모노 오디오 객체 및 오디오 객체의 위치에 관한 정보를 입력으로서 받아들인다. 많은 실시예들에서, 위치 정보는 2D 또는 3D에서의 시스템 원점에 대한 데카르트 및/또는 방사상 좌표들로 표현될 수 있다. 공간적 인코더(5000)는 오디오 객체에 의해 생성된 직접 및 확산 오디오를 표현하기 위하여 이용된 신호들을 생성하기 위하여 인코딩하기 위한 거리 인코더(5000)를 사용한다. 예시된 실시예에서, 제1 앰비소닉 인코더(5004)는 오디오 객체에 의해 생성된 직접 오디오의 더 높은 차수의 앰비소닉 표현(예컨대, 2차 앰비소닉 및/또는 음장 표현)을 생성하기 위하여 사용된다. 추가적으로, 제2 앰비소닉 인코더(5006)는 확산 오디오의 더 높은 차수의 앰비소닉 표현(예컨대, 2차 앰비소닉 및/또는 음장 표현)을 생성하기 위하여 사용된다. 제1 앰비소닉 디코더(5008)는 직접 오디오의 더 높은 차수의 앰비소닉 표현을 가상적 스피커들의 세트를 위한 오디오 입력들로 디코딩한다. 제2 앰비소닉 디코더(5010)는 확산 오디오의 더 높은 차수의 앰비소닉 표현을 가상적 스피커들의 세트를 위한 오디오 입력들로 디코딩한다. 도 50에 대하여 설명된 공간적 인코더는 직접 및 확산 오디오의 더 높은 차수의 앰비소닉 표현들을 사용하지만, 공간적 인코더들은 또한, VBAP 표현, DBAP 표현, 및/또는 KNN 패닝 표현과 같은(그러나 이것으로 제한되지는 않는) 표현들을 이용할 수 있다.

도 51에서 예시된 소스 인코더로부터 인식될 수 있는 바와 같이, 소스 인코더와 호환가능한 포맷으로 앰비소닉 방식으로 인코딩되는 소스는 별도의 앰비소닉 인코딩을 요구하지 않는다. 실제로, 소스 인코더(5100)는 앰비소닉 컨텐츠에 대한 직접 및 확산 오디오를 결정하기 위하여 거리 인코더(5102)를 사용할 수 있다. 직접 및 확산 오디오의 앰비소닉 표현들은 그 다음으로, 가상적 스피커들의 세트를 위한 오디오 입력들을 제공하기 위하여 디코딩될 수 있다. 예시된 실시예에서, 제1 앰비소닉 디코더(5104)는 직접 오디오의 앰비소닉 표현을 가상적 스피커들의 세트를 위한 입력들로 디코딩하고, 제2 앰비소닉 디코더(5106)는 확산 오디오의 앰비소닉 표현을 가상적 스피커들의 세트를 위한 입력들로 디코딩한다. 도 51에 대한 위의 소스 인코더들의 논의는 앰비소닉 인코딩들을 참조하지만, 공간적 오디오의 다양한 표현들 중의 임의의 것은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 가상적 스피커들의 세트를 위한 직접 및/또는 확산 입력들로 유사하게 디코딩될 수 있다.

위에서 언급된 바와 같이, 가상적 스피커 오디오 입력들은 하나 이상의 구동기들의 하나 이상의 세트들을 위한 피드 신호들을 제공하기 위하여 직접적으로 디코딩될 수 있다. 많은 실시예들에서, 구동기들의 각각의 세트는 상이한 방향으로 배향되고, 가상적 스피커 오디오 입력들은 셀에 의해 생성된 음장의 앰비소닉 또는 다른 적절한 공간적 표현을 생성하기 위하여 사용된다. 셀에 의해 생성된 음장의 공간적 표현은 그 다음으로, 구동기들의 각각의 셀을 위한 피드 신호들을 디코딩하기 위하여 사용될 수 있다. 다음의 섹션은 미드 및 트위터 구동기들에 의해 피드되는 셀의 둘레 주위에 분포된 3 개의 혼들을 가지는 셀을 포함하는 셀들의 다양한 실시예들을 논의한다. 셀은 또한 한 쌍의 대향하는 우퍼들을 포함한다. 혼들의 각각과 연관된 구동기들의 세트의 각각을 위한 피드들에 대응하는 3 개의 오디오 신호들에 기초하여 개별적인 구동기 피드들을 생성하기 위한 그래프는 도 52에서 예시된다. 예시된 실시예에서, 그래프(5200)는 트위터들 및 미드들(총 6 개) 및 2 개의 우퍼들의 각각을 위한 구동기들을 생성한다. 3 개의 피드 신호들의 각각의 베이스 부분들은 조합되고, 우퍼들을 구동하기 위한 베이스 신호를 생성하기 위하여 저역 통과 필터링된다(5202). 예시된 실시예에서, 서브-프로세싱은 상부 및 하부 서브-우퍼들의 각각에 대하여 별도로 수행되고(5204, 5206), 결과적인 신호들은 결과적인 신호들이 구동기들에 대한 손상을 야기시키지 않을 것이라는 것을 보장하기 위하여 리미터(limiter)(5208)에 제공된다. 피드 신호들의 각각은 신호의 더 높은 주파수 부분들에 대하여 별도로 프로세싱된다. 미드-주파수들 및 하이 주파수들은 주파수들(5210, 5212, 및 5214)의 세트를 이용하여 분리되고, 신호들은 3 개의 혼들의 각각에서의 미드 및 트위터 구동기들을 위한 6 개의 구동기 신호들을 생성하기 위하여 리머터들(5216)에 제공된다. 특정 그래프가 도 52에서 도시되지만, 다양한 그래프들 중의 임의의 것은 구동기들의 각각의 세트를 위한 별도의 피드 신호들에 기초하여 셀 내에서 사용된 특정 구동기들에 적절한 바와 같이 사용될 수 있다. 다수의 실시예들에서, 별도의 로우 주파수 피드는 서브-우퍼들을 구동하기 위하여 이용되는 셀에 제공될 수 있다. 어떤 실시예들에서, 동일한 로우 주파수 피드는 그룹 내의 모든 셀들에 제공된다. 용이하게 인식될 수 있는 바와 같이, 특정 피드들, 및 셀이 구동기 피드들을 생성하기 위하여 그래프를 구현하는 특정한 방식은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 주로 종속적이다.

다양한 공간적 오디오 인코딩 기법들을 채용하는 다양한 네스팅된 아키텍처가 위에서 설명되지만, 공간적 오디오를 렌더링하기 위한 방식을 결정하기 위하여 가상적 스피커 레이아웃들을 사용하는 분포된 공간적 오디오 재현 프로세스들 및/또는 공간적 오디오 재현 프로세스들을 포함하는(그러나 이것으로 제한되지는 않는) 다수의 공간적 오디오 재현 프로세스들 중의 임의의 것은 발명의 다양한 실시예들에 따른 상이한 애플리케이션들의 요건들에 적절한 바와 같이 사용될 수 있다. 또한, 다수의 상이한 공간적 위치 메타데이터 포맷들 및 컴포넌트들이 위에서 설명된다. 공간적 오디오 시스템 내에서 생성되고 분포된 공간적 레이아웃 메타데이터는 어떤 방식으로든지 데이터의 특정 피스들 및/또는 특정 포맷들로 제한되지 않는다는 것이 용이하게 인식되어야 한다. 주로 공간적 레이아웃 메타데이터의 컴포넌트들 및/또는 인코딩은 주어진 애플리케이션의 요건들에 주로 종속적이다. 따라서, 위의 네스팅된 아키텍처들 및/또는 공간적 인코딩 기법들 중의 임의의 것은 조합하여 사용될 수 있고, 특정 조합들로 제한되지 않는다는 것이 인식되어야 한다. 또한, 특정 기법들은 발명의 어떤 실시예들에 따라 본 명세서에서 구체적으로 개시된 것들 이외의 프로세스들에서 사용될 수 있다.

위의 논의의 많은 것은 발명의 다양한 실시예들에 따른 공간적 오디오 시스템 내에서 사용될 수 있는 셀들의 많은 변형들의 특성들에 관해 일반적으로 말한다. 그러나, 다수의 셀 구성들은 공간적 오디오 시스템들에서 사용될 때에 특정 장점들을 가진다. 따라서, 발명의 다양한 실시예들에 따른 공간적 오디오 시스템들에서의 이용을 위한 셀들을 구성하기 위한 몇몇 상이한 기법들의 논의는 이하에서 추가로 논의된다.

섹션 5: 공간적 오디오 시스템 내에서의 오디오 데이터의 분포

위에서 언급된 바와 같이, 다수의 셀들은 공간적 오디오를 렌더링하기 위하여 이용될 수 있다. 멀티-셀 구성에 대한 도전은 셀들 사이의 데이터의 흐름을 관리하는 것이다. 예를 들어, 오디오는 불쾌한 청취 경험을 방지하기 위하여 동기화된 방식으로 렌더링되어야 한다. 심리스(seamless) 품질의 청취 경험을 제공하기 위하여, 셀들은 효율적인 데이터 흐름을 촉진하기 위한 계층구조들을 자동적으로 형성할 수 있다. 공간적 오디오를 렌더링하기 위한 오디오 데이터는 셀들 사이에서 반송되지만, 다른 데이터도 마찬가지로 반송될 수 있다. 예를 들어, 제어 정보, 포지션 정보, 교정 정보 뿐만 아니라 셀들과 제어 서버들 사이의 임의의 다른 희망된 메시징은 발명의 실시예들의 특정 애플리케이션의 요건들에 적절한 바와 같이 셀들 사이에서 반송될 수 있다.

특정한 상황의 필요성들에 따라서는, 셀들 사이의 데이터 송신을 위한 상이한 계층구조들이 확립될 수 있다. 많은 실시예들에서, 주 셀은 데이터의 흐름을 관리하는 것 뿐만 아니라, 주 셀에 의해 관리된 개개의 접속된 보조 셀들을 위한 오디오 스트림들로의 입력 오디오 스트림들의 프로세싱을 담당한다. 수 많은 실시예들에서, 다수의 주 셀들은 보조 셀들의 다수의 세트들을 동시에 관리하기 위하여 서로 통신한다. 다양한 실시예들에서, 하나 이상의 주 셀들은 수퍼 주 셀로서 지정될 수 있고, 이러한 수퍼 주 셀은 궁극적으로, 주 셀들 사이의 데이터 흐름을 제어한다.

발명의 실시예에 따라 수퍼 주 셀을 갖는 예시적인 계층구조가 도 53에서 예시된다. 알 수 있는 바와 같이, 수퍼 주 셀(super primary cell)(SP)은 무선 라우터로부터 오디오 스트림을 획득한다. 수퍼 주 셀은 셀들 사이에서 확립된 무선 네트워크 상에서 오디오 스트림을 접속된 주 셀들(P)로 분배한다. 각각의 주 셀은 궁극적으로, 위에서 논의된 바와 같이, 자신이 지배하는 보조 셀들을 위한 개별적인 스트림들을 생성하기 위하여 오디오 스트림을 프로세싱한다. 이 스트림들은 그 목적지의 보조 셀로 유니캐스팅될 수 있다. 또한, 수퍼 주 셀은 그 지배된 보조 셀들을 위한 오디오 스트림들을 생성하는 것을 포함하는, 주 셀의 모든 액션들을 수행할 수 있다.

예시된 화살표들은 하나의 방향성이지만, 이것은 오디오 데이터의 흐름을 오직 지칭한다. 모든 셀 유형들은 셀 네트워크를 통해 서로 통신할 수 있다. 예를 들어, 보조 셀이 재생 일시정지 또는 트랙 스킵(skip)과 같은(그러나 이것으로 제한되지는 않는) 입력 커맨드를 수신할 경우에, 커맨드는 보조 셀로부터 위로 네트워크에 걸쳐 전파될 수 있다. 또한, 주 셀들 및 수퍼 주 셀들은 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 메타데이터, 시간 동기화 신호들, 및/또는 임의의 다른 메시지를 전달하기 위하여 서로 통신할 수 있다. 용이하게 인식될 수 있는 바와 같이, 별도의 룸들에서의 주 셀들이 도시되지만, 주 셀들은 룸의 크기 및 레이아웃, 및 셀들의 그룹화들을 포함하는(그러나 이것으로 제한되지는 않는) 많은 인자들에 따라, 동일한 룸 내에 있을 수 있다. 또한, 주 셀에 대한 3 개의 보조 셀들의 클러스터들이 도시되지만, 주 셀이 보조 셀들을 지배하지 않는 구성을 포함하는, 임의의 수의 상이한 보조 셀들이 주 셀에 대하여 지배될 수 있다.

또한, 도 54에서 발명의 실시예에 따라 예시된 바와 같이, 궁극적으로, 오디오 스트림들을 그 개개의 지배된 주 셀들로 미는(push) 다수의 수퍼 주 셀들이 확립될 수 있다. 수 많은 실시예들에서, 수퍼 주 셀들은 동기화를 제어하고 다른 데이터를 공유하기 위하여 서로와의 사이에서 통신할 수 있다. 다양한 실시예들에서, 수퍼 주 셀들은 무선 라우터를 통해 접속된다. 실제로, 많은 실시예들에서, 수퍼 주 셀은 무선 라우터를 통해 주 셀을 지배할 수 있다. 예를 들어, 주 셀이 수퍼 주 셀과 효율적으로 통신할 수 없을 정도로 너무 멀리 떨어져 있지만, 그 자신이 수퍼 주 셀은 아닐 경우에, 주 셀은 무선 라우터에 의해 용이하게 된 접속을 통해 지배될 수 있다. 발명의 실시예에 따라 무선 라우터를 통한 수퍼 주 셀에 의한 주 셀의 지배는 도 55에서 예시된다.

수퍼 주 셀들은 임의의 계층구조의 요건은 아니다. 수 많은 실시예들에서, 다수의 주 셀들은 모두 무선 라우터(또는 임의의 다른 입력 소스)로부터 오디오 스트림들을 직접적으로 수신할 수 있다. 추가적인 정보는 마찬가지로 무선 라우터를 통해 및/또는 주 셀들 사이에서 직접적으로 전달될 수 있다. 발명의 실시예에 따라 수퍼 주 셀들을 갖지 않는 계층 구조가 도 56에서 예시된다.

몇몇 특정 아키텍처들이 위에서 예시되었지만, 용이하게 인식될 수 있는 바와 같이, 특정한 사용자의 필요성들에 따라 임의의 수의 수퍼 주, 주, 및 보조 셀들을 갖는 많은 상이한 계층구조 레이아웃들이 이용될 수 있다. 실제로, 강인한 자동적 계층구조 생성을 지원하기 위하여, 셀들은 특정 역할들을 위한 셀들을 선정하기 위하여 서로와의 사이에서 협상할 수 있다. 발명의 실시예에 따라 주 셀들을 선정하기 위한 프로세스가 도 57에서 예시된다.

프로세스(5700)는 셀을 초기화하는 것(5710)을 포함한다. 셀을 초기화하는 것은 셀이 셀들의 네트워크에 참여하는 것을 지칭하지만, 또한, 단독 셀이 네트워크를 시작하는 것을 지칭할 수 있다. 수 많은 실시예들에서, 셀들은 한번을 초과하여, 예를 들어, 새로운 룸으로 이동될 때, 또는 전력 공급할 때에 초기화될 수 있고, "최초 부트(first boot)" 시나리오로 한정되지는 않는다. 인터넷에 대한 접속이 이용가능할 경우에(5720), 셀은 그룹화 정보, 및/또는 그룹화 정보가 이로부터 획득될 수 있는 또 다른 네트워크 접속된 디바이스를 동기화(5730)하기 위하여 제어 서버에 접촉할 수 있다. 그룹화 정보는 다른 셀들의 배치 및 그 그룹화들(예컨대, 어느 셀들이 어느 그룹들 및/또는 구역들에 있는지)에 관한 정보를 포함할 수 있다(그러나 이것으로 제한되지는 않음). 또 다른 주셀이 네트워크 상에서 광고될 경우에(5740), 새롭게 초기화된 셀은 보조 셀이 된다(5750). 그러나, 네트워크 상에서 광고된(5740) 주 셀들이 없을 경우에, 새롭게 초기화된 셀은 주 셀이 된다(5760).

네트워크에 걸쳐 각각의 셀을 위한 가장 효율적인 역할을 탐지하기 위하여, 새로운 주 셀은 새로운 주 셀이 되기 위한 선정 기준들을 발표한다(5770). 많은 실시예들에서, 선정 기준들은 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 동작 온도, 이용가능한 대역폭, 물리적 위치 및/또는 다른 셀들에 대한 인접성, 채널 조건들, 인터넷에 대한 접속의 신뢰성, 보조 셀들에 대한 접속 품질, 및/또는 주 역할을 수행하기 위한 셀의 동작 효율에 관련된 임의의 다른 메트릭과 같은(그러나 이것으로 제한되지는 않는) 현재의 주 셀의 성능에 관한 메트릭들을 포함한다. 많은 실시예들에서, 메트릭들은 동일하게 모두 가중화되지는 않고, 일부 메트릭들은 다른 것들보다 더 중요하다. 다양한 실시예들에서, 발표된 선정 기준들은, 능가할 경우에, 주 셀이 되도록 더 양호하게 적합한 셀을 나타낼 메트릭들에 기초한 임계치 점수를 포함한다. 발표된 선정 기준들에 기초하여 주 셀에서의 변화를 위하여 선정이 행해질 경우에(5780), 주 셀은 주 셀의 역할을 선정된 셀로 이주시키고(migrate)(5790), 보조 셀이 된다(5750). 새로운 셀이 선정되지 않을 경우에(5780), 주 셀은 그 역할을 유지한다.

다양한 실시예들에서, 선정 프로세스는 효율적인 네트워크 계층구조를 유지하기 위하여 주기적으로 반복된다. 수 많은 실시예들에서, 선정 프로세스는 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 새로운 셀들의 초기화, 주 셀이 주 역할 성능을 유지할 수 있다는 표시, (전력 다운, 신호 중단, 셀 고장, 무선 라우터 고장 등으로 인해) 셀들이 네트워크로부터 누락되는 것, 셀의 물리적 재위치결정, 새로운 무선 네트워크의 존재, 또는 다수의 다른 트리거들 중의 임의의 것과 같은(그러나 이것으로 제한되지는 않는) 이벤트들에 의해 트리거링될 수 있다. 특정 선정 프로세스가 도 57에서 예시되지만, 발명의 범위 또는 사상으로부터 이탈하지 않으면서, 수퍼 주 셀들을 선정하는 변형들을 포함하는, 선정 프로세스들의 임의의 수의 변형예들이 사용될 수 있다는 것이 용이하게 인식될 수 있다.

섹션 6: 셀들의 구성

위에서 언급된 바와 같이, 발명의 많은 실시예들에 따른 셀들은 셀을 둘러싸는 360°에 걸쳐 상대적으로 동일한 정밀도를 갖는 음장을 수정할 수 있는 스피커들이다. 많은 실시예들에서, 셀들은 구동기들의 방사상으로 대칭적인 배열을 포함하는 적어도 하나의 할로를 포함한다. 수 많은 실시예들에서, 각각의 혼은 적어도 하나의 트위터 및 적어도 하나의 미드를 포함한다. 다양한 실시예들에서, 각각의 혼은, 트위터가 셀의 중점에 대하여 미드의 외부에 위치결정되도록 동축으로 정렬된 트위터 및 미드를 포함한다. 그러나, 전체적인 배열이 각각의 구동기 유형에 대하여 방사상 대칭성을 유지하는 한, 할로들은 다수의 트위터들 및 미드들을 포함할 수 있다. 다양한 구동기 배열들이 이하에서 추가로 논의된다. 많은 실시예들에서, 각각의 셀은 동축으로 정렬된 상향-발사 우퍼 및 하향-발사 우퍼를 포함한다. 그러나, 몇몇 실시예들은 오직 하나의 우퍼를 사용한다. 많은 실시예들에서의 상당한 문제는 셀을 유지하기 위한 스탠드가 우퍼들 중의 하나를 지나도록 요구될 수 있다는 것이다. 이 구조적 쟁점을 해결하기 위하여, 우퍼들 중의 하나는 배선 및 다른 커넥터들을 수용하기 위하여 구동기의 중앙을 통한 개방된 채널을 가질 수 있다. 다수의 실시예들에서, 우퍼들은 대칭적이고, 둘 모두 구동기의 중앙을 통한 채널을 포함한다. 이 특이한 우려를 해결하기 위한 특정한 우퍼 구성이 이하에서 논의된다.

지금부터 도 18a로 돌아가면, 발명의 실시예에 따른 셀이 예시된다. 셀(1800)은 할로(1810), 코어(1820), 지지 구조("크라운"으로서 지칭됨)(1830), 및 폐부들(1840)을 포함한다. 많은 실시예들에서, 폐부들은 셀의 외부 쉘(shell)을 구성하고, 우퍼들을 위한 밀봉된 후방 인클로저를 제공한다. 크라운은 우퍼를 위한 지지 및 밀봉을 제공하고, 많은 실시예들에서, 폐부들에 대한 지지를 제공한다. 할로는 방사상으로 대칭적인 방식으로 위치결정된 3 개의 혼들을 포함하고, 많은 실시예들에서, 혼들 사이에 위치결정된 마이크로폰들을 위한 개구부(aperture)들을 포함한다. 이 컴포넌트들의 각각은 형태 및 구성의 양자의 개요를 제공하기 위하여 내부로부터 외부로 더욱 상세하게 논의된다.

섹션 6.1: 할로들

할로들은 착석된 구동기들을 갖는 혼들의 링들이다. 수 많은 실시예들에서, 방사상으로 대칭적인 할로들은 모달 빔포밍을 촉진하도록 제조될 수 있다. 그러나, 빔포밍은, 비대칭적이고 및/또는 혼들의 상이한 크기 및/또는 배치들을 가지는 할로들로 완수될 수 있다. 할로의 기능을 만족시킬 혼들의 많은 상이한 배열들이 있지만, 이하의 할로들의 주 논의는 3-혼 방식 할로에 대한 것이다. 그러나, 다수의 혼들을 포함하는 할로들은 빔 제어의 상이한 정도들을 제공하기 위하여 발명의 많은 실시예들에 따라 사용될 수 있다. 혼들은 다수의 입력 개구부들 뿐만 아니라, 음 분산(sound dispersal)을 제어하는 것을 보조하기 위한 구조적 음향적 컴포넌트들을 포함할 수 있다. 많은 실시예들에서, 할로는 또한, 마이크로폰들을 위한 개구부들 및/또는 지지 구조들을 포함한다.

지금부터 도 18b로 돌아가면, 발명의 실시예에 따른 할로가 예시된다. 할로(1810)는 3 개의 혼들(1811)을 포함한다. 각각의 혼은 3 개의 개구부들(1812)을 포함한다. 할로는 3 개의 마이크로폰 개구부들(1813)(2 개가 가시적이고, 하나는 실시예의 제공된 도면에서 가려짐)의 세트를 더 포함한다. 발명의 실시예에 따라 마이크로폰을 위한 실장부를 도시하는 마이크로폰 개구부의 단면도가 도 18c에서 예시된다. 많은 실시예들에서, 할로는 3D 인쇄 프로세스를 통해 완전한 객체로서 제조된다. 그러나, 할로들은 피스별(piecewise)로 구성될 수 있다. 수 많은 실시예들에서, 3 개의 혼들은 이들이 3겹 방사상 대칭성(threefold radial symmetry)(또는 "3자 대칭성(trilateral symmetry)")을 가지도록 120°떨어져서 배향된다.

수 많은 실시예들에서, 각각의 혼은 트위터 및 미드 구동기에 연결된다. 많은 실시예들에서, 트위터는 할로의 중앙 지점에 대하여 미드의 외부에 있고, 2 개의 구동기들은 동축으로 위치결정된다. 도 18d는 발명의 실시예에 따라, 할로의 단일 혼을 위한 트위터 및 미드의 동축 정렬의 분해도를 예시한다. 트위터(1814)는 미드(1815)의 외부에 위치결정된다. 도 18e는 발명의 실시예에 따라, 할로에서의 각각의 혼을 위한 트위터/미드 구동기들의 소켓형 세트를 예시한다.

수 많은 실시예들에서, 트위터는 혼의 중앙 개구부로 끼워지는 반면, 미드는 할로의 외부의 2 개의 개구부들을 통해 음을 지향하도록 구성된다. 지금부터 도 18f로 돌아가면, 할로에서의 각각의 혼을 위한 트위터/미드 구동기들의 소켓형 세트의 수평 단면이 발명의 실시예에 따라 예시된다. 도시된 바와 같이, 개구부들은 구동기에 의해 생성된 상이한 주파수들의 추가적인 분리를 제공하기 위하여 사용될 수 있다. 또한, 혼 자체는 내부적인 다경로 반사들을 회피하기 위하여 음향적 구조(1816)를 포함할 수 있다. 많은 실시예들에서, 음향적 구조는 천공된 그리드(perforated grid)이다. 일부 실시예들에서, 음향적 구조는 다공성 발포재(porous foam)이다. 수 많은 실시예들에서, 음향적 구조는 격자(lattice)이다. 음향적 구조는 미드들을 입장시키면서 하이들의 통과를 방지할 수 있다. 많은 실시예들에서, 음향적 구조는 음파들의 지향성을 유지하는 것을 보조한다. 다양한 실시예들에서, 혼들은 혼의 120° 섹터의 외부에서 음 분산의 양을 최소화시키기 위한 그러한 방식으로 구성된다. 이러한 방식으로, 할로의 각각의 개별적인 혼은 개별 120° 섹터 내에서의 셀의 음 재현을 주로 담당한다.

할로에서 위치된 마이크로폰 어레이는 다수의 목적들을 위하여 이용될 수 있고, 목적들의 많은 것은 이하에서 더욱 상세하게 논의될 것이다. 그 많은 용도들 중에서, 마이크로폰들은 음향적 레인징을 통해 환경을 측정하기 위하여 셀의 방향성 능력들과 함께 이용될 수 있다. 많은 실시예들에서, 할로 자체는 종종 코어 컴포넌트와 인접한다. 코어 컴포넌트의 논의가 이하에서 발견된다.

섹션 6.2: 코어

셀들은 오디오 정보를 프로세싱하기 위하여, 그리고 구동기들을 제어하는 것, 재생을 지시하는 것, 데이터를 취득하는 것, 음향적 레인징을 수행하는 것, 커맨드들에 대해 응답하는 것, 및 네트워크 트래픽을 관리하는 것을 포함하는, 그러나 이것으로 제한되지는 않는 다른 연산 프로세스들을 수행하기 위하여 로직 회로부를 사용할 수 있다. 이 로직 회로부는 회로 보드 상에서 포함될 수 있다. 많은 실시예들에서, 회로 보드는 환형부이다. 회로 보드는 다수의 환형부 섹터 피스들로 구성될 수 있다. 그러나, 회로 보드는 또한, 다른 형상들을 취할 수 있다. 많은 실시예들에서, 환형부의 중앙은 할로에 연결된 구동기들을 위한 후방 음량을 제공하는 대략 구형의 실장부("코어 실장부")에 의해 적어도 부분적으로 점유된다. 수 많은 실시예들에서, 코어 실장부는 2 개의 연동 컴포넌트들을 포함한다.

발명의 실시예에 따른 실장부의 회로 보드 환형부 및 하부 부분이 도 18g에서 예시된다. 예시된 실시예에서, 회로 보드는 셀의 다양한 다른 컴포넌트들이 장착되는 핀(pin)들의 세트를 동반한다. 다른 실시예들에서, 회로 보드는 2 개 이상의 별도의 환형부 섹터들로 분할된다. 다양한 실시예들에서, 각각의 섹터는 상이한 기능적인 목적을 담당한다. 예를 들어, 많은 실시예들에서, 하나의 섹터는 전력 공급을 담당하고, 하나의 섹터는 구동기들을 구동하는 것을 담당하고, 하나의 섹터는 포괄적인 로직 프로세싱 태스크들을 담당한다. 그러나, 섹터들 또는 회로 보드의 기능성은 일반적으로, 임의의 특정한 물리적 레이아웃으로 한정되지는 않는다.

지금부터 도 18h로 돌아가면, 발명의 실시예에 따라 할로 및 구동기들에 의해 둘러싸인 코어 섹션이 예시된다. 코어는 상부 및 하부 실장부 컴포넌트들의 둘 모두와 함께 도시된다. 많은 실시예들에서, 코어의 실장부 컴포넌트들은 3 개의 별개의 음량들로 분할되고, 음량들의 각각은 할로에서의 특정한 혼과 연관된 구동기들의 세트를 위한 별도의 후방 음량을 제공한다. 다양한 실시예들에서, 코어 실장부는 코어 실장부의 중아에서 만나는 3 개의 분할기 벽들을 포함한다. 도 18h에서 예시된 코어 실장부가 대략 구형이지만, 코어 실장부는 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이 임의의 형상일 수 있다. 또한, 가스켓(gasket)들 및/또는 다른 밀봉제 방법들은 상이한 섹션들 사이의 공기 이동을 방지하기 위하여 밀봉부들을 형성하기 위하여 이용될 수 있다. 많은 실시예들에서, 코어 및 할로를 둘러싸는 것은 크라운이다. 크라운들이 이하에서 논의된다.

섹션 6.3: 크라운

많은 실시예들에서, 위에서 논의된 바와 같이, 셀들은 한 쌍의 대향하는 동축 우퍼들을 포함한다. 크라운은 우퍼들을 지지하는 스트럿(strut)들의 세트일 수 있다. 많은 실시예들에서, 크라운은 상부 컴포넌트 및 하부 컴포넌트로 이루어진다. 수 많은 실시예들에서, 상부 컴포넌트 및 하부 컴포넌트는 할로의 양쪽 측부들로부터 돌출하는 단일 컴포넌트이다. 다른 실시예들에서, 상부 및 하부 컴포넌트들은 별도의 피스들일 수 있다.

발명의 실시예에 따라 할로 및 코어 주위에 위치결정된 크라운이 도 18i에서 예시된다. 크라운은 중량을 감소시키고 및/또는 미학적으로 즐거운 설계들을 제공하기 위하여 "윈도우(window)들" 또는 다른 절개부(cutout)들을 가질 수 있다. 크라운은 공기가 셀 내의 다른 음량들로 탈출하는 것을 방지하기 위하여 가스켓들 및/또는 다른 밀봉부들을 가질 수 있다. 예시된 실시예에서, 크라운은 폐부들에 의해 둘러싸이고, 이러한 폐부들은 이하에서 더욱 상세하게 논의된다.

섹션 6.4: 폐부들

많은 실시예들에서, 셀의 다른 표면은 폐부들이다. 폐부들은, 우퍼들을 위한 밀봉된 후방 음량을 제공하는 것, 및 셀의 내부를 보호하는 것을 포함하는, 그러나 이것으로 제한되지는 않는 많은 기능들을 제공할 수 있다. 그러나, 수 많은 실시예들에서, 추가적인 컴포넌트들은 화장 또는 기능적 효과의 어느 하나를 위하여 폐부들의 외부에 있을 수 있다(예컨대, 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같은 커넥터들, 스탠드들, 또는 임의의 다른 기능). 수 많은 실시예들에서, 폐부들은 투명하고, 사용자가 셀의 내부를 보는 것을 가능하게 한다. 그러나, 폐부들은 셀의 기능성을 손상시키지 않으면서 불투명할 수 있다.

지금부터 도 18j로 돌아가면, 발명의 실시예에 따라 크라운, 코어, 및 할로를 둘러싸는 폐부들을 갖는 셀이 예시된다. 개구부들은 우퍼들의 배치를 가능하게 하기 위하여 셀의 상부 및 하부 상의 폐부들에서 제공될 수 있다. 발명의 실시예에 따라 개구부들에 끼워지도록 설계된 우퍼들의 동축 배열은 도 18k 및 도 18l에서 발견될 수 있고, 이러한 도 18k 및 도 18l은 각각 상부 및 하부 우퍼들을 예시한다. 알 수 있는 바와 같이, 상부 우퍼는 기존의 우퍼인 반면, 하부 우퍼는 중앙을 통한 중공 터널(hollow tunnel)을 포함한다. 이것은 도 18m 및 도 18n에서 각각 예시된 상부 및 하부 우퍼의 단면도들에서 추가로 예시된다. 하부 우퍼를 통한 채널은 셀의 외부에 도달하기 위하여 물리적 커넥터들을 위한 액세스 포트(access port)를 제공할 수 있다. 많은 실시예들에서, "줄기부"는 스탠드들의 임의의 수의 상이한 구성들에 연결할 수 있는 채널을 통해 셀로부터 연장된다. 다양한 실시예들에서, 전력 케이블류 및 데이터 전송 케이블류는 채널을 통해 라우팅된다. 채널을 지나는 줄기부를 갖는 셀은 도 18o에서 발명의 실시예에 따라 예시된다. 발명의 실시예에 따른 줄기부 상의 다양한 포트들의 근접도가 도 18p에서 예시된다. 포트들은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 데이터 전송 접속 프로토콜 및/또는 표준에 따라 구현된 USB 커넥터들, 전력 커넥터들, 및/또는 임의의 다른 커넥터를 포함할 수 있지만, 이것으로 제한되지는 않는다.

우퍼 기능성을 유지하기 위하여, 이중 서라운드는 우퍼를 밀봉된 상태로 유지함녀서, 채널(1820)을 개방된 상태로 유지하기 위하여 이용될 수 있다. 또한, 많은 실시예들에서, 하부 우퍼를 밀봉하기 위하여 이용된 가스켓은 밀봉부를 보강하기 위하여 프레임을 피복하도록 연장될 수 있다. 그러나, 많은 실시예들에서, 셀은 단일 우퍼를 오직 가질 수 있다. 저주파수 음의 본질로 인해, 많은 공간적 오디오 렌더링들은 대향하는 우퍼들을 요구하지 않을 수 있다. 이러한 경우에 있어서, 채널은 하부(또는 상부)가 우퍼를 가지지 않을 수 있는 것으로서 요구되지 않을 수 있다. 또한, 많은 실시예들에서, 추가적인 구조적 엘리먼트들은, 스탠들에 대한 대안적인 연결들을 제공하거나, 실제적으로, 스탠드들 자체일 수 있는 셀의 외부 상에서 사용될 수 있다. 줄기부가 셀의 하부를 통해 연결되지 않는 이러한 경우에 있어서, 기존의 우퍼가 그 대신에 이용될 수 있다. 많은 실시예들에서, 우퍼의 다이어프램(또는 원뿔부)은 중량 비율에 대한 높은 강직도(stiffness)를 가지는 3축 탄소 섬유 위브로부터 구성된다. 그러나, 다이어프램은 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 우퍼를 위하여 적절한 임의의 재료로부터 구성될 수 있다. 또한, 수 많은 실시예들에서, 셀은 유도-기반 전력 시스템들 및 무선 데이터 접속성의 이용에 의해 외부 포트들 없이 완전히 밀봉되도록 될 수 있다. 그러나, 셀은 물리적 포트들을 여전히 제공하면서, 이 기능들을 보유할 수 있다. 줄기부들은 이하에서 더욱 상세하게 논의된다.

섹션 6.5: 줄기부들

위에서 언급된 바와 같이, 수 많은 실시예들에서, 셀들은 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 셀의 본체를 지지하는 것, 제어부들을 배치하기 위한 표면을 제공하는 것, 스탠드들에 대한 연결들을 제공하는 것, 커넥터들의 위치를 제공하는 것, 및/또는 다수의 다른 기능들 중의 임의의 것을 포함하는, 그러나 이것으로 제한되지는 않는 다수의 기능들 중의 임의의 것을 서빙할 수 있는 줄기부들을 포함한다. 실제로, 많은 실시예들에서, 셀들은 제어 디바이스들을 통해 원격으로 동작될 수 있지만, 다양한 실시예들에서, 셀들은 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 버튼들, 토글(toggle)들, 다이어들, 스위치들, 및/또는 임의의 다른 물리적 제어 방법과 같은, 그러나 이것으로 제한되지는 않는, 셀에 연결된 물리적 제어부들을 통해 직접적으로 동작될 수 있다. 수 많은 실시예들에서, 줄기부 상에서 위치된 "제어 링"은 셀을 직접적으로 제어하기 위하여 이용될 수 있다.

지금부터 도 20으로 돌아가면, 줄기부 상의 제어 링은 발명의 실시예에 따라 예시된다. 제어 링들은 제어 디바이스와 유사하게, 제어 신호들을 셀로 전송하기 위하여 조작될 수 있는 링들이다. 제어 링들은 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 회전(예컨대, 트위스트)될 수 있고, 위로 당겨질 수 있고, 아래로 밀어질 수 있고, 밀어질 수 있고(예컨대, 줄기부의 축에 수직으로 "클릭"되거나 눌러짐), 및/또는 임의의 다른 조작일 수 있다. 발명의 실시예에 따라 내부 역학을 도시하는 예시적인 제어 링의 단면이 도 21에서 예시된다. 상이한 기계적 컴포넌트들은 이들이 연관되는 액션들에 대하여 이하에서 논의된다.

수 많은 실시예들에서, 회전하는 것은 제어의 방법으로서 이용될 수 있다. 회전하는 것은 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 다수의 상이한 제어들을 표시할 수 있지만, 회전 움직임은 음량을 변화시키고 및/또는 트랙들을 스킵하기 위하여 이용될 수 있다. 도 22는 발명의 실시예에 따라, 제어 링의 회전을 등록하는 것에 수반된 기계적 구조들을 표시한다. 도 23은 특정한 컴포넌트의 근접 도면이다. 교대하는 감지가능한 표면을 포함하는 디스크는 링에 연결되고, 이러한 링은 회전될 때, 센서에 걸쳐 교대하는 감지가능한 표면을 이동시킨다. 회전은 교대하는 표면을 측정함으로써 센서에 의해 감지될 수 있다. 수 많은 실시예들에서, 교대하는 감지가능한 표면은 자석들로 이루어지고, 센서는 변화하는 자기장을 검출한다. 다양한 실시예들에서, 교대하는 감지가능한 표면은 광학 센서를 통해 감지되는 교대하는 컬러화된 표면이다. 그러나, 임의의 수의 상이한 감지 방식들은 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이 사용될 수 있다. 또한, 수 많은 실시예들에서, 교대하는 감지가능한 표면은 디스크가 아니라 환형부이다.

다양한 실시예들에서, 제어 링을 중앙에서 떨어지게 힘을 가하는 것 또는 "클릭킹(clicking)"은 제어의 방법으로서 이용될 수 있다. 도 24는 발명의 실시예에 따라 제어 링을 "클릭하는 것"을 예시한다. 많은 실시예들에서, 방사상으로 미는 것은 정적 램프(static ramp)가 원뿔형 워셔(또한, "벨빌 워셔(Belleville washer)"로서 지칭됨)와 계합하여, 원뿔형 워셔가 반전되게 하여, 그 다음으로 검출되는 동안에, 레이스 스프링(race spring)들에 의해 저항을 받는다. 몇몇 실시예들에서, 워셔가 반전할 때, 탄소 정제 재료(carbon pill material)의 링이 전극 패턴에 대하여 누르고, 2개의 접촉 링들과 단락한다. 단락은 측정될 수 있고, 클릭으로서 레코딩될 수 있다. 발명의 실시예에 따라 반전된 "클릭된" 포지션에서 원뿔형 워셔 하부에서 연관된 전극들을 갖는 탄소 정제 멤브레인이 도 25에서 예시된다. 그러나, 임의의 수의 상이한 검출 방법들은 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이 이용될 수 있다.

많은 실시예들에서, 줄기부를 따라 수직으로 제어 링을 이동시키는 것은 제어의 방법으로서 이용될 수 있다. 발명의 실시예에 따른 수직 이동을 등록하기 위한 예시적인 기계적 구조는 도 26에서 예시된다. 다수의 실시예들에서, 제어 링의 수직 이동은 광-단속기(opto-interrupter)를 통해 궁극적으로 검출될 수 있는 플래그(flag)를 노출시킴으로써 측정될 수 있다. 많은 실시예들에서, 근접 센서(proximity sensor)는 광-단속기 대신에, 또는 광-단속기와 함께 이용된다. 발명의 실시예에 따른 플래그를 노출시키기 위하여 생성된 공간의 예시도는 도 27에서 예시된다. 다양한 실시예들에서, 이동은 물리적 스위치 또는 클릭에 대한 것과 같은 회로 단락을 통해 기계적으로 검출될 수 있다. 본 기술분야에서의 통상의 기술자는 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 이동을 검출하기 위한 임의의 수의 방식들이 있다는 것을 인식할 수 있다.

일단 제어 링이 수직 이동을 통해 그 안착 포지션으로부터 이동되었으면, 새로운 평면 상에서의 회전은 안착 평면 상에서의 회전과는 상이한 제어로서 이용될 수 있다. 많은 실시예들에서, 제2 평면 상에서의 회전은 "트위스트(twist)"로서 지칭되고, 회전이 설정된 각도를 달성할 때에 검출된다. 많은 실시예들에서, 클러치(clutch)는 제어 링이 제2 평면으로 이동될 때에 계합되고, 별도의 클러치 판에 대하여 이동될 수 있다. 다양한 실시예들에서, 비틀림 스프링(torsion spring)은 통합된 디텐트 스프링(detent spring)이 느낌을 개량하고 및/또는 우발적인 이동을 방지하기 위하여 통행의 종점에서 디텐트를 제공할 수 있는 동안에 모션에 저항하기 위하여 이용될 수 있다. 예를 들어, 120 도(또는 임의의 임의적인 수의 도)의 트위스트는 트랙의 종점에서의 스냅 행해진 스위치들을 이용하여 등록될 수 있다. 발명의 실시예에 따른 클러치 본체 및 클러치 판의 예시적인 구성이 도 28에서 예시된다. 그러나, 임의의 수의 상이한 회전 방법들은 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이 이용될 수 있다. 논의된 기구들에 대한 장점은 이들이 줄기부를 통과할 수 있는 컴포넌트들을 수용하기 위하여 중간에 통로로 구현될 수 있다는 것이다.

줄기부들은 추가로 스탠들 내로 록킹할 수 있다. 수 많은 실시예들에서, 바요넷 기반 록킹 시스템이 이용되고, 여기서, 줄기부 상에서 위치된 바요넷은 연결을 고착하기 위하여 스탠드에서의 실장부로 통행한다. 발명의 실시예에 따른 예시적인 바요넷 록킹 시스템이 도 29에서 예시된다. 예시된 바와 같이, 줄기부는 하나의 측부 상에서 지시되는 몇몇 바요넷들을 가지고, 스탠드는 트랙의 종점에서 바요넷 형상 실장부들을 형성하는 2 개의 표면들에 의해 형성된 트랙을 가진다. 많은 실시예들에서, 바요넷들의 수는 실장부들의 수와 정합하지만, 그러나, 적어도 하나의 바요넷이 실장부와 정합하고, 다른 바요넷들(존재할 경우에)이 연결이 균형을 잃도록 표면들과 충돌하지 않는 한, 연결은 안정적일 수 있다. 줄기부 및 스탠드는 바요넷들이 트랙 내로 하강할 수 있도록 정렬되지 않을 경우에, 스탠드 또는 줄기부는 이들이 트랙 내로 모두 낙하하도록 회전될 수 있다. 다양한 실시예들에서, 트위스트될 때, 바요넷의 지시된 단부는 실장부에 도달하여 실장부로 하강하기 위하여 2 개의 표면들을 밀어서 개방하고, 그 후에, 2 개의 표면들은 트랙을 폐쇄하기 위하여 스프링들을 통해 함께 힘을 받을 수 있다. 이것은 줄기부를 스탠드로 록킹할 수 있고, 정상적인 힘들 하에서 원하지 않는 모션 또는 제거를 방지할 수 있다. 발명의 실시예에 따라 바요넷 기반 록킹 시스템을 이용하여 함께 록킹된 스탠드 및 줄기부의 단면이 도 30에서 예시된다.

스탠드로부터 줄기부를 제거하기 위하여, 2 개의 표면들은 바요넷들이 지탱될수 있고 제거될수 있는 트랙을 형성하기 위하여 다시 분리될 수 있다. 다양한 실시예들에서, 표면들 중의 하나는 위 또는 아래로 밀어질 수 있다. 많은 실시예들에서, 이것은 사용자에 의해 조작가능한 장전된 스프링들의 세트를 이용하여 달성된다. 예시적인 구현예는 도 31a 및 도 31b에서 발명의 실시예에 따라 예시된다. 포지션 쌍안정성(positional bi-stability)은 탭(tab)과 계합된 로크 판 상에서 스프링들을 이용하여 달성될 수 있다. 판을 슬라이딩함으로써, 사용자는 스프링들에 대하여 적절한 힘을 가함으로써 표면들 중의 하나를 이동시킬 수 있다. 도 31a는 록킹된 포지션에서 기구를 도시하는 반면, 도 31b는 언록킹된 포지션에서 기구를 도시한다. 그러나, 본 기술분야에서의 통상의 기술자는 임의의 수의 구성들이 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 바요넷 기반 록킹 시스템들을 위하여 사용될 수 있다는 것을 인식할 수 있다. 실제로, 본 기술분야에서의 통상의 기술자는 임의의 수의 록킹 시스템들이 발명의 범위로부터 이탈하지 않으면서, 줄기부들을 스탠드들에 고정하기 위하여 바요넷 기반 록킹 시스템들로부터 떨어져서 이용될 수 있다는 것을 인식할 수 있다.

위에서 설명된 컴포넌트들을 함께 넣는 것은 기능적인 셀을 산출할 수 있다. 지금부터 도 18q 및 도 18r로 돌아가면, 발명의 실시예에 따라, 도 18q는 완전한 셀의 단면이고, 도 18r은 완전한 셀의 분해도이다. 셀의 특정한 실시예는 도 18a 내지 도 18r에 대하여 예시되지만, 셀들은, 상이한 수들의 구동기들을 가지는 것, 상이한 혼 구성들, 혼들을 사면체 구동기 구성들을 포함하는(그러나 이것으로 제한되지는 않는) 다른 구동기 구성들로 대체하는 것, 줄기부를 가지지 않는 것, 및/또는 상이한 전체적인 폼 팩터(form factor)들을 포함하는, 그러나 이것으로 제한되지는 않는 임의의 수의 상이한 구성들을 취할 수 있다. 많은 실시예들에서, 셀들은 지지 구조들에 의해 지지된다. 발명의 실시예들에 따른 예시적인 지지 구조들의 비-배타적 세트가 도 19a 내지 도 19d에서 예시된다.

섹션 6.6: 셀 회로부

지금부터 도 32로 돌아가면, 발명의 실시예에 따른 셀 회로부를 위한 블록도가 예시된다. 셀(3200)은 프로세싱 회로부(3210)를 포함한다. 프로세싱 회로부는 발명의 다양한 실시예에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 프로세서들, 마이크로프로세서들, 중앙 프로세싱 유닛들, 병렬 프로세싱 유닛들, 그래픽 프로세싱 유닛들, 애플리케이션 특정 집적 회로들, 필드-프로그래밍가능 게이트-어레이들, 및/또는 공간적 오디오 프로세스들을 수행할 수 있는 임의의 다른 프로세싱 회로부와 같은, 그러나 이것으로 제한되지는 않는 임의의 수의 상이한 로직 프로세싱 회로들을 포함할 수 있다.

셀(3200)은 입력/출력(I/O) 인터페이스(3220)를 더 포함할 수 있다. 많은 실시예들에서, I/O 인터페이스는 다양한 상이한 포트들을 포함하고, 다양한 상이한 방법론들을 이용하여 통신할 수 있다. 수 많은 실시예들에서, I/O 인터페이스는 애드 훅 네트워크를 확립할 수 있고 및/또는 다른 무선 네트워킹 액세스 포인트들에 접속할 수 있는 무선 네트워킹 디바이스를 포함한다. 다양한 실시예들에서, I/O 인터페이스는 유선 접속들을 확립하기 위한 물리적 포트들을 가진다. 그러나, I/O 인터페이스들은 디바이스들 사이에서 데이터를 전송할 수 있는 임의의 수의 상이한 유형들의 기술들을 포함할 수 있다. 셀(3200)은 클록 회로부(3230)를 더 포함한다. 많은 실시예들에서, 클록 회로부는 수정 발진기(quartz oscillator)를 포함한다.

셀(3200)은 구동기 신호 회로부(3235)를 더 포함할 수 있다. 구동기 신호 회로부는 구동기가 오디오를 생성하게 하기 위하여 오디오 신호를 구동기에 제공할 수 있는 임의의 회로부이다. 많은 실시예들에서, 각각의 구동기는 구동기 회로부의 그 자신의 부분을 가진다.

셀(3200)은 또한, 메모리(3240)를 포함할 수 있다. 메모리는 휘발성 메모리, 비-휘발성 메모리, 또는 휘발성 및 비-휘발성 메모리의 조합일 수 있다. 메모리(3240)는 공간적 오디오 렌더링 애플리케이션(3242)과 같은(그러나 이것으로 제한되지는 않는) 오디오 플레이어 애플리케이션을 저장할 수 있다. 수 많은 실시예들에서, 공간적 오디오 렌더링 애플리케이션들은 본 명세서에서 설명된 것들과 같은, 그러나 이것으로 제한되지는 않는 다양한 공간적 오디오 렌더링 태스클들을 수행할 것을 프로세싱 회로부에 지시할 수 있다. 수 많은 실시예들에서, 메모리는 맵 데이터(3244)를 더 포함한다. 맵 데이터는 공간 내의 다양한 셀들의 위치, 공간에서의 벽들, 바닥들, 천장들, 및 다른 장벽들, 및/또는 객체들의 위치, 및/또는 가상적 스피커들의 배치를 설명할 수 있다. 많은 실시예들에서, 맵 데이터의 다수의 세트들은 정보의 상이한 피스들을 구분하기 위하여 사용될 수 있다. 다양한 실시예들에서, 메모리(3240)는 또한, 오디오 데이터(3246)를 포함한다. 오디오 데이터는 임의의 수의 상이한 오디오 트랙들 및/또는 채널들을 포함할 수 있는 오디오 컨텐츠의 하나 이상의 피스들을 포함할 수 있다. 다양한 실시예들에서, 오디오 데이터는 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 채널 정보, 컨텐츠 정보, 장르 정보, 트랙 중요도 정보, 및/또는 오디오 트랙을 설명할 수 있는 임의의 다른 메타데이터와 같은, 그러나 이것으로 제한되지는 않는, 오디오 트랙들을 설명하는 메타데이터를 포함할 수 있다. 많은 실시예들에서, 오디오 트랙들은 오디오 포맷에 따라 믹싱된다. 그러나, 오디오 트랙들은 또한, 개별적인 비믹싱된 채널들을 표현할 수 있다.

메모리는 음 객체 포지션 데이터(3248)를 더 포함할 수 있다. 음 객체 포지션 데이터는 공간에서의 음 객체의 희망된 위치를 설명한다. 일부 실시예들에서, 음 객체들은 오디오 데이터를 위하여 이상적인 기존의 스피커 배열에서의 각각의 스피커의 포지션에서 위치된다. 그러나, 음 객체들은 임의의 수의 상이한 오디오 트랙들 및/또는 채널들을 위하여 지정될 수 있고, 임의의 희망된 지점에서 유사하게 위치될 수 있다.

도 33은 공간적 오디오 제어 및 재현을 위한 시스템 및 아키텍처를 위한 개시내용의 다양한 양태들에 따라 구성된 셀을 구현하기 위하여 이용될 수 있는 프로세싱 시스템(3320)을 채용하는 장치(3300)를 위한 하드웨어 구현의 예를 예시한다. 개시내용의 다양한 양태들에 따르면, 셀을 포함하는 임의의 디바이스를 구현하기 위하여 이용될 수 있는 장치(3300)에서의 엘리먼트, 또는 엘리먼트의 임의의 부분, 또는 엘리먼트들의 임의의 조합은 본 명세서에서 설명된 가상적 오디오 및 접근법을 사용할 수 있다.

장치(3300)는 셀을 구현하기 위하여 이용될 수 있다. 장치(3300)는 시스템 인코더(3312), 시스템 디코더(3332), 셀 인코더(3352), 및 셀 디코더(3372)를 포함하는 공간적 오디오 제어 및 재현 모듈들(3310)의 세트를 포함한다. 장치(3300)는 또한, 구동기들(3392)의 세트를 포함할 수 있다. 구동기들(3392)의 세트는 상이한 유형들의 구동기들 중의 하나 이상을 포함하는 구동기들의 하나 이상의 서브세트들을 포함할 수 있다. 구동기들(3392)은 구동기들의 각각을 위한 전기적 오디오 신호들을 생성하는 구동기 회로부(3390)에 의해 구동될 수 있다. 구동기 회로부(3390)는 상이한 유형들의 구동기들의 오디오 신호들을 분할할 수 있는 임의의 대역통과 또는 크로스오버 회로들을 포함할 수 있다.

개시내용의 다양한 양태들에서, 장치(3300)에 의해 예시된 바와 같이, 각각의 셀은 시스템-레벨 기능성 및 관련된 정보의 프로세싱이 셀들의 그룹 상에서 분포될 수 있도록, 시스템 인코더 및 시스템 디코드를 포함할 수 있다. 분포된 아키텍처는 또한, 셀들의 각각 사이에서 전송될 필요가 있는 데이터의 양을 최소화할 수 있다. 다른 구현예들에서, 각각의 셀은 시스템 인코더 또는 시스템 디코더가 아니라, 셀 인코더 및 셀 디코더를 오직 포함할 수 있다. 다양한 실시예들에서, 보조 셀들은 그 셀 인코더 및 셀 디코더를 오직 사용한다.

프로세싱 시스템(3320)은 프로세서(3314)로서 예시된 하나 이상의 프로세서들을 포함할 수 있다. 프로세서들(3314)의 예들은 마이크로프로세서들, 마이크로제어기들, 디지털 신호 프로세서(digital signal processor)(DSP)들, 필드 프로그래밍가능 게이트 어레이(field programmable gate array)(FPGA)들, 프로그래밍가능 로직 디바이스(programmable logic device)(PLD)들, 상태 머신(state machine)들, 게이팅된 로직(gated logic), 개별 하드웨어 회로들, 및/또는 이 개시내용의 전반에 걸쳐 설명된 다양한 기능성을 수행하도록 구성된 다른 적당한 하드웨어를 포함할 수 있다(그러나 이것으로 제한되지는 않음).

장치(3300)는 버스(3322)에 의해 일반적으로 표현된 버스 아키텍처를 가지는 것으로서 구현될 수 있다. 버스(3322)는 장치(3302)의 특정 애플리케이션 및 전체적인 설계 제약들에 따라 임의의 수의 상호접속하는 버스들 및/또는 브릿지들을 포함할 수 있다. 버스(3322)는, (프로세서(3314)에 의해 일반적으로 표현된) 하나 이상의 프로세서들 및 메모리(3318), 및 (컴퓨터-판독가능 매체(3316)에 의해 일반적으로 표현된) 컴퓨터-판독가능 매체들을 포함할 수 있는 프로세싱 시스템(3320)을 포함하는 다양한 회로들을 함께 링크할 수 있다. 버스(3322)는 또한, 본 기술분야에서 널리 공지되고, 그러므로, 더 이상 설명되지 않을 타이밍 소스들, 주변기기들, 전압 레귤레이터들, 및/또는 전력 관리 회로들과 같은 다양한 다른 회로들을 링크할 수 있다. 버스 인터페이스(도시되지 않음)는 버스(3322)와 네트워크 어댑터(3342) 사이의 인터페이스를 제공할 수 있다. 네트워크 어댑터(3342)는 송신 매체 상에서 다양한 다른 장치와 통신하기 위한 수단을 제공한다. 장치의 본질에 따라, 사용자 인터페이스(예컨대, 키패드, 디스플레이, 스피커, 마이크로폰, 조이스틱)가 또한 제공될 수 있다.

프로세서(3314)는 버스(3322)를 관리하는 것과, 컴퓨터-판독가능 매체(3318) 또는 메모리(3318) 상에서 저장될 수 있는 소프트웨어의 실행을 포함하는 일반적인 프로세싱을 담당한다. 소프트웨어는, 프로세서(3314)에 의해 실행될 때, 장치(3300)로 하여금, 임의의 특정한 장치에 대하여 본 명세서에서 설명된 다양한 기능들을 수행하게 할 수 있다. 소프트웨어는 소프트웨어, 펌웨어(firmware), 미들웨어(middleware), 마이크로코드(microcode), 하드웨어 설명 언어(hardware description language), 또는 이와 다른 것으로서 지칭되든지 간에, 명령(instruction)들, 명령 세트(instruction set)들, 코드(code), 코드 세그먼트(code segment)들, 프로그램 코드(program code), 프로그램(program)들, 서브프로그램(subprogram)들, 소프트웨어 모듈(software module)들, 애플리케이션(application)들, 소프트웨어 애플리케이션(software applicatioin)들, 소프트웨어 패키지(software package)들, 루틴(routine)들, 서브루틴(subroutine)들, 오브젝트(object)들, 익스큐터블(executable)들, 실행 스레드(thread of execution)들, 프로시저(procedure)들, 함수들 등을 의미하는 것으로 광범위하게 해석될 것이다.

컴퓨터-판독가능 매체(3316) 또는 메모리(3318)는 또한, 소프트웨어를 실행할 때에 프로세서(3314)에 의해 조작되는 데이터를 저장하기 위하여 이용될 수 있다. 컴퓨터-판독가능 매체(3316)는 컴퓨터-판독가능 저장 매체와 같은 비-일시적 컴퓨터-판독가능 매체일 수 있다. 비-일시적 컴퓨터-판독가능 매체는 예로서, 자기 저장 디바이스(예컨대, 하드 디스크, 플로피 디스크, 자기 스트립 (magnetic strip)), 광학 디스크(예컨대, 컴팩트 디스크 (compact disc)(CD) 또는 디지털 다기능 디스크(digital versatile disc)(DVD)), 스마트 카드, 플래시 메모리 디바이스(예컨대, 카드, 스틱, 또는 키 드라이브), 랜덤 액세스 메모리(random access memory)(RAM), 판독 전용 메모리(read only memory)(ROM), 프로그래밍가능 ROM(programmable ROM)(PROM), 소거가능 PROM(erasable PROM)(EPROM), 전기적 소거가능 PROM(electrically erasable PROM)(EEPROM), 레지스터(register), 분리가능 디스크, 및 컴퓨터에 의해 액세스될 수 있고 판독될 수 있는 소프트웨어 및/또는 명령들을 저장하기 위한 임의의 다른 적당한 매체를 포함한다. 컴퓨터-판독가능 매체는 또한, 예로서, 반송파(carrier wave), 송신 라인, 및 컴퓨터에 의해 액세스될 수 있고 판독될 수 있는 소프트웨어 및/또는 명령들을 송신하기 위한 임의의 다른 적당한 매체를 포함할 수 있다. 장치(3300)에서 상주하는 것으로서 예시되지만, 컴퓨터-판독가능 매체(3316)는 장치(3300)에 외부적으로 상주할 수 있거나, 장치(3300)를 포함하는 다수의 엔티티들에 걸쳐 분포될 수 있다. 컴퓨터-판독가능 매체(3316)는 컴퓨터 프로그램 제품에서 구체화될 수 있다. 예로서, 컴퓨터 프로그램 제품은 패키징 재료들로 된 컴퓨터-판독가능 매체를 포함할 수 있다. 본 기술분야에서의 통상의 기술자들은 특정한 애플리케이션 및 전체적인 시스템에 부과된 전체적인 설계 제약들에 따라 이 개시내용의 전반에 걸쳐 제시된 설명된 기능성을 어떻게 최상으로 구현할 것인지를 인식할 것이다.

도 34는 멀티미디어 입력(3402)을 수신하는 개시내용의 다양한 양태들에 따라 구성된 소스 관리기(3400)를 예시한다. 멀티미디어 입력(3402)은 멀티미디어 컨텐츠(3412), 멀티미디어 메타데이터(3414), 센서 데이터(3416), 및/또는 사전설정된/이력 정보(3418)를 포함할 수 있다. 소스 관리기(3400)는 또한, 멀티미디어 컨텐츠의 소스의 선택에 영향을 주는 것, 및 멀티미디어 컨텐츠의 그 소스의 렌더링을 관리하는 것을 포함하는, 멀티미디어 컨텐츠(3412)의 재생을 직접적으로 관리할 수 있는 사용자 상호작용(3404)을 수신할 수 있다. 본 명세서에서 추가로 논의된 바와 같이, 멀티미디어 컨텐츠(3412), 멀티미디어 메타데이터(3414), 센서 데이터(3416), 및 사전설정된/이력 정보(3418)는 컨텐츠(3448) 및 렌더링 정보(3450)를 생성하고 관리하기 위하여 소스 관리기(3400)에 의해 이용될 수 있다.

멀티미디어 컨텐츠(3412) 및 그에 관련된 멀티미디어 메타데이터(3414)는 "멀티미디어 데이터"로서 본 명세서에서 지칭될 수 있다. 소스 관리기(3400)는 멀티미디어 데이터에서 하나 이상의 소스들을 선택하고 컨텐츠(3448)로서 제공하기 위한 임의의 프리프로세싱을 수행하기 위하여 소스 관리기(3400)에 의해 이용될 수 있는 소스 선택기(3422) 및 소스 프리프로세서(3424)를 포함한다. 컨텐츠(3448)는 본 명세서에서 설명된 바와 같이, 소스 관리기(3400)의 다른 컴포넌트들에 의해 생성된 렌더링 정보(3450)와 함께 멀티미디어 렌더링 엔진에 제공된다.

멀티미디어 컨텐츠(3412) 및 멀티미디어 메타데이터(3414)는, 고선명도 멀티미디어 인터페이스(High-Definition Multimedia Interface)(HDMI), 유니버셜 직렬 버스(Universal Serial Bus)(USB), 아날로그 인터페이스들(포노(phono)/RCA 플러그들, 스테레오/헤드폰/헤드셋 플러그들) 뿐만 아니라, Apple Inc.에 의해 개발된 Airplay 프로토콜 또는 Google에 의해 개발된 Chromecast 프로토콜을 이용하는 스트리밍 소스들과 같은 소스들로부터의 멀티미디어 데이터일 수 있다. 일반적으로, 이 소스들은, 채널-기반 음 정보(예컨대, Dolby Laboratories, Inc.에 의해 개발된 바와 같은 Dolby Digital, Dolby Digital Plus, 및 Dolby Atmos), 개별 음 객체들, 음장들 등을 포함하는 음 정보를 다양한 컨텐츠 및 포맷들로 제공할 수 있다. 다른 멀티미디어 데이터는 공간적 멀티미디어 재현 시스템(도시되지 않음) 내의 접속된 디바이스 또는 또 다른 모듈에 의해 생성된 텍스트-투-스피치(text-to-speech)(TTS) 또는 경보 음들을 포함할 수 있다.

음 관리기(3400)는 열거 결정기(3442), 포지션 관리기(3444), 및 상호작용 관리기(3446)를 더 포함한다. 모두 함께, 이 컴포넌트들은 멀티미디어 렌더링 엔진에 제공되는 렌더링 정보(3450)를 생성하기 위하여 이용될 수 있다. 본 명세서에서 추가로 설명된 바와 같이, 집합적으로 "제어 데이터"로서 지칭될 수 있는 센서 데이터(3416) 및 사전설정된/이력 정보(3418)는 렌더링 정보(3450)를 멀티미디어 렌더링 엔진에 제공함으로써 멀티미디어 컨텐츠(3412)의 재생에 영향을 주기 위하여 이 모듈들에 의해 이용될 수 있다. 개시내용의 하나의 양태에서, 렌더링 정보(3450)는 멀티미디어 렌더링 엔진이 컨텐츠(3448)에서의 멀티미디어를 어떻게 재생해야 하는지에 대한 원격계측 및 제어 정보를 포함한다. 따라서, 렌더링 정보(3450)는 멀티미디어 렌더링 엔진이 소스 관리기(3400)로부터 수신된 컨텐츠(3448)를 어떻게 재현할 것인지를 구체적으로 지시할 수 있다. 개시내용의 다른 양태들에서, 멀티미디어 렌더링 엔진은 컨텐츠(3448)를 어떻게 렌더링할 것인지에 대한 궁극적인 결정을 행할 수 있다.

열거 결정기 모듈(3442)은 컨텐츠(3448) 내에 포함된 멀티미디어 정보에서 소스들의 수를 결정하는 것을 담당한다. 이것은 예를 들어, 스테레오 음 소스로부터의 2 개의 채널들과 같은 단일 소스로부터의 다수의 채널들 뿐만 아니라, 시스템에 의해 생성될 수 있는 것들과 같은 TTS 또는 경보/경고 음들을 포함할 수 있다. 개시내용의 하나의 양태에서, 각각의 컨텐츠 소스에서의 채널들의 수는 열거 정보를 생성하기 위한 소스들의 수의 결정의 일부이다. 열거 정보는 컨텐츠(3448)에서의 소스들의 배열 및 믹싱을 결정할 시에 이용될 수 있다.

포지션 관리기(3444)는 각각의 소스에 대한 재현의 희망된 포지션을 이용하여 컨텐츠(3448)에서 포함된 멀티미디어 정보에서의 소스들의 재현의 배열을 관리할 수 있다. 희망된 포지션은, 플레이되고 있는 컨텐츠의 유형, 사용자 또는 연관된 디바이스의 포지션 정보, 및 이력적/예측된 포지션 정보를 포함하는 다양한 인자들에 기초할 수 있다. 도 35를 참조하면, 포지션 관리기(3544)는 사용자 음성 입력(3512), 객체 증강 현실(A/R) 입력(3514), UI 포지션 입력(3516), 및 특정한 입력 유형(3518)에 대하여 연관된 최후/예측된 포지션 정보로부터의 정보에 기초하여, 멀티미디어 소스들을 렌더링하기 위하여 이용된 포지션 정보를 결정할 수 있다. 포지션 정보는 동시 국소화 및 맵핑(simultaneous localization and mapping)(SLAM) 알고리즘과 같은 접근법들을 이용하여 포지션 결정 프로세스에서 생성될 수 있다. 예를 들어, 룸에서의 재생을 위한 희망된 포지션은 룸에서의 사용자의 위치의 결정에 기초할 수 있다. 이것은 사용자 음성(3512), 또는 대안적으로, 사용자 디바이스(예컨대, 사용자의 스마트폰)의 수신된 신호 강도 표시자(received signal strength indicator)(RSSI)를 검출하는 것을 포함할 수 있다.

재생 위치는 룸에 대한 특정한 렌더링에서의 AR 객체에 대한 정보일 수 있는 객체 A/R(3514)에 기초할 수 있다. 따라서, 음 소스의 재생 포지션은 A/R 객체와 정합할 수 있다. 추가적으로, 시스템은 셀들이 어디에서 시각적 검출을 이용하고 있는지를 결정할 수 있고, 장면 검출 및 렌더링되고 있는 A/R 객체의 뷰의 조합을 통해, 재생 포지션이 이에 따라 조절될 수 있다.

음 소스의 재생 포지션은 UI 포지션 입력(3516)을 통해 사용자 인터페이스와의 상호작용에 기초하여 조절될 수 있다. 예를 들어, 사용자는 음 객체가 재현되어야 하는 룸의 시각적 표현 뿐만 아니라, 음 객체 자체를 포함하는 앱(app)과 상호작용할 수 있다. 사용자는 그 다음으로, 룸에서 음 객체의 재생을 위치결정하기 위하여 음 객체의 시각적 표현을 이동시킬 수 있다.

재생의 위치는 또한, 특정한 음 소스의 최후 재생 위치 또는 음 소스(3518)의 유형과 같은 다른 인자들에 기초할 수 있다. 일반적으로, 재생 위치는 컨텐츠의 유형, 해당 일자의 시간, 및/또는 다른 체험적 정보를 포함하는(그러나 이것으로 제한되지는 않는) 인자들에 기초한 예측에 기초할 수 있다. 예를 들어, 포지션 관리기(3544)는 침대에서 오디오 북의 재생을 개시할 수 있는데, 그 이유는 사용자가 오디오 북을 야간에 재생하고, 이는 사용자가 오디오 북을 플레이하는 전형적인 시간이기 때문이다. 또 다른 예로서, 사용자가 부엌에 있는 동안에 사용자가 타이머가 설정될 것을 요청할 경우에, 타이머 또는 리마인더 경보는 부엌에서 재생될 수 있다.

일반적으로, 포지션 정보 소스들은 능동 또는 수동 소스들로 분류될 수 있다. 능동 소스들은 사용자에 의해 제공된 포지션 정보 소스들을 지칭한다. 이 소스들은 사용자 위치 및 객체 위치를 포함할 수 있다. 대조적으로, 수동 소스들은, 사용자들에 의해 능동적으로 특정되는 것이 아니라, 재생 포지션을 예측하기 위하여 포지션 관리기(3544)에 의해 이용되는 포지션 정보 소스들이다. 이 수동 소스들은 컨텐츠의 유형, 해당 일자의 시간, 해당 주의 일자, 및 체험적 정보에 기초하는 것을 포함할 수 있다. 추가적으로, 우선순위 레벨은 각각의 컨텐츠 소스와 연관될 수 있다. 예를 들어, 경보들 및 경고들은 다른 컨텐츠 소스들보다 더 높은 레벨의 연관된 우선순위를 가질 수 있고, 이것은 이들이 다른 컨테츠 소스들 옆의 포지션에서 플레이될 경우에 이들이 더 높은 음량들로 플레이된다는 것을 의미할 수 있다.

희망된 재생 위치는 멀티미디어가 멀티미디어 렌더링 엔진에 의해 재현될 때에 동적으로 업데이팅될 수 있다. 예를 들어, 음악의 재생은 사용자 또는 사용자에 의해 휴대되고 있는 디바이스의 업데이팅된 포지션 정보를 수신하는 공간적 멀티미디어 재현 시스템에 의해 룸 주위의 사용자를 "따를" 수 있다.

상호작용 관리기(3446)는 서로와의 그 상호작용에 기초하여, 상이한 멀티미디어 소스들의 각각이 어떻게 재현되어야 하는지를 관리할 수 있다. 개시내용의 하나의 양태에 따르면, 음 소스와 같은 멀티미디어 음의 재생은 음량에 있어서 일시정지될 수 있거나, 정지될 수 있거나, 감소될 수 있다(또한, "덕킹됨(ducked)"으로서 지칭됨). 예를 들어, 경보가 노래와 같은 현존하는 멀티미디어 소스의 재생 동안에 렌더링될 필요가 있을 경우에, 상호작용 관리기는 경보가 플레이되고 있는 동안에 노래를 일시정지할 수 있거나 덕킹할 수 있다.

섹션 7: UI/ UX 및 추가적인 기능성

발명의 많은 실시예들에 따른 공간적 오디오 시스템들은 사용자들이 공간적 오디오 렌더링과 상호작용하고 공간적 오디오 렌더링을 제어하는 것을 가능하게 하기 위한 사용자 인터페이스(user interface)(UI)들을 포함한다. 몇몇 실시예들에서, 다양한 UI 양상들은, 버튼들을 통한 셀과의 직접 상호작용, 제스처 기반 UI, 및/또는 음성 활성화된 UI, 및/또는 버튼들을 통한 이동 디바이스 또는 음성 어시스턴트 디바이스와 같은(그러나 이것으로 제한되지는 않는) 추가적인 디바이스와의 상호작용, 제스처 기반 UI, 및/또는 음성 활성화된 UI를 포함하는(그러나 이것으로 제한되지는 않는) 다양한 방식들로, 사용자들이 공간적 오디오 시스템들과 상호작용하는 것을 가능하게 하기 위하여 제공될 수 있다. 수 많은 실시예들에서, UI들은 특정 애플리케이션들의 요건들에 적절한 바와 같이, 재생을 제어하는 것, 오디오를 믹싱하는 것, 공간에서 오디오 객체들을 배치하는 것, 공간적 오디오 시스템들을 구성하는 것, 및/또는 임의의 다른 공간적 오디오 시스템 기능을 포함하지만, 이것으로 제한되지는 않는 임의의 수의 기능들에 대한 액세스를 제공할 수 있다. 이하는 다양한 기능들의 UI들의 몇몇 상이한 버전들을 반영하지만, 본 기술분야에서의 통상의 기술자는 임의의 수의 상이한 UI 레이아웃들 및/또는 지원성(affordance)들은 공간적 오디오 시스템 기능성에 대한 액세스 및 제어를 사용자들에게 제공하기 위하여 이용될 수 있다.

지금부터 도 36으로 돌아가면, 발명의 실시예에 따라 공간에서 음 객체들의 배치를 제어하기 위한 UI가 예시된다. 도시된 바와 같이, 셀들은 물리적 공간과 유사한 가상적 공간에서의 그 근사적인 위치에서 그래픽 방식으로 표현될 수 있다. 수 많은 실시예들에서, 상이한 음 객체들이 생성될 수 있고, 상이한 오디오 소스들과 연관될 수 있다. 채널-기반 오디오 소스의 경우들에 있어서, 별도의 오디오 객체는 (종종 채널들로 믹싱된 베이스를 갖는) 상이한 채널들에 대하여 생성될 수 있다. 각각의 공간적 오디오 객체는 상이한 그래픽 표현(예컨대, 컬러)을 가지는 상이한 UI 객체에 의해 표현될 수 있다. 실제로, 그래픽 표현들은 특정 애플리케이션들의 요건들에 적절한 바와 같이, 형상, 크기, 애니메이션, 기호, 및/또는 임의의 다른 구별 표기를 포함하지만, 이것으로 제한되지는 않는 임의의 수의 방식들로 구별될 수 있다. 음 객체들은 가상적 공간 전반에 걸쳐 이동될 수 있고, 이것은 위에서 설명된 다양한 공간적 오디오 재현 프로세스들 중의 임의의 것과 유사한 프로세스를 이용하여 공간적 오디오 시스템에 의해 렌더링될 때, 물리적 공간에서의 음 객체의 지각된 "이동"으로 귀착될 수 있다. 많은 실시예들에서, 음 객체들을 이동시키는 것은 "클릭-앤-드래그(click-and-drag)" 동작을 통해 달성될 수 있지만, 임의의 수의 상이한 인터페이스 기법들이 이용될 수 있다.

지금부터 도 37a 및 도 37b로 돌아가면, 발명의 실시예에 다라 음 객체들의 배치를 제어하기 위한 제2 UI가 예시된다. 예시된 실시예는 UI가 음 객체들의 분할 및 병합을 가능하게 할 수 있다는 것을 입증한다. 수 많은 실시예들에서, 단일 음 객체는 하나 초과의 오디오 소스 및/또는 오디오 채널을 표현할 수 있다. 다양한 실시예들에서, 각각의 오디오 객체는 예를 들어, "마스터" 레코딩에서와 같이, 하나 이상의 악기들을 표현할 수 있다. 도 37a는 4 개의 상이한 악기들, 이 경우에, 보컬(vocal)들, 기타, 첼로, 및 키보드를 위한 오디오 트랙들을 배정받은 음 객체를 입증한다. 물론, 임의의 수의 상이한 악기들 또는 임의적인 오디오 트랙들은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이 배정될 수 있다. 버튼 및/또는 다른 지원성은 사용자가 음 객체를, 원래의 음 객체에서의 채널들 중의 하나 이상을 각각 반영할 수 있는 다수의 음 객체들로 "분할"하는 것을 가능하게 하기 위하여 제공될 수 있다. 도 37b에서 보여진 바와 같이, 음 객체는 독립적으로 배치될 수 있는 4 개의 별도의 음 객체들로 분할되고, 이러한 음 객체들의 각각은 단일 악기를 표현한다. 버튼 및/또는 인터페이스 객체는 유사한 방식으로 상이한 음 객체들의 병합을 가능하게 하기 위하여 제공될 수 있다.

지금부터 도 38로 돌아가면, 발명의 실시예에 따라 음 객체들의 음량 및 렌더링을 제어하기 위한 UI 엘리먼트가 예시된다. 수 많은 실시예들에서, 각각의 음 객체는 음량 제어와 연관될 수 있다. 예시된 실시예에서는, 음량 슬라이더들이 제공된다. 그러나, 다수의 상이한 음량 제어 방식들 중의 임의의 것은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이 이용될 수 있다. 몇몇 실시예들에서, 단일 음 제어는 다수의 음 객체들과 연관될 수 있다. 음 객체들을 독립적으로 제어하는 것은 개별적인 스피커들을 독립적으로 제어하는 것과 상이하다는 것이 용이하게 인식되어야 한다. 단일 음 객체의 음량을 제어하는 것은 위에서 설명된 다양한 네스팅된 아키텍처들과 같은(그러나 이것으로 제한되지는 않는) 공간적 오디오 재현 프로세스에 의해 결정된 방식으로 오디오가 다수의 스피커들에 의해 렌더링되는 방식에 영향을 줄 수 있다. 가상적 스피커들이 공간적 오디오 재현 프로세스 내에서 사용되는 실시예들에서, 버튼들은 셀들에 대한 가상적 스피커들의 수 및/또는 배치에 영향을 주는 다양한 사전설정된 가상적 스피커 구성들 사이에서 변화시키기 위하여 제공될 수 있다. 많은 실시예들에서, 플레이, 일시정지, 스킵, 탐색, 및/또는 임의의 다른 음 제어와 같은, 그러나 이것으로 제한되지는 않는 오디오 제어 버튼들 및/또는 지원성들은 UI의 일부로서 제공될 수 있다.

공간적 오디오 객체들은 증각 현실 방식으로 추가로 관측될 수 있다. 수 많은 실시예들에서, 제어 디바이스들은 증강 현실 능력들을 가질 수 있고, 음 객체들은 시각화될 수 있다. 지금부터 도 39로 돌아가면, 발명의 실시예에 따라 앨범 표지미술(album art)과 함께 플레이되고 있는 오디오 트랙을 표현하는 음 객체가 예시된다. 그러나, 트랙은 발명의 다양한 실시예들에 따른 특정 애플리케이션들의 요건들에 적절한 바와 같이, 표지미술을 갖지 않는 것들, 상이한 형상들을 갖는 것들, 더 추상적인 것들, 및/또는 임의의 다른 그래픽 표현을 포함하는 임의의 수의 상이한 방식들로 표현될 수 있다. 예를 들어, 도 40은 발명의 실시예에 따라 오디오 객체들의 추상적인 표현들의 3 개의 상이한 시각화들을 예시한다. 본 기술분야에서의 통상의 기술자가 인식할 수 있는 바와 같이, 발명의 다양한 실시예들에 따른 공간적 오디오 시스템들에 의한 공간적 오디오의 렌더링과 조합하여 구현될 수 있는 증강 및/또는 가상 현실 환경에서 시각적으로 렌더링된 음 객체들의 임의의 수의 상이한 애플리케이션들이 있다.

수 많은 실시예들에서, 제어 디바이스들은 공간적 오디오 시스템들의 구성을 보조하기 위하여 이용될 수 있다. 많은 실시예들에서, 공간적 오디오 시스템들은 공간을 맵핑하는 것을 보조하기 위하여 이용될 수 있다. 지금부터 도 41로 돌아가면, 발명의 실시예에 따른 구성 동작을 위한 예시적인 UI가 예시된다. 수 많은 실시예들에서, 제어 디바이스들은 룸을 맵핑하는 것을 보조할 수 있는 깊이-감지 능력들을 가진다. 다양한 실시예들에서, 제어 디바이스의 카메라 시스템은 공간에서 개별적인 셀들을 식별하기 위하여 이용될 수 있다. 그러나, 위에서 언급된 바와 같이, 제어 디바이스가 통합된 카메라를 가지는 것은 요건이 아니다.

수 많은 실시예들에서, 공간적 오디오 시스템들은 음악 생성 및/또는 믹싱을 위하여 이용될 수 있다. 공간적 오디오 시스템들은 디지털 및/또는 물리적 음악 악기들에 접속될 수 있고, 악기의 출력은 음 객체와 연관될 수 있다. 지금부터 도 42로 돌아가면, 발명의 실시예에 따른 통합된 디지털 악기가 예시된다. 예시된 예에서는, 드럼 세트가 통합되었다. 다양한 실시예들에서, 드럼 세트에서의 상이한 드럼들은 상이한 음 객체들과 연관될 수 있다. 수 많은 실시예들에서, 드럼 세트에서의 다수의 드럼들은 동일한 음 객체와 연관될 수 있다. 실제로, 하나 초과의 악기는 통합될 수 있고, 임의의 수의 상이한 임의적인 악기들은 통합이 가능하다.

상이한 음 객체들이 위에서 설명된 바와 같이 시각화될 수 있지만, 많은 실시예들에서는, 재생되고 있는 것의 전체론적 시각화를 가지는 것이 바람직하다. 수 많은 실시예들에서, 오디오 스트림들은 스트림에서의 임의의 주어진 시간 지점에서 존재하는 주파수들을 표현하기 위한 그러한 방식으로 오디오 신호를 프로세싱함으로써 시각화될 수 있다. 예를 들어, 오디오는 퓨리에 변환(Fourier transform)을 이용하여, 또는 멜 스펙트로그램(Mel Spectrogram)을 생성함으로써 프로세싱될 수 있다. 많은 실시예들에서, 주 셀들 및/또는 수퍼 주 셀들은 이들이 담당하고 있는 오디오 스트림을 프로세싱하는 것, 및 결과들을 시각화를 제시하는 디바이스로 전달하는 것을 담당한다. 각각의 주어진 시간 지점에서의 각각의 주파수 및 그 개개의 진폭들을 설명하는 결과적인 프로세싱된 오디오는 나선으로 둘러싸일 수 있고, 여기서, 하나의 피치(pitch)에 의해 오프셋된 나선의 각각의 턴 상의 동일한 지점은 순차적인 옥타브들에서의 동일한 음표(A, B, C, D, E, F, G 등)를 표현한다. 이러한 방식으로, 위로부터(즉, 나선의 축에 수직으로) 관측될 때, 각각의 옥타브에서의 일부 음표는 일렬로 세워진다. 발명의 실시예에 따라 측면으로부터 그리고 위로부터 관측될 때에 설명된 바와 같은 나선은 각각 도 58a 및 도 58b에서 예시된다. 특정한 음표가 주어진 옥타브에서 플레이될 때, 나선 구조는 음표를 시각화하기 위하여 진폭에 기초하여 워프될 수 있다. 수 많은 실시예들에서, 워프된 섹션은 그 후방에 투명한 필드(field)를 남길 수 있고, 여기서, 나선의 상이한 턴들은 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 상이한 컬러들, 투명도의 레벨, 및/또는 임의의 다른 시각적 표시자에 의해 표현된다. 이러한 방식으로, 상이한 옥타브들에서의 다수의 음표들은 동시에 시각화될 수 있다. 발명의 실시예에 따른 나선을 이용한 시각화의 예는 도 59에서 예시된다.

또한, 하나 초과의 나선이 생성될 수 있다. 예를 들어, 노래를 플레이하는 밴드에서의 각각의 악기는 그 자신의 시각화 나선을 가질 수 있다. 발명의 실시예에 따른 밴드에서의 다수의 악기들을 위한 예시적인 시각화 나선들은 도 60에서 예시된다. 그러나, 나선은 사용자의 희망들에 따라 임의의 수의 시각화들을 위하여 이용될 수 있다. 또한, 시각화들은 나선 기반이어야 하는 것은 아니다.

나선 기반 시각화들은 사용될 수 있는 시각화들의 유일한 유형들이 아니다. 다양한 실시예들에서, 시각화들은 음 객체들에 부착될 수 있고, 실세계를 반영하는 시각화된 공간 내에서 공간적으로 표현될 수 있다. 예를 들어, "음 공간"은 셀들을 포함하는 임의의 물리적 공간의 대략적인 표현으로서 시각화될 수 있다. 음 객체들은 음 공간 시각화에서 배치될 수 있고, 음은 이에 대응하여 셀들에 의해 렌더링될 것이다. 이것은 예를 들어, 도시 또는 밀림으로 제한되는 것이 아니라, 단지 도시 또는 밀림과 같은 주변 음경(soundscape)을 생성하기 위하여 이용될 수 있다. 주변 밀림은, 궁극적으로, 음경에서 렌더링될 수 있는, 밀림의 바닥 상의 음 공간에서의 원수이들, 또는 나무들의 덮개들에서의 새들에 대응하는 음 공간에서 객체들을 배치함으로써 개량될 수 있다. 많은 실시예들에서, AI는 그 자연적인 이동들을 안내하기 위하여 배치된 객체들에 부착될 수 있다. 예를 들어, 새는 음 공간의 하나의 영역에서 능동적인 벌레들을 사냥할 수 있거나, 새 씨앗은 에어리어로부터 새들을 유인하기 위하여 배치될 수 있다. 임의의 수의 주변 환경들 및 객체들은 음 공간들을 이용하여 생성될 수 있다. 실제로, 음 공간들은 사실상 주변적이야 하는 것은 아니다. 예를 들어, 안내를 위한 악기들 또는 기능적인 방향성 경고들 또는 비콘(beacon)들은 음 공간 내에서 배치될 수 있고, 발명의 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 가팅, 오디어 생성, 주택 안전성, 및/또는 임의의 다른 애플리케이션을 위하여 음경에서 렌더링될 수 있다. 용이하게 인식될 수 있는 바와 같이, 음 공간들은 창작성을 위한 큰 기회들을 제공하고, 어떤 방식으로든지 본 명세서에서 인용된 예들로 제한되지 않지만, 음 공간의 설계자들의 상상 및 창작성에 의해 주로 유일하게 제한된다.

많은 실시예들에서, 재생 및/또는 제어 디바이스는 비디오 컨텐츠를 재생하기 위하여 이용될 수 있다. 수 많은 실시예들에서, 비디오 컨텐츠는 공간적 오디오와 동반된다. 많은 경우들에 있어서, 재생 및/또는 제어 디바이스, 예컨대, 벽 상에서 또는 그렇지 않을 경우에 정적 위치에서 장착된 텔레비전은 정적일 수 있다. 위에서 설명된 바와 같이, 공간적 오디오 시스템들은 재생 및/또는 제어 디바이스에 대하여 공간적 오디오를 렌더링할 수 있다. 그러나, 다양한 실시예들에서, 재생 및/또는 제어 디바이스들은 이동식이고, 특정 애플리케이션들의 요건들에 적절한 바와 같이, 태블릿 컴퓨터들, 셀 전화들, 휴대용 게임 콘솔들, 헤드 장착형 디바이스들, 및/또는 임의의 다른 휴대용 재생 및/또는 제어 디바이스들을 포함할 수 있다(그러나 이것으로 제한되지는 않음). 많은 실시예들에서, 공간적 오디오 시스템들은 휴대용 재생 및/또는 제어 디바이스의 이동 및/또는 배향에 대하여 공간적 오디오를 적응적으로 렌더링할 수 있다. 재생 및/또는 제어 디바이스가 배향 및/또는 이동을 측정할 수 있는 자이로스코프(gyroscope)들, 가속도계(accelerometer)들, 및/또는 임의의 다른 위치결정 시스템과 같은, 그러나 이것으로 제한되지는 않는 관성 측정 유닛을 포함할 때, 배향 및/또는 이동 정보는 공간적 오디오의 렌더링을 수정하기 위하여 디바이스를 추적하기 위해 이용될 수 있다. 공간적 오디오 시스템들은 자이로스코프들, 가속도계들, 및/또는 다른 통합된 위치결정 시스템들을 이용하는 것으로 한정되지 않는다는 것이 인식되어야 한다. 많은 실시예들에서, 위치결정 시스템들은 발명의 다양한 실시예들의 특정 애플리케이션들의 요건들에 적절한 바와 같이, 머신 시각 기반 추적 시스템들, 및/또는 임의의 다른 추적 시스템을 더 포함할 수 있다. 일부 실시예들에서, 사용자의 위치는 공간적 오디오의 상대적인 렌더링을 세분화하기 위하여 추적될 수 있고 이용될 수 있다.

위에서 언급된 바와 같이, 발명의 어떤 실시예들에 따른 공간적 오디오 시스템들은 오디오 객체들의 배치를 가능하게 하는 이동 디바이스들 및/또는 다른 컴퓨팅 디바이스들을 통해 사용자 인터페이스들을 제공한다. 발명의 다수의 실시예들에서, 사용자 인터페이스는 조정된 방식으로 모든 오디오 객체들 또는 오디오 객체들의 서브세트의 조정된 이동을 가능하게 할 수 있다(원점 주위의 회전은 파 피닝(wave pinning)으로서 종종 지칭됨). 지금부터 도 43으로 돌아가면, 발명의 실시예에 따른 파 피닝을 가능하게 하는 지원성들을 포함하는 이동 디바이스에 의해 제공된 UI가 예시된다. 용이하게 인식될 수 있는 바와 같이, 발명의 다양한 실시예들에 따른 공간적 오디오 시스템들은 또한, 다수의 공간적 오디오 객체들의 조정된 병진 및/또는 다른 형태들의 이동을 지원하고 이에 따라, UI들을 제공할 수 있는 방식으로 공간적 오디오 렌더링을 지원할 수 있다.

UI를 통해 다수의 오디오 객체들의 배치를 가능하게 하는 것에 추가적으로, 발명의 많은 실시예들에 따른 공간적 오디오 시스템들은 또한, 하나 이상의 사용자들 및/또는 사용자 디바이스들의 추적된 이동에 기초하여 다수의 공간적 오디오 객체들의 배치를 가능하게 할 수 있다. 지금부터 도 44로 돌아가면, 3 개의 셀들의 위치들에 대한 공간적 오디오 객체들?? 이동이 사용자 디바이스에 의해 행해진 관성 측정들을 이용하여 추적되는 일련의 UI 화면들이 예시된다. 위에서 언급된 바와 같이, 다양한 추적 기법들 중의 임의의 것은 사용자 및/또는 사용자 디바이스의 이동들과 함께 또는 이에 응답하여 오디오 객체들이 이동하게 하기 위하여 공간적 오디오 시스템에 제공될 수 있는 원격계측 데이터를 생성하기 위하여 사용될 수 있다.

다수의 상이한 UI들이 위에서 설명되지만, 이 UI들은 오직 예시적인 목적들을 위하여 포함되고, 어떤 방식으로든지 잠재적인 UI 구성들의 전체 범위를 구성하지는 않는다. 실제로, UI 양상들의 대규모 어레이는 발명의 다양한 실시예들에 따라 구성된 공간적 오디오 시스템들의 기능성을 제어하기 위하여 사용될 수 있다. 공간적 오디오 시스템들에 의해 제공된 특정 UI들은 전형적으로, 공간적 오디오 시스템에 의해 지원된 사용자 입력 양상들, 및/또는 공간적 오디오 시스템과 통신하는 사용자 디바이스들, 및/또는 공간적 오디오 재현을 제어하기 위하여 공간적 오디오 시스템에 의해 제공된 능력들에 종속될 것이다.

공간적 오디오를 렌더링하기 위한 특정 시스템들 및 방법들이 위에서 논의되지만, 많은 상이한 제조 방법들은 발명의 많은 상이한 실시예들에 따라 구현될 수 있다. 그러므로, 본 발명의 범위 및 사상으로부터 이탈하지 않으면서, 본 발명은 구체적으로 설명된 것 이외의 방식들로 실시될 수 있다는 것이 이해되어야 한다. 따라서, 본 발명의 실시예들은 모든 면들에서 한정적인 것이 아니라 예시적인 것으로서 고려되어야 한다. 따라서, 발명의 범위는 예시된 실시예들에 의한 것이 아니라, 첨부된 청구항들 및 그 등가물들에 의해 결정되어야 한다.

Claims (101)

1. 공간적 오디오 시스템으로서,
   주 네트워크 접속된 스피커를 포함하고, 상기 주 네트워크 접속된 스피커는,
   구동기들의 복수의 세트들 - 구동기들의 각각의 세트는 상이한 방향으로 배향됨 -;
   프로세서 시스템;
   오디오 플레이어 애플리케이션(audio player application)을 포함하는 메모리를 포함하고,
   상기 오디오 플레이어 애플리케이션은:
   상기 네트워크 인터페이스를 통해 오디오 소스(audio source)로부터 오디오 소스 스트림을 획득하고;
   상기 오디오 소스를 공간적으로 인코딩하고; 그리고
   상기 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 상기 공간적으로 인코딩된 오디오 소스를 디코딩하도록 - 상기 구동기 입력들은 상기 구동기들로 하여금 방향성 오디오를 생성하게 함 - 상기 프로세서 시스템을 구성하는, 공간적 오디오 시스템.
2. 제1항에 있어서,
   상기 주 네트워크 접속된 스피커는 구동기들의 3 개의 세트들을 포함하고, 구동기들의 각각의 세트는 미드-주파수(mid-frequency) 구동기 및 트위터(tweeter)를 포함하는, 공간적 오디오 시스템.
3. 제2항에 있어서,
   상기 주 네트워크 접속된 스피커는 원형 배열인 3 개의 혼(horn)들을 더 포함하고, 각각의 혼은 미드-주파수 구동기 및 트위터의 세트에 의해 피드되는, 공간적 오디오 시스템.
4. 제3항에 있어서,
   상기 주 네트워크 접속된 스피커는 상기 3 개의 혼들의 원형 배열에 수직으로 장착된 한 쌍의 대향하는 서브-우퍼(sub-woofer) 구동기들을 더 포함하는, 공간적 오디오 시스템.
5. 제3항에 있어서,
   상기 구동기 입력들은 상기 구동기들로 하여금, 모달 빔포밍(modal beamforming)을 이용하여 방향성 오디오를 생성하게 하는, 공간적 오디오 시스템.
6. 제1항에 있어서,
   상기 오디오 소스는 채널-기반 오디오 소스이고; 그리고
   상기 오디오 플레이어 애플리케이션은,
   상기 채널-기반 오디오 소스에 기초하여 복수의 공간적 오디오 객체들을 생성함으로써 - 각각의 공간적 오디오 객체는 위치를 배정받고 연관된 오디오 신호를 가짐 -; 그리고
   상기 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 인코딩함으로써,
   상기 채널-기반 오디오 소스를 공간적으로 인코딩하도록 상기 프로세서 시스템을 구성하는, 공간적 오디오 시스템.
7. 제6항에 있어서,
   상기 오디오 플레이어 애플리케이션은,
   복수의 가상적 스피커들을 위한 오디오 입력들을 획득하기 위하여 상기 복수의 공간적 오디오 객체들의 상기 공간적 오디오 표현을 디코딩함으로써; 그리고
   상기 구동기들의 복수의 세트들에서의 상기 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 상기 복수의 가상적 스피커들 중의 적어도 하나를 위한 상기 오디오 입력을 디코딩함으로써,
   상기 구동기들의 복수의 세트들에서의 상기 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 상기 공간적으로 인코딩된 오디오 소스를 디코딩하도록 상기 프로세서 시스템을 구성하는, 공간적 오디오 시스템.
8. 제7항에 있어서,
   상기 오디오 플레이어 애플리케이션은,
   상기 주 네트워크 접속된 스피커의 위치에 기초하여 상기 복수의 가상적 스피커들 중의 적어도 하나의 공간적 오디오 표현을 인코딩함으로써; 그리고
   상기 구동기들의 복수의 세트들에서의 상기 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 상기 복수의 가상적 스피커들 중의 적어도 하나의 상기 오디오 입력 표현을 디코딩함으로써,
   상기 구동기들의 복수의 세트들에서의 상기 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 상기 복수의 가상적 스피커들 중의 적어도 하나를 위한 오디오 입력을 디코딩하도록 상기 프로세서 시스템을 구성하는, 공간적 오디오 시스템.
9. 제7항에 있어서,
   상기 오디오 플레이어 애플리케이션은, 구동기들의 각각의 세트를 위한 필터를 이용하여 상기 구동기들의 복수의 세트들에서의 상기 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 상기 복수의 가상적 스피커들 중의 적어도 하나를 위한 오디오 입력을 디코딩하도록 상기 프로세서 시스템을 구성하는, 공간적 오디오 시스템.
10. 제7항에 있어서,
    상기 오디오 플레이어 애플리케이션은,
    상기 복수의 가상적 스피커들을 위한 직접 오디오 입력(direct audio input)들의 세트를 획득하기 위하여 상기 복수의 공간적 오디오 객체들의 상기 공간적 오디오 표현을 디코딩함으로써; 그리고
    상기 복수의 가상적 스피커들을 위한 확산 오디오 입력(diffuse audio input)들의 세트를 획득하기 위하여 상기 복수의 공간적 오디오 객체들의 상기 공간적 오디오 표현을 디코딩함으로써,
    상기 복수의 가상적 스피커들을 위한 오디오 입력들을 획득하기 위하여 상기 복수의 공간적 오디오 객체들의 상기 공간적 오디오 표현을 디코딩하도록 상기 프로세서 시스템을 구성하는, 공간적 오디오 시스템.
11. 제7항에 있어서,
    상기 복수의 가상적 스피커들은 링으로 배열된 적어도 8 개의 가상적 스피커들을 포함하는, 공간적 오디오 시스템.
12. 제6항에 있어서,
    상기 오디오 플레이어 애플리케이션은, 상기 오디오 소스를,
    1차 앰비소닉 표현(first order ambisonic representation);
    더 높은 차수의 앰비소닉 표현;
    벡터 기반 진폭 패닝(Vector Based Amplitude Panning)(VBAP) 표현;
    거리 기반 진폭 패닝(Distance Based Amplitude Panning)(DBAP) 표현; 및
    K 최근접 이웃들 패닝(K Nearest Neighbors Panning) 표현
    으로 구성되는 그룹으로부터 선택된 적어도 하나의 공간적 표현으로 공간적으로 인코딩하도록 상기 프로세서 시스템을 구성하는, 공간적 오디오 시스템.
13. 제6항에 있어서,
    상기 복수의 공간적 오디오 객체들의 각각은 채널-기반 오디오 소스의 채널에 대응하는, 공간적 오디오 시스템.
14. 제6항에 있어서,
    상기 채널-기반 오디오 소스의 채널들의 수보다 더 큰 공간적 오디오 객체들의 수는 상기 채널-기반 오디오 소스의 업믹싱(upmixing)을 이용하여 획득되는, 공간적 오디오 시스템.
15. 제14항에 있어서,
    상기 복수의 공간적 오디오 객체들은 직접 공간적 오디오 객체들 및 확산 공간적 오디오 객체들을 포함하는, 공간적 오디오 시스템.
16. 제6항에 있어서,
    상기 오디오 플레이어 애플리케이션은 상기 채널-기반 오디오 소스의 채널들의 수에 의해 결정된 레이아웃(layout)에 기초하여 미리 결정된 위치들을 상기 복수의 공간적 오디오 객체들에 배정하도록 상기 프로세서 시스템을 구성하는, 공간적 오디오 시스템.
17. 제6항에 있어서,
    상기 오디오 플레이어 애플리케이션은 사용자 입력에 기초하여 위치를 공간적 오디오 객체에 배정하도록 상기 프로세서 시스템을 구성하는, 공간적 오디오 시스템.
18. 제6항에 있어서,
    상기 오디오 플레이어 애플리케이션은 프로그램 방식으로 시간 경과에 따라 변화하는 위치를 공간적 오디오 객체에 배정하도록 상기 프로세서 시스템을 구성하는, 공간적 오디오 시스템.
19. 제1항에 있어서,
    적어도 하나의 보조 네트워크 접속된 스피커를 더 포함하고,
    상기 주 네트워크 접속된 스피커의 상기 오디오 플레이어 애플리케이션은,
    상기 주 및 적어도 하나의 보조 네트워크 접속된 스피커의 레이아웃에 기초하여 상기 적어도 하나의 보조 네트워크 접속된 스피커들의 각각을 위한 오디오 스트림들의 세트를 획득하기 위하여 상기 공간적으로 인코딩된 오디오 소스를 디코딩하고; 그리고
    상기 적어도 하나의 보조 네트워크 접속된 스피커의 각각을 위한 상기 오디오 스트림들의 세트를 상기 적어도 하나의 보조 네트워크 접속된 스피커의 각각으로 송신하도록 상기 프로세서 시스템을 추가로 구성하고; 그리고
    상기 적어도 하나의 보조 네트워크 접속된 스피커의 각각은,
    구동기들의 복수의 세트들 - 구동기들의 각각의 세트는 상이한 방향으로 배향됨 -;
    프로세서 시스템; 및
    보조 오디오 플레이어 애플리케이션을 포함하는 메모리를 포함하고;
    상기 보조 오디오 플레이어 애플리케이션은,
    상기 주 네트워크 접속된 스피커로부터 오디오 스트림들의 세트를 수신하고 - 상기 오디오 스트림들의 세트는 상기 구동기들의 복수의 세트들의 각각을 위한 별도의 오디오 스트림을 포함함 -; 그리고
    상기 수신된 오디오 스트림들의 세트에 기초하여 상기 구동기들의 복수의 세트들에서의 상기 개별적인 구동기들을 위한 구동기 입력들을 획득하도록 - 상기 구동기 입력들은 상기 구동기들로 하여금 방향성 오디오를 생성하게 함 - 상기 프로세서 시스템을 구성하는, 공간적 오디오 시스템.
20. 제19항에 있어서,
    상기 주 네트워크 접속된 스피커 및 상기 적어도 하나의 보조 네트워크 접속된 스피커의 각각은 적어도 하나의 마이크로폰(microphone)을 포함하고; 그리고
    상기 주 네트워크 접속된 스피커의 상기 오디오 플레이어 애플리케이션은 오디오 레인징(audio ranging)을 이용하여 상기 주 및 적어도 하나의 보조 네트워크 접속된 스피커의 레이아웃을 결정하도록 프로세서 시스템을 추가로 구성하는, 공간적 오디오 시스템.
21. 제18항에 있어서,
    상기 주 네트워크 접속된 스피커 및 상기 적어도 하나의 보조 스피커는,
    수평 라인으로 배열된 2 개의 네트워크 접속된 스피커들;
    수평 평면 상에서 삼각형으로서 배열된 3 개의 네트워크 접속된 스피커들; 및
    상기 수평 평면 위에 위치결정된 제4 네트워크 접속된 스피커와 함께, 수평 평면 상에서 삼각형으로서 배열된 3 개의 네트워크 접속된 스피커들 중의 적어도 하나를 포함하는, 공간적 오디오 시스템.
22. 네트워크 접속된 스피커로서,
    원형 배열인 3 개의 혼(horn)들 - 각각의 혼은 미드-주파수 구동기 및 트위터의 세트에 의해 피드됨 -;
    상기 3 개의 혼들의 원형 배열에 수직으로 장착된 적어도 하나의 서브-우퍼 구동기;
    프로세서 시스템;
    오디오 플레이어 애플리케이션을 포함하는 메모리;
    네트워크 인터페이스를 포함하고,
    상기 오디오 플레이어 애플리케이션은 상기 네트워크 인터페이스를 통해 오디오 소스로부터 오디오 소스 스트림을 획득하고 구동기 입력들을 생성하도록 상기 프로세서 시스템을 구성하는, 네트워크 접속된 스피커.
23. 제22항에 있어서,
    상기 적어도 하나의 서브-우퍼 구동기는 한 쌍의 대향하는 서브-우퍼 구동기들을 포함하는, 네트워크 접속된 스피커.
24. 제23항에 있어서,
    상기 서브-우퍼 구동기들은 각각 3축 탄소 섬유 위버(triaxial carbon fiber weaver)를 포함하는 재료로부터 구성된 다이어프램(diaphragm)을 포함하는, 네트워크 접속된 스피커.
25. 제22항에 있어서,
    상기 구동기 입력들은 상기 구동기들로 하여금, 모달 빔포밍을 이용하여 방향성 오디오를 생성하게 하는, 네트워크 접속된 스피커.
26. 오디오 소스로부터 공간적 오디오를 렌더링하는 방법으로서,
    오디오 플레이어 애플리케이션에 의해 구성된 프로세서에서 오디오 소스로부터 오디오 소스 스트림을 수신하는 단계;
    상기 오디오 플레이어 애플리케이션에 의해 구성된 프로세서를 이용하여 상기 오디오 소스를 공간적으로 인코딩하는 단계; 및
    상기 오디오 플레이어 애플리케이션에 의해 구성된 프로세서를 적어도 이용하여 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 공간적으로 인코딩된 오디오 소스를 디코딩하는 단계 - 상기 구동기들의 복수의 세트들의 각각은 상이한 방향으로 배향되고, 상기 구동기 입력들은 상기 구동기들로 하여금 방향성 오디오를 생성하게 함 -; 및
    상기 구동기들의 복수의 세트들을 이용하여 공간적 오디오를 렌더링하는 단계를 포함하는, 방법.
27. 제26항에 있어서,
    상기 구동기들의 복수의 세트들의 몇몇은 상기 오디오 플레이어 애플리케이션에 의해 구성된 프로세서를 포함하는 주 네트워크 접속된 재생 디바이스 내에 포함되고;
    상기 구동기들의 복수의 세트들의 나머지는 적어도 하나의 보조 네트워크 접속된 재생 디바이스 내에 포함되고; 그리고
    상기 적어도 하나의 보조 네트워크 접속된 재생 디바이스의 각각은 상기 주 접속된 재생 디바이스와 네트워크 통신하는, 방법.
28. 제27항에 있어서,
    구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 상기 공간적으로 인코딩된 오디오 소스를 디코딩하는 단계는,
    상기 오디오 플레이어 애플리케이션에 의해 구성된 프로세서를 이용하여 상기 주 네트워크 접속된 재생 디바이스의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 상기 공간적으로 인코딩된 오디오 소스를 디코딩하는 단계;
    상기 오디오 플레이어 애플리케이션에 의해 구성된 프로세서를 이용하여 상기 적어도 하나의 보조 네트워크 접속된 재생 디바이스 각각의 상기 구동기들의 세트들의 각각을 위한 오디오 스트림들을 획득하기 위하여 상기 공간적으로 인코딩된 오디오 소스를 디코딩하는 단계;
    상기 적어도 하나의 보조 네트워크 접속된 스피커의 각각을 위한 오디오 스트림들의 세트를 상기 적어도 하나의 보조 네트워크 접속된 스피커의 각각으로 송신하는 단계; 및
    상기 적어도 하나의 보조 네트워크 접속된 스피커의 각각이 수신된 오디오 스트림들의 세트에 기초하여 그 개별적인 구동기들을 위한 구동기 입력들을 생성하는 단계를 더 포함하는, 방법.
29. 제27항에 있어서,
    상기 오디오 소스는 채널-기반 오디오 소스이고; 그리고
    상기 오디오 소스를 공간적으로 인코딩하는 단계는,
    상기 채널-기반 오디오 소스에 기초하여 복수의 공간적 오디오 객체들을 생성하는 단계 - 각각의 공간적 오디오 객체는 위치를 배정받고 연관된 오디오 신호를 가짐 -; 및
    상기 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 인코딩하는 단계를 더 포함하는, 방법.
30. 제29항에 있어서,
    구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 상기 공간적으로 인코딩된 오디오 소스를 디코딩하는 단계는,
    복수의 가상적 스피커들을 위한 오디오 입력들을 획득하기 위하여 상기 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 디코딩하는 단계; 및
    상기 구동기들의 복수의 세트들에서의 상기 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 상기 복수의 가상적 스피커들 중의 적어도 하나를 위한 오디오 입력을 디코딩하는 단계를 더 포함하는, 방법.
31. 제29항에 있어서,
    상기 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 상기 복수의 가상적 스피커들 중의 적어도 하나를 위한 오디오 입력을 디코딩하는 단계는,
    상기 주 네트워크 접속된 스피커의 위치에 기초하여 상기 복수의 가상적 스피커들 중의 적어도 하나의 공간적 오디오 표현을 인코딩하는 단계; 및
    상기 구동기들의 복수의 세트들에서의 상기 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 상기 복수의 가상적 스피커들 중의 적어도 하나의 오디오 입력 표현을 디코딩하는 단계를 더 포함하는, 방법.
32. 제29항에 있어서,
    상기 구동기들의 복수의 세트들에서의 개별적인 구동기들을 위한 구동기 입력들을 획득하기 위하여 상기 복수의 가상적 스피커들의 오디오 입력들을 디코딩하는 단계는 구동기들의 각각의 세트를 위한 필터를 이용하는 단계를 더 포함하는, 방법.
33. 제29항에 있어서,
    복수의 가상적 스피커들을 위한 오디오 입력들을 획득하기 위하여 상기 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 디코딩하는 단계는,
    상기 복수의 가상적 스피커들을 위한 직접 오디오 입력들의 세트를 획득하기 위하여 상기 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 디코딩하는 단계; 및
    상기 복수의 가상적 스피커들을 위한 확산 오디오 입력들의 세트를 획득하기 위하여 상기 복수의 공간적 오디오 객체들의 공간적 오디오 표현을 디코딩하는 단계를 더 포함하는, 방법.
34. 제29항에 있어서,
    상기 복수의 가상적 스피커들은 링으로 배열된 적어도 8 개의 가상적 스피커들을 포함하는, 방법.
35. 제26항에 있어서,
    상기 오디오 소스를 공간적으로 인코딩하는 단계는, 상기 오디오 소스를,
    1차 앰비소닉 표현;
    더 높은 차수의 앰비소닉 표현;
    벡터 기반 진폭 패닝(VBAP) 표현;
    거리 기반 진폭 패닝(DBAP) 표현; 및
    K 최근접 이웃들 패닝 표현
    으로 구성되는 그룹으로부터 선택된 적어도 하나의 공간적 표현으로 공간적으로 인코딩하는 단계를 포함하는, 방법.
36. 공간적 오디오 시스템으로서,
    적어도 하나의 오디오 신호를 포함하는 오디오 스트림을 획득하고;
    상기 주 네트워크 접속된 스피커의 물리적 위치를 설명하는 위치 데이터를 획득하고;
    상기 적어도 하나의 오디오 신호를 공간적 표현으로 변환하고;
    가상적 스피커 레이아웃에 기초하여 상기 공간적 표현을 변환하고;
    상기 주 네트워크 접속된 스피커의 각각의 혼을 위한 별도의 오디오 신호를 생성하고; 그리고
    각각의 혼을 위한 적어도 하나의 구동기를 이용하여 상기 주 네트워크 접속된 스피커의 상기 혼들에 대응하는 상기 별도의 오디오 신호들을 재생하도록 구성된 주 네트워크 접속된 스피커를 포함하는, 공간적 오디오 시스템.
37. 제36항에 있어서,
    적어도 하나의 보조 네트워크 접속된 스피커를 더 포함하고; 그리고
    상기 주 네트워크 접속된 스피커는,
    상기 적어도 하나의 보조 네트워크 접속된 스피커의 물리적 위치를 설명하는 위치 데이터를 획득하고;
    상기 적어도 하나의 보조 네트워크 접속된 스피커의 각각의 혼을 위한 별도의 오디오 신호를 생성하고; 그리고
    상기 별도의 오디오 신호를, 각각의 별도의 오디오 신호에 대한 혼과 연관된 적어도 하나의 보조 네트워크 접속된 스피커로 송신하도록 추가로 구성되는, 공간적 오디오 시스템.
38. 제36항 내지 제37항에 있어서,
    상기 주 네트워크 접속된 스피커는 수퍼 주 네트워크 접속된 스피커(super primary network connected speaker)이고, 상기 수퍼 주 네트워크 접속된 스피커는 상기 오디오 스트림을 제2 주 네트워크 접속된 스피커로 송신하도록 더 구성되는, 공간적 오디오 시스템.
39. 제36항 내지 제38항에 있어서,
    상기 주 네트워크 접속된 스피커는 다른 네트워크 접속된 스피커들에 의해 참여가능한 무선 네트워크를 확립할 수 있는, 공간적 오디오 시스템.
40. 제36항 내지 제39항에 있어서,
    상기 주 네트워크 접속된 스피커는 제어 디바이스에 의해 제어가능한, 공간적 오디오 시스템.
41. 제40항에 있어서,
    상기 이동 디바이스는 스마트폰인, 공간적 오디오 시스템.
42. 제36항 내지 제41항에 있어서,
    상기 주 네트워크 접속된 스피커는,
    상기 오디오 신호의 멜 스펙트로그램(mel spectrogram)을 생성할 수 있고; 그리고
    상기 멜 스펙트로그램을, 상기 오디오 신호를 시각화 나선(visualization helix)으로서 시각화할 시의 이용을 위한 시각화 디바이스로 메타데이터로서 송신할 수 있는, 공간적 오디오 시스템.
43. 제36항 내지 제42항에 있어서,
    상기 생성된 별도의 오디오 신호들은 구동기를 직접적으로 구동하기 위하여 이용될 수 있는, 공간적 오디오 시스템.
44. 제36항 내지 제43항에 있어서,
    상기 가상적 스피커 레이아웃은 가상적 스피커들의 링을 포함하는, 공간적 오디오 시스템.
45. 제44항에 있어서,
    상기 가상적 스피커들의 링은 적어도 8 개의 가상적 스피커들을 포함하는, 공간적 오디오 시스템.
46. 제44항 내지 제45항에 있어서,
    상기 가상적 스피커 레이아웃에서의 가상적 스피커들은 규칙적으로 이격되는, 공간적 오디오 시스템.
47. 공간적 오디오 시스템으로서,
    제1 위치에서의 제1 네트워크 접속된 스피커; 및
    제2 위치에서의 제2 네트워크 접속된 스피커를 포함하고,
    상기 제1 네트워크 접속된 스피커 및 상기 제2 네트워크 접속된 스피커는 적어도 하나의 음(sound) 객체가 제1 모달 빔포밍 스피커에 의해 생성된 구동기 신호들에 기초하여 상기 제1 위치 및 상기 제2 위치와 상이한 위치에서 렌더링되도록, 오디오 신호들을 동시에 렌더링하도록 구성되는, 공간적 오디오 시스템.
48. 제47항에 있어서,
    오디오 신호들을 상기 제1 및 제2 네트워크 접속된 스피커들과 동시에 렌더링하도록 구성된 제3 위치에서의 제3 네트워크 접속된 스피커를 더 포함하는, 공간적 오디오 시스템.
49. 제47항 내지 제48항에 있어서,
    오디오 신호들을 상기 제1, 제2, 및 제3 네트워크 접속된 스피커들과 동시에 렌더링하도록 구성된 제4 위치에서의 제4 네트워크 접속된 스피커를 더 포함하고; 그리고
    상기 제4 위치는 제1, 제2, 및 제3 위치들보다 더 높은 고도(altitude)에 있는, 공간적 오디오 시스템.
50. 제47항 내지 제49항에 있어서,
    상기 제1, 제2, 제3, 및 제4 위치들은 모두 룸 내에 있고, 상기 제4 모달 빔포밍 스피커는 룸의 천장에 연결되는, 공간적 오디오 시스템.
51. 공간적 오디오 시스템으로서,
    적어도 하나의 오디오 신호를 포함하는 오디오 스트림을 획득할 수 있고;
    상기 주 네트워크 접속된 스피커의 물리적 위치를 설명하는 위치 데이터를 획득할 수 있고;
    상기 적어도 하나의 오디오 신호를 공간적 표현으로 변환할 수 있고;
    가상적 스피커 레이아웃에 기초하여 상기 공간적 표현을 변환할 수 있고;
    상기 주 네트워크 접속된 스피커의 각각의 혼을 위한 별도의 주 오디오 신호를 생성할 수 있고;
    복수의 보조 네트워크 접속된 스피커들의 각각의 혼을 위한 별도의 보조 오디오 신호를 생성할 수 있고;
    각각의 별도의 보조 오디오 신호를, 개개의 혼을 포함하는 상기 보조 네트워크 접속된 스피커로 송신할 수 있고; 그리고
    상기 복수의 보조 네트워크 접속된 스피커들과 동기화된 방식으로 각각의 혼을 위한 적어도 하나의 구동기를 이용하여 상기 주 네트워크 접속된 스피커의 혼들에 대응하는 상기 별도의 주 오디오 신호들을 재생할 수 있는 주 네트워크 접속된 스피커를 포함하는, 공간적 오디오 시스템.
52. 공간적 오디오를 렌더링하는 방법으로서,
    주 네트워크 접속된 스피커를 이용하여 제1 포맷으로 인코딩된 오디오 신호를 획득하는 단계;
    상기 주 네트워크 접속된 스피커를 이용하여 상기 오디오 신호를 공간적 표현으로 변환하는 단계;
    상기 주 네트워크 접속된 스피커를 이용하여 상기 공간적 표현에 기초하여 복수의 구동기 신호들을 생성하는 단계 - 각각의 구동기 신호는 혼과 결합된 적어도 하나의 구동기에 대응함 -; 및
    상기 복수의 구동기 신호들 및 상기 대응하는 적어도 하나의 구동기를 이용하여 공간적 오디오를 렌더링하는 단계를 포함하는, 방법.
53. 제52항에 있어서,
    상기 복수의 구동기 신호들의 일부분을 적어도 하나의 보조 네트워크 접속된 스피커로 송신하는 단계; 및
    상기 주 네트워크 접속된 스피커 및 상기 적어도 하나의 보조 네트워크 접속된 스피커를 이용하여 동기화된 방식으로 상기 공간적 오디오를 렌더링하는 단계를 더 포함하는, 방법.
54. 제52항 또는 제53항에 있어서,
    상기 오디오 신호의 멜 스펙트로그램을 생성하는 단계; 및
    상기 멜 스펙트로그램을, 상기 오디오 신호를 시각화 나선으로서 시각화할 시의 이용을 위한 시각화디바이스로 메타데이터로서 송신하는 단계를 더 포함하는, 방법.
55. 제52항 내지 제54항에 있어서,
    상기 복수의 구동기 신호들을 생성하는 단계는 가상적 스피커 레이아웃에 기초하는, 방법.
56. 제52항 내지 제55항에 있어서,
    상기 가상적 스피커 레이아웃은 가상적 스피커들의 링을 포함하는, 방법.
57. 제56항에 있어서,
    상기 가상적 스피커들의 링은 적어도 8 개의 가상적 스피커들을 포함하는, 방법.
58. 제56항 내지 제57항에 있어서,
    상기 가상적 스피커 레이아웃에서의 가상적 스피커들은 규칙적으로 이격되는, 방법.
59. 제52항 내지 제58항에 있어서,
    상기 주 네트워크 접속된 스피커는 수퍼 주 네트워크 접속된 스피커이고; 그리고
    상기 방법은,
    상기 오디오 신호를 제2 주 네트워크 접속된 스피커로 송신하는 단계;
    상기 제2 주 네트워크 접속된 스피커를 이용하여 상기 오디오 신호를 제2 공간적 표현으로 변환하는 단계;
    상기 제2 주 네트워크 접속된 스피커를 이용하여 상기 제2 공간적 표현에 기초하여 제2 복수의 구동기 신호들을 생성하는 단계 - 각각의 구동기 신호는 혼과 결합된 적어도 하나의 구동기에 대응함 -; 및
    상기 복수의 구동기 신호들 및 상기 대응하는 적어도 하나의 구동기를 이용하여 공간적 오디오를 렌더링하는 단계를 더 포함하는, 방법.
60. 제59항에 있어서,
    상기 제2 공간적 표현은 상기 제1 공간적 표현과 동일한, 방법.
61. 제52항 내지 제60항에 있어서,
    상기 공간적 표현에 기초하여 복수의 구동기 신호들을 생성하는 단계는 가상적 스피커 레이아웃을 이용하는 단계를 더 포함하는, 방법.
62. 제61항에 있어서,
    상기 가상적 스피커 레이아웃은 가상적 스피커들의 링을 포함하는, 방법.
63. 제61항 내지 제62항에 있어서,
    상기 가상적 스피커들의 링은 적어도 8 개의 가상적 스피커들을 포함하는, 방법.
64. 제61항 내지 제63항에 있어서,
    상기 가상적 스피커 레이아웃에서의 가상적 스피커들은 규칙적으로 이격되는, 방법.
65. 네트워크 접속된 스피커로서,
    복수의 혼들 - 3 개의 혼들의 각각은 복수의 구동기들과 맞추어짐 -; 및
    한 쌍의 대향하는 동축 우퍼들을 포함하고,
    상기 3 개의 복수의 구동기들은 공간적 오디오를 렌더링할 수 있는, 네트워크 접속된 스피커.
66. 제65항에 있어서,
    복수의 구동기들 각각은 트위터 및 미드를 포함하는, 네트워크 접속된 스피커.
67. 제65항 내지 제66항에 있어서,
    상기 트위터 및 미드는 동축이 되도록 그리고 동일한 방향으로 발사하도록 구성되는, 네트워크 접속된 스피커.
68. 제66항 내지 제67항에 있어서,
    상기 트위터는 모달 빔포밍 스피커의 중앙에 대해 미드 상부에 위치되는, 네트워크 접속된 스피커.
69. 제65항 내지 제68항에 있어서,
    상기 한 쌍의 우퍼들 중의 하나는 우퍼의 중앙을 통한 채널을 포함하는, 네트워크 접속된 스피커.
70. 제68항에 있어서,
    상기 채널은 줄기부를 포함하는, 네트워크 접속된 스피커.
71. 제65항 내지 제70항에 있어서,
    상기 우퍼들은 3축 탄소 섬유 위브(triaxial carbon fiber weave)로부터 구성되는 다이어프램들을 포함하는, 네트워크 접속된 스피커.
72. 제65항 내지 제71항에 있어서,
    상기 복수의 혼들은 동일평면이고, 여기서, 상기 한 쌍의 우퍼들에서의 제1 우퍼는 양의 방향(positive direction)에서 혼들의 평면에 수직으로 발사하도록 구성되고, 상기 한 쌍의 우퍼들에서의 제2 우퍼는 음의 방향(negative direction)에서 혼들에 평면에 수직으로 발사하도록 구성되는, 네트워크 접속된 스피커.
73. 제65항 내지 제72항에 있어서,
    상기 복수의 혼들은 링으로 구성되는, 네트워크 접속된 스피커.
74. 제65항 내지 제73항에 있어서,
    상기 복수의 혼들은 3 개의 혼들을 포함하는, 네트워크 접속된 스피커.
75. 제65항 내지 제74항에 있어서,
    상기 복수의 혼들은 규칙적으로 이격되는, 네트워크 접속된 스피커.
76. 제65항 내지 제75항에 있어서,
    상기 혼들은 단일 컴포넌트를 형성하는, 네트워크 접속된 스피커.
77. 제65항 내지 제76항에 있어서,
    상기 복수의 혼들은 2 개의 커버들 사이에 밀봉부(seal)를 형성하는, 네트워크 접속된 스피커.
78. 제65항 내지 제77항에 있어서,
    상기 복수의 구동기들을 위한 적어도 하나의 후방 음량(back volume)은 3 개의 혼들 사이에 포함되는, 네트워크 접속된 스피커.
79. 제65항 내지 제78항에 있어서,
    스탠들에 연결되도록 구성된 줄기부를 더 포함하는, 네트워크 접속된 스피커.
80. 제79항에 있어서,
    상기 줄기부 및 스탠드는 바요넷 록킹 시스템(bayonet locking system)을 이용하여 연결되도록 구성되는, 네트워크 접속된 스피커.
81. 제79항 내지 제80항에 있어서,
    상기 줄기부는 재생 제어 신호들을 상기 네트워크 접속된 스피커에 제공할 수 있는 링을 포함하는, 네트워크 접속된 스피커.
82. 제65항 내지 제81항에 있어서,
    상기 네트워크 접속된 스피커는 천장으로부터 걸리도록 구성되는, 네트워크 접속된 스피커.
83. 라우드스피커를 위한 혼 어레이로서,
    상기 링이 방사상 대칭성을 유지하면서 복수의 혼들을 형성하도록 성형된 단일체 링을 포함하는, 혼 어레이.
84. 제83항에 있어서,
    상기 혼 어레이는 3-D 인쇄를 이용하여 제조되는, 혼 어레이.
85. 제83항 내지 제84항에 있어서,
    상기 복수의 혼들은 120 도에서 오프셋된 3 개의 혼들을 포함하는, 혼 어레이.
86. 오디오 시각화 방법으로서,
    오디오 신호를 획득하는 단계;
    상기 오디오 신호로부터 멜 스펙트로그램을 생성하는 단계;
    하나의 피치(pitch)에 의해 오프셋된 상기 나선의 각각의 턴 상의 지점이 그 개개의 옥타브에서의 동일한 음악적 음표(musical note)를 반영하도록, 나선 상에서 상기 멜 스펙트로그램을 도표화하는 단계; 및
    각각의 음표의 음량이 나선의 외향 절곡(outward bending)에 의해 시각화되도록, 진폭에 기초하여 나선 구조를 워프(warp)하는 단계를 포함하는, 오디오 시각화 방법.
87. 제86항에 있어서,
    상기 나선은 위로부터 시각화되는, 오디오 시각화 방법.
88. 제86항 내지 제87항에 있어서,
    상기 나선은 컬러화되는, 오디오 시각화 방법.
89. 제86항 내지 제89항에 있어서,
    상기 나선의 각각의 턴(turn)은 상기 나선의 각각의 턴에 대하여 반복되는 컬러들의 범위를 이용하여 컬러화되는, 오디오 시각화 방법.
90. 제88항 내지 제89항에 있어서,
    컬러 포화(color saturation)는 상기 나선의 각각의 턴에 대하여 감소하는, 오디오 시각화 방법.
91. 제88항 내지 제90항에 있어서,
    컬러 투명성(color transparency)은 상기 나선의 각각의 턴에 대하여 감소하는, 오디오 시각화 방법.
92. 제86항 내지 제91항에 있어서,
    상기 나선 구조는 워프될 때에 상기 나선의 축을 향해 흔적(trail)을 남기는, 오디오 시각화 방법.
93. 네트워크 접속된 스피커를 구성하는 방법으로서,
    복수의 외부로 향하는 혼(outward facing horn)들을 링으로 구성하는 단계;
    상기 복수의 구동기들을 각각의 외부로 향하는 혼에 맞추는 단계; 및
    하나의 우퍼가 링 위에 있고 하나의 우퍼가 링 아래에 있도록, 반대로 향하는 우퍼들의 동축 쌍을 맞추는 단계를 포함하는, 네트워크 접속된 스피커를 구성하는 방법.
94. 제93항에 있어서,
    복수의 외부로 향하는 혼들을 링으로 구성하는 단계는 복수의 외부로 향하는 혼들을 단일 컴포넌트로서 제조하는 단계를 더 포함하는, 네트워크 접속된 스피커를 구성하는 방법.
95. 제93항 내지 제94항에 있어서,
    상기 복수의 외부로 향하는 혼들은 적층 제조(additive manufacturing)를 이용하여 구성되는, 네트워크 접속된 스피커를 구성하는 방법.
96. 제93항 내지 제95항에 있어서,
    상기 우퍼들 중의 하나의 우퍼의 다이어프램의 중앙을 통해 봉(rod)을 배치하는 단계를 더 포함하는, 네트워크 접속된 스피커를 구성하는 방법.
97. 제93항 내지 제96항에 있어서,
    우퍼는 상기 우퍼 상의 다이어프램의 중앙을 통해 봉을 수용하기 위하여 이중 서라운드(double surround)로 구성되는, 네트워크 접속된 스피커를 구성하는 방법.
98. 제93항 내지 제96항에 있어서,
    각각의 우퍼는 3축 탄소 섬유 위브로 이루어진 다이어프램을 포함하는, 네트워크 접속된 스피커를 구성하는 방법.
99. 제93항 내지 제98항에 있어서,
    상기 복수의 구동기들이 상기 링, 제1 커버, 및 제2 커버에 의해 생성된 음량 내에 있도록, 상기 링의 상부 상에 상기 제1 커버를 맞추는 단계 및 상기 링의 하부 상에 제2 커버를 맞추는 단계를 더 포함하는, 네트워크 접속된 스피커를 구성하는 방법.
100. 제93항 내지 제99항에 있어서,
     각각의 혼은 상기 복수의 구동기들에서의 고유한 트위터 및 고유한 미드와 연관되는, 네트워크 접속된 스피커를 구성하는 방법.
101. 제93항 내지 제100항에 있어서,
     상기 링 상의 각각의 혼 사이에 적어도 하나의 마이크로폰을 배치하는 단계를 더 포함하는, 네트워크 접속된 스피커를 구성하는 방법.

Images