KR20150115823A - 구면 고조파 계수들에 대한 렌더들 결정 - Google Patents

구면 고조파 계수들에 대한 렌더들 결정 Download PDF

Info

Publication number
KR20150115823A
KR20150115823A KR1020157023104A KR20157023104A KR20150115823A KR 20150115823 A KR20150115823 A KR 20150115823A KR 1020157023104 A KR1020157023104 A KR 1020157023104A KR 20157023104 A KR20157023104 A KR 20157023104A KR 20150115823 A KR20150115823 A KR 20150115823A
Authority
KR
South Korea
Prior art keywords
renderer
speaker geometry
dimensional
determining
local speaker
Prior art date
Application number
KR1020157023104A
Other languages
English (en)
Other versions
KR101877604B1 (ko
Inventor
마틴 제임스 모렐
닐스 귄터 페테르스
디판잔 센
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150115823A publication Critical patent/KR20150115823A/ko
Application granted granted Critical
Publication of KR101877604B1 publication Critical patent/KR101877604B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

일반적으로, 기법들은 하나 이상의 라우드스피커 신호들을 발생시키기 위해 구면 고조파 계수들을 렌더링하는데 이용되는 렌더러들을 결정하는 것에 대해 설명된다. 하나 이상의 프로세서들을 포함하는 디바이스가 기법들을 수행할 수도 있다. 하나 이상의 프로세서들은 음장을 나타내는 구면 고조파 계수들의 재생에 이용되는 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정하고, 로컬 스피커 기하학적 구조에 기초하여 디바이스가 동작하게 구성하도록 구성될 수도 있다.

Description

구면 고조파 계수들에 대한 렌더들 결정{DETERMINING RENDERERS FOR SPHERICAL HARMONIC COEFFICIENTS}
본 출원은 2013년 5월 31일자에 출원된 미국 가출원 번호 제 61/829,832호, 및 2013년 2월 7일자에 출원된 미국 가출원 번호 제 61/762,302호의 이익을 주장한다.
기술 분야
본 개시물은 오디오 렌더링, 좀더 구체적으로는, 구면 고조파 계수들의 렌더링에 관한 것이다.
고차 앰비소닉스 (HOA; higher order ambisonics) 신호 (종종, 복수의 구면 고조파 계수들 (SHC) 또는 다른 계층적 엘리먼트들에 의해 표현됨) 는 음장의 3차원의 표현이다. 이 HOA 또는 SHC 표현은 이 음장을, 이 SHC 신호로부터 렌더링되는 멀티-채널 오디오 신호를 플레이백하는데 사용되는 로컬 스피커 기하학적 구조 (local speaker geometry) 와 독립적 방법으로 표현할 수도 있다. 이 SHC 신호는 또한 이 SHC 신호가 5.1 오디오 채널 포맷 또는 7.1 오디오 채널 포맷과 같은, 널리 공지된 그리고 많이 채택된 멀티-채널 포맷들로 렌더링될 수도 있기 때문에, 역방향들 호환성 (backwards compatibility) 을 용이하게 할 수도 있다. 따라서 SHC 표현은 역방향 호환성을 또한 수용하는 더 나은 음장의 표현을 가능하게 한다.
일반적으로, 특정의 로컬 스피커 기하학적 구조에 적합한 오디오 렌더러를 결정하는 기법들이 설명된다. SHC 는, 널리 공지된 멀티-채널 스피커 포맷들을 수용할 수도 있지만, 일반적으로 최종-사용자 청취자가 스피커들을 이들 멀티-채널 포맷들에 의해 요구되는 방법으로 적절히 배치하거나 또는 로케이트하지 않아, 불규칙적인 스피커 기하학적 구조들을 초래한다. 본 개시물에서 설명하는 기법들은, 로컬 스피커 기하학적 구조를 결정하고, 그후 이 로컬 스피커 기하학적 구조에 기초하여, SHC 신호들을 렌더링하는 렌더러를 결정할 수도 있다. 렌더링 디바이스는 다수의 상이한 렌더러들, 예컨대, 모노 렌더러, 스테레오 렌더러, 수평 단독 렌더러 또는 3차원 렌더러 중에서 선택하고, 로컬 스피커 기하학적 구조에 기초하여 이 렌더러를 발생시킬 수도 있다. 이 렌더러는 불규칙적인 스피커 기하학적 구조들을 이용함으로써, 불규칙적인 스피커 기하학적 구조들에도 불구하고, 규칙적인 스피커 기하학적 구조들에 대해 설계되는 규칙적인 렌더러에 비해 더 나은 음장의 재생을 용이하게 할 수도 있다.
더욱이, 이 기법들은 가역성을 유지하고 SHC 를 복구하기 위해서, 가상 스피커 기하학적 구조로서 지칭될 수도 있는 균일한 스피커 기하학적 구조로 렌더링할 수도 있다. 이 기법들은 그후 이들 가상 스피커들을 (가상 스피커가 원래 로케이트되었던 수평면과 상이한 고도 (elevation) 일 수도 있는) 상이한 수평면들에 투영하기 위해 여러 동작들을 수행할 수도 있다. 이 기법들은 디바이스로 하여금, 이들 예상된 가상 스피커들을 불규칙적인 스피커 기하학적 구조로 배열된 상이한 물리적 스피커들에 맵핑하는 렌더러를 발생가능하게 할 수도 있다. 이와 같이 이들 가상 스피커들을 투영하는 것은 음장의 더 나은 재생을 용이하게 할 수도 있다.
일 예에서, 방법은 음장을 나타내는 구면 고조파 계수들의 플레이백에 이용되는 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정하는 단계; 및 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원의 렌더러를 결정하는 단계를 포함한다.
또 다른 예에서, 디바이스는, 음장을 나타내는 구면 고조파 계수들의 플레이백에 이용되는 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정하고, 그리고, 그 결정된 로컬 스피커 기하학적 구조에 기초하여 동작하도록 디바이스를 구성하도록 구성된 하나 이상의 프로세서들을 포함한다.
또 다른 예에서, 디바이스는, 음장을 나타내는 구면 고조파 계수들의 플레이백에 이용되는 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정하는 수단; 및 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원의 렌더러를 결정하는 수단을 포함한다.
또 다른 예에서, 비일시성 컴퓨터-판독가능 저장 매체는 명령들을 안에 저장하고 있으며, 상기 명령들은 실행될 때, 하나 이상의 프로세서들로 하여금, 음장을 나타내는 구면 고조파 계수들의 플레이백에 이용되는 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정하게 하고, 그리고, 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원의 렌더러를 결정하게 한다.
또 다른 예에서, 방법은, 복수의 물리적 스피커들 중 하나와 기하학적 구조로 배열되는 복수의 가상 스피커들 중 하나 사이의 위치에서의 차이를 결정하는 단계; 및 그 결정된 위치에서의 차이에 기초하여 그리고 복수의 가상 스피커들을 복수의 물리적 스피커들에 맵핑하기 전에, 기하학적 구조 내에서 복수의 가상 스피커들 중 하나의 위치를 조정하는 단계를 포함한다.
또 다른 예에서, 디바이스는, 복수의 물리적 스피커들 중 하나와 기하학적 구조로 배열되는 복수의 가상 스피커들 중 하나 사이의 위치에서의 차이를 결정하고, 그리고, 그 결정된 위치에서의 차이에 기초하여 그리고 복수의 가상 스피커들을 복수의 물리적 스피커들에 맵핑하기 전에, 기하학적 구조 내에서 복수의 가상 스피커들 중 하나의 위치를 조정하도록 구성된 하나 이상의 프로세서들을 포함한다.
또 다른 예에서, 디바이스는 복수의 물리적 스피커들 중 하나와 기하학적 구조로 배열되는 복수의 가상 스피커들 중 하나 사이의 위치에서의 차이를 결정하는 수단; 및 그 결정된 위치에서의 차이에 기초하여 그리고 복수의 가상 스피커들을 복수의 물리적 스피커들에 맵핑하기 전에, 기하학적 구조 내에서 복수의 가상 스피커들 중 하나의 위치를 조정하는 수단을 포함한다.
또 다른 예에서, 비일시성 컴퓨터-판독가능 저장 매체는 명령들을 안에 저장하고 있으며, 상기 명령들은, 실행될 때, 하나 이상의 프로세서들로 하여금, 복수의 물리적 스피커들 중 하나와 기하학적 구조로 배열되는 복수의 가상 스피커들 중 하나 사이의 위치에서의 차이를 결정하게 하고, 그리고, 그 결정된 위치에서의 차이에 기초하여 그리고 복수의 가상 스피커들을 복수의 물리적 스피커들에 맵핑하기 전에, 기하학적 구조 내에서 복수의 가상 스피커들 중 하나의 위치를 조정하게 한다.
본 기법들의 하나 이상의 양태들의 세부 사항들은 첨부도면 및 아래의 상세한 설명에서 개시된다. 이들 기법들의 다른 특성들, 목적들, 및 이점들은 설명 및 도면들로부터, 그리고 청구항들로부터 명백히 알 수 있을 것이다.
도 1 및 도 2 는 여러 차수들 (orders) 및 하위-차수들의 구면 고조파 기저 함수들 (spherical harmonic basis functions) 을 예시하는 다이어그램들이다.
도 3 은 본 개시물에서 설명하는 기법들의 여러 양태들을 구현할 수도 있는 시스템을 예시하는 다이어그램이다.
도 4 은 본 개시물에서 설명하는 기법들의 여러 양태들을 구현할 수도 있는 시스템을 예시하는 다이어그램이다.
도 5 는 본 개시물에서 설명하는 기법들의 여러 양태들을 수행하는데 있어서 도 4 의 예에 도시된 렌더러 결정 유닛의 예시적인 동작을 예시하는 흐름도이다.
도 6 은 도 4 의 예에 도시된 스테레오 렌더러 발생 유닛의 예시적인 동작을 예시하는 흐름도이다.
도 7 은 도 4 의 예에 도시된 수평 렌더러 발생 유닛의 예시적인 동작을 예시하는 흐름도이다.
도 8a 및 도 8b 는 도 4 의 예에 도시된 3D 렌더러 발생 유닛의 예시적인 동작을 예시하는 흐름도들이다.
도 9 는 불규칙적인 3D 렌더러를 결정할 때 하부 반구 프로세싱 및 상부 반구 프로세싱을 수행하는데 있어서 도 4 의 예에 도시된 3D 렌더러 발생 유닛의 예시적인 동작을 예시하는 흐름도이다.
도 10 은 어떻게 스테레오 렌더러가 본 개시물에서 개시한 기법들에 따라서 발생될 수 있는지를 나타내는 그래프 (299) 를 단위 공간 (unit space) 에서 예시하는 다이어그램이다.
도 11 은 어떻게 불규칙적인 수평 렌더러가 본 개시물에 개시한 기법들에 따라서 발생될 수 있는지를 나타내는 그래프 (304) 를 단위 공간에서 예시하는 다이어그램이다.
도 12a 및 도 12b 는 어떻게 불규칙적인 3D 렌더러가 본 개시물에서 설명하는 기법들에 따라서 발생될 수 있는지를 나타내는 그래프들 (306A 및 306B) 을 예시하는 다이어그램들이다.
도 13a 내지 도 13d 는 본 개시물에서 설명하는 기법들의 여러 양태들에 따라서 형성되는 비트스트림을 예시한다.
도 14a 및 도 14b 는 본 개시물에서 설명하는 기법들의 여러 양태들을 구현할 수도 있는 3D 렌더러 결정 유닛을 나타낸다.
도 15a 및 도 15b 는 22.2 스피커 기하학적 구조를 나타낸다.
도 16a 및 도 16b 는 가상 스피커들 중 하나 이상이 본 개시물에서 설명하는 기법들의 여러 양태들에 따라서 투영되는 수평면에 의해 세그먼트화되는, 가상 스피커들이 배열되는 가상 구 (virtual sphere) 를 각각 나타낸다.
도 17 은 본 개시물에서 설명하는 기법들의 여러 양태들에 따라서 엘리먼트들의 계층적 세트에 적용될 수도 있는 윈도우 함수 (windowing function) 를 나타낸다.
오늘날 서라운드 사운드의 발전은 엔터테인먼트에 대한 많은 출력 포맷들을 이용가능하게 하였다. 이러한 서라운드 사운드 포맷들의 예들은 (다음 6개의 채널들: 전면 좌측 (FL), 전면 우측 (FR), 중앙 또는 전면 중앙, 후면 좌측 또는 서라운드 좌측, 후면 우측 또는 서라운드 우측, 및 저주파수 효과들 (LFE) 을 포함하는) 인기 있는 5.1 포맷, 성장하는 7.1 포맷, 및 (예컨대, 초고화질 텔레비전 표준 (Ultra High Definition Television standard) 과 함께 사용하기 위한) 차기 22.2 포맷을 포함한다. 추가적인 예들은 구면 고조파 어레이에 대한 포맷들을 포함한다.
(2013년 1월, 스위스 제네바 회의에서 공개된, "Call for Proposals for 3D Audio" 란 명칭으로 된, ISO/IEC JTC1/SC29/WG11/N13411 문서에 응답하여 일반적으로 개발될 수 있는) 미래 MPEG 인코더에 대한 입력은, 옵션적으로, 다음 3개의 가능한 포맷들 중 하나이다: (i) 사전-규정된 위치들에서 라우드스피커들을 통해서 플레이되어야 하는 전통적인 채널-기반의 오디오; (ii) (다른 정보 중에서) 그들의 로케이션 좌표들을 포함하는 연관된 메타데이터를 가진 단일 오디오 오브젝트들에 대한 별개의 펄스-코드-변조 (PCM) 데이터를 수반하는 오브젝트-기반의 오디오; 및 (iii) 구면 고조파 기저 함수들의 계수들 (또한, "구면 고조파 계수들" 또는 SHC 라 함) 을 이용하여 음장을 표현하는 것을 수반하는 장면-기반의 오디오.
시장에서는 여러 '서라운드-사운드' 포맷들이 있다. 그들은 예를 들어, (스테레오를 넘어서 거실들로 잠식해 들어가는 관점에서 가장 성공적이었던) 5.1 홈 시어터 시스템으로부터, NHK (Nippon Hoso Kyokai 또는 일본 방송 협회 (Japan Broadcasting Corporation)) 에 의해 개발된 22.2 시스템에 이른다. 콘텐츠 생성자들 (예컨대, 할리우드 스튜디오들) 은 영화용 사운드트랙을 한번 제작하고, 각각의 스피커 구성을 위해 그것을 재믹싱하는데 노력들을 들이지 않기를 원할 것이다. 최근, 표준 위원회들은 표준화된 비트스트림으로의 인코딩 및 렌더러의 로케이션에서 스피커 기하학적 구조 및 음향 조건들에 적응가능하고 독립적인 후속 디코딩을 제공할 방법들을 고려해 왔다.
콘텐츠 생성자들에게 이러한 유연성을 제공하기 위해, 음장을 표현하는데 엘리먼트들의 계층적 세트가 사용될 수도 있다. 엘리먼트들의 계층적 세트는 낮은-차수의 엘리먼트들의 기본적인 세트가 모델링된 음장의 풀 표현을 제공하도록 엘리먼트들이 차수화된 엘리먼트들의 세트를 지칭할 수도 있다. 그 세트가 더 높은-차수 엘리먼트들을 포함하도록 확장됨에 따라, 그 표현이 좀더 상세해진다.
엘리먼트들의 계층적 세트의 일 예는 구면 고조파 계수들의 세트 (SHC) 이다. 다음 수식은 음장의 설명 또는 표현을 SHC 를 이용하여 설명한다:
Figure pct00001
이 수식은 음장의 임의의 지점
Figure pct00002
에서의 압력
Figure pct00003
이
Figure pct00004
에 의해 고유하게 표현될 수 있다는 것을 나타낸다. 여기서,
Figure pct00005
이고, c 는 사운드의 속도 (~343 m/s) 이고,
Figure pct00006
는 참조의 지점 (또는, 관측 지점) 이고,
Figure pct00007
는 차수 n 의 구면 Bessel 함수이고,
Figure pct00008
는 차수 n 및 하위차수 m 의 구면 고조파 기저 함수들이다. 꺽쇠 괄호들 내 용어는 이산 푸리에 변환 (DFT), 이산 코사인 변환 (DCT), 또는 웨이블릿 변환과 같은, 여러 시간-주파수 변환들에 의해 근사화될 수 있는 신호의 주파수-도메인 표현 (즉,
Figure pct00009
) 인 것을 알 수 있다. 계층적 세트들의 다른 예들은 웨이블릿 변환 계수들의 세트들 및 다중해상도 기저 함수들의 계수들의 다른 세트들을 포함한다.
도 1 은 제로 차수 (n = 0) 로부터 제 4 차수 (n = 4) 까지의 구면 고조파 기저 함수들을 예시하는 다이어그램이다. 볼 수 있는 바와 같이, 각각의 차수에 대해, 예시의 용이 목적을 위해 도 2 의 예에 나타내지만 명시적으로 표시되지 않은 하위차수들 m 의 확장이 존재한다.
도 2 는 제로 차수 (n = 0) 로부터 제 4 차수 (n = 4) 까지의 구면 고조파 기저 함수들을 예시하는 또 다른 다이어그램이다. 도 2 에서, 구면 고조파 기저 함수들은 3차원 좌표 공간에 도시되는 동시에, 차수 및 하위차수 양쪽이 도시된다.
어쨌든,
Figure pct00010
는 여러 마이크로폰 어레이 구성들에 의해 물리적으로 획득될 (예컨대, 기록될) 수 있거나, 또는 이의 대안으로, 그들은 음장의 채널-기반의 또는 오브젝트-기반의 설명들로부터 유도될 수 있다. 전자는 인코더에의 장면-기반의 오디오 입력을 표현한다. 예를 들어, 1+24 (25, 따라서, 제 4 차수) 계수들을 수반하는 제 4-차수 표현이 사용될 수도 있다.
이들 SHCs 이 어떻게 오브젝트-기반의 설명으로부터 유도될 수 있는지를 예시하기 위해, 다음 방정식을 고려한다. 개개의 오디오 오브젝트에 대응하는 음장에 대한 계수들
Figure pct00011
은 다음과 같이 표현될 수도 있다
Figure pct00012
여기서, i 는
Figure pct00013
이고,
Figure pct00014
는 차수 n 의 (제 2 종의) 구면 Hankel 함수이고,
Figure pct00015
는 오브젝트의 로케이션이다. (예컨대, PCM 스트림에 관해 고속 푸리에 변환을 수행하는 것과 같은, 시간-주파수 분석 기법들을 이용하여) 소스 에너지
Figure pct00016
를 주파수의 함수로서 아는 것은, 우리가 각각의 PCM 오브젝트 및 그의 로케이션을
Figure pct00017
변환가능하게 한다. 또, (상기가 선형 및 직교 분해이므로) 각각의 오브젝트에 대한
Figure pct00018
계수들이 누적되는 것으로 표시될 수 있다. 이러한 방법으로, 다수의 PCM 오브젝트들은
Figure pct00019
계수들에 의해 (예컨대, 개개의 오브젝트들에 대한 계수 벡터들의 합계로서) 표현될 수 있다. 본질적으로, 이들 계수들은 음장에 관한 정보 (3D 좌표들의 함수로서의 압력) 을 포함하며, 상기는 관측 지점
Figure pct00020
근처에서, 개개의 오브젝트들로부터 전체 음장의 표현으로의 변환을 나타낸다. 나머지 도면들은 오브젝트-기반 및 SHC-기반 오디오 코딩의 상황에서 아래에서 설명된다.
도 3 은 본 개시물에서 설명하는 기법들의 여러 양태들을 수행할 수도 있는 시스템 (20) 을 예시하는 다이어그램이다. 도 3 의 예에 나타낸 바와 같이, 시스템 (20) 은 콘텐츠 생성자 (22) 및 콘텐츠 소비자 (24) 를 포함한다. 콘텐츠 생성자 (22) 는 콘텐츠 소비자들 (24) 과 같은 콘텐츠 소비자들에 의한 소비를 위해 멀티-채널 오디오 콘텐츠를 발생시킬 수도 있는 영화 스튜디오 또는 다른 엔터티를 나타낼 수도 있다. 종종, 이 콘텐츠 생성자는 비디오 콘텐츠와 함께 오디오 콘텐츠를 발생한다. 콘텐츠 소비자 (24) 는 멀티-채널 오디오 콘텐츠를 플레이백하는 것이 가능한 임의 유형의 오디오 플레이백 시스템을 지칭할 수도 있는 오디오 플레이백 시스템 (32) 을 소유하거나 또는 그에 액세스하는 개인을 나타낸다. 도 3 의 예에서, 콘텐츠 소비자 (24) 는 오디오 플레이백 시스템 (32) 을 포함한다.
콘텐츠 생성자 (22) 는 오디오 렌더러 (28) 및 오디오 편집 시스템 (30) 을 포함한다. 오디오 렌더러 (26) 는 ("라우드스피커 피드들 (loudspeaker feeds)", "스피커 신호들", 또는 "라우드스피커 신호들" 로 또한 지칭될 수도 있는) 스피커 피드들을 렌더링하거나 또는 아니면 발생하는 오디오 프로세싱 유닛을 나타낼 수도 있다. 각각의 스피커 피드는 멀티-채널 오디오 시스템의 특정의 채널에 대한 사운드를 재생하는 스피커 피드에 대응할 수도 있다. 도 3 의 예에서, 렌더러 (38) 는 종래의 5.1, 7.1 또는 22.2 서라운드 사운드 포맷들에 대한 스피커 피드들을 렌더링하여, 5.1, 7.1 또는 22.2 서라운드 사운드 스피커 시스템들에서 5, 7 또는 22 개의 스피커들의 각각에 대해 스피커 피드를 발생시킬 수도 있다. 이의 대안으로, 렌더러 (28) 는 위에서 설명된 소스 구면 고조파 계수들의 성질들이 주어지면, 임의 개수의 스피커들을 갖는 임의의 스피커 구성에 대한 소스 구면 고조파 계수들로부터 스피커 피드들을 렌더링하도록 구성될 수도 있다. 렌더러 (28) 는 이러한 방법으로, 도 3 에 스피커 피드들 (29) 로서 표시된 다수의 스피커 피드들을 발생시킬 수도 있다.
콘텐츠 생성자는 편집 프로세스 동안, 구면 고조파 계수들 (27) ("SHC 27") 을 렌더링하고, 높은 충실도를 갖지 않거나 또는 서라운드 사운드 경험을 확신시키는 것을 제공하지 않는 음장의 양태들을 식별하기 위해, 그 렌더링된 스피커 피드들을, 청취할 수도 있다. 콘텐츠 생성자 (22) 는 그후 소스 구면 고조파 계수들을 (종종, 소스 구면 고조파 계수들이 위에서 설명된 방법으로 유도될 수도 있는 상이한 오브젝트들의 조작을 통해서 간접적으로) 편집할 수도 있다. 콘텐츠 생성자 (22) 는 구면 고조파 계수들 (27) 을 편집하기 위해 오디오 편집 시스템 (30) 을 채용할 수도 있다. 오디오 편집 시스템 (30) 은 오디오 데이터를 편집하여 이 오디오 데이터를 하나 이상의 소스 구면 고조파 계수들로서 출력하는 것이 가능한 임의의 시스템을 나타낸다.
편집 프로세스가 완료될 때, 콘텐츠 생성자 (22) 는 구면 고조파 계수들 (27) 에 기초하여 비트스트림 (31) 을 발생시킬 수도 있다. 즉, 콘텐츠 생성자 (22) 는 비트스트림 (31) 을 발생하는 것이 가능한 임의의 디바이스를 나타낼 수도 있는 비트스트림 발생 디바이스 (36) 를 포함한다. 일부의 경우, 비트스트림 발생 디바이스 (36) 는 구면 고조파 계수들 (27) 을 (일 예로서, 엔트로피 인코딩에 의해) 대역폭 압축하고, 그리고, 비트스트림 (31) 을 형성하기 위해 구면 고조파 계수들 (27) 의 대역폭 압축된 버전을 용인된 포맷으로 배열하는 인코더를 나타낼 수도 있다. 다른 경우, 비트스트림 발생 디바이스 (36) 는 멀티-채널 오디오 콘텐츠 또는 그의 파생물들을 압축하기 위해, 일 예로서, 종래의 오디오 서라운드 사운드 인코딩 프로세스들의 프로세스들과 유사한 프로세스들을 이용하여, 멀티-채널 오디오 콘텐츠 (29) 를 인코딩하는 오디오 인코더 (어쩌면, MPEG 서라운드과 같은, 기지의 오디오 코딩 표준, 또는 그의 파생물들을 따르는 오디오 인코더) 를 나타낼 수도 있다. 압축된 멀티-채널 오디오 콘텐츠 (29) 는 그후 콘텐츠 (29) 를 대역폭 압축하기 위해 일부 다른 방법으로 엔트로피 인코딩되거나 또는 코딩되고, 비트스트림 (31) 을 형성하기 위해 동의한 포맷에 따라서 배열될 수도 있다. 비트스트림 (31) 을 형성하기 위해 바로 압축되든 또는 비트스트림 (31) 를 형성하기 위해 렌더링한 후 압축되든, 콘텐츠 생성자 (22) 는 비트스트림 (31) 을 콘텐츠 소비자 (24) 에게 송신할 수도 있다.
도 3 에서 콘텐츠 소비자 (24) 로 직접 송신되는 것으로 나타내지만, 콘텐츠 생성자 (22) 는 비트스트림 (31) 을 콘텐츠 생성자 (22) 와 콘텐츠 소비자 (24) 사이에 위치된 중간 디바이스로 출력할 수도 있다. 이 중간 디바이스는 이 비트스트림을 요청할 수도 있는 콘텐츠 소비자 (24) 에게의 추후 전달을 위해 비트스트림 (31) 을 저장할 수도 있다. 중간 디바이스는 파일 서버, 웹 서버, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 모바일 폰, 스마트 폰, 또는 오디오 디코더에 의한 추후 취출을 위해 비트스트림 (31) 을 저장하는 것이 가능한 임의의 다른 디바이스를 포함할 수도 있다. 이의 대안으로, 콘텐츠 생성자 (22) 는 비트스트림 (31) 을, 대부분이 컴퓨터에 의해 판독가능하고 따라서 컴퓨터-판독가능 저장 매체들로서 지칭될 수도 있는, 컴팩트 디스크, 디지털 비디오 디스크, 고화질 비디오 디스크 또는 다른 저장 매체들과 같은, 저장 매체에 저장할 수도 있다. 이 상황에서, 송신 채널은 이들 매체들에 저장된 콘텐츠가 송신되는 그들 채널들을 지칭할 수도 있다 (그리고, 소매점들 및 다른 저장-기반의 전달 메카니즘을 포함할 수도 있다). 어쨌든, 본 개시물의 기법들은 따라서 이 점에서 도 3 의 예에 한정되지 않아야 한다.
도 3 의 예에서 추가로 나타낸 바와 같이, 콘텐츠 소비자 (24) 는 오디오 플레이백 시스템 (32) 을 포함한다. 오디오 플레이백 시스템 (32) 은 멀티-채널 오디오 데이터를 플레이백하는 것이 가능한 임의의 오디오 플레이백 시스템을 나타낼 수도 있다. 오디오 플레이백 시스템 (32) 은 다수의 상이한 렌더러들을 포함할 수도 있다. 오디오 플레이백 시스템 (32) 은 또한 복수의 오디오 렌더러들 중에서 오디오 렌더러 (34) 를 결정하거나 또는 아니면 선택하도록 구성된 유닛을 나타낼 수도 있는 렌더러 결정 유닛 (40) 을 포함할 수도 있다. 일부의 경우, 렌더러 결정 유닛 (40) 은 다수의 사전-정의된 렌더러들로부터 렌더러 (34) 를 선택할 수도 있다. 다른 경우, 렌더러 결정 유닛 (40) 은 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여 오디오 렌더러 (34) 를 동적으로 결정할 수도 있다. 로컬 스피커 기하학적 구조 정보 (41) 는 오디오 플레이백 시스템 (32), 청취자, 또는 임의의 다른 식별가능한 영역 또는 로케이션에 대한, 오디오 플레이백 시스템 (32) 에 커플링된 각각의 스피커의 로케이션을 규정할 수도 있다. 종종, 청취자는 로컬 스피커 기하학적 구조 정보 (41) 를 입력하기 위해 오디오 플레이백 시스템 (32) 과 그래픽 사용자 인터페이스 (GUI) 또는 다른 유형의 인터페이스를 통해서 인터페이스할 수도 있다. 일부의 경우, 오디오 플레이백 시스템 (32) 은 어떤 톤들을 방출하고 오디오 플레이백 시스템 (32) 에 커플링된 마이크로폰을 통해서 톤들을 측정함으로써, 로컬 스피커 기하학적 구조 정보 (41) 를 종종 자동적으로 (이 예에서는, 임의의 청취자 개입을 필요로 함이 없다는 것을 의미함) 결정할 수도 있다.
오디오 플레이백 시스템 (32) 은 추출 디바이스 (38) 를 더 포함할 수 있다. 추출 디바이스 (38) 는 비트스트림 발생 디바이스 (36) 의 프로세서와는 일반적으로 반대일 수도 있는 프로세스를 통해서 구면 고조파 계수들 (27') (구면 고조파 계수들 (27) 의 수정된 유형 또는 복제본을 나타낼 수도 있는, "SHC 27'") 을 추출하는 것이 가능한 임의의 디바이스를 나타낼 수도 있다. 오디오 플레이백 시스템 (32) 은 구면 고조파 계수들 (27') 를 수신하고 추출 디바이스 (38) 를 호출하여, SHC (27') 및, 규정되어 있거나 또는 이용가능하면, 오디오 렌더링 정보 (39) 를 추출할 수도 있다.
어쨌든, 상기 렌더러들 (34) 의 각각은 상이한 유형의 렌더링을 제공할 수도 있으며, 여기서, 상이한 유형들의 렌더링은 벡터-기반 진폭 패닝 (VBAP) 을 수행하는 여러 방법들 중 하나 이상, 거리 기반 진폭 패닝 (DBAP) 을 수행하는 여러 방법들 중 하나 이상, 단순 패닝을 수행하는 여러 방법들 중 하나 이상, 근접 장 보상 (NFC) 필터링을 수행하는 여러 방법들 중 하나 이상 및/또는 파동 장 합성을 수행하는 여러 방법들 중 하나 이상을 포함할 수도 있다. 선택된 렌더러 (34) 는 그후 (예시의 용이 목적들을 위해 도 3 의 예에 나타내지 않은 오디오 플레이백 시스템 (32) 에 전기적으로 또는 어쩌면, 무선으로 커플링된 라우드스피커들의 개수에 대응하는) 스피커 피드들 (35) 의 수를 발생시키기 위해 구면 고조파 계수들 (27') 을 렌더링할 수도 있다.
일반적으로, 오디오 플레이백 시스템 (32) 은 복수의 오디오 렌더러들 중 임의의 하나를 선택할 수도 있으며, (몇 개의 예들을 들자면, DVD 플레이어, Blu-ray 플레이어, 스마트폰, 태블릿 컴퓨터, 게이밍 시스템, 및 텔레비전과 같은) 비트스트림 (31) 이 수신되는 소스에 따라서 오디오 렌더러들 중 하나 이상을 선택하도록 구성될 수도 있다. 오디오 렌더러들 중 임의의 하나가 선택될 수도 있지만, 종종 콘텐츠를 생성할 때에 사용되는 오디오 렌더러는 도 3 의 예에서는 이 오디오 렌더러들 중 하나, 즉, 오디오 렌더러 (28) 를 이용하여 콘텐츠 생성자 (22) 에 의해 생성되었다는 사실로 인해, 더 나은 (그리고, 가능한 한 최상의) 유형의 렌더링을 제공한다. 로컬 스피커 기하학적 구조의 렌더링 유형과 동일하거나 또는 적어도 가가운 렌더링 유형을 갖는 오디오 렌더러들 (34) 중 하나를 선택하는 것은 콘텐츠 소비자 (24) 에게 더 나은 서라운드 사운드 경험을 초래할 수도 있는 더 나은 음장의 표현을 제공할 수도 있다.
비트스트림 발생 디바이스는 오디오 렌더링 정보 (39) ("오디오 렌더링 정보 (39)") 를 포함하도록 비트스트림 (31) 을 발생시킬 수도 있다. 오디오 렌더링 정보 (39) 는 도 4 의 예에서 멀티-채널 오디오 콘텐츠를 발생할 때 사용되는 오디오 렌더러, 즉, 오디오 렌더러 (28) 를 포함하는 신호 값을 포함할 수도 있다. 일부의 경우, 신호 값은 구면 고조파 계수들을 복수의 스피커 피드들로 렌더링하는데 사용되는 매트릭스를 포함한다.
일부의 경우, 신호 값은 비트스트림이 구면 고조파 계수들을 복수의 스피커 피드들로 렌더링하는데 사용되는 매트릭스를 포함한다는 것을 표시하는 인덱스를 정의하는 2 이상의 비트들을 포함한다. 일부의 경우, 인덱스가 사용될 때, 신호 값은 비트스트림에 포함되는 매트릭스의 로우들의 개수를 정의하는 2 이상의 비트들 및 비트스트림에 포함되는 매트릭스의 칼럼들의 개수를 정의하는 2 이상의 비트들을 더 포함한다. 이 정보를 이용하고, 2차원 매트릭스의 각각의 계수가 32-비트 부동 소수점 수로 일반적으로 정의된다고 가정하면, 사이즈 매트릭스의 비트들의 관점에서 사이즈는 로우들의 개수, 칼럼들의 개수, 및 매트릭스의 각각의 계수를 정의하는 부동 소수점 수들의 사이즈, 즉, 이 예에서는 32-비트의 함수로서 계산될 수도 있다.
일부의 경우, 신호 값은 구면 고조파 계수들을 복수의 스피커 피드들로 렌더링하는데 사용되는 렌더링 알고리즘을 규정한다. 렌더링 알고리즘은 비트스트림 발생 디바이스 (36) 및 추출 디바이스 (38) 양쪽에 알려져 있는 매트릭스를 포함할 수도 있다. 즉, 렌더링 알고리즘은 패닝 (예컨대, VBAP, DBAP 또는 단순 패닝) 또는 NFC 필터링과 같은, 다른 렌더링 단계들에 더해서, 매트릭스의 애플리케이션을 포함할 수도 있다. 일부의 경우, 신호 값은 구면 고조파 계수들을 복수의 스피커 피드들로 렌더링하는데 사용되는 복수의 매트릭스들 중 하나와 연관되는 인덱스를 정의하는 2 이상의 비트들을 포함한다. 또, 비트스트림 발생 디바이스 (36) 및 추출 디바이스 (38) 양쪽은 인덱스가 복수의 매트릭스들 중 특정의 하나를 고유하게 식별할 수 있도록, 복수의 매트릭스들 및 복수의 매트릭스들의 차수를 나타내는 정보로 구성될 수도 있다. 이의 대안으로, 비트스트림 발생 디바이스 (36) 는 인덱스가 복수의 매트릭스들 중 특정의 하나를 고유하게 식별할 수 있도록, 복수의 매트릭스들 및/또는 복수의 매트릭스들의 차수를 정의하는 데이터를 비트스트림 (31) 내에 규정할 수도 있다.
일부의 경우, 신호 값은 구면 고조파 계수들을 복수의 스피커 피드들로 렌더링하는데 사용되는 복수의 렌더링 알고리즘들 중 하나와 연관되는 인덱스를 정의하는 2 이상의 비트들을 포함한다. 또, 비트스트림 발생 디바이스 (36) 및 추출 디바이스 (38) 양쪽은 인덱스가 복수의 매트릭스들 중 특정의 하나를 고유하게 식별할 수 있도록, 복수의 렌더링 알고리즘들 및 복수의 렌더링 알고리즘들의 차수를 나타내는 정보로 구성될 수도 있다. 이의 대안으로, 비트스트림 발생 디바이스 (36) 는 인덱스가 복수의 매트릭스들 중 특정의 하나를 고유하게 식별할 수 있도록 복수의 매트릭스들 및/또는 복수의 매트릭스들의 차수를 정의하는 비트스트림 (31) 내 데이터를 규정할 수도 있다.
일부의 경우, 비트스트림 발생 디바이스 (36) 는 비트스트림에서 오디오 프레임 당 기준으로 오디오 렌더링 정보 (39) 를 규정한다. 다른 경우, 비트스트림 발생 디바이스 (36) 는 비트스트림에서 오디오 렌더링 정보 (39) 를 한번 규정한다.
추출 디바이스 (38) 는 그후 비트스트림에 규정된 오디오 렌더링 정보 (39) 를 결정할 수도 있다. 오디오 렌더링 정보 (39) 에 포함되는 신호 값에 기초하여, 오디오 플레이백 시스템 (32) 은 오디오 렌더링 정보 (39) 에 기초하여 복수의 스피커 피드들 (35) 을 렌더링할 수도 있다. 위에서 언급한 바와 같이, 신호 값은 일부 경우, 구면 고조파 계수들을 복수의 스피커 피드들로 렌더링하는데 사용되는 매트릭스를 포함할 수도 있다. 이 경우, 오디오 플레이백 시스템 (32) 은 매트릭스로 오디오 렌더러들 (34) 중 하나를 구성하여, 이 오디오 렌더러들 (34) 중 하나를 이용하여 매트릭스에 기초하여 스피커 피드들 (35) 을 렌더링할 수도 있다.
일부의 경우, 신호 값은 비트스트림이 구면 고조파 계수들 (27') 을 스피커 피드들 (35) 로 렌더링하는데 사용되는 매트릭스를 포함한다는 것을 표시하는 인덱스를 정의하는 2 이상의 비트들을 포함한다. 추출 디바이스 (38) 는 그 인덱스에 응답하여 비트스트림으로부터 매트릭스를 파싱할 수도 있으며, 그 결과, 오디오 플레이백 시스템 (32) 이 그 파싱된 매트릭스로 오디오 렌더러들 (34) 중 하나를 구성하고 이 렌더러들 (34) 중 하나를 호출하여 스피커 피드들 (35) 을 렌더링할 수도 있다. 신호 값이 비트스트림에 포함되는 매트릭스의 로우들 (rows) 의 개수를 정의하는 2 이상의 비트들 및 비트스트림에 포함되는 매트릭스의 칼럼들 (columns) 의 개수를 정의하는 2 이상의 비트들을 포함할 때, 추출 디바이스 (38) 는 인덱스에 응답하여, 그리고 로우들의 개수를 정의하는 2 이상의 비트들 및 칼럼들의 개수를 정의하는 2 이상의 비트들에 기초하여, 위에서 설명된 방법으로 비트스트림으로부터 매트릭스를 파싱할 수도 있다.
일부의 경우, 신호 값은 구면 고조파 계수들 (27') 을 스피커 피드들 (35) 로 렌더링하는데 사용되는 렌더링 알고리즘을 규정한다. 이들의 경우, 오디오 렌더러들 (34) 의 일부 또는 모두는 이들 렌더링 알고리즘들을 수행할 수도 있다. 오디오 플레이백 디바이스 (32) 는 그후 그 규정된 렌더링 알고리즘, 예컨대, 오디오 렌더러들 (34) 중 하나를 이용하여, 구면 고조파 계수들 (27') 로부터 스피커 피드들 (35) 을 렌더링할 수도 있다.
신호 값이 구면 고조파 계수들 (27') 을 스피커 피드들 (35) 로 렌더링하는데 사용되는 복수의 매트릭스들 중 하나와 연관되는 인덱스를 정의하는 2 이상의 비트들을 포함할 때, 오디오 렌더러들 (34) 의 일부 또는 모두가 이 복수의 매트릭스들을 나타낼 수도 있다. 따라서, 오디오 플레이백 시스템 (32) 은 인덱스와 연관되는 오디오 렌더러들 (34) 중 하나를 이용하여 구면 고조파 계수들 (27') 로부터 스피커 피드들 (35) 을 렌더링할 수도 있다.
그 신호 값이 구면 고조파 계수들 (27') 을 스피커 피드들 (35) 로 렌더링하는데 사용되는 복수의 렌더링 알고리즘들 중 하나와 연관되는 인덱스를 정의하는 2 이상의 비트들을 포함할 때, 오디오 렌더러들 (34) 의 일부 또는 모두가 이들 렌더링 알고리즘들을 나타낼 수도 있다. 따라서, 오디오 플레이백 시스템 (32) 은 인덱스와 연관되는 오디오 렌더러들 (34) 중 하나를 이용하여 구면 고조파 계수들 (27') 로부터 스피커 피드들 (35) 을 렌더링할 수도 있다.
이 오디오 렌더링 정보가 비트스트림에 규정되는 주파수에 따라서, 추출 디바이스 (38) 는 오디오 렌더링 정보 (39) 를 오디오 프레임 당 기준으로 또는 한번 결정할 수도 있다.
이와 같이 오디오 렌더링 정보 (39) 를 규정함으로써, 이 기법들은 콘텐츠 생성자 (22) 가 멀티-채널 오디오 콘텐츠 (35) 를 재생할려고 의도하는 방법에 따라서 더 나은 멀티-채널 오디오 콘텐츠 (35) 의 재생을 초래할 수도 있다. 그 결과, 이 기법들은 좀더 실감나는 서라운드 사운드 또는 멀티-채널 오디오 경험을 위해 제공할 수도 있다.
비트스트림으로 시그널링되는 (또는, 아니면 규정되는) 것으로 설명되지만, 오디오 렌더링 정보 (39) 는 비트스트림과는 별개인 메타데이터로서 또는, 즉, 비트스트림과는 별개인 부차적 정보로서 규정될 수도 있다. 비트스트림 발생 디바이스 (36) 는 본 개시물에서 설명하는 기법들을 지원하지 않는 그들 추출 디바이스들과 비트스트림 호환성 (compatiblity) 을 유지하도록 (그리고 이에 의해 성공적인 파싱을) 그들 추출 디바이스들에 의해 가능하게 하기 위해서 이 오디오 렌더링 정보 (39) 를 비트스트림 (31) 과는 별개로 발생시킬 수도 있다. 따라서, 비트스트림으로 규정되는 것으로 설명되지만, 이 기법들은 비트스트림 (31) 과는 별개로 오디오 렌더링 정보 (39) 를 규정하는 다른 방법들을 고려할 수도 있다.
더욱이, 비트스트림 (31) 으로 또는 비트스트림 (31) 과는 별개인 메타데이터 또는 부차적 정보로 시그널링되거나 또는 아니면 규정되는 것으로 설명되지만, 이 기법들은 비트스트림 발생 디바이스 (36) 로 하여금 오디오 렌더링 정보 (39) 의 일부를 비트스트림 (31) 으로, 그리고 오디오 렌더링 정보 (39) 의 일부를 비트스트림 (31) 과는 별개인 메타데이터로서 규정가능하게 할 수도 있다. 예를 들어, 비트스트림 발생 디바이스 (36) 는 비트스트림 (31) 에서 매트릭스를 식별하는 인덱스를 규정할 수도 있으며, 여기서, 식별된 매트릭스를 포함하는 복수의 매트릭스들을 규정하는 테이블은 비트스트림과는 별개인 메타데이터로서 규정될 수도 있다. 오디오 플레이백 시스템 (32) 은 그후 비트스트림 (31) 으로부터 인덱스의 유형으로 그리고 비트스트림 (31) 과는 별개로 규정된 메타데이터로부터 오디오 렌더링 정보 (39) 를 결정할 수도 있다. 오디오 플레이백 시스템 (32) 은 일부 경우, (아마도, 오디오 플레이백 시스템 (32) 의 제조업자 또는 표준화 단체에 의해 호스트되는) 사전-구성된 또는 구성된 서버로부터 테이블 및 임의의 다른 메타데이터를 다운로드하거나 또는 아니면 취출하도록 구성될 수도 있다.
그러나, 흔히 있듯이, 콘텐츠 소비자 (24) 는 (일반적으로 서라운드 사운드 오디오 포맷 단체에 의해) 규정된 기하학적 구조에 따라서 스피커들을 적절히 구성하지 않는다. 종종, 콘텐츠 소비자 (24) 는 고정된 높이에 그리고 청취자에 대해 정확하게 규정된 로케이션에 스피커들을 배치하지 않는다. 콘텐츠 소비자 (24) 는 이들 로케이션에 스피커들을 배치하기 불가능할 수도 있거나 또는 심지어 적합한 서라운드 사운드 경험을 획득하기 위해 스피커들을 배치할 규정된 로케이션들이 있다는 것을 모를 수도 있다. SHC 를 이용하는 것은 SHC 가 음장을 2 또는 3차원으로 나타낸다는 것을 고려할 때 좀더 유연한 스피커들의 배열을 가능하게 하며, 그 SHC 로부터, 음장의 허용가능한 (또는, 비-SHC 오디오 시스템들의 사운딩 (sounding) 에 비해 적어도 더 나은 사운딩) 재생이 대부분의 임의의 스피커 기하학적 구조로 구성된 스피커들에 의해 제공될 수도 있다는 것을 의미한다.
대부분의 임의의 로컬 스피커 기하학적 구조에 대한 SHC 의 렌더링을 용이하게 하기 위해서, 본 개시물에서 설명하는 기법들은 렌더러 결정 유닛 (40) 로 하여금, 오디오 렌더링 정보 (39) 를 이용하여 위에서 설명된 방법으로 표준 렌더러를 선택하게 할 뿐만 아니라 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여 렌더러를 동적으로 발생가능하게 할 수도 있다. 도 4 내지 도 12c 와 관련하여 좀더 자세히 설명되는 바와 같이, 이 기법들은 로컬 스피커 기하학적 구조 정보 (41) 에 규정된 특정의 로컬 스피커 기하학적 구조에 맞춰진 렌더러 (34) 를 발생할 적어도 4개의 예시적인 방법들에 대해 제공할 수도 있다. 이들 3개의 방법들은 모노 렌더러 (34), 스테레오 렌더러 (34), 수평 멀티-채널 렌더러 (34) (여기서, 예를 들어, "수평 멀티-채널" 은 스피커들의 모두가 동일한 수평면 상에 또는 근처에 일반적으로 있는 2개보다 많은 스피커들을 갖는 멀티-채널 스피커 구성을 지칭한다), 및 3차원의 (3D) 렌더러 (34) (여기서, 3차원의 렌더러는 스피커들의 다수의 수평면들에 대해 렌더링할 수도 있다) 를 발생할 방법을 포함할 수도 있다.
동작 시, 오디오 결정 유닛 (40) 은 오디오 렌더링 정보 (39) 또는 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여 렌더러 (34) 를 선택할 수도 있다. 종종, 콘텐츠 소비자 (24) 는 렌더러 결정 유닛 (40) 이 오디오 렌더링 정보 (39) (존재할 때, 이것이 모든 비트스트림들에 존재하지 않을 수도 있기 때문에) 에 기초하여 렌더러 (34) 를 선택하고, 그리고, 존재하지 않을 때, 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여 렌더러 (34) 를 결정하는 (또는, 이전에 결정되었으면 선택하는) 선호사항을 규정할 수도 있다. 일부의 경우, 콘텐츠 소비자 (24) 는 렌더러 결정 유닛 (40) 이 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여, 렌더러 (34) 의 선택 동안 오디오 렌더링 정보 (39) 를 전혀 고려함이 없이, 렌더러 (34) 를 결정하는 (또는, 이전에 결정되었으면, 선택하는) 선호사항을 규정할 수도 있다. 단지 2개의 대안들이 제공되지만, 렌더러 결정 유닛 (40) 이 오디오 렌더링 정보 (39) 및/또는 로컬 스피커 기하학적 구조 (41) 에 기초하여 렌더러 (34) 를 어떻게 선택하는지를 구성하기 위해, 임의 개수의 선호사항들이 규정될 수도 있다. 따라서, 본 기법들은 이 점에서 위에서 설명된 2개의 예시적인 대안들에 한정되지 않아야 한다.
어쨌든, 렌더러 결정 유닛 (40) 이 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여 렌더러 (34) 를 결정한다고 가정하면, 렌더러 결정 유닛 (40) 은 로컬 스피커 기하학적 구조를 위에서 간단히 언급된 4개의 카테고리들 중 하나로 먼저 분류할 수도 있다. 즉, 렌더러 결정 유닛 (40) 은 로컬 스피커 기하학적 구조가 모노 스피커 기하학적 구조, 스테레오 스피커 기하학적 구조, 동일한 수평면 상에 3개의 이상 스피커들을 갖는 수평 멀티-채널 스피커 기하학적 구조 또는 3개의 이상 스피커들을 갖고 그 중 2개가 상이한 수평면들 상에 있는 (종종 어떤 임계치 높이 만큼 분리된) 3차원 멀티-채널 스피커 기하학적 구조에 일반적으로 따른다는 것을 로컬 스피커 기하학적 구조 정보 (41) 가 나타내는지 여부를 먼저 결정할 수도 있다. 이 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여 로컬 스피커 기하학적 구조를 분류하자 마자, 렌더러 결정 유닛 (40) 은 모노 렌더러, 스테레오 렌더러, 수평 멀티-채널 렌더러 및 3차원 멀티-채널 렌더러 중 하나를 발생시킬 수도 있다. 렌더러 결정 유닛 (40) 은 그후 오디오 플레이백 시스템 (32) 에 의한 사용을 위해 이 렌더러 (34) 를 제공할 수도 있으며, 그 결과, 오디오 플레이백 시스템 (32) 이 SHC (27') 를 위에서 설명된 방법으로 렌더링하여, 멀티-채널 오디오 데이터 (35) 를 발생시킬 수도 있다.
이러한 방법으로, 이 기법들은 오디오 플레이백 시스템 (32) 으로 하여금, 음장을 나타내는 구면 고조파 계수들의 플레이백에 이용되는 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정가능하게 하고, 그리고 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원 렌더러를 결정가능하게 할 수도 있다.
일부 예들에서, 오디오 플레이백 시스템 (32) 은 결정된 렌더러를 이용하여 구면 고조파 계수들을 렌더링하여, 멀티-채널 오디오 데이터를 발생시킬 수도 있다.
일부 예들에서, 로컬 스피커 기하학적 구조에 기초하여 렌더러를 결정할 때, 오디오 플레이백 시스템 (32) 은, 로컬 스피커 기하학적 구조가 스테레오 스피커 기하학적 구조를 따르면, 스테레오 렌더러를 결정할 수도 있다.
일부 예들에서, 오디오 플레이백 시스템 (32) 은 로컬 스피커 기하학적 구조에 기초하여 렌더러를 결정할 때, 로컬 스피커 기하학적 구조가 2개보다 많은 스피커들을 갖는 수평 멀티-채널 스피커 기하학적 구조를 따르면, 수평 멀티-채널 렌더러를 결정할 수도 있다.
일부 예들에서, 오디오 플레이백 시스템 (32) 은, 로컬 스피커 기하학적 구조에 기초하여 렌더러를 결정할 때, 로컬 스피커 기하학적 구조가 하나 보다 많은 수평면 상에 2개보다 많은 스피커들을 갖는 3차원 멀티-채널 스피커 기하학적 구조를 따르면, 3차원 멀티-채널 렌더러를 결정할 수도 있다.
일부 예들에서, 오디오 플레이백 시스템 (32) 은 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정할 때, 로컬 스피커 기하학적 구조를 기술하는 로컬 스피커 기하학적 구조 정보를 규정하는 청취자로부터의 입력을 수신할 수도 있다.
일부 예들에서, 오디오 플레이백 시스템 (32) 은 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정할 때, 로컬 스피커 기하학적 구조를 기술하는 로컬 스피커 기하학적 구조 정보를 규정하는 청취자로부터 그래픽 사용자 인터페이스를 통해서 입력을 수신할 수도 있다.
일부 예들에서, 오디오 플레이백 시스템 (32) 은 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정할 때, 로컬 스피커 기하학적 구조를 기술하는 로컬 스피커 기하학적 구조 정보를 자동으로 결정할 수도 있다.
다음은 전술한 기법들을 요약하는 한 방법이다. 일반적으로, SHC (27) 과 같은, 고차 앰비소닉스 신호는 구면 고조파 기저 함수들을 이용한 3차원의 음장의 표현이며, 여기서, 구면 고조파 기저 함수들 중 적어도 하나는 1 보다 큰 차수를 갖는 구면 기저 함수와 연관된다. 이 표현은 최종 사용자 스피커 기하학적 구조과 독립적이기 때문에 이상적인 사운드 포맷을 제공할 수도 있으며, 그 결과, 표현은 인코딩 측에 대한 사전 지식 없이 콘텐츠 소비자에서 임의의 기하학적 구조로 렌더링될 수도 있다. 최종 스피커 신호들은 그후 그 특정의 스피커의 방향으로 지향하는 극성 패턴을 일반적으로 나타내는 구면 고조파 계수들의 선형 조합에 의해 유도될 수도 있다. 5.0/5.1 과 같은 공통 스피커 레이아웃들에 대해 특정의 HOA 렌더러들을 설계하고 또한 불규칙적인 2D 및 3D 스피커 기하학적 구조들에 대해 ("임기응변 (on the fly)" 으로서 일반적으로 지칭되는) 실시간 또는 거의-실시간으로 렌더러들을 발생하는 연구가 이루어져 왔다. 규칙적인 (t-설계) 스피커 기하학적 구조의 '특별한 (golden)' 경우는 의사-역 기반의 렌더링 매트릭스를 이용함으로써 잘 알려질 수도 있다. 차기 MPEG-H 표준의 경우, 임의의 스피커 기하학적 구조를 취할 수 있고 문제의 스피커 기하학적 구조에 대해 최상의 렌더링 매트릭스를 발생하는 올바른 방법론을 이용하는 시스템이 요구될 수도 있다.
본 개시물에서 설명하는 기법들의 여러 양태들은 HOA 또는 SHC 렌더러 발생 시스템/알고리즘에 대해 제공한다. 시스템은 기지의 기하학적 구조/렌더러 매트릭스로서, 어느 스피커 기하학적 구조의 유형, 즉 모노, 스테레오, 수평, 3차원 또는 플래그된 (flagged) 이 사용 중인 지를 검출한다.
도 4 는 도 3 의 렌더러 결정 유닛 (40) 을 좀더 자세하게 예시하는 블록도이다. 도 4 의 예에 나타낸 바와 같이, 렌더러 결정 유닛 (40) 은 렌더러 선택 유닛 (42), 레이아웃 결정 유닛 (44), 및 렌더러 발생 유닛 (46) 을 포함할 수도 있다. 렌더러 선택 유닛 (42) 은 렌더링 정보 (39) 에 기초하여 사전-정의된 렌더러들을 선택하거나 또는 렌더링 정보 (39) 에 규정된 렌더러를 선택하고, 이 선택된 또는 규정된 렌더러를 렌더러 (34) 로서 출력하도록 구성된 유닛을 나타낼 수도 있다.
레이아웃 결정 유닛 (44) 은 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여 로컬 스피커 기하학적 구조를 분류하도록 구성된 유닛을 나타낼 수도 있다. 레이아웃 결정 유닛 (44) 은 로컬 스피커 기하학적 구조를 위에서 설명된 3개의 카테고리들 중 하나로 분류할 수도 있다: 1) 모노 스피커 기하학적 구조, 2) 스테레오 스피커 기하학적 구조, 3) 수평 멀티-채널 스피커 기하학적 구조, 및 4) 3차원 멀티-채널 스피커 기하학적 구조. 레이아웃 결정 유닛 (44) 은 3개의 카테고리들 중 로컬 스피커 기하학적 구조가 가장 따르는 카테고리를 나타내는 분류 정보 (45) 를 렌더러 발생 유닛 (46) 으로 전달할 수도 있다.
렌더러 발생 유닛 (46) 은 분류 정보 (45) 및 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여 렌더러 (34) 를 발생시키도록 구성된 유닛을 나타낼 수도 있다. 렌더러 발생 유닛 (46) 은 모노 렌더러 발생 유닛 (48D), 스테레오 렌더러 발생 유닛 (48A), 수평 렌더러 발생 유닛 (48B), 및 3차원의 (3D) 렌더러 발생 유닛 (48C) 을 포함할 수도 있다. 모노 렌더러 발생 유닛 (48A) 은 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여 모노 렌더러를 발생시키도록 구성된 유닛을 나타낼 수도 있다. 스테레오 렌더러 발생 유닛 (48A) 은 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여 스테레오 렌더러를 발생시키도록 구성된 유닛을 나타낼 수도 있다. 스테레오 렌더러 발생 유닛 (48A) 에 의해 채용되는 프로세스는 도 6 의 예와 관련하여 아래에서 좀더 자세히 설명된다. 수평 렌더러 발생 유닛 (48B) 은 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여 수평 멀티-채널 렌더러를 발생시키도록 구성된 유닛을 나타낼 수도 있다. 수평 렌더러 발생 유닛 (48B) 에 의해 채용되는 프로세스는 도 7 의 예와 관련하여 아래에서 좀더 자세히 설명된다. 3D 렌더러 발생 유닛 (48C) 은 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여 3D 멀티-채널 렌더러를 발생시키도록 구성된 유닛을 나타낼 수도 있다. 수평 렌더러 발생 유닛 (48B) 에 의해 채용되는 프로세스는 도 8 및 도 9 의 예와 관련하여 아래에서 좀더 자세히 설명된다.
도 5 는 본 개시물에서 설명하는 기법들의 여러 양태들을 수행하는데 있어서 도 4 의 예에 도시된 렌더러 결정 유닛 (40) 의 예시적인 동작을 예시하는 흐름도이다. 도 5 의 흐름도는 일반적으로 일부 작은 표기 변화들을 제외한, 도 4 와 관련하여 위에서 설명된 렌더러 결정 유닛 (40) 에 의해 수행되는 동작을 약술한다. 도 5 의 예에서, 렌더러 플래그는 오디오 렌더링 정보 (39) 의 구체적인 예를 지칭한다. "SHC 차수" 는 SHC 의 최대 차수를 지칭한다. "스테레오 렌더러" 는 스테레오 렌더러 발생 유닛 (48A) 을 지칭할 수도 있다. "수평 렌더러" 는 수평 렌더러 발생 유닛 (48B) 을 지칭할 수도 있다. "3D 렌더러" 는 3D 렌더러 발생 유닛 (48C) 을 지칭할 수도 있다. "렌더러 매트릭스" 는 렌더러 선택 유닛 (42) 을 지칭할 수도 있다.
도 5 의 예에 나타낸 바와 같이, 렌더러 선택 유닛 (42) 은 렌더 플래그 (39') 로서 표시될 수도 있는 렌더 플래그가 비트스트림 (31) (또는, 비트스트림 (31) 과 연관되는 다른 부 채널 정보) 에 존재하는지 여부를 결정할 수도 있다 (60). 렌더러 플래그 (39') 가 비트스트림 (31) 에 존재할 때 ("예" 60), 렌더러 선택 유닛 (42) 은 렌더러 플래그 (39') 에 기초하여 잠재적인 복수의 렌더러들로부터 렌더러를 선택하고 그 선택된 렌더러를 렌더러 (34) 로서 출력할 수도 있다 (62, 64).
렌더러 플래그 (39') 가 비트스트림에 존재하지 않을 때 ("아니오" 60), 렌더러 선택 유닛 (42) 은 로컬 스피커 기하학적 구조 정보 (41) 를 결정할 수도 있는 렌더러 결정 유닛 (40) 을 호출할 수도 있다. 로컬 스피커 기하학적 구조 정보 (41) 에 기초하여, 렌더러 결정 유닛 (40) 은 모노 렌더러 결정 유닛 (48D), 스피커 렌더러 결정 유닛 (48A), 수평 렌더러 결정 유닛 (48B) 또는 3D 렌더러 결정 유닛 (48C) 중 하나를 호출할 수도 있다.
로컬 스피커 기하학적 구조 정보 (41) 가 모노 로컬 스피커 기하학적 구조를 나타낼 때, 렌더 결정 유닛 (40) 은 (SHC 차수에 잠재적으로 기초하여) 모노 렌더를 결정할 수도 있는 모노 렌더러 결정 유닛 (48D) 을 호출하고, 그 모노 렌더러를 렌더러 (34) 로서 출력할 수도 있다 (66, 64). 로컬 스피커 기하학적 구조 정보 (41) 가 스테레오 로컬 스피커 기하학적 구조를 나타낼 때, 렌더 결정 유닛 (40) 은 (SHC 차수에 잠재적으로 기초하여) 스테레오 렌더를 결정할 수도 있는 스테레오 렌더러 결정 유닛 (48A) 을 호출하고, 그 스테레오 렌더러를 렌더러 (34) 로서 출력할 수도 있다 (68, 64). 로컬 스피커 기하학적 구조 정보 (41) 가 수평 로컬 스피커 기하학적 구조를 나타낼 때, 렌더 결정 유닛 (40) 은 (SHC 차수에 잠재적으로 기초하여) 수평 렌더를 결정할 수도 있는 수평 렌더러 결정 유닛 (48B) 을 호출하고, 그 수평 렌더러를 렌더러 (34) 로서 출력할 수도 있다 (70, 64). 로컬 스피커 기하학적 구조 정보 (41) 가 스테레오 로컬 스피커 기하학적 구조를 나타낼 때, 렌더 결정 유닛 (40) 은 (SHC 차수에 잠재적으로 기초하여) 3D 렌더를 결정할 수도 있는 3D 렌더러 결정 유닛 (48C) 을 호출하고, 그 3D 렌더러를 렌더러 (34) 로서 출력할 수도 있다 (72, 64).
이러한 방법으로, 이 기법들은 렌더러 결정 유닛 (40) 으로 하여금, 음장을 나타내는 구면 고조파 계수들의 플레이백에 이용되는 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정가능하게 하고, 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원의 렌더러를 결정가능하게 할 수도 있다.
도 6 은 도 4 의 예에 도시된 스테레오 렌더러 발생 유닛 (48A) 의 예시적인 동작을 예시하는 흐름도이다. 도 6 의 예에서, 스테레오 렌더러 발생 유닛 (48A) 은 로컬 스피커 기하학적 구조 정보 (41) 를 수신하고 (100), 그후 주어진 스피커 기하학적 구조에 대해 "스윗 스팟" 으로 간주될 수도 있는 청취자 위치에 대한 스피커들 사이의 각 거리들 (angular distances) 을 결정할 수도 있다 (102). 스테레오 렌더러 발생 유닛 (48A) 은 그후 구면 고조파 계수들의 HOA/SHC 차수에 의해 제한되는 최고 허용된 차수를 계산할 수도 있다 (104). 스테레오 렌더러 발생 유닛 (48A) 은 다음으로 그 결정된 허용된 차수에 기초하여, 동등하게 이격된 방위각들을 발생시킬 수도 있다 (106).
스테레오 렌더러 발생 유닛 (48A) 은 그후, 2차원 (2D) 렌더러를 형성하는 가상 또는 실제 스피커들의 로케이션들에서 구면 기저 함수들을 샘플링할 수도 있다. 스테레오 렌더러 발생 유닛 (48A) 은 그후, 이 2D 렌더러의 의사-역 (매트릭스 수학의 상황에서 이해될 수 있음) 을 수행할 수도 있다 (108). 수학적으로, 이 2D 렌더러는 다음 매트릭스로 표현될 수도 있다:
Figure pct00021
이 매트릭스의 사이즈는 V 개의 로우들 곱하기 (n+1)2 일 수도 있으며, 여기서, V 는 가상 스피커들의 개수를 표시하며, n 은 SHC 차수를 표시한다.
Figure pct00022
는 차수 n 의 (제 2 종의) 구면 Hankel 함수이다.
Figure pct00023
는 차수 n 및 하위차수 m 의 구면 고조파 기저 함수들이다.
Figure pct00024
는 구면 좌표들의 관점에서 참조의 지점 (또는, 관측 지점) 이다.
스테레오 렌더러 발생 유닛 (48A) 은 그후, 방위각을 우측 위치으로 그리고 좌측 위치으로 회전시켜 2개의 상이한 2D 렌더러들을 발생하고 (110, 112), 그후 그들을 2D 렌더러 매트릭스로 결합할 수도 있다 (114). 스테레오 렌더러 발생 유닛 (48A) 은 그후, 이 2D 렌더러 매트릭스를 3D 렌더러 매트릭스로 변환하고 (116), 허용된 차수 (도 6 의 예에서 차수' 로 표시됨) 와 차수, n 사이의 차이를 제로 패딩 (zero padding) 할 수도 있다 (120). 스테레오 렌더러 발생 유닛 (48A) 은 그후, 3D 렌더러 매트릭스에 대한 에너지 보존을 수행하고 (122), 이 3D 렌더러 매트릭스를 출력할 수도 있다 (124).
이러한 방법으로, 이 기법들은 스테레오 렌더러 발생 유닛 (48A) 로 하여금 SHC 차수 및 좌측 스피커 위치와 우측 스피커 위치 사이의 각 거리에 기초하여 스테레오 렌더링 매트릭스를 발생가능하게 할 수도 있다. 스테레오 렌더러 발생 유닛 (48A) 은 그후 렌더링 매트릭스의 전면 위치를 회전시켜 좌측 우측 스피커 위치에, 다음으로 우측 스피커 위치에 매칭한 후, 이들 좌측 및 우측 매트릭스들을 결합하여 최종 렌더링 매트릭스를 형성한다.
도 7 은 도 4 의 예에 도시된 수평 렌더러 발생 유닛 (48B) 의 예시적인 동작을 예시하는 흐름도이다. 도 7 의 예에서, 수평 렌더러 발생 유닛 (48B) 은 로컬 스피커 기하학적 구조 정보 (41) 를 수신하고 (130), 그후 주어진 스피커 기하학적 구조에 대해 "스윗 스팟" 으로 간주될 수도 있는 청취자 위치에 대해 스피커들 사이의 각 거리들을 찾을 수도 있다 (132). 수평 렌더러 발생 유닛 (48B) 은 그후 최소 각 거리 및 최대 각 거리를 계산하여, 최소 각 거리를 최대 각 거리와 비교할 수도 있다 (134). 최소 각 거리가 동일할 (또는, 어떤 각도 임계치 내에서 대략 동일할) 때, 수평 렌더러 발생 유닛 (48B) 은 로컬 스피커 기하학적 구조가 규칙적이라고 결정한다. 최소 각 거리가 최대 각 거리와 동일하지 (또는, 어떤 각도 임계치 내에서 대략 동일하지) 않을 때, 수평 렌더러 발생 유닛 (48B) 은 로컬 스피커 기하학적 구조가 불규칙적이라고 결정할 수도 있다.
먼저, 로컬 스피커 기하학적 구조가 규칙적이라고 결정될 때를 고려하면, 수평 렌더러 발생 유닛 (48B) 은 위에서 설명된 바와 같이, 구면 고조파 계수들의 HOA/SHC 차수에 의해 제한되는, 최고 허용된 차수를 계산할 수도 있다 (136). 수평 렌더러 발생 유닛 (48B) 은 다음으로, 2D 렌더러의 의사-역 (pseudo-inverse) 을 발생하고 (138), 이 2D 렌더러의 의사-역을 3D 렌더러로 변환하고 (140), 3D 렌더러를 제로 패딩할 수도 있다 (142).
다음으로, 로컬 스피커 기하학적 구조가 불규칙적이라고 결정될 때를 고려하면, 수평 렌더러 발생 유닛 (48B) 은 위에서 설명되는 바와 같이, 구면 고조파 계수들의 HOA/SHC 차수에 의해 제한되는, 최고 허용된 차수를 계산할 수도 있다 (144). 수평 렌더러 발생 유닛 (48B) 은 그후 허용된 차수에 기초하여, 동등하게 이격된 방위각들을 발생하여 (146) 2D 렌더러를 발생한다. 수평 렌더러 발생 유닛 (48B) 은 2D 렌더러의 의사 역을 수행하고 (148), 옵션적인 윈도우 동작 (windowing operation) 을 수행할 수도 있다 (150). 일부의 경우, 수평 렌더러 발생 유닛 (48B) 은 윈도우 동작을 수행하지 않을 수도 있다. 어쨌든, 수평 렌더러 발생 유닛 (48B) 은 또한 (불규칙적인 스피커 기하학적 구조의) 실제 방위각들로 동등한 방위각을 배치하는 이득들을 패닝하고 (152), 그 패닝된 이득들 만큼 의사-역 2D 렌더러의 매트릭스 곱셈을 수행할 수도 있다 (154). 수학적으로, 패닝 이득 매트릭스는 VBAP 를 수행하는 사이즈 RxV 의 벡터 베이스 진폭 패닝 (VBAP) 매트릭스를 나타낼 수도 있으며, 여기서 V 는 다시 가상 스피커들의 개수를 나타내며 R 은 실제 스피커들의 개수를 나타낸다. VBAP 매트릭스는 다음과 같이 규정될 수도 있다:
Figure pct00025
. 곱셈은 다음과 같이 표현될 수도 있다:
Figure pct00026
. 수평 렌더러 발생 유닛 (48B) 은 그후 2D 렌더러인 매트릭스 곱셈의 출력을 3D 렌더러로 변환하고 (156), 그후 또한 위에서 설명한 바와 같이, 3D 렌더러를 제로 패딩할 수도 있다 (158).
가상 스피커들을 실제 스피커들에 맵핑하기 위해 특정의 유형의 패닝을 수행하는 것으로 위에서 설명되지만, 이 기법들은 가상 스피커들을 실제 스피커들에 맵핑하는 임의의 방법과 관련하여 수행될 수도 있다. 그 결과, 매트릭스는 RxV 의 사이즈를 갖는 "가상-대-실제 스피커 맵핑 매트릭스" 로서 표시될 수도 있다. 곱셈은 따라서, 다음과 같이 좀더 일반적으로 표현될 수도 있다:
Figure pct00027
이 Virtual_to_Real_Speak_Mapping_Matrix 는 벡터-베이스 진폭 패닝 (VBAP) 을 수행하기 위한 매트릭스들 중 하나 이상, 거리 기반의 진폭 패닝 (DBAP) 을 수행하기 위한 매트릭스들 중 하나 이상, 단순 패닝을 수행하기 위한 매트릭스들 중 하나 이상, 근접장 보상 (NFC) 필터링을 수행하기 위한 매트릭스들 중 하나 이상 및/또는 파동 장 합성을 수행하기 위한 매트릭스들 중 하나 이상을 포함한, 가상 스피커들을 실제 스피커들에 맵핑할 수도 있는 임의의 패닝 또는 다른 매트릭스를 나타낼 수도 있다.
규칙적인 3D 렌더러 또는 불규칙적인 3D 렌더러가 발생되든, 수평 렌더러 발생 유닛 (48B) 은 규칙적인 3D 렌더러 또는 불규칙적인 3D 렌더러에 대해 에너지 보존을 수행할 수도 있다 (160). 모두가 아닌 일부 예들에서, 수평 렌더러 발생 유닛 (48B) 은 3D 렌더러의 공간 성질들에 기초하여 최적화를 수행하여 (162), 이 최적화된 3D 또는 비-최적화된 3D 렌더러를 출력할 수도 있다 (164).
수평의 하위-카테고리에서, 시스템은 따라서, 일반적으로 스피커들의 기하학적 구조가 규칙적으로 또는 불규칙적으로 이격되는 지 여부를 검출하고 그후 의사-역 또는 AllRAD 접근법에 기초하여 렌더링 매트릭스를 생성할 수도 있다. AllRAD 접근법은 2013년 3월 18-21일, Merano 에서, AIA-DAGA 동안 소개된, "Comparison of energy-preserving and all-round Ambisonic decoders" 의 명칭으로 된, Franz Zotter 등의 논문에 좀더 자세히 설명되어 있다. 스테레오 하위-카테고리에서, 렌더링 매트릭스는 HOA 차수 및 좌측 스피커 위치와 우측 스피커 위치 사이의 각 거리에 기초하여 규칙적인 수평에 대한 렌더러 매트릭스를 생성함으로써 발생된다. 렌더링 매트릭스의 전면 위치는 그후 좌측 스피커 위치에, 그후 우측 스피커 위치들에, 매칭하도록 회전되고, 그후 최종 렌더링 매트릭스를 형성하기 위해 결합된다.
도 8a 및 도 8b 는 도 4 의 예에 도시된 3D 렌더러 발생 유닛 (48C) 의 예시적인 동작을 예시하는 흐름도들이다. 도 8a 의 예에서, 3D 렌더러 발생 유닛 (48C) 은 로컬 스피커 기하학적 구조 정보 (41) 를 수신하고 (170), 그후 1차의 기하학적 구조 및 HOA/SHC 차수, n 의 기하학적 구조를 이용하여 구면 고조파들 기저 함수들을 결정할 수도 있다 (172, 174). 3D 렌더러 발생 유닛 (48C) 은 그후 1차 이하의 기저 함수들 및 1 의 차수보다 크지만 n 보다 작거나 동일한 구면 기저 함수들과 연관되는 그들 기저 함수 양쪽에 대한 조건 수들 (condition numbers) 을 결정할 수도 있다 (176, 178). 3D 렌더러 발생 유닛 (48C) 은 그후 조건 값들의 양쪽을 일부 예들에서 1.05 의 값을 갖는 임계치를 나타낼 수도 있는 소위 "규칙적인 값 (regular value)" 과 비교한다 (180).
조건 값들의 양쪽이 규칙적인 값 아래일 때, 3D 렌더러 발생 유닛 (48C) 은 로컬 스피커 기하학적 구조가 규칙적이라고 (어떤 의미로는, 동등하게 이격된 스피커들에 대해 좌측으로부터 우측까지 그리고 전면으로부터 후면까지 대칭적이라고) 결정할 수도 있다. 조건 값들의 양쪽이 규칙적인 값보다 아래이거나 또는 미만이 아닐 때, 3D 렌더러 발생 유닛 (48C) 은 1차 이하의 구면 기저 함수들로부터 계산된 조건 값을 규칙적인 값과 비교할 수도 있다 (182). 이 1차 이하의 조건 수가 규칙적인 값 미만일 때 ("예" 182), 3D 렌더러 발생 유닛 (48C) 은 로컬 스피커 기하학적 구조가 거의 규칙적 (또는, 도 8 의 예에 나타낸 바와 같이, "거의 규칙적") 이라고 결정한다. 이 1차 이하의 조건 수가 규칙적인 값 아래가 아닐 때 ("아니오" 182), 3D 렌더러 발생 유닛 (48C) 은 로컬 기하학적 구조가 불규칙적이라고 결정한다.
로컬 스피커 기하학적 구조가 규칙적이라고 결정될 때, 3D 렌더러 발생 유닛 (48C) 은 3D 렌더러 발생 유닛 (48C) 이 스피커들의 다수의 수평면들에 대해 이 매트릭스를 발생하는 것을 제외하고는, 도 7 의 예와 관련하여 개시된 규칙적인 3D 매트릭스 결정과 관련하여 위에서 설명한 방법과 유사한 방법으로 3D 렌더링 매트릭스를 결정한다 (184). 로컬 스피커 기하학적 구조가 거의 규칙적이라고 결정될 때, 3D 렌더러 발생 유닛 (48C) 은 3D 렌더러 발생 유닛 (48C) 이 스피커들의 다수의 수평면들에 대해 이 매트릭스를 발생하는 것을 제외하고는, 도 7 의 예와 관련하여 개시된 불규칙적인 2D 매트릭스 결정과 관련하여 위에서 설명한 방법과 유사한 방법으로 3D 렌더링 매트릭스를 결정한다 (186). 로컬 스피커 기하학적 구조가 불규칙적이라고 결정될 때, 3D 렌더러 발생 유닛 (48C) 은 (본 개시물의 기법들이 이 가출원에서 일 예로서 제공되는 바와 같은 22.2 스피커 기하학적 구조들에 제한되지 않는다는 점에서) 이 결정의 좀더 일반적인 성질을 수용하는 사소한 변경을 제외하고는, 발명의 명칭이 "PERFORMING 2D AND/OR 3D PANNING WITH RESPECT TO HEIRARCHICAL SETS OF ELEMENTS"인, 미국 가출원 제 61/762,302호에 설명된 방법과 유사한 방법으로, 3D 렌더링 매트릭스를 결정한다 (188).
규칙적으로, 거의 규칙적으로 또는 불규칙적으로, 3D 렌더링 매트릭스가 발생되는지 여부에 관계없이, 3D 렌더러 발생 유닛 (48C) 은 그 발생된 매트릭스에 대해 에너지 보존을 수행하고 (190), 뒤이어서, 일부 경우, 3D 렌더링 매트릭스의 공간 성질들에 기초하여 이 3D 렌더링 매트릭스를 최적화한다 (192). 3D 렌더러 발생 유닛 (48C) 은 그후 이 렌더러를 렌더러 (34) 로서 출력할 수도 있다 (194).
그 결과, 3차원의 경우, 시스템은 (의사-역을 이용하여) 규칙 (regular), (1차에서 규칙적이나, HOA 차수에서는 아닌, 그리고 AllRAD 방법을 이용하는) 거의 규칙 (near regular) 또는 마지막으로 불규칙 (irregular) (이것은 상기 참조한 미국 가출원 제 61/762,302호에 기초하지만, 잠재적으로 좀더 일반적인 접근법으로서 구현된다) 을 검출할 수도 있다. 3차원의 불규칙적인 프로세스 (188) 는 필요한 경우, 스피커들에 의해 커버되는 영역들에 대한 3D-VBAP 삼각측량법, 상단 저부에서의 높은 및 낮은 패닝 링들 (panning rings), 수평 대역, 신장율들 등을 발생하여, 불규칙적인 3차원의 청취 (listening) 를 위해 둘러싸는 (enveloping) 렌더러를 생성할 수도 있다. 전술한 옵션들의 모두는 기하학적 구조들 사이의 임기응변 스위칭이 동일한 인지된 에너지를 갖게 하기 위해서 에너지 보존을 이용할 수도 있다. 대부분 불규칙적인 또는 거의 불규칙적인 옵션들은 옵션적인 구면 고조파 윈도우잉 (spherical harmonic windowing) 을 이용한다.
도 8b 는 불규칙적인 3D 로컬 스피커 기하학적 구조를 통해 오디오 콘텐츠의 플레이백을 위한 3D 렌더러를 결정할 때에 3D 렌더러 결정 유닛 (48C) 의 동작을 예시하는 흐름도이다. 도 8b 의 예에 나타낸 바와 같이, 3D 렌더러 결정 유닛 (48C) 은 위에서 설명된 바와 같이, 구면 고조파 계수들의 HOA/SHC 차수에 의해 제한되는 최고 허용된 차수를 계산할 수도 있다 (196). 3D 렌더러 발생 유닛 (48C) 은 그후 허용된 차수에 기초하여, 동등하게 이격된 방위각들을 발생하여 (198), 3D 렌더러를 발생시킬 수도 있다. 3D 렌더러 발생 유닛 (48C) 은 3D 렌더러의 의사 역을 수행하고 (200), 옵션적인 윈도우 동작 (windowing operation) 을 수행할 수도 있다 (202). 일부의 경우, 3D 렌더러 발생 유닛 (48C) 은 윈도우 동작을 수행하지 않을 수도 있다.
3D 렌더러 결정 유닛 (48C) 은 또한 도 9 와 관련하여 아래에 더 자세히 설명된 바와 같이 하부 반구 프로세싱 및 상부 반구 프로세싱을 수행할 수도 있다 (204, 206). 3D 렌더러 결정 유닛 (48C) 은 하부 및 상부 반구 프로세싱을 수행할 때, 실제 스피커들 사이의 각 거리들을 "스트레치"하는 양, 어떤 임계치 높이들로의 패닝을 제한하는 패닝 한계 (panning limit) 를 규정할 수도 있는 2D 팬 한계 (pan limit), 및 스피커들이 동일한 수평면에서 고려되는 수평 높이 대역을 규정할 수도 있는 수평 대역 양을 나타내는 (아래에서 좀더 자세하게 설명되는) 반구 데이터를 발생시킬 수도 있다.
3D 렌더러 결정 유닛 (48C) 은 일부 경우, 3D VBAP 동작을 수행하여, 3D VBAP 삼각형들을 구성하는 동시에, 어쩌면 하부 반구 프로세싱 및 상부 반구 프로세싱 중 하나 이상으로부터의 반구 데이터에 기초하여 로컬 스피커 기하학적 구조를 "스트레치할" 수도 있다 (208). 3D 렌더러 결정 유닛 (48C) 은 더 많은 공간을 커버하기 위해 실제 스피커 각 거리들을 주어진 반구 내에서 스트레치할 수도 있다. 3D 렌더러 결정 유닛 (48C) 은 또한 하부 반구 및 상부 반구에 대해 2D 패닝 듀플릿들을 식별할 수도 있으며 (210, 212), 여기서, 이들 듀플릿들은 하부 및 상부 반구에서 각각의 가상 스피커에 대해 2개의 실제 스피커들을 각각 식별한다. 3D 렌더러 결정 유닛 (48C) 은 그후 동등하게 이격된 기하학적 구조를 발생할 때 식별되는 각각의 규칙적인 기하학적 구조 위치를 통해서 루프할 수도 있으며, 하부 및 상부 반구 가상 스피커들의 2D 패닝 듀플릿들에 기초하여, 3D VBAP 삼각형들은 다음 분석을 수행한다 (214).
3D 렌더러 결정 유닛 (48C) 은 가상 스피커들이 하부 및 상부 반구들에 대한 반구 데이터에 규정되는 상부 및 하부 수평 대역 값들 내에 있는지 여부를 결정할 수도 있다 (216). 가상 스피커들이 이들 대역 값들 내에 있을 때 ("예" 216), 3D 렌더러 결정 유닛 (48C) 은 이들 가상 스피커들에 대한 고도를 제로로 설정한다 (218). 다시 말해서, 3D 렌더러 결정 유닛 (48C) 은 소위 "스윗 스팟" 주변의 구를 양분하는 중간의 수평면에 가까운 하부 반구 및 상부 반구에서 가상 스피커들을 식별하고, 이들 가상 스피커들의 로케이션을 이 수평면 상에 있는 것으로 설정할 수도 있다. 이들 가상 스피커 로케이션들을 제로로 설정한 후 또는 가상 스피커들이 상부 및 하부 수평 대역 값들 내에 있지 않을 때 ("아니오" 216), 3D 렌더러 결정 유닛 (48C) 은 3D VBAP 패닝 (또는, 가상 스피커들을 실제 스피커들에 맵핑하는 임의의 다른 유형 또는 방법) 을 수행하여, 가상 스피커들을 실제 스피커들에 맵핑하는데 사용되는 3D 렌더러의 수평면 부분을 중간의 수평면을 따라서 발생시킬 수도 있다.
3D 렌더러 결정 유닛 (48C) 은 가상 스피커들의 각각의 규칙적인 기하학적 구조 위치를 통해서 루프할 때, 하부 반구에서의 그들 가상 스피커들을 평가하여, 이들 하부 반구 가상 스피커들이 하부 반구 데이터에 규정된 하부 반구 고도 한계 아래인지 여부를 결정할 수도 있다 (222). 3D 렌더러 결정 유닛 (48C) 은 상부 반구 가상 스피커들에 대해 유사한 평가를 수행하여, 이들 상부 반구 가상 스피커들이 상부 반구 데이터에 규정된 상부 반구 고도 한계 위에 있는지 여부를 결정할 수도 있다 (224). 하부 반구 가상 스피커들의 경우에 아래에 또는 상부 반구 가상 스피커들의 경우에 위에 있을 때 ("예" 226, 228), 3D 렌더러 결정 유닛 (48C) 은 식별된 하부 듀플릿들 및 상부 듀플릿들으로 패닝을 각각 수행하여, (230, 232), 가상 스피커의 고도를 클리핑하여 주어진 반구의 수평 대역 위에서 그것을 실제 스피커들 사이에 패닝하는 패닝 링으로서 지칭될 수도 있는 것을 효과적으로 생성할 수도 있다.
3D 렌더러 결정 유닛 (48C) 은 그후 3D VBAP 패닝 매트릭스를 하부 듀플릿들 패닝 매트릭스 및 상부 듀플릿들 패닝 매트릭스와 결합하고 (234), 매트릭스 곱셈을 수행하여, 그 결합된 패닝 매트릭스에 의해 3D 렌더러를 매트릭스 곱셈할 수도 있다 (236). 3D 렌더러 결정 유닛 (48C) 은 그후 허용된 차수 (도 6 의 예에서 차수' 로서 표시됨) 와 차수, n 사이의 차이를 제로 패딩하여 (238), 불규칙적인 3D 렌더러를 출력할 수도 있다.
이러한 방법으로, 이 기법들은 렌더러 결정 유닛 (40) 로 하여금, 구면 고조파 계수들이 연관되는 구면 기저 함수들의 허용된 차수, 렌더링하는데 요구되는 구면 고조파 계수들의 그것들을 식별하는 허용된 차수를 결정가능하게 하고, 그 결정된 허용된 차수에 기초하여 렌더러를 결정가능하게 할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은, 구면 고조파 계수들의 플레이백에 사용되는 스피커들의 결정된 로컬 스피커 기하학적 구조가 주어지면, 렌더링하는데 요구되는 구면 고조파 계수들의 그것들을 식별하는 허용된 차수를 결정할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 렌더러를 결정할 때, 렌더러가 단지 그 결정된 허용된 차수 미만 또는 동일한 차수를 갖는 구면 기저 함수들과 연관되는 구면 고조파 계수들의 그것들을 렌더링하도록, 렌더러를 결정할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 구면 고조파 계수들이 연관되는 구면 기저 함수들의 최대 차수 N 미만인 허용된 차수를 결정할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 결정된 렌더러를 이용하여 구면 고조파 계수들을 렌더링하여, 멀티-채널 오디오 데이터를 발생시킬 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 구면 고조파 계수들의 플레이백에 사용되는 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정할 수도 있다. 렌더러를 결정할 때, 렌더러 결정 유닛 (40) 은 결정된 허용된 차수 및 로컬 스피커 기하학적 구조에 기초하여 렌더를 결정할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 로컬 스피커 기하학적 구조에 기초하여 렌더러를 결정할 때, 로컬 스피커 기하학적 구조가 스테레오 스피커 기하학적 구조를 따르면, 스테레오 렌더러가 그 허용된 차수의 구면 고조파 계수들의 그것들을 렌더링하도록 결정할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 로컬 스피커 기하학적 구조에 기초하여 렌더러를 결정할 때, 로컬 스피커 기하학적 구조가 2개보다 많은 스피커들을 갖는 수평 멀티-채널 스피커 기하학적 구조를 따르면, 수평 멀티-채널 렌더러가 그 허용된 차수의 구면 고조파 계수들의 그것들을 렌더링하도록 결정할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 수평 멀티-채널 렌더러를 결정할 때, 그 결정된 로컬 스피커 기하학적 구조가 불규칙적인 스피커 기하학적 구조를 나타내면, 불규칙적인 수평 멀티-채널 렌더러가 그 허용된 차수의 구면 고조파 계수들의 그것들을 렌더링하도록 결정할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 수평 멀티-채널 렌더러를 결정할 때, 그 결정된 로컬 스피커 기하학적 구조가 규칙적인 스피커 기하학적 구조를 나타내면, 규칙적인 수평 멀티-채널 렌더러가 그 허용된 차수의 구면 고조파 계수들의 그것들을 렌더링하도록 결정할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 로컬 스피커 기하학적 구조에 기초하여 렌더러를 결정할 때, 로컬 스피커 기하학적 구조가 하나 보다 많은 수평면 상에 2개보다 많은 스피커들을 갖는 3차원 멀티-채널 스피커 기하학적 구조를 따르면, 3차원 멀티-채널 렌더러가 그 허용된 차수의 구면 고조파 계수들의 그것들을 렌더링하도록 결정할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 3차원 멀티-채널 렌더러를 결정할 때, 결정된 로컬 스피커 기하학적 구조가 불규칙적인 스피커 기하학적 구조를 나타내면, 불규칙적인 3차원 멀티-채널 렌더러가 그 허용된 차수의 구면 고조파 계수들의 그것들을 렌더링하도록 결정할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 3차원 멀티-채널 렌더러를 결정할 때, 결정된 로컬 스피커 기하학적 구조가 거의 규칙적인 스피커 기하학적 구조를 나타내면, 거의 규칙적인 3차원 멀티-채널 렌더러가 그 허용된 차수의 구면 고조파 계수들의 그것들을 렌더링하도록 결정할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 3차원 멀티-채널 렌더러를 결정할 때, 결정된 로컬 스피커 기하학적 구조가 규칙적인 스피커 기하학적 구조를 나타내면, 규칙적인 3차원 멀티-채널 렌더러가 그 허용된 차수의 구면 고조파 계수들의 그것들을 렌더링하도록 결정할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정할 때, 로컬 스피커 기하학적 구조를 기술하는 로컬 스피커 기하학적 구조 정보를 규정하는 청취자로부터의 입력을 수신할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정할 때, 로컬 스피커 기하학적 구조를 기술하는 로컬 스피커 기하학적 구조 정보를 규정하는 청취자로부터 그래픽 사용자 인터페이스를 통해서 입력을 수신할 수도 있다.
일부 예들에서, 렌더러 결정 유닛 (40) 은 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정할 때, 로컬 스피커 기하학적 구조를 기술하는 로컬 스피커 기하학적 구조 정보를 자동적으로 결정할 수도 있다.
도 9 는 불규칙적인 3D 렌더러를 결정할 때 하부 반구 프로세싱 및 상부 반구 프로세싱을 수행할 때에 도 4 의 예에 도시된 3D 렌더러 발생 유닛 (48C) 의 예시적인 동작을 예시하는 흐름도이다. 도 9 의 예에 도시된 프로세스에 관련된 더 많은 정보는 상기 참조한 미국 가출원 제 61/762,302호에서 발견될 수 있다. 도 9 의 예에 도시된 프로세스는 도 8b 와 관련하여 위에서 설명된 하부 또는 상부 반구 프로세싱을 나타낼 수도 있다.
먼저, 3D 렌더러 결정 유닛 (48C) 은 로컬 스피커 기하학적 구조 정보 (41) 를 수신하여, 제 1 반구 실제 스피커 로케이션들을 결정할 수도 있다 (250, 252). 3D 렌더러 결정 유닛 (48C) 은 그후 제 1 반구를 반대 반구 상으로 복제하여, HOA 차수에 대한 기하학적 구조를 이용하여 구면 고조파들을 발생시킬 수도 있다 (254, 256). 3D 렌더러 결정 유닛 (48C) 은 로컬 스피커 기하학적 구조의 규칙성 (또는, 균일성) 을 나타낼 수도 있는 조건 수를 결정할 수도 있다 (258). 조건 수가 임계치 수 미만이거나 또는 실제 스피커들 사이의 최대 절대값 고도 차이가 90 도와 동일할 때 ("예" 260), 3D 렌더러 결정 유닛 (48C) 은 제로의 스트레치 값, sign(90) 의 2D 팬 한계 값 및 제로의 수평 대역 값을 포함하는 반구 데이터를 결정할 수도 있다 (262). 위에서 언급한 바와 같이, 스트레치 값은, 실제 스피커들 사이의 각 거리들을 "스트레치"하는 양, 어떤 임계치 높이들로의 패닝을 제한하는 패닝 한계 (panning limit) 를 규정할 수도 있는 2D 팬 한계, 및 스피커들이 동일한 수평면에서 고려되는 수평 높이 대역을 규정할 수도 있는 수평 대역 양을 나타낸다.
3D 렌더러 결정 유닛 (48C) 은 또한 (상부 또는 하부 반구 프로세싱이 수행되는지 여부에 따른) 최고/최저 스피커들의 방위각들의 각 거리를 결정할 수도 있다 (264). 조건 수가 임계치 수보다 크거나 또는 실제 스피커들 사이의 최대 절대값 고도 차이가 90 도와 동일하지 않을 때 ("예" 260), 3D 렌더러 결정 유닛 (48C) 은 최대 절대값 고도 차이가 제로보다 큰지 여부 및 최대 각 거리가 임계치 각 거리 미만인지 여부를 결정할 수도 있다 (266). 최대 절대값 고도 차이가 제로보다 크고 최대 각 거리가 임계치 각 거리 미만일 때 ("예" 266), 3D 렌더러 결정 유닛 (48C) 은 그후 고도의 최대 절대값이 70 보다 큰지 여부를 결정할 수도 이다 (268).
고도의 최대 절대값이 70 보다 클 때 ("예" 268), 3D 렌더러 결정 유닛 (48C) 은 제로와 동일한 스트레치 값, 고도의 절대값의 최대치의 sign 과 동일한 2D 팬 한계, 및 제로와 동일한 수평 대역 값을 포함하는 반구 데이터를 결정한다 (270). 고도의 최대 절대값이 70 미만이거나 또는 동일할 때 ("아니오" 268), 3D 렌더러 결정 유닛 (48C) 은 10 마이너스 고도들의 최대 절대값 곱하기 70 곱하기 10 과 동일한 스트레치 값, 고도의 절대값의 최대치의 sign 유형 (signed form) 마이너스 스트레치 값과 동일한 2D 팬 한계, 및 고도들의 최대 절대값의 sign 유형 곱하기 0.1 과 동일한 수평 대역 값을 포함하는 반구 데이터를 결정할 수도 있다 (272).
최대 절대값 고도 차이가 제로 미만이거나 동일하거나, 또는 최대 각 거리가 임계치 각 거리보다 크거나 또는 동일할 때 ("아니오" 266), 3D 렌더러 결정 유닛 (48C) 은 그후 고도들의 절대값의 최소가 제로와 동일한지 여부를 결정할 수도 있다 (274). 고도들의 절대값의 최소가 제로와 동일할 때 ("예" 274), 3D 렌더러 결정 유닛 (48C) 은 제로와 동일한 스트레치 값, 제로와 동일한 2D 팬 한계, 제로와 동일한 수평 대역 값, 및 고도가 제로와 동일한 실제 스피커들의 인덱스들을 식별하는 경계 반구 값을 포함하는 반구 데이터를 결정할 수도 있다 (276). 고도들의 절대값의 최소가 제로와 동일하지 않을 때 ("아니오" 274), 3D 렌더러 결정 유닛 (48C) 은 경계 반구 값을 최저 고도 스피커들의 인덱스들과 동일하게 결정할 수도 있다 (278). 3D 렌더러 결정 유닛 (48C) 은 그후 고도들의 최대 절대값이 70 보다 큰지 여부를 결정할 수도 있다 (280).
고도들의 최대 절대값이 70 보다 클 때 ("예" 280), 3D 렌더러 결정 유닛 (48C) 은 제로와 동일한 스트레치 값, 고도들의 절대값의 최대의 sign 유형과 동일한 2D 팬 한계, 및 제로와 동일한 수평 대역 값을 포함하는 반구 데이터를 결정할 수도 있다 (282). 고도들의 최대 절대값이 70 미만이거나 또는 동일할 때 ("아니오" 280), 3D 렌더러 결정 유닛 (48C) 은 10 마이너스 고도들의 최대 절대값 곱하기 70 곱하기 10 과 동일한 스트레치 값, 고도의 절대값의 최대치의 sign 유형 마이너스 스트레치 값과 동일한 2D 팬 한계, 및 고도들의 최대 절대값의 sign 유형 곱하기 0.1 과 동일한 수평 대역 값을 포함하는 반구 데이터를 결정할 수도 있다 (282).
도 10 은 스테레오 렌더러가 어떻게 본 개시물에서 개시한 기법들에 따라서 발생될 수 있는지를 나타내는 그래프 (299) 를 단위 공간에서 예시하는 다이어그램이다. 도 10 의 예에 나타낸 바와 같이, 가상 스피커들 (300A-300H) 은 (소위 "스윗 스팟" 을 중심으로 하는) 단위 구를 양분하는 수평면의 원주 둘레에 균일한 기하학적 구조로 배열된다. 물리적 스피커 (302A 및 302B) 는 가상 스피커 (300A) 로부터 측정될 때 30 도 및 -30 도의 각 거리들에 (각각) 위치된다. 스테레오 렌더러 결정 유닛 (48A) 은 가상 스피커 (300A) 를 물리적 스피커들 (302A 및 302B) 에 맵핑하는 스테레오 렌더러 (34) 를 위에서 좀더 자세하게 설명된 방법으로 결정할 수도 있다.
도 11 은 불규칙적인 수평 렌더러가 어떻게 본 개시물에 개시한 기법들에 따라서 발생될 수 있는지를 나타내는 그래프 (304) 를 단위 공간에서 예시하는 다이어그램이다. 도 11 의 예에 나타낸 바와 같이, 가상 스피커들 (300A-300H) 은 (소위 "스윗 스팟" 을 중심으로 하는) 단위 구를 양분하는 수평면의 원주 둘레에 균일한 기하학적 구조로 배열된다. 물리적 스피커 (302A-302D) ("물리적 스피커들 (302)") 는 수평면의 원주 둘레에 불규칙하게 위치된다. 수평 렌더러 결정 유닛 (48B) 은 가상 스피커들 (300A-300H) ("가상 스피커들 (300)") 을 물리적 스피커들 (302) 에 맵핑하는 불규칙적인 수평 렌더러 (34) 를 위에서 좀더 자세하게 설명된 방법으로 결정할 수도 있다.
수평 렌더러 결정 유닛 (48B) 은 가상 스피커들 (300) 을 (가장 작은 각 거리를 갖는 관점에서) 가상 스피커들 중 각각의 하나에 가장 가까운 실제 스피커들 (302) 중 2개에 맵핑할 수도 있다. 그 맵핑은 다음 테이블에 개시된다:
가상 스피커 실제 스피커
300A 302A 및 302B
300B 302B 및 302C
300C 302B 및 302C
300D 302C 및 302D
300E 302C 및 302D
300F 302C 및 302D
300G 302D 및 302A
300H 302D 및 302A
도 12a 및 도 12b 는 불규칙적인 3D 렌더러가 어떻게 본 개시물에서 설명하는 기법들에 따라서 발생될 수 있는지를 나타내는 그래프들 (306A 및 306B) 을 예시하는 다이어그램들이다. 도 12a 의 예에서, 그래프 (306A) 는 스트레치된 스피커 로케이션들 (308A-308H) ("스트레치된 스피커 로케이션들 (308)") 을 포함한다. 3D 렌더러 결정 유닛 (48C) 은 스트레치된 실제 스피커 로케이션들 (308) 을 갖는 반구 데이터를 도 9 의 예와 관련하여 위에서 설명된 방법으로 식별할 수도 있다. 그래프 (306A) 는 또한 스트레치된 스피커 로케이션들 (308) 에 대한 실제 스피커들 로케이션들 (302A-302H) ("실제 스피커 로케이션들 (302)") 을 나타내며, 여기서, 일부 경우에, 실제 스피커 로케이션들 (302) 은 스트레치된 스피커 로케이션들 (308) 과 동일하며, 다른 경우, 실제 스피커 로케이션들 (302) 은 스트레치된 스피커 로케이션들 (308) 과 동일하지 않다.
그래프 (306A) 는 또한 상부 2D 패닝 듀플릿들을 나타내는 상부 2D 팬 내삽된 라인 (310A) 및 하부 2D 패닝 듀플릿들을 나타내는 하부 2D 팬 내삽된 라인 (310B) 을 포함하며, 이의 각각은 도 8 의 예와 관련하여 위에서 좀더 자세하게 설명되어 있다. 간단히 말하면, 3D 렌더러 결정 유닛 (48C) 은 상부 2D 팬 듀플릿들에 기초하여 상부 2D 팬 내삽된 라인 (310A) 을, 그리고 하부 2D 팬 듀플릿들에 기초하여 하부 2D 팬 내삽된 라인 (310B) 을 결정할 수도 있다. 상부 2D 팬 내삽된 라인 (310A) 은 상부 2D 팬 매트릭스를 나타낼 수도 있으며, 반면 하부 2D 팬 내삽된 라인 (310B) 은 하부 2D 팬 매트릭스를 나타낼 수도 있다. 이들 매트릭스들은, 위에서 설명한 바와 같이, 그후 불규칙적인 3D 렌더러 (34) 를 발생하기 위해 3D VBAP 매트릭스 및 규칙적인 기하학적 구조 렌더러와 결합될 수도 있다.
도 12b 의 예에서, 그래프 (306B) 는 가상 스피커들 (300) 을 그래프 (306A) 에 추가하며, 여기서, 가상 스피커들 (300) 은 스트레치된 스피커 로케이션들 (308) 에의 가상 스피커들 (300) 의 맵핑을 명시하는 라인들과의 불필요한 혼란을 피하기 위해, 도 12b 의 예에 명시적으로 표시되지 않는다. 일반적으로, 위에서 설명한 바와 같이, 3D 렌더러 결정 유닛 (48C) 은 도 11 및 도 12 의 수평 예들에서 나타낸 것과 유사하게, 가상 스피커들 (300) 중 각각의 하나를 가상 스피커에 가장 가까운 각 거리를 갖는 스트레치된 스피커 로케이션들 (308) 중 2개 이상에 맵핑한다. 불규칙적인 3D 렌더러는 따라서 가상 스피커들을 스트레치된 스피커 로케이션들에 도 12b 의 예에 나타낸 방법으로 맵핑할 수도 있다.
이 기법들은 따라서, 제 1 예에서, 음장을 나타내는 구면 고조파 계수들의 플레이백에 이용되는 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정하는 수단, 예컨대, 렌더러 결정 유닛 (40), 및 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원의 렌더러를 결정하는 수단, 예컨대, 렌더러 결정 유닛 (40) 을 포함하는, 오디오 플레이백 시스템 (32) 과 같은 디바이스를 제공할 수도 있다.
제 2 예에서, 제 1 예의 디바이스는 멀티-채널 오디오 데이터를 발생하기 위해 그 결정된 2차원 또는 3차원의 렌더러를 이용하여 구면 고조파 계수들을 렌더링하는 수단, 예컨대, 오디오 렌더러 (34) 를 더 포함할 수도 있다.
제 3 예에서, 제 1 예의 디바이스에 있어서, 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원의 렌더러를 결정하는 수단은 로컬 스피커 기하학적 구조가 스테레오 스피커 기하학적 구조를 따를 때 2차원 스테레오 렌더러를 결정하는 수단, 예컨대, 스테레오 렌더러 발생 유닛 (48A) 을 포함할 수도 있다.
제 4 예에서, 제 1 예의 디바이스에 있어서, 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원의 렌더러를 결정하는 수단은 로컬 스피커 기하학적 구조가 2개보다 많은 스피커들을 갖는 수평 멀티-채널 스피커 기하학적 구조를 따를 때 수평 2차원 멀티-채널 렌더러를 결정하는 수단, 예컨대, 수평 렌더러 발생 유닛 (48B) 을 포함한다.
제 5 예에서, 제 4 예의 디바이스에 있어서, 도 7 의 예와 관련하여 설명된 바와 같이, 수평 2차원 멀티-채널 렌더러를 결정하는 수단은 결정된 로컬 스피커 기하학적 구조가 불규칙적인 스피커 기하학적 구조를 나타낼 때 불규칙적인 수평 2차원 멀티-채널 렌더러를 결정하는 수단을 포함한다.
제 6 예에서, 제 4 예의 디바이스에 있어서, 도 7 의 예와 관련하여 설명된 바와 같이, 수평 2차원 멀티-채널 렌더러를 결정하는 수단은 결정된 로컬 스피커 기하학적 구조가 규칙적인 스피커 기하학적 구조를 나타낼 때 규칙적인 수평 2차원 멀티-채널 렌더러를 결정하는 수단을 포함한다.
제 7 예에서, 제 1 예의 디바이스에 있어서, 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원의 렌더러를 결정하는 수단은 로컬 스피커 기하학적 구조가 하나 보다 많은 수평면 상에 2개보다 많은 스피커들을 갖는 3차원 멀티-채널 스피커 기하학적 구조를 따를 때 3차원 멀티-채널 렌더러를 결정하는 수단, 예컨대, 3D 렌더러 발생 유닛 (48C) 을 포함한다.
제 8 예에서, 제 7 예의 디바이스에 있어서, 도 8a 및 도 8b 의 예들과 관련하여 위에서 설명한 바와 같이, 3차원 멀티-채널 렌더러를 결정하는 수단은 결정된 로컬 스피커 기하학적 구조가 불규칙적인 스피커 기하학적 구조를 나타낼 때 불규칙적인 3차원 멀티-채널 렌더러를 결정하는 수단을 포함한다.
제 9 예에서, 제 7 예의 디바이스에 있어서, 도 8a 의 예와 관련하여 위에서 설명한 바와 같이, 3차원 멀티-채널 렌더러를 결정하는 수단은 결정된 로컬 스피커 기하학적 구조가 거의 규칙적인 스피커 기하학적 구조를 나타낼 때 거의 규칙적인 3차원 멀티-채널 렌더러를 결정하는 수단을 포함한다.
제 10 예에서, 제 7 예의 디바이스에 있어서, 도 8a 의 예와 관련하여 위에서 설명한 바와 같이, 3차원 멀티-채널 렌더러를 결정하는 수단은 결정된 로컬 스피커 기하학적 구조가 규칙적인 스피커 기하학적 구조를 나타낼 때 규칙적인 3차원 멀티-채널 렌더러를 결정하는 수단을 결정하는 수단을 포함한다.
제 11 예에서, 제 1 예의 디바이스에 있어서, 도 5 내지 도 8b 의 예들과 관련하여 위에서 설명한 바와 같이, 렌더러를 결정하는 수단은 구면 고조파 계수들이 연관되는 구면 기저 함수들의 허용된 차수를 결정하는 수단으로서, 허용된 차수는 결정된 로컬 스피커 기하학적 구조가 주어지면 렌더링되도록 요구되는 구면 고조파 계수들의 그것들을 식별하는, 상기 결정하는 수단; 및 결정된 허용된 차수에 기초하여 렌더러를 결정하는 수단을 포함한다.
제 12 예에서, 제 1 예의 디바이스에 있어서, 도 5 내지 도 8b 의 예들과 관련하여 위에서 설명한 바와 같이, 2차원 또는 3차원의 렌더러를 결정하는 수단은 구면 고조파 계수들이 연관되는 구면 기저 함수들의 허용된 차수를 결정하는 수단으로서, 허용된 차수는 결정된 로컬 스피커 기하학적 구조가 주어지면 렌더링되도록 요구되는 구면 고조파 계수들의 그것들을 식별하는, 상기 결정하는 수단; 및 2차원 또는 3차원의 렌더러가 단지 그 결정된 허용된 차수 미만 또는 동일한 차수를 갖는 구면 기저 함수들과 연관되는 구면 고조파 계수들의 그것들을 렌더링하도록, 2차원 또는 3차원의 렌더러를 결정하는 수단을 포함한다.
제 13 예에서, 제 1 예의 디바이스에 있어서, 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정하는 수단은 로컬 스피커 기하학적 구조를 기술하는 로컬 스피커 기하학적 구조 정보를 규정하는 청취자로부터의 입력을 수신하는 수단을 포함한다.
제 14 예에서, 제 1 예의 디바이스에 있어서, 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원의 렌더러를 결정하는 것은 로컬 스피커 기하학적 구조가 모노 스피커 기하학적 구조를 따를 때 모노 렌더러를 결정하는 것, 예컨대, 모노 렌더러 결정 유닛 (48D) 을 포함한다.
도 13a 내지 도 13d 는 본 개시물에서 설명하는 기법들에 따라서 형성되는 비트스트림들 (31A-31D) 을 예시하는 다이어그램이다. 도 13a 의 예에서, 비트스트림 (31A) 은 도 3 의 예에 도시된 비트스트림 (31) 의 일 예를 나타낼 수도 있다. 비트스트림 (31A) 은 신호 값 (54) 을 정의하는 하나 이상의 비트들을 포함하는 오디오 렌더링 정보 (39A) 를 포함한다. 이 신호 값 (54) 은 아래에 설명되는 유형들의 정보의 임의의 조합을 나타낼 수도 있다. 비트스트림 (31A) 은 또한 오디오 콘텐츠 (51) 의 일 예를 나타낼 수도 있는 오디오 콘텐츠 (58) 를 포함한다.
도 13b 의 예에서, 비트스트림 (31B) 은 비트스트림 (31A) 과 유사할 수도 있으며, 여기서, 신호 값 (54) 은 인덱스 (54A), 시그널링된 매트릭스의 로우 사이즈 (54B) 를 정의하는 하나 이상의 비트들, 시그널링된 매트릭스의 칼럼 사이즈 (54C) 를 정의하는 하나 이상의 비트들, 및 매트릭스 계수들 (54D) 를 포함한다. 인덱스 (54A) 는 2 내지 5 비트를 이용하여 정의될 수도 있는 반면, 로우 사이즈 (54B) 및 칼럼 사이즈 (54C) 의 각각은 2 내지 16 비트를 이용하여 정의될 수도 있다.
추출 디바이스 (38) 는 인덱스 (54A) 를 추출하고, 매트릭스가 비트스트림 (31B) 에 포함되어 있다고 인덱스가 시그널링하는 지 여부를 결정할 수도 있다 (여기서, 0000 또는 1111 과 같은, 어떤 인덱스 값들은 매트릭스가 비트스트림 (31B) 에 명시적으로 규정되어 있다고 시그널링할 수도 있다). 도 13b 의 예에서, 비트스트림 (31B) 은 매트릭스가 비트스트림 (31B) 에 명시적으로 규정되어 있다고 시그널링하는 인덱스 (54A) 를 포함한다. 그 결과, 추출 디바이스 (38) 는 로우 사이즈 (54B) 및 칼럼 사이즈 (54C) 를 추출할 수도 있다. 추출 디바이스 (38) 는 매트릭스 계수들을 로우 사이즈 (54B), 칼럼 사이즈 (54C) 및 각각의 매트릭스 계수의 시그널링된 (도 13a 에 미도시) 또는 암시적인 비트 사이즈의 함수로서 나타내는, 파싱할 비트수를 계산하도록 구성될 수도 있다. 결정된 비트수를 이용하여, 추출 디바이스 (38) 는 오디오 플레이백 디바이스 (24) 가 위에서 설명한 바와 같이 오디오 렌더러들 (34) 중 하나를 구성하는데 이용할 수도 있는 매트릭스 계수들 (54D) 을 추출할 수도 있다. 오디오 렌더링 정보 (39B) 를 비트스트림 (31B) 으로 한번 시그널링하는 것으로 나타내지만, 오디오 렌더링 정보 (39B) 는 비트스트림 (31B) 으로 다수 회 또는 별개의 대역외 채널에서 적어도 부분적으로 또는 완전히 (일부 경우 옵션적인 데이터로서) 시그널링될 수도 있다.
도 13c 의 예에서, 비트스트림 (31C) 은 상기 도 3 의 예에서 도시된 비트스트림 (31) 의 일 예를 나타낼 수도 있다. 비트스트림 (31C) 은 이 예에서는 알고리즘 인덱스 (54E) 를 규정하는 신호 값 (54) 를 포함하는 오디오 렌더링 정보 (39C) 를 포함한다. 비트스트림 (31C) 은 또한 오디오 콘텐츠 (58) 를 포함한다. 알고리즘 인덱스 (54E) 는 위에서 언급한 바와 같이, 2 내지 5 비트를 이용하여 정의될 수도 있으며, 여기서, 이 알고리즘 인덱스 (54E) 는 오디오 콘텐츠 (58) 를 렌더링할 때에 사용될 렌더링 알고리즘을 식별할 수도 있다.
추출 디바이스 (38) 는 알고리즘 인덱스 (50E) 를 추출하여, 매트릭스가 비트스트림 (31C) 에 포함되어 있다고 알고리즘 인덱스 (54E) 가 시그널링하는 지 여부를 결정할 수도 있다 (여기서, 0000 또는 1111 과 같은, 어떤 인덱스 값들은 매트릭스가 비트스트림 (31C) 에 명시적으로 규정되어 있다고 시그널링할 수도 있다). 도 8c 의 예에서, 비트스트림 (31C) 은 매트릭스가 비트스트림 (31C) 에 명시적으로 규정되어 있지 않다고 시그널링하는 알고리즘 인덱스 (54E) 를 포함한다. 그 결과, 추출 디바이스 (38) 는 알고리즘 인덱스 (54E) 를 오디오 플레이백 디바이스로 포워딩하고, 그 오디오 플레이백 디바이스는 (도 3 및 도 4 의 예에서 렌더러들 (34) 로서 표시되는) 렌더링 알고리즘들 중에서 대응하는 하나 (이용가능한 경우) 를 선택한다. 오디오 렌더링 정보 (39C) 를 비트스트림 (31C) 으로 한번 시그널링하는 것으로 나타내지만, 오디오 렌더링 정보 (39C) 는 비트스트림 (31C) 으로 다수 회 또는 별개의 대역외 채널에서 적어도 부분적으로 또는 완전히 (일부 경우 옵션적인 데이터로서) 시그널링될 수도 있다.
도 13d 의 예에서, 비트스트림 (31C) 은 위에서 도 4, 도 5 및 도 8 에 도시된 비트스트림 (31) 의 일 예를 나타낼 수도 있다. 비트스트림 (31D) 은 이 예에서는 매트릭스 인덱스 (54F) 를 규정하는 신호 값 (54) 을 포함하는 오디오 렌더링 정보 (39D) 를 포함한다. 비트스트림 (31D) 은 또한 오디오 콘텐츠 (58) 를 포함한다. 매트릭스 인덱스 (54F) 는 위에서 언급한 바와 같이, 2 내지 5 비트를 이용하여 정의될 수도 있으며, 여기서, 이 매트릭스 인덱스 (54F) 는 오디오 콘텐츠 (58) 를 렌더링할 때에 사용될 렌더링 알고리즘을 식별할 수도 있다.
추출 디바이스 (38) 는 매트릭스 인덱스 (50F) 를 추출하여, 매트릭스가 비트스트림 (31D) 에 포함되어 있다고 매트릭스 인덱스 (54F) 가 시그널링하는 지 여부를 결정할 수도 있다 (여기서, 0000 또는 1111 과 같은, 어떤 인덱스 값들은 매트릭스가 비트스트림 (31C) 에 명시적으로 규정되어 있다고 시그널링할 수도 있다). 도 8d 의 예에서, 비트스트림 (31D) 은 매트릭스가 비트스트림 (31D) 에 명시적으로 규정되어 있지 않다고 시그널링하는 매트릭스 인덱스 (54F) 를 포함한다. 그 결과, 추출 디바이스 (38) 는 매트릭스 인덱스 (54F) 를 오디오 플레이백 디바이스로 포워딩하고, 그 오디오 플레이백 디바이스는 렌더러들 (34) 중 대응하는 하나 (이용가능한 경우) 를 선택한다. 오디오 렌더링 정보 (39D) 를 비트스트림 (31D) 으로 한번 시그널링하는 것으로 나타내지만, 도 13d 의 예에서, 오디오 렌더링 정보 (39D) 는 비트스트림 (31D) 으로 다수 회 또는 별개의 대역외 채널에서 적어도 부분적으로 또는 완전히 (일부 경우 옵션적인 데이터로서) 시그널링될 수도 있다.
도 14a 및 14b 는 본 개시물에서 설명하는 기법들의 여러 양태들을 수행할 수도 있는 3D 렌더러 결정 유닛 (48C) 의 또 다른 예이다. 즉, 3D 렌더러 결정 유닛 (48C) 은 가상 스피커가 구 기하학적 구조를 양분하는 수평면보다 낮은 구 기하학적 구조에 배열될 때 가상 스피커를 수평면 상의 로케이션에 투영하고, 그리고, 재생된 음장이 가상 스피커의 예상된 로케이션으로부터 유래하는 것처럼 보이는 적어도 하나의 사운드를 포함하도록 음장을 재생하는 제 1 복수의 라우드스피커 채널 신호들을 발생시키면 음장을 기술하는 엘리먼트들의 계층적 세트에 대해 2차원 패닝을 수행하도록 구성된 유닛을 나타낼 수도 있다.
도 14a 의 예에서, 3D 렌더러 결정 유닛 (48C) 은 SHC (27') 를 수신하고 가상 스피커 렌더러 (350) 를 호출할 수도 있으며, 이 가상 스피커는 가상 라우드스피커 t-설계 렌더링을 수행하도록 구성된 유닛을 나타낼 수도 있다. 가상 스피커 렌더러 (350) 는 SCH (27') 를 렌더링하고 주어진 개수의 가상 스피커들 (예컨대, 22 또는 32) 에 대해 라우드스피커 채널 신호들을 발생시킬 수도 있다.
3D 렌더러 결정 유닛 (48C) 은 구면 가중 유닛 (spherical weighting unit; 352), 상부 반구 3D 패닝 유닛 (354), 귀-레벨 (ear-level) 2D 패닝 유닛 (356) 및 하부 반구 2D 패닝 유닛 (358) 을 더 포함한다. 구면 가중 유닛 (352) 은 어떤 채널들을 가중하도록 구성된 유닛을 나타낼 수도 있다. 상부 반구 3D 패닝 유닛 (354) 은 구면으로 가중된 가상 라우드스피커 채널 신호들에 대해 3D 패닝을 수행하여 여러 상부 반구 물리적인 또는, 즉, 실제 스피커들 사이에 이들 신호들을 패닝하도록 구성된 유닛을 나타낸다. 귀-레벨 반구 2D 패닝 유닛 (356) 은 구면으로 가중된 가상 라우드스피커 채널 신호들에 대해 2D 패닝을 수행하여 여러 귀-레벨 물리적인 또는, 즉, 실제 스피커들 사이에 이들 신호들을 패닝하도록 구성된 유닛을 나타낸다. 하부 반구 2D 패닝 유닛 (358) 은 구면으로 가중된 가상 라우드스피커 채널 신호들에 대해 2D 패닝을 수행하여 여러 하부 반구 물리적인 또는, 즉, 실제 스피커들 사이에 이들 신호들을 패닝하도록 구성된 유닛을 나타낸다.
도 14b 의 예에서, 3D 렌더링 결정 유닛 (48C') 은 3D 렌더링 결정 유닛 (48C') 이 구면 가중을 수행하지 않거나 또는 아니면 구면 가중 유닛 (352) 을 포함하지 않을 수도 있다는 점을 제외하고는, 도 14b 에 나타낸 것과 유사할 수도 있다.
어쨌든, 일반적으로, 라우드스피커 피드들은 각각의 라우드스피커가 구면 파를 발생한다고 가정함으로써 계산된다. 이러한 시나리오에서, 어떤 위치
Figure pct00028
에서, ℓ-번째 라우드스피커로 인한, (주파수의 함수로서) 압력이 다음과 같이 주어지며,
Figure pct00029
여기서,
Figure pct00030
는 ℓ-번째 라우드스피커의 위치를 나타내고,
Figure pct00031
는 (주파수 도메인에서) ℓ-번째 스피커의 라우드스피커 피드이다. 따라서, 모든 5개의 스피커들로 인한 전체 압력
Figure pct00032
은 다음과 같이 주어진다
Figure pct00033
우리는 또한 5개의 SHC 의 관점에서 전체 압력이 다음 방정식으로 주어진다는 것을 알고 있다:
Figure pct00034
상기 2개의 방정식들을 동일시하는 것 (equating) 은 우리가 변환 매트릭스를 이용하여 다음과 같이 SHC 의 관점에서 라우드스피커 피드들을 표현가능하게 한다:
Figure pct00035
이 수식은 5개의 라우드스피커 피드들과 선택된 SHC 사이의 직접적인 관계가 있다는 것을 나타낸다. 변환 매트릭스는 예를 들어, 어느 SHC 가 하위세트 (예컨대, 기본적인 세트) 에 사용되었는지 그리고 어느 SH 기저 함수의 정의가 사용되는지에 따라서 변할 수도 있다. 유사한 방법으로, 선택된 기본적인 세트로부터 상이한 채널 포맷 (예컨대, 7.1, 22.2) 으로 변환하는 변환 매트릭스가 구성될 수도 있다.
상기 수식에서의 변환 매트릭스가 스피커 피드들로부터 SHC 로의 변환을 가능하게 하지만, 우리는 SHC 에서 시작하여, 우리가 5개의 채널 피드들을 해결할 수 있도록, 그후, 디코더에서, 우리가 옵션적으로 SHC (진보된 (즉, 비-레거시) 렌더러들이 존재할 때) 로 다시 변환할 수 있도록, 매트릭스가 가역적이기를 원할 것이다.
매트릭스의 가역성을 보장하기 위해 상기 프레임워크를 조작하는 여러 방법들이 이용될 수 있다. 이들은 라우드스피커들의 위치를 변경하는 것 (예컨대, 5.1 시스템의 5개의 라우드스피커들 중 하나 이상의 위치들을, 그것들이 ITU-R BS.775-1 표준에 의해 규정된 각도 허용오차를 여전히 따르고; T-설계를 따르는 것들과 같은, 트랜스듀서들의 정규의 이간들 (regular spacings) 이 일반적으로 잘 거동되도록, 조정하는 것), 규칙화 (regularization) 기법들 (예컨대, 주파수-의존적인 규칙화) 및 풀 랭크 (full rank) 및 명확하게-정의된 고유치들을 보장하도록 종종 작용하는 여러 다른 매트릭스 조작 기법들을 포함하지만, 이에 한정되지 않는다. 마지막으로, 모든 조작 이후, 수정된 매트릭스가 정말 올바른 및/또는 허용가능한 라우드스피커 피드들을 발생하도록 심리-음향적으로 보장하기 위해 5.1 연주를 테스트하는 것이 바람직할 수도 있다. 가역성이 보존되는 한, SHC 에 대한 올바른 디코딩을 보장하는 가역 (inverse) 문제는 이슈가 아니다.
(디코더에서의 스피커 기하학적 구조를 지칭할 수도 있는) 일부 로컬 스피커 기하학적 구조들에 대해, 가역성을 보장하기 위해 상기 프레임워크를 조작하는 위에서 약술한 방법은 결코 바람직하지 못한 오디오-이미지 품질을 초래할 수도 있다. 즉, 사운드 재생이 캡쳐되는 오디오와 비교될 때 사운드들의 올바른 로컬리제이션을 항상 초래하지 않을 수도 있다. 이 결코 바람직하지 않은 이미지 품질을 교정하기 위해, 이 기법들은 "가상 스피커들" 로서 지칭될 수도 있는 컨셉을 도입하기 위해 추가로 확장될 수도 있다. 하나 이상의 라우드스피커들이 상기 언급된 ITU-R BS.775-1 와 같은 표준에 의해 규정된 어떤 각도 허용오차들을 갖는 공간의 특정의 또는 정의된 영역들에 재위치되거나 또는 위치되는 것을 요하는 대신, 상기 프레임워크는 벡터 베이스 진폭 패닝 (VBAP), 거리 기반의 진폭 패닝, 또는 다른 유형들의 패닝과 같은, 일부 유형의 패닝을 포함하도록 수정될 수도 있다. 예시의 목적을 위해 VBAP 에 초점을 맞추면, VBAP 는 "가상 스피커들" 로서 특징화될 수도 있는 것을 효과적으로 도입할 수도 있다. VBAP 는 일반적으로, 이들 하나 이상의 라우드스피커들이 가상 스피커를 지원하는 하나 이상의 라우드스피커들의 로케이션 및/또는 각도 중 적어도 하나와는 상이한 로케이션 및 각도 중 하나 이상에서의 가상 스피커로부터 유래하는 것처럼 보이는 사운드를 효과적으로 출력하도록, 하나 이상의 라우드스피커들에 대한 피드를 수정할 수도 있다.
예시하기 위하여, SHC 의 관점에서 라우드스피커 피드들을 결정하는 상기 방정식은 다음과 같이 수정될 수도 있다:
Figure pct00036
상기 방정식에서, VBAP 매트릭스는 사이즈 M 개의 로우들 곱하기 N 개의 칼럼들이고, 여기서, M 은 스피커들의 개수를 표시하며 (그리고 상기 방정식에서 5 와 동일할 것이며) N 은 가상 스피커들의 개수를 표시한다. VBAP 매트릭스는 청취자의 정의된 로케이션으로부터 스피커들의 위치들의 각각까지의 벡터들 및 청취자의 정의된 로케이션으로부터 가상 스피커들의 위치들의 각각까지의 벡터들의 함수로서 계산될 수도 있다. 상기 방정식에서 D 매트릭스는 사이즈 N 로우들 곱하기 (차수+1)2 칼럼들일 수도 있으며, 여기서, 차수는 SH 함수들의 차수를 지칭할 수도 있다. D 매트릭스는 다음 매트릭스를 나타낼 수도 있다:
Figure pct00037
실제로, VBAP 매트릭스는 스피커들의 로케이션 및 가상 스피커들의 위치에서 고려하는 "이득 조정" 으로서 지칭될 수도 있는 것을 제공하는 MxN 매트릭스이다. 이와 같이 패닝을 도입하는 것은 로컬 스피커 기하학적 구조에 의해 재생될 때 더 나은 품질 이미지를 초래하는 더 나은 멀티-채널 오디오의 재생을 초래할 수도 있다. 더욱이, VBAP 를 이 방정식에 통합함으로써, 이 기법들은 여러 표준들에 규정된 것들과 정렬되지 않는 빈약한 스피커 기하학적 구조들을 극복할 수도 있다.
실제는, 방정식은 아래에서 기하학적 구조 B 로서 지칭될 수도 있는 라우드스피커들의 특정의 기하학적 구조 또는 구성에 대해 멀티-채널 피드로 SHC 를 다시 변환하기 위해 반전되어 채용될 수도 있다. 즉, 방정식은 g 매트릭스를 풀기 위해 반전될 수도 있다. 반전된 방정식 (inverted equation) 은 다음과 같을 수도 있다:
Figure pct00038
g 매트릭스는 이 예에서, 5.1 스피커 구성에서 5개의 라우드스피커들의 각각에 대한 스피커 이득을 나타낼 수도 있다. 이 구성에서 사용되는 가상 스피커들 로케이션들은 5.1 멀티채널 포맷 사양 또는 표준에서 정의된 로케이션들에 대응할 수도 있다. 이들 가상 스피커들의 각각을 지원할 수도 있는 라우드스피커들의 로케이션은 임의 개수의 기지의 오디오 로컬리제이션 기법들을 이용하여 결정될 수도 있으며, 이 로컬리제이션 기법들 중 많은 것들은 (오디오/비디오 수신기 (A/V 수신기), 텔레비전, 게이밍 시스템, 디지털 비디오 디스크 시스템, 또는 다른 유형들의 헤드엔드 시스템들과 같은) 헤드엔드 유닛에 대해 각각의 라우드스피커의 로케이션을 결정하기 위해 특정의 주파수를 가지는 톤을 플레이하는 것을 수반한다. 이의 대안으로, 헤드엔드 유닛의 사용자는 라우드스피커들의 각각의 로케이션을 수동으로 규정할 수도 있다. 어쨌든, 이들 알려진 로케이션들 및 가능한 각도들이 주어지면, 헤드엔드 유닛은, VBAP 에 의한 가상 라우드스피커들의 이상적인 구성을 가정하여, 이득들을 구할 수도 있다.
이 점에서, 이 기법들은 디바이스 또는 장치로 하여금, 제 1 복수의 라우드스피커 채널 신호들에 대해 벡터 베이스 진폭 패닝 또는 다른 유형의 패닝을 수행시켜, 제 1 복수의 가상 라우드스피커 채널 신호들을 발생가능하게 할 수도 있다. 이들 가상 라우드스피커 채널 신호들은 이들 라우드스피커들로 하여금 가상 라우드스피커들로부터 유래하는 것처럼 보이는 사운드들을 발생가능하게 하는 라우드스피커들에 제공되는 신호들을 나타낼 수도 있다. 그 결과, 제 1 복수의 라우드스피커 채널 신호들에 대해 제 1 변환을 수행할 때, 이 기법들은 디바이스 또는 장치로 하여금, 제 1 복수의 가상 라우드스피커 채널 신호들에 대해 제 1 변환을 수행시켜, 음장을 기술하는 엘리먼트들의 계층적 세트를 발생가능하게 할 수도 있다.
더욱이, 이 기법들은 장치로 하여금, 엘리먼트들의 계층적 세트에 대해 제 2 변환을 수행시켜, 제 2 복수의 라우드스피커 채널 신호들을 발생가능하게 할 수도 있으며, 여기서, 제 2 복수의 라우드스피커 채널 신호들의 각각은 공간의 대응하는 상이한 영역과 연관되며 제 2 복수의 라우드스피커 채널 신호들은 제 2 복수의 가상 라우드스피커 채널들을 포함하며 제 2 복수의 가상 라우드스피커 채널 신호들은 공간의 대응하는 상이한 영역과 연관된다. 이 기법들은 일부 경우, 디바이스로 하여금 제 2 복수의 가상 라우드스피커 채널 신호들에 대해 벡터 베이스 진폭 패닝을 수행시켜 제 2 복수의 라우드스피커 채널 신호들을 발생가능하게 할 수도 있다.
상기 변환 매트릭스는 '모드 매칭' 기준들으로부터 유도되었지만, 대안 변환 매트릭스들은 압력 매칭, 에너지 매칭, 등과 같은, 다른 기준들로부터도 또한 유도될 수 있다. 기본적인 세트 (예컨대, SHC 하위세트) 와 전통적인 멀티채널 오디오 사이의 변환을 가능하게 하는 매트릭스가 유도될 수 있고, 그리고 (멀티채널 오디오의 신뢰성을 감소시키지 않는) 조작 이후, 또한 가역적인 약간 수정된 매트릭스가 또한 공식화될 수 있다는 점은 충분히 있을 수 있다.
일부의 경우, 패닝이 3차원 공간에서 수행된다는 의미에서 "3D 패닝" 으로서 또한 지칭될 수도 있는 위에서 설명된 패닝을 수행할 때, 상기 설명된 3D 패닝은 아티팩트들을 도입하거나 또는 아니면 스피커 피드들의 낮은 품질 플레이백을 초래할 수도 있다. 일 예로서 예시하기 위해, 위에서 설명된 3D 패닝이 도 15a 및 도 15b 에 나타낸 22.2 스피커 기하학적 구조에 대해 채용될 수도 있다.
도 15a 및 15b 는 동일한 22.2 스피커 기하학적 구조를 예시하며, 여기서 도 15a 에 나타낸 그래프에서 검은 점들은 (낮은 주파수 스피커들을 제외한) 모든 라우드스피커들 (22) 스피커들의 로케이션을 나타내며, 도 15b 는 이들 동일한 스피커들의 로케이션을 나타내지만 (음영처리된 반-구 뒤에 로케이트된 그들 스피커들을 차단하는) 이들 스피커들의 반-구 위치적인 성질을 추가적으로 정의한다. 어쨌든, 실제 스피커들 중 적은 수 (위에서 M 으로서 표시된 것의 개수) 가, 실제로 그 반-구에 청취자의 귀 아래에 있으며, 동시에, 청취자의 머리가 도 15a 및 도 15b 의 그래프들에서 (0, 0, 0) 의 (x, y, z) 지점 둘레의 반-구에 어딘가에 위치된다. 그 결과, 청취자의 머리 아래에서 스피커들을 가상화하기 위해 3D 패닝을 수행하려고 시도하는 것은 특히, 가상 스피커들의 위치들과 함께 도 12b 의 예에 나타낸, SHC 를 발생할 때 일반적으로 가정되는 바와 같이 전체 구 둘레에 균일하게 위치된 가상 스피커들을 갖는 32 개의 스피커 구 (및 비반-구) 기하학적 구조를 가상화하려고 할 때, 어려울 수도 있다.
본 개시물에서 설명하는 기법들에 따르면, 도 14a 의 예에 나타낸 3D 렌더러 결정 유닛 (48C) 은 가상 스피커가 구 기하학적 구조를 양분하는 수평면보다 낮은 구 기하학적 구조에 배열될 때, 가상 스피커를 수평면 상의 로케이션에 투영하고, 그리고, 재생된 음장이 가상 스피커의 예상된 로케이션으로부터 유래하는 것처럼 보이는 적어도 하나의 사운드를 포함하도록 음장을 재생하는 제 1 복수의 라우드스피커 채널 신호들을 발생시키면 음장을 기술하는 엘리먼트들의 계층적 세트에 대해 2차원 패닝을 수행하는 유닛을 나타낼 수도 있다.
수평면은 일부 경우, 구 기하학적 구조를 2개의 동등 부분들로 양분할 수도 있다. 도 16a 는 가상 스피커들이 본 개시물에서 설명되는 기법에 따라서 상방으로 투영되는 수평면 (402) 에 의해 양분되는 구 (400) 를 나타낸다. 가상 스피커들 (300A-300C), 여기서, 하부 가상 스피커 (300A-300C) 는, 2차원 계획 (planning) 을 도 14a 및 도 14b 의 예들과 관련하여 위에서 약술한 방법으로 수행하기 전에, 위에서 언급한 방법으로 수평면 (402) 상으로 투영된다. 구 (400) 를 동등하게 양분하는 수평면 (402) 상으로 투영되는 것으로 설명되지만, 이 기법들은 가상 스피커들을 구 (400) 내 임의의 수평면 (예컨대, 고도) 에 투영할 수도 있다.
도 16b 는 가상 스피커들이 본 개시물에서 설명하는 기법들에 따라서 하방으로 투영되는 수평면 (402) 에 의해 양분되는 구 (400) 을 나타낸다. 이 도 16b 의 예에서, 3D 렌더러 결정 유닛 (48C) 은 가상 스피커들 (300A-300C) 를 수평면 (402) 으로 아래로 투영할 수도 있다. 구 (400) 를 동등하게 양분하는 수평면 (402) 상으로 투영되는 것으로 설명되지만, 이 기법들은 가상 스피커들을 구 (400) 내 임의의 수평면 (예컨대, 고도) 에 투영할 수도 있다.
이러한 방법으로, 이 기법들은 3D 렌더러 결정 유닛 (48C) 으로 하여금 기하학적 구조로 배열된 복수의 가상 스피커들 중 하나의 위치에 대해 복수의 물리적 스피커들 중 하나의 위치를 결정하고, 그리고 그 결정된 위치에 기초하여 기하학적 구조 내에서 복수의 가상 스피커들 중 하나의 위치를 조정가능하게 할 수도 있다.
3D 렌더러 결정 유닛 (48C) 은 제 1 복수의 라우드스피커 채널 신호들을 발생시키면 엘리먼트들의 계층적 세트에 대해 2차원 패닝에 더해서 제 1 변환을 수행하도록 더 구성될 수도 있으며, 제 1 복수의 라우드스피커 채널 신호들의 각각은 공간의 대응하는 상이한 영역과 연관된다. 이 제 1 변환은 D-1 로서 위 방정식들에 반영될 수도 있다.
3D 렌더러 결정 유닛 (48C) 은 엘리먼트들의 계층적 세트에 대해 2차원 패닝을 수행할 때, 제 1 복수의 라우드스피커 채널 신호들을 발생시키면 엘리먼트들의 계층적 세트에 대해 2차원 벡터 베이스 진폭 패닝을 수행하도록 더 구성될 수도 있다.
일부의 경우, 제 1 복수의 라우드스피커 채널 신호들의 각각은 공간의 대응하는 상이한 정의된 영역과 연관된다. 더욱이, 공간의 상이한 정의된 영역들은 오디오 포맷 사양 및 오디오 포맷 표준 중 하나 이상에서 정의된다.
3D 렌더러 결정 유닛 (48C) 은 또한 또는 대안적으로, 가상 스피커가 구 기하학적 구조에서 수평면 근처에 구 기하학적 구조에서의 귀 레벨 또는 그 근처에 배열될 때, 재생된 음장이 가상 스피커의 로케이션으로부터 유래하는 것처럼 보이는 적어도 하나의 사운드를 포함하도록 음장을 재생하는 제 1 복수의 라우드스피커 채널 신호들을 발생시키면 음장을 기술하는 엘리먼트들의 계층적 세트에 대해 2차원 패닝을 수행하도록 구성될 수도 있다.
이 상황에서, 3D 렌더러 결정 유닛 (48C) 은 제 1 복수의 라우드스피커 채널 신호들을 발생시키면 엘리먼트들의 계층적 세트에 대한 2차원 패닝에 더해 (위에서 언급된 D-1 변환을 또한 지칭할 수도 있는) 제 1 변환을 수행하도록 더 구성될 수도 있으며, 여기서, 제 1 복수의 라우드스피커 채널 신호들의 각각은 공간의 대응하는 상이한 영역과 연관된다.
더욱이, 3D 렌더러 결정 유닛 (48C) 은 엘리먼트들의 계층적 세트에 대해 2차원 패닝을 수행할 때, 제 1 복수의 라우드스피커 채널 신호들을 발생시키면 엘리먼트들의 계층적 세트에 대해 2차원 벡터 베이스 진폭 패닝을 수행하도록 더 구성될 수도 있다.
일부의 경우, 제 1 복수의 라우드스피커 채널 신호들의 각각은 공간의 대응하는 상이한 정의된 영역과 연관된다. 게다가, 공간의 상이한 정의된 영역들은 오디오 포맷 사양 및 오디오 포맷 표준 중 하나 이상에 정의될 수도 있다.
대안적으로, 또는 본 개시물에서 설명하는 기법들의 다른 양태 중 임의의 양태와 함께, 디바이스 (10) 의 하나 이상의 프로세서들은 가상 스피커가 구 기하학적 구조에서 그 구 기하학적 구조를 양분하는 수평면 위에 배열될 때, 음장이 가상 스피커의 로케이션으로부터 유래하는 것처럼 보이는 적어도 하나의 사운드를 포함하도록 음장을 기술하는 제 1 복수의 라우드스피커 채널 신호들을 발생시키면 엘리먼트들의 계층적 세트에 대해 3차원 패닝을 수행하도록 더 구성될 수도 있다.
또, 이 상황에서, 3D 렌더러 결정 유닛 (48C) 은 제 1 복수의 라우드스피커 채널 신호들을 발생시키면 엘리먼트들의 계층적 세트에 대한 3차원 패닝에 더해 제 1 변환을 수행하도록 더 구성될 수도 있으며, 여기서, 제 1 복수의 라우드스피커 채널 신호들의 각각은 공간의 대응하는 상이한 영역과 연관된다.
더욱이, 3D 렌더러 결정 유닛 (48C) 은 제 1 복수의 라우드스피커 채널 신호들, 엘리먼트들의 계층적 세트에 대해 3차원 패닝을 수행할 때, 제 1 복수의 라우드스피커 채널 신호들을 발생시키면 엘리먼트들의 계층적 세트에 대해 3차원 벡터 베이스 진폭 패닝을 수행하도록 더 구성될 수도 있다. 일부의 경우, 제 1 복수의 라우드스피커 채널 신호들의 각각은 공간의 대응하는 상이한 정의된 영역과 연관된다. 게다가, 공간의 상이한 정의된 영역들은 오디오 포맷 사양 및 오디오 포맷 표준 중 하나 이상에 정의될 수도 있다.
대안적으로, 또는 본 개시물에서 설명하는 기법들의 다른 양태 중 임의의 양태와 함께, 3D 렌더러 결정 유닛 (48C) 은 엘리먼트들의 계층적 세트로부터의 복수의 라우드스피커 채널 신호들의 발생에서 3차원 패닝 및 2차원 패닝 양쪽을 수행할 때, 엘리먼트들의 계층적 세트의 각각의 차수에 기초하여 엘리먼트들의 계층적 세트에 대해 가중을 수행하도록 더 구성될 수도 있다.
3D 렌더러 결정 유닛 (48C) 은 가중을 수행할 때, 엘리먼트들의 계층적 세트의 각각의 차수에 기초하여 엘리먼트들의 계층적 세트에 대해 윈도우 함수를 수행하도록 더 구성될 수도 있다. 이 윈도우 함수는 도 17 의 예에 나타낼 수도 있으며, 여기서, Y-축은 데시벨들을 나타내고 X-축은 SHC 의 차수를 표시한다. 더욱이, 디바이스 (10) 의 하나 이상의 프로세서들은 가중을 수행할 때, 엘리먼트들의 계층적 세트의 각각의 차수에 기초하여 엘리먼트들의 계층적 세트에 대해, 일 예로서, Kaiser Bessle 윈도우 함수를 수행하도록 더 구성될 수도 있다.
이들 하나 이상의 프로세서들은 하나 이상의 프로세서들에 기인되는 여러 함수들을 수행하는 수단을 각각 나타낼 수도 있다. 다른 수단은 전용 애플리케이션 특정의 하드웨어, 필드 프로그래밍가능 게이트 어레이들, 주문형 집적회로들 또는 여러 양태들을 단독으로 또는 본 개시물에서 설명하는 기법들과 조합하여 수행할 수도 있는 소프트웨어를 실행하는 것이 가능하거나 전용인 임의의 다른 유형의 하드웨어를 포함할 수도 있다.
본 기법들에 의해 식별되어 잠재적으로 해결되는 문제는 다음과 같이 요약될 수도 있다. 고차 앰비소닉스 / 구면 고조파 계수들 서라운드-사운드 자료 (material) 의 충실한 플레이백을 위해, 라우드스피커들의 배열이 매우 중요할 수도 있다. 이상적으로는, 등거리인 라우드스피커들의 3차원의 구가 소망될 수도 있다. 실제 세계에서, 현재의 라우드스피커 셋업들은 일반적으로, 1) 동등하게 분산되지 않고, 2) 상부 반구에 청취자 둘레에 위에 존재하고 아래 하부 반구에 존재하지 않으며, 3) 레거시 지원 (예컨대, 5.1 스피커 셋업) 을 위해 귀들의 높이에서 라우드스피커들의 링을 대개 갖는다. 문제를 해결할 수도 있는 하나의 전략은, 이상적인 라우드스피커 레이아웃 (아래에서, "t-설계" 로 지칭됨) 을 사실상 생성하고, 이들 가상 라우드스피커들을 실제 (비-이상적으로 위치된) 라우드스피커들 상으로 3차원의 벡터 베이스 진폭 패닝 (3D-VBAP) 방법을 통해 투영하는 것이다. 그렇다 하더라도, 이것은 하부 반구로부터의 가상 라우드스피커들의 투영이 강한 로컬리제이션 에러들 및 플레이백의 품질을 열화시키는 다른 지각의 아티팩트들을 일으킬 수 있기 때문에 문제에 대한 최적의 솔루션을 나타내지 않을 수도 있다.
본 개시물에서 설명하는 기법들의 여러 양태는 상기 약술한 전략의 결함들을 극복할 수도 있다. 이 기법들은 가상 라우드스피커 신호들의 상이한 처리를 제공할 수도 있다: 본 기법들의 제 1 양태들은, 디바이스 (10) 로 하여금, 하부 반구로부터 유래하는 가상 라우드스피커들을 수평면 상으로 직각으로 맵핑하고 2차원 패닝 방법을 이용하여 2개의 가장 가까운 실제 라우드스피커들 상으로 투영될 수 있게 할 수도 있다. 그 결과, 본 기법들의 제 1 양태는 잘못 투영된 가상 라우드스피커들에 의해 초래되는 로컬리제이션 에러들을 최소화하거나, 감소시키거나 또는 제거할 수도 있다. 둘째, 귀들의 높이에 (또는, 주변에) 있는 상부 반구에서 가상 라우드스피커들은 또한 2개의 가장 가까운 라우드스피커들을 본 개시물에서 설명하는 기법들의 제 2 양태들에 따른 2차원 패닝 방법을 이용하여 투영될 수도 있다. 이 제 2 변경에 숨겨진 이유는 인간들이 방위각 방향의 지각과 비교해서, 높인 사운드 소스들의 지각에서 정확하지 않을 수도 있다는 점일 것이다. VBAP 가 가상 사운드 소스의 방위각 방향의 생성에서 정확한 것으로 일반적으로 알려져 있지만, 높인 사운드들의 생성에서 상대적으로 부정확하다 - 종종 그 인지된 가상 사운드들 소스들은 의도된 것보다 더 높은 고도에서 인지된다. 본 기법들의 제 2 양태는 그로부터 이점을 취할 수 없고 심지어 열화된 품질을 초래할 수도 있는 공간 영역에서 3D-VBAP 를 이용하는 것을 회피한다.
본 기법들의 제 3 양태는 귀 레벨 위에서 상부 반구의 모든 나머지 가상 라우드스피커들이 종래의 3차원의 패닝 방법을 이용하여 투영되는 것이다. 일부의 경우, 본 기법들의 제 4 양태가 수행될 수도 있으며, 여기서, 모든 고차 앰비소닉스 / 구면 고조파 계수들 서라운드-사운드 자료가 자료의 더 매끈한 공간 재생을 증가시키기 위해 구면 고조파들 차수의 함수로서 가중 함수를 이용하여 가중된다. 이것은, 2D 및 3D 패닝된 가상 라우드스피커들의 에너지를 매칭하는데 잠재적으로 유익한 것으로 나타내었다.
본 개시물에서 설명하는 기법들의 각각의 양태를 수행하는 것으로 나타내지만, 3D 렌더러 결정 유닛 (48C) 은 본 개시물에서 설명되는 양태들의 임의의 조합을 수행하여, 4개의 양태들 중 하나 이상을 수행할 수도 있다. 일부의 경우, 구면 고조파 계수들을 발생하는 상이한 디바이스는 본 기법들의 여러 양태들을 반대의 방법으로 수행할 수도 있다. 장황함을 피하기 위해 자세히 설명되지 않지만, 본 개시물의 기법들은 도 14a 의 예에 엄격히 제한되지 않아야 한다.
상기 섹션은 5.1 호환 시스템들에 대한 설계를 설명하였다. 따라서 세부 사항들은 상이한 목표 포맷들에 대해 조정될 수도 있다. 일 예로서, 7.1 시스템들에 대한 호환성을 가능하게 하기 위해, 2개의 여분의 오디오 콘텐츠 채널들이 호환가능한 요구사항에 추가되며, 매트릭스가 가역가능하도록 2개의 더 많은 SHC 가 기본적인 세트에 추가될 수도 있다. 7.1 시스템들 (예컨대, Dolby TrueHD) 을 위한 대다수 라우드스피커 배열이 수평면 상에 여전히 있기 때문에, SHC 의 선택은 높이 정보를 가진 것들을 여전히 제외할 수 있다. 이러한 방법으로, 수평면 신호 렌더링은 렌더링 시스템에서의 추가된 라우드스피커 채널들로부터 이점을 취할 것이다. 높이 다이버시티를 가진 라우드스피커들을 포함하는 시스템 (예컨대, 9.1, 11.1 및 22.2 시스템들) 에서, 높이 정보를 가진 SHC 를 기본적인 세트에 포함하는 것이 바람직할 수도 있다. 스테레오 및 모노와 같은 더 적은 개수의 채널들에 대해, 5.1 솔루션들은 콘텐츠 정보를 유지하기 위해 다운믹싱을 커버하기에 충분할 수도 있다.
따라서 상기는 엘리먼트들의 계층적 세트 (예컨대, SHC 의 세트) 와 다수의 오디오 채널들 사이에 변환하는 무손실 메카니즘을 기술한다. 멀티채널 오디오 신호들이 추가적인 코딩 잡음을 겪지 않는 한, 어떤 에러들도 초래되지 않는다. 그것들이 코딩 잡음을 겪는 경우, SHC 에 대한 변환은 에러들을 초래할 수도 있다. 그러나, 그것들의 효과를 감소시키기 위해 계수들의 값들을 모니터링하여 적당한 액션을 취함으로써 이들 에러들에 대해 고려하는 것이 가능하다. 이들 방법들은 SHC 표현에서의 고유의 리던던시를 포함하여, SHC 의 특성들을 고려할 수도 있다.
본원에서 설명되는 접근법은 음장들의 SHC-기반의 표현의 사용에서 잠재적인 단점에 대한 솔루션을 제공한다. 이 솔루션이 없이, SHC-기반의 표현은 수백만의 레거시 플레이백 시스템들에서 기능을 가지지 않음으로써 부과되는 상당한 단점으로 인해, 효율적으로 사용되지 않을 수도 있다.
따라서, 이 기법들은 제 1 예에서, 복수의 물리적 스피커들 중 하나와 기하학적 구조로 배열되는 복수의 가상 스피커들 중 하나 사이의 위치에서의 차이를 결정하는 수단, 예컨대, 렌더러 결정 유닛 (40); 및 결정된 위치에서의 차이에 기초하여, 기하학적 구조 내에서 복수의 가상 스피커들 중 하나의 위치를 조정하는 수단, 예컨대, 렌더러 결정 유닛 (40) 을 포함하는 디바이스를 제공할 수도 있다.
제 2 예에서, 제 1 예의 디바이스에 있어서, 위치에서의 차이를 결정하는 수단은 복수의 물리적 스피커들 중 하나와 복수의 가상 스피커들 중 하나 사이의 고도에서의 차이를 결정하는 수단, 예컨대, 3D 렌더러 결정 유닛 (48C) 을 포함한다.
제 3 예에서, 제 1 예의 디바이스에 있어서, 도 8a 내지 도 9 및 도 14a 내지 도 16b 의 예들과 관련하여 위에서 좀더 자세하게 설명한 바와 같이, 위치에서의 차이를 결정하는 수단은 복수의 물리적 스피커들 중 하나와 복수의 가상 스피커들 중 하나 사이의 고도에서의 차이를 결정하는 수단을 포함하며, 복수의 가상 스피커들 중 하나의 위치를 조정하는 수단은 결정된 고도에서의 차이가 임계값을 초과하면, 복수의 가상 스피커들 중 하나를 복수의 가상 스피커들의 원래 고도보다 낮은 고도에 투영하는 수단을 포함한다.
제 4 예에서, 제 1 예의 디바이스에 있어서, 도 8a 내지 도 9 및 도 14a 내지 도 16b 의 예들과 관련하여 위에서 좀더 자세하게 설명한 바와 같이, 위치에서의 차이를 결정하는 수단은 복수의 물리적 스피커들 중 하나와 복수의 가상 스피커들 중 하나 사이의 고도에서의 차이를 결정하는 수단을 포함하며, 복수의 가상 스피커들 중 하나의 위치를 조정하는 수단은 결정된 고도에서의 차이가 임계값을 초과하면, 복수의 가상 스피커들 중 하나를 복수의 가상 스피커들 중 하나의 원래 고도보다 더 높은 고도에 투영하는 수단을 포함한다.
제 5 예에서, 제 1 예의 디바이스에 있어서, 도 8a 및 도 8b 의 예들과 관련하여 위에서 좀더 자세하게 설명한 바와 같이, 재생된 음장이 가상 스피커의 조정된 로케이션으로부터 유래하는 것처럼 보이는 적어도 하나의 사운드를 포함하도록, 음장을 재생하기 위해 복수의 물리적 스피커들을 구동하기 위해서 복수의 라우드스피커 채널 신호들을 발생시키면 음장을 기술하는 엘리먼트들의 계층적 세트에 대해 2차원 패닝을 수행하는 수단을 더 포함한다.
제 6 예에서, 제 5 예의 디바이스에 있어서, 엘리먼트들의 계층적 세트는 복수의 구면 고조파 계수들을 포함한다.
제 7 예에서, 제 5 예의 디바이스에 있어서, 도 8a 및 도 8b 의 예들과 관련하여 위에서 좀더 자세하게 설명한 바와 같이, 엘리먼트들의 계층적 세트에 대해 2차원 패닝을 수행하는 수단은 복수의 라우드스피커 채널 신호들을 발생시키면 엘리먼트들의 계층적 세트에 대해 2차원 벡터 기반의 진폭 패닝을 수행하는 수단을 포함한다.
제 8 예에서, 제 1 예의 디바이스에 있어서, 도 8a 내지 도 12b 의 예들과 관련하여 위에서 좀더 자세하게 설명한 바와 같이, 복수의 물리적 스피커들의 대응하는 하나 이상의 위치들과는 상이한 하나 이상의 스트레치된 물리적 스피커 위치들을 결정하는 수단을 더 포함한다.
제 9 예에서, 제 1 예의 디바이스에 있어서, 도 8a 내지 도 12b 의 예들과 관련하여 위에서 좀더 자세하게 설명한 바와 같이, 복수의 물리적 스피커들의 대응하는 하나 이상의 위치들과는 상이한 하나 이상의 스트레치된 물리적 스피커 위치들을 결정하는 수단을 더 포함하며, 위치에서의 차이를 결정하는 수단은 복수의 가상 스피커들 중 하나의 위치에 대한 스트레치된 물리적 스피커 위치들 중 적어도 하나 사이의 차이를 결정하는 수단을 포함한다.
제 10 예에서, 제 1 예의 디바이스에 있어서, 도 8a 내지 도 12b 및 도 14a 내지 도 16b 의 예들과 관련하여 위에서 좀더 자세하게 설명한 바와 같이, 복수의 물리적 스피커들의 대응하는 하나 이상의 위치들과는 상이한 하나 이상의 스트레치된 물리적 스피커 위치들을 결정하는 수단을 더 포함하며, 위치에서의 차이를 결정하는 수단은 스트레치된 물리적 스피커 위치들 중 적어도 하나와 복수의 가상 스피커들 중 하나의 위치 사이의 고도에서의 차이를 결정하는 수단을 포함하며, 복수의 가상 스피커들 중 하나의 위치를 조정하는 수단은 결정된 고도에서의 차이가 임계값을 초과하면 복수의 가상 스피커들 중 하나를 복수의 가상 스피커들의 원래 고도보다 낮은 고도에 투영하는 수단을 포함한다.
제 11 예에서, 제 1 예의 디바이스에 있어서, 도 8a 내지 도 12b 및 도 14a 내지 도 16b 의 예들과 관련하여 위에서 좀더 자세하게 설명한 바와 같이, 복수의 물리적 스피커들의 대응하는 하나 이상의 위치들과는 상이한 하나 이상의 스트레치된 물리적 스피커 위치들을 결정하는 수단을 더 포함하며, 위치에서의 차이를 결정하는 수단은 스트레치된 물리적 스피커 위치들 중 적어도 하나와 복수의 가상 스피커들 중 하나의 위치 사이의 고도에서의 차이를 결정하는 수단을 포함하며, 복수의 가상 스피커들 중 하나의 위치를 조정하는 수단은 결정된 고도에서의 차이가 임계값을 초과하면 복수의 가상 스피커들 중 하나를 복수의 가상 스피커들의 원래 고도보다 높은 고도에 투영하는 수단을 포함한다.
제 12 예에서, 제 1 예의 디바이스에 있어서, 도 8a 내지 도 12b 및 도 14a 내지 도 16b 의 예들과 관련하여 위에서 좀더 자세하게 설명한 바와 같이, 복수의 가상 스피커들은 구면 기하학적 구조로 배열된다.
제 13 예에서, 제 1 예의 디바이스에 있어서, 복수의 가상 스피커들은 다면체 기하학적 구조로 배열된다. 예시의 용이 목적들을 위해 본 개시물의 도 1 내지 도 17 에 의해 예시되는 예들 중 임의의 예로 나타내지만, 이 기법들은 몇 개 예들을 들자면, 정육면체 기하학적 구조, 12면체 기하학적 구조, 20면체 기하학적 구조, 마름모꼴 30면체 기하학적 구조, 프리즘 기하학적 구조, 및 피라미드 기하학적 구조과 같은, 임의 유형의 다면체 기하학적 구조를 포함한, 임의의 가상 스피커 기하학적 구조에 대해 수행될 수도 있다.
제 14 예에서, 제 1 예의 디바이스에 있어서, 복수의 물리적 스피커들은 불규칙적인 스피커 기하학적 구조로 배열된다.
제 15 예에서, 제 1 예의 디바이스에 있어서, 복수의 물리적 스피커들은 다수의 상이한 수평면들 상에 불규칙적인 스피커 기하학적 구조로 배열된다.
이 예에 따라서, 본원에서 설명하는 방법들 중 임의의 방법의 어떤 행위들 또는 이벤트들이 상이한 시퀀스로 수행될 수 있거나, 전체적으로 추가되거나, 병합되거나, 또는 배제될 수도 있는 (예컨대, 모든 설명된 행위들 (acts) 또는 이벤트들이 방법의 실시에 필요한 것은 아닌) 것으로 이해되어야 한다. 더욱이, 어떤 예들에서, 행위들 또는 이벤트들은 순차적으로 보다는, 동시에, 예컨대, 멀티-쓰레드된 프로세싱, 인터럽트 프로세싱, 또는 다수의 프로세서들을 통해서 수행될 수도 있다. 게다가, 본 개시물의 어떤 양태들이 명료성의 목적들을 위해 단일 디바이스, 모듈 또는 유닛에 의해 수행되는 것으로 설명되지만, 본 개시물의 기법들은 디바이스들, 유닛들 또는 모듈들의 조합에 의해 수행될 수도 있는 것으로 이해되어야 한다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 그 기능들은 하나 이상의 명령들 또는 코드로서, 컴퓨터-판독가능 매체 상에 저장되거나 또는 컴퓨터-판독가능 매체를 통해서 송신될 수도 있으며, 하드웨어-기반의 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터-판독가능 매체는 컴퓨터-판독가능 저장 매체들을 포함할 수도 있으며, 이 컴퓨터-판독가능 저장 매체들은 데이터 저장 매체와 같은 유형의 매체, 또는 예컨대, 통신 프로토콜에 따라서 한 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함한 통신 매체들에 대응한다.
이런 방법으로, 컴퓨터-판독가능 매체들은 일반적으로 (1) 비일시성 유형의 컴퓨터-판독가능 저장 매체, 또는 (2) 신호 또는 캐리어 파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는 본 개시물에서 설명하는 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수도 있다.
일 예로서, 이에 한정하지 않고, 이런 컴퓨터-판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광디스크 스토리지, 자기디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터-판독가능 매체로 적절히 지칭된다. 예를 들어, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 무선 기술들, 예컨대 적외선, 라디오, 및 마이크로파를 이용하여 명령들이 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 무선 기술들 예컨대 적외선, 라디오, 및 마이크로파가 그 매체의 정의에 포함된다.
그러나, 컴퓨터-판독가능 저장 매체 및 데이터 저장 매체는 접속부들, 반송파들, 신호들, 또는 다른 일시성 매체를 포함하지 않고, 그 대신, 비-일시성 유형의 저장 매체로 송신되는 것으로 해석되어야 한다. 디스크 (disk) 및 디스크 (disc) 는, 본원에서 사용될 때, 컴팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 Blu-ray 디스크를 포함하며, 디스크들 (disks) 은 데이터를 자기적으로 보통 재생하지만, 디스크들 (discs) 은 레이저로 데이터를 광학적으로 재생한다. 앞에서 언급한 것들의 결합들이 또한 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 디지털 신호 프로세서들 (DSPs), 범용 마이크로프로세서들, 주문형 집적회로들 (ASICs), 필드 프로그래밍가능 로직 어레이들 (FPGAs), 또는 다른 등가의 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 용어 "프로세서" 는, 본원에서 사용될 때 전술한 구조 중 임의의 구조 또는 본원에서 설명하는 기법들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 게다가, 일부 양태들에서, 본원에서 설명하는 기능 전용 하드웨어 및/또는 인코딩 및 디코딩을 위해 구성되는 소프트웨어 모듈들 내에 제공되거나, 또는 결합된 코덱에 포함될 수도 있다. 또한, 이 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들로 전적으로 구현될 수 있다.
본 개시물의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예컨대, 칩 세트) 를 포함한, 매우 다양한 디바이스들 또는 장치들로 구현될 수도 있다. 개시한 기법들을 수행하도록 구성되는 디바이스들의 기능적 양태들을 강조하기 위해서 여러 구성요소들, 모듈들, 또는 유닛들이 본 개시물에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하지는 않는다. 대신, 위에서 설명한 바와 같이, 여러 유닛들이 코덱 하드웨어 유닛에 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명한 바와 같은 하나 이상의 프로세서들을 포함한, 상호작용하는 하드웨어 유닛들의 컬렉션으로 제공될 수도 있다.
본 기법들의 여러 실시형태들이 설명되었다. 이들 및 다른 실시형태들은 다음 청구항들의 범위 이내이다.

Claims (30)

  1. 음장을 나타내는 구면 고조파 계수들의 재생에 이용되는 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정하는 단계; 및
    상기 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원 렌더러를 결정하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    멀티-채널 오디오 데이터를 발생시키기 위해 결정된 상기 2차원 또는 3차원 렌더러를 이용하여 상기 구면 고조파 계수들을 렌더링하는 단계를 더 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원 렌더러를 결정하는 단계는, 상기 로컬 스피커 기하학적 구조가 스테레오 스피커 기하학적 구조를 따르면, 2차원 스테레오 렌더러를 결정하는 단계를 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원 렌더러를 결정하는 단계는, 상기 로컬 스피커 기학학적 구조가 2개보다 많은 스피커들을 갖는 수평 멀티-채널 스피커 기하학적 구조에 따르면, 수평 2차원 멀티-채널 렌더러를 결정하는 단계를 포함하는, 방법.
  5. 제 4 항에 있어서,
    상기 수평 2차원 멀티-채널 렌더러를 결정하는 단계는, 결정된 상기 로컬 스피커 기하학적 구조가 불규칙적인 스피커 기하학적 구조를 나타내면, 불규칙적인 수평 2차원 멀티-채널 렌더러를 결정하는 단계를 포함하는, 방법.
  6. 제 4 항에 있어서,
    상기 수평 2차원 멀티-채널 렌더러를 결정하는 단계는, 결정된 상기 로컬 스피커 기하학적 구조가 규칙적인 스피커 기하학적 구조를 나타내면, 규칙적인 수평 2차원 멀티-채널 렌더러를 결정하는 단계를 포함하는, 방법.
  7. 제 1 항에 있어서,
    상기 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원 렌더러를 결정하는 단계는, 상기 로컬 스피커 기하학적 구조가 1개보다 많은 수평면 상에서 2개보다 많은 스피커들을 갖는 3차원 멀티-채널 스피커 기하학적 구조를 따르면, 3차원 멀티-채널 렌더러를 결정하는 단계를 포함하는, 방법.
  8. 제 7 항에 있어서,
    상기 3 차원 멀티-채널 렌더러를 결정하는 단계는, 결정된 상기 로컬 스피커 기하학적 구조가 불규칙적인 스피커 기하학적 구조를 나타내면, 불규칙적인 3차원 멀티-채널 렌더러를 결정하는 단계를 포함하는, 방법.
  9. 제 7 항에 있어서,
    상기 3차원 멀티-채널 렌더러를 결정하는 단계는, 결정된 상기 로컬 스피커 기하학적 구조가 거의 규칙적인 스피커 기하학적 구조를 나타내면, 거의 규칙적인 3차원 멀티-채널 렌더러를 결정하는 단계를 포함하는, 방법.
  10. 제 7 항에 있어서,
    상기 3차원 멀티-채널 렌더러를 결정하는 단계는, 결정된 상기 로컬 스피커 기하학적 구조가 규칙적인 스피커 기하학적 구조를 나타내면, 규칙적인 3차원 멀티-채널 렌더러를 결정하는 단계를 포함하는, 방법.
  11. 제 1 항에 있어서,
    상기 렌더러를 결정하는 단계는,
    상기 구면 고조파 계수들이 연관되는 구면 기저 함수들의 허용된 차수를 결정하는 단계로서, 상기 허용된 차수는 결정된 상기 로컬 스피커 기하학적 구조가 주어지면 상기 구면 고조파 계수들 중 렌더링되도록 요구되는 계수들을 식별하는, 상기 구면 기저 함수들의 허용된 차수를 결정하는 단계; 및
    결정된 상기 허용된 차수에 기초하여 상기 렌더러를 결정하는 단계를 포함하는, 방법.
  12. 제 1 항에 있어서,
    상기 2차원 또는 3차원 렌더러를 결정하는 단계는,
    상기 구면 고조파 계수들이 연관되는 구면 기저 함수들의 허용된 차수를 결정하는 단계로서, 상기 허용된 차수는 결정된 상기 로컬 스피커 기하학적 구조가 주어지면 상기 구면 고조파 계수들 중 렌더링되도록 요구되는 계수들을 식별하는, 상기 구면 기저 함수들의 허용된 차수를 결정하는 단계; 및
    상기 2 차원 또는 3차원 렌더러가 오직 결정된 상기 허용된 차수 이하의 차수를 갖는 구면 기저 함수들과 연관된 상기 구면 고조파 계수들의 계수들만을 렌더링하도록 상기 2차원 또는 3차원 렌더러를 결정하는 단계를 포함하는, 방법.
  13. 제 1 항에 있어서,
    상기 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정하는 단계는, 상기 로컬 스피커 기하학적 구조를 기술하는 로컬 스피커 기하학적 구조 정보를 규정하는 청취자로부터의 입력을 수신하는 단계를 포함하는, 방법.
  14. 제 1 항에 있어서,
    상기 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원 렌더러를 결정하는 단계는, 상기 로컬 스피커 기하학적 구조가 모노 스피커 기하학적 구조를 따르면, 모노 렌더러를 결정하는 단계를 포함하는, 방법.
  15. 디바이스로서,
    음장을 나타내는 구면 고조파 계수들의 재생에 이용되는 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정하고, 결정된 상기 로컬 스피커 기하학적 구조에 기초하여 상기 디바이스가 동작하게 구성하도록 구성된 하나 이상의 프로세서들을 포함하는, 디바이스.
  16. 제 15 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 결정된 로컬 스피커 기하학적 구조에 기초하여 상기 디바이스가 동작하게 구성되면, 상기 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원 렌더러를 결정하고, 결정된 상기 2차원 또는 3차원 렌더러에 따라 상기 디바이스가 동작하게 구성하도록 더 구성되는, 디바이스.
  17. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은, 멀티-채널 오디오 데이터를 발생시키기 위해 상기 결정된 2차원 또는 3차원 렌더러를 이용하여 상기 구면 고조파 계수들을 렌더링하도록 더 구성되는, 디바이스.
  18. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 로컬 스피커 기하학적 구조에 기초하여 상기 2차원 또는 3차원 렌더러를 결정할 때, 상기 로컬 스피커 기하학적 구조가 스테레오 스피커 기하학적 구조를 따르면, 2차원 스테레오 렌더러를 결정하도록 더 구성되는, 디바이스.
  19. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 로컬 스피커 기하학적 구조에 기초하여 상기 2차원 또는 3차원 렌더러를 결정할 때, 상기 로컬 스피커 기하학적 구조가 2개보다 많은 스피커들을 갖는 수평 멀티-채널 스피커 기하학적 구조를 따르면, 수평 2차원 멀티-채널 렌더러를 결정하도록 더 구성되는, 디바이스.
  20. 제 19 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 수평 2차원 멀티-채널 렌더러를 결정할 때, 상기 결정된 로컬 스피커 기하학적 구조가 불규칙적인 스피커 기하학적 구조를 나타내면, 불규칙적인 수평 2차원 멀티-채널 렌더러를 결정하도록 더 구성되는, 디바이스.
  21. 제 19 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 수평 2차원 멀티-채널 렌더러를 결정할 때, 상기 결정된 로컬 스피커 기하학적 구조가 규칙적인 스피커 기하학적 구조를 나타내면, 규칙적인 수평 2차원 멀티-채널 렌더러를 결정하도록 더 구성되는, 디바이스.
  22. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 로컬 스피커 기하학적 구조에 기초하여 상기 2차원 또는 3차원 렌더러를 결정할 때, 상기 로컬 스피커 기하학적 구조가 1개보다 많은 수평면 상에서 2개보다 많은 스피커들을 갖는 3 차원 멀티-채널 스피커 기하학적 구조를 따르면, 3차원 멀티-채널 렌더러를 결정하도록 더 구성되는, 디바이스.
  23. 제 22 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 3차원 멀티-채널 렌더러를 결정할 때, 상기 결정된 로컬 스피커 기하학적 구조가 불규칙적인 스피커 기하학적 구조를 나타내면, 불규칙적인 3차원 멀티-채널 렌더러를 결정하도록 더 구성되는, 디바이스.
  24. 제 22 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 3차원 멀티-채널 렌더러를 결정할 때, 상기 결정된 로컬 스피커 기하학적 구조가 거의 규칙적인 스피커 기하학적 구조를 나타내면, 거의 규칙적인 3차원 멀티-채널 렌더러를 결정하도록 더 구성되는, 디바이스.
  25. 제 22 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 3차원 멀티-채널 렌더러를 결정할 때, 상기 결정된 로컬 스피커 기하학적 구조가 규칙적인 스피커 기하학적 구조를 나타내면, 규칙적인 3차원 멀티-채널 렌더러를 결정하도록 더 구성되는, 디바이스.
  26. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 렌더러를 결정할 때, 상기 구면 고조파 계수들이 연관되는 구면 기저 함수들의 허용된 차수를 결정하고, 결정된 상기 허용된 차수에 기초하여 상기 렌더러를 결정하도록 더 구성되고,
    상기 허용된 차수는 상기 결정된 로컬 스피커 기하학적 구조가 주어지면 상기 구면 고조파 계수들 중 렌더링되도록 요구되는 계수들을 식별하는, 디바이스.
  27. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 2차원 또는 3차원 렌더러를 결정할 때, 상기 구면 고조파 계수들이 연관되는 구면 기저 함수들의 허용된 차수를 결정하고, 상기 2차원 또는 3차원 렌더러가 오직 결정된 상기 허용된 차수 이하의 차수를 갖는 구면 기저 함수들과 연관된 상기 구면 고조파 계수들의 계수만들을 렌더링하도록 상기 2차원 또는 3차원 렌더러를 결정하도록 더 구성되고,
    상기 허용된 차수는 상기 결정된 로컬 스피커 기하학적 구조가 주어지면 상기 구면 고조파 계수들 중 렌더링되도록 요구되는 계수들을 식별하는, 디바이스.
  28. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 하나 이상의 스피커들의 상기 로컬 스피커 기하학적 구조를 결정할 때, 상기 로컬 스피커 기하학적 구조를 기술하는 로컬 스피커 기하학적 구조 정보를 규정하는 청취자로부터의 입력을 수신하도록 더 구성되는, 디바이스.
  29. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 로컬 스피커 기하학적 구조에 기초하여 상기 2차원 또는 3차원 렌더러를 결정할 때, 상기 로컬 스피커 기하학적 구조가 모노 스피커 기하학적 구조를 따르면, 모노 렌더러를 결정하도록 더 구성되는, 디바이스.
  30. 명령들일 저장된 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 실행될 때, 하나 이상의 프로세서들로 하여금,
    음장을 나타내는 구면 고조파 계수들의 재생에 이용되는 하나 이상의 스피커들의 로컬 스피커 기하학적 구조를 결정하게 하고;
    상기 로컬 스피커 기하학적 구조에 기초하여 2차원 또는 3차원 렌더러를 결정하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020157023104A 2013-02-07 2014-02-07 구면 고조파 계수들에 대한 렌더들 결정 KR101877604B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361762302P 2013-02-07 2013-02-07
US61/762,302 2013-02-07
US201361829832P 2013-05-31 2013-05-31
US61/829,832 2013-05-31
US14/174,784 US9736609B2 (en) 2013-02-07 2014-02-06 Determining renderers for spherical harmonic coefficients
US14/174,784 2014-02-06
PCT/US2014/015311 WO2014124264A1 (en) 2013-02-07 2014-02-07 Determining renderers for spherical harmonic coefficients

Publications (2)

Publication Number Publication Date
KR20150115823A true KR20150115823A (ko) 2015-10-14
KR101877604B1 KR101877604B1 (ko) 2018-07-12

Family

ID=51259222

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157023103A KR20150115822A (ko) 2013-02-07 2014-02-07 물리적 스피커들에 가상 스피커들을 맵핑하기
KR1020157023104A KR101877604B1 (ko) 2013-02-07 2014-02-07 구면 고조파 계수들에 대한 렌더들 결정

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157023103A KR20150115822A (ko) 2013-02-07 2014-02-07 물리적 스피커들에 가상 스피커들을 맵핑하기

Country Status (7)

Country Link
US (2) US9736609B2 (ko)
EP (2) EP2954703B1 (ko)
JP (2) JP6309545B2 (ko)
KR (2) KR20150115822A (ko)
CN (2) CN104956695B (ko)
TW (2) TWI611706B (ko)
WO (2) WO2014124268A1 (ko)

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US8923997B2 (en) 2010-10-13 2014-12-30 Sonos, Inc Method and apparatus for adjusting a speaker system
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US8811630B2 (en) 2011-12-21 2014-08-19 Sonos, Inc. Systems, methods, and apparatus to filter audio
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9524098B2 (en) 2012-05-08 2016-12-20 Sonos, Inc. Methods and systems for subwoofer calibration
USD721352S1 (en) 2012-06-19 2015-01-20 Sonos, Inc. Playback device
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9668049B2 (en) 2012-06-28 2017-05-30 Sonos, Inc. Playback device calibration user interfaces
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US9288603B2 (en) 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
US9473870B2 (en) * 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US8965033B2 (en) 2012-08-31 2015-02-24 Sonos, Inc. Acoustic optimization
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9736609B2 (en) 2013-02-07 2017-08-15 Qualcomm Incorporated Determining renderers for spherical harmonic coefficients
EP2765791A1 (en) * 2013-02-08 2014-08-13 Thomson Licensing Method and apparatus for determining directions of uncorrelated sound sources in a higher order ambisonics representation of a sound field
USD721061S1 (en) 2013-02-25 2015-01-13 Sonos, Inc. Playback device
CN108430031B (zh) 2013-04-26 2021-02-26 索尼公司 声音处理设备和方法
EP2991383B1 (en) 2013-04-26 2021-01-27 Sony Corporation Audio processing device and audio processing system
US9412385B2 (en) * 2013-05-28 2016-08-09 Qualcomm Incorporated Performing spatial masking with respect to spherical harmonic coefficients
US9466305B2 (en) 2013-05-29 2016-10-11 Qualcomm Incorporated Performing positional analysis to code spherical harmonic coefficients
US20140355769A1 (en) 2013-05-29 2014-12-04 Qualcomm Incorporated Energy preservation for decomposed representations of a sound field
US9998845B2 (en) * 2013-07-24 2018-06-12 Sony Corporation Information processing device and method, and program
JP6412931B2 (ja) * 2013-10-07 2018-10-24 ドルビー ラボラトリーズ ライセンシング コーポレイション 空間的オーディオ・システムおよび方法
KR102231755B1 (ko) 2013-10-25 2021-03-24 삼성전자주식회사 입체 음향 재생 방법 및 장치
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US9489955B2 (en) 2014-01-30 2016-11-08 Qualcomm Incorporated Indicating frame parameter reusability for coding vectors
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US10412522B2 (en) 2014-03-21 2019-09-10 Qualcomm Incorporated Inserting audio channels into descriptions of soundfields
US20170086005A1 (en) * 2014-03-25 2017-03-23 Intellectual Discovery Co., Ltd. System and method for processing audio signal
US9852737B2 (en) 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
US9620137B2 (en) 2014-05-16 2017-04-11 Qualcomm Incorporated Determining between scalar and vector quantization in higher order ambisonic coefficients
US9367283B2 (en) 2014-07-22 2016-06-14 Sonos, Inc. Audio settings
USD883956S1 (en) 2014-08-13 2020-05-12 Sonos, Inc. Playback device
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9747910B2 (en) 2014-09-26 2017-08-29 Qualcomm Incorporated Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework
EP3540732B1 (en) 2014-10-31 2023-07-26 Dolby International AB Parametric decoding of multichannel audio signals
US10063989B2 (en) 2014-11-11 2018-08-28 Google Llc Virtual sound systems and methods
EP3024253A1 (en) * 2014-11-21 2016-05-25 Harman Becker Automotive Systems GmbH Audio system and method
US9973851B2 (en) 2014-12-01 2018-05-15 Sonos, Inc. Multi-channel playback of audio content
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
USD906278S1 (en) 2015-04-25 2020-12-29 Sonos, Inc. Media player device
US20170085972A1 (en) 2015-09-17 2017-03-23 Sonos, Inc. Media Player and Media Player Design
USD886765S1 (en) 2017-03-13 2020-06-09 Sonos, Inc. Media playback device
USD768602S1 (en) 2015-04-25 2016-10-11 Sonos, Inc. Playback device
USD920278S1 (en) 2017-03-13 2021-05-25 Sonos, Inc. Media playback device with lights
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US10334387B2 (en) 2015-06-25 2019-06-25 Dolby Laboratories Licensing Corporation Audio panning transformation system and method
US9729118B2 (en) 2015-07-24 2017-08-08 Sonos, Inc. Loudness matching
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
EP3329486B1 (en) * 2015-07-30 2020-07-29 Dolby International AB Method and apparatus for generating from an hoa signal representation a mezzanine hoa signal representation
US9712912B2 (en) 2015-08-21 2017-07-18 Sonos, Inc. Manipulation of playback device response using an acoustic filter
US9736610B2 (en) 2015-08-21 2017-08-15 Sonos, Inc. Manipulation of playback device response using signal processing
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
CN108028985B (zh) 2015-09-17 2020-03-13 搜诺思公司 用于计算设备的方法
US10306392B2 (en) 2015-11-03 2019-05-28 Dolby Laboratories Licensing Corporation Content-adaptive surround sound virtualization
CN105392102B (zh) * 2015-11-30 2017-07-25 武汉大学 用于非球面扬声器阵列的三维音频信号生成方法及系统
EP3188504B1 (en) 2016-01-04 2020-07-29 Harman Becker Automotive Systems GmbH Multi-media reproduction for a multiplicity of recipients
CN108476371A (zh) * 2016-01-04 2018-08-31 哈曼贝克自动系统股份有限公司 声波场生成
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US9886234B2 (en) 2016-01-28 2018-02-06 Sonos, Inc. Systems and methods of distributing audio to one or more playback devices
DE102016103209A1 (de) 2016-02-24 2017-08-24 Visteon Global Technologies, Inc. System und Verfahren zur Positionserkennung von Lautsprechern und zur Wiedergabe von Audiosignalen als Raumklang
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
FR3050601B1 (fr) * 2016-04-26 2018-06-22 Arkamys Procede et systeme de diffusion d'un signal audio a 360°
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10412473B2 (en) 2016-09-30 2019-09-10 Sonos, Inc. Speaker grill with graduated hole sizing over a transition area for a media device
USD827671S1 (en) 2016-09-30 2018-09-04 Sonos, Inc. Media playback device
USD851057S1 (en) 2016-09-30 2019-06-11 Sonos, Inc. Speaker grill with graduated hole sizing over a transition area for a media device
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
KR20190091445A (ko) * 2016-10-19 2019-08-06 오더블 리얼리티 아이엔씨. 오디오 이미지를 생성하는 시스템 및 방법
EP3574661B1 (en) * 2017-01-27 2021-08-11 Auro Technologies NV Processing method and system for panning audio objects
JP6543848B2 (ja) * 2017-03-29 2019-07-17 本田技研工業株式会社 音声処理装置、音声処理方法及びプログラム
US11277705B2 (en) 2017-05-15 2022-03-15 Dolby Laboratories Licensing Corporation Methods, systems and apparatus for conversion of spatial audio format(s) to speaker signals
US10015618B1 (en) * 2017-08-01 2018-07-03 Google Llc Incoherent idempotent ambisonics rendering
US10609485B2 (en) 2017-09-29 2020-03-31 Apple Inc. System and method for performing panning for an arbitrary loudspeaker setup
WO2019149337A1 (en) * 2018-01-30 2019-08-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs
CN112119646B (zh) * 2018-05-22 2022-09-06 索尼公司 信息处理装置、信息处理方法以及计算机可读存储介质
WO2020030304A1 (en) * 2018-08-09 2020-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An audio processor and a method considering acoustic obstacles and providing loudspeaker signals
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
WO2020044244A1 (en) 2018-08-29 2020-03-05 Audible Reality Inc. System for and method of controlling a three-dimensional audio engine
US11798569B2 (en) 2018-10-02 2023-10-24 Qualcomm Incorporated Flexible rendering of audio data
US10739726B2 (en) 2018-10-03 2020-08-11 International Business Machines Corporation Audio management for holographic objects
KR102323529B1 (ko) 2018-12-17 2021-11-09 한국전자통신연구원 복합 차수 앰비소닉을 이용한 오디오 신호 처리 방법 및 장치
US11968518B2 (en) 2019-03-29 2024-04-23 Sony Group Corporation Apparatus and method for generating spatial audio
WO2020206177A1 (en) 2019-04-02 2020-10-08 Syng, Inc. Systems and methods for spatial audio rendering
US11122386B2 (en) * 2019-06-20 2021-09-14 Qualcomm Incorporated Audio rendering for low frequency effects
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
CN110751956B (zh) * 2019-09-17 2022-04-26 北京时代拓灵科技有限公司 一种沉浸式音频渲染方法及系统
EP4085660A4 (en) * 2019-12-30 2024-05-22 Comhear Inc METHOD FOR PROVIDING A SPATIAL SOUND FIELD
US11246001B2 (en) 2020-04-23 2022-02-08 Thx Ltd. Acoustic crosstalk cancellation and virtual speakers techniques
US11750971B2 (en) * 2021-03-11 2023-09-05 Nanning Fulian Fugui Precision Industrial Co., Ltd. Three-dimensional sound localization method, electronic device and computer readable storage

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9204485D0 (en) 1992-03-02 1992-04-15 Trifield Productions Ltd Surround sound apparatus
US6072878A (en) * 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
CN1452851A (zh) 2000-04-19 2003-10-29 音响方案公司 保持三维中的空间谐波的多通道环绕声母版制作和再现技术
JP3624805B2 (ja) 2000-07-21 2005-03-02 ヤマハ株式会社 音像定位装置
US7113610B1 (en) * 2002-09-10 2006-09-26 Microsoft Corporation Virtual sound source positioning
FR2847376B1 (fr) 2002-11-19 2005-02-04 France Telecom Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
US20040264704A1 (en) * 2003-06-13 2004-12-30 Camille Huin Graphical user interface for determining speaker spatialization parameters
US8054980B2 (en) * 2003-09-05 2011-11-08 Stmicroelectronics Asia Pacific Pte, Ltd. Apparatus and method for rendering audio information to virtualize speakers in an audio system
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
US7928311B2 (en) 2004-12-01 2011-04-19 Creative Technology Ltd System and method for forming and rendering 3D MIDI messages
JP2008118166A (ja) 2005-06-30 2008-05-22 Pioneer Electronic Corp スピーカエンクロージャ、これを備えたスピーカシステムおよび多チャンネルステレオシステム
US7693709B2 (en) 2005-07-15 2010-04-06 Microsoft Corporation Reordering coefficients for waveform coding or decoding
JP4674505B2 (ja) 2005-08-01 2011-04-20 ソニー株式会社 音声信号処理方法、音場再現システム
WO2007101958A2 (fr) 2006-03-09 2007-09-13 France Telecom Optimisation d'une spatialisation sonore binaurale a partir d'un encodage multicanal
DE102006053919A1 (de) * 2006-10-11 2008-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer Anzahl von Lautsprechersignalen für ein Lautsprecher-Array, das einen Wiedergaberaum definiert
DE102007059597A1 (de) 2007-09-19 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Eine Vorrichtung und ein Verfahren zur Ermittlung eines Komponentensignals in hoher Genauigkeit
EP2056627A1 (en) 2007-10-30 2009-05-06 SonicEmotion AG Method and device for improved sound field rendering accuracy within a preferred listening area
JP4338102B1 (ja) 2008-08-25 2009-10-07 薫 長山 スピーカーシステム
US8391500B2 (en) * 2008-10-17 2013-03-05 University Of Kentucky Research Foundation Method and system for creating three-dimensional spatial audio
WO2010070225A1 (fr) 2008-12-15 2010-06-24 France Telecom Codage perfectionne de signaux audionumeriques multicanaux
EP2205007B1 (en) * 2008-12-30 2019-01-09 Dolby International AB Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
GB2476747B (en) * 2009-02-04 2011-12-21 Richard Furse Sound system
WO2010092014A2 (en) * 2009-02-11 2010-08-19 Basf Se Pesticidal mixtures
GB0906269D0 (en) 2009-04-09 2009-05-20 Ntnu Technology Transfer As Optimal modal beamformer for sensor arrays
JP2010252220A (ja) * 2009-04-20 2010-11-04 Nippon Hoso Kyokai <Nhk> ３次元音響パンニング装置およびそのプログラム
US8971551B2 (en) 2009-09-18 2015-03-03 Dolby International Ab Virtual bass synthesis using harmonic transposition
US9113281B2 (en) 2009-10-07 2015-08-18 The University Of Sydney Reconstruction of a recorded sound field
US20110091055A1 (en) * 2009-10-19 2011-04-21 Broadcom Corporation Loudspeaker localization techniques
KR20240009530A (ko) 2010-03-26 2024-01-22 돌비 인터네셔널 에이비 오디오 재생을 위한 오디오 사운드필드 표현을 디코딩하는 방법 및 장치
WO2011152044A1 (ja) * 2010-05-31 2011-12-08 パナソニック株式会社 音響再生装置
ES2922639T3 (es) 2010-08-27 2022-09-19 Sennheiser Electronic Gmbh & Co Kg Método y dispositivo para la reproducción mejorada de campo sonoro de señales de entrada de audio codificadas espacialmente
JP2012104871A (ja) 2010-11-05 2012-05-31 Sony Corp 音響制御装置及び音響制御方法
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
WO2012088336A2 (en) 2010-12-22 2012-06-28 Genaudio, Inc. Audio spatialization and environment simulation
EP2541547A1 (en) 2011-06-30 2013-01-02 Thomson Licensing Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation
RU2595896C2 (ru) 2012-03-22 2016-08-27 Дирак Рисерч Аб Схема контроллера предварительной коррекции аудио с использованием переменного набора поддерживающих громкоговорителей
US9473870B2 (en) * 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
KR102479737B1 (ko) 2012-07-16 2022-12-21 돌비 인터네셔널 에이비 오디오 재생을 위한 오디오 음장 표현을 렌더링하는 방법 및 장치
WO2014088328A1 (ko) * 2012-12-04 2014-06-12 삼성전자 주식회사 오디오 제공 장치 및 오디오 제공 방법
US9736609B2 (en) 2013-02-07 2017-08-15 Qualcomm Incorporated Determining renderers for spherical harmonic coefficients
US20140355769A1 (en) 2013-05-29 2014-12-04 Qualcomm Incorporated Energy preservation for decomposed representations of a sound field
EP2866475A1 (en) 2013-10-23 2015-04-29 Thomson Licensing Method for and apparatus for decoding an audio soundfield representation for audio playback using 2D setups
US20150264483A1 (en) 2014-03-14 2015-09-17 Qualcomm Incorporated Low frequency rendering of higher-order ambisonic audio data

Also Published As

Publication number Publication date
US20140219455A1 (en) 2014-08-07
EP2954702A1 (en) 2015-12-16
WO2014124268A1 (en) 2014-08-14
JP2016509819A (ja) 2016-03-31
JP6284955B2 (ja) 2018-02-28
CN104956695B (zh) 2017-06-06
JP2016509820A (ja) 2016-03-31
JP6309545B2 (ja) 2018-04-11
TW201436587A (zh) 2014-09-16
TWI538531B (zh) 2016-06-11
EP2954703A1 (en) 2015-12-16
WO2014124264A1 (en) 2014-08-14
CN104956695A (zh) 2015-09-30
TW201436588A (zh) 2014-09-16
US9736609B2 (en) 2017-08-15
CN104969577B (zh) 2017-05-10
KR20150115822A (ko) 2015-10-14
TWI611706B (zh) 2018-01-11
US20140219456A1 (en) 2014-08-07
US9913064B2 (en) 2018-03-06
KR101877604B1 (ko) 2018-07-12
EP2954703B1 (en) 2019-12-18
CN104969577A (zh) 2015-10-07
EP2954702B1 (en) 2019-06-05

Similar Documents

Publication Publication Date Title
KR101877604B1 (ko) 구면 고조파 계수들에 대한 렌더들 결정
RU2646344C2 (ru) Обработка пространственно диффузных или больших звуковых объектов
EP3668124B1 (en) Screen related adaptation of hoa content
KR102077413B1 (ko) 고차 앰비소닉 (hoa) 콘텐츠의 스크린 관련 적응
KR20170024584A (ko) 고차 앰비소닉 (hoa) 백그라운드 채널들 간의 상관의 감소
KR20160136361A (ko) 음장들의 디스크립션들로의 오디오 채널들의 삽입
KR101818877B1 (ko) 고차 앰비소닉 오디오 렌더러들에 대한 희소성 정보의 획득
US11122386B2 (en) Audio rendering for low frequency effects
KR101941764B1 (ko) 고차 앰비소닉 오디오 렌더러들에 대한 대칭성 정보의 획득
CN114128312B (zh) 用于低频效果的音频渲染
WO2020257193A1 (en) Audio rendering for low frequency effects

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right