KR102284811B1 - 인코히어런트 멱등 앰비소닉스 렌더링 - Google Patents
인코히어런트 멱등 앰비소닉스 렌더링 Download PDFInfo
- Publication number
- KR102284811B1 KR102284811B1 KR1020197035068A KR20197035068A KR102284811B1 KR 102284811 B1 KR102284811 B1 KR 102284811B1 KR 1020197035068 A KR1020197035068 A KR 1020197035068A KR 20197035068 A KR20197035068 A KR 20197035068A KR 102284811 B1 KR102284811 B1 KR 102284811B1
- Authority
- KR
- South Korea
- Prior art keywords
- loudspeaker
- generating
- sound
- linear operator
- loudspeakers
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
Abstract
리스너에 대한 사운드들을 렌더링하는 기술들은, 소스 구동 신호들 각각의 진폭으로서, 두 항들, 즉 방정식 
에 대한 솔루션(
)에 기초한 제1 항, 및 A의 널공간으로의 특정된 벡터(
)의 프로젝션에 기초한 제2 항의 합을 생성하는 것을 수반하며, 
는 방정식 
에 대한 솔루션이 아니다. 마찬가지로, 하나의 예에서, 제1 항은 무어-펜로즈 의사역행렬 예컨대 
와 등가이다. 일반적으로, 방정식 
에 대한 임의의 솔루션은 만족스럽다. A의 널공간으로 프로젝팅된 특정된 벡터는 순 음장의 코히어런스를 감소시키도록 정의된다. 유리하게도, 결과적인 연산자는 선형 시-불변이면서 멱등이어서, 음장은 RSF 내부에서 그리고 인간 머리를 커버할 정도로 RSF 외부의 충분한 범위에서 충실하게 재생될 수 있다.
Description
[0001] 본 출원은, 발명의 명칭이 "INCOHERENT IDEMPOTENT AMBISONICS RENDERING"으로 2017년 8월 1일에 출원된 미국 정규특허 출원 제15/666,220호를 우선권으로 주장하고, 그 정규특허 출원의 계속출원이며, 그 정규특허 출원의 개시내용은 그 전체가 인용에 의해 본 명세서에 포함된다.
[0002] 이 설명은 가상 현실(VR) 및 유사한 환경들에서의 음장들의 렌더링에 관한 것이다.
[0003] 앰비소닉스(ambisonics)는 풀-스피어(full-sphere) 서라운드 사운드 기술이며, 수평면 외에도, 그것은 리스너(listener) 위 및 아래의 음원들을 커버한다. 다른 다채널 서라운드 포맷들과 달리, 그의 송신 채널들은 스피커 신호들을 반송하지 않는다. 대신에, 이들은 B-포맷이라 불리는 음장의 스피커-독립적 표현을 포함하며, 이는 그 후 리스너의 스피커 셋업으로 디코딩된다. 이 추가 단계는 생산자가 라우드스피커(loudspeaker) 포지션들의 관점 보다는, 소스 방향들의 관점에서 생각할 수 있게 하고, 플레이백(playback)을 위해 사용되는 스피커들의 레이아웃 및 수에 대한 상당한 정도의 유연성을 리스너에게 제공한다.
[0004] 앰비소닉스에서, 리스너를 둘러싸는 가상 라우드스피커들의 어레이는 등방성으로 레코딩된 음원으로부터 B-포맷으로 알려진 방식으로 인코딩된 사운드 파일을 디코딩함으로써 음장을 생성한다. 가상 라우드스피커들의 어레이에서 생성된 음장은 리스너에 대한 임의의 유리한 포인트로부터 음원의 효과를 재생할 수 있다. 이러한 디코딩은 일 세트의 HRTF(head-related transfer functions)들을 통해 가상 현실(VR) 시스템에서 헤드폰 스피커들을 통한 오디오의 전달에 사용될 수 있다. 바이노럴 렌더링 HOA(high-order ambisonics)는 왼쪽 및 오른쪽 헤드폰 스피커들에 한 쌍의 신호들을 제공하기 위해 결합되는 다수의 가상 라우드스피커들의 생성을 지칭한다.
[0005] 하나의 일반적인 양상에서, 방법은 리스너에 대해 방향성 음장들을 렌더링하도록 구성된 사운드 렌더링 컴퓨터의 제어 회로에 의해, 기하학적 환경에서 음장으로부터 유래하는 사운드 데이터를 수신하는 단계를 포함하고, 사운드 데이터는 기하학적 환경에 기초하여 복수의 직교 각도 모드 함수들에서의 전개(expansion)로서 표현된다. 이 방법은 또한 제어 회로에 의해, 선형 연산자를 생성하는 단계를 포함하며, 선형 연산자는 복수의 직교 각도 모드 함수들에서의 전개로서 표현된 라우드스피커들의 복수의 진폭들의 가중화된 합의 전개 및 사운드 데이터에 대한 모드-매칭 연산으로부터 유래한다. 이 방법은 제어 회로에 의해, 제1 복수의 라우드스피커 가중치들을 생성하도록 선형 연산자 및 사운드 데이터에 대해 역 연산(inverse operation)을 수행하는 단계를 더 포함한다. 이 방법은 제어 회로에 의해, 제2 복수의 라우드스피커 가중치들을 생성하도록 선형 연산자의 널공간(nullspace)으로의 프로젝션 연산(projection operation)을 수행하는 단계를 더 포함한다. 이 방법은 제어 회로에 의해, 제3 복수의 라우드스피커 가중치들을 생성하도록 제1 복수의 라우드스피커 가중치들 및 제2 복수의 라우드스피커 가중치들의 합을 생성하는 단계를 더 포함하고, 제3 복수의 라우드스피커 가중치들은 리스너에 대한 음장의 재생을 제공한다.
[0006] 이 일반적인 양상에 따르면, 방법은 리스너에게 보다 자연스러운 음장을 제공할 수 있게 하는, 본원에서 보다 상세히 설명된 바와 같은 개선된 기술들을 수반한다. 본원에서 설명된 개선된 기술들에 의해 제공되는 다른 이점들은 음장에 대한 개선된 성능 및 개선된 스펙트럼 충실도이다.
[0007] 하나 이상의 구현들의 세부사항들은 첨부 도면들 및 아래의 설명에서 기재된다. 다른 특성들은 설명 및 도면들, 그리고 청구항들로부터 명백할 것이다.
[0008] 도 1은 본원에서 설명된 개선된 기술들을 구현하기 위한 예시적인 전자 환경을 예시하는 도면이다.
[0009] 도 2는 본원에서 설명된 개선된 기술들에 따라 마이크로폰에 대한 예시적인 라우드스피커 및 관찰자 포지션들을 예시하는 도면이다.
[0010] 도 3은 도 1에 도시된 전자 환경 내에서 개선된 기술들을 수행하는 예시적인 방법을 예시하는 흐름도이다.
[0011] 도 4는 여기서 설명된 회로들과 함께 사용될 수 있는 컴퓨터 디바이스 및 모바일 컴퓨터 디바이스의 예를 예시한다.
[0009] 도 2는 본원에서 설명된 개선된 기술들에 따라 마이크로폰에 대한 예시적인 라우드스피커 및 관찰자 포지션들을 예시하는 도면이다.
[0010] 도 3은 도 1에 도시된 전자 환경 내에서 개선된 기술들을 수행하는 예시적인 방법을 예시하는 흐름도이다.
[0011] 도 4는 여기서 설명된 회로들과 함께 사용될 수 있는 컴퓨터 디바이스 및 모바일 컴퓨터 디바이스의 예를 예시한다.
[0012] HOA 음장들의 일부 렌더링은 마이크로폰에서 순 음장을 생성하기 위해 각각의 소스 방향으로부터의 진폭들 및 각각의 HOA 채널로부터의 컴포넌트들의 가중화된 시퀀스를 합산하는 것을 수반한다. 구면 조화함수 전개(spherical harmonic expansion)로 표현될 때, 음장의 각각의 컴포넌트는 구형 좌표들에서의 파동식(wave equation)에 의해 결정되는 바와 같은 시간적, 각도적 및 방사상 팩터를 갖는다. 각도 팩터는 구형 조화함수인 반면, 방사상 팩터는 구형 베셀 함수에 비례한다.
[0013] 다수의 경우들에서, 각각의 소스 방향으로부터의 기여분의 진폭은 알려져 있지 않다. 오히려, 마이크로폰에서의 순 음장이 알려져 있다. 위에서 언급된 바와 같이, 이러한 음장은 일련의 구형 조화함수 모드들로 전개될 수 있다. 게다가, 포인트 소스로서 모델링될 때 각각의 소스 방향으로부터의 기여분은 또한 일련의 구면 조화함수 모드들로 전개될 수 있다. 구면 조화함수 모드들은 직교 세트이기 때문에, 진폭들은 구면 조화함수 모드들을 매칭함으로써 결정될 수 있다.
[0014] 컴포넌트들의 시퀀스의 절단(truncation)은 소정의 주파수 아래의 그리고 소정의 반경(RSF(region of sufficient fidelity)) 내의 음장을 정확한 설명을 야기한다. 다수의 애플리케이션들에 대해, RSF는 대략 인간 머리 크기여야 한다.
[0015] 그럼에도 불구하고, RSF의 크기는 주파수에 반비례하기 때문에, N의 구면 조화함수 차수에 대한 주어진 절단 길이에 대해, 저주파수들은 더 큰 범위(reach)를 가질 것이고, 이에 따라, 신호 음색(signal timbre)은 일반적으로 원점에서 멀어지게 이동됨에 따라 변한다. 컴포넌트들의 수(
)를 증가시키는 것은, 주어진 주파수에 대해, RSF의 크기가 컴포넌트들 수의 제곱근에 대략 비례하기 때문에, 성능을 개선하는 비효율적인 방식이다. 종종, 이 크기는 인간 머리의 크기보다 작다.
[0016] 그 후, 앰비소닉스를 렌더링하는데 있어서의 목표는 RSF에서 측정된 음장의 T개의 컴포넌트들(b)을 생성하는 Q개의 소스 구동 신호들(s)의 세트를 결정하는 것이다. 소스 구동 신호들(s)의 강도들 또는 가중치들은 측정된 음장의 컴포넌트들(b)에 적용되는 선형 변환(A)의 역을 통해 결정되는데, 
이며, 이로부터, s가 결정된다(선형 변환(A)는 비동질성 헬름홀츠(Helmholtz) 방정식 및 경계 조건들로부터 유래함). A는 T x Q 행렬이며, 여기서 Q > T인데, 즉 컴포넌트들보다 많은 소스들이 존재하여서, 결과적인 선형 시스템이 결정되지 않고 RSF에서 동일한 음장을 생성하는 소스 구동 신호들(s)의 다수의 세트들이 존재한다.
[0017] 따라서, RSF 외부에서 음장을 최상으로 재생하는 소스 구동 신호들의 진폭들을 고유하게 결정하기 위해 선형 시스템에 제약이 가해질 수 있다. HOA 음장들을 렌더링하는 종래의 접근법들은 구동 신호(s)의 에너지를 최소화함으로써, 즉, 조건(
)에 맞는 L2 노름(norm)(즉, s의 컴포넌트들의 제곱의 합)에 따라 소스 분포를 결정하는 것을 수반하였다. 이러한 종래의 접근법에 따르면, 결과적인 소스 분포(
)는 행렬을 가중치 벡터로 곱한 MP(Moore-Penrose) 의사역행렬, 예컨대, 
이며, 여기서 
는 A의 에르미트 공액이다. MP 의사역행렬은 선형의 시간-불변 연산자의 기초를 형성하며, 이는 소스 어레인지먼트들의 일부 선택에 대해, 
와 동일하다.
[0018] 그러나, 이러한 종래의 접근법은 RSF 외부의 스펙트럼 손상으로 인해 부자연스러운 음장들을 생성하는 솔루션을 초래한다. 그 이유는, L2 노름과 같은 최소 분산 목표가 방향에 대한 사운드 진폭들의 변동성을 최소화하는 경향이 있으므로, 이러한 목표는 또한, 소스 방향성을 설명하는 디코더의 능력을 최소화하기 때문이다. 또한, 결과적인 음장은 음장의 코히어런스를 부과한다. RSF의 크기는 시간 주파수에 따라 변하기 때문에, 이러한 코히어런스는 마이크로폰에서 사라진다.
[0019] 1차 음원들 및 그의 반사들에 의해 생성된 자연스러운 음장에서, 상이한 방향들로부터의 음파들은 어떠한 위치에서도 코히어런트하게 추가되지 않는 경향이 있다. 따라서, 자연스러운 음장에서, 음색은 일반적으로 공간에 대해 급격히 변하지 않는다. 대조적으로, 음장을 재구성하는 것이 목표일 때, 매우 많은 수의 실제 또는 가상 라우드스피커들로부터의 음파들이 단체 작용을 하도록 구성된다. 많은 수의 이러한 라우드스피커들이 사용될 때, 이러한 단체 작용은 일반적으로 공간에 걸쳐 음색의 급격한 변동들을 갖는 음장들을 야기한다. 이는 부자연스러운 음장들과 같이 급격한 변동들을 갖는 음장들을 지칭할 수 있다. 부자연스러운 음장의 예는 무어-펜로즈 의사역행렬을 통한 라우드스피커 가중치 계산에 의해 생성된 음장이다. 이 예에서, 위에서 언급된 바와 같이, 음장 진폭은 RSF 외부에서 급격히 감소하고, RSF는 주파수 의존적인 반경을 가지므로, 음장의 음색은 공간에서 빠르게 변한다.
[0020] max-rE 기술(즉, 에너지 로컬화 백터의 최대화) 또는 L1 노름(즉, s의 컴포넌트들의 절대 값들의 합)에 따른 최소화와 같은 더 큰 소스 방향성을 초래하는 다른 프레임워크들이 고려될 수 있다. 그럼에도 불구하고, L1 노름은 선형 시-불변 연산자를 초래하지 않는 반면, max-rE 기술은 멱등(idempotent)이 아니다(즉, RSF에서의 음장이 추정되는 경우, 오리지널 HOA 설명이 복원 가능해야 함). L12 노름의 최소화와 같은 보다 복잡한 기술은 선형 시-불변이지만, 상당히 자원 집약적이고, 이에 따라 가상 현실 게임과 같은 실시간 세팅에서 사용하는 데 비용이 많이들 수 있다.
[0021] 본원에서 설명된 구현들에 따라 그리고 HOA 음장들을 렌더링하기 위한 위에서 설명된 종래의 접근법들과 대조적으로, 개선된 기술들은 소스 구동 신호들 각각의 진폭으로서, 두 항들 즉, 방정식 
에 대한 솔루션(
)에 기초한 제1 항, 및 A의 널공간으로의 특정된 벡터(
)의 프로젝션에 기초한 제2 항의 합을 생성하는 것을 수반하며, 
는 방정식 
에 대한 솔루션이 아니다. 마찬가지로, 하나의 예에서, 제1 항은 무어-펜로즈 의사역행렬 예컨대 
와 등가이다. 일반적으로, 방정식 
에 대한 임의의 솔루션은 만족스럽다. A의 널공간으로 프로젝팅된 특정된 벡터는 순 음장의 코히어런스를 감소시키도록 정의된다. 유리하게도, 결과적인 연산자는 선형 시-불변이면서 멱등이어서, 음장은 RSF 내부에서 그리고 인간 머리를 커버할 정도로 RSF 외부의 충분한 범위에서 충실하게 재생될 수 있다. 또한, 컴퓨테이션들은 실시간 환경에서 수행될 정도로 간단하다.
[0022] 도 1은 위에서 설명된 개선된 기술들이 구현될 수 있는 예시적인 전자 환경(100)을 예시하는 도면이다. 도시된 바와 같이, 도 1에서, 예시적인 전자 환경(100)은 사운드 렌더링 컴퓨터(120)를 포함한다.
[0023] 사운드 렌더링 컴퓨터(120)는 리스너에 대한 음장을 렌더링하도록 구성된다. 사운드 렌더링 컴퓨터(120)는 네트워크 인터페이스(122), 하나 이상의 프로세싱 유닛들(124) 및 메모리(126)를 포함한다. 네트워크 인터페이스(122)는 예컨대, 네트워크(170)로부터 수신된 전자 및/또는 광학 신호들을 사운드 렌더링 컴퓨터(120)에 의한 사용을 위해 전자 형태로 변환하기 위한 이더넷 어댑터들, 토큰 링 어댑터들 등을 포함한다. 프로세싱 유닛들의 세트(124)는 하나 이상의 프로세싱 칩들 및/또는 조립체들을 포함한다. 메모리(126)는 휘발성 메모리(예컨대, RAM) 및 비-휘발성 메모리 이를테면, 하나 이상의 ROM들, 디스크 드라이브들, 솔리드 스테이트 드라이브들 등을 포함한다. 프로세싱 유닛들(124)의 세트 및 메모리(126)는 함께 제어 회로를 형성하며, 이 제어 회로는 본원에서 설명된 바와 같은 다양한 방법들 및 기능들을 수행하도록 구성되고 배열된다.
[0024] 일부 실시예들에서, 사운드 렌더링 컴퓨터(120)의 컴포넌트들 중 하나 이상은 메모리(126)에 저장된 명령들을 프로세싱하도록 구성된 프로세서들(예컨대, 프로세싱 유닛들(124))일 수 있거나 이들을 포함할 수 있다. 도 1에 도시된 바와 같은 이러한 명령들의 예들은 사운드 획득 관리자(130), 라우드스피커 획득 관리자(140), 의사역행렬 관리자(150), 전략 생성 관리자(160), 널공간 프로젝션 관리자(170) 및 방향성 필드 생성 관리자(180)를 포함한다. 또한, 도 1에 예시된 바와 같이, 메모리(126)는 다양한 데이터를 저장하도록 구성되며, 이는 이러한 데이터를 사용하는 각각의 관리자들과 관련하여 설명된다.
[0025] 사운드 획득 관리자(130)는 레코딩 또는 소프트웨어-생성 오디오를 통해 사운드 데이터(132)를 획득하도록 구성된다. 예컨대, 사운드 획득 관리자(130)는 광학 드라이브로부터 또는 네트워크 인터페이스(122)를 통해 사운드 데이터(132)를 획득할 수 있다. 사운드 데이터(132)가 획득되면, 사운드 획득 관리자는 또한 사운드 데이터(132)를 메모리(126)에 저장하도록 구성된다. 일부 구현들에서, 사운드 획득 관리자(130)는 네트워크 인터페이스(122)를 통해 사운드 데이터(132)를 스트리밍한다.
[0026] 일반적으로, 복수의 직교 각도 모드 함수들에서의 전개로서 사운드 데이터를 표현하는 것이 편리하다. 직교 각도 모드 함수들로의 그러한 전개는 마이크로폰이 배치되는 기하학적 환경에 의존한다. 예컨대, 구형 마이크로폰을 사용하여 구에 대한 사운드를 캡처하는 일부 구현들에서, 직교 각도 모드 함수들은 구면 조화함수들이다. 일부 구현들에서, 기하학적 환경은 원통형이고 직교 각도 모드 함수들은 삼각 함수들이다. 이어지는 논의를 위해, 직교 각도 모드 함수들은 구면 조화함수들인 것으로 가정될 것이다.
[0027] 일부 구현들에서, 사운드 데이터(132)는 B-포맷, 또는 4개의 컴포넌트들을 갖는 1차 앰비소닉들, 또는 앰비소닉 채널들로 인코딩된다. 일부 구현들에서, 사운드 데이터(132)는 예컨대, 차수(N)까지의 고차 앰비소닉들로 인코딩된다. 이 경우에, 
개의 앰비소닉 채널들이 있을 것이며, 각각의 채널은 라우드스피커들의 세트로부터 나오는 음장의 SH(spherical harmonic) 전개에서의 항에 대응한다. 일부 구현들에서, 사운드 데이터(132)는 다음과 같이 구면 조화함수로의 압력장(pN)의 절단된 전개로서 표현된다 :
ω는 시간(각도) 주파수이고, 
는 파수이고, c는 음파들의 속도이고, jn은 제1 종의 구형 베셀 함수이고, 
은 구면 조화함수이고, 
는 단위 구 상의 포인트
이고, 
는 압력(음)장의 구면 조화함수 전개의 (주파수 의존) 계수들이다. 따라서, 사운드 획득 관리자(130)에 의해 획득된 사운드 데이터(132)는 계수들(
)의 벡터(b)의 형태를 취할 수 있으며, 여기서 계수 벡터(b)는 
개의 컴포넌트들을 갖는다. 일부 구현들에서, 계수 벡터(b)의 컴포넌트들은 위의 구면 조화함수 전개의 구형 베셀 함수 부분을 포함한다.
[0028] 별개로, 구형 기하학적 구조는 요구되는 것은 아니다. 예컨대, 원통형 기하학적 구조에서, 구형 베셀 함수들 jn이 원통형 베셀 함수들 Jn으로 대체될 수 있다. 구면 조화함수들 
이 삼각 함수들로 또한 대체될 수 있다.
[0029] 소스 획득 관리자(140)는 진폭들(s)을 갖는 Q개의 라우드스피커들의 각각의 라우드스피커의 방향들(
)을 획득하도록 구성된다. 라우드스피커들 각각은 보조 소스로 간주된다. 따라서, 방향들(
) 각각은 주어지거나 일부 알고리즘에 의해 추론되는 것으로 가정된다.
[0030] 일부 구현들에서, 각각의 라우드스피커(즉, 라우드스피커 진폭 벡터(s)의 각각의 컴포넌트에 대응하는 라우드스피커)는 3차원의 포인트 소스로서 모델링될 수 있다. 따라서, 포지션(
)에서 이러한 소스는 다음과 같은 그린 함수에 비례하는 관찰 포인트(x')의 진폭 프로파일을 갖는다.
일부 구현들에서, 사운드 데이터(132)가 레코딩의 결과일 때, 진폭(s)을 갖는 라우드스피커들은 사운드 데이터(132)를 레코딩하는데 사용된 마이크로폰으로부터 동일한 거리에 있는 것으로 간주된다. 방향들(
)는 그 후, 라우드스피커 데이터(142)로서 저장된다. 일부 구현들에서, 사운드 데이터(132)가 머신에 의해 생성될 때, 진폭(s)을 갖는 라우드스피커들은 또한, 사운드 데이터(132)를 레코딩하는 데 사용된 마이크로폰으로부터 동일한 거리에 있는 것으로 간주되고, (별개로 추론되거나 주어진) 방향들(
)은 그 후, 라우드스피커 데이터(142)로서 저장된다.
[0031] 라우드스피커 획득 관리자(140)는 또한 선형 모드-매칭 방정식 
를 표현하는 선형 변환 데이터(144)로서, 선형 연산자(A)를 
행렬로 구성하도록 구성된다. 즉, (알려지지 않은) 진폭들(s)을 갖는 방향들(
)에서의 포인트 소스들로 인한 어그리게이트 음장(aggregate sound field)의 구면 조화함수 전개의 모드들이 마이크로폰(b)에서의 획득된 음장의 구면 조화함수 전개의 모드들과 동일할 때, 결과는 선형 모드-매칭 방정식 
이다. 일부 구현들에서, Q > T이고 선형 시스템은 결정되지 않는다. 따라서, 이러한 경우들에서, 선형 모드-매칭 방정식에 대한 다수의 가능한 솔루션들이 존재한다. 라우드스피커들의 어레인지먼트들에 관한 추가의 세부사항은 도 2와 관련하여 설명된다.
[0032] 의사역행렬 관리자(150)는 선형 모드-매칭 방정식 
에 대한 솔루션을 생성하도록 구성된다. 이 솔루션은 본원에서 개시된 개선된 기술들에 따른 음장의 제1 항이다. 일부 구현들에서, 선형 모드-매칭 방정식에 대한 솔루션은 선형 연산자(A)의 의사역행렬(무어-펜로즈 의사역행렬) 관점에서 표현될 수 있다. 선형 연산자(A)의 무어-펜로즈 의사역행렬인 pinv(A)가 다음과 같이 기록될 수 있다:
여기서, 
는 A의 에르미트 공액이다. 이 의사역행렬은 의사역행렬 데이터(152)로서 사운드 렌더링 컴퓨터(120)에서 생성된다. 이 경우에, 선형 모드-매칭 방정식 
에 대한 솔루션(
)는 그러면, 다음과 같다:
이 솔루션을 생성하기 위해, 의사역행렬 관리자(150)는 의사역행렬 데이터(152)에서 생성된 행렬을 구면 조화함수 데이터(132)에서 생성된 계수들로 곱하도록 구성된다.
[0033] 전략 생성 매니저(160)는 전략 벡터 데이터(162)로서 선형 모드-매칭 방정식 
를 충족하는 것이 아니라 오히려 상이한 기준을 충족할 수 있는 전략 벡터(
)를 생성하도록 구성된다. 개선된 기술들의 이점들을 실현하기 위해, 전략 벡터(
)는 RSF 외부에서 바람직한 거동을 갖는 사운드 렌더링 기술에 대응한다. 일부 구현들에서, 전략 생성 관리자(160)는 음장을 렌더링하기 위해 사용되는 구에 걸쳐 최적의 연속 단극 밀도에 따라 전략 벡터(
)를 정의한다.
[0034] 마찬가지로, 단위 구 상의 연속 단극 밀도 함수 및 구면 조화함수에서의 그의 전개를 고려한다:
단극 소스의 그린 함수는 위의 방정식(2)에서 설명된 바와 같다. 그럼에도 불구하고, 위에서 개시된 바와 같이, 이러한 그린 함수는 또한 다음과 같은 구면 조화함수 전개로 표현될 수 있다 :
여기서 
는 n차의 구면 항켈 함수이다. 음장은 그 후, 다음과 같이 방정식(6)의 그린 함수의 관점에서 표현될 수 있다:
여기서 적분은 단위 구 위에서 이루어진다. 방정식(1)의 pN의 구면 조화함수 전개와의 모드 매칭은 다음의 단극 밀도 함수의 구면 조화함수 전개의 계수들에 대한 표현을 생성한다:
여기서 r'는 소스로부터의 관찰 포인트의 거리이다.
[0035] 전략 벡터(
)는 그 후, 위의 단극 밀도 함수의 관점에서 정의될 수 있다
여기서 
는 전략 벡터(
)의 q번째 컴포넌트이고 κ는 정규화(normalization) 상수이며, α≥0는 방향성의 강도를 세팅하는 파라미터이다. 예컨대, α = 0일 때, 전략 벡터는 음장의 간단한 규칙화를 획득한다. α > 0일 때, 필드는 강화된 방향성으로 규칙화된다.
[0036] 널공간 프로젝션 관리자(170)는 널공간 프로젝션 데이터(172)로서 선형 연산자(A)의 널공간(
)으로의 전략 벡터(
)의 프로젝션(
)을 생성하도록 구성된다. 일부 구현들에서, 선형 연산자(A)의 널공간(
)의 열들로 프로젝팅하는 행렬(
)은
여기서 I은 단위 행렬이고 
는 선형 연산자(A)의 헤르미트 공액인 
의 열들로의 프로젝션이다. 따라서, 선형 연산자(A)의 널공간(
)으로의 전략 벡터(
)의 프로젝션(
)은 다음과 같이 선형 연산자(A)의 관점에서 명시적으로 표현될 수 있다.
[0037] 방향성 필드 생성 관리자(180)는 방향성 필드 데이터(182)로서, 선형 연산자(A)의 널공간(
)으로의 전략 벡터(
)의 프로젝션(
) 및 선형 모드-매칭 방정식 
에 대한 솔루션(
)의 조합의 관점에서 방향성 음장(s)을 생성하도록 구성된다. 일부 구현들에서, 방향성 필드 생성 관리자(180)는 방향성 필드 데이터(182)로서, 의사역행렬 데이터(152)에서 
의 컴포넌트들 및 널공간 프로젝션 데이터(172)에서 
의 컴포넌트들의 합을 생성한다. 즉, 방향성 음장은
이러한 합은 결과적인 선형 연산자 전체가 멱등이고 이에 따라, RSF 내부의 음장을 충실하게 재생하는 것을 보장한다. 더욱이, 종래의 접근법들에서와 같이 의사역행렬 연산자 단독과 대조적으로, 방정식(12)에서 표현된 바와 같이 개선된 기술들에 따라 방향성 음장을 발생시키는 연산자는 RFG 외부에서 또한 그럴듯한 음장을 생성한다.
[0038] 일부 구현들에서, 메모리(126)는 랜덤-액세스 메모리, 디스크 드라이브 메모리, 플래시 메모리 등과 같은 임의의 유형의 메모리일 수 있다. 일부 구현들에서, 메모리(126)는 사운드 렌더링 컴퓨터(120)의 컴포넌트들과 연관된 하나 초과의 메모리 컴포넌트(예컨대, 하나 초과의 RAM 컴포넌트 또는 디스크 드라이브 메모리)로서 구현될 수 있다. 일부 구현들에서, 메모리(126)는 데이터베이스 메모리일 수 있다. 일부 구현들에서, 메모리(126)는 비-로컬 메모리일 수 있거나 이를 포함할 수 있다. 예컨대, 메모리(126)는 다수의 디바이스들(도시되지 않음)에 의해 공유되는 메모리일 수 있거나 이를 포함할 수 있다. 일부 구현들에서, 메모리(126)는 네트워크 내의 서버 디바이스(도시되지 않음)와 연관되고 사운드 렌더링 컴퓨터(120)의 컴포넌트들을 서빙하도록 구성될 수 있다.
[0039] 사운드 렌더링 컴퓨터(120)의 컴포넌트들(예컨대, 관리자들, 프로세싱 유닛들(124))은 하나 이상의 유형의 하드웨어, 소프트웨어, 펌웨어, 운영 체제들, 런타임 라이브러리들 등을 포함할 수 있는 하나 이상의 플랫폼들(예컨대, 하나 이상의 유사하거나 상이한 플랫폼들)에 기초하여 동작하도록 구성될 수 있다.
[0040] 사운드 렌더링 컴퓨터(120)의 컴포넌트들은 속성들을 프로세싱하도록 구성된 임의의 유형들의 하드웨어 및/또는 소프트웨어일 수 있거나 이를 포함할 수 있다. 일부 구현들에서, 도 1의 사운드 렌더링 컴퓨터(120)의 컴포넌트들에 도시된 컴포넌트들의 하나 이상의 부분들은 하드웨어-기반 모듈(예컨대, DSP(digital signal processor), PFGA(field programmable gate array), 메모리), 펌웨어 모듈, 및/또는 소프트웨어-기반 모듈(예컨대, 컴퓨터 코드의 모듈, 컴퓨터에서 실행될 수 있는 컴퓨터-판독 가능 명령들의 세트)일 수 있거나 이를 포함할 수 있다. 예컨대, 일부 구현들에서, 사운드 렌더링 컴퓨터(120)의 컴포넌트들의 하나 이상의 부분들은 적어도 하나의 프로세서(도시되지 않음)에 의한 실행을 위해 구성된 소프트웨어 모듈일 수 있거나 이를 포함할 수 있다. 일부 구현들에서, 컴포넌트들의 기능성은 도 1에 도시된 것들과 상이한 모듈들 및/또는 상이한 컴포넌트들에 포함될 수 있다.
[0041] 일부 구현들에서, 사운드 렌더링 컴퓨터(120)의 컴포넌트들(또는 그의 부분들)은 네트워크 내에서 동작하도록 구성될 수 있다. 따라서, 사운드 렌더링 컴퓨터(120)의 컴포넌트들(또는 그의 부분들)은 하나 이상의 디바이스들 및/또는 하나 이상의 서버 디바이스들을 포함할 수 있는 다양한 유형들의 네트워크 환경들 내에서 기능하도록 구성될 수 있다. 예컨대, 네트워크는 로컬 영역 네트워크(LAN), 광역 네트워크(WAN) 등일 수 있거나 이들을 포함할 수 있다. 네트워크는 무선 네트워크 및/또는 예컨대, 게이트웨이 디바이스들, 브리지들, 스위치들 등을 사용하여 구현된 무선 네트워크일 수 있거나 이들을 포함할 수 있다. 네트워크는 하나 이상의 세그먼트들을 포함할 수 있고 그리고/또는 인터넷 프로토콜(IP) 및/또는 독점 프로토콜과 같은 다양한 프로토콜들에 기초한 부분들을 가질 수 있다. 네트워크는 인터넷의 적어도 일부를 포함할 수 있다.
[0042] 일부 실시예들에서, 사운드 렌더링 컴퓨터(120)의 컴포넌트들 중 하나 이상은 메모리에 저장된 명령들을 프로세싱하도록 구성된 프로세서들일 수 있거나 이들을 포함할 수 있다. 예컨대, 사운드 획득 관리자(130)(및/또는 그의 부분), 라우드스피커 획득 관리자(140)(및/또는 그의 부분), 의사역행렬 관리자(150)(및/또는 그의 부분), 전략 생성 관리자(160)(및/또는 그의 부분), 널공간 프로젝션 관리자(및/또는 그의 부분) 및 방향성 필드 생성 관리자(180)(및/또는 그의 부분)는 하나 이상의 기능들을 구현하기 위한 프로세스와 관련된 명령들을 저장하는 메모리와 명령들을 실행하도록 구성된 것의 조합을 포함할 수 있다.
[0043] 도 2는 개선된 기술들에 따른 예시적인 음장 환경(200)을 예시한다. 이 환경(200) 내에서, 원점(210)(개방 원반)이 존재하며, 여기서 리스너는, 마이크로폰(210)을 중심으로 하는 구(230) 위에 분포된 실제 또는 가상 라우드스피커들, 예컨대, 라우드스피커(240(1),…, 240(Q))(채워진 원반)의 세트의 중심에 로케이팅될 수 있다. 각각의 라우드스피커, 예컨대, 라우드스피커(240(1))는 방향(
)을 따라 로케이팅되는 식이다. 일부 어레인지먼트들에서, 원점에서 듣는 리스너에 대해 원점으로부터 멀어지는 방향의 함수로서 음장 진폭들을 측정 및 레코딩하는, 원점(210)의 구형 마이크로폰이 있을 수 있다.
[0044] 사운드 렌더링 컴퓨터(120)는 원점(210)에서 레코딩된 음장 데이터(132)에 기초하여 관찰 포인트(220)(회색 원반)에 존재하는 음장을 충실하게 재생하도록 구성된다. 이를 행하기 위해, 사운드 렌더링 컴퓨터(120)는 위에서 논의된 바와 같은, 라우드스피커들(240(1),…, 240(Q))의 세트의 각각의 라우드스피커에서 음장의 진폭을 결정함으로써 관찰 포인트(220)에서의 음장의 방향성을 제공하도록 구성된다. 음장의 방향성은 특정 사운드가 어느 방향에서 기원하는 것처럼 보이는지를 리스너가 구별할 수 있게 하는 특성이다. 이러한 의미에서, 제1 시간 윈도우(예컨대, 1 초)에 걸친 음장의 제1 샘플은 라우드스피커(240(1),…, 240(Q))의 세트에 대한 제1 가중치들을 초래할 것이고, 제2 시간 윈도우에 걸친 음장의 제2 샘플은 제2 가중치들을 초래하는 식이 될 것이다. 시간 윈도우에 걸친 음장의 각각의 샘플에 대해, 방정식(1)에서 표현된 바와 같이 주파수에 걸친 음장의 계수들은 시간에 따른 음장의 구면 조화함수 전개 계수의 푸리에 변환이다.
[0045] 도 2에 도시된 바와 같이, 관찰 포인트(220)는 마이크로폰(210)에 대하여 포지션(
)에 있다. 관찰 포인트(220)의 포지션(x')은 RSF(region of sufficient fidelity)(250) 외부이지만, 라우드스피커들(240(1),…, 240(Q))의 세트에 의해 정의된 구역(230)의 내부에 있다. RSF(250)의 크기는 주파수에 의존하지만, 대부분의 관심의 주파수들에 대해, 관찰 포인트(220)는 RSF(250) 내부에 있다. 일부 구현에서, RSF(250)의 크기(R)는 
가 되도록 정의된다. 일반적인 상황은 리스너의 귀들이 RSF(250) 외부에 있는 것을 수반한다.
[0046] 따라서, 음장이 상이한 주파수들의 스펙트럼을 포함하는 경우, RSF(250)는 크기가 변할 수 있는데, 즉 RSF(250)의 크기(R)는, 
이기 때문에 주파수에 반비례한다. 예컨대, 방정식(4)과 같은 단일-주파수 코히어런트 음장은 예컨대, 선형 모드-매칭 방정식 
에 대한 솔루션에 의해 설명된다. 그럼에도 불구하고, RSF(250)의 크기의 주파수 의존성으로 인해, 이러한 코히어런트 음장은 RSF 외부의 관찰 포인트(220)에서 들리는 다수의 주파수들을 포함하는 실제 음장에 충분한 충실도를 제공하지 못한다. 오히려, 방정식(12)에서와 같이 선형 연산자(A)의 널공간으로의 전략 벡터의 프로젝션이 음장을 인코히어런트하게 한다는 것이 발견되었다. 이러한 인코히어런스(incoherence)는 방정식(4) 단독에서와 같이 선형 모드-매칭 방정식 
에 대한 솔루션에 의해 제공되는 것보다 훨씬 더 양호한 충실도를 음장에 제공한다. 그 이유는, 음장의 인코히어런스는 RSF(250)의 크기의 주파수 의존성을 제거하고 그리하여 음장에 대한 스펙트럼 충실도를 개선하기 때문이다. 또한, 음장의 비코히어런트 부분의 크기를 거듭제곱으로 상승시키는 것은 선형 모드-매칭 방정식 단독에 대한 솔루션에서 부족한 방향성을 제공한다.
[0047] 도 3은 사운드의 바이노럴 렌더링을 수행하는 예시적인 방법(300)을 예시하는 흐름도이다. 방법(300)은 사운드 렌더링 컴퓨터(120)의 메모리(126)에 상주하고 프로세싱 유닛들의 세트(124)에 의해 실행되는, 도 1과 관련하여 설명된 소프트웨어 구조들에 의해 수행될 수 있다.
[0048] 302에서, 리스너에 대해 방향성 음장들을 렌더링하도록 구성된 사운드 렌더링 컴퓨터의 제어 회로는 기하학적 환경에서 음장으로부터 유래하는 사운드 데이터 수신하며 사운드 데이터는 기하학적 환경에 기초하여 복수의 직교 각도 모드 함수들에서의 전개로서 표현된다. 마찬가지로, 사운드 획득 관리자(130)는 디스크로부터의 또는 네트워크를 통한 입력으로서(후자는 방향성 음장을 실시간으로 프로세싱하는 가상 현실 환경과 같은 환경의 경우임), 실제 또는 가상 마이크로폰에서의 음장을 표현하는 데이터를 수신한다. 이 음장은 그 후, 방정식(1)에서와 같이 구면 조화함수 전개로 분해되어, 계수 벡터(b)가 구면 조화함수 데이터(132)로서 저장되게 할 수 있다.
[0049] 304에서, 제어 회로는 선형 연산자를 생성하며, 선형 연산자는 복수의 직교 각도 모드 함수들에서의 전개로서 표현된 라우드스피커들의 복수의 진폭들의 가중화된 합의 전개 및 사운드 데이터에 대한 모드-매칭 연산으로부터 유래한다. 마찬가지로, 라우드스피커 획득 관리자(140)는 라우드스피커 포지션 데이터(142)로서, Q개의 라우드스피커들의 각각의 라우드스피커 방향들(
)을 (예컨대, 별개의 절차 또는 사양으로부터) 획득한다. 이러한 방향들을 고려하여, 라우드스피커 획득 관리자(140)는 그 후, 방정식(1)의 구면 조화함수 전개와, 각각의 라우드스피커에 대해 방정식(6)에서의 구면 조화함수 전개를 모드-매칭함으로써 선형 변환 데이터(144)로서 선형 연산자(A)를 생성할 수 있다.
[0050] 306에서, 제어 회로는 제1 복수의 라우드스피커 가중치들을 생성하도록 선형 연산자 및 사운드 데이터에 대해 의사역행렬 연산(역 연산으로서 또한 지칭됨)을 수행하고, 제1 복수의 라우드스피커 가중치들은 주파수 임계치 미만의 주파수들에서 리스너에 대한 음장의 재생을 제공한다. 일부 구현들에서, 의사역행렬 관리자(150)는 방정식(3)에서 특정된 바와 같이 무어-펜로즈 의사역행렬을 생성하고, 의사역행렬 데이터(152)로서 선형 모드-매칭 방정식 
에 대한 솔루션(
)을 생성하도록 구면 조화함수 데이터(132)로서 저장되는 계수 백터(b)와 이 의사역행렬을 곱한다.
[0051] 308에서, 제어 회로는 제2 복수의 라우드스피커 가중치들을 생성하도록 선형 연산자의 널공간에 대해 프로젝션 연산을 수행한다. 마찬가지로, 제어 회로는 방정식 
에 대한 솔루션이 아닌 제2 음장 항(
)을 생성할 수 있으며, 제2 음장 항(
)은 Q개의 컴포넌트들을 갖는다. 예컨대, 위에서 설명된 개선된 단극 밀도 전략에서, 전략 생성 관리자(160)는, 전략 벡터 데이터(162)의 Q개의 컴포넌트들 각각으로서, 방정식(5) 및 방정식(8)의 단극 밀도에 대한 표현을 사용하여 방정식(9)에 따라 컴포넌트 값을 생성한다. 일부 구현들에서, 전략 생성 관리자(160)는 최적의 방향 강도를 위해 파라미터(α)를 튜닝한다. 제어 회로는 그 후, 특정된 T x Q 행렬(A)의 널공간으로의 제2 음장 항(
)의 프로젝션을 생성하기 위해 제2 음장 항(
)에 대해 프로젝션 연산을 수행할 수 있다. 마찬가지로, 널공간 프로젝션 매니저(170)는 선형 변환 데이터(144), 및 일부 구현들에서, 의사역행렬 데이터(152)를 사용하여, 에르미트 공액(
)의 열들로의 프로젝션을 생성하고 그 후 단위 행렬과 이 프로젝션 간의 차이를, 방정식(11)에 따른 전략 벡터(
)로 곱해서 널공간 프로젝션 데이터(172)를 생성한다.
[0052] 310에서, 제어 회로는 제3 복수의 라우드스피커 가중치들을 생성하도록 제1 복수의 라우드스피커 가중치들 및 제2 복수의 라우드스피커 가중치들의 합을 생성하고, 제3 복수의 라우드스피커 가중치들은 주파수 임계치보다 작고 큰 주파수들에서 리스너에 대한 음장의 재생을 제공한다. 마찬가지로, 방향성 필드 관리자(180)는 의사역행렬 데이터(152)에 저장된 바와 같이 선형 모드-매칭 방정식 
에 대한 솔루션들(
) 및 널공간 프로젝션 데이터(172)에 저장된 선형 연산자(A)의 널공간(
)으로의 전략 벡터(
)의 프로젝션들(
)을 더하여, 방정식(12)에 따른 방향성 필드 데이터(182)를 생성한다. 이 방향성 필드 데이터(182)는, 마이크로폰 포지션(210)(도 2) 또는 사운드가 어느 방향으로부터 기원하는 것처럼 보이는지를 리스너가 알기를 원하는 가상 현실 환경과 같은 환경의(복수의 라우드스피커들의 포지션들에 의해 정의된 컨벡스 홀에서 적절함) 임의의 다른 포지션의 리스너에게 방향성 사운드를 제공하기 위해 사운드 렌더링 컴퓨터(120)에 의해 사용된다.
[0053] 도 4는, 본 명세서에서 설명된 기술들과 함께 사용될 수 있는 일반 모바일 컴퓨터 디바이스(400) 및 일반 모바일 컴퓨터 디바이스(450)의 일 예를 도시한다. 컴퓨팅 디바이스(400)는, 랩톱들, 데스크톱들, 태블릿들, 워크스테이션들, 개인용 디지털 보조기기들, 텔레비전들, 서버들, 블레이드 서버들, 메인프레임들, 및 다른 적절한 컴퓨팅 디바이스들과 같은 다양한 형태들의 디지털 컴퓨터들을 표현하도록 의도된다. 컴퓨팅 디바이스(450)는, 개인 휴대 정보 단말들, 셀룰러 텔레폰들, 스마트 폰들, 및 다른 유사한 컴퓨팅 디바이스들과 같은 다양한 형태들의 모바일 디바이스들을 표현하도록 의도된다. 여기에서 도시된 컴포넌트들, 그들의 연결들 및 관계들, 및 그들의 기능들은 예시적인 것으로만 의도되며, 본 명세서에 설명되고 그리고/또는 청구된 본 발명들의 구현들을 제한하도록 의도되지 않는다.
[0054] 컴퓨팅 디바이스(400)는 프로세서(402), 메모리(404), 저장 디바이스(406), 메모리(404) 및 고속 확장 포트들(410)에 연결되는 고속 인터페이스(408), 및 저속 버스(414) 및 저장 디바이스(406)에 연결되는 저속 인터페이스(412)를 포함한다. 프로세서(402)는 반도체-기반 프로세서일 수 있다. 메모리(404)는 반도체-기반 메모리일 수 있다. 컴포넌트들(402, 404, 406, 408, 410, 및 412) 각각은, 다양한 버스들을 사용하여 상호연결되며, 공통 마더보드 상에 또는 적절하게 다른 방식들로 장착될 수 있다. 프로세서(402)는, 고속 인터페이스(408)에 커플링된 디스플레이(416)와 같은 외부 입력/출력 디바이스 상에서의 GUI를 위한 그래픽 정보를 디스플레이하기 위해 메모리(404)에 또는 저장 디바이스(406) 상에 저장된 명령들을 포함하는 컴퓨팅 디바이스(400) 내에서의 실행을 위한 명령들을 프로세싱할 수 있다. 다른 구현들에서, 다수의 프로세서들 및/또는 다수의 버스들이 다수의 메모리들 및 여러 유형의 메모리와 함께 적합하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들(400)이 연결될 수 있으며, 각각의 디바이스는 필요한 동작들의 부분들을 (예컨대, 서버 뱅크, 블레이드 서버들의 그룹, 또는 멀티-프로세서 시스템으로서) 제공한다.
[0055] 메모리(404)는 컴퓨팅 디바이스(400) 내에 정보를 저장한다. 일 구현에서, 메모리(404)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현에서, 메모리(404)는 비-휘발성 메모리 유닛 또는 유닛들이다. 메모리(404)는 또한, 자기 또는 광학 디스크와 같은 컴퓨터-판독 가능 매체의 다른 형태일 수 있다.
[0056] 저장 디바이스(406)는, 컴퓨팅 디바이스(400)에 대한 대용량 스토리지를 제공할 수 있다. 일 구현에서, 저장 디바이스(406)는, 저장 영역 네트워크 또는 다른 구성들 내의 디바이스들을 포함하여, 플로피 디스크 디바이스, 하드 디스크 디바이스, 광학 디스크 디바이스, 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 디바이스들의 어레이와 같은 컴퓨터-판독 가능 매체이거나 그들을 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 캐리어에서 유형적으로 구현될 수 있다. 컴퓨터 프로그램 제품은 또한, 실행될 경우 위에서 설명된 방법들과 같은 하나 이상의 방법들을 수행하는 명령들을 포함할 수 있다. 정보 캐리어는, 메모리(404), 저장 디바이스(406), 또는 프로세서(402) 상의 메모리와 같은 컴퓨터- 또는 머신-판독 가능 매체이다.
[0057] 고속 제어기(408)는, 컴퓨팅 디바이스(400)에 대한 대역폭-집약적인 동작들을 관리하는 반면, 저속 제어기(412)는 더 낮은 대역폭-집약적인 동작들을 관리한다. 기능들의 그러한 할당은 단지 예시적일 뿐이다. 일 구현에서, 고속 제어기(408)는, 메모리(404), (예컨대, 그래픽 프로세서 또는 가속기를 통해) 디스플레이(416), 그리고 다양한 확장 카드들(도시되지 않음)을 수용할 수 있는 고속 확장 포트들(410)에 커플링된다. 구현에서, 저속 제어기(412)는 저장 디바이스(406) 및 저속 확장 포트(414)에 커플링된다. 다양한 통신 포트들(예컨대, USB, 블루투스, 이더넷, 무선 이더넷)을 포함할 수 있는 저속 확장 포트는, 예컨대, 네트워크 어댑터를 통해 키보드, 포인팅 디바이스, 스캐너, 또는 (스위치 또는 라우터와 같은) 네트워킹 디바이스와 같은 하나 이상의 입력/출력 디바이스들에 커플링될 수 있다.
[0058] 컴퓨팅 디바이스(400)는 도면에 도시된 바와 같이, 다수의 상이한 형태들로 구현될 수 있다. 예컨대, 그것은 표준 서버(420)로서, 또는 그러한 서버들의 그룹에서 다수회 구현될 수 있다. 그것은 또한, 랙(rack) 서버 시스템(424)의 부분으로서 구현될 수 있다. 게다가, 그것은 랩톱 컴퓨터(422)와 같은 개인용 컴퓨터에서 구현될 수 있다. 대안적으로, 컴퓨팅 디바이스(400)로부터의 컴포넌트들은, 디바이스(450)와 같은 모바일 디바이스(도시되지 않음) 내의 다른 컴포넌트들과 결합될 수 있다. 그러한 디바이스들 각각은 컴퓨팅 디바이스(400, 450) 중 하나 이상을 포함할 수 있으며, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스들(400, 450)로 구성될 수 있다.
[0059] 컴퓨팅 디바이스(450)는 다른 컴포넌트들 중에서, 프로세서(452), 메모리(464), 디스플레이(454)와 같은 입력/출력 디바이스, 통신 인터페이스(466), 및 트랜시버(468)를 포함한다. 디바이스(450)는 또한, 부가적인 저장소를 제공하기 위해 마이크로드라이브 또는 다른 디바이스와 같은 저장 디바이스를 제공받을 수 있다. 컴포넌트들(450, 452, 464, 454, 466 및 468) 각각은, 다양한 버스들을 사용하여 상호연결되며, 컴포넌트들 중 몇 개는, 공통 마더보드 상에 또는 적절하게 다른 방식들로 장착될 수 있다.
[0060] 프로세서(452)는, 메모리(464)에 저장된 명령들을 포함하는 컴퓨팅 디바이스(450) 내의 명령들을 실행할 수 있다. 프로세서는, 별개의 그리고 다수의 아날로그 및 디지털 프로세서들을 포함하는 칩들의 칩셋으로서 구현될 수 있다. 프로세서는, 예컨대, 사용자 인터페이스들, 디바이스(450)에 의해 구동되는 애플리케이션들, 및 디바이스(450)에 의한 무선 통신의 제어와 같은 디바이스(450)의 다른 컴포넌트들의 조정을 제공할 수 있다.
[0061] 프로세서(452)는, 디스플레이(454)에 커플링된 제어 인터페이스(458) 및 디스플레이 인터페이스(456)를 통해 사용자와 통신할 수 있다. 디스플레이(454)는, 예컨대, TFT LCD(Thin-Film-Transistor Liquid Crystal Display) 또는 OLED(Organic Light Emitting Diode) 디스플레이, 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(456)는, 그래픽 및 다른 정보를 사용자에게 제시하기 위해 디스플레이(454)를 구동시키기 위한 적합한 회로를 포함할 수 있다. 제어 인터페이스(458)는, 사용자로부터 커맨드들을 수신하고, 프로세서(452)로의 제공을 위해 그들을 변환할 수 있다. 부가적으로, 외부 인터페이스(462)는, 다른 디바이스들과의 디바이스(450)의 근접 영역 통신(near area communication)을 가능하게 하도록, 프로세서(452)와의 통신에 제공될 수 있다. 외부 인터페이스(462)는, 예컨대, 일부 구현들에서는 유선 통신, 또는 다른 구현들에서는 무선 통신을 제공할 수 있으며, 다수의 인터페이스들이 또한 사용될 수 있다.
[0062] 메모리(464)는 컴퓨팅 디바이스(450) 내에 정보를 저장한다. 메모리(464)는, 컴퓨터-판독 가능 매체 또는 매체들, 휘발성 메모리 유닛 또는 유닛들, 또는 비-휘발성 메모리 유닛 또는 유닛들 중 하나 이상으로서 구현될 수 있다. 확장 메모리(474)는 또한, 예컨대, SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(472)를 통해 디바이스(450)에 제공 및 연결될 수 있다. 그러한 확장 메모리(474)는, 디바이스(450)에 대한 여분의 저장 공간을 제공할 수 있거나, 또한 디바이스(450)에 대한 애플리케이션들 또는 다른 정보를 저장할 수 있다. 상세하게, 확장 메모리(474)는, 위에서 설명된 프로세스들을 수행 또는 보완하기 위한 명령들을 포함할 수 있으며, 보안 정보를 또한 포함할 수 있다. 따라서, 예컨대, 확장 메모리(474)는, 디바이스(450)에 대한 보안 모듈로서 제공될 수 있으며, 디바이스(450)의 보안 사용을 허용하는 명령들을 이용하여 프로그래밍될 수 있다. 게다가, 보안 애플리케이션들은, 비-해킹 가능 방식으로 SIMM 카드 상에 식별 정보를 배치하는 것과 같이, 추가적인 정보와 함께 SIMM 카드들을 통해 제공될 수 있다.
[0063] 메모리는, 예컨대, 아래에서 논의되는 바와 같이 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 구현에서, 컴퓨터 프로그램 제품은 정보 캐리어에서 유형적으로 구현된다. 컴퓨터 프로그램 제품은, 실행될 경우 위에서 설명된 방법들과 같은 하나 이상의 방법들을 수행하는 명령들을 포함한다. 정보 캐리어는, 메모리(464), 확장 메모리(474), 또는 예컨대, 트랜시버(468) 또는 외부 인터페이스(462)를 통해 수용될 수 있는 프로세서(452) 상의 메모리와 같은 컴퓨터-또는 머신-판독 가능 매체이다.
[0064] 디바이스(450)는, 통신 인터페이스(466)를 통해 무선으로 통신할 수 있으며, 필요할 경우 디지털 신호 프로세싱 회로를 포함할 수 있다. 통신 인터페이스(466)는, 다른 것들 중에서, GSM 음성 호들, SMS, EMS, 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000, 또는 GPRS와 같은 다양한 모드들 또는 프로토콜들 하에서의 통신들을 제공할 수 있다. 그러한 통신은, 예컨대, 라디오-주파수 트랜시버(468)를 통해 발생할 수 있다. 게다가, 단거리 통신은 이를테면, 블루투스, Wi-Fi, 또는 다른 그러한 트랜시버(도시되지 않음)를 사용하여 발생할 수 있다. 부가적으로, GPS(Global Positioning System) 수신기 모듈(470)은, 디바이스(450) 상에서 구동하는 애플리케이션들에 의해 적절하게 사용될 수 있는 부가적인 네비게이션- 및 위치-관련 무선 데이터를 디바이스(450)에 제공할 수 있다.
[0065] 디바이스(450)는 또한, 사용자로부터 발성된 정보(spoken information)를 수신하고 그것을 사용 가능한 디지털 정보로 변환할 수 있는 오디오 코덱(460)을 사용하여 가청적으로 통신할 수 있다. 오디오 코덱(460)은 유사하게, 예컨대, 디바이스(450)의 핸드셋에서, 예컨대 스피커를 통해 사용자에 대한 가청 사운드를 생성할 수 있다. 그러한 사운드는, 음성 텔레폰 통화로부터의 사운드를 포함할 수 있고, 레코딩된 사운드(예컨대, 음성 메시지들, 음악 파일들 등)를 포함할 수 있으며, 또한, 디바이스(450) 상에서 동작하는 애플리케이션들에 의해 생성된 사운드를 포함할 수 있다.
[0066] 컴퓨팅 디바이스(450)는 도면에 도시된 바와 같이, 다수의 상이한 형태들로 구현될 수 있다. 예컨대, 그것은 셀룰러 전화(480)로서 구현될 수 있다. 그것은 또한, 스마트-폰(482), 개인 휴대 정보 단말기, 또는 다른 유사한 모바일 디바이스의 부분으로서 구현될 수 있다.
[0067] 여기서 설명된 시스템들 및 기술들의 다양한 구현들은, 디지털 전자 회로, 집적 회로, 특수하게 설계된 ASIC(application specific integrated circuit)들, 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합들로 실현될 수 있다. 이들 다양한 구현들은, 저장 시스템, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 그들로 데이터 및 명령들을 송신하도록 커플링된 특수 목적 또는 범용 목적일 수 있는 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템 상에서 실행 가능하고 그리고/또는 해석 가능한 하나 이상의 컴퓨터 프로그램들로의 구현을 포함할 수 있다.
[0068] 이들 컴퓨터 프로그램들(프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 또는 코드로 또한 알려짐)은, 프로그래밍 가능 프로세서에 대한 머신 명령들을 포함하며, 고레벨의 절차적인 및/또는 객체-지향 프로그래밍 언어 및/또는 어셈블리/머신 언어로 구현될 수 있다. 본원에서 사용된 바와 같은 "머신-판독 가능 매체", "컴퓨터-판독 가능 매체"라는 용어들은, 머신-판독 가능 신호로서 머신 명령들을 수신하는 머신-판독 가능 매체를 포함하여, 머신 명령들 및/또는 데이터를 프로그래밍가능 프로세서에 제공하기 위해 사용되는 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예컨대, 자기 디스크들, 광학 디스크들, 메모리, PLD(Programmable Logic Device)들)로 지칭된다. "머신-판독 가능 신호"라는 용어는, 머신 명령들 및/또는 데이터를 프로그래밍가능 프로세서에 제공하기 위해 사용되는 임의의 신호를 지칭한다.
[0069] 사용자와의 상호작용을 제공하기 위해, 여기에서 설명된 시스템들 및 기술들은, 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스(예컨대, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터), 및 사용자가 입력을 컴퓨터에 제공할 수 있는 키보드 및 포인팅 디바이스(예컨대, 마우스 또는 트랙볼)를 갖는 컴퓨터 상에서 구현될 수 있다. 다른 종류들의 디바이스들은 또한, 사용자와의 상호작용을 제공하기 위해 사용될 수 있으며, 예컨대, 사용자에게 제공된 피드백은 임의의 형태의 감각 피드백(예컨대, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있고; 사용자로부터의 입력은 음향, 스피치, 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다.
[0070] 여기에서 설명된 시스템들 및 기술들은, 백 엔드(back end) 컴포넌트를(예컨대, 데이터 서버로서) 포함하거나, 미들웨어 컴포넌트(예컨대, 애플리케이션 서버)를 포함하거나, 프론트 엔드 컴포넌트(예컨대, 사용자가 여기서 설명된 시스템들 및 기술들의 구현과 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터)를 포함하거나, 또는 그러한 백 엔드, 미들웨어, 또는 프론트 엔드 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은, 임의의 형태 또는 매체의 디지털 데이터 통신(예컨대, 통신 네트워크)에 의해 상호연결될 수 있다. 통신 네트워크들의 예들은 로컬 영역 네트워크("LAN"), 광역 네트워크("WAN"), 및 인터넷을 포함한다.
[0071] 컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 떨어져 있으며, 통상적으로 통신 네트워크를 통해 상호작용할 수 있다. 클라이언트 및 서버의 관계는, 각각의 컴퓨터들 상에서 실행되고 서로에 대해 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의해 발생한다.
[0072] 본 명세서에서 그리고 첨부된 청구항들에서, 단수 형태들은, 맥락이 명확히 달리 표시하지 않으면 복수의 지시대상을 배제하지 않는다. 또한, 맥락이 명확하게 달리 지시하지 않는 한, "및", "또는" 및 "및/또는"과 같은 접속사들은 포괄적이다. 예컨대, "A 및/또는 B"는 A만, B만 및 A와 B를 포함한다. 추가로, 제시된 다양한 도면들에 도시된 연결 라인들 또는 커넥터들은 다양한 엘리먼트들 간의 예시적인 기능적 관계들 및/또는 물리적 또는 논리적 커플링들을 표현하려는 것이다. 다수의 대안들 또는 부가적인 기능 관계들, 물리적 연결들 또는 논리적 연결들이 실제 디바이스에 존재할 수 있다. 더욱이, 엘리먼트가 "필수적" 또는 "임계적"으로서 구체적으로 설명되지 않는 한, 본원에서 개시된 실시예들의 실시에 대해 어떤 아이템 또는 컴포넌트도 필수적이지 않다.
[0073] 대략적으로, 실질적으로, 일반적으로 등과 같은(그러나 이에 제한되지는 않음) 용어들은 그의 정확한 값 또는 범위가 요구되지 않고 특정될 필요가 없다는 것을 표시하기 위해 본원에서 사용된다. 본원에서 사용된 바와 같이, 위에서 논의된 용어들은 당업자에게 준비가 되어 있고 즉각적인 의미를 가질 것이다.
[0074] 또한, 본원에서 위, 아래, 최상부, 최하부, 측, 단부, 전방, 후방 등과 같은 용어들의 사용은 현재 고려되거나 예시된 배향을 참조하여 사용된다. 이들이 다른 배향에 대해 고려되는 경우, 그러한 용어들은 상응하게 수정되어야 한다는 것이 이해되어야 한다.
[0075] 또한, 본 명세서에서 그리고 첨부된 청구항들에서, 단수 형태들은, 맥락이 명확히 달리 표시하지 않으면 복수의 지시대상을 배제하지 않는다. 또한, 문맥이 명확하게 달리 지시하지 않는 한, "및", "또는" 및 "및/또는"과 같은 접속사들은 포괄적이다. 예컨대, "A 및/또는 B"는 A만, B만 및 A와 B를 포함한다.
[0076] 소정의 예시적인 방법들, 장치들 및 제조 물품들이 본원에서 설명되었지만, 본 특허의 커버리지의 범위는 이것으로 제한되지 않는다. 본원에서 사용된 용어는 특정 양상들을 설명하려는 목적만을 위한 것이며, 제한하는 것으로 의도되지 않는다는 것이 이해될 것이다. 반대로, 이 특허는 본 특허 청구 범위 내에 완전히 속하는 모든 방법들, 장치들 및 제조 물품들을 커버한다.
Claims (20)
- 리스너(listener)에 대해 방향성 음장(sound field)들을 렌더링하도록 구성된 사운드 렌더링 컴퓨터의 제어 회로에 의해, 기하학적 환경에서 음장으로부터 유래하는 사운드 데이터를 수신하는 단계 ― 상기 사운드 데이터는 상기 기하학적 환경에 기초하여 복수의 직교 각도 모드 함수들에서의 전개(expansion)로서 표현됨 ―;
상기 제어 회로에 의해, 선형 연산자를 생성하는 단계 ― 상기 선형 연산자는 상기 복수의 직교 각도 모드 함수들에서의 전개로서 표현된 복수의 라우드스피커(loudspeaker)들의 진폭들의 가중화된 합의 전개 및 상기 사운드 데이터에 대한 모드-매칭 연산으로부터 유래함 ―;
상기 제어 회로에 의해, 제1 복수의 라우드스피커 가중치들을 생성하도록 상기 선형 연산자 및 상기 사운드 데이터에 대해 역 연산(inverse operation)을 수행하는 단계;
상기 제어 회로에 의해, 제2 복수의 라우드스피커 가중치들을 생성하도록 상기 선형 연산자의 널공간(nullspace)에 대해 프로젝션 연산(projection operation)을 수행하는 단계; 및
상기 제어 회로에 의해, 제3 복수의 라우드스피커 가중치들을 생성하도록 상기 제1 복수의 라우드스피커 가중치들 및 상기 제2 복수의 라우드스피커 가중치들의 합을 생성하는 단계를 포함하고,
상기 제3 복수의 라우드스피커 가중치들은 상기 리스너에 대한 음장의 재생(reproduction)을 제공하는,
방법. - 제1 항에 있어서,
상기 선형 연산자 및 상기 사운드 데이터에 대해 역 연산을 수행하는 단계는 상기 선형 연산자의 무어-펜로즈 의사역행렬(Moore-Penrose pseudoinverse)을 생성하는 단계를 포함하는,
방법. - 제1 항에 있어서,
상기 기하학적 환경은 구형이고, 그리고 상기 복수의 직교 각도 모드 함수들은 구면 조화함수(spherical harmonic)들을 포함하는,
방법. - 제1 항에 있어서,
상기 복수의 라우드스피커들에서의 라우드스피커들의 수는 상기 복수의 직교 각도 모드 함수들에서의 직교 각도 모드 함수들의 수 보다 큰,
방법. - 제1 항에 있어서,
상기 선형 연산자의 널공간에 대해 프로젝션 연산을 수행하는 단계는,
전략 벡터(strategy vector)를 생성하는 단계 ― 상기 전략 벡터의 각각의 컴포넌트는 상기 복수의 라우드스피커들의 각각의 라우드스피커에 대응함 ―;
프로젝션 행렬(projection matrix)을 생성하도록, 상기 선형 연산자의 에르미트 공액(Hermitian conjugate)의 널공간의 열들로의 프로젝션과 단위 행렬(identity matrix) 간의 차이를 생성하는 단계; 및
상기 제2 복수의 라우드스피커 가중치들로서, 상기 프로젝션 행렬 및 상기 전략 벡터의 곱을 생성하는 단계를 포함하는,
방법. - 제5 항에 있어서,
상기 전략 벡터를 생성하는 단계는, 상기 복수의 라우드스피커들 각각에 대해:
상기 기하학적 환경 내에서 해당 라우드스피커의 각각의 각도 좌표에서 평가된 연속 단극(monopole) 밀도 함수를 정의하는 단계; 및
상기 전략 벡터로서, 상기 기하학적 환경 내에서 해당 라우드스피커의 상기 각각의 각도 좌표에서 평가된 상기 연속 단극 밀도 함수의 크기의 거듭제곱(power)을 생성하는 단계를 포함하고,
상기 거듭제곱은 1보다 큰,
방법. - 제6 항에 있어서,
상기 기하학적 환경 내에서 상기 복수의 라우드스피커들의 각각의 라우드스피커의 각각의 각도 좌표에서 평가된 연속 단극 밀도 함수를 정의하는 것은:
상기 기하학적 환경 내에서 해당 라우드스피커의 각도 좌표에서 평가된 상기 연속 단극 밀도 함수로서, 상기 복수의 직교 각도 모드 함수들에서 상기 연속 단극 밀도 함수의 전개를 생성하는 것을 포함하고,
상기 전개의 계수들은 상기 연속 단극 밀도 함수의 그린 함수(Green’s function) 표현과의 모드-매칭 연산의 결과로서 생성되는,
방법. - 컴퓨터 프로그램을 저장한 컴퓨터-판독가능 저장 매체로서,
상기 컴퓨터 프로그램은 코드를 포함하고, 상기 코드는, 리스너에 대한 방향성 음장들을 렌더링하도록 구성된 사운드 렌더링 컴퓨터의 프로세싱 회로에 의해 실행될 때, 상기 프로세싱 회로로 하여금, 방법을 수행하게 하고,
상기 방법은:
기하학적 환경에서 음장으로부터 유래하는 사운드 데이터를 수신하는 단계 ― 상기 사운드 데이터는 상기 기하학적 환경에 기초하여 복수의 직교 각도 모드 함수들에서의 전개로서 표현됨 ―;
선형 연산자를 생성하는 단계 ― 상기 선형 연산자는 상기 복수의 직교 각도 모드 함수들에서의 전개로서 표현된 복수의 라우드스피커들의 진폭들의 가중화된 합의 전개 및 상기 사운드 데이터에 대한 모드-매칭 연산으로부터 유래함 ―;
제1 복수의 라우드스피커 가중치들을 생성하도록 상기 선형 연산자 및 상기 사운드 데이터에 대해 역 연산을 수행하는 단계;
제2 복수의 라우드스피커 가중치들을 생성하도록 상기 선형 연산자의 널공간에 대해 프로젝션 연산을 수행하는 단계; 및
제3 복수의 라우드스피커 가중치들을 생성하도록 상기 제1 복수의 라우드스피커 가중치들 및 상기 제2 복수의 라우드스피커 가중치들의 합을 생성하는 단계를 포함하고,
상기 제3 복수의 라우드스피커 가중치들은 상기 리스너에 대한 음장의 재생을 제공하는,
컴퓨터-판독가능 저장 매체. - 제8 항에 있어서,
상기 선형 연산자 및 상기 사운드 데이터에 대해 역 연산을 수행하는 단계는 상기 선형 연산자의 무어-펜로즈 의사역행렬을 생성하는 단계를 포함하는,
컴퓨터-판독가능 저장 매체. - 제8 항에 있어서,
상기 기하학적 환경은 구형이고, 그리고 상기 복수의 직교 각도 모드 함수들은 구면 조화함수들을 포함하는,
컴퓨터-판독가능 저장 매체. - 제8 항에 있어서,
상기 복수의 라우드스피커들에서의 라우드스피커들의 수는 상기 복수의 직교 각도 모드 함수들에서의 직교 각도 모드 함수들의 수 보다 큰,
컴퓨터-판독가능 저장 매체. - 제8 항에 있어서,
상기 선형 연산자의 널공간에 대해 프로젝션 연산을 수행하는 단계는,
전략 벡터를 생성하는 단계 ― 상기 전략 벡터의 각각의 컴포넌트는 상기 복수의 라우드스피커들의 각각의 라우드스피커에 대응함 ―;
프로젝션 행렬을 생성하도록, 상기 선형 연산자의 에르미트 공액의 널공간의 열들로의 프로젝션과 단위 행렬 간의 차이를 생성하는 단계; 및
상기 제2 복수의 라우드스피커 가중치들로서, 상기 프로젝션 행렬 및 상기 전략 벡터의 곱을 생성하는 단계를 포함하는,
컴퓨터-판독가능 저장 매체. - 제12 항에 있어서,
상기 전략 벡터를 생성하는 단계는, 상기 복수의 라우드스피커들 각각에 대해:
상기 기하학적 환경 내에서 해당 라우드스피커의 각각의 각도 좌표에서 평가된 연속 단극 밀도 함수를 정의하는 단계; 및
상기 전략 벡터로서, 상기 기하학적 환경 내에서 해당 라우드스피커의 상기 각각의 각도 좌표에서 평가된 상기 연속 단극 밀도 함수의 크기의 거듭제곱을 생성하는 단계를 포함하고,
상기 거듭제곱은 1보다 큰,
컴퓨터-판독가능 저장 매체. - 제13 항에 있어서,
상기 기하학적 환경 내에서 상기 복수의 라우드스피커들의 각각의 라우드스피커의 각각의 각도 좌표에서 평가된 연속 단극 밀도 함수를 정의하는 것은:
상기 기하학적 환경 내에서 해당 라우드스피커의 각도 좌표에서 평가된 상기 연속 단극 밀도 함수로서, 상기 복수의 직교 각도 모드 함수들에서 상기 연속 단극 밀도 함수의 전개를 생성하는 것을 포함하고,
상기 전개의 계수들은 상기 연속 단극 밀도 함수의 그린 함수(Green’s function) 표현과의 모드-매칭 연산의 결과로서 생성되는,
컴퓨터-판독가능 저장 매체. - 리스너에 대한 방향성 음장들을 렌더링하도록 구성된 전자 장치로서,
메모리; 및
상기 메모리에 커플링된 제어 회로를 포함하고, 상기 제어 회로는:
기하학적 환경에서 음장으로부터 유래하는 사운드 데이터를 수신하고 ― 상기 사운드 데이터는 상기 기하학적 환경에 기초하여 복수의 직교 각도 모드 함수들에서의 전개로서 표현됨 ―;
선형 연산자를 생성하고 ― 상기 선형 연산자는 상기 복수의 직교 각도 모드 함수들에서의 전개로서 표현된 복수의 라우드스피커들의 진폭들의 가중화된 합의 전개 및 상기 사운드 데이터에 대한 모드-매칭 연산으로부터 유래함 ―;
제1 복수의 라우드스피커 가중치들을 생성하도록 상기 선형 연산자 및 상기 사운드 데이터에 대해 역 연산을 수행하고;
제2 복수의 라우드스피커 가중치들을 생성하도록 상기 선형 연산자의 널공간에 대해 프로젝션 연산을 수행하고; 그리고
제3 복수의 라우드스피커 가중치들을 생성하도록 상기 제1 복수의 라우드스피커 가중치들 및 상기 제2 복수의 라우드스피커 가중치들의 합을 생성하도록
구성되고,
상기 제3 복수의 라우드스피커 가중치들은 상기 리스너에 대한 음장의 재생을 제공하는,
리스너에 대한 방향성 음장들을 렌더링하도록 구성된 전자 장치. - 제15 항에 있어서,
상기 선형 연산자 및 상기 사운드 데이터에 대해 의사역행렬 연산을 수행하는 것은 상기 선형 연산자의 무어-펜로즈 의사역행렬을 생성하는 것을 포함하는,
리스너에 대한 방향성 음장들을 렌더링하도록 구성된 전자 장치. - 제15 항에 있어서,
상기 기하학적 환경은 구형이고, 그리고 상기 복수의 직교 각도 모드 함수들은 구면 조화함수들을 포함하는,
리스너에 대한 방향성 음장들을 렌더링하도록 구성된 전자 장치. - 제15 항에 있어서,
상기 복수의 라우드스피커들에서의 라우드스피커들의 수는 상기 복수의 직교 각도 모드 함수들에서의 직교 각도 모드 함수들의 수 보다 큰,
리스너에 대한 방향성 음장들을 렌더링하도록 구성된 전자 장치. - 제15 항에 있어서,
상기 선형 연산자의 널공간에 대해 프로젝션 연산을 수행하는 것은,
전략 벡터를 생성하는 것 ― 상기 전략 벡터의 각각의 컴포넌트는 상기 복수의 라우드스피커들의 각각의 라우드스피커에 대응함 ―;
프로젝션 행렬을 생성하도록, 상기 선형 연산자의 에르미트 공액의 널공간의 열들로의 프로젝션과 단위 행렬 간의 차이를 생성하는 것; 및
상기 제2 복수의 라우드스피커 가중치들로서, 상기 프로젝션 행렬 및 상기 전략 벡터의 곱을 생성하는 것을 포함하는,
리스너에 대한 방향성 음장들을 렌더링하도록 구성된 전자 장치. - 제19 항에 있어서,
상기 전략 벡터를 생성하는 것은, 상기 복수의 라우드스피커들 각각에 대해:
상기 기하학적 환경 내에서 해당 라우드스피커의 각각의 각도 좌표에서 평가된 연속 단극 밀도 함수를 정의하는 것; 및
상기 전략 벡터로서, 상기 기하학적 환경 내에서 해당 라우드스피커의 상기 각각의 각도 좌표에서 평가된 상기 연속 단극 밀도 함수의 크기의 거듭제곱을 생성하는 것을 포함하고,
상기 거듭제곱은 1보다 큰,
리스너에 대한 방향성 음장들을 렌더링하도록 구성된 전자 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/666,220 US10015618B1 (en) | 2017-08-01 | 2017-08-01 | Incoherent idempotent ambisonics rendering |
| US15/666,220 | 2017-08-01 | ||
| PCT/US2018/040720 WO2019027613A1 (en) | 2017-08-01 | 2018-07-03 | AMPEMOPHONE RENDER IDEMPOTENT INCOHERE |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200003051A KR20200003051A (ko) | 2020-01-08 |
| KR102284811B1 true KR102284811B1 (ko) | 2021-07-30 |
Family
ID=62683709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197035068A KR102284811B1 (ko) | 2017-08-01 | 2018-07-03 | 인코히어런트 멱등 앰비소닉스 렌더링 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10015618B1 (ko) |
| EP (1) | EP3625975B1 (ko) |
| JP (1) | JP6985425B2 (ko) |
| KR (1) | KR102284811B1 (ko) |
| CN (1) | CN110583030B (ko) |
| WO (1) | WO2019027613A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112530445A (zh) * | 2020-11-23 | 2021-03-19 | 雷欧尼斯（北京）信息技术有限公司 | 高阶Ambisonic音频的编解码方法及芯片 |
| CN115038027B (zh) * | 2021-03-05 | 2023-07-07 | 华为技术有限公司 | Hoa系数的获取方法和装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016141023A1 (en) | 2015-03-03 | 2016-09-09 | Dolby Laboratories Licensing Corporation | Enhancement of spatial audio signals by modulated decorrelation |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7876917B2 (en) * | 2006-08-28 | 2011-01-25 | Youngtack Shim | Generic electromagnetically-countered systems and methods |
| TWI496479B (zh) * | 2008-09-03 | 2015-08-11 | Dolby Lab Licensing Corp | 增進多聲道之再生 |
| EP4284026A3 (en) * | 2012-07-16 | 2024-02-21 | Dolby International AB | Method and device for rendering an audio soundfield representation |
| US9736609B2 (en) * | 2013-02-07 | 2017-08-15 | Qualcomm Incorporated | Determining renderers for spherical harmonic coefficients |
| EP2782094A1 (en) * | 2013-03-22 | 2014-09-24 | Thomson Licensing | Method and apparatus for enhancing directivity of a 1st order Ambisonics signal |
| BR112015028409B1 (pt) * | 2013-05-16 | 2022-05-31 | Koninklijke Philips N.V. | Aparelho de áudio e método de processamento de áudio |
| EP2866475A1 (en) * | 2013-10-23 | 2015-04-29 | Thomson Licensing | Method for and apparatus for decoding an audio soundfield representation for audio playback using 2D setups |
| CN106465029B (zh) * | 2014-05-30 | 2018-05-08 | 高通股份有限公司 | 用于渲染高阶立体混响系数及产生位流的装置和方法 |
| US10624612B2 (en) * | 2014-06-05 | 2020-04-21 | Chikayoshi Sumi | Beamforming method, measurement and imaging instruments, and communication instruments |
| CN110415712B (zh) * | 2014-06-27 | 2023-12-12 | 杜比国际公司 | 用于解码声音或声场的高阶高保真度立体声响复制（hoa）表示的方法 |
| EP3141002B1 (en) * | 2014-11-11 | 2020-01-08 | Google LLC | Virtual sound systems and methods |
| US9749747B1 (en) * | 2015-01-20 | 2017-08-29 | Apple Inc. | Efficient system and method for generating an audio beacon |
| US9752879B2 (en) * | 2015-04-14 | 2017-09-05 | Invensense, Inc. | System and method for estimating heading misalignment |
| KR102565118B1 (ko) * | 2015-08-21 | 2023-08-08 | 디티에스, 인코포레이티드 | 누설 소거용 다중 스피커 방법 및 장치 |
-
2017
- 2017-08-01 US US15/666,220 patent/US10015618B1/en active Active
-
2018
- 2018-07-03 JP JP2019566090A patent/JP6985425B2/ja active Active
- 2018-07-03 WO PCT/US2018/040720 patent/WO2019027613A1/en unknown
- 2018-07-03 CN CN201880029462.2A patent/CN110583030B/zh active Active
- 2018-07-03 EP EP18745766.8A patent/EP3625975B1/en active Active
- 2018-07-03 KR KR1020197035068A patent/KR102284811B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016141023A1 (en) | 2015-03-03 | 2016-09-09 | Dolby Laboratories Licensing Corporation | Enhancement of spatial audio signals by modulated decorrelation |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019027613A1 (en) | 2019-02-07 |
| CN110583030B (zh) | 2021-06-08 |
| EP3625975A1 (en) | 2020-03-25 |
| US10015618B1 (en) | 2018-07-03 |
| EP3625975B1 (en) | 2022-12-14 |
| KR20200003051A (ko) | 2020-01-08 |
| JP6985425B2 (ja) | 2021-12-22 |
| JP2020522189A (ja) | 2020-07-27 |
| CN110583030A (zh) | 2019-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10674262B2 (en) | Merging audio signals with spatial metadata | |
| US9992602B1 (en) | Decoupled binaural rendering | |
| KR102622947B1 (ko) | 오디오 재생을 위한 오디오 사운드필드 표현을 디코딩하는 방법 및 장치 | |
| JP7082126B2 (ja) | デバイス内の非対称配列の複数のマイクからの空間メタデータの分析 | |
| US10492018B1 (en) | Symmetric binaural rendering for high-order ambisonics | |
| TWI797417B (zh) | 用於將保真立體音響格式聲訊訊號描繪至二維度（２ｄ）揚聲器設置之方法和裝置以及電腦可讀式儲存媒體 | |
| US11350230B2 (en) | Spatial sound rendering | |
| US10009704B1 (en) | Symmetric spherical harmonic HRTF rendering | |
| JP2020500480A5 (ko) | ||
| EP3523801B1 (en) | Coding of a soundfield representation | |
| US20210004201A1 (en) | Audio capture and rendering for extended reality experiences | |
| KR102284811B1 (ko) | 인코히어런트 멱등 앰비소닉스 렌더링 | |
| Kleijn et al. | Incoherent idempotent ambisonics rendering | |
| GB2572419A (en) | Spatial sound rendering | |
| JP7099456B2 (ja) | スピーカアレイ、および信号処理装置 | |
| CN111684822B (zh) | 环境立体声的定向增强 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |