KR101806060B1 - 복수의 오디오 채널들을 생성하기 위한 장치 및 방법 - Google Patents

복수의 오디오 채널들을 생성하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR101806060B1
KR101806060B1 KR1020167021526A KR20167021526A KR101806060B1 KR 101806060 B1 KR101806060 B1 KR 101806060B1 KR 1020167021526 A KR1020167021526 A KR 1020167021526A KR 20167021526 A KR20167021526 A KR 20167021526A KR 101806060 B1 KR101806060 B1 KR 101806060B1
Authority
KR
South Korea
Prior art keywords
speaker
virtual
energy distribution
speakers
audio channels
Prior art date
Application number
KR1020167021526A
Other languages
English (en)
Other versions
KR20160106148A (ko
Inventor
크리스티안 보르스
크리스티안 에르텔
요하네스 힐퍼트
아힘 쿤츠
미하엘 피셔
플로리안 슈
베른하트 그릴
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20160106148A publication Critical patent/KR20160106148A/ko
Application granted granted Critical
Publication of KR101806060B1 publication Critical patent/KR101806060B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

제 1 스피커 셋업을 위한 복수의 오디오 채널들을 생성하기 위한 장치는 가상 스피커 결정기, 에너지 분포 계산기, 프로세서 및 렌더러에 의해 특성화된다. 가상 스피커 결정기는 제 1 스피커 셋업에 포함되지 않은 가상 스피커의 포지션을 결정하여 그 가상 스피커를 포함하는 제 2 스피커 셋업을 얻도록 구성된다. 에너지 분포 계산기는 제 2 스피커 셋업에서 가상 스피커로부터 다른 스피커들로의 에너지 분포를 계산하도록 구성된다. 프로세서는 에너지 분포를 반복하여 제 2 스피커 셋업에서 제 1 스피커 셋업으로의 다운믹스를 위한 다운믹스 정보를 얻도록 구성된다. 렌더러는 다운믹스 정보를 사용하여 복수의 오디오 채널들을 생성하도록 구성된다.

Description

복수의 오디오 채널들을 생성하기 위한 장치 및 방법{APPARATUS AND METHOD FOR GENERATING A PLURALITY OF AUDIO CHANNELS}
본 발명은 스피커 셋업을 위한 복수의 오디오 채널들을 생성하기 위한 장치 및 방법에 관한 것이다.
공간 오디오 코딩 및 디코딩 하드웨어 및 소프트웨어가 해당 기술분야에 잘 공지되어 있으며, 예를 들어 MPEG 서라운드 표준으로 표준화된다. 공간 오디오 시스템들은 다수의 라우드스피커들 및 각각의 오디오 채널들, 예를 들어 좌측 채널, 중앙 채널, 우측 채널, 좌측 서라운드 채널, 우측 서라운드 채널 및 저주파 강화 채널을 포함한다. 채널들 각각은 대개 각각의 라우드스피커에 의해 재생된다. 출력 셋업에서 라우드스피커들의 배치는 대체로 고정적이며, 예를 들어 5.1 포맷, 7.1 포맷 등에 의존한다. 각각의 포맷에 따라, 라우드스피커의 포지션이 정해진다. 일부 셋업들은 청취자의 포지션 위에 라우드스피커 포지션을 정한다. 이 라우드스피커는 또한 VoG(Voice-of-God)로 지칭된다. 일부 포맷들은 또한 청취자 아래 포지션을 갖는 라우드스피커를 정의할 수도 있다. 제각기, 이 라우드스피커는 VoH(Voice-of-Hell)로 지칭될 수 있다. 라우드스피커 셋업의 라우드스피커들에 대한 오디오 신호들을 정의하는 오디오 채널들을 생성하기 위해, 벡터 기반 진폭 패닝(VBAP: Vector Base Amplitude Panning) 방법이 사용될 수도 있다. VBAP는 스피커 세트의 라우드스피커들을 가리키는 N개의 단위 벡터들( l 1, … , l N)의 세트를 사용한다. 스피커 세트가 3차원 청각 장면을 재생하도록 구성되는 경우, 스피커 세트는 3D 스피커 세트로 표기된다. 데카르트 단위 벡터(p)로 주어진 패닝 방향은 그러한 라우드스피커 벡터들의 선형 결합에 의해 정의된다.
Figure 112016076313012-pct00001
(1)
여기서 g n 은 l n 에 적용되는 스케일링 계수를 나타낸다. R 3에서, 벡터 공간은 3개의 벡터 기저들로 형성된다. 그러므로 액티브 스피커들의 수 그리고 그에 따라 0이 아닌 스케일링 계수들의 수가 3으로 제한된다면, (1)은 일반적으로 역행렬에 의해 해가 구해질 수 있다. 사실상, 이는 라우드스피커들 간에 삼각형들의 망을 정의함으로써 그리고 중간에 있는 영역에 대해 그러한 트리플릿(triplet)들을 선택함으로써 이루어진다. 이는 스케일링 계수들이 아래 식에 관해 적용되는 해법으로 이어질 수 있으며
Figure 112016076313012-pct00002
(2)
여기서 {n 1, n 2, n 3}은 액티브 라우드스피커 트리플릿을 나타낸다. 마지막으로, 거듭제곱-정규화된 출력 신호들을 보장하는 정규화가 최종 패닝 이득들(a1, … ,a N )을 야기한다:
Figure 112016076313012-pct00003
(3)
MPEG-H 디코더에 포함된 객체 렌더러는 VBAP를 사용하여, 주어진 라우드스피커 구성에 대한 오디오 객체들을 렌더링한다. 라우드스피커 셋업이 9.1 스피커 셋업과 같은 T0("Voice-of-God") 라우드스피커를 포함하지 않는다면, 청취자의 포지션에 대해 35°보다 더 큰 고도를 갖는 객체들이 상부 라우드스피커들의 디폴트 고도각인 35°의 고도로 제한된다. 실제 해법이지만, 이 해법은 재생되는 청각 장면을 변경할 수도 있기 때문에 명확히 최적은 아니다.
9.1 스피커 셋업, 즉 9.1 포맷에 따른 스피커 셋업에서, 상부 반구를 2개의 삼각형들로 나누기 위한 대안은 비대칭성을 야기할 것이며, 청취자 바로 위의 객체가 다음에 2개의 대향하는 라우드스피커들에 의해 재생될 것이다. 결과적으로, 예를 들어, 상부 전방 오른쪽에서 상부 후방 왼쪽으로 이동하는 오디오 객체는 ― 스피커 셋업의 대칭성에도 불구하고 ― 상부 전방 왼쪽에서 상부 후방 오른쪽으로 이동하게 될 때와는 다른 소리를 낼 것이다. 이러한 딜레마에 대한 해법은 상부 반구의 객체들에 대해 모든 상부 라우드스피커들이 수반되는 N 단위(N-wise) 패닝을 사용하는 것이다. VBAP 패닝을 3개의 라우드스피커들에서 N개의 라우드스피커들로 확장하는 것이 N 단위 패닝으로 불린다. 예를 들어, MPEG 디코더에 의해 계산될 삼각형들의 에지들로 지정되는 그래프로 이웃 관계가 주어질 수 있다. 예를 들어, N개의 꼭지점들로 하나 또는 그보다 많은 다면체들을 형성함으로써 삼각형들이 얻어질 수 있다. 꼭지점은 스피커로 형성될 수도 있다. 삼각형들은 다면체들의 외부 표면들로 형성될 수도 있다.
VBAP 패닝 방법은 모든 입체각들에 대해 적절한 삼각 측량을 필요로 한다. 현재 MPEG-H 3D 기준 소프트웨어에서, 삼각 측량이 미리 계산되어 고정된 수의 스피커 셋업들에 대해 표 형태로 주어진다. 현재 이것은 지원되는 스피커 셋업들을 주어진 셋업들로 또는 작은 변위들만큼만 차이가 나는 셋업들로 제한된다.
라우드스피커 포지션들을 정하는 오디오 포맷들은 사용자, 예를 들어 청취자의 그러한 정해진 포지션들에 라우드스피커들을 놓게 한다. 이러한 요건들은 예를 들어, 라우드스피커들이 원으로서 또는 원형 경로 상에서 청취자 주위에 배열되도록 정해지는 경우들에는 달성하기 어려울 수도 있다. 어떤 사용자들, 특히 아파트들에 살고 있는 사용자들은 라우드스피커 셋업이 있는 거실이 원형이 아니라 직사각형이고 사용자들이 라우드스피커들을 방의 가운데가 아니라 벽들 근처에 배치하길 원할 때 이러한 셋업들을 적응시킬 필요가 있다.
그러므로 예를 들어, 보다 탄력적인 라우드스피커 셋업을 허용하는 오디오 디코딩 개념들에 대한 필요성이 존재한다.
오디오 인코딩을 위한 보다 탄력적인 장치 및 방법에 대한 개념을 제공하는 것이 본 발명의 과제이다.
이러한 과제는 독립 청구항들의 요지로 해결된다.
본 발명의 추가 유리한 수정들은 종속 청구항들의 대상이다.
본 발명의 실시예들은 제 1 스피커 셋업을 위한 복수의 오디오 채널들을 생성하기 위한 장치에 관한 것이다. 이 장치는 제 1 스피커 셋업에 포함되지 않은 가상 스피커의 포지션을 결정하기 위한 가상 스피커 결정기를 포함한다. 가상 스피커의 포지션을 결정함으로써, 가상 스피커를 포함하는 제 2 스피커 셋업이 얻어진다. 이 장치는 제 2 스피커 셋업에서 가상 스피커로부터 다른 스피커들로의 에너지 분포를 계산하기 위한 에너지 분포 계산기를 더 포함한다. 이 장치는 에너지 분포를 반복하여 제 2 스피커 셋업에서 제 1 스피커 셋업으로의 다운믹스를 위한 다운믹스 정보를 얻기 위한 프로세서를 더 포함한다. 이 장치의 렌더러는 다운믹스 정보를 사용하여 복수의 오디오 채널들을 생성하도록 구성된다.
버추얼(virtual), 즉 가상 (라우드)스피커들의 포지션들을 결정함으로써, 정해진 포맷에 대해 포맷화된 영화의 3D 오디오 데이터와 같은 오디오 데이터가 마치 실제 셋업(제 1 셋업)이 다수의 라우드스피커들에 대해 정해진 구성 및/또는 라우드스피커들의 포지션들과 매칭하는 것처럼 처리될 수도 있음이 발명자들에 의해 확인되었다. 실제 라우드스피커들을 제어하기 위해, 가상의 제 2 셋업은 제 1 셋업(실제로 구현되는 셋업)이 마치 제 2 셋업(예를 들어, 포맷에 의해 정해진 셋업)인 것처럼 제어될 수 있게 에너지 분포에 따라 다운믹스된다.
이는 각각의 포맷으로 정해진 오디오 채널들의, 예를 들어 청취자들의 집에 구현된 라우드스피커들의 실제 셋업으로의 적응을 가능하게 한다.
본 발명의 추가 실시예들은 프로세서가 에너지 분포를 기초로 에너지 분포 행렬을 생성하도록 구성되는 장치에 관한 것이다. 에너지 분포 행렬의 엘리먼트들은 다른 스피커로의 가상 스피커의 에너지 분포를 나타낼 수도 있다. 프로세서는 에너지 분포 행렬의 거듭제곱을 계산하도록 구성된다. 에너지 분포 행렬의 거듭제곱은 얻어진 행렬의 엘리먼트들이 추가 처리에서 무시될 수 있게 그러한 엘리먼트들을 감소시키거나 정해진 임계치에 수렴하게 한다. 그 결과, 에너지 분포 행렬의 거듭제곱을 기초로 다운믹스 정보가 얻어질 수 있다. 다운믹스 정보는 제 2 스피커 셋업을 시뮬레이팅하는 제 1 스피커 셋업의 라우드스피커들을 어떻게 제어하는지를 표시한다.
본 발명의 추가 실시예들은 이웃 추정기를 포함하는 에너지 분포 계산기를 더 포함하는 장치에 관한 것이다. 이웃 추정기는 가상 스피커의 이웃인 적어도 하나의 스피커를 결정하도록 구성된다. 에너지 분포 계산기는 가상 스피커의 적어도 하나의 이웃으로의 가상 스피커의 에너지 분포를 계산하도록 구성된다.
가상 스피커의 이웃을 결정함으로써, 각각의 가상 스피커는 제 2 라우드스피커 셋업이 특정 포맷과 같은 미리 정해진 셋업에 따라 구현되도록 구성될 수 있게 임의의 위치에 배열될 수 있다. 추가 이득은 이웃 추정을 반복할 때 가변 제 1 스피커 셋업에 대해 복수의 오디오 채널들이 생성될 수 있다는 점이다. 따라서 동일한 실제 라우드스피커 셋업이 예를 들어, 한 시점에 5.1 다채널 신호를 그리고 다른 시점에 7.1 다채널 신호를 재생하도록 적응될 수도 있다.
추가 실시예들은 이웃 추정기가 가상 스피커의 이웃들인 적어도 2개의 스피커들을 결정하도록 구성되고 가상 스피커의 이웃들인 적어도 2개의 스피커들 사이의 에너지 분포가 미리 정해진 허용 오차 내에서 동일하게, 즉 균등하게 분포되게 에너지 분포를 계산하도록 에너지 분포 계산기가 구성되는 장치에 관한 것이다. 미리 정해진 허용 오차는 예를 들어, 균등 분포 값의 0.1%, 1% 또는 10%의 편차일 수도 있다.
이웃들 사이에 균등하게 분포된 에너지를 계산함으로써, 다운믹스 정보의 고유 결과가 얻어질 수 있도록 에너지 분포 행렬의 거듭제곱의 수렴이 보장될 수도 있다.
본 발명의 추가 실시예들은 이웃 추정기가 가상 스피커의 이웃들인 적어도 2개의 스피커들을 결정하도록 구성되고 가상 스피커의 이웃들인 적어도 2개의 스피커들 중 적어도 하나가 가상 스피커인 장치에 관한 것이다. 이점은 제 1 스피커 셋업이 제 2 스피커 셋업과 하나보다 더 많은 스피커만큼 차이가 나더라도 다운믹스 정보가 얻어질 수 있다는 점이다.
본 발명의 추가 실시예들은 장치에 관한 것으로, 이 장치는 예를 들어, 제 1 스피커 셋업을 제어하기 위해 오디오 디코더에 의해 제공되는 다수의 채널들이 더 많은 또는 최대 개수(예를 들어, MPEG-H와 같은 표준에 의해 지원되는 최대 개수)의 오디오 채널들에서 실제 존재하는 라우드스피커들의 수에 대한 각각의 포맷으로 다운믹스되게 하는 오디오 디코더의 포맷 변환 유닛의 일부이다.
추가 실시예들은 장치에 관한 것으로, 이 장치는 오디오 디코더의 객체 렌더러의 일부이고, 이 장치는 객체 렌더러가 제 1 라우드스피커 셋업에 따라 다수의 오디오 채널들을 제공하도록 적응되게 하는 패너(panner)를 포함한다.
추가 실시예들은 제 1 스피커 셋업의 유효성 정보를 제공하도록 구성된 장치에 관한 것이다.
이 실시예의 이점은 장치에서 각각 유효성 정보가 예를 들어, 사용자에 의해, 예를 들어 집에서 구현되는 제 1 스피커 셋업에 적절한 오디오 채널들이 제공될 수 있는지 또는 예를 들어, 라우드스피커들이 스피커 포지션의 허용 오차와 같은 요건들과 매칭하도록 재배치되어야 하는지를 표시할 수 있다는 점이다.
추가 실시예들은 스피커 셋업을 위한 복수의 오디오 채널들을 생성하기 위한 장치 및 이 장치에 의해 제공되는 복수의 오디오 채널들에 따른 복수의 라우드스피커들을 포함하는 오디오 시스템에 관한 것이다.
실시예들의 이점은 예를 들어, 3D 청각 장면을 구현하기 위한 오디오 시스템이 구현될 수 있다는 점이다.
본 발명의 추가 실시예들은 제 1 스피커 셋업을 위한 복수의 오디오 채널들을 생성하기 위한 방법 및 컴퓨터 프로그램에 관한 것이다.
본 발명의 실시예들은 첨부 도면들을 참조하여 보다 상세히 설명될 것이다.
도 1은 본 발명의 실시예에 따라 제 1 스피커 셋업을 위한 복수의 오디오 채널들을 생성하기 위한 장치의 개략적인 블록도를 보여준다.
도 2는 본 발명의 실시예에 따라 제 1 라우드스피커 셋업을 형성하는 실제 스피커들 및 가상 스피커들을 포함하는 예시적인 제 2 라우드스피커 셋업의 개략도를 보여준다.
도 3은 위로부터의 사시도로 2차원 평면에 투사되는 도 2의 제 2 스피커의 개략도를 보여준다.
도 4a는 본 발명의 실시예에 따라 포지션(42)에 대한 제 1 라우드스피커 셋업(14-1)의 사시도를 보여준다.
도 4b는 도 4a의 구성의 상면도를 보여준다.
도 5a는 본 발명의 실시예에 따라 제 2 스피커 셋업을 형성하는 원 형상을 형성하는 추가 가상 스피커들과 함께 도 4a의 제 1 스피커 셋업의 개략적인 사시도를 보여준다.
도 5b는 도 5a의 시나리오의 상면도를 보여주며 원(48)의 둥근 형상을 도시한다.
도 6은 제 1 스피커 셋업 및 가상 스피커들을 포함하는 제 2 스피커 셋업에 대한 사시도를 보여준다. 가상 스피커의 포지션은 본 발명의 실시예에 따라 계산하는 구 표면에 배치된다.
도 7은 도 2에 따른 제 2 라우드스피커 셋업의 개략도를 보여주며, 여기서 평평한 레이어에 직교하는 레이어는 본 발명의 실시예에 따라 스피커들의 이웃 관계들을 명확하게 하기 위해 도시된다.
도 8은 본 발명의 실시예에 따른 장치에 대한 두 가지 옵션들을 도시하는 복수의 오디오 신호들을 얻도록 MP4 신호들을 디코딩하기 위해 오디오 디코더가 사용될 수 있을 때 그 오디오 디코더의 블록 개략도를 보여준다.
도 9는 도 8의 옵션 1에 관해 참조되고 있는 장치의 개략적인 블록도를 보여준다.
도 10은 도 8의 옵션 2에 관해 참조되고 있는 포맷 변환 블록(1720)의 블록 개략도를 보여준다.
도 11은 오디오 시스템의 개략적인 블록도를 보여준다.
동일한 또는 대등한 엘리먼트들 또는 동일한 또는 대등한 기능을 갖는 엘리먼트들은 다음 설명에서 서로 다른 도면들에서 발생하더라도 동일한 또는 대등한 참조 번호들로 표시된다.
다음 설명에서는, 본 발명의 실시예들의 보다 철저한 설명을 제공하도록 복수의 세부사항들이 제시된다. 그러나 본 발명의 실시예들은 이러한 특정 세부사항들 없이 실시될 수도 있음이 해당 기술분야에서 통상의 지식을 가진 자들에게 명백할 것이다. 다른 경우들에는, 본 발명의 실시예들을 모호하게 하는 것을 피하기 위해, 잘 알려진 구조들 및 디바이스들은 상세히보다는 블록도 형태로 도시된다. 추가로, 구체적으로 달리 언급되지 않는 한, 이하 설명되는 서로 다른 실시예들의 특징들이 서로 결합될 수도 있다.
도 1은 제 1 스피커 셋업(14)을 위한 복수의 오디오 채널들(12)을 생성하기 위한 장치(10)의 개략적인 블록도를 보여준다. 제 1 라우드스피커 셋업(14)은 다수의 라우드스피커들(16a-c)을 포함한다. 라우드스피커들(16a-c)은 예를 들어, 청취실에 위치할 수 있으며, 예를 들어, 시네마 또는 홈 시네마 애플리케이션의 일부인 재생 시스템의 일부일 수도 있다. 제 1 스피커 셋업(14)은 실제로 존재한다. 장치(10)는 제 1 라우드스피커 셋업(14)에 포함되지 않은 가상 라우드스피커(22)의 포지션을 결정하기 위한 가상 스피커 결정기(18)를 포함한다. 가상 스피커 결정기(18)는 가상 스피커(22)를 포함하는 제 2 스피커 셋업(24)을 얻도록 구성된다. 제 2 스피커 셋업(24)은 제 1 라우드스피커 셋업(14)의 라우드스피커들(16a-c) 중 일부 또는 전부를 포함한다. 가상 스피커 결정기(18)는 포맷에 의해 정해진 포지션에 따른 포지션에 가상 스피커가 위치하게 가상 스피커(22)의 포지션을 결정하도록 구성될 수 있는데, 그 위치에 스피커가 위치해야 하지만 실제로는 그렇지 않다. 가상 스피커 결정기(18)에 의해 수행되는 결정은 셋업들(14, 24)에 의해 공유되거나 셋업들(14, 24)에 함께 배치되는 스피커들의 수가 최대가 되게 또는 셋업들(14, 24)의 가장 가까운 이웃 스피커들 간의 평균 거리가 최소가 되게 제어될 수도 있고, 또는 사용자에 의해 수동으로 제어 가능할 수도 있다.
장치(10)는 제 2 스피커 셋업에서 가상 스피커(22)로부터 다른 스피커들로의 에너지 분포를 계산하기 위한 에너지 분포 계산기(26)를 포함한다. 대안으로 또는 추가로, 가상 스피커 결정기(18)는 가상 스피커가 변위로부터 발생하는 음향 효과를 수정할 수 있도록 가상 스피커(22)가 "변위된" 스피커(16a-c) 근처에 위치하게 가상 스피커(22)의 포지션을 결정하도록 구성될 수도 있다.
예를 들어, 제 1 스피커 셋업(14)이 부분적으로 5.1, 7.1, 9.1, 11.2 등과 같은 오디오 포맷에 따라 라우드스피커 구성 또는 라우드스피커 셋업을 구현할 때, 가상 스피커(22)는 구현될 포맷에 대해 제 1 라우드스피커 셋업(14)에는 보이지 않는 스피커일 수도 있다.
에너지 분포는 제 2 스피커 셋업(24)의 다른 스피커들에 분포되는 가상 스피커(22)의 에너지의 양 또는 몫을 나타낸다. 즉, 에너지 분포는 제 2 라우드스피커 셋업(24)의 나머지 스피커들 사이에 공유될 때의 가상 스피커(22)의 에너지를 나타낸다.
장치(10)는 프로세서(28)를 더 포함한다. 프로세서(28)는 블록(34)에서 M으로 표시된 것과 같이 다운믹스 정보(36)를 얻기 위해 블록(32)으로 표시된 것과 같이 에너지 분포를 반복하도록 구성된다. 다운믹스 정보는 제 2 스피커 셋업(24)의 오디오 채널들을 제 1 스피커 셋업(14)으로 다운믹스하는 데 사용될 수 있다. 즉, 다운믹스 정보(36)는 가상 스피커(22)가 실제 스피커일 때 적어도 부분적으로 얻어지게 될 청각 장면을 얻기 위한 제 1 라우드스피커 셋업(14)의 라우드스피커들(16a-c)의 제어를 가능하게 한다.
장치(10)는 다운믹스 정보(36)를 사용하여 복수의 오디오 채널들(12)을 생성하기 위한 렌더러(38)를 포함한다. 렌더러(38)는 입력 신호 또는 입력 신호들의 세트(39), 예를 들어 제 2 스피커 셋업(24)에 대응하는 또는 이에 의해 재생되도록 전용되는 다수의 오디오 채널들에 다운믹스 정보(36)를 적용하도록 구성된다. 렌더러(38)는 다운믹스 정보(36)를 사용함으로써 제 2 스피커 셋업(24)으로부터 제 1 스피커 셋업(14)으로의 다운믹스(36)를 얻도록 구성된다. 즉, 렌더러(38)는 가상 셋업(24)의 (가상) 오디오 채널들(39)을 실제 제 1 셋업(14)을 위한 실제 오디오 채널들(12)로 다운믹스함으로써 복수의 오디오 채널들(12)을 결정하도록 구성된다.
이 실시예의 이점은 라우드스피커들(16a-c)이 보다 폭넓은 셋업과 매칭할 때 얻어질 청각 장면이 적어도 부분적으로는 라우드스피커들(16a-c)에 의해 생성될 수 있다는 점이다. 이런 식으로, 하나 또는 그보다 많은 라우드스피커들, 예를 들어 서라운드 스피커들이 실제 제 1 스피커 셋업(14)에 보이지 않고 있다 하더라도, 포맷 예를 들어 3D 포맷의 청각 장면이 실현될 수 있다.
장치(10)로 해결될 작업은 임의의 스피커 셋업들이 특정 포맷에 대해 무효 3D 셋업들이라 하더라도, 이러한 셋업들에 대한 예를 들어, 3D 오디오 객체들의 렌더링일 수도 있다. 가상 스피커들을 사용함으로써, 어떠한 실제 스피커도 포함하지 않는 방향들로부터 어떠한 소리도 발생되지 않는다 하더라도, 적정한 해법으로 여겨질 수도 있는, 스피커들을 제어하기 위한 결정적인 해법이 (예를 들어, 자동으로) 전달된다. 예를 들어, 이는 서라운드 좌측 스피커가 존재하지 않을 때 전방 우측 채널을 통해서보다 서라운드 좌측 채널이 전방 좌측 채널을 통해 더 큰 몫으로 재생되는 경우에 적용된다. 따라서 제시된 장치 및 방법은 폴백(fallback) 해결 면에서 MPEG-H에 잘 맞는다.
대안으로 또는 추가로, 예를 들어, 태블러(tabular) 형태 또는 데이터베이스에 포함될 수도 있는 미리 정해진 포지션에 따라 제 2 스피커 셋업(24)의 적어도 하나의 추가 가상 스피커의 수 그리고/또는 가상 스피커(22) 및/또는 추가 가상 스피커의 포지션들이 결정될 수도 있다. 대안으로 또는 추가로, 제 1 및/또는 제 2 스피커 셋업(14 및/또는 24)의 스피커들 간의 거리들이 실질적으로 등거리이거나 오디오 포맷 또는 표준에 대응하도록 가상 스피커(22) 및/또는 적어도 하나의 추가 가상 스피커의 포지션이 결정될 수도 있다.
즉, 장치(10)는 VBAP 패너 또는 비교할 만한 패닝 방법을 사용하기 위해 다음의 컴포넌트들을 포함한다:
1. 보이지 않는 그리고/또는 필수 라우드스피커 포지션들을 결정하는 컴포넌트
2. 그러한 가상 라우드스피커들의 이웃들을 결정하는 컴포넌트
3. "에너지 분포" 방법을 이용함으로써 다운믹스를 실현하며, 옵션으로서 에너지 정규화를 수행하는 컴포넌트
즉, 예를 들어, CD와 같은 데이터 저장소 상에 저장된, 예를 들어 청각 장면은 6개의 오디오 채널들을 포함하고 제 1 스피커 셋업은 2개의 스피커들을 포함한다면, 장치는 보이지 않는 라우드스피커들을 결정하도록 구성될 수도 있다.
"에너지 분포 행렬"(M)은 실질적인 분담(contribution)으로 간주될 수 있으며 각각의 이웃들로의 각각의 에너지의 분포를 정의한다. 에너지 분포 행렬은 일정 값들을 갖는 열들을 포함할 필요는 없다. 대안으로서, 다른 값들을 갖는 구현이 또한 가능하다. 값들이 1 값까지 합산될 수 있도록 열의 값들을 정의하는 것이 선호될 수도 있다. 에너지 분포 행렬에 대한 기준은 예를 들어, 도 3에 도시된 것과 같은 에너지 분포 그래프일 수도 있다.
도 2는 제 1 라우드스피커 셋업(14-1)을 형성하는 스피커들(16a, 16b)을 포함하는 예시적인 제 2 라우드스피커 셋업(24-1)의 개략도를 보여준다. 제 2 스피커 셋업(24-1)은 4개의 가상 스피커들(22a-d)을 포함한다. 제 2 스피커 셋업(24-1)은 가상 스피커 결정기(18)일 수도 있는 가상 스피커 결정기에 의해 결정된 결과일 수도 있으며 청취자의 포지션(42)에 대한 3D 청각 장면을 재생하기 위한 가능한 스피커 셋업일 수도 있다. 제 1 스피커 셋업(14-1)이 예를 들어, 포지션(42)에 대한 전방 벽의, 예를 들어 스테레오 구성일 때, 스피커(16a)는 스테레오 구성의 좌측 스피커로 그리고 스피커(16b)는 우측 스피커로 표기될 수 있다. 가상 스피커 결정기는 오디오 포맷과 같은 사전 설정을 구현하도록 구성될 수도 있다. 스피커들(16a, 16b)의 포지션들이 가능하게는 허용 오차 범위 내에서, 오디오 포맷의 미리 정해진 포지션들과 매칭할 때, 가상 스피커 결정기는 스피커들(16a, 16b)의 위치들을 미리 정해진 위치들에 매칭시킴으로써 가상 스피커들(22a-d)의 포지션들을 결정하도록 구성될 수도 있다. 스피커들(16a, 16b)이 차지하지 않는 위치들은 가상 스피커들(22a-d)의 위치들로서 결정될 수도 있다. 허용 오차는 5㎝, 50㎝ 또는 5m와 같은 절대값 또는 제 1 또는 제 2 스피커 셋업(14-1 또는 24-1)의 간격의 1%, 10% 또는 30%와 같은 상대값일 수도 있다.
제 2 스피커 셋업(24-1)은 가상 상부 스피커(Voice-of-God - VoG)(22a), 포지션(42) 아래에 위치하는 하부 스피커(Voice-of-Hell - VoH)(22b), 가상 서라운드 좌측(SL: surround left) 스피커(22c) 및 가상 서라운드 우측(SR: surround right) 스피커(22d)를 포함할 수도 있다. 가상 스피커들(22a-d)은 "I"로 마킹된다. 대안으로, 제 1 및/또는 제 2 스피커 셋업(14-1 및/또는 24-1)은 서로 다른 수의 실제 또는 가상 스피커들(16a-b 및/또는 22a-d)을 포함할 수도 있다. 실제 및/또는 가상 스피커들은 도시된 것과 다른 위치들에 위치할 수도 있다.
예를 들어, 평면 서라운드 셋업들, 예를 들어 VoG(Voice-of-God) 및 VoH(Voice-of-Hell) 스피커가 없는 셋업들은 평평한 레이어(44) 내의 모든 스피커들로 정의될 수 있다. 청취실의 특성 또는 예를 들어, TV 화면 또는 창과 같은 다른 객체들의 존재와 같은 상황들로 인해, 라우드스피커들(16a, 16b 및/또는 22c-d)은 또한 라우드스피커들(16a, 16b 및/또는 22c, 22d)이 위치할 수 있는 허용 오차의 상한 및/또는 하한을 정의하는 상부 레이어(46a) 및/또는 하부 레이어(46b)로 설명되는 허용 오차 내에 위치할 수도 있다. 레이어들(46a, 46b)은 예를 들어, 라우드스피커들(16a/16b 및/또는 22c, 22d)에 대해 포지션(42)에 대한 최대각으로 정의될 수도 있다. 예를 들어, 스피커들(16a, 16b)은 각각 5도보다 작거나 같은, 10도보다 작거나 같은, 20도보다 작거나 같은 또는 45°보다 작거나 같은 각도(α)를 포함할 수도 있다. 스피커들(16a, 22c)은 레이어(44)에 배열되고, 스피커(16b)는 레이어(46a)에 배열되며, 스피커(22d)는 레이어(46b)에 배열된다. 대안으로 또는 추가로, 스피커들은 레이어들 46a와 44 사이에 그리고/또는 44와 46b 사이에 배열될 수도 있다. 즉, 제 1 및/또는 제 2 스피커 셋업들(14-1 및/또는 24-1)은 평면 셋업들로 지칭되는 경우에 또한 서로 다른 레이어들에 배열될 수도 있다.
가상 스피커(22b)(VoH)는 포지션(42) 바로 아래에 위치한다. 가상 스피커(22a)(VoG)는 포지션(42) 위의 공간에 의해 한정되는 상부 반구 내에 배열된다. 가상 스피커(22a)는 전방 스피커들(16a, 16b)에 대해 포지션(42) 앞에 위치한다. 다시 말하면 그리고 포지션(42)에 대해, 가상 스피커(22a)는 기하학적 평면(레이어(44))의 제 1 면에 배열되고, 가상 스피커(22b)는 기하학적 평면의 제 1 면에 대향하는 기하학적 평면의 제 2 면을 따라 배열된다. 기하학적 평면은 스피커들의 이웃을 분리하도록 구성될 수도 있다. 예를 들어, 스피커들(16a, 16b, 22c, 22d)은 가상 스피커들(22a, 22b)의 이웃들이다(그리고 그 반대도 가능함). 경계들(46a, 46b)을 포함하는 기하학적 평면(레이어(44))에 의해 분리되는 가상 스피커들(22a, 22b)은 "어떠한 이웃들도 없음"으로서 설명될 수도 있다.
가상 스피커들(22a-d) 간의 화살표들은 가상 스피커들(22a-d)로부터 각각의 스피커(22a-d)에 대한 이웃들인 제 2 셋업(24-1)의 인접한 스피커들로의 가능한 에너지 분포를 도시한다. 에너지 분포는 에너지 분포 계산기(26)와 같은 에너지 분포 계산기에 의해 수행된다. 즉, 가상 스피커들(22a-d) 각각에 대한 에너지가 가상 스피커들(22a-d) 각각에 대한 각각의 이웃들로 그리고 그 사이로 분포된다. 2차원 평면에 투사되는 스피커들의 개략도가 다음 도 3에 도시된다.
도 3은 위로부터의 사시도로 2차원 평면에 투사되는 제 1 셋업(14-1)을 포함하는 제 2 스피커 셋업(24-1)의 개략도를 보여준다. 도 3은 가상 스피커들(22a-d) 각각으로부터 이들의 이웃들로의 에너지 분포를 나타내는 에러들을 통한 연결에 의해 가상 스피커들(22a-d) 각각에 대한 이웃들을 도시한다. 가상 스피커들의 이웃들은 에너지 분포 계산기(26)와 같은 에너지 분포 계산기의 일부일 수도 있고 또는 예를 들어, 가상 스피커 결정기(18)와 같은 가상 스피커 결정기의 일부일 수도 있는 이웃 추정기에 의해 결정될 수도 있다. 대안으로, 이웃 추정기는 가상 스피커 결정기와 에너지 분포 계산기 사이에 배열될 수도 있다.
가상 서라운드 좌측(SL) 스피커(22c)는 4개의 이웃들: 전방 좌측(FL: front left) 스피커(16a), VoG 스피커(22a), 서라운드 우측(SR) 스피커(22d) 및 VoH 스피커(22b)를 갖는다. 가상 스피커들(22a-d) 각각에 대한 에너지는 가상 스피커들(22a-d)로부터 이들의 이웃들로 분포되는데, 에너지 분포는 에너지 분포 계수들(dxy)로 표현될 수 있으며, 여기서 x는 분포되는 에너지의 소스를 나타내고 y는 분포되는 에너지의 수신 라우드스피커를 나타낸다. 전방 좌측 스피커(16a)는 인덱스 1로 표기되고, 전방 우측 스피커는 인덱스 2로 표기되며, VoG 스피커(22a)는 인덱스 3으로 표기되고, VoH 스피커(22b)는 인덱스 4로 표기되고, 서라운드 좌측 스피커(22c)는 인덱스 5로 표기되고, 서라운드 우측 스피커(22d)는 6으로 표기된다.
에너지 분포 계수들(dxy) 각각은 에너지 분포 계산기에 의해 독립적으로 결정될 수도 있다. 실시예에 따르면, 에너지 분포 계수들은 2개의 인접한 스피커들 간의 거리에 따라 결정 또는 계산된다. 대안적인 실시예에 따르면, 에너지 분포 및 이에 따른 에너지 분포 계수들(dxy)은 균등하게 분포되도록 계산된다. 가상 스피커들(22a-d) 각각은 예시적인 셋업 내에서 4개의 이웃들을 가지므로, 이는 예를 들어, ¼의 동일한 에너지 분포 계수들을 야기할 수도 있다.
즉, 이러한 이웃 그래프에서부터 시작하여, 에너지 분포 그래프로서 도시될 수도 있는 가중된 지향 그래프가 구성될 수 있다. 가중치들, 즉 이 그래프의 에너지 분포 계수들(dxy)은 가상 노드들(스피커)(22a-d)로부터 이들의 이웃들로 재분포되는 음향 에너지의 일부를 기술한다.
에너지 분포 계산기, 예를 들어 도 1에 도시된 에너지 분포 계산기(26)는 예를 들어, D로 표기된 에너지 분포 행렬에 대해 에너지 분포 계수들을 분류하도록 구성될 수 있다. 앞서 설명한 이웃 그래프에 따르면, 스피커들은 FL, FR, VoG, VoH, SL, SR의 순서로 예시적으로 분류된다. 결과적인 에너지 분포 행렬(D)은 다음으로서 형성될 수도 있으며:
Figure 112016076313012-pct00004
(4)
여기서 다수의 열들 및 행들은 인덱스 1 - 인덱스 6에 대응한다. 제 1 스피커 셋업(14-1)으로 표현되는 스테레오 셋업은 가상 스피커들(22a-d)을 추가함으로써 유효 3D 스피커 셋업으로 변환될 수 있다.
인덱스들(dxy)은 이 예의 경우 ¼로 그리고 이에 따라 0.25로 설정된다. 인덱스들 1, 2, 5 및 6을 갖는 스피커들(16a, 16b, 22c, 22d)의 이웃인 가상 스피커(22a)를 나타내는 행렬(D)의 제 3 열을 고려하면, 행렬(D)은 라인들 1, 2, 5 및 6에서 0.25의 값들을 보여준다.
대안으로, 가상 스피커들의 이웃들은 컨벡스 헐(convex hull)로부터 얻어질 수도 있는 삼각 측량의 에지들로 정의될 수도 있다. 완벽한 평면 음향 셋업의 경우, 가상 스피커들의 모든 이웃들이 기존 스피커들일 때, 다운믹스 행렬의 대응하는 열은 각각의 이웃에 대해 상수값들(
Figure 112016076313012-pct00005
)을 가질 수도 있으며, 여기서 N은 이웃들의 수를 나타낸다.
에너지 분포는 예를 들어, 실제 스피커 셋업에 존재하지 않는 가상 스피커(22a-d)가 다른 스피커들에 의해 어떻게 보상될 수 있는지를 계산하는 데 사용될 수 있다.
실시예에 따른 장치의 프로세서, 예를 들어 프로세서(28)는 에너지 분포를 반복하도록 구성된다. 프로세서는 가상 스피커들, 예를 들어 22c-d가 가상 스피커(22a)를 부분적으로 보상하기 위해 계산될 수 있을 때 에너지 분포를 반복하도록 구성되는데, 즉, 가상 스피커(22a)의 에너지가 부분적으로 가상 스피커들(22c-d) 및 실제 스피커들(16a, 16b)에 할당 또는 재할당된다. 가상 스피커들(22c-d)에 할당된 에너지 또는 재할당된 에너지는 에너지 분포의 반복에 의해 가상 스피커들(22a-d)의 에너지가 실제 스피커들 (16a, 16b)에 할당 또는 재할당되도록 예를 들어, 프로세서(28)에 의해 이들의 이웃들에 재분포된다. 이는 가상 스피커들(22c-d)이 가상 스피커(22a)로부터 에너지를 "수신"하는데, 이는 재분포되어야 함을 의미한다.
예를 들어, 행렬(D)의 거듭제곱을 계산함으로써 반복이 수행될 수 있다. 프로세서(28)는 제 2 스피커 셋업(24-1)에서 제 1 스피커 셋업(14-1)으로의 다운믹스를 위한 다운믹스 정보를 얻도록 구성된다. 다운믹스 정보를 얻기 위해, 프로세서는 D의 n제곱의 제곱근을 계산하도록 구성될 수 있으며, 이는 아래 식으로 표현될 수 있고:
Figure 112016076313012-pct00006
(5)
여기서 D는 엘리먼트들로서 분포 가중치들(dxy)을 갖는 에너지 분포 행렬을 나타내고, n은 반복들, 즉 되풀이들의 횟수를 나타내며, sqrt(
Figure 112016076313012-pct00007
)는 엘리먼트-단위의 제곱근을 나타내고, M은 다운믹스 행렬로서 표시도리 수도 있는 결과를 나타낸다.
예를 들어, 20회의 반복들, 즉 되풀이들 이후, 그리고 이에 따라 n = 20이며, 이는 다음의 다운믹스 행렬을 야기할 수 있으며:
Figure 112016076313012-pct00008
(6)
여기서 라인들 3, 4, 5 및 6은 0의 값들을 포함하고, 이 값들은 끝수가 버려졌다. 라인들 1 및 2는 가상 스피커들(22a-d)의 존재가 에뮬레이트되도록 동작할 때 인덱스 1(16a) 및 인덱스 2(16b)를 갖는 스피커들에 대한 정보를 나타낸다.
즉, 에너지 분포 계수들(dxy)을 이웃들의 수의 역수로 설정함으로써, 에너지 보존이 산출되고 동시에 알고리즘의 수렴이 보장될 수 있다.
프로세서는 고정된 n 값에 대해 에너지 분포 행렬(D)의 n제곱을 결정하도록 구성될 수도 있다. 대안으로, 프로세서는 D의 거듭제곱을 반복적으로 계산하도록 구성될 수도 있다. 프로세서는 예를 들어, D를 D와 곱하고 그 후에 결과를 D와 곱하는 등 D의 반복적으로 증가하는 거듭제곱을 반복적으로 얻은 다음 sqrt-연산자를 적용하도록 구성될 수도 있다. 고정된 크기의 거듭제곱에 대해 에너지 분포 행렬의 거듭제곱을 계산하면, 결과적인 다운믹스 정보를 포함하는 서로 다른 제 2 스피커 셋업들의 반복 정밀도(reproducibility)기 얻어질 수 있다. 대안으로, 에너지 분포 행렬(D)의 거듭제곱을 반복적으로 계산하면, sqrt-연산자의 결과 또는 결과적인 행렬의 엘리먼트들이 예를 들어, 특정 임계값과 비교될 수 있고, 엘리먼트들이 이 특정 임계값 미만인 경우, 값들은 0으로 설정될 수 있다. 임계값은 예를 들어, 0.05, 0.1 또는 0.2, 또는 임의의 다른 적당한 값일 수도 있다. 이러한 방법은 적절한 결과가 달성되자마자 중단될 수 있기 때문에, 이 방법은 더 짧은 계산 시간 및 더 낮은 계산 노력으로 이어질 수 있다.
즉, 에너지 분포 행렬의 n제곱을 계산하는 것은 에너지 분포의 n회 적용에 의해 구현될 수도 있다. 제곱근은 에너지 값들을 다운믹스 계수들에 관해 신호 값들에 적용될 수 있는 감쇠 값들로 변경한다. 에너지 분포 행렬의 거듭제곱의 계산에 의해 구현되는 반복은 가상 라우드스피커들에 대응하는 모든 라인들이 0으로 변환되는 결과로 향하게 할 수도 있다.
즉, 각각의 반복 단계에서, 프로세서에 의해 구현되는 알고리즘은 주어진 가중치들에 따라 그러한 에너지 부분들을 재분포하도록 적응된다. 이는 가상 노드들의 총 에너지량이 주어진 임계치 미만이 될 때까지 반복된다. 기존 스피커들에 대해 재분포된 에너지를 모으는 노드들의 제곱근은 결국 다운믹스 행렬(M)의 엘리먼트들을 산출한다. 렌더러(38)일 수도 있는 렌더러는 다운믹스 행렬(M) 및/또는 다운믹스 정보(39)와 같은 다운믹스 정보를 적용하여 더 많은 수의 오디오 채널들을 실제 스피커들의 수로 다운믹스하도록 구성될 수도 있다.
다운믹스 행렬이 목적은 추가된 가상 스피커들을 없애는 것 그리고 계산된 이득들을 기존 스피커들로 제한하는 것으로 여겨질 수도 있다. 예를 들어, 주어진 스피커 셋업이 고도(height) 스피커들도 후방 스피커들도 포함하지 않는다면, 청취자 위의 추가된 가상 스피커는 또한 가상 후방 스피커들의 이웃일 것이며 그 반대이기도 할 것이다.
VBAP는 모든 패닝 방향들에 대해 양의 패닝 이득들을 야기하는 3개의 독립적인 기저 벡터들을 필요로 한다. 이는 3개의 벡터들에 의해 생성된 좌표 시스템의 원점이 다면체 내부에 있을 필요가 있으며 그 표면의 일부는 아닐 수도 있음을 의미한다. 그러므로 모든 삼각형들의 거리가 특정 임계치 이상인지 여부를 체크함으로써, 주어진 스피커 셋업이 유효 3D 셋업이라면, 유효성 체크가 수행될 수도 있다. 렌더러는 이러한 유효성 체크 및 무효 스피커 셋업들을 취급하기 위한 전략을 구현함으로써 임의의 스피커 포지션들을 갖는 새로운 스피커 셋업들을 지원하도록 구성될 수도 있다. 예를 들어, 렌더러는 재배치된 스피커가 가상 스피커들의 유효 포지션을 가능하게 하는 실제 스피커의 재배치를 나타낼 수 있다.
평면 스피커 셋업 또는 어떠한 후방 스피커들도 없는 셋업은 명백히 유효 3D 셋업이 아니다. 렌더러는 다운믹스를 수행함으로써 이러한 셋업들을 지원하기 위한 최선 노력 방법을 제공하도록 구성될 수도 있다. 도 2의 셋업(14-1)에 상단 또는 하단에 이러한 실재하지 않는 가상 스피커를 추가함으로써, 평면 셋업이 유효 3D 셋업으로 전환될 수 있다. 이러한 실재하지 않는 스피커를 보이지 않는 포지션에 배치함으로써 그리고 이를 그 이웃들로 다운믹스함으로써, 제 1 셋업(14-1)을 제어하기 위한 전력이 얻어질 수 있다.
도 4a는 포지션(42)에 대한 제 1 라우드스피커 셋업(14-1)의 사시도를 보여준다. 다음 도 5와 도 6은 가상 스피커들의 포지션 결정을 구현하기 위한 가상 스피커 결정기의 가능한 방법들을 설명할 것이다.
도 4b는 도 4a의 구성의 상면도를 보여준다.
도 5a는 전체 제 2 스피커 셋업(24-2)을 형성하는 가상 스피커들(22b, 22d)과 함께 도 5a의 제 1 스피커 셋업(14-1)의 개략적인 사시도를 보여준다. 예를 들어, 제 1 스피커 셋업(14-1)의 두 스피커들(16a, 16b) 모두를 포함하는 원(48)을 형성함으로써 가상 스피커 결정기(18)와 같은 가상 스피커 결정기에 의해 가상 스피커들(22b, 22d)의 포지션이 얻어질 수 있다. 7.1과 같은 일부 포맷들은 원 내에서 포지션(42)과 함께 원 위에 라우드스피커 포지션들을 정의하므로, 이는 가상 스피커들(22b, 22d)의 포지션을 정의하기 위한 적절한 해법일 수도 있다.
도 5b는 도 5a의 시나리오의 상면도를 보여주며 원(48)의 둥근 형상을 도시한다. 예를 들어, 재생될 청각 장면 내에 음향 객체들을 렌더링하기 위한 객체 렌더러의 일부인 가상 스피커 결정기는 주어진 셋업들에 대해 수동으로 선택된 삼각 측량들뿐만 아니라 삼각 측량 알고리즘도 구현하도록 구성될 수 있다. 예를 들어, 델로네(Delaunay) 삼각 측량은 이러한 문제에 대한 양호한 해법을 제공할 수도 있는데, 이는 보로노이(Voronoi) 도표들의 이중 그래프에 대응하기 때문이다. 대안으로 또는 추가로, 가상 스피커 결정기는 가상 스피커들(22b, 22d)의 각각의 포지션과 포지션(42) 간의 각도(β1 및/또는 β2) 및/또는 0°와 같은 기준각(49)을 고려함으로써 가상 스피커들(22b, 22d)의 포지션을 결정하도록 구성될 수도 있다. 따라서 중심 포지션(0°)에서부터 60°와 같은 구성들이 구현될 수도 있다.
도 6은 제 1 스피커 셋업(14-1), 가상 스피커들(22b, 22d, 22a)을 포함하는 제 2 스피커 셋업(24-3)에 대한 사시도를 보여준다. 가상 스피커들(22b, 22d)은 도 5a 및 도 5b에서 설명한 것과 같은 이들의 포지션에 대해 동일하다. 가상 스피커(22a)의 포지션은 예를 들어, 원(48)을 기초로 구 표면(52)을 계산함으로써 확인될 수 있다. 구 표면(52)은 예를 들어, 스피커들(16a, 16b, 22c, 22d) 또는 제 1 스피커 셋업(14-1)(주어진 꼭지점 세트)의 컨벡스 헐을 계산함으로써 계산될 수 있다. 컨벡스 헐은 예를 들어, [1]에서 설명되는 바와 같이, O(N*log(N))의 평균 계산 복잡도 및 O(N2)의 최악 복잡도를 갖는 "QuickHull" 알고리즘에 의해 결정될 수 있으며, 여기서 O는 복잡도를 나타낸다. QuickHull 알고리즘은 스피커들의 이웃들을 나타내는 정보를 제공하도록 적응된다. 대안적인 실시예들은 분할 정복(Devide and Conquor) 알고리즘 또는 기프트 랩(Gift Wrap) 알고리즘과 같은 다른 알고리즘들을 사용한다.
QuickHull 알고리즘은 오히려 단순하며, 모든 꼭지점들, 즉 스피커들이 구 표면 상에 위치한다는 사실로 인해 더 단순화될 수 있다. 간단한 알고리즘은 기준 소프트웨어와 같은 기존 프레임워크들로의 포함을 허용한다. 삼각 측량 알고리즘을 이용함으로써, MPEG 포맷들에 따른 필수 삼각형들이, 필요하다면 모든 표면들이 삼각형들로 세분화되는 다면체를 형성함으로써 얻어질 수 있다. 모든 꼭지점들, 즉 라우드스피커 포지션들이 구 표면 상의 허용 오차들 내에 위치할 때, 주어진 꼭지점 세트의 컨벡스 헐을 계산함으로써 델로네 해법이 발견될 수도 있다.
본 발명의 실시예에 따라 복수의 오디오 채널들을 생성하기 위한 장치는 제 1 스피커 셋업(14-1)의 라우드스피커들의 포지션들의 유효성을 결정하도록 구성된다. 예를 들어, 제 1 스피커 셋업이 2개보다 많은 라우드스피커들을 포함할 때, 가상 스피커 결정기는 라우드스피커들 전부가 원 경로 상의 특정 허용 오차 내에 배열되는지 여부 또는 라우드스피커들이 포지션(42)에 관한 하나의 레이어에서 특정 허용 오차 내에 배열되는지 여부를 결정하도록 구성될 수도 있다.
즉, 예를 들어, 델로네 삼각 측량에 따른 텅 빈 원 특성이 삼각 측량에 대한 충분 조건일 수도 있다. 이 조건은 다른 어떤 꼭지점, 즉 라우드스피커도 어떠한 삼각형의 외접원 내에 위치하지 않는 것을 요구한다. 구 표면 상에 꼭지점들이 위치할 때, 이러한 조건을 위반하는 꼭지점은 고려되는 표면 밖에 위치할 것이며 이 영역에서 헐은 컨벡스가 아닐 것이다. 결과적으로, Quickhull 알고리즘과 같은 컨벡스 헐 알고리즘은 스피커 셋업의 유효성에 관한 정보를 제공할 수도 있는 델로네 삼각 측량의 충분한 "빈 원" 조건을 이행한다. 추가로, 가상 스피커 결정기 또는 예를 들어, 이웃 추정기는 델로네 삼각 측량 및/또는 컨벡스 헐을 제공하는 알고리즘에 따라 가상 스피커들의 포지션들 또는 이웃 관계들을 결정하도록 구성될 수도 있다.
QuickHull 알고리즘은 예를 들어, VoG(voice-of-god)를 갖는 또는 이것이 없는 3D 셋업들에 대해 N 단위 패닝을 적용하는 데 사용될 수도 있다. QuickHull 알고리즘을 사용함으로써, 임의의 3D 스피커 셋업들에 대한 삼각 측량 방법이 제공될 수 있고, 제안된 에너지 분포 방법을 사용함으로써 임의의(그리고 심지어 무효) 스피커 셋업들이 지원될 수도 있다.
예를 들어, 상부 라우드스피커 레이어 위의 오디오 객체들에 대해서는, 셋업이 어떠한 VoG(voice-of-god)도 포함하지 않는 경우 기준 모델 0(RM0)으로 구현되는 것과 같이 고도를 제한하는 대신, 하나의 또는 모든 고도(elevated) 스피커들이 사용될 수도 있다. 이는 N 단위 패닝에 의해 수행된다. 부가되는 계산 복잡도는 무시할 수 있을 정도로 작을 수도 있다.
따라서 예를 들어, 음향 객체들을 렌더링하기 위한 각각의 객체 렌더러가 주어진 셋업들에 대해 수동으로 선택된 삼각 측량들뿐만 아니라 삼각 측량 알고리즘도 포함한다면, 임의의 3D 스피커 셋업이 지원될 수 있다. 주어진 셋업들은 라우드스피커 셋업들에 의해 재생되는 각각의 포맷으로 정의될 수 있다.
도 7은 도 2에 따른 제 2 라우드스피커 셋업(24-1)의 개략도를 보여주며, 여기서는 레이어(44)에 직교하는 레이어(54)가 도시된다. 기하학적 평면(54)의 제 1 면에 스피커들(16a, 16b)이 배열된다. 기하학적 평면(54)의 제 1 면에 대향하는 면에 가상 스피커들(22b, 22d)이 배열된다. 기하학적 평면(54)의 제 1 면을 따라 가상 스피커(22a)가 배열된다.
스피커들(16a 및/또는 16b)의 면에 대향하는 기하학적 평면(54)의 면에 가상 스피커들을 배열함으로써, 미리 정해진 청취자 포지션(42)에서 3차원 청각 장면이 재생될 수 있다. 단순화된 제 2 스피커 셋업(24-1)은 청취자 앞(스피커들(16a, 16b)), 청취자 뒤(스피커들(22b, 22d)), 청취자 아래(스피커(22b)) 그리고 위에서부터(스피커(22a)) 스피커들을 에뮬레이트한다.
도 8은 복수의 오디오 신호들(12-1)을 얻도록 MP4 신호들을 디코딩하기 위해 오디오 디코더가 사용될 수 있을 때 그 오디오 디코더의 블록 개략도를 보여준다.
후처리기가 입체 음향 렌더러(1710) 또는 포맷 변환기(1720)로서 구현될 수 있다. 대안으로, 데이터(1205), 즉 오디오 채널들의 직접 출력이 또한 1730으로 예시된 것과 같이 구현될 수 있다. 따라서 탄력성을 갖도록 22.2 또는 32와 같은 가장 높은 수의 채널들에 대해 디코더에서 처리를 수행한 다음, 더 작은 포맷이 필요하다면 후처리하는 것이 선호된다.
객체 프로세서(1200)는 SAOC 디코더(SAC = 공간 오디오 코딩(Spatial Audio Coding))(1800)을 포함할 수 있으며, SAOC 디코더는 코어 디코더에 의해 출력되는 하나 또는 그보다 많은 전송 채널들 및 연관된 파라메트릭 데이터를 디코딩하고 압축 해제된 메타데이터를 사용하여 복수의 렌더링된 오디오 객체들을 얻도록 구성된다. 이를 위해, OAM 출력이 박스(1800)에 연결된다.
더욱이, 객체 프로세서(1200)는 SAOC 전송 채널들로 인코딩되는 것이 아니라 객체 렌더러(1210)에 의해 표시되는 일반적으로 단일 채널화된 엘리먼트들로 개별적으로 인코딩되는, 코어 디코더에 의해 출력된 디코딩된 객체들을 렌더링하도록 구성된다. 더욱이, 디코더는 라우드스피커들에 믹서의 출력을 출력하기 위한 출력(1730)에 대응하는 출력 인터페이스를 포함한다.
객체 프로세서(1200)는 하나 또는 그보다 많은 전송 채널들 그리고 인코딩된 오디오 객체들 또는 인코딩된 오디오 채널들을 나타내는 연관된 파라메트릭 부가 정보를 디코딩하기 위한 공간 오디오 객체 코딩 디코더(1800)를 포함할 수 있으며, 여기서 공간 오디오 객체 코딩 디코더는 연관된 파라메트릭 정보 및 압축 해제된 메타데이터를 예를 들어, SAOC의 더 이전 버전에 정의된 것과 같은 출력 포맷을 직접 렌더링하는 데 사용 가능한 트랜스코딩된 파라메트릭 부가 정보로 트랜스코딩하도록 구성된다. 후처리기는 디코딩된 전송 채널들 및 트랜스코딩된 파라메트릭 부가 정보를 사용하여 출력 포맷의 오디오 채널들을 계산하도록 구성된다. 후처리기에 의해 수행되는 처리는 MPEG 서라운드 처리와 비슷할 수 있고 또는 BCC 처리 등과 같은 임의의 다른 처리일 수 있다.
객체 프로세서(1200)는 (코어 디코더에 의해) 디코딩된 전송 채널들 및 파라메트릭 부가 정보를 사용하여 출력 포맷에 대한 채널 신호들을 직접 업믹스하고 렌더링하도록 구성된 공간 오디오 객체 코딩 디코더(1800)를 포함할 수도 있다.
객체 프로세서(1200)는 추가로, 채널들과 믹싱된 프리렌더링된 객체들이 존재할 때 USAC 디코더(1300)에 의해 출력된 데이터를 입력으로서 직접 수신하는 믹서(1220)를 포함한다. 추가로, 믹서(1220)는 SAOC 디코딩 없이 객체 렌더링을 수행하는 객체 렌더러로부터 데이터를 수신한다. 더욱이, 믹서는 SAOC 디코더 출력 데이터, 즉 SAOC 렌더링된 객체들을 수신한다.
믹서(1220)는 출력 인터페이스(1730), 입체 음향 렌더러(1710) 및 포맷 변환기(1720)에 접속된다. 입체 음향 렌더러(1710)는 헤드 관련 전달 함수들 또는 입체 음향 실내 임펄스 응답(BRIR: binaural room impulse response)들을 사용하여 출력 채널들을 2개의 입체 음향 채널들로 렌더링하도록 구성된다. 포맷 변환기(1720)는 출력 채널들을 믹서의 출력(데이터) 채널들(1205)보다 적은 수의 채널들을 갖는 출력 포맷으로 변환하도록 구성되며, 포맷 변환기(1720)는 5.1 스피커들 등과 같은 재생 레이아웃에 대한 정보를 필요로 한다.
옵션 1에서는 그리고 다음 도 9에서 설명되는 바와 같이, 복수의 오디오 채널들(12-1)을 생성하기 위한 장치는 예를 들어, 객체 렌더러(1210)의 일부일 수도 있다. 옵션 2로서 그리고 다음 도 10에서 설명되는 바와 같이, 복수의 오디오 채널들(12-2)을 생성하기 위한 장치는 예를 들어, 채널들(1205)의 수를 복수의 오디오 채널들(12-2)로 다운믹스하기 위한, 예를 들어 포맷 변환 블록(1720)의 일부일 수도 있다. 옵션 1이 적용될 때, 믹서(1220)의 출력에서 복수의 오디오 채널들(12-1)이 얻어질 수 있다. 출력은 예를 들어, 복수의 라우드스피커들을 포함하는 라우드스피커 시스템과 접속 가능한 커넥터일 수도 있다.
옵션 2가 적용될 때, 예를 들어 포맷 변환 블록(1720)의 출력에서 복수의 오디오 채널들(12-2)이 얻어질 수 있다. 포맷 변환 블록(1720)은 예를 들어, 채널들(1205), 예를 들어 5.1 포맷을 기초로 한 출력이 될 포맷 선택을 가능하게 하는 스위치를 포함하는 장치로서 구현될 수도 있다. 포맷 변환 블록(1720)은 포맷 변환 블록(1720)의 입력이 MPEG과 같은 표준 또는 포맷군의 채널들의 최대 개수, 예를 들어 32가 될 수 있게 믹서(1220)와 접속될 수 있다.
즉, 이는 단지 디코더 내에서 신호 처리를 변경함으로써 비트스트림 신택스를 변경되지 않게 할 수 있다. 기준 모델 0(RM0)은 다음의 새로운 특징들에 의해 확장될 수 있다:
도 9는 도 8의 옵션 1에 관해 참조되고 있는 장치(10-1)의 개략적인 블록도를 보여준다. 장치(10-1)는 청각 장면 내에서 재생될 객체들을 나타내는 데이터 또는 정보를 수신하도록 구성된다. 장치(10-1)의 패너(56)는 객체들을 나타내는 데이터를 기초로 패닝 계수들을 계산하도록 구성된다. 패닝 계수들의 수는 오디오 표준 또는 포맷에 따라 청각 장면을 재생하도록 결정된 라우드스피커들의 수와 같을 수도 있다. 예를 들어, 포맷 5.1에 관해, 이는 6개의 라우드스피커들인 수일 수도 있다. 즉, 패닝 계수들은 객체에 의해 방사되는 음향에 대한 스케일링 인자를 나타내며, 여기서 패닝 계수들은 라우드스피커 신호들을 예를 들어, 음압 레벨에 관해 스케일링하여 청취자의 포지션에 관한 객체의 포지션 또는 방향을 구현하도록 적응된다.
가상 스피커 결정기(18)일 수도 있는 가상 스피커 결정기(18-1)는 하나 또는 그보다 많은 가상 스피커들의 포지션을 결정하도록 구성된다. 예를 들어, 도 8을 참조하면, 예를 들어, 특정 포맷으로 표현되는 특정 청취 경험이 선택될 때 가상 스피커들로 표현될 스피커들의 결정이 얻어질 수 있다. 이를 기초로, 믹서 또는 디코더에 접속된 다수의 라우드스피커들이 고려될 수 있다. 포맷에 따라 구현되지만 믹서 또는 디코더에는 접속되지 않는 각각의 스피커가 가상 스피커로서 선택될 수 있다.
에너지 분포 계산기(26)일 수도 있는 에너지 분포 계산기(26-1)는 얻어진 제 2 스피커 셋업에서 가상 스피커 또는 가상 스피커들로부터 다른 스피커들로의 에너지 분포를 계산하도록 구성된다. 프로세서(28)일 수도 있는 프로세서(28-1)는 에너지 분포를 반복하여, 예를 들어 제 2 스피커 셋업에서 제 1 스피커 셋업으로의 다운믹스를 위한 다운믹스 행렬(M)을 계산함으로써 다운믹스 정보를 얻도록 구성된다. 따라서 패닝 계수들의 수는 오디오 채널들(12-1)의 수보다 더 많을 수도 있다. 프로세서(28-1)는 가중 인자들을 렌더러(38-1), 예를 들어 렌더러(38)에 출력하도록 구성된다. 렌더러(38-1)는 각각의 객체의 음향 또는 잡음 그리고 가중 인자들에 따라 복수의 오디오 채널들(12-1)을 생성하도록 구성된다. 음향 또는 잡음 신호는 예를 들어, 모노 신호로서 제공될 수도 있다. 따라서 렌더러(38-1)는 다운믹스 정보 및 패닝 계수들을 기초로 복수의 오디오 채널들(12-1)을 생성하도록 구성되며, 여기서 함수 관계는 적어도 부분적으로는 가중 인자들로 표현될 수 있다.
이 실시예의 이점은 객체 렌더러(1210) 내에서 복수의 오디오 채널들(12-1)을 생성하기 위한 장치를 구현함으로써 구현된 하드웨어 셋업과 매칭하는 방식으로 복수의 오디오 채널들(12-1)이 얻어질 수도 있다는 점이다. 오디오 채널들의 최대 개수가 32이고 필요한 오디오 채널들의 수가 6일 때 필요하지 않은 수의 오디오 채널들, 예를 들어 26개는 계산 노력이 감소될 수 있게 처리 동안 스킵될 수도 있다.
도 10은 복수의 오디오 채널들(12-2)을 생성하기 위한 장치(10-2)를 포함하는, 도 8에 도시된 포맷 변환 블록(1720)의 블록 개략도를 보여준다. 장치(10-2)는 채널들(1205)의 수를 복수의 오디오 채널들(12-2)의 수로 다운믹스하도록 구성된다.
이 실시예의 이점은 포맷 변환 블록(1720)이 디코더 자체는 변경되지 않게 하고 디코딩된 오디오 신호들 및 오디오 채널들을 디코더에 의해 출력된 채널들(1205)을 기초로 요구되는 출력 포맷에 따라 다운믹스하면서, 디코더, 예를 들어 도 8에 도시된 것과 같은 디코더에 부착 또는 포함될 수 있다는 점이다.
도 11은 예를 들어, 장치(10), 장치(10-1) 또는 장치(10-2)이거나 이를 포함할 수도 있는 장치(112)를 포함하는 오디오 시스템(110)의 개략적인 블록도를 보여준다. 오디오 시스템(110)은 2개의 라우드스피커들(16a, 16b)을 포함한다. 장치(112)는 2개의 스피커들(16a, 16b)의 수가 포지션(42)에서 5개의 스피커들(16a, 16b, 22a-c)의 존재를 에뮬레이트하도록 복수의 오디오 채널들을 생성하도록 구성된다.
추가 실시예들은 6, 10, 13 또는 32 또는 그보다 많은 서로 다른 수의 라우드스피커들을 갖는 오디오 시스템들 및 다수의 라우드스피커들에 따라 복수의 라우드스피커 신호들(오디오 채널들)을 생성하기 위한 장치를 보여준다. 복수의 라우드스피커들은 복수의 오디오 채널들을 수신하고 복수의 오디오 채널들을 기초로 복수의 음향 신호들을 제공하도록 구성된다. 오디오 채널들의 수는 제어될 스피커들의 수와 같을 수도 있다.
이는 예를 들어, 유효성 체크를 포함하는 정의된 스피커 셋업들에 대해, 그리고 또한 임의의 3D 셋업들에 대해서도 역시 객체들을 렌더링하는 것을 가능하게 한다. 이는 예를 들어, MPEG-H 3D 기준 모델(RM) 0과 같은 기준 소프트웨어에 예를 들어, QuickHull 알고리즘을 통합함으로써 수행될 수 있다. 에너지 분포 방법은 유효 3D 셋업들일 수도 있지만 필수적이진 않은 임의의 셋업들에 대한 객체들의 렌더링을 가능하게 한다. 이는 다음의 단계들을 포함한다:
1. 추가 가상 스피커들을 갖는 연장된 스피커 셋업에 대한 VBAP 이득들(가중 인자들)을 계산함.
2. 초기화 동안 계산된 다운믹스 행렬을 적용함.
3. 다운믹스된 VBAP 이득들에 에너지 정규화를 적용함.
이 프로시저는 또한 주어진(임의의) 셋업에 적용되는 대응하는 포맷의 어떠한 규칙도 없을 때, 포맷 변환기에 의해 예를 들어, 마지막 수단으로서 적용될 수도 있다. 이는 렌더러가 임의의 주어진 셋업에 대해 이미 신호들을 생성할 수 있다는 유리한 특성을 추가할 수 있다. 이 방법은 예를 들어, C와 같은 프로그래밍 언어로 코드를 프로그래밍함으로써 구현될 수도 있다.
즉, 장치(10)는 각각의 포맷에 따른 무효 3D 셋업들일 수도 있는 임의의 스피커 셋업들에 대한 객체 기반 MPEG-H 데이터 스트림들을 기초로 적당한 오디오 신호들(오디오 채널들)을 얻도록 구성될 수도 있다. 공식 2를 참조하면, 계수들(g)의 수가 다운믹스된다. 계수들(g)은 또한 VBAP 계수들로 표시될 수도 있다.
실제 및 가상 스피커들의 포지션들은 도 2에서 예시적으로 설명된 것과 같이, 허용 오차들 내에서 결정될 수 있다. 이러한 임계치들은 또한 다른 기하학적 평면들 및/또는 컨벡스 헐들과 같은 헐들 상의 위치들 또는 포지션들에 적용된다.
일부 양상들은 장치와 관련하여 설명되었지만, 이러한 양상들은 또한 대응하는 방법의 설명을 나타내며, 여기서 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다는 점이 명백하다. 비슷하게, 방법 단계와 관련하여 설명한 양상들은 또한 대응하는 장치의 대응하는 블록 또는 항목 또는 특징의 설명을 나타낸다.
특정 구현 요건들에 따라, 본 발명의 실시예들은 하드웨어로 또는 소프트웨어로 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그래밍 가능 컴퓨터 시스템과 협력하는(또는 협력할 수 있는) 전자적으로 판독 가능 제어 신호들이 저장된 디지털 저장 매체, 예를 들어 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 수행될 수 있다.
본 발명에 따른 일부 실시예들은 본 명세서에서 설명한 방법들 중 하나가 수행되도록, 프로그래밍 가능 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능 제어 신호들을 갖는 데이터 반송파를 포함한다.
일반적으로, 본 발명의 실시예들은 컴퓨터 프로그램 물건이 컴퓨터 상에서 실행될 때, 방법들 중 하나를 수행하기 위해 작동하는 프로그램 코드를 갖는 컴퓨터 프로그램 물건으로서 구현될 수 있다. 프로그램 코드는 예를 들어, 기계 판독 가능 반송파 상에 저장될 수 있다.
다른 실시예들은 기계 판독 가능 반송파 상에 저장된, 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
즉, 본 발명의 방법의 한 실시예는 이에 따라, 컴퓨터 상에서 컴퓨터 프로그램이 실행될 때 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서 본 발명의 방법들의 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하여 그 위에 기록된 데이터 반송파(또는 디지털 저장 매체, 또는 컴퓨터 판독 가능 매체)이다.
따라서 본 발명의 방법의 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 데이터 스트림 또는 시퀀스이다. 신호들의 데이터 스트림 또는 시퀀스는 예를 들어, 데이터 통신 접속을 통해, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.
추가 실시예는 처리 수단, 예를 들어 본 명세서에서 설명한 방법들 중 하나를 수행하도록 구성 또는 적응된 컴퓨터 또는 프로그래밍 가능 로직 디바이스를 포함한다.
추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
일부 실시예들에서, 프로그래밍 가능 로직 디바이스(예를 들어, 필드 프로그래밍 가능 게이트 어레이) 또는 집적 회로는 본 명세서에서 설명한 방법들의 기능들 중 일부 또는 전부를 수행하는데 사용될 수 있다. 일부 실시예들에서, 필드 프로그래밍 가능 게이트 어레이는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게 임의의 하드웨어 장치에 의해 수행된다.
앞서 설명한 실시예들은 단지 본 발명의 원리들에 대한 예시일 뿐이다. 본 명세서에서 설명한 어레인지먼트들 및 세부사항들의 수정들 및 변형들이 다른 당업자들에게 명백할 것이라고 이해된다. 따라서 이는 본 명세서의 실시예들의 묘사 및 설명에 의해 제시된 특정 세부사항들로가 아닌, 첨부된 특허청구범위로만 한정되는 것을 취지로 한다.
참조들
[1] Barber, C. Bradford; Dobkin, David P.; Huhdanpaa, H., "The quickhull algorithm for convex hulls," ACM Transactions on Mathematical Software, vol. 22, no 4, pp. 469-483, 1996.

Claims (17)

  1. 제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치로서,
    상기 제 1 스피커 셋업(14; 14-1)에 포함되지 않은 가상 스피커(22; 22a-d)의 포지션을 결정하여 상기 가상 스피커(22; 22a-d) 및 적어도 부분적으로는 상기 제 1 스피커 셋업의 스피커들을 포함하는 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)을 얻기 위한 가상 스피커 결정기(18; 18-1);
    상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)에서 상기 가상 스피커(22; 22a-d)로부터 다른 스피커들로의 에너지 분포를 계산하기 위한 에너지 분포 계산기(26; 26-1) ― 상기 에너지 분포는 상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)에서 상기 다른 스피커들에 분포되는 상기 가상 스피커(22; 22a-d)의 에너지의 양 또는 몫을 나타냄 ―;
    상기 에너지 분포의 거듭제곱(Dn)을 계산하여 상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)에서 상기 제 1 스피커 셋업(14; 14-1)으로의 다운믹스를 위한 다운믹스 정보(36)를 얻기 위한 프로세서(28; 28-1) ― 상기 프로세서(28; 28-1)는 상기 에너지 분포를 기초로 에너지 분포 행렬(D)을 생성하도록 구성되고, 상기 에너지 분포 행렬(D)은 상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)의 다른 스피커에 대한 상기 가상 스피커(22; 22a-d)의 에너지 분포를 나타내는 엘리먼트들(dxy)을 포함하며, 상기 에너지 분포의 거듭제곱(Dn)은 상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)의 다른 스피커에 대한 상기 가상 스피커(22; 22a-d)의 에너지 분포를 나타내는 엘리먼트들(dxy)을 감소시킴 ―; 및
    상기 다운믹스 정보(36)를 사용하여 상기 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 렌더러(38; 38-1)를 포함하는,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치.
  2. 제 1 항에 있어서,
    상기 프로세서(28; 28-1)는 상기 에너지 분포 행렬(D)의 거듭제곱(Dn)을 계산하도록 추가로 구성되고,
    상기 거듭제곱(Dn)의 지수(n)는 미리 정해진 값이며,
    상기 프로세서(28; 28-1)는 상기 에너지 분포 행렬(D)의 거듭제곱을 기초로 상기 다운믹스 정보(36)를 얻도록 구성되는,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치.
  3. 제 1 항에 있어서,
    상기 프로세서(28; 28-1)는 상기 에너지 분포 행렬(D)의 거듭제곱(Dn)을 반복적으로 계산하도록 추가로 구성되고,
    반복 단계들의 수는 상기 에너지 분포 행렬(D)의 거듭제곱(Dn)의 값을 기초로 하는,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치.
  4. 제 1 항에 있어서,
    상기 에너지 분포 계산기(26; 26-1)는 상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3) 중 상기 가상 스피커(22; 22a-d)의 이웃인 적어도 하나의 스피커에 대한 상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)의 가상 스피커(22; 22a-d)의 이웃 관계를 결정하기 위한 이웃 추정기를 포함하고,
    상기 에너지 분포 계산기(26; 26-1)는 상기 가상 스피커(22; 22a-d)의 적어도 하나의 이웃으로의 상기 가상 스피커(22; 22a-d)의 에너지 분포를 계산하도록 구성되는,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치.
  5. 제 4 항에 있어서,
    상기 이웃 추정기는 상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)에서 상기 가상 스피커(22; 22a-d)의 이웃들인 적어도 2개의 스피커들에 대한 상기 제 2 스피커 셋업의 가상 스피커(22; 22a-d)의 이웃 관계를 결정하도록 구성되고,
    상기 에너지 분포 계산기(26; 26-1)는 상기 가상 스피커(22; 22a-d)의 이웃들인 적어도 2개의 스피커들 사이의 에너지 분포가 미리 정해진 허용 오차 내에서 동일하게 상기 에너지 분포를 계산하도록 구성되는,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치.
  6. 제 5 항에 있어서,
    상기 이웃 추정기는 상기 가상 스피커(22; 22a-d)의 이웃들인 적어도 2개의 스피커들에 대한 상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)의 가상 스피커(22; 22a-d)의 이웃 관계를 결정하도록 구성되고,
    상기 가상 스피커(22; 22a-d)의 이웃들인 적어도 2개의 스피커들 중 적어도 하나는 추가 가상 스피커(22; 22a-d)인,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치.
  7. 제 1 항에 있어서,
    상기 가상 스피커(22; 22a-d)는 미리 정해진 허용 오차(46a; 46b) 및 미리 정해진 청취자 포지션(42) 내에 상기 제 1 스피커 셋업(14; 14-1)의 스피커들(16a-c)을 포함하는 기하학적 평면(44; 54)의 한 면에 배열되는,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치.
  8. 제 1 항에 있어서,
    상기 가상 스피커(22; 22a-d)는 기하학적 평면(54)의 제 1 면에 대향하는 미리 정해진 청취자 포지션(42)을 포함하는 상기 기하학적 평면(54)의 제 2 면을 따라 배열되고,
    상기 제 1 스피커 셋업(14; 14-1)의 스피커는 상기 기하학적 평면(54)의 제 1 면에 배열되는,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치.
  9. 제 1 항에 있어서,
    상기 장치는 포맷 변환 유닛(1720)에 의해 구성되고,
    상기 포맷 변환 유닛(1720)은 복수의 데이터 채널들(1205)을 포함하는 입력 채널들을 기초로 상기 복수의 오디오 채널들(12; 12-1; 12-2)을 출력하도록 구성되며,
    데이터 채널들(1205)의 수는 상기 복수의 오디오 채널들(12; 12-1; 12-2)의 수보다 더 많은,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치.
  10. 제 1 항에 있어서,
    상기 장치는 상기 제 2 스피커 셋업(24; 24-1; 24-2)에 대한 패닝 계수들을 생성하기 위한 패너(panner)(56)를 포함하고,
    상기 렌더러(38; 38-1)는 상기 다운믹스 정보(36) 및 상기 패닝 계수들을 기초로 상기 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하도록 구성되는,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치.
  11. 제 10 항에 있어서,
    상기 장치는 객체 렌더러(1210)에 의해 구성되고,
    상기 객체 렌더러(1210)는 오디오 객체들의 포지션 정보를 기초로 상기 복수의 오디오 채널들(12; 12-1; 12-2)을 출력하도록 구성되며,
    패닝 계수들의 수는 상기 오디오 객체가 상기 제 1 스피커 셋업(14; 14-1)에 렌더링되도록 상기 복수의 오디오 채널들(12; 12-1; 12-2)의 수보다 더 많은,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치.
  12. 제 1 항에 있어서,
    상기 가상 스피커 결정기(18; 18-1)는 상기 제 1 스피커 셋업(14; 14-1)의 스피커들(16a-c)의 포지션을 기초로 컨벡스 헐(convex hull)(52)을 계산하도록 그리고 QuickHull 알고리즘에 따라 상기 가상 스피커(22; 22a-d)의 포지션을 결정하도록 구성되고,
    상기 가상 스피커(22; 22a-d)의 포지션 및 상기 제 1 스피커 셋업(14; 14-1)의 스피커들(16a-c)의 포지션은 미리 정해진 임계치 내에서 상기 컨벡스 헐(52)에 배열되는,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치.
  13. 제 12 항에 있어서,
    상기 장치는 상기 제 1 스피커 셋업(14; 14-1)의 모든 각각의 스피커(16a-c)의 포지션이 미리 정해진 임계치 내에서 상기 컨벡스 헐(52)에 배열됨을 표시하는 또는 상기 제 1 스피커 셋업(14; 14-1)의 적어도 하나의 스피커의 포지션이 미리 정해진 임계치 내에서 상기 컨벡스 헐(52) 밖에 배열됨을 표시하는 상기 제 1 스피커 셋업(14; 14-1)의 유효성 정보를 제공하도록 구성되는,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 장치.
  14. 오디오 시스템으로서,
    제 1 항 내지 제 13 항 중 한 항에 따른 장치(10; 10-1; 10-2); 및
    상기 복수의 오디오 채널들(12; 12-1; 12-2)에 따른 복수의 스피커들(16a-c)을 포함하며,
    상기 복수의 스피커들(16a-c)은 상기 복수의 오디오 채널들(12; 12-1; 12-2)을 수신하고 상기 복수의 오디오 채널들(12; 12-1; 12-2)을 기초로 복수의 음향 신호들을 제공하도록 구성되는,
    오디오 시스템.
  15. 제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 방법으로서,
    상기 제 1 스피커 셋업(14; 14-1)에 포함되지 않은 가상 스피커(22; 22a-d)의 포지션을 결정하고 상기 가상 스피커(22; 22a-d) 및 적어도 부분적으로는 상기 제 1 스피커 셋업의 스피커들을 포함하는 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)을 얻는 단계;
    상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)에서 상기 가상 스피커(22; 22a-d)로부터 다른 스피커들로의 에너지 분포를 계산하는 단계 ― 상기 에너지 분포는 상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)에서 상기 다른 스피커들에 분포되는 상기 가상 스피커(22; 22a-d)의 에너지의 양 또는 몫을 나타냄 ―;
    상기 에너지 분포의 거듭제곱(Dn)을 계산하여 상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)에서 상기 제 1 스피커 셋업(14; 14-1)으로의 다운믹스를 위한 다운믹스 정보(36)를 얻는 단계 ― 상기 에너지 분포의 거듭제곱은 상기 에너지 분포의 엘리먼트들을 감소시키고, 상기 에너지 분포의 거듭제곱(Dn)의 계산은 상기 에너지 분포를 기초로 에너지 분포 행렬(D)을 생성하는 것을 포함하고, 상기 에너지 분포 행렬(D)은 상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)의 다른 스피커에 대한 상기 가상 스피커(22; 22a-d)의 에너지 분포를 나타내는 엘리먼트들(dxy)을 포함하며, 상기 에너지 분포의 거듭제곱(Dn)은 상기 제 2 스피커 셋업(24; 24-1; 24-2; 24-3)의 다른 스피커에 대한 상기 가상 스피커(22; 22a-d)의 에너지 분포를 나타내는 엘리먼트들(dxy)을 감소시킴 ―; 및
    상기 다운믹스 정보(36)를 사용하여 상기 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하는 단계를 포함하는,
    제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 방법.
  16. 컴퓨터 상에서 실행될 때, 제 15 항에 따라 제 1 스피커 셋업(14; 14-1)을 위한 복수의 오디오 채널들(12; 12-1; 12-2)을 생성하기 위한 방법을 수행하기 위한 프로그램 코드를 갖고, 컴퓨터 판독 가능한 저장매체에 저장된,
    컴퓨터 프로그램.
  17. 삭제
KR1020167021526A 2014-01-07 2015-01-05 복수의 오디오 채널들을 생성하기 위한 장치 및 방법 KR101806060B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14150362.3A EP2892250A1 (en) 2014-01-07 2014-01-07 Apparatus and method for generating a plurality of audio channels
EP14150362.3 2014-01-07
PCT/EP2015/050043 WO2015104237A1 (en) 2014-01-07 2015-01-05 Apparatus and method for generating a plurality of audio channels

Publications (2)

Publication Number Publication Date
KR20160106148A KR20160106148A (ko) 2016-09-09
KR101806060B1 true KR101806060B1 (ko) 2017-12-07

Family

ID=49955911

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167021526A KR101806060B1 (ko) 2014-01-07 2015-01-05 복수의 오디오 채널들을 생성하기 위한 장치 및 방법

Country Status (18)

Country Link
US (6) US9729995B2 (ko)
EP (4) EP2892250A1 (ko)
JP (1) JP6228689B2 (ko)
KR (1) KR101806060B1 (ko)
CN (1) CN105934955B (ko)
AR (1) AR099037A1 (ko)
AU (1) AU2015205696B2 (ko)
BR (1) BR112016015028B1 (ko)
CA (1) CA2934811C (ko)
ES (2) ES2975074T3 (ko)
MX (1) MX352097B (ko)
MY (1) MY188021A (ko)
PL (1) PL3092823T3 (ko)
PT (1) PT3092823T (ko)
RU (1) RU2676948C2 (ko)
SG (1) SG11201605560UA (ko)
TW (1) TWI558231B (ko)
WO (1) WO2015104237A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2892250A1 (en) 2014-01-07 2015-07-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a plurality of audio channels
CN106303897A (zh) * 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
US10419866B2 (en) 2016-10-07 2019-09-17 Microsoft Technology Licensing, Llc Shared three-dimensional audio bed
WO2018202642A1 (en) * 2017-05-04 2018-11-08 Dolby International Ab Rendering audio objects having apparent size
EP3619922B1 (en) 2017-05-04 2022-06-29 Dolby International AB Rendering audio objects having apparent size
US20190250878A1 (en) * 2018-02-15 2019-08-15 Disney Enterprises, Inc. Remote control for an audio monitoring system
ES2913426T3 (es) * 2018-03-13 2022-06-02 Nokia Technologies Oy Reproducción de sonido espacial usando sistemas de altavoz de múltiples canales
US10904687B1 (en) * 2020-03-27 2021-01-26 Spatialx Inc. Audio effectiveness heatmap
CN115226001B (zh) * 2021-11-24 2024-05-03 广州汽车集团股份有限公司 声能量补偿方法、装置及计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006054270A1 (en) 2004-11-22 2006-05-26 Bang & Olufsen A/S A method and apparatus for multichannel upmixing and downmixing
US20070104331A1 (en) 2005-10-19 2007-05-10 Sony Corporation Multi-channel audio system and method for generating virtual speaker sound
JP2009017137A (ja) 2007-07-03 2009-01-22 Yamaha Corp スピーカアレイ装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889867A (en) * 1996-09-18 1999-03-30 Bauck; Jerald L. Stereophonic Reformatter
JP2001028799A (ja) * 1999-05-10 2001-01-30 Sony Corp 車載用音響再生装置
US8054980B2 (en) * 2003-09-05 2011-11-08 Stmicroelectronics Asia Pacific Pte, Ltd. Apparatus and method for rendering audio information to virtualize speakers in an audio system
EP1696702B1 (en) * 2005-02-28 2015-08-26 Sony Ericsson Mobile Communications AB Portable device with enhanced stereo image
CN101185117B (zh) * 2005-05-26 2012-09-26 Lg电子株式会社 解码音频信号的方法和装置
US8515105B2 (en) * 2006-08-29 2013-08-20 The Regents Of The University Of California System and method for sound generation
FR2922404B1 (fr) * 2007-10-10 2009-12-18 Goldmund Monaco Sam Methode pour creer un environnement audio avec n haut-parleurs
ES2875416T3 (es) * 2008-12-11 2021-11-10 Fraunhofer Ges Forschung Aparato para generar una señal de audio multicanal
EP2360681A1 (en) * 2010-01-15 2011-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information
JP2011211312A (ja) * 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法
US9377941B2 (en) * 2010-11-09 2016-06-28 Sony Corporation Audio speaker selection for optimization of sound origin
KR102394141B1 (ko) * 2011-07-01 2022-05-04 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
TWI543642B (zh) * 2011-07-01 2016-07-21 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
EP2645749B1 (en) * 2012-03-30 2020-02-19 Samsung Electronics Co., Ltd. Audio apparatus and method of converting audio signal thereof
EP3629605B1 (en) * 2012-07-16 2022-03-02 Dolby International AB Method and device for rendering an audio soundfield representation
US9826328B2 (en) * 2012-08-31 2017-11-21 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
EP2892250A1 (en) 2014-01-07 2015-07-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a plurality of audio channels

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006054270A1 (en) 2004-11-22 2006-05-26 Bang & Olufsen A/S A method and apparatus for multichannel upmixing and downmixing
US20070104331A1 (en) 2005-10-19 2007-05-10 Sony Corporation Multi-channel audio system and method for generating virtual speaker sound
JP2009017137A (ja) 2007-07-03 2009-01-22 Yamaha Corp スピーカアレイ装置

Also Published As

Publication number Publication date
US10595153B2 (en) 2020-03-17
PL3092823T3 (pl) 2020-06-01
BR112016015028A2 (pt) 2020-06-09
PT3092823T (pt) 2020-02-25
MY188021A (en) 2021-11-10
AR099037A1 (es) 2016-06-22
MX2016008877A (es) 2016-10-04
SG11201605560UA (en) 2016-08-30
EP3618460B1 (en) 2024-02-28
EP3618460A1 (en) 2020-03-04
US20160316309A1 (en) 2016-10-27
KR20160106148A (ko) 2016-09-09
CA2934811A1 (en) 2015-07-16
TWI558231B (zh) 2016-11-11
US11785414B2 (en) 2023-10-10
CN105934955A (zh) 2016-09-07
RU2676948C2 (ru) 2019-01-11
US9729995B2 (en) 2017-08-08
EP3092823A1 (en) 2016-11-16
RU2016132133A (ru) 2018-02-09
ES2975074T3 (es) 2024-07-03
TW201534144A (zh) 2015-09-01
US20170318408A1 (en) 2017-11-02
JP2017507621A (ja) 2017-03-16
US11438723B2 (en) 2022-09-06
EP2892250A1 (en) 2015-07-08
US10904693B2 (en) 2021-01-26
CN105934955B (zh) 2018-01-16
US20210136511A1 (en) 2021-05-06
US20200204941A1 (en) 2020-06-25
WO2015104237A1 (en) 2015-07-16
EP3618460C0 (en) 2024-02-28
EP3092823B1 (en) 2019-11-27
MX352097B (es) 2017-11-08
EP4351173A2 (en) 2024-04-10
US20190045321A1 (en) 2019-02-07
JP6228689B2 (ja) 2017-11-08
ES2773623T3 (es) 2020-07-13
AU2015205696A1 (en) 2016-07-21
AU2015205696B2 (en) 2017-12-14
BR112016015028B1 (pt) 2022-11-29
EP4351173A3 (en) 2024-06-19
CA2934811C (en) 2018-06-26
US20220377493A1 (en) 2022-11-24
US10097945B2 (en) 2018-10-09

Similar Documents

Publication Publication Date Title
KR101806060B1 (ko) 복수의 오디오 채널들을 생성하기 위한 장치 및 방법
JP6284955B2 (ja) 仮想スピーカーを物理スピーカーにマッピングすること
EP2997743B1 (en) An audio apparatus and method therefor
US10674301B2 (en) Fast and memory efficient encoding of sound objects using spherical harmonic symmetries
KR102652670B1 (ko) 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
JP6513703B2 (ja) 辺フェージング振幅パンニングのための装置および方法
KR20240096835A (ko) 공간 확장 음원을 사용하는 렌더러, 디코더, 인코더, 방법 및 비트스트림
Tarzan et al. Assessment of sound spatialisation algorithms for sonic rendering with headphones
EP4132012A1 (en) Determining virtual audio source positions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right