KR20220044393A

KR20220044393A - 깊이-확장형 DirAC 기술 또는 기타 기술을 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념

Info

Publication number: KR20220044393A
Application number: KR1020227010356A
Authority: KR
Inventors: 쥐르겐 헤레; 엠마누엘 하베츠; 악셀 플린지; 올리버 타이에르가르트; 파비앙 쿠에히
Original assignee: 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date: 2017-07-14
Filing date: 2018-07-13
Publication date: 2022-04-07
Also published as: BR112020000779A2; AU2018298878A1; AR112556A1; EP3652737A1; TW201919043A; US20200154229A1; CN111108555B; KR102568365B1; JP7122793B2; KR20200041307A; TWI684978B; JP2020527887A; SG11202000287RA; AU2021218089A1; CN111108555A; CA3069772A1; US11477594B2; KR102448736B1; RU2736274C1; ZA202000169B

Abstract

증강된 음장 묘사를 생성하기 위한 장치로서, 적어도 하나의 기준 위치에 대한 음장을 나타내는 적어도 2개의 음장 층을 생성하기 위한 음장 생성기(100); 및 음장에 관한 공간적 정보와 관련된 메타데이터를 생성하기 위한 메타데이터 생성기(110)를 포함하고, 적어도 하나의 음장 묘사 및 메타데이터가 증강된 음장 묘사를 구성한다. 메타데이터는, 전체 대역 또는 하위대역 즉, 시간 주파수 빈에서 거리 정보를 방향에 연관시키는 깊이 맵일 수 있다.

Description

깊이-확장형 DirAC 기술 또는 기타 기술을 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념{CONCEPT FOR GENERATING AN ENHANCED SOUND-FIELD DESCRIPTION OR A MODIFIED SOUND FIELD DESCRIPTION USING A DEPTH-EXTENDED DIRAC TECHNIQUE OR OTHER TECHNIQUES}

본 발명은 오디오 프로세싱 그리고 특히, 마이크로폰 또는 가상 마이크로폰 위치와 같은 기준 위치에 대해서 규정되는 음장과 관련된 오디오 프로세싱에 관한 것이다.

앰비소닉 신호(ambisonics signals)는 음장(sound field)의 절두형 구면 조화 분해(truncated spherical harmonic decomposition)를 포함한다. 앰비소닉은 다양한 이유들로 이용된다. 오늘날 '1차 앰비소닉'(FOA)으로 알려져 있고 제4 신호(즉, 하나의 전방향 신호 및 3개 이하의 8자 모양 방향 신호를 포함하는 '전통적인' 앰비소닉[31]이 있다. 보다 최근의 앰비소닉 변형예는 '고차 앰비소닉'(HOA)으로 알려져 있고, 더 많은 신호의 이송을 사용하여, 증강된 공간적 해상도 및 더 넓은 청취자 스윗-스팟 지역(sweet-spot area)을 제공한다. 일반적으로, 완전히 정의된 N차 HOA 표시는 (N+1)² 신호로 구성된다.

앰비소닉 아이디어와 관련하여, 방향성 오디오 코딩(DirAC) 표시는, FOA 또는 HOA 음향 장면(sound scene)을 더 밀집된 파라매트릭 스타일(parametric style)로 나타내는 것으로 인식되었다. 더 구체적으로, 공간적 음향 장면은, 각각의 시간-주파수(TF) 빈(time-frequency bin) 내의 음향 장면의 다운믹스 및 이와 연관된 방향 및 확산에 관한 부수적 정보를 나타내는 하나의(그 초과의) 전송된 오디오 채널에 의해서 표시된다. DirAC에 관한 추가적인 정보를 [32] 및 [33]에서 확인할 수 있다.

DirAC[32]는 상이한 마이크로폰 시스템 및 임의의 라우드스피커 설정과 함께 이용될 수 있다. DirAC 시스템의 목적은, 다중채널/3D 라우드스피커 시스템을 이용하여 가능한 한 정밀하게 기존 음향 환경의 공간적 인상을 재생하는 것이다. 선택된 환경에서, 응답(연속적 사운드 또는 임펄스 응답)은, 전방향 마이크로폰(W)으로 그리고 사운드의 도달-방향 및 사운드의 확산을 측정할 수 있는 마이크로폰의 세트로 측정된다. 일반적인 방법이, 데카르트 좌표 축과 정렬된 3개의 8자 모양의 마이크로폰(X, Y, Z)에 적용된다[34]. 이를 위한 방법은, 희망 응답 전부를 직접적으로 산출하는 음장 마이크로폰을 이용하는 것이다. W, X, Y, 및 Z 신호는 또한 구분된 전방향 마이크로폰의 세트로부터 연산될 수 있다.

DirAC에서, 사운드 신호는 먼저 인간 청각 시스템의 주파수 선택도에 따라 주파수 채널들로 분할된다. 사운드 방향 및 확산은 각각의 주파수 채널에서 시간에 따라 측정된다. 전송에서, 분석된 방향 및 확산 데이터와 함께, 하나 이상의 오디오 채널이 송신된다. 합성에서, 라우드스피커에 인가되는 오디오가 예를 들어 전방향 채널(W)일 수 있거나, 각각의 라우드스피커를 위한 사운드가 W, X, Y, 및 Z의 가중 합계로서 연산될 수 있고, 이는, 각각의 라우드스피커를 위한 특정 방향 특성을 갖는 신호를 형성한다. 각각의 오디오 채널이 주파수 채널로 분할되고, 이어서 주파수 채널은, 분석되는 확산에 따라, 확산 스트림 및 비-확산 스트림으로 선택적으로 분할된다. 확산 스트림은, 음향 장면의 확산 인식을 생성하는 기술, 예를 들어 Binaural Cue Coding[35-37]에서 이용되는 비상관화(decorrelation) 기술로 재생된다. 비확산 사운드는, 방향 데이터에 따라 점형 가상 음원을 생성하는 것을 목적으로 하는 기술(예를 들어, VBAP[38])로 재생된다.

제한된 자유도의 6DoF에서의 네비게이션을 위한 3개의 기술이 [39]에서 제시된다. 단일 앰비소닉 신호가 주어지면, 단일 앰비소닉 신호는 1) HOA 플레이백 및 가상 라우드스피커 어레이 내의 청취자 이동의 시뮬레이션, 2) 연산 및 평면-파동을 따른 해석, 및 3) 청취자를 중심으로 하는 음장의 재확장을 이용하여 연산된다.

또한, 예를 들어 간행물["Directional Audio Coding - Perception-Based Reproduction of Spatial Sound", V. Pulkki et al, International Workshop on the Principles and Applications of Spatial Hearing, November 11-13, 2009, Zao, Miyagi, Japan]에서 설명된 바와 같은 DirAC 기술을 참조한다. 이 참조 문헌은, 특히 공간적 오디오 프로세싱을 위한 인식적 동기부여 기술과 같은 기준 위치 관련 음장 프로세싱을 위한 예로서 방향성 오디오 코딩을 설명한다.

음향 장면의 재생이 종종 라우드스피커 설정에 초점 맞춰졌는데, 이는, 그러한 재생이 전형적으로 사생활, 예를 들어 거실에서의, 그리고 전문적인 상황, 즉 극장에서의 재생이었기 때문이다. 여기에서, 재생 기하형태에 대한 장면의 관계는 정적인데, 이는, 그러한 것이, 청취자가 전방 방향을 바라보도록 강제하는 2차원적인 화상을 수반하기 때문이다. 이어서, 재생 시간(production time)에 사운드와 시각적 객체의 공간적 관계가 규정되어 확정된다.

가상 현실(VR)에서, 사용자가 장면 내에서 자유롭게 이동할 수 있게 하는 것에 의해서 몰입감이 분명하게 얻어진다. 그에 따라, 사용자의 이동을 추적하고 사용자의 위치에 맞춰 시각적 및 청각적 재생을 조정할 필요가 있다. 전형적으로, 사용자는 머리-장착형 디스플레이(HMD) 및 헤드폰을 착용한다. 헤드폰을 이용한 몰입 체험을 위해서, 오디오는 바이노럴화되어야 한다. 바이노럴화(binauralization)는 인간의 머리, 귀, 및 상부 몸통이 그 방향 및 거리에 따라 어떻게 음원의 사운드를 변화시키는지에 관한 시뮬레이션이다. 이는, 그 상대적인 방향에 대해서 헤드-관련 전달 함수(HRTF)로 신호를 콘볼루션(convolution)하는 것에 의해서 달성된다[1, 2]. 바이노럴화는 또한, 사운드가 헤드의 내측으로부터가 아니라 장면으로부터 오는 것으로 생각되게 한다[3]. 이미 성공적으로 해결된 일반적인 시나리오는 360° 비디오 재생이다[4, 5]. 여기에서, 사용자는 HMD을 착용하거나 태블릿 또는 전화기를 그의 손에 들고 있다. 그의 머리 또는 장치를 이동시키는 것에 의해서, 사용자는 임의의 방향으로 둘러볼 수 있다. 이는 3 자유도(3DoF)의 시나리오인데, 이는 사용자가 3 이동도(피치, 요, 롤)를 가지기 때문이다. 시각적으로, 이는, 사용자 주위의 구체에 비디오를 투영하는 것에 의해서 실현된다. 오디오는 종종 비디오 카메라에 근접한, 공간적 마이크로폰, 예를 들어 1차 앰비소닉(FOA)으로 레코딩된다[6]. 앰비소닉 도메인 내에서, 사용자의 머리 회전은 직접적인 방식으로 적응된다[7]. 이어서, 오디오는 예를 들어 사용자 주위에 배치된 가상의 라우드스피커로 렌더링된다. 이러한 가상의 라우드스피커 신호가 이어서 바이노럴화(binauralized)된다.

현대의 VR 적용예는 6 자유도(6DoF)를 허용한다. 머리 회전에 더하여, 사용자가 주변에서 이동하여, 3개의 공간적 차원에서 그의 위치의 병진 운동을 초래할 수 있다. 6DoF 재생은 걷는 지역의 전체 크기에 의해서 제한된다. 많은 경우에, 이러한 지역은 다소 작고, 예를 들어 통상적인 거실이다. 6DoF는 VR 게임에서 일반적으로 만나게 된다. 여기에서, 전체 장면은 컴퓨터-생성 이미지(CGI)와 합성된다. 오디오는 종종 객체-기반(object-based)의 렌더링을 이용하여 생성되고, 여기에서 각각의 오디오 객체는 트래킹 데이터를 기초로 하는 거리-의존적 이득(distance-dependent gain) 및 사용자로부터의 상대적인 방향으로 렌더링된다. 인공적인 반향 및 회절에 의해서 현실감이 향상될 수 있다[8, 9, 10].

레코딩된 콘텐츠와 관련하여, 오디오-시각적 6DoF 재생을 확신하게 하는데 있어서 일부 분명한 해결과제가 있다. 공간적 병진 운동 도메인 내의 공간적 사운드 조작의 초기의 예는, '어쿠스틱 줌(acoustic zoom)' 기술의 공간적 사운드 조작이다[11, 12]. 여기에서, 청취자 위치는, 화상 내로의 주밍(zooming)하는 것과 유사하게, 레코딩된 시각적 장면 내로 가상으로 이동된다. 사용자는 하나의 방향 또는 화상 부분을 선택하고, 이어서 병진 운동된 지점으로부터 이를 청취할 수 있다. 이는, 모든 도달 방향(DoAs)이 원래의, 비-주밍(non-zoomed) 재생에 대해서 변화되는 것을 수반한다.

공간적으로 분포된 레코딩 위치를 이용하는 레코딩된 콘텐츠의 6DoF 재생을 위한 방법이 제시되어 있다. 비디오에서, 명시야 렌더링을 생성하기 위해서 카메라의 어레이가 이용된다[13]. 오디오에서, 유사한 설정이, 분포된 마이크로폰 어레이 또는 앰비소닉 마이크로폰을 이용한다. 그러한 레코딩으로부터 임의의 위치에 배치된 '가상 마이크로폰'의 신호를 생성할 수 있다는 것을 보여주었다[14].

그러한 공간적 사운드 수정을 기술적으로 편리한 방식으로 실현하기 위해서, 파라메트릭 사운드 프로세싱 또는 코딩 기술이 이용될 수 있다(개관을 위해 [15] 참조). 방향성 오디오 코딩(DirAC)[16]은 레코딩을 표상으로 변환하기 위한 대중적인 방법이며, 그러한 표상은 오디오 스펙트럼과, 사운드 방향 및 확산에 관한 파라메트릭 부수적 정보로 구성된다. 이는, 어쿠스틱 줌[11] 및 가상 마이크로폰[14] 적용예를 위해서 이용된다.

Liitola, T., Headphone sound externalization, Ph.D. thesis, Helsinki University of Technology. Department of Electrical and Communications Engineering Laboratory of Acoustics and Audio Signal Processing., 2006. Blauert, J., Spatial Hearing - Revised Edition: The Psychophysics of Human Sound Localization, The MIT Press, 1996, ISBN 0262024136. Zhang, W., Samarasinghe, P. N., Chen, H., and Abhayapala, T. D., "Surround by Sound: A Re-view of Spatial Audio Recording and Reproduction," Applied Sciences, 7(5), p. 532, 2017. Bates, E. and Boland, F., "Spatial Music, Virtual Reality, and 360 Media," in Audio Eng. Soc. Int. Conf. on Virtual and Augmented Reality, Los Angeles, CA, U.S.A., 2016. Anderson, R., Gallup, D., Barron, J. T., Kontkanen, J., Snavely, N., Esteban, C. H., Agarwal, S., and Seitz, S. M., "Jump: Virtual Reality Video," ACM Transactions on Graphics, 35(6), p. 198, 2016. Merimaa, J., Analysis, Synthesis, and Perception of Spatial Sound: Binaural Localization Modeling and Multichannel Loudspeaker Reproduction, Ph.D. thesis, Helsinki University of Technology, 2006. Kronlachner, M. and Zotter, F., "Spatial Transformations for the Enhancement of Ambisonics Recordings," in 2nd International Conference on Spatial Audio, Erlangen, Germany, 2014. Tsingos, N., Gallo, E., and Drettakis, G., "Perceptual Audio Rendering of Complex Virtual Environments," ACM Transactions on Graphics, 23(3), pp. 249-258, 2004. Taylor, M., Chandak, A., Mo, Q., Lauterbach, C., Schissler, C., and Manocha, D., "Guided multi-view ray tracing for fast auralization," IEEE Trans. Visualization & Comp. Graphics, 18, pp. 1797- 1810, 2012. [10] Rungta, A., Schissler, C., Rewkowski, N., Mehra, R., and Manocha, D., "Diffraction Kernels for Interactive Sound Propagation in Dynamic Environments," IEEE Trans. Visualization & Comp. Graphics, 24(4), pp. 1613-1622, 2018. Thiergart. O., Kowalczyk, K., and Habets, E. A. P., "An Acoustical Zoom based on Informed Spatial Filtering," in Int. Workshop on Acoustic Signal Enhancement, pp. 109- 113, 2014. Khaddour, H., Schimmel, J., and Rund, F., "A Novel Combined System of Direction Estimation and Sound Zooming of Multiple Speakers," Radioengineering, 24(2), 2015. Ziegler, M., Keinert, J., Holzer, N., Wolf, T., Jaschke, T., op het Veld, R., Zakeri, F. S., and Foessel, S., "Immersive Virtual Reality for Live-Action Video using Camera Arrays," in IBC, Amsterdam, Netherlands, 2017. Thiergart. O., Galdo, G. D., Taseska, M., and Habets, E. A. P., "Geometry-Based Spatial Sound Acquisition using Distributed Microphone Arrays," IEEE Trans. Audio, Speech, Language Process., 21(12), pp. 2583-2594, 2013. Kowalczyk, K., Thiergart. O., Taseska, M., Del Galdo, G., Pulkki, V., and Habets, E. A. P., "Parametric Spatial Sound Processing: A Flexible and Efficient Solution to Sound Scene Acquisition, Modification, and Reproduction," IEEE Signal Process. Mag., 32(2), pp. 31-42, 2015. Pulkki, V., "Spatial Sound Reproduction with Directional Audio Coding," J. Audio Eng. Soc., 55(6), pp. 503-516, 2007. International Telecommunication Union, "ITU-R BS. 1534-3, Method for the subjective assessment of intermediate quality level of audio systems," 2015. Thiergart, O., Del Galdo, G., Kuech, F., and Prus, M., "Three-Dimensional Sound Field Analysis with Directional Audio Coding Based on Signal Adaptive Parameter Estimators," in Audio Eng. Soc. Conv. Spatial Audio: Sense the Sound of Space, 2010. Kuttruff, H., Room Acoustics, Taylor & Francis, 4 edition, 2000. BorB, C., "A polygon-based panning method for 3D loudspeaker setups," in Audio Eng. Soc. Conv., pp. 343-352, Los Angeles, CA, USA, 2014. Rummukainen. O., Schlecht, S., Plinge, A., and Habets, E. A. P., '"Evaluating Binaural Reproduction Systems from Behavioral Patterns in a Virtual Reality - A Case Study with Impaired Binaural Cues and Tracking Latency," in Audio Eng. Soc. Conv. 143, New York, NY, USA, 2017. Engelke, U., Darcy, D. P., Mulliken, G. H., Bosse, S., Martini, M. G., Arndt, S., Antons, J.-N., Chan, K. Y., Ramzan, N., and Brunnstrom, K., "Psychophysiology-Based QoE Assessment: A Survey," IEEE Selected Topics in Signal Processing, 11(1), pp. 6-21, 2017. Schlecht, S. J. and Habets, E. A. P., "Sign-Agnostic Matrix Design for Spatial Artificial Reverberation with Feedback Delay Networks," in Proc. Audio Eng. Soc. Conf., pp. 1-10- accepted, Tokyo, Japan, 2018. M. A. Gerzon, "Periphony: With-height sound reproduction," J. Acoust. Soc. Am., vol. 21,110, 1, pp. 2-10, 1973. V. Pulkki, "Directional audio coding in spatial sound reproduction and stereo upmixing," in Proc, of the 28th AES International Conference, 2006. -, "Spatial sound reproduction with directional audio coding," Journal Audio Eng. Soc., vol. 55, no. 6, pp. 503-516, Jun. 2007. C. G. and G. M., "Coincident microphone simulation covering three dimensional space and yielding various directional outputs," U.S. Patent 4042779, 1977. C. Faller and F. Baumgarte, "Binaural cue coding - part ii: Schemes and applications, "IEEE Trans. Speech Audio Process,, vol. 11, no. 6, Nov. 2003. C. Faller, "Parametric multichannel audio coding: Synthesis of coherence cues," IEEE Trans. Speech Audio Process., vol. 14, no. 1, Jan. 2006. H. P. J. E. E. Schuijers, J. Breebaart, "Low complexity parametric stereo coding," in Proc, of the 116th A ES Convention, Berlin, Germany, 2004. V. Pulkki, "Virtual sound source positioning using vector base amplitude panning," J. Acoust. Soc. A m., vol. 45, no. 6, pp. 456-466, Jun. 1997. J. G. Tylka and E. Y. Choueiri, "Comparison of techniques for binaural navigation of higher- order ambisonics sound fields," in Proc, of the AES International Conference on Audio for Virtual and Augmented Reality, New York, Sep. 2016.

본원에서 제시된 방법은, 단일 FOA 마이크로폰의 레코딩으로부터의 6DoF 재생을 가능하게 한다. 단일 공간적 위치로부터의 레코딩은 3DoF 재생 또는 어쿠스틱 줌을 위해서 이용되었다. 그러나, 본 발명자의 지식에 따르면, 그러한 데이터로부터의, 인터랙티브하고, 완전한 6DoF 재생을 위한 방법은 아직까지 제시되지 않았다. 레코딩 내의 음원의 거리에 관한 정보를 통합함으로써 6DoF 재생을 실현한다. 이러한 거리 정보는 DirAC의 파라메트릭 표상 내로 통합되고, 그에 따라 청취자의 변화된 원근(perspective)이 정확하게 맵핑된다. 청취 테스트로 평가하기 위해서, 은폐된 기준 및 앵커(anchor)(MUSHRA) 패러다임[17]을 이용한 다중 자극이 VR에 맞춰진다. CGI 및 합성적으로 생성된 사운드를 이용함으로써, 비교를 위한 객체-기반의 기준을 생성할 수 있다. 가상 FOA 레코딩이 사용자의 추적된 위치에서 발생되어, 6DoF-조정된 신호를 렌더링한다. 제안된 방법에 더하여, 거리 정보 및 병진운동이 없는 재생이 청취 테스트에서의 조건으로서 제시되었다.

앰비소닉 음장 표상(일반적인 FOA 또는 HOA 앰비소닉과 같거나 또는 DirAC-스타일 파라메트릭 음장 표상과 같은 것임)은, 6DoF 적용예에서 요구되는 바와 같은 청취자 위치의 병진 운동적 이동을 가능하게 하는 충분한 정보를 제공하지 못하는데, 이는, 음향 장면 내의 객체 거리 및 절대 객체 위치 모두가 이러한 포맷으로 결정되지 않기 때문이다. 청취자 위치의 이동이 반대 방향을 따른 음향 장면의 동등한 이동으로 변환될 수 있다는 것을 주목하여야 한다.

6DoF에서 이동될 때의 전형적인 문제가 도 1b에 도시되어 있다. 음향 장면이 앰비소닉을 이용하여 지점 A에서 묘사되는 것으로 가정한다. 이러한 경우에, 음원 A 및 음원 B로부터의 사운드가 동일 방향으로부터 도달하고, 즉 이들은 동일한 도달-방향(direction-of-arrival, DOA)을 갖는다. 위치 B로 이동하는 경우에, 음원 A 및 음원 B의 DOA가 상이하다. 음장의 표준 앰비소닉 묘사, 즉 부가적인 정보가 없는 묘사를 이용할 때, 주어진 위치 A에서의 앰비소닉 신호로, 위치 B에서의 앰비소닉 신호를 연산할 수 없다.

본 발명의 목적은 한편으로는 증강된 음장 묘사를 그리고 다른 한편으로는 수정된 음장 묘사의 생성을 제공하는 것이고, 이는 개선된 또는 유연하거나 효과적인 프로세싱을 가능하게 한다.

이러한 목적은 제1항의 증강된 음장 묘사 생성 장치, 제10항의 수정된 음장 묘사 생성 장치, 제27항의 증강된 음장 묘사 생성 방법, 제28항의 수정된 음장 묘사 생성 방법, 제29항의 컴퓨터 프로그램 또는 제30항의 증강된 음장 묘사에 의해서 달성된다.

본 발명은, 해당 음장 묘사가 프로세스될 수 있도록, 그에 따라 원래의 기준 위치와 관련되지 않고 다른 기준 위치와 관련된 수정된 음장 묘사가 계산될 수 있도록, 기준 위치와 관련되는 전형적인 음장 묘사가 부가적인 정보를 필요로 한다는 발견을 기초로 한다. 이를 위해서, 이러한 음장의 공간적 정보와 관련된 메타데이터가 생성되고, 그러한 메타데이터는, 음장 묘사와 함께, 예를 들어 전달 또는 저장될 수 있는 증강된 음장 묘사에 상응한다. 음장 묘사 및 메타데이터 그리고, 구체적으로, 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위해서, 수정된 음장이 이러한 공간적 정보, 음장 묘사, 및 기준 위치로부터 다른 기준 위치까지의 병진 운동을 나타내는 병진 운동 정보를 이용하여 계산된다. 따라서, 음장 묘사 및 음장 묘사의 기초가 되는 이러한 음장의 공간적 정보와 관련되는 메타데이터로 이루어진 증강된 음장 묘사를 프로세스하여, 예를 들어 디코더-측에 제공되거나 디코더-측에서 이용될 수 있는 부가적인 병진 운동 정보에 의해서 규정되는 상이한 기준 위치와 관련되는 수정된 음장 묘사를 획득한다.

그러나, 본 발명은 인코더/디코더 시나리오와 관련될 뿐만 아니라, 증강된 음장 묘사의 생성 및 수정된 음장 묘사의 생성 모두가 기본적으로 하나의 그리고 동일한 위치에서 실시되는 적용예에서도 적용될 수 있다. 수정된 음장 묘사는, 예를 들어, 수정된 음장 자체 또는 실제로 채널 신호, 바이노럴 신호 내의 수정된 음장에 관한 묘사일 수 있거나, 다시 한번, 기준 위치-관련 신호 필드이나 이제는 원래의 기준 위치가 아니라 새로운 또는 다른 기준 위치와 관련된 기준 위치-관련 신호일 수 있다. 그러한 적용예는, 예를 들어, 음장 묘사가 메타데이터와 함께 존재하고 청취자가 음장이 주어지는 기준 위치로부터 이동하고 상이한 기준 위치로 이동하며, 이어서, 가상 지역 내의 주위에서 이동하는 청취자를 위한 음장이, 음장에 상응하게 그러나 이제 사용자가 이동한 상이한 기준 위치에서, 계산되는 가상 현실 시나리오일 수 있다.

바람직한 일 실시예에서, 음장 생성기는 상이한 시간-주파수 빈들에 대해 하나 이상의 다운믹스 신호와 개별적인 방향 데이터와 그리고 선택적으로 확산 데이터를 가지는 음장의 DirAC 묘사를 생성한다. 이러한 맥락에서, 메타데이터 생성기는 상이한 시간-주파수 빈들에 대한 부가적인 각각의 거리 또는 깊이 정보를 메타데이터로서 생성하도록 구성된다. 특히, 바람직한 일 실시예에서, 공간 정보와 관련된 메타데이터는, 특정 거리를 도달 방향 정보와 같은 특정 위치 정보에 연관시키는 깊이 맵일 수 있다.

실시예들에서, 도달 방향은 앙각만으로, 또는 방위각만으로, 또는 이들 두 각도에 의해서 주어지고, 그 다음으로 깊이 맵은, 각각의 위치 정보 또는 도달 방향 정보(DoA 정보)에 대해서, 미터 단위 등의 거리 또는 상대적인 거리 또는 양자화된 절대적 또는 상대적 거리 또는 임의의 다른 거리 정보와 같은, 특정 거리 정보를 연관시킬 수 있고, 이로부터, 최종적으로, 음장과 관련되는 기준 위치에 대한 거리가 유도될 수 있다.

이어서, 다른 구현예가 설명된다.

앰비소닉은 가상, 증강, 및 혼합 현실 적용예의 맥락에서 3D 오디오를 위해서 가장 일반적으로 사용되는 포맷 중 하나가 되었다. 앰비소닉 포맷의 출력 신호를 생성하는, 매우 다양한 오디오 획득 및 생산 도구가 개발되었다. 인터랙티브 가상 현실(VR) 적용례에서 앰비소닉 코딩된 콘텐츠를 제공하기 위해서, 앰비소닉 포맷이 재생을 위한 바이노럴 신호 또는 채널로 변환된다. 전술한 적용예에서, 청취자는 일반적으로, 3 자유도(3DoF, 즉 피치, 요, 및 롤) 그리고 여전히 적절한 사운드 품질을 경험할 수 있게 하면서 그들이 머리를 음향 장면 내에서 회전할 수 있는 범위까지, 그들의 배향을 제공된 장면 내에서 인터랙티브 방식으로 변화시킬 수 있다. 이는 머리 배향에 따른 렌더링 음향 장면을 회전시키는 것에 의해서 구현되고, 이는 덜 복잡한 연산으로 구현될 수 있고 앰비소닉 표상의 장점이다. 그러나, VR과 같은 새로운 적용예에서, 사용자가, 단순한 배향의 변화보다, 음향 장면 내에서 자유롭게 이동할 수 있게 하는 것이 요구된다(소위, '6 자유도' 또는 6DoF). 결과적으로, 음향 장면의 원근을 변화시키기 위한(즉, x-, y-, 또는 z-축을 따라 음향 장면 내에서 가상으로 이동시키기 위한) 신호 프로세싱이 요구된다. 그러나, 앰비소닉의 주요 단점은, 절차가 음향 장면 내의 단일 원근으로부터 음장을 묘사한다는 것이다. 구체적으로, 이는, 6DoF를 위해서 요구되는 바와 같이 음향 장면으로의 이동('병진 운동')을 허용할 수 있는 음향 장면 내의 음원의 실제 위치에 관한 정보를 포함하지 않는다. 본 발명의 설명은, 이러한 문제를 극복하고 또한 병진 운동을 돕고 그에 따라 진정한 6DoF를 가능하게 하기 위한 앰비소닉에 대한 몇몇 확장을 제공한다.

1차 앰비소닉(FOA) 레코딩이 프로세스될 수 있고 헤드폰에서 재생될 수 있다. 이들은 청취자의 머리 배향을 고려하여 회전될 수 있다. 그러나, 가상 현실(VR) 시스템은, 청취자가 6 자유도(6DoF) 즉, 3개의 회전 자유도 더하기 3개의 병진 운동 자유도로 이동할 수 있게 한다. 여기에서, 음원들의 체감 각도(apparent angle) 및 거리는 청취자의 위치에 따라 달라진다. 6DoF를 돕기 위한 기술이 설명된다. 특히, 청취자의 위치와 음원까지의 거리에 관한 정보를 기초로 수정되는, 파라메트릭 모델을 이용하는 FOA 레코딩이 설명된다. 그러한 방법은, 청취자가 자유롭게 이동할 수 있는 합성 음향 장면의 상이한 바이노럴 렌더링을 비교하는, 청취 테스트에 의해서 평가된다.

추가적인 바람직한 실시예에서, 증강된 음장 묘사가 전달 또는 저장을 위한 출력 신호를 생성하기 위한 출력 인터페이스에 의해서 출력되고, 출력 신호는, 시간 프레임을 위해서, 음장으로부터 얻어진 하나 이상의 오디오 신호 및 시간 프레임을 위한 공간적 정보를 포함한다. 특히, 추가적인 실시예에서, 음장 생성기는 음장으로부터 방향 데이터를 유도하도록 구성되고, 방향 데이터는 주파수 빈 또는 기간 동안의 사운드의 도달 방향을 나타내고, 메타데이터 생성기는 거리 정보를 방향 데이터에 연관시키는 데이터 항목으로서 공간적 정보를 유도하도록 구성된다.

특히, 그러한 실시예에서, 시간 프레임을 위한 데이터 항목이 상이한 주파수 빈들에 대한 방향 데이터에 연계되도록, 출력 인터페이스가 출력 신호를 생성하도록 구성된다.

추가적인 일 실시예에서, 음장 생성기는 또한 음장의 시간 프레임의 복수의 주파수 빈에 대한 확산 정보를 생성하도록 구성되고, 메타데이터 생성기는 확산 값이 미리 결정된 또는 적응형의 문턱값보다 낮을 때에는 미리 결정된 값과 상이한 또는 무한대가 아닌 주파수 빈에 대한 거리 정보만은 생성하도록 또는 어쨌거나 주파수 빈에 대한 거리 값은 생성하도록 구성된다. 따라서, 큰 확산을 가지는 시간/주파수 빈에 대해서는, 어떠한 거리 값도 전혀 생성되지 않거나, 또는 디코더에 의해서 특정 방식으로 해석되는 미리 결정된 거리 값이 생성된다. 따라서, 큰 확산을 가지는 시간/주파수 빈에 대해서는 임의의 거리-관련 렌더링이 실시되지 않는 것이 확실한데, 왜냐하면 큰 확산이라 함은, 그러한 시간/주파수 빈에서는 사운드가 특정 국소적 음원으로부터 나오지 않고 임의의 방향으로부터 나오고 그에 따라 음장이 원래의 기준 위치에서 또는 상이하거나 새로운 기준 위치에서 인지되는지의 여부와 관계없이 동일하다는 것을 나타내기 때문이다.

음장 계산기와 관련하여, 바람직한 실시예는 의도된 청취자의 회전을 나타내는 병진 운동 정보 또는 회전 정보를 수정된 음장에 제공하기 위한 병진 운동 인터페이스, 메타데이터를 음장 계산기에 공급하기 위한 메타데이터 공급기 및 음장 묘사를 음장 계산기에 공급하기 위한 음장 공급기 그리고, 부가적으로, 수정된 음장 묘사 및 수정된 메타데이터를 포함하는 수정된 음장을 출력하기 위한 출력 인터페이스를 포함하고, 수정된 메타데이터는 병진 운동 정보를 이용하여 메타데이터로부터 유도되거나, 출력 인터페이스가 복수의 라우드스피커 채널을 출력하며, 각각의 라우드스피커 채널은 미리 규정된 라우드스피커 위치에 관련되거나, 출력 인터페이스가 수정된 음장의 바이노럴 표상을 출력한다.

일 실시예에서, 음장 묘사는 복수의 음장 성분을 포함한다. 복수의 음장 성분은 전방향 성분 및 적어도 하나의 방향 성분을 포함한다. 이러한 음장 묘사는, 예를 들어, 전방향 성분 및 3개의 방향 성분(X, Y, Z)을 가지는 1차 앰비소닉 음장 묘사이거나, 그러한 음장이, 전방향 성분, X, Y, 및 Z와 관련된 3개의 방향 성분, 그리고, 부가적으로, X, Y, Z 방향 이외의 다른 방향과 관련된 추가적인 방향 성분을 포함하는 더 높은 차수의 앰비소닉 묘사이다.

일 실시예에서, 본 발명의 장치는, 상이한 시간 또는 주파수 빈에 대해서, 도달 정보의 방향을 유도하기 위해서 음장 성분을 분석하기 위한 분석기를 포함한다. 본 발명의 장치는 부가적으로, DoA 정보 및 메타데이터를 이용하여 주파수 또는 시간 빈마다 수정된 DoA 정보를 계산하기 위한 병진운동 트랜스포머를 가지며, 여기서 메타데이터는, 시간 또는 주파수 빈에 대해서, 거리를 DoA 정보에 연관시키는 깊이 맵에 관련된다.

또한, 음장 계산기는, 주파수 또는 시간 빈에 대한 깊이 맵으로부터 제공된 거리에 따라, 그리고 시간 또는 주파수 빈과 연관되며 수정된 DoA 정보와 관련된 새로운 거리에 따라 달라지는 거리 보상 정보를 이용하여, 수정된 음장을 계산하기 위한 거리 보상기를 갖는다.

일 실시예에서, 음장 계산기는 음장의 분석에 의해서 얻어진 기준 위치로부터 음원으로 향하는 제1 벡터를 계산한다. 또한, 음장 계산기는 상이한 기준 위치로부터 음원으로 향하는 제2 벡터를 계산하고, 이러한 계산은 제1 벡터 및 병진 운동 정보를 이용하여 이루어지고, 병진 운동 정보는 기준 위치로부터 상이한 기준 위치로의 병진 운동 벡터를 규정한다. 그리고, 이어서, 상이한 기준 위치로부터 음원까지의 거리는 제2 벡터를 이용하여 계산된다.

또한, 음장 계산기는, 병진 운동 정보에 더하여, 피치, 요 및 롤에 의해서 주어지는 3개의 회전 방향 중 하나를 따른 청취자의 머리의 회전을 나타내는 회전 정보를 수신하도록 구성된다. 이어서, 음장 계산기는 회전 정보를 이용하여 음장에 대한 수정된 도달 방향 데이터를 회전시키기 위해서 회전 변환을 실시하도록 구성되고, 수정된 도달 방향 데이터는 음장 묘사의 사운드 분석에 의해서 얻어진 도달 방향 데이터 및 병진 운동 정보로부터 유도된다.

일 실시예에서, 음장 계산기는, 음장 묘사 및 사운드 분석에 의한 기준 위치와 관련된 음원 신호의 방향으로부터 음원 신호를 결정하도록 구성된다.

이어서, 상이한 기준 위치와 관련된 음원의 새로운 방향이 계산되고, 이는 메타데이터를 이용하여 이루어지고, 이어서 상이한 기준 위치와 관련된 음원의 거리 정보가 계산되고, 이어서, 거리 정보 및 음원의 새로운 방향을 이용하여, 수정된 음장이 합성된다.

실시예에서, 음장 합성은, 재생 설정과 관련하여 새로운 방향 정보에 의해서 주어진 방향에 대해서 음원 신호를 패닝(panning)하는 것에 의해서 실시되고, 음원 신호의 스케일링(scaling)은, 패닝 동작을 실시하기 이전에 또는 패닝 동작의 실시 후에, 거리 정보를 이용하여 이루어진다.

추가적인 실시예에서, 음원 신호의 확산 부분이 음원 신호의 다이렉트 부분(direct part)에 부가되고, 다이렉트 부분은, 확산 부분에 부가되기 전에, 거리 정보에 의해서 수정된다.

특히, 음원 합성을 공간적 표상 내에서 실시하는 것이 바람직하고, 여기에서 새로운 방향 정보가 각각의 주파수 빈에 대해서 계산되고, 거리 정보가 각각의 주파수 빈에 대해서 계산되며, 해당 주파수 빈에 대한 오디오 신호를 이용하는 각각의 주파수 빈에 대한 다이렉트 합성이 해당 주파수 빈에 대한 오디오 신호와, 새로운 방향 정보로부터 유도된 해당 주파수 빈에 대한 패닝 이득과, 그리고 해당 주파수 빈에 대한 거리 정보로부터 유도된 주파수 빈에 대한 스케일링 인자를 이용하여 실시된다.

또한, 확산 합성이 해당 주파수 빈으로부터의 오디오 신호로부터 유도된 확산 오디오 신호를 이용하여 그리고 해당 주파수 빈에 대한 신호 분석에 의해서 유도된 확산 매개변수를 이용하여 실시되고, 이어서, 다이렉트 신호와 확산 신호를 조합하여 시간 또는 주파수 빈에 대한 합성된 오디오 신호를 획득하고, 이어서, 다른 시간/주파수 빈에 대한 오디오 신호를 이용하여 주파수-시간 변환을 실시하여 시간 도메인 합성된 오디오 신호를 수정된 음장으로서 획득한다.

그에 따라, 일반적으로, 음장 계산기는, 예를 들어, 음원 신호에 대한 새로운 방향을 이용하여, 각각의 음원에 대해서, 음원 신호를 프로세스하여 상이한/새로운 기준 위치와 관련된 음원 신호의 음장 묘사를 획득하는 것에 의해서, 각각의 음원에 대해서, 상이한 기준 위치와 관련된 음장을 합성하도록 구성된다. 또한, 음원 신호는, 음원 신호를 프로세싱하기 전에 또는 방향 정보를 이용하여 음원 신호를 프로세싱하는 것에 후속하여, 수정된다. 그리고, 마지막으로, 음원에 대한 음장 묘사가 함께 부가되어, 상이한 기준 위치와 관련된 수정된 음장을 획득한다.

추가적인 실시예에서, 음장 계산기는, DirAC 분석 또는 임의의 다른 음원 분석에 대한 대안으로서, 음원 분리 알고리즘을 실시한다. 음원 분리 알고리즘은, 최종적으로, 예를 들어 시간 도메인 또는 주파수 도메인 내에서 음원 신호를 초래한다. 이어서, 확산 신호는 원래의 음장으로부터 음원 신호를 차감하는 것에 의해서 계산되고, 그에 따라 원래의 음장은 확산 신호 및 몇 개의 음원 신호로 분해되고, 각각의 음원 신호는 특정 방향과 연관된다.

본원에서 제시된 방법은, 단일 FOA 마이크로폰의 레코딩으로부터의 6DoF 재생을 가능하게 한다. 단일 공간적 위치로부터의 레코딩은 3DoF 재생 또는 어쿠스틱 줌을 위해서 이용되었다. 그러나, 본 발명자의 지식에 따르면, 그러한 데이터로부터의, 인터랙티브, 완전 6DoF 재생을 위한 방법은 아직까지 제시되지 않았다. 레코딩 내의 음원의 거리에 관한 정보를 통합함으로써 6DoF 재생을 실현한다. 이러한 거리 정보는 DirAC의 파라메트릭 표상 내로 통합되고, 그에 따라 청취자의 변화된 원근(perspective)이 정확하게 맵핑된다. 청취 테스트로 평가하기 위해서, 은폐된 기준 및 앵커(anchor)(MUSHRA) 패러다임[17]을 이용한 다중 자극이 VR에 맞춰진다. CGI 및 합성적으로 생성된 사운드를 이용함으로써, 비교를 위한 객체-기반의 기준을 생성할 수 있다. 가상 FOA 레코딩이 사용자의 추적된 위치에서 발생되어, 6DoF-조정된 신호를 렌더링한다. 제안된 방법에 더하여, 거리 정보 및 병진운동이 없는 재생이 청취 테스트에서의 조건으로서 제시되었다.

이하에서, 첨부 도면과 관련하여 본 발명의 바람직한 실시예를 설명할 것이다.
도 1a는 증강된 음장 묘사를 생성하기 위한 장치의 바람직한 실시예이다.
도 1b는 본 발명의 기초가 되는 예시적인 문제를 설명하는 도면이다.
도 2는 증강된 음장 묘사를 생성하기 위한 장치의 바람직한 구현예이다.
도 3a는 오디오 데이터 및 오디오 데이터를 위한 부수적 정보를 포함하는 증강된 음장 묘사를 도시한다.
도 3b는 오디오 데이터 및 깊이 맵과 같은 공간적 정보와 관련된 메타데이터를 포함하는 증강된 음장 묘사의 추가적인 도면을 도시한다.
도 3c는 메타데이터를 음장 묘사에 연관시키기 위한 다른 포맷을 도시한다.
도 3d는 메타데이터를 음장 묘사에 연관시키기 위한 추가적인 포맷을 도시한다.
도 4a는 수정된 음장 묘사를 생성하기 위한 장치의 구현예를 도시한다.
도 4b는 수정된 음장 묘사를 생성하기 위한 장치의 추가적인 구현예를 도시한다.
도 4c는 수정된 음장 묘사를 생성하기 위한 장치의 추가적인 실시예를 도시한다.
도 4d는 모노-신호와 같은 오디오 신호 및 도달 방향 데이터로부터 음장 묘사를 생성하기 위한 예시적인 장치를 도시한다.
도 5는 공간적 오디오의 6DoF 재생을 나타낸다.
도 6은 증강된 음장 묘사를 생성하기 위한 장치 및 층마다 수정된 음장 묘사를 생성하기 위한 장치를 포함하는 6 개의 DoF 재생의 바람직한 실시예를 도시한다.
도 7은 가상 현실 장면 표상을 도시한다.
도 8은 가상 현실에서의 MUSHRA 패널을 도시한다.
도 9는 박스 플롯으로서 MUSHRA 레이팅을 도시한다.
도 10은 기준 렌더링 및 DirAC을 위한 신호 경로를 도시한다.
도 11a는 수정된 음장 묘사를 생성하기 위한 장치의 바람직한 구현예를 도시한다.
도 11b는 새로운/상이한 기준 위치와 관련하여 음원의 새로운 DoA 및 새로운 거리를 계산하기 위한 바람직한 구현예를 도시한다.
도 12는 수정된 음장 묘사를 생성하기 위한 장치의 추가적인 바람직한 구현예를 도시한다.
도 13a는 종래 기술의 DirAC 분석 구현예를 도시한다.
도 13b는 종래 기술의 DirAC 합성 구현예를 도시한다.

언급한 앰비소닉/DirAC 표상을 위해서 6DoF를 적용할 수 있게 하기 위해서, 병진 운동 프로세싱(translational processing)을 위한 손실 정보(missing information)를 제공하는 방식으로 이러한 표상(representations)을 확장시킬 필요가 있다. 이러한 확장이 예를 들어 1) 객체의 거리 또는 위치를 기존 장면 표상에 부가할 수 있다는 것, 및/또는 2) 개별적인 객체들을 분리하는 프로세스를 도울 수 있는 정보를 부가하는 것일 수 있다는 것을 주목하여야 한다.

또한, 실시예의 목적은, 이하의 의미에서, 이러한 표상/시스템과의 역방향 양립성을 제공하기 위해서 기존 (비-파라메트릭 또는 파라메트릭) 앰비소닉 시스템의 구조를 보존/재사용하는 것이며,

* 확장된 표상이 (예를 들어, 렌더링을 위한) 기존 비-확장 표상으로 변환될 수 있고, 그리고

* 확장된 표상으로 작업할 때 기존 소프트웨어 및 하드웨어 구현예의 재사용을 가능하게 한다.

이하에서, 몇몇 접근 방식, 즉 하나의 제한된 (그러나 매우 단순한) 접근방식 및 6DoF를 가능하게 하기 위한 3개의 상이한 확장된 앰비소닉 포맷이 설명된다.

배경기술 부분에서 설명된 바와 같이, 통상적인 DirAC은, 각각의 TF(시간 주파수) 빈에 대한 방향 및 확산을 특징화하는 파라매트릭 부수 정보를 수반한다. 기존 DirAC 포맷의 확장은, 각각의 또는 몇개의 TF 빈에 대한 깊이 정보를 제공하나 전체 TF 빈에 대한 깊이 정보는 제공하지 않는다. 방향 정보와 유사하게, 깊이 정보의 관련성은 실제 확산에 따라 달라진다. 큰 확산은, 방향 및 깊이 모두가 관련되지 않는다는 것을 의미한다(그리고 사실상 매우 큰 확산 값에서 생략될 수 있다).

깊이-확장된 DirAC은 TF 빈마다 하나의 객체에 대한 방향 및 깊이 정보만을 반송할 수 있기 때문에 완전한 6DoF 해결책을 제공하지 못하는 점을 주목하여야 한다.

깊이 정보가 오디오 신호로부터 또는 비디오 신호(예를 들어, 입체(3D) 촬영/비디오 또는 라이트필드 기술에서 일반적으로 이용되는 깊이-맵)로부터 추정될 수 있거나, 수동적으로 또는 특히 음장이 국소화된 음원으로 사운드 합성에 의해서 생성될 때 자동적으로 부가될 수 있다는 것을 주목하여야 한다.

도 1a는 적어도 하나의 기준 위치와 관련된 음장을 나타내는 적어도 하나의 음장 묘사를 생성하기 위한 음장 (묘사) 생성기(100)를 포함하는 증강된 음장 묘사를 생성하기 위한 장치를 도시한다. 또한, 장치는 음장의 공간 정보와 관련된 메타데이터를 생성하기 위한 메타데이터 생성기(110)를 포함한다. 메타데이터는, 입력으로서, 음장을, 또는 대안적으로 또는 부가적으로, 음원에 관한 분리된 정보를 수신한다.

음장 묘사 생성기(100)와 메타데이터 생성기(110)의 출력 모두가 증강된 음장 묘사를 구성한다. 실시예에서, 음장 묘사 생성기(100) 및 메타데이터 생성기(110)의 출력 모두를 조합기(120) 또는 출력 인터페이스(120) 내에서 조합하여, 메타데이터 생성기(110)에 의해서 생성되는 것과 같은 음장의 공간 정보 또는 공간 메타데이터를 포함하는 증강된 음장 묘사를 획득한다.

도 1b는 본 발명에 의해서 해결되는 상황을 도시한다. 예를 들어, 위치 A는 적어도 하나의 기준 위치이고, 음장은 음원 A 및 음원 B에 의해서 생성되고, 위치 A에 위치되는 특정의 실제의 또는, 예를 들어, 가상의 마이크로폰이 음원 A 및 음원 B로부터 사운드를 검출한다. 사운드는 사운드 방출 음원들로부터 오는 사운드의 중첩이다. 이는, 음장 묘사 생성기에 의해서 생성된 바와 같은 음장 묘사를 나타낸다.

또한, 메타데이터 생성기는, 특정 구현예에 의해서, 음원 A에 대한 공간적 정보 및 음원 B에 대한 다른 공간적 정보, 예를 들어 이러한 음원으로부터 위치 A와 같은 기준 위치까지의 거리를 유도할 수 있다.

당연하게, 기준 위치는 대안적으로 위치 B일 수 있다. 이어서, 실제 또는 가상 마이크로폰이 위치 B에 배치될 수 있고, 음장 묘사는, 예를 들어, 1차 앰비소닉 성분 또는 더 높은 차수의 앰비소닉 성분 또는 적어도 하나의 기준 위치, 즉 위치 B와 관련된 음장을 묘사하는 포텐셜을 갖는 임의의 다른 사운드 성분에 의해서 표시된 음장일 수 있다.

이어서, 메타데이터 생성기는, 음원에 관한 정보로서, 위치 B에 대한 음원 A의 거리 또는 위치 B에 대한 음원 B의 거리를 생성할 수 있다. 물론, 음원에 관한 대안적인 정보가 절대적 위치 또는 기준 위치에 대한 상대적 위치일 수 있다. 기준 위치는 일반적인 좌표계의 원점일 수 있거나, 일반적인 좌표계의 원점에 대한 규정된 관계로 위치될 수 있다.

다른 메타데이터는 하나의 음원의 절대 위치 및 제1 음원에 대한 다른 음원의 상대적인 위치 등일 수 있다.

도 2는 음장 묘사 생성기의 바람직한 구현예를 도시한다. 음장 묘사 생성기는, 예를 들어, 입력 음장으로부터, 도 2에 전방향 성분(w)으로 도시된 1차 앰비소닉 표상 및 3개의 방향 성분(x, y, z)과 같은 음장 성분을 생성하는 실제 또는 가상 마이크로폰(200)으로 구성된다.

이러한 음장 묘사를 기초로, 부가적으로 다운믹서를 포함할 수 있는 음장 분석기(210)는, 예를 들어 시간 프레임 또는 주파수 빈마다 또는, 일반적으로 시간/주파수 빈마다 도달 DoA 매개변수의 방향 및, 부가적으로, 동일한 수의 또는 더 적은 수의 시간/주파수 빈에 대한 확산 정보와 같은 모노 또는 스테레오 다운믹스 및 부가적인 매개변수로 이루어진 파라매트릭 음장 묘사를 생성할 것이다.

또한, 메타데이터 생성기(110)는, 예를 들어, 각각의 도달 방향 또는 DoA 정보에 대해서, 절대적 또는 상대적 항의 특정 거리를 연관시키는 깊이 맵을 생성하는 깊이 맵 생성기로서 구현될 수 있다. 또한, 메타데이터 생성기(110)는, 바람직한 실시예에서, 시간/주파수 빈에 대한 확산 매개변수에 의해서 또한 제어된다. 이러한 구현예에서, 메타데이터 생성기(110)는, 특정의 미리 결정된 또는 적응 문턱값보다 큰 확산 값을 가지는 시간 및/또는 주파수 빈에 대한 어떠한 거리 정보도 생성하지 않도록 구현될 수 있다. 이는, 특정 시간 또는 주파수 빈이 큰 확산을 나타낼 때, 이러한 시간 또는 주파수 빈에서, 어떠한 국소적인 음원도 존재하지 않고 모든 방향으로부터 오는 확산 사운드만이 존재한다는 결론을 안출할 수 있다는 사실에 기인한다. 따라서, 그러한 주파수 빈의 시간에서, 메타데이터 생성기는, 깊이 맵 내에서, 도 2에서 "N.A"로 표시되는 바와 같은 값을 결코 생성하지 않거나, 대안적으로, 메타데이터 생성기는, 시간/주파수 빈에 대한 비-국소화 음원을 나타내는 그러한 값과 같이 디코더에 의해서 알 수 있는 큰, 무한한 또는 임의의 다른 값에 대한 코드와 같은 미리 결정된 값을 가지는 거리 값을 도입할 수 있다.

기준 위치와 관련된 공간적 매개변수와 함께 모노/스테레오 다운 믹스 표상에 상응하는 깊이 맵 및 음장 분석기(210)에 의해서 생성된 음장 묘사가 조합기(120) 내에서 조합되어 증강된 음장 묘사를 생성한다.

도 3a는 증강된 음장 묘사를 포함하는 비트스트림 또는 일반적인 데이터 스트림의 예를 도시한다. 데이터 스트림은 참조 번호 302, 304, 306으로 표시된 바와 같은 시간 프레임(i), 시간 프레임(i + 1) 등과, 블록(310, 312)으로 도시된 바와 같은 대응하는 시간 프레임에 대한 관련된 부수 정보를 포함할 수 있다. 실시예에서, 부수 정보는 314로 표시된 바와 같은 시간/주파수 빈마다의 도달 방향 정보, 그리고, 선택적으로, 항목(316)으로 도시된 바와 같은 시간/주파수 빈마다의 확산 값 그리고, 부가적으로, 프레임(i)에 대한, 깊이 맵(320)을 포함할 수 있다. 예시적인 깊이 맵이 또한 항목(322 및 324)에 의해서 표시되어 도 3a에 도시되어 있다. 항목(322)은, 예를 들어, 방위 방향으로 예시적인 10°의 증분으로, 0° 내지 350°로 연장되는 상이한 DoA 정보를 도시한다. 부가적으로, 항목(324)은 특정 DoA 값과 연관된 대응하는 거리 값을 도시한다. 그러한 깊이 맵이 각각의 고도 증가에 대해서 생성될 수 있고, 그에 따라, 최종적으로, 깊이 맵은 방위각 및 앙각의 각각의 조합에 대해서, 즉 각각의 DoA 정보에 대해서 특정 거리 값을 연관시킬 것이다.

당연하게, 깊이 맵을 생성하고 전달하기 위한 다른 가능한 더 효율적인 방식이 실시될 수 있고, 여기에서, 전형적으로, 특정 문턱값보다 작은 확산 값을 가지는 특정 시간 프레임 내의 주파수 빈에 대해서 발생되는 각각의 DoA 값을 위해서, 거리가 존재할 것이다.

도 3b는, 도 2의 음장 분석기(210)가 실제로 다운믹스를 생성하지 않으나, 특정 기간 동안 B-포맷 및 A-포맷으로 또는 더 높은 차수의 표상과 같은 임의의 다른 것으로 전체 표상을 생성하는 다른 구현예를 도시한다. 이어서, 깊이 맵(320a) 및 다른 깊이 맵(320b)이 도 3b의 326에서 표시된 오디오 신호 표상과 연관될 것이다. 예를 들어, B-포맷 또는 더 높은 차수의 표상이 연관되는 기간이 몇 개의 개별적인 기간을 포함할 때, 그리고 음원의 위치 변화가 이러한 기간 내에 발생될 때, 제1 기간(i)에 대한 깊이 맵(320a) 및 항목(320b)에 의해서 표시된 기간(i + 1)에 대한 다른 깊이 맵이 오디오 신호 표상(326)에 연관될 것이다. 설명된 바와 같이, 도 3b의 오디오 신호 표상은 도 3a의 표상과 상이한데, 이는 도 3a가 단지 다운믹스 또는 w 성분의 표상 및, 부가적으로, 상이한 시간 프레임 내의 표상을 가지기 때문이고, 여기에서 도 3b는, 3개 이상의 방향 성분을 가지고 개별적인 시간 프레임으로 분할되지 않고, 항목(326)이 주어진, 기간에 비해서 더 작은 시간 증분에 대한 깊이 맵과 연관되는, 전체 방향 성분 표상을 갖는 다른 오디오 신호 표상을 갖는다. 비록 도 3b에서 순차적인 포맷을 갖는 것으로 도시되었지만, 병렬 포맷 또는 병렬과 직렬 사이의 혼합 또는 MP4 컨테이너 포맷과 같은 특정의 다른 포맷이 이용될 수 있다는 것을 주목하여야 한다.

도 3c 및 도 3d는 B 포맷 또는 높은-차수의 표상 형태로 음장 묘사에 메타데이터를 연관시키기 위한 다른 포맷을 도시한다. 지수 i, i+1은 시간을 나타내고, 지수 (1), (2), (Ni)는 방향을 나타낸다.

도 4a는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터, 수정된 음장 묘사를 생성하기 위한 장치의 바람직한 구현예를 도시한다. 특히, 그러한 장치는, 수정된 음장 묘사, 음장 묘사, 및 기준 위치로부터 다른 기준 위치로의 병진운동을 나타내는 병진운동 정보를 생성하는 음장 계산기(420)를 포함한다.

예를 들어, 음장이 도 1b의 위치 A에 대해서 주어질 때, 상이한 기준 위치가 위치 B일 수 있고, 병진운동 정보는, 예를 들어, 위치 A의 위치 B로의 병진운동을 나타내는 백터일 수 있다. 이어서, 음장 계산기(420)는, 위치 B에 위치된 청취자가 인지할 수 있는 것과 같은 수정된 음장을 계산할 수 있고, 이러한 계산을 위해서, 음장 계산기는 위치 A에 관련된 음장 묘사 및 병진운동 정보 그리고, 부가적으로, 음원 A 및 음원 B의 공간적 위치와 관련된 메타데이터를 갖는다.

실시예에서, 음장 계산기(420)는, 예를 들어, 도 1a 또는 도 2와 관련하여 설명한 바와 같은 증강된 음장 묘사를 수신하기 위한 입력 인터페이스(400)에 연결되고, 이어서 입력 인터페이스(400)는 한편으로 음장 묘사 즉, 도 1a의 블록(100) 또는 도 2의 블록(210)에 의해서 생성된 것을 분리한다. 또한, 입력 인터페이스(400)는 메타데이터를 증강된 음장 묘사로부터, 즉 도 3a의 항목(310, 312) 또는 도 3b의 항목(320a, 320b)으로부터 분리한다.

실시예에서, 음장 계산기(420)는, 예를 들어, 도 1a 또는 도 2와 관련하여 설명한 바와 같은 증강된 음장 묘사를 수신하기 위한 입력 인터페이스(400)에 연결되고, 이어서 입력 인터페이스(400)는 한편으로 음장 묘사 즉, 도 1a의 블록(100) 또는 도 2의 블록(210)에 의해서 생성된 것을 분리한다. 또한, 입력 인터페이스(400)는 메타데이터를 증강된 음장 묘사로부터, 즉 도 3a의 항목(350) 또는 도 3b의 선택적인 항목(351 및 352 내지 354)으로부터 분리한다.

또한, 병진 운동 인터페이스(410)는 청취자로부터 병진 운동 정보 및/또는 부가적인 또는 분리된 회전 정보를 획득한다. 병진 운동 인터페이스(410)의 구현예가, 가상 현실 환경에서 머리의 회전뿐만 아니라, 하나의 위치 즉, 도 1b의 위치 A로부터 다른 위치 즉, 도 1b의 위치 B로의 머리의 병진 운동을 추적하는 머리-추적 유닛일 수 있다.

도 4b는 도 1a와 유사한, 그러나 인코더/디코더 시나리오와 관련되지 않고, 메타데이터 공급기(402)에 의해서 표시된 메타데이터 공급, 음장 공급기(404)에 의해서 표시된 음장 공급이, 인코딩된 또는 증강된 음장 묘사를 분리하는 특정 입력 인터페이스가 없이 이루어지나, 예를 들어, 모두가, 예를 들어, 가상 현실 적용예에서 존재하는 실제 시나리오에서 이루어지는 일반적인 시나리오와 관련되는 다른 구현예를 도시한다. 그러나, 본 발명은 가상 현실 적용예로 제한되지 않고, 임의의 다른 적용예에서 또한 구현될 수 있고, 그러한 다른 적용예에서, 기준 위치와 관련된 음장의 공간적 오디오 프로세싱은, 제1 기준 위치와 관련된 음장을 다른 제2 기준 위치와 관련된 다른 음장으로 변환하는데 있어서 유용하다.

이어서, 음장 계산기(420)는 수정된 음장 묘사를 생성하거나, 대안적으로, (가상) 라우드스피커 표상을 생성하거나 헤드폰 재생을 위한 2-채널 표상과 같은 바이노럴 표상을 생성한다. 따라서, 음장 계산기(420)는, 수정된 음장으로서, 수정된 음장 묘사를 생성할 수 있고, 이는 기본적으로 원래의 음장 묘사와 동일하나, 이제는 새로운 기준 위치와 관련된다. 대안적인 실시예에서, 가상의 또는 실제의 라우드스피커 표상은 5.1 체계와 같은 미리 결정된 라우드스피커 설정 또는 더 많은 라우드스피커를 갖는 그리고, 특히, 2차원적 배열만이 아니라 3차원적인 라우드스피커의 배열, 즉 사용자 위치와 관련하여 상승된 라우드스피커를 가지는 라우드스피커 배열을 가지는 라우드스피커 설정을 위해서 생성될 수 있다. 가상 현실 적용예를 위해서 특히 유용한 다른 적용예는 바이노럴 재생을 위한 즉, 가상 현실 사용자의 머리에 적용될 수 있는 헤드폰을 위한 적용예이다.

도 4c는 DirAC 분석/합성의 맥락으로 본 발명의 바람직한 구현예를 도시한다. 이를 위해서, 실제 마이크로폰으로 실제로 픽업된 또는 가상 마이크로폰에 의해서 원래 생성된 또는 이전에 합성되고 이제 가상 현실 적용례에서 또는 임의의 다른 적용례에서 사용되는 음장 묘사가 시간-대-주파수 변환기(421) 내로 입력된다.

이어서, DirAC 분석기(422)는, 각각의 시간/주파수 빈에 대해서, 도달 방향 데이터 항목 및 확산 데이터 항목을 생성하도록 구성된다.

깊이 맵에 의해서 주어진 것과 같은 공간적 음장 정보, 예를 들어, 병진운동 변환을 실시하는 블록(423) 그리고, 선택적으로, 볼륨 스케일링 정보를 이용하여, 새로운 도달 방향 값이 계산된다. 바람직하게, 회전 변환(424)이 또한 실시되고, 물론, 한편으로 병진운동 정보 및 다른 한편으로 회전 정보와 관련된 추적 정보가 블록(423 내지 424)에서 이용되어, DirAC 합성기 블록(425) 내로의 입력으로서 새로운 도달 방향 데이터를 생성한다. 이어서, 부가적으로, 음원과 추적 정보에 의해서 표시된 새로운 기준 위치 사이의 새로운 거리에 따라 달라지는 스케일링 정보가 또한 블록(423)에서 생성되고 DirAC 합성기(425) 내에서 사용되어, 각각의 시간/주파수 빈에 대한 DirAC 합성을 최종적으로 실시한다. 이어서, 블록(426)에서, 주파수/시간 변환이, 바람직하게, 특정의 미리 결정된 가상 라우드스피커 설정과 관련하여 실시되고, 이어서, 블록(427)에서, 바이노럴 헤드폰 표상을 위한 바이노럴 렌더링이 실시된다.

추가적인 실시예에서, DirAC 합성기는 TF 도메인 내에서 바이노럴 신호를 직접 제공한다.

DirAC 분석기의 구현예에 따라 그리고, 물론, DirAC 합성기(425)의 구현예에 따라, 블록(421) 내로의 입력에서의 또는 블록(421)의 출력에서의 원래의 음장이 DirAC 합성기(425)에 전달될 수 있거나, 대안적으로, DirAC 합성기(422)에 의해서 생성된 다운믹스 신호가 DirAC 합성기로 전달된다.

예시적으로, 후술되는 도 6은, DirAC 합성기가 전방향적 또는 압력 성분과 같은 다운믹스 성분에서만 동작되는 한편, 도 13b와 관련하여 도시된 추가적인 대안적 실시예에서, DirAC 합성기는 전체 음장 데이터에서, 즉 도 13b의 이러한 실시예에서, 전방향 성분(w) 및 3개의 방향 성분(x, y, z)을 갖는 필드 묘사를 가지는 전체 성분 표상에서 동작된다.

도 4d는 DirAC 합성기와 상이한 합성을 실시하기 위한 다른 구현예를 도시한다. 예를 들어, 음장 분석기가, 각각의 음원 신호에 대해서, 분리된 모노 신호(S) 및 원래의 도달 방향을 생성할 때 그리고, 병진운동 정보에 따라서, 새로운 도달 방향이 계산될 때, 예를 들어, 도 4d의 앰비소닉 신호 생성기(430)를 이용하여, 음원 신호, 즉 모노 신호(S)에 대한 그러나 수평 각도(θ) 또는 앙각(θ) 및 방위각(φ)으로 이루어진 새로운 도달 방향(DoA) 데이터에 대한 음장 묘사를 생성할 수 있다. 이어서, 도 4b의 음장 계산기(420)에 의해서 실시되는 과정이, 예를 들어, 새로운 도달 방향을 갖는 각각의 음원에 대한 1차 앰비소닉 음장 표상을 생성할 것이고, 이어서, 음원 마다의 추가적인 수정이 새로운 기준 위치에 대한 음장의 거리에 따라 달라지는 스케일링 인자를 이용하여 실시되며, 이어서, 개별적인 음원으로부터의 모든 음장이 서로 중첩되어, 다시, 예를 들어, 특정의 새로운 기준 위치와 관련된 앰비소닉 표상에서, 수정된 음장을 최종적으로 획득할 수 있다.

DirAC 분석기(422)에 의해서 프로세스되는 각각의 시간/주파수 빈이 특정 (제한된 대역폭의) 음원을 나타내는 것으로 해석할 때, 앰비소닉 신호 생성기(430)가, DirAC 합성기(425) 대신, 각각의 시간/주파수 빈에 대해서, 다운믹스 신호 또는 압력 신호 또는 이러한 시간/주파수 빈에 대한 전방향 성분을 도 4d의 "모노 신호(S)"로서 이용하여, 전체 앰비소닉 표상을 생성할 수 있다. 이어서, W, X, Y, Z 성분의 각각에 대한 주파수-시간 변환기(426)에서의 개별적인 주파수-시간 변환이, 도 4c에 도시된 것과 상이한 음장 묘사를 초래할 것이다.

추가적인 실시예가 이하에서 설명된다. 그 목적은, 원래의 레코딩 위치에서의 신호 및 레코딩 위치로부터의 음원의 거리에 관한 정보가 주어지면, 청취자의 위치에서 가상의 바이노럴 신호를 획득하는 것이다. 물리적 음원들이 레코딩 위치를 향한 그들의 각도에 의해서 분리될 수 있는 것으로 가정한다.

그러한 장면은 마이크로폰의 시점(PoV)으로부터 레코딩되고, 그 위치는 기준 좌표계의 원점으로서 이용된다. 장면은, 6DoF에서 추적되는, 청취자의 PoV로부터 재생되어야 하고, 이에 대해서는 도 5를 참조한다. 단일 음원이 여기에서 예시를 위해서 도시되어 있고, 관계는 각각의 시간-주파수 빈에 대해서 유지된다.

도 5는 공간적 오디오의 6DoF 재생을 도시한다. 음원은 마이크로폰 위치 및 배향(검은색 라인 및 원호)에 대한 거리(d_r)에서 DoA(r_r)을 갖춘 마이크로폰에 의해서 레코딩된다. 이는 DoA(r_l) 및 거리(d_l)(쇄선)를 가지고 이동 청취자에 대해서 재생되어야 한다. 이는, 청취자 병진 운동(l) 및 회전(o)(점선)을 고려하여야 한다. DOA는 음원을 향하는 단위 길이의 벡터로서 표시된다.

좌표(

)에서의 음원이 단위 벡터(

)에 의해서 표현되는 도달 방향(DoA)으로부터 레코딩된다. 이러한 DoA는 레코딩의 분석으로부터 추정될 수 있다. 이는 거리(

)로부터 온다. 기록 위치로부터의 각각의 방향(r)을 미터의 가장 가까운 음원의 거리에 맵핑하는 깊이 맵(m(r)) 형태의 거리 정보를 획득하기 위해서, 이러한 정보가, 예를 들어 비행-시간 카메라를 이용하여, 자동적으로 추정될 수 있는 것으로 가정한다.

청취자는 6DoF로 추적된다. 주어진 시간에, 청취자는 마이크로폰에 대해서 위치(

)에 있고, 마이크로폰의 좌표계에 대해서 회전(

)을 갖는다. 표기를 단순화하기 위해서, 레코딩 위치가 좌표계의 원점으로서 선택된다.

따라서, 사운드는, 변화된 볼륨을 초래하는, 상이한 거리(d₁), 및 병진 운동 및 후속 회전 모두의 결과인 상이한 DoA(r_l)로 재생되어야 한다.

이하의 섹션에서 설명되는 바와 같이, 파라메트릭 표상을 기초로 하는 전용 변환에 의해서 청취자 원근으로부터 가상 신호를 획득하기 위한 방법이 설명된다.

제시된 방법은 파라메트릭 공간 사운드 인코딩을 위한 기본 DirAC 접근방식을 기초로 하고, 이에 대해서는 [16]를 참조한다. 분석 스펙트럼의 시간-주파수 순간마다 하나의 주요 다이렉트 음원이 있고, 이들이 독립적으로 처리될 수 있는 것으로 가정한다. 레코딩은 국소 푸리에 변환(STFT)을 이용하여 시간-주파수 표상으로 변환된다. 시간 프레임 인덱스는 n으로 표시되고 주파수 인덱스는 k로 표시된다. 이어서, 변환된 레코딩을 분석하여, 복소수 스펙트럼(P(k,n))의 각각의 시간-주파수 빈에 대한 방향(r_r(k,n)) 및 확산(ψ(k,n))을 추정한다. 합성에서, 신호가 다이렉트 및 확산 부분으로 분할된다. 여기에서, 라우드스피커 신호는, 스피커 위치에 따라 다이렉트 부분을 패닝하는 것 그리고 확산 부분을 부가하는 것에 의해서 연산된다.

6DoF에서 청취자 원근에 따라 FOA 신호를 변환하기 위한 방법이 5개의 단계로 분할될 수 있고, 이에 대해서 도 6을 참조할 수 있다.

도 6은 6DoF 재생 방법을 도시한다. B-포맷의 레코딩된 FOA 신호가 DirAC 인코더에 의해서 프로세스되고, DirAC 인코더는 복소수 스펙트럼의 각각의 시간-주파수 빈에 대한 방향 및 확산을 연산한다. 이어서, 방향 벡터가 청취자의 추적된 위치에 의해서 그리고, 각각의 층에 대한 거리 맵에서 주어진 거리 정보에 따라 변환된다. 이어서, 머리 회전에 따라 결과적인 방향 벡터가 회전된다. 마지막으로, 8+4개의 가상 라우드스피커 채널에 대한 신호가 DirAC 디코더에서 합성된다. 이들은 이어서 바이노럴화된다.

실시예에서, 입력 신호가 DirAC 인코더(422)에서 분석되고, 거리 정보는 거리 맵(m(r))으로부터 부가되고, 이어서 청취자의 추적된 병진 운동 및 회전이 신규 변환(423 및 424)에서 적용된다. DirAC 디코더(425)는 8+4개의 가상 라우드스피커를 위해서 신호들을 합성하고, 이는 다시 헤드폰 플레이백을 위해서 바이노럴화된다(427). 병진 운동 이후의 음향 장면의 회전이 독립적인 동작이기 때문에, 이러한 것이 바이노럴 렌더러 내에서 대안적으로 적용될 수 있다는 것을 주목하여야 한다. 6DoF을 위해서 변환된 매개변수만이 방향 벡터이다. 모델 정의에 의해서, 확산 부분이 등방적 및 균질한 것으로 가정되고, 그에 따라 변화되지 않고 유지된다.

DirAC 인코더에 대한 입력은 B-포맷 표상의 FOA 사운드 신호이다. 이는 4개의 채널, 즉 전방향 사운드 압력, 및 특정 가정하에서 입자 속도에 비례하는 3개의 1차 공간 구배로 구성된다. 이러한 신호가 파라메트릭 방식으로 인코딩되고, 이에 대해서는 [18]을 참조한다. 매개변수는 복소수 사운드 압력(P(k,n))으로부터 유도되고, 이는 변환된 전방향 신호 및 변환된 구배 신호에 상응하는 복소수 입자 속도 벡터 U(k,n) = [U_X(k,n), U_Y(k,n), U_Z(k,n)]^T이다.

DirAC 표상은 각각의 시간-주파수 빈에서의 사운드 파동의 신호(P(k,n)), 확산(ψ(k,n)) 및 방향r(k,n)으로 구성된다. 후자를 유도하기 위해서, 첫 번째로, 활성 사운드 세기 벡터(I_a(k,n))가, 압력 벡터와 속도 벡터[18]의 복소 켤레의 곱((ㆍ)^*에 의해서 표시된)의 실수 부분(Re(ㆍ)에 의해서 표시된)으로서 연산된다:

(1)

확산은 이러한 벡터[18]의 변이 계수로부터 추정된다.

(2)

여기에서 E는, 이동 평균으로서 구현되는, 시간 프레임을 따른 예상 연산자를 나타낸다.

방향-기반의 거리 맵을 이용하여 사운드를 조작하도록 의도되기 때문에, 방향 추정의 변경이 작아야 한다. 프레임이 전형적으로 짧기 때문에, 항상 그러한 것은 아니다. 그에 따라, 이동 평균이 적용되어 평탄화된 방향 추정(

)을 획득한다. 이어서, 신호의 다이렉트 부분의 DoA가, 반대 방향의 단위 길이 벡터로서 연산된다:

(3)

방향이 각각의 시간-주파수 빈에 대한 단위 길이의 3차원적 벡터로서 인코딩되기 때문에, 거리 정보를 쉽게 통합할 수 있다. 방향 벡터에 그 상응 맵 엔트리(map entry)를 곱하고, 그에 따라 벡터 길이는 상응 음원의 거리(d_r(k,n))를 나타낸다:

(4)

여기에서, d_r(k,n)은 마이크로폰의 레코딩 위치로부터 시간(n) 및 주파수 빈(k)에서 활성적인 음원으로 향하는 벡터이다.

청취자 위치는 현재 프로세싱 프레임에 대한 추적 시스템에 의해서 l(n)으로서 주어진다. 음원 위치의 벡터 표상으로, 길이가

인 새로운, 병진 운동된 방향 벡터(d₁(k,n))를 얻기 위해서, 추적 위치 벡터(l(n))를 뺄 수 있고, 이에 대해서는 도 10을 참조한다. 청취자의 PoV로부터 음원까지의 거리가 유도되고, DoA가 단일 단계에서 적응된다:

(5)

현실적 재생의 중요 양태는 거리 감쇠이다. 그러한 감쇠는 음원 및 청취자 사이의 거리의 함수인 것으로 가정된다[19]. 거리 벡터의 길이는 재생을 위한 감쇠 또는 증폭을 인코딩하기 위한 것이다. 레코딩 위치에 대한 거리는 거리 맵에 따라 d_r(k,n)로 인코딩되고, 재생되는 거리는 d_l(k,n)로 인코딩된다. 벡터를 단위 길이로 정규화하고 이어서 이전의 그리고 새로운 거리의 비율을 곱하는 경우에, d_l(k,n)를 원래 벡터의 길이로 나누는 것에 의해서 필요 길이가 주어진다는 것을 알 수 있다:

(6)

청취자의 배향에 대한 변화가 이하의 단계에서 적용된다. 추적에 의해서 주어진 배향은, 원점으로서의 레코딩 위치에 대한 피치, 요 및 롤로 구성된 벡터(

)로 작성될 수 있다. 음원 방향이 청취자 배향에 따라 회전되고, 이는 2D 회전 매트릭스를 이용하여 구현된다:

(7)

이어서, 청취자에 대한 결과적인 DoA는 단위 길이로 정규화된 벡터에 의해서 주어진다:

(8)

변환된 방향 벡터, 확산, 및 복소수 스펙트럼을 이용하여, 균일하게 분포된 8+4개의 가상 라우드스피커 설정을 위한 신호를 합성한다. 8개의 가상 스피커가 청취자 평면(고도 0°)에서 45° 방위 단계로 위치되고, 4개는 45° 고도 초과에서 90°의 십자가 형성으로 위치된다. 합성은 각각의 채널 1 ≤ i ≤ I에 대해서 다이렉트 및 확산 부분으로 분할되고, 여기에서 I = 12는 라우드스피커의 수이다[16]:

(9)

다이렉트 부분을 위해서, 엣지 페이딩 진폭 패닝(edge fading amplitude panning)(EFAP)을 적용하여, 주어진 가상 라우드스피커 기하형태에 대한 직각 방향으로부터 사운드를 재생한다[20]. DoA 벡터(r_p(k,n))가 주어지면, 이는 각각의 가상 라우드스피커 채널(i)에 대한 패닝 이득(G_i(r))을 제공한다. 각각의 DoA에 대한 거리-의존적 이득이 방향 벡터(d_p(k,n))의 결과적인 길이로부터 유도된다. 채널(i)을 위한 다이렉트 합성이 이하가 되며:

(10)

여기에서, 지수(γ)는, 전형적으로 약 1로 설정되는 튜닝 인자(tuning factor)이다[19]. γ = 0에서, 거리-의존적 이득이 턴 오프된다는 것을 주목하여야 한다.

압력(P(k,n))은 I개의 비상관화 신호(

)를 생성하기 위해서 이용된다. 이러한 비상관화된 신호는 확산 성분으로서 개별적인 라우드스피커 채널에 부가된다. 이는 표준 방법을 따른다[16]:

(11)

각각의 채널의 확산 및 다이렉트 부분이 함께 더해지고, 신호가 역 STFT에 의해서 시간 도메인으로 다시 변환된다. 이러한 채널 시간 도메인 신호는, 바이노럴화된 신호를 생성하기 위해서 라우드스피커 위치에 따라 좌측 또는 우측 귀를 위해서 HRTF로 콘볼브된다(convolved).

평가를 위해서, 가상 거실 내의 단일 장면이 재생된다. 상이한 렌더링 조건들을 이용하여 3개의 동시적인 활성 음원을 재생한다. 신규 MUSHRA-VR 기술을 이용하여, 테스트 객체의 도움으로 품질을 평가하였다.

실험에서의 가상 환경은, 기록 위치로부터의 상이한 거리들에 위치되는 3개의 음원을 갖는 실내이다. 약 50 cm에 인간 스피커가 있고, 1m 라디오가 있고, 2m에 열린 장치 있고, 이에 대해서는 도 7을 참조한다. 도 7은 VR 장면을 도시하고, 여기에서 사운드는 사람, 라디오 및 열린 창으로부터 오고, 각각의 음원이 원으로 표시되어 있다. 사용자는 창을 향해서 사람 주위에서 쇄선 직사각형에 의해서 표시된 지역 내에서 걸을 수 있다.

Unity 및 HTC VIVE를 이용하여 시각적 렌더링이 이루어진다. 오디오 프로세싱이 가상 스튜디오 기술(VST) 플러그인 및 Max/MSP의 도움으로 구현된다. 개방형 사운드 제어(OSC) 메시지를 통해서, 추적 데이터 및 조건이 교환된다. 걷는 영역은 약 2 × 2 m이다.

정적인 오디오 재생의 평가를 위한 확립된 표준이 있지만, 이들은 일반적으로 VR에 직접적으로 적용될 수 없다. 특히 6DoF의 경우에, 오디오 품질의 평가를 위한 신규한 접근방식이 개발되어야 했는데, 이는 오디오만의 평가에서보다 체험이 더 복잡하고, 제공되는 콘텐츠가 각각의 청취자의 특유의 이동 경로에 따라 달라지기 때문이다. VR [21] 발견 방식 또는 몰입 체험[22]에 대한 생리적 응답과 같은 신규 방법이 능동적으로 탐구되나, 통상적인 양호하게-테스트되는 방법이 또한 오늘날 이루어진 개발 작업을 지원하기 위해서 VR 환경에 맞춰 구성될 수 있다.

MUSHRA는, 말하기 품질 평가로부터 다중 채널 공간 오디오 설정[17]까지의 넓은 범위에 적용되는 널리 채택되는 오디오 품질 평가 방법이다. 이는 동일한 오디오 콘텐츠의 다중 렌더링을 갖는 기준과의 나란한 비교를 허용하고, 은폐된 기준 및 앵커 테스트 항목들의 이용을 통한 절대 품질 스케일을 제공한다. 이러한 테스트에서, MUSHRA 방법이 VR 설정에 도입되고, 그에 따라 권장된 구현예로부터의 약간의 이탈이 필요하다. 구체적으로, 여기에서 구현된 버전은 오디오 콘텐츠의 루핑(looping)을 허용하지 않고, 앵커 항목은 3DoF 렌더링이다.

상이한 조건들이 각각의 작업에서 테스트 조건에 무작위로 할당된다. 각각의 참여자는 각각의 조건의 오디오 품질의 평가를 요청 받고, 0 내지 100의 스케일로 점수를 제공한다. 이들은, 조건 중 하나가, 사실상, 기준과 동일하고 그에 따라 100 점으로 기록된다는 것을 알고 있다. 가장 나쁜 '앵커' 조건은 20(아주 나쁨) 또는 그 미만이고; 모든 다른 조건은 그 사이의 점수이어야 한다.

VR 내의 MUSHRA 패널이 도 8에 도시되어 있다. 4개의 조건을 레이팅하기 위한 도 8의 슬라이더가 착색될 수 있고, 그 아래에는 수치적 값 및 각각 조건을 선택하기 위한 버튼이 위치된다. 패널은, 테스트 하의 시스템의 레이팅이, 가상 환경에서 과도하지 않은 인터페이스를 가지면서, 임의의 시간에 이루어질 수 있도록, 설계되었다. 핸드-헬드 제어기 상의 버튼을 누르는 것에 의해서, 반-투명 인터페이스가, 자연적인 관찰에 적합한 거리에서, 사용자의 시계(FoV) 내의 눈 레벨에서 제시된다. 상호작용을 보조하기 위해서 버튼을 위한 마우스가 놓인 상태(비활성, 활성, 눌려짐, 강조됨)를 복제하는 레이저 포인터가 제공된다. 핸드-헬드 제어기 상의 동일 버튼을 누르는 것은 패널을 제거하나, 모든 현재의 레이팅 및 조건 선택 플레이백을 유지한다. 모든 레이팅이, 조건의 무작위화를 위한 레전드(legend)를 포함하는 파일에 실시간으로 로그인된다.

총 4개의 상이한 조건들이 실험을 위해서 구현되었다.

REF 객체-기반 렌더링. 이는 기준 조건이다. B-포맷은 청취자의 현재 위치에 대해서 상황에 따라(on the fly) 생성되고 이어서 가상 스피커를 통해서 렌더링된다.

C1 3DoF 재생. 청취자 위치가 무시되지만, 즉 l(n) = 0이지만, 청취자의 머리 회전(o(n))은 여전히 적용된다. 이득이, 청취자로부터 2 m의 거리 내의 음원의 이득에 대해서 설정된다. 이러한 조건이 앵커로서 사용된다.

C2 거리 정보가 없는 6DoF 재생을 위한 제안된 방법. 청취자 위치는 방향 벡터 변화를 위해서 이용된다. 모든 음원이 걷는 영역 외측의 구체 상에 위치된다. 구체의 반경은 2 m로 고정되었고, 즉,

이었고, 거리-의존 이득이 적용된다(γ = 1).

C3 거리 정보가 있는 6DoF 재생을 위한 제안된 방법. 청취자 위치(l(n))는 방향 벡터 변화를 위해서 이용된다. 거리 정보(m(r))를 이용하여 청취자 위치(5)에서의 정확한 DoA를 연산하고, 거리-의존 이득(6)이 적용된다(γ = 1).

동일한 신호 프로세싱 파이프라인이 모든 조건에 대해서 이용된다. 이는, 비교가 단지 공간적 재생에만 초점 맞춰지도록 그리고 결과가 착색 또는 다른 효과에 의해서 영향을 받지 않도록 보장하기 위해서 이루어졌다. 파이프라인이 도 10에 도시되어 있다. 도 10은 기준 렌더링 및 DirAC을 위한 신호 경로를 도시한다. 기준 경우에, 추적 데이터를 이용하여, 객체-기반의 B-포맷 합성의 배치 및 회전을 변경한다(상단 좌측). 다른 조건(C1-C3)에서, 추적 데이터가 DirAC 도메인에 적용된다(우측).

2개의 B-포맷 신호가 3개의 모노 음원 신호로부터 연산된다. 다이렉트 (드라이) 신호가 온라인 연산된다. 반향() 신호가 오프-라인으로 미리 연산된다. 이들은 함께 더해지고 DirAC에 의해서 프로세싱되며, 이는 가상 라우드스피커로 렌더링되고, 이는 이어서 바이노럴라이즈된다. 차이는 추적 데이터의 적용에 있다. 기준 경우에, 이는 B-포맷 신호의 합성 전에 적용되고, 그에 따라 이는 청취자 위치에서 가상으로 기록된다. 다른 경우에, 이는 DirAC 도메인에서 적용된다.

객체-기반의 렌더링이 기준 시나리오로서 이용된다. 가상으로, 청취자는 그의 머리에 B-포맷 마이크로폰을 구비하고, 그의 머리 위치 및 회전에서 기록을 생성한다. 이는 명백하게 구현된다: 객체가 추적되는 청취자 위치에 대해서 배치된다. FOA 신호가, 거리 감쇠를 가지고, 각각의 음원으로부터 생성된다. 거리(d_i), 방위(θ) 및 고도(ψ)의 방향에서의 음원 신호(s_i(t))에 대한 합성 다이렉트 B-포맷 신호(s_i)는 이하와 같고:

(12)

여기에서 c는 m/s의 소리의 속력이다. 그 후에, 추적된 회전이 FOA 도메인에서 적용된다[7].

잡음 반향이 시간-불변 방식으로 음원 신호에 부가되어, 렌더링된 실내 음향 장면의 현실감을 향상시킨다. 신발 상자 형상의 방의 경계로부터의 이전의 반사가, 정확한 지연, 방향 및 감쇠를 가지고, 부가된다. 이후의 반향(late reverberation)이 공간적 피드백 지연 네트워크(FDN)로 생성되고, 이는 다중채널 출력을 가상 라우드스피커 설정에 분포시킨다[23]. 주파수-의존형 반향 시간(T ₆₀)은 90 내지 150 ms이었고, 평균은 110 ms이었다. 저역통과 특성을 갖는 음색 교정 필터가 후속하여 적용되었다.

이어서, 각각의 가상 스피커 신호에 (12)에서와 같이 그 DoA의 B-포맷 패턴을 곱하는 것에 의해서, 반향된 신호가 8+4 가상 스피커 설정으로부터 B-포맷으로 변환되었다. 반향 B-포맷 신호가 다이렉트 신호에 부가된다.

합쳐진 B-포맷이 DirAC 도메인에서 프로세스된다. 인코딩은, 큰 일시적 해상도 및 작은 일시적 에일리어싱(aliasing)을 위해서 선택된, 128개의 대역을 갖는 구적법 미러 필터(Quadrature mirror filter)(QMF) 필터뱅크를 이용하여 이루어진다. 양 방향 및 확산이 42 ms의 이동 평균 평활화로 추정된다. 디코딩은 8+4 가상 라우드스피커 신호를 생성한다. 이어서, 이러한 8+4 신호는 바이노럴 플레이백을 위해서 HRTF로 콘볼브된다.

총 19명의 객체가 장면을 레이팅하였다. 이들은 나이가 23 내지 41세였고, 그들 중 3명은 여성이었고, 그들 모두가 청각 장애를 가지지 않는 것으로 보고되었다. 대부분의 참여자는 레이팅을 위해서 10분 미만을 요구 받았다. 사운드와 비전이 항상 일치하지는 않는 가상 현실 오디오의 평가에 익숙하지 않은 경우에 객체들은 더 긴 기간을 취하였다.

도 6은 결과 스코어를 박스 플롯으로서, 즉 MUSHRA 레이팅(N = 19)을 박스 플롯으로서 도시하는 것으로, 점선은 중앙 스코어를 나타내고, 박스는 제1 내지 제3의 사분위수를 나타내며, 휘스커(whisker)는 +/-1.5의 사분범위(IQR: inter-quartile range)에 있다.

비록 객체 중 4명이 100 미만으로 레이팅하였지만, 모든 객체가 기준을 가장 양호한 것으로 정확하게 식별하였다는 것을 확인할 수 있다. 기록 위치에서 동일하게 들리지만, 다른 조건에 대한 차이는 모든 참여자들에게 명확하였다. 거리 정보(C3)를 갖춘 DirAC 도메인 내의 제시된 6DoF 재생은 2번째로 높은 전체적 스코어를 받았다. 거리 정보(C2)가 없는 또는 심지어 위치 추적(C1)이 없는 재생은 거의 모든 참여자에 의해서 더 낮은 스코어를 받았다. 참여자들이 앵커(C1) 조건에 할당된 값에 대해서 동의하지 않았다는 것을 확인할 수 있다. 13명이 30 미만의 스코어를 준 반면 다른 6명은 그렇게 확신하지 않았고 70까지의 값을 선택하였다.

변동의 일방향 반복-측정 분석(ANOVA)에 따라, 조건의 상당한 주요 효과가 발견되었다(p < 0.001, F = 43.75). 추후의 혹(hoc) 분석으로서, 95%의 패밀리-방식 확신 레벨(family-wise confidence level)의 수단의 Tukey 다중 비교가 실시되었다. 조건의 모든 쌍들이 상당히 상이하다는 것, 가장 강하게는(p < 0.001)라는 것이 발견되었고, C2 및 C3는 명확하지 않았다(p < 0.04).

조건들이 상당히 상이한 것으로 확인되었지만, 응답에서의 변동은 비교적 컸다. 이러한 것에 대한 하나의 이유는 VR을 이용한 테스트 객체의 상이한 체험 레벨일 수 있다. 예비-테스트 친숙화를 거치거나 체험에 의해서 객체들을 그룹화하는 것이 바람직할 수 있다. 그러나, 상당한 효과를 여전히 생성하면서, VR 및 청취 테스트에서 초보자로부터 전문가까지의 범위를 이용하는 것은, 그 결과가 이러한 인자들에 걸쳐 유효하다는 것을 보여준다.

일부 참여자는 3DoF 조건을 앵커로서 확인하는 데 있어서 어려움을 가졌다. 이는 VR 오디오에서의 무경험을 반영할 수 있다. 그러나, 이는 과정을 단순화할 수 있고, 음원의 모노 믹스와 같은, 부가적인, 비-공간적 앵커를 제공하기 위한 일관성에 도움을 줄 수 있다.

제시된 재생 방법과 관련하여, 이는, 6DoF에서, 공간 내의 단일 지점에서 기록된, FOA 콘텐츠의 재생을 허용한다는 것을 확인할 수 있다. 대부분의 테스트 참여자가 이상적인 B-포맷 신호 기준을 더 높게 레이팅하였지만, 제시된 방법은 다른 조건들 중에서 재생에 대한 가장 큰 평균 스코어를 달성하였다. 제시된 방법은, 심지어 기록 내의 음원이 마이크로폰으로부터 상이한 거리들에 위치될 때에도, 작용한다. 그러한 경우에, 그 거리는 재생하고자 하는 메타-데이터로서 기록되어야 한다. 결과는, 거리 재생이 체험의 현실감을 향상시킨다는 것을 보여준다. 이러한 효과는 모든 음원의 주위를 사용자가 걸을 수 있게 하는 걷는 영역이 허용되는 경우에는 더 강력할 수 있다.

6 자유도(6DoF)의 신규한 오디오 재생 방법이 제시되었다. 오디오는 단일 위치에서 1차 앰비소닉(FOA)으로서 기록되고, 음원에 대한 거리 데이터가 부수 정보로서 획득된다. 이러한 정보를 이용하여, 파라매트릭 방향 오디오 코딩(DirAC) 도메인 내의 청취자의 라이브(live) 추적과 관련하여 오디오가 재생된다.

주관적 테스트는, 제시된 방법이 객체-기반의 렌더링에 밀접하게 등급화된다는 것을 보여준다. 이는, 거리 정보가 고려될 때, 제시된 재생 방법이 3의 자유도를 초과하는 가상 플레이백을 성공적으로 제공할 수 있다는 것을 암시한다.

도 11a는 음장 계산기(420)의 추가적인 바람직한 구현예를 도시한다. 음장 묘사를 기초로, 전체 대역 도달 방향 또는 대역별 도달 방향이 1100에서 결정된다. 이러한 도달 방향 정보는 음장의 도달 방향 데이터를 나타낸다. 이러한 도달 방향 데이터를 기초로, 병진운동 변환이 블록(1110)에서 실시된다. 이를 위해서, 음장 묘사를 위한 메타데이터로서 포함된 깊이 맵(1120)이 사용된다. 깊이 맵(1120)을 기초로, 블록(1110)은, 이러한 구현예에서, 기준 위치로부터 상이한 기준 위치로의 병진운동에만 의존하는 음장에 대한 새로운 도달 방향 데이터를 생성한다. 이를 위해서, 블록(1110)은, 예를 들어, 가상 현실 구현예의 맥락의 추적에 의해서 생성된 병진운동 정보를 수신한다.

바람직하게 또는 대안적으로, 회전 데이터가 또한 이용된다. 이를 위해서, 블록(1130)은 회전 정보를 이용하여 회전 변환을 실시한다. 병진운동 및 회전 모두가 실시될 때, 병진운동 및 깊이 맵(1120)으로부터의 정보를 이미 포함하는 음장의 새로운 DoA의 계산에 이어서 회전 변환을 실시하는 것이 바람직하다.

이어서, 블록(1140)에서, 새로운 음장 묘사가 생성된다. 이를 위해서, 원래의 음장 묘사가 이용될 수 있거나, 대안적으로, 음원 분리 알고리즘에 의해서 음장 묘사로부터 분리된 음원 신호가 이용되거나 임의의 다른 적용예가 이용될 수 있다. 기본적으로, 새로운 음장 묘사는, 예를 들어, 앰비소닉 생성기(430)에 의해서 얻어진 것과 같은 또는 DirAC 합성기(425)에 의해서 생성된 바와 같은 방향성 음장 묘사일 수 있거나, 후속 바이노럴 렌더링에서 가상 스피커 표상으로부터 생성된 바이노럴 표상일 수 있다.

바람직하게, 도 11a에 도시된 바와 같이, 도달 방향별 거리가 또한, 특정 음원의 볼륨 또는 라우드니스를 새로운 위치 즉, 새로운 또는 상이한 기준 위치에 적응시키기 위해서, 새로운 음장 묘사를 생성하는데 이용될 수 있다.

비록 도 11a가, 회전 변환이 병진 운동 변환 후에 실시되는 상황을 도시하지만, 그 순서가 다를 수 있다는 것을 주목하여야 한다. 특히, 회전 변환이 블록(1100)에서 생성된 것과 같은 음장의 DoA에 적용될 수 있고, 이어서, 기준 위치로부터 상이한 기준 위치로의 대상의 병진 운동으로 인한 부가적인 병진 운동 변환이 적용될 수 있다.

도 11b는 음장 계산기(420)의 바람직한 구현예를 도시한다. 블록(1102)에서, 각각의 음원에 대한 음원 분리 및 도달 방향 또는 일반적인 방향 정보 계산이 실시된다. 이어서, 블록(1104)에서, 도달 방향 벡터에 거리 정보 벡터, 즉 원래의 기준 위치로부터 음원으로의 벡터, 즉 예를 들어 도 5의 항목(520)으로부터 항목(510)으로의 벡터를 곱한다. 이어서, 블록(1106)에서, 병진운동 정보, 즉 도 5의 항목(520)으로부터 항목(500)으로의 벡터를 고려하여, 청취자 위치(500)로부터 음원 위치(510)까지의 벡터인 새로운 병진운동된 방향 벡터를 계산한다. 이어서, d_v로 표시된 정확한 길이를 갖는 새로운 도달 방향 벡터가 블록(1108)에서 계산된다. 이러한 벡터는 d_r과 동일한 방향으로 지향되나, 상이한 길이를 가지는데, 이는 이러한 벡터의 길이가, 음원(510)이 특정 볼륨을 갖는 원래의 음장 내에 레코딩되고 그에 따라 d_v의 길이는 라우드니스 변화를 다소간 나타낸다는 사실을 반영하기 때문이다. 이는, 벡터(d_i)를 레코딩 거리(d_r), 즉 마이크로폰(520)으로부터 음원(510)까지의 벡터(d_r)의 길이로 나누는 것에 의해서 얻어진다.

도 5에서와 같이, 재생된 거리가 레코딩된 거리보다 멀 때, d_v의 길이가 1(unity)보다 작을 것이다. 이는 새로운 청취자 위치에서의 재생을 위한 음원(510)의 감쇠를 초래할 것이다. 그러나, 재생된 거리(d_l)가 레코딩된 거리보다 짧을 때, 블록(1108)에 의해서 계산되는 바와 같은 d_v의 길이는 1보다 클 것이고, 상응 스케일링 인자는 음원의 증폭을 초래할 것이다.

도 12는 음장 계산기의 추가적인 바람직한 구현예를 도시한다. 블록(1200)에서, 음장으로부터의 개별적인 음원이, 예를 들어, 대역별로 또는 전체 대역에서 결정될 수 있다. 프레임 및 대역별 결정이 실시될 때, 이는 DirAC 분석에 의해서 이루어질 수 있다. 전체 대역 또는 하위대역 결정이 실시되는 경우에, 이는, 임의의 종류의 전체 대역 또는 하위대역 음원 분리 알고리즘에 의해서 이루어질 수 있다.

블록(1210)에서, 청취자의 병진 운동 및/또는 회전이, 예를 들어, 머리 추적에 의해서 결정된다.

블록(1220)에서, 각각의 음원에 대한 이전의 거리가 메타데이터의 이용에 의해서 그리고, 예를 들어, 대표 거리와 같은 층에 대한 메타데이터의 이용에 의해서 결정된다. 따라서, 각각의 대역이 (확산이 특정 문턱값보다 작은 경우에) 특정 음원인 것으로 간주되고, 이어서, 작은 확산 값을 갖는 각각의 시간/주파수 빈에 대한 특정 거리가 결정된다.

이어서, 블록(1230)에서, 예를 들어, 도 11b의 맥락으로 설명된, 예를 들어, 대역마다의 벡터 계산에 의해서, 음원마다 새로운 거리가 얻어진다.

또한, 블록(1240)에서 도시된 바와 같이, 음원마다의 이전의 방향이, 예를 들어, DirAC 분석에서 얻어진 DoA 계산에 의해서 또는, 예를 들어, 음원 분리 알고리즘에서의 도달 방향 또는 방향 정보 분석에 의해서 결정된다.

이어서, 블록(1250)에서, 음원마다의 새로운 방향이, 예를 들어, 대역 마다 또는 전체 대역에서 벡터 계산을 실시하는 것에 의해서 결정된다.

이어서, 블록(1260)에서, 새로운 음장이 병진운동되고 회전된 청취자에 대해서 생성된다. 이는, 예를 들어, DirAC 합성에서 채널마다 다이렉트 부분을 스케일링하는 것에 의해서 이루어질 수 있다. 구체적인 구현예에 따라, 거리 수정은, 블록(1260)에서의 거리 수정 실시에 더하여 또는 대안적으로, 블록(1270a, 1270b 또는 1270c)에서 이루어질 수 있다.

예를 들어, 음장만이 단일 음원을 가지는 것으로 결정될 때, 거리 수정이 블록(1270a)에서 미리 실시될 수 있다.

대안적으로, 개별적인 음원 신호가 블록(1200)에 의해서 계산될 때, 실제 새로운 음장이 블록(1260)에서 생성되기 전에, 거리 수정이 블록(1270b)에서 개별적인 음원에 대해서 실시될 수 있다.

또한, 블록(1260)에서의 음장 생성이, 예를 들어, 라우드스피커 설정 신호 또는 바이노럴 신호를 제공하지 않으나, 예를 들어 앰비소닉 인코더 또는 계산기(430)를 이용하여 다른 음장 묘사가 제공될 때, 거리 수정이 또한 블록(1260)에서의 생성에 이어서 실시될 수 있고, 이는 블록(1270c)에서의 실시를 의미한다. 구현예에 따라, 거리 수정이 또한 몇개의 수정기에 분배될 수 있고, 그에 따라, 마지막에, 특정 음원이, 음원과 기준 위치 사이의 원래의 거리와, 음원과 상이한 기준 위치 사이의 새로운 거리 사이의 차이에 의해서 지향되는 특정 라우드니스로 있게 된다.

도 13a는, 예를 들어, 앞서 인용한 문헌["Directional Audio Coding" from IWPASH of 2009]에서 최초로 개시된 DirAC 분석기를 도시한다.

DirAC 분석기는 대역 필터(1310)의 뱅크, 에너지 분석기(1320), 세기 분석기(1330), 일시적 평균화 블록(1340) 및 확산 계산기(1350) 그리고 방향 계산기(1360)를 포함한다.

DirAC에서, 분석 및 합성 모두가 주파수 도메인에서 실시된다. 사운드를, 각각의 구분된 특성 내의 주파수 대역들로 분할하기 위한 몇 가지 방법이 있다. 가장 일반적으로 사용되는 주파수 변환은 국소 푸리에 변환(STFT), 및 구적법 미러 필터 뱅크(Quadrature mirror filter bank)(QMF)를 포함한다. 이에 더하여, 임의의 구체적인 목적에 맞춰 최적화되는 임의의 필터를 갖는 필터 뱅크를 완전히 자유롭게 설계할 수 있다.

방향 분석의 목적은, 사운드가 하나의 또는 다수의 방향으로부터 동시에 도달하였는지를 평가하는 것과 함께, 각각의 주파수 대역에서 사운드의 도달 방향을 추정하는 것이다. 원칙적으로, 이는 많은 수의 기술로 실시될 수 있으나, 도 13a에 도시된, 음장의 에너지 분석이 적합한 것으로 확인되었다. 1차원, 2차원 또는 3차원의 압력 신호 및 속도 신호가 단일 위치로부터 캡쳐될 때, 에너지 분석이 실시될 수 있다. 1차 B-포맷 신호에서, 전방향 신호가 W-신호로 지칭되고, 이는 2의 평방 제곱근에 의해서 스케일 다운된 것이다. 사운드 압력은, STFT 도메인으로 표현된,

로서 추정될 수 있다.

X-, Y- 및 Z 채널은 데카르트 축을 따라 지향된 쌍극의 방향 패턴을 가지며, 이들은 벡터(U = [X, Y, Z])를 함께 형성한다. 벡터는 음장 속도 벡터를 추정하고, 또한 STFT 도메인으로 표현된다. 음장의 에너지(E)가 연산된다. B-포맷 신호의 캡쳐는, 방향성 마이크로폰들의 일치되는 배치로, 또는 전방향 마이크로폰들의 밀접-이격된 세트로 얻어질 수 있다. 일부 적용예에서, 마이크로폰 신호는 연산 도메인으로 형성될 수 있고, 즉 시뮬레이트될 수 있다.

사운드의 방향은 세기 벡터(I)의 반대 방향으로 규정된다. 그러한 방향은 전달된 메타데이터 내의 각도 방위 및 고도 값에 상응하는 것으로 규정된다. 음장의 확산은 또한 세기 벡터 및 에너지의 예상 연산자를 이용하여 연산된다. 이러한 식은, 사운드 에너지가 단일 방향(확산이 0이다)으로부터 또는 모든 방향(확산이 1이다)으로부터 도달하는 경우를 특징으로 하는, 0과 1 사이의 실제-값의 수이다. 이러한 과정은, 전체 3D 또는 그 미만의 차수의 속도 정보가 이용 가능한 경우에 적합하다.

도 13b는, 다시 한번 대역 필터(1370), 가상 마이크로폰 블록(1400), 다이렉트/확산 합성 블록(1450), 및 특정 라우드스피커 설정 또는 가상의 의도된 라우드스피커 설정(1460)을 가지는, DirAC 합성을 도시한다. 또한, 확산-이득 변환기(1380), 벡터 기반의 증폭 패닝(VBAP) 이득 테이블 블록(1390), 마이크로폰 보상 블록(1420), 라우드스피커 이득 평균화 블록(1430) 및 다른 채널을 위한 분배기(1440)가 사용된다.

이러한 DirAC와 라우드스피커의 합성에서, 도 13b에 도시된 DirAC 합성의 고품질 버전이 모든 B-포맷 신호를 수신하고, 이를 위해서 가상 마이크로폰 신호가 라우드스피커 설정(1460)의 각각의 라우드스피커 방향에 대해서 연산된다. 이용되는 방향 패턴은 전형적으로 쌍극이다. 이어서, 메타데이터에 따라, 가상 마이크로폰 신호가 비-선형 방식으로 수정된다. DirAC의 낮은 비트레이트(bitrate) 버전이 도 13b에 도시되어 있지 않지만, 이러한 상황에서, 오디오의 단지 하나의 채널이 도 6에 도시된 바와 같이 전송된다. 프로세싱의 차이는, 모든 가상 마이크로폰 신호가 수신된 오디오의 단일 채널에 의해서 대체될 것이라는 것이다. 가상 마이크로폰 신호는 2개의 스트림: 분리되어 프로세스되는 확산 스트림 및 비-확산 스트림으로 분할된다.

비-확산 사운드는 벡터 기반 진폭 패닝(VBAP)을 이용함으로써 점 음원으로서 재생된다. 패닝에서, 마이크로폰 사운드 신호가 라우드스피커-특정 이득 인자와 곱해진 이후에 라우드스피커의 하위세트에 인가된다. 이득 인자는 라우드스피커 설정에 관한 정보 및 특정된 패닝 방향을 이용하여 연산된다. 저-비트-레이트 버전에서, 입력 신호는 메타데이터가 암시하는 방향으로 단순히 패닝된다. 고-품질 버전에서, 각각의 가상 마이크로폰 신호에 상응 이득 인자가 곱해지고, 이는 패닝과 동일한 효과를 생성하나, 임의의 비-선형 잡음을 생성할 가능성이 적다.

많은 경우에, 방향 메타데이터는 급격한 일시적 변화의 영향을 받는다. 잡음을 피하기 위해서, VBAP로 연산된 라우드스피커를 위한 이득 인자를, 각각의 대역에서 약 50 사이클 기간과 동일한 주파수-의존 시간 상수로 시간 적분하는 것에 의해서 평활화된다. 이는 잡음을 효과적으로 제거하나, 방향의 변화는, 대부분의 경우에 평균화가 없는 것보다 더 느린 것으로 인지되지 않는다.

확산 사운드의 합성의 목적은, 청취자를 둘러싸는 사운드의 인지를 생성하는 것이다. 저-비트-레이트 버전에서, 확산 스트림은 입력 신호를 비상관화하는 것 및 모든 라우드스피커로부터 이를 재생하는 것에 의해서 재생된다. 고품질 버전에서, 확산 스트림의 가상 마이크로폰 신호가 이미 어느 정도 비간섭적이고, 이들은 단지 약하게 비상관화될 필요가 있다. 이러한 접근방식은, 저-비트-레이트 버전보다 주위 반향 및 주변 사운드에 대해서 보다 양호한 공간적 품질을 제공한다.

헤드폰과의 DirAC 합성을 위해서, DirAC은 비-확산 스트림을 위한 청취자 주위의 특정 양의 가상 라우드스피커 및 확산 스트림을 위한 특정 수의 라우드스피커로 포뮬레이트된다. 가상 라우드스피커는 측정된 머리-관련 전달 함수(HRTF)를 이용한 입력 신호의 콘볼루션으로서 구현된다.

비록 장치의 맥락에서 몇몇 양태를 설명하였지만, 이러한 양태가 상응 방법의 설명을 또한 나타낸다는 것이 명확하고, 여기에서 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 상응한다. 마찬가지로, 방법 단계의 맥락으로 설명된 양태가 또한 상응 장치의 상응 블록 또는 항목 또는 특징에 관한 설명을 나타낸다.

본 발명의 증강된 음장 묘사는 디지털 저장 매체 또는 비-일시적 저장 매체에 저장될 수 있거나, 무선 송신 매체 또는 유선 송신 매체, 예를 들어 인터넷과 같은 송신 매체에서 전송될 수 있다.

특정 구현예의 요건에 따라, 본 발명의 실시예가 하드웨어 또는 소프트웨어로 구현될 수 있다. 그러한 구현은, 각각의 방법이 실시되도록 프로그래밍 가능 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 전자적 판독 가능 제어 신호가 저장된, 디지털 저장 매체, 예를 들어 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리를 이용하여 실시될 수 있다.

본 발명에 따른 일부 실시예는, 본원에서 설명된 방법 중 하나가 실시되도록, 프로그래밍 가능 컴퓨터 시스템과 협력할 수 있는, 전자 판독 가능 제어 신호를 갖는 비-일시적 데이터 캐리어를 포함한다.

일반적으로, 본 발명의 실시예는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있고, 프로그램 코드는, 컴퓨터 프로그램 제품이 컴퓨터 상에서 작동될 때, 방법 중 하나를 실시하도록 동작된다. 프로그램 코드는 예를 들어 기계 판독 가능 캐리어에 저장될 수 있다.

다른 실시예는, 기계 판독 가능 캐리어에 저장된, 본원에서 설명된 방법 중 하나를 실시하기 위한 컴퓨터 프로그램을 포함한다.

다시 말해서, 본 발명의 방법의 실시예는, 그에 따라, 컴퓨터 프로그램이 컴퓨터에서 작동될 때, 본원에서 설명된 방법 중 하나를 실시하기 위한 프로그램 코드를 가지는 컴퓨터 프로그램이다.

그에 따라, 본 발명의 방법의 추가적인 실시예는, 본원에서 설명된 방법 중 하나를 실시하기 위한 컴퓨터 프로그램이 레코딩된 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터-판독 가능 매체)이다.

그에 따라, 본 발명의 방법의 추가적인 실시예는 본원에서 설명된 방법 중 하나를 실시하기 위한 컴퓨터 프로그램을 나타내는 신호의 시퀀스 또는 데이터 스트림이다. 데이터 스트림 또는 신호의 시퀀스는, 예를 들어, 데이터 통신 연결을 통해서, 예를 들어 인터넷을 통해서 전달되도록 구성될 수 있다.

추가적인 실시예는, 본원에서 설명된 방법 중 하나를 실시하도록 구성된 또는 적응된 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그래밍 가능 로직 디바이스를 포함한다.

추가적인 실시예는 본원에서 설명된 방법 중 하나를 실시하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.

일부 실시예에서, 프로그래밍 가능 로직 디바이스(예를 들어, 필드 프로그래밍 가능 게이트 어레이)를 이용하여 본원에서 설명된 방법의 일부 또는 모든 기능을 실시할 수 있다. 일부 실시예에서, 필드 프로그래밍 가능 게이트 어레이가 마이크로프로세서와 협력하여 본원에서 설명된 방법 중 하나를 실시할 수 있다. 일반적으로, 방법은 바람직하게 임의의 하드웨어 장치에 의해서 실시된다.

전술한 실시예는 본 발명의 원리에 대한 단순한 예시이다. 본원에서 설명된 배열 및 상세 내용에 대한 수정 및 변화가 다른 당업자에게 자명하다는 것을 이해하여야 한다. 그에 따라, 본 발명은 첨부된 특허 청구범위에 의해서만 제한될 것이고, 본원의 실시예에 관한 설명 및 기술 내용에 의해서 제공된 구체적인 상세 내용에 의해서 제한되지 않을 것이다.

Claims

음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치에 있어서,
상기 공간적 정보, 상기 음장 묘사, 및 기준 위치로부터 상이한 기준 위치로의 병진운동을 나타내는 병진운동 정보를 이용하여 수정된 음장을 계산하기 위한 음장 계산기(420)를 포함하는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제1항에 있어서,
상기 음장 계산기(420)는,
상기 방향 데이터, 상기 깊이 정보 및 상기 병진운동 정보를 이용하여, 음장 묘사로서 DirAC 묘사에 대해서, 상이한 시간-주파수 빈에 대한 수정된 방향 데이터를 계산하고, 그리고
상기 수정된 방향 데이터를 이용하여 상기 DirAC 묘사를, 복수의 오디오 채널을 포함하는 사운드 묘사에 렌더링하도록, 또는 상기 시간-주파수 빈에 대한 방향 데이터 대신 상기 수정된 방향 데이터 및 선택적으로 DirAC 묘사에 포함된 것과 동일한 확산 데이터를 이용하여 상기 DirAC 묘사를 전달 또는 저장하도록 구성되는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제1항에 있어서,
상기 음장 계산기(420)는, 시간 주파수 빈에 대한 확산을 기초로, 시간-주파수 빈에 대해서, 방향 데이터를 유지하는 것 또는 수정된 방향 데이터를 계산하는 것을 결정하도록 구성되고, 수정된 방향 데이터는, 미리 규정된 또는 적응형 확산 레벨보다 낮은 확산을 나타내는 확산 데이터에 대해서만 계산되는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제1항에 있어서,
병진운동 정보 또는 상기 수정된 음장에 대한 의도된 청취자의 회전을 나타내는 회전 정보를 제공하기 위한 병진운동 인터페이스(410);
상기 메타데이터를 상기 음장 계산기(420)에 공급하기 위한 메타데이터 공급기(402, 400);
상기 음장 묘사를 상기 음장 계산기(420)에 공급하기 위한 음장 공급기(404, 400); 및
상기 수정된 음장 묘사 및 상기 병진운동 정보를 이용하여 상기 메타데이터로부터 유도된 수정된 메타데이터를 포함하는 수정된 음장을 출력하기 위한, 또는 각각이 미리 규정된 라우드스피커 위치와 관련되는 복수의 라우드스피커 채널을 출력하기 위한, 또는 상기 수정된 음장의 바이노럴 표상을 출력하기 위한 출력 인터페이스(421)를 더 포함하는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제1항에 있어서,
상기 음장 묘사가 복수의 음장 성분을 포함하고, 상기 복수의 음장 성분은 전방향(omnidirectional) 성분 및 적어도 하나의 방향성 성분을 포함하며,
상기 음장 계산기는,
상이한 주파수 빈들에 대해서, 도달 방향 정보를 유도하기 위해서 상기 음장 성분을 분석하기 위한 음장 분석기(422);
상기 방향 정보 및 메타데이터를 이용하여 주파수 빈마다 수정된 도달 방향 정보를 계산하기 위한 병진운동 트랜스포머(423)로서, 상기 메타데이터는 거리 정보(324)를 주파수 빈에 대한 도달 방향 정보(322)에 연관시키는 깊이 맵(320)을 포함하는, 병진운동 트랜스포머(423); 및
상기 주파수 빈에 대한 깊이 맵(320)에 의해서 제공되는 거리에 의존하는 거리 보상 정보 및 상기 수정된 도달 방향 정보와 관련된 주파수 빈과 연관된 새로운 거리를 이용하여 상기 수정된 음장을 계산하기 위한 거리 보상기;를 포함하는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제1항에 있어서,
상기 음장 계산기(420)는,
상기 음장의 분석(1102)에 의해서 얻어진 상기 기준 위치로부터 음원(510)으로 향하는 제1 벡터를 계산하고(1104);
상기 제1 벡터, 및 상기 기준 위치(522)로부터 상기 상이한 기준 위치(500)로의 병진운동 벡터를 규정하는 상기 병진운동 정보를 이용하여, 상이한 기준 위치(500)로부터 음원(510)으로 향하는 제2 벡터를 계산하고(1106); 그리고
상기 상이한 기준 위치(500), 상기 음원(510)의 위치, 및 상기 제2 벡터를 이용하여, 또는 상기 상이한 기준 위치(500)로부터 상기 음원(510)의 위치 및 상기 제2 벡터를 이용하여, 거리 수정 값을 계산하도록(1106) 구성되는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제1항에 있어서,
도달 방향 단위 벡터와 상기 메타데이터 내에 포함된 거리를 곱하는 것에 의해서 제1 벡터가 계산되거나, 또는
제1 벡터로부터 병진운동 벡터를 차감함으로써 제2 벡터가 계산되거나, 또는
제2 벡터를 제1 벡터의 노름(norm)으로 나누는 것에 의해서 상기 거리 수정 값이 계산되는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제1항에 있어서,
상기 음장 계산기(420)는, 상기 병진운동 정보에 더하여, 회전 정보를 수신하도록 구성되고, 그리고
상기 음장 계산기(420)는 상기 회전 정보를 이용하여 음장에 대한 도달 방향 데이터를 회전시키기 위해서 회전 변환(424)을 실시하도록 구성되고, 상기 도달 방향 데이터는 상기 음장 묘사의 음장 분석에 의해서 그리고 상기 병진운동 정보를 이용하여 얻어진 도달 방향 데이터로부터 유도되는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제1항에 있어서,
상기 음장 계산기(420)는,
음장 분석에 의해서 상기 음장 묘사 및 상기 음원에 대한 방향으로부터 음원을 결정하고(1200, 1240);
각각의 음원에 대해서, 상기 메타데이터를 이용하여 상기 기준 위치로부터 상기 음원의 거리를 결정하고(1220);
상기 음원에 대한 방향 및 상기 병진운동 정보를 이용하여 상기 상이한 기준 위치와 관련된 상기 음원의 새로운 방향을 결정하고(1250);
상기 상이한 기준 위치와 관련된 음원에 대한 새로운 거리 정보를 결정하고(1230); 그리고
음원의 새로운 방향, 새로운 거리 정보, 및 음장 묘사 또는 음장 묘사로부터 유도된 음원에 상응하는 음원 신호를 이용하여, 수정된 음장을 생성하도록(1260) 구성되는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제1항에 있어서,
상기 음장 계산기는, 사운드 분석에 의해서 상기 음장 묘사 및 상기 기준 위치와 관련된 음원 신호의 방향으로부터 음원 신호를 결정하고(1200);
상기 병진운동 정보를 이용하여 상기 상이한 기준 위치와 관련된 음원 신호의 새로운 방향을 계산하고(1230);
상기 상이한 기준 위치와 관련된 음원에 대한 거리 정보를 계산하고(1230); 그리고
상기 거리 정보, 상기 음원 신호 및 상기 새로운 방향을 이용하여 상기 수정된 음장을 합성하도록(1260) 구성되는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제10항에 있어서,
상기 음장 계산기(420)는,
리플레이 설정과 관련하여 새로운 방향에 의해서 주어진 방향에 대해서 음원 신호를 패닝하는 것에 의해서, 그리고 패닝 실시 전에 또는 패닝 실시 후에 거리 정보를 이용하여 음원 신호를 스케일링하는 것에 의해서, 상기 수정된 음장을 합성하도록 구성되는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제10항에 있어서,
상기 음장 계산기(420)는 확산 신호를 상기 음원 신호의 다이렉트 부분에 부가하도록 구성되고, 상기 다이렉트 부분은 상기 확산 신호에 부가되기 전에 상기 거리 정보에 의해서 수정되는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제10항에 있어서,
상기 음장 계산기(420)는,
상기 음장 묘사의 시간-주파수 변환(421)을 실시하도록 그리고 시간 프레임의 복수의 주파수 빈에 대해서 도달 방향을 계산하고(422);
각각의 주파수 빈에 대해서 새로운 방향을 계산하고(423, 424);
각각의 주파수 빈에 대해서 거리 정보를 계산하고;
주파수 빈에 대한 오디오 신호, 상기 주파수 빈에 대한 새로운 방향으로부터 유도된 상기 주파수 빈에 대한 패닝 이득, 그리고 상기 주파수 빈에 대한 거리 정보로부터 유도된 주파수 빈에 대한 스케일링 벡터를 이용하여, 각각의 주파수 빈에 대한 다이렉트 합성을 실시하도록 구성되는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제13항에 있어서,
상기 음장 계산기(420)는,
상기 주파수 빈에 대한 오디오 신호로부터 유도된 확산 오디오 신호를 이용하여 그리고 상기 주파수 빈에 대한 사운드 분석에 의해서 유도된 확산 매개변수를 이용하여 확산 합성을 실시하며, 상기 주파수 빈에 대한 합성된 오디오 신호를 획득하기 위해서 상기 다이렉트 부분 및 상기 확산 부분을 조합하고;
상기 수정된 음장으로서 시간 도메인 합성된 오디오 신호를 획득하기 위해서 시간 프레임에 대해서 상기 주파수 빈에 대한 오디오 신호를 이용하여 주파수-시간 변환(426)을 실시하도록 구성되는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제10항에 있어서,
상기 음장 계산기(420)는, 각각의 음원에 대해서, 상기 상이한 기준 위치와 관련된 음장을 합성하도록 구성되고,
상기 합성은,
각각의 음원에 대해서, 상기 상이한 기준 위치와 관련된 음원 신호의 음장 묘사를 획득하기 위해서 상기 음원 신호에 대한 새로운 방향을 이용하여 음원 신호를 프로세싱하는 것(430);
상기 음원 신호를 프로세싱하기 전에 상기 음원 신호를 수정하는 것 또는 상기 방향 정보를 이용하여 상기 음장 묘사를 수정하는 것; 그리고
상기 상이한 기준 위치와 관련된 수정된 음장을 획득하기 위해서 상기 음원에 대한 상기 음장 묘사를 부가하는 것을 포함하는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제10항에 있어서,
상기 사운드 분석(1200)은, 음원 신호에 더하여, 확산 신호를 획득하도록 구성되고, 그리고
상기 음장 계산기(420)는 상기 새로운 방향 및 거리 정보를 이용하여 계산된 다이렉트 부분에 상기 확산 신호를 부가하도록 구성되는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
제16항에 있어서,
상기 사운드 분석(1200)은 음원 분리 알고리즘에 의해서 상기 음원 신호를 결정하고 상기 확산 신호를 획득하기 위해서 상기 음원 신호의 적어도 일부를 상기 음장 묘사로부터 차감하도록 구성되는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 장치.
음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 방법으로서,
상기 공간적 정보, 상기 음장 묘사, 및 기준 위치로부터 상이한 기준 위치로의 병진운동을 나타내는 병진운동 정보를 이용하여 수정된 음장을 계산하는 단계를 포함하는 것을 특징으로 하는 음장 묘사 및 음장 묘사의 공간적 정보와 관련된 메타데이터로부터 수정된 음장 묘사를 생성하기 위한 방법.