KR102182677B1 - 고차 앰비소닉 오디오 신호의 재생 방법 및 장치 - Google Patents

Abstract

앰비소닉 표현의 이점은 음장의 재생을 개별적으로 어떠한 주어진 라우드스피커 위치 배열에도 거의 적응시킬 수 있다는 것이다. 대체로 라우드스피커 설정과 독립적으로 공간 오디오를 융통성 있고 범용으로 용이하게 표현하지만, 다른 크기의 스크린 상에서 비디오 재생과의 결합은 공간 음향 재생이 적절히 적응되지 못하기 때문에 어려움을 겪을 수 있다. 본 발명은 EP 11305845.7에 개시된 바와 같은 공간 워핑 처리를 적용함으로써 공간 음장 지향 오디오의 재생을 그와 연관된 가시 객체에 체계적으로 적응시킨다. 콘텐츠 제작시 사용된 스크린의 기준 크기(또는 기준 청취 위치에서 본 시야각)은 인코드되어 메타데이터로서 콘텐츠와 함께 전달되거나, 또는 디코더는 고정된 기준 스크린 크기에 대해 타겟 스크린의 실제 크기를 알고 있다. 디코더는 스크린 방향의 모든 음향 객체가 타겟 스크린의 크기와 기준 스크린의 크기의 비에 따라 압축되거나 신장되는 방식으로 음장을 워핑한다.

Description

고차 앰비소닉 오디오 신호의 재생 방법 및 장치{METHOD AND APPARATUS FOR PLAYBACK OF A HIGHER-ORDER AMBISONICS AUDIO SIGNAL}

본 발명은 현재 스크린에 제시되지만 원래의 다른 스크린을 대상으로 생성된 비디오 신호에 부여된 원래의 고차 앰비소닉(Higher-Order Ambisonics) 오디오 신호의 재생 방법 및 장치에 관한 것이다.

구형(spherical) 마이크로폰 어레이의 3차원래의 음장(sound field)을 저장 및 처리하는 한가지 방식은 고차 앰비소닉(Higher-Order Ambisonics: HOA) 표현이다. 앰비소닉은 스위트 스폿(sweet spot)이라고도 알려진 공간 내의 원점, 또는 기준점 주변 영역 및 그 점에서의 음장을 기술하는 정규직교 구면 함수(orthonormal spherical functions)를 이용한다. 그러한 설명의 정확성은 앰비소닉 차수 N에 의해 결정되며, 여기서 한정된 수의 앰비소닉 계수가 그러한 음장을 기술한다. 구형 어레이의 최대 앰비소닉 차수는 앰비소닉 계수의 개수

와 같거나 커야하는 마이크로폰 캡슐의 개수에 의해 제한된다. 그러한 앰비소닉 표현의 이점은 음장의 재생을 거의 임의의 주어진 라우드스피커 위치 배열에 개별적으로 적응시킬 수 있다는 것이다.

대체로 라우드스피커 설정과 독립적으로 공간 오디오를 융통성 있고 범용으로 용이하게 표현하지만, 다른 크기의 스크린에서 비디오 재생과의 결합은 공간 음향(spatial sound) 재생이 적절히 적응되지 못하기 때문에 어려움을 겪을 수 있다.

스테레오 및 서라운드 음향은 이산 라우드스피커 채널을 기반으로 하며, 라우드스피커들을 비디오 디스플레이와 관련하여 어느 곳에 배치할지에 대해 매우 특별한 규칙이 존재한다. 예를 들면, 극장 환경에서, 중앙 스피커는 스크린의 중앙에 위치하고 좌우 라우드스피커는 스크린의 좌우측에 위치한다. 그로 인해 라우드스피커 설정은 본질적으로 다음과 같이 스크린에 따라 조정되는데, 즉 소형 스크린의 경우 스피커들은 서로 가까이 있고 대형 스크린의 경우 스피커들은 멀리 떨어져 있다. 이는 음향 혼합(sound mixing)이 다음과 같이 매우 일관된 방식으로 이루어질 수 있다는, 즉 스크린 상의 가시 객체와 관련된 음향 객체가 좌측, 중앙 및 우측 채널 사이에 확실히 위치할 수 있다는 이점이 있다. 따라서, 그러한 혼합 단계로부터 청취자의 경험은 음향 예술가의 창작 의도와 일치한다.

그러나, 그러한 이점은 동시에 다음과 같은 채널 기반 시스템의 단점이 되는데, 즉 라우드스피커 설정을 변경하는 융통성을 매우 제한시킨다. 이러한 단점은 라우드스피커 채널의 개수가 많아짐에 따라 커진다. 예를 들면, 7.1 및 22.2 포맷은 개별의 라우드스피커를 정확하게 설치할 것을 요구하며 오디오 콘텐츠를 차선의 라우드스피커 위치에 적응시키는 것은 매우 어렵다.

또 다른 채널 기반 포맷의 단점은 선행 효과가, 특히 극장 환경에서처럼 청취 설정이 큰 경우 좌측, 중앙 및 우측 채널 간의 음향 객체를 패닝하는 능력을 제한시킨다는 것이다. 중앙 이외의 청취 위치의 경우, 패닝된 오디오 객체는 청취자에 가장 가까운 라우드스피커에 '속'할 수 있다. 따라서, 많은 영화는 중앙 채널에 배타적으로 매핑된 중요 스크린 관련 음향, 특히 대화(dialog)와 혼합됨으로써, 스크린 상의 그러한 음향의 위치결정이 매우 안정적으로 이루어지지만, 전반적인 음향 장면의 차선의 넓음을 고려하지 않는다.

후방 서라운드 채널의 경우 전형적으로 유사한 절충안이 선택되는데, 즉 제작시 그러한 채널을 재생하는 라우드스피커의 정확한 위치가 거의 알려지지 않고, 그러한 채널의 밀도가 꽤 낮기 때문에, 일반적으로 주변음 및 상관성이 없는 항목들만 그러한 서라운드 채널에 혼합된다. 그로 인해 서라운드 채널에서 상당한 재생 오류가 일어날 가능성이 줄어들 수 있지만, 이산 음향 객체를 스크린을 제외한 어디에도 (또는 심지어 전술한 바와 같은 중앙 채널에도) 충실하게 배치할 수 없는 희생이 따른다.

전술한 바와 같이, 다른 크기의 스크린 상에서 공간 오디오와 비디오의 재생 결합은 공간 음향 재생이 적절히 적응되지 못하기 때문에 어려움을 겪을 수 있다. 음향 객체의 방향은 실제 스크린 크기가 제작시 사용된 것과 일치하는지 여부에 따라 스크린 상의 가시 객체의 방향과 다를 수 있다. 예를 들어, 만일 스크린이 소형인 환경에서 혼합이 수행되었다면, 스크린 객체(예컨대, 배우의 목소리)에 결합된 음향 객체는 혼합기의 위치에서 볼 때 비교적 좁은 원뿔(cone) 내에 위치할 것이다. 만일 이러한 콘텐츠가 음장 기반 표현에 종속되어 스크린이 훨씬 큰 극장 스크린에서 재생된다면, 스크린까지의 넓은 시야와 스크린 관련 음향 객체의 좁은 원뿔 사이에 큰 불일치가 존재한다. 객체의 가시 영상 위치와 대응하는 음향 위치 간의 불일치가 크면 시청자를 방해하고 그럼으로써 영화를 인지하는데 심각한 영향을 미친다.

더 최근에는, 파라미터 및 특징들의 집합과 함께 개개의 오디오 객체를 구성하여 오디오 장면을 기술하는 오디오 장면의 파라미터 또는 객체 지향 표현이 제안되었다. 예를 들면, 주로 파동장(wave-field) 합성 시스템을 다루기 위해, 예를 들어, Sandra Brix, Thomas Sporer, Jan Plogsties의, "CARROUSO - An European Approach to 3D-Audio", Proc. of 110th AES Convention, Paper 5314, 12-15 May 2001, Amsterdam, The Netherlands, and in Ulrich Horbach, Etienne Corteel, Renato S. Pellegrini and Edo Hulsebos, "Real-Time Rendering of Dynamic Scenes Using Wave Field Synthesis", Proc. of IEEE Intl. Conf. on Multimedia and Expo (ICME), pp.517-520, August 2002, Lausanne, Switzerland에서 객체 지향 장면 기술이 제안되었다.

EP 1518443 B1에는 오디오 재생을 가시 스크린 크기에 적응시키는 문제를 다루는 두 가지 다른 접근법이 기술되어 있다. 첫 번째 접근법은 기준점으로의 방향 및 거리뿐만 아니라 카메라 및 프로젝션 장비 둘 다의 개구각 및 위치와 같은 파라미터에 따라 각 음향 객체마다 개별적으로 재생 위치를 결정한다. 실제로, 객체의 가시성과 관련 음향 혼합 간의 그러한 긴밀한 결합은 전형적이지 않으며, 이와 대조적으로, 실제로 음향 혼합과 관련 가시 객체의 어느 정도의 편차는 예술적 이유로 허용될 수 있다. 더욱이, 직접음과 주변음을 구별하는 것이 중요하다. 마지막이지만 최소한은 아닌, 물리적 카메라와 프로젝션 파라미터를 통합하면 꽤 복잡하고, 그러한 파라미터는 언제나 이용가능하지는 않다. 두 번째 접근법(청구항 16과 비교)은 전술한 절차에 따르지만, 스크린의 기준 크기가 고정된다고 가정하여 음향 객체를 미리 계산하는 것을 기술한다. 이러한 방식은 기준 스크린보다 크거나 작은 스크린에 장면을 적응시키는 (데카르트(Cartesian) 좌표에서) 모든 위치 파라미터를 선형으로 크기 조정하는 것을 필요로 한다. 그러나, 이는 크기가 두 배인 스크린에 적응시키면 음향 객체까지의 가상 거리도 두 배가 된다는 것을 의미한다. 이는 기준 좌석(즉, 스위트 스폿)에 있는 청취자에 대한 음향 객체의 위치각을 변경하지 않은, 단순한 청각(acoustic) 장면의 '기식음 발음(breathing)'이다. 이러한 접근법에 의해 각도 좌표에서 스크린의 상대 크기(개구각)의 변화에 대해 충실한 청취 결과를 내기가 불가능하다.

객체 지향 음향 장면 기술 포맷의 또 다른 예는 EP 1318502 B1에 기술되어 있다. 여기서, 오디오 장면은 다른 음향 객체와 그 특성 외에 재생되는 룸(room)의 특성에 대한 정보뿐만 아니라 기준 스크린의 수평 및 수직 개방각에 대한 정보를 포함한다. 디코더에서, EP 1518443 B1의 원리와 유사하게, 실제 이용가능한 스크린의 위치 및 크기가 결정되고 음향 객체의 재생이 기준 스크린과 일치하도록 개별적으로 최적화된다.

예를 들면, PCT/EP2011/068782에서, 음향 장면의 일반적인 공간 표현을 위해 고차 앰비소닉 HOA와 같은 음장 지향 오디오 포맷이 제안되었으며, 기록 및 재생 면에서, 음장 지향 처리는 객체 지향 포맷과 유사하게 가상적으로 임의의 공간 해상도로 조정될 수 있기 때문에 일반성과 실용성 사이의 균형을 우수하게 한다. 반면에, 객체 지향 포맷에 필요한 완전 합성 표현과 대조적으로, 실제 음장의 기록을 자연스럽게 도출하는 많은 간단한 기록 및 제작 기술이 존재한다. 분명히, 음장 지향 오디오 콘텐츠는 개개의 음향 객체에 대해 어떠한 정보도 포함하지 않기 때문에, 객체 지향 포맷을 다른 스크린 크기에 적응시키는 앞에서 소개한 메커니즘이 적용될 수 없다.

현재로서는, 음장 지향 오디오 장면에 포함된 개개의 음향 객체의 상대 위치를 조작하는 수단을 기술하는 몇몇 공개문헌만이 이용가능하다. 예를 들어, Richard Schultz-Amling, Fabian Kuech, Oliver Thiergart, Markus Kallinger, "Acoustical Zooming Based on a Parametric Sound Field Representation", 128th AES Convention, Paper 8120, 22-25 May 2010, London, UK에 기술된 한 계열의 알고리즘은 음장을 제한된 수의 이산 음향 객체로 분해하는 것을 필요로 한다. 이러한 음향 객체의 위치 파라미터는 조작될 수 있다. 이러한 접근법은 오디오 장면 분해가 오류 발생하기 쉽고 오디오 객체를 결정할 때 모든 오류가 음향 렌더링 시 아티팩트가 될 가능성이 있다는 단점이 있다.

많은 공개문헌은 HOA 콘텐츠의 재생을 '융통성 있는 재생 레이아웃', 예를 들면, 앞에서 인용한 Brix 논문 및 Franz Zotter의 Hannes Pomberger, Markus Noisternig, "Ambisonic Decoding With and Without Mode-Matching: A Case Study Using the Hemisphere", Proc. of the 2nd International Symposium on Ambisonics and Spherical Acoustics, 6-7 May 2010, Paris, France에서 최적화하는데 관련된다. 이러한 기술은 불규칙하게 이격된 라우드스피커를 이용하는 문제를 다루지만, 이들 중 어느 것도 오디오 장면의 공간 구성을 변경하는 것에 목표를 두지 않는다.

본 발명에 의해 해결해야할 한가지 문제는 음장 분해 계수로 표현된 공간 오디오 콘텐츠를 다른 크기의 비디오 스크린에 적응시켜, 온 스크린 객체의 음향 재생 위치가 대응하는 가시 위치와 일치하도록 하는 것이다. 이러한 문제는 청구항 1에 개시된 방법에 의해 해결된다. 이러한 방법을 이용하는 장치는 청구항 2에 개시된 방벙을 이용한다.

본 발명은 공간 음향 음장 지향 오디오의 재생을 그와 연결된 가시 객체들에 체계적으로 적응시킨다. 그럼으로써, 영화용 공간 오디오의 충실한 재생을 위한 충분한 전제 조건이 성취된다.

본 발명에 따르면, 음장 지향 오디오 장면은 PCT/EP2011/068782 및 EP 11192988.0에 개시된 바와 같은 음장 지향 오디오 포맷과 결합하여, EP 11305845.7에 개시된 바와 같은 공간 워핑 처리를 적용함으로써 다른 비디오 스크린 크기에 적응된다. 유리한 처리는 콘텐츠 제작시 사용된 스크린의 기준 크기(또는 기준 청취 위치에서 본 시야각)를 인코드하여 메타데이터로서 콘텐츠와 함께 전송하는 것이다.

대안으로, 기준 스크린 크기는 인코딩시 그리고 디코딩을 위해 고정된다고 가정하고, 디코더는 타겟(target) 스크린의 실제 크기를 알고 있다. 디코더는 타겟 스크린의 크기와 기준 스크린의 크기의 비에 따라 스크린 방향의 모든 음향 객체가 압축되거나 또는 신장되는 방식으로 음장을 워핑한다. 이러한 처리는 예를 들어 아래에서 기술된 바와 같은 간단한 2-세그먼트 구간적 선형 워핑 함수를 이용하여 성취될 수 있다. 전술한 최신의 기술과 대조적으로, 이러한 신장은 기본적으로 음향 항목의 위치각으로 한정되고, 청취 지역까지 음향 객체의 거리를 반드시 변경하지 않아도 된다. 본 발명의 여러 실시예는 아래에서 기술되며, 이러한 실시예는 오디오 장면의 어느 부분을 조작할 것인지 여부에 대한 제어를 가능하게 한다.

원리적으로, 본 발명의 방법은 현재 스크린 상에 제시되지만 원래의 다른 스크린을 대상으로 생성된 비디오 신호에 부여된 원래의 고차 앰비소닉(Higher-Order Ambisonics) 오디오 신호를 재생하는데 적합하며, 상기 방법은,

- 상기 고차 앰비소닉 오디오 신호를 디코드하여 디코드된 오디오 신호를 제공하는 단계,

- 상기 원래의 스크린과 상기 현재 스크린의 폭 및 가능하게는 높이 및 가능하게는 곡률(curvatures) 간의 차로부터 도출된 재생 적응(adaptation) 정보를 수신하거나 설정하는 단계,

- 상기 디코드된 오디오 신호를 공간 도메인에서 워핑(warping)하여 적응시키는 단계 - 상기 재생 적응 정보는 상기 적응된 디코드된 오디오 신호의 현재 스크린 시청자 및 청취자를 위해 상기 적응된 디코드된 오디오 신호로 표현된 적어도 하나의 오디오 객체(object)의 인지된 위치가 상기 스크린 상의 관련 비디오 객체의 인지된 위치와 일치하도록 상기 워핑을 제어함 -,

- 상기 적응된 디코드된 오디오 신호를 랜더링(rendering)하여 라우드스피커를 향해 출력하는 단계를 포함한다.

원리적으로, 본 발명의 장치는 현재 스크린 상에 제시되지만 원래의 다른 스크린을 대상으로 생성된 비디오 신호에 부여된 원래의 고차 앰비소닉 오디오 신호를 재생하는데 적합하며, 상기 장치는,

- 상기 고차 앰비소닉 오디오 신호를 디코드하여 디코드된 오디오 신호를 제공하도록 구성된 수단,

- 상기 원래의 스크린과 상기 현재 스크린의 폭 및 가능하게는 높이 및 가능하게는 곡률 간의 차로부터 구한 재생 적응 정보를 수신하거나 설정하도록 구성된 수단,

- 상기 디코드된 오디오 신호를 공간 도메인에서 워핑하여 적응시키도록 구성된 수단 - 상기 재생 적응 정보는 상기 적응된 디코드된 오디오 신호의 현재 스크린 시청자 및 청취자를 위해 상기 적응된 디코드된 오디오 신호로 표현된 적어도 하나의 오디오 객체의 인지된 위치가 상기 스크린 상의 관련 비디오 객체의 인지된 위치와 일치하도록 상기 워핑을 제어함 -,

- 상기 적응된 디코드된 오디오 신호를 랜더링하여 라우드스피커를 향해 출력하도록 구성된 수단을 포함한다.

본 발명의 유리한 추가 실시예는 각각의 종속항에 개시된다.

첨부의 도면을 참조하여 본 발명의 예시적인 실시예가 기술된다.
도 1은 예시적인 스튜디오 환경을 도시한다.
도 2는 예시적인 시네마 환경을 도시한다.
도 3은 워핑(warping) 함수

를 도시한다.
도 4는 가중치 함수

를 도시한다.
도 5는 원래의 가중치를 도시한다.
도 6은 워핑에 따른 가중치를 도시한다.
도 7은 워핑 매트릭스를 도시한다.
도 8은 공지의 HOA 처리를 도시한다.
도 9는 본 발명에 따른 처리를 도시한다.

도 1은 기준점 및 스크린을 갖는 예시적인 스튜디오 환경을 도시하고, 도 2는 기준점 및 스크린을 갖는 예시적인 시네마 환경을 도시한다. 프로젝션 환경이 다르면 기준점에서 볼 때 스크린의 개방각(opening angles)이 달라진다. 현재 기술의 음장 지향 재생 기술에서, 스튜디오 환경(개방각 60°)에서 제작된 오디오 콘텐츠는 시네마 환경(개방각 90°)의 스크린 콘텐츠와 매칭되지 않을 것이다. 오디오 콘텐츠를 다른 재생 환경 특성에 적응시키기 위해 스튜디오 환경의 개방각 60°이 그 콘텐츠와 함께 전송되어야 한다.

가해성을 위해, 이들 도면은 2D 시나리오 상황으로 단순화한다.

고차 앰비소닉 이론에서, 공간 오디오 장면(scene)은 푸리에 베셀 급수(Fourier-Bessel series)의 계수

를 통해 기술된다. 소스가 없는 볼륨(source-free volume)의 경우, 음압(sound pressure)은 다음과 같이 구좌표 함수(반경 r, 경사각θ, 방위각 φ 및 공간 주파수

(c는 공기 중 음속임))로 기술된다.

,

여기서

은 방사(radial) 의존성을 기술하는 제1종 구면 베셀 함수이고,

은 실제로 실수치의 구면 조화(SH)이며, N은 앰비소닉 차수이다.

오디오 장면의 공간 구성은 EP 11305845.7에 개시된 기술에 의해 워핑될 수 있다.

오디오 장면의 2차원래의 또는 3차원래의 고차 앰비소닉 HOA 표현 내에 포함된 음향 객체(sound object)의 상대 위치는 변화될 수 있으며, 여기서 치수가

인 입력 벡터

는 입력 신호의 푸리에 급수의 계수를 결정하고 치수가

인 출력 벡터

는 이에 대응하여 변화된 출력 신호의 푸리에 급수의 계수를 결정한다. 입력 HOA 계수의 입력 벡터

는 공간 도메인에서

를 계산하여 모드 매트릭스

의 역

을 이용하여 일정하게 위치한 라우드스피커 위치에 대한 입력 신호

로 디코드된다. 입력 신호

는 공간 도메인에서 워핑되고

를 계산하여 적응된 출력 HOA 계수의 출력 벡터

로 인코드되며, 여기서 모드 매트릭스

의 모드 벡터는 워핑 함수

에 따라 변경되고 이에 의해 원래의 라우드스피커의 위치의 각도는 출력 벡터

에서 타겟(target) 라우드스피커 위치의 타겟 각도로 일대일 매핑된다.

이득 가중치 함수

를 가상 라우드스피커 출력 신호

에 적용하여 신호

를 얻음으로써 라우드스피커 밀도의 변경이 방지될 수 있다. 원리적으로, 어떠한 가중치 함수

라도 지정될 수 있다. 한가지 특별히 유리한 변종은 경험에 의해 워핑 함수

의 미분, 즉

에 비례하도록 결정되었다. 이러한 특정 가중치 함수를 이용하여, 내부 차수 및 출력 차수가 적절히 높다는 가정하에서, 특정 워핑각

에서 패닝 함수(panning function)의 진폭은 원래의 각도

에서 원래의 패닝 함수와 동일하게 유지된다. 그럼으로써, 개방각 별로 균일한 음향 밸런스(진폭)가 얻어진다. 3차원래의 앰비소닉의 경우, 이득 함수는

방향 및

방향에서

이고, 여기서

는 작은 방위각(azimuth angle)이다.

디코딩, 가중화 및 워핑/디코딩은 공통적으로 크기

변환 매트릭스

를 이용하여 수행될 수 있으며, 여기서 diag(w)는 그의 주 대각(diagonal) 성분으로서 윈도우 벡터 w의 값을 갖는 대각 매트릭스를 나타내고 diag(g)는 그의 주 대각 성분으로서 이득 함수 g의 값을 갖는 대각 매트릭스를 나타낸다. 변환 매트릭스 T를 형상화하여 크기

를 얻기 위해, 변환 매트릭스 T의 대응 컬럼 및/또는 라인을 제거하여 공간 워핑 연산

을 수행한다.

도 3 내지 도 7은 2차원래의 (원형) 경우에서 공간 워핑을 예시하고, 도 1/도 2의 시나리오에 대한 예시적인 구간적(piecewise) 선형 워핑 함수 및 일정하게 위치한 13개의 예시적인 라우드스피커의 패닝 함수에 미치는 영향을 도시한다. 시스템은 음장을 전방으로 1.5 지수만큼 신장(stretch)하여 시네마의 더 큰 스크린에 적응시킨다. 따라서, 다른 방향에서 오는 음향 항목은 압축된다. 워핑 함수

는 단일 실수치 파라미터를 갖는 이산 시간 전역통과 필터의 위상 응답과 유사한 것으로 도 3에 도시되어 있다. 대응하는 가중치 함수

는 도 4에 도시되어 있다.

도 7은 13x65 단일 단계 변환 워핑 매트릭스 T를 도시한다. 이러한 매트릭스의 개개의 계수의 대수 절대값은 부가된 그레이 스케일(gray scale) 또는 음영바(shading bar)에 따라 그레이 스케일 또는 음영 형식(shading types)으로 나타낸다. 이러한 예시적인 매트릭스는 입력 HOA 차수가

이고 출력 차수가

인 경우에 대해 설계되었다. 저차(low order) 계수에서 고차 계수로 변환하여 확산되는 정보의 대부분을 캡쳐하기 위해서는 더 높은 출력 차수가 필요하다.

이와 같은 특정한 워핑 매트릭스의 유용한 특성은 그의 상당 부분이 0이라는 것이다. 이와 같은 특성은 이러한 연산을 수행할 때 계산 능력을 크게 줄여준다. 도 5 및 도 6은 몇 가지 평면파(plane waves)에 의해 생성된 빔 패턴의 워핑 특성을 예시한다. 두 도면은

위치에서 동일한 13개의 입력 평면파

,

,

,

, ...,

및

로부터의 결과이고, 이들 모두는 동일한 진폭 '1'을 가지며, 13개의 진폭각(angular amplitude) 분포, 즉 중복결정된, 일정한 디코딩 연산

의 결과 벡터 s를 도시하며, 여기서 HOA 벡터 A는 원래의 것 또는 일련의 평면파들 중 워핑된 변종이다. 원래의 밖에 있는 숫자는 각도

를 나타낸다. 가상 라우드스피커의 개수는 HOA 파라미터의 개수보다 상당히 크다. 전방에서 오는 평면파에 대한 진폭 분포 또는 빔 패턴은

에 위치한다.

도 5는 원래의 HOA 표현의 가중치 및 진폭 분포를 도시한다. 13개 분포는 모두 동일한 형상을 가지며 주 로브(lobe)의 폭이 동일하다는 특징이 있다. 도 6은 비슷한 음향 객체에 대해, 워핑 연산이 수행된 이후의 가중치 및 진폭 분포를 도시한다. 이러한 객체는

도의 전방으로부터 떨어져 있고 전방 주위의 주 로브는 더 넓어졌다. 이러한 빔 패턴의 변경은 워핑된 HOA 벡터의 고차

로 가능해진다. 로컬 차수가 공간에 따라 변하는 혼합 차수(mixed-order) 신호가 생성되었다.

오디오 장면의 재생을 실제 스크린 구성에 적응시키기에 적합한 워핑 특성

을 도출하기 위하여, HOA 계수 외에 추가 정보가 송신 또는 제공된다. 예를 들면, 혼합 과정에서 사용된 다음과 같은 기준 스크린의 특성이 비트 스트림에 포함될 수 있다.

ㆍ 스크린의 중앙 방향,

ㆍ 폭,

ㆍ 기준 스크린의 높이,

이들 모두는 극(polar)좌표에서 기준 청취 위치(listening position)('스위트 스폿'이라고도 알려짐)로부터 측정된다.

추가적으로, 특수한 응용을 위해 다음과 같은 파라미터가 필요할 수 있다.

ㆍ 스크린의 형상, 예컨대, 스크린이 평판형인지 구형인지 여부,

ㆍ 스크린의 거리,

ㆍ 입체적 3D 비디오 프로젝션의 경우 최대 및 최소 가시(visible) 깊이에 대한 정보.

그러한 메타데이터(metadata)의 인코드 방법은 당업자에게 알려져 있다.

결과적으로, 인코드된 오디오 비트 스트림은 적어도 전술한 세 개의 파라미터, 즉 기준 스크린의 중앙 방향, 폭 및 높이를 포함한다고 가정한다. 가해성을 위해, 실제 스크린의 중앙은 기준 스크린의 중앙과 동일, 예컨대, 청취자 바로 전방에 있다고 추가로 가정한다. 더욱이, 음장은 (3D 포맷과 비교하여) 단지 2D 포맷으로 표현되고 이에 대한 경사 변화는 (예를 들어, 선택된 HOA 포맷이 수직 성분을 표현하지 않는 경우나, 또는 음향 편집자가 영상과 온 스크린 음향 소스의 경사 사이의 불일치가 충분히 작아서 일반 관찰자가 이를 주목하지 못하는 것으로 판정하는 경우와 같이) 무시한다고 가정한다. 임의의 스크린 위치 및 3D 경우로의 젼환은 당업자에게는 간단하다. 또한, 간략함을 기하기 위해 스크린 구조는 구형이라고 가정한다.

이러한 가정에 따라, 콘텐츠와 실제 설정 사이에는 스크린의 폭만 변화할 수 있다. 이하에서는, 적절한 2-세그먼트 구간적 선형 워핑 특성이 규정된다. 실제 스크린의 폭은 개방각

(즉,

는 반각(half-angle)을 기술함)으로 규정된다. 기준 스크린의 폭은 각도

로 규정되고 이 값은 비트 스트림 내에서 전달된 메타 정보의 일부이다. 전방에서, 즉 비디오 스크린 상에서 음향 객체를 충실하게 재생하기 위해, 음향 객체의 (극좌표에서) 모든 위치는 지수

/

로 곱해질 것이다. 반대로, 다른 방향의 모든 음향 객체는 잔여 공간에 따라 이동할 것이다. 워핑 특성의 결과는 다음과 같다.

그 외

이러한 특성을 얻는데 필요한 워핑 연산은 EP 11305845.7에 개시된 규칙에 따라 이루어질 수 있다. 예를 들면, 결과적으로 조작된 벡터가 HOA 랜더링(rendering) 처리에 입력되기 전에 각 HOA 벡터에 적용된 단일 단계 선형 워핑 연산자가 도출될 수 있다. 전술한 예는 많은 가능한 워핑 특성 중 하나이다. 복잡도와 연산 후 남은 왜곡량 사이에서 최선의 균형(trade-off)을 찾기 위해 다른 특성도 적용될 수 있다. 예를 들어, 만일 3D 음장 랜더링을 조작하기 위해 간단한 구간적 선형 워핑 특성이 적용된다면, 공간 재생의 전형적인 핀쿠션(pincushion) 또는 배럴(barrel) 왜곡이 생성될 수 있지만, 만일 지수

/

가 '1'에 가까우면, 그러한 공간 랜더링 왜곡은 무시할 수 있다. 지수가 매우 크거나 작은 경우, 공간 왜곡을 최소로 하는 좀더 정교한 워핑 특성이 적용될 수 있다.

추가적으로, 만일 선택된 HOA 표현이 경사를 위해 제공되고 스크린에 의해 대치된(subtended) 수직각이 관심사라면, 스크린의 높이각(angular height)

(반높이) 및 관련 지수(예컨대, 기준 높이 대 실제 높이 비

/

)에 기초한 유사 수식은 워핑 연산자의 일부로서 경사에 적용될 수 있다.

다른 예를 들면, 청취자의 전방에서 구형 스크린 대신 평판 스크린이 전술한 예시적인 것보다 좀더 정교한 워핑 특성을 필요로 할 수 있다고 가정하자. 다시, 이것은 그 자체를 폭 단독(width-only) 워핑, 또는 폭+높이 워핑과 관련시킬 수 있다.

전술한 예시적인 실시예는 고정되고 구현이 상당히 간단하다는 이점이 있다. 반면에, 예시적인 실시예는 제작 측에서 적응 과정을 제어하지 못한다. 다음의 실시예들은 다른 방식으로 더 제어하는 처리를 기술한다.

실시예 1: 스크린 관련 음향과 다른 음향 간의 분리

여러 이유로 이러한 제어 기술이 필요할 수 있다. 예를 들면, 오디오 장면의 모든 음향 객체가 스크린 상의 가시 객체와 직접 결합되지는 않고, 환경과 다르게 직접음(direct sound)을 조작하는 것이 유리할 수 있다. 이러한 구별은 랜더링 측에서 장면 분석에 의해 수행될 수 있다. 그러나, 이것은 전송 비트 스트림에 부가 정보를 추가함으로써 상당히 향상되고 조정될 수 있다. 이상적으로, 어느 음향 항목을 실제 스크린 특성에 적응시킬 지와 어느 것을 본래 그대로의 상태로 남겨둘지에 대한 결정은 음향 혼합을 행하는 예술가에게 맡겨져야 한다.

이러한 정보를 랜더링 과정으로 전달하기 위해 다른 방식이 가능하다.

ㆍ비트 스트림 내에 두 개의 완전 HOA 계수(신호) 집합이 규정되고, 그 중 하나는 가시 항목에 관한 객체를 기술하고 다른 하나는 독립음 또는 주변음을 표현한다. 디코더에서, 제1 HOA 신호만 실제 스크린 지오메트리에 적응될 것이고 반면에 다른 하나는 본래 그대로의 상태로 남는다. 재생 전에, 조작된 제1 HOA 신호 및 미변형 제2 HOA 신호가 결합된다.

일 예로서, 음향 엔지니어는 대화(dialog) 또는 특정 폴리(Foley) 항목과 같은 스크린 관련 음향을 제1 신호에 혼합하기로 결정하고, 그리고 주변음을 제2 신호에 혼합하기로 결정할 수 있다. 그러한 방식으로, 어느 스크린이 오디오/비디오 신호의 재생에 사용되든 환경은 항상 동일하게 유지될 것이다.

이러한 종류의 처리는 서브 신호를 구성하는 두 가지 HOA 차수가 특정 형태의 신호에 개별적으로 최적화될 수 있고, 그럼으로써 스크린 관련 음향 객체(즉, 제1 서브 신호)의 HOA 차수가 주변 신호 성분(즉, 제2 서브 신호)에 사용된 것보다 크다는 추가 이점이 있다.

ㆍ 시공간 주파수 타일(tiles)에 부가된 플래그를 통해, 음향 매핑은 스크린과 관련되거나 또는 스크린과 독립되도록 정의된다. 이러한 목적을 위해, HOA 신호의 공간 특성은, 예를 들어, 평면파 분해를 통해 결정된다. 그리고, 공간 도메인 신호들 각각은 시간 세그먼트(윈도잉) 및 시간-주파수 변환으로 입력된다. 그럼으로써, 3차원래의 타일 집합이 규정될 것이며, 이는 그 타일의 콘텐츠를 실제 스크린 지오메트리에 적응시킬 것인지 여부를 기술하는 이진 플래그로 개별적으로 표시될 수 있다. 이러한 세부 실시예는 이전의 세부 실시예보다 더 효율적이지만, 이는 음향 장면의 어느 부분을 조작할지 여부를 정의하는 융통성을 제한한다.

실시예 2: 동적 적응

일부 응용예에서는, 시그널링된(signalled) 기준 스크린 특성을 동적 방식으로 변화하는 것이 필요할 것이다. 예를 들면, 오디오 콘텐츠는 다른 혼합으로부터 다른 용도로 수정된 콘텐츠 세그먼트들을 연관시킨 결과일 수 있다. 이 경우, 기준 스크린 파라미터를 기술하는 파라미터는 시간의 경과에 따라 변화할 것이며, 적응 알고리즘은 동적으로 변화되는데, 즉 스크린 파라미터의 매 변화마다, 적용된 워핑 함수가 적절히 다시 계산된다.

다른 응용예는 최종 가시 비디오 및 오디오 장면의 다른 서브 부분을 위해 마련된 다른 HOA 스트림을 혼합하는 것으로부터 발생한다. 그리고, 공통 비트 스트림에서 HOA 신호가 하나보다 많은 (또는 위의 실시예 1에서는 둘보다 많은) 것이 유리하며, 각각은 그의 개별적인 스크린 특성을 갖는다.

실시예 3: 대안의 구현예

고정된 HOA 디코더를 통해 디코딩하기 전에 HOA 표현을 워핑하는 대신, 신호를 실제 스크린 특성에 적응시키는 방법에 대한 정보는 디코더 설계에 통합될 수 있다. 이러한 구현예는 전술한 예시적인 실시예에 기술된 기본적인 구현에 대한 대안이다. 그러나, 이러한 구현예는 비트 스트림 내에서 스크린 특성의 시그널링을 변화시키지 않는다.

도 8에서, HOA 인코드된 신호는 저장 장치(82)에 저장된다. 시네마에서 상연하기 위해, 장치(82)로부터의 HOA 표현된 신호는 HOA 디코더(83)에서 HOA 디코드되어 렌더러(85)를 통과하여 일련의 라우드스피커를 향해 라우드스피커 신호(81)로서 출력된다.

도 9에서, HOA 인코드된 신호는 저장 장치(92)에 저장된다. 예를 들어, 시네마에서 상연하기 위해, 장치(92)로부터의 HOA 표현된 신호는 HOA 디코더(93)에서 HOA 디코드되어 워핑단(94)을 통해 렌더러(95)로 전달되어 일련의 라우드스피커를 향해 라우드스피커 신호(91)로서 출력된다. 워핑단(94)은 전술한 재생 적응 정보(90)를 수신하고 디코드된 HOA 신호를 적절히 적응시키는데 이용된다.

Claims (17)

1. 타겟 스크린 크기와 연관된 라우드스피커 신호를 생성하기 위한 방법으로서,
   인코딩된 고차 앰비소닉 신호(encoded higher order ambisonics signals)를 포함하는 비트 스트림을 수신하는 단계 - 상기 인코딩된 고차 앰비소닉 신호는 제작 스크린 크기와 연관된 음장(sound field)을 기술함 -;
   상기 인코딩된 고차 앰비소닉 신호를 디코딩하여 상기 음장의 지배적인(dominant) 성분을 나타내는 제1 세트의 디코딩된 고차 앰비소닉 신호 및 상기 음장의 주변(ambient) 성분을 나타내는 제2 세트의 디코딩된 고차 앰비소닉 신호를 획득하는 단계;
   상기 제1 세트의 디코딩된 고차 앰비소닉 신호 및 상기 제2 세트의 디코딩된 고차 앰비소닉 신호를 결합하여 결합된 세트의 디코딩된 고차 앰비소닉 신호를 생성하는 단계; 및
   상기 결합된 세트의 디코딩된 고차 앰비소닉 신호를 렌더링하여 상기 라우드스피커 신호를 생성하는 단계 - 상기 렌더링은 상기 제작 스크린 크기 및 상기 타겟 스크린 크기에 응답하여 적응하고(adapt), 상기 렌더링은 이격된 샘플링 포인트 위치들의 세트에 기초한 제1 모드 매트릭스를 결정하는 것을 포함하고, 상기 렌더링은 디코딩된 고차 앰비소닉 신호의 상기 결합된 세트에 변환 매트릭스를 적용하는 단계를 더 포함하고, 상기 변환 매트릭스는 상기 제1 모드 매트릭스 및 제2 모드 매트릭스에 기초함 -
   를 포함하는 방법.
2. 제1항에 있어서,
   상기 타겟 스크린 크기 또는 상기 제작 스크린 크기를 기준 청취 위치로부터의 각도로서 수신하는 단계 - 상기 각도는 상기 타겟 스크린의 폭에 관련됨 -
   를 더 포함하는, 방법.
3. 제1항에 있어서,
   상기 타겟 스크린 크기 또는 상기 제작 스크린 크기를 각도로서 수신하는 단계 - 상기 각도는 상기 타겟 스크린의 높이에 관련됨 -
   를 더 포함하는, 방법.
4. 제1항에 있어서,
   상기 타겟 스크린 크기 또는 상기 제작 스크린 크기를 제1 각도 및 제2 각도로서 수신하는 단계 - 상기 제1 각도는 상기 타겟 스크린의 폭에 관련되고, 상기 제2 각도는 상기 타겟 스크린의 높이에 관련됨 -
   를 더 포함하는, 방법.
5. 제1항에 있어서,
   상기 렌더링은 상기 제작 스크린 크기 및 상기 타겟 스크린 크기의 비(ratio)에 응답하여 적응하는, 방법.
6. 제1항에 있어서,
   상기 렌더링은 공간 도메인에서 수행되는, 방법.
7. 제1항에 있어서,
   상기 제2 세트의 디코딩된 고차 앰비소닉 신호는 상기 제1 세트의 디코딩된 고차 앰비소닉 신호의 앰비소닉 차수보다 낮은 앰비소닉 차수를 갖는, 방법.
8. 제1항에 있어서,
   상기 제1 세트의 디코딩된 고차 앰비소닉 신호 및 상기 제2 세트의 디코딩된 고차 앰비소닉 신호는 (N+1)²과 같은 앰비소닉 차수(O)를 갖고, N은 상기 제1 세트와 제2 세트 각각에서 고차 앰비소닉 신호의 개수이고, 상기 제2 세트의 디코딩된 고차 앰비소닉 신호는 상기 제1 세트의 디코딩된 고차 앰비소닉 신호의 앰비소닉 차수보다 낮은 앰비소닉 차수를 갖는, 방법.
9. 프로세서에 의해 실행될 때 제1항의 방법을 수행하는 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체.
10. 타겟 스크린 크기와 연관된 라우드스피커 신호를 생성하기 위한 장치로서,
    인코딩된 고차 앰비소닉 신호(encoded higher order ambisonics signals)를 포함하는 비트 스트림을 획득하기 위한 수신기 - 상기 인코딩된 고차 앰비소닉 신호는 제작 스크린 크기와 연관된 음장(sound field)을 기술함 -;
    상기 인코딩된 고차 앰비소닉 신호를 디코딩하여 상기 음장의 지배적인(dominant) 성분을 나타내는 제1 세트의 디코딩된 고차 앰비소닉 신호 및 상기 음장의 주변(ambient) 성분을 나타내는 제2 세트의 디코딩된 고차 앰비소닉 신호를 획득하는 오디오 디코더;
    상기 제1 세트의 디코딩된 고차 앰비소닉 신호 및 상기 제2 세트의 디코딩된 고차 앰비소닉 신호를 통합하여 결합된 세트의 디코딩된 고차 앰비소닉 신호를 생성하는 결합기; 및
    상기 결합된 세트의 디코딩된 고차 앰비소닉 신호를 렌더링하여 상기 라우드스피커 신호를 생성하는 생성기 - 상기 렌더링은 상기 제작 스크린 크기 및 상기 타겟 스크린 크기에 응답하여 적응하고(adapt), 상기 렌더링은 이격된 샘플링 포인트 위치들의 세트에 기초한 제1 모드 매트릭스를 결정하는 것을 포함하고, 상기 렌더링은 디코딩된 고차 앰비소닉 신호의 상기 결합된 세트에 변환 매트릭스를 적용하는 단계를 더 포함하고, 상기 변환 매트릭스는 적어도 부분적으로 상기 제1 모드 매트릭스 및 제2 모드 매트릭스로부터 도출됨 -
    를 포함하는 장치.
11. 제10항에 있어서, 상기 수신기는
    상기 타겟 스크린 크기 또는 상기 제작 스크린 크기를 기준 청취 위치로부터의 각도로서 수신하도록 더 구성되고,
    상기 각도는 상기 타겟 스크린의 폭에 관련되는, 장치.
12. 제10항에 있어서, 상기 수신기는
    상기 타겟 스크린 크기 또는 상기 제작 스크린 크기를 각도로서 수신하도록 더 구성되고,
    상기 각도는 상기 타겟 스크린의 높이에 관련되는, 장치.
13. 제10항에 있어서, 상기 수신기는
    상기 타겟 스크린 크기 또는 상기 제작 스크린 크기를 제1 각도 및 제2 각도로서 수신하도록 더 구성되고,
    상기 제1 각도는 상기 타겟 스크린의 폭에 관련되고, 상기 제2 각도는 상기 타겟 스크린의 높이에 관련되는, 장치.
14. 제10항에 있어서,
    상기 렌더링은 상기 제작 스크린 크기 및 상기 타겟 스크린 크기의 비(ratio)에 응답하여 적응하는, 장치.
15. 제10항에 있어서,
    상기 렌더링은 공간 도메인에서 수행되는, 장치.
16. 제10항에 있어서,
    상기 제2 세트의 디코딩된 고차 앰비소닉 신호는 상기 제1 세트의 디코딩된 고차 앰비소닉 신호의 앰비소닉 차수보다 낮은 앰비소닉 차수를 갖는, 장치.
17. 제10항에 있어서,
    상기 제1 세트의 디코딩된 고차 앰비소닉 신호 및 상기 제2 세트의 디코딩된 고차 앰비소닉 신호는 (N+1)²과 같은 앰비소닉 차수(O)를 갖고, N은 상기 제1 세트와 제2 세트 각각에서 고차 앰비소닉 신호의 개수이고, 상기 제2 세트의 디코딩된 고차 앰비소닉 신호는 상기 제1 세트의 디코딩된 고차 앰비소닉 신호의 앰비소닉 차수보다 낮은 앰비소닉 차수를 갖는, 장치.

Images