KR20080042160A

KR20080042160A - 스테레오 신호들로부터 멀티 채널 오디오 신호들을생성하는 방법

Info

Publication number: KR20080042160A
Application number: KR1020087007932A
Authority: KR
Inventors: 크리스토프 폴러
Original assignee: 엘지전자 주식회사
Priority date: 2005-09-02
Filing date: 2006-09-01
Publication date: 2008-05-14
Also published as: CN101341793B; US20080267413A1; WO2007026025A2; EP1761110A1; KR101341523B1; CN101341793A; WO2007026025A3; US8295493B2

Abstract

가상 음향 스테이지의 정보를 포획하는 2-채널 스테레오 오디오 신호들에 대한 지각적으로 동기 부여된 공간적 분해법(spatial decomposition)가 제안된다. 상기 공간적 분해법은 2-채널 스테레오 외의 다른 음향 시스템들 상에서의 재생을 위한 오디오 신호들을 재합성할 수 있다. 더 많은 전방 라우드 스피커들을 사용함으로, 상기 가상 음향 스테이지의 폭이

이상으로 증가될 수 있으며, 스윗-스팟 지역이 확장된다. 선택적으로, 측방향 독립 음향 성분들이 별개로 청취자의 양 측면들에 위치한 라우드 스피커들 상에서 재생되어 청취자 환경(envelopment)를 증가 시킬 수 있다. 또한, 상기 공간적 분해법이 서라운드 음향과 파동장 합성에 근거한 오디오 시스템에 어떻게 사용딜 수 있는 가도 설명된다. 본 발명의 주 실시예에 따르면, 멀티 입력 오디오 채널들(x₁,...,x_L)로부터 멀티 출력 오디오 채널들(y₁,..., y_M)을 생성하는 방법은, 여기서 출력 채널들의 수는 입력 채널들의 수와 같거나 크며, 입력 서브밴드들 X₁(i),...,X_L(i)의 선형적 결합들에 의해서, 상기 입력 서브밴드들 사이에서 독립적인 신호 성분들을 나타내는 하나 또는 그 이상의 독립 음향 서브밴드들을 계산하는 단계와, 상기 입력 서브밴드들 X₁(i),..., X_L(i)의 선형적 결합들에 의해서, 하나 이상의 상기 입력 서브밴드들에 포함된 신호 성분들을 나타내는 하나 또는 그 이상의 국지화 독립 음향들과 두 개 또는 그 이상의 입력 서브 밴드들에 포함되는 이러한 신호 성분들의 비율을 나타내는 해당 방향 팩터들을 계산하는 단계와, 상기 출력 서브밴드들 Y₁(i),..., Y_M(i)을 생성하는 단계와, 상기 출력 서브밴드들을 생성하는 단계는, 상기 출력 서브밴드들을 0으로 설정하는 단계와, 각각의 독립 음향 서브밴드에 대하여, 상기 출력 서브밴드들의 서브 세트를 선택하고 이 들에게 상기 해당 독립 음향 서브밴드의 스케일된 버전을 추가하는 단계와, 그리고 각각의 방향 팩터에 대하여, 한 쌍의 출력 서브밴드들을 선택하고 이 들에게 상기 해당 국지화 직접 음향 서브밴드의 스케일된 버전을 추가하는 단계와, 그리고 상기 출력 서브밴드들 Y₁(i),...,Y_M(i)을 시간 영역 오디오 신호들 y₁, , y_M로 변환하는 단계로 이루어진다.

음향, 서브밴드, 방향 팩터, 오디오.

Description

스테레오 신호들로부터 멀티 채널 오디오 신호들을 생성하는 방법{METHOD TO GENERATE MULTI-CHANNEL AUDIO SIGNALS FROM STEREO SIGNALS}

본 발명은 주로 오디오 신호 처리에 관한 것이다.

두 개의 채널을 갖는 스테레오를 뛰어 넘는 수 많은 변혁들이, 비용, 비실용성 (즉, 라우드 스피커들의 수) 그리고 마지막으로 언급되지만 아주 중요한 후방 호환성 (backwards compatibility) 때문에 실패로 끝났다. 5.1 서라운드 멀티채널 오디오 시스템들이 소비자들에게 널리 채택되고 있지만, 이러한 시스템 역시 라우드 스피커 수 관점과 후방 호환성 제한성(전방 좌우 라우드 스피커들은 2-채널 스테레오에 있어서 동일한 각도, 즉 +/-30에 위치하여 좁은 전방 가상 사운드 스테이지를 초래한다)과 타협하고 있다.

사실상, 대부분의 오디오 콘텐트는 단연코 2-채널 스테레오 포맷으로 얻어진다. 따라서, 스테레오를 뛰어 넘는 음향 경험을 개선시키는 오디오 시스템들에 대하여, 종래 시스템들과 비교하여 개량된 경험을 바람직하게 줄 수 있도록 스테레오 오디오 콘텐츠가 재생될 수 있는 것은 매우 중요한 문제이다.

보다 많은 라우드 스피커들의 채용이 이상적인 지점(sweet spot)에 정확히 위치하지 못한 청취자들에 대한 가상 사운드 스테이지(virtual sound stage)를 개 선한다는 사실은 오래 전부터 알려져 왔다. 개선된 결과를 위하여 두 개 보다 많은 스테레오 신호들을 재생하는 목표가 있어왔다. 특히, 추가적인 중앙 라우드 스피커를 가지고 스테레오 신호들을 재생하는 점에 대하여 많은 주의가 기울여져 왔다. 그러나, 전통적인 스테레오 재생을 능가하는 이러한 기술들의 진보는 그 기술들이 널리 이용될 수 있도록 하기 위해서는 아직 불충분하다. 이러한 기술들의 주된 한계 들은, 그 기술들이 단지 국지화(localization) 만을 고려하고 앰비언스(ambience) 또는 청취자 인벨럽먼트(listener envelopment)와 같은 그 밖의 면들은 명백히 고려하지 않는데 있다. 더욱이, 이러한 기술들의 뒤에 있는 국지화 이론은 하나의 가상 소스 시나리오(one-virtual-source-scenario)에 기초하여, 여러 개의 소스들이 서로 다른 방향들로 동시에 존재할 때 그 들의 성능을 제한하게 된다.

이러한 취약점들은, 스테레오 오디오 신호들의 지각적으로 동기 부여된 공간 분해법(perceptually motivated spatial decomposition)을 이용하는 본 명세서에서 제안되는 기술들로 극복된다. 이러한 분해법으로, 오디오 신호들은 라우드 스피커들, 라우드 스피커 어레이들 그리고 웨이브필드 합성 시스템들의 증가된 수에 맞도록 렌더링 될 수 있다.

상기 제안된 기술들은 더 많은 채널들을 가지고 (2-채널) 스테레오 신호들을 오디오 신호들로 변환하는 것에만 한정되지 않는다. 일반적으로, L개의 채널을 갖는 신호는 M개의 채널을 가는 신호로 변환될 수 있다. 신호들은 재생을 목적으로 하는 스테레오 또는 멀티채널 오디오 신호들일 수 있거나, 원시 마이크로폰 신호들이거나 마이크로폰 신호들의 선형적인 조합일 수 있다. 또한, 상기 기술이 마이크 로폰 신호들(a.g., Ambisonics G-format)과 매트릭스 서라운드 다운믹스 신호들이 다양한 라우드 스피커 설정들 상에서 재생되기 위하여 어떻게 적용되는 지를 나타낸다.

복수 개의 채널들을 갖는 스테레오 또는 멀티채널 신호를 참조하는 경우, 이는 복수 개의 (모노) 오디오 신호들을 참조하는 경우와 같다는 것을 의미한다.

멀티 오디오 신호들(multiple audio signals)에 적용하는 주 실시예에 따르면, 멀티 입력 오디오 신호들(x₁, , x_L)로부터 멀티 출력 오디오 신호들(y₁, , y_M)를 생성하는 것이 제안되고, 여기서 출력 수는 입력 신호들의 수 이상이다.

일부 실시예에서, 멀티 출력 오디오 신호들을 생성하는 방법은 입력 서브밴드들(x1(i), , XL(i))의 선형적 결합을 이용하여, 상기 입력 서브밴드들간에 독립적인 신호 성분들을 나타내는 하나 이상의 독립 음향 서브밴드들을 계산하는 단계; 입력 서브밴드들(x1(i), , XL(i))의 선형적 결합을 이용하여, 하나 이상의 입력 서브밴드들에 포함된 신호 성분들을 나타내는 하나 또는 그 이상의 국지화 독립 음향 서브밴드들 및 두 개 이상의 입력 서브밴드들에 포함된 신호 성분들의 비율을 나타내는 하나 또는 그 이상의 해당 방향 팩터들을 계산하는 단계; 출력 서브밴드들 (Y1(i), , YM(i))을 0으로 설정하는 단계; 각각의 독립 음향 서브밴드에 대하여 상기 출력 서브밴드들의 하위 집합을 선택하고, 스케일된 독립 음향 서브밴드를 추가하는 단계; 및 각각의 방향 팩터에 대하여 출력 서브밴드 쌍을 선택하고, 스케일된 로컬 직접 음향 서브밴드를 추가하는 단계를 포함하는 출력 서브밴드들을 생성하는 단계; 및 상기 출력 서브밴드들 (Y1(i), , YM(i))을 시간 도메인의 오디오 신호들(y1, , yM)로 변환하는 단계를 포함하며, 멀티 입력 오디오 신호들로부터 입력 채널들의 수보다 같거나 큰 출력 채널들의 수를 갖는다.

상기 인덱스 i는 고려되는 서브밴드의 인덱스이다. 제 1 실시예에 따르면, 비록 채널당 더 많은 서브밴드들이 더 우수한 음향 결과를 초래하여도, 상기 방법은 오디오 채널당 단지 하나의 서브밴드와 함께 사용될 수 있다.

상기 제안된 방식은 다음과 같은 논거에 기초한다. 복수 개의 입력 오디오 신호들(x₁, , x_L)은 오디오 채널들 사이에서 독립적인 음향을 나타내는 신호 성분들과 상기 오디오 채널들 사이에서 상관되는 음향을 나타내는 신호 성분들로 분해된다(decomposed). 이러한 두 가지 신호 성분 유형들이 갖는 상이한 지각 효과에 의하여 동기가 부여된다. 상기 독립 신호 성분들은 소스 폭, 청취자 환경 그리고 앰비언스에 대한 정보를 나타내며, 상기 상관(종속) 신호 성분들은 청각 이벤트들의 국지화(localization)를 나타내거나 또는 음향학적으로 직접 음향을 나타낸다. 각각의 상관 신호 성분에 대하여, 이러한 음향이 복수 개의 오디오 입력 신호들에 포함되는 비율에 의하여 표시될 수 있는 연관 방향 정보가 있다. 이러한 분해가 주어지면, 라우드 스피커들 (또는 헤드폰) 상에서 재생될 때 특정 청각 공간 이미지를 재생하기 위하여, 복수 개의 오디오 입력 신호들이 생성될 수 있다. 상기 상관 신호 성분들은 상기 출력 신호들(y₁, , y_M)로 렌더링 되어, 청취자는 원하던 방향으로부터 이를 지각할 수 있다. 상기 독립 신호 성분들은 상기 출력 신호들(라우드 스피커들)로 렌더링 되어 비직접(non-direct) 음향과 그것의 원하는 지각 효과를 모방(mimic)한다. 고 레벨에서 기술되는 이러한 기능은 상기 입력 신호들로부터 공간 정보를 취하고 이러한 공간 정보를 바람직한 특성을 갖는 출력 채널들에서의 공간 정보로 변환한다.

본 발명은 다음과 같은 첨부된 도면들에 의하여 더욱 잘 이해될 수 있을 것이며, 상기 도면들은:

도 1은 표준 스테레오 라우드 스피커 셋업을 도시하며;

도 2는 두 개의 간섭(coherent) 라우드 스피커 신호들에 대한 상이한 레벨 차이들에 대한 지각된 청각적 이벤트들의 위치를 도시하며, 이 때 두 개의 라우드 스피커들 사이에서 나타나는 청각적 이벤트의 위치는 한 쌍의 코히런트 라우드 스피커 신호들 사이의 레벨과 시간 차이에 의하여 결정 되고;

도 3a는 청각적 이벤트의 확대 효과를 갖는 사이드 라우드 스피커들로부터 나오는 초기 반향음들을 도시하며;

도 3b는 청취자 환경으로서 환경에 관한 사이드 라우드 스피커들로부터 나오는 늦은 반향음들을 도시하고;

도 4는 직접 음향과 측방향 반향음들을 모방하는 스테레오 신호를 믹싱하는 경로를 도시하고;

도 5는 시간의 함수로서 신호가 서브밴드로 분해되는 것을 나타내는 시간- 주파수 타일들을 도시하고;

도 6은 방향 팩터 A와 정규화 파워 S 및 AS를 도시하며;

도 7은 최소 스퀘어 추정 가중치(least squares estimate weights)들(w₁, w₂)과 's'의 추정 계산을 위한 포스트 스케일링 팩터(post scaling factor)를 도시하고;

도 8은 최소 스퀘어 추정 가중치(least squares estimate weights)들(w₃, w₄)과 'N₁'의 추정 계산을 위한 포스트 스케일링 팩터(post scaling factor)를 도시하고;

도 9는 최소 스퀘어 추정 가중치(least squares estimate weights)들(w₅, w₆)과 'N₂'의 추정 계산을 위한 포스트 스케일링 팩터(post scaling factor)를 도시하고;

도 10은 추정된 s, A, n₁ 및 n₂를 도시하고;

도 11a 및 도 11b는 라우드 스피커 어레이(b)의 간극(aperture) 폭에 따라 가상 음향 스테이지로 변환된 30 가상 음향 스테이지(a)를 도시하며;

도 12는 스테레오 신호 레벨 차이의 함수로서 라우드 스피커 쌍 선택 l과 팩터들(a₁, a₂)를 도시하며;

도 13은 복수개의 라우드 스피커들을 통한 평면 파들의 방출(emission)을 도시하고;

도 14a 및 도 14b는 사이드 라우드 스피커들(b)로부터 독립 음향을 방출 시키는 것에 의하여 증가된 청취자 환경을 가지고 라우드 스피커의 간극 폭에 따라 가상 음향 스테이지로 변환된 30 가상 음향 스테이지(a)를 도시하며;

도 15는 도 14b의 설정을 위하여 생성된 여덟 개의 신호들을 도시하고;

도 16은 가상 소스로 정의된 정면 음향 스테이지에 해당하는 각각의 신호를 도시하며, 여기서, 독립적 측방향 음향은 평면파(far field에서 가상 소스들)들로서 방출되고; 그리고

도 17a 및 도 17b은 보다 많은 라우드 스피커들을 가지고 사용되기 위하여 확장되는 4-채널 방식의 음향 시스템을 도시한다.

공간적 청취와 스테레오 라우드 스피커 재생

(Spatial Hearing and Stereo Loudspeaker Playback)

상기 제안된 방식은 두 개의 입력 채널들(스테레오 오디오 입력)과 M 개의 오디오 출력 채널들(M=2)의 중요한 경우로서 설명된다. 이 후, 스테레오 입력 신호들의 예에서 유도되는 동일한 추론을 어떻게 L 개의 입력 채널에 대한 좀더 일반적인 경우에 적용할 수 있는 지에 대하여 설명된다.

공간 오디오를 위하여 가장 일반적으로 사용되는 소비자 재생 시스템은 도 1에 도시된 바와 같은 스테레오 라우드 스피커 시스템이다. 두 개의 라우드 스피커들이 청취자의 정면 좌측 및 우측 각각에 놓여 있다. 통상적으로, 상기 라우드 스피커들은 하나의 원주 상에 각각 -30 및 +30의 각도를 갖고 위치한다. 이와 같은 스테레오 시스템을 들을 때 지각되는 청각적 공간 이미지(auditory spatial image)의 폭은 대략 두 개의 라우드 스피커들 사이 및 배후 영역으로 제한된다.

자연적 청취에 있어서 그리고 재생되는 음향을 청취할 때, 상기 지각된 청각적 공간 이미지는 주로 양 귀의 국지화 신호들(binaural localization cues), 즉, interaural time difference (ITD), interaural level difference (ILD) 그리고 interaural coherence (IC)에 의존한다. 더욱이, 상승의 지각은 한 쪽 청각 신호들 (monoaural cues)에 관련되는 것으로 알려져 있다.

스테레오 라우드 스피커 재생으로 음향 스테이지를 모방하는 청각적 공간 이미지를 생산하는 능력은, summing localization의 지각적 현상에 의하여 가능하다. 즉, 라우드 스피커들에 주어지는 신호들 사이의 레벨 그리고/또는 시간 차이를 제어하는 것에 의하여, 청각적 이벤트(auditory event)는 청취자 전방의 한 쌍의 라우드 스피커들 사이에서의 어떠한 각도에서라도 나타나도록 만들어 질 수 있다. 1930년대의 Blumlein은 이러한 원리의 힘을 인식하고 현재 널리 알려진 입체음향(stereophony) 특허를 출원 하였다. Summing localization은 양쪽 귀들에서 일깨워지는 ITD 및 ILD 큐들은 조잡하게 우세한 큐들로 근사한다. 이때, 만약 라우드 스피커들 사이에서 나타나는 청각적 이벤트의 방향에 물리적 소스가 위치한다면 상기 우세한 큐들이 나타난다.

도 2는 두 개의 간섭(coherent) 라우드 스피커 신호들에 대한 상이한 레벨 차이들에 대한 지각된 청각적 이벤트들의 위치를 도시한다. 좌우 라우드 스피커 신호들이 상호 간섭적(coherent)이고, 같은 레벨을 가지며, 상호 지연 차이를 갖지 아니할 경우, 청각적 이벤트는 도 2의 지역 1에서와 같이 두 개의 라우드 스피커들 사이의 중앙에서 나타난다. 일 측, 예를 들면 우측의 레벨을 증가시키는 것에 의하여, 상기 청각적 이벤트는 도 2의 지역 2에서와 같이 해당 측으로 이동한다. 극단적인 경우에는, 좌측 신호만이 활성화 되었을 때, 상기 청각적 이벤트는 도 2의 지역 3에서와 같이 좌측 라우드 스피커 위치에서 나타난다. 상기 청각적 이벤트의 위치는 상기 라우드 스피커 신호들 사이의 지연을 변화시킴으로써 유사하게 제어될 수 있다. 한 쌍의 라우드 스피커들 사이의 청각적 이벤트의 위치를 제어하기 위한 상기 원리는 상기 라우드 스피커 쌍이 청취자 전방에 위치하지 아니한 경우에도 적용될 수 있다. 그러나, 청취자 측면들의 라우드 스피커들에는 일정한 제약이 부과된다.

도 2를 참조하면, 상이한 기기들이 가상 음향 스테이지의 상이한 방향들에 놓여 있는, 즉, 두 개의 라우드 스피커들 사이의 지역에 놓여 있는 시나리오를 모방하기 위하여 써밍 국지화(summing localization)가 이용될 수 있다. 하기에서는, 다른 국지화 속성들이 어떻게 제어되는 지를 기술한다.

콘서트 홀의 음향효과(acoustics)에 있어서 중요한 것은, 측면으로부터 청취자에게 도달하는 반향음들(reflections), 즉, 측면 반향음들에 대한 고려이다. 초기 측면 반향음들은 청각적 이벤트를 넓히는 효과를 가져오는 것으로 알려져 있다. 80ms 미만의 지연들을 갖는 초기 반향음들의 효과는 대략 일정하고, 따라서 물리적 척도(측면 프랙션(lateral fraction)으로 표시)가 이러한 범위의 초기 반향음들을 고려하여 정의되었다. 상기 측면 프랙션은, 측방향 음향 에너지 대 직접 음향 의 도착 후 최초 80ms 이내에 도착하는 전체 음향 에너지의 비율이다. 또한, 상기 측면 프랙션은 청각적 이벤트의 폭을 나타낸다.

초기 측면 반향음들을 모방하는 실험적 셋업이 도 3(a)에 도시되어 있다. 독립적 초기 반향음들이 좌우 라우드 스피커들로부터 방출되는 동안, 직접 음향이 중앙 라우드 스피커로부터 방출된다. 초기 측면 반향음들의 상대적 세기가 증가함에 딸 청각적 이벤트의 폭도 증가한다.

상기 직접 음향(direct sound)의 도착 후 80ms 이상 동안, 측면 반향음들은 환경 지각(environment perception)에 청각적 이벤트 그 자체보다 더 많이 기여하는 경향이 있다. 바로 이러한 점이 '환경(envelopment)' 또는 'spaciousness of environment'(흔히, 청취자 환경(listener envelopment)로 표시됨)의 관점으로 나타난다. 또한, 초기 반향음에 대한 측면 프랙션과 같은 유사한 척도는 청취자 환경의 정도를 측정하기 위하여 후기 반향음들(late reflections)에 적용될 수 있다. 이러한 척도는 후기 측면 에너지 일부(late lateral energy fraction)으로 표현된다.

후기 측면 반향음들(late lateral reflections)은 도 3(b)에 도시된 셋업으로 모방될(emulated) 수 있다. 독립적인 후기 반향음들이 좌,우측 라우드 스피커들에서 방출되는 동안, 직접 음향(direct sound)은 중앙 라우드 스피커에서 방출된다. 청각적 이벤트의 폭이 거의 영향 받지 않을 거이라 기대되지만, 후기 측면 반향음들의 상대적인 세기가 증가됨에 따라, 청취자 환경의 감각 기능(sense)도 증가한다.

스테레오 신호들은 레코딩 되거나 믹스되어, 각각의 소스에 대하여, 상기 신호가 특정 방향 큐들(directional cues: level difference, time difference))을 가지고 좌, 우 신호 채널에 상호 간섭적으로 들어가고, 또한 반사/반향 독립 신호들은 청각적 이벤트 폭과 청취자 환경 큐들을 결정하는 채널들 속으로 들어간다. 믹싱과 레코딩 기술들에 대하여 더 이상 언급하는 것은 본 설명의 범주를 벗어난다.

스테레오 신호들의 공간적 분해 (Spatial Decomposition of Stereo Signals)

도 3에 도시된 바와 같이 실제 소스로부터의 직접 음향을 사용하는 것에 반해, 써밍 국지화(summing localization)로 생성된 가상 소스에 해당하는 직접 음향을 사용할 수 있다. 음영된 영역들은 지각된 청각적 이벤트들을 나타낸다. 즉, 도 3에 도시된 실험들은 단지 두 개의 스피커들을 사용하여 수행된다. 이러한 것이 도 4에 도시되어 있다. 도 4에서, 신호 s는 팩터 a에 의하여 결정된 방향으로부터의 직접 음향을 모방한다. 독립 신호들 n₁과 n₂는 측면 반향음들에 해당한다. 상기 설명된 시나리오는 하나의 청각적 이벤트에 따른 스테레오 신호들에 대한 자연적 분해에 관한 것으로, 청각적 이벤트 및 청취자 환경의 국지화 및 폭에 대한 캡쳐링(capturing)에 관한 것이다.

하나의 청각적 이벤트 시나리오뿐만 아니라 동시에 활성화된 멀티 소스들에 의한 비정적(non-stationary)인 시나리오들에 대하여도 효과적인 분해(decomposition)를 얻기 위하여, 상술한 분해는 복수의 주파수 밴드들에서 독립적으로 수행되고 또한 적절한 시기에 적응적으로 수행된다.

이때, i는 서브밴드 인덱스를 나타내고 k는 서브밴드 시간 인덱스를 나타낸다. 이러한 것이 도 5에 도시되어 있다. 즉, 인덱스 i와 인덱스 k를 갖는 각각의 시간-주파수 타일에 있어서, 신호들 S, N₁ 그리고 N₂ 및 방향 팩터 A는 독립적으로 추정된다. 하기 설명에서, 표시의 간결함을 위하여, 상기 서브밴드 인덱스와 상기 시간 인덱스는 종종 무시된다. 지각적으로 동기 부여된 서브밴드 대역폭들에 따른 서브밴드 분해를 사용한다. 즉, 하나의 서브밴드의 대역폭이 선택되어 하나의 임계대역(critical band)과 같아진다. S, N₁ 그리고 N₂ 및 방향 팩터 A는 각각의 서브밴드에서 대략 매 20ms 마다 추정된다.

방정식 (2)에서 직접 음향의 시간 차이를 더욱 일반적으로 고려할 수 있다는 점을 주목하여야 한다. 즉, 방향 팩터를 이용할 뿐만 아니라, X₁과 X₂에 포함된 S만큼의 지연으로 정의되는 방향 지연도 이용할 수 있는 것이다. 하기의 서명에서, 그러한 지연을 고려하지는 않지만, 이러한 분석이 상기 지연을 고려하도록 확장될 수 있다는 점이 이해될 수 있을 것이다.

상기 스테레오 서브밴드 신호들 X₁과 X₂이 주어지면, 그 목적은 S, N₁, N₂ 그리고 A들의 추정치를 계산하는 것이다. 파워 X₁의 단시간 추정치(short-time estimate)는

로 표시된다. 다른 신호들에 대하여도 동일한 규칙(convention)이 이용된다. 즉,

, P _s 그리고

는 해당 단시간 파워 추정치들이다. N₁과 N₂의 파워는 동일하다고 가정한다. 즉, 측면 독립 음향의 양은 좌, 우 양측이 동일하다고 가정한다.

이외에도 다른 가정들이 이용될 수 있다는 점에 주목하여야 한다. 예를 들면,

등 이다.

P _S , A 그리고 P _N 추정 ( Estimating P _S , A and P _N )

스테레오 신호의 서브밴드 표현이 주어지면, 파워

와 정규화 상호 상관(cross-correlation)이 계산된다. 좌, 우측 사이의 상기 정규화 상 호 상관은 다음과 같다.

,

그리고

은 상기 추정된

그리고

의 함수로 계산된다. 알려지거나 알려지지 아니한 변수들의 관계를 나타내는 세 개의 방정식들은 다음과 같다.

상기 방정식들은 A, P_s 그리고 P_N에 대하여 풀면 다음과 같다.

그리고,

S, N ₁ 그리고 N ₂ 의 최소 스퀘어 추정 ( Least squares estimation of S, N ₁ and N ₂ )

S, N₁ 그리고 N₂의 최소 스퀘어 추정치들은 A, P_S 그리고 P_N의 함수로 계산된다. 각각의 i 그리고 k에 대하여, 신호 S는 다음과 같이 추정된다.

여기서,

는 실수 가중치들이다. 추정 에러는 다음과 같다.

상기 에러 E가 X₁과 X₂에 대하여 직교할 경우, 상기 가중치들

과

는 최소평균제곱(least mean square) 의미에서 최적이다. 즉,

이는 아래의 두 개의 방정식을 생성한다.

이로부터 상기 가중치들은 다음과 같이 계산된다.

이와 유사하게, N₁과 N₂도 추정된다. N₁의 추정치는 다음과 같다.

추정 에러는 다음과 같다.

다시, 상기 가중치들은 상기 추정 에러가 X₁과 X₂에 직교하도록 계산되어 다 음과 같은 결과를 가져온다.

N2의 최소 스퀘어 추정치를 계산하기 위한 가중치들은 다음과 같이 계산된다.

포스트-스케일링 (Post-scaling)

최소 스퀘어 추정치들이 주어지면, 이들은 (최적으로) 포스트-스케일 되어 추정치들

,

그리고

의 파워는 P_S 및 P_N=P_N1=P_N2와 동등하게 된다. 의 파워는 다음과 같다.

이와 같이, 파워 P_S를 갖는 S의 추정치를 획득하기 위하여,

는 다음과 같이 스케일 된다.

유사한 추론으로,

와

도 다음과 같이 스케일 된다.

수치적 예들 ( Numerical examples )

방향 팩터 A와 S 및 AS의 정규화 파워는 스테레오 신호 레벨 차이 및

의 함수로 도 6에서 표현된다.

S의 최소 스퀘어 추정치를 계산하기 위한 가중치들

및

는 스테레오 신호 레벨 차이 및

의 함수로 도 7의 상측 두 개의 패널들에 각각 나타나 있다.

(18)에 대한 포스트-스케일링 팩터가 하측 패널 상에 나타나 있다.

N₁의 최소 스퀘어 추정치를 계산하기 위한 가중치들

및

와 해당 포스트-스케일링 팩터 (19)가 스테레오 신호 레벨 차이 및

의 함수로 도 7에 나타나 있다.

N₂의 최소 스퀘어 추정치를 계산하기 위한 가중치들

및

의 함수로 도 7에 나타나 있다.

중앙에서의 가수와의 스테레오 록 뮤직 클립의 공간 분해의 예가 도 10에 도시되어 있다. s, A, n₁ 그리고 n₂의 추정치들이 도시되어 있다. 상기 신호들은 시간 영역에 도시되어 있고, 'A'는 모든 시간-주파수 타일에 대하여 도시되어 있다. 중앙의 가수가 우세하므로, 독립 측방향 음향 n₁ 및 n₂에 비하여, 상기 추정된 직접 음향 s는 상대적으로 강하다.

상이한 재생 셋업들 상에서의 분해된 스테레오 신호들의 재생 (Playing Back the Decomposed Stereo Signals over Different Playback Setups)

스테레오 신호의 공간적 분해, 즉 추정 국지화 직접 음향

, 방향 팩터 A, 그리고 측면 독립 음향

및

가 주어지면

,

및

에 해당하는 신호 성분들을 어떻게 상이한 재생 셋업들로부터 방출시키는 지에 대한 규칙을 정의할 수 있다.

청취자 전방의 멀티 라우드 스피커들 (Multiple loudspeakers in front of the listener)

도 11은 상기 언급된 시나리오를 도시한다. 도면의 Part(a)에 나타난 폭

의 가상 음향 스테이지는, 도면의 Part(b)에 도시된 멀티 라우드 스피커들로 재생되는 폭

의 가상 음향 스테이지로 스케일 된다.

추정된 독립 측방향 음향

및

는 측면들에 위치한 라우드 스피커들로부터, 예를 들면, 도 11(b)에 도시된 라우드 스피커 1 및 라우드 스피커 6으로부터 방출된다. 다시 말하면, 측방향 음향이 해당 측면으로부터 더욱 많이 나올수록, 청취자를 상기 음향으로 감싸는데(envelop) 더욱 효과적이기 때문이다. 추정된 방향 벡터 A가 주어지면, '싸인들의 입체음향 법칙 (stereophonic law of sines)' 또는 지각된 각도에 관한 다른 법칙들을 이용하여 가상 음향 스테이지

에 관련된 청각적 이벤트의 각도

가 추정되고, 이 때 상기 각도는 다음과 같다.

이러한 각도는 선형적으로 스케일 되어 넓어진 음향 스테이지에 관한 각도를 계산하게 되며, 이는 다음과 같다.

를 담은 라우드 스피커 쌍이 선택된다. 도 11(b)에 도시된 예에 있어서, 이러한 쌍은 인덱스 4 및 인덱스 5를 갖는다. 이러한 라우드 스피커 쌍 사이의 진폭 패닝에 관계된 각도들

및

는 도시된 바와 같이 정의된다. 만약 상기 선택된 라우드 스피커 쌍이 인덱스

및 인덱스

를 가지면, 이러한 라우드 스피커들에 주어진 신호들은 다음과 같다.

여기서, 진폭 패닝 팩터들 a₁ 및 a₂는 '싸인들의 입체음향 법칙 (stereophonic law of sines)' 또는 지각된 각도에 관한 다른 법칙들에 따라 계산되며,

처럼 다음과 같이 정규화된다(normalized).

여기서, C는 다음과 같다.

상기 식 (22)에서의 팩터들

에 따라, 이러한 신호들의 총 파워는 스테레오 신호의 간섭 성분들 S 및 AS의 총 파워와 같다. 대안적으로, 신호를 두 개 이상의 라우드 스피커들에게 동시에 주는 진폭 패닝 법칙들을 이용할 수도 있다.

도 12는 라우드 스피커들,

및

의 선택과 각도들 {-30, -20, -12, -4, 4, 12, 20, 30}에서 M=8인 라우드 스피커들에 대한

를 위한 진폭 패닝 팩터들 a₁ 및 a₂의 예를 도시한다.

상기 추론이 주어지면, 출력 신호 채널들 i 및 k의 각각의 시간-주파수 타일은 다음과 같이 계산된다.

여기서, 상기

은 하기 수학식 26과 같다.

m은 출력 채널 인덱스

이다. 출력 채널들의 서브밴드 신호들은 다시 시간 도메인으로 변환되어 출력 채널들 y₁ 내지 y_M을 형성한다. 이하 설명에서, 이러한 마지막 단계는 항상 명백히 언급되지는 아니한다.

상기 기술된 기법의 제한은, 청취자가 일 측에 위치할 때 즉, 청취자가 라우드 스피커 1에 더 가까이 위치할 경우, 측방향 독립 음향은 타측으로부터 오는 측방향 음향보다 훨씬 많은 세기를 가지고 상기 청취자에게 이를 것이다. 이러한 문제는, 두 개의 측방향 평면파들을 발생시킬 목적으로 모든 라우드 스피커들로부터 측방향 독립 음향을 방출시키므로써, 회피할 수 있다. 이에 관하여 도 13에 도시되어 있다. 상기 측방향 독립 음향은 소정의 방향을 갖는 평면파를 모방하는 지 연들을 갖고 모든 라우드 스피커들에게 주어지며, 이는 다음과 같이 표시된다.

여기서, d는 상기 지연을 나타내며 하기 수학식 28과 같다.

상기 s는 균등하게 이격되어 있는 라우드 스피커들 사이의 거리이며, v는 음향의 속도이고, f_s는 서브밴드 샘플링 주파수이며, 그리고

는 두개의 평면파들의 전달(propagation) 방향들을 나타낸다. 이러한 시스템에서, 서브밴드 샘플링 주파수는 d가 정수(integer)로 표현될 수 있을 만큼 충분히 높지 않다. 이와 같이,

및

를 먼저 시간-도메인으로 변환 한 다음, 다양하게 지연된 버전들을 출력 채널들에 추가한다.

멀티 정면 라우드 스피커들 플러스 측면 라우드 스피커들 (Multiple front loud speakers plus side loud speakers)

상기 이전에 설명된 재생 시나리오는 가상 음향 스테이지를 폭 넓게 만들고 지각된 음향 스테이지를 청취자의 위치에 독립적으로 만드는데 그 목적이 있다.

선택적으로, 독립 측방향 음향

및

를, 도 14에 도시된 바와 같이, 청취자의 측면들 쪽으로 더 위치한 이격된 두 개의 라우드 스피커들 가지고 재생할 수 있다.

가상 음향 스테이지 (a)는 라우드 스피커 어레이 (b)의 간극(aperture) 폭을 갖는 가상 음향 스테이지로 변환된다. 추가적으로, 측방향 독립 음향은 보다 강렬한 청취자 환경을 위하여 이격된 라우드 스피커들을 통하여 그 측면들로부터 재생된다. 이는 청취자 환경의 더욱 보다 강렬한 인상을 초래할 것으로 기대된다. 이 때, 출력 신호들은 (25)에 따라 계산되고, 여기서 인덱스 1 및 인덱스 M의 상기 신호들은 측면의 라우드 스피커들이다. 이 경우, 라우드 스피커 쌍 선택,

과

은, 가상 스테이지의 전체 폭이 정면 라우드 스피커들

에 대하여만 투사되므로,

가 인덱스 1 및 인덱스 M의 상기 신호들에는 결코 주어지지 않는다.

도 15는 동일한 음악 클립에 대한 도 14의 설정을 위하여 생성된 여덟 개의 신호들에 대한 예를 도시하고, 여기서 동일한 음악 클립을 위하여 공간적 분해가 도 10에 도시되었다. 중앙의 우세한 싱어가 두 개의 중앙 라우드 스피커 신호들 y4및 y5 사이에서 진폭-패닝된 점을 주목하여야 한다.

일반적인 5.1 서라운드 라우드 스피커 셋업 ( Conventional 5.1 surround loudspeaker setup )

스테레오 신호를 5.1 서라운드 호환 멀티채널 오디오 신호로 변환 할 수 있는 가능성은 5.1 표준에서 특정된 바와 같이 배열된 세 개의 전방 라우드 스피커들 및 두 개의 후방 라우드 스피커들을 갖는, 도 14(b)에 도시된 바와 같은, 셋업을 이용하는데 있다. 이 경우, 상기 후방 라우드 스피커들은 독립적인 측방향 음향을 방출하며, 이 동안 전방 스피커들은 가상 음향 스테이지를 재구성하기 위하여 사용된다. 형식을 따지지 않는 청취는, 상술한 바와 같이 오디오 신호들을 재생할 경우, 청취자 환경이 스테레오 재생에 비하여 더욱 발성된다는(pronounced) 것을 나타낸다.

스테레오 신호를 5.1 서라운드 호환 오디오 신호로 변환 할 수 있는 다른 가능성은, 5.1 구성에 매칭되도록 재배열된 라우드 스피커들을 묘사하는 도 11에 도시된 셋업을 이용하는데 있다. 이 경우,

가상 스테이지는 청취자를 감싸는 110 가상 스테이지로 확장된다.

파동장 합성 재생 시스템 ( Wavefield synthesis playback system )

먼저, 신호들 y₁, y₂, , y_M들이 도 14(b)에 도시된 셋업에 유사하게 생성된다. 이후, 각각의 신호 y₁, y₂, , y_M에 대하여, 가상 소스가 파동장 합성 시스템에 정의되어 있다. 측방향 독립 음향 y₁ 및 y_M은 M=8에 대한 도 16에 도시된 바와 같은 평면 파들 또는 파-필드(far field)의 소스들로서 방출된다. 각각의 다른 신호에 대하여, 가상 소스다 소망되던 위치에서 정의된다. 도 16에 도시된 예에서, 상이한 소스들에 대하여 거리가 변화되고 상기 소스들의 일부는 음향 방출 어레이의 정면에 있도록 정의된다. 즉, 가상 음향 스테이지는 각각의 정의된 방향에 대한 개별적인 거리로 정의될 수 있다.

2에서 M으로의 변환에 대한 일반화 기법 (Generalized scheme for 2-to-M conversion)

통상적으로, 상술된 기법들의 어느 것을 위해서라도 라우드 스피커 신호들은 다음과 같이 공식화 될 수 있다.

Y = MN

여기서, N은 신호들

,

그리고

를 포함하는 벡터이다. 벡터 Y는 모든 라우드 스피커 신호들을 포함한다. 매트릭스 M은, 벡터 Y 내의 라우드 스피커 신호들이 식 (25) 또는 식 (27)에 의하여 계산된 것과 같도록 하는 요소(element)들을 갖는다. 대안적으로, 상이한 매트릭스들 M은 필터링 그리고/또는 상이한 진폭 패닝 법칙들(예를 들면, 둘 이상의 라우드 스피커들을 이용하는

의 패닝)을 이용하여 구현될 것이다. 파동장 합성 시스템들에 대하여, 벡터 Y는 시스템의 모든 라우드 스피커 신호들을 포함할 수도 있다 (통상 > M). 이 경우, 매트릭스 M은 지 연들, 전역 패스 필터 (all-pass filter) 그리고 통상의 필터들을 포함함으로서,

,

그리고

에 연관된 가상 소스들에 해당하는 파동장의 방출을 구현한다. 청구항들에서, M의 행렬 요소들로서의 지연들, 전역 패스 필터 (all-pass filter) 그리고 통상의 필터들을 갖는 식 (29)와 같은 관계는 N에서의 요소들의 선형적 조합으로 표시된다.

분해된 오디오 신호들에 대한 변경 ( Modifying the Decomposed Audio Signals )

음향 스테이지 폭의 제어 (Controlling the width of the sound stage)

추정된 방향 벡터들, 예를 들면, A(i,k)를 변경하여, 가상 음향 스테이지의 폭을 제어할 수 있다. 1보다 큰 팩터를 갖는 방향 백터들의 선형적 스케일링에 의하여, 음향 스테이지의 일부를 구성하는 기구들이 측면 조으로 더 이동된다. 그 반대도 1보다 작은 팩터를 갖는 스케일링에 의하여 달성될 수 있다. 대안적으로, 국지화된 직접 음향의 각도를 계산하기 위한 상기 진폭 패닝 법칙 (2)이 변경될 수 있다.

국지화 직접 음향과 독립 음향 사의 의 비율 변경 (Modifying the ration between localized direct sound and the independent sound)

앰비언스의 양을 제어하기 위하여, 다소의 앰비언스를 얻기 위한 독립 측방향 음향 신호들

및

이 스케일 될 수 있다. 이와 유사하게, 국지화된 직접 음향도

신호들을 스케일링 하는 것에 의하여 그 세기에 있어서 변경될 수 있다.

스테레오 신호들의 변경 (Modifying stereo signals)

채널들의 수를 증가시키지 않고 스테레오 신호들을 변경하기 위한 상기 제안된 분해법(decomposition)이 이용될 수 있다. 여기서의 목적은 오로지 가상 음향 스테이지의 폭과 국지화된 직접 음향과 독립 음향 사이의 비율 중 어느 하나를 변경하기 위한 것이다. 이 경우 스테레오 출력의 서브밴드들은 다음과 같다.

여기서, 팩터들 v₁ 및 v₂는 독립 음향과 국지화 음향 사의의 비율을 제어하기 위하여 사용된다.

이면, 음향 스테이지의 폭 또한 변경된다. (반면에, 이 경우 v₂는 변경되어

에 대한 국지화 음향에서의 레벨 변화를 보상한다.)

둘 이상의 입력 채널들에 대한 일반화 (Generalization to more than two input channels)

2 입력 채널 경우에 대한

,

및

의 일반화는 다음과 같이 문장으로 수식화된다 (이는 최소 스퀘어 추정의 목적이었다). 측방향 독립 음향

이, X₁으로부터 X₂에 역시 포함된 신호 성분을 제거하는 것으로 계산된다. 이와 유사하게,

가, X₁으로부터 X₁에 역시 포함된 신호 성분을 제거하는 것으로 계산된다. X₁과 X₂ 모두에 존재하는 신호 성분을 포함하도록 국지화 직접 음향

이 계산되며, A는

이 X₁과 X₂에 포함될 때의 계산된 크기 비율이다. A는 국지화된 직접 음향의 방향을 나타낸다.

하나의 예로써, 네 개의 입력 채널들을 갖는 기법이 기술된다. 도 17(a)에 도시된 바와 같은 라우드 스피커 신호들 x₁내지 x₄을 갖는 4 채널 방식의 시스템이 도 17(b)에 도시된 바와 같은 보다 많은 재생 채널들로 확장되기로 한다. 2 입력 채널 경우에서와 유사하게, 독립 음향 채널들이 계산된다. 이 경우, 이들은 네 개의 신호들

,

, 및

이다 (혹은 그 보다 작은 수의 신호들). 이러한 신호들은 상기 2 입력 채널 경우에 대한 설명에서와 같은 정신으로 계산된다. 즉, 상기 독립 음향

은, X₁으로부터 X₂ 또는 X₄ 중(인근 4 채널 라우드 스피커들의 신호들) 어느 하나에 포함되어 있는 신호 성분들을 제거하는 방법으로 계산된다. 이와 유사하게,

,

및

이 계산된다. 인접한 라우드 스피커들의 각각 채널 쌍에 대하여 국지화 직접 음향(localized direct sound), 즉

,

및

이 계산된다. 상기 국지화 직접 음향

는 X₁과 X₂ 모두에 존재하는 신호 성분을 포함하도록 계산되고, A₁₂는 계산된 크기(magnitude) 비율이 되도록 계산된다. 이러한 비율로 가 X₁과 X₂에 포함되어 있다. A₁₂는 상기 국지화 직접 음향의 방향을 나타낸다. 유사한 추론으로,

,

, 및

이 계산된다. 12 채널을 갖는 시스템 상에서의 재생을 위하여, 도 17(b)에 도시된 바와 같이,

,

, 및

이 신호들

및

로서 라우드 스피커들로부터 방출된다.

내지

를 방출하는 경우, 즉 A₁₂로 정의된 방향에 가장 가까운 라우드 스피커 쌍 상의

의 진폭 패닝에서와 같이, 유사한 알고리즘이 전방 스피커들

내지

에 적용된다. 이와 유사하게, A₂₃, A₃₄ 그리고 A₄₁의 함수로 세 개의 다른 측면을 향하는 라우드 스피커들로부터

,

가 방출된다. 대안적으로, 2 입력 채널 경우에서와 같이, 독립 음향 채널들은 평면파들의 형태로 방출될 수 있다. 또한, 상기 2 입력 채널 경우에 대한 파동장 합성을 이용하는 정신에 유사하한, 도 17(b)에 도시된 각각의 라우드 스피커에 대한 가상 소스를 정의 하는 것에 의하여 라우드 스피커 어레이들을 갖는 파동장 합성 시스템 상의 재생이 가능하다. 다시, 이러한 기법은, 수학식 29에 유사하게, 일반화 될 수 있다. 여기서, 벡터 N은 모든 계산된 독립적 그리고 국지화된 음향 채널들의 서브밴드 신호들을 포함한다.

유사한 추론으로, 5.1 멀티채널 서라운드 오디오 시스템이 5 개 이상의 메인 라우드 스피커들을 갖는 재생을 위하여 확장될 수 있다. 그러나, 좌측 전방과 우측 전방 사이에서 진폭 패닝이 적용되는 (중앙 없이) 콘텐츠가 종종 생성되므로, 중앙 채널은 특별한 처리가 필요하다. 때때로, 진폭 패닝은 좌측과 중앙 사이, 전방 우측과 중앙 사이, 또는 세 개 채널들 모두 사이에서 적용된다. 이러한 점이, 인접한 라우드 스피커 쌍들 사이에서만 공통 신호 성분들이 있다는 가정 하의 신호 모델을 사용한 상술된 4 채널 예와 다르다. 이런 점을 국지화 직접 음향을 계산하는데 고려하던지 또는, 보다 간단한 해법은 전방 세 개의 채널들을 두 개의 채널들로 다운믹스 하고 4 채널을 위해서 기술된 시스템을 적용하는 것이다.

2 개의 입력 채널을 갖는 기법을 그 이상의 입력 채널을 갖는 기법으로 확장하기 위한 보다 간단한 해법은, 소정의 채널 쌍들 사이에서 두 개의 입력 채널들에 대한 기법을 발견적으로(heuristically) 적용하고 그에 따른 분해들(decompositions)을 결합하여, 예를 들면 4-채널 경우에 있어서,

,

, A₁₂, A₂₃, A₃₄ 및 A₄₁을 계산하는 것이다.

앰비소닉스에 대한 라우드 스피커 신호들의 결합 (Computation of Loudspeaker Signals for Ambisonics)

앰비소닉 시스템은 특정 재생 셋업으로부터 독립적인 신호들을 다루는 서라운드 오디오 시스템이다. 일차 앰비소닉 시스템(first order Ambisonic system)은 공간에서의 특정 지점 P에 관계되어 정의된 다음과 같은 신호들을 다룬다.

여기서,

는 P에서 (전방향성의: omnidirectional) 음향 압력 신호이다. 신호들 X, Y 그리고 Z는 P에서의 쌍극자들로부터 획득된 신호들이다. 즉, 이러한 신호들은 Cartesian 좌표 방향들 x, y 그리고 z에서의 (여기서, 원점은 지점 P에 있다) 입자 속도에 비례한다. 각도들

및

는 방위각(azimuth angle)과 앙각(elevation angle)을 각각 나타낸다 (구극 좌표: spherical polar coordinates). 소위 'B-Format' 신호는 추가적으로 W, X, Y 그리고 Z에 대한

의 팩터를 다룬다.

M-채널 삼차원 라우드 스피커 시스템 상의 재생에 대한 M개의 신호들을 생성하기 위하여, 여덟 방향들 x, -x, y, -y, z 그리고 -z에서 오는 음향을 나타내는 신호들이 계산된다. 이는 예를 들면, 다음과 같은 방향성(예를 들면, cardioid: 심장형) 응답들을 얻기 위하여 W, X, Y 그리고 Z를 결합하여 달성된다.

이러한 신호들이 주어지면, 상기 4-채널 시스템에 대하여 기술된 바와 같은 유사한 추론이 여덟 개(또는, 필요하다면 그 보다 적은 수)의 독립 음향 서브밴드 신호들

(

)을 계산하기 위하여 사용된다. 예를 들면, X₁으로부터 공간적으로 인접하는 채널들 X₃, X₄, X₅ 또는 X₆에 포함된 신호 성분들을 제거하는 것에 의하여 독립 음향

이 계산된다. 추가적으로, 입력 신호들의 인접하는 쌍들 또는 삼중들(triples) 사이에서, 국지화 직접 음향과 방향을 나타내는 방향 팩터들이 계산된다. 이러한 분해가 주어지면, 상술된 4-채널 시스템에서 기술된 바와 유사하게 또는 일반적으로 상기 수학식 29와 같이, 음향이 라우드 스피커들 상으로 방출된다.

이차원 앰비소닉 시스템에 대하여 하기 수학식 33과 같이 네 개의 입력 신호들

내지

이 생성되고, 상기 처리는 상술된 4 채널 시스템과 유사하다.

행렬화된 서라운드의 디코딩 ( Decoding of Matrixed Surround )

매트릭스 서라운드 인코더)matrix surround encoder)는 멀티채널 오디오 신호(예를 들면, 5.1 서라운드 채널)를 다운-믹스하여 스테레오 신호를 만든다. 멀티채널 오디오 신호들을 나타내는 일한 포맷은 '행렬화된 서라운드(matrixed surund)'로 나타낸다. 예를 들면, 5.1 서라운드 신호들의 채널들은 다음과 같은 수학식 34의 관계를 갖는 방식(간편성을 위하여, 저주파수 효과 채널은 무시한다)의 매트릭스 인코더에 의하여 다운믹스 될 수 있다.

여기서, l, r, c, l_s 그리고 r_s는 전방 좌측, 전방 우측, 중앙, 후방 좌측 그리고 후방 우측 채널들을 각각 나타낸다. 상기 j는 90도 위상천이를 나타내고, 상기 j는 -90도 위상천이를 나타낸다. 다른 매트릭스 인코더들은 상술된 다운믹스의 변형들을 이용할 수 있을 것이다.

2 내지 M 채널 변환에 대하여 상술된 바와 유사하게, 공간적 분해(spatial decomposition)를 매트릭스 서라운드 다운믹스 신호에 적용할 수도 있다. 이와 같이, 각각의 시간에서 각각의 서브밴드에 대하여, 독립 음향 서브밴드들, 국지화된 음향 서브밴드들 그리고 방향 팩터들이 계산된다. 독립적 음향 서브밴드들과 국지화된 음향 서브밴드들의 선형적 결합들은, 매트릭스 디코딩된 서라운드 신호를 방출하기 위한 서라운드 시스템의 각각의 라우드 스피코로부터 방출된다.

정규화된 상관관계는, out-of-phase 성분들 때문에, 음의 값들을 또한 가질 수 있다. 만약 이러한 경우에는, 해당 방향 팩터들이 음의 값을 가질 것이며, 이는 오리지널 멀티채널 오디오 신호(매트릭스 다운믹스 이전)에서의 후방 채널로부터 기원하는 음향을 나타낸다.

낮은 복잡도를 가지고 동시에 추정된 독립 음향 서브밴드들에 의하여 풍부한 앰비언스가 재생되기 때문에, 행렬화된 서라운드를 디코딩하는 이러한 방식은 매우 호소력이 있다. 계산적으로 매우 복잡한 인공 앰비언스를 생성할 필요가 없는 것이다.

구현 상세 (Implementation Details)

서브밴드 신호들을 계산하기 위하여, 이산 푸리에 변환(Discrete (Fast) Fourier Transform: DFT)가 이용될 수 있다. 대역 수를 줄이지 위하여, 복잡도 감소와 더 우수한 음질을 성취하기 위하여, 이산 푸리에 변환(DFT) 대역들은 각각의 결합된 대역이 인체 청각 시스템의 주파수 분해능(frequency resolution)에 동기가 유발된 주파수 분해능을 갖도록 결합될 수 있다. 상술된 처리가 각각의 결합 대역을 위하여 실시된다. 대안적으로, 쿼드러쳐 미러 필터 (quadrature mirror filter: OMF) 뱅크들 또는 기타 비-단계적(non-cascaded) 또는 단계적(cascaded) 필터뱅크들이 이용될 수 있다.

두 개의 임계 신호 타입들은 과도적(transient) 신호와 정적(stationary)/음색 신호이다. 양 자를 효과적으로 다루기 위하여, 필터뱅크는 적응적 시간-주파수 레졸루션을 가지고 이용될 수 있다. 과도신호들(transients)은 검출될 것이고, 필터뱅크(또는, 대안적으로 단지 프로세싱)의 시간 레졸루션은 효과적으로 상기 과도신호들을 처리하기 위하여 증가될 것이다. 정적/음색 신호 성분들 또한 검출될 것이고, 이러한 신호들의 타입들을 위하여 필터뱅크 또는 프로세싱의 시간 레졸루션은 감소할 것이다. 정적/음색 신호 성분들을 검출하기 위한 기준으로, '음색 측정수단(tonality measure)'가 사용될 수 있다.

알고리즘의 구현은 고속 푸리에 변환(Fast Fourier Transform: FFT)을 사용한다. 44.1kHz 샘플링 레이트를 위하여, 256~1024 사이의 FFT 크기들을 이용한다. 결합된 서브밴드들은 인체 청각 시스템의 임계 대역폭의 약 2 배정도의 대역폭을 갖는다. 이는 44.1kHz 샘플링 레이트에 대하여 20 개의 결합 서브밴드들을 사용하는 것을 초래한다.

적용 예들 (Application Examples)

텔레비전 세트들 (Television sets)

스테레오에 기초한 시청각 TV 콘텐츠의 오디오를 재생에 있어서, '안정화 중앙 (stabilized center)'(예를 들면, 모든 위치들에 있는 청취자들을 위하여 스크린의 중앙에 나타나는 영화 다이알로그)의 이점을 얻기 위하여 중앙 채널이 생성될 수 있다. 대안적으로, 필요한 경우, 스테레오 오디오는 5.1 서라운드로 변환될 수 있다.

스테레오-멀티채널 변환 박스 (Stereo to multi-channel conversion box)

변환 장치는 오디오 콘텐트를 두 개 이상의 라우드 스피커들 상의 재생에 적합한 포맷으로 변환한다. 예를 들면, 이러한 박스는 스테레오 뮤직 플레이어와 함께 시용되어 5.1 라우드 스피커 세트에 연결될 수 있다. 사용자는 다양한 옵션들을 가질 수 있다. 이 때, 상기 옵션들은 stereo+center 채널, 가상 스테이지와 앰 비언스를 갖는 5.1 서라운드, 청취자를 감싸는

가상 음향 스테이지 그리고 더욱 우수하고 폭 넓은 가상 스테이지를 위하여 전방에 배열된 모든 라우드 스피커들을 포함한다.

이러한 변환 박스는 스테레오 아날로그 line-in 오디오 입력 그리고/또는 디지털 SP-DIF 오디오 입력을 제공할 수 있다. 출력은 멀티채널 line-out과 대안적 디지털 오디오 출력(예를 들면, SP-DIF) 중 어느 하나 일 것이다.

진보된 재생 능력들을 갖는 장치들 및 애플리케이션들 (Devices and applications with advanced playback capabilities)

이러한 장치들 및 애플리케이션들은 종래보다 많은 라우드 스피커들을 갖는 스테레오 또는 멀티채널 서라운드 오디오 콘텐트를 재생하는 점에 관하여 진보된 재생을 지원한다. 또한, 그들은 스테레오 콘텐트를 멀티채널 서라운드 콘텐트로의 변환을 지원한다.

멀티채널 라우드 스피커 세트들 (Multi-channel loudspeaker sets)

멀티채널 라우드 스피커 세트는 자신의 오디오 신호 입력을 각각의 라우드 스피커에 대한 신호로 변환 하는 능력을 갖도록 설계되었다(envisioned).

자동추진 오디오 (Automotive audio)

자동추진 오디오는 도전할 만한 주제이다. 청취자들의 위치들에 기인하여, 그리고 라우드 스피커 배치의 장애물들(좌석들, 다양한 청취자들의 신체들) 및 한계들 때문에, 스테레오 또는 멀티채널 오디오 신호들이 우수한 가상 음향 스테이지를 구성하도록 그들을 재생하기가 곤란하다. 제안되는 알고리즘은 특정 위치들에 놓여진 라우드 스피커들에 대한 신호들을 계산하여 가상 음향 스테이지가 스윗-스팟에 있지 아니한 청취자를 위하여 개선되도록 하기 위하여 사용된다.

추가적 필드의 사용 (Additional field of use)

스테레오 및 멀티채널 오디오 신호들에 대한 지각적으로 동기 부여된 공간 분해가 기술되었다. 복수개의 서브밴드들과 시간의 함수로서, 측방향 독립 음향, 국지화된 음향 및 그 것의 특정 각도(또는 레벨 차이)가 추정된다. 가정된 신호 모델이 주어지면, 이러한 신호들의 최소 스퀘어 추정치들(least squares estimates)이 계산된다.

나아가, 분해된 스테레오 신호들이 멀티 라우드 스피커들, 라우드 스피커 어레이들 그리고 파동장 합성 시스템들 상에서 어떻게 재생될 수 있는 지에 대하여 기술되었다. 또한, 제안된 공간 분해가 멀티채널 라우드 스피커 재생을 위한 앰비소닉스 신호 포맷을 '디코딩' 하기 위하여 어떻게 적용되는 지에 대하여 기술되었다. 게다가, 상술된 원리들이 마이크로폰 신호들, 앰비소닉스 B-포맷 신호들 그리고 행렬화된 서라운드 신호들에 어떻게 적용되는 지에 대하여 약술되었다.

본 발명은 오디오 신호를 인코딩하고 디코딩하는 데 적용될 수 있다.

Claims

입력 서브밴드들의 선형적 결합을 이용하여, 상기 입력 서브밴드들간에 독립적인 신호 성분들을 나타내는 하나 이상의 독립 음향 서브밴드들을 계산하는 단계;

입력 서브밴드들의 선형적 결합을 이용하여, 하나 이상의 입력 서브밴드들에 포함된 신호 성분들을 나타내는 하나 또는 그 이상의 국지화 독립 음향 서브밴드들 및 두 개 이상의 입력 서브밴드들에 포함된 신호 성분들의 비율을 나타내는 하나 또는 그 이상의 해당 방향 팩터들을 계산하는 단계;

출력 서브밴드들을 0으로 설정하는 단계; 각각의 독립 음향 서브밴드에 대하여 상기 출력 서브밴드들의 하위 집합을 선택하고, 스케일된 독립 음향 서브밴드를 추가하는 단계; 및 각각의 방향 팩터에 대하여 출력 서브밴드 쌍을 선택하고, 스케일된 로컬 직접 음향 서브밴드를 추가하는 단계를 포함하는 출력 서브밴드들을 생성하는 단계; 및

상기 출력 서브밴드들을 시간 도메인의 오디오 신호들로 변환하는 단계

를 포함하는 멀티 입력 오디오 신호들로부터 입력 채널들의 수보다 같거나 큰 출력 채널들의 수를 갖는 멀티 출력 오디오 신호들 생성 방법.
제 1 항에 있어서,

상기 입력 서브밴드로부터 하나 이상의 다른 입력 서브밴드들에 존재하는 신호 성분들을 제거함으로써 하나 이상의 독립 음향 서브밴드를 계산하는 단계;

상기 입력 서브밴드들로부터 하나 이상의 입력 서브밴드 쌍을 선택하는 단계; 및

상기 입력 서브밴드 쌍에 속한 상기 입력 서브밴드들에 포함된 신호 성분에 따라 국지화 직접 음향 서브밴드를 계산하고, 상기 입력 서브밴드 쌍에 속하는 상기 집적 음향 서브밴드들(S(i))의 비율을 계산하여 상기 방향 팩터를 계산하는 단계

를 포함하는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 1항 또는 제 2항에 있어서,

상기 독립 음향 서브밴드들, 국지화 직접 음향 서브밴드들, 및 방향 팩터들은 상기 입력 서브밴드들, 입력 서브밴드 파워, 및 입력 서브밴드 쌍들의 정규화된 상호상관의 함수로 계산되는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 1항 내지 제 3항에 있어서,

상기 독립 음향 서브밴드들 및 상기 국지화 직접 음향 서브밴드들은 상기 입력 서브밴드들의 선형 결합들이고,

상기 선형 결합의 가중치들은 최소 평균 제곱 기준에 의하여 결정되는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 4항에 있어서,

상기 추정된 독립 음향 서브밴드들 및 국지화 직접 음향 서브밴드들의 서브밴드 파워는, 입력 서브밴드 파워와 입력 서브밴드 쌍의 정규화된 상호상관의 함수로 계산된 서브밴드 파워와 동일하도록 조정되는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 1항 내지 제 5항에 있어서,

상기 입력 채널들은 멀티채널 오디오 신호의 채널들의 하위 집합이고,

상기 출력 채널들은 비처리 입력 채널들로 보완되는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 1 항에 있어서,

상기 독립 음향 서브밴드들을 상기 출력 서브밴드들에 믹스하여 상기 음향이 기 정의된 방향들을 모방하도록 방출하는 단계;

상기 국지화 직접 음향 서브밴드들을 상기 출력 서브밴드들에 혼합하여 상기 음향이 상기 해당 방향 팩터에 의하여 결정된 방향을 모방하도록 방출하는 단계; 및

상기 독립 음향 서브밴드들 및 국지화 직접 음향 서브밴드들을 선형 결합하여 상기 출력 서브밴드들을 생성하는 단계를 포함하고,

상기 입력 채널 및 출력 채널은 청취 위치와 관련된 특정 방향에 위치한 라우드 스피커들에 대한 신호들에 해당하는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 7항에 있어서,

상기 서브밴드 신호를 상기 특정 방향에 가장 가까운 상기 라우드 스피커에 해당하는 상기 출력 서브밴드에 적용하여 음향이 특정 방향을 모방하도록 방출되는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 7항에 있어서,

상이한 이득들을 갖는 동일한 서브밴드 신호를 상기 특정 방향에 직접적으로 근접한 두 개의 라우드 스피커들에 해당하는 상기 출력 서브밴드들에 적용하여 음향이 특정 방향을 모방하도록 방출되는 것이 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 7항에 있어서,

특정 지연들 및 게인 팩터들을 가지며 동일하게 필터링된 서브밴드 신호를 음파장을 모방하도록 복수 개의 출력 서브밴드들에 적용하여 음향이 특정 방향을 모방하도록 방출되는 것이 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 1항 내지 제 10항에 있어서,

상기 독립 음향 서브밴드들, 국지화 음향 서브밴드들, 및 상기 방향 팩터들은, 소정의 폭을 갖는 상기 재생된 가상 음향 스테이지의 속성들을 제어하고 독립 음향 비율을 지시하도록 변경되는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 1 항 내지 제 11항에 있어서,

상기 모든 단계들은 시간의 함수로 반복되는 것이 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 12항에 있어서,

상기 단계들의 반복률은 과도전류 또는 정적 신호 성분들의 존재를 포함하는 입력 신호 성질들에 적응되어지는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 1항 내지 제 13항에 있어서,

상기 서브밴드들의 수 및 상기 각각의 서브밴드 대역폭들은 인체 청각 시스템의 주파수 분해능을 모방하는 기준을 이용하여 선택되어지는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 1 항 내지 제 14 항에 있어서,

상기 입력 채널들은 스테레오 신호를 나타내고, 상기 출력 채널들은 멀티채널 오디오 신호를 나타내는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 1항 내지 제 14항에 있어서,

상기 입력 스테레오 채널들은 매트릭스 인코딩된 서라운드 신호를 나타내고, 상기 출력 채널들은 멀티채널 오디오 신호를 나타내는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 1항 내지 제 14항에 있어서,

상기 입력 채널들은 마이크로폰 신호들을 나타내고, 상기 출력 채널들은 멀티채널 오디오 신호를 나타내는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 1항 내지 제 14항에 있어서,

상기 입력 채널들은 앰비소닉 B-포맷 신호의 선형 결합들이고, 상기 출력 채널들은 멀티채널 오디오 신호를 나타내는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 1항 내지 제 18항에 있어서,

상기 출력 멀티채널 오디오 신호는 파동장 합성 시스템 상의 재생을 위한 신호를 나타내는 것을 특징으로 하는 멀티 출력 오디오 신호 생성 방법.
제 1항 내지 제 19항의 어느 하나의 상기 단계들을 실행하는 수단들을 포함하는 오디오 변환 장치.
제 20항에 있어서,

상기 장치는 오디오 카 시스템 내에 장착되는 것을 특징으로 하는 오디오 변환 장치.
제 20항에 있어서,

상기 장치는 텔레비전 또는 영화 극장 시스템 내에 장착되는 것을 특징으로 하는 오디오 변환 장치.