KR102206572B1

KR102206572B1 - 공간 효과를 갖는 사운드 공간화

Info

Publication number: KR102206572B1
Application number: KR1020167003222A
Authority: KR
Inventors: 그레고리 팰론; 마크 에메리트
Original assignee: 오렌지
Priority date: 2013-07-24
Filing date: 2014-07-04
Publication date: 2021-01-22
Also published as: ES2754245T3; WO2015011359A1; KR20210008952A; CN105684465B; FR3009158A1; US9848274B2; KR102310859B1; JP6486351B2; EP3025514B1; EP3025514A1; US20160174013A1; JP2016527815A; KR20160034942A; CN105684465A

Abstract

본 발명은 덧셈을 포함하는 적어도 하나의 필터링 과정이 적어도 두 개의 입력 신호들 (I(1), I(2), , I(L)),에 적용되는 사운드 공간화 방법과 관련된다. 상기 필터링 과정은 적어도 하나의 제1 공간 효과 전달 함수(A^k(1), A^k(2), ..., A^k(L))의 적용, 상기 제1 공간 효과 전달 함수는 각 입력 신호에 특정됨, 적어도 하나의 제2 공간 효과 전달 함수(B_mean ^k)의 적용, 상기 제2 공간 효과 전달 함수는 모든 입력 신호들에 공통됨. 상기 방법은 가중치 계수 (W^k(l))을 가진 적어도 하나의 입력 신호를 가중화하는 단계를 포함하는 것을 특징으로 하고, 상기 가중치 계수는 입력 신호들 각각에 특정된다.

Description

공간 효과를 갖는 사운드 공간화{SOUND SPATIALIZATION WITH ROOM EFFECT}

본 발명은 소리 데이터의 처리, 특히, 오디오 신호들의 공간화("3D 렌더링")와 관련된다.

예를 들어, 암호화된 3D 오디오 신호의 복호화가 특정 개수의 채널에서 나타날 때, 그런 조작은 다른 개수의 채널로 수행되고, 예를 들어, 오디오 헤드셋에서 3D 오디오 효과를 렌더링할 수 있다.

또한, 본 발명은 멀티 채널 오디오 신호들의 전송 및 렌더링과 관련되고, 사용자의 장비에 의해 부가된 변환기 렌더링 장치를 위한 변환과 관련된다. 예를 들어, 이것은 오디오 헤드셋 또는 한 쌍의 스피커에 5.1 사운드를 갖는 장면을 렌더링하는 경우이다.

또한, 본 발명은 공간화 목적을 위한, 비디오 게임의 렌더링 또는 예를 들어, 파일에 저장된 하나 이상의 사운드 샘플들의 녹화와 관련된다.

고정된 모노럴의 장치의 경우, 입체 음향화(binauralization)는 소스의 바람직한 위치와 각 귀들 사이에 전달 함수(transfer function)에 의해 모노럴의 신호를 필터링하는 것에 기초한다. 상기 획득된 입체 음향 신호 (두 채널들)는 오디오 헤드셋에 제공될 수 있고, 청취자에게 가상의 위치에서 소스의 감지를 줄 수 있다. 따라서, "binaural" 단어는 공간적 효과를 가진 오디오 신호의 렌더링과 관련된다.

다른 위치들에서 모의 실험된 각 전달 함수들은 공간 효과가 존재하지 않는 HRTF("전달 함수들과 관련된 헤드") 세트를 생산하는 무반향실에서 측정될 수 있다.

이러한 전달 함수들은 공간 효과 또는 반향이 존재하는 BRIR("입체 음향 공간 임펄스 응답") 세트를 생산하는 "표준" 공간에서 측정될 수 있다. 따라서, 상기 BRIR 세트는 주어진 위치와 공간에 위치한 청취자(실제의 또는 더미 헤드)의 귀들 사이의 한 세트의 전달 함수들과 관련된다.

BRIR 측정을 위한 일반적인 기술은 귀에 마이크로폰을 가진 헤드(실제 또는 더미) 주위에 위치한 한 세트의 실제 스피커 각각으로 테스트 신호(예를 들어, 스위프 신호, 무작위의 이진 시퀀스 또는 화이트 노이즈)를 연속적으로 보내는 것으로 구성된다. 이 테스트 신호는 스피커의 위치와 양 귀 각각 사이의 임펄스 응답을 비실시간으로 복원 (일반적으로 디컨벌루션에 의해) 하는 것을 가능하게 한다.

한 세트의 HRTF와 한 세트의 BRIR 사이의 차이는 대부분 HRTF에 대한 1000분의 1초와 BRIR에 대한 1초의 상기 임펄스 응답의 길이에 놓여 있다.

필터링은 상기 모노럴 신호와 상기 임펄스 응답 사이의 컨벌루션에 기초하기 때문에, BRIR (공간 효과를 포함하는)을 갖는 입체 음향화를 수행하는 복잡성은 HRTF를 갖는 경우보다 훨씬 높다.

공간에서 L 스피커들에 의해 생성된 멀티채널 콘텐트 (L 채널들)을 듣기 위한 헤드셋 또는 제한된 숫자의 스피커로 이 기술에서 모의 실험하는 것은 가능하다. 실제로, L 스피커들 각각을 청취자와 상대적인 위치의 가상의 소스로 고려하고, 이 L 스피커들 각각의 (왼쪽 및 오른쪽 귀를 위한) 전달 함수들을 실험하기 위해 공간에서 측정하고, (L개의 실제 스피커들로 소위 공급된) L 오디오 신호들 각각을 상기 스피커들과 대응되는 상기 BRIR 필터들에 적용하는 것은 충분하다. 상기 각 귀에 제공된 상기 신호들은 오디오 헤드셋에 제공된 입체 음향 신호를 제공하기 위해 합산된다.

상기 L 스피커들로 제공된 상기 입력 신호를 I(l) (여기서, l=[1, L])로 나타낸다. 각 위를 위한 각 스크피의 BRIR을 BRIR^g ^/d(l)로 나타내고, 출력인 입체 음향 신호를 O^g ^/d로 나타낸다. 이하, "g" 및 "d"는 각각 "왼쪽" 및 "오른쪽"을 나타내는 것으로 이해된다. 따라서, 멀티 채널 신호의 입체 음향화는 다음과 같다:

여기서, *는 컨벌루션 연산자를 나타낸다.

아래에,

인 지표 l은 L 스피커 중 하나에 적용된다. 하나의 신호 l에 대하여 하나의 BRIR을 갖는다.

도 1을 참조하여, 두 개의 컨벌루션 (각 귀에 하나씩)은 각 스피커를 나타낸다(단계 S11 부터 S1L).

따라서, L 스피커들에 대하여, 입체 음향화는 2.L 컨벌루션을 요구한다. 고속 블록 기반 실행의 경우, 복잡성 C_conv 를 계산할 수 있다. 예를 들어, 고속 블록 기반 실행은 고속 푸리에 변환(FFT)에 의해 주어진다. 문서 "3D 오디오에 대한 제출 및 평가" (MPEG 3D Audio)는 C_conv을 계산하기 위한 가능한 공식을 설명한다:

이 방정식에서, L은 상기 입력 신호 (입력 신호당 하나의 FFT)의 주파수를 변환하기 위한 FFT의 개수를 나타내고, 상기 2는 일시적인 입체 음향 신호(상기 두 입체 음향 채널들에 대한 2 고속 푸리에 역변환)를 획득하기 위한 인버스 고속 푸리에 변환 횟수를 나타내고, 상기 6은 고속 푸리에 변환 당 복잡성 계수를 나타내고, 상기 두 번째 2는 순환 컨벌루션에 기인한 문제를 회피하기 위하여 필수적인 제로 패딩(padding)을 나타내고, Fs는 각 BBIR의 크기를 나타내고, nBlocks는 블록 기반 처리에 사용되고, 대기가 과도하게 높지 않은 접근에서 더 현실적이고, 곱셈을 나타낸다.

따라서, nBlocks=10, Fs=48000, L=22를 갖는 전통적 사용에 대하여, FFT에 기초한 직접적인 컨벌루션에 대한 멀티 채널 신호 샘플 당 복잡성은 C_conv = 19049인 곱셈들-덧셈들이다.

이 복잡성은 오늘날의 현재 프로세서들(예를 들어 모바일 폰) 상 현실적인 실행을 위하여 너무 고도해서, 렌더링된 입체 음향화를 상당히 비하하지 않고 이 복잡성을 감소시키는 것은 필수 적이다.

품질이 좋은 상기 공간화를 위하여, 상기 BRIRs의 상기 전체적인 일시적인 신호는 적용되어야 한다.

본 발명은 상기 상황을 향상시킨다.

그것은 최대한 오디오 음질을 유지하면서, 공간 효과를 가진 멀티 채널 신호의 입체 음향화의 복잡성을 크게 감소시키는 것을 목적으로 한다.

이 목적을 달성하기 위하여, 본 발명은 소리 공간화 방법과 관련되고, 합산과 함께 적어도 하나의 FFT 블록 기반의 필터링 과정이 적어도 두 개의 입력 신호들(I(1), I(2), ..., I(L))에 적용되고, 상기 필터링 과정의 각각은:
- 공간 효과를 포함하는 적어도 하나의 임펄스 응답 각각에 대해, 상기 임펄스 응답을 시간에 따라 제1 부분 및 제2 부분으로 구획하는 과정으로서, 상기 구획하는 과정은, 상기 제1 부분은 샘플의 제1 개수를 넘어 확장되고, 상기 제2 부분은 상기 샘플의 제1 개수의 배수인 샘플의 제2 개수를 넘어 확장되도록 수행되는, 과정;
- 적어도 하나의 제1 공간 효과 전달 함수(A^k(1), A^k(2), ..., A^k(L))를 적용하는 과정으로서, 상기 제1 공간 효과 전달 함수 각각은 임펄스 응답의 적어도 하나의 제1 부분으로 구성되고, 각 입력 신호에 특정되는, 과정; 및
- 적어도 하나의 제2 공간 효과 전달 함수(B_mean ^k)를 적용하는 과정으로서, 상기 제2 공간 효과 전달 함수 각각은 임펄스 응답의 적어도 하나의 제2 부분으로 구성되고, 모든 입력 신호들에 공통되는, 과정을 포함하고, 상기 사운드 공간화 방법은, 상기 입력 신호들의 각각에 특정된 가중치 계수 (W^k(l))로 적어도 하나의 입력 신호를 가중화하는 단계를 포함한다.

삭제

예를 들어, 상기 입력 신호들은 멀티 채널 신호의 다른 채널들과 관련된다. 그러한 필터링은 (입체 음향의 또는 초자연직인 또는 두 개 이상의 출력 신호들을 수반하는 서라운드 사운드의 렌더링을 가진) 공간화된 렌더링을 의도하는 적어도 두 개의 출력 신호들을 특별히 제공할 수 있다. 특정 실시 예에서, 필터링 처리는 정확히 두 개의 출력 신호들을 배달하고, 제1 출력 신호는 왼쪽 귀를 위한 공간화된 신호이고, 제2 출력 신호는 오른쪽 귀를 위한 공간화된 신호이다. 저주파수에서 왼쪽 귀와 오른쪽 귀 사이에 존재할지 모르는 자연적인 정도의 연관성을 보존하는 것이 가능한다.

특정 시간 간격 상의 상기 전달 함수들의 상기 물리적 특징들(예를 들어, 다른 전달 함수들 사이의 상기 에너지 또는 상기 연관성)은 간소화를 가능하게 만든다. 이 간격들 상에, 상기 전달 함수들은 평균값 필터에 의해 근사화될 수 있다.

따라서, 공간 효과 전달 함수들의 상기 적용은 이 간격들 상에 유리하게 구분된다. 각 입력 신호에 특정된 적어도 하나의 제1 공간 효과 전달 함수들은 근사화를 불가능하게하는 간격에 지원될 수 있다. 평균값 필터에서 근사화된 적어도 하나의 제2 공간 효과 전달 함수들은 근사화가 가능한 간격에 지원될 수 있다.

각 입력 신호들에 공통된 싱글 공간 효과 전달 함수의 상기 적용은 공간화를 위해 수행되는 많은 계산을 실질적으로 감소시킨다. 따라서, 이 공간화의 복잡성은 유리하게 감소된다. 따라서, 이 단순화는 이 계산들을 위해 사용되는 프로세서 상의 부담을 감소시키면서 유리하게 처리 시간을 감소시킬 수 있다.

게다가, 비록 그것에 적용된 처리가 평균값 필터에 의해 부분적으로 근사화되었더라도 각 입력 신호들에 특정된 가중치 계수들을 가진, 다양한 입력 신호들 사이의 상기 에너지 차이는 참작될 수 있다.

특정 실시 예에서, 제1 및 제2 공간 효과 전달 함수들은:

- 직접적인 사운드 전달들과 상기 직접적인 사운드의 전달의 제1 사운드 반사들; 및

- 상기 제1 반사들 후의 분산된 음장,

- 상기 제1 사운드 반사들 후의 분산된 음장을 각각 나타내고, 상기 방법은:

- 입력 신호들에 각각 특정된 상기 제1 공간 효과 전달 함수들의 적용, 및

- 모든 입력 신호들과 동일하고 분산된 음장 효과의 일반적 근사화로 얻어지는 제2 공간 효과 전달 함수의 적용

을 더 포함한다.

따라서, 상기 처리 복잡성은 이 근사화에 의해 유리하게 감소될 수 있다. 추가로, 이 근사화가 확산 음장 효과들과 관련되고 직접적인 소리 전파와는 관련되지 않기 때문에, 상기 처리 품질 상의 그러한 근사화의 영향은 감소된다. 이 확산 음장 효과들은 근사화에 덜 민감하다. 상기 제1 사운드 반사들은 전형적으로 상기 음장의 제1 연속적인 울림들이다. 일 특정 실시 예에서, 기껏해야 두 개의 이러한 제1 반사들이 있는 것으로 추정된다.

다른 실시 예에서, 공간 효과를 결합시키는 임펄스 응답들로부터 제1 및 제2 공간 효과 전달 함수들을 구성하는 예비 단계는 제1 공간 효과 전달 함수의 구성을 위해 아래 조작을 포함한다:

- 직접적인 음파들의 출현 시점을 결정하고,

- 상기 제1 반사들 후의 상기 분산된 음장이 나타나는 시작 시간을 결정하고, 및

임펄스 응답에서, 상기 직접적인 음파들이 나타나는 시작 시간부터 상기 분산된 음장이 나타나는 시작 시간까지의 사이에서 일시적으로 확장되는 임펄스 응답의 일부를 선택하는, 조작을 포함하며, 상기 임펄스 응답의 선택된 부분은 상기 제1 공간 효과 전달 함수에 대응함.

제1 특정 실시 예에서, 상기 확산 음장의 상기 출현의 상기 시점은 기 설정된 기준에 기초하여 결정된다. 제1 실시 예에서, 주어진 공간에서 상기 음향 파워의 스펙트럼 밀도의 단조로운 감조의 검출은 전형적으로 상기 확산 음장의 출현의 시점의 특징이 될 수 있고, 그것으로부터 상기 확산 음장의 출현의 시점을 제공할 수 있다.

그렇지 않다면, 그것을 출현의 시점은 공간 특징들에 기초한 추산에 의해 결정될 수 있다. 예를 들어, 아래 보여질 것과 같이 상기 공간의 용량으로부터 단순화할 수 있다.

그렇지 않다면, 더 단순한 실시 예에서, 임펄스 응답이 N개의 샘플들 이상으로 확장된다면, 상기 확산 음장의 출현 시점은 예를 들어, 상기 임펄스 응답의 N/2 샘플들 후에 발생할 것을 고려할 수 있다. 따라서, 그것을 출현 시점은 기 설정되고 고정된 값과 관련된다. 전형적으로, 이 값은 예를 들어, 공간 효과를 통합하는 임펄스 응답의 48000 샘플들 중 2048번째일 수 있다.

앞서 언급한 직접적인 음파들의 출현 시점은 예를 들어, 공간 효과를 가진 임펄스 응답의 상기 일시적인 신호의 시점과 연관될 수 있다.

상호 보완적인 실시 예에서, 제2 공간 효과 전달 함수는 상기 확산된 음장의 출현 시점 이후 일시적으로 시작되는 임펄스 응답들의 부분들 세트로부터 구성된다.

변형으로, 상기 제2 공간 효과 전달 함수는 상기 공간의 특징들로부터 또는 기 설정된 표준 필터들로부터 결정될 수 있다.

따라서, 공간 효과를 통합한 상기 임펄스 응답들은 출현 시점에 의해 분리된 두 부분으로 유리하게 분할된다. 그러한 분할은 이 부분들 각각에 적용되는 과정을 가질 수 있도록 만든다. 예를 들어, 필터링 과정에서 제1 공간 효과 전달 함수로 사용을 위한 임펄스 응답의 제1 샘플들 (제2의 2048)의 선택을 수행할 수 있고, 상기 나머지 샘플들 (예를 들어, 2048로부터 48000까지)을 무시하거나 또는 다른 임펄스 응답들로부터 그것을 가진 것들을 평균낼 수 있다.

그러한 실시 예의 상기 장점은, 특히 유리한 방법에서, 상기 입력 신호들에 특화된 필터링 계산들을 단순화하고, 상기 임펄스 응답들(예를 들어 아래 논의된 것처럼 평균으로)의 제2 절반들을 사용하여 계산될 수 있는 상기 음향 전파로부터 발생하는 노이즈의 형태를 더하거나, 또는 특정 공간(상기 공간의 벽으로 둘러싸인 용량, 등.)의 특징들에 기초하여 추산되는 기 설정된 임펄스 응답으로부터 단순화한다.

다른 변형으로, 상기 제2 공간 효과 전달 함수는 다음 종류의 공식을 적용하는 것에 의해 주어진다:

여기서, k는 출력 신호의 지표이고,

는 입력 신호의 지표이고,

L은 입력 신호들의 개수이고,

는 상기 분산된 음장을 나타내는 상기 시작 시간 후 일시적으로 시작되는 임펄스 응답들의 한 세트의 부분으로부터 획득되는 정규화된 전달 함수를 나타냄.

삭제

일 실시 예에서, 상기 제1 및 제2 공간 효과 전달 함수들은 다수의 두 귀용 공간 임펄스 응답들 BRIR로부터 획득된다.

다른 실시 예에서, 이러한 제1 및 제2 전달 함수들은 전달을 측정하는 원인이된 실험적인 값들과 주어진 공간에서 반향들로부터 획득된다. 상기 과정은 따라서 실험적인 데이터에 기초하여 수행된다. 그러한 데이터는 매우 정확하게 상기 공간 효과들은 반영하고, 따라서 고도의 현실적인 렌더링을 보장한다.

다른 실시 예에서, 상기 제1 및 제2 공간 효과 전달 함수들은 예를 들어, 피드백 지연 네트워크와 동기화된 기준 필터들로부터 획득된다.

일 실시 예에서, 절단은 상기 BRIRs의 시작에 적용된다. 따라서, 상기 입력 신호들의 적용이 영향을 주지 않기 위한 상기 제1 BRIR 샘플들은 유리하게 제거된다.

다른 특정 실시 예에서, 지연을 보상하는 절단은 상기 BRIR의 시작에 적용된다. 이 지연의 보상은 절단에 의해 소개된 시간 지연을 보상한다.

다른 실시 예에서, 절단은 상기 BRIR의 끝에 적용된다. 상기 입력 신호들의 적용이 영향을 주지 않기 위한 상기 마지막 BRIR 샘플들은 유리하게 제거된다.

일 실시 예에서, 상기 필터링 과정은 상기 직접적인 음파들의 상기 시작 시점과 상기 분산된 음장의 출현 시점 사이의 시간 차이에 적용되는 적어도 하나의 지연을 보상하는 적용을 포함한다. 이것은 시간-이동된 전달 함수들의 적용에 의해 소개되는 지연들을 유리하게 보상한다.

다른 실시 예에서, 상기 제1 및 제2 공간 효과 전달 함수들은 상기 입력 신호들에 병렬적으로 적용된다. 게다가, 적어도 하나의 지연 보상은 상기 제2 전달 함수들에 의해 걸러진 상기 입력 신호들에 적용된다. 따라서, 이러한 두 개의 전달 함수들의 동시 처리는 상기 입력 신호들 각각을 위해 가능하다. 그러한 과정은 상기 발명을 수행하기 위한 처리 시간을 유리하게 감소시킨다.

일 특정 실시 예에서, 에너지 보정 이득 계수는 상기 가중치 계수에 적용된다.

따라서, 적어도 하나의 에너지 보정 이득 계수는 적어도 하나의 입력 신호에 적용된다. 상기 배달된 진폭은 따라서 유리하게 정규화된다. 이 에너지 보정 이득 계수는 입체 음향화하는 신호들의 상기 에너지와 일관성을 허용한다.

상기 입력 신호들의 보정 정도에 따라 입체 음향화하는 신호들의 상기 에너지를 보정하는 것이 허용된다.

일 특정 실시 예에서, 상기 에너지 보정 이득 계수는 입력 신호들 사이의 상기 보정 기능이다. 신호들 사이의 상기 보정은 따라서 유리하게 참작된다.

일 실시 예에서, 적어도 하나의 출력 신호는 다음 종류의 공식에 적용된다:

여기서, k는 출력 신호의 지표이고,

는 출력 신호이고,

는 상기 입력 신호들 중 하나의 입력 신호의 지표이고,

L은 입력 신호들의 개수이고,

I(l)은 상기 입력 신호들 중 하나의 입력 신호이고,

는 상기 적어도 하나의 제1 공간 효과 전달 함수들 중 하나의 공간 효과 전달 함수이고,

는 상기 제2 공간 효과 전달 함수들 중 하나의 공간 효과 전달 함수고,

는 상기 입력신호들의 각각에 특정된 상기 가중치 계수들 중 하나의 가중치 계수이고,

는 상기 지연의 보상 적용과 관련되고,

·은 곱셈을 나타내고, 및

삭제

*은 컨벌루션 연산자(convolution operator)를 나타냄.

다른 실시 예에서, 비상관성 단계는 제2 공간 효과 전달 함수들에 우선 적용하는 상기 입력 신호들에 적용된다. 이 실시 예에서, 적어도 하나의 출력 신호는 다음 종류의 공식에 적용되어 획득된다:

여기서, I_d(l)은 상기 입력 신호들 중 비상관화된 입력 신호이고, 다른 값들은 앞서 정의되었다. 결과적으로, 상관된 신호들의 추가들과 비상관화된 신호들의 추가들 사이의 에너지 차이에 기인한 에너지 불균형은 참작될 수 있다.

일 특정 실시 예에서, 비상관화는 필터링 이전에 적용된다. 에너지 보상 단계들은 여과 동안 제거될 수 있다.

일 실시 예에서, 적어도 하나의 출력 신호는 다음 종류의 공식을 적용하여 획득된다:

여기서, G(I(l))은 상기 결정된 에너지 보정 이득 계수이고, 상기 다른 값들은 앞서 정의되었다. 대체로, G는 I(l)에 의존하지 않는다.

일 실시 예에서, 상기 가중치 계수는 다음 종류의 공식을 적용하여 주어진다:

여기서, k는 출력 신호 지표이고,

는 상기 입력 신호들 중 하나의 입력 신호의 지표이고,

L은 입력 신호들의 개수이고,

은 상기 제2 공간 효과 전달 함수들 중 하나의 공간 효과 전달 함수의 에너지이고,

삭제

는 표준화 이득과 관련된 에너지임.

또한, 본 발명은 앞서 설명한 방법을 실행하기 위한 명령어들을 포함하는 컴퓨터 프로그램이 저장된 비일시적인 저장매체와 관련된다.

본 발명은 적어도 두 개의 입력 신호들 (I(1), I(2), ..., I(L))에 적용되는 합상부를 가진 적어도 하나의 필터를 포함하는 사운드 공간화 장치에 의해 실행되고, 공간 효과를 포함하는 적어도 하나의 임펄스 응답 각각을 제1 부분 및 제2 부분으로 구획하는 구획 모듈을 포함하고,
상기 구획 모듈은,
- 상기 제1 부분이 샘플의 제1 개수를 넘어 확장되고,
- 상기 제2 부분이 상기 샘플의 제1 개수의 배수인 샘플의 제2 개수를 넘어 확장되도록 수행되며,
상기 필터는:
상기 임펄스 응답의 적어도 하나의 제1 부분으로 구성되고, 각 입력 신호에 특정된, 적어도 하나의 제1 공간 효과 전달 함수(A^k(1), A^k(2), ..., A^k(L)), 및
- 상기 임펄스 응답의 적어도 하나의 제2 부분으로 구성되고, 모든 입력 신호들에 공통된, 적어도 하나의 제2 공간 효과 전달 함수(B_mean ^k),
를 사용하고,
상기 장치는 사운드 공간화 장치는, 상기 입력 신호들 각각에 특정된 가중치 계수 (

)를 갖는 적어도 하나의 입력 신호를 가중화하기 위한 가중화된 모듈들(M4B1, M4B2, ..., M4BL)을 포함한다.

삭제

그러한 장치는 예를 들어, 프로세서 및 전형적으로 통신 단말에서 메모리 구동을 가능하게 하는 하드웨어 형태일 수 있다.

따라서, 상기 처리 복잡성은 이 근사화에 의해 유리하게 감소될 수 있다. 추가로, 이 근사화가 확산 음장 효과들과 관련되고 직접적인 소리 전파와는 관련되지 않기 때문에, 상기 처리 품질 상의 그러한 근사화의 영향은 감소된다. 이 확산 음장 효과들은 근사화에 덜 민감하다. 상기 제1 소리 반사들은 전형적으로 상기 음장의 제1 연속적인 울림들이다. 일 특정 실시 예에서, 기껏해야 두 개의 이러한 제1 반사들이 있는 것으로 추정된다.

다른 특징들과 본 발명의 장점들은 본 발명의 실시 예들의 다음과 같은 상세한 설명 및 도면을 통해 명백하게 될 것이다:
- 도 1은 종래 기술의 공간화 방법을 나타내고,
- 도 2는 일 실시 예에서, 본 발명에 따른 방법의 단계들을 개략적으로 나타내고,
- 도 3은 입체 음향의 공간 임펄스 응답 BRIR을 나타내고,
- 도 4는 일 실시 예에서, 본 발명에 따른 방법의 단계들을 개략적으로 나타내고,
- 도 5는 일 실시 예에서, 본 발명에 따른 방법의 단계들을 개략적으로 나타내고,
- 도 6은 본 발명에 따른 방법을 실행하기 위한 수단들을 갖는 장치를 개략적으로 나타낸다.

도 6은 연결된 단말기 TER (예를 들어, 전화기, 스마트폰, 등등 또는 연결된 테블릿, 연결된 컴퓨터 등등)인 장치에서 본 발명을 실행하기 위한 가능한 컨텍스트를 나타낸다. 그러한 TER 장치는 압축된 압호화된 오디오 신호들 X_c를 수신하기 위한 수신 수단들(전형적으로 안테나), 상기 오디오 신호들(예를 들어, 이어폰 HDSET를 가진 헤드셋에서 입체 음향)을 렌더링하기 전에 공간화된 장치에 의해 처리하기 위해 준비된 디코드된 신호들 X를 전달하는 디코딩 장치 DECOD를 포함한다. 물론, 어떤 경우, 상기 공간화 처리가 상기 동일한 도메인(예를 들어, 서브 밴드 도메인에서 주파수 처리)에서 수행된다면 부분적으로 디코드된 신호들을 (예를 들어, 상기 서브 도메인에서) 부분적으로 유지하는 것은 유리할 것이다.

도 6을 참조하여, 상기 공간화 장치는 다음 구성들의 조합에 의해 나타남:

- 동작 메모리 MEM과 프로세서 PROC와 협력하는 하나 이상의 회로들 CIR을 전형적으로 포함하는 하드웨어,

- 및 도 2 및 도 4에 도시된 흐름도처럼 일반적인 알고리즘을 나타내는 소프트웨어.

여기서, 하드웨어와 소프트웨어 구성 들의 조합은, 아래 논의된 것처럼 상기 동일한 오디오 렌더링 (청취자를 위한 동일한 느낌)을 위해, 상기 공간화의 복잡성에 맡기는 결과를 초래하는 기술적 효과를 생산한다.

도 2를 참조하면, 컴퓨팅 수단들에 의해 실행되고, 본 발명에 대한 처리를 나타낸다.

제1 단계 S21에서, 상기 데이터는 준비된다. 이 준비는 선택적이고; 상기 신호들은 단계 S22와 이 예비 과정 없이 연속된 단계들에서 처리될 수 있다.

특히, 이 준비는 시작부분과 상기 임펄스 응답의 끝부분에서 들리지 않는 샘플들을 무시하기 위해 각 BRIR을 절단하는 것으로 구성된다.

단계 S211에서, 상기 임펄스 응답의 시작 부분에서 절단 TRUNC S를 위해, 이 준비는 직접적인 음파들 시작 시간을 결정하는 것으로 구성되고, 상기 다음 단계들에 의해 수행될 수 있다:

- 상기 각 BRIR 필터들 (l)의 에너지들의 누적 합이 계산된다. 전형적으로, 이 에너지는 샘플들 1부터 j의 크기들의 제곱의 합에 의해 계산된다. 여기서, j는 [1; J]이고, j는 BRIR 필터의 샘플들의 개수이다.

- 상기 최대 에너지 필터의 에너지값 valMax는 (상기 왼쪽 귀와 상기 오른쪽 귀를 위한 필터들 중) 계산된다.

- 각 스피커 l에 대하여, 각 BRIR 필터들(l)의 에너지를 valMax(예를 들어, valMas-50dB)에 비례하여 계산하는 특정 dB 임계값을 초과하는 지표를 계산한다.

- 모든 BRIR에 대하여 유지되는 절단 지표 iT는 모든 BRIR 지표들 동안 상기 최소 지표이고, 상기 직접적인 음파 시작 시간으로 간주된다.

따라서, 상기 결과 지표 iT는 각 BRIR을 위해 무시되는 샘플들의 개수와 관련된다. 더 높은 에너지 부분에 적용된다면, 사각 윈도우를 사용하는 상기 임펄스 응답의 시작 부분에서 예리한 절단은 청각적인 소음을 초래할 수 있다. 따라서, 적절한 페이드-인 윈도우에 적용하는 것이 더 바람직할 것이다; 그러나, 예방책이 선택된 임계값으로 주어진다면, 그러한 윈도윙은 들리지 않을지라도 (단지 들리지 않는 신호가 잘릴지라도) 필수적이다.

심지어 복잡성을 최적화하는 것이 가능할지라도, BRIR 사이의 동기화는 실행에서 단순화를 위하여 모든 BRIR을 위한 정보 지연을 적용하는 것을 가능하게 한다.

단계 S212에서, 상기 임펄스 응답의 끝 부분에서 들리지 않는 샘플들을 무시하는 각 BRIR의 전단 TRUNC E는 상기 임펄스 응답의 끝 부분을 위해 적용되지만 상기 설정된 그것과 유사한 단계를 가진 시작을 수행할 수 있다. 사각 윈도우를 사용하여 상기 임펄스 응답의 끝 부분에 예리한 절단은 반향의 꼬리 부분이 들릴 수 있는 상기 임펄스 신호들에 청각적인 잡음을 초래할 수 있다. 따라서, 일 실시 예에서, 적절한 페이드-아웃 윈도우가 적용된다.

단계 22에서, 동시 분리 ISOL A/B가 수행된다. 이 동시 분리는 각 BRIR에 대하여 "직접적인 사운드"와 "제1 반사파" 부분 (Direct, A 표시), 및 "확산된 사운드" 부분 (Diffuse, B 표지)으로 분리하는 것으로 구성된다. 상기 "확산된 사운드" 부분보다 상기 "직접적인 사운드" 부분에 대한 처리의 고품질을 갖도록 하는 결과로, 상기 "확산된 사운드" 부분 상에 수행된 처리는 "직접적인 사운드" 부분에 대하여 수행된 것과는 다를 수 있다. 이것은 품질/복잡성의 비율을 최대한 좋게 만드는 것을 가능하게 한다.

특히, 동시 분리를 달성하기 위하여, 모든 BRIR(이런 이유로 용어 "synchonistic")에 공통된 고유한 샘플링 지표 "iDD"는 상기 임펄스 응답의 나머지를 확산된 음장과 관련된 것으로 간주되는 것부터 결정된다. 따라서, 상기 임펄스 응답들 BRIR(l)은 두 부분: A(l)과 B(l)로 구분되고, 여기서 두 부분의 연속은 BRIR(l)과 관련된다.

도 3은 샘플 2000에서 구획 지표 iDD를 나타낸다. 이 지표 iDD의 왼쪽 부분은 A 파트와 관련된다. 이 지표 iDD의 오른쪽 부분은 B 파트와 관련된다. 일 실시 예에서, 이러한 두 부분은 다른 처리를 받기 위하여 윈도윙없이 분리된다. 그렇지 않으면 A(l) 부분과 B(l) 부분 사이의 윈도윙이 적용된다.

지표 iDD는 BRIR이 결정되기 위한 상기 공간에 특화될 수 있다. 따라서, 이 지표의 계산은 스펙트럼 엔벨로프(envelope), 상기 BRIR의 상관성, 또는 이러한 BRIR의 에코도에 달려있다. 예를 들어, 상기 iDD는

종류의 공식에 의해 결정될 수 있고, 여기서, V_room 은 측정하려는 상기 공간의 용량이다.

일 실시 예에서, iDD는 고정된 값으로, 일반적으로 2000이다. 대체로, iDD는 상기 입력 신호들이 캡쳐되는 상기 환경에 따라 매우 급격하게 변화한다.

상기 왼쪽 (g)과 상기 오른쪽 (d) 귀들을 위한 상기 출력 신호는,

로 나타나고, 아래와 같음:

여기서,

는 iDD 샘플들을 위한 보상 지연과 관련된다.

이 지연은 일시적 메모리 (예를 들어, 버퍼)에서

로 계산된 값을 저장하는 것 및 상기 원하는 순간에 그것들을 회수하는 것에 의해 상기 신호들에 적용된다.

일 실시 예에서, A와 B로 선택된 상기 샘플링 지표들은 오디오 인코더로 통합된 경우에 상기 프레임 길이를 또한 고려할 수 있다. 확실히, 1024 샘플들의 전형적인 프레임 크기들은 B가 모든 BRIR을 위한 확산된 음장 영역인 경우, A=1024, B=2048을 선택하도록 이끌 수 있다.

특히, 상기 필터링이 FFT 블록들에 의해 수행될 경우, A에 대한 FFT의 상기 계산은 B에 대하여 재사용할 수 있기 때문에, B의 크기는 A의 크기의 배수인 장점이 있다.

확산된 음장은 상기 공간의 모든 지점에서 통계적으로 동일하다는 사실로 특징지어 진다. 따라서, 그것의 주파수 응답은 청취자가 시뮬레이션하기 위하여 거의 변화하지 않는다. 본 발명은 다수의 컨벌루션에 기인한 복잡성을 크게 감소시키기 위하여, 하나의 "평균" 필터 B_mean에 의해 모든 BRIR의 모든 확산 필터들 D(l)을 대체하기 위하여 이 특징을 이용한다. 이에 대하여, 도 2를 다시 참조하여, 단계 S23B에서 상기 확산 음장 부분 B를 변화시킬 수 있다.

단계 S23B1에서, 상기 평균 필터 B_mean의 값은 계산된다. 전체 시스템이 완전히 눈금을 매겨지는 것은 극히 드물기 때문에, 그래서, 우리는 상기 확산 음장 부분에 대한 각 귀 당 하나의 컨벌루션을 달성하기 위하여 상기 입력 신호에서 앞으로 진행될 가중화 계수를 적용할 수 있다. 따라서, 상기 BRIR은 에너지 정규화 필터들로 분리되고, 상기 정규화 이득

은 상기 입력 신호에 앞서 진행된다:

여기서,

을 갖는

는

의 에너지를 나타낸다.

다음으로, 더 이상 스피커 1의 기능이 아니지만 에너지 평준화가 역시 가능한 하나의 평균 필터

을 가진

을 추정한다:

여기서,

이다.

일 실시 예에서, 이 평균 필터는 일시적인 샘플들을 평균하는 것에 의해 획득될 수 있다. 그렇지 않으면, 다른 종류의 평균, 예를 들어, 파워 스펙트럼 밀도 평균에 의해 획득될 수 있다.

일 실시 예에서, 상기 평균 필터

의 상기 에너지는 상기 구성된 필터

을 사용하여 직접적으로 측정될 수 있다. 변형으로, 상기 필터들

이 비상관화되는 가설을 사용하여 추정될 수 있다. 이 경우, 상기 통일된 에너지 신호들이 더해지기 때문에, 다음의 식을 얻게 된다:

상기 에너지는 상기 확산된 음장 부분과 관련하여 모든 샘플들에 대하여 계산될 수 있다.

단계 S23B2에서, 상기 가중화 계수

의 값이 계산된다. 상기 입력 신호에 적용되는 단지 하나의 가중화 계수는 상기 확산 필터들과 평균 필터의 정규화를 결합하여 계산된다:

,

상기 평균 필터가 정수이기 때문에, 이 합으로부터 다음의 식을 얻은다:

따라서, 상기 확산된 음장 부분을 갖는 상기 L 컨벌루션은 상기 입력 신호의 가중화된 합을 가진, 평균 필터를 갖는 하나의 컨벌루션에 의해 대체된다.

단계 S23B3에서, 상기 평균 필터

의 이득을 보정하여 이득 G를 선택적으로 계산할 수 있다. 실제로, 상기 입력 신호들과 상기 비-근사화된 필터들 사이의 컨벌루션의 경우에, 상기 입력 신호들의 보정 값들에 무관하게, 상기 the

인 비상관화된 필터들에 의한 상기 필터링은 그러고 나서 역시 비상관화되어 더해진 신호들에 야기한다. 반대로, 상기 입력 신호들과 상기 근사화 평균 필터 사이의 컨벌루션의 경우, 상기 필터링된 신호들의 합을 초래하는 신호들의 에너지는 상기 입력 신호들 사이에 존재하는 상관성의 값에 의존할 것이다.

예를 들어,

* 모든 상기 입력 신호들 I(l)이 동일하고 동일한 에너지를 갖고, 상기 필터들 B(l)이 모두 비상관되고 (확산된 음장들 때문에) 동일한 에너지를 갖는 경우, 다음 공식에 의한다:

* 모든 상기 입력 신호들 I(l)이 비상관되고 동일한 에너지를 갖고, 상기 필터들 B(l)이 모두 동일한 에너지를 갖지만 동일한 필터들

로 대체되는 경우, 다음 공식에 의한다:

상기 비상관된 신호들의 에너지들은 더해지기 때문이다.

이 경우는 상기 제1 경우에 상기 입력 신호들의 평균에 의해 및 상기 제2 경우에 상기 필터들의 평균에 의해, 여과와 관련된 신호들이 모두 비상관된다는 면에서 처리 과정과 동등하다.

* 모든 상기 입력 신호들 I(l)은 동일하고 동일한 에너지를 갖고, 상기 필터들 B(l)은 모두 동일한 에너지를 갖지만 동일한 필터들

　로 대체된다면, 다음 공식들에 의한다:

상기 동일한 신호들의 에너지들은 구적법으로 더해지기 때문이다 (그들의 크기가 더해지기 때문이다).

그래서,

- 비상관된 신호들이 제공되어, 두 개의 스피커들이 동시에 활성화되면, 상기 전통적인 방법과 비교하여 S23B1과 S23B2 단계들을 적용하는 것에 의해 어떤 이득도 획득되지 않는다.

- 동일한 신호가 제공되어, 두 개의 스피커들이 동시에 활성화되면,

의 이득은 상기 전통적인 방법과 비교하여 S23B1과 S23B2 단계들을 적용하는 것에 의해 획득된다.

- 동일한 신호가 제공되어, 세 개의 스피커들이 동시에 활성화되면,

위에서 언급된 경우들은 동일하거나 또는 비상관된 신호들의 극단적인 경우들과 관련된다. 이러한 경우들은 현실적이지만, 그러나: 가상의 또는 실제의, 두 스피커들의 중앙에 위치한 소스는 두 스피커들로 동일한 신호를 제공할 것이다 (예를 들어, VBAP ("벡터-기반의 크기 패닝") 기술를 가짐). 3D 시스템 내에 위치한 경우, 상기 세 개의 스피커들은 동일한 레벨에 동일한 신호를 수신할 수 있다.

따라서, 입체 음향의 신호들의 에너지와 일치하도록 보상을 적용할 수 있다.

이상적으로, 이 보상 이득 G는 상기 입력 신호 (G(I(l)))에 따라 결정되고 상기 가중화된 입력 신호들의 합에 다음 공식으로 적용될 것이다:

상기 이들 G(I(l))는 각 신호들 사이의 상관성을 계산하는 것에 의해 추정될 수 있다. 또한, 합계 전과 이후에 상기 신호들의 에너지들을 비교하는 것에 의해 추정될 수 있다. 이 경우, 상기 이득 G는 시간에 따라 스스로 변화하는 상기 입력 신호들 사이의 예를 들어, 상관성에 의존하여, 시간에 따라 동적으로 변화할 수 있다.

단순화된 실시 예에서, 비용이 많이 들 수 있는 상관 추정의 필요를 제거하기 위하여, 예를 들어,

인 상수 이득을 설정할 수 있다. 그러면, 상기 상수 이득 G는 상기 가중화 계수들에 (따라서,

로 주어짐), 또는 비행기 상에 추가적인 이득의 적용을 제거하는 상기 필터

에 오프라인으로 적용될 수 있다.

상기 전달 함수들 A와 B가 구분되고 상기 필터들

(선택적으로 상기 가중치

와 G)은 계산되면, 이러한 전달 함수들과 필터들은 상기 입력 신호들로 적용된다.

제1 실시 예에서, 도 4를 참조하여 설명된 바와 같이, 각 귀에 대한 Direct(A)와 Diffuse(B) 필터들의 적용에 의해 상기 멀티 채널 신호의 상기 처리는 다음과 같이 수행된다:

- 상기 배경 기술에 설명된 바와 같이, Direct(A) 필터들에 의해 충분한 필터링 (예를 들어 직접적인 FFT-기반 컨벌루션)에 의해 (단계들 S4A1 내지 S4AL)을 상기 멀티 채널 입력 신호에 적용한다. 따라서, 신호

을 획득한다.

- 상기 입력 신호들 사이의 상관성, 특히 그들의 상관성에 기초하여, 단계 S4B11에서 이전에 가중화된 입력 신호들 (단계들 M4B1 내지 M4BL)의 합계 이후 상기 출력 신호에 상기 이득 G를 적용하는 것에 의해 상기 평균 필터

의 이득을 선택적으로 보정할 수 있다.

- 단계 S4B1에서, 상기 확산 평균 필터 B_mean를 사용하여 효율적인 필터링을 상기 멀티 채널 신호 B에 적용한다. 이 단계는 상기 이전에 가중화된 입력 신호들 (단계들 M4B1 내지 M4BL)의 합계 이후 발생한다. 따라서, 상기 신호

를 획득한다.

- 단계 S4B2에서 신호를 분리하는 단계 동안 소개된 상기 지연을 보상하기 위하여 신호

에 지연 iDD를 적용한다.

- 신호들

와

를 합산한다.

- 상기 임펄스 응답들의 시작 부분에서 상기 들을 수 없는 샘플들을 제거하는 절단이 수행되면, 단계 S41에서 상기 입력 신호에 상기 들을 수 없는 제거된 샘플들과 관련된 지연 iT를 적용힌다.

그렇지 않으면, 도 5를 참조하여, 상기 신호들은 상기 왼쪽 및 오른쪽 귀에 대하여 계산될 뿐만 아니라, k 렌더링 장치 (전통적으로 스피커들)dp 대하여 계산된다.

제2 실시 예에서, 상기 이득 G는 상기 가중화 단계들 (단계들 M4B1 내지 M4BL) 동안, 상기 입력 신호들의 합계에 우선하여 적용된다.

제3 실시 예에서, 비상관성은 상기 입력 신호들에 적용된다. 따라서, 상기 신호들은 입력 신호들 사이의 원래의 상관성에 무관하게 상기 필터 B_mean에 의해 컨벌루션 후 비상관된다. 상기 비상관성의 효율적인 실행은 비싼 비상관성 필터들의 사용을 피하기 위하여 (예를 들어, 피드백 지연 네트워크) 사용될 수 있다.

따라서, 길이에 있어서 BRIR 48000 샘플들이 다음을 할 수 있다는 현실적인 가정하에:

- 단계 S21에서 설명된 기술에 의해 샘플 150과 샘플 3222 사이의 절단,

- 두 부분으로 분리: 단계 S22에서 설명된 기술에 의해, 1024 샘플들의 직접적인 음장 A와 2048 샘플들의 확산된 음장 B,

그러면 상기 입체 음향의 복잡성은 다음 공식에 의해 근사화될 수 있다:

C_inv = C_invA + C_invB = (L+2).(6.log₂(2.NA)) + (L+2).(6.log₂(2.NB))

여기서, NA와 NB는 A와 B의 샘플 크기들이다.

따라서, nBlocks=10, Fs=48000, L=22, NA=1024, 및 NB=2048에 대하여, FFT-기반 컨벌루션에 대한 멀티 채널 신호 샘플 당 복잡성은 C_conv = 3312 곱셈-덧셈들이다.

그러나, 논리적으로 이 결과는 nBlocks=10, Fs=3072, L=22에 대한 평균으로, 단지 절단을 실행한 단순한 솔루션과 비교된다:

C_trunc = (L+2).(nBlocks).(6.log₂(2.Fs/ nBlocks)) = 13339

따라서, 배경 기술과 본 발명 사이의 19049/3312=5.75의 복잡성 계수가 있고, 절단을 사용한 배경 기술과 본 발명 사이의 13339/3312=4의 복잡성 계수가 존재한다.

B의 크기가 A의 크기의 배수이고, 그 후 상기 필터는 FFT 블록들에 의해 수행된다면, A에 대한 FFT의 상기 계산은 B에 대하여 재사용될 수 있다. 따라서, NA 포인트들에 대하여 A와 B에 의한 여과에 대하여 둘 다 사용될 L FFT가 필요하고, 일시적인 입체 음향 신호와 상기 주파수 스펙트럼의 곱셈을 획득하기 위하여 NA 포인트들에 대하여 두 개의 역FFT가 필요하다.

이 경우, 상기 복잡성은 다음 공식에 의하여 근사화될 수 있다 (A에 대하여 L, B에 대하여 1, 상기 스펙트럼의 곱셈에 대응하는 (L+1), 덧셈을 배제함):

C_inv2 = (L+2).(6.log₂(2.NA)) + (L+1) = 1607

이 접근과 함께, 계수 2를 얻고, 따라서 상기 절단된 배경 기술과 비절단된 배경 기술을 비교하여 계수 12와 8를 얻는다.

본 발명은 MPEG-H 3D 오디오 표준에 직접 적용될 수 있다.

물론, 본 발명은 앞서 설명한 실시 예에 제한되지 않는다: 그것은 다른 변형들로 확장될 수 있다.

예를 들어, 일 실시 예는 직접 신호 A가 평균 필터에 의해 근사화되지 않는 것으로 상기와 같이 설명된다. 물론, 스피커들로부터 전달된 신호들을 가지고 상기 컨벌루션들 (단계들 S4A1 내지 S4AL)을 수행하기 위하여 A의 평균 필터를 사용할 수 있다.

L 개의 스피커들에 대하여 생성된 멀티채널 컨콘덴츠의 처리에 기초한 실시 예는 상기와 같이 설명된다. 물론, 상기 멀티채널 컨텐츠는 어떤 종류의 오디오 소스, 예를 들어, 음성, 음악 악기, 어떤 노이즈 등에 의해 생성될 수 있다.

특정 계산학적 도메인에 적용된 공식들에 기초한 실시 예들 (예를 들어, 상기 전송 도메인)은 상기와 같이 설명된다. 물론, 본 발명은 이러한 공식들로 제한되지 않고, 이러한 공식들은 다른 계산학적 도메인들 (예를 들어, 시간 도메인, 주파수 도메인, 시간-주파수 도메인 등)에 적용되도록 수정될 수 있다.

일 실시 예는 공간에서 결정된 BRIR 값들에 기초하여 상기와 같이 설명된다. 물론, 어떤 종류의 외부 환경 (예를 들어, 콘서트 홀, 야외 등)에 대하여 본 발명을 실행할 수 있다.

일 실시 예는 두 개의 공간 효과 전달 함수들의 적용에 기초하여 상기와 같이 설명된다. 물론, 두 개의 공간 효과 전달 함수들 이상을 가진 본 발명에 적용될 수 있다. 예를 들어, 적접 방출된 사운드에 관한 부분, 제1 반사파에 관한 부분, 및 상기 확산된 사운드에 관한 부분을 동시에 분리할 수 있다.

Claims

합산과 함께 적어도 하나의 FFT 블록 기반의 필터링 과정이 적어도 두 개의 입력 신호들(I(1), I(2), ..., I(L))에 적용되는 사운드 공간화 방법에 있어서, 상기 필터링 과정의 각각은:
- 공간 효과를 포함하는 적어도 하나의 임펄스 응답 각각에 대해, 상기 임펄스 응답을 시간에 따라 제1 부분 및 제2 부분으로 구획하는 과정으로서, 상기 구획하는 과정은, 상기 제1 부분은 샘플의 제1 개수를 넘어 확장되고, 상기 제2 부분은 상기 샘플의 제1 개수의 배수인 샘플의 제2 개수를 넘어 확장되도록 수행되는, 과정;
- 적어도 하나의 제1 공간 효과 전달 함수(A^k(1), A^k(2), ..., A^k(L))를 적용하는 과정으로서, 상기 제1 공간 효과 전달 함수 각각은 임펄스 응답의 적어도 하나의 제1 부분으로 구성되고, 각 입력 신호에 특정되는, 과정; 및
- 적어도 하나의 제2 공간 효과 전달 함수(B_mean ^k)를 적용하는 과정으로서, 상기 제2 공간 효과 전달 함수 각각은 임펄스 응답의 적어도 하나의 제2 부분으로 구성되고, 모든 입력 신호들에 공통되는, 과정을 포함하고, 상기 사운드 공간화 방법은,
상기 입력 신호들의 각각에 특정된 가중치 계수 (W^k(l))로 적어도 하나의 입력 신호를 가중화하는 단계를 포함하는 것을 특징으로 하는 사운드 공간화 방법.
제1항에 있어서,
상기 제1 및 제2 공간 효과 전달 함수들은:
- 직접적인 사운드 전달들과 상기 직접적인 사운드의 전달의 제1 사운드 반사들; 및
- 상기 제1 사운드 반사들 후의 분산된 음장,
를 각각 나타내고,
상기 방법은:
- 입력 신호들에 각각 특정된 상기 제1 공간 효과 전달 함수들의 적용, 및
- 모든 입력 신호들과 동일하고 분산된 음장 효과의 일반적 근사화로 얻어지는 제2 공간 효과 전달 함수의 적용
을 더 포함하는 것을 특징으로 하는 사운드 공간화 방법.
제2항에 있어서,
상기 공간 효과를 포함하는 임펄스 응답으로부터 상기 제1 및 제2 공간 효과 전달 함수들을 구성하는 예비 단계를 포함하고, 상기 예비 단계는, 제1 공간 효과 전달 함수의 구성을 위하여,
- 직접적인 음파들이 나타나는 시작 시간을 결정하고,
- 상기 제1 사운드 반사들 후의 상기 분산된 음장이 나타나는 시작 시간을 결정하고, 및
- 임펄스 응답에서, 상기 직접적인 음파들이 나타나는 시작 시간부터 상기 분산된 음장이 나타나는 시작 시간까지의 사이에서 일시적으로 확장되는 임펄스 응답의 일부를 선택하는,
조작을 포함하며,
상기 임펄스 응답의 선택된 부분은 상기 제1 공간 효과 전달 함수에 대응하는 사운드 공간화 방법.
제3항에 있어서,
상기 제2 공간 효과 전달 함수는 상기 분산된 음장이 나타나는 시작 시간 이후 일시적으로 시작되는 임펄스 응답들의 한 세트의 부분으로부터 생성되는 사운드 공간화 방법.
제3항에 있어서, 상기 제2 공간 효과 전달 함수는 아래 종류의 공식이 적용되는 것을 특징으로 하는 사운드 공간화 방법.

여기서, k는 출력 신호의 지표이고,

는 입력 신호의 지표이고,
L은 입력 신호들의 개수이고,

는 상기 분산된 음장을 나타내는 상기 시작 시간 후 일시적으로 시작되는 임펄스 응답들의 한 세트의 부분으로부터 획득되는 정규화된 전달 함수를 나타냄.
제3항에 있어서,
상기 필터링 과정은 상기 직접적인 음파의 시작 시간과 상기 분산된 음장이 나타나는 시작 시간 사이의 시간 차이에 따른 지연을 보상하는 적어도 하나의 적용을 포함하는 사운드 공간화 방법.
제6항에 있어서,
상기 제1 및 제2 공간 효과 전달 함수들은 상기 입력 신호들에 병렬적으로 적용되고, 상기 적어도 하나의 지연 보상은 상기 제2 공간 효과 전달 함수들에 의해 필터링된 상기 입력 신호들에 적용되는 사운드 공간화 방법.
제1항에 있어서,
에너지 보정 이득 계수 (G)는 상기 가중치 계수 (
)에 적용되는 사운드 공간화 방법.
제6항에 있어서,
상기 방법의 적어도 하나의 출력 신호는 다음 종류의 공식을 적용하여 주어지는 사운드 공간화 방법.

여기서, k는 출력 신호의 지표이고,

는 출력 신호이고,

는 상기 입력 신호들 중 하나의 입력 신호의 지표이고,
L은 입력 신호들의 개수이고,
I(l)은 상기 입력 신호들 중 하나의 입력 신호이고,

는 상기 적어도 하나의 제1 공간 효과 전달 함수들 중 하나의 공간 효과 전달 함수이고,

는 상기 제2 공간 효과 전달 함수들 중 하나의 공간 효과 전달 함수고,

는 상기 입력신호들의 각각에 특정된 상기 가중치 계수들 중 하나의 가중치 계수이고,

는 상기 지연의 보상 적용과 관련되고,
·은 곱셈을 나타내고, 및
*은 컨벌루션 연산자(convolution operator)을 나타냄.
제6항에 있어서,
상기 제2 공간 효과 전달 함수들을 적용하기 이전의 입력 신호들을 역 상관관계를 보여주는 단계를 포함하고, 상기 방법의 적어도 하나의 출력 신호는 다음 종류의 공식을 적용하여 획득되는 사운드 공간화 방법.

여기서, k는 출력 신호의 지표이고,

는 출력 신호이고,

는 상기 입력 신호들 중 하나의 입력 신호의 지표이고,
L은 입력 신호들의 개수이고,
I(l)은 상기 입력 신호들 중 하나의 입력 신호이고,
I_d(l)는 상기 입력 신호들 중 역 상관관계의 입력 신호이고,

는 상기 제1 공간 효과 전달 함수들 중 하나의 공간 효과 전달 함수고,

는 상기 제2 공간 효과 전달 함수들 중 하나의 공간 효과 전달 함수고,

는 상기 가중치 계수들 중 하나의 가중치 계수이고,

는 상기 지연의 보상 적용과 관련되고,
·은 곱셈을 나타내고, 및
*은 컨벌루션 연산자를 나타냄.
제6항에 있어서,
입력 신호들의 함수로서 에너지 보정 이득 계수를 결정하는 단계를 포함하고, 적어도 하나의 출력 신호는 다음 종류의 공식을 적용하여 획득되는 사운드 공간화 방법.

여기서, k는 출력 신호의 지표이고,

는 출력 신호이고,

는 상기 입력 신호들 중 하나의 입력 신호의 지표이고,
L은 입력 신호들의 개수이고,
I(l)은 상기 입력 신호들 중 하나의 입력 신호이고,
G(I(l))는 상기 결정된 에니지 보정 이득 계수이고,

는 상기 제1 공간 효과 전달 함수들 중 하나의 공간 효과 전달 함수고,

는 상기 제2 공간 효과 전달 함수들 중 하나의 공간 효과 전달 함수고,

는 상기 가중치 계수들 중 하나의 가중치 계수이고,

는 상기 지연의 보상 적용과 관련되고,
·은 곱셈을 나타내고, 및
*은 컨벌루션 연산자를 나타냄.
제1항에 있어서,
상기 가중치 계수는 다음 종류의 공식을 적용하여 주어지는 사운드 공간화 방법.

여기서, k는 출력 신호의 지표이고,

는 상기 입력 신호들 중 하나의 입력 신호의 지표이고,
L은 입력 신호들의 개수이고,

은 상기 제2 공간 효과 전달 함수들 중 하나의 공간 효과 전달 함수의 에너지이고,

는 표준화 이득과 관련된 에너지임.
마이크로프로세서에서 제1항 내지 제12항 중 어느 한 항에 따른 방법의 단계들을 수행하도록 지시하는 실행 가능한 프로그램이 저장된 비일시적 컴퓨터로 읽을 수 있는 저장매체.
적어도 두 개의 입력 신호들 (I(1), I(2), ..., I(L))에 적용되는 합산부를 가진 적어도 하나의 필터를 포함하는 사운드 공간화 장치에 있어서,
- 공간 효과를 포함하는 적어도 하나의 임펄스 응답 각각을 제1 부분 및 제2 부분으로 구획하는 구획 모듈을 포함하고,
상기 구획 모듈은,
- 상기 제1 부분이 샘플의 제1 개수를 넘어 확장되고,
- 상기 제2 부분이 상기 샘플의 제1 개수의 배수인 샘플의 제2 개수를 넘어 확장되도록 수행되며,
상기 필터는:
- 상기 임펄스 응답의 적어도 하나의 제1 부분으로 구성되고, 각 입력 신호에 특정된, 적어도 하나의 제1 공간 효과 전달 함수(A^k(1), A^k(2), ..., A^k(L)), 및
- 상기 임펄스 응답의 적어도 하나의 제2 부분으로 구성되고, 모든 입력 신호들에 공통된, 적어도 하나의 제2 공간 효과 전달 함수(B_mean ^k),
를 사용하고,
상기 사운드 공간화 장치는, 상기 입력 신호들 각각에 특정된 가중치 계수 (
)를 갖는 적어도 하나의 입력 신호를 가중화하기 위한 가중화된 모듈들(M4B1, M4B2, ..., M4BL)을 포함하는 것을 특징으로 하는 사운드 공간화 장치.
제14항의 사운드 공간화 장치를 포함하고, 상기 입력 신호들은 오디오 신호들인 오디오 신호 디코딩 모듈.