KR20110074566A

KR20110074566A - 단성 호환성과 라우드스피커 호환성을 위한 바이노럴 필터

Info

Publication number: KR20110074566A
Application number: KR1020117009351A
Authority: KR
Inventors: 글렌 엔. 딕킨스; 데이비드 에스. 맥그레스
Original assignee: 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date: 2008-09-25
Filing date: 2009-09-15
Publication date: 2011-06-30
Also published as: TWI475896B; CN102165798B; WO2010036536A1; EP4274263A2; TW201031234A; EP2329661A1; EP3340660A1; US20110170721A1; EP3340660B1; EP4274263A3; EP2329661B1; EP3739908A1; EP3739908B1; CN102165798A; JP2012503943A; JP5298199B2; KR101261446B1; US8515104B2; HK1256734A1

Abstract

출력이 하나 이상의 가상 스피커를 통한 청취실 내에서의 음향으로 청취자의 느낌을 제공하도록 헤드폰을 거쳐 재생될 수 있도록 바이노럴 필터의 세트에 의해 적어도 하나의 입력 신호를 처리하며, 단성적 믹스다운 음향이 양호한 추가 특성을 갖는 방법. 또한, 적어도 하나의 입력 신호를 처리하기 위한 장치. 또한, 헤드폰을 통해 청취할 때 여전히 공간화를 제공하면서 단성적 믹스다운 음향이 양호한 특성을 달성하도록 한 쌍의 바이노럴 필터를 변경하는 방법.

Description

단성 호환성과 라우드스피커 호환성을 위한 바이노럴 필터{BINAURAL FILTERS FOR MONOPHONIC COMPATIBILITY AND LOUDSPEAKER COMPATIBILITY}

관련 출원에 대한 상호 참조

본 출원은, 본 명세서에 그 전문이 참조로 통합되어 있는 2008년 9월 25일자로 출원된 미국 가특허 출원 제 61/099,967호에 대한 우선권을 주장한다.

발명의 분야

본 발명은, 일반적으로 오디오 신호의 신호 처리에 관한 것이고, 보다 구체적으로는, 출력이 헤드폰 상에서 또는 단성적으로 또는 스피커의 세트를 통해 재생될 수 있도록 바이노럴 필터(binaural filter)에 의한 공간화(spatialization)를 위해 오디오 입력을 처리하는 것에 관한 것이다.

청취자가 청취실 내의 미리 한정된 위치에 배치된 복수의 가상 스피커로부터의 음향을 청취하는 감흥을 갖도록 헤드폰을 통해 재생하기 위해 하나 이상의 오디오 입력 신호 세트를 처리하는 것이 알려져 있다. 이런 처리는 본 명세서에서 공간화(spatialization) 또는 바이노럴화(biauralization)라 지칭된다. 이런 처리를 위해서는 아니지만, 헤드폰을 통해 청취하는 청취자는 음향이 그 청취자의 머리 내부에 있다는 감흥을 갖는다. 오디오 입력 신호는 단일 신호, 스테레오 재현을 위한 한 쌍의 신호, 복수의 서라운드 음향 신호, 예를 들어, 4.1 서라운드 음향을 위한 4개 오디오 입력 신호, 5.1 서라운드 음향을 위한 5개 오디오 입력 신호, 7.1 서라운드 음향을 위한 7개 오디오 입력 신호 등일 수 있으며, 또한 특정 음원의 것 같은 특정 위치를 위한 개별 신호를 포함할 수 있다. 공간화 대상 오디오 입력 신호 각각을 위해 한 쌍의 바이노럴 필터가 존재한다. 현실감 있는 재현을 위해, 바이노럴 필터는 각 가상 스피커로부터 좌측 귀와 우측 귀 각각으로의 머리 관련 전달 함수(HRTF)를 고려하고, 또한, 시뮬레이션되는 청취실의 초기 반향(echo)과 잔향(reverberant) 응답 양자 모두를 고려한다.

따라서, 헤드폰을 통한 청취를 위해 한 쌍의 오디오 출력 신호(바이노럴화된 신호)를 생성하기 위해 바이노럴 필터에 의해 신호를 전처리하는 것이 알려져 있다.

종종 바이노럴화된 신호를 단일 스피커를 통해, 즉, 단성적 재현을 위해 신호를 전기적으로 믹스다운함으로써 단성적으로 청취하기를 원하는 경우가 있다. 일 예는 모바일 장치 내의 단성적 라우드스피커를 통한 청취이다. 또한, 종종 한 쌍의 근접하게 이격된 라우드스피커를 통해 이런 음향을 청취하기를 원하는 경우도 있다. 이 후자의 경우에, 바이노럴화된 출력 신호는 역시 믹스다운되어야 하지만, 전기적 방식이 아닌 오디오 크로스토크에 의해 믹스다운되어야 한다. 양자의 경우, 바이노럴화되었다가 추후 믹스다운된 신호는 부자연스러운 소리이며, 특히, 이해성 및 오디오 명료성이 감소된 잔향적 소리이다. 바이노럴화된 오디오 내의 공간 및 거리에 대한 감흥을 훼손시키지 않고서는 이러한 문제점을 제거하기가 곤란하다.

본 발명은, 출력이 헤드폰 상에서 또는 단성적으로 또는 스피커의 세트를 통해 재생될 수 있도록 바이노럴 필터에 의한 공간화를 위해 오디오 입력을 처리하는 방법을 제공하는 효과를 갖는다.

도 1은, 본 발명의 일 실시예를 포함하는, 단일 입력 신호를 처리하기 위한 한 쌍의 바이노럴 필터를 포함하는 바이노럴화기의 개략 블록도를 도시한 도면.
도 2는, 본 발명의 일 실시예를 포함하는, 대응하는 하나 이상의 입력 신호를 처리하기 위한 하나 이상의 쌍의 바이노럴 필터를 포함하는 바이노럴화기의 개략 블록도를 도시한 도면.
도 3은, 본 발명의 일 실시예를 포함할 수 있는, 단성적 믹스를 위해 믹스다운되는 좌측 귀와 우측 귀 출력 신호를 생성하는, 하나 이상의 오디오 입력 신호를 갖는 바이노럴화기의 개략 블록도를 도시한 도면.
도 4a는, 셔플링 작업과, 후속하는 본 발명의 일 실시예를 포함할 수 있는 바이노럴 필터 쌍에 따른 합과 차 필터링과, 후속하는 역셔플링 작업을 도시한 도면.
도 4b는, 본 발명의 일 실시예를 포함할 수 있는 바이노럴 필터의 임펄스 응답을 나타내는 좌측 및 우측 입력 신호에 대한 셔플링 작업과, 후속하는 역셔플링 작업을 도시한 도면.
도 5는, 예시적 바이노럴 필터 임펄스 응답을 도시한 도면.
도 6은, 그 바이노럴화 특성들이 정합되는 바이노럴 필터 임펄스 응답을 나타내는 한 쌍의 입력 신호에 대해 작용하는 신호 처리 장치 실시예의 개략 블록도를 도시한다. 이 처리 장치는 본 발명의 하나 이상의 양태에 따라서, 바이노럴화 및 자연적 음향의 단성적 믹스를 생성할 수 있는 바이노럴 필터 임펄스 응답을 나타내는 신호를 출력하도록 구성되어 있다.
도 7은, 바이노럴 임펄스 응답을 생성하기 위해 도 6의 장치 같은 신호 처리 장치를 동작시키는 방법의 일 실시예의 개략적 흐름도를 도시한 도면.
도 8은, 바이노럴 필터 임펄스 응답을 나타내는 한 쌍의 신호를 바이노럴 필터의 변경된 임펄스 응답을 나타내는 신호로 변환하는 일 방법 실시예를 수행하는 MATLAB(메사추세츠주, 나틱 소재의 Mathworks, Inc.)의 신택스의 코드의 일부를 도시한 도면.
도 9는, 다양한 시간의 세트 각각에서의 임펄스에 대한 도 6의 장치 실시예 및 도 7의 방법 실시예에서 사용된 시간 가변 필터의 임펄스 응답의 플롯을 도시한 도면.
도 10은, 다양한 시간의 세트 각각에서의 도 6의 장치 실시예 및 도 7의 방법 실시예에 사용되는 시간 가변 필터의 주파수 응답 크기의 플롯을 도시한 도면.
도 11은, 본 발명의 일 실시예에 따른 좌측 귀 바이노럴 필터 임펄스 응답과 원래의 좌측 귀 바이노럴 필터 임펄스 응답을 도시한 도면.
도 12는, 본 발명의 일 실시예에 따른 바이노럴화 합 필터 임펄스 응답과 원래의 바이노럴화 합 필터 임펄스 응답을 도시한 도면.
도 13은, 본 발명의 일 실시예에 따른 바이노럴화 차 필터 임펄스 응답과 원래의 바이노럴화 차 필터 임펄스 응답을 도시한 도면.
도 14a 내지 도 14e는, 본 발명의 예시적 바이노럴 필터 쌍 실시예의 필터 임펄스 응답의 길이를 따른 가변 시간 스팬에 걸친 합과 차 필터 응답의 주파수의 함수로서의 에너지의 플롯을 도시한 도면.
도 15a 및 도 15b는, 본 발명의 예시적 바이노럴 필터 쌍 실시예의 합 및 주파수 필터 임펄스 응답 각각을 위한 시간-주파수 평면 상에서의 균등 감쇠 윤곽을 도시한 도면.
도 16a 및 도 16b는, 본 발명의 일 예시적 바이노럴 필터 쌍 실시예의 합 및 주파수 필터 임펄스 응답을 위한 시간-주파수 플롯의 표면의 등적도, 즉, 스펙트로그램을 도시한 도면.
도 17a 및 도 17b는, 도 16a 및 도 16b와 동일하지만, 전형적 바이노럴 필터 쌍의, 특히, 도 16a 및 도 16b를 위해 사용되는 것과 일치하는 바이노럴 필터의 합 및 주파수 필터 임펄스 응답 각각을 위한, 시간-주파수 플롯의 표면의 등각도를 도시한 도면.
도 18은, 본 발명의 양태에 따른 오디오 입력 신호 세트를 처리하도록 구성된 오디오 처리 장치의 구현예의 일 형태를 도시한 도면.
도 19a는, 오디오 정보의 5개 채널을 수용하는 바이노럴화 장치의 일 실시예의 개략 블록도를 도시한 도면.
도 19b는, 오디오 정보의 4개 채널을 수용하는 바이노럴화 장치의 일 실시예의 개략 블록도를 도시한 도면.

개요

본 발명의 실시예는 방법, 장치 및 프로그램 로직, 예를 들어, 실행시 방법의 수행을 유발하는 컴퓨터 판독 가능 매체 내에 인코딩된 프로그램 로직을 포함한다. 한 가지 방법은 믹스다운 이후 단성적으로 재생될 때 또는 비교적 근접하게 이격된 라우드스피커를 통해 재생될 때 바이노럴화된 신호가 양호한 소리가 되는 추가 특성을 갖는 하나 이상의 오디오 입력의 가상 공간화를 달성하기 위해 바이노럴 필터를 사용하여 헤드폰을 거쳐 렌더링하기 위한 하나 이상의 오디오 입력 신호를 처리하는 것으로 이루어진다. 다른 방법은 하나 이상의 쌍의 변경된 바이노럴 필터 특징을 갖는 하나 이상의 쌍의 바이노럴 필터 각각에 의해 하나 이상의 오디오 입력 신호가 바이노럴화될 때, 바이노럴화된 신호가 믹스다운 이후 단성적으로 재생될 때 또는 비교적 근접하게 이격된 라우드스피커를 거쳐 재생될 때 바이노럴화된 신호가 양호한 소리가 되는 추가 특성을 갖는 하나 이상의 오디오 입력의 가상 공간화를 달성하도록 하나 이상의 쌍의 바이노럴 필터 특성, 예를 들어, 바이노럴 필터 응답을, 변경된 바이노럴 필터 특성, 예를 들어, 변경된 바이노럴 필터 임펄스 응답의 대응하는 하나 이상의 쌍을 결정하도록 처리하기 위해 데이터 처리 시스템을 작동시키는 것으로 이루어진다.

특정 실시예는 하나 이상의 오디오 입력 신호 세트를 바이노럴화하기 위한 장치를 포함한다. 이 장치는 오디오 신호 입력 각각을 위해 한 쌍의 베이스 바이노럴 필터를 갖는 상태로 하나 이상의 쌍의 베이스 바이노럴 필터를 특징으로 하는 한 쌍의 바이노럴 필터를 포함한다. 베이스 바이노럴 필터의 각 쌍은 베이스 좌측 귀 필터와 베이스 우측 귀 필터로 나타낼 수 있으며, 또한, 베이스 합 필터와 베이스 차 필터로 나타낼 수 있다. 각 필터는 각각의 임펄스 응답에 의해 특성화될 수 있다.

적어도 한 쌍의 베이스 바이노럴 필터는 각각의 가상 스피커 위치로부터 청취자에게 직접 응답을 통합시키고 청취실의 초기 반향과 잔향 응답 양자 모두를 통합시키도록 그 각각의 오디오 신호 입력을 공간화하도록 구성된다.

적어도 한 쌍의 베이스 바이노럴 필터에 대해:

- 베이스 합 필터의 시간-주파수 특성은 실질적으로 베이스 차 필터의 시간-주파수 특성과 다르고, 베이스 합 필터 길이는 모든 주파수에서 베이스 차 필터 길이, 베이스 좌측 귀 필터 길이 및 베이스 우측 귀 필터 길이보다 현저히 작다.

- 베이스 합 필터 길이는 베이스 좌측 귀 필터 길이 또는 베이스 우측 귀 필터 길이의 주파수 상의 변화에 비해 다양한 주파수에서 크게 변하며, 베이스 합 필터 길이는 주파수 증가에 따라 감소한다.

장치는 단성 믹스 후 단성적으로 또는 헤드폰을 통해 재생될 수 있는 출력 신호를 생성한다.

일부 실시예에서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 합 필터 임펄스 응답의 무의미한 레벨로의 전이는 베이스 합 필터 임펄스 응답의 초기 시간 간격에서 주파수 의존 방식으로 시간에 따라 점진적으로 발생한다.

일부 실시예에서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 합 필터는 최초에 전체 대역폭이 되는 것으로부터 전이 시간 간격에서 저 주파수 컷오프로 주파수 콘텐츠가 감소한다. 예로서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 전이 시간 간격은 베이스 합 필터 임펄스 응답이 약 3ms 이하의 전체 대역폭으로부터 약 40ms에서 100Hz 미만까지 전이하도록 이루어진다.

일부 실시예에서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 10kHz를 초과하는 고 주파수에서 베이스 차 필터 길이는 40ms 미만이고, 3kHz와 4kHz 사이의 주파수에서 베이스 차 필터 길이는 100ms 미만이고, 2kHz 미만의 주파수에서 베이스 차 필터 길이는 160ms 미만이다. 이들 실시예 중 일부에 대해, 10kHz를 초과하는 고 주파수에서 베이스 차 필터 길이는 20ms 미만이고, 3kHz와 4kHz 사이의 주파수에서 베이스 차 필터 길이는 60ms 미만이고, 2kHz 미만의 주파수에서 베이스 차 필터 길이는 120ms 미만이다. 이들 실시예 중 일부에 대해, 10kHz를 초과하는 고 주파수에서 베이스 차 필터 길이는 10ms 미만이고, 3kHz와 4kHz 사이의 주파수에서 베이스 차 필터 길이는 40ms 미만이고, 2kHz 미만의 주파수에서 베이스 차 필터 길이는 80ms 미만이다.

일부 실시예에서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 차 필터 길이는 약 800ms 미만이다. 이들 실시예 중 일부에서, 베이스 차 필터 길이는 약 400ms 미만이다. 이들 실시예 중 일부에서, 베이스 차 필터 길이는 약 200ms 미만이다.

일부 실시예에서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 합 필터 길이는 주파수 증가에 따라 감소하고, 100Hz 미만의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 40ms 및 160ms 이하이고, 100Hz와 1kHz 사이의 모든 주파수에 대해 베이스 합 필터 길이는 적어도 20ms 및 80ms 이하이고, 1kHz와 2kHz 사이의 모든 주파수에 대해 베이스 합 필터 길이는 적어도 10ms 및 20ms 이하이고, 2kHz와 20kHz 사이의 모든 주파수에 대해 적어도 5ms 및 20ms 이하이다. 이들 실시예 중 일부에서, 100Hz 미만의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 60ms 및 120ms 이하이고, 100Hz와 1kHz 사이의 모든 주파수에 대해 베이스 합 필터 길이는 적어도 30ms 및 60ms 이하이고, 1kHz와 2kHz 사이의 모든 주파수에 대해 베이스 합 필터 길이는 적어도 15ms 및 30ms 이하이고, 2kHz와 20kHz 사이의 모든 주파수에 대해 적어도 7ms 및 최대 15ms이다. 또한, 이들 실시예 중 일부에서, 100Hz 미만의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 70ms 및 90ms 이하이고, 100Hz와 1kHz 사이의 모든 주파수에 대해 베이스 합 필터 길이는 적어도 35ms 및 50ms 이하이고, 1kHz와 2kHz 사이의 모든 주파수에 대해 베이스 합 필터 길이는 적어도 18ms 및 25ms 이하이고, 2kHz와 20kHz 사이의 모든 주파수에 대해 적어도 8ms 및 최대 12ms이다.

일부 실시예에서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 바이노럴 필터 특징은 정합될 바이노럴 필터 특성의 쌍으로부터 결정된다. 이런 실시예 중 일부에 대해, 적어도 한 상의 베이스 바이노럴 필터에 대해, 베이스 차 필터 임펄스 응답은 추후 정합될 바이노럴 필터의 차 필터에 실질적으로 비례한다. 예로서, 베이스 차 필터 임펄스 응답은 40ms 후 정합될 바이노럴 필터의 차 필터에 실질적으로 비례하게 된다.

특정 실시예는 하나 이상의 오디오 입력 신호 세트를 바이노럴화하는 방법을 포함한다. 이 방법은 하나 이상의 쌍의 바이노럴 필터를 특징으로 하는 바이노럴화기에 의해 오디오 입력 신호 세트를 필터링하는 단계를 포함한다. 다양한 실시예에서, 베이스 바이노럴 필터는 특정 장치 실시예를 설명하는 본 개요 섹션에서 상술한 바와 같다.

특정 실시예는 신호 처리 장치를 동작시키는 방법을 포함한다. 이 방법은 오디오 신호를 바이노럴화하도록 구성된 대응하는 쌍의 정합될 바이노럴 필터의 임펄스 응답을 나타내는 한 쌍의 신호를 수신하는 단계와, 시간 가변 필터 특징을 갖는 변경 필터에 의해 각각 특성화된 한 쌍의 필터에 의해 수신된 신호의 쌍을 처리하는 단계를 포함한다. 처리는 대응하는 쌍의 변경된 바이노럴 필터의 임펄스 응답을 나타내는 한 쌍의 변경된 신호를 형성한다. 변경된 바이노럴 필터는 오디오 신호를 바이노럴화하도록 구성되고, 또한, 단성적 믹스다운시 낮은 인지 잔향과, 헤드폰을 거친 바이노럴 필터에 대한 최소의 영향을 특성으로 갖는다.

일부 실시예에서, 변경된 바이노럴 필터는 변경된 합 필터와 변경된 차 필터에 의해 특성화될 수 있다. 시간 가변 필터는 변경된 바이노럴 필터 임펄스 응답이 미리 한정된 위치의 가상 스피커를 청취하는 청취자를 위한 헤드 관련 전달 함수에 의해 한정된 직접 부분을 포함한다. 또한, 변경된 합 필터는 변경된 차 필터에 비해 현저히 감소된 레벨과 현저히 짧은 잔향 시간을 가지며, 합 필터의 임펄스 응답의 직접 부분으로부터 합 필터의 무시 가능한 응답 부분으로의 매끄러운 전이가 존재하고, 매끄러운 전이는 시간에 따라 주파수 선택성이다.

다른 실시예에서, 변경된 바이노럴 필터는 특정 장치 실시예에 대해 본 개요 섹션에서 상술한 베이스 바이노럴 필터의 특성을 갖는다.

특정 실시예는 신호 처리 장치를 동작시키는 방법을 포함한다. 이 방법은 오디오 신호를 바이노럴화하도록 구성된 대응하는 좌측 귀와 우측 귀 바이노럴 필터의 임펄스 응답을 나타내는 좌측 귀 신호와 우측 귀 신호를 수신하는 단계를 포함한다. 이 방법은 좌측 귀 신호와 우측 귀 신호를 셔플링하여 좌측 귀 신호와 우측 귀 신호의 합에 비례하는 합 신호와, 좌측 귀 신호와 우측 귀 신호 사이의 차에 비례하는 차 신호를 형성하는 단계를 더 포함한다. 이 방법은 시간 가변 필터 특징을 갖는 합 필터에 의해 합 신호를 필터링하는 단계와, 합 필터에 의해 특성화되는 차 필터에 의해 차 신호를 처리하는 단계를 더 포함하고, 필터링 단계는 필터링된 합 신호를 형성하며, 처리 단계는 필터링된 차 신호를 형성한다. 이 방법은 필터링된 합 신호와 필터링된 차 신호를 역셔플링하여 대응하는 좌측 귀와 우측 귀 변경 바이노럴 필터의 임펄스 응답을 나타내는 변경된 좌측 귀 신호와 변경된 우측 귀 신호를 형성하는 단계를 더 포함한다. 변경된 바이노럴 필터는 오디오 신호를 바이노럴화하도록 구성되고, 변경된 합 필터와 변경된 차 필터에 의해 나타내질 수 있다. 다른 실시예에서, 변경된 바이노럴 필터는 특정 장치 실시예에 대해 본 개요 섹션에서 상술된 베이스 바이노럴 필터의 특성을 갖는다.

특정 실시예는 처리 시스템의 적어도 하나의 프로세서에 의해 실행시 특정 장치 실시예에 대해 본 개요 섹션에서 상술된 임의의 방법 실시예를 수행하도록 하는 프로그램 로직을 포함한다.

특정 실시예는 처리 시스템의 적어도 하나의 프로세서에 의해 실행시 특정 장치 실시예에 대해 본 개요 섹션에서 상술한 임의의 방법 실시예를 수행하도록 하는 컴퓨터 판독 가능 매체를 포함한다.

특정 실시예는 장치를 포함한다. 이 장치는 적어도 하나의 프로세서와 저장 장치를 갖는 처리 시스템을 포함한다. 저장 장치는 실행시 장치가 특정 장치 실시예에 대해 본 개요 섹션에서 상술된 임의의 방법 실시예를 수행하도록 하는 프로그램 로직으로 구성되어있다.

특정 실시예는 이들 양태, 특징 또는 장점 중 전부 또는 일부를 제공하거나 아무것도 제공하지 않을 수 있다. 특정 실시예는 본 명세서의 도면, 설명 및 청구범위로부터 본 기술 분야의 숙련자가 이들 중 하나 이상을 쉽게 명백히 알 수 있는, 하나 이상의 다른 양태, 특징 또는 장점을 제공할 수 있다.

바이노럴 필터와 표시법

도 1은 단일 입력 신호를 처리하기 위한 한 쌍의 바이노럴 필터들(103, 104)을 포함하는 바이노럴화기(101)의 개략 블록도를 도시한다. 바이노럴 필터가 본 기술 분야에 일반적으로 알려져 있지만, 본 명세서에 설명된 단성적 재생 특징을 포함하는 바이노럴 필터는 종래 기술이 아니다.

본 설명을 진행하기 위해, 일부 표시법이 도입된다. 설명의 축약성을 위해, 신호는 본 명세서에서 연속적 시간 함수로 표현된다. 그러나, 신호 처리 분야의 임의의 숙련자는 이 골격이 불연속 시간 신호, 즉, 적절히 샘플링되고 양자화된 신호에도 마찬가지로 잘 적용된다는 것을 명백히 알 수 있다. 이런 신호는 통상적으로 시간적 샘플링 순간을 나타내는 정수에 의해 인덱싱된다. 중합적분들은 중합 합들이 되는 등등이다. 또한, 본 기술의 숙련자는 설명된 필터가 시간 도메인이나 주파수 도메인 또는 심지어 양자의 조합 중 어느 쪽으로라도 구현될 수 있다는 것을 이해할 것이며, 또한, 유한 임펄스 응답 FIR 구현예, 재귀 무한 임펄스 응답(IIR) 근사화, 시간 지연 등으로서 구현될 수 있다는 것을 이해할 것이다. 이들 세부사항들은 본 설명에서 설명하지 않는다.

또한, 설명된 방법은 임의의 수의 입력 소스 신호에 일반적으로 적용될 수 있고 쉽게 일반화될 수 있다. 또한, 본 설명 및 공식은 개별 헤드 관련 전달 펑션들의 임의의 특정 세트 또는 임의의 특정 합성 또는 일반적 헤드 관련 전달 함수에 특정되지 않는다는 것을 이해하여야 한다. 본 기술은 임의의 원하는 바이노럴 응답에 적용될 수 있다.

도 1을 참조하면, u(t)는 헤드폰들(105)을 통한 바이노럴 렌더링을 위해 바이노럴화기(101)에 의해 바이노럴화될 단일 오디오 신호를 나타내고, h_L(t) 및 h_R(t)는 각각 청취실 내의 청취자(107)를 위한 좌측 귀와 우측 귀 각각을 위한 바이노럴 필터 임펄스 응답을 나타낸다. 바이노럴화기는 청취자(105)에게 미리 한정된 위치에 있는 소스-"가상 라우드스피커"(109)로부터 도입되는 신호{u(t)}의 음향을 청취하는 느낌을 제공하도록 설계되어 있다.

바이노럴 필터(103, 104)의 적절한 디자인에 의한 이러한 소스들의 가상 공간 배치를 달성하기 위한 바이노럴 필터의 디자인, 근사화 및 구현예에 관련한 방대한 양의 종래 기술이 존재한다. 필터는 스피커(109)가 완벽한 무반향 실내에 있는 것처럼 각 귀의 헤드 관련 전달 함수(HRTF)를 고려하며, 다시 말하면, 가상 스피커(109)로부터 직접적으로 청취하는 공간적 차원들을 고려하며, 추가로, 청취 환경 내의 초기 반사들 및 잔향 양자 모두를 고려한다. 일부 바이노럴 필터가 설계되는 방식에 대한 더 상세한 설명에 대해서는 예로서, 발명의 명칭이 UTILIZATION OF FILTERING EFFECTS IN STEREO HEADPHONE DEVICES인 WO 9914983호로 공개된 PCT/AU98/00769호 및 발명의 명칭이 AUDIO SIGNAL PROCESSING METHOD AND APPARATUS인 WO 9949574로서 공개된 PCT/AU99/00002호를 참조한다. 이들 출원 각각은 미국을 지정국으로 하고 있다. 공보 WO 9914983 및 WO 9949574호 각각의 내용은 본 명세서에 참조로 포함되어 있다.

따라서, 헤드폰 용도를 위해 바이노럴화된 신호가 가용해질 수 있다. 신호의 바이노럴화 처리는 청취자가 다양한 유형의 방들에서 콘텐츠를 청취하는 느낌을 갖도록 제공되는 하나 이상의 미리 한정된 바이노럴 필터에 의해 이루어질 수 있다. 한가지 상업적 바이노럴화는 DOLBY HEADPHONE(TM)으로서 알려져 있다. DOLBY HEADPHONE 바이노럴화의 바이노럴 필터 쌍들은 공통 비공간적 잔향 테일부를 갖는 각각의 임펄스 응답을 갖는다. 또한, 일부 DOLBY HEADPHONE 구현예는 단일 전형적 청취실을 설명하는 바이노럴 필터의 단일 세트만을 제공하며, 다른 구현예는 DH1, DH2 및 DH3으로 표시된 바이노럴 필터의 3개 서로 다른 세트들 중 하나를 사용하여 바이노럴화할 수 있다. 이들은 이하의 특성을 갖는다.

- DH1은 영화 및 음악 전용 레코딩을 위해 적합한 작은 잘 방음된 실내에서의 청취의 느낌을 제공한다.

- DH2는 특히 음악 청취에 적합한 음향학적으로 더 반향이 많은(live) 실내에서의 청취의 느낌을 제공한다.

- DH3은 콘서트 홀이나 영화관과 더 유사한 더 큰 실내에서의 청취의 느낌을 제공한다.

중합(convolution) 연산을 ⓧ로 나타내며, 다시 말하면, a(t)와 b(t)의 중합은 이하와 같이 나타내어 진다.

여기서, 시간 의존성은 좌측에서는 명시적으로 나타나지 않지만, 문자의 사용에 의해 암시되어 있다. 시간에 의존하지 않는 양은 명시적으로 나타내어질 것이다.

바이노럴 출력은 ν_L(t)로 표시된 좌측 출력 신호와, ν_R(t)로 표시된 우측 귀 신호를 포함한다. 바이노럴 출력은 바이노럴 필터들(103, 104)의 좌측 및 우측 임펄스 응답들과 소스 신호{u(t)}를 중합함으로써 생성된다.

ν_L= h_Lⓧu 좌측 출력 신호 (1)

ν_R= h_Rⓧu 우측 출력 신호 (2)

도 1은 단일 입력 오디오 신호를 도시한다. 도 2는 u₁(t), u₁(t),..., u_M(t)로 표시된 하나 이상의 오디오 입력 신호를 갖는 바이노럴화기의 개략 블록도를 도시하며, 여기서, M은 입력 오디오 신호의 수이다. M은 1일 수 있거나, 1보다 클 수 있다. 스테레오 재현에서 M=2이고, 서라운드 음향 신호를 위해서는 더 많으며, 예를 들어, 4.1 서라운드 음향에 대해 M=4이고, 5.1 서라운드 음향에 대해 M=5이고, 7.1 서라운드 음향에 대해서는 M=7인 등등이다. 또한, 다수의 소스, 예를 들어, 일반적 배경을 위한 복수의 입력과 주변에서 말하는 사람 같은 특정 소스들을 위치시키기 위한 하나 이상의 입력의 합을 가질 수 있다. 공간화될 각각의 오디오 입력 신호에 대해 한 쌍의 바이노럴 필터가 존재한다. 현실적 재현을 위해, 바이노럴 필터는 각각의 가상 스피커 위치 및 좌측 및 우측 귀들을 위한 각각의 헤드 관련 전달 함수(HRTF)를 고려하며, 또한, 시뮬레이션되는 청취실의 초기 반향과 잔향 응답 양자 모두를 고려한다. 도시된 바이노럴화기를 위한 좌측 및 우측 바이노럴 필터는 각각 임펄스 응답{h_1L(t) 및 h_1R(t), h_2L(t) 및 h_2R(t),..., h_ML(t) 및 h_MR(t)}을 갖는 좌측 귀 바이노럴화기 및 우측 귀 바이노럴화기(203-1 및 204-1, 203-2 및 204-2,...., 203-M 및 204-M)를 포함한다. 좌측 귀와 우측 귀 출력은 가산기(205, 206)에 의해 가산되어 출력 ν_L(t) 및 ν_R(t)을 생성한다.

가상 스피커의 수는 Mν로 표시된다. 이런 스피커는 도 2의 Mν 각각의 위치에서 스피커(209-1, 209-2,..., 209-Mv)로 도시되어 있다. 통상적으로, M=Mv이지만, 이는 필수적인 것은 아니다. 예로서, 5개 가상 라우드스피커가 존재하는 것 같이 헤드폰 상에서 청취자에게 소리가 들리도록 한 쌍의 스테레오 입력 신호를 공간화하기 위해 업믹싱이 통합될 수 있다.

본 명세서의 설명에서, 단일 쌍의 바이노럴 필터를 이용한 작업 및 그 특성이 설명된다. 본 기술 분야의 숙련자는 바이노럴 필터 쌍을 사용한 작업 및 그 특성이 도 2에 도시된 바와 같은 구성의 각 바이노럴 필터 쌍에 적용될 수 있다는 것을 이해할 것이다.

도 3은 하나 이상의 오디오 입력 신호를 가지며, 좌측 출력 신호(ν_L(t)) 및 우측 귀 출력 신호(ν_R(t))를 생성하는 바이노럴화기(303)의 개략 블록도를 도시한다. ν_M(t)는 좌측 및 우측 신호들(ν_L(t)) 및 우측 귀 신호(ν_R(t)) 각각 상에 소정의 필터링을 수행하고 필터링된 신호를 가산, 즉, 믹싱하는 다운 믹서(205)에 의해 얻어진 좌측 및 우측 신호의 단성적 믹스다운을 나타낸다. 이하의 설명은 단일 입력{u(t)}을 가정한다. m_L(t) 및 m_R(t)는 각각 다운 믹서(305)의 좌측 및 우측 출력 신호에 대한 필터(307, 308)의 임펄스 응답을 나타낸다. 이하의 설명은 단일 입력{u(t)}을 가정한다. 유사한 작업들이 이런 입력 각각에 대해 이루어진다. 단성적 믹스다운은 이때 이하와 같다.

(3)

이상적 단성적 호환성을 위해, 단성적 믹스는 초기 신호{u(t)}와 동일(또는 그에 비례)하다. 즉, ν_M(t)=αu(t)이며, 여기서, α는 소정 스케일 인자 상수이다. 이를 적용하기 위해, α=1로 가정하면, 하기의 일치가 이상적으로 적용될 필요가 있다.

(4)

여기서, δ(t)는 단위 적분 커널이며, uⓧδ=u로 정의된 Dirac 델타 함수라고도 지칭된다. 불연속적 처리에서, 원하는 결과 m_Lⓧh_L + m_Rⓧh_R(각 임펄스 응답은 불연속 함수)이 단위 임펄스 응답에 비례하는 것이다. 물론, 실용적 구현예에서, 계산들은 시간을 소요하며, 실제 케쥬얼 필터들로 구현되며, "완벽한" 단성적 호환성을 위한 요건은 m_Lⓧh_L + m_Rⓧh_R이 단위 임펄스의 시간 지연되고 스케일링된 버전이라는 것이다.

간단한 단성적 믹싱을 위해, m_L(t) = m_R(t) = δ(t)이다. 즉, ν_M = ν_L + ν_R = (h_L + h_R)ⓧu이다. 간단한 단성적 믹싱에 대해, 이상적으로는, 바이노럴화된 출력의 단성적 믹스의 완벽한 재현을 위해, 이하와 같다.

h_L(t) + h_R(t) = δ(t) (5)

h_L(t) 및 h_R(t)가 양호한 바이노럴화를 제공하는 것, 즉, 출력의 렌더링은 실제 청취실 내에서, 그리고, 가상 스피커 위치(들)로부터 음향이 존재하는 것 같이 헤드폰을 통해 자연스럽게 들려진다. 렌더링시 바이노럴 출력의 단성적 믹스는 오디오 입력{u(t)}처럼 들려지는 것이 더욱 바람직하다.

오디오 신호 처리 기술 분야의 숙련자는 합 채널 및 차 채널을 생성하기 위해 좌측 및 우측 바이노럴 신호의 셔플링을 먼저 수행함으로써 스테레오 신호 세트에 대해 바이노럴 필터링 작업들을 표현하는 것에 친숙할 것이다.

이상적으로, 좌측 입력 및 우측 스테레오 또는 바이노럴 입력(u_L(t) 및 u_R(t))에 대해, u_S(t) 및 u_D(t)로 표시되는 합과 차 신호는 이하와 같다.

(6)

셔플링 작업에 의해 역의 관계도 수행된다.

(7)

셔플링에 의해, 바이노럴 필터 임펄스 응답들은 h_S(t)로 표시되는 임펄스 응답을 갖는 합 필터와 h_D(t)로 표시되는 임펄스 응답을 갖는 차 필터로서 표현될 수 있으며, 이들은 각각 ν_S(t) 및 ν_D(t)로 표시된 바이노럴 필터링된 합과 차 신호를 생성하여,

ν_S = h_Sⓧu_S 및

ν_D = h_Dⓧu_D이고,

여기서, 이하가 성립된다.

(8a)

좌측 귀와 우측 귀 바이노럴 필터 임펄스 응답 사이의 역의 관계도 셔플링 작업에 의해 수행된다.

(9a)

이 설명에서, 좌측 및 우측 귀 바이노럴 필터{h_L(t) 및 h_R(t)}에 관련된 임펄스 응답{h_S(t)}을 갖는 합 필터와 임펄스 응답{h_D(t)}을 갖는 차 필터의 특성이 설명된다. 이들 합과 차 필터는 각각의 바이노럴 필터 쌍에 대해 한정된다. 스테레오 입력들은 순수히 예시를 위해 상술된 것이다. 물론, 합과 차 필터의 존재는 스테레오가 존재하거나 임의의 특정 수의 입력들이 존재하는 것에 의존하지 않는다. 합과 차 필터는 모든 바이노럴 필터 쌍에 대해 한정된다.

도 4a는 좌측 귀 바이노럴 신호 출력(ν_L(t)) 및 우측 귀 바이노럴 신호 출력(ν_R(t))을 생성하기 위한, 좌측 귀 스테레오 신호(u_L(t)) 및 우측 귀 스테레오 신호(u_R(t))에 대한 셔플러(401), 후속하는 합 필터 임펄스 응답 및 차 필터 임펄스 응답(각각, h_S(t) 및 h_D(t))을 갖는 합 필터(403) 및 차 필터(404), 그리고, 후속하는 디셔플러(405), 본질적으로, 셔플러 및 각 신호의 하버(halver)에 의한 셔플링 작업의 개략 블록도를 도시한다.

임펄스 응답은 시간 신호(단위 임펄스 입력에 대한 응답들)이기 때문에, 필터링 및 기타 신호 처리 작업은 임의의 다른 신호들과 똑같이 이들 상에 수행될 수 있다. 도 4b는 합 필터 바이노럴 임펄스 응답(h_S(t)) 및 차 필터 바이노럴 임펄스 응답(h_D(t))을 생성하기 위해 좌측 귀 바이노럴 필터 임펄스 응답(h_L(t)) 및 우측 귀 바이노럴 필터 임펄스 응답(h_R(t))에 대한 셔플러(401)에 의한 셔플링 작업의 개략 블록도를 도시한다. 또한, 좌측 귀 바이노럴 필터 임펄스 응답(h_L(t)) 및 우측 귀 바이노럴 필터 임펄스 응답(h_R(t))을 다시 제공하기 위한 디셔플러(405)(본질적으로, 셔플러 및 하버)에 의한 역셔플링도 도시되어 있다.

선형성 때문에, 종종 실제로는,

의 인자가 셔플링으로부터 제거되고, 2의 스케일 인자가 역셔플링된 출력들에 추가되며, 그래서, 일부 실시예에서 이하와 같다.

(8b)

(9b)

따라서, 본 명세서의 설명에서, 모든 양들은 본 기술 분야의 숙련자에게 명백한 바와 같이 적절히 스케일링될 수 있다.

바이노럴 필터의 설계

본 발명의 특정 실시예는 한 쌍의 변경된 바이노럴 필터 특징을 결정하기 위해 제공된 쌍의 바이노럴 필터 특징을 변경하기 위한 신호 처리 장치를 작동시키는 방법을 포함한다. 이 방법의 한 가지 실시예는 오디오 신호를 바이노럴화하도록 구성된 대응하는 쌍의 바이노럴 필터의 임펄스 응답을 나타내는 한 쌍의 신호를 수신하는 단계를 포함한다. 이 방법은 시간 가변 필터 특징을 갖는 변경 필터에 의해 각각 특성화되는 한 쌍의 필터에 의해 수신된 신호의 쌍을 처리하는 단계를 더 포함하며, 처리 단계는 대응하는 쌍의 변경된 바이노럴 필터의 임펄스 응답을 나타내는 한 쌍의 변경된 신호를 형성한다. 변경된 바이노럴 필터는 한 쌍의 바이노럴화된 신호로 오디오 신호를 바이노럴화하도록 구성되어 있으며, 또한, 바이노럴화된 신호의 단성적 믹스가 청취자에게 자연스럽게 들리는 특성을 갖는다.

각각 좌측 귀와 우측 귀 임펄스 응답들(h_L(t) 및 h_R(t))을 갖는 바이노럴 필터의 세트를 고려한다. 상술한 바와 같이, 수학식 (3)에 설명된 바와 같은 단성적 믹스에 대해, 이상적 완벽한 단성적 호환성을 위해, 하기의 동일성이 이상적으로 적용될 필요가 있으며, 임의의 비례 상수들은 무시한다.

(4)

간단한 단성적 믹싱에 대해, 이상적으로 이하와 같다.

(5)

우리는 렌더링시 바이노럴 출력의 단성적 믹스가 오디오 입력{u(t)}처럼 들리는 특성을 "단성적 재생 호환성" 또는 간단히 "단성적 호환성"이라 지칭한다. 단성적 재생 호환성에 추가로, h_L(t) 및 h_R(t)는 양호한 바이노럴화를 제공하는 것, 즉, 출력의 렌더링이 음향이 실제 청취실 내에서, 그리고, 가상 스피커 위치(들)로부터 들리는 것처럼 헤드폰을 통해 자연스럽게 들리는 것이 바람직하다. 또한, 바이노럴화된 오디오가 다양한 가상 스피커 위치, 및 이에 따라, 다양한 바이노럴 필터 쌍과 함께 믹싱된 다수의 다양한 오디오 입력 소스를 포함하는 경우를 수용하는 것이 바람직하다. 단성적 필터는 구현하기 간단하고, 바람직하게는 스테레오 콘텐츠의 단성적 믹스다운을 위한 일반적 관습과 호환성이 있는 것이 바람직하다. 수학식 (5)의 제약은 바이노럴 임펄스 응답의 방향 및 거리 특성들에 대한 상당한 영향이 없이는 일반적으로 불가능하다. 이는 필터 임펄스 응답의 초기 임펄스 또는 탭 이외에는, t>0에 대해 h_R(t) = -h_L(t)라는 것을 의미한다. 달리 말하면, 바이노럴 필터가 임펄스 응답{h_S(t) 및 h_D(t)}을 갖는 합과 차 필터들로서 표현될 때, t>0에 대해 h_S(t) = 0이다.

이 제약이 바이노럴 응답에 대한 상당한 영향 없이 어떤 방식으로든 실현될 수 있다는 것은 즉시 명백히 알 수는 없다. 이는 바이노럴 임펄스 응답의 벌크가 -1의 상관 계수를 갖는 것을 필요로 한다. 즉, 임펄스 응답은 부호 반전과 같을 것이다.

도 5는 말하자면, 합 필터(h_S(t)) 또는 좌측이나 우측 귀 바이노럴 필터 각각을 위한 전형적 바이노럴 필터 임펄스 응답을 개략적인 형태로 도시한다. 이런 음향학적 임펄스 응답의 일반적 형태는 직접 음향, 소정의 초기 반사들 및 근접하게 이격된 반사들로 구성되어 확산 잔향에 의해 잘 근사화되는 나중의 부분의 응답을 포함한다.

각각 h_L0(t) 및 h_R0(t)의 임펄스 응답을 갖는 좌측 및 우측 귀 바이노럴 필터를 구비하는 것으로 가정하고, 이들이 만족스러운 바이노럴화를 제공하는 것으로 가정한다. 본 발명의 일 양태는 예를 들어, 주어진 필터의 세트(h_L0(t) 및 h_R0(t))와 유사하게 만족스러운 바이노럴화를 제공하지만, 그 출력은 역시 단성적 신호로 믹스다운될 때에도 양호하게 들리는 임펄스 응답들(h_L(t) 및 h_R(t))에 의해 한정된 바이노럴 필터의 세트이다. h_L(t) 및 h_R(t)를 h_L0(t) 및 h_R0(t)에 비교하는 방식 및 h_L0(t) 및 h_R0(t)가 주어지면 h_L(t) 및 h_R(t)를 설계하는 방식을 설명한다.

직접 응답 부분

좌측 귀와 우측 귀 바이노럴 임펄스 응답들에서, 직접 응답은 청취자에게 부여되는 방향의 감각을 주로 담당하는 두 개의 각각의 귀들에 대한 레벨 및 시간 편차들을 인코딩한다. 본 발명자는 바이노럴 필터의 직접 헤드 관련 전달 펑션(HRTF) 부분의 스펙트럼 영향이 그다지 극심하지 않다는 것을 발견하였다. 또한, 전형적 HRTF는 또한 시간 지연 성분을 포함한다. 이는 바이노럴화된 출력들이 단성적 신호와 믹싱될 때, 단성적 신호를 위한 등가의 필터는 최소 위상이 되지 않으며, 소정의 추가 스펙트럼 형상화를 도입할 것이라는 것을 의미한다. 본 발명자는 이들 지연들이 비교적 짧다는 것, 예를 들어, 1ms 미만이라는 것을 발견하였다. 따라서, 바이노럴화된 신호의 출력들이 단성적 신호에 믹싱될 때 지연들이 소정의 스펙트럼 형상화를 생성하지만, 본 발명자는 이 스펙트럼 형상화가 일반적으로 그다지 심하지 않으며, 지연에 의해 생성되는 임의의 불연속 반향들은 비교적 인지불가하다는 것을 발견하였다. 따라서, 본 발명의 일부 실시예에서, h_L(t) 및 h_R(t)의 바이노럴 필터 임펄스 응답의 직접 부분들(HRTF들에 의해 한정된 것들)은 예를 들어, 필터 h_L0(t) 및 h_R0(t)의 임의의 바이노럴 필터 임펄스 응답과 동일하다. 즉, 본 발명의 일부 양태에 따라 관찰되는 h_L(t) 및 h_R(t)의 특성은 바이노럴 필터의 임펄스 응답의 직접 부분을 배제한다.

일부 대안 실시예에서, 이 스펙트럼 형상화가 고려된다. 좌측 및 우측 귀들에서 가상 스피커 위치에 걸친 주어진 여기(excitation)를 초래하는 조합된 스펙트럼을 고려함으로써, 일 실시예는 더 평탄한 스펙트럼 응답을 달성하기 위해 보상 균등화 필터를 포함한다. 이는 종종 확산 필드 헤드 응답을 위한 보상이라 지칭되며, 이런 필터링을 수행하는 방식은 본 기술 분야의 숙련자에게는 간단하다. 이런 보상이 스펙트럼 바이노럴 큐들 중 일부를 제거할 수 있지만, 이는 스펙트럼 음조를 초래한다.

일 실시예에서, 직접 음향 응답은 t<0를 위한 것이다. 즉,

t<3ms에 대해 h_L(t) = h_L0(t)이고, (10)

t<3ms에 대해 h_R(t) = h_R0(t)이다. (11)

이제, 각각 h_S0(t) 및 h_D0(t)로 표시된 원래의 합과 차 필터들과, 각각 h_S(t) 및 h_D(t)로 표시된 바이노럴화기의 합과 차 필터를 고려한다. 수학식 (8a) 및 (9a)와 도 4b는 좌측 귀와 우측 귀 바이노럴화기 임펄스 응답들과 합과 차 필터 임펄스 응답들 사이의 순 및 역 관계를 설명한다. 즉, 이들 중 하나는 나머지의 셔플링된 버전이다. 셔플 작업 및 역셔플 작업의 실제 구현시, 각 작업에

인자를 포함시키지 않을 수 있고, 일 예로서, 하나의 셔플의 합과 차를 간단히 결정하며, 그 작업들을 반대로 하기 위한 셔플에서는 수학식 (8b) 및 (9b)에 설명된 바와 같이 2로 나눌 수 있다.

본 발명자는 전형적 바이노럴 필터 임펄스 응답이 합과 차 필터 양자 모두에서 유사한 신호 에너지를 갖는다는 것을 발견하였다. 수학식 (5)에 표시된 단성적 호환성 제약은 합 필터가 어떠한 임펄스 응답도 갖지 않는다는 것, 즉, t>0에 대해 h_S(t) = 0라는 것에서 시작하는 것과 등가이다. 변하지 않은 응답의 직접 부분을 고려하지 않는 실시예에 대해, 이 요건은 수학식 (10) 및 (11)에 나타난 바와 같이 t>3ms 또는 심지어 그 이후에 대해, h_S(t) = 0라는 것으로 완화된다.

합과 차 필터에서 거의 동일한 에너지를 유지하기 위해서, 필요시, 변경된 응답들 내의 직접 대 잔향 에너지의 정확한 비율 및 정확한 스펙트럼을 유지하기 위해 원래 필터에 비해 약 3dB 만큼 증가되어야 한다. 그러나, 이 변경은 바이노럴 이미징의 부적합한 열화를 유발한다. 귀간 교차 상관의 급격한 변화는 강한 인지적 영향을 가지며, 공간 및 거리의 느낌의 대부분을 파괴한다.

일 실시예에서, 이하와 같다.

t의 작은 값, 말하자면, t<3ms에 대해, h_D(t)=h_D0(t) (12)

t의 큰 값, 말하자면, t>40ms에 대해, h_D(t)=

h_D0(t) (13)

바이노럴 필터는 임펄스 응답의 직접 부분, 예를 들어, <3ms에 대해, 전형적인 바이노럴 차 필터 임펄스 응답의 3dB 부스트인 차 필터 임펄스 응답을 가지며, 차 필터 임펄스 응답의 잔향 부분의 나중의 부분에서는 평탄한 일정한 값의 임펄스 응답을 갖는다.

본 발명자는 h_D(t)=h_D0(t)부터 h_D(t)=

h_D0(t)로의 변화가 급작스럽게 발생하고, 결과적인 바이노럴 필터는 원래 필터에 비해 바이노럴 이미징의 부적합한 열화를 갖게 된다는 것을 발견하였다. 이러한 귀간 교차 상관의 급작스러운 변화는 강한 인지적 영향을 가지며, 공간 및 거리의 느낌의 대부분을 파괴한다.

본 발명의 일 양태는 인지적으로 가려지는 점진적인 방식으로 바이노럴 응답의 나중 부분에 단성적 호환성 제약을 도입하는 것이며, 따라서, 바이노럴 이미징에 대한 최소의 영향을 갖게 하는 것이다.

본 발명자는 바이노럴 필터 쌍의 전형적 바이노럴 실내 임펄스 응답이 통상적으로 최초에 강하게 상관되어 있고, 응답의 나중 부분에서는 비상관 상태가 된다는 것을 발견하였다. 또한, 더 짧은 파장에 기인하여, 응답의 높은 주파수 부분들은 바이노럴 응답에서 더 일찍 비상관 상태가 된다. 즉, 본 발명자는 시간 의존성 현상이 존재한다는 것을 발견하였다.

본 발명의 일 실시예에서, 바이노럴 쌍의 합 필터는 시간 가변 필터에 의해 전형적 바이노럴 필터 쌍의 전형적 합 필터에 관련된다. 시간 가변 필터의 시간 가변 임펄스 응답을 f(t,τ)로 나타내며, 이는 시간 t=τ에서의 임펄스에 대한, 즉, 입력 δ(t,τ)에 대한 시간 t에서의 시간 가변 필터의 응답이다. 즉, 이하와 같다.

(14)

여기서, f(t,τ)는 이하와 같다.

(15)

나중 시간, 예를 들어, t>40ms 또는 t>80ms에 대해,

(16)

일부 실시예에서, f(t,τ)는 Ω(t)>0로 표시된 감소하는 시간 의존성 대역폭 감소를 갖는 제로 지연, 선형 위상, 저역 통과 필터 임펄스 응답이거나 그와 근사하며, 그래서,

로 표시된 시간 의존성 주파수 응답은

가 대역폭 미만의 저 주파수에 대해서는 평탄하고, 대역폭 외측에서는 0인 특성을 갖는다.

에 대해

(17)

에 대해

(18)

여기서, 시간 가변 주파수 응답은 이하와 같은 F(t,ω)로 표시되며,

(19)

시간 가변 대역폭은 시간적으로 단조적으로 감소한다. 즉, 이하와 같다.

t₁ < t₂에 대해

(20)

일 실시예는 t=0에서 적어도 20kHz로부터 높은 시간 값들에 대해, 예를 들어, t>10ms에 대해 약 100Hz 미만으로 단조적으로 증가하는 필터 시간 의존 대역폭을 사용한다. 즉, 이하와 같다.

이고,

t>10ms에 대해,

이다. (21)

본 기술 분야의 숙련자는 역시 수학식 (14) 내지 (21)로 표현된 필터의 형태가 연속적 시간이라는 것을 이해할 것이다. 불연속 시간 항들로 이를 설명하는 것은 비교적 간단하며, 그래서, 본 발명의 특징을 설명하는 것으로부터 벗어나지 않기 위해 본 명세서에서는 설명하지 않는다.

차 필터에 관하여, 일 실시예는 그 임펄스 응답(hD(t))이 그 공간화가 이하에 의해 정합되는 차 필터에 관련되는 차 필터를 사용한다.

(22)

여기서, h_D0(t)는 원래 차 필터 임펄스 응답을 나타낸다.

본 기술 분야의 숙련자는 역시 필터의 형태가 수학식 (22)에 연속적 시간으로 표현되어 있다는 것을 이해할 것이다. 불연속 시간 항들로 이를 설명하는 것은 비교적 간단하며, 그래서, 본 발명의 특징을 설명하는 것으로부터 벗어나지 않기 위해 본 명세서에서는 설명하지 않는다.

수학식 (22)의 임펄스 응답을 갖는 필터는 f(t,τ)로 표시된 저역 통과 필터 임펄스 응답이 제로 지연 및 선형 위상을 가지며, 그래서, 그 공간화 품질들이 정합되는 원래의 차 필터 h_D0(t)와 차 필터 h_D(t)가 위상 응집성인 경우에 적합하다.

f(0,τ) = δ(τ)이기 때문에,

h_D(0) = h_D0(0)라는 것을 주의하여야 한다.

또한, 나중 시간에 대해, 예를 들어, t>40ms에 대해,

이기 때문에, t>40ms에 대해,

정도이다.

따라서, 차 필터 임펄스 응답은 나중의 시간, 예로서, 40ms 이후에, 정합될 또는 전형적 바이노럴 필터의 차 필터에 비례한다. 따라서, 원래 차 필터 임펄스 응답 h_D0(t)에 대한 변경은 t=0로 정의된 초기 임펄스 시간에서 0dB에서 시작하여 시간 t가 증가함에 따라 점진적으로 더 낮은 주파수에서 +3dB로 증가하는 차 채널 상의 주파수 의존성 부스트를 실행한다. 이 이득은 합과 차 필터가 크기가 유사하고 비상관 상태인 임펄스 응답을 갖는다는 가정 하에서 적합하다. 이는 항상 반드시 그러하지는 않지만, 본 발명자는 이것이 적절한 가정이라는 것을 발견하였으며, 그 공간화가 정합되는 바이노럴 필터 쌍의 차 채널 임펄스 응답과 차 채널 임펄스 응답 h_D(t) 사이의 관계는 변경된 필터의 스펙트럼 및 직접 대 잔향 비율을 교정하기 위한 신뢰성있는 접근법이라는 것을 발견하였다.

그러나, 본 발명은 수학식 (14)와 (22)에 나타난 관계에 한정되지 않는다. 대안 실시예에서, 예를 들어, 임펄스 응답 h_L0(t) 및 h_R0(t)를 갖는 임의의 제공된 또는 결정된 바이노럴 필터 쌍과의 스펙트럼 정합을 추가로 개선하기 위해 다른 관계가 사용될 수 있다. 이 특정 접근법은 본 명세서에서 신뢰성 있는 결과를 달성하기에 비교적 간단한 방법으로서 제시된 것이며, 제한을 의미하지는 않는다.

그후, 목표 바이노럴 필터는 수학식 (8a)와 (9a) 및 도 4b의 또는 수학식 (8b)와 (9b)의 셔플링 관계를 사용하여 재구성될 수 있다. 이 접근법은 단성적 믹스다운시 잔향 감소와 바이노럴 응답에 대한 인지적으로 가려지는 영향 사이의 효과적 균형을 제공하는 것으로 판명되었다. -1의 상관 계수로의 전이는 매끄럽게 이루어지며, 임펄스 응답의 초기 시간 간격, 예를 들어, 최초 40ms 동안 이루어진다. 이런 실시예에서, 단성적 믹스다운시의 잔향 응답은 40ms 정도에 제한되며, 고 주파수 잔향은 매우 더 짧다.

40ms 시간은 거의 인지적으로 비반향성이되는 단성적 믹스다운에 대해 제안된 것이다. 비록, 일부 조기 반사들 및 잔향이 여전히 단성적 믹스 내에 존재하지만, 이는 직접 음향에 의해 효과적으로 가려지며, 본 발명자는 불연속 반향 또는 추가 잔향으로서 인지되지 않는 것을 발견하였다.

본 발명은 전이 영역의 40ms 길이에 한정되지 않는다. 이런 전이 영역은 용례에 따라 변경될 수 있다. 특히 긴 잔향 시간 또는 낮은 직접 대 잔향 비율을 갖는 실내를 시뮬레이션하는 것이 바람직한 경우, 전이 시간은 추가로 연장될 수 있으며, 역시 이런 실내를 위한 표준 바이노럴 필터에 비해 개선된 단성적 호환성을 제공한다. 40ms 전이 시간은 원래 바이노럴 필터가 150ms의 잔향 시간을 가지고 단성적 믹스가 가능한 무반향성에 근접해질 필요가 있는 특정 용례에 대해 적합한 것으로 판명되었다.

일부 실시예에서, 합 필터가 완전히 제거되지만, 이는 필수적인 것은 아니다. 합 임펄스 응답의 크기는 단성적 믹스다운의 잔향 부분의 인지가능한 차 또는 감소를 달성하기 위해 충분한 인자만큼 감소된다. 본 발명자는 기준으로서 6dB 정도의 잔향 레벨의 변화들을 위한 "단지 인지가능한 차"를 선택한다. 따라서, 본 발명의 일부 실시예에서, 전형적 바이노럴 필터들로 바이노럴화된 신호의 단성적 믹스다운으로 이루어지는 것에 비해 적어도 6dB의 합 필터 잔향 응답의 감소가 사용된다. 따라서, 일부 실시예에서, 합 필터는 완전히 제거되지 않으며, 그 영향, 예를 들어, 그 임펄스 응답의 크기가 예를 들어, 합 채널 필터 임펄스 응답 크기를 6dB 이상 감쇠시킴으로써 크게 감소된다. 일 실시예는 이하와 같은 h"_S(t)로 표시되는 합 임펄스 응답을 결정하기 위해 앞서 제안된 변경된 필터 임펄스 응답과 원래의 합 필터 임펄스 응답을 조합함으로써 이를 달성한다.

(23)

β를 위한 전형적 값은 1/2이고, 이는 원래 및 변경된 합 필터 임펄스 응답을 균등하게 가중시킨다. 대안 실시예에서, 다른 가중들이 사용된다.

또한, 제로 지연이 되는 f(t,τ)의 제약 및 선형 위상은 수학식 (22)의 차 채널의 변경 및 셔플링 변환의 단순성 및 적절한 위상 재구성을 위한 것이다. 신호 처리 분야의 실시자는 이 제약이 적절한 필터링이 또한 차 채널에 적용되어 h_D(t)와 h_D0(t) 사이의 관계를 생성한다면 완화될 수 있다는 것을 명백히 알 수 있다. 본 발명자에 의해 이루어진 관찰은 바이노럴 응답의 나중의 부분의 정확한 위상 관계들 및 방향적 큐들은 공간 및 거리의 일반적 느낌에 중요하지 않다는 것이다. 따라서, 이런 필터링은 반드시 필요하지 않을 수 있다. 목적이 다른 바이노럴 필터 쌍 h_L0(t), h_R0(t) 내에 존재하는 바와 같은 바이노럴 필터 h_L(t), h_R(t) 내의 잔향 비율을 유지하는 것이라면, 이때, 이는 차 필터 임펄스 응답(h_D(t))에 대한 적절한(일 실시예에서 주파수 의존성인) 이득에 의해 달성될 수 있다.

도 6은 신호 처리 장치의 개략 블록도를 도시하며, 도 7은 신호 처리 장치를 동작시키는 방법의 개략 흐름도를 도시한다. 장치는 좌측 귀와 우측 귀 임펄스 응답들 h_L0(t), h_R0(t)을 갖는 바이노럴 필터 쌍의 바이노럴화를 근사화하는 바이노럴 필터 쌍의 좌측 귀와 우측 귀 임펄스 응답을 형성하는 좌측 귀 신호(h_L(t)) 및 우측 귀 신호(h_R0(t))의 세트를 결정하기 위한 것이다. 이 방법은 703에서 오디오 신호를 바이노럴화하도록 구성되고 그 바이노럴 응답이 정합되게 되는 대응하는 좌측 귀와 우측 귀 바이노럴 필터의 임펄스 응답을 나타내는 좌측 귀 신호(h_L0(t)) 및 우측 귀 신호(h_R0(t))를 수신하는 단계를 포함한다. 이 방법은 705에서 좌측 귀 신호와 우측 귀 신호 사이의 차에 비례하는 차 신호와 좌측 및 우측 귀 신호의 합에 비례하는 합 신호를 형성하도록 좌측 귀 신호와 우측 귀 신호를 셔플링하는 단계를 더 포함한다. 도 6의 장치에서, 이는 셔플러(603)에 의해 수행된다. 이 방법은 707에서, 시간 가변 필터 특징을 갖는 시간 가변 필터(합 필터)(605)에 의해 합 신호를 필터링하는 단계와, 합 필터(605)를 특징으로 하는 다른 시간 가변 필터(607)(차 필터)에 의해 차 신호를 처리하는 단계를 포함하고, 필터링 단계는 필터링된 합 신호를 형성하며, 처리 단계는 필터링된 차 신호를 형성한다. 이 방법은 709에서, 필터링된 합 신호와 필터링된 차 신호를 역셔플링하여 그 공간화특성들이 정합될 바이노럴 필터의 것과 일치하고 그 출력들이 적절한 음향을 갖는 단성적 믹스로 믹스다운될 수 있는 바이노럴 필터의 좌측 및 우측 귀 임펄스 응답들에 각각 비례하는 좌측 귀 신호와 우측 귀 신호를 형성하는 단계를 더 포함한다. 도 6에서, 디셔플러(609)는 2로 나누는 것이 추가된 셔플러(603)와 동일하다. 결과적인 임펄스 응답들은 오디오 신호를 바이노럴화하도록 구성된 바이노럴 필터를 형성하며, 이는 최초 40ms 정도에서 인지불가한 레벨, 예를 들어, -6dB 초과 레벨로 합 채널 임펄스 응답이 부드럽게 감소하며, 최초 40 ms 정도에서 전형적 또는 특정 정합될 바이노럴 필터 차 채널 임펄스 응답에 비례하도록 차 채널이 전이하는 특성을 추가로 갖는다.

따라서, 신호 처리 장치를 작동하는 방법이 개시되어 있다. 이 방법은, 오디오 신호를 바이노럴화하도록 구성된 대응 쌍의 바이노럴 필터의 임펄스 응답을 나타내는 한 쌍의 신호를 수신하는 단계를 포함한다. 이 방법은 시간 가변 필터 특징을 갖는 변경 필터에 의해 각각 특성화되는 한 쌍의 필터에 의해 수신된 신호의 쌍을 처리하는 단계를 포함하며, 이 처리 단계는 대응하는 쌍의 변경된 바이노럴 필터의 임펄스 응답을 나타내는 한 쌍의 변경된 신호를 형성한다. 변경된 바이노럴 필터는 오디오 신호를 바이노럴화하도록 구성되며, 또한, 헤드폰을 거친 바이노럴 필터에 대한 최소의 영향과, 단성적 믹스다운시 낮은 인지 잔향의 특성을 갖는다.

본 발명의 하나 이상의 양태에 따른 바이노럴 필터는 이하의 특성을 갖는다.

- 예를 들어 임펄스 응답의 최초 3 내지 5ms에서 임펄스 응답의 직접 부분은 가상 스피커 위치의 헤드 관련 전달 함수에 의해 한정된다.

- 차 필터 임펄스 응답에 비해 합 필터 임펄스 응답에서 현저히 감소된 레벨들 및/또는 현저히 더 짧은 잔향 시간.

- 합 필터의 임펄스 응답의 직접 부분으로부터 나중의, 합 필터의 제로 또는 무시 가능한 응답 부분까지의 매끄러운 전이. 매끄러운 전이는 시간에 따라 주파수 선택적이다.

이들 특성은 어떠한 실제 실내 응답에서도 발생하지 않으며, 따라서, 전형적 또는 정합될 바이노럴 필터에는 존재하지 않는다. 이들 특성은 바이노럴 필터의 세트 내로 도입되거나 설계된다.

이들 특성은 이하에 더 상세히 설명된다.

스피커 호환성

상술한 설명이 단성적 재생 호환성을 갖는 바이노럴 필터를 설명하지만, 본 발명의 다른 양태는 본 발명의 일 실시예에 따른 필터를 갖는 출력 신호 바이노럴화기는 한 세트의 라우드스피커를 거친 재생과 호환성을 갖는다는 것이다.

음향학적 크로스토크는 예를 들어, 청취자의 거의 전방 중심에서 라우드스피커의 스테레오 쌍에 대한 청취시 청취자의 각각의 귀가 스테레오 라우드스피커 모두로부터 신호를 수신하는 현상을 설명하기 위해 사용되는 용어이다. 본 발명의 실시예에 따른 바이노럴 필터에서, 음향학적 크로스토크는 저 주파수 잔향의 일부 소거를 유발한다. 일반적으로, 입력에 대한 잔향 응답의 나중의 부분들은 점진적으로 저역 통과 필터링되게 된다. 따라서, 본 발명의 실시예에 따른 바이노럴 필터들로 바이노럴화된 신호는 스피커를 거쳐 청취될 때 적은 잔향으로 들리는 것으로 판명되었다. 이는 특히, 모바일 미디어 장치에서 발견될 수 있는 바와 같은 작은 비교적 근접하게 이격된 스테레오 스피커의 경우에 그러하다.

복잡성 감소

임펄스 응답의 잔향 부분이 공간적 위치에 덜 민감하다는 관찰을 사용하여 구현에 비교적 적은 연산을 수반하는 바이노럴 필터를 설계하는 것이 알려져 있다. 따라서, 다수의 바이노럴 처리 시스템들은 그 임펄스 응답이 다양한 시뮬레이션된 가상 스피커 위치를 위한 공통 테일부를 갖는 바이노럴 필터를 사용한다. 예로서, 상술한 특허 공보들 WO 9914983호 및 WO 9949574호를 참조하라. 본 발명의 실시예는 이런 바이노럴 처리 시스템들에 적용될 수 있으며, 단성적 재생 호환성을 갖도록 이런 바이노럴 필터를 변경하기 위해 적용될 수 있다. 특히, 본 발명의 일부 실시예에 따라 설계된 바이노럴 필터는 t>40ms 정도의 시간에 대해

로 수학적으로 표현되는 바와 같은 좌측 및 우측 귀 임펄스 응답의 잔향 테일부의 나중 부분이 위상을 벗어나는 특성을 갖는다. 따라서, 바이노럴 필터의 비교적 저 연산적 복잡성 구현예에 따라서, 응답의 나중 부분에 대해 단일 필터 임펄스 응답만이 결정될 필요가 있으며, 이런 결정된 나중 부분 임펄스 응답은 모든 가상 스피커 위치를 위해 바이노럴 필터 쌍의 좌측 귀와 우측 귀 임펄스 응답들 각각에 사용될 수 있어서 메모리 및 연산의 절약을 초래한다. 각각의 이런 바이노럴 필터 쌍의 합 필터는 바이노럴 응답으로 추가로 합 필터 저 주파수 콘텐츠를 연장시키는 점진적 시간 가변 주파수 컷오프를 포함한다.

예시적 알고리즘과 결과

이전 섹션은 변경된 바이노럴 필터링을 달성하기 위한 일반적 특성을 설명하였다. 유사한 결과를 갖는 처리 및 필터 디자인의 다수의 가능한 변형들이 존재하지만, 이하의 예는 원하는 필터 특징을 예시하기 위해 제시되어 있으며, 기존 바이노럴 필터의 세트를 변경하기 위한 양호한 접근법을 제공한다.

도 8은 한 쌍의 바이노럴 필터 임펄스 응답을 바이노럴 필터가 임펄스 응답을 나타내는 신호로 변환하는 방법의 일부를 수행하는 MATLAB(메사추세츠주, 나틱 소재의 Mathworks, Inc.)의 신택스 내의 코드의 일부를 도시한다. 선형 위상, 제로 지연, 시간 가변 저역 통과 필터는 일련의 응집된 제 1 차수 필터를 사용하여 구현된다. 이 간단한 접근법은 가우스 필터와 근사하다. 이 MATLAB 코드의 간략한 섹션은 한 쌍의 바이노럴 필터들(h_L0 및 h_R0)을 가지고, 한 세트의 출력 바이노럴 필터들(h_L 및 h_R)을 생성한다. 이는 48kHz의 샘플링율에 기초한다. 먼저, 803에서, 입력 필터는 원래 합 필터와 차 필터를 생성하도록 셔플링된다 (코드의 라인 1 및 2 참조).

가우스 필터(B)의 3dB 대역폭은 샘플 번호 및 적절한 스케일링 계수들의 자승의 역수로 변화된다. 이로부터, 가우스 필터의 연계된 변화가 계산되고(GaussBar), 지수적 제 1 차수 필터의 변화(ExponVar)를 얻도록 4로 나누어진다. 805에서, 이는 시간 가변 지수 가중 인자(a)를 계산하기 위해 사용된다 (코드의 3 내지 6 참조).

필터는 807에서 제 1 차수 필터의 두 개의 순방향 및 두 개의 역방향 통과들을 사용하여 구현된다. 합과 차 응답들 양자 모두가 필터링된다 (코드의 라인 7 내지 12 참조).

809에서, 원래 차 응답의 업 스케일링 버전으로부터 재생성된 차는 필터링된 차 응답의 적절한 양보다 작다. 이는 시간 0으로부터 나중 응답에서의 +3dB까지의 차 채널의 주파수 선택적 부스트의 영향이다(코드의 라인 13 참조).

마지막으로 811에서, 필터는 재셔플링되어 변경된 좌측 및 우측 바이노럴 필터를 생성한다(코드의 라인 14 및 15 참조).

후속 도면들은 청취자의 전방에 위치된 음향에 대한 바이노럴 필터 임펄스 응답의 세트에 대한 도 8의 코딩된 방법의 적용으로부터 얻어지며, 150ms 최대잔향 시간과 13dB 정도의 직접 대 잔향 에너지 비율을 갖는다.

도 9는 몇몇 시간(τ), 즉, 1, 5, 10, 20 및 40ms에서 임펄스에 대한 시간 가변 필터의 임펄스 응답(f(t,τ))의 플롯을 도시한다. 최초 2개 임펄스는 도면의 수직 스케일을 초과한다. 도 9는 시간에 따른 근사 가우스 필터 임펄스 응답의 증가하는 변화 및 적용된 필터 임펄스 응답의 가우스 근사화를 명료히 도시한다. 제 1 차수 필터가 순방향 및 역방향 양자 모두로 구동되기 때문에, 결과적인 필터는 제로 지연, 선형 위상 저역 통과 필터와 근사하다.

도 10은 1, 5, 10, 20 및 40ms의 시간(τ)에서 임펄스 응답(f(t,τ))의 시간 가변 필터의 주파수 응답 에너지의 플롯을 도시한다. 대략 0 내지 3ms의 경우에 응답의 직접 부분은 필터에 의해 큰 영향을 받지 않는 반면, 40ms에서, 필터는 100Hz까지 거의 10dB의 감쇠를 유발한다. 임펄스 응답의 근사 가우스 형상에 기인하여, 주파수 응답도 근사 가우스 프로파일을 갖는다. 이 근사 가우스 주파수 응답 프로파일 및 시간에 걸친 컷오프 주파수의 변화는 양자 모두 원래 필터에 대해 이루어진 변경의 인지적 차폐를 달성하는 것을 돕는다.

도 11은 원래 좌측 귀 임펄스 응답(h_L0(t)) 및 변경된 좌측 귀 임펄스 응답(h_L(t))을 도시한다. 양자 모두가 유사한 레벨의 잔향 에너지를 갖는다는 것이 명백하다. 직접 음향은 불변 상태로 남는다. 직접 음향의 최초 임펄스는 약 0.2 정도이며, 도면의 규모 내에 도시될 수 없다.

도 12는 원래 및 변경된 합 임펄스 응답들(h_S0(t), h_S(t))의 비교를 도시한다. 이는 합 응답의 감소된 레벨 및 잔향 시간을 예시한다. 이는 출력이 단성으로 믹스다운될 때 잔향의 현저한 감소를 달성하는 특성이다. 또한, 변경된 합 응답(h_S(t))이 점진적으로 저역 통과 필터링되며, 단지 최저 주파수 신호 성분들만이 응답의 초기 부분을 지나서 연장한다는 것을 볼 수 있다.

도 13은 원래 및 변경된 차 임펄스 응답들(h_D0(t), h_D(t))을 도시한다. 차 신호는 레벨이 부스트된다는 것을 관찰할 수 있다. 이는 두 개의 응답의 비견할만한 스펙트럼을 달성하기 위한 것이다.

바이노럴 필터의 시간 주파수 분석

예를 들어, 본 발명의 하나 이상의 양태에 따른 한 쌍의 바이노럴 임펄스 응답에 의해 특성화될 수 있는 것 같은 바이노럴 필터는, 예를 들어, 바이노럴 임펄스 응답과의 중합에 의해, 또는 다른 방식으로 소스 신호에 인가됨으로써 소스 신호를 필터링하기 위해 사용될 때, 헤드폰을 통해 청취하는 청취자에게 방향, 거리 및 실내 음향학들을 모사하는 공간적 품질을 추가한다.

예를 들어, 중첩될 수 있는 섹션 신호 상에 단기 푸리에 변환 또는 다른 단기 변환을 사용하는 시간 주파수 분석은 본 기술 분야에 잘 알려져 있다. 예로서, 주파수-시간 분석 플롯은 스펙트로그램으로 알려져 있다. 예를 들어, 단기 푸리에 변환은 원하는 신호의 세그먼트에 걸쳐 윈도우식 이산 푸리에 변환(DFT)으로서 통상적으로 구현된다. 예를 들어, 웨이블릿 변환 및 기타 변환들 같은 다른 변환들도 시간-주파수 분석을 위해 사용될 수 있다. 임펄스 응답은 시간 신호이며, 따라서, 그 시간 주파수 특성을 특징으로 할 수 있다. 본 발명의 바이노럴 필터는 이런 시간 주파수 특성들에 의해 설명될 수 있다.

본 발명의 하나 이상의 양태에 따른 바이노럴 필터는 예를 들어, 한 쌍의 정합될 바이노럴 필터에 따라 헤드폰을 거친 확실한 바이노럴 효과 및 단일 출력으로 믹스다운될 때 단성적 재생 호환성 신호를 동시에 달성하도록 구성된다. 본 발명의 바이노럴 필터 실시예는 하나 이상의 특징들과 함께 시간에 따라 바이노럴 필터 임펄스 응답의 (단기) 주파수 응답이 변하는 특성을 갖도록 구성된다. 구체적으로, 합 필터 임펄스 응답, 예를 들어, 두 개의 좌측 및 우측 바이노럴 필터 임펄스 응답의 대수 합은 차 필터 임펄스 응답, 예를 들어, 좌측 및 우측 바이노럴 필터 임펄스 응답의 대수 차로부터 현저히 다른 시간 및 주파수 상의 패턴을 갖는다. 전형적 바이노럴 응답에 대해, 합과 차 필터는 시간에 걸친 주파수 응답의 매우 유사한 변화를 나타낸다. 응답의 초기 부분은 에너지의 대부분을 포함하고, 나중의 응답은 잔향 또는 확산 성분을 포함한다. 임펄스 응답의 공간적 또는 바이노럴 특성을 부여하는 것은 필터의 특징적 구조와 초기 및 나중 부분들 사이의 균형이다. 그러나, 단성으로 믹스다운될 때, 이 잔향 응답은 일반적으로 신호 이해성 및 인지 품질을 열화시킨다.

간단한 호환성이란 수학식 (5)가 유지되는 것을 의미한다. 즉, 필터 임펄스 응답의 초기 임펄스 또는 탭 이외에는, t>0에 대해 h_R(t)=h_L(t), 즉, t>0에 대해 h_S(t)=0이다. 결과적인 필터 세트는 단순화한 단성적 재생 호환성 필터 세트 또는 단순화한 필터라 지칭된다.

본 섹션에서는 본 발명의 바이노럴 필터 쌍의 이런 임펄스 응답의 시간-주파수 분석의 일부 특성을 설명하며, 일부 시간-주파수 파라미터를 위한 일부 전형적인 값들 및 값들의 범위를 제공한다. 이는 예시적 데이터에 의해 예시되며, 1) 정합될 세트, 예를 들어, 전형적 바이노럴 필터 및 2) 단순화된 단성적 호환성 필터 세트를 획득하기 위해 간단한 호환성을 부여함으로써 전형적 바이노럴 필터들로부터 유도된 필터 세트에 대한 비교들에 의해 예시된다.

도 14a 내지 도 14e는 필터의 길이를 따른 다양한 시간 스팬에서 합과 차 필터 응답의 주파수의 함수로서의 에너지의 플롯을 도시한다. 임의적이지만, 본 발명자는 본 설명을 위해 0~5ms, 10~15ms, 20~25ms, 40~45ms 및 80~85ms의 시간 단편들을 선택하였다. 각 섹션의 5ms 스팬은 비교적 파워 레벨들을 위한 일정한 길이를 유지하기 위한 것이며, 이는 또한 시간에 따라 산재할 수 있는 필터 내의 반향과 세부사항들 중 일부의 포착에도 충분하다. 도 14a 내지 도 14e는 전형적 쌍, 단순화된 단성적 호환성 쌍 및 본 발명에 따른 하나 이상의 양태에 따른 새로운 바이노럴 필터 쌍을 위한 이들 시간에서의 5ms 세그먼트를 위한 주파수 스펙트럼을 보여준다. 이들 플롯을 결정하기 위해, 단순화된 단성적 호환성 쌍의 임펄스 응답이 전형(정합될 쌍)으로부터 결정되었다. 또한, 본 발명의 특징을 포함하는 필터의 임펄스 응답들은 상술한 방법에 따라 전형(정합될 쌍)으로부터 결정되었다. 주파수 에너지 응답은 단기 윈도우 DFT 같은 단기 푸리에 변환을 사용하여 계산되었다. 주파수 응답의 5개 세트들을 결정하기 위해 어떠한 중첩도 사용되지 않았다.

도시된 필터는 임의의 양으로 쉽게 스케일링될 수 있으며, 그래서, 이들 플롯들에 표현된 값은 상대적이고, 정량적인 개념으로 해석되어야 한다. 중요한 것은 실제 레벨이 아니며, 오히려, 각각의 차 필터 임펄스 응답의 스펙트럼의 특정 부분이 각각의 합 필터 임펄스 응답과의 비교시 무시 가능해지는 시간이다.

시간 0에서 시작하는 최초 5ms에 대해서 도 14a에서, 3개 응답은 거의 동일하다는 것을 볼 수 있다. 이는 방향의 느낌을 부여하기 위한 가상 스피커 위치로부터의 HRTF에 기초한 응답의 극 초기 부분이다. 이 시기에 필터 내의 신호의 임의의 분산 또는 반향들은 인지적으로 크게 무시될 수 있으며, 그 이유는 차폐 효과 및 우세한 초기 임펄스 때문이다.

도 14b에서, 시간 10ms에서 시작하는 5ms에 대해, 단순화된 접근법을 위한 합 신호는 0이다. 합 응답의 나중의 부분은 제거되어 있다. 이에 비해, 예를 들어, 상술한 바와 같이 결정된 신규한 필터 쌍은 여전히 4kHz 미만에서 합 필터 내에 일부 신호 에너지를 유지한다. 모든 3개 필터의 차 응답은 유사하며, 신규 필터 쌍 차 임펄스 응답은 높은 주파수에서 미소하게 더 많은 에너지를 갖는다.

도 14c에서, 시간 20ms에서 시작하는 5ms 동안, 신규 필터 쌍의 합 필터는 추가 감쇠되며, 대역폭은 1kHz 정도로 하강한다. 신규 필터 쌍의 차 필터는 전형 또는 정합될 필터 쌍의 것에 대해 유사한 바이노럴 레벨 및 주파수 응답을 전체적으로 유지하기 위해 부스트된다.

도 14d에서, 40ms에서 시작하는 5ms 동안, 합 필터 신규 필터 쌍의 최저 성분들만이 남아 있다. 마지막으로, 도 14e에서, 80ms에서 시작하는 5ms 동안, 단순화된 및 신규 필터 쌍 양자 모두에서의 합 필터 임펄스 응답이 무시 가능하다.

따라서, 매우 양호한 단성적 재생 호환성을 달성하도록 구성된 바이노럴 필터 임펄스 응답의 형상을 갖는 바이노럴 필터의 세트가 제안된다. 일부 실시예에서, 필터는 단성적 응답이 최초 40ms에 제약되도록 구성된다.

이하의 특성은 양호한 단성적 재생 호환성 및 양호한 바이노럴 응답 양자 모두를 달성하기 위한 필터의 효과에 관련된다. 이들에서, "필터 범위" 및 "필터 길이"는 필터의 임펄스 응답이 그 초기 값의 -60dB 미만으로 떨어지는 지점이다. 이는 또한 본 기술 분야에서 "잔향 시간"이라고도 알려져 있다.

이하의 특성은 본 명세서에 설명된 본 발명의 필터를 다른 바이노럴 필터 및 단성적 재생 호환성 바이노럴 필터들로부터 구별할 수 있게 한다.

- 합과 차 필터는 실질적으로 서로 다르다. 일반적 바이노럴 필터에 대해, 합과 차 필터는 시간 주파수 플롯을 가로지른 쇠퇴 및 강도의 유사한 특성을 나타낸다.

- 합 필터는 모든 주파수에서 차 필터보다 매우 짧다. 합 필터가 통상적으로 전형적 청취실에 대해 기간적으로 미소하게 더 짧지만, 이는 그러한 의미는 아니다. 단성 호환성에 대해, 합 필터는 상당히 더 짧아야 한다.

- 합 필터는 다양한 주파수에서 길이의 현저한 차이를 나타낸다. 이는 합 필터가 주파수에서 길이가 일정한 것이 적합한 단순화된 접근법에 비해 그러하다.

- 합 필터는 고 주파수에서 더 짧고, 저 주파수에서 더 길다.

합 채널의 억제가 더 침해적인(더 양호한 단성 응답) 또는 더 보전적인(더 양호한 바이노럴 응답) 유사한 형상화가 달성될 수 있다는 것을 주의하여야 한다.

더 정량적인 관점에서, 바이노럴 응답 및 단성 재생 호환성의 양호한 조합을 달성하기 위해, 이하가 진실인 것으로 밝혀졌다.

차 필터

- 예를 들어, 차 필터의 10kHz를 초과하는 고 주파수들은 약 10ms를 초과하여 연장하지 않는다. 다른 예시적 실시예에서, 약 20ms의 차 필터 길이가 여전히 수용할 수 있지만, 약 40ms의 필터 길이에서, 단성적 신호는 반향적으로 들리기 시작한다.

- 예를 들어, 차 필터의 3kHz와 4kHz 사이의 저 주파수들은 더 길고, 약 40ms를 초과하여 또는 그 주파수에서 차 필터의 잔향 길이의 1/8 내지 1/4 정도로 연장한다.

- 매우 더 낮은 주파수에서, 말하자면 2kHz 미만에서, 차 필터는 매우 양호한 응답을 위해 최저 주파수에서 약 80ms 보다 더 길어야 한다. 일부 실시예에서, 심지어 120ms의 길이가 수용 가능하며, 2kHz 미만에 대해 약 160ms의 필터 길이에서, 단성적 신호는 반향적으로 들리기 시작한다.

또한, 이러한 제약된 차 필터에 의한 양호한 바이노럴 응답을 위해, 전체 범위, 예를 들어, 차 필터의 잔향은 너무 길지 않아야 한다. 본 발명자는 200ms의 잔향 시간이 우수한 결과들을 도출하며, 400ms가 수용 가능한 결과들을 생성하고, 오디오는 800ms의 필터 길이에서 문제가 있게 들리기 시작한다는 것을 발견하였다.

합 필터

표 1은 다양한 주파수 대역들을 위한 합 필터 임펄스 응답 길이들을 위한 전형적 값들의 세트를 제공하며, 또한, 청취실 공간화와 단성적 재생 호환성 사이의 균형을 여전히 제공하는 주파수 대역들을 위한 합 필터 임펄스 응답 길이의 값들의 범위를 제공한다.

주파수 대역(대역폭)	전형적 합 필터 길이	합 필터 길이의 범위
1-100Hz	80ms	40-160ms
100-1kHz	40ms	20-80ms
1-2kHz	20ms	10-40ms
2-20kHz	10ms	5-20ms

시간 의존적 주파수 형상화의 선택은, 예를 들어, 상술된 바와 같이 정합될 바이노럴 필터 h_L0(t) 및 h_R0(t)dml 세트에 의해 특성화되는 것 같은 원하는 바이노럴 응답의 본성 및 잔향성에 의존하며, 또한, 바이노럴 필터 내의 근사화 및 제약에 대한 단성적 믹스에서의 명료성에 대한 선호도에 의존한다.

본 발명에 의해 나타내어지는 합 필터의 형상화에 대한 설명을 용이하게 하기 위해, 예시적 데이터가 이제 시간 및 주파수의 2차원 맵에 걸쳐 상대적 필터 에너지의 플롯으로서 제시되어 있다. 도 15a 및 도 15b는 예시적 바이노럴 필터 쌍 실시예의 합 및 주파수 필터 임펄스 응답을 위한 시간-주파수 평면 상의 균등 감쇠 윤곽들을 보여 주며, 도 16a 및 도 16b는 시간-주파수 플롯의 표면의, 즉, 스펙트로그램의 등적도를 도시한다. 윤곽 데이터는 1.5ms 간격으로 시작하는 5ms 길이, 즉, 상당한 중첩을 갖는 세그먼트에 대한 윈도우형 단기 푸리에 변환을 사용함으로써 얻어졌다. 등적도는 3ms 윈도우 길이를 사용하고, 중첩이 없으며, 즉, 데이터는 매 3ms마다 시작한다. 도 17a 및 도 17b는 도 16a 및 도 16b와 동일한 시간-주파수 플롯의 표면의 등적도를 도시하지만, 이는 전형적 바이노럴 필터 쌍, 특히, 도 16a 및 도 16b를 위해 사용된 것들과 일치하지 않는 바이노럴 필터의 합 및 주파수 필터 응답들 각각을 위한 것이다. 전형적 바이노럴 필터 쌍에서, 합과 차 필터 각각의 임펄스 응답의 형상은 다르지 않다는 것을 주의하여야 한다.

단순화된 단성적 호환성 필터 쌍은 그 응답이 즉시, 그리고, 급격히 모든 주파수에 대해 인지가능한 레벨 미만으로 떨어지는 합 필터 임펄스를 나타낸다는 것을 주의하여야 한다.

각각의 응답들에서의 작은-세부 변화들을 갖는 시간-주파수 특성의 특징을 모호하게 하지 않도록 도면들을 단순화하기 위해 도 15a, 도 15b, 도 16a, 도 16b, 도 17a 및 도 17b를 생성하기 위해 시간 주파수 데이터의 소정의 평활화가 수행되었다.

본 명세서에 제공된 모든 플롯 및 그래프에 도시된 dB 레벨은 단지 상대적 스케일이며, 따라서, 설명된 패턴들 및 필터의 절대적 특성들이 아니라는 것을 주의하여야 한다. 본 기술 분야의 숙련자는 상세한 레벨, 시간 및 스펙트럼 형상을 유지할 필요 없이 이들이 설명하고 있는 특성과, 이들 도면들을 해석할 수 있을 것이다.

테스트

본 발명자는 도 14a 내지 도 14e의 예들로서 주어진 정합될 바이노럴 임펄스 응답들과 상술한 표 1의 "전형적 합 필터 길이" 컬럼에 한정된 형상을 갖는 다양한 유형의 소스 자료들로 방대한 테스트들을 수행하였다. 정합될 임펄스 응답은 200 내지 300ms 잔향 시간을 갖는 바이노럴 응답을 가지며, DOLBY HEADPHONE DH3 바이노럴 필터에 대응한다. 피험자들이 테스트 중에 하나의 바이노럴 응답을 다른 바이노럴 응답에 비해 선호한다는 어떠한 통계학적으로 유의미한 경우들도 존재하지 않았다. 그러나, 단성적 믹스는 상당히 개선되었으며, 테스트된 모든 소스 자료에 대해 모든 피험자들이 만장일치로 선호하였다.

스피커를 통한 재생

바이노럴 필터를 사용하여 상술한 장치들 및 방법은 바이노럴 헤드폰 재생뿐만 아니라, 스테레오 스피커 재생에 적용될 수도 있다. 라우드스피커가 근접 배치된 경우, 청취 동안 청취자의 좌측 및 우측 귀 사이에 크로스토크, 예를 들어, 스피커로부터 가장 먼 귀와 스피커의 출력 사이의 크로스토크가 존재한다. 예로서, 청취자의 전방에 배치된 스피커의 스테레오 쌍에 대해, 크로스토크는 우측 스피커로부터의 음향을 좌측 귀가 듣고 또한, 좌측 스피커로부터의 음향을 우측 귀가 듣는 것을 지칭한다. 스피커가 스피커와 청취자 사이의 거리에 비해 현저히 가깝다면, 크로스토크는 본질적으로 두 개의 스피커 출력의 합을 청취자가 듣게 한다. 이는 본질적으로 단성적 재생과 동일하다.

필터의 구현

또한, 본 기술 분야의 숙련자는 디지털 필터가 다수의 방법에 의해 구현될 수 있다는 것을 이해할 것이다. 예로서, 디지털 필터는 유한 임펄스 응답(FIR) 구현예, 주파수 도메인에서의 구현예, 중첩 변환 방법 등에 의해 수행될 수 있다. 다수의 이런 방법이 알려져 있으며, 이들을 본 명세서에 설명된 구현예에 적용하는 방식은 본 기술 분야의 숙련자에게 간단한 것이다.

본 기술 분야의 숙련자는 상술한 필터 설명들이 오디오 증폭기들 및 기타 유사한 요소들 같은 모든 필요한 구성요소를 예시하고 있는 것이 아니라는 것과, 본 기술 분야의 숙련자들이 추가 교시 없이도 이러한 요소를 추가하는 것을 알 수 있다는 것을 주의하여야 한다. 또한, 상술한 구현예는 디지털 필터링을 위한 것이다. 따라서, 아날로그 입력에 대해서는, 아날로그-디지털 변환기가 포함되어야 한다는 것을 본 기술 분야의 숙련자는 이해할 것이다. 또한, 디지털-아날로그(D/A) 변환기가 헤드폰을 통한 또는 트랜스오럴 필터링의 경우에는 라우드스피커를 통한 재생을 위해 디지털 신호 출력을 아날로그 출력으로 변환하기 위해 사용되어야 한다는 것을 이해할 것이다.

도 18은 본 발명의 양태에 따른 오디오 입력 신호 세트를 처리하기 위한 오디오 처리 장치의 구현예의 일 형태를 도시한다. 오디오 처리 시스템은 아날로그 입력 신호를 대응 디지털 신호로 변환하도록 구성된 아날로그-디지털(A/D) 변환기를 포함하는 입력 인터페이스 블록(1821)과, 처리된 신호를 아날로그 출력 신호로 변환하기 위한 디지털-아날로그(D/A) 변환기를 구비하는 출력 블록(1823)을 포함한다. 대안 실시예에서, 입력 블록(1821)은 추가로 또는 A/D 변환기 대신 아날로그 입력 신호에 추가로 또는 그 대신 디지털 입력 신호를 수용하도록 구성된 SPDIF(Sony/Philips Digital Interconnect Format)를 포함한다. 장치는 출력을 충분히 신속하게 생성하기 위해 입력을 처리할 수 있는 디지털 신호 프로세서(DSP) 장치(1800)를 포함한다. 일 실시예에서, DSP 장치는 프로세서 오버헤드 없이 A/D 및 D/A 변환기들에 정보를 통신하도록 구성된 시리얼 포트(1817) 형태의 인터페이스 회로를 포함하며, 일 실시예에서는 입력/출력 처리의 작업과 간섭하지 않고 오프-칩 메모리(1803)로부터 온-칩 메모리(1811)로 데이터를 복사할 수 있는 DMA 엔진(1813) 및 장치외 메모리(1803)를 포함한다. 일부 실시예에서, 본 명세서에 설명된 본 발명의 양태들을 구현하기 위한 프로그램 코드는 오프-칩 메모리(1803) 내에 존재하고, 필요시 온-칩 메모리(1811)로 로딩된다. 도시된 DSP 장치는 DSP 장치의 프로세서 부분(1805)이 본 명세서에 설명된 필터링을 이행하게 하는 프로그램 코드(1809)를 포함하는 프로그램 메모리(1807)를 포함한다. 외부 버스 멀티플렉서(1815)는 외부 메모리(1803)가 필요한 경우를 위해 포함되어 있다.

용어 오프-칩 및 온-칩은 도시된 하나의 칩보다 많은 칩이 존재하는 것을 암시하는 것으로 해석되지 않아야 한다. 현대의 용례들에서, 도시된 DSP 장치(1800) 블록은 다른 회로와 함께 침 내에 포함되는 "코어"로서 제공될 수 있다. 또한, 본 기술 분야의 숙련자는 도 18에 도시된 장치가 순수히 예시적인 것이라는 것을 이해할 것이다.

유사하게, 도 19a는 전방 스피커를 통한 재생을 목적으로 하는 좌측, 중앙 및 우측 신호, 및 후방 스피커를 통한 재생을 목적으로 하는 좌측 서라운드 및 우측 서라운드 신호의 형태로 오디오 정보의 5개 채널을 수용하도록 구성된 바이노럴화 장치의 일 실시예의 개략 블록도를 도시한다. 바이노럴화기는 헤드폰을 통해 청취하는 청취자가 공간적 콘텐츠를 경험하고 단성적 믹스를 청취하는 청취자가 단성적 소스로부터의 것인 것처럼 유쾌한 방식으로 신호를 경험하도록 본 발명의 양태들을 좌측 서라운드 및 우측 서라운드 신호를 위해 포함하는 각각의 입력을 위한 바이노럴 필터 쌍들을 포함한다. 바이노럴화기는 처리 시스템(1903), 예를 들어, 적어도 하나의 프로세서(1905)를 포함하는 DSP 장치를 포함하는 것을 사용하여 구현된다. 메모리(1907)는 명령들의 형태로 프로그램 코드를 보유하기 위해 포함되어 있으며, 추가로, 임의의 필요한 파라미터를 보유할 수 있다. 실행시, 프로그램 코드는 처리 시스템(1903)이 상술된 바와 같은 필터링을 실행하게 한다.

유사하게, 도 19b는 전방 스피커를 통한 재생을 목적으로 하는 신호로부터의 좌측 및 우측 및 후방 스피커를 통한 재생을 목적으로 하는 좌측 귀와 우측 귀 신호 형태의 오디오 정보의 4개 채널을 수용하는 바이노럴화 장치의 일 실시예의 개략 블록도를 도시한다. 바이노럴화기는 좌측 및 우측 신호와, 좌측 후방 및 우측 후방 신호를 위한 본 발명의 양태들을 포함하는 각 입력을 위한 바이노럴 필터 쌍들을 포함하며, 그래서, 헤드폰을 통해 청취하는 청취자는 공간적 콘텐츠를 경험하고, 단성적 믹스를 청취하는 청취자는 단성적 소스로부터 듣는 것처럼 유쾌한 방식으로 신호를 경험한다. 바이노럴화기는 예를 들어, 프로세서(1905)를 구비하는 DSP 장치를 포함하는 처리 시스템(1903)을 사용하여 구현된다. 메모리(1907)는 명령들의 형태의 프로그램 코드(1090)를 보유하기 위해 포함되며, 추가로, 임의의 필요한 파라미터를 보유할 수 있다. 실행시, 프로그램 코드는 처리 시스템(1903)이 본 명세서에서 상술한 바와 같은 필터링을 실행하게 한다.

일 실시예에서, 컴퓨터 판독 가능 매체는 적어도 하나의 프로세서에 의해 실행시 본 명세서에 설명된 방법들의 방법 단계의 세트를 수행하도록 하는 프로그램 로직, 예를 들어, 명령 세트로 구성된다.

달리 명시적으로 언급하지 않는 한, 이하의 설명으로부터 명백한 바와 같이, 명세서 설명 전체에 걸쳐 "처리", "연산", "계산", "결정" 등 같은 용어들의 사용은 전자적 같은 물리적 양들로서 표현된 데이터를 물리적 양들로서 유사하게 표현된 다른 데이터로 변환 및/또는 조작하는 컴퓨터 또는 연산 시스템이나 유사한 전자 연산 장치의 작용 및/또는 처리를 지칭한다.

유사한 방식으로, 용어 "프로세서"는 전자 데이터를 예를 들어, 레지스터 및/또는 메모리에 저장될 수 있는 다른 전자 데이터로 변환하기 위해 예를 들어, 레지스터 및/또는 메모리로부터 전자 데이터를 처리하는 임의의 장치 또는 장치의 부분을 지칭할 수 있다. "컴퓨터" 또는 "연산기" 또는 "연산 플랫폼"은 적어도 하나의 프로세서를 포함할 수 있다.

다수의 요소, 예를 들어, 다수의 단계를 포함하는 방법이 설명될 때, 명시적으로 선언되지 않은 한 이런 요소들의 순서, 예를 들어, 단계의 순서를 암시하는 것은 아니다.

본 명세서에 설명된 방법은 일 실시예에서, 하나 이상의 컴퓨터 판독 가능 매체 상에 구현된 컴퓨터 실행 가능(또한, 기계 실행 가능이라고도 지칭됨) 프로그램 로직을 수용하는 하나 이상의 프로세서에 의해 수행될 수 있다. 프로그램 로직은 하나 이상의 프로세서에 의해 실행시 본 명세서에 설명된 방법 중 적어도 하나를 수행하는 명령의 세트를 포함한다. 취해질 작업을 명시한 명령 세트(순차적 또는 기타)를 실행할 수 있는 임의의 프로세서가 포함된다. 따라서, 일 예는 하나의 프로세서 또는 더 많은 프로세서를 포함하는 전형적 처리 시스템이다. 각 프로세서는 하나 이상의 CPU와, 그래픽 처리 유닛과 프로그램가능한 DSP 유닛을 포함할 수 있다. 처리 시스템은 주 RAM 및/또는 스태틱 RAM 및/또는 ROM을 포함하는 메모리 서브시스템을 포함하는 저장 서브시스템을 더 포함할 수 있다. 저장 서브시스템은 하나 이상의 다른 저장 장치를 더 포함할 수 있다. 버스 서브시스템은 구성요소 사이의 통신을 위해 포함될 수 있다. 또한, 처리 시스템은 네트워크에 의해 결합된 프로세서를 갖는 분산된 처리 시스템일 수 있다. 처리 시스템이 디스플레이를 필요로 하는 경우, 예를 들어, 액정 디스플레이(LCD), 유기 발광 디스플레이, 플라즈마 디스플레이, 음극선관(CRT) 디스플레이 등 같은 디스플레이가 포함될 수 있다. 수동 데이터 입력이 필요한 경우, 처리 시스템은 또한 키보드 같은 영숫자 입력 유닛, 마우스 같은 포인팅 제어 장치 등 중 하나 이상 같은 입력 장치를 포함한다. 본 명세서에서 사용되는 저장 장치, 저장 서브시스템, 유닛 등의 용어는 문맥상 명료한 경우 및 달리 명시적으로 언급되지 않은 한, 디스크 드라이브 유닛 같은 저장 장치를 포함한다. 일부 구성에서 처리 시스템은 음향 출력 장치 및 네트워크 인터페이스 장치를 포함할 수 있다. 따라서, 저장 서브시스템은 하나 이상의 프로세서에 의한 실행시 본 명세서에 설명된 방법 중 하나 이상을 수행하도록 하는 명령 세트를 포함하는 프로그램 로직(예를 들어, 소프트웨어)을 수반하는 컴퓨터 판독 가능 매체를 포함한다. 프로그램 로직은 하드 디스크 내에 존재할 수 있거나, 또한, 완전히 또는 적어도 부분적으로 RAM 내에 및/또는 처리 시스템에 의한 그 실행 동안 프로세서 내에 존재할 수 있다. 따라서, 메모리 및 프로세서도 예를 들어 명령 형태의 프로그램 로직이 인코딩되어 있는 컴퓨터 판독 가능 매체를 구성한다.

또한, 컴퓨터 판독 가능 매체는 컴퓨터 프로그램 제품을 형성하거나, 그에 포함될 수 있다.

대안 실시예에서, 하나 이상의 프로세서는 독립형 장치로서 작동하거나, 다른 프로세서(들)에 연결, 예를 들어, 네트워크 연결될 수 있고, 네트워크식 구성에서 하나 이상의 프로세서는 서버-클라이언트 네트워크 환경에서 서버나 클라이언트 기계의 기능으로 동작할 수 있거나, 피어-투-피어 또는 분산식 네트워크 환경에서 피어 장치로서 작동할 수 있다. 하나 이상의 프로세서는 퍼스널 컴퓨터(PC), 태블릿 PC, 셋탑 박스(STB), 퍼스널 디지털 어시스턴트(PDA), 셀룰러 전화, 웹 기기, 네트워크 라우터, 스위치 또는 브리지, 또는 그 기계에 의해 수행될 작용들을 명시하는 명령 세트(순차적 또는 기타)를 실행할 수 있는 임의의 기계를 형성할 수 있다.

일부 도면(들)이 명령을 포함하는 로직을 수반하는 단일 메모리 또는 단일 프로세서만을 도시하지만, 본 기술 분야의 숙련자는 다수의 상술한 구성요소가 포함될 수 있지만, 본 발명의 양태를 불명료하게 하지 않기 위해 명시적으로 예시 또는 설명되어 있지 않은 것이라는 것을 이해할 것이다. 예로서, 단지 단일 기계만이 예시되어 있지만, 용어 "기계"는 독립적으로 또는 결합적으로 본 명세서에 설명된 방법 중 임의의 하나 이상을 수행하도록 명령 세트(또는 다수의 세트)를 실행하는 임의의 기계의 집단을 포함하는 것으로 이해되어야 한다.

따라서, 본 명세서에 설명된 방법 각각의 일 실시예는 하나 이상의 프로세서, 예를 들어, 신호 처리 장치의 일부인 하나 이상의 프로세서 상에서 실행되는 명령 세트, 예를 들어 컴퓨터 프로그램으로 구성된 컴퓨터 판독 가능 매체 형태이다. 따라서, 본 기술 분야의 숙련자는 본 발명의 실시예가 방법, 특수 목적 장치 같은 장치, 데이터 처리 시스템 같은 장치 또는 컴퓨터 판독 가능 매체, 예를 들어, 컴퓨터 프로그램 제품으로서 구현될 수 있다는 것을 알 수 있을 것이다. 컴퓨터 판독 가능 매체는 하나 이상의 프로세서 상에서 실행시 방법 단계를 수행하는 명령 세트를 포함하는 로직을 수반한다. 따라서, 본 발명의 양태는 방법, 전체적 하드웨어 구현체, 전체적 소프트웨어 구현체 또는 소프트웨어와 하드웨어 양태의 조합 구현체의 형태를 취할 수 있다. 또한, 본 발명은 예를 들어, 컴퓨터 판독 가능 매체 내의 프로그램 로직, 예를 들어, 컴퓨터 판독 가능 저장 매체 상의 컴퓨터 프로그램 또는 컴퓨터 판독 가능 프로그램 코드, 예를 들어, 컴퓨터 프로그램 제품으로 구성된 컴퓨터 판독 가능 매체의 형태를 취할 수 있다.

컴퓨터 판독 가능 매체가 단일 매체인 것으로 일 예시적 실시예에 도시되어 있지만, 용어 "매체"는 하나 이상의 명령 세트를 저장하는 단일 매체 또는 다수의 매체(예를 들어, 중앙식 또는 분산식 데이터베이스 및/또는 연계된 캐시들 및 서버들)을 포함하는 것으로 이해되어야 한다. 용어 "컴퓨터 판독 가능 매체"는 또한 본 발명의 방법 중 임의의 하나 이상을 수행하도록 하는, 그리고, 하나 이상의 프로세서에 의해 실행되는 명령 세트로 저장, 인코딩 또는 기타 방식으로 구성될 수 있는 임의의 컴퓨터 판독 가능 매체를 포함하는 것으로 이해하여야 한다. 컴퓨터 판독 가능 매체는 불휘발성 매체 또는 휘발성 매체를 포함하지만 이에 한정되지 않는 임의의 형태들을 취할 수 있다. 불휘발성 매체는 예로서, 광학, 자기 디스크, 자기 광학 디스크를 포함한다. 휘발성 매체는 주 메모리 같은 동적 메모리를 포함한다.

설명된 방법의 단계들은 일 실시예에서 저장부에 저장된 명령들을 실행하는 처리 시스템(예를 들어, 컴퓨터 시스템)의 적절한 프로세서(또는 프로세서들)에 의해 수행된다는 것을 이해하여야 한다. 또한, 본 발명의 실시예는 임의의 특정 구현예나 프로그래밍 기술에 한정되지 않으며, 본 발명은 본 명세서에 설명된 기능을 이행하기 위한 임의의 적절한 기술들을 사용하여 구현될 수 있다는 것을 이해하여야 한다. 또한, 실시예는 임의의 특정 프로그래밍 언어나 운영 시스템에 제한되지 않는다.

본 명세서 전반에 걸쳐 "하나의 실시예" 또는 "일 실시예"라는 언급은 그 실시예와 연계하여 설명된 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함되어 있다는 것을 의미한다. 따라서, 본 명세서 전반에 걸쳐 다양한 장소에서의 어구 "하나의 실시예에서" 또는 "일 실시예에서"의 출현은 동일 실시예를 지칭하는 것일 수도 있지만, 반드시 모두가 동일한 실시예를 지칭하는 것은 아니다. 도한, 특정 특징, 구조들 또는 특성은 하나 이상의 실시예에서, 본 내용을 숙지한 본 기술 분야의 통상적인 지식을 가진 자가 명백히 알 수 있는 바와 같이 임의의 적절한 방식으로 조합될 수 있다.

유사하게, 본 발명의 예시적 실시예에 대한 상술한 설명에서, 본 발명의 다양한 특징은 때때로 다양한 본 발명의 양태 중 하나 이상의 이해를 돕고 본 내용을 간명화하기 위한 목적으로 단일 실시예, 도면 또는 그 설명으로 함께 그룹화되어 있다는 것을 명심하여야 한다. 그러나, 이러한 개시 방법은 청구된 발명이 각 청구항에 명시적으로 기재된 것 이외에 더 많은 특징을 필요로 한다는 의도를 반영하는 것으로 해석되지 않아야 한다. 오히려, 하기의 청구항이 반영하는 바와 같이, 본 발명의 양태는 단일의 앞서 개시된 실시예의 모든 특징들보다 적은 특징들에 있다. 따라서, "발명을 실시하기 위한 구체적인 내용"에 후속하는 청구범위는 각 청구항이 자체적으로 본 발명의 개별적 실시예로서 독립적으로 존재하는 상태로 본 "발명을 실시하기 위한 구체적인 내용"에 명시적으로 통합되어 있는 것이다.

또한, 본 명세서에 설명된 일부 실시예가 일부 특징을 포함하는 반면 다른 실시예에 포함된 다른 특징은 포함하지 않지만, 다른 실시예의 특징의 조합은 본 발명의 범주 내에 포함되며, 본 기술 분야의 숙련자들이 이해할 수 있는 바와 같이 다른 실시예를 형성한다. 예로서, 이하의 청구범위에서, 청구된 실시예 중 다수는 임의의 조합으로 사용될 수 있다.

또한, 실시예 중 일부는 컴퓨터 시스템의 프로세서에 의해 또는 이 기능을 수행하는 다른 수단에 의해 이행될 수 있는 방법이나 방법의 요소들의 조합으로서 본 명세서에 설명되어 있다. 따라서, 이런 방법 또는 방법의 요소를 수행하기 위해 필요한 명령들을 갖는 프로세서는 이 방법 또는 방법의 요소를 수행하기 위한 수단을 형성한다. 또한, 장치 실시예에서 본 명세서에 설명된 요소는 본 발명을 수행하는 목적을 위해 요소에 의해 수행되는 기능을 수행하기 위한 수단의 일 예이다.

본 명세서에 제공된 설명에서, 다수의 특정 세부사항들이 기재되어 있다. 그러나, 본 발명의 실시예는 이들 특정 세부사항 없이도 실시될 수 있다는 것을 이해하여야 한다. 다른 예에서, 잘 알려진 방법, 구조 및 기술은 본 설명의 이해를 방해하지 않기 위해 상세히 예시되어 있지 않다.

본 명세서에서 사용될 때, 달리 명시하지 않는 한, 일반적 대상물을 설명하기 위한 서수적 수식어 "제 1", "제 2", "제 3" 등의 사용은 단지 유사 대상의 서로 다른 예가 언급되고 있음을 나타내기 위한 것이며, 설명된 대상이 시간적으로, 공간적으로, 등급적으로 또는 임의의 다른 방식으로 주어진 순서로 존재하여야 한다는 것을 의미하는 것은 아니다.

본 명세서의 종래 기술에 대한 임의의 설명은 이런 종래 기술이 널리 알려지거나, 공개적으로 알려져 있거나, 본 기술 분야의 일반적 지식의 일부를 형성한다는 것을 허용하는 것으로 간주되지 않아야 한다.

이하의 청구범위에서, 용어들 "포함하는", "구성된" 또는 "포함한다" 중 임의의 하나는 적어도 뒤따르는 요소/특징을 포함하지만, 다른 것을 배제하지는 않는 의미의 개방적 용어이다. 따라서, 용어 "포함하는"은 청구범위에 사용될 때 그후 나열된 수단 또는 요소 또는 단계에 제한적인 것으로 해석되지 않아야 한다. 예로서, A와 B를 포함하는 장치라는 표현의 범주는 요소 A와 B만으로 구성된 장치에 한정되지 않는다. 본 명세서에 사용될 때 용어들 "내포하는" 또는 "내포하다" 중 임의의 하나도 역시 적어도 용어에 후속하는 요소/특징을 포함하지만 다른 것을 배제하지 않는다는 의미의 개방적 용어이다. 따라서, "내포하는"은 "포함하는"의 의미와 동의적이다.

유사하게, 용어 "결합된"은 청구범위에서 사용시, 단지 직접적 연결에 제한적인 것으로 해석되지 않아야 한다. 용어 "결합된" 및 "연결된"은 그 파생어들과 함께 사용될 수 있다. 이들 용어는 서로 동의어로서 의도한 것이 아니라는 것을 이해하여야 한다. 따라서, 따라서, 장치 B에 결합된 장치 A라는 표현의 범주는 장치(A)의 출력이 장치 B의 입력에 직접적으로 연결되어 있는 장치들 또는 시스템에 한정되지 않아야 한다. 이는 A의 출력과 B의 입력 사이에 경로가 존재하며, 이는 다른 장치 또는 수단을 포함하는 경로일 수 있다는 의미이다. "결합된"은 둘 이상의 요소가 직접적으로 물리적으로 또는 전기적으로 접촉하는 것 또는 둘 이상의 요소가 서로 직접적으로 접촉하지 않지만 여전히 서로 상호동작 또는 상호작용하는 것을 의미할 수 있다.

따라서, 본 발명의 양호한 실시예로 믿어지는 바를 설명하였지만, 본 기술 분야의 숙련자는 본 발명의 개념으로부터 벗어나지 않고 그에 대한 다른 및 추가적인 변경들이 이루어질 수 있음을 알 수 있을 것이며, 이런 모든 변경 및 변용들은 본 발명의 범주 내에 드는 것으로 주장하기를 의도한다. 예로서, 앞서 주어진 임의의 공식은 단지 사용될 수 있는 절차 중 대표적인 것이다. 블록도로부터 기능이 추가되거나 삭제될 수 있으며, 작업들은 기능 블록들 사이에서 상호교체될 수 있다. 본 발명의 범주 내에서 설명된 방법에 단계가 추가되거나 삭제될 수 있다.

Claims

하나 이상의 오디오 입력 신호 세트를 바이노럴화(binauralizing)하기 위한 장치에 있어서,
상기 각각의 오디오 입력 신호에 대해 한 쌍씩, 하나 이상의 쌍의 베이스 바이노럴 필터를 특징으로 하는 한 쌍의 바이노럴 필터를
포함하고,
각 쌍의 베이스 바이노럴 필터는 베이스 좌측 귀(ear) 필터와 베이스 우측 귀 필터로 나타낼 수 있고, 베이스 합 필터와 베이스 차 필터로 추가로 나타낼 수 있으며, 각 필터는 각각의 임펄스 응답을 특징으로 하고,
적어도 한 쌍의 베이스 바이노럴 필터는 각각의 가상 스피커 위치로부터 청취자에게 직접 응답을 통합하고, 청취실의 초기 반향(early echoe)과 잔향 응답(reverberant response) 양자 모두를 통합하도록 그 각각의 오디오 신호 입력을 공간화하도록 구성되며,
적어도 한 쌍의 베이스 바이노럴 필터에 대해,
베이스 합 필터의 시간-주파수 특성은 베이스 차 필터의 시간-주파수 특성과 실질적으로 다르고, 베이스 합 필터 길이는 모든 주파수에서 베이스 차 필터 길이, 베이스 좌측 귀 필터 길이 및 베이스 우측 귀 필터 길이보다 매우 작고,
베이스 합 필터 길이는 베이스 좌측 귀 필터 길이 또는 베이스 우측 귀 필터 길이의 주파수 상의 변화에 비해 다양한 주파수에서 크게 변하며, 베이스 합 필터 길이는 주파수 증가에 따라 감소하여,
상기 장치는 헤드폰을 통해 또는 단성 믹스 후 단성적으로 재생될 수 있는 출력 신호를 생성하는, 장치.
제 1항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 합 필터 임펄스 응답의 무의미한 레벨로의 전이는 베이스 합 필터 임펄스 응답의 초기 시간 간격에서 주파수 의존 방식으로 시간에 따라 점진적으로 발생하는, 장치.
제 2항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 합 필터는 초기 전체 대역폭으로 존재하는 것으로부터 전이 시간 간격에서 저 주파수 컷오프로 주파수 콘텐츠가 감소하는, 장치.
제 2항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 전이 시간 간격은 베이스 합 필터 임펄스 응답이 약 3ms 이하의 전체 대역폭으로부터 약 40ms에서 100Hz 미만으로 전이할 정도인, 장치.
제 1항 내지 제 4항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 10kHz를 초과한 고주파수에서 베이스 차 필터 길이는 40ms 미만이고, 3kHz와 4kHz 사이의 주파수에서 베이스 차 필터 길이는 100ms 미만이며, 2kHz 미만의 주파수에서 베이스 차 필터 길이는 160ms 미만인, 장치.
제 1항 내지 제 5항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 10kHz를 초과한 고주파수에서 베이스 차 필터 길이는 20ms 미만이고, 3kHz와 4kHz 사이의 주파수에서 베이스 차 필터 길이는 60ms 미만이며, 2kHz 미만의 주파수에서 베이스 차 필터 길이는 120ms 미만인, 장치.
제 1항 내지 제 6항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 10kHz를 초과한 고주파수에서 베이스 차 필터 길이는 10ms 미만이고, 3kHz와 4kHz 사이의 주파수에서 베이스 차 필터 길이는 40ms 미만이며, 2kHz 미만의 주파수에서 베이스 차 필터 길이는 80ms 미만인, 장치.
제 1항 내지 제 7항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 차 필터 길이는 약 800ms 미만인, 장치.
제 1항 내지 제 8항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 차 필터 길이는 약 400ms 미만인, 장치.
제 1항 내지 제 9항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 차 필터 길이는 약 200ms 미만인, 장치.
제 1항 내지 제 10항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해,
베이스 합 필터 길이는 주파수 증가에 따라 감소하고,
100Hz 미만의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 40ms이고 160ms 이하이며,
100Hz와 1kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 20ms이고 80ms 이하이며,
1kHz와 2kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 10ms이고 20ms 이하이며,
2kHz와 20kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 5ms이고 20ms 이하인, 장치.
제 1항 내지 제 11항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해,
베이스 합 필터 길이는 주파수 증가에 따라 감소하고,
100Hz 미만의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 60ms이고 120ms 이하이며,
100Hz와 1kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 30ms이고 60ms 이하이며,
1kHz와 2kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 15ms이고 30ms 이하이며,
2kHz와 20kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 7ms이고 15ms 이하인, 장치.
제 1항 내지 제 12항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해,
베이스 합 필터 길이는 주파수 증가에 따라 감소하고,
100Hz 미만의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 70ms이고 90ms 이하이며,
100Hz와 1kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 35ms이고 50ms 이하이며,
1kHz와 2kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 18ms이고 25ms 이하이며,
2kHz와 20kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 8ms이고 12ms 이하인, 장치.
제 1항 내지 제 13항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 바이노럴 필터 특징은 한 쌍의 정합될 바이노럴 필터 특징으로부터 결정되는, 장치.
제 14항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 차 필터 임펄스 응답은 정합될 바이노럴 필터의 차 필터에 추후 실질적으로 비례하는, 장치.
제 15항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 차 필터 임펄스 응답은 정합될 바이노럴 필터의 차 필터에 40ms 후 실질적으로 비례하게 되는, 장치.
하나 이상의 오디오 입력 신호 세트를 바이노럴화하는 방법에 있어서,
상기 각각의 오디오 입력 신호에 대해 한 쌍씩, 하나 이상의 쌍의 베이스 바이노럴 필터를 특징으로 하는 바이노럴화기에 의해 오디오 입력 신호 세트를 필터링하는 단계를
포함하고,
각 쌍의 베이스 바이노럴 필터는 베이스 좌측 귀 필터와 베이스 우측 귀 필터로 나타낼 수 있고, 베이스 합 필터와 베이스 차 필터로 추가로 나타낼 수 있으며, 각 필터는 각각의 임펄스 응답을 특징으로 하고,
적어도 한 쌍의 베이스 바이노럴 필터는 각각의 가상 스피커 위치로부터 청취자에게 직접 응답을 통합하고, 청취실의 초기 반향과 잔향 응답 양자 모두를 통합하도록 그 각각의 오디오 신호 입력을 공간화하도록 구성되며,
적어도 한 쌍의 베이스 바이노럴 필터에 대해,
베이스 합 필터의 시간-주파수 특성은 베이스 차 필터의 시간-주파수 특성과 실질적으로 다르고, 베이스 합 필터 길이는 모든 주파수에서 베이스 차 필터 길이, 베이스 좌측 귀 필터 길이 및 베이스 우측 귀 필터 길이보다 매우 작고,
베이스 합 필터 길이는 베이스 좌측 귀 필터 길이 또는 베이스 우측 귀 필터 길이의 주파수 상의 변화에 비해 다양한 주파수에서 크게 변하며, 베이스 합 필터 길이는 주파수 증가에 따라 감소하여,
출력은 헤드폰을 통해 또는 단성적으로 재생 가능한, 방법.
제 17항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 합 필터 임펄스 응답의 무의미한 레벨로의 전이는 베이스 합 필터 임펄스 응답의 초기 시간 간격에서 주파수 의존 방식으로 시간에 따라 점진적으로 발생하는, 방법.
제 18항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 합 필터는 전이 시간 간격에서 초기 전체 대역폭으로부터 저 주파수 컷오프로 주파수 콘텐츠가 감소하는, 방법.
제 18항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 전이 시간 간격은 베이스 합 필터 임펄스 응답이 약 3ms 이하의 전체 대역폭으로부터 약 40ms에서의 100Hz 미만으로 전이하도록 이루어지는, 방법.
제 17항 내지 제 20항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 10kHz를 초과한 고주파수에서의 베이스 차 필터 길이는 40ms 미만이고, 3kHz와 4kHz 사이의 주파수에서 베이스 차 필터 길이는 100ms 미만이며, 2kHz 미만의 주파수에서 베이스 차 필터 길이는 160ms 미만인, 방법.
제 17항 내지 제 21항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 10kHz를 초과한 고주파수에서의 베이스 차 필터 길이는 20ms 미만이고, 3kHz와 4kHz 사이의 주파수에서 베이스 차 필터 길이는 60ms 미만이며, 2kHz 미만의 주파수에서 베이스 차 필터 길이는 120ms 미만인, 방법.
제 17항 내지 제 22항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 10kHz를 초과한 고주파수에서의 베이스 차 필터 길이는 10ms 미만이고, 3kHz와 4kHz 사이의 주파수에서 베이스 차 필터 길이는 40ms 미만이며, 2kHz 미만의 주파수에서 베이스 차 필터 길이는 80ms 미만인, 방법.
제 17항 내지 제 23항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 차 필터 길이는 약 800ms 미만인, 방법.
제 17항 내지 제 24항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 차 필터 길이는 약 400ms 미만인, 방법.
제 17항 내지 제 25항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 차 필터 길이는 약 200ms 미만인, 방법.
제 17항 내지 제 26항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해,
베이스 합 필터 길이는 주파수 증가에 따라 감소하고,
100Hz 미만의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 40ms이고 160ms 이하이며,
100Hz와 1kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 20ms이고 80ms 이하이며,
1kHz와 2kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 10ms이고 20ms 이하이며,
2kHz와 20kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 5ms이고 20ms 이하인, 방법.
제 17항 내지 제 27항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해,
베이스 합 필터 길이는 주파수 증가에 따라 감소하고,
100Hz 미만의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 60ms이고 120ms 이하이며,
100Hz와 1kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 30ms이고 60ms 이하이며,
1kHz와 2kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 15ms이고 30ms 이하이며,
2kHz와 20kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 7ms이고 15ms 이하인, 방법.
제 17항 내지 제 28항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해,
베이스 합 필터 길이는 주파수 증가에 따라 감소하고,
100Hz 미만의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 70ms이고 90ms 이하이며,
100Hz와 1kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 35ms이고 50ms 이하이며,
1kHz와 2kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 18ms이고 25ms 이하이며,
2kHz와 20kHz 사이의 모든 주파수에 대한 베이스 합 필터 길이는 적어도 8ms이고 12ms 이하인, 방법.
제 17항 내지 제 29항 중 어느 한 항에 있어서, 적어도 한 쌍의 베이스 바이노럴 필터에 대해, 베이스 바이노럴 필터 특징은 한 쌍의 정합될 바이노럴 필터 특징으로부터 결정되는, 방법.
신호 처리 장치를 작동시키는 방법에 있어서,
오디오 신호를 바이노럴화하도록 구성된 대응하는 쌍의 정합될 바이노럴 필터의 임펄스 응답을 나타내는 한 쌍의 신호를 수신하는 단계와,
시간 가변 필터 특징을 갖는 변경 필터를 각각 특징으로 하는 한 쌍의 필터에 의해 수신된 신호의 쌍을 처리하는 단계로서, 상기 처리 단계는 대응하는 쌍의 변경된 바이노럴 필터의 임펄스 응답을 나타내는 한 쌍의 변경된 신호를 형성하는, 상기 단계를
포함하여,
변경된 바이노럴 필터는 오디오 신호를 바이노럴화하도록 구성되고, 또한 단성적 믹스다운시 낮은 인지 잔향 및 헤드폰을 거친 바이노럴 필터에 대한 최소의 영향의 특성을 갖는, 방법.
제 31항에 있어서, 변경된 바이노럴 필터는 변경된 합 필터와 변경된 차 필터를 특징으로 하고,
시간 가변 필터는,
변경된 바이노럴 필터 임펄스 응답이 미리 한정된 위치의 가상 스피커를 청취하는 청취자를 위한 헤드 관련 전달 펑션에 의해 한정된 직접 부분을 포함하고,
변경된 합 필터가 변경된 차 필터에 비해 매우 감소된 레벨 및 매우 더 짧은 잔향 시간을 가지며,
합 필터의 임펄스 응답의 직접 부분으로부터 합 필터의 무시 가능한 응답 부분까지 매끄러운 전이가 존재하고, 매끄러운 전이는 시간에 따라 주파수 선택성이 되도록
구성된, 방법.
신호 처리 장치를 작동시키는 방법에 있어서,
오디오 신호를 바이노럴화하도록 구성된 대응하는 좌측 귀와 우측 귀 바이노럴 필터의 임펄스 응답을 나타내는 좌측 귀 신호와 우측 귀 신호를 수신하는 단계와,
좌측 및 우측 귀 신호의 합에 비례하는 합 신호와 좌측 귀 신호와 우측 귀 신호 사이의 차에 비례하는 차 신호를 형성하도록 좌측 귀 신호와 우측 귀 신호를 셔플링하는 단계와,
시간 가변 필터 특징을 갖는 합 필터에 의해 합 신호를 필터링하여 필터링된 합 신호를 형성하는 단계와,
합 필터를 특징으로 하는 차 필터에 의해 차 신호를 처리하여 필터링된 차 신호를 형성하는 단계와,
대응하는 좌측 귀와 우측 귀 변경된 바이노럴 필터의 임펄스 응답을 나타내는 변경된 좌측 귀 신호와 변경된 우측 귀 신호를 형성하도록 필터링된 합 신호와 필터링된 차 신호를 역셔플링하는 단계를
포함하고,
변경된 바이노럴 필터는 오디오 신호를 바이노럴화하도록 구성되고, 변경된 합 필터와 변경된 차 필터에 의해 나타낼 수 있으며, 또한, 제 1항 내지 제 13항 중 어느 한 항에 기재된 적어도 한 쌍의 베이스 바이노럴 필터의 특성을 갖는, 방법.
제 33항에 있어서, 변경된 합 신호는 시간 가변 필터링에 의해 유발되는 변경된 차 신호의 임의의 소실된 에너지를 보상하도록 적절히 부스트되는, 방법.
제 31항 내지 제 34항 중 어느 한 항에 있어서,
변경 시간 가변 필터는 정합될 바이노럴 필터의 합 필터를 나타내는 신호 상에 작용하는 합 변경 필터와, 정합될 바이노럴 필터의 차 필터를 나타내는 신호 상에 작용하는 차 변경 필터에 의해 나타낼 수 있고,
합 변경 필터는 40ms 이후의 시간에 대해 정합될 바이노럴 필터의 합 필터를 나타내는 신호를 실질적으로 감쇠시키고, 차 변경 필터는 합 변경 필터의 시간 가변 특징에 의해 한정될 수 있는, 방법.
제 35항에 있어서,
합 변경 필터는, t로 표시된 시간에서 시간 가변 임펄스 응답 내지 시간 t=τ에서의 임펄스 f(t,τ)를 특징으로 하고, 합 변경 필터는 또한 시간 가변 대역폭을 포함하는 시간 가변 주파수 응답을 특징으로 하며, 차 변경 필터의 임펄스 응답은 f(t,τ)로부터 결정될 수 있고, 시간 가변 대역폭은 시간에 따라 단조적으로 감소하는, 방법.
제 36항에 있어서, 시간 가변 대역폭은 약 40ms보다 큰 시간에 대해 100Hz 미만까지 부드럽게 감소하는, 방법.
제 36항 또는 제 37항에 있어서, 차 변경 필터의 임펄스 응답은 비례하는, 방법.
처리 시스템의 적어도 하나의 프로세서에 의해 실행시 제 17항 내지 제 38항 중 어느 한 항에 기재된 방법을 수행하도록 하는, 프로그램 로직.
처리 시스템의 적어도 하나의 프로세서에 의해 실행시 제 17항 내지 제 38항 중 어느 한 항에 기재된 방법을 수행하도록 하는 프로그램 로직을 내부에 갖는 프로그램 판독 가능 매체.
장치에 있어서,
적어도 하나의 프로세서와 저장 장치를 포함하는 처리 시스템을
포함하고,
상기 저장 장치는 실행시 장치가 제 17항 내지 제 38항 중 어느 한 항에 기재된 방법을 수행하도록 하는 프로그램 로직으로 구성되어 있는, 장치.