KR20130010893A - 멀티채널 사운드 재생 방법 및 장치 - Google Patents

멀티채널 사운드 재생 방법 및 장치 Download PDF

Info

Publication number
KR20130010893A
KR20130010893A KR1020127024636A KR20127024636A KR20130010893A KR 20130010893 A KR20130010893 A KR 20130010893A KR 1020127024636 A KR1020127024636 A KR 1020127024636A KR 20127024636 A KR20127024636 A KR 20127024636A KR 20130010893 A KR20130010893 A KR 20130010893A
Authority
KR
South Korea
Prior art keywords
sound reproduction
ears
input signals
pair
ear
Prior art date
Application number
KR1020127024636A
Other languages
English (en)
Inventor
패트릭 제임스 헤가티
얀 아빌드가르드 페데르센
Original Assignee
방 앤드 오루프센 에이/에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 방 앤드 오루프센 에이/에스 filed Critical 방 앤드 오루프센 에이/에스
Publication of KR20130010893A publication Critical patent/KR20130010893A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/09—Electronic reduction of distortion of stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/05—Application of the precedence or Haas effect, i.e. the effect of first wavefront, in order to improve sound-source localisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 서라운드 사운드 확성기 셋업에서의 인접하는 확성기 또는 입체 음향 확성기 셋업에서의 좌측 및 우측 확성기 등의 주 사운드 재생 트랜스듀서 쌍 사이에 배치된 확성기 등의 하나 이상의 보조 사운드 재생 트랜스듀서에 의해 재생하기 위한 청각 신호 성분을 선택하는 방법으로서, (i) 상기 보조 사운드 재생 트랜스듀서 중의 하나가 위치하거나 위치하게 될 방위각 범위 및 청취 방향을 특정하는 단계; (ii) 상기 방위각 범위 및 상기 청취 방향에 기초하여, 좌측 및 우측의 두 귀의 레벨 차 한계 및 좌측 및 우측의 두 귀의 시간 차 한계를 결정하는 단계; (iii) 주 사운드 재생 트랜스듀서 쌍에 입력 신호 쌍을 제공하는 단계; (iv) 상기 입력 신호의 각각을 전처리하여 전처리된 입력 신호 쌍을 제공하는 단계; (v) 상기 전처리된 신호 사이의 주파수의 함수로서 두 귀의 레벨 차 및 두 귀의 시간 차를 결정하는 단계; 및 (vi) 상기 좌측 및 우측의 두 귀의 레벨 차 한계 및 좌측 및 우측의 두 귀의 시간 차 한계 간의 간격 내에 각각 두 귀의 레벨 차 및 두 귀의 시간 차를 갖는 입력 신호의 신호 성분을 대응하는 보조 사운드 재생 트랜스듀서로 제공하는 단계를 포함하는 방법에 관한 것이다. 본 발명은 또한 상기 방법을 수행하는 장치 및 그러한 장치들의 시스템에 관한 것이다.

Description

멀티채널 사운드 재생 방법 및 장치{MULTICHANNEL SOUND REPRODUCTION METHOD AND DEVICE}
본 발명은 일반적으로 확성기 셋업을 통한 사운드 재생 분야에 관한 것으로 특히 넓은 청취 영역에 걸쳐 재생된 사운드의 안정된 청각 공간 지각(perception)을 얻는 방법 및 시스템에 관한 것이다. 특히, 본 발명은 자동차 객실 등의 한정된 환경에 사용되는 그러한 방법 및 장치에 관한 것이다.
입체 음향은 인기 있는 공간 오디오 재생 포맷이다. 입체 음향 신호는 원위치 스테레오 마이크로폰 레코딩에 의해 또는 현대의 인기 있는 음악에서 일반적인 것처럼 다수의 모노포닉(monophonic) 신호를 혼합함으로써 재생될 수 있다. 이러한 타입의 자료는 통상 ITU-R BS.1116[1997] 및 ITU-R BS.775-1[1994]에서 제안된 바와 같이 대칭 배열의 매칭 확성기 쌍으로 재생되도록 의도된다.
상기 권고가 충족되면, 청취자는 적어도 확성기들 사이에 연장하는 다양한 가상 소스, 팬텀 이미지를 포함하는, 브레그먼(Bregman)[1994]에 기재된 청각 장면(auditory scene)을 지각할 것이다. ITU 권고 중의 하나 이상이 충족되지 않으면, 결과적으로 청각 장면의 열화가 발생할 수 있다(예를 들어, 베크(Bech)[1998] 참조).
차에서 입체 음향 자료를 청취하는 것은 매우 일반적이다. 대부분의 현대의 차는 CD 플레이어 등의 스테레오 사운드 소스, 및 2 이상의 확성기로 구성되는 공장에서 설치된 사운드 시스템을 갖춘 상태로 배송된다.
그러나, 자동차 청취 시나리오를 ITU 권고와 비교하면, 통상 이상적인 조건으로부터 다음과 같은 편차가 존재할 것이다:
(i) 청취 위치가 잘못되고,
(ii) 확성기 위치가 잘못되고,
(iii) 확성기에 근접한 큰 반사면이 존재한다.
적어도 이러한 이유로, 일반적으로 차에서 청각 장면의 충실도가 저하된다.
본 명세서에서는 차에서의 오디오 재생을 반복적으로 참조하지만, 본 발명의 원리 및 다음에서 설명하는 본 발명의 시스템 및 방법의 특정한 실시예의 사용은 차 오디오 재생에 제한되지 않고, 수많은 다른 청취 상황에서도 응용될 수 있다.
이상적인 청취 조건으로부터의 상술한 편차에도 불구하고 높은 충실도의 오디오 재생을 렌더링할 수 있는 재생 시스템 및 방법에 접근할 수 있다면 유리할 것이다.
청각 재생은 기본적으로 2개의 지각 형태, 즉, (i) 사운드 시나리오에서 사운드 소스의 음색의 재생, 및 (ii) 사운드 시나리오의 공간 속성의 재생, 예를 들어, 사운드 시나리오에서 사운드 소스의 안정적인 위치 추적(localisation)을 얻는 능력 및 시나리오에서 개별 사운드 소스의 공간적 확장 또는 폭의 정확한 지각을 얻는 능력을 포함한다. 이들 형태 및 이들을 특징짓는 특정한 지각 속성 모두는 차의 객실 등의 한정된 공간에서의 오디오 재생에 의해 저하를 겪을 수 있다.
본 섹션은 먼저 자동차 청취 시나리오에서의 스테레오 재생을 자유 필드(free field)에서의 온 및 오프 축 시나리오와 비교하고 대조할 것이다. 이 비교 후에 인간의 귀의 두 귀의 전달 함수(interaural transfer function)에 관하여 자동차 청취 시나리오에서의 청각 장면의 저하의 분석이 뒤따른다. 이 도입부 후에, 본 발명의 주요 원리의 개요가 주어질 것이고, 그에 따라 방법 및 대응하는 스테레오 대 멀티-모노 컨버터 장치가 제공되고, 그 방법 및 장치에 의해, 청각 장면의 청각 컴포넌트들의 위치가 청취 위치와 무관하게 될 수 있다.
본 발명의 실시예는 본 발명의 상세한 설명에서 기재될 것이고, 그 섹션은 매트랩(Matlab) 소프트웨어의 도움으로 시뮬레이션된 출력의 분석에 의해 본 발명에 따른 스테레오 대 멀티-모노 컨버터의 실시예의 성능 평가도 포함할 것이다.
이상적인 스테레오 청취 시나리오
2채널 입체 음향(이하에서 스테레오라 함)은 2개의 사운드 소스에 의해 공간 청각 장면을 재생하는 하나의 수단이다. 블라우트(Blauert)[1997]는 사운드 및 청각이라는 용어들을 다음과 같이 구별하고 있다.
사운드는 이벤트들의 물리적 현상 특징(예를 들어, 사운드 웨이브, 소스 또는 신호)을 말한다.
청각은 청취자에 의해 인지되는 것(예를 들어, 청각 이미지 또는 장면)을 말한다.
이러한 구별은 본 명세서에서도 적용될 것이다.
블라우트[1997]는 공간 청각(spatial hearing)을 청각 이벤트들의 위치들과 사운드 이벤트들의 물리적 특징 간의 관계로서 정의한다.
스테레오 신호의 확성기 재생을 위한 수평면에서의 청취자 및 사운드 소스의 이상적인 상태 위치는 ITU-R BS.1116 [1997] 및 ITU-R BS.775-1 [1994]에 기재되어 있고 스테레오 신호의 재생을 위한 청취자 및 확성기의 이상적인 배열을 나타내는 도 1에 도표로 도시되어 있다.
청취자는 최소 dl=dr=dlr=2 미터의 등변 삼각형의 꼭지점에 위치해야 한다. 확성기는 다른 2개의 꼭지점에 각각 배치되어야 한다. 이들 확성기는 주파수 응답 및 파워 응답에 있어서 매칭되어야 한다. 벽까지의 최소 거리는 1 미터이어야 한다. 천장까지의 최소 거리는 1.2 미터이어야 한다.
이 명세서에서, 소문자 변수, 예를 들어, x[n]은 시간 도메인 신호용으로 사용될 것이고 대문자 변수, 예를 들어, X[k]는 주파수 도메인 표현용으로 사용될 것이다.
사운드 신호 lear[n] 및 rear[n]은 바이노럴(binaural)이라 하고, 이 명세서 전반에서 청취자의 귀 도관으로의 입구에서 측정된 신호를 의미하는 것으로 간주될 것이다. 하머쉬(
Figure pct00001
) 및 뮐러(
Figure pct00002
)[1996]에 의하면, 위치 추적(localisation)을 위해 필요한 모든 방향 정보를 이들 신호에서 구할 수 있다는 것이 밝혀졌다. 바이노럴(binaural) 신호들 간의 차의 속성은 인터오럴(interaural)이라고 한다. 도 1을 참조하여, 신호 lsource[n]에 의해 공급된 단 하나의 사운드 소스가 존재하는 경우를 고려한다. 이 경우, 좌측 귀는 0°방위각 또는 중선(median line)에 대하여 소스와 동일한 반구에 있기 때문에 동측성(ipsilateral)이라 하고, hLL[n]은 lsource[n]과 lear[n] 사이의 송신 경로의 임펄스 응답이다. 마찬가지로, 우측 귀는 대측성(contralateral)이라 하고, hRL[n]은 lsource[n]과 rear[n] 사이의 송신 경로의 임펄스 응답이다. 이상적인 경우, ΘL=ΘR=30°이다.
이 시나리오가 자유 필드에서 포인트 소스에 대한 것이면, 이들 임펄스 응답 또는 주파수 도메인에서의 HRTF(head related transfer function)는 몸통, 머리, 귓바퀴(외이)에 의해 유발되는 회절, 산란, 간섭 및 공진 효과에 관한 정보를 포함하고 소스와 청취자의 상대 위치에 특징적인 방식으로 다를 것이다. 본 발명에서 사용되는 HRTF는 CIPIC 인터페이스 실험실[2004] 데이터베이스로부터 나온 것이며, 특히 작은 귓바퀴를 갖는 KEMAR? 머리 및 몸통 시뮬레이터에 대한 것이다. 그러나, 실제 인간의 귀로부터의 것, 인공 인간의 귀(인공 머리)로부터의 것 및 심지어 시뮬레이션된 HRTF 등의 HRTF의 다른 예들도 본 발명에 따라 사용될 수 있다는 것은 말할 것도 없다.
이들 신호의 주파수 도메인 표현은 다음의 6개의 식에 기재된 이산 푸리에 변환(DFT)을 이용하여 산출되고, 이들 식은 오펜하임(Oppenheim) 및 쉐퍼(Schafer)[1999, 페이지 561]에서 통틀어 푸리에 분석 식이라 한다.
Figure pct00003
좌측 및 우측 귀 간의 차는 다음의 식에 정의된 두 귀의 전달 함수 HIA[k]로 기재된다.
Figure pct00004
바이노럴 청각 시스템은 바이노럴 신호에 작용하여 지각된 공간 느낌을 생성하는 프로세스의 모음을 나타낸다. 평가되는 기본 큐(cue)는 두 귀의 레벨 차(ILD) 및 두 귀의 시간 차(ITD)이다. 이들 양은 이하에서 정의된다.
ILD는 평균 사운드 압력 레벨에 관련된 Lear[k]와 Rear[k] 간의 차이를 나타낸다. ILD는 양적으로 HIA[k]의 크기로 기재된다.
ITD는 시간에 있어서의 그들의 관계에 관련된 Lear[k]와 Rear[k] 간의 차이를 나타낸다. ITD는 양적으로 HIA[k]의 위상 지연으로 기재된다. 특정 주파수에서의 위상 지연은 주파수로 나누어진 네가티브 언랩 위상(negative unwrapped phase)이다.
Lsource[k]와 Rsource[k] 둘 다가 존재하는 경우, 두 귀의 전달 함수는 다음의 식으로 주어진다.
Figure pct00005
송신 경로가 선형이고 시간 불변(LTI; linear and time invariant)이면, 그들의 임펄스 응답은 독립적으로 결정될 수 있고 HIA[k]는 상기의 식에서처럼 중첩(superposition)에 의해 결정될 수 있다.
신호의 파워 스펙트럼 밀도는 그것의 자기 상관(autocorrelation)의 푸리에 변환이다. lsource[n] 및 rsource[n]의 파워 스펙트럼 밀도는 다음의 식에 제시된 바와 같이 주파수 도메인에서 스펙트럼과 그 켤레 복소수의 곱으로서 산출될 수 있다.
Figure pct00006
상호 파워 스펙트럼 밀도(cross-power spectral density)는 2개의 신호 사이의 상호 상관의 푸리에 변환이다. lsource[n] 및 rsource[n]의 상호 파워 스펙트럼 밀도는 다음의 식에 제시된 바와 같이 주파수 도메인에서 Lsource[k]와 Rsource[k]의 켤레 복소수의 곱으로서 산출될 수 있다.
Figure pct00007
lsource[n]과 rsource[n] 간의 코히어런스는 2개의 신호 간의 유사성의 표시이고 0과 1 사이의 값을 취한다. 이는 2개의 신호의 파워 스펙트럼 밀도 및 그들의 상호 파워 스펙트럼 밀도로부터 산출된다. 코히어런스는 이하의 식(6)으로 주파수 도메인에서 산출될 수 있다. 단일 데이터 블록이 사용되고 따라서 CLR가 분석되는 신호의 몇 개의 블록에 걸쳐 산출되면, CLR=1이라는 것을 보여주는 것은 쉽다.
Figure pct00008
lsource[n] 및 rsource[n]은 공동으로 정상 확률 과정(stationary stochastic process)일 필요가 있다. 이것은 자기 상관 및 결합 분포(joint distribution)가 샨무건(Shanmugan) 및 브레이폴(Breipohl)[1988]에 따라 시간 시프트에 불변이어야 한다는 것을 의미한다.
lsource[n] 및 rsource[n]가 코히어런트하고, ILD 또는 ITD가 없는 경우, 자유 필드 조건 및 머리 및 몸통 대칭인 것으로 가정하면, 도 2에 도시된 바와 같이 HIA[k]의 크기 및 위상=0이다. 소정 주파수에서의 포지티브 ILD는 lsource[n]에서 그 주파수에서의 더 높은 레벨을 의미할 것이다. 소정 주파수에서의 포지티브 ITD는 lsource[n]에서 그 주파수가 더 일찍 발생한 것을 의미할 것이다.
이러한 조건 하의 정상 및 건강한 청각 시스템의 출력은 2개의 소스 사이의 아크 세그먼트(arc segment) 상의 0도 방위각의 선을 중심으로 한 "팬텀 이미지(phantom image)"라고도 불리우는 단일 청각 이미지이다. 각 귀에 도달한 사운드가 동일한 이와 같은 시나리오는 또한 "디오틱(diotic)"이라 한다. 마찬가지로, 작은 ILD 및/또는 ITD 차가 있으면, 단일 청각 이미지가 여전히 지각될 것이다. 2개의 소스 간의 이 이미지의 위치는 ITD 및 ILD에 의해 결정된다. 이 현상은 합산 위치 추적(summing localisation)이라 한다(블라우트[1997, 페이지 209]) - ILD 및 ITD 큐는 "합산"되어 단일 지각 이벤트를 초래한다. 이것은 공간 청각 장면을 생성하는 수단으로서 스테레오의 기본을 형성한다.
ITD가 대략 0.34 m의 거리에 대응하는 대략 1 ms를 초과하면, 청각 이벤트는 가장 빠른 소스에서 위치 추적될 것이다. 이것은 제1 웨이브 프론트(first wave front)의 법칙으로 알려져 있다. 따라서, 초기 사운드의 1 ms 내에 귀에 도달한 사운드만이 스테레오에서의 위치 추적을 위해 중요하다. 이것은 소스와 룸 경계 사이의 거리에 대한 ITU 권고에 대한 이유 중의 하나이다. 지연이 더 증가하면, 제2 청각 이벤트가 첫 번째의 에코로서 인지될 것이다.
실제 스테레오 음악 신호는 임의의 수의 구성요소를 가질 수 있고, 그의 CLR[k]는 시간의 함수로서 0과 1 사이이다. Lsource 및 Rsource이 스테레오 음악 신호에 의해 구동되면, 바이노럴 청각 시스템의 출력은 2개의 소스 사이에 발생하는 청각 장면이고, 그 범위 및 특성은 스테레오 음악 신호 간의 관계에 의존한다.
오프 축( off - axis ) 청취 시나리오
이상적인 스테레오 청취 시나리오에 대한 선행하는 문단에서, 스테레오 사운드 소스에 대하여 대칭으로 위치하는 청취 위치를 고려하였다. 즉, 청취자는 최적의 공간 사운드 재생이 발생할 청취 룸 내의 영역인, 소위 "스위트 스폿(sweet spot)"의 중앙에 위치한다. 소스, 청취 위치 및 룸 경계 사이의 거리에 따라, "스위트 스폿"의 유효 면적은 변하지만, 유한할 것이다. 이러한 이유로, 몇몇의 청취자는 오프 축 위치에 있는 것이 일반적이다. 오프 축 청취 위치의 예가 도 3에 도시되어 있다.
다음의 분석에서, 대칭 HRTF 및 자유 필드의 포인트 소스가 다시 상정된다.
도 3을 참조하면, 2개의 사운드 소스로부터 각 귀로의 전파 경로가 서로 다른 길이를 갖는다는 것이 명백하다(dl<dr). 자동차 청취 시나리오의 일반적인 거리는 대략 dl=1m, dr=1.45m 및 dlr=1.2m이다. dr-dl=0.45m이므로, 제1 웨이브 프론트의 법칙에 즉각적인 문제가 있고, 결과적으로 청각 장면의 대부분이 좌측 사운드 소스로 쏠린다. 이에 더하여, 각 ΘL 및 ΘR이 더 이상 동일하지 않고, 따라서 바이노럴 임펄스 응답이 더 이상 동일하지 않고, 즉,
Figure pct00009
및
Figure pct00010
이다. 각도가 ΘL=25°및 ΘR=35°로 추정되고 바이노럴 임펄스 응답이 대략적인 경로 길이 차의 지연 및 감쇄를 시뮬레이션하기 위하여 변경되면, HIA[k]의 크기 및 위상은 도 4에 도시된 바와 같다.
온 축(on-axis) 청취 위치에서와 달리, lsource[n] 및 rsource[n]이 동일한 신호로 구동되면, 이 경우, 청각 이미지는 청취자의 바로 앞에 위치 추적될 것 같지 않고, 필시 좌측으로 "비스듬히" 있거나 심지어 좌측 소스의 위치로 완전히 쏠릴 것이다. 도 4에 도시된 ILD 플롯의 큰 피크들에서 알 수 있는 바와 같이 ITD 오프셋이 빗형 필터(comb filter)를 생성할 것이므로 음색도 영향을 받을 것이다. 실제 스테레오 음악 신호에 대하여, 합산 위치 추적(summing localisation)이 더 이상 의도된 두 귀의 큐(interaural cues)에 기초하지 않으므로 청각 장면은 필시 정확하게 재생되지 않을 것이다. 단일 청취자만이 존재하면, 이들 효과는 예를 들어 토쿠노(Tokuno), 키르케비(Kirkeby), 넬슨(Nelson) 및 하마다(Hamada)[1997]에 의해 기재된 방법을 이용한 디콘볼루션(deconvolution)을 이용하여 교정될 수 있다.
대부분의 실제 입체 음향 청취 시나리오는 상술한 이상적인 경우와 다르다. 실제 확성기는 제조 허용오차 때문에 주파수 및 파워 응답이 완전히 매칭될 것 같지 않다. 또한, 실제 청취 룸 내의 확성기의 위치는 HIA의 크기 및 위상에 영향을 주는 주파수 의존 전파 경로를 도입할 수 있는 장애물 및 반사면에 가까울 수 있다. 언급한 바와 같이, ITU 권고는 이러한 효과를 감소시키기 위한 것이다.
본 발명은 많은 상이한 환경에서 적용될 수 있지만, 특히 자동차 객실에서의 스테레오 재생이 다음의 섹션에서 상세히 다루어질 것이다.
차내 청취 시나리오
자동차 및 "이상적인" 스테레오 시나리오 간의 차이점의 일부를 이하에서 간략히 설명한다.
전기역학, 피스톤, 확성기가 사용되면, 몇 개의 트랜스듀서가 오디오 스펙트럼(20 Hz 내지 20 kHz)을 생성하는 데 사용되는 것도 일반적이다. 이러한 이유 중의 하나는 주파수의 함수로서 피스톤에 의해 방사된 사운드 압력의 방향성이 증가하기 때문이다. 이것은 상술한 바와 같이 오프 축 청취에 중요하다. 이러한 타입의 확성기의 원추는 피스톤 (확성기 멤브레인) 상에서 웨이브 전파가 발생함에 따라 높은 주파수에서 피스톤으로서의 이동을 정지시켜, 왜곡을 생성한다. 이 현상을 원추 해체(cone break-up)라 한다.
확성기는 일반적으로 차체 내의 다양한 공동 내에 그릴 뒤에 설치된다. 따라서, 사운드는 몇 개의 공진 시스템을 통과할 수 있다. 확성기는 또한 추가의 사운드를 방사하는 도어 트림(door trim) 등의 다른 진동 시스템을 여기시킬 공산이 있다. 소스는 객실의 경계에 근접할 수 있고, 다른 큰 반사면이 소스에 대하여 0.34m 이내에 있을 수 있다. 이에 따라 직접적인 사운드의 1ms 내에 반사가 도달하여 위치 추적에 영향을 줄 것이다. 우측 신호와 비교하여 좌측 신호에 대한 소스의 경로에 상이한 장애물이 있을 수 있다(예를 들어, 대시보드(dashboard)는 계기판(instrument cluster) 및 핸들 때문에 대칭이 아니다). 카펫 및 시트 내의 발포 고무(foam) 등의 사운드 흡수 물질이 공간의 도처에 고르지 않게 분포된다. 대략 65 및 400 Hz 사이의 낮은 주파수에서, 차량 객실 내의 사운드 필드는 다소 감쇠될 다양한 모드를 포함한다.
결과적으로, lear[n] 및 rear[n]은 각각 트랜스듀서로부터 객실을 통해 각 귀로의 다수의 송신 경로의 중첩일 것이다.
이 상황은 모든 운전자 및 승객에 대하여 고정된 청취 위치가 없고 대신에 청취 영역의 개념이 사용된다는 사실에 의해 더 복잡해진다. 청취 영역 좌표 시스템이 도 5에 도시되어 있다.
"청취 영역"은, 필시 청취자의 귀가 있을 것 같고, 따라서, 재생 시스템의 거동이 가장 중요한 공간의 영역이다. 차 안에 앉은 운전자의 위치는 잘 기록되어 있다(예를 들어, 파킨(Parkin), 마케이(Mackay) 및 쿠퍼(Cooper)[1995]를 참조). 파킨 등에 의해 제시된 95번째 백분위수(percentile)에 대한 관찰 데이터를 ITU-T P.58[1996]에서 추천된 머리 기하학 구조와 결합함으로써, 다음의 청취 윈도우는 대다수의 운전자의 귀를 포함해야 한다. 도 6에 도시된 자동차 청취의 예를 참조한다.
도 6의 청취자의 머리 주변의 사각형으로 지시된 운전자의 청취 영역의 근원으로부터의 대략적인 거리는 dl=1m, dr=1.45m 및 dlr=1.2m이다. 운전자 및 승객의 청취 영역의 중심 간의 대략적인 거리는 dlistners=0.8m이다.
자동차 "청취 영역" 내의 4개의 위치의 두 귀의 전달 함수는 인공 머리에 의한 측정으로부터 산출되었다. 도 7은 위치 1(운전자의 청취 윈도우의 뒤) 및 위치 2(운전자의 청취 윈도우의 앞)에서의 HIA를 나타낸다. 도 8은 위치 3(승객의 청취 윈도우의 뒤) 및 위치 4(승객의 청취 윈도우의 앞)에서의 HIA를 나타낸다.
이들 플롯은 상이한 4개의 청취 위치 사이의 큰 크기 및 위상 차를 나타낸다. 둘 이상의 위치에서 이들 차를 정정하는 것이 불가능하고, 다른 위치에서, 디콘볼루션은 심지어 차를 증가시킬 수 있고, 프리-링잉(pre-ringing) 등의 다른 가청 아티팩트를 도입할 수 있다. 중요한 점은 디콘볼루션이 이 시나리오에서 위치 추적의 저하에 대한 현실적인 해결책이 아니라는 것이다.
스테레오 대 멀티-모노 변환
선행하는 분석은 오프 축 청취 위치가 스테레오 재생하에서 두 귀의 전달 함수를 어떻게 변경하는지를 증명한다. 청각 장면이 의도된 대로 지각될 작은 청취 영역은 공간 사운드 재생의 수단으로서 입체 음향의 한계이다. 이 문제에 대한 해결책은 EP 1 260 119 B1에서 페더슨(Pedersen)에 의해 제안되었다.
상기 문서에서 제안된 해결책은, 상술한 이상적인 스테레오 셋업에 의해 스테레오 신호가 재생되었다면 생성되었을 팬텀 소스들의 위치에 위치하는 하나 이상의 확성기를 통해 이들 신호의 각각이 재생될 수 있도록 스테레오 신호로부터 다수의 사운드 신호를 도출하는 것으로 구성된다. 이 스테레오 대 멀티-모노 변환은 팬텀 소스들을 실제 소스들로 변환하여 그들의 위치를 청취 위치에 독립적으로 만들고자 하는 것이다. 스테레오 신호들이 분석되고 그들의 다양한 주파수 성분의 방위각 위치가 채널간 코히어런스뿐만 아니라 채널간 크기 및 위상차로부터 추정된다.
상기 배경에서, 본 발명의 목적은 선택된 선호되는 청취 위치에서뿐만 아니라 더 일반적으로 청취 룸의 더 큰 부분들의 도처에서, 특히, 이에 한정되지는 않지만, 자동차의 객실의 도처에서 주어진 청각 장면의 만족스러운 재생을 생성하는 방법 및 대응하는 시스템 또는 장치를 제공하는 것이다.
상기 및 다른 목적 및 이점은 본 발명에 따라 스테레오 대 멀티-모노 변환 방법 및 대응 장치 또는 시스템의 제공에 의해 얻어지고, 그에 따라, 청각 장면을 구성하고 분포되는 팬텀 소스의 위치가 바이노럴 신호 lear[n] 및 rear[n]으로부터 추정된다. 어떤 확성기가 스테레오 신호의 각 개별 성분을 재생해야 하는지를 결정하기 위하여, 각 확성기에는 커버할 방위각 범위가 할당되고, 그 범위는 재생 시스템 내의 확성기의 수에 반비례할 수 있다. 동일한 방위각 범위에 걸쳐 HRTF(head-related transfer function)로부터 산출된 ILD 및 ITD 한계가 각각의 확성기에 할당된다. 스테레오 신호의 각 성분은 확성기에 의해 재생되고, 그 ILD 및 ITD 한계는 특정한 신호 성분의 ILD 및 ITD와 일치한다. 상술한 바와 같이, 팬텀 소스가 발생하기 위해서는 스테레오 신호 간의 높은 채널간 코히어런스가 필요하고, 따라서, 전체 프로세스는 이 코히어런스에 의해 여전히 조절(scale)된다.
상술한 EP 1 260 119 B1에 기재된 본래의 스테레오 대 멀티-모노 시스템 및 방법에 비교하면, 본 발명은 정상 스테레오 셋업에서 확성기 재생에 이용되는 L 및 R 신호로부터가 아니라 HRTF를 통한 프로세싱 후의 이들 신호로부터 ITD, ILD 및 코히어런스를 도출함으로써 평균 청취자가 지각하게 될 팬텀 소스들의 위치를 더 잘 예측할 수 있다. 즉, 팬텀 소스의 예측은 바이노럴 신호에 기초한다. 본 발명에서 사용되는 바이노럴 신호에 기초한 팬텀 소스들의 가장 가능성이 있는 위치의 예측은 공간의 어디에서든, 즉, 청취자의 앞 및 정상 입체 음향 셋업에서의 좌측 및 우측 확성기 사이의 섹션으로 한정되지 않고, 팬텀 소스들의 위치 추적이 발생할 수 있다는 매우 중요한 결과를 가지며, 그 예측 후에 특정한 신호 성분이 청취 영역 부근 어디에든 배치된 확성기로 라우팅될 수 있다.
본 발명에 따른 시스템 및 방법의 특정 실시예에서, 머리 추적 장치가 포함되고, 머리 추적 장치는 청취자의 머리의 배향을 감지할 수 있고 청취자의 머리의 정면 방향이 복수의 확성기에 의해 재생되는 청각 장면의 정면 방향에 대응하는 방식으로 각 개별 확성기에 대한 각각의 신호의 프로세싱을 변경할 수 있도록 구성된다. 본 발명에 따라 이 효과는 예를 들어 본 발명의 상세한 설명에 도시된 바와 같이 좌측 및 우측 각도 제한 수단을 설정하는 제어 신호를 제공하는 청취자와 연관된 머리 추적 장치에 의해 제공된다.
본 명세서는 3개의 확성기(좌측, 중앙 및 우측 확성기)를 적용한 스테레오 대 멀티-모노 시스템 및 방법의 실시예에 대하여 초점을 맞추겠지만, 본 발명의 원리에 따르면, 집에서 사용되는 서라운드 사운드 시스템 또는 자동차 내의 확성기 셋업으로부터 공지된 바와 같이, 시스템 및 방법을 다른 수의 확성기, 예를 들어, 청취자의 귀를 통과하는 수평면에서 청취자 주변에 배치된 5개의 확성기로 조절할 수 있다. 이러한 종류의 실시예가 본 발명의 상세한 설명에 기재될 것이다.
본 발명의 제1 형태에 따르면, 서라운드 사운드 확성기 셋업에서의 인접하는 확성기 또는 입체 음향 확성기 셋업에서의 좌측 및 우측 확성기 등의 주 사운드 재생 트랜스듀서 쌍 사이에 배치된 확성기 등의 하나 이상의 보조 사운드 재생 트랜스듀서에 의해 재생하기 위한 청각 신호 성분을 선택하는 방법으로서,
(i) 상기 보조 사운드 재생 트랜스듀서 중의 하나가 위치하거나 위치하게 될 방위각 범위 및 청취 방향을 특정하는 단계;
(ii) 상기 방위각 범위 및 상기 청취 방향에 기초하여, 좌측 및 우측의 두 귀의 레벨 차 한계 및 좌측 및 우측의 두 귀의 시간 차 한계를 결정하는 단계;
(iii) 상기 주 사운드 재생 트랜스듀서 쌍에 입력 신호 쌍을 제공하는 단계;
(iv) 상기 입력 신호의 각각을 전처리하여 전처리된 입력 신호 쌍을 제공하는 단계;
v) 상기 전처리된 신호 사이의 주파수의 함수로서 두 귀의 레벨 차 및 두 귀의 시간 차를 결정하는 단계; 및
(vi) 상기 좌측 및 우측의 두 귀의 레벨 차 한계, 및 좌측 및 우측의 두 귀의 시간 차 한계 간의 간격 내에 두 귀의 레벨 차 및 두 귀의 시간 차를 갖는 입력 신호의 신호 성분을 대응하는 보조 사운드 재생 트랜스듀서로 제공하는 단계를 포함하는 방법이 제공된다.
본 발명에 따른 방법의 특정한 실시예에 따르면, 상기 한계들 밖에 두 귀의 레벨 및 시간 차를 갖는 신호 성분들은 각각 상기 좌측 및 우측 주 사운드 재생 트랜스듀서에 제공된다.
본 발명에 따른 다른 방법의 특정한 실시예에 따르면, 상기 한계들 밖에 두 귀의 차를 갖는 신호 성분들은 제1항에 따른 방법을 수행하는 수단에 입력 신호로서 제공된다.
본 발명에 따른 방법의 특정한 실시예에 따르면, 전처리 수단은 HRTF(head-related transfer function) 수단일 수 있다. 즉, 전처리 수단으로의 입력은 실제 인간의 HRTF, 인공 머리의 HRTF 또는 시뮬레이션된 HRTF에 대응하는 함수를 통해 프로세싱된다.
본 발명에 따른 방법의 이 바람직한 특정한 실시예에 따르면, 상기 방법은 상기 입력 신호의 쌍 사이의 코히어런스를 결정하는 단계를 더 포함하고, 상기 신호 성분은 상기 하나 이상의 보조 사운드 재생 트랜스듀서에 제공되기 전에 상기 코히어런스에 의해 가중된다.
본 발명에 따른 방법의 또 다른 특정한 실시예에 따르면, 청취자에 대하여 정면 방향, 및 HRTF 등의 상기 전처리 수단에 의한 각각의 프로세싱이 상기 청취자에 의해 선택된다.
본 발명에 따른 방법의 특정한 실시예에 따르면, 청취자에 대하여 정면 방향 및 HRTF 등의 상기 전처리 수단에 의한 각각의 프로세싱이 청취자에 부착된 머리 추적 수단에 의해 제어된다.
본 발명의 제2 형태에 따르면, 서라운드 사운드 확성기 셋업에서의 인접하는 확성기 또는 입체 음향 확성기 셋업에서의 좌측 및 우측 확성기 등의 주 사운드 재생 트랜스듀서 쌍 사이에 배치된 확성기 등의 하나 이상의 보조 사운드 재생 트랜스듀서에 의해 재생하기 위한 청각 신호 성분을 선택하는 장치로서,
(i) 상기 보조 사운드 재생 트랜스듀서 중의 하나가 위치하거나 위치하게 될 방위각 범위를 특정하고 및 청취 방향을 특정하는 키보드 또는 터치 스크린 등의 특정 수단;
(ii) 상기 방위각 범위 및 상기 청취 방향에 기초하여, 각각 좌측 및 우측의 두 귀의 레벨 차 한계 및 좌측 및 우측의 두 귀의 시간 차 한계를 결정하는 결정 수단;
(iii) 주 사운드 재생 트랜스듀서 쌍에 입력 신호 쌍을 제공하는 좌측 및 우측 입력 단자;
(iv) 상기 좌측 및 우측 입력 단자 상에 각각 제공되는 상기 입력 신호의 각각을 전처리하여 전처리된 입력 신호 쌍을 제공하는 전처리 수단;
(v) 상기 전처리된 신호 사이의 주파수의 함수로서 두 귀의 레벨 차 및 두 귀의 시간 차를 결정하는 결정 수단; 및
(vi) 상기 좌측 및 우측의 두 귀의 레벨 차 한계 및 좌측 및 우측의 두 귀의 시간 차 한계 간의 간격 내에 각각 두 귀의 레벨 차 및 두 귀의 시간 차를 갖는 상기 입력 신호의 신호 성분을 대응하는 보조 사운드 재생 트랜스듀서로 제공하기 위한 보조 출력 단자에 제공하는 신호 프로세싱 수단을 포함하는 장치가 제공된다.
본 발명에 따른 장치의 실시예에 따르면, 상기 한계 밖에 두 귀의 레벨 및 시간 차를 갖는 신호 성분은 각각 상기 좌측 및 우측 주 사운드 재생 트랜스듀서에 제공된다.
본 발명의 다른 실시예에 따르면, 상기 한계 밖에 두 귀의 차를 갖는 신호 성분은 상기의 장치에 입력 신호로서 제공되고, 따라서, 청취자 주변의 위치에 배치된 복수의 보조 트랜스듀서를 포함하는 더 큰 시스템을 셋업할 수 있다. 예를 들어, 전방 좌측, 전방 중앙, 전방 우측, 후방 좌측 및 후방 우측의 주 확성기를 포함하는 서라운드 사운드 확성기 셋업에서, 본 발명에 따른 시스템은 예를 들어 전방 좌측 및 후방 좌측의 주 확성기 사이 및 전방 우측 및 후방 우측의 주 확성기 사이에 각각 배치된 확성기에 신호를 제공할 수 있다. 다른 많은 확성기 배열이 본 발명의 원리를 이용하여 셋업될 수 있고, 이러한 셋업은 모두 본 발명의 범위 내에 있다.
본 발명의 바람직한 실시예에 따르면, 상기 전처리 수단(24)은 HRTF(head-related transfer function) 수단일 수 있다.
본 발명의 또 다른 바람직한 실시예에 따르면, 상기 장치는 상기 입력 신호의 쌍 사이의 코히어런스를 결정하는 코히어런스 결정 수단을 더 포함하고, 상기 입력 신호의 상기 신호 성분은 상기 출력 단자를 통해 상기 하나 이상의 보조 사운드 재생 트랜스듀서에 제공되기 전에 상기 입력 신호 사이의 채널간 코히어런스에 의해 가중된다.
본 발명에 따른 장치의 또 다른 실시예에 따르면, 청취자에 대하여 정면 방향 및 HRTF 등의 상기 전처리 수단에 의한 각각의 프로세싱이 예를 들어 키보드 또는 터치 스크린 등의 적절한 인터페이스를 이용하여 상기 청취자에 의해 선택된다.
본 발명에 따른 장치의 다른 실시예에 따르면, 청취자에 대하여 정면 방향 및 HRTF 등의 상기 전처리 수단에 의한 각각의 프로세싱이 청취자에 부착된 머리 추적 수단 또는 사운드 재생 트랜스듀서의 셋업에 대하여 청취자의 배향(orientation)을 결정하는 다른 수단에 의해 제어된다.
본 발명의 제3 형태에 따르면, 서라운드 사운드 확성기 셋업에서의 인접하는 확성기 또는 입체 음향 확성기 셋업에서의 좌측 및 우측 확성기 등의 주 사운드 재생 트랜스듀서 쌍 사이에 배치된 확성기 등의 하나 이상의 보조 사운드 재생 트랜스듀서에 의해 재생하기 위한 청각 신호 성분을 선택하는 시스템으로서, 본 발명에 따른 장치 중의 적어도 2개를 포함하고, 상기 장치 중의 제1 장치에는 제1 좌측 및 우측 입력 신호가 제공되고, 상기 제1 장치는 좌측 출력 단자, 우측 출력 단자 및 보조 출력 단자 상에 출력 신호를 제공하고, 상기 보조 출력 단자 상의 출력 신호는 보조 사운드 재생 트랜스듀서로 제공되고, 상기 좌측 및 우측 출력 단자 상의 출력 신호는 각각 본 발명에 따른 후속 장치의 각각의 입력 신호로 제공되어, 출력 신호가 다수의 보조 사운드 재생 트랜스듀서의 각각의 트랜스듀서에 제공되는 시스템이 제공된다. 이러한 시스템의 비제한적인 예가 이미 상술되었다.
본 발명은 도면을 참조하여 본 발명의 실시예의 이하의 상세한 설명을 읽는 것에 의해 더 잘 이해될 것이다.
도 1은 스테레오 신호의 재생을 위한 확성기 및 청취자의 이상적인 배열을 나타내는 도면.
도 2는 이상적인 스테레오 재생을 위한 주파수의 함수로서 (a) 두 귀의 레벨 차(ILD) 및 (b) 두 귀의 시간 차(ITD)를 나타내는 도면.
도 3은 스테레오 확성기 쌍에 대하여 오프 축(off-axis) 청취 위치의 경우를 나타내는 도면.
도 4는 오프 축 청취를 위한 주파수의 함수로서 (a) 두 귀의 레벨 차(ILD) 및 (b) 두 귀의 시간 차(ITD)를 나타내는 도면.
도 5는 청취 영역 좌표 시스템 및 청취자의 머리 배향을 나타내는 도면.
도 6은 자동차 청취 시나리오를 나타내는 도면.
도 7은 (a) 주파수의 함수로서의 위치 1 ILD, (b) 주파수의 함수로서의 위치 1 ITD, (c) 주파수의 함수로서의 위치 2 ILD 및 (d) 주파수의 함수로서의 위치 2 ITD를 나타내는 도면.
도 8은 (a) 주파수의 함수로서의 위치 3 ILD, (b) 주파수의 함수로서의 위치 3 ITD, (c) 주파수의 함수로서의 위치 4 ILD 및 (d) 주파수의 함수로서의 위치 4 ITD를 나타내는 도면.
도 9는 좌측 확성기, 중앙 확성기 및 우측 확성기에 대한 각각의 3개의 출력 채널을 포함하는 본 발명의 실시예에 따른 스테레오 대 멀티-모노 컨버터의 블록도.
도 10은 중앙 확성기의 위치 및 각도 한계의 예를 나타내는 도면.
도 11은 청취 방향이 회전된 후의 중앙 확성기의 위치 및 각도 한계를 나타내는 도면.
도 12는 (a) HIAmusic(f)의 크기, (b) HIAmusic(f)의 위상 지연을 나타내는 도면.
도 13은 (a) ILDleftlimit, (b) ILDrightlimit, (c)ITDleftlimit 및 (d) ITDrightlimit를 나타내는 도면.
도 14는 전선 위의 참새(Bird on a Wire)의 512 샘플의 블록에 대한 좌측 및 우측 채널 간의 코히어런스를 나타내는 도면.
도 15는 HIAmusic(f)의 크기 및 -10° 및 +10°에서의 소스에 대한 ILD 문턱값을 나타내는 도면.
도 16은 필터로의 ILDmusic의 맵핑을 나타내는 도면.
도 17은 필터로의 ILDmusic의 맵핑을 나타내는 도면.
도 18는 HIAmusic(f)의 위상 지연 및 -10° 및 +10°에서의 소스에 대한 ITD 문턱값을 나타내는 도면.
도 19은 필터로의 ITDmusic의 맵핑을 나타내는 도면.
도 20은 필터로의 ITDmusic의 맵핑을 나타내는 도면.
도 21은 Hcenter(f)의 크기를 나타내는 도면.
도 22는 시변 필터링으로 인한 불연속을 갖는 50Hz 사인파의 일부를 나타내는 도면.
도 23은 Hcenter(f)의 평활한 1/3 옥타브 크기를 나타내는 도면.
도 24는 2개의 인접한 분석 블록에 대한 Hcenter(f)의 크기를 나타내는 도면.
도 25는 슬루 레이트 제한(slew rate limiting) 후의 2개의 인접한 분석 블록에 대한 Hcenter(f)의 크기를 나타내는 도면.
도 26은 슬루 레이트 제한으로 인한 감소된 불연속성을 갖는 50Hz 사인파의 일부를 나타내는 도면.
도 27은 Hcenter(k)의 임펄스 응답을 나타내는 도면.
도 28은 (a) 선형 콘볼루션의 출력 및 (b) 원형 콘볼루션의 출력을 나타내는 도면.
도 29는 (a) 선형 콘볼루션의 출력 및 (b) 제로 패딩을 갖는 원형 콘볼루션의 출력을 나타내는 도면.
도 30은 중앙 확성기의 위치 및 청취 방향이 주 확성기 쌍 사이의 각도 범위 밖에 있는 각도 한계를 나타내는 도면.
다음에서, 스테레오 대 멀티-모노 컨버터라고도 불리는 본 발명에 따른 장치의 특정한 실시예가 기재된다. 본 실시예의 상세한 설명과 결합하여, 예를 들어 확성기 셋업 내의 각 각도에 관한 특정 수치가 본문, 도면에서 및 때때로 다양한 수학식에서 사용되지만, 이러한 특정 값은 단지 예를 구성하는 것으로 이해되어야 할 뿐이고 다른 파라미터 값도 본 발명에 의해 커버될 것이라는 것은 말할 것도 없다. 이 컨버터의 기본 기능 원리는 도 9에 도시된 개략 블록도를 참조하여 설명될 것이다. 도 9에 도시된 실시예는 n개의 확성기로 조절가능하고 셋 이상의 채널로 인코딩된 청각 장면에 적용될 수 있지만, 다음에서 설명하는 실시예는 정상 입체 음향 재생 시스템의 좌측 및 우측 확성기("주(primary)" 확성기)에 더하여 하나의 보조 확성기에 대한 신호의 추출을 제공한다. 도 11에 도시된 바와 같이, 하나의 보조 확성기(56)가 다음의 상세한 설명에서 일반적으로 0°방위각 방향에 대하여 회전되고 청취자의 중앙 평면에 배치된다. 도 10에 도시된 시나리오는 하나의 특정한 예를 구성하고, 여기에서, vListen은 0도 방위각과 동일하다.
도 9를 다시 참조하면, 본 발명의 실시예에 따른 스테레오 대 멀티-모노 컨버터(및 대응 방법)는 블록도에서 A 내지 E로 라벨링된 5개의 메인 기능을 포함한다.
기능 블록 A에서, 입력 입체 음향 신호 Lsource[n] 및 Rsource[n](각각 참조 번호 14 및 15) 내의 특정한 신호 성분이 오디오 신호를 재생하는 데 사용되는 보조 확성기(56)를 포함하는 주어진 방위각 간격에 기인하는지를 결정하기 위하여 바이노럴 신호의 산출 및 분석이 수행된다. 중앙 확성기(56)에 대응하는 이러한 간격이 도 10 및 11에 도시되어 있다.
입력 신호(14, 15)는 본 실시예에서 HRTF 스테레오 소스 블록(24)에서 대응하는 바이노럴 신호로 변환되고, 이 바이노럴 신호에 기초하여 입체 음향 입력 신호(14, 15) 내의 각 신호 성분에 대한 두 귀의 레벨 차(ILD) 및 두 귀의 시간 차(ITD)가 ILD 음악(29) 및 ITD 음악(30)이라는 블록에서 결정된다. 박스(25 및 26)에서, 좌측 및 우측 각도 한계가 각각 단자(54)(좌측 범위), (53)(청취 방향) 및 (55)(우측 범위)에서의 대응 입력 신호에 기초하여 (예를 들어 도 10 및 11에 도시된 바와 같이) 설정된다. HRTF의 대응 값은 27 및 28에서 결정된다. 이들 HRTF 한계는 블록(31, 32, 33 및 34)에서 두 귀의 레벨 차 및 두 귀의 시간 차에 대한 대응 한계로 변환된다. 기능 블록 A(참조 번호 19)으로부터의 출력은 입체 음향 신호(14, 15)의 각 신호 성분에 대한 ILD 및 ITD(29, 30) 및 우측 및 좌측 ILD 및 ITD 한계(31, 32, 33, 34)이다. 기능 블록 A으로부터의 이들 출력 신호는 이하에서 설명하는 바와 같이 기능 블록 C(참조 번호 21) 내의 맵핑 기능에 제공된다.
입력 입체 음향 신호(14, 15)는 입력 입체 음향 신호(14, 15)의 좌측 및 우측 신호(14 및 15) 사이의 채널간 코히어런스를 산출하는 기능 블록 B(참조 번호 20)에 제공된다. 결과적인 코히어런스는 블록 C 내의 맵핑 기능에 제공된다.
기능 블록 C(21)는 기능 A(19) 및 B(20)에서 산출된 두 귀의 차 및 코히어런스를 필터 D(22)로 맵핑하고, 두 귀의 차 및 채널간 코히어런스는 중앙 확성기에 의해 재생될 입력 신호 lsource[n] 및 rsource[n](14, 15)의 성분을 추출하는 데 사용될 것이다. 따라서, 추출의 기본 개념은, 높은 확률로 보조 확성기(56)가 위치하는 위치 또는 그 부근에서 팬텀 소스가 지각되는 것을 야기할 입체 음향 신호 성분이 보조 확성기(56)로 라우팅될 것이라는 것이다. "부근"이라는 것은 사실 블록 A(19)에서 정의된 각도 한계에 의해 결정되고, 팬텀 소스의 형성 가능성은 블록(20)에서 결정된 좌측 및 우측 채널간 코히어런스에 의해 결정된다.
도 9에 도시된 본 발명의 실시예의 기본 기능은 이하에서 더 상세히 설명한다. 특정한 산출 및 플롯은 +/-30도 방위각에 각각 위치하는 좌측 및 우측 확성기 사이의 0도 방위각에 위치하는 하나의 추가의 확성기에 대하여 신호가 추출되는 예에 관한 것이며, 이 셋업은 도 10에 개략적으로 나타낸 바와 같이 전통적인 입체 음향 확성기 셋업에 대응한다. 좌측 범위, 청취 위치, 우측 범위 입력 신호(54, 53, 55)의 대응 값은 여기서 도 10에 도시된 상황에 대응하는 -10도, 0도, +10도 방위각으로 선택된다.
기능 A: 바이노럴 신호의 산출 및 분석
제1 단계는 스테레오 신호 소스로부터의 입력 입체 음향 신호 lsource[n] 및 rsource[n]을 -30°(h-30°L[n] 및 h-30°R[n]) 및 +30°(h+30°R[n] 및 h+30°L[n])에서의 소스에 대한 자유 필드 바이노럴 임펄스 응답과 콘볼루션함으로써 귀 입력 신호 lear[n] 및 rear[n]을 산출하는 것을 포함한다. 시간 도메인 콘볼루션은 일반적으로 제1 시퀀스의 각 샘플과 다음의 식에 도시된 다른 제2 시퀀스의 시간 역전 버전의 곱의 합으로서 표현된다.
Figure pct00011
이들 신호는 상술한 바와 같이 이상적인 입체 음향의 경우에 귀 입력 신호에 대응한다.
중앙 확성기는 다음의 식에서처럼 각도 변수 "좌측 범위", "우측 범위" 및 "청취 방향"(또한 vLrange, vRrange, vListen이라 함)으로부터 산출된 좌측 각도 한계(vLlimit)와 우측 각도 한계(vRlimit) 사이에 위치하는 청각 장면의 일부를 재생하고자 하는 것이다.
Figure pct00012
본 특정한 예에서, vLrange, vRrange는 각각 -/+10도이고, vListen은 0도이다.
재생 시스템이 다수의 확성기를 포함하면, 각도 변수 "좌측 범위", "우측 범위" 및 "청취 방향"은 렌더링된 청각 장면의 배향(orientation) 및 폭이 조작되도록 허용한다. 도 11은 도 10의 시나리오와 비교할 때 청취 방향이 0도 방위각이 아니고 그 결과 청각 장면이 좌측으로 회전한 예를 나타낸다. 이들 변수에 대한 변경은 청취자에 의해 명시적으로 이루어지거나 청취자 위치 추적 벡터(예를 들어, 청취자가 착용한 머리 추적기)의 결과일 수 있다.
또한, 도 30에는, 청취 방향이 보조 확성기(56)를 포함하는 각도 범위 밖에 있는 더 일반적인 상황이 도시되어 있다. 상세히 기재하지 않지만, 이 상황도 본 발명에 의해 커버된다.
각 경우에서의 ILD 및 ITD 한계는 vLlimit 도, hvLlimitdegL[n] 및 hvLlimitdegR[n]에서의 소스 및 vRlimit 도, hvRlimitdegL[n] 및 hvRlimitdegR[n]에서의 소스에 대한 자유 필드 바이노럴 임펄스 응답으로부터 산출된다.
본 실시예에서, 기능 A 내지 D 내의 신호 분석의 나머지는 상술한 신호의 N개의 샘플의 블록의 주파수 도메인 표현에 대하여 작용한다. 사각 윈도우가 사용된다. 이하에 기재된 예에서, N=512이다.
귀 입력 신호, 음악 신호 및 바이노럴 임펄스 응답(0°에서의 자유 필드에서의 소스에 대한 것 - 이 프로세싱은 중앙 확성기를 위한 것이다)의 블록의 주파수 도메인 표현은 다음의 식에 기재된 바와 같이 DFT를 이용하여 산출된다.
Figure pct00013
다음으로, 3개의 두 귀의 전달 함수는 다음과 같이 산출된다.
Figure pct00014
상술한 바와 같이, ILDleftlimit, ILDrightlimit 및 ILDmusic는 적절한 전달 함수의 크기로부터 산출된다. 마찬가지로, ITDleftlimit, ITDrightlimit 및 ITDmusic는 적절한 전달 함수의 위상으로부터 산출된다.
각각의 FFT 빈(bin) k의 중심 주파수 f는 FFT 사이즈 및 샘플 레이트로부터 산출된다. 이하의 예에 사용되는 음악 신호는 음악이 시작된 후의 "전선 위의 참새"의 샘플 n=2049:2560이다. 도 12를 참조하면, ILDmusic 및 ITDmusic가 도시되어 있다.
도 13(좌측 플롯)을 참조하면, IDLleftlimit 및 ILDrightlimit가 도시되어 있다.
이들 ILD 및 ITD 기능은 도 9에서 기능 블록 C(참조 번호 21)에서 맵핑 단계로의 입력의 일부이다.
기능 B: 신호 간의 코히어런스의 산출
상술한 바와 같이 0과 1 사이의 값을 취하는 lsource[n]과 rsource[n] 사이의 코히어런스는 2개의 신호의 파워 스펙트럼 밀도 및 그들의 상호 파워 스펙트럼 밀도로부터 산출된다.
lsource[n] 및 rsource[n]의 파워 스펙트럼 밀도는 이하에 나타내는 바와 같이 주파수 도메인에서 스펙트럼과 그의 켤레 복소수의 곱으로서 산출될 수 있다.
Figure pct00015
lsource[n] 및 rsource[n]의 상호 파워 스펙트럼 밀도는 이하에 나타내는 바와 같이 주파수 도메인에서 Lsource[k]와 Rsource[k]의 켤레 복소수의 곱으로서 산출될 수 있다.
Figure pct00016
코히어런스는 다음의 식에 의해 주파수 도메인에서 산출될 수 있다.
Figure pct00017
CLR는 여기에 도시된 예에서 8개의 블록에 걸쳐 산출되었다.
lsource[n]=rsource[n]이면, CLR는 모든 주파수에서 1과 동일할 것이다. lsource[n] 및 rsource[n]이 2개의 독립적인 랜덤 신호이면, CLR는 모든 주파수에서 0에 가까울 것이다. 음악의 블록에 대한 lsource[n]과 rsource[n] 사이의 코히어런스는 도 14에 도시되어 있다.
기능 C: 필터로의 두 귀 차 및 코히어런스의 맵핑
이 기능 블록은 기능 A 및 B에서 산출된 두 귀의 차 및 코히어런스를 중앙 확성기에 의해 재생될 lsource[n] 및 rsource[n]의 성분을 추출하는 데 사용될 필터로 맵핑한다. 기본 아이디어는, 전체 필터에 대한 ILD, ITD 및 채널간 코히어런스 기능의 기여는 확성기에 의해 커버되도록 의도된 각도 범위에 따라 결정되는 임의의 문턱값에 대하여 결정된다. 다음에서, 중앙 확성기에는 -10 내지 +10도의 각도 범위가 할당된다.
필터 크기로의 ILD 의 맵핑
ILD 문턱값은 -10 및 +10도에서 소스에 대한 자유 필드 두 귀의 전달 함수로부터 결정된다. 최종 필터에 대한 ILD의 기여를 산출하는 다른 2개의 방법이 이하에서 간략히 기재된다.
제1 맵핑 접근법에서는, 도 15에서 알 수 있는 바와 같이, 한계 밖의 크기를 갖는 임의의 주파수 빈이 감쇄한다. 이상적으로, 감쇄는 무한해야 한다. 실제로, 클리킹(clicking) 등의 필터링으로부터의 아티팩트를 회피하기 위해 감쇄는 A dB로 제한, 본 예에서는, 30dB로 제한된다. 이들 아티팩트는 이하에서 더 설명한다. 이러한 타입의 필터로의 ILD의 맵핑은 도 16에 도시되어 있다.
다른 방법은 간단히 도 17에 도시된 바와 같이 필터 크기로서 0도에서의 소스에 대한 HIAff[f]와 HIAmusic[f] 간의 크기 차의 네가티브 절대값을 이용하는 것이다. 이렇게 하여, HIAmusic[f]와 HIAff[f] 간의 차가 클수록, HIAmusic[f]가 더 많이 감쇄한다. 상기 방법에서처럼 명백한(hard) 문턱값은 없고, 따라서, 일부 성분이 인접 확성기로 번질 것이다.
필터 크기로의 ITD 의 맵핑
상기 섹션에서처럼, ITD 문턱값은 각각 -10 및 +10도에서의 소스에 대한 자유 필드의 두 귀의 전달 함수로부터 결정된다. 다시, 최종 필터에 대한 ITD의 기여를 포함하는 2개의 방법이 이하에 기재된다.
0도에서의 소스에 대한 HIAff[f]와 HIAmusic[f] 간의 위상차는 도 18에서 중앙 확성기에 대한 ITD 문턱값으로 플로팅되어 있다.
제1 "명백한 문턱값" 맵핑 접근법의 결과는 도 19에 도시된 필터 크기이다. ITD가 각각 -10 및 +10도에서의 자유 필드 소스에 의해 설정된 문턱값 밖에 있는 모든 주파수 빈은 본 예에서 30dB만큼 감쇄된다.
다른 접근법은 각각 -30도 및 +30도에서의 자유 필드에 비교하여 그의 퍼센티지 지연에 기초하여 각각의 주파수 빈에서의 감쇄를 산출하는 것이다. 예를 들어, 소정의 주파수에서의 최대 지연이 16개의 샘플이고 음악의 블록에 대한 ITD가 4개의 샘플이면, 총 지연 퍼센티지는 25%이다. 감쇄는 전체의 25%일 수 있다. 즉, 허용되는 총 감쇄가 30dB이면, 관련 주파수 빈은 18dB만큼 감쇄될 것이다.
이 방법으로 설계된 필터 크기의 예는 도 20에 도시되어 있다.
필터 크기에 대한 코히어런스의 맵핑
코히어런트 신호에 최상인 세기 및 시간 패닝(panning) 기능으로서, 스테레오 대 멀티-모노 컨버전의 동작은 바람직하게는 lsource[n]과 rsource[n] 간의 코히어런스를 고려해야 한다. 이들 신호가 완전히 코히어런트하지 않으면, 중앙 채널에 신호가 전송되지 않아야 한다. 신호가 완전히 코히어런트하고 ILD 및 ITD가 없으면, 이상적으로 lsource[n] 및 rsource[n]의 전체 내용이 중앙 확성기로 전송되어야 하고 좌측 및 우측 확성기에 어떤 것도 전송되지 않아야 한다.
코히어런스가 본 구현예에서 스케일링 인자로서 사용되고 다음의 섹션에 기재된다.
기능 D: 필터 설계
중앙 확성기에 대한 기본 필터 Hcentre[n]는 이하의 식에 기재된 ILD 필터, ITD 필터 및 코히어런스의 곱으로서 산출된다. 이것은 선형 위상 필터이고, 각 주파수 빈의 허수 부분은 위상 시프트를 음악에 도입하기에 바람직하지 않기 때문에 0으로 설정된다는 것에 주목하는 것이 중요하다.
Figure pct00018
결과는 도 21에 도시된 것과 같은 크기를 갖는 필터이다.
Hcentre[f]는 블록마다 업데이트되고, 즉, 시변 필터이다. 이 타입의 필터는 블록 간의 불연속이 너무 크면 청취될 수 있는 왜곡을 도입한다. 도 22는 샘플 400 및 900 주변의 50Hz 사인파의 일부에서 불연속이 관찰될 수 있는 경우의 예를 나타낸다.
왜곡을 감소시키는 2개의 수단이 본 구현예에서 적용된다.
먼저 주파수간 평활(across-frequency smoothing)이 Hcentre[f]에 적용된다. 이것은 인접하는 주파수 빈의 필터 크기에서의 급격한 변화를 감소시킨다. 이 평활은 각 주파수 빈의 크기를 그 양쪽으로 옥타브의 크기 1/3의 평균으로 대체하여 도 23에 도시된 필터를 야기함으로써 구현된다. y축의 크기는 도 21과 비교하여 변경된 것에 주목한다.
슬루 레이트 제한이 또한 하나의 블록으로부터 다음의 블록으로 각 주파수 빈의 크기에 적용된다. 도 24는 현재의 블록 및 이전 블록에 대한 Hcentre[f]를 나타낸다. 대략 15dB의 크기 차가 1kHz 및 10kHz 주변에서 확인될 수 있다.
이들 차의 크기는 클리킹처럼 들리는 가청 왜곡을 유발한다. 슬루 레이트 제한은 조건부 논리문으로 구현되고, 그 예는 이하에서 의사 코드로 주어진다.
알고리즘 1(필터의 슬루 레이트를 제한하는 의사 코드)
Figure pct00019
최대 포지티브 및 네가티브 변화의 값을 선택하는 것은 lsource[n]와 rsource[n] 간의 관계의 가장 중요한 시변 특성을 나타내기에 충분히 빠르게 반응하는 필터를 갖는 것과 왜곡 사이의 트레이드오프(trade-off)이다. 값은 본 예에서 경험적으로 결정되고 1.2dB가 허용가능한 것으로 확인되었다. 도 25는 이 1.2dB 슬루 레이트 한계를 이용하여 현재 블록과 이전 블록에 대한 Hcentre[f] 간의 변화를 나타낸다.
1kHz 및 10kHz 주변 영역을 다시 고려한다. 슬루 레이트 한계까지의 차만이 보존되었다는 것이 명백하다. 도 26은 주파수간 평활 및 슬루 레이트 제한이 시변 필터에 적용된 50Hz 사인파의 동일 부분을 나타낸다. 도 22에서 명백히 볼 수 있었던 불연속이 크게 감소된다. 필터의 이득도 이 주파수에서 변경되었다는 사실 또한 사인파의 레벨이 변경했다는 사실로부터 명백하다. 상술한 바와 같이, 소스 자료 내의 채널간 관계를 나타내는 정확도와 시변 필터로부터 아티팩트를 회피하는 것 간에 트레이드오프가 존재한다.
원형 콘볼루션과 동등한 패스트 콘볼루션(fast convolution)이 사용되면, 필터는 그의 시간 도메인 형태로 변경되어 타임 에일리어싱(time-aliasing)이 적절히 제어될 수 있어야 한다(이것은 이하에서 더 자세히 설명한다).
다음의 식으로 주어지고 Hcentre[k]의 푸리에 합성 식이라 불리는 역 이산 푸리에 변환(IDFT)은 그의 임펄스 응답을 산출한다.
Figure pct00020
Hcentre[f]가 선형 위상이므로, Hcentre[n]는 비인과성(acausal) FIR(finite impulse response) 필터이고, N개의 샘플 길이를 갖고, 이는 제1 샘플에 선행하는 것을 의미한다. 이러한 타입의 필터는 도 27에 도시된 바와 같이 N/2 샘플의 지연을 적용함으로써 인과성으로 될 수 있다. 필터는 샘플 N/2 + 1에 대하여 대칭이라는 것에 주목한다. 탭(tap) 값은 플로팅 목적으로만 정규화되었다.
기능 E: 각 확성기에 대한 신호 산출
오버랩-세이브( overlap - save ) 방법을 이용한 패스트 콘볼루션
시간 도메인에서 2개의 시퀀스를 콘볼루션하는 시간은 N2에 비례하고, 여기서, N은 가장 긴 시퀀스의 길이이다. 반면에, 주파수 응답의 곱인, 주파수 도메인에서 2개의 시퀀스를 콘볼루션하는 시간은 NlogN에 비례한다. 이것은, 대략 64개의 샘플보다 긴 시퀀스에 대하여, 주파수 도메인 콘볼루션이 계산에 있어서 더 효율적이고 따라서, "패스트 콘볼루션"이라 한다. 2개의 방법의 출력에서의 중요한 차이 - 주파수 도메인 콘볼루션이 원형임 - 가 존재한다. 도 28에 진한 라인으로 도시된 곡선은 길이 N=512의 도 27의 필터와 길이 M=512의 500Hz 사인파와의 시간 도메인 콘볼루션의 출력 시퀀스이다. 256개의 샘플 프리 링잉은 선형 위상 필터를 인과성으로 만든 결과라는 것에 주목한다. 이 경우, 출력 시퀀스는 (N+M)-1=1023 샘플 길이이다. 도 28의 연한 곡선은 동일한 필터와 사인파의 패스트 콘볼루션의 출력 시퀀스이고 단지 512의 길이이다. 샘플 512 이후에 와야 하는 샘플은 원형으로 시프트되고 샘플 1 내지 511에 추가되었고, 이러한 현상은 타임 에일리어싱이라 한다.
타임 에일리어싱은 푸리에 변환 전에 시퀀스를 제로 패딩함으로써 피할 수 있고, 이것은 상기의 기능 블록 D에 대한 섹션에서 언급한 필터의 시간 도메인 표현으로 복귀하는 이유이다. 도 29의 진한 곡선은 길이 N=512의 도 27의 필터와 길이 M=1024의 500Hz 사인파와의 시간 도메인 콘볼루션의 출력 시퀀스이다. 이 경우, 출력 시퀀스는 (N+M)-1=1535 샘플 길이이다. 도 29의 연한 곡선은 길이 N=1024 샘플에 제로 패딩된 동일한 필터와 여전히 M=1024의 길이를 갖는 사인파의 패스트 콘볼루션의 출력 시퀀스이다. 여기에서, 출력 시퀀스는 1024 샘플 길이이지만, 상기의 경우와 반대로, 제로 패딩과 동일한 위치의 출력 시퀀스의 일부, 샘플 512 내지 1024가 시간 도메인 콘볼루션의 출력과 동일하다.
이 부분을 저장하고 사인파를 따라 앞으로 512 샘플을 시프트함으로써 프로세스를 반복하는 것은 패스트 콘볼루션의 오버랩-세이브 방법이라 하고, 총 지연을 필터링 프로세스 filter_delay=512 샘플과 연관시키는 추가의 256 샘플 지연을 제외하고는 시간 도메인 콘볼루션과 동등하다. 이 기술의 완전한 설명에 대해서는 오펜하임 및 쉐퍼[1999, p.587] 참조.
출력 신호의 산출
중앙 확성기에 의해 재생될 신호 coutput[n]은 다음의 식을 이용하여 산출된다.
Figure pct00021
각각 좌측 및 우측 확성기에 의해 재생될 신호는 이하의 식에 도시된 바와 같이 lsource[n] 및 rsource[n]로부터 coutput[n]를 감산함으로써 산출된다. lsource[n] 및 rsource[n]는 필터 지연 filter_delay를 설명하기 위해 지연된다는 것에 주목한다.
Figure pct00022
rsource[n]=-lsource[n]인 특별한 경우에, 신호는 네가티브로 상관되고, 모든 출력 신호는 제로가 될 것임을 보이는 것은 쉽다. 이 경우, 상호 파워 스펙트럼 밀도의 위상의 절대 값 PLR[k]는
Figure pct00023
와 동일할 것이고, 코히어런스 CLR[k]는
Figure pct00024
와 동일할 것이다. 이하의 의사 코드에서의 조건문이 적용되어
Figure pct00025
,
Figure pct00026
및
Figure pct00027
를 보증한다.
알고리즘 2(네가티브적으로 상관된 신호를 처리하는 의사 코드)
Figure pct00028
lsource[n] 또는 rsource[n] 상의 사일런스(silence)의 경우에도, CLR[k]은 제로가 되어야 한다. 그러나, 이것이 발생하는 것을 방지하는 수치 문제가 있을 수 있다. 본 구현예에서, PLL[k] 또는 PRR[k]의 값이 -140dB 미만이면, CLR[k]는 제로로 설정된다.
참조
Figure pct00029

Claims (15)

  1. 서라운드 사운드 확성기 셋업에서의 인접하는 확성기들 또는 입체 음향 확성기 셋업에서의 좌측 확성기 및 우측 확성기와 같은 주 사운드 재생 트랜스듀서들의 쌍 사이에 배치된 확성기와 같은 하나 이상의 보조 사운드 재생 트랜스듀서들에 의해 재생하기 위한 청각 신호 성분들을 선택하는 방법으로서,
    (i) 상기 보조 사운드 재생 트랜스듀서들 중의 하나가 위치하거나 위치하게 될 방위각 범위 및 청취 방향을 특정하는 단계;
    (ii) 상기 방위각 범위 및 상기 청취 방향에 기초하여, 좌측 및 우측의 두 귀의 레벨 차(ILD: interaural level difference) 한계들 및 좌측 및 우측의 두 귀의 시간 차(ITD: interaural time difference) 한계들을 각각 결정하는 단계;
    (iii) 상기 주 사운드 재생 트랜스듀서들의 쌍에 입력 신호들의 쌍을 제공하는 단계;
    (iv) 상기 입력 신호들의 각각을 전처리하여 전처리된 입력 신호들의 쌍을 제공하는 단계;
    (v) 상기 전처리된 신호들 사이의 주파수의 함수로서 두 귀의 레벨 차 및 두 귀의 시간 차를 결정하는 단계; 및
    (vi) 상기 좌측과 우측의 두 귀의 레벨 차 한계들 사이 그리고 좌측과 우측의 두 귀의 시간 차 한계들 사이의 간격 내에 각각 두 귀의 레벨 차들 및 두 귀의 시간 차들을 갖는 상기 입력 신호들의 신호 성분들을 대응하는 보조 사운드 재생 트랜스듀서로 제공하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 한계들 밖에 두 귀의 레벨 차들 및 두 귀의 시간 차들을 갖는 신호 성분들은 상기 좌측 및 우측 주 사운드 재생 트랜스듀서들에 각각 제공되는 방법.
  3. 제1항에 있어서, 상기 한계들 밖에 두 귀의 차들을 갖는 신호 성분들은 제1항에 따른 방법을 수행하는 수단에 입력 신호들로서 제공되는 방법.
  4. 제1항에 있어서, 전처리 수단은 HRTF(head-related transfer function) 수단인 방법.
  5. 제1항에 있어서, 상기 입력 신호들의 쌍 사이의 코히어런스를 결정하는 단계를 더 포함하고, 상기 신호 성분들은 상기 하나 이상의 보조 사운드 재생 트랜스듀서들에 제공되기 전에 상기 코히어런스에 의해 가중되는 방법.
  6. 제1항에 있어서, 청취자에 대하여 정면 방향 및 HRTF와 같은 전처리 수단에 의한 각각의 프로세싱이 상기 청취자에 의해 선택되는 방법.
  7. 제1항에 있어서, 청취자에 대하여 정면 방향 및 HRTF와 같은 전처리 수단에 의한 각각의 프로세싱이 청취자에 부착된 머리 추적 수단에 의해 제어되는 방법.
  8. 서라운드 사운드 확성기 셋업에서의 인접하는 확성기들 또는 입체 음향 확성기 셋업에서의 좌측 확성기 및 우측 확성기와 같은 주 사운드 재생 트랜스듀서들(2, 3)의 쌍 사이에 배치된 확성기와 같은 하나 이상의 보조 사운드 재생 트랜스듀서들(56)에 의해 재생하기 위한 청각 신호 성분들을 선택하는 장치로서,
    (i) 상기 보조 사운드 재생 트랜스듀서들(56) 중의 하나가 위치하거나 위치하게 될 방위각 범위를 특정하며 청취 방향을 특정하는, 키보드 또는 터치 스크린과 같은 특정 수단(53, 54, 55);
    (ii) 상기 방위각 범위 및 상기 청취 방향에 기초하여, 좌측 및 우측의 두 귀의 레벨 차 한계들 및 좌측 및 우측의 두 귀의 시간 차 한계들을 각각 결정하는 결정 수단(25, 26, 27, 28, 31, 32, 33, 34);
    (iii) 상기 주 사운드 재생 트랜스듀서들(2, 3)의 쌍에 입력 신호들의 쌍을 제공하는 좌측 및 우측 입력 단자들(14, 15);
    (iv) 상기 좌측 및 우측 입력 단자들(14, 15) 상에 제공되는 상기 입력 신호들의 각각을 전처리하여 전처리된 입력 신호들의 쌍을 제공하는 전처리 수단(24);
    (v) 상기 전처리된 신호들 사이의 주파수의 함수로서 두 귀의 레벨 차 및 두 귀의 시간 차를 결정하는 결정 수단(24); 및
    (vi) 상기 좌측과 우측의 두 귀의 레벨 차 한계들 사이 그리고 좌측과 우측의 두 귀의 시간 차 한계들 사이의 간격 내에 각각 두 귀의 레벨 차들 및 두 귀의 시간 차들을 갖는 상기 입력 신호들의 신호 성분들을 대응하는 보조 사운드 재생 트랜스듀서(56)로 제공하기 위해 보조 출력 단자(18)에 제공하는 신호 프로세싱 수단(22, 23)
    을 포함하는 장치.
  9. 제8항에 있어서, 상기 한계들 밖에 두 귀의 레벨 차들 및 두 귀의 시간 차들을 갖는 신호 성분들은 상기 좌측 및 우측 주 사운드 재생 트랜스듀서들(2, 3)에 각각 제공되는 장치.
  10. 제8항에 있어서, 상기 한계들 밖에 두 귀의 차들을 갖는 신호 성분들은 제8항 또는 제9항에 따른 장치에 입력 신호들로서 제공되는 장치.
  11. 제8항에 있어서, 상기 전처리 수단(24)은 HRTF(head-related transfer function) 수단인 장치.
  12. 제8항에 있어서, 상기 입력 신호들(14, 15)의 쌍 사이의 코히어런스를 결정하는 코히어런스 결정 수단(35)을 더 포함하고, 상기 입력 신호들(14, 15)의 상기 신호 성분들은 상기 보조 출력 단자(18)를 통해 상기 하나 이상의 보조 사운드 재생 트랜스듀서들(56)에 제공되기 전에 상기 입력 신호들(14, 15) 사이의 채널간 코히어런스에 의해 가중되는 장치.
  13. 제8항에 있어서, 청취자에 대하여 정면 방향 및 HRTF와 같은 상기 전처리 수단(24)에 의한 각각의 프로세싱이 상기 청취자에 의해 선택되는 장치.
  14. 제8항에 있어서, 청취자에 대하여 정면 방향 및 HRTF와 같은 상기 전처리 수단(24)에 의한 각각의 프로세싱이 청취자에 부착된 머리 추적 수단 또는 사운드 재생 트랜스듀서들의 셋업에 대하여 상기 청취자의 방위(orientation)를 결정하는 다른 수단에 의해 제어되는 장치.
  15. 서라운드 사운드 확성기 셋업에서의 인접하는 확성기들 또는 입체 음향 확성기 셋업에서의 좌측 확성기 및 우측 확성기와 같은 주 사운드 재생 트랜스듀서들(2, 3)의 쌍 사이에 배치된 확성기와 같은 하나 이상의 보조 사운드 재생 트랜스듀서들(56)에 의해 재생하기 위한 청각 신호 성분들을 선택하는 시스템으로서,
    제8항 내지 제14항 중 어느 한 항에 따른 장치들 중의 적어도 2개의 장치들
    을 포함하고,
    상기 장치들 중의 제1 장치에는 제1의 좌측 및 우측 입력 신호들(14, 15)이 제공되고, 상기 제1 장치는 좌측 출력 단자(16), 우측 출력 단자(17) 및 보조 출력 단자(18) 상에 출력 신호들을 제공하고, 상기 보조 출력 단자(18) 상의 출력 신호는 보조 사운드 재생 트랜스듀서로 제공되고, 상기 좌측 및 우측 출력 신호들 상의 출력 신호들은 각각 제8항 내지 제14항 중 어느 한 항에 따른 후속 장치의 각각의 입력 신호들로 제공되어, 출력 신호들이 다수의 보조 사운드 재생 트랜스듀서들(56) 각각에 제공되는 시스템.
KR1020127024636A 2010-03-26 2010-09-28 멀티채널 사운드 재생 방법 및 장치 KR20130010893A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DKPA201000251 2010-03-26
DKPA201000251 2010-03-26
PCT/EP2010/064369 WO2011116839A1 (en) 2010-03-26 2010-09-28 Multichannel sound reproduction method and device

Publications (1)

Publication Number Publication Date
KR20130010893A true KR20130010893A (ko) 2013-01-29

Family

ID=43243205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127024636A KR20130010893A (ko) 2010-03-26 2010-09-28 멀티채널 사운드 재생 방법 및 장치

Country Status (6)

Country Link
US (1) US9674629B2 (ko)
EP (1) EP2550813B1 (ko)
JP (1) JP2013524562A (ko)
KR (1) KR20130010893A (ko)
CN (1) CN102804814B (ko)
WO (1) WO2011116839A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101627652B1 (ko) * 2015-01-30 2016-06-07 가우디오디오랩 주식회사 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
WO2019066348A1 (ko) * 2017-09-28 2019-04-04 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
WO2011039413A1 (en) * 2009-09-30 2011-04-07 Nokia Corporation An apparatus
KR20130010893A (ko) 2010-03-26 2013-01-29 방 앤드 오루프센 에이/에스 멀티채널 사운드 재생 방법 및 장치
US8923997B2 (en) 2010-10-13 2014-12-30 Sonos, Inc Method and apparatus for adjusting a speaker system
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US20130089220A1 (en) * 2011-10-10 2013-04-11 Korea Advanced Institute Of Science And Technology Sound reproducing appartus
US8811630B2 (en) 2011-12-21 2014-08-19 Sonos, Inc. Systems, methods, and apparatus to filter audio
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9524098B2 (en) 2012-05-08 2016-12-20 Sonos, Inc. Methods and systems for subwoofer calibration
USD721352S1 (en) 2012-06-19 2015-01-20 Sonos, Inc. Playback device
US9668049B2 (en) 2012-06-28 2017-05-30 Sonos, Inc. Playback device calibration user interfaces
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US8965033B2 (en) 2012-08-31 2015-02-24 Sonos, Inc. Acoustic optimization
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
WO2014087195A1 (en) 2012-12-05 2014-06-12 Nokia Corporation Orientation Based Microphone Selection Apparatus
USD721061S1 (en) 2013-02-25 2015-01-13 Sonos, Inc. Playback device
US9215545B2 (en) 2013-05-31 2015-12-15 Bose Corporation Sound stage controller for a near-field speaker-based audio system
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9367283B2 (en) 2014-07-22 2016-06-14 Sonos, Inc. Audio settings
USD883956S1 (en) 2014-08-13 2020-05-12 Sonos, Inc. Playback device
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9913012B2 (en) * 2014-09-12 2018-03-06 Bose Corporation Acoustic device with curved passive radiators
CN104284271B (zh) * 2014-09-18 2018-05-15 国光电器股份有限公司 一种用于扬声器阵列的环绕声增强方法
US9973851B2 (en) 2014-12-01 2018-05-15 Sonos, Inc. Multi-channel playback of audio content
WO2016089180A1 (ko) * 2014-12-04 2016-06-09 가우디오디오랩 주식회사 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
GB2535990A (en) * 2015-02-26 2016-09-07 Univ Antwerpen Computer program and method of determining a personalized head-related transfer function and interaural time difference function
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
USD768602S1 (en) 2015-04-25 2016-10-11 Sonos, Inc. Playback device
USD920278S1 (en) 2017-03-13 2021-05-25 Sonos, Inc. Media playback device with lights
USD886765S1 (en) 2017-03-13 2020-06-09 Sonos, Inc. Media playback device
USD906278S1 (en) 2015-04-25 2020-12-29 Sonos, Inc. Media player device
US20170085972A1 (en) 2015-09-17 2017-03-23 Sonos, Inc. Media Player and Media Player Design
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US9729118B2 (en) 2015-07-24 2017-08-08 Sonos, Inc. Loudness matching
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US9712912B2 (en) 2015-08-21 2017-07-18 Sonos, Inc. Manipulation of playback device response using an acoustic filter
US9736610B2 (en) 2015-08-21 2017-08-15 Sonos, Inc. Manipulation of playback device response using signal processing
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
CN111314826B (zh) 2015-09-17 2021-05-14 搜诺思公司 由计算设备执行的方法及相应计算机可读介质和计算设备
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US9886234B2 (en) 2016-01-28 2018-02-06 Sonos, Inc. Systems and methods of distributing audio to one or more playback devices
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
ES2822600T3 (es) 2016-09-01 2021-05-04 Univ Antwerpen Método de determinación de una función de transferencia relacionada con la cabeza y una función de diferencia de tiempo interaural personalizadas, y producto de programa informático para realizar el mismo
USD827671S1 (en) 2016-09-30 2018-09-04 Sonos, Inc. Media playback device
USD851057S1 (en) 2016-09-30 2019-06-11 Sonos, Inc. Speaker grill with graduated hole sizing over a transition area for a media device
US10412473B2 (en) 2016-09-30 2019-09-10 Sonos, Inc. Speaker grill with graduated hole sizing over a transition area for a media device
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
US11277705B2 (en) 2017-05-15 2022-03-15 Dolby Laboratories Licensing Corporation Methods, systems and apparatus for conversion of spatial audio format(s) to speaker signals
CN108737896B (zh) * 2018-05-10 2020-11-03 深圳创维－Rgb电子有限公司 一种基于电视机的自动调节喇叭朝向的方法及电视机
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
CN113035164A (zh) * 2021-02-24 2021-06-25 腾讯音乐娱乐科技（深圳）有限公司 歌声生成方法和装置、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2708105B2 (ja) 1989-04-26 1998-02-04 富士通テン 株式会社 車載用音響再生装置
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
AU2000226583A1 (en) 2000-02-18 2001-08-27 Bang And Olufsen A/S Multi-channel sound reproduction system for stereophonic signals
GB2374506B (en) * 2001-01-29 2004-11-17 Hewlett Packard Co Audio user interface with cylindrical audio field organisation
US8054980B2 (en) * 2003-09-05 2011-11-08 Stmicroelectronics Asia Pacific Pte, Ltd. Apparatus and method for rendering audio information to virtualize speakers in an audio system
EP2002692B1 (en) 2006-03-13 2010-06-30 Dolby Laboratories Licensing Corporation Rendering center channel audio
US8374365B2 (en) * 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
JP4835298B2 (ja) * 2006-07-21 2011-12-14 ソニー株式会社 オーディオ信号処理装置、オーディオ信号処理方法およびプログラム
US8180062B2 (en) * 2007-05-30 2012-05-15 Nokia Corporation Spatial sound zooming
KR20130010893A (ko) 2010-03-26 2013-01-29 방 앤드 오루프센 에이/에스 멀티채널 사운드 재생 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101627652B1 (ko) * 2015-01-30 2016-06-07 가우디오디오랩 주식회사 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
US9602947B2 (en) 2015-01-30 2017-03-21 Gaudi Audio Lab, Inc. Apparatus and a method for processing audio signal to perform binaural rendering
WO2019066348A1 (ko) * 2017-09-28 2019-04-04 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
EP2550813B1 (en) 2016-11-09
US20130010970A1 (en) 2013-01-10
CN102804814B (zh) 2015-09-23
WO2011116839A1 (en) 2011-09-29
JP2013524562A (ja) 2013-06-17
EP2550813A1 (en) 2013-01-30
US9674629B2 (en) 2017-06-06
CN102804814A (zh) 2012-11-28

Similar Documents

Publication Publication Date Title
KR20130010893A (ko) 멀티채널 사운드 재생 방법 및 장치
EP2661912B1 (en) An audio system and method of operation therefor
KR101471798B1 (ko) 다운믹스기를 이용한 입력 신호 분해 장치 및 방법
US9749767B2 (en) Method and apparatus for reproducing stereophonic sound
CA2621175C (en) Systems and methods for audio processing
KR101532505B1 (ko) 분해기를 이용하여 출력 신호를 생성하는 장치 및 방법
US9807534B2 (en) Device and method for decorrelating loudspeaker signals
CN113170271B (zh) 用于处理立体声信号的方法和装置
EP4085660A1 (en) Method for providing a spatialized soundfield
Rabenstein et al. Sound field reproduction
JP2010217268A (ja) 音源方向知覚が可能な両耳信号を生成する低遅延信号処理装置
EP4135349A1 (en) Immersive sound reproduction using multiple transducers
EP4169267B1 (en) Apparatus and method for generating a diffuse reverberation signal
Kobayashi et al. Temporal convolutional neural networks to generate a head-related impulse response from one direction to another
AU2015238777B2 (en) Apparatus and Method for Generating an Output Signal having at least two Output Channels
Teschl Binaural sound reproduction via distributed loudspeaker systems
Winkler et al. Crosstalk cancellation in audiology
KR20060026234A (ko) 입체 음향 재생 장치 및 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid