KR20120109331A

KR20120109331A - 공간적으로 일정한 서라운드 음향 생성 방법 및 시스템

Info

Publication number: KR20120109331A
Application number: KR1020120028610A
Authority: KR
Inventors: 볼프강 헤스
Original assignee: 하만 베커 오토모티브 시스템즈 게엠베하
Priority date: 2011-03-24
Filing date: 2012-03-21
Publication date: 2012-10-08
Also published as: US8958583B2; EP2503800A1; CN102694517A; CA2767328A1; CN102694517B; JP2012205302A; CA2767328C; KR101941939B1; JP5840979B2; EP2503800B1; US20120243713A1

Abstract

본 발명은 서라운드 음향 신호의 다른 음압에 대해 공간적으로 일정한 것으로 사용자가 인지하는 공간적으로 균형을 이룬 출력 서라운드 음향 신호를 생성하도록 입력 서라운드 음향 신호를 보정하는 방법에 관한 것으로, 상기 입력 서라운드 음향 신호는 전방 라우드스피커(200-1 ~ 200-3)에 의해 출력되는 전방 오디오 신호 채널(10.1 ~ 10.3)과 후방 라우드스피커(200-4, 200-5)에 의해 출력되는 후방 오디오 신호 채널(10.4, 10.5)을 포함하고, 상기 방법은:
상기 전방 오디오 신호 채널의 결합을 기초로 제1 오디오 신호 출력 채널(14)을 생성하는 단계와,
상기 후방 오디어 신호 채널의 결합을 기초로 제2 오디오 신호 출력 채널(15)을 생성하는 단계와,
인간의 청음의 음향 심리학적 모델을 기초로, 상기 제1 오디오 신호 출력 채널(14)과 상기 제2 오디오 신호 출력 채널(15)을 포함하는 결합된 음향 신호에 대한 소리 크기와 로컬라이제이션을 결정하는 단계로,
상기 소리 크기와 로컬라이제이션은, 한쪽 귀가 상기 전방 또는 후방 라우드스피커 측을 향하고 다른 쪽 귀는 상기 전방 또는 후방 라우드스피커 중 다른 쪽을 향하고 있는 정해진 머리 위치를 가지고 상기 전방 및 후방 라우드스피커(200) 사이에 위치하여, 상기 전방 라우드스피커(200-1 ~ 200-3)로부터 상기 제1 오디오 신호 채널(14)을 수신하고 상기 후방 라우드스피커(200-4, 200-5)로부터 상기 제2 오디오 신호 채널(15)을 수신하는 가상 사용자(30)에 대해 결정되는,
소리 크기 및 로컬라이제이션 결정 단계와,
상기 제1 및 제2 오디오 신호 출력 채널이 상기 정해진 머리 위치의 가상 사용자에게 출력될 때 상기 오디오 신호가 상기 가상 사용자에 의해 공간적으로 일정하게 인지되도록, 상기 결정된 소리 크기와 로컬라이제이션을 기초로, 상기 입력 서라운드 음향 신호의 신호 채널(10.1 ~ 10.5)을 적합화하는 단계
를 포함하는 것을 특징으로 한다.

Description

공간적으로 일정한 서라운드 음향 생성 방법 및 시스템{SPATIALLY CONSTANT SURROUND SOUND}

본 발명은 공간적으로 평형화된 출력 서라운드 음향 신호를 생성하기 위한 입력 서라운드 음향 신호의 보정 방법 및 시스템에 관한 것이다. 본 발명은 방법, 방법의 실행 장치 또는 방법을 실시하는 컴퓨터 프로그램으로 실행될 수 있다.

소리에 대한 인간의 인지는 현재까지 연구되어 오고 있으며 근년 들어 이해가 넓어진 하나의 현상이다. 소리에 대한 인간의 인지의 한 가지 현상은 청각 시스템의 비선형적인 주파수 가변 거동이다.

또한, 서라운드 음향 시스템의 다른 라우드스피커 마다 전용의 오디오 신호 채널이 생성되는 서라운드 음향 소스가 알려져 있다. 인간의 청각 시스템의 비선형적인 주파수 가변 거동에 기인하여, 제1 음압을 갖는 서라운드 음향 신호는 공간적으로 균형을 이루는 것으로서 인지되는데, 이는 사용자가 전 방향으로부터 동일한 신호 레벨을 수신하는 느낌을 가짐을 의미한다. 동일한 서라운드 음향 신호가 낮은 음압 레벨로 출력될 때, 해당 신호는 청취자에 의해 서라운드 음향 신호의 인지된 공간 균형의 변화로 검출되기도 한다. 예를 들면, 낮은 신호 레벨에서 측면 또는 후면 서라운드 음향 채널은 높은 신호 레벨의 경우에 비해 낮은 소리 크기로 인지됨이 검출된다. 결국, 사용자는 공간 균형이 깨지고 음향이 전방 라우드스피커로 "이동"되는 느낌을 가진다.

국제 특허 공개 WO 2007/123608 A1과 WO 2008/085330 A1호는 오디오 신호 레벨에 대한 공간적 인지의 의존성을 피하여야 하는 해법에 대해 기술하고 있다. 그러나, 제시된 해법은 만족스럽지 않다.

따라서, 음향 신호 레벨에 대한 인지된 공간성의 의존성을 감소시키도록 할 필요가 있다.

이러한 요구는 독립 청구항의 특징에 의해 만족된다. 종속 청구항에서는 발명의 바람직한 실시예가 설명된다.

제1 측면에 따르면, 서라운드 음향 신호의 다른 음압에 대해 공간적으로 일정한 것으로 사용자가 인지하는 공간적으로 균형을 이룬 출력 서라운드 음향 신호를 생성하도록 입력 서라운드 음향 신호를 보정하는 방법이 제공되며, 상기 입력 서라운드 음향 신호는 전방 라우드스피커에 의해 출력되는 전방 오디오 신호 채널과 후방 라우드스피커에 의해 출력되는 후방 오디오 신호 채널을 포함하는 것을 특징으로 한다. 본 발명에 따르면, 상기 전방 오디오 신호 채널의 결합을 기초로 제1 오디오 신호 출력 채널이 생성되고, 상기 후방 출력 신호 채널의 결합을 기초로 제2 오디오 신호 출력 채널이 생성된다. 추가로, 제1 오디오 신호 출력 채널과 제2 오디오 신호 출력 채널을 포함하는 결합된 음향의 크기와 로컬라이제이션(localization)은 인간의 청음의 음향 심리학적 모델을 기초로 결정된다. 음향의 크기와 로컬라이제이션은 전방 및 후방 라우드스피커 사이에 위치하여 전방 라우드스피커로부터 제1 오디오 신호 출력 채널을 수신하고 후방 라우드스피커로부터 제2 오디오 신호 출력 채널을 수신하는 가상 사용자에 대해 결정되는데, 가상 사용자는 한쪽 귀가 전방 또는 후방 라우드스피커 측을 향하고 다른 쪽 귀는 전방 또는 후방 라우드스피커 중 다른 쪽을 향하고 있는 정해진 머리 위치를 가진다. 또한, 전방 및 후방 오디오 신호 채널은 제1 및 제2 오디오 신호 출력 채널이 상기 정해진 머리 위치의 가상 사용자에게 출력될 때 가상 사용자가 인지하는 오디오 신호가 공간적으로 일정하도록 상기 결정된 소리 크기와 로컬라이제이션을 기초로 적합화된다. 전방 및 후방 오디오 신호는 가상 사용자가 상기 결합된 음향 신호에 의해 생성되는 수신된 음향의 위치가 전체 음압 레벨에 무관하게 동일한 위치로 인지되는 느낌을 갖도록 적합화된다. 인간의 청음의 음향 심리학적 모델은 소리 크기의 계산을 위한 기초로서 사용되고 결합된 음향 신호의 로컬라이제이션을 시뮬레이션하는데 사용된다. 인간의 청음의 음향 심리학적 모델을 기초로 한 소리 크기 및 로컬라이제이션의 계산의 상세를 위해, 2003년 10월 뉴욕에서 개최된 오디오 엔지니어링 115차 학회의 Wolfgang Hess 등의 논문 5864 "Acoustical Evaluation of Virtual Rooms by Means of Binaural Activity Patterns"를 참조한다. 신호 소스의 로컬라이제이션을 위해 1986년 12월호 Acoustic Society of America의 80(6)권 1608-1622 면에 기재된 W. Lindemann의 논문 "Extension of a Binaural Cross-Correlation Model by Contra-lateral Inhibition, I. Simulation of Lateralization for stationary signals"를 또한 참조한다. 음향의 로컬라이제이션의 인지는 주로 음향의 편측화(lateralization), 즉 사용자가 인지하는 음향의 측방 변위(lateral displacement)에 의존한다. 정해진 머리 위치를 갖는 가상 사용자는 사용자가 한쪽 귀로 결합된 전방 신호 오디오 채널을 수신하고 다른 쪽 귀로 결합된 후방 신호 오디오 채널을 수신할 수 있게 한다. 가상 사용자가 인지한 음향이 전방과 후방 라우드스피커 사이의 중간에 위치하는 경우, 양호한 공간적 균형이 얻어진다. 사용자가 인지한 음향이 후방 및 전방 라우드스피커 사이에 위치되지 않은 경우, 음향 신호 레벨이 변하면, 전방 및/또는 후방 라우드스피커의 오디오 신호 채널은 인지되는 오디오 신호가 가상 사용자에 의해 다시 전방 및 후방 라우드스피커 사이의 중간에 위치되도록 적합화될 수 있다.

가상 사용자를 배치하는 하나의 가능성은 사용자를 전방 라우드스피커를 향하도록 하면서 가상 사용자의 한쪽 귀가 전방 라우드스피커로부터 제1 오디오 신호 출력 채널을 수신하고 다른 쪽 귀가 후방 라우드스피커로부터 제2 오디오 신호 출력 채널을 수신하도록 머리를 약 90°돌려 배치하는 것이다. 수신된 오디오 신호의 편측화는 양쪽 귀에서 수신된 음향 신호의 수신의 차이를 고려하여 이후 결정된다. 이후 전방 및/또는 후방 오디오 신호 서라운드 음향 채널은 편측화가 실질적으로 일정하게 유지되고 입력 서라운드 음향 신호의 여러 다른 음압에 대해 중간에 유지되는 방식으로 적합화된다.

또한, 제1 및 제2 오디오 출력 채널이 생성되기 전에 전방 및 후방 오디오 신호 채널 각각에 바이노럴 공간 자극 응답(binaural room impulse response: BRIR) 방식을 적용할 수 있다. 전방 및 후방 오디오 신호 채널 각각에 대한 바이노럴 공간 자극 응답 방식은 정해진 머리 위치를 가지고 대응하는 라우드스피커로부터 오디오 신호를 수신하는 가상 사용자에 대해 결정된다. 바이노럴 공간 자극 응답 방식을 고려하는 것에 의해 사용자는 전방 및 후방 라우드스피커로부터의 오디오 신호 간을 확실히 구별할 수 있다. 바이노럴 공간 자극 응답 방식은 또한 정해진 머리 위치를 갖는 사용자가 한쪽 귀가 전방 라우드스피커를 향하고 다른 쪽 귀가 후방 라우드스피커를 향하도록 머리가 돌려지게 시뮬레이션하는데 사용된다.

또한, 바이노럴 공간 자극 응답 방식은 제1 및 제2 오디오 신호 출력 채널이 생성되기 전에 전방 및 후방 오디오 신호 채널 각각에 적용될 수 있다. 신호 처리에 사용되는 바이노럴 공간 자극 응답 방식은 정해진 머리 위치를 가지고 대응하는 라우드스피커로부터 오디오 신호를 수신하는 가상 사용자에 대해 결정된다. 결국, 각각의 라우드스피커에 대해 두 개의 BRIR이 결정되는데, 즉 정해진 머리 위치의 가상 사용자의 좌측 귀와 우측 귀에 대해 하나씩 결정된다.

추가로, 서라운드 음향 신호를 여러 다른 주파수 대역으로 분할하고 다른 주파수 대역에 대한 소리 크기 및 로컬라이제이션을 결정하는 것이 가능하다. 이후 다른 주파수 대역에 대한 소리 크기 및 로컬라이제이션을 기초로 평균 소리 크기 및 평균 로컬라이제이션이 결정된다. 이후 결정된 평균 소리 크기 및 평균 로컬라이제이션을 기초로 전방 및 후방 오디오 신호 채널이 적합화될 수 있다. 그러나, 오디오 신호를 여러 다른 주파수 대역으로 분할하지 않은 완전한 오디오 신호에 대해 소리 크기 및 로컬라이제이션을 결정하는 것도 가능하다.

가상 사용자의 시뮬레이션을 더욱 향상시키기 위해, 상기 정해진 머리 위치에 대해 결정된 제1 바이노럴 공간 자극 응답과 머리를 약 180°돌린 반대의 머리 위치에 대해 결정된 제2 바이노럴 공간 자극 응답을 사용하여 평균 바이노럴 공간 자극 응답이 결정될 수 있다. 두 개의 머리 위치에 대한 바이노럴 공간 자극 응답은 이후 평균화되어 각각의 서라운드 음향 신호 채널에 대해 평균 바이노럴 공간 자극 응답을 결정할 수 있다. 이후 결정된 평균 BRIR은 전방 및 후방 오디오 신호 채널이 제1 및 제2 오디오 신호 채널에 결합되기 전에 전방 및 후방 오디오 신호 채널에 적용될 수 있다.

전방 및 후방 오디오 신호 채널의 적합화를 위해, 결합된 음향 신호의 편측화가 서라운드 음향의 여러 다른 음향 신호 레벨에 대해서도 실질적으로 일정하도록 전방 및/또는 후방 오디오 신호 채널의 이득이 적합화될 수 있다.

본 발명은 공간적으로 균형을 이룬 출력 서라운드 음향 신호를 생성하도록 입력 서라운드 음향 신호를 보정하는 시스템에 관한 것이기도 하다. 해당 시스템은 전방 오디오 신호 채널을 기초로 제1 오디오 신호 출력 채널을 생성하고 후방 오디오 신호 채널을 기초로 제2 오디오 신호 출력 채널을 생성하도록 된 오디오 신호 결합기(combiner)를 포함한다. 시스템은 인간의 청음의 음향 심리학적 모델을 기초로 제1 및 제2 오디오 신호 채널을 포함하는 결합된 음향 신호에 대한 소리 크기 및 로컬라이제이션을 결정하도록 된 오디오 신호 처리 유닛을 포함한다. 상기 오디오 신호 처리 유닛은 소리 크기 및 로컬라이제이션의 결정을 위해 정해진 머리 위치를 가지는 가상 사용자를 사용한다. 이득 적합화 유닛은 가상 사용자가 인지하는 오디오 신호가 공간적으로 일정하도록 전술한 바와 같이 결정된 소리 크기 및 로컬라이제이션을 기초로 전방 또는 후방 오디오 신호 채널 또는 전방 및 후방 오디오 신호 채널의 이득을 적합화한다.

오디오 신호 처리 유닛은 전술한 바와 같이 소리 크기 및 로컬라이제이션을 결정하고, 오디오 신호 결합기는 전방 신호 오디오 채널과 후방 신호 오디오 채널을 결합하고 전술한 바와 같이 바이노럴 공간 자극 응답을 적용한다.

본 발명은 하기의 첨부 도면을 참조로 더 상세하게 설명된다.
도 1은 서라운드 음향 신호의 이득 적합화 시스템을 개략도이고,
도 2는 결합된 음향 신호의 결정된 편측화를 개략적으로 나타내며,
도 3은 상이한 바이노럴 공간 자극 응답의 결정을 설명하는 개략도이고,
도 4는 공간적으로 평형화된 음향 신호를 출력하도록 하는 오디오 신호 처리 단계를 포함하는 흐름도를 나타낸다.

도 1은 다채널 오디오 신호가 일정한 공간적 균형을 유지하면서 상이한 전체 음압 레벨로 출력되도록 하는 서라운드 음향 신호의 이득 적합화 시스템의 개략도이다.

도 1에 도시된 실시예에서, 오디오 음향 신호는 5.1 음향 신호이지만, 7.1 음향 신호일 수도 있다. 오디오 음향 신호의 상이한 채널(10.1~10,5)은 디지털 신호 처리 또는 DSP(100)로 전송된다. 음향 신호는 서라운드 음향 시스템의 상이한 라우드스피커(200)에 전용으로 사용되는 상이한 오디오 신호 채널을 포함한다. 도시된 실시예에서는 음향 신호가 출력되는 라우드스피커가 하나만 도시되어 있다. 그러나, 서라운드 음향 입력 신호 채널(10.1~10.5) 각각에 대해 라우드스피커가 제공될 수 있고 그것을 통해 서라운드 음향 신호의 대응하는 신호 채널이 출력됨을 이해하여야 한다. 5.1 오디오 시스템에서 세 개의 오디오 채널, 도시된 실시예의 경우, 채널(10.1~10.3)이 도 3에 도시된 바와 같이 전방 라우드스피커로 연결된다. 서라운드 음향 신호 중 하나가 전방-좌측 라우드스피커(200-1)에 의해 출력되고, 다른 전방 오디오 신호 채널이 중앙의 라우드스피커(200-2)에 의해 출력되며, 제3 전방 오디오 신호 채널이 우측의 전방 라우드스피커(200-3)에 의해 출력된다. 두 개의 후방 오디오 신호 채널(10.4, 10.5)은 좌측 후방 라우드스피커(200-4)와 우측 후방 라우드스피커(200-5)에 의해 출력된다.

다시 도 1을 참조하면, 서라운드 음향 신호 채널은 추후에 보다 상세히 설명되는 유닛으로서 오디오 신호가 공간적으로 일정하고 중심 정렬되게 인지되도록 하기 위해 서라운드 음향 신호의 이득을 적합화하는 이득 적합화 유닛(110, 120)으로 전송된다. 또한, 오디오 신호 결합기(130)가 제공된다. 신호 결합기(130)에서, 가상 사용자에 대한 방향 정보가 오디오 신호 채널에 부가된다. 오디오 신호 결합기(130)에서, 각각의 신호 채널과 대응하는 라우드스피커에 대해 결정된 바이노럴 공간 자극 응답(binaural room impulse response: BRIR)이 서라운드 음향 신호의 대응하는 음향 신호 채널에 적용된다.

도 3과 관련하여, 정해진 머리 위치를 가지는 가상 사용자(30)가 상이한 라우드스피커로부터 신호를 수신하는 상황이 예시된다. 도 3에 도시된 라우드스피커 각각의 경우, 신호는 예컨대 차량이나 그 밖의 장소(예, 극장 내)와 같이 본 발명이 적용될 수 있는 공간 내로 방사되고, 각각의 서라운드 음향 신호 채널에 대해 그리고 각각의 라우드스피커에 대해 바이노럴 공간 자극 응답이 결정된다. 예로써, 전방 좌측 라우드스피커 전용의 전방 오디오 신호 채널의 경우, 신호는 공간을 통해 전파되고 사용자(30)의 두 귀에 의해 검출된다. 자극 오디오 신호에 대한 검출된 자극 응답은 좌측 귀와 우측 귀에 대한 바이노럴 공간 자극 응답이므로 각각의 라우드스피커에 대해 두 개의 BRIR(여기서는 BRIR1, BRIR2)이 결정된다. 추가로, 나머지 라우드스피커(200-2 ~ 200-5)에 대한 BRIR은 한쪽 귀가 전방 라우드스피커를 향하고 나머지 귀가 후방 라우드스피커를 향하는 것으로 도시된 머리 위치의 가상 사용자(30)를 이용하여 결정된다. 각각의 오디오 신호 채널과 그에 대응하는 라우드스피커에 대한 이들 BRIR은 예컨대, 마이크로폰을 구비한 더미 헤드를 귀에 사용하는 것으로 결정될 수 있다. 결정된 BRIR는 이후 도 1에 도시된 신호 결합기(130) 내에 저장될 수 있으며, 신호 결합기에서 각각의 오디오 신호 채널에 대한 두 개의 BRIR가 이득 적합화 유닛(110, 120)으로부터 수신된 대응하는 오디오 신호 채널에 적용된다. 도시된 실시예에서 오디오 신호는 다섯 개의 서라운드 음향 신호 채널을 가지므로, 대응하는 유닛(131-1 ~131-5)에는 다섯 쌍의 BRIR가 사용된다. 또한, 평균 BRIR은 도 3에 도시된 머리 위치(90°머리 회전)에 대한 BRIR을 측정하고 반대 방향(270°)으로 바라보는 사용자에 대한 BRIR을 측정하는 것에 의해 결정될 수 있다. 90°와 270°에 대한 BRIR을 기초로 평균 BRIR이 각각의 귀에 대해 결정될 수 있다.

도 3에 도시된 바와 같은 상황으로 얻어지는 BRIR을 적용하는 것에 의해, 마치 사용자가 머리를 일측으로 돌린 것처럼 소정의 상황을 시뮬레이션한다. BRIR을 유닛(131-1 ~ 131-5)에 적용한 후, 상이한 서라운드 음향 신호 채널이 각각의 서라운드 음향 신호 채널에 대해 이득 적합화 유닛(132-1, 132-5)에 의해 적합화된다. BRIR이 적용된 음향 신호는 전방 채널 오디오 신호들이 가산기(133)에 가산되는 것을 통해 제1 오디오 신호 출력 채널(14)에 결합되는 방식으로 결합될 수 있다. 후방 라우드스피커에 대한 서라운드 음향 신호 채널은 이후 가산기(134)에서 가산되어 제2 오디오 신호 출력 채널(15)을 생성한다.

제1 오디오 신호 출력 채널(14)과 제2 오디오 신호 출력 채널(15)은 오디오 신호 처리 유닛(140)에 의해 사용되는 결합된 음향 신호를 구성함으로써 인간의 청음의 음향 심리학적 모델을 기초로 결합된 오디오 신호의 소리 크기 및 로컬라이제이션을 결정한다. 오디오 신호 결합기로부터 신호의 소리 크기 및 로컬라이제이션이 어떻게 수신되는지에 대한 추가의 상세가 W. Hess에 의한 논문 "Time Variant Binaural Activity Characteristics as Indicator of Auditory Spatial Attributes"에 기술된다. 도 1에 도시된 성분은 하드웨어 또는 소프트웨어 또는 하드웨어와 소프트웨어의 결합에 의해 편입 구성될 수 있다.

결정된 소리 크기 및 로컬라이제이션을 기초로 도 3에 도시된 위치의 가상 사용자가 인지한 음향 신호의 편측화를 유추할 수 있다. 이러한 계산된 편측화의 예가 도 2에 예시된다. 도 2는 신호 피크가 중간(0°)에 있는 사용자에 의해 인지되는지 여부 또는 신호 피크가 우측 또는 좌측으로부터 더 기원되는 것으로 인지되는지 여부를 보여준다. 도 3에 도시된 사용자에게 적용되는 경우, 이것은 음향 신호가 우측으로부터 보다 더 기원하는 것으로 인지된다면, 전방 라우드스피커(200-1 ~ 200-3)가 후방 라우드스피커보다 큰 음향 신호 레벨을 출력하는 것처럼 보인다는 것을 의미할 수 있다. 신호가 좌측으로부터 기원하는 것으로 인지된다면, 후방 라우드스피커(200-4, 200-5)가 전방 라우드스피커에 비해 큰 음향 신호 레벨을 출력하는 것처럼 보인다. 신호 피크가 대략 0°에 위치된다면, 서라운드 음향 신호는 공간적으로 평형을 이룬다.

오디오 신호 처리 유닛(140)에 의해 결정된 편측화는 이득 적합화 유닛(110) 및/또는 이득 적합화 유닛(120)으로 제공된다. 그러면 입력 서라운드 음향 신호의 이득은 편측화가 도 2에 도시된 바와 같이 중간으로 이동되도록 적합화된다. 이를 위해, 전방 오디오 신호 채널의 이득 또는 후방 오디오 신호 채널의 이득이 적합화될 수 있다. 다른 실시예에서, 전방 오디오 신호 채널 또는 후방 오디오 신호 채널의 어느 이득은 증가되는 반면, 전방 및 후방 오디오 신호 채널 중 다른 것의 이득은 감소된다. 이득 적합화는 연속하는 블록으로 분할되는 오디오 신호가 각각의 블록의 이득이 신호 레벨을 증가시키거나 신호 레벨을 감소시키도록 적합화될 수 있는 방식으로 적합화되도록 행해질 수 있다. 두 개의 연속 블록 사이의 하강 소리 크기 또는 상승 소리 크기를 설명하는 상승 시간 상수 또는 하강 시간 상수를 사용하여 신호 레벨을 증가 또는 감소시키는 하나의 가능성은 유럽 특허 출원 EP 10 156 409.4에 기술되고 있다.

도 1에 도시된 오디오 처리 단계의 경우, 서라운드 음향 입력 신호는 상이한 스펙트럼 성분으로 분할될 수 있다. 도 1에 도시된 처리 단계들은 각각의 스펙트럼 밴드에 대해 수행될 수 있고 마지막에서 상이한 주파수 대역에 대해 결정된 편측화를 기초로 평균 편측화가 결정될 수 있다.

입력 서라운드 신호가 가변적인 신호 압력 레벨로 수신되는 경우, 그 이득은 편측화가 도 2에 도시된 바와 같이 중간에서 일정하게 유지됨을 의미하는 평형화된 공간성이 얻어지는 방식으로 이득 적합화 유닛(110, 120)에 의해 적합화될 수 있다. 따라서, 수신된 신호에 무관하게 압력 레벨은 오디오 신호의 인지의 일정한 공간적 평형을 가져온다.

이렇게 공간적으로 평형을 이룬 오디오 신호를 얻기 위해 행해지는 방법이 도 4에 요약된다. 해당 방법은 S1 단계와 S2 단계에서 시작하여 아래에서 결정된 바이노럴 공간 자극 응답이 대응하는 서라운드 음향 신호 채널에 적용된다. S3 단계에서, BRIR이 적용된 후, 가산기(133)를 사용하여 전방 오디오 신호 채널들이 결합되어 제1 오디오 신호 채널(14)을 생성한다. S4 단계에서, 가산기(134)를 사용하여 후방 오디오 신호 채널들이 결합되어 제2 오디오 신호 채널(15)을 생성한다. S5 단계에서, 상기 신호(14, 15)를 기초로 소리 크기 및 로컬라이제이션이 결정된다. S6 단계에서, 음향이 중앙에서 수신되었는지 여부가 결정된다. 그렇지 않은 경우, S7 단계에서 서라운드 음향 신호 입력 채널의 이득이 적합화되고, S2~S5 단계가 반복된다. S6 단계에서 음향이 중앙에 있는 것으로 결정되면, S8 단계에서 음향이 출력되고, 방법은 S9 단계에서 종료된다.

다음에는 인간의 청음의 음향 심리학적 모델을 기초로 소리 크기 및 로컬라이제이션의 계산에 대해 보다 상세히 설명한다. 인간의 청음의 음향 심리학적 모델은 귀의 생리학적 모델을 이용하여 음향 소스로부터 나와서 인간에 의해 청취되는 음향 신호에 대한 신호 처리를 시뮬레이션한다. 이 점에서 공간, 외이(outer ear) 및 내이(inner ear)를 통한 음향 신호의 신호 경로가 시뮬레이션된다. 신호 경로는 신호 처리를 사용하여 시뮬레이션될 수 있다. 이 점에서 공간적으로 분리되게 구성된 두 개의 마이크로폰을 사용함으로써 생리학적 모델에 의해 처리되는 두 개의 오디오 채널을 형성하는 것이 가능하다. 두 개의 마이크로폰이 외이의 복사판인 더미 헤드의 우측 및 좌측 귀에 위치된 경우, 외이의 시뮬레이션은 마이크로폰에 의해 수신된 신호가 더미 헤드의 외이를 통과한 것이므로 생략될 수 있다. 이 점에서 예컨대, 바이노럴 활동 패턴(binaural activity pattern: BAP), 이간 시간차(inter-aural time difference: ITD) 및 이간 레벨차(inter-aural level difference: ILD)와 같은 관심 대상의 음향 심리학적 현상을 다수 예측할 수 있을 정도로 매우 정확하게 청각 통로를 시뮬레이션하기에 충분하다. 상기의 값을 기초로 바이노럴 활동 패턴이 계산될 수 있다. 해당 패턴은 위치 정보, 시간 지연 및 음향 레벨의 결정에 사용될 수 있다. 소리 크기는 계산된 신호 레벨 또는 강도를기초로 결정될 수 있다. 인간의 청음의 음향 심리학적 모델을 이용한 소리 크기의 계산 방식 및 신호의 로컬라이징 방식에 대한 추가의 상세는 그 내용이 본 출원에 포함된 EP 1 522 868 A1을 또한 참조한다.

본 발명은 신호의 압력 레벨이 변하더라도 사용자가 공간적으로 일정한 것으로 인지하는 공간적으로 평형을 이룬 음향 신호를 생성할 수 있게 한다.

Claims

서라운드 음향 신호의 다른 음압에 대해 공간적으로 일정한 것으로 사용자가 인지하는 공간적으로 균형을 이룬 출력 서라운드 음향 신호를 생성하도록 입력 서라운드 음향 신호를 보정하는 방법으로서,
상기 입력 서라운드 음향 신호는 전방 라우드스피커(200-1 ~ 200-3)에 의해 출력되는 전방 오디오 신호 채널(10.1 ~ 10.3)과 후방 라우드스피커(200-4, 200-5)에 의해 출력되는 후방 오디오 신호 채널(10.4, 10.5)을 포함하고,
상기 방법은:
상기 전방 오디오 신호 채널의 결합을 기초로 제1 오디오 신호 출력 채널(14)을 생성하는 단계와,
상기 후방 오디어 신호 채널의 결합을 기초로 제2 오디오 신호 출력 채널(15)을 생성하는 단계와,
인간의 청음의 음향 심리학적 모델을 기초로, 상기 제1 오디오 신호 출력 채널(14)과 상기 제2 오디오 신호 출력 채널(15)을 포함하는 결합된 음향 신호에 대한 소리 크기와 로컬라이제이션을 결정하는 단계로,
상기 소리 크기와 로컬라이제이션은, 한쪽 귀가 상기 전방 또는 후방 라우드스피커 측을 향하고 다른 쪽 귀는 상기 전방 또는 후방 라우드스피커 중 다른 쪽을 향하고 있는 정해진 머리 위치를 가지고 상기 전방 및 후방 라우드스피커(200) 사이에 위치하여, 상기 전방 라우드스피커(200-1 ~ 200-3)로부터 상기 제1 오디오 신호 채널(14)을 수신하고 상기 후방 라우드스피커(200-4, 200-5)로부터 상기 제2 오디오 신호 채널(15)을 수신하는 가상 사용자(30)에 대해 결정되는,
소리 크기 및 로컬라이제이션 결정 단계와,
상기 제1 및 제2 오디오 신호 출력 채널이 상기 정해진 머리 위치의 가상 사용자에게 출력될 때 상기 오디오 신호가 상기 가상 사용자에 의해 공간적으로 일정하게 인지되도록, 상기 결정된 소리 크기와 로컬라이제이션을 기초로, 상기 입력 서라운드 음향 신호의 신호 채널(10.1 ~ 10.5)을 적합화하는 단계
를 포함하는 것을 특징으로 하는 입력 서라운드 음향 신호 보정 방법.
제1항에 있어서, 상기 소리 크기와 로컬라이제이션은,
상기 전방 라우드스피커를 향하는 상기 가상 사용자(30)가 머리를 대략 90° 돌려 상기 가상 사용자의 한쪽 귀가 상기 전방 라우드스피커(200-1 ~ 200-3)로부터 상기 제1 오디오 신호 출력 채널(14)을 수신하고 다른 쪽 귀가 상기 후방 라우드스피커(200-4, 200-5)로부터 상기 제2 오디오 신호 출력 채널(15)을 수신하도록 하는 상황을 시뮬레이션하고,
상기 양쪽 귀에서 수신된 음향 신호의 수신의 차이를 고려하여 상기 수신된 음향 신호의 편측화를 결정하는 것에 의해
결정되고,
상기 전방 및/또는 후방 오디오 신호 채널은 상기 입력 서라운드 음향 신호의 상이한 음압에 대해 상기 편측화가 실질적으로 일정하게 유지되는 방식으로 적합화되는 입력 서라운드 음향 신호 보정 방법.
제1항 또는 제2항에 있어서,
상기 제1 및 제2 오디오 신호 채널(14, 15)이 생성되기 전에 상기 전방 및 후방 오디오 신호 출력 채널(10.1 ~ 10.5) 각각에 바이노럴 공간 자극 응답을 적용하는 단계를 더 포함하고,
상기 전방 및 후방 오디오 신호 채널(10.1 ~ 10.5) 각각에 대한 바이노럴 공간 자극 응답은 상기 정해진 머리 위치를 가지고 대응하는 라우드스피커로부터 오디오 신호를 수신하는 상기 가상 사용자(30)에 대해 결정되는 입력 서라운드 음향 신호 보정 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 소리 크기 및 로컬라이제이션은 상기 서라운드 음향 신호의 상이한 주파수 대역에 대해 결정되며, 상기 상이한 주파수 대역의 소리 크기 및 로컬라이제이션을 기초로 평균 소리 크기 및 평균 로컬라이제이션이 결정되며, 상기 서라운드 음향 신호의 상기 전방 및 후방 오디오 신호 채널은 상기 결정된 평균 소리 크기 및 평균 로컬라이제이션을 기초로 적합화되는 입력 서라운드 음향 신호 보정 방법.
제3항 또는 제4항에 있어서, 상기 가상 사용자의 한쪽 귀가 상기 전방 또는 후방 라우드스피커 측을 향하고 다른 쪽 귀는 상기 전방 또는 후방 라우드스피커 중 다른 쪽을 향하고 있는 상기 정해진 머리 위치에 대해 제1 바이노럴 공간 자극 응답이 결정되고, 상기 가상 사용자의 머리가 상기 정해진 머리 위치에 비해 180° 회전된 추가의 머리 위치에 대해 제2 바이노럴 공간 자극 응답이 결정되며, 상기 제1 및 제2 바이노럴 공간 자극 응답을 기초로 평균 바이노럴 공간 자극 응답이 결정되어 상기 전방 및 후방 오디오 신호 채널에 적용되는 입력 서라운드 음향 신호 보정 방법.
제3항 내지 제5항 중 어느 항에 있어서, 상기 서라운드 음향 신호의 각각의 신호 채널(10.1 ~ 10.5)과 그 대응하는 라우드스피커에 대해 바이노럴 공간 자극 응답이 결정되고, 상기 제1 오디오 신호 출력 채널(14)은 각각의 전방 오디오 신호 채널에 대응하는 바이노럴 공간 자극 응답이 적용된 후에 상기 전방 오디오 신호 채널을 결합하는 것에 의해 생성되고, 상기 제2 오디오 신호 출력 채널(15)은 각각의 후방 오디오 신호 채널에 대응하는 바이노럴 공간 자극 응답이 적용된 후에 상기 후방 오디오 신호 채널을 결합하는 것에 의해 생성되는 입력 서라운드 음향 신호 보정 방법.
제1항 내지 제6항 중 어느 항에 있어서, 상기 전방 오디오 신호 채널의 이득 및/또는 상기 후방 오디오 신호 채널의 이득은 상기 결합된 음향 신호의 편측화가 실질적으로 일정한 방식으로 조정되는 입력 서라운드 음향 신호 보정 방법.
서라운드 음향 신호의 다른 음압에 대해 공간적으로 일정한 것으로 사용자가 인지하는 공간적으로 균형을 이룬 출력 서라운드 음향 신호를 생성하도록 입력 서라운드 음향 신호를 보정하는 시스템으로서,
상기 입력 서라운드 음향 신호는 전방 라우드스피커(200-1 ~ 200-3)에 의해 출력되는 전방 오디오 신호 채널(10.1 ~ 10.3)과 후방 라우드스피커에 의해 출력되는 후방 오디오 신호 채널을 포함하고,
상기 시스템은:
상기 전방 오디오 신호 채널의 결합을 기초로 제1 오디오 신호 출력 채널(14)을 생성하고, 상기 후방 오디오 신호 채널의 결합을 기초로 제2 오디오 신호 출력 채널(15)을 생성하도록 된 오디오 신호 결합기(130)와,
인간의 청음의 음향 심리학적 모델을 기초로, 상기 제1 오디오 신호 출력 채널(14)과 상기 제2 오디오 신호 출력 채널(15)을 포함하는 결합된 음향 신호에 대한 소리 크기와 로컬라이제이션을 결정하도록 된 오디오 신호 처리 유닛(140)으로서, 해당 오디오 신호 처리 유닛(140)은, 한쪽 귀가 상기 전방 또는 후방 라우드스피커 측을 향하고 다른 쪽 귀는 상기 전방 또는 후방 라우드스피커 중 다른 쪽을 향하고 있는 정해진 머리 위치를 가지고 상기 전방 및 후방 라우드스피커 사이에 위치하여, 상기 전방 라우드스피커로부터 상기 제1 오디오 신호 채널을 수신하고 상기 후방 라우드스피커로부터 상기 제2 오디오 신호 채널을 수신하는 가상 사용자(30)를 이용하여 상기 소리 크기 및 로컬라이제이션을 결정하는 그러한 오디오 신호 처리 유닛(140)과,
상기 제1 및 제2 오디오 신호 출력 채널(14, 15)이 상기 정해진 머리 위치의 가상 사용자에게 출력될 때 상기 오디오 신호가 상기 가상 사용자에 의해 공간적으로 일정한 것으로 인지되도록, 상기 결정된 소리 크기와 로컬라이제이션을 기초로, 상기 입력 서라운드 음향의 상기 전방 및 후방 오디오 신호 채널의 이득을 적합화하는 이득 적합화 유닛(110, 120)
을 포함하는 것을 특징으로 하는 입력 서라운드 음향 신호 보정 시스템.
제8항에 있어서, 상기 오디오 신호 처리 유닛(140)은,
상기 전방 라우드스피커(200-1 ~ 200-3)를 향하는 상기 가상 사용자가 머리를 대략 90°돌려 상기 가상 사용자의 한쪽 귀가 상기 전방 라우드스피커로부터 상기 제1 오디오 신호 출력 채널을 수신하고 다른 쪽 귀가 상기 후방 라우드스피커로부터 상기 제2 오디오 신호 출력 채널을 수신하도록 하는 상황을 시뮬레이션하고,
상기 양쪽 귀에서 수신된 음향 신호의 수신의 차이를 고려하여 상기 수신된 오디오 신호의 편측화를 결정하는 것에 의해
상기 소리 크기 및 로컬라이제이션을 결정하도록 되어 있고,
상기 이득 적합화 유닛은 상기 입력 서라운드 음향 신호의 상이한 음압에 대해 상기 편측화가 실질적으로 일정하게 유지되는 방식으로 상기 전방 및/또는 후방 오디오 신호 채널을 적합화하는 입력 서라운드 음향 신호 보정 시스템.
제9항에 있어서, 상기 오디오 신호 결합기(130)는 상기 제1 및 제2 오디오 신호 출력 채널을 생성하기 전에 상기 전방 및 후방 오디오 신호 채널 각각에 바이노럴 공간 자극 응답을 적용하도록 되어 있고, 상기 전방 및 후방 오디오 신호 채널 각각에 대한 바이노럴 공간 자극 응답은 상기 정해진 머리 위치를 가지고 대응하는 라우드스피커로부터 오디오 신호를 수신하는 상기 가상 사용자에 대해 결정되는 입력 서라운드 음향 신호 보정 시스템.
제10항에 있어서, 상기 오디오 신호 결합기(130)는 각각의 라우드스피커에 대해 결정되는 바이노럴 공간 자극 응답을 이용하여, 각각의 전방 오디오 신호 채널에 대응하는 바이노럴 공간 자극 응답을 적용한 후에 상기 전방 오디오 신호 채널을 상기 제1 오디오 신호 출력 채널(14)에 결합하고, 각각의 후방 오디오 신호 채널에 대응하는 바이노럴 공간 자극 응답을 적용한 후에 상기 후방 오디오 신호 채널을 상기 제2 오디오 신호 출력 채널(15)에 결합하도록 되어 있는 입력 서라운드 음향 신호 보정 시스템.
제8항 내지 제11항 중 어느 한 항에 있어서,상기 오디오 신호 처리 유닛(140)은, 상기 서라운드 음향 신호를 복수의 주파수 대역으로 분할하고, 상기 상이한 주파수 대역에 소리 크기 및 로컬라이제이션을 결정하도록 되어 있고, 상기 오디오 신호 처리 유닛은 상기 상이한 주파수 대역의 상기 소리 크기 및 로컬라이제이션을 기초로 평균 소리 크기 및 평균 로컬라이제이션을 결정하며, 상기 이득 적합화 유닛은 상기 결정된 평균 소리 크기 및 평균 로컬라이제이션을 기초로 상기 전방 및 후방 오디오 신호 채널을 적합화하는 입력 서라운드 음향 신호 보정 시스템.
제8항 내지 제12항 중 어느 한 항에 있어서, 상기 오디오 신호 결합기(130)는, 상기 가상 사용자의 한쪽 귀가 상기 전방 또는 후방 라우드스피커 측을 향하고 다른 쪽 귀는 상기 전방 또는 후방 라우드스피커 중 다른 쪽을 향하고 있는 상기 정해진 머리 위치에 대해 결정되는 제1 바이노럴 공간 자극 응답과 상기 가상 사용자의 머리가 상기 정해진 머리 위치에 비해 180° 회전된 추가의 머리 위치에 대해 결정되는 제2 바이노럴 공간 자극 응답을 기초로, 평균 바이노럴 공간 자극 응답을 이용하며, 상기 오디오 신호 처리 유닛은, 상기 제1 오디오 신호 채널이 결합되어 상기 제1 오디오 신호를 형성하고 상기 후방 오디오 신호 채널이 결합되어 상기 제2 오디오 신호를 형성하기 전에, 각각의 오디오 신호 채널에 대해, 대응하는 평균 바이노럴 공간 자극 응답을 대응하는 오디오 신호 채널에 적용하는 입력 서라운드 음향 신호 보정 시스템.