KR101354430B1 - 바이노럴 신호를 위한 신호생성 - Google Patents

바이노럴 신호를 위한 신호생성 Download PDF

Info

Publication number
KR101354430B1
KR101354430B1 KR1020127030368A KR20127030368A KR101354430B1 KR 101354430 B1 KR101354430 B1 KR 101354430B1 KR 1020127030368 A KR1020127030368 A KR 1020127030368A KR 20127030368 A KR20127030368 A KR 20127030368A KR 101354430 B1 KR101354430 B1 KR 101354430B1
Authority
KR
South Korea
Prior art keywords
channels
channel
signal
downmix
mono
Prior art date
Application number
KR1020127030368A
Other languages
English (en)
Other versions
KR20130004373A (ko
Inventor
해랄드 문트
베른하르트 노이게바우어
요하네스 힐페르트
안드레아스 실츠레
얀 프로그스티어스
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20130004373A publication Critical patent/KR20130004373A/ko
Application granted granted Critical
Publication of KR101354430B1 publication Critical patent/KR101354430B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

복수의 채널을 표현하는 멀티-채널 신호에 기초하고 각 채널에 연관된 가상 사운드 소스 포지션을 갖는 스피커구성에 의한 재생이 예정된 바이노럴(binaural) 신호를 생성하는 장치가 개시된다. 이는 다르게 프로세싱하여, 상기 복수의 채널들의 좌측 및 우측채널들, 상기 복수의 채널들의 전방 및 후방채널, 그리고 상기 복수의 채널들의 중앙 및 비-중앙 채널들 중의 적어도 한 쌍의 채널간의 유사성을 감소시켜서, 내부-유사성 감소된 채널세트를 획득하는 유사성 감소기; 복수의 방향성 필터들, 청취자의 제1 귓속으로 음향 전송을 모델링하는 상기 방향성 필터의 출력들을 믹싱하는 제1 믹서(16a), 및 상기 청취자의 제2 귓속으로 상기 음향 전송을 모델링하는 상기 방향성 필터의 출력들을 믹싱하는 제2 믹서(16b)를 포함한다. 다른 측면에 따르면, 룸 프로세서에 대한 다운믹스를 행성하는 중앙 레벨 감소기가 수행된다. 또 다른 측면에 따르면, 머리전송함수의 내부-유사성 감소세트가 형성된다.

Description

바이노럴 신호를 위한 신호생성{SIGNAL GENERATION FOR BINAURAL SIGNALS}
본 발명은 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성, 바이노럴 신호, 및 내부-유사성 감소 머리전송함수(head-related transfer functions) 세트의 형성과 관련된다.
인간의 청각 시스템은 인식된 소리가 유래한 방향이나 방향들을 결정할 수 있다. 이로 인하여, 인간 청각 시스템은 오른쪽 귀에서 수신된 소리와 왼쪽 귀에서 수신된 소리 간의 어떤 차이를 평가한다. 후자의 정보는, 예를 들면, 귀들 간의 소리신호 차이로 참조 되는, 소위 귀간 레벨차이(ILD:inter-aural level difference)를 포함한다. 귀간 레벨차이는 위치추정에서 가장 중요한 수단이다. 귀간 압력 레벨 차이, 즉 귀간 레벨차이(ILD)는 위치추정에서 가장 중요한 단일한 큐이다. 소리가 비-제로 방위각으로 수평 평면으로부터 도달할 때, 이는 각 귀내에 다른 레벨을 갖는다. 가려진(shadowed) 귀는 가려지지 않은 귀에 비하여, 자연스럽게 소리 이미지를 억제한다. 위치 추정을 다루는 다른 매우 중요한 속성은 귀간 시간차이(ITD)이다. 가려진 귀는 소리의 원천으로부터 더 멀리 떨어지며, 따라서, 가려지지 않은 귀보다 더 늦게 음파면(sound wave front)을 획득한다. ITD의 의미는 가려지지 않은 귀에 비교하여 가려진 귀에 도달할 때 많이 감쇠되지 않는 저 주파수에서 강조된다. IDT는 더 높은 주파수에서 덜 중요한데, 이는 소리의 파장이 귀 간의 간격에 더 밀접하기 때문이다. 따라서, 즉, 위치추정은 소리가 소리의 원천으로부터 각각 좌측 및 우측귀로 이동하면서 청취자의 머리, 귀, 어깨와 각각 다른 작용을 할 수 있다는 사실을 이용한다.
사람이 헤드폰을 통하여 확성기(loud speaker) 설정에 의해 재생되도록 예정된 스테레오 신호를 청취할 때 문제가 발생한다. 청취자는 이러한 소리를 자연스럽지 못하고, 괴상하고, 불편하다고 느낄 수 있는데, 이는 청취자가 이러한 소리의 원천이 머리에 있다고 느끼기 때문이다. 이러한 현상은 종종 문헌에서 "머리속(in-the-head)" 위치추정으로 언급된다. 장기간의 "머리속" 소리 청취는 청취 피로를 유발할 수 있다. 이는 인간 청각 시스템이 의존하는 정보, 즉 귀간 단서(interaural cue)가, 소리의 원천에 대한 위치추정시, 분실되거나 모호해지기 때문에 발생한다.
스테레오 신호, 또는 두 개 이상의 채널을 갖는 멀티-채널 신호를 헤드폰 재생을 위해 렌더링하기 위하여, 방향성 필터들이 사용되어 이러한 명령들을 모델링할 수 있다. 예를 들면, 디코딩된 멀티-채널 신호로부터 헤드폰 출력의 생성은 한쌍의 방향성 필터들의 평균으로 디코딩된 후에 각 신호를 필터링하는 단계를 포함한다. 이러한 필터들은 전형적으로 실내의 가상 사운드 소스로부터 청취자의 귓속으로 음향전송, 소위 바이노럴 실내 전송함수(BRTF:binaural room transfr function)를 모델링한다. BRTF는 시간, 레벨 및 스펙트럴 변경을 수행하고 실내 반향/잔향(reflections and reverberation)을 모델링한다. 방향성 필터들은 시간 또는 주파수 도메인에 구현된다.
그러나, 많은 필터들, 디코딩된 채널의 수인 N을 갖는 즉 Nx2 필터들이 필요하기 때문에, 이러한 방향성 필터들은 44.1kHz의 20000필터 탭들처럼 오히려 길어서, 필터링의 프로세스는 계산상 부담이 크다. 따라서, 방향성 필터들은 종종 최소한으로 감소 된다. 소위 머리전달함수(HRTFs:Head-related transfer functions)는 귀간 단서(interaural cures)를 포함하는 방향성 정보를 포함한다. 공통 프로세스 블록은 실내 반향 및 잔향을 모델링 하도록 사용된다. 룸 프로세싱 모듈은 시간 또는 주파수 도메인의 잔향 알고리즘일 수 있고, 또한 멀티-채널 입력 신호의 채널들의 합계의 평균에 의해 멀티-채널 입력 신호로부터 획득된 하나 또는 두 개의 채널 입력 신호에 대하여 작용할 수 있다. 이러한 구조는, 예를 들면, WO 99/14983 A1에 기술되어 있다. 앞서 설명한 것처럼, 룸 프로세싱 블록은 실내 반향 및/또는 잔향을 구현한다. 실내 반향과 잔향은 소리의 위치추정에 필수적이며, 특히 거리 및 소리는 청취자의 머리외부에서 인식된다는 것을 의미하는 외재화(externalization)과 관련하여 필수적이다. 앞서 언급한 문서 또한 방향성 필터를 각 채널의 다르게 지연된 버전에서 작동하는 FIR 필터 세트로 구현하여, 소리의 원천으로부터 각 귀로의 직접경로와 거리 반향을 모델링하는 것을 제안한다. 무엇보다도, 한 쌍의 헤드폰을 통한 좀 더 편안한 청취 경험을 제공하는 몇 개의 수단들을 기술함에 있어서, 이 문서는 또한 중앙 및 전방 좌측 채널의 혼합과 중앙 및 전방 우측채널의 혼합 각각을, 후방 좌측 및 후방 우측 채널의 합계와 차이 각각에 대하여, 지연시킬 것을 제안한다.
그러나, 이와 같이 성취된 청취 결과는 여전히 바이노럴 출력 신호의 감소된 공간폭이 크게 부족하고 외재화가 부족하다. 또한, 앞서 언급된 헤드폰 재생을 위한 멀티-채널 신호를 렌더링하는 수단에도 불구하고, 영화 대사 및 음악에서의 음성 부분이 종종 부자연스러운 잔향 및 스펙트럴하게 일치하지 않는 것으로 인식된다.
따라서, 본 발명의 목적은 좀 더 안정적이고 편안한 헤드폰 재생 결과를 생성하는 바이노럴 신호 생성을 위한 기법을 제공하는 것이다.
본 목적은 청구항 1, 3, 4 및 7 중 어느 하나의 항에 따른 장치들 및 청구항 16 내지 19 중 어느 하나의 항에 따른 방법들에 의하여 성취된다.
본 출원의 기초가 되는 첫 번째 아이디어는 헤드폰 재생을 위한 좀 더 안정적이고 편안한 바이노럴 신호는, 다르게 프로세싱하여, 복수의 채널들의 좌측 및 우측채널 들, 상기 복수의 채널들의 전방 및 후방채널, 그리고 상기 복수의 채널들의 중앙 및 비-중앙 채널들 중의 적어도 한 쌍간의 유사성을 감소시킴으로서 성취될 수 있다는 것이다. 이러한 내부-유사성 감소된 채널세트는 각 좌 우측 귀를 위한 믹서들이 후속하는 복수의 방향성 필터로 공급된다. 멀티-채널 입력 신호의 채널들의 내적-유사성을 감소시킴으로써, 바이노럴 출력 신호의 공간넓이가 증가 될 수 있고 외재화가 개선될 수 있다.
본 출원의 기초가 되는 다른 아이디어는 헤드폰 재생을 위한 좀 더 안정적이고 편안한 바이노럴 신호가, 복수의 채널들 중 적어도 두 개의 채널들간에 위상 및/또는 크기 변경을 다르게 -스펙트럴하게 다양한 면에서- 수행하여, 내부-유사성 감소된 채널들의 세트를 획득하고, 결국, 각 좌측 및 우측귀를 위한 각각의 믹서들이 후속하는 복수의 방향성 필터들로 공급됨으로써 성취될 수 있다는 것이다. 다시, 멀티-채널 입력 신호의 채널들의 내부-유사성을 감소시킴으로써, 바이노럴 출력 신호의 공간적 넓이가 증가되고 외재화가 향상될 수 있다.
앞서 언급된 이점들은 또한 내부-유사성 감소 머리전송함수 세트를 형성할 때, 본래의 복수의 머리전송 함수들의 임펄스 응답들이 서로 관련되어 지연되도록 유발하거나, 또는 서로 관련된 본래의 복수의 머리 전송 함수들이 - 스펙트럴하게 다양한 면에서- 서로 다르게 관련되도록 함으로써 성취될 수 있다. 상기 형성은 디자인 단계로서 오프라인에서 또는 바이노럴 신호 생성시 온라인에서 수행될 수 있는데, 이는 머리전송함수를, 예를 들면, 가상 사운드 소스 위치의 표시로 사용될 수 있는 방향성 필터로 사용하여 수행될 수 있다.
본 발명의 기초를 이루는 또 다른 아이디어는, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션을 생성하는 룸 프로세서에 종속하는 멀티-채널 신호 채널의 모노 또는 스테레오 다운믹스가 형성되어 복수의 채널들이 멀티-채널 신호의 적어도 두 개 채널 중에 다른 레벨에서 모노 또는 스테레오 다운믹스에 기여할때, 영화와 음악의 어떤 부분들이 좀더 자연스럽게 인식된 헤드폰 재생의 결과를 가져온다는 것이다. 예를 들면, 본 발명자는 영화 대사와 음악에서의 음성은 전형적으로 멀티-채널 신호의 중앙 채널에 주로 믹스되며, 중앙-채널 신호는, 룸 프로세싱 모듈에 제공될때, 종종 부자연스러운 잔향과 스펙트럴하게 일치하지 않게 인식되는 출력을 초래한다는 것을 깨달았다. 본 발명가는, 그러나, 이러한 단점은, 중앙 채널에 3-12 dB, 또는 특히 6dB의 감쇠와 같은 레벨 감소를 갖는 룸 프로세싱 모듈에 공급함으로써 극복될 수 있다는 것을 발견했다.
다음으로, 바람직한 실시예가 도면을 참조하여 좀 더 자세하게 설명될 것이다.
도 1은 일 실시예에 따른 바이노럴 신호 생성장치의 블록도를 보여준다.
도 2는 다른 실시예에 따른 내부-유사성 감소 머리전송함수 세트를 형성하는 장치의 블록도를 보여준다.
도 3은 다른 실시예에 따른 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성 장치를 보여준다.
도 4a 내지 4b는 별개의 실시예에 따른 도 3의 룸 프로세서의 블록도를 보여준다.
도 5는 일 실시예에 따른 도 3의 다운믹스 생성기의 블록도를 보여준다.
도 6은 일 실시예에 따른 공간 오디오 코딩을 사용하는 멀티-채널 신호의 표현을 도시한 개요도을 보여준다.
도 7은 일 실시예에 따른 바이노럴 출력 신호 생성기를 보여준다.
도 8은 다른 실시예에 따른 바이노럴 출력 신호 생성기의 블록도를 보여준다.
도 9는 또 다른 실시예에 따른 바이노럴 출력 신호 생성기의 블록도를 보여준다.
도 10은 다른 실시예에 따른 바이노럴 출력 신호 생성기의 블록도를 보여준다.
도 11은 다른 실시예에 따른 바이노럴 출력 신호 생성기의 블록도를 보여준다.
도 12는 일 실시예에 따른 도 11의 바이노럴 공간 오디오 디코더의 블록도를 보여준다.
도 13은 일 실실예에 따른 도 11의 변경된 공간 오디오 디코드의 블록도를 보여준다.
도 1은 예정된 바이노럴 신호를 생성하는 장치를 보여주는데, 예를 들면, 복수의 채널을 표현하는 멀티-채널 신호에 기초하고 각 채널에 연관된 가상 사운드 소스 포지션을 갖는 스피커구성에 의해 재생이 예정된 헤드폰 재생을 위한 장치를 보여준다. 상기 장치는 참조기호 10으로 표시되고, 유사성 감소기(12), 복수(14)의 방향성 필터(14a-14h), 제1 믹서(16a)와 제2 믹서(16b)를 포함한다.
유사성 감소기(12)는 복수의 채널(18a-18d)을 표현하는 멀티-채널 신호(18)를 내부-유사성 감소된 채널들(20a-20d)의 세트(20)로 바꾸도록 구성된다. 멀티-채널 신호(18)로 표현되는 채널(18a-18d)의 수는 두 개 이상일 수 있다. 오직 도해의 목적으로, 4개의 채널들(18a-18d)이 명백하게 도 1에 도시된다. 복수의 채널들(18)은, 예를 들면, 중앙 채널, 전방 좌측채널, 전방 우측 채널, 후방 좌측 채널, 및 후방 우측 채널을 포함할 수 있다. 채널들(18a-18d)은, 예를 들면, 개별 악기, 보컬, 또는 다른 개별적인 사운드 소스를 표현하는 복수의 개별 오디오 신호들로부터 사운드 디자이너에 의해 믹싱되는데, 이때 채널들(18a-18d)은 각 채널들(18a-18d)에 연관된 미리 설정된 가상 사운드 소스 포지션들에 위치된 스피커를 갖도록, 스피커 설정(도1에 미도시)에 의하여 재생된다는 것을 가정 또는 의도한다.
도 1의 실시예에 따라, 복수의 채널들(18a-18d)은, 적어도, 좌측 및 우측 채널 한 쌍, 전방 및 후방 채널 한 쌍, 또는 중앙 및 비-중앙 채널 한 쌍을 포함한다. 물로, 단지-언급된 채널 쌍들의 하나 이상이 복수(18)의 채널들(18a-18d) 내에 존재할 수 있다. 유사성 감소기(12)는 다르게 프로세싱되고, 이에 따라, 복수의 채널들의 채널간의 유사성을 감소시킴으로써, 내부-유사성 감소된 채널들(20a-20d)의 세트(20)를 획득한다. 제1 측면에 따라, 복수채널(18)의 좌측 및 우측 채널, 복수채널(18)의 전방 및 후방 채널, 복수채널(18)의 중앙 및 비-중앙 채널들 중의 적어도 한 쌍 간의 유사성이 유사성 감소기(12)에 의해 감소되어, 내부-유사성 감소된 채널들(20a-20d)의 세트(20)를 획득할 수 있다. 제2 측면에 따라, 유사성 감소기(12)는 -추가적으로 또는 대안으로- 복수채널들의 적어도 두 채널들 간의 위상 및/또는 크기 변경을 다르게 -스펙트럴하게 다양한 면으로- 수행하여, 내부-유사성 감소된 채널들의 세트(20)를 획득할 수 있다.
아래 좀 더 상세하게 설명될, 유사성 감소기(12)는, 예를 들면, 각 채널 쌍들이 서로 관련되어 지연되도록 하거나, 또는 각 채널 쌍들이, 예를 들면, 각각의 복수의 주파수 대역들 내에서 다른 정도로 지연되도록 하여, 내부-상관 감소된 채널들 세트(20)를 획득함으로써 다른 프로세싱을 성취할 수 있다. 물론, 채널간의 상관을 감소시키는 다른 가능성들이 있다. 즉, 상관 감소기(12)는 각 채널의 스펙트럴 에너지 분산을 동일하게 하는 전송함수를 가질 수 있는데, 즉, 전송함수는 관련된 오디오 스펙트럼 범위에 대하여 하나의 크기이지만, 유사성 감소기(12)는 서브밴드 또는 주파수 컴포넌트의 위상을 이에 따라 다르게 변경한다. 예를 들면, 상관 감소기(12)는 채널들(18)의 모두 또는 하나 또는 수개에 대한 위상 변경을 유발하여 특정 주파수 대역에 대한 제1 채널의 신호가 적어도 하나의 샘플에 의하여 채널들이 서로 연관되어 지연되도록 구성될 수 있다. 또한, 상관 감소기(12)는 위상 변경을 유발하여 복수의 주파수 대역에 대한 채널들 중 또 다른 채널과 관련된 제1 채널의 그룹 지연이 적어도 1/8의 샘플 표준편차를 보여주도록 구성될 수 있다. 고려되는 주파수 대역들은 바크(Bark) 대역 또는 그 서브세트 또는 그 외의 주파수 대역 서브구역일 수 있다.
상관을 감소시키는 것이 인간의 청각 시스템의 머리속(in-the-head) 위치추정을 막는 유일한 방법은 아니다. 차라리, 상관은, 인간의 청각 시스템이 양쪽 귀에 도달하는 소리의 유사성을 측정하도록 하는 몇 가지 가능한 수단 중의 하나이다. 따라서, 유사성 감소기(12)는 각 채널 쌍들이, 예를 들면, 각 복수의 주파수 대역내에서 다른 양의 레벨 감소를 하도록 하여, 스펙트럴하게 형성된 방법으로 내부-유사성 감소된 채널들의 세트(20)를 획득하도록 함으로써, 다른 프로세싱을 성취할 수 있다. 이러한 스펙트럴 형성은, 예를 들면, 귓 볼로 가려진 덕분에, 전방채널 사운드에 비해 후방채널 사운드에 대해서 발생하는, 상대적으로 스펙트럴하게 형성된 감소를 과장한다. 따라서, 유사성 감소기(12)는 후방 채널(들)이 다른 채널과 관련하여 스펙트럴하게 변하면서 레벨감소되게 한다. 이러한 스펙트럴 형성에서, 유사성 감소기(12)는 관련된 오디오 스펙트럼 범위에 대하여 일정한 위상 응답을 가질 수 있으나, 유사성 감소기(12)는 서브밴드의 크기 및 그것의 주파수 컴포넌트를 다르게 변경한다.
멀티-채널 신호(18)가 복수의 채널들(18a-18d)을 표현하는 방법은 원칙적으로, 어떤 특정 표현에 제한되지 않는다. 예를 들면, 멀티-채널 신호(18)는 복수의 채널들(18a-18d)을 공간 오디오 코딩을 사용하여, 압축된 방식으로 표현한다. 공간 오디오 코딩에 따라, 복수의 채널들(18a-18d)은 채널이 다운믹스되는 다운믹스 신호의 평균으로 표현될 수 있는데, 이는 개별 채널들(18a-18d)이 다운믹스 채널 또는 다운믹스 채널들로 믹싱되는 믹싱율을 표현하는 다운믹스 정보를 수반하며, 또한 개별 채널들(18a-18d)간의 레벨/강도 차이, 위상 차이, 시간 차이 및/또는 상관/일관성의 정도를 표현하는 공간 파라미터들을 수반한다. 상관 감소기(12)의 출력은 개별 채널들(20a-20d)로 분할된다. 후자 채널들은, 예를 들면, 서브밴드로 스펙트럴하게 분해된 시간 신호 또는 스펙트럼 사진으로서의 출력일 수 있다.
방향성 필터들(14a-14h)은 채널들(20a-20d) 각각의 음향 전송을 각 채널과 연관된 가상 사운드 소스 포지션으로부터 청취자의 각 귓속으로 모델링하도록 구성된다. 도 1에서, 어떤 방향성 필터들(14a-14d)은 음성 전송을, 예를 들면, 왼쪽 귓속으로 모델링하는데 비해, 다른 방향성 필터들(14e-14h)은 음성 전송을 오른쪽 귓속으로 모델링한다. 방항성 필터들은 음향 전송을 실내의 가상 사운드 소스 포지션에서 청취자의 귓속으로 모델링할 수 있고, 이러한 모델링은 시간, 레벨, 스펙트럴 변경의 수행에 의해, 또한 선택적으로, 실내 반향 및 잔향을 모델링함으로써 수행될 수 있다. 방향성 필터(18a-18d)는 시간 또는 주파수 도메인에 구현될 수 있다. 즉, 방향성 필터들은 필터들, FIR 필터들과 같은 시간-도메인 필터일 수 있고 또는 각 전송함수 샘플 값들을 채널들(20a-20d)의 각 스펙트럴 값으로 곱함으로써 주파수 도메인상에 동작할 수 있다. 특히, 방향성 필터들(14a-14h)은 각 가상 사운드 소스 포지션에서 각 귓속까지의 각 채널 신호(20a-20d)의 상호작용을 기술하는 각 머리전송함수를 모델링하도록 선택될 수 있는데, 예를 들면, 이는 머리, 귀, 인간의 신체와의 상호작용을 포함한다. 제1 믹서(16a)는 음향 전송을 청취자의 왼쪽 귓속으로 모델링하는 방향성 필터들(14a-14d)의 출력을 믹싱하여, 제공되도록 예정된, 또는 바이노럴 출력 신호의 왼쪽 채널이 되도록 예정된 신호(22a)를 획득하도록 구성되고, 한편 제 2 믹서(16b)는 음향 전송을 청취자의 우측 귓속으로 모델링하는 방향성 필터들(14e-14h)의 출력을 믹싱하여 제공되도록 예정된, 또는 바이노럴 출력 신호의 오른쪽 채널이 되도록 예정된 신호(22b)를 획득하도록 구성된다.
이하 각 실시예들를 참조하여 좀 더 상세하게 기술될, 다른 컨트리뷰션(contribution)이 신호(22a, 22b)에 추가되어, 실내 반향 및/또는 잔향을 고려하게 될 것이다. 이러한 수단에 의하여, 방향성 필터(14a-14h)의 복잡성이 감소될 수 있다.
도 1의 장치에서, 유사성 감소기(12)는, 각 믹서(16a 및 16b)로 입력되는 상관된 신호의 합의 부정적인 부작용에 따른, 바이노럴 출력 신호(22a 및 22b)의 훨씬 감소된 공간적 넓이와 외재화 결과의 결핍에 대응한다. 유사성 감소기(12)에 의해 성취되는 비상관은 이러한 부정적 부작용을 감소시킨다.
다음의 실시예로 넘어가기 전에, 도 1은, 예를 들면 디코딩된 멀티-채널 신호로부터 헤드폰 출력의 생성을 위한 신호 흐름을 보여준다. 각 신호는 한 벌의 방향성 필터에 의해서 필터링된다. 예를 들면, 채널(18a)은 한 벌의 방향성 필터들(14a-14e)에 의해 필터링된다. 불행히도, 상관과 같은 상당량의 유사성은 전형적인 멀티-채널 사운드 생성시 채널(18a-18d)간에 존재한다. 이는 바이노럴 출력 신호에 부정적으로 영향을 미친다. 즉, 멀티-채널 신호를 방향성 필터(14a-14h)로 프로세싱한 후에, 방향성 필터(14a-14d)에 의한 중간신호 출력이 믹서(16a-16b)에 추가되어 헤드폰 출력 신호(20a-20b)를 형성한다. 유사/상관된 출력 신호들의 가중은 출력 신호(20a 및 20b)의 훨씬 감소된 공간폭과 외재와의 결핍을 초래한다. 이는 특히 좌측 및 우측 신호 및 중앙 채널의 유사성/상관에 대해 문제가 된다. 따라서, 유사성 감소기(12)는 가능한 한 이러한 신호들간의 유사성을 감소시키게 된다.
복수(18)의 채널들(18a-18d)의 채널간의 유사성을 감소시키기 위하여 유사성 감소기(12)에 의해 수행되는 대부분의 측정수단들은 방향성 필터들을 동시에 변경하여 앞서 언급된 음향전송 모델링뿐 아니라, 직전에 언급한 비상관과 같은 비유사성을 성취하도록, 유사성 감소기(12)를 제거함으로써 수행된다는 것을 주목해야한다. 따라서, 방향성 필터들은, 예를 들면, HRTF들을 모델링하는 것이 아니고 변경된 머리전송 함수를 모델링한다.
도 2는, 예를 들면, 음향 전송 채널들의 세트를 각각의 채널과 연관된 가상 사운드 소스 포지션으로부터 청취자의 귓속으로 모델링하는 내부-유사성 감소 머리전송함수 세트를 형성하는 장치를 보여준다. 상기 장치는 30으로 참조 되고 ,HRTFs 제공기(32)와 HRTF 프로세스(34)를 포함한다.
HRTFs 제공기(32)는 복수의 본래의 HRTF들을 제공하도록 구성한다. 스텝 32는 머리 전송함수를 특정 사운드 포지션에서 표준 더미 청취자의 귓속까지 계산하기 위하여, 표준 더미헤드를 사용하는 측정방법을 포함할 수 있다. 유사하게, HRTF 제공기(32)는 본래의 HRTF들을 메모리로부터 단순히 룩업(look-up)하거나 로드(load)하도록 구성될 수 있다. 대안으로, HRTF 제공기(32)는, 예를 들면 관심 가상 사운드 소스 포지션에 종속하는, HRTF들을 미리 설정된 식에 따라 계산하도록 구성될 수 있다. 따라서, HRTF 제공기(32)는 바이노럴 출력 신호 생성기의 디자인을 위한 디자인 환경에서 동작하도록 구성될 수 있고, 또는 그 자체로 그러한 바이노럴 출력 신호 생성기 신호의 부분이 되어, 예를 들면, 가상 사운드 소스 포지션의 선택이나 변화에 응답하는 것과 같이, 본래의 HRTF들을 온라인으로 제공할 수 있다. 예를 들면, 장치 30은 바이노럴 출력 신호 생성기의 부분일 수 있고, 이는 그들의 채널들과 연관된 다른 가상 사운드 소스 포지션들을 갖는 다른 스피커 구성들로 예정된 멀티-채널 신호를 수용할 수 있다. 이 경우, HRTF 제공기(32)는 본래의 HRTF들을 현재 예정된 가상 사운드 소스 포지션으로 적응되는 방법으로 제공하도록 구성될 수 있다.
HRTF 프로세서(34)는, 결국, 적어도 한 쌍의 HRTF의 임펄스 응답들이 서로 관련되어 대체되거나, 또는 그 위상 및/또는 크기 응답들을 서로 다르게 - 스펙트럴하게 다양한 면에서- 변경하도록 구성될 수 있다. 한 쌍의 HRTF는 좌 우측 채널들, 전방 및 후방 채널들, 중앙 및 비-중앙 채널들 중의 하나의 음향전송을 모델링 할 수 있다. 사실, 이는 멀티-채널 신호의 하나 또는 수개의 채널들에 적용되는 다음의 기술들 중의 하나 또는 조합에 의해서, 즉 각 채널의 HRTF를 지연시키고, 각 HRTF의 위상 응답을 변경하고 및/또는 각 HRTF 필터에 전역 필터와 같은 비 상관 필터를 적용하여 내부-상관 감소된 HRTF들의 세트를 획득하고, 및/또는 각 HRTF의 크기 응답을 -스펙트럴하게 변경하는 방법으로- 변경하여, 적어도 하나의 유사성 감소된 HRTF들의 세트를 획득함으로써, 성취될 수 있다. 다른 경우에, 각 채널들 간에 결과하는 비상관/비유사성은 인간 청각 시스템이 외적으로 사운드 소스의 위치를 파악하도록 지원하여, 머리속(in-the-head) 위치파악의 발생을 방지하도록 할 수 있을 것이다. 예를 들면, HRTF 프로세스(34)는 모든, 또는 하나 또는 수개의 채널 HRTF들의 위상 응답의 변경을 유발하여, 특정 주파수 대역에 대한 제1 HRTF의 그룹 지연들이 HRTF들의 다른 하나와 관련되어 적어도 하나의 샘플에 의해 도입되거나 - 또는 제1 HRTF의 특정 주파수대역이 지연되도록 할 수 있다. 또한, HRTF 프로세서(34)는 위상 응답의 변경을 유발하여, 복수의 주파수대역에 대한 HRTF들의 다른 하나와 관련된 제1 HRTF의 그룹 지연들이, 적어도 1/8의 샘플 표준편차를 보여주도록 구성될 수 있다. 고려되는 주파수 대역은 바크대역 또는 그 서브세트 또는 그 외의 주파수 대역 서브구역일 수 있다.
HRTF 프로세스(34)에서 기인하는 내부-유사성 감소 HRTF들 세트는 도 1의 장치의 방향성 필터들(14a-14h)의 HRTF들을 설정하도록 사용될 수 있고, 이때 유사성 감소기(12)가 존재 또는 부재할 수 있다. 변경된 HRTF들의 비-유사성 속성으로 인해, 바이노럴 출력 신호의 공간 폭 및 개선된 외재화와 관련된 앞서 언급된 이점들이 유사성 감소기(12)가 없을때 조차 유사하게 성취될 수 있다.
위에서 언급되었듯이, 도 1의 장치는 입력 채널들(18a-18d) 중 적어도 몇몇의 다운믹스에 기초한 바이노럴 출력신호의 실내 반향 및/또는 잔향 관련 컨트리뷰션을 획득하도록 구성된 추가적인 패스가 수반될 수 있다. 이는 방향성 필터들(14a-14h)의 복잡성을 경감시킨다. 이와 같은 바이노럴 출력 신호의 실내 반향 및/또는 잔향 관련 컨트리뷰션 생성 장치가 도 3에 도시된다. 본 장치(40)는 다운믹스 생성기(42)와 룸 프로세서(44)를 포함하며, 다운믹스 생성기(42)는 후속하는 룸 프로세서(44)와 서로 직렬로 연결된다. 본 장치(40)는 멀티-채널 신호(18)가 입력되는 도 1의 장치의 입력과 바이노럴 출력 신호의 출력 사이에 연결되며, 이때 룸 프로세서(44)의 좌측 채널 컨트리뷰션(46a)이 출력(22a)에 추가되고 룸 프로세서(44)의 우측 채널 컨트리뷰션(46b)이 출력(22b)에 추가된다. 다운믹스 생성기(42)는 멀티-채널 신호(18)로부터 모노 또는 스테레오 다운믹스(48)를 형성하고, 상기 프로세서(44)는 모노 또는 스테레오 신호(48)에 기초한 실내 반향 및/또는 잔향을 모델링함으로써, 바이노럴 신호의 실내 반향 및/또는 잔향 관련 컨트리뷰션의 좌측 채널(46a)과 우측 채널(46b)을 생성하도록 구성된다.
룸 프로세서(44)의 기초가 되는 아이디어는 실내에서 발생하는 실내 반향/잔향이 청취자에게 명료하게 모델링될 수 있고, 이는 멀티-채널 신호(18) 채널들의 단순한 합과 같은 다운믹스에 기초한다는 것이다. 실내 반향/잔향이 사운드 소스로부터 귓속까지의 직접 경로 또는 가시선을 따라 이동하는 소리보다 더 늦게 발생하기 때문에, 룸 프로세서의 임펄스 응답은 도 1의 방향성 필터들의 임펄스 응답들의 말미(tail)에 대한 표현이다. 방향성 필터들의 임펄스 응답들은, 결국, 직접경로, 반향, 청취자의 머리, 귀, 어깨에서 발생하는 감쇠를 모델링하도록 제한되어, 방향성 필터의 임펄스 응답을 단축시킨다. 물론, 방향성 필터로 모델링되는 것과 룸 프로세서(44)로 모델링되는 것 간의 경계가 자유로이 달라져서 방향성 필터가, 예를 들면, 제1 실내 반향/잔향 또한 모델링하도록 할 수 있다.
도 4a 및 4b는 룸 프로세서의 내부 구조에 대한 가능한 구현을 보여준다. 도 1a에 따르면, 룸 프로세서(44)에는 모노 다운믹스 신호(48)가 제공되고 두 개의 잔향 필터들(50a 및 50b)을 포함한다. 방향성 필터에 유사하게, 잔향 필터들(50a 및 50b)은 시간 도메인이나 주파수 도메인에서 작동하도록 구현될 수 있다. 두 입력 모두 모노 다운믹스 신호(48)를 수신한다. 잔향 필터(50a)의 출력은 좌측 채널 컨트리뷰션 출력(46a)을 제공하는데 비해, 잔향 필터(50b)는 우측 채널 컨트리뷰션 신호(46b)를 출력한다. 도 4b는 룸 프로세서(44)의 내부 구조의 예를 보여주는데, 룸 프로세서(44)에는 스테레오 다운믹스 신호(48)가 제공된다. 이 경우, 룸 프로세서는 잔향 필터들(50a-50d)을 포함한다. 잔향 필터들(50a 및 50b)의 입력들은 스테레오 다운믹스(48)의 제1 채널(48a)에 연결되고, 반면 다른 잔향 필터들(50c 및 50d)의 입력들은 스테레오 다운믹스(48)의 제2 채널(48b)에 연결된다. 잔향 필터들(50a 및 50c)의 출력들은 가산기(52a)의 입력에 연결되고, 상기 가산기의 출력은 좌측 채널 컨트리뷰션(46a)을 제공한다. 다른 잔향 필터들(50b 및 50d)의 출력들은 또 다른 가산기(52b)의 입력에 연결되고, 상기 가산기의 출력은 우측 채널 컨트리뷰션(46b)을 제공한다.
비록 다운믹스 생성기(42)가 멀티-채널 신호(18)의 채널을 -각 채널을 동등하게 다루면서- 단순히 합산할 수 있다고 설명되어 왔지만, 이는 도 3의 실시예에 따른 경우는 아니다. 오히려, 도 3의 다운믹스 생성기(42)는 모노 또는 스테레오 다운믹스(48)를 형성하여, 복수의 채널들이 멀티-채널 신호(18)의 적어도 두 채널들 중에서 다른 레벨에서 모노 또는 스테레오 다운믹스에 기여하도록 구성된다. 이러한 측정에 의해서, 특정 채널 또는 멀티-채널의 특정 채널들로 믹싱되는 스피치 또는 배경음악과 같은 멀티-채널 신호의 특정 콘텐츠는 룸 프로세싱으로부터 차단되거나 또는 룸 프로세싱되도록 고무되어 부자연스러운 소리를 피할 수 있다.
예를 들면, 도 3의 다운믹스 생성기(42)는 모노 또는 스테레오 다운믹스(48)를 형성하여, 멀티-채널 신호(18)의 복수의 채널들의 중앙 채널이 모노 또는 스테레오 다운믹스 신호(48)를 멀티-채널 신호(18)의 다른 채널들과 관련하여 레벨-감소된 상태에 있도록 한다. 예를 들면, 레벨 감소의 정도는 3dB 과 12dB 사이이다. 레벨 감소는 멀티-채널 신호(18)의 효과적인 채널 스펙트럴 범위에 걸쳐 고르게 펼쳐지거나, 또는 음성 신호에 의해 전형적으로 점유되는 스펙트럴 부분과 같은, 특정 스펙트럴 부분에 집중되듯이 주파수 종속적일 수 있다. 다른 채널들과 관련된 레벨 감소의 정도는 모든 다른 채널들에 대해서 동일하다. 즉, 다른 채널들은 다운믹스 신호(48)로 동일 레벨로 믹싱될 수 있다. 대안으로, 다른 채널들은 다운믹스 신호(48)로 동일하지 않은 레벨로 믹싱될 수 있다. 이때, 다른 채널들에 관련된 레벨 감소의 정도는 다른 채널들의 평균값 또는 감소된 것을 포함하는 모든 채널들의 평균값에 대해 측정될 수 있다. 만일 그렇다면, 다른 채널들의 믹싱 가중치의 표준 편차 또는 모든 채널들의 믹싱 가중치의 표준 편차는 직전에 언급된 평균값에 관련된 레벨-감소된 채널의 믹싱 가중치의 레벨 감소의 66%보다 더 작을 수 있다.
중앙 채널과 관련된 레벨 감소의 효과는 컨트리뷰션들(55a 및 56b)을 통해 획득된 바이노럴 출력 신호가 - 이하 좀더 자세하게 논의되는 적어도 어떤 조건에서 - 레벨 감소가 없는 것보다 좀더 자연스럽게 청취자에게 인식된다는 것이다. 즉, 다운믹스 생성기(42)는, 다른 채널들의 가중치들과 관련되어 감소된 중앙 채널과 연관된 가중치로, 멀티-채널 신호(18)의 채널들의 가중된 합계를 형성한다.
중앙 채널의 레벨 감소는 특히 영화 대사나 음악의 음성 부분들에서 이점이 된다. 이러한 음성부분에 대해 획득된 청취감은 비-음성 위상내의 레벨 감소로 인한 사소한 단점을 충분히 보상한다. 그러나, 다른 실시예에 따르면, 레벨 감소는 일정하지 않다. 오히려, 다운믹스 생성기(42)는 레벨 감소가 스위치 오프되는 모드와 스위치 온되는 모드간에 스위칭 되도록 구성될 수 있다. 즉, 다운믹스 생성기(42)는 시변(time-varying) 방식으로 레벨 감소의 정도를 변화시키도록 구성될 수 있다. 이러한 변화는, 0 과 최대값 사이의, 이진 또는 아날로그 특성일 수 있다. 다운믹스 생성기(42)는 멀티-채널 신호(18) 내에 포함된 정보에 따른 모드 스위칭 또는 레벨 감소량 변화를 수행할 수 있다. 예를 들면, 다운믹스 생성기(42)는 음성 위상을 검출하거나 이러한 음성 위상을 비-음성 위상으로부터 구별하도록 구성될 수 있고, 또는 음성 콘텐츠를 측정하는, 적어도 본래 규모인, 음성 콘텐츠 측정기준을, 중앙채널의 연속되는 프레임들에 할당할 수 있다. 예를 들면, 다운믹스 생성기(42)는 중앙 채널내의 음성의 존재를 음성 필터의 평균으로 검출하여 이 필터의 출력 레벨이 합계 문턱값을 초과하는지 여부를 결정한다. 그러나, 다운믹스 생성기(42)에 의한 중앙 채널내의 음성위상 검출이 앞에 언급된 시간-종속된 레벨 감소량 변화의 모드 스위칭을 만들기 위한 유일한 방법은 아니다. 예를 들면, 멀티-채널 신호(18)는 이와 연관된 부수 정보를 가질 수 있으며, 이는 특별히 음성 위상과 비-음성 위상을 구별하거나, 또는 음성 콘텐츠를 정량적으로 측정하도록 예정된다. 이 경우, 다운믹스 생성기(42)는 이러한 부수 정보에 응답하여 동작할 것이다. 다른 가능성은 다운믹스 생성기(42)가 앞서 언급된, 예를 들면, 중앙 채널, 좌측 채널들 및 우측 채널들의 현 레벨들간의 비교에 따른 모드 스위칭 또는 레벨 감소량 변화를 수행하는 것이다. 중앙 채널이 좌측 및 우측 채널들보다, 개별적으로 또는 그 합계와 관련하여 특정 문턱율을 초과하여 더 큰 경우에, 다운믹스 생성기(42)는 음성 위상이 현존한다고 가정하고 이에 따라 작동, 즉 레벨 감소를 수행할 것이다. 유사하게, 상기 다운믹스 생성기(42)는 중앙, 좌측 및 우측 채널들간의 레벨 차이을 사용하여 앞서 언급된 의존성을 구현할 수 있다.
그 밖에, 다운믹스 생성기(42)는 멀티-채널 신호(18)의 다중 채널들의 공간 이미지를 기술하도록 사용되는 공간 파라미터들에 응답할 수 있다. 이는 도 5에 도시된다. 도 5는 멀티-채널 신호(18)가 특별 오디오 코딩을 사용하여, 즉 복수의 채널이 다운믹싱되는 다운믹스 신호(62)와 상기 복수의 채널들의 공간 이미지를 기술하는 공간 파라미터들(64)을 사용함으로써, 복수의 채널들을 표현하는 경우의 다운믹스 생성기(42)의 예제를 보여준다. 선택적으로, 멀티-채널 신호(18)는 비율(ratio)을 기술하는 다운믹싱 정보를 포함하며, 상기 정보에 의해 개별 채널들은 다운믹스 신호(62)나 다운믹스 신호(62)의 개별 채널들로 믹싱될 수 있는데, 이는 다운믹스 채널(62)이, 예를 들면, 보통의 다운믹스 신호(62)이거나 스테레오 다운믹스 신호(62)이기 때문이다. 도 5의 다운믹스 생성기(42)는 디코더(64)와 믹서(66)를 포함한다. 디코더(64)는, 공간 오디오 디코딩에 따라서, 멀티-채널 신호(18)를 디코딩하여 그중에서도 중앙 채널(66) 및 다른 비-중앙 채널들(68)을 포함하는 복수의 채널들을 획득한다. 믹서(66)는 중앙 채널(66)이고 다른 비-중앙 채널들(68)을 믹싱하여 앞서 언급된 레벨 감소를 수행함으로써, 모노 또는 스테레오 신호(48)를 도출하도록 구성된다. 점선(70)으로 표시된 것처럼, 상기 믹서(66)는 공간 파라미터(64)를 사용하여, 앞서 언급된 것처럼, 레벨 감소 변화량의 레벨 감소 모드와 비-레벨 감소 모드간에 스위칭하도록 구성된다. 믹서(66)에 의해 사용되는 공간 파라미터(64)는, 예를 들면, 중앙 채널(66), 좌측 또는 우측 채널이 다운믹스 신호(62)로부터 도출되는 방법을 기술하는 채널 예측 계수들일 수 있으며, 이때 믹서(66)는 추가적으로 내부-채널 일관성/상호-상관 파라미터들을 사용할 수 있는데, 상기 파라미터들은 앞서 언급된 좌측 및 우측 채널들 간의 일관성 또는 상호-상관을 표현하고, 결국, 각각 전방 좌측과 후방 좌측 채널들, 및 전방 우측과 후방 우측 채널들의 다운믹스들일 수 있다. 예를 들면, 중앙 채널은 스테레오 다운믹스 신호(62)의 앞서 언급된 좌측 채널과 우측채널로 고정율로 믹싱될 수 있다. 이 경우, 두 채널 예측 계수들은 중앙, 좌측 및 우측 채널들이 스테레오 다운믹스 신호(62)의 두 채널의 각 선형 조합으로부터 도출되는 방법을 결정할 수 있을 만큼 충분하다. 예를 들면, 믹서(66)는 채널 예측 계수의 합계와 차이 간 비율을 사용하여 음성 위상과 비-음성 위상을 구분할 수 있도록 구성된다.
비록 중앙 채널과 관련된 레벨 감소가 멀티-채널 신호(18)의 적어도 두 개 채널들 중에서 다른 레벨에서 모노 또는 스테레오 다운믹스에 기여하는 복수의 채널들의 가중된 합계를 예시하기 위하여 기술되어왔으나, 다른 예들이 있는데, 여기서, 다른 채널들이 또 다른 채널 또는 그 밖의 채널들과 관련되어 유리하게 레벨-감소 또는 레벨-증강되는데, 이는 이러한 채널이나 채널들내의 어떤 사운드 소스 콘텐츠 존재는 멀티-채널 신호내의 다른 콘텐츠와 동일한 레벨이지만 감소된/증가된 레벨로 룸 프로세싱되거나 또는 되지 않기 때문이다.
도 5는 다운믹스 신호(62)와 공간 파라미터들(64)의 평균으로 복수의 입력 채널을 표현할 가능성과 관련하여 일반적으로 설명된다. 도 6과 관련하여, 설명이 심화될 것이다. 도 6과 관련된 기술은 또한 도 10 내지 13과 관련되어 설명되는 후속하는 실시예를 이해하도록 사용된다. 도 6은 복수의 서브밴드들(82)로 스펙트럴하게 분해되는 다운믹스 신호(62)를 보여준다. 도 6에서, 상기 서브밴드들(82)은, 주파수 도메인 화살표(84)에 표시된 것처럼, 아래에서 위쪽으로 증가하는 서브밴드 주파수로 배열되는 서브밴드들(82)로 수평선상에 연장되는 것으로 도시된다. 이러한 수평 방향을 따르는 연장은 시간 축들(86)을 의미한다. 예를 들며, 다운믹스 신호(62)는 서브밴드(82)당 스펙트럴 값들(88)의 시퀀스를 포함한다. 서브밴드들(82)이 샘플 값들(88)로 샘플링되는 시간 해상도는 필터뱅크 슬롯들(90)에 의해 정의될 수 있다. 따라서, 시간 슬롯들(90)과 서브밴드들(82)은 어떤 시간/주파수 해상도 또는 그리드(grid)를 정의한다. 저 빈도(coarser) 시간/주파수 그리드는 도 6에 점선으로 표시된 것처럼, 이웃하는 샘플 값들(88)을 시간/주파수 타일(tiles)(92)로 결합함으로써 정의되는데, 이러한 타일들은 시간/주파수 파라미터 해상도 또는 그리드를 정의한다. 앞서 언급된 공간 파라미터들(62)은 시간/주파수 파라미터 해상도(92)내에 정의된다. 시간/주파수 파라미터 해상도(92)는 시간에 따라 변화될 수 있다. 이로 인하여, 멀티-채널 신호(62)는 연속하는 프레임들(94)로 분할될 수 있다. 각 프레임에 대하여, 시간/주파수 해상도 그리드(92)는 개별적으로 설정될 수 있다. 디코더(64)가 시간 도메인내에 다운믹스 신호(62)를 수신하는 경우, 디코더(64)는 내부 분석 필터뱅크를 포함함으로써, 도 6에 도시된 것처럼, 다운믹스 신호(62)의 표현을 도출하도록 할 수 있다. 대안으로, 다운믹스 신호(62)는 도 6에 도시된 형태로 디코더(64)로 들어가는데, 이 경우 어떤 분석 필터뱅크도 디코더(64)내에 필요치 않다. 도 5에서 앞서 언급된 것처럼, 각 타일(92)에 대해서, 두 채널 예측 계수들, 시간/주파수 타일(92)과 관련하여, 좌측 및 우측 채널들이 스테레오 다운믹스 신호(62)의 좌측 및 우측 채널들로부터 도출되는 방법을 보여주면서 존재할 수 있다. 추가적으로, 내부-채널 일관성/상호-상관(ICC) 파라미터가 스테레오 다운믹스 신호(62)로부터 도출될 좌측 및 우측 채널간의 ICC 유사성을 나타내는 타일(92)에 대해 존재할 수 있으며, 이때 한 채널이 스테레오 다운믹스 신호(62)의 한 채널로 완전하게 믹싱되며, 한편 다른 채널들은 스테레오 다운믹스 신호(62)의 그 밖의 채널들로 완전하게 믹싱된다. 그러나, 채널 레벨 차이(CLD) 파라미터는 방금 언급된 좌측 및 우측 채널들간의 레벨차이를 나타내는 각 타일(92)에 대하여 추가적으로 존재할 수 있다. 로그 스케일의 비-균일 양자화가 CLD 파라미터들에 적용될 수 있는데, 채널간 큰 레벨차이가 있는 경우에 상기 양자화는 0 dB에 근접한 높은 정확도와 낮은 해상도를 갖는다. 또한, 추가적인 파라미터들이 공간 파라미터(64)내에 존재할 수 있다. 이 파라미터들은 채널들과 관련된 CDC와 ICC를 정의하며, 이는 믹싱에 의해서, 후방 좌측, 전방 좌측, 후방 우측 및 전방 좌측 채널들 같은 직전에 언급된 좌측 및 우측 채널들을 형성하도록 제공된다.
앞서 언급된 실시예들은 서로 결합될 수 있다는 것에 주목해야 한다. 어떤 결합 가능성은 이미 위에서 언급되었다. 또 다른 가능성들이 도 7의 실시예들과 관련하여 다음에 언급될 것이다. 또한, 도 1 및 5의 앞서 언급된 실시예들은 중간 채널들(20, 66 및 68), 각각이 장치내에 실제로 존재함을 가정하였다. 그러나, 이는 필요치 않다. 예를 들면, 도 2의 장치에서 도출된 변경된 HRTF들은 유사성 감소기(12)를 생략함으로써 도 1의 방향성 필터들을 정의하도록 사용될 수 있고, 이 경우, 도 1의 장치는 도 5의 다운믹스 신호(62)와 같은 다운믹스 신호에서 동작하며, 복수의 채널들(18a-18d)을 표현할 수 있는데, 이는 공간 파라미터가 시간/주파수 파라미터 해상도(92)내의 변경된 HRTF들을 적절하게 결합하고, 이에 따라 획득된 선형 결합 계수를 적응하여 바이노럴 신호(22a 및 22b)를 형성하도록 함으로써 가능하다.
유사하게, 다운믹스 생성기(42)는 공간 파라미터들(64)과 중앙 채널을 위해 성취될 레벨 감소량을 적절하게 결합하여 모노 또는 룸 프로세서(44)로 예정된 다운믹스(48)를 도출하도록 구성될 수 있다. 도 7은 일 실시예에 따른 바이노럴 출력 신호 생성기를 보여준다. 생성기(100)는 멀티-채널 디코더(102), 바이노럴 출력(104), 및 멀티-채널 디코더(102)와 바이노럴 출력(104) 간에 연장된 두 개의 경로, 즉 직접 경로(106)와 잔향 경로(108)를 포함한다. 직접 경로내에, 방향성 필터들(110)이 멀티-채널 디코더(102)의 출력에 연결된다. 직접 경로는 제1 그룹 가산기들(112)과 제2 그룹 가산기들(114)을 더 포함한다. 가산기들(112)은 방향성 필터들(110)의 제1 절반의 출력 신호를 합산하고, 가산기들(114)은 방향성 필터들(110)의 제2 절반의 출력 신호를 합산한다. 제1 및 제2 가산기들(112 및 114)의 합산된 출력은 바이노럴 출력 신호(22a 및 22b)의 앞서 언급된 직접 경로 컨트리뷰션을 표현한다. 가산기(116 및 118)는 컨트리뷰션 신호들(22a 및 22b)을 잔향 경로(108), 즉 신호들(46a 및 46b)에 의해 제공된 바이노럴 컨트리뷰션 신호들과 결합하기 위해서 제공된다. 잔향 경로(108)내에서, 믹서(120)와 룸 프로세서(122)는 멀티-채널 디코더(102)의 출력과 가산기들(16 및 118)의 각 입력 사이에서 직렬로 연결되고, 바이노럴 출력 신호를 정의하는 그 출력들은 출력 104에 출력된다.
도 7의 장치에 대한 후속하는 설명의 이해를 쉽게 하기 위하여, 도 1 내지 6의 참조부호가 부분적으로 사용되어, 도 7 내의 구성요소를 표시하는데, 이는 도 1 내지 6에 나타나는 구성요소들에 대응하며, 또한 그 기능성에 대한 책임을 가정한다. 대응하는 설명은 다음의 설명에서 좀 더 명백해질 것이다. 그러나, 다음의 설명을 쉽게 하기 위하여, 후속하는 실시예들은 유사성 감소기가 상관 감소를 수행한다는 가정하에 기술된다. 따라서, 후자는 이후, 상관 감소기로 표시된다. 그러나, 앞에서 명백해졌으므로, 이후 기술되는 실시예들은 유사성 감소기가 상관보다는 유사성의 감소를 수행하는 경우로 쉽게 전이될 수 있다. 또한, 이후 기술될 실시예들은, 비록 앞서 기술된 것처럼, 다른 실시예들로의 전이가 쉽게 성취가능 하더라도, 룸 프로세싱에 대한 다운믹스를 생성하는 믹서는 중앙 채널의 레벨-감소를 생성한다는 것을 가정한다.
도 7의 장치는 디코딩된 멀티-채널 신호(124)로부터의 출력(104)에 헤드폰 출력을 생성하는 신호 흐름을 사용한다. 디코딩된 멀티-채널(124)은 비트스트림 입력(126)의 비트스트림 입력으로부터, 예를 들면 공간 오디오 디코딩으로, 멀티-채널 디코더(102)에 의해 도출된다. 디코딩 이후에, 각 신호 또는 디코딩된 멀티-채널 신호(124)의 각 신호 또는 채널은 한 쌍의 방향성 필터들(110)에 의해 필터링된다. 예를 들면, 상기 디코딩된 멀티-채널 신호(124)의 제1(상부) 채널은 방향성 필터들(20) DirFilter(1,L) 및 DirFilter(1,R)에 의해 필터링되고, 제2 신호(위로부터 두번째) 또는 채널은 방향성 필터들 DirFilter(2,L) 및 DirFilter(2,R), 등에 의해 필터링된다. 이러한 필터들(110)은 실내의 가상 사운드 소스로부터 청취자의 귓속으로 음향 전송, 소위 바이노럴 실내 전송 함수(BRTF)를 모델링할 수 있다. 이들은 시간, 레벨 및 스펙트럴 변경을 수행할 수 있고 또한 부분적으로 실내 반향 및 잔향을 모델링할 수 있다. 방향성 필터들(110)은 시간 또는 주파수 도메인내에 구현될 수 있다. 많은 필터들(110)이 요구되기 때문에(Nx2, N은 디코딩된 채널들의 수), 만일 그들이 실내 반향과 잔향을 완전하게 모델링해야 한다면, 이러한 방향성 필터들은 차라리 긴, 즉 44.1 kHz의 20000 필터 탭들일 수 있으며, 이 경우 필터링의 프로세스는 계산적으로 부담된다. 방향성 필터(110)는 최소한으로 감소되고, 머리전송 함수(HRTFs)와 공통 프로세싱 블록(122)은 실내 반향 및 잔향을 모델링하도록 사용된다. 룸 프로세싱 모듈(122)은 잔향 알고리즘을 시간 또는 주파수 도메인내에 구현할 수 있고 하나 또는 두개의 채널 입력 신호(48)로부터 동작할 수 있는데, 이는 믹서(120)내의 믹싱 매트릭스에 의해 디코딩된 멀티-채널 입력 신호(124)로부터 계산된다. 룸 프로세싱 블록은 실내 반향 및/또는 잔향을 구현한다. 실내 반향 및 잔향은 사운드의 위치파악에, 특히 거리 및 외재화(사운드가 청취자의 머리 외부에서 인식된다는 것을 의미)와 관련되어, 필수적이다.
전형적으로 멀티-채널 사운드는 지배적인 사운드 에너지가 전방 채널, 즉, 좌측 전방, 우측 전방 채널내에 포함되도록 생성된다. 영화 대사의 음성과 음악은 전형적으로 주로 중앙 채널로 믹싱된다. 만일 중앙 채널신호가 룸 프로세싱 모듈(122)로 제공된다면, 결과 출력은 부자연스러운 잔향과 스펙트럴하게 동일하지 않게 인식된다. 따라서, 도 7의 실시예에 따라, 중앙 채널이, 6dB 까지 감쇠될 정도의 상당한 레벨 감소를 갖는 룸 프로세싱 모듈(122)로 제공되어, 앞서 표시한 것 처럼, 믹서(120)내에서 레벨 감소가 수행된다. 지금까지, 도 7의 실시예는 도 3 및 5에 따른 구성을 포함하며, 도 7의 참조부호들 102,124,120 및 122는 도 3 및 5의 참조부호들 18, 64, 그리고 66 및 68의 결합, 66 및 44의 결합과 각각 대응한다.
도 8은 또 다른 실시예에 따른 또 다른 바이노럴 출력 신호 생성기를 보여준다. 상기 생성기는 일반적으로 참조부호 140으로 표시된다. 도 8의 기술을 쉽게 하기 위하여 동일한 참조부호들은 도 7과 동일하게 사용될 것이다. 믹서(120)는 도 3, 5 및 7의 실시예에서 보여주는 것 같은 기능성, 즉 중앙 채널과 관련된 레벨 감소를 수행하는 기능성을 가질 필요가 없다는 것을 나타내기 위하여, 참조부호 40이 각 블록들(102, 210 및 122)의 배열을 나타내기 위하여 사용된다. 다시 말해, 믹서(122)내의 레벨 감소는 도 8의 경우 선택적이다. 그러나, 도 7과 달리, 비상관기들이 각 방향성 필터의 쌍들(110)과 디코딩된 멀티-채널 신호(124)의 연관된 채널에 대한 디코더(102)의 각 출력간에 연결된다. 비상관기들은 참조부호 1421, 1424로 나타낸다. 비상관기(1421-1424)는 도 1의 상관 감소기(12)처럼 동작한다. 비록 도 8에 도시되어 있지만, 비상관기(1421-1424)는 디코딩된 멀티-채널 신호(124)의 각 채널에 제공된다. 차라리, 하나의 비상관기로 충분할 것이다. 비상관기들(142)은 단순히 지연일수 있다. 바람직하게, 각 지연들(1421-1424)에 의해 유발된 지연량은 서로 다를 것이다. 또 다른 가능성은 비상관기(1421-1424)가 전역 필터들, 일정한 크기의 전송함수를 갖는, 그러나, 각 채널의 스펙트럴 컴포넌트들의 위상을 변화시키는 필터 들일 수 있다. 비상관기(1421-1424)에 의한 위상 변경은 바람직하게는 각 채널에 대해서 다르다. 또 다른 가능성들도 물론 존재한다. 예를 들면, 비상관기(1421-1424)는 FIR 필터들 또는 이와 유사한 것들로서 구현될 수 있다.
따라서, 도 8의 실시예에 따르면, 구성요소들(1421-1424 ,110, 112 및 114)을 도 1의 장치(10)에서와 같이 작동한다.
도 8에 유사하게, 도 9는 도 7의 바이노럴 출력 신호 생성기의 변화를 보여준다. 따라서, 도 9는 도 7에서 사용된 동일한 참조부호를 사용하여 이하 설명된다. 도 8의 실시예와 유사하게, 믹서(122)의 레벨 감소기는 도 9의 경우 선택일 뿐이므로, 도 7에서의 참조부호 40이 도 9에서는 참조부호 40'로 표시된다. 도 9의 실시예는 상당한 상관이 멀티-채널 사운드 생성내의 모든 채널들 간에 존재한다는 문제점을 보여준다. 멀티-채널 신호들을 방향성 필터(110)로 프로세싱한 후에, 각 필터쌍의 두개-채널 중간 신호들이 가산기들(112 및 114)에 의해서 가산되어, 출력(104)에 헤드폰 출력신호를 형성한다. 상관된 출력 신호의 가산기(112 및 114)에 의한 합은 출력(104)에의 크게 감소된 출력신호의 공간넓이와 외재화의 결핍에 기인한다. 이는 특히 디코딩된 멀티-채널 신호(124)내의 좌측 및 우측 신호의 상관과 중앙채널에 대하여 문제가 된다. 도 9의 실시예에 따르면, 방향성 필터들은 가능한 멀리 비상관된 출력을 갖도록 구성된다. 이 결과, 도 9의 장치는 어떤 본래의 HRTF들의 세트를 기초로 방향성 필터들(110)에 의해 사용되는 내부-상관 감소 HRTF들의 세트를 형성하기 위한 장치(30)를 포함한다. 위에 기술된 것처럼, 장치(30)는 디코딩된 멀티-채널 신호(124)의 하나 또는 수개의 채널들과 연관된 방향성 필터 쌍의 HRTF들과 관련된 다음의 기술들 중 하나 또는 조합을 사용할 수 있는데,
예를 들면, 임펄스 응답, 예를 들어, 필터 탭들의 대치;
상기 각 방향성 필터들의 위상 응답의 변경; 및
전역통과 필터와 같은 비상관 필터를 각 채널의 각 방향성 필터들에 적용함으로써, 방향성 필터 또는 각 방향성 필터 쌍을 지연한다. 이러한 전역통과 필터는 FIR 필터로 구현가능하다.
위에 기술된 것처럼, 장치(30)는 비트스트림 입력(126)에 비트스트림이 의도되는, 확성기 구성내의 변화에 반응하여 동작할 수 있다.
도 7 내지 9의 실시예는 디코딩된 멀티-채널 신호와 관련된다. 다음의 실시예들은 헤드폰에 대한 파라메트릭 멀티-채널 디코딩과 관련된다.
일반적으로 말하면, 공간 오디오 코딩은 멀티-채널 압축 기술로, 멀티-채널 오디오 신호내의 인식적 내부-채널 무관련성을 이용하여 더 높은 압축률을 성취하는 것이다. 이는 공간 큐들(cues)과 공간 파라미터, 즉 멀티-채널 오디오 신호의 공간 이미지를 기술하는 파라미터들의 면에서 생각될 수 있다. 공간 큐들은 전형적으로 레벨/강도 차이, 위상 차이 및 채널들 간의 상관/일관성의 측정을 포함하며, 극도로 콤팩트하게 표현될 수 있다. 공간 오디오 코딩의 개념은 MPEG 서라운드 표준, 즉, ISO/IEC23003-1 내의 MPEG 결과에 의해 채택될 수 있다. 공간 오디오 코딩에 채용된 것들과 같은 공간 파라미터들은 또한 방향성 필터들을 기술하도록 채용될 수 있다. 이렇게 함으로써, 공간 오디오 데이터를 디코딩하고 방향성 필터들을 적용하는 단계가 결합되어 헤드폰 재생을 위한 멀티-채널 오디오를 효율적으로 디코딩하고 렌더링할 수 있다.
헤드폰 출력을 위한 공간 오디오 디코더의 일반적인 구조는 도 10에 도시된다. 도 10의 디코더는 일반적으로 참조 부호 200으로 표시되고 바이노럴 공간 서브밴드 변경기(202)를 포함하며, 바이노럴 공간 서브밴드 변경기는 스테레오 또는 모노 다운믹스 신호(204)에 대한 입력, 공간 파라미터들(206)에 대한 다른 입력 및 바이노럴 출력 신호(208)에 대한 출력을 포함한다. 다운믹스 신호는 공간 파라미터들(206)과 같이 앞서 언급된 멀티-채널 신호(18)를 구성하여 복수의 채널들을 표현한다.
내부적으로, 서브밴드 변경기(202)는 분석 필터뱅크(208), 매트릭싱 유닛 또는 선형 결합기(210), 및 합성 필터뱅크(212)를 포함하고, 이들은 서브밴드 변경기(202)의 다운믹스 신호 입력과 출력사이에 언급된 순서로 연결된다. 또한, 서브밴드 변경기(202)는 파라미터 변환기(214)를 포함하며, 상기 공간 파라미터 변환기에는 공간 파라미터들(206)과 장치(30)에서 획득한 변경된 HRTF들의 세트가 공급된다.
도 10에서, 예를 들면, 엔트로피 인코딩을 포함하는 다운믹스 신호는 이전에 디코딩된 것으로 가정한다. 바이노럴 공간 오디오 디코더에는 다운믹스 신호(204)가 공급된다. 파라미터 변환기(214)는 공간 파라미터들(206)과 변경된 HRTF 파라미터(216)의 형식으로 방향성 필터의 파라메트릭 서술을 사용하여 바이노럴 파라미터들(218)을 형성한다. 이러한 파라미터들(218)은 매트릭싱 유닛(210)에 의해 2대2 매트릭스의 형식(스테레오 다운믹스 신호의 경우) 및 1대2 매트릭스의 형식(모노 다운믹스 신호(204)의 경우)으로, 주파수 도메인내, 분석 필터뱅크(208)에 의한 스펙트럴 값들(88) 출력에 적용된다(도 6 참조). 즉, 바이노럴 파라미터들(218)은 도 6에 도시된 시간/주파수 파라미터 해상도(92)에 따라 다르며, 각 샘플값(88)에 적용된다. 보간법이, 매트릭스 계수들과 바이노럴 파라미터들(218)을 저빈도 시간/주파수 파라미터 도메인(92)에서 분석 필터 뱅크(208)의 시간/주파수 해상도까지, 고르게 하기 위하여 사용될 수 있다. 즉, 스테레오 다운믹스(204)의 경우, 유닛(210)에 의해 수행되는 매트릭싱은 다운믹스 신호(204)의 좌측 채널의 한 쌍의 샘플값마다 두 개의 샘플값과 다운믹스 신호(204)의 우측 채널의 대응하는 샘플값을 발생시킨다. 결과하는 두 개의 샘플 값들은 각각 바이노럴 출력 신호(208)의 좌측 및 우측 채널들의 부분이다. 모노 다운믹스 신호(204)의 경우, 유닛(210)에 의한 매트릭싱은 모노 다운믹스 신호(204)의 샘플값 마다 두 개의 샘플값들, 즉 바이노럴 출력 신호(208)의 좌측 채널에 대하여 하나와 우측 채널에 대하여 하나의 샘플값을 발생시킨다. 바이노럴 파라미터들(218)은 다운믹스 신호(204)의 하나 또는 두 개의 샘플값들로부터 바이노럴 출력 신호(208)의 각 좌측 및 우측 채널 샘플 값으로 이끌어지는 매트릭스 연산을 정의한다. 바이노럴 파라미터들(218)은 이미 변경된 HRTF 파라미터들을 반영한다. 따라서, 이들은 멀티-채널 신호(18)의 입력 채널들을 위에서 지시한 것처럼 역 상관시킨다.
따라서, 매트릭싱 유닛(210)의 출력은 도 6에 도시된 변경된 스펙트럼 사진이다. 합성 필터뱅크(212)는 이것으로부터 바이노럴 출력 신호(208)를 재건한다. 즉, 합성 필터뱅크(212)는 매트릭싱 유닛(210)에 의한 결과하는 두 개의 채널 신호 출력을 시간 도메인으로 변환한다. 이는 물론 선택적이다.
도 10의 경우, 실내 반향 및 잔향 효과는 별도로 나타나지 않는다. 만일 그렇다면, 이러한 효과들이 HRTF들(216)내에 고려되어야 한다. 도 11이 바이노럴 공간 오디오 디코도(200')를 분리된 룸 반향/잔향 프로세싱과 결합하는 바이노럴 출력 신호 생성기를 보여준다. 도 11의 참조부호 200'은 바이노럴 공간 오디오 디코더(200')가 변경되지 않은 HRTF들, 즉 도 2에 도시된 본래의 HRTF들을 사용할 수 있음을 나타낸다. 그러나, 선택적으로, 도 11의 바이노럴 공간 오디오 디코더(200')는 도 10에 도시된 것일 수 있다. 어떤 경우에, 도 11의 바이노럴 출력 신호 생성기(230)는 그외에 바이노럴 공간 디코더(200'), 다운믹스 오디오 디코더(232), 변경된 공간 오디오 서브밴드 변경기(234), 룸 프로세서(122), 및 두 개의 가산기(116 및 118)를 포함한다. 다운믹스 오디오 디코더(232)는 비트스트림 입력(126)과 바이노럴 공간 오디오 디코더(200')의 바이노럴 공간 오디오 서브밴드 변경기(202) 사이에 연결된다. 다운믹스 오디오 디코더(232)는 비트스트림 입력을 입력(126)에서 디코딩하여 다운믹스 신호(214)와 공간 파라미터들(206)을 도출하도록 구성된다. 바이노럴 공간 오디오 서브밴드 변경기(202)와 변경된 공간 오디오 서브밴드 변경기(234)는 공간 파라미터들(206)에 추가하여 다운믹스 신호(204)를 제공받는다. 변경된 공간 오디오 서브밴드 변경기(234)는 다운믹스 신호(204)로부터 -공간 파라미터(206)와 앞서 언급된 중앙 채널의 레벨 감소량을 반영하는 변경된 파라미터들(236)을 사용하여- 룸 프로세서(122)에 대한 입력으로 제공되는 모노 및 스테레오 다운믹스(48)를 계산한다. 바이노럴 공간 오디오 서브밴드 변경기(202)와 룸 프로세서(122)에 의한 컨트리뷰션 출력은 각각 가산기(116 및 118)에서 채널방식으로 합산되어, 출력(238)에 바이노럴 출력 신호를 발생시킨다.
도 12는 도 11의 바이노럴 공간 오디오 디코더(200')의 기능성을 도시한 블록 다이어그램을 보여준다. 도 12는 도 11의 바이노럴 공간 오디오 디코더(200')의 실제적인 내부구조를 보여주지 않지만, 바이노럴 공간 오디오 디코더(200')에서 획득한 신호 변경기를 도시한다는 것을 알아야 한다. 바이노럴 공간 오디오 디코더(200')의 내부구조는 일반적으로, 도 10에 도시된 구조를 따르며, 예외적으로 장치(30)는 본래의 HRTF들과 동작하는 경우 제거된다는 것이 상기된다. 또한, 도 12는 바이노럴 공간 오디오 디코더(200')의 기능성을 보여주는데, 이는 멀티-채널 신호(18)에 의해 표현되는 3개의 채널들만이 바이노럴 공간 오디오 디코더(200')에 의해 사용되어 바이노럴 출력 신호(208)를 형성하는 경우에 대한 예시이다. 특히, '2 부터 3', 즉 TTT 박스가 중앙 채널(242), 우측 채널(244) 및 좌측 채널(246)을 스테레오 다운믹스(204)의 두 채널들로부터 도출하기 위하여 사용된다. 즉, 도 12는 예시적으로 다운믹스(204)는 스테레오 다운믹스라는 것을 가정한다. TTT 박스(248)에 의해 사용되는 공간 파라미터들(206)은 앞서 언급된 채널 예측 계수들을 포함한다. 상관 감소는, 도 12의 DelayL, DelayR, 및 DelayC로 표시되는 3개의 비상관기들에 의해 성취된다. 이들은 예를 들면 도 1 및 7에서 소개된 비상관에 대응한다. 그러나, 이는 다시, 실제 구조는 도 10에 도시된 것에 대응한다고 하더라도, 도 12는 바이노럴 공간 오디오 디코더(200')에 의해 수행되는 신호 변경을 보여줄 뿐이라는 것을 상기시킨다. 따라서, 비록 상관 감소기(12)를 형성하는 지연들이 방향성 필터(14)를 형성하는 HRTF들과 관련된 별도의 특징으로서 표현되지만, 상관 감소기(12)내의 지연의 존재는 도 12의 방향성 필터들(12)의 본래의 HRTF들을 형성하는 HRTF 파라미터들의 변경으로 여겨질 수 있다. 먼저, 도 12는 단지 바이노럴 공간 오디오 디코더(200')가 헤드폰 재생을 위하여 채널을 비상관하는 것을 보여준다. 비상관은 단순평군, 즉, 매트릭스 M 및 바이노럴 공간 오디오 디코더(200')에 대한 파라메트릭 프로세싱시 지연블록을 가산함으로써, 성취될 수 있다. 따라서, 바이노럴 공간 오디오 디코더(200')는 다음의 변경들을 각 채널들에 적용할 수 있는데, 즉
바람직하게는 적어도 하나의 샘플로 중앙 채널을 지연,
각 주파수 대역내에 다른 인터벌로 중앙 채널을 지연,
바람직하게는 적어도 하나의 샘플로 좌측 및 우측 채널들을 지연, 및/또는
각 주파수 대역내에 다른 인터벌로 좌측 및 우측 채널들을 지연되도록 적용한다.
도 13은 도 11의 변경된 공간 오디오 서브밴드 변경기의 구조에 대한 예를 보여준다. 도 13의 서브밴드 변경기(234)는 2대3 또는 TTT 박스(262), 가중 스테이지(264a-264e), 제1 가산기들(266a 및 266b), 제2 가산기들(268a 및 268b), 스테레오 다운믹스(204)에 대한 입력, 공간 파라미터들(206)에 대한 입력, 잔차 신호(270)에 대한 입력과 룸 프로세서에 의해 처리되어, 도 13에 따른, 스테레오 신호가 되도록 예정된 다운믹스(48)에 대한 출력을 포함한다.
도 13이 구조적인 면에서 변경된 공간 오디오 서브밴드 변경기(234)에 대한 실시예를 정의하므로, 도 13의 TTT 박스(262)는 공간 파라미터를 사용하여 스테레오 다운믹스(204)로부터 중앙 채널, 우측 채널(244) 및 좌측 채널(246)을 재건한다. 도 12의 경우, 채널들(242-246)은 실제로 계산되지 않는다는 것이 다시 한번 상기된다. 차라리, 바이노럴 공간 오디오 서브밴드 변경기는 스테레오 다운믹스 신호(204)가 직접 HRTF들을 반향하는 바이노럴 컨트리뷰션으로 바뀌는 방식으로 매트릭스 M을 변경한다. 도 13의 TTT 박스(262)는, 그러나, 실제로 재건을 수행한다. 선택적으로, 도 13에 도시된 것처럼, TTT박스(262)는 스테레오 다운믹스(204)와 공간 파라미터들(206)에 기초하여 채널들(242-246)을 재건할 때, 예측 잔차를 반향하는 잔차 신호(270)를 사용할 수 있는데, 상기 공간 파라미터들은, 위에 언급된 것처럼, 채널 예측 계수들과, 선택적으로, ICC 값들을 포함한다. 제 1 가산기(266a)는 채널들(242-246)을 합산하여 스테레오 다운믹스(48)의 좌측채널을 형성하도록 구성된다. 특히, 가중된 합계는 가산기들(266a 및 266b)에 의해 형성되며, 가중치는 가중 스테이지들(264a, 264b, 264c 및 264e)에 의해 정의되며, 상기 각 가중 스테이지들은 각 채널 (246-242)에 가중치 EQLL, EQRL 및 EQCL 로 적용될 것이다. 유사하게, 가산기(268a 및 268b)는 가중치를 형성하는 가중 스테이지들(264b, 264c 및 264e)에 의해 채널들(246-242)의 가중된 합계를 형성하며, 상기 가중된 합계는 스테레오 다운믹스(48)의 우측채널을 형성한다.
가중 스테이지들(264a-264e)에 대한 파라미터들(270)은, 위에 기술된 것처럼, 위에 기술된 스테레오 다운믹스(48)내의 중앙채널 레벨 감소가 자연스러운 사운드 인식과 관련되어 유리하게 발생하도록, 선택된다.
따라서, 도 13은 도 12의 바이노럴 파라메트릭 디코더(200')의 조합내에 적용되는 룸 프로세싱 모듈을 보여준다. 도 13에서, 다운믹스 신호(204)는 모듈을 공급하도록 사용된다. 다운믹스 신호(204)는 멀티-채널 신호의 모든 신호를 포함하여 스테레오 호환성을 제공할 수 있도록 한다. 위에 언급된 것처럼, 감소된 중앙 신호만을 포함하는 신호를 갖는 룸 프로세싱 모듈을 공급하는 것이 바람직하다. 도 13의 변경된 공간 오디오 서브밴드 변경기는 이러한 레벨 감소를 수행하도록 제공된다. 특히, 도 13에 따르면, 잔차 신호(270)는 중앙, 좌측 및 우측 채널들(242-246)을 재건하도록 사용될 수 있다. 도 11에 도시되지는 않았지만, 중앙, 좌측 및 우측 채널들(242-246)의 잔차 신호는 다운믹스 오디오 디코더(232)에 의해 디코딩될 수 있다. EQ 파라미터들 또는 가중 스테이지들(264a-264e)에 의해 적용되는 가중치들은 좌측 및 우측, 중앙채널들(242-246)에 대한 실수값일 수 있다. 중앙채널(242)에 대한 단일 파라미터 세트가 저장되고 적용되어, 도 13에 따르면, 예시적으로, 중앙채널이 스테레오 다운믹스(48)의 좌측 및 우측 출력으로 동일하게 믹싱된다.
변경된 공간 오디오 서브밴드 변경기(234)로 공급되는 EQ 파라미터들(270)은 다음의 속성을 가질 수 있다. 첫째, 중앙채널 신호가 바람직하게는 적어도 6dB에서 감쇠될 수 있다. 또한, 중앙 채널 신호는 저역 특징을 가질 수 있다. 또한, 나머지 채널들의 다른 신호는 저 주파수에서 신장될 수 있다. 다른 채널들(244 및 246)과 관련하여 중앙 채널(242)의 더 낮은 레벨을 보상하기 위하여, 바이노럴 공간 오디오 서브밴드 변경기(202)내에 사용된 중앙 채널에 대한 HRTF 파라미터들의 이득이 이에 따라 증가될 것이다.
EQ 파라미터 설정의 주요 목표는 룸 프로세싱 모듈에 대한 출력내의 중앙 채널 신호의 감소이다. 그러나, 중앙 채널은 제한된 정도(중앙 신호가 TTT박스 내부의 좌측 및 우측 채널들로부터 차감되는)로 억제되어야 한다. 만일 중앙 레벨이 감소된다면, 좌측 및 우측 채널내의 아티팩트(artifacts)가 청취가능해진다. 그러므로, EQ 스테이지내의 중앙레벨 감소는 억제(suppression)와 아티펙트간의 트레이드 오프이다. EQ 파라미터의 고정된 설정을 발견하는 것이 가능지만, 모든 신호에 대해서 최적은 아니다. 따라서, 실시예에 따르면, 적응 알고리즘 또는 모듈(274)이 다음의 파라미터들의 하나 또는 조합에 의해 중앙 레벨 감소량을 제어하기 위하여 사용된다.
점선 276으로 표시되듯이, TTT 박스(262) 내부의 좌측 및 우측 다운믹스 채널(204)로부터 중앙채널(242)을 디코딩하기 위해 사용되는 공간 파라미터들(206)이 사용될 수 있다.
점선 278로 표시되듯이, 중앙, 좌측 및 우측 채널들의 레벨이 사용될 수 있다.
점선 278로 표시되듯이, 중앙, 좌측 및 우측 채널들(242-246)간의 레벨차이가 사용될 수 있다.
점선 278로 표시되듯이, 음성 활동 검출기 같은 단일형(single-type) 검출 알고리즘의 출력이 사용될 수 있다.
마지막으로 점선 280으로 표시되듯이, 오디오 콘텐츠를 기술하는 동적 메타데이터의 정태(static)가 중앙 레벨 감소량을 결정하기 위하여 사용될 수 있다.
비록 몇 가지 측면들이 장치의 맥락에서 설명되었지만, 이러한 측면들은 또한 대응하는 방법의 설명을 표현한다는 것이 명백하며, 이때, 블록이나 장치는 방법의 단계 또는 방법의 단계의 특징에 대응한다. 유사하게, 방법의 단계의 맥락에서 설명된 측면들은 또한 ASIC의 부분, 프로그램 코드의 서브루틴, 또는 프로그래밍된 프로그래머블 로직의 부분과 같은 대응하는 블록이나 아이템 또는 대응하는 장치의 특징을 표현한다.
본 발명의 인코딩된 오디오 신호는 디지털 저장 매체에 저장되거나 무선 전송 매체나 인터넷 같은 유선 전송 매체 같은 전송 매체상에 전송될 수 있다.
특정 구현 요건에 따라, 본 발명의 실시예는 하드웨어나 소프트웨어로 구현될 수 있다. 구현은, 전자적으로 판독가능한 저장된 제어 신호를 갖는, 디지털 저장 매체, 예를 들면, 플로피 디스크, DVD, CD, 롬, P롬, EP롬 및 EEP롬 또는 플래시 메모리를 사용하여 수행될 수 있으며, 이들은 관련된 방법이 수행되는 프로그래머블 컴퓨터 시스템과 협업(또는 협업 가능한)한다.
본 발명에 따른 어떤 실시예들은 전자적으로 판독가능한 제어 신호를 갖는 데이터 캐리어를 포함하며, 이는 프로그래머블 컴퓨터 시스템과 협업가능하여, 여기서 기술된 방법들 중의 하나가 수행된다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로 구현될 수 있으며, 상기 프로그램 코드는 컴퓨터 프로그램이 컴퓨터상에서 수행될 때 상기 방법 중의 하나를 수행하도록 동작한다. 프로그램 코드는 예를 들면, 기계 판독가능한 캐리어상에 저장된다.
다른 실시예는 여기 기술된 방법들 중의 하나를 수행하는 기계 판독 가능한 캐리어에 저장되는 컴퓨터 프로그램을 포함한다.
즉, 본 발명의 방법의 실시예는, 컴퓨터 프로그램이 컴퓨터상에서 수행될때, 여기 기술된 방법의 하나를 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법의 다른 실시예는 여기 기술된 방법의 하나를 수행하는 저장된 컴퓨터 프로그램을 포함하는 데이터 캐리어(또는 디지털 저장매체, 또는 컴퓨터-판독가능한 매체)이다.
본 발명의 방법의 또 다른 실시예는 여기 기술된 방법 중의 하나를 수행하는 컴퓨터 프로그램을 표현하는 데이터스트림 또는 신호의 시퀀스이다. 데이터스트림 또는 신호의 시퀀스는 예를 들면 데이터 통신 연결이나 인터넷을 통해 전송되도록 구성될 수 있다.
또 다른 실시예는 프로세싱 수단, 예를 들면, 컴퓨터 또는 프로그래머블 논리장치를 포함하고, 여기 기술된 방법 중의 하나의 수행에 적응되도록 구성된다.
또 다른 실시예는 여기 기술된 방법 중의 하나를 수행하는 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
몇몇 실시예들에서, 프로그래머블 논리장치(예를 들면 필드 프로그래머블 게이트 어레이)가 여기 기술된 방법의 몇몇 또는 모든 기능성을 수행하도록 사용될 수 있다. 몇몇 실시예들에서, 필드 프로그래머블 게이트 어레이는 마이크로프로세서와 협업하여 여기 기술된 방법 중의 하나를 수행한다. 일반적으로, 방법들은 어떤 하드웨어 장치에서도 바람직하게 수행된다.
위에 기술된 실시예들은 단지 본 발명의 원칙에 대한 도해일 뿐이다. 여기 기술된 방법과 세부사항들에 대한 변경이나 응용은 본 기술분야의 숙련된 기술자에게 명백하다는 것이 이해되어야 한다. 그러므로, 특허 청구항의 범위에 의해 제한받아야 하고 실시예상의 설명이나 설명에 의한 세부사항들에 의해 제한되지 않는다는 것이 의도된다.

Claims (16)

  1. 복수의 채널들을 표현하는 멀티-채널 신호에 기초하고 각 채널에 연관된 가상 사운드 소스 포지션을 갖는 스피커 구성에 의한 재생이 예정된 바이노럴 신호의 실내 반향/잔향( room reflection/reverberation) 컨트리뷰션을 생성하는 장치로,
    상기 멀티-채널 신호의 채널들의 모노 또는 스테레오 다운믹스를 형성하는 다운믹스 생성기; 및
    상기 모노 또는 스테레오 신호에 기초하여 실내 반향/잔향을 모델링함으로써, 상기 바이노럴 신호의 실내 반향/잔향 컨트리뷰션을 생성하는 룸 프로세서를 포함하고,
    상기 다운믹스 생성기는 모노 또는 스테레오 다운믹스를 형성하여, 상기 복수의 채널들이 상기 멀티-채널 신호의 적어도 두 개의 채널들 중 다른 레벨에서 상기 모노 또는 스테레오 다운믹스에 기여하도록 구성되고,
    상기 다운믹스 생성기는 모노 또는 스테레오 다운믹스를 형성하여 복수의 채널들의 중앙 채널이 멀티-채널 신호의 그 밖의 채널들과 관련되어 레벨-감소된 방식으로 모노 또는 스테레오 다운믹스에 기여하도록 구성되는, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성장치.
  2. 청구항 1에 있어서,
    상기 다운믹스 생성기는, 공간 오디오 코딩에 의해, 다운믹스 신호로부터의 상기 복수의 채널들 및 상기 복수의 채널들 간의 레벨 차이, 위상차이, 시간차이 및/또는 상관 정도를 기술하는 연관된 공간 파라미터들을 재건하도록 구성된, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성장치.
  3. 청구항 2에 있어서,
    상기 다운믹스 생성기는 상기 형성을 수행하여, 상기 적어도 두 개의 채널들 중의 제 2 채널에 비교하여 상기 적어도 두 개의 채널들 중의 제 1 채널의 레벨 감소의 양이 상기 공간 파리미터들에 종속하도록 구성되는, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성장치.
  4. 청구항 2에 있어서,
    상기 다운믹스 생성기는, 스테레오 다운믹스 신호로부터의 복수의 채널들, 상기 스테레오 다운믹스 신호 채널들이 3조를 이루는 중앙 및 좌측 및 우측채널들을 예측하기 위하여 선형으로 결합하는 방법을 기술하는 채널 예측 계수들, 및 상기 3조를 예측할 때 예측 잔차를 반향하는 잔차 신호(270)를 공간 오디오 코딩에 의해, 재건하도록 구성되는, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성장치.
  5. 청구항 1 내지 4 중 어느 한 항에 있어서,
    상기 다운믹스 생성기는 상기 형성을 수행하여, 상기 적어도 두 개의 채널들 중의 제 2 채널과 비교하여 상기 적어도 두 개의 채널들 중의 제 1 채널의 레벨 감소량이 상기 복수의 채널들의 각 채널들 간의 레벨 차이 및/또는 상관성에 종속하도록 구성되는, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성장치.
  6. 청구항 5에 있어서,
    상기 다운믹스 생성기는 상기 복수의 채널들을 표현하는 다운믹스 신호를 수반하는 공간 파라미터들에 기초하여 상기 복수의 채널들의 각 채널들 간의 레벨 차이 및/또는 상관성을 구하도록 구성되는, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성장치.
  7. 청구항 1 내지 4 중 어느 한 항에 있어서,
    상기 다운믹스 생성기는 상기 형성을 수행하여, 상기 적어도 두 개의 채널들 중의 제 2 채널과 비교하여 상기 적어도 두 개의 채널들 중의 제 1 채널의 레벨 감소량이 상기 멀티-채널 신호의 사이드 정보내의 전송된 시변(time-varying) 인디케이터의 지시에 따라 시간에 맞추어서 변화하는, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성장치.
  8. 청구항 1에 있어서,
    상기 멀티-채널 신호내에 스피치 및 비-스피치 위상을 검출하는 신호형 검출기를 더 포함하고, 상기 다운믹스 생성기는 상기 형성을 수행하여 레벨-감소의 양이 비-스피치 위상동안보다 스피치 위상동안 더 높은, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성장치.
  9. 복수의 채널들을 표현하는 멀티-채널 신호에 기초하고 각 채널에 연관된 가상 사운드 소스 포지션을 갖는 스피커구성에 의한 재생이 예정된 바이노럴 신호의 실내 반향/잔향( room reflection/reverberation) 컨트리뷰션을 생성하는 방법으로,
    상기 멀티-채널 신호의 채널들의 모노 또는 스테레오 다운믹스를 형성하는 단계 및
    상기 모노 또는 스테레오 신호에 기초하여 실내 반향/잔향을 모델링함으로써, 상기 바이노럴 신호의 실내 반향/잔향 컨트리뷰션을 생성하는 단계를 포함하고,
    상기 다운믹스 생성기는 모노 또는 스테레오 다운믹스를 형성하여, 상기 복수의 채널들이 상기 멀티-채널 신호의 적어도 두 개의 멀티-채널들 중 다른 레벨에서 상기 모노 또는 스테레오 다운믹스에 기여하도록 구성되고,
    상기 모노 또는 스테레오 다운믹스의 형성이 수행되어 복수의 채널들의 중앙 채널이 멀티-채널 신호의 그 밖의 채널들과 관련되어 레벨-감소된 방식으로 모노 또는 스테레오 다운믹스에 기여하는, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성방법.
  10. 복수의 채널들을 표현하는 멀티-채널 신호에 기초하고 각 채널에 연관된 가상 사운드 소스 포지션을 갖는 스피커 구성에 의한 재생이 예정된 바이노럴 신호의 실내 반향/잔향( room reflection/reverberation) 컨트리뷰션을 생성하는 장치로,
    상기 멀티-채널 신호의 채널들의 모노 또는 스테레오 다운믹스를 형성하는 다운믹스 생성기; 및
    상기 모노 또는 스테레오 신호에 기초하여 실내 반향/잔향을 모델링함으로써, 상기 바이노럴 신호의 실내 반향/잔향 컨트리뷰션을 생성하는 룸 프로세서를 포함하고,
    상기 다운믹스 생성기는 모노 또는 스테레오 다운믹스를 형성하여, 상기 복수의 채널들이 상기 멀티-채널 신호의 적어도 두 개의 채널들 중 다른 레벨에서 상기 모노 또는 스테레오 다운믹스에 기여하도록 구성되고,
    상기 다운믹스 생성기는, 공간 오디오 코딩에 의해, 다운믹스 신호로부터의 상기 복수의 채널들 및 상기 복수의 채널들 간의 레벨 차이, 위상차이, 시간차이 및/또는 상관 정도를 기술하는 연관된 공간 파라미터들을 재건하도록 구성되고,
    또한 상기 다운믹스 생성기는 상기 형성을 수행하여, 상기 적어도 두 개의 채널들 중의 제 2 채널에 비교하여 상기 적어도 두 개의 채널들 중의 제 1 채널의 레벨 감소의 양이 상기 공간 파리미터들에 종속하도록 구성되는, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성장치.
  11. 복수의 채널들을 표현하는 멀티-채널 신호에 기초하고 각 채널에 연관된 가상 사운드 소스 포지션을 갖는 스피커구성에 의한 재생이 예정된 바이노럴 신호의 실내 반향/잔향( room reflection/reverberation) 컨트리뷰션을 생성하는 방법으로,
    상기 멀티-채널 신호의 채널들의 모노 또는 스테레오 다운믹스를 형성하는 단계 및
    상기 모노 또는 스테레오 신호에 기초하여 실내 반향/잔향을 모델링함으로써, 상기 바이노럴 신호의 실내 반향/잔향 컨트리뷰션을 생성하는 단계를 포함하고,
    상기 다운믹스 생성기는 모노 또는 스테레오 다운믹스를 형성하여, 상기 복수의 채널들이 상기 멀티-채널 신호의 적어도 두 개의 멀티-채널들 중 다른 레벨에서 상기 모노 또는 스테레오 다운믹스에 기여하도록 구성되고,
    상기 방법은 공간 오디오 코딩에 의해, 다운믹스 신호로부터의 상기 복수의 채널들 및 상기 복수의 채널들 간의 레벨 차이, 위상차이, 시간차이 및/또는 상관 정도를 기술하는 연관된 공간 파라미터들을 재건하는 단계를 더 포함하고,
    상기 형성이 수행되어, 상기 적어도 두 개의 채널들 중의 제 2 채널에 비교하여 상기 적어도 두 개의 채널들 중의 제 1 채널의 레벨 감소의 양이 상기 공간 파리미터들에 종속하도록 하는, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성방법.
  12. 복수의 채널들을 표현하는 멀티-채널 신호에 기초하고 각 채널에 연관된 가상 사운드 소스 포지션을 갖는 스피커 구성에 의한 재생이 예정된 바이노럴 신호의 실내 반향/잔향( room reflection/reverberation) 컨트리뷰션을 생성하는 장치로,
    상기 멀티-채널 신호의 채널들의 모노 또는 스테레오 다운믹스를 형성하는 다운믹스 생성기; 및
    상기 모노 또는 스테레오 신호에 기초하여 실내 반향/잔향을 모델링함으로써, 상기 바이노럴 신호의 실내 반향/잔향 컨트리뷰션을 생성하는 룸 프로세서를 포함하고,
    상기 다운믹스 생성기는 모노 또는 스테레오 다운믹스를 형성하여, 상기 복수의 채널들이 상기 멀티-채널 신호의 적어도 두 개의 채널들 중 다른 레벨에서 상기 모노 또는 스테레오 다운믹스에 기여하도록 구성되고,
    상기 다운믹스 생성기는 상기 형성을 수행하여, 상기 적어도 두 개의 채널들 중의 제 2 채널과 비교하여 상기 적어도 두 개의 채널들 중의 제 1 채널의 레벨 감소량이 상기 복수의 채널들의 각 채널들 간의 레벨 차이 및/또는 상관성에 종속하거나, 또는 상기 적어도 두 개의 채널들 중의 제 2 채널과 비교하여 상기 적어도 두 개의 채널들 중의 제 1 채널의 레벨 감소량이 상기 멀티-채널 신호의 사이드 정보내의 전송된 시변(time-varying) 인디케이터의 지시에 따라 시간에 맞추어서 변화하도록 구성되는, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성장치.
  13. 복수의 채널들을 표현하는 멀티-채널 신호에 기초하고 각 채널에 연관된 가상 사운드 소스 포지션을 갖는 스피커구성에 의한 재생이 예정된 바이노럴 신호의 실내 반향/잔향(room reflection/reverberation) 컨트리뷰션을 생성하는 방법으로,
    상기 멀티-채널 신호의 채널들의 모노 또는 스테레오 다운믹스를 형성하는 단계 및
    상기 모노 또는 스테레오 신호에 기초하여 실내 반향/잔향을 모델링함으로써, 상기 바이노럴 신호의 실내 반향/잔향 컨트리뷰션을 생성하는 단계를 포함하고,
    상기 다운믹스 생성기는 모노 또는 스테레오 다운믹스를 형성하여, 상기 복수의 채널들이 상기 멀티-채널 신호의 적어도 두 개의 멀티-채널들 중 다른 레벨에서 상기 모노 또는 스테레오 다운믹스에 기여하도록 구성되고,
    상기 형성은 적어도 두 개의 채널들 중의 제 2 채널과 비교하여 상기 적어도 두 개의 채널들 중의 제 1 채널의 레벨 감소량이 상기 복수의 채널들의 각 채널들 간의 레벨 차이 및/또는 상관성에 종속하거나, 또는 상기 적어도 두 개의 채널들 중의 제 2 채널과 비교하여 상기 적어도 두 개의 채널들 중의 제 1 채널의 레벨 감소량이 상기 멀티-채널 신호의 사이드 정보내의 전송된 시변(time-varying) 인디케이터의 지시에 따라 시간에 맞추어서 변화하도록 수행되는, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성방법.
  14. 복수의 채널들을 표현하는 멀티-채널 신호에 기초하고 각 채널에 연관된 가상 사운드 소스 포지션을 갖는 스피커 구성에 의한 재생이 예정된 바이노럴 신호의 실내 반향/잔향( room reflection/reverberation) 컨트리뷰션을 생성하는 장치로,
    상기 멀티-채널 신호의 채널들의 모노 또는 스테레오 다운믹스를 형성하는 다운믹스 생성기; 및
    상기 모노 또는 스테레오 신호에 기초하여 실내 반향/잔향을 모델링함으로써, 상기 바이노럴 신호의 실내 반향/잔향 컨트리뷰션을 생성하는 룸 프로세서를 포함하고,
    상기 다운믹스 생성기는 모노 또는 스테레오 다운믹스를 형성하여, 상기 복수의 채널들이 상기 멀티-채널 신호의 적어도 두 개의 채널들 중 다른 레벨에서 상기 모노 또는 스테레오 다운믹스에 기여하도록 구성되고,
    상기 장치는 멀티-채널 신호내에 스피치 및 비-스피치 위상을 검출하는 신호형 검출기를 더 포함하고,
    상기 다운믹스 생성기는 상기 형성을 수행하여 레벨-감소의 양이 비-스피치 위상동안보다 스피치 위상동안 더 높은, 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성장치.
  15. 복수의 채널들을 표현하는 멀티-채널 신호에 기초하고 각 채널에 연관된 가상 사운드 소스 포지션을 갖는 스피커구성에 의한 재생이 예정된 바이노럴 신호의 실내 반향/잔향(room reflection/reverberation) 컨트리뷰션을 생성하는 방법으로,
    상기 멀티-채널 신호의 채널들의 모노 또는 스테레오 다운믹스를 형성하는 단계; 및
    상기 모노 또는 스테레오 신호에 기초하여 실내 반향/잔향을 모델링함으로써, 상기 바이노럴 신호의 실내 반향/잔향 컨트리뷰션을 생성하는 단계를 포함하고,
    상기 다운믹스 생성기는 모노 또는 스테레오 다운믹스를 형성하여, 상기 복수의 채널들이 상기 멀티-채널 신호의 적어도 두 개의 멀티-채널들 중 다른 레벨에서 상기 모노 또는 스테레오 다운믹스에 기여하도록 구성되고,
    상기 방법은 상기 멀티-채널 신호내에 스피치 및 비-스피치 위상을 검출하는 단계를 더 포함하고,
    상기 형성은 레벨-감소의 양이 비-스피치 위상동안 보다 스피치 위상 동안 더 높도록 수행되는 바이노럴 신호의 실내 반향/잔향 컨트리뷰션 생성방법.
  16. 컴퓨터에서 수행될 때, 청구항 9, 11, 13 및 15 중 어느 한 항에 따른 방법을 수행하는 명령들을 갖는 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 매체.
KR1020127030368A 2008-07-31 2009-07-30 바이노럴 신호를 위한 신호생성 KR101354430B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US8528608P 2008-07-31 2008-07-31
US61/085,286 2008-07-31
PCT/EP2009/005548 WO2010012478A2 (en) 2008-07-31 2009-07-30 Signal generation for binaural signals

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020117002470A Division KR101313516B1 (ko) 2008-07-31 2009-07-30 바이노럴 신호를 위한 신호생성

Publications (2)

Publication Number Publication Date
KR20130004373A KR20130004373A (ko) 2013-01-09
KR101354430B1 true KR101354430B1 (ko) 2014-01-22

Family

ID=41107586

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020117002470A KR101313516B1 (ko) 2008-07-31 2009-07-30 바이노럴 신호를 위한 신호생성
KR1020127030368A KR101354430B1 (ko) 2008-07-31 2009-07-30 바이노럴 신호를 위한 신호생성
KR1020127030361A KR101366997B1 (ko) 2008-07-31 2009-07-30 바이노럴 신호를 위한 신호생성

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020117002470A KR101313516B1 (ko) 2008-07-31 2009-07-30 바이노럴 신호를 위한 신호생성

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020127030361A KR101366997B1 (ko) 2008-07-31 2009-07-30 바이노럴 신호를 위한 신호생성

Country Status (13)

Country Link
US (1) US9226089B2 (ko)
EP (3) EP2304975B1 (ko)
JP (2) JP5746621B2 (ko)
KR (3) KR101313516B1 (ko)
CN (3) CN103634733B (ko)
AU (1) AU2009275418B9 (ko)
BR (1) BRPI0911729B1 (ko)
CA (3) CA2820199C (ko)
ES (3) ES2528006T3 (ko)
HK (3) HK1156139A1 (ko)
PL (3) PL2384028T3 (ko)
RU (1) RU2505941C2 (ko)
WO (1) WO2010012478A2 (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711123B2 (en) * 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
PL2380364T3 (pl) * 2008-12-22 2013-03-29 Koninl Philips Electronics Nv Wytwarzanie sygnału wyjściowego za pomocą przetwarzania wysyłania efektu
BR112013017070B1 (pt) * 2011-01-05 2021-03-09 Koninklijke Philips N.V Sistema de áudio e método de operação para um sistema de áudio
KR101842257B1 (ko) * 2011-09-14 2018-05-15 삼성전자주식회사 신호 처리 방법, 그에 따른 엔코딩 장치, 및 그에 따른 디코딩 장치
KR101651419B1 (ko) 2012-03-23 2016-08-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 머리 전달 함수들의 선형 믹싱에 의한 머리 전달 함수 생성을 위한 방법 및 시스템
JP5949270B2 (ja) * 2012-07-24 2016-07-06 富士通株式会社 オーディオ復号装置、オーディオ復号方法、オーディオ復号用コンピュータプログラム
US9264838B2 (en) 2012-12-27 2016-02-16 Dts, Inc. System and method for variable decorrelation of audio signals
JP2014175670A (ja) * 2013-03-05 2014-09-22 Nec Saitama Ltd 情報端末装置及び音響制御方法並びにプログラム
WO2014164361A1 (en) * 2013-03-13 2014-10-09 Dts Llc System and methods for processing stereo audio content
US10219093B2 (en) * 2013-03-14 2019-02-26 Michael Luna Mono-spatial audio processing to provide spatial messaging
CN108810793B (zh) 2013-04-19 2020-12-15 韩国电子通信研究院 多信道音频信号处理装置及方法
CN108806704B (zh) 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
CN105308988B (zh) * 2013-05-02 2017-12-19 迪拉克研究公司 配置成转换音频输入通道用于头戴受话器收听的音频解码器
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
EP2830053A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP2840811A1 (en) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder
EP2830335A3 (en) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, and computer program for mapping first and second input channels to at least one output channel
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
WO2015032009A1 (es) * 2013-09-09 2015-03-12 Recabal Guiraldes Pablo Método y sistema de tamaño reducido para la decodificación de señales de audio en señales de audio binaural
CN105706468B (zh) 2013-09-17 2017-08-11 韦勒斯标准与技术协会公司 用于音频信号处理的方法和设备
KR101804744B1 (ko) 2013-10-22 2017-12-06 연세대학교 산학협력단 오디오 신호 처리 방법 및 장치
DE102013223201B3 (de) * 2013-11-14 2015-05-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Komprimieren und Dekomprimieren von Schallfelddaten eines Gebietes
EP4246513A3 (en) 2013-12-23 2023-12-13 Wilus Institute of Standards and Technology Inc. Audio signal processing method and parameterization device for same
CN107750042B (zh) * 2014-01-03 2019-12-13 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
WO2015102920A1 (en) * 2014-01-03 2015-07-09 Dolby Laboratories Licensing Corporation Generating binaural audio in response to multi-channel audio using at least one feedback delay network
CN104768121A (zh) * 2014-01-03 2015-07-08 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
CN106105269B (zh) 2014-03-19 2018-06-19 韦勒斯标准与技术协会公司 音频信号处理方法和设备
WO2015152665A1 (ko) 2014-04-02 2015-10-08 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
EP3183892B1 (en) * 2014-08-21 2020-02-05 Dirac Research AB Personal multichannel audio precompensation controller design
CN104581602B (zh) * 2014-10-27 2019-09-27 广州酷狗计算机科技有限公司 录音数据训练方法、多轨音频环绕方法及装置
WO2016077320A1 (en) * 2014-11-11 2016-05-19 Google Inc. 3d immersive spatial audio systems and methods
EP4002888A1 (en) * 2015-02-12 2022-05-25 Dolby Laboratories Licensing Corporation Headphone virtualization
US9860666B2 (en) 2015-06-18 2018-01-02 Nokia Technologies Oy Binaural audio reproduction
JPWO2017061218A1 (ja) * 2015-10-09 2018-07-26 ソニー株式会社 音響出力装置、音響生成方法及びプログラム
JP6658026B2 (ja) * 2016-02-04 2020-03-04 株式会社Ｊｖｃケンウッド フィルタ生成装置、フィルタ生成方法、及び音像定位処理方法
KR102513586B1 (ko) * 2016-07-13 2023-03-27 삼성전자주식회사 전자 장치 및 전자 장치의 오디오 출력 방법
KR102531886B1 (ko) 2016-08-17 2023-05-16 삼성전자주식회사 전자장치 및 그 제어방법
WO2018182274A1 (ko) 2017-03-27 2018-10-04 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치
CN108665902B (zh) 2017-03-31 2020-12-01 华为技术有限公司 多声道信号的编解码方法和编解码器
EP3607548A4 (en) * 2017-04-07 2020-11-18 Dirac Research AB NEW PARAMETRIC EQUALIZATION FOR AUDIO APPLICATIONS
CN107205207B (zh) * 2017-05-17 2019-01-29 华南理工大学 一种基于中垂面特性的虚拟声像近似获取方法
CN109036446B (zh) * 2017-06-08 2022-03-04 腾讯科技（深圳）有限公司 一种音频数据处理方法以及相关设备
WO2019105575A1 (en) * 2017-12-01 2019-06-06 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding
US11395083B2 (en) * 2018-02-01 2022-07-19 Qualcomm Incorporated Scalable unified audio renderer
CN111886882A (zh) * 2018-03-19 2020-11-03 OeAW奥地利科学院 用于确定特定于收听者的头部相关传递函数的方法
KR20190124631A (ko) 2018-04-26 2019-11-05 제이엔씨 주식회사 액정 조성물 및 액정 표시 소자
CN112438053B (zh) 2018-07-23 2022-12-30 杜比实验室特许公司 通过多个近场换能器渲染双耳音频
CN109005496A (zh) * 2018-07-26 2018-12-14 西北工业大学 一种hrtf中垂面方位增强方法
KR102531634B1 (ko) * 2018-08-10 2023-05-11 삼성전자주식회사 오디오 장치 및 그 제어방법
DE102019107302A1 (de) * 2018-08-16 2020-02-20 Rheinisch-Westfälische Technische Hochschule (Rwth) Aachen Verfahren zum Erzeugen und Wiedergeben einer binauralen Aufnahme
CN110881164B (zh) * 2018-09-06 2021-01-26 宏碁股份有限公司 增益动态调节的音效控制方法及音效输出装置
CN113115175B (zh) * 2018-09-25 2022-05-10 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
AU2019409705B2 (en) 2018-12-19 2023-04-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for reproducing a spatially extended sound source or apparatus and method for generating a bitstream from a spatially extended sound source
WO2020137082A1 (ja) * 2018-12-28 2020-07-02 ソニー株式会社 オーディオ再生装置
EP3895451B1 (en) 2019-01-25 2024-03-13 Huawei Technologies Co., Ltd. Method and apparatus for processing a stereo signal
JP7270186B2 (ja) 2019-03-27 2023-05-10 パナソニックＩｐマネジメント株式会社 信号処理装置、音響再生システム、及び音響再生方法
CN111988703A (zh) * 2019-05-21 2020-11-24 北京中版超级立体信息科技有限公司 音频处理器及音频处理方法
JP7383942B2 (ja) * 2019-09-06 2023-11-21 ヤマハ株式会社 車載音響システムおよび車両
CN110853658B (zh) * 2019-11-26 2021-12-07 中国电影科学技术研究所 音频信号的下混方法、装置、计算机设备及可读存储介质
US10904690B1 (en) * 2019-12-15 2021-01-26 Nuvoton Technology Corporation Energy and phase correlated audio channels mixer
GB2590913A (en) * 2019-12-31 2021-07-14 Nokia Technologies Oy Spatial audio parameter encoding and associated decoding
CN111787465A (zh) * 2020-07-09 2020-10-16 瑞声科技(新加坡)有限公司 双声道设备的立体声效果检测方法
CN112019994B (zh) * 2020-08-12 2022-02-08 武汉理工大学 一种基于虚拟扬声器构建车内扩散声场环境的方法及装置
CN112731289B (zh) * 2020-12-10 2024-05-07 深港产学研基地（北京大学香港科技大学深圳研修院） 一种基于加权模板匹配的双耳声源定位方法和装置
JP2022152984A (ja) * 2021-03-29 2022-10-12 ヤマハ株式会社 オーディオミキサ及び音響信号の処理方法
CN113365189B (zh) * 2021-06-04 2022-08-05 上海傅硅电子科技有限公司 多声道无缝切换方法
GB2609667A (en) * 2021-08-13 2023-02-15 British Broadcasting Corp Audio rendering
WO2023059838A1 (en) * 2021-10-08 2023-04-13 Dolby Laboratories Licensing Corporation Headtracking adjusted binaural audio
CN114630240B (zh) * 2022-03-16 2024-01-16 北京小米移动软件有限公司 方向滤波器的生成方法、音频处理方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060120109A (ko) * 2003-11-12 2006-11-24 레이크 테크놀로지 리미티드 오디오 신호 처리 시스템 및 그 방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3040896C2 (de) * 1979-11-01 1986-08-28 Victor Company Of Japan, Ltd., Yokohama, Kanagawa Schaltungsanordnung zur Erzeugung und Aufbereitung stereophoner Signale aus einem monophonen Signal
US5371799A (en) * 1993-06-01 1994-12-06 Qsound Labs, Inc. Stereo headphone sound source localization system
JP4306815B2 (ja) 1996-03-04 2009-08-05 富士通株式会社 線形予測係数を用いた立体音響処理装置
US6236730B1 (en) 1997-05-19 2001-05-22 Qsound Labs, Inc. Full sound enhancement using multi-input sound signals
WO1999014983A1 (en) * 1997-09-16 1999-03-25 Lake Dsp Pty. Limited Utilisation of filtering effects in stereo headphone devices to enhance spatialization of source around a listener
JPH11275696A (ja) 1998-01-22 1999-10-08 Sony Corp ヘッドホン、ヘッドホンアダプタおよびヘッドホン装置
JP2000069598A (ja) * 1998-08-24 2000-03-03 Victor Co Of Japan Ltd マルチチャンネルサラウンド再生装置及びマルチチヤンネルサラウンド再生における残響音生成方法
US6934676B2 (en) * 2001-05-11 2005-08-23 Nokia Mobile Phones Ltd. Method and system for inter-channel signal redundancy removal in perceptual audio coding
CN1552171A (zh) * 2001-09-06 2004-12-01 �ʼҷ����ֵ��ӹɷ����޹�˾ 音频再现设备
JP3682032B2 (ja) 2002-05-13 2005-08-10 株式会社ダイマジック オーディオ装置並びにその再生用プログラム
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
RU2323551C1 (ru) * 2004-03-04 2008-04-27 Эйджир Системс Инк. Частотно-ориентированное кодирование каналов в параметрических системах многоканального кодирования
WO2006008697A1 (en) 2004-07-14 2006-01-26 Koninklijke Philips Electronics N.V. Audio channel conversion
KR100608024B1 (ko) * 2004-11-26 2006-08-02 삼성전자주식회사 다중 채널 오디오 입력 신호를 2채널 출력으로 재생하기위한 장치 및 방법과 이를 수행하기 위한 프로그램이기록된 기록매체
JP4414905B2 (ja) * 2005-02-03 2010-02-17 アルパイン株式会社 オーディオ装置
KR100619082B1 (ko) 2005-07-20 2006-09-05 삼성전자주식회사 와이드 모노 사운드 재생 방법 및 시스템
WO2007031906A2 (en) * 2005-09-13 2007-03-22 Koninklijke Philips Electronics N.V. A method of and a device for generating 3d sound
ATE456261T1 (de) * 2006-02-21 2010-02-15 Koninkl Philips Electronics Nv Audiokodierung und audiodekodierung
KR100754220B1 (ko) * 2006-03-07 2007-09-03 삼성전자주식회사 Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
CN101401455A (zh) * 2006-03-15 2009-04-01 杜比实验室特许公司 使用子带滤波器的立体声呈现技术
ES2376889T3 (es) * 2006-03-24 2012-03-20 Dolby International Ab Generación de mezclas descendentes espaciales a partir de representaciones paramétricas de señales multicanal
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
FR2903562A1 (fr) * 2006-07-07 2008-01-11 France Telecom Spatialisation binaurale de donnees sonores encodees en compression.
US8488796B2 (en) * 2006-08-08 2013-07-16 Creative Technology Ltd 3D audio renderer
KR100763920B1 (ko) * 2006-08-09 2007-10-05 삼성전자주식회사 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2채널의 바이노럴 신호로 복호화하는 방법 및 장치
US20080273708A1 (en) * 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060120109A (ko) * 2003-11-12 2006-11-24 레이크 테크놀로지 리미티드 오디오 신호 처리 시스템 및 그 방법

Also Published As

Publication number Publication date
CA2820208A1 (en) 2010-02-04
CA2732079C (en) 2016-09-27
AU2009275418B9 (en) 2014-01-09
HK1164009A1 (en) 2012-09-14
KR20130004373A (ko) 2013-01-09
JP2011529650A (ja) 2011-12-08
EP2384029B1 (en) 2014-09-10
CA2820208C (en) 2015-10-27
JP5860864B2 (ja) 2016-02-16
AU2009275418A1 (en) 2010-02-04
KR20130004372A (ko) 2013-01-09
CN103561378B (zh) 2015-12-23
BRPI0911729B1 (pt) 2021-03-02
ES2531422T8 (es) 2015-09-03
CN103634733B (zh) 2016-05-25
KR20110039545A (ko) 2011-04-19
RU2505941C2 (ru) 2014-01-27
EP2384028A2 (en) 2011-11-02
WO2010012478A3 (en) 2010-04-08
PL2304975T3 (pl) 2015-03-31
KR101313516B1 (ko) 2013-10-01
PL2384028T3 (pl) 2015-05-29
EP2384029A2 (en) 2011-11-02
ES2528006T3 (es) 2015-02-03
EP2304975B1 (en) 2014-08-27
JP2014090464A (ja) 2014-05-15
CA2820199A1 (en) 2010-02-04
CN102172047B (zh) 2014-01-29
HK1156139A1 (en) 2012-06-01
ES2531422T3 (es) 2015-03-13
KR101366997B1 (ko) 2014-02-24
CN103634733A (zh) 2014-03-12
CN102172047A (zh) 2011-08-31
JP5746621B2 (ja) 2015-07-08
PL2384029T3 (pl) 2015-04-30
AU2009275418B2 (en) 2013-12-19
HK1163416A1 (en) 2012-09-07
ES2524391T3 (es) 2014-12-09
CA2732079A1 (en) 2010-02-04
US9226089B2 (en) 2015-12-29
BRPI0911729A2 (pt) 2019-06-04
WO2010012478A2 (en) 2010-02-04
EP2384028A3 (en) 2012-10-24
US20110211702A1 (en) 2011-09-01
EP2384029A3 (en) 2012-10-24
EP2384028B1 (en) 2014-11-05
EP2304975A2 (en) 2011-04-06
CN103561378A (zh) 2014-02-05
RU2011105972A (ru) 2012-08-27
CA2820199C (en) 2017-02-28

Similar Documents

Publication Publication Date Title
KR101354430B1 (ko) 바이노럴 신호를 위한 신호생성
US11272311B2 (en) Methods and systems for designing and applying numerically optimized binaural room impulse responses
US20150350801A1 (en) Binaural audio processing
EP3569000B1 (en) Dynamic equalization for cross-talk cancellation
EP4046399A1 (en) Spatial audio representation and rendering
RU2427978C2 (ru) Кодирование и декодирование аудио
AU2013263871B2 (en) Signal generation for binaural signals
AU2015207815B2 (en) Signal generation for binaural signals
Laitinen Techniques for versatile spatial-audio reproduction in time-frequency domain

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161230

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180109

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190108

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200107

Year of fee payment: 7