KR20220043242A - 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성 - Google Patents

다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성 Download PDF

Info

Publication number
KR20220043242A
KR20220043242A KR1020227009882A KR20227009882A KR20220043242A KR 20220043242 A KR20220043242 A KR 20220043242A KR 1020227009882 A KR1020227009882 A KR 1020227009882A KR 20227009882 A KR20227009882 A KR 20227009882A KR 20220043242 A KR20220043242 A KR 20220043242A
Authority
KR
South Korea
Prior art keywords
channel
channels
echo
late
downmix
Prior art date
Application number
KR1020227009882A
Other languages
English (en)
Other versions
KR102454964B1 (ko
Inventor
콴-제 옌
더크 제이. 브리바트
그랜트 에이. 데이비슨
론다 윌슨
데이비드 엠. 쿠퍼
즈웨이 슈앙
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority to KR1020227035287A priority Critical patent/KR20220141925A/ko
Priority claimed from PCT/US2014/071100 external-priority patent/WO2015102920A1/en
Publication of KR20220043242A publication Critical patent/KR20220043242A/ko
Application granted granted Critical
Publication of KR102454964B1 publication Critical patent/KR102454964B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

일부 실시예에서, 적어도 하나의 피드백 지연 네트워크(FDN)를 이용하여 채널들의 다운믹스에 공통의 늦은 반향을 적용하는 것을 포함한 각각의 채널에 바이노럴 룸 임펄스 응답(BRIR)을 적용하는, 다채널 오디오 신호의 채널들에 응답하여 바이노럴 신호를 생성하기 위한 가상화 방법이 개시된다. 일부 실시예에서, 입력 신호 채널들은 각각의 채널에 그 채널에 대한 단일-채널 BRIR의 직접 응답 및 이른 반사 부분을 적용하는 제1 처리 경로에서 처리되고, 채널들의 다운믹스는 공통의 늦은 반향을 적용하는 적어도 하나의 FDN을 포함하는 제2 처리 경로에서 처리된다. 통상적으로, 공통의 늦은 반향은, 단일-채널 BRIR들의 적어도 일부의 늦은 반향 부분들의 집합적 매크로 속성들을 에뮬레이팅한다. 다른 양태들은 본 방법의 임의의 실시예를 수행하도록 구성된 헤드폰 가상화기이다.

Description

다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성{GENERATING BINAURAL AUDIO IN RESPONSE TO MULTI-CHANNEL AUDIO USING AT LEAST ONE FEEDBACK DELAY NETWORK}
관련 출원에 대한 상호참조
본 출원은, 참조로 그 전체내용을 본 명세서에 포함하는, 2014년 4월 29일 출원된 중국 특허 출원 제201410178258.0호; 2014년 1월 3일 출원된 미국 가출원 제61/923,579호; 2014년 5월 5일 출원된 미국 가출원 제61/988,617호의 우선권을 주장한다.
발명의 분야
본 발명은, 입력 신호의 한 세트의 채널들의 각 채널에(예를 들어, 모든 채널에) 바이노럴 룸 임펄스 응답(BRIR; binaural room impulse response)을 적용함으로써, 다채널 오디오 입력 신호에 응답하여 바이노럴 신호(binaural signal)를 발생시키기 위한 (때때로 헤드폰 가상화 방법이라고 하는) 방법 및 시스템에 관한 것이다. 일부 실시예에서, 적어도 하나의 피드백 지연 네트워크(FDN; feedback delay network)는 다운믹스 BRIR의 늦은 반향 부분(late reverberation portion)을 채널들의 다운믹스에 적용한다.
헤드폰 가상화(또는 바이노럴 렌더링)는, 표준 스테레오 헤드폰을 이용하여 서라운드 사운드 경험 또는 몰입 음장감을 전달하는 것을 목적으로 하는 기술이다.
초기 헤드폰 가상화기는 머리 관련 전달 함수(HRTF; head-related transfer function)를 적용하여 바이노럴 렌더링에서 공간 정보를 전달하였다. HRTF는, 공간 내의 특정한 지점(사운드 소스 위치)으로부터 무반향 환경(anechoic environment) 내의 청취자의 양쪽 귀에 사운드가 어떻게 전달되는지를 특징짓는 한 세트의 방향- 및 거리-의존 필터 쌍들이다. 이간 시간차(ITD; interaural time difference), 이간 레벨차(ILD; interaural level difference), 헤드 새도잉 효과(head shadowing effect), 어깨 및 귓바퀴 반사에 기인한 스펙트럼 피크 및 노치(peak and notch) 등의, 필수 공간적 단서(spatial cue)들이 렌더링된 HRTF-필터링된 바이노럴 콘텐츠에서 인지될 수 있다. 인간의 머리 크기의 제약으로 인해, HRTF는 대략 1 미터를 넘는 소스 거리에 관한 충분한 또는 확실한 단서를 제공하지 않는다. 그 결과, HRTF에만 기초하는 가상화기는 대개 양호한 외부화(externalization) 또는 인지된 거리를 달성하지 못한다.
우리의 일상 생활에서 대부분의 음향 이벤트는, HRTF에 의해 모델링된 (소스로부터 귀까지의) 직접적 경로 외에도, 다양한 반사 경로를 통해 오디오 신호들이 청취자의 귀에 도달하는, 반향 환경에서 발생한다. 반사는, 거리, 룸 크기, 및 공간의 기타의 속성들 등의, 청각적 인지에 심대한 영향을 미친다. 바이노럴 렌더링에서 이 정보를 운반하기 위해, 가상화기는 직접 경로 HRTF에서의 단서들 외에 룸 반향을 적용할 필요가 있다. 바이노럴 룸 임펄스 응답(BRIR)은 공간 내의 특정한 지점으로부터 특정한 음향 환경 내의 청취자의 귀까지의 오디오 신호들의 변형을 특징으로 한다. 이론적으로, BRIR은 공간적 인지에 관한 모든 음향적 단서를 포함한다.
도 1은, 바이노럴 룸 임펄스 응답(BRIR)을 다채널 오디오 입력 신호의 각각의 전체 주파수 범위 채널(X1, ..., XN)에 적용하도록 구성된 종래의 헤드폰 가상화기의 한 유형의 블록도이다. 채널들(X1, ..., XN) 각각은 추정된 청취자에 관한 상이한 소스 방향(즉, 대응하는 스피커의 추정된 위치로부터 추정된 청취자 위치까지의 직접 경로의 방향)에 대응하는 스피커 채널이고, 각각의 이러한 채널은 대응하는 소스 방향에 대해 BRIR에 의해 컨벌브(convolve)된다. 각 채널로부터의 음향 경로는 각각의 귀에 대해 시뮬레이션될 필요가 있다. 따라서, 본 문서의 나머지에서, 용어 BRIR이란 하나의 임펄스 응답, 또는 좌측 및 우측 귀와 연관된 한 쌍의 임펄스 응답을 말한다. 따라서, 서브시스템(2)은 채널 X1을 BRIR1(대응하는 소스 방향에 대한 BRIR)과 컨벌브하도록 구성되고, 서브시스템(4)은 채널 XN을 BRIRN(대응하는 소스 방향에 대한 BRIR)과 컨벌브하도록 구성된다. 각각의 BRIR 서브시스템(서브시스템들 2, ..., 4의 각각)의 출력은 좌측 채널과 우측 채널을 포함하는 시간-도메인 신호이다. BRIR 서브시스템들의 좌측 채널 출력들은 가산 요소(6)에서 믹싱되고, BRIR 서브시스템들의 우측 채널 출력들은 가산 요소(8)에서 믹싱된다. 요소(6)의 출력은 가상화기로부터 출력된 바이노럴 오디오 신호의 좌측 채널 L이고, 요소(8)의 출력은 가상화기로부터 출력된 바이노럴 오디오 신호의 우측 채널 R이다.
다채널 오디오 입력 신호는 또한, 도 1에서 "LFE" 채널로서 식별된, 저주파 효과(LFE) 또는 서브우퍼 채널을 포함할 수 있다. 종래의 방식에서, LFE 채널은 BRIR과 컨벌브되지 않지만, 대신에 도 1의 이득단(5)에서 (예를 들어, -3dB 이상만큼) 감쇠되고 이득단(5)의 출력은 가상화기의 바이노럴 출력 신호의 각 채널 내로 (요소 6 및 8에 의해) 동등하게 믹싱된다. 단(5)의 출력을 BRIR 서브시스템들(2, ..., 4)의 출력들과 시간-정렬하기 위하여 LFE 경로에서 추가 지연단이 필요할 수 있다. 대안으로서, LFE 채널은 단순히 무시될(즉, 가상화기에 어써팅(assert)되거나 가상화기에 의해 처리되지 않을) 수 있다. 예를 들어, (이하에서 설명되는) 본 발명의 도 2 실시예는 이와 같이 처리된 다채널 오디오 입력 신호의 임의의 LFE 채널을 단순히 무시한다. 많은 소비자 헤드폰들은 LFE 채널을 정확히 재생할 수 없다.
일부 종래의 가상화기들에서, 입력 신호는, 직교 미러 필터(quadrature mirror filter)(QMF) 도메인으로의 시간 도메인-주파수 도메인 변환을 겪어 QMF 도메인 주파수 성분들의 채널들을 발생시킨다. 이들 주파수 성분들은 (예를 들어, 도 1의 서브시스템들(2, ... , 4)의 QMF-도메인 구현들에서) QMF 도메인으로 필터링을 거치고, 그 다음, 결과적인 주파수 성분들은 통상적으로 (예를 들어, 도 1의 서브시스템들(2, ... , 4) 각각의 최종단에서) 시간 도메인으로 다시 변환되어 가상화기의 오디오 출력이 시간-도메인 신호(예를 들어, 시간-도메인 바이노럴 신호)가 되게 한다.
일반적으로, 헤드폰 가상화기에 입력되는 다채널 오디오 신호의 각각의 전체 주파수 범위 채널은, 청취자의 귀에 대해 알려진 장소의 사운드 소스로부터 방출된 오디오 콘텐츠를 나타내는 것으로 가정된다. 헤드폰 가상화기는 입력 신호의 각각의 이러한 채널에 바이노럴 룸 임펄스 응답(BRIR)을 적용하도록 구성된다. 각각의 BRIR은 2개의 부분: 직접 응답과 반사로 분해될 수 있다. 직접 응답은 사운드 소스의 도달 방향(DOA; direction of arrival)에 대응하는 HRTF이며, (사운드 소스와 청취자 사이의) 거리에 기인한 적절한 이득과 지연으로 조절되며, 선택사항으로서 작은 거리의 경우 시차 효과로 강화된다.
BRIR의 나머지 부분은 반사를 모델링한다. 이른 반사(early reflection)는 대개 일차 또는 이차 반사이고 비교적 드문드문한 시간적 분포를 가진다. 각각의 일차 또는 이차 반사의 마이크로 구조(예를 들어, ITD 및 ILD)가 중요하다. 더 늦은 반사들(청취자에게 입사되기 이전에 2개보다 많은 표면으로부터 반사된 사운드)의 경우, 에코 밀도는 반사수 증가에 따라 증가하고, 개별 반사의 마이크로 속성은 관측하기 어렵게 된다. 더욱 더 늦은 반사의 경우, 매크로 구조(예를 들어, 반향 감쇠율, 이간 코히어런스, 및 전체 반향의 스펙트럼 분포)는 더욱 중요하게 된다. 이 때문에, 반사는 2개의 부분으로 추가로 분할될 수 있다: 이른 반사 및 늦은 반향.
직접 응답의 지연은 청취자로부터의 소스 거리를 사운드의 속도로 나눈 값이고, 그 레벨은 (소스 위치에 가까운 벽이나 큰 표면의 부재시에) 소스 거리에 반비례한다. 반면, 늦은 반향의 지연 및 레벨은 일반적으로 소스 위치에는 민감하지 않다. 실제적 고려사항으로 인해, 가상화기는 상이한 거리들의 소스들로부터의 직접 응답들을 시간-정렬, 및/또는 그들의 동적 범위를 압축할 것을 선택할 수 있다. 그러나, BRIR 내에서 직접 응답, 이른 반사, 및 늦은 반향들간의 시간 및 레벨 관계가 유지되어야 한다.
전형적인 BRIR의 유효 길이는 대부분의 음향 환경에서 수백 밀리초 또는 그 이상까지 연장된다. BRIR의 직접적인 적용은 수 천개의 탭을 갖는 필터와의 콘볼루션을 요구하고, 이것은 계산적으로 값비싸다. 또한, 파라미터화가 없다면, 충분한 공간적 해상도를 달성하기 위하여 상이한 소스 위치에 대해 BRIR들을 저장하는 것은 큰 메모리 공간을 요구할 것이다. 마지막으로, 사운드 소스 위치는 시간에 따라 변할 수 있고, 및/또는 청취자의 위치 및 배향은 시간에 따라 변할 수 있다. 이러한 움직임의 정확한 시뮬레이션은 시변동 BRIR 임펄스 응답을 요구한다. 이러한 시변동 필터들의 적절한 보간 및 적용은 이들 필터들의 임펄스 응답이 많은 탭들을 가질 경우 해결과제가 될 수 있다.
다채널 오디오 입력 신호의 하나 이상의 채널에 시뮬레이션된 반향을 적용하도록 구성된 공간 반향기를 구현하기 위해 피드백 지연 네트워크(FDN; feedback delay network)라고 알려진 널리 공지된 필터 구조를 갖는 필터가 이용될 수 있다. FDN의 구조는 간단하다. 이것은 수 개의 반향 탱크(예를 들어, 도 4의 FDN에서, 이득 요소 g1과 지연 라인 z-n1을 포함하는 방향 탱크)를 포함하고, 각각의 반향 탱크는 지연 및 이득을 가진다. FDN의 전형적인 구현에서, 모든 반향 탱크들로부터의 출력들은 단위 피드백 행렬(unitary feedback matrix)에 의해 믹싱되고 행렬의 출력들은 피드백되어 반향 탱크들의 입력들과 합산된다. 반향 탱크 출력들에 대해 이득 조절이 이루어질 수 있고, 반향 탱크 출력들(또는 이들의 이득 조절된 버전들)은 다채널 또는 바이노럴 재생을 위해 적절히 리믹스될 수 있다. FDN에 의해 컴팩트한 계산 및 메모리 풋프린트를 수반하여 자연스런 사운딩 반향이 생성 및 적용될 수 있다. 따라서 FDN은 가상화기들에서 HRTF에 의해 생성된 직접 응답을 보충하기 위해 이용되어 왔다.
예를 들어, 시판중인 Dolby Mobile 헤드폰 가상화기는 (좌측-전면, 우측-전면, 중앙, 좌측-서라운드, 및 우측-서라운드 채널들을 갖는) 5-채널 오디오 신호의 각각의 채널에 반향을 적용하고 한 세트의 5 헤드 관련된 전달 함수("HRTF") 필터 쌍들 중 상이한 필터 쌍을 이용하여 각각의 반향된 채널을 필터링하도록 동작가능한 FDN-기반의 구조를 갖는 반향기를 포함한다. Dolby Mobile 헤드폰 가상화기는 또한, 2-채널 오디오 입력 신호에 응답하여 2-채널 "반향된" 바이노럴 오디오 출력(반향이 적용된 2채널 가상 서라운드 사운드 출력)을 생성하도록 동작가능하다. 반향된 바이노럴 출력이 한 쌍의 헤드폰에 의해 렌더링되고 재생될 때, 이것은 청취자의 고막에서, 좌측 전방, 우측 전방, 중앙, 좌측 후방(서라운드), 우측 후방(서라운드) 위치들의 5개의 확성기들로부터의 HRTF-필터링된, 반향된 사운드로서 인지된다. 가상화기는 (오디오 입력과 함께 수신된 임의의 공간적 단서 파라미터를 이용하지 않고) 다운믹싱된 2-채널 오디오 입력을 업믹싱하여 5개의 업믹싱된 오디오 채널들을 생성하고, 업믹싱된 채널들에 반향을 적용하며, 5개의 반향된 채널 신호들을 다운믹싱하여 가상화기의 2-채널 반향된 출력을 생성한다. 각각의 업믹싱된 채널에 대한 반향은 상이한 쌍의 HRTF 필터들에서 필터링된다.
가상화기에서, FDN은 소정의 반향 감쇠 시간(reverberation decay time)과 에코 밀도(echo density)를 달성하도록 구성될 수 있다. 그러나, FDN은 이른 반사의 마이크로 구조를 시물레이션하는 융통성이 결핍되어 있다. 또한, 종래의 가상화기에서 FDN들의 튜닝과 구성은 대부분 휴리스틱(heuristic)이었다.
(이른 및 늦은) 모든 반사 경로들을 시뮬레이션하지 않는 헤드폰 가상화기는 효과적인 외부화를 달성할 수 없다. 발명자들은, 모든 반사 경로(이른 및 늦은)의 시뮬레이션을 시도하는 FDN을 채용하는 가상화기는, 이른 반사와 늦은 반향 양쪽 모두를 시뮬레이션하고 양쪽 모두를 오디오 신호에 적용하는데 있어서 대개 제한된 성공만을 가진다는 것을 인식했다. 발명자들은 또한, 반향 감쇠 시간, 이간 코히어런스, 및 직접-대-늦은 비율 등의 공간적 음향 속성들을 적절히 제어하는 능력을 갖지 않는 FDN을 채용하는 가상화기는 어느 정도의 외부화를 달성할 수도 있지만 과도한 음색 왜곡과 반향을 도입하는 댓가를 치른다는 것을 인식했다.
제1 부류의 실시예에서, 본 발명은 다채널 오디오 입력 신호의 한 세트의 채널들(예를 들어, 채널들 각각, 또는 전체 주파수 범위 채널들의 각각)에 응답하여 바이노럴 신호를 생성하기 위한 하기 단계들을 포함하는 방법이다: (a) 적어도 하나의 피드백 지연 네트워크(FDN)를 이용하여 공통의 늦은 반향을 상기 세트의 채널들의 다운믹스(예를 들어, 모노포닉 다운믹스)에 적용하는 것을 포함한, (예를 들어, 상기 세트의 각각의 채널을 상기 채널에 대응하는 BRIR과 컨벌브함으로써) 상기 세트의 각각의 채널에 바이노럴 룸 임펄스 응답(BRIR)을 적용함으로써, 필터링된 신호들을 생성하는 단계; 및 (b) 필터링된 신호들을 결합하여 바이노럴 신호를 생성하는 단계. 통상적으로, (예를 들어, 각각의 FDN이 공통의 늦은 반향을 상이한 주파수 대역에 적용하는) 공통의 늦은 반향을 다운믹스에 적용하기 위해 FDN들의 뱅크가 이용된다. 통상적으로, 단계 (a)는 상기 세트의 각각의 채널에 채널에 대한 단일-채널 BRIR의 "직접 응답 및 이른 반사" 부분을 적용하는 단계를 포함하고, 공통의 늦은 반향은, 단일-채널 BRIR들의 적어도 일부(예를 들어, 전부)의 늦은 반향 부분들의 집합적 매크로 속성을 에뮬레이팅하도록 생성되었다.
다채널 오디오 입력 신호에 응답하여(또는 이러한 신호의 한 세트의 채널들에 응답하여) 바이노럴 신호를 생성하기 위한 방법은 때때로 여기서는 "헤드폰 가상화" 방법이라 불리며, 이러한 방법을 수행하도록 구성된 시스템은 때때로 "헤드폰 가상화기"(또는 "헤드폰 가상화 시스템" 또는 "바이노럴 가상화기")라 불린다.
제1 부류의 전형적인 실시예에서, FDN들 각각은 필터뱅크 도메인(예를 들어, 하이브리드 복소 직교 미러 필터(HCQMF; hybrid complex quadrature mirror filter) 도메인 또는 직교 미러 필터(QMF; quadrature mirror filter) 도메인, 또는 데시메이션(decimation)을 포함할 수 있는 또 다른 변환 또는 부대역 도메인)에서 구현되고, 일부 이러한 실시예에서, 바이노럴 신호의 주파수-의존 공간 음향 속성들은 늦은 반향을 적용하기 위해 채용되는 각각의 FDN의 구성을 제어함으로써 제어된다. 통상적으로, 채널들의 모노포닉 다운믹스는 다채널 신호의 오디오 콘텐츠의 효율적인 바이노럴 렌더링을 위한 FDN의 입력으로 시용된다. 제1 부류의 전형적인 실시예는, 예를 들어, 피드백 지연 네트워크에 제어 값들을 어써팅하여, 각각의 FDN의 입력 이득, 반향 탱크 이득들, 반향 탱크 지연들, 또는 출력 행렬 파라미터들 중 적어도 하나를 설정함으로써, 주파수-의존 속성들(예를 들어, 반향 감쇠 시간, 이간 코히어런스, 모달 밀도(modal density), 및 직접-대-늦은 비율)에 대응하는 FDN 계수들을 조절하는 단계를 포함한다. 이것은 음향 환경과 더 자연스런 사운딩 출력들의 더 양호한 정합을 가능케 한다.
제2 부류의 실시예에서, 본 발명은, 입력 신호의 한 세트의 채널들의 각각의 채널(예를 들어, 입력 신호의 채널들 각각 또는 입력 신호의 각각의 전체 주파수 범위 채널)에 바이노럴 룸 임펄스 응답(BRIR)을 적용함으로써, 채널들을 갖는 다채널 오디오 입력 신호에 응답하여 바이노럴 신호를 생성하기 위한 방법이며, 이 방법은, 상기 세트의 각각의 채널을, 채널에 대한 단일-채널 BRIR의 직접 응답 및 이른 반사 부분을 모델링 및 상기 각각의 채널에 적용하도록 구성된 제1 처리 경로에서 처리하는 단계; 및 상기 세트의 채널들의 다운믹스(예를 들어, 모노포닉(모노) 다운믹스)를, 공통의 늦은 반향을 모델링하고 다운 믹스에 적용하도록 구성된 (제1 처리 경로와 병렬의) 제2 처리 경로에서 처리하는 단계를 포함한다. 통상적으로, 공통의 늦은 반향은, 단일-채널 BRIR들의 적어도 일부(예를 들어, 전부)의 늦은 반향 부분들의 집합적 매크로 속성들을 에뮬레이팅하도록 생성되었다. 통상적으로, 제2 처리 경로는 적어도 하나의 FDN(예를 들어, 복수의 주파수 대역들 각각에 대해 하나의 FDN)을 포함한다. 통상적으로, 모노 다운믹스는 제2 처리 경로에 의해 구현된 각각의 FDN의 모든 반향 탱크들에 대한 입력으로서 이용된다. 통상적으로, 음향 환경을 더 양호하게 시뮬레이션하고 더 자연스런 사운딩 바이노럴 가상화를 생성하기 위하여 각각의 FDN의 매크로 속성들의 체계적 제어를 위한 메커니즘이 제공된다. 대부분의 이러한 매크로 속성들은 주파수 의존적이기 때문에, 각각의 FDN은 통상적으로 하이브리드 복소 직교 미러 필터(HCQMF; hybrid complex quadrature mirror filter) 도메인, 주파수 도메인, 도메인, 또는 다른 필터뱅크 도메인에서 구현되고, 각각의 주파수 대역에 대해 상이한 또는 독립된 FDN이 이용된다. 필터뱅크 도메인에서 FDN을 구현하는 주요 이점은 주파수-의존 반향 속성을 갖는 반향의 적용을 허용하는 것이다. 다양한 실시예에서, FDN은, 실수 또는 복소수값 직교 미러 필터(QMF; quadrature mirror filter), 유한-임펄스 응답 필터(FIR 필터), 무한-임펄스 응답 필터(IIR 필터), 이산 푸리에 변환(DFT), (수정된) 코사인 또는 사인 변환, 웨이브릿 변환, 또는 크로스-오버 필터를 포함한 그러나 이것으로 제한되지 않는, 다양한 필터뱅크들 중 임의의 것을 이용하여, 광범위한 필터뱅크 도메인들 중 임의의 것에서 구현된다. 바람직한 구현에서, 채용된 필터뱅크 또는 변환은 FDN 프로세스의 계산 복잡성을 감소시키기 위해 데시메이션(예를 들어, 주파수-도메인 신호 표현의 샘플링 레이트의 감소)을 포함한다.
제1 부류(및 제2 부류) 구현에서의 일부 실시예는 다음과 같은 피쳐들 중 하나 이상을 구현한다:
1. 예를 들어, 주파수의 함수로서 모달 밀도를 변경하도록 상이한 대역들에서 반향 탱크 지연을 변환시키는 능력을 제공함으로써, (주파수-의존 음향 속성의 간단하고 융통성있는 제어를 가능케하는) 각각의 주파수 대역에 대한 FDN의 파라미터 및/또는 설정의 독립적 조절을 통상적으로 허용하는, 필터뱅크 도메인(예를 들어, 하이브리드 복소 직교 미러 필터 도메인) FDN 구현, 하이브리드 필터뱅크 도메인 FDN 구현 및 시간 도메인 늦은 반향 필터 구현;
2. 제2 처리 경로에서 처리된 (다채널 입력 오디오 신호로부터) 다운믹싱된(예를 들어, 모노포닉 다운믹싱된) 신호를 생성하기 위해 채용된 특정 다운믹싱 프로세스는, 직접 응답과 늦은 응답 사이의 적절한 레벨 및 타이밍 관계를 유지하기 위하여 각각의 채널의 소스 거리와 직접 응답의 취급에 의존한다;
3. (예를 들어, FDN 뱅크의 입력이나 출력에서) 전대역 통과 필터(APF; all-pass filter)가 제2 처리 경로에서 적용되어 결과적 반향의 스펙트럼 및/또는 음색의 변경없이 위상 다이버시티와 증가된 에코 밀도를 도입한다.
4. 복소-값, 다중-레이트 구조에서 각각의 FDN의 피드백 경로에서 소수 지연(fractional delay)이 구현되어 다운샘플-인자 그리드(downsample-factor grid)로 양자화된 지연들에 관련된 문제를 극복한다;
5. FDN에서, 각각의 주파수 대역에서 원하는 이간 코히어런스에 기초하여 설정되는 출력 믹싱 계수들을 이용하여, 반향 탱크 출력들이 바이노럴 채널들에 직접 선형적으로 믹싱된다. 선택사항으로서, 바이노럴 출력 채널들로의 반향 탱크들의 맵핑은 주파수 대역들에 걸쳐 교번하여 바이노럴 채널들간의 밸런싱된 지연을 달성한다. 또한 선택사항으로서, 정규화 인자들이 반향 탱크 출력들에 적용되어 그들의 레벨을 등화하면서 소수 지연 및 전체 전력을 유지한다;
6. 주파수-의존 반향 감쇠 시간 및/또는 모달 밀도는 각각의 주파수 대역 내의 반향 탱크 지연과 이득의 적절한 조합을 설정하여 실제 룸을 시뮬레이션함으로써 제어된다.
7. (예를 들어, 관련 처리 경로의 입력이나 출력에서) 주파수 대역마다 하나의 스케일링 인자가 적용되어:
실제 룸의 것과 정합하는 주파수-의존 직접-대-늦은 비율(DLR)을 제어하고(타겟 DLR과 반향 감쇠 시간, 예를 들어, T60에 기초하여 요구되는 스케일링 인자를 계산하기 위해 간단한 모델이 이용될 수 있다);
과도한 결합 아티팩트 및/또는 저주파 럼블(rumble)을 완화시키기 위해 저주파 감쇠를 제공하며; 및/또는
확산 필드 스펙트럼 성형을 FDN 응답에 적용한다;
8. 반향 감쇠 시간, 이간 코히어런스, 및/또는 직접-대-늦은 비율 등의, 늦은 반향의 본질적인 주파수-의존 속성들을 제어하기 위해 간단한 파라메트릭 모델들이 구현된다.
본 발명의 양태들은, 오디오 신호들(예를 들어, 그 오디오 콘텐츠가 스피커 채널들, 및/또는 객체-기반의 오디오 신호들로 구성된 오디오 신호들)의 바이노럴 가상화를 수행하는 (또는 가상화를 수행하거나 수행을 지원하도록 구성된) 방법 및 시스템을 포함한다.
또 다른 부류의 실시예들에서, 본 발명은, 예를 들어, 단일 피드백 지연 네트워크(FDN)를 이용하여 한 세트의 채널들의 다운믹스에 공통의 늦은 반향을 적용하는 것을 포함한, 바이노럴 룸 임펄스 응답(BRIR)을 한 세트 채널들의 각각의 채널에 적용함으로써 필터링된 신호들을 생성하고; 필터링된 신호들을 결합하여 바이노럴 신호를 생성하는 것을 포함한, 다채널 오디오 입력 신호의 한 세트의 채널들에 응답하여 바이노럴 신호를 생성하는 방법 및 시스템이다. FDN은 시간 도메인에서 구현된다. 일부 이러한 실시예에서, 시간-도메인 FDN은 하기의 것들을 포함한다:
다운믹스를 수신하도록 결합된 입력을 갖고, 다운믹스에 응답하여 제1 필터링된 다운믹스를 생성하도록 구성된 입력 필터;
제1 필터링된 다운믹스에 응답하여 제2 필터링된 다운믹스를 생성하도록 결합되고 구성된 전대역 통과 필터;
제1 출력 및 제2 출력을 갖는 반향 적용 서브시스템으로서, 상기 반향 적용 서브시스템은 한 세트의 반향 탱크를 포함하고, 상기 반향 탱크들 각각은 상이한 지연을 가지며, 상기 반향 적용 서브시스템은, 상기 제2 필터링된 다운믹스에 응답하여 제1 언믹싱된 바이노럴 채널 및 제2 언믹싱된 바이노럴 채널을 생성하고, 상기 제1 출력에서 상기 제1 언믹싱된 바이노럴 채널을 어써팅하고, 상기 제2 출력에서 상기 제2 언믹싱된 바이노럴 채널을 어써팅하도록 결합되고 구성된, 상기 반향 적용 서브시스템; 및
반향 적용 서브시스템에 결합되어 제1 언믹싱된 바이노럴 채널과 제2 언믹싱된 바이노럴 채널에 응답하여 제1 믹싱된 바이노럴 채널과 제2 믹싱된 바이노럴 채널을 생성하도록 구성된 이간 교차-상관 계수(IACC) 필터링 및 믹싱단.
입력 필터는, 각각의 BRIR이 타겟 직접-대-늦은 비율(DLR)과 적어도 실질적으로 정합하는 DLR을 갖게 하도록 제1 필터링된 다운믹스를 생성하도록(바람직하게는 생성하도록 구성된 2개의 필터들의 캐스캐이드로서) 구현될 수 있다.
각각의 반향 탱크는 지연된 신호를 생성하도록 구성될 수 있고, 각각의 BRIR의 타겟 반향 감쇠 시간 특성(예를 들어, T60 특성)을 달성하기 위한 노력으로, 상기 반향 탱크들 각각에서 전파하는 신호에 이득을 적용하여 지연된 신호가 상기 지연된 신호에 대한 타겟 감쇠된 이득과 적어도 실질적으로 정합하는 이득을 갖게 하도록 결합되고 구성된 (예를 들어, 쉘프 필터(shelf filter) 또는 쉘프 필터들의 캐스캐이드로서 구현된) 반향 필터를 포함할 수 있다.
일부 실시예에서, 제1 언믹싱된 바이노럴 채널은 제2 언믹싱된 바이노럴 채널을 리딩(lead)하며, 반향 탱크들은 최단 지연을 갖는 제1 지연된 신호를 생성하도록 구성된 제1 반향 탱크와 두번째 최단 지연을 갖는 제2 지연된 신호를 생성하도록 구성된 제2 반향 탱크를 포함하고, 제1 반향 탱크는 제1 지연된 신호에 제1 이득을 적용하도록 구성되고, 제2 반향 탱크는 제2 지연된 신호에 제2 이득을 적용하도록 구성되며, 제2 이득은 제1 이득과 상이하고, 제1 이득과 제2 이득의 적용은 제2 언믹싱된 바이노럴 채널에 비해 제1 언믹싱된 바이노럴 채널의 감쇠를 야기한다. 통상적으로, 제1 믹싱된 바이노럴 채널과 제2 믹싱된 바이노럴 채널은 재중심된 스테레오 이미지(re-centered stereo image)를 나타낸다. 일부 실시예에서, IACC 필터링 및 믹싱단은, 제1 믹싱된 바이노럴 채널과 제2 믹싱된 바이노럴 채널이 타겟 IACC 특성과 적어도 실질적으로 정합하는 IACC 특성을 갖게 하게끔 제1 믹싱된 바이노럴 채널과 제2 믹싱된 바이노럴 채널을 생성하도록 구성된다.
본 발명의 전형적인 실시예들은, 스피커 채널들로 구성된 입력 오디오와, 객체-기반의 입력 오디오 양쪽 모두를 지원하기 위한 간단하고 통일된 프레임워크를 제공한다. BRIR들이 객체 채널들인 입력 신호 채널들에 적용되는 실시예에서, 각각의 객체 채널에 대해 수행되는 "직접 응답 및 이른 반사" 처리는 객체 채널의 오디오 콘텐츠가 제공된 메타데이터에 의해 표시된 소스 방향을 취한다. BRIR들이 스피커 채널들인 입력 신호 채널들에 적용되는 실시예에서, 각각의 스피커 채널에 대해 수행되는 "직접 응답 및 이른 반사" 처리는 스피커 채널에 대응하는 소스 방향(즉, 대응하는 스피커의 추정된 위치로부터 추정된 청취자 위치로의 직접 경로의 방향)을 취한다. 입력 채널들이 객체 채널인지 또는 스피커 채널인지에 관계없이, "늦은 반향" 처리는 입력 채널들의 다운믹스(예를 들어, 모노포닉 다운믹스)에 대해 수행되고, 다운믹스의 오디오 콘텐츠에 대한 임의의 특정한 소스 방향을 취하지 않는다.
본 발명의 다른 양태들은, 본 발명의 방법의 임의의 실시예를 수행하도록 구성된(예를 들어, 프로그램된) 헤드폰 가상화기, 이러한 가상화기를 포함하는 시스템(예를 들어, 스테레오, 다채널, 또는 기타의 디코더), 및 본 발명의 방법의 임의의 실시예를 구현하기 위한 코드를 저장한 컴퓨터 판독가능한 매체(예를 들어, 디스크)이다.
도 1은 종래의 헤드폰 가상화 시스템의 블록도이다.
도 2는 본 발명의 헤드폰 가상화 시스템의 실시예를 포함하는 시스템의 블록도이다.
도 3은 본 발명의 헤드폰 가상화 시스템의 또 다른 실시예의 블록도이다.
도 4는 도 3의 시스템의 전형적인 구현에 포함되는 유형의 FDN의 블록도이다.
도 5는, 2개의 특정한 주파수들(fA 및 fB) 각각에서 T60의 값이, fA = 10 Hz에서 T60,A = 320 ms, 및 fB = 2.4 kHz에서 T60,B = 150 ms로 설정되는 본 발명의 가상화기의 실시예에 의해 달성될 수 있는, Hz 단위의 주파수의 함수로서의 밀리초 단위의 반향 감쇠 시간(T60)의 그래프이다.
도 6은, 제어 파라미터들 Cohmax, Cohmin, 및 fC가 Cohmax = 0.95, Cohmin = 0.05, 및 fC = 700 Hz로 설정되는 본 발명의 가상화기의 실시예에 의해 달성될 수 있는 Hz 단위의 주파수의 함수로서의 이간 코히어런스(Coh)의 그래프이다.
도 7은, 제어 파라미터들 DLR1K, DLRslope, DLRmin, HPFslope, 및 fT가 DLR1K = 18 dB, DLRslope = 6 dB/10x 주파수, DLRmin = 18 dB, HPFslope = 6 dB/10x 주파수, 및 fT = 200 Hz로 설정되는 본 발명의 가상화기의 실시예에 의해 달성될 수 있는 Hz 단위의 주파수의 함수로서의 dB 단위의 1미터의 소스 거리에서의 직접-대-늦은 비율(DLR; direct-to-late ratio)의 그래프이다.
도 8은 본 발명의 헤드폰 가상화 시스템의 늦은 반향 처리 서브시스템의 또 다른 실시예의 블록도이다.
도 9는 본 발명의 시스템의 일부 실시예에 포함된 유형의 FDN의 시간-도메인 구현의 블록도이다.
도 9a는 도 9의 필터(400)의 구현예의 블록도이다.
도 9b는 도 9의 필터(406)의 구현예의 블록도이다.
도 10은, 늦은 반향 처리 서브시스템(221)이 시간 도메인에서 구현된, 본 발명의 헤드폰 가상화 시스템의 실시예의 블록도이다.
도 11은 도 9의 FDN의 요소들(422, 423, 및 424)의 실시예의 블록도이다.
도 11a는, 도 11의 필터(500)의 전형적인 구현의 주파수 응답(R1), 도 11의 필터(501)의 전형적인 구현의 주파수 응답(R2), 및 병렬 접속된 필터들(500 및 501)의 응답의 그래프이다.
도 12는, 도 9의 FDN의 구현에 의해 달성될 수 있는 IACC 특성(곡선 "I"), 및 타겟 IACC 특성(곡선 "IT")의 예의 그래프이다.
도 13은, 필터들(406, 407, 408, 및 409) 각각을 쉘프 필터(shelf filter)로서 적절히 구현함으로써 도 9의 FDN의 구현에 의해 달성될 수 있는 T60 특성의 그래프이다.
도 14는, 필터들(406, 407, 408, 및 409) 각각을 2개의 IIR 쉘프 필터들의 캐스캐이드로서 적절히 구현함으로써 도 9의 FDN의 구현에 의해 달성될 수 있는 T60 특성의 그래프이다.
표기와 명명법
청구항들을 포함한 본 개시내용 전체에 걸쳐, 신호나 데이터에 "대한(on)" 동작(예를 들어, 신호나 데이터를 필터링, 스케일링, 변형, 또는 이에 이득을 적용하는 것)을 수행한다는 표현은, 넓은 의미에서, 신호나 데이터에 대해, 신호나 데이터의 처리된 버전(예를 들어, 신호나 데이터에 대한 동작의 수행 이전에 예비 필터링이나 전처리를 겪은 신호의 버전)에 대해 직접 동작을 수행하는 것을 나타내기 위해 사용된다.
청구항들을 포함하는 본 개시내용 전체에 걸쳐, 표현 "시스템"은 넓은 의미에서 디바이스, 시스템, 또는 서브시스템을 나타내기 위해 사용된다. 예를 들어, 가상화기를 구현하는 서브시스템은 가상화기 시스템이라 부를 수 있고, 이러한 서브시스템을 포함하는 시스템(예를 들어, 서브시스템이 입력들 중 M개를 생성하고, 다른 X-M개의 입력들은 외부 소스로부터 수신되는, 복수의 입력에 응답하여 X개의 출력 신호를 생성하는 시스템)도 역시 가상화기 시스템(또는 가상화기)이라 부를 수 있다.
청구항들을 포함하는 본 개시내용 전체에 걸쳐, 용어 "프로세서"는, 넓은 의미에서, 데이터(예를 들어, 오디오, 또는 비디오 또는 다른 이미지 데이터)에 대한 동작을 수행하도록 (예를 들어, 소프트웨어나 펌웨어로) 프로그램가능하거나 기타의 방식으로 구성가능한 시스템 또는 디바이스를 나타내기 위해 사용된다. 프로세서의 예로서는, 필드-프로그래머블 게이트 어레이(또는 기타의 구성가능한 집적 회로 또는 칩셋), 오디오나 사운드 데이터에 대해 파이프라인화된 처리를 수행하도록 프로그램된 및/또는 기타의 방식으로 구성된 디지털 신호 프로세서, 프로그래머블 범용 프로세서 또는 컴퓨터, 및 프로그래머블 마이크로프로세서 또는 칩셋이 포함된다.
청구항들을 포함한 본 개시내용 전체에 걸쳐, 표현 "분석 필터뱅크"는 넓은 의미에서 시간-도메인 신호에 대해 변환(예를 들어, 시간 도메인-주파수 도메인 변환)을 적용하여 한 세트의 주파수 대역들 각각에서 시간-도메인 신호의 콘텐츠를 나타내는 값들(예를 들어, 주파수 성분들)을 생성하도록 구성된 시스템(예를 들어, 서브시스템)을 나타내기 위해 사용된다. 청구항들을 포함한 본 개시내용 전체에 걸쳐, 표현 "필터뱅크 도메인"은 넓은 의미에서 변환 또는 분석 필터뱅크에 의해 생성된 주파수 성분들의 도메인(예를 들어, 이러한 주파수 성분들이 처리되는 도메인)을 나타내기 위해 사용된다. 필터뱅크 도메인의 예는, 주파수 도메인, QMF(quadrature mirror filter)도메인, 및 HCQMF(hybrid complex quadrature mirror filter) 도메인을 포함한다(그러나, 이것으로 제한되지 않는다). 분석 필터뱅크에 의해 적용될 수 있는 변환의 예는, 이산-코사인 변환(DCT), 수정된 이산 코사인 변환(MDCT), 이산 푸리에 변환(DFT), 및 웨이브릿 변환을 포함한다(그러나 이것으로 제한되지 않는다). 분석 필터뱅크의 예는, QMF(quadrature mirror filter), 유한-임펄스 응답 필터(FIR 필터), 무한-임펄스 응답 필터(IIR 필터), 크로스-오버 필터, 및 다른 적절한 멀티-레이트 구조를 갖는 필터들을 포함한다(그러나, 이것으로 제한되지 않는다).
청구항들을 포함하는 본 개시내용 전체에 걸쳐, 용어 "메타데이터"란, 대응하는 오디오 데이터(메타데이터를 역시 포함하는 비트스트림의 오디오 콘텐츠)로부터의 별개의 상이한 데이터를 말한다. 메타데이터는 오디오 데이터와 연관되고, 오디오 데이터의 적어도 하나의 피쳐 또는 특성(예를 들어, 오디오 데이터, 또는 오디오 데이터에 의해 표시된 객체의 궤적에 대해, 어떤 유형(들)의 처리가 이미 수행되었는지, 또는 수행되어야 하는지)을 포함한다. 메타데이터의 오디오 데이터와의 연관은 시간-동기적이다. 따라서, 현재의(가장 최근에 수신되거나 업데이트된) 메타데이터는, 대응하는 오디오 데이터가 표시된 피쳐를 동시적으로 갖거나 및/또는 오디오 데이터 처리의 표시된 유형의 결과를 포함한다는 것을 나타낼 수 있다.
청구항들을 포함하는 본 개시내용 전체에 걸쳐, 용어 "결합하다" 또는 "결합된"은 직접 또는 간접 접속 중 어느 하나를 의미하기 위해 사용된다. 따라서, 제1 디바이스가 제2 디바이스에 결합된다면, 그 접속은 직접적인 접속을 통한 것이거나, 다른 디바이스들 및 접속들을 경유한 간접적 접속일 수 있다.
청구항들을 포함하는 본 개시내용 전체에 걸쳐, 이하의 표현들은 다음과 같은 정의를 가진다:
스피커 또는 확성기는 임의의 사운드-방출 트랜스듀서를 나타내기 위해 동의어로서 사용된다. 이 정의는 복수의 트랜스듀서(예를 들어, 우퍼 및 트위터)로서 구현된 확성기들을 포함한다.
스피커 피드 : 확성기에 직접 인가되는 오디오 신호, 또는 직렬로 된 증폭기와 확성기에 인가되는 오디오 신호;
채널(또는 "오디오 채널") : 모노포닉(monophonic) 오디오 신호. 이러한 신호는 전형적으로, 원하는 또는 공칭 위치의 확성기로의 직접적인 신호의 인가와 동등하게 되는 방식으로 렌더링될 수 있다. 원하는 위치는, 전형적으로 물리적 확성기들의 경우에서와 같이 정적이거나, 동적일 수도 있다.
오디오 프로그램: 한 세트의 하나 이상의 오디오 채널(적어도 하나의 스피커 채널 및/또는 적어도 하나의 객체 채널) 및 선택사항으로서는 또한 연관된 메타데이터(예를 들어, 원하는 공간적 오디오 프리젠테이션을 기술하는 메타데이터);
스피커 채널(또는 "스피커-피드 채널") : (원하는 또는 공칭 위치의) 명명된 확성기와 연관된, 또는 정의된 스피커 구성 내의 명명된 스피커 구역과 연관된 오디오 채널. 스피커 채널은, (원하는 또는 공칭 위치의) 명명된 확성기로의 또는 명명된 스피커 구역 내의 스피커로의 직접적인 오디오 신호의 인가와 동등하게 되는 방식으로 렌더링된다.
객체 채널 : (때때로 오디오 "객체"라고 하는) 오디오 소스에 의해 방출된 사운드를 나타내는 오디오 채널. 전형적으로는, 객체 채널은 파라메트릭 오디오 소스 설명(예를 들어, 객체 채널에 포함되거나 객체 채널에 제공된 파라메트릭 오디오 소스 설명을 나타내는 메타데이터)을 판정한다. 소스 설명은, (시간의 함수로서) 소스에 의해 방출된 사운드, 시간의 함수로서 소스의 피상 위치(예를 들어, 3D 공간 좌표), 및 선택사항으로서 소스를 특성기술하는 적어도 하나의 추가 파라미터(예를 들어, 피상 소스 크기 또는 폭)를 판정할 수 있고;
객체 기반의 오디오 프로그램 : 한 세트의 하나 이상의 객체 채널(및 선택사항으로서는 또한 적어도 하나의 스피커 채널을 포함) 및 선택사항으로서는 또한 연관된 메타데이터(예를 들어, 객체 채널에 의해 표시된 사운드를 방출하는 오디오 객체의 궤적을 나타내는 메타데이터, 또는 객체 채널에 의해 표시된 사운드의 원하는 공간적 오디오 프리젠테이션을 기타의 방식으로 나타내는 메타데이터, 또는 객체 채널에 의해 표시된 사운드의 소스인 적어도 하나의 오디오 객체의 식별을 나타내는 메타데이터)를 포함하는 오디오 프로그램; 및
렌더링: 오디오 프로그램을 하나 이상의 스피커 피드로 변환하는 프로세스, 또는 오디오 프로그램을 하나 이상의 스피커 피드로 변환하고 하나 이상의 확성기를 이용하여 스피커 피드(들)을 사운드로 변환하는 프로세스(후자의 경우, 렌더링은 때때로 여기서는 확성기(들)에 "의한" 렌더링이라 함). 오디오 채널은 신호를 원하는 위치의 물리적 확성기에 직접 인가함으로써 (원하는 위치"에서") 트리비얼(trivially) 렌더링될 수 있거나, 하나 이상의 오디오 채널은 (청취자에게) 이러한 트리비얼 렌더링과 실질적으로 균등하도록 설계된 다양한 가상화 기술들 중 하나를 이용하여 렌더링될 수 있다. 이 후자의 경우, 각각의 오디오 채널은, 일반적으로 원하는 위치와는 상이한 알려진 장소들의 확성기(들)에 인가될 하나 이상의 스피커 피드로 변환되어, 피드(들)에 응답하여 확성기(들)에 의해 방출된 사운드가 원하는 위치로부터 방출되는 것으로 인지되게 할 것이다. 이러한 가상화 기술들의 예는, (예를 들어, 헤드폰 착용자에게 7.1 채널까지의 서라운드 사운드를 시뮬레이션하는 Dolby Headphone 처리를 이용한) 헤드폰을 통한 바이노럴 렌더링(binaural rendering)과 파면 합성 기술(wave field synthesis)을 포함한다.
다채널 오디오 신호가 "x.y" 또는 "x.y.z" 채널 신호라는 표기는 여기서, 신호가, (가정된 청취자의 귀들의 수평면에서 공칭 위치한 스피커들에 대응하는) "x" 전체 주파수 스피커 채널들, "y" LFE(또는 서브우퍼) 채널들, 및 선택사항으로서 (가정된 청취자의 머리 위에, 예를 들어, 방의 천장에 있는 또는 그 부근에 위치한 스피커들에 대응하는) "z" 전체 주파수 머리위 스피커 채널들을 가진다는 것을 나타낸다.
표현 "IACC"는 여기서, 그 일반적 의미에서 이간 교차-상관 계수(interaural cross-correlation coefficient)를 나타내며, 이것은 청취자의 귀에서의 오디오 신호 도달 시간들간의 차이의 측정치로서, 통상적으로, 도달 신호들이 크기가 동일하고 정확히 위상이 어긋난다는 것을 나타내는 제1 값으로부터, 도달 신호들이 아무런 유사성을 갖지 않는다는 것을 나타내는 중간값, 및 도달 신호들이 동일한 진폭과 위상을 갖는 동일한 신호라는 것을 나타내는 최대값까지의 범위 내의 숫자에 의해 표시된다.
양호한 실시예들의 상세한 설명
본 발명의 많은 실시예들이 기술적으로 가능하다. 본 기술분야의 통상의 기술자에게는 본 개시내용으로부터 이들을 구현하는 방법이 명백할 것이다. 본 발명의 시스템 및 방법의 실시예들이 도 2 내지 도 14를 참조하여 설명될 것이다.
도 2는 본 발명의 헤드폰 가상화 시스템의 실시예를 포함하는 시스템(20)의 블록도이다. (때때로 가상화기라고 하는) 헤드폰 가상화 시스템은, 바이노럴 룸 임펄스 응답(BRIR)을 다채널 오디오 입력 신호의 N개의 전체 주파수 범위 채널(X1, ..., XN)에 적용하도록 구성된다. (스피커 채널들 또는 객체 채널들일 수 있는) 채널들(X1, ..., XN) 각각은 추정된 청취자에 관한 특정한 소스 방향 및 거리에 대응하며, 도 2 시스템은 이러한 각각의 채널을 대응하는 소스 방향 및 거리에 대한 BRIR에 의해 컨벌브하도록 구성된다.
시스템(20)은, 인코딩된 오디오 프로그램을 수신하도록 결합되고, 프로그램으로부터 N개의 전체 주파수 범위 채널들(X1, ..., XN)을 복구하는 것을 포함한 프로그램을 디코딩하고 이들을 (도시된 바와 같이 결합된, 요소들(12, ..., 14, 15, 16 및 18)을 포함하는) 가상화 시스템의 요소들(12, ... , 14, 및 15)에 제공하도록 결합되고 구성된 (도 2에 도시되지 않은) 서브시스템을 포함하는 디코더일 수 있다. 디코더는 추가적인 서브시스템들을 포함할 수 있고, 이들 중 일부는 가상화 시스템에 의해 수행되는 가상화 기능과 관련되지 않는 기능을 수행하고, 이들 중 일부는 가상화 기능과 관련된 기능을 수행할 수 있다. 예를 들어, 후자의 기능은, 인코딩된 프로그램으로부터의 메타데이터의 추출, 및 가상화기 시스템의 요소들을 제어하기 위해 메타데이터를 채용하는 가상화 제어 서브시스템으로의 메타데이터의 제공을 포함할 수 있다.
(서브시스템(15)과 함께) 서브시스템(12)은 채널 X1을 BRIR1(대응하는 소스 방향 및 거리에 대한 BRIR)과 컨벌브하도록 구성되고, (서브시스템(15)과 함께) 서브시스템(14)은 채널 XN을 BRIRN(대응하는 소스 방향에 대한 BRIR)과 컨벌브하도록 구성되며, N-2개의 다른 BRIR 서브시스템들 각각에 대해 마찬가지이다. 서브시스템들(12, ..., 14, 및 15) 각각의 출력은 좌측 채널과 우측 채널을 포함하는 시간-도메인 신호이다. 가산 요소들(16 및 18)은 요소들(12, ..., 14 및 15)의 출력들에 결합된다. 가산 요소(16)는 BRIR 서브시스템들의 좌측 채널 출력들을 결합(믹싱)하도록 구성되고, 가산 요소(18)는 BRIR 서브시스템들의 우측 채널 출력들을 결합(믹싱)하도록 구성된다. 요소(16)의 출력은 도 2의 가상화기로부터 바이노럴 오디오 신호 출력의 좌측 채널 L이고, 요소(18)의 출력은 도 2의 가상화기로부터의 바이노럴 오디오 신호 출력의 우측 채널 R이다.
본 발명의 전형적인 실시예들의 중요한 피쳐들은, 본 발명의 헤드폰 가상화기의 도 2 실시예와, 도 1의 종래의 헤드폰 가상화기와의 비교로부터 명백하다. 비교의 목적을 위해, 도 1과 도 2 시스템들은, 이들 시스템 각각에 동일한 다채널 오디오 입력 신호가 어써팅될 때, 시스템들은 (반드시 동일한 성공률은 아니더라도) 동일한 직접 응답 및 이른 반사 부분을 갖는 BRIRi(즉, 도 2의 관련 EBRIRi)를 입력 신호의 각각의 전체 주파수 범위 채널 Xi에 적용하도록 구성된다고 가정한다. 도 1 또는 도 2 시스템에 의해 적용되는 각각의 BRIRi는 2개 부분: 직접 응답 및 이른 반사 부분(예를 들어, 도 2의 서브시스템들(12-14)에 의해 적용되는 EBIR1,…, EBRIRN 부분들 중 하나)과, 늦은 반향 부분으로 분해될 수 있다. 도 2 실시예(및 본 발명의 기타의 전형적인 실시예)는, 단일-채널 BRIR들의 늦은 반향 부분들, BRIRi는 소스 방향들에 걸쳐 및 그에 따라 모든 채널들에 걸쳐 공유될 수 있으므로, 입력 신호의 모든 전체 주파수 범위 채널들의 다운믹스에 동일한 늦은 반향(즉, 공통의 늦은 반향)을 적용하는 것으로 가정한다. 이 다운믹스는 모든 입력 채널들의 모노포닉(모노) 다운믹스일 수 있지만, 대안으로서, 입력 채널들(예를 들어, 입력 채널들의 서브셋)로부터 획득된 스테레오 또는 다채널 다운믹스일 수도 있다.
더 구체적으로는, 도 2의 서브시스템(12)은, 입력 신호 채널 X1을 EBRIR1(대응하는 소스 방향에 대한 직접 응답 및 이른 반사 BRIR 부분)과 컨벌브하도록 구성되고, 서브시스템(14)은, 채널 XN을 EBRIRN(대응하는 소스 방향에 대한 직접 응답 및 이른 반사 BRIR 부분)과 컨벌브하도록 구성되는 등등이다. 도 2의 늦은 반향 서브시스템(15)은, 입력 신호의 모든 전체 주파수 범위 채널들의 모노 다운믹스를 생성하고, 다운믹스를 LBRIR(다운믹스되는 채널들 모두에 대한 공통의 늦은 반향)와 컨벌브하도록 구성된다. 도 2의 가상화기의 각각의 BRIR 서브시스템(서브시스템들(12, ... , 14, 및 15) 각각)의 출력은, (대응하는 스피커 채널 또는 다운믹스로부터 생성된 바이노럴 신호의) 좌측 채널 및 우측 채널을 포함한다. BRIR 서브시스템들의 좌측 채널 출력들은 가산 요소(16)에서 결합(믹싱)되고, BRIR 서브시스템들의 우측 채널 출력들은 가산 요소(18)에서 결합(믹싱)된다.
가산 요소(16)는, 서브시스템들(12, ... ,14 및 15)에서 적절한 레벨 조절 및 시간 정렬이 구현되고 가정하여, 대응하는 좌측 바이노럴 채널 샘플들(서브시스템들(12, ... ,14 및 15)의 좌측 채널 출력들)을 단순히 합산하여 바이노럴 출력 신호의 좌측 채널을 생성하도록 구현될 수 있다. 가산 요소(18)도 역시, 다시 한번, 서브시스템들(12, ... ,14 및 15)에서 적절한 레벨 조절 및 시간 정렬이 구현되고 가정하여, 대응하는 우측 바이노럴 채널 샘플들(예를 들어, 서브시스템들(12, ... ,14 및 15)의 우측 채널 출력들)을 단순히 합산하여 바이노럴 출력 신호의 우측 채널을 생성하도록 구현될 수 있다.
도 2의 서브시스템(15)은 다양한 방식들 중 임의의 방식으로 구현될 수 있지만, 통상적으로는, 공통의 늦은 반향을 어써팅된 입력 신호 채널들의 모노포닉 다운믹스에 적용하도록 구성된 적어도 하나의 피드백 지연 네트워크를 포함한다. 통상적으로, 서브시스템들(12, ... ,14) 각각이 자신이 처리하는 채널 (Xi)에 대한 단일-채널 BRIR의 직접 응답 및 이른 반사 부분(EBRIRi)을 적용하는 경우, 공통의 늦은 반향은 (그 "직접 응답 및 이른 반사 부분들"이 서브시스템(12, ... ,14)에 의해 적용되는) 단일-채널 BRIR들의 적어도 일부(예를 들어, 전부)의 늦은 반향 부분의 집합적 매크로 속성들을 에뮬레이팅하도록 생성되었다. 예를 들어, 서브시스템(15)의 한 구현은, 어써팅된 입력 신호 채널들의 모노포닉 다운믹스에 공통의 늦은 반향을 적용하도록 구성된 피드백 지연 네트워크(203, 204, ... , 205) 뱅크를 포함하는, 도 3의 서브시스템(200)과 동일한 구조를 가진다.
도 2의 서브시스템들(12, ... , 14)은 다양한 방식들 중 임의의 방식으로 (시간 도메인에서 또는 필터뱅크 도메인에서) 구현될 수 있고, 임의의 특정한 응용에 대한 바람직한 구현은, (예를 들어) 성능, 계산, 및 메모리 등의, 다양한 고려사항에 의존한다. 한 예시적 구현에서, 서브시스템들(12, ..., 14) 각각은 어써팅된 채널을 그 채널과 연관된 직접 및 이른 응답에 대응하는 FIR 필터로 컨벌브하도록 구성되고, 이득 및 지연은, 서브시스템들(12, ..., 14)의 출력들이 서브시스템(15)의 것들과 간단히 및 효율적으로 결합될 수 있도록 적절히 설정된다.
도 3은 본 발명의 헤드폰 가상화 시스템의 또 다른 실시예의 블록도이다. 도 3 실시예는 도 2 실시예와 유사하며, 2개의 (좌측 및 우측 채널) 시간 도메인 신호들은 직접 응답 및 이른 반사 처리 서브시스템(100)으로부터 출력되고, 2개의 (좌측 및 우측 채널) 시간 도메인 신호들은 늦은 반향 처리 서브시스템(200)으로부터 출력된다. 가산 요소(210)는 서브시스템들(100 및 200)의 출력들에 결합된다. 요소(210)는 서브시스템들(100 및 200)의 좌측 채널 출력들을 결합(믹싱)하여 도 3 가상화기로부터의 바이노럴 오디오 신호 출력의 좌측 채널 L을 생성하고, 서브시스템들(100 및 200)의 우측 채널 출력들을 결합(믹싱)하여 도 3 가상화기로부터의 바이노럴 오디오 신호 출력의 우측 채널 R을 생성하도록 구성된다. 요소(210)는, 서브시스템들(100 및 200)에서 적절한 레벨 조절 및 시간 정렬이 구현되고 가정하여, 서브시스템들(100 및 200)로부터의 대응하는 좌측 채널 샘플들을 단순히 합산하여 바이노럴 출력 신호의 좌측 채널을 생성하고, 서브시스템들(100 및 200)로부터의 대응하는 우측 채널 샘플들을 단순히 합산하여 바이노럴 출력 신호의 우측 채널을 생성하도록 구현될 수 있다.
도 3 시스템에서, 다채널 오디오 입력 신호의 채널들 Xi는 2개의 병렬 처리 경로 : 직접 응답 및 이른 반사 처리 서브시스템(100)을 통한 한 처리 경로; 및 늦은 반향 처리 서브시스템(200)을 통한 다른 한 처리 경로에 보내지고 그 곳에서 처리를 겪는다. 도 3 시스템은 각각의 채널 Xi에 BRIRi를 적용하도록 구성된다. 각각의 BRIRi는 2개의 부분들: (서브시스템(100)에 의해 적용되는) 직접 응답 및 이른 반사 부분과, (서브시스템(200)에 의해 적용되는) 늦은 반향 부분으로 분해될 수 있다. 동작시, 직접 응답 및 이른 반사 처리 서브시스템(100)은 그에 따라 가상화기로부터 출력되는 바이노럴 오디오 신호의 직접 응답 및 이른 반사 부분들을 생성하고, 늦은 반향 처리 서브시스템("늦은 반향 발생기")(200)은 그에 따라 가상화기로부터 출력되는 바이노럴 오디오 신호의 늦은 반향 부분을 생성한다. 서브시스템들(100 및 200)의 출력들은 (가산 서브시스템(210)에 의해) 믹싱되어 바이노럴 오디오 신호를 생성하고, 이 신호는 통상적으로 서브시스템(210)으로부터, 헤드폰에 의해 재생을 위한 바이노럴 렌더링이 이루어지는 (도시되지 않은) 렌더링 시스템으로 어써팅된다.
통상적으로, 한 쌍의 헤드폰에 의해 렌더링되고 재생될 때, 요소(210)로부터 출력된 전형적인 바이노럴 오디오 신호는 청취자의 고막에서 청취자의 앞쪽, 뒷쪽, 및 위의 위치들을 포함한 다양한 위치들 중 임의의 위치에 있는 "N"개(여기서, N ≥ 2이고, N은 통상적으로 2, 5, 또는 7과 같다)의 확성기로부터의 사운드로서 인지된다. 도 3 시스템의 동작시에 생성되는 출력 신호들의 재생은 청취자에게 2개보다 많은 (예를 들어, 5개 또는 7개의) "서라운드" 소스들로부터 나오는 사운드의 경험을 줄 수 있다. 이들 소스들 중 적어도 일부는 가상적이다.
직접 응답 및 이른 반사 처리 서브시스템(100)은 다양한 방식들 중 임의의 방식으로 (시간 도메인에서 또는 필터뱅크 도메인에서) 구현될 수 있고, 임의의 특정한 응용에 대한 바람직한 구현은, (예를 들어) 성능, 계산, 및 메모리 등의, 다양한 고려사항에 의존한다. 한 예시적 구현에서, 서브시스템들(100) 각각은 어써팅된 각각의 채널을 그 채널과 연관된 직접 및 이른 응답에 대응하는 FIR 필터로 컨벌브하도록 구성되고, 이득 및 지연은, 서브시스템(100)의 출력들이 서브시스템(200)의 것들과 (요소(210)에서) 간단히 및 효율적으로 결합될 수 있도록 적절히 설정된다.
도 3에 도시된 바와 같이, 늦은 반향 생성기(200)는, 도시된 바와 같이 결합된, 다운믹싱 서브시스템(201), 분석 필터뱅크(202), FDN들(FDN 203, 204, ... 및 205)의 뱅크, 및 합성 필터뱅크(207)를 포함한다. 서브시스템(201)은 다채널 입력 신호의 채널들을 모노 다운믹스로 다운믹싱하도록 구성되고, 분석 필터뱅크(202)는 모노 다운믹스에 변환을 적용하여 모노 다운믹스를 "K"개의 주파수 대역들로 분할하도록 구성되며, 여기서, K는 정수이다. 각각의 상이한 주파수 대역의 (필터뱅크(202)로부터 출력된) 필터뱅크 도메인 값들은 FDN들(203, 204, ..., 205) 중 상이한 것에 어써팅된다(이들 FDN들 중 "K"개가 있고, 각각은 BRIR의 늦은 반향 부분을 어써팅된 필터뱅크 도메인 값들에 적용하도록 결합 및 구성된다). 필터뱅크 도메인 값들은 바람직하게는 시간적으로 데시메이트되어 FDN들의 계산 복잡성을 감소시킨다.
원칙적으로, (도 3의 서브시스템(100) 및 서브시스템(201)으로의) 각각의 입력 채널은 그 자신의 FDN(또는 FDN들의 뱅크)에서 처리되어 그 BRIR의 늦은 반향 부분을 시뮬레이션할 수 있다. 상이한 사운드 소스 위치들과 연관된 BRIR들의 늦은-반향 부분은 임펄스 응답들에서의 제곱 평균 제곱근(root-mean square) 차이의 관점에서 통상적으로 매우 상이하다는 사실에도 불구하고, 그들의 평균 전력 스펙트럼, 그들의 에너지 감쇠 구조, 모달 밀도, 피크 밀도 등의 그들의 통계적 속성들은 종종 매우 유사하다. 따라서, 한 세트의 BRIR들의 늦은 반향 부분들은 통상적으로 채널들에 걸쳐 인지적으로 상당히 유사하고, 결과적으로, 2개 이상의 BRIR들의 늦은-반향 부분들을 시뮬레이션하기 위해 하나의 공통 FDN 또는 FDN들(예를 들어, FDN들(203, 204, ..., 205))의 뱅크를 이용하는 것이 가능하다. 전형적인 실시예에서, 이러한 하나의 공통 FDN(또는 FDN들의 뱅크)이 채용되고, 그에 대한 입력은 입력 채널들로부터 구축된 하나 이상의 다운믹스로 구성된다. 도 2의 예시적 구현에서, 다운믹스는 모든 입력 채널들의 (서브시스템(201)의 출력에서 어써팅되는) 모노포닉 다운믹스이다.
도 2 실시예를 참조하여, FDN들(203, 204, ..., 및 205) 각각은 필터뱅크 도메인에서 구현되고, 분석 필터뱅크(202)로부터 출력된 값들의 상이한 주파수 대역을 처리하여 각각의 대역에 대한 좌측 및 우측 반향 신호들을 생성하도록 결합되고 구성된다. 각각의 대역에 대해, 좌측 반향된 신호는 필터뱅크 도메인 값들의 시퀀스이고, 우측 반향된 신호는 필터뱅크 도메인 값들의 또 다른 시퀀스이다. 합성 필터뱅크(207)는 주파수 도메인-대-시간 도메인 변환을 FDN들로부터 출력된 필터뱅크 도메인 값들(예를 들어, QMF 도메인 주파수 성분들)의 2K 시퀀스들에 적용하고, 변환된 값들을 (늦은 반향이 적용된 모노 다운믹스의 오디오 콘텐츠를 나타내는) 좌측 채널 시간 도메인 신호와 (늦은 반향이 적용된 모노 다운믹스의 오디오 콘텐츠를 역시 나타내는) 우측 채널 시간 도메인 신호로 어셈블하도록 결합되고 구성된다. 이들 좌측 채널 및 우측 채널 신호들은 요소(210)에 출력된다.
전형적인 구현에서 FDN들(203, 204, ... , 및 205) 각각은 QMF 도메인에서 구현되고, 필터뱅크(202)는 서브시스템(201)으로부터의 모노 다운믹스를 QMF 도메인(예를 들어, 하이브리드 복소 직교 미러 필터(HCQMF) 도메인)으로 변환하여, 필터뱅크(202)로부터 FDN들(203, 204, ..., 및 205) 각각의 입력에 어써팅된 신호가 QMF 도메인 주파수 성분들의 시퀀스가 되도록 한다. 이러한 구현에서, 필터뱅크(202)로부터 FDN(203)으로 어써팅된 신호는 제1 주파수 대역에서의 QMF 도메인 주파수 성분들의 시퀀스이고, 필터뱅크(202)로부터 FDN(204)으로 어써팅된 신호는 제2 주파수 대역에서의 QMF 도메인 주파수 성분들의 시퀀스이며, 필터뱅크(202)로부터 FDN(205)으로 어써팅된 신호는 "K"번째 주파수 대역에서의 QMF 도메인 주파수 성분들의 시퀀스이다. 분석 필터뱅크(202)가 이렇게 구현될 때, 합성 필터뱅크(207)는 QMF 도메인-대-시간 도메인 변환을 FDN들로부터의 출력 QMF 도메인 주파수 성분들의 2K 시퀀스에 적용하여 요소(210)에 출력되는 좌측 채널 및 우측 채널 늦은-반향된 시간 도메인 신호들을 생성하도록 구성된다.
예를 들어, 도 3의 시스템에서 K=3이면, 합성 필터뱅크(207)로의 6개 입력(FDN들(203, 204, 및 205)로부터 출력된, 주파수-도메인 또는 QMF 도메인 샘플들을 포함하는, 좌측 및 우측 채널들)과, 207로부터의 2개의 출력(좌측 및 우측 채널들, 각각은 시간 도메인 샘플들로 구성됨)이 존재한다. 이 예에서, 필터뱅크(207)는 통상적으로 2개의 합성 필터뱅크로서 구현될 것이다: 필터뱅크(207)로부터 시간-도메인 좌측 채널 신호 출력을 생성하도록 구성된 (FDN들(203, 204 및 205)로부터의 3개의 좌측 채널들이 어써팅되는) 하나의 필터뱅크; 및 필터뱅크(207)로부터 시간-도메인 우측 채널 신호 출력을 생성하도록 구성된 (FDN들(203, 204 및 205)로부터의 3개의 우측 채널들이 어써팅되는) 두 번째 필터뱅크.
선택사항으로서, 제어 서브시스템(209)은 FDN들(203, 204, ... , 205) 각각에 결합되고, FDN들 각각에게 제어 파라미터들을 어써팅하여 서브시스템(200)에 의해 적용되는 늦은 반향 부분(LBRIR)을 판정하도록 구성된다. 이러한 제어 파라미터들의 예가 이하에서 설명된다. 일부 구현에서 제어 서브시스템(209)이 서브시스템(200)에 의해 입력 채널들의 모노포닉 다운믹스에 적용되는 늦은 반향 부분(LBRIR)의 실시간 변동을 구현하도록 실시간으로 (예를 들어, 입력 디바이스에 의해 어써팅된 사용자 명령에 응답하여) 동작가능한 것을 생각해 볼 수 있다.
예를 들어, 도 2의 시스템으로의 입력 신호가 (그 전체 주파수 범위 채널들이 L, R, C, Ls, Rs들의 채널 순서로 있는) 5.1-채널 신호이면, 모든 전체 주파수 범위 채널들은 동일한 소스 거리를 가지며, 다운믹싱 서브시스템(201)은, 단순히 전체 주파수 범위 채널들을 합산하여 모노 다운믹스를 형성하는, 다음과 같은 다운믹스 행렬로서 구현될 수 있다:
D = [1 1 1 1 1]
(FDN들(203, 204, ..., 및 205) 각각의 요소(301)에서의) 전대역 통과 필터링 후에, 모노 다운믹스는 전력-절감 방식으로 4개의 반향 탱크들로 업믹싱된다:
Figure pat00001
(예로서) 대안으로서, 좌측 채널들을 처음 2개의 반향 탱크까지 팬닝(pan)하고, 우측 채널들을 마지막 2개의 반향 탱크까지 팬닝하고, 중앙 채널을 모든 반향 탱크들까지 팬닝할 것을 선택할 수 있다. 이 경우, 다운믹싱 서브시스템(201)은 2개의 다운믹스 신호를 형성하도록 구현될 것이다:
Figure pat00002
이 예에서, (FDN들(203, 204, ..., 및 205) 각각에서의) 반향 탱크들로의 업믹싱은 다음과 같다:
Figure pat00003
2개의 다운믹스 신호가 있기 때문에, (FDN들(203, 204, ..., 및 205) 각각의 요소(301)에서의) 전대역 통과 필터링은 2번 적용될 필요가 있다. (L, Ls), (R, Rs) 및 C들 모두가 동일한 매크로 속성을 가짐에도 불구하고 이들의 늦은 응답들에 대해 다이버시티가 도입될 것이다. 입력 신호 채널들이 상이한 소스 거리들을 가질 때, 다운믹싱 프로세스에서 적절한 지연 및 이득이 여전히 적용될 필요가 있을 것이다.
다음으로, 도 3의 가상화기의 서브시스템(100 및 200)과, 다운믹싱 서브시스템(201)의 특정한 구현에 대한 고려사항을 설명한다.
서브시스템(201)에 의해 구현된 다운믹싱 프로세스는 다운믹싱될 각각의 채널에 대한 (사운드 소스와 추정된 청취자 위치 사이의) 소스 거리, 및 직접 응답의 취급에 의존한다. 직접 응답의 지연 t d 는 다음과 같다:
t d = d / v s
여기서 d는 사운드 소스와 청취자 사이의 거리이고 v s 는 사운드의 속도이다. 또한, 직접 응답의 이득은 1/d에 비례한다. 상이한 소스 거리들을 갖는 채널들의 직접 응답을 취급하는데 있어서 이들 규칙들이 보존된다면, 늦은 반향의 지연과 레벨은 일반적으로 소스 위치에 민감하지 않기 때문에 서브시스템(201)은 모든 채널들의 직접적인 다운믹싱을 구현할 수 있다.
실제적인 고려사항으로 인해, 가상화기(예를 들어, 도 3의 가상화기의 서브시스템(100))는 상이한 소스 거리들을 갖는 입력 채널들에 대한 직접 응답들을 시간-정렬하도록 구현될 수 있다. 각각의 채널에 대한 직접 응답과 늦은 반향 사이의 상대적 지연을 보존하기 위하여, 소스 거리 d를 갖는 채널은 다른 채널들과 다운믹싱되기 이전에 (dmax- d)/vs만큼 지연되어야 한다. 여기서 dmax는 최대 가능한 소스 거리를 나타낸다.
가상화기(예를 들어, 도 3의 가상화기의 서브시스템(100))는 또한 직접 응답의 동적 범위를 압축하도록 구현될 수 있다. 예를 들어, 소스 거리 d를 갖는 채널에 대한 직접 응답은 d -1대신에 d -α배만큼 스케일링될 수 있고, 여기서, 0 ≤ α ≤ 1이다. 직접 응답과 늦은 반향 사이의 레벨 차이를 보존하기 위하여, 다운믹싱 서브시스템(201)은 소스 거리 d를 갖는 채널을 다른 스케일링된 채널들과의 다운믹싱 이전에 d 1-α배만큼 스케일링하도록 구현될 수 있다.
도 4의 피드백 지연 네트워크는 도 3의 FDN(203)(또는 204 또는 205)의 예시적 구현이다. 도 4의 시스템은 4개의 반향 탱크(각각은 이득단 gi와 이득단의 출력에 결합된 지연 라인 z-ni를 포함함)를 갖고 있지만, 시스템(및 본 발명의 가상화기의 실시예에서 채용되는 다른 FDN들)에 대한 변형은 4개보다 많거나 적은 반향 탱크를 구현한다.
도 4의 FDN은, 입력 이득 요소(300), 요소(300)의 출력에 결합된 전대역 통과 필터(APF)(301), APF(301)의 출력에 결합된 가산 요소(302, 303, 304, 및 305), 및 각각이 요소들(302, 303, 304, 및 305) 중 상이한 것의 출력에 결합된 4개의 반향 탱크(각각은, 이득 요소 gk(요소들 중 하나 306), 이에 결합된 지연 라인 z-Mk(요소들 중 하나 307), 이에 결합된 이득 요소 1/gk(요소들 중 하나 309), 여기서 0 ≤ k-1 ≤ 3)를 포함한다. 단위 행렬(unitary matrix)(308)은 지연 라인(307)의 출력에 결합되고, 요소들(302, 303, 304, 및 305) 각각의 제2 입력에 피드백 출력을 어써팅하도록 구성된다. (제1 및 제2 반향 탱크들의) 이득 요소들(309) 중 2개의 출력들은 가산 요소(310)의 입력들에 어써팅되고, 요소(310)의 출력은 출력 믹싱 행렬(312)의 한 입력에 어써팅된다. (제3 및 제4 반향 탱크들의) 이득 요소들(309) 중 다른 2개의 출력들은 가산 요소(311)의 입력들에 어써팅되고, 요소(311)의 출력은 출력 믹싱 행렬(312)의 다른 입력에 어써팅된다.
요소(302)는 지연 라인 z-n1에 대응하는 행렬(308)의 출력을 제1 반향 탱크의 입력에 가산하도록(즉, 지연 라인 z-n1의 출력으로부터 행렬(308)을 통한 피드백을 적용하도록) 구성된다. 요소(303)는 지연 라인 z-n2에 대응하는 행렬(308)의 출력을 제2 반향 탱크의 입력에 가산하도록(즉, 지연 라인 z-n2의 출력으로부터 행렬(308)을 통한 피드백을 적용하도록) 구성된다. 요소(304)는 지연 라인 z-n3에 대응하는 행렬(308)의 출력을 제3 반향 탱크의 입력에 가산하도록(즉, 지연 라인 z-n3의 출력으로부터 행렬(308)을 통한 피드백을 적용하도록) 구성된다. 요소(305)는 지연 라인 z-n4에 대응하는 행렬(308)의 출력을 제4 반향 탱크의 입력에 가산하도록(즉, 지연 라인 z-n4의 출력으로부터 행렬(308)을 통한 피드백을 적용하도록) 구성된다.
도 4의 FDN의 입력 이득 요소(300)는 도 3의 분석 필터뱅크(202)로부터 출력되는 변환된 모노포닉 다운믹스 신호(필터뱅크 도메인 신호)의 한 주파수 대역을 수신하도록 결합된다. 입력 이득 요소(300)는 이득(스케일링) 계수 Gin을 어써팅된 필터뱅크 도메인 신호에 적용한다. 집합적으로, 모든 주파수 대역들에 대한 (도 3의 모든 FDN들(203, 204, ..., 205)에 의해 구현된) 스케일링 계수 Gin은 늦은 반향의 스펙트럼 성형 및 레벨을 제어한다. 도 3의 가상화기의 모든 FDN들에서 입력 이득 Gin을 설정하는 것은 종종 다음과 같은 타겟들을 고려한다:
실제 룸과 정합하는, 각각의 채널에 적용되는 BRIR의, 직접-대-늦은 비율(DLR);
과도한 결합 아티팩트 및/또는 저주파 럼블을 완화시키기 위해 필요한 저주파 감쇠; 및
확산 필드 스펙트럼 엔빌로프의 정합.
(도 3의 서브시스템(100)에 의해 적용되는) 직접 응답이 모든 주파수 대역에서 단위 이득을 제공한다고 가정한다면, 특정 DLR(specific DLR)(전력 비율)은 Gin이 하기와 같이 되도록 설정함으로써 달성될 수 있다:
Gin = sqrt(ln(106)/(T60 * DLR)),
여기서, T60은 반향이 60 dB만큼 감쇠하는데 걸리는 시간으로서 정의되는 반향 감쇠 시간(이것은 이하에서 논의되는 반향 지연과 반향 이득에 의해 결정된다)이고, "ln"은 자연 로그 함수이다.
입력 이득 계수 Gin은 처리되고 있는 콘텐츠에 의존할 수 있다. 이러한 콘텐츠 의존성의 한 응용은, 입력 채널 신호들 사이에 존재할 수 있는 임의의 상관관계에 관계없이, 각각의 시간/주파수 세그먼트에서의 다운믹스의 에너지가 다운믹싱되고 있는 개개 채널 신호의 에너지의 합계와 같도록 보장하는 것이다. 이 경우, 입력 이득 계수는 하기와 유사하거나 동일한 항일 수 있다(또는 항에 의해 곱해질 수 있다):
Figure pat00004
여기서, i는 주어진 시간/주파수 타일 또는 부대역의 모든 다운믹스 샘플들에 관한 인덱스이고, y(i)는 타일에 대한 다운믹스 샘플들이며, x i (j)는 다운믹싱 서브시스템(201)의 입력에 어써팅되는 (채널 Xi에 대한) 입력 신호이다.
도 4의 FDN의 전형적인 QMF-도메인 구현에서, 전대역 통과 필터(APF)(301)의 출력으로부터 반향 탱크들의 입력들에 어써팅된 신호는 QMF 도메인 주파수 성분들의 시퀀스이다. 더 자연스러운 사운딩 FDN 출력을 생성하기 위해, APF(301)는 이득 요소(300)의 출력에 적용되어 위상 다이버시티와 증가된 에코 밀도를 도입한다. 대안으로서, 또는 추가로, 하나 이상의 전대역 통과 지연 필터들은, (도 3의) 다운믹싱 서브시스템(201)로의 개개의 입력들이 서브시스템(201)에서 다운믹싱되고 FDN에 의해 처리되기 이전에 이들 입력들에; 또는 도 4에 도시된 반향 탱크 피드포워드 또는 피드백 경로들에서(예를 들어, 각각의 반향 탱크 내의 지연 라인 z-Mk에 추가하여 또는 이를 대신하여); 또는 FDN의 출력들에(즉, 출력 행렬(312)의 출력들에) 적용될 수 있다.
반향 탱크 지연 z-ni를 구현하는데 있어서, 반향 지연 ni는 동일한 주파수에서 반향 모드들이 정렬하는 것을 피하기 위해 상호 소수(prime number)이어야 한다. 지연들의 합은 인공적인 사운딩 출력을 피하기 위하여 충분한 모달 밀도를 제공하기에 충분히 커야 한다. 그러나, 최단 지연은 늦은 반향과 BRIR의 다른 성분들 사이의 과도한 시간 갭을 피하기에 충분히 짧아야 한다.
통상적으로, 반향 탱크 출력들은 초기에 좌측 또는 우측 바이노럴 채널로 팬닝된다. 보통, 2개의 바이노럴 채널들로 팬닝되는 반향 탱크 출력 세트들은 개수가 동일하고 상호 배타적이다. 2개의 바이노럴 채널들의 타이밍을 밸런싱하는 것이 역시 바람직하다. 따라서 최단 지연을 갖는 반향 탱크 출력이 하나의 바이노럴 채널로 간다면, 두번째 최단 지연을 갖는 반향 탱크는 다른 채널로 갈 것이다.
반향 탱크 지연들은, 주파수의 함수로서 모달 밀도를 변경하도록 주파수 대역들에 걸쳐 상이할 수 있다. 일반적으로, 더 낮은 주파수 대역은 더 높은 모달 밀도를 요구하므로, 반향 탱크 지연이 더 길다.
반향 탱크 이득 gi의 진폭과 반향 탱크 지연은 합동하여 도 4의 FDN의 반향 감쇠 시간을 결정한다:
T60 = -3ni / log10(|gi|) / FFRM
여기서, FFRM은 (도 3의) 필터뱅크(202)의 프레임 레이트이다. 반향 탱크 이득의 위상은 소수 지연(fractional delay)을 도입하여 필터뱅크의 다운샘플-인자 그리드로 양자화되는 반향 탱크 지연에 관련된 문제점들을 극복한다.
단위 피드백 행렬(308)은 피드백 경로 내의 반향 탱크들간의 균등한 믹싱을 제공한다.
반향 탱크 출력들의 레벨들을 등화하기 위해, 이득 요소(309)는 정규화 이득 1/|gi|를 각각의 반향 탱크의 출력에 적용하여 반향 탱크 이득의 레벨 충격을 제거하면서 그 위상에 의해 도입되는 부분 지연을 보존한다.
(행렬 Mout이라고도 식별되는) 출력 믹싱 행렬(312)은, 초기 팬닝으로부터 언믹싱된 바이노럴 채널들(각각, 요소들(310 및 311)의 출력들)을 믹싱하여 원하는 이간 코히어런스를 갖는 출력 좌측 및 우측 바이노럴 채널들(행렬(312)의 출력에서 어써팅되는 L 및 R 신호들)을 달성하도록 구성된 2 x 2 행렬이다. 언믹싱된 바이노럴 채널들은, 어떠한 공통 반향 탱크 출력으로 구성되지 않기 때문에 초기 팬닝 이후에 언코릴레이트되어 있는 것과 근접하다. 원하는 이간 코히어런스가 Coh(여기서, |Coh| ≤ 1)이면, 출력 믹싱 행렬(312)은 다음과 같이 정의될 수 있다:
Figure pat00005
, 여기서, β=arcsin(Coh)/2
반향 탱크 지연들은 상이하기 때문에, 언믹싱된 바이노럴 채널들 중 하나의 언믹싱된 바이노럴 채널은 항상 또 다른 언믹싱된 바이노럴 채널을 리딩할 것이다. 반향 탱크 지연들과 팬닝 패턴의 조합이 주파수 대역들에 걸쳐 동일하다면, 사운드 이미지 바이어스(sound image bias)가 생길 것이다. 이 바이어스는, 팬닝 패턴이 주파수 대역들에 걸쳐 교번되어 믹싱된 바이노럴 채널들이 교대하는 주파수 대역들에서 서로 리딩 및 트레일링하게 한다면, 완화될 수 있다. 이것은 홀수-번호의 주파수 대역들(즉, (도 3의 FDN(203))에 의해 처리된 제1 주파수 대역에서, 제3 주파수 대역, 등등에서)에서 이전 패러그라프에서 개시된 형태를 갖도록 하고, 짝수-번호의 주파수 대역들(즉, (도 3의 FDN(204)에 의해 처리된) 제2 주파수 대역에서, 제4 주파수 대역, 등등에서)에서 다음과 같은 형태를 갖도록 출력 믹싱 행렬(312)을 구현함으로써 달성될 수 있다:
Figure pat00006
여기서 β의 정의는 동일하게 남아 있다. 행렬(312)은 모든 주파수 대역에 대해 FDN들에서 동일하도록 구현될 수 있지만, 그 입력들의 채널 순서는 주파수 대역들 중 교대하는 것들에 대해 스위칭될 수 있다(예를 들어, 홀수 주파수 대역들에서 요소(310)의 출력은 행렬(312)의 제1 입력에 어써팅될 수 있고 요소(311)의 출력은 행렬(312)의 제2 입력에 어써팅될 수 있으며, 짝수 주파수 대역들에서 요소(311)의 출력은 행렬(312)의 제1 입력에 어써팅될 수 있고 요소(310)의 출력은 행렬(312)의 제2 입력에 어써팅될 수 있다)는 점에 유의해야 한다.
주파수 대역들이 (부분적으로) 중첩하는 경우, 행렬(312)의 형태가 교번되는 주파수 범위의 폭이 증가될 수 있거나(예를 들어, 이것은 매 2개 또는 3개의 연속된 대역들마다 한번씩 교번될 수 있다), 또는 (행렬(312)의 형태에 대한) 상기 표현식에서의 β의 값은 평균 코히어런스가 원하는 값과 같게끔 보장하도록 조절되어 연속된 주파수 대역들의 스펙트럼 중첩을 보상할 수 있다.
상기-정의된 타겟 음향 속성들 T60, Coh, 및 DLR이 본 발명의 가상화기에서 각각의 특정한 주파수 대역에 대한 FDN에 대해 알려진다면, FDN들 각각은(그 각각은 도 4에 도시된 구조를 가질 수 있다) 타겟 속성들을 달성하도록 구성될 수 있다. 구체적으로, 일부 실시예에서 각각의 FDN에 대한 입력 이득(Gin)과 반향 탱크 이득과 지연(gi 및 ni)과 출력 행렬 Mout의 파라미터들은 여기서 설명된 관계들에 따라 타겟 속성들을 달성하도록 (예를 들어, 도 3의 제어 서브시스템(209)에 의해 어써팅된 제어 값들에 의해) 설정될 수 있다. 실제로, 간단한 제어 파라미터들을 갖는 모델들에 의해 주파수-의존 속성들을 설정하는 것은, 특정한 음향 환경과 정합하는 자연스런 사운딩 늦은 반향을 생성하기에 종종 충분한다.
다음으로, 본 발명의 가상화기의 실시예의 각각의 특정한 주파수 대역에 대해 FDN에 대한 타겟 반향 감쇠 시간(T60)이 작은 개수의 주파수 대역들 각각에 대한 타겟 반향 감쇠 시간(T60)을 결정함으로써 어떻게 결정될 수 있는지의 예를 설명한다. FDN 응답의 레벨은 시간에 대해 지수적으로 감쇠한다. T60은 (시간의 단위에 걸친 dB 감쇠로서 정의된) 지연 인자 df에 반비례한다.
T60 = 60 /df.
지연 인자, df는 주파수에 의존하며 일반적으로 로그-주파수 스케일에 대해 선형적으로 증가하므로, 반향 감쇠 시간은 또한 주파수가 증가함에 따라 일반적으로 감소하는 주파수의 함수이다. 따라서, 2개의 주파수 지점들에 대한 T60 값들을 결정(예를 들어, 설정)한다면, 모든 주파수들에 대한 T60 곡선이 결정된다. 예를 들어, 주파수 지점 fA와 fB에 대한 반향 감쇠 시간들이 각각 T60,A 및 T60,B이면, T60 곡선은 다음과 같이 정의된다:
Figure pat00007
도 5는 2개의 특정한 주파수들(fA 및 fB) 각각에서 T60 값이 fA = 10 Hz에서 T60,A = 320 ms이고, fB = 2.4 kHz에서 T60,B = 150 ms로 설정되는 본 발명의 가상화기의 실시예에 의해 달성될 수 있는 T60 곡선의 예를 도시한다.
다음으로, 본 발명의 가상화기의 실시예의 각각의 특정한 주파수 대역에 대해 FDN에 대한 타겟 이간 코히어런스(Coh)가 작은 개수의 제어 파라미터들을 설정함으로써 어떻게 달성될 수 있는지의 예를 설명한다. 늦은 반향의 이간 코히어런스(Coh)는 주로 확산 음장(diffuse sound field)의 패턴을 따른다. 이것은, 크로스-오버 주파수 fC까지는 sinc 함수에 의해, 및 크로스-오버 주파수 위에서는 상수에 의해 모델링될 수 있다. Coh 곡선에 대한 간단한 모델은 다음과 같다:
Figure pat00008
여기서 파라미터들 Cohmin 및 Cohmax는, -1 ≤ Cohmin < Cohmax ≤ 1을 만족하고, Coh의 범위를 제어한다. 최적의 크로스-오버 주파수 fC는 청취자의 머리 크기에 의존한다. 너무 높은 fC는 내부화된 사운드 소스 이미지를 초래하는 반면, 너무 작은 값은 분산된 또는 분할된 사운드 소스 이미지를 초래한다. 도 6은, 제어 파라미터들 Cohmax, Cohmin, 및 fC가 Cohmax = 0.95, Cohmin = 0.05, 및 fC = 700 Hz로 설정되는 본 발명의 가상화기의 실시예에 의해 달성될 수 있는 Coh 곡선의 예이다.
다음으로, 본 발명의 가상화기의 실시예의 각각의 특정한 주파수 대역에 대해 FDN에 대한 타겟 직접-대-늦은 비율(DLR)이 작은 개수의 제어 파라미터들을 설정함으로써 어떻게 달성될 수 있는지의 예를 설명한다. dB 단위의 직접-대-늦은 비율(DLR)은 일반적으로 로그-주파수 스케일에 대해 선형적으로 증가한다. 이것은 DLR1K (dB @ 1 kHz 단위의 DLR) 및 DLRslope (10x 주파수당 dB 단위)를 설정함으로써 제어될 수 있다. 그러나, 저주파 범위에서 낮은 DLR은 종종 과도한 결합 아티팩트를 초래한다. 아티팩트를 완화하기 위하여, 2개의 수정 메커니즘이 추가되어 DLR을 제어한다:
최소 DLR 플로어, DLRmin(dB 단위); 및
천이 주파수 fT와 그 아래의 감쇠 곡선의 경사 HPFslope(10x 주파수당 dB 단위)에 의해 정의되는 고역-통과 필터.
dB 단위의 결과적인 DLR 곡선은 다음과 같이 정의된다:
Figure pat00009
DLR은 동일한 음향 환경에서도 소스 거리에 따라 변한다는 점에 유의한다. 따라서, DLR1K 및 DLRmin 양쪽 모두는, 여기서, 1 미터 등의, 공칭 소스 거리에 대한 값들이다. 도 7은, 제어 파라미터들 DLR1K, DLRslope, DLRmin, HPFslope , 및 fT가, DLR1K = 18 dB, DLRslope = 6 dB/10x 주파수, DLRmin = 18 dB, HPFslope = 6 dB/10x 주파수, 및 fT = 200 Hz로 설정된, 본 발명의 가상화기의 실시예에서 의해 달성되는 1-미터 소스 거리에 대한 DLR 곡선의 예이다.
여기서 개시된 실시예들에 대한 변형은 다음과 같은 피쳐들 중 하나 이상을 가진다:
본 발명의 가상화기의 FDN들은 시간-도메인에서 구현되거나, 이들은 FDN-기반의 임펄스 응답 포착 및 FIR-기반의 신호 필터링을 갖춘 하이브리드 구현을 가진다.
본 발명의 가상화기는 늦은 반향 처리 서브시스템에 대한 다운믹싱된 입력 신호를 생성하는 다운믹싱 단계의 수행 동안에 주파수의 함수로서 에너지 보상의 적용을 허용하도록 구현된다.
본 발명의 가상화기는 외부 요인에 응답하여(즉, 제어 파라미터들의 설정에 응답하여) 늦은 반향 속성들의 수동 또는 자동 제어를 허용하도록 구현된다.
시스템 레이턴시가 중요하고 분석 및 합성 필터뱅크에 의해 야기되는 지연이 너무 높은 응용의 경우, 본 발명의 가상화기의 전형적인 실시예의 필터뱅크-도메인 FDN 구조는 시간 도메인으로 변환될 수 있고, 각각의 FDN 구조는 한 부류의 가상화기의 실시예들에서 시간 도메인에서 구현될 수 있다. 시간 도메인 구현에서, 입력 이득 인자(Gin), 반향 탱크 이득(gi), 및 정규화 이득 (1/|gi|)을 적용하는 서브시스템들은 주파수-의존 제어를 허용하기 위하여 유사한 진폭 응답들을 갖는 필터들에 의해 대체된다. 출력 믹싱 행렬(Mout)은 필터들의 행렬에 의해 대체된다. 다른 필터들의 경우와는 달리, 이 필터들의 행렬의 위상 응답은, 전력 절감과 이간 코히어런스가 위상 응답에 의해 영향받을 수 있기 때문에 중요하다. 시간 도메인 구현에서 반향 탱크 지연들은 필터뱅크 스트라이드(filterbank stride)를 공통 인자로서 공유하는 것을 피하기 위해 (필터뱅크 도메인 구현에서의 그들의 값들로부터) 약간 변동될 필요가 있다. 다양한 제약으로 인해, 본 발명의 가상화기의 FDN들의 시간-도메인 구현의 성능은 그 필터뱅크-도메인 구현의 성능과 정확히 정합하지 않을 수도 있다.
도 8을 참조하여, 다음으로 본 발명의 가상화기의 본 발명의 늦은 반향 처리 서브시스템의 하이브리드(필터뱅크 도메인 및 시간 도메인) 구현을 설명한다. 본 발명의 늦은 반향 처리 서브시스템의 이러한 하이브리드 구현은, FDN-기반의 임펄스 응답 포착 및 FIR-기반의 신호 필터링을 구현하는 도 4의 늦은 반향 처리 서브시스템(200)에 대한 변형이다.
도 8 실시예는, 도 3의 서브시스템(200)의 동일하게 넘버링된 요소들과 동일한 요소들(201, 202, 203, 204, 205, 및 207)을 포함한다. 이들 요소에 대한 상기 설명은 도 8을 참조하여 반복되지 않을 것이다. 도 8 실시예에서, 단위 임펄스 생성기(211)는 분석 필터뱅크(202)에 입력 신호(펄스)를 어써팅하도록 결합된다. FIR 필터로서 구현된 LBRIR 필터(208)(모노-인, 스테레오-아웃)는 BRIR 적절한 늦은 반향 부분(LBRIR)을 서브시스템(201)으로부터 출력된 모노포닉 다운믹스에 적용한다. 따라서, 요소들(211, 202, 203, 204, 205, 및 207)은 LBRIR 필터(208)에 대한 처리측-체인이다.
늦은 반향 부분(LBRIR)의 설정이 수정되려고 할때마다, 임펄스 생성기(211)는 요소(202)에 단위 임펄스를 어써팅하도록 동작하고, 필터뱅크(207)로부터의 결과적 출력이 포착되어 필터(208)에 어써팅(되어 필터뱅크(207)의 출력에 의해 결정된 새로운 LBRIR을 적용하도록 필터(208)를 설정한다)된다.　 LBRIR 설정 변경으로부터 새로운 LBRIR이 영향을 미치는 시간까지의 시간 경과를 가속하기 위해, 새로운 LBRIR의 샘플들은 그들이 이용가능하게 될 때 구 LBRIR의 대체를 시작할 수 있다.　FDN들의 고유 레이턴시를 단축하기 위해, LBRIR의 초기 제로들은 폐기될 수 있다.　이들 옵션들은 융통성을 제공하고 FIR 필터링으로부터의 추가된 계산을 댓가로 (필터뱅크 도메인 구현에 의해 제공되는 성능에 비해) 하이브리드 구현이 잠재적 성능 개선을 제공하는 것을 허용한다.
시스템 레이턴시가 중요하지만, 계산력은 관심이 덜한 응용의 경우, 필터(208)에 의해 제공되는 유효 FIR 임펄스 응답을 포착하기 위해 (예를 들어, 도 8의 요소들(211, 202, 203, 204, ..., 205, 및 207)에 의해 구현되는) 측면-체인 필터뱅크-도메인 늦은 반향 프로세서가 이용될 수 있다. FIR 필터(208)는 이 포착된 FIR 응답을 구현하고 이것을 (입력 채널들의 가상화 동안에) 직접 입력 채널들의 모노 다운믹스에 적용할 수 있다.
다양한 FDN 파라미터들 및 그에 따라 결과적은 늦은-반향 속성들이 상호 튜닝될 수 있고, 후속해서, 예를 들어, 시스템의 사용자에 의해 (예를 들어, 도 3의 제어 서브시스템(209)을 동작시킴으로써) 조절될 수 있는 하나 이상의 프리셋에 의해, 본 발명의 늦은 반향 처리 서브시스템의 실시예 내에 하드-와이어될 수 있다. 그러나, 늦은 반향, FDN 파라미터들과의 그 관계, 및 그 거동을 수정하는 능력의 고-수준 기술을 감안하여, 다음과 같은 것들을 포함한(그러나 이것으로 제한되지 않는) FDN-기반의 늦은 반향 프로세서의 다양한 실시예들을 제어하기 위해 광범위한 방법들을 생각해 볼 수 있다:
1. 엔드-유저는, 예를 들어, (예를 들어, 도 3의 제어 서브시스템(209)의 실시예에 의해 구현된) 디스플레이 상의 사용자 인터페이스에 의해 또는 (예를 들어, 도 3의 제어 서브시스템(209)의 실시예에 의해 구현된) 물리적 제어를 이용하여 프리셋들을 스위칭함으로써, FDN 파라미터들을 수동으로 제어할 수 있다. 이런 방식으로, 엔드 유저는, 취향, 환경, 또는 콘텐츠에 따라 룸 시뮬레이션을 적합화할 수 있다;
2. 가상화될 오디오 콘텐츠의 저자는, 예를 들어, 입력 오디오 신호가 제공된 메타데이터에 의해, 콘텐츠 그 자체와 함께 운반되는 설정 또는 원하는 파라미터들을 제공할 수 있다. 이러한 메타데이터는 관련 FDN 파라미터들을 제어하기 위해 (예를 들어, 도 3의 제어 서브시스템(209)의 실시예에 의해) 파싱되고 채용될 수 있다. 따라서, 메타데이터는 반향 시간, 반향 레벨, 직접-대-반향 비율 등의 속성들을 나타낼 수 있고, 이들 속성들은 시변적이며, 시변 메타데이터에 의해 시그널링된다;
3. 재생 디바이스는, 하나 이상의 센서에 의해, 그 장소나 환경을 알 수 있다. 예를 들어, 모바일 디바이스는 GSM 네트워크, GPS(global positioning system), 알려진 WiFi 액세스 포인트, 또는 기타 임의의 위치파악 서비스를 이용하여 디바이스가 어디에 있는지를 판정할 수 있다. 후속해서, 장소 및/또는 환경을 나타내는 데이터는, 관련 FDN 파라미터들을 제어하기 위해 (예를 들어, 도 3의 제어 서브시스템(209)의 실시예에 의해) 채용될 수 있다. 따라서, FDN 파라미터들은 디바이스의 위치에 응답하여 수정될 수 있다, 예를 들어, 물리적 환경을 모방할 수 있다;
4. 재생 디바이스의 위치와 관련하여, 소비자들이 소정의 환경에서 이용하고 있는 가장 흔한 설정을 유도하기 위해 클라우드 서비스 또는 소셜 미디어가 이용될 수 있다. 추가적으로, 사용자들은 그들의 설정을 (알려진) 위치와 연관하여 클라우드 또는 소셜 미디어 서비스에 업로드하여 다른 사용자들 또는 그들 스스로에게 이용가능하게 할 수 있다.
5. 재생 디바이스는, 카메라, 광 센서, 마이크로폰, 가속도계, 자이로스코프 등의 기타의 센서들을 포함하여 사용자의 활동과 사용자가 위치해 있는 환경을 판정하여 그 특정한 활동 및/또는 환경에 대해 FDN 파라미터들을 최적화할 수 있다.
6. FDN 파라미터들은 오디오 콘텐츠에 의해 제어될 수 있다. 오디오 분류 알고리즘, 또는 수동-주석부기된 콘텐츠는, 오디오의 세그먼트들이, 음성, 음악, 사운드 효과, 묵음 등을 포함하는지를 표시할 수 있다. FDN 파라미터들은 이러한 라벨들에 따라 조절될 수 있다. 예를 들어, 직접-대-반향 비율은 대화 명료도를 개선하기 위해 대화에 대해 감소될 수 있다. 추가로, 현재의 비디오 세그먼트의 위치를 판정하기 위해 비디오 분석이 이용될 수 있고, FDN 파라미터들은 그에 따라 조절되어 비디오에서 도시된 환경을 더욱 근접하게 시뮬레이션할 수 있다; 및/또는
7. 솔리드-스테이트 재생 시스템은 모바일 디바이스와는 상이한 FDN 설정을 이용할 수 있다, 예를 들어, 설정은 디바이스 의존적일 수 있다. 거실에 존재하는 솔리드-스테이트 시스템은 원거리 소스들이 동반된 전형적인(상당히 반향성의) 거실 룸 시나리오를 시뮬레이션할 수 있는 반면, 모바일 디바이스는 청취자에게 더 가까운 콘텐츠를 렌더링할 수 있다.
본 발명의 가상화기의 일부 구현은 정수 샘플 지연 뿐만 아니라 소수 지연(fractional delay)을 적용하도록 구성된 FDN들(예를 들어, 도 4의 FDN의 구현)을 포함한다. 예를 들어, 하나의 이러한 구현에서, 소수 지연 요소는 각각의 반향 탱크에서 직렬로 접속되고, 지연 라인은 정수개의 샘플 기간과 동일한 정수 지연을 적용한다(예를 들어, 각각의 소수 지연 요소는 지연 라인들 중 하나 이후에 또는 그렇지 않다면 직렬로 위치한다). 소수 지연은, 샘플 기간: f=τ/T(f는 지연 소수이고, τ는 대역에 대한 원하는 지연이며, T는 대역에 대한 샘플 기간)의 소수에 대응하는 각각의 주파수 대역에서 위상 이동(유니티 복소 곱셈)에 의해 근사화될 수 있다. QMF 도메인에서 반향을 적용하는 상황에서 소수 지연을 적용하는 방법은 널리 공지되어 있다.
제1 부류의 실시예에서, 본 발명은 다채널 오디오 입력 신호의 한 세트의 채널들(예를 들어, 채널들 각각, 또는 전체 주파수 범위 채널들의 각각)에 응답하여 바이노럴 신호를 생성하기 위한 하기 단계들을 포함하는 헤드폰 가상화 방법이다: (a) 적어도 하나의 피드백 지연 네트워크(예를 들어, 도 3의 FDN들(203, 204, ..., 205))를 이용하여 채널 세트들의 채널들의 다운믹스(예를 들어, 모노포닉 다운믹스)에 공통의 늦은 반향을 적용하는 것을 포함한, (예를 들어, 도 3의 서브시스템(100 및 200)에서, 또는 도 2의 서브시스템(12, ..., 14 및 15)에서, 채널 세트들의 각각의 채널을 상기 채널에 대응하는 BRIR과 컨벌브함으로써) 채널 세트의 각각의 채널에 바이노럴 룸 임펄스 응답(BRIR)을 적용함으로써, 필터링된 신호들(예를 들어, 도 3의 서브시스템(100 및 200)의 출력들, 또는 도 2의 서브시스템(12, ..., 14 및 15)의 출력들)을 생성하는 단계; 및 (b) 필터링된 신호들(예를 들어, 도 3의 서브시스템(210)에서, 또는 도 2의 요소들(16 및 18)을 포함하는 서브시스템에서)을 결합하여 바이노럴 신호를 생성하는 단계. 통상적으로, (예를 들어, 각각의 FDN이 늦은 반향을 상이한 주파수 대역에 적용하는) 공통의 늦은 반향을 다운믹스에 적용하기 위해 FDN들의 뱅크가 이용된다. 통상적으로, 단계 (a)는 (예를 들어, 도 3의 서브시스템(100) 또는 도 2의 서브시스템(12, ... 14)에서) 채널에 대한 단일-채널 BRIR의 "직접 응답 및 이른 반사" 부분을 상기 세트의 각각의 채널에 적용하는 단계를 포함하고, 공통의 늦은 반향은, 단일-채널 BRIR들의 적어도 일부(예를 들어, 전부)의 늦은 반향 부분들의 집합적 매크로 속성을 에뮬레이팅하도록 생성되었다.
제1 부류의 전형적인 실시예에서, FDN들 각각은 하이브리드 복소 직교 미러 필터(HCQMF) 도메인 또는 직교 미러 필터(QMF) 도메인에서 구현되고, 이러한 일부 실시예에서, 바이노럴 신호의 주파수-의존 공간 음향 속성들은 늦은 반향을 적용하기 위해 채용된 각각의 FDN의 구성을 제어함으로써 (예를 들어, 도 3의 제어 서브시스템(209)을 이용하여) 제어된다. 통상적으로, 채널들의 모노포닉 다운믹스(예를 들어, 도 3의 서브시스템(201)에 의해 생성된 다운믹스)는 다채널 신호의 오디오 콘텐츠의 효율적인 바이노럴 렌더링을 위한 FDN의 입력으로 시용된다. 통상적으로, 다운믹싱 프로세스는 각각의 채널에 대한 소스 거리(즉, 채널의 오디오 콘텐츠의 추정된 소스 및 추정된 사용자 위치 사이의 거리)에 기초하여 제어되고, 각각의 BRIR(즉, 하나의 채널에 대한 단일-채널 BRIR의 직접 응답 및 이른 반사 부분들, 및 그 채널을 포함하는 다운믹스에 대한 공통의 늦은 반향에 의해 결정된 각각의 BRIR)의 시간적 및 레벨 구조를 보존하기 위하여 소스 거리들에 대응하는 직접 응답들의 취급에 의존한다. 다운믹싱될 채널들은 다운믹싱동안에 상이한 방식들로 시간-정렬되고 스케일링되지만, 각각의 채널에 대한 BRIR의 직접 응답, 이른 반사, 및 공통의 늦은 반향 부분들 사이의 적절한 레벨 및 시간적 관계는 유지되어야 한다. (다운믹스를 생성하기 위해) 다운믹싱되는 모든 채널들에 대한 공통의 늦은 반향 부분을 생성하기 위해 단일의 FDN 뱅크를 이용하는 실시예들에서, 적절한 이득 및 지연이 다운믹스의 생성 동안에 (다운믹싱되는 각각의 채널에) 적용될 필요가 있다.
이 부류의 전형적인 실시예는, 주파수-의존 속성들(예를 들어, 반향 감쇠 시간, 이간 코히어런스, 모달 밀도, 및 직접-대-늦은 비율)에 대응하는 FDN 계수들을 (예를 들어, 도 3의 제어 서브시스템(209)을 이용하여) 조절하는 단계를 포함한다. 이것은 음향 환경과 더 자연스런 사운딩 출력들의 더 양호한 정합을 가능케 한다.
제2 부류의 실시예에서, 본 발명은, 입력 신호의 한 세트의 채널들의 각각의 채널(예를 들어, 입력 신호의 채널들 각각 또는 입력 신호의 각각의 전체 주파수 범위 채널)에 (예를 들어, 각각의 채널을 대응하는 BRIR로 컨벌브함으로써) 바이노럴 룸 임펄스 응답(BRIR)을 적용함으로써, 다채널 오디오 입력 신호에 응답하여 바이노럴 신호를 생성하기 위한 방법이며, 이 방법은, 상기 세트의 각각의 채널을, 채널에 대한 단일-채널 BRIR의 직접 응답 및 이른 반사 부분(예를 들어, 도 2의 서브시스템(12, 14, 또는 15)에 의해 적용되는 EBRIR)을 모델링 및 상기 각각의 채널에 적용하도록 구성된 (예를 들어, 도 3의 서브시스템(100) 또는 도 2의 서브시스템(12, ..., 14)에 의해 구현된) 제1 처리 경로에서 처리하는 단계; 및 상기 세트의 채널들의 다운믹스(예를 들어, 모노포닉 다운믹스)를, 제1 처리 경로와 병렬의, (예를 들어, 도 3의 서브시스템(200) 또는 도 2의 서브시스템(15)에 의해 구현된) 제2 처리 경로에서 처리하는 단계를 포함한다. 제2 처리 경로는, 공통의 늦은 반향(예를 들어, 도 2의 서브시스템(15)에 의해 적용되는 LBRIR)을 모델링하고, 다운믹스에 적용하도록 구성된다. 통상적으로, 공통의 늦은 반향은, 단일-채널 BRIR들의 적어도 일부(예를 들어, 전부)의 늦은 반향 부분들의 집합적 매크로 속성들을 에뮬레이팅한다. 통상적으로, 제2 처리 경로는 적어도 하나의 FDN(예를 들어, 복수의 주파수 대역들 각각에 대해 하나의 FDN)을 포함한다. 통상적으로, 모노 다운믹스는 제2 처리 경로에 의해 구현된 각각의 FDN의 모든 반향 탱크들에 대한 입력으로서 이용된다. 통상적으로, 음향 환경을 더 양호하게 시뮬레이션하고 더 자연스런 사운딩 바이노럴 가상화를 생성하기 위하여 각각의 FDN의 매크로 속성들의 체계적 제어를 위한 메커니즘(예를 들어, 도 3의 제어 서브시스템(209))이 제공된다. 대부분의 이러한 매크로 속성은 주파수 의존적이기 때문에, 각각의 FDN은 통상적으로 HCQMF(hybrid complex quadrature mirror filter) 도메인, 주파수 도메인, 도메인, 또는 다른 필터뱅크 도메인에서 구현되고, 각각의 주파수 대역에 대해 상이한 FDN이 이용된다. 필터뱅크 도메인에서 FDN을 구현하는 주요 이점은 주파수-의존 반향 속성을 갖는 반향의 적용을 허용하는 것이다. 다양한 실시예에서, FDN은, QMF(quadrature mirror filter), 유한-임펄스 응답 필터(FIR 필터), 무한-임펄스 응답 필터(IIR 필터), 또는 크로스-오버 필터를 포함한 그러나 이것으로 제한되지 않는, 다양한 필터뱅크들 중 임의의 것을 이용하여, 광범위한 필터뱅크 도메인들 중 임의의 것에서 구현된다.
제1 부류(및 제2 부류) 구현에서의 일부 실시예는 다음과 같은 피쳐들 중 하나 이상을 구현한다:
1. 예를 들어, 주파수의 함수로서 모달 밀도를 변경하도록 상이한 대역들에서 반향 탱크 지연을 변환시키는 능력을 제공함으로써, (주파수-의존 음향 속성의 간단하고 융통성있는 제어를 가능케하는) 각각의 주파수 대역에 대한 FDN의 파라미터 및/또는 설정의 독립적 조절을 통상적으로 허용하는, 필터뱅크 도메인(예를 들어, 하이브리드 복소 직교 미러 필터 도메인) FDN 구현(예를 들어, 도 4의 FDN 구현), 하이브리드 필터뱅크 도메인 FDN 구현 및 시간 도메인 늦은 반향 필터 구현(예를 들어, 도 8을 참조하여 설명된 구조);
2. 제2 처리 경로에서 처리된 (다채널 입력 오디오 신호로부터) 다운믹싱된(예를 들어, 모노포닉 다운믹싱된) 신호를 생성하기 위해 채용된 특정 다운믹싱 프로세스는, 직접 응답과 늦은 응답 사이의 적절한 레벨 및 타이밍 관계를 유지하기 위하여 각각의 채널의 소스 거리와 직접 응답의 취급에 의존한다;
3. (예를 들어, FDN 뱅크의 입력이나 출력에서) 전대역 통과 필터(예를 들어, 도 4의 APF(301))가 제2 처리 경로에 적용되어 결과적 반향의 스펙트럼 및/또는 음색의 변경없이 위상 다이버시티와 증가된 에코 밀도를 도입한다.
4. 복소-값, 다중-레이트 구조에서 각각의 FDN의 피드백 경로에서 소수 지연(fractional delay)이 구현되어 다운샘플-인자 그리드(downsample-factor grid)로 양자화된 지연들에 관련된 문제를 극복한다;
5. FDN에서, 각각의 주파수 대역에서 원하는 이간 코히어런스에 기초하여 설정되는 출력 믹싱 계수들을 이용하여, 반향 탱크 출력들이 바이노럴 채널들에 (예를 들어, 도 4의 행렬(312)에 의해) 직접 선형적으로 믹싱된다. 선택사항으로서, 바이노럴 출력 채널들로의 반향 탱크들의 맵핑은 주파수 대역들에 걸쳐 교번하여 바이노럴 채널들간의 밸런싱된 지연을 달성한다. 또한 선택사항으로서, 정규화 인자들이 반향 탱크 출력들에 적용되어 그들의 레벨을 등화하면서 소수 지연 및 전체 전력을 유지한다;
6. 주파수-의존 반향 감쇠 시간은 (예를 들어, 도 3의 제어 서브시스템(209)을 이용하여) 각각의 주파수 대역 내의 반향 탱크 지연과 이득의 적절한 조합을 설정하여 실제 룸을 시뮬레이션함으로써 제어된다.
7. (예를 들어, 관련 처리 경로의 입력이나 출력에서) 주파수 대역마다 (예를 들어, 도 4의 요소들(306 및 309)에 의해) 하나의 스케일링 인자가 적용되어 :
실제 룸의 것과 정합하는 주파수-의존 직접-대-늦은 비율(DLR)을 제어하고(타겟 DLR과 반향 감쇠 시간, 예를 들어, T60에 기초하여 요구되는 스케일링 인자를 계산하기 위해 간단한 모델이 이용될 수 있다);
과도한 결합 아티팩트를 완화시키기 위해 저주파 감쇠를 제공하며; 및/또는
확산 필드 스펙트럼 성형을 FDN에 응답에 적용한다;
8. 반향 감쇠 시간, 이간 코히어런스, 및/또는 직접-대-늦은 비율 등의, 늦은 반향의 본질적인 주파수-의존 속성들을 제어하기 위해 (예를 들어, 도 3의 제어 서브시스템(209)에 의해) 간단한 파라메트릭 모델들이 구현된다.
일부 실시예에서(예를 들어, 시스템 레이턴시가 중요하고 분석 및 합성 필터뱅크에 의해 야기된 지연이 너무 큰 응용의 경우), 본 발명의 시스템의 전형적인 실시예의 필터뱅크-도메인 FDN 구조들(예를 들어, 각각의 주파수 대역의 도 4의 FDN)은 시간 도메인에서 구현된 FDN 구조들(예를 들어, 도 9에 도시된 바와 같이 구현될 수 있는 도 10의 FDN(220))에 의해 대체된다. 본 발명의 시스템의 시간 도메인 실시예에서, 입력 이득 인자(Gin), 반향 탱크 이득(gi), 및 정규화 이득 (1/|gi|)을 적용하는 필터뱅크 도메인 실시예들의 서브시스템들은 주파수-의존 제어를 허용하기 위하여 시간-도메인 필터들(및/또는 이득 요소들)에 의해 대체된다. 전형적인 필터뱅크-도메인 구현의 출력 믹싱 행렬(예를 들어, 도 4의 출력 믹싱 행렬(312))은, (전형적인 시간-도메인 실시예들에서) 시간-도메인 필터들의 출력 세트(예를 들어, 도 9의 요소(424)의 도 11 구현의 요소들(500-503))에 의해 대체된다. 전형적인 시간-도메인 실시예들의 다른 필터들의 경우와는 달리, 이 필터들의 출력 세트의 행렬의 위상 응답은 통상적으로 중요하다(전력 절감과 이간 코히어런스가 위상 응답에 의해 영향받을 수 있기 때문). 일부 시간-도메인 실시예에서, 반향 탱크 지연은 (예를 들어, 필터뱅크 스트라이드를 공통 인자로서 공유하는 것을 피하기 위해) 대응하는 필터뱅크-도메인 구현에서의 그들의 값들로부터 변동된다(예를 들어, 약간 변동).
도 10은, 도 3의 시스템의 요소들(202-207)이 도 10의 시스템에서는 시간 도메인에서 구현되는 단일의 FDN(220)에 의해 대체된다(예를 들어, 도 10의 FDN(220)은 도 9의 FDN에서와 같이 구현될 수 있다)는 점을 제외하고는, 도 3의 것과 유사한 본 발명의 헤드폰 가상화 시스템의 실시예의 블록도이다. 도 10에서, 2개의 (좌측 및 우측 채널) 시간 도메인 신호들은 직접 응답 및 이른 반사 처리 서브시스템(100)으로부터 출력되고, 2개의 (좌측 및 우측 채널) 시간 도메인 신호들은 늦은 반향 처리 서브시스템(221)으로부터 출력된다. 가산 요소(210)는 서브시스템들(100 및 200)의 출력들에 결합된다. 요소(210)는 서브시스템들(100 및 221)의 좌측 채널 출력들을 결합(믹싱)하여 도 10 가상화기로부터의 바이노럴 오디오 신호 출력의 좌측 채널 L을 생성하고, 서브시스템들(100 및 221)의 우측 채널 출력들을 결합(믹싱)하여 도 10 가상화기로부터의 바이노럴 오디오 신호 출력의 우측 채널 R을 생성하도록 구성된다. 요소(210)는, 서브시스템들(100 및 221)에서 적절한 레벨 조절 및 시간 정렬이 구현되고 가정하여, 서브시스템들(100 및 221)로부터의 대응하는 좌측 채널 샘플들을 단순히 합산하여 바이노럴 출력 신호의 좌측 채널을 생성하고, 서브시스템들(100 및 221)로부터의 대응하는 우측 채널 샘플들을 단순히 합산하여 바이노럴 출력 신호의 우측 채널을 생성하도록 구현될 수 있다.
도 10 시스템에서, (채널들 Xi를 갖는) 다채널 오디오 입력 신호는 2개의 병렬 처리 경로 : 직접 응답 및 이른 반사 처리 서브시스템(100)을 통한 한 처리 경로; 및 늦은 반향 처리 서브시스템(221)을 통한 다른 한 처리 경로에 보내지고 그 곳에서 처리를 겪는다. 도 10 시스템은 각각의 채널 Xi에 BRIRi를 적용하도록 구성된다. 각각의 BRIRi는 2개의 부분들: (서브시스템(100)에 의해 적용되는) 직접 응답 및 이른 반사 부분과, (서브시스템(221)에 의해 적용되는) 늦은 반향 부분으로 분해될 수 있다. 동작시, 직접 응답 및 이른 반사 처리 서브시스템(100)은 그에 따라 가상화기로부터 출력되는 바이노럴 오디오 신호의 직접 응답 및 이른 반사 부분들을 생성하고, 늦은 반향 처리 서브시스템("늦은 반향 발생기")(221)은 그에 따라 가상화기로부터 출력되는 바이노럴 오디오 신호의 늦은 반향 부분을 생성한다. 서브시스템들(100 및 221)의 출력들은 (서브시스템(210)에 의해) 믹싱되어 바이노럴 오디오 신호를 생성하고, 이 신호는 통상적으로 서브시스템(210)으로부터, 헤드폰에 의해 재생을 위한 바이노럴 렌더링이 이루어지는 (도시되지 않은) 렌더링 시스템으로 어써팅된다.
(늦은 반향 처리 서브시스템(221)의) 다운믹싱 서브시스템(201)은 다채널 입력 신호의 채널들을 (시간 도메인 신호인) 모노 다운믹스로 다운믹싱하도록 구성되고, FDN(220)은 늦은 반향 부분을 모노 다운믹스에 적용하도록 구성된다.
도 9를 참조하여, 다음으로 도 10의 가상화기의 FDN(220)으로서 채용될 수 있는 시간-도메인 FDN의 예를 설명한다. 도 9의 FDN은, 다채널 오디오 입력 신호의 모든 채널들의 (예를 들어, 도 10 시스템의 서브시스템(201)에 의해 생성된) 모노 다운믹스를 수신하도록 결합된 입력 필터(400)를 포함한다. 도 9의 FDN은 또한, 필터(400)의 출력에 결합된 (도 4의 APF(301)에 대응하는) 전대역 통과 필터(APF)(401), 필터(401)의 출력에 결합된 입력 이득 요소(401A), 요소(401A)의 출력에 결합된 (도 4의 가산 요소들(302, 303, 304, 및 305)에 대응하는) 가산 요소들(402, 403, 404, 및 405), 및 4개의 반향 탱크를 포함한다. 각각의 반향 탱크는 요소들(402, 403, 404, 및 405) 중 상이한 것의 출력에 결합되고, 반향 필터들(406 및 406A, 407 및 407A, 408 및 408A, 및 409 및 409A) 중 하나, 이에 결합된 (도 4의 지연 라인(307)에 대응하는) 지연 라인들(410, 411, 412, 및 413) 중 하나, 및 지연 라인들 중 하나의 출력에 결합된 이득 요소들(417, 418, 419, 및 420) 중 하나를 포함한다.
(도 4의 단위 행렬(308)에 대응하고, 통상적으로는 행렬(308)과 동일하도록 구현되는) 단위 행렬(415)은 지연 라인들(410, 411, 412, 및 413)의 출력들에 결합된다. 행렬(415)은 피드백 출력을 요소들(402, 403, 404, 및 405) 각각의 제2 입력에 어써팅하도록 구성된다.
라인(410)에 의해 적용되는 지연(n1)이 라인(411)에 의해 적용되는 지연(n2)보다 짧을 때, 라인(411)에 의해 적용되는 지연은 라인(412)에 의해 적용되는 지연(n3)보다 짧고, 라인(412)에 의해 적용되는 지연은 라인(413)에 의해 적용되는 지연(n4)보다 짧으며, (제1 및 제3 반향 탱크들의) 이득 요소들(417 및 419)의 출력들은 가산 요소(422)의 입력들에 어써팅되고, (제2 및 제4 반향 탱크들의) 이득 요소들(418 및 420)의 출력들은 가산 요소(423)의 입력들에 어써팅된다. 요소(422)의 출력은 IACC 및 믹싱 필터(424)의 한 입력에 어써팅되고, 요소(423)의 출력은 IACC 필터링 및 믹싱단(424)의 다른 입력에 어써팅된다.
도 9의 요소들(422, 423, 및 424) 및 이득 요소들(417-420)의 구현예들이 도 4의 출력 믹싱 행렬(312)과 요소들(310 및 311)의 전형적인 구현을 참조하여 설명될 것이다. (행렬 Mout이라고도 식별되는) 도 4의 출력 믹싱 행렬(312)은, 초기 팬닝으로부터 언믹싱된 바이노럴 채널들(각각, 요소들(310 및 311)의 출력들)을 믹싱하여 원하는 이간 코히어런스를 갖는 좌측 및 우측 바이노럴 출력 채널들(행렬(312)의 출력에서 어써팅되는 좌측 귀 "L", 및 우측 귀 "R" 신호들)을 생성하도록 구성된 2 x 2 행렬이다. 이 초기 팬닝은 요소들(310 및 311)에 의해 구현되고, 그 각각은 2개의 반향 탱크 출력들을 결합하여 언믹싱된 바이노럴 채널들 중 하나를 생성하며, 여기서, 한 반향 탱크 출력은 요소(310)의 입력에 어써팅되는 최단 지연을 갖고, 다른 반향 탱크 출력은 요소(311)의 입력에 어써팅되는 두 번째 최단 지연을 가진다. 도 9 실시예의 요소들(422 및 423)은, 도 4 실시예의 (각각의 주파수 대역의) 요소들(310 및 311)이 그들의 입력에 어써팅되는 (관련 주파수 대역의) 필터뱅크 도메인 성분들의 스트림들에 대해 수행하는 것과 동일한 유형의 초기 팬닝을 (그들 입력에 어써팅되는 시간 도메인 신호들에 대해) 수행한다.
어떠한 공통의 반향 탱크 출력으로 구성되지 않기 때문에 언코릴레이트된 것과 근접한 언믹싱된 바이노럴 채널들(도 4의 요소들(310 및 311)로부터의 또는 도 9의 요소들(422 및 423)로부터의 출력)은 (도 4의 행렬(312) 또는 도 9의 단(424)에 의해) 믹싱되어 좌측 및 우측 바이노럴 출력 채널들에 대한 원하는 이간 코히어런스를 달성하는 팬닝 패턴을 구현한다. 그러나, 반향 탱크 지연들은 각각의 FDN(즉, 도 9의 FDN, 또는 도 4에서 각각의 상이한 주파수 대역에 대해 구현된 FDN)에서 상이하기 때문에, 하나의 언믹싱된 바이노럴 채널(요소들(310 및 311 또는 422 및 423) 중 하나의 출력)은 다른 언믹싱된 바이노럴 채널(요소들(310 및 311 또는 422 및 423) 중 다른 하나의 출력)을 항상 리딩한다.
따라서, 도 4 실시예에서, 반향 탱크 지연들과 팬닝 패턴의 조합이 모든 주파수 대역들에 걸쳐 동일하다면, 사운드 이미지 바이어스가 생길 것이다. 이 바이어스는, 팬닝 패턴이 주파수 대역들에 걸쳐 교번되어 믹싱된 바이노럴 출력 채널들이 교대하는 주파수 대역들에서 서로 리딩 및 트레일링하게 한다면, 완화될 수 있다. 예를 들어, 원하는 이간 코히어런스가 Coh(|Coh| ≤ 1)이면, 홀수-번호의 주파수 대역들에서의 출력 믹싱 행렬(312)은 어써팅된 2개의 입력을 다음과 같은 형태를 갖는 행렬로 곱하도록 구현될 수 있다:
Figure pat00010
, 여기서, β=arcsin(Coh)/2이며,
짝수-번호의 주파수 대역들에서의 출력 믹싱 행렬(312)은 어써팅된 2개의 입력을 다음과 같은 형태를 갖는 행렬로 곱하도록 구현될 수 있다:
Figure pat00011
,
여기서, β=arcsin(Coh)/2이다.
대안으로서, 바이노럴 출력 채널들에서의 앞서-언급된 사운드 이미지 바이어스는, 행렬(312)을 모든 주파수 대역에 대해 FDN들에서 동일하도록 구현함으로써 완화될 수 있지만, 그 입력들의 채널 순서는 주파수 대역들 중 교대하는 것들에 대해 스위칭된다(즉, 홀수 주파수 대역들에서 요소(310)의 출력은 행렬(312)의 제1 입력에 어써팅될 수 있고 요소(311)의 출력은 행렬(312)의 제2 입력에 어써팅될 수 있으며, 짝수 주파수 대역들에서 요소(311)의 출력은 행렬(312)의 제1 입력에 어써팅될 수 있고 요소(310)의 출력은 행렬(312)의 제2 입력에 어써팅될 수 있다).
도 9 실시예(및 본 발명의 시스템의 FDN의 다른 시간-도메인 실시예)에서, 보통의 경우 요소(422)로부터 출력되는 언믹싱된 바이노럴 채널이 요소(423)로부터 출력되는 언믹싱된 바이노럴 채널을 항상 리딩(또는 래깅)할 때 발생하는 사운드 이미지 바이어스를 해결하기 위해 주파수에 기초하여 팬닝을 교대하는 것은 사소하지 않다. 이 사운드 이미지 바이어스는, 본 발명의 시스템의 FDN의 필터뱅크 도메인 실시예에서 해결되는 방식과는 상이한 방식으로 본 발명의 시스템의 FDN의 전형적인 시간-도메인 실시예에서 해결된다. 구체적으로는, 도 9 실시예(및 본 발명의 시스템의 FDN의 어떤 다른 시간 도메인 실시예)에서, 언믹싱된 바이노럴 채널들(예를 들어, 도 9의 요소들(422 및 423)로부터의 출력)의 상대적 이득은, 보통은 언급된 언밸런싱된 타이밍으로 인해 발생하는 사운드 이미지 바이어스를 보상하도록 이득 요소들(예를 들어, 도 9의 요소들(417, 418, 419, 및 420))에 의해 결정된다. (예를 들어, 요소(422)에 의해, 한 측으로 팬닝된) 가장 일찍-도달하는 신호를 감쇠하는 이득 요소(예를 들어, 요소(417))를 구현하고 (예를 들어, 요소(423)에 의해, 다른 측으로 팬닝된) 다음으로 가장 일찍-도달하는 신호를 부스트하는 이득 요소(예를 들어, 요소(418))를 구현함으로써, 스테레오 이미지가 리센터링된다. 따라서, 이득 요소(417)를 포함하는 반향 탱크는 제1 이득을 요소(417)의 출력에 적용하고, 이득 요소(418)를 포함하는 반향 탱크는 (제1 이득과는 상이한) 제2 이득을 요소(418)의 출력에 적용하여, 제1 이득과 제2 이득은 제2 언믹싱된 바이노럴 채널(요소(423)로부터의 출력)에 비해 제1 언믹싱된 바이노럴 채널(요소(422)로부터의 출력)을 감쇠하게 한다.
더 구체적으로는, 도 9의 FDN의 전형적인 구현에서, 4개의 지연 라인들(410, 411, 412, 및 413)은, 각각 증가하는 지연값들 n1, n2, n3, 및 n4에 따라 증가하는 길이를 가진다. 이 구현에서, 필터(417)는 이득 g1을 적용한다. 따라서, 필터(417)의 출력은, 이득 g1이 적용된 지연 라인(410)으로의 입력의 지연된 버전이다. 유사하게, 필터(418)는 이득 g2를 적용하고, 필터(419)는 이득 g3를 적용하고, 필터(420)는 이득 g4를 적용한다. 따라서, 필터(418)의 출력은 이득 g2가 적용된 지연 라인(411)으로의 입력의 지연된 버전이고, 필터(419)의 출력은 이득 g3이 적용된 지연 라인(412)으로의 입력의 지연된 버전이고, 필터(420)의 출력은 이득 g4가 적용된 지연 라인(413)으로의 입력의 지연된 버전이다.
이 구현에서, 다음과 같은 이득 값들의 선택은 한 측(즉, 좌측 또는 우측 채널)으로의 (요소(424)로부터 출력된 바이노럴 채널들에 의해 표시된) 출력 사운드 이미지의 바람직하지 않은 바이어스를 초래할 수 있다: g1 = 0.5, g2 = 0.5, g3 = 0.5, 및 g4 = 0.5. 본 발명의 실시예에 따르면, (각각, 요소들(417, 418, 419, 및 420)에 의해 적용되는) 이득 값들 g1, g2, g3, 및 g4는 사운드-이미지를 센터링하도록 다음과 같이 선택된다: g1 = 0.38, g2 = 0.6, g3 = 0.5, 및 g4 = 0.5. 따라서, 출력 스테레오 이미지는 본 발명의 실시예에 따라 (예에서는, 요소(422)에 의해, 한 측으로 팬닝된) 가장 일찍 도달하는 신호를 두 번째로 가장 일찍 도달하는 신호에 비해 감쇠하고(즉, g1 < g3을 선택함으로써), (예에서는 요소(423)에 의해, 다른 측으로 팬닝된) 두 번째로 가장 일찍 도달하는 신호를 가장 늦게 도달하는 신호에 비해 부스팅함으로써(즉, g4 < g2를 선택함으로써) 리센터링된다.
도 9의 시간 도메인 FDN의 전형적인 구현은 도 4의 필터뱅크 도메인(CQMF 도메인) FDN에 비해 다음과 같은 차이점 및 유사성을 가진다:
동일한 단위 피드백 행렬, A(도 4의 행렬(308) 및 도 9의 행렬(415));
유사한 반향 탱크 지연, ni(즉, 도 4의 CQMF 구현에서의 지연은, n1 = 17*64Ts = 1088*Ts, n2 = 21*64Ts = 1344*Ts, n3 = 26*64Ts = 1664*Ts, 및 n4 = 29*64Ts = 1856*Ts이고, 여기서, 1/Ts는 샘플 레이트(1/Ts는 전형적으로 48 KHz와 같다)인 반면, 시간 도메인 구현에서의 지연은, n1 = 1089*Ts, n2 = 1345*Ts, n3 = 1663*Ts , 및 n4 = 185*Ts이다). 전형적인 CQMF 구현에서, 각각의 지연은 64개 샘플들의 블록의 지속기간의 어떤 정수배(샘플 레이트는 통상적으로 48 KHz)라는 실제적인 제약이 있지만, 시간 도메인에서는 각각의 지연의 선택에 대해 더 많은 융통성이 있고 그에 따라 각각의 반향 탱크의 지연의 선택에 대한 더 많은 융통성이 있다는 점에 유의한다.
유사한 전대역 통과 필터 구현(즉, 도 4의 필터(301)와 도 9의 필터(401)의 유사한 구현들). 예를 들어, 전대역 통과 필터는 수 개의(예를 들어, 3개의) 전대역 필터들을 캐스캐이딩함으로써 구현될 수 있다. 예를 들어, 각각의 캐스캐이딩된 전대역 통과 필터는
Figure pat00012
의 형태일 수 있고, 여기서, g=0.6이다. 도 4의 전대역 통과 필터(301)는 샘플 블록들의 적절한 지연(예를 들어, n1 = 64*Ts, n2= 128*Ts, 및 n3= 196*Ts)을 수반한 3개의 캐스캐이딩된 전대역 통과 필터들에 의해 구현될 수 있는 반면, 도 9의 전대역 통과 필터(401)(시간 도메인 전대역 통과 필터)는 유사한 지연(예를 들어, n1 = 61*Ts, n2= 127*Ts, 및 n3= 191*Ts)을 수반한 3개의 전대역 통과 필터들에 의해 구현될 수 있다.
도 9의 시간 도메인 FDN의 일부 구현에서, 입력 필터(400)는 도 9 시스템에 의해 적용되는 BRIR의 직접-대-늦은 비율(DLR)이 타겟 DLR와 (적어도 실질적으로) 정합하게 하고, 도 9 시스템을 포함하는 가상화기(예를 들어, 도 10의 가상화기)에 의해 적용되는 BRIR의 DLR이 필터(400)를 교체함으로써(또는 필터(400)의 구성을 제어함으로써) 변경될 수 있게 하도록 구현된다. 예를 들어, 일부 실시예에서, 필터(400)는 필터들의 캐스캐이드(예를 들어, 도 9a에 도시된 바와 같이 결합된, 제1 필터(400A) 및 제2 필터(400B))로서 구현되어 타겟 DLR을 구현하고 선택사항으로서 원하는 DLR 제어를 구현한다. 예를 들어, 캐스캐이드의 필터들은 타겟 저주파 특성과 정합하도록 구성된 IIR 필터이다(예를 들어, 필터(400A)는 1차 버터워스(Butterworth) 고역 통과 필터(IIR 필터)이고, 필터(400B)는 타겟 고주파 특성과 정합하도로 구성된 2차 로우 쉘프 IIR 필터이다). 또 다른 예의 경우, 캐스캐이드의 필터들은 타겟 저주파 특성과 정합하도록 구성된 IIR 및 FIR 필터이고(예를 들어, 필터(400A)는 2차 버터워스 고역 통과 필터(IIR 필터)이고, 필터(400B)는 타겟 고주파 특성과 정합하도로 구성된 14차 로우 FIR 필터이다). 통상적으로, 직접 신호는 고정되고, 필터(400)는 타겟 DLR을 달성하기 위해 늦은 신호를 수정한다. 전대역 통과 필터(APF)(401)는 바람직하게는 도 4의 APF(301)와 동일한 기능을 수행하도록, 즉, 위상 다이버시티 및 증가된 에코 밀도를 도입하여 더 자연스러운 사운딩 FDN 출력을 생성하도록 구현된다. APF(401)는 통상적으로 위상 응답을 제어하는 반면 입력 필터(400)는 진폭 응답을 제어한다.
도 9에서, 필터(406) 및 이득 요소(406A)는 함께 반향 필터를 구현하고, 필터(407) 및 이득 요소(407A)는 함께 또 다른 반향 필터를 구현하며, 필터(408) 및 이득 요소(408A)는 함께 또 다른 반향 필터를 구현하고, 필터(409) 및 이득 요소(409A)는 함께 또 다른 반향 필터를 구현한다. 도 9의 필터들(406, 407, 408, 및 409) 각각은 바람직하게는 1(단위 이득)에 가까운 최대 이득값을 갖는 필터로서 구현되고, 이득 요소들(406A, 407A, 408A, 및 409A) 각각은 (관련 반향 탱크 지연 ni 이후의) 바람직한 감쇠와 정합하는 필터들( 406, 407, 408, 및 409) 중 대응하는 하나의 출력에 감쇠 이득을 적용하도록 구성된다. 구체적으로는, 이득 요소(406A)는 필터(406)의 출력에 감쇠 이득(decaygain1)을 적용하여 요소(406A)의 출력으로 하여금 (반향 탱크 지연 n1 이후의) 지연 라인(410)의 출력이 제1 타겟 감쇠된 이득을 갖도록 하는 이득을 갖게 하도록 구성되고, 이득 요소(407A)는 필터(407)의 출력에 감쇠 이득(decaygain2)을 적용하여 요소(407A)의 출력으로 하여금 (반향 탱크 지연 n2 이후의) 지연 라인(411)의 출력이 제2 타겟 감쇠된 이득을 갖도록 하는 이득을 갖게 하도록 구성되고, 이득 요소(408A)는 필터(408)의 출력에 감쇠 이득(decaygain3)을 적용하여 요소(408A)의 출력으로 하여금 (반향 탱크 지연 n3 이후의) 지연 라인(412)의 출력이 제3 타겟 감쇠된 이득을 갖도록 하는 이득을 갖게 하도록 구성되고, 이득 요소(409A)는 필터(409)의 출력에 감쇠 이득(decaygain4)을 적용하여 요소(409A)의 출력으로 하여금 (반향 탱크 지연 n4 이후의) 지연 라인(413)의 출력이 제4 타겟 감쇠된 이득을 갖도록 하는 이득을 갖게 하도록 구성된다.
도 9 시스템의 필터들(406, 407, 408, 및 409) 각각과 요소들(406A, 407A, 408A, 및 409A) 각각은 바람직하게는 (바람직하게는 IIR 필터로서 구현된 필터들(406, 407, 408, 및 409) 각각에 의해, 예를 들어, 쉘프 필터 또는 쉘프 필터들의 캐스캐이드에 의해) 도 9 시스템을 포함하는 가상화기(예를 들어, 도 10 가상화기)에 의해 적용되는 BRIR의 타겟 T60 특성을 달성하도록 구현되고, 여기서 "T60"은 반향 감쇠 시간 T60을 나타낸다. 예를 들어, 일부 실시예에서, 필터들(406, 407, 408, 및 409) 각각은 쉘프 필터(예를 들어, T60이 초단위를 갖는, 도 13에 도시된 T60 특성을 달성하는 Q=0.3 및 500 Hz의 쉘프 주파수를 갖는 쉘프 필터) 또는 (예를 들어, T60이 초단위를 갖는 도 14에 도시된 T60 특성을 달성하는 쉘프 주파수 100 Hz와 1000 Hz를 갖는) 2개의 IIR 쉘프 필터의 캐스캐이드로서 구현된다. 각각의 쉘프 필터의 형상은 저주파로부터 고주파까지 원하는 변경 곡선과 정합하도록 결정된다. 필터(406)가 쉘프 필터(또는 쉘프 필터들의 캐스캐이드)로서 구현될 때, 필터(406) 및 이득 요소(406A)를 포함하는 반향 필터도 역시 쉘프 필터(또는 쉘프 필터들의 캐스캐이드)이다. 동일한 방식으로, 필터들(407, 408, 및 409) 각각이 쉘프 필터(또는 쉘프 필터들의 캐스캐이드)로서 구현될 때, 필터(407)(또는 408 또는 409) 및 대응하는 이득 요소(407A, 408A, 또는 409A)를 포함하는 각각의 반향 필터도 역시 쉘프 필터(또는 쉘프 필터들의 캐스캐이드)이다.
도 9b는, 도 9b에 도시된 바와 같이 결합된, 제1 쉘프 필터(406B) 및 제2 쉘프 필터(406C)의 캐스캐이드로서 구현된 필터(406)의 예이다. 필터들(407, 408, 및 409) 각각은 필터(406)의 도 9b 구현에서와 같이 구현될 수 있다.
일부 실시예에서, 요소들(406A, 407A, 408A, 및 409A)에 의해 적용되는 감쇠 이득(decaygaini)은 다음과 같이 결정된다:
decaygaini = 10((-60*(ni/Fs)/T)/20),
여기서 i는 반향 탱크 인덱스(즉, 요소(406A)는 decaygain1을 적용하고, 요소(407A)는 decaygain2를 적용하는 등등이다)이고, ni는 i번째 반향 탱크의 지연이며(예를 들어, n1은 지연 라인(410)에 의해 적용되는 지연이다), Fs는 샘플링 레이트이고, T는 미리결정된 저주파에서의 원하는 반향 감쇠 시간(T60)이다.
도 11은 도 9의 다음과 같은 요소들의 실시예의 블록도이다: 요소들(422 및 423), 및 IACC(interaural cross-correlation coefficient) 필터링 및 믹싱단(424). 요소(422)는 (도 9의) 필터들(417 및 419)의 출력들을 합산하고 합산된 신호를 로우 쉘프 필터(500)의 입력에 어써팅하도록 결합되고 구성되며, 요소(422)는 (도 9의) 필터들(418 및 420)의 출력들을 합산하고 합산된 신호를 고역 통과 필터(501)의 입력에 어써팅하도록 구성된다. 필터들(500 및 501)의 출력들은 요소(502)에서 합산(믹싱)되어 바이노럴 좌측 귀 출력 신호를 생성하고, 필터들(500 및 501)의 출력들은 요소(502)에서 믹싱되어(필터(501)의 출력으로부터 필터(500)의 출력이 감산됨) 바이노럴 우측 귀 출력 신호를 생성한다. 요소들(502 및 503)은 필터들(500 및 501)의 필터링된 출력들을 믹싱(합산 및 감산)하여 (허용가능한 정확도 내에서) 타겟 IACC 특성을 달성하는 바이노럴 출력 신호를 생성한다. 도 11 실시예에서, 로우 쉘프 필터(500) 및 고역 통과 필터(501) 각각은 통상적으로 1차 IIR 필터로서 구현된다. 필터들(500 및 501)이 이러한 구현을 갖는 예에서, 도 11 실시예는, 도 12에서 "IT"로서 플롯팅된 타겟 IACC와 양호하게 정합되는, 도 12의 곡선 "I"로서 플롯팅된 예시적 IACC 특성을 달성할 수 있다.
도 11a는, 도 11의 필터(500)의 전형적인 구현의 주파수 응답(R1), 도 11의 필터(501)의 전형적인 구현의 주파수 응답(R2), 및 병렬 접속된 필터들(500 및 501)의 응답의 그래프이다. 도 11a로부터, 결합된 응답은 범위 100Hz-10,000Hz에 걸쳐 바람직하게 평탄(flat)하다는 것이 명백하다.
따라서, 또 다른 부류의 실시예들에서, 본 발명은, 예를 들어, 단일 피드백 지연 네트워크(FDN)를 이용하여 한 세트의 채널들의 다운믹스에 공통의 늦은 반향을 적용하는 것을 포함한, 바이노럴 룸 임펄스 응답(BRIR)을 한 세트 채널들의 각각의 채널에 적용함으로써 필터링된 신호들을 생성하고; 필터링된 신호들을 결합하여 바이노럴 신호를 생성하는 것을 포함한, 다채널 오디오 입력 신호의 한 세트의 채널들에 응답하여 바이노럴 신호(예를 들어, 도 10의 요소(210)의 출력)를 생성하기 위한 방법 및 시스템(예를 들어, 도 10의 시스템)이다. FDN은 시간 도메인에서 구현된다. 일부 이러한 실시예에서, 시간 도메인 FDN(예를 들어, 도 9에서와 같이 구성된, 도 10의 FDN(220))은 하기의 것들을 포함한다:
다운믹스를 수신하도록 결합된 입력을 갖고, 다운믹스에 응답하여 제1 필터링된 다운믹스를 생성하도록 구성된 입력 필터(예를 들어, 도 9의 필터(400));
제1 필터링된 다운믹스에 응답하여 제2 필터링된 다운믹스를 생성하도록 결합되고 구성된 전대역 통과 필터(예를 들어, 도 9의 전대역 통과 필터(401));
제1 출력(예를 들어, 요소(422)의 출력) 및 제2 출력(예를 들어, 요소(423)의 출력)을 갖는 반향 적용 서브시스템(예를 들어, 요소들(400, 401 및 424) 이외의 도 9의 모든 요소들)으로서, 반향 적용 서브시스템은 한 세트의 반향 탱크를 포함하고, 반향 탱크들 각각은 상이한 지연을 가지며, 반향 적용 서브시스템은, 제2 필터링된 다운믹스에 응답하여 제1 언믹싱된 바이노럴 채널 및 제2 언믹싱된 바이노럴 채널을 생성하고, 제1 출력에서 제1 언믹싱된 바이노럴 채널을 어써팅하고, 제2 출력에서 제2 언믹싱된 바이노럴 채널을 어써팅하도록 결합되고 구성된, 상기 반향 적용 서브시스템; 및
반향 적용 서브시스템에 결합되어 제1 언믹싱된 바이노럴 채널과 제2 언믹싱된 바이노럴 채널에 응답하여 제1 믹싱된 바이노럴 채널과 제2 믹싱된 바이노럴 채널을 생성하도록 구성된 이간 교차-상관 계수(IACC) 필터링 및 믹싱단(예를 들어, 도 11의 요소들(500, 501, 502, 및 503)로서 구현될 수 있는 도 9의 단(424)).
입력 필터는, 각각의 BRIR이 타겟 직접-대-늦은 비율(DLR)과 적어도 실질적으로 정합하는 DLR을 갖게 하도록 제1 필터링된 다운믹스를 생성하도록(바람직하게는 생성하도록 구성된 2개의 필터들의 캐스캐이드로서) 구현될 수 있다.
각각의 반향 탱크는 지연된 신호를 생성하도록 구성될 수 있고, 각각의 BRIR의 타겟 반향 감쇠 시간 특성(예를 들어, T60 특성)을 달성하기 위한 노력으로, 상기 반향 탱크들 각각에서 전파하는 신호에 이득을 적용하여 지연된 신호가 상기 지연된 신호에 대한 타겟 감쇠된 이득과 적어도 실질적으로 정합하는 이득을 갖게 하도록 결합되고 구성된 (예를 들어, 쉘프 필터(shelf filter) 또는 쉘프 필터들의 캐스캐이드로서 구현된) 반향 필터를 포함할 수 있다.
일부 실시예에서, 제1 언믹싱된 바이노럴 채널은 제2 언믹싱된 바이노럴 채널을 리딩하며, 반향 탱크들은 최단 지연을 갖는 제1 지연된 신호를 생성하도록 구성된 제1 반향 탱크(예를 들어, 지연 라인(410)을 포함하는 도 9의 반향 탱크)와 두번째 최단 지연을 갖는 제2 지연된 신호를 생성하도록 구성된 제2 반향 탱크(예를 들어, 지연 라인(411)을 포함하는 도 9의 반향 탱크)를 포함하고, 제1 반향 탱크는 제1 지연된 신호에 제1 이득을 적용하도록 구성되고, 제2 반향 탱크는 제2 지연된 신호에 제2 이득을 적용하도록 구성되며, 제2 이득은 제1 이득과 상이하고, 제1 이득과 제2 이득의 적용은 제2 언믹싱된 바이노럴 채널에 비해 제1 언믹싱된 바이노럴 채널의 감쇠를 야기한다. 통상적으로, 제1 믹싱된 바이노럴 채널과 제2 믹싱된 바이노럴 채널은 재중심된 스테레오 이미지(re-centered stereo image)를 나타낸다. 일부 실시예에서, IACC 필터링 및 믹싱단은, 제1 믹싱된 바이노럴 채널과 제2 믹싱된 바이노럴 채널이 타겟 IACC 특성과 적어도 실질적으로 정합하는 IACC 특성을 갖게 하게끔 제1 믹싱된 바이노럴 채널과 제2 믹싱된 바이노럴 채널을 생성하도록 구성된다.
본 발명의 양태들은, 오디오 신호들(그 오디오 콘텐츠가 스피커 채널들, 및/또는 객체-기반의 오디오 신호들로 구성된 오디오 신호들)의 바이노럴 가상화를 수행하는 (또는 가상화를 수행하거나 수행을 지원하도록 구성된) 방법 및 시스템(예를 들어, 도 2의 시스템(20), 또는 도 3 또는 도 10의 시스템)을 포함한다.
일부 실시예에서, 본 발명의 가상화기는, 다채널 오디오 입력 신호를 나타내는 입력 데이터를 수신하거나 생성하도록 결합되고, 소프트웨어(또는 펌웨어)로 프로그램되거나 및/또는 본 발명의 방법의 실시예를 포함한 입력 데이터에 대한 다양한 동작들 중 임의의 동작을 (예를 들어, 제어 데이터에 응답하여) 수행하도록 기타의 방식으로 구성된 범용 프로세서이거나 이를 포함한다. 이러한 범용 프로세서는 통상적으로 입력 디바이스(예를 들어, 마우스 및/또는 키보드), 메모리, 및 디스플레이 디바이스에 결합될 것이다. 예를 들어, 도 3의 시스템(또는 도 2의 시스템(20), 또는 시스템(20)의 요소들(12, ..., 14, 15, 16, 및 18)을 포함하는 가상화기 시스템)은 범용 프로세서에서 구현될 수 있고, 이 때, 입력은 오디오 입력 신호의 N개 채널들을 나타내는 오디오 데이터이고, 출력은 바이노럴 오디오 신호의 2개 채널들을 나타내는 오디오 데이터이다. 종래의 디지털-대-아날로그 변환기(DAC)는 출력 데이터에 대해 동작하여 스피커(예를 들어, 한 쌍의 헤드폰)에 의한 재생을 위한 바이노럴 신호 채널들의 아날로그 버전을 생성할 수 있다.
본 발명의 특정한 실시예들과 본 발명의 응용들이 여기서 설명되었지만, 설명되고 여기서 청구되는 본 발명의 범위로부터 벗어나지 않고 실시예들과 응용들에 대한 많은 변형이 가능하다는 것은 본 기술분야의 통상의 기술자에게 명백할 것이다. 본 발명의 소정 형태들이 도시되고 설명되었지만, 본 발명은 설명되고 도시된 특정한 실시예들 또는 설명된 특정한 방법들로 제한되지 않는다는 것을 이해해야 한다.

Claims (17)

  1. 다채널 오디오 입력 신호의 채널들의 세트에 응답하여 바이노럴 신호(binaural signal)를 생성하기 위한 방법으로서, 상기 방법은
    상기 세트의 각각의 채널에 바이노럴 룸 임펄스 응답(BRIR; binaural room impulse response)을 적용함으로써, 필터링된 신호들을 생성하는 단계; 및
    상기 필터링된 신호들을 결합하여 상기 바이노럴 신호를 생성하는 단계
    를 포함하고,
    상기 세트의 각각의 채널에 상기 BRIR을 적용하는 것은, 늦은 반향 생성기(late reverberation generator)(200)에 어써팅되는(asserted) 제어 값들에 응답하여, 상기 늦은 반향 생성기(200)를 사용하여 공통의 늦은 반향을 상기 세트의 상기 채널들의 다운믹스에 적용하는 것을 포함하고, 상기 공통의 늦은 반향은 상기 세트의 적어도 일부 채널들에 걸쳐서 공유되는 단일-채널 BRIR들의 늦은 반향 부분들의 집합적 매크로 속성들(collective macro attributes)을 에뮬레이팅하고,
    콘텐츠 의존 에너지 등화 인자(content dependent energy equalization factor)가 상기 다운믹스에 적용되는, 방법.
  2. 제1항에 있어서, 상기 세트의 각각의 채널에 BRIR을 적용하는 것은, 상기 채널을 위한 상기 단일-채널 BRIR의 직접 응답 및 이른 반사 부분을 상기 세트의 각각의 채널에 적용하는 것을 포함하는, 방법.
  3. 제1항에 있어서, 상기 늦은 반향 생성기(200)는 상기 다운믹스에 상기 공통의 늦은 반향을 적용하는 피드백 지연 네트워크들(203, 204, 205)의 뱅크를 포함하고, 상기 뱅크의 각 피드백 지연 네트워크(203, 204, 205)는 상기 다운믹스의 다른 주파수 밴드에 늦은 반향을 적용하는, 방법.
  4. 제3항에 있어서, 상기 피드백 지연 네트워크들(203, 204, 205)의 각각은 필터뱅크 도메인에서 구현되는, 방법.
  5. 제1항에 있어서, 상기 늦은 반향 생성기(200)는 상기 세트의 상기 채널들의 상기 다운믹스에 상기 공통의 늦은 반향을 적용하기 위한 단일의 피드백 지연 네트워크(220)를 포함하고, 상기 피드백 지연 네트워크(220)는 시간 도메인에서 구현되는, 방법.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 집합적 매크로 속성들은 평균 전력 스펙트럼, 에너지 감쇠 구조, 모달 밀도 및 피크 밀도 중 하나 이상을 포함하는, 방법.
  7. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제어 값들 중 하나 이상은 주파수 의존적이고, 및/또는 상기 제어 값들 중 하나는 반향 시간인, 방법.
  8. 다채널 오디오 입력 신호의 채널들의 세트에 응답하여 바이노럴 신호를 생성하기 위한 시스템으로서, 상기 시스템은,
    상기 세트의 각각의 채널에 바이노럴 룸 임펄스 응답(BRIR)을 적용하여 필터링된 신호들을 생성하고;
    상기 필터링된 신호들을 결합하여 상기 바이노럴 신호를 생성하는
    하나 이상의 프로세서들을 포함하고,
    상기 세트의 각각의 채널에 상기 BRIR을 적용하는 것은, 늦은 반향 생성기(200)에 어써팅되는(asserted) 제어 값들에 응답하여, 상기 늦은 반향 생성기 (200)를 사용하여, 공통의 늦은 반향을 상기 세트의 상기 채널들의 다운믹스에 적용하는 것을 포함하고, 상기 공통의 늦은 반향은 상기 세트의 적어도 일부 채널들에 걸쳐서 공유되는 단일-채널 BRIR들의 늦은 반향 부분들의 집합적 매크로 속성들을 에뮬레이팅하고,
    콘텐츠 의존 에너지 등화 인자가 상기 다운믹스에 적용되는, 시스템.
  9. 제8항에 있어서, 상기 세트의 각각의 채널에 BRIR을 적용하는 것은, 상기 채널을 위한 상기 단일-채널 BRIR의 직접 응답 및 이른 반사 부분을 상기 세트의 각각의 채널에 적용하는 것을 포함하는, 시스템.
  10. 제8항에 있어서, 상기 늦은 반향 생성기(200)는 상기 다운믹스에 상기 공통의 늦은 반향을 적용하도록 구성되는 피드백 지연 네트워크(203, 204, 205)들의 뱅크를 포함하고, 상기 뱅크의 각 피드백 지연 네트워크(203, 204, 205)는 상기 다운믹스의 다른 주파수 밴드에 늦은 반향을 적용하는, 시스템.
  11. 제10항에 있어서, 상기 피드백 지연 네트워크들(203, 204, 205)의 각각은 필터뱅크 도메인에서 구현되는, 시스템.
  12. 제8항에 있어서, 상기 늦은 반향 생성기(200)는 시간 도메인에서 구현되는 피드백 지연 네트워크(220)를 포함하고, 상기 늦은 반향 생성기(200)는, 상기 다운믹스에 상기 공통의 늦은 반향을 적용하기 위하여 상기 피드백 지연 네트워크(220)에서 상기 다운믹스를 시간 도메인에서 처리하도록 구성되는, 시스템.
  13. 제8항 내지 제11항 중 어느 한 항에 있어서, 상기 집합적 매크로 속성들은 평균 전력 스펙트럼, 에너지 감쇠 구조, 모달 밀도 및 피크 밀도 중 하나 이상을 포함하는, 시스템.
  14. 제8항 내지 제11항 중 어느 한 항에 있어서, 상기 제어 값들 중 하나 이상은 주파수 의존적이고, 및/또는 상기 제어 값들 중 하나는 반향 시간인, 시스템.
  15. 다채널 오디오 입력 신호의 채널들의 세트에 응답하여 바이노럴 신호를 생성하기 위한 장치로서, 상기 장치는,
    하나 이상의 프로세서들; 및
    하나 이상의 저장 매체
    를 포함하고,
    상기 저장 매체는 상기 하나 이상의 프로세서들에 의해 실행될 때, 제1항 내지 제5항 중 어느 한 항의 방법을 수행하도록 하는 명령어들을 저장하는, 장치.
  16. 하나 이상의 프로세서들에 의해 실행될 때, 제1항 내지 제5항 중 어느 한 항의 방법을 실시하도록 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
  17. 제1항 내지 제5항 중 어느 한 항의 방법을 실시하는 수단을 포함하는, 장치.
KR1020227009882A 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성 KR102454964B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227035287A KR20220141925A (ko) 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201461923579P 2014-01-03 2014-01-03
US61/923,579 2014-01-03
CN201410178258.0 2014-04-29
CN201410178258.0A CN104768121A (zh) 2014-01-03 2014-04-29 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
US201461988617P 2014-05-05 2014-05-05
US61/988,617 2014-05-05
PCT/US2014/071100 WO2015102920A1 (en) 2014-01-03 2014-12-18 Generating binaural audio in response to multi-channel audio using at least one feedback delay network
KR1020217009258A KR102380092B1 (ko) 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217009258A Division KR102380092B1 (ko) 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227035287A Division KR20220141925A (ko) 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성

Publications (2)

Publication Number Publication Date
KR20220043242A true KR20220043242A (ko) 2022-04-05
KR102454964B1 KR102454964B1 (ko) 2022-10-17

Family

ID=53649659

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020217009258A KR102380092B1 (ko) 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성
KR1020187016855A KR102124939B1 (ko) 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성
KR1020167017781A KR101870058B1 (ko) 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성
KR1020227009882A KR102454964B1 (ko) 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성
KR1020227035287A KR20220141925A (ko) 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020217009258A KR102380092B1 (ko) 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성
KR1020187016855A KR102124939B1 (ko) 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성
KR1020167017781A KR101870058B1 (ko) 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227035287A KR20220141925A (ko) 2014-01-03 2014-12-18 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성

Country Status (11)

Country Link
US (3) US11212638B2 (ko)
EP (3) EP3806499B1 (ko)
JP (3) JP6215478B2 (ko)
KR (5) KR102380092B1 (ko)
CN (5) CN104768121A (ko)
AU (6) AU2014374182B2 (ko)
BR (3) BR122020013603B1 (ko)
CA (6) CA3170723C (ko)
ES (1) ES2961396T3 (ko)
MX (3) MX2019006022A (ko)
RU (1) RU2637990C1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6658026B2 (ja) * 2016-02-04 2020-03-04 株式会社Ｊｖｃケンウッド フィルタ生成装置、フィルタ生成方法、及び音像定位処理方法
EP3239981B1 (en) * 2016-04-26 2018-12-12 Nokia Technologies Oy Methods, apparatuses and computer programs relating to modification of a characteristic associated with a separated audio signal
CN105792090B (zh) * 2016-04-27 2018-06-26 华为技术有限公司 一种增加混响的方法与装置
CN107231599A (zh) * 2017-06-08 2017-10-03 北京奇艺世纪科技有限公司 一种3d声场构建方法和vr装置
CN108011853B (zh) * 2017-11-27 2020-06-12 电子科技大学 混合滤波器组dac延迟和相位偏移的估计和补偿方法
CN110719564B (zh) * 2018-07-13 2021-06-08 海信视像科技股份有限公司 音效处理方法和装置
US11128976B2 (en) * 2018-10-02 2021-09-21 Qualcomm Incorporated Representing occlusion when rendering for computer-mediated reality systems
JP7179079B2 (ja) * 2018-10-09 2022-11-28 ローランド株式会社 効果音発生方法、及び情報処理装置
KR102599744B1 (ko) 2018-12-07 2023-11-08 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 방향 컴포넌트 보상을 사용하는 DirAC 기반 공간 오디오 코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램
US10755721B1 (en) * 2019-04-30 2020-08-25 Synaptics Incorporated Multichannel, multirate, lattice wave filter systems and methods
JP2021131434A (ja) * 2020-02-19 2021-09-09 ヤマハ株式会社 音信号処理方法および音信号処理装置
EP3930349A1 (en) * 2020-06-22 2021-12-29 Koninklijke Philips N.V. Apparatus and method for generating a diffuse reverberation signal
EP4007310A1 (en) * 2020-11-30 2022-06-01 ASK Industries GmbH Method of processing an input audio signal for generating a stereo output audio signal having specific reverberation characteristics
AT523644B1 (de) * 2020-12-01 2021-10-15 Atmoky Gmbh Verfahren für die Erzeugung eines Konvertierungsfilters für ein Konvertieren eines multidimensionalen Ausgangs-Audiosignal in ein zweidimensionales Hör-Audiosignal
EP4364436A2 (en) * 2021-06-30 2024-05-08 Telefonaktiebolaget LM Ericsson (publ) Adjustment of reverberation level
JP2024531541A (ja) * 2021-09-03 2024-08-29 ドルビー ラボラトリーズ ライセンシング コーポレイション 空間的メタデータ出力を有する音楽シンセサイザー
GB2618983A (en) * 2022-02-24 2023-11-29 Nokia Technologies Oy Reverberation level compensation
WO2024190172A1 (ja) * 2023-03-16 2024-09-19 ソニーグループ株式会社 音響処理方法、音響処理装置および音響処理プログラム
CN117476026A (zh) * 2023-12-26 2024-01-30 芯瞳半导体技术(山东)有限公司 一种多路音频数据混音的方法、系统、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336080A (ja) * 2006-06-13 2007-12-27 Clarion Co Ltd 音響補正装置
KR20120074316A (ko) * 2009-10-21 2012-07-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 신호를 반향하기 위한 반향기 및 방법

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5371799A (en) * 1993-06-01 1994-12-06 Qsound Labs, Inc. Stereo headphone sound source localization system
WO1999014983A1 (en) * 1997-09-16 1999-03-25 Lake Dsp Pty. Limited Utilisation of filtering effects in stereo headphone devices to enhance spatialization of source around a listener
CA2325482C (en) 1998-03-25 2009-12-15 Lake Technology Limited Audio signal processing method and apparatus
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US8054980B2 (en) 2003-09-05 2011-11-08 Stmicroelectronics Asia Pacific Pte, Ltd. Apparatus and method for rendering audio information to virtualize speakers in an audio system
US20050063551A1 (en) * 2003-09-18 2005-03-24 Yiou-Wen Cheng Multi-channel surround sound expansion method
EP1768107B1 (en) * 2004-07-02 2016-03-09 Panasonic Intellectual Property Corporation of America Audio signal decoding device
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
KR20070065401A (ko) 2004-09-23 2007-06-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 데이터를 처리하는 시스템 및 방법, 프로그램구성요소, 및 컴퓨터-판독가능 매체
US7903824B2 (en) 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
WO2007080211A1 (en) 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
FR2899424A1 (fr) * 2006-03-28 2007-10-05 France Telecom Procede de synthese binaurale prenant en compte un effet de salle
US8374365B2 (en) * 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US7876903B2 (en) * 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
US8036767B2 (en) 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
CN101960866B (zh) * 2007-03-01 2013-09-25 杰里·马哈布比 音频空间化及环境模拟
RU2443075C2 (ru) 2007-10-09 2012-02-20 Конинклейке Филипс Электроникс Н.В. Способ и устройство для генерации бинаурального аудиосигнала
US8509454B2 (en) 2007-11-01 2013-08-13 Nokia Corporation Focusing on a portion of an audio scene for an audio signal
WO2009111798A2 (en) * 2008-03-07 2009-09-11 Sennheiser Electronic Gmbh & Co. Kg Methods and devices for reproducing surround audio signals
WO2010012478A2 (en) * 2008-07-31 2010-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal generation for binaural signals
CN101661746B (zh) 2008-08-29 2013-08-21 三星电子株式会社 数字音频混响器和数字音频混响方法
TWI475896B (zh) 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
EP2175670A1 (en) 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
CA2740522A1 (en) 2008-10-14 2010-04-22 Widex A/S Method of rendering binaural stereo in a hearing aid system and a hearing aid system
US20100119075A1 (en) 2008-11-10 2010-05-13 Rensselaer Polytechnic Institute Spatially enveloping reverberation in sound fixing, processing, and room-acoustic simulations using coded sequences
JP5524237B2 (ja) 2008-12-19 2014-06-18 ドルビー インターナショナル アーベー 空間キューパラメータを用いてマルチチャンネルオーディオ信号に反響を適用する方法と装置
US20110317522A1 (en) 2010-06-28 2011-12-29 Microsoft Corporation Sound source localization based on reflections and room estimation
US8908874B2 (en) 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
EP2464146A1 (en) 2010-12-10 2012-06-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decomposing an input signal using a pre-calculated reference curve
TWI517028B (zh) 2010-12-22 2016-01-11 傑奧笛爾公司 音訊空間定位和環境模擬
US9462387B2 (en) * 2011-01-05 2016-10-04 Koninklijke Philips N.V. Audio system and method of operation therefor
WO2013111038A1 (en) 2012-01-24 2013-08-01 Koninklijke Philips N.V. Generation of a binaural signal
US8908875B2 (en) 2012-02-02 2014-12-09 King's College London Electronic device with digital reverberator and method
KR101174111B1 (ko) 2012-02-16 2012-09-03 래드손(주) 오디오 신호의 디지털 노이즈를 저감시키는 장치 및 방법
JP6433918B2 (ja) * 2013-01-17 2018-12-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． バイノーラルのオーディオ処理
US9060052B2 (en) * 2013-03-13 2015-06-16 Accusonus S.A. Single channel, binaural and multi-channel dereverberation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336080A (ja) * 2006-06-13 2007-12-27 Clarion Co Ltd 音響補正装置
KR20120074316A (ko) * 2009-10-21 2012-07-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 신호를 반향하기 위한 반향기 및 방법

Also Published As

Publication number Publication date
CA2935339A1 (en) 2015-07-09
AU2018203746B2 (en) 2020-02-20
CA3226617A1 (en) 2015-07-09
AU2014374182B2 (en) 2018-03-15
EP3402222B1 (en) 2020-11-18
US20210051435A1 (en) 2021-02-18
ES2961396T3 (es) 2024-03-11
AU2022202513B2 (en) 2023-03-02
KR102124939B1 (ko) 2020-06-22
US12089033B2 (en) 2024-09-10
CA3043057C (en) 2022-04-12
CA3148563A1 (en) 2015-07-09
JP7183467B2 (ja) 2022-12-05
MX2016008696A (es) 2016-11-25
JP2023018067A (ja) 2023-02-07
CA3242311A1 (en) 2015-07-09
CN111065041B (zh) 2022-02-18
CN118433628A (zh) 2024-08-02
AU2018203746A1 (en) 2018-06-21
KR20220141925A (ko) 2022-10-20
AU2022202513A1 (en) 2022-05-12
EP3806499A1 (en) 2021-04-14
CN118200841A (zh) 2024-06-14
CN114401481A (zh) 2022-04-26
KR102380092B1 (ko) 2022-03-30
CA3170723A1 (en) 2015-07-09
AU2023203442B2 (en) 2024-06-13
US20230199427A1 (en) 2023-06-22
JP2022172314A (ja) 2022-11-15
BR112016014949A2 (ko) 2017-08-08
KR20210037748A (ko) 2021-04-06
AU2014374182A1 (en) 2016-06-30
US11582574B2 (en) 2023-02-14
JP7536846B2 (ja) 2024-08-20
CA3148563C (en) 2022-10-18
KR20160095042A (ko) 2016-08-10
KR102454964B1 (ko) 2022-10-17
CN111065041A (zh) 2020-04-24
EP3402222A1 (en) 2018-11-14
EP3806499B1 (en) 2023-09-06
AU2024219367A1 (en) 2024-09-26
BR122020013590B1 (pt) 2022-09-06
CN114401481B (zh) 2024-05-17
US20220182779A1 (en) 2022-06-09
BR122020013603B1 (pt) 2022-09-06
EP4270386A2 (en) 2023-11-01
KR101870058B1 (ko) 2018-06-22
US11212638B2 (en) 2021-12-28
EP4270386A3 (en) 2024-01-10
KR20180071395A (ko) 2018-06-27
AU2020203222A1 (en) 2020-06-04
BR112016014949B1 (pt) 2022-03-22
AU2023203442A1 (en) 2023-06-29
MX2022010155A (es) 2022-09-12
MX2019006022A (es) 2022-08-19
CA3043057A1 (en) 2015-07-09
MX352134B (es) 2017-11-10
RU2637990C1 (ru) 2017-12-08
AU2020203222B2 (en) 2022-01-20
CA2935339C (en) 2019-07-09
CA3170723C (en) 2024-03-12
CN104768121A (zh) 2015-07-08
JP2017507525A (ja) 2017-03-16
JP6215478B2 (ja) 2017-10-18

Similar Documents

Publication Publication Date Title
US12089033B2 (en) Generating binaural audio in response to multi-channel audio using at least one feedback delay network
US10555109B2 (en) Generating binaural audio in response to multi-channel audio using at least one feedback delay network
EP3090573B1 (en) Generating binaural audio in response to multi-channel audio using at least one feedback delay network

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant