KR101858918B1 - 헤드 마운트형 스피커를 위한 오디오 향상 기법 - Google Patents

헤드 마운트형 스피커를 위한 오디오 향상 기법 Download PDF

Info

Publication number
KR101858918B1
KR101858918B1 KR1020177031493A KR20177031493A KR101858918B1 KR 101858918 B1 KR101858918 B1 KR 101858918B1 KR 1020177031493 A KR1020177031493 A KR 1020177031493A KR 20177031493 A KR20177031493 A KR 20177031493A KR 101858918 B1 KR101858918 B1 KR 101858918B1
Authority
KR
South Korea
Prior art keywords
channel
gain
crosstalk
input
subband
Prior art date
Application number
KR1020177031493A
Other languages
English (en)
Other versions
KR20170127570A (ko
Inventor
재커리 셀데스
제임스 트레이시
알란 크레이머
Original Assignee
붐클라우드 360, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 붐클라우드 360, 인코포레이티드 filed Critical 붐클라우드 360, 인코포레이티드
Publication of KR20170127570A publication Critical patent/KR20170127570A/ko
Application granted granted Critical
Publication of KR101858918B1 publication Critical patent/KR101858918B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H04R3/14—Cross-over networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

본원의 실시예는 주로 향상된 공간 검출능 및 크로스토크 시뮬레이션으로 음향을 생성하기 위한 시스템, 방법 및 비일시적 컴퓨터 판독가능 매체의 상황에서 설명된다. 오디오 프로세싱 시스템은 오디오 입력 신호의 좌측 입력 채널 및 우측 입력 채널을 수신하고, 오디오 프로세싱을 수행하여 출력 오디오 신호를 생성한다. 시스템은 좌측 입력 채널 및 우측 입력 채널의 측 부대역 성분 및 중간 부대역 성분을 이득 조정함으로써 공간적으로 향상된 좌측 및 우측 신호를 생성한다. 오디오 프로세싱 시스템은 예를 들어, 필터 및 시간 지연을 좌측 및 우측 입력 채널에 적용하는 것에 의해 좌측 및 우측 크로스토크 채널을 생성하고, 공간적으로 향상된 채널을 크로스토크 채널과 혼합한다. 일부 실시예에서, 시스템은 출력 오디오 신호와 혼합될 수 있는 입력 채널로부터 도출되는 고/저주파수 향상 채널 및 패스쓰루 채널을 포함한다.

Description

헤드 마운트형 스피커를 위한 오디오 향상 기법
본 개시의 실시예는 일반적으로 양이(binaural) 및 입체 음향(stereophonic) 오디오 신호 프로세싱의 기술분야에 관한 것이고, 더 구체적으로, 스테레오 이어폰과 같은, 헤드 마운트형(head-mounted) 스피커를 통한 재생성을 위해 오디오 신호를 최적화하는 것에 관한 것이다.
입체 음향 재생성은 둘 이상의 트랜스듀서를 사용하여 음장(sound field)의 공간 특성을 포함하는 신호를 인코딩 및 재생성을 포함한다. 입체 음향은 청취자가 음장에서 공간감각을 감지하는 것을 가능하게 한다. 통상적인 입체 음향 재생성 시스템에서, 청취 영역에서 고정 위치에 위치된 두 "영역 내(in field)" 확성기는 입체 음향 신호를 음파로 변환한다. 각각의 영역 내 확성기로부터의 음파는 청취자의 양쪽 귀를 향해 공간을 통해 전파하여 음장 내에서 다양한 방향으로부터 청취되는 사운드의 느낌을 만든다.
헤드폰 또는 인이어(in-ear) 헤드폰과 같은 헤드 마운트형 스피커는 통상적으로 사운드를 좌측 귀로 방출하는 전용 좌측 스피커, 및 사운드를 우측 귀로 방출하는 전용 우측 스피커를 포함한다. 헤드 마운트형 스피커에 의해 생성되는 음파는 영역 내 확성기에 의해 생성되는 음파와 다르게 동작하고, 이러한 차는 청취자가 인지할 수 있다. 헤드 마운트형 스피커로부터 출력될 경우 및 영역 내 확성기로부터 출력될 경우 동일한 입력 입체 음향 신호는 상이하게, 그리고 가끔 덜 선호되는 청취 경험을 생성할 수 있다.
오디오 프로세싱 시스템은 출력 채널의 각각에 대해 시뮬레이팅된 대측(contralateral) 크로스토크 신호를 만드는 것과, 이들 시뮬레이팅된 신호를 공간적으로 향상된 신호와 결합하는 것에 의해 재생성을 위한 둘 이상의 출력 채널을 적응적으로 생성한다. 오디오 프로세싱 시스템은 헤드 마운트형 스피커를 통해 청취 경험을 향상시킬 수 있고, 음악, 영화, 및 게임을 포함하는 다양한 콘텐츠에 대해 효과적으로 작동한다. 오디오 프로세싱 시스템은 (예를 들어, 필터, 이득, 및 지연의) 유연한 구성을 포함하여 청취자에 의해 경험되는 공간 음장을 특히 향상시키도록 극적인 음향적으로 만족스러운 경험을 제공한다. 예를 들어, 오디오 프로세싱 시스템은 영역 내 확성기를 통해 입체 음향 콘텐츠를 청취할 때 경험되는 것과 유사한 음장을 헤드 마운트형 스피커에 제공할 수 있다.
일부 실시예에서, 오디오 프로세싱 시스템은 좌측 입력 채널 및 우측 입력 채널을 포함하는 입력 오디오 신호를 수신한다. 좌측 및 우측 입력 채널을 사용하여, 오디오 프로세싱 시스템은 공간적으로 향상된 좌측 및 우측 채널, 좌측 및 우측 크로스토크 채널, 저주파수 및 고주파수 향상 채널, 중간 채널, 및 패스쓰루 채널을 생성한다. 오디오 프로세싱 시스템은 예를 들어, 다른 이득을 채널에 적용함으로써, 생성된 채널을 혼합하여 좌측 및 우측 출력 채널을 생성한다. 하나의 측면에서, 오디오 프로세싱 시스템은 헤드 마운트형 스피커로 출력될 경우 오디오 입력 신호의 청취 경험을 향상시켜서, 영역 내 스피커의 음파 거동의 특성인 대측 신호 성분을 시뮬레이팅한다. 시뮬레이팅된 대측 신호는 청취자의 머리 및 귀로부터 이루어질 수 있는 필터링 효과 뿐만 아니라, 대향 채널 스피커로부터 이루어질 수 있는 양측의 추가적 지연의 이유가 된다. 필터링 효과는 각각의 오디오 채널에 대한 헤드 섀도우 효과(head shadow effect)를 위한 필터 기능에 의해 제공된다. 이로 인해, 음장의 공간감각이 향상되고 음장이 확장되어, 헤드 마운트형 스피커에 대해 더 즐거운 청취 경험이 되게 한다.
공간적으로 향상된 채널은 또한 좌측 및 우측 입력 채널의 측(side) 부대역 성분 및 중간(mid) 부대역 성분을 이득 조정함으로써 음장의 공간감각을 향상시킨다. 저주파수 채널 및 고주파수 채널은 각각 입력 채널의 저주파수 성분 및 고주파수 성부를 부스팅한다. 중간 채널 및 패스쓰루 채널은 출력 채널에 대한 (예를 들어, 비공간적으로 향상된) 입력 오디오 신호의 기여를 제어한다.
일부 실시예는 출력 채널을 생성하는 방법을 포함하고, 방법은, 좌측 입력 채널 및 우측 입력 채널을 포함하는 입력 오디오 신호를 수신하는 단계와, 좌측 입력 채널 및 우측 입력 채널의 측 부대역 성분 및 중간 부대역 성분을 이득 조정함으로써 공간적으로 향상된 좌측 채널 및 공간적으로 향상된 우측 채널을 생성하는 단계와, 좌측 입력 채널을 필터링하고 시간 지연시킴으로써 좌측 크로스토크 채널을 생성하는 단계와, 우측 입력 채널을 필터링하고 시간 지연시킴으로써 우측 크로스토크 채널을 생성하는 단계와, 공간적으로 향상된 좌측 채널 및 우측 크로스토크 채널을 혼합함으로써 좌측 출력 채널을 생성하는 단계와, 공간적으로 향상된 우측 채널 및 좌측 크로스토크 채널을 혼합함으로써 우측 출력 채널을 생성하는 단계를 포함한다.
일부 실시예는 오디오 프로세싱 시스템을 포함하고, 오디오 프로세싱 시스템은, 좌측 입력 채널 및 우측 입력 채널의 측 부대역 성분 및 중간 부대역 성분을 이득 조정함으로써 공간적으로 향상된 좌측 채널 및 공간적으로 향상된 우측 채널을 생성하도록 구성된 부대역 공간 인핸서와, 좌측 입력 채널을 필터링하고 시간 지연시킴으로써 좌측 크로스토크 채널을 생성하고, 우측 입력 채널을 필터링하고 시간 지연시킴으로써 우측 크로스토크 채널을 생성하도록 구성된 크로스토크 시뮬레이터와, 공간적으로 향상된 좌측 채널 및 우측 크로스토크 채널을 혼합함으로써 좌측 출력 채널을 생성하고, 공간적으로 향상된 우측 채널 및 좌측 크로스토크 채널을 혼합함으로써 우측 출력 채널을 생성하도록 구성된 믹서를 포함한다.
일부 실시예는 프로그램 코드를 저장하도록 구성된 비일시적 컴퓨터 판독가능 매체를 포함하고, 프로그램 코드는 프로세서에 의해 실행될 때 프로세서로 하여금, 좌측 입력 채널 및 우측 입력 채널을 포함하는 입력 오디오 신호를 수신하게 하고, 좌측 입력 채널 및 우측 입력 채널의 측 부대역 성분 및 중간 부대역 성분을 이득 조정함으로써 공간적으로 향상된 좌측 채널 및 공간적으로 향상된 우측 채널을 생성하게 하고, 좌측 입력 채널을 필터링하고 시간 지연시킴으로써 좌측 크로스토크 채널을 생성하게 하고, 우측 입력 채널을 필터링하고 시간 지연시킴으로써 우측 크로스토크 채널을 생성하게 하고, 공간적으로 향상된 좌측 채널 및 우측 크로스토크 채널을 혼합함으로써 좌측 출력 채널을 생성하게 하고, 공간적으로 향상된 우측 채널 및 좌측 크로스토크 채널을 혼합함으로써 우측 출력 채널을 생성하게 한다.
도 1은 스테레오 오디오 재생성 시스템을 도시한다.
도 2는 일 실시예에 따른 예시의 오디오 프로세싱 시스템을 도시한다.
도 3a는 일 실시예에 따른 부대역 공간 인핸서의 주파수 대역 분할기를 도시한다.
도 3b는 일 실시예에 따른 부대역 공간 인핸서의 주파수 대역 인핸서를 도시한다
도 3c는 일 실시예에 따른 부대역 공간 인핸서의 향상된 밴드 결합기를 도시한다.
도 4는 일 실시예에 따른 부대역 결합기를 도시한다.
도 5는 일 실시예에 따른 크로스토크 시뮬레이터를 도시한다.
도 6은 일 실시예에 따른 패스쓰루를 도시한다.
도 7은 일 실시예에 따른 고/저 주파수 부스터를 도시한다.
도 8은 일 실시예에 따른 믹서를 도시한다.
도 9는 일 실시예에 따른 헤드 마운트형 스피커를 최적화하는 예시의 방법을 도시한다.
도 10은 일 실시예에 따른 입력 오디오 신호로부터 공간적으로 향상된 채널을 생성하는 방법을 도시한다.
도 11은 일 실시예에 따른 오디오 입력 신호로부터 크로스토크 채널을 생성하는 방법을 도시한다.
도 12는 일 실시예에 따른 오디오 입력 신호로부터 좌측 및 우측 패스쓰루 채널 및 중간 채널을 생성하는 방법을 도시한다.
도 13은 일 실시예에 따른 오디오 입력 신호로부터 저주파수 및 고주파수 향상 채널을 생성하는 방법을 도시한다.
도 14 내지 18은 일 실시예에 따른 오디오 프로세싱 시스템에 의해 생성되는 채널 신호의 주파수 응답 플롯의 예시를 도시한다.
명세서에서 설명된 특징들 및 장점들은 본원 발명의 특징들과 장점들을 모두 나타내는 것이 아니고, 특히, 많은 추가적인 특징들 및 장점들은 도면, 명세서 및 청구항을 참조하면 당업자에게 명백해질 것이다. 또한, 명세서에서 사용된 표현은 가독성을 높이고 이해를 돕기 위해 선택되었고, 본 발명의 청구 대상을 기술하거나 제한하기 위해 선택된 것은 아니라는 점에 유의해야 한다.
도면(도) 및 다음의 설명은 바람직한 실시예에 관한 예시적인 기술이다. 다음의 논의로부터, 본원에 개시된 구조 및 방법의 대안적인 실시예가 본 발명의 원리로부터 벗어남이 없이 이용될 수 있는 실행가능한 대안으로서 쉽게 인식될 것임에 유의해야 한다.
이제 본 발명의 여러 실시예에 대한 참조가 자세하게 이루어질 것인데, 이들의 예시는 첨부한 도면에 도시된다. 가능한 한, 도면에서 유사하거나 같은 참조 번호는 유사하거나 같은 기능을 나타내도록 사용될 수 있음에 유의해야 한다. 도면은 예시를 위해서만 실시예를 도시한다. 당업자는 본원에서 예시된 구조 및 방법에 대한 대안적인 실시예가 본원에서 설명된 원리로부터 벗어남이 없이 이용될 수 있다는 것을 다음의 설명으로부터 쉽게 인식할 것이다.
예시의 오디오 프로세싱 시스템
도 1을 참조하면, 청취 영역에서 고정된 위치에 위치된 두 영역 내 확성기(110A 및 110B)는 입체 음향 신호를 음파로 변환하고, 청취자(120)를 향해 공간을 통해 전파하여 음장 내에서 다양한 위치(예를 들어, 가상 음원(160))로부터 청취되는 사운드의 느낌을 만든다.
헤드폰 또는 인이어 헤드폰과 같은, 헤드 마운트형 스피커는 사운드를 좌측 귀(125L)로 방출하는 전용 좌측 스피커(130L) 및 사운드를 우측 귀(125R)로 방출하는 전용 우측 스피커(130R)를 포함한다. 이로 인해, 헤드 마운트형 스피커에 의한 신호 재생성은 영역 내 확성기(110A 및 110B) 상에서의 신호 재생성과는 다르게 다양한 방식으로 동작한다.
헤드 마운트형 스피커와 다르게, 예를 들어, 청취자로부터 떨어져 위치된 확성기(110A 및 110B)는 각각 청취자(120)의 좌측 귀 및 우측 귀(125L, 125R) 모두에 수신된 "트랜스 청각(trans-aural)" 음파를 생성한다. 우측 귀(125R)는 좌측 귀(125L)가 확성기(110A)로부터 신호 성분(118L)을 수신할 경우에 비해 약간의 지연으로 확성기(110A)로부터 신호 성분(112L)을 수신한다. 신호 성분(118L)에 대한 신호 성분(112L)의 시간 지연은 확성기(110A)와 좌측 귀(125L) 사이의 거리에 비해 확성기(110A)와 우측 귀(125R) 사이의 거리가 더 크기 때문에 발생하게 된다. 유사하게, 좌측 귀(125L)는 우측 귀(125R)가 확성기(110B)로부터 신호 성분(118R)을 수신할 경우에 비해 약간의 지연을 갖고 확성기(110B)로부터 신호 성분(112R)을 수신한다.
헤드 마운트형 스피커는 사용자의 귀에 가깝게 음파를 방출하고, 따라서 더 낮은 또는 트랜스 청각이 없는 음파 전파를 생성하여 대측 성분이 존재하지 않는다. 청취자(120)의 각각의 귀는 대응하는 스피커로부터 동측 사운드 성분을 수신하고, 다른 스피커로부터의 대측 크로스토크 사운드 성분은 수신하지 않는다. 따라서, 청취자(120)는 헤드 마운트형 스피커로 상이하고, 통상적으로 더 작은 음장을 감지할 것이다.
도 2는 일 실시예에 따른, 헤드 마운트형 스피커를 위한 오디오 신호를 프로세싱하는 오디오 프로세싱 시스템(200)의 일례를 도시한다. 오디오 프로세싱 시스템(200)은 부대역 공간 인핸서(210), 크로스토크 시뮬레이터(215), 패스쓰루(220), 고주파수/저주파수 부스터(225), 믹서(230), 및 부대역 결합기(255)를 포함한다. 오디오 프로세싱 시스템(200)의 구성요소는 전자 회로로 구현될 수 있다. 예를 들어, 하드웨어 구성요소는 본원에 개시된 특정 동작을 수행하도록 구성된 (예를 들어, 디지털 신호 프로세서(DSP), 필드 프로그래밍가능한 게이트 어레이(FPGA) 또는 애플리케이션 특정 집적 회로(ASIC)과 같은, 특수 목적 프로세서와 같은) 전용 회로 또는 로직을 포함할 수 있다.
시스템(200)은 두 입력 채널, 좌측 입력 채널 XL 및 우측 입력 채널 XR을 포함하는 입력 오디오 신호 X를 수신한다. 입력 오디오 신호 X는 상이한 좌측 입력 채널 및 우측 입력 채널을 갖는 입체 음향 오디오 신호가 될 수 있다. 입력 오디오 신호 X를 사용하여, 시스템은 두 출력 채널 OL, OR을 포함하는 출력 오디오 신호 O를 생성한다. 이하에서 더 자세하게 논의되는 바와 같이, 출력 오디오 신호 O는 공간 향상 신호, 시뮬레이팅된 크로스토크 신호, 저주파수/고주파수 향상 신호 및/또는 입력 오디오 신호에 기초한 다른 프로세싱 출력의 혼합이다. 헤드 마운트형 스피커(280L 및 280R)로 출력될 때, 출력 오디오 신호 O는 예를 들어, 음장 크기, 공간 사운드 제어, 및 음색 특성의 측면에서 더 큰 영역 내 확성기 시스템과 유사한 청취 경험을 제공한다.
부대역 공간 인핸서(210)는 입력 오디오 신호 X를 수신하고 공간적으로 향상된 좌측 채널 YL 및 공간적으로 향상된 우측 채널 YR을 포함하는, 공간적으로 향상된 신호 Y를 생성한다. 부대역 공간 인핸서(210)는 주파수 대역 분할기(240), 주파수 대역 인핸서(245), 및 향상된 부대역 결합기(250)를 포함한다. 주파수 대역 분할기(240)는 좌측 입력 채널 XL 및 우측 입력 채널 XR을 수신하고, 좌측 입력 채널 XL을 좌측 부대역 성분 EL(1) 내지 EL(n)로 분할하고 우측 입력 채널 XR을 우측 부대역 성분 ER(1) 내지 ER(n)으로 분할하며, n은 부대역의 개수(예를 들어, 4)이다. n개의 부대역은 주파수 밴드 중 하나에 대응하는 각각의 부대역을 갖는, n개의 주파수 대역의 그룹을 정의한다.
주파수 대역 인핸서(245)는 좌측 부대역 성분 EL(1) 내지 EL(n)의 중간 부대역 성분과 측 부대역 성분 사이의 강도 비율을 변경하고, 우측 부대역 성분 ER(1) 내지 ER(n)의 중간 부대역 성분과 측 부대역 성분 사이의 강도 비율을 변경함으로써 입력 오디오 신호 X의 공간 성분을 향상시킨다. 각각의 주파수 대역에 대해, 주파수 대역 인핸서는 대응하는 좌측 부대역 및 우측 부대역 성분(예를 들어, EL(1) 및 ER(1))으로부터 중간 및 측 부대역 성분(예를 들어, 주파수 대역 n=1에 대해 Em(1) 및 Es(1))을 생성하고, 향상된 중간 부대역 성분 및 향상된 측 부대역 성분(예를 들어, Ym(1) 및 Ys(1))을 생성하기 위해 중간 및 측 부대역 성분에 상이한 이득을 적용하며, 향상된 중간 및 측 부대역 성분을 좌측 및 우측 향상된 부대역 채널(예를 들어, YL(1) 및 YR(1))로 변환한다. 이로 인해, 주파수 대역 인핸서(245)는 향상된 좌측 부대역 채널 YL(1) 내지 YL(n) 및 향상된 우측 부대역 채널 YR(1) 내지 YR(n)을 생성하고, n은 부대역 성분의 개수이다.
향상된 부대역 결합기(250)는 향상된 좌측 부대역 채널 YL(1) 내지 YL(n)으로부터 공간적으로 향상된 좌측 채널 YL을 생성하고, 향상된 우측 부대역 채널 YR(1) 내지 YR(n)로부터 공간적으로 향상된 우측 채널 YR을 생성한다.
부대역 결합기(255)는 좌측 부대역 성분 EL(1) 내지 EL(n)을 결합함으로써 좌측 부대역 혼합 채널 EL을 생성하고, 우측 부대역 성분 ER(1) 내지 ER(n)을 결합함으로써 우측 부대역 혼합 채널 ER을 생성한다. 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER은 크로스토크 시뮬레이터(215), 패스쓰루(220), 및/또는 고주파수/저주파수 부스터(225)를 위한 입력으로서 사용된다. 일부 실시예에서, 부대역 대역 결합기(255)는 부대역 공간 인핸서(210), 크로스토크 시뮬레이터(215), 패스쓰루(220), 또는 고주파수/저주파수 부스터(225) 중 하나와 결합된다. 예를 들어, 부대역 대역 결합기(255)가 크로스토크 시뮬레이터(215)의 부분이면, 크로스토크 시뮬레이터(215)는 좌측 서브밴드 혼합 채널 EL 및 우측 서브밴드 혼합 채널 ER을 패스쓰루(220) 및/또는 고주파수/저주파수 부스터(225)에 제공할 수 있다.
일부 실시예에서, 부대역 결합기(255)가 시스템(200)으로부터 누락되었다. 예를 들어, 크로스토크 시뮬레이터(215), 패스쓰루(220), 및/또는 고주파수/저주파수 부스터(225)는 부대역 혼합 채널 EL 및 ER 대신에 원래의 오디오 입력 채널 XL 및 XR을 수신하고 프로세싱할 수 있다.
크로스토크 시뮬레이터(215)는 오디오 입력 신호 X로부터 "헤드 쉐도우 효과"를 생성한다. 헤드 쉐도우 효과는 청취자의 머리 주변 및 머리를 통과하는 트랜스 청각 전파에 의해 이루어진 음파의 변환을 지칭하고, 예를 들어, 도 1에 도시된 바와 같이 오디오 입력 신호 X가 확성기(110A 및 110B)로부터 청취자(120)의 좌측 및 우측 귀(125L 및 125R)의 각각으로 전송되면 청취자에 의해 감지될 수 있다. 예를 들어, 크로스토크 시뮬레이터(215)는 좌측 채널 EL로부터 좌측 크로스토크 채널 CL을 생성하고 우측 채널 ER로부터 우측 크로스토크 채널 CR을 생성한다. 좌측 크로스토크 채널 CL은 저대역 통과 필터, 지연, 및 이득을 좌측 서브밴드 혼합 채널 EL에 적용함으로써 생성될 수 있다. 우측 크로스토크 채널 CR은 저대역 통과 필터, 지연, 및 이득을 우측 부대역 혼합 채널 ER에 적용함으로써 생성될 수 있다. 일부 실시예에서, 하단 필터(low shelf filter) 또는 노치 필터(notch filter)가 저역 통과 필터 대신 사용되어 좌측 크로스토크 채널 CL 및 우측 크로스토크 채널 CR을 생성할 수 있다.
패스쓰루(220)는 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER을 합쳐서 중간(L+R) 채널을 생성한다. 중간 채널은 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 MR 모두에 공통인 오디오 데이터를 나타낸다. 중간 채널은 좌측 중간 채널 ML 및 우측 중간 채널 MR로 분할될 수 있다. 패스쓰루(220)는 좌측 패스쓰루 채널 PL 및 우측 패스쓰루 채널 PR을 생성한다. 패스쓰루 채널은 원래의 좌측 및 우측 오디오 입력 신호 XL 및 XR, 또는 주파수 대역 분할기(245)에 의해 오디오 입력 신호 XL 및 XR로부터 생성된 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER을 나타낸다.
고주파수/저주파수 부스터(225)는 오디오 입력 신호 X로부터 저주파수 채널 LFL 및 LFR, 및 고주파수 채널 HFL 및 HFR을 생성한다. 저주파수 채널 및 고주파수 채널은 오디오 입력 신호 X에 대한 주파수 의존적인 향상(frequency dependent enhancements)을 나타낸다. 일부 실시예에서, 주파수 의존적인 유형의 향상 또는 품질은 사용자에 의해 설정될 수 있다.
믹서(230)는 부대역 공간 인핸서(210), 크로스토크 시뮬레이터(215), 패스쓰루(220), 및 고주파수/저주파수 부스터(225)의 출력을 결합하여 좌측 출력 신호 OL 및 우측 출력 신호 OR를 포함하는 오디오 출력 신호 O를 생성한다. 좌측 출력 신호 OL은 좌측 스피커(235L)에 제공되고 우측 출력 신호 OR은 우측 출력 스피커(235R)에 제공된다.
믹서(230)에 의해 생성된 출력 신호 O는 부대역 공간 인핸서(210), 크로스토크 시뮬레이터(215), 패스쓰루(220), 및 고주파수/저주파수 부스터(225)로부터의 출력의 가중 조합이다. 예를 들어, 좌측 출력 채널 OL은 공간적으로 향상된 좌측 채널 YL, 우측 크로스토크 채널 CR(예를 들어, 트랜스 청각 사운드 전파를 통해 좌측 로 청취될 수 있는 우측 확성기로부터의 대측 신호를 나타냄)의 조합을 포함하고, 좌측 중간 채널 ML, 좌측 패스쓰루 채널 PL, 및 좌측 저주파수 및 고주파수 채널 LFL 및 HFL의 조합을 바람직하게 더 포함한다. 우측 출력 채널 OR은 공간적으로 향상된 우측 채널 YR, 좌측 크로스토크 채널 CL(예를 들어, 트랜스 청각 사운드 전파를 통해 우측 귀로 청취될 수 있는 좌측 확성기로부터의 대측 신호를 나타냄)의 조합을 포함하고, 우측 중간 채널 MR, 우측 패스쓰루 채널 PR, 및 우측 저주파수 고주파수 채널 LFR 및 HFR을 바람직하게 더 포함한다. 믹서(230)에 대한 신호 입력의 상대적인 가중치는 각각의 입력에 적용되는 이득에 의해 제어될 수 있다.
부대역 공간 인핸서(210), 부대역 결합기(255), 크로스토크 시뮬레이터(215), 패스쓰루(220), 고주파수 부스터/저주파수 부스터(225), 및 믹서(230)의 상세한 예시의 실시예가 도 3a 내지 8에서 도시되고, 이하에서 더 자세하게 논의된다.
도 3a는 일 실시예에 따른 부대역 공간 인핸서(210)의 주파수 대역 분할기(240)를 도시한다. 주파수 대역 분할기(240)는 좌측 입력 채널(XL)을 좌측 부대역 성분 EL(k)으로 분할하고, 정의된 n개의 주파수 부대역 k에 대해 우측 입력 채널 XR을 우측 부대역 성분 ER(k)로 분할한다. 주파수 대역 분할기(240)는 입력 이득(302) 및 크로스오버 네트워크(304)를 포함한다. 입력 이득(302)은 좌측 입력 채널 XL 및 우측 입력 채널 XR을 수신하고, 좌측 입력 채널 XL 및 우측 입력 채널 XR의 각각에 사전정의된 이득을 적용한다. 일부 실시예에서, 동일한 이득이 좌측 입력 채널 및 우측 입력 채널 XL 및 XR의 각각에 적용된다. 일부 실시예에서, 입력 이득(302)은 -2dB 이득을 입력 오디오 신호 X에 적용한다. 일부 실시예에서, 입력 이득(302)이 주파수 대역 분할기(240)로부터 분리되거나 시스템(200)으로부터 누락되어서 입력 오디오 신호 X에 이득이 적용되지 않는다.
크로스오버 네트워크(304)는 입력 이득(302)으로부터 입력 오디오 신호 X를 수신하고 입력 오디오 신호 X를 부대역 신호 E(k)로 분할한다. 크로스오버 네트워크(304)는, 결과 출력이 인접 부대역을 위한 신호 세트를 형성하는 한, 직렬, 병렬, 또는 파생 회로와 같은 임의의 다양한 회로 토폴로지로 배치되는 다양한 유형의 필터를 사용할 수 있다. 크로스오버 네트워크(304)에 포함되는 예시의 필터 유형은 무한 임펄스 응답(IIR) 또는 유한 임펄스 응답(FIR) 대역 통과 필터, IIR 피킹(peaking) 및 셀빙 필터(shelving filter), 링크비츠 라일리(Linkwitz-Riley) 등을 포함한다. 각각의 주파수 부대역 k에 대해 필터는 좌측 입력 채널 XL을 좌측 부대역 성분 EL(k)으로 분할하고, 우측 입력 채널 XR을 우측 부대역 성분 ER(k)으로 분할한다. 하나의 접근 방식에서, 다수의 대역 통과 필터, 또는 저역 통과 필터, 대역 통과 필터, 및 고역 통과 필터의 임의의 조합은 사람 귀의 임계 대역의 대략적인 조합을 위해 이용된다. 임계 대역은 제 2 음색이 기존 제 1 음색을 마스킹하는 것이 가능한 대역폭에 대응한다. 예를 들어, 주파수 부대역의 각각은 통합된 바크 스케일(consolidated Bark scale) 임계 대역의 그룹에 대응할 수 있다. 예를 들어, 크로스오버 네트워크(304)는 좌측 입력 채널 XL을 0 내지 300 Hz(바크 스케일 대역 1 내지 3에 대응), 300 내지 510 Hz(예를 들어, 바크 스케일 대역 4 내지 5), 510 내지 2700Hz(예를 들어, 바크 스케일 대역 6 내지 15), 및 2700Hz 내지 나이퀴스트 주파수(예를 들어, 바크 스케일 7 내지 24) 각각에 대응하는, 4개의 좌측 부대역 성분 EL(1) 내지 EL(4)로 분할하고, 우측 입력 채널 XR을 대응하는 주파수 대역에 대해 우측 부대역 성분 ER(1) 내지 ER(4)로 유사하게 분할한다. 통합된 세트의 임계 대역을 결정하는 프로세스는 다양한 음악 장르로부터 오디오 샘플의 코르푸스(corpus)를 사용하는 것과, 샘플로부터 24 바크 스케일 임계 대역을 통한 중간 성분 대 측 성분의 장기 평균 에너지 비율을 결정하는 것을 포함한다. 유사한 장기 평균 비율을 갖는 인접 주파수 대역은 또한 임계 대역의 세트를 형성하도록 함께 그룹화된다. 다른 구현예에서, 필터는 좌측 및 우측 입력 채널을 4개 보다 더 적은 또는 더 큰 부대역으로 분할한다. 주파수 대역의 범위가 조정될 수 있다. 크로스오버 네트워크(304)는 좌측 부대역 성분 EL(k) 및 우측 부대역 성분 ER(k)의 쌍을 출력하고, k= 1 내지 n이고, n은 부대역의 개수이다(예를 들어, 도 3a에서 n = 4).
크로스오버 네트워크(304)는 좌측 부대역 성분 EL(1) 내지 EL(n) 및 우측 부대역 성분 EL(1) 내지 EL(N)을 부대역 공간 인핸서(210)의 주파수 대역 인핸서(245)에 제공한다. 이하에서 더 자세하게 논의되는 바와 같이, 좌측 부대역 성분 EL(1) 내지 EL(n) 및 우측 부대역 성분 EL(1) 내지 EL(n)은 또한 크로스토크 시뮬레이터(215), 패스쓰루(220), 및 고주파수/저주파수 부스터(225)에 제공될 수 있다.
도 3b는 일 실시예에 따른 부대역 공간 인핸서(210)의 주파수 대역 인핸서(245)를 도시한다. 주파수 대역 인핸서(245)는 좌측 부대역 성분 EL(1) 내지 EL(n) 및 우측 부대역 성분 EL(1) 내지 EL(n)로부터 공간적으로 향상된 좌측 부대역 성분 YL(1) 내지 YL(n) 및 공간적으로 향상된 우측 부대역 성분 YR(1) 내지 YR(n)을 생성한다.
주파수 대역 인핸서(245)는, 각각의 부대역 k(여기서 k=1 내지 n)에 대해, L/R 대 M/S 변환기(320(k)), 중간/측 프로세서(330(k)), 및 M/S 대 L/R 변환기(340(k))를 포함한다. 각각의 L/R 대 M/S 변환기(320(k))는 향상된 부대역 성분 EL(k) 및 ER(k)의 쌍을 수신하고, 이들 입력을 중간 부대역 성분 Em(k) 및 측 부대역 성분 Es(k)로 변환한다. 중간 부대역 성분 Em(k)은 좌측 부대역 성분 EL(k)과 우측 부대역 성분 ER(k) 사이에 상관된 부분에 대응하는 비공간 부대역 성분이고, 따라서 비공간 정보를 포함한다. 일부 실시예에서, 중간 부대역 성분 Em(k)은 부대역 성분 EL(k) 및 ER(k)의 합으로써 계산된다. 측 부대역 성분 Es(k)는 좌측 부대역 성분 EL(k)와 우측 부대역 성분 ER(k) 사이의 비상관 부분에 대응하는 비공간 부대역 성분이고, 따라서 공간 정보를 포함한다. 일부 실시예에서, 측 부대역 성분 Es(k)은 좌측 부대역 성분 EL(k)과 우측 부대역 성분 ER(k) 사이의 차로서 계산된다. 일례에서, L/R 대 M/S 변환기(320)는 다음의 수식에 따라 주파수 부대역 k의 비공간 부대역 성분 Em(k) 및 공간 부대역 성분 Es(k)을 획득한다.
Figure 112017107439635-pct00001
Figure 112017107439635-pct00002
각각의 부대역 k에 대해, 중간/측 프로세서(330(k))는 수신된 측 부대역 성분 Es(k)를 조정하여 향상된 공간 측 부대역 성분 Ys(k)를 생성하고, 수신된 중간 부대역 성분 Em(k)를 조정하여 향상된 중간 부대역 성분 Ym(k)를 생성한다. 일 실시예에서, 중간/측 프로세서(330(k))는 대응하는 이득 계수 Gm(k)에 의해 중간 부대역 성분 Em(k)을 조정하고, 대응하는 지연 함수 Dm에 의해 증폭된 비공간 부대역 성분 Gm(k)*Em(k)을 지연시켜 향상된 중간 부대역 성분 Ym(k)을 생성한다. 유사하게, 중간/측 프로세서(330(k))는 대응하는 이득 계수 Gs(k)에 의해 수신된 측 부대역 성분 Es(k)를 조정하고, 대응하는 지연 함수 Ds에 의해 증폭된 공간 부대역 성분 Gs(k)*Xs(k)을 지연시켜 향상된 측 부대역 성분 Ys(k)을 생성한다. 이득 계수 및 지연 양은 조정가능할 수 있다. 이득 계수 및 지연 양은 스피커 파라미터에 따라 결정될 수 있거나 가정된 파라미터 값의 세트를 위해 고정될 수 있다. 다음의 수식에 따라, 주파수 부대역 k의 중간/측 프로세서(430(k))는 향상된 중간 부대역 성분 Ym(k) 및 향상된 측 부대역 성분 Ym(k)를 생성한다.
Figure 112017107439635-pct00003
Figure 112017107439635-pct00004
각각의 중간/측 프로세서(330(k))가 각각의 주파수 부대역의 대응하는 M/S 대 L/R 변환기(340(k))로 중간(비공간) 부대역 성분 Ym(k) 및 측(공간) 부대역 성분 Ys(k)을 출력한다.
이득 및 지연 계수의 예시들이 다음의 표 1에 나열된다.
Figure 112017107439635-pct00005
일부 실시예에서, 0 내지 300Hz 부대역에 대한 중간/측 프로세서(330(1))는 0.5 dB 이득을 중간 부대역 성분 Em(1)에 적용하고 4.5 dB 이득을 측 부대역 성분 Es(1)에 적용한다. 300 내지 510Hz 부대역에 대한 중간/측 프로세서(330(2))는 0 dB 이득을 중간 부대역 성분 Em(2)에 적용하고 4 dB 이득을 측 부대역 성분 Es(2)에 적용한다. 510 내지 2700Hz 부대역에 대한 중간/측 프로세서(330(3))는 0.5 dB 이득을 중간 부대역 성분 Em(3)에 적용하고 4.5 dB 이득을 측 부대역 성분 Es(3)에 적용한다. 2700Hz 내지 나이퀴스트 주파수 부대역에 대한 중간/측 프로세서(330(4))는 0 dB 이득을 중간 부대역 성분 Em(4)에 적용하고 4 dB 이득을 측 부대역 성분 Es(3)에 적용한다.
각각의 M/S 대 L/R 변환기(340(k))는 향상된 부대역 중간 성분 Ym(k) 및 향상된 부대역 측 성분 Ys(k)을 수신하고, 이들을 향상된 좌측 부대역 성분 YL(k) 및 향상된 우측 부대역 성분 YR(k)로 변환한다. 상술된 수학식 1 및 수학식 2에 따라 L/R 대 M/S 변환기(320(k))가 중간 부대역 성분 Em(k) 및 측 부대역 성분 Es(k)을 생성하고, 다음의 수식에 따라 M/S 대 L/R 변환기(340(k))는 주파수 부대역 k의 향상된 좌측 부대역 성분 YL(k) 및 향상된 우측 부대역 성분 YR(k)을 생성한다.
Figure 112017107439635-pct00006
Figure 112017107439635-pct00007
일부 실시예에서, 수학식 1 및 수학식 2에서의 EL(k) 및 ER(k)가 교체될 수 있고, 이 경우 수학식 5 및 수학식 6에서의 YL(k) 및 YR(k)가 또한 교체된다.
도 3c는 일 실시예에 따른 부대역 공간 인핸서(210)의 향상된 부대역 결합기(250)를 도시한다. 향상된 부대역 결합기(250)는 M/S 대 L/R 변환기(340(1)) 내지 340(n))로부터 (주파수 대역 k=1 내지 n의) 향상된 좌측 부대역 성분 YL(1) 내지 YL(n)을 결합하여 좌측 공간적으로 향상된 오디오 채널 YL을 생성하고, M/S 대 L/R 변환기(340(1) 내지 340(n))로부터 (주파수 대역 k=1 내지 n의) 향상된 우측 부대역 성분 YR(1) 내지 YL(n)를 결합하여 우측의 공간적으로 향상된 오디오 채널 YR를 생성한다. 향상된 부대역 결합기(250)는 향상된 좌측 부대역 성분 YL(k)을 결합한 좌측 합(352), 향상된 우측 부대역 성분 YR(k)을 결합한 우측 합(354), 및 좌측 합(352) 및 우측 합(354)의 출력에 이득을 적용하는 부대역 이득(346)을 포함할 수 있다. 일부 실시예에서, 부대역 이득(356)은 0 dB 이득을 적용한다. 일부 실시예에서, 다음의 수식에 따라 좌측 합은 향상된 좌측 부대역 성분 YL(k)을 결합하고 우측 합(354)은 향상된 우측 부대역 성분 YR(k)을 결합한다.
Figure 112017107439635-pct00008
Figure 112017107439635-pct00009
일부 실시예에서, 향상된 부대역 결합기(250)는 중간 부대역 성분 Ym(k) 및 측 부대역 성분 Ys(k)을 결합하여 결합된 중간 부대역 성분 Ym 및 결합된 측 부대역 성분 Ys을 생성하고, 또한 단일 M/S 대 L/R 변환이 채널 마다 적용되어 Ym 및 YS로부터 YL 및 YR을 생성한다. 중간/측 이득은 부대역 마다 적용되고, 다양한 방식으로 재결합될 수 있다.
도 4는 일 실시예에 따라 오디오 프로세싱 시스템(200)의 부대역 결합기(255)를 도시한다. 부대역 결합기(255)는 좌측 합(402) 및 우측 합(404)을 포함한다. 좌측 합(402)은 주파수 대역 분할기(240)로부터의 좌측 부대역 성분 EL(1) 내지 EL(n) 출력을 부대역 혼합 좌측 채널 EL로 결합한다. 우측 합(404)은 주파수 대역 분할기(240)로부터의 우측 부대역 성분 ER(1) 내지 ER(n) 출력을 부대역 혼합 우측 채널 ER로 결합한다. 부대역 결합기(255)는 부대역 혼합 좌측 채널 EL 및 부대역 혼합 우측 채널 ER을 크로스토크 시뮬레이터(215), 패스쓰루(220), 및 고주파수/저주파수 부스터(225)로 제공한다. 일부 실시예에서, 원래의 오디오 입력 채널 XL 및 XR은 부대역 혼합 좌측 및 우측 채널 EL 및 ER 대신에 크로스토크 시뮬레이터(215), 패스쓰루(220), 및 고주파수/저주파수 부스터(225)에 제공된다. 여기서, 부대역 결합기(255)가 시스템(200)으로부터 누락될 수 있다. 다른 예시에서, 부대역 결합기(255)는 주파수 대역 분할기(240)로부터 원래의 입력 채널 XL 및 XR로 부대역 혼합 좌측 채널 EL 및 부대역 혼합 우측 채널 ER을 디코딩할 수 있다. 일부 실시예에서, 부대역 결합기(255)는 크로스토크 시뮬레이터(215), 또는 시스템(200)의 일부 다른 구성요소와 결합된다.
도 5는 일 실시예에 따라 오디오 프로세싱 시스템(200)의 크로스토크 시뮬레이터(215)를 도시한다. 크로스토크 시뮬레이터는 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER로부터 좌측 크로스토크 채널 CL 및 우측 크로스토크 채널 CR을 생성한다. 좌측 크로스토크 채널 CL 및 우측 크로스토크 채널 CR은, 최종 출력 신호 O와 혼합될 때, 청취자의 머리를 통과하는 시뮬레이팅된 트랜스 청각 음파 전파를 출력 신호 O에 결합한다. 예를 들어, 좌측 크로스토크 채널 CL은 (예를 들어, 믹서(230)에 의해) 우측 동측 사운드 성분(예를 들어, 공간적으로 향상된 우측 채널 YR)과 혼합되어 우측 출력 채널 OR을 생성하는 대측 사운드 성분을 나타낸다. 우측 크로스토크 채널 CR은 좌측 동측 사운드 성분(예를 들어, 공간적으로 향상된 우측 채널 YL)과 혼합되어 좌측 출력 채널 OL을 생성하는 대측 사운드 성분을 나타낸다.
크로스토크 시뮬레이터(215)는 헤드 마운트형 스피커(235L 및 235R)로의 출력을 위한 대측 사운드 성분을 생성하여, 헤드 마운트형 스피커(235L 및 235R) 상에서의 확성기와 같은 청취 경험을 제공한다. 도 5를 참조하면, 크로스토크 시뮬레이터(215)는 좌측 부대역 혼합 채널 EL을 프로세싱하는 헤드 섀도우 저역 통과 필터(502) 및 크로스토크 지연(504)과, 우측 부대역 혼합 채널 ER을 프로세싱하는 헤드 섀도우 저역 통과 필터(506) 및 크로스토크 지연(508)과, 크로스토크 지연(504) 및 크로스토크 지연(508)의 출력에 이득을 적용하는 헤드 섀도우 이득(510)을 포함한다. 헤드 섀도우 저역 통과 필터(502)는 좌측 부대역 혼합 채널 EL을 수신하고 청취차의 머리를 통과한 이후에 신호에 주파수 응답을 모델링하는 변조를 적용한다. 헤드 섀도우 저역 통과 필터(502)의 출력은 헤드 섀도우 저역 통과 필터(502)의 출력에 시간 지연을 적용하는 크로스토크 지연(504)에 제공된다. 시간 지연은 동측 사운드 성분에 상대적으로 대측 사운드 성분 만큼 이동되는 트랜스 청각 거리를 나타낸다. 주파수 응답은 청취자의 머리에 의한 음파 변조의 주파수 의존적 특성을 판정하기 위해 경험적 실험에 기초하여 생성될 수 있다. 예를 들어, J. F. Yu, Y. S. Chen, "The Head Shadow Phenomenon Affected by Sound Source:　In Vitro　Measurement", Applied Mechanics and Materials, Vols. 284-287, pp. 1715-1720, 2013; Areti Andreopoulou, Agnieszka Roginska, Hariharan Mohanraj, "Analysis of the Spectral Variations in Repeated Head-Related Transfer Function Measurements," Proceedings of the 19th International Conference on Auditory Display (ICAD2013). Lodz, Poland. 6-9 July 2013. International Community for Auditory Display, 2013을 참조하라. 예를 들어 도 1을 참조하면, 우측 귀(125R)로 전파하는 대측 사운드 성분(112L)은 트랜스 청각 전파로부터의 음파 변조를 나타내는 주파수 응답 및 대측 사운드 성분(112L)이 이동하여 우측 귀(125R)에 도달하는 (동측 사운드 성분(118R)에 비해) 증가된 거리를 모델링하는 시간 지연으로 대측 사운드 성분(118L)을 필터링함으로써 좌측 귀(125L)로 전파하는 대측 사운드 성분(118L)으로부터 도출될 수 있다. 일부 실시예에서, 크로스토크 지연(504)이 헤드 섀도우 저역 통과 필터(502) 이전에 적용된다.
우측 부대역 혼합 채널 ER에 대해 유사하게, 헤드 섀도우 저역 통과 필터(506)는 우측 부대역 혼합 채널 ER을 수신하고 청취자의 머리의 주파수 응답을 모델링하는 변조를 적용한다. 헤드 섀도우 저역 통과 필터(506)의 출력은 헤드 섀도우 저역 통과 필터(504)의 출력에 시간 지연을 적용하는 크로스토크 지연(508)에 제공된다. 일부 실시예에서, 크로스토크 지연(508)은 헤드 섀도우 저역 통과 필터(506) 이전에 적용된다.
헤드 섀도우 이득(510)은 크로스토크 지연(504)의 출력에 이득을 적용하여 좌측 크로스토크 채널 CL을 생성하고, 크로스토크 지연(506)의 출력에 이득을 적용하여 우측 크로스토크 채널 CR을 생성한다.
일부 실시예에서, 헤드 섀도우 저역 통과 필터(502 및 506)는 2,023 Hz의 컷오프 주파수를 갖는다. 크로스토크 지연(504 및 508)은 0.792 밀리초 지연을 적용한다. 헤드 섀도우 이득(510)은 -14.4 dB 이득을 적용한다.
도 6은 일 실시예에 따른 오디오 프로세싱 시스템(200)의 패스쓰루(220)를 도시한다. 패스쓰루(220)는 오디오 입력 신호 X로부터 중간(L+R) 채널 M 및 패스쓰루 채널 P를 생성한다. 예를 들어, 패스쓰루(220)는 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER로부터 좌측 중간 채널 ML 및 우측 중간 채널 MR을 생성하고, 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER로부터 좌측 패스쓰루 채널 PL 및 우측 패스쓰루 채널 PR을 생성한다.
패스쓰루(220)는 L+R 결합기(602), L+R 패스쓰루 이득(604), 및 L/R 패스쓰루 이득(606)을 포함한다. L+R 결합기(602)는 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER을 수신하고, 좌측 부대역 혼합 채널 EL을 우측 부대역 혼합 채널 ER에 합쳐서 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER 모두에 공통인 오디오 데이터를 생성한다. L+R 패스쓰루 이득(604)은 L+R 결합기(602)의 출력에 이득을 추가하여 좌측 중간 채널 ML 및 우측 중간 채널 MR을 생성한다. 중간 채널 ML 및 MR은 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER 모두에 공통인 오디오 데이터를 나타낸다. 일부 실시예에서, 좌측 중간 채널 ML은 우측 중간 채널 MR과 동일하다. 다른 예시에서, L+R 패스쓰루 이득(604)은 상이한 이득을 중간 채널에 적용하여 상이한 좌측 중간 채널 ML 및 우측 중간 채널 MR을 생성한다.
L/R 패스쓰루 이득(606)은 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER을 수신하고, 이득을 좌측 부대역 혼합 채널 EL에 추가하여 좌측 패스쓰루 채널 PL을 생성하고, 이득을 우측 부대역 혼합 채널 ER에 추가하여 우측 패스쓰루 채널 PR을 생성한다. 일부 실시예에서 제 1 이득이 좌측 부대역 혼합 채널 EL에 추가되어 좌측 패스쓰루 채널 PL을 생성하고 제 2 이득이 우측 혼합 채널 ER에 추가되어 우측 패스쓰루 채널 PR을 생성하고, 제 1 이득 및 제 2 이득은 상이하다. 일부 실시예에서, 제 1 이득 및 제 2 이득은 동일하다.
일부 실시예에서, 패스쓰루(220)는 원래의 오디오 입력 신호 XL 및 XR을 수신하고 프로세싱한다. 여기서, 중간 채널 M은 좌측 및 우측 입력 신호 XL 및 XR 모두에 공통인 오디오 데이터를 나타내고, 패스쓰루 채널 P는 원래의 오디오 신호 X를 나타낸다(예를 들어, 주파수 대역 분할기(240)에 의한 주파수 부대역으로의 인코딩, 및 부대역 대역 결합기(255)에 의한 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER로의 재결합이 없음).
일부 실시예에서, L+R 패스쓰루 이득(604)은 -18dB 이득을 L+R 결합기(602)의 출력에 적용한다. L/R 패스쓰루 이득(606)은 -무한대 dB 이득을 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER에 적용한다.
도 7은 일 실시예에 따른 오디오 프로세싱 시스템(200)의 고주파수/저주파수 부스터(225)를 도시한다. 고주파수/저주파수 부스터(225)는 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER로부터 낮은 주파수 채널 LFL 및 LFR, 및 고주파수 채널 HFL 및 HFR을 생성한다. 저주파수 및 고주파수 채널은 오디오 입력 신호 X에 대한 주파수 의존적인 향상을 나타낸다.
고주파수/저주파수 부스터(225)는 제 1 저주파수(LF) 향상 대역 통과 필터(702), 제 2 LF 향상 대역 통과 필터(704), LF 필터 이득(705), 고주파수(HF) 향상 고대역 통과 필터(708) 및 HF 필터 이득(710)을 포함한다. LF 향상 대역 통과 필터(702)는 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER을 수신하고, 주파수 확산 또는 대역의 외부에서 신호 성분을 감쇠시키는 변조를 적용하여, 주파수 대역 내부에서 (예를 들어, 저주파수) 신호 성분이 통과하는 것을 가능하게 한다. LF 향상 대역 통과 필터(704)는 LF 향상 대역 통과 필터(704)의 출력을 수신하고, 주파수 대역의 외부에서 신호 성분을 감쇠시키는 다른 변조를 적용한다.
LF 향상 대역 통과 필터(702) 및 LF 향상 대역 통과 필터(704)는 저주파수 향상을 위한 케스케이드 공명기(cascaded resonator)를 제공한다. 일부 실시예에서, LF 향상 대역 통과 필터(702 및 704)는 적용가능한 성능(Q) 계수를 갖는 58.175Hz의 중심 주파수를 갖는다. Q 계수는 사용자 설정 또는 프로그램 구성에 기초하여 조정될 수 있다. 예를 들어, 디폴트 설정은 2.5의 Q 계수를 포함할 수 있지만, 더 적극적인 설정은 1.3의 Q 계수를 포함할 수 있다. 공진기는 저주파수 콘텐츠의 시간 포락선(temporal envelope)을 향상시키는 저감쇠(under-damped) 응답(Q>0.5)을 나타내도록 구성된다.
LF 필터 이득(706)은 이득을 LF 향상 대역 통과 필터(704)의 출력에 적용하여 좌측 LF 채널 LFL 및 우측 LF 채널 LFR을 생성한다. 일부 실시예에서, LF 필터 이득(706)은 12 dB 이득을 LF 향상 대역 통과 필터(704)에 적용한다.
HF 향상 고역 통과 필터(708)는 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER을 수신하고, 컷오프 주파수보다 낮은 주파수로 신호 성분을 감쇠시키는 변조를 적용하여, 컷오프 주파수보다 큰 주파수로 신호 성분이 통과되는 것을 가능하게 한다. 일부 실시예에서, HF 향상 고역 통과 필터(708)는 4573 Hz의 컷오프 주파수를 갖는 2차 버터워스(Butterworth) 고역 통과 필터이다.
HF 필터 이득(710)은 이득을 HF 향상 고역 통과 필터(704)의 출력에 적용하여 좌측 HF 채널 HFL 및 우측 HF 채널 HFR을 생성한다. 일부 실시예에서, HF 필터 이득(710)은 0 dB 이득을 HF 향상 고역 통과 필터(708)의 출력에 적용한다.
도 8은 일 실시예에 따른 오디오 프로세싱 시스템(200)의 믹서(230)를 도시한다. 믹서(230)는 부대역 공간 인핸서(210), 크로스토크 시뮬레이터(215), 패스쓰루(220), 및 고주파수/저주파수 부스터(225)로부터의 출력의 가중 조합에 기초하여 출력 채널 OL 및 OR을 생성한다. 믹서(230)는 좌측 출력 채널 OL을 좌측 스피커(235L)에 제공하고 우측 출력 신호 OR를 우측 스피커(235R)에 제공한다.
믹서(230)는 좌측 합(802), 우측 합(804), 및 출력 이득(806)을 포함한다. 좌측 합(802)은 부대역 공간 인핸서(210)로부터의 공간적으로 향상된 좌측 채널 YL, 크로스토크 시뮬레이터(215)로부터의 우측 크로스토크 채널 CR, 패스쓰루(220)로부터의 좌측 중간 채널 ML 및 좌측 패스쓰루 채널 PL, 및 고주파수/저주파수 부스터(225)로부터의 좌측 저주파수 채널 및 고주파수 채널 LFL 및 HFL을 수신하고, 좌측 합(802)은 이들 채널을 결합한다. 유사하게, 우측 합(804)은 부대역 공간 인핸서(210)로부터의 공간적으로 향상된 좌측 채널 YR, 크로스토크 시뮬레이터(215)로부터의 좌측 크로스토크 채널 CL, 우측 중간 채널 MR 및 패스쓰루(220)로부터의 우측 패스쓰루 채널 PR, 및 고주파수/저주파수 부스터(225)로부터의 우측 저주파수 및 고주파수 채널 LFR 및 HFR을 수신하고, 우측 합(804)은 이들 채널을 결합한다.
출력 이득(806)은 이득을 좌측 합(802)의 출력에 적용하여 좌측 출력 채널 OL을 생성하고, 이득을 좌측 합(804)의 출력에 적용하여 우측 출력 채널 OR을 생성한다. 일부 실시예에서, 출력 이득(806)은 0 dB 이득을 좌측 합(802) 및 우측 합(804)의 출력에 적용한다. 일부 실시예에서, 부대역 이득(356), 헤드 섀도우 이득(510), L+R 패스쓰루 이득(604), L/R 패스쓰루 이득(606), LF 필터 이득(706), 및/또는 HF 필터 이득(710)이 믹서(230)와 결합된다. 여기서, 믹서(230)는 출력 채널 OL 및 OR에 대한 입력 채널 기여의 상대적인 가중을 제어한다.
도 9는 일 실시예에 따른 헤드 마운트형 스피커를 위해 오디오 신호를 최적화하는 방법(900)을 도시한다. 오디오 프로세싱 시스템(200)은 단계들을 동시에 수행하고, 상이한 순서로 단계들을 수행하거나 상이한 단계들을 수행할 수 있다.
시스템(200)은 좌측 입력 채널 XL 및 우측 입력 채널 XR을 포함하는 입력 오디오 신호 X를 수신한다(905). 오디오 입력 신호 X는 좌측 및 우측 입력 채널 XL 및 XR이 서로 상이한 입체 음향 신호가 될 수 있다.
부대역 공간 인핸서(210)와 같은, 시스템(200)은 좌측 및 우측 입력 채널 XL 및 XR의 측 부대역 성분 및 중간 부대역 성분을 이득 조정하는 것으로부터 공간적으로 향상된 좌측 채널 YL 및 공간적으로 향상된 우측 채널 YR을 생성한다(910). 도 10과 관련하여 이하에서 더 자세하게 논의되는 바와 같이, 공간적으로 향상된 좌측 및 우측 채널 YL 및 YR이 좌측 및 우측 입력 채널 XL 및 XR로부터 도출되는 중간 부대역 성분과 측 부대역 성분 사이의 강도 비율을 변경함으로써 음장에서의 공간감각을 향상시킨다.
크로스토크 시뮬레이터(215)와 같은, 시스템(200)은 좌측 입력 채널 XL을 필터링하고 시간 지연시키는 것으로부터의 좌측 크로스토크 채널 CL, 및 우측 입력 채널 XR을 필터링하고 시간 지연시키는 것으로부터의 우측 크로스토크 채널 CR을 생성한다(915). 도 1에 도시된 바와 같이, 크로스토크 채널 CL 및 CR은 좌측 입력 채널 XL 및 우측 입력 채널 XR이 확성기로부터 출력되면 청취자에게 도달될 수 있는 좌측 입력 채널 XL 및 우측 입력 채널 XR을 위한 트랜스 청각의, 대측 크로스토크를 시뮬레이팅한다. 크로스토크 채널을 생성하는 것은 도 11과 관련하여 이하에서 더 자세하게 논의된다.
패스쓰루(220)와 같은, 시스템(200)은 좌측 입력 채널 XL로부터의 좌측 패스쓰루 채널 PL, 우측 입력 채널 XR로부터의 우측 패스쓰루 채널 PR을 생성한다(920). 패스쓰루(220)와 같은, 시스템(200)은 좌측 입력 채널 XL 및 우측 입력 채널 XR을 결합하는 것으로부터 좌측 및 우측 중간 채널 ML 및 MR을 생성한다(925). 패스쓰루 채널은 출력 채널 O에 대한 프로세싱되지 않은 입력 채널 X의 상대적인 기여를 제어하는데 사용될 수 있고, 중간 채널은 좌측 입력 채널 XL 및 우측 입력 채널 XR의 공통 오디오 데이터의 상대적인 기여를 제어하는데 사용될 수 있다. 패스쓰루 및 중간 채널을 생성하는 것은 도 12와 관련하여 이하에서 더 자세하게 논의된다.
고주파수/저주파수 부스터(225)와 같은, 시스템(200)은 좌측 입력 채널 XL 및 우측 입력 채널 XR에 케스케이드 공진기를 적용하는 것으로부터 좌측 및 우측 저주파수 채널 LFL 및 LFR을 생성한다(930). 저주파수 채널 LFL 및 LFR은 출력 채널 O에 대한 입력 채널 X의 저주파수 오디오 성분의 상대적인 향상을 제어한다.
고주파수/저주파수 부스터(255)와 같은, 시스템(200)은 좌측 입력 채널 XL 및 우측 입력 채널 XR에 고역 통과 필터를 적용하는 것으로부터 좌측 및 우측 고주파수 채널 HFL 및 HFR을 생성한다(935). 고주파수 채널 HFL 및 HFR은 출력 채널 O에 대한 입력 채널 X의 고주파수 오디오 성분의 상대적인 향상을 제어한다. LF 및 HF 채널을 생성하는 것이 도 13과 관련하여 이하에서 더 자세하게 논의된다.
믹서(230)와 같은, 시스템(200)은 출력 채널 OL 및 출력 채널 OR을 생성한다(940). 출력 채널 OL은 헤드 마운트형 좌측 스피커(235L)에 제공될 수 있고 우측 출력 채널 OR은 우측 스피커(235R)에 제공된다. 출력 채널 OL은 부대역 공간 인핸서(210)로부터의 공간적으로 향상된 좌측 채널 YL, 크로스토크 시뮬레이터(215)로부터의 우측 크로스토크 채널 CR, 패스쓰루(220)로부터의 좌측 중간 채널 ML 및 좌측 패스쓰루 채널 PL, 및 고주파수/저주파수 부스터(225)로부터의 좌측 저주파수 및 고주파수 채널 LFL의 가중 조합으로부터 생성된다. 출력 채널 OR은 부대역 공간 인핸서(210)로부터의 공간적으로 향상된 좌측 채널 YR, 크로스토크 시뮬레이터(215)로부터의 좌측 크로스토크 채널 CL, 우측 중간 채널 MR 및 패스쓰루(220)로부터의 우측 패스쓰루 채널 PR, 및 고주파수/저주파수 부스터(225)로부터의 우측 저주파수 및 고주파수 채널 LFR 및 HFR의 가중 조합으로부터 생성된다.
믹서(230)에 대한 입력의 상대적인 가중은 위에서 논의된 바와 같이 입력 이득(302), 부대역 이득(356), 헤드 섀도우 이득(510), L+R 패스쓰루 이득(604), L/R 패스쓰루 이득(606), LF 필터 이득(706) 및 HF 필터 이득(710)과 같이 채널 소스에서 이득 필터에 의해 제어될 수 있다. 예를 들어, 이득 필터는 채널의 신호 크기를 더 낮춰서 출력 채널 O에 대한 채널의 기여를 낮출 수 있거나, 신호 크기를 증가시켜서 출력 채널 O에 대한 채널의 기여를 증가시킬 수 있다. 일부 실시예에서, 하나 이상의 채널의 신호 크기는 0 또는 실질적으로 0으로 설정될 수 있어서, 출력 채널 O에 대한 하나 이상의 채널의 기여를 야기하지 않는다.
일부 실시예에서, 부대역 이득(356)은 -12와 6 dB 이득 사이에서 적용하고, 헤드 섀도우 이득(510)은 -무한대 내지 -0 dB 이득을 적용하고, LF 필터 이득(706)은 0 내지 20 dB 이득을 적용하고, HF 필터 이득(710)은 0 내지 20 dB 이득을 적용하고, L/R 패스쓰루 이득(606)은 -무한대 내지 0 dB 이득을 적용하고, L+R 패스쓰루 이득(604)은 -무한대 내지 0 dB 이득을 적용한다. 상대적인 이득 값은 상이한 동조를 제공하도록 조정가능할 수 있다. 일부 실시예에서, 오디오 프로세싱 시스템은 이득 값의 사전정의된 세트를 사용한다. 예를 들어, 부대역 이득(356)은 0 dB 이득을 적용하고, 헤드 섀도우 이득(510)은 -14.4 dB 이득을 적용하고, LF 필터 이득(706)은 12 dB 이득을 적용하고, HF 필터 이득(710)은 0 dB 이득을 적용하고, L/R 패스쓰루 이득(606)은 -무한대 dB 이득을 적용하고, L+R 패스쓰루 이득(604)은 -18 dB 이득을 적용한다.
위에서 논의된 바와 같이, 방법(900)에서의 단계는 상이한 순서로 수행될 수 있다. 일례에서, 단계(910) 내지 (935)는 동시에 수행되어서 입력 채널 Y, C, M, LF, 및 HF는 조합을 위해 실질적으로 동시에 믹서(230)에서 사용가능하다.
도 10은 일 실시예에 따른 입력 오디오 신호 X로부터의 공간적으로 향상된 채널 YL 및 YR을 생성하는 방법(1000)을 도시한다. 방법(1000)은 예를 들어, 시스템(200)의 부대역 공간 인핸서(210)에 의해, 방법(900)의 (910)에서 수행될 수 있다.
주파수 대역 분할기(240)의 크로스오버 네트워크(304)와 같은, 부대역 공간 인핸서(210)는 입력 채널 XL을 부대역 혼합 부대역 채널 EL(1) 내지 EL(n)을 분할하고(1010), 입력 채널 XR을 부대역 혼합 부대역 채널 ER(1) 내지 ER(n)로 분할한다. N은 사전정의된 수의 부대역 채널이고, 일부 실시예에서는, 4개의 부대역 채널이 0 내지 300 Hz, 300 내지 510 Hz, 510 내지 2700 Hz, 및 2700 Hz 내지 나이퀴스트 주파수 각각에 대응한다. 위에서 논의된 바와 같이, n개의 부대역 채널은 사람 귀의 임계 대역에 가깝다. n개의 부대역 채널은 다양한 음악 장르로부터 오디오 샘플의 코르푸스를 사용하는 것과, 샘플로부터 24 바크 스케일 임계 대역을 통한 중간 성분 대 측 성분의 장기 평균 에너지 비율을 결정하는 것을 포함한다. 유사한 장기 평균 비율을 갖는 인접 주파수 대역은 또한 n 개의 임계 대역의 세트를 형성하도록 함께 그룹화된다.
주파수 대역 인핸서(245)의 L/R 대 M/S 변환기(320(k))와 같은, 부대역 공간 인핸서(210)는, 각각의 부대역 k(여기서 k=1 내지 n)에 대해 공간 부대역 성분 ES(k) 및 비공간 부대역 성분 Em(k)을 생성한다(1020). 예를 들어, 각각의 L/R 대 M/S 변환기(320(k))는 부대역 혼합 부대역 성분 EL(k) 및 ER(k)의 쌍을 수신하고, 위에서 논의된 수학식 1 및 2에 따라 이들 입력을 중간 부대역 성분 Em(k) 및 측 부대역 성분 Es(k)으로 변환한다. n=4에 대해, L/R 대 M/S 변환기(320(1) 내지 320(4))는 공간 부대역 성분 Es(1), Es(2), Es(3), 및 Es(4), 및 비공간 부대역 성분 Em(1), Em(2), Em(3), 및 Em(4)을 생성한다.
주파수 대역 인핸서(245)의 중간/측 프로세서(330(k))와 같은, 부대역 공간 인핸서(210)는 각각의 부대역 k에 대해 향상된 공간 부대역 성분 Ys(k) 및 향상된 비공간 부대역 성분 Ym(k)를 생성한다(1030). 예를 들어, 각각의 중간/측 프로세서(330(k))는 수학식 3에 따라 이득 Gm(k) 및 지연 함수 D를 적용함으로써 중간 부대역 성분 Em(k)를 향상된 공간 부대역 성분 Ym(k)로 변환한다. 각각의 중간/측 프로세서(330(k))는 수학식 4에 따라 이득 Gm(k) 및 지연 함수 D를 적용함으로써 측 부대역 성분 Es(k)를 향상된 공간 부대역 성분 Ys(k)로 변환한다.
일부 실시예에서, 각각의 부대역 k에 대한 이득 Gm(k) 및 Gs(k)의 값은 예를 들어, 다양한 음악 장르로부터, 오디오 샘플의 코르푸스로부터의 부대역 k 위에 중간 대 측 성분의 샘플링 장기 평균 에너지 비율에 기초하여 초기에 결정된다. 일부 실시예에서, 오디오 샘플은 영화, 음악, 및 게임과 같은 상이한 유형의 오디오 콘텐츠를 포함할 수 있다. 다른 예시에서, 샘플링은 원하는 공간 속성을 포함하도록 알려진 오디오 샘플을 사용하여 수행될 수 있다. 이들 중간 대 측 에너지 비율은 중간 부대역 성분 Ym(k) 및 향상된 측 부대역 성분 Ys(k)에 대한 Gm 및 Gs의 이득을 계산하는 것에 있어서 출발점으로서 사용된다. 상술된 바와 같이, 최종 부대역 이득은 또한 폭넓은 오디오 샘플 전반에서 전문적인 주관적 청취 테스트를 통해 정의된다. 일부 실시예에서, 이득 Gm 및 Gs, 및 지연 Dm 및 Ds는, 스피커 파라미터에 따라 결정될 수 있거나, 가정된 파라미터 값의 세트에 대해 고정될 수 있다.
주파수 대역 인핸서(245)의 M/S 대 L/R 변환기(340(k))와 같은, 부대역 공간 인핸서(210)는 각각의 부대역 k에 대해 공간적으로 향상된 좌측 부대역 성분 YL(k) 및 공간적으로 향상된 우측 부대역 성분 YR(k)을 생성한다(104). 각각의 M/S 대 L/R 변환기(340(k))는 향상된 중간 성분 Ym(k) 및 향상된 측 성분 Ys(k)를 수신하고 이들을 수학식 5 및 6에 따라 공간적으로 향상된 좌측 부대역 성분 YL(k) 및 공간적으로 향상된 우측 부대역 성분 YR(k)을 변환한다. 여기서, 공간적으로 향상된 좌측 부대역 성분 YL(k)은 향상된 중간 성분 Ym(k) 및 향상된 측 성분 Ys(K)을 더하는 것에 기초하여 생성되고, 공간적으로 향상된 우측 부대역 성분 YR(k)은 향상된 측 성분 Ys(k)를 향상된 중간 성분 Ym(k)로부터 빼는 것에 기초하여 생성된다. n=4인 부대역에 대해, M/S 대 L/R 변환기(340(1) 내지 340(4))는 향상된 좌측 부대역 성분 YL(1) 내지 YL(4), 및 향상된 우측 부대역 성분 YR(1) 내지 YR(4)을 변환한다.
향상된 부대역 결합기(250)와 같은, 부대역 공간 인핸서(210)는, 향상된 좌측 부대역 성분 YL(1) 내지 YL(n)을 결합함으로써 공간적으로 향상된 좌측 채널 YL을 생성하고, 향상된 우측 부대역 성분 YR(1) 내지 YR(n)을 결합함으로써 공간적으로 향상된 우측 채널 YR을 생성한다(1050). 결합은 위에서 논의된 바와 같은 수학식 5 및 6에 기초하여 수행될 수 있다. 일부 실시예에서, 향상된 부대역 결합기(250)는 또한 부대역 이득을 공간적으로 향상된 좌측 채널 YL 및 공간적으로 향상된 좌측 채널 YR에 추가하여 좌측 출력 채널 OL에 대한 공간적으로 향상된 좌측 채널 YL의 기여, 및 우측 출력 채널 OR에 대한 공간적으로 향상된 우측 채널 YR의 기여를 제어할 수 있다. 일부 실시예에서, 부대역 이득은 기준선 레벨로서 역할을 하는 0 dB 이득이고, 0 dB 이득에 비해 상대적으로 설정되는 본원에서 논의되는 다른 이득을 갖는다. 일부 실시예에서, 입력 이득(302)이 -2 dB 이득과 상이할 때와 같이, (예를 들어, 공간적으로 향상된 좌측 채널 YL 및 공간적으로 향상된 좌측 채널 YR에 대한 원하는 기준선 레벨에 도달하도록) 이에 따라 부대역 이득이 조정될 수 있다.
다양한 실시예에서, 방법(1000)에서의 단계는 상이한 순서로 수행될 수 있다. 예를 들어, 부대역 k=1 내지 n에 대한 향상된 공간 부대역 성분 Ys(k)은 Ys를 생성하도록 결합될 수 있고, 부대역 k=1 내지 n에 대한 향상된 비공간 부대역 성분 Ym(k)는 Ym을 생성하도록 결합될 수 있다. Ys 및 Ym은 M/S 대 L/R 변환을 사용하여 공간적으로 향상된 채널 YL 및 YR로 변환될 수 있다.
도 11은 일 실시예에 따른 오디오 입력 신호로부터 크로스토크 채널을 생성하는 방법(1100)을 도시한다. 방법(1100)은 방법(900)의 (915)에서 수행될 수 있다. 대측 크로스토크 신호를 나타내는, 크로스토크 채널 CL 및 CR은 동측 입력 채널 XL 및 XR에 필터 및 시간 지연을 적용하는 것에 기초하여 생성된다.
시스템(200)의 부대역 대역 결합기(155)는 부대역 혼합 부대역 채널 EL(1) 내지 EL(n)을 결합함으로써 부대역 혼합 좌측 채널 EL을 생성하고, 부대역 혼합 부대역 채널 ER(1) 내지 ER(n)을 결합함으로써 부대역 혼합 우측 채널 ER을 생성한다. 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER은 크로스토크 시뮬레이터(215), 패스쓰루(220), 및/또는 고주파수/저주파수 부스터(225)에 대한 입력으로서 사용된다. 일부 실시예에서, 크로스토크 시뮬레이터(215), 패스쓰루(220), 및/또는 고주파수/저주파수 부스터(225)는 부대역 혼합 채널 EL 및 ER 대신에 원래의 오디오 입력 채널 XL 및 XR을 수신하고 프로세싱할 수 있다. 여기서, 단계(1100)은 수행되지 않고, 방법(1100)의 후속 프로세싱 단계는 오디오 입력 채널 XL 및 XR을 사용하여 수행된다. 일부 실시예에서, 부대역 대역 결합기(255)는 부대역 혼합 좌측 부대역 채널 EL(1) 내지 EL(n)을 좌측 입력 채널 XL로 디코딩하고, 부대역 혼합 우측 부대역 채널 ER(1) 내지 ER(n)을 우측 입력 채널 XR로 디코딩한다.
시스템(200)의 크로스토크 시뮬레이터(215)는 제 1 저역 통과 필터를 부대역 혼합 좌측 채널 EL에 적용한다. 제 1 저역 통과 필터는 청취자의 머리를 통과한 이후에 신호의 주파수 응답을 모델링하는 변조를 적용하는 크로스토크 시뮬레이터(215)의 헤드 섀도우 저역 통과 필터(502)가 될 수 있다. 위에서 논의된 바와 같이, 헤드 섀도우 저역 통과 필터(502)는 2,023 Hz의 컷오프 주파수를 가질 수 있고, 여기서 컷오프 주파수를 초과하는 부대역 혼합 좌측 채널 EL의 주파수 성분이 감쇠된다. 시스템(200)의 크로스토크 시뮬레이터(215)의 다른 실시예는 헤드 섀도우 저역 통과 필터에 대해 하단 필터 또는 노치 필터를 이용할 수 있다. 이 필터는 0.5와 1.0 사이의 Q 및 -6과 -24 dB 사이의 이득을 갖는, 2023Hz의 컷오프/중심 주파수를 가질 수 있다.
크로스토크 시뮬레이터(215)는 제 1 크로스토크 지연을 제 1 저역 통과 필터에 적용한다(1130). 도 1에 도시된 바와 같이, 예를 들어, 크로스 지연(504)은 증가된 트랜스 청각 거리(따라서 증가된 이동 시간)를 모델링하는 시간 지연을 제공하여 좌측 확성기(110A)로부터의 대측 사운드 성분(112L)이 우측 확성기(110B)로부터의 동측 사운드 성분(118R)에 비례하여 이동하여 청취자(120)의 우측 귀(125R)에 도달한다. 일부 실시예에서, 크로스 지연(504)은 0.792 밀리초 크로스토크 지연을 필터링된 부대역 혼합 좌측 채널 EL에 적용한다. 일부 실시예에서, 단계(1120) 및 (1130)은 역순이 되어 제 1 크로스토크 지연이 제 1 저역통과 필터 이전에 적용된다.
크로스토크 시뮬레이터(215)는 제 2 저역 통과 필터를 부대역 혼합 우측 채널 ER에 적용한다(1140). 제 2 저역 통과 필터는 청취자의 머리를 통과한 이후에 신호의 주파수 응답을 모델링하는 변조를 적용하는, 크로스토크 시뮬레이터(215)의 헤드 섀도우 저역 통과 필터(506)가 될 수 있다. 일부 실시예에서, 헤드 섀도우 저역 통과 필터(506)는 2023Hz의 컷오프 주파수를 가질 수 있고, 여기서 컷오프 주파수를 초과하는 부대역 혼합 우측 채널 ER의 주파수 성분이 감쇠된다. 시스템(200)의 크로스토크 시뮬레이터(215)의 다른 실시예는 헤드 섀도우 저역 통과 필터에 대해 하단 필터 또는 노치 필터를 이용할 수 있다. 이 필터는 0.5와 1.0 사이의 Q 및 -6과 -24 dB 사이의 이득을 갖는, 2023Hz의 컷오프/중심 주파수를 가질 수 있다.
크로스토크 시뮬레이터(215)는 제 2 크로스토크 지연을 제 2 저역 통과 필터의 출력에 적용한다(1150). 도 1에 도시된 바와 같이, 제 2 시간 지연은 증가된 트랜스 청각 거리를 모델링하여 우측 확성기(110B)로부터의 동측 사운드 성분(118L)이 좌측 확성기(110A)로부터의 동측 사운드 성분(118L)에 비례하여 이동하여 청취자(120)의 좌측 귀(125L)에 도달한다. 일부 실시예에서, 크로스 지연(508)은 0.792 밀리초 크로스토크 지연을 필터링된 부대역 혼합 우측 채널 ER에 적용한다. 일부 실시예에서, 단계(1140) 및 (1150)은 역순이 되어 제 2 크로스토크 지연이 제 2 저역통과 필터 이전에 적용된다.
크로스토크 시뮬레이터(215)는 제 1 이득을 제 1 크로스토크 지연의 출력에 적용하여(1160) 좌측 크로스토크 채널 CL을 생성한다. 크로스토크 시뮬레이터(215)는 제 2 이득을 제 2 크로스토크 지연의 출력에 적용하여(1170) 우측 크로스토크 채널 CR을 생성한다. 일부 실시예에서, 헤드 섀도우 이득(510)은 -14.4 dB 이득을 적용하여 좌측 크로스토크 채널 CL 및 우측 크로스토크 채널 CR을 생성한다.
다양한 실시예에서, 방법(1100)에서의 단계는 상이한 순서로 수행될 수 있다. 예를 들어, 단계(1120) 및 (1130)은 단계(1140) 및 (1150)과 동시에 수행되어 좌측 채널 및 우측 채널이 동시에 프로세싱될 수 있고, 좌측 크로스토크 채널 CL 및 우측 크로스토크 채널 CR을 동시에 생성한다.
도 12는 일 실시예에 따른 오디오 입력 신호로부터의 좌측 및 우측 패스쓰루 채널 및 중간 채널을 생성하는 방법(1200)을 도시한다. 방법(1200)은 방법(900)의 (920) 및 (925)에서 수행될 수 있다. 패스쓰루 채널은 출력 채널 O에 대한 비공간적으로 향상된 입력 채널 X의 기여를 제어하고, 중간 채널은 출력 채널 O에 대한 비공간적으로 향상된 좌측 입력 채널 XL 및 비공간적으로 향상된 우측 입력 채널 XR의 공통 오디오 데이터의 기여를 제어한다.
오디오 프로세싱 시스템(200)의 패스쓰루(220)는 이득을 부대역 혼합 좌측 채널 EL에 적용하여(1210) 패스쓰루 채널 PL을 생성하고, 이득을 부대역 혼합 우측 채널 ER에 적용하여 패스쓰루 채널 PR을 생성한다. 일부 실시예에서, 패스쓰루(220)의 L/R 패스쓰루 이득(606)은 -무한대 dB 이득을 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER에 적용한다. 따라서, 패스쓰루 채널 PL 및 PR은 완전하게 감쇠되고 출력 신호 O에 기여하지 않는다. 이득의 레벨은 출력 신호 O에 기여하는 비공간적으로 향상된 입력 신호의 양을 제어하도록 조정될 수 있다.
패스쓰루(220)는 부대역 혼합 좌측 채널 EL 및 부대역 혼합 우측 채널 ER을 결합하여(1230) 중간(L+R) 채널을 생성한다. 예를 들어, 패스쓰루(220)의 L+R 결합기(602)는 우측 부대역 혼합 채널 ER과 함께 좌측 부대역 혼합 채널 EL을 좌측 부대역 혼합 채널 EL 및 우측 부대역 혼합 채널 ER에 모두 공통인 오디오 데이터를 갖는 채널에 추가한다.
패스쓰루(220)는 이득을 중간 채널에 적용하여(1240) 좌측 중간 채널 ML을 생성하고, 이득을 중간 채널에 적용하여 우측 중간 채널 MR을 생성한다. 일부 실시예에서, L+R 패스쓰루 이득(604)은 -18dB 이득을 L+R 결합기(602)의 출력에 적용하여 좌측 및 우측 중간 채널 ML 및 MR을 생성한다. 이득의 레벨은 출력 신호 O에 기여하는 비공간적으로 향상된 중간 입력 신호의 양을 제어하도록 조정될 수 있다. 일부 실시예에서, 단일 이득은 중간 채널에 적용되고, 이득 적용된 중간 채널은 좌측 및 우측 중간 채널 ML 및 MR에 대해 사용된다.
다양한 실시예에서, 방법(1200)의 단계들은 상이한 순서로 수행될 수 있다. 예를 들어, 단계(1210) 및 (1230)는 패스쓰루 채널 및 중간 채널을 동시에 생성하도록 동시에 수행될 수 있다.
도 13은 일 실시예에 따라 오디오 입력 신호로부터 저주파수 및 고주파수 향상 채널을 생성하는 방법(1300)을 도시한다. 방법(1300)은 방법(900)의 (930) 및 (935)에서 수행될 수 있다. LF 향상 채널은 출력 채널 O에 대한 비공간적으로 향상된 입력 채널 X의 저주파수 성분의 기여를 제어한다. HF 향상 채널은 출력 채널 O에 대한 비공간적으로 향상된 입력 채널 X의 고주파수 성분의 기여를 제어한다.
오디오 프로세싱 시스템(200)의 고주파수/저주파수 부스터(225)는 제 1 대역통과 필터를 부대역 혼합 좌측 채널 EL 및 부대역 혼합 우측 채널 ER에 적용하고, 제 2 대역 통과 필터를 제 1 대역 통과 필터의 출력에 적용한다(1310). 예를 들어, LF 향상 대역 통과 필터(702) 및 LF 향상 대역 통과 필터(704)는 저주파수 향상을 위해 케스케이드 공진기를 제공한다. 제 1 및 제 2 대역 통과 필터의 특성은, 예를 들어, 사전정의된 Q 계수 및/또는 대역 통과 필터의 중심 주파수에 의한 상이한 설정과 같이, 조정가능할 수 있다. 일부 실시예에서, 중심 주파수는 사전정의된 레벨(예를 들어, 58.175 Hz)로 설정되고 Q 계수는 조정가능하다. 일부 실시예에서, 사용자는 대역 통과 필터에 대한 설정의 사전설정된 세트로부터 선택할 수 있다. 케스케이드 대역 통과 필터 시스템은 영역 내 확성기 시스템에서 분리된 서브우퍼(subwoofer)를 통해 통상적으로 처리될 신호의 에너지를 선택적으로 향상시키지만, 종종 헤드 마운트형 스피커(즉, 헤드폰)을 통해 렌더링될 때 충분히 표현되지 않는다. 4차 필터 설계(즉, 두 케스케이드 2차 대역 통과 필터)는, 여기(excited)될 때 베이스 드럼 및 베이스 기타 어택과 같은 믹싱 내의 주요 저주파수 성분에 "펀치(punch)"를 추가하는 한편, 2차 대역 통과 필터, 하단 필터 또는 피킹 필터를 사용하여 저주파수 스펙트럼에서 더 넓은 대역에 걸쳐 저주파수 에너지를 단순히 증가시키면 발생할 수 있는 전체 "혼탁(muddiness)"을 회피하는 크리스프 시간 응답(crisp temporal response)을 나타낸다.
고주파수/저주파수 부스터(225)는 이득을 제 2 대역 통과 필터의 출력에 적용하여(1320) 저주파수 채널 LFL 및 LFR을 생성한다. 예를 들어, LF 필터 이득(706)은 이득을 LF 향상 대역 통과 필터(704)의 출력에 적용하여 좌측 LF 채널 LFL 및 우측 LF 채널 LFR에 적용한다. LF 필터 이득(706)은 오디오 출력 채널 OL 및 OR에 저주파수 채널 LFL 및 LFR의 기여를 제어한다.
고주파수/저주파수 부스터(225)는 고역 통과 필터를 부대역 혼합 좌측 채널 EL 및 부대역 혼합 우측 채널 ER에 적용한다(1330). 예를 들어, HF 향상 고역 통과 필터(708)는 HF 향상 고역 통과 필터(708)의 컷오프 주파수 보다 낮은 주파수를 갖는 신호 성분을 감쇠시키는 변조를 적용한다. 위에서 논의된 바와 같이, HF 향상 고역 통과 필터(708)는 4573Hz의 컷오프 주파수를 갖는 2차 버터워스 필터가 될 수 있다. 일부 실시예에서, 고역 통과 필터의 특성은 컷오프 주파수 및 이득의 상이한 설정과 같이 조정가능하고 이득은 고역 통과 필터의 출력에 적용된다. 이 고역 통과 필터의 추가를 통해 달성되는 전체 고주파수 증폭은 통상적은 음악 신호(예를 들어, 심벌즈와 같은 고주파수 타악기, 음향의 공간 응답의 고주파수 성분 등) 내에서 영향력 있는 음색의, 스펙트럼의, 및 시간의 정보를 강조하는 역할을 한다. 또한, 이 향상은 공간 신호 향상의 감지된 효과를 증가시키는 역할을 하는 반면, 낮은 주파수 및 중간 주파수의 비공간적인 신호 요소(공통적으로 목사운드 및 베이스 기타)에서의 지나친 컬러레이션(coloration)을 회피한다.
고주파수/저주파수 부스터(225)는 이득을 고역 통과 필터의 출력에 적용하여(1340) 고주파수 채널 HFL 및 HFR을 생성한다. 이득의 레벨은 오디오 출력 채널 OL 및 OR에 대한 고주파수 채널 HFL 및 HFR의 기여를 제어하도록 조정될 수 있다. 일부 실시예에서, HF 필터 이득(710)는 0 dB 이득을 HF 향상 고역 통과 필터(708)의 출력에 적용한다.
다양한 실시예에서, 방법(1300)의 단계는 상이한 순서로 수행될 수 있다. 예를 들어, 단계(1310) 및 (13330)는 단계(1330) 및 (1340)과 동시에 수행될 수 있어서 저주파수 및 고주파수 채널을 동시에 생성한다.
도 14는 일 실시예에 따른 오디오 채널의 주파수 플롯(1400)을 도시한다. 플롯(1400)에서, 오디오 프로세싱 시스템(200)은 고주파수/저주파수 부스터(225)의 케스케이드 공진기(예를 들어, LF 향상 대역 통과 필터(702) 및 LF 향상 대역 통과 필터(704)가 58.175 Hz의 중심 주파수 및 2.5의 Q 계수를 갖는 디폴트 설정으로 동작한다. 라인(1410)은 좌측 입력 채널 XL 상의 백색 잡음의 오디오 입력 신호 X의 주파수 응답이다. 라인(1420)은 XL 백색 잡음 입력 신호와 동일하게 주어진, 공간적으로 향상된 채널 Y를 생성하는 부대역 공간 인핸서(210)의 주파수 응답이다. 라인(1430)은 XL 백색 잡음 입력 신호와 동일하게 주어진 크로스토크 채널 C를 생성하는 크로스토크 시뮬레이터(215)의 주파수 응답이다. 라인(1440)은 XL 백색 잡음 입력 신호와 동일하게 주어진, 저주파수 및 고주파수 채널 LF 및 HF를 생성하는 고주파수/저주파수 부스터(225)의 주파수 응답이다. L/R 패스쓰루 이득(606)은 디폴트 설정에서 -무한대 dB으로 설정되고, 출력 신호 O에 대한 패스쓰루 채널 P의 기여를 제거한다.
도 15는 일 실시예에 따른 오디오 채널의 주파수 플롯(1500)을 도시한다. 라인(1510)은 좌측 입력 채널 XL 상에서의 백색 잡음의 오디오 입력 신호 X의 주파수 응답이다. 플롯(1400)에서와 같이, 고주파수/저주파수 부스터(225)의 케스케이드 공진기(예를 들어, LF 향상 대역 통과 필터(702) 및 LF 향상 대역 통과 필터(704))는 대역 통과 필터가 58.175 Hz의 중심 주파수를 갖고 2.5의 Q 계수를 갖는 디폴트 설정으로 동작한다. 라인(1520)은 XL 백색 잡음 입력 신호와 동일하게 주어진, 좌측 출력 채널 OL을 생성하는 믹서(230)의 주파수 응답이다. 라인(1530)은 상관된 입체 음향 백색 잡음 입력 신호(즉, 좌측 및 우측 신호가 동일함)로 주어진, 좌측 출력 채널 OL을 생성하는 믹서(230)의 주파수 응답이다. 라인(1540)은 상관되지 않은 백색 잡음 입력 신호(즉, 우측 채널은 좌측 채널의 반전된 버전임)로 주어진, 좌측 출력 채널 OL을 생성하는 믹서(230)의 주파수 응답이다.
도 16은 일 실시예에 따른 채널 신호의 주파수 플롯(1600)을 도시한다. 오디오 프로세싱 시스템(200)은 고주파수/저주파수 부스터(225)의 케스케이드 공진기(예를 들어, LF 향상 대역 통과 필터(702) 및 LF 향상 대역 통과 필터(704))가 58.175 Hz의 중심 주파수 및 1.3의 Q 계수를 갖는 부스팅 세팅으로 동작한다. 라인(1610)은 좌측 입력 채널 XL 상의 백색 잡음의 오디오 입력 신호 X의 주파수 응답이다. 라인(1620)은 XL 백색 잡음 입력 신호와 동일하게 주어진, 공간적으로 향상된 채널 Y를 생성하는 부대역 공간 인핸서(210)의 주파수 응답이다. 라인(1630)은 XL 백색 잡음 입력 신호와 동일하게 주어진, 크로스토크 채널 C를 생성하는 크로스토크 시뮬레이터(215)의 주파수 응답이다. 라인(1640)은 XL 백색 잡음 입력 신호와 동일하게 주어진, 부스팅 설정인 고주파수/저주파수 부스터(225) 및 패스쓰루(2330)의 결합된 주파수 응답이다.
도 17은 위의 라인(1640)의 개별 성분을 도시한다. 라인(1710)은 위의 저주파수 향상의 주파수 응답이다. 라인(1720)은 위의 고주파수 필터 향상의 주파수 응답이다. 라인(1730)은 위의 패스쓰루(220)의 주파수 응답이다. 라인(1710, 1720, 및 1730)은 부스팅 설정으로 동작하는 오디오 프로세싱 시스템(200)에 대해 도 16에 도시된 라인(1640)의 결합된 필터 응답의 성분을 나타낸다.
도 18은 일 실시예에 따른 오디오 채널의 주파수 응답(1800)을 도시한다. 오디오 프로세싱 시스템(200)은 부스팅 설정으로 동작한다. 라인(1810)은 좌측 입력 채널 XL 상의 백색 잡음의 오디오 입력 신호 X의 주파수 응답이다. 라인(1820)은 XL 백색 잡음 입력 신호와 동일하게 주어진, 좌측 출력 채널 OL을 생성하는 믹서(230)의 주파수 응답이다. 라인(1830)은 상관된 입체 음향 백색 잡음 입력 신호(즉, 좌측 및 우측 신호가 동일함)로 주어진, 좌측 출력 채널 OL을 생성하는 믹서(230)의 주파수 응답 플롯이다. 라인(1840)은 상관되지 않은 백색 잡음 입력 신호(즉, 우측 채널이 좌측 채널의 반전된 버전임)로 주어진, 좌측 출력 채널 OL을 생성하는 믹서(230)의 주파수 응답이다.
본 개시내용을 읽음으로써, 당업자는 또한 본원에 개시된 원리를 통해 추가적인 대안의 실시예를 이해할 것이다. 따라서, 특정 실시예 및 적용예가 도시되고 설명되었지만, 개시된 실시예가 본원에 개시된 정확한 구성 및 구성요소로 제한되지 않는다는 것을 이해할 것이다. 당업자에게 명백해질, 다양한 수정, 변경 및 변형이 본원에 개시된 범위로부터 벗어남이 없이 본원에 개시된 방법 및 장치의 배치, 동작 및 세부 사항에서 이루어질 수 있다.
본원에서 설명된 임의의 단계들, 동작들, 또는 프로세스는 하나 이상의 하드웨어 또는 소프트웨어 모듈, 단독으로 또는 다른 디바이스와의 조합으로 구현되거나 수행될 수 있다. 일 실시예에서, 소프트웨어 모듈은 개시된 임의의 또는 모든 단계들, 동작들, 또는 프로세스들을 수행하기 위한 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 매체(예를 들어, 비일시적 컴퓨터 판독가능 매체)를 포함하는 컴퓨터 프로그램 제품으로 구현된다.

Claims (20)

  1. 좌측 입력 채널 및 우측 입력 채널을 포함하는 입력 오디오 신호를 수신하는 단계와,
    좌측 입력 채널 및 우측 입력 채널의 측 부대역 성분(side subband component) 및 중간 부대역 성분(mid subband component)을 이득 조정함으로써 공간적으로 향상된 좌측 채널 및 공간적으로 향상된 우측 채널을 생성하는 단계와,
    상기 좌측 입력 채널을 필터링하고 시간 지연시킴으로써 좌측 크로스토크 채널을 생성하는 단계와,
    상기 우측 입력 채널을 필터링하고 시간 지연시킴으로써 우측 크로스토크 채널을 생성하는 단계와,
    상기 공간적으로 향상된 좌측 채널 및 상기 우측 크로스토크 채널을 혼합함으로써 좌측 출력 채널을 생성하는 단계와,
    상기 공간적으로 향상된 우측 채널 및 상기 좌측 크로스토크 채널을 혼합함으로써 우측 출력 채널을 생성하는 단계와,
    제 1 대역 통과 필터를 상기 좌측 입력 채널 및 상기 우측 입력 채널에 적용하는 것과, 제 2 대역 통과 필터를 상기 제 1 대역 통과 필터의 출력에 적용하는 것과, 이득을 상기 제 2 대역 통과 필터의 출력에 적용하는 것에 의해, 좌측 저주파수 채널 및 우측 저주파수 채널을 생성하는 단계를 포함하되,
    상기 좌측 출력 채널을 생성하는 단계는 상기 공간적으로 향상된 좌측 채널, 상기 우측 크로스토크 채널, 및 상기 좌측 저주파수 채널을 혼합하는 것을 포함하고,
    상기 우측 출력 채널을 생성하는 단계는 상기 공간적으로 향상된 우측 채널, 상기 좌측 크로스토크 채널, 및 상기 우측 저주파수 채널을 혼합하는 것을 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 제 1 대역 통과 필터 및 상기 제 2 대역 통과 필터는 각각 중심 주파수 및 조정가능한 성능(Q) 계수를 갖는
    방법.
  3. 좌측 입력 채널 및 우측 입력 채널을 포함하는 입력 오디오 신호를 수신하는 단계와,
    좌측 입력 채널 및 우측 입력 채널의 측 부대역 성분(side subband component) 및 중간 부대역 성분(mid subband component)을 이득 조정함으로써 공간적으로 향상된 좌측 채널 및 공간적으로 향상된 우측 채널을 생성하는 단계와,
    상기 좌측 입력 채널을 필터링하고 시간 지연시킴으로써 좌측 크로스토크 채널을 생성하는 단계와,
    상기 우측 입력 채널을 필터링하고 시간 지연시킴으로써 우측 크로스토크 채널을 생성하는 단계와,
    상기 공간적으로 향상된 좌측 채널 및 상기 우측 크로스토크 채널을 혼합함으로써 좌측 출력 채널을 생성하는 단계와,
    상기 공간적으로 향상된 우측 채널 및 상기 좌측 크로스토크 채널을 혼합함으로써 우측 출력 채널을 생성하는 단계와,
    고역 통과 필터를 상기 좌측 입력 채널 및 상기 우측 입력 채널에 적용하는 것과, 이득을 상기 고역 통과 필터의 출력에 적용하는 것에 의해, 좌측 고주파수 채널 및 우측 고주파수 채널을 생성하는 단계를 포함하되,
    상기 좌측 출력 채널을 생성하는 단계는 상기 공간적으로 향상된 좌측 채널, 상기 우측 크로스토크 채널, 및 상기 좌측 고주파수 채널을 혼합하는 것을 포함하고,
    상기 우측 출력 채널을 생성하는 단계는 상기 공간적으로 향상된 우측 채널, 상기 좌측 크로스토크 채널, 및 상기 우측 고주파수 채널을 혼합하는 것을 포함하는
    방법.
  4. 제 3 항에 있어서,
    상기 고역 통과 필터는 2차 버터워스(Butterworth) 고역 통과 필터인
    방법.
  5. 좌측 입력 채널 및 우측 입력 채널을 포함하는 입력 오디오 신호를 수신하는 단계와,
    좌측 입력 채널 및 우측 입력 채널의 측 부대역 성분(side subband component) 및 중간 부대역 성분(mid subband component)을 이득 조정함으로써 공간적으로 향상된 좌측 채널 및 공간적으로 향상된 우측 채널을 생성하는 단계와,
    상기 좌측 입력 채널을 필터링하고 시간 지연시킴으로써 좌측 크로스토크 채널을 생성하는 단계와,
    상기 우측 입력 채널을 필터링하고 시간 지연시킴으로써 우측 크로스토크 채널을 생성하는 단계와,
    상기 공간적으로 향상된 좌측 채널 및 상기 우측 크로스토크 채널을 혼합함으로써 좌측 출력 채널을 생성하는 단계와,
    상기 공간적으로 향상된 우측 채널 및 상기 좌측 크로스토크 채널을 혼합함으로써 우측 출력 채널을 생성하는 단계를 포함하되,
    좌측 입력 채널 및 우측 입력 채널의 측 부대역 성분 및 중간 부대역 성분을 이득 조정함으로써 공간적으로 향상된 좌측 채널 및 공간적으로 향상된 우측 채널을 생성하는 단계는,
    상기 좌측 입력 채널을 좌측 부대역 성분으로 분할하는 것―상기 좌측 부대역 성분의 각각은 주파수 대역의 그룹의 하나의 주파수 대역에 대응함―과,
    상기 우측 입력 채널을 우측 부대역 성분으로 분할하는 것―상기 우측 부대역 성분의 각각은 주파수 대역의 그룹의 하나의 주파수 대역에 대응함―과,
    상기 좌측 부대역 성분 및 상기 우측 부대역 성분으로부터 상기 중간 부대역 성분 및 상기 측 부대역 성분을 생성하는 것과,
    상기 중간 부대역 성분에 비례하여 상기 측 부대역 성분의 이득을 조정하는 것과,
    이득 조정된 중간 부대역 성분 및 측 부대역 성분을 재결합하여 상기 공간적으로 향상된 좌측 채널 및 상기 공간적으로 향상된 우측 채널을 생성하는 것을 포함하는
    방법.
  6. 좌측 입력 채널 및 우측 입력 채널을 포함하는 입력 오디오 신호를 수신하는 단계와,
    좌측 입력 채널 및 우측 입력 채널의 측 부대역 성분(side subband component) 및 중간 부대역 성분(mid subband component)을 이득 조정함으로써 공간적으로 향상된 좌측 채널 및 공간적으로 향상된 우측 채널을 생성하는 단계와,
    상기 좌측 입력 채널을 필터링하고 시간 지연시킴으로써 좌측 크로스토크 채널을 생성하는 단계와,
    상기 우측 입력 채널을 필터링하고 시간 지연시킴으로써 우측 크로스토크 채널을 생성하는 단계와,
    상기 공간적으로 향상된 좌측 채널 및 상기 우측 크로스토크 채널을 혼합함으로써 좌측 출력 채널을 생성하는 단계와,
    상기 공간적으로 향상된 우측 채널 및 상기 좌측 크로스토크 채널을 혼합함으로써 우측 출력 채널을 생성하는 단계를 포함하되,
    상기 공간적으로 향상된 좌측 채널 및 상기 공간적으로 향상된 우측 채널을 생성하는 단계는,
    제 1 이득을 상기 좌측 입력 채널 및 상기 우측 입력 채널의 상기 측 부대역 성분 및 상기 중간 부대역 성분에 적용하는 것을 포함하며,
    상기 좌측 크로스토크 채널을 생성하는 단계는 제 2 이득을 필터링되고 시간 지연된 좌측 입력 채널에 적용하는 것을 포함하고,
    상기 우측 크로스토크 채널을 생성하는 단계는 상기 제 2 이득을 필터링되고 시간 지연된 우측 입력 채널에 적용하는 것을 포함하고,
    제 1 대역 통과 필터를 상기 좌측 입력 채널 및 상기 우측 입력 채널에 적용하는 것과, 제 2 대역 통과 필터를 상기 제 1 대역 통과 필터의 출력에 적용하는 것과, 제 3 이득을 상기 제 2 대역 통과 필터의 출력에 적용하는 것에 의해 좌측 저주파수 채널 및 우측 저주파수 채널을 생성하는 단계와,
    고역 통과 필터를 상기 좌측 입력 채널 및 상기 우측 입력 채널을 적용하는 것과, 제 4 이득을 상기 고역 통과 필터의 출력에 적용하는 것에 의해 좌측 고주파수 채널 및 우측 고주파수 채널을 생성하는 단계와,
    제 5 이득을 상기 좌측 입력 채널 및 상기 우측 입력 채널에 적용하는 것에 의해 좌측 패스쓰루 채널 및 우측 패스쓰루 채널을 생성하는 단계와,
    상기 좌측 입력 채널과 상기 우측 입력 채널을 서로 합치는 것과, 제 6 이득을 서로 합쳐진 좌측 입력 채널 및 우측 입력 채널에 적용하는 것에 의해 중간 채널을 생성하는 단계를 더 포함하고,
    상기 좌측 출력 채널을 생성하는 단계는 상기 공간적으로 향상된 좌측 채널, 상기 우측 크로스토크 채널, 상기 좌측 저주파수 채널, 상기 좌측 고주파수 채널, 상기 좌측 패스쓰루 채널, 및 상기 중간 채널을 혼합하는 것을 포함하고,
    상기 우측 출력 채널을 생성하는 단계는 상기 공간적으로 향상된 우측 채널, 상기 좌측 크로스토크 채널, 상기 우측 저주파수 채널, 상기 우측 고주파수 채널, 상기 우측 패스쓰루 채널, 및 상기 중간 채널을 혼합하는 것을 포함하는
    방법.
  7. 제 6 항에 있어서,
    상기 제 1 이득은 -12 내지 6 dB 이득이고,
    상기 제 2 이득은 -무한대 내지 0 dB 이득이고,
    상기 제 3 이득은 0 내지 20 dB 이득이고,
    상기 제 4 이득은 0 내지 20 dB 이득이고,
    상기 제 5 이득은 -무한대 내지 0 dB 이득이고,
    상기 제 6 이득은 -무한대 내지 0 dB 이득인
    방법.
  8. 오디오 프로세싱 시스템으로서,
    좌측 입력 채널 및 우측 입력 채널의 측 부대역 성분 및 중간 부대역 성분을 이득 조정함으로써 공간적으로 향상된 좌측 채널 및 공간적으로 향상된 우측 채널을 생성하도록 구성된 부대역 공간 인핸서와,
    상기 좌측 입력 채널을 필터링하고 시간 지연시킴으로써 좌측 크로스토크 채널을 생성하고, 상기 우측 입력 채널을 필터링하고 시간 지연시킴으로써 우측 크로스토크 채널을 생성하도록 구성된 크로스토크 시뮬레이터와,
    상기 공간적으로 향상된 좌측 채널 및 상기 우측 크로스토크 채널을 혼합함으로써 좌측 출력 채널을 생성하고, 상기 공간적으로 향상된 우측 채널 및 상기 좌측 크로스토크 채널을 혼합함으로써 우측 출력 채널을 생성하도록 구성된 믹서와,
    좌측 저주파수 채널 및 우측 저주파수 채널을 생성하도록 구성된 주파수 부스터를 포함하되,
    상기 주파수 부스터는,
    상기 좌측 입력 채널 및 상기 우측 입력 채널을 필터링하도록 구성된 제 1 대역 통과 필터와,
    상기 제 1 대역 통과 필터의 출력을 필터링하도록 구성된 제 2 대역 통과 필터와,
    이득을 상기 제 2 대역 통과 필터의 출력에 적용하는 저주파수 필터 이득을 포함하고,
    상기 좌측 출력 채널을 생성하도록 구성된 상기 믹서는, 상기 공간적으로 향상된 좌측 채널, 상기 우측 크로스토크 채널, 및 상기 좌측 저주파수 채널을 혼합하도록 구성되는 믹서를 포함하고,
    상기 우측 출력 채널을 생성하도록 구성된 상기 믹서는, 상기 공간적으로 향상된 우측 채널, 상기 좌측 크로스토크 채널, 및 상기 우측 저주파수 채널을 혼합하도록 구성되는 믹서를 포함하는
    오디오 프로세싱 시스템.
  9. 제 8 항에 있어서,
    상기 제 1 대역 통과 필터 및 상기 제 2 대역 통과 필터는 각각 중심 주파수 및 조정가능한 성능(Q) 계수를 갖는
    오디오 프로세싱 시스템.
  10. 오디오 프로세싱 시스템으로서,
    좌측 입력 채널 및 우측 입력 채널의 측 부대역 성분 및 중간 부대역 성분을 이득 조정함으로써 공간적으로 향상된 좌측 채널 및 공간적으로 향상된 우측 채널을 생성하도록 구성된 부대역 공간 인핸서와,
    상기 좌측 입력 채널을 필터링하고 시간 지연시킴으로써 좌측 크로스토크 채널을 생성하고, 상기 우측 입력 채널을 필터링하고 시간 지연시킴으로써 우측 크로스토크 채널을 생성하도록 구성된 크로스토크 시뮬레이터와,
    상기 공간적으로 향상된 좌측 채널 및 상기 우측 크로스토크 채널을 혼합함으로써 좌측 출력 채널을 생성하고, 상기 공간적으로 향상된 우측 채널 및 상기 좌측 크로스토크 채널을 혼합함으로써 우측 출력 채널을 생성하도록 구성된 믹서를 포함하되,
    좌측 고주파수 채널 및 우측 고주파수 채널을 생성하도록 구성된 주파수 부스터를 더 포함하고, 상기 주파수 부스터는,
    상기 좌측 입력 채널 및 상기 우측 입력 채널을 필터링하도록 구성된 고역 통과 필터와,
    이득을 상기 고역 통과 필터의 출력에 적용하는 고주파수 필터 이득을 포함하고,
    상기 좌측 출력 채널을 생성하도록 구성된 상기 믹서는, 상기 공간적으로 향상된 좌측 채널, 상기 우측 크로스토크 채널, 및 상기 좌측 고주파수 채널을 혼합하도록 구성된 믹서를 포함하고,
    상기 우측 출력 채널을 생성하도록 구성된 상기 믹서는, 상기 공간적으로 향상된 우측 채널, 상기 좌측 크로스토크 채널, 및 상기 우측 고주파수 채널을 혼합하도록 구성되는 믹서를 포함하는
    오디오 프로세싱 시스템.
  11. 제 10 항에 있어서,
    상기 고역 통과 필터는 2차 버터워스 고역 통과 필터인
    오디오 프로세싱 시스템.
  12. 오디오 프로세싱 시스템으로서,
    좌측 입력 채널 및 우측 입력 채널의 측 부대역 성분 및 중간 부대역 성분을 이득 조정함으로써 공간적으로 향상된 좌측 채널 및 공간적으로 향상된 우측 채널을 생성하도록 구성된 부대역 공간 인핸서와,
    상기 좌측 입력 채널을 필터링하고 시간 지연시킴으로써 좌측 크로스토크 채널을 생성하고, 상기 우측 입력 채널을 필터링하고 시간 지연시킴으로써 우측 크로스토크 채널을 생성하도록 구성된 크로스토크 시뮬레이터와,
    상기 공간적으로 향상된 좌측 채널 및 상기 우측 크로스토크 채널을 혼합함으로써 좌측 출력 채널을 생성하고, 상기 공간적으로 향상된 우측 채널 및 상기 좌측 크로스토크 채널을 혼합함으로써 우측 출력 채널을 생성하도록 구성된 믹서를 포함하되,
    상기 좌측 입력 채널 및 상기 우측 입력 채널의 측 부대역 성분 및 중간 부대역 성분을 이득 조정함으로써 상기 공간적으로 향상된 좌측 채널 및 상기 공간적으로 향상된 우측 채널을 생성하도록 구성된 부대역 공간 인핸서는,
    상기 좌측 입력 채널을 좌측 부대역 성분으로 분할하고―상기 좌측 부대역 성분 각각은 주파수 대역 그룹의 하나의 주파수 대역에 대응함―,
    상기 우측 입력 채널을 우측 부대역 성분으로 분할하고―상기 우측 부대역 성분 각각은 주파수 대역 그룹의 하나의 주파수 대역에 대응함―,
    상기 좌측 부대역 성분 및 상기 우측 부대역 성분으로부터 상기 중간 부대역 및 상기 측 부대역 성분을 생성하고,
    상기 중간 부대역 성분에 비례하여 상기 측 부대역 성분의 이득을 조정하고,
    이득 조정된 중간 부대역 및 측 부대역 성분을 재결합하여 상기 공간적으로 향상된 좌측 채널 및 상기 공간적으로 향상된 우측 채널을 생성하도록 구성되는 부대역 공간 인핸서를 포함하는
    오디오 프로세싱 시스템.
  13. 오디오 프로세싱 시스템으로서,
    좌측 입력 채널 및 우측 입력 채널의 측 부대역 성분 및 중간 부대역 성분을 이득 조정함으로써 공간적으로 향상된 좌측 채널 및 공간적으로 향상된 우측 채널을 생성하도록 구성된 부대역 공간 인핸서와,
    상기 좌측 입력 채널을 필터링하고 시간 지연시킴으로써 좌측 크로스토크 채널을 생성하고, 상기 우측 입력 채널을 필터링하고 시간 지연시킴으로써 우측 크로스토크 채널을 생성하도록 구성된 크로스토크 시뮬레이터와,
    상기 공간적으로 향상된 좌측 채널 및 상기 우측 크로스토크 채널을 혼합함으로써 좌측 출력 채널을 생성하고, 상기 공간적으로 향상된 우측 채널 및 상기 좌측 크로스토크 채널을 혼합함으로써 우측 출력 채널을 생성하도록 구성된 믹서를 포함하되,
    상기 공간적으로 향상된 좌측 채널 및 상기 공간적으로 향상된 우측 채널을 생성하도록 구성된 상기 부대역 공간 인핸서는 제 1 이득을 상기 좌측 입력 채널 및 상기 우측 입력 채널의 측 부대역 성분 및 중간 부대역 성분에 적용하도록 구성되는 부대역 공간 인핸서를 포함하고,
    상기 좌측 크로스토크 채널을 생성하도록 구성된 크로스토크 시뮬레이터는 제 2 이득을 필터링되고 시간 지연된 좌측 입력 채널에 적용하도록 구성된 크로스토크 시뮬레이터를 포함하고,
    상기 우측 크로스토크 채널을 생성하도록 구성된 크로스토크 시뮬레이터는 제 2 이득을 필터링되고 시간 지연된 우측 입력 채널에 적용하도록 구성된 크로스토크 시뮬레이터를 포함하고,
    상기 시스템은,
    좌측 저주파수 채널, 우측 저주파수 채널, 좌측 고주파수 채널, 및 우측 고주파수 채널을 생성하도록 구성된 주파수 부스터를 더 포함하고, 상기 주파수 부스터는,
    상기 좌측 입력 채널 및 상기 우측 입력 채널을 필터링하도록 구성된 제 1 대역 통과 필터와,
    상기 제 1 대역 통과 필터의 출력을 필터링하도록 구성된 제 2 대역 통과 필터와,
    제 3 이득을 상기 제 2 대역 통과 필터의 출력에 적용하여 상기 좌측 저주파수 채널 및 상기 우측 저주파수 채널을 생성하도록 구성된 저주파수 필터 이득과,
    상기 좌측 입력 채널 및 상기 우측 입력 채널을 필터링하도록 구성된 고역 통과 필터와,
    제 4 이득을 고역 통과 필터의 출력에 적용하여 상기 좌측 고주파수 채널 및 상기 우측 고주파수 채널을 생성하도록 구성된 고주파수 필터 이득을 포함하고,
    좌측 패스쓰루 채널, 우측 패스쓰루 채널, 및 중간 채널을 생성하도록 구성된 패스쓰루를 더 포함하되, 상기 패스쓰루는,
    제 5 이득을 상기 좌측 입력 채널 및 상기 우측 입력 채널에 적용하여 상기 좌측 패스쓰루 채널 및 상기 우측 패스쓰루 채널을 생성하도록 구성된 패스쓰루 이득과,
    상기 좌측 입력 채널과 상기 우측 입력 채널을 서로 합치도록 구성된 결합기와,
    제 6 이득을 서로 합쳐진 좌측 입력 채널 및 우측 입력 채널에 적용하여 상기 좌측 중간 채널 및 상기 우측 중간 채널을 생성하도록 구성된 중간 이득을 포함하고,
    상기 좌측 출력 채널을 생성하도록 구성된 상기 믹서는, 상기 공간적으로 향상된 좌측 채널, 상기 우측 크로스토크 채널, 상기 좌측 저주파수 채널, 상기 좌측 고주파수 채널, 상기 좌측 패스쓰루 채널, 및 상기 중간 채널을 혼합하도록 구성된 믹서를 포함하고,
    상기 우측 출력 채널을 생성하도록 구성된 상기 믹서는, 상기 공간적으로 향상된 우측 채널, 상기 좌측 크로스토크 채널, 상기 우측 저주파수 채널, 상기 우측 고주파수 채널, 상기 우측 패스쓰루 채널, 및 상기 중간 채널을 혼합하도록 구성되는 믹서를 포함하는
    오디오 프로세싱 시스템.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020177031493A 2016-01-19 2017-01-12 헤드 마운트형 스피커를 위한 오디오 향상 기법 KR101858918B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662280121P 2016-01-19 2016-01-19
US62/280,121 2016-01-19
US201662388367P 2016-01-29 2016-01-29
US62/388,367 2016-01-29
PCT/US2017/013249 WO2017127286A1 (en) 2016-01-19 2017-01-12 Audio enhancement for head-mounted speakers

Publications (2)

Publication Number Publication Date
KR20170127570A KR20170127570A (ko) 2017-11-21
KR101858918B1 true KR101858918B1 (ko) 2018-05-16

Family

ID=59362451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177031493A KR101858918B1 (ko) 2016-01-19 2017-01-12 헤드 마운트형 스피커를 위한 오디오 향상 기법

Country Status (11)

Country Link
US (1) US10009705B2 (ko)
EP (2) EP4307718A3 (ko)
JP (3) JP6546351B2 (ko)
KR (1) KR101858918B1 (ko)
CN (1) CN108781331B (ko)
AU (1) AU2017208916B2 (ko)
BR (1) BR112018014724B1 (ko)
CA (1) CA3011694C (ko)
NZ (1) NZ745422A (ko)
TW (1) TWI620171B (ko)
WO (1) WO2017127286A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225657B2 (en) 2016-01-18 2019-03-05 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
EP3530006B1 (en) * 2016-11-11 2020-11-04 Huawei Technologies Co., Ltd. Apparatus and method for weighting stereo audio signals
US10499153B1 (en) 2017-11-29 2019-12-03 Boomcloud 360, Inc. Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems
US10524078B2 (en) * 2017-11-29 2019-12-31 Boomcloud 360, Inc. Crosstalk cancellation b-chain
US10674266B2 (en) 2017-12-15 2020-06-02 Boomcloud 360, Inc. Subband spatial processing and crosstalk processing system for conferencing
US10764704B2 (en) * 2018-03-22 2020-09-01 Boomcloud 360, Inc. Multi-channel subband spatial processing for loudspeakers
WO2020076377A2 (en) * 2018-06-12 2020-04-16 Magic Leap, Inc. Low-frequency interchannel coherence control
US10575116B2 (en) * 2018-06-20 2020-02-25 Lg Display Co., Ltd. Spectral defect compensation for crosstalk processing of spatial audio signals
US10715915B2 (en) 2018-09-28 2020-07-14 Boomcloud 360, Inc. Spatial crosstalk processing for stereo signal
KR102374934B1 (ko) 2019-01-11 2022-03-15 붐클라우드 360, 인코포레이티드 사운드 스테이지 보존 오디오 채널 합산
JP7354275B2 (ja) * 2019-03-14 2023-10-02 ブームクラウド ３６０ インコーポレイテッド 優先度を持つ空間認識マルチバンド圧縮システム
US11032644B2 (en) 2019-10-10 2021-06-08 Boomcloud 360, Inc. Subband spatial and crosstalk processing using spectrally orthogonal audio components
US10841728B1 (en) 2019-10-10 2020-11-17 Boomcloud 360, Inc. Multi-channel crosstalk processing
CN111065020B (zh) * 2019-11-07 2021-09-07 华为终端有限公司 音频数据处理的方法和装置
KR102465792B1 (ko) * 2020-10-24 2022-11-09 엑스멤스 랩스 인코포레이티드 사운드 생성 디바이스
CN112351379B (zh) * 2020-10-28 2021-07-30 歌尔光学科技有限公司 音频组件的控制方法以及智能头戴设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080165975A1 (en) 2006-09-14 2008-07-10 Lg Electronics, Inc. Dialogue Enhancements Techniques
US20090262947A1 (en) 2008-04-16 2009-10-22 Erlendur Karlsson Apparatus and Method for Producing 3D Audio in Systems with Closely Spaced Speakers

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2244162C3 (de) * 1972-09-08 1981-02-26 Eugen Beyer Elektrotechnische Fabrik, 7100 Heilbronn «system
US4748669A (en) * 1986-03-27 1988-05-31 Hughes Aircraft Company Stereo enhancement system
FI113147B (fi) * 2000-09-29 2004-02-27 Nokia Corp Menetelmä ja signaalinkäsittelylaite stereosignaalien muuntamiseksi kuulokekuuntelua varten
US7003467B1 (en) * 2000-10-06 2006-02-21 Digital Theater Systems, Inc. Method of decoding two-channel matrix encoded audio to reconstruct multichannel audio
EP1532734A4 (en) 2002-06-05 2008-10-01 Sonic Focus Inc ACOUSTIC VIRTUAL REALITY ENGINE AND ADVANCED TECHNIQUES FOR IMPROVING THE DELIVERED SOUND
JP2004023486A (ja) * 2002-06-17 2004-01-22 Arnis Sound Technologies Co Ltd ヘッドホンによる再生音聴取における音像頭外定位方法、及び、そのための装置
FI118370B (fi) * 2002-11-22 2007-10-15 Nokia Corp Stereolaajennusverkon ulostulon ekvalisointi
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
KR100636248B1 (ko) * 2005-09-26 2006-10-19 삼성전자주식회사 보컬 제거 장치 및 방법
EP2002692B1 (en) 2006-03-13 2010-06-30 Dolby Laboratories Licensing Corporation Rendering center channel audio
US8619998B2 (en) * 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
US8612237B2 (en) 2007-04-04 2013-12-17 Apple Inc. Method and apparatus for determining audio spatial quality
US8705748B2 (en) 2007-05-04 2014-04-22 Creative Technology Ltd Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems
GB2467668B (en) 2007-10-03 2011-12-07 Creative Tech Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US9247369B2 (en) 2008-10-06 2016-01-26 Creative Technology Ltd Method for enlarging a location with optimal three-dimensional audio perception
TWI449442B (zh) * 2009-01-14 2014-08-11 Dolby Lab Licensing Corp 用於無回授之頻域主動矩陣解碼的方法與系統
US8705769B2 (en) * 2009-05-20 2014-04-22 Stmicroelectronics, Inc. Two-to-three channel upmix for center channel derivation
CN102598715B (zh) * 2009-06-22 2015-08-05 伊尔莱茵斯公司 光耦合骨传导设备、系统及方法
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US9107021B2 (en) 2010-04-30 2015-08-11 Microsoft Technology Licensing, Llc Audio spatialization using reflective room model
US20110288860A1 (en) 2010-05-20 2011-11-24 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for processing of speech signals using head-mounted microphone pair
JP5964311B2 (ja) * 2010-10-20 2016-08-03 ディーティーエス・エルエルシーＤｔｓ Ｌｌｃ ステレオイメージ拡張システム
KR101785379B1 (ko) 2010-12-31 2017-10-16 삼성전자주식회사 공간 음향에너지 분포 제어장치 및 방법
JP2013013042A (ja) * 2011-06-02 2013-01-17 Denso Corp 立体音響装置
JP5772356B2 (ja) * 2011-08-02 2015-09-02 ヤマハ株式会社 音響特性制御装置及び電子楽器
EP2560161A1 (en) 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
WO2013181172A1 (en) * 2012-05-29 2013-12-05 Creative Technology Ltd Stereo widening over arbitrarily-configured loudspeakers
US20150036826A1 (en) * 2013-05-08 2015-02-05 Max Sound Corporation Stereo expander method
US9338570B2 (en) * 2013-10-07 2016-05-10 Nuvoton Technology Corporation Method and apparatus for an integrated headset switch with reduced crosstalk noise
TW201532035A (zh) 2014-02-05 2015-08-16 Dolby Int Ab 預測式ｆｍ立體聲無線電雜訊降低

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080165975A1 (en) 2006-09-14 2008-07-10 Lg Electronics, Inc. Dialogue Enhancements Techniques
US20090262947A1 (en) 2008-04-16 2009-10-22 Erlendur Karlsson Apparatus and Method for Producing 3D Audio in Systems with Closely Spaced Speakers

Also Published As

Publication number Publication date
JP6546351B2 (ja) 2019-07-17
EP4307718A3 (en) 2024-04-10
EP3406085A4 (en) 2019-12-04
TWI620171B (zh) 2018-04-01
JP2022058913A (ja) 2022-04-12
KR20170127570A (ko) 2017-11-21
TW201732782A (zh) 2017-09-16
WO2017127286A1 (en) 2017-07-27
CN108781331A (zh) 2018-11-09
CA3011694A1 (en) 2017-07-27
US10009705B2 (en) 2018-06-26
JP7378515B2 (ja) 2023-11-13
EP4307718A2 (en) 2024-01-17
EP3406085A1 (en) 2018-11-28
NZ745422A (en) 2019-09-27
JP2019506803A (ja) 2019-03-07
AU2017208916A1 (en) 2018-09-06
BR112018014724B1 (pt) 2020-11-24
CA3011694C (en) 2019-04-02
BR112018014724A2 (pt) 2018-12-11
CN108781331B (zh) 2020-11-06
JP2019193291A (ja) 2019-10-31
EP3406085B1 (en) 2024-05-01
AU2017208916B2 (en) 2019-01-31
US20170230777A1 (en) 2017-08-10

Similar Documents

Publication Publication Date Title
KR101858918B1 (ko) 헤드 마운트형 스피커를 위한 오디오 향상 기법
JP6832968B2 (ja) クロストーク処理の方法
RU2666316C2 (ru) Аппарат и способ улучшения аудиосигнала, система улучшения звука
US20050063555A1 (en) Electroacoustical transducing
MX2007010636A (es) Dispositivo y metodo para generar una senal estereofonica codificada de una pieza de audio o corriente de datos de audio.
KR102296801B1 (ko) 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상
KR20200083640A (ko) 대향하는 트랜스오럴 라우드스피커 시스템에서의 크로스토크 소거
JP2004343590A (ja) ステレオ音響信号処理方法、装置、プログラムおよび記憶媒体
JP6643778B2 (ja) 音響装置、電子鍵盤楽器およびプログラム
JP6531418B2 (ja) 信号処理装置
JP6643779B2 (ja) 音響装置およびプログラム
JP2011176566A (ja) 残響付加装置、プログラム、及び残響付加方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right