KR20170126105A - 오디오 재생성을 위한 부대역 공간 및 크로스토크 제거 기법 - Google Patents

오디오 재생성을 위한 부대역 공간 및 크로스토크 제거 기법 Download PDF

Info

Publication number
KR20170126105A
KR20170126105A KR1020177031417A KR20177031417A KR20170126105A KR 20170126105 A KR20170126105 A KR 20170126105A KR 1020177031417 A KR1020177031417 A KR 1020177031417A KR 20177031417 A KR20177031417 A KR 20177031417A KR 20170126105 A KR20170126105 A KR 20170126105A
Authority
KR
South Korea
Prior art keywords
band
channel
component
crosstalk
frequency
Prior art date
Application number
KR1020177031417A
Other languages
English (en)
Other versions
KR101858917B1 (ko
Inventor
제임스 트레이시
알란 크레이머
Original Assignee
붐클라우드 360, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 붐클라우드 360, 인코포레이티드 filed Critical 붐클라우드 360, 인코포레이티드
Publication of KR20170126105A publication Critical patent/KR20170126105A/ko
Application granted granted Critical
Publication of KR101858917B1 publication Critical patent/KR101858917B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본원의 실시예는 주로 향상된 공간 검출능 및 감소된 크로스토크 간섭으로 음향을 생성하기 위한 시스템, 방법 및 비일시적 컴퓨터 판독가능 매체의 상황에서 설명된다. 오디오 프로세싱 시스템은 입력 오디오 신호를 수신하고, 입력 오디오 신호에 대한 오디오 프로세싱을 수행하여 출력 오디오 신호를 생성한다. 개시된 실시예의 하나의 양상에서, 오디오 프로세싱 시스템은 입력 오디오 신호를 상이한 주파수 대역으로 분할하고, 각각의 주파수 대역에 대한 입력 오디오 신호의 비공간적 성분에 대한 입력 오디오 신호의 공간 성분을 향상시킨다.

Description

오디오 재생성을 위한 부대역 공간 및 크로스토크 제거
관련 출원에 대한 교차 참조
본 출원은 2016년 1월 18일에 제출된 "오디오 재생성을 위한 부대역 공간 및 크로스토크 소거 알고리즘"이라는 명칭의 동시 미국 가출원 번호 62/280,119, 및 2016년 1월 29일 제출된 "부대역 공간 및 크로스토크 소거 알고리즘"이라는 명칭의 동시 미국 가출원 번호 62/388,366으로부터 35 U.S.C.§119(e) 하에서 우선권을 주장하고, 이들의 전부는 본원에서 그 전체가 참조로서 통합되었다.
1. 개시의 기술분야
본 개시의 실시예는 일반적으로 오디오 신호 프로세싱의 분야에 관한 것이고, 더 구체적으로는, 크로스토크 간섭 감소 및 공간적 향상에 관한 것이다.
2. 관련 기술의 설명
입체 음향 재생성은 음장(sound field)의 공간적 속성을 포함하는 신호를 인코딩하는 것과 재생성하는 것을 포함한다. 입체 음향은 청취자가 음장에서 공간감각을 감지하는 것을 가능하게 한다.
예를 들어, 도 1에서, 고정된 위치에 위치된 두 확성기(110A) 및 (110B)는 입체 음향 신호를 음파로 변환하며, 음파는 청취자(120)를 향해 지향되어 다양한 방향으로부터 청취된 사운드의 느낌을 만든다. 도 1에 도시된 것과 같은 종래의 근거리 스피커 배열에서, 확성기(110) 양쪽에 의해 생성된 음파는 좌측 귀(125L)와 우측 귀(125R) 사이에 약간의 지연을 갖고 청취자(120)의 좌측 및 우측 귀(125L, 125R) 양쪽에서 수신되고, 청취자(120)의 머리에 의해 필터링이 이루어진다. 양쪽 스피커에 의해 생성된 음파는 크로스토크 간섭을 생성하여, 청취자(120)가 가상 음원(160)의 감지된 공간 위치를 판정하는 것을 방해할 수 있다.
오디오 프로세싱 시스템은 스피커의 파라미터 및 스피커에 대한 청취자의 위치에 기초하여 향상된 공간 검출능 및 감소된 크로스토크 간섭으로 재생성하기 위한 둘 이상의 출력 채널을 적응적으로 생성한다. 오디오 프로세싱 시스템은 두 채널 입력 오디오 신호를 다수의 오디오 프로세싱 파이프라인에 적용하여 스피커의 물리적 경계를 뛰어넘어 렌더링된 오디오 신호의 음장 확장의 범위 및 확장된 음장 내 사운드 성분의 위치 및 강도를 청취자가 감지하는 방법을 적응적으로 제어한다. 오디오 프로세싱 파이프라인은 두 채널 입력 오디오 신호(예를 들어, 좌측 채널 스피커를 위한 오디오 신호 및 우측 채널 스피커를 위한 오디오 신호)를 프로세싱하기 위한 음장 향상 프로세싱 파이프라인 및 크로스토크 소거 프로세싱 파이프라인을 포함한다.
일 실시예에서, 음장 향상 프로세싱 파이프라인은 공간 및 비공간 성분을 추출하기 위해 크로스토크 소거 프로세싱을 수행하기 이전에 입력 오디오 신호를 사전프로세싱한다. 사전프로세싱은 입력 오디오 신호의 공간 및 비공간 성분에서의 에너지의 강도 및 균형을 조정한다. 공간 성분은 두 채널 사이의 비상관 부분("측 성분")에 대응하는 반면, 비공간 성분은 두 채널 사이의 상관된 부분("중간 성분")에 대응한다. 음장 향상 프로세싱 파이프라인은 또한 입력 오디오 신호의 공간 및 비공간 성분의 음색 및 스펙트럼 특성의 제어를 가능하게 한다.
개시된 실시예의 하나의 양상에서, 음장 향상 프로세싱 파이프라인은 입력 오디오 신호 각각의 채널을 상이한 주파수 부대역으로 분할하고 각각의 주파수 부대역에서 공간 및 비공간 성분을 추출함으로써 입력 오디오 신호에 대한 부대역 공간 향상을 수행한다. 음장 향상 프로세싱 파이프라인은 또한 각각의 주파수 부대역에서의 하나 이상의 공간 또는 부공간 성분에서의 에너지를 독립적으로 조정하고, 하나 이상의 공간 및 비공간 성분의 스펙트럼 특성을 조정한다. 상이한 주파수 부대역에 따라 입력 오디오 신호를 분할하는 것과, 각각의 주파수 대역에 있어서 비공간 성분에 대해 공간 성분의 에너지를 조정하는 것에 의해, 부대역의 공간적으로 향상된 오디오 신호는 스피커에 의해 재생성될 때 더 양호한 공간 정위(localization)를 달성한다. 비공간 성분에 대해 공간 성분의 에너지를 조정하는 것은 제 1 이득 계수에 의해 공간 성분을 조정하는 것, 제 2 이득 계수에 의해 비공간 성분을 조정하는 것, 또는 둘 다에 의해 수행될 수 있다.
개시된 실시예의 하나의 양상에서, 크로스토크 소거 프로세싱 파이프라인은 음장 프로세싱 파이프라인으로부터 출력된 부대역의 공간적으로 향상된 오디오 신호에 대한 크로스토크 소거를 수행한다. 청취자의 머리와 동일한 측면 상의 스피커에 의해 출력되고 이 측면 상의 청취자의 귀에 의해 수신되는 신호 성분(예를 들어, 118L, 118R)은 본원에서 "동측(ipsilateral) 사운드 성분"(예를 들어, 좌측 귀에 수신되는 좌측 채널 신호 성분, 및 우측 귀에 수신되는 우측 채널 신호 성분)으로 지칭되고, 청취자의 머리의 대향 측면 상의 스피커에 의해 출력되는 신호 성분(예를 들어, 112L, 112R)은 본원에서 "대측(contralateral) 사운드 성분"(예를 들어, 우측 귀에서 수신되는 좌측 채널 신호 성분, 좌측 귀에서 수신되는 우측 채널 신호 성분)으로 지칭된다. 대측 사운드 성분은 크로스토크 간섭에 기여하고, 공간성 감지를 약화시킨다. 크로스토크 소거 프로세싱 파이프라인은 대측 사운드 성분을 추정하고 대측 사운드 성분에 기여하는 입력 오디오 신호의 신호 성분을 식별한다. 크로스토크 소거 프로세싱 파이프라인은 또한 채널의 식별된 신호 성분의 반전을 부대역의 공간적으로 향상된 오디오 신호의 다른 채널에 추가함으로써 부대역의 공간적으로 향상된 오디오 신호 각각의 채널을 수정하여 사운드를 재생성하기 위한 출력 오디오 신호를 생성한다. 이로 인해, 개시된 시스템은 크로스토크 간섭에 기여하는 대측 사운드 성분을 감소시키고, 출력 사운드의 감지된 공간성을 향상시킨다.
개시된 실시예의 하나의 양상에서, 청취자에 대한 스피커의 위치에 대한 파라미터에 따라, 음장 향상 프로세싱 파이프라인을 통해 입력 오디오 신호를 적응적으로 프로세싱하고 이어서 크로스토크 소거 프로세싱 파이프라인을 통해 프로세싱하는 것에 의해 출력 오디오 신호가 획득된다. 스피커의 파라미터의 예는 청취자와 스피커 사이의 거리, 청취자에 대한 두 스피커에 의해 형성되는 각도를 포함한다. 추가적인 파라미터는 스피커의 주파수 응답을 포함하고, 파이프라인 프로세싱 동안, 또는 그 이전에, 실시간으로 측정될 수 있는 다른 파라미터를 포함할 수 있다. 크로스토크 소거 프로세스는 파라미터를 사용하여 수행된다. 예를 들어, 크로스토크 소거와 연관된 컷오프 주파수, 지연, 및 이득은 스피커의 파라미터의 함수로서 결정될 수 있다. 또한, 스피커의 파라미터와 연관되는 대응하는 크로스토크 소거에 기인한 임의의 스펙트럼 결함이 추정될 수 있다. 또한, 추정된 스펙트럼 결함을 보상하기 위한 대응하는 크로스토크 보상은 음장 향상 프로세싱 파이프라인을 통한 하나 이상의 부대역에 대해 수행될 수 있다.
따라서, 부대역 공간 향상 프로세싱 및 크로스토크 보상과 같은, 음장 향상 프로세싱은 전체적으로 감지된 후속 크로스토크 소거 프로세싱의 효과를 향상시킨다. 이로 인해, 청취자는, 사운드가 스피커의 위치에 대응하는 공간 내의 특정 지점으로부터가 아니라 넓은 영역으로부터 청취자에게 온다고 느낄 수 있어서, 청취자에게 보다 몰입감 있는 청취 경험을 생성할 수 있다.
도 1은 관련 기술의 입체 음향 오디오 재생성 시스템을 도시한다.
도 2a는 일 실시예에 따른 감소된 크로스토크 간섭으로 향상된 음장을 재생성하는 오디오 프로세싱 시스템의 일례를 도시한다.
도 2b는 일 실시예에 따른 도 2a에 도시된 오디오 프로세싱 시스템의 상세한 구현예를 도시한다.
도 3은 일 실시예에 따른 크로스토크 간섭을 감소시키도록 오디오 신호를 프로세싱하기 위한 예시의 신호 프로세싱 알고리즘을 도시한다.
도 4는 일 실시예에 따른 부대역 공간 오디오 프로세서의 예시의 다이어그램을 도시한다.
도 5는 일 실시예에 따른 부대역 공간 향상을 수행하기 위한 예시의 알고리즘을 도시한다.
도 6은 일 실시예에 따른 크로스토크 보상 프로세서의 예시의 다이어그램을 도시한다.
도 7은 일 실시예에 따른 크로스토크 소거에 대한 보상을 수행하는 예시의 방법을 도시한다.
도 8은 일 실시예에 따른 크로스토크 소거 프로세서의 예시의 다이어그램을 도시한다.
도 9는 일 실시예에 따른 크로스토크 소거를 수행하는 예시의 방법을 도시한다.
도 10 및 도 11은 크로스토크 소거에 기인한 스펙트럼 결함을 실증하는 예시의 주파수 응답 플롯을 도시한다.
도 12 및 도 13은 크로스토크 보상의 효과를 실증하는 예시의 주파수 응답 플롯을 도시한다.
도 14는 도 8에 도시된 주파수 대역 분할기의 절점 주파수를 변경하는 효과를 실증하는 예시의 주파수 응답을 도시한다.
도 15 및 도 16은 도 8에 도시된 주파수 대역 분할기의 효과를 실증하는 예시의 주파수 응답을 도시한다.
명세서에서 설명된 특징들 및 장점들은 모두 포함되는 것이 아니고, 특히, 많은 추가적인 특징들 및 장점들이 도면, 명세서, 및 청구항의 관점에서 당업자에게 명백해질 것이다. 또한, 명세서에서 사용된 언어는 가독성 및 교육적인 목적을 위해 원리적으로 선택되었다는 것에 유의해야하고, 본 발명의 청구 대상을 기술하거나 제한하기 위해 선택되는 것은 아니다.
도면(도) 및 다음의 설명은 예시로서만 선호되는 실시예에 관한 것이다. 다음의 논의로부터, 본원에 개시된 구조 및 방법의 대안적인 실시예가 본 발명의 원리로부터 벗어남이 없이 이용될 수 있는 실행가능한 대안으로서 쉽게 인식될 것임에 유의해야 한다.
이제 본 발명의 여러 실시예에 대한 참조가 자세하게 이루어질 것이고, 이들의 예시가 첨부한 도면에서 도시된다. 실행가능한 유사한 또는 같은 참조 번호가 도면에서 어디에나 사용될 수 있고 유사한 또는 같은 기능을 나타낼 수 있음에 유의해야 한다. 도면은 예시의 목적을 위해서만 실시예를 도시한다. 당업자는 본원에서 예시된 구조 및 방법의 대안의 실시예가 본원에서 설명된 원리로부터 벗어남이 없이 이용될 수 있다는 것을 다음의 설명으로부터 쉽게 인식할 것이다.
예시의 오디오 프로세싱 시스템
도 2a는 일 실시예에 따른 감소된 크로스토크 간섭에 의해 향상된 공간 영역을 재생성하는 오디오 프로세싱 시스템(220)의 일례를 도시한다. 오디오 프로세싱 시스템(220)은 두 입력 채널 XL, XR을 포함하는 입력 오디오 신호 X를 수신한다. 오디오 프로세싱 시스템(220)은 각각의 입력 채널에서, 대측 신호 성분을 야기할 신호 성분을 추정한다. 하나의 양상에서, 오디오 프로세싱 시스템(220)은 스피커(280L, 280R)의 파라미터를 설명하는 정보를 획득하고 스피커의 파라미터를 설명하는 정보에 따라 대측 신호 성분을 야기할 신호 성분을 추정한다. 오디오 프로세싱 시스템(220)은 다른 채널에 대측 신호 성분을 야기할 신호 성분의 반전을 각각의 채널에 대해 추가함으로써 두 출력 채널 OL, OR을 포함하는 출력 오디오 신호 O를 생성한다. 또한, 오디오 프로세싱 시스템(200)은 출력 채널 OL, OR을 확성기 280L, 280R와 같은, 출력 디바이스에 연결할 수 있다.
일 실시예에서, 오디오 프로세싱 시스템(220)은 음장 향상 프로세싱 파이프라인(210), 크로스토크 소거 프로세싱 파이프라인(270), 및 스피커 구성 검출기(202)를 포함한다. 오디오 프로세싱 시스템(220)의 성분은 전자 회로로 구현될 수 있다. 예를 들어, 하드웨어 컴포넌트는 본원에 개시된 특정 동작을 수행하도록 구성되는 (예를 들어, 디지털 신호 프로세서(DSP), 필드 프로그래밍가능한 게이트 어레이(FPGA) 또는 애플리케이션 특정 집적 회로(ASIC)와 같은 특수 목적 프로세서와 같은) 전용 회로 또는 로직을 포함할 수 있다.
스피커 구성 검출기(202)는 스피커(280)의 파라미터(204)를 결정한다. 스피커의 파라미터의 예시들은 다수의 스피커, 청취자와 스피커 사이의 거리, 청취자에 대한 두 스피커에 의해 형성되는 대응 각도(subtended angle)("스피커 각도"), 스피커의 출력 주파수, 컷오프 주파수, 및 실시간으로 측정되거나 사전정의될 수 있는 다른 수량을 포함한다. 스피커 구성 검출기(202)는 유형(예를 들어, 전화기의 내장 스피커, 개인용 컴퓨터의 내장 스피커, 휴대용 스피커, 붐 박스 등)을 설명하는 정보를 사용자 입력 또는 시스템 입력(예를 들어, 헤드폰 잭 검출 이벤트)로부터 획득할 수 있고, 스피커(280)의 유형 또는 모델에 따라 스피커의 파라미터를 결정할 수 있다. 대안으로, 스피커 구성 검출기(202)는 스피커(280) 각각에 테스트 신호를 출력하고 내장 마이크로폰(도시되지 않음)을 사용하여 스피커 출력을 샘플링할 수 있다. 각각의 샘플링된 출력으로부터, 스피커 구성 검출기(202)는 스피커 거리 및 응답 특성을 결정할 수 있다. 스피커 각도는 각도량의 선택에 의해, 또는 스피커 유형에 기초하여 사용자(예를 들어, 청취자(120) 또는 다른 사람)에 의해 제공될 수 있다. 대안으로 또는 추가적으로, 스피커 각도는 마이크로폰 신호 분석, 스피커를 찍은 이미지의 컴퓨터 비전 분석(예를 들어, 내부 스피커 거리를 추정하기 위한 초점 거리, 및 반스피커 각도를 획득하기 위한 초점 거리에 대한 내부 스피커 거리의 절반의 비율의 아크탄젠트(arc-tan)를 사용함), 시스템 통합된 자이로스코프 또는 가속도계 데이터와 같은, 해석되고 캡쳐된 사용자 또는 시스템으로 생성된 센서 데이터를 통해 결정될 수 있다. 음장 향상 프로세싱 파이프라인(210)은 입력 오디오 신호 X를 수신하고, 입력 오디오 신호 X에 대한 음장 향상을 수행하여 채널 TL 및 TR을 포함하는 사전보상된 신호를 생성한다. 음장 향상 프로세싱 파이프라인(210)은 부대역 공간 향상을 사용하여 음장 향상을 수행하고, 스피커(280)의 파라미터(204)를 사용할 수 있다. 특히, 음장 향상 프로세싱 파이프라인(210)은 (i) 하나 이상의 주파수 부대역에 대해 입력 오디오 신호 X의 공간 정보를 향상시키기 위한 입력 오디오 신호 X에 대한 부대역 공간 향상을 적응적으로 수행하고, (ii) 스피커(280)의 파라미터에 따라 크로스토크 소거 프로세싱 파이프라인(270)에 의한 후속 크로스토크 소거에 기인한 임의의 스펙트럼 결함에 대해 보상하기 위한 크로스토크 보상을 수행한다. 음장 향상 프로세싱 파이프라인(210)의 자세한 구현예 및 동작은 이하에서 도 2b, 및 3 내지 7과 관련하여 제공된다.
크로스토크 소거 프로세싱 파이프라인(270)은 사전보상된 신호 T를 수신하고, 사전보상된 신호 T에 대한 크로스토크 소거를 수행하여 출력 신호 O를 생성한다. 크로스토크 소거 프로세싱 파이프라인(270)은 파라미터(204)에 따른 크로스토크 소거를 적응적으로 수행할 수 있다. 크로스토크 소거 프로세싱 파이프라인(270)의 자세한 구현예 및 동작은 이하에서 도 3, 8, 및 9와 관련하여 제공된다.
일 실시예에서, 음장 향상 프로세싱 파이프라인(210)의 구성(예를 들어, 중심 또는 컷오프 주파수, 품질 계수(Q), 이득, 지연 등) 및 크로스토크 소거 프로세싱 파이프라인(270)은 스피커(280)의 파라미터(204)에 따라 결정된다. 하나의 양상에서, 음장 향상 프로세싱 파이프라인(210) 및 크로스토크 소거 프로세싱 파이프라인(270)의 상이한 구성은 하나 이상의 룩업 테이블로서 저장될 수 있고, 스피커 파라미터(204)에 따라 액세스될 수 있다. 스피커 파라미터(204)에 기초한 구성은 하나 이상의 룩업 테이블을 통해 식별될 수 있고, 음장 향상 및 크로스토크 소거를 수행하기 위해 적용될 수 있다.
일 실시예에서, 음장 향상 프로세싱 파이프라인(210)의 구성은 스피커 파라미터(204)와 음장 향상 프로세싱 파이프라인(210)의 대응하는 구성 사이의 연관을 설명하는 제 1 룩업 테이블을 통해 식별될 수 있다. 예를 들어, 스피커 파라미터(204)가 청취 각도(또는 범위)를 식별하고 또한 스피커의 유형(또는 주파수 응답 범위(예를 들어, 휴대용 스피커에 대해 350 Hz 및 12 kHz))을 특정하면, 음장 향상 프로세싱 파이프라인(210)의 구성은 제 1 룩업 테이블을 통해 결정될 수 있다. 다양한 설정(예를 들어, 크로스토크 소거를 수행하기 위한 컷오프 주파수, 이득 또는 지연을 변경) 하에서 크로스토크 소거의 스펙트럼 결함을 시뮬레이팅하고, 대응하는 스펙트럼 결함을 보상하기 위한 음장 향상의 설정을 사전결정함으로써 제 1 룩업 테이블이 생성될 수 있다. 또한, 스피커 파라미터(204)는 크로스토크 소거에 따른 음장 향상 프로세싱 파이프라인(210)의 구성에 맵핑될 수 있다. 예를 들어, 특정 크로스토크 소거의 스펙트럼 결함을 보정하기 위한 음장 향상 프로세싱 파이프라인(210)의 구성은 크로스토크 소거와 연관된 스피커(280)에 대한 제 1 룩업 테이블에 저장될 수 있다.
일 실시예에서, 크로스토크 소거 프로세싱 파이프라인(270)의 구성은 다양한 스피커 파라미터(204)와 크로스토크 소거 프로세싱 파이프라인(270)의 대응하는 구성(예를 들어, 컷오프 주파수, 중심 주파수, Q, 이득, 및 지연) 사이의 연관을 설명하는 제 2 룩업 테이블을 통해 식별된다. 예를 들어, 특정 유형의 스피커(280)(예를 들어, 휴대용 스피커)가 특정 각도로 배열된다면, 스피커(280)를 위한 크로스토크 소거를 수행하기 위한 크로스토크 소거 프로세싱 파이프라인(270)의 구성이 제 2 룩업 테이블을 통해 결정될 수 있다. 다양한 스피커(280)의 다양한 설정(예를 들어, 거리, 각도 등) 하에서 생성되는 사운드를 테스팅함으로써 경험적 실험을 통해 제 2 룩업 테이블이 생성될 수 있다.
도 2b는 일 실시예에 따른, 도 2a에 도시된 오디오 프로세싱 시스템(220)의 상세한 구현예를 도시한다. 일 실시예에서, 음장 향상 프로세싱 파이프라인(210)은 부대역 공간(SBS) 오디오 프로세서(230), 크로스토크 보상 프로세서(240), 및 결합기(250), 및 크로스토크 소거(CTC) 프로세서(260)를 포함하는 크로스토크 소거 프로세싱 파이프라인(270)을 포함한다(스피커 구성 검출기(202)는 이 도면에서 도시되지 않음). 일부 실시예에서, 크로스토크 보상 프로세서(240) 및 결합기(250)가 누락될 수 있거나 SBS 오디오 프로세서(230)에 통합될 수 있다. SBS 오디오 프로세서(230)는 좌측 채널 YL 및 우측 채널 YR과 같은 두 채널을 포함하는 공간적으로 향상된 오디오 신호 Y를 생성한다.
도 3은 일 실시예에 따른 오디오 프로세싱 시스템(220)에 의해 수행될 수 있는, 크로스토크 간섭을 감소시키도록 오디오 신호를 프로세싱하기 위한 예시의 신호 프로세싱 알고리즘을 도시한다. 일부 실시예에서, 오디오 프로세싱 시스템(220)은 단계들을 동시에 수행하고, 단계들을 상이한 순서로 수행하거나, 상이한 단계들을 수행할 수 있다.
부대역 공간 오디오 프로세서(230)는 좌측 채널 XL 및 우측 채널 XR과 같은 두 채널을 포함하는 입력 오디오 신호 X를 수신하고(370), 좌측 채널 YL 및 우측 채널 YR과 같은 두 채널을 포함하는 공간적으로 향상된 오디오 신호 Y를 생성하도록 입력 오디오 신호 X에 대한 부대역 공간 향상을 수행한다(372). 일 실시예에서, 부대역 공간 향상은 좌측 채널 YL 및 우측 채널 YR을 크로스오버 네트워크에 적용하여 입력 오디오 신호 X 각각의 채널을 상이한 입력 부대역 신호 X(k)로 분할하는 것을 포함한다. 크로스오버 네트워크는 도 4에 도시된 주파수 대역 분할기(410)와 관련하여 논의된 바와 같은 다양한 회로 토폴로지로 배열되는 다중 필터를 포함한다. 크로스오버 네트워크의 출력은 중간 성분 및 측 성분으로 매트릭스화된다. 이득이 중간 성분 및 측 성분에 적용되어 각각의 부대역의 중간 부대역과 측 부대역 사이의 균형 또는 비율을 조정한다. 중간 부대역 성분 및 측 부대역 성분에 적용되는 각각의 이득 및 지연은 제 1 룩업 테이블, 또는 함수에 따라 결정될 수 있다. 따라서, 입력 부대역 신호 X(k) 각각의 공간 부대역 성분 Xs(k)에서의 에너지는 입력 부대역 신호 X(k) 각각의 부대역 비공간 부대역 성분 Xn(k)에 대하여 조정되어 부대역 k에 대한 향상된 공간 부대역 성분 Ys(k), 및 향상된 비공간 부대역 성분 Yn(k)를 생성한다. 향상된 부대역 성분 Ys(k), Yn(k)에 기초하여, 부대역 공간 오디오 프로세서(230)는 부대역 k에 대한 공간적으로 향상된 부대역 오디오 신호 Y(k)의 두 채널(예를 들어, 좌측 채널 YL(k) 및 우측 채널 YR(k))을 생성하도록 디매트릭스(de-matrix) 동작을 수행한다. 부대역 공간 오디오 프로세서는 공간 이득을 두 디매트릭스된 채널에 적용하여 에너지를 조정한다. 또한, 부대역 공간 오디오 프로세서(230)는 공간적으로 향상된 오디오 신호 Y의 대응하는 채널 YL 및 YR을 생성하도록 각각의 채널에서 공간적으로 향상된 부대역 오디오 신호 Y(k)를 결합한다. 주파수 분할 및 부대역 공간 향상의 상세가 도 4와 관련하여 이하에서 설명된다.
크로스토크 보상 프로세서(240)는 크로스토크 소거로부터 야기된 결함을 보상하기 위해 크로스토크 보상을 수행한다(374). 이들 결함은, 크로스토크 소거 프로세서(260)에서 이들의 대응하는 동측 사운드 성분을 갖는 지연되고 반전된 대측 사운드 성분의 합으로부터 주로 야기되어, 최종 렌더링된 결과에 빗형(comb) 필터 유사 주파수 응답을 도입한다. 크로스토크 소거 프로세서(260)에 적용된 특정 지연, 증폭, 또는 필터링에 기초하여, 주파수 응답에서 위 아래로 이동하는 서브 나이퀴스트(sub-Nyquist) 빗형 필터 피크(peaks) 및 트로프(troughs)의 양 및 특성(예를 들어, 중심 주파수, 이득, 및 Q)은 스펙트럼의 특정 영역에서의 에너지의 가변 증폭 및/또는 감쇠를 야기한다. 크로스토크 소거 프로세서(260)에 의해 수행되는 크로스토크 소거 이전에, 특정 주파수 대역에 대해 입력 오디오 신호 X를 스피커(280)의 주어진 파라미터에 대해 지연 또는 증폭시킴으로써 크로스토크 보상이 사전프로세싱 단계로서 수행될 수 있다. 일 구현예에서, 부대역 공간 오디오 프로세서(230)에 의해 수행되는 부대역 공간 향상과 동시에 크로스토크 보상 신호 Z를 생성하도록 입력 오디오 신호 X에 대해 크로스토크 보상이 수행된다. 이 구현예에서, 결합기(250)는 크로스토크 보상 신호 Z를 두 채널 YL 및 YR 각각과 결합하여(376) 두 사전보상된 채널 TL 및 TR을 포함하는 사전보상된 신호 T를 생성한다. 대안으로, 크로스토크 보상은 부대역 공간 향상 이후에, 크로스토크 소거 이후에, 또는 부대역 공간 향상과 통합된 이후에 순차적으로 수행된다. 크로스토크 보상의 상세는 도 6과 관련하여 이하에서 설명된다.
크로스토크 소거 프로세서(260)는 크로스토크 소거를 수행하여(378) 출력 채널 OL 및 OR을 생성한다. 더 구체적으로, 크로스토크 소거 프로세서(260)는 결합기(250)로부터 사전보상된 채널 TL 및 TR을 수신하고, 사전보상된 채널 TL 및 TR에 대한 크로스토크 소거를 수행하여 출력 채널 OL 및 OR을 생성한다. 채널 (L/R)에 대해, 크로스토크 소거 프로세서(260)는 사전보상된 채널 T(L/R)에 기인하여 대측 사운드 성분을 추정하고 스피커 파라미터(204)에 따라 대측 사운드 성분에 기여하는 사전보상된 채널 T(L/R)의 일부를 식별한다. 크로스토크 소거 프로세서(260)는 사전보상된 채널 T(L/R)의 식별된 부분의 반전을 다른 사전보상된 채널 T(R/L)에 추가하여 출력 채널 O(R/L)을 생성한다. 이 구성에서, 귀(125(R/L))에 도착된 출력 채널 O(R/L)에 따라 스피커(280(R/L))에 의해 출력된 동측 사운드 성분의 파면은 출력 채널 O(L/R)에 따라 다른 스피커(280(L/R))에 의해 출력되는 대측 사운드 성분의 파면을 삭제할 수 있어서, 출력 채널 O(L/R)에 기인한 대측 사운드 성분을 효과적으로 제거할 수 있다. 대안으로, 크로스토크 소거 프로세서(260)는 부대역 공간 오디오 프로세서(230)로부터의 공간적으로 향상된 오디오 신호 Y에 대해 또는 대신에 입력 오디오 신호 X에 대해 크로스토크 소거를 수행할 수 있다. 크로스토크 소거의 상세가 도 8과 관련하여 이하에서 설명된다.
도 4는 중간/측 프로세싱 접근방식을 이용하는 일 실시예에 따른 부대역 공간 오디오 프로세서(230)의 예시의 다이어그램을 도시한다. 부대역 공간 오디오 프로세서(230)는 채널 XL, XR을 포함하는 입력 오디오 신호를 수신하고, 입력 오디오 신호에 대한 부대역 공간 향상을 수행하여 채널 YL, YR을 포함하는 공간적으로 향상된 오디오 신호를 생성한다. 일 실시예에서, 부대역 공간 오디오 프로세서(230)는 주파수 부대역 k 그룹에 대해 주파수 대역 분할기(410), 좌측/우측 오디오 대 중간/측 오디오 변환기(420(k))("L/R 대 M/S 변환기(420(k))"), 중간/측 오디오 프로세서(430(k))(중간/측 프로세서(430(k))" 또는 "부대역 프로세서(430(k))"), 중간/측 오디오 대 좌측 우측 오디오 변환기(440(k))("M/S 대 L/R 변환기(440(k))" 또는 "반전 변환기(440(k))"), 및 주파수 대역 결합기(450)를 포함한다. 일부 실시예에서, 도 4에 도시된 부대역 공간 오디오 프로세서(230)의 성분이 상이한 순서로 배열될 수 있다. 일부 실시예에서, 부대역 공간 오디오 프로세서(230)는 도 4에 도시된 것과 상이한, 추가적인 또는 더 적은 구성요소를 포함한다.
하나의 구성에서, 주파수 대역 분할기(410), 또는 필터뱅크는 직렬, 병렬, 또는 파생된 것과 같은, 임의의 다양한 회로 토폴로지로 배열되는 다중 필터를 포함하는 크로스오버 네트워크이다. 크로스오버 네트워크에 포함되는 예시의 필터 유형은 유한 임펄스 응답(IIR) 또는 무한 임펄스 응답(FIR) 대역 통과 필터, IIR 피킹(peaking) 및 셀빙(shelving) 필터, 링크비츠-라일리(Linkwitz-Riley), 또는 오디오 신호 프로세싱 기술 분야의 당업자에게 알려진 다른 필터 유형을 포함한다. 필터는 각각의 주파수 부대역 k에 대해 좌측 입력 채널 XL을 좌측 부대역 성분 XL(k)으로 분할하고 우측 입력 채널 XR을 우측 부대역 성분 XR(k)으로 분할한다. 하나의 접근방식으로, 4개의 부대역 필터, 또는 저역 통과 필터, 대역 통과 필터, 및 고역 통과 필터의 임의의 조합이 사람 귀의 임계 대역을 근사하도록 이용된다. 임계 대역은 제 2 음색이 기존 제 1 음색을 마스킹하는 것이 가능한 대역폭에 대응한다. 예를 들어, 주파수 부대역 각각은 통합된 바크 스케일(consolidated Bark scale)에 대응하여 사람 청각의 임계 대역처럼 보인다. 예를 들어, 주파수 대역 분할기(410)는 좌측 입력 채널 XL을 0 내지 300 Hz, 300 내지 510 Hz, 510 내지 2700 Hz, 및 2700 내지 나이퀴스트 주파수 각각에 대응하는, 4개의 좌측 부대역 성분 XL(k)로 분할하고, 유사하게 우측 입력 채널 XR을 대응하는 주파수 대역에 대해 우측 부대역 성분 XR(k)으로 분할한다. 통합된 세트의 임계 대역을 결정하는 프로세스는 다양한 음악 장르로부터 오디오 샘플의 코르퍼스(corpus)를 사용하는 것과, 샘플로부터 24 바크 스케일 임계 대역을 통한 중간 성분 대 측 성분의 장기 평균 에너지 비율을 결정하는 것을 포함한다. 유사한 장기 평균 비율을 갖는 인접 주파수 대역은 또한 임계 대역의 세트를 형성하도록 함께 그룹화된다. 다른 구현예에서, 필터는 좌측 및 우측 입력 채널을 4개 보다 더 적은 또는 더 큰 부대역으로 분할한다. 주파수 대역의 범위가 조정될 수 있다. 주파수 대역 분할기(410)는 좌측 성분 XL(k) 및 우측 부대역 성분 XR(k)의 쌍을 대응하는 L/R 내지 M/S 변환기(420(k))로 출력한다.
L/R 대 M/S 변환기(420(k)), 중간/측 프로세서(430(k)), 및 M/S 대 L/R 변환기(440(k))는 각각의 주파수 부대역 k에서 함께 동작하여 비공간 부대역 성분 Xn(k)("중간 부대역 성분"으로서 또한 지칭됨)에 대해 공간 부대역 성분 Xs(k)("사이드 부대역 성분"으로서 또한 지칭됨)을 각각의 주파수 부대역 k에서 향상시킨다. 특히, 각각의 L/R 대 M/S 변환기(420(k))는 주어진 주파수 부대역 k에 대해 부대역 성분 XL(k), XR(k)의 쌍을 수신하고, 이들 입력을 중간 부대역 성분 및 측 부대역 성분으로 변환한다. 일 실시예에서, 비공간 부대역 성분 Xn(k)는 좌측 부대역 성분 XL(k)과 우측 부대역 성분 XR(k) 사이의 상관된 부분에 대응하고, 따라서 비공간 정보를 포함한다. 또한, 비공간 부대역 성분 Xs(k)는 좌측 부대역 성분 XL(k)와 우측 부대역 성분 XR(k) 사이의 비상관된 부분에 대응하고, 따라서 공간 정보를 포함한다. 비공간 부대역 성분 Xn(k)은 좌측 부대역 성분 XL(k)과 우측 부대역 성분 XR(k)의 합으로서 계산될 수 있고, 공간 부대역 성분 Xs(k)는 좌측 부대역 성분 XL(k)과 우측 부대역 성분 XR(k) 사이의 차로서 계산될 수 있다. 일례에서, L/R 대 M/S 변환기(420)는 다음의 수식에 따라 주파수 대역의 공간 부대역 성분 Xs(k) 및 비공간 부대역 성분 Xn(k)을 획득한다.
Figure pct00001
Figure pct00002
각각의 중간/측 프로세서(430(k))는 수신된 비공간 부대역 성분 Xn(k)에 대해 수신된 공간 부대역 성분 Xs(k)을 향상시켜 부대역 k에 대해 향상된 공간 부대역 성분 YS(k) 및 향상된 비공간 부대역 성분 Yn(k)을 생성한다. 일 실시예에서, 중간/측 프로세서(430(k))는 대응하는 이득 계수 Gn(k)에 의해 비공간 부대역 성분 Xn(k)을 조정하고, 대응하는 지연 함수 D[]에 의해 증폭된 비공간 부대역 성분 Gn(k)*Xn(k)을 지연시켜 향상된 비공간 부대역 성분 Yn(k)을 생성한다. 유사하게, 중간/측 프로세서(430(k))는 대응하는 이득 계수 Gs(k)에 의해 수신된 공간 부대역 성분 Xs(k)을 조정하고, 대응하는 지연 함수 D에 의해 증폭된 공간 부대역 성분 Gs(k)*Xs(k)을 지연시켜 향상된 공간 부대역 성분 Ys(k)을 생성한다. 이득 계수 및 지연 양은 조정될 수 있다. 이득 계수 및 지연 양은 스피커 파라미터(204)에 따라 결정될 수 있거나 가정된 파라미터 값의 세트에 대해 고정될 수 있다. 각각의 중간/측 프로세서(430(k))는 각각의 주파수 부대역 k의 대응하는 M/S 대 L/R 변환기로 비공간 부대역 성분 Xn(k) 및 공간 부대역 성분 Xs(k)을 출력한다. 주파수 부대역 k의 중간/측 프로세서(430(k))는 다음의 수식에 따라 향상된 비공간 부대역 성분 Yn(k) 및 향상된 공간 부대역 성분 Ys(k)을 생성한다.
Figure pct00003
Figure pct00004
이득 및 지연 계수의 예시가 다음의 표 1에서 나열된다.
Figure pct00005
각각의 M/S 대 L/R 변환기(440(k))는 향상된 비공간 성분 Yn(k) 및 향상된 공간 성분 Ys(k)을 수신하고, 이들을 향상된 좌측 부대역 성분 YL(k) 및 향상된 우측 부대역 성분 YR(k)으로 변환한다. L/R 대 M/S 변환기(420(k))는 위의 수학식 1 및 2에 따라 비공간 부대역 성분 Xn(k) 및 공간 부대역 성분 Xs(k)를 생성하고, M/S 대 L/R 변환기(440(k))는 다음의 수식에 따라 주파수 부대역 k의 향상된 좌측 부대역 성분 YL(k) 및 향상된 우측 부대역 성분 YR(k)을 생성한다.
Figure pct00006
Figure pct00007
일 실시예에서, 수학식 1 및 수학식 2에서 XL(k) 및 XR(k)이 교체될 수 있고, 이 경우에 수학식 5 및 수학식 6에서 YL(k) 및 YR(k)가 또한 교체된다.
다음의 수식에 따라, 주파수 대역 결합기(450)는 M/S 대 L/R 변환기(440)와 상이한 주파수 대역에서 향상된 좌측 부대역 성분을 결합하여 좌측 공간적으로 향상된 오디오 채널 YL을 생성하고 M/S 대 L/R 변환기(440)와 상이한 주파수 대역에서 향상된 우측 부대역 성분을 결합하여 우측 공간적으로 향상된 오디오 채널 YR을 생성한다.
Figure pct00008
Figure pct00009
위에서 설명된 바와 같이, 도 4의 실시예에서 입력 채널 XL, XR은 4개의 주파수 부대역으로 분할되는 반면, 다른 실시예에서, 입력 채널 XL, XR은 상이한 개수의 주파수 부대역으로 분할될 수 있다.
도 5는 일 실시예에 따른 부대역 공간 오디오 프로세서(230)에 의해 수행될 수 있는, 부대역 공간 향상을 수행하기 위한 예시의 알고리즘을 도시한다. 일부 실시예에서, 부대역 공간 오디오 프로세서(230)는 단계들을 동시에 수행하고, 단계들을 다른 순서로 수행하거나, 상이한 단계들을 수행할 수 있다.
부대역 공간 오디오 프로세서(230)는 입력 채널 XL, XR을 포함하는 입력 신호를 수신한다. 부대역 공간 오디오 프로세서(230)는 k 주파수 부대역, 예를 들어, 0 내지 300Hz, 300 내지 510Hz, 510 내지 2700Hz 및 2700 내지 나이퀴스트 주파수 각각에 따라, 입력 채널 XL을 XL(k)(예를 들어, k=4) 부대역 성분, 예를 들어, XL(1), XL(2), XL(3), XL(4)으로 분할하고, 입력 채널 XR(k)을 부대역 성분, 예를 들어, XR(1), XR(2), XR(3), XR(4)으로 분할한다(510).
부대역 공간 오디오 프로세서(230)는 각각의 주파수 부대역 k에 대해 부대역 성분에 대해 부대역 공간 향상을 수행한다. 구체적으로, 부대역 공간 오디오 프로세서(230)는, 각각의 부대역 k에 대해, 예를 들어, 위의 수학식 1 및 수학식 2에 따라, 부대역 성분 XL(k), XR(k)에 기초하여 공간 부대역 성분 Xs(k) 및 비공간 부대역 성분 Xn(k)을 생성한다(515). 또한, 부대역 공간 오디오 프로세서(230)는, 부대역 k에 대해, 예를 들어, 위의 수학식 3 및 수학식 4에 따라, 공간 부대역 성분 Xs(k) 및 비공간 부대역 성분 Xn(k)에 기초하여 향상된 공간 성분 Ys(k) 및 향상된 비공간 성분 Yn(k)을 생성한다(520). 또한, 부대역 공간 오디오 프로세서(230)는, 부대역 k에 대해, 예를 들어, 위의 수학식 5 및 수학식 6에 따라, 향상된 공간 성분 Ys(k) 및 향상된 비공간 성분 Yn(k)에 기초하여 향상된 부대역 성분 YL(k), YR(k)을 생성한다(525).
부대역 공간 오디오 프로세서(230)는 모든 향상된 부대역 성분 YL(k)을 결합함으로써 공간적으로 향상된 채널 YL을 생성하고 모든 향상된 부대역 성분 YR(k)을 결합함으로써 공간적으로 향상된 채널 YR을 생성한다(530).
도 6은 일 실시예에 따른 크로스토크 보상 프로세서(240)의 예시의 다이어그램을 도시한다. 크로스토크 보상 프로세서(240)는 입력 채널 XL 및 XR을 수신하고, 사전프로세싱을 수행하여 크로스토크 소거 프로세서(260)에 의해 수행되는 후속 크로스토크 소거에서의 임의의 결함을 사전보상한다. 일 실시예에서, 크로스토크 보상 프로세서(240)는 좌측 및 우측 신호 결합기(610)("L&R 결합기(610)"로서 또한 지칭됨), 및 비공간 성분 프로세서(620)을 포함한다.
L&R 결합기(610)는 좌측 입력 오디오 채널 XL 및 우측 입력 오디오 채널 XR을 수신하고, 입력 채널 XL, XR의 비공간 성분 Xn을 생성한다. 개시된 실시예의 하나의 양상에서, 비공간 성분 Xn은 좌측 입력 채널 XL과 우측 입력 채널 XR 사이의 상관된 부분에 대응한다. L&R 결합기(610)는 좌측 입력 채널 XL 및 우측 입력 채널 XR을 추가하여 다음의 수식에 도시된 입력 오디오 채널 XL, XR의 비공간 성분 Xn에 대응하는 상관된 부분을 생성한다.
Figure pct00010
비공간 성분 프로세서(620)는 비공간 성분 Xn을 수신하고, 비공간 성분 Xn에 대한 비공간 향상을 수행하여 크로스토크 보상 신호 Z를 생성한다. 개시된 실시예의 하나의 양상에서, 비공간 성분 프로세서(620)는 입력 채널 XL, XR의 비공간 성분 Xn에 대한 사전프로세싱을 수행하여 후속 크로스토크 소거에서의 임의의 결함을 보상한다. 후속 크로스토크 소거의 비공간 신호 성분의 주파수 응답 플롯은 시뮬레이션을 통해 획득될 수 있다. 또한, 주파수 응답 플롯을 분석함으로써, 크로스토크 소거의 결함으로서 발생한 사전결정된 임계치(예를 들어, 10dB)를 넘는 주파수 응답 플롯에서의 피크 또는 트로프와 같은 임의의 스펙트럼 결함이 추정될 수 있다. 이들 결함은 크로스토크 소거 프로세서(260)에서 대응하는 동측 신호를 갖는 지연되고 반전된 대측 신호의 합으로부터 주로 야기된다. 크로스토크 보상 신호 Z가 비공간 성분 프로세서(620)에 의해 생성되어 추정된 피크 또는 트로프를 보상할 수 있다. 특히, 특정 지연에 기초하여, 크로스토크 소거 프로세서(260)에서 적용된 필터링 주파수, 및 이득, 주파수 응답에서 위 아래로 이동하는 피크 및 트로프는 스펙트럼의 특정 영역에서의 에너지의 가변 증폭 및/또는 감쇠를 야기한다.
일 구현예에서, 비공간 성분 프로세서(620)는 크로스토크 보상 신호 Z를 생성하여 크로스토크 소거의 추정된 스펙트럼 결함을 보상하는 증폭기(660), 필터(670) 및 지연 유닛(680)을 포함한다. 일례의 구현예에서, 증폭기(660)는 이득 계수 Gn에 의해 비공간 성분 Xn을 증폭시키고, 필터(670)는 증폭된 비공간 성분 Gn*Xn에 대해 2차 피킹 EQ 필터 F[]를 수행한다. 필터(670)의 출력은 지연 함수 D에 의해 지연 유닛(680)에 의해 지연될 수 있다. 필터, 증폭기, 및 지연 유닛은 임의의 순차로 케스케이드로 배열될 수 있다. 필터, 증폭기, 및 지연 유닛은 조정가능한 구성(예를 들어, 중심 주파수, 컷오프 주파수, 이득 계수, 지연 양 등)에 의해 구현될 수 있다. 일례에서, 비공간 성분 프로세서(620)는 이하의 수식에 따라 크로스토크 보상 신호 Z를 생성한다.
Figure pct00011
위에서 도 2a와 관련하여 설명된 바와 같이, 크로스토크 소거를 보상하는 구성은 예를 들어, 제 1 룩업 테이블과 같은 다음의 표 2 및 표 3에 따라, 스피커 파라미터(204)에 의해 결정될 수 있다.
Figure pct00012
Figure pct00013
일례에서, 청취자에 대해 두 스피커(280) 사이에 형성된 각도에 따라, 스피커의 특정 유형에 대해(소형/휴대용 스피커 또는 대형 스피커), 필터(670)의 필터 중심 주파수, 필터 이득 및 품질 계수가 결정될 수 있다. 일부 실시예에서, 스피커 각도 사이의 값은 다른 값을 보간하는데 사용될 수 있다.
일부 실시예에서, 비공간 성분 프로세서(620)는 부대역 공간 오디오 프로세서(230)(예를 들어, 중간/측 프로세서(430))로 통합될 수 있고 하나 이상의 주파수 부대역에 대한 후속 크로스토크 소거의 스펙트럼 결함을 보상한다.
도 7은 일 실시예에 따른 크로스토크 보상 프로세서(240)에 의해 수행될 수 있는, 크로스토크 소거에 대한 보상을 수행하는 예시의 방법을 도시한다. 일부 실시예에서, 크로스토크 보상 프로세서(240)는 단계들을 동시에 수행하고, 상이한 순서로 단계들을 수행하거나, 상이한 단계들을 수행할 수 있다.
크로스토크 보상 프로세서(240)는 입력 채널 XL 및 XR을 포함하는 입력 오디오 신호를 수신한다. 크로스토크 보상 프로세서(240)는 예를 들어, 위의 수학식 9에 따라, 입력 채널 XL과 XR 사이의 비공간 성분 Xn을 생성한다(710).
크로스토크 보상 프로세서(240)는 위의 도 6과 관련하여 상술된 바와 같이 크로스토크 보상을 수행하기 위한 구성(예를 들어, 필터 파라미터)을 결정한다(720). 크로스토크 보상 프로세서(240)는 크로스토크 보상 신호 Z를 생성하여(730) 입력 신호 XL 및 XR에 적용되는 후속 크로스토크 소거의 주파수 응답에서의 추정된 스펙트럼 결함을 보상한다.
도 8은 일 실시예에 따라 크로스토크 소거 프로세서(260)의 예시의 다이어그램을 도시한다. 크로스토크 소거 프로세서(260)는 입력 채널 TL, TR을 포함하는 입력 오디오 신호 T를 수신하고 채널 TL, TR에 대한 크로스토크 소거를 생성하여 출력 채널 OL, OR(예를 들어, 좌측 및 우측 채널)을 포함하는 출력 오디오 신호 O를 생성한다. 입력 오디오 신호 T는 도 2b의 결합기(250)로부터 출력될 수 있다. 대안으로, 입력 오디오 신호 T는 부대역 공간 오디오 프로세서(230)로부터의 공간적으로 향상된 오디오 신호 Y가 될 수 있다. 일 실시예에서, 크로스토크 소거 프로세서(260)는 주파수 대역 분할기(810), 인버터(820A, 820B), 대측 추정기(825A, 825B), 및 주파수 대역 결합기(840)를 포함한다. 하나의 접근방식에서, 이들 구성요소는 함께 동작하여 입력 채널 TL, TR을 분할하여 대역내 성분 및 대역외 성분으로 분할하고, 대역내 성분에 대해 크로스토크 소거를 수행하여 출력 채널 OL, OR을 생성한다.
입력 오디오 신호 T를 상이한 주파수 대역 성분으로 분할하고 선택적인 성분(예를 들어, 대역내 성분)에 대해 크로스토크 소거를 수행함으로써, 다른 주파수 대역에서의 열화를 제거하는 동안 특정 주파수 대역에 대해 크로스토크 소거가 수행될 수 있다. 입력 오디오 신호 T를 상이한 주파수 대역으로 분할하는 것 없이 크로스토크 소거가 수행되면, 이러한 크로스토크 소거 이후에 오디오 신호는 저주파수(예를 들어, 350 Hz 미만), 고주파수(예를 들어, 12000 Hz 초과), 또는 둘 다에서 비공간 및 공간 성분에서의 상당한 감쇠 또는 증폭을 나타낼 수 있다. 대다수의 영향력있는 공간 큐(cues)가 존재하는 대역내(예를 들어, 250 Hz와 14000 Hz 사이)에 대해 크로스토크 소거를 선택적으로 수행함으로써, 혼합에서의 스펙트럼 전반의 안정적인 전체 에너지가 특히 비공간 성분에서 유지될 수 있다.
하나의 구성에서, 주파수 대역 분할기(810) 또는 필터뱅크는 입력 채널 TL, TR을 대역내 채널 TL,In, TR,In 및 대역외 채널 TL,Out, TR,Out 각각으로 분할한다. 특히, 주파수 대역 분할기(810)는 좌측 입력 채널 TL을 좌측 대역내 채널 TL,In 및 좌측 대역외 채널 TL,Out으로 분할한다. 유사하게, 주파수 대역 분할기(810)는 우측 입력 채널 TR을 우측 대역내 채널 TR,In 및 우측 대역외 채널 TR,Out으로 분할한다. 각각의 대역내 채널은 예를 들어, 250 Hz 내지 14 kHz를 포함하는 주파수 영역에 대응하는 각각의 입력 채널의 일부를 포함할 수 있다. 주파수 대역의 범위는 예를 들어, 스피커 파라미터(204)에 따라 조정가능할 수 있다.
인버터(820A) 및 대측 추정기(825A)는 대측 소거 성분 SL을 생성하도록 함께 동작하여 좌측 대역내 채널 TL,In에 기인하여 대측 사운드 성분을 보상한다. 유사하게, 인버터(820B) 및 대측 추정기(825B)는 대측 소거 성분 SR을 생성하도록 함께 동작하여 우측 대역내 채널 TR,In에 기인하여 대측 사운드 성분을 보상한다.
하나의 접근 방식에서, 인버터(820A)는 대역내 채널 TL,In을 수신하고 수신된 대역내 채널 TL,In의 극성을 반전시켜 반전된 대역내 채널 TL,In'을 생성한다. 대측 추정기(825A)는 반전된 대역내 채널 TL,In'을 수신하고, 필터링을 통해 대측 사운드 성분에 대응하는 반전된 대역내 채널 TL,In'의 일부를 추출한다. 필터링은 반전된 대역내 채널 TL,In'에 대해 수행되기 때문에, 대측 추정기(825A)에 의해 추출된 부분은 대측 사운드 성분에 기여하는 대역내 채널 TL,In의 일부의 반전이 된다. 따라서, 대측 추정기(825A)에 의해 추출된 부분은 대측 소거 성분 SL이 되고, 대역내 채널 TL,In에 기인하여 대측 사운드 성분을 감소시키도록 대응 대역내 채널 TR,In에 추가될 수 있다. 일부 실시예에서, 인버터(820A) 및 대측 추정기(825A)가 상이한 순서로 구현된다.
인버터(820B) 및 대측 추정기(825B)는 대역내 채널 TR,In에 대해 유사한 동작을 수행하여 대측 소거 성분 SR을 생성한다. 따라서, 이들의 상세한 설명은 간결성을 위해 본원에서 생략되었다.
일례의 구현예에서, 대측 추정기(825A)는 필터(852A), 증폭기(854A), 및 지연 유닛(856A)을 포함한다. 필터(852A)는 반전된 입력 채널 TL,In'을 수신하고 필터링 함수 F를 통해 대측 사운드 성분에 대응하는 반전된 대역내 채널 TL,In'의 일부를 추출한다. 예시의 필터 구현예는 5000과 10000 Hz 사이에서 선택되는 중심 주파수, 및 0.5와 1.0 사이에서 선택되는 Q를 갖는 노치(Notch) 또는 상단(Highshelf) 필터이다. 데시벨에서의 이득(GdB)은 다음의 공식으로부터 도출될 수 있다.
Figure pct00014
여기서 D는 예를 들어, 48 KHz의 샘플링 레이트에서의, 샘플의 지연 유닛 856A/B에 의한 지연 양이다. 대안의 구현예는 5000과 10000 Hz 사이에서 선택된 결점 주파수(corner frequency), 및 0.5와 1.0 사이에서 선택된 Q를 갖는 저역 통과 필터이다. 또한, 증폭기(854A)는 대응하는 이득 계수 GL,In에 의해 추출된 부분을 증폭하고, 지연 유닛(856A)은 지연 함수 D에 따라 증폭기(854A)로부터의 증폭된 출력을 지연시켜 대측 소거 성분 SL을 생성한다. 대측 추정기(825B)는 반전된 대역내 채널 TR,In '에 대해 유사한 동작을 수행하여 대측 소거 성분 SR을 생성한다. 일례에서, 대측 추정기(825A, 825B)는 이하의 수식에 따라 대측 소거 성분 SL, SR을 생성한다.
Figure pct00015
Figure pct00016
위의 도 2a와 관련하여 상술된 바와 같이, 크로스토크 소거의 구성은 예를 들어, 제 2 룩업 테이블과 같은 다음의 표 4에 따라, 스피커 파라미터(204)에 의해 결정될 수 있다.
Figure pct00017
일례에서, 청취자에 대해 두 스피커(280) 사이에 형성된 각도에 따라, 필터 중심 주파수, 지연 양, 증폭기 이득, 및 필터 이득이 결정될 수 있다. 일부 실시예에서, 스피커 각도들 사이의 값들은 다른 값들을 보간하는데 사용될 수 있다.
결합기(830A)는 대측 소거 성분 SR을 좌측 대역내 채널 TL,In에 결합하여 좌측 대역내 보상 채널 CL을 생성하고, 결합기(830B)는 대측 소거 성분 SL을 우측 대역내 채널 TR,In에 결합하여 우측 대역내 보상 채널 CR을 생성한다. 주파수 대역 결합기(840)는 대역외 채널 TL,Out, TR,Out을 갖는 대역내 보상 채널 CL, CR을 결합하여 출력 오디오 채널 OL, OR을 각각 생성한다.
따라서, 출력 오디오 채널 OL은 대측 사운드에 기여하는 대역내 채널 TR,In의 일부의 반전에 대응하는 대측 소거 성분 SR을 포함하고, 출력 오디오 채널 OR은 대측 사운드에 기여하는 대역내 채널의 일부의 반전에 대응하는 대측 소거 성분 SL을 포함한다. 이 구성에서, 우측 귀에 도착한 출력 채널 OR에 따라 스피커(280R)에 의해 출력되는 동측 사운드 성분의 파두(wavefront)는 출력 채널 OL에 따라 스피커 (280L)에 의해 출력되는 대측 사운드 성분의 파두를 소거할 수 있다. 유사하게, 좌측 귀에 도착한 출력 채널 OL에 따라 스피커(280L)에 의해 출력되는 동측 사운드 성분의 파두는 출력 채널 OR에 따라 스피커(280R)에 의해 출력되는 대측 사운드 성분의 파두를 소거할 수 있다. 따라서, 동측 사운드 성분이 감소되어 공간 검출능을 향상시킬 수 있다.
도 9는 일 실시예에 따라 크로스토크 소거 프로세서(260)에 의해 수행될 수 있는 크로스토크 소거를 수행하는 예시의 방법을 도시한다. 일부 실시예에서, 크로스토크 소거 프로세서(260)는 단계들을 동시에 수행하고, 단계들을 상이한 순서로 수행하거나, 상이한 단계들을 수행할 수 있다.
크로스토크 소거 프로세서(260)는 입력 채널 TL, TR을 포함하는 입력 신호를 수신한다. 입력 신호는 결합기(250)로부터의 출력 TL, TR이 될 수 있다. 크로스토크 소거 프로세서(260)는 입력 채널 TL을 대역내 채널 TL,In 및 대역외 채널 TL,Out으로 분할한다(910). 유사하게, 크로스토크 소거 프로세서(260)는 입력 채널 TR을 대역내 채널 TR,In 및 대역외 채널 TR,Out으로 분할한다(915). 입력 채널 TL, TR은 위의 도 8과 관련하여 상술된 바와 같이, 주파수 대역 분할기(810)에 의해 대역내 채널 및 대역외 채널로 분할될 수 있다.
크로스토크 소거 프로세서(260)는 예를 들어, 위의 표 4 및 수학식 12에 따라, 대측 사운드 성분에 기여하는 대역내 채널 TL,In의 일부에 기초하여 크로스토크 소거 성분 SL을 생성한다(925). 유사하게, 크로스토크 소거 프로세서(260)는 예를 들어, 표 4 및 수학식 13에 따라, 대역내 채널 TR,In의 식별된 부분에 기초하여 대측 사운드 성분에 기여하는 크로스토크 소거 성분 SR을 생성한다(935).
크로스토크 소거 프로세서(260)는 대역내 채널 TL,In, 크로스토크 소거 성분 SR, 및 대역외 채널 TL,Out을 결합(940)함으로써 출력 오디오 채널 OL을 생성한다. 유사하게, 크로스토크 소거 프로세서(260)는 대역내 채널 TR,In, 크로스토크 소거 성분 SL, 및 대역외 채널 TR,Out을 결합(945)함으로써 출력 오디오 채널 OR을 생성한다.
출력 채널 OL, OR이 각각의 스피커에 제공되어 감소된 크로스토크 및 향상된 공간 검출능을 갖는 입체 음향을 재생성할 수 있다.
도 10 및 도 11은 크로스토크 소거에 기인한 스펙트럼 결함을 실증하는 예시의 주파수 응답 플롯을 도시한다. 하나의 양상에서, 크로스 소거의 주파수 응답은 빗형 필터 결함을 나타낸다. 이들 빗형 필터 결함은 신호의 공간 성분 및 비공간 성분에서의 반전된 응답을 나타낸다. 도 10은 48 KHz의 샘플링 레이트에서의 1 샘플 지연을 활용하는 크로스토크 소거로부터 야기된 결함을 도시하고, 도 11은 48 KHz의 샘플링 레이트에서의 6 샘플 지연을 활용하는 크로스토크 소거로부터 야기된 결함을 도시한다. 플롯(1010)은 백색 잡음 입력 신호의 주파수 응답이고, 플롯(1020)은 1 샘플 지연을 활용하는 크로스토크 소거의 비공간(상관된) 성분의 주파수 응답이고, 플롯(1030)은 1 샘플 지연을 활용하는 크로스토크 소거의 공간(비상관된) 성분의 주파수 응답이다. 플롯(1110)은 백색 잡음 입력 신호의 주파수 응답이고, 플롯(1120)은 6 샘플 지연을 활용하는 크로스토크 소거의 비공간(상관된) 성분의 주파수 응답이고, 플롯(1130)은 6 샘플 지연을 활용하는 크로스토크 소거의 공간(비상관된) 성분의 주파수 응답이다. 크로스토크 보상의 지연을 변경함으로써, 나이퀴스트 주파수 미만에서 발생하는 피크 및 트로프의 개수 및 중심 주파수가 변경될 수 있다.
도 12 및 도 13은 크로스토크 보상의 효과를 실증하는 예시의 주파수 응답 플롯을 도시한다. 플롯(1210)은 백색 잡음 입력 신호의 주파수 응답이고, 플롯(1220)은 크로스토크 보상 없이 1 샘플 지연을 활용하는 크로스토크 소거의 비공간(상관된) 성분의 주파수 응답이고, 플롯(1230)은 크로스토크 보상으로 1 샘플 지연을 활용하는 크로스토크 소거의 비공간(상관된) 성분의 주파수 응답이다. 플롯(1310)은 백색 잡음 입력 신호의 주파수 응답이고, 플롯(1320)은 크로스토크 보상 없이 6 샘플 지연을 활용하는 크로스토크 소거의 비공간(상관된) 성분의 주파수 응답이고, 플롯(1330)은 크로스토크 보상으로 6 샘플 지연을 활용하는 크로스토크 소거의 비공간(상관된) 성분의 주파수 응답이다. 일례에서, 크로스토크 보상 프로세서(240)는 트로프를 갖는 주파수 범위에 대한 비공간 성분에 피킹 필터를 적용하고 플롯(1230 및 1330)에 도시된 바와 같이 주파수 응답을 평평하게 하는 다른 주파수 범위에 대한 피크를 갖는 주파수 범위에 대해 비공간 성분에 노치 필터를 적용한다. 이로 인해, 중심 이동된(center-panned) 음악 요소의 더 안정적인 지각적 현존이 생성될 수 있다. 크로스토크 소거의 중심 주파수, 이득, 및 Q와 같은 다른 파라미터는 스피커 파라미터(204)에 따라 제 2 룩업 테이블(예를 들어, 위의 표 4)에 의해 결정될 수 있다.
도 14는 도 8에 도시된 주파수 대역 분할기의 절점 주파수를 변경하는 효과를 실증하는 예시의 주파수 응답을 도시한다. 플롯(1410)은 백색 잡음 입력 신호의 주파수 응답이고, 플롯(1420)은 350 내지 12000 Hz의 대역내 절점 주파수를 활용하는 크로스토크 소거의 비공간(상관된) 성분의 주파수 응답이고, 플롯(1430)은 200 내지 14000 Hz의 대역내 절점 주파수를 활용하는 크로스토크 소거의 비공간(상관된) 성분의 주파수 응답이다. 도 14에 도시된 바와 같이, 도 8의 주파수 대역 분할기(810)의 컷오프 주파수를 변경하는 것은 크로스토크 소거의 주파수 응답에 영향을 준다.
도 15 및 도 16은 도 8에 도시된 주파수 대역 분할기(810)의 효과를 실증하는 예시의 주파수 응답을 도시한다. 플롯(1510)은 백색 잡음 입력 신호의 주파수 응답이고, 플롯(1520)은 48 KHz 샘플링 레이트 및 350 내지 12000 Hz의 대역내 주파수 범위에서의 1 샘플 지연을 활용하는 크로스토크 소거의 비공간(상관된) 성분의 주파수 응답이고, 플롯(1530)은 주파수 대역 분할기(810) 없이 전체 주파수에 대한 48 KHz 샘플링 레이트에서의 1 샘플 지연을 활용하는 크로스토크 소거의 비공간(상관된) 성분의 주파수 응답이다. 플롯(1610)은 백색 잡음 입력 신호의 주파수 응답이고, 플롯(1620)은 48 KHz 샘플링 레이트 및 250 내지 14000 Hz의 대역내 주파수 범위에서 6 샘플 지연을 활용하는 크로스토크 소거의 비공간(상관된) 성분의 주파수 응답이고, 플롯(1630)은 주파수 대역 분할기(810) 없이 전체 주파수에 대해 48 KHz 샘플링 레이트에서 6 샘플 지연을 활용하는 크로스토크 소거의 비공간(상관된) 성분의 주파수 응답이다. 주파수 대역 분할기(810) 없이 크로스토크 소거를 적용함으로써, 플롯(1530)은 1000 Hz 미만의 상당한 억제 및 10000 Hz 초과의 리플(ripple)을 도시한다. 유사하게, 플롯(1630)은 400 Hz 미만의 상당한 억제 및 1000 Hz 초과의 리플을 도시한다. 주파수 대역 분할기(810)를 구현하고 선택된 주파수 대역에 대한 크로스토크 소거를 선택적으로 수행함으로써, 저주파수 영역(예를 들어, 1000 Hz 미만)에서의 억제 및 고주파수 영역(예를 들어, 10000 Hz 초과)에서의 리플은 플롯(1520) 및 (1620)에서 도시된 바와 같이 감소될 수 있다.
본 개시를 판독할 시에, 당업자는 또한 본원에 개시된 원리를 통해 추가적인 대안의 실시예를 이해할 것이다. 따라서, 특정 실시예 및 적용예가 도시되고 설명되었지만, 개시된 실시예가 본원에 개시된 정확한 구성 및 구성요소에 제한되지 않는다는 것을 이해할 것이다. 당업자에게 명백해질, 다양한 수정, 변경 및 변형이 본원에 개시된 범위로부터 벗어남이 없이 본원에 개시된 방법 및 장치의 배치, 동작 및 세부 사항에서 이루어질 수 있다.
본원에서 설명된 임의의 단계들, 동작들, 또는 프로세스는 하나 이상의 하드웨어 또는 소프트웨어 모듈, 단독으로 또는 다른 디바이스와의 조합으로 구현되거나 수행될 수 있다. 일 실시예에서, 소프트웨어 모듈은 개시된 임의의 또는 모든 단계들, 동작들, 또는 프로세스들을 수행하기 위한 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 매체(예를 들어, 비일시적 컴퓨터 판독가능 매체)를 포함하는 컴퓨터 프로그램 제품으로 구현된다.

Claims (25)

  1. 제 1 사운드 및 제 2 사운드를 생성하는 방법으로서,
    제 1 입력 채널 제 2 입력 채널을 포함하는 입력 오디오 신호를 수신하는 단계와,
    상기 제 1 입력 채널을 제 1 부대역 성분으로 분할하는 단계―상기 제 1 부대역 성분 각각은 주파수 대역 그룹의 하나의 주파수 대역에 대응함―와,
    상기 제 2 입력 채널을 제 2 부대역 성분으로 분할하는 단계―상기 제 2 부대역 성분 각각은 주파수 대역 그룹의 하나의 주파수 대역에 대응함―와,
    상기 주파수 대역 각각에 대해, 대응하는 제 1 부대역 성분과 대응하는 제 2 부대역 성분 사이의 상관된(correlated) 부분을 생성하는 단계와,
    상기 주파수 대역 각각에 대해, 대응하는 제 1 부대역 성분과 대응하는 제 2 부대역 성분 사이의 비상관된(non-correlated) 부분을 생성하는 단계와,
    상기 주파수 대역 각각에 대해, 상기 비상관된 부분에 대하여 상기 상관된 부분을 증폭시켜 향상된 공간(spatial) 성분 및 향상된 비공간(non-spatial) 성분을 획득하는 단계와,
    상기 주파수 대역 각각에 대해, 상기 향상된 공간 성분 및 상기 향상된 비공간 성분의 합을 구함으로써 향상된 제 1 부대역 성분을 생성하는 단계와,
    상기 주파수 대역 각각에 대해, 상기 향상된 공간 성분과 상기 향상된 비공간 성분 사이의 차를 구함으로써 향상된 제 2 부대역 성분을 생성하는 단계와,
    상기 주파수 대역의 향상된 제 1 부대역 성분을 결합함으로써 제 1 공간적으로 향상된 채널을 생성하는 단계와,
    상기 주파수 대역의 향상된 제 2 부대역 성분을 결합함으로써 제 2 공간적으로 향상된 채널을 생성하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    주파수 대역의 제 1 부대역 성분과 제 2 부대역 성분 사이의 상관된 부분은 상기 주파수 대역의 비공간적 정보를 포함하고,
    상기 주파수 대역의 상기 제 1 부대역 성분과 상기 제 2 부대역 성분 사이의 비상관된 부분은 상기 주파수 대역의 공간적 정보를 포함하는
    방법.
  3. 제 1 항에 있어서,
    상기 제 1 입력 채널과 상기 제 2 입력 채널 사이의 상관된 부분을 생성하는 단계와,
    상기 제 1 입력 채널과 상기 제 2 입력 채널 사이의 상관된 부분에 기초하여 크로스토크 보상 신호를 생성하는 단계와,
    상기 크로스토크 보상 신호를 상기 제 1 공간적으로 향상된 채널에 추가하여 제 1 사전보상된 채널을 생성하는 단계와,
    상기 크로스토크 보상 신호를 상기 제 2 공간적으로 향상된 채널에 추가하여 제 2 사전보상된 채널을 생성하는 단계를 더 포함하는
    방법.
  4. 제 3 항에 있어서,
    상기 크로스토크 보상 신호를 생성하는 단계는,
    상기 크로스토크 보상 신호를 생성하여 후속 크로스토크 소거의 주파수 응답에서의 추정된 스펙트럼 결함을 제거하는 단계를 포함하는
    방법.
  5. 제 3 항에 있어서,
    상기 제 1 사전보상된 채널을 대역내(inband) 주파수에 대응하는 제 1 대역내 채널 및 대역외(out of band) 주파수에 대응하는 제 1 대역외 채널로 분할하는 단계와,
    상기 제 2 사전보상된 채널을 상기 대역내 주파수에 대응하는 제 2 대역내 채널 및 상기 대역외 주파수에 대응하는 제 2 대역외 채널로 분할하는 단계와,
    제 1 크로스토크 소거 성분을 생성하여 상기 제 1 대역내 채널에 의해 제공된 제 1 대측 사운드 성분을 보상하는 단계와.
    제 2 크로스토크 소거 성분을 생성하여 상기 제 2 대역내 채널에 의해 제공된 제 2 대측 사운드 성분을 보상하는 단계와,
    상기 제 1 대역내 채널, 상기 제 2 크로스토크 소거 성분, 및 상기 제 1 대역외 채널을 결합하여 제 1 보상 채널을 생성하는 단계와,
    상기 제 2 대역내 채널, 상기 제 1 크로스토크 소거 성분, 및 상기 제 2 대역외 채널을 결합하여 제 2 보상 채널을 생성하는 단계를 더 포함하는
    방법.
  6. 제 5 항에 있어서,
    상기 제 1 크로스토크 소거 성분을 생성하는 단계는,
    상기 제 1 대역내 채널에 의해 제공된 상기 제 1 대측 사운드 성분을 추정하는 단계와,
    상기 추정된 제 1 대측 사운드 성분의 반전으로부터 상기 제 1 크로스토크 소거 성분을 생성하는 단계를 포함하고,
    상기 제 2 크로스크 소거 성분을 생성하는 단계는,
    상기 제 2 대역내 채널에 의해 제공된 상기 제 2 대측 사운드 성분을 추정하는 단계와,
    상기 추정된 제 2 대측 사운드 성분의 반전으로부터 상기 제 2 크로스토크 소거 성분을 생성하는 단계를 포함하는
    방법.
  7. 시스템으로서,
    부대역 공간 오디오 프로세서를 포함하되,
    상기 부대역 공간 오디오 프로세서는,
    제 1 입력 채널 및 제 2 입력 채널을 포함하는 입력 오디오 신호를 수신하고, 상기 제 1 입력 채널을 제 1 부대역 성분―상기 제 1 부대역 성분 각각은 주파수 대역 그룹의 하나의 주파수 대역에 대응함―으로 분할하고, 상기 제 2 입력 채널을 제 2 부대역 성분―상기 제 2 부대역 성분 각각은 주파수 대역 그룹의 하나의 주파수 대역에 대응함―으로 분할하도록 구성되는 주파수 대역 분할기와,
    상기 주파수 대역 분할기에 연결된 복수의 변환기―상기 복수의 변환기 각각은 상기 주파수 대역의 그룹의 대응하는 주파수 대역에 대해, 대응하는 제 1 부대역 성분과 대응하는 제 2 부대역 성분 사이의 상관된 부분을 생성하고, 상기 대응하는 주파수 대역에 대해, 상기 대응하는 제 1 부대역 성분과 상기 대응하는 제 2 부대역 성분 사이의 비상관된 부분을 생성하도록 구성됨―와,
    대응하는 주파수 대역에 대한 변환기에 각각 연결되는 복수의 부대역 프로세서―상기 복수의 부대역 프로세서 각각은 상기 대응하는 주파수 대역에 대해, 상기 비상관된 부분에 대하여 상기 상관된 부분을 증폭하여 향상된 공간 성분 및 향상된 비공간 성분을 획득하도록 구성됨―와,
    상기 대응하는 부대역 프로세서에 각각 연결된 복수의 역변환기―상기 복수의 역변환기 각각은 상기 대응하는 주파수 대역에 대해, 상기 향상된 공간 성분 및 상기 향상된 비공간 성분의 합을 획득함으로써 향상된 제 1 부대역 성분을 생성하고, 상기 대응하는 주파수 대역에 대해, 상기 향상된 공간 성분과 상기 향상된 비공간 성분 사이의 차를 획득함으로써 향상된 제 2 부대역 성분을 생성하도록 구성됨―와,
    상기 복수의 역변환기에 연결된 주파수 대역 결합기―상기 주파수 대역 결합기는 상기 주파수 대역의 향상된 제 1 부대역 성분을 결합함으로써 제 1 공간적으로 향상된 채널을 생성하고, 상기 주파수 대역의 향상된 제 2 부대역 성분을 결합함으로써 제 2 공간적으로 향상된 채널을 생성하도록 구성됨―를 포함하는
    시스템.
  8. 제 7 항에 있어서,
    주파수 대역의 제 1 부대역 성분과 제 2 부대역 성분 사이의 상관된 부분은 상기 주파수 대역의 비공간적인 정보를 포함하고,
    상기 주파수 대역의 상기 제 1 부대역 성분과 상기 제 2 부대역 성분 사이의 비상관된 부분은 상기 주파수 대역의 공간적 정보를 포함하는
    시스템.
  9. 제 7 항에 있어서,
    비공간 오디오 프로세서를 더 포함하되, 상기 비공간 오디오 프로세서는,
    상기 제 1 입력 채널과 상기 제 2 입력 채널 사이의 상관된 부분을 생성하고,
    상기 제 1 입력 채널과 상기 제 2 입력 채널 사이의 상기 상관된 부분에 기초하여 크로스토크 보상 신호를 생성하도록 구성되는
    시스템.
  10. 제 9 항에 있어서,
    상기 비공간 오디오 프로세서는,
    후속 크로스토크 소거의 주파수 응답에서 추정된 스펙트럼 결함을 제거하기 위해 상기 크로스토크 보상 신호를 생성함으로써 상기 크로스토크 보상 신호를 생성하는
    시스템.
  11. 제 10 항에 있어서,
    상기 부대역 공간 오디오 프로세서 및 상기 비공간 오디오 프로세서에 연결된 결합기를 더 포함하되, 상기 결합기는,
    상기 크로스토크 보상 신호를 상기 제 1 공간적으로 향상된 채널에 추가하여 제 1 사전보상된 채널을 생성하고,
    상기 크로스토크 보상 신호를 상기 제 2 공간적으로 향상된 채널에 추가하여 제 2 사전보상된 채널을 생성하도록 구성되는
    시스템.
  12. 제 11 항에 있어서,
    상기 결합기에 연결된 크로스토크 소거 프로세서를 더 포함하되, 상기 크로스토크 소거 프로세서는,
    상기 제 1 사전보상된 채널을 대역내 주파수에 대응하는 제 1 대역내 채널 및 대역외 주파수에 대응하는 제 1 대역외 채널로 분할하고,
    상기 제 2 사전보상된 채널을 상기 대역내 주파수에 대응하는 제 2 대역내 채널 및 상기 대역외 주파수에 대응하는 제 2 대역외 채널로 분할하고,
    제 1 크로스토크 소거 성분을 생성하여 상기 제 1 대역내 채널에 의해 제공된 제 1 대측 사운드 성분을 보상하고,
    제 2 크로스토크 소거 성분을 생성하여 상기 제 2 대역내 채널에 의해 제공된 제 2 대측 사운드 성분을 보상하고,
    상기 제 1 대역내 채널, 상기 제 2 크로스토크 소거 성분, 및 상기 제 1 대역외 채널을 결합하여 제 1 보상 채널을 생성하고,
    상기 제 2 대역내 채널, 상기 제 1 크로스토크 소거 성분, 및 상기 제 2 대역외 채널을 결합하여 제 2 보상 채널을 생성하도록 구성되는
    시스템.
  13. 제 12 항에 있어서,
    상기 크로스토크 소거 프로세서에 연결된 제 1 스피커―상기 제 1 스피커는 상기 제 1 보상 채널에 따라 제 1 사운드를 생성하도록 구성됨―와,
    상기 크로스토크 소거 프로세서에 연결된 제 2 스피커―상기 제 2 스피커는 상기 제 2 보상 채널에 따라 제 2 사운드를 생성하도록 구성됨―를 더 포함하는
    시스템.
  14. 제 12 항에 있어서,
    상기 크로스토크 소거 프로세서는,
    상기 제 1 대역내 채널의 반전을 생성하도록 구성된 제 1 인버터와,
    상기 제 1 인버터에 연결된 제 1 대측 추정기―상기 제 1 대측 추정기는 상기 제 1 대역내 채널에 의해 제공된 상기 제 1 대측 사운드 성분을 추정하고 상기 제 1 대역내 채널의 반전에 따라 상기 제 1 대측 사운드 성분의 반전에 대응하는 상기 제 1 크로스토크 소거 성분을 생성하도록 구성됨―와,
    상기 제 2 대역내 채널의 반전을 생성하도록 구성된 제 2 인버터와,
    상기 제 2 인버터에 연결된 제 2 대측 추정기―상기 제 2 대측 추정기는 상기 제 2 대역내 채널에 의해 제공된 상기 제 2 대측 사운드 성분을 추정하고 상기 제 2 대역내 채널의 반전에 따라 상기 제 2 대측 사운드 성분의 반전에 대응하는 상기 제 2 크로스토크 소거 성분을 생성하도록 구성됨―를 포함하는
    시스템.
  15. 프로그램 코드를 저장하도록 구성된 비일시적 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는 프로세서에 의해 실행될 때 상기 프로세서로 하여금,
    제 1 입력 채널 및 제 2 입력 채널을 포함하는 입력 오디오 신호를 수신하게 하고,
    상기 제 1 입력 채널을 제 1 부대역 성분―상기 제 1 부대역 성분 각각은 주파수 대역 그룹의 하나의 주파수 대역에 대응함―으로 분할하게 하고,
    상기 제 2 입력 채널을 제 2 부대역 성분―상기 제 2 부대역 성분 각각은 주파수 대역 그룹의 하나의 주파수 대역에 대응함―으로 분할하게 하고,
    상기 주파수 대역 각각에 대해, 대응하는 제 1 부대역 성분과 대응하는 제 2 부대역 성분 사이의 상관된 부분을 생성하게 하고,
    상기 주파수 대역 각각에 대해, 상기 대응하는 제 1 부대역 성분과 상기 대응하는 제 2 부대역 성분 사이의 비상관된 부분을 생성하게 하고,
    상기 주파수 대역 각각에 대해, 상기 비상관된 부분에 대하여 상기 상관된 부분을 증폭시켜 향상된 공간 성분 및 향상된 비공간 성분을 획득하게 하고,
    상기 주파수 대역 각각에 대해, 상기 향상된 공간 성분 및 상기 향상된 비공간 성분의 합을 구함으로써 향상된 제 1 부대역 성분을 생성하게 하고,
    상기 주파수 대역 각각에 대해, 상기 향상된 공간 성분과 상기 향상된 비공간 성분 사이의 차를 구함으로써 향상된 제 2 부대역 성분을 생성하게 하고,
    상기 주파수 대역의 향상된 제 1 부대역 성분을 결합함으로써 제 1 공간적으로 향상된 채널을 생성하게 하고,
    상기 주파수 대역의 향상된 제 2 부대역 성분을 결합함으로써 제 2 공간적으로 향상된 채널을 생성하게 하는 명령어를 포함하는
    비일시적 컴퓨터 판독가능 매체.
  16. 제 15 항에 있어서,
    주파수 대역의 제 1 부대역 성분과 제 2 부대역 성분 사이의 상관된 부분은 상기 주파수 대역의 비공간적 정보를 포함하고,
    상기 주파수 대역의 상기 제 1 부대역 성분과 상기 제 2 부대역 성분 사이의 비상관된 부분은 상기 주파수 대역의 공간적 정보를 포함하는
    비일시적 컴퓨터 판독가능 매체.

  17. 제 15 항에 있어서,
    상기 명령어는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    상기 제 1 입력 채널과 상기 제 2 입력 채널 사이의 상관된 부분을 생성하게 하고,
    상기 제 1 입력 채널과 상기 제 2 입력 채널 사이의 상관된 부분에 기초하여 크로스토크 보상 신호를 생성하게 하고,
    상기 크로스토크 보상 신호를 상기 제 1 공간적으로 향상된 채널에 추가하여 제 1 사전보상된 채널을 생성하게 하고,
    상기 크로스토크 보상 신호를 상기 제 2 공간적으로 향상된 채널에 추가하여 제 2 사전보상된 채널을 생성하게 하는
    비일시적 컴퓨터 판독가능 매체.
  18. 제 17 항에 있어서,
    상기 명령어는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 상기 크로스토크 보상 신호를 생성하게 하고, 또한,
    상기 크로스토크 보상 신호를 생성하여 후속 크로스토크 소거의 주파수 응답에서의 추정된 스펙트럼 결함을 제거하게 하는
    비일시적 컴퓨터 판독가능 매체.
  19. 제 17 항에 있어서,
    상기 명령어는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    상기 제 1 사전보상된 채널을 대역내 주파수에 대응하는 제 1 대역내 채널 및 대역외주파수에 대응하는 제 1 대역외 채널로 분할하게 하고,
    상기 제 2 사전보상된 채널을 상기 대역내 주파수에 대응하는 제 2 대역내 채널 및 상기 대역외 주파수에 대응하는 제 2 대역외 채널로 분할하게 하고,
    제 1 크로스토크 소거 성분을 생성하여 상기 제 1 대역내 채널에 의해 제공된 제 1 대측 사운드 성분을 보상하게 하고,
    제 2 크로스토크 소거 성분을 생성하여 상기 제 2 대역내 채널에 의해 제공된 제 2 대측 사운드 성분을 보상하게 하고,
    상기 제 1 대역내 채널, 상기 제 2 크로스토크 소거 성분, 및 상기 제 1 대역외 채널을 결합하여 제 1 보상 채널을 생성하게 하고,
    상기 제 2 대역내 채널, 상기 제 1 크로스토크 소거 성분, 및 상기 제 2 대역외 채널을 결합하여 제 2 보상 채널을 생성하게 하는
    비일시적 컴퓨터 판독가능 매체.
  20. 제 19 항에 있어서,
    상기 명령어는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 상기 제 1 크로스토크 소거 성분을 생성하게 하고, 또한,
    상기 제 1 대역내 채널에 의해 제공된 상기 제 1 대측 사운드 성분을 추정하게 하고,
    상기 추정된 제 1 대측 사운드 성분의 반전을 포함하는 상기 제 1 크로스토크 소거 성분을 생성하게 하고,
    상기 명령어는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 상기 제 2 크로스토크 소거 성분을 생성하게 하고, 또한,
    상기 제 2 대역내 채널에 의해 제공된 상기 제 2 대측 사운드 성분을 추정하게 하고,
    상기 추정된 제 2 대측 사운드 성분의 반전을 포함하는 상기 제 2 크로스토크 소거 성분을 생성하게 하는
    비일시적 컴퓨터 판독가능 매체.
  21. 제 1 스피커 및 제 2 스피커에 의한 오디오 신호 출력을 위한 크로스토크 소거 방법으로서,
    상기 제 1 스피커 및 상기 제 2 스피커에 대해 스피커 파라미터를 결정하는 단계―상기 스피커 파라미터는 상기 제 1 스피커와 상기 제 2 스피커 사이의 청취 각도를 포함함―와,
    상기 오디오 신호를 수신하는 단계와,
    입력 오디오 신호의 복수의 주파수 대역에 대한 보상 신호를 생성하는 단계―상기 보상 신호는 상기 입력 오디오 신호에 적용되는 크로스토크 소거로부터 각각의 주파수 대역에서 추정된 스펙트럼 결함을 제거하고, 상기 크로스토크 소거 및 상기 보상 신호는 상기 스피커 파라미터에 기초하여 결정됨―와,
    상기 보상 신호를 상기 입력 오디오 신호에 추가함으로써 상기 크로스토크 소거를 위해 상기 입력 오디오 신호를 사전보상하여 사전보상된 신호를 생성하는 단계와,
    상기 스피커 파라미터에 기초하여 상기 사전보상된 신호에 대한 상기 크로스토크 소거를 수행하여 크로스토크 소거된 오디오 신호를 생성하는 단계를 포함하는
    방법.
  22. 제 21 항에 있어서,
    상기 보상 신호를 생성하는 단계는, 상기 제 1 스피커와 상기 청취자 사이의 제 1 거리, 상기 제 2 스피커와 상기 청취자 사이의 제 2 거리, 및 상기 제 1 스피커 및 상기 제 2 스피커의 각각의 출력 주파수 범위 중 적어도 하나에 기초하여 상기 보상 신호를 생성하는 단계를 더 포함하는
    방법.
  23. 제 21 항에 있어서,
    상기 스피커 파라미터에 기초하여 상기 사전보상된 신호에 대한 상기 크로스토크 소거를 수행하여 상기 크로스토크 소거된 오디오 신호를 생성하는 단계는,
    상기 스피커 파라미터에 기초하여 컷오프 주파수, 상기 크로스토크 소거의 지연, 및 상기 크로스토크 소거의 이득을 결정하는 단계를 더 포함하는
    방법.
  24. 제 21 항에 있어서,
    상기 복수의 주파수 대역 중 하나의 주파수 대역에 대해, 상기 오디오 신호의 좌측 채널과 우측 채널 사이의 비상관된 부분에 대하여 상기 오디오 신호의 좌측 채널과 우측 채널 사이의 상관된 부분을 조정하는 단계를 더 포함하는
    방법.
  25. 제 21 항에 있어서,
    상기 스피커 파라미터에 기초하여 상기 사전보상된 신호에 대한 상기 크로스토크 소거를 수행하여 상기 크로스토크 소거된 오디오 신호를 생성하는 단계는,
    상기 사전보상된 신호의 제 1 사전보상된 채널을 대역내 주파수에 대응하는 제 1 대역내 채널 및 대역외 주파수에 대응하는 제 1 대역외 채널로 분할하는 단계와,
    상기 사전보상된 신호의 제 2 사전보상된 채널을 상기 대역내 주파수에 대응하는 제 2 대역내 채널 및 상기 대역외 주파수에 대응하는 제 2 대역외 채널로 분할하는 단계와,
    상기 제 1 대역내 채널에 의해 제공된 제 1 대측 사운드 성분을 추정하는 단계와,
    상기 제 2 대역내 채널에 의해 제공된 제 2 대측 사운드 성분을 추정하는 단계와,
    상기 추정된 제 1 대측 사운드 성분에 기초하여 제 1 크로스토크 소거 성분을 생성하는 단계와,
    상기 추정된 제 2 대측 사운드 성분에 기초하여 제 2 크로스토크 소거 성분을 생성하는 단계와,
    상기 제 1 대역내 채널, 상기 제 2 크로스토크 소거 성분, 및 상기 제 1 대역외 채널을 결합하여 제 1 보상된 채널을 생성하는 단계와,
    상기 제 2 대역내 채널, 상기 제 1 크로스토크 소거 성분, 및 상기 제 2 대역외 채널을 결합하여 제 2 보상된 채널을 생성하는 단계를 더 포함하는
    방법.
KR1020177031417A 2016-01-18 2017-01-11 오디오 재생성을 위한 부대역 공간 및 크로스토크 제거 기법 KR101858917B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662280119P 2016-01-18 2016-01-18
US62/280,119 2016-01-18
US201662388366P 2016-01-29 2016-01-29
US62/388,366 2016-01-29
PCT/US2017/013061 WO2017127271A1 (en) 2016-01-18 2017-01-11 Subband spatial and crosstalk cancellation for audio reproduction

Publications (2)

Publication Number Publication Date
KR20170126105A true KR20170126105A (ko) 2017-11-16
KR101858917B1 KR101858917B1 (ko) 2018-06-28

Family

ID=59362011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177031417A KR101858917B1 (ko) 2016-01-18 2017-01-11 오디오 재생성을 위한 부대역 공간 및 크로스토크 제거 기법

Country Status (10)

Country Link
EP (2) EP3780653A1 (ko)
JP (2) JP6479287B1 (ko)
KR (1) KR101858917B1 (ko)
CN (2) CN112235695B (ko)
AU (2) AU2017208909B2 (ko)
BR (1) BR112018014632B1 (ko)
CA (2) CA3011628C (ko)
NZ (2) NZ750171A (ko)
TW (2) TWI620172B (ko)
WO (1) WO2017127271A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200083640A (ko) * 2017-11-29 2020-07-08 붐클라우드 360, 인코포레이티드 대향하는 트랜스오럴 라우드스피커 시스템에서의 크로스토크 소거
KR20200137020A (ko) * 2017-11-29 2020-12-08 붐클라우드 360, 인코포레이티드 크로스토크 처리 b 체인
KR20210012042A (ko) * 2018-06-20 2021-02-02 붐클라우드 360, 인코포레이티드 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101858917B1 (ko) * 2016-01-18 2018-06-28 붐클라우드 360, 인코포레이티드 오디오 재생성을 위한 부대역 공간 및 크로스토크 제거 기법
CN110718237B (zh) * 2018-07-12 2023-08-18 阿里巴巴集团控股有限公司 串音数据检测方法和电子设备
US10715915B2 (en) * 2018-09-28 2020-07-14 Boomcloud 360, Inc. Spatial crosstalk processing for stereo signal
US10841728B1 (en) 2019-10-10 2020-11-17 Boomcloud 360, Inc. Multi-channel crosstalk processing
US11032644B2 (en) * 2019-10-10 2021-06-08 Boomcloud 360, Inc. Subband spatial and crosstalk processing using spectrally orthogonal audio components
US11533560B2 (en) * 2019-11-15 2022-12-20 Boomcloud 360 Inc. Dynamic rendering device metadata-informed audio enhancement system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080273721A1 (en) * 2007-05-04 2008-11-06 Creative Technology Ltd Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems
US20090262947A1 (en) * 2008-04-16 2009-10-22 Erlendur Karlsson Apparatus and Method for Producing 3D Audio in Systems with Closely Spaced Speakers
JP4887420B2 (ja) * 2006-03-13 2012-02-29 ドルビー ラボラトリーズ ライセンシング コーポレイション 中央チャンネルオーディオのレンダリング
KR20120077763A (ko) * 2010-12-31 2012-07-10 삼성전자주식회사 공간 음향에너지 분포 제어장치 및 방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9622773D0 (en) * 1996-11-01 1997-01-08 Central Research Lab Ltd Stereo sound expander
JP3368836B2 (ja) * 1998-07-31 2003-01-20 オンキヨー株式会社 音響信号処理回路および方法
WO2003104924A2 (en) * 2002-06-05 2003-12-18 Sonic Focus, Inc. Acoustical virtual reality engine and advanced techniques for enhancing delivered sound
US20050265558A1 (en) * 2004-05-17 2005-12-01 Waves Audio Ltd. Method and circuit for enhancement of stereo audio reproduction
EP1752017A4 (en) * 2004-06-04 2015-08-19 Samsung Electronics Co Ltd APPARATUS AND METHOD FOR REPRODUCING LARGE STEREO SOUND
JP4509686B2 (ja) * 2004-07-29 2010-07-21 新日本無線株式会社 音響信号処理方法および装置
GB2419265B (en) * 2004-10-18 2009-03-11 Wolfson Ltd Improved audio processing
EP1942582B1 (en) * 2005-10-26 2019-04-03 NEC Corporation Echo suppressing method and device
WO2007110103A1 (en) * 2006-03-24 2007-10-04 Dolby Sweden Ab Generation of spatial downmixes from parametric representations of multi channel signals
US8619998B2 (en) * 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
EP1858296A1 (en) * 2006-05-17 2007-11-21 SonicEmotion AG Method and system for producing a binaural impression using loudspeakers
JP4841324B2 (ja) 2006-06-14 2011-12-21 アルパイン株式会社 サラウンド生成装置
US8306243B2 (en) * 2007-08-13 2012-11-06 Mitsubishi Electric Corporation Audio device
CN101884065B (zh) * 2007-10-03 2013-07-10 创新科技有限公司 用于双耳再现和格式转换的空间音频分析和合成的方法
JP4655098B2 (ja) 2008-03-05 2011-03-23 ヤマハ株式会社 音声信号出力装置、音声信号出力方法およびプログラム
US9247369B2 (en) * 2008-10-06 2016-01-26 Creative Technology Ltd Method for enlarging a location with optimal three-dimensional audio perception
JPWO2010076850A1 (ja) * 2009-01-05 2012-06-21 パナソニック株式会社 音場制御装置及び音場制御方法
US9107021B2 (en) * 2010-04-30 2015-08-11 Microsoft Technology Licensing, Llc Audio spatialization using reflective room model
JP5957446B2 (ja) 2010-06-02 2016-07-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 音響処理システム及び方法
WO2012036912A1 (en) * 2010-09-03 2012-03-22 Trustees Of Princeton University Spectrally uncolored optimal croostalk cancellation for audio through loudspeakers
JP5587706B2 (ja) * 2010-09-13 2014-09-10 クラリオン株式会社 音響処理装置
CN103329571B (zh) * 2011-01-04 2016-08-10 Dts有限责任公司 沉浸式音频呈现系统
EP2560161A1 (en) * 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
CN102737647A (zh) * 2012-07-23 2012-10-17 武汉大学 双声道音频音质增强编解码方法及装置
CN103928030B (zh) * 2014-04-30 2017-03-15 武汉大学 基于子带空间关注测度的可分级音频编码系统及方法
KR101858917B1 (ko) * 2016-01-18 2018-06-28 붐클라우드 360, 인코포레이티드 오디오 재생성을 위한 부대역 공간 및 크로스토크 제거 기법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4887420B2 (ja) * 2006-03-13 2012-02-29 ドルビー ラボラトリーズ ライセンシング コーポレイション 中央チャンネルオーディオのレンダリング
US20080273721A1 (en) * 2007-05-04 2008-11-06 Creative Technology Ltd Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems
US20090262947A1 (en) * 2008-04-16 2009-10-22 Erlendur Karlsson Apparatus and Method for Producing 3D Audio in Systems with Closely Spaced Speakers
KR20120077763A (ko) * 2010-12-31 2012-07-10 삼성전자주식회사 공간 음향에너지 분포 제어장치 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200083640A (ko) * 2017-11-29 2020-07-08 붐클라우드 360, 인코포레이티드 대향하는 트랜스오럴 라우드스피커 시스템에서의 크로스토크 소거
KR20200137020A (ko) * 2017-11-29 2020-12-08 붐클라우드 360, 인코포레이티드 크로스토크 처리 b 체인
US11218806B2 (en) 2017-11-29 2022-01-04 Boomcloud 360, Inc. Crosstalk cancellation for opposite-facing transaural loudspeaker systems
US11689855B2 (en) 2017-11-29 2023-06-27 Boomcloud 360, Inc. Crosstalk cancellation for opposite-facing transaural loudspeaker systems
US12069454B2 (en) 2017-11-29 2024-08-20 Boomcloud 360, Inc. Subband spatial processing for outward-facing transaural loudspeaker systems
KR20210012042A (ko) * 2018-06-20 2021-02-02 붐클라우드 360, 인코포레이티드 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상

Also Published As

Publication number Publication date
CN108886650A (zh) 2018-11-23
TW201732785A (zh) 2017-09-16
TWI646530B (zh) 2019-01-01
JP2019083570A (ja) 2019-05-30
WO2017127271A1 (en) 2017-07-27
CN112235695A (zh) 2021-01-15
CN112235695B (zh) 2022-04-15
NZ745415A (en) 2019-03-29
TW201804462A (zh) 2018-02-01
EP3406084A1 (en) 2018-11-28
KR101858917B1 (ko) 2018-06-28
JP6479287B1 (ja) 2019-03-06
JP6832968B2 (ja) 2021-02-24
AU2019202161A1 (en) 2019-04-18
AU2017208909A1 (en) 2018-09-06
JP2019508978A (ja) 2019-03-28
AU2019202161B2 (en) 2020-09-03
EP3780653A1 (en) 2021-02-17
EP3406084A4 (en) 2019-08-14
TWI620172B (zh) 2018-04-01
CA3011628A1 (en) 2017-07-27
EP3406084B1 (en) 2020-08-26
WO2017127271A8 (en) 2018-08-02
CN108886650B (zh) 2020-11-03
CA3034685A1 (en) 2017-07-27
CA3011628C (en) 2019-04-09
NZ750171A (en) 2022-04-29
AU2017208909B2 (en) 2019-01-03
BR112018014632A2 (pt) 2018-12-11
BR112018014632B1 (pt) 2020-12-29

Similar Documents

Publication Publication Date Title
US10721564B2 (en) Subband spatial and crosstalk cancellation for audio reporoduction
KR101858917B1 (ko) 오디오 재생성을 위한 부대역 공간 및 크로스토크 제거 기법
KR102548014B1 (ko) 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상
US6005946A (en) Method and apparatus for generating a multi-channel signal from a mono signal
CN111492669B (zh) 用于相反朝向跨耳扬声器系统的串扰消除
CN109791773B (zh) 音频输出产生系统、音频通道输出方法和计算机可读介质
KR102390157B1 (ko) 스테레오 신호를 위한 공간 크로스토크 처리

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right