KR102195586B1 - 라우드스피커를 위한 다중 채널 부대역 공간 처리 기법 - Google Patents

라우드스피커를 위한 다중 채널 부대역 공간 처리 기법 Download PDF

Info

Publication number
KR102195586B1
KR102195586B1 KR1020207030276A KR20207030276A KR102195586B1 KR 102195586 B1 KR102195586 B1 KR 102195586B1 KR 1020207030276 A KR1020207030276 A KR 1020207030276A KR 20207030276 A KR20207030276 A KR 20207030276A KR 102195586 B1 KR102195586 B1 KR 102195586B1
Authority
KR
South Korea
Prior art keywords
channel
input channel
peripheral input
band
gain
Prior art date
Application number
KR1020207030276A
Other languages
English (en)
Other versions
KR20200126429A (ko
Inventor
재커리 셀데스
Original Assignee
붐클라우드 360, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 붐클라우드 360, 인코포레이티드 filed Critical 붐클라우드 360, 인코포레이티드
Publication of KR20200126429A publication Critical patent/KR20200126429A/ko
Application granted granted Critical
Publication of KR102195586B1 publication Critical patent/KR102195586B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H04R3/14—Cross-over networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

오디오 시스템은 다중 채널 서라운드 사운드 입력 오디오 신호를 입력 오디오 신호의 음장의 공간 감각을 유지하면서 좌측 및 우측 스피커에 대한 스테레오 신호로 처리한다. 입력 신호의 좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널에 대해 부대역 공간 처리가 수행되어 공간 향상 채널을 생성한다. 주변 입력 채널 또는 공간 향상 채널에 바이노럴 필터가 적용될 수 있다. 공간 향상 채널에 대해 크로스토크 제거가 수행되어 좌측 크로스토크 제거 채널 및 우측 크로스토크 제거 채널을 생성한다.

Description

라우드스피커를 위한 다중 채널 부대역 공간 처리 기법
본 발명의 실시예는 일반적으로 오디오 신호 처리 분야에 관한 것이고, 구체적으로는 공간적으로 향상된 다중 채널 오디오에 관한 것이다.
서라운드 사운드는 청취자 주위에 배치된 스피커를 사용하는 다중 채널을 포함하는 오디오 신호의 사운드 재생을 지칭한다. 예를 들어, 5.1 서라운드 사운드는 전면 스피커, 좌측 및 우측 스피커, 서브우퍼(subwoofer), 후면(또는 "서라운드") 좌측 및 후면 우측 스피커에 대한 6개의 채널을 사용한다. 다른 예로, 7.1 서라운드 사운드는 5.1 서라운드 사운드 구성의 후면 좌측 및 우측 스피커를 좌측 서라운드 스피커, 우측 서라운드 스피커, 좌측 후면 서라운드 스피커 및 우측 후면 서라운드 스피커와 같은 4개의 개별 스피커로 분리함으로써 8개의 채널을 사용한다. 다중 채널 오디오 신호의 오디오 채널은 오디오 채널이 출력되는 스피커의 위치에 대응하는 각도 위치와 연관될 수 있다. 따라서, 다중 채널 오디오 신호는 오디오 신호가 상이한 위치에 있는 스피커로 출력될 때 청취자가 음장의 공간 감각을 인지할 수 있게 한다. 그러나, 서라운드 사운드용 다중 채널 오디오 신호가 스테레오(예컨대, 좌측 및 우측) 라우드스피커 또는 머리 장착형 스피커로 출력되면 공간 감각이 손실될 수 있다.
예시적인 실시예는 (예컨대, 서라운드 사운드) 다중 채널 입력 오디오 신호의 음장의 공간 감각을 보존하거나 향상시키면서 다중 채널 입력 오디오 신호를 좌측 및 우측 스피커를 위한 스테레오 출력 신호로 처리하는 것에 관한 것이다. 무엇보다도, 이 처리는, 오디오 신호의 각 채널이 서라운드 사운드 시스템(예컨대, 5.1, 7.1 등)에서 오디오 신호가 렌더링되는 경우에 발생하는 것과 동일하거나 유사한 방향으로부터 발생하는 것으로 인지되는 청취 경험을 초래한다.
일부 예시적 실시예에서는, 좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널을 포함하는 다중 채널 입력 오디오 신호가 수신된다. 좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널에 대해 부대역 공간 처리(subband spatial processing)가 수행되어 공간 향상 채널(spatially enhanced channels)을 생성한다. 부대역 공간 처리는 좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하는(gain adjust) 것을 포함할 수 있다. 공간 향상 채널에 대해 크로스토크 제거가 수행되어 좌측 크로스토크 제거 채널 및 우측 크로스토크 제거 채널을 생성한다. 좌측 크로스토크 제거 채널로부터 좌측 출력 채널이 생성되고 우측 크로스토크 제거 채널로부터 우측 출력 채널이 생성된다.
좌측 및 우측 주변 채널은 좌측 서라운드 입력 채널 및 우측 서라운드 입력 채널 및/또는 좌측 서라운드 후면 입력 채널 및 우측 서라운드 후면 입력 채널을 포함할 수 있다. 다중 채널 입력 오디오 신호는 크로스토크 제거의 출력과 결합될 수 있는 중앙 채널 및 저주파 채널을 더 포함할 수 있다.
일부 실시예에서는, 대응하는 좌측-우측 채널 쌍의 각각에 대해 부대역 공간 처리가 수행된다. 예를 들어, 부대역 공간 처리는, 좌측 입력 채널 및 우측 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하고, 좌측 주변 입력 채널 및 우측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하고, 좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널의 이득 조정된 중간 부대역 성분 및 이득 조정된 측면 부대역 성분을 좌측 결합 채널 및 우측 결합 채널로 결합시킴으로써 수행된다. 좌측 및 우측 결합 채널에 대해 크로스토크 제거가 수행되어 출력 채널을 생성한다.
일부 실시예에서는, 좌측 및 우측 결합 채널에 대해 부대역 공간 처리가 수행된다. 예를 들어, 부대역 공간 처리는, 좌측 입력 채널과 좌측 주변 입력 채널을 좌측 결합 채널로 결합시키는 것과, 우측 입력 채널과 우측 주변 입력 채널을 우측 결합 채널로 결합시키는 것과, 좌측 결합 채널 및 우측 결합 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하여 좌측 공간 향상 채널 및 우측 공간 향상 채널을 생성하는 것을 포함할 수 있다. 좌측 및 우측 공간 향상 채널에 대해 크로스토크 제거가 수행되어 출력 채널을 생성한다.
일부 실시예에서는, 입력 채널의 적어도 일부에 바이노럴 필터가 적용된다. 예를 들어, 주변 입력 채널과 연관된 각도 위치에 대해 조정하기 위해 주변 입력 채널에 바이노럴 필터가 적용된다. 일부 실시예에서, 바이노럴 필터는 좌측 또는 우측 입력 채널을 포함하는 입력 채널과 연관된 각도 위치에 대해 조정하기에 적합한 임의의 입력 채널에 적용된다.
일부 실시예는 다중 채널 입력 오디오 신호를 처리하기 위한 시스템을 포함할 수 있다. 시스템은, 좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널을 포함하는 다중 채널 입력 오디오 신호를 수신하고, 좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널에 대해 부대역 공간 처리를 수행하여 공간 향상 채널을 생성 ― 부대역 공간 처리는 좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널의 중간 및 측면 부대역 성분을 조정하는 것을 포함함 ― 하고, 공간 향상 채널에 대해 크로스토크 제거를 수행하여 좌측 크로스토크 제거 채널 및 우측 크로스토크 제거 채널을 생성하고, 좌측 크로스토크 제거 채널로부터 좌측 출력 채널을 생성하고 우측 크로스토크 제거 채널로부터 우측 출력 채널을 생성하도록 구성된 회로를 포함한다.
일부 실시예는 프로그램 코드를 저장하는 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 프로그램 코드는 실행 가능한 명령어로 구성된 소프트웨어일 수 있다. 프로그램 코드는 하나 이상의 프로세서에 의해 실행될 수 있다. 프로그램 코드는 프로세서에 의해 실행될 때 프로세서로 하여금, 좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널을 포함하는 다중 채널 입력 오디오 신호를 수신하게 한다. 프로그램 코드는 프로세서에 의해 실행될 때 프로세서로 하여금, 좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널에 대해 부대역 공간 처리를 수행하여 공간 향상 채널을 생성하게 할 수 있다. 부대역 공간 처리는 좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널의 중간 및 측면 부대역 성분을 이득 조정하는 것을 포함할 수 있다. 프로그램 코드는 프로세서에 의해 실행될 때 프로세서로 하여금, 공간 향상 채널에 대해 크로스토크 제거를 수행하여 좌측 크로스토크 제거 채널 및 우측 크로스토크 제거 채널을 생성하게 할 수 있다. 또한, 프로그램 코드는 프로세서에 의해 실행될 때 프로세서로 하여금, 좌측 크로스토크 제거 채널로부터 좌측 출력 채널을 생성하고 우측 크로스토크 제거 채널로부터 우측 출력 채널을 생성하게 할 수 있다.
도 1은 일 실시예에 따른 서라운드 사운드 스테레오 오디오 재생 시스템의 예를 도시한다.
도 2는 일 실시예에 따른 오디오 시스템의 예를 도시한다.
도 3은 일 실시예에 따른 부대역 공간 프로세서의 예를 도시한다.
도 4는 일 실시예에 따른 크로스토크 제거 프로세서의 예를 도시한다.
도 5는, 일 실시예에 따른, 도 2에 도시된 오디오 시스템을 사용하여 오디오 신호를 향상시키는 방법의 예를 도시한다.
도 6은 일 실시예에 따른 오디오 시스템의 예를 도시한다.
도 7은, 일 실시예에 따른, 도 6에 도시된 오디오 시스템을 사용하여 오디오 신호를 향상하는 방법의 예를 도시한다.
도 8은 일 실시예에 따른 컴퓨터 시스템의 예를 예시한다.
본 명세서에 설명된 특징 및 이점은 모든 특징 및 이점을 포함하는 것은 아니며, 구체적으로 도면, 명세서 및 청구범위를 고려할 때 많은 추가 특징 및 이점이 당업자에게 명백할 것이다. 더욱이, 본 명세서에 사용된 언어는 주로 가독성 및 교육 목적을 위해 선택되었으며, 본 발명의 주제를 설명하거나 제한하기 위해 선택된 것이 아닐 수도 있음에 유의해야 한다.
도면(도) 및 다음의 설명은 단지 예시로서 바람직한 실시예에 관한 것이다. 다음의 논의로부터, 본 발명의 원리를 벗어나지 않으면서 채택될 수 있는 실행 가능한 대안으로서 본 명세서에 개시된 구조 및 방법의 대안적 실시예가 쉽게 인식될 것임에 유의해야 한다.
이제, 본 발명(들)의 여러 실시예에 대한 참조가 상세하게 이루어질 것인데, 그 예는 첨부 도면에 도시되어 있다. 가능한 경우, 유사하거나 동일한 참조 번호가 도면에서 사용되어 유사하거나 동일한 기능을 나타낼 수 있음에 유의한다. 도면은 단지 예시의 목적으로 실시예를 묘사한다. 당업자는, 다음의 설명으로부터, 본 명세서에 설명된 원리로부터 벗어나지 않으면서 본 명세서에 예시된 구조 및 방법의 대안적 실시예가 채텍될 수 있음을 쉽게 인식할 것이다.
예시적 서라운드 사운드 스테레오 및 예시적 오디오 시스템
본 명세서에서 논의되는 오디오 시스템은, 스테레오(예컨대, 좌측 및 우측) 스피커로의 출력을 위해 다중 채널 서라운드 사운드 오디오 신호에 대해 크로스토크 처리 및 공간적 향상을 제공한다. 신호 처리는 다중 채널 서라운드 사운드 오디오 신호에 인코딩된 음장의 공간 감각을 보존하거나 향상시킨다. 무엇보다도, 다중 스피커 서라운드 사운드 시스템을 사용하여 달성된 공간 감각이 스테레오 라우드스피커를 사용하여 달성된다.
도 1은 일 실시예에 따른 서라운드 사운드 스테레오 오디오 재생 시스템(100)의 예를 도시한다. 시스템(100)은 청취자(140)에게 오디오 신호 재생을 제공하는 7.1 서라운드 사운드 시스템의 예이다. 시스템(100)은 좌측 스피커(110L), 우측 스피커(110R), 중앙 스피커(115), 서브우퍼(125), 좌측 서라운드 스피커(120L), 우측 서라운드 스피커(120R), 좌측 서라운드 후면 스피커(130L) 및 우측 서라운드 후면 스피커(130R)를 포함한다. 중앙 스피커(115) 및 서브우퍼(125)는 0°에서 전방 축을 정의하는 청취자(140)의 전면에 위치할 수 있다. 좌측 스피커(110L)는 전방 축에 대해 -20° 내지 -30°사이의 각도에 위치할 수 있고, 우측 스피커(110R)는 전방 축에 대해 20° 내지 30°사이의 각도에 위치할 수 있다. 좌측 서라운드 스피커(120L)는 전방 축에 대해 -90° 내지 -110°사이의 각도에 위치할 수 있고, 우측 서라운드 스피커(120R)는 전방 축에 대해 90° 내지 110°사이의 각도에 위치할 수 있다. 좌측 서라운드 후면 스피커(130L)는 전방 축에 대해 -135° 내지 -150° 사이의 각도에 위치할 수 있고, 우측 서라운드 후면 스피커(130R)는 전방 축에 대해 135° 내지 150° 사이의 각도에 위치할 수 있다. 시스템(100)은 스피커(110, 115, 120, 130) 및 서브우퍼(125) 각각에 대한 채널을 포함하는 오디오 신호를 수신하도록 구성될 수 있다. 다수의 스피커 및 그 위치 배열은 청취자(140)에 의해 인식될 수 있는 음장에서 공간 감각을 제공할 수 있다. 이하에서 더 상세히 논의되는 바와 같이, 오디오 시스템은, 서라운드 사운드 시스템(100)을 위한 다중 채널 입력 오디오 신호를, 다중 채널 오디오 신호를 사용하여 서라운드 사운드 시스템(100)에 의해 생성된 음장의 공간 감각을 재생하거나 모방하는(simulate) 좌측 및 우측 스피커(예컨대, 스피커(110L 및 110R))를 위한 향상된 스테레오 신호로 처리하도록 구성될 수 있다.
도 2는 일 실시예에 따른 오디오 시스템(200)의 예를 예시한다. 오디오 시스템(200)은 좌측 입력 채널(201A), 우측 입력 채널(210B), 중앙 입력 채널(210C), 저주파 입력 채널(210D), 좌측 서라운드 입력 채널(210E), 우측 서라운드 입력 채널(210F), 좌측 서라운드 후면 입력 채널(210G) 및 우측 서라운드 후면 입력 채널(210H)을 포함하는 입력 오디오 신호를 수신한다.
채널(210E, 210F, 210G, 210H)은 서라운드 스피커를 위한 주변 채널의 예이다. 주변 채널은 좌측 및 우측 입력 채널 이외의 채널을 포함할 수 있다. 주변 채널은 좌측-우측 쌍, 전방-후방 쌍, 또는 다른 쌍 배열과 같은 채널 쌍을 포함할 수 있다. 예를 들어, 입력 오디오 신호가 서라운드 사운드 스테레오 오디오 재생 시스템(100)에 의해 출력될 경우, 좌측 서라운드 스피커(120L)는 좌측 서라운드 입력 채널(210E)을 수신하고, 우측 서라운드 스피커(120R)는 우측 서라운드 입력 채널(210F)을 수신하고, 좌측 서라운드 후면 스피커(130L)는 좌측 서라운드 후면 입력 채널(210G)을 수신하고, 우측 서라운드 후면 스피커(130R)는 우측 서라운드 후면 입력 채널(210H)을 수신한다. 일부 실시예에서, 입력 오디오 신호는 더 적거나 더 많은 주변 채널을 갖는다. 예를 들어, 5.1 서라운드 사운드 시스템을 위한 오디오 입력 신호는, 좌측 및 우측 서라운드 스피커로 출력될 수 있는 좌측 및 우측 서라운드 입력 채널과 같은 두 개의 주변 채널만을 포함할 수 있다. 마찬가지로, 좌측 스피커(110L)는 좌측 입력 채널(210A)을 수신할 수 있고, 우측 스피커(110R)는 우측 입력 채널(210B)을 수신할 수 있고, 중앙 스피커(115)는 중앙 입력 채널(210C)을 수신할 수 있으며, 서브우퍼(125)는 저주파 입력 채널(210D)을 수신할 수 있다. 입력 오디오 신호는 서라운드 사운드 스테레오 오디오 재생 시스템(100)에 의해 출력될 때 음장의 공간 감각을 제공한다.
오디오 시스템(200)은 입력 오디오 신호를 수신하고 좌측 출력 채널(290L) 및 우측 출력 채널(290R)을 포함하는 출력 신호를 생성한다. 출력 오디오 신호를 생성하기 위해, 오디오 시스템(200)은 입력 오디오 신호의 입력 채널들을 결합할 수 있고, 부대역(subband) 공간 처리 및 크로스토크 제거와 같은 향상을 또한 제공할 수 있다. 좌측 출력 채널(290L)은 좌측 스피커로 제공되고 우측 출력 채널(290R)은 우측 스피커로 출력될 수 있다. 출력 오디오 신호는, 다수의 (예컨대, 주변) 스피커를 포함하는 서라운드 사운드 시스템을 사용하여 입력 오디오 신호를 출력함으로써 일반적으로 달성되는 음장의 공간 감각을 좌측 및 우측 스피커(예컨대, 좌측 스피커(110L) 및 우측 스피커(110R))를 사용하여 제공한다.
오디오 시스템(200)은, 이득부(215A, 215B, 215C, 215D, 215E, 215F, 215G, 215H), 부대역 공간 프로세서(230A, 230B, 230C), 하이 쉘프 필터(high shelf filter)(220), 분할기(240), 바이노럴 필터(binaural filters)(250A, 250B, 250C 및 250D), 좌측 채널 결합기(260A), 우측 채널 결합기(260B), 크로스토크 제거 프로세서(270), 좌측 채널 결합기(260C), 우측 채널 결합기(260D) 및 출력 이득부(280)를 포함한다.
이득부(215A 내지 215H)의 각각은 각자의 입력 채널(210A 내지 210H)을 수신할 수 있고, 입력 채널(210A 내지 210H)에 이득을 적용할 수 있다. 이득부(215A 내지 215H)는 입력 채널의 이득을 서로에 대해 조정하기 위해 상이할 수도 있고, 또는 동일할 수도 있다. 일부 실시예에서, 좌측 및 우측 주변 입력 채널(210E, 210F, 210G, 210H)에는 양의 이득이 적용되고 중앙 채널(210C)에는 음의 이득이 적용된다. 예를 들어, 이득부(215A)는 0db 이득을 적용할 수 있고, 이득부(215B)는 0dB 이득을 적용할 수 있고, 이득부(215C)는 -3dB 이득을 적용할 수 있고, 이득부(215D)는 0dB 이득을 적용할 수 있고, 이득부(215E)는 3dB 이득을 적용할 수 있고, 이득부(215F)는 3dB 이득을 적용할 수 있고, 이득부(215G)는 3dB 이득을 적용할 수 있으며, 이득부(215H)는 3dB 이득을 적용할 수 있다.
이득부(215A) 및 이득부(215B)는 부대역 공간 프로세서(230)에 결합된다. 유사하게, 이득부들(215E 및 215F)은 부대역 공간 프로세서(230B)에 결합되고, 이득부들(215G 및 215H)은 부대역 공간 프로세서(230C)에 결합된다. 부대역 공간 프로세서(230A, 230B, 230C)는 각각 대응하는 좌측 및 우측 채널 쌍에 부대역 공간 처리를 적용한다.
각각의 부대역 공간 프로세서(230)는 좌측 및 우측 입력 채널의 중간 및 측면 부대역 성분을 이득 조정함으로써 좌측 및 우측 입력 채널에 대한 부대역 공간 처리를 수행하여 좌측 및 우측 공간 향상 채널을 생성한다. 부대역 공간 프로세서(230A)는 좌측 및 우측 입력 채널에 대해 부대역 공간 처리를 수행하고, 다른 부대역 공간 프로세서(230B 및 230C)는 대응하는 좌측 및 우측 주변 채널에 부대역 공간 처리를 각각 수행한다. 입력 오디오 신호의 주변 채널의 수에 따라, 오디오 시스템(200)은 더 많거나 더 적은 부대역 공간 프로세서를 포함할 수 있다. 일부 실시예에서, 좌측/우측 상대(counterparts)가 없는 채널(예컨대, 중앙 입력 채널(210C), 저주파 입력 채널(210D), 또는 후면 중앙, 상방 중앙(overhead-center) 등과 같은 다른 유형의 채널)은 SBS 처리를 건너뛸 수 있다.
부대역 공간 프로세서(230B)는 바이노럴 필터(250A 및 250B)에 결합된다. 부대역 공간 프로세서(230B)는 좌측 공간 향상 채널을 바이노럴 필터(250A)에 제공하고, 우측 공간 향상 채널을 바이노럴 필터(250B)에 제공한다. 유사하게, 부대역 공간 프로세서(230C)는 바이노럴 필터(250C 및 250D)에 결합된다. 부대역 공간 프로세서(230C)는 좌측 공간 향상 채널을 바이노럴 필터(250C)에 제공하고, 우측 공간 향상 채널을 바이노럴 필터(250D)에 제공한다. 부대역 공간 프로세서(230)에 관한 추가 세부사항은 도 3에 도시되어 있으며 아래에서 논의된다.
각각의 바이노럴 필터(250A, 250B, 250C, 250D)는 청취자가 입력 채널의 사운드를 인지해야 하는 타겟 소스 위치를 설명하는 머리 전달 함수(head-related transfer function: HRTF)를 적용한다. 각 바이노럴 필터는 입력 채널을 수신하고, 입력 채널과 연관된 각도 위치에 대해 조정하는 HRTF를 적용함으로써 좌측 및 우측 출력 채널을 생성한다. 각도 위치는 도 1에 도시된 바와 같이 청취자(140)에 대해 X-Y "방위각" 평면에서 정의된 각도를 포함할 수 있고, 예컨대, 청취자(140)에 대해 XY 평면 위 또는 아래에 렌더링되도록 의도된 신호를 포함하는 채널 기반 포맷 또는 앰비소닉 신호(ambisonics signal)에 대한 Z 축에 정의된 각도를 더 포함할 수 있다. 예를 들어, 바이노럴 필터(250A)는 좌측 서라운드 스피커(120L)의 전방 축에 대한 -90° 내지 -110° 사이의 각도(XY 평면에서 정의됨)와 연관되는 좌측 서라운드 입력 채널(210E)에 기초하여 필터를 적용하도록 구성될 수 있다. 바이노럴 필터(250B)는 우측 서라운드 스피커(120L)의 전방 축에 대한 90° 내지 110° 사이의 각도와 연관되는 우측 서라운드 입력 채널(210F)에 기초하여 필터를 적용하도록 구성될 수 있다. 바이노럴 필터(250C)는 좌측 서라운드 후면 스피커(130L)의 전방 축에 대한 -135° 내지 -150° 사이의 각도와 연관되는 좌측 서라운드 후면 입력 채널(210G)에 기초하여 필터를 적용하도록 구성될 수 있다. 바이노럴 필터(250D)는 후면 스피커(130R)의 전방 축에 대한 135° 내지 150° 사이의 각도와 연관되는 우측 서라운드 후면 입력 채널(210H)에 기초하여 필터를 적용하도록 구성될 수 있다. 일부 실시예에서는, 채널 간 스펙트럼 균일성을 보존하기 위해 바이노럴 처리를 완전히 건너뛸 수 있다. 바이노럴 필터(250A, 250B, 250C, 250D) 중 하나 이상은 오디오 시스템(200)에서 생략될 수 있다. 그러나, 바이노럴 필터(250A, 250B, 250C, 250D)는 공간 이미징을 향상시키기 위해 사용될 수 있다. 일부 실시예에서, 바이노럴 필터링은 주변 입력 채널 이외의 채널에 적용될 수 있다. 예를 들어, 서로 다른 좌측 및 우측 출력 스피커 위치에 대해 조정하기 위해 부대역 공간 프로세서(230A)로부터 출력되는 좌측 및 우측 공간 향상 채널의 각각에 바이노럴 필터가 적용될 수 있다. 다른 예에서, 입력 오디오 신호가 다른 스피커 위치(즉, 상방, 후면 중앙 등)와 연관된 채널을 포함하는 경우, 바이노럴 처리는 다른 입력 채널에 적용될 수 있다. 그런 의미에서, 바이노럴 처리는 좌측 입력 채널(210A), 우측 입력 채널(210B), 중앙 입력 채널(210C) 또는 저주파 입력 채널(210D) 중 하나 이상에 적용될 수 있다. 일부 실시예에서는, HRTF가 적용되지 않고, 시스템(200)으로부터 바이노럴 필터(250A, 250B, 250C, 250D) 중 하나 이상을 건너뛰거나 생략할 수 있다.
예시적인 바이노럴 필터는 수학식 1에 의해 정의될 수 있다:
Figure 112020111551572-pct00001
여기서 So 및 Si는 각각 출력 및 입력 신호이다. 인수 θ는 So 및 Si에서 각 채널의 각도를 인코딩한다. z 값은 임의의 복소수인데, 그 중 우리의 솔루션은 주파수를 인코딩하는 함수이다. 따라서, H(θ, z)는 그 자체가 z의 함수인 전달 함수를 반환하는 각도 θ와 z의 함수로서, 이는 아마도 인체계측 데이터베이스(anthropometric database)에서 파생된 전달 함수 모음 중에서 선택되거나 보간될 수 있다. 이 표기법에서, z의 함수로서의 S 및 H(θ)와 각도 θ는 다중 채널 처리가 필요한 경우 벡터로 평가될 수 있다. 이 경우, S(z) 및 H(θ, z)의 각각의 계수는 상이한 채널에 대응하고 θ의 각각의 계수는 각 채널에 각도를 연관시킨다.
일부 실시예에서, 입력 오디오 신호는 음장의 스피커 독립적 표현(speaker-independent representation)을 정의하는 앰비소닉 오디오 신호(ambisonics audio signal)이다. 앰비소닉 오디오 신호는 서라운드 사운드 시스템을 위한 다중 채널 오디오 신호로 디코딩될 수 있다. 채널은 청취자 위 또는 아래에 있는 위치를 포함하는 다양한 위치에서의 스피커 위치와 연관될 수 있다. 바이노럴 필터는 디코딩된 입력 오디오 채널의 연관된 위치에 대해 조정하도록 앰비소닉 오디오 신호의 각각의 디코딩된 입력 채널에 적용될 수 있다.
일부 실시예에서, 바이노럴 필터링은 부대역 공간 처리 전에 수행된다. 예를 들어, 바이노럴 필터는 채널과 연관된 각도 위치에 대해 조정하기에 적합한 입력 채널 중 하나 이상에 적용될 수 있다. 각각의 좌측-우측 입력 채널 쌍에 대해, 바이노럴 필터의 좌측 출력 채널들이 결합될 수 있고, 바이노럴 필터의 우측 출력 채널들이 결합될 수 있으며, 결합된 좌측 및 우측 채널에 부대역 공간 처리가 적용될 수 있다. 일부 실시예에서, 바이노럴 필터는 중앙 입력 채널(210C) 또는 저주파 입력 채널(210D)에 적용된다. 일부 실시예에서, 바이노럴 필터는 저주파 입력 채널(210D)을 제외한 각각의 입력 채널에 적용된다.
좌측 채널 결합기(260A)는 부대역 공간 프로세서(230A) 및 바이노럴 필터(250A, 250B, 250C 및 250D)에 결합된다. 좌측 채널 결합기(260A)는 부대역 공간 프로세서(230A) 및 바이노럴 필터(250A, 250B, 250C, 250D)의 좌측 출력 채널들을 수신하고, 이들 채널을 좌측 결합 채널로 결합시킨다. 우측 채널 결합기(260B)는 또한 부대역 공간 프로세서(230A) 및 바이노럴 필터(250A, 250B, 250C 및 250D)에 결합된다. 우측 채널 결합기(260B)는 부대역 공간 프로세서(230A) 및 바이노럴 필터(250A, 250B, 250C, 250D)의 우측 출력 채널들을 수신하고, 이들 채널을 우측 결합 채널로 결합시킨다.
크로스토크 제거 프로세서(270)는 좌측 및 우측 입력 채널을 수신하고 크로스토크 제거를 수행하여 좌측 및 우측 크로스토크 제거 채널을 생성한다. 크로스토크 제거 프로세서는 좌측 채널 결합기(260A)에 결합되어 좌측 결합 채널을 수신하고, 우측 채널 결합기(260B)에 결합되어 우측 결합 채널을 수신한다. 여기서, 크로스토크 제거 프로세서(270)에 의해 처리된 좌측 및 우측 결합 채널은 믹스다운된(mixed down) 좌측 및 우측 상대 입력 채널을 나타낸다. 크로스토크 제거 프로세서(270)에 관한 추가 세부사항은 도 4에 도시되어 있고 아래에서 설명된다.
하이 쉘프 필터(220)는 중앙 입력 채널(210C)을 수신하고 고주파 쉘빙 또는 피킹 필터(a high frequency shelving or peaking filter)를 적용한다. 하이 쉘프 필터(220)는 중앙 입력 채널(210C)에 "보이스-리프트(voice-lift)"를 제공한다. 일부 실시예에서는, 오디오 시스템(200)으로부터 하이 쉘프 필터(220)를 건너뛰거나 생략한다. 하이 쉘프 필터(220)는 코너 주파수를 초과하는 주파수를 감쇠 또는 증폭할 수 있다. 하이 쉘프 필터(220)는 좌측 채널 결합기(260C) 및 우측 채널 결합기(260D)에 결합된다. 일부 실시예에서, 하이 쉘프 필터(220)는 750 Hz 코너 주파수, +3 dB 이득, 및 0.8 Q 팩터에 의해 정의된다. 하이 쉘프 필터(220)는, 예컨대 중앙 입력 채널을 두 개의 개별 좌측 및 우측 중앙 채널로 분리함으로써, 좌측 중앙 채널 및 우측 중앙 채널을 출력으로 생성한다.
분할기(240)는 저주파 입력 채널(210D)을 수신하고, 저주파 입력 채널(210D)을 좌측 및 우측 저주파 채널로 분리한다. 분할기(240)는 좌측 채널 결합기(260C) 및 우측 채널 결합기(260D)에 결합되고, 좌측 저주파 채널을 좌측 채널 결합기(260C)에, 우측 저주파 채널을 우측 채널 결합기(260D)에 제공한다.
좌측 채널 결합기(260C)는 크로스토크 제거 프로세서(270), 하이 쉘프 필터(220), 및 분할기(240)에 결합된다. 좌측 채널 결합기(260C)는 크로스토크 제거 프로세서(270)로부터 좌측 크로스토크 채널을, 하이 쉘프 필터(220)로부터 좌측 중앙 채널을, 그리고 분할기(240)로부터 좌측 저주파 채널을 수신하고, 이들 채널을 좌측 출력 채널로 결합시킨다.
우측 채널 결합기(260D)는 크로스토크 제거 프로세서(270), 하이 쉘프 필터(220), 및 분할기(240)에 결합된다. 우측 채널 결합기(260D)는 크로스토크 제거 프로세서(270)로부터 우측 크로스토크 채널을, 하이 쉘프 필터(220)로부터 우측 중앙 채널을, 그리고 분할기(240)로부터 우측 저주파 채널을 수신하고, 이들 채널들을 우측 출력 채널로 결합시킨다.
일부 실시예에서, 하이 쉘프 필터(220)로부터의 좌측 중앙 채널 및 분할기(240)로부터의 좌측 저주파 채널은, 좌측 채널 결합기(260A)에 의해, 부대역 공간 프로세서(230A)로부터의 좌측 공간 향상 채널 및 바이노럴 필터(250A, 250B, 250C, 250D)의 좌측 출력 채널과 결합되어, 좌측 결합 채널을 생성한다. 유사하게, 하이 쉘프 필터(220)로부터의 우측 중앙 채널 및 분할기(240)로부터의 우측 저주파 채널은, 우측 채널 결합기(260B)에 의해, 부대역 공간 프로세서(230A)로부터의 우측 공간 향상 채널 및 바이노럴 필터(250A, 250B, 250C 및 250D)의 우측 출력 채널과 결합되어 우측 결합 채널을 생성한다. 좌측 및 우측 결합 채널은 크로스토크 제거 프로세서(270)에 입력된다. 여기서, 중앙 및 저주파 채널은 크로스토크 제거 동작을 수신한다. 좌측 채널 결합기(260C) 및 우측 채널 결합기(260D)는 생략될 수 있다. 일부 실시예에서는, 중앙 또는 저주파 채널 중 하나가 크로스토크 제거 동작을 수신한다.
출력 이득부(280)는 좌측 채널 결합기(260C) 및 우측 채널 결합기(260D)에 결합된다. 출력 이득부(280)는 좌측 채널 결합기(260C)로부터의 좌측 출력 채널에 이득을 적용하고, 우측 채널 결합기(260D)로부터의 우측 출력 채널에 이득을 적용한다. 출력 이득부(280)는 좌측 및 우측 출력 채널에 동일한 이득을 적용하거나 다른 이득을 적용할 수 있다. 출력 이득부(280)는 오디오 시스템(200)의 출력 신호의 채널을 나타내는 좌측 출력 채널(290L) 및 우측 출력 채널(290R)을 출력한다.
예시적 부대역 공간 프로세서
도 3은 일 실시예에 따른 부대역 공간 프로세서(230)의 예를 도시한다. 부대역 공간 프로세서(230)는 오디오 시스템(200)의 부대역 공간 프로세서(230A, 230B, 230C)의 예이다. 부대역 공간 프로세서(230)는 공간 주파수 대역 분할기(340), 공간 주파수 대역 프로세서(345), 및 공간 주파수 대역 결합기(350)를 포함한다. 공간 주파수 대역 분할기(340)는 공간 주파수 대역 프로세서(345)에 결합되고, 공간 주파수 대역 프로세서(345)는 공간 주파수 대역 결합기(350)에 결합된다.
공간 주파수 대역 분할기(340)는, 좌측 입력 채널(XL) 및 우측 입력 채널(XR)을 수신하고 이들 입력을 공간 성분(Xs) 및 비공간 성분(Xm)으로 변환하는 L/R-M/S 변환기(312)를 포함한다. 공간 성분(Xs)은 좌측 입력 채널(XL)과 우측 입력 채널(XR)을 감산함으로써 생성될 수 있다. 비공간 성분(Xm)은 좌측 입력 채널(XL)과 우측 입력 채널(XR)을 합산함으로써 생성될 수 있다.
공간 주파수 대역 프로세서(345)는 비공간 성분(Xm)을 수신하고 부대역 필터 세트를 적용하여 향상된 비공간 부대역 성분(Em)을 생성한다. 공간 주파수 대역 프로세서(345)는 또한 공간 부대역 성분(Xs)를 수신하고 부대역 필터 세트를 적용하여 향상된 공간 부대역 성분(Es)을 생성한다. 부대역 필터는 피크 필터, 노치 필터, 저역 통과 필터, 고역 통과 필터, 로우 쉘프 필터, 하이 쉘프 필터, 대역 통과 필터, 대역 차단 필터 및/또는 전대역 통과 필터의 다양한 조합을 포함할 수 있다.
일부 실시예에서, 공간 주파수 대역 프로세서(345)는 비공간 성분(Xm)의 n 개의 주파수 부대역 각각에 대한 부대역 필터 및 공간 성분(Xs)의 n 개의 주파수 부대역 각각에 대한 부대역 필터를 포함한다. 예를 들어, n = 4 개의 부대역에 대해, 예를 들어, 공간 주파수 대역 프로세서(345)는, 부대역 (1)에 대한 중간 등화(EQ) 필터(362(1)), 부대역 (2)에 대한 중간 EQ 필터(362(2)), 부대역 (3)에 대한 중간 EQ 필터(362(3)), 및 부대역 (4)에 대한 중간 EQ 필터(362(4))를 포함하는 비공간 성분(Xm)에 대한 일련의 부대역 필터를 포함한다. 각각의 중간 EQ 필터(362)는 비공간 성분(Xm)의 주파수 부대역 부분에 필터를 적용하여 향상된 비공간 성분(Em)을 생성한다.
공간 주파수 대역 프로세서(345)는 부대역 (1)에 대한 측면 등화(EQ) 필터(364(1)), 부대역 (2)에 대한 측면 EQ 필터(364(2)), 부대역 (3)에 대한 측면 EQ 필터(364(3)), 및 부대역 (4)에 대한 측면 EQ 필터(364(4))를 포함하는 공간 성분(Xs)의 주파수 부대역에 대한 일련의 부대역 필터를 더 포함한다. 각각의 측면 EQ 필터(364)는 공간 성분(Xs)의 주파수 부대역 부분에 필터를 적용하여 향상된 공간 성분(Es)을 생성한다.
비공간 성분(Xm) 및 공간 성분(Xs)의 n 개의 주파수 부대역의 각각은 주파수 범위에 대응할 수 있다. 예를 들어, 주파수 부대역 (1)은 0 내지 300Hz에 대응할 수 있고, 주파수 부대역 (2)는 300 내지 510Hz에 대응할 수 있고, 주파수 부대역 (3)은 510 내지 2700Hz에 대응할 수 있으며, 주파수 부대역 (4)는 2700Hz 내지 나이퀴스트 주파수(Nyquist frequency)에 대응할 수 있다. 일부 실시예에서, n 개의 주파수 부대역은 통합된 임계 대역 세트이다. 임계 대역은 다양한 음악 장르로부터의 오디오 샘플 코퍼스를 사용하여 결정될 수 있다. 24 개의 바크 스케일(Bark scale) 임계 대역에 대한 중간 성분 대 측면 성분의 장기 평균 에너지 비가 샘플로부터 결정된다. 그런 다음, 유사한 장기 평균 비를 갖는 연속 주파수 대역이 함께 그룹화되어 임계 대역 세트를 형성한다. 주파수 부대역의 범위 및 주파수 부대역의 수는 조정 가능할 수 있다.
일부 실시예에서, 중간 EQ 필터(362) 또는 측면 EQ 필터(364)는 수학식 2에 의해 정의된 전달 함수를 갖는 바이쿼드 필터(biquad filter)를 포함할 수 있다:
Figure 112020111551572-pct00002
여기서, z는 복소 변수이다. 필터는 수학식 3에 의해 정의된 바와 같이 다이렉트 폼 I 토폴로지(direct form I topology)를 사용하여 구현될 수 있다:
Figure 112020111551572-pct00003
여기서, X는 입력 벡터이고 Y는 출력이다. 최대 단어 길이 및 포화 동작에 따라, 특정 프로세서에서는 다른 토폴로지가 이점을 가질 수도 있다.
그런 다음, 바이쿼드는 실수 값 입력 및 출력을 갖는 임의의 2차 필터를 구현하는 데 사용될 수 있다. 이산 시간 필터를 설계하기 위해, 연속 시간 필터가 설계되고 쌍선형 변환(bilinear transform)을 통해 이산 시간으로 변환된다. 또한, 중심 주파수 및 대역폭에서 초래되는 임의의 시프트에 대한 보상이 주파수 와핑(frequency warping)을 사용하여 달성될 수 있다.
예를 들어, 피킹 필터(peaking filter)는 수학식 4에 의해 정의된 S 평면 전달 함수를 포함할 수 있다:
Figure 112020111551572-pct00004
여기서 s는 복소 변수, A는 피크의 진폭, Q는 필터 "품질"(표준에 따라
Figure 112020111551572-pct00005
로서 도출됨)이다. 디지털 필터 계수는 다음과 같다:
Figure 112020111551572-pct00006
여기서, ω0은 라디안 단위의 필터 중심 주파수이고,
Figure 112020111551572-pct00007
이다.
공간 주파수 대역 결합기(350)는 중간 및 측면 성분을 수신하고, 각 성분에 이득을 적용하고, 중간 및 측면 성분을 좌측 및 우측 채널로 변환한다. 예를 들어, 공간 주파수 대역 결합기(350)는 향상된 비공간 성분(Em) 및 향상된 공간 성분(Es)을 수신하고, 향상된 비공간 성분(Em) 및 향상된 공간 성분(Es)을 좌측 공간 향상 채널(EL) 및 우측 공간 향상 채널(ER)로 변환하기 전에 글로벌 중간 및 측면 이득을 수행한다.
보다 구체적으로, 공간 주파수 대역 결합기(350)는 글로벌 중간 이득부(322), 글로벌 측면 이득부(324), 글로벌 중간 이득부(322) 및 글로벌 측면 이득부(324)에 결합된 M/S-L/R 변환기(326)를 포함한다. 글로벌 중간 이득부(322)는 향상된 비공간 성분(Em)을 수신하여 이득을 적용하고, 글로벌 측면 이득부(324)는 향상된 공간 성분(Es)을 수신하여 이득을 적용한다. M/S-L/R 변환기(326)는 글로벌 중간 이득부(322)로부터 향상된 비공간 성분(Em)을 수신하고 글로벌 측면 이득부(324)로부터 향상된 공간 성분(Es)를 수신하여, 이들 입력을 좌측 공간 향상 채널(EL) 및 우측 공간 향상 채널(ER)로 변환한다.
예시적 크로스토크 제거 프로세서
도 4는 일 예시적 실시예에 따른 크로스토크 제거 프로세서(270)를 도시한다. 크로스토크 제거 프로세서(270)는 좌측 채널 결합기(260A)로부터의 입력으로서 좌측 공간 향상 채널(EL)을 수신하고, 우측 채널 결합기(260B)로부터의 입력으로서 우측 공간 향상 채널(ER)을 수신하고, 채널들(EL, ER)에 대해 크로스토크 제거를 수행하여 좌측 출력 채널(OL) 및 우측 출력 채널(OR)을 생성한다.
크로스토크 제거 프로세서(270)는 내-외 대역 분할기(410), 인버터(420 및 422), 대측 추정기(contralateral estimators)(430 및 440), 결합기(450 및 452), 및 내-외 대역 결합기(460)를 포함한다. 이들 구성요소는 함께 동작하여, 입력 채널(TL, TR)을 대역내 성분과 대역외 성분으로 분할하고 대역내 성분에 크로스토크 제거를 수행하여 출력 채널(OL, OR)을 생성한다.
입력 오디오 신호(E)를 다른 주파수 대역 성분으로 분할하고 선택적 성분(예컨대, 대역내 성분)에 대해 크로스토크 제거를 수행함으로써, 특정 주파수 대역에 대해 크로스토크 제거를 수행하면서 다른 주파수 대역에서의 열화를 제거할 수 있다. 입력 오디오 신호(E)를 상이한 주파수 대역으로 분할하지 않고 크로스토크 제거가 수행되면, 이러한 크로스토크 제거 후의 오디오 신호는 저주파수(예컨대, 350Hz 미만) 또는 고주파수(예컨대, 12000Hz 초과), 또는 양쪽 모두에서 비공간 및 공간 성분에 상당한 감쇠 또는 증폭을 드러낼 수 있다. 대부분의 영향력 있는 공간 큐가 존재하는 대역내(예컨대, 250Hz와 14000Hz 사이)에 대해 크로스토크 제거를 선택적으로 수행함으로써, 믹스의 스펙트럼 전반에 걸쳐 특히 비공간 성분에서 균형잡힌 전반적 에너지가 유지될 수 있다.
내-외 대역 분할기(410)는 입력 채널(EL, ER)을 대역내 채널(EL,In, ER,In) 및 대역외 채널(EL,Out, ER,Out)로 각각 분할한다. 구체적으로, 내-외 대역 분할기(410)는 좌측 향상 보상 채널(EL)을 좌측 대역내 채널(EL,In) 및 좌측 대역외 채널(EL,Out)으로 분할한다. 유사하게, 내-외 대역 분할기(410)는 우측 향상 보상 채널(ER)을 우측 대역내 채널(ER,In) 및 우측 대역외 채널(ER,Out)로 분할한다. 각각의 대역내 채널은 예를 들어 250Hz 내지 14kHz를 포함하는 주파수 범위에 대응하는 각각의 입력 채널의 일부를 포함할 수 있다. 주파수 대역의 범위는 예를 들어 스피커 파라미터에 따라 조정 가능할 수 있다.
인버터(420) 및 대측 추정기(430)는 함께 동작하여, 좌측 대역내 채널(EL,In)로 인한 대측 사운드 성분을 보상하기 위한 좌측 대측 제거 성분(SL)을 생성한다. 유사하게, 인버터(422)와 대측 추정기(440)는 함께 동작하여, 우측 대역내 채널(ER,In)로 인한 대측 사운드 성분을 보상하기 위한 우측 대측 제거 성분(SR)을 생성한다.
하나의 접근법에서, 인버터(420)는 대역내 채널(EL,In)을 수신하고, 수신된 대역내 채널(EL,In)의 극성을 반전시켜 반전된 대역내 채널(EL,In')을 생성한다. 대측 추정기(430)는 반전된 대역내 채널(EL,In')을 수신하고, 필터링을 통해 대측 사운드 성분에 대응하는 반전된 대역내 채널(EL,In')의 부분을 추출한다. 필터링은 반전된 대역내 채널(EL,In')에 대해 수행되기 때문에, 대측 추정기(430)에 의해 추출된 부분은 대측 사운드 성분에 기인하는 대역내 채널(EL,In)의 부분의 역이 된다. 따라서, 대측 추정기(430)에 의해 추출된 부분은, 대역내 채널(EL,In)로 인한 대측 사운드 성분을 감소시키기 위해 상대 대역내 채널(ER,In)에 추가될 수 있는 좌측 대측 제거 성분(SL)이된다. 일부 실시예에서, 인버터(420) 및 대측 추정기(430)는 상이한 순서로 구현된다.
인버터(422) 및 대측 추정기(440)는 대역내 채널(ER,In)에 대해 유사한 동작을 수행하여 우측 대측 제거 성분(SR)을 생성한다. 따라서, 여기서는 간결성을 위해 그에 대한 상세한 설명을 생략한다.
일 예시적인 구현에서, 대측 추정기(430)는 필터(432), 증폭기(434) 및 지연 유닛(436)을 포함한다. 필터(432)는 반전된 입력 채널(EL,In')을 수신하고, 필터링 기능을 통해 대측 사운드 성분에 대응하는 반전된 대역내 채널(EL,In')의 부분을 추출한다. 필터 구현의 예는 5000 내지 10000Hz 사이에서 선택된 중심 주파수와 0.5 내지 1.0 사이에서 선택된 Q를 갖는 노치(Notch) 또는 하이쉘프(Highshelf) 필터이다. 데시벨 단위의 이득(GdB)은 수학식 5에 의해 도출될 수 있다:
Figure 112020111551572-pct00008
여기서, D는 예를 들어 48KHz의 샘플링 속도에서 샘플 내의 지연 단위 1556A/B에 의한 지연량이다. 대안적 구현은 5000 내지 10000Hz 사이에서 선택된 코너 주파수 및 0.5 내지 1.0 사이에서 선택된 Q를 갖는 저역 통과 필터이다. 또한, 증폭기(434)는 추출된 부분을 대응하는 이득 계수(GL,In)만큼 증폭하고, 지연 유닛(436)은 증폭기(434)로부터 증폭된 출력을 지연 함수(D)에 따라 지연시켜 좌측 대측 제거 성분(SL)을 생성한다. 대측 추정기(440)는, 반전된 대역내 채널(ER,In')에 대해 유사한 동작을 수행하여 우측 대측 제거 성분(SR)을 생성하는, 필터(442), 증폭기(444) 및 지연 유닛(446)을 포함한다. 일 예에서, 대측 추정기(430, 440)는 아래 수학식에 따라 좌측 및 우측 대측 제거 성분(SL, SR)을 생성한다:
Figure 112020111551572-pct00009
Figure 112020111551572-pct00010
여기서, F[]는 필터 함수이고 D[]는 지연 함수이다.
크로스토크 제거의 구성은 스피커 파라미터에 의해 결정될 수 있다. 일 예에서, 필터 중심 주파수, 지연량, 증폭기 이득, 및 필터 이득은, 청취자에 대해 출력 신호의 두 출력 스피커 사이에 형성된 각도, 또는 상대 위치와 같은 스피커의 다른 특징에 따라 결정될 수 있다. 일부 실시예에서는, 스피커 각도들 사이의 값이 다른 값을 보간하기 위해 사용된다.
결합기(450)는 우측 대측 제거 성분(SR)을 좌측 대역내 채널(EL,In)에 결합시켜 좌측 대역내 보상 채널(UL)을 생성하고, 결합기(452)는 좌측 대측 제거 성분(SL)을 우측 대역내 채널(ER,In)에 결합시켜 우측 대역내 보상 채널(UR)을 생성한다. 내-외 대역 결합기(460)는 좌측 대역내 보상 채널(UL)과 대역외 채널(EL,Out)을 결합시켜 좌측 출력 채널(OL)을 생성하고, 우측 대역내 보상 채널(UR)과 대역외 채널(ER,Out)을 결합시켜 우측 출력 채널(OR)을 생성한다.
따라서, 좌측 출력 채널(OL)은 대측 사운드에 기인하는 대역내 채널(TR,In)의 부분의 역에 대응하는 우측 대측 제거 성분(SR)을 포함하고, 우측 출력 채널(OR)은 대측 사운드에 기인하는 대역내 채널(TL,In)의 부분의 역에 대응하는 좌측 대측 제거 성분(SL)을 포함한다. 이 구성에서, 우측 출력 채널(OR)에 따라 우측 스피커(예컨대, 스피커(110R))에 의해 출력되어 우측 귀에 도달한 동측(ipsilateral) 사운드 성분의 파면은, 좌측 출력 채널(OL)에 따라 좌측 스피커(예컨대, 스피커(110L))에 의해 출력된 대측 사운드 성분의 파면을 상쇄시킬 수 있다. 유사하게, 좌측 출력 채널(OL)에 따라 좌측 스피커에 의해 출력되어 좌측 귀에 도달한 동측 사운드 성분의 파면은, 우측 출력 채널(OR)에 따라 우측 스피커에 의해 출력된 대측 사운드 성분의 파면을 상쇄시킬 수 있다. 따라서, 대측 사운드 성분들은 감소되어 공간적 감지능력(spatial detectability)을 향상시킬 수 있다.
예시적 오디오 신호 향상 프로세스
도 5는, 일 실시예에 따른, 도 2에 도시된 오디오 시스템(200)을 사용하여 오디오 신호를 향상시키기 위한 방법(500)의 예를 도시한다. 일부 실시예에서, 방법(500)은 상이한 및/또는 추가 단계를 포함할 수 있고, 또는 일부 단계는 상이한 순서일 수 있다.
오디오 시스템(200)은 다중 채널 입력 오디오 신호를 수신한다(505). 다중 채널 오디오 신호는, 좌측 입력 채널, 우측 입력 채널, 적어도 하나의 좌측 주변 입력 채널, 및 적어도 하나의 우측 주변 입력 채널을 포함하는 서라운드 사운드 오디오 신호일 수 있다. 다중 채널 오디오 신호는 중앙 입력 채널(210C) 및 저주파 입력 채널(210D)을 더 포함할 수 있다. 예를 들어, 입력 오디오 신호는, 좌측 서라운드 입력 채널(210E), 우측 서라운드 입력 채널(210F), 좌측 서라운드 후면 입력 채널(210G) 및 우측 서라운드 후면 입력 채널(210H)를 포함하는 주변 채널과, 좌측 입력 채널(210A) 및 우측 입력 채널(210B)을 포함하는 7.1 서라운드 사운드 시스템을 위한 것일 수 있다. 5.1 서라운드 사운드 시스템을 위한 입력 오디오 신호의 다른 예에서, 주변 채널은 단일 좌측 주변 채널 및 단일 우측 주변 채널을 포함할 수 있다.
오디오 시스템(200)(예컨대, 이득부(215A 내지 215H))은 다중 채널 입력 오디오 신호의 채널에 이득을 적용한다(510). 이득부들(215A 내지 215H)은 오디오 시스템(200)에 의해 생성된 출력 신호에 대한 특정 입력 채널의 기여를 제어하기 위해 서로 다를 수 있다. 일부 실시예에서, 중앙 채널(210C)은 음의 이득을 수신하는 반면, 주변 입력 채널은 양의 이득을 수신한다.
오디오 시스템(200)(예컨대, 부대역 공간 프로세서(230A))은 좌측 입력 채널 및 우측 입력 채널에 대해 부대역 공간 처리를 수행함으로써 좌측 공간 향상 채널 및 우측 공간 향상 채널을 생성한다(515). 예를 들어, 부대역 공간 프로세서(230A)는 좌측 입력 채널(210A) 및 우측 입력 채널(210B)의 중간 성분 및 측면 성분의 n 개의 부대역의 이득을 조정함으로써 공간 향상 채널을 생성한다.
오디오 시스템(200)(예컨대, 부대역 공간 프로세서(230B 및/또는 230C))은 좌측 주변 입력 채널 및 우측 주변 입력 채널에 대해 부대역 공간 처리를 수행함으로써 좌측 공간 향상 주변 채널 및 우측 공간 향상 주변 채널을 생성한다(520). 예를 들어, 부대역 공간 프로세서(230B)는 좌측 서라운드 채널(210E) 및 우측 서라운드 채널(210F)의 중간 성분 및 측면 성분의 n 개의 부대역의 이득을 조정하여 좌측 및 우측 공간 향상 주변 채널을 생성한다. 부대역 공간 프로세서(230C)는 좌측 서라운드 후면 채널(210G) 및 우측 서라운드 후면 채널(210H)의 중간 성분 및 측면 성분의 n 개의 부대역의 이득을 조정하여 좌측 및 우측 공간 향상 주변 채널을 생성한다.
오디오 시스템(200)(예컨대, 바이노럴 필터(250A 내지 250D))은 좌측 및 우측 공간 향상 주변 채널의 각각에 바이노럴 필터를 적용한다(525). 예를 들어, 바이노럴 필터(250A)는 머리 전달 함수(HRTF)를 적용함으로써 부대역 공간 프로세서(230B)로부터 출력된 좌측 공간 향상 주변 채널로부터 좌측 및 우측 출력 채널을 생성한다. 바이노럴 필터(250B)는 HRTF를 적용함으로써 부대역 공간 프로세서(230B)로부터 출력된 공간 향상 우측 채널로부터 좌측 및 우측 출력 채널을 생성한다. 바이노럴 필터(250C)는 HRTF를 적용함으로써 부대역 공간 프로세서(230C)로부터 출력된 공간 향상 좌측 채널로부터 좌측 및 우측 출력 채널을 생성한다. 바이노럴 필터(250D)는 HRTF를 적용함으로써 부대역 공간 프로세서(230C)로부터 출력된 공간 향상 우측 채널로부터 좌측 및 우측 출력 채널을 생성한다. 일부 실시예에서는, 바이노럴 필터링을 건너뛴다.
오디오 시스템(200)(예컨대, 하이 쉘프 필터(220))은 중앙 입력 채널(210C)에 하이 쉘프 필터를 적용한다(530). 일부 실시예에서는, 이득이 중앙 입력 채널(210C)에 적용된다. 또한, 하이 쉘프 필터(220)는 중앙 입력 채널(210C)을 좌측 중앙 채널과 우측 중앙 채널로 분리한다.
오디오 시스템(200)(예컨대, 분할기(240))은 저주파 입력 채널을 좌측 및 우측 저주파 채널로 분리한다(535).
오디오 시스템(200)(예컨대, 좌측 채널 결합기(260A))은 부대역 공간 프로세서(230A)로부터의 좌측 공간 향상 채널과 바이노럴 필터(250A, 250B, 250C, 250D)의 좌측 출력 채널을 결합시켜 좌측 결합 채널을 생성한다(540). 예를 들어, 좌측 공간 향상 채널은 좌측 출력 채널과 합해질 수 있다.
오디오 시스템(200)(예컨대, 우측 채널 결합기(260B))은 부대역 공간 프로세서(230A)로부터의 우측 공간 향상 채널과 바이노럴 필터(250A, 250B, 250C, 250D)의 우측 출력 채널을 결합시켜 우측 결합 채널을 생성한다(545). 예를 들어, 우측 공간 향상 채널은 우측 출력 채널과 합해질 수 있다.
오디오 시스템(200)(예컨대, 크로스토크 제거 프로세서(270))은 좌측 결합 채널 및 우측 결합 채널에 대해 크로스토크 제거를 수행하여 좌측 크로스토크 제거 채널 및 우측 크로스토크 제거 채널을 생성한다(550).
오디오 시스템(200)(예컨대, 좌측 채널 결합기(260C) 및 우측 채널 결합기(260D))은, 크로스토크 제거 프로세서(270)로부터의 좌측 크로스토크 제거 채널을 분할기(240)로부터의 좌측 저주파 채널 및 하이 쉘프 필터(220)로부터의 좌측 중앙 채널과 결합시켜 좌측 출력 채널을 생성하고, 크로스토크 제거 프로세서(270)로부터의 우측 크로스토크 제거 채널을 분할기(240)로부터의 우측 저주파 채널 및 하이 쉘프 필터(220)로부터의 우측 중앙 채널과 결합시켜 우측 출력 채널을 생성한다(555). 또한, 오디오 시스템(200)(예컨대, 출력 이득부(280))은 좌측 및 우측 출력 채널의 각각에 이득을 적용할 수 있다. 오디오 시스템(200)은 좌측 및 우측 출력 채널(290L, 290R)을 포함하는 출력 오디오 신호를 출력한다.
예시적 오디오 시스템 및 예시적 오디오 처리 프로세스
도 6은 일 실시예에 따른 오디오 시스템(600)의 예를 예시한다. 오디오 시스템(600)은 오디오 시스템(200)과 유사할 수 있지만, 적어도 오디오 시스템(600)에 대한 부대역 공간 처리 이전에 좌측 및 우측 입력 채널이 좌측 및 우측 주변 채널과 결합된다는 점에서 오디오 시스템(200)과 다를 수 있다. 여기서는, 오디오 시스템(200)에 대해 도시된 좌측-우측 스피커 쌍에 대한 개별 부대역 공간 프로세서가 아니라, 단일 부대역 공간 프로세서 및 대응하는 부대역 공간 처리 단계가 사용될 수 있다.
오디오 시스템(600)은 입력 오디오 신호를 수신한다. 입력 오디오 신호는 좌측 입력 채널(610A), 우측 입력 채널(610B), 중앙 입력 채널(610C), 저주파 입력 채널(610D), 좌측 서라운드 입력 채널(610E), 우측 서라운드 입력 채널(610F), 좌측 서라운드 후면 입력 채널(610G), 및 우측 서라운드 후면 입력 채널(610H)을 포함할 수 있다. 채널(610E, 610F, 610G 및 610H)은 서라운드 스피커에 제공될 수 있는 주변 채널의 예이다. 일부 실시예에서, 오디오 시스템(600)은 더 적거나 더 많은 채널을 갖는 입력 오디오 신호를 수신하여 처리할 수 있다.
오디오 시스템(600)은 입력 오디오 신호에 대한 부대역 공간 처리 및 크로스토크 제거와 같은 향상을 사용하여 좌측 출력 채널(690L) 및 우측 출력 채널(690R)을 포함하는 출력 신호를 생성한다. 좌측 출력 채널(690L)은 좌측 스피커로 제공되고 우측 출력 채널(690R)은 우측 스피커로 출력될 수 있다. 출력 오디오 신호는 좌측 및 우측 스피커(예컨대, 좌측 스피커(110L) 및 우측 스피커(110R))를 사용하여 서라운드 사운드 입력 오디오 신호와 연관된 음장의 공간 감각을 제공한다.
오디오 시스템(600)은 이득부(615A, 615B, 615C, 615D, 615E, 615F, 615G, 615H), 하이 쉘프 필터(620), 분할기(640), 바이노럴 필터(650A, 650B, 650C, 650D), 좌측 채널 결합기(660A), 우측 채널 결합기(660B), 부대역 공간 프로세서(630), 크로스토크 제거 프로세서(670), 좌측 채널 결합기(660C), 우측 채널 결합기(660D) 및 출력 이득부(680)를 포함한다.
이득부(615A 내지 615H)의 각각은 각자의 입력 채널(610A 내지 610H)을 수신할 수 있고, 입력 채널(610A 내지 610H)에 이득을 적용할 수 있다. 이득부(615A 내지 615H)는 서로에 대한 입력 채널의 이득을 조정하기 위해 상이할 수 있고, 또는 동일할 수도 있다. 일부 실시예에서는, 양의 이득이 좌측 및 우측 주변 입력 채널(610E, 610F, 610G, 610H)에 적용되고, 음의 이득이 중앙 채널(610C)에 적용된다. 예를 들어, 이득부(615A)는 0db 이득을 적용할 수 있고, 이득부(615B)는 0dB 이득을 적용할 수 있고, 이득부(615C)는 -3dB 이득을 적용할 수 있고, 이득부(615D)는 0dB 이득을 적용할 수 있고, 이득부(615E)는 3dB 이득을 적용할 수 있고, 이득부(615F)는 3dB 이득을 적용할 수 있고, 이득부(615G)는 3dB 이득을 적용할 수 있으며, 이득부(615H)는 3dB 이득을 적용할 수 있다.
좌측 입력 채널(610A)에 대한 이득부(615A)는 좌측 채널 결합기(660A)에 결합된다. 우측 입력 채널(610B)에 대한 이득부(615B)는 우측 채널 결합기(660B)에 결합된다. 이득부(615C)는 하이 쉘프 필터(620)에 결합된다. 이득부(615D)는 분할기(640)에 결합된다. 주변 입력 채널의 이득부(615E, 615F, 610G 및 610H)는 바이노럴 필터(650)에 각각 결합된다. 구체적으로, 이득부(610E)는 바이노럴 필터(650A)에 결합되고, 이득부(615F)는 바이노럴 필터(650B)에 결합되고, 이득부(615G)는 바이노럴 필터(650C)에 결합되며, 이득부(615H)는 바이노럴 필터(650D)에 결합된다.
바이노럴 필터(650A, 650B, 650C, 650D)의 각각은 청취자가 입력 채널의 사운드를 인지해야 하는 타겟 소스 위치를 설명하는 머리 전달 함수(HRTF)를 적용한다. 각각의 바이노럴 필터는 입력 채널을 수신하고, HRTF를 적용함으로써 좌측 및 우측 출력 채널을 생성한다. 오디오 시스템(200)의 바이노럴 필터(250A, 250B, 250C, 250D)에 대한 논의는 바이노럴 필터(650A, 650B, 650C, 650D)에 적용될 수 있다. 예를 들어, 바이노럴 필터(650A 내지 650D)의 각각은 각자의 입력 채널과 연관된 각도 위치에 대한 조정을 적용할 수 있다. 일부 실시예에서는, 오디오 시스템(600)으로부터 바이노럴 필터(650A 내지 650D) 중 하나 이상을 건너뛰거나 생략할 수 있다.
좌측 채널 결합기(660A)는 이득부(615A) 및 바이노럴 필터(650A 내지 650D)에 결합된다. 좌측 채널 결합기(660A)는 바이노럴 필터(650A 내지 650D)의 좌측 출력 채널을 수신하고 좌측 출력 채널과 이득부(615A)의 출력을 결합한다. 우측 채널 결합기(660B)는 이득부(615B) 및 바이노럴 필터(650A 내지 650D)에 결합된다. 우측 채널 결합기(660B)는 바이노럴 필터(650A 내지 650D)의 우측 출력 채널을 수신하고 우측 출력 채널과 이득부(615B)의 출력을 결합시킨다.
일부 실시예에서, 바이노럴 필터링은 부대역 공간 처리 후에 수행된다. 예를 들어, 바이노럴 필터는 채널과 연관된 각도 위치에 대해 조정하기에 적합한 부대역 공간 프로세서(630)의 좌측 및 우측 출력에 적용될 수 있다. 일부 실시예에서, 바이노럴 필터는 도 6에 도시된 바와 같이 주변 입력 채널에 적용된다. 일부 실시예에서, 바이노럴 필터는 중앙 입력 채널(610C) 또는 저주파 입력 채널(610D)에 적용된다. 일부 실시예에서, 바이노럴 필터는 저주파 입력 채널(610D)을 제외한 각각의 입력 채널에 적용된다.
부대역 공간 프로세서(630)는, 좌측 및 우측 입력 채널의 중간 및 측면 부대역 성분을 이득 조정함으로써 좌측 및 우측 입력 채널에 대한 부대역 공간 처리를 수행하여, 좌측 및 우측 공간 향상 채널을 출력으로 생성한다. 부대역 공간 프로세서(630)는 좌측 채널 결합기(660A)에 결합되어 좌측 채널 결합기(660A)로부터 좌측 결합 채널을 수신하고, 우측 채널 결합기(660B)에 결합되어 우측 채널 결합기(660B)로부터 우측 결합 채널을 수신한다. 대응하는 좌측 및 우측 입력 채널을 각각 처리하는 오디오 시스템(200)의 부대역 공간 프로세서(230A, 230B, 230C)와 달리, 부대역 공간 프로세서(630)는 좌측 및 우측 채널을 좌측 및 우측 결합 채널로 결합시킨 후 처리한다. 따라서, 오디오 시스템(600)은 단일 부대역 공간 프로세서(630)만을 포함할 수 있다. 일부 실시예에서, 도 3에 도시된 부대역 공간 프로세서(230)는 부대역 공간 프로세서(630)의 예이다.
크로스토크 제거 프로세서(670)는 입력 오디오 신호의 믹스다운된 스테레오 신호를 나타낼 수 있는 부대역 공간 프로세서(630)의 출력에 대해 크로스토크 제거를 수행한다. 크로스토크 제거 프로세서(670)는 부대역 공간 프로세서(630)로부터 좌측 및 우측 입력 채널을 수신하고, 크로스토크 제거를 수행하여 좌측 및 우측 크로스토크 제거 채널을 생성한다. 크로스토크 제거 프로세서(670)는 좌측 채널 결합기(260A) 및 우측 채널 결합기(260B)에 결합된다. 일부 실시예에서, 도 4에 도시된 크로스토크 제거 프로세서(270)는 크로스토크 제거 프로세서(670)의 예이다.
하이 쉘프 필터(620)는 중앙 입력 채널(610C)을 수신하고 고주파 쉘빙 또는 피킹 필터를 적용한다. 하이 쉘프 필터(620)는 중앙 입력 채널(610C)에 "보이스-리프트"를 제공한다. 일부 실시예에서는, 오디오 시스템(600)으로부터 하이 쉘프 필터(620)를 건너뛰거나 생략한다. 하이 쉘프 필터(620)는 코너 주파수를 초과하는 주파수를 감쇠시킬 수 있다. 하이 쉘프 필터(620)는 좌측 채널 결합기(660C) 및 우측 채널 결합기(660D)에 결합된다. 일부 실시예에서, 하이 쉘프 필터(620)는 750Hz 코너 주파수, +3dB 이득 및 0.8 Q 팩터에 의해 정의된다. 하이 쉘프 필터(620)는 좌측 중앙 채널 및 우측 중앙 채널을 출력으로 생성한다.
분할기(640)는 저주파 입력 채널(610D)을 수신하고, 저주파 입력 채널(610D)을 좌측 및 우측 저주파 채널로 분리한다. 분할기(640)는 좌측 채널 결합기(660C) 및 우측 채널 결합기(660D)에 결합되고, 좌측 저주파 채널을 좌측 채널 결합기(660C)에 제공하고 우측 저주파 채널을 우측 채널 결합기(660D)에 제공한다.
좌측 채널 결합기(660C)는 크로스토크 제거 프로세서(670), 하이 쉘프 필터(620), 및 분할기(640)에 결합된다. 좌측 채널 결합기(660C)는 크로스토크 제거 프로세서(670)로부터 좌측 크로스토크 채널을 수신하고, 하이 쉘프 필터(620)로부터 좌측 중앙 채널을 수신하고, 분할기(640)로부터 좌측 저주파 채널을 수신하고, 이들 채널을 좌측 출력 채널로 결합시킨다.
우측 채널 결합기(660D)는 크로스토크 제거 프로세서(670), 하이 쉘프 필터(620), 및 분할기(640)에 결합된다. 우측 채널 결합기(660D)는 크로스토크 제거 프로세서(670)로부터 우측 크로스토크 채널을 수신하고, 하이 쉘프 필터(620)로부터 우측 중앙 채널을 수신하고, 분할기(640)로부터 우측 저주파 채널을 수신하고, 이들 채널을 우측 출력 채널로 결합시킨다.
일부 실시예에서, 하이 쉘프 필터(620)로부터의 좌측 중앙 채널 및 분할기(640)로부터의 좌측 저주파 채널은, 좌측 채널 결합기(660A)에 의해, 바이노럴 필터(650A 내지 650D)의 좌측 출력 채널 및 이득부(615A)의 출력과 결합되어 좌측 결합 채널을 생성한다. 하이 쉘프 필터(620)로부터의 우측 중앙 채널 및 분할기(640)로부터의 우측 저주파 채널은, 우측 채널 결합기(660B)에 의해, 바이노럴 필터(650A 내지 650D)의 우측 출력 채널 및 이득부(615B)의 출력과 결합되어 우측 결합 채널을 생성한다. 좌측 및 우측 결합 채널은 부대역 공간 프로세서(630) 및 크로스토크 제거 프로세서(670)에 입력된다. 여기서, 중앙 및 저주파 채널은 부대역 공간 처리 및 크로스토크 제거 동작을 수신한다. 좌측 채널 결합기(660C) 및 우측 채널 결합기(660D)는 생략될 수 있다. 일부 실시예에서는, 중앙 또는 저주파 채널 중 하나는 부대역 공간 처리 및 크로스토크 제거 동작을 수신한다.
출력 이득부(680)는 좌측 채널 결합기(660C) 및 우측 채널 결합기(660D)에 결합된다. 출력 이득부(680)는 좌측 채널 결합기(660C)로부터의 좌측 출력 채널에 이득을 적용하고, 우측 채널 결합기(660D)로부터의 우측 출력 채널에 이득을 적용한다. 출력 이득부(680)는 좌측 및 우측 출력 채널에 동일한 이득을 적용하거나 다른 이득을 적용할 수 있다. 출력 이득부(680)는, 오디오 시스템(600)의 출력 신호의 채널을 나타내는 좌측 출력 채널(690L) 및 우측 출력 채널(690R)을 출력한다.
도 7은, 일 실시예에 따른, 도 6에 도시된 오디오 시스템(600)을 사용하여 오디오 신호를 향상시키기 위한 방법(700)의 예를 예시한다. 일부 실시예에서, 방법(700)은 상이한 및/또는 추가 단계를 포함할 수 있고, 또는 일부 단계는 상이한 순서일 수 있다.
오디오 시스템(600)은 다중 채널 입력 오디오 신호를 수신한다(705). 입력 오디오 신호는 좌측 입력 채널(610A), 우측 입력 채널(610B), 적어도 하나의 좌측 주변 입력 채널, 및 적어도 하나의 우측 주변 입력 채널을 포함할 수 있다. 다중 채널 오디오 신호는 중앙 입력 채널(610C) 및 저주파 입력 채널(610D)을 더 포함할 수 있다.
오디오 시스템(600)(예컨대, 이득부(615A 내지 615H))은 다중 채널 입력 오디오 신호의 채널에 이득을 적용한다(710). 이득부들(615A 내지 615H)은 오디오 시스템(600)에 의해 생성된 출력 신호에 대한 특정 입력 채널의 기여를 제어하기 위해 서로 다를 수 있다.
오디오 시스템(600)(예컨대, 바이노럴 필터(650A 내지 650D))은 좌측 및 우측 주변 채널의 각각에 바이노럴 필터를 적용한다(715). 예를 들어, 바이노럴 필터(650A)는 머리 전달 함수(HRTF)를 적용함으로써 좌측 서라운드 입력 채널(610E)로부터 좌측 및 우측 출력 채널을 생성한다. 바이노럴 필터(650B)는 HRTF를 적용함으로써 우측 서라운드 입력 채널(610F)로부터 좌측 및 우측 출력 채널을 생성한다. 바이노럴 필터(650C)는 HRTF를 적용함으로써 좌측 서라운드 후면 입력 채널(610G)로부터 좌측 및 우측 출력 채널을 생성한다. 바이노럴 필터(650D)는 HRTF를 적용함으로써 우측 서라운드 후면 입력 채널(610H)로부터 좌측 및 우측 출력 채널을 생성한다.
오디오 시스템(600)(예컨대, 하이 쉘프 필터(620))은 중앙 입력 채널(610C)에 하이 쉘프 필터를 적용한다(720). 일부 실시예에서는, 이득이 중앙 입력 채널(610C)에 적용된다. 또한, 하이 쉘프 필터(620)는 중앙 입력 채널(610C)을 좌측 중앙 채널과 우측 중앙 채널로 분리한다.
오디오 시스템(600)(예컨대, 분할기(640))은 저주파 입력 채널을 좌측 및 우측 저주파 채널로 분리한다(725).
오디오 시스템(600)(예컨대, 좌측 채널 결합기(660A))은 좌측 입력 채널(610A)과 바이노럴 필터(650A, 650B, 650C, 650D)의 좌측 출력 채널을 결합시켜 좌측 결합 채널을 생성한다(730).
오디오 시스템(600)(예컨대, 우측 채널 결합기(660B))은 우측 입력 채널(610B)과 바이노럴 필터(650A, 650B, 650C, 650D)의 우측 출력 채널을 결합시켜 우측 결합 채널을 생성한다(735).
오디오 시스템(600)(예컨대, 부대역 공간 프로세서(630))은 좌측 결합 채널 및 우측 결합 채널에 대해 부대역 공간 처리를 수행함으로써 좌측 공간 향상 채널 및 우측 공간 향상 채널을 생성한다(740). 예를 들어, 부대역 공간 프로세서(630)는 좌측 채널 결합기(660A) 및 우측 채널 결합기(660B)로부터 좌측 및 우측 결합 채널을 수신하고, 좌측 및 우측 결합 채널의 중간 성분 및 측면 성분의 n 개의 부대역의 이득을 조정함으로써 공간 향상 채널을 생성한다.
오디오 시스템(600)(예컨대, 크로스토크 제거 프로세서(670))은 부대역 공간 프로세서(630)로부터의 좌측 및 우측 공간 향상 채널에 대한 크로스토크 제거를 수행하여 좌측 크로스토크 제거 채널 및 우측 크로스토크 제거 채널을 생성한다(745).
오디오 시스템(600)(예컨대, 좌측 채널 결합기(660C) 및 우측 채널 결합기(660D))은 크로스토크 제거 프로세서(670)로부터의 좌측 크로스토크 제거 채널을 분할기(640)로부터의 좌측 저주파 채널 및 하이 쉘프 필터(620)로부터의 좌측 중앙 채널과 결합시켜 좌측 출력 채널을 생성하고, 크로스토크 제거 프로세서(670)로부터의 우측 크로스토크 제거 채널을 분할기(640)로부터의 우측 저주파 채널 및 하이 쉘프 필터(620)로부터의 우측 중앙 채널과 결합시켜 우측 출력 채널을 생성한다(750). 또한, 오디오 시스템(600)(예컨대, 출력 이득부(680))은 좌측 및 우측 출력 채널 각각에 이득을 적용할 수 있다. 오디오 시스템(600)은 좌측 및 우측 출력 채널(690L 및 690R)을 포함하는 출력 오디오 신호를 출력한다.
본 명세서에 설명된 시스템 및 프로세스는 내장형 전자 회로 또는 전자 시스템으로 구현될 수 있음에 유의한다. 시스템 및 프로세스는 또한, 하나 이상의 처리 시스템(예컨대, 디지털 신호 프로세서) 및 메모리(예컨대, 프로그램된 판독 전용 메모리 또는 프로그램 가능한 솔리드 스테이트 메모리)를 포함하는 컴퓨팅 시스템, 또는 ASIC(application specific integrated circuit) 또는 FPGA(field-programmable gate array) 회로와 같은 어떤 다른 회로로 구현될 수 있다.
도 8은 일 실시예에 따른 컴퓨터 시스템(800)의 예를 도시한다. 오디오 시스템(200 및 600)은 시스템(800) 상에서 구현될 수 있다. 칩셋(804)에 결합된 적어도 하나의 프로세서(802)가 도시된다. 칩셋(804)은 메모리 제어기 허브(820) 및 입력/출력(I/O) 제어기 허브(822)를 포함한다. 메모리(806) 및 그래픽 어댑터(812)는 메모리 제어기 허브(820)에 결합되고, 디스플레이 디바이스(818)는 그래픽 어댑터(812)에 결합된다. 저장 디바이스(808), 키보드(810), 포인팅 디바이스(814), 및 네트워크 어댑터(816)는 I/O 제어기 허브(822)에 결합된다. 컴퓨터(800)의 다른 실시예는 상이한 아키텍처를 갖는다. 예를 들어, 일부 실시예에서 메모리(806)는 프로세서(802)에 직접 결합된다.
저장 디바이스(808)는, 하드 드라이브, CD-ROM(compact disk read-only memory), DVD 또는 솔리드 스테이트 메모리 디바이스와 같은 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 메모리(806)는 프로세서(802)에 의해 사용되는 명령어 및 데이터를 보유한다. 예를 들어, 메모리(806)는, 프로세서(802)에 의해 실행될 때 프로세서(802)로 하여금 방법(500 또는 700)과 같은 본 명세서에서 논의된 방법을 수행하게 하거나 본 명세서에서 논의된 방법을 수행하도록 프로세서(802)를 구성하는 명령어를 저장할 수 있다. 포인팅 디바이스(814)는 컴퓨터 시스템(800)에 데이터를 입력하기 위해 키보드(810)와 함께 사용된다. 그래픽 어댑터(812)는 디스플레이 디바이스(818)에 이미지 및 다른 정보를 디스플레이한다. 일부 실시예에서, 디스플레이 디바이스(818)는 사용자 입력 및 선택을 수신하기 위한 터치스크린 기능을 포함한다. 네트워크 어댑터(816)는 컴퓨터 시스템(800)을 네트워크에 결합시킨다. 컴퓨터(800)의 일부 실시예는 도 8에 도시된 것과 상이하고/하거나 다른 구성요소를 갖는다. 예를 들어, 컴퓨터 시스템(800)은 디스플레이 디바이스, 키보드 및 다른 구성요소가 없는 서버일 수 있다.
컴퓨터(800)는 본 명세서에 설명된 기능을 제공하기 위한 컴퓨터 프로그램 모듈을 실행하도록 구성된다. 본 명세서에서 사용될 때, "모듈"이라는 용어는 지정된 기능을 제공하는 데 사용되는 컴퓨터 프로그램 명령어 및/또는 다른 로직을 지칭한다. 따라서, 모듈은 하드웨어, 펌웨어 및/또는 소프트웨어로 구현될 수 있다. 일 실시예에서, 실행 가능한 컴퓨터 프로그램 명령어로 형성된 프로그램 모듈은 저장 디바이스(808)에 저장되고, 메모리(806)에 로딩되며, 프로세서(802)에 의해 실행된다.
추가 고려 사항
개시된 구성은 다수의 이점 및/또는 장점을 포함할 수 있다. 예를 들어, 다중 채널 입력 신호는 음장의 공간 감각을 보존하거나 향상시키면서 스테레오 라우드스피커로 출력될 수 있다. 모바일 디바이스, 사운드 바, 또는 스마트 스피커와 같은 값 비싼 다중 스피커 사운드 시스템 없이도, 고품질 청취 경험이 달성될 수 있다.
본 개시를 읽을 때, 당업자는 본 명세서에 개시된 원리에 대한 또 다른 대안적 실시예를 인식할 것이다. 따라서, 특정 실시예 및 애플리케이션이 도시되고 설명되었지만, 개시된 실시예는 본 명세서에 개시된 정확한 구성 및 구성요소로 제한되지 않는다는 것이 이해되어야 한다. 본 명세서에 설명된 범위를 벗어나지 않으면서, 본 명세서에 개시된 방법 및 장치의 배열, 동작 및 세부사항에서 당업자에게 자명한 다양한 수정, 변경 및 변동이 이루어질 수 있다.
본 명세서에 설명된 단계, 동작 또는 프로세스 중 임의의 것은 하나 이상의 하드웨어 또는 소프트웨어 모듈로 단독으로 또는 다른 디바이스와 함께 사용하여 수행되거나 구현될 수 있다. 일 실시예에서, 소프트웨어 모듈은, 설명된 단계, 동작, 또는 프로세스 중 임의의 것 또는 전부를 수행하도록 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 매체(예컨대, 비일시적 컴퓨터 판독가능 매체)를 포함하는 컴퓨터 프로그램 제품으로 구현된다.

Claims (31)

  1. 다중 채널 입력 오디오 신호를 처리하기 위한 시스템으로서,
    회로를 포함하되, 상기 회로는
    좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널을 포함하는 다중 채널 입력 오디오 신호를 수신하고,
    공간 향상 채널(spatially enhanced channels)을 생성하도록, 상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널에 대해 부대역 공간 처리(subband spatial processing)를 수행 ― 상기 부대역 공간 처리는 상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하는(gain adjust) 것을 포함함 ― 하고,
    좌측 크로스토크 제거 채널 및 우측 크로스토크 제거 채널을 생성하도록, 상기 공간 향상 채널에 대해 크로스토크 제거를 수행하고,
    상기 좌측 크로스토크 제거 채널로부터 좌측 출력 채널을 생성하고 상기 우측 크로스토크 제거 채널로부터 우측 출력 채널을 생성하도록 구성된,
    시스템.
  2. 제 1 항에 있어서,
    상기 부대역 공간 처리를 수행하도록 구성된 상기 회로는,
    상기 좌측 입력 채널 및 상기 우측 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하고,
    상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하고,
    상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널의 상기 이득 조정된 중간 부대역 성분 및 상기 이득 조정된 측면 부대역 성분을 좌측 결합 채널 및 우측 결합 채널로 결합시키도록 구성된
    회로를 포함하는,
    시스템.
  3. 제 2 항에 있어서,
    상기 회로는 또한,
    상기 좌측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정한 후에 상기 좌측 주변 입력 채널에 제 1 바이노럴 필터를 적용 ― 상기 제 1 바이노럴 필터는 상기 좌측 주변 입력 채널과 연관된 각도 위치에 대해 조정함 ― 하고,
    상기 우측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정한 후에 상기 우측 주변 입력 채널에 제 2 바이노럴 필터를 적용 ― 상기 제 2 바이노럴 필터는 상기 우측 주변 입력 채널과 연관된 각도 위치에 대해 조정함 ― 하도록 구성되는,
    시스템.
  4. 제 2 항에 있어서,
    상기 회로는 또한,
    상기 좌측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하기 전에 상기 좌측 주변 입력 채널에 제 1 바이노럴 필터를 적용 ― 상기 제 1 바이노럴 필터는 상기 좌측 주변 입력 채널과 연관된 각도 위치에 대해 조정함 ― 하고,
    상기 우측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하기 전에 상기 우측 주변 입력 채널에 제 2 바이노럴 필터를 적용 ― 상기 제 2 바이노럴 필터는 상기 우측 주변 입력 채널과 연관된 각도 위치에 대해 조정함 ― 하도록 구성되는,
    시스템.
  5. 제 2 항에 있어서,
    상기 크로스토크 제거를 수행하도록 구성된 상기 회로는,
    상기 좌측 결합 채널을 좌측 대역내 신호(left inband signal)와 좌측 대역외 신호(left out-of-band signal)로 분리하고,
    상기 우측 결합 채널을 우측 대역내 신호와 우측 대역외 신호로 분리하고,
    상기 좌측 대역내 신호를 필터링하고 시간 지연시킴으로써 좌측 크로스토크 제거 성분을 생성하고,
    상기 우측 대역내 신호를 필터링하고 시간 지연시킴으로써 우측 크로스토크 제거 성분을 생성하고,
    상기 우측 크로스토크 제거 성분을 상기 좌측 대역내 신호 및 상기 좌측 대역외 신호와 결합시킴으로써 상기 좌측 크로스토크 제거 채널을 생성하고,
    상기 좌측 크로스토크 제거 성분을 상기 우측 대역내 신호 및 상기 우측 대역외 신호와 결합시킴으로써 상기 우측 크로스토크 제거 채널을 생성하도록 구성된
    회로를 포함하는,
    시스템.
  6. 제 1 항에 있어서,
    상기 부대역 공간 처리를 수행하도록 구성된 상기 회로는,
    상기 좌측 입력 채널과 상기 좌측 주변 입력 채널을 좌측 결합 채널로 결합시키고,
    상기 우측 입력 채널과 상기 우측 주변 입력 채널을 우측 결합 채널로 결합시키고,
    좌측 공간 향상 채널 및 우측 공간 향상 채널을 생성하도록, 상기 좌측 결합 채널 및 상기 우측 결합 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하도록 구성된
    회로를 포함하는,
    시스템.
  7. 제 6 항에 있어서,
    상기 회로는 또한,
    상기 좌측 주변 입력 채널을 상기 좌측 입력 채널과 결합시키기 전에 상기 좌측 주변 입력 채널에 제 1 바이노럴 필터를 적용 ― 상기 제 1 바이노럴 필터는 상기 좌측 주변 입력 채널과 연관된 각도 위치에 대해 조정함 ― 하고,
    상기 우측 주변 입력 채널을 상기 우측 입력 채널과 결합시키기 전에 상기 우측 주변 입력 채널에 제 2 바이노럴 필터를 적용 ― 상기 제 2 바이노럴 필터는 상기 우측 주변 입력 채널과 연관된 각도 위치에 대해 조정함 ― 하도록 구성되는,
    시스템.
  8. 제 6 항에 있어서,
    상기 크로스토크 제거를 수행하도록 구성된 상기 회로는,
    상기 좌측 공간 향상 채널을 좌측 대역내 신호 및 좌측 대역외 신호로 분리하고,
    상기 우측 공간 향상 채널을 우측 대역내 신호와 우측 대역외 신호로 분리하고,
    상기 좌측 대역내 신호를 필터링하고 시간 지연시킴으로써 좌측 크로스토크 제거 성분을 생성하고,
    상기 우측 대역내 신호를 필터링하고 시간 지연시킴으로써 우측 크로스토크 제거 성분을 생성하고,
    상기 우측 크로스토크 제거 성분을 상기 좌측 대역내 신호 및 상기 좌측 대역외 신호와 결합시킴으로써 상기 좌측 크로스토크 제거 채널을 생성하고,
    상기 좌측 크로스토크 제거 성분을 상기 우측 대역내 신호 및 상기 우측 대역외 신호와 결합시킴으로써 상기 우측 크로스토크 제거 채널을 생성하도록 구성된
    회로를 포함하는,
    시스템.
  9. 제 1 항에 있어서,
    상기 좌측 주변 입력 채널은 상기 다중 채널 입력 오디오 신호의 좌측 서라운드 입력 채널이고, 상기 우측 주변 입력 채널은 상기 다중 채널 입력 오디오 신호의 우측 서라운드 입력 채널인,
    시스템.
  10. 제 1 항에 있어서,
    상기 좌측 주변 입력 채널은 상기 다중 채널 입력 오디오 신호의 좌측 서라운드 후면 입력 채널이고, 상기 우측 주변 입력 채널은 상기 다중 채널 입력 오디오 신호의 우측 서라운드 후면 입력 채널인,
    시스템.
  11. 제 1 항에 있어서,
    상기 회로는 또한, 상기 다중 채널 입력 오디오 신호의 중앙 채널 및 저주파 채널을 상기 좌측 크로스토크 제거 채널 및 상기 우측 크로스토크 제거 채널과 결합시키도록 구성되는,
    시스템.
  12. 제 11 항에 있어서,
    상기 회로는 또한, 상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널, 상기 우측 주변 입력 채널 및 상기 중앙 채널의 각각에 바이노럴 필터를 적용하도록 구성되는,
    시스템.
  13. 제 11 항에 있어서,
    상기 회로는 또한, 상기 중앙 채널을 상기 좌측 크로스토크 제거 채널 및 상기 우측 크로스토크 제거 채널과 결합시키기 전에 상기 중앙 채널에 하이 쉘프 필터(high shelf filter)를 적용하도록 구성되는,
    시스템.
  14. 제 1 항에 있어서,
    상기 회로는 또한,
    결합 채널을 생성하도록, 중앙 채널과 저주파 채널 중 적어도 하나를 상기 공간 향상 채널과 결합시키고,
    상기 결합 채널에 대해 상기 크로스토크 제거를 수행하도록 구성되는,
    시스템.
  15. 제 1 항에 있어서,
    상기 회로는 또한,
    결합 채널을 생성하도록, 중앙 채널과 저주파 채널 중 적어도 하나를 상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널과 결합시키고,
    상기 결합 채널에 대해 상기 부대역 공간 처리 및 상기 크로스토크 제거를 수행하도록 구성되는,
    시스템.
  16. 프로그램 코드를 저장하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는 프로세서에 의해 실행될 때 상기 프로세서로 하여금,
    좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널을 포함하는 다중 채널 입력 오디오 신호를 수신하게 하고,
    공간 향상 채널을 생성하도록, 상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널에 대해 부대역 공간 처리를 수행 ― 상기 부대역 공간 처리는 상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하는 것을 포함함 ― 하게 하고,
    좌측 크로스토크 제거 채널 및 우측 크로스토크 제거 채널을 생성하도록, 상기 공간 향상 채널에 대해 크로스토크 제거를 수행하게 하고,
    상기 좌측 크로스토크 제거 채널로부터 좌측 출력 채널을 생성하고 상기 우측 크로스토크 제거 채널로부터 우측 출력 채널을 생성하게 하는,
    컴퓨터 판독가능 매체.
  17. 제 16 항에 있어서,
    상기 프로세서로 하여금, 상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널에 대해 부대역 공간 처리를 수행하게 하는 상기 프로그램 코드는, 상기 프로세서로 하여금,
    상기 좌측 입력 채널 및 상기 우측 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하게 하고,
    상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하게 하고,
    상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널의 상기 이득 조정된 중간 부대역 성분 및 상기 이득 조정된 측면 부대역 성분을 좌측 결합 채널 및 우측 결합 채널로 결합시키게 하는
    프로그램 코드를 포함하는,
    컴퓨터 판독가능 매체.
  18. 제 17 항에 있어서,
    상기 프로그램 코드는 또한, 상기 프로세서로 하여금,
    상기 좌측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정한 후에 상기 좌측 주변 입력 채널에 제 1 바이노럴 필터를 적용 ― 상기 제 1 바이노럴 필터는 상기 좌측 주변 입력 채널과 연관된 각도 위치에 대해 조정함 ― 하게 하고,
    상기 우측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정한 후에 상기 우측 주변 입력 채널에 제 2 바이노럴 필터를 적용 ― 상기 제 2 바이노럴 필터는 상기 우측 주변 입력 채널과 연관된 각도 위치에 대해 조정함 ― 하게 하는,
    컴퓨터 판독가능 매체.
  19. 제 17 항에 있어서,
    상기 프로그램 코드는 또한, 상기 프로세서로 하여금,
    상기 좌측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하기 전에 상기 좌측 주변 입력 채널에 제 1 바이노럴 필터를 적용 ― 상기 제 1 바이노럴 필터는 상기 좌측 주변 입력 채널과 연관된 각도 위치에 대해 조정함 ― 하게 하고,
    상기 우측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하기 전에 상기 우측 주변 입력 채널에 제 2 바이노럴 필터를 적용 ― 상기 제 2 바이노럴 필터는 상기 우측 주변 입력 채널과 연관된 각도 위치에 대해 조정함 ― 하게 하는,
    컴퓨터 판독가능 매체.
  20. 제 17 항에 있어서,
    상기 프로세서로 하여금, 크로스토크 제거를 수행하게 하는 상기 프로그램 코드는, 상기 프로세서로 하여금,
    상기 좌측 결합 채널을 좌측 대역내 신호와 좌측 대역외 신호로 분리하게 하고,
    상기 우측 결합 채널을 우측 대역내 신호와 우측 대역외 신호로 분리하게 하고,
    상기 좌측 대역내 신호를 필터링하고 시간 지연시킴으로써 좌측 크로스토크 제거 성분을 생성하게 하고,
    상기 우측 대역내 신호를 필터링하고 시간 지연시킴으로써 우측 크로스토크 제거 성분을 생성하게 하고,
    상기 우측 크로스토크 제거 성분을 상기 좌측 대역내 신호 및 상기 좌측 대역외 신호와 결합시킴으로써 상기 좌측 크로스토크 제거 채널을 생성하게 하고,
    상기 좌측 크로스토크 제거 성분을 상기 우측 대역내 신호 및 상기 우측 대역외 신호와 결합시킴으로써 상기 우측 크로스토크 제거 채널을 생성하게 하는
    프로그램 코드를 포함하는,
    컴퓨터 판독가능 매체.
  21. 제 16 항에 있어서,
    상기 프로세서로 하여금, 상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널에 대해 부대역 공간 처리를 수행하게 하는 상기 프로그램 코드는, 상기 프로세서로 하여금,
    상기 좌측 입력 채널과 상기 좌측 주변 입력 채널을 좌측 결합 채널로 결합시키게 하고,
    상기 우측 입력 채널과 상기 우측 주변 입력 채널을 우측 결합 채널로 결합시키게 하고,
    좌측 공간 향상 채널 및 우측 공간 향상 채널을 생성하도록, 상기 좌측 결합 채널 및 상기 우측 결합 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하게 하는
    프로그램 코드를 포함하는,
    컴퓨터 판독가능 매체.
  22. 제 21 항에 있어서,
    상기 프로그램 코드는 또한, 상기 프로세서로 하여금,
    상기 좌측 주변 입력 채널을 상기 좌측 입력 채널과 결합시키기 전에 상기 좌측 주변 입력 채널에 제 1 바이노럴 필터를 적용 ― 상기 제 1 바이노럴 필터는 상기 좌측 주변 입력 채널과 연관된 각도 위치에 대해 조정함 ― 하게 하고,
    상기 우측 주변 입력 채널을 상기 우측 입력 채널과 결합시키기 전에 상기 우측 주변 입력 채널에 제 2 바이노럴 필터를 적용 ― 상기 제 2 바이노럴 필터는 상기 우측 주변 입력 채널과 연관된 각도 위치에 대해 조정함 ― 하게 하는,
    컴퓨터 판독가능 매체.
  23. 제 21 항에 있어서,
    상기 프로세서로 하여금, 크로스토크 제거를 수행하게 하는 상기 프로그램 코드는, 상기 프로세서로 하여금,
    상기 좌측 공간 향상 채널을 좌측 대역내 신호 및 좌측 대역외 신호로 분리하게 하고,
    상기 우측 공간 향상 채널을 우측 대역내 신호와 우측 대역외 신호로 분리하게 하고,
    상기 좌측 대역내 신호를 필터링하고 시간 지연시킴으로써 좌측 크로스토크 제거 성분을 생성하게 하고,
    상기 우측 대역내 신호를 필터링하고 시간 지연시킴으로써 우측 크로스토크 제거 성분을 생성하게 하고,
    상기 우측 크로스토크 제거 성분을 상기 좌측 대역내 신호 및 상기 좌측 대역외 신호와 결합시킴으로써 상기 좌측 크로스토크 제거 채널을 생성하게 하고,
    상기 좌측 크로스토크 제거 성분을 상기 우측 대역내 신호 및 상기 우측 대역외 신호와 결합시킴으로써 상기 우측 크로스토크 제거 채널을 생성하게 하는
    프로그램 코드를 포함하는,
    컴퓨터 판독가능 매체.
  24. 제 16 항에 있어서,
    상기 좌측 주변 입력 채널은 상기 다중 채널 입력 오디오 신호의 좌측 서라운드 입력 채널이고, 상기 우측 주변 입력 채널은 상기 다중 채널 입력 오디오 신호의 우측 서라운드 입력 채널인,
    컴퓨터 판독가능 매체.
  25. 제 16 항에 있어서,
    상기 좌측 주변 입력 채널은 상기 다중 채널 입력 오디오 신호의 좌측 서라운드 후면 입력 채널이고, 상기 우측 주변 입력 채널은 상기 다중 채널 입력 오디오 신호의 우측 서라운드 후면 입력 채널인,
    컴퓨터 판독가능 매체.
  26. 제 16 항에 있어서,
    상기 프로그램 코드는 또한, 상기 프로세서로 하여금, 상기 다중 채널 입력 오디오 신호의 중앙 채널 및 저주파 채널을 상기 좌측 크로스토크 제거 채널 및 상기 우측 크로스토크 제거 채널과 결합시키게 하는,
    컴퓨터 판독가능 매체.
  27. 제 26 항에 있어서,
    상기 프로그램 코드는 또한, 상기 프로세서로 하여금, 상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널, 상기 우측 주변 입력 채널 및 상기 중앙 채널의 각각에 바이노럴 필터를 적용하게 하는,
    컴퓨터 판독가능 매체.
  28. 제 27 항에 있어서,
    상기 프로그램 코드는 또한, 상기 프로세서로 하여금, 상기 중앙 채널을 상기 좌측 크로스토크 제거 채널 및 상기 우측 크로스토크 제거 채널과 결합시키기 전에 상기 중앙 채널에 하이 쉘프 필터를 적용하게 하는,
    컴퓨터 판독가능 매체.
  29. 제 16 항에 있어서,
    상기 프로그램 코드는 또한, 상기 프로세서로 하여금,
    결합 채널을 생성하도록, 중앙 채널과 저주파 채널 중 적어도 하나를 상기 공간 향상 채널과 결합시키게 하고,
    상기 결합 채널에 대해 상기 크로스토크 제거를 수행하게 하는,
    컴퓨터 판독가능 매체.
  30. 제 16 항에 있어서,
    상기 프로그램 코드는 또한, 상기 프로세서로 하여금,
    결합 채널을 생성하도록, 중앙 채널과 저주파 채널 중 적어도 하나를 상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널과 결합시키게 하고,
    상기 결합 채널에 대해 상기 부대역 공간 처리 및 상기 크로스토크 제거를 수행하게 하는,
    컴퓨터 판독가능 매체.
  31. 다중 채널 입력 오디오 신호를 처리하는 방법으로서,
    좌측 입력 채널, 우측 입력 채널, 좌측 주변 입력 채널 및 우측 주변 입력 채널을 포함하는 다중 채널 입력 오디오 신호를 수신하는 단계와,
    공간 향상 채널을 생성하도록, 상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널에 대해 부대역 공간 처리를 수행하는 단계 ― 상기 부대역 공간 처리는 상기 좌측 입력 채널, 상기 우측 입력 채널, 상기 좌측 주변 입력 채널 및 상기 우측 주변 입력 채널의 중간 부대역 성분 및 측면 부대역 성분을 이득 조정하는 것을 포함함 ― 와,
    좌측 크로스토크 제거 채널 및 우측 크로스토크 제거 채널을 생성하도록, 상기 공간 향상 채널에 대해 크로스토크 제거를 수행하는 단계와,
    상기 좌측 크로스토크 제거 채널로부터 좌측 출력 채널을 생성하고 상기 우측 크로스토크 제거 채널로부터 우측 출력 채널을 생성하는 단계를 포함하는
    방법.
KR1020207030276A 2018-03-22 2019-03-20 라우드스피커를 위한 다중 채널 부대역 공간 처리 기법 KR102195586B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/933,207 US10764704B2 (en) 2018-03-22 2018-03-22 Multi-channel subband spatial processing for loudspeakers
US15/933,207 2018-03-22
PCT/US2019/023243 WO2019183271A1 (en) 2018-03-22 2019-03-20 Multi-channel subband spatial processing for loudspeakers

Publications (2)

Publication Number Publication Date
KR20200126429A KR20200126429A (ko) 2020-11-06
KR102195586B1 true KR102195586B1 (ko) 2020-12-28

Family

ID=67983865

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207030276A KR102195586B1 (ko) 2018-03-22 2019-03-20 라우드스피커를 위한 다중 채널 부대역 공간 처리 기법

Country Status (7)

Country Link
US (1) US10764704B2 (ko)
EP (1) EP3769541A4 (ko)
JP (2) JP7323544B2 (ko)
KR (1) KR102195586B1 (ko)
CN (1) CN111869234B (ko)
TW (1) TWI744615B (ko)
WO (1) WO2019183271A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3900394A1 (en) * 2018-12-21 2021-10-27 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Sound reproduction/simulation system and method for simulating a sound reproduction
WO2020167966A1 (en) * 2019-02-13 2020-08-20 Dolby Laboratories Licensing Corporation Adaptive loudness normalization for audio object clustering
US10841728B1 (en) * 2019-10-10 2020-11-17 Boomcloud 360, Inc. Multi-channel crosstalk processing
CN112351379B (zh) * 2020-10-28 2021-07-30 歌尔光学科技有限公司 音频组件的控制方法以及智能头戴设备
GB2600943A (en) * 2020-11-11 2022-05-18 Sony Interactive Entertainment Inc Audio personalisation method and system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004325284A (ja) 2003-04-25 2004-11-18 Kumamoto Technology & Industry Foundation 音源方向を推定する方法、そのためのシステム、および複数の音源の分離方法、そのためのシステム
US20150125010A1 (en) 2012-05-29 2015-05-07 Creative Technology Ltd Stereo widening over arbitrarily-configured loudspeakers
US20160249151A1 (en) 2013-10-30 2016-08-25 Huawei Technologies Co., Ltd. Method and mobile device for processing an audio signal

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2244162C3 (de) 1972-09-08 1981-02-26 Eugen Beyer Elektrotechnische Fabrik, 7100 Heilbronn «system
GB9622773D0 (en) 1996-11-01 1997-01-08 Central Research Lab Ltd Stereo sound expander
JP3368836B2 (ja) 1998-07-31 2003-01-20 オンキヨー株式会社 音響信号処理回路および方法
JP2002191099A (ja) 2000-09-26 2002-07-05 Matsushita Electric Ind Co Ltd 信号処理装置
FI113147B (fi) 2000-09-29 2004-02-27 Nokia Corp Menetelmä ja signaalinkäsittelylaite stereosignaalien muuntamiseksi kuulokekuuntelua varten
JP4735920B2 (ja) * 2001-09-18 2011-07-27 ソニー株式会社 音響処理装置
TWI230024B (en) * 2001-12-18 2005-03-21 Dolby Lab Licensing Corp Method and audio apparatus for improving spatial perception of multiple sound channels when reproduced by two loudspeakers
EP1532734A4 (en) 2002-06-05 2008-10-01 Sonic Focus Inc ACOUSTIC VIRTUAL REALITY ENGINE AND ADVANCED TECHNIQUES FOR IMPROVING THE DELIVERED SOUND
FI118370B (fi) 2002-11-22 2007-10-15 Nokia Corp Stereolaajennusverkon ulostulon ekvalisointi
US7949141B2 (en) * 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
US20050265558A1 (en) 2004-05-17 2005-12-01 Waves Audio Ltd. Method and circuit for enhancement of stereo audio reproduction
US7634092B2 (en) 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
GB2419265B (en) 2004-10-18 2009-03-11 Wolfson Ltd Improved audio processing
KR100636248B1 (ko) 2005-09-26 2006-10-19 삼성전자주식회사 보컬 제거 장치 및 방법
CN101346895B (zh) 2005-10-26 2012-02-22 日本电气株式会社 回声抑制方法及设备
JP4940671B2 (ja) * 2006-01-26 2012-05-30 ソニー株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
KR100754220B1 (ko) 2006-03-07 2007-09-03 삼성전자주식회사 Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
JP4887420B2 (ja) 2006-03-13 2012-02-29 ドルビー ラボラトリーズ ライセンシング コーポレイション 中央チャンネルオーディオのレンダリング
ATE532350T1 (de) 2006-03-24 2011-11-15 Dolby Sweden Ab Erzeugung räumlicher heruntermischungen aus parametrischen darstellungen mehrkanaliger signale
US8619998B2 (en) 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
JP4841324B2 (ja) 2006-06-14 2011-12-21 アルパイン株式会社 サラウンド生成装置
KR101061132B1 (ko) 2006-09-14 2011-08-31 엘지전자 주식회사 다이알로그 증폭 기술
JP2008228225A (ja) * 2007-03-15 2008-09-25 Victor Co Of Japan Ltd 音声信号処理装置
US8612237B2 (en) 2007-04-04 2013-12-17 Apple Inc. Method and apparatus for determining audio spatial quality
US8705748B2 (en) 2007-05-04 2014-04-22 Creative Technology Ltd Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems
WO2009022463A1 (ja) 2007-08-13 2009-02-19 Mitsubishi Electric Corporation オーディオ装置
US20090086982A1 (en) 2007-09-28 2009-04-02 Qualcomm Incorporated Crosstalk cancellation for closely spaced speakers
WO2009046223A2 (en) 2007-10-03 2009-04-09 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
JP4655098B2 (ja) 2008-03-05 2011-03-23 ヤマハ株式会社 音声信号出力装置、音声信号出力方法およびプログラム
US8295498B2 (en) 2008-04-16 2012-10-23 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for producing 3D audio in systems with closely spaced speakers
US9445213B2 (en) 2008-06-10 2016-09-13 Qualcomm Incorporated Systems and methods for providing surround sound using speakers and headphones
US9247369B2 (en) 2008-10-06 2016-01-26 Creative Technology Ltd Method for enlarging a location with optimal three-dimensional audio perception
UA101542C2 (ru) * 2008-12-15 2013-04-10 Долби Лабораторис Лайсензин Корпорейшн Виртуализатор окружающего звука с динамическим сжатием диапазона и способ
US8000485B2 (en) * 2009-06-01 2011-08-16 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
WO2011005479A2 (en) 2009-06-22 2011-01-13 SoundBeam LLC Optically coupled bone conduction systems and methods
JP2011101284A (ja) * 2009-11-09 2011-05-19 Canon Inc 音声信号処理装置及び方法
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US9107021B2 (en) 2010-04-30 2015-08-11 Microsoft Technology Licensing, Llc Audio spatialization using reflective room model
US20110288860A1 (en) 2010-05-20 2011-11-24 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for processing of speech signals using head-mounted microphone pair
RU2551792C2 (ru) 2010-06-02 2015-05-27 Конинклейке Филипс Электроникс Н.В. Система и способ для обработки звука
JP5993373B2 (ja) 2010-09-03 2016-09-14 ザ トラスティーズ オヴ プリンストン ユニヴァーシティー ラウドスピーカを通した音声のスペクトル的色付けのない最適なクロストーク除去
US8660271B2 (en) 2010-10-20 2014-02-25 Dts Llc Stereo image widening system
KR101785379B1 (ko) 2010-12-31 2017-10-16 삼성전자주식회사 공간 음향에너지 분포 제어장치 및 방법
WO2012094338A1 (en) 2011-01-04 2012-07-12 Srs Labs, Inc. Immersive audio rendering system
JP2013013042A (ja) 2011-06-02 2013-01-17 Denso Corp 立体音響装置
JP5772356B2 (ja) 2011-08-02 2015-09-02 ヤマハ株式会社 音響特性制御装置及び電子楽器
EP2560161A1 (en) 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
US9351073B1 (en) 2012-06-20 2016-05-24 Amazon Technologies, Inc. Enhanced stereo playback
CN102737647A (zh) 2012-07-23 2012-10-17 武汉大学 双声道音频音质增强编解码方法及装置
US20150036826A1 (en) 2013-05-08 2015-02-05 Max Sound Corporation Stereo expander method
US9338570B2 (en) 2013-10-07 2016-05-10 Nuvoton Technology Corporation Method and apparatus for an integrated headset switch with reduced crosstalk noise
TW201532035A (zh) 2014-02-05 2015-08-16 Dolby Int Ab 預測式ｆｍ立體聲無線電雜訊降低
CN103928030B (zh) 2014-04-30 2017-03-15 武汉大学 基于子带空间关注测度的可分级音频编码系统及方法
MX367429B (es) * 2015-02-18 2019-08-21 Huawei Tech Co Ltd Un aparato de procesamiento de señal de audio y metodo para filtrar una señal de audio.
CN106303821A (zh) 2015-06-12 2017-01-04 青岛海信电器股份有限公司 串音消除方法与系统
US10225657B2 (en) 2016-01-18 2019-03-05 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
EP4307718A3 (en) * 2016-01-19 2024-04-10 Boomcloud 360, Inc. Audio enhancement for head-mounted speakers
KR102580502B1 (ko) 2016-11-29 2023-09-21 삼성전자주식회사 전자장치 및 그 제어방법
US10623883B2 (en) 2017-04-26 2020-04-14 Hewlett-Packard Development Company, L.P. Matrix decomposition of audio signal processing filters for spatial rendering
US10547927B1 (en) 2018-07-27 2020-01-28 Mimi Hearing Technologies GmbH Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004325284A (ja) 2003-04-25 2004-11-18 Kumamoto Technology & Industry Foundation 音源方向を推定する方法、そのためのシステム、および複数の音源の分離方法、そのためのシステム
US20150125010A1 (en) 2012-05-29 2015-05-07 Creative Technology Ltd Stereo widening over arbitrarily-configured loudspeakers
US20160249151A1 (en) 2013-10-30 2016-08-25 Huawei Technologies Co., Ltd. Method and mobile device for processing an audio signal

Also Published As

Publication number Publication date
US20190297447A1 (en) 2019-09-26
US10764704B2 (en) 2020-09-01
CN111869234B (zh) 2022-05-10
CN111869234A (zh) 2020-10-30
JP7553522B2 (ja) 2024-09-18
EP3769541A4 (en) 2021-12-22
WO2019183271A1 (en) 2019-09-26
TWI744615B (zh) 2021-11-01
JP2022168213A (ja) 2022-11-04
JP7323544B2 (ja) 2023-08-08
TW201941622A (zh) 2019-10-16
EP3769541A1 (en) 2021-01-27
KR20200126429A (ko) 2020-11-06
JP2021510992A (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
KR102195586B1 (ko) 라우드스피커를 위한 다중 채널 부대역 공간 처리 기법
CN111418219B (zh) 用于处理输入音频信号的系统和方法以及计算机可读介质
CN111418220B (zh) 串扰处理b链
EP1790195B1 (en) Method of mixing audio channels using correlated outputs
EP2426949A2 (en) Method and apparatus for reproducing front surround sound
KR102179779B1 (ko) 대향하는 트랜스오럴 라우드스피커 시스템에서의 크로스토크 소거
US11284213B2 (en) Multi-channel crosstalk processing

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant