KR20220044566A - 심리음향적 주파수 범위 확장을 위한 비선형 적응성 필터뱅크 - Google Patents

심리음향적 주파수 범위 확장을 위한 비선형 적응성 필터뱅크 Download PDF

Info

Publication number
KR20220044566A
KR20220044566A KR1020227007545A KR20227007545A KR20220044566A KR 20220044566 A KR20220044566 A KR 20220044566A KR 1020227007545 A KR1020227007545 A KR 1020227007545A KR 20227007545 A KR20227007545 A KR 20227007545A KR 20220044566 A KR20220044566 A KR 20220044566A
Authority
KR
South Korea
Prior art keywords
components
frequencies
target
speaker
rotated
Prior art date
Application number
KR1020227007545A
Other languages
English (en)
Other versions
KR102578008B1 (ko
Inventor
조셉 안토니 3세 마리글리오
Original Assignee
붐클라우드 360, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 붐클라우드 360, 인코포레이티드 filed Critical 붐클라우드 360, 인코포레이티드
Publication of KR20220044566A publication Critical patent/KR20220044566A/ko
Application granted granted Critical
Publication of KR102578008B1 publication Critical patent/KR102578008B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/007—Protection circuits for transducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/08—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by combining tones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/12—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
    • G10H1/125—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms using a digital filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/321—Missing fundamental, i.e. creating the psychoacoustic impression of a missing fundamental tone through synthesis of higher harmonics, e.g. to play bass notes pitched below the frequency range of reproducing speakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/055—Filters for musical processing or musical effects; Filter responses, filter architecture, filter coefficients or control parameters therefor
    • G10H2250/061—Allpass filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

시스템은 스피커에 대한 심리음향적 주파수 범위 확장을 제공하는 회로를 포함한다. 회로는 오디오 채널로부터 직교 성분들을 생성하고, 직교 성분들의 스펙트럼을 표준 기저에서 회전된 기저로 회전시키는 순방향 변환을 적용함으로써 회전된 스펙트럼 직교 성분들을 생성한다. 회전된 기저에서, 회로는 타겟 주파수들에서 회전된 스펙트럼 직교 성분들의 성분들을 분리하고 분리된 성분들에 스케일-독립적 비선형성을 적용하여 가중된 위상-일관성 고조파 스펙트럼 직교 성분들을 생성한다. 회로는 가중된 위상-일관성 고조파 스펙트럼 직교 성분들의 스펙트럼을 회전된 기저에서 표준 기저로 회전시키는 역변환을 적용함으로써 고조파 스펙트럼 성분을 생성한다. 회로는 고조파 스펙트럼 성분을 타겟 주파수들 외부에 있는 오디오 채널의 주파수들과 결합하여 출력 채널을 생성하고 출력 채널을 스피커에 제공한다.

Description

심리음향적 주파수 범위 확장을 위한 비선형 적응성 필터뱅크
본 개시는 일반적으로 오디오 처리에 관한 것으로, 보다 구체적으로는 물리적 드라이버의 대역폭을 넘어서는 주파수의 인상(impression)을 산출하는 것에 관한 것이다.
확성기, 헤드폰 및 기타 음향 액추에이터의 대역폭은 종종 인간 청각 시스템의 대역폭의 하위 도메인(sub-domain)으로 제한된다. 이것은 대략 18Hz 내지 250Hz인 가청 스펙트럼의 저주파 영역에서 가장 흔한 문제이다. 물리적 드라이버의 대역폭을 넘어서는 주파수의 인상을 산출하도록 오디오 신호를 수정하는 것이 바람직하다. 애플리케이션에 따라 단순히 드라이버의 주파수 응답을 확장하는 것을 넘어, 특정 부대역에 존재하는 물리적 에너지의 양을 증가시키지 않으면서 그 부대역에 대한 인식을 증가시키는 것이 바람직할 수 있다. 예를 들어, 운전자의 스트레스를 감소시키거나 디바이스의 전력 소비 특성을 개선하기 위해 심리음향적 인상(psychoacoustic impressions)을 사용하는 것이 바람직할 수 있다.
일부 실시예는 스피커에 대한 심리음향적 주파수 범위 확장(psychoacoustic frequency range extension)을 제공하는 회로를 포함하는 시스템을 포함한다. 회로는 오디오 채널로부터 오디오 채널의 직교 표현(quadrature representation)을 정의하는 직교 성분들(quadrature components)을 생성하고, 직교 성분들의 스펙트럼을 표준 기저(standard basis)에서 회전된 기저(rotated basis)로 회전시키는 순방향 변환을 적용함으로써 회전된 스펙트럼 직교 성분들을 생성한다. 회전된 기저에서, 회로는 타겟 주파수들에서 회전된 스펙트럼 직교 성분들의 성분들을 분리시키고, 분리된 성분들에 스케일-독립적 비선형성을 적용함으로써 가중된 위상-일관성 고조파 스펙트럼 직교 성분들(weighted phase-coherent harmonic spectral quadrature components)을 생성한다. 회로는 가중된 위상-일관성 고조파 스펙트럼 직교 성분들의 스펙트럼을 회전된 기저에서 표준 기저로 회전시키는 역변환을 적용함으로써 고조파 스펙트럼 성분을 생성한다. 회로는 고조파 스펙트럼 성분을 타겟 주파수들의 외부에 있는 오디오 채널의 주파수들과 결합하여 출력 채널을 생성하고, 출력 채널을 스피커에 제공한다.
일부 실시예에서, 고조파 스펙트럼 성분은 오디오 채널의 타겟 주파수들과 상이한 주파수들을 포함하고, 스피커에 의해 렌더링될 때 타겟 주파수들의 심리음향적 인상을 산출한다.
일부 실시예에서, 순방향 변환은 하나의 타겟 주파수가 0Hz에 매핑되도록 직교 성분들의 스펙트럼을 회전시킨다. 역변환은 0Hz가 하나의 타겟 주파수에 매핑되도록 가중된 위상-일관성 고조파 스펙트럼 직교 성분들의 스펙트럼을 회전시킨다.
일부 실시예에서, 하나의 타겟 주파수는 타겟 주파수들의 중심 주파수이다. 일부 실시예에서, 타겟 주파수들은 18Hz와 250Hz 사이의 주파수를 포함한다. 일부 실시예에서, 타겟 주파수들은 고조파 스펙트럼 성분의 주파수들보다 낮다.
일부 실시예에서, 회로는, 스피커의 재생 가능한 범위, 스피커의 전력 소비의 감소, 또는 스피커의 증가된 수명에 기초하여 타겟 주파수들을 결정한다.
일부 실시예에서, 스피커는 모바일 디바이스의 구성요소이다.
일부 실시예에서, 회로는 또한 게이트 함수를 사용하여 타겟 크기들에서 성분들을 분리시키도록 구성된다. 일부 실시예에서, 회로는 또한 분리된 성분들에 평활화 함수를 적용하도록 구성된다.
일부 실시예에서, 스케일-독립적 비선형성은 크기를 배제한 제1종 체비쇼프 다항식들(Chebyshev polynomials)의 가중된 합산을 포함한다.
일부 실시예는 방법을 포함한다. 방법은, 회로에 의해, 오디오 채널로부터 오디오 채널의 직교 표현을 정의하는 직교 성분들을 생성하는 단계와, 직교 성분들의 스펙트럼을 표준 기저에서 회전된 기저로 회전시키는 순방향 변환을 적용함으로써 회전된 스펙트럼 직교 성분들을 생성하는 단계와, 회전된 기저에서, 타겟 주파수에서 회전된 스펙트럼 직교 성분들의 성분들을 분리시키는 단계와, 분리된 성분들에 스케일-독립적 비선형성을 적용함으로써 가중된 위상-일관성 고조파 스펙트럼 직교 성분들을 생성하는 단계와, 가중된 위상-일관성 고조파 스펙트럼 직교 성분들의 스펙트럼을 회전된 기저에서 표준 기저로 회전시키는 역변환을 적용함으로써 고조파 스펙트럼 성분을 생성하는 단계와, 고조파 스펙트럼 성분을 타겟 주파수들의 외부에 있는 오디오 채널의 주파수들과 결합하여 출력 채널을 생성하는 단계와, 출력 채널을 스피커에 제공하는 단계를 포함한다.
일부 실시예는 저장된 명령어를 포함하는 비일시적 컴퓨터 판독가능 매체를 포함하는데, 명령어는, 적어도 하나의 프로세서에 의해 실행될 때, 오디오 채널로부터 오디오 채널의 직교 표현을 정의하는 직교 성분들을 생성하는 것과, 직교 성분들의 스펙트럼을 표준 기저에서 회전된 기저로 회전시키는 순방향 변환을 적용함으로써 회전된 스펙트럼 직교 성분들을 생성하는 것과, 회전된 기준에서, 타겟 주파수들에서 회전된 스펙트럼 직교 성분들의 성분들을 분리시키는 것과, 분리된 성분에 스케일-독립적 비선형성을 적용함으로써 가중된 위상-일관성 고조파 스펙트럼 직교 성분들을 생성하는 것과, 가중된 위상-일관성 고조파 스펙트럼 직교 성분들의 스펙트럼을 회전된 기저에서 표준 기저로 회전시키는 역변환을 적용함으로써 고조파 스펙트럼 성분을 생성하는 것과, 고조파 스펙트럼 성분을 타겟 주파수들의 외부에 있는 오디오 채널의 주파수들과 결합하여 출력 채널을 생성하는 것과, 출력 채널을 스피커에 제공하는 것을 수행하도록 적어도 하나의 프로세서를 구성한다.
도 1은 일부 실시예에 따른 오디오 시스템의 블록도이다.
도 2는 일부 실시예에 따른 고조파 처리 모듈의 블록도이다.
도 3은 일부 실시예에 따른 심리음향적 주파수 범위 확장을 위한 프로세스의 흐름도이다.
도 4는 일부 실시예에 따른 컴퓨터의 블록도이다.
도 5는 일부 실시예에 따른 순방향 변환 모듈의 블록도이다.
도 6은 일부 실시예에 따른 계수 연산기 모듈의 블록도이다.
도 7은 일부 실시예에 따른 역변환 모듈의 블록도이다.
도면은 단지 예시의 목적으로 다양한 실시예를 도시한다. 당업자는 본 명세서에 설명된 원리에서 벗어나지 않으면서 본 명세서에 예시된 구조 및 방법의 대안적인 실시예가 채용될 수 있음을 다음의 논의로부터 용이하게 인식할 것이다.
도면 및 다음 설명은 단지 예시를 위한 바람직한 실시예에 관한 것이다. 다음의 논의로부터, 청구된 것의 원리에서 벗어나지 않으면서 채용될 수 있는 실행 가능한 대안으로서 본 명세서에 개시된 구조 및 방법의 대안적인 실시예가 쉽게 인식될 것이라는 점에 유의해야 한다.
이제, 몇몇 실시예를 상세히 참조할 것인데, 그 예는 첨부 도면에 도시되어 있다. 실현 가능하다면 어디에서나 유사하거나 동일한 참조 번호가 도면에 사용될 수 있고 유사하거나 동일한 기능을 나타낼 수 있음에 유의한다. 도면은 단지 예시의 목적으로 개시된 시스템(또는 방법)의 실시예를 도시한다. 당업자는 다음의 설명으로부터 본 명세서에 설명된 원리로부터 벗어나지 않으면서 본 명세서에 예시된 구조 및 방법의 대안적인 실시예가 채용될 수 있음을 용이하게 인식할 것이다.
실시예는 심리음향적 주파수 범위 확장을 제공하는 것에 관한 것이다. 인간의 청각 시스템은 비선형적 방식으로 큐(cues)에 반응하기 때문에, 실제 자극이 가능하지 않은 경우에 심리음향적 현상을 사용하여 가상 자극을 생성하는 것이 가능하다. 오디오 시스템은 오디오 신호로부터 위상-일관성 고조파 스펙트럼을 생성하기 위해 고도로 튜닝가능한 스케일-독립적 비선형성을 사용하는 적응성 비선형 필터뱅크를 제공하는 회로를 포함할 수 있다. 위상-일관성 고조파 스펙트럼은 원래의 오디오 신호와 합산되어 물리적 드라이버의 대역폭을 넘어서는 주파수의 인상을 산출할 수 있다.
적응성 비선형 필터뱅크는 다수의 고조파 프로세서를 포함할 수 있다. 각 고조파 프로세서는 오디오 신호 내의 타겟 부대역을 분석하고 구성 가능한 스펙트럼 변환에 의해 부대역의 데이터를 재합성하는 비선형 필터를 포함한다. 입력 스펙트럼 포락선이 출력에 의해 채택되고 부대역 또는 부대역 응답의 혼합(예컨대, 압축, 게이팅 등) 내에서 전체 진폭 역학에 대한 추가 변환이 존재할 수도 있지만, 스펙트럼 변환 자체는 주파수 및 위상 콘텐츠에만 의존할 수 있다. 이것은 다양한 오디오 신호에 걸쳐 높은 수준의 일관성을 제공한다.
주파수 범위 확장의 장점은 특정 주파수를 렌더링할 수 없는 (예를 들어, 저품질) 스피커로 하여금 해당 주파수의 심리음향적 인상을 산출할 수 있게 하는 것을 포함한다. 모바일 디바이스에서 흔히 발견되는 것과 같은 저가 스피커가 고품질의 청취 경험을 제공할 수 있다. 심리음향적 주파수 범위 확장은 스피커에 대한 하드웨어 수정을 요구하지 않으면서 예컨대 모바일 디바이스에서 발견되는 처리 회로에 의해 오디오 신호를 처리함으로써 달성된다. 주파수 범위 확장 및 주파수 응답 개선이 차선의 부대역에서 물리적 에너지의 양을 증가시키는 것에 의지하지 않으면서 달성할 때 스피커 드라이버의 전력 소비 특성 및 수명의 개선에 유용할 수 있다.
오디오 처리 시스템
도 1은 일부 실시예에 따른 오디오 시스템(100)의 블록도이다. 오디오 시스템(100)은 비선형 필터뱅크 모듈(120)을 사용하여 스피커(110)에 대한 주파수 범위 확장을 제공한다. 시스템(100)은 고조파 처리 모듈들(104(1), 104(2), 104(3), 104(4))을 포함하는 필터뱅크 모듈(120), 전대역 통과 필터 네트워크 모듈(122) 및 결합기 모듈(106)을 포함한다. 필터뱅크 모듈(120)은 오디오 채널(a(t))로부터 위상-일관성 고조파 스펙트럼을 생성하기 위해 고도로 튜닝가능한 스케일-독립적 비선형성(highly tunable, scale-independent nonlinearity)을 사용한다. 일부 실시예에서, 고조파 처리 모듈들(104)은 도시된 바와 같이 병렬로 접속될 수 있다. 일부 실시예는 직렬 접속 고조파 처리 모듈들(104)을 포함할 수 있는데, 이 경우 캐스케이드에서 주어진 고조파 처리 모듈의 잔차는 후속 고조파 처리 모듈들로 전달된다. 시스템(100)은 렌더링을 위해 스피커(110)에 제공되는 출력 채널(o(t))를 생성한다. 필터뱅크 모듈(120)의 고조파 처리 모듈들(104(1) 내지 104(4))은 스피커(110)의 물리적 대역폭을 넘어서는 오디오 채널(a(t))에 대한 심리음향적 주파수 범위 확장(psychoacoustic frequency range extension)을 제공한다.
필터뱅크 모듈(120)은 고조파 스펙트럼 성분들(h(t)(n))을 생성하는 다수의 고조파 처리 모듈(104(n))을 포함한다. 일부 실시예에서, 각각의 고조파 처리 모듈(104(1) 내지 104(4))은 전체 오디오 채널(a(t))를 분석하고, 각자의 고조파 스펙트럼 성분(h(t)(1) 내지 h(t)(4))을 합성한다. 일부 실시예에서, 각각의 고조파 처리 모듈은 오디오 채널의 서로 다른 타겟 부대역을 분석할 수 있다. 각각의 고조파 스펙트럼 성분(h(t)(n))은 a(t)에 있는 데이터의 위상-일관성 스펙트럼 변환이다. 각각의 고조파 스펙트럼 성분(h(t)(n))은 a(t)의 각자의 타겟 부대역에 있는 데이터의 주파수와 상이한 주파수를 포함하는 가중된 위상-일관성 고조파 스펙트럼(weighted phase-coherent harmonic spectra)을 가지며, 스피커(110)에 의해 출력될 때 각자의 타겟 부대역의 주파수의 심리음향적 인상을 산출한다. 스피커(110)에 대한 심리음향적 주파수 범위 확장을 제공하도록 고조파 스펙트럼 성분(h(t)(n))을 생성하기 위해 고조파 처리 모듈들(104(n)) 중 하나 이상이 선택될 수 있다. 일부 실시예에서, 타겟 부대역의 선택은 스피커(110)의 주파수 응답과 같은 스피커(110)의 능력에 기초할 수 있다. 예를 들어, 스피커(110)가 사운드의 저주파수를 효과적으로 렌더링할 수 없는 경우, 고조파 처리 모듈(104)은 저주파수에 대응하는 주파수 부대역 성분을 타겟으로 하도록 구성될 수 있고, 이들은 고조파 스펙트럼 성분(h(t)(n))으로 변환될 수 있다. 오디오 시스템(100)은 하나 이상의 고조파 처리 모듈(104)을 포함할 수 있다. 고조파 처리 모듈(104)에 관한 추가 세부사항이 도 2 내지 도 5와 관련하여 논의된다.
전대역 통과 필터 네트워크 모듈(122)은 오디오 채널(a(t))이 필터뱅크 모듈(120)의 출력과 일관성을 유지하는 것을 보장하기 위해 필터링된 오디오 채널(a(t))을 생성한다. 전대역 통과 필터 네트워크 모듈(122)은 입력 신호(a(t))에 매칭 위상 변경(matching phase change)을 적용함으로써 고조파 처리 모듈(104(n))의 적용 결과에 따른 위상 변경을 보상한다. 이것은 a(t)와 지각적으로 구별할 수 없지만 조작된 위상을 갖는 신호와 필터뱅크 모듈(120)에 의해 생성된 고조파 스펙트럼 성분(h(t)(n)) 사이에 일관성 있는 합산이 발생하는 것을 허용한다.
결합기 모듈(106)은 전대역 통과 필터 네트워크 모듈(122)로부터의 필터링된 오디오 채널(a(t))과 필터뱅크 모듈로부터의 하나 이상의 고조파 스펙트럼 성분(h(t)(n))을 결합함으로써 출력 채널(o(t))을 생성한다. 결합기 모듈(106)은 출력 채널(o(t))을 스피커(110)에 제공한다. 일부 실시예에서, 다수의 고조파 스펙트럼 성분(h(t)(n))은 (예컨대, 독립적인 튜닝에 의해) 감쇠되고 서로 합산되어 원하는 비선형 특성을 가진 합계 필터뱅크 출력을 초래할 수 있다. 일부 실시예에서, 합산된 고조파 스펙트럼 성분(h(t)(n))은 예컨대 고역 통과 필터링, 다이내믹 레인지 처리 등에 의해 추가로 처리될 수 있고, (감쇠될 수도 있는) 필터링된 오디오 채널(a(t))과 합산될 수 있다.
도 2는 일부 실시예에 따른 고조파 처리 모듈(104)의 블록도이다. 고조파 처리 모듈(104)은, 오디오 채널을 분석하고 구성 가능한 스펙트럼 변환에 의해 타겟 부대역의 데이터를 재합성하는 비선형 필터를 제공한다. 고조파 처리 모듈(104)은 전대역 통과 네트워크 모듈(202), 순방향 변환기 모듈(204), 계수 연산기 모듈(206) 및 역변환기 모듈(208)을 포함한다. 전대역 통과 네트워크 모듈(202)은 오디오 채널(x(t))에 한 쌍의 위상 변환을 적용하여 직교 성분들을 생성한다. 순방향 변환기 모듈(204)은 선택된 주파수가 0Hz에 매핑되도록 전체 스펙트럼을 회전시키는 순방향 변환을 직교 성분들에 적용하여 회전된 스펙트럼 직교 성분들을 생성한다. 선택된 주파수를 0Hz로 시프트하는 것은 표준 기저(standard basis)에서 회전된 기저(rotated basis)로의 변경으로 지칭된다. 선택된 주파수는 타겟 부대역의 중심 주파수 또는 다른 주파수일 수 있다. 계수 연산기 모듈(206)은, 주파수, 크기 또는 위상에 기초하여 데이터를 선택적으로 필터링하는 것과, 스케일-독립적 비선형성을 사용하여 데이터로부터 새로운 가중된 위상-일관성 고조파 스펙트럼을 생성하는 것과, 가중된 위상-일관성 회전된 스펙트럼 직교 성분들을 생성하도록 성분들의 다이내믹 레인지를 수정하는 것을 포함하는 연산을 회전된 기저에서 수행한다. 역변환기 모듈(208)은 0Hz가 선택된 주파수에 매핑되도록 가중된 위상-일관성 회전된 스펙트럼 직교 성분들의 스펙트럼을 회전시키는 역변환을 적용하여 고조파 스펙트럼 성분(
Figure pct00001
)을 생성한다. 0Hz를 선택된 주파수로 시프트하는 것은 회전된 기저에서 표준 기저로의 변경으로 지칭된다. 고조파 스펙트럼 성분(
Figure pct00002
)은 오디오 채널(x(t))의 타겟 서브대역과 상이한 주파수를 포함할 수 있지만, 스피커에 의해 렌더링될 때 오디오 채널(x(t))의 타겟 서브대역의 주파수의 심리음향적 인상을 산출한다.
일부 실시예에서, 고조파 처리 모듈(104)에 입력된 오디오 성분(x(t))은 부대역 성분(a(t)(n))일 수 있다. 이 예에서, 타겟 주파수를 선택하기 위한 계수 연산기 모듈(206)에 의한 선택적 필터링은 생략될 수 있다.
전대역 통과 네트워크(202)는 오디오 채널(x(t))을 직교 성분들(y1(t) 및 y2(t))을 포함하는 벡터(y(t))로 변환한다. 직교 성분들(y1(t) 및 y2(t))은 90° 위상 관계를 포함한다. 직교 성분들(y1(t) 및 y2(t))과 입력 신호(x(t))는 모든 주파수에 대해 단위 크기 관계(unity magnitude relationship)를 포함한다. 실수 값 입력 신호(x(t))는 매칭되는 한 쌍의 전대역 통과 필터(H1 및 H2)에 의해 직교 값으로 전환된다. 이 연산은 수학식 1에서 보여지는 바와 같이 연속 시간 프로토타입을 통해 정의될 수 있다:
Figure pct00003
일부 실시예는 2개의 (스테레오) 직교 성분(y1(t) 및 y2(t)) 중 어느 하나와 입력 (모노) 신호 사이의 위상 관계를 반드시 보장하지는 않겠지만, 결과적으로 직교 성분들(y1(t) 및 y2(t))은 90° 위상 관계를 포함하고, 직교 성분들(y1(t) 및 y2(t)) 및 입력 신호(x(t))는 모든 주파수에 대해 단위 크기 관계를 포함한다.
도 3은 일부 실시예에 따른 순방향 변환기 모듈(204)의 블록도이다. 순방향 변환기 모듈(204)은 회전 행렬 모듈(302) 및 행렬 곱셈기(304)를 포함한다. 순방향 변환기 모듈(204)은 직교 성분들(y1(t) 및 y2(t))을 수신하고, 순방향 변환을 적용하여 회전된 스펙트럼 직교 성분들(u1(t) 및 u2(t))을 포함하는 벡터(u(t))를 생성한다. 이 변환은 회전 행렬 모듈(302)을 통해 시간에 따라 변하는 회전 행렬(time-varying rotation matrix)을 생성하고 이를 행렬 곱셈기(304)를 통해 직교 성분들에 적용함으로써 적용되어 회전된 스펙트럼 직교 성분들(u(t))을 초래한다. 벡터(u(t))는 오디오 신호(x(t))의 스펙트럼의 주파수 시프트된 형태이고, 상이한 시간 t에서의 각각의 u가 회전된 스펙트럼 직교 성분으로서 정의되는 계수 공간을 정의한다. 벡터(u(t))에 의해 정의된 계수는 원하는 중심 주파수(
Figure pct00004
)가 이제 0Hz에 놓이도록 x(t)의 스펙트럼을 회전시킨 결과이다.
순방향 변환은 수학식 2에 의해 정의된 바와 같이 직교 신호에 대한 시간에 따라 변하는 2차원 회전으로서 적용될 수 있다:
Figure pct00005
여기서, H1은 전대역 통과 필터이고, 회전(
Figure pct00006
)은 각 주파수(
Figure pct00007
)에 대한 것이고 수학식 3에 의해 정의된다:
Figure pct00008
수학식 2 및 수학식 3은 삼각 함수에 대한 반복 호출을 포함한다. 일정한
Figure pct00009
를 갖는 간격에 대해, 순방향 변환은 삼각 함수에 대한 반복 호출보다는 재귀적 2D 회전에 의해 계산될 수 있다. 이 최적화 전략이 사용될 때,
Figure pct00010
가 초기화되거나 변경될 때에만 sin 및 cos에 대한 호출이 이루어진다. 이 최적화는 각각의 행렬
Figure pct00011
을 극소 회전 행렬(infinitesimal rotation matrix)의 연속 거듭제곱으로 정의하며, 즉,
Figure pct00012
이다. 두 개의 2x2 행렬을 함께 곱하는 것은 대부분의 아키텍처에서 고도로 최적화된 계산이므로, 이 정의는 등가인 수학식 3에 제시된 삼각 함수에 대한 반복 호출에 비해 성능 이점을 제공할 수 있다.
도 4는 일부 실시예에 따른 계수 연산기 모듈(206)의 블록도이다. 계수 연산기 모듈(206)은 필터 모듈(402), 크기 모듈(404), 게이트 모듈(406), 나눗셈 연산기(408, 410), 고조파 생성기 모듈(412), 곱셈 연산기(414, 416)를 포함한다. 계수 연산기 모듈(206)은 회전된 스펙트럼 직교 성분들(u1(t) 및 u2(t))을 포함하는 벡터(u(t))를 사용하여 가중된 위상-일관성 회전된 스펙트럼 직교 성분들(
Figure pct00013
및
Figure pct00014
)을 포함하는 회전된 스펙트럼(
Figure pct00015
)을 생성한다. 일부 실시예에서, 필터 모듈(402)은 2 채널 저역 통과 필터이다. 이 경우에, 고조파 처리 모듈(104)은 필터 모듈(402)의 차단 주파수의 두 배인 대역폭에서
Figure pct00016
를 중심으로 하는 타겟 부대역에 대한 스펙트럼 변환을 수행하도록 구성된다. 크기 모듈(404)은 2D 벡터의 길이를 결정하는데, 이것은 나눗셈 연산기(408, 410)를 사용하여 필터링된 신호 벡터에서 배제되는(factored out) 순간 크기의 척도로서 사용된다. 이 크기는 고조파 발생기 모듈(412)로 하여금 스케일에 의존하지 않는 관계를 갖는 신호에 기초하여 고조파를 제공할 수 있게 하기 위해 배제된다. 고조파 생성기 모듈(412)은 회전된 스펙트럼 직교 성분들의 타겟 부대역에 기초하여 고조파 스펙트럼을 생성하기 위해 가중된 비선형성의 합을 적용한다. 그런 다음, 크기 모듈(404)에 의해 제공된 크기는 다시 사용되는데, 이번에는 게이트 모듈(406)을 통과한다. 게이트 모듈(406)은 순간 기울기가 슬루 제한기(418)에 의해 제한되는 2D 포락선을 생성한다. 그런 다음, 결과적 슬루 제한 포락선은 곱셈 연산기(414, 416)를 통해 고조파 발생기 모듈(412)의 출력에 적용된다. 가중된 고조파들의 합은 시간에 따라 변하는 포락선과 곱해져서 회전된 스펙트럼(
Figure pct00017
)을 생성한다.
u(t)의 계수들은 수학식 4를 사용하여 극좌표로 표현될 수 있다:
Figure pct00018
여기서 ||u(t)||는 계수 신호의 순간 크기이고, ∠u(t)는 순간 위상이다. 이러한 항들은 이제 역변환 단계 이전에 조작될 수 있다.
u(t)에 의해 정의된 계수는 순간 크기에 기초하여 선택적으로 필터링된다. 필터링은 게이트 모듈(406)에 의해 적용되는 게이트 함수 및 슬루 제한기(418)에 의해 적용되는 슬루 제한 필터를 포함할 수 있다. 임계값(n)에 기초한 게이트 함수는 수학식 5에 의해 정의될 수 있다:
Figure pct00019
여기서, x ≥ n인 경우 계수가 유지되고, x < n인 경우 계수가 제거된다. 일부 실시예에서, x < n의 경우 대안적으로 계수의 완전한 제거보다는 감쇠를 초래할 수 있다. 게이트 함수는 순간 크기의 추정값에서 작동하기 때문에, 이는 일반적으로 실수값 진폭에 기초한 게이트보다 응답성이 높으면서 아티팩트가 더 적다.
슬루 제한 필터를 통해 시간 도메인 평활화가 달성되어 비선형 필터 응답의 포락선 특성을 추가로 조정할 수 있다. 슬루 제한 필터는 함수의 최대(양수) 및 최소(음수) 기울기를 포화시키는 비선형 필터이다. 아래에서 S(x)로 표기되는 양수 및 음수 포화점에 대해 독립적 제어를 갖는 비선형 필터와 같은 다양한 유형의 슬루 제한 필터 또는 요소가 사용될 수 있다. 게이트 함수의 출력에 슬루 제한을 적용하면 시간에 따라 변하는 포락선, 즉,
Figure pct00020
이 생성된다. 이것은 계수의 포락선을 조각하는 데 사용할 수 있다.
Figure pct00021
의 위상-일관성 고조파 스펙트럼을 생성하기 위해, 고조파 생성기 모듈(412)은 수학식 6에 의해 정의된 제1종 체비쇼프 다항식을 사용할 수 있다:
Figure pct00022
이러한 다항식은 수학식 7 또는 수학식 8에 의해 정의된 바와 같이 출력을 합산함으로써 제어된 고조파 생성을 제공한다:
Figure pct00023
또는 등가적으로:
Figure pct00024
여기서 a = [a0,a1,a2...aN]은 위상-일관성 고조파 스펙트럼의 각 고조파에 적용된 고조파 가중치이고, N은 생성된 가장 높은 고조파이다. 두 표현 모두에서, 비선형성은 입력 스케일과 무관하다. 이는 출력 스펙트럼이 입력 음량(loudness)에 따라 달라지는 것을 방지하고, 대신 스펙트럼 가중치 a에 의해 결정된 변동만을 허용한다. 가중치는 일반적으로 인간의 청각 시스템에 익숙한 자연 발생 소리의 고조파 시리즈(harmonic series)를 모방하는 감쇠 시리즈(decaying series)로 배열된다. 일련의 가중치는 들어오는 오디오 채널의 스케일과 무관하다.
등가이지만, 수학식 7은 출력 위상의 직접 조작을 허용하는 이점이 있는 반면, 수학식 8은 크기에 대해서만 작동하는 잠재적으로 고가의 삼각 함수를 생략한다. 도 4에 도시된 계수 연산기 모듈(206)은 수학식 8에 따른 연산을 도시한다.
도 5는 일부 실시예에 따른 역변환기 모듈(208)의 블록도이다. 역변환기 모듈(208)은 회전 행렬 모듈(502), 행렬 곱셈기(504), 투영 연산기(506), 및 행렬 전치 연산기(508)를 포함한다. 역변환기 모듈(208)은 위상-일관성 회전된 스펙트럼 직교 성분들(
Figure pct00025
및
Figure pct00026
)을 포함하는 회전된 스펙트럼(
Figure pct00027
)으로부터 고조파 스펙트럼 성분(
Figure pct00028
)을 생성한다. 회전 행렬 모듈(502)은 행렬 모듈(302)에 의해 생성된 회전 행렬과 동일한 회전 행렬을 생성한다. 회전 행렬 모듈(502)에 의해 생성된 행렬은 행렬 전치 연산기(508)에 의해 전치되고, 행렬 곱셈기(504)에 의해 위상-일관성 회전된 스펙트럼 직교 성분들(
Figure pct00029
및
Figure pct00030
)의 들어오는 2D 벡터에 적용된다. 결과적인 2D 벡터는 투영 연산기(506)에 의해 단일 차원(single dimension)에 투영된다.
회전된 기저에서 다시 표준 기저로의 역변환을 수행하기 위해, 출력 스펙트럼은 수학식 9에 의해 정의된 바와 같이 0Hz가 원래의 위치
Figure pct00031
로 복귀하도록 시프트된다:
Figure pct00032
여기서, P는 수학식 10에 의해 정의된 바와 같이 2차원 실수 계수 공간에서 단일 차원으로의 투영이다:
Figure pct00033
순방향 변환(
Figure pct00034
)은 정규직교 회전(orthonormal rotations)을 포함하기 때문에, 역변환은 전치(transpose)이다. 이 대수적 구조는 순방향 변환 행렬의 캐싱을 허용하고, 계수가 곱해지는 순서를 변경함으로써 이를 간단히 반전시킨다. 이러한 의미에서 도 3의 회전 매트릭스 모듈(302)과 도 5의 회전 매트릭스 모듈(502)은 동일하다고 할 수 있다. 고조파 스펙트럼 성분(
Figure pct00035
)은 고조파 스펙트럼 성분(h(t)(n))의 한 예이며, 따라서 더 큰 필터뱅크에서 비선형 필터의 응답일 수 있다.
예시적 프로세스
도 6은 일부 실시예에 따른 심리음향적 주파수 범위 확장을 위한 프로세스(600)의 흐름도이다. 도 6에 도시된 프로세스는 오디오 시스템(예컨대, 오디오 시스템(100))의 구성요소들에 의해 수행될 수 있다. 다른 실시예에서는 다른 엔티티들이 도 6의 단계들의 일부 또는 전부를 수행할 수 있다. 실시예는 상이한 및/또는 추가 단계를 포함하거나 상이한 순서로 단계를 수행할 수 있다.
오디오 시스템은 오디오 채널의 직교 표현을 정의하는 직교 성분들을 생성한다(605). 오디오 채널은 스테레오 오디오 신호의 좌측 채널 또는 우측 채널과 같은 다채널 오디오 신호의 채널일 수 있다. 직교 성분들은 90° 위상 관계를 포함한다. 직교 성분들 및 오디오 채널은 모든 주파수에 대해 단위 크기 관계를 포함한다. 일부 실시예에서, 실수 값 입력 신호는 매칭된 전대역 통과 필터 쌍에 의해 직교 값을 갖게 된다.
오디오 시스템은 직교 성분들의 스펙트럼(예를 들어, 전체 스펙트럼)을 표준 기저에서 회전된 기저로 회전시키는 순방향 변환을 적용함으로써 회전된 스펙트럼 직교 성분들을 생성한다(610). 표준 기저는 회전 전 입력 오디오 채널의 주파수들을 지칭한다. 회전으로 인해 하나의 타겟 주파수가 0Hz에 매핑될 수 있다. 이 타겟 주파수는 심리음향적 범위 확장을 위한 타겟 부대역의 중심 주파수와 같은 고조파 처리 모듈의 분석 영역의 중심일 수 있다. 순방향 변환은 수학식 3에 의해 정의된 삼각 함수에 대한 반복 호출을 사용하거나 등가의 재귀적 2D 회전을 사용하여 계산될 수 있다.
오디오 시스템은 타겟 주파수들 및 타겟 크기들에서 회전된 스펙트럼 직교 성분들의 성분들을 분리시킨다(615). 성분들을 분리시키는 것은 회전된 기저에서 수행될 수 있다. 예를 들어, 타겟 주파수들은 필터를 사용하여 분리될 수 있다. 일부 실시예에서, 필터는 임계값을 초과하는 주파수들을 제거하고, 이는 순방향 변환이 튜닝된 중심 주파수(
Figure pct00036
)에 대해 대칭적으로 임계값의 두 배에 이르는 타겟 부대역을 분리시키는 효과를 갖는다. 일부 실시예에서, 오디오 시스템은 스피커의 재생 가능한 범위, 스피커의 전력 소비 감소 또는 스피커의 증가된 수명과 같은 인자에 기초하여 타겟 주파수들을 결정한다.
오디오 시스템은 또한, 예컨대 게이트 함수를 사용함으로써, 타겟 크기들에서 회전된 스펙트럼 직교 성분들로부터의 성분들을 분리시킬 수 있다. 게이트 함수는 부대역에서 원치 않는 정보를 삭제하거나 진폭 포락선을 유지하도록 구성될 수 있다. 게이트 함수는 슬루 제한 필터 또는 유사한 평활화 함수를 더 포함할 수 있다.
오디오 시스템은 분리된 성분들에 스케일-독립적 비선형성을 적용함으로써 가중된 위상-일관성 회전된 스펙트럼 직교 성분들을 생성한다(620). 가중된 위상-일관성 회전된 스펙트럼 직교 성분들은 회전된 기저에서 생성될 수 있다. 이 회전된 기저는 표준 기저 신호를 2차원 벡터로 표현하고 타겟 주파수를 0에 가깝게 하기 때문에 디자이너 스펙트럼 생성에 매우 적합하다. 그런 다음, 벡터는 수학식 4에서 알 수 있는 바와 같이 극좌표로 더 분해될 수 있는데, 이는 특정 주파수에 대한 정보의 자연 디스크립터(natural descriptor)인 STFT(short-time Fourier transform)에서 단일 빈의 크기와 인수(argument)를 계산하는 것과 유사하다. 이 특정 구현은 STFT 표현에 비해 몇 가지 뚜렷한 이점을 갖는다. 첫 번째는 빈 정보가 전체 스펙트럼에 대해서가 아니라 필요할 때만 계산된다는 것이다. 또 다른 장점은 결과가 일시적인 데이터의 적절한 표현에 필요한 시간적 해상도로 계산된다는 것이다. 또한, STFT 기술의 윈도우 함수와 유사하게 작동하는 필터는 잔류물에서 타겟 스펙트럼 콘텐츠를 분리할 목적으로 쉽게 튜닝되며, 다수의 고조파 처리 모듈의 경우에는 불균일 튜닝을 가질 수 있다. 회전된 스펙트럼 직교 성분의 위상 정보가 제공될 때 주로 위상-일관성 스펙트럼을 생성하는 기능을 갖는 비선형성은 모듈이 작동하는 분리된 성분들의 순간 크기를 배제함으로써 스케일-독립적이 된다. 일부 실시예에 따르면, 비선형성 자체는 제1종 체비쇼프 다항식들의 가중된 합산을 포함할 수 있다. 이러한 유형의 비선형성은 회전된 스펙트럼 직교 성분들에서 분리된 모든 성분에 대해 튜닝 가능한 고조파 스펙트럼을 생성할 수 있다. 각 고조파는 미리 정의된 고조파 가중치(an)에 의해 가중될 수 있다.
오디오 시스템은 가중된 위상-일관성 회전된 스펙트럼 직교 성분들의 스펙트럼을 회전된 기저에서 표준 기저로 회전시키는 역변환을 적용함으로써 고조파 스펙트럼 성분을 생성한다(625). 역변환은 0Hz가 타겟 주파수에 매핑되도록 스펙트럼을 회전시킬 수 있다. 고조파 스펙트럼 성분은 타겟 주파수들과 상이한 주파수들을 포함하지만, 스피커에 의해 렌더링될 때 타겟 주파수들의 심리음향적 인상을 산출한다. 고조파 스펙트럼 성분의 주파수들은 스피커의 대역폭 내에 있을 수 있는 반면, 부대역 주파수들은 스피커의 대역폭 밖에 있을 수 있다. 일부 실시예에서, 부대역 주파수들은 고조파 스펙트럼 성분의 주파수들보다 낮다. 일부 실시예에서, 부대역 주파수들은 18Hz와 250Hz 사이의 주파수를 포함한다. 일부 실시예에서, 타겟 부대역 또는 주파수들은 스피커의 재생 가능한 범위 내에 있을 수 있지만, 예를 들어 오디오 시스템의 전력 소비를 감소시키거나 스피커의 수명을 개선하기 위해 애플리케이션별 이유로 선택된 것일 수 있다.
오디오 시스템은 고조파 스펙트럼 성분을 타겟 주파수들의 외부에 있는 오디오 채널의 주파수들과 결합하여 출력 채널을 생성하고(630), 출력 채널을 스피커에 제공한다(635). 일부 실시예에서, 오디오 시스템은 고조파 스펙트럼 성분을 원래의 오디오 채널과 결합함으로써 출력 채널을 생성하고, 출력 채널을 스피커에 제공한다. 일부 실시예에서, 오디오 시스템은 오디오 채널 또는 다른 부대역 성분들이 고조파 스펙트럼 성분과 일관성을 유지하는 것을 보장하기 위해 오디오 채널 또는 오디오 채널의 다른 부대역 성분들을 필터링(예컨대, 주파수 범위 확장에 사용되는 부대역 성분(들) 제외시킴)하고, 필터링된 오디오 채널 또는 다른 부대역 성분들을 고조파 스펙트럼 성분과 결합하여 스피커에 대한 출력 채널을 생성한다. 일부 실시예에서, 필터링된 또는 원래의 오디오 채널과 고조파 스펙트럼 성분의 결합은, 예컨대 등화(equalization), 압축 등을 사용하여 추가 처리되어 스피커에 대한 출력 채널을 생성할 수 있다.
도 6의 프로세스는 단일 오디오 채널의 단일 부대역 성분에 대해 논의되었지만, 프로세스는 오디오 채널의 다수의 부대역 성분 및/또는 다채널 오디오 신호의 다수의 오디오 채널에 대한 주파수 범위 확장을 제공하도록 수행될 수 있다. 일부 실시예에서는, 상이한 스피커들이 상이한 이용가능한 대역폭들 또는 주파수 응답들을 가질 수 있다. 예를 들어, 모바일 디바이스(예컨대, 모바일폰)는 불균형 스피커들(unbalanced speakers)을 포함할 수 있다. 상이한 스피커들에 대한 주파수 범위 확장을 위해 상이한 부대역 성분들이 사용될 수 있다.
예시적 컴퓨터
도 7은 일부 실시예에 따른 컴퓨터(700)의 블록도이다. 컴퓨터(700)는 오디오 시스템(100)과 같은 오디오 시스템을 구현하는 회로의 예이다. 적어도 하나의 프로세서(702)가 칩셋(704)에 결합된 것으로 도시되어 있다. 칩셋(704)은 메모리 제어기 허브(720) 및 입력/출력(I/O) 제어기 허브(722)를 포함한다. 메모리(706) 및 그래픽 어댑터(712)가 메모리 제어기 허브(720)에 결합되고 디스플레이 디바이스(718)가 그래픽 어댑터(712)에 결합된다. 저장 디바이스(708), 키보드(710), 포인팅 디바이스(714) 및 네트워크 어댑터(716)가 I/O 제어기 허브(722)에 결합된다. 컴퓨터(700)는 다양한 유형의 입력 또는 출력 디바이스를 포함할 수 있다. 컴퓨터(700)의 다른 실시예는 상이한 아키텍처를 갖는다. 예를 들어, 일부 실시예에서 메모리(706)는 프로세서(702)에 직접 결합된다.
저장 디바이스(708)는 하드 드라이브, CD-ROM(Compact Disk Read-Only Memory), DVD 또는 솔리드 스테이트 메모리 디바이스와 같은 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 메모리(706)는 프로세서(702)에 의해 사용되는 프로그램 코드(하나 이상의 명령어로 구성됨) 및 데이터를 보유한다. 프로그램 코드는 도 1 내지 도 6을 참조하여 설명된 처리 양태에 대응할 수 있다.
포인팅 디바이스(714)는 컴퓨터 시스템(700)에 데이터를 입력하기 위해 키보드(710)와 함께 사용된다. 그래픽 어댑터(712)는 디스플레이 디바이스(718) 상에 이미지 및 다른 정보를 디스플레이한다. 일부 실시예에서, 디스플레이 디바이스(718)는 사용자 입력 및 선택을 수신하기 위한 터치 화면 기능을 포함한다. 네트워크 어댑터(716)는 컴퓨터 시스템(700)을 네트워크에 결합시킨다. 컴퓨터(700)의 일부 실시예는 도 7에 도시된 것과 상이한 및/또는 다른 구성요소를 갖는다.
회로는 비일시적 컴퓨터 판독가능 매체에 저장된 프로그램 코드를 실행하는 하나 이상의 프로세서를 포함할 수 있으며, 프로그램 코드는 하나 이상의 프로세서에 의해 실행될 때 오디오 처리 시스템 또는 오디오 처리 시스템의 모듈을 구현하도록 하나 이상의 프로세서를 구성한다. 오디오 처리 시스템 또는 오디오 처리 시스템의 모듈을 구현하는 회로의 다른 예는 ASIC(application-specific integrated circuit), FPGA(field-programmable gate array) 또는 다른 타입의 컴퓨터 회로와 같은 집적 회로를 포함할 수 있다.
추가 고려사항
개시된 구성의 예시적 이점 및 장점은, 디바이스 및 관련 오디오 렌더링 시스템에 맞춰 조정되는 향상된 오디오 시스템 뿐만 아니라 사용 사례 정보(예컨대, 오디오 신호가 게임이 아닌 음악 재생에 사용됨을 나타냄)와 같은 디바이스 OS에 의해 이용 가능하게 되는 다른 관련 정보로 인한 동적 오디오 향상을 포함한다. 향상된 오디오 시스템은 디바이스에 통합되거나(예컨대, 소프트웨어 개발 키트를 사용함) 요청 시 액세스할 수 있도록 원격 서버에 저장될 수 있다. 이러한 방식으로, 디바이스는 오디오 렌더링 시스템 또는 오디오 렌더링 구성에 특정되는 오디오 향상 시스템의 유지 관리에 저장 또는 처리 리소스를 할애할 필요가 없다. 일부 실시예에서, 향상된 오디오 시스템은 이용 가능한 디바이스 특정 렌더링 정보의 다양한 레벨에 걸쳐 효과적인 오디오 향상이 적용될 수 있도록 렌더링 시스템 정보에 대한 다양한 레벨의 질의를 가능하게 한다.
본 명세서 전반에 걸쳐, 복수의 인스턴스가 단일 인스턴스로서 설명된 구성요소, 동작 또는 구조를 구현할 수 있다. 하나 이상의 방법의 개별 동작은 별도의 동작으로 도시되고 설명되지만, 개별 동작들 중 하나 이상은 동시에 수행될 수 있으며, 동작은 설명된 순서대로 수행될 필요는 없다. 예시적인 구성에서 별도의 구성요소들로서 제시된 구조 및 기능은 결합된 구조 또는 구성요소로 구현될 수 있다. 유사하게, 단일 구성요소로서 제시된 구조 및 기능은 별도의 구성요소들로 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 본원의 주제 범위에 속한다.
본 명세서에서 특정 실시예는 로직 또는 다수의 구성요소, 모듈, 또는 메커니즘을 포함하는 것으로 설명된다. 모듈은 소프트웨어 모듈(예컨대, 머신 판독가능 매체 또는 전송 신호에 구현된 코드) 또는 하드웨어 모듈을 구성할 수 있다. 하드웨어 모듈은 특정 동작을 수행할 수 있는 유형의 유닛이며 특정 방식으로 구성되거나 배열될 수 있다. 예시적인 실시예에서, 하나 이상의 컴퓨터 시스템(예컨대, 독립형 클라이언트 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 모듈(예컨대, 프로세서 또는 프로세서 그룹)은 소프트웨어(예컨대, 애플리케이션 또는 애플리케이션 부분)에 의해 본 명세서에 설명된 특정 동작을 수행하도록 동작하는 하드웨어 모듈로서 구성될 수 있다.
본 명세서에 설명된 예시적인 방법의 다양한 동작은 관련 동작을 수행하도록 일시적으로 구성되거나(예컨대, 소프트웨어에 의해) 영구적으로 구성된 하나 이상의 프로세서에 의해 적어도 부분적으로 수행될 수 있다. 일시적으로 구성되든 영구적으로 구성되든 이러한 프로세서는 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서-구현 모듈을 구성할 수 있다. 일부 예시적 실시예에서, 본 명세서에서 언급된 모듈은 프로세서-구현 모듈을 포함할 수 있다.
유사하게, 본 명세서에 설명된 방법은 적어도 부분적으로 프로세서로 구현될 수 있다. 예를 들어, 방법의 동작들 중 적어도 일부는 하나 이상의 프로세서 또는 프로세서-구현 하드웨어 모듈에 의해 수행될 수 있다. 특정 동작의 성능은 단일 머신 내에 상주할 뿐만 아니라 다수의 머신에 걸쳐 배포되는 하나 이상의 프로세서에 분산될 수 있다. 일부 예시적 실시예에서 프로세서 또는 프로세서들은 단일 위치(예를 들어, 가정 환경 내에, 사무실 환경 내에 또는 서버 팜으로서)에 위치할 수 있는 반면, 다른 실시예에서 프로세서는 다수의 위치에 걸쳐 분산될 수 있다.
달리 구체적으로 언급되지 않는 한, "처리하는", "컴퓨팅하는", "계산하는", "결정하는", "제시하는", "표시하는" 등과 같은 단어를 사용하는 본 명세서에서의 논의는, 하나 이상의 메모리(예컨대, 휘발성 메모리, 비휘발성 메모리 또는 이들의 조합), 레지스터, 또는 정보를 수신, 저장, 전송 또는 표시하는 다른 머신 구성요소 내에서 물리적(예컨대, 전자적, 자기적 또는 광학적) 양으로 표현되는 데이터를 조작 또는 변환하는 머신(예컨대, 컴퓨터)의 동작 또는 프로세스를 지칭할 수 있다.
본 명세서에서 사용될 때, "일 실시예" 또는 "실시예"에 대한 임의의 언급은 실시예와 관련하여 설명된 특정 요소, 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함되는 것을 의미한다. 명세서의 다양한 위치에서 "일 실시예에서"라는 문구의 출현은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
일부 실시예는 "결합된" 및 "접속된"이라는 표현을 이들의 파생어와 함께 사용하여 설명될 수 있다. 이러한 용어는 서로 동의어로 의도된 것이 아님을 이해해야 한다. 예를 들어, 일부 실시예는 2개 이상의 요소가 서로 직접 물리적 또는 전기적 접촉 상태에 있음을 나타내기 위해 "접속된"이라는 용어를 사용하여 설명될 수 있다. 다른 예에서, 일부 실시예는 2개 이상의 요소가 직접 물리적 또는 전기적 접촉 상태에 있음을 나타내기 위해 "결합된"이라는 용어를 사용하여 설명될 수 있다. 그러나, "결합된"이라는 용어는 둘 이상의 요소가 서로 직접 접촉하지 않지만 여전히 서로 협력하거나 상호 작용하는 것을 의미할 수도 있다. 실시예는 이러한 맥락에서 제한되지 않는다.
본 명세서에 사용될 때, "포함한다(comprises)", "포함하는(comprising)", "포함한다(includes)", "포함하는(including)", "갖는다", "갖는" 또는 이들의 임의의 다른 변형은 비배타적인 포함을 커버하도록 의도된다. 예를 들어, 요소의 목록을 포함하는 프로세스, 방법, 물품 또는 장치는 반드시 그러한 요소만으로 제한되지 않으며, 명시적으로 나열되지 않거나 이러한 프로세스, 방법, 물품 또는 장치에 고유하지 않은 다른 요소를 포함할 수 있다. 또한, 달리 명시적으로 언급되지 않는 한, "또는"은 배타적 또는이 아닌 포괄적 또는을 나타낸다. 예를 들어, 조건 A 또는 B는 다음 중 어느 하나에 의해 충족된다: A는 참이고(또는 존재하고) B는 거짓임(또는 존재하지 않음), A는 거짓이고(또는 존재하지 않고) B는 참임(또는 존재함), A와 B는 모두 참임(또는 존재함).
또한, "a" 또는 "an"의 사용은 본 명세서의 실시예의 요소 및 구성요소를 설명하기 위해 사용된다. 이것은 단지 편의를 위해 그리고 본 발명의 일반적인 의미를 제공하기 위해 수행된다. 이 설명은 하나 또는 적어도 하나를 포함하는 것으로 읽혀져야 하며, 달리 의미하는 것이 분명하지 않는 한 단수는 복수도 포함한다.
이 설명의 어떤 부분은 정보에 대한 동작의 알고리즘 및 기호 표현의 관점에서 실시예를 설명한다. 이러한 알고리즘 설명 및 표현은 데이터 처리 기술 분야의 기술자가 자신의 작업 내용을 해당 기술 분야의 다른 사람에게 효과적으로 전달하는 데 일반적으로 사용된다. 이러한 동작은 기능적으로, 계산적으로 또는 논리적으로 설명되지만, 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로코드 등에 의해 구현되는 것으로 이해된다. 또한 일반성을 잃지 않으면서 이러한 동작 배열을 모듈로 지칭하는 것이 때로는 편리하다는 것이 입증되었다. 설명된 동작 및 관련 모듈은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합으로 구현될 수 있다.
본 명세서에 설명된 단계, 동작 또는 프로세스 중 임의의 것은 하나 이상의 하드웨어 또는 소프트웨어 모듈에 의해 단독으로 또는 다른 디바이스와 함께 사용하여 수행되거나 구현될 수 있다. 일 실시예에서, 소프트웨어 모듈은, 설명된 단계, 동작, 또는 프로세스 중 임의의 것 또는 전부를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품에 의해 구현된다.
실시예는 또한 본 명세서의 동작을 수행하기 위한 장치에 관한 것일 수 있다. 이 장치는 필요한 목적을 위해 특별히 구성될 수 있고/있거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 컴퓨터 시스템 버스에 결합될 수 있는 비일시적 유형의(tangible) 컴퓨터 판독가능 저장 매체, 또는 전자 명령어를 저장하기에 적합한 임의의 타입의 매체에 저장될 수 있다. 또한, 명세서에서 언급된 임의의 컴퓨팅 시스템은 단일 프로세서를 포함할 수 있거나, 증가된 컴퓨팅 능력을 위해 다중 프로세서 설계를 사용하는 아키텍처일 수 있다.
실시예는 또한 본 명세서에 설명된 컴퓨팅 프로세스에 의해 산출되는 제품에 관한 것일 수 있다. 이러한 제품은 컴퓨팅 프로세스로부터 생성된 정보를 포함할 수 있는데, 여기서 정보는 비일시적 유형의 컴퓨터 판독가능 저장 매체에 저장되며, 컴퓨터 프로그램 제품 또는 본 명세서에 설명된 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
본 개시물을 읽을 때, 당업자는 본 명세서에 개시된 원리를 통해 디바이스-특정 메타데이터를 사용하는 오디오 향상을 위한 프로세스 및 시스템에 대한 또 다른 대안적인 구조적 및 기능적 설계를 이해할 것이다. 따라서, 특정 실시예 및 애플리케이션이 예시되고 설명되었지만, 개시된 실시예는 본 명세서에 개시된 정확한 구성 및 구성요소에 제한되지 않는다는 것을 이해해야 한다. 첨부된 청구범위에 정의된 사상 및 범위를 벗어나지 않으면서 본 명세서에 개시된 방법 및 장치의 배열, 동작 및 세부사항에서 당업자에게 자명할 다양한 수정, 변경 및 변형이 이루어질 수 있다.
마지막으로, 명세서에 사용된 언어는 주로 가독성 및 교육 목적으로 선택되었으며, 특허권을 기술하거나 제한하기 위해 선택된 것이 아닐 수 있다. 따라서, 특허권의 범위는 이러한 상세한 설명이 아니라 이에 기초하여 출원에 대해 발행되는 임의의 청구항에 의해 제한되는 것으로 의도된다. 따라서, 실시예의 개시는 다음의 청구범위에 제시되는 특허권의 범위를 제한하는 것이 아닌 예시하기 위한 것이다.

Claims (33)

  1. 회로를 포함하는 시스템으로서,
    상기 회로는,
    오디오 채널로부터 상기 오디오 채널의 직교 표현(quadrature representation)을 정의하는 직교 성분들(quadrature components)을 생성하고,
    상기 직교 성분들의 스펙트럼을 표준 기저(standard basis)에서 회전된 기저(rotated basis)로 회전시키는 순방향 변환을 적용함으로써 회전된 스펙트럼 직교 성분들을 생성하고,
    상기 회전된 기저에서,
    타겟 주파수들에서 상기 회전된 스펙트럼 직교 성분들의 성분들을 분리시키고,
    상기 분리된 성분들에 스케일-독립적 비선형성(scale-independent nonlinearity)을 적용함으로써 가중된 위상-일관성 고조파 스펙트럼 직교 성분들(weighted phase-coherent harmonic spectral quadrature components)을 생성하고,
    상기 가중된 위상-일관성 고조파 스펙트럼 직교 성분들의 스펙트럼을 상기 회전된 기저에서 상기 표준 기저로 회전시키는 역변환을 적용함으로써 고조파 스펙트럼 성분을 생성하고,
    상기 고조파 스펙트럼 성분을 상기 타겟 주파수들의 외부에 있는 상기 오디오 채널의 주파수들과 결합하여 출력 채널을 생성하고,
    상기 출력 채널을 스피커에 제공하도록 구성되는,
    시스템.
  2. 제1항에 있어서,
    상기 고조파 스펙트럼 성분은 상기 오디오 채널의 상기 타겟 주파수들과 상이한 주파수들을 포함하고, 상기 스피커에 의해 렌더링될 때 상기 타겟 주파수들의 심리음향적 인상(psychoacoustic impression)을 산출하는,
    시스템.
  3. 제1항에 있어서,
    상기 순방향 변환은 하나의 타겟 주파수가 0Hz에 매핑되도록 상기 직교 성분들의 스펙트럼을 회전시키고,
    상기 역변환은 0Hz가 상기 하나의 타겟 주파수에 매핑되도록 상기 가중된 위상-일관성 고조파 스펙트럼 직교 성분들의 스펙트럼을 회전시키는,
    시스템.
  4. 제1항에 있어서,
    상기 타겟 주파수는 상기 타겟 주파수들의 중심 주파수인,
    시스템.
  5. 제1항에 있어서,
    상기 타겟 주파수들은 18Hz와 250Hz 사이의 주파수를 포함하는,
    시스템.
  6. 제1항에 있어서,
    상기 타겟 주파수들은 상기 고조파 스펙트럼 성분의 주파수들보다 낮은,
    시스템.
  7. 제1항에 있어서,
    상기 회로는 또한,
    상기 스피커의 재생 가능한 범위,
    상기 스피커의 전력 소비의 감소, 또는
    상기 스피커의 증가된 수명
    중 적어도 하나에 기초하여 상기 타겟 주파수들을 결정하도록 구성되는,
    시스템.
  8. 제1항에 있어서,
    상기 스피커는 모바일 디바이스의 구성요소인,
    시스템.
  9. 제1항에 있어서,
    상기 회로는 또한 게이트 함수(gate function)를 사용하여 타겟 크기들에서 상기 성분들을 분리시키도록 구성되는,
    시스템.
  10. 제1항에 있어서,
    상기 회로는 또한 상기 분리된 성분들에 평활화 함수(smoothing function)를 적용하도록 구성되는,
    시스템.
  11. 제1항에 있어서,
    상기 스케일-독립적 비선형성은 크기를 배제한(factored out) 제1종 체비쇼프 다항식들(Chebyshev polynomials)의 가중된 합산을 포함하는,
    시스템.
  12. 방법으로서,
    회로에 의해,
    오디오 채널로부터 상기 오디오 채널의 직교 표현을 정의하는 직교 성분들을 생성하는 단계와,
    상기 직교 성분들의 스펙트럼을 표준 기저에서 회전된 기저로 회전시키는 순방향 변환을 적용함으로써 회전된 스펙트럼 직교 성분들을 생성하는 단계와,
    상기 회전된 기저에서,
    타겟 주파수들에서 상기 회전된 스펙트럼 직교 성분들의 성분들을 분리시키는 단계와,
    상기 분리된 성분들에 스케일-독립적 비선형성을 적용함으로써 가중된 위상-일관성 고조파 스펙트럼 직교 성분들을 생성하는 단계와,
    상기 가중된 위상-일관성 고조파 스펙트럼 직교 성분들의 스펙트럼을 상기 회전된 기저에서 상기 표준 기저로 회전시키는 역변환을 적용함으로써 고조파 스펙트럼 성분을 생성하는 단계와,
    상기 고조파 스펙트럼 성분을 상기 타겟 주파수들의 외부에 있는 상기 오디오 채널의 주파수들과 결합하여 출력 채널을 생성하는 단계와,
    상기 출력 채널을 스피커에 제공하는 단계를 포함하는,
    방법.
  13. 제12항에 있어서,
    상기 고조파 스펙트럼 성분은 상기 오디오 채널의 상기 타겟 주파수들과 상이한 주파수들을 포함하고, 상기 스피커에 의해 렌더링될 때 상기 타겟 주파수들의 심리음향적 인상을 산출하는,
    방법.
  14. 제12항에 있어서,
    상기 순방향 변환은 하나의 타겟 주파수가 0Hz에 매핑되도록 상기 직교 성분들의 스펙트럼을 회전시키고,
    상기 역변환은 0Hz가 상기 하나의 타겟 주파수에 매핑되도록 상기 가중된 위상-일관성 고조파 스펙트럼 직교 성분들의 스펙트럼을 회전시키는,
    방법.
  15. 제12항에 있어서,
    상기 타겟 주파수는 상기 타겟 주파수들의 중심 주파수인,
    방법.
  16. 제12항에 있어서,
    상기 타겟 주파수들은 18Hz와 250Hz 사이의 주파수를 포함하는,
    방법.
  17. 제12항에 있어서,
    상기 타겟 주파수들은 상기 고조파 스펙트럼 성분의 주파수들보다 낮은,
    방법.
  18. 제12항에 있어서,
    상기 회로에 의해,
    상기 스피커의 재생 가능한 범위,
    상기 스피커의 전력 소비의 감소, 또는
    상기 스피커의 증가된 수명
    중 적어도 하나에 기초하여 상기 타겟 주파수들을 결정하는 단계를 더 포함하는,
    방법.
  19. 제12항에 있어서,
    상기 스피커는 모바일 디바이스의 구성요소인,
    방법.
  20. 제12항에 있어서,
    상기 회로에 의해, 게이트 함수를 사용하여 타겟 크기들에서 상기 성분들을 분리시키는 단계를 더 포함하는,
    방법.
  21. 제12항에 있어서,
    상기 회로에 의해, 상기 분리된 성분들에 평활화 함수를 적용하는 단계를 더 포함하는,
    방법.
  22. 제12항에 있어서,
    상기 스케일-독립적 비선형성은 크기를 배제한 제1종 체비쇼프 다항식들의 가중된 합산을 포함하는,
    방법.
  23. 저장된 명령어를 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어는, 적어도 하나의 프로세서에 의해 실행될 때,
    오디오 채널로부터 상기 오디오 채널의 직교 표현을 정의하는 직교 성분들을 생성하는 것과,
    상기 직교 성분들의 스펙트럼을 표준 기저에서 회전된 기저로 회전시키는 순방향 변환을 적용함으로써 회전된 스펙트럼 직교 성분들을 생성하는 것과,
    상기 회전된 기저에서,
    타겟 주파수들에서 상기 회전된 스펙트럼 직교 성분들의 성분들을 분리시키는 것과,
    상기 분리된 성분들에 스케일-독립적 비선형성을 적용함으로써 가중된 위상-일관성 고조파 스펙트럼 직교 성분들을 생성하는 것과,
    상기 가중된 위상-일관성 고조파 스펙트럼 직교 성분들의 스펙트럼을 상기 회전된 기저에서 상기 표준 기저로 회전시키는 역변환을 적용함으로써 고조파 스펙트럼 성분을 생성하는 것과,
    상기 고조파 스펙트럼 성분을 상기 타겟 주파수들의 외부에 있는 상기 오디오 채널의 주파수들과 결합하여 출력 채널을 생성하는 것과,
    상기 출력 채널을 스피커에 제공하는 것
    을 수행하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  24. 제23항에 있어서,
    상기 고조파 스펙트럼 성분은 상기 오디오 채널의 상기 타겟 주파수들과 상이한 주파수들을 포함하고, 상기 스피커에 의해 렌더링될 때 상기 타겟 주파수들의 심리음향적 인상을 산출하는,
    비일시적 컴퓨터 판독가능 매체.
  25. 제23항에 있어서,
    상기 순방향 변환은 하나의 타겟 주파수가 0Hz에 매핑되도록 상기 직교 성분들의 스펙트럼을 회전시키고,
    상기 역변환은 0Hz가 상기 하나의 타겟 주파수에 매핑되도록 상기 가중된 위상-일관성 고조파 스펙트럼 직교 성분들의 스펙트럼을 회전시키는,
    비일시적 컴퓨터 판독가능 매체.
  26. 제23항에 있어서,
    상기 타겟 주파수는 상기 타겟 주파수들의 중심 주파수인,
    비일시적 컴퓨터 판독가능 매체.
  27. 제23항에 있어서,
    상기 타겟 주파수들은 18Hz와 250Hz 사이의 주파수를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  28. 제23항에 있어서,
    상기 타겟 주파수들은 상기 고조파 스펙트럼 성분의 주파수들보다 낮은,
    비일시적 컴퓨터 판독가능 매체.
  29. 제23항에 있어서,
    상기 명령어는 또한,
    상기 스피커의 재생 가능한 범위,
    상기 스피커의 전력 소비의 감소, 또는
    상기 스피커의 증가된 수명
    중 적어도 하나에 기초하여 상기 타겟 주파수들을 결정하는 것을 수행하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  30. 제23항에 있어서,
    상기 스피커는 모바일 디바이스의 구성요소인,
    비일시적 컴퓨터 판독가능 매체.
  31. 제23항에 있어서,
    상기 명령어는 또한, 게이트 함수를 사용하여 타겟 크기들에서 상기 성분들을 분리시키는 것을 수행하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  32. 제23항에 있어서,
    상기 명령어는 또한, 상기 분리된 성분들에 평활화 함수를 적용하는 것을 수행하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  33. 제23항에 있어서,
    상기 스케일-독립적 비선형성은 크기를 배제한 제1종 체비쇼프 다항식들의 가중된 합산을 포함하는,
    비일시적 컴퓨터 판독가능 매체.
KR1020227007545A 2019-08-08 2020-08-06 심리음향적 주파수 범위 확장을 위한 비선형 적응성 필터뱅크 KR102578008B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962884607P 2019-08-08 2019-08-08
US62/884,607 2019-08-08
PCT/US2020/045137 WO2021026314A1 (en) 2019-08-08 2020-08-06 Nonlinear adaptive filterbanks for psychoacoustic frequency range extension

Publications (2)

Publication Number Publication Date
KR20220044566A true KR20220044566A (ko) 2022-04-08
KR102578008B1 KR102578008B1 (ko) 2023-09-12

Family

ID=74498116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227007545A KR102578008B1 (ko) 2019-08-08 2020-08-06 심리음향적 주파수 범위 확장을 위한 비선형 적응성 필터뱅크

Country Status (8)

Country Link
US (1) US11006216B2 (ko)
EP (1) EP3991169A4 (ko)
JP (1) JP7270836B2 (ko)
KR (1) KR102578008B1 (ko)
CN (1) CN114467313B (ko)
BR (1) BR112022002100A2 (ko)
TW (1) TWI740599B (ko)
WO (1) WO2021026314A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117678014A (zh) * 2021-07-08 2024-03-08 博姆云360公司 使用全通滤波器网络的仰角感知线索的无色生成
US11838732B2 (en) * 2021-07-15 2023-12-05 Boomcloud 360 Inc. Adaptive filterbanks using scale-dependent nonlinearity for psychoacoustic frequency range extension
CN117616780A (zh) * 2021-07-15 2024-02-27 博姆云360公司 用于心理声学频率范围扩展的使用尺度依赖非线性的自适应滤波器组

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002171182A (ja) * 2000-11-08 2002-06-14 Sony Internatl Europ Gmbh 雑音除去方法及び雑音除去装置
KR20130007598A (ko) * 2010-03-09 2013-01-18 돌비 인터네셔널 에이비 오디오 신호들의 대역폭 연장에 기반한 위상 보코더의 개선된 크기 응답과 시간적 정렬을 위한 방법과 장치
KR20130116901A (ko) * 2010-12-22 2013-10-24 슈레 애쿼지션 홀딩스, 인코포레이티드 직교 변조 시스템을 이용하는 무선 오디오 장비
US20160155448A1 (en) * 2013-07-05 2016-06-02 Dolby International Ab Enhanced sound field coding using parametric component generation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532998B2 (en) * 2008-09-06 2013-09-10 Huawei Technologies Co., Ltd. Selective bandwidth extension for encoding/decoding audio/speech signal
US8559655B2 (en) * 2009-05-18 2013-10-15 Harman International Industries, Incorporated Efficiency optimized audio system
TWI556227B (zh) * 2009-05-27 2016-11-01 杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
US8971551B2 (en) * 2009-09-18 2015-03-03 Dolby International Ab Virtual bass synthesis using harmonic transposition
US9070361B2 (en) * 2011-06-10 2015-06-30 Google Technology Holdings LLC Method and apparatus for encoding a wideband speech signal utilizing downmixing of a highband component
EP2685448B1 (en) * 2012-07-12 2018-09-05 Harman Becker Automotive Systems GmbH Engine sound synthesis
JP5894347B2 (ja) 2012-10-15 2016-03-30 ドルビー・インターナショナル・アーベー 転移器に基づく仮想ベース・システムにおけるレイテンシーを低減するシステムおよび方法
EP3742440B1 (en) 2013-04-05 2024-07-31 Dolby International AB Audio decoder for interleaved waveform coding
US20140355769A1 (en) * 2013-05-29 2014-12-04 Qualcomm Incorporated Energy preservation for decomposed representations of a sound field
US10134412B2 (en) 2015-09-03 2018-11-20 Shure Acquisition Holdings, Inc. Multiresolution coding and modulation system
US9641191B1 (en) * 2015-11-12 2017-05-02 Guzik Technical Enterprises Digital down converter with equalization
EP3171362B1 (en) * 2015-11-19 2019-08-28 Harman Becker Automotive Systems GmbH Bass enhancement and separation of an audio signal into a harmonic and transient signal component
CN108604454B (zh) * 2016-03-16 2020-12-15 华为技术有限公司 音频信号处理装置和输入音频信号处理方法
US10075789B2 (en) * 2016-10-11 2018-09-11 Dts, Inc. Gain phase equalization (GPEQ) filter and tuning methods for asymmetric transaural audio reproduction
CN110832881B (zh) 2017-07-23 2021-05-28 波音频有限公司 立体声虚拟低音增强

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002171182A (ja) * 2000-11-08 2002-06-14 Sony Internatl Europ Gmbh 雑音除去方法及び雑音除去装置
KR20130007598A (ko) * 2010-03-09 2013-01-18 돌비 인터네셔널 에이비 오디오 신호들의 대역폭 연장에 기반한 위상 보코더의 개선된 크기 응답과 시간적 정렬을 위한 방법과 장치
KR20130116901A (ko) * 2010-12-22 2013-10-24 슈레 애쿼지션 홀딩스, 인코포레이티드 직교 변조 시스템을 이용하는 무선 오디오 장비
US20160155448A1 (en) * 2013-07-05 2016-06-02 Dolby International Ab Enhanced sound field coding using parametric component generation

Also Published As

Publication number Publication date
CN114467313A (zh) 2022-05-10
US20210044898A1 (en) 2021-02-11
CN114467313B (zh) 2023-04-14
WO2021026314A1 (en) 2021-02-11
TWI740599B (zh) 2021-09-21
TW202111691A (zh) 2021-03-16
KR102578008B1 (ko) 2023-09-12
US11006216B2 (en) 2021-05-11
EP3991169A1 (en) 2022-05-04
EP3991169A4 (en) 2023-07-12
JP2022543849A (ja) 2022-10-14
JP7270836B2 (ja) 2023-05-10
BR112022002100A2 (pt) 2022-04-12

Similar Documents

Publication Publication Date Title
KR102578008B1 (ko) 심리음향적 주파수 범위 확장을 위한 비선형 적응성 필터뱅크
JP7437493B2 (ja) スペクトル直交オーディオ成分処理
KR102698128B1 (ko) 심리음향 주파수 범위 확장을 위해 스케일 의존적 비선형성을 사용하는 적응형 필터뱅크
CN117616780A (zh) 用于心理声学频率范围扩展的使用尺度依赖非线性的自适应滤波器组
KR102374934B1 (ko) 사운드 스테이지 보존 오디오 채널 합산

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant