KR20170116105A - 오디오 처리를 위한 다중 레이트 시스템 - Google Patents

오디오 처리를 위한 다중 레이트 시스템 Download PDF

Info

Publication number
KR20170116105A
KR20170116105A KR1020177025230A KR20177025230A KR20170116105A KR 20170116105 A KR20170116105 A KR 20170116105A KR 1020177025230 A KR1020177025230 A KR 1020177025230A KR 20177025230 A KR20177025230 A KR 20177025230A KR 20170116105 A KR20170116105 A KR 20170116105A
Authority
KR
South Korea
Prior art keywords
amplitude
signal
band
phase
subband
Prior art date
Application number
KR1020177025230A
Other languages
English (en)
Other versions
KR102545961B1 (ko
Inventor
대경 노
테미스 카트시아노스
Original Assignee
디티에스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디티에스, 인코포레이티드 filed Critical 디티에스, 인코포레이티드
Publication of KR20170116105A publication Critical patent/KR20170116105A/ko
Application granted granted Critical
Publication of KR102545961B1 publication Critical patent/KR102545961B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G5/00—Tone control or bandwidth control in amplifiers
    • H03G5/005—Tone control or bandwidth control in amplifiers of digital signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0248—Filters characterised by a particular frequency response or filtering method
    • H03H17/0264—Filter sets with mutual related characteristics
    • H03H17/0272—Quadrature mirror filters

Abstract

다중 레이트 오디오 처리 시스템 및 방법은 진폭/위상 보상을 더 높은 부대 역(들)에 적용하는데 사용될 수 있는 오디오 처리에 의해 야기되는 최저 주파수 부대역의 천이 대역에서의 진폭/위상 변화의 실시간 측정 및 처리를 제공한다. 톤 신호는 측정 및 처리를 위해 강한 톤 콘텐츠를 제공하기 위해 천이 대역에 주입될 수 있다. 실시간 측정 및 보상은 변경 소스(예를 들어, 비선형 시변 선형 또는 사용자 제어 파라미터)에 관계없이 시변 진폭/위상 변화에 적응하며, 임의의 선형 오디오 처리에 보편적인 적용성을 제공한다.

Description

오디오 처리를 위한 다중 레이트 시스템
본 출원은 2015년 2월 12일자로 출원된 "임의 오디오 처리를 위한 다중 레이트 시스템(MULTI-RATE SYSTEM FOR ARBITRARY AUDIO PROCESSING)"이라는 명칭의 미국 가출원 번호 제62/115,560호 및 2015년 8월 12일자로 출원된 "오디오 처리를 위한 다중 레이트 시스템(MULTI-RATE SYSTEM FOR AUDIO PROCESSING)"이라는 명칭의 미국 정규출원 번호 제14/824,998호의 35 U.S.C. 119(e)에 의한 우선권의 이익을 주장하며, 그 전체 내용은 본 명세서에 참고로 포함된다.
본 발명은 디지털 오디오의 다중 레이트 처리에 관한 것으로서, 보다 구체적으로는 최저 주파수 부대역(subband)에서 오디오 처리에 의해 야기되는 진폭 및 위상 아티팩트(artifact)를 보상하는 기술에 관한 것이다.
높은 샘플링 레이트 콘텐츠를 지원하는 오디오 재생 하드웨어가 현재 사용되고 있다. 그러나 이러한 콘텐츠의 전체 대역폭을 처리하는 데 오디오 처리 기술이 필요하지 않을 수 있다. 더 높은 샘플링 레이트에서의 오디오 처리는 더 많은 계산 자원을 필요로 하기 때문에 더 높은 샘플링 레이트에서 더 낮은 샘플링 레이트를 위해 설계된 오디오 처리를 수행하는 것은 바람직하지 않다. 이것은 제한된 계산 자원을 가진 시스템에 특히 중요하다.
다양한 오디오 처리 기술은 그것의 계산상의 이점 때문에 다중 레이트 처리를 사용한다. 일반적으로, 다중 레이트 부대역 처리는 부대역 분해(decomposition), 데시메이션(decimation) 및 확장(expansion) 프로세스를 포함한다. 이러한 프로세스를 통해 신호는 재구성 단계에서 원본 콘텐츠의 전체 대역폭을 유지하면서 부대역의 대역폭에 해당하는 감소된 샘플링 레이트로 처리될 수 있다.
일부 기술들은 계산 복잡도를 줄이기 위해 부대역들 중 최저 주파수 부대역에만 오디오 처리를 적용한다. 그러나, 최저 주파수 부대역에서 오디오 처리를 수행하는 것은 종종 진폭 및 위상 변화를 일으킨다. 기존의 기술들은 부대역들의 천이 대역(transition band)에서 진폭 및 위상과 정합하는 더 높은 주파수의 부대역에 보상 필터(compensation filter)들을 부가함으로써 이러한 변화들을 보정하려고 시도한다. 기존 기술들은 보상 필터들을 계산하기 위한 오디오 처리의 선험적 지식 또는 부대역들의 천이 대역에서 처리의 진폭/위상 특성들의 비-실시간 측정에 의존한다.
이 요약은 상세한 설명에서 하기에서 더 설명되는 단순화된 형태의 개념의 선택을 소개하기 위해 제공된다. 이 요약은 특허청구된 주제(claimed subject matter)의 주요 특징 또는 필수 특징을 식별하기 위한 것이 아니며 특허청구된 주제의 범위를 제한하는 데 사용될 의도도 아니다.
여기에 기술된 다중 레이트 임의 오디오 처리 시스템 및 방법의 실시예들은더 낮은 샘플링 레이트를 위해 설계된 오디오 처리를 위한 효율적인 높은 샘플링 레이트 재생 시스템이다. 계산 복잡도를 줄이기 위해 높은 샘플링 레이트 신호가 데시메이팅되어 두 개의 부대역로 분리된다(split). 최대 데시메이션된 시스템을 얻기 위해 프로세스는 최저 부대역에서 반복될 수 있다. 본 시스템 및 방법의 실시예들은 재구성 단계에서 원래의 콘텐츠의 전체 대역폭을 보존하면서 계산 복잡도를 줄이기 위해 최저 주파수 부대역에만 오디오 처리를 적용한다. 오디오 처리는 임의적일 수 있다; 공지 또는 비공지, 선형, 비선형 또는 시변(time-variant) 또는 다양한 제어 파라미터에 대한 사용자 변경을 거칠 수 있다. 본 시스템 및 방법의 실시예들은 특히 시변의 또는 미정의 진폭 및 위상 변화를 생성하는 비선형 처리 또는 사용자 설정 제어 파라미터와 같은 오디오 처리에 특히 매우 적합하다. 본 시스템 및 방법의 실시예는 각 오디오 처리에 대한 필터를 재설계할 필요없이 실시예가 보편적으로 적용될 수 있기 때문에 임의의 선형 오디오 처리에 매우 적합하다.
낮은 대역에서의 오디오 처리에 의해 야기되는 진폭 및 위상 변화를 극복하기 위해, 다중 레이트 임의 오디오 처리 시스템 및 방법의 실시예는 정확도를 향상시키기 위해 임의의 오디오 처리를 위한 실시간 진폭 및 위상 측정 및 보상 방법을 사용한다. 특히, 진폭 및 위상 측정이 최저 주파수 부대역의 천이 대역에서 수행되고, 부대역이 재결합될 때 초래될 수 있는 에일리어싱 잡음(aliasing noise) 및 진폭 왜곡을 감소시키기 위해 나머지 부대역의 나머지에 대해 보상이 수행된다. 오디오 처리의 실시예는 오디오 샘플의 블록을 처리한다. 측정 및 보상 방법은 오디오 샘플의 동일한 블록을 적절하게 처리하여 각 블록에 대한 진폭 및 위상 보상을 업데이트한다. 부대역은 업-샘플링되고(up-sampled) 재결합된다.
본 시스템 및 방법의 실시예는 오디오 처리에 의해 야기된 진폭 및 위상의 변화를 신뢰성 있게 계산하기 위해 최저 주파수 부대역의 천이 대역에 충분한 신호 진폭 및 톤(tonal) 콘텐츠가 존재하는지 여부를 결정함으로써 실시간 측정 및 보상을 제공한다. 그렇다면 진폭 및 위상 보상이 계산되어 나머지 대역에 적용된다. 그렇지 않은 경우, 최종 계산된 진폭 및 위상 보상이 나머지 부대역에 적용되거나 충분한 진폭 및 톤 콘텐츠가 천이 대역에 존재할 때까지 보상이 디스에이블된다.
본 시스템 및 방법의 실시예들은 진폭 및 위상의 변화를 신뢰성 있게 계산하기 위해 최저 부대역의 천이 대역에 충분한 신호 진폭 및 톤 콘텐츠가 존재하는지 여부를 결정함으로써 실시간 측정 및 보상을 제공한다. 그렇다면, 진폭 및 위상 보상이 계산되어 나머지 부대역에 적용된다. 그렇지 않은 경우, 천이 대역에 위치한 하나 이상의 톤 신호는 오디오 처리 전에 최저 부대역에 가산(add)(주입(inject))되고, 오디오 처리 후에는 최저 부대역으로부터 감산(subtract)(제거)된다. 하나 이상의 톤 신호는 진폭 및 위상 보상을 신뢰성 있게 계산하는 데 요구되는 톤 콘텐츠 및 진폭을 제공한다. 실시예들은 최저 부대역에서 신호 진폭 및 위상을 측정하고, 천이 대역에서의 잡음 신호보다 높지만 최저 부대역에서의 신호 진폭을 최소한 변경할 만큼 충분히 낮도록 톤 신호(들)의 진폭을 결정하고, 천이 대역에서 신호의 상쇄(cancelation)를 피하기 위하여 톤 신호(들)의 위상 및 주파수를 선택한다. 실시예들은 오디오 처리 전에 천이 대역 내의 신호를 제거하고 오디오 처리 후에 신호를 다시 주입하여 하나 이상의 톤 신호에 대한 오디오 처리의 효과들에만 기초하여 깨끗한(clean) 측정 및 계산을 제공할 수 있다.
본 시스템 및 방법의 실시예는 천이 대역에서 상이한 주파수로 이격된 다수의 톤 신호를 주입한다. 실시예들은 단일 진폭 보상 값 및 단일 지연 보상 값을 생성하기 위해 다중 톤 신호들에 대한 측정치의 가중 평균을 계산한다. 실시예는 진폭 및 위상 특성이 천이 대역에서 오디오 처리의 진폭 및 위상 특성과 대략 매칭되는 하나 이상의 보상 필터를 계산한다. 진폭/지연 보상은 계산상 더 효율적이지만 보상 필터는 더 정확한 진폭 및 위상 보상을 제공한다. 보상 필터는 오디오 처리된 샘플의 각 블록에 대해 또는 정의된 간격에서 덜 빈번하게 재계산될 수 있다.
본 시스템 및 방법의 실시예는 전체 대역(full band) 신호 레벨의 보존 또는 오디오 처리의 의도된 이득(전체 부대역 측정)과 완전한 재구성 특성(천이 대역 측정) 간의 균형(balance)을 달성하기 위해, 전체 최저 주파수 부대역 측정(예를 들어, RMS) 및 천이 대역 측정의 진폭을 비교한다.
이들 특징은 시스템 및 방법의 실시예가 전체 높은 샘플링 레이트 오디오 처리의 비용, 또는 위상 보상 필터링을 갖는 QMF 시스템의 비용에 비해 낮은 계산 비용으로 동작할 수 있게 한다. 또한, 새로운 천이 대역 가산/감산 방법을 사용하면 재구성된 신호의 진폭 왜곡 및 에일리어싱 잡음이 상당히 감소한다.
대안적인 실시예가 가능하며, 본 명세서에서 설명된 단계 및 요소는 특정 실시예에 따라 변경, 추가 또는 제거될 수 있음에 유의해야 한다. 이러한 대안적인 실시예는 본 발명의 범위를 벗어나지 않고 사용될 수 있는 대체 단계 및 대체 요소 및 구조 변경을 포함한다.
이제 도면을 참조하면, 유사한 참조 번호는 전체에 걸쳐 대응하는 부분을 나타낸다.
도 1은 최저 주파수 부대역에서의 오디오 처리에 의해 야기되는 진폭 및 위상 변화의 실시간 측정 및 보상을 위해 구성된 M의 데시메이션/확장 비를 가진, M-채널 QMF(quadrature mirror filter) 뱅크 오디오 처리 구조의 일 실시예의 블록도이다.
도 2는 오디오 처리 전후의 최저 주파수 부대역에 다중 톤 신호를 가산한 후 감산함으로써, 실시간 측정 및 보상이 달성되는 2-채널 QMF 뱅크 오디오 처리 구조의 일 실시예의 블록도이다.
도 3은 2-채널 구조에서 하위(lower) 및 상위(upper) 주파수 부대역의 주파수 응답 및 하위 및 상위 부대역을 분리하는 천이 대역에서 다중 톤 신호의 주입을 도시하는 도면이다.
도 4는 2-채널 QMF 뱅크의 다상(polyphase) 표현으로 분석 필터 뱅크를 도시 한 블록도이다.
도 5는 2-채널 QMF 뱅크의 다상 표현에서의 합성 필터 뱅크를 도시하는 블록도이다.
도 6은 천이 대역 및 전체 최저 주파수 부대역에 걸쳐 진폭 측정치의 비교에 기초한 실시간 진폭 보상을 도시하는 도면이다.
도 7은 천이 대역으로 톤 신호를 주입하기 위한 결정 프로세스 및 톤 신호의 진폭/위상의 계산을 도시하는 흐름도이다.
도 8은 실시간 측정이 더 높은 주파수 부대역들에 대한 보상 필터(들)을 업데이트하는데 사용되는 2-채널 QMF 뱅크 오디오 처리 구조의 일 실시예의 블록도이다.
다중 레이트 임의 오디오 처리 시스템 및 방법의 실시예에 대한 다음의 설명에서, 첨부 도면을 참조한다. 이들 도면은 다중 레이트 임의 오디오 처리 시스템 및 방법의 실시예가 어떻게 실행될 수 있는지의 구체적인 예를 설명하기 위해 도시된다. 특허청구된 주제의 범위를 벗어나지 않고 다른 실시예들이 이용될 수 있고 구조적 변경이 이루어질 수 있음을 이해할 수 있다.
최저 주파수 부대역에서의 오디오 처리에 의해 야기된 진폭/위상 변화를 보정하기 위한 고주파수 부대역(들)에 대한 보상 필터의 오프라인 설계를 위한 현존하는 기술은 임의의 오디오 처리와 함께 사용되는 독립형 시스템에 부적당하다. 보상 필터는 오디오 처리의 사전 지식 또는 각 오디오 처리 인스턴스화에 대한 유도된 진폭/위상 변화의 오프라인 측정에 따라 설계되고 고정된다. 사용자 설정 제어 파라미터를 갖는 비선형 처리, 선형 시변 처리 또는 선형 또는 비선형 처리와 같은 오디오 처리는 시변의 또는 미정의 진폭 및 위상 변화를 생성한다. 기존 기술은 그러한 조건을 적절히 다루지 못한다. 또한, 진폭 및 위상 보상을 고정시켜야 하는 진정한 선형 오디오 처리에도 불구하고 기존 기술은 각 오디오 처리 기술에 대해 특정 필터 설계가 필요하다.
오디오 처리에 의해 야기된 낮은 부대역의 천이 대역에서의 진폭/위상 변화의 실시간 측정 및 진폭/위상 보상의 더 높은 부대역(들)에의 적용을 제공하는 본 기술은 임의의 오디오 처리과 함께 사용되는 독립형 시스템에 매우 적합하다. 실시간 측정 및 보상은 변화의 소스(예를 들어, 비선형, 시변 선형 또는 사용자 제어 파라미터)에 상관없이 시변 진폭/위상 변화에 적응하며, 임의의 선형 오디오 처리에 보편적인 적용을 제공한다.
이제, 다중 레이트 임의 오디오 처리 시스템 및 방법의 실시예의 컴포넌트들의 시스템 세부 사항이 논의될 것이다. 컴포넌트, 모듈 및 시스템을 구현할 수 있은 여러 가지 방법 중 몇 가지만 아래에 설명되어 있다는 것을 유의해야 한다. 도시된 것으로부터 많은 변형이 가능하다. 예를 들어, 몇몇 구성들에서, 각 부대역의 부대역 신호들은 다운샘플링(downsampled)/업샘플링된다(upsampled). 다른 구성에서, 최저 부대역의 부대역 신호는 오디오 처리의 샘플링 레이트로 다운샘플링된 다음, 업 샘플링되지만, 높은 또는 더 높은 부대역의 부대역 신호는 다운샘플링/샘플링될 수도 그렇지 않을 수도 있다. QMF의 다상 양식이 모든 부대역이 다운샘플링되는 것을 요구하지만 어느 방법이든 QMF 뱅크에서 구현될 수 있다.
이제 도 1을 참조하면, 오디오 재생 시스템(10)의 일 실시예는 사운드(14)(압력 파)를 아날로그 신호로 변환하는 마이크로폰(12), 및 아날로그 신호를 샘플링하여 높은 샘플링 레이트 디지털 오디오 신호 x(n) 17(모노, 스테레오 또는 다중 채널)을 생성하는 A/D(analog-to-digital) 변환기(16)를 포함한다. 88.2kHz, 96kHz, 176.4kHz 및 192kH의 샘플링 레이트가 대표적이다. 대안으로, 디지털 오디오 신호는 사전 기록되어 디지털 오디오 파일(18)로서 저장될 수 있다. 높은 샘플링 레이트 디지털 오디오 신호는 부대역 분해, 데시메이션, 확장 및 합성 프로세스를 구현하는 다중 레이트 오디오 처리 시스템(20)에 입력된다. 오디오 처리는 최저 부대역에서만 다운샘플링된 오디오 신호에 적용된다. 일반적인 샘플링 레이트는 44.1kHz와 48kHz이다. 오디오 처리에 의해 야기된 진폭/위상 변화는 실시간으로 측정되고 이러한 변화에 대한 보상은 수행된 특정 오디오 처리(즉, 비선형, 선형 시변, 제어 파라미터 또는 특정 선형 설계)와 독립적인 방식으로 실시간으로 더 높은 부대역에 적용된다. 다중 레이트 오디오 처리 시스템(20)은 하나 이상의 IC 칩(22)으로 구현될 수 있고, 각 IC 칩(22)은 하나 이상의 디지털 프로세서(24) 및 메모리(26)로 구성된다. 재구성된 디지털 오디오 신호 x'(n)은 D/A(digital-to-analog) 변환기(28)를 통과하여 스피커(30)를 구동하는 아날로그 신호를 생성하여, 사운드(32)(압력 파)를 생성한다. 대안으로, 디지털 오디오 신호 x'(n)은 디지털 오디오 파일(33)로서 저장될 수 있다.
다중 레이트 오디오 처리 시스템(20)은 M의 데시메이션/확장 비를 가진 M-채널 QMF 뱅크 오디오 처리 구조(34)로서 구현되고, 여기서 M은 정수 값이다. 분석 필터 H0(z), H1(z)..HM -1(z) 36a, 36b ... 36M - 1는 입력 디지털 오디오 신호 x(n)을 천이 대역에서 중첩하는 M 개의 주파수 부대역으로 분해(decompose)하여, M 개의 부대역 신호를 생성한다. 데시메이터(38a, 38b ... 38M-1)는 각각의 부대역 신호를 데시메이팅하여 M 개의 다운샘플링된 부대역 신호를 생성한다.
오디오 프로세서(40)는 제1 처리 신호(first processed signal)를 생성하기 위해 최저 부대역의 다운샘플링된 부대역 신호에 대해 오디오 처리를 수행한다. 전형적으로, 부대역 신호는 오디오 샘플들(예컨대, 256, 512, 1024 샘플들)의 블록들로 세그먼트화되고 각각의 블록이 처리된다. 오디오 처리는 고정 또는 시변일 수 있는 선형 필터링 - 저대역, 고대역, 및 통과대역 필터링과 같은 선형 프로세스, 동적 범위 압축, 리미터(limiter) 및 변조와 같은 비-선형 프로세스, 또는 그래픽 이퀄라이저 이득, 처리 인에이블/디스에이블 및 필터 차단(cutoff) 주파수와 같은 사용자 제어 파라미터를 구성할 수 있다. 오디오 처리는 천이 대역에서 다운샘플링된 오디오 신호에 진폭 및 위상 변화를 일으킨다. 오디오 처리는 또한 전체 최저 주파수 부대역에 대한 신호에 의도된 이득을 부여한다.
보상 유닛(compensation unit)(42)은 (오디오 처리 전후에) 다운샘플링된 부대역 신호의 천이 주파수 대역에서 실시간으로 진폭 및 위상을 측정하고, 측정치를 처리하여 천이 주파수 대역에서 진폭 및 위상의 변화를 계산하며, 최저 주파수 부대역에서의 진폭 및 위상의 측정된 변화와 대략 매칭시키기 위해 나머지 더 높은 주파수 부대역들에 대한 진폭 보상 및 위상 보상 모두를 계산한다. 진폭 보상은 천이 대역에서 진폭 변화에만 기초하여 계산될 수 있으며, 이 경우 보상은 출력 오디오 신호의 완벽한 재구성을 제공한다. 대안적으로, 진폭 보상은 출력 오디오 신호의 완전한 재구성과 오디오 처리의 의도된 이득 또는 신호 레벨의 보존 간의 균형을 달성하기 위해, 천이 대역 및 전체 최저 주파수 부대역 모두에서 진폭의 변화에 기초하여 계산될 수 있다. 측정 및 계산은 천이 주파수 대역에서만 적절하게 수행되어 계산 효율을 향상시킨다.
진폭 및 위상 보상은 더 높은 주파수 부대역에서의 다운샘플링된 부대역 신호 각각에 적용되어, 처리된 부대역 신호를 생성한다. 일 실시예에서, 보상은 하나 이상의 보상 필터(44)의 형태로 제공된다. 다른 실시예에서, 보상은 단일 값 이득(46)(진폭 보상) 및 단일 값 지연(48)(위상 보상)의 형태로 제공된다. 필터 구성에서, 오디오 처리의 처리 레이턴시(latency)를 보상하기 위해 부가적인 지연이 제공된다. 이득/지연 구성에서, 지연(48)은 그룹 지연 및 처리 레이턴시 모두를 포함한다. M-채널 구현 예에서, 각각의 더 높은 부대역의 지연은 계산된 그룹 지연과 필터 뱅크의 그룹 지연의 합의 정수배이다. 진폭/지연 보상은 계산 효율이 더 높지만 보상 필터는 더 정확한 진폭 및 위상 보상을 제공한다.
처리된 오디오 샘플들의 각각의 블록에 대해, 보상 유닛(42)은 바람직하게는 진폭/위상의 변화, 따라서, 진폭/위상 보상을 신뢰성 있게 계산하기 위해 최저 부대역의 천이 대역에서 다운샘플링된 부대역 신호의 충분한 진폭 및 톤 콘텐츠가 있는지 여부를 결정한다. 신호가 너무 작거나 잡음이 많으면 계산이 유효하지 않다. 이 경우, 보상 유닛(42)은 다양한 옵션을 구현하도록 구성될 수 있다. 하나의 옵션에서, 보상 유닛(42)은 천이 대역 내의 강한 톤 신호가 검출될 때까지 진폭/위상 보상의 계산 및 적용을 단순히 디스에이블한다. 또 다른 옵션에서, 보상 유닛(42)은 새로운 진폭/위상 보상의 계산을 디스에이블하고 강한 톤 신호가 검출될 때까지 최종 계산된 진폭/위상 보상을 적용한다. 또 다른 옵션에서, 보상 유닛은 최저 부대역에 대한 다운샘플링된 부대역 신호의 천이 대역에 하나 이상의 톤 신호를 삽입하여, 측정 목적을 위한 강한 톤 신호를 생성할 수 있다. 그 후, 하나 이상의 톤 신호는 오디오 처리 후에 다운샘플링된 부대역 신호로부터 제거된다. 톤 신호들은 최저 주파수 부대역에서 신호 진폭을 최소한 변경하고 천이 대역에서 기존 신호를 제거하는 것을 피하기 위해 적절히 선택된다. 측정 및 처리를 위한 깨끗한 톤 신호를 제공하기 위해, 보상 유닛은 천이 사전 오디오 처리(transition pre audio processing)에서 오디오 신호를 제거하고 오디오 처리 후에 신호를 다시 삽입할 수 있다. 일 실시예에서, 이는 샘플 블록에 대해 전체 FFT를 수행하고, 천이 대역에서 신호를 제거하고 역 FFT를 수행함으로써 달성될 수 있다.
처리 후, 확장기들(50a, 50b, ..., 50M - 1)은 M개의 채널에서 처리된 부대역 신호들을 인수(factor) M에 의해 확장시킨다. 합성 필터들 F0(z), F1(z)...FM - 1(z)는 각각의 부대역 신호들을 처리하고, 이들은 재결합되어(54) 디지털 오디오 출력 신호 x'(n)을 생성하고, 디지털 오디오 출력 신호 x'(n)는 디지털 오디오 파일로서 저장되거나 사운드로 변환된다.
이제 도 2를 참조하면, 다중 레이트 오디오 처리 시스템(98)의 실시예는 2의 데시메이션/확장 비를 갖는 2-채널 QMF 뱅크 오디오 처리 구조(100)로서 구현된다. 두 개의 분석 필터들, H0(z)(11) 및 H1(z)(115) 다음에, 입력 신호 x(n)(120)은 인수 2에 의해 데시메이션된다(130, 135). 시스템이 최대로 데시메이션된다면, 부대역들의 샘플링 레이트는 오디오 처리(140)의 샘플링 레이트와 동일해지고, 오디오 처리(140)는 낮은 대역에서만 수행될 수 있다. 낮은 대역에서의 오디오 처리(140)가 지연뿐만 아니라 진폭/위상 변화를 도입할 수 있기 때문에, 높은 대역에서 이득, 위상 및 레이턴시 보상이 요구된다. 이 실시예에서, 이득 보상(145) 및 지연 보상(150)(위상(그룹 지연) 및 레이턴시)이 높은 부대역에 적용된다. 처리된 부대역 신호는 인수 2에 의해 확장되고(160, 165), 합성 필터 F0(z)(170) 및 F1(z) (175)로 처리되고 재결합되어(180) 디지털 오디오 신호 x'(n)(185)를 생성한다.
도 3에 도시된 바와 같이, 분석 필터들 H0(z)(110) 및 H1(z)(115) 및 합성 필터들 F0(z)(170) 및 F1(z)(175)는 각각 저역(lowpass) 필터 및 고역(highpass) 필터이며, π/2에서 크로스오버(crossover) 주파수를 갖는다. 저역 필터는 통과 대역(pass band)(187), 크로스오버 주파수를 중심으로 하는 천이 대역(188) 및 저지 대역(stop band)(189)을 갖는다. 고역 필터는 저지 대역(190), 크로스오버 주파수를 중심으로 하는 천이 대역(191) 및 통과 대역(192)을 갖는다.
수학적으로, 분석 필터들 H0(z)(110) 및 H1(z)(115) 간의 관계는 다음과 같이 묘사될 수 있다.
Figure pct00001
에일리어싱을 제거하기 위해, 합성 필터 F0(z)(170) 및 F1(z)(175)는 다음의 조건을 만족할 필요가 있다.
Figure pct00002
수학식 1 및 수학식 2는 에일리어싱 없는 분석 및 합성 필터가 단일 필터 H0(z)(110)로부터 설계될 수 있음을 나타낸다.
QMF(Quadrature Mirror Filter) 뱅크를 다상 형태(polyphase form)로 표현하는 것은 계산상의 이점을 제공한다. 다상 표현은 필터 계수를 여러 그룹으로 분리하는 방법이다. 2의 비율의 경우, 짝수 번호의 필터 계수는 홀수 번호의 것들과 분리되어 있다. 다상 표현을 사용하면, 분석 필터 H0(z)(110)은 다음과 같이 기재될 수 있다.
Figure pct00003
수학식 1, 2, 3을 사용하여, 수학식 4, 5가 다음과 같이 구해진다.
Figure pct00004
Figure pct00005
데시메이션/확장비가 2인 경우, 수학식 4 및 수학식 5의 E0(z2) 및 E1(z2)는 데시메이션 및 보간 노블 아이덴티티(interpolation noble identity)를 사용하여 전치(transpose)될 수 있다. 그런 다음 이들은 E0(z)와 E1(z)가 된다. 결과적으로 해당 필터가 더 낮은 레이트로 작동한다. 도 4는 QMF 뱅크의 다상 표현에서 분석 필터 뱅크(110, 115)를 도시하는 블록도이다. 도 5는 QMF 뱅크의 다상 표현에서 합성 필터 뱅크(170, 175)를 도시하는 블록도이다.
QMF의 다상 표현은 최대 데시메이션된 시스템을 달성하기 위해 다중 해상도 구조로 확장될 수 있다. 신호는 데시메이팅되고 2개의 부대역으로 분할되며, 동일한 프로세스가 낮은 대역 신호에 적용된다. 오디오 처리가 최저 대역에서만 수행되기 때문에, 제1 부대역의 높은 대역은 부대역 처리를 필요로 하지 않는다. 도 4 및 도 5의 항들 E0(z) 및 E1(z)는 전술한 전력 대칭 필터 설계가 주어질 때 전역 통과 필터(allpass filter) A0(z) 및 A1(z)로 대체된다. 항들 A0(z)/A1(z) 및 A'0(z)/A'1(z)는 시스템의 설계 요구 사항에 종속되는 동일한 필터가 아닐 수도 있다.
에일리어싱 제거 이외에도, 신호를 재구성할 때 진폭 왜곡을 방지하는 것이 바람직하다. 도 4 및 도 5의 E0(z)(200) 및 E1(z)(205)가 무한 임펄스 응답(Infinite Impulse Response, IIR) 전역 통과 필터라면, 진폭 왜곡의 이러한 원인이 제거된다. E0(z)(200) 및 E1(z)(205)에 대한 두 개의 전역 통과 필터는 분석 필터 H0(z)(110)를 전력 대칭 필터로 설계하고, 그것을 두 개의 전역 통과 필터로 분해함으로써 얻어진다.
전력 대칭 IIR 반대역 필터(halfband filter)는 다음의 두 조건을 만족시킨다 :
Figure pct00006
Figure pct00007
차단 주파수 ωc = 0.5π로 설계된 버터워스 필터(butterworth filter)는 전력 대칭 조건을 만족시킨다. 타원형 필터(elliptic filter)는 수학식 6 및 수학식 7에 주어진 조건을 만족시킬 수 있지만, 그 파라미터는 조정될 필요가 있다. 전력 대칭 타원형 필터 설계 프로세스는 Ljiljana Milic에 의한 "Multirate Filtering for Digital Signal Processing MATLAB Applications(디지털 신호 처리 MATLAB 응용을 위한 다중 레이트 필터링)"이라는 책의 챕터 7("Lth-band digital filter")(New York, Information Science Reference, pages 206-237(2009))에 상세히 묘사되어 있다. 전력 대칭 타원형 필터의 극점(poles)은 복소 평면의 가상 축에 위치하기 때문에 E0(z)(200) 및 E1(z)(205)에 대한 전역 통과 필터는 P.P. Vaidyanathan에 의한 "Multirate Systems and Filter Banks(다중 레이트 시스템 및 필터 뱅크)"라는 책의 챕터 5("Maximally Decimated Filter Banks")에 설명된 극점 인터레이싱 특성(pole interlacing property)를 사용하여 구해진다(New Jersey, PTR Prentice-Hall Inc., pages 188-256(1993)).
다중 레이트 임의 오디오 처리 시스템 및 방법의 실시예는 전력 대칭 필터를 갖는 QMF 시스템 설계를 포함하기 때문에 에일리어싱 잡음 및 진폭 왜곡이 부분적으로 없다. 그러나, 에일리어싱 잡음 및 진폭 왜곡은 낮은 부대역에 오디오 처리를 적용한 결과로서 도입될 수 있다. 낮은 대역 처리에 의해 유도된 변화를 보상하기 위해 더 높은 부대역에 진폭 및 위상 보상이 이루어지더라도, 진폭 왜곡 및 에일리어싱 잡음을 완전히 제거하는 것이 불가능할 수 있다. 따라서, 진폭 왜곡 및 에일리어싱 잡음을 포함하는 영역을 최소화하기 위해 높은 저지 대역 감쇠(attenuation)를 갖는 좁은 천이 대역을 갖는 것이 바람직하다.
다중 레이트 임의 오디오 처리 시스템 및 방법의 일부 실시예들에서, 2:1 비율 데시메이션/확장 시스템에서의 분석 필터 H0(z)(110)에 대한 설계 기준은 (a) 96dB 이상의 저지 대역 감쇠; 및 (b) 0.4167π 내지 0.5833π의 천이 대역폭이다.
통과 대역 에지 주파수 0.4167π는 48kHz 샘플링 레이트에서 20kHz와 동일하다. 따라서, 에일리어싱 잡음과 진폭 왜곡이 존재하면, 사람의 청력을 넘는 주파수 범위에 존재하게 된다. 분석 필터 H0(z)(110) 및 H1(z)(115)는 서로의 거울 이미지(mirror image)이므로, 진폭 왜곡 및 에일리어싱 잡음은 위에서 설정된 저지 대역 감쇠 기준으로 -96dBFs보다 작을 것이다. 다중 레이트 임의 오디오 처리 시스템 및 방법의 실시예는 필터 설계 기준을 만족시키는 최적의 전력 대칭 필터를 포함한다.
상이한 실시예들에서, 13차 반대역 버터워스 필터 및 타원형 필터는 0.4167π에서 통과 대역 에지를 갖는다. 버터워스 필터 감쇠는 저지 대역에서의 단조로움 때문에 0.78π를 초과하는 타원형 필터의 감쇠보다 높다. 그러나, 버터워스 필터는 천이 대역폭을 줄이기 위해 필터 차수를 증가시킨다. 따라서, 타원형 필터가 더 적합하며, 전술한 천이 대역폭 기준에 대한 더 낮은 필터 차수 요건이 주어질 때 다중 레이트 임의 오디오 처리 시스템 및 방법의 실시예에서 사용되었다.
타원형 필터 설계의 선택이 주어지면, 약간의 트레이드오프가 고려될 필요가있다. 이것은 각각 천이 대역폭과 저지 대역 감쇠, 그리고 필터 차수와 리플(ripple) 크기 사이의 트레이드오프이다. 천이 대역이 더 작으면 저지 대역 감쇠가 더 낮아진다. 필터 차수를 높이면 저지 대역 감쇠가 더 높아지지만 리플 크기와 계산 비용이 증가할 것이다. 주어진 필터 설계 기준을 위한 최적 설계는 통과 대역 에지 0.42π를 갖는 13차 타원형 필터이다. 위에서 설명된 전역 통과 분해를 사용하면, 도 4 및 도 5의 E0(z) 및 E1(z)는 13차 타원형 필터에 대한 3차 전역 통과 필터이다.
다시 도 2를 참조하면, 최저 부대역에서 오디오 처리에 의해 야기된 진폭, 위상 및 지연에 대한 더 높은 부대역들을 보상하기 위해, 최저 주파수 부대역에서 신호의 진폭 및 위상의 실시간 측정이 이루어져 처리되어야 하며, 보상을 신뢰성 있게 결정하기 위해 오디오 신호 자체가 천이 대역에서 충분한 톤 콘텐츠 및 신호 세기를 가지고 있는지 여부를 결정하고 그렇지 않은 경우 어떤 톤 신호를 주입할지 결정하며, 오디오 처리에 의해 야기되는 위상 및 진폭의 변화를 계산하고, 보상 필터(들)와 지연(처리 레이턴시)의 합 또는 단일 이득 값과 단일 지연 값(그룹 지연과 처리 레이턴시의 합)의 형태로 더 높은 부대역에 대한 진폭 및 위상 보상을 계산하도록 처리된다. 진폭 및 위상 보상은 신호의 전체 대역폭에서 필요하지 않고 천이 대역에서만 필요하다. 보상 프로세서(들)(300)는 실시간으로 이득 및 위상 보상을 제공하기 위하여 측정, 제어 및 계산 기술을 구현하도록 구성된다. 일 실시예에서, 프로세서(300)는 (오디오 처리에 의해 처리된) 각 샘플 블록을 처리하여, 각 블록에 대하여 업데이트된 이득 및 위상 보상을 제공한다.
보상 프로세서(들)(300)는 톤 신호(302, 304)의 주입 전후에 최저 주파수 부대역(전체 대역 및 천이 대역)에서 신호의 진폭 및 위상의 실시간 측정을 수행하도록 적절히 구성된다. 전체 대역 진폭은 각각의 처리된 샘플 블록에 대한 최저 주파수 부대역에서의 오디오 신호 샘플 x(n)의 RMS(root-mean-square)로서 계산될 수 있다. 천이 대역 진폭은 천이 대역에 대한 이산 푸리에 변환 계수의 평균으로서 계산될 수 있다. 계산 효율을 향상시키기 위해 고르첼(Goertzel) 알고리즘을 사용하여 DFT 계수를 계산할 수 있다. 고르첼 알고리즘은 주어진 주파수의 DFT 값을 제공하는 디지털 필터 형태를 가진다. 신호의 위상은 실수 부분으로 나눈 DFT 항의 허수 부분의 역 탄젠트를 취함으로써 계산될 수 있다.
보상 프로세서(들)(300)는 최저 주파수 부대역에서 오디오 신호의 천이 대역에 하나 이상의 톤 신호를 주입할지 여부를 결정하기 위해 전체 및 천이 대역 진폭 및 위상 측정을 처리하고, 만일 그렇다면, 톤 신호(308)의 적절한 진폭, 위상 및 주파수를 결정하도록 구성된다. 신호가 천이 대역에서 충분한 진폭 및 톤 콘텐츠를 갖는다면, 톤 신호의 주입은 필요하지 않다. 톤 신호가 주입되어야 한다면, 프로세서(300)는 천이 대역에서 잡음 신호보다 더 높지만 전체 제1 주파수 부대역에서 진폭을 최소로 변화시킬 만큼 충분히 낮도록 하나 이상의 톤 신호의 진폭을 설정하고, 천이 대역에서 상기 제1 다운샘플링된 부대역 신호의 상쇠를 피하도록 하나 이상의 톤 신호의 위상 및 주파수를 설정한다. 프로세서(들)는 최저 주파수 부대역의 오디오 신호에 톤 신호를 부가하기 위해 합산 노드(summing node)(312)에서 하나 이상의 톤 신호를 주입하는 다중 톤 신호 생성기(310)를 구현하도록 구성된다.
이들 톤 신호는 적절하게 단일 주파수 이산 사인파이다. 수학적으로, 처리 전에 낮은 대역에 추가된 신호 및 추가된 신호를 감산하도록 의도된 소거 신호(cancellation signal)가 다음과 같이 주어진다.
Figure pct00008
Figure pct00009
실시간 진폭 및 위상 보상 구현은 나이퀴스트 주파수에서 그룹 지연 측정만 포함하기 때문에 여기서 ρ는 N/2-1로 설정된다. 여전히, ρ는 전체 천이 대역 진폭/위상 정보를 이용하기 위해, 낮은 대역 필터 H0(z)의 통과 대역 에지 주파수의 DFT 포인트로 설정될 수 있다. 신호 진폭 β은 오디오 처리(140) 전에 낮은 대역 신호의 제1 측정에 의해 결정된다. 항 δmag(k) 및 δphase(k)는 오디오 처리 전후의 측정치로부터 계산된 크기 및 위상 차이다. 도 2에 도시된 바와 같이, 이득(314) 및 지연(316)은 톤 신호에 인가되고, 톤 신호는 합산 노드(318)에서 최저 주파수 부대역에서 오디오 신호로부터 제거된다. 측정을 위해 부가된 신호는 완전히 제거되지 않을 수 있는데, 이는 시스템에 의해 도입된 진폭/위상 측정 에러 및 반올림(round off) 에러가 존재할 수 있기 때문이다.
보상 프로세서(들)(300)는 오디오 처리(320)에 의해 야기된 전체 대역 및 천이 대역의 진폭 및 위상의 변화를 계산하도록 구성된다. 진폭의 변화는 전처리(pre-processed) 진폭에 대한 후처리(post-processing) 진폭의 비로서 표현될 수 있다. 위상의 변화는 후처리된 위상 측정과 전처리된 위상 측정 간의 차이로서 표현될 수 있다. 진폭 및 위상의 변화는 각 톤 신호에 대해 또는 (톤이 주입되지 않은 경우) 천이 대역에 걸쳐 하나 이상의 주파수에서 계산된다.
보상 프로세서(들)(300)는 진폭 및 위상의 측정된 변화와 대략 매칭되도록 더 높은 부대역들에 대한 진폭 및 위상 보상을 계산하도록(322) 구성된다. 도시된 바와 같이, 프로세서(들)는 이득(145)을 설정하기 위한 단일 이득 값 및 지연(150)을 설정하기 위한 단일 지연 값(그룹 지연 및 처리 레이턴시 모두)을 계산하여, 더 높은 주파수 부대역들 내의 신호들에 보상을 적용한다. 대안적으로, 프로세서는 주파수 응답이 오디오 처리의 천이 대역에서의 주파수 응답과 대략 매칭되는 전체 보상 필터(들)를 계산할 수 있다.
낮은 대역 신호의 RMS(root mean square) 값 변화를 높은 대역 신호에 적용하면 일정한 전체 대역 신호 레벨을 유지한다는 점에서 진폭 보상 요구 사항을 충족시킬 수 있지만 다중 레이트 임의 오디오 처리 시스템 및 방법의 실시예의 QMF 시스템에서 신호를 완벽하게 재구성하는 것을 달성할 수는 없다. QMF 시스템의 천이 대역에서 신호의 진폭 정보가 고르첼 알고리즘으로부터 얻어지므로, 낮은 대역 신호의 천이 대역에서 진폭 변화를 계산하는 데 사용될 수 있다.
아래의 수학식 10 및 수학식 11은 전체 대역 신호 레벨의 보존과 완전한 재구성 특성 간의 적절한 균형을 달성하기 위해 RMS 값 변화 및 천이 대역 레벨 변화를 수학적으로 비교한 것을 나타낸다.
Figure pct00010
Figure pct00011
여기서, mcoef는 QMF 시스템의 높은 대역에 적용되는 실제 진폭 보상 값이다. f(mδr, mδRMS)는 천이 대역 진폭 변화(mδr) 및 최저 주파수 부대역 변화(mδRMS)에 기초하여 진폭 보상 값을 계산하는 함수이다. 함수 f( )는 천이 대역 및 제1 주파수 부대역 간의 균형(balance)을 결정하기 위하여 진폭 변화 차 - dδrms _tr 및 목표 임계치(threshold)의 입력을 취하는 함수 G( )로서 해석될 수 있다. 함수 G()는 주어진 애플리케이션에 대한 특정 관심사를 해결하기 위해 다양한 방법으로 설계될 수 있다. 수학식 12는 함수 G( )의 예이다.
Figure pct00012
이 예에서, 임계치 τ는 2개의 임계치 τ1 및 τ2의 집합이다. 임계치 설정에 더하여, 시간에 따른 부드러운 진폭 천이를 보장하기 위하여 실시간 구현에서 평활화(smoothing) 알고리즘이 mcoef에 적용된다.
이제 도 6을 참조하면, 입력 신호(400)는 각각 하부 및 상부 주파수 부대역(402, 404)으로 분리(split)된다. 처리된 부대역 신호(406)를 생성하기 위해 더낮은 주파수 부대역의 신호에 대해 오디오 처리가 수행된다. 이 예에서, 보상은 필터에 의해 제공되고, 따라서 천이 대역에 걸쳐 변할 수 있다. 진폭 보상은 더 높은 주파수 부대역의 신호(404)에 3가지 방법 중 하나로 적용된다. 첫째, 진폭 보상(408)은 천이 대역의 진폭 변화에만 기초하여 계산되고 신호(404)에 적용되어 보상된 신호(409)를 생성한다. 대응하는 합성된 출력 신호(410)에 도시된 바와 같이,이 접근법은 420에 도시된 바와 같이 완벽한 재구성을 제공하지만, 406에 도시된 전체 대역 신호 레벨(오디오 처리의 이득)을 유지하지는 않는다. 둘째, 진폭 보상(412)은 전체 대역에 대한 RMS 값에만 기초하여 계산되고 신호(404)에 적용되어 보상된 신호(413)를 생성한다. 대응하는 합성된 출력 신호(414)에 도시된 바와 같이, 이 접근법은 406으로 도시된 전체 대역 신호 레벨(오디오 처리의 이득)을 유지하지만 완벽한 재구성을 제공하지 않는다. 마지막으로, 진폭 보상(416)은 완전 재구성 및 전체 대역 신호 레벨의 균형을 맞추기 위해 수학식 11을 사용하여 계산되고 신호(404)에 적용되어 보상된 신호(417)를 생성한다. 이러한 균형은 합성된 출력 신호(418)에서 도시된 바와 같이 달성된다.
보상을 위한 천이 대역의 크기 및 위상 응답이 측정 및 계산으로부터 알려져 있기 때문에, 크기 및 위상 응답이 주어질 때 필터 또는 필터들을 설계할 수 있다. 대안으로, 크기 매칭 및 위상 매칭을 위한 개별 필터를 설계할 수 있다. 천이 대역에 추가되는 톤의 수는 천이 대역의 주파수 해상도를 결정한다. 보상 필터(들)를 설계할 때 주파수 해상도가 필터 설계에 필요한 것보다 낮으면 크기 및 위상 응답에 보간이 필요할 수 있다. 종종, 위상 보상이라는 용어는 그룹 지연 보상과 동일한 것으로 간주된다. 그러나, 그룹 지연은 인접 주파수 빈(frequency bin)을 사용하는 것이 아니라 더 큰 간격을 갖는 주파수 빈을 사용하여 측정될 수 있다. 따라서, 그룹 지연은 주파수 해상도가 주어질 때 위상 변화의 근사치가 될 수 있다.
이산 시간 신호의 그룹 지연 측정에 이용 가능한 다양한 방법이 있지만, 다중 레이트 임의 오디오 처리 시스템 및 방법의 실시예는 직접 미분(direct differentiation) 방법을 사용한다. 직접 미분 방법은 신호의 언래핑 위상(unwrapped phase)의 미분을 계산한다. 이것은 수학적으로 다음과 같이 기재될 수 있다.
Figure pct00013
QMF의 낮은 대역에서 임의의 오디오 처리에 의해 야기된 위상 변화는 고르첼 알고리즘을 사용하여 측정된다. QMF 시스템에서 낮은 대역과 높은 대역 간의 제곱-크기(squared-magnitude) 중첩 량이 더 크기 때문에, 나이퀴스트 주파수에서의 그룹 지연은 가장 가까운 정수 값으로 계산되고 반올림된다. QMF 시스템의 최저 부대역에서의 임의의 오디오 처리가 레이턴시를 도입하면, 더 높은 부대역의 신호는 또한 최저 부대역에 도입된 레이턴시와 매칭되도록 지연되어야 한다. 지연 블록이 레이턴시 보상을 위해 존재할 필요가 있기 때문에, 정수 그룹 지연 보상 방법은 추가적인 계산은 필요 없지만 적은 양의 메모리를 추가한다.
하나의 순수한 사인파 톤으로는 그룹 지연을 계산하기 위해 두 개의 DFT 컴포넌트가 필요하기 때문에 그룹 지연 매칭을 수행할 수 없다. 그러나 한 톤으로 나이퀴스트 주파수 위상 변화가 항상 0도 또는 180 도인 것처럼 보일 것이기 때문에, 나이퀴스트 주파수에서 위상 매칭을 할 수 있다. => 0도: 보상 없음, 180도: 1-샘플 지연으로 인해 0도가 된다.
나이퀴스트 주파수에서의 1-샘플 지연이 이산 시간 신호에 대한 180도 위상 시프트와 동일하다는 것을 고려하면, 홀수 그룹 지연은 QMF 시스템의 높은 대역의 나이퀴스트 주파수에서 180도 위상 시프트를 유발할 것이다. 전력 대칭 타원형 필터는 나이퀴스트 주파수에서 낮은 대역과 높은 대역 사이에서 90도의 위상 차를 가지므로 홀수 그룹 지연을 추가해도 나이퀴스트에서 신호는 상쇄(cancel out)되지 않지만 재구성 위상에서는 신호의 극성이 바뀐다.
그러나, 낮은 대역에서의 QMF 시스템의 에일리어싱 잡음 및 높은 대역에서의 에일리어싱 잡음의 위상 차는 180도이다. 이와 같이, 에일리어싱 잡음은 재구성 단계에서 상쇄된다. 따라서 높은 대역에서 홀수 그룹 지연을 추가하면 실제로 에일리어싱 잡음와 진폭 왜곡이 증가할 수 있다. 결과적으로 나이퀴스트에서 위상 응답 변화를 확인하는 것이 중요하다.
예를 들어, 나이퀴스트 주파수에서 0도 위상 시프트 및 홀수 그룹 지연의 경우, 나이퀴스트 주파수가 0도 위상 쉬프트 및 홀수 그룹 지연을 가진다면, 그룹 지연 값은 가장 가까운 정수 대신 가장 가까운 짝수 정수 값으로 반올림되어야 한다.
이제 도 7을 참조하면, 단계(308)의 실시예, 톤 주입 결정은 도 2에서 먼저 최저 주파수 부대역의 천이 대역에서 톤 신호를 주입할지 여부를 결정하고, 만일 그렇다면, 주입된 톤의 진폭 및 위상을 결정한다. 보상 프로세서는 최저 주파수 부대역의 천이 대역에서의 다운샘플링된 신호가 진폭 및 위상 보상을 계산하기에 충분한 진폭 및 충분한 톤 콘텐츠를 모두 갖는지 여부를 결정하도록 구성된다. 그렇지 않은 경우, 보상 프로세서는 천이 대역에서 잡음 신호보다 높지만 전체 최저 주파수 부대역에서 진폭을 최소로 변화시킬 만큼 충분히 낮도록 톤 신호의 진폭을 결정하도록 구성된다. 보상 프로세서는 천이 대역에서 다운샘플링된 신호의 소거를 피하기 위해 톤 신호의 위상 및 주파수를 선택하도록 구성된다.
일 실시예에서, 보상 프로세서는 톤 신호를 주입할지 여부 및 만일 그렇다면, 톤 신호의 진폭 및 위상을 결정하기 위해, 3개의 프로세스, 즉 프로세스 A, 프로세스 B 및 프로세스 C를 구현하도록 구성된다. 보상 프로세서는 처리된 샘플들의 현재 블록에 대한 천이 대역 진폭들(Amp[])(500) 및 천이 대역 위상들(Phs [])(502)을 수신하도록 구성된다.
보상 프로세서는 천이 대역의 진폭이 최소보다 큰지 여부를 결정하기 위해 천이 대역 진폭을 처리하도록 구성된다(504)(프로세스 A). 프로세스 A의 예는 Minimum amplitude(a) > (-6 * Bsys)(dB) + Ernd(dB)를 계산하고, 여기서 Bsys는 시스템 비트 해상도(32 비트, 24 비트, 16 비트 등)이고 Ernd는 소거로부터의 반올림(round-off) 오차이고, Minimum amplitude(a)는 천이 대역의 최소 진폭이다. 이 예에서 진폭/위상 보상을 계산하는 데 필요한 최소 진폭은 dB 단위의 시스템 비트 해상도에 대한 최소 신호 값과 진폭/위상 계산에서 예상되는 반올림 오차의 합이다.
보상 프로세서는 천이 대역이 톤인지 여부를 결정하기 위해 천이 대역 진폭을 처리하도록 구성된다(506)(프로세스 B). 프로세스 B의 예는 크기 스펙트럼에 톤 컴포넌트가 포함될 가능성이 있는지 여부를 결정하기 위해 천이 대역의 스펙트럼 평탄도(spectral flatness)를 계산한다. 이 프로세스는 천이 대역에서 각 주파수의 위상 변화를 측정하여 잡음 신호와 톤 신호를 구별할 수 있는 위상 연속성(phase continuities)을 측정한다. 스펙트럼 평탄도와 위상 변화를 결합함으로써, 신호가 천이 대역 내의 주어진 주파수 빈에서 톤 신호를 포함하는지 여부를 결정할 수 있다. 예를 들어, 다음과 같다.
Tonal(k) = True, Delta_p(k)<Treshold_p & spectral flatness(k)>Trehosld_sf
= False, Delta_p(k)<Treshold_p || spectral flatness(k)>Trehosld_sf
Treshold_p = 위상 변화 임계치
Treshold_s = 스펙트럼 평탄도 임계치
Spectral flatness(k) = PI(k)/Avr, 여기서 k = 1..m, m = Amp[]를 사용하여 계산된 피크의 수
PI(1,2, ... m) = 천이 대역의 스펙트럼 피크 레벨,(m<n, m = 천이 대역의 피크 수, n = 천이 대역 주파수 빈의 수)
Avr = 천이 대역 진폭의 평균 레벨.
Delta_p(k) = Delta_p1(k) - Delta_p0(k), : Phs[]를 사용하여 계산된 위상 변화(k=1, 2,..m)
Delta_p0(k) = abs(Phs[k] - Phs[k-1]), 및
Delta_p1[k] = abs(Phs[k+1] - Phs[k]).
천이 대역 신호가 충분한 진폭 및 톤 콘텐츠를 모두 갖는 경우(즉, 프로세스 A 및 프로세스 B가 모두 "참"인 경우)(508), 보상 프로세서는 톤 신호를 주입하지 않고(510) 진폭 및 위상 보상을 결정하기 위해 천이 대역 신호를 처리한다. 천이 대역 신호가 충분한 진폭 또는 톤 콘텐츠가 부족한 경우(즉, 프로세스 A 또는 프로세스 B가 "거짓"인 경우)(508), 보상 프로세서는 천이 대역 진폭, 천이 대역 위상 및 전체 최저 주파수 부대역 진폭을 처리하여(510), 주입될 톤의 진폭/위상을 계산하고(512) 톤들을 천이 대역에 주입하도록 구성된다(514).
일 예에서, 보상 프로세서는 신호 레벨의 최소 변화를 설정하고, 입력 신호의 전체 대역 진폭을 사용하여 톤(들)의 최소 레벨을 계산하도록 구성된다. 예를 들어, 20log10(Inrms + xrms)/Inrms) < τ(dB)의 요건을 만족하는 최소 xrms을 찾는다. 여기서, Inrms는 최저 주파수 부대역 진폭의 측정 값이고, xrms는 주입될 톤의 레벨이다.
Case l(a = 참, b = 거짓) : 진폭은 더 크지만 잡음
τ = tone_noise_ratio : 톤 신호 대 잡음비
Case 2(a = 거짓, b = 참) : 진폭은 더 작지만 톤
τ = min_level : Case 2의 최소 레벨 변화 임계치
Case 3(a = 거짓, b = 거짓) : 진폭이 더 작고 잡음
τ = 'min_level'과 τ = 'tone_noise_ratio'에 대한 Xrms를 계산하고,
Xrms = Xrms(min_level), if Xrms(min_level) > Xrms(tone_noise_ratio)
= Xrms(tone_noise_ratio), if Xrms(min_level) < Xrms(tone_noise_ratio).
이제 도 8을 참조하면, 다중 레이트 오디오 처리 시스템(600)의 실시예는 2의 데시메이션/확장 비율을 갖는 2-채널 QMF 뱅크 오디오 처리 구조로서 구현된다. 이 실시예에서, 더 높은 주파수 부대역에서의 진폭/위상 보상은 하나 이상의 보상 필터를 사용하여 수행된다. 보상 필터는 추가 계산 비용으로 오디오 처리에 의해 천이 대역에서 유도된 진폭 및 위상 변화를 더 잘 매칭시킨다.
2개의 분석 필터 H0(z)(606) 및 H1(z)(608) 후에, 입력 신호 x(n)(610)은 인수 2로 데시메이션된다(612, 614). 오디오 처리(616)는 다운샘플링된 입력 신호 x(n)의 샘플 블록에 대하여 수행된다. 다운샘플링된 신호 x(n)의 진폭/위상은 오디오 처리 전후에 측정되고 오디오 처리에 의해 야기된 천이 대역에서의 신호의 진폭 및 위상의 변화를 계산하도록 처리되어(618) 전체 천이 대역 주파수/위상 응답 정보를 제공한다. 이 정보로부터 하나 이상의 보상 필터가 설계되어(620), 천이 대역에서의 주파수/위상 응답과 대략 매칭되는 필터 응답을 제공한다. FIR 또는 IIR 필터는 크기(진폭) 및 위상 특성이 주어졌을 때 필터를 설계하는 데 사용될 수 있다. 이는 진폭 및 위상 응답과 대략적으로 매칭되는 동일 필터 세트이거나 진폭 매칭 및 위상 매칭을 위한 개별 필터 세트일 수 있다. 이러한 설계는 필터(622)를 업데이트하는데 사용된다. 데이터 평활화/보간(624)은 업데이트된 필터에 적용되어 필터 또는 필터 계수를 업데이트함으로써 야기될 수 있는 아티팩트를 방지한다. 이들 보간/평활화된 필터는 최고 주파수 부대역에서 필터 처리의 상태 변수에 적용되어 진폭 및 위상 보상을 제공한다(626). 지연(628)은 오디오 처리의 처리 레이턴시에 대한 보상을 제공한다. 처리된 부대역 신호는 인수 2에 의해 확장되고(630, 632) 합성 필터 F0(z)(634) 및 F1(z)(636)로 처리되며, 디지털 오디오 신호 x'(n)(640)을 생성하기 위해 재결합된다(638).
본 명세서에 기재된 것 이외의 많은 다른 변형이 본 명세서로부터 명백할 것이다. 예를 들어, 실시예에 따라, 여기에 설명된 방법 및 알고리즘 중 임의의 것의 일정한 행위(act), 이벤트 또는 기능은 상이한 순서로 수행될 수 있고, 추가, 병합 또는 다 같이 생략될 수 있다(설명된 모든 행위 또는 이벤트가 방법과 알고리즘의 실행을 위해 필요한 것은 아니다). 또한, 특정 실시예에서, 행위 또는 이벤트는 순차적이 아니라, 다중 스레드 처리, 인터럽트 처리, 또는 다중 프로세서 또는 프로세서 코어를 통해 또는 다른 병렬 구조에서 동시에 수행될 수 있다. 또한 서로 다른 작업 또는 프로세스가 함께 작동할 수 있는 상이한 기계들 및 컴퓨팅 시스템에 의해 수행될 수 있다.
본 명세서에 개시된 실시예와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 방법 및 알고리즘 프로세스 및 시퀀스는 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들의 조합으로서 구현될 수 있다. 하드웨어 및 소프트웨어의 이러한 상호 교환 가능성을 명확히 설명하기 위해, 다양한 예시적인 컴포넌트, 블록, 모듈 및 프로세스 동작(action)이 일반적으로 기능의 관점에서 위에서 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 부과된 설계 제약 사항에 따라 달라진다. 서술된 기능성은 각각의 특정 애플리케이션에 대해 다양한 방식으로 구현될 수 있지만, 이러한 구현 결정은 이 문서의 범위를 벗어나는 것으로 해석되어서는 안 된다.
여기에 개시된 실시예와 관련하여 설명된 다양한 예시적인 논리 블록 및 모듈은 범용 프로세서, 처리 장치, 하나 이상의 처리 장치를 갖는 컴퓨팅 장치, 디지털 신호 프로세서(digital signal processor, DSP), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 다른 프로그래머블 로직 장치, 개별 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트, 또는 여기에 설명된 기능을 수행하도록 설계된 이들의 임의의 조합과 같은 기계에 의해 구현되거나 수행될 수 있다. 범용 프로세서 및 처리 장치는 마이크로프로세서일 수 있지만, 대안적으로 프로세서는 제어기, 마이크로제어기 또는 상태 기계(state machine), 이들의 조합 등일 수 있다. 프로세서는 또한 DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합된 하나 이상의 마이크로프로세서 또는 임의의 다른 그러한 구성과 같은 컴퓨팅 장치들의 조합으로서 구현될 수 있다.
여기에 설명된 다중 레이트 임의 오디오 처리 시스템 및 방법의 실시예는 많은 유형의 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성 내에서 동작 가능하다. 일반적으로, 컴퓨팅 환경은 몇 가지 예를 들면, 하나 이상의 마이크로프로세서에 기초한 컴퓨터 시스템, 메인 프레임 컴퓨터, 디지털 신호 프로세서, 휴대용 컴퓨팅 장치, 전자 수첩(personal organizer), 장치 제어기, 어플라이언스(appliance) 내의 계산 엔진, 모바일 폰, 데스크탑 컴퓨터, 모바일 컴퓨터, 태블릿 컴퓨터, 스마트폰, 및 임베디드 컴퓨터를 가진 어플라이언스를 포함하는 임의의 유형의 컴퓨터 시스템을 포함할 수 있지만, 이에 한정되지는 않는다.
이러한 컴퓨팅 장치는 일반적으로 적어도 일부 최소 계산 능력을 가진 장치에서 발견될 수 있고, 개인용 컴퓨터, 서버 컴퓨터, 핸드-헬드 컴퓨팅 장치, 랩탑 또는 모바일 컴퓨터, 셀폰 및 PDA와 같은 통신 장치, 다중 프로세서 시스템, 다중 프로세서 기반의 시스템, 셋톱 박스, 프로그래머블 가전 제품, 네트워크 PC, 미니 컴퓨터, 메인프레임 컴퓨터, 오디오 또는 비디오 미디어 플레이어 등을 포함하지만, 이에 국한되는 것은 아니다. 일부 실시예에서, 컴퓨팅 장치는 하나 이상의 프로세서를 포함할 것이다. 각 프로세서는 DSP(digital signal processor), VLIW(very long instruction word) 또는 다른 마이크로 제어기와 같은 전문화된 마이크로프로세서일 수 있거나, 다중 코어 CPU에서 전문화된 GPU(graphics processing unit) 기반의 코어를 포함하는 하나 이상의 처리 코어를 갖는 종래의 CPU(central processing unit)일 수 있다.
본 명세서에 개시된 실시예와 관련하여 설명된 방법, 프로세스 또는 알고리즘의 프로세스 동작은 하드웨어, 프로세서에 의해 실행되는 소프트웨어 모듈, 또는 이들 둘의 임의의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은 컴퓨팅 장치에 의해 액세스될 수 있는 컴퓨터 판독 가능 매체에 포함될 수 있다. 컴퓨터 판독 가능 매체는 분리형, 비-분리형 또는 이들의 조합인 휘발성 및 비휘발성 매체를 모두 포함한다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 또는 컴퓨터 실행 가능 명령어들, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보를 저장하는데 사용된다. 예로서, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있지만, 이에 한정되는 것은 아니다.
컴퓨터 저장 매체는 블루레이 디스크(Blu-ray disc, BD), DVD(digital versatile disc), CD(compact disc), 플로피 디스크, 테이프 드라이브, 하드 드라이브, 광학 메모리, 솔리드 스테이트 메모리 장치, RAM 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 플래시 메모리 또는 다른 메모리 기술, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치, 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하는데 사용될 수 있고 하나 이상의 컴퓨팅 장치에 의해 액세스될 수 있는 임의의 다른 장치와 같은 컴퓨터 또는 기계 판독 가능 매체 또는 저장 장치를 포함하지만, 이에 한정되는 것은 아니다.
소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 이동식 디스크, CD-ROM, 또는 임의의 다른 형태의 비-일시적 컴퓨터 판독 가능 저장 매체, 미디어, 업계에 공지된 물리적 컴퓨터 저장 장치에 상주할 수 있다. 예시적인 저장 매체는 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있도록 프로세서에 연결될 수 있다. 대안적으로, 저장 매체는 프로세서에 통합될 수 있다. 프로세서 및 저장 매체는 ASIC에 상주할 수 있다. ASIC은 사용자 단말기에 상주할 수 있다. 대안적으로, 프로세서 및 저장 매체는 사용자 단말기에 개별 컴포넌트로서 상주할 수 있다.
이 문헌에서 사용되는 "비-일시적인(non-transitory)"이라는 문구는 "지속되는(enduring) 또는 오래 지속되는(long-lived)"을 의미한다. "비-일시적 컴퓨터 판독 가능 매체"라는 문구는 일시적 전파 신호만을 제외하고는 임의의 모든 컴퓨터 판독 가능 매체를 포함한다. 여기에는 예로서, 레지스터 메모리, 프로세서 캐시 및 RAM(random-access memory)과 같은 비-일시적 컴퓨터 판독 가능 매체가 포함되며 이에 국한되지는 않는다.
"오디오 신호"라는 문구는 물리적인 사운드를 나타내는 신호이다.
컴퓨터 판독 가능 또는 컴퓨터 실행 가능 명령어들, 데이터 구조, 프로그램 모듈 등과 같은 정보의 보유는 또한 하나 이상의 변조된 데이터 신호, (반송파와 같은) 전자기파 또는 다른 전송 메커니즘 또는 통신 프로토콜을 인코딩하기 위해 다양한 통신 매체를 사용함으로써 달성될 수 있으며, 임의의 유선 또는 무선 정보 전달 메커니즘을 포함한다. 일반적으로, 이들 통신 매체는 신호 내의 정보 또는 명령어들을 인코딩하는 방식으로 하나 이상의 특성이 설정되거나 변경되는 신호를 지칭한다. 예를 들어, 통신 매체는 하나 이상의 변조된 데이터 신호를 운반하는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체, 및 음향, 무선 주파수(radio frequency, RF), 적외선, 레이저 및 하나 이상의 변조된 데이터 신호 또는 전자기파를 송신, 수신 또는 송수신하기 위한 다른 무선 매체와 같은 무선 매체를 포함한다. 상기 중 어느 하나의 조합도 통신 매체의 범위에 포함되어야 한다.
또한, 여기에 설명된 다중 레이트 임의 오디오 처리 시스템 및 방법의 일부 또는 전부의 다양한 실시예를 구현하는 소프트웨어, 프로그램, 컴퓨터 프로그램 제품 중 하나 또는 임의의 조합 또는 그 일부는, 컴퓨터 실행 가능 명령어들 또는 다른 데이터 구조의 형태로 컴퓨터 또는 기계 판독 가능 매체 또는 저장 장치 및 통신 매체의 임의의 원하는 조합으로부터 저장, 수신, 송신 또는 판독될 수 있다.
여기에 설명된 다중 레이트 임의 오디오 처리 시스템 및 방법의 실시예는 컴퓨팅 장치에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행 가능 명령어들의 일반적인 문맥으로 더 설명될 수 있다. 일반적으로 프로그램 모듈에는 특정 작업을 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등이 포함된다. 여기에 설명된 실시예는 하나 이상의 원격 처리 장치에 의해, 또는 하나 이상의 통신 네트워크를 통해 링크된 하나 이상의 장치들의 클라우드 내에서 작업들이 수행되는 분산 컴퓨팅 환경에서 실시될 수도 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 미디어 저장 장치를 포함하는 로컬 및 원격 컴퓨터 저장 매체 모두에 위치할 수 있다. 또한, 전술한 명령어들은 프로세서를 포함하거나 포함하지 않을 수 있은 하드웨어 로직 회로들로서 부분적으로 또는 전체적으로 구현될 수 있다.
달리 명시하지 않는 한, 또는 사용된 문맥 내에서 달리 이해되지 않는 한, 특히 "can(할 수 있다)", "might(할지 모른다)", "e.g.(예를 들어)" 등과 같은 본 명세서에서 사용된 조건 언어(conditional language)는 특정 실시예가 특정 특징, 요소 및/또는 상태를 포함하지만, 다른 실시예는 포함하지 않는 것을 전달하기 위해 일반적으로 의도된다. 따라서, 그러한 조건 언어는 일반적으로 하나 이상의 실시예에 대해 특징, 요소 및/또는 상태가 어떤 방식으로든 요구되거나 하나 이상의 실시예가 저자 입력(author input) 또는 프롬프팅(prompting)이 있든 없든, 이러한 특징, 요소 및/또는 상태가 포함되거나 특정 실시예에서 수행되어야 하는지 결정하기 위한 로직을 반드시 포함한다는 것을 의미하려는 의도는 아니다. "포함하는(comprising)", "포함하는(including)", "갖는(having)" 등의 용어는 동의어이며 제한 없는 방식(open-ended fashion)으로 포괄적으로 사용되며 추가 요소, 특징, 행위, 동작(operation) 등을 배제하지 않는다. 또한, "또는(or)"이라는 용어는 (배타적인 의미가 아니라) 포괄적인 의미로 사용되며, 예를 들어, 요소들의 목록을 연결하는 데 사용될 때 "또는(or)"이라는 용어는 목록 중 하나, 일부 또는 모든 요소를 의미한다.
상기 상세한 설명은 다양한 실시예들에 적용되는 신규한 특징들을 도시하고, 기술하고, 지적하였지만, 본 개시의 정신을 벗어나지 않고, 도시된 장치 또는 알고리즘의 형태 및 세부 사항에서 다양한 생략, 대체 및 변경이 이루어질 수 있음이 이해될 것이다. 인식되는 바와 같이, 본 명세서에 설명된 발명의 특정 실시예는 일부 특징이 다른 것들과 별도로 사용되거나 실행될 수 있기 때문에 본 명세서에 설명된 특징 및 이점 모두를 제공하지는 않는 형태 내에서 구현될 수 있다.
더욱이, 비록 주제가 구조적 특징 및 방법론적 행위에 특유한 언어로 기술되었지만, 첨부된 청구범위에 정의된 주제는 반드시 상술한 특정 특징 또는 행위에 제한되는 것은 아니라는 것을 이해해야 한다. 오히려, 상술한 특정 특징 및 행위는 청구범위를 구현하는 예시적인 형태로서 개시된다.

Claims (26)

  1. 오디오 재생(reproduction) 방법에 있어서,
    적어도 제1 부대역(subband) 신호 및 제2 부대역 신호를 생성하기 위하여, 제1 디지털 오디오 신호를 적어도 제1 주파수 부대역 및 제2 주파수 부대역으로 분할(split)하는 단계 ― 상기 제1 주파수 부대역 및 제2 주파수 부대역은 천이 주파수 대역에 의해 분리됨 ― ;
    상기 제1 부대역 신호를 다운샘플링(downsampling) 또는 데시메이팅(decimate)함으로써 제1 다운샘플링된 부대역 신호를 생성하는 단계;
    상기 천이 주파수 대역 내에 놓인 적어도 하나의 톤(tone) 신호를 상기 제1 다운샘플링된 부대역 신호 내에 주입(inject)하는 단계;
    상기 제1 다운샘플링된 부대역 신호에 대해 오디오 처리를 수행함으로써 제1 처리된 부대역 신호를 생성하는 단계;
    상기 제1 다운샘플링된 부대역 신호 및 상기 제1 처리된 부대역 신호의 천이 주파수 대역에서의 진폭 및 위상을 실시간으로 측정하는 단계;
    상기 천이 주파수 대역에서의 진폭 및 위상의 변화를 계산하기 위한 측정을 실시간으로 처리하는 단계;
    상기 제1 주파수 부대역에서의 진폭 및 위상의 측정된 변화와 대략 매칭되도록 상기 제2 주파수 부대역에 대한 진폭 보상 및 위상 보상 모두를 실시간으로 계산하는 단계;
    상기 진폭 및 위상 보상을 상기 제2 부대역 신호의 천이 대역에 적용함으로써 제2 처리된 부대역 신호를 실시간으로 생성하는 단계;
    상기 적어도 하나의 톤 신호를 상기 제1 처리된 부대역 신호로부터 제거하는 단계; 및
    출력 오디오 신호를 재구성하기 위해 상기 제1 처리된 부대역 신호 및 상기 제2 처리된 부대역 신호를 결합하는 단계
    를 포함하는, 오디오 재생 방법.
  2. 제1항에 있어서,
    진폭 및 위상의 변화를 계산하기 위해 상기 천이 대역에서 상기 제1 다운샘플링된 부대역 신호의 충분한 진폭이 있는지 여부를 결정하는 단계;
    상기 진폭 및 위상의 변화를 계산하기 위해 상기 제1 다운샘플링된 부대역 신호가 상기 천이 대역에서 충분한 톤 콘텐츠(tonal content)를 갖는지 여부를 상기 측정된 진폭 및 위상으로부터 결정하는 단계; 및
    상기 하나 이상의 톤 신호들의 주입을 선택적으로 인에이블 또는 디스에이블하는 단계
    를 더 포함하는, 오디오 재생 방법.
  3. 제1항에 있어서,
    상기 제1 다운샘플링된 부대역 신호의 전체(full) 제1 주파수 부대역에서의 진폭 및 위상을 측정하는 단계;
    상기 천이 대역에서의 잡음 신호보다 더 높지만 상기 전체 제1 주파수 부대역의 진폭을 최소한 변경할 만큼 충분히 낮도록 상기 하나 이상의 톤 신호들의 진폭을 결정하는 단계; 및
    상기 천이 대역에서의 상기 제1 다운샘플링된 부대역 신호의 소거(cancelation)를 피하기 위해 상기 하나 이상의 톤 신호들의 위상 및 주파수를 선택하는 단계
    를 더 포함하는, 오디오 재생 방법.
  4. 제1항에 있어서,
    상기 오디오 처리가 상기 제1 다운샘플링된 부대역 신호의 샘플 블록들에 대해 수행되고,
    상기 실시간 진폭 및 위상 측정과, 상기 진폭 및 위상 보상의 적용은 각각의 샘플 블록에 대해 수행되는 것인, 오디오 재생 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 톤 신호는 상기 천이 대역에서 상이한 주파수들로 이격된 다수의 톤 신호들을 포함하는 것인, 오디오 재생 방법.
  6. 제5항에 있어서,
    상기 진폭 및 위상 보상을 계산하는 단계는, 단일 진폭 보상 값 및 단일 지연 보상 값을 생성하기 위해 상기 다수의 톤 신호들에 대한 측정들의 가중된 평균을 계산하는 단계를 포함하는 것인, 오디오 재생 방법.
  7. 제5항에 있어서,
    상기 진폭 및 지연 보상을 계산하는 단계는, 진폭 및 위상 특성이 상기 천이 대역에서 상기 오디오 처리의 진폭 및 위상 특성과 대략 매칭되는 하나 이상의 보상 필터들을 계산하는 단계를 포함하는 것인, 오디오 재생 방법.
  8. 제1항에 있어서,
    상기 오디오 처리에 의해 야기된 상기 제1 주파수 부대역에 걸친 진폭의 변화를 계산하기 위해 상기 제1 주파수 부대역에 걸친 상기 제1 다운샘플링된 부대역 신호 및 상기 제1 처리된 부대역 신호의 진폭 측정을 처리하는 단계를 더 포함하고,
    상기 진폭 보상은, 출력 오디오 신호의 완벽한 재구성 및 상기 오디오 처리의 의도된 이득 또는 신호 레벨의 보존(preservation)의 균형을 맞추기 위해, 상기 제1 주파수 부대역에 걸친 진폭 변화 및 상기 천이 주파수 대역에 걸친 진폭 변화의 함수로서 계산되는 것인, 오디오 재생 방법.
  9. 제8항에 있어서,
    Figure pct00014

    이고, mcoef는 제2 부대역에 적용될 진폭 보상 값이고, f(mδr, mδRMS)는 천이 대역 진폭 변화(mδr) 및 제1 주파수 부대역 변화(mδRMS)에 기초하여 진폭 보상 값(mcoef)을 계산하는 함수이고, G( )는 진폭 차(dδrms _ tr) 및 목표 임계치(threshold)(τ)의 함수로서, 상기 천이 대역 및 상기 제1 주파수 대역 간의 균형을 결정하는 것인, 오디오 재생 방법.
  10. 제1항에 있어서,
    상기 오디오 처리는 사용자 선택 가능한 제어 파라미터들에 종속되는, 비-선형(non-linear) 프로세스, 선형(linear)이지만 시변(time-variant)인 프로세스, 또는 선형 또는 비선형 프로세스 중 하나이며, 이에 의해 상기 오디오 처리는 시변인 진폭 및 위상 변화를 생성하고, 상기 진폭 및 위상 보상의 계산 및 적용은 시변인 것인, 오디오 재생 방법.
  11. 제1항에 있어서,
    상기 실시간 진폭 및 위상 측정과 상기 진폭 및 위상 보상의 적용은 상기 천이 대역에서만 수행되는 것인, 오디오 재생 방법.
  12. 제1항에 있어서,
    상기 방법은 QMF(quadrature mirror filter) 뱅크에서 구현되고, 상기 제1 주파수 부대역 신호는 상기 오디오 처리의 샘플링 레이트로 최대 데시메이팅되고, 상기 처리된 신호들을 결합하는 단계는, 상기 처리된 신호들을 출력 샘플링 레이트로 확장(expanding) 또는 업샘플링(upsampling)하는 단계를 포함하는 것인, 오디오 재생 방법.
  13. 제1항에 있어서,
    상기 출력 오디오 출력 신호를 아날로그 오디오 신호로 변환하는 단계; 및
    하나 이상의 스피커들을 통해 상기 아날로그 오디오 신호를 사운드로 변환(transduce)하는 단계
    를 더 포함하는, 오디오 재생 방법.
  14. 제1항에 있어서,
    상기 방법은 하나 이상의 디지털 프로세서들 및 메모리로 구현되는 것인, 오디오 재생 방법.
  15. 제1항에 있어서,
    진폭 또는 위상 측정이 오디오 처리 전후에 상기 적어도 하나의 톤 신호만을 측정하도록 상기 제1 다운샘플링된 부대역 신호로부터 상기 천이 대역에서의 신호를 제거하는 단계; 및
    상기 천이 대역에서의 신호를 상기 제1 처리된 부대역 신호에 주입하는 단계
    를 더 포함하는, 오디오 재생 방법.
  16. 오디오 재생 방법에 있어서,
    적어도 제1 부대역 신호 및 제2 부대역 신호를 생성하기 위하여, 제1 디지털 오디오 신호를 적어도 제1 주파수 부대역 및 제2 주파수 부대역으로 분할하는 단계 ― 상기 제1 주파수 부대역 및 제2 주파수 부대역은 천이 주파수 대역에 의해 분리됨 ― ;
    상기 제1 부대역 신호를 다운샘플링 또는 데시메이팅함으로써 제1 다운샘플링된 부대역 신호를 생성하는 단계;
    상기 제1 다운샘플링된 부대역 신호에 대해 오디오 처리를 수행함으로써 제1 처리된 부대역 신호를 생성하는 단계;
    상기 제1 다운샘플링된 부대역 신호 및 상기 제1 처리된 부대역 신호의 천이 주파수 대역에서의 진폭 및 위상을 실시간으로 측정하는 단계;
    상기 천이 주파수 대역에서의 진폭 및 위상의 변화를 계산하기 위한 측정을 실시간으로 처리하는 단계;
    상기 제1 주파수 부대역에서의 진폭 및 위상의 측정된 변화와 대략 매칭되도록 상기 제2 주파수 부대역에 대한 진폭 보상 및 위상 보상 모두를 실시간으로 계산하는 단계;
    상기 진폭 및 위상 보상을 상기 제2 부대역 신호의 천이 대역에 적용함으로써 제2 처리된 부대역 신호를 실시간으로 생성하는 단계; 및
    출력 오디오 신호를 재구성하기 위해 상기 제1 처리된 부대역 신호 및 상기 제2 처리된 부대역 신호를 결합하는 단계
    를 포함하는, 오디오 재생 방법.
  17. 제16항에 있어서,
    진폭 및 위상의 변화를 계산하기 위해 상기 천이 대역에서 상기 제1 다운샘플링된 부대역 신호의 충분한 진폭이 있는지 여부를 결정하는 단계;
    상기 진폭 및 위상의 변화를 계산하기 위해 상기 제1 다운샘플링된 부대역 신호가 상기 천이 대역에서 충분한 톤 콘텐츠를 갖는지 여부를 상기 측정된 진폭 및 위상으로부터 결정하는 단계; 및
    상기 진폭 또는 톤 콘텐츠가 불충분하다면, 상기 진폭 보상 및 위상 보상의 계산을 선택적으로 디스에이블하는 단계
    를 더 포함하는, 오디오 재생 방법.
  18. 제17항에 있어서,
    상기 진폭 또는 톤 콘텐츠가 불충분하다면, 상기 진폭 및 위상 보상을 상기 제2 부대역 신호의 천이 대역에 적용하는 것을 선택적으로 디스 에이블하는 것인, 오디오 재생 방법.
  19. 제17항에 있어서,
    상기 진폭 또는 톤 콘텐츠가 불충분하다면, 최종 계산된 진폭 및 위상 보상을 상기 제2 부대역 신호의 천이 대역에 적용하는 것인, 오디오 재생 방법.
  20. 제16항에 있어서,
    상기 오디오 처리는 상기 제1 다운샘플링된 부대역 신호의 샘플 블록들에 대해 수행되고,
    상기 실시간 진폭 및 위상 측정과 상기 진폭 및 위상 보상의 적용은 각각의 샘플 블록들에 대해 수행되는 것인, 오디오 재생 방법.
  21. 오디오 재생 시스템에 있어서,
    적어도 제1 부대역 신호 및 제2 부대역 신호를 생성하기 위하여 디지털 오디오 신호를 적어도 최저(lowest) 주파수 부대역 및 최고(highest) 주파수 부대역으로 분할하고 ― 상기 최저 주파수 부대역 및 최고 주파수 부대역은 천이 주파수 대역에 의해 분리됨 ― , 제1 다운샘플링된 부대역 신호를 생성하기 위하여 적어도 상기 제1 부대역 신호를 데시메이팅하도록 구성된 QMF 뱅크(quadrature mirror filter bank);
    제1 처리된 부대역 신호를 생성하기 위하여 상기 제1 다운샘플링된 부대역 신호에 대해 오디오 처리를 수행하도록 구성된 오디오 프로세서;
    제2 처리된 부대역 신호를 생성하기 위하여 상기 제2 부대역 신호에 진폭 및 위상 보상을 적용하도록 구성된 진폭 및 위상 보상기; 및
    상기 오디오 프로세서 전후에 상기 제1 다운샘플링된 부대역 신호 및 상기 제1 처리된 부대역 신호의 천이 주파수 대역에서의 진폭 및 위상을 각각 실시간으로 측정하고, 상기 천이 주파수 대역에서의 진폭 및 위상의 변화를 계산하며, 상기 계산된 변화와 대략 매칭되도록 상기 진폭 및 위상 보상에 대한 업데이트를 계산하도록 구성된 보상 유닛
    을 포함하고,
    상기 QMF 필터는 적어도 상기 제1 처리된 부대역 신호를 확장시키고, 상기 제1 처리된 부대역 신호 및 상기 제2 처리된 부대역 신호를 결합하여 오디오 출력을 재구성하도록 구성된 것인, 오디오 재생 시스템.
  22. 제21항에 있어서,
    상기 보상 유닛은, 상기 제1 다운샘플링된 부대역 신호가 상기 진폭 및 위상 천이의 변화를 계산하기 위해 상기 천이 대역에서 충분한 진폭 및 톤 콘텐츠를 갖는지 여부를 결정하도록 구성되는 것인, 오디오 재생 시스템.
  23. 제22항에 있어서,
    상기 진폭 또는 톤 콘텐츠가 불충분하다면, 상기 보상 유닛은 상기 천이 주파수 대역 내에 놓인 적어도 하나의 톤 신호를 상기 제1 다운샘플링된 부대역 신호에 주입하고, 상기 제1 처리된 부대역 신호로부터 상기 적어도 하나의 톤 신호를 제거하도록 구성되는 것인, 오디오 재생 시스템.
  24. 제23항에 있어서,
    상기 보상 유닛은 상기 제1 다운샘플링된 부대역 신호의 전체 최저 주파수 부대역에서의 진폭 및 위상을 측정하고, 상기 천이 대역에서의 잡음 신호보다 더 높지만 상기 전체 제1 주파수 부대역에서의 진폭을 최소한 변경할 만큼 충분히 낮도록 상기 하나 이상의 톤 신호들의 진폭을 결정하고, 상기 천이 대역에서 상기 제1 다운샘플링된 부대역 신호의 소거를 피하기 위해 상기 하나 이상의 톤 신호들의 위상 및 주파수를 선택하도록 구성되는 것인, 오디오 재생 시스템.
  25. 제21항에 있어서,
    상기 오디오 프로세서는 상기 제1 다운샘플링된 부대역 신호의 샘플 블록들에 대해 상기 오디오 처리를 수행하고, 상기 보상 유닛은 각각의 샘플 블록을 처리하여 상기 진폭 및 위상 보상을 업데이트하는 것인, 오디오 재생 시스템.
  26. 제21항에 있어서,
    상기 보상 유닛은 상기 최저 주파수 부대역에 걸쳐 상기 제1 다운샘플링된 부대역 신호 및 상기 제1 처리된 부대역 신호의 진폭 측정을 처리하여, 상기 오디오 처리에 의해 야기된 최저 주파수 부대역에 걸친 진폭 변화를 계산하도록 구성되고,
    상기 보상 유닛은, 상기 출력 오디오 신호의 완벽한 재구성과 상기 오디오 처리의 의도된 이득 또는 신호 레벨의 보존의 균형을 맞추기 위해, 상기 최저 주파수 부대역에 걸친 진폭 변화 및 상기 천이 주파수 대역에 걸친 진폭 변화의 함수로서 상기 진폭 보상을 계산하도록 구성되는 것인, 오디오 재생 시스템.
KR1020177025230A 2015-02-12 2016-02-09 오디오 처리를 위한 다중 레이트 시스템 KR102545961B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562115560P 2015-02-12 2015-02-12
US62/115,560 2015-02-12
US14/824,998 US9609451B2 (en) 2015-02-12 2015-08-12 Multi-rate system for audio processing
US14/824,998 2015-08-12
PCT/US2016/017197 WO2016130579A1 (en) 2015-02-12 2016-02-09 Multi-rate system for audio processing

Publications (2)

Publication Number Publication Date
KR20170116105A true KR20170116105A (ko) 2017-10-18
KR102545961B1 KR102545961B1 (ko) 2023-06-20

Family

ID=56614740

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177025230A KR102545961B1 (ko) 2015-02-12 2016-02-09 오디오 처리를 위한 다중 레이트 시스템

Country Status (7)

Country Link
US (2) US9609451B2 (ko)
EP (1) EP3257173B1 (ko)
JP (1) JP6672322B2 (ko)
KR (1) KR102545961B1 (ko)
CN (1) CN107735969B (ko)
PL (1) PL3257173T3 (ko)
WO (1) WO2016130579A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10952011B1 (en) * 2015-09-01 2021-03-16 Ahmet Zappa Systems and methods for psychoacoustic processing of audio material
US9886965B1 (en) * 2015-09-01 2018-02-06 Zappa Ahmet Systems and methods for psychoacoustic processing of audio material
WO2017050669A1 (en) * 2015-09-22 2017-03-30 Koninklijke Philips N.V. Audio signal processing
US10720139B2 (en) 2017-02-06 2020-07-21 Silencer Devices, LLC. Noise cancellation using segmented, frequency-dependent phase cancellation
US10904661B2 (en) * 2017-10-31 2021-01-26 Synaptics Incorporated Low delay decimator and interpolator filters
US10454747B1 (en) 2018-09-07 2019-10-22 Innophase, Inc. Systems and methods for up-sampling a polar amplitude sample stream in a polar modulator
US11410666B2 (en) * 2018-10-08 2022-08-09 Dolby Laboratories Licensing Corporation Transforming audio signals captured in different formats into a reduced number of formats for simplifying encoding and decoding operations
CN109448752B (zh) * 2018-11-28 2021-01-01 广州市百果园信息技术有限公司 音频数据的处理方法、装置、设备及存储介质
WO2020211004A1 (zh) * 2019-04-17 2020-10-22 深圳市大疆创新科技有限公司 音频信号处理方法、设备及存储介质
GB2595647A (en) * 2020-05-28 2021-12-08 Nokia Technologies Oy Decimator for audio signals
CN114448500A (zh) * 2020-11-03 2022-05-06 富士通株式会社 相频响应测量方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080033730A1 (en) * 2006-08-04 2008-02-07 Creative Technology Ltd Alias-free subband processing
JP2012249294A (ja) * 2011-05-30 2012-12-13 Harman Becker Automotive Systems Gmbh 効率的なサブバンド適応ｆｉｒフィルタリング

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11220429A (ja) * 1997-11-13 1999-08-10 Matsushita Electric Ind Co Ltd 適応等化装置
US6919799B2 (en) * 1999-04-29 2005-07-19 Bridgestone/Firestone North American Tire, Llc Monitoring device and tire combination
US6226616B1 (en) * 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
US6868377B1 (en) 1999-11-23 2005-03-15 Creative Technology Ltd. Multiband phase-vocoder for the modification of audio or speech signals
US6606388B1 (en) * 2000-02-17 2003-08-12 Arboretum Systems, Inc. Method and system for enhancing audio signals
DE60326484D1 (de) * 2002-11-12 2009-04-16 Koninkl Philips Electronics Nv Verfahren und vorrichtung zur generierung von audiokomponenten
WO2005086139A1 (en) * 2004-03-01 2005-09-15 Dolby Laboratories Licensing Corporation Multichannel audio coding
PL1810281T3 (pl) 2004-11-02 2020-07-27 Koninklijke Philips N.V. Kodowanie i dekodowanie sygnałów audio z wykorzystaniem banków filtrów o wartościach zespolonych
CN101496420B (zh) * 2005-06-08 2012-06-20 加利福尼亚大学董事会 利用信号处理算法改善语音清晰度和听力舒适度的方法、设备和系统
KR100800725B1 (ko) * 2005-09-07 2008-02-01 삼성전자주식회사 이동통신 단말의 오디오 재생시 주변 잡음에 적응하는 자동음량 조절 방법 및 장치
US8150065B2 (en) 2006-05-25 2012-04-03 Audience, Inc. System and method for processing an audio signal
JP2008085412A (ja) * 2006-09-26 2008-04-10 Sony Corp オーディオ再生装置
JP4666229B2 (ja) * 2006-10-18 2011-04-06 ソニー株式会社 オーディオ再生装置
JP4506765B2 (ja) * 2007-02-20 2010-07-21 ヤマハ株式会社 スピーカアレイ装置および信号処理方法
US20090060209A1 (en) * 2007-08-31 2009-03-05 Victor Company Of Japan, Ltd. A Corporation Of Japan Audio-signal processing apparatus and method
GB2473266A (en) * 2009-09-07 2011-03-09 Nokia Corp An improved filter bank
EP2360688B1 (en) * 2009-10-21 2018-12-05 Panasonic Intellectual Property Corporation of America Apparatus, method and program for audio signal processing
US8600076B2 (en) * 2009-11-09 2013-12-03 Neofidelity, Inc. Multiband DRC system and method for controlling the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080033730A1 (en) * 2006-08-04 2008-02-07 Creative Technology Ltd Alias-free subband processing
JP2012249294A (ja) * 2011-05-30 2012-12-13 Harman Becker Automotive Systems Gmbh 効率的なサブバンド適応ｆｉｒフィルタリング

Also Published As

Publication number Publication date
JP6672322B2 (ja) 2020-03-25
JP2018512100A (ja) 2018-05-10
US20170200456A1 (en) 2017-07-13
EP3257173A4 (en) 2018-09-05
US9609451B2 (en) 2017-03-28
CN107735969B (zh) 2020-09-11
CN107735969A (zh) 2018-02-23
US10008217B2 (en) 2018-06-26
WO2016130579A1 (en) 2016-08-18
EP3257173A1 (en) 2017-12-20
PL3257173T3 (pl) 2019-09-30
EP3257173B1 (en) 2019-04-10
US20160240183A1 (en) 2016-08-18
KR102545961B1 (ko) 2023-06-20

Similar Documents

Publication Publication Date Title
KR102545961B1 (ko) 오디오 처리를 위한 다중 레이트 시스템
US9754597B2 (en) Alias-free subband processing
EP2649614B1 (en) Psychoacoustic filter design for rational resamplers
RU2685993C1 (ru) Гармоническое преобразование на основе блока поддиапазонов, усиленное перекрестными произведениями
US9640187B2 (en) Method and an apparatus for processing an audio signal using noise suppression or echo suppression
KR101341115B1 (ko) 적응식 오버샘플링을 사용하는 고주파수 오디오 신호를 발생시키기 위한 장치 및 방법
KR102318581B1 (ko) 오디오 신호의 디지털 캡슐화
TWI528837B (zh) 用以產生幻像低音之系統及方法
CN108140396B (zh) 音频信号处理
WO2008003467A1 (en) Filter unit and method for generating subband filter impulse responses
US9076437B2 (en) Audio signal processing apparatus
JP2008076636A (ja) オーディオ信号補間方法及びオーディオ信号補間装置
KR20050049549A (ko) 신호 필터링
US6298361B1 (en) Signal encoding and decoding system
Valimaki et al. Giant FFTs for Sample Rate Conversion
EP3223277A1 (en) Efficient sample rate conversion
CA2729707A1 (en) Sub-band processing complexity reduction

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant