KR101858948B1 - 고조파 전위에 기초하여 개선된 서브밴드 블록 - Google Patents

고조파 전위에 기초하여 개선된 서브밴드 블록 Download PDF

Info

Publication number
KR101858948B1
KR101858948B1 KR1020177027021A KR20177027021A KR101858948B1 KR 101858948 B1 KR101858948 B1 KR 101858948B1 KR 1020177027021 A KR1020177027021 A KR 1020177027021A KR 20177027021 A KR20177027021 A KR 20177027021A KR 101858948 B1 KR101858948 B1 KR 101858948B1
Authority
KR
South Korea
Prior art keywords
subband
samples
signal
input
analysis
Prior art date
Application number
KR1020177027021A
Other languages
English (en)
Other versions
KR20170116166A (ko
Inventor
라스 빌모에스
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Publication of KR20170116166A publication Critical patent/KR20170116166A/ko
Application granted granted Critical
Publication of KR101858948B1 publication Critical patent/KR101858948B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Vibration Dampers (AREA)
  • Production Of Liquid Hydrocarbon Mixture For Refining Petroleum (AREA)
  • Braking Arrangements (AREA)
  • Superconductors And Manufacturing Methods Therefor (AREA)
  • Superheterodyne Receivers (AREA)

Abstract

본 발명은 예컨대, 신호 기간을 유지되는 스펙트럼 콘텐츠로 연장시키는 타임 스트레처 및 익사이터(exciter)와 같은, 디지털 효과 프로세서들과 함께, 고주파 복원(HFR, high frequency reconstruction)을 위한 고조파 전위 방법을 이용하는 오디오 소스 코딩 시스템에 관련된 것이다. 시스템 및 방법은 입력 신호로부터 타임 스트레치된 신호 및/또는 주파수 전위된 신호를 생성하도록 구성된다. 시스템은 입력 신호로부터 분석 서브밴드 신호를 제공하도록 구성된 분석 필터뱅크(101)를 포함하며, 상기 분석 서브밴드 신호는 복수의 복소값 분석 샘플들을 포함하며, 복수의 복소값 분석 샘플들 각각은 위상(phase) 및 크기(magnitude)를 가지는 것을 특징으로 한다. 게다가, 상기 시스템은 서브밴드 전위 팩터
Figure 112017093190576-pat00222
및 서브밴드 스트레치 팩터
Figure 112017093190576-pat00223
를 이용하여, 상기 분석 서브밴드 신호로부터 합성 서브밴드 신호를 결정하도록 구성된 서브밴드 프로세싱 유닛(102)을 포함한다. 상기 서브밴드 프로세싱 유닛(102)은 블록 기반 비선형 프로세싱을 수행한다. 여기서, 합성 서브밴드 신호의 샘플들의 크기는 분석 서브밴드 신호의 미리 결정된 샘플 및 분석 서브밴드 신호의 대응하는 샘플들의 크기로부터 결정된다. 추가로, 시스템은 합성 서브밴드 신호로부터 주파수 전위 신호 및/또는 타임 스트레치된 신호를 생성하도록 구성된 합성 필터뱅크(103)를 포함한다.

Description

고조파 전위에 기초하여 개선된 서브밴드 블록{IMPROVED SUBBAND BLOCK BASED HARMONIC TRANSPOSITION}
본 문헌은 고주파 복원(HFR, high frequency reconstruction)을 위한 고조파 전위(harmonic transposition) 방법을 이용하는 오디오 소스 코딩 시스템에 관련된 것이다. 또한, 본 문헌은 고조파 디지털 이펙트 프로세서(digital effect processor)들, 예컨대, 익사이터(exciter)들에 관한 것이다. 여기서, 고조파 왜곡의 생성은 프로세스된 신호에 대해 휘도(brightness)를 추가한다. 그리고, 본 문헌은 신호 간격이 유지된 스펙트럼 콘텐츠로 연장되는 타임 스트레처들에 관한 것이다.
특허 문헌 WO98/57436에서, 전위(transposition)의 개념이 오디오 신호의 저주파 대역으로부터 고주파 대역을 재생성하기 위한 방법으로 정립되었다. 비트레이트에서 상당한 절약이 오디오 코딩에서 이 개념을 사용하여 얻어질 수 있다. HFR 기반의 오디오 코딩 시스템에서, 신호의 저주파 성분으로 나타내어지는 저(낮은) 대역폭 신호는 코어 파형 코더에 제공된다. 그리고 신호의 고주파 성분으로 나타내어지는, 고주파들은 디코더 측에서 고주파 성분의 타겟 스펙트럼 형상을 설명하는 매우 낮은 비트레이트의 추가 사이드 정보 및 신호 변조를 이용하여 재생성된다. 낮은 비트레이트에서, 코어 코딩 신호의 대역폭, 즉, 저 대역 신호 또는 저주파 성분은 내로우하며(narrow), 이는 지각적으로 편안한 특성을 가지는, 고대역 신호를 재생성하기 위해 점점 더 중요해진다. 특허 문서 WO98/57436에 정의된 고조파 변조(harmonic transposition)는, 저(낮은) 교차(크로스 오버, cross over) 주파수를 가지는 상황에서, 복합 음악 소재에 대해 그 수행이 제대로 이루어진다. 이 문헌 WO98/57436은 참조로서 포함된다. 고조파 전위의 원리는 주파수
Figure 112017093190576-pat00001
를 가지는 사인파는 주파수
Figure 112017093190576-pat00002
를 가지는 사인 곡선에 매핑되는 것이다. 여기서,
Figure 112017093190576-pat00003
는 전이의 차수를 정의하는 정수이다. 이에 대조하여, HFR에 기초한 SSB(single sideband modulation)는 주파수
Figure 112017093190576-pat00004
를 가지는 사인 곡선을 주파수
Figure 112017093190576-pat00005
를 가지는 사인 곡선에 매핑한다. 여기서,
Figure 112017093190576-pat00006
는 고정된 주파수 시프트이다. 전형적으로, 저 대역폭을 가지는 주어진 코어 신호, 귀에 거슬리는 불협화음(dissonant)이 울리는 인공음이 SSB 전위(transposition)로부터 출력된다. 이러한 인공음에 기인하여, 고조파 전위 기반 HFR은 SSB 기반 HFR 상에서 선택된다.
향상된 오디오 품질을 달성하기 위해, 고 품질 고조파 전이 기반 HFR 방법은 미세 주파수 레졸루션을 가지는 복합 변조 필터뱅크 및 요구되는 오디오 품질을 달성하기 위한 고차원의 오버샘플링을 채택한다. 미세 주파수 레졸루션은 일반적으로, 복수의 사인 곡선들의 합들로 간주될 수 있는 다른 서브밴드 신호들의 처리(process) 또는 비선형 처리(treatment)로부터 발생하는 원하지 않는 상호 변조(intermodulation) 왜곡 을 피하기 위해 채택된다. 충분히 협소한 서브밴드, 즉, 충분한 고주파 레졸루션, 고품질 고조파 전위 기반 HFR 방법은 각 서브밴드에서 많아도 하나의 사인 곡선을 가지는 것을 목표로 한다. 결과적으로, 비선형 프로세싱에 의해 유발되는 상호 변조 왜곡을 피할 수 있다. 다른 측면에서, 시간에서 고차의 오버샘플링은 알리아스 형식의 왜곡을 피하기 위해 이득이 될 수 있다. 이는 필터 뱅크들 및 비선형 프로세싱에 의해 유발될 수 있다. 추가로, 주파수에서 어떤 차원의 오버샘플링은 서브밴드 신호들의 비선형 프로세싱에 의해 유발되는 일시적인 신호들에 대해 프리에코(pre-echoe)를 피하기 위해 필요하다.
게다가, 고조파 전위 기반 HFR 방법들은 일반적으로 필터 뱅크 기반 프로세싱이 2개의 블록들을 사용한다. 고조파 전위 기반 HFR의 제1 부분은 전형적으로 저주파수 신호 성분으로부터 고주파 신호 성분을 생성하기 위해 시간 및/또는 주파수 오버샘플링과, 고주파 레볼루션을 가지는 분석/합성 필터뱅크를 채택한다. 고조파 전위 기반 HFR의 제2 부분은 전형적으로, 비교적 정밀하지 못한(coarse) 주파수 해상도를 가지는 필터뱅크, 예컨대, QMF 필터뱅크를 채택한다. 이 필터뱅크는 고주파 성분에 대한 HFR 정보 또는 스펙트럼 측면 정보에 적용하는데에 사용된다. 즉, 요구되는 스펙트럼 형태(shape)를 가지는 고주파 성분을 생성하기 위한 소위 HFR 프로세싱을 수행하기 위해 사용된다. 필터뱅크의 제2 부분은 또한 디코딩된 오디오 신호를 제공하기 위해 수정된 고주파 신호 성분을 가지는 저주파 신호 성분을 합성하기 위해 사용된다.
시간 및/또는 주파수 오버샘플링과 함께, 고주파 레졸루션을 가지는 분석/합성 필터뱅크들을 사용한 결과로써, 그리고, 2개의 블록들의 필터뱅크들의 시퀀스를 사용한 결과로써, 고조파 전위 기반 HFR의 연산 복잡도는 비교적 높을 수 있다. 그 다음, 감소된 연산 복잡도를 가지는 고조파 전위 기반 HFR 방법들을 제공하도록 하는 요구가 있다. 이는 동시에, 다양한 형식의 오디오 신호들(예컨대, 일시적이고 정적인 오디오 신호들)을 위한 좋은 오디오 품질을 제공한다.
본 발명의 목적은 신호의 저주파 성분으로부터 신호의 고주파 성분을 생성하기 위한 시스템 및 방법을 제공함에 있다.
일 측면에 따르면, 소위 서브밴드 블록 기반 고조파 전위(subband block based harmonic transposition)는 서브밴드 신호들의 비선형 프로세싱에 의해 유발되는 상호변조 곱(또는, 상호 변조 기생 신호, intermodulation products)들을 억제하기 위하여 사용될 수 있다. 즉, 고조파 전위기의 서브밴드 신호들의 블록 기반 비선형 프로세싱을 수행하는 것에 의해, 서브밴드 내의 상호변조 곱은 억제되거나 또는 감소될 수 있다. 결과적으로, 비교적 조악한 주파수 레졸루션 및/또는 비교적 저 도(low degree)의 오버샘플링을 가지는 분석/합성 필터뱅크를 사용하는 고조파 전위가 적용될 수 있다. 예시적으로, QMF 필터뱅크가 적용될 수 있다.
서브밴드 블록 기반 고조파 전위 시스템의 블록 기반 비선형 프로세싱은 복소 서브밴드 샘플들의 시간 블록의 프로세싱을 포함한다. 복소 서브밴드 샘플들의 블록의 프로세싱은 출력 서브밴드 샘플을 형성하기 위하여 몇몇 수정된 샘플들의 중첩 및 복소 서브밴드 샘플들의 공통 위상 수정을 포함할 수 있다. 이 블록 기반 프로세싱은, 몇몇 사인 곡선이 포함된 입력 서브밴드 신호들에 대해 발생하는, 상호변조 곱(또는, 상호 변조 기생 신호)을 억제 및 감소하는 데에 완전한 효과를 가진다.
서브밴드 블록 기반 고조파 전위를 위해 비교적 조악한 주파수 레졸루션을 가지는 분석/합성 필터뱅크들이 채택될 수 있기 때문에, 그리고, 오버샘플링의 감소되는 도(degree)가 요구되기 때문에, 블록 기반 서브밴드 프로세싱에 기반을 둔 고조파 전위는 고 품질 고조파 전위기와 비교하여 감소된 연산 복잡도를 가질 수 있다. 즉, 고조파 전위기는 미세한 주파수 레졸루션을 가지며, 샘플 기반 프로세싱을 이용한다. 동시에, 많은 형식의 오디오 신호들에 대해, 서브밴드 블록 기반 고조파 전위를 이용할 때 샘플 기반 고조파 전위를 이용할 때와 거의 동일하게 이를 수 있는 오디오 품질을 실험적으로 보일 수 있다. 그럼에도 불구하고, 임시 오디오 신호들에 대해 얻어지는 오디오 품질은 고품질 샘플 기반 고조파 전위기들로 성취될 수 있는 오디오 품질과 비교하여 일반적으로 감소됨을 관찰할 수 있다. 즉, 고조파 전위기는 미세한 주파수 레졸루션을 이용한다. 이는 임시 신호들에 대한 감소된 품질이 블록 프로세싱에 의해 유발되는 타임 스미어링(time smearing)에 기인한 것임이 밝혀졌다.
앞서 논의된 품질 문제에 추가하면, 서브밴드 블록 기반 고조파 전위의 복잡도는 여전히 간단한 SSB 기반 HFR 방법들의 복잡도에 비해 여전히 높다. 이는 요구되는 대역폭을 합성하기 위해 다른 전위 차수
Figure 112017093190576-pat00007
를 가지는 몇몇 신호들이 전형적인 HFR 어플리케이션에서 여전이 요구되기 때문이다. 전형적으로, 블록 기반 고조파 전위의 각 전위 차수
Figure 112017093190576-pat00008
는 상이한 분석 및 합성 필터뱅크 프레임워크를 요구한다.
상술한 분석 관점에서, 정적 신호들을 위한 품질을 유지하는 동안, 임시 및 음성 신호들을 위한 서브밴드 블록 기반 고조파 전위의 품질을 향상시키기 위한 개별 요구가 존재한다. 다음에서 설명될 바와 같이, 품질 향상은 고정된 또는 신호 적응 수정의 비선형 블록 프로세싱의 수단에 의해 얻어질 수 있다. 게다가, 서브밴드 블록 기반 고조파 전위의 복잡도를 추가로 감소시키기 위한 요구가 존재한다. 다음에서 설명될 바와 같이, 연산 복잡도의 감소는 단일 분석 및 합성 인터뱅크 쌍에서 몇 차수의 서브밴드 블록 기반 전위를 효율적으로 구현하는 것에 의해 성취된다. 결과적으로, 하나의 단일 분석/합성 필터뱅크, 예컨대, QMF 필터뱅크는 몇 차수들의 고조파 전위
Figure 112017093190576-pat00009
를 위해 사용될 수 있다. 추가로, 동일한 분석/합성 필터뱅크 쌍은, 완전한 고조파 전위 기반 HFR이 하나의 단일 분석/합성 필터뱅크에 의존하도록, 고조파 전위(즉, 고조파 전위 기반 HFR의 제1 부분) 및 HFR 프로세싱(즉, 고조파 전위 기반 HRF의 제2 부분)을 위해 적용될 수 있다. 다른 말로, 단지 하나의 단일 분석 필터뱅크는 복수의 분석 서브밴드 신호들을 생성하도록 입력 사이드에서 사용될 수 있다. 이는 고조파 전위 프로세싱 및 HFR 프로세싱에 연속으로 제출될 수 있다. 결국에는, 오직 하나의 단일 합성 필터뱅크는 출력 측에서 디코딩된 신호를 생성하도록 사용될 수 있다.
일 측면에 따르면, 시스템은 입력된 신호로부터 타임 스트레치된 신호 및/또는 주파수 전위된 신호를 생성하도록 구성된다. 시스템은 입력 신호로부터 분석 서브밴드 신호를 제공하도록 구성되는 분석 필터뱅크를 포함할 수 있다. 분석 서브밴드는 입력 신호의 주파수 밴드에 관련될 수 있다. 분석 서브밴드 신호는 복수의 복소값 분석 샘플들을 포함할 수 있다. 각각은 위상 및 크기이다. 분석 필터뱅크는 직각위상 미러 필터뱅크(quadrature mirror filterbank), 윈도우잉된 이산 푸리에 변환(windowed discrete Fourier transform) 또는 웨이블릿 변환(wavelet transform) 중 어느 하나이다. 특히, 분석 필터뱅크는 64 포인트 직각위상 미러 필터뱅크(quadrature mirror filterbank)가 될 수 있다. 그렇게 함으로써, 분석 필터뱅크는 조악한 주파수 레졸루션을 가질 수도 있다.
분석 서브밴드 신호와 관련된 주파수 대역이 노미널 폭(nominal width)
Figure 112017093190576-pat00010
및/또는 분석 필터뱅크가 N>1인, N개의 분석 서브밴드들을 가지도록, 분석 필터 뱅크는 입력 신호에 분석 타임 스트라이드
Figure 112017093190576-pat00011
를 적용할 수 있고, 및/또는, 분석 필터뱅크는 분석 주파수 공간
Figure 112017093190576-pat00012
을 가질 수 있다. 여기서, n은 n = 0, ..., N - 1인 분석 서브밴드 인덱스이다. 인접한 주파수 대역들의 오버랩에 기인하여, 분석 서브밴드 신호의 실제 스펙트럼 폭은
Figure 112017093190576-pat00013
보다 클 수 있다. 하지만, 인접한 분석 서브밴드들 사이의 주파수 공간은 전형적으로 분석 주파수 공간
Figure 112017093190576-pat00014
에 의해 주어진다.
시스템은 서브밴드 전위 팩터
Figure 112017093190576-pat00015
및 서브밴드 스트레치 팩터
Figure 112017093190576-pat00016
를 이용하여 분석 서브밴드 신호로부터 합성 서브밴드 신호를 결정하도록 구성된 서브밴드 프로세싱 유닛을 포함한다.
Figure 112017093190576-pat00017
또는
Figure 112017093190576-pat00018
중 적어도 하나는 1 보다 클 수 있다. 서브밴드 프로세싱 유닛은 복수의 복소값 분석 샘플들로부터 L개의 입력 샘플들의 프레임을 유도하도록 구성된 블록 추출기를 포함할 수 있다. 프레임 길이 L은 1 보다 클 수 있다. 하지만, 몇몇 실시예들에 있어서, 프레임 길이 L은 1과 동일할 수 있다. 대안적으로 또는 추가로, 블록 추출기는 L 입력 샘플들의 다음 프레임을 유도하기 전, 복수의 분석 샘플들에 대해
Figure 112017093190576-pat00019
샘플들의 블록 홉 크기를 적용하도록 구성될 수 있다. 반복적으로 적용된 복수의 분석 샘플들에 대해 블록 홉 크기를 반복적으로 적용한 결과에 따라, 입력 샘플들의 프레임들의 묶음(suite)이 생성될 수 있다.
프레임 길이 L 및/또는 블록 홉 크기
Figure 112017093190576-pat00020
는 임의의 숫자들이 될 수 있고, 반드시 정수 값들일 필요는 없다. 이러한 경우 또는 다른 경우들에 대해, 블록 추출기는 L 입력 샘플들의 프레임의 입력 샘플을 유도하기 위해 2 이상의 분석 샘플들을 보간 하도록 구성된다. 예로써, 프레임 길이 및/또는 블록 홉 크기가 분수이면, 입력 샘플들의 프레임의 입력 샘플은 2 이상의 이웃하는 분석 샘플들을 보간 하는 것에 의해 유도 될 수 있다.
대안적으로 또는 추가로, 블록 추출기는 L 입력 샘플들의 프레임의 입력 샘플을 산출하기 위해 복수의 분석 샘플들을 다운샘플링하도록 구성된다. 특히, 블록 추출기는 서브밴드 전위 팩터
Figure 112017093190576-pat00021
에 의해 복수의 분석 샘플들을 다운샘플링하도록 구성된다. 그에 의해, 블록 추출기는 다운샘플링 동작을 수행하는 것에 의해 고조파 전위 및/또는 타임 스트레치에 기여할 수 있다.
개별 서브밴드 프로세싱 유닛에 있어서, 시스템은, 입력 샘플들의 프레임으로부터 프로세싱된 샘플들의 프레임을 결정하도록 구성되는 비선형 프레임 프로세싱 유닛을 포함할 수 있다. 결정은 입력 샘플들의 프레임의 묶음을 위해 반복될 수 있다. 그에 의해, 프로세싱된 샘플들의 프레임의 묶음을 생성할 수 있다. 결정은 대응하는 입력 샘플의 위상을 오프셋하는 것에 의해 프로세싱된 샘플의 위상, 프레임의 각 프로세싱된 샘플을 위해 결정하여 수행될 수 있다. 특히, 비선형 프레임 프로세싱 유닛은 입력 샘플들의 프레임으로부터 미리 결정된 입력 샘플, 전위 팩터
Figure 112017093190576-pat00022
및 서브밴드 스트레치 팩터
Figure 112017093190576-pat00023
에 기초하는 위상 오프셋 값에 의해 대응하는 입력 샘플의 위상을 오프셋하여 프로세싱된 샘플들의 위상을 결정하도록 구성될 수 있다. 위상 오프셋 값은
Figure 112017093190576-pat00024
에 의해 곱해진 미리 결정된 입력 샘플에 기초할 수 있다. 특히, 위상 오프셋 값은 위상 정정 파라미터
Figure 112017093190576-pat00025
를 더한
Figure 112017093190576-pat00026
에 의해 곱해진 미리 결정된 입력 샘플에 의해 주어질 수 있다. 위상 정정 파라미터
Figure 112017093190576-pat00027
는 개별 음향 특징을 가지는 복수의 입력 신호들에 대해 실험적으로 결정될 수 있다.
바람직한 실시예에 있어서, 미리 결정된 입력 샘플은 프레임의 각 프로세싱된 샘플에 대해 동일한 것을 특징으로 한다. 미리 결정된 입력 샘플들은 입력 샘플들의 프레임의 중앙 샘플(center sample)인 것을 특징으로 한다.
대안적으로 또는 추가로, 결정은 프레임의 각 프로세싱된 샘플, 대응하는 입력 샘플의 크기에 기초한 프로세싱된 샘플의 크기, 및 미리 결정된 입력 샘플의 크기에 대해 결정하는 것에 의해 수행될 수 있다. 특히, 비선형 프레임 프로세싱 유닛은 미리 결정된 입력 샘플의 크기 및 대응하는 입력 샘플의 크기의 평균값으로 프로세싱된 샘플의 크기를 결정하도록 구성될 수 있다. 프로세싱된 샘플의 크기는 미리 결정된 입력 샘플의 크기 및 대응하는 입력 샘플의 크기의 기하학적 평균으로 결정될 수 있다. 더욱 상세하게는, 기하학적 평균값은
Figure 112017093190576-pat00028
제곱된 대응하는 입력 샘플의 크기로 결정되고,
Figure 112017093190576-pat00029
제곱된 미리 결정된 입력 샘플의 크기가 곱해진다. 전형적으로, 기하학적 크기 가중 파라미터는
Figure 112017093190576-pat00030
이다. 게다가, 기하학적 크기 가중 파라미터
Figure 112017093190576-pat00031
는 서브밴드 전위 팩터
Figure 112017093190576-pat00032
및 서브밴드 스트레치 팩터
Figure 112017093190576-pat00033
의 함수가 될 수 있다. 특히, 기하학적 크기 가중 파라미터는
Figure 112017093190576-pat00034
이 될 수 있다. 이는 연산 복잡도를 감소시키는 결과를 초래한다.
프로세싱된 샘플의 크기의 결정을 위해 사용되는 미리 결정된 입력 샘플은 프로세싱된 샘플의 위상의 결정을 위해 사용되는 미리 결정된 입력 샘플과 상이할 수 있다. 하지만, 바람직한 실시예에 있어서, 미리 결정된 입력 샘플 양자 모두는 동일하다.
전체적으로, 비선형 프레임 프로세싱 유닛은 시스템의 타임 스트레치 및/또는 고조파 전이의 정도를 제어하도록 구성될 수 있다. 이는, 대응하는 입력 샘플의 크기로부터, 그리고, 미리 결정된 입력 샘플의 크기로부터 프로세싱된 샘플의 크기를 결정하는 것의 결과로써 보여질 수 있고, 임시 및/또는 음성 입력 신호들을 위한 시스템의 성능은 향상될 수 있다.
시스템은, 개별 서브밴드 프로세싱 유닛에 있어서, 프로세싱된 샘플들의 프레임들의 묶음의 샘플들을 오버랩하고 추가하는 것에 의해 합성 서브밴드 신호를 결정하도록 구성된 오버랩 및 추가 유닛을 포함한다. 오버랩 및 추가 유닛은 프로세싱된 샘플들의 연속된 프레임들에 대한 홉 크기에 적용될 수 있다. 상기 홉 크기는 서브밴드 스트레치 팩터
Figure 112017093190576-pat00035
에 의해 곱해진 블록 홉 크기
Figure 112017093190576-pat00036
와 동일할 수 있다. 그렇게 함으로써, 오버랩 및 추가 유닛은 시스템의 고조파 전위 및/또는 타임 스트레칭의 정도(degree)를 제어하도록 사용될 수 있다.
시스템은, 개별 서브밴드 프로세싱 유닛에 있어서, 오버랩 및 추가 유닛의 업스트림인 윈도우잉 유닛을 포함할 수 있다. 윈도우잉 유닛은 프로세싱된 샘플들의 프레임에 대한 윈도우 함수를 적용하도록 구성될 수 있다. 그렇게 함으로써, 윈도우 함수는 오버랩 및 추가 동작 이전에, 프로세싱된 샘플들의 프레임들의 묶음에 대해 적용될 수 있다. 윈도우 함수는 프레임 길이 L에 대응하는 길이를 가질 수 있다. 윈도우 함수는 가우시안 윈도우(Gaussian window), 코사인 윈도우(cosine window), 올림형 코사인 윈도우(raised cosine window), 해밍 윈도우(Hamming window), 한 윈도우(Hann window), 사각 윈도우(rectangular window), 바렛 윈도우(Bartlett window) 및 블랙맨 윈도우(Blackman window) 중 어느 하나가 될 수 있다. 윈도우 함수는 복수의 윈도우 샘플을 포함하며, Sp의 홉 크기로 시프트된(shifted) 복수의 윈도우 함수들의 오버랩되고 추가된 윈도우 샘플들은 상수 값 K에서 샘플들의 묶음을 제할 수 있다.
시스템은 합성 서브밴드 신호로부터 타임 스트레치된 신호 및/또는 주파수 전위된 신호를 생성하도록 구성되는 합성 필터뱅크를 포함할 수 있다. 합성 서브밴드는 타임 스트레치된 신호 및/또는 주파수 전위된 신호의 주파수 대역과 관련될 수 있다. 합성 필터뱅크는 분석 필터뱅크의 변환 또는 필터뱅크에 대한 변환 또는 대응하는 역 필터뱅크가 될 수 있다. 특히, 합성 필터뱅크는 역 64 포인트 직각위상 미러 필터뱅크가 될 수 있다. 일 실시예에 있어서, 합성 필터뱅크는 합성 서브밴드 신호에 대한 합성 타임 스트라이드
Figure 112017093190576-pat00037
를 적용하고, 및/또는, 합성 필터뱅크는 합성 주파수 공간
Figure 112017093190576-pat00038
를 가지며, 및/또는, 합성 필터뱅크는 M개의 합성 서브밴드를 가지며, M>1이고, 여기서, m은 m = 0, ..., M - 1을 가지는 합성 서브밴드 인덱스이다.
전형적으로 분석 필터뱅크는 복수의 분석 서브밴드 신호들을 생성하도록 구성된다는 점에 유의하여야 한다. 서브밴드 프로세싱 유닛은 복수의 분석 서브밴드 신호들로부터 복수의 합성 서브밴드 신호들을 결정하도록 구성된다. 그리고, 합성 필터뱅크는 복수의 합성 서브밴드 신호들로부터 타임 스트레치된 신호 및/또는 주파수 전위된 신호를 생성하도록 구성된다.
일 실시예에 있어서, 시스템은 물리 주파수 전위 팩터
Figure 112017093190576-pat00039
에 의해 주파수 전위되거나, 및/또는 물리 타임 스트레치 팩터
Figure 112017093190576-pat00040
에 의해 타임 스트레치되는 신호를 생성하도록 구성될 수 있다. 그러한 경우에 있어서, 서브밴드 스트레치 팩터는
Figure 112017093190576-pat00041
에 의해 주어지며, 상기 서브밴드 전이 팩터는
Figure 112017093190576-pat00042
에 의해 주어지며; 및/또는, 분석 서브밴드 신호에 관련된 분석 서브밴드 인덱스 n 및 합성 서브밴드 신호에 관련된 합성 서브밴드 인덱스 m은
Figure 112017093190576-pat00043
에 관련될 수 있다.
Figure 112017093190576-pat00044
이 비 정수 값이면, n은 텀(term)
Figure 112017093190576-pat00045
에 대한 정수 값에, 가장 가까운, 즉, 가장 가까우면서 작거나, 또는 큰 값으로 선택될 수 있다.
시스템은 입력 신호의 순시 음향 특성들을 반영하는 제어 데이터를 수신하도록 구성되는 제어 데이터 수신 유닛을 포함할 수 있다. 그러한 순시 음향 특성은, 예컨대, 다른 음향 특성 분류들로 입력 신호의 분류하는 것에 의해 반영될 수 있다. 그러한 분류들은 정적 신호를 위한 정적 특성 클래스 및/또는 임시 신호를 위한 임시 특성 클래스를 포함할 수 있다. 시스템은 신호 분류기를 포함할 하거나, 또는, 신호 분류기로부터 제어 데이터를 수신할 수 있다. 신호 분류기는 입력 신호의 임시 음향 특징들을 분석하도록 구성되고, 및/또는, 임시 음향 특징들을 반영하는 제어 데이터(104)를 설정하도록 구성될 수 있다.
서브밴드 프로세싱 유닛은 제어 데이터를 고려하는 것에 의해 합성 서브밴드 신호를 결정하도록 구성될 수 있다. 특히, 블록 추출기는 제어 데이터에 따라 프레임 길이 L을 설정하도록 구성될 수 있다. 일 실시예에 있어서, 짧은 프레임 길이 L은 상기 제어 데이터가 임시 신호를 반영하는 경우에 설정되고, 긴 프레임 길이 L은 상기 제어 데이터가 정적 신호를 반영하는 경우에 설정된다. 다른 말로, 프레임 길이 L은 정적 신호 부분에 대해 사용되는 프레임 길이 L과 비교하여, 임시 신호 부분들을 위해 짧아질 수 있다. 그렇게 함으로써, 입력 신호의 순시 음향 특성들은 서브밴드 프로세싱 유닛 내에서 고려될 수 있다. 결과적으로, 임시 및/또는 음성(voiced) 신호들에 대한 시스템의 성능이 향상될 수 있다.
앞서 설명된 바와 같이, 분석 필터 뱅크는 전형적으로 복수의 분석 서브밴드 신호들을 제공하도록 구성된다. 특히, 분석 필터뱅크는 입력 신호로부터 제2 분석 서브밴드 신호를 제공하도록 구성될 수 있다. 이 제2 분석 서브밴드 신호는 전형적으로 분석 서브밴드 신호와는 상이한 주파수 대역의 입력 신호와 관련된다. 제2 분석 서브밴드 신호는 복수의 복소값 제2 분석 샘플들을 포함할 수 있다.
서브밴드 프로세싱 유닛은 복수의 제2 분석 샘플들에 대해 블록 홉 크기 p에 적용하는 것에 의해 제2 입력 샘플들의 묶음을 유도하도록 구성되는 제2 블록 추출기를 포함한다. 즉, 바람직한 실시예에 있어서, 제2 블록 추출기는 프레임 길이 L = 1을 적용한다. 전형적으로, 각 제2 입력 샘플은 입력 샘플들의 프레임에 대응한다. 이 대응(correspondence)은 타이밍(timing) 및/또는 샘플 측면들을 나타낼 수 있다. 특히, 제2 입력 샘플 및 입력 샘플들의 대응하는 프레임은 입력 신호의 동일한 타임 인스탄스(instances)에 관련될 수 있다.
서브밴드 프로세싱 유닛은 대응하는 제2 입력 샘플로부터 그리고 입력 샘플들의 프레임으로부터 제2 프로세싱된 샘플들의 프레임을 결정하도록 구성되는 제2 비선형 프레임 프로세싱 유닛을 포함할 수 있다. 제2 프로세싱된 샘플의 프레임을 결정하는 것은 프레임의 제2 프로세싱된 샘플들 각각에 대해, 대응하는 제2 입력 샘플, 전이 팩터
Figure 112017093190576-pat00046
및 상기 서브밴드 스트레치 팩터
Figure 112017093190576-pat00047
에 기초한 위상 오프셋 값에 의해 대응하는 입력 샘플의 위상을 오프셋하여 상기 제2 프로세싱된 샘플들의 위상을 결정함으로써 수행될 수 있다. 특히, 위상 오프셋은 본 출원 문헌에서 설명될 바와 같이 수행될 수 있다. 여기서, 제2 프로세싱된 샘플은 미리 결정된 입력 샘플을 대신할 수 있다. 더욱이, 제2 프로세싱된 샘플의 프레임을 결정하는 것은 프레임의 제2 프로세싱된 샘플들 각각에 대해, 대응하는 제2 입력 샘플의 크기 및 대응하는 입력 샘플의 크기에 기초한 제2 프로세싱된 샘플의 크기를 결정하는 것에 의해 수행될 수 있다. 특히, 크기는 본 문헌에 설명된 바와 같이 결정될 수 있다. 여기서, 제2 프로세싱된 샘플은 미리 결정된 입력 샘플로 대체될 수 있다.
그렇게 함으로써, 제2 비선형 프레임 프로세싱 유닛은 2개의 상이한 분석 서브밴드 신호들로부터 취해지는 프레임들로부터 프로세싱된 샘플들의 프레임의 묶음 또는 프레임을 유도하도록 사용될 수 있다. 다른 말로, 개별 합성 서브밴드 신호는 2 이상의 상이한 분석 서브밴드 신호들로부터 유도될 수 있다. 본 문헌에 설명된 바와 같이, 이는 여기서, 단일 분석 및 합성 필터뱅크 쌍은 타이-스트레치의 정도(degree) 및/또는 복수 차수의 고조파 전위에 대해 사용되는 경우에서 이득이 될 수 있다.
인덱스 m을 가지는 합성 서브밴드에 기여해야만 하는 1 또는 2개의 분석 서브밴드들을 결정하기 위하여, 분석 및 합성 인터뱅크의 주파수 레졸루션 사이의 관계가 고려될 수 있다. 특히, 이는
Figure 112017093190576-pat00048
이 정수 값 n이면, 합성 서브밴드 신호는 프로세싱된 샘플들의 프레임에 기초하여 결정되는 것으로 규정 될 수 있다. 즉, 합성 서브밴드 신호는 정수 인덱스 n에 대응하는 단일 분석 서브밴드 신호로부터 결정될 수 있다. 대안적으로, 또는, 추가로, 이는 정수 값에 가장 가까운 n과 함께,
Figure 112017093190576-pat00049
이 비 정수 값이면, 합성 서브밴드 신호는 제2 프로세싱된 샘플들의 프레임에 기초하여 결정되는 것으로 규정될 수 있다. 즉, 합성 서브밴드 신호는 이웃하는 정수 인덱스 값 및 가장 가까운 정수 인덱스 값 n에 대응하는 2개의 분석 서브밴드 신호들로부터 결정될 수 있다. 특히, 제2 분석 서브밴드 신호는 분석 서브밴드 인덱스 n + 1 또는 n - 1에 대응할 수 있다.
추가 측면에 따라, 입력 신호로부터 타임 스트레치된 신호 및/또는 주파수 전위된 신호를 생성하도록 구성된 시스템이 설명된다. 시스템은 특히, 제어 신호의 영향 하에서, 타임 스트레치된 신호 및/또는 주파수 전위된 신호를 생성하도록 적용될 수 있다. 그리고, 그것에 의해, 입력 신호의 순시 음향 특성을 고려할 수 있다. 이는 특히 시스템의 임시 응답을 향상시키는 것에 관련될 수 있다.
시스템은 입력 신호의 순시 음향 특성들을 반영하는 제어 데이터를 수신하도록 구성되는 제어 데이터 수신 유닛을 포함할 수 있다. 게다가, 시스템은 입력 신호로부터 분석 서브밴드 시호를 제공하도록 구성되는 분석 필터뱅크를 포함할 수 있다. 여기서, 분석 서브밴드 신호는 복수의 복소값 분석 샘플들을 포함한다. 이 각각은 위상 및 크기를 가진다. 추가로, 시스템은 서브밴드 전위 팩터
Figure 112017093190576-pat00050
, 서브밴드 스트레치 팩터
Figure 112017093190576-pat00051
및 제어 데이터를 이용하여 분석 서브밴드 신호로부터 합성 서브밴드 신호를 결정하도록 구성된 서브밴드 프로세싱 유닛을 포함할 수 있다. 전형적으로,
Figure 112017093190576-pat00052
또는
Figure 112017093190576-pat00053
중 적어도 하나는 1 보다 크다.
서브밴드 프로세싱 유닛은 복수의 복소값 분석 샘플들로부터 L 입력 샘플들의 프레임을 유도하도록 구성되는 블록 추출기를 포함할 수 있다. 프레임 길이 L은 1 보다 클 수 있다. 더욱이, 블록 추출기는 제어 데이터에 따른 프레임 길이 L을 설정하도록 구성될 수 있다. 또한, 블록 추출기는 L 입력 샘플들의 다음 프레임을 유도하기 전에, 복수의 분석 샘플들에,
Figure 112017093190576-pat00054
샘플들의 블록 홉 크기를 적용하여, 입력 샘플들의 프레임들의 묶음을 생성하도록 구성될 수 있다.
앞서 설명된 바와 같이, 서브밴드 프로세싱 유닛은 입력 샘플들의 프레임으로부터 프로세싱된 샘플들의 프레임을 결정하도록 구성된 비선형 프레이 프로세싱 유닛을 포함할 수 있다. 이는, 프레임의 프로세싱된 샘플 각각에 대해, 대응하는 입력 샘플의 위상을 오프셋하는 것에 의해 프로세싱된 샘플의 위상을 결정하는 것에 의해 수행될 수 있고, 그리고, 프레임의 프로세싱된 샘플 각각에 대해, 대응하는 입력 샘플의 크기에 기초하여 프로세싱된 샘플의 크기를 결정하는 것에 의해, 수행될 수 있다.
게다가, 앞서 설명된 바와 같이, 시스템은 프로세싱된 샘플들의 프레임들의 묶음(suite)의 샘플들을 오버랩하고 추가하는 것에 의해 상기 합성 서브밴드 신호를 결정하도록 구성된 오버랩 및 추가 유닛;과, 합성 서브밴드 신호로부터 타임 스트레치 및/또는 주파수 전위된 신호를 생성하도록 구성된 합성 필터뱅크를 포함할 수 있다.
*다른 측면에 따르면, 입력 신호로부터 주파수 전위 신호 및/또는 타임 스트레치된 신호를 생성하도록 구성되는 시스템이 설명된다. 이 시스템은 단일 분석/합성 필터뱅크 쌍 내의 주파수 전위 동작 및/또는 복수의 타임 스트레치를 수행하도록 특히 제대로 적응될 수 있다. 시스템은 입력 신호로부터 제1 및 제2 분석 서브밴드 신호를 제공하도록 구성된 분석 필터뱅크를 포함할 수 있다. 여기서, 제1 및 제2 분석 서브밴드 신호 각각은 제1 및 제2 분석 샘플들로 나타내어지는, 복수의 복소값 분석 샘플들을 포함하며, 각 분석 샘플은 위상 및 크기를 가진다. 전형적으로, 제1 및 제2 분석 서브밴드 신호는 입력 신호의 상이한 주파수 밴드들에 대응한다.
시스템은 서브밴드 전위 팩터
Figure 112017093190576-pat00055
및 서브밴드 스트레치 팩터
Figure 112017093190576-pat00056
를 이용하여, 상기 분석 서브밴드 신호로부터 합성 서브밴드 신호를 결정하도록 구성된 서브밴드 프로세싱 유닛을 더 포함할 수 있다. 전형적으로,
Figure 112017093190576-pat00057
또는
Figure 112017093190576-pat00058
중 적어도 하나는 1 보다 크다. 서브밴드 프로세싱 유닛은 상기 복수의 제1 분석 샘플들로부터 L개의 제1 입력 샘플들의 프레임을 유도하도록 구성되는 제1 블록 추출기를 포함할 수 있다. 상기 프레임 길이 L은 1 보다 크다. 제1 블록 추출기는 L개의 제1 입력 샘플들의 다음 프레임을 유도하기 전, 상기 복수의 분석 샘플들에 대해
Figure 112017093190576-pat00059
샘플들의 블록 홉 크기를 적용하여, 제1 입력 샘플들의 프레임들의 묶음(suite)을 생성하도록 구성될 수 있다. 더욱이, 서브밴드 프로세싱 유닛은 복수의 제2 분석 샘플들에 대해 블록 홉 크기
Figure 112017093190576-pat00060
를 적용하는 것에 의해 제2 입력 샘플들의 묶음을 유도하도록 구성되는, 제2 블록 추출기를 포함할 수 있다. 여기서, 제2 입력 샘플 각각은 제1 입력 샘플들의 프레임에 대응한다. 제1 및 제2 블록 추출기는 본 문헌에 설명된 바와 같은 모든 특징들을 가질 수 있다.
서브밴드 프로세싱 유닛은 대응하는 제2 입력 샘플들의 프레임으로부터 그리고, 제1 입력 샘플들의 프레임으로부터 프로세싱된 샘플들의 프레임을 결정하도록 구성되는 비선형 프레임 프로세싱 유닛을 포함할 수 있다. 이는 프레임의 프로세싱된 샘플들 각각에 대해, 대응하는 제1 입력 샘플의 위상을 오프셋(offset)하는 것에 의한 상기 프로세싱된 샘플의 위상을 결정하는 것에 의해 수행될 수 있고; 및/또는, 프레임의 프로세싱된 샘플들 각각에 대해, 대응하는 제2 입력 샘플의 크기 및 대응하는 제1 입력 샘플의 크기에 기초하여 프로세싱된 샘플의 크기를 결정하는 것에 의해 수행될 수 있다. 특히, 비선형 프레임 프로세싱 유닛은 대응하는 제2 입력 샘플, 전위 팩터
Figure 112017093190576-pat00061
및 서브밴드 스트레치 팩터
Figure 112017093190576-pat00062
에 기초하는 위상 오프셋 값에 의해 대응하는 제1 입력 샘플의 위상을 오프셋하여 프로세싱된 샘플의 위상을 결정하도록 구성될 수 있다.
더욱이, 서브밴드 프로세싱 유닛은 프로세싱된 샘플들의 프레임들의 묶음의 샘플들을 오버랩하고 추가하는 것에 의해 합성 서브밴드 신호를 결정하도록 구성된 오버랩 및 추가 유닛을 포함할 수 있다. 오버랩 및 추가 유닛은 프로세싱된 샘플들의 연속된 프레임들에 대한 홉 크기를 적용할 수 있다. 홉 크기는 상기 서브밴드 스트레치 팩터
Figure 112017093190576-pat00063
에 의해 곱해지는 상기 블록 홉 크기
Figure 112017093190576-pat00064
와 동일할 수 있다. 마지막으로, 시스템은 합성 서브밴드 신호로부터 타임 스트레치 및/또는 주파수 전위된 신호를 생성하도록 구성된 합성 필터뱅크를 포함할 수 있다.
본 문헌에 설명된 시스템의 상이한 컴포넌트들은 본 문헌에서 이러한 컴포넌트들에 관련되어 설명된 어떤 또는 모든 특징들을 포함할 수 있다는 점을 유의하여야 한다. 이는 특히 이 문헌 내의 다른 부분들에서 설명되는 분석 및 합성 필터뱅크, 서브밴드 프로세싱 유닛, 비선형 프로세싱 유닛, 블록 추출기들, 오버랩 추가 유닛, 및/또는 윈도우 유닛에 적용할 수 있다.
본 문헌에서 설명된 시스템들은 복수의 서브밴드 프로세싱 유닛들을 포함할 수 있다. 서브밴드 프로세싱 유닛 각각은 상이한 서브밴드 전위 팩터
Figure 112017093190576-pat00065
및/또는 상이한 서브밴드 스트레치 팩터
Figure 112017093190576-pat00066
를 이용하여 중간 합성 서브밴드 신호를 결정하도록 구성될 수 있다. 시스템들은 합성 서브밴드 신호에 대한 대응하는 중간 합성 서브밴드 신호들을 병합하도록 구성되는 합성 필터뱅크(103)의 업스트림 및 복수의 서브밴드 프로세싱 유닛들의 다운스트림인 결합 유닛을 더 포함할 수 있다. 그렇게 함으로서, 시스템은 단지 단일 분석/합성 필터뱅크 쌍을 이용하는 동안, 복수의 타임 스트레치 및/또는 고조파 전위 동작들을 수행하도록 사용될 수 있다.
시스템은 비트스트림을 상기 입력 신호로 디코딩하도록 구성되는 분석 필터뱅크의 업스트림인 코더 디코더를 포함할 수 있다. 시스템은 또한 합성 필터뱅크의 업스트림이고, (그러한 결합 유닛이 존재하면) 결합 유닛의 다운스트림인 HFR 프로세싱 유닛을 포함할 수 있다. HFR 프로세싱 유닛은 합성 서브밴드 신호에 대해 상기 비트스트림으로부터 유도된 스펙트럼 대역 정보를 적용하도록 구성될 수 있다.
다른 측면에 따르면, 오디오 신호의 적어도 저주파 성분을 포함하는 수신된 신호를 디코딩하기 위한 셋탑박스가 설명된다. 셋탑 박스는 오디오 신호의 저주파 성분으로부터 오디오 신호의 고주파 성분을 생성하도록 하는 본 문헌에서 설명된 측면들 및 특징들의 어떤 것에라도 적용되는 시스템을 포함할 수 있다.
입력 신호로부터 타임 스트레치된 신호 및/또는 주파수 전위된 신호를 생성하기 위한 다른 측면에 따른 방법이 설명된다. 이 방법은 타임 스트레치 및/또는 주파수 전위 동작의 임시 응답을 강화하도록 특별히 제대로 적용될 수 있다. 이 방법은 입력 신호로부터 분석 서브밴드 신호를 제공하는 단계를 포함할 수 있다. 분석 서브밴드 신호는 복수의 복소값 분석 샘플들을 포함하며, 복수의 복소값 분석 샘플들 각각은 위상(phase) 및 크기(magnitude)를 가진다.
전체적으로, 방법은 전위 팩터
Figure 112017093190576-pat00067
및 서브밴드 스트레치 팩터
Figure 112017093190576-pat00068
를 이용하여 분석 서브밴드 신호로부터 합성 서브밴드 신호를 결정하는 단계를 포함할 수 있다. 전형적으로,
Figure 112017093190576-pat00069
또는
Figure 112017093190576-pat00070
중 적어도 하나는 1 보다 크다. 특히, 방법은 복수의 복소값 분석 샘플들로부터 L 개의 입력 샘플들의 프레임을 유도하는 단계를 포함할 수 있다. 프레임 길이 L은 전형적으로 1 보다 크다.
Figure 112017093190576-pat00071
샘플들의 블록 홉 크기가 L 입력 샘플들의 다음 프레임을 유도하기 전, 상기 복수의 분석 샘플들에 대해 적용될 수 있다. 이에 의해, 입력 샘플들의 프레임들의 묶음(suite)을 생성할 수 있다. 추가로, 방법은 입력 샘플들의 프레임으로부터 프로세싱된 샘플들의 프레임을 결정하는 단계를 포함할 수 있다. 이는 프레임의 프로세싱된 샘플들 각각에 대해, 대응하는 입력 샘플의 위상을 오프셋 하는 것에 의해 프로세싱된 샘플의 위상을 결정함으로써 수행될 수 있다. 대안적으로, 또는, 추가로, 이는 프레임의 프로세싱된 샘플들 각각에 대해, 프로세싱된 샘플의 크기는 미리 결정된 입력 샘플의 크기 및 대응하는 입력 샘플의 크기에 기초하여 결정될 수 있다.
방법은 프로세싱된 샘플들의 프레임들이 묶음의 샘플들을 오버랩하고 추가하는 것에 의해 합성 서브밴드 신호를 결정하는 단계를 더 포함할 수 있다. 결국, 타임 스트레치 및/또는 주파수 전위 신호는 합성 서브밴드 신호로부터 생성될 수 있다.
다른 측면에 따라, 입력 신호로부터 타임 스트레치된 신호 및/또는 주파수 전위된 신호를 생성하기 위한 방법이 설명된다. 이 방법은 임시 입력 신호들과 함께 타임 스트레치 및/또는 주파수 전위의 성능을 향상시키도록 특히 제대로 적응된다. 이 방법은 입력 신호의 순시 음향 특성들을 반영하는 제어 데이터를 수신하는 단계를 포함할 수 있다. 이 방법은 입력 신호로부터 분석 서브밴드 신호를 제공하는 단계를 더 포함할 수 있다. 여기서, 분석 서브밴드 신호는 복수의 복소값 분석 샘플들을 포함한다. 이들 각각은 위상 및 크기를 가진다.
다음 단계에서, 합성 서브밴드 신호는 서브밴드 전위 팩터
Figure 112017093190576-pat00072
, 서브밴드 스트레치 팩터
Figure 112017093190576-pat00073
및 제어 데이터를 이용하는 분석 서브밴드 신호로부터 결정될 수 있다. 전형적으로,
Figure 112017093190576-pat00074
또는
Figure 112017093190576-pat00075
중 적어도 하나는 1 보다 크다. 특히, 방법은 복수의 복소값 분석 샘플들로부터 L 입력 샘플들의 프레임을 유도하는 단계를 포함할 수 있다. 프레임 길이 L은 전형적으로 1 보다 크며, 그리고, 프레임 길이 L은 제어 데이터에 따라 설정된다. 게다가, 이 방법은 입력 샘플들의 프레임들의 묶음(suite)을 생성하기 위하여, L 입력 샘플들의 다음 프레임을 유도하기 전, 상기 복수의 분석 샘플들에 대해
Figure 112017093190576-pat00076
샘플들의 블록 홉 크기를 적용하는 단계를 포함할 수 있다. 결국, 프로세싱된 샘플들의 프레임은 프레임의 프로세싱된 샘플들 각각에 대해, 대응하는 입력 샘플의 위상을 오프셋(offset)하는 것에 의한 프로세싱된 샘플의 위상과, 대응하는 입력 샘플의 크기에 기초하여 프로세싱된 샘플의 크기를 결정하는 것에 의해, 입력 샘플들의 프레임으로부터 결정될 수 있다.
합성 서브밴드 신호는 프로세싱된 샘플들의 프레임들의 묶음의 샘플들을 오버랩 및 추가하는 것에 의해 결정될 수 있다. 그리고 타임 스트레치 및/또는 주파수 전위 신호는 합성 서브밴드 신호로부터 생성될 수 있다.
추가 측면에 따라, 입력 신호로부터 타임 스트레치된 신호 및/또는 주파수 전위된 신호를 생성하기 위한 방법이 설명된다. 이 방법은 분석/합성 필터뱅크들의 단일 쌍을 이용하여 복수의 타임 스트레치 및/또는 주파수 전위 동작들을 수행하도록 특별히 제대로 적용될 수 있다. 동시에, 이 방법은 임시 입력 신호들의 프로세싱에 제대로 적용될 수 있다. 이 방법은 입력 신호로부터 제1 및 제2 분석 서브밴드 신호를 제공하는 단계를 포함할 수 있다. 여기서, 제1 및 제2 분석 서브밴드 신호 각각은 제1 및 제2 분석 샘플들 각각으로 나타내어지는, 복수의 복소값 분석 샘플들을 포함한다. 각 분석 샘플은 위상 및 크기를 포함한다.
더욱이, 방법은 서브밴드 전위 팩터
Figure 112017093190576-pat00077
및 서브밴드 스트레치 팩터
Figure 112017093190576-pat00078
를 이용하여 제1 및 제2 분석 서브밴드 신호로부터 합성 서브밴드 신호를 결정하는 단계를 포함할 수 있다.
Figure 112017093190576-pat00079
또는
Figure 112017093190576-pat00080
중 적어도 하나는 전형적으로 1 보다 크다. 특히, 방법은 복수의 제1 분석 샘플들로부터 L개의 제1 입력 샘플들의 프레임을 유도하는 단계를 포함할 수 있다. 여기서, 프레임 길이 L은 전형적으로 1 보다 크다.
Figure 112017093190576-pat00081
샘플들의 블록 홉 크기는, 제1 입력 샘플들의 프레임들의 묶음(suite)을 생성하기 위해, L개의 제1 입력 샘플들의 다음 프레임을 유도하기 전, 상기 복수의 분석 샘플들에 대해 적용될 수 있다. 이 방법은 복수의 제2 분석 샘플들에 대해 블록 홉 크기
Figure 112017093190576-pat00082
를 적용하는 것에 의해 제2 입력 샘플들의 묶음을 유도하는 단계를 더 포함할 수 있다. 여기서, 제2 입력 샘플 각각은 제1 입력 샘플들의 프레임에 대응한다.
방법은 대응하는 제2 입력 샘플로부터 그리고 입력 샘플들의 프레임으로부터 프로세싱된 샘플들의 프레임을 결정하는 것으로 진행된다. 이는 프레임의 프로세싱된 샘플들 각각에 대해, 대응하는 제1 입력 샘플의 위상을 오프셋(offset)하는 것에 의한 상기 프로세싱된 샘플의 위상과, 대응하는 제2 입력 샘플의 크기 및 대응하는 제1 입력 샘플의 크기에 기초하여 프로세싱된 샘플의 크기를 결정하는 것에 의해 수행될 수 있다. 이어서, 합성 서브밴드 신호는 프로세싱된 샘플들의 프레임들의 묶음의 샘플들을 오버랩하고 추가하는 것에 의해 결정될 수 있다. 결국, 타임 스트레치 및/또는 주파수 전위된 신호는 합성 서브밴드 신호로부터 생성될 수 있다.
다른 측면에 따라, 소프트웨어 프로그램이 설명된다. 이 소프트웨어 프로그램은 컴퓨팅 장치 상에 수행될 때, 본 문헌에서 설명된 바와 같은 특징들 및 측면들을 구현하기 위해 및/또는 방법 단계를 수행하기 위해 그리고, 프로세서 상에서 실행하도록 적용된다.
또 다른 측면에 따라, 저장 매체가 설명된다. 이 저장 매체는, 컴퓨팅 장치 상에 수행될 때, 본 문헌에서 설명된 바와 같은 특징 및 측면들을 구현하기 위해 및/또는 방법 단계들을 수행하기 위해, 그리고, 프로세서 상에서 실행하도록 적용되는 소프트웨어 프로그램을 포함한다.
다른 측면에 따라, 컴퓨터 프로그램 제품이 설명된다. 이 컴퓨터 프로그램 제품은 컴퓨팅 장치 상에 수행될 때, 본 문헌에서 설명된 특징 및 측면을 구현하기 위해 및/또는 방법 단계를 수행하기 위한 실행 가능한 명령을 포함할 수 있다.
본 특허 출원에서 설명된 바와 같은 의 바람직한 실시예들을 포함하는 방법들 및 시스템들은 이 문헌에서 공개된 다른 방법들 및 시스템들과 함께 조합하여, 혹은, 단독으로(stand-alone) 사용될 수 있다. 더욱이, 본 특허 출원에서 설명된 방법들 및 시스템들의 모든 측면들은 임의로 조합될 수 있다. 특히, 청구범위의 특징들은 임의적인 방식으로 서로 조합될 수 있다.
본 발명은 신호의 저주파 성분으로부터 신호의 고주파 성분을 생성하기 위한 시스템 및 방법을 제공할 수 있다.
본 발명은, 이제, 첨부된 도면들의 참조와 함께, 본 발명의 사상 및 범위를 제한하지 않으면서, 예시적인 방법으로 설명될 것이다.
도 1은 예시적인 서브밴드 블록 기반 고조파 전위(subband block based harmonic transposition)의 원리를 도시한다.
도 2는 하나의 서브밴드 입력을 가지는 예시적인 비선형 서브밴드 블록 프로세싱의 동작을 도시한다.
도 3은 2개의 서브밴드 입력들을 가지는 예시적인 비선형 서브밴드 블록 프로세싱의 동작을 도시한다.
도 4는 HFR 강화 오디오 코덱(HFR enhanced audio codec)에서 전위의 몇 차수들을 이용하는 서브밴드 블록 기반 전위의 어플리케이션을 위한 예시적인 시나리오를 도시한다.
도 5는 전위 차수 당 개별 분석 필터 뱅크를 적용하는 다중 차수 서브밴드 블록 기반 전위의 동작을 위한 예시적인 시나리오를 도시한다.
도 6은 단일 64 밴드 QMF 분석 필터 뱅크를 적용하는 다중 차수 서브밴드 블록 기반 전위의 효율적인 동작을 위한 예시적인 시나리오를 도시한다.
도 7은 예시적인 오디오 신호의 팩터 2의 서브밴드 블록 기반 타임 스트레치를 위한 임시 응답을 도시한다.
아래에 설명될 실시예들은 단지 효율적으로 합성 고조파 변위(combined harmonic transposition)를 위한 본 발명의 원리를 설명하기 위한 것이다. 본 문헌에 설명된 상세한 설명들에 대해 변경 및 수정을 가할 수 있음은 이 기술분야에서 통상의 지식을 가진자에게 당연한 것으로 이해되어야 한다. 그러므로 본 발명의 권리범위는 본 문헌의 실시예의 설명 및 기술의 방법으로 제공되는 상세한 설명에 의한 것이 아니라 첨부된 청구범위에 의하여 제한되어야 할 것이다.
도 1은 예시적인 서브밴드 블록 기반 전위, 타임 스트레치, 또는 전위 및 타임 스트레치의 조합의 원리를 도시한다. 입력 시간 도메인 신호는 분석 필터 뱅크(10)에 제공된다. 이 분석 필터 뱅크(10)는 아주 많은 또는 복수의 복소수 서브밴드 신호들을 제공한다. 이는 복수의 서브밴드 신호들은 서브밴드 프로세싱 유닛(102)에 공급된다. 서브밴드 프로세싱 유닛(102)의 동작은 제어 데이터(104)에 의해 영향을 받을 수 있다. 서브밴드 프로세싱 유닛(102)의 각 출력 서브밴드는 하나의 프로세싱으로부터, 또는 2개의 입력 서비스 밴드들로부터 얻을 수 있으며, 또는, 심지어 몇몇 그러한 프로세싱된 서브 밴드들의 결과의 중첩(superposition)으로부터 얻을 수 있다. 많은 수(multitude) 또는 복수의 복소값 출력 서브밴드들은 합성 필터뱅크(103)에 공급되며, 이는, 차례로, 수정된 시간 도메인 신호를 출력한다. 제어 데이터(104)는 어떤 신호 형식들을 위해 수정된 시간 도메인 신호의 품질을 향상시키기 위해 중요하다. 제어 데이터(104)는 시간 도메인 신호와 연동될 수 있다. 특히, 제어 데이터(104)는 분석 필터뱅크(101)에 공급되는 시간 도메인 신호의 형식과 연관될 수 있고, 또는, 제어 데이터(104)는 분석 필터뱅크(101)에 공급되는 시간 도메인 신호의 형식에 따를 수 있다. 일예로써, 제어 데이터(104)는 시간 도메인 신호 또는 시간 도메인 신호의 일시로 제외된 부분이 정적 신호인지 또는 시간 도메인 신호가 일시적인지 여부를 나타낼 수 있다.
도 2는 하나의 서브밴드 입력을 가지는 예시적인 비선형 서브밴드 블록 프로세싱(102)의 동작을 도시한다. 물리 타임 스트레치 및/또는 전위의 주어진 타겟 값들, 및 분석 및 합성 필터뱅크들(101 및 103)의 물리 파라미터들이 주어지면, 이는 소스 서브밴드 인덱스와 함께 서브밴드 타임 스트레치 및 전위 파라미터를 추론한다. 이는, 또한, 분석 서브밴드의 인덱스로 나타내어질 수 있고, 각 타겟 서브밴드 인덱스를 위해, 이는 또한, 분석 서브밴드의 인덱스로 나타내어질 수 있다. 서브밴드 블록 프로세싱의 목적은 타겟 서브밴드 신호를 생성하기 위해 복소값 소스 서브밴드 신호의 대응하는 전위, 타임 스트레치, 또는 전위 및 타임 스트레치의 조합을 구현하기 위한 것이다.
비선형 서브밴드 블록 프로세싱(102)에 있어서, 블록 추출기(201)는 복소값 입력 신호로부터 샘플들의 미세한 프레임을 샘플링 한다. 프레임은 입력 포인터 위치 및 서브밴드 전위 팩터에 의해 정의된다. 이 프레임은 비선형 프로세싱 유닛(202)에서 비선형 프로세싱을 겪게 되고, 그런 다음, 203의 미세한 길이 윈도우에 의해 윈도우잉(window)된다. 윈도우(203)는, 예컨대, 가우시안 윈도우, 코사인 윈도우, 해밍(Hamming) 윈도우, 핸(Hann) 윈도우, 사각(rectangular) 윈도우, 바렛(Bartlett) 윈도우, 블랙맨(Blackman) 윈도우, 등이 될 수 있다. 결과 샘플들은 오버랩 및 추가 유닛(204)에서 앞선 출력 샘플들에 추가된다. 오버랩 및 추가 유닛(204)에서, 출력 프레임 위치가 출력 포인터 위치에 의해 정의된다. 입력 포인터는, 블록 홉 크기(block hop size)로 표현되는, 고정된 양으로 증가되며, 출력 포인터는 서브밴드 스트레치 팩터로 곱한(times) 동일한 양에 의해, 즉, 서브밴드 스트레치 팩터에 의해 곱해진 블록 홉 크기에 의해 증가된다. 동작의 체인의 반복은, 서브밴드 전위 팩터에 의해 전위되는 복수 주파수들을 가지며, (최대 합성 윈도우의 길이인) 서브밴드 스트레치 팩터로 곱한 입력 서브밴드 신호 기간인 기간을 가지는 출력 신호를 생성할 것이다.
제어 데이터(104)는 블록 기반 프로세싱(102)의 프로세싱 블록들(201, 202, 204, 204) 중 어떤 것에라도 영향을 미칠 수 있다. 특히, 제어 데이터(104)는 블록 추출기(201)에서 추출된 블록들의 길이를 제어할 수 있다. 일 실시예에 있어서, 블록 길이는, 제어 데이터(104)가 시간 도메인 신호가 임시 신호인 것을 나타낼 때, 감소된다. 반면, 블록 길이는 제어 데이터(104)가 시간 도메인 신호가 정적 신호임을 나타낼 때, 긴 길이(longer length)에서 증가하거나, 또는 유지된다. 대안적으로 또는 추가로, 제어 데이터(104)는 비선형 프로세싱 유닛(202), 예컨대, 비선형 프로세싱 유닛(202)에서 사용되는 파라미터, 및/또는 윈도우잉 유닛(203), 예컨대, 윈도우잉 유닛에서 사용되는 윈도우에 영향을 미칠 수 있다.
도 3은 2개의 서브밴드 입력들을 가지는 예시적인 비선형 서브밴드 블록 프로세싱(102)의 동작을 도시한다. 물리 타임 스트레치 및 전위의 타겟 값들이 주어지고, 분석 및 합성 필터뱅크들(101 및 103)의 물리 파라미터들이 주어지면, 각 타겟 서브밴드 인덱스를 위한 2개의 소스 서브밴드 인덱스들과 함께 서브밴드 타임 스트레치 및 전위 파라미터들이 감소된다. 서브밴드 블록 프로세싱의 목적은 타겟 서브밴드 신호를 생성하기 위해 전위, 타임 스트레치, 또는, 2개 복소수 값 소스 서브밴드 신호들의 조합의 타임 스트레치 및 전위의 조합에 따르는 것을 구현한다. 블록 추출기(301-1)는 제1 복소수 값 소스 서브밴드로부터 샘플들의 미세 프레임을 샘플링하고, 블록 추출기(301-2)는 제2 복소수 값 소스 서브밴드로부터 미세 프레임의 샘플들을 샘플링 한다. 일 실시예에서, 블록 추출기(301-1 및 301-2) 중 어느 하나는 단일 서브밴드 샘플을 생성할 수 있다. 즉, 블록 추출기(301-1 및 301-2) 중 어느 하나는 일 샘플의 블록 길이를 적용할 수 있다. 플레임들은 공통 입력 포인터 위치 및 서브밴드 전위 팩터에 의해 정의될 수 있다. 블록 추출기(301-1 및 301-2)에서, 각각, 추출된 2 프레임들은 유닛(302)에서 비선형 프로세싱을 겪는다. 비선형 프로세싱 유닛(302)은 전형적으로 2개의 입력 프레임들로부터 단일 출력 프레임을 전형적으로 생성한다. 이어서, 출력 프레임은 유닛(203)에서 미세 길이 윈도우에 의해 윈도우잉 된다(windowed). 상술한 프로세스는 프레임들의 묶음(suite of frames)에 대해 반복된다. 이는 블록 홉 크기를 이용하는 2개의 서브밴드 신호들로부터 추출되는 프레임들의 묶음으로부터 생성된다. 프레임들의 묶음은 오버랩 및 추가 유닛(204)에서 오버랩되고 추가된다. 이 동작의 체인의 반복은 서브밴드 스트레치 팩터(subband stretch factor)를 최장의 2 입력 서브밴드 신호들을 곱한(최대 합성 윈도우의 길이) 기간을 가지는 출력 신호를 생성할 것이다. 2 입력 서브밴드 신호들이 동일한 주파수를 전달하는 경우, 출력 신호는 서브밴드 전위 팩터에 의해 전위된 복소 주파수를 가질 것이다.
도 2의 콘텍스트에서 개괄적으로 설명된 바와 같이, 제어 데이터(104)는 비선형 프로세싱(102)의 다른 블록들의 동작을 조절하도록 사용될 수 있다. 예컨대, 블록 추출기(301-1, 301-2)의 동작이 그것이다. 더욱이, 상술한 동작은 분석 필터 뱅크(101)에 의해 제공되는 분석 서브밴드 신호들 전부에 대해, 그리고, 상기 합성 필터 뱅크(103) 내로 입력되는 합성 서브밴드 신호들 전부에 대해, 전형적으로 수행될 수 있음에 유의하여야 한다.
다음의 텍스트에서, 타임 스트레치 및 전위에 기반을 둔 서브밴드 블록의 원리의 기술은, 도 13에 대한 레퍼런스와 함께 적절한 수학적 용어들이 추가되는 것에 의해, 개괄적으로 설명될 것이다.
전체 고조파 전위기 및/또는 타임 스트레처 2개의 메인 구성 파라미터는 다음과 같다.
●
Figure 112017093190576-pat00083
: 소망하는 물리적 타임 스트레치 팩터; 및
●
Figure 112017093190576-pat00084
: 소망하는 물리 전위 팩터.
필터 뱅크들(101 및 103)은 QMF 또는 윈도우잉된 DFT 또는 웨이블릿 변환(wavelet transform)과 같은 어떤 복소 지수 변조 형식이 될 수 있다. 분석 필터 뱅크(101) 및 합성 필터 뱅크(103)는 변조에서 짝수 또는 홀수로 적층되고, 그리고, 넓은 범위의 프로토타입 필터들 및/또는 윈도우들로부터 정의될 수 있다. 반면, 모든 이러한 제2 차수 선택들은 위상 정정들 및 서브밴드 매핑 관리와 같은, 연속된 디자인에서 세부사항들에 영향을 미치며, 서브밴드 프로세싱을 위한 메인 시스템 디자인 파라미터들은 모든 물리 유닛들에서 측정되는 다음의 4개의 필터 뱅크 파라미터들의
Figure 112017093190576-pat00085
and
Figure 112017093190576-pat00086
의 2개의 몫(quotient)들의 인식으로부터 전형적으로 유도할 수 있다.
상술한 몫들에 있어서,
●
Figure 112017093190576-pat00087
는 분석 필터뱅크(101)의 타임 스트라이드 또는 서브밴드 샘플 타임 스텝이다(예컨대, 초[S]로 측정됨);
●
Figure 112017093190576-pat00088
는 분석 필터뱅크(101)의 서브밴드 주파수 공간이다(예컨대, 헤르츠(Hertz)[1/s]로 측정됨);
●
Figure 112017093190576-pat00089
는 합성 필터뱅크(103)의 시간 스트라이드 또는 서브밴드 샘플 시간 스텝이다(예컨대, 초[S]로 측정됨); 그리고,
●
Figure 112017093190576-pat00090
는 합성 필터뱅크(103)의 서브밴드 주파수 공간이다(예컨대, 헤르츠(Hertz)[1/s]로 측정됨);
서브밴드 프로세싱 유닛(102)의 구성을 위해, 다음의 파라미터들이 연산되어야한다:
● S : 서브밴드 스트레치 팩터, 즉,
Figure 112017093190576-pat00091
에 의해 타임 도메인 신호의 전체 물리 타임 스트레치를 취하기 위한 서브밴드 프로세싱 유닛(102) 내에 적용되는 서브밴드 스트레치 팩터;
● Q : 서브밴드 전위 팩터, 즉, 팩터
Figure 112017093190576-pat00092
에 의해 타임 도메인 신호의 전체 물리 주파수 전위를 취하기 위해 서브밴드 프로세싱 유닛(102) 내에 적용되는 서브밴드 전위 팩터; 그리고,
● 소스 및 타겟 서브밴드 인덱스들 사이의 관련성, 여기서, n은 서브밴드 프로세싱 유닛(102)에 입력되는 분석 서브밴드의 인덱스를 나타낸다. 그리고 m은 서브밴드 프로세싱 유닛(102)의 출력에서 대응하는 합성 서브밴드의 인덱스를 나타낸다.
서브밴드 스트레치 팩터 S를 결정하기 위하여, 물리 기간 D의 분석 필터뱅크(101)에 대한 입력 신호는 서브밴드 프로세싱 유닛(102)에 대한 입력에서 분석 서브밴드 샘플들의 수
Figure 112017093190576-pat00093
에 대응하는 것이 관찰되었다.
Figure 112017093190576-pat00094
개의 샘플들은 서브밴드 스트레치 팩터 S가 적용되는 서브밴드 프로세싱 유닛(102)에 의해
Figure 112017093190576-pat00095
개의 샘플들로 스트레치(stretch)될 것이다. 합성 필터뱅크(103)의 출력에서, 이
Figure 112017093190576-pat00096
개의 샘플들은
Figure 112017093190576-pat00097
의 물리 기간을 가지는 출력 신호를 야기한다. 이 후자의 기간은 특정된 값
Figure 112017093190576-pat00098
에 맞아 떨어져야 하기 때문에, 즉, 타임 도메인 출력 신호의 기간은 물리 타임 스트레치 팩터
Figure 112017093190576-pat00099
에 의해 시간 도메인 입력 신호와 비교하여, 타임 스트레치되어야하기 때문에, 다음과 같은 디자인 규칙을 얻을 수 있다:
Figure 112017093190576-pat00100
(1)
물리 전위
Figure 112017093190576-pat00101
를 성취하기 위한 서브밴드 프로세싱 유닛(102) 내에 적용되는 서브밴드 전위 팩터
Figure 112017093190576-pat00102
를 결정하기 위해, 물리 주파수
Figure 112017093190576-pat00103
의 분석 필터 뱅크(101)에 대한 입력 사인곡선(sinusoid)이 이산 시간 주파수
Figure 112017093190576-pat00104
를 가지는 복소 분석 서브밴드 신호를 초래하는지, 그리고, 주 컨트리뷰션이 인덱스
Figure 112017093190576-pat00105
를 가지는 분석 서브밴드 내에서 발생하는지 여부를 관찰한다. 요구되는 전위 물리 주파수
Figure 112017093190576-pat00106
의 합성 필터뱅크(102)의 출력에서 출력 사인 곡선은 이산 주파수
Figure 112017093190576-pat00107
의 복소 서브밴드 신호를 가지는 인덱스
Figure 112017093190576-pat00108
를 가지는 합성 서브밴드를 피딩(feeding)하는 것으로부터 발생할 것이다. 이 콘텍스트에서,
Figure 112017093190576-pat00109
와 다른 알리아싱된(aliased) 출력 주파수들의 합성을 피하기 위하여 조취가 취해져야만 한다. 전형적으로, 이는 논의된 바와 같은 적합한 2차 선택들을 생성하는 것에 의해, 예컨대, 적절한 분석/합성 필터뱅크들을 선택하는 것에 의해, 피할 수 있다. 서브밴드 프로세싱 유닛(102)의 출력에서 이산 주파수
Figure 112017093190576-pat00110
는 서브밴드 전위 팩터
Figure 112017093190576-pat00111
에 의해 곱해진 서브밴드 프로세싱 유닛(102)의 입력에서 이산 시간 주파수
Figure 112017093190576-pat00112
에 대응한다. 즉,
Figure 112017093190576-pat00113
및
Figure 112017093190576-pat00114
이 동일하게 설정하는 것에 의해, 물리 전위 팩터
Figure 112017093190576-pat00115
와 서브밴드 전위 팩터
Figure 112017093190576-pat00116
사이의 다음과 같은 관계가 결정될 수 있다:
Figure 112017093190576-pat00117
(2)
마찬가지로, 합성 서브밴드 인덱스 m 또는 주어진 타겟을 위한 서브밴드 프로세싱 유닛(102)의 분석 서브밴드 인덱스 n 또는 적합한 소스는 다음과 같다.
Figure 112017093190576-pat00118
(3)
실시예에 있어서,
Figure 112017093190576-pat00119
/
Figure 112017093190576-pat00120
=
Figure 112017093190576-pat00121
, 즉, 합성 필터뱅크(103)의 주파수 공간(frequency spacing)은 물리 전위 팩터에 의해 곱해지는 분석 인터뱅크(101)의 주파수 공간에 대응하는 것이 지지된다. 그리고, 분석 대 합성 서브밴드 인덱스 n = m의 일대일 매핑이 적용된다. 다른 실시예에 있어서, 서브밴드 인덱스 매핑은 필터뱅크 파라미터들의 세부사항에 따를 수 있다. 특히, 분석 필터뱅크(101) 및 합성 필터뱅크(103)의 주파수 공간의 일부가 물리 전위 팩터
Figure 112017093190576-pat00122
와 상이하면, 하나 또는 2 이상의 소스 서브 밴드들은 주어진 목적 서브밴드에 대해 할당될 수 있다. 2 소스 서브밴드들의 경우에 있어서, 이는 각각 인덱스 n, n+1을 가지는 2개의 인접한 소스 서브밴드들이 됨이 바람직할 수 있다. 즉, 제1 및 제2 소스 서브 밴드들은 (n(m), n(m) + 1) 또는 (n{m) + 1, n(m))와 같이 주어진다.
단일 소스 서브밴드를 가지는 도 2의 서브밴드 프로세싱이, 이제, 서브밴드 프로세싱 파라미터들
Figure 112017093190576-pat00123
및
Figure 112017093190576-pat00124
의 기능으로써 설명될 것이다. x(k)를 블록 추출기(201)에 입력 신호로 놓고, p를 입력 블록 스트라이드(stride)로 놓는다. 즉, x(k)는 인덱스 n을 가지는 분석 서브밴드의 복소값 분석 서브밴드 신호이다. 블록 추출기(201)에 의해 추출된 블록은 일반성을 저하시키지 않고(without loss of generality) L = 2R + 1 샘플들에 의해 정의되도록 고려되어질 수 있다.
Figure 112017093190576-pat00125
, (4)
정수
Figure 112017093190576-pat00126
는 블록 카운팅 인덱스이며, L은 블록 길이이고, R은 R≥0인 정수이다.
Figure 112017093190576-pat00127
=
Figure 112017093190576-pat00128
일 때, 블록은 연속된 샘플들로부터 추출되고,
Figure 112017093190576-pat00129
>1일 때, 입력 주소들이 팩터
Figure 112017093190576-pat00130
에 의해 스트레치되는 방식으로 다운샘플링이 수행되는 것을 유의하여야 한다. 만약,
Figure 112017093190576-pat00131
가 정수이면, 이 동작은 전형적으로 그 수행이 간단(straightforward)하지만, 반면, 보간(interpolation) 방법이
Figure 112017093190576-pat00132
의 비 정수 값에 대해 요구될 수 있다. 또한, 이 언급은 즉, 입력 블록 스트라이드의 증가
Figure 112017093190576-pat00133
의 비 정수 값들에 대해 관련된다. 일 실시예에 있어서, 짧은 보간 필터들, 예컨대, 2개의 필터 탭들을 가지는 필터들은, 복소값 서브밴드 신호에 대해 적용될 수 있다. 예를 들면, 부분 시간 인덱스 k + 0.5에서 샘플들이 요구되면, 형식
Figure 112017093190576-pat00134
의 2개의 탭 보간이 충분한 품질에 다다를 수 있다.
수학식 (4)의 흥미로운 특별 케이스는 R = 0이다. 여기서, 추출된 블록 길이는 단일 샘플로 구성된다. 즉, 블록 길이는 L = 1이다.
여기서,
Figure 112017093190576-pat00135
는 복수수의 크기(magnitude)이고,
Figure 112017093190576-pat00136
는 복소수의 위상인, 복소수
Figure 112017093190576-pat00137
의 극 표현과 함께, 입력 프레임
Figure 112017093190576-pat00138
으로부터 출력 프레임
Figure 112017093190576-pat00139
을 생성하는 비선형 프로세싱 유닛(202)은 위상 변조 팩터 T =
Figure 112017093190576-pat00140
Figure 112017093190576-pat00141
에 의해 다음과 같이 정의된다.
Figure 112017093190576-pat00142
(5)
Figure 112017093190576-pat00143
는 기하학적 크기 가중 파라미터(geometrical magnitude weighting parameter)이다. 케이스 p = 0은 추출된 블록의 순수 위상 수정에 대응한다. 위상 정정 파라미터
Figure 112017093190576-pat00144
는 필터뱅크 세부사항들 및 소스 및 타겟 서브밴드 인덱스들에 따른다. 일 실시예에 있어서, 위상 정정 파라미터
Figure 112017093190576-pat00145
는 입력 사인 곡선의 세트를 스위핑(sweeping)하는 것에 의해 실험적으로 결정될 수 있다. 게다가, 위상 정정 파라미터
Figure 112017093190576-pat00146
는 인접 타겟 서브밴드 복소 사인 곡선의 위상 차이를 연구하는 것에 의해 또는, 입력 신호의 디락(Dirac) 펄스 형식을 위한 성능을 최적화하는 것에 의해, 유도될 수 있다. 위상 수정 팩터 T는 계수 T-1 및 1이 수학식 (5)의 제1 라인에서 위상들의 선형 조합의 정수들이 되도록 하는 정수가 될 수 있다. 이러한 추정에 따라, 즉, 위상 수정 팩터 T가 정수라는 가정에 따라, 선형 수정의 결과는, 위상이 2π의 임의의 정수 곱들의 추가에 의해 모호해짐에도 불구하고, 제대로 정의될 수 있다.
수학식 (5)는 출력 프레임 샘플의 위상이 상수 오프셋 값에 의해 대응하는 입력 프레임 샘플의 위상을 오프셋(offset)하는 것에 의해 결정된다. 이 상수 오프셋 값은 수정 팩터 T에 따를 수 있다. 여기서, 수정 팩터 자체는 서브밴드 스트레치 팩터 및/또는 서브밴드 전위 팩터에 따른다.
게다가, 상수 오프셋 값은 입력 프레임으로부터의 개별 입력 프레임 샘플의 위상에 따를 수 있다. 개별 입력 프레임 샘플은 주어진 블록의 모든 출력 프레임 샘플들의 위상의 결정을 위해 고정된다. 수학식 (5)의 경우에 있어서, 입력 프레임의 중간 샘플들의 위상은 개별 입력 프레임 샘플의 위상으로 사용된다. 추가로, 상수 오프셋 값은 위상 정정 파라미터
Figure 112017093190576-pat00147
에 따를 수 있다. 이 위상 정정 파라미터는, 예컨대, 실험적으로 결정될 수 있다.
수학식 (5)의 두 번째 라인은 출력 프레임의 샘플의 크기가 입력 프레임의 대응하는 샘플의 크기에 의존하는 것에 따를 수 있다는 것을 특정한다. 게다가, 출력 프레임의 샘플의 크기가 개별 입력 프레임 샘플의 크기에 따를 수 있다. 이 개별 입력 프레임 샘플은 모든 출력 프레임 샘플들의 크기의 결정을 위해 사용될 수 있다. 수학식 (5)의 경우에 있어서, 입력 프레임의 중간 샘플은 개별 입력 프레임 샘플로 사용된다. 일 실시예에 있어서, 출력 프레임의 샘플의 크기는 개별 입력 프레임 샘플 및 입력 프레임의 대응하는 샘플의 크기의 기하학적 평균(geometrical mean)에 대응할 수 있다.
윈도우잉 유닛(203)에 있어서, 길이 L의 윈도우 w는 출력 프레임 상에 적용되어, 다음과 같은 윈도우잉된 출력 프레임을 출력한다.
Figure 112017093190576-pat00148
(6)
마지막으로, 모든 프레임들이 0으로 확장된다고 가정한다. 그리고, 오버랩 및 추가 오퍼레이션(204)은 다음과 같이 정의된다.
Figure 112017093190576-pat00149
(7)
오버랩 및 추가 유닛(204)은 Sp의 블록 스트라이드, 즉, 타임 스트라이드에 적용됨을 유의하여야 한다. 여기서, 타임 스트라이드는 입력 블록 스트라이드 p 보다 S 배 높다. 수학식 (4) 및 (7)의 타임 스트라이드에서 이러한 차이에 기인하여, 출력 신호 z(k)의 기간(duration)은 입력 신호 x(k)의 기간의 S배이다. 즉, 합성 서브밴드 신호는 분석 서브밴드 신호와 비교하여 서브밴드 스트레치 팩터 S에 의해 스트레치된다. 이 조사는 전형적으로 윈도우의 길이 L이 신호 기간과 비교하여 무시할 수 있을 정도이면 적용된다.
복소 사인 곡선이 서브밴드 프로세싱(102)에 대한 입력으로 사용되는 경우에, 분석 서브밴드 신호는 다음과 같은 복소 사인 곡선에 대응한다.
Figure 112017093190576-pat00150
, (8)
서브밴드 프로세싱(102)의 출력, 즉, 대응하는 합성 서브밴드 신호가 다음과 같이 주어지는 것은, 수학식 (4) - (7)을 적용하는 것에 의해 결정될 수 있다.
Figure 112017093190576-pat00151
(9)
따라서, 이산 시간 주파수
Figure 112017093190576-pat00152
의 복소 사인곡선은, 윈도우가 모든 k에 대한 동일한 상수 값 k를 합한 Sp의 스트라이드로 시프트되는 것으로 제공되는, 이산 시간 주파수
Figure 112017093190576-pat00153
를 가지는 복소 사인곡선으로 변환될 것이다.
Figure 112017093190576-pat00154
(10)
이는 S = 1 그리고 T =
Figure 112017093190576-pat00155
인 순수 전위의 특별한 경우를 고려하여 나타낸다. 입력 블록 스트라이드가 p = 1이고, R - 0이면, 이상에서, 즉, 현저한 수학식 (5)는 포인트-와이즈(point-wise)로 감소되거나, 또는, 위상 수정 규칙에 기초하여 샘플링된다. 이는 다음과 같다.
Figure 112017093190576-pat00156
(11)
블록 크기 R > 0을 이용하는 것에 이득은 사인 곡선의 합이 분석 서브밴드 신호 x(k) 내에서 고려될 때 분명해진다. 주파수
Figure 112017093190576-pat00157
를 가지는 사인곡선의 합을 위한 포인트와이즈 규칙(11)의 문제는 요구되는 주파수
Figure 112017093190576-pat00158
가 즉, 합성 서브밴드 신호 z(k) 내의 서브밴드 프로세싱(102)의 출력으로 제공될 뿐만 아니라, 형식
Figure 112017093190576-pat00159
의 상호변조(intermodulation) 곱(product) 주파수들로 제공된다. 블록 R > 0 및 수학식 (10)을 만족하는 윈도우는 전형적으로 이들의 상호변조 곱의 억제(suppression)로 이끈다. 다른 한 측면에서, 긴 블록은 임시 신호들을 위한 요구되지 않은 시간 스미어링(smearing)의 큰 도(degree)를 초래한다. 더욱이, 예컨대, 충분히 낮은 피치를 가지는, 모음의 경우의 인간 음성 또는 단일 피치(pitched) 악기와 같은, 펄스 트레인(train) 유사 신호들의 경우, 상호변조 곱은 WO 2002/052545에 설명된 바와 같이 요구될 수 있다. 이 문헌은 참조로 본 문헌에 포함된다.
임시 신호들을 위한 서브밴드 프로세싱(102)에 기초한 블록의 비교적 낮은 성능의 이슈(issue)를 다루기 위하여, 수학식 (5)에서 0이 아닌 값의 기하학적 크기 가중 파라미터의
Figure 112017093190576-pat00160
> 0이 사용되는 것이 제안된다. 동시에, 정적 신호들을 위한 상호변조 왜곡 억제(intermodulation distortion suppression)의 충분한 파워를 유지하는 동안, 기하학적 크기 가중 파라미터
Figure 112017093190576-pat00161
> 0의 선택이
Figure 112017093190576-pat00162
= 0을 가지는 순수 위상 수정의 사용에 비교하여 블록 기반 서브밴드 프로세싱(102)의 임시 응답을 향상시키는 것이 관찰되었다(예컨대, 도 7 참조). 크기 가중의 개별 어트랙티브 값(attractive value)은 p = 1 - 1/T이고, 이는 비선형 프로세싱 수학식 (5)는 다음과 같이 연산 단계들을 감소시키기 위한 것이다.
Figure 112017093190576-pat00163
(12)
이러한 연산 단계들은 수학식 (5)에서
Figure 112017093190576-pat00164
= 0의 경우에 따른 결과인 순수 위상 변조의 동작과 비교하여 동일한 양의 연산 복잡도로 표현된다. 다른 말로, 크기 가중 p = 1 - 1/T을 이용하는 기하학적 평균 수학식 (5)에 기초한 출력 프레임 샘플들의 크기의 결정은 연산 복잡도에서 어떤 추가 비용 없이 구현될 수 있다. 동일한 시간에서, 정적 신호들을 위한 성능이 유지되는 동안, 임시 시호들을 위한 고조파 전위의 성능은 향상된다.
도 1, 도 2 및 도 3의 콘텍스트에서 개괄한 바와 같이, 서브밴드 프로세싱(102)은 제어 데이터(104)에 적용되는 것에 의해 추가로 향상될 수 있다. 일 실시예에 있어서, 수학식 (11)에서 K의 동일한 값을 공유하고, 다른 블록 길이들을 채택하는 서브밴드 프로세싱(102)의 2개의 구성들이 신호 적응 서브밴드 프로세싱을 구현하도록 사용될 수 있다. 서브밴드 프로세싱 유닛을 스위칭하는 신호 적응 구성을 디자인하는 데에 있어 개념점인 시작 포인트는 그들의 출력들에서 선택자 스위치와 병렬로 구동되는 2개의 구성을 생각할 수 있다. 여기서, 선택자 스위치의 위치는 제어 데이터(104)에 따른다. K 값의 공유는 스위치가 단일 복소 사인곡선 입력의 경우에서 끊기지 않는 것(seamless)을 보장한다. 일반적인 신호들을 위하여, 서브밴드 신호 레벨 상의 하드 스위치는, 마지막 출력 신호들 상에 어떤 스위칭 인공물(artifacts)을 도입하지 않도록, 주변의 필터뱅크 프레임워크(101, 103)에 의해 자동으로 윈도우잉된다. 이는, 블록 크기들이 충분히 다를 때, 그리고, 제어 데이터의 업데이트 레이트가 충분히 빠르지 않을 때, 수학식 (7)에서 오버랩 및 추가 프로세스의 결과로, 앞서 설명된 컨셉적인 스위치 시스템의 그것과 동일한 출력이 가장 긴 블록을 가지는 구성의 시스템의 컴퓨터 연산 비용(computational cost)에서 재생산 될 수 있다는 것을 보일 수 있다. 따라서 신호 적응 동작에 관련된 연산 복잡도에서 패널티(penalty)가 존재하지 않는다. 앞서 설명된 바에 따라, 긴 블록 길이를 가지는 구성이 정적 신호들에 대해 더 적합한 반면, 짧은 블록 길이를 가지는 구성은, 임시 및 낮은 피치 주기 신호들에 대해 더욱 적합하다. 그와 같이, 신호 분류기는 오디오 신호의 발췌 부분을 임시 클래스 및 비 임시 클래스로 분류하기 위하여, 그리고, 제어 데이터(104)로서 분류 정보를 신호 적응 구성 스위칭 서브밴드 프로세싱 유닛(102)으로 전달하기 위해 사용될 수 있다. 서브밴드 프로세싱 유닛(102)은 어떤 프로세싱 파라미터들, 예컨대, 블록 추출기들의 블록 길이를 설정하도록 제어 데이터(104)를 사용할 수 있다.
다음과 같이, 서브밴드 프로세싱의 디스크립션은 2개의 서브밴드 입력들을 가지는 도 3의 경우를 커버하도록 확장될 것이다. 단지, 단일 입력 케이스를 만드는 수정들이 설명될 것이다. 그렇지 않으면, 참조는 앞서 제공된 정보로 만들어질 것이다. x(k)를 제1 블록 추출기(301-1)에 대한 입력 서브밴드 신호로 놓고, x(k)를 제2 블록 추출기(301-2)에 대한 입력 서브밴드 신호로 놓는다. 블록 추출기(301-1)에 의해 추출된 블록은 수학식 (4)에 의해 정의되고, 블록 추출기(301-2)에 의해 추출된 블록은 다음과 같은 단일 서브밴드 샘플로 구성된다.
*
Figure 112017093190576-pat00165
(13)
즉, 개괄된 실시예에서, 제1 블록 추출기(301-1)는 L의 블록 길이를 사용하고, 반면, 제2 블록 추출기(301-2)는 1의 블록 길이를 사용한다. 이러한 경우에 있어서, 비선형 프로세싱(302)은 출력 프레임
Figure 112017093190576-pat00166
을 생성한다. 이는 다음에 의해 정의될 수 있다.
Figure 112017093190576-pat00167
, (14)
그리고, 203 및 204에서 프로세싱의 나머지는 단일 입력 경우의 콘텍스트에서 설명된 바와 같은 프로세싱과 동일하다. 다른 말로, 이는 각각의 다른 분석 서브밴드 신호로부터 추출된 단일 서브밴드 샘플에 의해 수학식 (5)의 개별 프레임 샘플을 교체하는 것이 제안된다.
일 실시예에 있어서, 합성 필터뱅크(103)의 주파수 공간
Figure 112017093190576-pat00168
및 분석 필터뱅크(101)의 주파수 공간의 비율은 요구되는 물리적 전위 팩터
Figure 112017093190576-pat00169
와 상이하며, 이는 각각 인덱스 n, n+1을 가지는 2개의 분석 서브밴드들로부터 인덱스 m을 가지는 합성 서브밴드의 샘플들을 결정하는 데에 이득이 될 수 있다. 주어진 인덱스 m을 위해, 대응하는 인덱스 n은 수학식 (3)에 의해 주어진 분석 인덱스 값 n을 줄이는(truncating) 것에 의해 얻어지는 정수 값에 의해 주어질 수 있다. 분석 서브밴드 신호들 중 하나, 예컨대, 인덱스 n에 대응하는 분석 서브밴드 신호는 제1 블록 추출기(301-1)에 공급되고, 다른 분석 서브밴드 신호, 예컨대, 인덱스 n+1에 대응하는 하나는 제2 블록 추출기(301-2)에 입력된다. 이러한 두 개의 분석 서브밴드 신호들에 기초하여, 인덱스 m에 대응하는 합성 서브밴드 신호는 앞서 개괄된 프로세싱에 따라 결정된다. 인접한 분석 서브밴드 신호들의 2개의 블록 추출기(301-1 및 301-2)에 대한 할당은 수학식 (3)의 인덱스 값, 즉, 수학식 (3)에 의해 주어진 정확한 인덱스 값과 수학식 (3)으로부터 얻어진 줄여진(truncated) 정수 값 n의 차이를 줄일(truncating) 때, 얻어진 나머지에 기초할 수 있다. 상기 나머지가 0.5 보다 크면, 그러면, 인덱스 n에 대응하는 분석 서브밴드 신호는 제2 블록 추출기(301-2)에 대해 할당될 수 있다. 그렇지 않으면, 이 분석 서브밴드 신호는 제1 블록 추출기(301-1)에 대해 할당될 수 있다.
도 4는 HFR 향상(enhanced) 오디오 코덱에서 전위의 몇몇 차수들을 이용하는 전위에 기초하는 서브밴드 블록의 어플리케이션을 위한 예시적인 시나리오를 도시한다. 전송된 비트스트림은 코어 디코더(401)에서 수신된다. 이는 샘플링 주파수 fs에서 저 대역 디코딩된 코어 신호를 제공한다. 또한, 저 대역폭 디코딩된 코어 신호는 오디오 신호의 저 주파 컴포넌트로서 표현될 수 있다. 낮은 샘플링 주파수 fs에서 신호는 64 밴드 QMF 합성 뱅크(역 QMF)(405)에 의해 따라 복소 변조된 32 밴드 QMF 분석 뱅크(402)의 수단에 의해 출력 샘플링 주파수 2fs로 재샘플링된다. 2개의 필터뱅크들(402, 405)은 동일한 물리 파라미터들
Figure 112017093190576-pat00170
=
Figure 112017093190576-pat00171
및
Figure 112017093190576-pat00172
=
Figure 112017093190576-pat00173
을 가지고, HFR 프로세싱 유닛(404)은 전형적으로 낮은 대역폭 코어 신호에 대응하는 수정되지 않은 낮은 서브밴드들을 통과시킨다. 출력 신호의 고 주파수 콘텐츠는, 다중 전위 유닛(403)으로부터 출력 밴드들을 가지는 64 밴드 QMF 합성 뱅크(405)의 높은 서브밴드들을 피딩(feeding)하는 것에 의해 얻어진다. 이는 HFR 프로세싱 유닛(404)에 의해 수행되는 스펙트럼 쉐이핑(shaping) 및 수정에 종속된다. 다중 전위기(403)는 디코딩된 코어 신호를 입력으로 취하고, 몇몇 전위된 신호 컴포넌트의 조합 또는 중첩(superposition)의 64 QMF 밴드 분석을 표현하는 다중 서브밴드 신호들을 출력한다. 다른 말로, 다중 전위기(403)의 출력에서 신호는 합성 필터뱅크(103)에 피드(feed)될 수 있는 전위된 합성 서브밴드 신호들에 대응할 수 있다. 이는 도 4의 경우에서, 역 QMF 필터뱅크(405)에 의해 표현된다.
다중 전위기(403)의 가능한 구현들은 도 5 및 도 6의 콘텍스트에서 그 개요가 설명되었다. 다중 전위기(403)의 목적은 HFR 프로세싱(404)이 바이패스 되었을 때, 각 컴포넌트는 코어 신호의 타임 스트레치,
Figure 112017093190576-pat00174
없는 정수 물리 전위에 대응한다. 코어 신호의 임시 컴포넌트들을 위해, HFR 프로세싱은 때로 다중 전위기(403)의 좋지 않은 임시 응답에 대해 보상한다. 하지만, 일관되게 높은 품질은 전형적으로 단지 다중 전위기 자체의 임시 응답이 만족된 경우에만 도달될 수 있다. 본 문헌에서 개괄된 바와 같이, 전위기 제어 신호(104)는 다중 전위기(403)의 동작에 영향을 미칠 수 있다. 그리고 그에 의해서, 다중 전위기(403)의 만족된 임시 응답을 보장한다. 대안적으로, 또는, 추가로, 상술한 기하학적 가중 스킴(예컨대, 수학식 (5) 및/또는 수학식 (14) 참조)은 고조파 전위기(harmonic transposer, 403)의 임시 응답을 향상시키는 데에 공헌할 수 있다.
도 5는 전위 차수 당 개별 분석 필터 뱅크(502-2, 502-3, 502-4)를 적용하는 전위 유닛(403)에 기초하는 다중 차수 서브밴드 블록의 동작을 위한 예시적인 시나리오를 도시한다. 도시된 예에서, 3개의 전위 차수
Figure 112017093190576-pat00175
= 2,3,4는 출력 샘플링 레이트 2fs에서 64 밴드 QMF 뱅크 동작으로 생성되고 전달된다. 결합 유닛(merging unit, 504)은 각 전위 팩터 브랜치로부터, HFR 프로세싱 유닛으로 피드되는 단일의 많은 수의 QMF 서브밴드들로, 관련된 서브밴드들을 선택하고 합성한다.
Figure 112017093190576-pat00176
= 2인 첫 번째 경우를 고려하라. 64 밴드 QMF 분석(502-2), 서브밴드 프로세싱 유닛(503-2) 및 64 밴드 QMF 합성(405)의 프로세싱 체인은
Figure 112017093190576-pat00177
= 1을 가지는
Figure 112017093190576-pat00178
= 2의 물리 전위를 초래한다(즉, 스트레치 없음). 각각 도 1의 유닛들(101, 102 및 103)을 가지는 이러한 3개의 블록들을 식별하면, 하나는 수학식 (1) 내지 (3)이 서브밴드 프로세싱 유닛(503-2)에 대해 다음의 특정하도록 하는
Figure 112017093190576-pat00179
/
Figure 112017093190576-pat00180
= 1/2 및
Figure 112017093190576-pat00181
/
Figure 112017093190576-pat00182
= 2를 찾는다. 서브밴드 프로세싱 유닛(503-2)은 S = 3의 서브밴드 스트레치,
Figure 112017093190576-pat00183
= 1(즉, 없음(none))의 서브밴드 전위, 그리고, (수학식 (3) 참조) n = m에 의해 주어진 인덱스 m을 가지는 타겟 서브밴드들과 인덱스 n을 가지는 소스 서브밴드들 사이에 대응을 수행해야만 한다.
Figure 112017093190576-pat00184
= 3인 경우에 대해, 예시적인 시스템은 샘플링 레이트 컨버터(501-3)를 포함한다. 이는 fs로부터 2fs/3로 팩터 3/2에 의해 입력 샘플링 레이트를 변환한다. 그 목적은 64 밴드 QMF 분석(502-3)의 프로세싱 체인, 서브밴드 프로세싱 유닛(503-3) 및 64 밴드 QMF 합성(405)이
Figure 112017093190576-pat00185
= 1과 함께
Figure 112017093190576-pat00186
= 4의 물리 전위를 초래하는 것이다(즉, 스트레치 없음). 각각, 도 1의 유닛들(101, 102 및 103)을 가지는 상술한 3개의 블록들을 식별하면, 수학식 (1) 내지 (3)이 서브밴드 프로세싱 유닛(503-3)에 다음의 특정을 제공하도록
Figure 112017093190576-pat00187
/
Figure 112017093190576-pat00188
= 1/4 및
Figure 112017093190576-pat00189
/
Figure 112017093190576-pat00190
= 4를 리샘플링에 기인하여 찾는다. 이 서브밴드 프로세싱 유닛(503-3)은 S = 3의 서브밴드 스트레치,
Figure 112017093190576-pat00191
= 1의 서브밴드 전위(즉, 없음), 그리고, n = m에 의해 주어지는 인덱스 m을 가지는 타겟 서브밴드들과 인덱스 n을 가지는 소스 서브밴드들 사이의 통신(correspondence)(수학식 (3) 참조)을 수행해야만 한다.
Figure 112017093190576-pat00192
= 4인 경우에 대해, 예시적인 시스템은 샘플링 레이트 컨버터(501-4)를 포함한다. 이는 fs로부터 fs/2로 팩터 2에 의해 입력 샘플링 레이트를 변환한다. 그 목적은 64 밴드 QMF 분석(502-4)의 프로세싱 체인, 서브밴드 프로세싱 유닛(503-4) 및 64 밴드 QMF 합성(405)이
Figure 112017093190576-pat00193
= 1과 함께
Figure 112017093190576-pat00194
= 4의 물리 전위를 초래하는 것이다(즉, 스트레치 없음). 각각, 도 1의 유닛들(101, 102 및 103)을 가지는 상술한 3개의 블록들을 식별하면, 수학식 (1) 내지 (3)이 서브밴드 프로세싱 유닛(503-4)에 다음의 특정을 제공하도록
Figure 112017093190576-pat00195
/
Figure 112017093190576-pat00196
= 1/4 및
Figure 112017093190576-pat00197
/
Figure 112017093190576-pat00198
= 4를 리샘플링에 기인하여 찾는다. 이 서브밴드 프로세싱 유닛(503-4)은 S = 4의 서브밴드 스트레치,
Figure 112017093190576-pat00199
= 1의 서브밴드 전위(즉, 없음), 그리고, n = m에 의해 주어진 인덱스 m을 가지는 타겟 서브밴드들과 인덱스 n을 가지는 소스 서브밴드들 사이의 대응(수학식 (3) 참조)을 수행해야만 한다.
도 5의 예시적인 시나리오에 대한 결론에 따르면, 서브밴드 프로세싱 유닛(504-2 내지 504-4) 모두 순수 서브밴드 신호 스트레치들을 수행하고, 도 2의 콘텍스트에 설명된 단일 입력 비선형 서브밴드 블록 프로세싱을 채택한다. 제공되었을 때, 제어 신호(104)는 모든 3개의 서브밴드 프로세싱 유닛들의 동작에 동시에 영향을 미칠 수 있다. 특히, 제어 신호(104)는 입력 신호의 발췌된 부분의 형식(임시 또는 비 임시)에 따라 긴 블록 길이 프로세싱과 짧은 블록 길이 프로세싱 사이에 동시에 스위칭하기 위하여 사용될 수 있다. 대안적으로 또는 추가로, 3개의 서브밴드 프로세싱 유닛들(504-2 내지 504-4)이 논제로(nonzero) 기하학적 크기 가중 파라미터
Figure 112017093190576-pat00200
> 0을 이용할 때, 다중 전위기의 임시 응답은
Figure 112017093190576-pat00201
= 0인 경우에 비교하여 향상될 수 있다.
도 6은 단일 64 밴드 QMF 분석 필터 뱅크가 적용된 전위에 기초한 다중 차수 서브밴드 블록의 효율적인 동작을 위한 예시적인 시나리오를 도시한다. 게다가, 도 5에서 2개의 샘플링 레이트 변환기들 및 3개의 개별 QMF 분석 뱅크들의 사용은, 샘플링 레이트 변환(501-3), 즉, 단편적인 샘플링 레이트 변환에 기인한 프로세싱에 기초하는 프레임을 위한 몇몇 구현 불이익과 함께, 다소 높은 연산 복잡도를 초래한다. 그러므로 이는 각각 서브밴드 프로세싱 유닛들(603-3 및 603-4)에 의해 유닛들(501-3 → 502-3 → 503-3 및 501-4 → 502-4 → 503-4)을 포함하는 2개의 전위 브랜치들을 교체하도록 제안된다. 반면, 브랜치(502-2 → 503-2)는 도 5와 비교하여 교체되지 않는다. 모든 3 차수들의 전위는 도 1에 대한 레퍼런스를 가지는 필터 뱅크에서 수행된다. 여기서,
Figure 112017093190576-pat00202
/
Figure 112017093190576-pat00203
= 1/2 및
Figure 112017093190576-pat00204
/
Figure 112017093190576-pat00205
는 2이다. 다른 말로, 단지 단일 분석 필터뱅크(502-2) 및 단일 합성 필터뱅크(405)가 사용되면, 그에 의해, 다중 전위기의 전체 연산 복잡도를 감소시킨다.
Figure 112017093190576-pat00206
= 3,
Figure 112017093190576-pat00207
= 1인 경우에, 수학식 (1) 내지 (3)에 의해 주어지는 서브밴드 프로세싱 유닛(603-3)을 위한 규격들은 서브밴드 프로세싱 유닛(603-3)이
Figure 112017093190576-pat00208
= 2의 서브밴드 스트레치 및
Figure 112017093190576-pat00209
= 3/2의 서브밴드 전위를 수행해야만 하고, 인덱스 m을 가지는 타겟 서브밴드들과 인덱스 n을 가지는 소스 서브밴드들 사이의 대응이 n = 2m/3에 의해 주어지는 것이다.
Figure 112017093190576-pat00210
= 4,
Figure 112017093190576-pat00211
= 1인 경우, 수학식 (1) 내지 (3)에 의해 주어지는 서브밴드 프로세싱 유닛(603-4)을 위한 규격은 서브밴드 프로세싱 유닛(603-4)이
Figure 112017093190576-pat00212
= 2의 서브밴드 전위 및
Figure 112017093190576-pat00213
= 2의 서브밴드 스트레치를 수행해야만 하고, 인덱스 m을 가지는 타겟 서브밴드와 인덱스 n을 가지는 소스 서브밴드들 사이의 대응이
Figure 112017093190576-pat00214
에 의해 주어지는 것이다.
수학식 (3)은 정수 값 인덱스 n을 인덱스 m을 가지는 타겟 서브밴드에 제공하는 것이 필요하지 않다는 것을 보인다. 특히, 이는 인덱스 m을 가지는 타겟 서브밴드들을 위해 이득이 될 수 있다. 이를 위해, 이러한 수학식 (3)은 인덱스 n을 위한 정수가 아닌 값을 제공한다. 다른 측면에 따라, 수학식 (3)이 인덱스 n의 정수 값을 제공하는, 인덱스 m을 가지는 타겟 서브밴드는 (수학식 (5)를 이용하여) 인덱스 n을 가지는 단일 소스 서브밴드로부터 결정될 수 있다. 다른 말로, 충분히 높은 품질의 고조파 전위는 서브밴드 프로세싱 유닛들(604-3 및 603-4)을 이용하는 것에 의해 성취될 수 있다. 이는 양자 모두 도 3의 콘텍스트에서 개요를 설명한 바와 같은 2개의 서브밴드 입력들을 처리하는 비선형 서브밴드 블록을 사용한다. 게다가, 제공될 때, 제어 신호(104)는 모든 3개의 서브밴드 프로세싱 유닛들의 동작에 동시에 영향을 줄 수 있다. 대안적으로 또는 추가하여, 3개의 유닛들(503-2, 603-3, 603-4)이 논제로 기하하적 크기 가중 파라미터
Figure 112017093190576-pat00215
> 0을 이용할 때, 다중 전위기의 임시 응답은
Figure 112017093190576-pat00216
= 0인 경우에 비교하여 향상될 수 있다.
도 7은 팩터 2의 타임 스트레치에 기반한 서브밴드 블록에 대한 예시적인 임시 응답을 도시한다. 상부의 패널은 입력 신호를 도시하며, 16 kHz에서 샘플링된 이는 캐스터넷(Castanet) 공격이다. 도 1의 구조에 기반한 시스템은 64 밴드 QMF 분석 필터뱅크(101) 및 64 밴드 QMF 합성 필터뱅크(103)로 디자인된다. 서브밴드 프로세싱 유닛(102)은 팩터 S = 2의 서브밴드 스트레치, 어떠한 서브밴드 전위{
Figure 112017093190576-pat00217
= 1) 없음, 그리고, 타겟 서브밴드들에 대한 소스의 직접 일대일 매핑을 구현하도록 구성된다. 분석 블록 스트라이드는 p = 1이고, 블록 크기 반지름은 R = 7이며, 그래서, 블록 길이는 15×64 = 960 신호 도메인(시간 도메인) 샘플들에 대응하는 L =15 서브밴드 샘플들이다. 윈도우 w는 예컨대, 코사인이 2제곱되는 올림형 코사인(raised cosine)이다. 도 7의 중간 패널은 순수 위상 수정이 서브밴드 프로세싱 유닛(102)에 의해 적용될 때, 타임 스트레칭의 출력 신호를 도시한다. 즉, 가중 파라미터
Figure 112017093190576-pat00218
= 0은 수학식 (5)에 따라 비선형 블록 프로세싱을 위해 사용된다. 하부의 패널은 기하학적 크기 가중 파라미터
Figure 112017093190576-pat00219
= 1/2가 수학식 (5)에 따른 비선형 블록 프로세싱을 위해 사용될 때, 타임 스트레칭의 출력 신호를 도시한다. 보인 바와 같이, 임시 응답은 후자의 경우에서 상당히 나아진다. 특히, 가중 파라미터
Figure 112017093190576-pat00220
= 0을 이용하는 서브밴드 프로세싱은 아티팩트(artifacts, 701)를 초래한다. 이 아티팩트(701)는 가중 파라미터
Figure 112017093190576-pat00221
= 1/2를 이용하는 서브밴드 프로세싱으로 상당히 감소된다(참조 번호 702 참조).
이 문헌에서, HFR에 기초한 고조파 전위 및/또는 타임 스트레칭을 위한 방법 및 시스템이 설명되었다. 본 발명의 방법 및 시스템은 정적인 그리고 임시 신호들 위한 고 품질 고조파 전위를 제공하여, 종래의 HFR에 기초한 고조파 전위(harmonic transposition)와 비교하여 연산 복잡도를 상당히 감소시키도록 구현될 수 있다. 설명된 HFR에 기초한 고조파 전위는 비선형 서브밴드 프로세싱에 기초한 블록을 사용한다. 신호 종속 제어 데이터의 사용이 예컨대, 임시 또는 비-임시 신호의 형식에 대한 비선형 서브밴드 프로세싱에 적용되도록 제안된다. 게다가, 비선형 서브밴드 프로세싱에 기초한 블록을 사용하는 고조파 전이의 임시 응답을 향상시키기 위하여, 기하학적 가중 파라미터의 사용이 제안된다. 마지막으로, HFR 기반의 고조파 전이를 위한 저 복잡도 방법 및 시스템이 설명된다. 이는 HFR 프로세싱 및 고조파 전이를 위한 단일 분석/합성 필터뱅크 쌍을 사용한다. 개괄된 방법들 및 시스템은 예컨대, 멀미티디어 수신기들, 비디오/오디오 셋탑 박스들, 모바일 장치들, 오디오 재생기들, 비디오 재생기들, 등의 다양한 디코딩 장치들에 채택될 수 있다.
본 발명의 문헌에 설명된 전위 및/또는 고 주파수 복원 및/또는 타임 스트레치를 위한 방법 및 시스템은 소프트웨어, 펌웨어 및/또는 하드웨어로 구현될 수 있다. 어떤 컴포넌트들은 예컨대, 디지털 신호 프로세서 또는 마이크로프로세서 상에 구현되는 소프트웨어로 구현될 수 있다. 다른 컴포넌트들은, 예컨대, 하드웨어 및/또는 ASIC(application specific integrated circuit)으로 구현될 수 있다. 설명된 방법 및 시스템에서 신호들에 접해지는 신호들은 RAM(random access memory) 또는 광학 스토리지 미디어와 같은 매체 상에 저장될 수 있다. 그들은 라디오 네트워크들, 위성 네트워크들, 무선 네트워크들, 또는 예컨대, 인터넷과 같은, 유선 네트워크들과 같은, 네트워크를 통해 전송될 수 있다. 본 문헌에 설명된 방법 및 시스템을 사용하는 전형적인 장치들은 오디오 신호들을 저장 및/또는 랜더링하는데에 사용되는, 휴대용 전자 장치들 또는 다른 소비 장치들이다. 또한, 본 발명의 방법 및 시스템은 예컨대, 다운로드를 위한 음악 신호들과 같은 오디오 신호들을 저장하고 제공하는, 컴퓨터 시스템, 예컨대, 인터넷 웹 서버 상에서 사용될 수 있다.
101: 분석 필터 뱅크 102: 서브밴드 프로세싱
103: 합성 필터뱅크 201: 블록 추출기
202: 비선형 프로세싱 203: 윈도우잉 유닛
204: 오버랩 및 추가 유닛 301-1: 블록 추출기
301-2: 블록 추출기 302: 비선형 프로세싱 유닛
401: 코어 디코더 402: 32 밴드 QMF
403: 다중 전위기 404: HFR 프로세싱
405: 64 밴드 IQMF 502-2: 64 밴드 QMF
502-3: 64 밴드 QMF 502-4: 64 밴드 QMF
503-2: 서브밴드 프로세싱 유닛 503-3 서브밴드 프로세싱 유닛
503-4 서브밴드 프로세싱 유닛 504: 결합 유닛
603-3: 서브밴드 프로세싱 유닛 603-3: 서브밴드 프로세싱 유닛

Claims (3)

  1. 분석 서브밴드 신호로부터 합성 서브밴드 신호를 결정하기 위해 구성되고; 상기 분석 서브밴드 신호는 상이한 시간에서 복수의 복소값의 분석 샘플들을 포함하고, 각각의 복수의 복소값 분석 샘플들은 위상과 크기를 가지고; 상기 분석 서브밴드 신호는 입력 오디오 신호의 주파수 대역과 관련되는 서브밴드 프로세싱 유닛(102)에 있어서, 상기 서브밴드 프로세싱 유닛(102)은
    - 상기 복수의 복소값 분석 샘플들로부터 L 개의 입력 샘플들의 프레임을 유도하며; 상기 L은 1 보다 크며; 그리고, L 개의 입력 샘플들의 다음 프레임을 유도하기 전, 상기 복수의 분석 샘플들에 대해 입력 블록 스트라이드(stride)를 적용하여; L 개의 입력 샘플들의 프레임들의 묶음(suite)을 생성하도록 구성되는, 블록 추출기(201)와,
    - 프레임의 프로세싱된 샘플들 각각에 대해, 대응하는 입력 샘플의 위상을 오프셋(offset)하는 것에 의해 프로세싱된 샘플의 위상과, 미리 결정된 입력 샘플의 크기 및 대응하는 입력 샘플의 크기에 기초하여 프로세싱된 샘플의 크기를 결정하는 것에 의해, 입력 샘플들의 프레임으로부터 프로세싱된 샘플들의 프레임을 결정하도록 구성되는 비선형 프레임 프로세싱 유닛(202)과,
    - 프로세싱된 샘플들의 프레임들의 묶음의 샘플들을 오버랩하고 추가하는 것에 의해 상기 합성 서브밴드 신호를 결정하도록 구성된 오버랩 및 추가 유닛(204)을 포함하고, 상기 합성 서브밴드 신호는 입력 오디오 신호에 대하여 스트레치된 타임 및/또는 전위된 주파수인 신호의 주파수 대역과 관련되며,
    - 상기 입력 블록 스트라이드는 하나의 샘플과 같은, 서브밴드 프로세싱 유닛(102).
  2. 입력 오디오 신호에 대하여 스트레치된 타임 및/또는 전위된 주파수인 신호의 주파수 대역과 관련되는 합성 서브밴드 신호를 생성하기 위한 방법에 있어서,
    - 상기 입력 오디오 신호의 주파수 대역과 관련되는 분석 서브밴드 신호를 제공하는 단계로서, 상기 분석 서브밴드 신호는 상이한 시간에서 복수의 복소값 분석 샘플들을 포함하고, 각각의 복소값 분석 샘플들은 위상과 크기를 가지는, 분석 서브밴드 신호를 제공하는 단계;
    - 상기 복수의 복소값 분석 샘플들로부터 L 개의 입력 샘플들의 프레임을 유도하는 단계로서, 상기 L은 1 보다 큰, 입력 샘플들의 프레임을 유도하는 단계;
    - L 개의 입력 샘플들의 다음 프레임을 유도하기 전, 상기 복수의 분석 샘플들에 대해 입력 블록 스트라이드(stride)를 적용하여, 입력 샘플들의 프레임들의 묶음(suite)을 생성하는 단계;
    - 프레임의 프로세싱된 샘플들 각각에 대해, 대응하는 입력 샘플의 위상을 오프셋(offset)하는 것에 의해 프로세싱된 샘플의 위상과, 미리 결정된 입력 샘플의 크기 및 대응하는 입력 샘플의 크기에 기초하여 프로세싱된 샘플의 크기를 결정하여, 입력 샘플들의 프레임으로부터 프로세싱된 샘플들의 프레임을 결정하는 단계;
    - 프로세싱된 샘플들의 프레임들의 묶음의 샘플들을 오버랩하고 추가하는 것에 의해 합성 서브밴드 신호를 결정하는 단계를 포함하고,
    - 상기 입력 블록 스트라이드는 하나의 샘플과 같은, 합성 서브밴드 신호를 생성하기 위한 방법.
  3. 컴퓨팅 장치 상에 수행될 때, 제2항의 방법 단계를 수행하기 위해 그리고, 프로세서 상에서 실행하도록 적용되는 소프트웨어 프로그램을 포함하는 저장 매체.
KR1020177027021A 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록 KR101858948B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US29624110P 2010-01-19 2010-01-19
US61/296,241 2010-01-19
US33154510P 2010-05-05 2010-05-05
US61/331,545 2010-05-05
PCT/EP2011/050114 WO2011089029A1 (en) 2010-01-19 2011-01-05 Improved subband block based harmonic transposition

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177013777A Division KR101783818B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187013166A Division KR101902863B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록

Publications (2)

Publication Number Publication Date
KR20170116166A KR20170116166A (ko) 2017-10-18
KR101858948B1 true KR101858948B1 (ko) 2018-05-18

Family

ID=43531026

Family Applications (14)

Application Number Title Priority Date Filing Date
KR1020197008506A KR102020334B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020187013166A KR101902863B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020207007483A KR102198688B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020187027030A KR101964179B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020227043442A KR102691176B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020247025508A KR20240121348A (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020137023416A KR101663578B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020217041623A KR102478321B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020127018729A KR101343795B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020177013777A KR101783818B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020177027021A KR101858948B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020207037531A KR102343135B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020167027183A KR101740912B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020197025724A KR102091677B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록

Family Applications Before (10)

Application Number Title Priority Date Filing Date
KR1020197008506A KR102020334B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020187013166A KR101902863B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020207007483A KR102198688B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020187027030A KR101964179B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020227043442A KR102691176B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020247025508A KR20240121348A (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020137023416A KR101663578B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020217041623A KR102478321B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020127018729A KR101343795B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020177013777A KR101783818B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020207037531A KR102343135B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020167027183A KR101740912B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록
KR1020197025724A KR102091677B1 (ko) 2010-01-19 2011-01-05 고조파 전위에 기초하여 개선된 서브밴드 블록

Country Status (17)

Country Link
US (10) US8898067B2 (ko)
EP (9) EP4120263B1 (ko)
JP (10) JP5329717B2 (ko)
KR (14) KR102020334B1 (ko)
CN (4) CN102741921B (ko)
AU (1) AU2011208899B2 (ko)
BR (6) BR122019025143B1 (ko)
CA (9) CA3107943C (ko)
CL (1) CL2012001990A1 (ko)
ES (6) ES2930203T3 (ko)
MX (1) MX2012007942A (ko)
MY (2) MY164396A (ko)
PL (6) PL4120263T3 (ko)
RU (3) RU2518682C2 (ko)
SG (3) SG10202101744YA (ko)
UA (1) UA102347C2 (ko)
WO (1) WO2011089029A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102020334B1 (ko) 2010-01-19 2019-09-10 돌비 인터네셔널 에이비 고조파 전위에 기초하여 개선된 서브밴드 블록
US8958510B1 (en) * 2010-06-10 2015-02-17 Fredric J. Harris Selectable bandwidth filter
CA3191597C (en) 2010-09-16 2024-01-02 Dolby International Ab Cross product enhanced subband block based harmonic transposition
EP2682941A1 (de) * 2012-07-02 2014-01-08 Technische Universität Ilmenau Vorrichtung, Verfahren und Computerprogramm für frei wählbare Frequenzverschiebungen in der Subband-Domäne
JP2014041240A (ja) * 2012-08-22 2014-03-06 Pioneer Electronic Corp タイムスケーリング方法、ピッチシフト方法、オーディオデータ処理装置およびプログラム
CN103971693B (zh) * 2013-01-29 2017-02-22 华为技术有限公司 高频带信号的预测方法、编/解码设备
RU2665281C2 (ru) * 2013-09-12 2018-08-28 Долби Интернэшнл Аб Временное согласование данных обработки на основе квадратурного зеркального фильтра
US9306606B2 (en) * 2014-06-10 2016-04-05 The Boeing Company Nonlinear filtering using polyphase filter banks
EP2963646A1 (en) * 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for decoding an audio signal, encoder and method for encoding an audio signal
WO2016180704A1 (en) 2015-05-08 2016-11-17 Dolby International Ab Dialog enhancement complemented with frequency transposition
RU2727968C2 (ru) * 2015-09-22 2020-07-28 Конинклейке Филипс Н.В. Обработка аудиосигнала
TWI807562B (zh) 2017-03-23 2023-07-01 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
WO2018201113A1 (en) * 2017-04-28 2018-11-01 Dts, Inc. Audio coder window and transform implementations
WO2019199701A1 (en) 2018-04-09 2019-10-17 Dolby Laboratories Licensing Corporation Hdr image representations using neural network mappings
IL313348A (en) * 2018-04-25 2024-08-01 Dolby Int Ab Combining high-frequency restoration techniques with reduced post-processing delay
IL278223B2 (en) * 2018-04-25 2023-12-01 Dolby Int Ab Combining high-frequency audio reconstruction techniques
CN114822572A (zh) * 2022-04-18 2022-07-29 西北工业大学 一种低信噪比下基于滤波器组的语音增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116245A (ja) 2007-11-09 2009-05-28 Yamaha Corp 音声強調装置
WO2010136459A1 (en) 2009-05-27 2010-12-02 Dolby International Ab Efficient combined harmonic transposition

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100261253B1 (ko) 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
RU2256293C2 (ru) 1997-06-10 2005-07-10 Коудинг Технолоджиз Аб Усовершенствование исходного кодирования с использованием дублирования спектральной полосы
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
JP3442974B2 (ja) 1997-07-30 2003-09-02 本田技研工業株式会社 吸収式冷凍機の精留装置
US6266003B1 (en) * 1998-08-28 2001-07-24 Sigma Audio Research Limited Method and apparatus for signal processing for time-scale and/or pitch modification of audio signals
AUPP829899A0 (en) * 1999-01-27 1999-02-18 Motorola Australia Pty Ltd Method and apparatus for time-warping a digitised waveform to have an approximately fixed period
SE0004818D0 (sv) 2000-12-22 2000-12-22 Coding Technologies Sweden Ab Enhancing source coding systems by adaptive transposition
JP3848181B2 (ja) * 2002-03-07 2006-11-22 キヤノン株式会社 音声合成装置及びその方法、プログラム
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
TWI288915B (en) * 2002-06-17 2007-10-21 Dolby Lab Licensing Corp Improved audio coding system using characteristics of a decoded signal to adapt synthesized spectral components
JP4227772B2 (ja) * 2002-07-19 2009-02-18 日本電気株式会社 オーディオ復号装置と復号方法およびプログラム
CA2399159A1 (en) * 2002-08-16 2004-02-16 Dspfactory Ltd. Convergence improvement for oversampled subband adaptive filters
EP1543307B1 (en) 2002-09-19 2006-02-22 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and method
RU2271578C2 (ru) * 2003-01-31 2006-03-10 Ооо "Центр Речевых Технологий" Способ распознавания речевых команд управления
US7318035B2 (en) 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
RU2374703C2 (ru) * 2003-10-30 2009-11-27 Конинклейке Филипс Электроникс Н.В. Кодирование или декодирование аудиосигнала
CA2454296A1 (en) * 2003-12-29 2005-06-29 Nokia Corporation Method and device for speech enhancement in the presence of background noise
US7272567B2 (en) * 2004-03-25 2007-09-18 Zoran Fejzo Scalable lossless audio codec and authoring tool
JP2006070768A (ja) 2004-09-01 2006-03-16 Honda Motor Co Ltd 蒸発燃料処理装置
JP4977471B2 (ja) 2004-11-05 2012-07-18 パナソニック株式会社 符号化装置及び符号化方法
US7472041B2 (en) 2005-08-26 2008-12-30 Step Communications Corporation Method and apparatus for accommodating device and/or signal mismatch in a sensor array
US7917561B2 (en) 2005-09-16 2011-03-29 Coding Technologies Ab Partially complex modulated filter bank
JP4760278B2 (ja) * 2005-10-04 2011-08-31 株式会社ケンウッド 補間装置、オーディオ再生装置、補間方法および補間プログラム
US20070083365A1 (en) * 2005-10-06 2007-04-12 Dts, Inc. Neural network classifier for separating audio sources from a monophonic audio signal
JP4693584B2 (ja) * 2005-10-18 2011-06-01 三洋電機株式会社 アクセス制御装置
TWI311856B (en) 2006-01-04 2009-07-01 Quanta Comp Inc Synthesis subband filtering method and apparatus
KR100754220B1 (ko) 2006-03-07 2007-09-03 삼성전자주식회사 Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
US8150065B2 (en) 2006-05-25 2012-04-03 Audience, Inc. System and method for processing an audio signal
WO2008039038A1 (en) * 2006-09-29 2008-04-03 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi-object audio signal with various channel
EP3288027B1 (en) * 2006-10-25 2021-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating complex-valued audio subband values
JP5141180B2 (ja) * 2006-11-09 2013-02-13 ソニー株式会社 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体
JP5103880B2 (ja) * 2006-11-24 2012-12-19 富士通株式会社 復号化装置および復号化方法
DE102008015702B4 (de) * 2008-01-31 2010-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
JP5010743B2 (ja) * 2008-07-11 2012-08-29 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン スペクトル傾斜で制御されたフレーミングを使用して帯域拡張データを計算するための装置及び方法
KR101239812B1 (ko) * 2008-07-11 2013-03-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 대역폭 확장 신호를 생성하기 위한 장치 및 방법
UA99878C2 (ru) 2009-01-16 2012-10-10 Долби Интернешнл Аб Гармоническое преобразование, усовершенствованное перекрестным произведением
EP2239732A1 (en) * 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
KR102020334B1 (ko) 2010-01-19 2019-09-10 돌비 인터네셔널 에이비 고조파 전위에 기초하여 개선된 서브밴드 블록
JP2013153596A (ja) * 2012-01-25 2013-08-08 Hitachi Ulsi Systems Co Ltd 充放電監視装置およびバッテリパック
CN105700923A (zh) 2016-01-08 2016-06-22 深圳市创想天空科技股份有限公司 安装应用程序的方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116245A (ja) 2007-11-09 2009-05-28 Yamaha Corp 音声強調装置
WO2010136459A1 (en) 2009-05-27 2010-12-02 Dolby International Ab Efficient combined harmonic transposition

Also Published As

Publication number Publication date
US20180075865A1 (en) 2018-03-15
RU2518682C2 (ru) 2014-06-10
US11935555B2 (en) 2024-03-19
CA3166284C (en) 2023-07-18
KR20170060174A (ko) 2017-05-31
CA3200142A1 (en) 2011-07-28
US20120278088A1 (en) 2012-11-01
US11646047B2 (en) 2023-05-09
CN102741921A (zh) 2012-10-17
JP2023011648A (ja) 2023-01-24
CA3107943C (en) 2022-09-06
US9431025B2 (en) 2016-08-30
KR20240121348A (ko) 2024-08-08
KR102478321B1 (ko) 2022-12-19
EP2526550B1 (en) 2019-05-22
EP4120263B1 (en) 2023-08-09
ES2930203T3 (es) 2022-12-07
JP7160968B2 (ja) 2022-10-25
EP4250290B1 (en) 2024-08-21
PL2526550T3 (pl) 2019-11-29
JP2013516652A (ja) 2013-05-13
CN104318929B (zh) 2017-05-31
CA3008914A1 (en) 2011-07-28
JP2016006526A (ja) 2016-01-14
JP7522331B1 (ja) 2024-07-24
JP2019035971A (ja) 2019-03-07
JP2020064323A (ja) 2020-04-23
EP3806096A1 (en) 2021-04-14
RU2665298C1 (ru) 2018-08-28
KR20120123338A (ko) 2012-11-08
EP4435778A3 (en) 2024-10-09
RU2014100648A (ru) 2015-07-20
KR101740912B1 (ko) 2017-05-29
SG10202101744YA (en) 2021-04-29
US9741362B2 (en) 2017-08-22
CA3074099A1 (en) 2011-07-28
KR102198688B1 (ko) 2021-01-05
BR122019025131B1 (pt) 2021-01-19
CN104318930A (zh) 2015-01-28
AU2011208899B2 (en) 2014-02-13
CA3166284A1 (en) 2011-07-28
US20240127845A1 (en) 2024-04-18
JP6644856B2 (ja) 2020-02-12
JP2024147649A (ja) 2024-10-16
ES2836756T3 (es) 2021-06-28
KR102691176B1 (ko) 2024-08-07
PL3564955T3 (pl) 2021-04-19
PL4120263T3 (pl) 2023-11-20
BR122019025134B1 (pt) 2021-01-26
KR20180053768A (ko) 2018-05-23
KR20190104457A (ko) 2019-09-09
EP4435778A2 (en) 2024-09-25
CN104318928B (zh) 2017-09-12
US20190019528A1 (en) 2019-01-17
CA3074099C (en) 2021-03-23
JP2021073535A (ja) 2021-05-13
PL4120264T3 (pl) 2023-11-20
KR20230003596A (ko) 2023-01-06
JP5329717B2 (ja) 2013-10-30
JP5792234B2 (ja) 2015-10-07
US20220366929A1 (en) 2022-11-17
ES2841924T3 (es) 2021-07-12
RU2012128847A (ru) 2014-01-20
CA3200142C (en) 2024-02-20
KR101663578B1 (ko) 2016-10-10
CL2012001990A1 (es) 2013-04-26
RU2018130366A3 (ko) 2022-03-17
BR112012017651B1 (pt) 2021-01-26
MX2012007942A (es) 2012-08-03
BR122020020536B1 (pt) 2021-04-27
JP7475410B2 (ja) 2024-04-26
US8898067B2 (en) 2014-11-25
KR20170116166A (ko) 2017-10-18
KR101343795B1 (ko) 2013-12-23
CA3038582C (en) 2020-04-14
KR20160119271A (ko) 2016-10-12
EP4120264B1 (en) 2023-08-09
SG10201408425QA (en) 2015-01-29
SG182269A1 (en) 2012-08-30
KR102343135B1 (ko) 2021-12-24
EP3564954B1 (en) 2020-11-11
US20150032461A1 (en) 2015-01-29
US10109296B2 (en) 2018-10-23
KR20210158403A (ko) 2021-12-30
AU2011208899A1 (en) 2012-06-14
BR122019025154B1 (pt) 2021-04-13
BR112012017651A2 (pt) 2016-04-19
US11341984B2 (en) 2022-05-24
RU2644527C2 (ru) 2018-02-12
BR122019025143B1 (pt) 2021-01-19
JP6834034B2 (ja) 2021-02-24
JP6189376B2 (ja) 2017-08-30
JP6426244B2 (ja) 2018-11-21
JP7551023B1 (ja) 2024-09-13
US9858945B2 (en) 2018-01-02
EP4435779A2 (en) 2024-09-25
UA102347C2 (ru) 2013-06-25
KR20210002123A (ko) 2021-01-06
PL3806096T3 (pl) 2023-05-08
US20230238017A1 (en) 2023-07-27
ES2955433T3 (es) 2023-12-01
ES2955432T3 (es) 2023-12-01
EP3564955B1 (en) 2020-11-25
CA3107943A1 (en) 2011-07-28
CA3008914C (en) 2019-05-14
CA2945730A1 (en) 2011-07-28
CN102741921B (zh) 2014-08-27
CA2784564A1 (en) 2011-07-28
CA3038582A1 (en) 2011-07-28
EP3564955A1 (en) 2019-11-06
EP3564954A1 (en) 2019-11-06
EP4120264A1 (en) 2023-01-18
PL3564954T3 (pl) 2021-04-06
KR20200030641A (ko) 2020-03-20
EP4435779A3 (en) 2024-10-09
EP4120263A1 (en) 2023-01-18
RU2018130366A (ru) 2020-02-21
KR20190034697A (ko) 2019-04-02
EP2526550A1 (en) 2012-11-28
CN104318928A (zh) 2015-01-28
EP3806096B1 (en) 2022-08-10
CA3225485A1 (en) 2011-07-28
WO2011089029A1 (en) 2011-07-28
KR101783818B1 (ko) 2017-10-10
KR102091677B1 (ko) 2020-03-20
KR20130114270A (ko) 2013-10-16
US20200388300A1 (en) 2020-12-10
CN104318930B (zh) 2017-09-01
KR101964179B1 (ko) 2019-04-01
JP2024103487A (ja) 2024-08-01
KR102020334B1 (ko) 2019-09-10
US10699728B2 (en) 2020-06-30
CA2784564C (en) 2016-11-29
KR20180105757A (ko) 2018-09-28
US20160343386A1 (en) 2016-11-24
MY197452A (en) 2023-06-19
CA2945730C (en) 2018-07-31
US20170309295A1 (en) 2017-10-26
JP2017215607A (ja) 2017-12-07
EP4250290A1 (en) 2023-09-27
ES2734179T3 (es) 2019-12-04
CN104318929A (zh) 2015-01-28
MY164396A (en) 2017-12-15
KR101902863B1 (ko) 2018-10-01
JP2014002393A (ja) 2014-01-09

Similar Documents

Publication Publication Date Title
KR101902863B1 (ko) 고조파 전위에 기초하여 개선된 서브밴드 블록
AU2022200874B2 (en) Improved Subband Block Based Harmonic Transposition
AU2019240701B2 (en) Improved Subband Block Based Harmonic Transposition

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right