KR20110128275A - 외적 향상 고조파 전치 - Google Patents

외적 향상 고조파 전치 Download PDF

Info

Publication number
KR20110128275A
KR20110128275A KR1020117018965A KR20117018965A KR20110128275A KR 20110128275 A KR20110128275 A KR 20110128275A KR 1020117018965 A KR1020117018965 A KR 1020117018965A KR 20117018965 A KR20117018965 A KR 20117018965A KR 20110128275 A KR20110128275 A KR 20110128275A
Authority
KR
South Korea
Prior art keywords
signal
subband
analysis
frequency
index
Prior art date
Application number
KR1020117018965A
Other languages
English (en)
Other versions
KR101256808B1 (ko
Inventor
랄스 빌레모에스
퍼 헤더린
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Publication of KR20110128275A publication Critical patent/KR20110128275A/ko
Application granted granted Critical
Publication of KR101256808B1 publication Critical patent/KR101256808B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Carbon And Carbon Compounds (AREA)
  • Fats And Perfumes (AREA)
  • Superconductors And Manufacturing Methods Therefor (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

본 발명은 고 주파 복원(HFR)을 위한 고조파 전치 방법을 이용하는 오디오 코딩 시스템들에 관한 것이다. 신호의 저주파 성분으로부터 신호의 고주파 성분을 발생시키기 위한 시스템 및 방법이 기술된다. 시스템은 신호의 저주파 성분의 복수의 분석 서브대역 신호들을 제공하는 분석 필터 뱅크를 포함한다. 상기 시스템은 또한 복수의 분석 서브대역 신호들의 제 1 및 제 2의 위상을 수정하고 위상-변조된 분석 서브대역 신호들을 결합함으로써 합성 주파수를 갖는 합성 서브대역 신호를 생성하기 위해 비선형 프로세싱 유닛을 포함한다. 최종적으로, 상기 시스템은 합성 서브대역 신호로부터 신호의 고주파 성분을 생성하기 위한 합성 필터 뱅크를 포함한다.

Description

외적 향상 고조파 전치{CROSS PRODUCT ENHANCED HARMONIC TRANSPOSITION}
본 발명은 고주파 복원(high frequency reconstruction)을 위한 고조파 전치 방법(harmopnic transposition method)을 이용하는 오디오 코딩 시스템들(audio coding systems)에 관한 것이다.
스펙트럼 대역 복제(spectral band replication: SBR) 기술과 같은 HFR 기술들은 종래의 지각 오디오 코덱(perceptual audio codec)들의 코딩 효율을 현저하게 개선하게 한다. MPEG-4 AAC(Advanced Audio Coding)와의 결합에서, 이는 매우 효율적인 오디오 코덱을 형성하므로, 이미 XM 위성 라디오 시스템(XM Satellite Radio system) 및 DRM(Digital Radio Mondiale) 내에서는 이미 사용 중에 있다. AAC 및 SBR의 결합은 accPlus로 칭해진다. 이는 MPEG-4 표준의 일부이며 고효율 AAC 프로파일(High Efficiency AAC Profile)로 칭해진다. 일반적으로, HFR 기술은 백 앤 포워드 호환 가능 방식으로 임의의 지각 오디오 코덱과 결합되어, Eureka DAB 시스템에서 이용되는 MPEG 계층-2과 같이 이미 설정된 브로드캐스팅 시스템들을 갱신할 가능성을 제공할 수 있다. HFR 전치 방법(HFR transposition method)들은 또한 음성 코덱들과 결합되어 초 저비트 레이트(ultra low bit rate)에서 광대역 음성을 허용한다.
HRF 이면의 기본 개념은 통상적으로 신호의 고주파 범위의 특성들 및 동일한 신호의 저주파 범위의 특성들 사이의 강한 상관이 존재한다는 관찰이다. 그러므로, 신호의 원래의 입력 고주파 범위를 나타내기 위한 양호한 근사화는 저주파 범위로부터 고주파 범위로의 신호 전치에 의해 달성될 수 있다.
이 전치의 개념은 오디오 신호의 하위 주파수 대역으로부터 고주파를 재생하는 방법으로서, WO 98/57436에 설정되었다. 비트 레이트의 실질적인 절약은 오디오 코딩 및/또는 음성 코딩에서 이 개념을 이용함으로써 달성될 수 있다. 다음, 오디오 코딩이 언급될 것이지만, 기술된 방법들 및 시스템들은 음성 코딩에 동일하게 적용 가능하고 통합된 음성 및 오디오 코딩(unified speech and audio coding: USAC)에서 적용 가능함이 이해되어야만 한다.
HFR 기반 오디오 코딩 시스템에서, 저 대역폭이 코어 파형 코더(core waveform coder)에 제공되고, 상위 주파수들은 저 대역폭 신호의 전치, 그리고 전형적으로 매우 낮은 비트-레이트들로 인코딩되고 타겟 스펙트럼 형상을 기술하는 추가의 부가 정보(side information)를 이용하여 디코더 측에서 재생된다. 저 비트 레이트들에 대해, 코어 코딩된 신호의 대역폭이 협소한 경우, 고 대역, 즉 오디오 신호의 고주파 범위를, 지각하여 제공되는 특성들을 구비하여 재생하는 것이 점차 중요해지고 있다. 고조파 구성 방법들의 두 변형들이 다음에 언급되는데, 하나는 고조파 전치(harmonic transposition)로 칭해지고 다른 하나는 단일 측파대(sideband) 변조로 칭해진다.
WO 98/57436에 규정된 고조파 전치의 원리는 주파수
Figure pct00001
를 갖는 정현파가 주파수 Tω를 갖는 정현파로 매핑(mapping)되는 것이며, 여기서 T > 1는 전치의 차수를 규정하는 정수이다. 고조파 전치의 매력적인 특징은 그것이 소스 주파수 범위를 전치의 차수와 동일한 팩터(factor)만큼, 즉 T와 동일한 팩터만큼, 타겟 주파수 범위로 확장시킨다는 점이다. 고조파 전치는 복잡한 음악 자료에 대하여 양호하게 수행된다. 더욱이, 고조파 전치는 저 크로스 오버(cross over) 주파수들을 나타내고, 즉, 크로스 오버 주파수를 넘는 큰 고주파 범위가 크로스 오버 주파수 이하의 상대적으로 작은 저주파 범위로부터 생성될 수 있다.
고조파 전치와는 대조적으로, 단일 측대역 변조(single sideband modulation: SSB) 기반 HFR은 주파수
Figure pct00002
를 갖는 정현파를 주파수
Figure pct00003
를 갖는 정현파로 매핑(mapping)하며, 여기서
Figure pct00004
는 고정 주파수 시프트(shift)이다. 코어 신호가 저 대역폭으로 제공되면, SSB 전치로부터 부조화되는 링잉 아티펙트(dissonant ringing artifact)가 발생할 수 있음이 관찰되었다. 저 크로스-오버 주파수, 즉 작은 소스 주파수 범위의 경우, 고조파 전치는 원하는 타겟 주파수 범위를 채우기 위해 SSB 기반 전치보다 더 작은 수의 패치(patch)들을 요구할 것임이 또한 주목되어야 한다. 예를 들어,
Figure pct00005
의 고주파 범위가 채워져야 하면, 전치의 차수 T = 4를 이용하여 고조파 전치는
Figure pct00006
의 저주파 범위로부터 이 주파수 범위를 채울 수 있다. 한편, 동일한 저주파 범위를 이용하는 SSB 기반 전치는
Figure pct00007
의 주파수 시프트를 이용해야만 한고 고주파 범위
Figure pct00008
를 채우기 위해 프로세스를 4회 반복하는 것이 필요하다.
한편, WO 02/052545 A1에 이미 지적된 바와 같이, 고조파 전치는 현저한 주기성 구조를 갖는 신호들의 경우 결점들을 갖는다. 그러한 신호들은 주파수들(
Figure pct00009
)을 갖는 고조파 관련 정현파들의 중첩들이고, 여기서
Figure pct00010
는 기본 주파수이다.
차수 T의 고조파 전치에 대해서, 출력 정현파들은 주파수들(
Figure pct00011
)을 갖고, 이는 T > 1인 경우, 단지 원하는 완전 조화 급수의 완전 서브세트이다. 그 결과에 따른 오디오 품질 측면에서, 전치되는 기본 주파수(TΩ)에 대응하는 "고스트(ghost)" 피치(pitch)가 전형적으로 지각될 것이다. 흔히 고조파 전치로 인하여, 인코딩되고 디코딩되는 오디오 신호의 "금속" 사운드 특성이 발생한다. 이 상황은 전치의 여러 차수들(T = 2,3,...,Tmax)을 HFR에 추가함으로써 어느 정도까지 경감될 수 있지만, 상기 방법은 대부분의 스펙트럼 갭들이 방지되어야 할 경우 계산에 있어서 복잡하다.
WO 02/052545 A1에서는 고조파 전치를 이용할 때 "고스트" 피치들의 등장을 방지하기 위한 대안의 해법이 제공되었다. 상기 해법은 2개의 유형들의 전치, 즉 전형적인 고조파 전치 및 특수한 "펄스 전치(pulse transposition)"를 이용하는데 있다. 기술되어 있는 방법은 검출되는 오디오 신호의 부분들이 펄스 트레인(pulse train)과 유사한 특성으로 주기화되도록 전용 "펄스 전치"로 스위칭하는 것을 교시한다. 이 방식에 있어서의 문제점은, 복잡한 음악 자료에 "펄스 전치"가 적용되면 종종 고분해능 필터 뱅크(filter bank)에 기초하여 고조파 전치에 비해 품질이 저하된다는 점이다. 그러므로, 검출 메커니즘들은 펄스 전치가 복잡한 자료에 이용되지 않도록 오히려 조심스럽게 튜닝되어야만 한다. 근본적으로, 단일 피치 인스트루먼트(pitch instrument)들 및 보이스들은 때때로 복소 신호들로 분류될 수 있고, 이로 인해 고조파 전치를 인보킹(invoking)함으로써 고조파들을 상실한다. 더욱이, 단일 피치 신호, 또는 더 약한 복소 배경에서 우세한 피치를 갖는 신호의 중간에 스위칭이 발생하면, 매우 상이한 스펙트럼 충전 속성들을 갖는 두 전치 방법들 사이에서의 스위칭 자체가 가청 아티팩트들을 발생시킬 것이다.
본 발명은 주기 신호의 고조파 전치로부터 발생하는 조화 급수를 완료하기 위한 방법 및 시스템을 제공한다. 주파수 도메인 전치는 비선형으로 수정된 서브대역 신호들을 분석 필터 뱅크로부터 합성 필터 뱅크의 선택된 서브대역들로 매핑하는 단계를 포함한다. 비선형 수정은 위상 수정 또는 복소 필터 뱅크 도메인에서 진폭 조정이 뒤따르는 멱 법칙(power law)에 의해 획득될 수 있는 위상 회전을 포함한다. 종래 기술의 전치는 임의의 시간에서 하나의 분석 서브대역을 개별적으로 수정하는데 반해, 본 발명은 적어도 두 상이한 분석 서브대역들의 비선형 결합을 각각의 합성 서브대역에 대해 추가하는 것을 교시한다. 결합될 분석 서브대역들 사이의 간격(spacing)은 전치될 신호의 지배적인 성분의 기본 주파수와 관련될 수 있다.
가장 일반적인 형태에서, 본 발명의 수학적인 기술은 주파수 성분들(
Figure pct00012
)의 세트가 새로운 주파수 성분
Figure pct00013
를 생성하는데 이용되고, 여기서 계수들 T1, T2, ..., Tk는 합이 통 전치 차수
Figure pct00014
인 정수의 전치 차수들이다. 이 효과는 팩터들(T1, T2, ..., Tk)에 의해 K개의 적절하게 선택된 서브대역 신호들의 위상들을 수정하고 이 결과를 수정된 위상들의 합과 동일한 위상을 갖는 신호와 재결합함으로써 달성된다. 모든 위상 연산들은 개별 전치 차수들이 정수들이고, 총 전치 차수가 T≥1을 만족하는 한 이 정수들 중 일부가 심지어 음수일 수 있으므로 양호하게 규정되고 명백하다.
종래 기술의 방법들은 K = 1의 경우에 대응하고, 본 발명은 K ≥ 2를 이용하는 것이 교시한다. 설명의 본문에서 가장 특정한 문제들을 즉시 해결하는 것이 충분하기 때문에 주로 K = 2, T ≥ 2의 경우를 취급한다. 그러나, K > 2인 경우들이 마찬가지로 개시될 수 있고 본 명세서에 의해 커버되는 것이 주목되어야 한다.
본 발명은 더 큰 수의 하위 주파수 대역 분석 채널들, 즉 더 큰 수의 분석 서브대역 신호들로부터의 정보를 이용하여, 비선형으로 수정되는 서브대역 신호들을 분석 필터 뱅크로부터 합성 필터 뱅크의 선택된 서브-대역들로 매핑한다. 이 전치는 어떤 시간에서 단지 하나의 서브-대역을 개별적으로 수정하지 않고, 상기 전치는 적어도 두 상이한 분석 서브대역들의 비선형 결합을 각각의 합성 서브-대역에 대하여 추가한다. 상술한 바와 같이, 차수 T의 고조파 전치는 주파수 의 정현파가 주파수
Figure pct00016
를 갖는 정현파로 매핑되도록 설계되고, 여기서 T > 1이다. 본 발명에 따르면,
Figure pct00017
및 인덱스 0 < r < T에 의한 소위 피치 파라미터 향상은 주파수들(ω, ω + Ω)을 갖는 한 쌍의 정현파들을 주파수
Figure pct00018
를 갖는 정현파로 매핑하도록 설계된다. 이러한 외적 전치들에 대해 Ω의 주기를 갖는 주기 신호의 모든 부분 주파수들은 1 내지 T-1의 범위의 인덱스 r을 갖는 피치 파라미터(
Figure pct00019
)의 모든 외적들을 차수 T의 고조파 전치에 추가함으로써 생성될 것이라는 것이 인식되어야 한다.
본 발명의 양태에 따르면, 신호의 저주파 성분으로부터 신호의 고주파 성분을 생성하기 위한 시스템 및 방법이 기술된다. 시스템의 상황에서 다음에 기술되는 특징들은 마찬가지로 본 발명의 방법에 적용 가능하다는 것이 주목되어야 한다. 신호는 예를 들어 오디오 및/또는 음성 신호일 수 있다. 시스템 및 방법은 통합된 음성 및 오디오 신호 코딩에 이용될 수 있다. 신호는 저주파 성분 및 고주파 성분을 포함하고, 여기서 저주파 성분은 특정 크로스-오버 주파수 아래의 주파스들을 포함하고 고주파 성분은 상기 크로스-오버 주파수 위의 주파수들을 포함한다. 특정 환경들에서, 신호의 저주파 성분들로부터 신호의 고주파 성분을 추정하는 것이 요구될 수 있다. 예를 들어, 특정 오디오 인코딩 방식들은 단지 오디오 신호의 저주파 성분을 인코딩하고 가능하면 원래의 고주파 성분의 엔벌로프(evelope)에 대한 특정 정보를 이용하므로써, 단지 디코딩된 저주파 성분으로부터 상기 신호의 고주파 성분을 복원하는 것을 목적으로 한다. 본원에 기술되는 시스템 및 방법은 그와 같은 인코딩 및 디코딩 시스템들의 상황에서 이용될 수 있다.
고주파 성분을 생성하기 위한 시스템은 신호의 저주파 성분의 복수의 분석 서브대역 신호들을 제공하는 분석 필터 뱅크를 포함한다. 그와 같은 분석 필터 뱅크들은 일정한 대역폭을 갖는 대역통과 필터들의 세트를 포함할 수 있다. 특히 음성 신호들의 상황에서, 대수적인 대역폭 분포(logarithmic bandwidth distribution)를 갖는 대역통과 필터들의 세트를 이용하는 것이 또한 유리할 수 있다. 이는 신호의 저주파 성분을 자체의 주파수 구성성분들로 분리하는 것이 분석 필터 뱅크의 목적이다. 이 주파수 구성 성분들은 분석 필터 뱅크에 의해 생성되는 복수의 분석 서브대역 신호들에 반영될 것이다. 예를 들어, 악기(musical instrument)에 의해 재생되는 음(note)을 포함하는 신호는 재생되는 음의 고조파 주파수에 대응하는 서브대역들에 대하여 상당한 크기를 갖는 분석 서브대역 신호들로 분리될 것이고, 반면에 다른 서브대역들은 작은 크기를 갖는 분석 서브대역 신호들을 나타낼 것이다.
상기 시스템은 추가의 비선형 프로세싱 유닛을 포함하여, 복수의 분석 서브대역 신호들의 제 1 및 제 2의 위상을 수정하거나 회전시킴으로써 그리고 위상-수정된 분석 서브대역 신호들을 결합함으로써 특정한 합성 주파수를 갖는 합성 서브대역 신호를 생성한다. 제 1 및 제 2 분석 서브대역 신호들은 통상적으로 상이하다. 즉, 이들은 상이한 서브대역들에 대응한다. 비선형 프로세싱 유닛은 합성 서브대역 신호가 생성되는 소위 교차 항(cross term) 프로세싱을 포함할 수 있다. 합성 서브대역 신호는 합성 주파수를 포함한다. 일반적으로, 합성 주파수는 이 주파수 범위 내의 주파수, 예를 들어, 주파수 범위의 중심 주파수(center frequency)이다. 합성 주파수 및 또한 합성 주파수 범위는 전형적으로 크로스-오버 주파수 위에 있다. 유사한 방식으로 분석 서브대역 신호들은 특정 분석 주파수 범위로부터의 주파수들을 포함한다. 이 분석 주파수 범위들은 전형적으로 크로스-오버 주파수 아래에 있다.
위상 수정의 연산은 분석 서브대역 신호들의 주파수들을 전치하는데 있다. 전형적으로, 분석 필터 뱅크는 크기 및 위상을 포함하는 복소 지수들로 표현될 수 있는 복소 분석 서브대역 신호들을 산출한다. 복소 서브대역 신호의 위상은 서브대역 신호의 주파수에 대응한다. 그와 같은 서브대역 신호들의 특정한 전치 차수(T')에 의한 전치는 서브대역 신호를 전치 차수(T')의 거듭제곱으로 취함으로써 수행될 수 있다. 이 결과로서 복소 서브대역 신호의 위상이 전치 차수(T')만큼 승산된다. 결과적으로, 전치된 분석 서브대역 신호는 초기 위상 또는 주파수보다 T'배 큰 주파수 또는 위상을 나타낸다. 그와 같은 위상 수정 연산은 또한 위상 회전 또는 위상 승산으로 칭해질 수 있다.
게다가, 상기 시스템은 합성 서브대역 신호로부터 신호의 고주파 성분을 생성하기 위한 합성 필터 뱅크를 포함한다. 즉, 합성 필터 뱅크의 목적은 가능하면 복수의 합성 주파수 범위들로부터 복수의 합성 서브대역 신호들을 가능하게는 통합하고, 시간 도메인에서 신호의 고주파 성분을 생성하는 것이다. 기본 주파수, 예를 들어 기본 주파수(Ω)를 포함하는 신호들의 경우, 합성 필터 뱅크 및/또는 분석 필터 뱅크가 신호의 기본 주파수와 연계되는 주파수 간격을 나타내는 것이 유익할 수 있음이 주목되어야 한다. 특히, 기본 주파수(Ω)를 분해하기 위해 충분히 낮은 주파수 간격 또는 충분히 높은 분해능을 갖는 필터 뱅크들을 선택하는 것이 유익할 수 있다.
본 발명의 다른 양태에 따르면, 비선형 프로세싱 유닛 또는 비선형 프로세싱 유닛 내의 교차 항 프로세싱 유닛은 제 1 및 제 2 분석 주파수를 각각 나타내는 제 1 및 제 2 분석 서브대역 신호로부터 합성 서브대역 신호를 생성하는 제 1 및 제 2 전치 차수의 다중-입력-단일-출력 유닛을 포함한다. 즉, 다중-입력-단일-출력 유닛은 제 1 및 제 2 분석 서브대역 신호들의 전치를 실행하고 2개의 전치된 분석 서브대역 신호들을 합성 서브대역 신호로 통합한다. 제 1 분석 서브대역 신호는 위상-수정되거나, 그의 위상은 제 1 전치 차수에 의해 승산되고 제 2 분석 서브대역 신호는 위상-수정되거나, 그의 위상이 제 2 전치 차수에 의해 승산된다. 복소 분석 서브대역 신호들의 경우 그와 같은 위상 수정 연산은 각각의 전치 차수에 의한 각각의 분석 서브대역 신호의 위상을 승산하는 것이다. 두 전치된 분석 서브대역 신호들은 제 1 전치 차수에 의해 승산된 제 1 분석 주파수에 제 2 전치 차수에 의해 승산된 제 2 분석 주파수를 추가한 것에 대응하는 합성 주파수를 갖는 결합된 합성 서브대역 신호를 산출하기 위해 결합된다. 이 결합 단계는 두 전치된 복소 분석 서브대역 신호들의 승산에 있을 수 있다. 그와 같은 두 신호들의 승산은 두 신호들의 샘플들의 승산에 있을 수 있다.
상술한 특징들은 또한 식들로 표현될 수 있다. 제 1 분석 주파수를 ω라 하고 제 2 분석 주파수를 (ω + Ω)라 하자. 이 변수들은 또한 두 분석 서브대역 신호들의 각각의 분석 주파수 범위들을 나타낼 수 있다는 것이 주목되어야 한다. 즉, 주파수는 특정 주파수 범위 내에 포함되는 모든 주파수들을 나타내는 것으로 이해되어야 하고, 즉, 제 1 및 제 2 분석 주파수가 또한 제 1 및 제 2 분석 주파수 범위 또는 제 1 및 제 2 분석 서브대역으로 이해되어야 한다. 더욱이, 제 1 전치 차수는 (T-r)일 수 있고 제 2 전치 차수는 r일 수 있다. T > 1 및 1 ≤r≤T가 되도록 전치 차수들을 제한하는 것이 유리할 수 있다. 그와 같은 경우들에 대해, 다중-입력-단일-출력 유닛은 (T-r)·ω + r·(ω + Ω)의 합성 주파수를 갖는 합성 서브대역 신호들을 산출할 수 있다.
본 발명의 추가적인 양태에 따르면, 상기 시스템은 합성 주파수를 갖는 복수의 부분 합성 서브대역 신호들을 생성하는 복수의 비선형 프로세싱 유닛들 및/또는 복수의 다중-입력-단일-출력 유닛들을 포함한다. 즉, 동일한 합성 주파수 범위를 커버하는 복수의 부분 합성 서브대역 신호들이 생성될 수 있다. 그와 같은 경우들에서, 서브대역 합산 유닛은 복수의 부분 합성 서브대역 신호들을 결합하기 위해 제공된다. 이후 결합된 부분 합성 서브대역 신호들은 합성 서브대역 신호를 나타낸다. 결합 연산은 복수의 부분 합성 서브대역 신호들의 가산하는 것을 포함할 수 있다. 이는 또한 복수의 부분 합성 서브대역 신호들로부터 평균 합성 서브대역 신호의 결정을 포함할 수 있고, 여기서 합성 서브대역 신호들은 합성 서브대역 신호에 대한 자체의 관련성에 따라 가중될 수 있다. 결합 연산은 또한, 예를 들어 미리 결정된 임계 값을 초과하는 크기를 갖는 복수의 서브대역 신호들 중 하나 또는 일부를 선택하는 것을 포함할 수 있다. 이는 합성 서브대역 신호가 이득 파라미터에 의해 승산되는 것이 유익할 수 있음이 주목되어야 한다. 특히 복수의 부분 합성 서브대역 신호들이 존재하는 경우들에, 그와 같은 이득 파라미터들은 합성 서브대역 신호들의 정규화에 기여할 수 있다.
본 발명의 추가적인 양태에 따르면, 비선형 프로세싱 유닛은 제 3의 복수의 분석 서브대역 신호들로부터 추가의 합성 서브대역 신호를 생성하기 위한 직접 프로세싱 유닛을 또한 포함한다. 그와 같은 직접 프로세싱 유닛은 예를 들어 WO 98/57436에 기술된 직접 전치 방법들을 실행할 수 있다. 상기 시스템이 추가 직접 프로세싱 유닛을 포함하면, 대응하는 합성 서브대역 신호들을 결합하기 위하여 서브대역 합산 유닛을 제공하는 것이 필요할 수 있다. 그와 같은 대응하는 합성 서브대역 신호들은 전형적으로 동일한 합성 주파수 범위를 커버하고/하거나 동일한 합성 주파수를 나타내는 서브대역 신호들이다. 서브대역 합산 유닛은 상기 개설된 양태들에 따라 결합을 수행할 수 있다. 예를 들어 합성 서브대역 신호에 기여하는 교차 항들로부터의 하나 이상의 분석 서브대역 신호들의 크기의 최소값이 상기 신호의 크기의 미리 규정된 프랙션(fraction)보다 작은 경우, 이는 또한, 특히 다중-입력-단일-출력 유닛들에서 한차례 생성되는 특정 합성 서브대역 신호들을 무시할 수 있다. 상기 신호는 상기 신호의 저 주파수 성분 또는 특정 분석 서브대역 신호일 수 있다. 이 신호는 또한 특정한 합성 서브대역 신호일 수 있다. 즉, 합성 서브대역 신호를 생성하는데 이용되는 분석 서브대역 신호들의 에너지 또는 크기가 아주 작으면, 이 합성 서브대역 신호는 신호의 고주파 성분을 생성하는데 이용될 수 없다. 상기 에너지 또는 진폭은 각각의 샘플에 대해 결정될 수 있거나 또는 이는 예를 들어 분석 서브대역 신호들의, 복수의 인접 샘플들에 걸친 시간 평균 또는 슬라이딩 윈도(sliding window) 평균을 결정함으로써, 샘플들의 세트에 대해 결정될 수 있다.
직접 프로세싱 유닛은, 제 3 분석 주파수를 나타내는 제 3 분석 서브대역 신호로부터 합성 서브대역 신호를 생성하는, 제 3 전치 차수(T')의 단일-입력-단일-출력 유닛을 포함할 수 있고, 여기서 제 3 분석 서브대역 신호는 위상-수정되거나, 이의 위상은 제 3 전치 차수(T')에 의해 승산되고, 여기서 T'는 1보다 더 크다. 그리고나서 합성 주파수는 제 3 전치 차수에 의해 승산되는 제 3 분석 주파수에 대응한다. 이 제 3 전치 차수(T')는 바람직하게도 아래 도입되는 시스템 전치 차수(T)와 동일하다는 것이 주목되어야 한다.
본 발명의 다른 양태에 따르면, 분석 필터 뱅크는 △ω의 필수적인 일정한 서브대역 간격에서 N개의 분석 서브대역들을 갖는다. 상술한 바와 같이, 이 서브대역 간격
Figure pct00020
는 신호의 기본 주파수와 연관될 수 있다. 분석 서브대역은 분석 서브대역 인덱스 n과 연관되고, 여기서 n∈{1,...,N}이다. 즉, 분석 필터 뱅크의 분석 서브대역들은 서브대역 인덱스(n)에 의해 식별될 수 있다. 유사한 방식으로, 대응하는 분석 서브대역의 주파수 범위로부터의 주파수들을 포함하는 분석 서브대역 신호들은 서브대역 인덱스(n)로 식별할 수 있다.
합성 측에서, 합성 필터 뱅크는 합성 서브대역 인덱스(n)와 또한 연관되는 합성 서브대역을 갖는다. 이 합성 서브대역 인덱스(n)는 또한 서브대역 인덱스(n)를 갖는 합성 서브대역의 합성 주파수 범위로부터의 주파수들을 포함하는 합성 서브대역 신호를 식별한다. 상기 시스템이 총 전치 차수(T)로 또한 칭해지는 시스템 전치 차수를 가지면, 합성 서브대역들은 전형적으로,
Figure pct00021
의 필수적으로 일정한 서브대역 간격을 갖는, 즉, 합성 서브대역들의 서브대역 간격이 합성 서브대역들의 서브대역 간격보다 T배 더 크다. 그러한 경우들에서, 인덱스(n)를 갖는 분석 서브대역 및 합성 서브대역은 각각 팩터 또는 시스템 전치 차수(T)를 통해 서로 관련되는 주파수 범위들을 포함한다. 예를 들어, 인덱스(n)를 갖는 분석 서브대역의 주파수 범위는
Figure pct00022
이라면, 인덱스(n)를 갖는 합성 서브대역의 주파수 범위는
Figure pct00023
이다.
합성 서브대역 신호가 인덱스(n)을 갖는 합성 서브대역과 연관되면, 본 발명의 다른 양태는 인덱스(n)를 갖는 이러한 합성 서브대역 신호가 제 1 및 제 2 분석 서브대역 신호로부터 다중-입력-단일-출력 유닛에서 생성되는 것이다. 제 1 분석 서브대역 신호는 인덱스(n-p1)를 갖는 분석 서브대역과 연관되고, 제 2 분석 서브대역 신호는 인덱스(n+p2)를 갖는 분석 서브대역과 연관된다.
다음에, 한 쌍의 인덱스 시프트들(p1, p2)을 선택하기 위한 여러 방법들이 개설된다. 이는 소위 인덱스 선택 유닛에 의해 수행될 수 있다. 전형적으로, 인덱스 시프트(index shift)들의 최적의 쌍은 미리 규정된 합성 주파수를 갖는 합성 서브대역 신호를 생성하기 위해서 선택된다. 제 1 방법에서, 인덱스 시프트들(p1 및 p2)은 인덱스 저장 유닛에 저장되는 쌍들(p1, p2)의 제한된 목록으로부터 선택된다. 이 제한된 인덱스 시프트 쌍들의 목록으로부터, 쌍(p1, p2)은 제 1 분석 서브대역 신호의 크기 및 제 2 분석 서브대역 신호의 크기를 포함하는 세트의 최소 값이 최대화되도록 선택될 수 있다. 즉, 인덱스 시프트들(p1 및 p2)의 각각의 가능한 쌍의 경우, 대응하는 분석 서브대역 신호들의 크기가 결정될 수 있다. 복소 분석 서브대역 신호들의 경우, 진폭은 절대 값에 대응한다. 진폭은 각각의 샘플에 대해 결정될 수 있거나 예를 들어 분석 서브대역 신호의, 복수의 인접 샘플들에 걸친 시간 평균 또는 슬라이딩 윈도 평균을 결정함으로써, 샘플들의 세트에 대해 결정될 수 있다. 이는 제 1 및 제 2 분석 서브대역 신호에 대한 제 1 및 제 2 크기를 각각 산출한다. 제 1 및 제 2 크기의 최소값이 고려되고 이 최소 크기값이 가장 높도록 인덱스 시프트 쌍(p1, p2)이 선택된다.
다른 방법에서, 인덱스 시프트들(p1 및 p2)은 제한된 목록의 쌍들(p1, p2)로부터 선택되고, 여기서 제한된 목록은 수식
Figure pct00024
및
Figure pct00025
을 통해 결정된다. 이 공식에서 l은 예를 들어 1부터 10까지의 값들에서 취하는 양의 정수이다. 이 방법은 제 1 분석 서브대역(n-p1)을 전치하는데 이용되는 제 1 전치 차수가 (T-r)이고 제 2 분석 서브대역(n+p2)을 전치하는 데 이용되는 제 2 전치 차수가 (r)인 상황들에서 특히 유용하다. 상기 시스템 전치 차수(T)가 고정되는 것을 가정하면, 파라미터들(l 및 r)은 제 1 분석 서브대역 신호의 크기 및 제 2 분석 서브대역 신호의 크기를 포함하는 세트의 최소 값이 최대화되도록 선택될 수 있다. 즉, 파라미터들(l 및 r)은 상술한 바와 같이 최대-최소 최적화 방식에 의해 선택될 수 있다.
추가 방법에서, 제 1 및 제 2 분석 서브대역 신호들의 선택은 하위 신호의 특성들에 기초할 수 있다. 특히, 상기 신호가 기본 주파수(
Figure pct00026
)를 포함하는 경우, 즉, 신호가 펄스-트레인과 유사한 특성으로 주기화되는 경우, 그와 같은 신호 특성의 고려하여 인덱스 시프트들(p1 및 p2)을 선택하는 것이 유익할 수 있다. 기본 주파수(
Figure pct00027
)는 신호의 저주파 성분으로부터 결정될 수 있거나 이는 저 및 고주파 성분 이 둘 모두를 포함하는 원래의 신호로부터 결정될 수 있다. 제 1 경우에서, 기본 부파수(
Figure pct00028
)는 신호 디코더에서 고주파 복원을 이용하여 결정될 수 있고, 반면에 제 2 경우에서 기본 주파수(
Figure pct00029
)는 전형적으로 신호 인코더에서 결정되고나서 대응하는 신호 디코더에 시그널링될 것이다.
Figure pct00030
의 서브대역 간격을 갖는 분석 필터 뱅크가 이용되면, 그리고 제 1 분석 서브대역(n-p1)을 전치하는데 이용되는 제 1 전치 차수가 (T-r)이면, 그리고 제 2 분석 서브대역(n+p2)을 전치하는데 이용되는 제 2 전치 차수가 r이면, p1 및 p2는 그들의 합(p1 + p2)이 프랙션(Ω/△ω)에 근접하고 그들의 프랙션(p1/p2)이 r/(T-r)에 근접하도록 선택될 수 있다. 특정한 경우에, p1 및 p2는 프랙션(p1/p2)이 r/(T-r)과 동일하도록 선택된다.
본 발명의 다른 양태에 따르면, 신호의 고주파 성분을 생성하기 위한 시스템은 또한, 미리 규정된 시점(time instance)(k) 부근에서 저주파 성분의 미리 규정된 시간 간격을 분리하는 분석 윈도를 포함한다. 상기 시스템은 또한 미리 규정된 시점(k) 부근에서 고주파 성분의 미리 규정된 시간 간격을 분리하는 합성 윈도를 포함할 수 있다. 그와 같은 윈도들은 시간에 따라 변하고 있는 주파수 구성성분들을 갖는 신호들에 특히 유용하다. 이들은 신호의 순간 주파수 성분을 분석하는 것을 가능하게 한다. 필터 뱅크들과 공동으로 그와 같은 시간-의존 주파수 분석에 대한 전형적인 예는 STFT(Short Time Fourier Transform)이다. 종종 분석 윈도가 합성 윈도의 시간-확산 번전임이 주목되어야 한다. 시스템 차수 전치(T)를 갖는 시스템의 경우, 시간 도메인에서의 분석 윈도는 시간 도메인에서 확산 팩터(T)를 갖는 합성 윈도의 시간 확산 버전일 수 있다.
본 발명의 추가 양태에 따르면, 신호를 디코딩하기 위한 시스템이 기술된다. 상기 시스템은 신호의 저주파 성분의 인코딩된 버전을 취하고 신호의 저주파 성분으로부터 신호의 고주파 성분을 생성하기 위해 상술한 시스템에 따른 전치 유닛을 포함한다. 전형적으로 그와 같은 디코딩 시스템들은 신호의 저주파 성분을 디코딩하기 위한 코어 디코더를 추가로 포함한다. 디코딩 시스템은 업샘플링(upsampling)되는 저주파 성분을 산출하기 위해 저주파 성분의 업샘플링을 수행하기 위한 업샘플러(upsampler)를 추가로 포함할 수 있다. 이는 신호의 저주파 성분이 인코더에서 다운샘플링(downsampling)되는 경우, 저주파 성분이 원래의 신호에 비해 감소된 주파수 범위만을 커버하는 사실을 이용할 것이 요구될 수 있다. 게다가, 디코딩 시스템은 저주파 성분을 포함하는 인코딩된 신호를 수신하기 위한 입력 유닛, 및 저주파 및 생성된 고주파 성분을 포함하는 디코딩된 신호를 제공하기 위한 출력 유닛을 포함할 수 있다.
디코딩 시스템은 고주파 성분을 형상화하기 위한 엔벌로프 조절기(envelope adjuster)를 추가로 포함할 수 있다. 신호의 고주파들은 본 명세서에서 기술되는 고주파 복원 시스템들 및 방법들을 이용하여 신호의 저주파 범위로부터 재생될 수 있을지라도, 상기 원래의 신호로부터 원래의 신호의 고주파 성분의 스펙트럼 엔벌로프에 대한 정보를 추출하는 것이 유용할 수 있다. 그리고나서 이 엔벌로프 정보는 원래의 신호의 고주파 성분의 스펙트럼 엔벌로프에 충분히 근사하는 고주파 성분을 생성하기 위해, 디코더에 제공될 수 있다. 이 연산은 전형적으로 디코딩 시스템에 있는 엔벌로프 조절기에서 수행된다. 신호의 고주파 성분의 엔벌로프에 관한 정보를 수신하기 위해, 디코딩 시스템은 엔벌로프 데이터 수신 유닛을 포함할 수 있다. 그리고나서 재생된 고주파 성분 및 디코딩되고 가능하면 업샘플링된 저주파 성분은 디코딩된 신호를 결정하기 위해 성분 합산 유닛에서 합산될 수 있다.
상술한 바와 같이, 고주파 성분을 생성하기 위한 시스템은 특정한 합성 서브대역 신호를 생성하기 위하여 전치되고 결합되어야 할 분석 서브대역 신호들에 대한 정보를 이용할 수 있다. 이 목적을 위해, 디코딩 시스템은 합성 서브대역 신호가 성생되어야 할 제 1 및 제 2 분석 서브대역 신호들의 선택을 가능하게 하는 정보를 수신하기 위한 서브대역 선택 데이터 수신 유닛을 추가로 포함할 수 있다. 이 정보는 인코딩된 신호의 특정 특성들과 관련될 수 있고, 예를 들어 상기 정보는 신호의 기본 주파수(Ω)와 연관될 수 있다. 상기 정보는 또한 선택되어야 할 분석 서브대역들과 직접적으로 관련될 수 있다. 예를 들어, 상기 정보는 제 1 및 제 2 분석 서브대역 신호들의 가능한 쌍들의 목록 또는 가능한 인덱스 시프트들의 쌍들(p1, p2)의 목록을 포함할 수 있다.
본 발명의 다른 양태에 따르면 인코딩된 신호가 기술된다. 이 인코딩된 신호는 디코딩된 신호의 저주파 성분과 관련되는 정보를 포함하고, 여기서 저주파 성분은 복수의 분석 서브대역 신호들을 포함한다. 더욱이, 인코딩되는 신호는 선택되는 두 분석 서브대역 신호들을 전치함으로써 디코딩된 신호의 고주파 성분을 생성하는데 복수의 분석 서브대역 신호들 중 어떤 두 신호들이 선택되는지에 관한 정보를 포함한다. 즉, 인코딩된 신호는 가능하면 신호의 저주파 성분의 인코딩된 버전을 포함한다. 게다가, 이는 신호의 기본 주파수(Ω), 또는 가능한 인덱스 시프트 쌍들(p1, p2)의 목록과 같은 정보를 제공하고, 이는 디코더로 하여금 본 명세서에서 개설되는 외적 향상 고조파 전치 방법에 기초하여 신호의 고주파 성분을 재생할 것이다.
본 발명의 추가 양태에 따르면, 신호를 인코딩하기 위한 시스템이 기술된다. 이 인코딩 시스템은 신호를 저주파 성분 및 고주파 성분으로 분리하기 위한 분리 유닛, 및 저주파 성분을 인코딩하기 위한 코어 인코더를 포함한다. 이는 또한 신호의 기본 주파수(
Figure pct00031
)를 결정하기 위한 주파수 결정 유닛 및 기본 주파수(
Figure pct00032
)를 인코딩하기 위한 파라미터 인코더를 포함하고, 여기서 기본 주파수(
Figure pct00033
)는 신호의 고주파 성분을 재생하기 위해 디코더에서 이용된다. 상기 시스템은 또한 고주파 성분의 스펙트럼 엔벌로프를 결정하기 위한 엔벌로프 결정 유닛 및 스펙트럼 엔벌로프를 인코딩하기 위한 엔벌로프 인코더를 포함할 수 있다. 즉, 인코딩 시스템은 원래의 신호의 고주파 성분을 제거하고 코어 인코더, 예를 들어 AAC 또는 돌비 D 인코더에 의해 저주파 성분을 인코딩한다. 더욱이, 인코딩 시스템은 원래의 신호의 고주파 성분을 분석하고 디코더에서 디코딩된 신호의 고주파 성분을 재생하는데 이용되는 정보의 세트를 결정한다. 정보의 세트는 신호의 기본 주파수(
Figure pct00034
) 및/또는 고주파 성분의 스펙트럼 엔벌로프를 포함할 수 있다.
인코딩 시스템은 또한 신호의 저주파 성분의 복수의 분석 서브대역 신호들을 제공하는 분석 필터 뱅크를 포함할 수 있다. 더욱이, 상기 인코딩 시스템은 신호의 고주파 성분을 생성하기 위하여 제 1 및 제 2 서브대역 신호를 결정하기 위한 서브대역 쌍 결정 유닛 및 결정된 제 1 및 제 2 서브대역 신호를 나타내는 지수들을 인코딩하기 위한 인덱스 인코더를 포함할 수 있다. 즉, 인코딩 시스템은 고주파 서브대역들 및 궁극적으로 신호의 고주파 성분이 생성될 수 있는 분석 서브대역들을 결정하기 위해 본 명세서에 기술되는 고주파 복원 방법 및/또는 시스템을 이용할 수 있다. 그 후에 이 서브대역들에 대한 정보, 예를 들어 인덱스 시프트 쌍들(p1, p2)의 제한된 목록이 인코딩되고 디코더에 제공될 수 있다.
상기에서 강조되는 바와 같이, 본 발명은 신호의 고주파 성분을 생성하기 위한 방법들뿐만 아니라 신호들을 인코딩하고 디코딩하기 위한 방법들을 또한 포함한다. 시스템들의 상황에서 상술되는 특징들은 대응하는 방법들에 마찬가지로 적용 가능하다. 다음에 본 발명에 따른 방법들의 선택된 양태들이 개설된다. 유사한 방식으로 이 양태들은 또한 본 명세서에서 개설되는 시스템들에 또한 적용 가능하다.
본 발명의 다른 양태에 따르면, 신호의 저주파 성분으로부터 고주파 성분의 고주파 복원을 수행하기 위한 방법이 기술된다. 이 방법은 제 1 주파수 대역으로부터의 저주파 성분의 제 1 서브대역 신호 및 제 2 주파수 대역으로부터의 저주파 성분의 제 2 서브대역 신호를 제공하는 단계를 포함한다. 즉, 두 서브대역 신호들은 신호의 저주파 성분과 분리되고, 제 1 서브대역 신호는 제 1 주파수 대역을 포함하고 제 2 서브대역 신호는 제 2 주파수 대역을 포함한다. 두 주파수 서브대역들은 바람직하게는 상이하다. 추가 단계에서, 제 1 및 제 2 서브대역 신호들은 제 1 및 제 2 전치 팩터에 의해 각각 전치된다. 각각의 서브대역 신호의 전치는 신호들을 전치하기 위해 공지된 방법들에 따라 수행될 수 있다. 복잡합 서브대역 신호들의 경우, 전치는 위상을 수정함으로써, 또는 위상을 각각의 전치 팩터 또는 전치 차수로 승산함으로써 수행될 수 있다. 추가 단계에서, 전치되는 제 1 및 제 2 서브대역 신호들은 고주파 대역으로부터의 주파수들을 포함하는 고주파 성분을 산출하도록 결합된다.
전치는 제 1 전치 팩터에 의해 승산되는 제 1 주파수 대역 및 제 2 전치 팩터에 의해 승산되는 제 2 주파수 대역의 합에 대응하도록 수행될 수 있다. 더욱이, 전치 단계는 제 1 서브대역 신호의 제 1 주파수 대역을 제 1 전치 팩터로 승산하는 단계 및 제 2 서브대역 신호의 제 2 주파수 대역을 제 2 전치 팩터로 승산하는 단계를 포함할 수 있다. 설명을 간소화하기 위해 그리고 이의 범위를 제한하지 않도록, 본 발명은 개별 주파수들의 전치에 대해 설명된다. 그러나, 전치는 개별 주파수들에 대해서뿐만 아니라, 전체 주파수 대역들에 대해, 즉 주파수 대역 내에 포함되는 복수의 주파수들에 대해서 수행되는 것이 주목되어야 한다. 사실상, 주파수들의 전치 및 주파수 대역들의 전치는 본 명세서에서 상호 교환 가능한 것으로 이해되어야 한다. 그러나, 분석 및 합성 필터뱅크들의 상이한 주파수 분해능들을 인지해야 한다.
상술한 방법에서, 제공 단계는 제 1 및 제 2 서브대역 신호를 생성하기 위해 분석 필터 뱅크에 의한 저주파 성분의 필터링을 포함할 수 있다. 한편, 결합 단계는 고주파 성분을 생성하기 위해 제 1 및 제 2 전치 서브대역 신호들을 승산하여 고 서브대역 신호를 산출하는 단계 및 고 서브대역 신호를 합성 필터 뱅크에 입력하는 단계를 포함할수 있다. 주파수 표시로의 그리고 주파수 표시로부터의 다른 신호 변환들이 또한 가능하고 본 발명의 범위 내에 있다. 그와 같은 신호 변환들은 푸리에 변환들(FFT, DCT), 웨이브렛 변환(wavelet transform)들, 구적 미러 필터(quadrature mirror filter: QMF) 등을 포함한다. 더욱이, 이 변환들은 또한 "변환되어야 할" 신호의 감소된 시간 간격을 분리하기 위해 윈도 함수들을 포함한다. 가능한 윈도 함수들은 가우시안 윈도들, 코사인 윈도들, Hamming 윈도들, Hann 윈도들, 직각 윈도들, Barlett 윈도들, Blackman 윈도들 등을 포함한다. 본 명세서에서 용어 "필더 뱅크"는 가능하면 임의의 그러한 윈도 함수들로 결합되는 임의의 그와 같은 변환들을 포함할 수 있다.
본 발명의 다른 양태에 따르면, 인코딩된 신호를 디코딩하기 위한 방법이 기술된다. 인코딩된 신호는 원래의 신호로부터 도출되고 크로스-오버 주파수 아래의 원래의 신호의 주파수 서브대역들의 일부만을 표시한다. 상기 방법은 인코딩된 신호의 제 1 및 제 2 주파수 서브대역을 제공하는 단계들을 포함한다. 이는 분석 필터 뱅크를 이용함으로써 행해질 수 있다. 그리고나서 주파수 서브대역들은 제 1 전치 팩터 및 제 2 전치 팩터에 의해 각각 전치된다. 이는 제 1 전치 팩터로 제 1 주파수 서브대역에서의 신호의 위상 승산, 또는 위상 수정을 수행함으로써, 및 제 2 전치 팩터로 제 2 주파수 서브대역에서의 신호의 위상 승산, 또는 위상 수정을 수행함으로써 행해질 수 있다. 최종적으로, 고주파 서브대역은 제 1 및 제 2 전치 서브대역들로부터 생성되고, 여기서 고주파 서브대역은 크로스-오버 주파수(cross-over frequency) 위에 있다. 이 고주파 서브대역은 제 1 전치 팩터만큼 승산되는 제 1 주파수 서브대역 및 제 2 전치 팩터만큼 승산되는 제 2 주파수 서브대역의 합에 대응할 수 있다.
본 발명의 다른 양태에 따르면, 신호를 인코딩하기 위한 방법이 기술된다. 이 방법은 신호의 저주파를 분리하기 위해 신호를 필터링하는 단계 및 신호의 저주파 성분을 인코딩하는 단계를 포함한다. 더욱이, 신호의 저주파 성분의 복수의 분석 서브대역 신호들이 제공된다. 이는 본 명세서에서 기술되는바와 같이 분석 필터 뱅크를 이용하여 행해진다. 그리고나서 신호의 고주파 성분을 생성하기 위한 제 1 및 제 2 서브대역 신호가 결정된다. 이는 본 명세서에서 개설되는 고주파 복원 방법들 및 시스템들을 이용하여 행해질 수 있다. 최종적으로, 결정된 제 1 및 제 2 서브대역 신호를 표시하는 정보가 인코딩된다. 그와 같은 정보는 원래의 신호의 특성들, 예를 들어 신호의 기본 주파수(Ω), 또는 선택되는 분석 서브대역들과 관련된 정보, 예를 들어 인덱스 시프트 쌍들(p1, p2)일 수 있다.
본 발명의 상술한 실시예들 및 양태들은 임의로 결합될 수 있음이 주목되어야 한다. 특히, 시스템에 대하여 개설된 양태들은 또한 본 발명에 의해 포함되는 대응하는 방법에 또한 적용 가능하다는 것이 주목되어야 한다. 더욱이, 본 발명의 명세서는 종속 청구항들에서 역 언급에 의해 명시적으로 제공되는 청구항 결합들과는 다른 청구항 결합들을 또한 커버하는, 즉, 청구항들 및 이들의 기술 특징들이 임의의 순서 또는 임의의 형태로 결합될 수 있음이 주목되어야 한다.
상술한 바와 같이, 본 발명에 의해 향상된 고조파 전치 방법 및 시스템이 제공된다.
도 1은 HFR 향상 오디오 디코더의 연산을 도시하는 도면.
도 2는 여러 차수들을 이용하는 고조파 전치기(transposer)의 연산을 도시하는 도면.
도 3은 주파수 도메인(FD) 고조파 전치기의 연산을 도시하는 도면.
도 4는 본 발명의 교차 항 프로세싱의 이용의 연산을 도시하는 도면.
도 5는 종래 기술의 직접 프로세싱을 도시하는 도면.
도 6은 단일 서브-대역의 종래 기술의 직접 비선형 프로세싱을 도시하는 도면.
도 7는 본 발명의 교차 항 프로세싱의 성분들을 도시하는 도면.
도 8은 교차 항 프로세싱 블록의 연산을 도시하는 도면.
도 9는 도 8의 MISO 시스템들의 각각에 포함되는 본 발명의 비선형 프로세싱을 도시하는 도면.
도 10 내지 도 18은 예시적인 주기 신호들의 고조파 전치에 대한 본 발명의 효과를 도시하는 도면.
도 19는 단 시간 푸리에 변환(STFT)의 시간-주파수 분해능을 도시하는 도면.
도 20은 합성 측에서 이용되는 윈도 함수 및 그의 푸리에 변환의 예시적인 시간 수열을 도시하는 도면.
도 21은 정현 입력 신호의 STFT를 도시하는 도면.
도 22는 분석 측에서 이용되는 도 20에 따른 윈도 함수 및 그의 푸리에 변환을 도시하는 도면.
도 23 및 도 24는 합성 필터 뱅크 서브대역의 교차 항 향상을 위한 적절한 분석 필터 뱅크 서브대역들의 결정을 도시하는 도면들.
도 25, 도 26 및 도 27은 기술된 직접-항 및 교차-항 고조파 전치 방법의 실험 결과들을 도시하는 도면들.
도 28 및 도 29는 본 명세서에서 개설되는 향상된 고조파 전치 방식들을 이용하여, 인코더 및 디코더의 실시예들을 각각 도시하는 도면들.
도 30은 도 28 및 도 29에서 도시되는 전치 유닛의 실시예를 도시하는 도면.
본 발명은 이제 본 발명의 범위를 제한하지 않는, 도시된 예들에 의해 설명될 것이다. 이는 첨부 도면들을 참조하여 설명될 것이다.
후술되는 실시예들은 단지 소위 외적 향상 고조파 전치를 위한 본 발명의 원리들에 대한 설명이다. 본원에서 기술되는 장치들 및 세부사항들의 수정들 및 변형들은 당업자에게 명확할 것임이 이해된다. 그러므로 이후의 특허 청구항들의 범위에 의해서만 제한되고 본원에서의 실시예들의 기술 및 설명에 의해 제공되는 특정한 세부사항들에 의해서 제한되지 않도록 의도된다.
도 1은 HFR 향상 오디오 디코더의 연산을 도시한다. 코어 오디오 디코더(101)는 원하는 풀 샘플링 레이트(full sampling frequency)로 최종 오디오 출력 기여분(contribution)을 발생시키기 위해 요구될 수 있는 업샘플러(104)에 공급되는 저 대역폭 오디오 신호를 출력한다. 그와 같은 업샘플링은 대역 제한 코어 오디오 코덱이 외부 오디오 샘플링 레이트의 절반으로 동작하고 있는 이중 레이트 시스템들에 필요한 반면에, HFR 부분은 풀 샘플링 주파수에서 프로세싱된다. 결과적으로, 단일 레이트 시스템의 경우, 이 업샘플러(104)는 생략될 수 있다. (101)의 저 대역폭 출력은 또한 전치된 신호, 즉 원하는 고주파 범위를 포함하는 신호를 출력하는 전치기(transposer) 또는 전치 유닛(102)으로 송신된다. 전치된 신호는 엔벌로프 조절기(103)에 의해 시간 및 주파수 측면에서 형상화될 수 있다. 최종 오디오 출력은 저 대역폭 코어 신호 및 엔벌로프가 조절된 전치된 신호의 합이다.
도 2는 고조파 전치기(201)의 연산을 도시하고, 이는 상이한 전치 차수(T)의 여러 전치기들(102)을 포함하는, 도 1의 전치기(102)에 대응한다. 전치될 신호는 각각 전치(T = 2,3,...,Tmax)의 차수들을 갖는 개별 전치기들(201-2, 201-3,...,201-Tmax)의 뱅크로 통과된다. 전형적으로, 전치 차수(Tmax = 3)는 대부분의 오디오 코딩 애플리케이션들에 충분하다. 상이한 전치기들(201-2, 201-3,...,201-Tmax)의 기여분(contribution)들은 202에서 합산되어 결합된 전치기 출력을 산출한다. 제 1 실시예에서, 합산 연산은 개별 기여분들의 합산을 포함할 수 있다. 다른 실시예에서, 기여분들은 상이한 가중치들로 가중되어, 다수의 기여분들을 특정 주파수들에 추가하는 효과가 감소하게 된다. 예를 들어, 제 3 차수 기여분들은 제 2 차수 기여분들보다 더 작은 이득으로 추가될 수 있다. 최종적으로, 합산 유닛(202)은 출력 주파수에 따라 선택적으로 기여분들을 추가할 수 있다. 예를 들어, 제 2 차수 전치는 제 1의 더 낮은 타겟 주파수 범위에 이용될 수 있고, 제 3 차수 전치는 제 2의 더 높은 타겟 주파수 범위에 이용될 수 있다.
도 3은 (201)의 개별 블록들 중 하나, 즉 전치 차수(T)의 전치기들(201-T) 중 하나와 같이, 주파수 도메인(FD) 고조파 전치기의 연산을 도시한다. 분석 필터 뱅크(301)는 선택된 전치 차수(T)에 따라 서브대역 신호의 위상 및/또는 진폭을 수정하는, 비선형 프로세싱(302)에 제출되는 복소 서브대역들을 출력한다. 수정된 서브대역들은 전치된 시간 도메인 신호를 출력하는 합성 필터뱅크(303)에 제공된다. 도 2에 도시되는 바와 같은 상이한 전치 차수들의 다수의 병렬 전치기들의 경우, 일부 필터 뱅크 연산들은 상이한 전치기들(201-2, 201-3, ...,201-Tmax) 사이에서 공유될 수 있다. 필터 뱅크 연산들의 공유는 분석 또는 합성을 위해 행해질 수 있다. 공유된 합성(303)의 경우, 합산(202)은 서브대역 도메인에서, 즉 합성(303) 이전에 수행될 수 있다.
도 4는 직접 프로세싱(401) 외의 교차 항 프로세싱(402)의 연산을 도시한다. 교차 항 프로세싱(402) 및 직접 프로세싱(401)은 도 3의 주파수 도메인 고조파 전치기의 비선형 프로세싱 블록(302) 내에서 동시에 수행된다. 전치된 출력 신호들은결합 전치된 신호를 제공하기 위해 결합, 예를 들어 가산된다. 전치된 출력 신호들의 이 결합은 전치된 출력 신호들의 중첩으로 구성될 수 있다. 선택적으로, 교차 항들의 선택 추가는 이득 계산에서 구현될 수 있다.
도 5는 도 3의 주파수 도메인 고조파 전치기 내에 도 4의 직접 프로세싱 블록(401)의 연산을 더욱 상세하게 도시한다. 단일-입력-단일-출력(SISO) 유닛들(401-1, 401-2,...,401-n,...,401-N)은 소스 범위로부터의 각각의 분석 서브대역을 타겟 범위 내의 하나의 합성 서브대역으로 매핑한다. 도 5에 따르면, 인덱스(n)의 분석 서브대역은 SISO 유닛(401-n)에 의해 동일한 인덱스(n)의 합성 서브대역으로 매핑된다. 합성 필터 뱅크 내에서 인덱스(n)를 갖는 서브대역의 주파수 범위는 고조파 전치의 정확한 버전 또는 유형에 따라 변할 수 있음이 주목되어야 한다. 도 5에 도시된 버전 또는 유형에서, 분석 뱅크(301)의 주파수 간격은 합성 뱅크(303)의 팩터보다 작은 팩터(T)이다. 그러므로, 합성 뱅크(303)에서의 인덱스(n)는 분석 뱅크(301) 내에서 동일한 인덱스(n)를 갖는 서브대역의 주파수보다 T배 더 높은 주파수에 대응한다. 예를 들어, 분석 서브대역
Figure pct00035
은 합성 서브대역
Figure pct00036
로 전치된다.
도 6은 401-n의 SISO 유닛들의 각각에 포함되는 단일 서브대역의 직접 비선형 프로세싱을 도시한다. 블록(601)의 비선형성은 전치 차수(T)와 동일한 팩터에 의한 복소 서브대역 신호의 위상의 승산을 수행한다. 선택적인 이득 유닛(602)은 위상 수정 서브대역 신호의 크기를 수정한다. 수학 항들에서, SISO 유닛(401-n)의 출력(y)은 SISO 시스템(401-n)으로의 입력(x) 및 이득 파라미터(g)의 함수로 다음과 같이 기재될 수 있다:
Figure pct00037
이는 또한:
Figure pct00038
으로 기재될 수 있다.
말로 하면, 복소 서브대역 신호(x)의 위상은 전치 차수(T)에 의해 승산되고 복소 서브대역 신호(x)의 진폭은 이득 파라미터(g)에 의해 수정된다.
도 7은 차수(T)의 고조파 전치에 대한 교차 항 프로세싱(402)의 구성요소들을 도시한다. 병렬로 T-1의 교차 항 프로세싱 블록들(701-1,...,702-r,... 701(T-1))이 있고, 이들의 출력은 결합된 출력을 산출하기 위해 합산 유닛(702)에서 합산된다. 도입부에서 이미 지적된 바와 같이, 주파수들(ω, ω+Ω)을 갖는 한 쌍의 정현파들을 주파수
Figure pct00039
를 갖는 정현파로 매핑하는 것이 타겟이고, 여기서 변수 r은 1부터 T-1까지 변한다. 즉, 분석 필터 뱅크(301)로부터의 두 서브대역들은 고주파 범위의 하나의 서브대역으로 매핑되는 것이다. r의 특정한 값 및 제공된 전치 차수(T)에 대해, 이 매핑 단계는 교차 항 프로세싱 블록(701-r)에서 수행된다.
도 8은 고정 값(r = 1,2,...,T-1)에 대한 교차 항 프로세싱 블록(701-r)의 연산을 도시한다. 각각의 출력 서브대역(803)은 다중-입력-단일-출력(MISO) 유닛(800-n)에서 두 입력 서브대역들(801 및 802)로부터 획득된다. 인덱스(n)의 출력 서브대역(803)에 대하여, MISO 유닛(800-n)의 두 입력들은 서브대역들(n - p1)(801), 및 (n + p2)(802)이고, 여기서 p1 및 p2는 양의 정수 인덱스 시프트들이고, 이 시프트들은 전치 차수(T), 변수(r), 및 외적 향상 피치 파라미터(Ω)에 좌우된다. 분석 및 합성 서브대역에 번호를 매기는 관습이 도 5에 따라 유지, 즉, 분석 뱅크(301)의 주파수에서의 간격은 합성 뱅크(303)의 팩터보다 작은 팩터(T)이고 결과적으로 팩터(T)의 변동들에 제공되는 상기 코멘트들은 관련되어 유지된다.
교차 항 프로세싱의 이용과 관련하여, 다음에 언급되는 것들이 고려되어야만 한다. 피치 파라미터(Ω)는 높은 정확성으로 공지되지 않아도 되고 특히 분석 필터 뱅크(301)에 의해 획득되는 주파수 분해능보다 더 양호한 주파수 분해능으로 공지되지 않아도 된다. 실제로, 본 발명의 일부 실시예들에서, 기초적인 외적 향상 피치 파라미터(Ω)는 디코더에 전혀 입력되지 않는다. 대신에, 정수 인덱스 시프트들(p1, p2)의 선택된 쌍은 외적 출력 크기의 최대화, 즉 외적 출력의 에너지의 최대화와 같은 최적화 기준을 따름으로써 가능한 후보들의 목록으로부터 선택된다. 예를 들어, 제공된 T 및 r의 값들의 경우, 식
Figure pct00040
(여기서 L은 양의 정수들의 목록이다)에 의해 제공되는 후보들의 목록이 이용될 수 있다. 이는 아래 식 (11)의 상황에서 더 자세하게 도시된다. 모든 양의 정수들은 원칙적으로 후보들로서 괜찮다. 일부 경우들에서, 피치 정보는 적절한 인덱스 시프트들로서 어떤 l을 선택할지를 식별하는데 도움을 줄 수 있다.
더욱이, 적용되는 인덱스 시프트들(p1, p2)이 출력 서브대역들의 특정한 범위에 대해 동일한, 예를 들어, 합성 서브대역들(n-1), n 및 (n+1)이 고정된 거리(p1 + p2)를 갖는 분석 서브대역들로부터 구성되는 것을 도 8에 도시된 예시적인 외적 프로세싱이 제안할지라도, 이는 반드시 그러한 경우일 필요는 없다. 실제로, 인덱스 시프트들(p1, p2)은 각각 그리고 모든 출력 서브대역에 대해 상이할 수 있다. 이는 각각의 서브대역(n)에 대하여 외적 향상 피치 파라미터의 상이한 값(Ω)이 선택될 수 있음을 의미한다.
도 9는 MISO 유닛들(800-n)의 각각에 포함되는 비선형 프로세싱을 도시한다. 곱 연산(product operation)(901)은 두 복소 입력 서브대역 신호들의 위상들의 가중된 합과 같은 위상 및 두 입력 서브대역 샘플들의 크기들의 일반화된 평균값과 동일한 크기를 갖는 서브대역 신호를 생성한다. 선택적인 이득 유닛(902)은 위상 수정된 서브대역 샘플들의 크기를 수정한다. 수학 항들로서, 출력(y)은 다음과 같이 MISO 유닛(800-n)으로의 입력들(u1)(801) 및 (u2)(802) 그리고 이득 파라미터(g)의 함수로 기재될 수 있다,
이는 또한:
Figure pct00042
로 기재될 수 있고,
여기서
Figure pct00043
는 크기 생성 함수이다. 말로 하면, 복소 서브대역 신호(u1)의 위상은 전치 차수(T - r)에 의해 승산되고 복소 서브대역 신호(u2)의 위상은 전치 차수(r)에 의해 승산된다. 이 두 위상들의 합은 크기가 크기 생성 함수에 의해서 획득되는 출력(y)의 위상으로서 이용된다. 식 (2)와 비교하면, 진폭 생성 함수는 이득 파라미터(g)에 의해 수정되는 크기들의 기하학적 평균으로 표현되고, 즉
Figure pct00044
으로 표현된다. 이득 파라미터가 입력들에 좌우되도록 함으로써, 이는 물론 모든 가능성들을 커버한다.
식 (2)은 주파수들(ω, ω+Ω)을 갖는 한 쌍의 정현파들이 또한
Figure pct00045
로 기록될 수 있는 주파수(Tω + rΩ)를 갖는 정현파로 매핑되는 기본적인 타겟으로부터 발생하는 것이 주목되어야 한다.
다음의 텍스트에서, 본 발명의 수학적 설명이 개설될 것이다. 간소화를 위해, 연속 시간 신호들이 고려된다. 합성 필터 뱅크(303)는, 실수 형태(real valued) 대칭 윈도 함수 즉 프로토타입 필터(prototype filter)(w(t))를 갖는 대응하는 복소 변조 분석 필터 뱅크(301)로부터 완전한 복구를 달성하는 것으로 가정된다. 합성 필터 뱅크는 항상은 아니지만, 흔히, 합성 프로세스에서 동일한 윈도를 이용할 것이다. 변조는 우수로 적층되는 유형이 되도록 취해지고, 스트라이드(stride)는 1로 정규화되고 합성 서브대역들의 각 주파수 간격(angular frequency spacing)은 π로 정규화된다. 그러므로, 타겟 신호(s(t))는 합성 필터 뱅크로의 입력 서브대역 신호들이 합성 서브대역 신호들(yn(k))에 의해 제공되는 경우 합성 필터 뱅크의 출력에서 달성될 것이다,
Figure pct00046
상기 식 (3)은 STFT으로 또한 표시되는, DFT(Discrete Fourier Transform)와 같이, 복소 변조 서브대역 분석 필터 뱅크에서 통상의 연산들의 정규화된 연속 시간 수학적 모델임을 주의하라. 식 (3)의 복소 지수의 인수(augment)에 있어서의 미세한 수정의 경우, 복소 변조(의사pseudo)) QMF(quadrature mirror filterbank) 및 또한 윈도형으로 기수로 적층되는 윈도형 DFT로 표시되는, 복소화된 수정 이산 코사인 변환(complexified Modified Discrete Cosine Transform(CMDCT)에 대한 연속 시간 모델들을 획득한다. 서브대역 인덱스(n)는 연속 시간 경우에 대해 모든 음이 아닌 정수들을 관통한다. 이산 시간 대응부에 대해, 시 변수(t)는 단계 1/N에서 샘플링되고, 서브대역 인덱스(n)는 N에 의해 제한되고, 여기서 N은 필터 뱅크에서의 서브대역들의 수이며, 이는 필터 뱅크의 이산 시간 스트라이드와 같다. 이산 시간 경우에서, 윈도의 스케일링(scaling)에 통합되지 않는 경우, 변환 연산에서 N과 관련되는 정규화 팩터가 또한 요구된다.
실수 형태 신호의 경우, 선택되는 필터 뱅크 모델에 대하여 내부에 실수 형태 샘플들이 존재하는 만큼의 많은 복소 서브대역 샘플들이 외부에 존재한다. 그러므로, 팩터 2에 의한 총 오버샘플링(oversampling)(또는 리던던시(redundancy))이 존재한다. 오버샘플링의 정도가 더 심한 필터 뱅크들이 이용될 수 있으나, 오버샘플링은 설명의 명료성을 위해 본 실시예들의 설명에서 작게 유지된다.
식 (3)에 대응하는 변조되는 필터 뱅크 분석에 포함되는 주요 단계들은 신호가 시간 t = k 주위를 중심으로 하는 윈도에 의해 승산되고, 그 결과에 따른 윈도화된 신호는 복소 정현파들,
Figure pct00047
의 각각과 상관되는 것이다. 이산 시간 구현예들에서, 이 상관은 고속 푸리에 변환을 통해 효율적으로 구현된다. 합성 필터 뱅크에 대한 대응하는 알고리즘 단계들은 당업자에게 널리 공지되어 있고, 합성 변조, 합성 윈도우잉, 및 오버랩 추가 연산들로 구성된다.
도 19는 시간 인덱스(k) 및 서브대역 인덱스(n)의 값들의 선택을 위해 서브대역 샘플(
Figure pct00048
)에 의해 반송되는 정보에 대응하는 시간 및 주파수 내의 위치를 도시한다. 예를 들어, 서브대역 샘플(y5(4))은 검은 직사각형(1901)에 의해 표시된다.
정현파,
Figure pct00049
의 경우, (3)의 서브대역 신호들은 충분히 큰 n에 대해
Figure pct00050
에 의해 제공되는 양호한 근사를 갖는 것이고,
여기서, 위꺾쇠(hat)는 푸리에 변환이고, 즉
Figure pct00051
는 윈도 함수(w)의 푸리에 변환이다.
엄밀히 말해서, 식 (4)은 단지,
Figure pct00052
대신 -
Figure pct00053
를 갖는 항을 추가하는 경우에만 참이다. 이 항은 윈도의 주파수 응답이 충분히 빨리 쇠퇴되고
Figure pct00054
및 n의 합이 영에 근접하지 않다는 가정에 기초하여 무시된다.
도 20은 윈도 w(2001) 및 그의 푸리에 변환
Figure pct00055
(2002)의 전형적인 외양을 도시한다.
도 21은 식 (4)에 대응하는 단일 정현파의 분석을 도시한다. 주파수(
Figure pct00056
)에서 정현파에 의해 주로 영향을 받는 서브대역들은
Figure pct00057
가 작도록 인덱스(n)를 갖는 서브대역들이다. 도 21의 예의 경우, 수평의 파선(2101)에 의해 표시되는 바와 같이
Figure pct00058
= 6.25π이다. 상기 경우에서, 참조 부호들(2102, 2103, 2104)에 의해 각각 표현되는, n = 5, 6, 7에 대한 세 서브대역들은 상당한 영이 아닌 서브대역 신호들을 포함한다. 상기 세 서브대역들의 쉐이딩(shading)은 공식 (4)로부터 획득되는 각각의 서브대역 내의 복소 정현파들의 상대적인 진폭을 반영한다. 더 어두운 음영은 더 높은 진폭을 의미한다. 구체적인 예에서, 이는 서브대역(5), 즉 (2102)의 진폭이 서브대역(7)의 진폭, 즉 (2104)의 진폭에 비해 낮고, 다시 서브대역(7)은 서브대역(6), 즉 (2103)의 진폭보다 낮은 것을 의미한다. 여러 영이 아닌 서브대역들은 일반적으로, 특히 윈도가 도 20의 윈도(2001)와 같은 외양을 갖는 경우들에서, 합성 필터 뱅크의 출력에서, 상대적으로 짧은 시간 기간을 갖고 주파수에서 주요 측면 로브(lobe)들을 갖는 고품질 정현파를 합성할 수 있는데 필요할 수 있음을 주목하는 것이 중요하다.
합성 서브대역 신호들(yn(k))은 또한 분석 필터 뱅크(301) 및 비선형 프로세싱, 즉 도 3에 도시된 고조파 전치기(302)의 결과로서 결정될 수 있다. 분석 필터 뱅크 측에서, 분석 서브대역 신호들(xn(k))은 소스 신호의 함수(z(t))로 표현될 수 있다. 차수(T)의 전치에 대해, 윈도
Figure pct00059
를 갖는 복소 변조 분석 필터 뱅크는 스트라이드이고, 합성 뱅크의 주파수 단계보다 T배 더 미세한 변조 주파수 단계가 소스 신호 z(t)에 적용된다. 도 22는 스케일링된 윈도(wT)(2201) 및 그의 푸리에 변환
Figure pct00060
(2202)의 외양을 도시한다. 도 20에 비해, 시간 윈도(2201)가 신장되고 주파수 윈도(2202)가 압축된다.
수정된 필터 뱅크에 의한 분석은 분석 서브대역 신호들(xn(k))을 발생시킨다:
Figure pct00061
정현파 z(t) = Bcos(ξt + φ) = Re(Dexp(iξt)}에 대하여, (5)의 충분히 큰 n에 대해 양호한 근사를 갖는 서브대역 신호들은
Figure pct00062
에 의해 제공되는 것을 발견한다.
그러므로, 이 서브대역 신호들을 고조파 전치기(302)에 제출하고 직접 전치 규칙 (1) 내지 (6)를 적용하여
Figure pct00063
를 산출한다.
식 (4)에 의해 제공되는 합성 서브대역 신호들(yn(k)) 및 식 (7)에 의해 제공되는 고조파 전치
Figure pct00064
를 통해 획득되는 비선형 서브대역 신호들은 이상적으로 매칭되어야만 한다.
기수의 전치 차수들(T)의 경우, (7)에서의 윈도의 영향을 포함하는 팩터는 1과 같은데, 왜냐하면 윈도의 푸리에 변환은 가정에 의해 실수 형태이고 T - 1은 우수이기 때문이다. 그러므로, 식 (7)은 모든 서브대역들에 대해,
Figure pct00065
으로 식 (4)와 정확하게 매칭될 수 있어서, 식 (7)에 따른 입력 서브대역 신호들을 갖는 합성 필터 뱅크의 출력은 주파수
Figure pct00066
, 진폭 A = gB, 및 위상
Figure pct00067
를 갖는 정현파이고, 여기서 B 및 φ는 식:
Figure pct00068
로부터 결정되고, 이는 삽입 시에
Figure pct00069
을 산출한다. 그러므로, 정현파 소스 신호(z(t))의 차수(T)의 고조파 전치가 획득된다.
우수의 T의 경우, 상기 매칭은 더욱 근사화되지만, 이는 여전히 윈도 주파수 응답
Figure pct00070
의 양의 값 부분에서 유지되고, 이는 대칭의 실수 값 윈도에 대한 최대 중요한 주 로브(main lobe)를 포함한다. 이는 또한 T의 우수(even) 값들에 대해 정현파 소스 신호(z(t))의 고조파 전치가 획득되는 것을 의미한다. 가우시안 윈도의 특정 경우,
Figure pct00071
는 항상 양이고, 따라서 전치의 우수 및 기수의 차수들에 대한 성능에서의 차이는 존재하지 않는다.
식 (6)과 유사하게, 주파수(ξ+Ω)를 갖는 정현파의 분석, 즉 정현파 소스 신호
Figure pct00072
의 분석은
Figure pct00073
이다.
그러므로, 두 서브대역 신호들, 즉 도 8에서의 신호(801)에 대응하는
Figure pct00074
및 도 8에서의 신호(802)에 대응하는
Figure pct00075
를 도 8에 도시된 외적 프로세싱(800-n)에 제공하고, 외적 식(2)을 적용함으로써 출력 서브대역 신호(803)
Figure pct00076
이 산출되고, 여기서
Figure pct00077
이다.
식 (9)로부터, MISO 시스템(800-n)의 출력 서브대역 신호(803)의 위상 전개(phase evolution)가 주파수(Tξ+rΩ)의 정현파의 분석의 위상 형성을 따르는 것이 확인될 수 있다. 이는 인덱스 시프트들(p1 및 p2)의 선택과는 관계없이 유지된다. 실제로, 서브대역 신호(9)가 주파수(Tξ+rΩ)에 대응하는 서브대역 채널(n)에 공급되는 경우, 즉,
Figure pct00078
이면, 출력은 주파수
Figure pct00079
에서 정현파의 생성에 기여할 것이다. 그러나, 각각의 기여가 중요하고, 기여들이 유용한 방식으로 합쳐지는 것을 확실히 하는 것이 유용하다. 이 양태들은 후술될 것이다.
외적 향상 피치 파라미터(Ω)가 제공되면, 인덱스 시프트들(p1 및 p2)에 대한 적절한 선택들은 (10)의 복소 진폭(M(n,ξ))이 서브대역들(n)의 범위에 대한
Figure pct00080
에 근사하도록 도출될 수 있고, 이 경우 최종 출력은 주파수(Tξ + rΩ)에서의 정현파에 근접할 것이다. 주 로브들에 대한 제 1 고려사항은
Figure pct00081
,
Figure pct00082
,
Figure pct00083
의 세 값들 모두 동시에 작도록 하여, 이것이 근사적으로 동일하게 한다
Figure pct00084
이는 외적 향상 피치 파라미터(Ω)를 인지하고 있을 때, 인덱스 시프트들이 식 (11)에 의해 근사화되어, 분석 서브대역들이 간단하게 선택되도록 할 수 있다. 식 (10)에 따른 파라미터(M(n, ξ)의 진폭에 대한 식(11)에 따른 인덱스 시프트들(p1 및 p2)의 선택의 효과들의 보다 철저한 분석이 가우시안 윈도 및 사인 윈도와 같은 윈도 함수들(w(t))의 중요한 특정 경우들에 대해 수행될 수 있다.
Figure pct00085
으로의 원하는 근사가
Figure pct00086
를 갖는 여러 서브대역들에 대해 매우 양호하다는 것을 확인한다.
관계식(11)은 분석 필터 뱅크(301)가 π/T의 각 주파수 서브대역 간격을 갖는 예시적인 상황으로 교정되는 것이 주목되어야 한다. 일반적인 경우에서, 결과에 따른 (11)의 해석은 교차 항 소스 스팬(span)(p1 및 p2)이 분석 필터 뱅크 서브대역 간격의 유닛들에서 측정되는 기저를 이루는 기본 주파수(Ω)에 근사화한 정수이고, 쌍(p1, p2)은 (r, T - r)의 배수로 선택된다는 것이다.
디코더에서의 인덱스 시프트 쌍(p1, p2)이 결정을 위해 다음의 모드들이 이용될 수 있다:
1.
Figure pct00087
의 값은 인코딩 프로세스에서 도출될 수 있고 적절한 라운딩 절차에 의해 (p1 및 p2)의 정수 값들을 도출하기 위해 디코더에 충분한 정확도로 명확하게 송신될 수 있고, 이는 다음의 원리들을 따를 수 있다.
· p1 + p2는 Ω/△ω로 근사화하고, 여기서 △ω는 분석 필터 뱅크의 각 주파수 간격이고;
· p1/p2가 선택되어 r/(T - r)에 근사화한다.
2. 각각의 타겟 서브대역 샘플에 대해, 인덱스 시프트 쌍(p1, p2)은 디코더에서, (p1, p2) = (rl,(T - r)l),l∈L, r ∈{1,2,...,T-1}과 같은 후보 값들의 미리 결정된 목록으로부터 도출될 수 있고, 여기서 L은 양의 정수들의 목록이다.
이 선택은 교차 항 출력 진폭의 최적화, 즉, 교차 항 출력의 에너지의 최대값에 기초할 수 있다.
3. 각각의 타겟 서브대역 샘플에 대해, 인덱스 시프트 쌍(p1, p2)은 교차 항 출력 진폭의 최적화에 의해 후보 값들의 감소 목록으로부터 도출될 수 있고, 여기서 후보 값들이 감소된 목록은 인코딩 프로세스에서 도출되고 디코더로 송신된다.
서브대역 신호들(u1 및 u2)의 위상 수정이 각각 가중치 (T - r) 및 r을 가지고 수행되지만, 서브대역 시프트 거리(p1 및 p2)는 r 및 (T - r)에 각각 비례하여 선택된다는 것을 주목해야 한다. 그러므로 합성 서브대역(n)에 가장 근접한 서브대역은 가장 강한 위상 수정을 겪는다.
개설된 모드 2 및 모드 3에 대한 최적화 절차를 위한 유용한 방법은 Max-Min 최적화를 고려하는 것일 수도 있고:
Figure pct00088
그리고 제공되는 타겟 서브대역 인덱스(n)에 대한 외적 기여를 구성하기 위해 획득한 쌍 및 이의 대응하는 r의 값을 이용하는 것일 수도 있다. 디코더 탐색 지향 모드들(2) 및 특히 또한 (3)에서, 상이한 값들(r)에 대한 교차 항들의 추가는 바람직하게도 독립적으로 행해지는데, 왜냐하면 동일한 서브대역에 콘텐츠를 여러 번 추가할 위험이 존재하기 때문이다. 한편 모드 1에서처럼 서브대역들을 선택하기 위해 기본 주파수(Ω)가 이용되는 경우, 또는 서브대역 인덱스 거리들의 협소 범위만이 모드 2에서의 경우에서처럼 허용되는 경우, 콘텐츠를 동일한 서브대역에 여러번 추가하는 이 특정한 문제는 방지될 수 있다.
더욱이, 상술한 외적 프로세싱 방식들의 실시예들의 대해, 외적 이득(g)의 추가 디코더 수정이 이로울 수 있음이 또한 주목되어야 한다. 예를 들어, 이는 식 (2)에 의해 제공되는 외적들 MISO 유닛으로의 입력 서브대역 신호들(u1, u2) 및 식 (1)에 의해 제공되는 전치 SISO 유닛으로의 입력 서브대역 신호(x)로 칭해진다. 직접 프로세싱(401) 및 외적 프로세싱(402)이 동일한 출력 합성 서브대역에 성분들을 제공하는 도 4에 도시되는 바와 같이 세 신호들 모두가 동일한 출력 합성 서브대역에 공급되어야 하는 경우, 외적 이득(g)을 영으로 설정하는 것이 바람직할 수 있다. 즉, 도 9의 이득 유닛(902)에서
Figure pct00089
인 경우, 미리 규정된 임계값에 대해 q > 1이다. 즉, 외적 추가는 단지, 직접 항 입력 서브대역 크기(｜x｜)가 외적 입력 항들 모두에 비해 작은 경우 수행된다. 이 상황에서, x는 고려중인 외적과 동일한 합성 서브대역에서 출력을 초래하는 직접 항 프로세싱에 대한 분석 서브대역 샘플이다. 이는 직접 전치에 의해 이미 공급되었던 고조파 성분을 더 향상시키지 않도록 하는 대비책일 수 있다.
다음에, 본 명세서에서 개설된 고조파 전치 방법은 종래 기술에 대한 향상을 설명하기 위해 예시적인 스펙트럼 구성들에 대하여 기술될 것이다. 도 10은 차수 T = 2의 직접 고조파 전치의 효과를 도시한다. 상부 도면(1001)은 다수의 기본 주파수(Ω)에 위치되는 수직 화살표들에 의해 원래의 신호의 부분 주파수 성분들을 도시한다. 이는 예를 들어 인코더 측에서의 소스 신호를 도시한다. 도면(1001)은 부분 주파수들(Ω,2Ω, 3Ω, 4Ω, 5Ω)을 갖는 좌측 소스 주파수 범위, 및 부분 주파수들(6Ω, 7Ω, 8Ω)을 갖는 우측 타겟 주파수 범위로 분리된다. 소스 주파수 범위는 전형적으로 인코딩되고 디코더로 송신될 것이다. 한편, HFR 방법의 크로스 오버 주파수(1005) 위의 부분 주파수들(6Ω, 7Ω, 8Ω)을 포함하는 우측의 타겟 주파수 범위는 전형적으로 디코더에 송신되지 않을 것이다. 고조파 전치 방법의 목적은 소스 주파수 범위로부터의 소스 신호의 크로스-오버 주파수(1005) 위에 있는 타겟 주파수 범위를 복원하는 것이다. 결과적으로, 도면(1001)에서의 타겟 주파수 범위, 특히 부분 주파수들(6Ω, 7Ω, 8Ω)은 전치기의 입력으로 이용 가능하지 않다.
상술한 바와 같이, 소스 주파수 범위에서 이용 가능한 주파수 성분들로부터 소스 신호의 신호 성분들(6Ω, 7Ω, 8Ω)을 재생하는 것이 고조파 전치 방법의 목적이다. 하부 도면(1002)은 우측 타겟 주파수 범위에서의 전치기의 출력을 도시한다. 그와 같은 전치기는 예를 들어 디코더 측에 배치될 수 있다. 주파수들(6Ω 및 8Ω)에서의 부분 주파수들은 전치의 차수 T = 2를 이용하는 고조파 전치에 의해 주파수들(3Ω 및 4Ω)의 부분들로부터 재생된다. 여기서 파선의 화살표들(1003 및 1004)에 의해 도시되는 고조파 전치의 스펙트럼 확장 효과의 결과로서, 7Ω의 타겟 부분 주파수가 분실된다. 이 7Ω에서의 타겟 부분은 기본적인 종래 기술의 고조파 전치 방법을 이용하여 생성될 수 없다.
도 11은 제 2 차 고조파 전치기가 단일 교차 항, 즉 T = 2 및 r = 1에 의해 향상되는 경우에 주기 신호의 고조파 전치에 대한 본 발명의 효과를 도시한다. 도 10의 상황에서 상술한 바와 같이, 전치기가 이용되어 도면(1101)의 크로스 오버 주파수(1105) 아래에 있는 소스 주파수 범위에서의 부분 주파수들(Ω, 2Ω, 3Ω, 4Ω, 5Ω)로부터 아래 도면(1102)에서의 크로스 오버 주파수(1105) 위에 있는 타겟 주파수 범위 내의 부분 주파수들(6Ω, 7Ω, 8Ω)이 생성된다. 도 10의 종래 기술의 전치기 출력 외에도, 7Ω에서의 부분 주파수 성분은 3Ω 및 4Ω의 결합으로부터 재생된다. 외적 추가의 효과는 파선의 화살표들(1103 및 1104)에 의해 도시된다. 식에 의해, ω = 3Ω을 갖고 그러므로
Figure pct00090
이다. 본 예로부터 알 수 있는 바와 같이, 모든 타겟 부분 주파수들은 본 명세서에서 상술한 본 발명의 HRF 방법을 이용하여 재생될 수 있다.
도 12는 도 10의 스펙트럼 구성에 대한 변조된 필터 뱅크에서 종래 기술의 2차 고조파 전치기의 가능한 구현예를 도시한다. 분석 필터 뱅크 서브대역들의 정형화된 주파수 응답들은 상부 도면(1201)에서 점선들, 예를 들어 참조 부호(1206)에 의해 도시된다. 서브대역들은 서브대역 인덱스에 의해 열거되고, 이 중 인덱스들(5, 10, 및 15)가 도 12에 도시된다. 제공된 예의 경우, 기본 주파수(Ω)는 분석 서브대역 주파수 간격의 3.5배와 같다. 이는 도면(1201)에서의 부분적인 Ω가 서브대역 인덱스(3 및 4)를 갖는 두 서브대역들 사이에 위치되는 점으로 도시된다. 부분적인 2Ω는 서브대역 인덱스(7)를 갖는 서브대역의 중심에 위치되고 기타 마찬가지이다.
하부 도면(1202)은 선택된 합성 필터 뱅크 서브대역들의 정형화된 주파수 응답들, 예를 들어 참조 부호(1207)와 중첩되는 재생된 부분 주파수들(6Ω 및 8Ω)을 도시한다. 초기에 기술된 바와 같이, 이 서브대역들은 T = 2배의 더 조밀하지 않은 주파수 간격(coarse frequency spacing)을 갖는다. 결과적으로, 또한 주파수 응답들은 팩터 T = 2에 의해 스케일링된다. 상술한 바와 같이, 종래 기술의 직접 항 프로세싱 방법은 각각의 분석 서브대역의, 즉 도면(1201)에서 크로스-오버 주파수(1205) 아래의 각각의 서브대역의 위상을 수정하고, 그 결과를 동일한 인덱스를 갖는 합성 서브대역, 즉 도면(1202)에서 크로스-오버 주파수(1205) 위의 서브대역으로 매핑한다. 이는 도 12에서 분석 서브대역(1206) 및 합성 서브대역(1207)에 대한 대각 점선 화살표들, 예를 들어 화살표(1208)에 의해 부호화된다. 분석 서브대역(1201)으로부터 서브대역 인덱스들(9 내지 16)을 갖는 서브대역들에 대한 이 직접 항 프로세싱의 결과는 주파수들(3Ω 및 4Ω)에 있는 소스 부분 주파수들로부터의 합성 서브대역(1202) 내의 주파수들(6Ω 및 8Ω)에서 두 타겟 부분 주파수들의 재생다. 도 12에서 인식될 수 있는 바와 같이, 타겟 부분 주파수(6Ω)에 대한 주 기여는 서브대역 인덱스들(10 및 11), 즉 참조 부호들(1209 및 1210)을 갖는 서브대역들로부터 기인하고, 타겟 부분 주파수(8Ω)에 대한 주 기여는 서브대역 인덱스(14), 즉 참조 부호(1211)를 갖는 서브대역으로부터 기인한다.
도 13은 도 12의 변조된 필터 뱅크에서의 추가 교차 항 프로세싱 단계의 가능한 구현예를 도시한다. 교차 항 프로세싱 단계는 도 11과 관련되는 기본 주파수(
Figure pct00091
)를 갖는 주기 신호들에 대하여 기술되는 단계에 대응한다. 상부 도면(1301)은 분석 서브대역들을 도시하고, 상기 서브대역들 중에서 소스 주파수 범위는 하부 도면(1302)에서의 합성 서브대역들의 타겟 주파수 범위로 전치될 것이다. 분석 서브대역들로부터, 부분 주파수(7Ω)를 둘러싸는 합성 서브대역들(1315 및 1316)을 생성하는 특수한 경우가 고려된다. 전치의 차수 T = 2인 경우, 가능한 값 r = 1이 선택될 수 있다. p1 + p2가
Figure pct00092
, 즉, 분석 서브대역 주파수 간격의 유닛들에서의 기본 주파수(Ω)에 근접하도록, 후보 값들(p1, p2)의 목록을 다수의 (r, T - r) = (1,1)로 선택하면, p1 = p2= 2로 선택되도록 한다. 도 8의 상황에서 개설된 바와 같이, 서브대역 인덱스(n)를 갖는 합성 서브대역은 서브대역 인덱스((n - p1) 및 (n + p2))를 갖는 분석 서브대역들의 교차 항 곱으로부터 생성될 수 있다. 결과적으로, 서브대역 인덱스(12), 즉 참조 부호(1315)를 갖는 합성 서브대역의 경우, 외적은 서브대역 인덱스(n - p1) = 12 - 2 = 10, 즉 참조 부호(1311), 그리고 (n + p2) = 12 + 2 = 14, 즉 참조 부호(1313)를 갖는 분석 서브대역들로부터 형성된다. 서브대역 인덱스(13)를 갖는 합성 서브대역의 경우, 외적은 인덱스(n - p1) = 13 - 2 = 11, 즉 참조 부호(1312), 그리고 (n + p2) = 13 + 2 = 15, 즉 참조 부호(1314)을 갖는 분석 서브대역들로부터 형성된다. 이 외적 생성의 프로세스는 대각 파선/점선 쌍들, 즉, 참조 부호 쌍들(1308, 1309) 및 (1306, 1307)에 의해 각각 부호화된다.
도 13으로부터 알 수 있는 바와 같이, 부분 주파수(7Ω)는 주로 인덱스(12)를 갖는 서브대역(1315) 내에 배치되고, 단지 인덱스(13)를 갖는 서브대역(1316) 내에 부차적으로 배치된다. 결과적으로, 더욱 실제적인 필터 응답들을 위해, 인덱스(13)를 갖는 합성 서브대역(1316) 주위의 항들보다, 인덱스(12)를 갖는 합성 서브대역(1315) 주위에 직접 및/또는 교차 항들이 더 많이 존재하며, 이 항들은 주파수
Figure pct00093
에서 고품질의 정현파의 합성에 유리하게 추가된다. 더욱이, 식 13에서 강조된 바와 같이, p1 = p2 = 2를 갖는 모든 교차 항들을 맹목적으로 추가하면 덜 주기적이고 이론적인 입력 신호들에 대하여 원하지 않는 신호 성분들을 초래할 수 있다. 결과적으로, 원하지 않는 신호 성분들의 이 현상은 식 (13)에 의한 규칙과 같이, 적응성 외적 소거 규칙의 적용을 요구할 수 있다.
도 14는 차수 T = 3의 종래 기술의 고조파 전치의 효과를 도시한다. 상부 도면(1401)은 원래의 신호의 부분적인 주파수 성분들을 다수의 기본 주파수(Ω)에 위치되는 수직 화살표들로 도시한다. 부분 주파수 성분들(6Ω, 7Ω, 8Ω, 9Ω)은 HFR 방법의 크로스 오버 주파수(1405) 위의 타겟 범위 내에 있고 따라서 전치기의 입력으로 이용 가능하지 않다. 고조파 전치의 목적은 소스 범위 내의 신호로부터 상기 신호 성분들을 재생하는 것이다. 하부 도면(1402)은 타겟 주파수 범위에서의 전치기의 출력을 도시한다. 주파수들(6Ω), 즉 참조 부호(1407) 및 9Ω, 즉 참조 부호(1410))에서 부분들은 주파수들(2Ω), 즉 참조 부호(1406), 및 3Ω, 즉 참조 부호(1409))에서의 부분 주파수 성분들로부터 재생되었다. 고조파 전치의 스펙트럼 확장 효과의 결과로서, 여기서 점선들(1408 및 1411)에 의해 각각 도시되고, 7Ω 및 8Ω에서의 타겟 부분 주파수 성분들이 분실된다.
도 15는 제 3 차 고조파 전치기가 두 상이한 교차 항들, 즉 T = 3 및 r = 1,2의 추가에 의해 향상되는 경우에 주기 신호의 고조파 전치에 대한 본 발명의 효과를 도시한다. 도 14의 종래 기술의 전치기 출력 외에도, 7Ω에서의 부분 주파수 성분(1508)은 2Ω에서의 소스 부분 주파수 성분(1506) 및 3Ω에서의 소스 부분 주파수 성분(1507)의 결합으로부터 r = 1에 대한 교차 항에 의해 재생되었다. 외적 추가의 효과는 파선 화살표들(1510 및 1511)에 의해 도시된다. 식에 의해, ω = 2Ω으로,
Figure pct00094
를 갖는다. 마찬가지로, 8Ω에서의 부분 주파수 성분(1509)은 r = 2에 대한 교차 항에 의해 재생된다. 하부 도면(1502)의 타겟 범위 내의 이 부분 주파수 성분(1509)은 상부 도면(1501)의 소스 주파수 범위 내의 2Ω에서 부분 주파수 성분(1506) 및 3Ω에서의 부분 주파수 성분(1507)으로부터 생성된다. 교차 항 곱의 생성은 화살표들(1512 및 1513)에 의해 도시된다. 식에 의해,
Figure pct00095
를 갖는다. 알 수 있는 바와 같이, 모든 타겟 부분 주파수 성분들은 본 명세서에 기술되는 본 발명의 HFR 방법을 이용하여 재생될 수 있다.
도 16은 도 14의 스펙트럼 상황에 대한 변조된 필터 뱅크에서 종래의 3차 고조파 전치기의 가능한 구현예를 도시한다. 분석 필터 뱅크 서브대역들의 정형화된 주파수 응답들은 상부 도면(1601)에서 점선들에 의해 도시된다. 서브대역들은 서브대역 인덱스들(1 내지 17)에 의해 열거되고 이들 중에 인덱스(7)를 갖는 서브대역(1606), 인덱스(10)를 갖는 서브대역(1607), 인덱스(11)를 갖는 서브대역(1608)이 예시적인 방식으로 참조된다. 제공된 예의 경우, 기본 주파수(Ω)는 분석 서브대역 주파수 간격(△ω)의 3.5배와 같다. 하부 도면(1602)은 선택된 합성 필터 뱅크 서브대역들의 정형화된 주파수 응답들에 의해 중첩되는 재생된 부분 주파수를 도시한다. 예를 들어, 서브대역 인덱스(7)를 갖는 서브대역(1609), 서브대역 인덱스(10)를 갖는 서브대역(1610), 및 서브대역 인덱스(11)를 갖는 서브대역(1611)이 참조된다. 상술한 바와 같이, 이 서브대역들은 T = 3배의 더 조밀하지 않은 주파수 간격(Δω)을 갖는다. 결과적으로, 또한 주파수 응답들은 그에 따라 스케일링된다.
종래 기술의 직접 항 프로세싱은 서브대역 신호들의 위상을 팩터 T = 3에 의해 각각의 분석 서브대역에 대하여 수정하고 이 결과를 대각 점선 화살표들에 의해 부호화된 바와 같이, 동일한 인덱스를 갖는 합성 서브대역으로 매핑한다. 서브대역들(6 내지 11)에 대한 이 직접 항 프로세싱의 결과는 주파수들(2Ω 및 3Ω)에 있는 소스 부분 주파수들로부터 두 타겟 부분 주파수들(6Ω 및 9Ω)의 재생이다. 도 16으로 알 수 있는 바와 같이, 타겟 부분 주파수(6Ω)에 대한 주 기여는 인덱스(7), 즉 참조 부호(1606)를 갖는 서브대역으로부터 기인하고, 타겟 부분 주파수(9Ω)에 대한 주 기여들은 인덱스(10 및 11), 즉 참조 부호들(1607 및 1608)을 각각 갖는 서브대역들로부터 기인한다.
도 17은 7Ω에서 부분 주파수가 재생되도록 하는 도 16의 변조 필터 뱅크에서 r = 1에 대한 추가 교차 항 프로세싱 단계의 가능한 구현예를 도시한다. 도 8의 상황에서 상술한 바와 같이 인덱스 시프트들(p1, p2)은 p1 + p2가 3.5, 즉 분석 서브대역 주파수 간격(Δω)의 유닛들에서 기본 주파수(Ω)에 근접하도록, 다수의 (r, T - r) = (1,2)로서 선택될 수 있다. 즉, 생성될 합성 서브대역에 기여하는 두 분석 서브대역들 사이의 상대 거리, 즉, 분석 서브대역 주파수 간격(Δω)에 의해 분할되는 주파수 축 상의 거리는 상대적인 기본 주파수, 즉 분석 서브대역 주파수 간격(Δω)에 의해 분할된 기본 주파수(Ω)에 가장 양호하게 근접해야 한다. 이는 또한 식 (11)에 의해 표현되고 p1 = 1, p2 = 2로 선택되도록 한다.
도 17에 도시되는 바와 같이, 인덱스(8), 즉 참조 부호(1710)를 갖는 합성 서브대역은 인덱스((n - p1) = 8 - 1 = 7), 즉 참조 부호(1706), 및 ((n + p2) = 8 + 2 = 10), 즉 참조 부호(1708)를 갖는 분석 서브대역들로부터 형성되는 외적으로부터 획득된다. 인덱스(9)를 갖는 합성 서브대역의 경우, 외적은 인덱스((n - p1) = 9 - 1 = 8), 즉, 참조 부호(1707), 및 ((n + p2) = 9 + 2 = 11), 즉 참조 부호(1709)를 갖는 분석 서브대역들로부터 형성된다. 외적들을 형성하는 이 프로세스는 대각 파선/점선 화살표 쌍들, 즉, 화살표 쌍들(1712, 1713), 및 (1714, 1715)에 의해 각각 부호화된다. 도 17로부터 부분 주파수(7Ω)가 서브대역(1711)에보다 서브대역(1710)에 더 두드러지게 위치되는 것을 알 수 있을 것이다. 결과적으로, 실제적인 필터 응답들을 위해, 인덱스(8)을 갖는 합성 서브대역, 즉 서브대역(1710) 주위에 더 많은 교차 항들이 존재할 것이라고 예상될 것이고, 이는 주파수
Figure pct00096
에서의 고품질 정현파의 합성에 유리하게 추가된다.
도 18은 8Ω에서 부분 주파수가 재생되도록 하는 도 16의 변조 필터뱅크에서 r = 2에 대한 추가 교차 항 프로세싱 단계의 가능한 구현예를 도시한다. 인덱스 시프트들(p1, p2)은 p1 + p2가 3.5, 즉 분석 서브대역 주파수 간격(Δω)의 유닛들에서 기본 주파수(Ω)에 근접하도록, 다수의 (r, T - r) = (2,1)로서 선택될 수 있다. 이는 p1 = 1, p2 = 2로 선택되도록 한다. 도 18에 도시되는 바와 같이, 인덱스(9), 즉 참조 부호(1810)를 갖는 합성 서브대역은 인덱스((n - p1) = 9 - 2 = 7), 즉 참조 부호(1806), 및 ((n + p2) = 9 + 1 = 10), 즉 참조 부호(1808)를 갖는 분석 서브대역들로부터 형성되는 외적으로부터 획득된다. 인덱스(10)를 갖는 합성 서브대역의 경우, 외적은 인덱스((n - p1) = 10 - 2 = 8), 즉, 참조 부호(1807), 및 ((n + p2) = 10 + 1 = 11), 즉 참조 부호(1809)를 갖는 분석 서브대역들로부터 형성된다. 외적들을 형성하는 이 프로세스는 대각 파선/점선 화살표 쌍들, 즉, 화살표 쌍들(1812, 1813), 및 (1814, 1815)에 의해 각각 부호화된다. 도 18로부터 부분 주파수(8Ω)가 서브대역(1811)에서보다 서브대역(1810)에 좀 더 두드러지게 위치되는 것을 알 수 있을 것이다. 결과적으로, 실제적인 필터 응답들을 위해, 인덱스(9)를 갖는 합성 서브대역, 즉 서브대역(1810) 주위에 더 많은 직접 및/또는 교차 항들이 존재할 것이라고 예상될 것이고, 이는 주파수
Figure pct00097
에서의 고품질 정현파의 합성에 유리하게 추가된다.
다음에, 인덱스 시프트 쌍(p1, p2) 및 T = 3에 대한 이 규칙에 따른 r에 대한 Max-Min 최적화 기반 선택 절차(12)를 도시하는 도 23 및 도 24를 참조한다. 선택된 타겟 서브대역 인덱스는 n = 18이고 상부 도면은 제공된 시간 인덱스에 대한 서브대역 신호의 진폭의 예를 제공한다. 여기서 양의 정수의 목록이 7개의 값들 L = {2,3,...,8}에 의해 제공된다.
도 23은 r = 1을 갖는 후보들에 대한 탐색을 도시한다. 인덱스(n =18)를 갖는 타겟 또는 합성 서브대역은 도시된다. 점선(2301)은 상부 분석 서브대역 범위 및 하부 합성 서브대역 범위에서 인덱스(n=18)를 갖는 서브대역을 강조한다. 가능한 인덱스 시프트 쌍들은 l=2, 3,...,8에 대해 각각 (p1, p2) = {(2,4),(3,6),...,(8,16)}이고, 대응하는 분석 서브대역 진폭 샘플 인덱스 쌍들, 즉 최적의 교차 항을 결정하기 위하여 고려되는 서브대역 인덱스 쌍들의 목록은 {(16,22),(15,24),...,(10,34)}이다. 화살표들의 세트는 고려 중인 쌍들을 도시한다. 예로서, 참조 부호들(2302 및 2303)에 의해 표시되는 쌍(15, 24)이 도시된다. 이 진폭 쌍들의 최소값을 추정함으로써 교차 항들의 가능한 목록에 대한 각각의 최소 진폭들의 목록(0,4,1,0,0,0,0)이 제공된다. l = 3에 대한 제 2 엔트리가 최대이므로, r = 1을 갖는 후보들 중에서 쌍(15, 24)이 획득되고, 이 선택은 굵은 화살표들에 의해 도시된다.
도 24는 r = 2를 갖는 후보들에 대한 탐색을 유사하게 도시한다. 인덱스(n = 18)를 갖는 타겟 또는 합성 서브대역이 도시된다. 점선(2401)은 상부 분석 서브대역 범위 및 하부 합성 서브대역 범위에서 인덱스(n = 18)를 갖는 서브대역을 강조한다. 이 경우, 가능한 인덱스 시프트 쌍들은 (p1, p2) = {(4,2),(6,3),...,(16,8)}이고, 대응하는 분석 서브대역 진폭 샘플 인덱스 쌍들은 {(14,20),(12,21),...,(2,26)}이고, 그의 쌍(6, 24)이 참조 부호들(2402 및 2403)에 의해 표시된다. 이 진폭 쌍들의 최소값을 추정함으로써 목록(0,0,0,0,3,1,0)이 제공된다. 제 5 엔트리가 최대, 즉 l = 6이므로, r = 2를 갖는 후보들 중에서 굵은 화살표들에 의해 도시되는 바와 같이 쌍(6, 24)이 획득된다. 전체적으로, 대응하는 진폭 쌍의 최소값이 r = 1에 대한 선택된 서브대역 쌍의 최소값보다 더 작으므로, 타겟 서브대역 인덱스(n = 18)에 대한 최종 선택은 쌍(15, 24) 및 r = 1에 해당한다.
입력 신호(z(t))가 기본 주파수(Ω)를 갖는, 즉 외적 향상 피치 파라미터에 대응하는 기본 주파수를 갖는 조화 급수일 때, 그리고 Ω가 분석 필터 뱅크의 주파수 분해능에 비해 현저하게 클 때, 식 (6)에 의해 제공되는 분석 서브대역 신호(xn(k)) 및 식 (8)에 의해 제공되는 분석 서브대역 신호(x'n(k))는 입력 신호(z(t))의 분석에 대한 양호한 근사들이고 여기서 상기 근사는 상이한 서브대역 영역들에서 유효하다는 것이 더 주목되어야 한다. 식 (6) 및 식(8 내지 10)의 비교로부터, 입력 신호(z(t))의 주파수 축을 따른 고조파 위상 형성은 본 발명에 의해 정확하게 추정될 것이라는 결론이 나온다. 이는 특히 순 펄스 트레인에 대해 유효하다. 출력 오디오 품질을 위해, 이는 인간의 목소리들 및 일부 음악 악기들에 의해 발생되는 것과 같이, 펄스 트레인과 유사한 특성의 신호들에 대한 매력적인 특징이다.
도 25, 도 26, 및 도 27은 T = 3인 경우에 고조파 신호에 대한 본 발명의 전치의 예시적인 구현예의 성능을 도시한다. 신호는 기본 주파수 282.35 Hz를 갖고 10 내지 15 kHz의 고려되는 타겟 범위에서의 신호의 진폭 스펙트럼이 도 25에 도시된다. N = 512 서브대역들의 필터 뱅크는 전치들을 구현하기 위해 48 kHz의 샘플링 주파수에서 이용된다. 제 3 차 직접 전치기(T = 3)의 출력의 진폭 스펙트럼은 도 26에 도시된다. 알 수 있는 바와 같이, 모든 3차 고조파는 상술된 이론에 의해 예측되는 바와 같이 높은 충실도(high fidelity)로 재생되고 인지되는 피치는 원래의 피치의 3배인 847 Hz일 것이다. 도 27은 교차 항 곱들을 적용하는 전치기의 출력을 도시한다. 모든 고조파들은 이론의 근사화 양태들로 인하여 불완전해질 때까지 재생되었다. 이 경우에 대해, 측 로브들은 신호 레벨 이하의 약 40dB이고 이는 원래의 고조파 신호로부터 인지하여 구별할 수 없는 고주파 콘텐츠의 재생에 충분한 것 이상이다.
다음에, 도 28 및 도 29를 참조하고 이 도면들은 통합된 음성 및 오디오 코딩(USAC)을 위한 예시적인 인코더(2800) 및 예시적인 디코더(2900)를 각각 도시한다. USAC 인코더(2800) 및 디코더(2900)의 일반적인 구조는 다음과 같이 기술된다: 우선, 입력 신호 내의 상위의 오디오 주파수들의 파라메트릭 표현(parametric representation)을 처리하고 본 명세서에서 개설되는 고조파 전치 방법들을 이용할 수 있는, 스테레오 또는 다중-채널 프로세싱 및 향상 SBR(eSBR) 유닛(2801 및 2901)을 각각 처리하기 위하여 MPEG 서라운드(MPEGS) 기능 유닛으로 구성되는 공통 사전/사후 프로세싱이 있을 수 있다. 그리고나서 두 브랜치들이 존재하며, 하나는 수정된 AAC(Advanced Audio Coding) 툴 경로로 구성되고 다른 하나는 선형 예측 코딩(LP 또는 LPC 도메인) 기반 경로를 구성되고, 이는 결과적으로 LPC 잔여들의 시간 도메인 표현 아니면 주파수 도메인 표현을 특징으로 한다. AAC 및 LPC 이 둘 모두에 대한 모든 송신된 스펙트럼들은 양자화 및 산술 코딩 이후의 MDCT 도메인에서 표현될 수 있다. 시간 도메인 표현은 ACELP 여기 코딩 방식을 이용한다.
인코더(2800)의 eSBR(enhanced Spectral Band Replication) 유닛(2801)은 본 명세서에서 개설된 고주파 복원 시스템들을 포함할 수 있다. 특히, eSBR 유닛(2801)은 복수의 분석 서브대역 신호들을 생성하기 위해 분석 필터 뱅크(301)를 포함할 수 있다. 그리고나서 이 분석 서브대역 신호들은 복수의 합성 서브대역 신호들을 생성하기 위해 비선형 프로세싱 유닛(302)에서 전치될 수 있고, 생성된 신호들은 고주파 성분을 생성하기 위해 그 후에 합성 필터 뱅크(303)에 입력될 수 있다. eSBR 유닛(2801)에서, 인코딩 측에서, 정보의 세트는 원래의 신호의 고주파 성분과 가장 양호하게 매칭하는 저주파 성분으로부터 고주파 성분을 생성하는 방법에 대해 결정될 수 있다. 이 정보의 세트는 고주파 성분의 스펙트럼 엔벌로프 상의, 우세한 기본 주파수(Ω)와 같은 신호 특성에 대한 정보를 포함할 수 있고, 상기 정보의 세트는 분석 서브대역 신호들을 가장 양호하게 결합하는 방법에 대한 정보, 즉 인덱스 시프트 쌍들(p1, p2)의 제한된 세트와 같은 정보를 포함할 수 있다. 이 정보의 세트와 관련되는 인코딩된 데이터는 비트스트림 멀티플렉서 내의 다른 인코딩된 정보와 통합되고 대응하는 디코더(1900)에 인코딩된 오디오 스트림으로 전송된다.
도 29에 도시된 디코더(2900)는 또한 eSBR 유닛(2901)을 포함한다. 이 eSBR 유닛(2901)은 인코더(2800)로부터 인코딩된 오디오 비트스트림 또는 인코딩된 신호를 수신하고 본 명세서에 개설된 방법들을 이용하여 신호의 고주파 성분을 생성하고, 생성된 고주파 성분은 디코딩된 신호를 산출하기 위해 디코딩된 저주파 성분과 통합된다. eSBR 유닛(2901)은 본 명세서에서 개설된 상이한 성분들을 포함할 수 있다. 특히, eSBR 유닛은 분석 필터 뱅크(301), 비선형 프로세싱 유닛(302), 및 합성 필터 뱅크(303)를 포함할 수 있다. eSBR 유닛(2901)은 고주파 복원을 수행하기 위해 인코더(2800)에 의해 제공되는 고주파 성분에 대한 정보를 이용할 수 있다. 그와 같은 정보는 신호의 기본 주파수(Ω), 원래의 고주파 성분의 스펙트럼 엔벌로프, 및/또는 합성 서브대역 신호들 및 궁극적으로 디코딩된 신호의 고주파 성분을 생성하기 위해 이용되어야 하는 분석 서브대역들에 대한 정보일 수 있다.
더욱이, 도 28 및 도 29는 USAC 인코더/디코더의 가능한 추가 성분들을 도시한다, 예를 들어:
· 비트스트림 페이로드(bitstream payload)를 각각의 툴(tool)에 대한 부분들로 분리하고, 상기 툴들의 각각과 관련되는 비트스트림 페이로드 정보를 지니는 상기 툴의 각각을 제공하는, 비트스트림 페이로드 디멀티플렉서 툴;
· 비트스트림 페이로드 디멀티플렉서로부터 정보를 취하고, 상기 정보를 파싱(parsing)하고, Huffman 및 DPCM으로 코딩된 스케일팩터(scalefactor)들을 디코딩하는 스케일팩터 무소음 디코딩 툴(scalefactor noiseless decoding tool);
· 비트스트림 페이로드 디멀티플렉서로부터 정보를 취하고, 상기 정보를 파싱하고, 산술적으로 코딩된 데이터를 디코딩하고, 양자화된 스펙트럼들을 복원하는 스펙트럼 무소음 디코딩 툴;
· 스펙트럼들에 대한 양자화기 값들을 취하고, 정수 값들을 스케일링되지 않은, 복원된 스펙트럼들로 변환하는 역 양자화기 툴; 이 양자화기는 컴팬딩 양자화기(companding quantizer)이고, 컴팬딩 양자화기의 컴팬딩 팩터는 선택된 코어 코딩 모드에 좌우된다;
· 예를 들어 인코더에서 비트 수요에 대한 강한 제한으로 인해, 스펙트럼 값들이 영으로 양자화될 때 발생하는, 디코딩된 스펙트럼들에서 스펙트럼 갭들을 채우는데 이용되는 소음 충전 툴;
· 스케일팩터들의 정수 표현을 실제 값들로 변환하고, 업스케일링된 역 양자화 스펙트럼들을 관련 스케일팩터들에 의해 승산하는 재스케일링 툴(rescaling tool);
· ISO/IEC 14496-3에 기술되는 바와 같은 M/S 툴;
· ISO/IEC 14496-3에 기술되는 바와 같은 일시적 잡음 형상화(temporal noise shaping: TNS) 툴;
· 인코더에서 실행되었던 주파수 매핑의 역을 적용하는 필터 뱅크/블록 스위칭 툴; 역의 수정된 이산 코사인 변환(inverse discrete cosine transform: IMDCT)은 바람직하게는 필터 뱅크 툴에 이용된다;
· 시간-워핑(time-warping) 모드가 인에이블(enable)될 때 정상 필터 뱅크/블록 스위칭 툴을 대체하는 시간-워핑된 필터 뱅크/블록 스위칭 툴; 필터 뱅크는 바람직하게는 정상 필터 뱅크에 대해서와 동일(IMDCT)하고, 추가로 윈도형 시간 도메인 샘플들은 시변 재샘플링함으써, 워핑된 시간 도메인으로부터 선형 시간 도메인으로 매핑된다;
· 복잡한 업믹스(upmix) 절차를 적절한 공간 파라미터들에 의해 제어되는 입력 신호(들)에 적용함으로써 하나 이상의 입력 신호들로부터 다수의 신호들을 발생시키는 MPEG 서라운드(MPEGS) 툴; USAC 상황에서, MPEGS는 바람직하게는, 송신되는 다운믹싱(downmixing)된 신호와 동시에 파라매트릭 측 정보를 송신함으로써, 다중채널 신호를 코딩하는데 이용된다;
· 원래의 입력 신호를 분석하고 그로부터 상이한 코딩 모드들의 선택을 트리거(trigger)하는 제어 정보를 생성하는 신호 분류기 툴; 입력 신호의 분석은 전형적으로 구현예에 의존하고 제공된 입력 신호 프레임에 대한 최적의 코어 코딩 모드를 선택하려고 할 것이다; 신호 분류기의 출력은 또한 선택적으로 이용되어 예를 들어 MPEG 서라운드, 향상된 SBR, 시간-워핑된(time-warped) 필터뱅크 등의 동작에 영향을 미칠 수 있다.
· 선형 예측 합성 필터를 통해 복원되는 여기 신호를 필터링함으로써 여기 도메인 신호로부터 시간 도메인 신호를 생성하는, LPC 필터 툴; 및
· 장기 예측자(적응성 코드워드)를 펄스형 시퀀스(혁신(innovation) 코드워드)와 결합함으로써 시간 도메인 여기 신호를 효율적으로 표현하는 방법을 제공하는 ACELP 툴.
도 30은 도 28 및 도 29에 도시된 eSBR 유닛들의 실시예를 도시한다. eSBR 유닛(3000)은 다음에 디코더의 상황에서 설명될 것이고, 여기서 eSBR 유닛(3000)으로의 입력은 저대역으로 또한 공지되어 있는 신호의 저주파 성분 및 기본 주파수(Ω) 및/또는 가능한 인덱스 시프트 값들(p1,p2)과 같은, 특정 신호 특성들에 대한 가능한 추가 정보이다. 인코더 측에서, eSBR 유닛으로의 입력은 전형적으로, 완전한 신호일 것이고, 반면에 출력은 신호 특성 및/또는 인덱스 시프트 값들에 대한 추가 정보일 것이다.
도 30에서, 저주파 성분(3013)은 QMF 주파수 대역들을 생성하기 위해, QMF 필터 뱅크로 공급된다. 이 QMF 주파수 대역들은 본 명세서에서 개설된 분석 서브대역들로 오인되지 않는다. QMF 주파수 대역들은 시간 도메인에서보다는, 주파수 도메인에서 신호의 저 및 고주파 성분들을 조장하고 통합할 목적으로 이용된다. 저주파 성분(3014)은 본 명세서에서 개설된 고주파 복원을 위한 시스템들에 대응하는 전치 유닛(3004)에 공급된다. 전치 유닛(3004)은 또한, 인코딩된 신호의 기본 주파수(Ω) 및/또는 서브대역 선택을 위한 가능한 인덱스 시프트 쌍들(p1, p2)과 같이, 추가 정보(3011)를 수신할 수 있다. 전치 유닛(3004)은 고대역으로 또한 공지되어 있는 신호의 고주파 성분(3012)을 생성하고, 생성된 고주파 성분은 QMF 필터 뱅크(3003)에 의해 주파수 도메인으로 변환된다. QMF 변환된 저주파 성분 및 QMF 변환된 고주파 성분 이 둘 모두는 조작 및 통합 유닛(3005)에 공급된다. 이 유닛(3005)은 고주파 성분의 엔벌로프 조절을 수행할 수 있고 조정된 고주파 성분 및 저주파 성분을 결합한다. 결합된 출력 신호는 역 QMF 필터 뱅크(3001)에 의해 시간 도메인으로 다시 변환된다.
전형적으로, QMF 필터 뱅크들은 64 QMF 주파수 대역들을 포함한다. 그러나, QMF 필터 뱅크(3002)가 단지 32 QMF 주파수 대역들만을 요구하도록, 저주파 성분(3013)를 다운샘플링하는 것이 유익할 수 있음이 주목되어야 한다. 그와 같은 경우들에서, 저주파 성분(3013)은 fs/4의 대역폭을 갖고, 여기서 fs는 신호의 샘플링 주파수이다. 한편, 고주파 성분(3012)는 fs/2의 대역폭을 갖는다.
본 명세서에 기술되는 방법 및 시스템은 소프트웨어, 펌웨어, 및/또는 하드웨어로 구현될 수 있다. 특정 구성요소들은 예를 들어, 디지털 신호 프로세서 또는 마이크로프로세서 상에서 작동하는 소프트웨어로서 구현될 수 있다. 다른 구성요소는 예를 들어 하드웨어로 또는 주문형 반도체(application specific integrated circuit)들로 구현될 수 있다. 기술된 방법들 및 시스템들에서 대하는 신호들은 랜덤 액세스 메모리(random access memory) 또는 광 저장 매체와 같은 매체에 저장될 수 있다. 상기 신호들은 라디오 네트워크들, 위성 네트워크들, 무선 네트워크들 또는 유선 네트워크들, 예를 들어 인터넷과 같은 네트워크들을 통해 전송될 수 있다. 본 명세서에 기술되는 방법 및 시스템을 이용하는 전형적인 디바이스들은 셋탑 박스들 또는 오디오 신호들을 디코딩하는 다른 고객 구내 장비일 수 있다. 인코딩 측에서, 상기 방법 및 시스템은 브로드캐스팅 스테이션들에서, 예를 들어, 비디오 헤드엔드(video headend) 시스템들에서 이용될 수 있다.
본 명세서는 신호의 저주파 성분에 기초하여 신호의 고주파 복원을 수행하는 방법 및 시스템을 개설하였다. 저주파 성분으로부터의 서브대역들의 결합들을 이용함으로써, 본 방법 및 시스템에 의해 기술 분야로부터 공지되어 있는 전치 방법들에 의해 생성될 수 없는 주파수들 및 주파수 대역들의 복원이 가능하다. 더욱이, 기술되어 있는 HTR 방법 및 시스템에 의해, 낮은 크로스 오버 주파수들의 이용이 가능하고, 협소한 저주파 대역들로부터 넓은 고주파 대역들의 생성이 가능하다.
101 : 코어 오디오 디코더 102, 201 : 고조파 전치기
301 : 분석 필터 뱅크 303 : 합성 필터 뱅크

Claims (47)

  1. 신호의 저주파 성분으로부터 상기 신호의 고주파 성분을 생성하기 위한 시스템에 있어서:
    상기 신호의 저 주파 성분의 복수의 분석 서브대역 신호들을 제공하는 분석 필터 뱅크(analysis filter bank)(301);
    상기 복수의 분석 서브대역 신호들의 제 1 신호 및 제 2 신호의 위상을 수정함으로써 그리고 위상-수정 분석 서브대역 신호들을 결합함으로써 합성 주파수를 갖는 합성 서브대역 신호를 생성하기 위한 비선형 프로세싱 유닛(302); 및
    상기 합성 서브대역 신호로부터 상기 신호의 상기 고주파 성분을 생성하기 위한 합성 필터 뱅크(303)를 포함하는, 신호의 고주파 성분을 생성하기 위한 시스템.
  2. 제 1 항에 있어서,
    상기 비선형 프로세싱 유닛(302)은:
    각각 제 1 및 제 2 분석 주파수를 갖는 상기 제 1(801) 및 제 2(802) 분석 서브대역 신호들로부터 합성 서브대역 신호(803)를 생성하는 제 1 및 제 2 전치 차수의 다중-입력-단일-출력 유닛(800-n)을 포함하고,
    상기 제 1 분석 서브대역 신호(801)는 상기 제 1 전치 차수에 의해 위상-수정되고;
    상기 제 2 분석 서브대역 신호(803)는 상기 제 2 전치 차수에 의해 위상-수정되고;
    상기 합성 주파수는 상기 제 1 전치 차수에 의해 승산되는 제 1 분석 주파수에 상기 제 2 전치 차수에 의해 승산되는 제 2 분석 주파수를 더한 것에 대응하는, 신호의 고주파 성분을 생성하기 위한 시스템.
  3. 제 2 항에 있어서,
    상기 위상 수정은 전치 차수에 의한 위상 승산(phase multiplication)이고;
    상기 제 1 분석 주파수는 ω이고;
    상기 제 2 분석 주파수는 (ω+Ω)이고;
    상기 제 1 전치 차수는 (T-r)이고;
    상기 제 2 전치 차수는 r이고;
    T > 1이고;
    1 ≤ r < T이고;
    상기 합성 주파수는 (T - r)·ω + r·(ω + Ω)인, 신호의 고주파 성분을 생성하기 위한 시스템.
  4. 제 1 항에 있어서,
    상기 합성 서브대역 신호(803)를 이득 파라미터로 승산하기 위한 이득 유닛(902)을 추가로 포함하는, 신호의 고주파 성분을 생성하기 위한 시스템.
  5. 제 2 항에 있어서,
    합성 주파수를 갖는 복수의 부분적인 합성 서브대역 신호들(803)을 생성하는 복수의 비선형 프로세싱 유닛 및/또는 복수의 다중-입력-단일-출력 유닛들(800-n); 및
    상기 복수의 부분적인 합성 서브대역 신호들을 결합하기 위한 서브대역 합산 유닛(702)을 추가로 포함하는, 신호의 고주파 성분을 생성하기 위한 시스템.
  6. 제 2 항에 있어서,
    상기 비선형 프로세싱 유닛(302)은:
    상기 복수의 분석 서브대역 신호들의 제 3 신호로부터 추가의 합성 서브대역 신호를 생성하기 위한 직접 프로세싱 유닛(401); 및
    합성 서브대역 신호들을 상기 합성 주파수와 결합하기 위한 서브대역 합산 유닛을 추가로 포함하는, 신호의 고주파 성분을 생성하기 위한 시스템.
  7. 제 2 항에 있어서,
    상기 서브대역 합산 유닛은 상기 제 1(801) 및 상기 제 2(802) 분석 서브대역 신호들의 크기의 최소값이 상기 신호의 크기의 최소값 미리 규정된 프랙션(fraction)보다 작은 경우, 상기 다중-입력-단일-출력 유닛들(800-n)에서 생성되는 합성 서브대역 신호들을 무시하는, 신호의 고주파 성분을 생성하기 위한 시스템.
  8. 제 6 항에 있어서,
    상기 직접 프로세싱 유닛(401)은:
    제 3 분석 주파수를 나타내는 상기 제 3 분석 서브대역 신호로부터 상기 합성 서브대역 신호를 생성하는, 제 3 전치 차수(T')의 단일-입력-단일-출력 유닛(401-n)을 포함하고,
    상기 제 3 분석 서브대역 신호는 상기 제 3 전치 차수(T')에 의해 위상 수정되고;
    T'는 1보다 크고;
    상기 합성 주파수는 상기 제 3 전치 차수에 의해 승산되는 상기 제 3 분석 주파수에 대응하는, 신호의 고주파 성분을 생성하기 위한 시스템.
  9. 제 1 항에 있어서,
    상기 신호는 기본 주파수를 포함하고;
    상기 분석 필터 뱅크(301)는 상기 신호의 기본 주파수와 연관되는 주파수 간격을 나타내는, 신호의 고주파 성분을 생성하기 위한 시스템.
  10. 제 3 항에 있어서,
    상기 분석 필터 뱅크(301)는 △ω의 근본적으로 일정한 서브대역 간격에서 N의 분석 서브대역들을 갖고;
    분석 서브대역은, n ∈ {1,...,N}인, 분석 서브대역 인덱스(n)와 연관되고;
    상기 합성 필터 뱅크(303)는 합성 서브대역을 갖고;
    상기 합성 서브대역은 합성 서브대역 인덱스(n)와 연관되고;
    각각 인덱스(n)를 갖는 상기 합성 서브대역 및 상기 분석 서브대역은 상기 팩터(T)를 통해 서로 관련되는 주파수 범위들을 포함하는, 신호의 고주파 성분을 생성하기 위한 시스템.
  11. 제 10 항에 있어서,
    상기 합성 서브대역 신호(803)는 인덱스(n)를 갖는 상기 합성 서브대역과 연관되고;
    상기 제 1 분석 서브대역 신호(801)는 인덱스(n-p1)를 갖는 분석 서브대역과 연관되고;
    상기 제 2 분석 서브대역 신호(802)는 인덱스(n+p2)를 갖는 분석 서브대역과 연관되고;
    상기 시스템은 p1 및 p2를 선택하기 위하여 인덱스 선택 유닛을 추가로 포함하는, 신호의 고주파 성분을 생성하기 위한 시스템.
  12. 제 11 항에 있어서,
    상기 인덱스 선택 유닛은 인덱스 저장 유닛에 저장되는 쌍들(p1, p2)의 제한된 목록으로부터 인덱스 시프트들(p1 및 p2)을 선택하도록 동작 가능한, 신호의 고주파 성분을 생성하기 위한 시스템.
  13. 제 12 항에 있어서,
    상기 인덱스 선택 유닛은 상기 제 1 분석 서브대역 신호의 크기 및 상기 제 2 분석 서브대역 신호의 크기를 포함하는 세트의 최소값이 최대화되도록 상기 쌍(p1, p2)을 선택하도록 동작 가능한, 신호의 고주파 성분을 생성하기 위한 시스템.
  14. 제 11 항에 있어서,
    상기 인덱스 선택 유닛은,
    상기 인덱스 시프트 p1 = r·1;
    상기 인덱스 시프트 p2 = (T-r)·l; 및
    l은 양의 정수가 되도록 쌍들(p1, p2)의 제한된 목록을 결정하도록 동작 가능한, 신호의 고주파 성분을 생성하기 위한 시스템.
  15. 제 14 항에 있어서,
    상기 인덱스 선택 유닛은 상기 제 1 분석 서브대역 신호의 크기 및 상기 제 2 분석 서브대역 신호의 크기를 포함하는 세트의 최소값이 최대가 되도록 상기 파라미터들(l 및 r)을 선택하도록 동작 가능한, 신호의 고주파 성분을 생성하기 위한 시스템.
  16. 제 11 항에 있어서,
    상기 인덱스 선택 유닛은 상기 신호의 특성에 기초하여 상기 인덱스 시프트들(p1 및 p2)을 선택하도록 동작 가능한, 신호의 고주파 성분을 생성하기 위한 시스템.
  17. 제 16 항에 있어서,
    상기 신호를 기본 주파수(Ω)를 포함하고;
    상기 인덱스 선택 유닛은,
    인덱스 시프트들(p1 및 p2)의 그들의 합이 프랙션 Ω/Δω에 근접하고;
    그들의 프랙션(p1/p2)이 r/(T-r)의 배수가 되도록 상기 인덱스 시프트들(p1 및 p2)을 선택하도록 동작 가능한, 신호의 고주파 성분을 생성하기 위한 시스템.
  18. 제 16 항에 있어서,
    상기 신호는 기본 주파수(Ω)를 포함하고;
    상기 인덱스 선택 유닛은,
    인덱스 시프트들(p1 및 p2)의 그들의 합이 프랙션 Ω/Δω에 근접하고;
    그들의 프랙션(p1/p2)이 r/(T-r)와 동일하도록 상기 인덱스 시프트들(p1 및 p2)을 선택하도록 동작 가능한, 신호의 고주파 성분을 생성하기 위한 시스템.
  19. 제 1 항에 있어서,
    미리 규정된 시점(time instance)(k) 주위에서 상기 저주파 성분의 미리 규정된 시간 간격을 분리하는 분석 윈도(2001); 및
    상기 미리 규정된 시점(k) 주위에서 상기 고주파 성분의 미리 규정된 시간 간격을 분리하는 합성 윈도(2201)를 추가로 포함하는, 신호의 고주파 성분을 생성하기 위한 시스템.
  20. 제 19 항에 있어서,
    상기 합성 윈도(2201)는 상기 분석 윈도(2001)의 시간-스케일링된(time-scaled) 버전인, 신호의 고주파 성분을 생성하기 위한 시스템.
  21. 신호를 디코딩하기 위한 시스템에 있어서:
    상기 신호의 저주파 성분으로부터 상기 신호의 고주파 성분을 생성하도록 제 1 항에 따른 전치 유닛(102)을 포함하는, 신호를 디코딩하기 위한 시스템.
  22. 제 21 항에 있어서,
    상기 신호는 음성 및/또는 오디오 신호인, 신호를 디코딩하기 위한 시스템.
  23. 제 21 항에 있어서,
    상기 신호의 저주파 성분을 디코딩하기 위한 코어 디코더(101)를 추가로 포함하는, 신호를 디코딩하기 위한 시스템.
  24. 제 21 항에 있어서,
    업샘플링되는 저주파 성분을 산출하기 위해 상기 저주파 성분의 업샘플링을 수행하기 위한 업샘플러(104);
    상기 고주파 성분을 형상화하기 위한 엔벌로프 조절기(envelope adjuster; 103); 및
    상기 디코딩된 신호를 상기 업샘플링된 저주파 성분 및 상기 조절된 고주파 성분의 합으로 결정하기 위한 성분 합산 유닛을 추가로 포함하는, 신호를 디코딩하기 위한 시스템.
  25. 제 21 항에 있어서,
    상기 합성 서브대역 신호(803)가 생성되는 제 1(801) 및 제 2(802) 분석 서브대역 신호들의 선택을 가능하게 하는 정보를 수신하기 위한 서브대역 선택 수신 유닛을 추가로 포함하는, 신호를 디코딩하기 위한 시스템.
  26. 제 25 항에 있어서,
    상기 정보는 상기 신호의 기본 주파수(Ω)와 연관되는, 신호를 디코딩하기 위한 시스템.
  27. 제 25 항에 있어서,
    상기 정보는 제 1(801) 및 제 2(802) 분석 서브대역 신호들의 쌍들의 목록을 포함하는, 신호를 디코딩하기 위한 시스템.
  28. 제 24 항에 있어서,
    상기 신호의 상기 고주파 성분의 엔벌로프에 대한 정보를 수신하기 위한 엔벌로프 수신 유닛을 추가로 포함하는, 신호를 디코딩하기 위한 시스템.
  29. 제 23 항에 있어서,
    상기 저주파 성분을 포함하는 신호를 수신하기 위한 입력 유닛; 및
    상기 저주파 성분 및 상기 생성된 고주파 성분을 포함하는 상기 디코딩된 신호를 제공하기 위한 출력 유닛을 추가로 포함하는, 신호를 디코딩하기 위한 시스템.
  30. 인코딩되는 신호에 있어서:
    디코딩된 신호의 저주파 성분에 대한 정보로서, 상기 저주파 성분은 복수의 분석 서브대역 신호들을 포함하는, 상기 정보; 및
    선택된 두 서브대역 신호들을 전치함으로써 상기 디코딩된 신호의 고주파 성분을 생성하기 위해 상기 복수의 분석 서브대역 신호들 중 어떤 두 신호가 선택되어야 하는지에 대한 정보를 포함하는, 인코딩되는 신호.
  31. 신호를 인코딩하기 위한 시스템에 있어서:
    상기 신호를 저주파 성분 및 고주파 성분으로 분리하기 위한 분리 유닛(splitting unit);
    상기 저주파 성분을 인코딩하기 위한 코어 인코더;
    상기 신호의 기본 주파수(Ω)를 결정하기 위한 주파수 결정 유닛; 및
    상기 기본 주파수(Ω)를 인코딩하기 위한 파라미터 인코더를 포함하고,
    상기 기본 주파수(Ω)는 상기 신호의 상기 고주파 성분을 재생하는데 이용되는, 신호를 인코딩하기 위한 시스템.
  32. 제 31 항에 있어서:
    상기 고주파 성분의 스펙트럼 엔벌로프를 결정하기 위한 엔벌로프 결정 유닛; 및
    상기 스펙트럼 엔벌로프를 인코딩하기 위한 엔벌로프 인코더를 추가로 포함하는, 신호를 인코딩하기 위한 시스템.
  33. 신호를 인코딩하기 위한 시스템에 있어서:
    상기 신호를 저주파 성분 및 고주파 성분으로 분리하기 위한 분리 유닛;
    상기 저주파 성분을 인코딩하기 위한 코어 인코더;
    상기 신호의 상기 저주파 성분의 복수의 분석 서브대역 신호들을 제공하는 분석 필터 뱅크;
    상기 신호의 고주파 성분을 생성하기 위해 제 1 및 제 2 서브대역 신호를결정하기 위한 서브대역 쌍 결정 유닛; 및
    상기 제 1 및 상기 제 2 서브대역 신호를 표시하는 지수들을 인코딩하기 위한 인덱스 인코더를 포함하는, 신호를 인코딩하기 위한 시스템.
  34. 신호의 저주파 성분으로부터 고주파 성분의 고주파 복원을 수행하기 위한 방법에 있어서:
    제 1 주파수 대역으로부터의 저주파 성분의 제 1 서브대역 신호 및 제 2 주파수 대역으로부터의 저주파 성분의 제 2 서브대역 신호를 제공하는 단계(301);
    상기 제 1 및 상기 제 2 서브대역 신호를 제 1 및 제 2 전치 팩터에 의해 각각 전치하는 단계(302); 및
    고주파 대역으로부터 고주파 성분을 산출하기 위해 상기 전치된 제 1 및 제 2 서브대역 신호들을 결합하는 단계(303)를 포함하는, 고주파 복원을 수행하기 위한 방법.
  35. 제 34 항에 있어서,
    상기 고주파 대역은 상기 제 1 전치 팩터에 의해 승산되는 상기 제 1 주파수 대역과 상기 제 2 전치 팩터에 의해 승산되는 상기 제 2 주파수 대역의 합에 대응하는, 고주파 복원을 수행하기 위한 방법.
  36. 제 34 항에 있어서,
    상기 전치 단계는:
    상기 제 1 서브대역 신호의 제 1 주파수 대역과 상기 제 1 전치 팩터를 승산하는 단계; 및
    상기 제 2 서브대역 신호의 제 2 주파수 대역과 상기 제 2 전치 팩터를 승산하는 단계를 포함하는, 고주파 복원을 수행하기 위한 방법.
  37. 제 34 항에 있어서,
    상기 제공 단계는:
    상기 제 1 및 상기 제 2 서브대역 신호를 생성하기 위해 분석 필터 뱅크(301)에 의해 상기 저주파 성분을 필터링하는 단계를 포함하는, 고주파 복원을 수행하기 위한 방법.
  38. 제 34 항에 있어서,
    상기 결합 단계는:
    고 서브대역 신호를 산출하기 위해 상기 제 1 전치된 서브 대역 신호와 상기 제 2 전치된 서브대역 신호를 승산하는 단계; 및
    상기 고주파 성분을 생성하기 위해 상기 고 서브대역 신호를 합성 필터 뱅크 내에 입력하는 단계를 포함하는, 고주파 복원을 수행하기 위한 방법.
  39. 인코딩된 신호를 디코딩하기 위한 방법으로서,
    상기 인코딩된 신호는:
    원래의 신호로부터 도출되고;
    크로스-오버 주파수(1005) 아래에 있는 상기 원래의 신호의 주파수 서브대역들의 일부만을 나타내는, 상기 인코딩된 신호를 디코딩하기 위한 방법에 있어서,
    상기 인코딩된 신호의 제 1 및 제 2 주파수 서브대역을 제공하는 단계(301);
    상기 주파수 서브대역들을 제 1 전치 팩터 및 제 2 전치 팩터에 의해 각각 전치하는 단계(302); 및
    상기 제 1 및 상기 제 2 전치된 주파수 서브대역들로부터 고주파 서브대역을 생성하는 단계(303)를 포함하고,
    상기 고주파 서브대역은 상기 크로스-오버 주파수 대역 위에 있는, 인코딩된 신호를 디코딩하기 위한 방법.
  40. 제 39 항에 있어서,
    상기 고주파 서브대역은 상기 제 1 전치 팩터에 의해 승산되는 상기 제 1 주파수 서브대역과 상기 제 2 전치 팩터에 의해 승산되는 상기 제 2 주파수 서브대역의 합에 대응하는, 인코딩된 신호를 디코딩하기 위한 방법.
  41. 제 39 항에 있어서,
    상기 전치 단계는:
    상기 제 1 주파수 서브대역에서의 신호와 상기 제 1 전치 팩터의 위상 승산을 수행하는 단계; 및
    상기 제 2 주파수 서브대역에서의 신호와 상기 제 2 전치 팩터의 위상 승산을 수행하는 단계를 포함하는, 인코딩된 신호를 디코딩하기 위한 방법.
  42. 신호를 인코딩하기 위한 방법에 있어서:
    상기 신호의 저 주파수를 분리하기 위해 상기 신호를 필터링하는 단계;
    상기 신호의 저주파 성분을 인코딩하는 단계;
    상기 신호의 상기 저주파 성분의 복수의 분석 서브대역 신호들을 제공하는 단계;
    상기 신호의 고주파 성분을 생성하기 위해 제 1 및 제 2 서브대역 신호를 결정하는 단계; 및
    상기 제 1 및 상기 제 2 서브대역 신호를 표시하는 정보를 인코딩하는 단계를 포함하는, 신호를 인코딩하기 위한 방법.
  43. 오디오 신호를 포함하는 수신된 멀티미디어 신호를 디코딩하기 위한 셋탑 박스에 있어서:
    상기 오디오 신호의 저주파 성분으로부터 상기 신호의 고주파 성분을 생성하기 위하여 제 1 항에 따른 전치 유닛(102)을 포함하는, 셋탑 박스.
  44. 프로세서 상에서의 실행을 위해 적응되고 컴퓨팅 디바이스에서 실행될 때 제 34 항의 방법 단계들을 수행하기 위한, 소프트웨어 프로그램.
  45. 프로세서 상에서의 실행을 위해 적응되고 컴퓨팅 디바이스에서 실행될 때 제 34 항의 방법 단계들을 수행하기 위한 소프트웨어 프로그램을 포함하는, 저장 매체.
  46. 컴퓨터 상에서 실행될 때 제 34 항의 방법을 수행하기 위한 실행 가능 명령들을 포함하는, 컴퓨터 프로그램 제품.
  47. 제 23 항에 있어서,
    상기 코어 디코더(101)는 Dolby E, Dolby Digital, AAC 중 하나인 코딩 방식에 기초하는, 신호를 디코딩하기 위한 시스템.
KR1020117018965A 2009-01-16 2010-01-15 외적 향상 고조파 전치 KR101256808B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14522309P 2009-01-16 2009-01-16
US61/145,223 2009-01-16
PCT/EP2010/050483 WO2010081892A2 (en) 2009-01-16 2010-01-15 Cross product enhanced harmonic transposition

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020127034420A Division KR101589942B1 (ko) 2009-01-16 2010-01-15 외적 향상 고조파 전치

Publications (2)

Publication Number Publication Date
KR20110128275A true KR20110128275A (ko) 2011-11-29
KR101256808B1 KR101256808B1 (ko) 2013-04-22

Family

ID=42077387

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020117018965A KR101256808B1 (ko) 2009-01-16 2010-01-15 외적 향상 고조파 전치
KR1020127034420A KR101589942B1 (ko) 2009-01-16 2010-01-15 외적 향상 고조파 전치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020127034420A KR101589942B1 (ko) 2009-01-16 2010-01-15 외적 향상 고조파 전치

Country Status (21)

Country Link
US (9) US8818541B2 (ko)
EP (8) EP2380172B1 (ko)
JP (2) JP5237465B2 (ko)
KR (2) KR101256808B1 (ko)
CN (2) CN102282612B (ko)
AU (1) AU2010205583B2 (ko)
BR (3) BR122019023684B1 (ko)
CA (7) CA3162807C (ko)
CL (1) CL2011001717A1 (ko)
ES (7) ES2904373T3 (ko)
HK (1) HK1162735A1 (ko)
MX (1) MX2011007563A (ko)
MY (1) MY180550A (ko)
PL (6) PL2620941T3 (ko)
RU (5) RU2495505C2 (ko)
SG (1) SG172976A1 (ko)
TR (1) TR201910073T4 (ko)
TW (2) TWI430264B (ko)
UA (1) UA99878C2 (ko)
WO (1) WO2010081892A2 (ko)
ZA (1) ZA201105923B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9881624B2 (en) 2013-05-15 2018-01-30 Samsung Electronics Co., Ltd. Method and device for encoding and decoding audio signal

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3162807C (en) 2009-01-16 2024-04-23 Dolby International Ab Cross product enhanced harmonic transposition
CA2749239C (en) * 2009-01-28 2017-06-06 Dolby International Ab Improved harmonic transposition
ES2826324T3 (es) 2009-01-28 2021-05-18 Dolby Int Ab Transposición armónica mejorada
EP2239732A1 (en) 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
RU2452044C1 (ru) 2009-04-02 2012-05-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот
US8971551B2 (en) 2009-09-18 2015-03-03 Dolby International Ab Virtual bass synthesis using harmonic transposition
US11657788B2 (en) 2009-05-27 2023-05-23 Dolby International Ab Efficient combined harmonic transposition
TWI556227B (zh) 2009-05-27 2016-11-01 杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
TWI404050B (zh) * 2009-06-08 2013-08-01 Mstar Semiconductor Inc 多聲道音頻信號解碼方法與裝置
EP2306456A1 (en) * 2009-09-04 2011-04-06 Thomson Licensing Method for decoding an audio signal that has a base layer and an enhancement layer
KR101405022B1 (ko) 2009-09-18 2014-06-10 돌비 인터네셔널 에이비 입력 신호를 전위시키기 위한 시스템 및 방법, 상기 방법을 수행하는 소프트웨어 프로그램 및 컴퓨터 프로그램 제품을 포함하는 저장 매체
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
EP4276823B1 (en) * 2009-10-21 2024-07-17 Dolby International AB Oversampling in a combined transposer filter bank
CA3225485A1 (en) * 2010-01-19 2011-07-28 Dolby International Ab Improved subband block based harmonic transposition
JP5652658B2 (ja) 2010-04-13 2015-01-14 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
SG10201505469SA (en) * 2010-07-19 2015-08-28 Dolby Int Ab Processing of audio signals during high frequency reconstruction
US12002476B2 (en) 2010-07-19 2024-06-04 Dolby International Ab Processing of audio signals during high frequency reconstruction
US9236063B2 (en) 2010-07-30 2016-01-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dynamic bit allocation
JP6075743B2 (ja) * 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
MY176574A (en) 2010-09-16 2020-08-17 Dolby Int Ab Cross product enhanced subband block based harmonic transposition
AU2015202647B2 (en) * 2010-09-16 2017-05-11 Dolby International Ab Cross product enhanced subband block based harmonic transposition
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US8675881B2 (en) * 2010-10-21 2014-03-18 Bose Corporation Estimation of synthetic audio prototypes
US9078077B2 (en) 2010-10-21 2015-07-07 Bose Corporation Estimation of synthetic audio prototypes with frequency-based input signal decomposition
MX2013009346A (es) 2011-02-14 2013-10-01 Fraunhofer Ges Forschung Prediccion lineal basada en esquema de codificacion utilizando conformacion de ruido de dominio espectral.
MX2013009345A (es) 2011-02-14 2013-10-01 Fraunhofer Ges Forschung Codificacion y decodificacion de posiciones de los pulsos de las pistas de una señal de audio.
JP5712288B2 (ja) 2011-02-14 2015-05-07 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 重複変換を使用した情報信号表記
PL2661745T3 (pl) 2011-02-14 2015-09-30 Fraunhofer Ges Forschung Urządzenie i sposób do ukrywania błędów w zunifikowanym kodowaniu mowy i audio
ES2529025T3 (es) 2011-02-14 2015-02-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para procesar una señal de audio decodificada en un dominio espectral
CA2827266C (en) 2011-02-14 2017-02-28 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding a portion of an audio signal using a transient detection and a quality result
RU2599966C2 (ru) * 2011-02-18 2016-10-20 Нтт Докомо, Инк. Декодер речи, кодер речи, способ декодирования речи, способ кодирования речи, программа декодирования речи и программа кодирования речи
WO2013066236A2 (en) 2011-11-02 2013-05-10 Telefonaktiebolaget L M Ericsson (Publ) Audio encoding/decoding based on an efficient representation of auto-regressive coefficients
EP2777042B1 (en) 2011-11-11 2019-08-14 Dolby International AB Upsampling using oversampled sbr
US20130162901A1 (en) * 2011-12-22 2013-06-27 Silicon Image, Inc. Ringing suppression in video scalers
US8917197B2 (en) * 2012-01-03 2014-12-23 Nucript LLC System and method for improving performance of photonic samplers
EP3288033B1 (en) * 2012-02-23 2019-04-10 Dolby International AB Methods and systems for efficient recovery of high frequency audio content
CN102584191B (zh) * 2012-03-22 2014-05-14 上海大学 用蛇纹石尾矿制备堇青石陶瓷的方法
CN106409299B (zh) * 2012-03-29 2019-11-05 华为技术有限公司 信号编码和解码的方法和设备
JP5894347B2 (ja) * 2012-10-15 2016-03-30 ドルビー・インターナショナル・アーベー 転移器に基づく仮想ベース・システムにおけるレイテンシーを低減するシステムおよび方法
CN103928031B (zh) * 2013-01-15 2016-03-30 华为技术有限公司 编码方法、解码方法、编码装置和解码装置
CA2899134C (en) * 2013-01-29 2019-07-30 Frederik Nagel Decoder for generating a frequency enhanced audio signal, method of decoding, encoder for generating an encoded signal and method of encoding using compact selection side information
RU2688247C2 (ru) 2013-06-11 2019-05-21 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для расширения диапазона частот для акустических сигналов
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
JP6531649B2 (ja) 2013-09-19 2019-06-19 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム
FR3015754A1 (fr) * 2013-12-20 2015-06-26 Orange Re-echantillonnage d'un signal audio cadence a une frequence d'echantillonnage variable selon la trame
BR112016014476B1 (pt) 2013-12-27 2021-11-23 Sony Corporation Aparelho e método de decodificação, e, meio de armazenamento legível por computador
DE102014003057B4 (de) * 2014-03-10 2018-06-14 Ask Industries Gmbh Verfahren zur Rekonstruierung hoher Frequenzen bei verlustbehafteter Audiokomprimierung
US9306606B2 (en) * 2014-06-10 2016-04-05 The Boeing Company Nonlinear filtering using polyphase filter banks
EP2963646A1 (en) 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for decoding an audio signal, encoder and method for encoding an audio signal
EP2980798A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Harmonicity-dependent controlling of a harmonic filter tool
EP2980792A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling
EP2980794A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
TWI758146B (zh) 2015-03-13 2022-03-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
WO2016180704A1 (en) 2015-05-08 2016-11-17 Dolby International Ab Dialog enhancement complemented with frequency transposition
US10847170B2 (en) * 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
US9837089B2 (en) * 2015-06-18 2017-12-05 Qualcomm Incorporated High-band signal generation
US9311924B1 (en) 2015-07-20 2016-04-12 Tls Corp. Spectral wells for inserting watermarks in audio signals
US9454343B1 (en) 2015-07-20 2016-09-27 Tls Corp. Creating spectral wells for inserting watermarks in audio signals
US9626977B2 (en) 2015-07-24 2017-04-18 Tls Corp. Inserting watermarks into audio signals that have speech-like properties
US10115404B2 (en) 2015-07-24 2018-10-30 Tls Corp. Redundancy in watermarking audio signals that have speech-like properties
TW202341126A (zh) * 2017-03-23 2023-10-16 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
US10573326B2 (en) * 2017-04-05 2020-02-25 Qualcomm Incorporated Inter-channel bandwidth extension
CN107122332B (zh) * 2017-05-02 2020-08-21 大连民族大学 一维信号二维谱变换方法、伪双谱及其应用
KR20210005164A (ko) * 2018-04-25 2021-01-13 돌비 인터네셔널 에이비 고주파 오디오 재구성 기술의 통합
CN109003621B (zh) * 2018-09-06 2021-06-04 广州酷狗计算机科技有限公司 一种音频处理方法、装置及存储介质
CN109036457B (zh) 2018-09-10 2021-10-08 广州酷狗计算机科技有限公司 恢复音频信号的方法和装置
CN110244290A (zh) * 2019-06-17 2019-09-17 电子科技大学 一种距离扩展目标的检测方法

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4048443A (en) 1975-12-12 1977-09-13 Bell Telephone Laboratories, Incorporated Digital speech communication system for minimizing quantizing noise
US4998072A (en) * 1990-02-20 1991-03-05 John Fluke Mfg. Co., Inc. High resolution direct digital synthesizer
KR100289733B1 (ko) 1994-06-30 2001-05-15 윤종용 디지탈 오디오 부호화 방법 및 장치
JP3606388B2 (ja) 1994-10-31 2005-01-05 ソニー株式会社 オーデイオデータ再生方法及びオーデイオデータ再生装置
US5781880A (en) * 1994-11-21 1998-07-14 Rockwell International Corporation Pitch lag estimation using frequency-domain lowpass filtering of the linear predictive coding (LPC) residual
TW303410B (en) 1996-04-19 1997-04-21 Kok Hua Liow Improved construction products and methods
US6252965B1 (en) 1996-09-19 2001-06-26 Terry D. Beard Multichannel spectral mapping audio apparatus and method
SE512719C2 (sv) 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
RU2256293C2 (ru) 1997-06-10 2005-07-10 Коудинг Технолоджиз Аб Усовершенствование исходного кодирования с использованием дублирования спектральной полосы
US5856674A (en) 1997-09-16 1999-01-05 Eaton Corporation Filament for ion implanter plasma shower
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6978236B1 (en) 1999-10-01 2005-12-20 Coding Technologies Ab Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching
KR100675309B1 (ko) 1999-11-16 2007-01-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 광대역 오디오 송신 시스템, 송신기, 수신기, 코딩 디바이스, 디코딩 디바이스와, 송신 시스템에서 사용하기 위한 코딩 방법 및 디코딩 방법
US7742927B2 (en) 2000-04-18 2010-06-22 France Telecom Spectral enhancing method and device
SE0001926D0 (sv) 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
EP1158494B1 (en) * 2000-05-26 2002-05-29 Lucent Technologies Inc. Method and apparatus for performing audio coding and decoding by interleaving smoothed critical band evelopes at higher frequencies
US7003467B1 (en) 2000-10-06 2006-02-21 Digital Theater Systems, Inc. Method of decoding two-channel matrix encoded audio to reconstruct multichannel audio
EP1199711A1 (en) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Encoding of audio signal using bandwidth expansion
SE0004163D0 (sv) 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
SE0004187D0 (sv) 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
SE0004818D0 (sv) 2000-12-22 2000-12-22 Coding Technologies Sweden Ab Enhancing source coding systems by adaptive transposition
US6889182B2 (en) * 2001-01-12 2005-05-03 Telefonaktiebolaget L M Ericsson (Publ) Speech bandwidth extension
US7013269B1 (en) * 2001-02-13 2006-03-14 Hughes Electronics Corporation Voicing measure for a speech CODEC system
FR2821501B1 (fr) 2001-02-23 2004-07-16 France Telecom Procede et dispositif de reconstruction spectrale d'un signal a spectre incomplet et systeme de codage/decodage associe
FR2821475B1 (fr) 2001-02-23 2003-05-09 France Telecom Procede et dispositif de reconstruction spectrale de signaux a plusieurs voies, notamment de signaux stereophoniques
SE0101175D0 (sv) 2001-04-02 2001-04-02 Coding Technologies Sweden Ab Aliasing reduction using complex-exponential-modulated filterbanks
US7400651B2 (en) 2001-06-29 2008-07-15 Kabushiki Kaisha Kenwood Device and method for interpolating frequency components of signal
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
CN1272911C (zh) * 2001-07-13 2006-08-30 松下电器产业株式会社 音频信号解码装置及音频信号编码装置
JP3926726B2 (ja) * 2001-11-14 2007-06-06 松下電器産業株式会社 符号化装置および復号化装置
DE60202881T2 (de) 2001-11-29 2006-01-19 Coding Technologies Ab Wiederherstellung von hochfrequenzkomponenten
EP1527442B1 (en) 2002-08-01 2006-04-05 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and audio decoding method based on spectral band replication
JP3879922B2 (ja) 2002-09-12 2007-02-14 ソニー株式会社 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム
KR100501930B1 (ko) 2002-11-29 2005-07-18 삼성전자주식회사 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
RU2244386C2 (ru) 2003-03-28 2005-01-10 Корпорация "Самсунг Электроникс" Способ восстановления высокочастотной составляющей аудиосигнала и устройство для его реализации
SE0301272D0 (sv) 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Adaptive voice enhancement for low bit rate audio coding
EP2071565B1 (en) * 2003-09-16 2011-05-04 Panasonic Corporation Coding apparatus and decoding apparatus
US7451091B2 (en) * 2003-10-07 2008-11-11 Matsushita Electric Industrial Co., Ltd. Method for determining time borders and frequency resolutions for spectral envelope coding
CN101556801B (zh) 2003-10-23 2012-06-20 松下电器产业株式会社 声音频谱编解码装置、声音信号发送和接收装置及方法
US7668711B2 (en) * 2004-04-23 2010-02-23 Panasonic Corporation Coding equipment
EP2752843A1 (en) * 2004-11-05 2014-07-09 Panasonic Corporation Encoder, decoder, encoding method, and decoding method
NZ562182A (en) * 2005-04-01 2010-03-26 Qualcomm Inc Method and apparatus for anti-sparseness filtering of a bandwidth extended speech prediction excitation signal
US8311840B2 (en) * 2005-06-28 2012-11-13 Qnx Software Systems Limited Frequency extension of harmonic signals
KR100717058B1 (ko) 2005-11-28 2007-05-14 삼성전자주식회사 고주파 성분 복원 방법 및 그 장치
JP2007171339A (ja) * 2005-12-20 2007-07-05 Kenwood Corp オーディオ信号処理装置
CN101089951B (zh) 2006-06-16 2011-08-31 北京天籁传音数字技术有限公司 频带扩展编码方法及装置和解码方法及装置
JP2008033269A (ja) 2006-06-26 2008-02-14 Sony Corp デジタル信号処理装置、デジタル信号処理方法およびデジタル信号の再生装置
US20080109215A1 (en) 2006-06-26 2008-05-08 Chi-Min Liu High frequency reconstruction by linear extrapolation
KR101435893B1 (ko) * 2006-09-22 2014-09-02 삼성전자주식회사 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치
TWI308740B (en) 2007-01-23 2009-04-11 Ind Tech Res Inst Method of a voice signal processing
US20080208575A1 (en) 2007-02-27 2008-08-28 Nokia Corporation Split-band encoding and decoding of an audio signal
JP4905241B2 (ja) * 2007-04-27 2012-03-28 ヤマハ株式会社 高調波生成装置、低音増強装置、およびコンピュータプログラム
US7886303B2 (en) * 2007-05-18 2011-02-08 Mediatek Inc. Method for dynamically adjusting audio decoding process
CN101105940A (zh) 2007-06-27 2008-01-16 北京中星微电子有限公司 音频编解码的量化方法、反变换方法及音频编解码装置
CA3162807C (en) * 2009-01-16 2024-04-23 Dolby International Ab Cross product enhanced harmonic transposition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9881624B2 (en) 2013-05-15 2018-01-30 Samsung Electronics Co., Ltd. Method and device for encoding and decoding audio signal

Also Published As

Publication number Publication date
CA3084938C (en) 2021-08-24
RU2646314C1 (ru) 2018-03-02
SG172976A1 (en) 2011-08-29
RU2495505C2 (ru) 2013-10-10
US11031025B2 (en) 2021-06-08
RU2638748C2 (ru) 2017-12-15
US20210366500A1 (en) 2021-11-25
EP4145446B1 (en) 2023-11-22
RU2018130424A (ru) 2020-02-25
US9799346B2 (en) 2017-10-24
ES2885804T3 (es) 2021-12-15
KR101256808B1 (ko) 2013-04-22
US10586550B2 (en) 2020-03-10
CL2011001717A1 (es) 2012-07-20
US11935551B2 (en) 2024-03-19
EP3992966A1 (en) 2022-05-04
BRPI1007050A2 (pt) 2019-03-26
PL3598446T3 (pl) 2022-03-28
US20200273476A1 (en) 2020-08-27
TW201413709A (zh) 2014-04-01
TWI430264B (zh) 2014-03-11
CA3231911A1 (en) 2010-07-22
US20180033446A1 (en) 2018-02-01
RU2018130424A3 (ko) 2021-11-15
RU2765618C2 (ru) 2022-02-01
CA3162807C (en) 2024-04-23
EP2380172B1 (en) 2013-07-24
EP4300495A2 (en) 2024-01-03
CA3009237A1 (en) 2010-07-22
CA2748003A1 (en) 2010-07-22
EP3992966B1 (en) 2022-11-23
US20230298606A1 (en) 2023-09-21
PL4145446T3 (pl) 2024-04-08
EP3598445B1 (en) 2021-07-07
PL3598447T3 (pl) 2022-02-14
WO2010081892A2 (en) 2010-07-22
ZA201105923B (en) 2012-11-28
EP4300495A3 (en) 2024-02-21
ES2904373T3 (es) 2022-04-04
CN102282612A (zh) 2011-12-14
CA3084938A1 (en) 2010-07-22
BR122019023704B1 (pt) 2020-05-05
HK1162735A1 (en) 2012-08-31
EP3598445A1 (en) 2020-01-22
US11682410B2 (en) 2023-06-20
US20140297295A1 (en) 2014-10-02
JP2012515362A (ja) 2012-07-05
EP3598446A1 (en) 2020-01-22
EP4145446A1 (en) 2023-03-08
PL2620941T3 (pl) 2019-11-29
RU2011133894A (ru) 2013-03-10
CA2748003C (en) 2016-05-24
ES2966639T3 (es) 2024-04-23
CN102282612B (zh) 2013-07-24
EP2620941A1 (en) 2013-07-31
JP5237465B2 (ja) 2013-07-17
RU2667629C1 (ru) 2018-09-21
CA2926491A1 (en) 2010-07-22
CA3162807A1 (en) 2010-07-22
MY180550A (en) 2020-12-02
US20240194211A1 (en) 2024-06-13
BR122019023684B1 (pt) 2020-05-05
AU2010205583B2 (en) 2013-02-07
KR101589942B1 (ko) 2016-01-29
ES2938858T3 (es) 2023-04-17
PL3992966T3 (pl) 2023-03-20
ES2734361T3 (es) 2019-12-05
PL3598445T3 (pl) 2021-12-27
TW201128634A (en) 2011-08-16
EP2380172A2 (en) 2011-10-26
US10192565B2 (en) 2019-01-29
CA3124108C (en) 2022-08-02
RU2013119725A (ru) 2014-11-10
CN103632678B (zh) 2017-06-06
US8818541B2 (en) 2014-08-26
MX2011007563A (es) 2011-09-06
TWI523005B (zh) 2016-02-21
US20190115038A1 (en) 2019-04-18
EP2620941B1 (en) 2019-05-01
EP3598447A1 (en) 2020-01-22
EP3598447B1 (en) 2021-12-01
ES2901735T3 (es) 2022-03-23
US20110305352A1 (en) 2011-12-15
WO2010081892A3 (en) 2010-11-18
TR201910073T4 (tr) 2019-07-22
US20240249739A1 (en) 2024-07-25
EP3598446B1 (en) 2021-12-22
KR20130006723A (ko) 2013-01-17
BRPI1007050B1 (pt) 2020-04-22
UA99878C2 (ru) 2012-10-10
JP2013148920A (ja) 2013-08-01
AU2010205583A1 (en) 2011-07-07
CA3124108A1 (en) 2010-07-22
JP5597738B2 (ja) 2014-10-01
ES2427278T3 (es) 2013-10-29
CA2926491C (en) 2018-08-07
CN103632678A (zh) 2014-03-12
CA3009237C (en) 2020-08-25

Similar Documents

Publication Publication Date Title
KR101256808B1 (ko) 외적 향상 고조파 전치
AU2013201597B2 (en) Cross product enhanced harmonic transposition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160407

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170410

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180404

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190409

Year of fee payment: 7