KR101709095B1 - 고주파 복원 동안 오디오 신호들의 프로세싱 - Google Patents

고주파 복원 동안 오디오 신호들의 프로세싱 Download PDF

Info

Publication number
KR101709095B1
KR101709095B1 KR1020137028768A KR20137028768A KR101709095B1 KR 101709095 B1 KR101709095 B1 KR 101709095B1 KR 1020137028768 A KR1020137028768 A KR 1020137028768A KR 20137028768 A KR20137028768 A KR 20137028768A KR 101709095 B1 KR101709095 B1 KR 101709095B1
Authority
KR
South Korea
Prior art keywords
subband signals
high frequency
frequency subband
low frequency
spectral
Prior art date
Application number
KR1020137028768A
Other languages
English (en)
Other versions
KR20130127552A (ko
Inventor
크리스토퍼 쾨를링
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44514661&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101709095(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Publication of KR20130127552A publication Critical patent/KR20130127552A/ko
Application granted granted Critical
Publication of KR101709095B1 publication Critical patent/KR101709095B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Abstract

본 발명은 오디오 신호들의 HFR(High Frequency Reconstruction/Regeneration)에 관련된다. 특히, 본 발명은 오디오 신호의 고주파들의 복원을 위해 사용되는 저주파 범위에 걸쳐 에너지 레벨에서 많은 변화를 가지는 오디오 신호의 HFR을 수행하는 방법 및 시스템에 관련된 것이다. 복수의 저주파 부대역 신호들로부터 고주파 인터벌을 커버하는 복수의 고주파 부대역 신호들을 생성하도록 구성된 시스템이 설명된다. 상기 시스템은 상기 복수의 저주파 부대역 신호들을 수신하기 위한 수단; 타겟 에너지들을 수신하기 위한 수단으로서, 각 타겟 에너지는 고주파 인터벌 내에서 서로 다른 타겟 인터벌을 커버하며, 상기 타겟 인터벌 내에 있는 하나 이상의 고주파 부대역 신호들의 요구되는 에너지의 지시인 것을 특징으로 하는, 타겟 에너지들을 수신하기 위한 수단; 상기 복수의 저주파 부대역 신호들 및 상기 복수의 저주파 부대역 신호들 각각과 관련된 복수의 스펙트럼 이득 계수들로부터 상기 복수의 고주파 부대역 신호들을 생성하기 위한 수단; 및 타겟 에너지들의 세트를 이용하여 상기 복수의 고주파 부대역 신호들의 에너지를 조절하기 위한 수단을 포함한다.

Description

고주파 복원 동안 오디오 신호들의 프로세싱{PROCESSING OF AUDIO SIGNALS DURING HIGH FREQUENCY RECONSTRUCTION}
본 발명은 오디오 신호들의 HFR(고주파 복원/재생성, High Frequency Reconstruction/Regeneration)에 관한 것이다. 보다 상세하게는, 본 발명은 오디오 신호의 고주파를 복원하기 위해 사용되는 저주파 범위에 걸친 에너지 레벨에서 큰 변화를 가지는 오디오 신호들의 고주파 복원(HFR)을 수행하기 위한 방법 및 시스템에 관한 것이다.
SBR(Spectral Band Replication) 기술과 같은, HFR 기술들은 전통적인 인지적 오디오 코덱들의 코딩 효율을 상당히 증가시키도록 한다. MPEG-4 AAC(Advanced Audio Coding)와 조하에서 HFR은 매우 효과적인 오디오 코덱을 형성한다. 이는 XM 위성 라디오 시스템(Satellite Radio system) 및 디지털 라디오 몬다이얼(and Digital Radio Mondiale), 그리고, 이는 3GPP, DVD 포룸, 및 다른 단체들에서 표준화된다. AAC 및 SBR의 조합은 aacPlus라고 칭한다. 이는 고효율 AAC 프로파일(HE-AAC, High Efficiency AAC)로 나타내어지는 MPEG-4 표준의 일부이다. 일반적으로, HFR 기술은 앞 및 뒤의 호환 방법에서, 어떤 인지적 오디오 코덱으로 조합될 수 있다. 따라서, 유레카(Eureka) DAB 시스템에서 사용되는 MPEG 계층-2와 같은 브로드캐스팅 시스템들에서 이미 수립된 업그레이드에 대해 가능성이 제공된다. HFR 방법들은 또한, 초 저 비트 레이튿르에서 광대역 스피치를 허용하기 위해 스피치 코덱들과 조합될 수 있다.
HFR 뒤의 기초 아이디어는 동일한 신호의 저주파 범위의 특성 및 일반적으로 신호의 고주파 범위의 특성들 사이의 통상적으로 강한 상관이 제공되는 것을 관찰하는 것이다. 따라서, 신호의 고주파 범위의 원래의 입력의 표현에 대한 좋은 근사가 저주파 범위에서 고주파 범위로 신호 전위(transposition)에 의해 성취될 수 있다.
*전위의 개념은 WO 98/57436에서 수립되었다. 이 특허는, 오디오 신호의 저주파 대역으로부터 고주파 대역을 재생성하기 위한 방법으로, 레퍼런스로 이 문헌에 포함된다. 실질적으로 비트레이트에서 저장(saving)은 오디오 코딩 및/또는 스피치 코딩에서 이 개념이 사용되는 것에 의해 얻어질 수 있다. 다음에 있어서, 레퍼런스는 오디오 코딩에 대해 만들어질 것이다. 하지만, 이는 설명된 방법들 및 시스템들은 스피치 코딩 및 USAC(unified speech and audio coding)에서 동일하게 적용할 수 있다.
고주파 복원은 필터뱅크 또는 선택의 변환을 이용하여, 주파수 도메인 또는 시간 도메인에서 수행될 수 있다. 프로세스는 일반적으로 몇몇 단계들을 포함하며, 여기서, 2개의 메인 오퍼레이션들은 고주파 자극 신호를 먼저 생성하고, 그런 다음, 원래의 고주파 스펙트럼의 스펙트럼 엔벨로프를 근사하기 위해, 고주파 자극 신호의 모양을 형성한다. 고주파 자극 신호를 생성하는 단계는 예컨대, 단일 부대역 모듈레이션(SSB, single sideband modulation)에 기초할 수 있다. 여기서, 주파수
Figure 112013098655472-pat00001
를 가지는 사인파는 주파수
Figure 112013098655472-pat00002
를 가지는 사인파에 매핑된다. 여기서,
Figure 112013098655472-pat00003
는 고정된 주파수 시프트이다. 다른 말로, 고주파 신호는 고주파 부대역들로 저주파 부대역들의 "카피-업(copy??up)" 동작에 의해 낮은 주파수 신호로부터 생성될 수 있다. 고주파수 자극 신호를 생성하는 것에 대한 추가 접근은 저주파 부대역들의 고조파 전위를 포함할 수 있다. 차수 T의 고조파 전위는, 전형적으로, T > 1인, 고주파 신호의 주파수
Figure 112013098655472-pat00004
를 가지는 사인파로 저주파 신호의 주파수
Figure 112013098655472-pat00005
의 사인파가 매핑되도록 설계된다.
HFR(high frequency reconstruction) 기술은 소스 코딩 시스템들의 일부로 사용될 수 있다. 여기서, HFR 프로세스를 안내하기 위한 여러 가지의 제어 정보는 협대역/저주파 신호의 표현과 함께 인코더로부터 디코더로 전송된다. 어떤 추가 제어 신호도 전송될 수 있는 시스템들에 대해, 프로세스는 디코더 측면 상의 이용 가능한 정보로부터 추정되는 적합 제어 데이터를 가지는 디코더 측면 상에 적용될 수 있다.
고주파 자극 신호의 상술한 엔벨로프 조절은 원래의 고대역(highband)의 스펙트럼 모양을 닮은 스펙트럼 모양을 청취하는 것을 목적으로 한다. 그렇게 하기 위하여, 고주파 신호의 스펙트럼 모양은 수정돼야만 한다. 다른 측면에서, 고대역(highband)에 적용되어지는 조절은 스펙트럼 엔벨로프 및 요구되는 타겟 스펙트럼 엔벨로프의 함수이다.
예컨대, 슈도-QMF 필터뱅크에서 구현된 HFR 시스템과 같이, 주파수 도메인에서 동작하는 시스템들을 위해, 고대역 신호의 생성이, 소스 주파수 범위로부터 몇몇 공헌들을 조합하는 것에 의해, 엔벨로프 조절된 고대역으로 인공의 스펙트럼 엔벨로프를 도입하기 때문에, 종래 기술의 방법들은 이러한 관점에서 차선책이다. 다른 말로, HFR 프로세스 동안 저주파 신호로부터 생성된 고주파 신호 또는 고대역은, (전형적으로 스펙트럼 불연속들을 포함하는) 인공 스펙트럼 엔벨로프를 전형적으로 전시한다. 조절기는 단지, 적합한 시간 및 주파수 레졸루션을 가지는 요구되는 스펙트럼 엔벨로프를 적용하는 능력을 가져야만 하는 것이 아니라, 조절기는 고주파 복원(HFR, high frequency reconstruction) 신호 생성기에 의해 스펙트럼 인공적으로 도입된 스펙트럼 특성들이 복구(undo)할 수 있어야만하기 때문에, 스펙트럼 엔벨로프 조절기에 대해 어려움들을 제기한다. 이는 엔벨로프 조절기 상에 어려운 설계 제약을 제기한다. 결과적으로, 이러한 어려움들은 고주파 에너지의 감지된 손실로 유도하는 경향이 있고, 특히, 스피치 형식 신??르에 대해 고대역 신호의 스펙트럼 모양에서 가청의 불연속들로 유도하는 경향이 있다. 다른 말로, HFR 신호 생성기는 저대역 범위 상의 레벨에서 넓은 다양성들을 가지는 신호들을 위한 고대역 신호 내로 레벨 다양성 및 불연속을 도입하는 경향이 있다. 예컨대, 치찰음. 연속된 엔벨로프 조절기가 고대역 신호에 노출될 때, 엔벨로프 조절기는 저대역 신호의 순수 스펙트럼 특성으로부터 새롭게 도입된 불연속을 합리성 및 일관성을 가지고 분리할 수 없다.
본 문헌은 전술된 문제점에 대한 해결책을 개괄한다. 이 해결책은 증가되고 인지되는 오디오 품질을 제공한다. 개별적으로, 이 문헌은 저대역 신호로부터 고대역 신호를 생성하는 데에 있어 문제점에 대한 해결책을 설명한다. 고대역 신호의 스펙트럼 엔벨로프는 원치 않는 인공물을 도입 없이 고대역에서 원래의 스펙트럼 엔벨로프와 유사하게 만들기 위해 효과적으로 조절된다.
상술한 점을 감안한 본 발명의 목적은 오디오 신호의 고주파를 복원하기 위해 사용되는 저주파 범위에 걸친 에너지 레벨에서 큰 변화를 가지는 오디오 신호들의 고주파 복원 또는 재생성(High Frequency Reconstruction/Regeneration)을 수행하기 위한 방법 및 시스템을 제공함에 있다.
본 발명은 고주파 복원 신호 생성의 일부로 추가적인 정정 단계를 제공한다. 추가적인 정정 단계의 결과로서, 고주파 성분 또는 고대역(highband) 신호의 오디오 품질이 향상된다. 상기 추가적인 정정 단계는 고주파 복원 기술들을 이용하는 모든 소스 디코딩 시스템에 적용될 수 있고, 이와 함께, 상기 추가적인 정정 단계는 오디오 신호의 고주파를 재생성에 목적을 두는 어떤 단일 말단 포스트 프로세싱 방법 또는 시스템에 적용될 수 있다.
일 측면에 따라, 고주파 인터벌을 커버하는 복수의 고주파 부대역(high frequency subband) 신호들을 생성하도록 구성된 시스템이 설명된다. 상기 시스템은 복수의 저주파 부대역 신호들로부터 복수의 고주파 부대역 신호들을 생성하도록 구성될 수 있다. 상기 복수의 저주파 부대역 신호들은 저대역(lowband) 또는 협대역(narrowband) 오디오 신호의 부대역 신호들이 될 수 있고, 이는 분석 필터뱅크 또는 변환을 이용하여 결정될 수 있다. 특히, 복수의 저주파 부대역 신호들은 분석 QMF(quadrature mirror filter) 필터뱅크 또는 FFT(Fast Fourier Transform)를 이용하여 저대역 시간 도메인 신호로부터 결정될 수 있다. 생성된 복수의 고주파 부대역 신호들은 상기 복수의 저주파 부대역 신호들이 유도되는 오리지날 오디오 신호의 고주파 부대역 신호들의 근사에 대응할 수 있다. 특히, 상기 복수의 저주파 부대역 신호들 및 (재-)생성된 복수의 고주파 부대역 신호들은 QMF 필터뱅크 및/또는 FFT 변환의 부대역들에 대응할 수 있다.
상기 시스템은 복수의 저주파 부대역 신호들을 수신하기 위한 수단을 포함할 수 있다. 그렇게 함으로써, 시스템은 분석 필터뱅크의 다운스트림에 놓이거나, 또는 저대역 신호로부터 복수의 저주파 서브밴드 신호들을 생성하는 변환이 될 수 있다. 상기 저대역 신호는 수신된 비트스트림으로부터 코어 디코더에서 디코딩되는 오디오 신호가 될 수 있다. 상기 비트스트림은 예컨대, 컴팩트 디스크 또는 DVD와 같은 저장 매체 상에 저장될 수 있다. 또는, 상기 비트스트림은 예컨대, 광학 또는 무선 전송 매체와 같은 전송 매체를 통해 디코더에서 수신될 수 있다.
상기 시스템은 타겟 에너지들의 세트를 수신하기 위한 수단을 포함할 수 있다. 이는 또한 스케일팩터 에너지들로 나타내어질 수도 있다. 각 타겟 에너지는 고주파 인터벌 내의, 스케일팩터 대역으로 나타내어지는 다른 타겟 인터벌을 커버할 수 있다. 전형적으로, 타겟 에너지들의 세트에 대응하는 타겟 인터벌들의 세트는 완전한 고주파 인터벌을 커버한다. 타겟 에너지들의 세트의 타겟 에너지는 대응하는 타겟 인터벌 내에 있는 하나 이상의 고주파 부대역 신호들의 요구되는 에너지의 지시(indicative)이다. 특히, 상기 타겟 에너지는 대응하는 타겟 인터벌 내에 놓이는 하나 이상의 고주파 부대역 신호들의 평균적으로 요구되는 에너지에 대응할 수 있다. 타겟 인터벌의 타겟 에너지는 전형적으로 타겟 인터벌 내에 오리지널 오디오 신호의 고대역 신호의 에너지로부터 유도된다. 다시 말해서, 타겟 에너지들의 세트는 전형적으로 오리저널 오디오 신호의 고대역 부분의 스펙트럼 엔벨로프를 묘사(설명)한다.
상기 시스템은 상기 복수의 저주파 부대역 신호들로부터 상기 복수의 고주파 부대역 신호들을 생성하기 위한 수단을 포함할 수 있다. 이러한 목적을 위해, 상기 복수의 고주파 부대역 신호들을 생성하기 위한 수단은 상기 복수의 저주파 부대역 신호들의 카피 업 전위를 수행하도록 구성될 수 있고, 및/또는, 복수의 저주파 부대역 신호들의 조화 전위를 수행하도록 구성된다.
더욱이, 상기 복수의 고주파 부대역 신호들을 생성하는 수단은 상기 복수의 고주파 부대역 신호들의 생성 프로세스 동안 복수의 스펙트럼 이득 계수를 고려할 수 있다. 상기 복수의 스펙트럼 이득 계수들은 상기 복수의 저주파 부대역 신호들 각각에 관련될 수 있다. 다시 말해서, 상기 복수의 저주파 부대역 신호들의 각 저주파 부대역 신호는 상기 복수의 스펙트럼 이득 계수들로부터 대응하는 스펙트럼 이득 계수를 가질 수 있다. 상기 복수의 스펙트럼 이득 계수들로부터 스펙트럼 이득 계수는 대응하는 저주파 부대역 신호에 적용될 수 있다.
복수의 스펙트럼 이득 계수들은 각 복수의 저주파 부대역 신호들의 에너지에 관련될 수 있다. 특히, 각 스펙트럼 이득 계수는 이의 대응하는 저주파 부대역 신호의 에너지에 관련될 수 있다. 이 실시예에 있어서, 스펙트럼 이득 계수는 대응하는 저주파 부대역 신호의 에너지에 기초하여 결정된다. 이를 위하여, 주파수 종속 곡선이 복수의 저주파 부대역 신호들의 복수의 에너지 값들에 기초하여 결정될 수 있다. 이러한 경우에 있어서, 복수의 이득 계수들을 결정하기 위한 방법은 복수의 저주파 부대역 신호들의 에너지들의 표현(예컨대, 대수(logarithmic))으로부터 결정되는 주파수 종속 곡선에 의존할 수 있다.
달리 말하면, 복수의 스펙트럼 이득 계수들은 복수의 저주파 부대역 신호들의 에너지에 맞는 주파수 종속 곡선으로부터 유도될 수 있다. 특히, 주파수 종속 곡선은 미리 결정된 차수/정도(order/degree)의 다항식이 될 수 있다. 대안적으로, 또는, 추가로, 주파수 종속 곡선은 다른 곡선 세그먼트를 포함할 수 있다. 여기서, 다른 곡선 세그먼트는 다른 주파수 인터벌들에서 복수의 저주파 부대역 신호들의 에너지에 알맞다(적합하다). 다른 곡선 세그먼트는 미리 결정된 차수의 다른 다항식들이 될 수 있다. 일 실시예에 있어서, 다른 곡선 세그먼트는 차수 0의 다항식들이다. 이에 따라, 곡선 세그먼트가 대응하는 주파수 인터벌 내의 복수의 저주파 부대역 신호들의 에너지의 평균 에너지 값들을 표현하도록 한다. 다른 실시예에 있어서, 주파수 종속 곡선은 다른 주파수 인터벌들을 따라 이동 평균 필터링 동작을 수행하는 것에 의해 복수의 저주파 부대역 신호들의 에너지에 맞춰진다.
일 실시예에 있어서, 복수의 이득 계수들의 이득 계수는 주파수 종속 곡선의 대응하는 값들 그리고 복수의 저주파 부대역 신호들의 평균 에너지의 차이로부터 유도된다. 주파수 종속 곡선의 대응하는 값은 이득 계수가 대응하는 저주파 부대역 신호의 주파수 범위 내에 놓여 있는 주파수에서 곡선의 값이 될 수 있다.
전형적으로 복수의 저주파 부대역 신호들의 에너지는 시간 인터벌, 예컨대, 프레임 내의 저주파 부대역 신호의 샘플들의 평균 에너지에 대응하는 시간 그리드에 의해 정의되는 즉, 시간 인터벌 내의 저주파 부대역 신호들의 에너지, 에컨대, 순차적인 프레임별 기반 상 어떤 시간 그리드 상에서 결정된다. 그렇게 함으로써, 다른 복수의 스펙트럼 이득 계수들은 선택된 시간 그리드 상에서 결정된다. 예컨대, 다른 복수의 스펙트럼 이득 계수들은 오디오 신호의 각 프레임을 위해 결정될 수 있다. 일 실시예에 있어서, 복수의 스펙트럼 이득 계수들은 샘플 기반에 의해, 예컨대, 각 저주파 부대역 신호의 샘플들에 걸쳐 플로팅 윈도우를 이용하는 복수의 저주파 부대역들의 에너지를 결정하는 것에 의해, 샘플 상에서 결정될 수 있다. 시스템은 복수의 저주파 부대역 신호들로부터 복수의 스펙트럼 이득 계수들을 결정하기 위한 수단을 포함할 수 있다. 이러한 수단들은 복수의 스펙트럼 이득 계수들을 결정하기 위한 앞서 언급된 방법들을 수행하도록 구성될 수 있다.
상기 복수의 고주파 부대역 신호들을 생성하기 위한 수단은 복수의 스펙트럼 이득 계수들 각각을 이용하는 복수의 저주파 부대역 신호들을 증폭하도록 구성될 수 있다. 레퍼런스가 다음에서 "증폭하다(amplifying)" 또는 "증폭(amplification)"로 만들어질 지라도, "증폭" 동작은 "곱(multiplication)" 동작, "리스케일링(rescaling)" 동작 또는, "조절(adjustment)" 동작과 같은, 다른 동작들로 대체될 수 있다. 증폭은 이의 대응하는 스펙트럼 이득 계수로 저주파 부대역 신호의 샘플을 곱하는 것에 의해 이루어질 수 있다. 특히, 복수의 고주파 부대역 신호들을 생성하기 위한 수단은 적어도 하나의 선행하는 시간 인스탄스에서 그리고 주어진 시간 인스탄스에서 저주파 부대역 신호의 샘플로부터 주어진 시간 인스탄스에서 고주파 부대역 신호의 샘플을 결정하도록 구성될 수 있다. 더욱이, 저주파 부대역 신호의 샘플들은 복수의 스펙트럼 이득 계수들의 스펙트럼 이득 계수 각각에 의해 증폭될 수 있다. 일 실시예에 있어서, 복수의 고주파 부대역 신호들을 생성하기 위한 수단은 MPEG-4 SBR에 특정된 "카피 업(copy-up)" 알고리즘에 따르는 복수의 저주파 부대역 신호들로부터 복수의 고주파 부대역 신호들을 생성하도록 구성될 수 있다. 이 "카피 업" 알고리즘에 사용된 복수의 저주파 부대역 신호들은 복수의 스펙트럼 이득 계수들을 이용하여 증폭될 수 있다. 여기서, "증폭" 동작은 앞서 설명된 바와 같이 수행될 수 있다.
이 시스템은 타겟 에너지들의 세트를 이용하는 복수의 고주파 부대역 신호들의 에너지를 조절하기 위한 수단을 포함할 수 있다. 이 동작은 전형적으로 스펙트럼 엔벨로프 조절로 나타내어진다. 이 스펙트럼 엔벨로프 조절은, 타겟 인터벌 내에 놓이는 복수의 고주파 부대역 신호들의 평균 에너지가 대응하는 타겟 에너지에 대응하도록, 복수의 고주파 부대역 신호들의 에너지를 조절하는 것에 의해 수행될 수도 있다. 이는 타겟 인터벌 및 대응하는 타겟 에너지 내에 놓이는 복수의 고주파 부대역 신호들의 에너지 값으로부터 에너지 조절 값을 결정하는 것에 의해 이루어질 수 있다. 특히, 이 엔벨로프 조절 값은 대응하는 타겟 인터벌 내에 놓이는 복수의 고주파 부대역 신호들의 에너지 값 및 타겟 에너지의 비율로부터 결정될 수도 있다. 이 엔벨로프 조절 값은 복수의 고주파 부대역 신호들의 에너지를 조절하도록 사용될 수도 있다.
일 실시예에 있어서, 에너지를 조절하기 위한 수단은 제한기 인터벌 내에 놓이는 고주파 부대역 신호들의 에너지의 조절을 제한하기 위한 수단을 포함한다. 전형적으로, 제한기 인터벌은 하나 이상의 타겟 인터벌을 커버한다. 제한하기 위한 수단은 어떤 고주파 부대역 신호들 내의 원치 않는 노이즈의 증폭을 방지하도록 일반적으로 사용된다. 예를 들면, 제한하기 위한 수단은 제한기 인터벌 내에 놓이거나, 또는 그에 의해 커버되는 타겟 인터벌에 대응하는 엔벨로프 조절 값들의 평균 엔벨로프 조절 값을 졀정하도록 구성될 수 있다. 더욱이, 제한하기 위한 수단은 평균 엔벨로프 조절 값에 대해 비례하는 값에 대한 제한기 인터벌 내의 고주파 부대역 신호들의 에너지의 조절을 제한하도록 구성될 수 있다.
*대안적으로, 또는, 추가로, 복수의 고주파 부대역 신호들의 에너지를 조절하도록 하는 수단은 특정 타겟 인터벌 내의 놓인 조절된 고주파 부대역 신호들이 동일한 에너지를 가지도록 보장하기 위한 수단을 포함할 수 있다. 후자의 수단은 종종 "보간(interpolation)" 수단으로 나타내어진다. 다시 말하면, 상기 "보간" 수단은 개별 타겟 인터벌 내에 놓인 상기 복수의 고주파 부대역 신호들 각각의 에너지가 타겟 에너지에 대응하는 것을 보장한다. 상기 "보간" 수단은 조절된 고주파 부대역 신호의 에너지가 개별 타겟 인터벌과 관련된 타겟 에너지에 대응하도록 개별 타겟 인터벌 내에서 분리하여 각 고주파 부대역 신호를 조절하는 것에 의해 구현될 수 있다. 이는 상기 개별 타겟 인터벌 내의 고주파 부대역 신호 각각을 위한 상이한 엔벨로프 조절 값을 결정하는 것에 이루어질 수 있다. 다른 엔벨로트 조절 값은 개별 타겟 인터벌에 대응하는 타겟 에너지 및 개별 고주파 부대역 신호의 에너지에 기초하여 결정될 수 있다. 일 실시예에 있어서, 개별 고주파 부대역 신호를 위한 엔벨로프 조절 값은 개별 고주파 부대역 신호의 에너지 및 타겟 에너지의 비율에 기초하여 결정될 수 있다.
상기 시스템은 제어 데이터를 수신하기 위한 수단을 더 포함한다. 상기 제어 데이터는 상기 복수의 고주파 부대역 신호들을 생성하기 위해 상기 복수의 스펙트럼 이득 계수들을 적용할지 여부를 지시하는 것이 될 수 있다. 다시 말해서, 제어 데이터는 상기 저주파 부대역 신호들의 추가 이득 조절이 수행될지 여부를 지시하는 것이 될 수 있다. 대안적으로, 또는, 추가로, 제어 데이터는 상기 복수의 스펙트럼 이득 계수들을 결정하도록 사용되는 방법의 지시가 될 수 있다. 예시적인 방법에 의해, 제어 데이터는 상기 복수의 저주파 부대역 신호들의 에너지에 맞는 주파수 종속 곡선을 결정하기 위해 사용되는 미리 결정된 차수의 다항식의 지시가 될 수 있다. 제어 데이터는 전형적으로, 오리지널 오디오 신호를 분석하고, 그리고, 비트스트림을 디코딩하는 방법 상에 HFR 시스템 또는 대응하는 디코더를 알리는, 대응하는 인코더로부터 수신된다.
다른 측면에 따라, 저주파 오디오 신호를 포함하고, 고주파 오디오 신호의 스펙트럼 엔벨로프을 설명하는 타겟 에너지의 세트를 포함하는 비트스트림을 디코딩하도록 구성된 오디오 디코더가 설명된다. 다시 말하면, 고주파 오디오 신호의 스펙트럼 엔벨로프를 묘사하는 타겟 에너지들의 세트의 표현 및 저주파 오디오 신호의 비트스트림 표현을 디코딩하도록 구성되는 오디오 디코더가 설명된다. 오디오 디코더는 비트스트림으로부터 저주파 오디오 신호에 관련된 복수의 저주파 부대역 신호들을 결정하도록 구성된 코어 디코더 및/또는 변환 유닛을 포함할 수 있다. 대안적으로, 또는, 추가로, 오디오 디코더는 본 문헌에서 설명된 시스템에 따른 고주파 생성 유닛을 포함할 수 있다. 여기서, 상기 시스템은 타겟 에너지들의 세트 및 복수의 저주파 부대역 신호들로부터의 복수의 고주파 부대역 신호들을 결정하도록 구성될 수 있다.
대안적으로, 또는, 추가로, 디코더는 복수의 고주파 부대역 신호들 및 복수의 저주파 부대역 신호들로부터 오디오 신호를 생성하도록 구성된 병합 및/또는 역 변환 유닛을 포함할 수 있다. 상기 병합 및 역 변환 유닛은 합성 필터뱅크 또는 변환, 예컨대, 역 QMF 필터뱅크 또는 역 FFT를 포함할 수 있다.
다른 측면에 따라, 오디오 신호로부터 제어 데이터를 생성하도록 구성되는 인코더가 설명된다. 상기 오디오 인코더는 오디오 신호의 저주파 성분으로부터 오디오 신호의 고주파 성분을 재생성할 때, 도입되는 스펙트럼 엔벨로프 불연속의 정도(degree)를 결정하고, 오디오 신호의 스펙트럼 형상을 분석하기 위한 수단을 포함할 수 있다. 그렇게 함으로써, 인코더는 대응하는 디코더의 어떤 요소들을 포함할 수 있다. 특히, 인코더는 본 문헌에서 설명된 HFR 시스템을 포함할 수 있다. 이는 인코더가 디코더 측면에서 오디오 신호의 고주파 성부을 도입하는 스펙트럼 엔벨로프에서 불연속의 정도를 결정하도록 할 수 있다. 대안적으로, 또는, 추가로, 인코더는 불연속의 정도에 기초한 고주파 성분의 재생성을 제어하기 위한 제어 데이터를 생성하도록 하는 수단을 포함할 수 있다. 특히, 제어 데이터는 대응하는 디코더 또는 HFR 시스템에 의해 수시되는 제어 데이터에 대응할 수 있다. 제어 데이터는 복수으 스펙트럼 이득 계수들을 결정하기 위해 사용되는 미리 결정된 차수 및/또는 HFR 프로세스 동안 복수의 스펙트럼 이득 계수들을 사용할지 여부를 지시하는 것일 수 있다. 이 정보를 결정하기 위해, 저주파 인터벌의 선택된 부분의 비율, 즉, 복수의 저주파 부대역 신호들에 의해 커버되는 주파수 범위가 결정될 수 있다. 이 비율 정보는 예컨대, 저대역의 최저 주파수들을 연구하는 것에 의해, 그리고, 디코더에서 연속적으로 고주파 복원을 위해 사용될 저대역 신호의 스펙트럼 변화를 산정하기 위한 저대역의 최대 주파수들에 의해, 결정될 수 있다. 높은 비율은 불연속의 증가된 정보를 나타낼 수 있다. 제어 데이터는 또한 신호 형식 검출기들을 이용하여 결정될 수 있다. 예시적으로, 음성 신호들의 검출은 불연속의 증가된 정보를 나타낼 수 있다. 다른 한편, 오리지널 오디오 신호에서 우세한 사인 곡선들의 검출은 복수의 스펙트럼 이득 계수들이 HFR 프로세스 동안 사용되지 않도록 하는 것을 나타내는 제어 데이터로 이끌 수 있다.
다른 측면에 따라, 복수의 저주파 부대역 신호들로부터 고주파 인터벌을 커버하는 복수의 고주파 부대역 신호들을 생성하기 위한 방법이 설명된다. 상기 방법은 복수의 저주파 부대역 신호들을 수신하는 단계 및/또는 타겟 에너지들의 세트를 수신하는 단계를 포함할 수 있다. 각 타겟 에너지는 고주파 인터벌 내에서 다른 타겟 인터벌을 커버할 수 있다. 더욱이, 각 타겟 에너지는 타겟 인터벌 내에 놓인 하나 이상의 고주파 부대역 신호들의 요구된 에너지를 지시하는 것이 될 수 있다. 상기 방법은 복수의 저주파 부대역 신호들로부터, 그리고, 복수의 저주파 부대역 신호들과 관련된 복수의 스펙트럼 이득 계수들로부터 각각, 복수의 부대역 신호들을 생성하는 단계를 포함할 수 있다. 대안적으로, 또는, 추가로, 상기 방법은 타겟 에너지들의 세트를 이용하는 복수의 고주파 부대역 신호들의 에너지를 조절하는 단계를 포함할 수 있다. 상기 에너지를 조절하는 단계는 제한기 인터벌 내에 놓인 고주파 부대역 신호들의 에너지의 조절을 제한하는 단계를 포함할 수 있다. 전형적으로, 제한기 인터벌은 하나 이상의 타겟 인터벌을 커버한다.
다른 측면에 따라, 저주파 오디오 신호의 비트스트림 표현 및 대응하는 고주파 오디오 신호의 스펙트럼 엔벨로프를 설명하는 타겟 에너지들의 세트를 디코딩하기 위한 방법이 설명된다. 전형적으로 저주파 및 고주파 오디오 신호들은 동일한 오리지널 오디오 신호의 저주파 및 고주파 성분에 대응한다. 상기 방법은 비트스트림으로부터 저주파 오디오 신호와 관련된 복수의 저주파 부대역 신호들을 결정하는 단계를 포함할 수 있다. 대안적으로, 또는, 추가로, 상기 방법은 상기 타겟 에너지들의 세트 및 상기 복수의 저주파 부대역 신호들로부터 복수의 고주파 부대역 신호들을 결정하는 단계를 포함할 수 있다. 이 단계는 전형적으로 본 문헌에서 설명된 HFR 방법에 따라 수행될 수 있다. 따라서, 상기 방법은 상기 복수의 고주파 부대역 신호들 및 상기 복수의 저주파 부대역 신호들로부터 오디오 신호를 생성하는 단계를 포함할 수 있다.
다른 측면에 따라, 오디오 신호로부터 제어 데이터를 생성하기 위한 방법이 설명된다. 상기 방법은 상기 오디오 신호의 저주파 성분으로부터 상기 오디오 신호의 고주파 성분을 재생성할 때 도입되는 스펙트럼 엔벨로프 불연속들의 정도(degree)를 결정하기 위한 오디오 신호의 스펙트럼 형상을 분석하는 단계를 포함할 수 있다. 게다가, 상기 방법은 상기 불연속의 정도에 기초한 고주파 성분의 재생성을 제어하기 위해 제어 데이터를 생성하는 단계를 더 포함할 수 있다.
*추가적인 측면에 따라, 소프트웨어 프로그램이 설명된다. 상기 소프트웨어 프로그램은 프로세서 상에서 실행되도록 적용되고, 그리고, 컴퓨팅 장치 상에 수행될 때, 본 문헌에서 설명된 방법의 단계들을 수행하도록 적용될 수 있다.
다른 측면에 따라, 저장 매체가 설명된다. 상기 저장 매체는 프로세서 상에서 실행되도록 구성되고, 그리고, 컴퓨팅 장치 상에 수행될 때, 본 문헌에서 설명된 방법의 단계들을 수행하도록 구성되는 소프트웨어 프로그램을 포함할 수 있다.
추가적인 측면에 따라, 컴퓨터 프로그램 제품이 설명된다. 상기 컴퓨터 프로그램은 컴퓨터상에서 실행될 때, 본 문헌에서 설명된 방법의 단계들을 수행하기 위한 실행 가능한 명령들을 포함할 수 있다.
본 특허 출원에서 설명된 그들의 바람직한 실시예들을 포함하는 방법 및 시스템들은 단독으로(stand-alone) 또는 이 문헌에서 설명된 다른 방법들 및 시스템들과 함께 조합하여 사용될 수 있다. 더욱이, 본 특허 출원에서 설명된 방법들 및 시스템들의 모든 측면들은 임의적으로 조합될 수 있다. 특히, 청구항의 특징들은 임의적인 방식으로 상호간에 조합될 수도 있다.
상술한 바와 같이 본 발명은 오디오 신호의 고주파를 복원하기 위해 사용되는 저주파 범위에 걸친 에너지 레벨에서 큰 변화를 가지는 오디오 신호들의 고주파 복원 또는 재생성(High Frequency Reconstruction/Regeneration)을 수행하기 위한 방법 및 시스템을 제공할 수 있다.
본 발명은 첨부된 도면들에 대한 참조를 가지는 실시예들을 설명하는 방법에 의해 아래에서 설명될 것이다.
도 1a는 스펙트럼 엔벨로프 조절 이전에, 예시적인 고대역 신호의 절대 스펙트럼을 도시한다.
도 1b는 스펙트럼 엔벨로프들의 엔벨로프 시간 경계들 및 오디오 데이터의 시간 프레임들 사이의 예시적인 관계를 도시한다.
도 1c는 스펙트럼 엔벨로프 조절 이전의 예시적인 고대역 신호의 절대 스펙트럼 및 대응하는 스케일팩터 대역들, 제한기 대역들, 및 고주파(HF, hight frequency) 패치들을 도시한다.
도 2는 카피 업 프로세스를 추가적인 이득 조절 단계로 보완하는 HFR 시스템의 실시예를 도시한다.
도 3은 예시적인 저대역 신호의 코스 스펙트럼 엔벨로프(coarse spectral envelope)의 근사를 도시한다.
도 4는 선택적인 제어 데이터, QMF 부대역 샘플들 상에서 동작하고, 이득 곡선을 출력하는 추가 이득 조절기의 실시예를 도시한다.
도 5는 도 4의 추가 이득 조절기의 보다 상세한 실시예를 도시한다.
도 6은 협대역 신호를 입력으로, 그리고, 광대역 신호를 출력으로 가지는 HFR 시스템의 실시예를 도시한다.
도 7은 오디오 디코더의 SBR 모듈로 통합되는 HFR 시스템의 실시예를 도시한다.
도 8은 본 발명의 예시적인 오디오 디코더의 고주파 복원 모듈의 실시예를 도시한다.
도 9는 본 발명의 예시적인 인코더의 실시예를 도시한다.
도 10a는 종래의 디코더를 이용하여 디코딩되는 예시적인 음성 세그먼트의 스펙트럼 사진을 도시한다.
도 10b는 추가적인 이득 조절 프로세싱을 적용하는 디코더를 이용하여 디코딩되는 도 10a의 음성 세그먼트의 스펙트럼 사진을 도시한다. 그리고,
도 10c는 오리지널 언 코드된(un-coded) 신호를 위한 도 10a의 음성 세그먼트의 스펙트럼 사진을 도시한다.
아래 설명되는 실시예들은 단지 본 발명 고주파 복원 동안 오디오 신호들의 프로세싱의 원리들에 대한 설명이다. 이 문헌에서 설명된 세부사항 및 배치들이 수정 및 변경은 이 기술분야에서 통상의 지식을 가진자들에게 있어 자명한 것으로 이해되어야 한다. 그러므로, 본 발명은 이 문헌의 실시예의 설명 및 예시적인 방법에 의해 제공되는 상세한 설명들에 의한 것이 아니며 첨부된 특허청구범위에 범위에 의해서만 제한되어야할 것이다.
앞서 설명된 바와 같이, HFR 기술들을 이용하는 오디오 디코더는 전형적으로 고주파 오디오 신호를 위한 HFR 유닛 및 고주파 오디오 신호의 스펙트럼 엔벨로프를 조절하기 위한 연속된 스펙트럼 엔벨로프 조절 유닛을 포함한다. 오디오 신호의 스펙트럼 엔벨로프를 조절할 때, 이는 전형적으로 필터뱅크 구현 또는 시간 도메인 필터링의 수단에 의해 이루어진다. 조절은 절대 스펙트럼 엔벨로프의 정정하도록 분투하거나, 또는, 이는 또한 위상 특성을 정정하는 필터링의 수단에 의해 수행될 수 있다. 이 모든 방법인, 조절은 전형적으로 2개의 단계들, 현재 스펙트럼 엔벨로프의 제거, 및 타겟 스펙트럼 엔벨로프의 적용의 결합이다.
본 발명에서 설명된 방법 및 시스템은 단지 오디오 신호의 스펙트럼 엔벨로프의 제거를 지시되는 것은 아니다. 상기 방법 및 시스템들은, 고대역, 즉, 고주파 신호의 다른 주파수 범위들에 대해 시프트되거나, 또는 전위되는, 저대역, 즉, 저주파 신호의 다른 세그먼트들의 결합에 의해 생성되는 고주파 스펙트럼의 스펙트럼 엔벨로프 불연속들이 도입되지 않도록 하기 위하여, 고주파 재생성 단계들의 일부로 저대역 신호의 스펙트럼 엔벨로프의 적합한 스펙트럼 정정을 수행하도록 노력한다.
도 1a에서, 엔벨로프 조절기로 진입하기 전에, HFR 유닛의 출력의 문체상(stylistically) 도시된 스펙트럼(100, 110)이 표시된다. 상위 패널(top-panel)에서, 저대역 신호(101)로부터 고대역 신호(105)를 생성하기 위해, (두개의 패치들을 가지는) 카피 업(copy-up) 방법, 즉, MPEG-4 SBR(Spectral Band Replication)에 사용된 카피 업 방법이 사용된다. 이는 "ISO/IEC 14496-3 Information Technology - Coding of audio-visual objects -Part 3: Audio"에 설명되어 있으며, 참조로 본 문헌에 포함된다. 카피 업 방법은 저주파들(101)의 일부를 고주파들(105)로 변환한다. 하위 패널(lower panel)에서, 저대역 신호(111)로부터 고대역 신호(115)를 생성하기 위해, (2개의 패치들을 가지는) 조화 전위 방법, 즉, MPEG-D USAC의 조화 전위 방법이 사용된다. 이는 "MPEG-D USAC: ISO/IEC 23003-3 - Unified Speech and Audio Coding"에 기술되어 있으며, 참조로써 본 발명에 포함된다.
이어지는 엔벨로프 조절 단계에서, 타겟 스펙트럼 엔벨로프는 고주파 성분들(105, 115)에 적용된다. 스펙트럼(105, 115)가 엔벨로프 조절기로 진입하는 것으로부터 알 수 있는 바와 같이, (패치 보더들에서 분명하게) 불연속들이 고대역 여기 신호(105, 115), 즉, 엔벨로프 조절기에 입력되는 고대역 신호의 스펙트럼 형상(spectral shape)에서 관찰될 수 있다. 이러한 불연속들은 저주파수들(101, 111)의 일부 컨트리뷰션이 고대역(105, 115)를 생성하기 위해 사용된다는 사실에서 따른다. 도시된 바와 같이, 고대역 신호(105, 115)의 스펙트럼 형상은 저대역 신호(101, 111)의 스펙트럼 형상에 관련된다. 따라서, 저대역 신호(101, 111)의 특정 스펙트럼 형상, 예컨대, 도 1a에 도시된 그래디언트(gradient) 형상은 전체 스펙트럼(100, 110)에서 불연속을 이끌 수도 있다.
스펙트럼(100, 110)에 추가로, 도 1a는 타겟 스펙트럼 엔벨로프를 표혐하는 스펙트럼 엔벨로프 데이터의 예시적인 주파수 대역(130)을 도시한다. 이러한 주파수 대역들(130)은 스케일 팩터 대역들 또는 타겟 인터벌들을 나타낸다. 전형적으로, 타겟 에너지 값, 즉, 스케일팩터 에너지는 각 타겟 인터벌, 즉, 스케일팩터 대역을 위해 특정된다. 다른 말로, 스케일팩터 대역들은, 전형적으로 타겟 인터벌 당 단지 단일 타겟 에너지 값이 존재하도록, 타겟 스펙트럼 엔벨로프의 효율적인 주파수 레졸루션을 정의한다. 스케일팩터 대역들을 위해 특정된 스케일팩터들 또는 타겟 에너지들을 이용하여, 연속되는 엔벨로프 조절기는 고대역 신호를 조절하기 위해 노력한다. 따라서, 스케일팩터 대역들 내의 고대역 신호의 에너지는 각 스케일팩터 대역들에 대해, 수신된 스펙트럼 엔벨로프 데이터의 에너지, 즉, 타겟 에너지와 같다.
도 1c 에서, 예시적인 오디오 신호를 이용하여 더 상세한 설명이 제공된다. 플롯(plot)에서, 대응하는 오리지날 신호(120)와 함께, 엔벨로프 조절기로 진입하는 실세계(real-world) 오디오 신호(121)의 스펙트럼이 도시된다. 이 특정 실시예에서, SBR 범위, 즉, 고주파 신호의 범위는 6.4kHz에서 시작되며, 그리고, 저대역 주파수 범위의 3개의 다른 사본(replication)들을 구성한다. 다른 사본들의 주파수 범위는 "패치(patch) 1", "패치 2", and "패치 3"에 의해 나타내어진다. 이는 패칭이 6.4kHz, 7.4kHz, 및 10.8kHz 근처 스펙트럼 엔벨로프에서 불연속을 도입하는 스펙트럼 사진으로부터 명확하다. 본 실시예에서, 이러한 주파수들은 패치 경계(patch border)들에 대응한다.
도 1c는 그 기능이 다음에서 보다 상세하게 설명될 한정기 대역들(135)과 함께, 스케일팩터 대역들(130)을 추가로 도시한다. 도시된 실시예에 있어서, MPEG-4 SBR의 엔벨로프 조절기가 사용된다. 도시된 실시예에 있어서, MPEG-4 SBR의 엔벨로프 조절기가 사용된다. 이 엔벨로프 조절기는 QMF 필터뱅크를 이용하여 동작한다. 그러한 엔벨로프 조절기의 동작의 주요 측면은 :
● 엔벨로프 조절기에 대한 입력 신호, 즉, HFR 유닛으로부터 나오는 신호의 스케일팩터 대역(130)에 걸쳐 평균 에너지를 산출하기 위한 것이다; 다른 말로, 재생성된 고대역 신호의 평균 에너지는 각 스케일팩터 대역/타겟 인터벌(130) 내에서 산출된다.
● 각 스케일팩터 대역(130) 각각에 대해, 이득 값을 결정하기 위한 것이며, 또한, 엔벨로프 조절 값으로 나타낸다. 엔벨로프 조절 값은 타겟 에너지(즉, 인코더로부터 수신된 에너지 타겟) 및 각 스케일 팩터 대역(130) 내의 재생성된 고대역 신호(121)의 평균 에너지 사이의 에너지 비율의 제곱근이다.
● 재생성된 고대역 신호(121)의 주파수 대역의 각 엔벨로프 조절 값을 적용하기 위한 것이다. 여기서, 상기 주파수 대역은 각 스케일팩터 대역(130)에 대응한다.
더욱이, 엔벨로프 조절기는 추가 단계들 및 변수들을 포함할 수 있다. 더욱 상세하게는,
● 제한기 기능, 이는 어떤 주파수 대역, 즉, 제한기 대역(135) 이상에 적용되도록 하기 위해 최대 허용 엔벨로프 조절 값을 제한한다. 최대 허용 엔벨로프 조절 값은 제한기 대역(135) 내에 들어간 다른 스케일 팩터 대역(130)을 위해 결정된 엔벨로프 조절 값들의 기능이다. 특히, 최대 허용 엔벨로프 조절 값은 제한기 대역(135) 내에 들어간 다른 스케일팩터 대역들(130)에 대해 결정된 엔벨로프 조절 값들이 평균의 기능이다. 예시적인 방법에 있어서, 최대 허용 엔벨로프 조절 값은 (1.5와 같이) 제한기 팩터에 의해 곱해진 관련된 엔벨로프 조절 값들의 평균 값이 될 수 있다. 제한기 기능은 노이즈의 도입을 재생성된 고대역 신호(121)를 제한하기 위해 전형적으로 적용된다. 이는 특히 어떤 주파수들에서 구분되는 피크들을 가지는 스펙트럼을 가지는 주요한(prominent) 사인곡선, 즉, 오디오 신호들에 관련된다. 제한기 기능을 사용함이 없이, 중요한 엔벨로프 조절 값들은 오리지널 오디오 신호가 그러한 구분된 피크들을 가지는 스케일팩터 대역(130)에 대해 결정될 수 있다. 결과적으로, 완전한 스케일팩터 대역(130)의 스펙트럼(그리고 단지 구분되는 피크들이 아닌)은 조절될 수 있고, 이에 의해, 노이즈를 도입한다.
● 보간 기능, 이는 엔벨로프 조절 값들을, 전체 스케일팩터 대역을 위한 단일 엔벨로프 조절 값을 연산하는 대신, 스케일팩터 대역 내에서, 개별 QMF 부대역 각각에 대해 연산되도록 한다. 스케일팩터 대역들은 전형적으로 하나 이상의 QMF 부대역을 포함하기 때문에, 엔벨로프 조절 값은 인코더로부터 수신된 타겟 에너지 및 스케일팩터 대역 내의 모든 QMF 부대역들의 평균 에너지의 비율을 연산하는 대신, 인코더로부터 수신된 타겟 에너지 및 스케일팩터 대역 내의 특정 QMF 부대역의 에너지의 비율로 연산될 수 있다. 그렇게 함으로써, 다른 엔벨로프 조절 값은 스케일팩터 대역 내의 각 QMF 부대역에 대해 결정될 수 있다. 스케일팩터 대역을 위한 수신된 타겟 에너지 값은 전형적으로 오리지널 신호 내의 주파수 범위의 평균 에너지에 대응한다. 이는 어떻게 재생성된 고대역 신호의 대응하는 주파수 대역에 대해 수신된 평균 타겟 에너지를 적용할지 디코더 동작에 따른다. 이는 재생성된 고대역 신호의 스케일팩터 대역 내의 QMF 부대역들에 대해 전체 엔벨로프 조절 값을 적용하는 것에 의해, 또는 각 QMF 부대역에 대한 개별 엔벨로프 조절 값을 적용하는 것에 의해 이루어질 수 있다. 후자의 시도는 고주파 레졸루션을 제공하기 위해 수신된 엔벨로프 정보(즉, 스케일팩터 대역 당 하나의 타겟 에너지)가 스케일팩터 대역 내의 QMF 부대역들에 걸쳐 "보간"되는 것처럼 생각될 수 있다. 따라서, 이 시도는 MPEG-4 SBR에서 "보간"과 같이 참조되어진다.
도 1c로 돌아가서, 엔벨로프 조절기는 오리지널 신호의 스펙트럼(120)을 가지는 엔벨로프 조절기로 진입하는 신호의 스펙트럼(121)을 매치하기 위해, 높은 엔벨로프 조절 값들을 적용할 수 있음을 보일 수 있다. 이는 또한 불연속들에 기인하여, 엔벨로프 조절 값들의 큰 변수들이 제한기 대역들(135) 내에서 발생됨을 보인다. 그러한 큰 변수들의 결과와 같이, 재생성된 스펙트럼(121)의 국소 최소치(local minima)에 대응하는 엔벨로프 조절 값들은 엔벨로프 조절기의 제한기 기능에 의해 제한될 것이다. 결과적으로, 재생성된 스펙트럼(121) 내의 불연속들은 엔벨로프 조절 동작을 수행한 후에도 남겨질 것이다. 다른 측면에서, 어떤 제한기 기능도 사용되지 않는다면, 원하지 않는 노이즈가 앞서 설명된 바와 같이 도입될 수도 있다.
따라서 고대역 신호의 재생성을 위한 문제는 저대역 범위를 넘는 레벨에서 큰 변수들을 가지는 어떤 신호에 대해서 발생한다. 이 문제는 고대역의 고주파 재생성 동안 도입되는 불연속들에 기인한다. 연속된 엔벨로프 조절기가 이 재생성된 신호에 대해 노출될 때, 저대역 신호의 어떤 "실세계(real-world)" 스펙트럼 특징으로부터 새로히 도입된 불연속을 합리성 및 일관성으로 분리할 수 없다. 이 문제의 영향은 두 개의 부분으로 구성된다. 첫째, 스펙트럼 형상이 엔벨로프 조절기가 보상하는 고대역 신호에서 도입된다. 결국, 그 출력은 틀린(wrong) 스펙트럼 형상을 가진다. 둘째, 이 영향이 저대역 스펙트럼 특징의 기능으로 들어오고 나간다는 사실에 기인하여, 불안정한 영향이 감지된다.
본 발명의 문헌은 앞서 언급된 문제를 노출시키지 않는 엔벨로프 조절기의 입력에서 HFR 고대역 신호를 제공하는 방법 및 시스템을 설명하는 것에 의해 스펙트럼 불연속을 노출을 다룬다. 이러한 목적을 위해, 고주파 재생성을 수행할 때, 저대역 신호의 스펙트럼 엔벨로프를 제거 또는 감소하도록 제안된다. 이렇게 하는 것에 의해, 엔벨로프 조절을 수행하기 이전에, 고대역 신호로 어떤 스펙트럼 불연속을 도입하는 것을 방지할 것이다. 결과적으로, 엔벨로프 조절기는 그러한 스펙트럼 불연속들을 조절할 필요는 없다. 특히, 종래의 엔벨로프 조절기가 사용될 수 있다. 그 엔벨로프 조절기의 제한기 기능은 재생성된 고대역 신호로 노이즈의 도입을 방지하도록 사용된다. 다른 말로, 상기 설명된 방법 및 시스템은 거의 없거나 또는 아예 없는 스펙트럼 불연속들 및 낮은 레벨의 노이즈를 가지는 HFR 고대역 신호를 재생성하도록 사용될 수 있다.
엔벨로프 조절기의 시간-레졸루션은 고대역 신호 생성 동안 스펙트럼 엔벨로프의 제안된 프로세싱의 시간 레졸루션과 다를 수 있다. 앞서 나타낸 바와 같이, 고대역 신호 재생성 동안의 스펙트럼 엔벨로프의 프로세싱은 이어지는 엔벨로프 조절기 내에서의 프로세싱을 완화하기 위하여 저대역 신호의 스펙트럼 엔벨로프를 수정하도록 의도된다. 이 프로세싱, 즉, 저대역 신호의 스펙트럼 엔벨로프의 수정은, 예컨대, 오디오 프레임당 한번 수행될 수 있다. 엔벨로프 조절기는 즉, 몇몇 수신된 스펙트럼 엔벨로프들을 이용하여, 몇몇 시간 인터벌들 이상의 스펙트럼 엔벨로프를 조절할 수 있다. 이는 도 1b에 설명된다. 여기서, 스펙트럼 엔벨로프 데이터의 시간-그리드(150)는 상위 패널에 묘사된다. 그리고, 고대역 신호 재생성 동안 저대역 신호의 스펙트럼 엔벨로프의 프로세싱을 위한 시간-그리드(155)는 하위 패널로 묘사된다. 도 1b의 예에서 볼 수 있는 바와 같이, 스펙트럼 엔벨로프 데이터의 시간 경계들은 시간에 걸쳐 다양하다. 반면, 저대역 신호의 스펙트럼 엔벨로프의 프로세싱은 고정된 시간-그리드 상에서 동작한다. 이는, 또한, (시간 경계(150)에 의해 표현되는) 일부 엔벨로프 조절 사이클들은 저대역 신호의 스펙트럼 엔벨로프의 프로세싱의 하나의 사이클 동안 수행될 수 있다는 것을 보일 수 있다. 설명된 실시예에 있어서, 저대역 신호의 스펙트럼 엔벨로프의 프로세싱은 각각의 프레임 기반 상에서 프레임 순차로 동작한다. 이는 다른 복수의 스펙트럼 이득 계수들이 신호의 각 프레임에 대해 결정된다는 것을 의미한다. 저대역 신호의 프로세싱은 어떤 시간-그리드 상에서 동작할 수 있고, 그 시간 그리드의 그러한 프로세싱은 스펙트럼 엔벨로프 데이터의 시간 그리드로 동시에 발생할 필요는 없다는 점에 유의하여야 한다.
도 2에서, 필터뱅크 기반 HFR 시스템(200)이 도시된다. HFR 시스템(200)은 슈도-QMF(pseudo-QMF) 필터뱅크를 이용하여 동작한다. 그리고, 시스템(200)은 도 1a의 사위 패널 상의 도시된 고대역 및 저대역 신호(100)을 생성하기 위해 사용될 수 있다. 하지만, 이득 조절의 추가 단계가 고주파 생성(High Frequency Generation) 프로세스의 일부로 추가된다. 추가된 프로세스는 도시된 실시예에서 카피 업 프로세스이다. 저주파 입력 신호는 복수의 저주파 부대역 신호들을 생성하기 위해 23 서브밴드 QMF(201)에 의해 분석된다. 일부 또는 전부의 저주파 부대역 신호들은 HF(고주파, high frequency) 생성 알고리즘에 따라 높은 주파수 위치들로 패치된다(patched). 추가로, 복수의 저주파 부대역은 합성 필터뱅크(202)로 직접 입력된다. 앞서 언급된 합성 필터뱅크(202)는 64 부대역 역 QMF(202)이다. 도 2에 도시된 개별 구현을 위해, 32 부대역 QMF 분석 필터뱅크(201)의 사용 및 64 부대역 QMF 합성 필터뱅크(202)의 사용은 입력 신호의 2배 입력 샘플링 레이트의 출력 신호의 출력 샘플링 레이트를 따를 것이다. 하지만, 본 문헌에 설명된 시스템이 다른 입력 및 출력 샘플링 레이트들을 가지는 것으로 시스템으로 한정되는 것은 아님을 유의하여야 한다. 다수의 다른 샘플링 레이트 관계가 이 기술분야에서 통상의 지식을 가진자에 의해 예상될 수 있을 것이다.
도 2에 설명된 바와 같이, 저주파들로부터의 부대역들은 고주파들의 부대역들에 매핑된다. 이득 조절 단계(204)는 카피 업 프로세스의 일부로 도입된다. 생성된 고주파 신호, 즉, 생성된 복수의 고주파 부대역 신호들은, 합성 필터뱅크(202)에서 복수의 저주파 부대역 신호들과 함성되기 이전에, (제한기 및/또는 보간 기능을 포함할 수 있는) 엔벨로프 조절기(203)에 입력된다. 그러한 HFR 시스템(200)을 이용하는 것에 의해, 그리고, 특히 이득 조절 단계(204)를 이용하는 것에 의해, 도 1에 도시된 것과 같이, 스펙트럼 엔벨로프 불연속들의 도입이 방지될 수 있다. 이러한 목적을 위해, 이득 조절 단계(204)는 저대역 신호의 스펙트럼 엔벨로프, 즉, 복수의 저주파 부대역 신호들의 스펙트럼 엔벨로프를 수정한다. 이에 따라, 이득 조절 단계(204)는 수정된 저대역 신호가 고대역 신호, 즉, 불연속들, 패치 경계들에서 현저한 불연속들을 노출하지 않는 복수의 고주파 부대역 신호들을 생성하는데에 사용될 수 있도록 한다. 도 1c를 참조하면, 추가 이득 조절 단계(204)는, 생성된 고대역 신호(105, 115)에서 불연속들이 전혀 존재하지 않거나, 또는 제한적인 불연속들이 존재하도록 저대역 신호의 스펙트럼 엔벨로프(101, 111)가 수정될 수 있게 보장한다.
저대역 신호의 스펙트럼 엔벨로프의 수정은 저대역 신호의 스펙트럼 엔벨로프에 대한 이득 곡선을 적용하는 것에 의해 성취될 수 있다. 그러한 이득 곡선은 도 4에 도시된 이득 곡선 결정 유닛(400)에 의해 결정될 수 있다. 모듈(400)은 재생성된 고대역 신호를 위해 사용되는 저대역 신호의 주파수 범위에 대응하는 QMF 데이터(402)를 입력하는 것으로 취해질 수 있다. 다른 말로, 복수의 저주파 부대역 신호들은 이득 곡선 결정 유닛(400)에 대한 입력이다. 이미 지시된 바와 같이, 오직, 저대역 신호의 이용 가능한 QMF 부대역들의 서브세트가 고대역 신호를 생성하기 위해 사용될 수 있다. 즉, 단지, 이용 가능한 QMF 부대역들의 서브세트가 이득 곡선 결정 유닛(400)에 대한 입력으로 사용될 수 있다. 추가로, 모듈(400)은 선택적인 제어 데이터(404)를 수신할 수 있다. 예를 들면, 제어 데이터는 대응하는 인코더로부터 전송된다. 모듈(400)은 고주파 재생성 프로세스 동안 적용되는 이득 곡선(403)를 출력한다. 실시예에 있어서, 이득 곡선(403)은 저대역 신호의 QMF 부대역들에 대해 적용된다. 저대역 신호의 QMF 부대역들은 고대역 신호를 생성하기 위해 사용된다. 즉, 이득 곡선(403)은 HFR 프로세스의 카피 업 프로세스 내에서 사용될 수 있다.
선택적인 제어 데이터(404)는 모듈(400)에서 추정된 코스 스펙트럼 엔벨로프(coarse spectral envelope)의 레졸루션에 대한 정보 및/또는 이득 조절 프로세스를 적용의 적합성에 대한 정보를 포함할 수 있다. 그러한 것처럼, 제어 데이터(404)는 이득 조절 프로세스 동안 포함되는 추가 프로세싱의 양을 제어할 수 있다. 또한, 제어 데이터(404)는, 코스 스펙트럼 엔벨로프 추정에 대해 그들 자체를 제대로 주지 못하는 신호들, 예컨대, 단일 사인곡선을 포함하는 신호들이 발생한다면, 추가 이득 조절 프로세싱의 바이패스(by-pass)를 트리거 할 수 있다.
도 5에서, 도 4에서 모듈(400)의 보다 상세한 뷰(view)가 설명된다. 저대역 신호의 QMF 데이터(402)는 예컨대, 대수의(logarithmic) 에너지 스케일 상의 스펙트럼 엔벨로프를 추정하는 엔벨로프 추정 유닛(501)에 대한 입력이다. 스펙트럼 엔벨로프는 엔벨로프 추정 유닛(501)로부터 수신되는 고(주파) 레졸루션 스펙트럼 엔벨로프로부터 코스 스펙트럼 엔벨로프를 추정하는 모듈(502)에 대한 연속된 입력이다. 일 실시예에 있어서, 이는 스펙트럼 엔벨로프 데이터에 대해 저 차수 다항식, 즉, 예컨대, 1, 2, 3, 또는 4의 범위의 차수의 다항식에 맞춤으로써 이루어진다. 코스 스펙트럼 엔벨로프는 주파수 축을 따라 고 레줄루션 스펙트럼 엔벨로프의 이동 평균 동작(moving average operation)을 수행하는 것에 의해 또한 결정될 수 있다. 저대역 신호의 코스 스펙트럼 엔벨로프(301)의 결정은 도 3에 도시되었다. 이는 저대역 신호의 절대 스펙트럼(absolute spectrum, 302), 즉, QMF 대역 302의 에너지가 코스 스펙트럼 엔벨로프(301),에 의해, 즉, 복수의 저주파 부대역 신호들의 스펙트럼 엔벨로프에 맞는 주파수 종속 곡선에 의해 근사됨을 볼 수 있다. 더욱이, 이는 단지 20 QMF 부대역 신호들이 고대역 신호를 생성하기 위해 사용됨을 보인다. 즉, 단지 32 QMF 부대역 신호들의 일부가 HFR 프로세스 내에서 사용됨을 보인다.
코스 스펙트럼 엔벨로프를 결정하기 위해 사용되는 방법은 고 레졸루션 스펙트럼 엔벨로프에 맞는 특정 다항식의 차수에서 그리고 고 레졸루션 스펙트럼 엔벨로프로부터 선택적인 제어 데이터(404)에 의해 제어될 수 있다. 다항식의 차수는 코스 스펙트럼 엔벨로프(301)가 결정되기 위한 저대역 신호의 주파수 범위(302)의 크기의 함수가 될 수 있거나, 및/또는, 이는 저대역 신호의 관련된 주파수 범위(302)의 전체 코스 스펙트럼 형상과 관련된 다른 파라미터들의 함수가 될 수 있다. 다항식 맞춤(polynomial fitting)은 최소 제곱 에러 감지(least square error sense)에서 데이터를 근사하는 다항식을 연산한다. 다음에 있어서, 바람직한 실시예는 다음의 매트랩 코드의 수단에 의해, 설명된다:
function GainVec = calculateGainVec (LowEnv)
%% function GainVec = calculateGainVec (LowEnv)
% Input : Lowband envelope energy in dB
% Output : gain vector to be applied to the lowband prior to HF-
% generation
%
% The function does a low order polynomial fitting of the low band
% spectral envelope, as a representation of the lowband overall
% spectral slope. The overall slope according to this is subsequently
% translated into a gain vector that can be applied prior to HF-
% generation to remove the overall slope (or coarse spectral shape).
%
% This prevents that the HF generation introduces discontinuities in
% the spectral shape, that will be "confusing" for the subsequent
% envelope adjustment and limiter-process . The "confusion" occurs when
% the envelope adjuster and limiter needs to take care of a large dis-
% continuity, and thus a large gain value. It is very difficult to
% tune and have a proper operation of these modules if they are to
% take care of both "natural" variations in the highband as well as
% the "artificial" variations introduced by the HF generation process.
polyOrderWhite = 3;
x_lowBand = 1 : length (LowEnv) ;
p=polyfit (x_lowBand, LowEnv, polyOrderWhite) ;
lowBandEnvSlope = zeros ( size (x_lowBand) ) ;
for k=polyOrderWhite : -1 : 0
tmp = (x_lowBand. Ak) . *p (polyOrderWhite - k + 1) ;
lowBandEnvSlope = lowBandEnvSlope + tmp;
end
GainVec = 10. Λ ( (mean (LowEnv) - lowBandEnvSlope) ./20) ;
상술한 코드에서, 입력은, 후속의 엔벨로프 조절기에 의해 동작되는 데이터의 현재 시간 프레임에 대응하는 시간 인터벌 상의 부대역 기반 당 평균 QMF 부대역 샘플들에 의해 얻어지는 저대역 신호의 스펙트럼 엔벨로프(LowEnv)이다. 앞서 지시된 바와 같이, 저대역 신호의 이득 조절 프로세싱은 다양한 다른 시간 그리드들 상에서 수행될 수 있다. 상술한 실시예에서, 추정된 절대 스펙트럼 엔벨로프(absolute spectral envelope)는 대수 도메인에서 표현된다. 다항식의 저 차수, 상술한 예에서 다항식의 차수 3은 데이터에 알맞다. 주어진 다항식, 이득 곡선(GainVec)은 데이터에 맞는 다항식으로부터 얻어진 곡선(lowBandEnvSlope)과 저대역 신호의 평균 에너지에서 차이로부터 연산된다. 상술한 예에서, 이득 곡선을 결정하는 동작은 대수 도메인에서 이루어진다.
이득 곡선 연산은 이득 곡선 연산 유닛(503)에 의해 수행된다. 앞서 지시된 바와 같이, 이득 곡선은 고대역 신호를 재생성하기 위해 사용되는 저대역 신호의 일부의 평균 에너지로부터, 그리고, 고대역 신호를 재생성하기 위해 사용되는 저대역 신호의 일부의 스펙트럼 엔벨로프로부터 결정될 수 있다. 특히, 이득 곡선은 예컨대, 다항식에 의해 표현되는, 코스 스펙트럼 엔벨로프 및 평균 에너지의 차이로부터 결정될 수 있다. 즉, 연산된 다항식은, 저대역 신호의 모든 관련된 QMF 부대역을 위해, 스펙트럼 이득 계수로 나타내어지는, 개별 이득 값을 포함하는, 이득 곡선을 결정하도록 사용될 수 있다. 이득 값을 포함하는 이 이득 곡선은 HFR 프로세스에서 연속해서 사용될 수 있다.
실시예와 같이, MPEG-4 SBR에 따른 HFR 생성 프로세스는 다음에서 설명된다. HF 생성된 신호는 다음의 공식에 의해 유도될 수 있다. (문헌 MPEG-4 Part 3 (ISO/IEC 14496-3), 서브 파트 4, 섹션 4.6.18.6.2를 참조하라. 이는 참조로 본 문헌에 포함된다.):
Figure 112013098655472-pat00006
여기서, P는 저대역 신호의 부대역 인덱스이다. 즉, P는 복수의 저주파 부대역 신호들 중 하나를 식별한다. 상술한 HF 생성 공식은 다음의 공식으로 대체될 수 있고, 이는 결합된 이득 조절 및 HF 생성을 수행한다.
Figure 112013098655472-pat00007

여기서, 이득 곡선은 preGain(p)으로 나타내어진다.
예컨대, p 및 k 사이의 관계에 관련된, 카피 업 프로세스의 추가 세부사항은 앞서 언급된 MPEG-4, 파트 3 문헌에서 특정된다. 상술한 공식에서, XLow(p, l)은 부대역 인덱스 p를 가지는 저주파 부대역 신호의 시간 인스탄스 l에서 샘플을 지시한다. 앞선 샘플과 결합에서 이 샘플은 부대역 인덱스 k를 가지는 고주파 부대역 신호 XHigh (k, l)의 샘플을 생성하는 데에 사용된다.
이득 조절의 측면은 어떤 필터뱅크 기반 고주파 복구 시스템에서 사용될 수 있다. 이는 도 6에 도시된다. 여기서, 본 발명은 협대역 또는 저대역 신호(602) 상에서 동작하고, 광대역 또는 고대역 신호(604)를 출력하는 스탠드얼론(standalone) HFR 유닛(601)의 일부이다. 모듈(601)은 입력으로 추가 제어 데이터(603)를 수신할 수 있다. 여기서, 제어 데이터(603)는 예컨대, 고대역 신호의 타겟 스펙트럼 엔벨로프 상의 정보와 함께, 다른 것들, 설명된 이득 조절을 위해 사용되는 프로세싱의 양 중에서, 특정할 수 있다. 하지만, 이러한 파라미터들은 단지 선택적인 제어 데이터(603)의 실시예들이다. 실시예들에서, 관련된 정보는 또한 모듈(601)에 대한 협대역 신호(602) 입력으로부터, 또는, 다른 수단들에 의해, 유도될 수도 있다. 즉, 제어 데이터(603)는 모듈(601)에서 이용 가능한 정보에 기초한 모듈(601) 내에서 결정될 수 있다. 스탠드얼론 HFR 유닛(601)이 복수의 저주파 부대역 신호들을 수신할 수 있고, 복수의 고주파 부대역 신호들을 출력할 수 있다. 즉, 분석/합성 필터뱅크들 또는 변환들이 HFR 유닛(601) 외부에 놓일 수 있음을 유의하여야 한다.
이미 앞서 지시된 바와 같이, 인코더로부터 디코더까지 비트스트림에서 이득 조절된 프로세싱의 활성화를 시그날링하는 것은 이득이 될 수 있다. 어떤 신호 형식들, 예컨대, 단일 사인곡선에 대해, 이득 조절 프로세싱은 관련이 없을 수 있고, 그러므로, 인코더/디코더 시스템이 그러한 코너 케이스 신호(corner case signal)들에 대해 원치 않는 동작이 도입되지 않도록 하기 위해 추가 프로세싱을 끌(turn off) 수 있도록 하는 것은 이득이 될 수 있다. 이러한 목적을 위해, 인코더는 오디오 신호들을 분석하도록 구성될 수 있고, 디코더에서 이득 조절 프로세싱을 켜고(turn on) 끄는(turn off) 제어 데이터를 생성하도록 구성될 수 있다.
도 7에서, 제안된 이득 조절 단계는 오디오 코덱의 일부인 고주파 복원 유닛(703)에 포함된다. 그러한 HFR 유닛(703)의 일 예는 HE(High Efficiency) AAC 코덱 또는 MPEG_D USAC(Unified Speech and Audio Codec)의 일부로 사용되는 MPEG-4 스펙트럼 대역 복제 툴(Spectral Band Replication tool)이다. 이 실시예에 있어서, 비트스트림(704)은 오디오 디코더(700)에서 수신된다. 비트스트림(704)은 역다중화기(701)에서 역다중화된다(demultiplexed). 비트스트림(708)의 SBR 관련 부분은 SBR 모듈 또는 HFR 유닛(703)에 공급된다. 그리고, 코드 코더 관련 비트스트림(707), 예컨대, AAC 데이터 또는 USAC 코더 디코더 데이터는 코어 코더 모듈(702)로 보내진다. 추가로, 저대역 또는 협대역 신호(706)는 코어 디코더(702)로부터 HFR 유닛(703)으로 전달된다. 본 발명은 예컨대, 도 2에서 설명된 시스템에 따라, HFR 유닛(703)에서 SBR 프로세스의 일부로써 포함된다. HFR 유닛(703)은 본 문헌에서 설명된 프로세싱을 이용하여 광대역 또는 고대역 신호(705)를 출력한다.
도 8에서, 고주파 복원 모듈(703)의 실시예가 더 상세하게 설명된다. 도 8은 HF(high frequency) 신호 생성이 시간에 맞춰 다른 인스탄스들에서 다른 HF(high frequency) 생성 모듈들로부터 유도될 수 있는 것을 도시한다. HF 생성은 QMF 기반 카피 업 전위기(803)에 기반을 두거나, 또는 HF 생성은 FFT 기반 조화 전위기(804)에 기반을 둘 수 있다. HF 신호 생성 모듈들 모두에 대해, 저대역 신호는 카피 업(803) 또는 조화 전위(804) 프로세스에서 이득 곡선을 결정하기 위해, (801, 802)에서 HF 생성의 일부로 처리된다. 2개의 전위기들로부터의 출력들은 엔벨로프 조절기(805)에 대한 선택적인 입력이다. 사용을 위한 전위기 신호 상의 결정은 비트스트림(704 또는 708)에 의해 제어된다. QMF 기반 전위기의 카피 업 특성으로 인하여, 저대역 신호의 스펙트럼 엔벨로프의 형상은 조화 전위기를 이용할 때 보다 더욱 분명하게 유지됨을 유의하여야 한다. 이는 전형적으로 카피 업 전위기를 이용할 때 보다 고대역 신호의 스펙트럼 엔벨로프의 더욱 뚜렷한 불연속들을 낳는다. 이는 도 1a의 상위 및 하위 패널들에 도시된다. 따라서, 이는 모듈(803)에서 수행된 QMF 기반 카피 업 방법에 대한 이득 조절을 통합하기 위해 충분할 수 있다. 그럼에도 불구하고, 모듈(804)에서 수행되는 조화 전위에 대해 이득 조절을 적용하는 것은 그것 또한 이득이 될 수 있다.
도 9에서, 대응하는 인코더 모듈이 설명된다. 인코더(901)는 개별 입력 신호(903)을 분석하도록 구성될 수 있고, 그리고, 입력 신호(903)의 개별 형식에 적합한, 이득 조절 프로세싱의 양을 결정할 수 있다. 특히, 인코더(901)는 디코더에서 HFR 유닛(703)에 의해 원인이 될 수 있는 고주파 부대역 신호 상에 불연속의 정도(degree)를 결정할 수 있다. 이러한 목적을 위해, 인코더(901)는 HFR 유닛(703) 또는, HFR 유닛(703)의 적어도 관련된 부분들을 포함할 수 있다. 입력 신호(903)의 분석에 기초하여, 제어 데이터(905)는 대응하는 디코더를 위해 새성될 수 있다. 이득 조절을 디코더에서 수행되도록 영향을 미치는 정보(905)는 오디오 비트스트림(906)과 다중화기(902)에서 결합된다. 그렇게 함으로써, 대응하는 디코더로 전송되는 완전한 비트스트림(904)를 형성한다.
도 10에서, 실세계 신호의 출력 스펙트럼들이 표시된다. 도 10a에서, 12kbps 모노 비트스트림을 디코딩하는 MPEG USAC 디코더의 출력이 도시된다. 실세계 신호의 섹션은 카펠라 레코딩(cappella recording)의 음성 부분이다. 가로 좌표는 시간 축에 대응한다. 반면, 세로 좌표는 주파수 축에 대응한다. 오리지널 신호의 대응하는 스펙트럼 사진을 표시하는 도 10a 내지 도 10c의 스펙트럼 사진을 비교하면, 음성 세그먼트의 마찰음에 대한 스펙트럼에 나타나는 홀들(참조 번호 1001, 1002를 참조하라.)이 존재하는 것이 분명하게 된다. 도 10b에서, 본 발명을 포함하는 MPEG USAC 디코더의 출력의 스펙트럼 사진이 도시된다. 이는 스펙트럼에 홀들이 사라진 스펙트럼 사진으로부터 알 수 있다(참조 번호 1001, 1002에 대응하는 참조 번호들 1003, 1004를 참조하라).
제안된 이득 조절 알고리즘의 복잡도는 가중된 MOPS로 연산된다. 여기서, POW/DIV/TRIG와 같은 함수들은 25 동작들로 가중된다. 그리고, 모든 다른 동작들은 하나의 동작으로 가중된다. 이러한 추정들, 대략 약 0.1 WMOPS에 대한 연산된 복잡도 양들 및 대수롭지 않은 RAM/ROM 사용이 주어진다. 다시 말해서, 제안된 이득 조절 프로세싱은 낮은 프로세싱 및 메모리 용량이 요구된다.
본 문헌에서, 저대역 신호로부터 고대역 신호를 생성하기 위한 방법 및 시스템이 설명되었다. 본 발명 및 시스템은 거의 없거나 또는 아에 없는 스펙트럼 불연속을 가지는 고대역 신호를 생성하도록 구성된다. 그렇게 함으로써, 고주파 복원 방법 및 시스템의 인지적 수행을 향상시킨다. 방법 및 시스템은 기존의 오디오 인코딩/디코딩 시스템들에 간단하게 통합될 수 있다. 특히, 방법 및 시스템은 기존의 오디오 인코딩/디코딩 시스템의 엔벨로프 조절 프로세싱을 수정할 필요 없이 통합될 수 있다. 분명하게, 이는 그들의 의되된 태스크들을 수행할 수 있는 엔벨로프 조절 프로세싱의 제한기 및 보간 기능에 적용된다. 그렇게 함으로써, 설명된 방법 및 시스템은 거의 없거나 또는 아에 없는 스펙트럼 불연속들 및 저 레벨의 노이즈를 가지는 고대역 신호들을 재생성하도록 사용될 수 있다. 더욱이, 제어 데이터의 사용이 설명된다. 여기서, 제어 데이터는 오디오 신호의 형식에 대해 설명된 방법 및 시스템(그리고 컴퓨터 연산 복잡도)의 파라미터들을 적용하도록 사용될 수 있다.
본 문헌에 설명된 방법들 및 시스템들은 소프트웨어, 펌웨어 및/또는 하드웨어로 구현될 수 있다. 어떤 컴포넌트들은 예컨대, 디지털 신호 프로세서 또는 마이크로프로세서 상에서 구동되는 소프트웨어로 구현될 수 있다. 다른 컴포넌트들은 예컨대, 하드웨어 및/또는 ASIC(application specific integrated circuits)으로 구현될 수 있다. 설명된 방법들 및 시스템들에서 접하는 신호들 RAM(random access memory) 또는 광학 저장 매체와 같은 매체 상에 저장될 수 있다. 그들은 예컨대, 인터넷, 무선 네트워크, 위성 네트워크, 무선 네트워크 또는 유선 네트워크와 같은, 네트워크들을 통해 전달될 수 있다. 본 문헌에 설명된 방법 및 시스템을 이용하는 전형적인 장치들은 오디오 신호들을 저장 및/또는 렌더링하도록 사용되는 휴대용 전자 장치들 또는 다른 소비자 장치가 될 수 있다. 상기 방법 및 시스템은 또한 컴퓨터 시스템에서 사용될 수도 있다. 이러한 컴퓨터 시스템은 예를 들면, 오디오 신호들, 예컨대, 다운로드를 위한 음악 신호들을 저장하고 제공하는, 인터넷 웹 서버들이 될 수 있다.
400: 이득 곡선 결정 유닛 501: 엔벨로프 추정
502: 코스 엔벨로프 503: 이득 곡선 연산
601: HFR 유닛 701: 역다중화기
702: 코어 디코더 703: SBR
803: 카피 업
804: 조화 전위(Harmonic transposition)
805: 엔벨로프 조절기 901: 인코더
902: 다중화기(MUX)

Claims (20)

  1. 오디오 신호(903)로부터 제어 데이터(905)를 생성하기 위하여 구성된 인코더(901)에 있어서, 상기 인코더(901)는
    상기 오디오 신호(903)의 스펙트럼 형상을 분석하고, 상기 오디오 신호(903)의 복수의 저주파 부대역 신호(602)들로부터 상기 오디오 신호(903)의 고주파 성분을 재생성할 때 도입되는 스펙트럼 엔벨로프 불연속의 정도를 결정하기 위한 수단; 및
    상기 불연속의 정도에 기초하여 상기 고주파 성분의 재생성을 제어하기 위해 제어 데이터(905)를 생성하기 위한 수단을 포함하는,
    인코더(901).
  2. 제 1 항에 있어서,
    상기 인코더(901)는 복수의 저주파 부대역 신호들로부터 상기 고주파 성분을 생성하기 위하여 HFR 프로세스를 실행하기 위해 구성된, 고주파 복원(HFR) 시스템(601, 703)을 포함하고;
    상기 제어 데이터(905)는 상기 HFR 프로세스 동안에 복수의 스펙트럼 이득 계수를 사용하는지 여부를 표시하고; 및
    상기 복수의 스펙트럼 이득 계수들은 각각의 복수의 저주파 부대역 신호들(602)의 에너지와 관련되는,
    인코더(901).
  3. 제 2 항에 있어서,
    상기 제어 데이터(905)는 복수의 스펙트럼 이득 계수들을 결정하기 위하여 사용하기 위한 다항식 차수를 나타내는,
    인코더(901).
  4. 제 2 항에 있어서,
    상기 제어 데이터(905)는 상기 복수의 스펙트럼 이득 계수들을 결정하기 위한 방법을 나타내는,
    인코더(901).
  5. 제 2 항에 있어서,
    상기 복수의 스펙트럼 이득 계수들은 상기 복수의 저주파 부대역 신호(602)들의 상기 에너지에 적용된 주파수 종속 곡선으로부터 유도되고, 상기 주파수 종속 곡선(403)은 상기 제어 데이터(905)에 의해 표시된 미리 결정된 차수의 다항식인,
    인코더(901).
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 인코더(901)는 상기 복수의 저주파 부대역 신호들의 레벨 다양성의 정도를 결정하기 위해 구성되는,
    인코더(901).
  7. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 제어 데이터(905)를 생성하기 위한 수단은 상기 오디오 신호(903)의 형태를 결정하기 위해 구성된 신호 형태 감지기(signal type detector)를 포함하는,
    인코더(901).
  8. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 제어 데이터(905)는 대응 오디오 디코더에서 실행되도록 이득 조절을 나타내는,
    인코더(901).
  9. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    스펙트럼 엔벨로프 불연속의 정도를 결정하기 위한 수단은 상기 복수의 저주파 부대역 신호들을 평가하기 위해 상기 복수의 저주파 부대역 신호들의 가장 높은 주파수들과 상기 복수의 저주파 부대역 신호들의 가장 낮은 주파수를 연구하여 비율 정보를 결정하기 위해 구성되는,
    인코더(901).
  10. 제 9 항에 있어서,
    상기 비율 정보는 스펙트럼 엔벨로프 불연속의 정도를 나타내는,
    인코더(901).
  11. 제 9 항에 있어서,
    상기 결정된 비율 정보의 값은 스펙트럼 엔벨로프 불연속의 정도를 나타내는,
    인코더(901).
  12. 제 2 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 고주파 복원(HFR) 시스템(601, 703)은,
    타겟 에너지들의 세트를 결정하기 위한 수단으로서, 각각의 타겟 에너지는 상기 고주파 성분에 의해 커버링된 고주파 인터벌 이내에서 상이한 타겟 인터벌(130)을 커버링하고 상기 타겟 인터벌(130) 이내에 놓이는 상기 고주파 성분의 하나 이상의 고주파 부대역 신호들의 의도된 에너지를 표시하는, 수단; 및
    상기 복수의 저주파 부대역 신호들(602)과 상기 복수의 저주파 부대역 신호들(602)과 관련된 상기 복수의 스펙트럼 이득 계수들로부터 각각 상기 고주파 성분의 복수의 고주파 부대역 신호(604)들을 생성하기 위한 수단을 포함하는,
    인코더(901).
  13. 제 12 항에 있어서,
    상기 복수의 고주파 부대역 신호(604)들을 생성하기 위한 수단은 상기 각각의 복수의 스펙트럼 이득 계수들을 이용하여 상기 복수의 저주파 부대역 신호(602)들을 증폭하기 위해 구성되는,
    인코더(901).
  14. 제 12 항에 있어서,
    상기 복수의 고주파 부대역 신호(604)들을 생성하기 위한 수단은
    상기 복수의 저주파 부대역 신호(602)들의 카피 업 전위기(803)를 수행하고; 및/또는
    상기 복수의 저주파 부대역 신호(602)들의 조화 전위(804)를 수행하기 위해 구성되는,
    인코더(901).
  15. 제 14 항에 있어서,
    상기 복수의 고주파 부대역 신호(604)들을 생성하기 위한 수단은
    수정된 샘플들을 산출하기 위하여, 상기 복수의 스펙트럼 이득 계수들의 각각의 스펙트럼 이득 계수를 가지는 저주파 부대역 신호(602)의 샘플들을 곱하고; 및
    특정 시간 인스탄스와 적어도 하나의 선행하는 시간 인스탄스에서 상기 저주파 부대역 신호(602)의 수정된 샘플들로부터 특정 시간 인스탄스에서 대응 고주파 부대역 신호(604)의 샘플를 결정하도록 구성되는,
    인코더(901).
  16. 제 12 항에 있어서,
    상기 복수의 저주파 부대역 신호(602)들과 상기 복수의 고주파 부대역 신호(604)들은 QMF 필터뱅크 및/또는 FFT 의 부대역에 대응하는,
    인코더(901).
  17. 대응하는 고주파 오디오 신호의 스펙트럼 엔벨로프를 묘사하는 타겟 에너지(708)들의 세트 및 저주파 오디오 신호(707)를 표시하는 비트스트림(704)을 디코딩하도록 구성되는 오디오 디코더(700)에 있어서,
    상기 비트스트림(704)은 제어 데이터(905)를 더 표시하고, 상기 오디오 디코더(700)는
    타겟 에너지의 세트와 저주파 오디오 신호(707)과 관련된 복수의 저주파 부대역 신호(602)로부터 복수의 고주파 부대역 신호들을 결정하도록 구성되고, 상기 제어 데이터(905)는 상기 복수의 고주파 부대역 신호들을 결정하기 위한 복수의 스펙트럼 이득 계수들을 또한 이용하는지 여부를 나타내고; 상기 복수의 스펙트럼 이득 계수들은 상기 복수의 저주파 부대역 신호(602)의 에너지와 관련되며; 및
    상기 복수의 저주파 부대역 신호들과 상기 복수의 고주파 부대역 신호들로부터 광대역 오디오 신호를 생성하도록 구성되는,
    오디오 디코더.
  18. 오디오 신호(903)로부터 제어 데이터(905)를 생성하기 위한 방법에 있어서,
    상기 오디오 신호(903)의 복수의 저주파 부대역 신호들로부터 상기 오디오 신호(903)의 고주파 성분을 재생성할 때 도입된 스펙트럼 엔벨로프 불연속의 정도를 결정하기 위해 상기 오디오 신호(903)의 스펙트럼 형태를 분석하는 단계; 및
    상기 불연속의 정도를 기초로 하여 상기 고주파 성분의 재생성을 제어하기 위한 제어 데이터(905)를 생성하는 단계를 포함하는,
    제어 데이터를 생성하기 위한 방법.
  19. 대응하는 고주파 오디오 신호의 스펙트럼 엔벨로프를 묘사하는 타겟 에너지(708)들의 세트와 저주파 오디오 신호(707)를 표시하는 비트스트림(704)을 디코딩하기 위한 방법에 있어서,
    상기 비트스트림(704)은 제어 데이터(905)를 더 표시하고, 상기 방법은
    상기 저주파 오디오 신호(707)와 관련된 복수의 저주파 부대역 신호(602)들과 타겟 에너지들의 세트로부터 복수의 고주파 부대역 신호들을 결정하는 단계로서, 상기 제어 데이터(905)는 복수의 스펙트럼 이득 계수들로부터 상기 복수의 고주파 부대역 신호들을 또한 결정하는지 여부를 나타내고, 상기 복수의 스펙트럼 이득 계수들은 상기 각각의 복수의 저주파 부대역 신호(602)들의 에너지와 관련되는, 복수의 고주파 부대역 신호들을 결정하는 단계; 및
    상기 복수의 저주파 부대역 신호들과 상기 복수의 고주파 부대역 신호들로부터 광대역 오디오 신호를 생성하는 단계를 포함하는,
    타겟 에너지의 세트를 디코딩하기 위한 방법.
  20. 컴퓨터상에서 실행할 때 청구항 제 18 항 또는 제 19 항에 따르는 방법을 실행하기 위한 실행가능한 지시들이 저장된 컴퓨터-판독가능 저장매체.
KR1020137028768A 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱 KR101709095B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US36551810P 2010-07-19 2010-07-19
US61/365,518 2010-07-19
US38672510P 2010-09-27 2010-09-27
US61/386,725 2010-09-27
PCT/EP2011/062068 WO2012010494A1 (en) 2010-07-19 2011-07-14 Processing of audio signals during high frequency reconstruction

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127025034A Division KR101478506B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177004170A Division KR101803849B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱

Publications (2)

Publication Number Publication Date
KR20130127552A KR20130127552A (ko) 2013-11-22
KR101709095B1 true KR101709095B1 (ko) 2017-03-08

Family

ID=44514661

Family Applications (12)

Application Number Title Priority Date Filing Date
KR1020137028768A KR101709095B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020177004170A KR101803849B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020207008479A KR102159194B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020197027754A KR102095385B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020227029401A KR102632248B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020207026757A KR102304093B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020187027314A KR101964180B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020127025034A KR101478506B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020217029381A KR102438565B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020197008507A KR102026677B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020177033403A KR101907017B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020247003321A KR20240023667A (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱

Family Applications After (11)

Application Number Title Priority Date Filing Date
KR1020177004170A KR101803849B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020207008479A KR102159194B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020197027754A KR102095385B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020227029401A KR102632248B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020207026757A KR102304093B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020187027314A KR101964180B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020127025034A KR101478506B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020217029381A KR102438565B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020197008507A KR102026677B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020177033403A KR101907017B1 (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱
KR1020247003321A KR20240023667A (ko) 2010-07-19 2011-07-14 고주파 복원 동안 오디오 신호들의 프로세싱

Country Status (19)

Country Link
US (6) US9117459B2 (ko)
EP (11) EP2765572B1 (ko)
JP (10) JP5753893B2 (ko)
KR (12) KR101709095B1 (ko)
CN (2) CN104575517B (ko)
AU (8) AU2011281735B2 (ko)
BR (2) BR122019024695B1 (ko)
CA (10) CA3209829A1 (ko)
CL (1) CL2012002699A1 (ko)
DK (2) DK2765572T3 (ko)
ES (10) ES2712304T3 (ko)
HK (3) HK1199973A1 (ko)
MX (1) MX2012010854A (ko)
MY (2) MY154277A (ko)
NO (1) NO2765572T3 (ko)
PL (10) PL3544008T3 (ko)
RU (3) RU2530254C2 (ko)
SG (3) SG10201505469SA (ko)
WO (1) WO2012010494A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971551B2 (en) 2009-09-18 2015-03-03 Dolby International Ab Virtual bass synthesis using harmonic transposition
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
KR101709095B1 (ko) 2010-07-19 2017-03-08 돌비 인터네셔널 에이비 고주파 복원 동안 오디오 신호들의 프로세싱
JP6075743B2 (ja) * 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
EP2830062B1 (en) * 2012-03-21 2019-11-20 Samsung Electronics Co., Ltd. Method and apparatus for high-frequency encoding/decoding for bandwidth extension
US9173041B2 (en) * 2012-05-31 2015-10-27 Purdue Research Foundation Enhancing perception of frequency-lowered speech
CN104704855B (zh) * 2012-10-15 2016-08-24 杜比国际公司 用于减小基于换位器的虚拟低音系统中的延迟的系统及方法
CN110265047B (zh) * 2013-04-05 2021-05-18 杜比国际公司 音频信号的解码方法和解码器、介质以及编码方法
JP6305694B2 (ja) * 2013-05-31 2018-04-04 クラリオン株式会社 信号処理装置及び信号処理方法
ES2635026T3 (es) 2013-06-10 2017-10-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y procedimiento de codificación, procesamiento y decodificación de envolvente de señal de audio por división de la envolvente de la señal de audio utilizando cuantización y codificación de distribución
RU2662921C2 (ru) 2013-06-10 2018-07-31 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для кодирования, обработки и декодирования огибающей аудиосигнала путем моделирования представления совокупной суммы с использованием квантования и кодирования распределения
ES2836194T3 (es) * 2013-06-11 2021-06-24 Fraunhofer Ges Forschung Dispositivo y procedimiento para la extensión de ancho de banda para señales acústicas
ES2697474T3 (es) * 2013-06-21 2019-01-24 Fraunhofer Ges Forschung Decodificador de audio que tiene un módulo de extensión de ancho de banda con un módulo de ajuste de energía
TWI557726B (zh) * 2013-08-29 2016-11-11 杜比國際公司 用於決定音頻信號的高頻帶信號的主比例因子頻帶表之系統和方法
US9666202B2 (en) * 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same
CN105531762B (zh) 2013-09-19 2019-10-01 索尼公司 编码装置和方法、解码装置和方法以及程序
US10163447B2 (en) * 2013-12-16 2018-12-25 Qualcomm Incorporated High-band signal modeling
KR102356012B1 (ko) 2013-12-27 2022-01-27 소니그룹주식회사 복호화 장치 및 방법, 및 프로그램
US20150194157A1 (en) * 2014-01-06 2015-07-09 Nvidia Corporation System, method, and computer program product for artifact reduction in high-frequency regeneration audio signals
CN106409303B (zh) 2014-04-29 2019-09-20 华为技术有限公司 处理信号的方法及设备
EP2980794A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
TWI758146B (zh) * 2015-03-13 2022-03-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
TWI752166B (zh) * 2017-03-23 2022-01-11 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
WO2019023488A1 (en) * 2017-07-28 2019-01-31 Dolby Laboratories Licensing Corporation METHOD AND SYSTEM FOR PROVIDING MULTIMEDIA CONTENT TO A CUSTOMER
EP3729298A1 (en) 2017-12-19 2020-10-28 Dolby International AB Methods and apparatus systems for unified speech and audio decoding improvements
TWI702594B (zh) * 2018-01-26 2020-08-21 瑞典商都比國際公司 用於音訊信號之高頻重建技術之回溯相容整合
CN111886879B (zh) * 2018-04-04 2022-05-10 哈曼国际工业有限公司 一种用于在音频输出中产生自然空间变化的系统和方法
SG11202010374VA (en) * 2018-04-25 2020-11-27 Dolby Int Ab Integration of high frequency audio reconstruction techniques
AU2019257701A1 (en) 2018-04-25 2020-12-03 Dolby International Ab Integration of high frequency reconstruction techniques with reduced post-processing delay
CN117079657B (zh) * 2023-10-16 2024-01-26 中国铁塔股份有限公司 压限处理方法、装置、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087304A1 (en) 2000-11-14 2002-07-04 Kristofer Kjorling Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
WO2007037361A1 (ja) 2005-09-30 2007-04-05 Matsushita Electric Industrial Co., Ltd. 音声符号化装置および音声符号化方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3587251T2 (de) 1984-12-20 1993-07-15 Gte Laboratories Inc Anpassbares verfahren und vorrichtung fuer sprachkodierung.
DE3943879B4 (de) * 1989-04-17 2008-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Digitales Codierverfahren
SE512719C2 (sv) 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
US6385573B1 (en) * 1998-08-24 2002-05-07 Conexant Systems, Inc. Adaptive tilt compensation for synthesized speech residual
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
JP4842483B2 (ja) 1999-12-24 2011-12-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャネルオーディオ信号処理装置及び方法
SE0004187D0 (sv) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
SE0004818D0 (sv) * 2000-12-22 2000-12-22 Coding Technologies Sweden Ab Enhancing source coding systems by adaptive transposition
AU2002352182A1 (en) * 2001-11-29 2003-06-10 Coding Technologies Ab Methods for improving high frequency reconstruction
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
JP2004010415A (ja) 2002-06-06 2004-01-15 Kawasaki Refract Co Ltd マグクロ質吹き付け補修材
JP3579047B2 (ja) * 2002-07-19 2004-10-20 日本電気株式会社 オーディオ復号装置と復号方法およびプログラム
JP4313993B2 (ja) 2002-07-19 2009-08-12 パナソニック株式会社 オーディオ復号化装置およびオーディオ復号化方法
CN100492492C (zh) * 2002-09-19 2009-05-27 松下电器产业株式会社 音频解码设备和方法
EP1568012B1 (en) 2002-11-29 2007-12-12 Koninklijke Philips Electronics N.V. Audio decoding
KR100524065B1 (ko) 2002-12-23 2005-10-26 삼성전자주식회사 시간-주파수 상관성을 이용한 개선된 오디오 부호화및/또는 복호화 방법과 그 장치
US7318035B2 (en) 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
JP2005040749A (ja) 2003-07-25 2005-02-17 Toyo Ink Mfg Co Ltd 紫外線硬化型塗料組成物の硬化方法
US7949057B2 (en) 2003-10-23 2011-05-24 Panasonic Corporation Spectrum coding apparatus, spectrum decoding apparatus, acoustic signal transmission apparatus, acoustic signal reception apparatus and methods thereof
RU2374703C2 (ru) * 2003-10-30 2009-11-27 Конинклейке Филипс Электроникс Н.В. Кодирование или декодирование аудиосигнала
RU2323551C1 (ru) 2004-03-04 2008-04-27 Эйджир Системс Инк. Частотно-ориентированное кодирование каналов в параметрических системах многоканального кодирования
RU2381571C2 (ru) * 2004-03-12 2010-02-10 Нокиа Корпорейшн Синтезирование монофонического звукового сигнала на основе кодированного многоканального звукового сигнала
WO2006003813A1 (ja) 2004-07-02 2006-01-12 Matsushita Electric Industrial Co., Ltd. オーディオ符号化及び復号化装置
US20080071550A1 (en) * 2006-09-18 2008-03-20 Samsung Electronics Co., Ltd. Method and apparatus to encode and decode audio signal by using bandwidth extension technique
RU2420815C2 (ru) 2006-10-25 2011-06-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для генерации значений подполос звукового сигнала и устройство и способ для генерации отсчетов звукового сигнала во временной области
US8295507B2 (en) * 2006-11-09 2012-10-23 Sony Corporation Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
US8189812B2 (en) * 2007-03-01 2012-05-29 Microsoft Corporation Bass boost filtering techniques
KR101355376B1 (ko) * 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
CN101790756B (zh) * 2007-08-27 2012-09-05 爱立信电话股份有限公司 瞬态检测器以及用于支持音频信号的编码的方法
JP5098530B2 (ja) * 2007-09-12 2012-12-12 富士通株式会社 復号化装置、復号化方法および復号化プログラム
EP2045801B1 (en) * 2007-10-01 2010-08-11 Harman Becker Automotive Systems GmbH Efficient audio signal processing in the sub-band regime, method, system and associated computer program
EP2218068A4 (en) * 2007-11-21 2010-11-24 Lg Electronics Inc METHOD AND APPARATUS FOR SIGNAL PROCESSING
CN101458930B (zh) * 2007-12-12 2011-09-14 华为技术有限公司 带宽扩展中激励信号的生成及信号重建方法和装置
CA2708861C (en) * 2007-12-18 2016-06-21 Lg Electronics Inc. A method and an apparatus for processing an audio signal
ATE500588T1 (de) 2008-01-04 2011-03-15 Dolby Sweden Ab Audiokodierer und -dekodierer
KR101413968B1 (ko) * 2008-01-29 2014-07-01 삼성전자주식회사 오디오 신호의 부호화, 복호화 방법 및 장치
WO2010003557A1 (en) * 2008-07-11 2010-01-14 Frauenhofer- Gesellschaft Zur Förderung Der Angewandten Forschung E. V. Apparatus and method for generating a bandwidth extended signal
BRPI0917953B1 (pt) * 2008-08-08 2020-03-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparelho de atenuação de espectro, aparelho de codificação, aparelho terminal de comunicação, aparelho de estação base e método de atenuação de espectro.
JP2010079275A (ja) * 2008-08-29 2010-04-08 Sony Corp 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
CA3231911A1 (en) * 2009-01-16 2010-07-22 Dolby International Ab Cross product enhanced harmonic transposition
DK2211339T3 (en) * 2009-01-23 2017-08-28 Oticon As listening System
KR101622950B1 (ko) * 2009-01-28 2016-05-23 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 그 장치
JP4945586B2 (ja) * 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
EP2239732A1 (en) * 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
CN101521014B (zh) * 2009-04-08 2011-09-14 武汉大学 音频带宽扩展编解码装置
TWI643187B (zh) * 2009-05-27 2018-12-01 瑞典商杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
EP2486564B1 (en) * 2009-10-21 2014-04-09 Dolby International AB Apparatus and method for generating high frequency audio signal using adaptive oversampling
ES2906085T3 (es) * 2009-10-21 2022-04-13 Dolby Int Ab Sobremuestreo en un banco de filtros de reemisor combinado
KR101709095B1 (ko) 2010-07-19 2017-03-08 돌비 인터네셔널 에이비 고주파 복원 동안 오디오 신호들의 프로세싱
US9047875B2 (en) 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087304A1 (en) 2000-11-14 2002-07-04 Kristofer Kjorling Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
JP2006079106A (ja) 2000-11-14 2006-03-23 Coding Technologies Ab 適応ろ波による高周波復元符号化方法の知覚性能の強化方法
WO2007037361A1 (ja) 2005-09-30 2007-04-05 Matsushita Electric Industrial Co., Ltd. 音声符号化装置および音声符号化方法

Also Published As

Publication number Publication date
ES2807248T3 (es) 2021-02-22
JP6993523B2 (ja) 2022-01-13
JP2022031889A (ja) 2022-02-22
AU2022215250A1 (en) 2022-09-01
CA3203400A1 (en) 2012-01-26
ES2908348T3 (es) 2022-04-28
PL3285258T3 (pl) 2019-05-31
CA3209829A1 (en) 2012-01-26
SG183501A1 (en) 2012-09-27
PL3544008T3 (pl) 2020-08-24
CA2920930A1 (en) 2012-01-26
JP6523234B2 (ja) 2019-05-29
MX2012010854A (es) 2012-10-15
US11031019B2 (en) 2021-06-08
PL4016527T3 (pl) 2023-05-22
JP7228737B2 (ja) 2023-02-24
RU2014127177A (ru) 2016-02-10
EP3291230B1 (en) 2019-04-17
SG10201505469SA (en) 2015-08-28
JP2013531265A (ja) 2013-08-01
KR101907017B1 (ko) 2018-12-05
US11568880B2 (en) 2023-01-31
KR101478506B1 (ko) 2015-01-06
EP3723089B1 (en) 2022-01-19
RU2659487C2 (ru) 2018-07-02
ES2727300T3 (es) 2019-10-15
JP2022141919A (ja) 2022-09-29
KR102026677B1 (ko) 2019-09-30
PL3291230T3 (pl) 2019-08-30
PL2765572T3 (pl) 2018-01-31
BR112012024360B1 (pt) 2020-11-03
EP2765572A1 (en) 2014-08-13
AU2018214048B2 (en) 2020-07-30
CA3087957A1 (en) 2012-01-26
AU2011281735A1 (en) 2012-09-13
KR102632248B1 (ko) 2024-02-02
RU2018120544A (ru) 2019-12-04
AU2021277643A1 (en) 2021-12-23
EP3723089A1 (en) 2020-10-14
HK1249653B (zh) 2020-01-03
CA2792011A1 (en) 2012-01-26
CA2792011C (en) 2016-04-26
AU2021277643B2 (en) 2022-05-12
AU2014203424B2 (en) 2016-02-11
ES2798144T3 (es) 2020-12-09
RU2530254C2 (ru) 2014-10-10
US10283122B2 (en) 2019-05-07
EP2596497B1 (en) 2014-05-28
JP6035356B2 (ja) 2016-11-30
KR102095385B1 (ko) 2020-03-31
KR20200035175A (ko) 2020-04-01
ES2484795T3 (es) 2014-08-12
US20190221220A1 (en) 2019-07-18
CN104575517A (zh) 2015-04-29
PL3544007T3 (pl) 2020-11-02
WO2012010494A1 (en) 2012-01-26
US20180144753A1 (en) 2018-05-24
AU2011281735B2 (en) 2014-07-24
MY154277A (en) 2015-05-29
CA3072785A1 (en) 2012-01-26
HK1199973A1 (en) 2015-07-24
EP3544009B1 (en) 2020-05-27
KR102159194B1 (ko) 2020-09-23
KR20240023667A (ko) 2024-02-22
AU2016202767A1 (en) 2016-05-19
EP3291230A1 (en) 2018-03-07
EP3288032B1 (en) 2019-04-17
KR20210118205A (ko) 2021-09-29
CA2920930C (en) 2019-01-29
KR20190112824A (ko) 2019-10-07
CA3163657A1 (en) 2012-01-26
RU2758466C2 (ru) 2021-10-28
PL3544009T3 (pl) 2020-10-19
ES2801324T3 (es) 2021-01-11
KR20170020555A (ko) 2017-02-22
JP2023162400A (ja) 2023-11-08
AU2020233759B2 (en) 2021-09-16
KR102304093B1 (ko) 2021-09-23
JP2021092811A (ja) 2021-06-17
JP5753893B2 (ja) 2015-07-22
CA3146617C (en) 2022-08-02
CA3234274A1 (en) 2012-01-26
US20210366494A1 (en) 2021-11-25
EP4016527A1 (en) 2022-06-22
AU2020233759A1 (en) 2020-10-08
CL2012002699A1 (es) 2012-12-14
ES2644974T3 (es) 2017-12-01
US20120328124A1 (en) 2012-12-27
EP3285258B1 (en) 2018-12-19
AU2018214048A1 (en) 2018-08-23
US9911431B2 (en) 2018-03-06
KR20190034361A (ko) 2019-04-01
CN104575517B (zh) 2018-06-01
CA3027803C (en) 2020-04-07
EP2596497A1 (en) 2013-05-29
JP7345694B2 (ja) 2023-09-15
CN103155033B (zh) 2014-10-22
EP2765572B1 (en) 2017-08-30
BR122019024695B1 (pt) 2024-02-20
AU2022215250B2 (en) 2023-02-02
EP3544007A1 (en) 2019-09-25
ES2712304T3 (es) 2019-05-10
EP3544008B1 (en) 2020-05-20
EP3288032A1 (en) 2018-02-28
JP6845962B2 (ja) 2021-03-24
ES2727460T3 (es) 2019-10-16
MY177748A (en) 2020-09-23
KR101803849B1 (ko) 2017-12-04
KR20170130627A (ko) 2017-11-28
JP7477700B2 (ja) 2024-05-01
AU2023202541A1 (en) 2023-05-11
KR20180108871A (ko) 2018-10-04
KR20220123333A (ko) 2022-09-06
US20150317986A1 (en) 2015-11-05
CA3203400C (en) 2023-09-26
KR101964180B1 (ko) 2019-04-01
EP3544008A1 (en) 2019-09-25
DK2596497T3 (da) 2014-07-21
US9640184B2 (en) 2017-05-02
JP2019144584A (ja) 2019-08-29
HK1249798B (zh) 2020-04-24
CN103155033A (zh) 2013-06-12
CA3087957C (en) 2022-03-22
EP4016527B1 (en) 2023-02-22
BR112012024360A2 (pt) 2016-05-24
PL2596497T3 (pl) 2014-10-31
US20170178665A1 (en) 2017-06-22
ES2942867T3 (es) 2023-06-07
EP3544009A1 (en) 2019-09-25
KR20120123720A (ko) 2012-11-09
JP7114791B2 (ja) 2022-08-08
CA3146617A1 (en) 2012-01-26
DK2765572T3 (da) 2017-11-06
EP4210051A1 (en) 2023-07-12
JP2015111277A (ja) 2015-06-18
EP3285258A1 (en) 2018-02-21
RU2018120544A3 (ko) 2021-08-17
JP2020170186A (ja) 2020-10-15
PL3723089T3 (pl) 2022-04-25
JP6727374B2 (ja) 2020-07-22
AU2014203424A1 (en) 2014-07-10
NO2765572T3 (ko) 2018-01-27
CA3027803A1 (en) 2012-01-26
EP3544007B1 (en) 2020-06-17
PL3288032T3 (pl) 2019-08-30
CA3072785C (en) 2020-09-01
KR20200110478A (ko) 2020-09-23
US9117459B2 (en) 2015-08-25
JP2023053242A (ja) 2023-04-12
CA3163657C (en) 2023-08-15
RU2012141098A (ru) 2014-05-10
AU2016202767B2 (en) 2018-05-17
JP2017062483A (ja) 2017-03-30
SG10202107800UA (en) 2021-09-29
KR102438565B1 (ko) 2022-08-30
KR20130127552A (ko) 2013-11-22

Similar Documents

Publication Publication Date Title
KR101709095B1 (ko) 고주파 복원 동안 오디오 신호들의 프로세싱

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant