KR20230003596A

KR20230003596A - 고조파 전위에 기초하여 개선된 서브밴드 블록

Info

Publication number: KR20230003596A
Application number: KR1020227043442A
Authority: KR
Inventors: 라스 빌모에스
Original assignee: 돌비 인터네셔널 에이비
Priority date: 2010-01-19
Filing date: 2011-01-05
Publication date: 2023-01-06
Also published as: US20180075865A1; KR102343135B1; CA3166284C; PL4120263T3; EP3564955A1; US11341984B2; JP6834034B2; ES2955433T3; US20160343386A1; CN104318930A; US20150032461A1; PL2526550T3; CA3166284A1; CA3225485A1; CN104318928B; US20200388300A1; EP4120263B1; BR122020020536B1; JP2021073535A; PL4120264T3

Abstract

본 발명은 예컨대, 신호 기간을 유지되는 스펙트럼 콘텐츠로 연장시키는 타임 스트레처 및 익사이터(exciter)와 같은, 디지털 효과 프로세서들과 함께, 고주파 복원(HFR, high frequency reconstruction)을 위한 고조파 전위 방법을 이용하는 오디오 소스 코딩 시스템에 관련된 것이다. 시스템 및 방법은 입력 신호로부터 타임 스트레치된 신호 및/또는 주파수 전위된 신호를 생성하도록 구성된다. 시스템은 입력 신호로부터 분석 서브밴드 신호를 제공하도록 구성된 분석 필터뱅크(101)를 포함하며, 상기 분석 서브밴드 신호는 복수의 복소값 분석 샘플들을 포함하며, 복수의 복소값 분석 샘플들 각각은 위상(phase) 및 크기(magnitude)를 가지는 것을 특징으로 한다. 게다가, 상기 시스템은 서브밴드 전위 팩터

및 서브밴드 스트레치 팩터

를 이용하여, 상기 분석 서브밴드 신호로부터 합성 서브밴드 신호를 결정하도록 구성된 서브밴드 프로세싱 유닛(102)을 포함한다. 상기 서브밴드 프로세싱 유닛(102)은 블록 기반 비선형 프로세싱을 수행한다. 여기서, 합성 서브밴드 신호의 샘플들의 크기는 분석 서브밴드 신호의 미리 결정된 샘플 및 분석 서브밴드 신호의 대응하는 샘플들의 크기로부터 결정된다. 추가로, 시스템은 합성 서브밴드 신호로부터 주파수 전위 신호 및/또는 타임 스트레치된 신호를 생성하도록 구성된 합성 필터뱅크(103)를 포함한다.

Description

고조파 전위에 기초하여 개선된 서브밴드 블록{IMPROVED SUBBAND BLOCK BASED HARMONIC TRANSPOSITION}

본 문헌은 고주파 복원(HFR, high frequency reconstruction)을 위한 고조파 전위(harmonic transposition) 방법을 이용하는 오디오 소스 코딩 시스템에 관련된 것이다. 또한, 본 문헌은 고조파 디지털 이펙트 프로세서(digital effect process -or)들, 예컨대, 익사이터(exciter)들에 관한 것이다. 여기서, 고조파 왜곡의 생성은 프로세스된 신호에 대해 휘도(brightness)를 추가한다. 그리고 본 문헌은 신호 간격이 유지된 스펙트럼 콘텐츠로 연장되는 타임 스트레처들에 관한 것이다.

특허 문헌 WO98/57436에서, 전위(transposition)의 개념이 오디오 신호의 저주파 대역으로부터 고주파 대역을 재생성하기 위한 방법으로 정립되었다. 비트레이트에서 상당한 절약이 오디오 코딩에서 이 개념을 사용하여 얻어질 수 있다. HFR 기반의 오디오 코딩 시스템에서, 신호의 저주파 성분으로 나타내어지는 저(낮은) 대역폭 신호는 코어 파형 코더에 제공된다. 그리고 신호의 고주파 성분으로 나타내어지는, 고주파들은 디코더 측에서 고주파 성분의 타겟 스펙트럼 형상을 설명하는 매우 낮은 비트레이트의 추가 사이드 정보 및 신호 변조를 이용하여 재생성된다. 낮은 비트레이트에서, 코어 코딩 신호의 대역폭, 즉, 저 대역 신호 또는 저주파 성분은 내로우하며(narrow), 이는 지각적으로 편안한 특성을 가지는, 고대역 신호를 재생성하기 위해 점점 더 중요해진다. 특허 문서 WO98/57436에 정의된 고조파 변조(harmonic transposition)는, 저(낮은) 교차(크로스 오버, cross over) 주파수를 가지는 상황에서, 복합 음악 소재에 대해 그 수행이 제대로 이루어진다. 이 문헌 WO98/57436은 참조로서 포함된다. 고조파 전위의 원리는 주파수

를 가지는 사인파는 주파수

를 가지는 사인 곡선에 매핑되는 것이다. 여기서,

는 전이의 차수를 정의하는 정수이다. 이에 대조하여, HFR에 기초한 SSB(single sideband modulation)는 주파수

를 가지는 사인 곡선을 주파수

를 가지는 사인 곡선에 매핑한다. 여기서,

는 고정된 주파수 시프트이다. 전형적으로, 저 대역폭을 가지는 주어진 코어 신호, 귀에 거슬리는 불협화음(dissonant)이 울리는 인공음이 SSB 전위(transposition)로부터 출력된다. 이러한 인공음에 기인하여, 고조파 전위 기반 HFR은 SSB 기반 HFR 상에서 선택된다.

향상된 오디오 품질을 달성하기 위해, 고 품질 고조파 전이 기반 HFR 방법은 미세 주파수 레졸루션을 가지는 복합 변조 필터뱅크 및 요구되는 오디오 품질을 달성하기 위한 고차원의 오버샘플링을 채택한다. 미세 주파수 레졸루션은 일반적으로, 복수의 사인 곡선들의 합들로 간주될 수 있는 다른 서브밴드 신호들의 처리(process) 또는 비선형 처리(treatment)로부터 발생하는 원하지 않는 상호 변조(intermodulation) 왜곡 을 피하기 위해 채택된다. 충분히 협소한 서브밴드, 즉, 충분한 고주파 레졸루션, 고품질 고조파 전위 기반 HFR 방법은 각 서브밴드에서 많아도 하나의 사인 곡선을 가지는 것을 목표로 한다. 결과적으로, 비선형 프로세싱에 의해 유발되는 상호 변조 왜곡을 피할 수 있다. 다른 측면에서, 시간에서 고차의 오버샘플링은 알리아스 형식의 왜곡을 피하기 위해 이득이 될 수 있다. 이는 필터 뱅크들 및 비선형 프로세싱에 의해 유발될 수 있다. 추가로, 주파수에서 어떤 차원의 오버샘플링은 서브밴드 신호들의 비선형 프로세싱에 의해 유발되는 일시적인 신호들에 대해 프리에코(pre-echoe)를 피하기 위해 필요하다.

게다가, 고조파 전위 기반 HFR 방법들은 일반적으로 필터 뱅크 기반 프로세싱이 2개의 블록들을 사용한다. 고조파 전위 기반 HFR의 제1 부분은 전형적으로 저주파수 신호 성분으로부터 고주파 신호 성분을 생성하기 위해 시간 및/또는 주파수 오버샘플링과, 고주파 레볼루션을 가지는 분석/합성 필터뱅크를 채택한다. 고조파 전위 기반 HFR의 제2 부분은 전형적으로, 비교적 정밀하지 못한(coarse) 주파수 해상도를 가지는 필터뱅크, 예컨대, QMF 필터뱅크를 채택한다. 이 필터뱅크는 고주파 성분에 대한 HFR 정보 또는 스펙트럼 측면 정보에 적용하는데에 사용된다. 즉, 요구되는 스펙트럼 형태(shape)를 가지는 고주파 성분을 생성하기 위한 소위 HFR 프로세싱을 수행하기 위해 사용된다. 필터뱅크의 제2 부분은 또한 디코딩된 오디오 신호를 제공하기 위해 수정된 고주파 신호 성분을 가지는 저주파 신호 성분을 합성하기 위해 사용된다.

시간 및/또는 주파수 오버샘플링과 함께, 고주파 레졸루션을 가지는 분석/합성 필터뱅크들을 사용한 결과로써, 그리고, 2개의 블록들의 필터뱅크들의 시퀀스를 사용한 결과로써, 고조파 전위 기반 HFR의 연산 복잡도는 비교적 높을 수 있다. 그 다음, 감소된 연산 복잡도를 가지는 고조파 전위 기반 HFR 방법들을 제공하도록 하는 요구가 있다. 이는 동시에, 다양한 형식의 오디오 신호들(예컨대, 일시적이고 정적인 오디오 신호들)을 위한 좋은 오디오 품질을 제공한다.

본 발명의 목적은 신호의 저주파 성분으로부터 신호의 고주파 성분을 생성하기 위한 시스템 및 방법을 제공함에 있다.

본 발명의 일 실시예에 따른 서브밴드 프로세싱 유닛(102)은 분석 서브밴드 신호로부터 합성 서브밴드 신호를 결정하기 위해 구성되고; 상기 분석 서브밴드 신호는 상이한 시간에서 복수의 복소값의 분석 샘플들을 포함하고, 각각의 복수의 복소값 분석 샘플들은 위상과 크기를 가지고; 상기 분석 서브밴드 신호는 입력 오디오 신호의 주파수 대역과 관련되는 서브밴드 프로세싱 유닛(102)으로서, 상기 서브밴드 프로세싱 유닛(102)은 :

상기 복수의 복소값 분석 샘플들로부터 L 개의 입력 샘플들의 프레임을 반복적으로 유도하며; 상기 L은 1보다 크며; 그리고, L 개의 입력 샘플들의 다음 프레임을 유도하기 전, 상기 복수의 복소값 분석 샘플들에 대해 블록 홉 크기

를 적용하여; L 개의 입력 샘플들의 프레임들의 묶음(suite)을 생성하도록 구성되는, 블록 추출기(201);

프레임의 프로세싱된 샘플들 각각에 대해:

정수(integer)인 위상 수정 팩터에 의해 조정된 미리 결정된 입력 샘플의 위상 및 대응하는 입력 샘플의 위상의 합에 기초하여 프로세싱된 샘플의 위상, 및

상기 대응하는 입력 샘플의 크기에 기초하여 프로세싱된 샘플의 크기,

를 결정함으로써, 입력 샘플들의 프레임으로부터 프로세싱된 샘플들의 프레임을 결정하도록 구성된 비선형 프레임 프로세싱 유닛(202);

프로세싱된 샘플들의 프레임들의 묶음의 샘플들을 오버랩하고 추가하는 것에 의해 상기 합성 서브밴드 신호를 결정하도록 구성된 오버랩 및 추가 유닛(204)으로서, 상기 합성 서브밴드 신호는 상기 입력 오디오 신호에 대하여 타임 스트레치된 (time stretched) 및/또는 주파수 전위된(frequency transposed) 신호의 주파수 대역과 관련되는, 오버랩 및 추가 유닛(204);

을 포함한다.

본 발명의 다른 실시예에 따른 합성 서브밴드 신호를 생성하기 위한 방법은 입력 오디오 신호에 대하여 타임 스트레치된 및/또는 주파수 전위된 신호의 주파수 대역과 관련되는 합성 서브밴드 신호를 생성하기 위한 방법으로서, 상기 방법은:

상기 입력 오디오 신호의 주파수 대역과 관련되는 분석 서브밴드 신호를 제공하는 단계로서, 상기 분석 서브밴드 신호는 상이한 시간에서 복수의 복소값 분석 샘플들을 포함하고, 각각의 복소값 분석 샘플들은 위상과 크기를 가지는, 분석 서브밴드 신호를 제공하는 단계;

상기 복수의 복소값 분석 샘플들로부터 L 개의 입력 샘플들의 프레임을 유도하는 단계로서, 프레임 길이 L은 1보다 큰, 입력 샘플들의 프레임을 유도하는 단계 ;

L 개의 입력 샘플들의 다음 프레임을 유도하기 전, 상기 복수의 복소값 분석 샘플들에 대해 블록 홉 크기

를 적용하여, 입력 샘플들의 프레임들의 묶음(sui -te)을 생성하는 단계;

프레임의 프로세싱된 샘플들 각각에 대해,

상기 대응하는 입력 샘플의 크기에 기초하여 상기 프로세싱된 샘플의 크기,

를 결정함으로써, 입력 샘플들의 프레임으로부터 프로세싱된 샘플들의 프레임을 결정하는 단계; 및

프로세싱된 샘플들의 프레임들의 묶음의 샘플들을 오버랩(overlapping)하고 추가하는 것에 의해 합성 서브밴드 신호를 결정하는 단계;

를 포함한다.

본 발명의 또 다른 실시예에 따른 저장 매체는 컴퓨팅 장치상에서 수행될 때, 상기 합성 서브밴드 신호를 생성하기 위한 방법의 단계들을 수행하기 위해 그리고, 프로세서상에서의 실행을 위해 사용된 소프트웨어 프로그램을 포함한다.

본 발명은 신호의 저주파 성분으로부터 신호의 고주파 성분을 생성하기 위한 시스템 및 방법을 제공할 수 있는 효과가 있다.

본 발명은, 이제, 첨부된 도면들의 참조와 함께, 본 발명의 사상 및 범위를 제한하지 않으면서, 예시적인 방법으로 설명될 것이다.
도 1은 예시적인 서브밴드 블록 기반 고조파 전위(subband block based harmonic transposition)의 원리를 도시한다.
도 2는 하나의 서브밴드 입력을 가지는 예시적인 비선형 서브밴드 블록 프로세싱의 동작을 도시한다.
도 3은 2개의 서브밴드 입력들을 가지는 예시적인 비선형 서브밴드 블록 프로세싱의 동작을 도시한다.
도 4는 HFR 강화 오디오 코덱(HFR enhanced audio codec)에서 전위의 몇 차수들을 이용하는 서브밴드 블록 기반 전위의 어플리케이션을 위한 예시적인 시나리오를 도시한다.
도 5는 전위 차수 당 개별 분석 필터 뱅크를 적용하는 다중 차수 서브밴드 블록 기반 전위의 동작을 위한 예시적인 시나리오를 도시한다.
도 6은 단일 64 밴드 QMF 분석 필터 뱅크를 적용하는 다중 차수 서브밴드 블록 기반 전위의 효율적인 동작을 위한 예시적인 시나리오를 도시한다.
도 7은 예시적인 오디오 신호의 팩터 2의 서브밴드 블록 기반 타임 스트레치를 위한 임시 응답을 도시한다.

아래에 설명될 실시예들은 단지 효율적으로 합성 고조파 변위(combined harmonic transposition)를 위한 본 발명의 원리를 설명하기 위한 것이다. 본 문헌에 설명된 상세한 설명들에 대해 변경 및 수정을 가할 수 있음은 이 기술분야에서 통상의 지식을 가진자에게 당연한 것으로 이해되어야 한다. 그러므로 본 발명의 권리범위는 본 문헌의 실시예의 설명 및 기술의 방법으로 제공되는 상세한 설명에 의한 것이 아니라 첨부된 청구범위에 의하여 제한되어야 할 것이다.

도 1은 예시적인 서브밴드 블록 기반 전위, 타임 스트레치, 또는 전위 및 타임 스트레치의 조합의 원리를 도시한다. 입력 시간 도메인 신호는 분석 필터 뱅크(10)에 제공된다. 이 분석 필터 뱅크(10)는 아주 많은 또는 복수의 복소수 서브밴드 신호들을 제공한다. 이는 복수의 서브밴드 신호들은 서브밴드 프로세싱 유닛(102)에 공급된다. 서브밴드 프로세싱 유닛(102)의 동작은 제어 데이터(104)에 의해 영향을 받을 수 있다. 서브밴드 프로세싱 유닛(102)의 각 출력 서브밴드는 하나의 프로세싱으로부터, 또는 2개의 입력 서비스 밴드들로부터 얻을 수 있으며, 또는, 심지어 몇몇 그러한 프로세싱된 서브 밴드들의 결과의 중첩(superposition)으로부터 얻을 수 있다. 많은 수(multitude) 또는 복수의 복소값 출력 서브밴드들은 합성 필터뱅크(103)에 공급되며, 이는, 차례로, 수정된 시간 도메인 신호를 출력한다. 제어 데이터(104)는 어떤 신호 형식들을 위해 수정된 시간 도메인 신호의 품질을 향상시키기 위해 중요하다. 제어 데이터(104)는 시간 도메인 신호와 연동될 수 있다. 특히, 제어 데이터(104)는 분석 필터뱅크(101)에 공급되는 시간 도메인 신호의 형식과 연관될 수 있고, 또는, 제어 데이터(104)는 분석 필터뱅크(101)에 공급되는 시간 도메인 신호의 형식에 따를 수 있다. 일예로써, 제어 데이터(104)는 시간 도메인 신호 또는 시간 도메인 신호의 일시로 제외된 부분이 정적 신호인지 또는 시간 도메인 신호가 일시적인지 여부를 나타낼 수 있다.

도 2는 하나의 서브밴드 입력을 가지는 예시적인 비선형 서브밴드 블록 프로세싱(102)의 동작을 도시한다. 물리 타임 스트레치 및/또는 전위의 주어진 타겟 값들, 및 분석 및 합성 필터뱅크들(101 및 103)의 물리 파라미터들이 주어지면, 이는 소스 서브밴드 인덱스와 함께 서브밴드 타임 스트레치 및 전위 파라미터를 추론한다. 이는, 또한, 분석 서브밴드의 인덱스로 나타내어질 수 있고, 각 타겟 서브밴드 인덱스를 위해, 이는 또한, 분석 서브밴드의 인덱스로 나타내어질 수 있다. 서브밴드 블록 프로세싱의 목적은 타겟 서브밴드 신호를 생성하기 위해 복소값 소스 서브밴드 신호의 대응하는 전위, 타임 스트레치, 또는 전위 및 타임 스트레치의 조합을 구현하기 위한 것이다.

비선형 서브밴드 블록 프로세싱(102)에 있어서, 블록 추출기(201)는 복소값 입력 신호로부터 샘플들의 미세한 프레임을 샘플링 한다. 프레임은 입력 포인터 위치 및 서브밴드 전위 팩터에 의해 정의된다. 이 프레임은 비선형 프로세싱 유닛(202)에서 비선형 프로세싱을 겪게 되고, 그런 다음, 203의 미세한 길이 윈도우에 의해 윈도우잉(window)된다. 윈도우(203)는, 예컨대, 가우시안 윈도우, 코사인 윈도우, 해밍(Hamming) 윈도우, 핸(Hann) 윈도우, 사각(rectangular) 윈도우, 바렛(Bartlett) 윈도우, 블랙맨(Blackman) 윈도우, 등이 될 수 있다. 결과 샘플들은 오버랩 및 추가 유닛(204)에서 앞선 출력 샘플들에 추가된다. 오버랩 및 추가 유닛(204)에서, 출력 프레임 위치가 출력 포인터 위치에 의해 정의된다. 입력 포인터는, 블록 홉 크기(block hop size)로 표현되는, 고정된 양으로 증가되며, 출력 포인터는 서브밴드 스트레치 팩터로 곱한(times) 동일한 양에 의해, 즉, 서브밴드 스트레치 팩터에 의해 곱해진 블록 홉 크기에 의해 증가된다. 동작의 체인의 반복은, 서브밴드 전위 팩터에 의해 전위되는 복수 주파수들을 가지며, (최대 합성 윈도우의 길이인) 서브밴드 스트레치 팩터로 곱한 입력 서브밴드 신호 기간인 기간을 가지는 출력 신호를 생성할 것이다.

제어 데이터(104)는 블록 기반 프로세싱(102)의 프로세싱 블록들(201, 202, 204, 204) 중 어떤 것에라도 영향을 미칠 수 있다. 특히, 제어 데이터(104)는 블록 추출기(201)에서 추출된 블록들의 길이를 제어할 수 있다. 일 실시예에 있어서, 블록 길이는, 제어 데이터(104)가 시간 도메인 신호가 임시 신호인 것을 나타낼 때, 감소된다. 반면, 블록 길이는 제어 데이터(104)가 시간 도메인 신호가 정적 신호임을 나타낼 때, 긴 길이(longer length)에서 증가하거나, 또는 유지된다. 대안적으로 또는 추가로, 제어 데이터(104)는 비선형 프로세싱 유닛(202), 예컨대, 비선형 프로세싱 유닛(202)에서 사용되는 파라미터, 및/또는 윈도우잉 유닛(203), 예컨대, 윈도우잉 유닛에서 사용되는 윈도우에 영향을 미칠 수 있다.

도 3은 2개의 서브밴드 입력들을 가지는 예시적인 비선형 서브밴드 블록 프로세싱(102)의 동작을 도시한다. 물리 타임 스트레치 및 전위의 타겟 값들이 주어지고, 분석 및 합성 필터뱅크들(101 및 103)의 물리 파라미터들이 주어지면, 각 타겟 서브밴드 인덱스를 위한 2개의 소스 서브밴드 인덱스들과 함께 서브밴드 타임 스트레치 및 전위 파라미터들이 감소된다. 서브밴드 블록 프로세싱의 목적은 타겟 서브밴드 신호를 생성하기 위해 전위, 타임 스트레치, 또는, 2개 복소수 값 소스 서브밴드 신호들의 조합의 타임 스트레치 및 전위의 조합에 따르는 것을 구현한다. 블록 추출기(301-1)는 제1 복소수 값 소스 서브밴드로부터 샘플들의 미세 프레임을 샘플링하고, 블록 추출기(301-2)는 제2 복소수 값 소스 서브밴드로부터 미세 프레임의 샘플들을 샘플링 한다. 일 실시예에서, 블록 추출기(301-1 및 301-2) 중 어느 하나는 단일 서브밴드 샘플을 생성할 수 있다. 즉, 블록 추출기(301-1 및 301-2) 중 어느 하나는 일 샘플의 블록 길이를 적용할 수 있다. 플레임들은 공통 입력 포인터 위치 및 서브밴드 전위 팩터에 의해 정의될 수 있다. 블록 추출기(301-1 및 301-2)에서, 각각, 추출된 2 프레임들은 유닛(302)에서 비선형 프로세싱을 겪는다. 비선형 프로세싱 유닛(302)은 전형적으로 2개의 입력 프레임들로부터 단일 출력 프레임을 전형적으로 생성한다. 이어서, 출력 프레임은 유닛(203)에서 미세 길이 윈도우에 의해 윈도우잉 된다(windowed). 상술한 프로세스는 프레임들의 묶음(suite of frames)에 대해 반복된다. 이는 블록 홉 크기를 이용하는 2개의 서브밴드 신호들로부터 추출되는 프레임들의 묶음으로부터 생성된다. 프레임들의 묶음은 오버랩 및 추가 유닛(204)에서 오버랩되고 추가된다. 이 동작의 체인의 반복은 서브밴드 스트레치 팩터(subband stretch factor)를 최장의 2 입력 서브밴드 신호들을 곱한(최대 합성 윈도우의 길이) 기간을 가지는 출력 신호를 생성할 것이다. 2 입력 서브밴드 신호들이 동일한 주파수를 전달하는 경우, 출력 신호는 서브밴드 전위 팩터에 의해 전위된 복소 주파수를 가질 것이다.

도 2의 콘텍스트에서 개괄적으로 설명된 바와 같이, 제어 데이터(104)는 비선형 프로세싱(102)의 다른 블록들의 동작을 조절하도록 사용될 수 있다. 예컨대, 블록 추출기(301-1, 301-2)의 동작이 그것이다. 더욱이, 상술한 동작은 분석 필터 뱅크(101)에 의해 제공되는 분석 서브밴드 신호들 전부에 대해, 그리고, 상기 합성 필터 뱅크(103) 내로 입력되는 합성 서브밴드 신호들 전부에 대해, 전형적으로 수행될 수 있음에 유의하여야 한다.

다음의 텍스트에서, 타임 스트레치 및 전위에 기반을 둔 서브밴드 블록의 원리의 기술은, 도 13에 대한 레퍼런스와 함께 적절한 수학적 용어들이 추가되는 것에 의해, 개괄적으로 설명될 것이다.

전체 고조파 전위기 및/또는 타임 스트레처 2개의 메인 구성 파라미터는 다음과 같다.

●

: 소망하는 물리적 타임 스트레치 팩터; 및

●

: 소망하는 물리 전위 팩터.

필터 뱅크들(101 및 103)은 QMF 또는 윈도우잉된 DFT 또는 웨이블릿 변환(wavelet transform)과 같은 어떤 복소 지수 변조 형식이 될 수 있다. 분석 필터 뱅크(101) 및 합성 필터 뱅크(103)는 변조에서 짝수 또는 홀수로 적층되고, 그리고, 넓은 범위의 프로토타입 필터들 및/또는 윈도우들로부터 정의될 수 있다. 반면, 모든 이러한 제2 차수 선택들은 위상 정정들 및 서브밴드 매핑 관리와 같은, 연속된 디자인에서 세부사항들에 영향을 미치며, 서브밴드 프로세싱을 위한 메인 시스템 디자인 파라미터들은 모든 물리 유닛들에서 측정되는 다음의 4개의 필터 뱅크 파라미터들의

and

의 2개의 몫(quotient)들의 인식으로부터 전형적으로 유도할 수 있다.

상술한 몫들에 있어서,

●

는 분석 필터뱅크(101)의 타임 스트라이드 또는 서브밴드 샘플 타임 스텝이다(예컨대, 초[S]로 측정됨);

●

는 분석 필터뱅크(101)의 서브밴드 주파수 공간이다(예컨대, 헤르츠(Hertz)[1/s]로 측정됨);

●

는 합성 필터뱅크(103)의 시간 스트라이드 또는 서브밴드 샘플 시간 스텝이다(예컨대, 초[S]로 측정됨); 그리고,

●

는 합성 필터뱅크(103)의 서브밴드 주파수 공간이다(예컨대, 헤르츠(Hertz)[1/s]로 측정됨);

서브밴드 프로세싱 유닛(102)의 구성을 위해, 다음의 파라미터들이 연산되어야한다:

● S : 서브밴드 스트레치 팩터, 즉,

에 의해 타임 도메인 신호의 전체 물리 타임 스트레치를 취하기 위한 서브밴드 프로세싱 유닛(102) 내에 적용되는 서브밴드 스트레치 팩터;

● Q : 서브밴드 전위 팩터, 즉, 팩터

에 의해 타임 도메인 신호의 전체 물리 주파수 전위를 취하기 위해 서브밴드 프로세싱 유닛(102) 내에 적용되는 서브밴드 전위 팩터; 그리고,

● 소스 및 타겟 서브밴드 인덱스들 사이의 관련성, 여기서, n은 서브밴드 프로세싱 유닛(102)에 입력되는 분석 서브밴드의 인덱스를 나타낸다. 그리고 m은 서브밴드 프로세싱 유닛(102)의 출력에서 대응하는 합성 서브밴드의 인덱스를 나타낸다.

서브밴드 스트레치 팩터 S를 결정하기 위하여, 물리 기간 D의 분석 필터뱅크(101)에 대한 입력 신호는 서브밴드 프로세싱 유닛(102)에 대한 입력에서 분석 서브밴드 샘플들의 수

에 대응하는 것이 관찰되었다.

개의 샘플들은 서브밴드 스트레치 팩터 S가 적용되는 서브밴드 프로세싱 유닛(102)에 의해

개의 샘플들로 스트레치(stretch)될 것이다. 합성 필터뱅크(103)의 출력에서, 이

개의 샘플들은

의 물리 기간을 가지는 출력 신호를 야기한다. 이 후자의 기간은 특정된 값

에 맞아 떨어져야 하기 때문에, 즉, 타임 도메인 출력 신호의 기간은 물리 타임 스트레치 팩터

에 의해 시간 도메인 입력 신호와 비교하여, 타임 스트레치되어야하기 때문에, 다음과 같은 디자인 규칙을 얻을 수 있다:

(1)

물리 전위

를 성취하기 위한 서브밴드 프로세싱 유닛(102) 내에 적용되는 서브밴드 전위 팩터

를 결정하기 위해, 물리 주파수

의 분석 필터 뱅크(101)에 대한 입력 사인곡선(sinusoid)이 이산 시간 주파수

를 가지는 복소 분석 서브밴드 신호를 초래하는지, 그리고, 주 컨트리뷰션이 인덱스

를 가지는 분석 서브밴드 내에서 발생하는지 여부를 관찰한다. 요구되는 전위 물리 주파수

의 합성 필터뱅크(102)의 출력에서 출력 사인 곡선은 이산 주파수

의 복소 서브밴드 신호를 가지는 인덱스

를 가지는 합성 서브밴드를 피딩(feeding)하는 것으로부터 발생할 것이다. 이 콘텍스트에서,

와 다른 알리아싱된(aliased) 출력 주파수들의 합성을 피하기 위하여 조취가 취해져야만 한다. 전형적으로, 이는 논의된 바와 같은 적합한 2차 선택들을 생성하는 것에 의해, 예컨대, 적절한 분석/합성 필터뱅크들을 선택하는 것에 의해, 피할 수 있다. 서브밴드 프로세싱 유닛(102)의 출력에서 이산 주파수

는 서브밴드 전위 팩터

에 의해 곱해진 서브밴드 프로세싱 유닛(102)의 입력에서 이산 시간 주파수

에 대응한다. 즉,

및

이 동일하게 설정하는 것에 의해, 물리 전위 팩터

와 서브밴드 전위 팩터

사이의 다음과 같은 관계가 결정될 수 있다:

(2)

마찬가지로, 합성 서브밴드 인덱스 m 또는 주어진 타겟을 위한 서브밴드 프로세싱 유닛(102)의 분석 서브밴드 인덱스 n 또는 적합한 소스는 다음과 같다.

(3)

실시예에 있어서,

/

=

, 즉, 합성 필터뱅크(103)의 주파수 공간(frequency spacing)은 물리 전위 팩터에 의해 곱해지는 분석 인터뱅크(101)의 주파수 공간에 대응하는 것이 지지된다. 그리고, 분석 대 합성 서브밴드 인덱스 n = m의 일대일 매핑이 적용된다. 다른 실시예에 있어서, 서브밴드 인덱스 매핑은 필터뱅크 파라미터들의 세부사항에 따를 수 있다. 특히, 분석 필터뱅크(101) 및 합성 필터뱅크(103)의 주파수 공간의 일부가 물리 전위 팩터

와 상이하면, 하나 또는 2 이상의 소스 서브 밴드들은 주어진 목적 서브밴드에 대해 할당될 수 있다. 2 소스 서브밴드들의 경우에 있어서, 이는 각각 인덱스 n, n+1을 가지는 2개의 인접한 소스 서브밴드들이 됨이 바람직할 수 있다. 즉, 제1 및 제2 소스 서브 밴드들은 (n(m), n(m) + 1) 또는 (n{m) + 1, n(m))와 같이 주어진다.

단일 소스 서브밴드를 가지는 도 2의 서브밴드 프로세싱이, 이제, 서브밴드 프로세싱 파라미터들

및

의 기능으로써 설명될 것이다. x(k)를 블록 추출기(201)에 입력 신호로 놓고, p를 입력 블록 스트라이드(stride)로 놓는다. 즉, x(k)는 인덱스 n을 가지는 분석 서브밴드의 복소값 분석 서브밴드 신호이다. 블록 추출기(201)에 의해 추출된 블록은 일반성을 저하시키지 않고(without loss of generality) L = 2R + 1 샘플들에 의해 정의되도록 고려되어질 수 있다.

, (4)

정수

는 블록 카운팅 인덱스이며, L은 블록 길이이고, R은 R≥0인 정수이다.

=

일 때, 블록은 연속된 샘플들로부터 추출되고,

>1일 때, 입력 주소들이 팩터

에 의해 스트레치되는 방식으로 다운샘플링이 수행되는 것을 유의하여야 한다. 만약,

가 정수이면, 이 동작은 전형적으로 그 수행이 간단(straightforward)하지만, 반면, 보간(interpolation) 방법이

의 비 정수 값에 대해 요구될 수 있다. 또한, 이 언급은 즉, 입력 블록 스트라이드의 증가

의 비 정수 값들에 대해 관련된다. 일 실시예에 있어서, 짧은 보간 필터들, 예컨대, 2개의 필터 탭들을 가지는 필터들은, 복소값 서브밴드 신호에 대해 적용될 수 있다. 예를 들면, 부분 시간 인덱스 k + 0.5에서 샘플들이 요구되면, 형식

의 2개의 탭 보간이 충분한 품질에 다다를 수 있다.

수학식 (4)의 흥미로운 특별 케이스는 R = 0이다. 여기서, 추출된 블록 길이는 단일 샘플로 구성된다. 즉, 블록 길이는 L = 1이다.

여기서,

는 복수수의 크기(magnitude)이고,

는 복소수의 위상인, 복소수

의 극 표현과 함께, 입력 프레임

으로부터 출력 프레임

을 생성하는 비선형 프로세싱 유닛(202)은 위상 변조 팩터 T =

에 의해 다음과 같이 정의된다.

(5)

는 기하학적 크기 가중 파라미터(geometrical magnitude weighting parameter)이다. 케이스 p = 0은 추출된 블록의 순수 위상 수정에 대응한다. 위상 정정 파라미터

는 필터뱅크 세부사항들 및 소스 및 타겟 서브밴드 인덱스들에 따른다. 일 실시예에 있어서, 위상 정정 파라미터

는 입력 사인 곡선의 세트를 스위핑(sweeping)하는 것에 의해 실험적으로 결정될 수 있다. 게다가, 위상 정정 파라미터

는 인접 타겟 서브밴드 복소 사인 곡선의 위상 차이를 연구하는 것에 의해 또는, 입력 신호의 디락(Dirac) 펄스 형식을 위한 성능을 최적화하는 것에 의해, 유도될 수 있다. 위상 수정 팩터 T는 계수 T-1 및 1이 수학식 (5)의 제1 라인에서 위상들의 선형 조합의 정수들이 되도록 하는 정수가 될 수 있다. 이러한 추정에 따라, 즉, 위상 수정 팩터 T가 정수라는 가정에 따라, 선형 수정의 결과는, 위상이 2π의 임의의 정수 곱들의 추가에 의해 모호해짐에도 불구하고, 제대로 정의될 수 있다.

수학식 (5)는 출력 프레임 샘플의 위상이 상수 오프셋 값에 의해 대응하는 입력 프레임 샘플의 위상을 오프셋(offset)하는 것에 의해 결정된다. 이 상수 오프셋 값은 수정 팩터 T에 따를 수 있다. 여기서, 수정 팩터 자체는 서브밴드 스트레치 팩터 및/또는 서브밴드 전위 팩터에 따른다.

게다가, 상수 오프셋 값은 입력 프레임으로부터의 개별 입력 프레임 샘플의 위상에 따를 수 있다. 개별 입력 프레임 샘플은 주어진 블록의 모든 출력 프레임 샘플들의 위상의 결정을 위해 고정된다. 수학식 (5)의 경우에 있어서, 입력 프레임의 중간 샘플들의 위상은 개별 입력 프레임 샘플의 위상으로 사용된다. 추가로, 상수 오프셋 값은 위상 정정 파라미터

에 따를 수 있다. 이 위상 정정 파라미터는, 예컨대, 실험적으로 결정될 수 있다.

수학식 (5)의 두 번째 라인은 출력 프레임의 샘플의 크기가 입력 프레임의 대응하는 샘플의 크기에 의존하는 것에 따를 수 있다는 것을 특정한다. 게다가, 출력 프레임의 샘플의 크기가 개별 입력 프레임 샘플의 크기에 따를 수 있다. 이 개별 입력 프레임 샘플은 모든 출력 프레임 샘플들의 크기의 결정을 위해 사용될 수 있다. 수학식 (5)의 경우에 있어서, 입력 프레임의 중간 샘플은 개별 입력 프레임 샘플로 사용된다. 일 실시예에 있어서, 출력 프레임의 샘플의 크기는 개별 입력 프레임 샘플 및 입력 프레임의 대응하는 샘플의 크기의 기하학적 평균(geometrical mean)에 대응할 수 있다.

윈도우잉 유닛(203)에 있어서, 길이 L의 윈도우 w는 출력 프레임 상에 적용되어, 다음과 같은 윈도우잉된 출력 프레임을 출력한다.

(6)

마지막으로, 모든 프레임들이 0으로 확장된다고 가정한다. 그리고, 오버랩 및 추가 오퍼레이션(204)은 다음과 같이 정의된다.

(7)

오버랩 및 추가 유닛(204)은 Sp의 블록 스트라이드, 즉, 타임 스트라이드에 적용됨을 유의하여야 한다. 여기서, 타임 스트라이드는 입력 블록 스트라이드 p 보다 S 배 높다. 수학식 (4) 및 (7)의 타임 스트라이드에서 이러한 차이에 기인하여, 출력 신호 z(k)의 기간(duration)은 입력 신호 x(k)의 기간의 S배이다. 즉, 합성 서브밴드 신호는 분석 서브밴드 신호와 비교하여 서브밴드 스트레치 팩터 S에 의해 스트레치된다. 이 조사는 전형적으로 윈도우의 길이 L이 신호 기간과 비교하여 무시할 수 있을 정도이면 적용된다.

복소 사인 곡선이 서브밴드 프로세싱(102)에 대한 입력으로 사용되는 경우에, 분석 서브밴드 신호는 다음과 같은 복소 사인 곡선에 대응한다.

, (8)

서브밴드 프로세싱(102)의 출력, 즉, 대응하는 합성 서브밴드 신호가 다음과 같이 주어지는 것은, 수학식 (4) - (7)을 적용하는 것에 의해 결정될 수 있다.

(9)

*

*따라서, 이산 시간 주파수

의 복소 사인곡선은, 윈도우가 모든 k에 대한 동일한 상수 값 k를 합한 Sp의 스트라이드로 시프트되는 것으로 제공되는, 이산 시간 주파수

를 가지는 복소 사인곡선으로 변환될 것이다.

(10)

이는 S = 1 그리고 T =

인 순수 전위의 특별한 경우를 고려하여 나타낸다. 입력 블록 스트라이드가 p = 1이고, R - 0이면, 이상에서, 즉, 현저한 수학식 (5)는 포인트-와이즈(point-wise)로 감소되거나, 또는, 위상 수정 규칙에 기초하여 샘플링된다. 이는 다음과 같다.

(11)

블록 크기 R > 0을 이용하는 것에 이득은 사인 곡선의 합이 분석 서브밴드 신호 x(k) 내에서 고려될 때 분명해진다. 주파수

를 가지는 사인곡선의 합을 위한 포인트와이즈 규칙(11)의 문제는 요구되는 주파수

가 즉, 합성 서브밴드 신호 z(k) 내의 서브밴드 프로세싱(102)의 출력으로 제공될 뿐만 아니라, 형식

의 상호변조(intermodulation) 곱(product) 주파수들로 제공된다. 블록 R > 0 및 수학식 (10)을 만족하는 윈도우는 전형적으로 이들의 상호변조 곱의 억제(suppression)로 이끈다. 다른 한 측면에서, 긴 블록은 임시 신호들을 위한 요구되지 않은 시간 스미어링(smearing)의 큰 도(degree)를 초래한다. 더욱이, 예컨대, 충분히 낮은 피치를 가지는, 모음의 경우의 인간 음성 또는 단일 피치(pitched) 악기와 같은, 펄스 트레인(train) 유사 신호들의 경우, 상호변조 곱은 WO 2002/052545에 설명된 바와 같이 요구될 수 있다. 이 문헌은 참조로 본 문헌에 포함된다.

임시 신호들을 위한 서브밴드 프로세싱(102)에 기초한 블록의 비교적 낮은 성능의 이슈(issue)를 다루기 위하여, 수학식 (5)에서 0이 아닌 값의 기하학적 크기 가중 파라미터의

> 0이 사용되는 것이 제안된다. 동시에, 정적 신호들을 위한 상호변조 왜곡 억제(intermodulation distortion suppression)의 충분한 파워를 유지하는 동안, 기하학적 크기 가중 파라미터

> 0의 선택이

= 0을 가지는 순수 위상 수정의 사용에 비교하여 블록 기반 서브밴드 프로세싱(102)의 임시 응답을 향상시키는 것이 관찰되었다(예컨대, 도 7 참조). 크기 가중의 개별 어트랙티브 값(attractive value)은 p = 1 - 1/T이고, 이는 비선형 프로세싱 수학식 (5)는 다음과 같이 연산 단계들을 감소시키기 위한 것이다.

(12)

이러한 연산 단계들은 수학식 (5)에서

= 0의 경우에 따른 결과인 순수 위상 변조의 동작과 비교하여 동일한 양의 연산 복잡도로 표현된다. 다른 말로, 크기 가중 p = 1 - 1/T을 이용하는 기하학적 평균 수학식 (5)에 기초한 출력 프레임 샘플들의 크기의 결정은 연산 복잡도에서 어떤 추가 비용 없이 구현될 수 있다. 동일한 시간에서, 정적 신호들을 위한 성능이 유지되는 동안, 임시 시호들을 위한 고조파 전위의 성능은 향상된다.

도 1, 도 2 및 도 3의 콘텍스트에서 개괄한 바와 같이, 서브밴드 프로세싱(102)은 제어 데이터(104)에 적용되는 것에 의해 추가로 향상될 수 있다. 일 실시예에 있어서, 수학식 (11)에서 K의 동일한 값을 공유하고, 다른 블록 길이들을 채택하는 서브밴드 프로세싱(102)의 2개의 구성들이 신호 적응 서브밴드 프로세싱을 구현하도록 사용될 수 있다. 서브밴드 프로세싱 유닛을 스위칭하는 신호 적응 구성을 디자인하는 데에 있어 개념점인 시작 포인트는 그들의 출력들에서 선택자 스위치와 병렬로 구동되는 2개의 구성을 생각할 수 있다. 여기서, 선택자 스위치의 위치는 제어 데이터(104)에 따른다. K 값의 공유는 스위치가 단일 복소 사인곡선 입력의 경우에서 끊기지 않는 것(seamless)을 보장한다. 일반적인 신호들을 위하여, 서브밴드 신호 레벨 상의 하드 스위치는, 마지막 출력 신호들 상에 어떤 스위칭 인공물(artifacts)을 도입하지 않도록, 주변의 필터뱅크 프레임워크(101, 103)에 의해 자동으로 윈도우잉된다. 이는, 블록 크기들이 충분히 다를 때, 그리고, 제어 데이터의 업데이트 레이트가 충분히 빠르지 않을 때, 수학식 (7)에서 오버랩 및 추가 프로세스의 결과로, 앞서 설명된 컨셉적인 스위치 시스템의 그것과 동일한 출력이 가장 긴 블록을 가지는 구성의 시스템의 컴퓨터 연산 비용(computational cost)에서 재생산 될 수 있다는 것을 보일 수 있다. 따라서 신호 적응 동작에 관련된 연산 복잡도에서 패널티(penalty)가 존재하지 않는다. 앞서 설명된 바에 따라, 긴 블록 길이를 가지는 구성이 정적 신호들에 대해 더 적합한 반면, 짧은 블록 길이를 가지는 구성은, 임시 및 낮은 피치 주기 신호들에 대해 더욱 적합하다. 그와 같이, 신호 분류기는 오디오 신호의 발췌 부분을 임시 클래스 및 비 임시 클래스로 분류하기 위하여, 그리고, 제어 데이터(104)로서 분류 정보를 신호 적응 구성 스위칭 서브밴드 프로세싱 유닛(102)으로 전달하기 위해 사용될 수 있다. 서브밴드 프로세싱 유닛(102)은 어떤 프로세싱 파라미터들, 예컨대, 블록 추출기들의 블록 길이를 설정하도록 제어 데이터(104)를 사용할 수 있다.

다음과 같이, 서브밴드 프로세싱의 디스크립션은 2개의 서브밴드 입력들을 가지는 도 3의 경우를 커버하도록 확장될 것이다. 단지, 단일 입력 케이스를 만드는 수정들이 설명될 것이다. 그렇지 않으면, 참조는 앞서 제공된 정보로 만들어질 것이다. x(k)를 제1 블록 추출기(301-1)에 대한 입력 서브밴드 신호로 놓고, x(k)를 제2 블록 추출기(301-2)에 대한 입력 서브밴드 신호로 놓는다. 블록 추출기(301-1)에 의해 추출된 블록은 수학식 (4)에 의해 정의되고, 블록 추출기(301-2)에 의해 추출된 블록은 다음과 같은 단일 서브밴드 샘플로 구성된다.

*

(13)

즉, 개괄된 실시예에서, 제1 블록 추출기(301-1)는 L의 블록 길이를 사용하고, 반면, 제2 블록 추출기(301-2)는 1의 블록 길이를 사용한다. 이러한 경우에 있어서, 비선형 프로세싱(302)은 출력 프레임

을 생성한다. 이는 다음에 의해 정의될 수 있다.

, (14)

그리고, 203 및 204에서 프로세싱의 나머지는 단일 입력 경우의 콘텍스트에서 설명된 바와 같은 프로세싱과 동일하다. 다른 말로, 이는 각각의 다른 분석 서브밴드 신호로부터 추출된 단일 서브밴드 샘플에 의해 수학식 (5)의 개별 프레임 샘플을 교체하는 것이 제안된다.

일 실시예에 있어서, 합성 필터뱅크(103)의 주파수 공간

및 분석 필터뱅크(101)의 주파수 공간의 비율은 요구되는 물리적 전위 팩터

와 상이하며, 이는 각각 인덱스 n, n+1을 가지는 2개의 분석 서브밴드들로부터 인덱스 m을 가지는 합성 서브밴드의 샘플들을 결정하는 데에 이득이 될 수 있다. 주어진 인덱스 m을 위해, 대응하는 인덱스 n은 수학식 (3)에 의해 주어진 분석 인덱스 값 n을 줄이는(truncating) 것에 의해 얻어지는 정수 값에 의해 주어질 수 있다. 분석 서브밴드 신호들 중 하나, 예컨대, 인덱스 n에 대응하는 분석 서브밴드 신호는 제1 블록 추출기(301-1)에 공급되고, 다른 분석 서브밴드 신호, 예컨대, 인덱스 n+1에 대응하는 하나는 제2 블록 추출기(301-2)에 입력된다. 이러한 두 개의 분석 서브밴드 신호들에 기초하여, 인덱스 m에 대응하는 합성 서브밴드 신호는 앞서 개괄된 프로세싱에 따라 결정된다. 인접한 분석 서브밴드 신호들의 2개의 블록 추출기(301-1 및 301-2)에 대한 할당은 수학식 (3)의 인덱스 값, 즉, 수학식 (3)에 의해 주어진 정확한 인덱스 값과 수학식 (3)으로부터 얻어진 줄여진(truncated) 정수 값 n의 차이를 줄일(truncating) 때, 얻어진 나머지에 기초할 수 있다. 상기 나머지가 0.5 보다 크면, 그러면, 인덱스 n에 대응하는 분석 서브밴드 신호는 제2 블록 추출기(301-2)에 대해 할당될 수 있다. 그렇지 않으면, 이 분석 서브밴드 신호는 제1 블록 추출기(301-1)에 대해 할당될 수 있다.

도 4는 HFR 향상(enhanced) 오디오 코덱에서 전위의 몇몇 차수들을 이용하는 전위에 기초하는 서브밴드 블록의 어플리케이션을 위한 예시적인 시나리오를 도시한다. 전송된 비트스트림은 코어 디코더(401)에서 수신된다. 이는 샘플링 주파수 fs에서 저 대역 디코딩된 코어 신호를 제공한다. 또한, 저 대역폭 디코딩된 코어 신호는 오디오 신호의 저 주파 컴포넌트로서 표현될 수 있다. 낮은 샘플링 주파수 fs에서 신호는 64 밴드 QMF 합성 뱅크(역 QMF)(405)에 의해 따라 복소 변조된 32 밴드 QMF 분석 뱅크(402)의 수단에 의해 출력 샘플링 주파수 2fs로 재샘플링된다. 2개의 필터뱅크들(402, 405)은 동일한 물리 파라미터들

=

및

=

을 가지고, HFR 프로세싱 유닛(404)은 전형적으로 낮은 대역폭 코어 신호에 대응하는 수정되지 않은 낮은 서브밴드들을 통과시킨다. 출력 신호의 고 주파수 콘텐츠는, 다중 전위 유닛(403)으로부터 출력 밴드들을 가지는 64 밴드 QMF 합성 뱅크(405)의 높은 서브밴드들을 피딩(feeding)하는 것에 의해 얻어진다. 이는 HFR 프로세싱 유닛(404)에 의해 수행되는 스펙트럼 쉐이핑(shaping) 및 수정에 종속된다. 다중 전위기(403)는 디코딩된 코어 신호를 입력으로 취하고, 몇몇 전위된 신호 컴포넌트의 조합 또는 중첩(superposition)의 64 QMF 밴드 분석을 표현하는 다중 서브밴드 신호들을 출력한다. 다른 말로, 다중 전위기(403)의 출력에서 신호는 합성 필터뱅크(103)에 피드(feed)될 수 있는 전위된 합성 서브밴드 신호들에 대응할 수 있다. 이는 도 4의 경우에서, 역 QMF 필터뱅크(405)에 의해 표현된다.

다중 전위기(403)의 가능한 구현들은 도 5 및 도 6의 콘텍스트에서 그 개요가 설명되었다. 다중 전위기(403)의 목적은 HFR 프로세싱(404)이 바이패스 되었을 때, 각 컴포넌트는 코어 신호의 타임 스트레치,

없는 정수 물리 전위에 대응한다. 코어 신호의 임시 컴포넌트들을 위해, HFR 프로세싱은 때로 다중 전위기(403)의 좋지 않은 임시 응답에 대해 보상한다. 하지만, 일관되게 높은 품질은 전형적으로 단지 다중 전위기 자체의 임시 응답이 만족된 경우에만 도달될 수 있다. 본 문헌에서 개괄된 바와 같이, 전위기 제어 신호(104)는 다중 전위기(403)의 동작에 영향을 미칠 수 있다. 그리고 그에 의해서, 다중 전위기(403)의 만족된 임시 응답을 보장한다. 대안적으로, 또는, 추가로, 상술한 기하학적 가중 스킴(예컨대, 수학식 (5) 및/또는 수학식 (14) 참조)은 고조파 전위기(harmonic transposer, 403)의 임시 응답을 향상시키는 데에 공헌할 수 있다.

도 5는 전위 차수 당 개별 분석 필터 뱅크(502-2, 502-3, 502-4)를 적용하는 전위 유닛(403)에 기초하는 다중 차수 서브밴드 블록의 동작을 위한 예시적인 시나리오를 도시한다. 도시된 예에서, 3개의 전위 차수

= 2,3,4는 출력 샘플링 레이트 2fs에서 64 밴드 QMF 뱅크 동작으로 생성되고 전달된다. 결합 유닛(merging unit, 504)은 각 전위 팩터 브랜치로부터, HFR 프로세싱 유닛으로 피드되는 단일의 많은 수의 QMF 서브밴드들로, 관련된 서브밴드들을 선택하고 합성한다.

= 2인 첫 번째 경우를 고려하라. 64 밴드 QMF 분석(502-2), 서브밴드 프로세싱 유닛(503-2) 및 64 밴드 QMF 합성(405)의 프로세싱 체인은

= 1을 가지는

= 2의 물리 전위를 초래한다(즉, 스트레치 없음). 각각 도 1의 유닛들(101, 102 및 103)을 가지는 이러한 3개의 블록들을 식별하면, 하나는 수학식 (1) 내지 (3)이 서브밴드 프로세싱 유닛(503-2)에 대해 다음의 특정하도록 하는

/

= 1/2 및

/

= 2를 찾는다. 서브밴드 프로세싱 유닛(503-2)은 S = 3의 서브밴드 스트레치,

= 1(즉, 없음(none))의 서브밴드 전위, 그리고, (수학식 (3) 참조) n = m에 의해 주어진 인덱스 m을 가지는 타겟 서브밴드들과 인덱스 n을 가지는 소스 서브밴드들 사이에 대응을 수행해야만 한다.

= 3인 경우에 대해, 예시적인 시스템은 샘플링 레이트 컨버터(501-3)를 포함한다. 이는 fs로부터 2fs/3로 팩터 3/2에 의해 입력 샘플링 레이트를 변환한다. 그 목적은 64 밴드 QMF 분석(502-3)의 프로세싱 체인, 서브밴드 프로세싱 유닛(503-3) 및 64 밴드 QMF 합성(405)이

= 1과 함께

= 4의 물리 전위를 초래하는 것이다(즉, 스트레치 없음). 각각, 도 1의 유닛들(101, 102 및 103)을 가지는 상술한 3개의 블록들을 식별하면, 수학식 (1) 내지 (3)이 서브밴드 프로세싱 유닛(503-3)에 다음의 특정을 제공하도록

/

= 1/4 및

/

= 4를 리샘플링에 기인하여 찾는다. 이 서브밴드 프로세싱 유닛(503-3)은 S = 3의 서브밴드 스트레치,

= 1의 서브밴드 전위(즉, 없음), 그리고, n = m에 의해 주어지는 인덱스 m을 가지는 타겟 서브밴드들과 인덱스 n을 가지는 소스 서브밴드들 사이의 통신(correspondence)(수학식 (3) 참조)을 수행해야만 한다.

= 4인 경우에 대해, 예시적인 시스템은 샘플링 레이트 컨버터(501-4)를 포함한다. 이는 fs로부터 fs/2로 팩터 2에 의해 입력 샘플링 레이트를 변환한다. 그 목적은 64 밴드 QMF 분석(502-4)의 프로세싱 체인, 서브밴드 프로세싱 유닛(503-4) 및 64 밴드 QMF 합성(405)이

= 1과 함께

= 4의 물리 전위를 초래하는 것이다(즉, 스트레치 없음). 각각, 도 1의 유닛들(101, 102 및 103)을 가지는 상술한 3개의 블록들을 식별하면, 수학식 (1) 내지 (3)이 서브밴드 프로세싱 유닛(503-4)에 다음의 특정을 제공하도록

/

= 1/4 및

/

= 4를 리샘플링에 기인하여 찾는다. 이 서브밴드 프로세싱 유닛(503-4)은 S = 4의 서브밴드 스트레치,

= 1의 서브밴드 전위(즉, 없음), 그리고, n = m에 의해 주어진 인덱스 m을 가지는 타겟 서브밴드들과 인덱스 n을 가지는 소스 서브밴드들 사이의 대응(수학식 (3) 참조)을 수행해야만 한다.

도 5의 예시적인 시나리오에 대한 결론에 따르면, 서브밴드 프로세싱 유닛(504-2 내지 504-4) 모두 순수 서브밴드 신호 스트레치들을 수행하고, 도 2의 콘텍스트에 설명된 단일 입력 비선형 서브밴드 블록 프로세싱을 채택한다. 제공되었을 때, 제어 신호(104)는 모든 3개의 서브밴드 프로세싱 유닛들의 동작에 동시에 영향을 미칠 수 있다. 특히, 제어 신호(104)는 입력 신호의 발췌된 부분의 형식(임시 또는 비 임시)에 따라 긴 블록 길이 프로세싱과 짧은 블록 길이 프로세싱 사이에 동시에 스위칭하기 위하여 사용될 수 있다. 대안적으로 또는 추가로, 3개의 서브밴드 프로세싱 유닛들(504-2 내지 504-4)이 논제로(nonzero) 기하학적 크기 가중 파라미터

> 0을 이용할 때, 다중 전위기의 임시 응답은

= 0인 경우에 비교하여 향상될 수 있다.

도 6은 단일 64 밴드 QMF 분석 필터 뱅크가 적용된 전위에 기초한 다중 차수 서브밴드 블록의 효율적인 동작을 위한 예시적인 시나리오를 도시한다. 게다가, 도 5에서 2개의 샘플링 레이트 변환기들 및 3개의 개별 QMF 분석 뱅크들의 사용은, 샘플링 레이트 변환(501-3), 즉, 단편적인 샘플링 레이트 변환에 기인한 프로세싱에 기초하는 프레임을 위한 몇몇 구현 불이익과 함께, 다소 높은 연산 복잡도를 초래한다. 그러므로 이는 각각 서브밴드 프로세싱 유닛들(603-3 및 603-4)에 의해 유닛들(501-3 → 502-3 → 503-3 및 501-4 → 502-4 → 503-4)을 포함하는 2개의 전위 브랜치들을 교체하도록 제안된다. 반면, 브랜치(502-2 → 503-2)는 도 5와 비교하여 교체되지 않는다. 모든 3 차수들의 전위는 도 1에 대한 레퍼런스를 가지는 필터 뱅크에서 수행된다. 여기서,

/

= 1/2 및

/

는 2이다. 다른 말로, 단지 단일 분석 필터뱅크(502-2) 및 단일 합성 필터뱅크(405)가 사용되면, 그에 의해, 다중 전위기의 전체 연산 복잡도를 감소시킨다.

= 3,

= 1인 경우에, 수학식 (1) 내지 (3)에 의해 주어지는 서브밴드 프로세싱 유닛(603-3)을 위한 규격들은 서브밴드 프로세싱 유닛(603-3)이

= 2의 서브밴드 스트레치 및

= 3/2의 서브밴드 전위를 수행해야만 하고, 인덱스 m을 가지는 타겟 서브밴드들과 인덱스 n을 가지는 소스 서브밴드들 사이의 대응이 n = 2m/3에 의해 주어지는 것이다.

= 4,

= 1인 경우, 수학식 (1) 내지 (3)에 의해 주어지는 서브밴드 프로세싱 유닛(603-4)을 위한 규격은 서브밴드 프로세싱 유닛(603-4)이

= 2의 서브밴드 전위 및

= 2의 서브밴드 스트레치를 수행해야만 하고, 인덱스 m을 가지는 타겟 서브밴드와 인덱스 n을 가지는 소스 서브밴드들 사이의 대응이

에 의해 주어지는 것이다.

수학식 (3)은 정수 값 인덱스 n을 인덱스 m을 가지는 타겟 서브밴드에 제공하는 것이 필요하지 않다는 것을 보인다. 특히, 이는 인덱스 m을 가지는 타겟 서브밴드들을 위해 이득이 될 수 있다. 이를 위해, 이러한 수학식 (3)은 인덱스 n을 위한 정수가 아닌 값을 제공한다. 다른 측면에 따라, 수학식 (3)이 인덱스 n의 정수 값을 제공하는, 인덱스 m을 가지는 타겟 서브밴드는 (수학식 (5)를 이용하여) 인덱스 n을 가지는 단일 소스 서브밴드로부터 결정될 수 있다. 다른 말로, 충분히 높은 품질의 고조파 전위는 서브밴드 프로세싱 유닛들(604-3 및 603-4)을 이용하는 것에 의해 성취될 수 있다. 이는 양자 모두 도 3의 콘텍스트에서 개요를 설명한 바와 같은 2개의 서브밴드 입력들을 처리하는 비선형 서브밴드 블록을 사용한다. 게다가, 제공될 때, 제어 신호(104)는 모든 3개의 서브밴드 프로세싱 유닛들의 동작에 동시에 영향을 줄 수 있다. 대안적으로 또는 추가하여, 3개의 유닛들(503-2, 603-3, 603-4)이 논제로 기하하적 크기 가중 파라미터

> 0을 이용할 때, 다중 전위기의 임시 응답은

= 0인 경우에 비교하여 향상될 수 있다.

도 7은 팩터 2의 타임 스트레치에 기반한 서브밴드 블록에 대한 예시적인 임시 응답을 도시한다. 상부의 패널은 입력 신호를 도시하며, 16 kHz에서 샘플링된 이는 캐스터넷(Castanet) 공격이다. 도 1의 구조에 기반한 시스템은 64 밴드 QMF 분석 필터뱅크(101) 및 64 밴드 QMF 합성 필터뱅크(103)로 디자인된다. 서브밴드 프로세싱 유닛(102)은 팩터 S = 2의 서브밴드 스트레치, 어떠한 서브밴드 전위{

= 1) 없음, 그리고, 타겟 서브밴드들에 대한 소스의 직접 일대일 매핑을 구현하도록 구성된다. 분석 블록 스트라이드는 p = 1이고, 블록 크기 반지름은 R = 7이며, 그래서, 블록 길이는 15×64 = 960 신호 도메인(시간 도메인) 샘플들에 대응하는 L =15 서브밴드 샘플들이다. 윈도우 w는 예컨대, 코사인이 2제곱되는 올림형 코사인(raised cosine)이다. 도 7의 중간 패널은 순수 위상 수정이 서브밴드 프로세싱 유닛(102)에 의해 적용될 때, 타임 스트레칭의 출력 신호를 도시한다. 즉, 가중 파라미터

= 0은 수학식 (5)에 따라 비선형 블록 프로세싱을 위해 사용된다. 하부의 패널은 기하학적 크기 가중 파라미터

= 1/2가 수학식 (5)에 따른 비선형 블록 프로세싱을 위해 사용될 때, 타임 스트레칭의 출력 신호를 도시한다. 보인 바와 같이, 임시 응답은 후자의 경우에서 상당히 나아진다. 특히, 가중 파라미터

= 0을 이용하는 서브밴드 프로세싱은 아티팩트(artifacts, 701)를 초래한다. 이 아티팩트(701)는 가중 파라미터

= 1/2를 이용하는 서브밴드 프로세싱으로 상당히 감소된다(참조 번호 702 참조).

이 문헌에서, HFR에 기초한 고조파 전위 및/또는 타임 스트레칭을 위한 방법 및 시스템이 설명되었다. 본 발명의 방법 및 시스템은 정적인 그리고 임시 신호들 위한 고 품질 고조파 전위를 제공하여, 종래의 HFR에 기초한 고조파 전위(harmonic transposition)와 비교하여 연산 복잡도를 상당히 감소시키도록 구현될 수 있다. 설명된 HFR에 기초한 고조파 전위는 비선형 서브밴드 프로세싱에 기초한 블록을 사용한다. 신호 종속 제어 데이터의 사용이 예컨대, 임시 또는 비-임시 신호의 형식에 대한 비선형 서브밴드 프로세싱에 적용되도록 제안된다. 게다가, 비선형 서브밴드 프로세싱에 기초한 블록을 사용하는 고조파 전이의 임시 응답을 향상시키기 위하여, 기하학적 가중 파라미터의 사용이 제안된다. 마지막으로, HFR 기반의 고조파 전이를 위한 저 복잡도 방법 및 시스템이 설명된다. 이는 HFR 프로세싱 및 고조파 전이를 위한 단일 분석/합성 필터뱅크 쌍을 사용한다. 개괄된 방법들 및 시스템은 예컨대, 멀미티디어 수신기들, 비디오/오디오 셋탑 박스들, 모바일 장치들, 오디오 재생기들, 비디오 재생기들, 등의 다양한 디코딩 장치들에 채택될 수 있다.

본 발명의 문헌에 설명된 전위 및/또는 고 주파수 복원 및/또는 타임 스트레치를 위한 방법 및 시스템은 소프트웨어, 펌웨어 및/또는 하드웨어로 구현될 수 있다. 어떤 컴포넌트들은 예컨대, 디지털 신호 프로세서 또는 마이크로프로세서 상에 구현되는 소프트웨어로 구현될 수 있다. 다른 컴포넌트들은, 예컨대, 하드웨어 및/또는 ASIC(application specific integrated circuit)으로 구현될 수 있다. 설명된 방법 및 시스템에서 신호들에 접해지는 신호들은 RAM(random access memory) 또는 광학 스토리지 미디어와 같은 매체 상에 저장될 수 있다. 그들은 라디오 네트워크들, 위성 네트워크들, 무선 네트워크들, 또는 예컨대, 인터넷과 같은, 유선 네트워크들과 같은, 네트워크를 통해 전송될 수 있다. 본 문헌에 설명된 방법 및 시스템을 사용하는 전형적인 장치들은 오디오 신호들을 저장 및/또는 랜더링하는데에 사용되는, 휴대용 전자 장치들 또는 다른 소비 장치들이다. 또한, 본 발명의 방법 및 시스템은 예컨대, 다운로드를 위한 음악 신호들과 같은 오디오 신호들을 저장하고 제공하는, 컴퓨터 시스템, 예컨대, 인터넷 웹 서버상에서 사용될 수 있다.

101: 분석 필터 뱅크 102: 서브밴드 프로세싱
103: 합성 필터뱅크 201: 블록 추출기
202: 비선형 프로세싱 203: 윈도우잉 유닛
204: 오버랩 및 추가 유닛 301-1: 블록 추출기
301-2: 블록 추출기 302: 비선형 프로세싱 유닛
401: 코어 디코더 402: 32 밴드 QMF
403: 다중 전위기 404: HFR 프로세싱
405: 64 밴드 IQMF 502-2: 64 밴드 QMF
502-3: 64 밴드 QMF 502-4: 64 밴드 QMF
503-2: 서브밴드 프로세싱 유닛 503-3 서브밴드 프로세싱 유닛
503-4 서브밴드 프로세싱 유닛 504: 결합 유닛
603-3: 서브밴드 프로세싱 유닛 603-3: 서브밴드 프로세싱 유닛

Claims

서브밴드 전위 팩터 Q 및 서브밴드 스트레치 팩터 S를 이용하여 제1 및 제2 분석 서브밴드 신호로부터 합성 서브밴드 신호를 결정하도록 구성되는 서브밴드 프로세싱 유닛(102)으로서, 상기 제1 및 제2 분석 서브밴드 신호 각각은 상기 제1 및 제2 분석 샘플들로 각각 지칭되는 상이한 시간들에서의 복수의 복소값의 분석 샘플들을 포함하고, 각각의 분석 샘플은 위상과 크기를 가지며, 상기 제1 및 제2 분석 서브밴드 신호들은 입력 오디오 신호의 개별 주파수 대역들과 관련되고; 상기 서브밴드 프로세싱 유닛(102)은,
상기 복수의 제1 분석 샘플들로부터 L개의 제1 입력 샘플들의 프레임을 유도하는 것과 - 여기서 상기 프레임 길이 L은 1보다 큼 -, L개의 제1 입력 샘플들의 다음 프레임을 유도하기 전에 상기 복수의 제1 분석 샘플들에 p개의 샘플들의 블록 홉 크기를 적용하는 것을 반복함으로써 L개의 제1 입력 샘플들의 프레임들의 묶음(suite)을 생성하도록 구성된 제1 블록 추출기(301-1);
- 상기 복수의 제2 분석 샘플들에 상기 블록 홉 크기 p를 적용하여 제2 입력 샘플들의 묶음을 유도하도록 구성된 제2 블록 추출기(301-2) - 여기서 각각의 제2 입력 샘플은 제1 입력 샘플들의 프레임에 대응됨 -;
제1 입력 샘플들의 프레임으로부터 그리고 대응하는 제2 입력 샘플로부터 프로세싱된 샘플들의 프레임을 결정하되, 상기 프레임의 각각의 프로세싱된 샘플에 대해, 대응하는 제1 입력 샘플의 위상을 오프셋하여 상기 프로세싱된 샘플의 위상을 결정하고, 그리고 대응하는 제1 입력 샘플의 크기 및 대응하는 제2 입력 샘플의 크기에 기초하여 상기 프로세싱된 샘플의 크기를 결정함으로써, 제1 입력 샘플들의 프레임으로부터 그리고 대응하는 제2 입력 샘플로부터 프로세싱된 샘플들의 프레임을 결정하도록 구성된 비선형 프레임 프로세싱 유닛(302); 및
프로세싱된 샘플들의 프레임들의 묶음의 상기 샘플들을 오버랩 및 추가함으로써 상기 합성 서브밴드 신호를 결정하도록 구성된 오버랩 및 추가 유닛(204)을 포함하고,
상기 합성 서브밴드 신호는 상기 입력 오디오 신호에 대하여 타임 스트레치된(time stretched) 및/또는 주파수 전위된(frequency transposed) 신호의 주파수 대역과 관련되고, 상기 서브밴드 스트레치 팩터 S는 2와 같은,
서브밴드 프로세싱 유닛(102).
서브밴드 전위 팩터 Q 및 서브밴드 스트레치 팩터 S를 이용하여 제1 및 제2 분석 서브밴드 신호로부터 합성 서브밴드 신호를 생성하는 방법으로서, 상기 합성 서브밴드 신호는 입력 오디오 신호에 대하여 타임 스트레치된(time stretched) 및/또는 주파수 전위된(frequency transposed) 신호의 주파수 대역과 관련되고, 상기 방법은,
상기 입력 오디오 신호의 개별 주파수 대역들과 관련된 상기 제1 및 제2 분석 서브밴드 신호를 제공하는 단계 - 여기서 상기 제1 및 제2 분석 서브밴드 신호 각각은 상기 제1 및 제2 분석 샘플들로 각각 지칭되는 상이한 시간들에서의 복수의 복소값의 분석 샘플들을 포함하고, 각각의 분석 샘플은 위상과 크기를 가짐 -;
상기 복수의 제1 분석 샘플들로부터 L개의 제1 입력 샘플들의 프레임을 유도하는 단계 - 여기서 상기 프레임 길이 L은 1보다 큼 -;
L개의 제1 입력 샘플들의 다음 프레임을 유도하기 전에 상기 복수의 제1 분석 샘플들에 p개의 샘플들의 블록 홉 크기를 적용하고 그럼으로써 제1 입력 샘플들의 프레임들의 묶음(suite)을 생성하는 단계;
상기 복수의 제2 분석 샘플들에 상기 블록 홉 크기 p를 적용하여 제2 입력 샘플들의 묶음을 유도하는 단계 - 여기서 각각의 제2 입력 샘플은 제1 입력 샘플들의 프레임에 대응됨 -;
제1 입력 샘플들의 프레임으로부터 그리고 대응하는 제2 입력 샘플로부터 프로세싱된 샘플들의 프레임을 결정하되, 상기 프레임의 각각의 프로세싱된 샘플에 대해, 대응하는 제1 입력 샘플의 위상을 오프셋하여 상기 프로세싱된 샘플의 위상을 결정하고, 그리고 대응하는 제1 입력 샘플의 크기 및 대응하는 제2 입력 샘플의 크기에 기초하여 상기 프로세싱된 샘플의 크기를 결정함으로써, 제1 입력 샘플들의 프레임으로부터 그리고 대응하는 제2 입력 샘플로부터 프로세싱된 샘플들의 프레임을 결정하는 단계; 및
프로세싱된 샘플들의 프레임들의 묶음의 상기 샘플들을 오버랩 및 추가함으로써 상기 합성 서브밴드 신호를 결정하는 단계 - 여기서 상기 서브밴드 스트레치 팩터 S는 2와 같음 -;
를 포함하는 방법.
컴퓨팅 장치에서 수행되는 경우 프로세서에서 실행되고 청구항 제 2 항의 방법의 단계들을 수행하도록 구성된 소프트웨어 프로그램을 포함하는 저장 매체.
컴퓨팅 장치에서 수행되는 경우 프로세서에서 실행되고 청구항 제 2 항의 방법의 단계들을 수행하도록 구성된 소프트웨어 프로그램.
컴퓨터에서 실행되는 경우 청구항 제 2 항의 방법을 수행하기 위한 실행 가능 명령어들을 포함하는 컴퓨터 프로그램 제품.