KR20150096483A - 디지털 오디오 신호 내의 프리-에코의 효과적인 감쇠 - Google Patents

Abstract

본 발명은 변환 디코딩에 따라 디코딩된 디지털 오디오 신호 내의 프리-에코의 감쇠를 프로세싱하기 위한 방법에 관한 것이다. 이 방법은: 사전결정된 분해 기준에 따라 디코딩된 신호를 적어도 두 하위-신호들로 분해하는 단계(E603); 이전에 결정된 프리-에코 구역의 하위-신호마다 그리고 샘플마다 감쇠 인자들을 계산하는 단계(E604); 감쇠 인자들을 하위-신호들에 적용함으로써 하위-신호들 각각의 프리-에코 구역 내의 프리-에코를 감쇠시키는 단계(E605); 및 감쇠된 하위-신호들의 조합에 의해 감쇠된 신호를 획득하는 단계(E606)를 포함한다. 본 발명은 또한 기술된 방법의 단계들을 구현하는 프로세싱 디바이스 및 이러한 디바이스를 포함하는 디코더에 관한 것이다.

Description

디지털 오디오 신호 내의 프리-에코의 효과적인 감쇠{EFFECTIVE ATTENUATION OF PRE-ECHOS IN A DIGITAL AUDIO SIGNAL}

본 발명은 디지털 오디오 신호를 디코딩할 때 프리-에코(pre-echo)의 감쇠를 프로세싱하기 위한 방법 및 디바이스에 관한 것이다.

예를 들어 고정 네트워크이거나 또는 모바일 네트워크인 텔레커뮤니케이션 네트워크 상에서의 디지털 오디오 신호의 전송에 있어서, 또는 신호의 저장에 있어서, 압축(또는 소스 코딩) 프로세스는 일반적으로 선형 예측 타입에 의한 시간 코딩 또는 변환 타입에 의한 주파수 코딩인 코딩 시스템을 구현하는 것과 관련된다.

따라서, 본 발명의 주제인 방법 및 디바이스는 사운드 신호, 특히 주파수 변환에 의해 코딩되는 디지털 오디오 신호의 압축의 범주 내에 있다.

도 1은, 예시의 방식으로, 이전 기술에 따른 오버랩-추가(overlap-addition)에 의한 분석-합성(analysis-synthesis)을 포함하는 변환에 의한 디지털 오디오 신호의 코딩 및 디코딩의 개략도를 나타낸다.

퍼커션과 같은 소정의 음악적 시퀀스 및 파열 자음(/ㅋ/, /ㅌ/, 등)과 같은 소정의 음성 분절음은 소수의 샘플들의 공간 내의 신호의 동적 범위의 매우 신속한 전이 및 매우 강한 변동 내에 반영되는 매우 갑작스러운 온셋(onset)에 의해 특징지어진다. 예시적인 전이가 도 1에서 샘플(410)로부터 주어졌다.

코딩/디코딩 프로세싱에 있어서, 입력 신호는 길이 L인 샘플들의 블록으로 하위분할되며, 이들의 경계가 도 1에서 수직 점선으로 표현되었다. 입력 신호는 x(n)으로 표기되고, 이때 n은 샘플의 인덱스이다. 연속적인 블록(또는 프레임)들로 나눈 결과로서 블록의 정의 X _N (n)=[x(N.L)…x(N.L+L-1)]=[x _N(0)…x _N(L-1)]가 발생하며, 이때 N은 블록(또는 프레임)의 인덱스이고, L은 프레임의 길이이다. 도 1에서, L=160 샘플이다. 수정 이산 코사인 변환 MDCT(modified discrete cosine transform)의 경우에서, 두 블록 X _N(n) 및 X _{N +1}(n)이 인덱스 N의 프레임과 연관하여 변환된 계수들의 블록이 주어지도록 함께 분석되며 분석 윈도우는 사인곡선 모양이다.

변환 코딩에 의해 적용되는 블록(프레임으로도 지칭됨)으로의 분할은 사운드 신호에 대해 완전히 독립적이고, 그에 따라 분석 윈도우의 어느 점에서나 전이가 나타날 수 있다. 이제, 변환 디코딩 후에, 재구성된 신호가 양자화(Q)-역 양자화(Q^-1) 동작에 의해 발생되는 "노이즈"(또는 왜곡)에 의해 영향을 받는다. 이러한 코딩 노이즈는 변환된 블록의 전체 시간 매체에 걸쳐, 즉 (L 샘플의 오버랩을 갖는) 길이 2L의 샘플의 윈도우의 전체 길이에 걸쳐, 비교적 균일한 방식으로 시간에 배분된다. 코딩 노이즈의 에너지는 일반적으로 블록의 에너지에 비례하고 코딩/디코딩 비트 레이트(bit rate)의 함수이다.

(도 1의 블록(320-480)과 같이) 온셋을 포함하는 블록에서 신호의 에너지가 높으며, 그에 따라 노이즈 또한 높은 레벨이다.

변환 코딩에서, 코딩 노이즈의 레벨은 전형적으로 전이에 바로 이어지는 높은 에너지의 분절음에 대한 신호의 레벨보다 낮지만, 더 낮은 에너지의 분절음에 대한 신호의 레벨보다는 높으며, 특히 전이 이전의 부분(도 1의 샘플(160-410))보다 높다. 전술된 부분에 있어서, 신호대 노이즈 비율은 네거티브이며 결과적인 저하가 청취시에 매우 거슬리게 나타날 수 있다. 프리-에코는 전이 이전의 코딩 노이즈에 주어진 명칭이며, 포스트-에코는 전이 이후의 노이즈에 주어진 명칭이다.

도 1에서 프리-에코가 전이 이전의 프레임뿐만 아니라 전이가 발생하는 프레임에도 영향을 미친다는 것을 볼 수 있다.

음향 심리학적 경험은 사람의 귀가 대략 수 ms의 상당히 제한적인 사운드의 시간적 프리-마스킹을 수행한다는 것을 보여주었다. 프리-에코 지속시간(duration)이 프리-마스킹 지속시간보다 더 클 때 온셋 이전의 노이즈, 또는 프리-에코가 청취가능하다.

또한, 사람의 귀는 높은 에너지의 시퀀스로부터 낮은 에너지의 시퀀스로의 전이에서 5 내지 60 ms의 더욱 긴 지속시간을 갖는 포스트-마스킹을 수행한다. 따라서, 포스트-에코에 대해 수용가능한 불편함의 레이트 또는 레벨이 프리-에코에 대한 것보다 더 높다.

보다 심각한 프리-에코의 현상은 샘플의 수의 측면에서의 블록의 길이가 큰 경우에 더욱 거슬린다는 점이다. 이제 변환 코딩에서, 고정 신호에 있어서 변환의 길이가 더 많이 증가할수록 코딩 이득이 더욱 커진다는 것이 잘 알려져 있다. 고정된 샘플링 주파수 및 고정된 비트 레이트를 이용하여, 만약 윈도우의 포인트의 수가 증가하면(그에 따라 변환의 길이가 증가하면), 주파수 선을 코딩하기 위해 프레임당 더 많은 비트가 존재할 것이며 이는 음향 심리학적 모델에 의해 유용한 것으로 간주되고, 그러므로 큰 길이의 블록을 이용하는 이익이 존재할 것이다. 예를 들어, MPEG AAC(Advanced Audio Coding) 코딩은 2048개의 고정된 수의 샘플을 포함하는, 즉 만약 샘플링 주파수가 32 kHz라면 64 ms의 지속시간에 걸친 큰 길이의 윈도우를 사용하고; (전이 윈도우로 지칭되는) 중간 윈도우를 통해 이렇게 긴 윈도우를 8 짧은 윈도우로 전환시키는 것을 가능하게 함으로써 프리-에코의 문제가 관리되며, 이것은 전이의 존재를 검출하여 윈도우에 적응시키기 위해 코딩에서 소정의 지연을 요구한다. 따라서, 이러한 짧은 윈도우의 길이는 256 샘플(32 kHz에서 8 ms)이다. 낮은 비트 레이트에서, 수 ms의 청취 가능한 프리-에코를 갖는 것이 여전히 가능하다. 윈도우의 전환은 프리-에코를 감쇠시키는 것을 가능하게 하지만 그것을 제거하지는 않는다. ITU-T G.722.1, G.722.1C 또는 G.719와 같은 종래의 애플리케이션에 사용되는 변환 코더는, 종종 (각각) 16, 32 또는 48kHz에서 20ms의 프레임 길이 및 40ms 지속시간의 윈도우를 사용한다. ITU-T G.719 코더가 과도 검출(transient detection)을 이용한 윈도우 전환 메커니즘을 포함하지만, 프리-에코는 낮은 비트 레이트(전형적으로 32kbit/s)에서 완전히 감소되지 않는다는 것이 인지될 수 있다.

전술된 프리-에코 현상의 거슬리는 효과를 감소시키기 위해서, 서로 다른 솔루션들이 코더 및/또는 디코더 레벨에서 제안되어 왔다.

윈도우들의 전환은 이미 인용되었으며; 이것은 현재 프레임에서 사용되는 윈도우의 타입을 식별하기 위한 보조 정보를 전송하는 것을 수반한다. 다른 솔루션은 적응성 필터링을 적용하는 것을 포함한다. 온셋 이전의 구역에서, 재구성 신호가 오리지널 신호와 양자화 노이즈의 합산으로 보여진다.

상응하는 필터링 기술이 1994년 11월 IEEE 통신회지 42권 11호에서 Y. Mahieux 및 J. P. Petit에 의해 공개된 논문 제목 "High Quality Audio Transform Coding at 64 kbits"에 기술되었다.

이러한 필터링의 구현은 파라미터에 관한 지식을 수반하고, 예측 계수 및 프리-에코에 의해 손상된 신호의 분산과 같은 파라미터의 일부가 디코더 상에서 노이지 샘플로부터 예측된다. 반면에, 오리지널 신호의 에너지와 같은 정보는 오직 코더에만 알려질 수 있고, 그에 따라 전송되어야만 한다. 이것은 제한된 비트 레이트를 이용한 추가적인 정보의 전송을 수반하며, 이는 변환 코딩에 할당되는 상대적인 예산을 감소시킨다. 수신된 블록이 동적 범위의 급격한 변동을 포함할 때, 필터링 프로세싱이 그에 적용된다.

전술된 필터링 프로세스는 오리지널 신호를 검색하는 것을 가능하게 하지 않지만, 프리-에코의 강한 감소를 제공한다. 그러나 이것은 디코더로의 추가 파라미터 전송을 수반한다.

이전의 솔루션들과는 다르게, 정보의 특정한 전송이 없는 상이한 프리-에코 감소 기술이 제안되었다. 예를 들어, 계층적 코딩의 맥락에서의 프리-에코 감소에 대한 검토가 2008년 8월 스위스 로잔에서 열린 EUSIPOCO에서 B. Kovesi, S. Ragot, M. Gartner, H.Taddei에 의해 공개된 논문 "Pre-echo reduction in the ITU-T G.729.1 embedded coder"에서 제시되었다.

보조 정보 없는 프리-에코 감쇠 방법의 전형적인 예시가 프랑스 특허 출원 FR 08 56248에 기술되었다. 이러한 예시에서, 전이 또는 온셋이 검출된 하위-블록 이전의 저에너지 하위-블록들 내에서 하위-블록마다 감쇠 인자가 결정된다.

k번째 하위-블록 내의 감쇠 인자

는 예를 들어 가장 강한 에너지의 하위-블록의 에너지와 k번째 하위-블록의 에너지 사이의 비율

의 함수인

로서 계산되며, 이때 f는 0과 1 사이의 값을 갖는 감소 함수이고, k는 하위-블록의 수이다. 예를 들어 현재 하위-블록 내의 에너지

및 이전의 하위-블록 내의 에너지

의 함수와 같은 인자

의 다른 정의가 가능하다.

만약 하위-블록들의 에너지가 현재 프레임 내에서 고려되는 하위-블록들 내의 최대 에너지에 대해 거의 변하지 않으면 감쇠가 필요하지 않으며; 인자

는 감쇠를 억제하는 감쇠 인자, 즉 1로 설정된다. 그렇지 않으면, 감쇠 인자는 0과 1 사이에 놓인다.

대부분의 경우에서, 무엇보다도 프리-에코가 거슬리는 경우에, 프리-에코 프레임 이전의 프레임은 (전형적으로 배경 노이즈인) 저에너지 분절음의 에너지에 상응하는 균일한 에너지를 갖는다. 경험으로부터, 프리-에코 감쇠 프로세싱 이후에 신호의 에너지가 프로세싱 구역 이전 신호의 (하위-블록당) 평균 에너지 - 전형적으로

으로 표기되는 이전 프레임의 평균 에너지 또는

으로 표기되는 이전 프레임의 후반의 평균 에너지 - 보다 낮아지는 것은 유용하지도 않고 바람직하지도 않다.

프로세싱될 인덱스 k의 하위-블록에 있어서, 프로세싱될 하위-블록 이전의 분절음의 하위-블록당 평균 에너지와 정확히 동일한 에너지를 획득하도록,

로 표기되는 감쇠 인자의 제한 값을 계산하는 것이 가능하다. 물론 이 값은 본 발명에서 관심 있는 감쇠 값이기 때문에 최대 1로 제한된다. 보다 구체적으로, 아래와 같이 정의되며:

이때 이전 분절음의 평균 에너지는 값

으로 근사된다.

이에 따라 획득된 값

는 하위-블록의 감쇠 인자의 최종 계산에서 하한값으로서의 역할을 하며, 그에 따라 아래와 같이 사용된다:

하위-블록마다 결정되는 감쇠 인자(또는 이득)

는 블록의 경계에서의 감쇠 인자의 급격한 변동을 방지하기 위해서 샘플마다 적용되는 평활 함수(smoothing function)에 의해 평활화될 수 있다.

예를 들어, 먼저 샘플당 이득을 구간적 상수 함수(piecewise constant function)로 정의하는 것이 가능하며:

,

이때 L'은 하위-블록의 길이를 나타낸다.

그 다음에, 함수는 아래의 등식에 따라 평활화되며:

,

이때 통상적으로

은 이전 하위-블록의 마지막 샘플에 대해 획득된 마지막 감쇠 인자이고, a는 평활화 계수이며, 전형적으로 a=0.85이다.

예를 들어, u개의 샘플에 대한 선형 크로스페이딩(cross-fading)과 같은 다른 평활화 함수 또한 가능하며:

,

이때

은 비-평활화된 감쇠이고,

은 평활화된 감쇠이며,

인

은 이전 하위-블록의 마지막 샘플에 대해 획득된 마지막 u-1개의 감쇠 인자이다. 예를 들어 u=5인 것이 가능하다.

따라서,

인자가 계산되면, 각 샘플에 상응하는 인자를 곱함으로써 현재 프레임

내에서 재구성된 신호에 대해 프리-에코의 감쇠가 수행된다:

,

이때

은 디코딩되고 프리-에코 감소에 의해 추후 프로세싱되는 신호이다.

도 2 및 3은 전술되고 앞서 요약된 이전 기술의 특허 출원에서 설명된 것과 같은 감쇠 방법의 구현을 도시한다.

이러한 예시들에서, 신호가 32kHz에서 샘플링되고, 프레임의 길이는 L=640 샘플이며 각 프레임은 K=80 샘플인 8개의 하위-블록들로 분할된다.

도 2의 부분 a)에서, 32 kHz에서 샘플링된 오리지널 신호의 프레임이 표현되었다. 신호 내의 온셋(또는 전이)은 인덱스(320)에서 시작하는 하위-블록에 위치되었다. 이러한 신호는 낮은 비트 레이트(24 kbit/s)에서 MDCT 타입의 변환 코더에 의해 코딩되었다.

도 2의 부분 b)에서, 프리-에코 프로세싱 없는 디코딩의 결과가 도시되었다. 프리-에코는 온셋을 포함하는 하위-블록 이전의 하위-블록 내의 샘플(160)로부터 관찰될 수 있다.

부분 c)는 전술된 이전 기술의 특허 출원에서 설명된 방법에 의해 획득되는 프리-에코 감쇠 인자의 경향(연속선)을 나타낸다. 점선은 평활화 이전의 인자를 나타낸다. 여기에서 온셋의 위치는 (샘플(320)과 샘플(400)에 의해 범위가 정해지는 블록 내의) 샘플(380) 주변으로 추정된다는 것이 인지되어야만 한다.

부분 d)는 프리-에코 프로세싱의 적용 후(신호 b)를 신호 c)와 곱함)의 디코딩의 결과를 도시한다. 프리-에코가 실제로 감쇠되었음을 볼 수 있다. 또한 도 2는 평활화된 인자가 온셋 시에 1로 다시 돌아가지 않음을 나타내며, 이것은 온셋의 진폭의 감소를 의미한다. 이러한 감소의 지각 가능한 영향은 매우 작지만 그럼에도 불구하고 방지될 수 있다. 도 3은 도 2와 동일한 예시를 도시하며, 여기에서 평활화 이전에 온셋이 위치된 하위-블록 이전의 하위-블록의 소수의 샘플들에 대해 감쇠 인자 값이 1로 강요받는다. 도 3의 부분 c)에 이러한 보정의 예시가 주어진다.

이러한 예시에서, 인덱스(364)로부터 온셋 이전의 하위-블록의 마지막 16개의 샘플에 인자 값 1이 할당된다. 따라서, 평활화 함수는 온셋 시에 1에 가까운 값을 갖도록 인자를 점진적으로 증가시킨다. 그 다음 도 3의 부분 d)에 도시된 것과 같이 온셋의 진폭이 보존되지만, 소수의 프리-에코 샘플은 감쇠되지 않는다.

도 3의 예시에서, 감쇠에 의한 프리-에코의 감소는 이득의 평활화로 인해 프리-에코를 온셋 레벨까지 감소시키는 것을 가능하게 하지 않는다.

도 3과 동일한 설정을 갖는 다른 예시가 도 4에 도시되었다. 이 도면은 온셋 이전의 신호의 성질을 더 잘 나타내기 위해 2개의 프레임을 나타낸다. 여기에서, 온셋 이전의 오리지널 신호의 에너지는 도 3에 도시된 경우보다 더 강하며(부분 a)), 온셋 이전의 신호가 청취 가능하다(샘플(0)-샘플(850)). 부분 b)에서 프리-에코 프로세싱 없이 디코딩된 신호에 대한 프리-에코가 샘플(700)-샘플(850) 구역에서 관찰될 수 있다. 이전에 설명된 감쇠 제한 절차에 따라, 프리-에코 구역의 신호의 에너지는 프로세싱 구역 이전의 신호의 평균 에너지로 감쇠된다. 부분 c)에서, 에너지 제한을 고려함으로써 계산된 감쇠 인자는 1에 근접하며, 프리-에코 구역 내의 신호의 올바른 레벨 설정에도 불구하고 프리-에코 프로세싱의 적용 후(신호 b)와 신호 c)를 곱함))에 여전히 프리-에코가 부분 d) 상에 존재함을 볼 수 있다. 이러한 프리-에코는 사실 고주파수 성분이 이러한 구역 내의 신호 상에서 중첩되었음을 알 수 있는 파형에 대해 명백하게 구별될 수 있다.

이러한 고주파수 성분은 명백하게 청취가능하고 거슬리며, 온셋은 덜 명확하다(도 4의 부분 d)).

이러한 현상에 대한 설명은 다음과 같다: (도 4에 도시된 것과 같은) 매우 급격한 충동적 온셋의 경우에서, (온셋을 포함하는 프레임 내의) 신호의 분광은 보다 백색이고, 그에 따라 다수의 고주파를 포함한다. 따라서, 양자화 노이즈 또한 주파수에서 분포되고 비교적 편평하며(백색) 고주파수로 구성되지만, 프리-에코 구역 이전의 신호의 경우에서는 그렇지 않다. 따라서, 분광에서 하나의 프레임으로부터 다른 프레임으로의 급격한 변화가 존재하며, 이것은 에너지가 올바른 레벨로 설정되었다는 사실에도 불구하고 청취 가능한 프리-에코를 발생시킨다.

이러한 현상은 다시 도 5a 및 5b에 표현되었으며, 도 5a에는 도 4의 부분 a)에 표현된 신호에 상응하는 오리지널 신호의 분광 사진을, 그리고 도 5b에는 도 4의 부분 d)에 표현된 신호에 상응하는 이전 기술에 따른 프리-에코 감쇠를 갖는 신호의 분광 사진을 각각 나타낸다.

여전히 청취 가능한 프리-에코를 도 5b의 프레임된 부분 내에서 명확하게 볼 수 있다.

따라서, 원치 않는 고주파수를, 보다 일반적으로는 스퓨리어스(spurious) 프리-에코를 정확하고 보편적으로 그리고 코더에 의해 전송되는 어떠한 보조 정보도 없이 감쇠시키는 것을 가능하게 하는, 디코딩에서 프리-에코를 감쇠시키기 위한 향상된 기술에 대한 필요성이 존재한다.

본 발명은 이전 기술 상황을 향상시킨다.

이를 위해서, 본 발명은 변환 디코딩에 따라 디코딩된 디지털 오디오 신호 내의 프리-에코의 감쇠를 프로세싱하기 위한 방법을 다룬다. 이 방법은 아래의 단계들을 포함한다:

- 사전결정된 분해 기준에 따라 디코딩된 신호를 적어도 두 하위-신호로 분해하는 단계;

- 이전에 결정된 프리-에코 구역의 하위-신호마다 그리고 샘플마다 감쇠 인자를 계산하는 단계;

- 감쇠 인자를 하위-신호에 적용함으로써 하위-신호 각각의 프리-에코 구역 내의 프리-에코를 감쇠시키는 단계; 및

- 감쇠된 하위-신호들의 조합에 의해 감쇠된 신호를 획득하는 단계.

따라서, 본 발명은 감쇠가 각각의 하위-신호들에 적용되도록 정확하게 제어하는 것을 가능하게 한다. 이러한 하위-신호들은 선택된 분해 기준에 따라 디코딩된 신호의 특정한 특징을 나타내는 성분을 갖는다. 따라서, 서로 다른 특징들에 대해 적용될 감쇠의 크기가 적응될 수 있다. 이러한 디코딩된 신호 내의 프리-에코 감쇠는 더 정확하고 더욱 효율적이다.

아래에서 언급되는 서로 다른 특정한 구현예들이, 상기 정의된 방법의 단계들에서 독립적으로 또는 서로 함께 추가될 수 있다.

제1 구현예에서, 사전결정된 분해 기준이 주파수 기준이다.

따라서, 감쇠는 디코딩된 신호의 주파수 특징들에 대해 정확하게 적응된다.

특정한 구현예에서, 디코딩된 신호의 분해는 제1 하위-신호를 획득하기 위해 제1 저역-통과 또는 고역-통과 필터링에 의해 수행된다.

따라서, 저역 통과 필터링의 경우에서의 저주파수 성분 또는 고역 통과 필터링의 경우에서의 고주파수 성분을 포함한다. 이러한 제1 하위-신호에 대한 감쇠는 자신의 주파수 성분에 대해 적응된다.

가능한 구현예에 따르면, 신호의 분해는 제2 하위-신호를 획득하기 위해 제1 필터링을 보완하는 제2 고역 통과 또는 저역 통과 필터링에 의해 추가로 수행된다.

따라서, 제2 하위-신호는 보완적인 고역 통과 필터링의 경우에서의 고주파수 성분 및 보완적인 저역 통과 필터링의 경우에서의 저주파수 성분을 포함한다. 이러한 제2 하위-신호에 대한 감쇠 또한 자신의 주파수 성분에 대해 적응된다.

다른 가능한 구현예에 따르면, 제2 하위-신호를 획득하기 위한 제2 필터링을 방지하도록, 디코딩된 신호로부터 제1 하위-신호를 차감함으로써 제2 하위-신호가 획득된다. 따라서, 이것은 방법의 분해 단계의 복잡도를 감소시킨다.

특히, 필터링은 제로 전달 함수 위상을 갖는 유한 임펄스 응답 필터링이며:

이때 c(n)은 0과 0.25 사이에 놓인 계수이다.

이러한 필터링 타입은 낮은 복잡도를 갖는다.

변형예에서, 디코딩된 신호의 분해는 하위-대역 내의 하위-신호를 획득하기 위해서 QMF 및 PQMF 필터링에 의해 수행된다.

따라서, 하위-신호의 수가 획득되며, 각각의 하위-신호는 서로 다른 주파수 대역에서 표현된다. 따라서, 결과적인 감쇠는 프리-에코의 분광 분포를 고려하는 것을 가능하게 한다. 그 다음 감쇠가 이러한 분광 특징에 적응된다.

제2 구현예에서, 사전결정된 분해 기준은 신호의 주기성의 기준이다.

이러한 구현예에서, 감쇠는 신호의 주기성 특징에 대해 적응된다. 제1 하위-신호는 예를 들어 사인곡선 타입의 주기적 성분을 포함하고, 제2 하위-신호는 노이즈 성분을 포함한다.

가능한 구현예에 따르면,

- 분해 단계 이전에 디코딩된 신호 내의 온셋 위치를 검출하는 단계;

- 분해 단계 이전의 디코딩된 신호 또는 분해 단계 이후의 하위-신호들 내에서 검출된 온셋 위치에 앞선 프리-에코 구역을 결정하는 단계에 따라 프리-에코가 결정된다.

따라서, 온셋 위치의 검출 단계는 모든 하위-신호들에 대해서 통합되며, 그에 따라 프로세싱 복잡도를 감소시키는 것을 가능하게 한다. 프리-에코 구역의 결정 단계 또한 낮은 복잡도를 원하는 경우에 통합될 수 있거나 또는 신호 트레이드-오프에 대한 우수한 저-복잡도/적응성을 위해 하위-신호 내에서 수행될 수 있다.

다른 가능한 구현예에 따르면,

- 분해 단계 이후에 획득된 하위-신호들 각각 내의 온셋 위치를 검출하는 단계;

- 하위-신호들 각각 내에서 검출된 온셋 위치에 앞선 프리-에코 구역을 결정하는 단계에 따라 프리-에코 구역이 결정된다.

온셋 위치의 검출은 그것이 적용되는 하위-신호에 따라 서로 다르게 수행될 수 있다. 이것은 더 큰 프로세싱 복잡도의 손상에 대한 하위-신호의 함수로서 검출을 가장 잘 적응시키는 것을 가능하게 한다.

본 발명의 일 구현예에 따라 이 방법을 추가로 단순화하기 위해서, 적어도 하나의 하위-신호에 대해, 디코딩된 신호 내의 온셋 위치의 검출 단계의 적어도 하나의 파라미터를 사용함으로써 감쇠 인자의 계산이 수행된다.

이것은 사실 일반적으로 고주파수 성분보다 훨씬 더 높은 에너지를 갖는 저주파수 성분을 포함하는 하위-신호에 대한 경우일 수 있으며, 디코딩된 신호

및 대부분 저주파수 성분을 포함하는 하위 신호

의 하위-블록당 에너지는 매우 근사하다. 따라서, 이러한 신호에 있어서 하위-블록당 에너지 값이 이미 온셋을 검출하기 위해 계산되었기 때문에, 하위-신호 감쇠 인자를 계산하기 위해 하위-블록의 에너지를 다시 계산하는 것이 필요하지 않다.

특정한 구현예에서, 감쇠 인자의 평활화 단계가 적어도 하나의 하위-신호에 대해 적용된다.

이러한 평활화는 샘플 블록의 경계에서 감쇠 인자의 급격한 변동을 방지하는 것을 가능하게 한다.

바람직한 구현예에서, 온셋의 시작 이전의 사전결정된 수의 샘플들에 대해 감쇠 인자가 1로 강요된다.

따라서, 감쇠 인자는 온셋 시에 1의 값을 가지며, 이것은 온셋의 진폭을 보존하는 것을 가능하게 한다.

본 발명은 또한 변환 디코더로부터 디코딩된 디지털 오디오 신호 내의 프리-에코의 감쇠를 프로세싱하기 위한 디바이스에 관한 것이다. 이러한 디바이스는:

- 사전결정된 분해 기준에 따라 디코딩된 신호를 적어도 두 하위-신호들로 분해하는 모듈;

- 이전에 결정된 프리-에코 구역의 하위-신호마다 그리고 샘플마다 감쇠 인자들을 계산하는 모듈;

- 감쇠 인자들을 하위-신호들에 적용함으로써 하위-신호들 각각의 프리-에코 구역 내의 프리-에코를 감쇠시키는 모듈;

- 감쇠된 하위-신호들의 합산에 의해 감쇠된 신호를 획득하는 모듈을 포함한다.

이러한 디바이스의 장점은 이것이 구현하는 감쇠 프로세싱 방법에 대해 기술된 것과 동일하다.

본 발명은 전술된 바와 같은 디바이스를 포함하는 디지털 오디오 신호의 디코더를 목표로 한다.

본 발명은 또한 전술된 바와 같은 방법의 단계들을 구현하기 위한, 프로세서에 의해 실행되는 코드 명령어들을 포함하는 컴퓨터 프로그램을 목표로 한다.

마지막으로, 본 발명은 프로세서에 의해 판독될 수 있고, 프로세싱 디바이스에 포함되거나 포함되지 않을 수 있고, 제거 가능할 수 있으며, 전술된 바와 같은 프로세싱 방법을 구현하는 컴퓨터 프로그램을 저장하는 저장 매체에 관한 것이다.

본 발명의 다른 특성들 및 장점들은 첨부된 도면을 참조로 하여 순수하게 비제한적인 예시로서 주어진 아래의 설명을 읽음으로써 더욱 분명하고 명백해질 것이다:
- 도 1은, 앞서 기술된 바와 같이, 이전 기술에 따른 변환 코딩-디코딩 시스템을 도시한다;
- 도 2는, 앞서 기술된 바와 같이, 이전 기술에 따른 감쇠 방법이 수행되는 예시적인 디지털 오디오 신호를 도시한다;
- 도 3은, 앞서 기술된 바와 같이, 이전 기술에 따른 감쇠 방법이 수행되는 다른 예시적인 디지털 오디오 신호를 도시한다;
- 도 4는, 앞서 기술된 바와 같이, 이전 기술에 따른 감쇠 방법이 수행되는 또 다른 예시적인 디지털 오디오 신호를 도시한다;
- 도 5a 및 도 5b는 각각 (도 4의 부분 a) 및 d)에 각각 상응하는) 오리지널 신호의 분광 사진 및 이전 기술에 따른 프리-에코 감쇠를 갖는 신호의 분광 사진을 각각 도시한다;
- 도 6은 본 발명의 구현예에 따른 프로세싱 방법에 의해 구현되는 디지털 오디오 신호 디코더 내의 프리-에코 감쇠 프로세싱을 위한 디바이스 및 단계들을 도시한다;
- 도 7a는 서로 다른 필터 파라미터 값들에 대한, 신호의 압축해제 단계에서 본 발명의 일 구현예에 따라 구현된 저역 통과 필터의 주파수 응답을 도시한다;
- 도 7b는 서로 다른 필터 파라미터 값들에 대한, 신호의 압축해제 단계에서 본 발명의 구현예에 따라 구현된 고역 통과 필터의 주파수 응답을 도시한다;
- 도 8은 프리-에코 현상을 생성할 가능성이 있는 변환 코딩 및 디코딩에 대한 낮은 지연을 갖는 분석 윈도우 및 합성 윈도우의 예시를 도시한다;
- 도 9는 본 발명에 따른 프리-에코 감쇠 방법이 구현되는 예시적인 디지털 오디오 신호를 도시한다;
- 도 10은 프리-에코 감쇠 프로세싱의 구현을 위한 본 발명의 디지털 오디오 신호의 압축해제의 예시를 도시한다;
- 도 11은 온셋 구역에 근접한 샘플을 줌함으로써 도 10의 신호를 리프라이즈한다;
- 도 12a, 도 12b 및 도 12c는 프리-에코 감쇠 프로세싱 없이 디코딩된 신호 및 본 발명에 따른 프리-에코 감쇠 프로세싱을 이용하여 디코딩된 신호의 오리지널 디지털 오디오 신호의 각각의 분광 사진을 도시한다; 그리고
- 도 13은 본 발명에 따른 감쇠 프로세싱 디바이스의 하드웨어 예시를 도시한다.

도 6을 참조하면, 프리-에코 감쇠 프로세싱 디바이스(600)가 기술되었다. 아래에서 기술되는 바와 같은 감쇠 프로세싱 디바이스(600)는 신호 S를 수신하는 역 양자화(Q^-1) 모듈(610), 역 변환(MDCT^-1) 모듈(620), 도 1을 참조하여 기술된 바와 같이 오버랩-추가(Add/rec)에 의해 신호를 재구성하고 본 발명에 따른 감쇠 프로세싱 디바이스에 재구성된 신호

를 전달하기 위한 모듈(630)을 포함하는 디코더에 포함된다. 여기에서는 음성 및 오디오 코딩에서 매우 흔한 MDCT 변환의 예시가 취해지지만, 디바이스(600)는 임의의 다른 타입의 변환(FFT, DCT, 등)에도 적용된다.

디바이스(600)의 출력에서, 프리-에코 감쇠가 수행된 프로세싱된 신호 Sa가 공급된다.

디바이스(600)는 하위-신호들로 분해된 디코딩된 신호

내의 프리-에코를 감쇠하기 위한 방법을 구현하며, 이러한 분해는 프리-에코 프로세싱에 대해 특정적이다.

본 발명의 일 구현예에서, 감쇠 프로세싱 방법은 디코딩된 신호

내에서 프리-에코를 발생시킬 수 있는 온셋의 검출 단계(E601)를 포함한다. 감쇠 디바이스(600)는 합성 MDCT 윈도잉(windowing)이 고정되는 경우 및 윈도잉이 적응가능한 경우에서 동일하게 적용될 수 있다.

따라서, 디바이스(600)는 디코딩된 오디오 신호 내의 온셋의 위치의 검출 단계(E601)를 구현하기에 적합한 검출 모듈(601)을 포함한다.

온셋은 신호의 동적 범위(또는 진폭)의 신속한 전이 및 급격한 변화이다. 이러한 타입의 신호는 보다 포괄적인 용어인 "과도(transient)"에 의해 지정될 수 있다. 아래에서는, 오직 온셋 또는 전이라는 용어들이 과도를 기술하기 위해 사용될 것이다.

"a"가 체인 점선 화살표에 의해 도시된 이러한 구현예에서, 프리-에코 검출이 이후에 기술되는 모듈(603)의 하위-신호들로의 분해 단계(E603) 이전에 디코딩된 신호 상에서 수행된다.

디코딩된 신호

의 L 샘플들의 각 현재 프레임은 예를 들어 32 kHz에서 L=640 샘플(20 ms), L'=80 샘플(2.5 ms) 및 K=8을 갖는 길이 L'의 K개의 하위-블록들로 분할된다. 따라서, 바람직하게, 하위-블록들의 크기는 동일하지만, 본 발명은 유효하게 남아있으며, 하위-블록들이 가변적 크기를 가질 때 쉽게 일반화될 수 있다. 이것은 예를 들어 프레임 L의 길이가 하위-블록들의 수 K로 나누어질 수 없거나 또는 프레임 길이가 가변적인 경우일 수 있다.

ITU-T G.718 표준에 기술된 것과 유사한 특별한 저 지연 분석-합성 윈도우는 MDCT 변환의 분석 부분 및 합성 부분에 사용된다. 이러한 윈도우의 예시가 도 8을 참조하여 도시되었다. 변환에 의해 발생하는 지연은 종래의 사인형 윈도우를 사용하는 경우에서의 640개 샘플의 지연과 대조하여 단지 192개 샘플뿐이다. 따라서, 특별한 저 지연 분석-합성 윈도우를 갖는 MDCT 메모리는 종래의 사인형 윈도우를 사용하는 경우에서의 320개 샘플과 대조하여 오직 96개의 독립적인 샘플만을 포함한다(현재 프레임과 접히지 않음).

이와 같은 상황은 사실 도 8에서 볼 수 있으며, 분석 윈도우(Ana.)에 있어서, 이러한 접힘 구역이 샘플(864)과 샘플(1055) 사이의 점선에 의해 제한된다. 접힌선은 샘플(960)에서 체인 점선에 의해 표현된다.

합성(Synth.)에 있어서, 오직 범위 M(96 샘플)에 의해 표현된 샘플들만이 대칭을 활용함으로써 분석 접힘 구역과 관련된 정보를 획득하는 데에 필요하다. 메모리 내에 포함된 이러한 샘플들은 그에 따라 다음 프레임의 윈도우의 접힌 샘플들을 이용함으로써 이러한 접힘 구역을 디코딩하는 데에 유용하게 된다. 샘플(864)과 샘플(1055) 사이의 구역에서의 온셋의 경우에, 범위 M에 의해 표현된 샘플들의 평균 에너지가 샘플(864) 이전의 하위프레임들의 에너지보다 뚜렷하게 더 크다. 따라서, MDCT 메모리 내에 포함된 범위 M의 에너지에서의 급격한 증가는 현재 프레임 내의 프리-에코를 발생시킬 수 있는 다음 프레임 내의 온셋을 시그널링할 수 있다.

이러한 구현예의 변환에서, 다른 분석/합성 윈도우가 사용될 수 있거나, 긴 윈도우 및 짧은 윈도우 사이의 전환이 사용될 수 있다.

미래 신호의 시간적 폴딩을 갖는 버전을 부여하는 MDCT 메모리

가 사용된다. 이러한 메모리 또는 메모리의 일부분 또한 (리던던시로 인해) 길이 L_m(n), n=0,.., K'의 K' 하위-블록들로 분할되며, 이때 L_m(n)는 L'과 유사하지만 반드시 동일하지는 않다. 종래의 사인형 윈도우를 사용하는 경우에서, 처음 4개의 하위-블록들에 대해 마지막 4개의 하위-블록들이 대칭적이기 때문에 신호

의 길이 L_m(n)=L'=80인 처음 K'=4개의 하위-블록들만이 보유되며, 그에 따라 다음 프레임 내의 온셋의 검출을 위해 어떠한 추가적인 정보도 전달하지 않는다. 반면에, 만약 도 8에 도시된 바와 같이 낮은 지연을 갖는 특별한 분석-합성 윈도우가 사용되면, 길이 L_m(0)=96인 오직 하나의 (K'=1) 블록만이 보유되며, 이것은 MDCT 메모리와 독립적인 모든 샘플들을 포함한다. 이러한 하위-블록 내의 샘플의 수가 더 크지만, 메모리 부분이 분석 윈도우에 의해 윈도잉 되었기 때문에(그에 따라 감쇠되었기 때문에) 전류 프레임의 하위-블록들과 비교하여 에너지는 유사하게 유지된다. 샘플의 수가 (80 대신) 96이고 윈도잉이 보상될 수 있다는 것이 인지될 수 있으며, 본 발명은 이러한 보상이 구현되는 경우에서 동일하게 적용된다.

실제로, 도 1은 프리-에코가 온셋이 위치된 프레임에 앞선 프레임에 영향을 미친다는 것을 나타내며, 부분적으로 MDCT 메모리에 부분적으로 포함된 미래의 프레임 내의 온셋을 검출하는 것이 요구된다.

MDCT 메모리 내에 포함된 신호가 (다음 프레임이 수신되었을 때 보상되는) 시간적 접힘을 포함한다는 것이 인지될 수 있다. 아래에서 기술되는 바와 같이, MDCT 메모리 내의 신호

는 여기에서 주로 다음의 (미래의) 프레임 내의 신호의 하위-블록당 에너지를 예측하도록 사용되며 이러한 예측은 미래의 프레임 상에서 완전히 디코딩된 신호 대신 다음 프레임 상에서 이용가능한 MDCT 메모리로부터 수행될 때 프리-에코의 감쇠 및 검출의 필요성에 대해 상당히 정확하다고 간주된다.

현재의 프레임 및 MDCT 메모리는 (K+K')개의 연속적인 하위-블록들로 세분되는 신호를 형성하는 연결된(concatenated) 신호들로서 보여질 수 있다. 이러한 조건에서, k번째 하위-블록 내의 에너지는 다음과 같이 정의된다:

k번째 하위-블록이 현재 프레임 내에 위치되었을 때에는 다음과 같이 정의된다:

하위-블록이 (미래의 프레임에 이용 가능한 신호를 나타내는) MDCT 메모리 내에 있고 L_cm(i)이 메모리 부분의 하위-블록의 경계를 포함한다:

따라서, 현재 프레임 내의 하위-블록들의 평균 에너지는 다음과 같이 획득된다:

현재 프레임의 제2 부분 내의 하위-블록들의 평균 에너지 또한 다음과 같이 정의된다(K가 짝수라고 가정함):

만약 고려되는 하위-블록들 중 하나에서 비율

이 사전정의된 문턱값을 초과한다면, 프리-에코와 연관된 온셋이 검출된다. 다른 프리-에코 검출 기준이 본 발명의 성질을 변경하지 않고 가능하다.

또한, 온셋의 위치는 다음과 같이 정의되는 것으로 간주 되며:

이때 L에 대한 제한은 MDCT 메모리가 절대 수정되지 않음을 보장한다. 온셋의 위치를 예측하기 위한 다른 더욱 정확한 방법 또한 가능하다.

윈도우의 전환을 이용한 - 다시 말하면 적응성 MDCT 윈도잉을 이용한 - 다른 구현예에서, 온셋의 위치를 부여하는 다른 방법들이 하위-블록의 스케일로부터 하나의 샘플을 더하거나 뺀 위치에 이르는 범위의 정확도를 이용하여 사용될 수 있다.

위에 주어진 예시에서, 프리-에코를 발생시킬 수 있는 온셋의 검출이 모든 하위-신호들에 대해 공통적인 디코딩된 신호에 대해 수행된다. 다른 구현예에서, 이러한 검출은 이후에 기술되는 단계(E603)에 이어 획득되는 하위-신호들에서 따로따로 수행될 수 있다. 이러한 경우는 점선 화살표 "b"에 의해 도시된다.

디바이스(600)는 또한 검출된 온셋 위치 이전의 프리-에코 구역(ZPE)을 결정하는 단계(E602)를 구현하는 결정 모듈(602)을 포함한다. 여기에서, 프리-에코 구역은 온셋에 의해 발생되는 프리-에코에 의해 방해받고 이러한 프리-에코의 감쇠가 요구되는 온셋의 예측되는 위치 이전에 샘플들을 커버하는 구역에 부여된 이름이다. 본 발명에 따르면, 프리-에코 구역은 디코딩된 신호(도 6의 화살표)에 대해 결정될 수 있다. 다른 구현예에서, 이것은 각 하위-신호에 대해 따로따로 결정될 수 있다.

이러한 다른 구현예에서, 프리-에코 구역은 도 6의 화살표 b에 의해 기술되는 구현예에 따라 이후에 기술되는 단계(E603)에 의해 획득된다. 따라서, 프리-에코 구역은 서로 다른 하위-신호들에 대해 상이할 수 있다.

이러한 차이는 예를 들어 도 10 및 도 11에 도시되었으며, 여기에서 a) (프리-에코 감쇠 이전의) 디코딩된 신호의 예시, b) (프리-에코 감쇠 없이) 대부분 저주파수 성분을 갖는 제1 하위-신호, c) (프리-에코 감쇠 없이) 대부분 고주파수 성분을 갖는 제2 하위-신호 및 d) 본 발명에 따른 프리-에코 감쇠 이후의 제2 하위-신호를 나타낸다. 도 11은 560 내지 1040에 이르는 범위를 갖는 샘플들에 대한 줌을 갖는 동일한 신호로 계속된다.

이러한 도면들에서 프리-에코가 제1 하위-신호보다 제2 하위-신호에 대해 더 크다는 것이 인지될 수 있다. 따라서, 도면에 도시된 두 하위-신호들의 프리-에코 구역은 상당히 다르다. 그 결과, 두 하위-신호들에 대해 획득된 감쇠 이득을 도시한 도 9의 c)에서, 저주파수 성분들을 갖는 제1 하위-신호에 대해서 보다(샘플(720) 내지 샘플(860)) 고주파수 성분을 갖는 제2 하위-신호에 대해서(샘플(640) 내지 샘플(860)) 더 많은 샘플이 감쇠되도록 하는 감쇠 이득(제1 하위-신호는 점선으로 제2 하위-신호는 실선으로 도시됨)을 갖는다는 것을 알 수 있다.

프리-에코 구역을 획득하는 일 구현예에서, 에너지

는 제1의, 디코딩 신호의 시간적 인벨롭으로 연대순으로 연결되며, 그 다음 MDCT의 메모리로부터 예측되는 다음 프레임의 신호의 인벨롭을 변환한다. 이러한 연결된 시간적 인벨롭 및 이전 프레임의

및

의 평균 에너지의 함수로서, 프리-에코의 존재는 예를 들어 비율

가 문턱값을 초과하면 검출되며, 전형적으로 이 문턱값은 32이다.

따라서, 프리-에코가 검출된 하위-블록들은 일반적으로 샘플들

을 커버하는 프리-에코 구역을 구성하며, 즉 현재 프레임의 시작으로부터 온셋의 위치(

)까지 커버한다.

다양한 구현예들에서, 프리-에코 구역이 반드시 프레임의 시작에서 시작할 필요는 없으며, 프리-에코의 길이의 예측을 포함할 수 있다. 만약 윈도우 전환이 사용되면, 프리-에코 구역은 사용된 윈도우를 고려하도록 정의되어야만 할 것이다. 또한 만약 온셋이 미래의 프레임 내에서 검출되었다면 프리-에코 구역이 전체 현재 프레임에 걸쳐 매우 잘 확장할 수 있음이 인지될 수 있다.

디바이스(600)는 사전결정된 기준에 따라 디코딩된 신호를 적어도 두 개의 하위-신호들로 분해하는 단계(E603)를 수행하기에 적합한 신호 분해 모듈(603)을 포함한다.

이러한 기준은 예를 들어 주파수 기준일 수 있으며, 그에 따라 전술된 도 10 및 11에 도시된 바와 같이 서로 다른 주파수 성분들을 갖는 하위-신호들을 획득하는 것이 가능하게 한다.

기준은 예를 들어 신호의 또는 반대로 그의 노이즈의 주기성을 나타내는 성분을 갖는 하위-신호를 부여하는 신호의 주기성의 기준일 수 있다.

본 발명의 특정한 구현예에서, 디코딩된 신호

은 단계(E603)에서 다음과 같이 두 하위-신호들로 분해된다:

- 제1 하위-신호

은 3개의 계수들과 제로 전달 함수 위상을 갖는 FIR 필터(유한 임펄스 응답 필터)

를 이용함으로써 저역 통과 필터링에 의해 획득되고 이때

은 0과 0.25 사이에 있는 값이며,

은 저역 통과 필터의 계수이고; 이러한 필터는 다음과 같은 차이를 갖는 등식을 이용하여 구현된다:

특정한 구현예에서는, 상수

=0.25가 사용된다.

=0.05, 0.1, 0.15, 0.2 및 0.25에 대해, 계수

의 함수로서 이러한 필터의 주파수 응답이 도 7a에 도시되었다.

따라서, 이러한 필터링으로부터의 결과적인 하위-신호

이 디코딩된 신호의 더 낮은 주파수 성분을 포함한다는 것이 인지될 수 있다.

- 제2 하위-신호

은 3개의 계수들과 제로 전달 함수 위상을 갖는 FIR 필터

를 이용함으로써 상보적인 고역 통과 필터링에 의해 획득되고,

은 고역 통과 필터의 계수이며; 이러한 필터는 다음과 같은 차이를 갖는 등식을 이용하여 구현된다:

이러한 필터의 주파수 응답이

=0.05, 0.1, 0.15, 0.2 및 0.25에 대해, 계수

의 함수로서 도 7b에 도시되었다. 따라서, 이러한 필터링으로부터의 결과적인 하위-신호

이 디코딩된 신호의 더욱 높은 주파수 성분을 포함한다.

이러한 필터들을 이용하기 위한 동기는 (샘플당 계산 수의 측면에서의) 구현의 매우 낮은 복잡도, 제로 위상 및 낮은 연관 지연(1 샘플)이고 - 미래의(미리보기) 신호가 하나의 샘플에 대해 감소되고 디코딩된 신호로부터 예상되기 때문에 이러한 필터들이 사실은 지연 없이 사용된다는 것이 인지되어야만 하며, 이러한 예상은 아래에 기술되었다. 주파수 응답은 저역 통과 및 고역 통과 필터들의 특징과 잘 상응하며 신호를 주파수 콘텐츠에 따라 2개의 하위-신호들로 분해하는 것을 가능하게 한다.

임이 인지되어야만 한다.

따라서,

으로부터

을 뺌으로써

을 획득하는 것 또한 가능하며, 이는 계산

의 복잡도를 감소시킨다.

두 가지 경우에, 감쇠된 신호를 획득하기 위해 감쇠된 하위-신호들을 조합하는 것은 아래에 기술된 단계(E606)에서 감쇠된 하위-신호들의 단순한 합산에 의해 수행된다.

이러한 필터링에 미래의 신호를 사용하지 않기 위해서, 예를 들어 블록의 끝에서 디코딩된 신호를 0 샘플로 보완하는 것이 가능하다. 미래의 신호를 보완(예상)하기 위해 다른 값들을 사용하는 것이 가능하며: 예를 들어, 간단한 선형 외삽법(extrapolation)에 의해 마지막 샘플(블록의 마지막 값)을 반복하거나 미래의 샘플을 예측하는 것이 가능할 것이다. n=L-1에 대한 블록의 끝에서 0 샘플에 의해 보완되는 디코딩된 신호의 경우에, 하위 신호

은 다음에 의해 획득된다:

,

는 여전히

으로서 계산된다.

여기에서 두 하위-신호들은 디코딩된 신호로서 동일한 샘플링 주파수에 남아있음이 인지될 수 있다. 다른 구현예에서, 제로 위상 특징을 유지하는 동시에 예를 들어 (2차 대신) 4차로 변경함으로써 저역 통과 및 고역 통과 필터의 차수를 확장하는 것이 가능할 것이다.

프리-에코 감쇠 인자들의 계산 단계(E604)는 계산 모듈(604) 내에서 구현된다. 이러한 계산은 두 하위-신호들에 의해 따로따로 수행된다.

이러한 감쇠 인자들은 온셋이 검출되는 프레임 및 그 이전 프레임의 함수로서 결정된 프리-에코 구역의 샘플마다 획득된다.

그 다음 인자들

및

이 획득되고, 여기에서 n은 상응하는 샘플의 인덱스이다. 이러한 인자들은, 필요하다면, 인자들

및

을 각각 획득하도록 평활화될 것이다. 이러한 평활화는 저주파수 성분을 포함하는 하위-신호에 있어서(따라서, 이러한 예시에서는

에 있어서) 무엇보다도 중요하다.

단순성의 이유로, 3 계수를 갖는 FIR 필터링에 의해 디코딩된 신호를 두 개의 하위-신호들로 분해하는 것의 예시를 상세하게 설명하며, 이러한 두 하위-신호들은 대부분 디코딩된 신호의 저주파수 및 고주파수를 각각 포함한다.

따라서, 감쇠 인자는 하위-신호들에 대해 완전히 독립적으로 선택될 수 있으며 감쇠 레벨은 각 하위-신호의 과거 및 미래에 기초하여 정확하게 설정될 수 있다.

감쇠 계산 수행의 예시가 특허출원 FR 08 56248호에 기술되었다. 인자들의 감쇠는 하위-블록당 계산된다. 본 명세서에 기술된 방법에서, 이것은 각 하위-신호에 대해 추가로 따로따로 계산된다. 따라서, 검출된 온셋 이전의 샘플들에 있어서, 감쇠 인자들

및

이 계산된다. 그 다음에, 이러한 감쇠 인자들은 필요하다면 샘플당 감쇠 값들을 획득하기 위해 평활화된다.

하위-신호(예를 들어,

)의 감쇠 인자의 계산은 가장 강한 에너지의 서브-블록의 에너지와 디코딩된 신호의 k번째 하위-블록의 에너지 사이의 비율

온셋의 검출에도 사용됨)의 함수로서 디코딩된 신호에 대해 특허출원 FR 08 56248에 기술된 것과 유사할 수 있다.

은 다음과 같이 초기화된다:

이때 f는 0과 1 사이의 값을 갖는 감소 함수이다. 예를 들어

및

로서의 함수와 같은 인자

의 다른 정의가 가능하다.

만약 최대 에너지에 대한 에너지의 변화가 낮으면, 감쇠가 필요하지 않다. 그 다음 인자는 감쇠를 억제하는 감쇠 값, 즉 1로 설정된다. 그렇지 않으면, 감쇠 인자는 0과 1 사이에 놓인다. 이러한 초기화는 모든 하위-신호들에 대해 공통적일 수 있다.

변형예에서, 초기화가 하위-신호들에 대해 서로 다를 수 있다.

다른 변형예에서, 온셋의 검출에 대해 동일한 비율

를 사용하고 디코딩된 신호의 도메인을 프로세싱하는 대신, 관련된 하위-신호에 대한 동일한 타입의 비율을 재계산하는 것이 가능하다.

또 다른 변형예에서,

는 모든 프리-에코 구역에 대해 일정할 수 있으며, 예를 들어

=0.01이다.

그 다음 감쇠 값이 디코딩된 신호의 특징들의 함수로서 하위-신호당 최적의 감쇠 레벨을 설정할 수 있도록 하위-신호당 정제된다. 예를 들어, 프리-에코 감쇠 프로세싱 후에는 (전형적으로 이전 프레임 또는 이전 프레임의 후반의) 프로세싱 구역에 앞선 신호의 하위-블록당 평균 에너지보다 더 낮게 되는 것이 신호의 에너지에 대해 요구되지 않기 때문에, 감쇠가 이전 프레임의 하위-신호의 평균 에너지의 함수로서 제한될 수 있다.

이러한 제한은 특허출원 FR 08 56248호에 기술된 것과 유사한 방식으로 수행될 수 있다. 예를 들어, 제2 하위-신호

에 있어서, 현재 프레임의 K 하위-블록들 내의 에너지가 먼저 다음과 같이 계산된다:

또한, 메모리로부터 이전 프레임

의 평균 에너지 및 이전 프레임의 후반

의 평균 에너지가 알려졌으며, 이는 (이전 프레임에서) 다음과 같이 계산될 수 있고:

및

여기에서 0에서 K까지 인덱스된 하위-블록은 현재 프레임에 상응한다.

프로세싱될 하위-블록 K에 있어서, 프로세싱될 하위-블록 이전의 분절음의 하위-블록당 평균 에너지와 정확히 동일한 에너지를 획득하기 위해 인자

의 제한 값이 계산될 수 있다. 이러한 값은 물론 여기에서 관심 있는 것이 감쇠 값이기 때문에 최대값으로 제한된다. 보다 구체적으로는:

이고, 여기에서 이전 분절음의 평균 에너지가

로 근사된다.

따라서, 획득된 값

은 하위-블록의 감쇠 인자의 최종 계산에서 하한으로서의 역할을 한다:

제1 변형예에서, 인덱스 pos가

인 한, 감쇠가 현재 프레임의 시작으로부터 온셋이 검출된 하위-블록의 시작까지 확장하는 프리-에코 구역. 온셋의 하위-블록의 샘플들과 연관된 감쇠는 온셋이 이러한 하위-블록의 단부를 향해 위치된다고 해도 모두 1로 설정된다.

다른 변형예에서, 온셋 pos의 시작 위치는, 예를 들어 하위-블록을 하위-하위 블록들로 세분하고 이러한 하위-하위-블록 내의 에너지의 경향을 관찰함으로써 온셋의 하위-블록에서 정제된다. 만약 온셋의 시작 위치가 하위-블록 k에서 검출되고, k>0이라면, 정제된 온셋 pos의 시작이 이러한 하위-블록 내에 위치되고, 인덱스 pos 이전에 위치된 이러한 하위-블록의 샘플들에 대한 감쇠 값들이 이전의 하위-블록의 마지막 샘플에 상응하는 감쇠 값의 함수로서 초기화될 수 있다:

인덱스 pos로부터의 모든 감쇠는 1로 설정된다.

디코딩된 신호의 저주파수 성분을 포함하는 제1 하위-신호에 있어서, 하위-신호

기반의 감쇠 값의 계산이 디코딩된 신호

기반의 감쇠 값의 계산과 유사할 수 있다. 따라서, 변형예의 관심 있는 계산 복잡도 감소에서, 감쇠 값이 디코딩된 신호

에 기반하여 결정될 수 있다. 따라서, 온셋의 검출이 디코딩된 신호에 대해 이루어지는 경우에서, 이러한 신호에 대해 하위-블록당 에너지 값들이 이미 온셋을 검출하기 위해 계산되었기 때문에 하위-블록들의 에너지를 재계산하는 것이 더 이상 필요하지 않다. 다수의 신호들에 있어서 저주파수가 고주파수보다 훨씬 더 많은 에너지를 갖기 때문에, 디코딩된 신호

의 하위-블록당 에너지와 하위-신호

의 에너지는 매우 근접하며, 이러한 근사는 매우 만족스러운 결과를 부여한다. 이것은 도 10 및 도 11에서 관찰될 수 있으며, 이때 훨씬 더 적은 에너지를 갖는 c)에서의 고주파수 성분을 대부분 포함하는 하위-신호와 대조적으로 a)에서의 디코딩된 신호의 진폭 및 b)에서의 저주파수 성분을 대부분 포함하는 하위-신호의 진폭이 매우 근접하다. 따라서, 이러한 변종에서 적어도 하나의 하위-신호에 있어서, 감쇠 인자의 계산이 복잡도를 추가로 감소시키는 디코딩된 신호 내의 온셋 위치의 검출 단계로부터 적어도 하나의 파라미터를 이용하여 수행된다.

그 다음 하위-블록마다 결정되는 감쇠 인자들

및

이 블록의 경계에서 감쇠 인자의 급격한 변화를 방지하도록 샘플마다 적용되는 평활화 함수에 의해 평활화될 수 있다. 이것은 특히 하위-신호

과 같이 저주파수 성분을 포함하는 하위-신호들에 대해 중요하지만, 하위-신호

과 같이 고주파수 성분만을 포함하는 하위-신호들에 대해서는 필요하지 않다.

도 9는 화살표 L에 의해 표현된 평활화 함수를 이용한 감쇠 이득의 예시적인 적용을 도시한다.

이 도면은, a)에서 오리지널 신호의 예시를, b)에서 프리-에코 감쇠 없이 디코딩된 신호를, c)에서 분해 단계에서 본 발명의 방법에 따라 획득된 두 하위-신호들에 대한 감쇠 이득을, 그리고 d)에서 본 발명에 따른 에코 감쇠를 가지고 디코딩된 (즉 두 감쇠된 하위-신호들의 조합 후의) 신호를 도시한다.

이러한 도면에서 파선으로 표현되고 저주파수 성분을 포함하는 제1 하위-신호에 대해 계산된 이득에 상응하는 감쇠 이득이 전술된 평활화 함수를 포함한다는 것을 알 수 있다. 실선에 의해 표현되고 고주파수 성분을 포함하는 제2 하위-신호에 대해 계산되는 감쇠 이득은 어떠한 평활화 이득도 포함하지 않는다.

d)에서 표현된 신호는 프리-에코가 본 발명에 따른 방법에 의해 효율적으로 감쇠된다는 것을 명확하게 보여준다.

평활화 함수는 바람직하게는 예를 들어 아래의 등식에 의해 정의되고:

,

이때 통상적으로

이며,

은 하위-신호

이전의 하위-블록의 마지막 샘플에 대해 획득되는 마지막 u-1 감쇠 인자들이다. 전형적으로 u=5이지만 다른 값이 사용될 수 있다. 따라서, 온셋의 검출이 디코딩된 신호에 기초하여 흔히 이루어진다고 해도 사용된 평활화에 의존하여, 프리-에코 구역(감쇠된 샘플들의 수)이 따로따로 프로세싱된 두 하위-신호들에 대해 상이할 수 있다.

평활화된 감쇠 인자는 온셋의 시간에서 1까지 돌아가지 않으며, 이것은 온셋의 진폭의 감소를 시사한다. 이러한 감소의 지각가능한 영향은 매우 작지만 그럼에도 방지되어야만 한다. 이러한 문제를 완화하기 위해서, 감쇠 인자 값이 인덱스 pos에 앞서 u-1 샘플들에 대해 1로 강요될 수 있고 여기에 온셋의 시작이 위치된다. 이것은 평활화가 적용된 하위-신호에 대한 u-1 샘플에 의해 마커 pos를 진행하는 것과 동등하다. 따라서, 평활화 함수는 온셋의 시간에서 값 1을 갖도록 인자를 급격하게 증가시킨다. 그 다음 온셋의 진폭이 보존된다.

예를 들어 다음과 같은 다른 평활화 함수가 가능하다:

, 이때 전형적으로 a=0.85이다.

만약 평활화가 적용되지 않는다면:

도 6의 디바이스(600)의 모듈(605)은 적절하게 계산된 감쇠 인자의 하위-신호에 적용함으로써 하위-신호 각각의 프리-에코 구역 내의 프리-에코 감쇠 단계(E605)를 구현한다.

따라서, 프리-에코 감쇠는 하위-신호에서 독립적으로 수행된다. 그에 따라, 서로 다른 주파수 대역들을 나타내는 하위-신호들에서는, 감쇠가 프리-에코의 분광 분포의 함수로서 선택될 수 있다.

마지막으로, 획득 모듈(606)의 단계(E606)가 아래의 등식에 따라 감쇠된 하위-신호들의 조합(이 예시에서는 단순한 더하기)에 의해 감쇠된 출력 신호(프리-에코 감쇠 후에 디코딩된 신호)를 획득하는 것을 가능하게 한다:

종래의 하위-대역 분해와 달리, 여기에서 사용된 필터링이 하위-신호들의 디시메이션(decimation) 동작과 연관되지 않았으며 복잡도 및 지연("미리 보기" 또는 미래의 프레임)이 최소로 감소된다는 것이 인지될 수 있다.

디코딩된 신호의 분해의 다른 예시들이 본 발명의 맥락에서 매우 명백하게 적용될 수 있다.

예를 들어, 디코딩된 신호의 분해는 하위-대역 내의 신호를 획득하기 위해, 예를 들어 QMF(Quadrature Mirror Filter), PQMF(Pseudo Quadrature Mirror Filter) 타입인 중요한 디시메이션 필터들의 뱅크를 이용함으로써 수행될 수 있으며, 이러한 하위-대역 내의 신호는 디코딩된 신호의 것보다 더 낮은 샘플링 주파수를 갖는다.

프리-에코 감쇠가 하위-대역에서 수행되면, 출력 신호가 합성 QMF 필터링에 의해 획득된다.

프로세싱될 디코딩된 신호는 예를 들어 4개의 하위-대역을 갖는 QMF 또는 PQMF 필터를 이용함으로써 몇몇 하위-신호들로 분해될 수 있다. 그러나 이러한 접근법은 더욱 복잡하고 몇몇 샘플들의 지연을 발생시킨다는 단점을 갖는다.

따라서, 보다 일반적으로, 분해가 2개보다 많은 하위-신호를 획득하는 것을 가능하게 할 수 있다.

또한, 분해는 주파수 기준과는 상이한 기준에 따라 수행될 수 있다.

예를 들어 신호 주기성 타입의 기준이 사용될 수 있다. 따라서, 이러한 기준의 예시에서, 신호 모델이 사인+노이즈 타입일 때 디코딩된 신호의 분해는 사인형 성분을 갖는 제1 하위-신호 및 노이즈 타입의 성분을 갖는 제2 하위-신호를 부여한다. 여기에서 다시, 이러한 분해는 더욱 복잡하다는 단점을 갖는다.

어떤 분해 기준이 사용되었든, 본 발명의 맥락에서의 하위-신호들로의 분해는 디코더에 대해 자연적으로 이용 가능하지 않고, 프리-에코의 프로세싱에 대해 특별하게 적용된다.

따라서, 계산된 감쇠 인자들이 분해 기준에 따라 획득된 하위-신호들의 성분들에 특별하게 적용된다. 이것은 프리-에코 감쇠가 보다 정확하고 보다 잘 신호에 매칭되게 렌더링하는 것을 가능하게 한다.

주파수 기준의 사용은 서로 다른 주파수 구역에 적용된 감쇠의 양을 정확하게 제어하는 것을 가능하게 하고, 그에 따라 프리-에코를 보다 효율적으로 감쇠시킨다.

이러한 결과는 앞서 설명된 도 9 내지 도 11에서 뚜렷하게 볼 수 있고 이것은 (특히 제2 하위-신호인)(d로 표현된) 신호의 프리-에코의 감쇠가 정확하게 수행된다는 것을 볼 수 있다.

도 12a 내지 도 12c 또한 이러한 결과를 나타낸다. 사실상, 도 12a는 온셋이 명확하게 보여질 수 있는 오리지널 신호의 분광 사진을 도시한다. 도 12b는 프리-에코 감쇠 프로세싱 없이 디코딩된 신호를 도시한다. 그 후에 온셋이 보다 잘 보인다. 도 12c는 본 발명에 따른 프리-에코 감쇠 프로세싱을 이용하여 디코딩된 신호의 분광 사진을 도시한다. 다시 고주파수 내에 있는지 또는 저주파수 부분 내에 있는지 여부의 어택을 정확하게 구별하는 것이 가능하다.

본 발명에 따른 감쇠 프로세싱 디바이스의 예시적인 구현예가 이제 도 13을 참조로 하여 기술된다.

물리적으로, 본 발명의 수단 내의 이러한 디바이스(100)는 전형적으로 저장 및/또는 작업 메모리를 포함하는 메모리 블록 BM과 협업하는 프로세서 μP 및 도 6을 참조로 하여 기술된 바와 같은 감쇠 프로세싱 방법의 구현에 필요한 모든 데이터를 저장하기 위한 수단으로서 전술된 버퍼 메모리 MEM을 포함한다. 이러한 디바이스는 입력으로서 디지털 신호 Se의 연속적인 프레임들을 수신하고 감쇠된 서브-신호의 조합에 의해 감쇠된 신호의 하위-신호 및 재구성 각각에서 프리-에코의 감쇠를 이용하여 재구성된 신호 Sa를 전달한다.

메모리 블록 BM은 디바이스의 프로세서 μP에 의해 명령어들이 실행될 때 본 발명에 따른 방법의 단계들, 특히 사전결정된 분해 기준에 따라 적어도 두 하위-신호들로 디코딩된 신호의 분해 단계, 하위-신호당 그리고 이전에 결정된 프리-에코 구역의 샘플당 감쇠 인자들의 계산 단계, 하위-신호들에 대한 감쇠 인자들의 적용에 의한 하위-신호들 각각의 프리-에코 구역 내의 프리-에코 감쇠 단계 및 감쇠된 하위-신호들의 조합에 의한 감쇠된 신호의 획득 단계의 구현을 위한 코드 명령어들을 포함하는 컴퓨터 프로그램을 포함할 수 있다.

도 6은 이러한 컴퓨터 프로그램의 알고리즘을 도시할 수 있다.

본 발명에 따른 이러한 감쇠 디바이스는 디지털 신호 디코더 내에서 독립적일 수 있거나 또는 통합될 수 있다. 이러한 디코더는 통신 게이트웨이, 통신 단말 또는 통신 네트워크의 서버들과 같은 디지털 오디오 신호 스토리지 또는 전송 장비 아이템들 내에 포함될 수 있다.

Claims (15)

1. 변환 디코딩에 따라 디코딩된 디지털 오디오 신호 내의 프리-에코(pre-echo)의 감쇠를 프로세싱하기 위한 방법으로서,
   사전결정된 분해 기준에 따라 상기 디코딩된 신호를 적어도 두 하위-신호들로 분해하는 단계(E603);
   이전에 결정된 프리-에코 구역의 하위-신호마다 그리고 샘플마다 감쇠 인자를 계산하는 단계(E604);
   상기 감쇠 인자를 상기 하위-신호에 적용함으로써 상기 하위-신호 각각의 상기 프리-에코 구역 내의 프리-에코를 감쇠시키는 단계(E605); 및
   상기 감쇠된 하위-신호들의 조합에 의해 상기 감쇠된 신호를 획득하는 단계(E606)를 포함하는 것을 특징으로 하는, 방법.
2. 제1항에 있어서,
   상기 사전결정된 분해 기준이 주파수 기준인 것을 특징으로 하는, 방법.
3. 제2항에 있어서,
   상기 디코딩된 신호의 상기 분해는 제1 하위-신호를 획득하기 위해 제1 저역-통과 또는 고역-통과 필터링에 의해 수행되는 것을 특징으로 하는, 방법.
4. 제3항에 있어서,
   상기 신호의 상기 분해는 제2 하위-신호를 획득하기 위해, 상기 제1 필터링을 보완하는 제2 고역-통과 또는 저역-통과 필터링에 의해 추가로 수행되는 것을 특징으로 하는, 방법.
5. 제3항에 있어서,
   제2 하위-신호가 상기 디코딩된 신호로부터 상기 제1 하위-신호를 차감함으로써 획득되는 것을 특징으로 하는, 방법.
6. 제1항에 있어서,
   상기 디코딩된 신호의 상기 분해는 하위-대역 내의 하위-신호를 획득하기 위해 QMF 및 PQMF 필터링에 의해 수행되는 것을 특징으로 하는, 방법.
7. 제1항에 있어서,
   상기 사전결정된 분해 기준은 상기 신호의 주기성의 기준인 것을 특징으로 하는, 방법.
8. 제1항에 있어서,
   상기 분해 단계 이전에 상기 디코딩된 신호 내의 온셋(onset) 위치를 검출하는 단계;
   상기 분해 단계 이전의 상기 디코딩된 신호 또는 상기 분해 단계 이후의 상기 하위-신호 내에서 검출된 상기 온셋 위치 이전의 프리-에코 구역을 결정하는 단계에 따라 상기 프리-에코 구역이 결정되는 것을 특징으로 하는, 방법.
9. 제1항에 있어서,
   상기 분해 단계 이후에 획득된 각각의 상기 하위-신호 내의 온셋 위치를 검출하는 단계;
   각각의 상기 하위-신호 내에서 검출된 상기 온셋 위치 이전의 프리-에코 구역을 결정하는 단계에 따라 상기 프리-에코 구역이 결정되는 것을 특징으로 하는, 방법.
10. 제8항에 있어서,
    적어도 하나의 하위-신호에 있어서, 상기 디코딩된 신호 내의 상기 온셋 위치의 검출 단계로부터의 적어도 하나의 파라미터를 이용함으로써 상기 감쇠 인자의 상기 계산이 수행되는 것을 특징으로 하는, 방법.
11. 제1항에 있어서,
    상기 감쇠 인자의 평활화(smoothing) 단계가 적어도 하나의 하위-신호에 대해 적용되는 것을 특징으로 하는, 방법.
12. 제1항에 있어서,
    온셋의 시작 이전의 샘플의 사전결정된 수에 대해 상기 감쇠 인자가 1로 강요되는 것을 특징으로 하는, 방법.
13. 변환 디코더로부터 디코딩된 디지털 오디오 신호 내의 프리-에코의 감쇠를 프로세싱하기 위한 디바이스로서,
    사전결정된 분해 기준에 따라 상기 디코딩된 신호를 적어도 두 하위-신호로 분해하는 모듈(603);
    이전에 결정된 프리-에코 구역의 하위-신호마다 그리고 샘플마다 감쇠 인자를 계산하는 모듈(604);
    상기 감쇠 인자를 상기 하위-신호에 적용함으로써 상기 하위-신호 각각의 상기 프리-에코 구역 내의 프리-에코를 감쇠시키는 모듈(605); 및
    상기 감쇠된 하위-신호들의 합산에 의해 상기 감쇠된 신호를 획득하는 모듈(606)을 포함하는 것을 특징으로 하는, 디바이스.
14. 제11항에 따른 디바이스를 포함하는 디지털 오디오 신호의 디코더.
15. 제1항 내지 제10항 중 어느 한 항에 따른 방법의 단계들을 구현하기 위한, 프로세서에 의해 실행되는 코드 명령어를 포함하는 컴퓨터 프로그램.

Images