KR20170103027A

KR20170103027A - 저지연 인코딩/디코딩을 위한 오디오 신호의 리샘플링

Info

Publication number: KR20170103027A
Application number: KR1020177024336A
Authority: KR
Inventors: 발라즈 코베시; 스테판 라고트
Original assignee: 코닌클리케 필립스 엔.브이.
Priority date: 2013-09-30
Filing date: 2014-09-26
Publication date: 2017-09-12
Also published as: FI3053163T3; KR102505502B1; JP2016541004A; ES2935337T3; US10403296B2; KR102638785B1; JP6559658B2; US10566004B2; US20160232907A1; RU2017144520A; MX2016003902A; PL3053163T3; EP3330964B1; LT3330964T; KR20210142765A; DK3053163T3; US20170372714A1; BR112016006447A2; HUE061442T2; PT3053163T

Abstract

본 발명은 오디오-주파수 신호 인코딩 또는 디코딩 동작에서 오디오-주파수 신호를 리샘플링하기 위한 방법에 관한 것이다. 방법은, 리샘플링될 신호 블록마다: 적응 선형 예측에 의해, 선정된 리샘플링 지연에 기초하여 정의되는 미래 신호 샘플들의 수를 결정하는 단계(E401); 적어도 현재 블록의 샘플들 및 결정된 미래 신호 샘플들로부터 리샘플링 서포트 벡터를 구성하는 단계(E402); 리샘플링 서포트 벡터의 샘플들에 리샘플링 필터를 적용하는 단계(E403)를 포함한다. 본 발명은 또한 전술한 방법을 실시하는 리샘플링 장치, 및 적어도 하나의 장치를 포함하는 인코더 및 디코더에 관한 것이다.

Description

저지연 인코딩/디코딩을 위한 오디오 신호의 리샘플링{RESAMPLING AN AUDIO SIGNAL FOR LOW-DELAY ENCODING/DECODING}

본 발명은 오디오 주파수 신호의 전송 또는 저장을 위한 오디오 주파수 신호의 처리에 관한 것이다. 특히, 본 발명은 오디오 주파수 신호의 코딩 또는 디코딩 시 샘플링 주파수의 변경에 관한 것이다.

음성 또는 음악과 같은 오디오 주파수 신호를 (손실과 함께) 압축하기 위한 다수의 기법들이 있다. 예컨대, 입력 신호가 8 kHz에서 샘플링되고 코더 및 디코더가 이와 동일한 주파수에서 동작하는 ITU-T 규격 G.711 또는 G.729에서와 같이, 코딩은 입력 신호의 샘플링 주파수에서 직접 수행될 수 있다.

그러나, 일부 코딩 방법은 예컨대 코딩의 복잡도를 감소시키기 위해 샘플링 주파수의 변경을 이용하거나, 코딩될 상이한 주파수 부대역들에 따라 코딩을 적응시키거나, 코더의 기정의된 내부 샘플링 주파수에 대응하도록 이를 위한 입력 신호를 변환한다.

ITU-T 규격 G.722에 정의된 부대역 코딩에 있어서, 16 kHz에서의 입력 신호는 적응 차분 펄스 코드 변조(ADPCM) 타입의 코더에 의해 별개로 코딩되는 2개의 부대역(8 kHz로 샘플링됨)으로 분할된다. 이러한 두 부대역으로의 분할은 23 차수의 유한 임펄스 응답(FIR)을 갖는 직각 모드 미러 필터들의 뱅크에 의해 수행되고, 이는 이론적으로 16 ms에서 23 샘플들의 분석-합성 지연(코더+디코더)을 초래한다; 이러한 필터 뱅크는 다상 구현(polyphase realization)으로 실시된다. G.722에서의 두 부대역으로의 분할은 선험 인지적 중요성의 함수로서 2개의 부대역에 상이한 비트 레이트를 기결정된 방식으로 할당하는 것과, 더 낮은 주파수에서 ADPCM 타입의 2개의 코더를 실행함으로써 전체 코딩 복잡도를 감소시키는 것을 또한 가능하게 한다. 그러나, 이는 직접 ADPCM 코딩에 비해 알고리즘 지연을 야기한다.

디지털 신호의 리샘플링으로도 지칭되는 샘플링 주파수를 변경하기 위한 다양한 방법들은, 예로서 및 비포괄적 방식으로, 유한 임펄스 응답(FIR) 필터, 무한 임펄스 응답(IIR) 필터, 또는 (스플라인을 비롯한) 다항식 보간의 사용에 의해 알려져 있다. 종래의 리샘플링 방법들의 검토는 예컨대 R.W. Schafer, L.R. Rabiner의 논문(A Digital Signal Processing Approach to Interpolation, Proceedings of the IEEE, vol. 61,　no. 6, 1973년 6월, pp. 692~702)에서 발견될 수 있다.

FIR 필터(대칭)의 이점은 단순화된 실시 및-소정의 조건에 처할 때-선형 위상의 보장 가능성에 있다. 선형 위상 필터링은 입력 신호의 파형을 보존하는 것을 가능하게 하지만, 또한 트랜지언트(transients) 상에 프리-에코 타입의 부작용을 발생시킬 수 있는 시간적 확산(또는 링잉)을 수반할 수 있다. 이러한 방법은 적절한 필터링 특성(대역폭 내의 리플, 에일리어싱 또는 스펙트럼 이미지를 제거하기에 충분한 저지 레벨 등)을 보장하기 위해 일반적으로 약 1 내지 수 ms의 (임펄스 응답의 길이에 따라 좌우되는) 지연을 초래한다.

IIR 필터에 의해 리샘플링하는 대안은, 매트랩(MATLAB) 소프트웨어의 "iirgrpdelay" 루틴 내의 예시적인 구현과 함께, 예컨대 P.A. Regalia, S.K. Mitra, P.P. Vaidyanathan의 논문(The Digital All-Pass Filter: A Versatile Signal Processing Building Block, Proceedings of the IEEE, vol. 76, no. 1, 1988년 1월)에 기재된 바와 같이, 위상이 추가적인 올패스 필터링 단계에 의해 보상되지 않는 한, 일반적으로 비선형 위상으로 이어진다; IIR 필터는 일반적으로 더 낮은 차수이지만, 고정-포인트 표기법에서 실시하기 위해 더 복잡하며, 필터의 상태(또는 메모리)는 회귀 부분을 위한 높은 동적 값에 도달할 수 있는데, 올패스 필터링에 의한 위상 보상이 사용되면 이러한 문제는 증폭된다.

도 1은 16 kHz로부터 12.8 kHz로 변경하기 위해 64 kHz에서 2*60+1 = 121 계수들의 길이를 갖는 FIR 필터를 이용한 4/5의 비율의 다운샘플링의 일례를 도시한다. x축은 (상이한 주파수에서 클록킹된 신호들을 나타내기 위해 ms에 기초한) 시간을 나타내고, y축은 진폭을 나타낸다. 상측의 정사각형들은 16 kHz에서 입력 신호의 샘플들의 시간적 위치들을 나타낸다; 여기서, 이 샘플들은 20 ms 프레임의 끝에 대응한다고 가정한다. 수직 실선들은 16 kHz에서 대응하는 샘플링 인스턴트들을 표시한다. 도면의 하측에서, 수직 점선들은 12.8 kHz에서 대응하는 샘플링 인스턴트들을 표시하고, 별모양들은 12.8 kHz에서 출력 샘플들을 상징한다. 또한, 64 kHz에서의 FIR 필터의 121 계수들의 임펄스 응답(대칭)이 나타나 있고, 이러한 응답은 12.8 kHz에서 현재 프레임의 최종 샘플을 계산하기 위해 위치한다(임펄스 응답 최대치의 위치는 이 샘플과 정렬된다). 원형들은 다상 표현에서 (입력 샘플링 모멘트에 대응하여) 사용되는 값들을 나타낸다; 출력 샘플을 획득하기 위해, 이 값들을 대응하는 입력 샘플과 곱하고, 그 결과들을 서로 더한다. 이 도면에서는, 현재 프레임의 끝 다음의 입력 샘플들(다음 프레임의 시작)이 아직 알려져 있지 않기 때문에, 12.8 kHz에서 (입력 프레임의 끝까지의) 12 샘플들을 정확하게 계산할 수 없음을 주목한다; 도 1의 조건에서의 다운샘플링 지연은 12 샘플들이다(즉, 12/12.8 = 0.9375 ms).

FIR 타입의 샘플링 주파수의 변경에 의해 야기되는 지연을 감소시키기 위한 기법들이 있다.

(ITU-T 규격 G.722.2로도 정의된) 3GPP AMR-WB 표준에서, 16 kHz에서 샘플링되는 입력 신호는 CELP 타입의 코딩을 적용하기 전에 12.8 kHz의 내부 주파수에서 다운샘플링된다; 이후, 12.8 kHz에서 디코딩된 신호는 16 kHz에서 리샘플링되며 고대역 신호와 결합된다.

12.8 kHz의 중간 주파수를 통과하는 이점은 CELP 코딩의 복잡도를 감소시키는 것과, 2의 제곱의 배수인 프레임 길이를 갖는 것을 또한 가능하게 하는 것인데, 이는 소정의 CELP 파라미터들의 코딩을 용이하게 한다. 사용되는 방법은, 복잡도를 최소화하기 위한 다상 구현과 함께, (64 kHz에서 121 계수들의) FIR 필터에 의한 4/5 인자의 종래의 리샘플링이다.

이론적으로, 코더 및 AMR-WB 디코더 상의 이러한 샘플링은 도 1에 나타낸 처리와 유사한 방식으로 지연을 초래해야 한다. AMR-WB 코덱의 경우, 121 계수들의 FIR 필터에 의해, 총 지연은 이론적으로 64 kHz에서 2x60 샘플들, 즉 16 kHz에서 2x15 샘플들 또는 1.875 ms이어야 한다; 실제로, 코더 부분에서만 연관된 지연을 제거하여(보상하여) 유효 지연을 2로 나누기 위해, 특정 기법을 AMR-WB 코더 상에 실시한다.

이러한 보상 방법은 3GPP 표준 TS 26.190, 5.1 조항 및 ITU-T 규약 G.722.2, 5.1 조항에 기재되어 있다. FIR 필터링 지연을 보상하기 위한 방법은, 16 kHz에서 샘플링된 각각의 새로운 프레임이 12.8 kHz로 변환되도록, 현재 프레임의 끝에서 기결정된 수의 영점(zero)을 추가하는 데에 있다. 이러한 영점은 입력 샘플링 주파수에서 정의되며, 이들의 수는 이러한 주파수에서 리샘플링 FIR 필터의 지연에 대응한다(즉, 15개의 영점이 16 kHz에서 추가됨). 리샘플링은 20 ms 프레임마다 실시된다(320 샘플들). 그러므로, AMR-WB 코더에서의 리샘플링은 30+320+15 = 365 샘플들의 벡터를 형성하기 위해, 이전 프레임의 끝(리샘플링 메모리)으로부터 30 샘플들로 좌측(과거쪽)에서 320 샘플들의 입력 프레임을 보충하고 15개의 영점으로 우측에서 보충하는 것에 상응하고, 이는 이후 4/5 인자로 리샘플링된다. 따라서, 널(null) 미래 신호가 추가되기 때문에, FIR 필터는 그에 따라 지연 없이 영상(zero phase)으로 실시될 수 있다. 이론적으로, 인자 4/5의 FIR 리샘플링은:

- 각각의 입력 샘플 다음에 영점(0)에서 3 샘플들을 추가함으로써 (16 kHz로부터 64 kHz로) 4배 업샘플링하는 단계;

- 64 kHz에서 120 차수의 대칭 FIR 타입의 전달 함수(H_decim(z))의 저역-통과 필터링 단계;

- 저역-통과 필터링된 신호로부터의 5개 중 단 하나의 샘플을 떼어놓음으로써 (64 kHz로부터 12.8 kHz로) 5배 다운샘플링하는 단계에 따라 수행된다.

실제로, 이러한 리샘플링은 64 kHz에서 중간 신호를 계산함 없이 그리고 영점들로 변환될 신호를 연결함(concatenating) 없이 최적화된 다상 구현에 따라 균등한 방식으로 실시된다(AMR-WB 코덱의 소스 코드의 "decim54.c" 파일 참조); 각각의 "위상"을 위한 FIR 필터링은 12.8 kHz에서 12 샘플들의 지연, 즉 0.9375 ms의 지연을 갖는 12.8 kHz에서 24 차수의 FIR 필터에 상응한다.

16 kHz로부터 12.8 kHz로 각각의 20 ms 프레임의 FIR 리샘플링의 결과는, 12.8 kHz에서의 각각의 결과적인 프레임의 최종 12 샘플들이 다음 프레임 상에서만 유효한 "진정한" 미래 신호 대신에 미래 신호로서 영점들의 블록을 사용함으로 인해 오차를 포함하는 것을 제외하면, "완전한" 입력 신호(즉, 프레임들로 분할되지 않음) 상에 형성되는 리샘플링과 동일하다. 실제로, 도입되는 영점들은 다음 프레임에서 널 입력 신호의 경우를 시뮬레이션한다.

이러한 처리는 상측의 정사각형들에 의해 16 kHz에서 최종 입력 샘플들을 나타내는 도 2의 20 ms 프레임의 끝에 도시되어 있다; 수직선들은 16 kHz에서 대응하는 샘플링 모멘트들을 표시한다. 도면의 하측에서, 별모양들은 12 샘플들의 지연으로 종래의 다운샘플링에 의해 획득될 수 있는 12.8 kHz에서의 출력 샘플들을 상징한다. 이후, 하측의 삼각형들은 12.8 kHz에서 12 샘플들에 대응하되, 이들은 필터링을 계속하며 지연을 감소시킬 수 있도록 프레임의 끝에 추가되는 널 값의 적어도 하나의 샘플을 사용함으로써 획득된다. 이러한 샘플들은 종래의 필터링으로 획득되는 출력의 끝에 대한 위치에 따라 #1 내지 #12의 번호를 갖는다. 또한, 12.8 kHz에서 최종 출력 샘플에 대응하는 위치에 사용되는 64 kHz에서의 필터의 임펄스 응답이 나타나 있다(임펄스 응답 최대치는 이 샘플과 정렬된다). 원형들은 다상 표현에서 (입력 샘플링 모멘트에 대응하여) 사용되는 값들을 나타낸다; 출력 샘플을 획득하기 위해, 이 값들을 프레임의 끝 다음의 값들에 대해 0과 곱하거나 대응하는 입력 샘플과 곱하고, 그 결과들을 서로 더한다. 여기서, 이러한 최종 샘플에 대해, 임펄스 응답으로부터 사용되는 샘플들의 거의 절반을 추가된 영점들과 곱하고, 그에 따라 상당한 추정 오차를 야기함을 알 수 있다. 또한, 종래의 필터링 후에 생성되는 (즉, 진정한 입력 신호만을 갖는) 첫 번째 샘플들의 오차가 작으며(그 끝에서 임펄스 응답의 가중치가 낮음), 종래의 필터링으로부터의 거리가 증가할수록 오차가 더 커짐(임펄스 응답의 가중치가 증가함)은 물론이다. 이는 도 7의 결과에서 관찰될 수 있을 것이다.

영점들이 리샘플링될 각각의 20 ms 블록(또는 프레임)의 끝에서 추가되는 AMR-WB 코덱에서 사용되는 지연 보상 방법은, 코더 상의 리샘플링 지연을 제거하는 것을 가능하게 하지만, (영점들이 입력에서 추가된) 현재 프레임의 끝에 생성되는 값들이 직접 코딩되고, 다음 프레임의 입력 신호가 알려질 때 진정한 값들로 대체되지 않으면, 일반적으로 만족스럽지 않다. 실제로, 각각의 프레임의 끝에서의 이러한 정규 오차들은 다음 프레임의 시작에서 진정한 출력 신호로의 전이 시에 주기적인 불연속을 발생시킨다. 이러한 불연속은 종종 가청일 수 있으며 굉장히 성가시다. 이러한 이유로, 지연 보상은 코더 상에만 그리고 룩어헤드(lookahead)로 지칭되는 미래 신호 부분에만 적용되고, AMR-WB 디코더 상에 적용되지 않는 것이다.

실제로, AMR-WB 코더에서, 16 kHz에서의 각각의 새로운 20 ms 입력 프레임은 미래 신호(또는 룩어헤드)의 5 ms 및 ACELP에 의해 코딩될 현재 프레임의 최종 15 ms에 대응하는 시간 세그먼트에 대응한다. 코딩될 현재 프레임의 최초 5 ms는 이미 수신되어 이전 세그먼트의 "룩어헤드"로 저장되었다. 그러므로, 코더 상에 16으로부터 12.8 kHz로의 리샘플링 후에 획득되는 최종 12 샘플들은 12.8 kHz에서 5 ms 미래 신호의 최종 샘플들에 대응한다. 그 결과, 12.8 kHz에서의 현재 20 ms 프레임(즉, 256 샘플들) 및 미래 신호의 5 ms(즉, 64 샘플들)는, 동일한 길이의 LPC 분석 윈도우에 의해 가중되는 384 샘플들(30 ms)의 LPC 분석 버퍼를 형성하기 위해, 과거 원 신호(루프백(loopback))의 5ms로 보충된다.

리샘플링 오차를 포함하는 12.8 kHz에서의 "룩어헤드"의 최종 12 샘플들은 선형 예측(LPC)을 위해 사용되는 윈도우에서 매우 낮은 상대 가중치를 가지며, 더 유력한 이유로, 이들은 추정된 LPC 엔벌로프 상에만 영향을 미치는데, 이러한 영향은 매우 미미하다. 12 오차 샘플들은 다음 프레임 상에서 "정확한" 리샘플링 값들로 대체되므로, 오차는 미래 신호(룩어헤드)를 위해 현재 프레임에서 단지 일시적으로 존재하며 LPC 분석에만 영향을 미친다는 것을 주목하는 것이 중요하다. 그러므로, AMR-WB 코더의 지연 보상 기법은 AMR-WB 코덱에서 현재 프레임 내의 신호의 파형의 코딩에 영향을 미치지 않는다. 이하에서는, 이러한 모드를 "미래 신호를 갖는 프레임별 사용"으로 지칭할 것이다. 그에 따라 생성되는 샘플들은 중간 계산(LPC 분석)을 위해 단지 일시적으로 사용되며, 다음 프레임의 신호가 알려질 때 정확하게 리샘플링되는 샘플들로 대체된다. 이러한 구성에서, 각각의 프레임을 위한 길이(lg_out)의 출력 프레임에 대해, lg_out+12 샘플들이 리샘플링에 의해 생성된다.

AMR-WB 코더 상에 사용되는 이러한 지연 보상 기법은 AMR-WB 디코더에 적용되지 않는다.

따라서, 코덱(코더+디코더)은 디코더 상의 리샘플링(0.9375 ms) 및 코더(20 ms 프레임+5 ms 룩어헤드)로 인해 25.9375 ms의 총 알고리즘 지연을 갖는다.

AMR-WB 코더의 지연 보상 기법은 코딩 신호의 품질을 굉장히 열화시킬 것이므로 G.722 코덱의 QMF 필터링 지연을 감소시키는 데에 사용될 수 없다. 실제로, G.722 코덱에서는, 필터링으로부터 유래된 샘플들(저대역 및 고대역 신호들)이 2개의 ADPCM 서브-코덱의 입력 신호를 직접 구성하는데, 이들은 "룩어헤드" 없이 동작하고, 하나의 프레임으로부터 다른 프레임으로의 이러한 값들의 수정을 가능하게 하지 않는다. 이하에서는, 이러한 모드를 "연속 프레임 단위(frame-by-frame) 사용"으로 지칭할 것이다.

본 발명은 종래 기술의 상황을 개선한다.

이를 위해, 본 발명은 오디오 주파수 신호 코딩 또는 디코딩에서 오디오 주파수 신호를 리샘플링하기 위한 방법을 제안한다. 방법은, 리샘플링될 각각의 신호 블록에 대해:

- 적응 선형 예측에 의해, 선정된 리샘플링 지연에 기초하여 정의되는 미래 신호 샘플들의 수를 결정하는 단계;

- 적어도 현재 블록의 샘플들 및 결정된 미래 신호 샘플들로부터 리샘플링 서포트 벡터를 구성하는 단계;

- 리샘플링 서포트 벡터의 샘플들에 리샘플링 필터를 적용하는 단계를 포함한다.

그러므로, 본 발명에 따른 리샘플링은 (블록당 또는 프레임당) 필터에 의한 리샘플링 지연을 감소시키는 것을 가능하게 하는 한편, 연속 리샘플링에 매우 가까운 성능 레벨을 유지한다. 각각의 블록 또는 프레임 내의 미래 신호의 예측은 이러한 미래 샘플들이 널 값에서 설정된 경우보다 샘플들이 실제 샘플들에 더 가깝게 하는 것을 가능하게 한다. 따라서, 이 후자의 샘플들을 위한 리샘플링 과정의 성능이 더 양호하다.

이러한 리샘플링 방법은 원하는 지연의 함수로서 고려되도록 미래 신호 샘플들의 수를 적응시키는 것이 가능하기 때문에 또한 적응적이다. 지연 없는 리샘플링을 위해, 결정될 미래 신호 샘플들의 수는 이후 리샘플링 필터의 지연에 대응한다. 필터의 지연보다 낮은 지연이 허용되면, 미래 신호 샘플들의 수는 리샘플링 필터의 지연의 단지 일부에 대응할 수 있다.

신호 블록당 수행되는 리샘플링 지연의 적응에 의하면, (이러한 목적으로 사용되는 FIR 필터를 비롯한) 상이한 리샘플링 구성들 사이에서, 하나의 블록으로부터 다른 블록으로 또는 하나의 프레임으로부터 다른 프레임으로 용이하게 전환하거나, 또는 소정의 샘플링 주파수에서의 소정의 프레임의 직접 코딩으로부터 리샘플링을 갖는 다음 프레임의 코딩으로 또는 그 역으로 전환하는 것이 가능하다.

이하에 언급되는 다양한 특정 구현예들은 독립적으로 또는 서로 결합하여 상기에 정의된 리샘플링 방법의 단계들에 추가될 수 있다.

간단한 구현예에서, 적응 선형 예측에 의한 결정 단계는:

- 기결정된 차수의 선형 예측 필터의 계수들을 획득하는 단계;

- 획득되는 예측 필터를 널 값의 여기 신호에 적용함으로써 미래 신호 샘플들을 획득하는 단계를 포함한다.

특정 구현예에서, 선형 예측 필터의 계수들은 코딩 또는 디코딩 단계에서 저장되는 파라미터들을 판독함으로써 획득된다.

따라서, 리샘플링 장치와 별개로, 코딩 모듈이 예측 필터의 파라미터들을 이미 결정한 LPC 분석을 포함할 때, 리샘플링 방법에서 이러한 파라미터들을 재계산할 필요는 없다. (정량화되거나 정량화되지 않은) 저장된 파라미터들을 판독하는 것으로 충분하다.

다른 구현예에서, 선형 예측 필터의 계수들은 적어도 현재 블록의 샘플들로부터의 분석에 의해 획득된다.

이후, LPC 분석이 리샘플링 장치에서 직접 이행된다.

예시적인 구현예에서, 선형 예측은 프리-엠퍼시스 처리가 수행된 오디오 주파수 신호에 수행된다.

프리-엠퍼시스는 특히 강한 슬로프 및 스펙트럼 다이나믹을 갖는 신호에 대해 고정-포인트 표기 실시에서 더 양호한 디지털 안정성을 보장하는 것을 가능하게 한다. 이는 신호의 스펙트럼 다이나믹을 감소시키므로, 주파수 대역에 걸쳐 신호의 파워의 분배가 프리-엠퍼시스 후에 더 균일해진다. 포스트-프리-엠퍼시스 모델링 파라미터들은 더 낮은 다이나믹을 가지며, 시스템의 안정성을 보장하기가 더 용이하고, 고정-포인트 표기 산술과 함께 이러한 모델을 사용하여 알고리즘을 실시하는 것이 또한 더 용이하다.

가능한 구현예들에서, 적응 선형 예측은:

- 단기 선형 예측;

- 장기 선형 예측;

- 단기 선형 예측과 장기 선형 예측의 조합;

- 소거된 프레임 은폐 과정 중 하나의 방법으로부터의 예측이다.

따라서, 임의의 다소 정확한 예측 타입이 방법의 실시를 위해 가능한 한편, 유리한 신호대잡음비의 관점에서 효율성을 보장한다.

본 발명은 또한 오디오 주파수 신호 코더 또는 디코더에서 오디오 주파수 신호를 리샘플링하기 위한 장치를 목표로 한다. 장치는:

- 각각의 신호 블록에 대해, 선정된 리샘플링 지연의 함수로서 정의되는 미래 신호 샘플들의 수를 결정하기에 적합한 적응 선형 예측 모듈;

- 적어도 현재 블록의 샘플들 및 결정된 미래 신호 샘플들로부터 리샘플링 서포트 벡터를 구성하기 위한 모듈;

- 리샘플링 서포트 벡터의 샘플들에 적용되는 리샘플링 필터를 포함한다.

이러한 장치는 장치가 실시하는 전술한 방법과 동일한 이점을 제공한다.

특정 구현예에서, 적응 선형 예측 모듈은 코더 또는 디코더의 예측 코딩 또는 디코딩 모듈에 포함되는 예측 분석 모듈과 연동한다.

그러므로, 어떤 LPC 분석 모듈도 포함할 필요가 없기 때문에, 리샘플링 장치의 복잡도가 감소한다. 코딩 또는 디코딩 모듈의 분석 모듈로부터 획득되는 파라미터들은 코딩 또는 디코딩 중에 저장되므로, 리샘플링에서 사용될 수 있다.

본 발명은 또한 전술한 바와 같은 적어도 하나의 리샘플링 장치를 포함하는 오디오 주파수 신호 코더 및 디코더를 목표로 한다.

특정 구현예에서, 코더 또는 디코더는 상이한 지연을 갖는 적어도 2개의 리샘플링 필터를 사용하는 리샘플링 장치를 포함하되, 필터들 중 적어도 하나는 전술한 바와 같은 방법에 따라 실시되고, 이를 위해, 미래 신호 샘플들의 수의 결정은 사용되는 2개의 리샘플링 필터의 지연차의 함수이다.

리샘플링 필터들이 종종 상이한 코딩 모드와 연관되기 때문에, 이러한 구현예는 임의의 가청 부작용 없이 하나의 코딩 모드로부터 다른 코딩 모드로 용이하게 전환하는 것을 가능하게 한다.

본 발명은, 코드 명령들이 프로세서에 의해 실행될 때, 전술한 바와 같은 리샘플링 방법의 단계들을 실시하기 위한 코드 명령들을 포함하는 컴퓨터 프로그램을 목표로 한다.

최종적으로, 본 발명은, 리샘플링 장치에 통합되거나 통합되지 않고, 가능하게는 착탈식이며, 전술한 바와 같은 리샘플링 방법을 실시하는 컴퓨터 프로그램을 저장하는 프로세서-판독 가능 저장 매체에 관한 것이다.

본 발명의 다른 특징들 및 이점들은, 전적으로 비제한적 예로 주어지며 첨부 도면을 참조로 하는, 후술하는 설명의 숙독으로부터 더 명백해질 것이다.
도 1은 전술한 바와 같은 종래 기술의 방법에서 리샘플링 필터의 임펄스 응답을 도시한다.
도 2는 전술한 바와 같이 영점들에 의한 지연의 보상을 갖는 종래 기술의 방법에서 리샘플링 필터의 임펄스 응답을 도시한다.
도 3은 본 발명의 구현예에 따른 리샘플링 장치를 포함하는 예시적인 오디오 신호 코더를 도시한다.
도 4a는 본 발명의 구현예에 따른 리샘플링 방법의 단계들의 흐름도를 도시한다.
도 4b는 본 발명에 따른 리샘플링 방법의 변형 구현예의 단계들의 흐름도를 도시한다.
도 5a는 본 발명의 구현예에 따른 프리-엠퍼시스 인자의 결정 단계의 상세 흐름도를 도시한다.
도 5b는 본 발명의 구현예에 따른 선형 예측 단계의 상세 흐름도를 도시한다.
도 6은 본 발명의 구현예에서 사용되는 분석 윈도우의 형태를 도시한다.
도 7a 내지 도 7l은, 리샘플링될 현재 신호 프레임에 이은 상이한 샘플 위치들에 대해, AMR-WB 코더에서 실시되는 종래 기술의 리샘플링 방법 및 본 발명의 제1 및 제2 구현예에 따른 리샘플링 방법의 테스트 신호로의 적용에 의해 획득되는 중심 주파수의 함수로서 신호대잡음비의 비교를 도시한다.
도 8a 내지 도 8c는, 리샘플링될 현재 신호 프레임에 이은 상이한 샘플 위치들에 대해, AMR-WB 코더에서 실시되는 종래 기술의 리샘플링 방법 및 본 발명의 제1 및 제2 구현예에 따른 리샘플링 방법에 따른 리샘플링 주파수 변경의 3가지 상이한 경우들에 대한 신호대잡음비의 비교를 도시한다.
도 9는 본 발명의 구현예에 따른 리샘플링 장치를 포함하는 오디오 신호 디코더의 일례를 도시한다.
도 10은 본 발명의 구현예에 따른 리샘플링 장치의 물리적 표현을 도시한다.

도 3은 본 발명의 구현예에 따른 리샘플링 장치(300)를 포함하는 오디오 코더의 일례를 도시한다.

이에 도시된 코덱은 오디오 신호들(모노)의 코더로, 멀티-비트 레이트(비트 레이트가 7.2 내지 128 kbit/s로 설정됨)가 8, 16, 32, 또는 48 kHz의 입출력 샘플링 주파수에서 동작한다. 먼저, 도 3에 나타낸 코더 부분에 관심을 집중하되, 연관된 디코더는 도 9와 함께 이후에 설명된다.

입력 신호는 20 ms 프레임들로 분할되고(블록(310)), 각각의 프레임은 다중화 모듈(313)에 의해 다중화되기 전에 CELP 타입의 시간 도메인(TD) 접근법에 따라(309) 또는 MDCT 타입의 주파수 도메인(FD) 접근법에 따라(312) 코딩될 수 있다. 여기서, CELP 및 MDCT 타입의 코딩은 당업자들에게 공지된 것으로 고려된다. 내부 코딩 주파수의 선정을 포함하는 - 모드의 선정(블록(311))은 이에 상세히 설명되지 않는다.

비트 레이트 및 샘플링 주파수의 관점에서 유연한 이러한 코덱에서, 주파수("f_Out"; 출력의 Out)에서의 주파수("f_In"; 입력의 In)의 다수의 리샘플링 구성이 필요하다. 이에 설명된 구현예에서, 사용되는 구성들은 하기 표 1에 기재되어 있다.

이 표에서, 볼드체의 주파수 값들은 코덱의 "외부" 주파수들(즉, 입력 및/또는 출력 주파수들)을 나타내고, 다른 주파수 값들은-16 kHz에서 단 하나의 외부 주파수를 가지며 12.8 kHz에서 단 하나의 내부 주파수를 가지는 AMR-WB 코딩과 유사한 방식으로-신호의 저대역의 코딩을 위한 "내부" 샘플링 주파수들이다. "filt_len_in"은 필터의 길이를 나타내고, "fac_num"은 업샘플링 인자를 나타내며, "fac_den"은 다운샘플링 인자를 나타낸다.

보편성을 잃지 않으면서, FIR 필터는 카디널 사인(sin(x)/x)의 윈도윙을 수반하기 때문에 "윈도우 방법"으로 지칭되는 종래의 방법에 따라 이에 도시된 예로 설계된다. FIR 필터는 예컨대 후술하는 바와 같이 설계된다.

예컨대, 필터(f_5_8_129)는 하기 매트랩 커맨드로 획득된다:

f_5_8_129 = [0 0 0 0 fir1(248,(3775/32000),hanning(249))*4.999895 0 0 0 0];

3775 Hz의 64 kHz에서 차단 주파수(-6 dB)를 가짐.

이러한 계수들은 8000 Hz에서 16 계수들(즉, 64000 Hz에서 128 계수들)의 필터로 그리고 12800 Hz에서 24 계수들(즉, 64000 Hz에서 120 계수들, 최종 값들은 무시함)의 필터로 사용된다.

필터(f_12_180)는 하기 매트랩 커맨드로 획득된다:

ftmp = fir1(358,1/12,hanning(359));

f_12_180 = [0 ftmp/ftmp(180) 0];

8000 Hz의 192 kHz에서 차단 주파수(-6 dB)를 가짐.

필터(f_15_180)는 하기 매트랩 커맨드로 획득된다:

ftmp = fir1(358,1/15,hanning(359));

f_12_180 = [0 ftmp/ftmp(180) 0];

6400 Hz의 192 kHz에서 차단 주파수(-6 dB)를 가짐.

본 발명의 변형예들에서, 다른 FIR 필터 설계 방법들을 사용할 수 있음은 물론이다.

이러한 변환 구성들은 코딩 알고리즘 내의 두 내부 주파수, 12.8 kHz와 16 kHz의 사용에 의해 보편성을 잃지 않으면서 이에 정당화된다. 내부 샘플링 주파수(12.8 또는 16 kHz)의 선정이 이루어지는 방식이나, 채용될 코딩의 타입의 선정(블록(311))이 이루어지는 방식은 이에 상세히 설명되지 않는다. 이는 본 발명의 범주를 벗어난다. 그러나, 코덱의 동일한 입력 및/또는 출력 주파수에 대해, 내부 주파수의 선정이 각각의 프레임에서 독립적으로 이루어질 수 있음을 기억하되, 이는 예컨대 프레임(N)에서 구성(i)에 따라 리샘플링을 사용하는 것과 프레임(N+1)에서 i와 상이한 구성(j)에 따라 (그러나 동일한 "외부" 주파수로) 리샘플링을 사용하는 것이 가능하고, 프레임(N+2)에서 리샘플링을 사용하지 않는 것이 가능함을 의미하는데(이는 입력 주파수(f_In)에서 프레임의 직접 코딩을 의미함)-실제로, 이 마지막 경우는 하기 상황들에서만 바람직한 구현예에서 가능하다:

- 선정되는 코딩 모드가 항상 주파수(f_In)에서 동작하는 FD 타입의 코딩인 상황;

- 선정되는 코딩 모드가 TD 코딩이며 입력 주파수(f_In)가 내부 TD 코딩 주파수에 대응하는 상황.

그러나, 본 발명의 변형예에서, FD 타입의 코딩은 전환을 용이하게 하기 위해 TD 코딩과 동일한 내부 코딩 주파수에서 동작하도록 강제될 수 있을 것이다.

TD 코딩으로부터 FD 코딩으로 및 그 역으로의 전이는 본 발명의 범주를 벗어나기 때문에 이에 설명되지 않는다는 것을 주목한다.

입력 신호의 샘플링 주파수(f_In)가 내부 코딩 샘플링 주파수보다 클 때, 코딩 알고리즘(TD COD 또는 FC COD)은 고대역(6.4 또는 7 kHz보다 큰 주파수)에서 신호의 코딩을 제공하되, 고대역의 이러한 코딩은 이에 상세히 설명되지 않는다.

그러므로, 코더는 다수의 FIR 필터 계수 구성들로 동작할 수 있기 때문에(블록(305)) 파라미터화 가능한 리샘플링 필터를 포함하는 리샘플링 장치(300)를 포함한다. 후술하는 구현예들에서, 리샘플링 필터는 다상 필터이다. 본 발명은 예컨대 다상 표현을 수반하지 않는 비-최적 복잡도의 리샘플링 필터와 같은 FIR 필터에 의한 리샘플링의 다른 타입의 실시에도 적용된다. 아울러, 본 발명은 다른 샘플링 주파수 변환율에 대해서도 적용된다.

처음 3개의 구성(1번 내지 3번)을 제외하면, 다른 모든 구성들은 0.9375 ms의 지연을 갖는 FIR 타입의 다상 필터를 사용한다(12.8 kHz에서 12 샘플들, 16 kHz에서 15 샘플들, 32 kHz에서 30 샘플들, 및 48 kHz에서 45 샘플들).

구성들(4 내지 13) 내의 다상 리샘플링 필터링(블록(305))이 ITU-T G.718 코덱에 정의된 FIR에 의한 다상 리샘플링으로부터 유래된 알고리즘에 따라 수행된다("modify_fs.c" 파일의 G.718의 소스 코드의 구현 참조).

여기서, 8000 Hz의 "외부" 샘플링 주파수를 수반하는 처음 3개의 구성에 관심을 집중한다. 이러한 구성들에 대해, 적절한 필터링 성능을 갖기 위해, 특히 귀가 매우 예민한 주파수에서 일어날 수 있는 스펙트럼 에일리어싱 또는 스펙트럼 이미지의 충분한 저지를 보장하기 위해, 더 긴 FIR 필터가 필요하다.

본 발명의 리샘플링 방법의 실시 없이, 이러한 3개의 구성은 8000 Hz로부터 12800 Hz로의 리샘플링의 경우에 대해 12.8 kHz에서의 25 샘플들의 지연, 12800 Hz로부터 8000 Hz로의 리샘플링 및 16000 Hz로부터 8000 Hz로의 리샘플링의 경우에 대해 8 kHz에서의 15 샘플들의 지연을 보통 초래할 것이다. 일반적으로, 출력 샘플링 주파수에서의 지연은 filt_len*fac_num/fac_den 미만의 정수로 반올림되지만(여기서, filt_len은 필터의 길이, fac_num은 업샘플링 인자, 및 fac_den은 다운샘플링 인자(역시 표 1 참조)), 샘플 절반의 일부를 갖는 지연을 고려하는 것 역시 가능할 것이다.

도 4a 및 도 4b를 참조하여 후술하는 본 발명에 따른 리샘플링 방법의 리샘플링 장치(300)에서의 실시는, 이러한 코더의 경우에:

- (0.9375 ms의 지연을 갖는) 다른 변환 구성들(4 내지 13)과 동일한 지연을 획득하기 위해 구성들(1 내지 3)의 유효 지연을 제한하는 것과(이를 이행하기 위해, 리샘플링 장치는, 각각의 신호 프레임에 대해, 선정된 리샘플링 지연의 함수로서 정의되는 미래 신호 샘플들의 수를 결정하기에 적합한 적응 선형 예측 모듈(301)을 포함한다. 샘플들의 수는 이론상 파라미터화 가능하지만, 실제로는 정의된 코덱 구성을 위해 일정하게 유지된다는 것을 주목한다);

- 연관된 이론적 지연이 상이할지라도, 모든 정의된 리샘플링 구성들을 전환하는 것을 가능하게 한다.

표 1에 기재되지 않은 본 발명의 특정 구현예에서, 코더는 상이한 지연을 초래하는 다수의(적어도 2개의) 다상 FIR 리샘플링 필터를 포함할 수 있다. 예컨대, 다중 비트 레이트 코더에서, 항상 16000 Hz인 입력에 대해, 비트 레이트에 따라 2개의 상이한 내부 주파수 코딩 코어를 사용하는 것이 가능하다: 더 낮은 비트 레이트에 대해 8000 Hz 및 더 높은 비트 레이트에 대해 12800 Hz. 충분한 필터링 성능 레벨을 갖기 위해, 특히 스펙트럼 에일리어싱 또는 스펙트럼 이미지의 충분한 저지를 보장하기 위해, 16000 Hz로부터 8000 Hz로의 리샘플링은 16000 Hz로부터 12800 Hz로의 리샘플링보다 긴 FIR 필터를 요구한다. 그러므로, 이러한 두 필터링은 상이한 지연을 갖는다. (비트 레이트의 변경의 경우) 부작용 없이 이러한 2개의 코딩 모드 사이에서 전환할 수 있도록, 이러한 지연들을 일치시켜야 한다(동일하게 만들어야 한다). 리샘플링 FIR 필터의 길이가 16000 Hz로부터 8000 Hz로 감소하는 경우, 스펙트럼 에일리어싱이 충분히 잘 감쇠되지 않고 가청이 될 수 있기 때문에, 품질이 일반적으로 열화된다. 리샘플링 FIR 필터의 길이가 16000 Hz로부터 12800 Hz로 증가하면 또는 추가 지연이 리샘플링된 신호에 적용되면, 코딩/디코딩의 전체 지연이 증가하고, 이는 상호작용을 방해할 수 있다.

본 발명의 리샘플링 방법을 사용함으로써, 원래 필터링에 비해, 품질의 주목할 만한 손실 없이, 더 긴 FIR 필터링 지연을 더 짧은 필터링 지연 레벨로 감소시키는 것이 가능하다. 실제로, 시뮬레이션 결과에 의하면, 신호대잡음비는 본 발명에 따른 저지연 필터링과 정상 필터링 사이에서 매우 높다. 본 발명에 따른 저지연 필터링 및 정상 필터링으로 획득되는 신호들 사이의 차이가 가청이 아니라는 것이 듣기 테스트에 의해 입증된다.

그러므로, 이에 제시된 경우에서, 코더(또는 심지어 디코더)는 상이한 지연을 갖는 2개의 다상 리샘플링 필터를 포함한다. 적어도 하나의 리샘플링 필터는 본 발명에 따라 전술한 바와 같이 실시되는 필터로, 미래 신호 샘플들의 수의 결정이 2개의 장치에서 사용되는 2개의 리샘플링 필터의 지연차의 함수이다.

예컨대, 표 1에서, 구성들(3 내지 7)은 16000 Hz의 외부 주파수와 8000 Hz 및 12800 Hz의 내부 주파수를 위해 사용될 수 있다. 이 경우, 입력 주파수에서의 지연(filt_len)은 각각 30 및 15 샘플들임을 알 수 있다; 그러므로, 구성(3)의 지연을 구성(7)의 지연 레벨까지 감소시킬 수 있도록, 차이, 즉 16000 Hz에서 15 샘플들을 예측하는 것이 필요하다. 이후 상세히 설명되는 본 발명은 구성(3)의 지연을 감소시키는 데에 사용될 수 있고, 구성들(3, 7)이 이후 15 샘플들의 동일한 지연을 갖기 때문에 명백하게 구성들(3, 7) 사이에서 교번될 수 있을 것이다.

표 1에 기재된 구성들 및 도 3의 코더의 예로 되돌아가기 위해:

8000 Hz로부터 12800 Hz로의 리샘플링의 경우, 지연을 25 샘플들로부터 12 샘플들로 감소시키는 것, 즉 12800 Hz에서 plus_sample_out = 13 추가 샘플들을 생성하는 것이 필요하고, 이는 8000 Hz에서 plus_sample_in = 8 샘플들의 외삽을 필요로 한다.

12800 Hz로부터 8000 Hz로의 리샘플링의 경우에 대해, 지연을 15 샘플들로부터 7 샘플들로 감소시키는 것, 즉 8000 Hz에서 plus_sample_out = 8 추가 샘플들을 생성하는 것이 필요하고, 이는 12800 Hz에서 plus_sample_in = 12 샘플들의 외삽을 필요로 한다.

16000 Hz로부터 8000 Hz로의 리샘플링의 경우에 대해, 지연을 15 샘플들로부터 7 샘플들로 감소시키는 것, 즉 8000 Hz에서 plus_sample_out = 8 추가 샘플들을 생성하는 것이 필요하고, 이는 16000 Hz에서 plus_sample_in = 15 샘플들의 외삽을 필요로 한다. 8000 Hz에서, 0.9375 ms는 7 샘플들로 반내림된 7.5 샘플들에 대응한다는 것을 주목해야 한다.

도 3에 도시된 리샘플링 장치(300)는 입력으로서 오디오 신호 블록들을 수신하고, 본 구현예에서, 이들은 또한 과거 프레임들로부터의 샘플들의 세트를 메모리에 가지는 블록(310)에 의해 수신되는 20 ms 프레임들이다.

이러한 리샘플링 장치는, 각각의 신호 블록 또는 프레임에 대해, 선정된 리샘플링 지연의 함수로서 정의되는 미래 신호 샘플들의 수를 결정하기에 적합한 적응 선형 예측 모듈(301)을 포함한다.

미래 신호 샘플들의 이러한 예측된 수는 리샘플링 서포트 벡터를 구성하기 위해 모듈(304)에 의해 정의되는 리샘플링 서포트를 결정하는 데에 사용된다. 이러한 리샘플링 서포트 벡터는 예컨대 가능한 과거 신호 샘플들, 현재 블록 또는 프레임으로부터의 샘플들, 및 모듈(301)에 의해 예측되는 미래 신호 샘플들의 연결(concatenation)이다. 과거 신호 샘플들은 리샘플링 FIR 필터를 위한 메모리 역할을 한다.

그럼에도, 이러한 서포트 벡터의 구성은 또한 하기 실시를 포함한다:

- 과거 신호는 리샘플링 FIR 필터의 메모리들에 저장될 수 있으므로, 현재 프레임의 샘플들과 직접 연결되지 않는다(그러나 현재 프레임의 신호는 실제로 과거 신호를 포함하는 이러한 메모리들의 연속이다).

- 예측된 미래 신호는 또한 별개의 벡터에 저장될 수 있고, 필수 메모리들이 정확하게 업데이트되는 한, 리샘플링은 현재 프레임의 신호의 리샘플링과 별개로 이행될 수 있다. 미래 신호의 별개의 리샘플링의 경우, 리샘플링 필터의 메모리들은 현재 프레임의 최근 샘플들에 의해 초기화된다. 다시 한번, 이러한 분리에도 불구하고, 예측된 미래 신호는 실제로 현재 프레임의 신호의 연속이다.

본 문헌에서, 보편성을 잃지 않으면서, "서포트 벡터의 구성"이라는 용어는 또한 신호들이 실제로 동일한 벡터 내에 차례차례 카피되는 것이 아니라 상이한 벡터들 내에 저장되는 경우를 포괄한다.

이후, 필터(305)는 원하는 출력 주파수에서 리샘플링되는 신호를 획득하기 위해 이러한 리샘플링 서포트 벡터에 적용된다.

선형 예측 모듈(301)은 도 4a와 관련하여 후술하는 바와 같이 선형 예측 필터의 계수들을 결정하기에 적합한 단기 예측 분석 모듈(302; LPC)을 포함할 수 있다. 이러한 LPC 분석 모듈(302b)은 다른 유리한 구현예에서 TD 타입의 시간적 코딩(예컨대, CELP 코딩)의 예측 코딩 모듈(309)에 포함될 수 있다. 따라서, 동일한 분석 모듈이 리샘플링 장치를 위한 유용한 미래 샘플들을 예측하기 위해 및 전송 전에 신호를 코딩하기 위해 사용될 수 있다. 그러므로, 이는 코딩 모듈의 분석 모듈과 연동하는 리샘플링 장치의 복잡도를 감소시킨다.

모듈(301)은 미래 샘플들의 세트(buf_fut)를 획득하기 위해 널 신호의 1/A(z) 필터링에 의한 예측 필터링 모듈(303)을 더 포함한다.

따라서, 도 4a는 본 발명의 구현예에 따른 리샘플링 방법의 주요 단계들을 도시한다.

본 방법의 단계들은 입력(Buf_In)으로서 입력 샘플링 주파수(f_In)에서의 lg 샘플들의 프레임들로 실시된다. 메모리들을 통한 이러한 입력 신호의 과거 샘플들에 대한 액세스가 또한 존재한다. 이러한 입력 신호로부터, 단계(E401)는 원하는 지연의 함수로서 예측될 샘플들의 수(plus_sample_in)를 결정하며, 선형 예측에 의해 미래 신호 샘플들의 수를 예측한다. 이러한 예측의 결과는 리샘플링 서포트 벡터를 구성하는 단계(E402)에서 입력 신호(메모리들을 위한 과거 프레임들 및 현재 프레임) 상에 연결된다. 그러므로, 이러한 서포트 벡터는 일 구현예에서 과거 신호의 샘플들, 현재 프레임의 샘플들, 및 결정된 미래 신호 샘플들의 연결이다.

단계(E403)에서, 리샘플링 필터링은 리샘플링 서포트 벡터의 샘플들로의 예컨대 유한 임펄스 응답(FIR)을 갖는 리샘플링 필터의 적용에 의해 수행되고, 리샘플링된 신호(buf_out)는 출력 리샘플링 주파수(f_out)에서 출력으로서 공급된다.

이후, 다수의 경우들이 가능하다:

- 연속 프레임 단위 사용의 경우(입력으로 lg 샘플들), 최종 lg_out = lg*fac_num/fac_den 샘플들만을 계산한다.

- 더 많은 샘플들을 획득해야 하는 경우(미래 신호를 갖는 프레임당 사용)(입력으로 lg+ plus_sample_in 샘플들), AMR-WB 표준의 코더의 경우와 같이, lg_out+plus_sample_out 샘플들을 계산하되, 여기서 plus_sample_out = plus_sample_in*fac_num/fac_den이다. 실제로, AMR-WB 코더에서, 현재 20 ms 프레임을 리샘플링하고, 15 추가 샘플들을 리샘플링한다; 제1 단계는 제2 단계에서 수행된 리샘플링으로부터의 오차를 대체한다. 이 예에서, lg = 320, plus_sample_in = 15이다.

- 예컨대, 2개의 코딩 모드 사이의 전환의 경우, 예컨대 메모리(신호의 조각 또는 블록)를 리샘플링할 때, 사용은 또한 일회성일 수 있다. 이 경우, 리샘플링 입력은 (예컨대 20ms의) 프레임이 아니라 신호 블록이다. 본 발명을 적용하기 위해, 변환될 블록의 과거 또는 과거로부터 이미 사전-계산된 LPC 모델을 갖는 것이 필수적임을 주목하는 것이 중요하다-이미 선형 예측을 사용하는 TD 타입의 코딩에 의해, 각각의 프레임 내에 TD 코더 및/또는 디코더에서 계산되고/계산되거나 코딩되는 파라미터들(LPC 또는 균등한 계수들)을 저장하는 것이 일반적으로 가능함을 주목한다. 따라서, 본 발명의 변형예에서, 이러한 LPC 파라미터들은 재사용될 수 있을 것이고, 이는 이후 (가능하게는 정량화된) 저장된 값들의 간단한 검색을 수반하기 때문에 블록(302)의 실시를 단순화한다.

평행으로, E405에서 리샘플링 필터의 메모리를 업데이트한다. 다시 한번, 다수의 경우가 가능하다:

- 더 많은 샘플들이 생성될 연속 사용의 경우, AMR-WB 표준의 경우와 같이, 예측된 샘플들 없이, 입력 프레임의 최종 mem _len 샘플들을 저장한다: mem _ sig ( 0　... mem _len-1) = frame(lg-mem_len ... lg-1)이다. 리샘플링의 재개 시에, 출력 샘플링 주파수에서 획득되는 샘플들이 예측된 입력 신호를 사용하여 획득되는 샘플들을 대체한다.

- 연속 프레임 단위 사용의 경우, 예측된 입력 신호를 사용하여 획득되는 샘플들을 대체하지 않고, lg_out 샘플들만을 출력 샘플링 주파수에서 계산한다. 새로운 프레임이 인덱스(lg+ plus_sample_in)의 샘플에서 시작된다고 간주하면, 리샘플링 FIR 필터링의 메모리는 인덱스(lg+ plus_sample_in- mem _ len ... lg + plus_sample_in-1)의 과거 샘플들로 구성되고, 인덱스(lg ... lg + plus_sample_in-1)의 이러한 메모리의 일부는 진정한 신호 또는 예측된 신호일 수 있다. 진정한 신호를 사용함으로써, 첫 번째 샘플들은 예측 없이 필터링으로 획득되는 샘플들과 동일하지만(최적으로서 고려되는 결과), 이전 프레임 동안 예측으로 획득되는 최종 샘플과 진정한 신호로 획득되는 첫 번째 샘플 사이에서, 작은 불연속을 갖는 것이 가능하다. 메모리 내의 예측된 신호의 사용의 경우, 불연속이 없지만, 약간의 오차가 다른 filt _len 샘플들에 걸쳐 확산된다. 바람직한 구현예에서, 이러한 약간의 불연속은 가청이 아니기 때문에 첫 번째 해법을 사용한다.

- 일회성 사용의 경우, 메모리 업데이트가 리샘플링 후에 필요하지 않지만, 리샘플링 메모리들은 대응하는 과거 입력 신호와 함께 리샘플링 동작 전에 초기화되어야 한다.

변형예에서, 미래 신호를 예측하는 데에 사용되는 LPC 분석은 바로 현재 프레임 내의 신호에 수행되는 것이 아니라, 형식(1-μ.z^-1; μ는 적응적으로 계산되거나 기결정된 값으로 설정됨)의 필터에 의해 현재 프레임의 필터링으로부터 획득되는 프리-엠퍼시스된 신호에 수행된다. 이러한 변형예가 도 4b에 도시되어 있다. 도 4a와 비교할 때, 프리-엠퍼시스 인자(μ)를 결정하는 단계(E406)가 추가된다. 이러한 인자(μ)를 사용함으로써, 이러한 단계(E407)에서 1-μ.z^-1 필터링에 의해 입력 신호를 프리-엠퍼시스한다. 이러한 필터링은 메모리 샘플을 필요로 하므로, 이 변형예에서, 메모리의 크기는 1만큼 증가되어야 함을 주목해야 한다. 프리-엠퍼시스된 신호는 단계들(E401, E402)의 입력이다. 이후, 1/(1-μz^-1) 필터링에 의해 단계(E408)에서 동일한 인자(μ)를 사용함으로써, 연결된 신호를 디-엠퍼시스한다. 소정의 신호에 대해, 동일한 인자(μ)에 의한 디-엠퍼시스로 이어지는 LPC 분석 전의 프리-엠퍼시스의 시퀀싱이 명백하다는 것, 즉 정확하게는 입력 신호가 검색된다는 것을 주목해야 한다. 따라서, 신호가 프리-엠퍼시스 전에 저장되면, 계산 복잡도를 감소시키기 위해 예측된 부분만을 디-엠퍼시스해야 한다. 이후, 리샘플링 서포트 벡터를 형성하기 위해, 이러한 디-엠퍼시스되는 예측된 부분을 저장된 신호 상에 연결한다.

-1과 1 사이의 값을 갖는 프리-엠퍼시스 인자(μ)를 결정하기 위한 다수의 기법들이 있다.

- μ는 일정할 수 있다. 예컨대, μ = 0.68이다.

- μ는 입력 샘플링 주파수에 따라 일정할 수 있다.

- μ는 스펙트럼의 경사(tilt)의 분석에 따라 적응적일 수 있다(종래 기술로부터 공지된 방법).

도 5a는 프리-엠퍼시스 인자를 결정하는 도 4b의 단계(E406)를 도시한다. 단계(E501)에서, 분석 윈도우에 의해 신호를 윈도윙한다. 단계(E502)에서 차수(M = 1)의 자기-상관(r(0) 및 r(1))을 계산하고, 저레벨 입력 신호의 산술적 문제를 방지하기 위해, 단계(E503)에서 잡음 임계치(또는 잡음 플로어)를 r(0)에 적용한다.

잡음 임계치의 적용의 자기-상관의 이러한 단계들은 예컨대 ITU-T 규약 G.729 서브섹션 3.2.1에 기재되어 있다.

시프트(k = 0, ..., M)에 대해 길이(L)의 윈도우를 갖는 자기-상관(r(k))의 계산들은 다음의 형태이다:

여기서, s_w(n) = s(n)·w(n)이며, 길이(L)가 현재 프레임의 길이보다 크면, s(n)은 현재 프레임의 신호 및 가능하게는 과거 신호의 최종 L 샘플들에 대응한다.

바람직한 구현예에서, LPC 윈도우(w(n)) 길이(L = 240)가 사용되고, 그 예가 도 6에 도시되어 있다.

이러한 윈도우의 형태는 가중치가 서포트의 끝(가장 최근의 샘플들)에 집중되어 있음에 따라 비대칭임을 알 수 있다. L = 240으로 이러한 윈도우를 구성하는 매트랩 커맨드들이 이하에 예로서 주어진다:

본 발명의 변형예들에서, LPC 차수(M)의 다른 값들, LPC 윈도우의 다른 형태들 및 길이들이 본 발명의 본질을 변화시킴 없이 사용될 수 있을 것이다. 제1 상관 계수를 인자(>1)와 곱함으로써 또는 이러한 제1 계수의 값을 최소값으로 제한함으로써, "잡음 플로어(noise floor)"를 종래의 방식으로 사용할 수 있을 것이다. 최종적으로, 단계(E504)에서 인자를 μ=r(1)/r(0)로서 계산한다.

도 5b는 본 발명에 따른 미래 샘플들을 결정하기 위한 선형 예측의 도 4의 단계(E401)의 구현예를 보다 상세히 도시한다.

예컨대, 이러한 단계(E401)는 현재 프레임의 샘플들 및 가능하게는 이전 프레임들의 샘플들로부터 기결정된 차수의 선형 예측 필터의 계수들을 계산하는 단계(E506), 및 널 값의 여기 신호에 계산된 예측 필터를 적용함으로써 미래 신호 샘플들을 획득하는 단계(E507)를 포함할 수 있다.

도 5a 및 도 5b의 단계들(E501, E502, E503)은 유사하지만, 상이한 예측 차수(M)를 가진다. 분석 윈도우의 형태 또는 길이 또는 심지어 "잡음 플로어"와 같은 다른 파라미터들 역시 상이할 수 있다. 양자의 경우에, 복잡도를 감소시키기 위해 공통의 모듈들을 사용할 수 있다.

보다 구체적으로, 단계(E501)에서 (프리-엠퍼시스되거나 프리-엠퍼시스되지 않은) 입력 신호를 윈도윙한다. 예컨대, 도 6에 도시된 것과 동일한 타입의 윈도우를 사용하는 것이 가능하다. 예컨대, G.729 표준의 서브섹션 3.2에 기재된 바와 같이, E502에서 자기-상관 함수를 선택된 차수(이 예에서, M = 10)로 계산하고, E503에서 잡음 플로어를 r(0)에 적용한다.

단계(E505)에서, "래그 윈도윙(Lag windowing)"으로 지칭되는 단계(당업자들에게 공지된 방법)를 수행하는데, 이 역시 G.729 표준의 서브섹션 3.2.1에 주목할 만하게 기재되어 있다.

입력 샘플링 주파수(f_In)를 위한 이러한 "래그 윈도윙" 단계는 다음과 같은 형태이다:

여기서, 계수들(w_lag(i))은 다음과 같이 정의된다:

여기서, f _s = f_In은 리샘플링될 신호의 주파수이며, 여기서, 예컨대 f ₀ = 60 Hz이다.

(도 3의 모듈(302)에 의해 실시되는) 단계(E506)에서, 차수(M)의 선형 예측 필터(A(z))의 계수들(A[i], i = 0, ..., M)을 AMR-WB 표준의 서브섹션 6.4.3 또는 G.729의 서브섹션 3.2.2를 참조하여 설명된 바와 같이 레빈슨-더빈(Levinson-Durbin) 알고리즘에 의해 계산한다. 바람직한 구현예에서, LPC 차수(M = 10)를 사용한다.

(도 3의 모듈(303)에 의해 실시되는) 단계(E507)에서, 미래 신호 샘플들의 예측을 제공하기 위해 합성 필터(1/A(z))를 널 신호에 적용한다.

이러한 예측은, 길이(lg; i = lg ... lg +plus_sample_in -1)의 프레임의 끝에서 plus_sample_in 샘플들에 대해, 널 입력(필터 여기 신호)을 갖는 1/A(z) 필터링에 의해 회귀적으로 수행된다:

본 발명의 변형예에서, 선형 예측 계수들을 계산하기 위한 다른 방법들을 사용할 수 있을 것이다. 예컨대 종래 기술로부터 공지된 SILK 코더에서 실시되는 버그법(Burg method)을 사용하는 것이 가능할 것이다.

다른 변형예에서, 선형 예측 계수들은 적응 필터링의 최소평균자승(LMS) 또는 회귀최소자승(RLS) 타입의 접근법에 의해 추정될 수 있을 것이다.

다른 대안에서, 선형 예측이 FD 코더에서 수행된다면, LPC 계수들은, 심지어 FD 코더에서 LPC 예측(302b)을 사용하여 TD 타입의 코더(309)에서 신호에 수행되는, 연관된 파라미터들의 분석 및/또는 정량화로부터 직접 획득될 수 있을 것이다.

예컨대, AMR-WB 코덱의 CELP 디코더에서, 각각의 서브프레임 내에 (16 차수의) LPC 계수들이 있고, 미래 디코딩된 신호를 예측하여 CELP 디코더의 리샘플링의 지연을 제거하기 위해 최종 서브프레임에 디코딩되는 LPC 계수들을 사용하는 것이 특히 가능하다.

다른 변형예에서, 단계(E507)에서의 널 여기(널 입력)는 예컨대 여기 도메인 내의 피치 예측에 의해 예측되는 여기로 대체될 수 있다.

본 발명의 다른 변형예들에서, (단기) 선형 예측은 신호의 도메인 내의 (장기) 피치 예측으로 대체될 것이며, 이러한 예측은 부분 또는 다중-탭(fractional or multi-tap)일 수 있다.

시간적 접근법 대신에 주파수 도메인에서 예측을 수행하는 것이 가능할 수 있음을 주목한다; 그러나, 주파수 도메인에서의 이러한 대안적인 접근법은 분석 변형(예컨대, FFT), 예컨대 가장 중요한 스펙트럼 레이들의 위상들의 연속 및 진폭들의 반복에 의한 미래 스펙트럼의 예측, 및 역 합성 변형 또는 사인 곡선 합성을 요구한다; 이러한 대안은 전술한 시간적 접근법보다 일반적으로 더 복잡하고, 주파수 분석이 스펙트럼 레이들(톤들)을 식별하기에 충분한 주파수 해상도를 갖기에 충분히 긴 시간적 서포트를 가져야 함에 따라 더욱 그러하다. 이러한 접근법은 (프레임 길이보다 작은) 제한된 수의 샘플들을 외삽하는 것을 목표로 할 때 이상적이지 않다.

또 다른 구현예에서, 전술한 적응 선형 예측은 더 정교한 신호 모델에 의해 미래 신호를 외삽하기 위해 소거된 프레임 은폐 과정으로 대체될 수 있다. 이와 같은 기법은 예컨대 유럽 특허공개번호 EP 1 316 087에 기재되어 있다.

본 발명의 다른 변형예들에서, FIR 필터에 의한 리샘플링은 다항 보간 또는 IIR 필터링에 의한 다른 리샘플링 방법들로 대체될 수 있을 것이다. 이 경우, 원리는 동일하게 유지된다: 미래 신호를 예측하고, 미래 신호를 고려함으로써 리샘플링을 적용한다.

일 구현예에서, 상이한 지연을 갖는 2개의 리샘플링 구성의 경우가 고려되고, 본 발명은 가장 긴 지연을 가장 낮은 지연값으로 가져가는 것을 가능하게 한다.

8000 Hz로부터 12800 Hz로의 리샘플링의 예에서 이미 설명된 본 발명의 방법에 따른 저지연 리샘플링의 효율성을 입증할 수 있도록, 10 사인 곡선들의 혼합으로 구성된 테스트 신호를 사용하는데, 그 주파수는 매 초마다 변경된다. i번째(i^th) 초의 신호에 대해, 이러한 사인 곡선들의 주파수는 간격([fe_center(i)-600, fe_center(i)+600])으로 중심 주파수(fe_center(i)) 주위에서 무작위로 선정되었고, fe_center(i) = 500+100*i Hz, i = 1 ... 28이다.

도 7a 내지 도 7l은 AMR-WB에서의 종래 기술의 리샘플링 방법(점선), 20 샘플들의 분석 윈도우를 갖는 차수(M = 4)의 예측 필터를 갖는 본 발명에 따른 방법(일점쇄선), 및 240 샘플들의 분석 윈도우를 갖는 10 차수의 선형 예측 필터를 갖는 본 발명에 따른 방법(실선) 사이의 비교 결과를 나타낸다.

도면은 테스트 신호의 중심 주파수의 함수로서 신호대잡음비를 나타낸다.

각각의 도면은 (도 2의 #1, ..., #12의 번호에 대응하는) 종래의 필터링으로 획득되는 종래의 프레임의 끝에 대한 샘플의 상이한 위치에 대응한다. 예컨대, 도 7a는 종래의 프레임의 끝 다음의 2번째 위치에서 샘플들에 대한 신호대잡음비(SNR)를 나타낸다. 도 7b는 현재 프레임 등의 다음의 3번째 위치에서 예측된 샘플에 대한 신호대잡음비를 나타낸다. 따라서, 도 7l은 현재 프레임 다음의 13번째 위치에서 예측된 샘플에 대한 신호대잡음비를 나타낸다.

예측된 샘플들이 필터링 동안 점점 더 사용되기 때문에 SNR이 위치의 증가에 따라 감소하는 것과, 동일한 위치에 대해, 고주파수가 덜 예측 가능하기 때문에 SNR이 중심 주파수의 증가에 따라 감소하는 것을 관찰할 수 있다. 그러나, 모든 경우에, 심지어 낮은 예측 차수를 갖는 본 발명에 따른 방법이 AMR-WB 코더에서 사용되는 방법보다 훨씬 더 효율적이라는 것이 관찰된다.

저차수 예측의 사용의 이점은 무엇보다도 고정-포인트 표기 산술에서 계산들의 실시의 용이성 및 낮은 복잡도이다. 차수가 더 높을수록, 복잡도가 더 증가하고, 동시에 필터의 안정성을 보장하는 것이 더 어렵게 된다.

도 8a 내지 도 8c는 매우 넓은 음성 신호 베이스에 걸쳐 동일한 타입의 결과를 도시한다. 여기서, SNR은 3가지 상이한 경우에 대한 샘플의 위치의 함수로서 나타난다: 도 8a의 8000 Hz로부터 12800 Hz, 도 8b의 12800 Hz로부터 8000 Hz, 및 도 8c의 16000 Hz로부터 8000 Hz. 다시 한번, 본 발명에 따른 알고리즘은, 짧은 윈도우를 갖는 심지어 낮은 예측 차수로, 종래 기술(AMR-WB)에서 사용된 것보다 훨씬 더 효율적이다.

도 9는 본 발명에 따른 리샘플링 장치(300)를 포함하는 오디오 디코더의 일례를 도시한다. 리샘플링 장치는 도 3을 참조하여 설명된 것과 동일하다.

이에 도시된 디코더는 (모노) 오디오 신호들의 디코더로, 멀티-비트 레이트(비트 레이트가 7.2 내지 128 kbit/s로 설정됨)가 8, 16, 32, 또는 48 kHz의 출력 샘플링 주파수에서 동작한다.

수신되고 역다중화되는 프레임에 기초하여(블록(901)), 출력은 주파수 도메인 디코더(FD DEC)와 선형 예측(902b)을 이용한 CELP 타입의 시분할 디코더(TD DEC)(902)의 출력 사이에 전환된다(904).

도 10은 본 발명에 따른 리샘플링 장치(300)의 하드웨어 구현예의 일례를 도시한다. 리샘플링 장치는 오디오 주파수 신호 코더, 디코더, 또는 오디오 주파수 신호를 수신하는 장비 아이템의 일체형 부분으로 만들어질 수 있다.

이러한 타입의 장치는 저장 및/또는 작업 메모리(MEM)를 포함하는 메모리 블록(BM)과 연동하는 프로세서(PROC)를 포함한다.

이와 같은 장치는 샘플링 주파수(f_In)에서 오디오 신호 프레임들(Buf_In)을 수신하기에 적합한 입력 모듈(E)을 포함한다.

이는 샘플링 주파수(f_Out)에서 리샘플링된 오디오 주파수 신호(Buf_Out)를 전송하기에 적합한 출력 모듈(S)을 포함한다.

메모리 블록은, 코드 명령들이 프로세서(PROC)에 의해 실행될 때, 본 발명의 의미 내의 리샘플링 방법의 단계들, 및 특히, 적응 선형 예측에 의해, 선정된 리샘플링 지연의 함수로서 정의되는 미래 신호 샘플들의 수를 결정하는 단계, 적어도 현재 블록의 샘플들 및 결정된 미래 신호 샘플들로부터 리샘플링 서포트 벡터를 구성하는 단계, 리샘플링 서포트 벡터의 샘플들에 리샘플링 필터를 적용하는 단계를 실시하기 위한 코드 명령들을 포함하는 컴퓨터 프로그램을 유리하게 포함할 수 있다.

통상적으로, 도 4a의 설명은 이와 같은 컴퓨터 프로그램의 알고리즘의 단계들을 반복한다. 컴퓨터 프로그램은 또한, 장치의 판독기에 의해 판독될 수 있거나 메모리 공간에 다운로드될 수 있는 메모리 매체 상에 저장될 수 있다.

메모리(MEM)는 일반적으로 방법을 실시하는 데에 필요한 모든 데이터를 저장한다.

Claims

방법에 있어서:
오디오 주파수 신호 코딩 또는 디코딩 장치에 의해 오디오 주파수 신호를 리샘플링하는 단계로서, 리샘플링될 각각의 신호 블록에 대해:
적응 선형 예측에 의해, 선정된 리샘플링 지연의 함수로서 정의되는 미래 신호 샘플들의 수를 결정하는 동작;
적어도 현재 신호 블록의 샘플들 및 결정된 미래 신호 샘플들로부터 리샘플링 서포트 벡터를 구성하는 동작; 및
상기 리샘플링 서포트 벡터의 샘플들에 리샘플링 필터를 적용하는 동작을 포함하는, 상기 리샘플링하는 단계를 포함하고,
상기 방법은:
2개의 코딩 모드들 사이에 스위칭하는 단계; 및
상기 스위칭으로 인해 상기 현재 신호 블록을 리샘플링하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,
상기 리샘플링 필터의 사용은 2개의 코딩 모드들 사이의 상기 스위칭으로 인해 일회성(one-off)인, 방법.
제 1 항 또는 제 2 항에 있어서,
상기 현재 신호 블록의 프레임에 사용된 LPC 파라미터들이 재사용되는, 방법.
오디오 주파수 신호 코더 또는 디코더에서 오디오 주파수 신호를 리샘플링하기 위한 장치에 있어서:
신호 블록에 대해, 선정된 리샘플링 지연의 함수로서 정의되는 미래 신호 샘플들의 수를 결정하는 적응 선형 예측 모듈;
적어도 현재 신호 블록의 샘플들 및 결정된 미래 신호 샘플들로부터 리샘플링 서포트 벡터를 구성하는 모듈; 및
상기 리샘플링 서포트 벡터의 샘플들에 적용되는 리샘플링 필터를 포함하고,
상기 장치는:
2개의 코딩 모드들 사이에 스위칭하고;
상기 스위칭으로 인해 상기 현재 신호 블록을 리샘플링하도록 구성되는, 오디오 주파수 신호를 리샘플링하기 위한 장치.