KR20010052857A

KR20010052857A - 패킷 손실 또는 프레임 삭제 은폐를 실행하는 방법 및 장치

Info

Publication number: KR20010052857A
Application number: KR1020007014193A
Authority: KR
Inventors: 캐필로우데이빗에이.
Original assignee: 엘리 웨이스 , 알 비 레비; 에이티 앤드 티 코포레이션
Priority date: 1999-04-19
Filing date: 2000-04-19
Publication date: 2001-06-25
Also published as: JP2002542519A; KR100633720B1; DE60023237T2; EP1086452B1; JP2015180972A; JP4967054B2; DE60023237D1; CA2335008C; EP1088303A1; JP2002542520A; WO2000063883A1; JP5426735B2; KR100615344B1; JP4966452B2; KR100745387B1; CA2335001C; JP2002542517A; JP5341857B2; JP5834116B2; CA2335005C

Abstract

본 발명은 전용 또는 표준 FEC 처리를 갖지 않는 음성 코더(speed coder)에서 패킷(packet) 손실 또는 프레임 삭제 은폐(Frame Erasure Concealment, FEC)를 실행하기 위한 방법 및 장치에 관한 것이다. 디코더를 갖춘 수신기는 인코더로부터 전송된 압축 음성 정보의 부호화 프레임을 수신한다. 수신기에 있는 손실 프레임 검출기는 부호화 프레임이 전송시 손실되거나 변형되었나, 또는 삭제되었나 여부를 결정한다. 부호화 프레임이 삭제되지 않았으면, 부호화 프레임은 디코더에 의해 복호화되고 임시 메모리는 디코더의 출력으로 업데이트된다. 소정의 지연 주기가 적용되어 오디오 프레임이 출력된다. 부호화 프레임이 삭제된 것으로 손실 프레임 검출기가 결정하면, FEC 모듈은 신호에 프레임 은폐 처리를 적용한다. FEC 처리는 삭제된 프레임에 대해 자연스럽게 들리는 합성 음성을 만든다.

Description

패킷 손실 또는 프레임 삭제 은폐를 실행하는 방법 및 장치{Method and apparatus for performing packet loss or frame erasure concealment}

프레임 삭제 은폐(FEC) 알고리즘은 입력 음성 신호가 전송기에서 부호화 및 패킷화되고 네트워크(임의의 종류의)를 통해 전달되어, 패킷을 복호화하고 음성 출력을 재생하는 수신기에서 수신되는 음성 통신 시스템에서 전송 손실을 감춘다. G.723.1, G.728, 및 G.729와 같이, 많은 표준 CELP-근거의 음성 코더는 표준으로 제안되거나 내장된 FEC 알고리즘을 갖는다.

FEC의 목적은 수신된 비트-스트림(bit-stream)에서 손실된 데이터를 커버하도록 합성 음성 신호를 발생하는 것이다. 이상적으로, 합성 신호는 손실 신호와 똑같은 음질 및 스펙트럼 특성을 가지므로, 자연스럽지 않은 인위 구조를 생성하지 않는다. 음성 신호가 때로 부분적으로 정적이므로, 손실된 세그먼트(segment)에 적절한 근사치를 발생하는데 신호의 과거 내력을 사용하는 것이 가능하다. 삭제가 그렇게 길지 않고, 신호가 신속하게 변하고 있는 영역에 삭제가 위치하지 않으면, 삭제는 은폐 이후에 알아들을 수 없다.

이전 시스템은 예를 들어 D.J. Goodman의 패킷 음성 통신에서 손실 음성 세그먼트를 회복하기 위한 파형 대치 기술(Waveform Substitution Techniques for Recovering Missing Speech Segments in Packet Voice Communications), Vol. 34, No. 6, IEEE Trans. on Acoustics, Speech, and Signal Processing, 1440-48(1996년 12월) 및 O.J. Wasem의 PCM 패킷 통신 품+질에 대한 파형 대치 효과(The Effect of Waveform Substitution on the Quality of PCM Packet Communications), Vol. 36, No. 3, IEEE Transactions on Acoustics, Speech, and Signal Processing, 342-48(1988년 3월)과 같이, 프레임 삭제를 은폐하는데 피치(pitch) 파형 복제 기술을 사용하였다.

표준에 근거한(그리고 표준에 근거하지 않은) 음성 코딩 시스템들 중 어떤 디코더들은 상태 정보를 유지한다. 즉, 미래에 디코딩 동작에 사용되는 어떤 신호들의 값들을 저장하는 메모리를 포함한다. 자체적으로 구성된 FEC 기술을 포함하는 상기의 코딩 시스템들에 대해, 상태 정보는 FEC 기술이 손실 패킷에 대한 보상에 적용될 때 적절하게 조정된다.

본 비임시 출원은 여기서 참고로 포함되고 1999년 4월 19일 출원된 미국 임시 출원 60/130,016의 이점을 주장한다. 또한, 다음의 문서는 여기서 참고로 포함된다: ITU-T Recommendation G.711 - Appendix 1, "G.711에서 패킷 손실 은폐를 위한 고질의 저복잡성 알고리즘(A high quality low complexity algorithm for packet loss concealment with G.711)"(9/99) 및 전기통신에 대한 미국 국제 표준 - ITU-T Recommendation G.711과 사용되는 패킷 손실 은폐(T1.521-1999).

본 발명은 패킷(packet) 손실 또는 프레임 삭제 은폐(Frame Erasure Concealment; FEC)를 실행하기 위한 기술에 관한 것이다.

도 1은 모범적인 오디오 전송 시스템을 도시하는 도면.

도 2는 G.711 코더 및 FEC 모듈을 갖춘 모범적인 오디오 전송 시스템을 도시하는 도면.

도 3은 FEC 기술을 사용한 출력 오디오 신호를 도시하는 도면.

도 4는 삭제의 종료시 오버랩-가산(overlap-add; OLA) 동작을 설명하는 도면.

도 5는 G.711 코더를 사용하여 FEC를 실행하는 모범적인 처리의 흐름도.

도 6은 내력 버퍼(history buffer)의 업데이트 처리를 도시하는 그래프.

도 7은 제 1 프레임의 신호를 은폐하는 모범적인 처리의 흐름도.

도 8은 자기상관관계(auto-correlation)로부터 피치(pitch) 평가를 도시하는 도면.

도 9는 미세한(fine) 피차 평가 대 대략적인(coarse) 피치 평가를 도시하는 도면.

도 10은 피치 및 최종 1/4(lastquarter) 버퍼에서의 신호를 도시하는 도면.

도 11은 단일-주기 피치 버퍼를 사용한 합성 신호 발생을 도시하는 도면.

도 12는 제2 또는 최종 삭제 프레임의 신호를 은폐하는 모범적인 처리의 흐름도.

도 13은 제2 삭제 프레임에 이어지는 합성 신호를 도시하는 도면.

도 14는 2-주기 피치 버퍼를 사용한 합성 신호 발생을 도시하는 도면.

도 15는 제2 삭제 프레임의 시작에서 OLA를 도시하는 도면.

도 16은 삭제 이후에 제1 프레임을 처리하는 모범적인 방법의 흐름도.

도 17은 3-주기 피치 버퍼를 사용한 합성 신호 발생을 도시하는 도면.

도 18은 다른 음성 코더로 FEC 기술을 사용하는 것을 도시하는 블록도.

본 발명은 음성 코딩 시스템의 디코더에 의해 발생된 음성에서 손실된 음성 정보의 영향을 은폐하기 위한 처리에 관한 것이다. 특히 본 발명은 이용가능하지 않은 패킷들(예를 들어, 프레임 삭제로 인해 음성 정보를 잃어버림)을 은폐하기 위해 합성된 음성이 수신된 음성 정보로부터 다음으로 디코드된 음성과 원활하게 조합되는 방법에 관한 것이다. 이 조합은 합성된 신호를 디코드된 신호와 섞는 오버랩-가산 기술의 사용을 통해 실행된다. 그러나, 종래의 기술과 유사하지 않은 오버랩-가산 윈도우의 엄밀한 성질은 길이를 삭제하는 기능이다. 그러므로, 예를 들어, 보다 긴 것을 삭제하기 위해, 보다 긴 오버랩-가산 윈도우가 사용될 것이다.

최근에는 POTS(Plain-Old-Telephony Service)를 지지하는 보장된 질의 서비스 없이 패킷(packet) 네트워크에서 G.711을 사용하는 것에 많은 관심이 있다. 이러한 네트워크에서 프레임 삭제(또는 패킷 손실)가 일어날 때, 은폐 기술이 필요로 되거나 호출의 질이 심각하게 저하된다. 고질의 저복잡성 프레임 삭제 은폐(Frame Erasure Concealment; FEC) 기술은 개발되어 있고, 이후에 상세히 설명된다.

FEC를 갖춘 오디오 시스템의 모범적인 블록도는 도 1에 도시된다. 도 1에서, 인코더(110)는 입력 오디오 프레임을 수신하고, 코드화된 비트-스트림(bit-stream)을 출력한다. 비트-스트림은 프레임이 손실되었나 여부를 결정하는 손실 프레임 검출기(115)에 의해 수신된다. 손실 프레임 검출기(115)에서 프레임이 손실된 것으로 결정되면, 손실 프레임 검출기(115)는 손실 프레임을 재구성하는데 FEC 알고리즘이나 처리를 적용하도록 FEC 모듈(130)에 신호를 전한다.

그래서, FEC 처리는 입력 신호가 전송기에서 부호화되어 패킷화되고, 네트워크를 통해 전달되고, 또한 프레임이 손실되었음을 결정하는 손신 프레임 검출기(115)에서 수신되는 오디오 시스템에서 전송 손실을 감춘다. 도 1에서는 손실 프레임 검출기(115)가 기대되는 프레임이 사용되기에 너무 늦게 도착되었나 또는 도착되지 않았나를 결정하는 방법을 갖는다고 가정한다. IP 네트워크에서, 이는 일반적으로 전송 프레임의 데이터에 시퀀스 번호나 시간스탬프(timestamp)을 부가함으로서 실시된다. 손실 프레임 검출기(115)는 도착 프레임의 시퀀스 번호를 프레임이 손실되지 않았다면 기대되는 시퀀스 번호와 비교한다. 손실 프레임 검출기(115)에서 기대될 때 프레임이 도착된 것으로 검출하면, 이는 디코더(120)에 의해 복호화되고 출력 프레임의 오디오가 출력 시스템에 주어진다. 프레임이 손실되면, FEC 모듈(130)은 오디오를 대신하는 합성 프레임을 발생함으로서 손실 오디오 프레임을 감추는 처리를 적용한다.

G.723.1, G.728, 및 G.729와 같이, 많은 표준 ITU-T CELP-근거의 음성 코더가 디코더에서 음성 재생을 모델화한다. 그래서, 디코더는 디코더에서 직접 FEC 처리를 집적하기에 충분한 상태 정보를 갖는다. 이러한 음성 코더는 그 표준의 일부로 지정된 FEC 알고리즘 또는 처리를 갖는다.

비교하면, G.711은 음성 재생을 모델화하지 않는 샘플-대-샘플 부호화 구조이다. 코더에는 FEC를 보조하는 상태 정보가 없다. 그 결과로, G.711의 FEC 처리는 코더와 무관하다.

G.711 코더와 사용되는 시스템의 모범적인 블록도는 도 2에 도시된다. 도 1에서와 같이, G.711 인코더(210)는 비트-스트림 데이터를 부호화하여 손실 프레임 검출기(215)에 전송한다. 다시, 손실 프레임 검출기(215)는 도착 프레임의 시퀀스 번호를 프레임이 손실되지 않았다면 기대되는 시퀀스의 번호와 비교한다. 프레임이 기대될 때 도착하면, 이는 디코더(220)에 의해 복호화되도록 전달되고, 이어서 내력 버퍼(history buffer)(240)로 출력되어 신호를 저장한다. 프레임이 손실되면, 손실 프레임 검출기(215)는 오디오를 대신하는 합성 프레임을 발생함으로서 손실 오디오 프레임을 감추는 처리를 적용하도록 FEC 모듈(230)에 알린다.

그러나, 손실 프레임을 감추기 위해, FEC 모듈(230)은 어느 신호가 손실 프레임에 있어야 하는가를 평가하도록 내력 버퍼(240)에 의해 제공되는 복호화 출력 신호의 과거 내력을 사용하는 G.711 FEC 처리를 적용한다. 부가하여, 삭제된 프레임과 삭제되지 않은 프레임 사이의 매끄러운 전이를 보장하도록, 지연 모듈(150)은 또한 소정의 시간 주기, 예를 들면 3.75 msec 만큼 시스템의 출력을 지연시킨다. 이러한 지연은 합성 삭제 신호가 삭제의 시작시 실제 출력 신호와 천천히 혼합되도록 허용한다.

FEC 모듈(230)과 내력 버퍼(240) 및 지연 모듈(250) 블록 각각 사이의 화살표는 저장된 내력이 합성 신호를 발생하기 위해 FEC 처리에서 사용됨을 의미한다. 부가하여, FEC 모듈(230)의 출력은 삭제 동안 내력 버퍼(240)를 업데이트하는데 사용된다. FEC 처리는 단지 G.711의 복호화 출력에만 의존하므로, 그 처리는 음성 코더가 주어지지 않을 때와 같이 작용하게 됨을 주목하여야 한다.

입력 신호가 FEC 모듈(230)에서 FEC 처리에 의해 처리되는 방법의 그래픽 예가 도 3에 도시된다.

도면에 도시된 상단 파형은 남성 발성자로부터 나온 음성 영역에서 20 msec 삭제가 일어날 때 시스템으로의 입력을 도시한다. 그 아래 파형에서는 FEC 처리가 갭(gap)에 합성 음성을 발생함으로서 손실 세그먼트를 은폐하였다. 비교를 위해, 삭제되지 않은 원래의 입력 신호가 또한 도시된다. 이상적인 시스템에서는 은폐된 음성 사운드가 원래 사운드와 똑같다. 도면으로부터 볼 수 있는 바와 같이, 합성 파형은 손실 세그먼트에서 원래 파형과 매우 흡사하다. 이후에는 "입력" 파형으로부터 "은폐" 파형이 발생되는 방법이 논의된다.

FEC 모듈(230)에 의해 사용되는 FEC 처리는 내력 버퍼(240)에 저장된 음성에 유사한 특성을 갖는 합성 음성을 발생함으로서 손실 프레임을 은폐한다. 기본적인 개념은 다음과 같다. 신호가 목소리이면, 신호가 반주기적이고 국부적으로 정적이라 가정한다. 피치를 평가하고 내력 버퍼(240)에서 최종 피치 주기를 수회 반복한다. 그러나, 삭제가 길거나 피치가 짧으면(주파수가 높으면), 똑같은 피치 주기를 너무 여러번 반복하는 것은 자연스러은 음성과 비교해 너무 조화적인(harmonic) 출력을 만들게 된다. 삑하는 소리 및 퉁하는 소리와 같이 들을 수 있는 조화적인 인위 구조를 방지하기 위해, 내력 버퍼(240)로부터 사용되는 피치 주기의 수는 삭제의 길이가 진행됨에 따라 증가된다. 짧은 삭제는 합성 신호를 발생하는데 내력 버퍼(240)로부터의 최종 또는 마지막 몇개의 피치 주기만을 사용한다. 긴 삭제는 또한 내력 버퍼(240)에서 더 뒤에 있는 피치 주기를 사용한다. 긴 삭제에서, 내력 버퍼(240)로부터의 피치 주기는 원래 음성에서 일어난 것과 똑같은 순서로 재생되지 않는다. 그러나, 테스트에서, 긴 삭제에 발생된 합성 음성 신호가 아직까지 자연스러운 사운드를 만드는 것으로 밝혀졌다.

삭제가 더 길면 길수록, 합성 신호가 실제 신호에서 멀어질 가능성이 더 높아진다. 특정한 종류의 사운드를 너무 오래 간직하여 발생되는 인위 구조를 방지하기 위해, 합성 신호는 삭제가 더 길이짐에 따라 감쇄된다. 기간 10 msec 이하의 삭제 동안에는 감쇄가 필요없다. 10 msec 이상의 삭제에서는 합성 신호가 추가 10 msec 당 20%의 비율로 감쇄된다. 60 msec를 넘어서, 합성 신호는 0(묵음)으로 설정된다. 이는 합성 신호가 원래 신호에 너무 비슷하지 않아 평균적으로 60 msec 이후에 손실 음성을 은폐하도록 계속 시도하는 것은 유리하기 보다 불리해지기 때문이다.

다른 소스로부터의 신호 사이에 전이기 이루어질 때마다. 전이가 불연속성, 클릭과 같은 가청음, 또는 부자연스러운 인위 구조를 출력 신호에 도입시키지 않는 것이 중요하다. 이러한 전이는 여러 위치에서 일어난다:

1. 합성 신호의 시작과 최종 양호한 프레임의 끝부분 사이의 경계에서 삭제의 시작시.

2. 합성 신호와 삭제 이후 처음 양호한 프레임내 신호의 시작 사이의 경계에서 삭제의 종료시.

3. 내력 버퍼(240)로부터 사용되는 피치 주기의 수가 신호 변화를 증가시키도록 변화될 때마다.

4. 내력 버퍼(240)의 반복 부분 사이의 경계에서.

매끄러운 전이를 보장하기 위해, 모든 신호 경계에서는 오버랩 가산(OLA, Overlap Add)가 실행된다. OLA는 한 엣지에서 오버랩되는 두 신호를 매끄럽게 조합하는 방법이다. 신호가 오버랩되는 영역에서, 신호는 윈도우(window)에 의해 가중화되고, 함께 부가(혼합)된다. 윈도우는 특정한 샘플에서 가중치의 합이 1이 되도록 설계된다. 즉, 신호의 전체적인 합에는 이득이나 감쇄가 적용되지 않는다. 부가하여, 윈도우는 신호가 좌측에서 가중치 1로 시작되어 점차 0으로 페이드(fade)되고, 우측에서 가중치 0으로 시작되어 점차 가중치 1로 페이드되도록 설계된다. 그래서, 오버랩 윈도우의 좌측 영역에서는 좌측 신호만이 주어지고, 오버랩 윈도우의 우측 영역에서는 우측 신호만이 주어진다. 오버랩 영역에서, 신호는 점차적으로 좌측 신호에서 우측 신호로 전이된다. FEC 처리에서, 삼각형 윈도우는 가변 길이 윈도우를 계산하는 복잡성을 낮게 유지하는데 사용되지만, 해닝 윈도우(Hanning window)와 같은 다른 윈도우가 대신에 사용될 수 있다.

도 4는 삭제가 끝난 이후 시작되는 실제 음성과 OLA 처리된 20-msec 삭제의 종료시 합성 음성을 도시한다. 한 예에서, OLA 가중화 윈도우는 5.75 msec의 삼각형 윈도우이다. 상단 신호는 삭제하는 동안 발생된 합성 신호이고, 그 아래의 오버랩 신호는 삭제 이후의 실제 음성이다. OLA 가중화 윈도우는 신호 아래 도시된다. 여기서는 삭제 동안 실제 신호에서의 피치 변화로 인해, 합성 신호와 실제 신호의 피크가 정합되지 않고, OLA 없이 신호를 조합하도록 시도하는 경우 도입되는 불연속성은 "OLA 없이 조합"이라 칭하여진 그래프에 도시된다. "OLA 없이 조합"된 그래프는 OLA 윈도우의 시작까지 합성 신호를 복사하고 나머지는 실제 신호를 복사함으로서 생성되었다. OLA 동작의 결과는 경계에서의 불연속성이 얼마나 매끄러워졌는가를 도시한다.

상기 논의는 설명된 처리가 정적 음성과 작용되는 것에 관심을 두지만, 음성이 신속하게 변하거나 목소리가 아니면, 음성은 주기적인 구조를 갖지 않을 수 있다. 그러나, 이러한 신호는 이후 설명될 바와 같이, 똑같은 방법으로 처리된다.

먼저, 본 실시예에서 피치 측정시 허가되는 가장 작은 피치는 5 msec이고, 이는 200 Hz의 주파수에 대응한다. 일부 고주파수 여성 및 어린이 발성자가 200 Hz 이상의 기본 주파수를 갖는 것으로 알려져 있으므로, 윈도우가 비교적 크게 유지되도록 이를 200 Hz로 제한한다. 이 방법에서는 10 msec 삭제 프레임내에서 선택된 피치 주기가 최대 2회 반복된다. 고주파수 발성자인 경우에는 피치 평가기가 실제 피치 주기의 배수를 복귀시키므로 이것이 실제로 출력을 저하시키지 않는다. 또한, 음성을 너무 자주 반복시키지 않음으로서, 처리는 비주기적 음성 이외의 합성 주기적 음성을 생성하지 않는다. 두번째로, 삭제가 더 길어짐에 따라 합성 주기를 발생하는데 사용되는 피치 주기의 수가 증가되므로, 긴 삭제 동안 주기성이 주어지지 않는 신호에는 충분한 분산이 부가된다.

음성의 시간 스케일링(scaling)을 위한 WSOLA(Waveform Similarity Overlap Add) 처리는 또한 똑같은 처리가 주기적 및 비주기적 음성 신호를 모두 시간 스케일 조장하는데 사용될 수 있도록 큰 고정 크기의 OLA 윈도우를 사용함을 주목하여야 한다.

상기에는 FEC 처리의 개요가 주어졌고, 이후에는 각 단계가 상세히 논의된다.

이 논의를 위해, 예를 들면, 프레임은 10 msec의 음성을 포함하고, 샘플링 비율은 8 kHz인 것으로 가정한다. 그래서, 삭제는 80개 샘플(8000 * .010 = 80)의 증가로 일어날 수 있다. FEC 처리는 다른 프레임 크기 및 샘플링 비율에 쉽게 적용될 수 있음을 주목하여야 한다. 샘플링 비율을 변화시키기 위해서는 단지 msec로 주어진 시간 주기를 .001로 곱하고, 그 샘플링 비율로 적절한 버퍼 크기를 정한다. 예를 들면, 내력 버퍼(240)는 음성의 마지막 48.75 msec를 포함한다. 8 kHz에서, 이는 버퍼가(48.75 * .001 * 800) = 390 샘플의 길이임을 의미한다. 16 kHz 샘플링에서는 이것이 2배, 즉 780 샘플이 된다.

몇가지 버퍼 크기는 처리에서 만날 것으로 기대되는 최저 주파수를 근거로 한다. 예를 들면, 설명되는 처리에서는 8 kHz 샘플링에서 보게 될 최저 주파수가 66 2/3 Hz인 것으로 가정한다. 이는 15 msec(1/(66 2/3) = .015)의 최대 피치 주기를 만든다. 내력 버퍼(240)의 길이는 최저 주파수 주기의 3.25 배이다. 그래서, 내력 버퍼(240)는 15 * 3.25 = 48.75 msec이다. 16 kHz 샘플링에서 입력 필터가 50 Hz(20 msec 주기) 만큼 낮은 주파수를 허용하면, 내력 버퍼(240)는 20 * 3.25 = 65 msec로 연장되어야 한다.

프레임 크기도 또한 변화될 수 있다; 10 msec는 G.729와 같이 몇가지 표준 음성 코더에 의해 사용되는 프레임 크기이므로 디폴트(default)로 선택되었고, 또한 몇가지 무선 시스템에서도 사용된다. 프레임 크기를 변화시키는 것은 직접적이다. 원하는 프레임 크기가 10 msec의 배수이면, 처리는 변화지 않고 유지된다. 단순히, 삭제 처리의 프레임 크기를 10 msec로 남겨두고, 이를 프레임 당 여러 번 호출한다. 원하는 패킷 프레임 크기가 5 msec와 같이 10 msec의 약수이면, FEC 처리는 기본적으로 변하지 않고 유지된다. 그러나, 피치 버퍼에서 주기의 수가 증가되는 비율은 10 msec내 프레임의 수를 근거로 수정되어야 한다. 12 msec와 같이, 10 msec의 배수 또는 약수가 아닌 프레임 크기도 또한 수용될 수 있다. FEC 처리는 합리적으로 피치 버퍼에서 사용되는 피치 주기의 수에 대한 증가 비율을 변화시키는 것을 용인하고 있다. 10 msec 마다 1회 이외에 12 msec 마다 1회로 주기의 수를 증가시키는 것은 그다지 차이가 없다.

도 5는 도 2의 실시예에 의해 실행되는 FEC 처리의 블록도이다. 주요 동작 중 일부를 실시하는데 필요한 서브단계는 도 7, 도 12, 및 도 16에서 더 상세히 설명되고, 이후 논의된다. 다음 논의에서는 몇가지 변수가 값 및 버퍼를 유지하는데 사용된다. 이들 변수는 다음과 같이 요약된다:

도 5의 흐름도에 도시된 바와 같이, 처리는 단계(505)에서 시작되어, 다음 프레임이 손실 프레임 검출기(215)에 의해 수신된다. 단계(510)에서, 손실 프레임 검출기(215)는 프레임이 삭제되는가 여부를 결정한다. 프레임이 삭제되지 않으면, 단계(512)에서, 프레임은 디코더(220)에 의해 복호화된다. 이어서, 단계(515)에서, 복호화된 프레임은 FEC 모듈(230)에 의해 사용되도록 내력 버퍼(240)에 저장된다.

내력 버퍼 업데이트 단계에서, 이 버퍼(240)의 길이는 기대되는 최장 피치 주기의 길이의 3.25배이다. 8 kHz 샘플링에서, 최장 피치 주기는 15 msec 또는 120 샘플이므로, 내력 버퍼(240)의 길이는 48.75 msec 또는 390 샘플이다. 그러므로, 각 프레임이 디코더(220)에 의해 복호화된 이후에, 내력 버퍼(240)는 최근 음성 내력을 포함하도록 업데이트된다. 내력 버퍼(240)의 업데이트는 도 6에 도시된다. 이 도면에 도시된 바와 같이, 내력 버퍼(240)는 최근 음성 샘플을 우측에 포함하고 가장 오래된 음성 샘플을 좌측에 포함한다. 가장 최근 프레임의 복호화 음성이 수신되면, 이는 우측에서 버퍼(240)로 쉬프트되고, 가장 오래된 음성에 대응하는 샘플은 좌측에서 버퍼를 벗어나 쉬프트된다(도 6b를 참고).

부가하여, 단계(520)에서는 지연 모듈(250)이 최장 피치 주기의 1/4 만큼 음성 출력을 지연시킨다. 8 kHz 샘플링에서, 이는 120 * 1/4 = 30 샘플 또는 3.75 msec이다. 이 지연은 FEC 모듈(230)에 의해 생성된 합성 신호와 삭제 이전의 실제 신호 사이의 매끄러운 전이를 보장하도록 삭제의 시작에서 FEC 모듈(230)이 1/4 파장 OLA를 실행하도록 허용한다. 출력은 프레임을 복호화한 이후 다음 프레임이 삭제되는가 여부를 알지 못하기 때문에 지연되어야 한다.

단계(525)에서는 오디오가 출력되고, 단계(530)에서는 프레임이 더 있는가를 결정한다. 프레임이 더 이상 없으면, 처리는 종료된다. 프레임이 더 있으면, 처리는 다음 프레임을 구하도록 단계(505)로 되돌아간다.

그러나, 단계(510)에서, 수신된 프레임이 삭제되는 것으로 손실 프레임 검출기(215)가 결정하면, 처리는 FEC 모듈(230)이 제1 삭제 프레임을 은폐시키는 단계(535)로 진행되고, 그 처리는 이후 도 7에서 상세히 설명된다. 제1 프레임이 은폐된 이후에, 단계(540)에서는 손실 프레임 검출기(215)가 다음 프레임을 구한다. 단계(545)에서, 손실 프레임 검출기(215)는 다음 프레임이 삭제되는가 여부를 결정한다. 다음 프레임이 삭제되지 않으면, 단계(555)에서, FEC 모듈(230)은 삭제 이후 제1 프레임을 처리하고, 그 처리는 이후 도 16에서 상세히 설명된다. 제1 프레임이 처리된 이후에, 처리는 단계(530)로 복귀되어, 손실 프레임 검출기(215)는 프레임이 더 있는가 여부를 결정한다.

단계(545)에서, 다음 또는 이어지는 프레임이 삭제되는 것으로 손실 프레임 검출기(215)가 결정하면, FEC 모듈(230)은 도 12에서 상세히 설명되는 처리에 따라 제2 및 이어지는 프레임을 은폐한다.

도 7은 처음 10 msec의 삭제를 은폐하도록 취해지는 단계를 설명한다. 이후에는 그 단계가 상세히 조사된다.

도 7에서 볼 수 있는 바와 같이, 단계(705)에서, 삭제의 시작시 제1 동작은 피치를 평가하는 것이다. 이를 위해, 표준화된 자기-상관관계(auto-correlation)가 40 내지 120 샘플의 탭(tap) 지연에서 20 msec(160 샘플) 윈도우로 내력 버퍼(240) 신호에 실행된다. 8 kHz 샘플링에서는 이러한 지연이 5 내지 15 msec의 피치 주기 또는 200 내지 66 2/3 Hz의 기본 주파수에 대응한다. 자기-상관관계의 주기에서 탭은 피치 평가 P이다. H가 이 내력을 포함하고, -1(삭제 이전의 우측 샘플)에서 -390(삭제가 시작되기 이전에 390개 샘플의 샘플)으로 인덱스된다고 가정하면, 탭 j에 대한 자기 상관관계는 수학적으로 다음과 같이 표시될 수 있다:

그래서, 자기 상관관계의 피크 또는 피치 평가는 다음과 같이 표시될 수 있다:

상술된 바와 같이, 5 msec 또는 40 샘플로 허용된 최저 피치 주기는 단일 피치 주기가 10 msec 삭제 프레임에서 최대 2회 반복되기에 충분하게 크다. 이는 목소리가 아닌 음성에서 인위 구조를 방지하고, 또는 높은 피치의 발성자에서 부자연스러운 조화적인 인위 구조를 방지한다.

도 3의 삭제에 대해 표준화된 자기-상관관계를 계산하는 그래프의 예가 도 8에 도시된다.

"내력(history)"이라 칭하여진 파형은 삭제 직전에 내력 버퍼(240)의 내용이다. 점선 수평선은 신호의 참고 부분, 즉 삭제 직전의 20 msec 음성인 내력 버퍼(240) H[-1]:H[-160]을 도시한다. 직선 수평선은 40 샘플(상단선, 5 msec 주기, 200 Hz 주파수) 내지 120 샘플(하단선, 15 msec 주기, 66.66 Hz 주파수)의 탭에서 지연된 20 msec 윈도우이다. 상관관계의 출력은 또한 윈도우의 위치와 정렬되어 그려진다. 상관관계에서 점선 수직선은 곡선의 피크로, 평가된 피치를 나타낸다. 이 선은 삭제의 시작으로부터 한 주기 뒤이다. 이 경우, P는 56 샘플로, 7 msec의 피치 주기 및 142.9 Hz의 기본 주파수에 대응한다.

자기-상관관계의 복잡성을 낮추기 위해, 2가지 특수한 과정이 사용된다. 이들은 출력을 현저하게 변화시키지 않지만, 처리의 전체적인 운행 시간 복잡성에 큰 영향을 갖는다. FEC 처리에서 대부분의 복잡성은 자기-상관관계에 있다.

먼저, 모든 탭에서 상관관계를 계산하기 보다는 추려진 신호에 대략적인 피크의 평가가 먼저 결정되고, 이어서 미세한(fine) 탐색이 대략적인 피크 주변에서 실행된다. 대략적인 평가를 위해, 2:1로 간추려진 신호에 작용하고 모든 다른 탭 마다 조사만을 하는 새로운 함수로 상기의 Autocor 함수를 수정한다:

대략적인 평가를 사용하면, 범위 P_rough- 1 ≤ j ≤ P_rough+ 1에서만 원래의 탐색 처리가 반복된다. j가 40 내지 120 샘플 사이의 원래 범위에 머물도록 확인하는데 주위한다. 샘플링 비율이 증가되면, 줄이는 비율도 증가되어, 처리의 전체적인 복잡성이 대략 일정하게 유지됨을 주목한다. 44.1 kHz로 샘플링된 음성에 8:1로 간추려진 계수를 가지고 테스트가 실행되어 양호한 결과를 얻었다. 도 9는 Autocor_rough의 그래프를 Autocor와 비교한다. 도면에서 볼 수 있는 바와 같이, Autocor_rough는 Autocor에 양호하게 근접하고, 복잡성은 8 kHz 샘플링에서 거의 4의 계수 만큼 - 모든 다른 탭만이 조사되기 때문에 2의 계수, 또한 소정의 탭에서 모든 다른 샘플만이 조사되기 때문에 2의 계수 만큼 - 감소된다.

제2 과정은 Autocor 및 Autocor_rough에서 에너지 계산의 복잡성을 낮추도록 실행된다. 각 단계에서 전체적인 합을 계산하기 보다는 운행되는 에너지의 합이 유지된다. 즉:

그래서, 제1 에너지 항이 계산된 이후에 FEC 처리의 각 단계에서는 에너지 항을 업데이트하는데 단지 2회 곱산 및 2회 합산만이 필요하다.

이제는 피치 평가 P를 갖고, 파형은 삭제 동안 발생되기 시작한다. 다시 도 7의 흐름도를 참고로, 단계(710)에서, 최근 3.25 파장(3.25 * P 샘플)은 내력 버퍼(240) H에서 피치 버퍼 B로 복사된다. 피치 버퍼의 내용은 최근 1/4 파장을 제외하고, 삭제 기간 동안 일정하게 유지된다. 한편, 내력 버퍼(240)는 삭제 동안 합성 음성으로 계속하여 업데이트된다.

단계(715)에서, 내력 버퍼(240)로부터의 최근 1/4 파장(.25 * P 샘플)은 최종 1/4 버퍼(last quater buffer) L에 저장된다. 이 1/4 파장은 수회의 OLA 동작 동안 필요하다. 편의상, 내력 버퍼(240)에서와 같이, B 및 L 버퍼를 억세스하는데는 똑같은 음의 인덱스 구조가 사용된다. B[-1]은 삭제 도착 이전의 최종 샘플이고, B[-2]는 그 이전의 샘플이다. 합성 음성은 0 이상으로 인데스 처리되는 합성 버퍼 S에 배치된다. 그래서, S[0]은 제1 합성 샘플이고, S[1]은 제2 합성 샘플이다.

도 3의 삭제 동안 피치 버퍼 B 및 최종 1/4 버퍼 L의 내용은 도 10에 도시된다. 이전 섹션에서 주기 P는 56 샘플로 계산되었다. 그래서, 피치 버퍼는 3.25 * 56 = 182 샘플의 길이다. 최종 1/4 버퍼는 .25*56=14 샘플 길이이다. 도면에서, 수직선은 삭제의 시작으로부터 뒤로 매 P 샘플 마다 배치된다.

삭제의 처음 10 msec 동안에는 피치 버퍼로부터 최종 피치 주기만이 사용되므로, 단계(720)에서는 U = 1이다. 음성 신호가 진짜 주기적이고 피치 평가가 단지 평가가 아니라 정확한 진짜 값이면, 파형을 피치 버퍼 B에서 합성 버퍼 S로 직접 복사할 수 있고, 합성 신호는 매끄럽고 연속적이 된다. 즉, S[0] = B[-P]이고, S[1] = B[-P+1]이다. 피치가 10 msec 프레임 보다 짧으면, 즉 P ＜ 80이면, 단일 피치 주기는 삭제된 프레임에서 1회 이상 반복된다. 본 예에서는 P = 56이므로, 복사가 S[56]까지 이른다. 샘플 56 부근에서 샘플 대 샘플 복사 시퀀스는: S[54] = B[-2], S[55] = B[-1], S[56] = B[-56], S[57] = B[-55] 등.

실제로, 피치 평가는 정확하지 않고 신호는 진짜 주기적이지 않을 수 있다. (a) 실제 신호와 합성 신호 사이의 경계 및(b) 주기가 반복되는 경계에서 불연속성을 방지하기 위해서는 OLA가 요구된다. 두 경계에서는 모두 실제 음성의 종료 B[-1]로부터 한 주기 이전의 음성 B[-P]까지 매끄러운 전이를 원한다. 그러므로, 단계(725)에서, 이는 B[-P] 이전의 1/4 파장을 내력 버퍼(240)의 최종 1/4 파장, 또는 L의 내용과 오버랩 가산(OLA)함으로서 이루어질 수 있다. 그래프에서, 이는 피치 버퍼에서 최종 1 1/4 파장을 취하여, 이를 한 파장 우측으로 쉬프트하고, 1/4 파장 오버랩 영역에서 OLA를 실행하는 것과 동일하다. 단계(730)에서, OLA의 결과는 내력 버퍼(240)에서 최종 1/4 파장으로 복사된다. 추가 주기의 합성 파형을 발생하기 위해, 피치 버퍼는 추가 파장 만큼 쉬프트되고, 추기 OLA가 실행된다.

도 11은 처음 2회 반복되는 동안의 OLA 동작을 도시한다. 이 도면에서, 모든 파형과 교차하는 수직선은 삭제의 시작부이다. 짧은 수직선은 피치 마커(marker)로, 삭제 경계로부터 P 샘플 위치에 놓인다. 파형 "피치 버퍼"와 "P 만큼 우측으로 쉬프트" 사이의 오버랩 영역은 "P 만큼 우측으로 쉬프트"와 "2P 만큼 우측으로 쉬프트" 사이의 오버랩 영역과 정확하게 똑같은 샘플에 대응한다. 그러므로, 1/4 파장 OLA만이 한번 계산될 필요가 있다.

단계(735)에서, OLA를 먼저 계산하고 피치 버퍼의 최종 1/4 파장에 그 결과를 배치함으로서, 진짜 주기적 신호에 대해 합성 파형을 발생하는 처리가 사용될 수 있다. 샘플 B[-P]에서 시작되어, 단순히 피치 버퍼로부터의 샘플을 합성 버퍼로 복사하고, 피치 버퍼의 끝부분에 이르면, 피치 버퍼 포인터를 다시 피치 주기의 시작으로 보낸다. 이 기술을 사용해, 임의의 기간의 합성 파형이 발생될 수 있다. 도 11의 "OLA로 조합" 파형에서 삭제 시작의 좌측까지의 피치 주기는 피치 버퍼의 업데이트 내용에 대응한다.

"OLA로 조합" 파형은 단일 주기의 피치 버퍼가 불연속성 없이 주기 P인 주기적 신호를 발생함을 설명한다. 내력 버퍼(240)에서 단일 파장으로부터 발생되는 이 합성 음성은 처음 10 msec의 삭제를 은폐하는데 사용된다. OLA의 효과는 "피치 버퍼" 및 "OLA로 조합" 파형에서 삭제가 시작되기 직전의 1/4 파장을 비교함으로서 관찰될 수 있다. 단계(730)에서, "OLA로 조합" 파형의 이러한 1/4 파장은 내력 버퍼(240)에서 최종 1/4 파장을 대신한다.

삼각형 윈도우의 OLA 동작은 또한 수학적으로 표시될 수 있다. 먼저, 변수 P4는 샘플에서 피치 주기의 1/4인 것으로 정의된다. 그래서, P4 = P ＞＞ 2이다. 본 예에서, P는 56이므로, P4는 14이다. OLA 동작은 범위 1 ≤ i ≤ P4에서 다음과 같이 표시될 수 있다:

OLA의 결과는 피치 버퍼 및 내력 버퍼(240)에서 최종 1/4 파장을 모두 대신한다. 내력 버퍼(240)를 대신함으로서, 내력 버퍼(240)는 또한 3.75 msec 만큼 출력을 지연시키므로, 내력 버퍼(240)가 업데이트될 때, 1/4 파장 OLA 전이가 출력된다. 처음 10 msec의 삭제 동안 출력 파형은 도 3의 "은폐" 파형에서 처음 두 점선 사이의 영역에서 관찰될 수 있다.

단계(740)에서, 프레임에 대한 합성 음성을 발생하는 것이 종료되면, 현재 오프셋은 피치 버퍼에 변수 O로 저장된다. 이 오프셋은 다음 프레임의 실제 또는 합성 신호의 OLA를 위해 합성 파형이 다음 프레임으로 계속되게 허용한다. O는 또한 삭제가 10 msec를 넘어 확장되면 신호 위상이 유지되게 허용한다. 80 샘플 프레임 및 P = 56인 본 예에서, 삭제의 시작시 오프셋은 -56이다. 56 샘플 이후에, 이는 다시 -56이 된다. 추가 80 - 56 = 24 샘플 이후에, 오프셋은 -56 + 24 = -32이므로, O는 제1 프레임의 종료시 -32이다.

단계(745)에서, 합성 버퍼가 S[0] 내지 S[79]로 채워진 이후에, S는 내력 버퍼(240)를 업데이트하는데 사용된다. 단계(750)에서, 내력 버퍼(240)는 또한 3.75 msec 지연을 부가한다. 내력 버퍼(240)의 처리는 삭제 프레임 및 비삭제 프레임 동안 똑같다. 이 지점에서, 도 5의 단계(535)에 대한 제1 프레임 은폐 동작은 종료되고, 처리는 도 5에서 단계(540)로 진행된다.

도 5의 단계(550)에 도시된 바와 같이, FEC 모듈(230)이 10 msec를 넘어서 나중 프레임을 은폐하도록 동작하는 방법의 상세한 내용은 도 12에 상세히 도시된다. 제2 및 나중 삭제 프레임 동안 합성 신호를 발생하는데 사용되는 기술은 비록 신호에 일부 변화를 가하는데 일부 추가 작업이 행해질 필요가 있더라도 제1 삭제 프레임과 아주 유사하다.

단계(1205)에서, 삭제 코드는 제2 또는 제3 프레임이 삭제되고 있는가 여부를 결정한다. 제2 및 제3 삭제 프레임 동안, 피치 버퍼로부터 사용되는 피치 주기의 수는 증가된다. 이는 신호에서 더 큰 변화를 만들고, 합성 출력이 너무 조화적으로(harmonic) 발성되는 것을 방지한다. 다른 모든 전이와 같이, OLA는 피치 주기의 수가 증가될 때 경계를 평활화할 필요가 있다. 제3 프레임(30 msec의 삭제)을 넘으면, 피치 버퍼는 3 파장의 길이로 일정하게 유지된다. 이 3 파장은 삭제 기간 동안 모두 합성 음성을 발생한다. 그래서, 도 12에서 좌측에 있는 브랜치는 단지 제2 및 제3 삭제 프레임에만 취해진다.

다음 단계(1210)에서는 피치 버퍼에서 사용되는 파장의 수가 증가된다. 즉, U = U+1로 설정된다.

제2 또는 제3 삭제 프레임이 시작될 때, 단계(1215)에서는 이전 프레임으로부터의 합성 신호가 추가 1/4 파장 동안 현재 프레임의 시작까지 계속된다. 예를 들면, 제2 프레임이 시작될 때, 본 실시예의 합성 신호는 도 13에 도시된 바와 같이 나타난다. 이 1/4 파장은 피치 버퍼로부터 더 오래된 파장을 사용하는 새로운 합성 신호와 오버랩 가산된다.

제2 삭제 프레임이 시작될 때, 파장의 수는 2로 증가되어, U = 2가 된다. 1 파장 피치 버퍼와 같이, OLA는 2-파장 피치 버퍼가 그 자체를 반복하는 경계에서 실행된다. 피치 버퍼 B의 끝에서 뒤로 U 파장에서 끝나는 1/4 파장인 이 시간은 단계(1220)에서 최종 1/4 버퍼 L의 내용과 오버랩 부가된다. 이 OLA 연산자는 범위 1 ≤ i ≤ P4에서 다음과 같이 표시될 수 있다:

이전 버전의 식과 다른 점은 단지 우변에서 B를 인덱스 처리하는데 사용되는 상수 P가 PU로 변환된 것이다. 2-파장 피치 버퍼의 생성은 도 14에 그래프로 도시된다.

도 11에서와 같이, 삭제 시작의 우측에 있는 "OLA로 조합" 파형의 영역은 2-주기 피치 버퍼의 업데이트 내용이다. 짧은 수직선은 피치 주기를 나타낸다. "OLA로 조합" 파형에서 연속적인 피크의 면밀한 조사는 피크가 삭제 시작 이전에 뒤로 1 및 2 파장을 피크에서 교체하는 것으로 나타낸다.

제2 프레임에서 합성 출력이 시작될 때, 새로운 피치 버퍼로부터의 신호를 도 13에서 발생된 1/4 파장과 병합시켜야 한다. 새로운 피치 버퍼로부터의 합성 신호는 사용되는 버퍼 중 가장 오래된 부분으로부터 전해지는 것이 바람직하다. 그러나, 새로운 부분은 유사한 부분의 파형으로부터 주어짐을 주위하여야 한다. 그렇지 않으면, 이들을 혼합할 때, 들을 수 있는 인위 구조가 생성된다. 다른 말로 하면, 정확한 위상을 유지하기를 원한다. 그렇지 않으면, 이들을 혼합할 때, 파형이 파과적으로 간섭될 수 있다.

이는 단계(1225)(도 12)에서 피치 버퍼의 사용 부분에서 가장 오래된 파장을 나타낼 때까지 이전 프레임의 종료시 저장된 오프셋 O에서 주기 P를 감산함으로서 이루어진다.

예를 들면, 제1 삭제 프레임에서, 피치 버퍼 B에 대해 유효한 인덱스는 -1 내지 -P이었다. 그래서, 제1 삭제 프레임으로부터 저장된 O는 이 범위내에 있어야 한다. 제2 삭제 프레임에서, 유효 범위는 -1 내지 -2P이다. 그래서, O가 범위 -2P ≤ O ＜ -P에 있을 때까지 O로부터 P를 감산한다. 또는, 보다 일반적으로, 범위 -UP ≤ O ＜ -(U-1)P에 있을 때까지 O로부터 P를 감산한다. 본 실시예에서는 제1 삭제 프레임의 종료시 P = 56이고 O = -32이다. -32에서 56을 감산하면, -88이 산출된다. 그래서, 제2 프레임에서 제1 합성 샘플은 B[-88]로부터 주어지고, 다음은 B[-87]로부터 주어진다.

제2 삭제 프레임의 시작시 1 및 2 주기 피치 버퍼로부터 합성 신호를 OLA 혼합하는 것이 도 15에 도시된다.

O에서 P를 감산함으로서, 적절한 파형 위상이 유지되고, "1P 피치 버퍼" 및 "2P 피치 버퍼" 파형에서 신호의 피크가 정렬됨을 주목하여야 한다. "OLA 조합" 파형은 또한 제2 삭제 프레임의 시작시 다른 피치 버퍼 사이의 매끄러운 전이를 도시한다. 도 15의 "OLA 조합" 파형에서 제2 프레임이 출력될 수 있기 이전에 1회 이상의 동작이 요구된다.

단계(1230)(도 12)에서는 피치 버퍼로부터의 1/4 파장을 임시 버퍼에 복사하는데 새로운 오프셋이 사용된다. 단계(1235)에서, 1/4 파장은 오프셋에 부가된다. 이어서, 단계(1240)에서, 임시 버퍼는 출력 버퍼의 시작과 OLA 동작되고, 그 결과는 출력 버퍼의 처음 1/4 파장에 배치된다.

단계(1245)에서, 오프셋은 출력 버퍼에서 신호의 나머지를 발생하는데 사용된다. 피치 버퍼는 10 msec 프레임의 기간 동안 출력 버퍼에 복사된다. 단계(1250)에서는 현재 오프셋이 피치 버퍼에 변수 O로 저장된다.

제2 및 나중의 삭제 프레임 동안, 단계(1255)에서는 합성 신호가 선형 기울기로 감쇄된다. 합성 신호는 60 msec를 넘어서 0으로 설정되거나 묵음이 될 때까지 점차적으로 페이드(fade)된다. 삭제가 길어질수록, 은폐 음성은 진짜 신호로부터 발산될 가능성이 더 높다. 사운드가 짧은 시간 주기 동안 고립되어 자연스럽게 들리더라도, 특정한 종류의 사운드를 너무 오래 간직하면, 은폐 처리의 출력에서 부자연스러운 가청 인위 구조가 만들어질 수 있다. 합성 신호에서 이러한 인위 구조를 방지하기 위해서는 저속 페이드 아웃(fade out)이 사용된다. G.723.1, G.728, 및 G,729와 같이, 모든 표준 음성 코더에서 발견되는 은폐 처리에는 유사한 동작이 실행된다.

FEC 처리는 제2 프레임에서 시작되어, 10 msec 프레임 당 20%로 신호를 감쇄한다. S, 즉 합성 버퍼가 감쇄 이전의 합성 신호를 포함하고, F가 연속적인 삭제 프레임의 수이면(제1 삭제 프레임에 대해 F = 1, 제2 삭제 프레임에 대해 F = 2), 감쇄는 다음과 같이 표시될 수 있다:

범위 0 ≤ i ≤ 79에서 2 ≤ F ≤ 6이다. 예를 들어, 제2 삭제 프레임의 시작시 샘플에서 F = 2이므로, F-2 = 0이고, .2/80 = .0025이므로, S'[0] = 1.S[0], S'[1] = 0.9975S[1], S'[2] = 0.995S[2], 또한 S'[79] = 0.8025S[79]이다. 제6 삭제 프레임을 넘으면, 출력은 간단히 0으로 설정된다.

단계(1255)에서 합성 신호가 감쇄된 이후에, 이는 단계(1260)에서 내력 버퍼(240)로 주어지고, 단계(1265)에서는 출력이 3.75 msec 만큼 지연된다. 오프셋 포인터 O는 또한 제2 프레임의 종료시 피치 버퍼에서 그 위치로 업데이트되므로, 합성 신호는 다음 프레임에서 계속될 수 있다. 이어서, 처리는 다음 프레임을 구하도록 단계(540)로 되돌아간다.

삭제가 2 프레임을 넘어 계속되면, 제3 프레임에 대한 처리는 피치 버퍼에서 주기의 수가 1에서 2 대신에 2에서 3으로 증가되는 것을 제외하고 제2 프레임에서와 똑같다. 본 예의 삭제는 2 프레임에서 종료되지만, 제3 프레임 이상에서 사용되는 3-주기 피치 버퍼가 도 17에 도시된다. 제3 프레임을 넘으면, 피치 버퍼에서 주기의 수는 3으로 고정되어 유지되므로, 도 12의 우측에 있는 경로만이 취해진다. 이 경우, 오프셋 포인터 O는 간단히 피치 버퍼를 합성 출력에 복사하는데 사용되고, 오버랩 가산 동작은 필요하지 않다.

삭제 이후 양호한 제1 프레임에서 FEC 모듈(230)의 동작은 도 16에서 설명된다. 삭제의 종료시, 삭제 동안 발생된 합성 음성과 실제 음성 사이에는 매끄러운 전이가 필요하다. 삭제가 단지 1 프레임 길이이면, 단계(1610)에서, 1/4 파장의 합성 음성이 계속되고 실제 음성과의 오버랩 가산이 실행된다.

단계(1620)에서 삭제가 10 msec 보다 긴 것으로 FEC 모듈(230)이 결정하면, 합성 신호와 실제 신호 사이의 부정합 가능성이 더 커지므로, 단계(1630)에서는 합성 음성 발생이 계속되고, OLA 윈도우는 최대 10 msec까지 삭제 프레임 당 추가 4 msec 만큼 증가된다. 피치의 평가가 약간 벗어나거나, 실제 음성의 피치가 삭제 동안 변화되었으면, 합성 신호와 실제 신호 사이의 위상 부정합 가능성은 삭제 길이에 따라 증가된다. 더 긴 OLA 윈도우는 더 천천히 합성 신호가 페이드 아웃(fade out)되게 하고, 실제 음성 신호가 페이드 인(fade in)되게 한다. 삭제가 10 msec 보다 더 길면, OLA가 실행되기 이전에 단계(1640)에서 이전 프레임에서 신호의 레벨과 정합하여 합성 신호를 감쇄시키는 것이 필요하다.

단계(1650)에서, OLA는 새로운 입력 프레임의 시작시 출력 버퍼(합성 음성)의 내용에 실행된다. 입력 버퍼의 시작은 OLA의 결과와 대치된다. 상기의 예에서 삭제의 종료시 OLA는 도 4에서 관찰될 수 있다. 상기 예에 대한 은폐 처리의 완전한 출력은 도 3의 "은폐" 파형에서 관찰될 수 있다.

단계(1660)에서, 내력 버퍼는 입력 버퍼의 내용으로 업데이트된다. 단계(1670)에서, 음성의 출력은 3.75 msec 만큼 지연되고, 처리는 다음 프레임을 구하도록 도 5의 단계(530)로 복귀한다.

작은 조정으로, FEC 처리는 G.726과 같이, 샘플 또는 프레임 사이의 상태 정보를 유지하고 은폐를 제공하지 않는 다른 음성 코더에 적용될 수 있다. FEC 처리는 삭제 동안 합성 파형을 발생하는데 이전 섹션에서 설명된 것과 똑같이 처리된다. 그러나, 코더의 내부 상태 변수가 FEC 처리에 의해 발생된 합성 음성을 추적하게 보장하도록 주위되어야 한다. 그렇지 않으면, 삭제가 끝난 이후, 디코더가 에러있는 상태를 사용하여 재시작될 때 출력에 인위 구조 및 불연속성이 나타나게 된다. 삭제의 종료시 OLA 윈도우가 돕지만, 더 실행되어야 한다.

도 18에 도시된 바와 같이, 삭제 기간 동안 디코더(1820)를 인코더(1860)로 변환하고, FEC 모듈(1830)의 합성 출력을 인코더(1860)의 입력으로 사용함으로서 더 나은 결과가 구해질 수 있다.

이 방법으로, 디코더(1820)의 변수 상태를 은폐된 음성을 추적하게 된다. 전형적인 인코더와 다르게, 인코더(1860)는 단지 상태 정보만을 유지하고 그 출력은 사용되지 않음을 주목하여야 한다. 그래서, 운행 시간 복잡성을 현저히 낮추도록 이 방법이 취해질 수 있다.

상술된 바와 같이, 본 발명에 의해 제공되는 많은 이점 및 특성이 있다. 특별히, 프레임 삭제가 진행됨에 따라, 합성 신호를 발생하도록 신호 내력으로부터 사용되는 피치 주기의 수는 시간의 함수로 증가된다. 이는 오랜 삭제에서 조화적인 인위 구조를 현저히 감소시킨다. 피치 주기가 원래 순서로 재생되지 않더라도, 출력은 자연스럽게 들린다.

G.726 및 샘플 또는 프레임 사이에 상태 정보를 유지하는 다른 코더에서, 디코더는 은폐 처리의 합성 출력의 출력시 인코더로 작용될 수 있다. 이 방법으로, 디코더의 내부 상태 변수가 출력을 추적하게 되어, 삭제가 끝난 이후에 디코더에서 에러가 있는 상태의 정보에 의해 발생되는 불연속성을 방지 - 적어도 감소 - 시키게 된다. 인코더로부터의 출력은 결코 사용되지 않으므로(단지 상태 정보를 유지할 목적이므로), 불필요한 장비가 제거된 저복잡성 버전의 인코더가 사용될 수 있다.

본 실시예에서 허용되는 최소 피치 주기(40 샘플, 또는 200 Hz)는 일부 여성 및 어린이 발성자에 대해 기대되는 기본 주파수 보다 더 크다. 그래서, 고주파수 음성자의 경우에는 1 이상의 피치 주기가 삭제의 시작시에도 합성 신호를 발생하는데 사용된다. 높은 기본 주파수의 발성자인 경우, 파형은 더 자주 반복된다. 합성 신호의 다중 피치 주기는 조화적인 인위 구조를 덜 가능하게 한다. 이 기술은 또한 중단과 같은 신속한 전이의 영역 뿐만 아니라, 목소리가 아닌 음성 세그먼트 동안 신호가 자연스럽게 들리는데 도움을 준다.

삭제 이후 양호한 제1 프레임의 종료시 OLA 윈도우는 삭제의 길이와 함께 커진다. 삭제가 더 길어지면, 다음 양호한 프레임이 도착할 때, 위상 정합이 일어날 가능성이 더 높다. OLA 윈도우를 삭제의 함수로 연장시키는 것은 긴 삭제에서 위상 부정합에 의해 발생되는 순간적인 이상을 감소시키지만, 삭제가 짧은 경우 신호가 신속하게 회복되도록 허용한다.

본 발명의 FEC 처리는 또한 1/4 파장인 평가 피치의 일부이고 피치 피크와 정렬되지 않는 가변 길이의 OLA 윈도우를 사용한다.

본 발명의 FEC 처리는 목소리와 목소리가 아닌 음성 사이를 구별하지 않는다. 그 대신에, 다음의 2가지 처리 특성 때문에 목소리가 아닌 음성을 재생하는데 잘 실행된다:(A) 최소 윈도우 크기는 음성 중 목소리가 아닌 영역이 적당한 변화를 갖더라도 적절하게 크고,(B) 처리가 진행됨에 따라, 피치 버퍼의 길이가 증가되어, 조화적인 인위 구조가 생기지 않도록 보장한다. 이미 공지된 시간-스케일링 기술 WSOLA에서도 목소리 음성 및 목소리가 아닌 음성을 다르게 처리하는 것을 방지하는데 큰 윈도우를 사용하는 방법이 주어짐을 주목하여야 한다.

삭제의 시작시 OLA를 허용하는 지연을 부가하는 것이 본 발명의 처리 중 바람직하지 않은 특성이라 생각될 수 있지만, 삭제의 시작시 실제 신호와 합성 신호 사이에 매끄러운 전이를 보장하는 것이 필요하다.

본 발명은 상술된 특정 실시예와 연관되어 설명되었지만, 종래 기술에 숙련된 자에게는 많은 변경, 수정, 및 변화가 명백한 것으로 밝혀진다. 따라서, 상술된 본 발명의 바람직한 실시예는 제한되는 것이 아니라, 설명하는 것으로 의도된다. 다음 청구항에서 정의되는 바와 같이, 본 발명의 의도 및 범위에서 벗어나지 않고 다양한 변화가 이루어질 수 있다.

Claims

발생된 음성에서 손실된 음성 정보의 영향을 은폐하기 위한 처리로서, 상기 음성 정보는 하나 또는 그 이상의 상기 패킷들을 수신하지 않는 수신기에 압축되어 패킷으로 전송되며, 합성된 음성과 디코드된 음성 사이의 불연속을 은폐하는 방법으로, 상기 방법은,

이용가능하지 않는 패킷에 대응하는 음성 신호를 합성하는 단계와;

상기 수신기에 의해 디코드되어 있는 수신된 패킷으로 생기는 다음의 음성 신호와 합성된 음성 신호의 일부를 조합하여 사용하기 위한 오버랩-가산 윈도우를 결정하는 단계로서, 상기 오버랩-가산 윈도우의 크기는 상기 이용가능하지 않은 패킷들의 기간에 근거하여 결정되는, 상기 오버랩-가산 윈도우를 결정하는 단계; 및

상기 합성된 음성 신호와 오버랩-가산 윈도우의 사용과 함께 이러한 음성 신호의 일부에서 오버랩-가산 동작을 실행하는 단계를 구비하는 방법.