KR100728056B1 - 다중 경로 트랠리스 부호화 양자화 방법 및 이를 이용한다중 경로 트랠리스 부호화 양자화 장치 - Google Patents
다중 경로 트랠리스 부호화 양자화 방법 및 이를 이용한다중 경로 트랠리스 부호화 양자화 장치 Download PDFInfo
- Publication number
- KR100728056B1 KR100728056B1 KR1020060030576A KR20060030576A KR100728056B1 KR 100728056 B1 KR100728056 B1 KR 100728056B1 KR 1020060030576 A KR1020060030576 A KR 1020060030576A KR 20060030576 A KR20060030576 A KR 20060030576A KR 100728056 B1 KR100728056 B1 KR 100728056B1
- Authority
- KR
- South Korea
- Prior art keywords
- distortion
- trellis
- stage
- paths
- node
- Prior art date
Links
- 238000013139 quantization Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000001186 cumulative effect Effects 0.000 claims description 50
- 230000004083 survival effect Effects 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 abstract description 6
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000001228 spectrum Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Error Detection And Correction (AREA)
Abstract
본 발명은 트랠리스 부호화 양자화(trellis coded quantization; TCQ)에 관한 것으로, 특히 음성 부호화 시스템에 사용될 수 있는 트랠리스 부호화 양자화 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 방법은, 트랠리스의 I(I는 0이상의 정수)번째 스테이지의 노드들 중 하나로 들어오는 2N(N은 2이상의 정수)개의 생존 경로들 각각에 상응하는 누적 왜곡을 산출하는 단계, 상기 2N개의 생존 경로들 각각에 상응하는 누적 왜곡을 비교하여 상기 2N개의 생존 경로들 중 상기 누적 왜곡이 적은 N개의 경로를 선택하는 단계, 상기 N개의 경로를 I+1번째 스테이지로 입력되는 생존 경로들로 설정하는 단계, 및 상기 트랠리스의 마지막 스테이지의 노드들 각각에 대하여 2N개씩 존재하는 상기 생존 경로들 중 상기 누적 왜곡이 가장 적은 경로를 최적 경로로 선택하는 단계를 포함하는 것을 특징으로 한다. 따라서, 보다 많은 경로를 후보 경로로 고려하여 양자화 성능을 높일 수 있다.
트랠리스, 양자화, TCQ, 벡터 양자화
Description
도 1은 본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 방법의 필요성을 설명하기 위한 트랠리스도이다.
도 2는 본 발명의 다중 경로 트랠리스 부호화 양자화 방법을 종래 기술과 비교하여 나타낸 개념도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 방법을 설명하기 위한 트랠리스도들이다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 과정을 나타낸 트랠리스도들이다.
도 9는 본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 장치를 나타낸 블록도이다.
도 10은 도 9에 도시된 누적 왜곡 산출부의 일 예를 나타낸 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
910: 누적 왜곡 산출부 920: 생존 경로 설정부
930: 최적 경로 선택부
본 발명은 트랠리스 부호화 양자화(trellis coded quantization; TCQ)에 관한 것으로, 특히 음성 부호화 시스템에 사용될 수 있는 트랠리스 부호화 양자화 방법 및 장치에 관한 것이다.
음성 부호화시스템에 있어서 고음질의 음성 부호화를 위해서는 음성신호의 단구간 상관도를 나타내는 선형예측코딩(Linear Predictive Coding; LPC) 계수를 효율적으로 양자화하는 것이 매우 중요하다. LPC 필터에서 최적의 선형예측코딩 계수값은, 음성 입력신호를 프레임 단위로 나누고 각 프레임별로 예측 오차의 에너지를 최소화시키는 형태로 구한다. 3GPP에서 IMP-2000 시스템용 광대역 음성부호화기로 표준화한 AMR_WB(Adaptive Multi-Rate_WideBand) 음성 부호화기의 LPC 필터는 16차 all-pole 필터이며, 이 때 사용되는 16개 LPC 계수들의 양자화를 위하여 많은 비트가 할당된다. 예를 들어, CDMA 이동 통신 시스템에 사용되는 음성 부호화 방식인 IS-96A QCELP(Qualcomm Code Excited Linear Prediction)는 전체 비트의 25%를 LPC 양자화에 사용하고 있으며, Nokia사의 AMR_WB 음성 부호화기는 총 9개의 모드 중에서 전체 비트의 최고 27.3%에서 최저 9.6%를 LPC 양자화에 사용하고 있다.
지금까지 LPC 계수들의 효율적인 양자화를 위한 많은 방법들이 개발되었고, 실제로 음성압축기에 사용되고 있다. 이러한 방법들 중 LPC 필터의 계수를 직접 양자화하는 방법은, 필터의 특성이 LPC 계수의 양자화 오차에 매우 민감하고, 양자화 후의 LPC 필터의 안정성이 보장되지 않는 문제점이 있었다. 따라서, LPC 계수를 양자화 특성이 좋은 다른 파라미터로 변환하여 양자화하여야 하며, 주로 반사 계수(reflection coefficient) 또는 LSF(Line Spectrum Frequency; 라인 스펙트럼 주파수) 계수로 변환하여 양자화한다. 특히, LSF 계수는 음성의 주파수 특성과 밀접하게 연관되는 성질이 있어 최근에 개발된 표준 음성 압축기들은 대부분 LSF 양자화 방법을 사용한다.
또한, LSF 계수의 프레임간 상관관계를 이용하면 보다 효율적인 양자화를 실현할 수 있다. 즉, 현재 프레임의 LSF를 직접 양자화하지 않고 과거 프레임의 LSF 정보로부터 현재 프레임의 LSF를 예측하고, 예측된 두 프레임간의 오차를 양자화하는 것이다. 이 LSF 값은 음성신호의 주파수특성과 밀접한 관계가 있기 때문에 시간적으로 예측이 가능할 뿐 아니라 상당히 큰 예측이득을 얻을 수 있다.
LSF 값 예측방법으로는 AR(auto-regressive) 필터를 이용하는 방법과 MA(moving average) 필터를 이용하는 방법이 있다. AR 필터는 예측성능이 우수한 반면, 수신측에서 전달오류의 영향이 프레임 진행에 따라 계속 전파되는 단점이 있다. MA 필터는 AR 필터에 비하여 예측성능은 떨어지지만 전달오류의 영향이 시간적으로 제한되는 장점이 있다. 따라서, 무선통신과 같이 전달오류가 많이 발생하는 환경에 사용되는 AMR, AMR-WB, SMV 등과 같은 음성 압축기에는 MA 필터를 이용한 LSF 값 예측방법이 이용되고 있다. 또한, 프레임간 LSF 값 예측 이외에 프레임내에서 이웃한 LSF 요소값들 사이의 상관도를 이용한 예측방법도 개발되었다. LSF 값들은 항상 순서성질을 반복하므로 이 방법을 이용하면 양자화의 효율을 더욱 증대시킬 수 있다.
LSF 계수의 예측 에러값에 대한 양자화방법은 스칼라 양자화와 벡터 양자화로 나눌 수 있다. 현재, 성능에 비하여 많은 비트들을 사용하는 스칼라 양자화보다 벡터 양자화가 널리 사용되고 있다. 벡터 양자화에서 전체 벡터를 한꺼번에 양자화하는 것은 벡터 테이블의 크기가 너무 커지고 검색 시간이 많이 소요되므로 불가능하다. 이를 해결하기 위하여 전체 벡터를 여러 개의 부벡터로 나누어 각각을 독립적으로 벡터양자화하는 방법이 개발되었는데, 이를 분할 벡터양자화(Split Vector Quantization; SVQ) 방법이라고 한다. 예를 들어, 20비트를 이용한 10차 벡터양자화에서 한번에 양자화할 경우 벡터 테이블의 크기가 10 X 220이 되지만 2개의 5차 부벡터로 나누어 10비트씩 할당하는 격자 벡터양자화 방법을 이용하면 벡터 테이블의 크기가 5 X 210 X 2로 된다.
한국등록특허 제10-486732호에는 "블록제한된 트랠리스 부호화 양자화방법과 음성부호화시스템에 있어서 이를 채용한 라인스펙트럼주파수 계수양자화방법 및 장치"가 개시되어 있다. 한국등록특허 제10-486732호는 입력신호 및 계수의 양자화시 요구되는 메모리 사이즈와 코드북 탐색과정에서 계산량 및 복잡도를 감소시키면서 우수한 SNR(Signal to Noise Ratio) 성능을 갖는 부호화 양자화방법을 제공하기 위해 트랠리스 부호화 양자화(trellis coded quantization; TCQ)에서 첫 번째와 마지막 스테이지(stage)에 제약(constraint)을 두어 초기 상태(initial state)에 할 당되는 비트를 줄일 수 있다.
그러나, 한국등록특허 제10-486732호는 각 스테이지에서 생존 경로(survivor path)를 하나씩만 저장하기 때문에 누적 왜곡(distortion)이 최소인 경로가 누락되는 단점이 있다.
따라서, 보다 효과적으로 누적 왜곡(distortion)이 적은 트랠리스상의 경로를 찾아낼 수 있는 새로운 트랠리스 부호화 양자화 방법 및 장치의 필요성이 절실하게 대두된다.
본 발명은 상술한 바와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 낮은 전송률에서 양자화 성능을 높이는 것을 목적으로 한다.
또한, 본 발명은 입력 신호의 코릴레이션(correlation)을 이용하는 트랠리스 부호화 양자화에 있어서 생존 경로를 하나만 저장하는 경우에 발생하는 문제점을 해결하는 것을 목적으로 한다.
또한, 본 발명은 BC-TCQ(Block Constrained-TCQ)와 같은 양자화를 이용하는 음성 부호화 시스템에 있어서 입력 신호 및 계수의 양자화를 효율적으로 수행하여 양자화 성능을 향상시키는 것을 목적으로 한다.
상기의 목적을 달성하고 종래기술의 문제점을 해결하기 위하여, 본 발명의 다중 경로 트랠리스 부호화 양자화 방법은, 트랠리스의 I(I는 0이상의 정수)번째 스테이지의 노드들 중 하나로 들어오는 2N(N은 2이상의 정수)개의 생존 경로들 각 각에 상응하는 누적 왜곡을 산출하는 단계, 상기 2N개의 생존 경로들 각각에 상응하는 누적 왜곡을 비교하여 상기 2N개의 생존 경로들 중 상기 누적 왜곡이 적은 N개의 경로를 선택하는 단계, 상기 N개의 경로를 I+1번째 스테이지로 입력되는 생존 경로들로 설정하는 단계, 및 상기 트랠리스의 마지막 스테이지의 노드들 각각에 대하여 2N개씩 존재하는 상기 생존 경로들 중 상기 누적 왜곡이 가장 적은 경로를 최적 경로로 선택하는 단계를 포함하는 것을 특징으로 한다.
이 때, 누적 왜곡을 산출하는 단계는 상기 2N개의 생존 경로들에서 양자화된 값을 이용하여 상기 트랠리스의 I번째 스테이지에 상응하는 값을 예측하는 단계, 상기 예측된 값을 이용하여 상기 트랠리스의 I번째 스테이지의 2N개의 예측 에러(prediction error)를 구하는 단계, 상기 트랠리스의 I번째 스테이지에 상응하는 각 브랜치에 할당된 서브코드북에서 선택된 대표값들과 상기 예측 에러 사이의 왜곡(distortion)을 구하는 단계, 및 상기 왜곡을 이용하여 상기 I번째 스테이지까지의 누적 왜곡을 산출하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 장치는 트랠리스의 I(I는 0이상의 정수)번째 스테이지의 노드들 중 하나로 들어오는 2N(N은 2이상의 정수)개의 생존 경로들 각각에 상응하는 누적 왜곡을 산출하는 누적 왜곡 산출부, 상기 2N개의 생존 경로들 각각에 상응하는 누적 왜곡을 비교하여 상기 2N개의 생존 경로들 중 상기 누적 왜곡이 적은 N개의 경로를 선택하고, 선택된 상기 N개의 경로를 I+1번째 스테이지로 입력되는 생존 경로들로 설정하는 생존 경로 설정부 및 상기 트랠리스의 마지막 스테이지의 노드들 각각에 대하여 2N개씩 존재하는 상기 생존 경로들 중 상기 누적 왜곡이 가장 적은 경로를 최적 경로로 선택하는 최적 경로 선택부를 포함하는 것을 특징으로 한다.
이 때, 누적 왜곡 산출부는 상기 2N개의 생존 경로들에서 양자화된 값을 이용하여 상기 트랠리스의 I번째 스테이지에 상응하는 값을 예측하는 예측부, 상기 예측된 값을 이용하여 상기 트랠리스의 I번째 스테이지의 2N개의 예측 에러(prediction error)를 산출하는 예측 에러 산출부, 상기 트랠리스의 I번째 스테이지에 상응하는 각 브랜치에 할당된 서브코드북에서 선택된 대표값들과 상기 예측 에러 사이의 왜곡(distortion)을 산출하는 왜곡 산출부, 및 상기 왜곡을 이용하여 상기 I번째 스테이지까지의 누적 왜곡을 산출하는 누적 산출부를 포함하는 것을 특징으로 한다.
이 때, 상기 다중 경로 트랠리스 부호화 양자화 방법 및 장치는 입력 신호의 프레임간에 수행된 예측 에러값의 양자화에 사용될 수 있다.
이 때, 상기 다중 경로 트랠리스 부호화 양자화 방법 및 장치는 전처리(preprocessing)된 입력 신호를 양자화하는데 사용될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 방법의 필요성을 설명하기 위한 트랠리스도이다.
도 1을 참조하면, 트랠리스 부호화 양자화(trellis coded quantization; TCQ)에 있어서, 각 스테이지에서 하나의 노드에 대하여 하나씩의 생존 경 로(survive path)를 남겨두는 경우에 최적 경로가 버려지는 문제점이 있음을 알 수 있다.
즉, i-1번째 스테이지에서 노드(121)에 대하여 노드(111)로부터의 경로 및 노드(113)로부터의 경로 중에서 노드(113)로부터의 경로 하나만이 생존 경로(survivor path)가 되어 다음 스테이지로 전달된다면, i번째 스테이지에서 노드(131)에 대하여 노드(113) 및 노드(121)를 거치는 경로만이 선택될 수 있고, 노드(111) 및 노드(121)를 거치는 경로는 선택될 수 없다. 그러나, 실제로는 트랠리스 부호화 양자화 방법에서 입력 신호의 상관도(correlation)를 이용하여 생존 경로를 산출하므로, i번째 스테이지에서 노드(131)에 대하여 노드(113) 및 노드(121)를 거치는 경로보다 노드(111) 및 노드(121)를 거치는 경로가 누적 왜곡이 작을 수 있다.
따라서, 보다 효율적으로 트랠리스 부호화 양자화를 수행하기 위해서는 각 스테이지에서 노드 하나로 들어가는 경로를 둘 이상 저장할 필요가 있다.
도 2는 본 발명의 다중 경로 트랠리스 부호화 양자화 방법을 종래 기술과 비교하여 나타낸 개념도이다.
도 2를 참조하면, 종래 기술의 경우 트랠리스의 특정 노드로 들어오는 두 개의 경로 중 하나를 생존 경로로 선택한다. 이에 반하여, 본 발명의 다중 경로 트랠리스 부호화 방법은 트랠리스의 특정 노드로 들어오는 넷 이상의 경로들 중 둘 이상을 생존 경로로 선택한다. 즉, 도 2에서 T는 2이상의 정수이다.
이와 같이 각 스테이지에서 노드 하나로 들어가는 경로를 둘 이상 저장함으로써 누 적 왜곡이 작은 경로가 버려지는 문제점을 해결할 수 있어 보다 효율적으로 트랠리스 부호화 양자화를 수행할 수 있다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 방법을 설명하기 위한 트랠리스도들이다.
도 3을 참조하면, i번째 스테이지에서 노드(331)를 통하여 노드(342)로 들어가는 생존 경로(survivor path)가 두 개 저장되어 있다. 즉, 노드(331)를 통하여 노드(342)로 들어가는 생존 경로는 노드(311), 노드(321) 및 노드(331)를 거치는 경로와 노드(312), 노드(323) 및 노드(331)를 거치는 경로의 두 개이다.
이 때, 노드(311), 노드(321), 노드(331) 및 노드(342)로 연결되는 경로와 노드(312), 노드(323), 노드(331) 및 노드(342)로 연결되는 경로의 왜곡(distortion)은 각각 하기 수학식 1 및 수학식 2와 같이 계산될 수 있다.
본 발명에서, 는 예측 에러(prediction error)를 나타낸다. 이 때, xk는 k번째 스테이지의 입력을 나타내고, 이다. 또한, 는 k-1번째 스테이지의 입력 xk -1가 k-1번째 스테이지의 노드 b와 k-2번째 스테이지의 노드 a에 의해 양자화된 값을 나타낸다. 또한, d(a, b)는 a와 b사이의 거리를 나타내는 것으로 d(a, b)는 |a-b|일 수도 있고, (a-b)2일 수도 있다. 또한, yk a ,b는 k-1번째 스테이지의 노드 a와 k번째 스테이지의 노드 b사이의 브랜치에 할당된 서브-코드북 엔트리(sub-codebook entry)를 나타낸다. 또한, Dk a ,b는 k-1번째 스테이지의 노드 a와 k번째 스테이지의 노드 b 사이의 브랜치에 할당된 서브 코드북(sub-codebook)을 나타낸다. 본 발명에서 사용되는 용어에 대한 상세한 내용은 한국등록특허 제486732호에 상세하게 개시되어 있다.
도 4를 참조하면, i번째 스테이지에서 노드(333)를 통하여 노드(342)로 들어가는 생존 경로 역시 두 개인 것을 알 수 있다. 이는, 각 스테이지에서 하나의 노드로 들어가는 경로가 두 개 저장되기 때문이다. 즉, 노드(333)를 통하여 노드(342)로 들어가는 경로는 노드(311), 노드(322) 및 노드(333)를 거치는 경로와, 노드(314), 노드(324) 및 노드(333)를 거치는 경로의 두 개이다.
이 때, 노드(311), 노드(322), 노드(333) 및 노드(342)로 연결되는 경로와 노드(314), 노드(324), 노드(333) 및 노드(342)로 연결되는 경로의 왜곡(distortion)은 각각 하기 수학식 3 및 수학식 4와 같이 계산될 수 있다.
도 3 및 도 4를 통하여 알 수 있듯이 노드(342)로 들어오는 경로는 노드(331)를 거치는 경로 두 개 및 노드(333)를 거치는 경로 두 개로 총 네 개이다.
본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 방법은 하나의 노드로 들어오는 네 개의 경로 중 누적 왜곡(distortion)이 작은 두 개의 경로를 생존 경로로 선택할 수 있다.
도 5를 참조하면, 노드(342)로 들어오는 네 개의 경로 중 노드(311), 노드(321) 및 노드(331)를 거치는 경로와 노드(314), 노드(324) 및 노드(333)를 거치는 경로의 두 개가 선택되어 생존 경로가 된다. 이 때, 본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 방법은 4개의 경로들 중에서 누적 왜곡이 작 은 순서대로 두 개의 경로를 선택할 수 있다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 과정을 나타낸 트랠리스도들이다.
도 6을 참조하면, 스테이지 0의 노드 1(621)에 대해서 x1,1 0과 x3,1 0을 탐색한 후 d0 1 ,1과 d0 3 ,1을 계산한다. 또한, 스테이지 0의 노드 2(622)에 대해서 x1,2 0과 x3,2 0을 탐색한 후 d0 1 ,2과 d0 3 , 2을 계산한다. 또한, 스테이지 0의 노드 3(623)에 대해서 x2,3 0과 x4,3 0을 탐색한 후 d0 2 ,3과 d0 4 ,3을 계산한다. 또한, 스테이지 0의 노드 4(624)에 대해서 x2,4 0과 x4,4 0을 탐색한 후 d0 2 ,4과 d0 4 , 4을 계산한다.
이 때, dk a ,b는 k-1번째 스테이지의 노드 a와 k번째 스테이지의 노드 b사이의 브랜치(branch)에 할당된 서브-코드북과 입력 사이의 디스토션(distortion)이다.
예를 들어, di 1 ,1은 min(d(xi, yi 1 ,1)|yi 1 ,1 ∈ Di 1 ,1)이고, di 3 ,1은 min(d(xi, yi 3,1)|yi 3,1 ∈ Di 3 ,1)일 수 있다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 방법은 스테이지 1의 노드(731)에 대하여 도 6에 도시된 과정에서 계산된 값들을 이용하여 e1 ,1 1, e3 ,1 1, e2 ,3 1, e4 , 3 1를 계산한다. 다음에, 트랠리스 부호화 양자화 방법은 서브 코드북 D1 1 ,1의 엔트리들과 e1 ,1 1 및 e3 ,1 1을 각각 비교한다. 또한, 트랠리스 부호화 양자화 방법은 서브 코드북 D1 3 ,1의 엔트리들과 e2 ,3 1 및 e4 ,3 1을 각각 비교한다.
다음에, 트랠리스 부호화 양자화 방법은 서브 코드북에서 탐색된 값을 이용하여 d1 1 ,1,1, d1 3 ,1,1, d1 2 ,3,1 및 d1 4 ,3,1을 계산한다.
또한, 트랠리스 부호화 양자화 방법은 d1 1 ,1,1 + d0 1 ,1, d1 3 ,1,1 + d0 3 ,1, d1 2 ,3,1 + d0 2,3 및 d1 4 ,3,1 + d0 4 ,3을 각각 계산하여 누적 왜곡을 구한 후 누적 왜곡이 적은 두 개의 경로를 선택한다. 도 7에 도시된 예에서는 노드(711), 노드(721) 및 노드(731)를 잇는 경로와, 노드(712), 노드(723) 및 노드(731)를 잇는 경로가 다른 두 경로보다 누적 디스토션이 작으므로 생존 경로로 선택된다.
도 7에 도시된 스테이지1의 다른 노드들에 대해서도 동일한 연산이 수행될 수 있다.
도 8을 참조하면, 스테이지 2의 노드(841)에 대하여 노드(811), 노드(821), 노드(831) 및 노드(841)를 거치는 경로, 노드(811), 노드(822), 노드(833) 및 노드(841)를 거치는 경로, 노드(812), 노드(823), 노드(831) 및 노드(841)를 거치는 경로 및 노드(812), 노드(824), 노드(833) 및 노드(841)를 거치는 경로의 네 가지 생존 경로가 존재한다.
본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 방법은 스테이지2의 노드(841)에 대하여 이전 과정에서 계산된 값들을 이용하여 e1 ,1 2, e3 ,1 2, e2,3 2, e4 ,3 2를 계산한다. 다음에, 트랠리스 부호화 양자화 방법은 서브 코드북 D2 1 ,1의 엔트리들과 e1 ,1 2 및 e3 , 1 2을 각각 비교한다. 또한, 트랠리스 부호화 양자화 방법은 서브 코드북 D2 3 ,1의 엔트리들과 e2 ,3 2 및 e4 , 3 2을 각각 비교한다.
다음에, 트랠리스 부호화 양자화 방법은 서브 코드북에서 탐색된 값을 이용하여 d2 1 ,1,1, d2 3 ,1,1, d2 2 ,3,1 및 d2 4 ,3,1을 계산한다.
또한, 트랠리스 부호화 양자화 방법은 d2 1 ,1,1 + d1 1 ,1,1, d2 3 ,1,1 + d1 2 .3,1, d2 2 ,3,1 + d1 1 ,2,3 및 d2 4 ,3,1 + d1 2 ,4,3을 각각 계산하여 누적 왜곡을 구한 후 누적 왜곡이 적은 두 개의 경로를 선택한다.
도 8에 도시된 스테이지2의 다른 노드들에 대해서도 동일한 연산이 수행될 수 있다.
도 6 내지 도 8을 통하여 설명한 과정은 각 스테이지에서 반복되어 수행된 다. 트랠리스의 마지막 스테이지에서 네 개의 노드에 대해서 두 개씩의 생존 경로가 발생하고 따라서 본 발명의 다중 경로 트랠리스 부호화 양자화 방법은 8개의 패스 중 누적 왜곡이 가장 작은 경로를 최적 경로로 산출할 수 있다.
도 9는 본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 장치를 나타낸 블록도이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 다중 경로 트랠리스 부호화 양자화 장치는 누적 왜곡 산출부(910), 생존 경로 설정부(920) 및 최적 경로 선택부(930)를 포함한다.
누적 왜곡 산출부(910)는 트랠리스의 I(I는 0이상의 정수)번째 스테이지의 노드들 중 하나로 들어오는 2N(N은 2이상의 정수)개의 생존 경로들 각각에 상응하는 누적 왜곡을 산출한다.
생존 경로 설정부(920)는 상기 2N개의 생존 경로들 각각에 상응하는 누적 왜곡을 비교하여 상기 2N개의 생존 경로들 중 상기 누적 왜곡이 적은 N개의 경로를 선택하고, 선택된 상기 N개의 경로를 I+1번째 스테이지로 입력되는 생존 경로들로 설정한다.
누적 왜곡 산출부(910) 및 생존 경로 설정부(920)는 I를 1씩 증가시켜 가면서 각 스테이지에서 설정된 연산을 반복하여 수행한다.
최적 경로 선택부(930)는 상기 트랠리스의 마지막 스테이지의 노드들 각각에 대하여 2N개씩 존재하는 상기 생존 경로들 중 상기 누적 왜곡이 가장 적은 경로를 최적 경로로 선택한다.
도 10은 도 9에 도시된 누적 왜곡 산출부의 일 예를 나타낸 블록도이다.
도 10을 참조하면, 도 9에 도시된 누적 왜곡 산출부(910)는 예측부(1010), 예측 에러 산출부(1020), 왜곡 산출부(1030) 및 누적 산출부(1040)를 포함한다.
예측부(1010)는 상기 2N개의 생존 경로들에서 양자화된 값을 이용하여 상기 트랠리스의 I번째 스테이지에 상응하는 값을 예측한다.
예측 에러 산출부(1020)는 상기 예측된 값을 이용하여 상기 트랠리스의 I번째 스테이지의 2N개의 예측 에러(prediction error)를 구한다.
왜곡 산출부(1030)는 상기 트랠리스의 I번째 스테이지에 상응하는 각 브랜치에 할당된 서브코드북에서 선택된 대표값들과 상기 예측 에러 사이의 왜곡(distortion)을 산출한다. 이 때, 선택된 대표값들은 상기 서브코드북에서 예측 에러와의 왜곡이 작은 것들일 수 있다.
실시예에 따라 왜곡 산출부(1030)는 상기 예측 에러와 상기 선택된 대표값들 사이의 차에 대하여 소정의 가중치를 적용하여 상기 왜곡을 산출할 수 있다.
누적 산출부(1040)는 상기 왜곡을 이용하여 상기 I번째 스테이지까지의 누적 왜곡을 산출한다.
이 때, 도 10에 도시된 누적 왜곡 산출부의 동작은 도 6 내지 도 8을 통하여 이미 상세히 설명하였으므로 여기서 다시 설명하지 아니한다.
본 발명의 다중 경로 트랠리스 부호화 양자화 방법 및 장치는 입력 신호의 프레임간에 수행된 예측 에러값의 양자화에 사용될 수 있다. 또한, 본 발명의 다중 경로 트랠리스 부호화 양자화 방법 및 장치는 전처리(preprocessing)된 입력 신 호를 양자화하는데 사용될 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
본 발명의 다중 경로 트랠리스 부호화 양자화 방법 및 장치는 낮은 전송률에서 효율적으로 양자화를 수행할 수 있다.
또한, 본 발명은 입력 신호의 코릴레이션(correlation)을 이용하는 트랠리스 부호화 양자화에 있어서 생존 경로를 하나만 저장하는 경우에 발생하는 문제점을 효과적으로 해결할 수 있다.
또한, 본 발명은 BC-TCQ(Block Constrained-TCQ)와 같은 양자화를 이용하는 음성 부호화 시스템에 있어서 입력 신호 및 계수의 양자화를 효율적으로 수행하여 양자화 성능을 향상시킬 수 있다.
Claims (12)
- 트랠리스의 I(I는 0이상의 정수)번째 스테이지의 노드들 중 하나로 들어오는 2N(N은 2이상의 정수)개의 생존 경로들 각각에 상응하는 누적 왜곡을 산출하는 단계;상기 2N개의 생존 경로들 각각에 상응하는 누적 왜곡을 비교하여 상기 2N개의 생존 경로들 중 상기 누적 왜곡이 적은 N개의 경로를 선택하는 단계;상기 N개의 경로를 I+1번째 스테이지로 입력되는 생존 경로들로 설정하는 단계; 및상기 트랠리스의 마지막 스테이지의 노드들 각각에 대하여 2N개씩 존재하는 상기 생존 경로들 중 상기 누적 왜곡이 가장 적은 경로를 최적 경로로 선택하는 단계를 포함하는 것을 특징으로 하는 다중 경로 트랠리스 부호화 양자화 방법.
- 제1항에 있어서,상기 누적 왜곡을 산출하는 단계는상기 2N개의 생존 경로들에서 양자화된 값을 이용하여 상기 트랠리스의 I번째 스테이지에 상응하는 값을 예측하는 단계;상기 예측된 값을 이용하여 상기 트랠리스의 I번째 스테이지의 2N개의 예측 에러(prediction error)를 구하는 단계;상기 트랠리스의 I번째 스테이지에 상응하는 각 브랜치에 할당된 서브코드북에서 선택된 대표값들과 상기 예측 에러 사이의 왜곡(distortion)을 구하는 단계; 및상기 왜곡을 이용하여 상기 I번째 스테이지까지의 누적 왜곡을 산출하는 단계를 포함하는 것을 특징으로 하는 다중 경로 트랠리스 부호화 양자화 방법.
- 제2항에 있어서,상기 선택된 대표값들은 상기 서브코드북에서 예측 에러와의 왜곡이 작은 것들인 것을 특징으로 하는 다중 경로 트랠리스 부호화 양자화 방법.
- 제3항에 있어서,상기 왜곡을 산출하는 단계는상기 예측 에러와 상기 선택된 대표값들 사이의 차에 대하여 소정의 가중치를 적용하여 상기 왜곡을 산출하는 것을 특징으로 하는 다중 경로 트랠리스 부호화 양자화 방법.
- 제1항에 있어서,상기 다중 경로 트랠리스 부호화 양자화 방법은 입력 신호의 프레임간에 수행된 예측 에러값의 양자화에 사용되는 것을 특징으로 하는 다중 경로 트랠리스 부 호화 양자화 방법.
- 제1항에 있어서,상기 다중 경로 트랠리스 부호화 양자화 방법은 전처리(preprocessing)된 입력 신호를 양자화하는데 사용되는 것을 특징으로 하는 다중 경로 트랠리스 부호화 양자화 방법.
- 트랠리스의 I(I는 0이상의 정수)번째 스테이지의 노드들 중 하나로 들어오는 2N(N은 2이상의 정수)개의 생존 경로들 각각에 상응하는 누적 왜곡을 산출하는 누적 왜곡 산출부;상기 2N개의 생존 경로들 각각에 상응하는 누적 왜곡을 비교하여 상기 2N개의 생존 경로들 중 상기 누적 왜곡이 적은 N개의 경로를 선택하고, 선택된 상기 N개의 경로를 I+1번째 스테이지로 입력되는 생존 경로들로 설정하는 생존 경로 설정부; 및상기 트랠리스의 마지막 스테이지의 노드들 각각에 대하여 2N개씩 존재하는 상기 생존 경로들 중 상기 누적 왜곡이 가장 적은 경로를 최적 경로로 선택하는 최적 경로 선택부를 포함하는 것을 특징으로 하는 다중 경로 트랠리스 부호화 양자화 장치.
- 제7항에 있어서,상기 누적 왜곡 산출부는상기 2N개의 생존 경로들에서 양자화된 값을 이용하여 상기 트랠리스의 I번째 스테이지에 상응하는 값을 예측하는 예측부;상기 예측된 값을 이용하여 상기 트랠리스의 I번째 스테이지의 2N개의 예측 에러(prediction error)를 산출하는 예측 에러 산출부;상기 트랠리스의 I번째 스테이지에 상응하는 각 브랜치에 할당된 서브코드북에서 선택된 대표값들과 상기 예측 에러 사이의 왜곡(distortion)을 산출하는 왜곡 산출부; 및상기 왜곡을 이용하여 상기 I번째 스테이지까지의 누적 왜곡을 산출하는 누적 산출부를 포함하는 것을 특징으로 하는 다중 경로 트랠리스 부호화 양자화 장치.
- 제8항에 있어서,상기 선택된 대표값들은 상기 서브코드북에서 예측 에러와의 왜곡이 작은 것들인 것을 특징으로 하는 다중 경로 트랠리스 부호화 양자화 장치.
- 제9항에 있어서,상기 왜곡 산출부는상기 예측 에러와 상기 선택된 대표값들 사이의 차에 대하여 소정의 가중치를 적용하여 상기 왜곡을 산출하는 것을 특징으로 하는 다중 경로 트랠리스 부호화 양자화 장치.
- 제7항에 있어서,상기 다중 경로 트랠리스 부호화 양자화 장치는 입력 신호의 프레임간에 수행된 예측 에러값의 양자화에 사용되는 것을 특징으로 하는 다중 경로 트랠리스 부호화 양자화 장치.
- 제7항에 있어서,상기 다중 경로 트랠리스 부호화 양자화 장치는 전처리(preprocessing)된 입력 신호를 양자화하는데 사용되는 것을 특징으로 하는 다중 경로 트랠리스 부호화 양자화 장치.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060030576A KR100728056B1 (ko) | 2006-04-04 | 2006-04-04 | 다중 경로 트랠리스 부호화 양자화 방법 및 이를 이용한다중 경로 트랠리스 부호화 양자화 장치 |
US11/608,956 US8706481B2 (en) | 2006-04-04 | 2006-12-11 | Multi-path trellis coded quantization method and multi-path coded quantizer using the same |
EP06824126A EP2008271A4 (en) | 2006-04-04 | 2006-12-13 | METHOD FOR CODED MULTI-WAY TRELLISQUANTIZATION AND THEREOF USED CODED MULTI-WAY QUANTIZER |
JP2009504102A JP2009532976A (ja) | 2006-04-04 | 2006-12-13 | 多重経路トレリス符号化量子化方法およびこれを用いた多重経路トレリス符号化量子化装置 |
PCT/KR2006/005422 WO2007114555A1 (en) | 2006-04-04 | 2006-12-13 | Multi-path trellis coded quantization method and multi-path coded quantizer using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060030576A KR100728056B1 (ko) | 2006-04-04 | 2006-04-04 | 다중 경로 트랠리스 부호화 양자화 방법 및 이를 이용한다중 경로 트랠리스 부호화 양자화 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100728056B1 true KR100728056B1 (ko) | 2007-06-13 |
Family
ID=38359316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060030576A KR100728056B1 (ko) | 2006-04-04 | 2006-04-04 | 다중 경로 트랠리스 부호화 양자화 방법 및 이를 이용한다중 경로 트랠리스 부호화 양자화 장치 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8706481B2 (ko) |
EP (1) | EP2008271A4 (ko) |
JP (1) | JP2009532976A (ko) |
KR (1) | KR100728056B1 (ko) |
WO (1) | WO2007114555A1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015170899A1 (ko) * | 2014-05-07 | 2015-11-12 | 삼성전자 주식회사 | 선형예측계수 양자화방법 및 장치와 역양자화 방법 및 장치 |
US10515646B2 (en) | 2014-03-28 | 2019-12-24 | Samsung Electronics Co., Ltd. | Method and device for quantization of linear prediction coefficient and method and device for inverse quantization |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2606552C2 (ru) * | 2011-04-21 | 2017-01-10 | Самсунг Электроникс Ко., Лтд. | Устройство для квантования коэффициентов кодирования с линейным предсказанием, устройство кодирования звука, устройство для деквантования коэффициентов кодирования с линейным предсказанием, устройство декодирования звука и электронное устройство для этого |
EP2700173A4 (en) * | 2011-04-21 | 2014-05-28 | Samsung Electronics Co Ltd | METHOD FOR QUANTIFYING LINEAR PREDICTIVE ENCODING COEFFICIENTS, METHOD FOR SOUND ENCODING, METHOD FOR DEQUANTIFYING LINEAR PREDICTIVE ENCODING COEFFICIENTS, METHOD FOR DECODING SOUND, AND RECORDING MEDIUM |
US10145707B2 (en) * | 2011-05-25 | 2018-12-04 | CSR Technology Holdings Inc. | Hierarchical context detection method to determine location of a mobile device on a person's body |
US10305557B2 (en) | 2013-12-20 | 2019-05-28 | Samsung Electronics Co., Ltd. | Codebook for multiple-input multiple-output system and communication method and apparatus using same |
CN111968655B (zh) | 2014-07-28 | 2023-11-10 | 三星电子株式会社 | 信号编码方法和装置以及信号解码方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040040265A (ko) * | 2002-11-01 | 2004-05-12 | 한국전자통신연구원 | 음성 부호화기용 선스펙트럼주파수 벡터 양자화 장치 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5271089A (en) * | 1990-11-02 | 1993-12-14 | Nec Corporation | Speech parameter encoding method capable of transmitting a spectrum parameter at a reduced number of bits |
US7003171B1 (en) | 1998-07-17 | 2006-02-21 | Fuji Photo Film Co., Ltd. | Method, apparatus and recording medium for data compression |
US6148283A (en) * | 1998-09-23 | 2000-11-14 | Qualcomm Inc. | Method and apparatus using multi-path multi-stage vector quantizer |
FI111887B (fi) | 2001-12-17 | 2003-09-30 | Nokia Corp | Menetelmä ja järjestely trelliksen läpikäymisen tehostamiseksi |
US20040002856A1 (en) * | 2002-03-08 | 2004-01-01 | Udaya Bhaskar | Multi-rate frequency domain interpolative speech CODEC system |
KR100486732B1 (ko) | 2003-02-19 | 2005-05-03 | 삼성전자주식회사 | 블럭제한된 트렐리스 부호화 양자화방법과 음성부호화시스템에있어서 이를 채용한 라인스펙트럼주파수 계수양자화방법 및 장치 |
-
2006
- 2006-04-04 KR KR1020060030576A patent/KR100728056B1/ko not_active IP Right Cessation
- 2006-12-11 US US11/608,956 patent/US8706481B2/en not_active Expired - Fee Related
- 2006-12-13 WO PCT/KR2006/005422 patent/WO2007114555A1/en active Application Filing
- 2006-12-13 JP JP2009504102A patent/JP2009532976A/ja active Pending
- 2006-12-13 EP EP06824126A patent/EP2008271A4/en not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040040265A (ko) * | 2002-11-01 | 2004-05-12 | 한국전자통신연구원 | 음성 부호화기용 선스펙트럼주파수 벡터 양자화 장치 |
Non-Patent Citations (1)
Title |
---|
공개특허공보 10-2004-0040265호 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10515646B2 (en) | 2014-03-28 | 2019-12-24 | Samsung Electronics Co., Ltd. | Method and device for quantization of linear prediction coefficient and method and device for inverse quantization |
US11450329B2 (en) | 2014-03-28 | 2022-09-20 | Samsung Electronics Co., Ltd. | Method and device for quantization of linear prediction coefficient and method and device for inverse quantization |
WO2015170899A1 (ko) * | 2014-05-07 | 2015-11-12 | 삼성전자 주식회사 | 선형예측계수 양자화방법 및 장치와 역양자화 방법 및 장치 |
US10504532B2 (en) | 2014-05-07 | 2019-12-10 | Samsung Electronics Co., Ltd. | Method and device for quantizing linear predictive coefficient, and method and device for dequantizing same |
US11238878B2 (en) | 2014-05-07 | 2022-02-01 | Samsung Electronics Co., Ltd. | Method and device for quantizing linear predictive coefficient, and method and device for dequantizing same |
US11922960B2 (en) | 2014-05-07 | 2024-03-05 | Samsung Electronics Co., Ltd. | Method and device for quantizing linear predictive coefficient, and method and device for dequantizing same |
Also Published As
Publication number | Publication date |
---|---|
JP2009532976A (ja) | 2009-09-10 |
EP2008271A4 (en) | 2012-02-08 |
US8706481B2 (en) | 2014-04-22 |
WO2007114555A1 (en) | 2007-10-11 |
US20070233473A1 (en) | 2007-10-04 |
EP2008271A1 (en) | 2008-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100728056B1 (ko) | 다중 경로 트랠리스 부호화 양자화 방법 및 이를 이용한다중 경로 트랠리스 부호화 양자화 장치 | |
US5271089A (en) | Speech parameter encoding method capable of transmitting a spectrum parameter at a reduced number of bits | |
US8229749B2 (en) | Wide-band encoding device, wide-band LSP prediction device, band scalable encoding device, wide-band encoding method | |
KR100712056B1 (ko) | 가변 비트율 음성 부호화에서의 선형 예측 매개변수들의견실한 예측 벡터 양자화를 위한 방법 및 장치 | |
US5819213A (en) | Speech encoding and decoding with pitch filter range unrestricted by codebook range and preselecting, then increasing, search candidates from linear overlap codebooks | |
JPH08263099A (ja) | 符号化装置 | |
KR100486732B1 (ko) | 블럭제한된 트렐리스 부호화 양자화방법과 음성부호화시스템에있어서 이를 채용한 라인스펙트럼주파수 계수양자화방법 및 장치 | |
KR100903110B1 (ko) | 트렐리스 부호 양자화 알고리듬을 이용한 광대역 음성 부호화기용 lsf 계수 양자화 장치 및 방법 | |
JP2004526213A (ja) | 音声コーデックにおける線スペクトル周波数ベクトル量子化のための方法およびシステム | |
US6988067B2 (en) | LSF quantizer for wideband speech coder | |
KR20060131782A (ko) | 최적의 다중 부호화 방법 | |
AU767450B2 (en) | Method and system for avoiding saturation of a quantizer during VBD communication | |
WO2011132368A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
KR100487719B1 (ko) | 광대역 음성 부호화를 위한 엘에스에프 계수 벡터 양자화기 | |
US8560306B2 (en) | Method and apparatus to search fixed codebook using tracks of a trellis structure with each track being a union of tracks of an algebraic codebook | |
CA2054849C (en) | Speech parameter encoding method capable of transmitting a spectrum parameter at a reduced number of bits | |
JP3045197B2 (ja) | ベクトル量子化器の符号帳設計方法 | |
KR100341398B1 (ko) | 씨이엘피형 보코더의 코드북 검색 방법 | |
EP0755047B1 (en) | Speech parameter encoding method capable of transmitting a spectrum parameter at a reduced number of bits | |
Shin et al. | Low-complexity predictive trellis coded quantization of wideband speech LSF parameters | |
EP0614075A2 (en) | Method for speech coding using Trellis Coded Quantization for Linear Predictive Coding quantization | |
Nurminen | Multi-mode quantization of adjacent speech parameters using a low-complexity prediction scheme. | |
CN101630510B (zh) | Amr语音编码中lsp系数量化的快速码本搜索的方法 | |
KR20010084468A (ko) | 음성 부호화기의 lsp 양자화기를 위한 고속 탐색 방법 | |
KR20000074997A (ko) | 음성 부호화기의 오류 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130530 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140529 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150528 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20160530 Year of fee payment: 10 |
|
LAPS | Lapse due to unpaid annual fee |