KR20040050810A - Method for restoring packet loss by using additional speech data and transmitter and receiver using the method - Google Patents

Method for restoring packet loss by using additional speech data and transmitter and receiver using the method Download PDF

Info

Publication number
KR20040050810A
KR20040050810A KR1020020077995A KR20020077995A KR20040050810A KR 20040050810 A KR20040050810 A KR 20040050810A KR 1020020077995 A KR1020020077995 A KR 1020020077995A KR 20020077995 A KR20020077995 A KR 20020077995A KR 20040050810 A KR20040050810 A KR 20040050810A
Authority
KR
South Korea
Prior art keywords
packet
data
bit rate
frame
lost
Prior art date
Application number
KR1020020077995A
Other languages
Korean (ko)
Other versions
KR100462024B1 (en
Inventor
지덕구
이인성
황정준
김대식
최송인
윤병식
김형중
박만호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2002-0077995A priority Critical patent/KR100462024B1/en
Publication of KR20040050810A publication Critical patent/KR20040050810A/en
Application granted granted Critical
Publication of KR100462024B1 publication Critical patent/KR100462024B1/en

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

PURPOSE: A method for recovering packet loss by using additional voice data is provided to use voice packet data as additional information for an FEC(Forward Error Correction), and to use additional voice packet data for an error correction in case a packet loss occurs, then to use an error hiding method in case the packet loss consecutively occurs, thereby improving deteriorated sound quality caused by the packet loss. CONSTITUTION: A voice signal is inputted in 1 frame unit(S61). A system decides whether voice signals of all frames are inputted(S62). If not, the system starts coding(S63). The coding process is divided into a low bit rate coding(S64) and a high bit rate coding(S66). The low bit rate coding is performed at 6.6kbit/s bit rate, and a voice signal coded at low bit rate is delayed for 1 frame(S65). A voice signal coded at high bit rate and the voice signal coded at the low bit rate are synthesized into one packet(S67). If the voice signals of all the frames are inputted, the system transmits the packets generated before this time(S68).

Description

부가 음성 데이터를 이용한 패킷 손실 복구 방법 및 이를 이용한 송수신기{METHOD FOR RESTORING PACKET LOSS BY USING ADDITIONAL SPEECH DATA AND TRANSMITTER AND RECEIVER USING THE METHOD}Packet Loss Recovery Using Additional Voice Data and Transceiver Using Them {Method for RESTORING PACKET LOSS BY USING ADDITIONAL SPEECH DATA AND TRANSMITTER AND RECEIVER USING THE METHOD}

본 발명은 부가 음성 데이터를 이용한 패킷 손실 복구 방법 및 이를 이용한 송수신기에 관한 것으로, 더욱 상세하게는 인터넷 환경과 같은 패킷 통신에서 빈번하게 발생하는 패킷 손실에 대해 저전송률 음성 패킷 데이터를 부가 음성 데이터로서 이용하여 손실 패킷을 복구하는 방법 및 이러한 방법을 이용한 송수신기에 관한 것이다.The present invention relates to a packet loss recovery method using additional voice data and a transceiver using the same. More particularly, the low-rate voice packet data is used as additional voice data for packet loss frequently occurring in packet communication such as an Internet environment. And a transceiver using the method.

인터넷은 패킷 교환방식 네트워크의 특징인 높은 전달 지연 및 패킷 손실(packet loss) 등으로 인하여 실시간 음성 통신을 구현하기가 매우 어렵다. 이러한 환경의 인터넷에서 실시간 멀티미디어 통신 서비스를 가능하게 하기 위해서는 음성 코딩 기술, 압축 기술, 패킷 복구 및 오류 은닉 기술이 요구된다.Due to the high propagation delay and packet loss, which is characteristic of packet-switched networks, the Internet is very difficult to implement real-time voice communication. In order to enable real-time multimedia communication services in the Internet in such an environment, voice coding technology, compression technology, packet recovery, and error concealment technology are required.

도 1에는 음성 패킷 손실의 복구 기술이 분류되어 있으며, 이 분류는 송신자 기반의 복구 방법에 따라 이루어진 것이다. 상기 도 1에 도시되어 있듯이, 패킷 손실의 복구 기술은 크게 능동적인 재전송 방법과 수동적인 채널 코딩 방법으로 나누어진다. 능동적인 재전송 방법이란 수신측에서 패킷 손실이 확인되면 송신측에서 손실된 패킷에 해당하는 부분을 다시 전송하는 방법이다. 상기 수동적인 채널 코딩은 다시 전통적인 순방향 오류 정정(FEC : Forward Error Correction)을 포함하는 채널 코딩 기술과 보간(interleaving)을 기반으로 하는 방법으로 나누어진다. 상기 순방향 오류 정정시의 부가 정보는 전형적으로 배타적 논리합 연산(XOR : exclusive OR) 연산에 기반을 둔 매체 독립적(media-independent)인 형태와, 전송하는 매체의 특징을 이용하는 매체 종속적(media-specific)인 형태로 다시 구분된다.In Fig. 1, a technique for recovering voice packet loss is classified, and this classification is performed according to a sender based recovery method. As shown in FIG. 1, a packet loss recovery technique is largely divided into an active retransmission method and a passive channel coding method. In the active retransmission method, when a packet loss is confirmed at the receiving side, the transmitting side retransmits a portion corresponding to the lost packet. The passive channel coding is further divided into channel coding techniques including traditional forward error correction (FEC) and interleaving based methods. The additional information in the forward error correction is typically a media-independent form based on an exclusive OR (XOR) operation, and media-specific using the characteristics of the transmitting medium. It is divided into forms again.

상기 방법들 중에서 능동적인 재전송 방식은 데이터에 대한 신뢰성은 높지만 수신측에서 송신측으로 피드백이 이루어져야 하므로 피드백에 의한 지연 현상이 발생하며, 이러한 속성으로 인해 이 방식을 이용하여 실시간 멀티미디어 서비스를 구현하는 데에는 적합하지 않다. 앞서 설명한 수동적인 채널 코딩 방법 중에서 보간법의 경우에는 손실을 분산시킴으로써 패킷 손실을 줄이는 것은 가능하지만, 능동적인 재전송 방식과 마찬가지로 지연이 증가하는 현상이 발생한다. 매체 독립적인 부가정보에 의한 순방향 에러 정정을 이용한 손실 패킷의 복구는 패킷의 내용에 관계없이 손실된 패킷을 처리하여 복구할 수 있고, 에러 정정 패킷을 유도하는데 필요한 계산량이 적다는 장점이 있으나 이 방법 역시 부가적인 지연이 크다.Among the above methods, the active retransmission method has high data reliability but needs feedback from the receiving side to the transmitting side, which causes delay due to feedback, which is suitable for implementing a real-time multimedia service using this method. Not. In the case of the above-described passive channel coding method, it is possible to reduce packet loss by distributing the loss in the interpolation method, but the delay increases like the active retransmission method. Recovering lost packets using forward error correction by medium independent side information can process and recover lost packets regardless of the contents of the packet, and there is a small amount of computation required to induce error correction packets. There is also an additional delay.

따라서, 실시간 음성 통신 서비스를 구현하기 위한 손실 패킷 복구 방법에서는 피드백 정보를 필요로 하지 않으며 이미 갖고 있는 음성 부호화 알고리즘을 이용하여 순방향 에러 정정 기능을 수행할 것이 요구된다. 이렇게 할 경우에는 전체적인 음성 통신 시스템의 구조가 간단해지고, 사용된 음성 패킷 데이터에 의한 순방향 에러 정정 코드는 음성의 중요한 특징 데이터로 구성되므로 음성 합성 시에 좋은 음질을 유지하는 것을 가능하게 한다.Therefore, the lost packet recovery method for implementing the real-time voice communication service does not require feedback information, and it is required to perform a forward error correction function using an existing speech encoding algorithm. In this case, the structure of the overall voice communication system is simplified, and since the forward error correction code based on the used voice packet data is composed of important feature data of voice, it is possible to maintain good sound quality during voice synthesis.

광대역 적응형 다중전송률 음성부호화 알고리즘은 9개의 전송률로 동작되는 다중전송률 음성부호화 알고리즘으로 고품질 음질을 전송하도록 설계되어 있으며, 이동통신 시스템이나 인터넷 전화에 사용 가능하도록 되어 있다. 본 발명에서는 패킷 손실이 없을 경우에는 부가 정보 없이 기존의 부호화기와 같이 동작을 하며 패킷 손실이 일어날 경우 상기 광대역 적응형 다중전송률 부호화기의 다 전송률 특징을 이용하여 낮은 전송률의 음성 부호화기의 음성 패킷 데이터를 순방향 에러 정정 코드로 사용하여 기존의 음성 데이터에 부가적으로 송신하며, 수신 단에서는 손실된 패킷을 복원할 때 상기 순방향 에러 정정 코드를 이용한다는 점에 특징이 있다. 이 때, 대역폭이 증가하게 되므로 부호화기의 부가정보의 경우에는 저 전송률인 6.60 Kbit/s 혹은 8.85 Kbit/s를 선택하는 것이 바람직하다.The broadband adaptive multirate voice encoding algorithm is a multirate voice encoding algorithm that operates at nine rates, and is designed to transmit high quality sound quality, and can be used in a mobile communication system or an Internet telephone. In the present invention, when there is no packet loss, it operates like an existing encoder without additional information. When packet loss occurs, the voice packet data of the low rate speech encoder is forwarded by using the multi-rate feature of the broadband adaptive multi-rate encoder. It is used as an error correction code and additionally transmitted to existing voice data, and the receiving end is characterized in that the forward error correction code is used to recover lost packets. In this case, since the bandwidth is increased, it is preferable to select 6.60 Kbit / s or 8.85 Kbit / s, which is a low data rate, for the additional information of the encoder.

한편, 패킷 손실의 복구에 관한 선행 특허로서, 대한민국 특허등록 제341391호(등록일 : 2002년 6월 7일)에는 "대화형 오디오 서비스를 위한 적응형 부가 전송 방법 및 패킷 손실 복구 방법과 이를 위한 멀티미디어 컴퓨터의 오디오 입출력 제어 장치"가 알려져 있다. 상기 선행 특허에서는 송신측 및 수신측으로 구성되는 부가 전송 처리기를 구비하여, 송신측에서는 수신측에서 피드백되는 손실 정보를 이용하여 부가 전송 방식을 동적으로 설정하고, 수신측에서는 부가 데이터를 이용하여 손실 패킷을 복구한다. 상기 선행 특허에서는 부가 정보를 구성하기 위하여 수신측으로부터 손실 정보를 피드백 받아야 하기 때문에, 피드백으로 인한 지연 현상이 필수적으로 발생하는 문제점이 있으며 손실 율에 따라 부가 정보의 지연 정도를 변화시킴으로써 손실 율이 증가함에 따라 복호화 지연이 증가하게 되는 단점을 가지고 있다.On the other hand, as a prior patent on the recovery of packet loss, Korean Patent Registration No. 341401 (Registration Date: June 7, 2002) discloses "Adaptive additional transmission method and packet loss recovery method for interactive audio service and multimedia for the same. Audio input / output control device of computer "is known. The prior patent has an additional transmission processor composed of a transmitting side and a receiving side, and the transmitting side dynamically sets the additional transmission scheme using the loss information fed back from the receiving side, and the receiving side recovers the lost packet using the additional data. do. In the preceding patent, since the loss information is required to be fed back from the receiver to configure additional information, there is a problem in that a delay caused by the feedback is inevitably caused, and the loss rate is increased by changing the delay degree of the additional information according to the loss rate. As a result, the decoding delay increases.

또한, 패킷 손실의 복구에 관한 선행 특허로서, 대한민국 특허등록 제238324호(등록일 : 1999년 10월 13일)에는 "오디오 신호의 에러 은닉 방법과 장치"가 알려져 있다. 상기 선행 특허는 삼각 변환기, 선택기 및 에러 은닉 데이터 발생기로 구성되며, 집중도를 이용하여 손실 프레임 전후 프레임의 오디오 신호 성분을 가장 잘 특징짓는 변환 계수를 찾아서 오디오 데이터를 복원하는 것에 특징이 있다. 그러나, 상기 선행 특허에서는 데이터 손실 시에 손실 프레임 전후 프레임 데이터를 보간하여 에러를 은닉할 뿐, 부가 정보를 이용하지 않기 때문에 복구의 정확도가 떨어지는 문제점이 있다.In addition, as a prior patent relating to the recovery of packet loss, Korean Patent Registration No. 238324 (Registration Date: October 13, 1999) discloses a method and apparatus for error concealment of an audio signal. The prior patent consists of a triangular converter, a selector, and an error concealment data generator, and is characterized by reconstructing the audio data by finding a conversion coefficient that best characterizes the audio signal component of the frame before and after the lost frame using the concentration. However, the above-mentioned patent has a problem in that the accuracy of recovery is inferior because the error is concealed by interpolating the frame data before and after the lost frame when data is lost, and additional information is not used.

본 발명은 상기 설명한 바와 같은 종래의 기술적 문제점을 해결하기 위한 것으로서, 입력 음성을 고비트율 정보와 저비트율 정보로 부호화하고 상기 저비트율 정보를 부가 음성 데이터로서 패킷을 구성하여 송신하며, 수신단에서 패킷 손실이 발생할 경우에 상기 부가 음성 데이터를 이용하여 손실된 패킷을 복원하는 한편, 2개 이상의 연속 패킷이 손실되었을 경우에는 하나의 패킷은 상기 부가 음성 데이터를 이용하여 복구하고 나머지 패킷은 미래 패킷과 과거 패킷의 파라미터들 간의 보간법을 적용하여 복구하는 패킷 손실 복구 방법 및 상기 복구 방법이 적용된 송수신기를 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-described technical problems. The present invention encodes an input speech into high bit rate information and a low bit rate information, and configures and transmits the low bit rate information as additional speech data, and packet loss at the receiving end. In this case, the lost packet is recovered by using the additional voice data, while when two or more consecutive packets are lost, one packet is recovered by using the additional voice data and the remaining packets are future and past packets. An object of the present invention is to provide a packet loss recovery method for recovering by applying interpolation between parameters, and a transceiver to which the recovery method is applied.

도 1은 음성 패킷 손실의 복구 기술을 분류한 도면.1 is a diagram of a technique for recovering voice packet loss.

도 2는 본 발명에 따른 패킷 손실 복구 방법이 적용되는 송수신기의 구조를 나타낸 도면.2 is a diagram illustrating a structure of a transceiver to which a packet loss recovery method according to the present invention is applied.

도 3은 부가 음성 데이터를 이용하여 패킷 손실을 복구하는 원리를 나타낸 도면.3 is a diagram illustrating a principle of recovering packet loss using additional voice data.

도 4a 및 도 4b는 광대역 적응형 다중전송률(AMR-WB) 부호화기에서의 각 모드당 비트 할당을 도표로 나타낸 도면.4A and 4B are diagrams illustrating bit allocation per mode in a wideband adaptive multiple bit rate (AMR-WB) encoder.

도 5는 보간법을 이용한 손실 패킷 재생산 과정을 나타낸 도면.5 is a diagram illustrating a lost packet reproduction process using interpolation.

도 6은 본 발명에 따른 손실 패킷 복구 방법의 송신단에서의 절차를 나타낸 도면.6 is a diagram illustrating a procedure at a transmitting end of a lost packet recovery method according to the present invention.

도 7은 본 발명에 따른 손실 패킷 복구 방법의 수신단에서의 절차를 나타낸 도면.7 is a diagram illustrating a procedure at a receiving end of a lost packet recovery method according to the present invention.

(도면의 주요 부분에 대한 부호의 설명)(Explanation of symbols for the main parts of the drawing)

11 : 음성 입력부 12 : 부호화기11: voice input unit 12: encoder

121 : 저비트율 부호화기 122 : 고비트율 부호화기121: low bit rate encoder 122: high bit rate encoder

13 : 지연기 14 : 패킷 구성부13 delay unit 14 packet configuration unit

15 : 패킷 송신부 20 : 인터넷15: packet transmission unit 20: the Internet

31 : 패킷 수신부 32 : 프레임 삭제/은닉부31: packet receiving unit 32: frame deletion / hiding unit

33 : 버퍼 34 : 부호화기33: buffer 34: encoder

341 : 음성 부호화기 35 : 음성 출력부341: speech encoder 35: speech output unit

이와 같은 목적을 달성하기 위한 본 발명의 하나의 특징에 따른 부가 음성 데이터를 이용한 송신단에서의 패킷 손실 복구 방법은,A packet loss recovery method at a transmitting end using additional voice data according to an aspect of the present invention for achieving the above object,

음성 신호를 프레임 단위로 입력받는 제1단계;Receiving a voice signal in units of frames;

상기 제1단계에서 입력된 음성 신호를 각각 저비트율과 고비트율로 부호화시키는 제2단계;A second step of encoding the voice signal input in the first step at a low bit rate and a high bit rate, respectively;

상기 제2단계에서 저비트율로 부호화된 음성 신호에 대해서 1프레임 동안 지연시키는 제3단계;A third step of delaying one frame of the speech signal encoded at a low bit rate in the second step;

상기 제3단계에서 얻어진 1 프레임 지연된 저비트율로 부호화된 신호와 상기 제2단계에서 얻어진 고비트율로 부호화된 신호를 합성하여 패킷을 구성하는 제4단계; 및A fourth step of composing a packet by synthesizing a signal encoded at a low bit rate with one frame delay obtained in the third step and a signal encoded at a high bit rate obtained in the second step; And

모든 음성 데이터에 대해 상기 제1 내지 제4단계의 과정을 완료한 경우에 상기 제4단계에서 얻어진 패킷을 전송시키는 제5단계를 포함한다.And a fifth step of transmitting the packet obtained in the fourth step when the processes of the first to fourth steps are completed for all voice data.

또한, 본 발명의 다른 특징에 따른 부가 음성 데이터를 이용한 수신단에서의 패킷 손실 복구 방법은,In addition, the packet loss recovery method at the receiving end using the additional voice data according to another aspect of the present invention,

패킷 데이터를 수신하여 비트 스트림 형태로 입력받는 제1단계;A first step of receiving packet data and receiving the data in the form of a bit stream;

상기 제1단계에서 입력된 패킷 데이터의 현재 프레임에서 손실이 발생하였는지를 검사하는 제2단계;A second step of checking whether a loss occurs in a current frame of the packet data input in the first step;

상기 제2단계에서 손실이 발생한 경우, 누적된 손실 프레임의 수가 소정 값 이상이면 손실 발생 직전의 올바르게 수신된 프레임 데이터를 손실된 프레임 데이터로 복사하는 제3단계;A third step of copying correctly received frame data immediately before the loss occurs to the lost frame data if the number of accumulated lost frames is greater than or equal to a predetermined value when the loss occurs in the second step;

상기 제2단계에서 손실이 발생하지 않은 경우, 누적된 손실 프레임의 수를 검사하는 제4단계;A fourth step of checking the accumulated number of lost frames if no loss occurs in the second step;

상기 제4단계에서 누적된 손실 프레임의 수가 "0"인 경우에는, 수신된 패킷 데이터 중에서 고비트율로 부호화된 데이터를 패킷 손실 발생 직전의 올바르게 수신된 데이터로서 치환하며, 상기 고비트율로 부호화된 데이터를 복호화하여 원래의 음성 신호를 생성하는 제5단계;When the number of lost frames accumulated in the fourth step is "0", the data encoded at the high bit rate among the received packet data is replaced with the correctly received data immediately before the packet loss occurs, and the data encoded at the high bit rate A fifth step of decoding the original speech signal;

상기 제4단계에서 누적된 손실 프레임의 수가 "1"인 경우에는, 손실 발생 프레임의 다음에 수신된 패킷에 첨가된 저비트율로 부호화된 부가 음성 데이터를 복호화하여 상기 손실 발생 프레임을 복구하고, 상기 고비트율로 부호화된 데이터를 복호화하여 원래의 음성 신호를 생성하는 제6단계; 및When the number of lost frames accumulated in the fourth step is "1", the additional loss data encoded at a low bit rate added to a packet received next to the lost frame is decoded to recover the lost frame. A sixth step of decoding an encoded data at a high bit rate to generate an original speech signal; And

상기 제4단계에서 누적된 손실 프레임의 수가 "2"인 경우에는, 가장 먼저 손실이 발생한 프레임에 대한 부가 음성 데이터와 손실 발생 직전의 올바르게 수신된 데이터에 대해 보간법을 적용하여 가정 먼저 손실된 프레임의 데이터를 복구하고, 나머지 프레임은 상기 제6단계의 과정을 적용하여 복구하는 한편, 상기 고비트율로 부호화된 데이터를 복호화하여 원래의 음성 신호를 생성하는 제7단계를 포함한다.When the number of lost frames accumulated in the fourth step is "2", the interpolation method is applied to the additional voice data for the first lost frame and the correctly received data immediately before the loss. Data is recovered, and the remaining frame includes the seventh step of recovering by applying the procedure of the sixth step, and generating the original speech signal by decoding the data encoded at the high bit rate.

이하에서는 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 가장 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2에는 본 발명에 따른 패킷 손실 복구 방법이 적용되는 송수신기의 구조가 도시되어 있다.2 shows a structure of a transceiver to which a packet loss recovery method according to the present invention is applied.

상기 도 2에 도시된 송수신기는 음성 입력부(11), G.722.2 규격에 따른 부호화기(12), 지연기(13), 패킷 구성부(14) 및 패킷 송신부로 구성되는 송신기와, 패킷 수신부(31), 프레임 삭제/은닉부(32), 버퍼부(33), G.722.2 규격에 따른 복호화기(34) 및 음성 출력부(35)로 구성되는 수신기로 이루어지며, 상기 송신기와 수신기는 인터넷(20)을 통해 서로 연결되어 있다. 상기 부호화기(12)는 저비트율 부호화기(121)와 고비트율 부호화기(122)를 포함하고 있으며, 상기 복호화기(34)는 음성 복호화기(341)를 포함하고 있다. 상기 부호화기(12)는 G.722.2 규격에 따른 부호화기로서, 광대역 적응형 다중전송률(AMR-WB) 부호화기이다.The transmitter shown in FIG. 2 is a transmitter comprising a voice input unit 11, an encoder 12 according to the G.722.2 standard, a delay unit 13, a packet constructing unit 14, and a packet transmitting unit, and a packet receiving unit 31. ), A frame deleting / hiding unit 32, a buffer unit 33, a decoder 34 and a voice output unit 35 according to the G.722.2 standard. 20) are connected to each other. The encoder 12 includes a low bit rate encoder 121 and a high bit rate encoder 122, and the decoder 34 includes a voice decoder 341. The encoder 12 is an encoder according to the G.722.2 standard and is a wideband adaptive multiple bit rate (AMR-WB) encoder.

동작이 시작되면, 상기 송신기의 음성 입력부(11)에서 입력된 음성 신호는 부호화기(12)로 입력되며, 상기 음성 신호는 부호화기(12)의 저비트율 부호화기(121)와 고비트율 부호화기(122)에 의해 각각 부호화된다. 상기 저비트율 부호화기(121)에서 출력되는 음성 신호는 다음 패킷의 부가 정보로 사용하기 위해 지연기(13)에서 1 프레임 동안 지연된다. 상기 지연기(13)와 고비트율 부호화기(122)의 출력은 패킷 구성부(14)로 입력되며, 상기 패킷 구성부(14)는 상기 고비트율 부호화기(122)에서 출력되는 현재 프레임의 고비트율로 부호화된 음성 신호와, 상기 지연기(13)에서 출력되는 이전 프레임의 저비트율로 부호화된 음성 신호를 합하여 하나의 패킷(packet)으로 구성한다. 상기 저비트율로 부호화된 음성신호는 수신측에서 손실된 패킷의 복구에 사용되는 부가 음성 데이터이다. 상기 패킷 구성부(14)에서 얻어진 패킷 데이터는 패킷 송신부(15)를 통해 인터넷(20)과 같은 패킷 통신망으로 전송된다.When the operation is started, the voice signal input from the voice input unit 11 of the transmitter is input to the encoder 12, and the voice signal is transmitted to the low bit rate encoder 121 and the high bit rate encoder 122 of the encoder 12. Are respectively encoded. The speech signal output from the low bit rate encoder 121 is delayed for one frame in the delay unit 13 for use as additional information of the next packet. The outputs of the delayer 13 and the high bit rate encoder 122 are input to the packet constructing unit 14, and the packet constructing unit 14 is a high bit rate of the current frame output from the high bit rate encoder 122. The encoded speech signal and the speech signal encoded at the low bit rate of the previous frame output from the delay unit 13 are combined into one packet. The speech signal encoded at the low bit rate is additional speech data used to recover a packet lost at the receiving end. The packet data obtained by the packet configuring unit 14 is transmitted to the packet communication network such as the Internet 20 via the packet transmitting unit 15.

다음으로, 수신기에서의 동작에 대해 설명한다. 상기 수신기의 패킷 수신부(31)는 인터넷(20)과 같은 패킷 통신망으로부터 패킷 데이터를 수신하며, 상기 수신된 패킷 데이터는 프레임 삭제/은닉부(32)와 버퍼(33)에 각각 입력된다. 상기 프레임 삭제/은닉부(32)는 입력된 프레임의 패킷 데이터가 정상적으로 수신되었는지를 검사하며, 1개의 패킷에서 손실이 발생하면 부가 음성 데이터를 이용하여 손실 패킷을 복구하고, 연속하는 2개 이상의 패킷에서 손실이 발생하면 손실된 첫 번째 패킷은 부가 음성 데이터를 이용하여 손실 패킷을 복구하며 나머지 패킷들은 이전에 올바르게 수신된 패킷과 상기 복구된 첫 번째 패킷에 대해 보간법을 적용하여 복구한다. 다음으로, 복호화기(34) 내의 음성 복호화기(341)에 의해 상기 프레임 삭제/은닉부(32)에서 출력되는 음성 패킷 데이터가 복호화되며, 상기 복호화는 G.722.2 규격에 따른 이루어진다. 상기 복호화기(34)에서 복호화된 신호는 음성 출력부(35)로 입력되며, 상기 음성 출력부(35)에 의해 복호화된 신호는 음성 신호로 변환되어 출력된다.Next, the operation in the receiver will be described. The packet receiving unit 31 of the receiver receives packet data from a packet communication network such as the Internet 20, and the received packet data is input to the frame erasing / hiding unit 32 and the buffer 33, respectively. The frame deletion / hiding unit 32 checks whether the packet data of the input frame has been normally received. If a loss occurs in one packet, the frame deletion / hiding unit 32 recovers the lost packet by using additional voice data, and consecutive two or more packets. When a loss occurs in the first packet, the lost first packet recovers the lost packet using additional voice data, and the remaining packets are recovered by applying interpolation to the previously correctly received packet and the recovered first packet. Next, the voice packet data output from the frame deletion / hiding unit 32 is decoded by the voice decoder 341 in the decoder 34, and the decoding is performed according to the G.722.2 standard. The signal decoded by the decoder 34 is input to the voice output unit 35, and the signal decoded by the voice output unit 35 is converted into a voice signal and output.

도 3에는 부가 음성 데이터를 이용하여 패킷 손실을 복구하는 원리가 도시되어 있다. 상기 도 3에 도시되어 있듯이, 각 패킷은 현재 프레임의 부호화된 음성 패킷 데이터와 이전 프레임의 부가 음성 데이터로 구성되어 있다. 즉, n번째 패킷은 n번째 음성 패킷 데이터와 (n-1)번째 패킷의 부가 음성 데이터로 구성된다. 도3의 각 패킷은 두 개의 블록으로 이루어지며, 첫 번째 블록은 직전 프레임의 부가 음성 데이터를 나타내고 두 번째 블록은 현재 프레임의 부호화된 음성 패킷 데이터를 나타낸다.3 illustrates a principle of recovering packet loss using additional voice data. As shown in FIG. 3, each packet is composed of encoded speech packet data of a current frame and additional speech data of a previous frame. That is, the n th packet is composed of n th voice packet data and additional voice data of the (n-1) th packet. Each packet of Fig. 3 is composed of two blocks, the first block representing additional speech data of the previous frame and the second block representing encoded speech packet data of the current frame.

앞서 설명한 바와 같이, 수신기 측에서 수신된 패킷의 손실 여부를 검사하여 단일 패킷, 예를 들어 (n+1)번째 패킷에 손실이 발생한 경우에는, 바로 다음 패킷인 (n+2)번째 패킷에 첨가되어 있는 부가 음성 데이터에 의해 상기 (n+1)번째 패킷이 복구된다. 상기 수신기 측에서 2개의 연속된 패킷, 예를 들어 n번째 패킷과 (n+1)번째 패킷에 손실이 발생한 경우에는 먼저 (n+2)번째 패킷에 포함된 (n+1)번째 패킷의 부가 음성 데이터로 (n+1)번째 패킷을 복구하고, 패킷 손실이 발생하기 이전에 올바르게 수신된 최종 패킷, 즉, (n-1)번째 패킷과 상기 복구된 (n+1)번째 패킷에 대해 보간법을 적용하여 n번째 패킷을 재생산한다. 한편, 2개 이상의 패킷에 손실이 발생한 경우, 예를 들어 도 3의 (n-1)번째 패킷에도 손실이 발생한 경우에는 이전에 올바르게 수신된 패킷, 즉 (n-2)번째 패킷을 복사하는 방법이 사용될 수 있다. 이 때에는 부호 여진 선형 예측(CELP : Code Excited Linear Prediction)법을 기반으로 하는 부호화기의 특징인 상태의 비동기로 인한 오류의 전파를 줄이기 위하여 과거 여기 신호를 초기화함으로써 음질 저하를 줄일 수 있다.As described above, if a packet received at the receiver is lost, and a loss occurs in a single packet, for example, the (n + 1) th packet, it is added to the (n + 2) th packet immediately after the packet. The (n + 1) th packet is recovered by the additional audio data. In case of loss of two consecutive packets, for example, the nth packet and the (n + 1) th packet, the receiver adds the (n + 1) th packet included in the (n + 2) th packet first. Recover the (n + 1) th packet with voice data and interpolate the last packet correctly received before packet loss occurred, i.e., the (n-1) th packet and the recovered (n + 1) th packet Apply n to reproduce the n th packet. Meanwhile, when a loss occurs in two or more packets, for example, when a loss occurs in the (n-1) th packet of FIG. 3, a method for copying a previously received packet, that is, the (n-2) th packet, is copied. This can be used. In this case, in order to reduce propagation of an error due to asynchronous state, which is a characteristic of an encoder based on Code Excited Linear Prediction (CELP), the degradation of sound quality can be reduced by initializing the past excitation signal.

본 발명에 따른 송수신기에서는 광대역 적응형 다중전송률 부호화기의 특징인 다중전송률을 이용하고 있다. 즉, 두 개의 다른 음성 부호화기를 사용하는 것이 아니라, 여러 모드가 존재하는 광대역 적응형 다중전송률(AMR-WB) 부호화기를 사용하여 음성 신호를 고비트율 정보와 저비트율 정보로 부호화한다. 즉, 송신기 측에서는 한 프레임에 대해 고비트율 정보로 이루어진 원래의 음성 신호와 저비트율 정보로 이루어진 부가 음성 데이터를 혼합하여 하나의 패킷을 생성하여 전송한다. 그리고, 수신기 측에서는 상기 고비트율 정보를 이용해 복호화하여 원래의 음성 신호를 복원하는 한편, 패킷 손실이 발생하면 다음 패킷에 첨가되어 전송된 부가 음성 데이터를 이용하여 순방향 에러 정정(FEC : Forward Error Correction)을 수행함으로써 손실된 패킷을 복구한다. 도 4a 및 도 4b에는 광대역 적응형 다중전송률(AMR-WB) 부호화기에서의 각 모드별 비트 할당이 도표로 도시되어 있다. 본 발명에 따른 송수신기에서는 손실이 발생하지 않는 경우에는 광대역 적응형 다중 전송률 부호화기의 모드를 동일하게 사용하며, 패킷 손실이 발생하여 부가 정보를 삽입할 경우에는 부가 정보의 전송률을 선택하여 사용하도록 구성한다. 예를 들어 본 발명에 따른 송수신기에서 부가 정보로 6.6 kbps 모드를 사용하고 총 16가지의 전송 모드를 가지도록 다음과 같이 구성할 수 있다. 16개의 모드를 나타내기 위하여 총 4개의 비트를 할당하여 ‘0000’(0)부터 ‘1000’(8)까지는 광대역 적응형 다중 전송률 부호화기의 9개 모드를 사용하고, ‘1001’(9)부터 ‘1111’(15) 까지 7개 모드는 광대역 적응형 다중 전송률 부호화기(1에서 8까지의 모드)에 부가 정보가 포함된 모드이다.The transceiver according to the present invention utilizes a multi-rate, which is a feature of a wideband adaptive multi-rate coder. In other words, instead of using two different voice coders, a voice signal is encoded into high bit rate information and low bit rate information using a wideband adaptive multiple bit rate (AMR-WB) coder having several modes. That is, the transmitter generates and transmits one packet by mixing an original speech signal composed of high bit rate information and additional speech data composed of low bit rate information for one frame. The receiver recovers the original speech signal by decoding using the high bit rate information, and when a packet loss occurs, forward error correction (FEC) is performed using additional speech data added to the next packet and transmitted. Recover lost packets by doing 4A and 4B are diagrams showing bit allocation for each mode in a wideband adaptive multiple bit rate (AMR-WB) encoder. In the transceiver according to the present invention, when the loss does not occur, the mode of the wideband adaptive multi-rate encoder is used in the same manner, and when the packet loss occurs and the additional information is inserted, the transmission rate of the additional information is selected and used. . For example, in the transceiver according to the present invention, 6.6 kbps mode may be used as additional information and a total of 16 transmission modes may be configured as follows. In order to indicate 16 modes, a total of 4 bits are allocated to use the nine modes of the broadband adaptive multi-rate encoder from '0000' (0) to '1000' (8), and from '1001' (9) to ' The seven modes up to 1111 '(15) are modes in which additional information is included in the wideband adaptive multiple bit rate encoder (modes 1 to 8).

본 발명에서는 연속적인 2개 이상의 패킷에 손실이 발생한 경우, 음성 부호화기의 특징을 이용해 첫 번째 패킷은 부가 음성 데이터를 이용하여 복구하고, 나머지 패킷은 보간법을 이용하여 재생산하여 손실 패킷을 복구함으로써 오류를 은닉하는 기술이 이용되고 있다.In the present invention, when two or more consecutive packets are lost, the first packet is recovered using additional speech data using the feature of the speech encoder, and the remaining packets are reproduced using interpolation to recover the lost packets. A concealment technique is used.

음성 부호화기 중 현재 최고의 손실 패킷 복구 방법은 이전에 올바르게 수신한 패킷의 파라미터를 감쇄시켜서 손실된 패킷에서 사용하는 방법이다. 이 방법은 부가적인 지연을 필요로 하지 않는 장점이 있기 때문에 최근의 음성 부호화기 표준에 사용되고 있다. 그러나, 일률적으로 파라미터 값을 감쇄시키기 때문에 연속적인 패킷에서 손실이 발생한 경우에는 음질 왜곡이 심각하게 발생한다.Currently, the best packet loss recovery method among speech encoders is to use a lost packet by attenuating the parameters of previously received packets. This method is used in recent speech coder standards because it has the advantage of not requiring additional delay. However, since the parameter values are uniformly attenuated, sound distortion occurs seriously when loss occurs in consecutive packets.

본 발명에 따른 손실 패킷 복구 방법은 부가 음성 데이터를 이용하는 방법으로서, 도 5에 도시된 바와 같이, 복구 불가능한 연속 패킷에서 손실이 발생할 경우에 효과적으로 적용할 수 있다. 즉, 도 5에 도시된 바와 같이, 2개의 연속적인 패킷에서 손실이 발생한 경우에 일반적인 한 개의 패킷은 부가 음성 데이터로 복구될 수 있지만, 다른 패킷은 기존 기술로는 복구할 수 없었다. 본 발명에서는 도 5에 도시된 바와 같이, 부가 음성 데이터에 의해 복구된 패킷을 미래 패킷 정보로 하고, 복구가 불가능한 패킷의 바로 직전에 올바르게 수신된 패킷을 과거 패킷으로 하여, 상기 미래 패킷과 과거 패킷의 파라미터들 간에 보간법을 적용함으로써 상기 복구 불가능한 패킷을 대체할 수 있는 패킷을 생성한다. 여기서, 적응 코드북 이득에 대해서는 선형 보간법이 적용되고, 적응 코드북 인덱스에 대해서는 미디언 평활법(median smoothing)이 적용된다. 그러나, LSF와 고정 코드북 이득에 대해서는 보간법을 적용하는 것이 어렵기 때문에 미래 패킷의 파라미터를 그대로 복사하여 사용한다. 만약, 3개 이상의 연속적인 패킷에 손실이 발생한다면, 손실이 발생하기 이전에 마지막으로 올바르게 수신된 패킷을 가장 먼저 손실이 발생한 패킷의 대체 패킷으로 복사하여 사용한다.The lost packet recovery method according to the present invention is a method using additional voice data, and can be effectively applied when loss occurs in a non-recoverable continuous packet as shown in FIG. 5. That is, as shown in Fig. 5, when a loss occurs in two consecutive packets, one packet can be recovered as additional voice data, but the other packet cannot be recovered by the existing technology. In the present invention, as shown in Fig. 5, the packet recovered by the additional voice data is used as future packet information, and the packet correctly received immediately before the non-recoverable packet is used as the past packet. By applying interpolation between the parameters of, it is possible to generate a packet that can replace the non-recoverable packet. Here, linear interpolation is applied to the adaptive codebook gain, and median smoothing is applied to the adaptive codebook index. However, since it is difficult to apply interpolation for LSF and fixed codebook gain, the parameters of future packets are copied as is. If a loss occurs in three or more consecutive packets, the last correctly received packet before the loss occurs is copied and used as a replacement packet of the first lost packet.

일반적으로, 부호 여진 선형 예측(CELP : Code Excited Linear Prediction)을 기반으로 하는 부호화기는 음성의 현재 상태를 기초로 한 모델 파라미터를 생성한다. 이러한 파라미터들을 전송하고 복호화하기 위해서는 이 파라미터로 자체 상태를 생성해서 음성을 재생한다. 일반적인 동작에서는 부호화기가 부호화하면서 갱신되는 상태의 변화와 복호화기에서 복호화하면서 갱신되는 상태의 변화가 동일하므로, 복호화기에서는 전송된 파라미터로부터 원음을 재생할 수 있다. 그러나, 패킷 손실이 발생하면, 부호화기와 복호화기의 상태 동기가 더 이상 맞지 않으므로 복호화기에서는 원활히 상태를 갱시할 수 없게 된다. 따라서, 더 이상 패킷 손실이 발생하지 않는다 하더라도 복호화기에서는 정확히 갱신되지 않은 상태를 이용하여 올바르게 수신되지 않은 패킷에 대해서도 재생하기 때문에 음질저하가 필연적으로 발생한다. 결과적으로, 부정확한 예측 상태는 손실된 프레임 이후의 신호를 복호화할 때 음질 저하를 유발시키므로 예측 상태를 정확히 갱신하지 않고 음성신호를 복구하지 말아야 한다. 본 발명에 따른 손실 패킷 복구 방법에서는 복호화기에서 복구하지 못하는 프레임에 대해 과거의 여기 신호를 "0"으로 초기화하는 방법을 사용하여 상태 오류를 감소시킬 수 있다.In general, an encoder based on Code Excited Linear Prediction (CELP) generates a model parameter based on the current state of speech. To transmit and decode these parameters, it creates its own state to play the voice. In a general operation, since the change in the state updated while the encoder is updated is the same as the change in the state updated while the decoder is decoding, the decoder can reproduce the original sound from the transmitted parameter. However, if packet loss occurs, the state synchronization between the encoder and the decoder no longer matches, and the decoder cannot smoothly update the state. Therefore, even if the packet loss no longer occurs, the sound quality inevitably occurs because the decoder reproduces even the packet which is not correctly received using the state that is not correctly updated. As a result, an incorrect prediction state causes a deterioration in sound quality when decoding a signal after a lost frame, so that the speech signal should not be recovered without correctly updating the prediction state. In the lost packet recovery method according to the present invention, a state error can be reduced by using a method of initializing a past excitation signal to "0" for a frame that the decoder cannot recover.

다음으로, 도 6 및 도 7을 참조하여 본 발명에 따른 손실 패킷 복구 방법의 송수신단에서의 절차를 설명한다. 도 6에는 본 발명에 따른 손실 패킷 복구 방법의 송신단에서의 절차가 도시되어 있고, 도 7에는 본 발명에 따른 손실 패킷 복구 방법의 수신단에서의 절차가 도시되어 있다.Next, the procedure at the transmitting and receiving end of the lost packet recovery method according to the present invention will be described with reference to FIGS. 6 and 7. 6 shows a procedure at a transmitting end of a lost packet recovery method according to the present invention, and FIG. 7 shows a procedure at a receiving end of a lost packet recovery method according to the present invention.

먼저, 도 6을 참조하여 본 발명에 따른 손실 패킷 복구 방법의 송신단에서의절차를 설명한다.First, the procedure at the transmitting end of the lost packet recovery method according to the present invention will be described with reference to FIG.

동작이 시작되면, 음성 신호가 1 프레임 단위로 입력된다(S61). 다음으로, 모든 프레임의 음성 신호가 입력되었는지를 판단한다(S62). 상기 단계(S62)에서 모든 프레임의 음성 신호가 입력된 경우에는 이미 생성되어 있는 패킷을 전송한다(S68). 상기 단계(S62)에서 모든 프레임의 음성 신호가 입력되지 않은 경우에는 인코딩, 즉 부호화를 시작한다(S63). 부호화는 저비트율 부호화(S64)와 고비트율 부호화(S66)가 병렬적으로 이루어진다. 상기 저비트율 부호화는 6.6 kbit/s의 비트율로 이루어지며, 저비트율로 부호화된 음성 신호에 대해서는 1 프레임 동안 지연되는 동작(S65)이 수행된다. 상기 고비트율 부호화가 수행된 음성 신호와 1 프레임 지연된 저비트율 부호화가 수행된 음성 신호는 하나의 패킷으로 합성된다(S67). 이 때, 하나의 패킷은 현재 프레임의 고비트율로 부호화된 음성 신호와 이전 프레임의 저비트율로 부호화된 부가 음성 데이터로 구성되게 된다. 상기 단계(S62)에서 음성 신호의 모든 프레임이 입력된 경우에는 그 동안 생성된 패킷이 전송된다(S68).When the operation starts, the voice signal is input in units of one frame (S61). Next, it is determined whether the audio signals of all the frames are input (S62). If the voice signals of all the frames are input in the step S62, the already generated packet is transmitted (S68). If the voice signals of all the frames are not input in step S62, encoding, that is, encoding is started (S63). In encoding, low bit rate encoding (S64) and high bit rate encoding (S66) are performed in parallel. The low bit rate encoding is performed at a bit rate of 6.6 kbit / s, and an operation S65 is delayed for one frame for the speech signal encoded at the low bit rate. The speech signal on which the high bit rate encoding is performed and the speech signal on which the low bit rate encoding is delayed by one frame are synthesized into one packet (S67). At this time, one packet includes a speech signal encoded at the high bit rate of the current frame and additional speech data encoded at the low bit rate of the previous frame. When all the frames of the voice signal are input in step S62, the packets generated during the transmission are transmitted (S68).

다음으로, 도 7을 참조하여 본 발명에 따른 손실 패킷 복구 방법의 수신단에서의 절차를 설명한다.Next, the procedure at the receiving end of the lost packet recovery method according to the present invention will be described with reference to FIG.

수신단의 동작이 시작되면, 인터넷과 같은 패킷 통신망으로부터 패킷 데이터가 수신된다(S71). 다음으로, 상기 수신된 패킷 데이터는 비트 스트림 형태로 입력된다(S72). 다음으로, 수신된 데이터가 모두 입력되었는지 판단하며(S73), 모든 데이터가 입력된 경우에는 패킷 복구 절차가 종료된다. 상기 단계(S73)에서 모든 데이터가 입력되지 않은 경우에는 패킷에 손실이 발생하였는지를 확인하기 위하여 배드 프레임 지시 변수(BFI : Bad Frame Indicator)를 검사한다(S74). 상기 배드 프레임 지시 변수는 "0" 또는 "1"의 상태 값을 가지며, 해당 프레임에 손실이 발생한 경우에는 상기 상태 값이 "0"으로 되고 해당 프레임에 손실이 없는 경우에는 상기 상태 값이 "1"로 된다. 다음으로, 상기 배드 프레임 지시 변수(BFI)가 "0"인지, 즉 프레임에 손실이 있는지를 판단한다(S75).When the operation of the receiver is started, packet data is received from a packet communication network such as the Internet (S71). Next, the received packet data is input in the form of a bit stream (S72). Next, it is determined whether all received data is input (S73), and when all data is input, the packet recovery procedure ends. If all data is not input in step S73, the bad frame indicator variable (BFI: Bad Frame Indicator) is inspected to determine whether a loss occurs in the packet (S74). The bad frame indication variable has a state value of "0" or "1", and if the loss occurs in the frame, the state value is "0", and if there is no loss in the frame, the state value is "1". ". Next, it is determined whether the bad frame indication variable BFI is "0", that is, whether there is a loss in the frame (S75).

상기 단계(S75)에서 현재 프레임에 손실이 있는 경우, 즉 배드 프레임 지시 변수(BFI)가 "0"인 경우에는 배드 프레임 카운트 변수(BFC : Bad Frame Count)가 "3"인지를 판단한다(S76). 상기 단계(S76)에서 배드 프레임 카운트 변수가 "3"이 아닌 경우에는 상기 배드 프레임 카운트 변수를 하나 업카운트하고(S79) 상기 단계(S72)로 점프한다. 한편, 상기 단계(S76)에서 배드 프레임 카운트 변수(BFC)가 "3"인 경우에는 패킷 손실이 발생하기 이전에 올바르게 수신된 마지막 프레임 데이터인 R-data(본 발명의 실시예에서 정의된 개념)를 손실이 발생한 프레임으로 복사함으로써 복호화를 수행하고(S77), 상기 배드 프레임 카운트 변수(BFC)를 다운카운트한다(S78).When there is a loss in the current frame in step S75, that is, when the bad frame indication variable BFI is "0", it is determined whether the bad frame count variable (BFC: Bad Frame Count) is "3" (S76). ). If the bad frame count variable is not "3" in step S76, the bad frame count variable is counted up one step (S79), and the process jumps to the step S72. On the other hand, if the bad frame count variable BFC is "3" in step S76, R-data (the concept defined in the embodiment of the present invention) is the last frame data correctly received before packet loss occurs. Is decoded by copying the frame into the lost frame (S77), and the bad frame count variable BFC is down counted (S78).

상기 단계(S75)에서 현재 프레임에 손실이 없는 경우, 즉 배드 프레임 지시 변수(BFI)가 "1"인 경우에는 상기 배드 프레임 카운트 변수(BFC)가 "0, 1, 2" 중 하나인지를 판단한다(S80, S81). 상기 단계(S80)에서 상기 배드 프레임 카운트 변수(BFC)가 "0"인 경우에는 현재 프레임에 손실이 없을 뿐만 아니라 누적된 손실 프레임도 없는 경우이며, 이 경우에는 수신된 패킷 데이터 중에서 고비트율로 부호화된 데이터(H-data)를 패킷 손실이 발생하기 이전에 올바르게 수신된 마지막 프레임 데이터(R-data)로서 치환한다(S83). 다음으로, 상기 고비트율로 부호화된 데이터(H-data)를 복호화하여 원래의 음성 신호를 생성하고(S85), 상기 배드 프레임 카운트 변수(BFC)를 "0"으로 초기화한후 상기 단계(S72)로 점프한다.If there is no loss in the current frame in step S75, that is, if the bad frame indication variable BFI is "1", it is determined whether the bad frame count variable BFC is one of "0, 1, 2". (S80, S81). When the bad frame count variable BFC is "0" in the step S80, there is no loss in the current frame as well as no accumulated loss frames. In this case, encoding is performed at a high bit rate among the received packet data. The received data H-data is replaced with the last frame data R-data correctly received before packet loss occurs (S83). Next, the original audio signal is generated by decoding the H-data encoded at the high bit rate (S85), after initializing the bad frame count variable (BFC) to "0" (S72). Jump to

상기 단계(S81)에서 상기 배드 프레임 카운트 변수(BFC)가 "1"인 것으로 판단되면, 이 경우는 입력된 1 프레임에 손실이 발생한 경우이다. 따라서, 1 프레임 이후의 패킷에 첨가된 6.60 kbit/s의 저비트율로 부호화된 부가 음성 데이터를 복호화하여 상기 손실이 발생한 프레임을 복구한다(S84). 그 다음에는 상기 설명한 단계(S85)를 거치도록 함으로써 정상적인 부호화 과정이 수행되도록 한다.If it is determined in step S81 that the bad frame count variable BFC is "1", this case is a case where a loss occurs in one input frame. Accordingly, the frame in which the loss occurs is recovered by decoding the additional speech data encoded at a low bit rate of 6.60 kbit / s added to the packet after one frame (S84). Next, the normal encoding process is performed by passing the above-described step (S85).

상기 단계(S81)에서 상기 배드 프레임 카운트 변수(BFC)가 "2"인 것으로 판단되면, 이 경우는 입력된 연속 2프레임에서 손실이 발생한 경우이다. 이 경우에는 6.6 kbit/s의 저비트율로 부호화된 가장 먼저 손실이 발생한 프레임에 대한 부가 음성 데이터와 손실 발생 직전의 올바르게 수신된 데이터(R-data)에 대해 보간법을 수행하여 가장 먼저 손실된 프레임의 데이터를 복구한다(S82). 다음으로, 상기 단계(S84)를 통해 나머지 프레임의 손실이 복구되도록 한 후, 상기 단계(S85)를 거치도록 하여 정상적인 복호화 과정이 수행되도록 한다. 이렇게 함으로써, 손실이 발생한 프레임의 수에 맞게 적절한 복구가 이루어질 수 있으며, 정상적인 복호화가 수행될 수 있다.If it is determined in step S81 that the bad frame count variable BFC is "2", this case is a case where a loss occurs in two consecutive input frames. In this case, interpolation is performed on the additional speech data for the first lost frame encoded at a low bit rate of 6.6 kbit / s and the correctly received data (R-data) immediately before the loss. Data is recovered (S82). Next, after the loss of the remaining frames are recovered through the step S84, the normal decoding process is performed by the step S85. By doing so, appropriate recovery can be made according to the number of lost frames, and normal decoding can be performed.

위에서 양호한 실시예에 근거하여 이 발명을 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것이다. 이 발명이 속하는 분야의숙련자에게는 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화 예나 변경 예 또는 조절 예를 모두 포함하는 것으로 해석되어야 할 것이다.While the invention has been described above based on the preferred embodiments thereof, these embodiments are intended to illustrate rather than limit the invention. It will be apparent to those skilled in the art that various changes, modifications, or adjustments to the above embodiments can be made without departing from the spirit of the invention. Therefore, the protection scope of the present invention will be limited only by the appended claims, and should be construed as including all such changes, modifications or adjustments.

이상에서와 같이, 본 발명은 광대역 적응형 다중전송률(AMR-WB) 부호화기의 다중 전송률을 이용하여 순방향 오류정정(FEC) 방법으로 하나의 패킷 손실을 복구하고, 복구 불가능한 패킷에 대해서는 과거에 올바르게 수신한 패킷과 부가 정보로 복구한 패킷에 보간법을 적용하여 오류를 은닉함으로서 패킷 손실을 복구한다. 또한, 패킷 손실로 유발된 상태의 비동기로 발생하는 상태 오류를 줄이기 위해 복구 불가능할 경우 복호화기에서 과거 여기 신호를 '0'으로 초기화하는 방법으로 상태 오류를 줄일 수 있다. 이 방법은 피드백 정보를 필요로 하지 않으며 지연이 발생하지 않으므로 IMT-2000 시스템과 인터넷망과의 음성 통신을 위한 광대역 적응형 다중전송률 부호화기의 전송 손실 보완 방법으로 사용될 수 있다.As described above, the present invention recovers one packet loss by using a forward error correction (FEC) method by using the multiple bit rate of the broadband adaptive multiple bit rate (AMR-WB) encoder, and correctly receives the unrecoverable packet in the past. Packet loss is recovered by concealing errors by applying interpolation to packets recovered from one packet and additional information. In addition, in order to reduce asynchronous state error caused by packet loss, the decoder can initialize the past excitation signal to '0' to reduce the state error. Since this method does not require feedback information and does not cause delay, it can be used as a transmission loss compensation method of a broadband adaptive multi-rate encoder for voice communication between the IMT-2000 system and the Internet.

Claims (12)

음성 신호를 프레임 단위로 입력받는 제1단계;Receiving a voice signal in units of frames; 상기 제1단계에서 입력된 음성 신호를 각각 저비트율과 고비트율로 부호화시키는 제2단계;A second step of encoding the voice signal input in the first step at a low bit rate and a high bit rate, respectively; 상기 제2단계에서 저비트율로 부호화된 음성 신호에 대해서 1프레임 동안 지연시키는 제3단계;A third step of delaying one frame of the speech signal encoded at a low bit rate in the second step; 상기 제3단계에서 얻어진 1 프레임 지연된 저비트율로 부호화된 신호와 상기 제2단계에서 얻어진 고비트율로 부호화된 신호를 합성하여 패킷을 구성하는 제4단계; 및A fourth step of composing a packet by synthesizing a signal encoded at a low bit rate with one frame delay obtained in the third step and a signal encoded at a high bit rate obtained in the second step; And 모든 음성 데이터에 대해 상기 제1 내지 제4단계의 과정을 완료한 경우에 상기 제4단계에서 얻어진 패킷을 전송시키는 제5단계를 포함하는And a fifth step of transmitting the packet obtained in the fourth step when the processes of the first to fourth steps are completed for all voice data. 부가 음성 데이터를 이용한 송신단에서의 패킷 손실 복구 방법.Packet loss recovery method in a transmitting end using additional voice data. 제1항에 있어서,The method of claim 1, 상기 제2단계에서의 저비트율 부호화는 6.6 kbit/s의 비트율로 이루어지는 것을 특징으로 하는The low bit rate encoding in the second step is characterized by consisting of a bit rate of 6.6 kbit / s 부가 음성 데이터를 이용한 송신단에서의 패킷 손실 복구 방법.Packet loss recovery method in a transmitting end using additional voice data. 제1항에 있어서,The method of claim 1, 상기 제3단계에서의 저비트율로 부호화된 음성 신호는 부가 음성 데이터로서 사용되며, 1 프레임 지연되어 다음 프레임의 음성 신호와 함께 패킷으로 결합되어 전송되는 것을 특징으로 하는The speech signal encoded at the low bit rate in the third step is used as additional speech data, and is delayed by one frame and combined and transmitted in a packet together with the speech signal of the next frame. 부가 음성 데이터를 이용한 송신단에서의 패킷 손실 복구 방법.Packet loss recovery method in a transmitting end using additional voice data. 제1항에 있어서,The method of claim 1, 상기 저비트율과 고비트율 부호화는 광대역 적응형 다중전송률 부호화기에서 수행되는 것을 특징으로 하는The low bit rate and high bit rate encoding is performed in a wideband adaptive multi-rate encoder. 부가 음성 데이터를 이용한 송신단에서의 패킷 손실 복구 방법.Packet loss recovery method in a transmitting end using additional voice data. 패킷 데이터를 수신하여 비트 스트림 형태로 입력받는 제1단계;A first step of receiving packet data and receiving the data in the form of a bit stream; 상기 제1단계에서 입력된 패킷 데이터의 현재 프레임에서 손실이 발생하였는지를 검사하는 제2단계;A second step of checking whether a loss occurs in a current frame of the packet data input in the first step; 상기 제2단계에서 손실이 발생한 경우, 누적된 손실 프레임의 수가 소정 값 이상이면 손실 발생 직전의 올바르게 수신된 프레임 데이터를 손실된 프레임 데이터로 복사하는 제3단계;A third step of copying correctly received frame data immediately before the loss occurs to the lost frame data if the number of accumulated lost frames is greater than or equal to a predetermined value when the loss occurs in the second step; 상기 제2단계에서 손실이 발생하지 않은 경우, 누적된 손실 프레임의 수를 검사하는 제4단계;A fourth step of checking the accumulated number of lost frames if no loss occurs in the second step; 상기 제4단계에서 누적된 손실 프레임의 수가 "0"인 경우에는, 수신된 패킷 데이터 중에서 고비트율로 부호화된 데이터를 패킷 손실 발생 직전의 올바르게 수신된 데이터로서 치환하며, 상기 고비트율로 부호화된 데이터를 복호화하여 원래의 음성 신호를 생성하는 제5단계;When the number of lost frames accumulated in the fourth step is "0", the data encoded at the high bit rate among the received packet data is replaced with the correctly received data immediately before the packet loss occurs, and the data encoded at the high bit rate A fifth step of decoding the original speech signal; 상기 제4단계에서 누적된 손실 프레임의 수가 "1"인 경우에는, 손실 발생 프레임의 다음에 수신된 패킷에 첨가된 저비트율로 부호화된 부가 음성 데이터를 복호화하여 상기 손실 발생 프레임을 복구하고, 상기 고비트율로 부호화된 데이터를 복호화하여 원래의 음성 신호를 생성하는 제6단계; 및When the number of lost frames accumulated in the fourth step is "1", the additional loss data encoded at a low bit rate added to a packet received next to the lost frame is decoded to recover the lost frame. A sixth step of decoding an encoded data at a high bit rate to generate an original speech signal; And 상기 제4단계에서 누적된 손실 프레임의 수가 "2"인 경우에는, 가장 먼저 손실이 발생한 프레임에 대한 부가 음성 데이터와 손실 발생 직전의 올바르게 수신된 데이터에 대해 보간법을 적용하여 가정 먼저 손실된 프레임의 데이터를 복구하고, 나머지 프레임은 상기 제6단계의 과정을 적용하여 복구하는 한편, 상기 고비트율로 부호화된 데이터를 복호화하여 원래의 음성 신호를 생성하는 제7단계를 포함하는When the number of lost frames accumulated in the fourth step is "2", the interpolation method is applied to the additional voice data for the first lost frame and the correctly received data immediately before the loss. A seventh step of recovering data, restoring the remaining frames by applying the sixth step, and decoding the encoded data at the high bit rate to generate an original speech signal. 부가 음성 데이터를 이용한 수신단에서의 패킷 손실 복구 방법.Packet loss recovery method at the receiving end using additional voice data. 제5항에 있어서,The method of claim 5, 상기 제1단계에서 상기 패킷 데이터는 인터넷과 같은 패킷 통신망으로부터 수신되는 것을 특징으로 하는In the first step, the packet data is received from a packet communication network such as the Internet. 부가 음성 데이터를 이용한 수신단에서의 패킷 손실 복구 방법.Packet loss recovery method at the receiving end using additional voice data. 제5항에 있어서,The method of claim 5, 상기 제5단계 내지 제7단계에서 손실 프레임의 복구 후에 상태 오류를 줄이기 위해 과거 여기 신호를 초기화하는 것을 특징으로 하는In the fifth to seventh step, the past excitation signal is initialized to reduce the state error after the recovery of the lost frame. 부가 음성 데이터를 이용한 수신단에서의 패킷 손실 복구 방법.Packet loss recovery method at the receiving end using additional voice data. 제5항에 있어서,The method of claim 5, 상기 제3단계에서 상기 소정 값은 누적 손실 프레임의 수가 3인 경우인 것을 특징으로 하는In the third step, the predetermined value is a case where the number of cumulative lost frames is three. 부가 음성 데이터를 이용한 수신단에서의 패킷 손실 복구 방법.Packet loss recovery method at the receiving end using additional voice data. 음성 신호를 프레임 단위로 입력받는 음성 입력부;A voice input unit receiving a voice signal in units of frames; G.722.2의 규격에 따라 상기 음성 입력부를 통해 입력된 음성 신호를 부호화하며, 상기 부호화는 저비트율과 고비트율로 병렬적으로 수행되도록 하는 부호화기;An encoder for encoding a speech signal input through the speech input unit according to the standard of G.722.2, wherein the encoding is performed in parallel at a low bit rate and a high bit rate; 상기 부호화기에서 저비트율로 부호화된 음성 신호를 1 프레임 동안 지연시키는 지연기;A delayer for delaying a low-rate encoded speech signal for one frame by the encoder; 상기 부호화기에서 저비트율로 부호화된 음성 신호를 부가 음성 데이터로 하여 다음 프레임의 고비트율로 부호화된 음성 신호와 결합하여 하나의 패킷을 구성하는 패킷 구성부; 및A packet constructing unit configured to combine a speech signal encoded at a low bit rate by the encoder as additional speech data and to combine the speech signal encoded at a high bit rate of a next frame to form one packet; And 상기 패킷 구성부에서 얻어진 패킷 데이터를 패킷 통신망으로 전달하는 패킷 송신부를 포함하는And a packet transmitter for transmitting the packet data obtained by the packet configuring unit to a packet communication network. 패킷 손실 복구 방법이 적용된 송신기.Transmitter with packet loss recovery method. 제9항에 있어서,The method of claim 9, 상기 부호화기에서 수행되는 저비트율 부호화는 6.6 kbit/s의 비트율로 이루어지는 것을 특징으로 하는The low bit rate encoding performed by the encoder is characterized in that the bit rate of 6.6 kbit / s 패킷 손실 복구 방법이 적용된 송신기.Transmitter with packet loss recovery method. 패킷 통신망으로부터 패킷 데이터를 수신하는 패킷 수신부;A packet receiver for receiving packet data from a packet communication network; 상기 패킷 수신부에서 수신된 패킷 데이터를 일시적으로 저장하기 위한 버퍼부;A buffer unit for temporarily storing the packet data received by the packet receiving unit; 상기 버퍼부에 저장된 패킷 데이터를 프레임 단위로 검사하여 손실 여부를 판단하며, 손실 프레임의 수에 따라 부가 음성 데이터와 보간법을 이용하여 손실 프레임을 복구하는 프레임 삭제/은닉부;A frame deletion / hiding unit which checks packet data stored in the buffer unit on a frame-by-frame basis to determine whether to lose or not, and restores the lost frame by using additional voice data and interpolation according to the number of lost frames; 각 프레임의 음성 데이터를 G.722.2의 규격에 따라 복호화하는 복호화기; 및A decoder which decodes the voice data of each frame according to the standard of G.722.2; And 상기 복호화기에서 복호화된 음성 신호를 출력시키는 음성 출력부를 포함하는A voice output unit configured to output a voice signal decoded by the decoder; 패킷 손실 복구 방법이 적용된 수신기.Receiver with packet loss recovery method. 제11항에 있어서,The method of claim 11, 상기 프레임 삭제/은닉부는 1개의 프레임에서 손실이 발생한 경우에는 상기 부가 음성 데이터를 이용하여 손실 프레임을 복구하고, 2개 이상의 프레임에서 손실이 발생한 경우에는 손실된 첫 번째 프레임은 상기 부가 음성 데이터를 이용하여 손실 프레임을 복구하며, 나머지 손실 프레임은 이전에 올바르게 수신된 프레임과 상기 복구된 프레임에 대해 보간법을 적용하여 복구하는 것을 특징으로 하는The frame erasing / hiding unit recovers a lost frame by using the additional voice data when a loss occurs in one frame, and when the loss occurs in two or more frames, the first frame that is lost uses the additional voice data. And recovers lost frames, and recovers the remaining lost frames by applying interpolation to the previously correctly received frames and the recovered frames. 패킷 손실 복구 방법이 적용된 수신기.Receiver with packet loss recovery method.
KR10-2002-0077995A 2002-12-09 2002-12-09 Method for restoring packet loss by using additional speech data and transmitter and receiver using the method KR100462024B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0077995A KR100462024B1 (en) 2002-12-09 2002-12-09 Method for restoring packet loss by using additional speech data and transmitter and receiver using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0077995A KR100462024B1 (en) 2002-12-09 2002-12-09 Method for restoring packet loss by using additional speech data and transmitter and receiver using the method

Publications (2)

Publication Number Publication Date
KR20040050810A true KR20040050810A (en) 2004-06-17
KR100462024B1 KR100462024B1 (en) 2004-12-17

Family

ID=37344936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0077995A KR100462024B1 (en) 2002-12-09 2002-12-09 Method for restoring packet loss by using additional speech data and transmitter and receiver using the method

Country Status (1)

Country Link
KR (1) KR100462024B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100594599B1 (en) * 2004-07-02 2006-06-30 한국전자통신연구원 Apparatus and method for restoring packet loss based on receiving part
KR100745683B1 (en) * 2005-11-28 2007-08-02 한국전자통신연구원 Method for packet error concealment using speech characteristic
KR100911771B1 (en) * 2007-11-23 2009-08-10 한국과학기술정보연구원 A apparatus of packet loss concealment with realtime voice communication on internet and method thereof
KR100954668B1 (en) * 2003-04-17 2010-04-27 주식회사 케이티 Method for concealing Packet Loss using Information of Packets before and after Packet Loss
WO2011065741A3 (en) * 2009-11-24 2011-10-20 엘지전자 주식회사 Audio signal processing method and device
US8799749B2 (en) 2010-11-12 2014-08-05 Electronics And Telecommunications Research Institute Ad-hoc multimedia group communication terminal robust to packet loss and method of operating the same
WO2020171546A1 (en) * 2019-02-19 2020-08-27 Samsung Electronics Co., Ltd. Method for processing audio data and electronic device therefor

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2009000054A (en) 2006-07-27 2009-01-23 Nec Corp Audio data decoding device.

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550543A (en) * 1994-10-14 1996-08-27 Lucent Technologies Inc. Frame erasure or packet loss compensation method
JP3572769B2 (en) * 1995-11-30 2004-10-06 ソニー株式会社 Digital audio signal processing apparatus and method
JPH09282810A (en) * 1996-04-11 1997-10-31 Sony Corp Digital data processor
KR100232676B1 (en) * 1997-12-09 1999-12-01 고대식 The loss packet recovery method using interleaving processing in internet
KR100341391B1 (en) * 1999-10-22 2002-06-21 오길록 Adaptive added transmission method and packet loss recovery method for interactive audio service, and audio input-output control device in multimedia computer

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100954668B1 (en) * 2003-04-17 2010-04-27 주식회사 케이티 Method for concealing Packet Loss using Information of Packets before and after Packet Loss
KR100594599B1 (en) * 2004-07-02 2006-06-30 한국전자통신연구원 Apparatus and method for restoring packet loss based on receiving part
KR100745683B1 (en) * 2005-11-28 2007-08-02 한국전자통신연구원 Method for packet error concealment using speech characteristic
KR100911771B1 (en) * 2007-11-23 2009-08-10 한국과학기술정보연구원 A apparatus of packet loss concealment with realtime voice communication on internet and method thereof
WO2011065741A3 (en) * 2009-11-24 2011-10-20 엘지전자 주식회사 Audio signal processing method and device
CN102648493A (en) * 2009-11-24 2012-08-22 Lg电子株式会社 Audio signal processing method and device
US9020812B2 (en) 2009-11-24 2015-04-28 Lg Electronics Inc. Audio signal processing method and device
US9153237B2 (en) 2009-11-24 2015-10-06 Lg Electronics Inc. Audio signal processing method and device
US8799749B2 (en) 2010-11-12 2014-08-05 Electronics And Telecommunications Research Institute Ad-hoc multimedia group communication terminal robust to packet loss and method of operating the same
WO2020171546A1 (en) * 2019-02-19 2020-08-27 Samsung Electronics Co., Ltd. Method for processing audio data and electronic device therefor
US11341981B2 (en) 2019-02-19 2022-05-24 Samsung Electronics, Co., Ltd Method for processing audio data and electronic device therefor

Also Published As

Publication number Publication date
KR100462024B1 (en) 2004-12-17

Similar Documents

Publication Publication Date Title
CN102461040B (en) Systems and methods for preventing the loss of information within a speech frame
KR101290425B1 (en) Systems and methods for reconstructing an erased speech frame
US10504525B2 (en) Adaptive forward error correction redundant payload generation
JP2001144732A (en) Method for controlling packet loss for real time multimedia communication
JP2002204219A (en) Small-delay communication path code for correcting burst of loss packet
US5754734A (en) Method of transmitting voice coding information using cyclic redundancy check bits
JPH1188463A (en) Transmitting method for data block
JP4527369B2 (en) Data embedding device and data extraction device
US8055499B2 (en) Transmitter and receiver for speech coding and decoding by using additional bit allocation method
US6871175B2 (en) Voice encoding apparatus and method therefor
KR100462024B1 (en) Method for restoring packet loss by using additional speech data and transmitter and receiver using the method
JP2003241799A (en) Sound encoding method, decoding method, encoding device, decoding device, encoding program, and decoding program
JP3566931B2 (en) Method and apparatus for assembling packet of audio signal code string and packet disassembly method and apparatus, program for executing these methods, and recording medium for recording program
KR100792209B1 (en) Method and apparatus for restoring digital audio packet loss
JP3722366B2 (en) Packet configuration method and apparatus, packet configuration program, packet decomposition method and apparatus, and packet decomposition program
JP3254126B2 (en) Variable rate coding
KR100542435B1 (en) Method and apparatus for frame loss concealment for packet network
KR100591544B1 (en) METHOD AND APPARATUS FOR FRAME LOSS CONCEALMENT FOR VoIP SYSTEMS
Li et al. Comparison and optimization of packet loss recovery methods based on AMR-WB for VoIP
JP4597360B2 (en) Speech decoding apparatus and speech decoding method
Bhute et al. Error concealment schemes for speech packet transmission over IP network
Mertz et al. Efficient voice communication inwireless packet networks
KR0159204B1 (en) Vitervi data transmission method
KR20050027272A (en) Speech communication unit and method for error mitigation of speech frames
SIVASELVAN AUDIO STREAMING USING INTERLEAVED FORWARD ERROR CORRECTION

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20081202

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee