KR100308273B1 - Image data transmission control method of video communication equipment - Google Patents
Image data transmission control method of video communication equipment Download PDFInfo
- Publication number
- KR100308273B1 KR100308273B1 KR1019980039168A KR19980039168A KR100308273B1 KR 100308273 B1 KR100308273 B1 KR 100308273B1 KR 1019980039168 A KR1019980039168 A KR 1019980039168A KR 19980039168 A KR19980039168 A KR 19980039168A KR 100308273 B1 KR100308273 B1 KR 100308273B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- value
- image data
- quantization
- control method
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Abstract
본 발명은 화상통신기기에서 전송할 화상의 특성을 판정하여 판정된 특성에 따라 전송화상의 샘플링비(sampling rate)와 양자화 테이블(quantization table)을 달리하여 전송함으로써 화상의 전송속도를 향상시킬 수 있도록 한 화상통신기기의 화상특성을 이용한 화상 데이타 전송제어 방법에 관한 것이다.According to the present invention, it is possible to improve the transmission rate of an image by determining a characteristic of an image to be transmitted in a video communication device and transmitting the sample at different sampling rates and quantization tables according to the determined characteristic. An image data transmission control method using an image characteristic of an image communication apparatus.
종래의 화상 데이타 전송방법은 화상의 특성을 고려하지 않기 때문에, 화상 특성에 맞지않는 낮은 압축율을 적용하여 압축된 코드의 양을 증가시키게 되므로 전송속도를 느리게 한다.Since the conventional image data transmission method does not consider the characteristics of the image, it reduces the transmission speed because the amount of compressed code is increased by applying a low compression rate that does not match the image characteristics.
본 발명의 화상통신기기의 화상 데이타 전송제어 방법은, 전송할 화상의 복잡도를 소정의 기준값과 비교하여 판정하는 화상특성 판정단계와, 상기 화상특성 판정단계의 판정결과에 따라 화상의 양자화 테이블값 및/또는 샘플링 레이트를 선택적으로 적용하여 양자화 및/또는 샘플링을 수행하는 신호처리 적용단계와, 상기 신호처리 적용단계에서 선택된 양자화 및/또는 샘플링 레이트로 화상을 압축하여 전송하는 화상압축 전송단계로 제어하는 화상통신기기의 화상 데이타 전송제어 방법으로서, 화상의 특성에 따라 압축시의 변수들(양자화 테이블값과 샘플링 레이트)을 가변적으로 적용함을 특징으로 한다.The image data transfer control method of the image communication apparatus of the present invention comprises an image characteristic determination step of determining a complexity of an image to be transmitted by comparison with a predetermined reference value, and a quantization table value of the image according to the determination result of the image characteristic determination step; Or an image compression transmission step of selectively applying a sampling rate to perform quantization and / or sampling, and an image compression transmission step of compressing and transmitting the image at the quantization and / or sampling rate selected in the signal processing application step. An image data transmission control method of a communication device, characterized by variably applying variables (quantization table value and sampling rate) at the time of compression according to the characteristics of an image.
Description
본 발명은 화상통신기기에서 전송할 화상의 특성을 판정하여 판정된 특성에 따라 전송화상의 샘플링비(sampling rate)와 양자화 테이블(quantization table)을 달리하여 전송함으로써 화상의 전송속도를 향상시킬 수 있도록 한 화상통신기기의 화상특성을 이용한 화상 데이타 전송제어 방법에 관한 것이다.According to the present invention, it is possible to improve the transmission rate of an image by determining a characteristic of an image to be transmitted in a video communication device and transmitting the sample at different sampling rates and quantization tables according to the determined characteristic. An image data transmission control method using an image characteristic of an image communication apparatus.
도1은 화상통신기기의 블럭 구성도로서, 화상신호를 얻기위한 카메라부(101)와, 상기 카메라부(101)를 구동하고 또 카메라부(101)에서 촬영된 화상신호를 입력하기 위한 카메라 구동 및 신호입력부(102)와, 상기 카메라 구동 및 신호입력부(102)로부터 출력된 화상신호를 처리하기 위한 카메라 디지탈 신호처리부(103)와, 상기 카메라 디지탈 신호처리부(103)를 제어하여 화상신호를 압축 또는 복원처리하는 압축 및 복원부(104)와, 상기 카메라 디지탈 신호처리부(103)의 신호처리를 제어함과 함께 화상신호의 압축 및 복원과 전송제어를 수행하기 위한 시스템 제어부(105)와, 상기 카메라 디지탈 신호처리부(103)에서 처리된 신호를 디스플레이하고 또한 수신된 화상신호를 디스플레이 하기 위한 모니터(106)와, 상기 압축 및 복원부(104)에 연결되어 시스템 제어부(105)의 제어를 받아 화상통신의 제어와 신호 입출력을 수행하기 위한 통신제어 및 인터페이스부(107)를 포함하여 이루어진다.Fig. 1 is a block diagram of a video communication device, which includes a camera unit 101 for obtaining an image signal, a camera drive for driving the camera unit 101, and inputting an image signal photographed by the camera unit 101. And control the signal input unit 102, the camera digital signal processor 103 for processing the image signal output from the camera driving and the signal input unit 102, and the camera digital signal processor 103 to compress the image signal. Or a compression and decompression unit 104 for restoring processing, a system control unit 105 for controlling the signal processing of the camera digital signal processing unit 103, and performing compression and decompression and transmission control of an image signal. A system control unit 105 connected to the monitor 106 for displaying a signal processed by the camera digital signal processing unit 103 and displaying a received image signal, and the compression and decompression unit 104. It comprises a communications and control interface unit 107 for receiving the control signal and performing a control input and output of image communication.
카메라부(101)는 렌즈와 CCD로 이루어져서 화상을 전기적인 신호로 변환하여 출력하고, 구동 및 신호 입력부(102)는 상기 카메라부(101)의 CCD를 구동하여 화상을 전기적인 신호로 변환하게 하고 또 그 변환된 신호를 입력받아 카메라 디지탈 신호처리부(103)에 공급한다.The camera unit 101 is composed of a lens and a CCD to convert the image into an electrical signal and output, and the drive and signal input unit 102 drives the CCD of the camera unit 101 to convert the image into an electrical signal The converted signal is received and supplied to the camera digital signal processor 103.
카메라 디지탈 신호처리부(103)는 시스템 제어부(105)의 제어를 받아 휘도신호와 칼라신호의 처리를 수행하여 압축 및 복원부(104)에 연결하고 또 모니터(106)에도 공급하여 촬영된 화상을 디스플레이하는 한편, 수신된 상대방 화상도 디스플레이해준다.The camera digital signal processing unit 103 performs the processing of the luminance signal and the color signal under the control of the system control unit 105, connects to the compression and recovery unit 104, and also supplies the image to the monitor 106. Meanwhile, the received counterpart image is also displayed.
압축 및 복원부(104)는 시스템 제어부(105)의 제어를 받아 상기 촬영된 화상의 디지탈 신호를 소정의 압축 포맷으로 압축하여 통신제어 및 인터페이스부(107)를 통해서 상대방 기기로 전송하거나, 상대방 기기로부터 수신된 화상신호를 복원하여 모니터(106)에 디스플레이될 수 있도록 처리한다.The compression and decompression unit 104 compresses the digital signal of the photographed image into a predetermined compression format under the control of the system control unit 105 and transmits the digital signal to the counterpart device through the communication control and interface unit 107 or the counterpart device. The image signal received from the processor is recovered to be displayed on the monitor 106.
통신제어 및 인터페이스부(107)는 시스템 제어부(105)의 제어를 받아 상대방 기기와의 통신선로 접속(구축), 화상정보를 포함한 제반 제어정보 들의 송수신을 담당하게 된다.The communication control and interface unit 107 is under the control of the system control unit 105 and is in charge of connecting (building) the communication line with the counterpart device and transmitting and receiving control information including image information.
이러한 화상통신기기를 이용한 종래의 화상데이타 전송은 촬영된 화상정보를 디지탈 신호로 변환하여 미리 설정된 압축포맷에 따라 압축하여 전송하고 있다.Conventional image data transmission using such an image communication device converts photographed image information into a digital signal and compresses and transmits the image information according to a preset compression format.
즉, 카메라에서 출력된 동화상을 일정한 양자화 테이블과 샘플링 레이트를 가지고 동일한 압축을 수행하여 전송하는 것이다.That is, the moving picture output from the camera is transmitted by performing the same compression with a constant quantization table and a sampling rate.
그러나, 이러한 종래의 화상 데이타 전송방법은 화상의 특성을 고려하지 않기 때문에, 화상 특성에 맞지않는 낮은 압축율을 적용하여 압축된 코드의 양을 증가시키게 되므로 전송속도를 느리게 한다.However, since the conventional image data transmission method does not consider the characteristics of the image, the amount of compressed code is increased by applying a low compression rate that does not match the image characteristics, thereby slowing the transmission speed.
예를 들면 화상의 명암(contrast)이나 밝기(brightness), 색상의 차이(difference of color) 등을 고려하지 않고 일률적인 압축전송을 수행하기 때문에 수신단에서 복원하여 디스플레이할 때 실제로 화상의 해상도 등에 영향을 거의 주지않는 불요한 정보까지도 함께 압축전송되는 결과가 초래되어 전체적으로 화상전송의 속도를 저하시켰다.For example, since uniform compression is performed without considering the contrast, brightness, or difference of color, the resolution of the image is actually affected when the receiver is restored and displayed. Unnecessary information, which is rarely given, is also compressed, resulting in slower overall image transmission.
본 발명은 화상의 특성을 판정하여 화상의 특성에 따라 양자화 테이블값을 다르게 적용함과 아울러 샘플링 레이트를 달리 적용하여 화상을 압축전송함으로써 고속 전송을 가능하게 한 화상통신기기의 화상 데이타 전송제어 방법을 제공한다.The present invention provides a method of controlling image data transmission of an image communication apparatus that enables high-speed transmission by compressing and transmitting an image by differently applying a quantization table value according to the characteristic of an image and determining a different sampling rate. to provide.
본 발명은 화상통신시 화상의 질을 저하시키지 않으면서, 전송되는 압축데이타의 양을 줄여서 수신단에서 단위 시간당 더 많은 수의 화상을 볼 수 있도록 한 화상통신기기의 화상 데이타 전송제어 방법을 제공한다.The present invention provides a method of controlling image data transmission of an image communication apparatus, by which the amount of compressed data transmitted is reduced so that the receiving end can view more images per unit time without degrading the image quality during image communication.
본 발명은 화상통신시 카메라 신호의 처리 데이타를 이용해서 화상의 명암,밝기, 색상의 차이 등의 특성을 판정하고, 각각의 특성에 따라 적합한 양자화 테이블값 및 샘플링 레이트를 선택적으로 적용함으로써 압축코드 사이즈가 가장 적은 전송방법으로 화상데이타를 전송할 수 있도록 한 화상통신기기의 화상 데이타 전송제어 방법을 제공한다.The present invention determines the characteristics of image contrast, brightness, color difference, etc. using the processing data of a camera signal during video communication, and selectively applies a suitable quantization table value and sampling rate according to each characteristic, thereby compressing the code size. An image data transmission control method of an image communication apparatus capable of transmitting image data with the least transmission method is provided.
도1은 화상 통신기기의 블럭 구성도1 is a block diagram of a video communication device
도2는 본 발명의 화상 데이타 전송제어 방법의 플로우차트2 is a flowchart of the image data transfer control method of the present invention;
본 발명의 화상통신기기의 화상 데이타 전송제어 방법은, 전송할 화상의 복잡도를 소정의 기준값과 비교하여 판정하는 화상특성 판정단계와, 상기 화상특성 판정단계의 판정결과에 따라 화상의 양자화 테이블값 및/또는 샘플링 레이트를 선택적으로 적용하여 양자화 및/또는 샘플링을 수행하는 신호처리 적용단계와, 상기 신호처리 적용단계에서 선택된 양자화 및/또는 샘플링 레이트로 화상을 압축하여 전송하는 화상압축 전송단계로 제어하는 화상통신기기의 화상 데이타 전송제어 방법으로서, 화상의 특성에 따라 압축시의 변수들(양자화 테이블값과 샘플링 레이트)을 가변적으로 적용함을 특징으로 한다.The image data transfer control method of the image communication apparatus of the present invention comprises an image characteristic determination step of determining a complexity of an image to be transmitted by comparison with a predetermined reference value, and a quantization table value of the image according to the determination result of the image characteristic determination step; Or an image compression transmission step of selectively applying a sampling rate to perform quantization and / or sampling, and an image compression transmission step of compressing and transmitting the image at the quantization and / or sampling rate selected in the signal processing application step. An image data transmission control method of a communication device, characterized by variably applying variables (quantization table value and sampling rate) at the time of compression according to the characteristics of an image.
본 발명에서 상기 화상의 특성판정을 위한 복잡도는 촬영된 화상의 명암값을 미리 설정된 기준값과 비교하여 명암이 기준값 이상이면 양자화 테이블값을 증가시키고, 상기 화상의 밝기값을 미리 설정된 기준값과 비교하여 밝기가 기준값 이상이면 양자화 테이블값을 증가시키고, 상기 화상의 색상의 차값을 미리 설정된 기준값과 비교하여 색상의 차이값이 기준값 이상이면 샘플링 레이트를 감소시키는 단계로 제어함을 특징으로 한다.In the present invention, the complexity for determining the characteristics of the image is compared with the contrast value of the photographed image to a preset reference value and increases the quantization table value if the contrast is greater than the reference value, and compares the brightness value of the image with the preset reference value and the brightness Is greater than or equal to the reference value, and the quantization table value is increased. If the difference value of the color is greater than or equal to the reference value, the sampling rate is controlled.
도2는 본 발명의 화상통신기기의 화상 데이타 전송제어 방법의 수순을 나타내며, 도1에서 설명한 화상통신기기에 의해서 수행된다.FIG. 2 shows the procedure of the image data transmission control method of the video communication apparatus of the present invention, and is performed by the video communication apparatus described with reference to FIG.
전송할 동화상은 카메라부(101)에서 촬영되어 전기적인 신호로서 구동 및 신호 입력부(102)를 통해 카메라 디지탈 신호처리부(103)에 입력되고, 여기서 처리된 디지탈 화상데이타는 압축 및 복원부(104)에서 시스템 제어부(105)의 제어를 받아 압축되어 통신제어 및 인터페이스부(107)를 통해서 전송된다.The moving image to be transmitted is photographed by the camera unit 101 and input to the camera digital signal processing unit 103 through the driving and signal input unit 102 as an electric signal, where the processed digital image data is compressed and decompressed by the reconstructing unit 104. It is compressed under the control of the system control unit 105 and transmitted through the communication control and interface unit 107.
이때 시스템 제어부(105)는 카메라 디지탈 신호처리부(103)로부터 화상의 명암과 밝기, 색상의 차값을 입력받아 화상의 특성을 판정하고 그 결과에 따라 압축 및 복원부(104)에 의한 압축변수들을 가변적으로 선택하게 된다.At this time, the system controller 105 receives the image contrast value, brightness, and color difference values from the camera digital signal processor 103 to determine the characteristics of the image, and accordingly, compresses the compressed variables by the compression and decompression unit 104 accordingly. Will be selected.
즉, 도2에서 단계(201)에서는 화상의 명암값을 미리 설정된 기준값과 비교하여 화상의 명암이 기준값 이상이면 단계(202)를 실행하여 표준 양자화 테이블값을 크게 증가시킨다.That is, in step 201 in FIG. 2, the contrast value of the image is compared with a preset reference value, and if the contrast of the image is greater than or equal to the reference value, step 202 is executed to greatly increase the standard quantization table value.
이 것은 명암이 크면 동일한 양자화 테이블값을 이용해도 압축율이 낮아지므로 전송될 이미지 압축코드의 사이즈가 커지게 되기 때문에, 양자화 테이블값을 크게하여 압축율을 높여서 이미지 압축 코드 사이즈를 줄이는 것이다.This is because the larger the contrast, the lower the compression ratio even when the same quantization table value is used. Therefore, the size of the image compression code to be transmitted is increased. Therefore, the image compression code size is reduced by increasing the compression rate by increasing the quantization table value.
이렇게 해도 명암이 큰 이미지는 사람의 시각적 특성상 식별이 용이하기 때문에 압축율을 높여도 이미지의 질은 크게 저하되지 않는다.Even if the image has a high contrast, it is easy to identify the image due to the visual characteristics of the person.
그 다음 단계(203)에서는 화상의 밝기값을 미리 설정된 기준값과 비교하여 밝기값이 기준값 이상이면 단계(204)를 실행하여 양자화 테이블값을 크게한다.In the next step 203, the brightness value of the image is compared with a preset reference value, and if the brightness value is greater than or equal to the reference value, step 204 is executed to increase the quantization table value.
여기서 화상의 밝기값은 절대값을 택하여 화상의 밝기값이 너무 크거나 또는 너무 작은 경우에 양자화 테이블값을 증가시킨다.Here, the brightness value of the image is taken as an absolute value to increase the quantization table value when the brightness value of the image is too large or too small.
화상의 밝기가 소정치 이상으로 크거나 작은 경우에는 압축에 의한 화질의 손상이 시각상 잘 구분되지 않기 때문에 압축율을 크게 하여 전송하는 것이다.When the brightness of an image is larger or smaller than a predetermined value, since the damage of image quality due to compression is hardly distinguished visually, it is transmitted by increasing the compression ratio.
그 다음 단계(205)에서는 색상의 차이값을 미리 설정한 기준값과 비교하여 색상의 차가 기준값 이상이면 단계(206)를 실행하여 샘플링 레이트를 4:1:1로 하고, 색상의 차가 기준값 이하이면 단계(207)를 실행하여 샘플링 레이트를 4:2:2로 한다.In step 205, the difference between the colors is compared with the preset reference value, and if the color difference is greater than or equal to the reference value, step 206 is executed to set the sampling rate to 4: 1: 1, and if the color difference is less than or equal to the reference value, (207) is executed to make the sampling rate 4: 2: 2.
즉, 화상의 특성상 색깔별로 고르게 분포되어 있는 경우에는 샘플링 레이트를 낮추고 그 사이를 보간하여 채우더라도 화질이 크게 손상되지 않기 때문이며, 샘플링 레이트를 감소시키면 결과적으로 압축율은 높아지므로 이미지 압축 코드의 사이즈가 감소하여 전송속도를 높일 수 있게 되는 것이다.In other words, if the image is distributed evenly by color, even if the sampling rate is lowered and interpolated between them, the image quality is not significantly impaired.If the sampling rate is reduced, the compression rate is increased, resulting in a reduction in the size of the image compression code. To increase the transmission speed.
상기한 바와같은 화상특성 판정단계들은 그 수순이 도2에 나타낸 바로 제한되지 않으며, 시스템 특성에 적합하게 우선하여 고려할 단계로부터 실행할 수도 있고, 동시에 실행할 수도 있다.The image characteristic determination steps as described above are not limited to those immediately shown in Fig. 2, and may be executed from the steps to be considered in preference to the system characteristics, or may be executed simultaneously.
본 발명의 화상통신기기의 화상 데이타 전송제어 방법에 의하면 화상의 특성을 판단하고 그 특성에 적합하게 압축변수들을 가변적으로 선택하기 때문에 화질을 저하시키지 않는 범위에서 화상전송의 속도 향상을 확보할 수 있다.According to the image data transmission control method of the image communication apparatus of the present invention, since the characteristics of the image are determined and the compression variables are variably selected according to the characteristics, the speed of image transmission can be secured within a range that does not degrade the image quality. .
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980039168A KR100308273B1 (en) | 1998-09-22 | 1998-09-22 | Image data transmission control method of video communication equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980039168A KR100308273B1 (en) | 1998-09-22 | 1998-09-22 | Image data transmission control method of video communication equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20000020528A KR20000020528A (en) | 2000-04-15 |
| KR100308273B1 true KR100308273B1 (en) | 2001-11-30 |
Family
ID=19551433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019980039168A KR100308273B1 (en) | 1998-09-22 | 1998-09-22 | Image data transmission control method of video communication equipment |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100308273B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100360877B1 (en) * | 1998-09-22 | 2002-11-13 | 엘지전자 주식회사 | Method of image data transmitting for picturephone |
| JP4190157B2 (en) * | 2001-02-26 | 2008-12-03 | 三洋電機株式会社 | Image data transmitting apparatus and image data receiving apparatus |
| KR100603127B1 (en) * | 2005-01-24 | 2006-07-20 | 주식회사 팬택앤큐리텔 | Apparatus and method for power saving system by using frame draw control in lcd display and wireless telecommunication terminal using it |
-
1998
- 1998-09-22 KR KR1019980039168A patent/KR100308273B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20000020528A (en) | 2000-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0968606B1 (en) | Method for still picture transmission and display | |
| US7369160B2 (en) | Camera system for transferring both image data and an image processing program to transfer the image data to an external device | |
| KR100308273B1 (en) | Image data transmission control method of video communication equipment | |
| EP1521465A1 (en) | Method and apparatus of transferring the desktop of pc to video communication terminal | |
| KR100327368B1 (en) | Method of video coding and decoding | |
| KR100360877B1 (en) | Method of image data transmitting for picturephone | |
| US6833860B1 (en) | Camera apparatus having communicating device and communicating method | |
| KR100282303B1 (en) | Image transmission speed control method | |
| KR100339554B1 (en) | Method of image data process for picturephone | |
| JPH08336137A (en) | Coding noise reducing image transmitter | |
| JP3072901B2 (en) | Still image transmitter | |
| KR0176346B1 (en) | Apparatus for variably controlling the frame number of compressed video data | |
| JP3122445B2 (en) | Communication device | |
| JP3263664B2 (en) | Communication device | |
| JPH0884327A (en) | Image communication device and method thereof | |
| JPH0583704A (en) | Picture transmitter | |
| JP3585879B2 (en) | Communication device | |
| KR0139582B1 (en) | Apparatus for controlling data according to bit transmission rate | |
| KR950030695A (en) | Image processing system and method | |
| JP3585903B2 (en) | Communication method | |
| KR0178269B1 (en) | Circuit of processing a telephone moving picture using a double screen | |
| JPH05276397A (en) | Picture transmission equipment | |
| JPH04119182U (en) | Videophone device | |
| KR20040034803A (en) | Module and Method for Resizing Time-varying Images in the Internet Image Communications | |
| JPH07284093A (en) | Picture transmitter system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20070629 Year of fee payment: 7 |
|
| LAPS | Lapse due to unpaid annual fee |