KR19990062700A - 영상 정보 코딩시 부호화 표시방법 - Google Patents

영상 정보 코딩시 부호화 표시방법 Download PDF

Info

Publication number
KR19990062700A
KR19990062700A KR1019980052331A KR19980052331A KR19990062700A KR 19990062700 A KR19990062700 A KR 19990062700A KR 1019980052331 A KR1019980052331 A KR 1019980052331A KR 19980052331 A KR19980052331 A KR 19980052331A KR 19990062700 A KR19990062700 A KR 19990062700A
Authority
KR
South Korea
Prior art keywords
encoded
cod
encoding
dct
transmitted
Prior art date
Application number
KR1019980052331A
Other languages
English (en)
Other versions
KR100322594B1 (ko
Inventor
박동식
박종훈
존 디 빌라세노
지앙타오 웬
Original Assignee
더 리전트 오브 더 유니버시티 오브 캘리포니아
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=22073174&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR19990062700(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 더 리전트 오브 더 유니버시티 오브 캘리포니아, 윤종용, 삼성전자 주식회사 filed Critical 더 리전트 오브 더 유니버시티 오브 캘리포니아
Publication of KR19990062700A publication Critical patent/KR19990062700A/ko
Application granted granted Critical
Publication of KR100322594B1 publication Critical patent/KR100322594B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 영상 정보 코딩 방법에 있어서, 블록의 영상 정보 필드의 확장을 통한 부호화 유무 표시 방법에 관한 것이다. 본 발명은 부호화 유무 표시 정보필드의 확장을 통한 부호화 유무 표시 방법을 에러 허용모드에 활용하며, 부호화되는 영상정보의 특성에 따른 비트량을 감소시킬 수 있다. 본 발명은 H.263 및 MPEG-4에서 이용되는 COD 필드를 확장하여, MV 및 DCT가 모두 부호화되지 않았음과 MV 및 DCT가 모두 부호화되어 있음과 MV만 부호화되었음을 나타내도록 하여 영상을 부호화함으로써, 에러가 존재하는 채널에서는 에러허용모드에서 사용이 가능하며, 영상의 움직임이 일정한 배경하에서는 영상 정보 부호화시 기존보다 비트량을 감소시킬 수있다.

Description

영상 정보 코딩시 부호화 표시 방법
본 발명은 영상 정보 코딩 방법에 관한 것으로서, 특히 블록의 영상 정보 필드의 확장을 통한 부호화 유무 표시 방법에 관한 것이다. 나아가서는 본 발명은 부호화 유무 표시 정보필드의 확장을 통한 부호화 유무 표시 방법을 에러 허용모드에 활용하며, 부호화되는 영상정보의 특성에 따른 비트량을 감소시키는 영상 비트량 감소방법에 관한 것이다.
일반적으로 블록(Block)기반코덱, 대상(Object)기반코덱, 형상기반코덱(Shape Based Codec)의 경우 동영상 부호화 방법에 주로 사용되는 기술은 한 블록을 부호화하기 위하여 이전 프레임에서 현재 블록과 가장 유사한 부분을 나타내는 움직임벡터(Motion Vector)와 그 실제 데이터들의 차이에 대한 실제값 혹은 변형된(예를 들면 DCT) 값을 각각 부호화하여 데이터를 생성한다.
이러한 두 특징적인 값의 비트스트림(bit stream)에서의 부호화 유무를 알리기 위해 H.263과 MPEG-4에서는 COD(code) 필드를 이용하고 있다.
도 1은 일반적인 비트스트림(bit stream)에서의 부호화 유무를 나타내는 방법을 보이는 개념도이다.
도 1에 도시된 바와 같이 COD 필드(field)의 1비트값으로 움직임 벡터와 DCT 계수의 부호화 유무를 표현한다. 즉, COD 필드의 비트가 0이면 MV 및 DCT가 부호화되어 있음을 나타내고, 1이면 MV 및 DCT가 부호화되어 있지 않음을 나타낸다.
그러나 이러한 COD필드를 사용하여 블록의 부호화 유무를 알리는 경우 1비트만으로 이러한 정보를 표현함으로써 때로는 에러가 존재하는 채널에서 사용되는 경우 이 1비트의 에러만으로 전체 정보가 잘못 해석되는 경우가 쉽게 발생하게 된다.
또한 일정한 배경하의 영상 움직임과 같은 경우 실제 부호화시 움직임 벡터(MV)만 필요하고 그 차이값(DCT)이 필요하지 않은 경우가 발생한다. 그러나 기존의 경우에는 이 차이값(DCT) 역시 부호화되어 비트량이 증가하는 문제점이 있다.
본 발명이 이루고자하는 기술적 과제는 COD 필드를 확장하여 에러가 존재하는 채널에서 영상 정보가 전송되는 경우에 잘못된 해석을 방지할 수 있는 영상 정보 코딩시 부호화 표시 방법을 제공하는 데 있다.
본 발명이 이루고자하는 다른 기술적 과제는 COD 필드를 확장하여 영상의 움직임이 일정한 정보에 대해서는 기존보다 적은 양으로 부호화된 데이터를 발생시키는 영상 정보 코딩시 부호화 표시 방법을 제공하는 데 있다.
도 1은 일반적인 비트스트림(bit stream)에서의 부호화 유무를 나타내는 방법을 보이는 개념도이다.
도 2는 본 발명에 따른 비트스트림(bit stream)에서의 부호화 유무를 나타내는 방법을 보이는 개념도이다.
상기 기술적 과제를 달성하기 위하여, 본 발명은 영상 정보 코딩시 부호화 표시 방법에 있어서, COD 필드를 확장하여, MV 및 DCT가 모두 부호화되지 않았음과 MV 및 DCT가 모두 부호화되어 있음과 MV만 부호화되었음을 나타내도록 하여 영상을 부호화하는 것을 특징으로 하는 영상 정보 코딩시 부호화 표시 방법을 제공한다.
바람직하게는 상기 확장된 COD필드는 적어도 2비트임을 특징으로 한다.
바람직하게는 상기 확장된 COD필드는 H.263 또는 MPEG-4 부호화 표준에서 사용됨을 특징으로 한다.
바람직하게는 상기 COD 필드는 비트가 11일 경우 MV 및 DCT가 모두 부호화되지 않았음을 나타내고, 0일 경우 MV 및 DCT가 모두 부호화되어 있음을 나타내고, 1일 경우 MV만 부호화되어 있음을 나타내는 것을 특징으로 한다.
바람직하게는 에러가 존재하는 채널에서 사용되는 경우, 에러허용모드에서 0과 11의 두값만을 사용함을 특징으로 한다.
바람직하게는 상기 에러허용모드에서 패킷화된 데이터를 분할하여 전송하는 경우, 원래의 COD는 전송하지 않고, 패킷내의 COD의 1의 개수를 VLC로 부호화하여 COD이전에 전송하며, 이때 결합된 코드가 모두 0인 경우에는 0을 모두 11인 경우에는 1을 전송하고, 나머지 조합인 경우에는 VLC와 COD의 원래 부호를 그대로 전송함을 특징으로 한다.
바람직하게는 영상의 움직임이 일정한 배경하에서는 MV만으로 정보를 부호화함을 특징으로 한다.
이하 첨부된 도면을 참조로 하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 2는 본 발명에 따른 비트스트림(bit stream)에서의 부호화 유무를 나타내는 방법을 보이는 개념도이다.
도 2에 도시된 바와 같이 COD 필드의 1비트를 확장시키는 것에 의해 잘못된 COD정보의 디코딩을 할 수 있는 가능성을 적게 하고, 또한 동벡터만으로 정보를 충분히 표현할 수 있는 영상에 대해서는 기존 보다 적은 량으로 부호화된 데이터를 발생시킬 수 있도록 한다. 즉, COD 필드를 두 대표적인 값의 부호화 유무만을 나타내는 것이 아니라 이 두 값중 움직임 벡터(Motion Vector)만 필요한 경우도 포함시킨다. 이를 위하여 COD 필드를 2비트 테이블화한다. 즉, 2비트가 11일 경우 MV 및 DCT가 모두 부호화되지 않았음을 나타내고, 0일 경우 MV 및 DCT가 모두 부호화되어 있음을 나타내고, 1일 경우 MV만 부호화되어 있음을 나타낸다. 여기서 10인 경우는 정의하지는 않았지만 DCT만 부호화되어 있음을 나타내도록 할 수 있다.
이러한 COD의 표현을 통하여, 에러허용모드에서 비디오코덱이 부호화를 하는 경우에는 1의 잘못된 전송을 방지하기 위하여 0과 11의 두값만을 사용한다. 이렇게 함으로써 에러가 존재하는 채널에서는 1비트로 COD를 표현하는 경우와는 달리 잘못된 해석을 할 가능성을 줄이게 된다.
또한, 에러허용모드에서 하나의 패킷화된 데이터를 분할하여 전송하는 경우, 다음과 같은 방법으로도 사용이 가능하다. 즉, 패킷내의 COD의 1의 개수를 VLC로 부호화하여 COD이전에 전송한다. 이때, 결합된 코드가 모두 0인 경우에는 0을 모두 11인 경우에는 1을 전송하며, 원래의 COD는 전송하지 않는다. 그리고 나머지 조합은 VLC와 COD의 원래 부호를 그대로 전송한다. 이렇게 COD의 정보필드를 확장함으로써 에러허용모드에 더욱 강인하게 적용할 수있다.
본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다. 예를들어 본 발명의 영상 정보 코딩시 부호화 표시 방법에서 COD필드의 비트를 2비트 이상으로 할 수 있음은 당업자에게 명백하다. 또한, 본 발명의 영상 정보 코딩시 부호화 표시 방법에 적용되는 에러가 존재하는 채널을 판단하는 것과 영상의 움직임이 일정한 배경하에서 이루어지는 것을 판단하는 문제는 당업자에게는 명백하므로 구체적인 설명은 생략하였다.
상술한 바와 같이 본 발명에 의하면, COD 필드를 확장시킴으로써 에러가 존재하는 채널에서는 에러허용모드에서 사용이 가능하며, 영상의 움직임이 일정한 배경하에서는 영상 정보 부호화시 기존보다 비트량을 감소시킬 수있다.

Claims (7)

  1. 영상 정보 코딩시 부호화 표시 방법에 있어서,
    비트스트림에 사용되는 COD 필드를 확장하여, MV 및 DCT가 모두 부호화되지 않았음과 MV 및 DCT가 모두 부호화되어 있음과 MV만 부호화되었음을 나타내도록하여 영상을 부호화하는 것을 특징으로 하는 영상 정보 코딩시 부호화 표시 방법.
  2. 제1항에 있어서, 상기 확장된 COD필드는 적어도 2비트임을 특징으로 하는 영상 정보 코딩시 부호화 표시 방법.
  3. 제1항에 있어서, 상기 확장된 COD필드는 H.263 또는 MPEG-4부호화 표준에서 사용됨을 특징으로 하는 영상 정보 코딩시 부호화 표시 방법.
  4. 제1항 내지 제3항 중의 어느 한 항에 있어서, 상기 COD 필드는 비트가 11일 경우 MV 및 DCT가 모두 부호화되지 않았음을 나타내고, 0일 경우 MV 및 DCT가 모두 부호화되어 있음을 나타내고, 1일 경우 MV만 부호화되어 있음을 나타내는 것을 특징으로 하는 영상 정보 코딩시 부호화 표시 방법.
  5. 제4항에 있어서, 에러가 존재하는 채널에서 사용되는 경우, 에러허용모드에서 0과 11의 두값만을 사용함을 특징으로 하는 영상 정보 코딩시 부호화 표시 방법.
  6. 제5항에 있어서, 상기 에러허용모드에서 패킷화된 데이터를 분할하여 전송하는 경우, 원래의 COD는 전송하지 않고, 패킷내의 COD의 1의 개수를 VLC로 부호화하여 COD이전에 전송하며, 이때 결합된 코드가 모두 0인 경우에는 0을 모두 11인 경우에는 1을 전송하고, 나머지 조합인 경우에는 VLC와 COD의 원래 부호를 그대로 전송함을 특징으로 하는 영상 정보 코딩시 부호화 표시 방법.
  7. 제1항 내지 제3항 중의 어느 한 항에 있어서, 영상의 움직임이 일정한 배경하에서는 MV만으로 정보를 부호화함을 특징으로 하는 영상 정보 코딩시 부호화 표시 방법.
KR1019980052331A 1997-12-01 1998-12-01 영상 정보 코딩시 부호화 표시방법_ KR100322594B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US6701497P 1997-12-01 1997-12-01
US60/067,014 1997-12-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020010052958A Division KR20010088880A (ko) 1997-12-01 2001-08-30 영상 정보 코딩시 부호화 표시 방법

Publications (2)

Publication Number Publication Date
KR19990062700A true KR19990062700A (ko) 1999-07-26
KR100322594B1 KR100322594B1 (ko) 2002-03-08

Family

ID=22073174

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1019980052331A KR100322594B1 (ko) 1997-12-01 1998-12-01 영상 정보 코딩시 부호화 표시방법_
KR1020010052958A KR20010088880A (ko) 1997-12-01 2001-08-30 영상 정보 코딩시 부호화 표시 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020010052958A KR20010088880A (ko) 1997-12-01 2001-08-30 영상 정보 코딩시 부호화 표시 방법

Country Status (5)

Country Link
JP (2) JP3464397B2 (ko)
KR (2) KR100322594B1 (ko)
CN (1) CN1144470C (ko)
DE (1) DE19855451B4 (ko)
GB (1) GB2331886B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100585710B1 (ko) * 2002-08-24 2006-06-02 엘지전자 주식회사 가변길이 동영상 부호화 방법
KR100644576B1 (ko) * 1999-10-19 2006-11-13 삼성전자주식회사 디지털 비디오 코딩 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2362533A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Encoding a video signal with an indicator of the type of error concealment used
KR100731492B1 (ko) * 2000-12-04 2007-06-21 주식회사 케이티 다중채널/다중레벨 동작감지기능을 가지는 비디오 부호기 및 그 동작 감지 방법
KR101664125B1 (ko) 2009-09-22 2016-10-10 삼성전자주식회사 랜덤 액세스 가능한 영상 인코딩 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236805B1 (en) * 1995-04-13 2001-05-22 Siemens Aktiengesellschaft Method and apparatus for storing, searching and playing back audiovisual information and data files
GB9600804D0 (en) * 1996-01-17 1996-03-20 Robb Garry D Multiphone

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100644576B1 (ko) * 1999-10-19 2006-11-13 삼성전자주식회사 디지털 비디오 코딩 방법 및 장치
KR100585710B1 (ko) * 2002-08-24 2006-06-02 엘지전자 주식회사 가변길이 동영상 부호화 방법

Also Published As

Publication number Publication date
KR100322594B1 (ko) 2002-03-08
DE19855451B4 (de) 2004-08-19
DE19855451A1 (de) 1999-06-10
GB2331886A8 (en) 1999-07-15
GB2331886B (en) 2000-01-26
CN1144470C (zh) 2004-03-31
GB2331886A (en) 1999-06-02
GB9826210D0 (en) 1999-01-20
JP3464397B2 (ja) 2003-11-10
JPH11262014A (ja) 1999-09-24
CN1243392A (zh) 2000-02-02
JP2002238051A (ja) 2002-08-23
KR20010088880A (ko) 2001-09-28
JP3803296B2 (ja) 2006-08-02

Similar Documents

Publication Publication Date Title
US7061410B1 (en) Method and/or apparatus for transcoding between H.264 CABAC and CAVLC entropy coding modes
US7746249B2 (en) Method and apparatus for encoding and decoding key data
KR100281463B1 (ko) 물체 기반 부호화 시스템의 보조 정보 부호화 장치
MY140227A (en) Picture coding method
WO2000002392A3 (en) Scalable video coding system
WO2004086631A3 (en) Method, apparatus and system for encoding and decoding side information for multimedia transmission
HUP0400560A2 (en) Method of forwarding video information, encoder and decoder for coding and decoding video information, and coded cideo information signal
MY135048A (en) Image coding method and image decoding method
GB2332115A (en) Motion vector prediction method
CN101167367A (zh) 视频信号的dpcm编码方法
KR940023248A (ko) 화상 신호 부호화 방법 및 장치와, 화상 신호 복호화 방법 및 장치
KR100458101B1 (ko) 데이터 어레이의 예측 인코딩 방법 및 시스템
KR100425800B1 (ko) 진보된텔레비전시스템
MY135229A (en) Image encoding method and image decoding method
KR100322594B1 (ko) 영상 정보 코딩시 부호화 표시방법_
US7242714B2 (en) Cyclic resynchronization marker for error tolerate video coding
US7177355B1 (en) Method for representing encoding upon coding information
EP0553837A1 (en) Moving-image signal encoding apparatus
KR100285592B1 (ko) 영상 신호 부호화 방법 및 장치
US20050100086A1 (en) Video coding and decoding method
KR100467785B1 (ko) 정점기반모양정보무손실부호화시윤곽선부호화방법
JPH1198511A (ja) 画像符号化装置及び画像符号化方法
KR100960008B1 (ko) 결정 적응 비트를 이용한 부호화/복호화 방법 및 장치
Han et al. Modeling and coding of DFD using dense motion fields in video compression
KR970702666A (ko) 트랜스코더(a transcoder)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee