KR100246626B1 - 모포로지컬 영상분할을 위한 시공간 결합 마커추출 방법 - Google Patents

모포로지컬 영상분할을 위한 시공간 결합 마커추출 방법

Info

Publication number
KR100246626B1
KR100246626B1 KR1019970052986A KR19970052986A KR100246626B1 KR 100246626 B1 KR100246626 B1 KR 100246626B1 KR 1019970052986 A KR1019970052986 A KR 1019970052986A KR 19970052986 A KR19970052986 A KR 19970052986A KR 100246626 B1 KR100246626 B1 KR 100246626B1
Authority
KR
South Korea
Prior art keywords
marker
region
extracting
spatial
time
Prior art date
Application number
KR1019970052986A
Other languages
English (en)
Other versions
KR19990032057A (ko
Inventor
최재각
안치득
김문철
이명호
Original Assignee
정선종
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정선종, 한국전자통신연구원 filed Critical 정선종
Priority to KR1019970052986A priority Critical patent/KR100246626B1/ko
Priority to PCT/KR1998/000112 priority patent/WO1999021136A1/en
Priority to JP2000517383A priority patent/JP2001521229A/ja
Priority to EP98917778A priority patent/EP1023696A1/en
Priority to US09/529,609 priority patent/US6728427B1/en
Publication of KR19990032057A publication Critical patent/KR19990032057A/ko
Application granted granted Critical
Publication of KR100246626B1 publication Critical patent/KR100246626B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 시공간 결합 마커 추출 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 시간 및 공간 정보를 동시에 이용하여 마커를 추출하므로써 시각적으로 의미있는 마커 추출이 가능하며, 이 추출된 시공간 결합 마커를 이용하여 모포로지컬 영상분할을 할 경우에 보다 정확하고 의미있는 영상분할이 가능한 시공간 결합 마커 추출 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 현재 영상 프레임을 단순화시키고 양자화한 후에 영상 프레임으로부터 공간정보를 이용하여 공간 마커를 추출하는 제 1 단계; 현재 영상 프레임과 이전 영상 프레임으로부터 시간정보를 이용하여 시간 마커를 추출하는 제 2 단계; 및 상기 제 1 단계에서 추출된 공간 마커와 상기 제 2 단계에서 추출된 시간 마커를 합성하여 시공간 결합 마커를 추출하는 제 3 단계를 포함한다.
4. 발명의 중요한 용도
본 발명은 모포로지컬 동영상 분할시 분수령 알고리즘에 이용됨.

Description

모포로지컬 영상분할을 위한 시공간 결합 마커 추출 방법
본 발명은 모포로지컬 영상 분할시 사용되는 분수령 알고리즘용 시공간 마커 추출 방법에 관한 것으로, 특히 모포로지컬 필터(morphological filters) 및 분수령 알고리즘(watershed algorithm) 등과 같은 모포로지컬 도구를 이용하여 영상을 분할할 때, 분수령 알고리즘 또는 영역확장(region growing)을 위한 기준영역으로 사용되는 마커를 추출하기 위한 시공간 마커 추출 방법에 관한 것이다.
모포로지컬 영상분할을 위한 종래의 마커 추출 방식은 밝기 영상을 단순화(simplification)한 뒤 밝기가 균일한 영역의 크기(size)가 주어진 임계값보다 큰 영역들을 마커로 추출하거나, 밝기값의 대비(contrast)가 큰 부분들을 마커로 추출한다. 이러한 종래의 마커 추출 방식은 배경(static background)과 움직임 물체(moving object)의 밝기값이 유사한 경우에, 배경 및 움직임 물체의 일부가 서로 다른 독립된 마커로 추출되는 것이 아니라 하나의 공유된 마커로 추출되어 진다.
따라서, 이렇게 추출된 마커에 대해 분수령 알고리즘을 적용할 경우에 움직임 물체의 일부가 배경 영역의 일부로 분할되거나, 역으로 배경의 일부가 움직임 물체로 잘못 분할되는 문제가 발생하게 된다.
상기 문제점을 해결하기 위하여 안출된 본 발명은, 시간 및 공간 정보(spatial and temporal information)를 동시에 이용하여 마커를 추출하므로써 시각적으로 의미있는 마커 추출이 가능하게 되며, 이 추출된 시공간 결합 마커를 이용하여 모포로지컬 영상분할을 할 경우에 보다 정확하고 의미있는 영상분할이 가능한 시공간 결합 마커 추출 방법을 제공하는데 그 목적이 있다.
도 1 은 본 발명이 적용되는 모포로지컬 영상분할 시스템의 구성도.
도 2 는 본 발명에 따른 모포로지컬 영상분할 시스템에서의 시공간 결합 마커 추출 방법에 대한 처리 흐름도.
* 도면의 주요 부분에 대한 부호의 설명
101 : 영상 단순화부 102 : 마커 추출부
103 : 분수령 알고리즘에 의한 영역 경계 결정부
상기 목적을 달성하기 위하여 본 발명은, 모포로지컬 영상분할 시스템에 적용되는 시공간 결합 마커 추출 방법에 있어서, 입력되는 현재 영상 프레임을 단순화시킨 후에 단순화된 영상을 양자화한 다음에 단순화 및 양자화된 영상 프레임으로부터 공간정보를 이용하여 공간 마커(spatial marker)를 추출하는 제 1 단계; 입력되는 현재 영상 프레임과 이전 영상 프레임(previous frame)으로부터 시간정보를 이용하여 시간 마커(temporal marker)를 추출하는 제 2 단계; 및 상기 제 1 단계에서 추출된 공간 마커와 상기 제 2 단계에서 추출된 시간 마커를 합성(combination)하여 시공간 결합 마커를 추출하는 제 3 단계를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 일실시예를 상세히 설명한다.
도 1 은 본 발명이 적용되는 모포로지컬 영상분할 시스템의 구성도로서, 모포로지컬 필터 및 분수령 알고리즘을 이용한 모포로지컬 영상분할 시스템의 구성도이다.
먼저, 영상 단순화부(101)에서는 입력 영상을 영역 분할 및 경계 정보 추출에 적합하도록 단순화한다. 즉, 적절한 필터를 이용하여 복잡한 모양을 단순한 모양으로 변화시키고, 경계 추출에 도움이 되지 않는 미세한 변화는 제거한다.
그런 다음, 마커 추출부(102)에서는 단순화된 영상으로부터 분수령 알고리즘 또는 영역 확장시 기준영역으로 사용되는 마커를 추출한다.
그리고, 영역 경계 결정부(103)에서는 추출된 마커로부터 분수령 알고리즘을 이용하여 영상을 밝기가 유사한 영역으로 분리하게 된다.
도 2 는 본 발명에 따른 모포로지컬 영상분할 시스템에서의 시공간 결합 마커 추출 방법에 대한 처리 흐름도로서, 시각적으로 의미있는 영역 경계 정보를 추출하기 위해서 밝기 정보와 같은 공간 정보와 밝기값의 시간적 변화 유무와 같은 시간 정보를 동시에 이용한다.
먼저, 입력되는 현재 영상 프레임 Ik에 대해 적절한 필터를 이용하여 영상을 분할하기에 용이하도록 영상을 단순화시키는데, 이때 영역의 경계를 보존하면서 영역의 내부를 단순화한다(201,202).
그런 다음, 공간 마커 추출이 용이하도록 단순화된 영상의 밝기값의 레벨(gray level)을 양자화한다(203). 예를 들면, 단순화된 영상의 밝기값이 0 ~ 255 범위의 256 가지 레벨을 가진다면, 본 단계의 레벨 양자화를 통하여 256 개수보다 적은 레벨, 예를 들면 32가지 레벨을 가지도록 한다. 양자화 레벨의 개수는 영상의 종류(types) 및 용용 목적에 따라 임의로 정할 수 있다.
그리고, 단순화 및 양자화된 영상 프레임에 대해 밝기값이 균일한 영역을 공간 마커로 추출한다(204). 공간 마커를 추출하는 방법은 다음과 같다. 먼저, 블랍 컬러링(Blob coloring)과 같은 라벨링 방법을 이용하여 단순 및 양자화된 영상을 라벨링(labeling)한다. 즉, 밝기가 균일한 독립된 영역(flat connected region)들을 하나의 영역으로 라벨링하게 된다. 라벨링된 영역들중 그 크기가 주어진 임계값보다 큰 영역들만 공간 마커로 추출하게 된다. 따라서, 라벨링된 영역중 그 크기가 주어진 임계값보다 큰 영역은 공간 마커로 추출되고, 임계값보다 적은 영역은 불확실한 영역(uncertainty area)으로 정의된다.
또한, 입력되는 현재 영상 프레임 Ik와 이전 영상 프레임(previous frame) Ik-1로부터 변화 영역 판정기(change detector)를 이용하여 시간적으로 변화가 있는 영역(changed region)과 변화가 없는 영역(unchanged region)을 구분하고 변화가 있는 영역으로부터 드러난 배경(uncovered region)을 제거하여 움직임 물체 영역과 움직임이 없는 배경으로 분할한다. 그리고, 분할된 움직임 물체 영역과 움직임이 없는 배경 영역을 각각 수축(shrink)하여 움직임 물체 영역과 움직임이 없는 배경 영역 사이에 불확실한 영역(uncertain area)을 형성한다. 따라서, 수축된 움직임 물체 영역, 수축된 움직임이 없는 배경 영역 그리고 불확실한 영역으로 구성된 시간 마커를 추출하게 된다(206).
상기와 같이 공간 마커와 시간 마커를 추출한 후에(204,206) 추출된 공간 마커와 시간 마커로부터 시공간 결합 마커를 추출하게 된다(207). 시공간 결합 마커를 추출하는 방법은 공간 마커 영상과 시간 마커 영상을 같은 영상 좌표상에서 결합한다. 먼저, 각 공간 마커에 대해 각 공간 마커에 포함된 시간 마커 영상의 모든 독립된 움직임 물체 영역들을 추출하여 이중 그 크기가 주어진 임계값보다 큰 영역들만을 시공간 결합 마커로 추출한다. 다음은 각 공간 마커에 포함된 시간 마커 영상의 모든 독립된 움직임이 없는 배경 영역들을 추출하여 이중 그 크기가 주어진 임계값보다 큰 영역들만을 시공간 결합 마커로 추출한다. 따라서, 배경의 일부와 움직임 영역의 밝기가 유사하여 이들이 하나의 공간 마커를 공유하더라도 시공간 결합 마커 추출 과정을 통하여 하나의 공간 마커를 움직임이 없는 배경의 마커들과 움직임 영역의 마커들로 분리하여 주기 때문에 분수령 알고리즘을 적용하더라도 움직임 물체가 배경의 일부로 잘못 분할되거나 역으로 배경이 움직임 물체의 일부로 잘못 분할되는 문제가 발생되지 않는다. 상기와 같은 과정을 통하여 추출된 시공간 결합 마커는 분할할 영역의 내부를 나타내는 기준 영역으로 사용되고, 나머지는 불확실한 영역으로 주로 영역의 경계에 분포하게 되는데 분수령 알고리즘 과정을 통하여 주위 영역중 가장 유사한 영역으로 할당된다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기와 같은 본 발명은, 공간 정보와 시간 정보를 동시에 이용하여 시공간 결합 마커를 추출하여 시각적으로 중요한 영역의 내부, 즉 마커를 제공하기 때문에 모포로지컬 영상분할의 분수령 알고리즘에 적용시 정확하게 영역 경계를 분할할 수 있는 효과가 있다.

Claims (5)

  1. 모포로지컬 영상분할 시스템에 적용되는 시공간 결합 마커 추출 방법에 있어서,
    입력되는 현재 영상 프레임을 단순화시킨 후에 단순화된 영상을 양자화한 다음에 단순화 및 양자화된 영상 프레임으로부터 공간정보를 이용하여 공간 마커(spatial marker)를 추출하는 제 1 단계;
    입력되는 현재 영상 프레임과 이전 영상 프레임(previous frame)으로부터 시간정보를 이용하여 시간 마커(temporal marker)를 추출하는 제 2 단계; 및
    상기 제 1 단계에서 추출된 공간 마커와 상기 제 2 단계에서 추출된 시간 마커를 합성(combination)하여 시공간 결합 마커를 추출하는 제 3 단계
    를 포함하여 이루어진 시공간 결합 마커 추출 방법.
  2. 제 1 항에 있어서,
    상기 제 1 단계는,
    입력되는 현재 영상 프레임에 대해 필터를 이용하여 영상을 분할하기에 용이하도록 영역의 경계를 보존하면서 단순화하는 제 4 단계;
    공간 마커 추출이 용이하도록 단순화된 영상의 밝기값의 레벨(gray level)을 양자화하는 제 5 단계; 및
    단순화 및 양자화된 영상 프레임에 대해 밝기값이 균일한 영역을 공간 마커로 추출하는 제 6 단계
    를 포함하여 이루어진 시공간 결합 마커 추출 방법.
  3. 제 2 항에 있어서,
    상기 제 6 단계는,
    단순화 및 양자화된 영상에 대하여 밝기가 균일한 독립된 영역(flat connected region)들을 하나의 영역으로 라벨링(labeling)하는 제 7 단계;
    라벨링된 영역중 그 크기가 주어진 임계값보다 적은 영역을 불확실한 영역(uncertainty area)으로 정의하는 제 8 단계; 및
    라벨링된 영역중 그 크기가 상기 임계값보다 큰 영역을 공간 마커로 추출하는 제 9 단계
    를 포함하여 이루어진 시공간 결합 마커 추출 방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 제 2 단계는,
    입력되는 현재 영상 프레임과 이전 영상 프레임(previous frame)으로부터 변화 영역 판정기(change detector)를 이용하여 시간적으로 변화가 있는 영역(changed region)과 변화가 없는 영역(unchanged region)을 구분하는 제 7 단계;
    상기 변화가 있는 영역으로부터 드러난 배경(uncovered region)을 제거하여 움직임 물체 영역과 움직임이 없는 배경으로 분할하는 제 8 단계; 및
    상기 분할된 움직임 물체 영역과 움직임이 없는 배경 영역을 각각 수축(shrink)하여 움직임 물체 영역과 움직임이 없는 배경 영역 사이에 불확실한 영역(uncertain area)을 형성하여 상기 수축된 움직임 물체 영역, 수축된 움직임이 없는 배경 영역 그리고 불확실한 영역으로 구성된 시간 마커를 추출하는 제 9 단계
    를 포함하여 이루어진 시공간 결합 마커 추출 방법.
  5. 제 4 항에 있어서,
    상기 제 3 단계는,
    각 공간 마커에 대해 각 공간 마커에 포함된 시간 마커 영상의 독립된 움직임 물체 영역들을 추출하여 이중 그 크기가 주어진 임계값보다 큰 영역들을 시공간 결합 마커로 추출하는 제 10 단계; 및
    각 공간 마커에 포함된 시간 마커 영상의 독립된 움직임이 없는 배경 영역들을 추출하여 이중 그 크기가 상기 임계값보다 큰 영역들을 시공간 결합 마커로 추출하는 제 11 단계
    를 포함하여 이루어진 시공간 결합 마커 추출 방법.
KR1019970052986A 1997-10-16 1997-10-16 모포로지컬 영상분할을 위한 시공간 결합 마커추출 방법 KR100246626B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1019970052986A KR100246626B1 (ko) 1997-10-16 1997-10-16 모포로지컬 영상분할을 위한 시공간 결합 마커추출 방법
PCT/KR1998/000112 WO1999021136A1 (en) 1997-10-16 1998-05-04 Method of extracting temporal and spatial combination markers for morphological image division
JP2000517383A JP2001521229A (ja) 1997-10-16 1998-05-04 モホロジカル画像分割のための時空間結合マーカ抽出方法
EP98917778A EP1023696A1 (en) 1997-10-16 1998-05-04 Method of extracting temporal and spatial combination markers for morphological image division
US09/529,609 US6728427B1 (en) 1997-10-16 1998-05-04 Method of extracting temporal and spatial combination markers for morphological image division

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970052986A KR100246626B1 (ko) 1997-10-16 1997-10-16 모포로지컬 영상분할을 위한 시공간 결합 마커추출 방법

Publications (2)

Publication Number Publication Date
KR19990032057A KR19990032057A (ko) 1999-05-06
KR100246626B1 true KR100246626B1 (ko) 2000-03-15

Family

ID=19522845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970052986A KR100246626B1 (ko) 1997-10-16 1997-10-16 모포로지컬 영상분할을 위한 시공간 결합 마커추출 방법

Country Status (5)

Country Link
US (1) US6728427B1 (ko)
EP (1) EP1023696A1 (ko)
JP (1) JP2001521229A (ko)
KR (1) KR100246626B1 (ko)
WO (1) WO1999021136A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416468B2 (en) 1999-09-17 2013-04-09 Silverbrook Research Pty Ltd Sensing device for subsampling imaged coded data
US7128270B2 (en) 1999-09-17 2006-10-31 Silverbrook Research Pty Ltd Scanning device for coded data
US7605940B2 (en) 1999-09-17 2009-10-20 Silverbrook Research Pty Ltd Sensing device for coded data
US7357323B2 (en) * 2003-04-07 2008-04-15 Silverbrook Research Pty Ltd Obtaining product item assistance

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4791675A (en) * 1985-12-31 1988-12-13 Schlumberger Systems And Services, Inc. VSP Connectivity pattern recognition system
JP2530090B2 (ja) * 1992-02-28 1996-09-04 三星電子株式会社 映像信号符号化装置
US5734739A (en) * 1994-05-31 1998-03-31 University Of Washington Method for determining the contour of an in vivo organ using multiple image frames of the organ
KR0139154B1 (ko) * 1994-07-08 1998-06-15 김광호 신경망을 이용한 부호화방법 및 그 장치
JP3569992B2 (ja) * 1995-02-17 2004-09-29 株式会社日立製作所 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
US5646689A (en) * 1995-10-23 1997-07-08 Lucent Technologies Inc. Video encoder with feedback control
WO1997016807A1 (en) * 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for image-based object detection and tracking
US5974200A (en) * 1997-03-20 1999-10-26 Matsushita Electric Industrial Company, Ltd. Method of locating a machine readable two dimensional barcode within an image
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream

Also Published As

Publication number Publication date
KR19990032057A (ko) 1999-05-06
US6728427B1 (en) 2004-04-27
WO1999021136A1 (en) 1999-04-29
EP1023696A1 (en) 2000-08-02
JP2001521229A (ja) 2001-11-06

Similar Documents

Publication Publication Date Title
Choi et al. Spatio-temporal video segmentation using a joint similarity measure
KR100609249B1 (ko) 영상 오브젝트 트랙킹 방법과 대응 시스
US7313254B2 (en) Method for extracting object region
JP2000030040A (ja) 画像処理装置及びコンピュータ読み取り可能な記憶媒体
CN109214999A (zh) 一种视频字幕的消除方法及装置
WO1998029834A1 (en) Sprite-based video coding system
KR100301113B1 (ko) 윤곽선 추적에 의한 동영상 객체 분할 방법
CN104239927A (zh) 一种彩色二维码生成方法及解码方法
Stoffels et al. Object‐oriented image analysis for very‐low‐bitrate video‐coding systems using the CNN universal machine
Jacob et al. Colorization of grayscale images and videos using a semiautomatic approach
KR100246626B1 (ko) 모포로지컬 영상분할을 위한 시공간 결합 마커추출 방법
KR20010024435A (ko) 정지 영상 생성 방법 및 장치
Pan et al. Automatic extraction of moving objects using multiple features and multiple frames
GB2439250A (en) Segmentation of digital images
Chen et al. The adaptive fractional order differential model for image enhancement based on segmentation
Alatan et al. A rule-based method for object segmentation in video sequences
Choi et al. Video segmentation based on spatial and temporal information
Marques et al. Partition-based image representation as basis for user-assisted segmentation
CN110942420A (zh) 一种图像字幕的消除方法及装置
Nair et al. Single Image Dehazing Using Multi-Scale DCP-BCP Fusion
KR100236933B1 (ko) 컬러 정보를 이용한 공간 기울기 검출 방법
KR100315426B1 (ko) 블록 매칭 기법을 이용한 자막 영역의 원영상 복원 장치및 그 방법
KR100276469B1 (ko) 이진분열 방법에 기반한 계층구조의 시공간 동영상분할
Fan et al. Hierarchical object-oriented video segmentation and representation algorithm
KR100322728B1 (ko) 삼차원세그멘테이션방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20081202

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee