KR100765294B1 - 액정 디스플레이 패널의 얼룩 결함 검출 방법 - Google Patents

액정 디스플레이 패널의 얼룩 결함 검출 방법 Download PDF

Info

Publication number
KR100765294B1
KR100765294B1 KR1020060072492A KR20060072492A KR100765294B1 KR 100765294 B1 KR100765294 B1 KR 100765294B1 KR 1020060072492 A KR1020060072492 A KR 1020060072492A KR 20060072492 A KR20060072492 A KR 20060072492A KR 100765294 B1 KR100765294 B1 KR 100765294B1
Authority
KR
South Korea
Prior art keywords
applying
pixel
image
absolute value
value
Prior art date
Application number
KR1020060072492A
Other languages
English (en)
Inventor
전학진
강병철
변대균
김태희
양동석
Original Assignee
조영환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조영환 filed Critical 조영환
Priority to KR1020060072492A priority Critical patent/KR100765294B1/ko
Application granted granted Critical
Publication of KR100765294B1 publication Critical patent/KR100765294B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28Testing of electronic circuits, e.g. by signal tracer
    • G01R31/2832Specific tests of electronic circuits not provided for elsewhere
    • G01R31/2834Automated test systems [ATE]; using microprocessors or computers
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00Networks using digital techniques
    • H03H17/02Frequency selective networks
    • H03H17/0202Two or more dimensional filters; Filters for complex signals
    • H03H2017/0207Median filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Theoretical Computer Science (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Liquid Crystal (AREA)

Abstract

액정 디스플레이 패널의 얼룩 결함을 자동으로 검출하기 위한 방법이 개시된다. 본 발명에 따른 방법은 얼룩 결함을 갖는 영상을 촬영하는 단계, 촬영된 영상의 그레이 값에 최소제곱법을 적용하는 단계, 노이즈 제거 필터를 적용하는 단계, 노이즈 제거 필터가 적용된 결과에 최소제곱법을 적용하는 단계 및 최종 최소제곱법 적용 전후의 각 화소별 그레이 값의 차이를 이용하여 얼룩을 검출하는 단계를 포함한다. 본 발명에 따른 얼룩 결함 검출 방법은 액정 패널의 자동화 공정의 생산성을 증대시키는 한편, 얼룩 결함 검출에 일정한 기준을 적용함으로써 통일된 기준에 따른 얼룩 결함 검출의 정확성을 향상시킬 수 있는 탁월한 효과를 제공한다.
최소제곱법, 미디언 필터, 얼룩 결함, 액정 디스플레이 패널

Description

액정 디스플레이 패널의 얼룩 결함 검출 방법{METHOD FOR DETECTING MURAS IN LCD PANEL}
도 1은 본 발명에 따른 얼룩 결함 검출 방법의 순서도.
도 2는 촬영된 패널 영상의 흑백 형태의 화상.
도 3은 도 2의 화상에 최소제곱법을 적용한 결과를 흑백의 형태로 표시한 화상.
도 4는 도 3의 흑백 형태 화상에 미디언 필터를 반복적으로 적용하여 노이즈를 제거한 화상.
도 5는 도 4의 화상에 최소제곱법을 적용한 화상.
도 6은 도 4의 화상과 도 5의 화상의 화소별 그레이 값의 차이(잔상)를 표시한 화상.
도 7은 도 6의 화상의 그레이 값에 대한 표준편차를 이용하여 각 화소별 그레이 값의 이격도를 흑백 형태로 표시한 화상.
도 8은 도 7의 화상에 미디언 필터를 반복적으로 적용하여 노이즈를 제거한 화상.
도 9는 도 8의 화상의 얼룩 결함 영역을 윤곽을 표시한 화상.
도 10A 내지 도 10D는 본 발명의 일 실시예에 따른 결과들을 비교한 화상.
본 발명은 액정 디스플레이 패널의 얼룩 결함 검출 방법에 관한 것으로서, 특히, 결함 검출을 자동으로 수행하기 위하여 최소제곱법(Least Square Method)을 이용하는 얼룩 결함 검출 방법에 관한 것이다.
PMP, 노트북 컴퓨터, 고선명 텔레비전, 통신 단말기, 휴대용 수신기와 같은 제품들의 대중화로 인해, 이러한 제품들의 디스플레이 용도로 사용되는 액정 디스플레이 패널이 널리 이용되고 있다. 이러한 디스플레이에 대한 계속되는 수요를 만족시키기 위하여 제조업체들은 최신식 제조라인 수립에 많은 비용을 소요하고 있다.
그러나, 이러한 막대한 투자에도 불구하고, 디스플레이 패널의 검사 과정에서는 여전히 오퍼레이터의 육안 검사가 실시되고 있다. 이와 같은 수동 검사 대상 중의 하나가 액정 디스플레이 패널의 얼룩 결함 검출 단계이다. 오퍼레이터들은 디스플레이 패널의 결함에 대해 다양한 시각 검사를 수행하고, 자신의 지각에 기초하여 디스플레이 패널의 합격/불합격 여부를 판단한다. 이러한 육안 검사의 품질 및 완전성은 개별 오퍼레이터의 판단에 전적으로 의존하게 되다. 따라서, 이러한 육안 검사 방법은 매우 주관적이고, 실수로 인한 문제 발생 가능성이 높으며, 다양한 제조 공정의 품질을 모니터링, 제어 및 개선하는데 일관되고 효율적인 시스템을 사용하는 데에 방해 요소로 작용하게 된다. 더불어, 오퍼레이터의 주관적인 검사 기 준은 산업 전반의 통일된 품질 기준의 적용에도 문제가 된다.
본 발명은, 종래의 오퍼레이터에 의한 얼룩 결함의 수동 검출이 가지고 있는 문제점을 해결하기 위하여, 자동 공정을 통한 액정 디스플레이 패널의 얼룩 결함 검출 방법을 제공함으로써, 얼룩 결함 검사의 생산성과 정확성을 향상시키고, 보다 효율적인 검사 공정을 통해 비용 절감 효과를 제공하는 것을 발명의 목적으로 한다.
본 발명의 일 태양에 따른 얼룩 결함 검출 방법은 적어도 하나의 촬영 장치를 이용하여 액정 디스플레이 패널의 영상을 촬영하는 단계, 촬영된 영상에 최소제곱법을 적용하는 단계, 상기 최소제곱법이 적용된 결과에 노이즈 제거 필터를 적용하는 단계, 노이즈 필터가 적용된 결과에 다시 최소제곱법을 적용하는 단계, 및 최종 최소제곱법 적용 전후의 각 화소별 그레이 값의 차이를 이용하여 얼룩을 검출하는 단계를 포함한다.
바람직하게는, 최종 최소제곱법 적용 전후의 각 화소별 그레이 값의 차이를 이용하여 얼룩을 검출하는 단계는, 최종 최소 제곱법 적용 전후의 각 화소별 그레이 값의 차이의 절대값을 계산하는 단계, 절대값의 평균에 대한 각 화소별 절대값의 이격도에 따라 각 화소의 값을 흑백의 형태로 표현하는 단계, 및 상기 흑백 형태의 결과에 노이즈 제거 필터를 적어도 1회 이상 적용하는 단계를 포함한다.
더욱 바람직하게는, 상기 화소별 절대값의 이격도는, 절대값의 평균과 각 화 소별 절대값의 차이를 각 화소별 절대값의 표준편차에 특정 배수를 곱한 갑과 비교한 결과의 대소에 따라 판단된다.
더욱 더 바람직하게는, 상기 노이즈 제거 필터는 미디언 필터(Median Filter)이다.
얼룩 결함은 패턴화된 휘도 불균일의 형태로, 결함 주위의 인접부분과는 다르거나 변칙적인 조명 영역(기판 상의 화소)로 정의된다. 휘도 불균일 영역은 일반적으로 수직 방향에 위치한 이미지 촬영 장치에 의해 측정되며 매우 낮은 계조를 갖는다. 패널의 얼룩 영역은 둘레의 화소보다 밝거나 어둡게 나타나는 화소들을 포함하며, 특정 계조 임계치와 비교하여 얼룩 결함으로 분류된다. 이하에서는, 첨부된 도면을 참조하여 본 발명의 얼룩 결함 검출 방법에 대한 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 얼룩 결함 검출 방법의 순서도이다.
우선 액정 디스플레이 패널의 수직 방향에 위치한 하나 이상의 촬영 장치를 이용하여 패널의 RGB 영상을 촬영한다(단계 102). RGB 영상 각각은 얼룩 결함 검출을 위하여 명도값만을 갖는 흑백 형태의 화상으로 처리된다. 이와 같은 흑백 형태의 화상의 일 예가 도 2에 도시되어 있다.
도 2 내의 붉은 선으로 표시한 부분이 본 발명을 통해 검출하고자 하는 얼룩 결함 영역이다. 주위의 화소보다 낮은 계조를 갖는 부분으로서 비정형적인 형상을 띠고 있다. 이러한 비정형의 얼룩 결함을 명확히 검출하기 위한 초기 단계로서, 도 2의 흑백 화상에 최소제곱법(Least Square Method)을 적용한다.
최소제곱법은 방정식 또는 측정치의 총 수가 미지수의 갯수를 초과하는 경우의 미지수의 최확값(Most Probable Value)을 결정할 때에 많이 사용되는 방법이다. 최소제곱법의 원리는 측정값 오차(또는 잔차)의 제곱합이 최소가 될 때의 미지수의 값을 최확값으로 결정하는 원리이다.
최소제곱법을 적용하는 과정을 보다 구체적으로 설명하면 다음과 같다. 본 실시예에서는 2차의 다항식의 경우를 상정하여 최소제곱법을 적용하는 것으로 가정한다.
추정치 = a*n2 + b*n + c
이와 같은 2차의 다항식에 대하여, 도 2의 화상의 이진형태의 그레이 값에 대해 최소 제곱법을 이용하여 상기 a, b, c의 값을 계산한다. 그 후, 화소별 그레이 값의 실측값과, 상기 최소제곱법에 의해 구해진 추정치의 차이의 절대값을 계산한다. 이러한 절대값은 각 화소별 그레이 값이 주위 화소의 그레이 값의 변화 정도에서 얼마나 멀리 위치하는지를 의미하는 이격도를 의미하는 것으로 해석할 수 있다. 이러한 방법으로 계산된 절대값을 미리 정의된 임계치와 비교하여 그 대소에 따라 0(흑) 또는 1(백)로 각 화소의 값을 치환한다. 도 2의 화상에 대하여 최소제곱법을 적용한 후, 흑백 형태의 화상으로 변환된 결과가 도 3에 도시되어 있다.
도 3으로부터 확인할 수 있는 바와 같이, 얼룩 결함 영역이 주위 영역보다 보다 밝은 색으로 표시되어 있는 것을 알 수 있다. 다만, 최소제곱법의 적용 과정 중에 발생한 일부 오차들로 인해 얼룩 결함 영역이 아닌 부분에도 미세한 흰색 영역(노이즈)이 존재한다. 따라서, 이러한 노이즈 부분을 제거하기 위한 수단으로서 미디언 필터(Median Filter)를 적용한다(단계 106).
미디언 필터는 어느 점의 값을 그 점을 중심으로 하는 윈도우(window) 내의 중앙값(또는 최빈값)으로 대치하는 필터로서, 무작위 노이즈를 제거하는 데 효과적이다. 본 발명의 실시예에서는, 특정 화소 주변의 8개의 화소값들중 최빈값을 해당 화소의 값으로 치환하는 형태로 미디언 필터를 적용하였다. 미디언 필터 적용 단계는 노이즈의 정도에 따라 적어도 1회 이상 수행된다. 이러한 반복적인 미디언 필터 적용의 결과 화상이 도 4에 도시되어 있다. 도 4의 화상으로부터 확인할 수 있는 바와 같이, 미디언 필터 적용 후에 얼룩 결함 영역이 보다 명확히 표현되는 한편, 노이즈가 크게 감소한 것을 알 수 있다.
다음으로 보다 명확한 얼룩 결함 영역 검출을 위한 단계로서, 도 4의 결과 화상에 다시 한번 단계(104)에서 적용된 것과 동일한 최소제곱법을 적용한다(단계 108). 그 결과가 도 5에 도시되어 있다. 도 4의 화상에 최소제곱법을 적용하여 얻어진 도 5의 화상은 백그라운드 추정치로 지칭된다.
다음으로는, 도 4의 화상과 도 5의 화상의 화소별 그레이 값의 차이(잔상)를 계산한다(단계 110). 단계(110)의 결과 화상이 도 6에 도시되어 있다. 비록 육안으로는 식별이 어렵지만, 붉은 선으로 표시한 영역에는 얼룩 결함 영역을 나타내는 미세한 계조 상의 차이가 존재한다.
이러한 계조 차이를 보다 명확히 표현하기 위한 방법으로서, 단계(112)가 수행된다. 즉, 도 6의 화상의 그레이 값들의 평균과 각 화소별 그레이 값의 차이의 절대값을 계산한다. 이와 같이 계산된 절대값과 일정한 값(기준값: 본 실시예에서는 그레이 값의 표준편차 x 1.6)의 대소에 따라 다시 흑백의 영상 형태로 표현한다(단계 112). 이러한 단계는 표준편차를 이용하여 각 화소별 그레이 값의 이격도를 흑백 형태로 표현하는 것으로서, 그 결과가 도 7에 도시되어 있다. 그러나, 도 7의 화상에도 얼룩 결함 영역 이외의 부분에 흰색 영역이 나타나는 것으로부터 여전히 노이즈가 존재하는 것을 알 수 있다.
따라서, 노이즈 제거를 위하여 단계(106)와 동일한 방식의 미디언 필터를 도 7의 화상에 적용한다(단계 114). 단계(106)와 마찬가지로 노이즈가 충분히 제거될 때까지 미디언 필터를 반복적으로 적용한다(본 실시예에서는 3회). 미디언 필터를 반복적으로 적용하여 노이즈를 실질적으로 완전히 제거한 화상이 도 8에 도시되어 있다.
단계(116)에서는 도 8에 도시된 얼룩 결함 영역을 보다 명확히 파악할 수 있도록 얼룩 결함 영역의 윤곽을 표시한다. 이러한 얼룩 결함 영역의 윤곽이 명확히 표현된 화상이 도 9에 도시되어 있다.
이상에서 설명한 본 발명의 얼룩 결함 검출 방법을 이용하여 실측 영상의 얼룩 결함 영역을 표시한 예가 도 10A 내지 도 10D에 도시되어 있다.
이상의 설명은 본 발명의 최적의 실시예만을 대상으로서 한 것으로서, 상세 한 설명 및 도면은 제한적인 의미가 아닌, 본 발명의 사상을 설명하기 위한 용도로 기재되어 있다. 따라서, 이하의 청구범위에 나타난 바와 같이, 본 발명의 사상 및 범위를 벗어나지 않고 다양한 변화 및 변형이 가해질 수 있음이 명백하다.
본 발명에 따른 얼룩 결함 검출 방법은 액정 패널의 자동화 공정의 생산성을 증대시키는 한편, 얼룩 결함 검출에 일정한 기준을 적용함으로써 통일된 기준에 따른 얼룩 결함 검출의 정확성을 향상시킬 수 있는 탁월한 효과를 제공한다.

Claims (6)

  1. 액정 디스플레이 패널의 얼룩 결함을 검출하기 위한 방법에 있어서,
    a) 적어도 하나의 촬영 장치를 이용하여 액정 디스플레이 패널의 영상을 촬영하는 단계;
    b) 상기 촬영된 영상에 최소제곱법(Least Square Method)을 적용하는 단계;
    c) 상기 b) 단계의 결과에 노이즈 제거 필터를 적어도 1회 이상 적용하는 단계;
    d) 상기 c) 단계의 결과에 최소제곱법을 적용하는 단계;
    e) 상기 d) 단계의 최소제곱법 적용 전후의 각 화소별 그레이 값의 차이를 이용하여 얼룩을 검출하는 단계
    를 포함하는 것을 특징으로 하는 얼룩 결함 검출 방법.
  2. 제1항에 있어서, 상기 b) 단계의 최소제곱법을 적용한 결과는 흑백의 형태로 표현되는 얼룩 결함 검출 방법.
  3. 제2항에 있어서, 상기 e) 단계는
    f) 상기 d) 단계의 최소제곱법 적용 전후의 각 화소별 그레이 값의 차이의 절대값을 계산하는 단계
    g) 상기 절대값의 평균에 대한 각 화소별 상기 절대값의 이격도에 따라 각 화소의 값을 흑백의 형태로 표현하는 단계
    h) 상기 g) 단계의 흑백 형태의 결과에 노이즈 제거 필터를 적어도 1회 이상 적용하는 단계
    를 포함하는 얼룩 결함 검출 방법.
  4. 제3항에 있어서, 상기 b) 단계의 최소제곱법 적용 전후의 그레이 값의 차이의 절대값이 상기 사전 결정된 기준값보다 큰 경우에는 백색으로, 작은 경우에는 흑색으로 표현하는 얼룩 결함 검출 방법.
  5. 제4항에 있어서, 상기 g) 단계는 상기 절대값의 평균과 상기 각 화소별 절대값의 차이를, 상기 각 화소별 절대값의 표준편차에 특정 배수를 곱한 값과 비교한 결과의 대소에 따라 각 화소값을 흑 또는 백으로 표현하는 얼룩 결함 검출 방법.
  6. 제1항 내지 제5항 중의 어느 한 항에 있어서, 상기 노이즈 제거 필터는 미디언 필터(Median Filter)인 얼룩 결함 검출 방법.
KR1020060072492A 2006-08-01 2006-08-01 액정 디스플레이 패널의 얼룩 결함 검출 방법 KR100765294B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060072492A KR100765294B1 (ko) 2006-08-01 2006-08-01 액정 디스플레이 패널의 얼룩 결함 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060072492A KR100765294B1 (ko) 2006-08-01 2006-08-01 액정 디스플레이 패널의 얼룩 결함 검출 방법

Publications (1)

Publication Number Publication Date
KR100765294B1 true KR100765294B1 (ko) 2007-10-09

Family

ID=39419742

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060072492A KR100765294B1 (ko) 2006-08-01 2006-08-01 액정 디스플레이 패널의 얼룩 결함 검출 방법

Country Status (1)

Country Link
KR (1) KR100765294B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101857328B1 (ko) * 2015-12-16 2018-06-25 순천대학교 산학협력단 작물의 잎사귀 건강 상태를 판별하는 이미지 프로세싱 방법 및 시스템
CN109358438A (zh) * 2018-10-30 2019-02-19 京东方科技集团股份有限公司 云纹评价方法、装置和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337653A (ja) * 1993-05-31 1994-12-06 Yokogawa Electric Corp 液晶ディスプレイ検査装置
JPH08145848A (ja) * 1994-11-18 1996-06-07 Sharp Corp 液晶パネル欠陥検査装置
KR980007500A (ko) * 1996-06-26 1998-03-30 배순훈 피디피(pdp) 티브이의 노이즈 제거장치
KR20050052034A (ko) * 2003-11-28 2005-06-02 주식회사 쓰리비 시스템 플랫패널용 광관련판요소의 선형 얼룩 검출방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337653A (ja) * 1993-05-31 1994-12-06 Yokogawa Electric Corp 液晶ディスプレイ検査装置
JPH08145848A (ja) * 1994-11-18 1996-06-07 Sharp Corp 液晶パネル欠陥検査装置
KR980007500A (ko) * 1996-06-26 1998-03-30 배순훈 피디피(pdp) 티브이의 노이즈 제거장치
KR20050052034A (ko) * 2003-11-28 2005-06-02 주식회사 쓰리비 시스템 플랫패널용 광관련판요소의 선형 얼룩 검출방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101857328B1 (ko) * 2015-12-16 2018-06-25 순천대학교 산학협력단 작물의 잎사귀 건강 상태를 판별하는 이미지 프로세싱 방법 및 시스템
CN109358438A (zh) * 2018-10-30 2019-02-19 京东方科技集团股份有限公司 云纹评价方法、装置和系统

Similar Documents

Publication Publication Date Title
KR100422295B1 (ko) 디스플레이 장치의 화질 분석 방법 및 시스템
KR100265875B1 (ko) 화상처리방법및장치
JP2009229197A (ja) 線状欠陥検出方法および線状欠陥検出装置
KR101608843B1 (ko) 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법
KR100765294B1 (ko) 액정 디스플레이 패널의 얼룩 결함 검출 방법
US9646224B2 (en) Image processing method, image processing device and automated optical inspection machine
KR20140121068A (ko) 평판디스플레이의 얼룩 검사 방법 및 장치
JP4520880B2 (ja) しみ検査方法及びしみ検査装置
JP4664417B2 (ja) 表示パネル点灯検査装置、及び表示パネル点灯検査方法。
WO2017049863A1 (zh) 液晶滴注系统及控制方法
KR20140082333A (ko) 평판디스플레이의 얼룩 검사 방법 및 장치
JP2005164565A (ja) 低解像度および高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法
JP2000199745A (ja) 色ムラの検査方法及び装置
KR101946581B1 (ko) 패널 검사 방법
JPH08145907A (ja) 欠陥検査装置
JP2007198850A (ja) むら検査方法及びむら検査装置
KR20140082335A (ko) 평판디스플레이의 얼룩 검사 방법 및 장치
JP2004219176A (ja) 画素ムラ欠陥の検出方法及び装置
JP2004053477A (ja) 色ムラ検査方法及び装置
KR100566772B1 (ko) 플랫패널용 광관련판요소의 라인결함 검출방법
JP2008175558A (ja) 外観検査装置および外観検査方法
KR20210085411A (ko) 반복 얼룩 검출 장치 및 반복 얼룩 검출 방법
KR100549166B1 (ko) 플랫패널용 광관련판요소의 선형 얼룩 검출방법
KR100570268B1 (ko) 특징점 강도를 이용한 플랫패널용 광관련판요소의 부정형성 얼룩 검출방법
KR100819614B1 (ko) 디스플레이 장치용 평판의 검사용 이미지 생성 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110920

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee