KR100727838B1 - 초점조절 기능을 가지는 카메라 시스템 - Google Patents
초점조절 기능을 가지는 카메라 시스템 Download PDFInfo
- Publication number
- KR100727838B1 KR100727838B1 KR1020010022018A KR20010022018A KR100727838B1 KR 100727838 B1 KR100727838 B1 KR 100727838B1 KR 1020010022018 A KR1020010022018 A KR 1020010022018A KR 20010022018 A KR20010022018 A KR 20010022018A KR 100727838 B1 KR100727838 B1 KR 100727838B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- value
- signal
- focus adjustment
- setting value
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
본 발명은 초점 조절 기능을 가지는 카메라 시스템에 관한 것이다.
본 발명은 입사되는 광을 해당하는 전기적인 신호로 출력하는 촬상부; 피사체 광을 상기 촬상부에 결상시키는 촬영 렌즈부; 상기 촬상부에서 출력되는 전기적인 신호를 처리하여 촬영된 영상의 색정보를 생성하는 신호 처리부; 상기 촬영된 영상의 색정보 중 G 성분의 데이터중에서 최대값과 최소값의 차이인 제1 설정값을 산출하며, 현재 촬영된 영상의 제1 설정값과 다음 촬영되는 영상의 제1 설정값을 비교하여 그 결과에 따라 초점 조절 신호를 출력하는 제어부; 및 상기 초점 조절 신호에 따라 상기 촬영 렌즈부의 위치를 이동시켜 초점 조절을 수행하는 초점 조절부를 포함한다.
이러한 본 발명에 따르면, 촬상 소자를 이용하는 카메라 시스템에서 초점 조절에 소요되는 처리 시간이 최소화된다. 따라서, 보다 신속하게 원하는 영상을 정확하게 촬영할 수 있는 효과가 제공된다.
카메라시스템, 베이어형 필터, 초점조절
Description
도 1은 본 발명의 실시예에 따른 카메라 시스템의 구조를 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 카메라 시스템의 동작 순서도이다.
도 3은 본 발명의 실시예에 따른 1 프레임의 영상으로부터 추출되는 AF 윈도우 영역, MMD 영역의 예시도이다.
도 4는 촬상부에서 촬상처리된 영상으로 베이어형-패턴에 따라 출력되는 영상에 따른 색정보와, 기존의 CSC 과정을 거쳐 처리된 영상의 색정보를 나타낸 예시도이다.
본 발명은 초점 조절 기능을 가지는 카메라 시스템에 관한 것으로서, 더욱 상세하게 말하자면 촬상 소자를 이용하여 촬영하는 디지털 스틸 카메라 등의 카메라 시스템에서 초점 조절을 수행하는 것에 관한 것이다.
일반적으로 디지탈 스틸 카메라는 피사체의 2차원 정보를 기록하는 것으로, 피사체의 광학적 영상을 전기적 영상으로 변환시켜 메모리에 저장시키고, 필요에 따라 메모리에 저장된 영상을 리드(read)하여 프린트하거나 또는 컴퓨터로 전송하여 처리할 수 있는 카메라이다.
컴퓨터에서 화상을 보기 위해서는 각 화소마다 RGB 3개의 정보가 필요하나, 현재의 CCD에서는 은염 필터와 같이 다층 구조의 감광층을 가지지 않기 때문에, 동시에 3색의 화상을 기록하는 것이 불가능하다.
이러한 이유 때문에, RGB 중 어느 한 개의 색에 감광하는 3개의 모노크로 CCD 를 사용하거나, 또는 1화소 단위로 각각의 색에 모자이크 형상의 CFA(Color Filter Array)를 가지는 CCD를 사용하여, 각 화소마다 RGB 3개의 정보를 확보하고 있다.
모자이크 형상의 CFA를 가지는 1개의 CCD를 사용하는 카메라에서는 모자이크 형상의 화상밖에 얻을 수 없기 때문에, 최종적인 RGB 정보를 갖춘 화상을 얻기 위해서는 결핍된 색정보를 보충하기 위한 보간 처리(interpolation)를 수행하여야 한다.
예를 들어, R 필터에 가려진 화소에서는 R 정보만 가지고 있으므로, 주변 화소의 값을 기본으로 하여 G, B 를 유추하는 것이다. 이런 타입의 CCD의 CFA에는 해상력면에서 유리한 베이어(bayer)형 패턴이 사용되고 있으며, 베이어형 패턴의 CFA를 통하여 얻어진 각 화소의 값을 보간 처리(좌우의 2화소의 값을 평균으로 하거나, 상하 좌우의 4화소를 평균으로 하여 결핍된 색정보를 유추하기 등)하여 완전한 색정보를 얻는다.
이러한 종래의 촬상 소자를 이용하는 카메라 시스템에서는 베이어 패턴(RGRG,…, GBGBGB, …, RGRG…, GBGB…)의 색정보의 휘도(luminance) 값을 칼라 스페이스 변환(color space conversion: CSC)한 다음에 디지털 필터링하여 초점치를 계산하거나, 색정보를 칼라 스페이스 변환한 뒤에 아날로그 필터를 사용하여 초점치를 산출하고, 그 결과에 따라 초점 조절을 수행하였다.
그러나 종래의 촬상 소자를 이용하는 카메라 시스템은 초점 조절을 위한 값을 얻기 위하여, 다수의 과정(베이어 패턴-> 칼라 스페이스 변환->휘도 측정)이 요구되기 때문에, 초점 조절 시간이 증가되는 단점이 있었다.
또한, 초점 조절값을 얻기 위하여 디지털 필터나 아날로그 필터를 사용하기 때문에, 처리 시간이나 필터의 복잡도에 따라서 연산 시간이나 부가적인 추가 비용이 요구되는 단점이 있다.
그러므로, 본 발명이 이루고자 하는 기술적 과제는 촬상 소자를 이용하는 카메라 시스템에서 초점 조절에 소요되는 처리 시간을 최소화하고자 하는데 있다.
이러한 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 카메라 시스템은, 입사되는 광을 해당하는 전기적인 신호로 출력하는 촬상부; 피사체 광을 상기 촬상부에 결상시키는 촬영 렌즈부; 상기 촬상부에서 출력되는 전기적인 신호를 처리하여 촬영된 영상의 색정보를 생성하는 신호 처리부; 상기 촬영된 영상의 색정보 중 G 성분의 데이터중에서 최대값과 최소값의 차이인 제1 설정값을 산출하며, 현재 촬영된 영상의 제1 설정값과 다음 촬영되는 영상의 제1 설정값을 비교하여 그 결과에 따라 초점 조절 신호를 출력하는 제어부; 및 상기 초점 조절 신호에 따라 상기 촬영 렌즈부의 위치를 이동시켜 초점 조절을 수행하는 초점 조절부를 포함한다.
여기서, 제어부는 현재 촬영되는 영상의 제1 설정값이 다음 촬영되는 영상의 제1 설정값보다 커지도록 초점 조절을 제어한다.
특히, 상기 제어부는 촬영된 1프레임의 영상에서 초점 조절을 위한 윈도우 영역을 추출하고, 추출된 윈도우 영역에서 제1 영역을 설정 개수만큼 설정한 다음에, 각각의 제1 영역에서 최대값을 가지는 G 색정보의 값과 최소값을 가지는 G 색정보의 값과의 차이값을 구하고, 각각의 제1 영역에서 구해진 차이값을 합산하여 제1 설정값을 산출한다.
이러한 특징을 가지는 카메라 시스템에서, 상기 촬상부는 베이어형 필터를 가지는 CCD로 이루어진다.
이하, 본 발명의 실시예에 대해 첨부된 도면을 참조하여 상세히 설명한다.
도 1는 본 발명의 실시예에 따른 카메라 시스템의 블록도이다.
도 1에 도시되어 있듯이, 본 발명의 실시예에 따른 카메라 시스템은 촬영 렌즈부(10), 촬상부(CCD:Charge Coupled Device)(20), 상관 이중 표본화(Correlated Double Sampling:CDS)/자동 이득 제어(Automatic Gain Control:AGC)부(30), 신호 처리부(40), 제어부(50), 초점 조절부(60), 촬상 구동부(70) 및 메모리(80)를 포함한다.
촬영 렌즈부(10)는 외부로부터 입사되는 광을 촬상부(20)에 결상시키며, 초 점 조절 렌즈를 포함하는 다수의 렌즈로 이루어진다. 촬상부(20)는, 광전 변환 소자인 CCD로 이루어지며 촬영 렌즈부(10)에 의하여 결상된 광을 전기적인 신호로 변환한다. 여기서 사용되는 촬상부(20)의 CCD는 베이어형-패턴의 CFA(Color Filter Array)를 가지는 CCD이다.
CCD(20)로부터 변환되어 출력되는 전기 신호는 상관 이중 표본화/자동 이득 제어부(CDS/AGC부)(30)에 의해 상관 이중 표본화가 수행되어 잡음이 제거되며, 또한 신호의 이득값이 조절되어 출력된다.
CDS/AGC부(30)로부터 출력되는 신호는 디지털 신호로 변환되어 신호 처리부(50)로 입력된다.
신호 처리부(40)는 입력되는 디지털 신호를 처리하여 각종 방송 방식에 맞는 영상 신호를 출력한다. 신호 처리부(40)에서 영상 신호는 제어부(50)로 입력되고, 제어부(50)는 입력되는 영상 신호를 토대로 하여 초점 조절을 위한 신호를 생성하며, 생성된 신호(이하, 초점 조절 신호라고 명명함)를 초점 조절부(60)로 출력하여 초점 조절이 이루어지도록 한다.
초점 조절부(60)는 촬영 렌즈부(10)의 초점 조절 렌즈의 위치를 이동시키며, 특히, 제어부(50)로부터 제공되는 초점 조절 신호에 따라 해당 렌즈의 위치를 이동시켜 초점 조절이 이루어지도록 한다.
촬상 구동부(70)는 촬상부(20)를 구동시켜 결상된 광이 전기적인 신호로 출력되도록 하며, 특히, 제어부(50)로부터 출력되는 촬상 제어 신호에 따라 촬상부(20)의 광 축적 시간이나 신호 출력 시점 등을 조절한다.
도 2는 본 발명의 실시예에 따른 카메라 시스템에서 초점 조절 이루어지는 방법의 순서도이다.
본 발명에서는 초점 조절에 소요되는 처리 시간을 최소화하기 위하여, 촬상부의 베이어-패턴 신호 원리를 분석하고, 휘도(luminance) 값을 이용하지 않고 베이어-패턴 중에서 G 값만을 이용하여 초점 조절을 위한 데이터를 생성한다. 특히, 1 프레임의 영상을 다수의 블록으로 나누고 각 블록에서의 최대값과 최소값의 차이를 이용하여 초점 조절값을 생성하는 방법(MMD:max-min difference)을 디지털 필터링 방식을 사용하지 않고 구현하였다.
도 2에서와 같이, 사용자가 셔터를 누르게 되면 피사체 광이 촬영 렌즈부(10)를 통하여 촬상부(20)에 결상되어 전기적인 신호로 변환되어 출력된다(S100). 셔터의 1회 동작에 따라 촬상부(20)에 결상되는 영상을 1프레임의 영상이라고 명명한다.
베이어형-패턴의 촬상부(20)를 통하여 출력된 신호는 CDS/AGC부(30)에서 샘플링되고 이득이 조절된 다음에 신호 처리부(40)로 입력되며, 신호 처리부(40)는 이 신호에 대한 보간 처리 등 영상 신호를 생성하기 위한 일련의 신호 처리 과정을 수행하여, 촬영된 1프레임에 대한 색정보 R, G. B를 생성한다(S110).
제어부(50)는 신호 처리부(40)에 의하여 생성된 1프레임의 영상에 대한 색정보 R, G, B를 토대로 하여 초점 조절값을 생성한다. 구체적으로 1프레임의 영상(K)에서 초점 조절을 위한 AF 윈도우 영역(W)을 추출하고(S120), 추출된 AF 윈도우 영역(W)에서 MMD 방법을 적용하기 위한 임의의 영역(이하, MMD 영역이라고 명명함)을 N개 설정한다(S130). 도 3에 이와 같이 1 프레임의 영상으로부터 추출되는 AF 윈도우 영역, MMD 영역의 예가 도시되어 있으며, 도 4에 촬상부에서 촬상처리된 영상으로 베이어형-패턴에 따라 출력되는 영상에 따른 색정보와, 기존의 CSC 과정을 거쳐 처리된 영상의 색정보가 각각 도시되어 있다.
제어부(50)는 각 MMD 영역에서의 MMD 값 즉, 제일 큰 값을 가지는 G 성분의 값과, 제일 작은 값을 가지는 G 성분의 값의 차이를 각각 구하고, 각 N개의 MMD 영역에서의 구해진 MMD 값의 합을 산출한다(SS140∼S160).
기존에는 초점 조절값을 얻기 위하여 3×3 윈도우를 설정하며, 이 3×3 윈도우는 다음과 같이 표현될 수 있다.
기존에는 도 4에 도시된 모든 과정을 거친 9개의 데이터를 사용하여 초점 조절값을 산출하였으나, 본 발명의 실시예에서는 CSC 과정을 거치지 않은 도 4의 (a)에 도시된 베이어형-패턴의 영상의 6×3 데이터에서 9개의 G 성분 데이터만을 단순 비교하여 최대값과, 최소값을 각각 구하고, 최대값과 최소값의 차이(MMD값)를 산출하며, 이러한 각 영역(6×3의 MMD 영역)에서 산출된 MMD값의 합을 구한다.
이와 같이 산출되는 값은 초점 조절값(FocusValue, F)으로 다음과 같이 표현될 수 있다.
제어부(50)는 산출된 초점 조절값에 따라 초점 조절 단계를 증가시키고, 다시 다음 영상 즉, K+1 번째 영상에 대한 초점 조절값(F2)을 위에 기술된 바와 같이 동일한 단계를 수행하여 산출한다(S170).
K 번째 영상에 대한 초점 조절값 F1과 K+1번째 영상에 대한 초점 조절값 F2를 각각 산출한 다음에, 제어부(50)는 두 값(F1,F2)을 비교한다(S180). K+1번째 영상의 초점 조절값 F2가 K번째 영상의 초점 조절값 F1보다 큰 경우에는 초점 조절 단계를 증가시켜 즉, 촬영되는 영상의 값이 최대가 되는 방향으로 초점 조절이 이루어지도록 해당하는 초점 조절 신호를 초점 조절부(60)로 출력한다(S190). 따라서, 초점 조절부(60)는 촬영 렌즈부(10)의 도시하지 않은 초점 조절 렌즈의 위치를 이동시켜(예를 들어 초점 조절 렌즈를 피사체 방향으로 이동시킴) 촬상부(20)에 영상이 정확하게 결상되도록 한다. 이외에도 촬영되는 영상 신호의 값이 증가되도록 촬상 구동부(70)가 촬상부(20)의 광축적 시간이 증가되도록 촬상부(20)의 구동을 조절할 수도 있다.
이와는 달리, K+1번째 영상의 초점 조절값 F2가 K번째 영상의 초점 조절값 F1보다 작은 경우에는, 초점 조절이 이루어진 것으로 판단하여 초점 조절부(60)의 구동을 정지시켜 초점 조절 동작을 종료시킨다(S200).
이러한 본 발명에 따르면 촬영된 영상에 대한 초점 조절값을 산출하기 위하 여 CSC 과정을 수행할 필요가 없기 때문에, 초점 조절값 산출에 소요되는 연산 시간이 현저하게 감소되며, 연산 과정 또한 간단해진다.
본 발명에 따르면, 촬상 소자를 이용하는 카메라 시스템에서 초점 조절에 소요되는 처리 시간이 최소화된다. 따라서, 보다 신속하게 원하는 영상을 정확하게 촬영할 수 있는 효과가 제공된다.
Claims (4)
- 입사되는 광을 해당하는 전기적인 신호로 출력하는 촬상부;피사체 광을 상기 촬상부에 결상시키는 촬영 렌즈부;상기 촬상부에서 출력되는 전기적인 신호를 처리하여 촬영된 영상의 색정보를 생성하는 신호 처리부;상기 촬영된 영상의 색정보 중 G 성분의 데이터중에서 최대값과 최소값의 차이인 제1 설정값을 산출하며, 현재 촬영된 영상의 제1 설정값과 다음 촬영되는 영상의 제1 설정값을 비교하여 그 결과에 따라 초점 조절 신호를 출력하는 제어부; 및상기 초점 조절 신호에 따라 상기 촬영 렌즈부의 위치를 이동시켜 초점 조절을 수행하는 초점 조절부를 포함하는 카메라 시스템.
- 제1항에 있어서,상기 제어부는 현재 촬영되는 영상의 제1 설정값이 다음 촬영되는 영상의 제1 설정값보다 커지도록 초점 조절을 제어하는 것을 특징으로 하는 카메라 시스템.
- 제1항에 있어서,상기 제어부는 촬영된 1프레임의 영상에서 초점 조절을 위한 윈도우 영역을 추출하고, 추출된 윈도우 영역에서 제1 영역을 설정개수만큼 설정한 다음에, 각각의 제1 영역에서 최대값을 가지는 G 색정보의 값과 최소값을 가지는 G 색정보의 값과의 차이값을 구하고, 각각의 제1 영역에서 구해진 차이값을 합산하여 제1 설정값을 산출하는 것을 특징으로 하는 카메라 시스템.
- 제1항에 있어서,상기 촬상부는 베이어형 필터를 가지는 CCD로 이루어지는 것을 특징으로 하는 카메라 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020010022018A KR100727838B1 (ko) | 2001-04-24 | 2001-04-24 | 초점조절 기능을 가지는 카메라 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020010022018A KR100727838B1 (ko) | 2001-04-24 | 2001-04-24 | 초점조절 기능을 가지는 카메라 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20020082564A KR20020082564A (ko) | 2002-10-31 |
KR100727838B1 true KR100727838B1 (ko) | 2007-06-14 |
Family
ID=27702308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020010022018A KR100727838B1 (ko) | 2001-04-24 | 2001-04-24 | 초점조절 기능을 가지는 카메라 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100727838B1 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101056051B1 (ko) * | 2009-10-08 | 2011-08-10 | 중앙대학교 산학협력단 | 자동 초점 시스템의 초점 조절장치 및 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR940025301A (ko) * | 1993-04-28 | 1994-11-19 | 김광호 | 자동초점 조절장치 및 그 방법 |
KR960032069A (ko) * | 1995-02-14 | 1996-09-17 | 이대원 | 카메라 및 그의 초점 조절 방법 |
KR19990049877A (ko) * | 1997-12-15 | 1999-07-05 | 윤종용 | 카메라시스템의 자동 초점조정장치 및 그에 따른 초점조정방법 |
KR20060046785A (ko) * | 2004-07-26 | 2006-05-17 | 캐논 가부시끼가이샤 | 촬상장치 및 그 제어 방법 및, 촬상장치의 자동 초점조절장치 |
KR20190000940A (ko) * | 2016-05-27 | 2019-01-03 | 마코 서지컬 코포레이션 | 수술 시스템을 위한 수술 전 계획 및 연관된 수술 중 등록 |
-
2001
- 2001-04-24 KR KR1020010022018A patent/KR100727838B1/ko not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR940025301A (ko) * | 1993-04-28 | 1994-11-19 | 김광호 | 자동초점 조절장치 및 그 방법 |
KR960032069A (ko) * | 1995-02-14 | 1996-09-17 | 이대원 | 카메라 및 그의 초점 조절 방법 |
KR19990049877A (ko) * | 1997-12-15 | 1999-07-05 | 윤종용 | 카메라시스템의 자동 초점조정장치 및 그에 따른 초점조정방법 |
KR20060046785A (ko) * | 2004-07-26 | 2006-05-17 | 캐논 가부시끼가이샤 | 촬상장치 및 그 제어 방법 및, 촬상장치의 자동 초점조절장치 |
KR20190000940A (ko) * | 2016-05-27 | 2019-01-03 | 마코 서지컬 코포레이션 | 수술 시스템을 위한 수술 전 계획 및 연관된 수술 중 등록 |
Also Published As
Publication number | Publication date |
---|---|
KR20020082564A (ko) | 2002-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5668597A (en) | Electronic camera with rapid automatic focus of an image upon a progressive scan image sensor | |
JP4351825B2 (ja) | カラーのディジタルイメージを収集する方法 | |
EP2351354B1 (en) | Extended depth of field for image sensor | |
EP1209903B1 (en) | Method and system of noise removal for a sparsely sampled extended dynamic range image | |
EP0869683B1 (en) | Image pickup device | |
JP4210021B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
US20080043114A1 (en) | Image display apparatus and method of supporting high quality image | |
EP1206119A2 (en) | Method and apparatus for exposure control for an extended dynamic range image sensing device | |
US8111298B2 (en) | Imaging circuit and image pickup device | |
JP2002064754A (ja) | 撮像装置の有効ダイナミックレンジを拡張する方法及び装置 | |
JP6442362B2 (ja) | 撮像装置及び撮像素子の制御方法 | |
KR100970030B1 (ko) | 화상 처리 장치, 및 화상 처리 방법, 기록 매체 | |
JP5681589B2 (ja) | 撮像装置及び画像処理方法 | |
JP5033711B2 (ja) | 撮像装置及び撮像装置の駆動方法 | |
US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
JP4972902B2 (ja) | 撮像装置および撮像方法 | |
KR100727838B1 (ko) | 초점조절 기능을 가지는 카메라 시스템 | |
JP2003101815A (ja) | 信号処理装置及び信号処理方法 | |
KR20060058117A (ko) | 촬영 렌즈 위치 제어 장치 | |
JP2003023567A (ja) | 画像取得装置 | |
JP4003246B2 (ja) | ビデオカメラ装置 | |
JP3947912B2 (ja) | 画像信号処理装置 | |
JP5550333B2 (ja) | 撮像装置、現像方法及びプログラム | |
JPH05260357A (ja) | 撮像装置 | |
JP4027643B2 (ja) | 撮像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130530 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140529 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150528 Year of fee payment: 9 |
|
LAPS | Lapse due to unpaid annual fee |