KR101212223B1 - Device taking a picture and method to generating the image with depth information - Google Patents
Device taking a picture and method to generating the image with depth information Download PDFInfo
- Publication number
- KR101212223B1 KR101212223B1 KR1020050064783A KR20050064783A KR101212223B1 KR 101212223 B1 KR101212223 B1 KR 101212223B1 KR 1020050064783 A KR1020050064783 A KR 1020050064783A KR 20050064783 A KR20050064783 A KR 20050064783A KR 101212223 B1 KR101212223 B1 KR 101212223B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- focal length
- images
- objects
- extracted
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
촬영장치는 가변초점렌즈로 촬영된 영상을 이용하여 깊이정보를 포함하는 영상을 생성할 수 있다.The photographing apparatus may generate an image including depth information by using an image photographed by the variable focus lens.
촬영장치는 가변초점렌즈, 영상처리부 및 영상저장부를 포함한다. 가변초점렌즈부는 객체의 거리에 따라 초점거리를 조절할 수 있는 렌즈를 포함한다. 영상처리부는 가변초점렌즈부를 통하여 동일한 화면을 각각 다른 초점거리로 촬영한 복수의 제1 영상들로부터 해당 초점거리에 대응하는 복수의 객체들을 각각 추출하고, 해당 초점거리에 기초하여 추출된 객체들을 합성하여 깊이 정보를 포함하는 제2 영상을 생성한다. 영상저장부는 상기 복수의 제1 영상, 각 제1 영상의 초점거리 및 상기 제2 영상이 저장된다. 여기서 영상처리부는 제1 영상 각각에서 공간주파수가 가장 높은 객체를 해당 초점거리에 대응하는 객체로서 추출할 수 있다. The photographing apparatus includes a variable focus lens, an image processor, and an image storage unit. The variable focus lens unit may include a lens that may adjust the focal length according to the distance of the object. The image processor extracts a plurality of objects corresponding to the focal length from the plurality of first images photographing the same screen at different focal lengths through the variable focus lens unit, and synthesizes the extracted objects based on the focal lengths. To generate a second image including depth information. The image storage unit stores the plurality of first images, a focal length of each first image, and the second image. The image processor may extract an object having the highest spatial frequency in each of the first images as an object corresponding to the focal length.
촬영장치, 공간주파수, 깊이정보 Photographing device, spatial frequency, depth information
Description
도 1은 본 발명의 실시예에 따른 촬영장치를 개략적으로 보여주는 도면이다. 1 is a view schematically showing a photographing apparatus according to an embodiment of the present invention.
도 2는 예시적인 촬영 객체의 구성을 보여주는 도면이다.2 is a diagram illustrating a configuration of an exemplary photographing object.
도 3a 내지 도 3c는 각각의 객체에 초점이 맞는 영상들을 보여주는 도면이다.3A to 3C are diagrams of images focused on respective objects.
도 4는 도 3a 영상에서 A-A`선의 공간주파수의 변화를 보여주는 그래프이다.4 is a graph showing a change in spatial frequency of the line A-A` in the image of FIG.
도 5는 각 객체를 단색 명암으로 하나의 프레임에 표시한 깊이정보 영상을 보여주는 도면이다.FIG. 5 is a diagram illustrating a depth information image in which each object is displayed in one frame in monochrome contrast.
본 발명은 촬영장치에 관한 것으로 특히 깊이정보를 포함하는 영상을 얻을 수 있는 촬영장치 및 깊이 정보를 포함하는 영상을 생성하는 방법에 관한 것이다.The present invention relates to a photographing apparatus, and more particularly, to a photographing apparatus for obtaining an image including depth information and a method for generating an image including depth information.
일반적으로, 3D 입체영상 표시기술은 2D 영상에 깊이(depth) 느낌을 제공하여 입체감을 표시하는 것으로, 좌안 및 우안으로부터 객체를 보았을 때의 시각적 변위 또는 객체의 시각 방향의 차이인 양안시차(binocular parallax)를 이용하여 물체의 입체감을 표현한다. 즉 사람은 좌안 영상과 우안 영상의 사이에 존재하는 물체의 깊이(depth)를 인식함으로써 입체감을 느끼게 된다. In general, 3D stereoscopic image display technology displays a three-dimensional effect by providing a depth feeling to a 2D image, a binocular parallax that is a visual displacement when the object is viewed from the left and right eyes or the difference in the visual direction of the object. ) To express the three-dimensional effect of the object. That is, a person may feel a three-dimensional effect by recognizing the depth of an object existing between the left eye image and the right eye image.
따라서 입체영상 표시를 위하여 양안시차를 기준으로 한대의 카메라를 이동하며 두 번 촬영하여 좌안 영상과 우안 영상을 얻거나, 3차원 입체정보를 가지는 3D 컴퓨터 그래픽 데이터를 이용하여 좌우측 시야각에 따라 두 번 랜더링하여 좌안 영상과 우안 영상을 얻는다. Therefore, one camera is moved twice based on binocular disparity for 3D image display, and the left and right eye images are obtained twice, or 3D computer graphic data having 3D stereoscopic information is rendered twice according to the left and right viewing angles. To obtain a left eye image and a right eye image.
이와 같이 입체 영상을 표시하기 위해서는 복잡한 방법으로 좌안 영상과 우안 영상을 얻어야만 한다는 문제점이 있다. 또한 3D 컴퓨터 그래픽를 이용하는 경우에는 비교적 용이하게 좌안 및 우안 영상을 얻을 수는 있으나 실제 사물을 촬영한 것과 같은 현실감을 얻어내기에는 한계가 있다. As described above, in order to display a stereoscopic image, a left eye image and a right eye image have to be obtained in a complicated manner. In addition, in the case of using 3D computer graphics, it is relatively easy to obtain left and right eye images, but there is a limit in obtaining realistic feelings such as photographing real objects.
따라서 현실감에 맞으면서 보다 용이하게 사물의 깊이 정보를 얻을 수 있는 방법이 절실히 요구되는 실정이다.Therefore, there is an urgent need for a method that can be used to obtain depth information of objects more easily while being fit to reality.
본 발명이 이루고자 하는 기술적 과제는 가변초점렌즈로 촬영된 영상을 이용하여 깊이정보를 포함하는 영상을 생성할 수 있는 촬영장치를 제공하는 것이다.An object of the present invention is to provide a photographing apparatus capable of generating an image including depth information by using an image photographed with a variable focus lens.
본 발명의 이루고자 하는 다른 기술적 과제는 깊이정보를 갖는 영상의 생성방법을 제공하는 것이다.Another object of the present invention is to provide a method for generating an image having depth information.
본 발명의 하나의 특징에 따른 촬영장치는 복수의 객체를 포함하는 화면을 촬영하는 촬영장치로서,According to one aspect of the present invention, a photographing apparatus is a photographing apparatus photographing a screen including a plurality of objects.
객체의 거리에 따라 초점거리를 조절할 수 있는 렌즈를 포함하는 가변초점렌즈부;A variable focus lens unit including a lens capable of adjusting a focal length according to a distance of an object;
상기 가변초점렌즈부를 통하여 동일한 화면을 각각 다른 초점거리로 촬영한 복수의 제1 영상들로부터 해당 초점거리에 대응하는 상기 복수의 객체들을 각각 추출하고, 해당 초점거리에 기초하여 추출된 상기 객체들을 합성하여 깊이 정보를 포함하는 제2 영상을 생성하는 영상처리부; 및The plurality of objects corresponding to the focal length are respectively extracted from the plurality of first images photographing the same screen at different focal lengths through the variable focus lens unit, and the extracted objects are synthesized based on the focal length. An image processor configured to generate a second image including depth information; And
상기 복수의 제1 영상, 각 제1 영상의 초점거리 및 상기 제2 영상이 저장되는 영상저장부를 포함한다.The image storage unit may include the plurality of first images, a focal length of each first image, and the second image.
상기 영상처리부는 상기 제1 영상 각각에서 공간주파수가 가장 높은 객체를 해당 초점거리에 대응하는 객체로서 추출할 수 있다. The image processor may extract an object having the highest spatial frequency in each of the first images as an object corresponding to a corresponding focal length.
상기 영상처리부는 상기 제1 영상들에서 각각 추출한 객체들을 상기 해당 초점거리에 기초하여 하나의 프레임에 단색 명암으로 표시하여 상기 제2 영상을 생성할 수 있다. The image processor may generate the second image by displaying the objects extracted from the first images in a single color contrast on one frame based on the corresponding focal length.
상기 영상처리부는 상기 제1 영상들에서 각각 추출한 객체들을 상기 해당 초점거리에 기초하여 각각의 명암영상들을 생성한 후, 상기 명암영상들을 합성하여 상기 제2 영상을 생성할 수 있다.The image processor may generate the respective contrast images based on the corresponding focal lengths of the objects extracted from the first images, and then synthesize the contrast images to generate the second image.
상기 가변초점렌즈부의 초점거리를 제어하고, 상기 제1 영상들 및 상기 제1 영상 각각의 초점거리를 상기 영상저장부에 저장하는 초점제어부를 더 포함할 수 있다.The apparatus may further include a focus control unit configured to control a focal length of the variable focus lens unit and to store focal lengths of the first images and the first images in the image storage unit.
본 발명의 다른 특징에 따른 영상 생성방법은, According to another aspect of the present invention,
a) 복수의 객체를 포함하는 화면을 각각 다른 초점거리로 촬영하여 복수의 제1 영상을 생성하는 단계;a) generating a plurality of first images by photographing a screen including a plurality of objects at different focal lengths;
b) 상기 제1 영상들 각각에서 해당 초점거리에 대응하는 객체를 각각 추출하는 단계; 및b) extracting an object corresponding to a corresponding focal length from each of the first images; And
c) 상기 해당 초점거리에 기초하여 추출된 객체들을 합성하여 깊이정보를 포함하는 제2 영상을 생성하는 깊이정보를 포함한다. c) depth information for generating a second image including depth information by synthesizing the extracted objects based on the corresponding focal length.
상기 b) 단계에서, 공간주파수가 높은 객체를 해당 초점거리에 대응하는 객체로서 추출할 수 있다. In step b), an object having a high spatial frequency may be extracted as an object corresponding to the focal length.
상기 c) 단계에서, 하나의 프레임에 상기 추출된 객체들을 단색 명암으로 표시하여 제2 영상을 생성할 수 있다. 또한 상기 c) 단계에서, 단색 명암으로 이루어진 상기 추출된 객체들 각각의 명암 영상을 생성하고 이렇게 생성된 상기 복수의 명암영상들을 합성하여 제2 영상을 생성할 수 있다. In step c), the second image may be generated by displaying the extracted objects in a single color contrast in one frame. Further, in step c), a second image may be generated by generating a contrast image of each of the extracted objects having a monochrome contrast and synthesizing the plurality of contrast images.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다. DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention. Like parts are designated with like reference numerals throughout the specification.
먼저, 본 발명의 실시예에 따른 촬영 장치에 대하여 도 1을 참고로 하여 상세하게 설명한다.First, a photographing apparatus according to an exemplary embodiment of the present invention will be described in detail with reference to FIG. 1.
도 1은 본 발명의 실시예에 따른 촬영장치를 개략적으로 보여주는 도면이다. 1 is a view schematically showing a photographing apparatus according to an embodiment of the present invention.
촬영장치(100)는 가변초점렌즈부(110), 초점제어부(120), 영상처리부(130) 및 영상저장부(140)를 포함한다. The photographing
가변초점렌즈부(110)는 거리에 따라 각 객체의 초점이 맞도록 조절할 수 있는 렌즈를 포함한다. The variable
초점제어부(120)는 가변초점렌즈부(110)의 초점거리정보 및 촬영된 영상을 영상저장부(140)에 저장한다.The
영상처리부(130)는 영상저장부(140)에 저장된 촬영 영상에서 객체 각각을 추출하고 추출된 객체들이 초점 거리에 따른 단색 명암으로 표시된 명암영상을 생성하여 영상저장부(140)에 저장한다. 또한 이렇게 생성된 각 객체들의 명암 영상들을 하나의 프레임에 합하여 객체 깊이정보가 담긴 깊이정보영상을 생성하고 영상저장부(140)에 저장한다. The
영상저장부(140)는 초점제어부(120)에 의해 촬영영상 및 초점거리정보가 저장되며, 영상처리부(130)에 의해 명암영상 및 깊이정보영상이 저장된다. The
다음은 도 2 내지 도 5를 참조하여 촬영장치(100)의 동작을 상세하게 설명한다.Next, the operation of the photographing
도 2는 예시적인 촬영 객체의 구성을 보여주는 도면이고, 도 3a 내지 도 3c는 각각의 객체에 초점이 맞는 영상들을 보여주는 도면이다.FIG. 2 is a diagram illustrating a configuration of an exemplary photographing object, and FIGS. 3A to 3C are views illustrating images focused on each object.
도 2에서와 같이 예시적으로 촬영할 객체는 산(10), 나무(20) 및 사람(30)이다. 설명의 간략화를 위하여 객체가 3개인 경우를 예로써 설명하지만, 객체의 수는 입체감 표현 정도에 따라 달라질 수 있다.As illustrated in FIG. 2, objects to be photographed are
촬영장치(100)의 초점 제어부(120)에 의해 가변초점렌즈부(110)의 렌즈의 초점거리가 3개의 객체에 각각 맞도록 조절되어 연속적으로 촬영된다. The focal length of the lens of the variable
도 3a에 도시된 영상은 사람(30)에게 초점이 맞도록 가변 초점 렌즈부(110)의 렌즈 초점거리가 조정되어 촬영된 것이고, 도 3b에 도시된 영상은 나무(20)에게 초점이 맞도록 가변 초점 렌즈부(110)의 렌즈 초점거리가 조정되어 촬영된 것이고, 도 3c에 도시된 영상은 산(10)에 초점이 맞도록 가변 초점 렌즈부(110)의 렌즈 초점거리가 조정되어 촬영된 것이다. The image illustrated in FIG. 3A is photographed by adjusting the lens focal length of the variable
초점제어부(120)는 이렇게 촬영된 영상들 및 각 영상들의 초점 거리 정보를 영상저장부(140)에 저장한다.The
영상처리부(130)는 이렇게 촬영된 각 영상에서 초점이 맞는 객체를 추출한다. 초점이 맞는 객체는 공간주파수를 이용하여 추출할 수 있다. The
도 4는 도 3a 영상에서 A-A`선의 공간주파수의 변화를 보여주는 그래프이다.4 is a graph showing a change in spatial frequency of the line A-A` in the image of FIG.
도 3a의 영상은 사람(30)에 초점이 맞춰져 있는 영상이므로, 도 4에서 사람 주변에 공간주파수가 높은 것을 관찰할 수 있다. 따라서 영상처리부(130)는 도 3a의 영상에서 공간 주파수가 높은 영역에 위치하는 사람(30)이라는 객체를 추출할 수 있으며, 초점제어부(120)에 의해 영상저장부(140)에 저장된 초점거리에 기초하여 사람(30)의 깊이 정보를 얻을 수 있다. 즉 사람(30)은 렌즈로부터 초점거리만큼 떨어진 위치에 위치함을 할 수 있다. 이러한 방식으로 영상처리부(130)는 도 3a 내 지 도 3c에 도시된 각 영상에서 객체를 추출하고 해당하는 객체의 깊이 정보를 얻는다. Since the image of FIG. 3A is focused on the
도 5는 도 3a 내지 도 3c의 영상에서 추출한 객체를 단색 명암으로 표시한 영상을 보여주는 도면이다. 도 5에서 도 3c의 영상에서 추출한 객체인 산(10)은 배경으로 표시하였다.FIG. 5 is a diagram illustrating an image in which the object extracted from the images of FIGS. 3A to 3C is displayed in monochrome contrast. In FIG. 5, the
도 5와 같이 각 객체는 초점거리에 기초하여 단색 명암 표시되어 하나의 프레임에 단일화된다. 즉 가장 먼 거리의 있는 객체는 흐리게, 가장 가까이에 있는 객체는 진하게 표시된다. 도 5에서는 사람(30) 개체(도 3a)가 나무(20) 객체(도 3n)보다 촬영 장치9100)에 가까이 위치한 경우를 나타낸다. 이렇게 단색 명암으로 표시된 도 5의 영상은 객체의 깊이정보가 담긴 깊이정보영상으로서 영상저장부(140)에 저장된다. 한편 영상처리부(130)는 단색 명암으로 이루어진 각 객체들의 명암 영상을 각각 생성하고 이를 합성하여 깊이정보영상으로 생성할 수도 있다.As shown in FIG. 5, each object is displayed in a single color contrast based on the focal length and is unified in one frame. In other words, objects that are farthest away are blurred, and those that are closest are shown in bold. In FIG. 5, the
이와 같이 본 발명의 촬영장치(100)는 2D 영상, 초점정보 및 깊이정보가 담긴 깊이정보영상을 생성할 수 있다. 이렇게 생성된 2D 영상, 초점정보 및 깊이정보가 담긴 깊이정보영상을 이용하여 보다 용이하게 입체 영상을 생성할 수 있다.As described above, the photographing
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명은 이에 한정되는 것은 아니며, 그 외의 다양한 변경이나 변형이 가능하다. Although the preferred embodiment of the present invention has been described in detail above, the present invention is not limited thereto, and various other changes and modifications are possible.
본 발명에 따르면, 하나의 가변초점렌즈를 이용하여 촬영한 초점거리가 다른 몇 장의 2D 영상을 이용하여 깊이정보를 포함하는 영상을 용이하게 생성할 수 있 다. According to the present invention, an image including depth information may be easily generated using several 2D images having different focal lengths photographed using one variable focus lens.
또한, 본 발명에 따라 깊이정보 영상은 실제로 촬영한 영상을 기초로 추출된 것이므로 현실감이 좋다.In addition, according to the present invention, since the depth information image is extracted based on the actually photographed image, the reality is good.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050064783A KR101212223B1 (en) | 2005-07-18 | 2005-07-18 | Device taking a picture and method to generating the image with depth information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050064783A KR101212223B1 (en) | 2005-07-18 | 2005-07-18 | Device taking a picture and method to generating the image with depth information |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070010306A KR20070010306A (en) | 2007-01-24 |
KR101212223B1 true KR101212223B1 (en) | 2012-12-13 |
Family
ID=38011539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050064783A KR101212223B1 (en) | 2005-07-18 | 2005-07-18 | Device taking a picture and method to generating the image with depth information |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101212223B1 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100933304B1 (en) * | 2007-08-30 | 2009-12-22 | 중앙대학교 산학협력단 | An object information estimator using the single camera, a method thereof, a multimedia device and a computer device including the estimator, and a computer-readable recording medium storing a program for performing the method. |
KR100915039B1 (en) * | 2007-10-11 | 2009-09-02 | 최명렬 | Method and Device for Transformation from Multi Focused 2D Image to 3D Image, and Recording Media |
KR101430471B1 (en) * | 2008-01-07 | 2014-08-18 | 엘지전자 주식회사 | Apparatus and Method for photographing an image |
KR101599434B1 (en) * | 2009-07-06 | 2016-03-03 | 엘지이노텍 주식회사 | Space detecting apparatus for image pickup apparatus using auto focusing and the method thereof |
JP5948102B2 (en) * | 2012-03-26 | 2016-07-06 | 株式会社Screenホールディングス | Transfer apparatus and transfer method |
KR102470916B1 (en) * | 2021-10-25 | 2022-11-25 | (주)블라우비트 | Ai-based photographing device capable of object tracking and method for controling the same |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000078611A (en) | 1998-08-31 | 2000-03-14 | Toshiba Corp | Stereoscopic video image receiver and stereoscopic video image system |
KR100321897B1 (en) * | 1998-12-22 | 2002-05-13 | 박남은 | Stereoscopic image conversion method and apparatus |
-
2005
- 2005-07-18 KR KR1020050064783A patent/KR101212223B1/en not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000078611A (en) | 1998-08-31 | 2000-03-14 | Toshiba Corp | Stereoscopic video image receiver and stereoscopic video image system |
KR100321897B1 (en) * | 1998-12-22 | 2002-05-13 | 박남은 | Stereoscopic image conversion method and apparatus |
Also Published As
Publication number | Publication date |
---|---|
KR20070010306A (en) | 2007-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5036132B2 (en) | Critical alignment of parallax images for autostereoscopic display | |
WO2010084724A1 (en) | Image processing device, program, image processing method, recording method, and recording medium | |
KR102214827B1 (en) | Method and apparatus for providing augmented reality | |
US8694922B2 (en) | Method for displaying a setting menu and corresponding device | |
US20150235408A1 (en) | Parallax Depth Rendering | |
EP0969418A2 (en) | Image processing apparatus for displaying three-dimensional image | |
JP4489610B2 (en) | Stereoscopic display device and method | |
JP2010033367A (en) | Information processor and information processing method | |
JP2014238731A (en) | Image processor, image processing system, and image processing method | |
JP2010171608A (en) | Image processing device, program, image processing method, recording method, and recording medium | |
JP2007052304A (en) | Video display system | |
US8094148B2 (en) | Texture processing apparatus, method and program | |
WO2003081921A1 (en) | 3-dimensional image processing method and device | |
KR101212223B1 (en) | Device taking a picture and method to generating the image with depth information | |
JP7148634B2 (en) | head mounted display device | |
JP5396877B2 (en) | Image processing apparatus, program, image processing method, and recording method | |
CN107209949B (en) | Method and system for generating magnified 3D images | |
WO2013108285A1 (en) | Image recording device, three-dimensional image reproduction device, image recording method, and three-dimensional image reproduction method | |
WO2017062730A1 (en) | Presentation of a virtual reality scene from a series of images | |
JP6963399B2 (en) | Program, recording medium, image generator, image generation method | |
KR101451236B1 (en) | Method for converting three dimensional image and apparatus thereof | |
JP2005175539A (en) | Stereoscopic video display apparatus and video display method | |
KR100708834B1 (en) | Stereoscopic image display system | |
JP6601392B2 (en) | Display control apparatus, display control method, and program | |
JP5539486B2 (en) | Information processing apparatus and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |