KR101477132B1 - 해양 환경에서 크기 변화에 무관한 물표 탐지 장치 및 방법 - Google Patents

해양 환경에서 크기 변화에 무관한 물표 탐지 장치 및 방법 Download PDF

Info

Publication number
KR101477132B1
KR101477132B1 KR20130118981A KR20130118981A KR101477132B1 KR 101477132 B1 KR101477132 B1 KR 101477132B1 KR 20130118981 A KR20130118981 A KR 20130118981A KR 20130118981 A KR20130118981 A KR 20130118981A KR 101477132 B1 KR101477132 B1 KR 101477132B1
Authority
KR
South Korea
Prior art keywords
edge information
level
map
image
vertical edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR20130118981A
Other languages
English (en)
Inventor
정종면
박계각
Original Assignee
목포해양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 목포해양대학교 산학협력단 filed Critical 목포해양대학교 산학협력단
Priority to KR20130118981A priority Critical patent/KR101477132B1/ko
Application granted granted Critical
Publication of KR101477132B1 publication Critical patent/KR101477132B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 크기 변화에 무관한 물표를 탐지하기 위해 다해상도 영상 분석 및 돌출맵 생성 과정을 이용하여 다양한 크기 물표를 탐지할 수 있는 해양 물표 탐지 장치 및 방법을 제공한다. 해양 물표 탐지 장치는, 입력된 적외선 영상에 대하여 노이즈를 제거하는 노이즈 제거부와, 노이즈가 제거된 영상을 다해상도로 분석하여 다해상도의 수직 에지 정보 및 수평 에지 정보를 추출하여 다해상도 영상 분석에 따른 각 레벨의 수평 에지 정보 및 수직 에지 정보를 생성하는 에지 추출부와, 각 수평 에지 정보 및 수직 에지 정보에 블러링을 수행하고, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 이용하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵을 하나의 영상으로 통합하여 통합 돌출맵을 생성하는 돌출맵 생성부와, 생성된 돌출맵에 대하여 이진화를 수행하여 하나 이상의 후보 물표 영역을 생성하고, 하나 이상의 후보 물표 영역 중 최종적인 물표 영역을 추출하는 물표 영역 추출부를 포함한다.

Description

해양 환경에서 크기 변화에 무관한 물표 탐지 장치 및 방법{Scale Invariant Object Detection Apparatus and Method in Sea Environment}
본 발명은 적외선 영상 처리 기술에 관한 것으로, 더욱 상세하게는 해양 환경에서 얻은 적외선 영상에서 물체를 탐지하기 위한 장치 및 방법에 관한 것이다.
선박을 조정하는 항해사는 항해에 필요한 여러 정보를 전자해도(ECDIS: Electronic Chart Display and Information System), 알파 레이더(ARPA: Automatic Radar Plotting Aids), 선박 자동식별 장치(AIS: Automatic Identification System), GPS 등 선교(bridge)의 항해보조 장비로부터 얻는다. 그러나, 항해 보조 장비의 불안전성으로 인해 선박을 조정하기 전에 반드시 육안으로 선박의 주위 상황을 파악해야 한다. 육안에 의한 관측을 어렵게 하는 요인은 항해사의 피로, 야간환경, 악천후 등이 있는데, 관련 연구에 의하면 해양 충돌 사고의 66.7%는 육안에 의한 관측 소홀로 발생하고 있다고 보고되고 있다.
따라서, 야간환경에서도 선박 주위 상황을 파악할 수 있는 IR 카메라를 선박에 설치하여 영상 정보를 항해 정보로 활용할 수 있다면 해양 충돌 사고를 감소시킬 수 있다. 물체 탐지(object detection)는 입력 영상에서 사전에 정의된 특정 물체나 객체를 찾아내는 기술이다. 물체 탐지 기술 중 해양 물표 탐지는 운항중인 선박의 근처에 다른 선박, 부표, 암초 등 물체(물표라고 함)의 존재 유무를 판단하기 위하여, 입력 영상에서 물표를 탐지해 내는 기술을 의미한다.
영상 정보를 이용한 자선박 주위의 다른 선박의 자동 탐지는 항해사의 근무피로를 경감시키면서 기존 항해 보조 장비의 불안전성을 보완할 수 있기 때문에 안전 항해에 큰 도움을 줄 수 있다. 그러나, 해양 환경에서 취득한 영상은 기후의 변화, 파도의 변동, 구름의 이동에 따른 빛의 양의 차이, 안개나 비, 강풍 등의 요소가 굉장히 다양하기 때문에 해상 영상에서 물표를 추출하기는 매우 어려운 문제이다. 따라서, 해상환경에서의 물표 추출은 다양한 환경 변수를 고려한 방법이 요구된다. 또한, 해상 영상에서 물표는 다양한 크기로 나타나기 때문에 크기 변화에 무관하게 물표를 추출할 수 있는 연구가 필요하다.
IR 영상은 야간에 사람의 시각을 대신하여 영상을 획득할 수 있는 장점 때문에 나이트비젼(Night vision) 분야에 많이 사용되고 있다. 해양 환경에서 획득한 영상에서 물표를 추출하는 기존 연구로서 IR 영상에 대해서 주파수 도메인에 기반한 물체 검출 기법이 연구되고 있는데 수평, 수직 방향 에지의 연결성만을 고려하여 물표를 탐지하였기 때문에, 물표의 질감 정보에 따라 물표 추출 결과가 달라질 수 있으며, 영상에서 물표의 크기에 따라 에지의 연결성을 결정하기 위한 여러 가지 파라메터들이 달라져야 하기 때문에 다양한 환경의 해양 영상으로부터 물표를 추출하기에 어려움이 있었다.
또한, 해양환경에서 물표 추출하기 위해서 Meyer 워터쉐드 방법을 이용하여 얻은 분할된 영상과 수평 에지의 비교를 통하여 물체를 추출하는 기술이 있는데 분할된 영역을 병합하기 위한 밝기차 임계값에 따라 그 결과가 달라질 수 있기 때문에 다양한 해양 환경 영상에서 물체를 추출하기에 어려움이 있다. 또한, IR 영상에서 물체를 배경으로부터 분할하는 방법이 제시되었는데 육상 환경에 초점을 맞추었기 때문에 해양환경에 적용하기에는 힘들다. 또한, 초해상도(super-resolution)를 이용한 자동 검출 연구가 있는데 물체의 크기에 따라 탐지 성능이 저하될 수 있다.
대한민국공개특허공보 제10-2002-78610호, 2002년 10월 19일 공개, 발명의 명칭: 적외선 영상에서의 관심 대상 분할 방법
Ki Tae Park and Jongmyeon Jeong, Object Detection Algorithm in Sea Environment Based on Frequency Domain, Journal of Korean Institute on Intelligent Systems, Vol. 22, 2012.
본 발명은 크기 변화에 무관한 물표를 탐지하기 위해 다해상도의 영상 분석 기법을 이용하여 다양한 크기 물표를 탐지할 수 있는 기법을 제안한다.
본 발명의 일 측면에 따른 해양 물표 탐지 장치는, 입력된 적외선 영상에 대하여 노이즈를 제거하는 노이즈 제거부와, 노이즈가 제거된 영상을 다해상도로 분석하여 다해상도의 수직 에지 정보 및 수평 에지 정보를 추출하여 다해상도 영상 분석에 따른 각 레벨의 수평 에지 정보 및 수직 에지 정보를 생성하는 에지 추출부와, 각 수평 에지 정보 및 수직 에지 정보에 블러링을 수행하고, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 이용하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵을 하나의 영상으로 통합하여 통합 돌출맵을 생성하는 돌출맵 생성부와, 생성된 통합 돌출맵에 대하여 이진화를 수행하여 하나 이상의 후보 물표 영역을 생성하고, 하나 이상의 후보 물표 영역 중 최종적인 물표 영역을 추출하는 물표 영역 추출부를 포함한다.
상기 돌출맵 생성부는, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 서로 곱하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵을 서로 더하여 하나의 통합 돌출맵을 생성할 수 있다.
상기 돌출맵 생성부는, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 서로 곱하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵에서 각 픽셀별 최대값을 선택하여 하나의 통합 돌출맵을 생성할 수 있다.
상기 물표 영역 추출부는, 하나 이상의 후보 물표 영역 중에서 미리 설정된 크기의 구조체 정보를 이용한 모폴로지 열기 연산을 수행하여 최종적인 물표 영역을 추출할 수 있다.
본 발명의 다른 측면에 따른 해양 물표 탐지 방법은, 입력된 적외선 영상에 대하여 노이즈를 제거하는 단계와, 노이즈가 제거된 영상을 다해상도로 분석하여 다해상도 수평 에지 정보 및 수직 에지 정보를 추출하여 다해상도 영상 분석에 따른 각 레벨의 수평 에지 정보 및 수직 에지 정보를 생성하는 단계와, 각 수평 에지 정보 및 수직 에지 정보에 블러링을 수행하고, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 이용하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵을 하나의 영상으로 통합하여 통합 돌출맵을 생성하는 단계와, 생성된 통합 돌출맵에 대하여 이진화를 수행하여 하나 이상의 후보 물표 영역을 생성하고, 하나 이상의 후보 물표 영역 중 최종적인 물표 영역을 추출하는 단계를 포함한다.
본 발명의 물표 탐지 장치 및 방법에 따르면, 다해상도 영상 분석 및 돌출맵 생성 과정을 통하여 해양 환경에서 크기 변화에 무관한 다양한 크기의 물표를 탐지할 수 있다. 이에 따라, 선교의 다른 항해 보조 장비와 함께 선박의 안전 운항에 중요한 정보를 제공할 수 있다.
도 1a 내지 도 1d는 해양 환경에서 획득한 영상의 특징을 나타내기 위한 적외선 영상의 일 예를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 물표 탐지 장치의 구성의 일 예를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라 모폴로지 연산을 이용하여 도 1a의 영상에 대하여 잡음을 제거한 결과 영상의 일 예를 나타내는 도면이다.
도 4는 웨이블렛 변환에서의 하나의 필터 스테이지를 나타내는 도면이다.
도 5는 세 레벨의 다해상도 웨이블렛 분해의 구조를 나타내는 도면이다.
도 6은 도 3과 같은 잡음을 제거된 입력 영상을 받아서 웨이블렛 변환을 다해상도로 수행하여 세 레벨로 만들어낸 결과 영상을 나타내는 도면이다.
도 7a 내지 도 7d는 본 발명의 일 실시예에 따라 생성된 돌출맵을 나타낸다.
도 8a는 도 7d의 돌출맵에 이진화를 수행한 후보 물표 영역을 보여주고, 도 8b는 최종적인 물표 영역을 추출한 결과를 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 해양 물표 탐지 방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1a 내지 도 1d는 해양 환경에서 획득한 영상의 특징을 나타내기 위한 적외선 영상의 일 예를 나타내는 도면이다.
해양 환경에서 획득한 영상에 존재하는 에지들은 육상에서 획득한 영상들의 에지들과는 다른 특징을 갖는다. 도 1a는 입력된 적외선 영상을 나타내고, 도 1b는 도 1a의 영상에 대한 에지 영상을 나타내고, 도 1c는 도 1a의 영상에 대한 수평 에지 영상을 나타내고, 도 1d는 도 1a 영상에 대한 수직 에지 영상을 나타낸다.
도 1b, 도 1c 및 도 1d에 나타나는 바와 같이, 해양환경에서 획득한 영상에서 추출한 에지는 수평선, 해수면의 파랑 등의 영향으로 수평방향의 에지가 수직 방향의 에지에 비해 많다. 수평 방향의 에지는 주로 해수면 또는 수평선이 만들어내는 에지이고, 수평과 수직 방향으로 동시에 에지가 나타나는 영역은 선박이나 부표와 같은 물표가 만들어내는 에지인 경우가 대부분이다. 수직 방향의 에지는 대부분 물표 영역에서 집중적으로 나타나며 배경영역의 잡음이 만들어내는 수직 에지는 넓은 영역에 흩어져서 나타난다.
도 2는 본 발명의 일 실시예에 따른 물표 탐지를 위한 해양 물표 탐지 장치의 구성의 일 예를 나타내는 도면이다.
해양 물표 탐지 장치(220)는 해양 영상의 특징을 이용하여 물표를 추출한다. 해양 물표 탐지 장치(220)는 적외선 카메라(210) 및 디스플레이부(230)와 함께 도 2에 도시된 바와 같이 적외선 영상 처리 장치(200)로서 구현될 수 있다.
적외선 카메라(210)는 적외선 영상을 촬영하여 해양 물표 탐지 장치(220)로 출력한다. 디스플레이부(230)는 물표 추출 처리 결과로서 생성된 영상을 표시한다.
해양 물표 탐지 장치(220)는 크기 변화에 무관한 물표 추출을 위해 다해상도 영상 분석 기법을 이용하여 다해상도 에지들의 방향성 정보를 사용한다. 이를 위해, 해양 물표 탐지 장치(220)는 먼저 빛의 반짝임과 복잡한 클러터(clutter)와 같은 노이즈를 제거하는 영상 개선 작업을 수행한다. 그런 다음, 해양 물표 탐지 장치(220)는 이산 Haar 웨이블렛 변환 또는 가우시안 피라미드와 같은 다해상도 영상 분석 기법을 사용하여 다해상도 수직 및 수평 방향의 에지 정보를 추출한다.
해양 물표 탐지 장치(220)는 세 번째 단계에서, 수평 및 수직 에지 정보를 다해상도 영상 분석에 따른 각각의 레벨에서 결합한 후 수평 및 수직 에지를 존재하는 각각 레벨의 정보들을 하나의 영상으로 통합하여 돌출맵(saliency map)을 생성한다.
마지막으로, 해양 물표 탐지 장치(220)는 생성된 돌출맵에 대하여 이진화를 수행한 후 모폴로지 열기 연산을 이용하여 고립 영역을 제거하여 최종적인 물표 영역을 추출한다.
이를 위하여, 해양 물표 탐지 장치(220)는 노이즈 제거부(222), 에지 추출부(224), 돌출맵 생성부(226) 및 물표 영역 추출부(228)를 포함한다. 이하에서, 노이즈 제거부(222), 에지 추출부(224), 돌출맵 생성부(226) 및 물표 영역 추출부(228)의 동작에 대하여 상세하게 설명한다.
해양 환경에서 촬영된 IR 영상은 해수면의 빛 반짝임 또는 복잡한 클러터와 같은 잡음이 영상 전체에 분포되어 있는데, 이러한 잡음들은 물표의 검출에 대한 효율성을 떨어뜨리는 결과를 초래할 수 있다. 노이즈 제거부(222)는 다양한 잡음들을 효과적으로 제거하기 위하여, 주어진 입력 IR 영상의 잡음들을 제거한다. 이를 위해, 노이즈 제거부(222)는 모폴로지 기법, 통계적 기법과 같은 다양한 잡음 제거 기법을 이용할 수 있다. 이하에서는, 모폴로지 기법을 통한 잡음 제거 방법에 대하여 간략하게 설명한다.
수학적 집합론에 기반하는 모폴로지 연산의 침식(erosion)은 수학식 1과 같이 정의된다.
Figure 112013090410068-pat00001
수학식 1에서, A 와 B 는 입력 영상과 구조체(structuring element)를 각각 의미한다. 침식 연산은 영상 A 의 노이즈 영역을 제거하고, 객체 영역을 깎아내는 효과를 낸다. 따라서, 주어진 영상에 대해 모폴로지 침식 연산을 적용하게 되면 객체 영역의 외부가 제거되면서 동시에 잡음이 제거되는 결과를 얻을 수 있다. 한편, 모폴로지 팽창 연산은 침식 영상의 반대 연산으로써 객체 영역과 잡음을 확장시킨다. 모폴로지 팽창 연산은 수학식 2와 같이 정의된다.
Figure 112013090410068-pat00002
침식과 팽창 연산을 조합하여 열림(opening) 연산과 닫힘(closing) 연산이 정의된다. 모폴로지 열림 연산은 수학식 3에서 보이는 것과 같이 침식 연산을 수행한 결과에 대한 팽창 연산으로 정의되며, 모폴로지 닫힘 연산은 수학식 4에 보이는 것과 같이 팽창 연산을 먼저 수행한 결과에 대해서 침식 연산을 수행한다.
Figure 112013090410068-pat00003
Figure 112013090410068-pat00004
침식 연산은 객체의 외곽을 깎아 내면서 노이즈 영역을 제거하고, 팽창 연산은 객체의 크기를 확장하기 때문에 열림 연산은 일반적으로 객체의 외곽선을 부드럽게 만들어주며 가늘게 돌출된 부위를 제거하고 잡음을 제거한다.
따라서, 노이즈 제거부(222)는 입력 영상에서 노이즈를 제거하기 위해 모폴로지 열림 연산을 수행한다. 또한, 노이즈 제거부(222)는 영상에 있는 물표 영역의 내부가 배경 영역으로 되는 경우가 발생하기 때문에, 이를 해결하기 위해서 모폴로지 닫힘 연산을 수행한다. 모폴로지 닫힘 연산은 팽창 연산을 수행한 다음 침식 연산을 수행하기 때문에 영상의 물표 영역 내부를 채워주는 역할을 한다. 이와 같은 모폴로지 연산을 이용하여 적외선 영상에서 심하게 나타나는 잡음의 영향을 완화시키면서도 영역에서의 경계선을 유지할 수 있다.
도 3은 본 발명의 일 실시예에 따라 모폴로지 연산을 이용하여 도 1a의 영상에 대하여 잡음을 제거한 결과 영상의 일 예를 나타내는 도면이다.
다시 도 2를 참조하면, 에지 추출부(224)는 노이즈가 제거된 영상으로부터 다해상도 영상 분석을 이용하여 다해상도의 수직 및 수평 방향의 에지 정보를 추출하여 수평 에지 정보 및 수직 에지 정보를 생성한다. 에지 추출부(224)는 이산 Harr 웨이블렛 변환을 사용하여 다해상도의 수직 및 수평 방향의 에지 정보를 추출할 수 있다.
웨이블렛은 수학, 컴퓨터, 신호처리, 통신 등 다양한 분야에서 독립적으로 발전되었고 80년대 들어 웨이블렛에 대한 종합적인 이해가 이루어지면서 영상 압축, 레이더신호, 생체신호, 지진연구, 경제 등 다양한 분야에 응용되기 시작했다. 컴퓨터 비젼에서 이용된 다해상도(multi-resolution) 분석 방법이나 음성과 영상압축에서 사용되던 서브밴드(sub-band) 코딩 기법, 응용 수학에서 사용된 웨이블렛 시리즈 전개 등 많은 기법들이 최근에 들어 웨이블렛 이론의 특수한 응용으로 발전된다.
다른 방법으로, 에지 추출부(224)는 가우시안 피라미드를 이용하여 다해상도의 수직 및 수평 방향의 에지 정보를 추출할 수 있다. 상세하게는, 에지 추출부(224)는 영상의 해상도를 변환한 후 소벨(sobel), 프리?(prewitte), 캐니(canny) 등의 에지 연산자를 이용하여 다해상도의 수직 및 수평 방향의 에지 정보를 추출할 수 있다. 에지 추출부(224)는 다해상도의 수직 및 수평 방향의 에지 정보를 추출할 수 있는 한 웨이블렛 변환 및 가우시안 피라미드 방법에 한정되지 않고 다양한 방법의 영상 처리 기법을 이용할 수 있다.
이하에서는, 웨이블렛 변환을 이용하여 다해상도의 수직 및 수평 방향의 에지 정보를 추출하는 방법을 중심으로 설명한다.
에지 추출부(224)는 웨이블렛 변환을 이용하여 영상의 스케일별 수직, 수평과 대각선 성분들을 얻는다. 에지 추출부(224)는 이산 Haar 웨이블렛 변환을 이용하여 수학식 5와 수학식 6을 통해 수평 방향으로 구현한 후 수직 방향으로 구현해서 도 4에 나타난 것처럼 4개의 결과 영역을 생성할 수 있다.
Figure 112013090410068-pat00005
Figure 112013090410068-pat00006
여기에서, X k ,L [n]은 k번째 레벨에 있는 영상의 이웃 두 픽셀의 평균값을 나타나고, X k ,H [n]은 k번째 레벨에 있는 영상의 이웃 두 픽셀의 차이값을 나타나며, L은 로우패스(lowpass) 필터라고 하고 H는 하이패스(highpass) 필터를 의미한다. 여기에서, L을 평균값으로 간주하며 H을 차이 값으로 간주한다.
도 4는 웨이블렛 변환에서의 하나의 필터 스테이지를 나타내는 도면이다.
본 발명의 일 실시예에 따르면, 에지 추출부(224)는 입력 영상에 대해 이산 Haar 웨이블렛 변환을 수행하여, 세 레벨의 웨이블렛 영상을 만들고 각각 영상들의 LL, HL, LH, HH 성분들을 생성할 수 있다. 여기서, LL은 근사값 영역 영상이고, LH은 수직 방향 에지 정보를 나타내는 영역 영상(즉, 수직 에지 영상)이고, HL은 수평 방향 에지 정보를 나타내는 영역 영상(즉, 수평 에지 영상)이고, 마지막 HH은 대각선 방향 에지 정보를 나타내는 영역 영상을 각각 나타낸다.
도 5는 세 레벨의 다해상도 웨이블렛 분해의 구조를 나타내는 도면이다.
웨이블렛 변환은 1차 변환 뿐만 아니라 여러 단계 반복 변환하여 각 단계마다 서로 다른 해상도(multi-resolution) 및 주파수 특징을 갖는다(Scalibility). 1회 웨이블렛 변환에 의하여 제1 레벨의 4개의 서브 밴드(즉, LL1 영역, HL1 영역, LH1 영역, HH1 영역)이 생성된다. 다시 LL1 영역을 웨이블렛 변환하면 제2 레벨의 4개의 서브 밴드(즉, LL2 영역, HL2 영역, LH2 영역, HH2 영역)이 추가적으로 생성된다. 다시 LL2 영역을 웨이블렛 변환하면 제3 레벨의 4개의 서브 밴드(즉, LL3 영역, HL3 영역, LH3 영역, HH3 영역)이 추가적으로 생성된다. 이와 같이, LL1, LL2 및 LL3와 같은 LL 영역을 분할하는 이유는 LL 영역에 영상의 주요 정보가 포함되어 있기 때문이다.
도 6은 도 3과 같이 잡음을 제거한 입력 영상을 받아서 웨이블렛 변환을 3회 수행하여 세 레벨로 만들어낸 결과 영상을 나타낸다.
여기에서는, 웨이블렛 변환을 3회 수행한 예를 나타내었으나, 웨이블렛 변환 횟수는 원하는 정보를 얻을 때까지 3회 이상 수행될 수 있다. 웨이블렛 변환을 수행할 때마다 입력 영상의 저주파 대역폭이 줄어들게 되며, 이로 인해 2배의 공간 해상도를 얻게 된다.
다시 도 2로 돌아가면, 돌출맵 생성부(226)는 각각의 다해상도 웨이블렛 영상에서 각 수평 에지 성분(HL) 및 수직 에지 성분(LH)들에 블러링을 수행한다. 돌출맵 생성부(226)는 수학식 7과 같은 가우시안 블러링을 이용하여 블러링을 수행할 수 있다.
Figure 112013090410068-pat00007
여기서, x와 y는 각각 2차원 영상의 원점으로부터 x방향(수평측)에서의 거리 및 y방향(수직측)에서의 거리이다. 또한, σ는 표준 편차이다.
수직 및 수평 방향으로 동시에 에지가 나타나는 영역은 선박이나 부표와 같은 해양 환경에서의 물표가 만들어내는 에지인 경우가 대부분이다. 즉, 물표 영역에서는 수평 에지 정보(HL) 및 수직 에지 정보(LH)가 모두 높은 값을 가질 가능성이 높기 때문에 수평 에지 정보(HL) 및 수직 에지 정보(LH)를 곱한 값은, 물표가 아닌 영역에 비하여 높은 값이 나올 것이다.
돌출맵 생성부(226)는 이와 같은 해양 물표의 특징을 고려하여 다해상도 영상 분석에 따른 각 레벨에서 블러링된 수평 에지 정보(HL) 및 수직 에지 정보(LH) 에지 성분을 서로 곱하고, 각 레벨에서 곱한 영상들을 하나의 영상으로 통합한다. 이를 위해, 돌출맵 생성부(226)는 수학식 8 및 9와 같은 수식을 이용할 수 있다.
Figure 112013090410068-pat00008
Figure 112013090410068-pat00009
여기에서, HL은 수평 에지 정보를 나타내며, LH은 수직 에지 정보를 나타낸다. SM1 - level, SM2- level, SM3 - level은 각각 첫 번째, 두 번째, 세 번째 레벨에서의 수직 및 수평 방향 에지들의 서로 곱한 결과로서 각 레벨별 돌출맵이다. SM은 수식으로 만들어진 돌출맵으로서 각 레벨별 돌출맵을 통합한 통합 돌출맵을 의미한다.
돌출맵 생성부(226)는, 수학식 9에 나타난 바와 같이, 각 레벨별로 생성된 돌출맵을 서로 더하여 하나의 영상으로 통합할 수 있다. 상세하게는, 돌출맵 생성부(226)는 각 레벨별 돌출맵의 해상도를 동일하게 조정한 후, 각 픽셀별로 3개의 돌출맵을 더하여 통합 돌출맵을 생성할 수 있다.
다른 방법으로, 돌출맵 생성부(226)는, 수학식 10에 나타난 바와 같이, 각 레벨별로 생성된 돌출맵에서 픽셀별 최대값을 선택하여 하나의 돌출맵으로 통합할 수도 있다. 상세하게는, 돌출맵 생성부(226)는 각 레벨별 돌출맵의 해상도를 동일하게 조정한 후, 각 픽셀별로 3개의 돌출맵 중 최대값을 선택하여 통합 돌출맵을 생성할 수 있다.
Figure 112013090410068-pat00010
물표가 나타나는 영역에서는 수평 에지 정보와 수직 에지 정보가 가까운 곳에서 동시에 나타나지만, 영상의 하나의 픽셀에 수평 에지 정보와 수직 에지 정보가 동시에 나타나지는 않는다. 각 픽셀의 에지 정보에 블러링을 수행하면 에지에 해당하는 에지 정보 자체의 값은 약간 낮아지면서 에지 주변에 있는 에지가 아닌 주변의 몇 픽셀들의 에지 정보는 커지게 된다. 즉, 특정 픽셀에 위치되는 수평 에지 정보 및 수직 에지 정보가 블러링 전에 비하여 넓게 퍼지는 효과가 생기며, 따라서, 본 발명의 일 실시예에 따라 블러링을 수행한 후에 수평 에지 정보 및 수직 에지 정보를 곱하면 물표 영역에서는 매우 높은 값을 갖게 되며, 이것은 돌출맵 영상에서 밝게 표현된다.
도 7a 내지 도 7d는 본 발명의 일 실시예에 따라 생성된 돌출맵을 나타낸다.
도 7a는 도 6의 웨이블렛 분해 영상에서 3번째 레벨의 돌출맵(SM3-level)을 나타내고, 도 7b는 도 6의 웨이블렛 분해 영상에서 2번째 레벨의 돌출맵(SM2-level)을 나타내고, 도 7c는 도 6의 웨이블렛 분해 영상에서 1번째 레벨의 돌출맵(SM1-level)을 나타낸다. 7d는 도 7a 내지 도 7c와 같이 각 레벨에서 만들어진 돌출맵을 수학식 9에 따라 하나의 영상으로 통합하여 생성된 통합 돌출맵(SM)을 나타낸다.
다시 도 2로 돌아가면, 물표 영역 추출부(228)는 돌출맵에 이진화를 수행하여 하나 이상의 후보 물표 영역을 추출한다. 후보 물표 영역에는 물표로 판단하기에는 작은 영역이 존재할 수 있다. 이와 같이, 생성된 후보 영역 물표 중에 물표로 판단하기에는 작은 영역을 고립 영역이라 한다. 고립 영역의 크기는 사용자가 소정의 크기로 미리 정의하여 물표 영역 추출부(228)에 이용되도록 설정할 수 있다. 또한, 고립 영역의 크기는 모폴로지 열기 연산을 수행하기 위한 미리 설정된 구조체(structuring element)의 크기를 의미한다. 물표 영역 추출부(228)는 미리 설정된 크기의 구조체 정보를 이용한 모폴로지 열기 연산을 수행하여 하나 이상의 후보 물표 영역 중에서 고립 영역을 제거함으로써 최종적인 물표 영역을 추출할 수 있다.
도 8a는 도 7d의 돌출맵에 이진화를 수행한 후보 물표 영역을 나타내고, 도 8b는 최종적인 물표 영역을 추출한 결과를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 해양 물표 탐지 방법을 나타내는 순서도이다.
먼저, 노이즈 제거부(222)는 입력된 적외선 영상의 노이즈를 제거한다(S910).
에지 추출부(224)는 노이즈가 제거된 영상을 다해상도로 분석하여 다해상도 수평 에지 정보 및 수직 에지 정보를 추출하여 다해상도 분석에 따른 각 레벨의 수평 에지 정보 및 수직 에지 정보를 생성한다(S920). 전술한 바와 같이, 에지 추출부(224)는 웨이블렛 변환, 가우시안 피라미드와 같은 다해상도 영상 분석 기법을 이용하여 다해상도의 각 레벨별 수평 에지 정보 및 수직 에지 정보를 추출할 수 있다.
돌출맵 생성부(226)는 각 수평 에지 정보 및 수직 에지 정보에 블러링을 수행하고, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 이용하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵을 하나의 영상으로 통합하여 통합 돌출맵을 생성한다(S930). 이때, 돌출맵 생성부(226)는, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 서로 곱하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵을 서로 더하여 하나의 통합 돌출맵을 생성할 수 있다. 또한, 돌출맵 생성부(226)는, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 서로 곱하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵에서 각 픽셀별 최대값을 선택하여 하나의 통합 돌출맵을 생성할 수도 있다.
물표 영역 추출부(228)는 생성된 통합 돌출맵에 대하여 이진화를 수행하여 하나 이상의 후보 물표 영역을 생성하고, 하나 이상의 후보 물표 영역 중 최종적인 물표 영역을 추출한다(S940). 물표 영역 추출부(228)는 하나 이상의 후보 물표 영역 중에서 미리 설정된 크기의 구조체 정보를 이용한 모폴로지 열기 연산을 수행하여 최종적인 물표 영역을 추출할 수 있다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
220: 해양 물표 탐지 장치 222: 노이즈 제거부
224: 에지 추출부 226: 돌출맵 생성부
228: 물표 영역 추출부

Claims (7)

  1. 삭제
  2. 입력된 적외선 영상에 대하여 노이즈를 제거하는 노이즈 제거부;
    상기 노이즈가 제거된 영상을 다해상도로 분석하여 다해상도의 수직 에지 정보 및 수평 에지 정보를 추출하여 다해상도 영상 분석에 따른 각 레벨의 수평 에지 정보 및 수직 에지 정보를 생성하는 에지 추출부;
    각 수평 에지 정보 및 수직 에지 정보에 블러링을 수행하고, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 이용하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵을 하나의 영상으로 통합하여 통합 돌출맵을 생성하는 돌출맵 생성부; 및
    생성된 통합 돌출맵에 대하여 이진화를 수행하여 하나 이상의 후보 물표 영역을 생성하고, 하나 이상의 후보 물표 영역 중 최종적인 물표 영역을 추출하는 물표 영역 추출부를 포함하며,
    상기 돌출맵 생성부는, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 서로 곱하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵을 서로 더하여 하나의 통합 돌출맵을 생성하는 것을 특징으로 하는 해양 물표 탐지 장치.
  3. 입력된 적외선 영상에 대하여 노이즈를 제거하는 노이즈 제거부;
    상기 노이즈가 제거된 영상을 다해상도로 분석하여 다해상도의 수직 에지 정보 및 수평 에지 정보를 추출하여 다해상도 영상 분석에 따른 각 레벨의 수평 에지 정보 및 수직 에지 정보를 생성하는 에지 추출부;
    각 수평 에지 정보 및 수직 에지 정보에 블러링을 수행하고, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 이용하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵을 하나의 영상으로 통합하여 통합 돌출맵을 생성하는 돌출맵 생성부; 및
    생성된 통합 돌출맵에 대하여 이진화를 수행하여 하나 이상의 후보 물표 영역을 생성하고, 하나 이상의 후보 물표 영역 중 최종적인 물표 영역을 추출하는 물표 영역 추출부를 포함하며,
    상기 돌출맵 생성부는, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 서로 곱하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵에서 각 픽셀별 최대값을 선택하여 하나의 통합 돌출맵을 생성하는 것을 특징으로 하는 해양 물표 탐지 장치.
  4. 제2항 또는 제3항에 있어서,
    상기 물표 영역 추출부는, 하나 이상의 후보 물표 영역 중에서 미리 설정된 크기의 구조체 정보를 이용한 모폴로지 열기 연산을 수행하여 최종적인 물표 영역을 추출하는 것을 특징으로 하는 해양 물표 탐지 장치.
  5. 삭제
  6. 입력된 적외선 영상에 대하여 노이즈를 제거하는 단계;
    상기 노이즈가 제거된 영상을 다해상도로 분석하여 다해상도 수평 에지 정보 및 수직 에지 정보를 추출하여 다해상도 영상 분석에 따른 각 레벨의 수평 에지 정보 및 수직 에지 정보를 생성하는 단계;
    각 수평 에지 정보 및 수직 에지 정보에 블러링을 수행하고, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 이용하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵을 하나의 영상으로 통합하여 통합 돌출맵을 생성하는 단계; 및
    생성된 통합 돌출맵에 대하여 이진화를 수행하여 하나 이상의 후보 물표 영역을 생성하고, 하나 이상의 후보 물표 영역 중 최종적인 물표 영역을 추출하는 단계를 포함하며,
    상기 통합 돌출맵을 생성하는 단계는, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 서로 곱하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵을 서로 더하여 하나의 통합 돌출맵을 생성하는 것을 특징으로 하는 해양 물표 탐지 방법.
  7. 입력된 적외선 영상에 대하여 노이즈를 제거하는 단계;
    상기 노이즈가 제거된 영상을 다해상도로 분석하여 다해상도 수평 에지 정보 및 수직 에지 정보를 추출하여 다해상도 영상 분석에 따른 각 레벨의 수평 에지 정보 및 수직 에지 정보를 생성하는 단계;
    각 수평 에지 정보 및 수직 에지 정보에 블러링을 수행하고, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 이용하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵을 하나의 영상으로 통합하여 통합 돌출맵을 생성하는 단계; 및
    생성된 통합 돌출맵에 대하여 이진화를 수행하여 하나 이상의 후보 물표 영역을 생성하고, 하나 이상의 후보 물표 영역 중 최종적인 물표 영역을 추출하는 단계를 포함하며,
    상기 통합 돌출맵을 생성하는 단계는, 각 레벨에서 블러링된 수평 에지 정보 및 수직 에지 정보를 서로 곱하여 각 레벨별 돌출맵을 생성하고, 각 레벨별 돌출맵에서 각 픽셀별 최대값을 선택하여 하나의 통합 돌출맵을 생성하는 것을 특징으로 하는 해양 물표 탐지 방법.
KR20130118981A 2013-10-07 2013-10-07 해양 환경에서 크기 변화에 무관한 물표 탐지 장치 및 방법 Expired - Fee Related KR101477132B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130118981A KR101477132B1 (ko) 2013-10-07 2013-10-07 해양 환경에서 크기 변화에 무관한 물표 탐지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130118981A KR101477132B1 (ko) 2013-10-07 2013-10-07 해양 환경에서 크기 변화에 무관한 물표 탐지 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101477132B1 true KR101477132B1 (ko) 2014-12-29

Family

ID=52680141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130118981A Expired - Fee Related KR101477132B1 (ko) 2013-10-07 2013-10-07 해양 환경에서 크기 변화에 무관한 물표 탐지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101477132B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688230A (zh) * 2019-01-27 2019-04-26 刘述华 实时状态监测方法
CN114140796A (zh) * 2021-11-30 2022-03-04 马鞍山学院 一种基于线阵相机的轴类零件表面字符视觉识别方法
KR20230129751A (ko) 2022-03-02 2023-09-11 한국과학기술원 게임데이터 학습 딥러닝 기반 소형 객체 탐지 방법 및 장치
CN117952901A (zh) * 2023-12-12 2024-04-30 中国人民解放军战略支援部队航天工程大学 基于生成对抗网络的多源异构图像变化检测方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110129158A (ko) * 2010-05-25 2011-12-01 경북대학교 산학협력단 영상 처리 시스템에서의 객체 후보 영역 검출 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110129158A (ko) * 2010-05-25 2011-12-01 경북대학교 산학협력단 영상 처리 시스템에서의 객체 후보 영역 검출 방법 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문:한국컴퓨터정보학회 논문지 *
논문:한국통신학회논문지 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688230A (zh) * 2019-01-27 2019-04-26 刘述华 实时状态监测方法
CN114140796A (zh) * 2021-11-30 2022-03-04 马鞍山学院 一种基于线阵相机的轴类零件表面字符视觉识别方法
KR20230129751A (ko) 2022-03-02 2023-09-11 한국과학기술원 게임데이터 학습 딥러닝 기반 소형 객체 탐지 방법 및 장치
CN117952901A (zh) * 2023-12-12 2024-04-30 中国人民解放军战略支援部队航天工程大学 基于生成对抗网络的多源异构图像变化检测方法及装置

Similar Documents

Publication Publication Date Title
CN108242062B (zh) 基于深度特征流的目标跟踪方法、系统、终端及介质
CN102324021B (zh) 一种基于剪切波变换的红外弱小目标检测方法
Achim et al. SAR image denoising via Bayesian wavelet shrinkage based on heavy-tailed modeling
Argenti et al. Fast MAP despeckling based on Laplacian–Gaussian modeling of wavelet coefficients
Fayaz et al. Underwater image restoration: A state‐of‐the‐art review
US10497128B2 (en) Method and system for sea background modeling and suppression on high-resolution remote sensing sea images
DE112018007287T5 (de) Fahrzeugsystem und -verfahren zum erfassen von objekten und einer objektentfernung
EP2573708B1 (en) Method and System for Detecting Vehicle Position by Employing Polarization Image
KR101477132B1 (ko) 해양 환경에서 크기 변화에 무관한 물표 탐지 장치 및 방법
CN103927751A (zh) 基于梯度信息融合的水面光视觉图像目标区域检测方法
US20190279369A1 (en) Phase Transform for Object and Shape Detection in Digital Images
CN109215018A (zh) 基于Canny算子和高斯形态学的船舶检测方法
CN111160293A (zh) 基于特征金字塔网络的小目标船只检测方法及系统
KR101347979B1 (ko) 표적 검출을 위해 적외선 영상의 잡음 제거 방법 및 장치
Lühr et al. Radar noise reduction based on binary integration
JP6819794B2 (ja) レーダ画像処理装置、レーダ画像処理方法およびレーダ画像処理プログラム
Sato et al. Visibility estimation of traffic signals under rainy weather conditions for smart driving support
Saleem et al. Survey on color image enhancement techniques using spatial filtering
Wei et al. An automatic target detection algorithm based on wavelet analysis for infrared image small target in background of sea and sky
CN101251595B (zh) 基于非抽样Contourlet变换的SAR图像目标方位角估计方法
Tadicć et al. License Plate Detection using Gabor filter banks and texture analysis
KR102096532B1 (ko) 소나영상의 객체 인식을 위한 커브렛 변환 기반의 윤곽선 향상 방법 및 장치
Lu et al. Directionlet-based method using the Gaussian mixture prior to SAR image despeckling
Singh Foggy image enhancement and object identification by extended maxima algorithm
Chavez et al. Super resolution imaging via sparse interpolation in wavelet domain with implementation in DSP and GPU

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20131007

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20141024

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20141210

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20141222

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20141223

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20171103

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20171103

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20181107

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20181107

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20201202

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20221013

Start annual number: 9

End annual number: 9

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20241002