KR101680029B1 - 양식장 시설물 탐지를 위한 위성영상 처리 장치 및 그 방법 - Google Patents

양식장 시설물 탐지를 위한 위성영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR101680029B1
KR101680029B1 KR1020150094532A KR20150094532A KR101680029B1 KR 101680029 B1 KR101680029 B1 KR 101680029B1 KR 1020150094532 A KR1020150094532 A KR 1020150094532A KR 20150094532 A KR20150094532 A KR 20150094532A KR 101680029 B1 KR101680029 B1 KR 101680029B1
Authority
KR
South Korea
Prior art keywords
image
facility
edge
satellite
satellite image
Prior art date
Application number
KR1020150094532A
Other languages
English (en)
Inventor
김형섭
신동호
정윤재
김도령
김동현
Original Assignee
(주) 지오씨엔아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 지오씨엔아이 filed Critical (주) 지오씨엔아이
Priority to KR1020150094532A priority Critical patent/KR101680029B1/ko
Application granted granted Critical
Publication of KR101680029B1 publication Critical patent/KR101680029B1/ko

Links

Images

Classifications

    • G06K9/6204—
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00—Culture of aquatic animals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G06T7/0079—

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Business, Economics & Management (AREA)
  • Environmental Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Zoology (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Agronomy & Crop Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 양식장 시설물 탐지를 위한 위성영상 처리 장치 및 그 방법에 관한 것으로, 보다 구체적으로는 양식장 시설물 자동탐지를 위해 아리랑위성 3호(KOMPSAT-3)가 제공하는 고해상도 위성 영상을 처리하는 위성영상 처리 장치 및 그 방법에 관한 것이다.
본 발명의 일실시예에 따른 양식장 시설물 탐지를 위한 위성영상 처리 방법은 위성영상 밴드조합 또는 위성영상 정사보정을 사전에 수행하여 보정된 위성영상을 입력받고, 입력된 위성영상에 양식 시설물 강조 기법을 적용하여 강조된 위성영상을 생성하는 영상강조단계; 사전적으로 확보된 양식장 시설 특징 정보와 상기 강조된 위성영상을 이용하여 양식 시설의 에지를 검출하여 에지검출영상을 생성하는 에지검출단계; 및 상기 에지검출영상을 이용하여 양식시설을 검출하는 양식시설검출단계;를 포함하여 구성되는 것을 특징으로 한다.

Description

양식장 시설물 탐지를 위한 위성영상 처리 장치 및 그 방법 {Method and System for detecting Farm Facility using satellite image processing}
본 발명은 양식장 시설물 탐지를 위한 위성영상 처리 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 양식장 시설물 자동탐지를 위해 아리랑위성 3호(KOMPSAT-3)가 제공하는 고해상도 위성 영상을 처리하여 양식장 시설물 탐지를 수행하는 위성영상 처리 장치 및 그 방법에 관한 것이다.
국내 양식장 관련 판독 및 시설량 조사사업과 관련하여 시설물 및 시설량의 판독은 항공사진 기반의 직접 조사 및 구획을 위주로 진행되고 있다. 이는 다수의 인력 투입을 통한 조사대상 어촌계 직접 방문이라는 시간적, 인적 한계를 가지며, 항공사진 촬영 상의 고비용 문제와 촬영시기의 선정 한계로 인한 문제가 발생한다.
뿐만 아니라, 국내에 다수 유입되고 있는 해외 양식자원의 탐지 미비로 인해 연간 내수 양식자원 및 자원 판매 단가의 조정이 미흡하게 되어 국내 어민들의 생활에 많은 지장을 주고 있는 실정이다. 특히, 중국 양식업의 경우 대단위 면적의 양식장 운용을 통해 획득되는 양식자원을 국내에 수출하며, 이러한 양식자원들이 국내로 유입될시 국내 양식자원의 가격폭락으로 인해 어민생계가 위협받게 된다.
상기의 문제 해결을 위해서는 국내뿐만 아니라 국외 양식장에 대한 감시 및 모니터링이 이루어 져야 하며 기존 국내 관련 기술들은 단일 양식자원에 대한 관리 체계 확보에 그치고 있다. 국내에서 운영되고 있는 양식시설은 생육하는 양식자원의 종류에 따라 부류식(해조류), 연승식(해조류, 패류), 가두리식(어류, 패류) 등 다양한 시설형태가 존재하며, 이러한 시설형태를 모두 고려한 모니터링 체계는 미비한 실정이다.
본 발명의 영상 강조 및 처리 기술은 위성영상 내 시설물 강조 및 에지검출을 Open CV기반으로 개발하기 위한 영상처리 자동화 방법으로 KOMPSAT-3 위성영상의 활용에 대한 첫 단계이다. 종래 기존 일반적인 영상(Image)의 경우 RGB의 색조합을 통해 생성된 컬러영상으로 이를 이진화하고 에지를 검출하는 방법을 채택하고 있다. 그러나 위성영상의 경우 일반적인 영상정보와 달리 가시광 영역에 속하는 분광 대역의 영상정보를 레이어(Layer)화 하고 이를 Stack 하는 방법을 채택하여, 기존의 영상처리와는 다른 점이 있다.
결론적으로, 본 발명은 기존의 일반적인 영상과 위성영상의 구성이나 처리 방식이 다름으로 종래의 영상 강조 기법이 위성영상에 적용되는 사례라고 볼 수 있으며, 국내 위성을 활용한 관련 기법은 첫 사례라고 할 수 있다.
종래기술인 양식장 모니터링 방법 및 그 시스템에서는 국내 위성영상이 아닌 해외 위성영상(SPOT-5)을 사용한 사례로 모니터링 되는 양식자원 역시 김 양식에 한정되어 있다. 해외위성영상(SPOT-5)은 국내 위성인 KOMPSAT-3 위성과 비교하여 영상의 구성, 해상도, 가용밴드 구성이 상이함으로 종래 기술의 방안을 적용하기에 무리가 있다.
또한, 본 발명은 기존에 사용된 해외위성영상에 비해 고해상의 영상을 사용함으로써 김 양식에 한정된 모니터링이 아닌, 해양에 존재하는 양식시설 중 침수식을 제외한 모든 양식시설에 적용 가능하다.
삭제
삭제
삭제
삭제
국내등록특허 제10-0785350호 (양식장 모니터링 방법 및 그 시스템) 국내등록특허 제10-1050067호 (중해상도 인공위성 영상자료로부터 김양식장 시설을 탐지하는 방법)
본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명은 양식장 시설물 자동탐지를 위해 아리랑위성 3호(KOMPSAT-3)가 제공하는 고해상도 위성 영상을 처리하는 위성영상 처리 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 양식장 시설물 탐지를 위한 위성영상 처리 방법은 위성영상 밴드조합 또는 위성영상 정사보정을 사전에 수행하여 보정된 위성영상을 입력받고, 입력된 위성영상에 양식 시설물 강조 기법을 적용하여 강조된 위성영상을 생성하는 영상강조단계; 사전적으로 확보된 양식장 시설 특징 정보와 상기 강조된 위성영상을 이용하여 양식 시설의 에지를 검출하여 에지검출영상을 생성하는 에지검출단계; 및 상기 에지검출영상을 이용하여 양식시설을 검출하는 양식시설검출단계;를 포함하여 구성되는 것을 특징으로 한다.
바람직하게는, 상기 영상강조단계는 KOMPSAT-3 위성영상에 대해 밴드조합 또는 위성영상 정사 보정을 포함하는 전처리 과정을 수행하는 전처리과정; 및 전처리 과정에 의해 보정된 영상에 영상 강조를 위해 HPF(Highpass-Filter)기법을 적용하여 시설물 강조 영상을 생성하는 영상강조과정;을 포함하고, 상기 HPF기법은 영상 내에 픽셀 정보를 주파수 정보로 변환하여 필터링을 통해 고주파 대역은 통과시키고 저주파 대역은 걸러 내어 영상 내 시설물이 강조되게 하는 것을 특징으로 한다.
바람직하게는, 상기 에지검출단계는 상기 영상강조단계에서 HPF적용을 통해 시설물이 강조된 영상정보를 입력받아 가우시안 필터 마스크(Gaussian Filter Mask)를 영상에 적용하여 콘볼루션(Convolution)을 통해 속성 값을 변환하고, 업데이트 하여 노이즈가 제거된 영상을 생성하는 제1노이즈제거과정을 포함하는 것을 특징으로 한다.
바람직하게는, 상기 에지검출단계는 상기 노이즈가 제거된 영상에 소벨 마스크(Sobel Mask)를 적용하고, 상기 마스크(Mask)의 적용을 통해 이진화된 에지를 검출하는 제1이진화에지검출과정을 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 에지검출단계는 검출된 에지의 방향성을 판단하고 방향성을 기 설정된 문턱값과 비교하여 진정한 에지(True Edge)를 검출하고 에지 검출 영상을 생성하는 검출정보정확도분석과정을 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 양식시설검출단계는 상기 에지 검출 영상과 양식장의 종류별 시설물 특성을 고려하여 양식장 시설에 대한 외곽 및 시설량을 계산하는 양식시설검출과정;을 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 밴드조합은 KOMPSAT-3 영상에 대해 Panchromatic, Blue, Green Red, Infrared 밴드를 조합하는 것을 특징으로 한다.
바람직하게는, 상기 에지검출단계는 생성된 노이즈 제거 영상을 오츠(Otsu) 쓰레스홀드(Threshold) 기반으로 이진화를 수행하여 이진화(0 또는 1) 영상을 생성하는 과정; 생성된 이진화 영상에 가우시안 필터 마스크를 적용하여 콘볼루션(Convolution)을 통해 속성 값을 변환하고, 업데이트 하여 노이즈가 제거된 영상을 생성하는 제2노이즈제거과정; 제2노이즈제거과정에서 노이즈가 제거된 영상은 소벨 마스크(Sobel Mask)를 적용하고, 해당 마스크(Mask)의 적용을 통해 이진화된 에지를 검출하는 제2이진화에지검출과정; 및 소벨 마스크 적용을 통해 검출된 에지 값들의 기울기값을 계산하고, 계산된 기울기값과 기준 기울기 방향을 비교하여 기준 기울기 방향에 대해서 존재하는 같은 픽셀들 중 최대값만 남기고 나머지는 제거하는 과정을 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 에지검출단계는 에지 값으로 판단된 에지에 대해서만 에지의 주변에 최대 값이 존재하는지 판단하여 최대값이 존재하면 에지로 판단하고, 판단된 에지를 이용하여 양식시설 에지를 검출하게 되어 에지 검출 영상을 획득하게 과정을 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 양식시설검출단계는 상기 에지검출영상을 기반으로 각 양식시설의 종류에 따른 면적, 길이 산정 및 시설량 중 어느 하나 이상을 판독하게 되며, 판독의 경우 시설량 산정식을 대입하여 추출하게 되는 것을 특징으로 한다.
바람직하게는, 상기 시설량은 부류식의 경우, 부류식 총량 = 해조류 시설 길이 x 총 길이; 연승식의 경우, 연승식 총량 = 해조류, 패류 가로길이 x 세로길이 x 책수; 및 가두리식의 경우, 가두리식 총량 = 어류, 패류 1칸 가로길이 x 1칸 세로길이 x 칸수; 중 어느 하나의 산정식을 이용하여 산정되는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 양식장 시설물 탐지를 위한 위성영상 처리 장치는 위성영상 밴드조합 또는 위성영상 정사보정을 사전에 수행하여 보정된 위성영상을 입력받고, 입력된 위성영상에 양식 시설물 강조 기법을 적용하여 강조된 위성영상을 생성하는 영상강조수단; 사전적으로 확보된 양식장 시설 특징 정보와 상기 강조된 위성영상을 이용하여 양식 시설의 에지를 검출하여 에지검출영상을 생성하는 에지검출수단; 및 상기 에지검출영상을 이용하여 양식시설을 검출하는 양식시설검출수단;을 포함하여 구성되는 것을 특징으로 한다.
바람직하게는, 상기 영상강조수단은 KOMPSAT-3 위성영상에 대해 밴드조합 또는 위성영상 정사 보정을 포함하는 전처리 과정을 수행하는 전처리부; 및 전처리 과정에 의해 보정된 영상에 영상 강조를 위해 HPF(Highpass-Filter)기법을 적용하여 시설물 강조 영상을 생성하는 영상강조부;을 포함하고, 상기 HPF기법은 영상 내에 픽셀 정보를 주파수 정보로 변환하여 필터링을 통해 고주파 대역은 통과시키고 저주파 대역은 걸러 내어 영상 내 시설물이 강조되게 하는 것을 특징으로 한다.
바람직하게는, 상기 에지검출수단은 상기 영상강조수단에서 HPF적용을 통해 시설물이 강조된 영상정보를 입력받아 가우시안 필터 마스크(Gaussian Filter Mask)를 영상에 적용하여 콘볼루션(Convolution)을 통해 속성 값을 변환하고, 업데이트 하여 노이즈가 제거된 영상을 생성하는 제1노이즈제거부를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 에지검출수단은 상기 노이즈가 제거된 영상에 소벨 마스크(Sobel Mask)를 적용하고, 상기 마스크(Mask)의 적용을 통해 이진화된 에지를 검출하는 제1이진화에지검출부를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 에지검출수단은 검출된 에지의 방향성을 판단하고 방향성을 기 설정된 문턱값과 비교하여 진정한 에지(True Edge)를 검출하고 에지 검출 영상을 생성하는 검출정보정확도분석부를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 일실시예에 따른 컴퓨터로 판독 가능한 기록매체는 양식장 시설물 탐지를 위한 위성영상 처리 방법제어방법을 실행하는 프로그램을 기록한 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명을 사용하면, 아리랑위성 3호(KOMPSAT-3)가 제공하는 고해상도 위성 영상을 이용하여 양식장 시설물을 자동탐지할 수 있다.
본 발명은 기존에 사용된 해외위성영상에 비해 고해상의 영상을 사용함으로써 김양식에 한정된 모니터링이 아닌, 해양에 존재하는 양식시설 중 침수식을 제외한 모든 양식시설에 적용 가능하다.
도 1은 본 발명에 따른 양식장 시설물 탐지를 위한 영상 처리 장치의 영상 처리 기법의 전체 흐름도를 도시한 것이다.
도 2는 양식장 시설 GIS 데이터베이스(DB)를 나타낸 것이다.
도 3은 양식 시설물 강조영상을 획득하는 영상강조단계를 도시한 것이다.
도 4는 양식 시설물 에지검출 기법 적용 과정을 도시한 것이다.
도 5는 양식 시설물 시설량 산정 과정을 나타낸 것이다.
도 6은 도 1,3-5의 내용을 포함한 양식장 시설물 탐지를 위한 위성영상 처리 방법의 연결관계를 도시한 것이다.
이하 첨부한 도면들을 참조하여 본 발명의 양식장 시설물 탐지를 위한 위성영상 처리 장치 및 그 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
이 때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다.
도 1은 본 발명에 따른 양식장 시설물 탐지를 위한 영상 처리 장치의 영상 처리 기법의 전체 흐름도를 도시한 것이다. 도 1에서 KOMPSAT-3(아리랑 3호)는 국내에서 현재 운용 및 영상 제공 중인 서브미터(Sub-meter)급 지구관측 위성으로 0.7m의 공간 해상도를 가진다. 지구 선회 주기는 하루에 약 15바퀴이며 공공안전, 재난재해, 국토 자원관리, 환경감시 등의 임무를 수행한다. KOMPSAT-3 위성영상에 대한 영상 강조 및 에지 검출 전에 사전수행단계로 영상합성(Layer stack), 영상융합(Image fusion) 및 정사보정(Ortho Rectification)을 수행할 수 있다.
이하 사전수행 단계에 대해 설명한다.
KOMPSAT-3 밴드는 4개의 Multi Spectral 밴드인 Blue, Green, Red alc Infrared 밴드와 고해상의 Panchromatic 밴드로 구분된다. 위성영상을 원시영상 형태로 수급할 경우 각 Band별로 영상이 나누어져 있으므로 영상을 하나의 파일로 합성(조합)하는 과정이 필요한데, 이를 영상합성(Layer stack)이라 한다.
영상융합이란 두 영상이 가지는 각각의 장점만을 취득하여 해상도는 전정영상의 수준을 유지하면서 천연색상을 가지도록 두 개의 영상을 하나의 영상으로 융합하는 방법이다.
영상을 융합하는 방법에는 일반적인 Resolution Merge, IHS Resolution Merge, Wavelet Resolution Merge 등이 있으며, 본 발명에서는 Resolution Merge 기법을 이용하여 영상융합을 수행할 수 있다.
정사보정(Ortho Rectification)은 위성영상의 취득 당시 함께 제공받았던 RPC(Rational polynomial coefficient) file, KOMPSAT-3 영상 촬영 지역과 동일한 지역의 수치지형도 및 DEM(또는 기타 지형정보)를 활용하여 실시될 수 있다. 정사보정을 통해 KOMPSAT-3 위성영상의 기준 좌표계인 GRS 1980 TM 좌표계로 정의한다.
본 발명의 일실시예에 따른 양식장 시설물 탐지를 위한 위성영상 처리 장치는 위성영상 밴드조합 또는 위성영상 정사보정을 사전에 수행하여 보정된 위성영상을 입력받고, 입력된 위성영상에 양식 시설물 강조 기법을 적용하여 강조된 위성영상을 생성하는 영상강조수단; 사전적으로 확보된 양식장 시설 특징 정보와 상기 강조된 위성영상을 이용하여 양식 시설의 에지를 검출하여 에지검출영상을 생성하는 에지검출수단; 및 상기 에지검출영상을 이용하여 양식시설을 검출하는 양식시설검출수단;을 포함하여 구성될 수 있다.
상기 영상강조수단은 KOMPSAT-3 위성영상에 대해 밴드조합 또는 위성영상 정사 보정을 포함하는 전처리 과정을 수행하는 전처리부; 및 전처리 과정에 의해 보정된 영상에 영상 강조를 위해 HPF(Highpass-Filter)기법을 적용하여 시설물 강조 영상을 생성하는 영상강조부;를 포함하고, 상기 HPF기법은 영상 내에 픽셀 정보를 주파수 정보로 변환하여 필터링을 통해 고주파 대역은 통과시키고 저주파 대역은 걸러 내어 영상 내 시설물이 강조되게 한다.
상기 에지검출수단은 상기 영상강조수단에서 HPF적용을 통해 시설물이 강조된 영상정보를 입력받아 가우시안 필터 마스크(Gaussian Filter Mask)를 영상에 적용하여 콘볼루션(Convolution)을 통해 속성 값을 변환하고, 업데이트 하여 노이즈가 제거된 영상을 생성하는 제1노이즈제거부를 포함한다.
상기 에지검출수단은 상기 노이즈가 제거된 영상에 소벨 마스크(Sobel Mask)를 적용하고, 상기 마스크(Mask)의 적용을 통해 이진화된 에지를 검출하는 제1이진화에지검출부를 더 포함한다. 상기 에지검출수단은 검출된 에지의 방향성을 판단하고 방향성을 기 설정된 문턱값과 비교하여 진정한 에지(True Edge)를 검출하고 에지 검출 영상을 생성하는 검출정보정확도분석부를 더 포함한다.
도 1을 참조하여, 양식장 시설물 탐지를 위한 위성영상 처리 방법을 설명한다. 국내 위성인 아리랑 3호 위성인 KOMPSAT-3의 고해상 광학영상을 활용하여 양식장을 추출하여 탐지하는 방법은 크게 3개 단계로 구분하여 수행될 수 있다.
먼저, 양식시설물 검증을 위한 데이터베이스를 구축(200)하는 DB구축단계이다. 양식장 시설 GIS 데이터베이스(DB) 구축에 대한 것은 이하 도 2에서 설명한다.
다음으로, 양식장 시설 탐지 용이성 확보를 위한 영상 내 양식 시설물 강조 기법을 적용하는 영상강조단계(110,120,130)이다. 영상강조단계는 위성영상 밴드조합, 위성영상 정사보정을 사전에 수행하여 보정된 위성영상을 입력받아서 영상강조를 수행하게 된다. 영상강조단계는 위성영상 밴드조합, 위성영상 정사보정을 포함하여 구성될 수 있다.
마지막으로 강조된 위성영상을 활용하여 양식 시설의 에지를 검출하고, 양식시설을 검출하는 에지 및 양식시설검출단계(140,150,160)이다. 이때 검출된 양식시설 에지는 사전적으로 확보된 양식장 시설 특징을 바탕으로 정보를 확보한다. 검출정보 정확도 분석을 위하여 GIS 데이터베이스(DB)에 구축 정보와 위성영상 기반 양식시설 종류별 특징 정보(300)를 이용한다. 검출정보 정확도 분석이 끝나면 양식시설을 검출하게 된다.
이하에서 상기 영상강조단계와 에지 및 양식시설검출단계를 보다 구체적으로 구분하여 설명한다.
영상강조단계에서는 먼저 KOMPSAT-3 위성영상에 대해 밴드조합(110)과 위성영상 정사 보정(120)을 포함하는 전처리 과정(제1과정)을 수행할 수 있다. 전처리 과정은 본 발명의 양식장 시설물 탐지를 위한 위성영상 처리 방법을 수행하는 위성 영상 처리 장치에 포함되어 수행되거나 별도로 수행되어 보정된 위성영상을 입력 받을 수 있다.
다음으로 위성 영상 처리 장치는 입력된 보정된 영상에 영상 강조를 위해 HPF(Highpass-Filter)기법을 적용하여 시설물 강조 영상을 확보하는 영상강조 과정(130, 제2과정)을 수행한다. 상기 HPF기법은 영상 내에 Pixel 정보를 주파수 정보로 변환하여 필터링을 통해 고주파 대역은 통과시키고 저주파 대역은 걸러 내어 영상 내 시설물이 강조되게 된다.
에지 및 양식시설검출단계에서는 먼저 영상강조단계에서 HPF적용을 통해 시설물이 강조된 영상정보를 입력받아 자체적인 노이즈 제거를 위한 스무딩(Smoothing) 또는 블러(Blur) 처리를 위해 가우시안 필터 마스크(Gaussian Filter Mask)를 영상에 적용하여 콘볼루션(Convolution)을 통해 속성 값을 변환, 업데이트 하는 과정을 수행하고, 해당 과정을 거치게 되면 영상 내에 무의미한 노이즈를 제거하는 노이즈 제거 과정(제3과정)을 수행한다. 다음으로 노이즈가 제거된 영상은 소벨 마스크(Sobel Mask)를 적용하고, 상기 마스크(Mask)의 적용을 통해 이진화된 에지(Edge)를 검출하는 이진화에지검출과정(140, 제4과정)을 수행한다.
검출된 에지의 경우 영상 내 주요 경계(Boundary)의 인근 지역까지 모두 포함하는 불필요한 에지가 함께 검출되므로, 사전에 정의된 Threshold(문턱값, 쓰레스홀드)와 비교하여 진정한 에지(True Edge)를 검출하기 위해 주요 검출 에지의 방향성을 분석하여 진정한 에지(True Edge)를 검출하는 검출정보정확도분석과정(150, 제5과정)을 수행한다.
검출정보정확도분석과정을 통해 검출된 에지를 적용한 위성영상정보를 통해 양식장 시설에 대한 외곽 및 시설량의 계산하며, 양식장의 종류별 시설물 특성을 고려한 시설량 판독 법을 적용하여 판독하는 양식시설검출과정(160, 제6과정)을 수행한다.
도 2는 양식장 시설 GIS 데이터베이스(DB)를 나타낸 것이다.
양식장 시설에 대한 정확한 정보 확보 및 이후 추출되는 양식시설물 검출 정보 정확도 향상을 위해 양식장 시설 GIS DB를 구축한다. 양식장 시설 DB는 위성영상을 기반으로 부류식, 연승식, 가두리식 등의 양식시설을 구획하고 구획된 벡터정보에 현장조사를 통해 확보한 양식시설 크기, 길기, 면적, 시설량, 어족자원 분류 정보를 입력하여 생성된다.
도 3은 양식 시설물 강조영상을 획득하는 영상강조단계를 도시한 것이다.
도 3에서 보듯이, 양식시설에 대한 보다 높은 검출률을 확보하기 위해서는 KOMPSAT-3 영상(131)에 대해 Panchromatic, Blue, Green Red, Infrared 밴드(132)의 조합 및 영상 강조 기법을 적용해야 한다. 밴드조합(133)은 고해상의 컬러영상 확보를 위한 과정으로 실제 색상과 동일한 영상 확보를 위해 각 밴드를 조합하게 되며, 조합된 영상은 HPF(High-Pass Filter)를 적용하게 되는데, HPF기법은 영상(134) 내에 픽셀(Pixel) 정보를 주파수 정보로 변환(135)하여 필터링(136)을 통해 고주파 대역은 통과시키고 저주파 대역은 걸러 내는 기법이다. 일반적으로 위성영상의 고주파 대역은 영상 내 Pixel값의 속성차가 큰 영역을 말하게 되며, 해색과 양식시설 간 색상차가 큰 부분이 이에 해당한다고 볼 수 있다.
도 4는 양식 시설물 에지검출 기법 적용 과정을 도시한 것이다. 도 4에서 보듯이, HPF 적용을 통해 시설물이 강조된 영상정보(441, K-3 HPF 영상)는 자체적인 노이즈 제거를 위한 스무딩(Smoothing) 또는 블러(Blur)처리를 수행하게 되는데, 해당 방법은 가우시안 필터 마스크(Gaussian Filter Mask)를 영상에 적용(442)하여 콘볼루션(Convolution)을 통해 속성 값을 변환(443)하고, 업데이트 하는 과정을 수행하며, 해당 과정을 거치게 되면 영상 내에 무의미한 노이즈를 제거(444)할 수 있게 된다. 이를 통해 노이즈 제거 영상을 획득(445)하게 된다.
획득된 노이즈 제거 영상을 오츠(Otsu) 쓰레스홀드(Threshold) 기반으로 이진화를 수행(446)하여 이진화(0 또는 1) 영상을 생성(447)한다. 생성된 이진화 영상에 가우시안 필터 마스크를 적용(448)하여 콘볼루션(Convolution)을 통해 속성 값을 변환하고(449), 업데이트 하는 과정을 수행하며, 해당 과정을 거치게 되면 영상 내에 무의미한 노이즈를 제거(450)할 수 있게 된다. 이를 통해 노이즈 제거 영상을 획득(451)하게 된다.
노이즈가 제거된 영상은 소벨 마스크(Sobel Mask)를 적용(452,453)하게 되는데, 해당 마스크(Mask)의 적용을 통해 이진화된 에지(경계, Edge)를 검출하게 된다. x축 소벨 마스크로 가로형 에지 마스크가 적용(452)되고, y축 소벨 마스크로 세로형 에지 마스크가 적용(453)된다.
검출된 에지의 경우 주요 경계(Boundary)의 인근 지역까지 모두 포함하는 불필요한 에지가 함께 검출되므로, 불필요한 값들을 제거하는 알고리즘 적용이 필요하다. 불필요한 에지가 검출된 경계(Boundary)의 경우 실제 검출되어야 할 영역보다 두껍기 때문에 진정한 에지(True Edge)를 검출해야 하며 주요 검출 에지의 방향성을 분석하여 진정한 에지(True Edge)를 검출해낼 수 있다. 이러한 에지는 반복적인 알고리즘 수행에 의해 선택되는 적절한 Threshold(문턱값, 쓰레스홀드)를 정하여 필요한 에지를 검출 가능하다.
소벨 마스크 적용을 통해 검출된 에지 값들의 기울기값을 계산(454)하는데, 기준 기울기 방향은 0, 45, 90, 135, 180이다. Non-Maximum suppression(455, 비-최대 억압)을 적용하여 정해진 기울기 방향에 대해서 존재하는 같은 픽셀들 중 최대값만 살아있게 한다. 즉, 픽셀들 중 최대값만 남기고 나머지는 제거하게 된다. 에지들의 기울기값과 비교를 위한 쓰레스홀드(Threshold) 최소값과 쓰레스홀드(Threshold) 최대값을 사전에 지정(456, 457)하게 된다. 에지들의 기울기값을 쓰레스홀드(Threshold) 최소값과 쓰레스홀드(Threshold) 최대값과 비교하여 에지값 또는 에지 아닌 쓰레기 값인지를 판단(458, 459)한다.
가령, 에지의 기울기가 쓰레스홀드(Threshold) 최소값보다 작거나 쓰레스홀드(Threshold) 최대값보다 큰 경우에 에지로 판정될 수 있다.
또는 에지의 기울기가 쓰레스홀드(Threshold) 최소값보다 크거나 쓰레스홀드(Threshold) 최대값보다 작은 경우에 에지로 판정될 수 있다.
에지 값으로 판단된 에지에 대해서만 에지의 주변에 최대값이 존재하는지 판단하여 최대값이 존재하면 에지로 판단한다(460). 에지로 판단된 에지를 이용하여 위성영상(462)에서 양식시설 에지를 검출하게 되어(461) 에지 검출 영상을 획득하게 된다(463). 상기한 448부터 459까지의 일련의 과정을 Canny Edge Detection 방법이라고 하며 현존하는 방법 중 산술적으로 가장 간편하게 에지를 검출할 수 있는 방법이다.
도 5는 양식 시설물 시설량 산정 과정을 나타낸 것이다. 도 5에서 보듯이, 에지검출기법을 통해 추출된 영상(551)을 기반으로 각 양식시설의 종류에 따른 면적, 길이 산정 및 시설량 등을 판독하게 되며, 판독의 경우 시설량 산정식을 대입하여 추출하게 된다.
시설량 산정식은 부류식의 경우, 부류식 총량 = 해조류 시설 길이 x 총 길이가 된다(552).
연승식의 경우, 연승식 총량 = 해조류, 패류 가로길이 x 세로길이 x 책수가 된다(553).
가두리식의 경우, 가두리식 총량 = 어류, 패류 1칸 가로길이 x 1칸 세로길이 x 칸수가 된다(554).
도 6은 본 발명의 양식장 시설물 탐지를 위한 위성영상 처리 방법의 연결관계를 도시한 것이다. 도 6은 도 1, 3 내지 5를 결합한 것이므로, 각 기능 블록들에 대한 식별번호는 생략한다. 도 6에서 보듯이 본 발명의 양식장 시설물 탐지를 위한 위성영상 처리 방법은 양식 시설물 강조 단계에서는 위성영상을 이용하여 강조영상을 생성하고, 생성된 강조영상은 양식시설에지검출 단계로 입력되어 에지 검출 영상을 생성하게 되고, 생성된 에지 검출영상은 양식시설 검출단계로 입력되어 양식 시설물 시설량이 산정 되게 된다.
한편, 본 발명의 실시예에 따른 양식장 시설물 탐지를 위한 위성영상 처리 장치 및 그 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (17)

  1. 양식장 시설물 탐지를 위한 위성영상 처리 방법에 있어서,
    위성영상 밴드조합 또는 위성영상 정사보정을 사전에 수행하여 보정된 위성영상을 입력받고, 입력된 위성영상에 양식 시설물 강조 기법을 적용하여 강조된 위성영상을 생성하는 영상강조단계;
    사전적으로 확보된 양식장 시설 특징 정보와 상기 강조된 위성영상을 이용하여 양식 시설의 에지를 검출하여 에지검출영상을 생성하는 에지검출단계; 및
    상기 에지검출영상을 이용하여 양식시설을 검출하는 양식시설검출단계;를 포함하여 구성되며,
    상기 에지검출단계는
    상기 영상강조단계에서 HPF적용을 통해 시설물이 강조된 영상정보를 입력받아 가우시안 필터 마스크(Gaussian Filter Mask)를 영상에 적용하여 콘볼루션(Convolution)을 통해 속성 값을 변환하고, 업데이트 하여 노이즈가 제거된 영상을 생성하는 제1노이즈제거과정;
    제1노이즈제거과정에서 생성된 노이즈 제거 영상을 오츠(Otsu) 쓰레스홀드(Threshold) 기반으로 이진화를 수행하여 이진화(0 또는 1) 영상을 생성하는 과정;
    생성된 이진화 영상에 가우시안 필터 마스크를 적용하여 콘볼루션(Convolution)을 통해 속성 값을 변환하고, 업데이트 하여 노이즈가 제거된 영상을 생성하는 제2노이즈제거과정;
    제2노이즈제거과정에서 노이즈가 제거된 영상은 소벨 마스크(Sobel Mask)를 적용하고, 상기 소벨 마스크의 적용을 통해 이진화된 에지를 검출하는 제2이진화에지검출과정; 및
    소벨 마스크 적용을 통해 검출된 에지 값들의 기울기값을 계산하고, 계산된 기울기값과 기준 기울기 방향을 비교하여 기준 기울기 방향에 대해서 존재하는 같은 픽셀들 중 최대값만 남기고 나머지는 제거하는 과정;
    을 수행하는 것을 특징으로 하는 양식장 시설물 탐지를 위한 위성영상 처리 방법.
  2. 제1항에 있어서,
    상기 영상강조단계는
    KOMPSAT-3 위성영상에 대해 밴드조합 또는 위성영상 정사 보정을 포함하는 전처리 과정을 수행하는 전처리과정; 및
    전처리 과정에 의해 보정된 영상에 영상 강조를 위해 HPF(Highpass-Filter)기법을 적용하여 시설물 강조 영상을 생성하는 영상강조과정;
    을 포함하고,
    상기 HPF기법은 영상 내에 픽셀 정보를 주파수 정보로 변환하여 필터링을 통해 고주파 대역은 통과시키고 저주파 대역은 걸러 내어 영상 내 시설물이 강조되게 하는 것을 특징으로 하는 양식장 시설물 탐지를 위한 위성영상 처리 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 에지검출단계는
    검출된 에지의 방향성을 판단하고 방향성을 기 설정된 문턱값과 비교하여 진정한 에지(True Edge)를 검출하고 에지 검출 영상을 생성하는 검출정보정확도분석과정을 더 포함하는 것을 특징으로 하는 양식장 시설물 탐지를 위한 위성영상 처리 방법.
  6. 제1항에 있어서,
    상기 양식시설검출단계는
    상기 에지 검출 영상과 양식장의 종류별 시설물 특성을 고려하여 양식장 시설에 대한 외곽 및 시설량을 계산하는 양식시설검출과정;
    을 더 포함하는 것을 특징으로 하는 양식장 시설물 탐지를 위한 위성영상 처리 방법.
  7. 제2항에 있어서,
    상기 밴드조합은
    KOMPSAT-3 영상에 대해 Panchromatic, Blue, Green Red, Infrared 밴드를 조합하는 것을 특징으로 하는 양식장 시설물 탐지를 위한 위성영상 처리 방법.
  8. 삭제
  9. 제1항에 있어서,
    상기 에지검출단계는
    에지 값으로 판단된 에지에 대해서만 에지의 주변에 최대값이 존재하는지 판단하여 최대값이 존재하면 에지로 판단하고, 판단된 에지를 이용하여 양식시설 에지를 검출하게 되어 에지 검출 영상을 획득하는 과정을 더 포함하는 것을 특징으로 하는 양식장 시설물 탐지를 위한 위성영상 처리 방법.
  10. 제1항에 있어서,
    상기 양식시설검출단계는
    상기 에지검출영상을 기반으로 각 양식시설의 종류에 따른 면적, 길이 산정 및 시설량 중 어느 하나 이상을 판독하게 되며, 판독의 경우 시설량 산정식을 대입하여 추출하게 되는 것을 특징으로 하는 양식장 시설물 탐지를 위한 위성영상 처리 방법.
  11. 제10항에 있어서,
    상기 시설량은
    부류식의 경우, 부류식 총량 = 해조류 시설 길이 x 총 길이;
    연승식의 경우, 연승식 총량 = 해조류, 패류 가로길이 x 세로길이 x 책수; 및
    가두리식의 경우, 가두리식 총량 = 어류, 패류 1칸 가로길이 x 1칸 세로길이 x 칸수;
    중 어느 하나의 산정식을 이용하여 산정되는 것을 특징으로 하는 양식장 시설물 탐지를 위한 위성영상 처리 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
KR1020150094532A 2015-07-02 2015-07-02 양식장 시설물 탐지를 위한 위성영상 처리 장치 및 그 방법 KR101680029B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150094532A KR101680029B1 (ko) 2015-07-02 2015-07-02 양식장 시설물 탐지를 위한 위성영상 처리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150094532A KR101680029B1 (ko) 2015-07-02 2015-07-02 양식장 시설물 탐지를 위한 위성영상 처리 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101680029B1 true KR101680029B1 (ko) 2016-11-28

Family

ID=57706665

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150094532A KR101680029B1 (ko) 2015-07-02 2015-07-02 양식장 시설물 탐지를 위한 위성영상 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101680029B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063605A (zh) * 2018-07-16 2018-12-21 中国水产科学研究院南海水产研究所 一种用于水产养殖的蚝排蚝架养殖测算方法、系统及装置
AU2019238711B2 (en) * 2018-03-21 2022-07-21 Guangzhou Xaircraft Technology Co., Ltd. Method and apparatus for acquiring boundary of area to be operated, and operation route planning method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100785350B1 (ko) * 2006-07-19 2007-12-18 한국해양연구원 양식장 모니터링 방법 및 그 시스템
KR101271489B1 (ko) 2012-10-09 2013-06-05 한국지질자원연구원 인공위성 영상자료 중 해조류 양식장 탐지용 분광영역의 인공위성 영상자료 추출방법
KR101332042B1 (ko) 2013-06-01 2013-11-22 (주)지오투정보기술 카메라의 위치 정보와 수평 정보를 이용하여 공간 영상을 처리하는 공간 영상 처리 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100785350B1 (ko) * 2006-07-19 2007-12-18 한국해양연구원 양식장 모니터링 방법 및 그 시스템
KR101271489B1 (ko) 2012-10-09 2013-06-05 한국지질자원연구원 인공위성 영상자료 중 해조류 양식장 탐지용 분광영역의 인공위성 영상자료 추출방법
KR101332042B1 (ko) 2013-06-01 2013-11-22 (주)지오투정보기술 카메라의 위치 정보와 수평 정보를 이용하여 공간 영상을 처리하는 공간 영상 처리 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2019238711B2 (en) * 2018-03-21 2022-07-21 Guangzhou Xaircraft Technology Co., Ltd. Method and apparatus for acquiring boundary of area to be operated, and operation route planning method
CN109063605A (zh) * 2018-07-16 2018-12-21 中国水产科学研究院南海水产研究所 一种用于水产养殖的蚝排蚝架养殖测算方法、系统及装置

Similar Documents

Publication Publication Date Title
Singh et al. Shadow detection and removal from remote sensing images using NDI and morphological operators
Wang et al. Individual tree-crown delineation and treetop detection in high-spatial-resolution aerial imagery
US11138444B2 (en) Methods and devices for processing images of a traffic light
US8405780B1 (en) Generating a clean reference image
CN108510451B (zh) 一种基于双层卷积神经网络的重建车牌的方法
CN111784605B (zh) 一种基于区域指导的图像降噪方法、计算机装置及计算机可读存储介质
JP6497579B2 (ja) 画像合成システム、画像合成方法、画像合成プログラム
CN110473185A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2021057395A1 (zh) 一种鞋跟型号识别方法、装置及存储介质
KR101928391B1 (ko) 다중분광 영상과 레이더 영상의 융합방법 및 장치
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
JP7212554B2 (ja) 情報処理方法、情報処理装置、及びプログラム
GB2557035A (en) IR or thermal image enhancement method based on background information for video analysis
US11270414B2 (en) Method for generating a reduced-blur digital image
Lin et al. An efficient structure‐aware bilateral texture filtering for image smoothing
CN109522904B (zh) 一种基于遥感数据的规则农田提取方法
KR101680029B1 (ko) 양식장 시설물 탐지를 위한 위성영상 처리 장치 및 그 방법
CN113487639A (zh) 一种图像处理方法、装置、电子设备及存储介质
KR101809656B1 (ko) 위성영상 기반 양식장 시설물 탐지 시스템 및 그 탐지 방법
Karantzalos et al. Towards automatic olive tree extraction from satellite imagery
CN111063029A (zh) 地图构建方法、装置、计算机可读存储介质及机器人
Das et al. A review: shadow detection and shadow removal from images
CN116883303A (zh) 基于特征差分补偿与融合的红外与可见光图像融合方法
CN116310889A (zh) 无人机环境感知数据的处理方法、控制终端以及存储介质
Bradford et al. Automated oil spill detection with multispectral imagery

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171121

Year of fee payment: 14