KR101552095B1 - 레이더，감시 카메라를 사용한 해안감시 시스템 - Google Patents
레이더，감시 카메라를 사용한 해안감시 시스템 Download PDFInfo
- Publication number
- KR101552095B1 KR101552095B1 KR1020150053346A KR20150053346A KR101552095B1 KR 101552095 B1 KR101552095 B1 KR 101552095B1 KR 1020150053346 A KR1020150053346 A KR 1020150053346A KR 20150053346 A KR20150053346 A KR 20150053346A KR 101552095 B1 KR101552095 B1 KR 101552095B1
- Authority
- KR
- South Korea
- Prior art keywords
- radar
- target
- image
- center
- gravity
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 75
- 230000005484 gravity Effects 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 22
- 239000000872 buffer Substances 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 4
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 claims 5
- 241000251468 Actinopterygii Species 0.000 abstract 3
- 238000009360 aquaculture Methods 0.000 description 4
- 244000144974 aquaculture Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001931 thermography Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/19—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19654—Details concerning communication with a camera
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Alarm Systems (AREA)
Abstract
레이더，감시 카메라를 사용한 해안감시 시스템이 개시된다. 해안 또는 양식장을 감시하기 위해 레이더 영상을 획득하는 레이더(RAdio Detecting And Ranging, RADAR); 상기 해안 또는 양식장의 영상을 획득하는 팬 틸트 감시 카메라(pan tilt monitoring camera); 상기 해안 또는 양식장의 열영상을 획득하는 팬 틸트 열영상 감시 카메라(pan tilt thermal image monitoring camera); 상기 레이더에 의해 획득된 레이더 영상에서 혼합 가우시안-미디언 필터(Mixed Gaussian-Median Filter)를 이용하여 기상 변화에 따른 노이즈(noise)를 제거하고, 노이즈가 제거된 레이더 영상에서 이동하는 선박의 존재 여부를 판단하고, 판단 결과 선박이 존재하는 경우 상기 선박의 위경도 정보를 산출하고, 상기 산출된 위경도 정보를 이용하여 상기 팬 틸트 감시 카메라 및 상기 팬 틸트 열영상 감시 카메라의 촬영 방향을 실시간 구동 제어하고, 상기 팬 틸트 감시 카메라 및 상기 팬 틸트 열영상 감시 카메라에 의해 획득된 영상 및 열영상을 실시간으로 디스플레이, 저장 및 송신하는 모니터링 단말(monitoring terminal); 상기 모니터링 단말로부터 상기 산출된 위경도 정보와 상기 영상 및 열영상을 수신하여 디스플레이하는 사용자 모바일 단말(user mobile terminal)을 구성한다.
Description
본 발명은 해안 감시 시스템에 관한 것으로서, 구체적으로는 레이더，감시 카메라를 사용한 해안감시 시스템에 관한 것이다.
해안 양식장에는 타국의 불법 어선들이 침입하여 조업을 하는 횡포가 갈수록 늘어가고 있다. 국가적으로는 매년 수십억원의 자산 손실이 불가피한 상황이며, 이를 위해 다양한 해안감시 시스템이 강구되고 있다.
공개특허공보 10-2012-0087212 및 등록특허공보 10-1378071은 대표적인 해안감시 시스템이다.
공개특허공보 10-2012-0087212는 해안이나 양식장의 영상을 실시간으로 원격지의 사용자에게 전송하고 이를 알려주도록 구성되어 있다. 등록특허공보 10-1378071은 기상 상태에 따라 가시성이 낮을 때에는 열상 카메라를 이용하고 가시성이 높을 때에는 일반 카메라를 이용하도록 구성되어 있다.
해안과 그 양식장은 바다라는 특수한 환경적 요인에 의해 기상 변화가 심하고 안개 등이 있어서 선박을 정확하게 탐지하는 것이 쉽지 않다.
잦은 기상 변화에 따른 영상의 변화는 레이더 영상에서 작은 파티클(particle) 형태로 나타나게 되는데, 이를 해결하기 위해 영상 전처리를 수행해야 한다. 주로 가우시안 필터(Gaussian filter)나 미디언 필터(median filter)를 이용하여 영상 전처리를 수행하지만 가우시안 필터만 이용하면 노이즈(noise)는 제거되나 영상의 블러(blur) 현상으로 인해 차후 프로세싱단에서 작은 선박을 검지하지 못하는 문제점이 있다. 또한, 미디언 필터(median filter)만을 이용하는 경우에는 작은 노이즈를 제거할 수는 있으나 필터링시에 마스크(mask) 크기를 키우게 될 경우 그 계산 시간이 기하급수적으로 증가하게 되는 문제점이 있다.
한편, 기상 변화에 따른 노이즈가 많은 상황에서 이동하는 선박만을 검지해야 하는데, 종래의 알고리즘에서는 노이즈속에서 이동하는 선박을 검출해내기가 쉽지 않다. 더군다나 둘 이상의 선박이 서로 교차하여 지나가는 경우에는 레이더를 통해 선박의 교차를 인식하지 못하며 단지 하나의 선박으로 인식하는 경우도 많이 있다.
이와 같이, 해상과 그 날씨 변화에 따른 특수성에 비추어 양식장에서 선박을 정확하게 검출해내기 위한 수단과 알고리즘이 요구되고 있다.
본 발명의 목적은 레이더，감시 카메라를 사용한 해안감시 시스템을 제공하는 데 있다.
상술한 본 발명의 목적에 따른 레이더，감시 카메라를 사용한 해안감시 시스템은, 해안 또는 양식장을 감시하기 위해 레이더 영상을 획득하는 레이더(RAdio Detecting And Ranging, RADAR); 상기 해안 또는 양식장의 영상을 획득하는 팬 틸트 감시 카메라(pan tilt monitoring camera); 상기 해안 또는 양식장의 열영상을 획득하는 팬 틸트 열영상 감시 카메라(pan tilt thermal image monitoring camera); 상기 레이더에 의해 획득된 레이더 영상에서 혼합 가우시안-미디언 필터(Mixed Gaussian-Median Filter)를 이용하여 기상 변화에 따른 노이즈(noise)를 제거하고, 노이즈가 제거된 레이더 영상에서 이동하는 선박의 존재 여부를 판단하고, 판단 결과 선박이 존재하는 경우 상기 선박의 위경도 정보를 산출하고, 상기 산출된 위경도 정보를 이용하여 상기 팬 틸트 감시 카메라 및 상기 팬 틸트 열영상 감시 카메라의 촬영 방향을 실시간 구동 제어하고, 상기 팬 틸트 감시 카메라 및 상기 팬 틸트 열영상 감시 카메라에 의해 획득된 영상 및 열영상을 실시간으로 디스플레이, 저장 및 송신하는 모니터링 단말(monitoring terminal); 상기 모니터링 단말로부터 상기 산출된 위경도 정보와 상기 영상 및 열영상을 수신하여 디스플레이하는 사용자 모바일 단말(user mobile terminal)을 포함하도록 구성될 수 있다.
이때, 상기 모니터링 단말은, 상기 해안 또는 양식장의 미리 구분된 감시 영역 각각의 서브 레이더 영상(sub RADAR imgae)의 인덱스를 하기 수학식을 이용하여 산출하고, 상기 서브 레이더 영상의 인덱스를 이용하여 해당 서브 레이더 영상의 감시 영역에 상응하는 위경도 정보를 산출하고, [수학식] 
, 여기서, S는 미리 정해진 각 서브 레이더 영상의 갱신 시간이며, N은 서브 레이더 영상의 개수인 것으로 구성될 수 있다.
그리고 상기 모니터링 단말은, 상기 레이더 영상의 각 픽셀에 대하여 가우시안 필터링을 수행하고 가우시안 필터링이 수행된 픽셀에 대하여 하기 마스크를 적용하여 컨벌루션(convolution) 연산을 수행하며, 컨벌루션 연산이 수행된 값들의 중간값을 산출하여 노이즈를 제거하도록 구성되고, 마스크는 
로 구성될 수 있다.
여기서, 상기 모니터링 단말은, 상기 픽셀에 대하여 버퍼(buffer) A를 미리 -1로 초기화하고, 상기 픽셀에 대하여 컨벌루션 연산이 수행된 값을 상기 버퍼 A에 저장하며, 상기 픽셀의 주변 9개 픽셀의 버퍼 A가 모두 -1면 미디언 필터링을 수행하지 않고 상기 픽셀의 주변 9개 픽셀의 버퍼 A가 모두 -1이 아니면 미디언 필터링을 수행하여 버퍼 B에 저장하도록 구성될 수 있다.
그리고 상기 모니터링 단말은, 상기 레이더 영상에서 레드(red)로만 나타나는 픽셀을 전경 픽셀(foreground pixel)로 분류하여 레드 표적을 검지하고, 상기 검지된 레드 표적의 픽셀에 대하여 그래스파이어(GrassFire) 알고리즘을 적용하여 라벨링(labeling)을 수행하고 상기 레드 표적의 중앙 좌표 및 사각 표식(rectangle)을 산출하고, 산출된 중앙 좌표 및 사각 표식을 표적 무게 중심 검출 알고리즘에 적용하여 상기 레드 표적의 무게 중심을 검출하고, 상기 레이더 영상에서 화이트(white)로 나타나는 픽셀을 전경 픽셀로 분류하여 화이트 표적을 검지하고, 상기 검지된 화이트 표적의 픽셀에 대하여 그래스파이어 알고리즘을 적용하여 라벨링을 수행하고 상기 화이트 표적의 중앙 좌표 및 사각 표식을 산출하고, 산출된 중앙 좌표 및 사각 표식을 표적 무게 중심 검출 알고리즘에 적용하여 상기 화이트 표적의 무게 중심을 검출하고, 상기 검출된 레드 표적의 무게 중심과 상기 검출된 화이트 표적의 무게 중심간의 거리가 소정 임계치 이상이면 상기 레드 표적을 이동하는 선박으로 판단하도록 구성될 수 있다.
이때, 상기 모니터링 단말은, 하기 수학식을 적용하여 상기 레드 표적의 무게 중심 및 상기 화이트 표적의 무게 중심을 검출하도록 구성되고, [수학식] 
여기서, A는 상기 연산에 따른 중간 치환값이고, B는 상기 픽셀의 밝기를 나타내고, x는 x 축을 나타내고, y는 y 축을 나타내고, 
는 상기 무게 중심의 x 좌표,
는 상기 무게 중심의 y 좌표를 나타내고, 상기 i, m, j, n은 상기 사각 표식의 좌단(left), 상단(top), 우단(right), 하단(bottom)의 좌표를 나타내도록 구성될 수 있다.
그리고 상기 모니터링 단말은, 상기 라벨링의 수행 결과 상기 화이트 표적의 사각 표식 내에 상기 레드 표적의 중앙 좌표가 있는지 판단하고, 판단 결과 상기 레드 표적의 중앙 좌표가 상기 화이트 표적의 사각 표식 내에 있는 경우 표적 개수를 1개 더 증가시키고 표적 개수가 2보다 커지면 표적을 분할하여 N개(N>2)의 선박이 교차하여 이동하는 것으로 판단하도록 구성될 수 있다.
상술한 레이더，감시 카메라를 사용한 해안감시 시스템에 의하면, 레이더 영상의 여러 감시 영역을 인덱싱(indexing)하여 선박이 탐지된 영역위 위경도를 신속하고 정확하게 검출하여 인식할 수 있는 효과가 있다. 또한, 가우시안 필터와 미디언 필터를 혼합하여 이용함으로써, 날씨 변화에 따른 노이즈를 효율적으로 제거할 수 있는 효과가 있다.
한편, 가우시안 필터를 먼저 수행하고 미디언 필터링을 수행하며 2개의 필터링을 별도의 버퍼를 이용하여 병렬적으로 수행함으로써, 그 계산 속도를 높이고 선박 탐지율을 높일 수 있는 효과가 있다.
또한, 그래스파이어 필터링과 선박의 무게 중심 알고리즘을 이용하여 이동하는 선박만을 정확하게 검출해 낼 수 있는 효과가 있다. 또한, 교차하는 선박의 교차 여부를 정확하게 판단하고 그에 따른 선박의 개수를 정확하게 계수할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 레이더，감시 카메라를 사용한 해안감시 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 레이더 영상의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 서브 레이더 영상 및 그 인덱스를 나타내는 개념도이다.
도 4는 본 발명의 일 실시예에 따른 이동 선박 검출 알고리즘의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 교차 선박 판단 알고리즘의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 레이더 영상의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 서브 레이더 영상 및 그 인덱스를 나타내는 개념도이다.
도 4는 본 발명의 일 실시예에 따른 이동 선박 검출 알고리즘의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 교차 선박 판단 알고리즘의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 레이더，감시 카메라를 사용한 해안감시 시스템의 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 레이더，감시 카메라를 사용한 해안감시 시스템(이하, '해안감시 시스템'이라 함)(100)은 레이더(RAdio Detecting And Ranging, RADAR)(110), 팬 틸트 감시 카메라(pan tilt monitoring camera)(120), 팬 틸트 열영상 감시 카메라(pan tilt thermal image monitoring camera)(130), 모니터링 단말(monitoring terminal)(140), 사용자 모바일 단말(user mobile terminal)(150)을 포함하도록 구성될 수 있다.
해안감시 시스템(100)은 먼저 레이더(110)의 레이더 영상을 이용하여 선박의 침입을 탐지하고 그 위치를 서버 레이더 영상의 인덱스를 이용하여 신속하게 파악할 수 있도록 구성된다. 그리고 나서, 그 파악된 위치를 향해 팬 틸트 감시 카메라(120)와 팬 틸트 열영상 감시 카메라(130)가 촬영하도록 구성된다. 즉, 해안감시 시스템(100)은 레이더(110)를 이용하여 1차적으로 위치 파악은 물론 선박의 침입을 감지하고 2차적으로 선박의 영상을 획득하도록 구성된다.
해안감시 시스템(100)은 가우시안 필터(Gaussian Filter)와 미디언 필터(Median Filter)를 혼합하여 활용하도록 구성되는데, 이를 통해 해상의 잦은 날씨 변화에 따른 노이즈를 효율적으로 제거하게 된다.
해안감시 시스템(100)은 계산량이 많은 미디언 필터의 단점을 보완하기 위해 가우시안 필터를 먼저 적용하고 이후 미디언 필터를 적용하도록 구성되며, 이때, 양 필터의 연산을 별도의 버퍼링을 통해 이루어지도록 구성된다. 이에, 그 연산 속도를 높이는 것은 물론 선박 탐지율도 높일 수 있게 된다.
그리고 해안감시 시스템(100)은 무게 중심 알고리즘을 이용하여 선박의 중심 좌표와 사각 표식(rectangle)을 산출하여 이동하는 선박만을 정확하게 검출할 수 있도록 구성된다. 또한, 해안감시 시스템(100)은 교차하여 이동하는 선박들의 중심 좌표와 사각 표식을 이용하여 선박의 교차 여부를 정확하게 판단하도록 구성될 수 있다.
이하, 세부적인 구성에 대하여 설명한다.
레이더(110)는 해안 또는 양식장을 감시하기 위해 레이더 영상을 획득하도록 구성될 수 있다.
이때, 레이더 영상에서는 표적이 빨간색을 띄도록 구성될 수 있다. 잠시 도 2를 참조하면, 레이더 영상의 표적이 빨간색으로 탐지되어 나타나는 것을 알 수 있다. 본 명세서에서는 레드 표적(red target)이라고 지시한다.
레이더(110)는 선박이 해안이나 양식장에 침입하는 것을 1차적으로 탐지하도록 구성될 수 있다.
팬 틸트 감시 카메라(120)는 해안 또는 양식장의 영상을 획득하도록 구성될 수 있다. 팬 틸트 감시 카메라(120)는 레이더(110)에서 1차적으로 탐지한 선박에 대한 영상을 획득하도록 구성될 수 있다. 레이더(110)에서 선박이 탐지될 때 2차적으로 구동된다.
팬 틸트 열영상 감시 카메라(130)는 해안 또는 양식장의 열영상을 획득하도록 구성될 수 있다. 팬 틸트 열영상 감시 카메라(130)는 안개가 많거나 비가 오는 등 기상 여건이 좋지 않아 가시성이 높지 않을 때 표적의 열복사를 감지하는 데 이용된다. 이에 의해, 밤이나 기상 여건이 좋지 않은 주간에 침입 선박을 쉽게 인식할 수 있다.
모니터링 단말(140)은 레이더(110)의 레이더 영상, 팬 틸트 감시 카메라(120)의 영상, 팬 틸트 열영상 감시 카메라(130)의 열영상을 실시간으로 디스플레이하고 저장하며, 사용자 모바일 단말(140)로 실시간 송신하도록 구성될 수 있다.
모니터링 단말(140)은 모니터링 요원이 신속하게 침입 선박을 인지하고 조치를 취하도록 하기 위한 구성이다.
모니터링 단말(140)은 먼저 레이더(110)에 의해 획득된 레이더 영상에서 혼합 가우시안-미디언 필터(Mixed Gaussian-Median Filter)를 이용하여 기상 변화에 따른 노이즈(noise)를 제거하도록 구성될 수 있다. 기존과 달리 가우시안 필터에 미디언 필터를 더 적용한 알고리즘을 이용하며 노이즈를 더 효과적으로 제거하며 미디언 필터의 계산 속도를 높이는 데 주안점이 있다.
이때, 모니터링 단말(140)은 가우시안 필터를 먼저 적용한 후에 미디언 필터를 적용하도록 구성될 수 있다.
모니터링 단말(140)은 레이더 영상의 각 픽셀에 대하여 가우시안 필터링을 수행하고 가우시안 필터링이 수행된 픽셀에 대하여 하기 표 1의 마스크를 적용하여 컨벌루션(convolution) 연산을 수행하도록 구성될 수 있다.
그리고 나서, 모니터링 단말(140)은 컨벌루션 연산이 수행된 값들의 중간값을 산출하는 미디언 필터를 적용하여 노이즈를 제거하도록 구성될 수 있다.
여기서, 모니터링 단말(140)은 가우시안 필터링을 위한 버퍼(buffer) A와 미디언 필터링을 위한 버퍼 B를 각각 할당하여 연산을 각각 별도로 수행하도록 구성될 수 있다. 이는 연산 속도와 효율성을 높이기 위함이다.
모니터링 단말(140)은 레이더 영상의 픽셀에 대하여 버퍼(buffer) A를 미리 -1로 초기화하고, 픽셀에 대하여 컨벌루션 연산이 수행된 값을 버퍼 A에 저장하도록 구성될 수 있다.
모니터링 단말(140)은 레이더 영상의 각 픽셀에 대하여 연산을 계속해 나가며, 이때, 어느 한 픽셀의 주변 9개 픽셀의 버퍼 A를 확인하도록 구성될 수 있다. 이때, 그 픽셀 주변 9개의 픽셀의 버퍼 A가 모두 -1이면 미디언 필터링을 수행하지 않는다. 그러나, 주변 9개의 픽셀의 버퍼 A가 모두 -1이 아니면 미디언 필터링을 수행하며 미디언 필터링이 수행된 값을 버퍼 B에 저장하도록 구성될 수 있다. 즉, 날씨 변화 등으로 인해 노이즈가 많고 또한 가우시안 필터링에 의해 노이즈가 효과적으로 모두 제거되지 않은 경우에만 미디언 필터링을 수행하도록 구성된다. 미디언 필터링의 경우 마스크의 크기에 따라 그 연산 속도가 현저하게 낮아지므로, 가우시안 필터링의 효과가 적은 픽셀에 대해서만 적용하여 전체적인 연산 속도를 높일 수 있다.
한편, 모니터링 단말(140)은 노이즈가 제거된 레이더 영상에서 이동하는 선박의 존재 여부를 판단하도록 구성될 수 있다.
그리고 그 판단 결과 선박이 존재하는 경우, 모니터링 단말(140)은 선박의 위경도 정보를 산출하도록 구성될 수 있다. 모니터링 단말(140)은 그 산출된 위경도 정보를 이용하여 팬 틸트 감시 카메라(120) 및 팬 틸트 열영상 감시 카메라(130)의 촬영 방향을 실시간 구동 제어하도록 구성될 수 있다.
사용자 모바일 단말 (140)은 모니터링 단말(130)로부터 앞서 산출된 위경도 정보와 팬 틸트 감시 카메라(130)의 영상 및 팬 틸트 열영상 감시 카메라(140)의 열영상을 수신하여 디스플레이하도록 구성될 수 있다. 사용자는 원격지에서 이동중인 경우에도 언제든지 선박의 침입을 확인할 수 있다.
도 3은 본 발명의 일 실시예에 따른 서브 레이더 영상 및 그 인덱스를 나타내는 개념도이다.
도 3을 참조하면, 레이더 영상 전체에 대하여 각각 16개의 서브 레이더 영상(sub RADAR image)가 구분되어 있음을 알 수 있다. 그리고 각 서브 레이더 영상이 미리 인덱싱(indexing)되어 지정된다.
모니터링 단말(140)은 이러한 인덱스를 이용하여 선박이 탐지된 서브 레이더 영상과 그 감시 영역을 인식할 수 있게 된다. 그리고 그 감시 영역에 미리 매핑(mapping)된 위경도를 쉽게 찾아낼 수 있다.
모니터링 단말(140)은 다음의 수학식 1을 이용하여 각 서브 레이더 영상의 인덱스를 산출하도록 구성될 수 있다.
여기서, S는 미리 정해진 각 서브 레이더 영상의 갱신 시간이며, N은 서브 레이더 영상의 개수이다.
수학식 1의 % 연산자는 나머지값 연산자를 의미한다. 예를 들어, 7 % 3은 나머지 4라는 값이 된다.
모니터링 단말(140)은 수학식 1에 의해 산출된 서브 레이더 영상의 인덱스를 이용하여 해당 서브 레이더 영상의 감시 영역에 상응하는 위경도 정보를 산출하도록 구성될 수 있다. 감시 영역과 위경도 정보는 미리 매핑되어 있다.
도 4는 본 발명의 일 실시예에 따른 이동 선박 검출 알고리즘의 흐름도이다.
도 4를 참조하면, 모니터링 단말(140)은 레이더 영상으로부터 레드 표적과 화이트 표적을 각각 병렬적으로 검출하도록 구성될 수 있다. 레이더 영상에서는 선박이 빨간색으로 나타나는 레드 표적으로 표식되고, 그 외에 부표라든가 바위 등의 일반적인 표적은 다른 색상으로 표식된다. 그러므로, 이동하는 레드 표적을 검출하는 것이 관건이 된다.
먼저 모니터링 단말(140)은 레이더 영상에서 레드(red)로만 나타나는 픽셀을 전경 픽셀(foreground pixel)로 분류하여 레드 표적을 검지하도록 구성될 수 있다. 이때, 모니터링 단말(140)은 레드 표적의 픽셀에 대하여 그래스파이어(GrassFire) 알고리즘을 적용하여 라벨링(labeling)을 수행하도록 구성될 수 있다.
그리고 모니터링 단말(140)은 레드 표적의 중앙 좌표 및 사각 표식(rectangle)을 산출하도록 구성될 수 있다. 중앙 좌표는 사각 표식 내에 존재하며, 사각 표식은 표적의 크기에 준하여 크기가 정해질 수있다. 이때, 모니터링 단말(140)은 중앙 좌표 및 사각 표식을 이용하여 표적 무게 중심 검출 알고리즘을 적용하고 레드 표적의 무게 중심을 검출하도록 구성될 수 있다.
다음으로, 모니터링 단말(140)은 레이더 영상에서 화이트(white)로 나타나는 픽셀을 전경 픽셀로 분류하여 화이트 표적을 검지하도록 구성될 수 있다. 모니터링 단말(140)은 화이트 표적의 픽셀에 대하여 그래스파이어 알고리즘을 적용하여 라벨링을 수행하도록 구성되며, 화이트 표적의 중앙 좌표 및 사각 표식을 산출하도록 구성될 수 있다.
모니터링 단말(140)은 중앙 좌표 및 사각 표식을 표적 무게 중심 검출 알고리즘에 적용하여 화이트 표적의 무게 중심을 검출하도록 구성될 수 있다.
다음으로, 모니터링 단말(140)은 레드 표적의 무게 중심과 화이트 표적의 무게 중심간의 차 즉, 거리를 산출한다. 그리고 나서, 그 차 즉, 거리가 미리 정해진 소정 임계치 이상인지 판단한다. 판단 결과, 그 거리가 소정 임계치 이상인 것으로 판단되면, 모니터링 단말(140)은 레드 표적을 이동하는 선박으로 판단하도록 구성될 수 있다.
한편, 모니터링 단말(140)은 다음 수학식 2를 적용하여 레드 표적의 무게 중심 및 화이트 표적의 무게 중심을 각각 검출하도록 구성될 수 있다.
여기서, A는 상기 연산에 따른 중간 치환값이고, B는 상기 픽셀의 밝기를 나타내고, x는 x 축을 나타내고, y는 y 축을 나타내고, 
는 상기 무게 중심의 x 좌표,
는 상기 무게 중심의 y 좌표를 나타내고, 상기 i, m, j, n은 상기 사각 표식의 좌단(left), 상단(top), 우단(right), 하단(bottom)의 좌표를 나타내도록 구성될 수 있다.
도 5는 본 발명의 일 실시예에 따른 교차 선박 판단 알고리즘의 흐름도이다.
도 5를 참조하면, 모니터링 단말(140)은 라벨링의 수행 결과 화이트 표적의 사각 표식 내에 레드 표적의 중앙 좌표가 있는지 판단하도록 구성될 수 있다. 레드 표적의 중앙 좌표가 화이트 표적의 사각 표식 내에 있으면 두 표적이 겹치는 것으로 볼 수 있다.
그 판단 결과 레드 표적의 중앙 좌표가 화이트 표적의 사각 표식 내에 있는 경우, 모니터링 단말(140)은 현재 파악된 표적 개수를 1개 더 증가시키도록 구성될 수 있다. 그리고 그 표적 개수가 2보다 커지면 모니터링 단말(140)은 표적을 분할하여 N개(N>2)의 선박이 교차하여 이동하는 것으로 판단하도록 구성될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110: 레이더 120: 팬 틸트 감시 카메라
130: 팬 틸트 열영상 감시 카메라 140: 모니터링 단말
150: 사용자 모바일 단말
130: 팬 틸트 열영상 감시 카메라 140: 모니터링 단말
150: 사용자 모바일 단말
Claims (7)
- 해안 또는 양식장을 감시하기 위해 레이더 영상을 획득하는 레이더(RAdio Detecting And Ranging, RADAR)(110);
상기 해안 또는 양식장의 영상을 획득하는 팬 틸트 감시 카메라(pan tilt monitoring camera)(120);
상기 해안 또는 양식장의 열영상을 획득하는 팬 틸트 열영상 감시 카메라(pan tilt thermal image monitoring camera)(130);
상기 레이더(110)에 의해 획득된 레이더 영상에서 혼합 가우시안-미디언 필터(Mixed Gaussian-Median Filter)를 이용하여 기상 변화에 따른 노이즈(noise)를 제거하고, 노이즈가 제거된 레이더 영상에서 이동하는 선박의 존재 여부를 판단하고, 판단 결과 선박이 존재하는 경우 상기 선박의 위경도 정보를 산출하고, 상기 산출된 위경도 정보를 이용하여 상기 팬 틸트 감시 카메라(120) 및 상기 팬 틸트 열영상 감시 카메라(130)의 촬영 방향을 실시간 구동 제어하고, 상기 팬 틸트 감시 카메라(120) 및 상기 팬 틸트 열영상 감시 카메라(130)에 의해 획득된 영상 및 열영상을 실시간으로 디스플레이, 저장 및 송신하는 모니터링 단말(monitoring terminal)(140);
상기 모니터링 단말(140)로부터 상기 산출된 위경도 정보와 상기 영상 및 열영상을 수신하여 디스플레이하는 사용자 모바일 단말(user mobile terminal)(150)을 포함하고,
상기 모니터링 단말(140)은,
상기 해안 또는 양식장의 미리 구분된 감시 영역 각각의 서브 레이더 영상(sub RADAR imgae)의 인덱스를 하기 수학식을 이용하여 산출하고, 상기 서브 레이더 영상의 인덱스를 이용하여 해당 서브 레이더 영상의 감시 영역에 상응하는 위경도 정보를 산출하는 것을 특징으로 하는 레이더，감시 카메라를 사용한 해안감시 시스템.
[수학식]
여기서, S는 미리 정해진 각 서브 레이더 영상의 갱신 시간이며, N은 서브 레이더 영상의 개수임.
- 삭제
- 제1항에 있어서, 상기 모니터링 단말(140)은,
상기 레이더 영상의 각 픽셀에 대하여 가우시안 필터링을 수행하고 가우시안 필터링이 수행된 픽셀에 대하여 하기 마스크를 적용하여 컨벌루션(convolution) 연산을 수행하며, 컨벌루션 연산이 수행된 값들의 중간값을 산출하여 노이즈를 제거하도록 구성되고,
마스크는로 구성되는 것을 특징으로 하는 레이더，감시 카메라를 사용한 해안감시 시스템.
- 제3항에 있어서, 상기 모니터링 단말(140)은,
상기 픽셀에 대하여 버퍼(buffer) A를 미리 -1로 초기화하고, 상기 픽셀에 대하여 컨벌루션 연산이 수행된 값을 상기 버퍼 A에 저장하며, 상기 픽셀의 주변 9개 픽셀의 버퍼 A가 모두 -1면 미디언 필터링을 수행하지 않고, 상기 픽셀의 주변 9개 픽셀의 버퍼 A가 모두 -1이 아니면 미디언 필터링을 수행하여 버퍼 B에 저장하도록 구성되는 것을 특징으로 하는 레이더，감시 카메라를 사용한 해안감시 시스템.
- 제3항에 있어서, 상기 모니터링 단말(140)은,
상기 레이더 영상에서 레드(red)로만 나타나는 픽셀을 전경 픽셀(foreground pixel)로 분류하여 레드 표적을 검지하고, 검지된 레드 표적의 픽셀에 대하여 그래스파이어(GrassFire) 알고리즘을 적용하여 라벨링(labeling)을 수행하고 상기 레드 표적의 중앙 좌표 및 사각 표식(rectangle)을 산출하고, 산출된 중앙 좌표 및 사각 표식을 표적 무게 중심 검출 알고리즘에 적용하여 상기 레드 표적의 무게 중심을 검출하고,
상기 레이더 영상에서 화이트(white)로 나타나는 픽셀을 전경 픽셀로 분류하여 화이트 표적을 검지하고, 상기 검지된 화이트 표적의 픽셀에 대하여 그래스파이어 알고리즘을 적용하여 라벨링을 수행하고 상기 화이트 표적의 중앙 좌표 및 사각 표식을 산출하고, 산출된 중앙 좌표 및 사각 표식을 표적 무게 중심 검출 알고리즘에 적용하여 상기 화이트 표적의 무게 중심을 검출하고,
상기 검출된 레드 표적의 무게 중심과 상기 검출된 화이트 표적의 무게 중심간의 거리가 소정 임계치 이상이면 상기 레드 표적을 이동하는 선박으로 판단하도록 구성되는 것을 특징으로 하는 레이더，감시 카메라를 사용한 해안감시 시스템.
- 제5항에 있어서, 상기 모니터링 단말(140)은,
하기 수학식을 적용하여 상기 레드 표적의 무게 중심 및 상기 화이트 표적의 무게 중심을 검출하도록 구성되는 것을 특징으로 하는 레이더，감시 카메라를 사용한 해안감시 시스템.
[수학식]
여기서, A는 상기 연산에 따른 중간 치환값이고, B는 상기 픽셀의 밝기를 나타내고, x는 x 축을 나타내고, y는 y 축을 나타내고,는 상기 무게 중심의 x 좌표,
는 상기 무게 중심의 y 좌표를 나타내고, 상기 i, m, j, n은 상기 사각 표식의 좌단(left), 상단(top), 우단(right), 하단(bottom)의 좌표를 나타냄.
- 제5항에 있어서, 상기 모니터링 단말(140)은,
상기 라벨링의 수행 결과 상기 화이트 표적의 사각 표식 내에 상기 레드 표적의 중앙 좌표가 있는지 판단하고, 판단 결과 상기 레드 표적의 중앙 좌표가 상기 화이트 표적의 사각 표식 내에 있는 경우 표적 개수를 1개 더 증가시키고, 표적 개수가 2보다 커지면 표적을 분할하여 N개(N>2)의 선박이 교차하여 이동하는 것으로 판단하도록 구성되는 것을 특징으로 하는 레이더，감시 카메라를 사용한 해안감시 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150053346A KR101552095B1 (ko) | 2015-04-15 | 2015-04-15 | 레이더，감시 카메라를 사용한 해안감시 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150053346A KR101552095B1 (ko) | 2015-04-15 | 2015-04-15 | 레이더，감시 카메라를 사용한 해안감시 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101552095B1 true KR101552095B1 (ko) | 2015-09-11 |
Family
ID=54247934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150053346A KR101552095B1 (ko) | 2015-04-15 | 2015-04-15 | 레이더，감시 카메라를 사용한 해안감시 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101552095B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107424373A (zh) * | 2017-08-02 | 2017-12-01 | 国网北京市电力公司 | 外力入侵检测方法和装置及系统 |
| KR20210147848A (ko) | 2020-05-28 | 2021-12-07 | 주식회사 월드텍 | 해안 감시 레이더 중심의 인공지능 기반 통합 경계 시스템 및 통합 경계 방법 |
| CN114125330A (zh) * | 2021-12-08 | 2022-03-01 | 杭州海康威视数字技术股份有限公司 | 一种抓拍系统、方法、装置及设备 |
| CN115174767A (zh) * | 2022-05-27 | 2022-10-11 | 青岛海尔科技有限公司 | 视频的录制方法、边缘设备、监控系统及存储介质 |
| CN116719352A (zh) * | 2023-08-04 | 2023-09-08 | 百鸟数据科技(北京)有限责任公司 | 无人船云台自动转向方法、系统、计算机设备和存储介质 |
| KR20240043444A (ko) | 2022-09-27 | 2024-04-03 | 주식회사 에이비파트너스 | 해안가 인명피해 방지를 위한 감시카메라 동작제어 장치 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005277705A (ja) | 2004-03-24 | 2005-10-06 | Mitsubishi Electric Corp | 港湾監視システム |
| KR100747771B1 (ko) * | 2007-04-26 | 2007-08-08 | 주식회사 영국전자 | 고성능 영상감시 체계 |
-
2015
- 2015-04-15 KR KR1020150053346A patent/KR101552095B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005277705A (ja) | 2004-03-24 | 2005-10-06 | Mitsubishi Electric Corp | 港湾監視システム |
| KR100747771B1 (ko) * | 2007-04-26 | 2007-08-08 | 주식회사 영국전자 | 고성능 영상감시 체계 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107424373A (zh) * | 2017-08-02 | 2017-12-01 | 国网北京市电力公司 | 外力入侵检测方法和装置及系统 |
| KR20210147848A (ko) | 2020-05-28 | 2021-12-07 | 주식회사 월드텍 | 해안 감시 레이더 중심의 인공지능 기반 통합 경계 시스템 및 통합 경계 방법 |
| CN114125330A (zh) * | 2021-12-08 | 2022-03-01 | 杭州海康威视数字技术股份有限公司 | 一种抓拍系统、方法、装置及设备 |
| CN114125330B (zh) * | 2021-12-08 | 2024-04-19 | 杭州海康威视数字技术股份有限公司 | 一种抓拍系统、方法、装置及设备 |
| CN115174767A (zh) * | 2022-05-27 | 2022-10-11 | 青岛海尔科技有限公司 | 视频的录制方法、边缘设备、监控系统及存储介质 |
| CN115174767B (zh) * | 2022-05-27 | 2024-03-26 | 青岛海尔科技有限公司 | 视频的录制方法、边缘设备、监控系统及存储介质 |
| KR20240043444A (ko) | 2022-09-27 | 2024-04-03 | 주식회사 에이비파트너스 | 해안가 인명피해 방지를 위한 감시카메라 동작제어 장치 및 방법 |
| CN116719352A (zh) * | 2023-08-04 | 2023-09-08 | 百鸟数据科技(北京)有限责任公司 | 无人船云台自动转向方法、系统、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101552095B1 (ko) | 레이더，감시 카메라를 사용한 해안감시 시스템 | |
| CN109409283B (zh) | 一种海面舰船跟踪和监控的方法、系统和存储介质 | |
| CN104978390B (zh) | 使用出行路径元数据进行情景感知目标检测 | |
| US20110013016A1 (en) | Visual Detection of Clear Air Turbulence | |
| KR20240057388A (ko) | 항만 모니터링 장치 및 항만 모니터링 방법 | |
| WO2005125209A1 (en) | Method and system for surveillance of vessels | |
| CN109471098B (zh) | 利用fod雷达相位相干性信息的机场跑道异物检测方法 | |
| US20150104064A1 (en) | Method and system for detection of foreign objects in maritime environments | |
| US9031285B2 (en) | Detection of floating objects in maritime video using a mobile camera | |
| EP3654233A1 (en) | System and method for identifying an object in water | |
| US20170206427A1 (en) | Efficient, High-Resolution System and Method to Detect Traffic Lights | |
| JP2007234019A (ja) | 車両画像領域特定装置およびその方法 | |
| CN113808282A (zh) | 一种多通航要素数据融合方法 | |
| US20130202155A1 (en) | Low-cost lane marker detection | |
| CN104660994A (zh) | 海事专用摄像机及海事智能监控方法 | |
| CN109752713B (zh) | 一种雷达视频监视方法 | |
| Bloisi et al. | Camera based target recognition for maritime awareness | |
| CN108229342A (zh) | 一种海面舰船目标自动检测方法 | |
| WO2019176826A1 (ja) | 領域判定装置、監視システム、領域判定方法、及び、記録媒体 | |
| US9818198B2 (en) | Method for near-realtime workspace mapping | |
| CN109086701B (zh) | 一种用于夜光遥感数据的灯光渔船自动识别方法 | |
| CN111123251B (zh) | 一种雷达的目标对象检测方法及装置 | |
| KR20150075505A (ko) | 영상 기반 선박 주변 타선정보 제공장치 및 그 방법 | |
| KR102477569B1 (ko) | 해안 감시 레이더 기반 통합 경계 시스템 및 통합 경계 방법 | |
| CN113507577A (zh) | 目标对象检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180703 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190701 Year of fee payment: 5 |