KR102650152B1 - 4차원 레이더를 활용한 해적 선박 감지 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 - Google Patents
4차원 레이더를 활용한 해적 선박 감지 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 Download PDFInfo
- Publication number
- KR102650152B1 KR102650152B1 KR1020210107413A KR20210107413A KR102650152B1 KR 102650152 B1 KR102650152 B1 KR 102650152B1 KR 1020210107413 A KR1020210107413 A KR 1020210107413A KR 20210107413 A KR20210107413 A KR 20210107413A KR 102650152 B1 KR102650152 B1 KR 102650152B1
- Authority
- KR
- South Korea
- Prior art keywords
- pattern information
- information
- image
- pirate
- radar
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 230000033001 locomotion Effects 0.000 claims abstract description 94
- 230000002159 abnormal effect Effects 0.000 claims abstract description 57
- 238000004891 communication Methods 0.000 claims description 43
- 238000003909 pattern recognition Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 description 24
- 238000012549 training Methods 0.000 description 21
- 230000015654 memory Effects 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Abstract
본 발명은 4차원 레이더(RADAR: RAdio Detection And Ranging) 영상의 패턴 정보를 이용하여 해적 선박을 감지할 수 있는 4차원 레이더를 활용한 해적 선박 감지 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 본 발명의 실시예에 따른 해적 선박 감지 시스템은, 선박 외부의 대상체에 대한 영상 정보를 형성하고, 레이더로부터 영상 정보를 수신하여 대상체의 이동 패턴 정보를 형성하며, 이동 패턴 정보를 미리 저장된 이상 패턴 정보와 비교하여 일치도를 산출하고, 일치도가 임계값보다 클 경우 알람 신호를 형성하며, 알람 신호를 수신하여 경고 알람을 발생시킨다.
Description
본 발명은 4차원 레이더를 활용한 해적 선박 감지 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는 4차원 레이더 영상의 패턴 정보를 이용하여 해적 선박을 감지할 수 있는 4차원 레이더를 활용한 해적 선박 감지 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
일반적으로, 레이더 장치는 전파 송수신을 통해 표적까지의 거리, 속도 및 각도를 탐지하거나 추적하기 위해 고해상도의 각도 분해능을 가져야 한다. 그런데 최근에는 거리, 높이, 깊이, 속도 등의 4가지 차원의 환경을 감지할 수 있는 4차원 레이더가 개발되어 무인 주행 자동차 등의 활용에 대한 다양한 연구가 진행되고 있는 바, 조선해양의 관점에서 4차원 레이더의 기능적 측면을 활용한 연구의 필요성이 증가하고 있다.
기존에 선박에서는 AIS(Auto Identification System), ECDIS(Electronic Chart Display and Information System), 육안, 쌍안경 등을 이용하여 주변의 해적 선박을 선원이 직접 인식하여 상황을 파악하고 대처했으나, 육안 탐지의 제한성, 낮은 해상도 등으로 인한 식별 불가 등으로 인해, 효율적 대응과 대처가 어려운 실정이다.
본 발명은 4차원 레이더 영상의 패턴 정보를 이용하여 해적 선박을 감지할 수 있는 4차원 레이더를 활용한 해적 선박 감지 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체을 제공한다.
본 발명의 실시예에 따른 해적 선박 감지 시스템은, 선박 외부의 대상체에 대한 영상 정보를 형성하는 하나 이상의 레이더; 상기 하나 이상의 레이더로부터 상기 영상 정보를 수신하여 상기 대상체의 이동 패턴 정보를 형성하고, 상기 이동 패턴 정보를 미리 저장된 이상 패턴 정보와 비교하여 일치도를 산출하며, 상기 일치도가 임계값보다 클 경우 알람 신호를 형성하는 플랫폼 서버; 및 상기 알람 신호를 수신하여 경고 알람을 발생시키는 브릿지 콘솔을 포함한다.
여기서, 상기 하나 이상의 레이더는, 상기 대상체의 상대 위치를 측정하여, 상기 대상체에 대한 크기, 거리, 속도, 각도 및 높이 정보 중 어느 하나 이상을 포함하는 상기 영상 정보로서 고해상도의 실시간 3차원 이미지를 형성하는 4차원 레이더를 포함할 수 있다.
또한, 상기 플랫폼 서버는, 상기 영상 정보를 이용하여 상기 대상체의 평면 좌표(x, y), 높이(z) 및 속도(v)를 프레임별로 추출하여 상기 이동 패턴 정보를 형성하는 영상 패턴 인식부; 상기 영상 패턴 인식부에서 형성된 상기 이동 패턴 정보 및 상기 선박 외부로부터 수신된 상기 이상 패턴 정보를 저장하는 영상 패턴 저장부; 및 상기 이동 패턴 정보와 상기 이상 패턴 정보의 평면 좌표, 높이 및 속도를 프레임별로 비교하여 상기 일치도를 산출하고, 상기 일치도가 상기 임계값보다 클 경우 상기 알람 신호를 형성하는 영상 패턴 비교부를 포함할 수 있다.
또한, 다수의 선박에 설치된 상기 플랫폼 서버로부터 각 선박에서 해적 선박으로 인식된 해당 선박의 이동 패턴 정보를 수집하고, 상기 해적 선박으로 인식된 해당 선박의 이동 패턴 정보를 이용하여 상기 해적 선박의 크기, 이동 경로 패턴 및 속도 정보를 포함하는 상기 이상 패턴 정보를 형성하며, 상기 이상 패턴 정보를 상기 다수의 선박과 공유하는 육상 서버를 더 포함할 수 있다.
또한, 상기 이동 패턴 정보를 상기 육상 서버로 송신하고, 상기 이상 패턴 정보를 상기 육상 서버로부터 수신하는 통신부를 더 포함할 수 있다.
또한, 상기 이동 패턴 정보는, 상기 대상체의 크기, 이동 경로 패턴 및 속도 정보를 포함할 수 있다.
또한, 상기 하나 이상의 레이더는, 상기 선박의 좌현(port), 우현(starboard), 및 선수(bow) 중 어느 하나를 포함하는 미리 설정된 구역으로 구분된 상기 선박 외부에 배치될 수 있다.
본 발명의 다른 실시예에 따른 해적 선박 감지 방법은, 하나 이상의 레이더에 의해서, 선박 외부의 대상체에 대한 영상 정보를 형성하는 단계; 플랫폼 서버에 의해서, 상기 하나 이상의 레이더로부터 상기 영상 정보를 수신하여 상기 대상체의 이동 패턴 정보를 형성하는 단계; 상기 플랫폼 서버에 의해서, 상기 이동 패턴 정보를 미리 저장된 이상 패턴 정보와 비교하여 일치도를 산출하는 단계; 상기 플랫폼 서버에 의해서, 상기 일치도가 임계값보다 클 경우 알람 신호를 형성하는 단계; 및 브릿지 콘솔에 의해서, 상기 알람 신호를 수신하여 경고 알람을 발생시키는 단계를 포함한다.
여기서, 상기 하나 이상의 레이더는, 상기 대상체의 상대 위치를 측정하여, 상기 대상체에 대한 크기, 거리, 속도, 각도 및 높이 정보 중 어느 하나 이상을 포함하는 상기 영상 정보로서 고해상도의 실시간 3차원 이미지를 형성하는 4차원 레이더를 포함할 수 있다.
또한, 상기 대상체의 이동 패턴 정보를 형성하는 단계는, 상기 플랫폼 서버에 의해서, 상기 영상 정보를 이용하여 상기 대상체의 평면 좌표(x, y), 높이(z) 및 속도(v)를 프레임별로 추출하는 단계를 포함할 수 있다.
또한, 상기 일치도를 산출하는 단계는, 상기 플랫폼 서버에 의해서, 상기 이동 패턴 정보와 상기 이상 패턴 정보의 평면 좌표, 높이 및 속도를 프레임별로 비교하여 상기 일치도를 산출하는 단계를 포함할 수 있다.
또한, 육상 서버에 의해서, 다수의 선박에서 설치된 상기 플랫폼 서버로부터 각 선박에서 해적 선박으로 인식된 해당 선박의 이동 패턴 정보를 수집하고, 상기 해적 선박으로 인식된 해당 선박의 이동 패턴 정보를 이용하여 상기 해적 선박의 크기, 이동 경로 패턴 및 속도 정보를 포함하는 상기 이상 패턴 정보를 형성하는 단계를 더 포함할 수 있다.
또한, 상기 육상 서버에 의해서, 상기 이상 패턴 정보를 상기 다수의 선박에 공유하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 컴퓨터 판독 가능한 기록 매체는, 상술한 해적 선박 감지 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된다.
본 발명의 실시예들에 따르면, 근거리 저전력 고해상도의 4차원 레이더를 활용하여 해적 선박의 영상 패턴을 각 선단이 공유하여 주위에 있는 해적 선박을 신속하게 인식할 수 있다.
또한, 항상 새로운 해적 선박의 영상 패턴이 전체 선단에 공유되므로 시간이 지날수록 해적 선박의 인식률이 향상될 수 있다. 아울러, 육안으로는 확인이 어려운 일반 선박들 사이에 섞여 있는 해적 선박도 용이하게 인식할 수 있다.
도 1은 본 발명의 실시예에 따른 해적 선박 감지 시스템의 구성을 보이는 예시도이다.
도 2는 본 발명의 실시예에 따른 영상 정보의 인식 및 비교 프로세스를 보이는 개념도이다.
도 3은 본 발명의 일실시예에 따른 플랫폼 서버를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 해적 선박 감지 방법의 절차를 보이는 흐름도이다.
도 2는 본 발명의 실시예에 따른 영상 정보의 인식 및 비교 프로세스를 보이는 개념도이다.
도 3은 본 발명의 일실시예에 따른 플랫폼 서버를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 해적 선박 감지 방법의 절차를 보이는 흐름도이다.
본 발명의 실시예들은 본 발명의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 본 발명에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적인 설명으로 한정되는 것은 아니다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지 않는다.
도 1은 본 발명의 실시예에 따른 해적 선박 감지 시스템의 구성을 보이는 예시도이다.
도 1에 도시한 바와 같이, 해적 선박 감지 시스템(100)은, 레이더(110), 플랫폼 서버(120), 브릿지 콘솔(130), 통신부(140) 및 육상 서버(150), 선내 통신망, 데이터베이스 등을 포함할 수 있다. 또한, 플랫폼 서버(120)는, 영상 패턴 인식부(121), 영상 패턴 저장부(122), 영상 패턴 비교부(123)를 포함할 수 있다. 일 실시예에 따르면, 레이더(110), 플랫폼 서버(120), 브릿지 콘솔(130) 및 통신부(140)는 선내 통신망을 통해서 통신 가능하도록 연결될 수 있다.
레이더(110)는 선박(VE-1, 2, 3) 외부의 대상체에 대한 영상 정보를 형성할 수 있다. 이러한 레이더(110)는 선체의 360도 모두를 커버할 수 있는 위치에 배치되며, 해적이 많은 해역을 지나가는 선단의 선박들(VE-1, 2, 3)은 모두 본 발명에 따른 해적 선박 감지 시스템(100)을 구비할 수 있다.
일 실시예에 따르면, 레이더(110)는 대상체의 상대 위치를 측정하여 대상체에 대한 고해상도의 실시간 3차원 이미지를 영상 정보로서 형성하는 50GHz 이상의 EHF(Extremely High Frequency) 4차원 레이더가 바람직하며, 4차원 레이더는 대상체에 대한 거리, 속도, 각도 및/또는 높이 정보를 포함할 수 있다. 4차원 레이더는 대상체에 대한 포인트 클라우드를 형성하여 대상체의 움직임을 모니터링할 수 있으며, 특히 동일 대상체의 크기, 움직임, 속도, 높이 등을 인식하여 동일 대상체의 모션 등을 정밀하게 추적할 수 있다. 예를 들어, 레이더(110)는 선박(VE-1, 2, 3)의 좌현(port), 우현(starboard), 선수(bow) 중 적어도 하나를 포함하는 미리 설정된 구역에 설치될 수 있다.
다른 실시예에 따르면, 레이더(110)는 선박(VE-1, 2, 3)의 건현(freeboard)을 고려하여 미리 설정된 간격으로 선박(VE-1, 2, 3)의 난간(handrail) 지지대 상에 배치될 수 있다. 여기서, 건현은 선체 중앙부 상갑판의 선측 상면에서 만재 흘수선까지의 수직거리를 나타낸다. 선박(VE-1, 2, 3)이 완성되면 선박 만재 흘수선 규정에 의하여 선형, 구조 등에 따라 건현과 만재 흘수선이 결정된다. 건현이 클수록 선박(VE-1, 2, 3)의 예비부력이 크다는 것이므로, 결국 선박(VE-1, 2, 3)의 안전성이 높다는 것을 의미한다. 건현의 지정은 만재 흘수선을 지정하는 것과 같은 의미이므로, 적재에 의해 배가 잠기는 깊이를 법적으로 제한한다는 의미이다. 만재 흘수선 규정은 충분한 복원성을 확보토록 고려되어 있다는 가정아래, 그 배에 필요한 최소 건현을 지정하여 바다 위에서의 내항성을 확보하기에 충분한 예비 부력을 보유하도록 하는데 그 목적이 있다. 선미측에 레이더가 별도로 존재하지 않는 이유는 선미측의 추진체계(프로펠러 등)의 구동에 따라 해수의 유동이 발생하여 통상 선미측으로의 해적의 접근이 어려울 뿐만 아니라, 선박의 진행방향 후미에 해당하여 소형 선박이나 지형지물과의 접촉 사고가 일어날 가능성도 적기 때문이다.
플랫폼 서버(120)의 영상 패턴 저장부(122)는, 영상 패턴 인식부(121)에서 형성된 이동 패턴 정보 및 선박 외부의 육상 서버(150)로부터 수신된 이상 패턴 정보를 저장할 수 있다. 일 실시예에 따르면, 영상 패턴 저장부(122)는 레이더(110)로부터 실시간으로 수신한 영상 정보를 일정 기간(예를 들어, 1주일, 10일, 1개월 등) 경과 후 삭제하고, 육상 서버(150)로부터 수신된 이상 패턴 정보를 별도의 저장 구역에 보관하고 삭제하지 않도록 설정할 수 있다.
플랫폼 서버(120)의 영상 패턴 비교부(123)는, 이동 패턴 정보와 이상 패턴 정보의 평면 좌표, 높이 및 속도를 프레임별로 비교하여 일치도를 산출하고, 일치도가 임계값(예를 들어, 60%)보다 클 경우 알람 신호를 형성할 수 있다. 일 실시예에 따르면, 영상 패턴 비교부(123)는, 전체 좌표값, 높이값, 속도값 개수 중 이동 패턴 정보와 이상 패턴 정보가 일치하는 좌표값, 높이값, 속도값 개수에 대한 비율을 일치하도록 산출할 수 있다. 예를 들어, 이동 패턴 정보의 평면 좌표값(x1, y1), 높이값(z1) 및 속도값(v1)과 이상 패턴 정보의 평면 좌표값(x2, y2), 높이값(z2) 및 속도값(v2)을 비교하여 x1과 x2, y1과 y2, z1과 z2가 일치하고, v1과 v2가 불일치할 경우 프로세서(125)는 일치도를 75%(3/4)로 산출할 수 있다.
브릿지 콘솔(130)은, 플랫폼 서버(120)에서 형성된 알림 신호를 수신하여 경고 알람을 발생시킬 수 있다. 일 실시예에 따르면, 브릿지 콘솔(130)은, 플랫폼 서버(120)에서 형성된 알람 신호를 선내 통신망을 통해서 수신하여 선내 관리자가 해당 선박(예를 들어, VE-1) 주변에 해적 선박이 출현하였음을 인지하도록 경고 알람을 발생시킬 수 있다.
한편, 브릿지에서 육안 또는 상황에 따라 주변에 해적 선박이 인식되면, 브릿지 콘솔(130)을 통해 해적 선박 인식 신호가 플랫폼 서버(120)로 전송되고, 플랫폼 서버(120)의 영상 패턴 저장부(122)는 현재 인식된 해적 선박이 레이더를 통해 처음 인식된 시점부터 해적 선박 인식 신호가 전송되는 시점까지의 이동 패턴 정보를, 이상 패턴 정보로서 통신부(140)를 통해 육상 서버(150)로 전송할 수 있다. 이러한 이상 패턴 정보로서의 이동 패턴 정보를 선단의 선박들(VE-1, 2, 3)로부터 수신하여 육상 서버(150)는 이상 패턴 정보를 누적 및 업데이트 할 수 있다.
통신부(140)는 플랫폼 서버(120)에서 형성된 이동 패턴 정보를 육상 서버(150)로 송신하고, 육상 서버(150)로부터 이상 패턴 정보를 수신할 수 있다. 일 실시예에 따르면, 통신부(140)는 위성통신망을 이용하여 선박 외부와 통신을 수행하는 VSAT(Very Small Aperture Terminal)를 포함할 수 있지만, 이에 한정되지 않는다.
육상 서버(150)는, 다수의 선박(VE-1, 2, 3)에 설치된 플랫폼 서버(120)로부터 각 선박에서 해적 선박으로 인식(브릿지에서 육안 또는 상황에 따라 주변에 해적 선박이 인식되는 경우)된 해당 선박의 이동 패턴 정보를 수집하고, 해적 선박으로 인식된 해당 선박의 이동 패턴 정보를 이용하여 해적 선박의 크기, 이동 경로 패턴 및 속도 정보를 포함하는 이상 패턴 정보를 형성하며, 이렇게 형성된 이상 패턴 정보를 다수의 선박(VE-1, 2, 3)과 다시 공유할 수 있다. 일 실시예에 따르면, 전술한 바와 같이 각 선박들(VE-1, 2, 3)은 레이더(110) 및 플랫폼 서버(120)를 포함하여 선박 주변의 대상체들에 대한 이동 패턴 정보를 형성할 수 있고, 브릿지에서 육안 또는 상황에 따라 해적 선박으로 판별된 대상체의 이동 패턴 정보(해적 선박의 이동 패턴 정보)를 육상 서버(150)로 전송할 수 있다. 예를 들어, 해적 선박의 이동 패턴 정보는, 해적 선박의 평면 좌표(예를 들어, 직각 좌표계의 x, y 좌표), 높이(예를 들어, 직각 좌표계의 z좌표) 및 속도(v) 정보를 포함할 수 있다. 육상 서버(150)는 딥러닝(Deep Learning)과 같은 기계 학습 알고리즘을 이용하여 각 선박들(VE-1, 2, 3)로부터 수신된 해적 선박의 이동 패턴 정보로부터 해적 선박의 크기, 이동 경로 패턴 및 속도 정보를 추출하고, 추출된 해적 선박의 크기, 이동 경로 패턴 및 속도 정보를 이용하여 이상 패턴 정보를 형성할 수 있고 지속적인 학습 및 업데이트가 가능하다.
선내 통신망은, 레이더(110), 플랫폼 서버(120), 브릿지 콘솔(130) 및 통신부(140) 등 간의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 선내 통신망은 LTE(long-term evolution), LTE-A(LTE Advanced), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless BroadBand), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행할 수 있다. 예를 들어, 선내 통신망은 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행할 수도 있다.
데이터베이스는 다양한 데이터를 저장할 수 있다. 데이터베이스에 저장되는 데이터는, 레이더(110), 플랫폼 서버(120), 브릿지 콘솔(130) 및 통신부(140)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예를 들어: 프로그램)를 포함할 수 있다. 데이터베이스는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 일 실시예로서, 데이터베이스는, 레이더(110)에서 형성된 영상 정보, 플랫폼 서버(120)에서 형성된 이동 패턴 정보 및 일치도, 육상 서버(150)로부터 수신된 이상 패턴 정보, 임계값 등을 저장할 수 있다. 예를 들어, 데이터베이스는, VDR(Voyage Data Recorder)을 포함할 수 있지만, 이에 한정되지 않는다.
본 발명에서, 프로그램은 데이터베이스에 저장되는 소프트웨어로서, 해적 선박 감지 시스템(100)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 해적 선박 감지 시스템(100)의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다.
본 발명에서, 인공지능(Artificial Intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력 등을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직 등의 개념을 포함할 수 있다. 기계 학습(Machine Learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터를 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야가 포함될 수 있다.
기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화 해나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.
인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스트 (Adaboost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사용될 수 있다.
이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.
컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기를 늘리면 테스트 정확도가 향상된다. 컴퓨팅 리소스들의 최적 사용은 제한 요소가 된다. 이를 위해, 심층 신경 네트워크들의 분산된, 확장 가능한 구현 예가 사용될 수 있다.
도 2는 본 발명의 실시예에 따른 영상 정보의 인식 및 비교 프로세스를 보이는 개념도이다.
도 2(a)에 도시한 바와 같이, 레이더(110)는 선박(VE-1, 2, 3) 주변의 실시간 4차원 레이더 영상을 영상 정보로서 형성할 수 있다.
도 2(b)에 도시한 바와 같이, 플랫폼 서버(120), 바람직하게는 영상 패턴 인식부(121)는 레이더(110)에서 수신한 영상 정보를 인식된 선박(대상체)마다 각각의 ID를 부여하여 분리하고 프레임별로 x, y 좌표 및 높이, 속도 행렬을 이동 패턴 정보로서 생성할 수 있다.
도 2(c) 및 (d)에 도시한 바와 같이, 플랫폼 서버(120), 바람직하게는 영상 패턴 비교부(123)는 육상 서버(150)로부터 수신한 이상 패턴 정보와 생성된 이동 패턴 정보를 비교하여 어느 정도 일치하는지 일치도를 산출할 수 있다. 일 실시예에 따르면, 영상 패턴 비교부(123)는 ID b를 갖는 선박(대상체)은 4 frame까지 이상 패턴 정보(도 4(d))와 비교하여 전체 16개의 좌표값 중 빨간색으로 표시된 12개가 일치하여 75%의 일치도를 산출하고, 높이를 제외한 이동/속도 패턴이 전체 12개의 좌표값 중 8개가 일치하여 약 67%의 일치도를 산출할 수 있다. 또한, 영상 패턴 비교부(123)는 산출된 일치도 75%(또는 67%)가 임계값(예를 들어, 60%)보다 크므로 알람 신호를 형성할 수 있다.
도 3은 본 발명의 일실시예에 따른 플랫폼 서버를 설명하기 위한 도면이다.
도 3에 도시한 바와 같이, 플랫폼 서버(120)는 하나 이상의 프로세서(125), 하나 이상의 메모리(124) 및/또는 송수신기(126)를 포함할 수 있다. 일 실시예로서, 플랫폼 서버(120)의 이 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 플랫폼 서버(120)에 추가될 수 있다. 추가적으로(additionally) 또는 대체적으로(alternatively), 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 플랫폼 서버(120) 내, 외부의 구성요소들 중 적어도 일부의 구성요소들은 버스, GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고받을 수 있다.
하나 이상의 프로세서(125)는 소프트웨어(예: 명령, 프로그램 등)를 구동하여 프로세서(125)에 연결된 플랫폼 서버(120)의 적어도 하나의 구성요소를 제어할 수 있다. 또한, 프로세서(125)는 본 발명과 관련된 다양한 연산, 처리, 데이터 생성, 가공 등의 동작을 수행할 수 있다. 또한, 프로세서(125)는 데이터 등을 하나 이상의 메모리(124)로부터 인출하거나, 하나 이상의 메모리(124)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(125)는 영상 패턴 인식부(121) 및/또는 영상 패턴 비교부(123) 내에 일체로 마련될 수 있으나, 이에 한정되는 것은 아니며, 별도로 구비될 수 있다. 이하 설명되는 프로세서(125)는 영상 패턴 인식부(121) 및/또는 영상 패턴 비교부(123)의 기능적 측면에서 프로세서(125)가 수행하는 내용을 중심으로 기술하며 플랫폼 서버(120) 내 마련된 프로세서(125)로 기술한다.
전술한 바와 같이, 하나 이상의 프로세서(125)는, 송수신기(126)를 통하여 레이더(110)로부터 디지털 패킷 형태의 영상 정보를 실시간 또는 비실시간으로 수신할 수 있다.
하나 이상의 프로세서(125)는, 송수신기(126)를 통해서 레이더(110)로부터 수신된 영상 정보를 미리 학습된 알고리즘을 이용하여 디지털 패킷 형태의 이동 패턴 정보를 형성할 수 있다.
하나 이상의 프로세서(125)는, 송수신기(126)를 통해서 육상 서버(150)로부터 디지털 패킷 형태의 이상 패턴 정보를 실시간 또는 비실시간으로 수신할 수 있다.
하나 이상의 프로세서(125)는, 디지털 패킷 형태의 이동 패턴 정보와 이상 패턴 정보를 비교하여 일치도를 산출할 수 있다. 일 실시예에 따르면, 프로세서(125)는, 전체 좌표값, 높이값, 속도값 개수 중 이동 패턴 정보와 이상 패턴 정보가 일치하는 좌표값, 높이값, 속도값 개수에 대한 비율을 일치하도록 산출할 수 있다. 예를 들어, 이동 패턴 정보의 평면 좌표값(x1, y1), 높이값(z1) 및 속도값(v1)과 이상 패턴 정보의 평면 좌표값(x2, y2), 높이값(z2) 및 속도값(v2)을 비교하여 x1과 x2, y1과 y2, z1과 z2가 일치하고, v1과 v2가 불일치할 경우 프로세서(125)는 일치도를 75%(3/4)로 산출할 수 있다. 다른 실시예에 따르면, 프로세서(125)는 이동 패턴 정보의 평면 좌표값(x1, y1), 높이값(z1) 및 속도값(v1)과 이상 패턴 정보의 평면 좌표값(x2, y2), 높이값(z2) 및 속도값(v2)을 비교하여 일치도를 산출할 수 있다. 하나 이상의 프로세서(125)는, 산출된 일치도가 임계값보다 클 경우 알람 신호를 형성할 수 있다.
하나 이상의 프로세서(125)는, 형성된 알람 신호를 송수신기(126)를 통해서 브릿지 콘솔(130)로 실시간 또는 비실시간으로 송신할 수 있다.
하나 이상의 메모리(124)는 다양한 데이터를 저장할 수 있다. 메모리(124)에 저장되는 데이터는, 플랫폼 서버(120)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예: 명령, 프로그램 등)를 포함할 수 있다. 메모리(124)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 본 발명에서, 명령 내지 프로그램은 메모리(124)에 저장되는 소프트웨어로서, 플랫폼 서버(120)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 플랫폼 서버(120)의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다.
하나 이상의 메모리(124)는 상술한 레이더(110)로부터 선내 통신망을 통하여 수신한 영상 정보들을 저장할 수 있다. 또한, 하나 이상의 메모리(124)는, 하나 이상의 프로세서(125)에 의한 실행 시, 하나 이상의 프로세서(125)가 연산을 수행하도록 하는 명령들을 저장할 수 있다.
일 실시예로서, 플랫폼 서버(120)는 송수신기(126)를 더 포함할 수 있다. 송수신기(126)는, 레이더(110), 플랫폼 서버(120), 브릿지 콘솔(130), 통신부(140) 및/또는 기타 다른 장치 간의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 송수신기(126)는 eMBB(enhanced Mobile Broadband), URLLC(Ultra Reliable Low-Latency Communications), MMTC(Massive Machine Type Communications), LTE(long-term evolution), LTE-A(LTE Advance), UMTS(Universal Mobile Telecommunications System), GSM(Global System for Mobile communications), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless Broadband), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행할 수 있다. 예를 들어, 송수신기(126)는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행할 수 있다.
일 실시예로서, 하나 이상의 프로세서(125)는 송수신기(126)를 제어하여 레이더(110), 브릿지 콘솔(130), 통신부(140)로부터 정보를 획득할 수 있다. 레이더(110), 브릿지 콘솔(130), 통신부(140)로부터 획득된 정보는 하나 이상의 메모리(124)에 저장될 수 있다.
일 실시예로서, 플랫폼 서버(120)는 다양한 형태의 장치가 될 수 있다. 예를 들어, 플랫폼 서버(120)는 휴대용 통신 장치, 컴퓨터 장치, 또는 상술한 장치들 중 하나 또는 그 이상의 조합에 따른 장치일 수 있다. 본 발명의 플랫폼 서버(120)는 전술한 장치들에 한정되지 않는다.
본 발명에 따른 플랫폼 서버(120)의 다양한 실시예들은 서로 조합될 수 있다. 각 실시예들은 경우의 수에 따라 조합될 수 있으며, 조합되어 만들어진 플랫폼 서버(120)의 실시예 역시 본 발명의 범위에 속한다. 또한 전술한 본 발명에 따른 플랫폼 서버(120)의 내/외부 구성 요소들은 실시예에 따라 추가, 변경, 대체 또는 삭제될 수 있다. 또한 전술한 플랫폼 서버(120)의 내/외부 구성 요소들은 하드웨어 컴포넌트로 구현될 수 있다.
도 4는 본 발명의 실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 4에 도시한 바와 같이, 이상 패턴 정보의 형성을 위하여 뉴럴 네트워크(128)를 학습시킬 수 있다. 일 실시예에 따르면, 학습 장치는 플랫폼 서버(120)와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니다.
뉴럴 네트워크(128)는 트레이닝 샘플들이 입력되는 입력 레이어(127)와 트레이닝 출력들을 출력하는 출력 레이어(129)를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 해적 선박의 영상 정보에 대응하는 이상 패턴 정보에 기초하여 정의될 수 있다. 뉴럴 네트워크(128)는 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.
학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 뉴럴 네트워크(115)를 학습시킬 수 있다. 학습 장치는 뉴럴 네트워크의 출력들 및 레이블들 의해 설계된 손실 함수(Loss Function)를 이용할 수 있다.
학습 장치는 미리 정의된 손실 함수를 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 뉴럴 네트워크(128) 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.
학습 장치는 역전파(Backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 뉴럴 네트워크(128) 내 노드들 사이의 관계들이다. 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.
일 실시예에 따르면, 학습 장치는 트레이닝 영상 정보들을 획득하고, 트레이닝 영상 정보들로부터 트레이닝 이상 패턴 정보들을 추출할 수 있다. 학습 장치는 트레이닝 이상 패턴 정보들에 대해서 각각 미리 레이블링 된 정보(제1 레이블들)를 획득할 수 있는데, 트레이닝 이상 패턴 정보들에 미리 정의된 대상체 정보를 나타내는 제1 레이블들을 획득할 수 있다.
일 실시예에 따르면, 학습 장치는 트레이닝 이상 패턴 정보들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.
일 실시예에 따르면, 학습 장치는 제1 트레이닝 특징 벡터들을 뉴럴 네트워크(128)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제1 레이블들에 기초하여 뉴럴 네트워크(128)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(128) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(128)를 학습시킬 수 있다. 플랫폼 서버(120)는 학습이 완료된 뉴럴 네트워크(128)를 이용하여 영상 정보로부터 이상 패턴 정보를 추출할 수 있다.
도 5는 본 발명의 실시예에 따른 해적 선박 감지 방법의 절차를 보이는 흐름도이다. 도 5의 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.
도 5에 도시한 바와 같이, 단계(S510)에서, 4차원 레이더를 통해서 실시간으로 선박 주위에서 이동하는 선박의 이동 경로, 높이, 속도를 감지하여 플랫폼 서버로 전송된다. 예를 들어, 도 1 내지 도 4를 참조하면, 해적 선박 감지 시스템(100)에 포함된 레이더(110)는, 실시간으로 선박 주위에서 이동하는 선박의 이동 경로, 높이, 속도를 감지하여 영상 정보로 형성하고, 형성된 영상 정보를 선내 통신망을 통하여 플랫폼 서버(120)로 전송할 수 있다.
단계(S520)에서, 플랫폼 서버가 수신한 영상 정보는 영상 패턴 인식부에서 프레임별로 분리하여 선박의 이동 경로(x, y 좌표), 높이(z), 속도(v)의 배열로 저장할 수 있게 변환되고, 영상 패턴 저장부에 지속 저장되며 저장된 이동 패턴 정보는 일정 기간이 지나면 영상 패턴 저장부에서 자동 삭제된다. 예를 들어, 도 1 내지 도 4를 참조하면, 해적 선박 감지 시스템(100)에 포함된 플랫폼 서버(120)는 레이더(110)에서 수신된 영상 정보를 영상 패턴 인식부(121)에서 프레임별로 분리하여 선박의 이동 경로(x, y 좌표), 높이(z), 속도(v)의 배열로 저장할 수 있게 변환하여 이동 패턴 정보를 형성할 수 있다. 영상 패턴 인식부(121)에서 형성된 이동 패턴 정보는 영상 패턴 저장부(122)에 저장되고, 영상 패턴 저장부(122)에 저장된 이동 패턴 정보는 일정 기간(예를 들어, 1주일, 10일, 1개월 등)이 지나면 영상 패턴 저장부(122)에서 자동 삭제될 수 있다.
단계(S530)에서, 브릿지에서 육안 또는 상황에 따라 주변에 해적 선박이 인식되면 브릿지 콘솔(130)을 통해서 해적 선박 인식 신호가 플랫폼 서버(120)로 전송된다. 예를 들어, 도 1 내지 도 4를 참조하면, 해적 선박 감지 시스템(100)에 포함된 브릿지 콘솔(130)은 선박의 함교(브릿지)에서 육안 또는 상황에 따라 주변에 해적 선박이 인식되면 사용자 입력에 따라서 해적 선박 인식 신호를 형성하여 선내 통신망을 통하여 플랫폼 서버(120)로 전송할 수 있다.
단계(S540)에서, 플랫폼 서버의 영상 패턴 저장부에서는 현재 인식된 해적 선박이 4차원 레이더에서 처음 인식된 시점부터 현 상황 까지의 이동 패턴 정보를 통신부를 통해 육상 서버로 전송된다. 예를 들어, 도 1 내지 도 4를 참조하면, 해적 선박 감지 시스템(100)에 포함된 플랫폼 서버(120)의 영상 패턴 저장부(122)는 현재 인식된 해적 선박이 레이더(110)에서 처음 인식된 시점부터 현 상황까지의 이동 패턴 정보(이상 패턴 정보)를 통신부(140)를 통해 육상 서버(150)로 전송할 수 있다. 이렇게 선단의 각 선박(VE-1, 2, 3)으로부터 육상 서버(150)로 전송되어 오는 해적 선박의 이동 패턴 정보는 이상 패턴 정보로서 누적 및 업데이트 될 수 있다.
단계(S550)에서, 수신한 이동 패턴 정보가 육상 서버에서 관리하는 선단 전체에 통신부를 통해서 전송된다. 예를 들어, 도 1 내지 도 4를 참조하면, 해적 선박 감지 시스템(100)에 포함된 육상 서버(150)는 단계(S540)에서 수신, 누적 및 업데이트된 이동 패턴 정보(이상 패턴 정보)를 육상 서버(150)에서 관리하는 선단의 선박(VE-1, 2, 3) 전체에 통신부(140)를 통해서 전송할 수 있다. 전송 주기는 소정 주기 마다 해당 정보(이상 패턴 정보)를 전송할 수 있고, 혹은 선박의 위치에 따라 해적이 자주 등장하는 지역을 운항하는 선박에 선별적으로 전송될 수 있다.
단계(S560)에서, 통신부를 통해서 수신된 해적 선박의 이동 패턴 정보가 플랫폼 서버의 영상 패턴 저장부에 저장된다. 예를 들어, 도 1 내지 도 4를 참조하면, 해적 선박 감지 시스템(100)에 포함된 각 선단의 선박(VE-1, 2, 3)은 통신부(140)를 통해서 단계(S550)에서 수신한 이동 패턴 정보(이상 패턴 정보)를 플랫폼 서버(120)의 영상 패턴 저장부(122)에 저장할 수 있다.
단계(S570)에서, 각 선단의 선박은 실시간으로 수신하는 단계(S510), 단계(S520)를 거친 4차원 레이더 영상과 영상 패턴 저장부에 저장된 해적 선박의 이동 패턴 정보가 영상 패턴 비교부를 통해서 비교된다. 예를 들어, 도 1 내지 도 4를 참조하면, 해적 선박 감지 시스템(100)에 포함된 플랫폼 서버(120)의 영상 패턴 비교부(123)는 실시간으로 수신하는 단계(S510), 단계(S520)를 거친 4차원 레이더 영상(이동 패턴 정보)와 영상 패턴 저장부(122)에 저장된 해적 선박의 이동 패턴 정보(이상 패턴 정보)가 일치하는 정도를 일치도로서 산출하여 비교할 수 있다.
단계(S580)에서, 해적 선박의 이동 패턴 정보와 유사한 패턴을 보이는 선박의 영상 감지 시 브릿지 콘솔에 경고 메시지와 함께 통신부를 통해 육상 서버에 해당 상황 정보가 전송된다. 예를 들어, 도 1 내지 도 4를 참조하면, 해적 선박 감지 시스템(100)에 포함된 플랫폼 서버(120)는 해적 선박의 이동 패턴 정보(이상 패턴 정보)와 유사한 패턴을 보이는 선박의 영상 감지 시 브릿지 콘솔(130)에 경고 메시지(알람 신호)를 전송하고, 통신부(140)를 통해 육상 서버(150)에 해적 선박이 출몰하였다는 해당 상황 정보를 전송할 수 있다.
이상 다양한 실시예들에 의해 본 발명의 기술적 사상이 설명되었지만, 본 발명의 기술적 사상은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 범위에서 이루어질 수 있는 다양한 치환, 변형 및 변경을 포함한다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 포함될 수 있는 것으로 생각되어야 한다.
100: 해적 선박 감지 시스템 110: 레이더
120: 플랫폼 서버 130: 브릿지 콘솔
140: 통신부 150: 육상 서버
121: 영상 패턴 인식부 122: 영상 패턴 저장부
123: 영상 패턴 비교부 124: 메모리
125: 프로세서 126: 송수신기
127: 입력 레이어 128: 뉴럴 네트워크
129: 출력 레이어
120: 플랫폼 서버 130: 브릿지 콘솔
140: 통신부 150: 육상 서버
121: 영상 패턴 인식부 122: 영상 패턴 저장부
123: 영상 패턴 비교부 124: 메모리
125: 프로세서 126: 송수신기
127: 입력 레이어 128: 뉴럴 네트워크
129: 출력 레이어
Claims (14)
- 선박 외부의 대상체에 대한 영상 정보를 형성하는 복수의 4차원 레이더;
상기 복수의 4차원 레이더로부터 상기 영상 정보를 수신하여 상기 대상체의 이동 패턴 정보를 형성하고, 상기 이동 패턴 정보를 미리 저장된 이상 패턴 정보와 비교하여 일치도를 산출하며, 상기 일치도가 임계값보다 클 경우 알람 신호를 형성하는 플랫폼 서버; 및
상기 알람 신호를 수신하여 경고 알람을 발생시키는 브릿지 콘솔을 포함하고,
상기 복수의 4차원 레이더는,
상기 대상체의 상대 위치를 측정하여, 상기 대상체에 대한 크기, 거리, 속도, 각도 및 높이 정보를 포함하여 상기 영상 정보로서 고해상도의 실시간 3차원 이미지인, 포인트 클라우딩을 형성하는 근거리 4차원 레이더이며,
상기 선박의 좌현(port), 우현(starboard), 및 선수(bow)에 미리 설정된 구역으로 구분된 상기 선박 외부에 각각 배치되고,
상기 플랫폼 서버는,
상기 영상 정보를 이용하여 상기 대상체의 평면 좌표(x, y), 높이(z) 및 속도(v)를 프레임별로 추출하여 상기 이동 패턴 정보를 형성하는 영상 패턴 인식부;
상기 영상 패턴 인식부에서 형성된 상기 이동 패턴 정보 및 상기 선박 외부로부터 수신된 상기 이상 패턴 정보를 저장하는 영상 패턴 저장부; 및
상기 이동 패턴 정보와 상기 이상 패턴 정보의 평면 좌표, 높이 및 속도를 프레임별로 비교하여 상기 일치도를 산출하고, 상기 일치도가 상기 임계값보다 클 경우 상기 알람 신호를 형성하는 영상 패턴 비교부를 포함하며,
상기 영상 패턴 비교부는,
상기 영상 패턴 인식부로부터의 상기 대상체의 이동 패턴 정보를 평면 좌표값(x1, y1), 높이값(z1) 및 속도값(v1)로 설정하고, 상기 영상 패턴 저장부로 부터의 이상 패턴 정보를 평면 좌표값(x2, y2), 높이값(z2) 및 속도값(v2)로 설정하여, 프레임별로 상기 일치도를 산출하는 것을 특징으로 하는,
4차원 레이더를 활용한 해적 선박 감지 시스템. - 삭제
- 삭제
- 제 1 항에 있어서,
다수의 선박에 설치된 상기 플랫폼 서버로부터 각 선박에서 해적 선박으로 인식된 해당 선박의 이동 패턴 정보를 수집하고, 상기 해적 선박으로 인식된 해당 선박의 이동 패턴 정보를 이용하여 상기 해적 선박의 크기, 이동 경로 패턴 및 속도 정보를 포함하는 상기 이상 패턴 정보를 형성하며, 상기 이상 패턴 정보를 상기 다수의 선박과 공유하는 육상 서버를 더 포함하는,
4차원 레이더를 활용한 해적 선박 감지 시스템. - 제 4 항에 있어서,
상기 이동 패턴 정보를 상기 육상 서버로 송신하고, 상기 이상 패턴 정보를 상기 육상 서버로부터 수신하는 통신부를 더 포함하는,
4차원 레이더를 활용한 해적 선박 감지 시스템. - 제 1 항에 있어서,
상기 이동 패턴 정보는,
상기 대상체의 크기, 이동 경로 패턴 및 속도 정보를 포함하는,
4차원 레이더를 활용한 해적 선박 감지 시스템. - 삭제
- 복수의 4차원 레이더에 의해서, 선박 외부의 대상체에 대한 영상 정보를 형성하는 단계;
플랫폼 서버에 의해서, 상기 복수의 4차원 레이더로부터 상기 영상 정보를 수신하여 상기 대상체의 이동 패턴 정보를 형성하는 단계;
상기 플랫폼 서버에 의해서, 상기 이동 패턴 정보를 미리 저장된 이상 패턴 정보와 비교하여 일치도를 산출하는 단계;
상기 플랫폼 서버에 의해서, 상기 일치도가 임계값보다 클 경우 알람 신호를 형성하는 단계; 및
브릿지 콘솔에 의해서, 상기 알람 신호를 수신하여 경고 알람을 발생시키는 단계를 포함하고,
상기 복수의 4차원 레이더는,
상기 대상체의 상대 위치를 측정하여, 상기 대상체에 대한 크기, 거리, 속도, 각도 및 높이 정보를 포함하여 상기 영상 정보로서 고해상도의 실시간 3차원 이미지인, 포인트 클라우딩을 형성하는 근거리 4차원 레이더이며,
상기 선박의 좌현(port), 우현(starboard), 및 선수(bow)에 미리 설정된 구역으로 구분된 상기 선박 외부에 각각 배치되고,
상기 플랫폼 서버는,
상기 영상 정보를 이용하여 상기 대상체의 평면 좌표(x, y), 높이(z) 및 속도(v)를 프레임별로 추출하여 상기 이동 패턴 정보를 형성하는 영상 패턴 인식부;
상기 영상 패턴 인식부에서 형성된 상기 이동 패턴 정보 및 상기 선박 외부로부터 수신된 상기 이상 패턴 정보를 저장하는 영상 패턴 저장부; 및
상기 이동 패턴 정보와 상기 이상 패턴 정보의 평면 좌표, 높이 및 속도를 프레임별로 비교하여 상기 일치도를 산출하고, 상기 일치도가 상기 임계값보다 클 경우 상기 알람 신호를 형성하는 영상 패턴 비교부를 포함하며,
상기 대상체의 이동 패턴 정보를 형성하는 단계는,
상기 플랫폼 서버의 상기 영상 패턴 인식부에 의해서, 상기 영상 정보를 이용하여 상기 대상체의 평면 좌표(x, y), 높이(z) 및 속도(v)를 프레임별로 추출하는 단계를 포함하고,
상기 일치도를 산출하는 단계는,
상기 플랫폼 서버의 상기 영상 패턴 비교부에 의해서, 상기 이동 패턴 정보와 상기 이상 패턴 정보의 평면 좌표, 높이 및 속도를 프레임별로 비교하여 상기 일치도를 산출하는 단계를 포함하되,
상기 영상 패턴 인식부로부터의 상기 대상체의 이동 패턴 정보를 평면 좌표값(x1, y1), 높이값(z1) 및 속도값(v1)로 설정하고, 상기 영상 패턴 저장부로 부터의 이상 패턴 정보를 평면 좌표값(x2, y2), 높이값(z2) 및 속도값(v2)로 설정하여, 프레임별로 상기 일치도를 산출하는 것을 특징으로 하는,
4차원 레이더를 활용한 해적 선박 감지 방법. - 삭제
- 삭제
- 삭제
- 제 8 항에 있어서,
육상 서버에 의해서, 다수의 선박에서 설치된 상기 플랫폼 서버로부터 각 선박에서 해적 선박으로 인식된 해당 선박의 이동 패턴 정보를 수집하고, 상기 해적 선박으로 인식된 해당 선박의 이동 패턴 정보를 이용하여 상기 해적 선박의 크기, 이동 경로 패턴 및 속도 정보를 포함하는 상기 이상 패턴 정보를 형성하는 단계를 더 포함하는,
4차원 레이더를 활용한 해적 선박 감지 방법. - 제 12 항에 있어서,
상기 육상 서버에 의해서, 상기 이상 패턴 정보를 상기 다수의 선박에 공유하는 단계를 더 포함하는,
4차원 레이더를 활용한 해적 선박 감지 방법. - 제 8 항, 제 12 항 및 제 13 항 중 어느 한 항에 따른 4차원 레이더를 활용한 해적 선박 감지 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210107413A KR102650152B1 (ko) | 2021-08-13 | 2021-08-13 | 4차원 레이더를 활용한 해적 선박 감지 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210107413A KR102650152B1 (ko) | 2021-08-13 | 2021-08-13 | 4차원 레이더를 활용한 해적 선박 감지 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230025189A KR20230025189A (ko) | 2023-02-21 |
| KR102650152B1 true KR102650152B1 (ko) | 2024-03-21 |
Family
ID=85327882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210107413A KR102650152B1 (ko) | 2021-08-13 | 2021-08-13 | 4차원 레이더를 활용한 해적 선박 감지 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102650152B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102156338B1 (ko) * | 2019-12-31 | 2020-09-15 | 마린웍스 주식회사 | 선박의 통합 모니터링 방법 및 그 장치 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130038549A (ko) | 2011-10-10 | 2013-04-18 | 에스티엑스조선해양 주식회사 | 해적 침입 감시 시스템 |
| KR20150064805A (ko) * | 2013-12-03 | 2015-06-12 | 대우조선해양 주식회사 | 선박의 해적 탐지 방법 |
| KR102068287B1 (ko) * | 2017-10-30 | 2020-01-20 | 주식회사 현대아이씨티 | 브로드밴드 레이더를 이용한 해적선 탐지 시스템 및 그 방법 |
-
2021
- 2021-08-13 KR KR1020210107413A patent/KR102650152B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102156338B1 (ko) * | 2019-12-31 | 2020-09-15 | 마린웍스 주식회사 | 선박의 통합 모니터링 방법 및 그 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230025189A (ko) | 2023-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10782691B2 (en) | Deep learning and intelligent sensing system integration | |
| US10936907B2 (en) | Training a deep learning system for maritime applications | |
| Tu et al. | Exploiting AIS data for intelligent maritime navigation: A comprehensive survey from data to methodology | |
| Liu et al. | STMGCN: Mobile edge computing-empowered vessel trajectory prediction using spatio-temporal multigraph convolutional network | |
| WO2019126755A1 (en) | Generating and classifying training data for machine learning functions | |
| Zissis et al. | Real-time vessel behavior prediction | |
| Zhang et al. | Vessel trajectory prediction in maritime transportation: Current approaches and beyond | |
| Wang et al. | A survey of technologies for unmanned merchant ships | |
| Qiao et al. | Survey of deep learning for autonomous surface vehicles in marine environments | |
| US10895802B1 (en) | Deep learning and intelligent sensing systems for port operations | |
| Liu et al. | A new approach of obstacle fusion detection for unmanned surface vehicle using Dempster-Shafer evidence theory | |
| Thompson | Maritime object detection, tracking, and classification using lidar and vision-based sensor fusion | |
| KR102650152B1 (ko) | 4차원 레이더를 활용한 해적 선박 감지 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 | |
| Madsen et al. | Safe and efficient maneuvering of a Maritime Autonomous Surface Ship (MASS) during encounters at sea: A novel approach | |
| KR102501450B1 (ko) | 거리 측정 방법 및 이를 이용하는 거리 측정 장치 | |
| KR102553331B1 (ko) | 4차원 레이더를 활용한 선외 감시 시스템 및 방법 | |
| KR102640795B1 (ko) | 레이더 기반 선박의 이/접안 지원 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 | |
| Murray | Machine Learning for Enhanced Maritime Situation Awareness: Leveraging Historical AIS Data for Ship Trajectory Prediction | |
| CN114185328A (zh) | 基于海况自适应的无人船控制方法、装置、设备及介质 | |
| KR102561793B1 (ko) | 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 | |
| KR102640791B1 (ko) | 선내 음성 디지털화 시스템 | |
| Zhang et al. | Risk Perception Oriented Autonomous Ship Navigation in AIS Environment | |
| KR102537518B1 (ko) | 3차원 모델 기반의 선내 무선 ap 배치 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 | |
| Zhang | Risk Perception Oriented Autonomous Ship Navigation | |
| Zhang et al. | A Dynamic Context-Aware Approach for Vessel Trajectory Prediction Based on Multi-Stage Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |