KR20220128141A - 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법 - Google Patents
실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법 Download PDFInfo
- Publication number
- KR20220128141A KR20220128141A KR1020210032818A KR20210032818A KR20220128141A KR 20220128141 A KR20220128141 A KR 20220128141A KR 1020210032818 A KR1020210032818 A KR 1020210032818A KR 20210032818 A KR20210032818 A KR 20210032818A KR 20220128141 A KR20220128141 A KR 20220128141A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- radar
- vessel
- radar image
- size information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 12
- 230000007613 environmental effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 239000002245 particle Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 13
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000003653 coastal water Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
- G01S13/62—Sense-of-movement determination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/937—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of marine craft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/30—Adapting or protecting infrastructure or their operation in transportation, e.g. on roads, waterways or railways
Abstract
본 발명은 레이더를 이용하여 선박의 운동정보 및 크기정보를 제공하기 위한 장치 및 방법에 관한 것으로, 본 발명에 따르면, 선박의 위치, 속도, 침로와 같은 운동정보만 추정이 가능하고 선박의 길이 및 형상과 같은 선박의 크기에 대한 정보는 제시되지 못한 한계가 있엇던 종래기술의 레이더 추적장치 및 방법들의 문제점을 해결하여, 인공지능(AI) 학습 알고리즘을 통해 다양한 조건의 레이더 이미지를 학습하고, 학습결과에 근거하여 실시간으로 입력되는 레이더 이미지로부터 기온, 습도, 강우, 강설 등의 기상정보 및 탐지거리, 안테나 회전속도, 분해능 등과 같은 레이더 설정에 대한 정보를 반영하여 선박의 운동정보와 크기정보를 추정하는 처리가 수행되도록 구성됨으로써, 실시간 레이더 영상을 통해 선박의 운동정보와 크기정보를 동시에 제공하여 레이더 영상의 판독과 운항경로 설정 및 선박간 충돌회피 설계의 정확성 및 효율성을 향상시키고 유인 및 무인 선박의 안전운항에 기여할 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템이 제공된다.
Description
본 발명은 레이더를 이용하여 선박의 운동정보 및 크기정보를 제공하기 위한 장치 및 방법에 관한 것으로, 더 상세하게는, 레이더 영상의 정확한 판독 및 선박 자동식별장치(Automatic Identification System ; AIS)나 해상교통관제(Vessel Traffic Service ; VTS) 시스템에서 정확하고 효율적인 운항경로의 설정이나 선박간 충돌위험도를 산정하고 충돌회피를 위한 경로계획을 수립하는 충돌회피 설계가 이루어지기 위해서는, 운항중인 선박의 위치나 방향 등과 같은 선박의 운동정보 뿐만 아니라 선박의 길이 및 형상과 같은 선박의 크기에 대한 정보를 정확히 파악하는 것이 중요하나, 기존의 레이더를 이용한 추적방식은 선박의 위치, 속도, 침로와 같은 운동정보만 추정이 가능하고 선박의 길이 및 형상과 같은 선박의 크기에 대한 정보를 제시하기 위한 방안에 대하여는 제시된 바 없는 한계가 있었던 종래기술의 레이더 추적장치 및 방법들의 단점을 해결하여, 실시간으로 탐지되는 레이더 영상으로부터 선박의 운동정보와 크기정보를 함께 제공할 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법에 관한 것이다.
또한, 본 발명은, 상기한 바와 같이 실시간 레이더 영상을 이용하여 선박의 운동정보와 크기정보를 동시에 제공할 수 있도록 하기 위해, 인공지능(AI) 학습 알고리즘을 통해 다양한 조건의 레이더 이미지를 학습하고, 학습결과에 근거하여, 실시간으로 입력되는 레이더 이미지로부터 기온, 습도, 강우, 강설 등의 기상정보 및 최대탐지거리, 안테나 회전속도, 펄스폭, 분해능 등과 같은 레이더의 설정에 대한 정보를 반영하여 선박의 운동정보와 크기정보를 추정할 수 있는 처리가 수행되도록 구성됨으로써, 실시간 레이더 영상을 통해 선박의 운동정보와 크기정보를 동시에 제공할 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법에 관한 것이다.
아울러, 본 발명은, 상기한 바와 같이 선박의 운동정보 및 크기정보를 제공하여 레이더 영상의 판독과 운항경로 설정 및 선박간 충돌회피 설계의 정확성과 효율성을 향상시킬 수 있는 동시에, 항구에 입출항시 AIS로부터 크기정보를 알 수 없는 선박의 경우 주변에 있는 선박과의 교신을 통해 대략적인 크기를 확인하는 작업이 자동으로 수행되도록 구성됨으로써, 기존의 레이더 장치와 결합하여 선박의 안전운항에 도움을 줄 뿐만 아니라, 무인선과 같은 자율운항 선박의 운항경로 및 항해계획 수립에 적용하여 자율운항 선박의 안정성 및 효율성을 높일 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법에 관한 것이다.
일반적으로, 선박의 운항에 있어서, 장애물이나 다른 선박의 유무를 확인하고 항로를 결정하기 위해 레이더와 같은 탐지장비가 사용되고 있다.
그러나 종래의 선박용 레이더 장치는, 사람이 모니터를 주시하면서 장애물이나 충돌위험을 판단해야 하므로 어떠한 이유로 모니터를 보지 못하거나 탐지내용을 잘못 판단할 경우 대형사고로 이어질 수 있는 문제점이 있다.
여기서, 이러한 문제점을 해결하기 위해, 종래, 선박의 주변에 위치한 다른 선박의 운항정보를 자동으로 확인할 수 있도록 구성되는 선박 자동식별장치(Automatic Identification System ; AIS) 및 선박의 안전한 운항을 위해 운항중인 선박을 관찰 및 통제하고 필요한 정보를 제공하는 해상교통관제(Vessel Traffic Service ; VTS) 시스템이 적용되고 있다.
그러나 VTS는 VHF(Very High Frequency)와 같은 무선통신에 기반함으로 인해 관제구역이 항만이나 연안해역으로 제한되는 한계가 있고, AIS 장비는 소형 어선과 같은 경우 탑재되지 않은 경우도 많으며, AIS 데이터가 부정확한 경우도 많고 심지어는 불법조업 등과 같이 특정 목적을 위해 장치를 끄고 운항하는 경우도 있다.
따라서 일반적으로 선박간 충돌사고는 대부분 AIS를 탑재하지 않은 소형 선박에서 발생하는 경우가 많으며, 이에, 보다 안전한 선박의 운항을 위하여는, 레이더와 같이 선박에 기본적으로 구비되어 있는 장비를 이용하여 선박의 운항이나 탐지에 도움이 되는 정보를 제공함으로써 AIS 및 VTS의 단점을 보완할 수 있는 기술이 요구된다.
여기서, 상기한 바와 같이 선박의 운항이나 탐지를 위해 레이더를 이용하는 장치 및 방법에 관한 종래기술의 예로는, 예를 들면, 한국 등록특허공보 제10-1810666호에 제시된 바와 같은 "레이더와 해안선 맵을 이용한 선박의 위치 측정 장치 및 방법"이 있다.
더 상세하게는, 상기한 등록특허 제10-1810666호는, 해양의 지형이나 구조물에 전파를 투사하고 반사되는 전파를 이용하여 원시 레이더 이미지를 생성하는 선박용 레이더와, 선박용 레이더로부터 생성된 원시 레이더 이미지를 필터링하여 이미지 잡음을 제거하는 이미지 필터링부와, 이미지 필터링부에서 필터링된 레이더 이미지를 미리 규정된 강도 임계값을 고려하여 이진 이미지로 변환하는 이진 이미지 변환부와, 이진 이미지 변환부에서 이진 이미지를 입력받아 윤곽선 검출 알고리즘을 이용하여 해안선의 윤곽선을 검출하는 해안선 윤곽선 검출부와, 해안선 윤곽선 검출부에서 검출된 해안선의 윤곽선을 미리 제작된 해안선 맵상에 매칭시키는 해안선 매칭부 및 해안선 매칭부에서 매칭된 해안선 맵의 해안선 윤곽선의 좌표와 해안선 윤곽선 검출부에서 검출된 해안선의 윤곽선 좌표의 편차를 구하고, 그 편차를 기초로 선박의 위치를 추정하는 선박위치 추정부를 포함하여, 특히 GPS의 사용이 제한되는 경우에도 레이더를 통해 생성한 원시 레이더 이미지를 이용하여 해안선 윤곽선을 검출하고 검출된 해안선 윤곽선을 미리 제작된 해안선 맵상에 매칭시켜 선박의 위치를 추정할 수 있도록 구성되는 레이더와 해안선 맵을 이용한 선박의 위치 측정 장치 및 방법을 제시하고자 하는 것이다.
또한, 상기한 바와 같이 선박의 운항이나 탐지를 위해 레이더를 이용하는 장치 및 방법에 관한 종래기술의 다른 예로는, 예를 들면, 한국 등록특허공보 제10-1350351호에 제시된 바와 같은 "합성개구레이더를 이용한 소형 선박 탐지방법"이 있다.
더 상세하게는, 상기한 등록특허 제10-1350351호는, 합성개구레이더가 동일한 영역을 촬영하여 복수개의 멀티룩 이미지를 획득하는 단계, 복수개의 멀티룩 이미지 중에서 적어도 하나의 멀티룩 이미지를 이동시켜서 멀티룩 이미지들의 위치를 매칭하는 단계 및 위치가 매칭된 멀티룩 이미지들을 통합 이미지로 정합하고 통합 이미지에서 소형 선박을 탐지하는 단계를 포함하여, 합성개구레이더에서 복수개의 멀티룩 이미지를 상호상관 기법을 이용하여 정합할 시 멀티룩 이미지의 경계선 위치를 서로 동일한 위치로 이동시켜 위치오차를 최소화할 수 있도록 구성되는 합성개구레이더를 이용한 소형 선박 탐지방법을 제시하고자 하는 것이다.
상기한 바와 같이, 종래, 선박의 운항이나 탐지를 위해 레이더를 이용하는 여러 가지 기술내용들이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 문제점이 있는 것이었다.
더 상세하게는, 상기한 바와 같이, 일반적으로, 종래의 레이더를 이용한 탐지방법은 사람이 레이더 영상을 지켜보면서 장애물이나 다른 선박의 유무를 판단하고 상황에 따라 대처해야 하므로, 잠시라도 레이더 영상을 주시하지 않거나 레이더 영상을 잘못 판독할 경우 대형 사고가 발생할 수 있는 문제가 있었다.
또한, 선박마다 그 크기가 상이함으로 인해 레이더 이미지상에도 선박 크기에 따라 사이즈가 다르게 나타나게 되며, 이에 더하여, 레이더 영상의 표시는 기본적으로 선박에서 반사된 신호에 기반하는 것임으로 인해, 강우나 습도 등의 기상조건이나 레이더의 최대탐지거리, 안테나 회전속도, 펄스폭, 분해능 등과 같은 레이더 자체의 설정에 따라서 동일한 선박에 대하여도 실제 이미지상에 표시되는 선박의 크기나 밝기 등이 달라지게 되므로, 단순히 레이더 영상에 나타나는 표시만으로는 선박인지 또는 다른 물체인지를 즉각적으로 정확히 판단하기 어려운 문제도 있었다.
아울러, 기존의 레이더 장치들은 단지 선박의 위치나 방향 등과 같은 운동정보만을 파악할 수 있을 뿐이나, 레이더 영상의 정확한 판독 및 AIS나 VTS를 이용한 선박의 운항 제어에 있어서 보다 정확한 운항경로의 설정이나 효율적인 선박간 충돌회피 설계를 위해서는 현재 운항중인 선박의 위치나 방향 등과 같은 선박의 운동정보 뿐만 아니라 선박의 길이 및 형상과 같은 선박의 크기에 대한 정보를 정확히 파악하는 것이 중요하다.
그러나 상기한 바와 같은 종래기술의 내용들에는 단지 레이더를 이용하여 선박의 운항경로를 설정하거나 선박의 존재유무를 탐지하기 위한 기술내용만이 제시되어 있을 뿐, 선박의 운동정보와 크기에 대한 정보를 동시에 제공하여 정확한 레이더 영상의 판독 및 정확하고 효율적인 운항경로 계획 수립에 반영할 수 있도록 하는 기술내용에 대하여는 제시된 바가 없었다.
따라서 상기한 바와 같은 종래기술의 레이더 장비들의 문제점을 해결하기 위하여는, 실시간으로 탐지되는 레이더 영상으로부터 선박의 운동정보와 선박의 크기에 대한 정보를 추정하여 함께 제공하는 것에 의해 레이더 영상의 보다 정확한 판독과 정확한 운항경로의 설정 및 효율적인 선박간 충돌회피 설계가 가능하도록 구성되는 새로운 구성의 레이더 탐지시스템을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다.
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 레이더 영상의 정확한 판독 및 AIS나 VTS 시스템에서 정확하고 효율적인 운항경로의 설정이나 선박간 충돌위험도를 산정하고 충돌회피를 위한 경로계획을 수립하는 충돌회피 설계가 이루어지기 위해서는 운항중인 선박의 위치나 방향 등과 같은 선박의 운동정보 뿐만 아니라 선박의 길이 및 형상과 같은 선박의 크기에 대한 정보를 정확히 파악하는 것이 중요하나, 선박의 위치, 속도, 침로와 같은 운동정보만 추정이 가능하고 선박의 길이 및 형상과 같은 선박의 크기에 대한 정보를 제공하기 위한 방안은 제시된 바 없는 한계가 있었던 종래기술의 레이더 추적장치 및 방법들의 문제점을 해결하기 위해, 실시간으로 탐지되는 레이더 영상으로부터 선박의 운동정보와 크기정보를 함께 제공할 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법을 제공하고자 하는 것이다.
또한, 본 발명의 다른 목적은, 상기한 바와 같이 실시간 레이더 영상을 이용하여 선박의 운동정보와 크기정보를 동시에 제공할 수 있도록 하기 위해, 인공지능(AI) 학습 알고리즘을 통해 다양한 조건의 레이더 이미지를 학습하고, 학습결과에 근거하여, 실시간으로 입력되는 레이더 이미지로부터 기온, 습도, 강우, 강설 등의 기상정보 및 최대탐지거리, 안테나 회전속도, 펄스폭, 분해능 등과 같은 레이더의 설정에 대한 정보를 반영하여 선박의 운동정보와 크기정보를 추정하는 처리가 수행되도록 구성됨으로써, 실시간 레이더 영상을 통해 선박의 운동정보와 크기정보를 동시에 제공할 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법을 제공하고자 하는 것이다.
아울러, 본 발명의 또 다른 목적은, 상기한 바와 같이 선박의 운동정보 및 크기정보를 제공하여 레이더 영상의 판독과 운항경로 설정 및 선박간 충돌회피 설계의 정확성과 효율성을 향상시킬 수 있는 동시에, 항구에 입출항시 AIS로부터 크기정보를 알 수 없는 선박의 경우 주변에 있는 선박과의 교신을 통해 크기를 대략적으로 확인하는 작업이 자동으로 수행되도록 구성됨으로써, 기존의 레이더 장치와 결합하여 선박의 안전운항에 도움을 줄 뿐만 아니라, 무인선과 같은 자율운항 선박의 운항경로 및 항해계획 수립에 적용하여 자율운항 선박의 안정성 및 효율성을 높일 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법을 제공하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 실시간 레이더 이미지로부터 선박의 운동정보와 크기정보를 동시에 제공할 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템에 있어서, 인공지능(AI) 학습 알고리즘을 이용하여, 복수의 레이더 이미지를 수집하여 구축된 레이더 이미지 데이터베이스를 학습데이터로 이용하여 각각의 레이더 이미지에 대한 학습을 수행하는 처리가 수행되도록 이루어지는 레이더 이미지 학습부; 및 상기 인공지능(AI) 학습 알고리즘을 이용하여, 학습결과에 근거하여 실시간으로 입력되는 레이더 이미지로부터 선박의 운동정보와 크기정보를 추정하여 제공하는 처리가 수행되도록 이루어지는 운동 및 크기정보 추정부를 포함하여 구성되는 것을 특징으로 하는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템이 제공된다.
여기서, 상기 인공지능(AI) 학습 알고리즘은, 딥러닝(Deep Learning) 또는 머신러닝(Machine Learning) 알고리즘을 이용하여 구성되는 것을 특징으로 한다.
또한, 상기 레이더 이미지 학습부는, 서로 다른 환경조건에서 탐지된 복수의 레이더 이미지를 수집하여 레이더 이미지에 대한 데이터베이스(DB)를 구축하는 데이터베이스 구축단계; 상기 데이터베이스 구축단계에서 구축된 상기 DB의 각각의 상기 레이더 이미지에 대하여 학습을 위한 전처리로서 노이즈를 제거하는 영상처리를 행하는 전처리단계; 상기 전처리단계에서 전처리가 수행된 각각의 상기 레이더 이미지에서 선박에서 반사된 영역을 추출하여 선박을 식별하는 선박식별단계; 및 상기 선박식별단계에서 식별된 선박에 대한 타선정보와 해당 레이더 이미지가 얻어진 시점의 환경에 관련된 환경정보 및 해당 레이더 장치의 설정에 관한 설정정보를 서로 연관시켜 상기 인공지능(AI) 학습 알고리즘을 통해 각각의 상기 레이더 이미지에 대한 학습이 수행되는 레이더 이미지 학습단계를 포함하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
이때, 상기 타선정보는 각각의 레이더 이미지에 나타난 선박의 상대거리 및 상대방위를 포함하는 상대위치정보와, 해당 선박의 종류, 형상, 레이더 반사면적(Radar Cross-Section ; RCS), 길이 및 크기에 대한 정보를 포함하는 선체정보를 포함하여 구성되고, 상기 환경정보는 기온, 습도, 강우, 강설, 조도 및 시정에 관한 정보를 포함하여 구성되며, 상기 설정정보는 레이더 장치의 최대탐지거리, 안테나 회전속도, 펄스폭, 분해능 및 게인(gain)을 포함하는 해당 레이더 장치의 하드웨어 구성 및 설정에 관한 정보를 포함하여 구성되는 것을 특징으로 한다.
아울러, 상기 운동 및 크기정보 추정부는, 레이더 장치를 통해 실시간으로 탐지된 레이더 이미지가 입력되면, 시간에 따라 연속으로 입력되는 각각의 레이더 이미지에 대하여 노이즈를 제거하는 전처리가 수행되는 전처리단계; 상기 전처리단계에서 전처리가 수행된 레이더 이미지로부터 선박에서 반사된 신호를 탐지하여 해당 선박의 이미지 정보를 추출하고, 이후 연속하여 입력되는 레이더 이미지의 시계열 데이터에 나타나는 시간에 따른 상대거리 및 상대방위 정보에 근거하여 해당 선박의 위치, 침로 및 속도를 포함하는 운동정보를 추정하는 운동정보 추정단계; 상기 레이더 이미지 학습부를 통해 학습된 상기 인공지능(AI) 학습 알고리즘을 이용하여, 연속하여 입력되는 각각의 레이더 이미지가 취득된 시점의 환경정보와 해당 레이더 장치의 설정정보를 반영하여 해당 레이더 이미지와 각각의 정보가 일치하거나 가장 근사하게 매칭되는 이미지를 학습데이터에서 검색하여 선박의 크기정보를 추정하는 크기정보 추정단계; 및 상기 운동정보 추정단계 및 상기 크기정보 추정단계에서 추정된 운동정보와 크기정보에 대하여 추적필터를 이용한 필터링을 통해 노이즈 및 오차가 제거된 운동정보 및 크기정보를 출력하는 정보제공단계를 포함하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
여기서, 상기 추적필터는, 칼만 필터(Kalman filter) 또는 파티클 필터(Particle filter)를 포함하는 필터 알고리즘을 이용하여 구성되는 것을 특징으로 한다.
더욱이, 상기 선박 운동정보 및 크기정보 제공시스템은, 기존의 레이더 장치와 결합되어, 상기 레이더 장치를 통해 탐지되는 영상을 수신하여 상기 인공지능(AI) 학습 알고리즘을 통해 학습을 행하고, 학습결과에 근거하여 실시간으로 입력되는 레이더 영상으로부터 선박의 운동정보 및 크기정보를 추정하여 제공하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또는, 상기 운동정보 및 크기정보 제공시스템은, 상기 레이더 장치 대신에, 라이다(LiDAR ; light detection and ranging)나 카메라를 포함하는 이종센서 시스템과 결합되어 실시간으로 입력되는 탐지영상으로부터 탐지대상의 운동정보 및 크기정보를 추정하여 제공하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 본 발명에 따르면, 실시간 레이더 이미지로부터 선박의 운동정보와 크기정보를 동시에 제공할 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공방법에 있어서, 상기에 기재된 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템의 레이더 이미지 학습부를 통하여 다수의 레이더 이미지에 대한 학습을 수행하는 학습단계; 및 상기 학습단계의 학습결과에 근거하여, 상기 선박 운동정보 및 크기정보 제공시스템의 운동 및 크기정보 추정부를 통해 실시간으로 입력되는 레이더 영상으로부터 선박의 운동정보 및 크기정보를 추정하여 제공하는 처리가 수행되는 정보제공단계를 포함하여 구성되는 것을 특징으로 하는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공방법이 제공된다.
아울러, 본 발명에 따르면, 실시간으로 탐지되는 선박에 대한 운동정보와 크기정보를 동시에 제공할 수 있도록 구성되는 레이더 시스템에 있어서, 상기에 기재된 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템을 포함하여 구성되는 것을 특징으로 하는 레이더 시스템이 제공된다.
상기한 바와 같이, 본 발명에 따르면, 인공지능(AI)을 통해 다양한 조건의 레이더 이미지를 학습하고, 학습결과에 근거하여, 실시간으로 입력되는 레이더 이미지로부터 기온, 습도, 강우, 강설 등의 기상정보 및 최대탐지거리, 안테나 회전속도, 펄스폭, 분해능 등과 같은 레이더의 설정에 대한 정보를 반영하여 선박의 운동정보와 크기정보를 추정하는 처리가 수행되도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법이 제공됨으로써, 선박의 위치, 속도, 침로와 같은 운동정보만 추정이 가능하고 선박의 길이 및 형상과 같은 선박의 크기에 대한 정보는 제시되지 못한 한계가 있었던 종래기술의 레이더 추적장치 및 방법들의 문제점을 해결할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 실시간으로 탐지되는 레이더 영상으로부터 선박의 운동정보와 크기정보를 동시에 제공할 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법이 제공됨으로써, 운항중인 선박의 위치나 방향 등과 같은 선박의 운동정보 뿐만 아니라 선박의 길이 및 형상과 같은 선박의 크기에 대한 정보를 파악할 수 있으며, 그것에 의해, 레이더 영상의 판독 및 AIS나 VTS 시스템에서 운항경로 설정이나 선박간 충돌위험도를 산정하고 충돌회피를 위한 경로계획을 수립하는 선박간 충돌회피 설계의 정확성 및 효율성을 향상시킬 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 선박의 운동정보 및 크기정보를 제공하여 레이더 영상의 판독과 운항경로 설정 및 선박간 충돌회피 설계의 정확성과 효율성을 향상시킬 수 있는 동시에, 항구에 입출항시 AIS로부터 크기정보를 알 수 없는 선박의 경우 주변에 있는 선박과의 교신을 통해 대략적인 크기를 확인하는 작업이 자동으로 수행되도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법이 제공됨으로써, 기존의 레이더 장치와 결합하여 선박의 안전운항에 도움을 줄 뿐만 아니라, 무인선과 같은 자율운항 선박의 운항경로 및 항해계획 수립에 적용하여 자율운항 선박의 안정성 및 효율성을 높일 수 있다.
도 1은 본 발명의 실시예에 따른 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템의 레이더 이미지 학습부와 운동 및 크기정보 추정부의 구체적인 처리흐름의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템의 레이더 이미지 학습부와 운동 및 크기정보 추정부의 구체적인 처리흐름의 구성을 개략적으로 나타내는 도면이다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법의 구체적인 실시예에 대하여 설명한다.
여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
즉, 본 발명은, 후술하는 바와 같이, 레이더 영상의 정확한 판독 및 AIS나 VTS 시스템에서 정확하고 효율적인 운항경로의 설정이나 선박간 충돌위험도를 산정하고 충돌회피를 위한 경로계획을 수립하는 충돌회피 설계가 이루어지기 위해서는 운항중인 선박의 위치나 방향 등과 같은 선박의 운동정보 뿐만 아니라 선박의 길이 및 형상과 같은 선박의 크기에 대한 정보를 정확히 파악하는 것이 중요하나, 선박의 위치, 속도, 침로와 같은 운동정보만 추정이 가능하고 선박의 길이 및 형상과 같은 선박의 크기에 대한 정보를 제공하기 위한 방안은 제시된 바 없는 한계가 있었던 종래기술의 레이더 추적장치 및 방법들의 문제점을 해결하기 위해, 실시간으로 탐지되는 레이더 영상으로부터 선박의 운동정보와 크기정보를 함께 제공할 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법에 관한 것이다.
아울러, 본 발명은, 후술하는 바와 같이, 실시간 레이더 영상을 이용하여 선박의 운동정보와 크기정보를 동시에 제공할 수 있도록 하기 위해, 인공지능(AI) 학습 알고리즘을 통해 다양한 조건의 레이더 이미지를 학습하고, 학습결과에 근거하여, 실시간으로 입력되는 레이더 이미지로부터 기온, 습도, 강우, 강설 등의 기상정보 및 최대탐지거리, 안테나 회전속도, 펄스폭, 분해능 등과 같은 레이더의 설정에 대한 정보를 반영하여 선박의 운동정보와 크기정보를 추정하는 처리가 수행되도록 구성됨으로써, 실시간 레이더 영상을 통해 선박의 운동정보와 크기정보를 동시에 제공할 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법에 관한 것이다.
더욱이, 본 발명은, 후술하는 바와 같이, 선박의 운동정보 및 크기정보를 제공하여 레이더 영상의 판독과 운항경로 설정 및 선박간 충돌회피 설계의 정확성과 효율성을 향상시킬 수 있는 동시에, 항구에 입출항시 AIS로부터 크기정보를 알 수 없는 선박의 경우 주변에 있는 선박과의 교신을 통해 크기를 대략적으로 확인하는 작업이 자동으로 수행되도록 구성됨으로써, 기존의 레이더 장치와 결합하여 선박의 안전운항에 도움을 줄 뿐만 아니라, 무인선과 같은 자율운항 선박의 운항경로 및 항해계획 수립에 적용하여 자율운항 선박의 안정성 및 효율성을 높일 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법에 관한 것이다.
계속해서, 도면을 참조하여, 본 발명에 따른 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법의 구체적인 내용에 대하여 설명한다.
먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템(10)의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템(10)은, 크게 나누어, 각종 레이더 이미지를 수집하여 구축된 레이더 이미지 데이터베이스로부터 레이더 이미지에 대한 학습을 수행하는 처리가 수행되도록 이루어지는 레이더 이미지 학습부(11)와, 레이더 이미지 학습부(11)의 학습결과에 근거하여, 실시간으로 입력되는 레이더 영상으로부터 선박의 운동정보와 크기정보를 추정하여 제공하는 처리가 수행되도록 이루어지는 운동 및 크기정보 추정부(12)를 포함하여 구성될 수 있다.
여기서, 상기한 레이더 이미지 학습부(11)는, 예를 들면, 인공지능(AI) 학습 알고리즘을 이용하여, 기온, 습도 및 눈이나 비와 같은 날씨 등의 기상환경과, 최대탐지거리, 안테나 회전속도, 펄스폭, 분해능, 게인(gain) 등과 같은 레이더 장치의 설정 등을 포함하는 다양한 조건에서 탐지된 레이더 이미지와, 각각의 레이더 이미지에 나타난 선박에 대하여 선박의 종류나 길이, 형상, 크기, 레이더 반사면적(Radar Cross-Section ; RCS), 상대거리 및 상대방위 등과 같은 선체정보에 대한 학습을 통해, 실시간 레이더 영상이 입력되었을 때 운동 및 크기정보 추정부(12)에서 해당 레이더 영상으로부터 선박의 위치와 방향 등의 운동정보를 판별하는데 더하여, 어떠한 크기의 선박에서 반사된 레이더 신호인지를 판단하여 선박의 크기정보를 추정할 수 있도록 하기 위한 인공지능 학습 처리가 수행되도록 구성될 수 있다.
더 상세하게는, 도 2를 참조하면, 도 2는 도 1에 나타낸 바와 같이 하여 구성되는 본 발명의 실시예에 따른 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템(10)의 레이더 이미지 학습부(11)와 운동 및 크기정보 추정부(12)의 구체적인 처리흐름의 구성을 개략적으로 나타내는 도면이다.
도 2에 나타낸 바와 같이, 레이더 이미지 학습부(11)의 처리과정은, 먼저, 상기한 바와 같이 다양한 조건에서 탐지된 레이더 이미지를 수집하여 레이더 이미지에 대한 데이터베이스(DB)를 구축하고(도 2의 레이더 이미지 DB), 이러한 DB의 레이더 이미지에 대하여 학습을 위한 전처리로서 노이즈를 제거하는 등의 학습에 필요한 영상처리(도 2의 이미지 전처리)를 행한 다음, 레이더 이미지에서 선박에서 반사된 영역을 탐지하여 영상 내의 선박을 추출(도 2의 타선추출)한다.
다음으로, 인공지능 학습 알고리즘을 이용하여, 탐지된 선박에 대한 타선정보와, 해당 레이더 이미지가 얻어진 시점의 환경에 관련된 환경정보 및 해당 레이더 장치의 설정에 관한 설정정보를 서로 연관시켜 선박의 종류나 탐지환경 및 설정 등이 각각 상이한 다양한 이미지에 대한 학습을 수행(도 2의 레이더 이미지 학습)하는 것에 의해, 운동 및 크기정보 추정부(12)에 실시간 레이더 이미지가 입력되었을 때 학습결과에 근거하여 인공지능 학습 알고리즘을 통해 해당 이미지로부터 선박의 크기정보를 추정할 수 있도록 한다.
여기서, 상기한 타선정보는, 예를 들면, 레이더 이미지에 나타난 선박의 상대거리 및 상대방위 등을 포함하는 상대위치정보와, 선박의 종류, 형상, 레이더 반사면적(Radar Cross-Section ; RCS), 길이 및 크기 등에 대한 정보를 포함하는 선체정보를 포함하여 구성될 수 있고, 상기한 환경정보는, 예를 들면, 기온, 습도, 강우, 강설 등과 같은 날씨정보 및 시정, 조도 등이 포함될 수 있으며, 상기한 설정정보는, 예를 들면, 레이더 장치의 최대탐지거리, 안테나 회전속도, 펄스폭, 분해능 및 게인(gain) 등과 같이 해당 레이더 장치의 하드웨어 구성이나 설정에 관한 정보가 포함될 수 있다.
또한, 상기한 인공지능 학습 알고리즘으로는, 예를 들면, 딥러닝(Deep Learning)이나 머신러닝(Machine Learning) 등의 인공지능 알고리즘을 적용하여 구성될 수 있으나, 본 발명은 반드시 이러한 경우로만 한정되는 것은 아니며, 즉, 본 발명은, 레이더 이미지를 학습하여 선박을 판별하고 종류와 크기를 추정할 수 있는 것이면 학습 알고리즘의 종류에 특별하게 제한은 없는 것임에 유념해야 한다.
즉, 레이더 이미지는, 기본적으로 선박 등의 물체에서 반사되는 신호에 기반하는 것임으로 인해 동일한 선박이라도 날씨와 같은 환경적 요인에 따라 레이더 이미지상의 크기나 밝기 등이 다르게 나타날 수 있으며, 마찬가지로, 해당 레이더 장치의 세부설정에 따라 동일한 대상에 대하여도 레이더 이미지상에서는 다르게 표시될 수 있다.
이에, 본 발명의 실시예에서는, 상기한 바와 같이 각각의 이미지별로 환경적 요인과 장치설정에 따른 변수를 모두 반영하여 인공지능 학습 알고리즘을 통해 학습을 수행하고, 학습결과에 근거하여, 실시간으로 입력되는 레이더 이미지로부터 선박에서 반사된 신호를 탐지하여 선박의 상대위치 정보를 추출하고, 이후 연속하여 입력되는 레이더 이미지의 시계열 데이터에 나타나는 시간에 따른 상대위치 정보에 근거하여 해당 선박의 위치(궤적)와 침로 및 속도 등의 운동정보를 추정하며, 이에 더하여, 연속하여 입력되는 복수의 레이더 이미지가 얻어진 환경과 장치설정에 매칭되는 학습데이터를 비교하여 해당 선박의 크기정보를 추정하는 것에 의해 실시간으로 입력되는 복수의 레이더 이미지의 시계열 데이터로부터 선박의 운동정보와 크기정보를 모두 추정하는 처리가 자동으로 이루어지도록 구성될 수 있다.
또한, 상기한 바와 같이 연속적으로 입력되는 복수의 레이더 이미지를 이용하여 해당 이미지가 얻어진 환경과 장치설정에 매칭되는 학습데이터를 비교하는 것에 의해 보다 정확한 크기정보의 추정이 가능해진다.
더 상세하게는, 도 2에 나타낸 바와 같이, 상기한 운동 및 크기정보 추정부(12)는, 먼저, 레이더 장치를 통해 실시간으로 탐지된 레이더 이미지(도 2의 실시간 레이더 이미지)가 입력되면, 입력되는 레이더 이미지에서 노이즈를 제거하는 등의 전처리를 행하는 처리(도 2의 이미지 전처리)가 수행되며, 이때, 이러한 전처리는 시간에 따라 연속으로 입력되는 각각의 레이더 이미지에 대하여 각각 수행된다.
이어서, 전처리가 수행된 레이더 이미지로부터 선박에서 반사된 신호를 탐지(도 2의 타선탐지)하여 선박의 이미지 정보를 추출(도 2의 타선 이미지 추출)하고, 이후 연속하여 입력되는 레이더 이미지(즉, 타선 이미지)의 시계열 데이터에 나타나는 시간에 따른 상대거리 및 상대방위 정보에 근거하여 복수의 레이더 이미지로부터 해당 선박의 위치(궤적)와 침로 및 속도 등의 운동정보를 추정한다.
여기서, 이러한 운동정보의 취득과정은 기존의 레이더 장치에서와 동일 내지 유사하게 하여 수행될 수 있으며, 본 발명에서는, 설명을 간략히 하기 위해, 상기한 바와 같이 종래기술의 내용을 참조하여 당업자가 용이하게 이해하고 실시할 수 있는 부분에 대하여는 그 상세한 설명을 생략하였음에 유념해야 한다.
계속해서, 상기한 바와 같이 하여 레이더 이미지 학습부(11)에서 학습된 학습내용에 근거하여, 인공지능 학습 알고리즘을 통해 현재의 환경, 즉, 해당 이미지가 취득된 시점의 기상상태 등의 환경정보와 해당 레이더 장치의 설정정보를 반영하여, 실시간으로 입력되는 레이더 이미지의 시계열 데이터에 해당하는 복수의 레이더 이미지와 각각의 정보가 일치하거나 가장 근사하게 매칭되는 이미지를 학습데이터에서 검색하고, 이를 참조하여 선박의 크기정보를 추출한다(도 2의 학습 네트워크).
그 후, 상기한 바와 같이 하여 타선 탐지 및 타선 이미지 추출시 취득된 선박의 운동정보와 학습 네트워크를 통해 기상정보 및 레이더 설정정보를 반영하여 추정된 선박의 크기정보에 대하여, 각각의 정보에 대한 신뢰도를 고려하여 필터링을 행하는 것에 의해 노이즈 및 오차를 제거하여 최종적인 운동 및 크기정보를 출력하는 처리가 수행된다(도 2의 추적필터).
여기서, 상기한 추적필터는, 예를 들면, 칼만 필터(Kalman filter)나 파티클 필터(Particle filter) 등과 같은 필터 장치나 알고리즘을 이용하여 구성될 수 있다.
따라서 상기한 바와 같이, 연속적으로 입력되는 복수의 레이더 이미지로부터 선박의 운동정보를 추정하고, 각각의 레이더 이미지가 얻어진 환경과 장치설정에 매칭되는 학습데이터를 비교하여 선박의 크기정보를 추정하는 것에 의해, 추정되는 운동정보와 크기정보의 정확도를 높일 수 있다.
즉, 도 2에 나타낸 운동 및 크기정보 추정부(12)는, 상기한 바와 같이 하여 레이더 이미지 학습부(11)를 통하여 학습된 학습내용에 근거하여 인공지능 학습 알고리즘을 통해 실시간으로 입력되는 레이더 이미지의 시계열 데이터로부터 선박의 운동정보와 크기정보를 추정하여 제공하는 처리가 수행되도록 구성될 수 있다.
따라서 상기한 바와 같은 구성을 통하여, 본 발명의 실시예에 따른 운동정보 및 크기정보 제공시스템(10)에 따르면, 다양한 레이더 이미지에 대한 학습을 수행하고, 학습결과에 근거하여 실시간으로 입력되는 일련의 레이더 이미지들로부터 선박의 운동정보와 크기정보를 추정하여 제공할 수 있다.
여기서, 상기한 운동정보 및 크기정보 제공시스템(10)은, 도시되지는 않았으나, 예를 들면, 레이더 영상을 포함하는 각종 데이터를 입력하기 위한 입력수단과, 추정된 선박의 운동 및 크기정보를 포함하는 각종 데이터를 출력하고 표시하기 위한 출력수단 및 표시수단을 더 포함하여 구성될 수 있다.
아울러, 본 발명의 실시예에 따른 운동정보 및 크기정보 제공시스템(10)은, 상기한 바와 같은 구성에 더하여, 예를 들면, 유선 또는 무선통신을 통해 서버나 PC, 또는, 스마트폰이나 태블릿 PC 등과 같은 개인 휴대용 사용자 단말기 등의 외부 기기와 데이터를 주고받기 위한 통신수단 등을 더 포함하여 원격으로 정보를 주고받거나 제어가 가능하도록 구성될 수도 있는 등, 본 발명은 상기한 실시예에 나타낸 구성으로만 한정되는 것이 아니며, 당업자에 의해 필요에 따라 다양한 형태로 구성될 수 있는 것임에 유념해야 한다.
즉, 상기한 운동정보 및 크기정보 제공시스템(10)은, 기존의 레이더 장치와 결합되어, 입력수단을 통해 레이더 장치를 통해 탐지되는 영상을 수신하여 학습을 행하고, 학습결과에 근거하여 실시간으로 입력되는 레이더 영상으로부터 선박의 운동정보 및 크기정보를 추정하여 출력수단 및 표시수단을 통해 사용자에게 제공하는 처리가 수행되도록 구성될 수 있다.
이때, 예를 들면, 선박 내에 구축된 네트워크를 이용하여, 서버와 같은 외부 기기에 학습 데이터로서 다양한 레이더 이미지를 수집하여 저장하는 것에 의해 레이더 이미지에 대한 데이터베이스를 구축하여 두고, 이러한 데이터베이스의 내용에 근거하여 학습을 수행하고 레이더 영상으로부터 원하는 정보를 추출하여 추출된 데이터를 각 개인의 사용자 단말기로 전달하는 처리가 서버에서 수행되도록 구성됨으로써, 용이하게 정보의 전달 및 공유가 가능한 동시에, 별도의 하드웨어를 구현할 필요가 없이 전체적인 시스템의 구성을 간소화할 수 있다.
여기서, 상기한 본 발명의 실시예에서는 기존의 레이더 이미지 탐지방법을 적용하여 복수의 레이더 이미지로부터 운동정보를 추정한 다음 각각의 레이더 이미지를 학습데이터와 매칭시켜 크기정보를 추정하는 경우를 예로 하여 본 발명을 설명하였으나, 본 발명은 반드시 이러한 구성으로만 한정되는 것은 아니다.
즉, 본 발명은, 상기한 바와 같은 방법에 더하여, 다른 방법으로, 레이더 이미지와 학습데이터를 이미지 매칭 방식으로 매칭시켜 크기정보를 추정하는 것에 의해 단일의 레이더 이미지만으로도 크기정보의 제공이 가능하도록 구성될 수도 있는 등, 본 발명은 필요에 따라 다양한 형태로 구성될 수 있는 것임에 유념해야 한다.
더욱이, 상기한 본 발명의 실시예에서는 실시간 레이더 이미지를 이용하여 선박의 운동정보 및 크기정보를 제공하는 레이더 기반의 정보제공 시스템의 경우를 예로 하여 본 발명을 설명하였으나, 본 발명은 반드시 이러한 구성으로만 한정되는 것은 아니며, 즉, 본 발명은, 상기한 레이더 이외에, 예를 들면, 라이다(LiDAR ; light detection and ranging)나 카메라 등과 같은 이종센서의 경우에도 동일 내지 유사하게 하여 적용될 수 있는 등, 본 발명의 취지 및 본질을 벗어나지 않는 범위 내에서 당업자에 의해 필요에 따라 다양하게 수정 및 변경하여 적용될 수 있는 것임에 유념해야 한다.
따라서 상기한 바와 같이 하여, 본 발명의 실시예에 따른 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법을 구현할 수 있으며, 그것에 의해, 본 발명에 따르면, 인공지능(AI) 학습 알고리즘을 통해 다양한 조건의 레이더 이미지를 학습하고, 학습결과에 근거하여, 실시간으로 입력되는 레이더 이미지로부터 기온, 습도, 강우, 강설 등의 기상정보 및 최대탐지거리, 안테나 회전속도, 펄스폭, 분해능 등과 같은 레이더의 설정에 대한 정보를 반영하여 선박의 운동정보와 크기정보를 추정하는 처리가 수행되도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법이 제공됨으로써, 선박의 위치, 속도, 침로와 같은 운동정보만 추정이 가능하고 선박의 길이 및 형상과 같은 선박의 크기에 대한 정보는 제시되지 못한 한계가 있었던 종래기술의 레이더 추적장치 및 방법들의 문제점을 해결할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 실시간으로 탐지되는 레이더 영상으로부터 선박의 운동정보와 크기정보를 동시에 제공할 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법이 제공됨으로써, 운항중인 선박의 위치나 방향 등과 같은 선박의 운동정보 뿐만 아니라 선박의 길이 및 형상과 같은 선박의 크기에 대한 정보를 파악할 수 있으며, 그것에 의해, 레이더 영상의 판독 및 AIS나 VTS 시스템에서 운항경로 설정이나 선박간 충돌위험도를 산정하고 충돌회피를 위한 경로계획을 수립하는 선박간 충돌회피 설계의 정확성 및 효율성을 향상시킬 수 있다.
더욱이, 본 발명에 따르면, 상기한 바와 같이 선박의 운동정보 및 크기정보를 제공하여 레이더 영상의 판독과 운항경로 설정 및 선박간 충돌회피 설계의 정확성과 효율성을 향상시킬 수 있는 동시에, 항구에 입출항시 AIS로부터 크기정보를 알 수 없는 선박의 경우 주변에 있는 선박과의 교신을 통해 확인하는 작업이 자동으로 수행되도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법이 제공됨으로써, 기존의 레이더 장치와 결합하여 선박의 안전운항에 도움을 줄 뿐만 아니라, 무인선과 같은 자율운항 선박의 운항경로 및 항해계획 수립에 적용하여 자율운항 선박의 안정성 및 효율성을 높일 수 있다.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.
10. 선박 운동정보 및 크기정보 제공시스템
11. 레이더 이미지 학습부
12. 운동 및 크기정보 추정부
11. 레이더 이미지 학습부
12. 운동 및 크기정보 추정부
Claims (10)
- 실시간 레이더 이미지로부터 선박의 운동정보와 크기정보를 동시에 제공할 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템에 있어서,
인공지능(AI) 학습 알고리즘을 이용하여, 복수의 레이더 이미지를 수집하여 구축된 레이더 이미지 데이터베이스를 학습데이터로 이용하여 각각의 레이더 이미지에 대한 학습을 수행하는 처리가 수행되도록 이루어지는 레이더 이미지 학습부; 및
상기 인공지능(AI) 학습 알고리즘을 이용하여, 학습결과에 근거하여 실시간으로 입력되는 레이더 이미지로부터 선박의 운동정보와 크기정보를 추정하여 제공하는 처리가 수행되도록 이루어지는 운동 및 크기정보 추정부를 포함하여 구성되는 것을 특징으로 하는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템.
- 제 1항에 있어서,
상기 인공지능(AI) 학습 알고리즘은,
딥러닝(Deep Learning) 또는 머신러닝(Machine Learning) 알고리즘을 이용하여 구성되는 것을 특징으로 하는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템.
- 제 2항에 있어서,
상기 레이더 이미지 학습부는,
서로 다른 환경조건에서 탐지된 복수의 레이더 이미지를 수집하여 레이더 이미지에 대한 데이터베이스(DB)를 구축하는 데이터베이스 구축단계;
상기 데이터베이스 구축단계에서 구축된 상기 DB의 각각의 상기 레이더 이미지에 대하여 학습을 위한 전처리로서 노이즈를 제거하는 영상처리를 행하는 전처리단계;
상기 전처리단계에서 전처리가 수행된 각각의 상기 레이더 이미지에서 선박에서 반사된 영역을 추출하여 선박을 식별하는 선박식별단계; 및
상기 선박식별단계에서 식별된 선박에 대한 타선정보와 해당 레이더 이미지가 얻어진 시점의 환경에 관련된 환경정보 및 해당 레이더 장치의 설정에 관한 설정정보를 서로 연관시켜 상기 인공지능(AI) 학습 알고리즘을 통해 각각의 상기 레이더 이미지에 대한 학습이 수행되는 레이더 이미지 학습단계를 포함하는 처리가 수행되도록 구성되는 것을 특징으로 하는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템.
- 제 3항에 있어서,
상기 타선정보는 각각의 레이더 이미지에 나타난 선박의 상대거리 및 상대방위를 포함하는 상대위치정보와, 해당 선박의 종류, 형상, 레이더 반사면적(Radar Cross-Section ; RCS), 길이 및 크기에 대한 정보를 포함하는 선체정보를 포함하여 구성되고,
상기 환경정보는 기온, 습도, 강우, 강설, 조도 및 시정에 관한 정보를 포함하여 구성되며,
상기 설정정보는 레이더 장치의 최대탐지거리, 안테나 회전속도, 펄스폭, 분해능 및 게인(gain)을 포함하는 해당 레이더 장치의 하드웨어 구성 및 설정에 관한 정보를 포함하여 구성되는 것을 특징으로 하는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템.
- 제 4항에 있어서,
상기 운동 및 크기정보 추정부는,
레이더 장치를 통해 실시간으로 탐지된 레이더 이미지가 입력되면, 시간에 따라 연속으로 입력되는 각각의 레이더 이미지에 대하여 노이즈를 제거하는 전처리가 수행되는 전처리단계;
상기 전처리단계에서 전처리가 수행된 레이더 이미지로부터 선박에서 반사된 신호를 탐지하여 해당 선박의 이미지 정보를 추출하고, 이후 연속하여 입력되는 레이더 이미지의 시계열 데이터에 나타나는 시간에 따른 상대거리 및 상대방위 정보에 근거하여 해당 선박의 위치, 침로 및 속도를 포함하는 운동정보를 추정하는 운동정보 추정단계;
상기 레이더 이미지 학습부를 통해 학습된 상기 인공지능(AI) 학습 알고리즘을 이용하여, 연속하여 입력되는 각각의 레이더 이미지가 취득된 시점의 환경정보와 해당 레이더 장치의 설정정보를 반영하여 실시간으로 입력된 레이더 이미지와 일치하거나 가장 근사하게 매칭되는 이미지를 상기 학습데이터에서 검색하여 해당 선박의 크기정보를 추정하는 크기정보 추정단계; 및
상기 운동정보 추정단계 및 상기 크기정보 추정단계에서 추정된 운동정보와 크기정보에 대하여 추적필터를 이용한 필터링을 통해 노이즈 및 오차가 제거된 운동정보 및 크기정보를 출력하는 정보제공단계를 포함하는 처리가 수행되도록 구성되는 것을 특징으로 하는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템.
- 제 5항에 있어서,
상기 추적필터는,
칼만 필터(Kalman filter) 또는 파티클 필터(Particle filter)를 포함하는 필터 알고리즘을 이용하여 구성되는 것을 특징으로 하는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템.
- 제 6항에 있어서,
상기 선박 운동정보 및 크기정보 제공시스템은,
기존의 레이더 장치와 결합되어, 상기 레이더 장치를 통해 탐지되는 영상을 수신하여 상기 인공지능(AI) 학습 알고리즘을 통해 학습을 행하고, 학습결과에 근거하여 실시간으로 입력되는 레이더 영상으로부터 선박의 상대위치 및 크기정보를 추정하여 제공하는 처리가 수행되도록 구성되는 것을 특징으로 하는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템.
- 제 7항에 있어서,
상기 운동정보 및 크기정보 제공시스템은,
상기 레이더 장치 대신에, 라이다(LiDAR ; light detection and ranging)나 카메라를 포함하는 이종센서 시스템과 결합되어 실시간으로 입력되는 탐지영상으로부터 탐지대상의 운동정보 및 크기정보를 추정하여 제공하는 처리가 수행되도록 구성되는 것을 특징으로 하는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템.
- 실시간 레이더 이미지로부터 선박의 운동정보와 크기정보를 동시에 제공할 수 있도록 구성되는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공방법에 있어서,
청구항 1항 내지 청구항 8항 중 어느 한 항에 기재된 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템의 레이더 이미지 학습부를 통하여 다수의 레이더 이미지에 대한 학습을 수행하는 학습단계; 및
상기 학습단계의 학습결과에 근거하여, 상기 선박 운동정보 및 크기정보 제공시스템의 운동 및 크기정보 추정부를 통해 실시간으로 입력되는 레이더 영상으로부터 선박의 운동정보 및 크기정보를 추정하여 제공하는 처리가 수행되는 정보제공단계를 포함하여 구성되는 것을 특징으로 하는 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공방법.
- 실시간으로 탐지되는 선박에 대한 운동정보와 크기정보를 동시에 제공할 수 있도록 구성되는 레이더 시스템에 있어서,
청구항 1항 내지 청구항 8항 중 어느 한 항에 기재된 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템을 포함하여 구성되는 것을 특징으로 하는 레이더 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210032818A KR102558387B1 (ko) | 2021-03-12 | 2021-03-12 | 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210032818A KR102558387B1 (ko) | 2021-03-12 | 2021-03-12 | 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220128141A true KR20220128141A (ko) | 2022-09-20 |
| KR102558387B1 KR102558387B1 (ko) | 2023-07-24 |
Family
ID=83446745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210032818A KR102558387B1 (ko) | 2021-03-12 | 2021-03-12 | 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102558387B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115856873A (zh) * | 2022-11-15 | 2023-03-28 | 大连海事大学 | 一种岸基ais信号可信性判别模型、方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101350351B1 (ko) | 2012-07-02 | 2014-01-14 | 한국해양과학기술원 | 합성개구레이더를 이용한 소형 선박 탐지방법 |
| KR20150075505A (ko) * | 2013-12-26 | 2015-07-06 | 한국전자통신연구원 | 영상 기반 선박 주변 타선정보 제공장치 및 그 방법 |
| KR20150101748A (ko) * | 2014-02-27 | 2015-09-04 | 한국전자통신연구원 | 관제 서비스 제공 장치 및 그 방법 |
| KR101810666B1 (ko) | 2016-06-08 | 2017-12-20 | 한국과학기술원 | 레이더와 해안선 맵을 이용한 선박의 위치 측정 장치 및 방법 |
| KR20180065411A (ko) * | 2016-12-07 | 2018-06-18 | 한국해양과학기술원 | 해상객체의 자동추적 시스템 및 방법 |
| JP2020003379A (ja) * | 2018-06-29 | 2020-01-09 | 三菱重工業株式会社 | データ生成装置、画像識別装置、データ生成方法及びプログラム |
-
2021
- 2021-03-12 KR KR1020210032818A patent/KR102558387B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101350351B1 (ko) | 2012-07-02 | 2014-01-14 | 한국해양과학기술원 | 합성개구레이더를 이용한 소형 선박 탐지방법 |
| KR20150075505A (ko) * | 2013-12-26 | 2015-07-06 | 한국전자통신연구원 | 영상 기반 선박 주변 타선정보 제공장치 및 그 방법 |
| KR20150101748A (ko) * | 2014-02-27 | 2015-09-04 | 한국전자통신연구원 | 관제 서비스 제공 장치 및 그 방법 |
| KR101810666B1 (ko) | 2016-06-08 | 2017-12-20 | 한국과학기술원 | 레이더와 해안선 맵을 이용한 선박의 위치 측정 장치 및 방법 |
| KR20180065411A (ko) * | 2016-12-07 | 2018-06-18 | 한국해양과학기술원 | 해상객체의 자동추적 시스템 및 방법 |
| JP2020003379A (ja) * | 2018-06-29 | 2020-01-09 | 三菱重工業株式会社 | データ生成装置、画像識別装置、データ生成方法及びプログラム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115856873A (zh) * | 2022-11-15 | 2023-03-28 | 大连海事大学 | 一种岸基ais信号可信性判别模型、方法及装置 |
| CN115856873B (zh) * | 2022-11-15 | 2023-11-07 | 大连海事大学 | 一种岸基ais信号可信性判别模型、方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102558387B1 (ko) | 2023-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110850403B (zh) | 一种多传感器决策级融合的智能船水面目标感知识别方法 | |
| CN110414396B (zh) | 一种基于深度学习的无人艇感知融合算法 | |
| US7889232B2 (en) | Method and system for surveillance of vessels | |
| KR101334804B1 (ko) | 선박 통합모니터링을 위한 위성정보 및 선박정보의 통합방법 | |
| US11514668B2 (en) | Method and device for situation awareness | |
| US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
| CN109934891B (zh) | 一种基于无人船的水域岸线构建方法及系统 | |
| CN110580044A (zh) | 基于智能感知的无人船全自动航行异构系统 | |
| KR102466804B1 (ko) | 이미지 세그멘테이션을 이용한 자율 운항 방법 | |
| Clunie et al. | Development of a perception system for an autonomous surface vehicle using monocular camera, lidar, and marine radar | |
| Bloisi et al. | Camera based target recognition for maritime awareness | |
| EP3926364A1 (en) | Ship target object detection system, method of detecting ship target object and reliability estimating device | |
| KR20150064909A (ko) | Ais 표적정보를 이용하여 선박을 추적하는 장치 및 그 방법 | |
| KR102558387B1 (ko) | 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법 | |
| WO2020070114A1 (en) | System and method for assisting docking of a vessel | |
| US20230351764A1 (en) | Autonomous cruising system, navigational sign identifying method, and non-transitory computer-readable medium | |
| CN116486252A (zh) | 一种基于改进的pv-rcnn目标检测算法的智能化无人搜救系统和搜救方法 | |
| US20230343228A1 (en) | Information processing apparatus, information processing system, and information processing method, and program | |
| CN114445761A (zh) | 一种基于图像识别的雷康状态远程监测方法 | |
| US20230022049A1 (en) | Vessel field of awareness apparatus and method | |
| US11776250B2 (en) | Method and device for situation awareness | |
| WO2022137953A1 (ja) | 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム | |
| Wang et al. | Radar Target Tracking Coordinated Control with PTZ Cameras for Monitoring Nearshore Buoys | |
| US20230331357A1 (en) | Autonomous cruising system, navigational sign identifying method, and non-transitory computer-readable medium | |
| EP4369308A1 (en) | A multimodal fiducial marker, a heterogeneous perception apparatus and a multimodal system comprising both |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |