KR20220045762A - System for automatic recognition and monitoring of vessel using artificial intelligence image processing and method for providing the same - Google Patents
System for automatic recognition and monitoring of vessel using artificial intelligence image processing and method for providing the same Download PDFInfo
- Publication number
- KR20220045762A KR20220045762A KR1020200128794A KR20200128794A KR20220045762A KR 20220045762 A KR20220045762 A KR 20220045762A KR 1020200128794 A KR1020200128794 A KR 1020200128794A KR 20200128794 A KR20200128794 A KR 20200128794A KR 20220045762 A KR20220045762 A KR 20220045762A
- Authority
- KR
- South Korea
- Prior art keywords
- artificial intelligence
- data
- image processing
- image
- unit
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 154
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 137
- 238000012544 monitoring process Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 38
- 238000007781 pre-processing Methods 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 27
- 238000009826 distribution Methods 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000010191 image analysis Methods 0.000 claims description 5
- 238000012502 risk assessment Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 239000004568 cement Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 241000283153 Cetacea Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 229910052734 helium Inorganic materials 0.000 description 2
- 239000001307 helium Substances 0.000 description 2
- SWQJXJOGLNCZEY-UHFFFAOYSA-N helium atom Chemical compound [He] SWQJXJOGLNCZEY-UHFFFAOYSA-N 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 235000009499 Vanilla fragrans Nutrition 0.000 description 1
- 244000263375 Vanilla tahitensis Species 0.000 description 1
- 235000012036 Vanilla tahitensis Nutrition 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- B64C2201/127—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
- B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Aviation & Aerospace Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법에 관한 것으로서, 더욱 상세하게는 헬리카이트와 같은 비행체를 통해 획득한 영상으로부터 해상에 존재하는 물체를 분류 및 인공지능 영상 처리를 수행하여 찾고자 하는 대상체를 정의하고, 대상체와 배경을 분류하고, 선박들의 위치를 지속적으로 송출하는 AIS와 연계하여 대상체 추적 가능 데이터로 출력함으로써, 외부 환경 변화에 따른 영상 데이터의 품질을 높이고, 해상의 현재 상황 감시, 선박의 자동 인식 및 추적, 및 위험 상황 알림이 가능한 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법에 관한 것이다.The present invention relates to a ship automatic recognition and monitoring system using artificial intelligence image processing and a method for providing the same, and more particularly, classification of objects existing in the sea from images acquired through an air vehicle such as a helicite, and artificial intelligence image processing Defines the object to be found by performing , classifies the object and background, and outputs the object tracking data in connection with the AIS that continuously transmits the positions of ships, thereby increasing the quality of image data according to changes in the external environment, To a ship automatic recognition and monitoring system using artificial intelligence image processing capable of monitoring the current situation of the ship, automatic recognition and tracking of a ship, and notification of a dangerous situation, and a method for providing the same.
삼면이 바다인 우리나라는 많은 해양 자원을 가지고 있으며, 이러한 해양 자원을 개발 및 보호하거나 다른 산업적 또는 군사적인 활동으로 해상에는 수많은 항행 중인 선박이 존재하며, 이러한 선박들의 항공 영상을 통한 감시 및 모니터링 서비스의 수요가 계속해서 증가하고 있다. 특히 불법 조업 감시, 적조 모니터링, 해양폐기물 조사, 해양 안전관리 등, 그 응용분야도 다양화 되고 있다.Korea, which is surrounded by sea on three sides, has many marine resources, and there are numerous ships in the sea due to the development and protection of these marine resources or other industrial or military activities. Demand continues to grow. In particular, its application fields such as illegal fishing monitoring, red tide monitoring, marine waste investigation, and marine safety management are diversifying.
현재 많은 응용분야에서 비행체에 의한 감시/모니터링이 적용 및 개발되고 있으며, 그 중 드론 및 헬리카이트가 이러한 응용분야에서 널리 사용 되고 있다. 드론을 활용한 항공 촬영의 경우, 임무수행 시간이 극히 제한적이고 해풍에 의한 안정적인 운영이 불가능하다는 단점이 있다. 특히 조정 미숙이나 기체의 결함에 의한 안전상의 문제가 부각되고 있다. Currently, surveillance/monitoring by air vehicles is being applied and developed in many application fields, and among them, drones and helicites are widely used in these application fields. In the case of aerial photography using drones, there are disadvantages in that the mission execution time is extremely limited and stable operation due to the sea breeze is impossible. In particular, safety problems due to inexperienced adjustments or defects in the aircraft are being highlighted.
그 중 드론 및 헬리카이트(헬륨기구에 고성능 카메라를 장착하여 관측하는 시스템)에 의한 관측 방법은 다른 비행체에 비하여 운영시간, 설치 비용, 특히 높은 곳에서 멀리, 넓은 영역을 관측 할 수 있다는 장점을 가지고 있어 넓은 영역의 바다 위를 항행 중인 선박들의 움직임을 추적하기에 적합하다고 할 수 있다.Among them, the observation method by drone and helicite (a system that observes by attaching a high-performance camera to a helium balloon) has the advantage of being able to observe a wide area, especially from a high place, in terms of operating time and installation cost compared to other aircraft. Therefore, it can be said that it is suitable for tracking the movement of ships sailing on the sea over a wide area.
한편, 헬륨 기구를 이용하는 헬리카이트는 드론의 장점과 단점을 보완할 수 있는 관측 장비로 넓은 해상 영역을 장시간 감시 / 모니터링 하기에 적합한 관측시스템으로 현재 많은 부분에 응용되고 있다.On the other hand, helicite using a helium mechanism is an observation device that can supplement the advantages and disadvantages of drones.
불법 조업 감시, 연근해 주요 어장에 대한 적조 모니터링, 해양폐기물 조사, 대규모 해양 토목공사 현장의 진척도 관리, 고래 유람선의 고래 탐사 등 최근 항공영상(영상/열화상)을 통한 감시 및 모니터링 서비스의 수요가 급격히 증가하고 있다.Demand for surveillance and monitoring services through aerial imaging (video/thermal imaging) has rapidly increased in recent years, such as illegal fishing monitoring, red tide monitoring for major fishing grounds in the offshore area, marine waste investigation, progress management of large-scale offshore civil engineering sites, and whale exploration by whale cruise ships. is increasing
또한, 해상에서 이동하는 물체를 인식하기 위해서는 물체 영역과 배경 영역의 구분이 필요하다. 이러한 영역의 판단은 바다 위의 선박 이외에도, 섬, 부두와 같은 지형물, 바다 위에 부유하는 오염물질, 파도와 빛의 반사 등과 같은 많은 요인들이 존재하며 이런 요인들은 물체 영역의 구분을 어렵게 한다.In addition, in order to recognize an object moving in the sea, it is necessary to distinguish an object area and a background area. In addition to ships on the sea, there are many factors such as islands and piers, pollutants floating on the sea, and reflections of waves and light, etc. These factors make it difficult to distinguish object areas.
일예로 비행체가 헬리카이트인 경우, 헬리카이트의 특성상 높은 곳에서 멀리 관측하여 영상을 제공하기 때문에 다음과 같은 관측 오차를 가진다.For example, if the vehicle is a helicite, it has the following observation error because the image is provided by observing it from a high place due to the nature of the helicite.
첫 번째로, 파도나 빛의 반사와 같은 잡음이 존재한다. 이러한 오차보다 작은 스케일의 오브젝트는 관측이 불가능하다. 이는 전체 영상 크기에 대해 0.05%의 범위로 예측 된다. 두 번째로, 일출과 일몰 시간대와 같이 낮은 밝기의 영상에서 적용이 불가능하다.First, there is noise such as waves or light reflections. Objects with a scale smaller than this error cannot be observed. This is predicted to be in the range of 0.05% for the entire image size. Second, it cannot be applied to low-brightness images such as sunrise and sunset times.
이를 위해 영상의 품질 및 오차를 줄이기 위한 영상처리 기술이 필요한다.To this end, image processing technology to reduce image quality and errors is required.
한국등록특허 [10-2113955]에서는 선박 및 항만 모니터링 장치 및 방법이 개시되어 있다.Korean Patent Registration [10-2113955] discloses a vessel and port monitoring apparatus and method.
한국등록특허 [10-2066841]에서는 AIS로부터 수신한 주변 선박의 항해 정보와 전자해도로부터 추출한 항로표지, 교각, 암초 등의 해상 안전 정보를 카메라 영상에 증강현실로 보여줄 수 있게 하는 AIS 내장 소형선박용 안전항해 시스템이 개시되어 있다.In Korea Patent [10-2066841], AIS built-in safety for small ships that can show navigation information of nearby ships received from AIS and maritime safety information such as route signs, piers, and reefs extracted from electronic charts in augmented reality on camera images A navigation system is disclosed.
따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 헬리카이트와 같은 비행체를 통해 획득한 영상으로부터 해상에 존재하는 물체를 분류 및 인공지능 영상 처리를 수행하여 찾고자 하는 대상체를 정의하고, 대상체와 배경을 분류하고, 선박들의 위치를 지속적으로 송출하는 AIS와 연계하여 대상체 추적 가능 데이터로 출력함으로써, 외부 환경 변화에 따른 영상 데이터의 품질을 높이고, 해상의 현재 상황 감시, 선박의 자동 인식 및 추적, 및 위험 상황 알림이 가능한 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법을 제공하는 것이다.Accordingly, the present invention has been devised to solve the above problems, and an object of the present invention is to classify an object existing in the sea from an image obtained through an air vehicle such as a helicite and perform artificial intelligence image processing to find it By defining the object to be used, classifying the object and the background, and outputting the object tracking data in connection with the AIS that continuously transmits the positions of ships, the quality of image data according to changes in the external environment is improved, and the current situation of the sea is monitored , to provide an automatic ship recognition and monitoring system using artificial intelligence image processing capable of automatic recognition and tracking of ships, and notification of dangerous situations, and a method for providing the same.
본 발명의 실 시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The purpose of the embodiments of the present invention is not limited to the above-mentioned purpose, and other objects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. .
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템은, 영상획득수단 및 통신수단을 구비한 비행체(200); 상기 비행체로부터 영상 데이터를 전달받아 인공지능 영상 처리를 수행하고 선박들의 위치 정보를 지속적으로 송출하는 자동식별장치(AIS)와 연계함으로써, 해상의 상황을 인식 및 추적하기 위한 분석서버(100); 및 상기 분석서버로부터 전달받은 데이터를 출력하여 실시간으로 상기 해상의 상황을 모니터링하도록 해주는 단말기(700, 800)를 포함하고,A ship automatic recognition and monitoring system using artificial intelligence image processing according to an embodiment of the present invention for achieving the above object includes an
상기 분석서버(100)는, 상기 영상 데이터 및 상기 선박들의 위치 정보를 수신하고, 인공지능 영상 분석에 따른 알람 데이터를 상기 단말기로 전달하기 위한 송수신부(101); 상기 영상 데이터의 전처리를 수행하기 위한 영상 전처리부(103); 상기 전달받은 영상 데이터에서 찾고자 하는 대상체를 정의하고, 상기 대상체와 배경을 분류하고, 인공지능 신경망을 이용하여 데이터를 처리하여 대상체 대상체 추적 가능 데이터 형태를 출력하기 위한 인공지능 영상처리부(105); 대상체에 관한 데이터, 상기 전달받은 영상데이터, 위치 데이터, 전처리를 위한 데이터, 상기 인공지능 영상처리부에서 사용되는 알고리즘, 및 학습 데이터를 저장하고 있는 데이터베이스(104); 및 상기 송수신부, 상기 영상 전처리부, 상기 인공지능 영상처리부, 및 상기 데이터베이스 간의 데이터 흐름을 제어하고, 상기 대상체의 위치 추적 및 모니터링을 수행하기 위한 제어부(102)를 포함하는 것을 특징으로 한다.The
상기 영상 전처리부(103)는, 대비도를 이용하여 상기 영상 데이터의 품질을 개선하기 위한 대비 조정부(301); 비선형 전달함수를 이용하여 상기 영상 데이터의 품질을 개선하기 위한 감마 보정부(302); 보정된 영상 데이터의 잡음을 제거하기 위한 중간값 필터링부(303); 기설정된 제1주파수보다 높은 주파수 성분을 제거하기 위한 저주파 통과 필터링부(304); 기설정된 제2주파수보다 높은 주파수 성분을 통과시키는 고주파 통과 필터링부(305); 및 상기 자동식별장치(AIS)로부터 위치 데이터를 전달받아 상기 영상 데이터의 위치를 결정하여 위치 추적 가능 데이터로 출력하기 위한 위치 결정부(306)를 포함하는 것을 특징으로 한다.The image preprocessing
상기 인공지능 영상처리부(105)는, 상기 전처리된 영상 데이터의 모든 픽셀을 해당하는 클래스로 분류하여 세그멘테이션 맵으로 출력하기 위한 시멘틱 세그멘테이션 처리부(601); 입력 영상의 확률분포 및 분산을 계산하기 위한 확률분포 및 분산 계산부(602); 랜덤 변수(노이즈)를 입력받아 상기 계산한 확률분포 및 분산을 이용하여 트레이닝 세트를 생성하기 위한 생성자(603); 상기 생성자의 목적함수를 수정하기 위한 목적함수 수정부(604); 상기 생성자가 생성한 트레이닝 세트에 대하여 참 또는 거짓을 판단하여 출력하기 위한 판별자(606); 상기 생성자의 학습 이전에 상기 판별자를 임의의 횟수 번 학습을 제공하기 위한 사전 판별자 학습제공부(605); 하드웨어적인 한계에 대응하여 인공지능 영상처리를 위한 배치 사이즈를 결정하기 위한 배치 사이즈 결정부(607); 및 상기 결정된 배치 사이즈에 따라 인공지능 영상 처리를 위해 상기 생성자와 판별자에게 학습을 제공하기 위한 학습부(608)를 포함하는 것을 특징으로 한다.The artificial intelligence
상기 생성자는, 유넷(U-NET) 인코더/디코더 모델을 사용한 것을 특징으로 하고, 상기 판별자는, 패치GAN(Patch GAN) 판별자를 사용한 것을 특징으로 하고, 상기 목적함수 수정부는, 상기 생성자의 목적함수에 표준(norm)값을 기설정된 변수만큼 영향을 더하는 방식으로 상기 목적함수를 수정하는 것을 특징으로 하고, 상기 배치 사이즈 결정부는, 배치 사이즈를 감소시키는 경우 그룹정규화를 사용하는 것을 특징으로 한다.The generator is characterized in that it uses a U-NET encoder/decoder model, the discriminator uses a Patch GAN discriminator, and the objective function correction unit includes the objective function of the generator It is characterized in that the objective function is modified in such a way that the influence of a norm value is added as much as a preset variable, and the batch size determining unit uses group normalization when reducing the batch size.
상기 생성자 및 상기 판별자는, 픽스2픽스(Pix2Pix)모델을 사용하여 구성하되, 상기 픽스2픽스모델에서 상기 생성자는, 7개의 다운샘플링층 및 7개의 업샘플링층을 포함하여 구성되며, 다운샘플링과 업셈플링의 공간 데이터 손실을 최소화하기 위한 6개의 스킵 커넥션(Skip Connection) 층을 추가로 포함하고, 상기 픽스2픽스모델에서 상기 판별자는, 입력이미지와 출력이미지를 입력받아 두 데이터를 연관시킨 값을 4개의 다운샘플링층을 이용하여 (30,30,1)의 결과로 출력하고, 상기 출력이미지를 (30x30) 사이즈로 나누어 각 부분의 진위 판별 결과를 출력하는 것을 특징으로 한다.The generator and the discriminator are configured using a Pix2Pix model, wherein the generator in the Pix2Pix model includes 7 downsampling layers and 7 upsampling layers, and downsampling and It further includes 6 skip connection layers to minimize spatial data loss of upsampling, and in the
상기 분석서버(100)는, 상기 비행체로부터 획득한 영상 데이터의 오차를 처리하기 위한 오차 처리부(106); 및 대상체들의 이동경로를 파악하여 각 대상체의 위험도를 평가하기 위한 위험도 평가부(107)를 더 포함하고, 상기 오차 처리부(106)는, 상기 영상 데이터로부터 배경을 제거하여 대상체가 존재하는 영역으로 정의하기 위한 배경 제거부(1701); 현재 시각에서 인식된 대상체가 그전에 일정한 시간의 범위 내에서 같은 대상체로 인식되는 정도를 평가하기 위한 유사도 평가부(1702); 인식된 대상체가 시간에 따라 위치 및 변위량의 연속성을 유지하는지를 판단하기 위한 연속성 판단부(1703); 및 상기 유사도 평가부의 평가 결과 및 상기 연속성 판단부의 판단 결과에 따라 오차를 보정하기 위한 오차 보정부(1704)를 포함하는 것을 특징으로 한다.The
또한, 상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법은, 영상획득수단 및 통신수단을 구비한 비행체로부터 획득한 영상 데이터를 전달받는 영상데이터획득단계(S1910); 상기 획득한 영상 데이터의 전처리를 수행하고, 위치 추적 가능 데이터를 생성하기 위한 영상전처리단계(S1920); 상기 전처리된 영상 데이터에 대하여 인공지능 신경망을 이용한 분류, 학습 및 판단을 포함하는 인공지능 영상처리를 수행하는 인공지능영상처리단계(S1930); 상기 위치 추적 가능 데이터 및 인공지능 영상처리에 따라 대상체를 인식하는 대상체인식단계(S1940); 및 해상에 위치한 대상체들의 위치 및 상태를 모니터링하는 관리단계(S1970)를 포함한다.In addition, in the method for providing automatic vessel recognition and monitoring using artificial intelligence image processing according to an embodiment of the present invention for achieving the above object, image data obtained from an aircraft having an image acquisition means and a communication means are obtained. The received image data acquisition step (S1910); an image pre-processing step (S1920) for performing pre-processing of the obtained image data and generating location-trackable data; An artificial intelligence image processing step (S1930) of performing artificial intelligence image processing including classification, learning and judgment using an artificial intelligence neural network on the preprocessed image data; an object recognition step of recognizing an object according to the location-trackable data and artificial intelligence image processing (S1940); and a management step (S1970) of monitoring the location and status of objects located in the sea.
상기 영상전처리단계(S1920)는, 대비도를 이용하여 상기 영상 데이터의 품질을 개선하는 대비조정단계(S2010); 비선형 전달함수를 이용하여 상기 영상 데이터의 품질을 개선하는 감마보정단계(S2020); 보정된 영상 데이터의 잡음을 제거하는 중간값필터링단계(S2030); 기설정된 제1주파수보다 높은 주파수 성분을 제거하는 저주파통과필터링단계(S2040); 기설정된 제2주파수보다 높은 주파수 성분을 통과시키는 고주파통과필터링단계(S2050); 및 자동식별장치(AIS)로부터 위치 데이터를 전달받아 상기 대상체의 위치를 결정하여 위치 추적 가능 데이터로 출력하는 대상체위치결정단계(S2060)를 포함하는 것을 특징으로 한다.The image pre-processing step (S1920) includes: a contrast adjustment step (S2010) of improving the quality of the image data using a contrast degree; a gamma correction step of improving the quality of the image data using a nonlinear transfer function (S2020); a median value filtering step of removing noise from the corrected image data (S2030); a low-pass filtering step of removing a frequency component higher than a preset first frequency (S2040); A high-pass filtering step of passing a frequency component higher than a preset second frequency (S2050); and an object positioning step (S2060) of receiving location data from an automatic identification device (AIS), determining the location of the object, and outputting it as location tracking data.
상기 인공지능영상처리단계(S1930)는, 상기 전처리된 영상 데이터의 모든 픽셀을 해당하는 클래스로 분류하여 세그멘테이션 맵으로 출력하는 시멘틱세그멘테이션단계(S2110); 입력 영상의 확률분포 및 분산을 계산하는 확률분포및분산계산단계(S2120); 랜덤 변수(노이즈)를 입력받아 상기 계산한 확률분포 및 분산을 이용하여 트레이닝 세트를 생성하는 트레이닝세트생성단계(S2130); 생성자의 목적함수를 수정하는 목적함수수정단계(S2140); 상기 생성자의 학습 이전에 판별자에게 임의의 횟수 번 학습을 제공하는 사전 판별자 학습제공단계(S2150); 상기 트레이닝세트생성단계에서 생성된 트레이니 세트에 대하여 참 또는 거짓을 판단한 판별 결과를 출력하는 판별단계(S2160); 하드웨어적인 한계에 대응하여 배치사이즈를 결정하는 배치사이즈결정단계(S2170); 및 영상 데이터에 대하여 상기 결정된 배치사이즈 크기로 학습하는 학습단계(S2180)를 포함하는 것을 특징으로 한다.The artificial intelligence image processing step (S1930) includes: a semantic segmentation step (S2110) of classifying all pixels of the preprocessed image data into a corresponding class and outputting them as a segmentation map; a probability distribution and variance calculation step of calculating the probability distribution and variance of the input image (S2120); a training set generating step (S2130) of receiving a random variable (noise) and generating a training set using the calculated probability distribution and variance; objective function modification step of modifying the objective function of the generator (S2140); A pre-discriminator learning providing step (S2150) of providing learning an arbitrary number of times to the discriminator before the generator's learning; A determination step (S2160) of outputting a determination result of determining true or false with respect to the training set generated in the training set generation step (S2160); a batch size determination step of determining a batch size in response to a hardware limitation (S2170); and a learning step (S2180) of learning the image data with the determined batch size.
상기 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법은, 상기 비행체로부터 획득한 영상 데이터의 오차를 처리하는 오차처리단계(S1950); 및 대상체들의 이동경로를 파악하여 각 대상체의 위험도를 평가하는 위험도평가단계(S1960)를 더 포함하는 것을 특징으로 하고, 상기 오차처리단계(S1960)는, 상기 영상 데이터로부터 배경을 제거하여 대상체가 존재하는 영역으로 정의하는 배경제거단계; 현재 시각에서 인식된 대상체가 그전에 일정한 시간의 범위 내에서 같은 물체로 인식되는 정도를 평가하는 유사도평가단계; 인식된 대상체가 시간에 따라 위치 및 변위량의 연속성을 유지하는지를 판단하는 연속성판단단계; 및 상기 유사도평가단계의 평가 결과 및 상기 연속성판단단계의 판단 결과에 따라 오차를 보정하는 오차보정단계를 포함하는 것을 특징으로 한다.The method for providing automatic vessel recognition and monitoring using the artificial intelligence image processing includes an error processing step (S1950) of processing an error of image data obtained from the vehicle; and a risk assessment step (S1960) of evaluating the risk of each object by identifying the movement paths of the objects, wherein the error processing step (S1960) includes removing the background from the image data so that the object exists a background removal step of defining an area to a similarity evaluation step of evaluating the degree to which an object recognized at the current time is recognized as the same object within a predetermined time range; a continuity determination step of determining whether the recognized object maintains continuity of position and displacement over time; and an error correction step of correcting an error according to the evaluation result of the similarity evaluation step and the determination result of the continuity determination step.
또한, 본 발명의 일 실시예에 따르면, 상기 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체가 제공되는 것을 특징으로 한다.In addition, according to an embodiment of the present invention, a computer-readable recording medium storing a program for implementing the method for providing automatic vessel recognition and monitoring using the artificial intelligence image processing is provided.
아울러, 본 발명의 일 실시예에 따르면, 상기 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법을 구현하기 위해, 컴퓨터 판독 가능한 기록매체에 저장된 프로그램이 제공되는 것을 특징으로 한다.In addition, according to an embodiment of the present invention, in order to implement the automatic vessel recognition and monitoring providing method using the artificial intelligence image processing, a program stored in a computer-readable recording medium is provided.
본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법에 의하면, 헬리카이트와 같은 비행체를 통해 획득한 영상으로부터 해상에 존재하는 물체를 분류 및 인공지능 영상 처리를 수행하여 찾고자 하는 대상체를 정의하고, 대상체와 배경을 분류하고, 선박들의 위치를 지속적으로 송출하는 AIS와 연계하여 대상체 추적 가능 데이터로 출력함으로써, 외부 환경 변화에 따른 영상 데이터의 품질을 높이고, 해상의 현재 상황 감시, 선박의 자동 인식 및 추적, 및 위험 상황 알림이 가능한 효과가 있다.According to the automatic ship recognition and monitoring system using artificial intelligence image processing according to an embodiment of the present invention and a method for providing the same, objects existing in the sea are classified and artificial intelligence image processing from images acquired through an air vehicle such as a helicite Defines the object to be found by performing , classifies the object and background, and outputs the object tracking data in connection with the AIS that continuously transmits the positions of ships, thereby increasing the quality of image data according to changes in the external environment, Monitoring of the current situation, automatic recognition and tracking of ships, and notification of dangerous situations are possible.
또한, 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법에 의하면, 비행체로부터 얻어진 영상 데이터에 대한 카메라의 관측 영역 변경, 조명, 태양광, 파도, 배경 물체의 이동 등과 같은 외부 환경 변화를 줄이는 전처리 과정을 수행함으로써, 인공지능 영상 분석시 분석 오차가 발생할 확률이 줄어들어, 조금 더 정확한 분석 결과를 제공할 수 있는 효과가 있다.In addition, according to the automatic vessel recognition and monitoring system using artificial intelligence image processing and the method for providing the same according to an embodiment of the present invention, change the observation area of the camera for the image data obtained from the vehicle, lighting, sunlight, waves, background By performing a pre-processing process that reduces external environmental changes such as movement of objects, the probability of an analysis error occurring during AI image analysis is reduced, thereby providing more accurate analysis results.
또, 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법에 의하면, 헬리카이트에 장착된 카메라로부터 얻어진 해양 영상을 분석하여, 주어진 영상으로부터 움직이는 물체를 인식하고, 움직이는 물체의 위치를 파악하고, 추적하여, 대상체의 운동을 예상하여, 항행의 충돌 위험을 판별하고, 위험을 인지 할 수 있도록 정보를 제공함으로써, 충돌과 같은 위험을 예방하는 효과가 있다.In addition, according to the automatic vessel recognition and monitoring system using artificial intelligence image processing and the method for providing the same according to an embodiment of the present invention, a moving object is recognized from a given image by analyzing the marine image obtained from a camera mounted on a helicite. And, by identifying and tracking the location of a moving object, predicting the movement of the object, determining the collision risk of navigation, and providing information to recognize the risk, there is an effect of preventing a risk such as a collision.
도 1은 본 발명이 적용되는 전체 시스템의 개념도.
도 2는 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템의 구성도.
도 3은 도 2의 영상 전처리부의 상세 구성도.
도 4는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 대비도 조정에 의한 영상 품질 개선을 보여주는 사진들.
도 5는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 감마 보정에 의한 영상 품질 개선을 보여주는 사진들.
도 6은 도 2의 인공지능 영상처리부의 상세 구성도.
도 7은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 시멘트 세그멘테이션을 설명하기 위한 도면.
도 8은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 GAN을 설명하기 위한 도면.
도 9는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 유-넷(U-NET)을 설명하기 위한 도면.
도 10은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 패치GAN을 설명하기 위한 도면.
도 11a는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 픽스2픽스 모델의 생성자에 대한 설명도.
도 11a는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 픽스2픽스 모델의 판별자에 대한 설명도.
도 12는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 배치사이즈에 따른 성능을 설명하기 위한 도면.
도 13은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 스킵 레이어에 대한 설명도.
도 14는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 인공지능 영상처리에 따른 결과 이미지.
도 15는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 인공지능 영상처리에 적용한 파라미터들에 대한 설명도.
도 16은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용한 픽스2픽스 모델의 테스트 결과를 나타내는 도면.
도 17은 도 2의 오차 처리부의 상세 구성도.
도 18은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 연속성 판단 방법에 대한 설명도.
도 19는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법의 일실시예 흐름도.
도 20은 도 19의 영상전처리단계의 상세 흐름도.
도 21은 도 19의 인공지능영상처리단계의 상세 흐름도.1 is a conceptual diagram of an entire system to which the present invention is applied.
2 is a configuration diagram of a vessel automatic recognition and monitoring system using artificial intelligence image processing according to an embodiment of the present invention.
3 is a detailed configuration diagram of the image preprocessor of FIG. 2 .
4 is a picture showing image quality improvement by contrast adjustment in the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
5 is a picture showing image quality improvement by gamma correction in the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
6 is a detailed configuration diagram of the artificial intelligence image processing unit of FIG. 2 .
7 is a view for explaining cement segmentation applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
8 is a view for explaining a GAN applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
9 is a view for explaining a U-NET applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
10 is a view for explaining a patch GAN applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
11A is an explanatory view of a generator of a
11A is an explanatory diagram of a discriminator of a
12 is a view for explaining the performance according to the batch size applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
13 is an explanatory diagram of a skip layer applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention;
14 is a result image according to artificial intelligence image processing in the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
15 is an explanatory diagram of parameters applied to artificial intelligence image processing in the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention;
16 is a view showing test results of the
17 is a detailed configuration diagram of the error processing unit of FIG. 2 .
18 is an explanatory diagram of a continuity determination method applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
19 is a flowchart of an embodiment of a method for providing automatic vessel recognition and monitoring using artificial intelligence image processing according to the present invention.
20 is a detailed flowchart of the image pre-processing step of FIG. 19;
21 is a detailed flowchart of the artificial intelligence image processing step of FIG.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When an element is referred to as being “connected” or “connected” to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in between. it should be
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate that a feature, number, process, operation, component, part, or a combination thereof described in the specification exists, but one or more other features It is to be understood that this does not preclude the existence or addition of numbers, processes, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings. Prior to this, the terms or words used in the present specification and claims should not be construed as being limited to conventional or dictionary meanings, and the inventor should properly understand the concept of the term in order to best describe his invention. Based on the principle that can be defined, it should be interpreted as meaning and concept consistent with the technical idea of the present invention. In addition, if there is no other definition in the technical terms and scientific terms used, it has the meaning commonly understood by those of ordinary skill in the art to which this invention belongs, and the summary of the present invention in the following description and accompanying drawings Descriptions of known functions and configurations that may be unnecessarily obscure will be omitted. The drawings introduced below are provided as examples so that the spirit of the present invention can be sufficiently conveyed to those skilled in the art. Accordingly, the present invention is not limited to the drawings presented below and may be embodied in other forms. Also, like reference numerals refer to like elements throughout. It should be noted that the same components in the drawings are denoted by the same reference numerals wherever possible.
설명에 앞서, 본 명세서( 및 특허청구범위)에서 사용되는 용어에 대해 간단히 설명하도록 한다.Before the description, terms used in the present specification (and claims) will be briefly described.
선박자동식별장치(AIS)는 항구 및 연안에서의 충돌방지와 해상교통관리를 효과적으로 하기 위하여, 선박이름 및 종류, 위치정보, 진행속도, 진행방향, 항해와 관련된 정보 등을 국제적으로 규정된 초단파주파수(VHF) 회선을 통하여 주기적으로 송수신하고, 육상 및 다른 선박과 정보 및 관련 데이터를 자동으로 교환하는 장치를 말한다.In order to prevent collisions in ports and coasts and to manage maritime traffic effectively, the Automatic Ship Identification System (AIS) uses internationally regulated ultra-short frequency information such as ship name and type, location information, speed, direction, and navigation. (VHF) It is a device that periodically transmits and receives information and automatically exchanges information and related data with land and other ships through the line.
본 발명은 비행체에서 얻은 영상을 이용하여 해상에서 존재하는 여러 가지 물체에 대한 구분하고 정의할 수 있는 인공지능 영상 분석 알고리즘 개발에 관한 것이다. 이를 위해, 해상에 존재하는 여러 가지 형상에 대하여 - 선박과 같은 부유물, 바다, 하늘, 섬, 항만과 같은 배경 - 이를 정의하고 대상체와 배경을 분류에 필요한 데이터 제작 및 학습과 검증에 필요한 여러 가지 중요 인자들을 정의하고, 이를 이용하여 알고리즘의 개발 및 성능 개선 등에 필요한 사항 등을 정의한다.The present invention relates to the development of an artificial intelligence image analysis algorithm that can classify and define various objects existing in the sea using images obtained from a flying vehicle. To this end, for various shapes existing in the sea - floating objects such as ships, backgrounds such as sea, sky, islands, and harbors - various important factors necessary for data production, learning and verification necessary for defining and classifying objects and backgrounds It defines the factors, and uses them to define matters necessary for algorithm development and performance improvement.
본 발명은 헬리카이트와 같은 비행체로부터 얻어진 영상에서 찾고자 하는 대상체를 정의하고, 인공지능 신경망을 이용하여 상기 영상에서 배경을 삭제하여 대상체가 존재하는 영역으로 구분한다.The present invention defines an object to be found in an image obtained from a flying object such as a helicite, and uses an artificial intelligence neural network to remove the background from the image to divide the object into regions in which the object exists.
또한, 본 발명은 비행체로 계측되는 실제 관측 영상을 분석하고, 인공지능 신경망에서 활용 가능한 데이터로 제작하는 작업을 수행하고, 최적의 인공 신경망을 설계하고, 제작된 데이터를 이용하여 설계된 신경망을 학습하고, 검증을 수행한다.In addition, the present invention analyzes the actual observation image measured by the aircraft, performs the work of producing data usable in the artificial intelligence neural network, designs the optimal artificial neural network, learns the designed neural network using the produced data, and , and perform verification.
즉, 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템은 인공지능 영상처리 알고리즘을 이용하여 선박 인식 및 추적 정보를 제공하는 것을 특징으로 한다.That is, the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention is characterized in that it provides vessel recognition and tracking information using an artificial intelligence image processing algorithm.
도 1은 본 발명이 적용되는 전체 시스템의 개념도이고, 도 2는 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템의 구성도이다.1 is a conceptual diagram of an entire system to which the present invention is applied, and FIG. 2 is a configuration diagram of a vessel automatic recognition and monitoring system using artificial intelligence image processing according to an embodiment of the present invention.
도 1을 참고하면, 본 발명이 적용되는 전체 시스템은 비행체(200), 상기 비행체(200)로부터 해상의 선박들(300,400)의 영상을 촬영한 영상 데이터를 전달받아 인공지능 영상 처리를 수행하는 분석서버(100), 및 상기 분석서버로부터 전달받은 데이터를 출력하여 실시간으로 상기 해상의 상황을 모니터링하도록 해주는 관제센터(500)를 포함한다.Referring to FIG. 1, the entire system to which the present invention is applied receives image data obtained by photographing images of
도 2를 참고하면, 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템은, 비행체(200), 분석서버(100), 자동식별장치(600), 관리자 단말기(700), 및 사용자 단말기(800)를 포함한다.Referring to FIG. 2 , the automatic vessel recognition and monitoring system using artificial intelligence image processing according to an embodiment of the present invention includes an
상기 비행체(200)는 영상획득수단 및 통신수단을 구비하며, 해상에서 상기 영상획득수단을 통해 획득한 영상데이터를 상기 통신수단을 통해 상기 분석서버(100)로 전송한다.The
상기 분석서버(100)는, 상기 비행체(200)로부터 영상 데이터를 전달받아 전처리 및 인공지능 영상 처리를 수행하고 선박들의 위치 정보를 지속적으로 송출하는 자동식별장치(AIS)(600)와 연계함으로써, 해상의 상황을 인식 및 모니터링가능하다.The
상기 분석서버(100)는 알림 상황이 있는 경우 관리자 단말기(700) 또는 사용자 단말기(800)에게 알림 메시지 또는 알림 데이터를 전송한다.The
상기 분석서버(100)는, 송수신부(101), 영상 전처리부(103), 인공지는 영상처리부(105), 데이터베이스(104) 및 제어부(102) 등을 포함한다.The
상기 송수신부(101)는 상기 영상 데이터 및 상기 선박들의 위치 정보를 수신하고, 인공지능 영상 분석에 따른 알림 메시지 또는 알림 데이터를 관리자 단말기(700) 또는 사용자 단말기(800)로 전달한다.The
상기 영상 전처리부(103)는 상기 영상 데이터의 전처리를 수행한다. 상기 영상 전처리부(103)는 상기 비행체(200)로부터 전달받은 영상 데이터의 전처리를 수행한다. 본 발명에 따른 이러한 처리 과정은 후술하기로 한다.The
상기 인공지능 영상처리부(105)는 상기 전달받은 영상 데이터에서 찾고자 하는 대상체를 정의하고, 상기 대상체와 배경을 분류하고, 인공지능 신경망을 이용하여 데이터를 처리하여 대상체 추적 가능 데이터 형태로 출력한다.The artificial intelligence
상기 데이터베이스(104)는 대상체에 관한 데이터, 상기 전달받은 영상데이터, 위치 데이터, 전처리를 위한 데이터, 상기 인공지능 영상처리부(105)에서 사용되는 알고리즘, 및 학습 데이터 등을 저장한다.The
상기 제어부(102)는 상기 송수신부(101), 상기 영상 전처리부(103), 상기 인공지능 영상처리부(105), 및 상기 데이터베이스(104) 간의 데이터의 흐름을 제어하고, 상기 대상체의 위치 추적 및 모니터링을 수행한다.The
상기 송수신부(101), 상기 제어부(102), 상기 영상전처리부(103), 상기 데이터베이스 관리부(104) 및 상기 인공지능 영상처리부(105)는 그 중 적어도 일부가 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.The
여기서, 통신 네트워크는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 발명에서 말하는 통신 네트워크는 공지의 월드와이드웹(WWW; World Wide Web)일 수 있다.Here, the communication network may be configured regardless of its communication mode, such as wired and wireless, and includes a local area network (LAN), a metropolitan area network (MAN), and a wide area network (WAN). It may be composed of various communication networks such as Preferably, the communication network referred to in the present invention may be a well-known World Wide Web (WWW; World Wide Web).
상기 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템은 통신 네트워크를 통하여 상기 관리자 단말기(700) 및 상기 사용자 단말기(800)와 통신하며, 단말기(700, 800)로/으로부터 선박 인식 및 모니터링 정보 제공에 필요한 데이터를 전송/수신한다.The automatic vessel recognition and monitoring system using the artificial intelligence image processing communicates with the
상기 단말기(700, 800)는 해상 상태 모니터링에 관심을 가진 자가 통신 네트워크를 통하여 상기 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터, 노트북 컴퓨터 등), 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 단말기(700, 800)로서 채택될 수 있다.The
상기 데이터베이스 관리부(104)는, 미리 정의된 대상체에 대한 정보를 저장하고 있는 대상체 데이터베이스(104a), 비행체(200)로부터 전달받은 영상 데이터를 저장하고 있는 영상 데이터 데이터베이스(104b), 상기 자동식별장치(600)로부터 전달받은 위치 데이터를 저장하고 있는 위치 데이터 데이터베이스(104c), 영상의 전처리를 위한 데이터 및 알고리즘을 저장하고 있는 전처리 데이터 데이터베이스(104d), 인공지능 알고리즘을 저장하고 있는 인공지능 알고리즘 데이터베이스(104e), 및 학습 데이터를 저장하고 있는 학습 데이터 데이터베이스(104f) 등을 포함할 수 있다.The
상기 실시예에서는, 본 발명의 구현을 위한 정보를 저장하는 데이터베이스를대상체 데이터베이스(104a), 영상 데이터 데이터베이스(104b), 위치 데이터 데이터베이스(104c), 전처리 데이터 데이터베이스(104d), 인공지능 알고리즘 데이터베이스(104e) 및 학습 데이터 데이터베이스(104f)의 어섯 가지 데이터베이스로 분류하였지만, 이러한 분류를 포함한 데이터베이스의 구성은 당업자의 필요에 따라 변경될 수 있다.In the above embodiment, the database for storing information for the implementation of the present invention is an
한편, 본 발명에 있어서, 데이터베이스란, 협의의 데이터베이스뿐만 아니라, 컴퓨터 파일 시스템에 기반을 둔 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스까지 포함하는 개념으로서, 단순한 연산 처리 로그의 집합이라도 이를 검색하여 소정의 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스에 포함될 수 있음이 이해되어야 한다.Meanwhile, in the present invention, a database is a concept that includes not only a narrow database but also a database in a broad sense including data records based on a computer file system. It should be understood that if the data of the data can be extracted, it can be included in the database according to the present invention.
한편, 상기 분석서버(100)는, 상기 비행체(200)로부터 획득한 영상 데이터의 오차를 처리하기 위한 오차 처리부(106), 및 대상체들의 이동경로를 파악하여 각 대상체의 위험도를 평가하기 위한 위험도 평가부(107)를 더 포함한다.On the other hand, the
도 3은 도 2의 영상 전처리부의 상세 구성도이다.3 is a detailed configuration diagram of the image preprocessor of FIG. 2 .
도 3에 도시된 바와 같이, 도 2의 영상 전처리부(103)는, 대비 조정부(301), 감마 보정부(302), 중간값 필터링부(303), 저주파 통과 필터링부(304), 고주파 통과 필터링부(305), 및 위치 결정부(306)를 포함한다.As shown in FIG. 3 , the
상기 대비 조정부(301)는 대비도를 이용하여 상기 영상 데이터의 품질을 개선한다.The
상기 감마 보정부(302)는 비선형 전달함수를 이용하여 상기 영상 데이터의 품질을 개선한다.The
상기 중간값 필터링부(303)는 보정된 영상 데이터의 잡음을 제거한다.The intermediate
중간값 필터는 영상처리 분야에서 가장 많이 사용되는 잡음제거 필터로, 이웃하는 화소들의 영상값을 순차적으로 나열하였을 때 중간에 위치하는 값과 픽셀값을 비교하여, 오차를 판단하고, 오차일 경우 중간값을 이용하여 잡음을 제거하는 방법이다.The median value filter is the most used noise removal filter in the image processing field. When the image values of neighboring pixels are sequentially arranged, the median value filter compares the pixel value with the value located in the middle to determine the error. This is a method of removing noise using values.
상기 저주파 통과 필터링부(304)는 기설정된 제1주파수보다 높은 주파수 성분을 제거한다.The low-
상기 고주파 통과 필터링부(305)는 기설정된 제2주파수보다 높은 주파수 성분을 통과시킨다.The high-
상기 위치 결정부(306)는 자동식별장치(AIS)(600)로부터 위치 데이터를 전달받아 상기 영상 데이터의 위치를 결정하여 위치 추적 가능 데이터로 출력한다.The
도 3에서는 입력되는 영상 데이터가 모든 구성요소에서 전처리되는 것을 예로 들었으나, 본 발명이 이에 한정되는 것은 아니며, 입력된 영상 데이터의 특징에 따라 처리가 필요한 구성요소에서만 전처리되는 것 역시 가능하다.In FIG. 3, it is exemplified that input image data is pre-processed in all components, but the present invention is not limited thereto, and it is also possible to pre-process only the components that require processing according to the characteristics of the input image data.
도 4는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 대비도 조정에 의한 영상 품질 개선을 보여주는 사진들이다.4 is a photograph showing image quality improvement by contrast adjustment in the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
대비조정은 물체를 다른 물체와 구별할 수 있도록 시각적인 특성 차이를 조정하는 것을 말한다. 즉, 대비도를 증가시키면 보다 선명하게 배경과 대상체 영역을 구분할 수 있게 된다. Contrast adjustment refers to adjusting for differences in visual characteristics so that an object can be distinguished from other objects. That is, if the contrast is increased, the background and the object region can be more clearly distinguished.
하기 [수학식 1]은, 대비도(constrast)를 나타내는 식으로, c는 색상의 밝기를 의미한다.The following [Equation 1] is an expression representing a contrast, where c means the brightness of a color.
[수학식 1][Equation 1]
즉, 주어진 색상의 표현 영역을 조절하여, 전체 영상의 대비도를 증가시킬 수 있으며, 도 4의 (a)는 대비도 조정 전의 사진이고, (b)는 대비도를 증가시킨 후의 사진이다. 안개 낀 영상에서 항만과 선박의 형상이 좀 더 명확하게 보이는 것을 알 수 있다.That is, by adjusting the expression area of a given color, the contrast of the entire image can be increased, and FIG. 4 (a) is a picture before the contrast adjustment, and (b) is a picture after increasing the contrast. It can be seen that the shape of the harbor and the ship is more clearly seen in the foggy image.
도 5는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 감마 보정에 의한 영상 품질 개선을 보여주는 사진들이다.5 is a photograph showing image quality improvement by gamma correction in the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
감마 보정은 비선형 전달 함수를 사용하여 카메라나 그래픽의 영상을 개선하는 방법으로, 영상 전체를 밝게 하거나, 어둡게 하여 영상을 개선한다.Gamma correction is a method of improving an image of a camera or graphic by using a nonlinear transfer function, and improves the image by brightening or darkening the entire image.
도 5의 (a)는 감마 보정 전의 사진이고, (b)는 감마 보정 후의 사진이다. 도5는 감마 보정의 일예로써, 전체 영상이 어두운 방향으로 변경되었음을 알 수 있다.5 (a) is a photograph before gamma correction, and (b) is a photograph after gamma correction. 5 shows an example of gamma correction, it can be seen that the entire image is changed to a dark direction.
도 6은 도 2의 인공지능 영상처리부의 상세 구성도이다.6 is a detailed configuration diagram of the artificial intelligence image processing unit of FIG. 2 .
도 6에 도시되 바와 같이, 도 2의 인공지능 영상처리부(105)는, 시멘틱 세그멘테이션 처리부(601), 확률분포 및 분산 계산부(602), 생성자(603), 목적함수 수정부(604), 판별자(606), 사전 판별자 학습제공부(605), 배치 사이즈 결정부(607), 및 학습부(608)를 포함한다.As shown in FIG. 6 , the artificial intelligence
상기 시멘틱 세그멘테이션 처리부(601)는 상기 전처리된 영상 데이터의 모든 픽셀을 해당하는 클래스로 분류하여 세그멘테이션 맵으로 출력한다.The semantic
상기 확률분포 및 분산 계산부(602)는 입력 영상의 확률분포 및 분산을 계산한다.The probability distribution and
상기 생성자(603)는 랜덤 변수(노이즈)를 입력받아 상기 상기 확률분포 및 분산 계산부(602)에서 계산한 확률분포 및 분산을 이용하여 트레이닝 세트를 생성한다.The
상기 목적함수 수정부(604)는 상기 생성자(603)의 목적함수를 수정한다.The objective function correction unit 604 modifies the objective function of the
상기 판별자(606)는 상기 생성자(603)가 생성한 트레이닝 세트에 대하여 참 또는 거짓을 판단하여 출력한다.The
상기 사전 판별자 학습제공부(605)는 상기 생성자(603)의 학습 이전에 상기 판별자(606)에게 임의의 횟수 번 학습을 제공한다.The prior discriminator
상기 배치 사이즈 결정부(607)는 하드웨어적인 한계에 대응하여 인공지능 영상처리를 위한 배치 사이즈를 결정한다.The batch
상기 학습부(608)는 상기 결정된 배치 사이즈에 따라 인공지능 영상 처리를 위해 상기 생성자와 판별자에게 학습을 제공한다.The
도 7은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 시멘트 세그멘테이션을 설명하기 위한 도면이다.7 is a view for explaining cement segmentation applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
도 7을 참고하면, 시멘트 세그멘테이션(Semantic Segmentation)은 영상의 모든 픽셀을 해당하는 클래스(Class)로 분류하는 것이다. RGB 또는 Gray Scale 이미지를 입력값으로 받으면, 출력값이 픽셀이 어느 Class에 속하는지 시멘틱 라벨(Semantic Label)을 나타내는 세그멘테이션 맵(Segmentation Map)으로 출력한다. 도 7은 Sementic Segmentation의 일 예를 보여주고 있다. 입력 영상에서 대상체와 배경의 각각 특징들을 서로 다른 그룹으로 정의하여 영역을 분할하고, 라벨링 한다.Referring to FIG. 7 , cement segmentation is to classify all pixels of an image into a corresponding class. When an RGB or gray scale image is received as an input value, the output value is output as a segmentation map indicating a semantic label indicating which class the pixel belongs to. 7 shows an example of Sementic Segmentation. In the input image, each characteristic of the object and the background is defined into different groups, and regions are segmented and labeled.
도 8은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 GAN을 설명하기 위한 도면이다.8 is a view for explaining a GAN applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
영상처리 기술은 실험적인 외부환경 (바람, 구름, 건물, 날씨 등) 뿐만 아니라, 그림자와 같은 여러 가지 현상들의 의해 오차가 발생하고, 이는 사용자가 직접 옵션을 수정하거나 손으로 제거해줘야 하는 번거로움이 존재한다. 이러한 번거로움을 줄이기 위해 스스로 상황을 판단하고, 최적의 영역을 결정하는 인공지능(AI)기술을 이용한 알고리즘이 필요하다. 이를 위해 본 발명에는 AI 기술 중에 현재 많이 사용되고 있는 딥러닝 신경망 알고리듬을 이용하여 대상 영역을 구분하고 처리한다.In the image processing technology, errors occur due to various phenomena such as shadows as well as experimental external environments (wind, clouds, buildings, weather, etc.) exist. In order to reduce such troubles, an algorithm using artificial intelligence (AI) technology that judges the situation by itself and determines the optimal area is needed. To this end, in the present invention, a target area is classified and processed using a deep learning neural network algorithm, which is currently widely used among AI technologies.
딥러닝은 기본적으로 지도학습 방법 및 비지도학습 방법으로 나뉜다.Deep learning is basically divided into supervised learning methods and unsupervised learning methods.
지도학습 방법(Supervised Learning)은 학습데이터로부터 하나의 해를 구하는 기계학습의 한 방법으로, 학습데이터는 올바른 하나의 입출력 쌍으로 구성되어 있다. 학습의 목표치가 정확히 주어짐으로써 빠르고 정확한 해를 구할 수 있으며, 선형 회귀 분석, 제어, 계측 등에 많이 사용된다.Supervised learning is a method of machine learning that obtains one solution from training data, and the training data consists of one correct input/output pair. Because the target value of learning is given accurately, a fast and accurate solution can be obtained, and it is widely used in linear regression analysis, control, and measurement.
한편, 비지도학습 방법(Unsupervised Learning)은 입력데이터만 주어지고 출력데이터가 따로 정해져 있지 않는 학습방법으로, 스스로 최적의 군집군을 형성하여 결과를 도출한다. 차원축소나, 데이터의 분류, 확률 및 통계처리 등과 같은 목적으로 많이 사용된다.On the other hand, the unsupervised learning method is a learning method in which only input data is given and output data is not separately determined. It is often used for purposes such as dimensionality reduction, data classification, and probability and statistical processing.
지도학습 및 비지도학습은 최종적으로 데이터를 기반으로 미래를 예측하는 것이라 할 수 있다. 하지만 지도학습은 정답이 주어진 데이터만을 사용할 수 있기 때문에 사용할 수 있는 데이터의 양에 한계가 있다. 이에 따라 지도학습 방법보다 비지도학습 방법이 많이 사용되고 있다.Supervised learning and unsupervised learning can be said to ultimately predict the future based on data. However, there is a limit to the amount of data that can be used because supervised learning can only use data with a given correct answer. Accordingly, the unsupervised learning method is used more than the supervised learning method.
이러한 비지도학습의 가장 대표적인 선두주자로는 생성적 적대 신경망 GAN(Generative Adaversarial Network)이 많이 사용되고 있다.As the most representative leader of such unsupervised learning, a generative adversarial network (GAN) is widely used.
지도학습을 위해서는 정답이 주어진 많은 데이터가 필요하다. 하지만 학습에 필요한 모든 데이터를 제공하기에는 한계가 있다. 여기서, 만약 입력데이터의 확률분포와 분산을 알고 있다면, 랜덤 변수(노이즈)를 이용하여 원본 데이터와 유사한 무한히 많은 새로운 입력데이터를 생성할 수 있음을 의미한다. 즉, 모든 데이터에 대한 정답을 개발자가 알려줘야 하는 학습모델은 시간 및 리소스의 한계라는 단점이 있고, 궁극적으로 미래의 인공지능은 비지도학습이 이끌어갈 것이라고 많은 전문가들이 예측하고 있다.Supervised learning requires a lot of data with correct answers. However, there is a limit to providing all the data necessary for learning. Here, if the probability distribution and variance of the input data are known, it means that infinitely many new input data similar to the original data can be generated using random variables (noise). In other words, many experts predict that unsupervised learning will ultimately lead the future of artificial intelligence, a learning model that requires developers to tell the correct answer to all data has the disadvantage of time and resource limitations.
특히, GAN은 2014년 NIPS에서 lan Goodfellow가 발표한 회귀생성 모델로서 분류를 담당하는 모델(판별자, Discriminator)과 회귀생성을 담당하는 모델(생성자, Generator)로 구성되어 있다. 두 모델은 GAN의 이름에서 쉽게 알 수 있듯이, 생성자와 판별자가 서로의 성능을 개선해 적대적으로 경쟁해 나가는 발전해가는 모델이다.In particular, GAN is a regression generation model announced by lan Goodfellow at NIPS in 2014, and consists of a model in charge of classification (discriminator, discriminator) and a model in charge of regression generation (generator, generator). As the name of the GAN suggests, both models are evolving models in which the generator and discriminator improve each other's performance and compete against each other.
도 8은 GAN의 구조를 설명하고 있다. 생성자는 입력 데이터를 통해 데이터 분포의 특성을 학습하고 예측데이터를 생성하게 된다. 판별자는 실제 입력되는 데이터와 생성자가 생성한 가짜 데이터를 구분하는 역할을 한다.8 illustrates the structure of a GAN. The generator learns the characteristics of the data distribution through the input data and generates prediction data. The discriminator plays a role in distinguishing the actual input data from the fake data generated by the generator.
판별자는 입력데이터와 생성자에서 만들어진 가짜 데이터를 분류할 수 있도록 학습을 수행하고, 생성자는 판별자를 통과할 수 있도록 입력 데이타와 유사한 가짜 데이터를 생산하도록 학습을 수행하여 서로가 서로를 경쟁적으로 발전시키는 구조를 가지고 있다.A structure in which the discriminator learns to classify the fake data created by the generator and the input data, and the generator performs learning to produce fake data similar to the input data so that it can pass through the discriminator, thereby developing each other competitively. has a
[수학식 2][Equation 2]
상기 [수학식 2]에서, x는 GAN의 생성자와 판별자가 학습하는데 사용되는 목적함수이다. 수식에서 x~Pdata 는 실제 데이터에 대한 확률분포에서 샘플링한 데이터를 의미하고, z~Px 는 가우시안분포를 사용하는 임의의 노이즈에서 샘플링한 데이터를 의미한다. D(x)는 판별자로 0과 1 사의의 값으로 데이터가 진짜일 확률을 출력한다.In [Equation 2], x is an objective function used to learn the generator and discriminator of the GAN. In the formula, x~P data means data sampled from a probability distribution with respect to actual data, and z~P x means data sampled from random noise using a Gaussian distribution. D(x) is a discriminant and outputs the probability that the data is real as a value between 0 and 1.
GAN은 생성자와 판별자가 서로 경쟁하며 균형점을 찾는 것을 목적으로 하고 있다. 즉, 판별자의 목적함수는 입력데이터 x를 입력하면 높은 확률을 출력하도록 유도하고, 생성자가 만들어낸 데이터 G(z) 값을 받으면 확률이 낮아지도록 학습을 하게 된다. 반대로 생성자는 판별자가 G(z)를 통해 생성된 가짜 이미지를 진짜라고 판별할 확률을 최대화하는 방향으로 학습을 진행한다.The purpose of GAN is to find a balance between the generator and the discriminator by competing with each other. That is, the objective function of the discriminator induces a high probability to be output when the input data x is input, and learns to decrease the probability when the data G(z) value created by the generator is received. Conversely, the generator proceeds learning in a direction that maximizes the probability that the discriminator will determine that the fake image generated through G(z) is real.
상기 GAN은 학습이 불안정하다는 단점이 있다. 이러한 단점을 수많은 연구 끝에 안정적인 학습이 가능하도록, 생성자 구조에 CNN(Convolutional Neural Networks)을 도입한 모델이 DCGAN(Deep Convolutional GAN)으로, 본 발명에서는 DCGAN을 사용하여 구현한다.The GAN has a disadvantage in that learning is unstable. In order to enable stable learning after numerous studies, a model that introduces Convolutional Neural Networks (CNN) into the generator structure is DCGAN (Deep Convolutional GAN), and in the present invention, it is implemented using DCGAN.
도 9는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 유-넷(U-NET)을 설명하기 위한 도면이다.9 is a view for explaining a U-NET applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
기존 GAN에서 생성자(generator)는 (a)와 같이 Encoder&Decoder 모델을 사용했다. 이는 다운샘플링(Downsampling)과 업샘플링(Upsampling)의 단방향적인 구조로서 다운샘플링을 수행할 때 공간 데이터의 손실이 발생하게 된다. 이를 (b)와 같이, U-Net구조로의 전환을 통해 해결할 수 있다. U-Net구조는 동일한 사이즈를 가지는 업샘플링의 결과에 Skip Connection을 추가하여 다운샘플링시에 발생하는 공간 데이터의 손실을 보완해주어 향상된 결과를 도출하는 것이다.In the existing GAN, the generator used the Encoder&Decoder model as in (a). This is a unidirectional structure of downsampling and upsampling, and loss of spatial data occurs when downsampling is performed. As shown in (b), this can be solved through conversion to U-Net structure. The U-Net structure derives an improved result by supplementing the loss of spatial data that occurs during downsampling by adding a skip connection to the result of upsampling having the same size.
즉, U-Net은 인코더-디코더 구조에 스킵 커넥션(skip connection)을 추가한 모델이다. 영상 크기를 줄였다가(subsampling) 다시 키우면(upsampling) 정교한 픽셀 정보가 사라지게 된다. 이는 픽셀 단위로 조밀한 예측이 필요한 이미지 분할에선 큰 문제가 될 수 있다. 이에 인코더에서 디코더로 중요 정보를 직접 넘겨주는 스킵 커넥션을 통해 디코더 부분에서 훨씬 더 선명한 이미지를 결과를 얻게 됨에 따라 더 정확한 예측(분석)이 가능하다.That is, U-Net is a model in which skip connection is added to the encoder-decoder structure. If the image size is reduced (subsampling) and then re-scaled (upsampling), the sophisticated pixel information is lost. This can be a big problem for image segmentation that requires dense prediction on a pixel-by-pixel basis. Accordingly, a much clearer image is obtained from the decoder part through a skip connection that directly passes important information from the encoder to the decoder, so more accurate prediction (analysis) is possible.
도 10은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 패치GAN을 설명하기 위한 도면이다.10 is a view for explaining a patch GAN applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
(a)에 도시된 픽셀GAN(PixelGAN)은 1x1 patch에 대해 진위 여부를 확인하고, (b)에 도시된 패치GAN(PatchGAN)은 NxN 사이즈의 패치 영역에 대해 진위를 판단하고, (c)에 도시된 이미지GAN(ImageGAN)은 일반적으로 알고 있는 바닐라GAN(VanillaGAN)처럼 전체 영역에 대해 진위 여부를 판단한다.The pixel GAN (PixelGAN) shown in (a) checks the authenticity of the 1x1 patch, the patch GAN (PatchGAN) shown in (b) determines the authenticity of the patch area of the NxN size, and in (c) The illustrated image GAN (ImageGAN) judges the authenticity of the entire area like the commonly known vanilla GAN (VanillaGAN).
기존의 GAN 판별자는 이미지GAN(ImageGAN)의 판별자로 이미지의 다운샘플링을 통한 1x1의 이진화된 결과 0, 1을 통해 진짜 이미지와 가짜 이미지의 구분만을 수행했다. 그러나, 본 발명에서는 (b)에 도시된 패치GAN(PatchGAN) 판별자를 사용한다. 패치GAN(PatchGAN) 판별자는 NxN개의 커널 데이터를 통해 하나에 영상에 대한 여러 개의 출력 결과를 도출해 이미지 전체를 진짜와 가짜로 구분하는 것이 아니라, 이미지의 각 부분을 진짜와 가짜로 구분하는 방식을 사용한다.The existing GAN discriminator is an image GAN discriminator, and only differentiates the real image from the fake image through 1x1
패치GAN(PatchGAN) 방식은, 전체 이미지가 아니라 작은 이미지 패치 단위에 대해 슬라이딩 윈도우(sliding window)가 지나가며 연산을 수행하므로 파라미터 개수가 훨씬 작아진다. 이로 인해 연산 속도가 더 빨라지고, 전체 이미지 크기에 영향을 받지 않아 구조적 관점에서 유연성을 보인다.In the patchGAN (PatchGAN) method, the number of parameters is much smaller because a sliding window passes through a small image patch unit rather than the entire image, and an operation is performed. This results in faster calculation speed and flexibility in terms of structure as it is not affected by the overall image size.
도 11a는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 픽스2픽스 모델의 생성자에 대한 설명도이고, 도 11a는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 픽스2픽스 모델의 판별자에 대한 설명도이다.11A is an explanatory diagram for a generator of a
도 11a 및 11b에는 스타일 트랜스퍼(Style Transfer)에 쓰이는 픽스2픽스(Pix2Pix) 모델이 도시되어 있다.11A and 11B illustrate a Pix2Pix model used for style transfer.
도 11a를 참조하면, 생성자는 7개의 다운샘플링 층과 7개의 업샘플링 층 총 14개의 층으로 구성되며 다운샘플링과 업샘플링의 공간 데이터 손실을 최소화하기위한 6개의 Skip Connection 층이 추가적으로 존재한다. 도 11b를 참조하면, 판별자는 입력이미지와 출력이미지를 입력으로 받아 두 데이터를 Concatenate한 값을 4개의 다운샘플링 층을 통해 (30, 30, 1)의 결과로 출력한다. 이 결과는 출력이미지를 30x30으로 나누어 각 부분을 진위판별을 진행한 결과가 된다.Referring to FIG. 11A , the generator consists of a total of 14 layers, including 7 downsampling layers and 7 upsampling layers, and 6 skip connection layers are additionally provided to minimize spatial data loss in downsampling and upsampling. Referring to FIG. 11B , the discriminator receives an input image and an output image as inputs, and outputs a value obtained by concatenating the two data as a result of (30, 30, 1) through four downsampling layers. This result is the result of dividing the output image by 30x30 to determine the authenticity of each part.
판별자의 목적함수는 그대로 두되, 생성자의 목적함수에는 L1 놈(Norm)값을 임의의 λ만큼(기설정된 변수만큼) 영향을 주어 더하는 방식으로 단순히 판별자를 속이는 것만이 아니라 실제 시행 실측 자료(Ground Truth)에 가까운 결과를 출력하도록 유도한다.The objective function of the discriminator is left as it is, but the L1 norm value is applied to the objective function of the generator by an arbitrary λ (as much as a preset variable) and added. ) to output a result close to
본 발명에서는, 판별자의 1회 선 학습 후에 이어서 생성자를 1회 학습하는 방법이 아니라 WGAN(Wasserstein Generative Adversarial Network) 모델에서 사용한 방식에 따라, 생성자의 학습 이전에 판별자를 임의의 횟수 n번 학습하여 강한 판별자의 형성을 통해 향상된 생성자의 결과를 유도하는 방식을 사용한다.In the present invention, the discriminator is trained an arbitrary number of times n times before learning the generator according to the method used in the WGAN (Wasserstein Generative Adversarial Network) model, rather than the method of learning the generator once after the first line learning of the discriminator. A method of deriving the result of an improved generator through the formation of a discriminator is used.
최적화 함수는 픽스2픽스(Pix2Pix) 모델의 학습에 사용된 최적화 함수와 동일한 Adam 최적화 함수(Adam: A Method for Stochastic Optimization, Diederik P. Kingma, and Jimmy Ba)를 사용한다.The optimization function uses the same Adam optimization function (Adam: A Method for Stochastic Optimization, Diederik P. Kingma, and Jimmy Ba) as the optimization function used to train the Pix2Pix model.
도 12는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 배치사이즈에 따른 성능을 설명하기 위한 도면이다.12 is a view for explaining the performance according to the batch size applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
배치 정규화(BN: Batch normalization)는 현재 대부분의 딥러닝 모델에 사용 되는 기술이다. 네트워크에서 만들어지는 feature의 평균과 분산값을 batch 단위로 계산해서 normalize 시켜주는 기술이다. 이때 계산되는 평균값은 비록 배치내에서만 계산되지만 배치의 크기가 충분히 크면, 구해진 평균과 분산이 데이터셋 전체의 평균과 분산을 대표할 수 있다는 가정을 가지고 있다. BN을 이용하면 상당히 깊은 네트워크도 더 빠르고 안정적으로 학습시킬 수 있고 네트워크의 generalization 성능도 좋아진다고 알려져 있다. 하지만 아무때나 BN을 사용한다고 해서 성능이 보장되는 것은 아니다. 도 12의 그래프에서 보여지는 바와 같이 BN은 배치의 크기가 작으면 배치에서 구하는 값이 데이터셋 전체를 대표한다고 보기 어려워지고, 구해지는 평균과 분산도 매 iteration마다 들쭉날쭉하게 된다. 때문에 배치 크기가 작을 때 BN을 사용하게 되면 배치가 클 때에 비해 상당히 떨어지는 성능을 보여주게 된다. 이를 극복하기 위해 소개된 것이 그룹 정규화(GN: group normalization)이다.Batch normalization (BN) is a technique currently used in most deep learning models. It is a technology that normalizes the average and variance values of features created in the network in batch units. Although the calculated average value is calculated only within a batch, it is assumed that the calculated mean and variance can represent the mean and variance of the entire dataset if the batch size is large enough. It is known that, using BN, it is possible to train a fairly deep network faster and more reliably, and the generalization performance of the network is also improved. However, using BN at any time does not guarantee performance. As shown in the graph of FIG. 12 , in BN, if the batch size is small, it becomes difficult to see that the value obtained from the batch represents the entire dataset, and the obtained mean and variance also become jagged at every iteration. Therefore, if BN is used when the batch size is small, the performance is significantly lower than when the batch size is large. To overcome this, group normalization (GN) was introduced.
레이어 정규화(LN: Layer normalization) 과 인스턴스 정규화(IN: Instance normalization)와 같은 기술들이 있다. 도 12를 참고하면, BN, LN, IN, GN이 어떤 기술들인지 한눈에 볼 수 있는데, 표시된 바와 같이 LN은 각 채널과 영상전체를 모두 normalize 시켜주는 기술이고, IN은 각 채널 단위로 normalize 시켜주는 기술이다. GN의 경우에는 LN과 IN의 절충된 형태로 볼 수 있는데, 각 채널을 N개의 group으로 나누어 normalize 시켜주는 기술이다. 도 12에서, N 은 배치 축(axis) 이고, C 는 채널의 축이고, H, W는 공간 축이다.There are techniques such as Layer normalization (LN) and Instance normalization (IN). 12, you can see at a glance what technologies BN, LN, IN, and GN are. As shown, LN is a technology that normalizes each channel and the entire image, and IN is a technology that normalizes each channel. it is technology In the case of GN, it can be seen as a compromise between LN and IN, and it is a technique that normalizes each channel by dividing it into N groups. In FIG. 12 , N is an arrangement axis, C is an axis of a channel, and H and W are spatial axes.
즉, 실제 모델을 학습함에 있어 하드웨어적인 한계가 존재함은 분명하다. 배치 사이즈가 무한정 커질 수는 없기에 하드웨어적 한계에 맞춰 배치 사이즈를 정하게 된다. 도 12는 배치 사이즈에 따른 실제 모델의 학습 결과이다. 배치 사이즈가 감소할 경우 배치정규화를 사용한 모델의 에러율은 분명하게 증가하지만, 그룹정규화를 사용한 모델의 경우에는 배치 사이즈와 무관하게 합리적인 에러율을 유지하는 것을 볼 수 있다. 또한, 그룹정규화의 일종인 Instance 정규화가 Style Transfer 문제에서 더욱 만족스러운 결과를 낸다는 결과도 있어, Instance정규화를 적용할 수도 있다.In other words, it is clear that there are hardware limitations in learning the actual model. Since the batch size cannot be increased indefinitely, the batch size is determined according to the hardware limit. 12 is a learning result of an actual model according to a batch size. When the batch size decreases, the error rate of the model using batch normalization clearly increases, but in the case of the model using group normalization, it can be seen that a reasonable error rate is maintained regardless of the batch size. Also, there is a result that instance normalization, which is a type of group normalization, produces more satisfactory results in the style transfer problem, so instance normalization can be applied.
도 13은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 스킵 레이어에 대한 설명도이다.13 is an explanatory diagram of a skip layer applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
FCN(fully convolution network)이 주목한 부분은 이미 분류 문제에서 성능을 검증 받은 좋은 네트워크들(AlexNet, VGGNet, GoogLeNet)등을 이용하는 점이다. 분류 문제의 대부분은 네트워크의 후미단에 분류를 위해 fully connected layer가 존재하는데, 이는 고정된 크기의 입력만을 받아들이는 문제가 존재한다. 또한, 결정적인 문제점은 공간 정보(Spatial Information)가 사라진다는 점이다. Segmentation을 공간정보의 소실과 함께 수행한다는 것은 불가능에 가깝다. 하지만 FCN은 fully connected layer를 1x1 convolution으로 볼 수 있다는 점에 착안하여, 공간정보를 살리게 되고, 입력이미지의 크기 제한 또한 벗어날 수 있게 되었다.The part that fully convolution network (FCN) pays attention to is that it uses good networks (AlexNet, VGGNet, GoogLeNet) that have already been verified in classification problem. Most of the classification problems have a fully connected layer for classification at the tail end of the network, but there is a problem that only accepts input of a fixed size. In addition, the decisive problem is that spatial information disappears. It is almost impossible to perform segmentation with the loss of spatial information. However, focusing on the fact that the fully connected layer can be viewed as a 1x1 convolution in FCN, spatial information can be saved and the size limit of the input image can be escaped.
하지만 여러 단계의 Convolution과 Pooling을 거치게 되면 Feature-map의 크기가 줄어들게 되고, 이를 다시 원본 영상과 같이 다시 키우는 과정이 필수적이게 된다. 가장 쉬운 방법은 Bilinear Interpolation을 사용하면 되지만, 이는 단순하게 Upsampling하는 과정으로 공간정보의 손실이 필연적이므로 일정 수준 이상의 결과를 기대하기 어렵다. FCN에서는 도 13에서와 같이, Skip Layer의 개념을 도입함으로서 공간정보의 손실을 줄여 성능을 높인다.However, when several stages of convolution and pooling are performed, the size of the feature-map is reduced, and the process of re-growing it like the original image is essential. The easiest method is to use Bilinear Interpolation, but it is difficult to expect results beyond a certain level because it is a simple upsampling process and loss of spatial information is inevitable. In FCN, loss of spatial information is reduced by introducing the concept of a skip layer, as shown in FIG. 13, and thus performance is improved.
도 14는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 인공지능 영상처리에 따른 결과 이미지이다.14 is a result image according to artificial intelligence image processing in the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
도 14는, 영상 처리에 따른 결과 이미지로, VGG-16 모델의 Fully connected layer를 1x1 convolution으로 변형하여 구현하였고, Deconvolution 과정은 Upsampling 레이어가 아닌 Transposed pooling 레이어를 사용하여 구현하였다. 하이퍼 파라미터의 대부분은 원 논문을 참고하여 설정했으며, 테스트 데이터는 Oxford IIIT의 Interactive Image Segmentation Dataset을 활용하였다. 데이터는 대략 150장 정도로 매우 적은 양이기에, 수직&수평 방향으로의 Flipling, 회전, 색조변화, Contrast변화 등과 같은 Augmentation을 랜덤으로 수행하여 데이터를 3775장으로 확장하고 진행하였다.14 is a result image according to image processing, and the fully connected layer of the VGG-16 model was transformed into 1x1 convolution and the deconvolution process was implemented using the transposed pooling layer instead of the upsampling layer. Most of the hyperparameters were set by referring to the original paper, and the Interactive Image Segmentation Dataset of Oxford IIIT was used for the test data. Since the data is a very small amount of about 150 sheets, augmentation such as flipling, rotation, color tone change, and contrast change in vertical and horizontal directions was performed at random to expand the data to 3775 sheets and proceed.
도 15는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 인공지능 영상처리에 적용한 파라미터들에 대한 설명도이고, 도 16은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용한 픽스2픽스 모델의 테스트 결과를 나타내는 도면이다.15 is an explanatory diagram for parameters applied to artificial intelligence image processing in the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention, and FIG. 16 is automatic vessel recognition using artificial intelligence image processing according to the present invention. and a diagram showing the test results of the
도 15 및 16을 참고하면, 테스트모델은 픽스2픽스(Pix2Pix2) 모델을 기반으로 구현하였으며, 테스트용 데이터셋은 CITYSCAPES에서 공유하는 자동차 주행영상을 사용하였다. 도 15는 테스트모델의 학습에 사용된 파라미터다. 입력이미지의 크기는 (256, 256, 3)으로 RGB 채널의 입력을 받는 것으로 진행했으며, 생성자에서 이진화된 (256, 256, 3) 크기의 이미지가 출력되는 것으로 구성된다. 생성자와 판별자의 최적화 함수의 파리미터는, 학습률은 4e-5, Beta_1는 0.5, Epsilon은 1e-6으로 동일한 값을 사용하였다. 또한, 목적함수에서 생성자가 Ground Truth에 가까운 결과를 출력하도록 돕는 파라미터인 λ는 1000을 사용하였고, 판별자는 생성자의 학습에 앞서 매 학습마다 2번씩 선행(사전) 학습하는 방식으로 모델의 학습을 진행하였다. 총 학습은 영상처리를 통해 생성된 약 2000장의 이미지쌍(원본, 마스크)을 통해 진행했고, 각 에폭마다 250번의 이터레이션을 통해 60 에폭만큼 진행하여 Loss값이 가장 낮은 경우의 모델을 저장하였다.15 and 16 , the test model was implemented based on the Pix2Pix2 model, and the vehicle driving image shared by CITYSCAPES was used as the test dataset. 15 shows parameters used for training a test model. The size of the input image is (256, 256, 3), and it proceeds by receiving the input of the RGB channel, and it consists of outputting an image of the size (256, 256, 3) that is binarized in the generator. For the parameters of the generator and discriminator optimization function, the learning rate was 4e-5, Beta_1 was 0.5, and Epsilon was 1e-6, and the same values were used. In addition, 1000 was used for λ, a parameter that helps the generator to output a result close to the ground truth in the objective function, and the discriminator conducts model learning in a way that precedes (pre) learning twice for every learning prior to the generator’s learning. did. The total learning was conducted through about 2000 image pairs (original, mask) generated through image processing, and the model with the lowest loss value was stored by proceeding for 60 epochs through 250 iterations for each epoch.
도 17은 도 2의 오차 처리부의 상세 구성도이다.17 is a detailed configuration diagram of the error processing unit of FIG. 2 .
도 17에 도시된 바와 같이, 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템의 오차 처리부(106)는, 배경 제거부(1701), 유사도 평가부(1702), 연속성 판단부(1703), 및 오차 보정부(1704)를 포함한다.17, the
상기 배경 제거부(1701)는 상기 전처리된 영상 데이터로부터 배경을 제거하여 대상체가 존재하는 영역으로 정의한다.The
상기 유사도 평가부(1702)는 현재 시각에서 인식된 대상체가 그전에 일정한 시간의 범위 내에서 같은 대상체로 인식되는 정도를 평가한다.The
상기 연속성 판단부(1703)는 인식된 대상체가 시간에 따라 위치 및 변위량의 연속성을 유지하는지를 판단하고, 예측 위치 데이터를 출력한다.The
상기 오차 보정부(1704)는 상기 유사도 평가부의 평가 결과 및 상기 연속성 판단부의 판단 결과에 따라 오차를 보정한다.The
물체를 추적하기 위해서는 먼저 영상 내에서 물체가 존재하는 관심 영역과, 물체와 존재하지 않는 배경 영역으로 영상을 구분하는 작업이 필요하다. 즉, 영상으로부터 배경을 제거한 나머지 영역을 구하고, 이를 대상체가 존재하는 영역으로 영역처리를 통하여 위치를 결정하게 된다. 이러한 배경 영상 제거에 가장 많이 사용되는 방법은 배경 영상을 제작하여 사용하는 방법으로 배경 영상 제작에는 여러가지 방법들이 존재하지만, CCTV와 같이 고정된 위치에서 관측하는 것이 아닌 상대적으로 움직임이 많은 헬리카이트와 같이 장치에서는 시간에 따라 배경영상이 많은 움직임을 가지게 된다. 배경 영상을 계속해서 갱신하고, 적용함으로서 헬리카이트의 움직임의 영향을 최소화 하는 방법을 사용하여 배경 영상을 제작한다.In order to track an object, it is first necessary to divide the image into a region of interest in which the object exists and a background region in which the object does not exist. That is, the remaining area after removing the background is obtained from the image, and the location is determined through area processing as the area in which the object exists. The most used method for removing such a background image is to produce and use a background image. There are various methods for producing a background image, but it is not observed from a fixed position like CCTV, but rather like a helicite with a lot of movement. In the device, the background image has a lot of movement over time. By continuously updating and applying the background image, the background image is produced using a method that minimizes the influence of the movement of the helicite.
헬리카이트로부터 얻어진 영상은 관측 환경에 의해 여러 가지 오차를 포함하고 있다. 이러한 영상 오차를 제거하기 위하여 대상체의 유사성과 연속성을 판단하여. 오차를 제거 한다.The image obtained from the helicite contains various errors due to the observation environment. In order to remove such an image error, the similarity and continuity of the object are judged. Eliminate errors.
현재 시간에서 검색된 물체가 오차나 빛의 영향이 아니라면, 그 전 시각의 일정한 범위 내에 존재하는 물체 중에서 형상이나 색상의 패턴이 유사한 영상을 가져야 한다. 두 영상의 유사도 평가는 하기의 [수학식 3]과 같은 상호상관식을 이용하여 판단한다.If the object searched for at the current time is not affected by error or light, it should have an image having a similar shape or color pattern among objects existing within a certain range of the previous time. The evaluation of the similarity of the two images is determined using a cross-correlation formula as in [Equation 3] below.
[수학식 3]에서 S는 유사도 이고, f, g는 두 물체의 영상 정보이다. 두 물체가 완전히 같을 경우 1을, 완전히 반대일 경우 -1의 값을 가진다. 따라서, 유사도가 0.5보다 작을 경우 알고리즘의 오차로 인식하고 제거하게 된다.In [Equation 3], S is the degree of similarity, and f and g are image information of the two objects. It takes a value of 1 if two objects are exactly the same, and -1 if they are completely opposite. Therefore, if the similarity is less than 0.5, it is recognized as an error of the algorithm and removed.
[수학식 3][Equation 3]
도 18은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 연속성 판단 방법에 대한 설명도이다.18 is an explanatory diagram for a continuity determination method applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
배경이 제거된 영상에서 인식된(검색된) 물체(대상체)는 시간에 따라 그 위치 또는 변위량이 일정해야 한다. 이러한 원리를 이용한 것이 연속성 판단이다. 연속성 판단은 시간에 따라 연속적으로 움직이는 물체는 그 전 시각에서의 물체 움직임 벡터를 이용하여 다음 시각의 물체 위치를 예측할 수 있다.The object (object) recognized (searched) in the image from which the background has been removed must have a constant position or displacement over time. Continuity judgment is based on this principle. In the continuity determination, for an object that continuously moves according to time, the position of the object at the next time can be predicted by using the object motion vector at the previous time.
도 18을 참고하면, 1시각(t1)과 2시각(t2)에서의 움직임 벡터를 이용하여 3시각(t3)에서의 위치 예측이 가능하다. 1,2,3 시각의 위치로부터 4시각(t4)의 물체의 위치에 대해서는 2차 정도의 정확도로 예측이 가능하다. 즉, t4에서 예측된 위치의 일정 범위 내에서 객체가 연속적으로 존재할 경우, 정상적인 물체의 움직임으로 인식하며, 그렇지 않을 경우 오차로 제거한다.Referring to FIG. 18 , position prediction at
즉, 연속성을 이용하여 다음 위치를 예측 가능하고, 같은 방법으로 5시각 이상에서도 물체(대상체)의 위치 예측이 가능하다. That is, it is possible to predict the next position using continuity, and in the same way, it is possible to predict the position of an object (object) even at 5 or more views.
위험도 평가부(107)에서는, 계측된 대상체들의 이동경로를 파악하고, 서로 겹치거나 겹칠 가능성이 있는 대상체를 파악하여 미리 관측자나 사용자에서 정보를 제공한다.The
도 19는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법의 일실시예 흐름도이다.19 is a flowchart of an embodiment of a method for providing automatic vessel recognition and monitoring using artificial intelligence image processing according to the present invention.
먼저, 영상획득수단 및 통신수단을 구비한 비행체로부터 획득한 영상 데이터를 전달받는다(S1910).First, the image data obtained from the vehicle equipped with the image acquisition means and the communication means are received (S1910).
이후, 상기 획득한 영상 데이터의 전처리를 수행하고, 위치 추적 가능 데이터를 생성한다(S1920).Thereafter, pre-processing of the obtained image data is performed, and location tracking data is generated (S1920).
이후, 상기 전처리된 영상 데이터에 대하여 인공지능 신경망을 이용한 분류, 학습 및 판단을 포함하는 인공지능 영상처리를 수행한다(S1930)Thereafter, artificial intelligence image processing including classification, learning, and judgment using an artificial intelligence neural network is performed on the preprocessed image data (S1930)
이후, 상기 위치 추적 가능 데이터 및 인공지능 영상처리에 따라 대상체를 인식한다(S1940).Thereafter, the object is recognized according to the location-trackable data and artificial intelligence image processing (S1940).
이후, 해상에 위치한 대상체들의 위치 및 상태를 모니터링한다(S1970).Thereafter, the positions and states of the objects located in the sea are monitored (S1970).
또한, 대상체인식단계(S1940) 이후에, 상기 비행체(200)로부터 획득한 영상 데이터의 오차를 처리하고(S1950), 대상체들의 이동경로를 파악하여 각 대상체의 위험도를 평가한다(S1960).In addition, after the object recognition step (S1940), the error of the image data obtained from the flying
상기 오차처리단계(S1960)는, 상기 영상 데이터로부터 배경을 제거하여 대상체가 존재하는 영역으로 정의하고, 현재 시각에서 인식된 대상체가 그전에 일정한 시간의 범위 내에서 같은 물체로 인식되는 정도를 평가하고, 인식된 대상체가 시간에 따라 위치 및 변위량의 연속성을 유지하는지를 판단한다.In the error processing step (S1960), the background is removed from the image data to define an area where the object exists, and the degree to which the object recognized at the current time is recognized as the same object within a predetermined time range is evaluated, It is determined whether the recognized object maintains continuity of position and displacement over time.
이후, 상기 유사도평가단계의 평가 결과 및 상기 연속성판단단계의 판단 결과에 따라 오차를 보정한다.Thereafter, the error is corrected according to the evaluation result of the similarity evaluation step and the determination result of the continuity determination step.
도 20은 도 19의 영상전처리단계의 상세 흐름도이다.20 is a detailed flowchart of the image pre-processing step of FIG. 19 .
영상전처리단계(S1920)에서는, 먼저, 대비도를 이용하여 상기 영상 데이터의 품질을 개선하는 대비조정단계(S2010)가 수행되고, 비선형 전달함수를 이용하여 상기 영상 데이터의 품질을 개선하는 감마보정단계(S2020)가 수행되고, 보정된 영상 데이터의 잡음을 제거하는 중간값필터링단계(S2030)가 수행되고, 기설정된 제1주파수보다 높은 주파수 성분을 제거하는 저주파통과필터링단계(S2040)가 수행되고, 기설정된 제2주파수보다 높은 주파수 성분을 통과시키는 고주파통과필터링단계(S2050)가 수행되고, 자동식별장치(AIS)로부터 위치 데이터를 전달받아 상기 대상체의 위치를 결정하여 위치 추적 가능 데이터로 출력하는 대상체위치결정단계(S2060)가 수행될 수 있다.In the image preprocessing step (S1920), first, a contrast adjustment step (S2010) of improving the quality of the image data using a contrast degree is performed, and a gamma correction step of improving the quality of the image data using a nonlinear transfer function (S2020) is performed, a median value filtering step (S2030) of removing noise from the corrected image data is performed, and a low-pass filtering step (S2040) of removing a frequency component higher than a preset first frequency is performed, A high-pass filtering step (S2050) of passing a frequency component higher than a preset second frequency is performed, receiving the location data from the automatic identification device (AIS), determining the location of the object, and outputting it as location tracking data A positioning step (S2060) may be performed.
도 21은 도 19의 인공지능영상처리단계의 상세 흐름도이다.21 is a detailed flowchart of the AI image processing step of FIG. 19 .
상기, 인공지능영상처리단계(S1930)에서는, 먼저, 상기 전처리된 영상 데이터의 모든 픽셀을 해당하는 클래스로 분류하여 세그멘테이션 맵으로 출력하는 시멘틱세그멘테이션단계(S2110)가 수행된다.In the AI image processing step (S1930), first, a semantic segmentation step (S2110) of classifying all pixels of the preprocessed image data into corresponding classes and outputting them as a segmentation map is performed.
이후, 입력 영상의 확률분포 및 분산을 계산하는 확률분포및분산계산단계(S2120)가 수행된다.Thereafter, the probability distribution and variance calculation step (S2120) of calculating the probability distribution and variance of the input image is performed.
이후, 랜덤 변수(노이즈)를 입력받아 상기 계산한 확률분포 및 분산을 이용하여 트레이닝 세트를 생성하는 트레이닝세트생성단계(S2130)가 수행된다.Thereafter, a training set generating step S2130 of receiving a random variable (noise) and generating a training set using the calculated probability distribution and variance is performed.
이후, 생성자의 목적함수를 수정하는 목적함수수정단계(S2140)가 수행되고, 상기 생성자의 학습 이전에 판별자에게 임의의 횟수 번 학습을 제공하는 사전 판별자 학습제공단계(S2150)가 수행된다.Thereafter, the objective function correction step (S2140) of correcting the objective function of the generator is performed, and the pre-discriminator learning providing step (S2150) of providing learning to the discriminator an arbitrary number of times before the learning of the generator is performed.
상기 트레이닝세트생성단계에서 생성된 트레이니 세트에 대하여 참 또는 거짓을 판단한 판별 결과를 출력하는 판별단계(S2160)가 수행된다.A determination step (S2160) of outputting a determination result of determining true or false with respect to the training set generated in the training set generation step is performed.
하드웨어적인 한계에 대응하여 배치사이즈가 결정되고(S2170), 상기 생성자 및 판별자가 상기 결정된 배치사이즈 크기로 학습한다(S2180).A batch size is determined in response to a hardware limitation (S2170), and the generator and the discriminator learn with the determined batch size size (S2180).
이상에서 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법에 대하여 설명하였지만, 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 및 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 프로그램 역시 구현 가능함은 물론이다.Although the description has been given of a method for providing automatic vessel recognition and monitoring using artificial intelligence image processing according to an embodiment of the present invention, a computer reading program storing a program for implementing a method for providing automatic vessel recognition and monitoring using artificial intelligence image processing has been described above. Of course, it is also possible to implement a program stored in a computer-readable recording medium for realizing a possible recording medium and a method for providing automatic vessel recognition and monitoring using artificial intelligence image processing.
즉, 상술한 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 다시 말해, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.That is, those skilled in the art know that the above-described method for providing automatic vessel recognition and monitoring using artificial intelligence image processing may be provided by being included in a recording medium that can be read through a computer by tangibly implementing a program of instructions for implementing it. It will be easy to understand. In other words, it may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and used by those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and floppy disks. magneto-optical media, and hardware devices specially configured to store and carry out program instructions, such as ROM, RAM, flash memory, USB memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present invention as claimed in the claims.
100: 분석서버
200: 비행체
300, 400: 선박(대상체)
500: 관제센터
101: 송수신부
102: 제어부
103: 영상 전처리부
104: 데이터베이스 관리부
105: 인공지능 영상처리부
106: 오차 처리부
107: 위험도 평가부
600: 자동식별장치
700: 관리자 단말기
800: 사용자 단말기
301: 대비 조정부
302: 감마 보정부
303: 중간값 필터링부
304: 저주파 통과 필터링부
305: 고주파 통과 필터링부
306: 대상체 위치 결정부
601: 시멘틱 세그멘테이션 처리부
602: 확률분포 및 분산 계산부
603: 생성자
604: 목적함수 수정부
605: 사전 판별자 학습제공부
606: 판별자
607: 배치 사이즈 결정부
608: 학습부
1701: 배경 제거부
1702: 유사도 평가부
1703: 연속성 판단부
1704: 오차 보정부100: analysis server 200: aircraft
300, 400: Vessel (object) 500: Control Center
101: transceiver 102: control unit
103: image preprocessing unit 104: database management unit
105: artificial intelligence image processing unit 106: error processing unit
107: risk assessment unit 600: automatic identification device
700: administrator terminal 800: user terminal
301: contrast adjustment unit 302: gamma correction unit
303: intermediate value filtering unit 304: low-pass filtering unit
305: high-pass filtering unit 306: object positioning unit
601: semantic segmentation processing unit 602: probability distribution and variance calculation unit
603: constructor 604: objective function modifier
605: prior discriminator learning providing unit 606: discriminator
607: batch size determining unit 608: learning unit
1701: background removal unit 1702: similarity evaluation unit
1703: continuity determination unit 1704: error correction unit
Claims (10)
영상획득수단 및 통신수단을 구비한 비행체(200);
상기 비행체로부터 영상 데이터를 전달받아 인공지능 영상 처리를 수행하고 선박들의 위치 정보를 지속적으로 송출하는 자동식별장치(AIS)와 연계함으로써, 해상의 상황을 인식 및 추적하기 위한 분석서버(100); 및
상기 분석서버로부터 전달받은 데이터를 출력하여 실시간으로 상기 해상의 상황을 모니터링하도록 해주는 단말기(700, 800)
를 포함하고,
상기 분석서버(100)는,
상기 영상 데이터 및 상기 선박들의 위치 정보를 수신하고, 인공지능 영상 분석에 따른 알람 데이터를 상기 단말기로 전달하기 위한 송수신부(101);
상기 영상 데이터의 전처리를 수행하기 위한 영상 전처리부(103);
상기 전달받은 영상 데이터에서 찾고자 하는 대상체를 정의하고, 상기 대상체와 배경을 분류하고, 인공지능 신경망을 이용하여 데이터를 처리하여 대상체 대상체 추적 가능 데이터 형태를 출력하기 위한 인공지능 영상처리부(105);
대상체에 관한 데이터, 상기 전달받은 영상데이터, 위치 데이터, 전처리를 위한 데이터, 상기 인공지능 영상처리부에서 사용되는 알고리즘, 및 학습 데이터를 저장하고 있는 데이터베이스(104); 및
상기 송수신부, 상기 영상 전처리부, 상기 인공지능 영상처리부, 및 상기 데이터베이스 간의 데이터 흐름을 제어하고, 상기 대상체의 위치 추적 및 모니터링을 수행하기 위한 제어부(102)
를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템.
In the automatic vessel recognition and monitoring system using artificial intelligence image processing,
Aircraft 200 having an image acquisition means and communication means;
An analysis server 100 for recognizing and tracking sea conditions by receiving image data from the aircraft, performing artificial intelligence image processing, and linking with an automatic identification device (AIS) that continuously transmits location information of ships; and
Terminals (700, 800) for monitoring the sea situation in real time by outputting the data received from the analysis server
including,
The analysis server 100,
a transceiver 101 for receiving the image data and location information of the ships, and transmitting alarm data according to artificial intelligence image analysis to the terminal;
an image pre-processing unit 103 for pre-processing the image data;
an artificial intelligence image processing unit 105 for defining an object to be found in the received image data, classifying the object and background, processing the data using an artificial intelligence neural network, and outputting an object-trackable data form;
a database 104 storing data about an object, the received image data, location data, data for preprocessing, an algorithm used in the artificial intelligence image processing unit, and learning data; and
A control unit 102 for controlling a data flow between the transceiver, the image preprocessing unit, the artificial intelligence image processing unit, and the database, and performing location tracking and monitoring of the object
Vessel automatic recognition and monitoring system using artificial intelligence image processing, characterized in that it comprises a.
상기 영상 전처리부(103)는,
대비도를 이용하여 상기 영상 데이터의 품질을 개선하기 위한 대비 조정부(301);
비선형 전달함수를 이용하여 상기 영상 데이터의 품질을 개선하기 위한 감마 보정부(302);
보정된 영상 데이터의 잡음을 제거하기 위한 중간값 필터링부(303);
기설정된 제1주파수보다 높은 주파수 성분을 제거하기 위한 저주파 통과 필터링부(304);
기설정된 제2주파수보다 높은 주파수 성분을 통과시키는 고주파 통과 필터링부(305); 및
상기 자동식별장치(AIS)로부터 위치 데이터를 전달받아 상기 영상 데이터의 위치를 결정하여 위치 추적 가능 데이터로 출력하기 위한 위치 결정부(306)
를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템.
According to claim 1,
The image pre-processing unit 103,
a contrast adjustment unit 301 for improving the quality of the image data by using a contrast degree;
a gamma correction unit 302 for improving the quality of the image data using a nonlinear transfer function;
a median value filtering unit 303 for removing noise from the corrected image data;
a low-pass filtering unit 304 for removing a frequency component higher than a preset first frequency;
a high-pass filtering unit 305 for passing a frequency component higher than a preset second frequency; and
Position determining unit 306 for receiving position data from the automatic identification device (AIS), determining the position of the image data, and outputting it as position tracking data
Vessel automatic recognition and monitoring system using artificial intelligence image processing, characterized in that it comprises a.
상기 인공지능 영상처리부(105)는,
상기 전처리된 영상 데이터의 모든 픽셀을 해당하는 클래스로 분류하여 세그멘테이션 맵으로 출력하기 위한 시멘틱 세그멘테이션 처리부(601);
입력 영상의 확률분포 및 분산을 계산하기 위한 확률분포 및 분산 계산부(602);
랜덤 변수(노이즈)를 입력받아 상기 계산한 확률분포 및 분산을 이용하여 트레이닝 세트를 생성하기 위한 생성자(603);
상기 생성자의 목적함수를 수정하기 위한 목적함수 수정부(604);
상기 생성자가 생성한 트레이닝 세트에 대하여 참 또는 거짓을 판단하여 출력하기 위한 판별자(606);
상기 생성자의 학습 이전에 상기 판별자를 임의의 횟수 번 학습을 제공하기 위한 사전 판별자 학습제공부(605);
하드웨어적인 한계에 대응하여 인공지능 영상처리를 위한 배치 사이즈를 결정하기 위한 배치 사이즈 결정부(607); 및
상기 결정된 배치 사이즈에 따라 인공지능 영상 처리를 위해 상기 생성자와 판별자에게 학습을 제공하기 위한 학습부(608)
를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템.
3. The method of claim 2,
The artificial intelligence image processing unit 105,
a semantic segmentation processing unit 601 for classifying all pixels of the preprocessed image data into corresponding classes and outputting them as a segmentation map;
a probability distribution and variance calculator 602 for calculating a probability distribution and variance of the input image;
a generator 603 for receiving a random variable (noise) and generating a training set using the calculated probability distribution and variance;
an objective function correction unit 604 for modifying the objective function of the generator;
a discriminator (606) for judging and outputting true or false with respect to the training set generated by the generator;
a prior discriminator learning providing unit 605 for providing learning of the discriminator an arbitrary number of times before learning of the generator;
a batch size determining unit 607 for determining a batch size for artificial intelligence image processing in response to a hardware limitation; and
A learning unit 608 for providing learning to the generator and discriminator for artificial intelligence image processing according to the determined batch size
Vessel automatic recognition and monitoring system using artificial intelligence image processing, characterized in that it comprises a.
상기 생성자는,
유넷(U-NET) 인코더/디코더 모델을 사용한 것을 특징으로 하고,
상기 판별자는,
패치GAN(Patch GAN) 판별자를 사용한 것을 특징으로 하고,
상기 목적함수 수정부는,
상기 생성자의 목적함수에 표준(norm)값을 기설정된 변수만큼 영향을 더하는 방식으로 상기 목적함수를 수정하는 것을 특징으로 하고,
상기 배치 사이즈 결정부는,
배치 사이즈를 감소시키는 경우 그룹정규화를 사용하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템.
4. The method of claim 3,
The constructor is
It is characterized by using a U-NET encoder/decoder model,
The discriminant is
It is characterized by using a patch GAN discriminant,
The objective function correction unit,
It is characterized in that the objective function is modified in such a way that an influence of a standard value is added to the objective function of the generator by a preset variable,
The batch size determining unit,
Automatic vessel recognition and monitoring system using artificial intelligence image processing, characterized in that group normalization is used when the batch size is reduced.
상기 생성자 및 상기 판별자는,
픽스2픽스(Pix2Pix)모델을 사용하여 구성하되,
상기 픽스2픽스모델에서 상기 생성자는,
7개의 다운샘플링층 및 7개의 업샘플링층을 포함하여 구성되며, 다운샘플링과 업셈플링의 공간 데이터 손실을 최소화하기 위한 6개의 스킵 커넥션(Skip Connection) 층을 추가로 포함하고,
상기 픽스2픽스모델에서 상기 판별자는,
입력이미지와 출력이미지를 입력받아 두 데이터를 연관시킨 값을 4개의 다운샘플링층을 이용하여 (30,30,1)의 결과로 출력하고, 상기 출력이미지를 (30x30) 사이즈로 나누어 각 부분의 진위 판별 결과를 출력하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템.
4. The method of claim 3,
The generator and the discriminator are
Constructed using the Pix2Pix model,
In the fix 2 fix model, the constructor is
It consists of 7 downsampling layers and 7 upsampling layers, and additionally includes 6 skip connection layers to minimize spatial data loss of downsampling and upsampling,
In the fix 2 fix model, the discriminant is,
It receives an input image and an output image, and outputs the result of (30,30,1) as a result of correlating the two data using four downsampling layers, and dividing the output image by (30x30) size to determine the authenticity of each part Automatic vessel recognition and monitoring system using artificial intelligence image processing, characterized in that outputting the determination result.
상기 분석서버(100)는,
상기 비행체로부터 획득한 영상 데이터의 오차를 처리하기 위한 오차 처리부(106); 및
대상체들의 이동경로를 파악하여 각 대상체의 위험도를 평가하기 위한 위험도 평가부(107)
를 더 포함하고,
상기 오차 처리부(106)는,
상기 영상 데이터로부터 배경을 제거하여 대상체가 존재하는 영역으로 정의하기 위한 배경 제거부(1701);
현재 시각에서 인식된 대상체가 그전에 일정한 시간의 범위 내에서 같은 대상체로 인식되는 정도를 평가하기 위한 유사도 평가부(1702);
인식된 대상체가 시간에 따라 위치 및 변위량의 연속성을 유지하는지를 판단하기 위한 연속성 판단부(1703); 및
상기 유사도 평가부의 평가 결과 및 상기 연속성 판단부의 판단 결과에 따라 오차를 보정하기 위한 오차 보정부(1704)
를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템.
4. The method of claim 3,
The analysis server 100,
an error processing unit 106 for processing an error of the image data obtained from the vehicle; and
Risk evaluation unit 107 for evaluating the risk of each object by identifying the movement paths of the objects
further comprising,
The error processing unit 106,
a background removing unit 1701 for removing a background from the image data and defining an area in which an object exists;
a similarity evaluation unit 1702 for evaluating a degree to which an object recognized at the current time is recognized as the same object within a predetermined time range;
a continuity determination unit 1703 for determining whether the recognized object maintains continuity of position and displacement over time; and
An error correction unit 1704 for correcting an error according to the evaluation result of the similarity evaluation unit and the determination result of the continuity determining unit
Vessel automatic recognition and monitoring system using artificial intelligence image processing, characterized in that it comprises a.
영상획득수단 및 통신수단을 구비한 비행체로부터 획득한 영상 데이터를 전달받는 영상데이터획득단계(S1910);
상기 획득한 영상 데이터의 전처리를 수행하고, 위치 추적 가능 데이터를 생성하기 위한 영상전처리단계(S1920);
상기 전처리된 영상 데이터에 대하여 인공지능 신경망을 이용한 분류, 학습 및 판단을 포함하는 인공지능 영상처리를 수행하는 인공지능영상처리단계(S1930);
상기 위치 추적 가능 데이터 및 인공지능 영상처리에 따라 대상체를 인식하는 대상체인식단계(S1940); 및
해상에 위치한 대상체들의 위치 및 상태를 모니터링하는 관리단계(S1970)
를 포함하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법.
A method of providing automatic vessel recognition and monitoring using artificial intelligence image processing in a vessel automatic recognition and monitoring system using artificial intelligence image processing,
Image data acquisition step of receiving the image data obtained from the vehicle having an image acquisition means and communication means (S1910);
an image pre-processing step (S1920) for performing pre-processing of the obtained image data and generating location-trackable data;
An artificial intelligence image processing step (S1930) of performing artificial intelligence image processing including classification, learning, and judgment using an artificial intelligence neural network on the preprocessed image data;
an object recognition step of recognizing an object according to the location-trackable data and artificial intelligence image processing (S1940); and
Management step of monitoring the location and status of objects located in the sea (S1970)
A method of providing automatic vessel recognition and monitoring using artificial intelligence image processing comprising a.
상기 영상전처리단계(S1920)는,
대비도를 이용하여 상기 영상 데이터의 품질을 개선하는 대비조정단계(S2010);
비선형 전달함수를 이용하여 상기 영상 데이터의 품질을 개선하는 감마보정단계(S2020);
보정된 영상 데이터의 잡음을 제거하는 중간값필터링단계(S2030);
기설정된 제1주파수보다 높은 주파수 성분을 제거하는 저주파통과필터링단계(S2040);
기설정된 제2주파수보다 높은 주파수 성분을 통과시키는 고주파통과필터링단계(S2050); 및
자동식별장치(AIS)로부터 위치 데이터를 전달받아 상기 대상체의 위치를 결정하여 위치 추적 가능 데이터로 출력하는 대상체위치결정단계(S2060)
를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법.
8. The method of claim 7,
The image pre-processing step (S1920),
a contrast adjustment step of improving the quality of the image data by using a contrast degree (S2010);
a gamma correction step of improving the quality of the image data using a nonlinear transfer function (S2020);
a median value filtering step of removing noise from the corrected image data (S2030);
a low-pass filtering step of removing a frequency component higher than a preset first frequency (S2040);
A high-pass filtering step of passing a frequency component higher than a preset second frequency (S2050); and
Object positioning step (S2060) of receiving position data from an automatic identification device (AIS), determining the position of the object, and outputting it as position tracking data
A method of providing automatic vessel recognition and monitoring using artificial intelligence image processing, comprising:
상기 인공지능영상처리단계(S1930)는,
상기 전처리된 영상 데이터의 모든 픽셀을 해당하는 클래스로 분류하여 세그멘테이션 맵으로 출력하는 시멘틱세그멘테이션단계(S2110);
입력 영상의 확률분포 및 분산을 계산하는 확률분포및분산계산단계(S2120);
랜덤 변수(노이즈)를 입력받아 상기 계산한 확률분포 및 분산을 이용하여 트레이닝 세트를 생성하는 트레이닝세트생성단계(S2130);
생성자의 목적함수를 수정하는 목적함수수정단계(S2140);
상기 생성자의 학습 이전에 판별자에게 임의의 횟수 번 학습을 제공하는 사전 판별자 학습제공단계(S2150);
상기 트레이닝세트생성단계에서 생성된 트레이니 세트에 대하여 참 또는 거짓을 판단한 판별 결과를 출력하는 판별단계(S2160);
하드웨어적인 한계에 대응하여 배치사이즈를 결정하는 배치사이즈결정단계(S2170); 및
상기 생성자 및 상기 판별자가 상기 결정된 배치사이즈 크기로 학습하는 학습단계(S2180)
를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법.
8. The method of claim 7,
The artificial intelligence image processing step (S1930),
a semantic segmentation step (S2110) of classifying all pixels of the preprocessed image data into corresponding classes and outputting them as a segmentation map;
a probability distribution and variance calculation step of calculating the probability distribution and variance of the input image (S2120);
a training set generating step (S2130) of receiving a random variable (noise) and generating a training set using the calculated probability distribution and variance;
objective function modification step of modifying the objective function of the generator (S2140);
A pre-discriminator learning providing step (S2150) of providing learning an arbitrary number of times to the discriminator before the generator's learning;
A determination step (S2160) of outputting a determination result of determining true or false with respect to the training set generated in the training set generation step (S2160);
a batch size determination step of determining a batch size in response to a hardware limitation (S2170); and
A learning step (S2180) in which the generator and the discriminator learn with the determined batch size size (S2180)
A method of providing automatic vessel recognition and monitoring using artificial intelligence image processing, comprising:
상기 비행체로부터 획득한 영상 데이터의 오차를 처리하는 오차처리단계(S1950); 및
대상체들의 이동경로를 파악하여 각 대상체의 위험도를 평가하는 위험도평가단계(S1960)
를 더 포함하는 것을 특징으로 하고,
상기 오차처리단계(S1960)는,
상기 영상 데이터로부터 배경을 제거하여 대상체가 존재하는 영역으로 정의하는 배경제거단계;
현재 시각에서 인식된 대상체가 그전에 일정한 시간의 범위 내에서 같은 물체로 인식되는 정도를 평가하는 유사도평가단계;
인식된 대상체가 시간에 따라 위치 및 변위량의 연속성을 유지하는지를 판단하는 연속성판단단계; 및
상기 유사도평가단계의 평가 결과 및 상기 연속성판단단계의 판단 결과에 따라 오차를 보정하는 오차보정단계
를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법.8. The method of claim 7,
an error processing step (S1950) of processing an error of the image data obtained from the vehicle; and
Risk assessment step (S1960) of evaluating the risk of each object by identifying the movement paths of the objects
characterized in that it further comprises,
The error processing step (S1960) is,
a background removal step of removing a background from the image data and defining an area in which an object exists;
a similarity evaluation step of evaluating the degree to which an object recognized at the current time is recognized as the same object within a predetermined time range;
a continuity determination step of determining whether the recognized object maintains continuity of position and displacement over time; and
An error correction step of correcting an error according to the evaluation result of the similarity evaluation step and the determination result of the continuity determination step
A method of providing automatic vessel recognition and monitoring using artificial intelligence image processing, comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200128794A KR20220045762A (en) | 2020-10-06 | 2020-10-06 | System for automatic recognition and monitoring of vessel using artificial intelligence image processing and method for providing the same |
| PCT/KR2020/018121 WO2022075530A1 (en) | 2020-10-06 | 2020-12-11 | Automatic vessel recognition and monitoring system using artificial intelligence image processing, and method for providing same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200128794A KR20220045762A (en) | 2020-10-06 | 2020-10-06 | System for automatic recognition and monitoring of vessel using artificial intelligence image processing and method for providing the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220045762A true KR20220045762A (en) | 2022-04-13 |
Family
ID=81126546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200128794A KR20220045762A (en) | 2020-10-06 | 2020-10-06 | System for automatic recognition and monitoring of vessel using artificial intelligence image processing and method for providing the same |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20220045762A (en) |
| WO (1) | WO2022075530A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310601A (en) * | 2023-05-19 | 2023-06-23 | 广州健新科技有限责任公司 | Ship behavior classification method based on AIS track diagram and camera diagram group |
| CN117914953A (en) * | 2024-03-20 | 2024-04-19 | 中国船级社 | Ship data processing method, device and equipment |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883861B (en) * | 2023-07-17 | 2024-01-26 | 中国人民解放军战略支援部队航天工程大学 | Port large and medium-sized ship activity identification method and system for microsatellite on-orbit application |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102066841B1 (en) | 2018-04-05 | 2020-01-16 | 주식회사 리안 | Safety voyage system for small vessel with built-in ais |
| KR102113955B1 (en) | 2018-10-04 | 2020-05-22 | 씨드로닉스(주) | Device and method for monitoring ship and port |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100343744B1 (en) * | 2000-09-30 | 2002-07-20 | 엘지전자주식회사 | Contrast enhancement apparatus of video signal |
| JP2004362465A (en) * | 2003-06-06 | 2004-12-24 | Matsushita Electric Ind Co Ltd | Image processing device |
| KR101678691B1 (en) * | 2010-05-12 | 2016-11-23 | 삼성전자주식회사 | Apparatus for image processing using character of light source and method for the same |
| KR102095555B1 (en) * | 2018-08-01 | 2020-03-31 | 문영실 | Analysis of illegal activities and monitoring based on recognition using unmanned aerial vehicle and artificial intelligence deep running that can monitor illegal activities in the field farm |
| KR102005559B1 (en) * | 2018-09-04 | 2019-08-07 | 씨드로닉스(주) | Situation awareness method using image segmentation |
-
2020
- 2020-10-06 KR KR1020200128794A patent/KR20220045762A/en not_active Application Discontinuation
- 2020-12-11 WO PCT/KR2020/018121 patent/WO2022075530A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102066841B1 (en) | 2018-04-05 | 2020-01-16 | 주식회사 리안 | Safety voyage system for small vessel with built-in ais |
| KR102113955B1 (en) | 2018-10-04 | 2020-05-22 | 씨드로닉스(주) | Device and method for monitoring ship and port |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310601A (en) * | 2023-05-19 | 2023-06-23 | 广州健新科技有限责任公司 | Ship behavior classification method based on AIS track diagram and camera diagram group |
| CN116310601B (en) * | 2023-05-19 | 2023-08-04 | 广州健新科技有限责任公司 | Ship behavior classification method based on AIS track diagram and camera diagram group |
| CN117914953A (en) * | 2024-03-20 | 2024-04-19 | 中国船级社 | Ship data processing method, device and equipment |
| CN117914953B (en) * | 2024-03-20 | 2024-06-07 | 中国船级社 | Ship data processing method, device and equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022075530A1 (en) | 2022-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102005560B1 (en) | Method for acquiring object information and apparatus for performing the same | |
| KR102171122B1 (en) | Vessel detection method and system based on multidimensional features of scene | |
| US10782691B2 (en) | Deep learning and intelligent sensing system integration | |
| US10936907B2 (en) | Training a deep learning system for maritime applications | |
| KR20220045762A (en) | System for automatic recognition and monitoring of vessel using artificial intelligence image processing and method for providing the same | |
| CN111046880A (en) | Infrared target image segmentation method and system, electronic device and storage medium | |
| CN110334703B (en) | Ship detection and identification method in day and night image | |
| CN112149612A (en) | Marine organism recognition system and recognition method based on deep neural network | |
| Zhou et al. | Collision-free waterway segmentation for inland unmanned surface vehicles | |
| CN114782915B (en) | Intelligent automobile end-to-end lane line detection system and equipment based on auxiliary supervision and knowledge distillation | |
| CN115527104A (en) | Detection method for unmanned ship sensing system | |
| US20220335572A1 (en) | Semantically accurate super-resolution generative adversarial networks | |
| Alsharay et al. | Improved sea-ice identification using semantic segmentation with raindrop removal | |
| CN117274740A (en) | Infrared target detection method and device | |
| CN117392508A (en) | Target detection method and device based on coordinate attention mechanism | |
| CN117456163A (en) | Ship target detection method, system and storage medium | |
| CN116704688A (en) | Ocean buoy passive defense method and system | |
| CN115546668A (en) | Marine organism detection method and device and unmanned aerial vehicle | |
| Mehla et al. | Object Detection in Autonomous Maritime Vehicles: Comparison Between YOLO V8 and EfficientDet | |
| KR20230102082A (en) | Aircraft inspection automation system based on image and explainable ai | |
| CN110895680A (en) | Unmanned ship water surface target detection method based on regional suggestion network | |
| KR102454878B1 (en) | Method for acquiring movement attributes of moving object and apparatus for performing the same | |
| CN115719368B (en) | Multi-target ship tracking method and system | |
| KR102561793B1 (en) | System and method for recognition of atypical obstacle system and computer-readable recording medium including the same | |
| Cheng | Design of Autonomous Object Detection System for USV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |