WO2022075530A1 - 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법 - Google Patents

인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법 Download PDF

Info

Publication number
WO2022075530A1
WO2022075530A1 PCT/KR2020/018121 KR2020018121W WO2022075530A1 WO 2022075530 A1 WO2022075530 A1 WO 2022075530A1 KR 2020018121 W KR2020018121 W KR 2020018121W WO 2022075530 A1 WO2022075530 A1 WO 2022075530A1
Authority
WO
WIPO (PCT)
Prior art keywords
artificial intelligence
data
image processing
image
unit
Prior art date
Application number
PCT/KR2020/018121
Other languages
English (en)
French (fr)
Inventor
김제욱
이승조
박정현
이승렬
Original Assignee
주식회사 스카이시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스카이시스 filed Critical 주식회사 스카이시스
Publication of WO2022075530A1 publication Critical patent/WO2022075530A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present invention relates to a ship automatic recognition and monitoring system using artificial intelligence image processing and a method for providing the same, and more particularly, classification of objects existing in the sea from images acquired through an air vehicle such as a helicite, and artificial intelligence image processing to define the object to be searched for, classify the object and background, and output the object tracking data in connection with the automatic identification device that continuously transmits the positions of ships, thereby increasing the quality of image data according to changes in the external environment and increasing the quality of the image data.
  • a ship automatic recognition and monitoring system using artificial intelligence image processing capable of monitoring the current situation of the sea, automatic recognition and tracking of a ship, and notification of a dangerous situation, and a method for providing the same.
  • the observation method by drone and helicite (a system that observes by attaching a high-performance camera to a helium balloon) has the advantage of being able to observe a wide area, especially from a high place, in terms of operating time and installation cost compared to other aircraft. Therefore, it can be said that it is suitable for tracking the movement of ships sailing on the sea over a wide area.
  • the vehicle is a helicite, it has the following observation error because the image is provided by observing it from a high place due to the nature of the helicite.
  • Korean Patent Registration [10-2113955] discloses a vessel and port monitoring apparatus and method.
  • an automatic identification device that can display navigation information of nearby ships received from the automatic identification device and maritime safety information such as route signs, piers, and reefs extracted from electronic charts in augmented reality on camera images
  • a safe navigation system for built-in small ships is disclosed.
  • an object of the present invention is to classify an object existing in the sea from an image obtained through an air vehicle such as a helicite and perform artificial intelligence image processing to find it
  • an object of the present invention is to classify an object existing in the sea from an image obtained through an air vehicle such as a helicite and perform artificial intelligence image processing to find it
  • an object to be used classifying the object and the background, and outputting the object tracking data in connection with the automatic identification device that continuously transmits the location of ships, the quality of image data according to changes in the external environment is improved, and the current
  • An object of the present invention is to provide a vessel automatic recognition and monitoring system using artificial intelligence image processing capable of situation monitoring, automatic recognition and tracking of a vessel, and notification of a dangerous situation, and a method for providing the same.
  • a ship automatic recognition and monitoring system using artificial intelligence image processing includes an aircraft 200 having an image acquisition means and a communication means; An analysis server 100 for recognizing and tracking sea conditions by receiving image data from the aircraft, performing artificial intelligence image processing, and linking with an automatic identification device that continuously transmits location information of ships; and terminals 700 and 800 that output the data received from the analysis server to monitor the situation of the sea in real time,
  • the analysis server 100 includes: a transceiver 101 for receiving the image data and the location information of the ships, and transmitting alarm data according to the artificial intelligence image analysis to the terminal; an image pre-processing unit 103 for pre-processing the image data; an artificial intelligence image processing unit 105 for defining an object to be found in the received image data, classifying the object and a background, processing the data using an artificial intelligence neural network, and outputting an object traceable data form; a database 104 storing data about an object, the received image data, location data, data for preprocessing, an algorithm used in the artificial intelligence image processing unit, and learning data; and a control unit 102 for controlling the data flow between the transceiver, the image preprocessor, the artificial intelligence image processing unit, and the database, and to track and monitor the location of the object.
  • the image preprocessing unit 103 includes: a contrast adjusting unit 301 for improving the quality of the image data by using a contrast degree; a gamma correction unit 302 for improving the quality of the image data using a nonlinear transfer function; a median value filtering unit 303 for removing noise from the corrected image data; a low-pass filtering unit 304 for removing a frequency component higher than a preset first frequency; a high-pass filtering unit 305 for passing a frequency component higher than a preset second frequency; and a position determining unit 306 for receiving position data from the automatic identification device, determining the position of the image data, and outputting it as position tracking data.
  • a contrast adjusting unit 301 for improving the quality of the image data by using a contrast degree
  • a gamma correction unit 302 for improving the quality of the image data using a nonlinear transfer function
  • a median value filtering unit 303 for removing noise from the corrected image data
  • a low-pass filtering unit 304 for removing
  • the artificial intelligence image processing unit 105 includes: a semantic segmentation processing unit 601 for classifying all pixels of the preprocessed image data into corresponding classes and outputting them as a segmentation map; a probability distribution and variance calculator 602 for calculating a probability distribution and variance of the input image; a generator 603 for receiving a random variable (noise) and generating a training set using the calculated probability distribution and variance; an objective function correction unit 604 for modifying the objective function of the generator; a discriminator (606) for judging and outputting true or false with respect to the training set generated by the generator; a prior discriminator learning providing unit 605 for providing learning of the discriminator an arbitrary number of times before learning of the generator; a batch size determining unit 607 for determining a batch size for artificial intelligence image processing in response to a hardware limitation; and a learning unit 608 for providing learning to the generator and discriminator for AI image processing according to the determined batch size.
  • a semantic segmentation processing unit 601 for classifying all pixels of the preprocessed image data
  • the generator is characterized by using a UNET encoder/decoder model
  • the discriminator is characterized by using a patch GAN discriminator
  • the objective function modifying unit applies a standard value to the objective function of the generator by a preset variable. It is characterized in that the objective function is modified in an addition method, and the batch size determining unit uses group normalization when reducing the batch size.
  • the generator and the discriminator are configured using a fix 2 fix model, wherein in the fix 2 fix model, the generator includes 7 downsampling layers and 7 upsampling layers, and downsampling and upsampling 6 skip connection layers to minimize spatial data loss of It is characterized in that the result of (30,30,1) is outputted using (30,30,1), and the result of determining the authenticity of each part is output by dividing the output image by (30x30) size.
  • the analysis server 100 the error processing unit 106 for processing the error of the image data obtained from the vehicle; and a risk evaluation unit 107 for evaluating the risk of each object by identifying movement paths of the objects, wherein the error processing unit 106 removes a background from the image data to define an area in which the object exists.
  • a background removal unit 1701 for a similarity evaluation unit 1702 for evaluating a degree to which an object recognized at the current time is recognized as the same object within a predetermined time range
  • a continuity determination unit 1703 for determining whether the recognized object maintains continuity of position and displacement over time
  • an error correction unit 1704 for correcting an error according to the evaluation result of the similarity evaluation unit and the determination result of the continuity determination unit.
  • image data obtained from an aircraft having an image acquisition means and a communication means are obtained.
  • the image pre-processing step (S1920) includes: a contrast adjustment step (S2010) of improving the quality of the image data using a contrast degree; a gamma correction step of improving the quality of the image data using a nonlinear transfer function (S2020); a median value filtering step of removing noise from the corrected image data (S2030); a low-pass filtering step of removing a frequency component higher than a preset first frequency (S2040); A high-pass filtering step of passing a frequency component higher than a preset second frequency (S2050); and an object positioning step (S2060) of receiving location data from the automatic identification device, determining the location of the object, and outputting it as location tracking data.
  • a contrast adjustment step S2010 of improving the quality of the image data using a contrast degree
  • a gamma correction step of improving the quality of the image data using a nonlinear transfer function (S2020)
  • a median value filtering step of removing noise from the corrected image data S2030
  • the artificial intelligence image processing step (S1930) includes: a semantic segmentation step (S2110) of classifying all pixels of the preprocessed image data into a corresponding class and outputting them as a segmentation map; a probability distribution and variance calculation step of calculating the probability distribution and variance of the input image (S2120); a training set generating step (S2130) of receiving a random variable (noise) and generating a training set using the calculated probability distribution and variance; objective function modification step of modifying the objective function of the generator (S2140); A pre-discriminator learning providing step (S2150) of providing learning an arbitrary number of times to the discriminator before the generator's learning; A determination step (S2160) of outputting a determination result of determining true or false with respect to the training set generated in the training set generation step (S2160); a batch size determination step of determining a batch size in response to a hardware limitation (S2170); and a learning step (S2180) of learning the image data with the determined batch size.
  • the method for providing automatic vessel recognition and monitoring using the artificial intelligence image processing includes an error processing step (S1950) of processing an error of image data obtained from the vehicle; and a risk assessment step (S1960) of evaluating the risk of each object by identifying the movement paths of the objects, wherein the error processing step (S1960) includes removing the background from the image data so that the object exists a background removal step of defining an area to a similarity evaluation step of evaluating the degree to which an object recognized at the current time is recognized as the same object within a predetermined time range; a continuity determination step of determining whether the recognized object maintains continuity of position and displacement over time; and an error correction step of correcting an error according to the evaluation result of the similarity evaluation step and the determination result of the continuity determination step.
  • a computer-readable recording medium storing a program for implementing the method for providing automatic vessel recognition and monitoring using the artificial intelligence image processing is provided.
  • a program stored in a computer-readable recording medium is provided.
  • objects existing in the sea are classified and artificial intelligence image processing from images acquired through an air vehicle such as a helicite
  • an air vehicle such as a helicite
  • Defines the object to be searched by performing classifies the object and background, and outputs the object tracking data in connection with the automatic identification device that continuously transmits the positions of ships, thereby increasing the quality of image data according to changes in the external environment and increasing the quality of the image data.
  • the automatic vessel recognition and monitoring system using artificial intelligence image processing and the method for providing the same change the observation area of the camera for the image data obtained from the vehicle, lighting, sunlight, waves, background
  • a pre-processing process that reduces external environmental changes such as movement of objects By performing a pre-processing process that reduces external environmental changes such as movement of objects, the probability of an analysis error occurring during AI image analysis is reduced, thereby providing more accurate analysis results.
  • a moving object is recognized from a given image by analyzing the marine image obtained from a camera mounted on a helicite. And, by identifying and tracking the location of a moving object, predicting the movement of the object, determining the collision risk of navigation, and providing information to recognize the risk, there is an effect of preventing a risk such as a collision.
  • FIG. 1 is a conceptual diagram of an entire system to which the present invention is applied.
  • FIG. 2 is a configuration diagram of a vessel automatic recognition and monitoring system using artificial intelligence image processing according to an embodiment of the present invention.
  • FIG. 3 is a detailed configuration diagram of the image preprocessor of FIG. 2 .
  • FIG. 4 is a picture showing image quality improvement by contrast adjustment in the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • FIG. 5 is a picture showing image quality improvement by gamma correction in the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • FIG. 6 is a detailed configuration diagram of the artificial intelligence image processing unit of FIG. 2 .
  • FIG. 7 is a view for explaining cement segmentation applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • FIG. 8 is a view for explaining a GAN applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • FIG. 9 is a view for explaining U-net applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • FIG. 10 is a view for explaining a patch GAN applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • 11A is an explanatory view of a generator of a fix 2 fix model applied to a ship automatic recognition and monitoring system using artificial intelligence image processing according to the present invention
  • 11A is an explanatory diagram of a discriminator of a fix 2 fix model applied to a ship automatic recognition and monitoring system using artificial intelligence image processing according to the present invention
  • FIG. 12 is a view for explaining the performance according to the batch size applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • FIG. 13 is an explanatory diagram of a skip layer applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • 16 is a view showing test results of the Fix 2 Fix model applied to the automatic ship recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • 17 is a detailed configuration diagram of the error processing unit of FIG. 2 .
  • FIG. 18 is an explanatory diagram of a continuity determination method applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • 19 is a flowchart of an embodiment of a method for providing automatic vessel recognition and monitoring using artificial intelligence image processing according to the present invention.
  • FIG. 20 is a detailed flowchart of the image pre-processing step of FIG. 19;
  • FIG. 21 is a detailed flowchart of the artificial intelligence image processing step of FIG.
  • transceiver 101 transceiver 102: control unit
  • risk assessment unit 600 automatic identification device
  • contrast adjustment unit 302 gamma correction unit
  • intermediate value filtering unit 304 low-pass filtering unit
  • 601 semantic segmentation processing unit 602: probability distribution and variance calculation unit
  • the automatic ship identification system uses the internationally stipulated very high frequency line to identify the name and type of the ship, location information, speed, direction, and navigation-related information. It refers to a device that periodically transmits and receives information and automatically exchanges information and related data with land and other ships.
  • the present invention relates to the development of an artificial intelligence image analysis algorithm that can classify and define various objects existing in the sea using images obtained from a flying vehicle.
  • an artificial intelligence image analysis algorithm that can classify and define various objects existing in the sea using images obtained from a flying vehicle.
  • various shapes existing in the sea - floating objects such as ships, backgrounds such as sea, sky, islands, and harbors - various important factors necessary for data production, learning and verification necessary for defining and classifying objects and backgrounds It defines the factors, and uses them to define matters necessary for algorithm development and performance improvement.
  • the present invention defines an object to be found in an image obtained from a flying object such as a helicite, and uses an artificial intelligence neural network to remove the background from the image to divide the object into regions in which the object exists.
  • the present invention analyzes the actual observation image measured by the aircraft, performs the work of producing data usable in the artificial intelligence neural network, designs the optimal artificial neural network, learns the designed neural network using the produced data, and , and perform verification.
  • the automatic vessel recognition and monitoring system using artificial intelligence image processing is characterized in that it provides vessel recognition and tracking information using an artificial intelligence image processing algorithm.
  • FIG. 1 is a conceptual diagram of an entire system to which the present invention is applied
  • FIG. 2 is a configuration diagram of a vessel automatic recognition and monitoring system using artificial intelligence image processing according to an embodiment of the present invention.
  • the entire system to which the present invention is applied receives image data obtained by photographing images of ships 300 and 400 in the sea from the vehicle 200 and the vehicle 200, and performs artificial intelligence image processing. It includes a server 100, and a control center 500 that outputs the data received from the analysis server to monitor the situation of the sea in real time.
  • the automatic vessel recognition and monitoring system using artificial intelligence image processing includes an aircraft 200 , an analysis server 100 , an automatic identification device 600 , and a manager terminal 700 . ), and a user terminal 800 .
  • the vehicle 200 is provided with an image acquisition means and communication means, and transmits the image data acquired through the image acquisition means at sea to the analysis server 100 through the communication means.
  • the analysis server 100 receives the image data from the flying vehicle 200, performs pre-processing and artificial intelligence image processing, and connects with the automatic identification device 600 that continuously transmits the location information of the ships, so that the maritime situation can be recognized and monitored.
  • the analysis server 100 transmits a notification message or notification data to the manager terminal 700 or the user terminal 800 when there is a notification situation.
  • the analysis server 100 includes a transceiver 101 , an image pre-processing unit 103 , an image processing unit 105 , a database 104 , and a control unit 102 .
  • the transceiver 101 receives the image data and the location information of the ships, and transmits a notification message or notification data according to the AI image analysis to the manager terminal 700 or the user terminal 800 .
  • the image preprocessor 103 preprocesses the image data.
  • the image pre-processing unit 103 performs pre-processing of the image data received from the flying vehicle 200 . Such processing according to the present invention will be described later.
  • the artificial intelligence image processing unit 105 defines an object to be found in the received image data, classifies the object and the background, processes the data using an artificial intelligence neural network, and outputs it in the form of object tracking data.
  • the database 104 stores object-related data, the received image data, location data, data for pre-processing, an algorithm used in the artificial intelligence image processing unit 105 , and learning data.
  • the control unit 102 controls the flow of data between the transceiver 101, the image preprocessor 103, the artificial intelligence image processing unit 105, and the database 104, and controls the location of the object and Perform monitoring.
  • the transceiver 101, the control unit 102, the image preprocessor 103, the database management unit 104 and the artificial intelligence image processing unit 105 are at least some of which automatically recognize a vessel using artificial intelligence image processing. and program modules in communication with the monitoring system.
  • These program modules may be included in the automatic vessel recognition and monitoring system using artificial intelligence image processing in the form of an operating system, an application program module, and other program modules, and may be physically stored in various known storage devices.
  • these program modules may be stored in a remote storage device capable of communicating with the automatic vessel recognition and monitoring system using artificial intelligence image processing.
  • these program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention.
  • the communication network may be configured regardless of its communication mode, such as wired and wireless, and may be configured with various communication networks, such as a local area network, a metropolitan area network, and a wide area network.
  • the communication network referred to in the present invention may be a known World Wide Web.
  • the automatic vessel recognition and monitoring system using the artificial intelligence image processing communicates with the manager terminal 700 and the user terminal 800 through a communication network, and provides vessel recognition and monitoring information to/from the terminals 700 and 800 Transmits/receives data required for
  • the terminals 700 and 800 are digital devices including a function to enable a person interested in monitoring sea conditions to communicate after connecting to the automatic vessel recognition and monitoring system using the artificial intelligence image processing through a communication network, Any digital device equipped with a memory means and equipped with a microprocessor, such as a personal computer (for example, a desktop computer, a notebook computer, etc.), a workstation, a PDA, a web pad, a mobile phone, etc. It can be adopted as the terminal 700, 800.
  • the database management unit 104 includes an object database 104a that stores information on a predefined object, an image data database 104b that stores image data received from the aircraft 200, and the automatic identification device ( 600), a location data database 104c that stores the location data, a preprocessing data database 104d that stores data and algorithms for image preprocessing, and an artificial intelligence algorithm database 104e that stores an artificial intelligence algorithm. ), and a training data database 104f that stores training data, and the like.
  • the database for storing information for the implementation of the present invention is an object database 104a, an image data database 104b, a location data database 104c, a preprocessing data database 104d, and an artificial intelligence algorithm database 104e. ) and the training data database 104f, but the configuration of the database including this classification may be changed according to the needs of those skilled in the art.
  • a database is a concept that includes not only a narrow database but also a database in a broad sense including data records based on a computer file system. It should be understood that if the data of the data can be extracted, it can be included in the database according to the present invention.
  • the analysis server 100 the error processing unit 106 for processing the error of the image data obtained from the flying object 200, and the risk assessment for assessing the risk of each object by identifying the movement paths of the objects It further includes a portion 107 .
  • FIG. 3 is a detailed configuration diagram of the image preprocessor of FIG. 2 .
  • the image preprocessor 103 of FIG. 2 includes a contrast adjustment unit 301 , a gamma correction unit 302 , a median value filtering unit 303 , a low-pass filtering unit 304 , and a high-pass filter. It includes a filtering unit 305 and a position determining unit 306 .
  • the contrast adjusting unit 301 improves the quality of the image data by using the contrast.
  • the gamma correction unit 302 improves the quality of the image data by using a nonlinear transfer function.
  • the intermediate value filtering unit 303 removes noise from the corrected image data.
  • the median value filter is the most used noise removal filter in the image processing field. When the image values of neighboring pixels are sequentially arranged, the median value filter compares the pixel value with the value located in the middle to determine the error. This is a method of removing noise using values.
  • the low-pass filtering unit 304 removes a frequency component higher than a preset first frequency.
  • the high-pass filtering unit 305 passes a frequency component higher than a preset second frequency.
  • the position determining unit 306 receives the position data from the automatic identification device 600, determines the position of the image data, and outputs it as position tracking data.
  • FIG. 3 it is exemplified that input image data is pre-processed in all components, but the present invention is not limited thereto, and it is also possible to pre-process only the components requiring processing according to the characteristics of the input image data.
  • FIG. 4 is a photograph showing image quality improvement by contrast adjustment in the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • Contrast adjustment refers to adjusting for differences in visual characteristics so that an object can be distinguished from other objects. That is, if the contrast is increased, the background and the object region can be more clearly distinguished.
  • Equation 1 is an expression representing the degree of contrast, where c means the brightness of a color.
  • FIG. 4 (a) is a picture before the contrast adjustment, and (b) is a picture after increasing the contrast. It can be seen that the shape of the harbor and the ship is more clearly seen in the foggy image.
  • FIG. 5 is a photograph showing image quality improvement by gamma correction in the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • Gamma correction is a method of improving an image of a camera or graphic by using a nonlinear transfer function, and improves the image by brightening or darkening the entire image.
  • FIG. 6 is a detailed configuration diagram of the artificial intelligence image processing unit of FIG. 2 .
  • the artificial intelligence image processing unit 105 of FIG. 2 includes a semantic segmentation processing unit 601 , a probability distribution and variance calculation unit 602 , a generator 603 , an objective function correction unit 604 , It includes a discriminator 606 , a prior discriminator learning providing unit 605 , a batch size determining unit 607 , and a learning unit 608 .
  • the semantic segmentation processing unit 601 classifies all pixels of the pre-processed image data into corresponding classes and outputs them as a segmentation map.
  • the probability distribution and variance calculator 602 calculates the probability distribution and variance of the input image.
  • the generator 603 receives a random variable (noise) and generates a training set using the probability distribution and variance calculated by the probability distribution and variance calculator 602 .
  • the objective function correction unit 604 modifies the objective function of the generator 603 .
  • the discriminator 606 determines true or false with respect to the training set generated by the generator 603 and outputs it.
  • the prior discriminator learning providing unit 605 provides the discriminator 606 with learning an arbitrary number of times before learning of the generator 603 .
  • the batch size determiner 607 determines a batch size for artificial intelligence image processing in response to a hardware limitation.
  • the learning unit 608 provides learning to the creator and the discriminator for artificial intelligence image processing according to the determined batch size.
  • FIG. 7 is a view for explaining cement segmentation applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • cement segmentation classifies all pixels of an image into corresponding classes. If an RGB or Gray Scale image is received as an input value, the output value is output as a segmentation map indicating which class the pixel belongs to and the semantic label. 7 shows an example of semantic segmentation.
  • each characteristic of the object and the background is defined into different groups, and regions are segmented and labeled.
  • FIG. 8 is a view for explaining a GAN applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • a target area is classified and processed using a deep learning neural network algorithm, which is currently widely used among AI technologies.
  • Deep learning is basically divided into supervised learning methods and unsupervised learning methods.
  • the supervised learning method is a method of machine learning that obtains a solution from the training data, and the training data consists of one correct input/output pair. Because the target value of learning is given accurately, a fast and accurate solution can be obtained, and it is widely used in linear regression analysis, control, and measurement.
  • the unsupervised learning method is a learning method in which only input data is given and output data is not separately determined, and the result is derived by forming an optimal cluster by itself. It is often used for purposes such as dimensionality reduction, data classification, and probability and statistical processing.
  • Supervised learning and unsupervised learning can be said to ultimately predict the future based on data.
  • the amount of data that can be used because supervised learning can only use data with a given correct answer. Accordingly, the unsupervised learning method is used more than the supervised learning method.
  • GANs generative adversarial neural networks
  • GAN is a regression generation model presented by lan Goodfellow at NIPS in 2014, and consists of a model in charge of classification (discriminator) and a model in charge of regression generation (generator).
  • discriminator model in charge of classification
  • generator model in charge of regression generation
  • the generator learns the characteristics of the data distribution through the input data and generates prediction data.
  • the discriminator plays a role in distinguishing the actual input data from the fake data generated by the generator.
  • a structure in which the discriminator learns to classify the fake data created by the generator and the input data, and the generator performs learning to produce fake data similar to the input data so that it can pass through the discriminator, thereby developing each other competitively. has a
  • x is an objective function used to learn the generator and discriminator of the GAN.
  • x in the formula is the data sampled from the probability distribution for the actual data, and z ⁇ denotes data sampled from random noise using a Gaussian distribution.
  • D(x) is a discriminant and outputs the probability that the data is real as a value between 0 and 1.
  • GAN The purpose of GAN is to find a balance between the generator and the discriminator by competing with each other. That is, the objective function of the discriminator induces a high probability to be output when the input data x is input, and learns to decrease the probability when the data G(z) value created by the generator is received. Conversely, the generator proceeds learning in a direction that maximizes the probability that the discriminator will determine that the fake image generated through G(z) is real.
  • the GAN has a disadvantage in that learning is unstable.
  • the model that introduces CNN to the generator structure is DCGAN, and in the present invention, DCGAN is used to implement these disadvantages.
  • FIG. 9 is a view for explaining the U-net applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • the generator used the Encoder&Decoder model as in (a). This is a unidirectional structure of downsampling and upsampling, and loss of spatial data occurs when downsampling is performed. As shown in (b), this can be solved through conversion to the UNET structure.
  • the UNET structure adds a skip connection to the result of upsampling having the same size to compensate for the loss of spatial data that occurs during downsampling, thereby deriving an improved result.
  • UNET is a model in which skip connection is added to the encoder-decoder structure. If the image size is reduced and then enlarged again, the detailed pixel information disappears. This can be a big problem for image segmentation that requires dense prediction on a pixel-by-pixel basis. Accordingly, a much clearer image is obtained from the decoder part through a skip connection that directly passes important information from the encoder to the decoder, so more accurate prediction (analysis) is possible.
  • FIG. 10 is a view for explaining a patch GAN applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • the pixel GAN shown in (a) checks the authenticity of a 1x1 patch
  • the patch GAN shown in (b) determines the authenticity of an NxN-sized patch area
  • the image GAN shown in (c) is a general Like vanilla GAN, which is known as
  • the existing GAN discriminator is an image GAN discriminator, and only differentiates the real image from the fake image through 1x1 binarized result 0 and 1 through image downsampling.
  • the patch GAN discriminator shown in (b) is used.
  • the patch GAN discriminator derives multiple output results for one image through NxN kernel data, and uses a method of classifying each part of the image into real and fake, rather than dividing the entire image into real and fake.
  • the number of parameters is much smaller because the sliding window passes through a small image patch unit rather than the entire image, and the operation is performed. This results in faster calculation speed and flexibility in terms of structure as it is not affected by the overall image size.
  • FIG. 11A is an explanatory diagram for a generator of a fix 2 fix model applied to a system for automatic vessel recognition and monitoring using artificial intelligence image processing according to the present invention
  • FIG. 11A is automatic vessel recognition using artificial intelligence image processing according to the present invention.
  • it is an explanatory diagram of the discriminator of the fix 2 fix model applied to the monitoring system.
  • 11A and 11B show a fix 2 fix model used for style transfer.
  • the generator consists of a total of 14 layers, including 7 downsampling layers and 7 upsampling layers, and there are additionally 6 Skip Connection layers to minimize spatial data loss in downsampling and upsampling.
  • the discriminator receives an input image and an output image as inputs, and outputs a value obtained by concatenating the two data as a result of (30, 30, 1) through four downsampling layers. This result is the result of dividing the output image by 30x30 to determine the authenticity of each part.
  • the objective function of the discriminator is left as it is, but the L1 norm value is applied to the objective function of the generator by an arbitrary ⁇ (as much as a preset variable) and added so that the result is not only deceived by the discriminator, but close to the actual test data. do.
  • the discriminator is learned an arbitrary number of times n times before learning of the generator according to the method used in the WGAN model, rather than the method of learning the generator once after learning the discriminator once, and improved through the formation of a strong discriminator.
  • the method of deriving the result of the constructor is used.
  • the optimization function uses the same Adam optimization function (Adam: A Method for Stochastic Optimization, Diederik P. Kingma, and Jimmy Ba) as the optimization function used to train the Fix 2 Fix model.
  • Adam A Method for Stochastic Optimization, Diederik P. Kingma, and Jimmy Ba
  • FIG. 12 is a view for explaining the performance according to the batch size applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • Batch regularization is a technique currently used for most deep learning models. It is a technology that calculates and normalizes the average and variance values of features created in the network in units of batches. Although the calculated average value is calculated only within a batch, it is assumed that the calculated mean and variance can represent the mean and variance of the entire dataset if the batch size is large enough. It is known that, using batch regularization, a fairly deep network can be trained faster and more reliably, and the generalization performance of the network is also improved. However, using batch normalization all the time does not guarantee performance. As shown in the graph of FIG. 12 , when the size of the batch normalized batch is small, it is difficult to see that the value obtained from the batch is representative of the entire dataset, and the obtained mean and variance also become jagged at every iteration. Therefore, if BN is used when the batch size is small, the performance is significantly lower than when the batch size is large. To overcome this, group normalization was introduced.
  • layer normalization is a technique that normalizes each channel and the entire image
  • instance normalization is each It is a technique that normalizes the channel unit.
  • group normalization it can be seen as a compromise between layer normalization and instance normalization, and it is a technique that normalizes each channel by dividing it into N groups.
  • N is the arrangement axis
  • C is the axis of the channel
  • H and W are the spatial axes.
  • FIG. 13 is an explanatory diagram of a skip layer applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • FIG. 14 is a result image according to image processing, which is implemented by transforming the fully connected layer of the VGG-16 model into a 1x1 convolution, and the deconvolution process is implemented using a transposed pooling layer instead of an upsampling layer.
  • Most of the hyperparameters were set by referring to the original paper, and the Interactive Image Segmentation Dataset of Oxford IIIT was used for the test data. Since the data is a very small amount of approximately 150 sheets, augmentation such as flipling, rotation, color tone change, and contrast change in vertical and horizontal directions was performed randomly to expand the data to 3775 sheets and proceed.
  • FIG. 15 is an explanatory diagram for parameters applied to artificial intelligence image processing in the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention
  • FIG. 16 is automatic vessel recognition using artificial intelligence image processing according to the present invention. and a diagram showing the test results of the Fix 2 Fix model applied to the monitoring system.
  • the test model was implemented based on the Fix 2 Fix model, and the vehicle driving image shared by CITYSCAPES was used as the test dataset.
  • 15 shows parameters used for training a test model.
  • the size of the input image is (256, 256, 3), and the input of the RGB channel was received, and the binary-sized image (256, 256, 3) is outputted from the generator.
  • the learning rate was 4e-5
  • Beta_1 was 0.5
  • Epsilon was 1e-6, and the same values were used.
  • it is a parameter that helps the generator output a result close to the ground truth.
  • the discriminator trained the model in a way that preceded (pre) learning twice for each learning before the generator's learning.
  • the total learning was conducted through about 2000 image pairs (original, mask) generated through image processing, and the model with the lowest loss value was stored by proceeding for 60 epochs through 250 iterations for each epoch.
  • 17 is a detailed configuration diagram of the error processing unit of FIG. 2 .
  • the error processing unit 106 of the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention includes a background removal unit 1701, a similarity evaluation unit 1702, and a continuity determination unit ( 1703), and an error correction unit 1704 .
  • the background removing unit 1701 removes a background from the pre-processed image data to define an area in which an object exists.
  • the similarity evaluation unit 1702 evaluates the degree to which the object recognized at the current time is recognized as the same object within a predetermined time range before that.
  • the continuity determining unit 1703 determines whether the recognized object maintains the continuity of the position and displacement over time, and outputs predicted position data.
  • the error correcting unit 1704 corrects the error according to the evaluation result of the similarity evaluation unit and the determination result of the continuity determining unit.
  • the image In order to track an object, it is first necessary to divide the image into a region of interest in which the object exists and a background region in which the object does not exist. That is, the remaining area after removing the background is obtained from the image, and the location is determined through area processing as the area in which the object exists.
  • the most used method for removing such a background image is to produce and use a background image.
  • the image obtained from the helicite contains various errors due to the observation environment. In order to remove such an image error, the similarity and continuity of the object are judged. Eliminate errors.
  • the object searched for at the current time is not affected by error or light, it should have an image having a similar shape or color pattern among objects existing within a certain range of the previous time.
  • the evaluation of the similarity of the two images is determined using a cross-correlation formula as in [Equation 3] below.
  • Equation 3 S is the degree of similarity, and f and g are image information of the two objects. It has a value of 1 if the two prices are exactly the same, and -1 if they are completely opposite. Therefore, if the similarity is less than 0.5, it is recognized as an error of the algorithm and removed.
  • FIG. 18 is an explanatory diagram for a continuity determination method applied to the automatic vessel recognition and monitoring system using artificial intelligence image processing according to the present invention.
  • the object (object) recognized (searched) in the image from which the background has been removed must have a constant position or displacement over time. Continuity judgment is based on this principle. In the continuity determination, for an object that continuously moves according to time, the position of the object at the next time can be predicted by using the object motion vector at the previous time.
  • position prediction at time 3 t3 is possible using motion vectors at time 1 t1 and time 2 t2 .
  • the position of the object at time 4 (t4) from the position of time 1, 2, and 3 can be predicted with second-order accuracy. That is, if the object continuously exists within a certain range of the predicted position at t4, it is recognized as a normal object movement, otherwise it is removed as an error.
  • the risk assessment unit 107 identifies the movement paths of the measured objects, identifies objects that overlap or may overlap, and provides information from an observer or a user in advance.
  • 19 is a flowchart of an embodiment of a method for providing automatic vessel recognition and monitoring using artificial intelligence image processing according to the present invention.
  • the image data obtained from the vehicle equipped with the image acquisition means and the communication means are received (S1910).
  • the object is recognized according to the location-trackable data and artificial intelligence image processing (S1940).
  • the error of the image data obtained from the flying object 200 is processed (S1950), and the movement path of the objects is identified to evaluate the risk of each object (S1960).
  • the background is removed from the image data to define an area where the object exists, and the degree to which the object recognized at the current time is recognized as the same object within a predetermined time range is evaluated, It is determined whether the recognized object maintains continuity of position and displacement over time.
  • FIG. 20 is a detailed flowchart of the image pre-processing step of FIG. 19 .
  • a contrast adjustment step (S2010) of improving the quality of the image data using a contrast degree is performed, and a gamma correction step of improving the quality of the image data using a nonlinear transfer function (S2020) is performed
  • the intermediate value filtering step (S2030) of removing noise from the corrected image data is performed
  • the low-pass filtering step (S2040) of removing a frequency component higher than a preset first frequency is performed
  • a high-pass filtering step (S2050) of passing a frequency component higher than a preset second frequency is performed, and the location data is received from the automatic identification device, the location of the object is determined, and the location of the object is output as data that can be tracked. (S2060) may be performed.
  • FIG. 21 is a detailed flowchart of the AI image processing step of FIG. 19 .
  • a semantic segmentation step (S2110) of classifying all pixels of the preprocessed image data into corresponding classes and outputting them as a segmentation map is performed.
  • the probability distribution and variance calculation step (S2120) of calculating the probability distribution and variance of the input image is performed.
  • a training set generating step S2130 of receiving a random variable (noise) and generating a training set using the calculated probability distribution and variance is performed.
  • the objective function correction step (S2140) of correcting the objective function of the generator is performed, and the pre-discriminator learning providing step (S2150) of providing learning to the discriminator an arbitrary number of times before the learning of the generator is performed.
  • a determination step (S2160) of outputting a determination result of determining true or false with respect to the training set generated in the training set generation step is performed.
  • a batch size is determined in response to a hardware limitation (S2170), and the generator and the discriminator learn with the determined batch size size (S2180).
  • the above-described method for providing automatic vessel recognition and monitoring using artificial intelligence image processing may be provided by being included in a recording medium that can be read through a computer by tangibly implementing a program of instructions for implementing it. It will be easy to understand. In other words, it may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and used by those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, RAMs, and flash memories.
  • hardware devices specially configured to store and execute program instructions such as , USB memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법에 관한 것으로서, 더욱 상세하게는 헬리카이트와 같은 비행체를 통해 획득한 영상으로부터 해상에 존재하는 물체를 분류 및 인공지능 영상 처리를 수행하여 찾고자 하는 대상체를 정의하고, 대상체와 배경을 분류하고, 선박들의 위치를 지속적으로 송출하는 자동식별장치와 연계하여 대상체 추적 가능 데이터로 출력함으로써, 외부 환경 변화에 따른 영상 데이터의 품질을 높이고, 해상의 현재 상황 감시, 선박의 자동 인식 및 추적, 및 위험 상황 알림이 가능한 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법을 제공한다.

Description

인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법
본 발명은 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법에 관한 것으로서, 더욱 상세하게는 헬리카이트와 같은 비행체를 통해 획득한 영상으로부터 해상에 존재하는 물체를 분류 및 인공지능 영상 처리를 수행하여 찾고자 하는 대상체를 정의하고, 대상체와 배경을 분류하고, 선박들의 위치를 지속적으로 송출하는 자동식별장치와 연계하여 대상체 추적 가능 데이터로 출력함으로써, 외부 환경 변화에 따른 영상 데이터의 품질을 높이고, 해상의 현재 상황 감시, 선박의 자동 인식 및 추적, 및 위험 상황 알림이 가능한 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법에 관한 것이다.
삼면이 바다인 우리나라는 많은 해양 자원을 가지고 있으며, 이러한 해양 자원을 개발 및 보호하거나 다른 산업적 또는 군사적인 활동으로 해상에는 수많은 항행 중인 선박이 존재하며, 이러한 선박들의 항공 영상을 통한 감시 및 모니터링 서비스의 수요가 계속해서 증가하고 있다. 특히 불법 조업 감시, 적조 모니터링, 해양폐기물 조사, 해양 안전관리 등, 그 응용분야도 다양화 되고 있다.
현재 많은 응용분야에서 비행체에 의한 감시/모니터링이 적용 및 개발되고 있으며, 그 중 드론 및 헬리카이트가 이러한 응용분야에서 널리 사용 되고 있다. 드론을 활용한 항공 촬영의 경우, 임무수행 시간이 극히 제한적이고 해풍에 의한 안정적인 운영이 불가능하다는 단점이 있다. 특히 조정 미숙이나 기체의 결함에 의한 안전상의 문제가 부각되고 있다.
그 중 드론 및 헬리카이트(헬륨기구에 고성능 카메라를 장착하여 관측하는 시스템)에 의한 관측 방법은 다른 비행체에 비하여 운영시간, 설치 비용, 특히 높은 곳에서 멀리, 넓은 영역을 관측 할 수 있다는 장점을 가지고 있어 넓은 영역의 바다 위를 항행 중인 선박들의 움직임을 추적하기에 적합하다고 할 수 있다.
한편, 헬륨 기구를 이용하는 헬리카이트는 드론의 장점과 단점을 보완할 수 있는 관측 장비로 넓은 해상 영역을 장시간 감시 / 모니터링 하기에 적합한 관측시스템으로 현재 많은 부분에 응용되고 있다.
불법 조업 감시, 연근해 주요 어장에 대한 적조 모니터링, 해양폐기물 조사, 대규모 해양 토목공사 현장의 진척도 관리, 고래 유람선의 고래 탐사 등 최근 항공영상(영상/열화상)을 통한 감시 및 모니터링 서비스의 수요가 급격히 증가하고 있다.
또한, 해상에서 이동하는 물체를 인식하기 위해서는 물체 영역과 배경 영역의 구분이 필요하다. 이러한 영역의 판단은 바다 위의 선박 이외에도, 섬, 부두와 같은 지형물, 바다 위에 부유하는 오염물질, 파도와 빛의 반사 등과 같은 많은 요인들이 존재하며 이런 요인들은 물체 영역의 구분을 어렵게 한다.
일예로 비행체가 헬리카이트인 경우, 헬리카이트의 특성상 높은 곳에서 멀리 관측하여 영상을 제공하기 때문에 다음과 같은 관측 오차를 가진다.
첫 번째로, 파도나 빛의 반사와 같은 잡음이 존재한다. 이러한 오차보다 작은 스케일의 오브젝트는 관측이 불가능하다. 이는 전체 영상 크기에 대해 0.05%의 범위로 예측 된다. 두 번째로, 일출과 일몰 시간대와 같이 낮은 밝기의 영상에서 적용이 불가능하다.
이를 위해 영상의 품질 및 오차를 줄이기 위한 영상처리 기술이 필요한다.
한국등록특허 [10-2113955]에서는 선박 및 항만 모니터링 장치 및 방법이 개시되어 있다.
한국등록특허 [10-2066841]에서는 자동식별장치로부터 수신한 주변 선박의 항해 정보와 전자해도로부터 추출한 항로표지, 교각, 암초 등의 해상 안전 정보를 카메라 영상에 증강현실로 보여줄 수 있게 하는 자동식별장치 내장 소형선박용 안전항해 시스템이 개시되어 있다.
따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 헬리카이트와 같은 비행체를 통해 획득한 영상으로부터 해상에 존재하는 물체를 분류 및 인공지능 영상 처리를 수행하여 찾고자 하는 대상체를 정의하고, 대상체와 배경을 분류하고, 선박들의 위치를 지속적으로 송출하는 자동식별장치와 연계하여 대상체 추적 가능 데이터로 출력함으로써, 외부 환경 변화에 따른 영상 데이터의 품질을 높이고, 해상의 현재 상황 감시, 선박의 자동 인식 및 추적, 및 위험 상황 알림이 가능한 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법을 제공하는 것이다.
본 발명의 실 시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템은, 영상획득수단 및 통신수단을 구비한 비행체(200); 상기 비행체로부터 영상 데이터를 전달받아 인공지능 영상 처리를 수행하고 선박들의 위치 정보를 지속적으로 송출하는 자동식별장치와 연계함으로써, 해상의 상황을 인식 및 추적하기 위한 분석서버(100); 및 상기 분석서버로부터 전달받은 데이터를 출력하여 실시간으로 상기 해상의 상황을 모니터링하도록 해주는 단말기(700, 800)를 포함하고,
상기 분석서버(100)는, 상기 영상 데이터 및 상기 선박들의 위치 정보를 수신하고, 인공지능 영상 분석에 따른 알람 데이터를 상기 단말기로 전달하기 위한 송수신부(101); 상기 영상 데이터의 전처리를 수행하기 위한 영상 전처리부(103); 상기 전달받은 영상 데이터에서 찾고자 하는 대상체를 정의하고, 상기 대상체와 배경을 분류하고, 인공지능 신경망을 이용하여 데이터를 처리하여 대상체 대상체 추적 가능 데이터 형태를 출력하기 위한 인공지능 영상처리부(105); 대상체에 관한 데이터, 상기 전달받은 영상데이터, 위치 데이터, 전처리를 위한 데이터, 상기 인공지능 영상처리부에서 사용되는 알고리즘, 및 학습 데이터를 저장하고 있는 데이터베이스(104); 및 상기 송수신부, 상기 영상 전처리부, 상기 인공지능 영상처리부, 및 상기 데이터베이스 간의 데이터 흐름을 제어하고, 상기 대상체의 위치 추적 및 모니터링을 수행하기 위한 제어부(102)를 포함하는 것을 특징으로 한다.
상기 영상 전처리부(103)는, 대비도를 이용하여 상기 영상 데이터의 품질을 개선하기 위한 대비 조정부(301); 비선형 전달함수를 이용하여 상기 영상 데이터의 품질을 개선하기 위한 감마 보정부(302); 보정된 영상 데이터의 잡음을 제거하기 위한 중간값 필터링부(303); 기설정된 제1주파수보다 높은 주파수 성분을 제거하기 위한 저주파 통과 필터링부(304); 기설정된 제2주파수보다 높은 주파수 성분을 통과시키는 고주파 통과 필터링부(305); 및 상기 자동식별장치로부터 위치 데이터를 전달받아 상기 영상 데이터의 위치를 결정하여 위치 추적 가능 데이터로 출력하기 위한 위치 결정부(306)를 포함하는 것을 특징으로 한다.
상기 인공지능 영상처리부(105)는, 상기 전처리된 영상 데이터의 모든 픽셀을 해당하는 클래스로 분류하여 세그멘테이션 맵으로 출력하기 위한 시멘틱 세그멘테이션 처리부(601); 입력 영상의 확률분포 및 분산을 계산하기 위한 확률분포 및 분산 계산부(602); 랜덤 변수(노이즈)를 입력받아 상기 계산한 확률분포 및 분산을 이용하여 트레이닝 세트를 생성하기 위한 생성자(603); 상기 생성자의 목적함수를 수정하기 위한 목적함수 수정부(604); 상기 생성자가 생성한 트레이닝 세트에 대하여 참 또는 거짓을 판단하여 출력하기 위한 판별자(606); 상기 생성자의 학습 이전에 상기 판별자를 임의의 횟수 번 학습을 제공하기 위한 사전 판별자 학습제공부(605); 하드웨어적인 한계에 대응하여 인공지능 영상처리를 위한 배치 사이즈를 결정하기 위한 배치 사이즈 결정부(607); 및 상기 결정된 배치 사이즈에 따라 인공지능 영상 처리를 위해 상기 생성자와 판별자에게 학습을 제공하기 위한 학습부(608)를 포함하는 것을 특징으로 한다.
상기 생성자는, 유넷 인코더/디코더 모델을 사용한 것을 특징으로 하고, 상기 판별자는, 패치GAN 판별자를 사용한 것을 특징으로 하고, 상기 목적함수 수정부는, 상기 생성자의 목적함수에 표준값을 기설정된 변수만큼 영향을 더하는 방식으로 상기 목적함수를 수정하는 것을 특징으로 하고, 상기 배치 사이즈 결정부는, 배치 사이즈를 감소시키는 경우 그룹정규화를 사용하는 것을 특징으로 한다.
상기 생성자 및 상기 판별자는, 픽스2픽스모델을 사용하여 구성하되, 상기 픽스2픽스모델에서 상기 생성자는, 7개의 다운샘플링층 및 7개의 업샘플링층을 포함하여 구성되며, 다운샘플링과 업셈플링의 공간 데이터 손실을 최소화하기 위한 6개의 스킵 커넥션 층을 추가로 포함하고, 상기 픽스2픽스모델에서 상기 판별자는, 입력이미지와 출력이미지를 입력받아 두 데이터를 연관시킨 값을 4개의 다운샘플링층을 이용하여 (30,30,1)의 결과로 출력하고, 상기 출력이미지를 (30x30) 사이즈로 나누어 각 부분의 진위 판별 결과를 출력하는 것을 특징으로 한다.
상기 분석서버(100)는, 상기 비행체로부터 획득한 영상 데이터의 오차를 처리하기 위한 오차 처리부(106); 및 대상체들의 이동경로를 파악하여 각 대상체의 위험도를 평가하기 위한 위험도 평가부(107)를 더 포함하고, 상기 오차 처리부(106)는, 상기 영상 데이터로부터 배경을 제거하여 대상체가 존재하는 영역으로 정의하기 위한 배경 제거부(1701); 현재 시각에서 인식된 대상체가 그전에 일정한 시간의 범위 내에서 같은 대상체로 인식되는 정도를 평가하기 위한 유사도 평가부(1702); 인식된 대상체가 시간에 따라 위치 및 변위량의 연속성을 유지하는지를 판단하기 위한 연속성 판단부(1703); 및 상기 유사도 평가부의 평가 결과 및 상기 연속성 판단부의 판단 결과에 따라 오차를 보정하기 위한 오차 보정부(1704)를 포함하는 것을 특징으로 한다.
또한, 상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법은, 영상획득수단 및 통신수단을 구비한 비행체로부터 획득한 영상 데이터를 전달받는 영상데이터획득단계(S1910); 상기 획득한 영상 데이터의 전처리를 수행하고, 위치 추적 가능 데이터를 생성하기 위한 영상전처리단계(S1920); 상기 전처리된 영상 데이터에 대하여 인공지능 신경망을 이용한 분류, 학습 및 판단을 포함하는 인공지능 영상처리를 수행하는 인공지능영상처리단계(S1930); 상기 위치 추적 가능 데이터 및 인공지능 영상처리에 따라 대상체를 인식하는 대상체인식단계(S1940); 및 해상에 위치한 대상체들의 위치 및 상태를 모니터링하는 관리단계(S1970)를 포함한다.
상기 영상전처리단계(S1920)는, 대비도를 이용하여 상기 영상 데이터의 품질을 개선하는 대비조정단계(S2010); 비선형 전달함수를 이용하여 상기 영상 데이터의 품질을 개선하는 감마보정단계(S2020); 보정된 영상 데이터의 잡음을 제거하는 중간값필터링단계(S2030); 기설정된 제1주파수보다 높은 주파수 성분을 제거하는 저주파통과필터링단계(S2040); 기설정된 제2주파수보다 높은 주파수 성분을 통과시키는 고주파통과필터링단계(S2050); 및 자동식별장치로부터 위치 데이터를 전달받아 상기 대상체의 위치를 결정하여 위치 추적 가능 데이터로 출력하는 대상체위치결정단계(S2060)를 포함하는 것을 특징으로 한다.
상기 인공지능영상처리단계(S1930)는, 상기 전처리된 영상 데이터의 모든 픽셀을 해당하는 클래스로 분류하여 세그멘테이션 맵으로 출력하는 시멘틱세그멘테이션단계(S2110); 입력 영상의 확률분포 및 분산을 계산하는 확률분포및분산계산단계(S2120); 랜덤 변수(노이즈)를 입력받아 상기 계산한 확률분포 및 분산을 이용하여 트레이닝 세트를 생성하는 트레이닝세트생성단계(S2130); 생성자의 목적함수를 수정하는 목적함수수정단계(S2140); 상기 생성자의 학습 이전에 판별자에게 임의의 횟수 번 학습을 제공하는 사전 판별자 학습제공단계(S2150); 상기 트레이닝세트생성단계에서 생성된 트레이니 세트에 대하여 참 또는 거짓을 판단한 판별 결과를 출력하는 판별단계(S2160); 하드웨어적인 한계에 대응하여 배치사이즈를 결정하는 배치사이즈결정단계(S2170); 및 영상 데이터에 대하여 상기 결정된 배치사이즈 크기로 학습하는 학습단계(S2180)를 포함하는 것을 특징으로 한다.
상기 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법은, 상기 비행체로부터 획득한 영상 데이터의 오차를 처리하는 오차처리단계(S1950); 및 대상체들의 이동경로를 파악하여 각 대상체의 위험도를 평가하는 위험도평가단계(S1960)를 더 포함하는 것을 특징으로 하고, 상기 오차처리단계(S1960)는, 상기 영상 데이터로부터 배경을 제거하여 대상체가 존재하는 영역으로 정의하는 배경제거단계; 현재 시각에서 인식된 대상체가 그전에 일정한 시간의 범위 내에서 같은 물체로 인식되는 정도를 평가하는 유사도평가단계; 인식된 대상체가 시간에 따라 위치 및 변위량의 연속성을 유지하는지를 판단하는 연속성판단단계; 및 상기 유사도평가단계의 평가 결과 및 상기 연속성판단단계의 판단 결과에 따라 오차를 보정하는 오차보정단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따르면, 상기 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체가 제공되는 것을 특징으로 한다.
아울러, 본 발명의 일 실시예에 따르면, 상기 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법을 구현하기 위해, 컴퓨터 판독 가능한 기록매체에 저장된 프로그램이 제공되는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법에 의하면, 헬리카이트와 같은 비행체를 통해 획득한 영상으로부터 해상에 존재하는 물체를 분류 및 인공지능 영상 처리를 수행하여 찾고자 하는 대상체를 정의하고, 대상체와 배경을 분류하고, 선박들의 위치를 지속적으로 송출하는 자동식별장치와 연계하여 대상체 추적 가능 데이터로 출력함으로써, 외부 환경 변화에 따른 영상 데이터의 품질을 높이고, 해상의 현재 상황 감시, 선박의 자동 인식 및 추적, 및 위험 상황 알림이 가능한 효과가 있다.
또한, 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법에 의하면, 비행체로부터 얻어진 영상 데이터에 대한 카메라의 관측 영역 변경, 조명, 태양광, 파도, 배경 물체의 이동 등과 같은 외부 환경 변화를 줄이는 전처리 과정을 수행함으로써, 인공지능 영상 분석시 분석 오차가 발생할 확률이 줄어들어, 조금 더 정확한 분석 결과를 제공할 수 있는 효과가 있다.
또, 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법에 의하면, 헬리카이트에 장착된 카메라로부터 얻어진 해양 영상을 분석하여, 주어진 영상으로부터 움직이는 물체를 인식하고, 움직이는 물체의 위치를 파악하고, 추적하여, 대상체의 운동을 예상하여, 항행의 충돌 위험을 판별하고, 위험을 인지 할 수 있도록 정보를 제공함으로써, 충돌과 같은 위험을 예방하는 효과가 있다.
도 1은 본 발명이 적용되는 전체 시스템의 개념도.
도 2는 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템의 구성도.
도 3은 도 2의 영상 전처리부의 상세 구성도.
도 4는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 대비도 조정에 의한 영상 품질 개선을 보여주는 사진들.
도 5는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 감마 보정에 의한 영상 품질 개선을 보여주는 사진들.
도 6은 도 2의 인공지능 영상처리부의 상세 구성도.
도 7은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 시멘트 세그멘테이션을 설명하기 위한 도면.
도 8은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 GAN을 설명하기 위한 도면.
도 9는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 유-넷을 설명하기 위한 도면.
도 10은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 패치GAN을 설명하기 위한 도면.
도 11a는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 픽스2픽스 모델의 생성자에 대한 설명도.
도 11a는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 픽스2픽스 모델의 판별자에 대한 설명도.
도 12는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 배치사이즈에 따른 성능을 설명하기 위한 도면.
도 13은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 스킵 레이어에 대한 설명도.
도 14는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 인공지능 영상처리에 따른 결과 이미지.
도 15는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 인공지능 영상처리에 적용한 파라미터들에 대한 설명도.
도 16은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용한 픽스2픽스 모델의 테스트 결과를 나타내는 도면.
도 17은 도 2의 오차 처리부의 상세 구성도.
도 18은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 연속성 판단 방법에 대한 설명도.
도 19는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법의 일실시예 흐름도.
도 20은 도 19의 영상전처리단계의 상세 흐름도.
도 21은 도 19의 인공지능영상처리단계의 상세 흐름도.
*도면의 주요부호에 대한 상세한 설명*
100: 분석서버 200: 비행체
300, 400: 선박(대상체) 500: 관제센터
101: 송수신부 102: 제어부
103: 영상 전처리부 104: 데이터베이스 관리부
105: 인공지능 영상처리부 106: 오차 처리부
107: 위험도 평가부 600: 자동식별장치
700: 관리자 단말기 800: 사용자 단말기
301: 대비 조정부 302: 감마 보정부
303: 중간값 필터링부 304: 저주파 통과 필터링부
305: 고주파 통과 필터링부 306: 대상체 위치 결정부
601: 시멘틱 세그멘테이션 처리부 602: 확률분포 및 분산 계산부
603: 생성자 604: 목적함수 수정부
605: 사전 판별자 학습제공부 606: 판별자
607: 배치 사이즈 결정부 608: 학습부
1701: 배경 제거부 1702: 유사도 평가부
1703: 연속성 판단부 1704: 오차 보정부
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.
설명에 앞서, 본 명세서(및 특허청구범위)에서 사용되는 용어에 대해 간단히 설명하도록 한다.
선박자동식별장치는 항구 및 연안에서의 충돌방지와 해상교통관리를 효과적으로 하기 위하여, 선박이름 및 종류, 위치정보, 진행속도, 진행방향, 항해와 관련된 정보 등을 국제적으로 규정된 초단파주파수 회선을 통하여 주기적으로 송수신하고, 육상 및 다른 선박과 정보 및 관련 데이터를 자동으로 교환하는 장치를 말한다.
본 발명은 비행체에서 얻은 영상을 이용하여 해상에서 존재하는 여러 가지 물체에 대한 구분하고 정의할 수 있는 인공지능 영상 분석 알고리즘 개발에 관한 것이다. 이를 위해, 해상에 존재하는 여러 가지 형상에 대하여 - 선박과 같은 부유물, 바다, 하늘, 섬, 항만과 같은 배경 - 이를 정의하고 대상체와 배경을 분류에 필요한 데이터 제작 및 학습과 검증에 필요한 여러 가지 중요 인자들을 정의하고, 이를 이용하여 알고리즘의 개발 및 성능 개선 등에 필요한 사항 등을 정의한다.
본 발명은 헬리카이트와 같은 비행체로부터 얻어진 영상에서 찾고자 하는 대상체를 정의하고, 인공지능 신경망을 이용하여 상기 영상에서 배경을 삭제하여 대상체가 존재하는 영역으로 구분한다.
또한, 본 발명은 비행체로 계측되는 실제 관측 영상을 분석하고, 인공지능 신경망에서 활용 가능한 데이터로 제작하는 작업을 수행하고, 최적의 인공 신경망을 설계하고, 제작된 데이터를 이용하여 설계된 신경망을 학습하고, 검증을 수행한다.
즉, 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템은 인공지능 영상처리 알고리즘을 이용하여 선박 인식 및 추적 정보를 제공하는 것을 특징으로 한다.
도 1은 본 발명이 적용되는 전체 시스템의 개념도이고, 도 2는 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템의 구성도이다.
도 1을 참고하면, 본 발명이 적용되는 전체 시스템은 비행체(200), 상기 비행체(200)로부터 해상의 선박들(300,400)의 영상을 촬영한 영상 데이터를 전달받아 인공지능 영상 처리를 수행하는 분석서버(100), 및 상기 분석서버로부터 전달받은 데이터를 출력하여 실시간으로 상기 해상의 상황을 모니터링하도록 해주는 관제센터(500)를 포함한다.
도 2를 참고하면, 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템은, 비행체(200), 분석서버(100), 자동식별장치(600), 관리자 단말기(700), 및 사용자 단말기(800)를 포함한다.
상기 비행체(200)는 영상획득수단 및 통신수단을 구비하며, 해상에서 상기 영상획득수단을 통해 획득한 영상데이터를 상기 통신수단을 통해 상기 분석서버(100)로 전송한다.
상기 분석서버(100)는, 상기 비행체(200)로부터 영상 데이터를 전달받아 전처리 및 인공지능 영상 처리를 수행하고 선박들의 위치 정보를 지속적으로 송출하는 자동식별장치(600)와 연계함으로써, 해상의 상황을 인식 및 모니터링가능하다.
상기 분석서버(100)는 알림 상황이 있는 경우 관리자 단말기(700) 또는 사용자 단말기(800)에게 알림 메시지 또는 알림 데이터를 전송한다.
상기 분석서버(100)는, 송수신부(101), 영상 전처리부(103), 인공지는 영상처리부(105), 데이터베이스(104) 및 제어부(102) 등을 포함한다.
상기 송수신부(101)는 상기 영상 데이터 및 상기 선박들의 위치 정보를 수신하고, 인공지능 영상 분석에 따른 알림 메시지 또는 알림 데이터를 관리자 단말기(700) 또는 사용자 단말기(800)로 전달한다.
상기 영상 전처리부(103)는 상기 영상 데이터의 전처리를 수행한다. 상기 영상 전처리부(103)는 상기 비행체(200)로부터 전달받은 영상 데이터의 전처리를 수행한다. 본 발명에 따른 이러한 처리 과정은 후술하기로 한다.
상기 인공지능 영상처리부(105)는 상기 전달받은 영상 데이터에서 찾고자 하는 대상체를 정의하고, 상기 대상체와 배경을 분류하고, 인공지능 신경망을 이용하여 데이터를 처리하여 대상체 추적 가능 데이터 형태로 출력한다.
상기 데이터베이스(104)는 대상체에 관한 데이터, 상기 전달받은 영상데이터, 위치 데이터, 전처리를 위한 데이터, 상기 인공지능 영상처리부(105)에서 사용되는 알고리즘, 및 학습 데이터 등을 저장한다.
상기 제어부(102)는 상기 송수신부(101), 상기 영상 전처리부(103), 상기 인공지능 영상처리부(105), 및 상기 데이터베이스(104) 간의 데이터의 흐름을 제어하고, 상기 대상체의 위치 추적 및 모니터링을 수행한다.
상기 송수신부(101), 상기 제어부(102), 상기 영상전처리부(103), 상기 데이터베이스 관리부(104) 및 상기 인공지능 영상처리부(105)는 그 중 적어도 일부가 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
여기서, 통신 네트워크는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망, 도시권 통신망, 광역 통신망 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 발명에서 말하는 통신 네트워크는 공지의 월드와이드웹일 수 있다.
상기 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템은 통신 네트워크를 통하여 상기 관리자 단말기(700) 및 상기 사용자 단말기(800)와 통신하며, 단말기(700, 800)로/으로부터 선박 인식 및 모니터링 정보 제공에 필요한 데이터를 전송/수신한다.
상기 단말기(700, 800)는 해상 상태 모니터링에 관심을 가진 자가 통신 네트워크를 통하여 상기 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터, 노트북 컴퓨터 등), 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 단말기(700, 800)로서 채택될 수 있다.
상기 데이터베이스 관리부(104)는, 미리 정의된 대상체에 대한 정보를 저장하고 있는 대상체 데이터베이스(104a), 비행체(200)로부터 전달받은 영상 데이터를 저장하고 있는 영상 데이터 데이터베이스(104b), 상기 자동식별장치(600)로부터 전달받은 위치 데이터를 저장하고 있는 위치 데이터 데이터베이스(104c), 영상의 전처리를 위한 데이터 및 알고리즘을 저장하고 있는 전처리 데이터 데이터베이스(104d), 인공지능 알고리즘을 저장하고 있는 인공지능 알고리즘 데이터베이스(104e), 및 학습 데이터를 저장하고 있는 학습 데이터 데이터베이스(104f) 등을 포함할 수 있다.
상기 실시예에서는, 본 발명의 구현을 위한 정보를 저장하는 데이터베이스를대상체 데이터베이스(104a), 영상 데이터 데이터베이스(104b), 위치 데이터 데이터베이스(104c), 전처리 데이터 데이터베이스(104d), 인공지능 알고리즘 데이터베이스(104e) 및 학습 데이터 데이터베이스(104f)의 어섯 가지 데이터베이스로 분류하였지만, 이러한 분류를 포함한 데이터베이스의 구성은 당업자의 필요에 따라 변경될 수 있다.
한편, 본 발명에 있어서, 데이터베이스란, 협의의 데이터베이스뿐만 아니라, 컴퓨터 파일 시스템에 기반을 둔 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스까지 포함하는 개념으로서, 단순한 연산 처리 로그의 집합이라도 이를 검색하여 소정의 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스에 포함될 수 있음이 이해되어야 한다.
한편, 상기 분석서버(100)는, 상기 비행체(200)로부터 획득한 영상 데이터의 오차를 처리하기 위한 오차 처리부(106), 및 대상체들의 이동경로를 파악하여 각 대상체의 위험도를 평가하기 위한 위험도 평가부(107)를 더 포함한다.
도 3은 도 2의 영상 전처리부의 상세 구성도이다.
도 3에 도시된 바와 같이, 도 2의 영상 전처리부(103)는, 대비 조정부(301), 감마 보정부(302), 중간값 필터링부(303), 저주파 통과 필터링부(304), 고주파 통과 필터링부(305), 및 위치 결정부(306)를 포함한다.
상기 대비 조정부(301)는 대비도를 이용하여 상기 영상 데이터의 품질을 개선한다.
상기 감마 보정부(302)는 비선형 전달함수를 이용하여 상기 영상 데이터의 품질을 개선한다.
상기 중간값 필터링부(303)는 보정된 영상 데이터의 잡음을 제거한다.
중간값 필터는 영상처리 분야에서 가장 많이 사용되는 잡음제거 필터로, 이웃하는 화소들의 영상값을 순차적으로 나열하였을 때 중간에 위치하는 값과 픽셀값을 비교하여, 오차를 판단하고, 오차일 경우 중간값을 이용하여 잡음을 제거하는 방법이다.
상기 저주파 통과 필터링부(304)는 기설정된 제1주파수보다 높은 주파수 성분을 제거한다.
상기 고주파 통과 필터링부(305)는 기설정된 제2주파수보다 높은 주파수 성분을 통과시킨다.
상기 위치 결정부(306)는 자동식별장치(600)로부터 위치 데이터를 전달받아 상기 영상 데이터의 위치를 결정하여 위치 추적 가능 데이터로 출력한다.
도 3에서는 입력되는 영상 데이터가 모든 구성요소에서 전처리되는 것을 예로 들었으나, 본 발명이 이에 한정되는 것은 아니며, 입력된 영상 데이터의 특징에 따라 처리가 필요한 구성요소에서만 전처리되는 것 역시 가능하다.
도 4는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 대비도 조정에 의한 영상 품질 개선을 보여주는 사진들이다.
대비조정은 물체를 다른 물체와 구별할 수 있도록 시각적인 특성 차이를 조정하는 것을 말한다. 즉, 대비도를 증가시키면 보다 선명하게 배경과 대상체 영역을 구분할 수 있게 된다.
하기 [수학식 1]은, 대비도를 나타내는 식으로, c는 색상의 밝기를 의미한다.
Figure PCTKR2020018121-appb-M000001
즉, 주어진 색상의 표현 영역을 조절하여, 전체 영상의 대비도를 증가시킬 수 있으며, 도 4의 (a)는 대비도 조정 전의 사진이고, (b)는 대비도를 증가시킨 후의 사진이다. 안개 낀 영상에서 항만과 선박의 형상이 좀 더 명확하게 보이는 것을 알 수 있다.
도 5는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 감마 보정에 의한 영상 품질 개선을 보여주는 사진들이다.
감마 보정은 비선형 전달 함수를 사용하여 카메라나 그래픽의 영상을 개선하는 방법으로, 영상 전체를 밝게 하거나, 어둡게 하여 영상을 개선한다.
도 5의 (a)는 감마 보정 전의 사진이고, (b)는 감마 보정 후의 사진이다. 도5는 감마 보정의 일예로써, 전체 영상이 어두운 방향으로 변경되었음을 알 수 있다.
도 6은 도 2의 인공지능 영상처리부의 상세 구성도이다.
도 6에 도시되 바와 같이, 도 2의 인공지능 영상처리부(105)는, 시멘틱 세그멘테이션 처리부(601), 확률분포 및 분산 계산부(602), 생성자(603), 목적함수 수정부(604), 판별자(606), 사전 판별자 학습제공부(605), 배치 사이즈 결정부(607), 및 학습부(608)를 포함한다.
상기 시멘틱 세그멘테이션 처리부(601)는 상기 전처리된 영상 데이터의 모든 픽셀을 해당하는 클래스로 분류하여 세그멘테이션 맵으로 출력한다.
상기 확률분포 및 분산 계산부(602)는 입력 영상의 확률분포 및 분산을 계산한다.
상기 생성자(603)는 랜덤 변수(노이즈)를 입력받아 상기 상기 확률분포 및 분산 계산부(602)에서 계산한 확률분포 및 분산을 이용하여 트레이닝 세트를 생성한다.
상기 목적함수 수정부(604)는 상기 생성자(603)의 목적함수를 수정한다.
상기 판별자(606)는 상기 생성자(603)가 생성한 트레이닝 세트에 대하여 참 또는 거짓을 판단하여 출력한다.
상기 사전 판별자 학습제공부(605)는 상기 생성자(603)의 학습 이전에 상기 판별자(606)에게 임의의 횟수 번 학습을 제공한다.
상기 배치 사이즈 결정부(607)는 하드웨어적인 한계에 대응하여 인공지능 영상처리를 위한 배치 사이즈를 결정한다.
상기 학습부(608)는 상기 결정된 배치 사이즈에 따라 인공지능 영상 처리를 위해 상기 생성자와 판별자에게 학습을 제공한다.
도 7은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 시멘트 세그멘테이션을 설명하기 위한 도면이다.
도 7을 참고하면, 시멘트 세그멘테이션은 영상의 모든 픽셀을 해당하는 클래스로 분류하는 것이다. RGB 또는 Gray Scale 이미지를 입력값으로 받으면, 출력값이 픽셀이 어느 클래스에 속하는지 시멘틱 라벨을 나타내는 세그멘테이션 맵으로 출력한다. 도 7은 시멘틱 세그멘테이션의 일 예를 보여주고 있다. 입력 영상에서 대상체와 배경의 각각 특징들을 서로 다른 그룹으로 정의하여 영역을 분할하고, 라벨링 한다.
도 8은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 GAN을 설명하기 위한 도면이다.
영상처리 기술은 실험적인 외부환경 (바람, 구름, 건물, 날씨 등) 뿐만 아니라, 그림자와 같은 여러 가지 현상들의 의해 오차가 발생하고, 이는 사용자가 직접 옵션을 수정하거나 손으로 제거해줘야 하는 번거로움이 존재한다. 이러한 번거로움을 줄이기 위해 스스로 상황을 판단하고, 최적의 영역을 결정하는 인공지능기술을 이용한 알고리즘이 필요하다. 이를 위해 본 발명에는 AI 기술 중에 현재 많이 사용되고 있는 딥러닝 신경망 알고리듬을 이용하여 대상 영역을 구분하고 처리한다.
딥러닝은 기본적으로 지도학습 방법 및 비지도학습 방법으로 나뉜다.
지도학습 방법은 학습데이터로부터 하나의 해를 구하는 기계학습의 한 방법으로, 학습데이터는 올바른 하나의 입출력 쌍으로 구성되어 있다. 학습의 목표치가 정확히 주어짐으로써 빠르고 정확한 해를 구할 수 있으며, 선형 회귀 분석, 제어, 계측 등에 많이 사용된다.
한편, 비지도학습 방법은 입력데이터만 주어지고 출력데이터가 따로 정해져 있지 않는 학습방법으로, 스스로 최적의 군집군을 형성하여 결과를 도출한다. 차원축소나, 데이터의 분류, 확률 및 통계처리 등과 같은 목적으로 많이 사용된다.
지도학습 및 비지도학습은 최종적으로 데이터를 기반으로 미래를 예측하는 것이라 할 수 있다. 하지만 지도학습은 정답이 주어진 데이터만을 사용할 수 있기 때문에 사용할 수 있는 데이터의 양에 한계가 있다. 이에 따라 지도학습 방법보다 비지도학습 방법이 많이 사용되고 있다.
이러한 비지도학습의 가장 대표적인 선두주자로는 생성적 적대 신경망 GAN이 많이 사용되고 있다.
지도학습을 위해서는 정답이 주어진 많은 데이터가 필요하다. 하지만 학습에 필요한 모든 데이터를 제공하기에는 한계가 있다. 여기서, 만약 입력데이터의 확률분포와 분산을 알고 있다면, 랜덤 변수(노이즈)를 이용하여 원본 데이터와 유사한 무한히 많은 새로운 입력데이터를 생성할 수 있음을 의미한다. 즉, 모든 데이터에 대한 정답을 개발자가 알려줘야 하는 학습모델은 시간 및 리소스의 한계라는 단점이 있고, 궁극적으로 미래의 인공지능은 비지도학습이 이끌어갈 것이라고 많은 전문가들이 예측하고 있다.
특히, GAN은 2014년 NIPS에서 lan Goodfellow가 발표한 회귀생성 모델로서 분류를 담당하는 모델(판별자)과 회귀생성을 담당하는 모델(생성자)로 구성되어 있다. 두 모델은 GAN의 이름에서 쉽게 알 수 있듯이, 생성자와 판별자가 서로의 성능을 개선해 적대적으로 경쟁해 나가는 발전해가는 모델이다.
도 8은 GAN의 구조를 설명하고 있다. 생성자는 입력 데이터를 통해 데이터 분포의 특성을 학습하고 예측데이터를 생성하게 된다. 판별자는 실제 입력되는 데이터와 생성자가 생성한 가짜 데이터를 구분하는 역할을 한다.
판별자는 입력데이터와 생성자에서 만들어진 가짜 데이터를 분류할 수 있도록 학습을 수행하고, 생성자는 판별자를 통과할 수 있도록 입력 데이타와 유사한 가짜 데이터를 생산하도록 학습을 수행하여 서로가 서로를 경쟁적으로 발전시키는 구조를 가지고 있다.
[규칙 제91조에 의한 정정 23.02.2021]　
Figure WO-DOC-MATHS-2
상기 [수학식 2]에서, x는 GAN의 생성자와 판별자가 학습하는데 사용되는 목적함수이다. 수식에서 x~
Figure PCTKR2020018121-appb-I000001
는 실제 데이터에 대한 확률분포에서 샘플링한 데이터를 의미하고, z~
Figure PCTKR2020018121-appb-I000002
는 가우시안분포를 사용하는 임의의 노이즈에서 샘플링한 데이터를 의미한다. D(x)는 판별자로 0과 1 사의의 값으로 데이터가 진짜일 확률을 출력한다.
GAN은 생성자와 판별자가 서로 경쟁하며 균형점을 찾는 것을 목적으로 하고 있다. 즉, 판별자의 목적함수는 입력데이터 x를 입력하면 높은 확률을 출력하도록 유도하고, 생성자가 만들어낸 데이터 G(z) 값을 받으면 확률이 낮아지도록 학습을 하게 된다. 반대로 생성자는 판별자가 G(z)를 통해 생성된 가짜 이미지를 진짜라고 판별할 확률을 최대화하는 방향으로 학습을 진행한다.
상기 GAN은 학습이 불안정하다는 단점이 있다. 이러한 단점을 수많은 연구 끝에 안정적인 학습이 가능하도록, 생성자 구조에 CNN을 도입한 모델이 DCGAN으로, 본 발명에서는 DCGAN을 사용하여 구현한다.
도 9는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 유-넷을 설명하기 위한 도면이다.
기존 GAN에서 생성자는 (a)와 같이 Encoder&Decoder 모델을 사용했다. 이는 다운샘플링과 업샘플링의 단방향적인 구조로서 다운샘플링을 수행할 때 공간 데이터의 손실이 발생하게 된다. 이를 (b)와 같이, 유넷구조로의 전환을 통해 해결할 수 있다. 유넷구조는 동일한 사이즈를 가지는 업샘플링의 결과에 Skip Connection을 추가하여 다운샘플링시에 발생하는 공간 데이터의 손실을 보완해주어 향상된 결과를 도출하는 것이다.
즉, 유넷은 인코더-디코더 구조에 스킵 커넥션을 추가한 모델이다. 영상 크기를 줄였다가 다시 키우면 정교한 픽셀 정보가 사라지게 된다. 이는 픽셀 단위로 조밀한 예측이 필요한 이미지 분할에선 큰 문제가 될 수 있다. 이에 인코더에서 디코더로 중요 정보를 직접 넘겨주는 스킵 커넥션을 통해 디코더 부분에서 훨씬 더 선명한 이미지를 결과를 얻게 됨에 따라 더 정확한 예측(분석)이 가능하다.
도 10은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 패치GAN을 설명하기 위한 도면이다.
(a)에 도시된 픽셀GAN은 1x1 patch에 대해 진위 여부를 확인하고, (b)에 도시된 패치GAN은 NxN 사이즈의 패치 영역에 대해 진위를 판단하고, (c)에 도시된 이미지GAN은 일반적으로 알고 있는 바닐라GAN처럼 전체 영역에 대해 진위 여부를 판단한다.
기존의 GAN 판별자는 이미지GAN의 판별자로 이미지의 다운샘플링을 통한 1x1의 이진화된 결과 0, 1을 통해 진짜 이미지와 가짜 이미지의 구분만을 수행했다. 그러나, 본 발명에서는 (b)에 도시된 패치GAN 판별자를 사용한다. 패치GAN 판별자는 NxN개의 커널 데이터를 통해 하나에 영상에 대한 여러 개의 출력 결과를 도출해 이미지 전체를 진짜와 가짜로 구분하는 것이 아니라, 이미지의 각 부분을 진짜와 가짜로 구분하는 방식을 사용한다.
패치GAN 방식은, 전체 이미지가 아니라 작은 이미지 패치 단위에 대해 슬라이딩 윈도우가 지나가며 연산을 수행하므로 파라미터 개수가 훨씬 작아진다. 이로 인해 연산 속도가 더 빨라지고, 전체 이미지 크기에 영향을 받지 않아 구조적 관점에서 유연성을 보인다.
도 11a는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 픽스2픽스 모델의 생성자에 대한 설명도이고, 도 11a는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 픽스2픽스 모델의 판별자에 대한 설명도이다.
도 11a 및 11b에는 스타일 트랜스퍼에 쓰이는 픽스2픽스 모델이 도시되어 있다.
도 11a를 참조하면, 생성자는 7개의 다운샘플링 층과 7개의 업샘플링 층 총 14개의 층으로 구성되며 다운샘플링과 업샘플링의 공간 데이터 손실을 최소화하기위한 6개의 Skip Connection 층이 추가적으로 존재한다. 도 11b를 참조하면, 판별자는 입력이미지와 출력이미지를 입력으로 받아 두 데이터를 Concatenate한 값을 4개의 다운샘플링 층을 통해 (30, 30, 1)의 결과로 출력한다. 이 결과는 출력이미지를 30x30으로 나누어 각 부분을 진위판별을 진행한 결과가 된다.
판별자의 목적함수는 그대로 두되, 생성자의 목적함수에는 L1 놈값을 임의의 λ만큼(기설정된 변수만큼) 영향을 주어 더하는 방식으로 단순히 판별자를 속이는 것만이 아니라 실제 시행 실측 자료에 가까운 결과를 출력하도록 유도한다.
본 발명에서는, 판별자의 1회 선 학습 후에 이어서 생성자를 1회 학습하는 방법이 아니라 WGAN 모델에서 사용한 방식에 따라, 생성자의 학습 이전에 판별자를 임의의 횟수 n번 학습하여 강한 판별자의 형성을 통해 향상된 생성자의 결과를 유도하는 방식을 사용한다.
최적화 함수는 픽스2픽스 모델의 학습에 사용된 최적화 함수와 동일한 Adam 최적화 함수(Adam: A Method for Stochastic Optimization, Diederik P. Kingma, and Jimmy Ba)를 사용한다.
도 12는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 배치사이즈에 따른 성능을 설명하기 위한 도면이다.
배치 정규화는 현재 대부분의 딥러닝 모델에 사용 되는 기술이다. 네트워크에서 만들어지는 피쳐의 평균과 분산값을 배치 단위로 계산해서 정규화 시켜주는 기술이다. 이때 계산되는 평균값은 비록 배치내에서만 계산되지만 배치의 크기가 충분히 크면, 구해진 평균과 분산이 데이터셋 전체의 평균과 분산을 대표할 수 있다는 가정을 가지고 있다. 배치 정규화를 이용하면 상당히 깊은 네트워크도 더 빠르고 안정적으로 학습시킬 수 있고 네트워크의 generalization 성능도 좋아진다고 알려져 있다. 하지만 아무때나 배치 정규화를 사용한다고 해서 성능이 보장되는 것은 아니다. 도 12의 그래프에서 보여지는 바와 같이 배치 정규화 배치의 크기가 작으면 배치에서 구하는 값이 데이터셋 전체를 대표한다고 보기 어려워지고, 구해지는 평균과 분산도 매 iteration마다 들쭉날쭉하게 된다. 때문에 배치 크기가 작을 때 BN을 사용하게 되면 배치가 클 때에 비해 상당히 떨어지는 성능을 보여주게 된다. 이를 극복하기 위해 소개된 것이 그룹 정규화이다.
레이어 정규화와 인스턴스 정규화와 같은 기술들이 있다. 도 12를 참고하면, 배치 정규화, 레이어 정규화, 인스턴스 정규화, 그룹 정규화가 어떤 기술들인지 한눈에 볼 수 있는데, 표시된 바와 같이 레이어 정규화는 각 채널과 영상전체를 모두 정규화 시켜주는 기술이고, 인스턴스 정규화는 각 채널 단위로 정규화 시켜주는 기술이다. 그룹 정규화의 경우에는 레이어 정규화와 인스턴스 정규화의 절충된 형태로 볼 수 있는데, 각 채널을 N개의 그룹으로 나누어 정규화 시켜주는 기술이다. 도 12에서, N은 배치 축 이고, C는 채널의 축이고, H, W는 공간 축이다.
즉, 실제 모델을 학습함에 있어 하드웨어적인 한계가 존재함은 분명하다. 배치 사이즈가 무한정 커질 수는 없기에 하드웨어적 한계에 맞춰 배치 사이즈를 정하게 된다. 도 12는 배치 사이즈에 따른 실제 모델의 학습 결과이다. 배치 사이즈가 감소할 경우 배치정규화를 사용한 모델의 에러율은 분명하게 증가하지만, 그룹정규화를 사용한 모델의 경우에는 배치 사이즈와 무관하게 합리적인 에러율을 유지하는 것을 볼 수 있다. 또한, 그룹정규화의 일종인 인스턴스 정규화가 스타일 변환 문제에서 더욱 만족스러운 결과를 낸다는 결과도 있어, 인스턴스 정규화를 적용할 수도 있다.
도 13은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 스킵 레이어에 대한 설명도이다.
FCN이 주목한 부분은 이미 분류 문제에서 성능을 검증 받은 좋은 네트워크들등을 이용하는 점이다. 분류 문제의 대부분은 네트워크의 후미단에 분류를 위해 fully connected layer가 존재하는데, 이는 고정된 크기의 입력만을 받아들이는 문제가 존재한다. 또한, 결정적인 문제점은 공간 정보가 사라진다는 점이다. 세그멘테이션을 공간정보의 소실과 함께 수행한다는 것은 불가능에 가깝다. 하지만 FCN은 fully connected layer를 1x1 convolution으로 볼 수 있다는 점에 착안하여, 공간정보를 살리게 되고, 입력이미지의 크기 제한 또한 벗어날 수 있게 되었다.
하지만 여러 단계의 Convolution과 Pooling을 거치게 되면 Feature-map의 크기가 줄어들게 되고, 이를 다시 원본 영상과 같이 다시 키우는 과정이 필수적이게 된다. 가장 쉬운 방법은 Bilinear Interpolation을 사용하면 되지만, 이는 단순하게 Upsampling하는 과정으로 공간정보의 손실이 필연적이므로 일정 수준 이상의 결과를 기대하기 어렵다. FCN에서는 도 13에서와 같이, Skip Layer의 개념을 도입함으로서 공간정보의 손실을 줄여 성능을 높인다.
도 14는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 인공지능 영상처리에 따른 결과 이미지이다.
도 14는, 영상 처리에 따른 결과 이미지로, VGG-16 모델의 Fully connected layer를 1x1 convolution으로 변형하여 구현하였고, Deconvolution 과정은 Upsampling 레이어가 아닌 Transposed pooling 레이어를 사용하여 구현하였다. 하이퍼 파라미터의 대부분은 원 논문을 참고하여 설정했으며, 테스트 데이터는 Oxford IIIT의 Interactive Image Segmentation Dataset을 활용하였다. 데이터는 대략 150장 정도로 매우 적은 양이기에, 수직&수평 방향으로의 Flipling, 회전, 색조변화, Contrast변화 등과 같은 Augmentation을 랜덤으로 수행하여 데이터를 3775장으로 확장하고 진행하였다.
도 15는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서 인공지능 영상처리에 적용한 파라미터들에 대한 설명도이고, 도 16은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용한 픽스2픽스 모델의 테스트 결과를 나타내는 도면이다.
도 15 및 16을 참고하면, 테스트모델은 픽스2픽스 모델을 기반으로 구현하였으며, 테스트용 데이터셋은 CITYSCAPES에서 공유하는 자동차 주행영상을 사용하였다. 도 15는 테스트모델의 학습에 사용된 파라미터다. 입력이미지의 크기는 (256, 256, 3)으로 RGB 채널의 입력을 받는 것으로 진행했으며, 생성자에서 이진화된 (256, 256, 3) 크기의 이미지가 출력되는 것으로 구성된다. 생성자와 판별자의 최적화 함수의 파리미터는, 학습률은 4e-5, Beta_1는 0.5, Epsilon은 1e-6으로 동일한 값을 사용하였다. 또한, 목적함수에서 생성자가 Ground Truth에 가까운 결과를 출력하도록 돕는 파라미터인
Figure PCTKR2020018121-appb-I000003
는 1000을 사용하였고, 판별자는 생성자의 학습에 앞서 매 학습마다 2번씩 선행(사전) 학습하는 방식으로 모델의 학습을 진행하였다. 총 학습은 영상처리를 통해 생성된 약 2000장의 이미지쌍(원본, 마스크)을 통해 진행했고, 각 에폭마다 250번의 이터레이션을 통해 60 에폭만큼 진행하여 Loss값이 가장 낮은 경우의 모델을 저장하였다.
도 17은 도 2의 오차 처리부의 상세 구성도이다.
도 17에 도시된 바와 같이, 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템의 오차 처리부(106)는, 배경 제거부(1701), 유사도 평가부(1702), 연속성 판단부(1703), 및 오차 보정부(1704)를 포함한다.
상기 배경 제거부(1701)는 상기 전처리된 영상 데이터로부터 배경을 제거하여 대상체가 존재하는 영역으로 정의한다.
상기 유사도 평가부(1702)는 현재 시각에서 인식된 대상체가 그전에 일정한 시간의 범위 내에서 같은 대상체로 인식되는 정도를 평가한다.
상기 연속성 판단부(1703)는 인식된 대상체가 시간에 따라 위치 및 변위량의 연속성을 유지하는지를 판단하고, 예측 위치 데이터를 출력한다.
상기 오차 보정부(1704)는 상기 유사도 평가부의 평가 결과 및 상기 연속성 판단부의 판단 결과에 따라 오차를 보정한다.
물체를 추적하기 위해서는 먼저 영상 내에서 물체가 존재하는 관심 영역과, 물체와 존재하지 않는 배경 영역으로 영상을 구분하는 작업이 필요하다. 즉, 영상으로부터 배경을 제거한 나머지 영역을 구하고, 이를 대상체가 존재하는 영역으로 영역처리를 통하여 위치를 결정하게 된다. 이러한 배경 영상 제거에 가장 많이 사용되는 방법은 배경 영상을 제작하여 사용하는 방법으로 배경 영상 제작에는 여러가지 방법들이 존재하지만, CCTV와 같이 고정된 위치에서 관측하는 것이 아닌 상대적으로 움직임이 많은 헬리카이트와 같이 장치에서는 시간에 따라 배경영상이 많은 움직임을 가지게 된다. 배경 영상을 계속해서 갱신하고, 적용함으로서 헬리카이트의 움직임의 영향을 최소화 하는 방법을 사용하여 배경 영상을 제작한다.
헬리카이트로부터 얻어진 영상은 관측 환경에 의해 여러 가지 오차를 포함하고 있다. 이러한 영상 오차를 제거하기 위하여 대상체의 유사성과 연속성을 판단하여. 오차를 제거 한다.
현재 시간에서 검색된 물체가 오차나 빛의 영향이 아니라면, 그 전 시각의 일정한 범위 내에 존재하는 물체 중에서 형상이나 색상의 패턴이 유사한 영상을 가져야 한다. 두 영상의 유사도 평가는 하기의 [수학식 3]과 같은 상호상관식을 이용하여 판단한다.
[수학식 3]에서 S는 유사도 이고, f, g는 두 물체의 영상 정보이다. 두 물가 완전히 같을 경우 1을, 완전히 반대일 경우 -1의 값을 가진다. 따라서, 유사도가 0.5보다 작을 경우 알고리즘의 오차로 인식하고 제거하게 된다.
Figure PCTKR2020018121-appb-M000003
도 18은 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 적용되는 연속성 판단 방법에 대한 설명도이다.
배경이 제거된 영상에서 인식된(검색된) 물체(대상체)는 시간에 따라 그 위치 또는 변위량이 일정해야 한다. 이러한 원리를 이용한 것이 연속성 판단이다. 연속성 판단은 시간에 따라 연속적으로 움직이는 물체는 그 전 시각에서의 물체 움직임 벡터를 이용하여 다음 시각의 물체 위치를 예측할 수 있다.
도 18을 참고하면, 1시각(t1)과 2시각(t2)에서의 움직임 벡터를 이용하여 3시각(t3)에서의 위치 예측이 가능하다. 1,2,3 시각의 위치로부터 4시각(t4)의 물체의 위치에 대해서는 2차 정도의 정확도로 예측이 가능하다. 즉, t4에서 예측된 위치의 일정 범위 내에서 객체가 연속적으로 존재할 경우, 정상적인 물체의 움직임으로 인식하며, 그렇지 않을 경우 오차로 제거한다.
즉, 연속성을 이용하여 다음 위치를 예측 가능하고, 같은 방법으로 5시각 이상에서도 물체(대상체)의 위치 예측이 가능하다.
위험도 평가부(107)에서는, 계측된 대상체들의 이동경로를 파악하고, 서로 겹치거나 겹칠 가능성이 있는 대상체를 파악하여 미리 관측자나 사용자에서 정보를 제공한다.
도 19는 본 발명에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법의 일실시예 흐름도이다.
먼저, 영상획득수단 및 통신수단을 구비한 비행체로부터 획득한 영상 데이터를 전달받는다(S1910).
이후, 상기 획득한 영상 데이터의 전처리를 수행하고, 위치 추적 가능 데이터를 생성한다(S1920).
이후, 상기 전처리된 영상 데이터에 대하여 인공지능 신경망을 이용한 분류, 학습 및 판단을 포함하는 인공지능 영상처리를 수행한다(S1930)
이후, 상기 위치 추적 가능 데이터 및 인공지능 영상처리에 따라 대상체를 인식한다(S1940).
이후, 해상에 위치한 대상체들의 위치 및 상태를 모니터링한다(S1970).
또한, 대상체인식단계(S1940) 이후에, 상기 비행체(200)로부터 획득한 영상 데이터의 오차를 처리하고(S1950), 대상체들의 이동경로를 파악하여 각 대상체의 위험도를 평가한다(S1960).
상기 오차처리단계(S1960)는, 상기 영상 데이터로부터 배경을 제거하여 대상체가 존재하는 영역으로 정의하고, 현재 시각에서 인식된 대상체가 그전에 일정한 시간의 범위 내에서 같은 물체로 인식되는 정도를 평가하고, 인식된 대상체가 시간에 따라 위치 및 변위량의 연속성을 유지하는지를 판단한다.
이후, 상기 유사도평가단계의 평가 결과 및 상기 연속성판단단계의 판단 결과에 따라 오차를 보정한다.
도 20은 도 19의 영상전처리단계의 상세 흐름도이다.
영상전처리단계(S1920)에서는, 먼저, 대비도를 이용하여 상기 영상 데이터의 품질을 개선하는 대비조정단계(S2010)가 수행되고, 비선형 전달함수를 이용하여 상기 영상 데이터의 품질을 개선하는 감마보정단계(S2020)가 수행되고, 보정된 영상 데이터의 잡음을 제거하는 중간값필터링단계(S2030)가 수행되고, 기설정된 제1주파수보다 높은 주파수 성분을 제거하는 저주파통과필터링단계(S2040)가 수행되고, 기설정된 제2주파수보다 높은 주파수 성분을 통과시키는 고주파통과필터링단계(S2050)가 수행되고, 자동식별장치로부터 위치 데이터를 전달받아 상기 대상체의 위치를 결정하여 위치 추적 가능 데이터로 출력하는 대상체위치결정단계(S2060)가 수행될 수 있다.
도 21은 도 19의 인공지능영상처리단계의 상세 흐름도이다.
상기, 인공지능영상처리단계(S1930)에서는, 먼저, 상기 전처리된 영상 데이터의 모든 픽셀을 해당하는 클래스로 분류하여 세그멘테이션 맵으로 출력하는 시멘틱세그멘테이션단계(S2110)가 수행된다.
이후, 입력 영상의 확률분포 및 분산을 계산하는 확률분포및분산계산단계(S2120)가 수행된다.
이후, 랜덤 변수(노이즈)를 입력받아 상기 계산한 확률분포 및 분산을 이용하여 트레이닝 세트를 생성하는 트레이닝세트생성단계(S2130)가 수행된다.
이후, 생성자의 목적함수를 수정하는 목적함수수정단계(S2140)가 수행되고, 상기 생성자의 학습 이전에 판별자에게 임의의 횟수 번 학습을 제공하는 사전 판별자 학습제공단계(S2150)가 수행된다.
상기 트레이닝세트생성단계에서 생성된 트레이니 세트에 대하여 참 또는 거짓을 판단한 판별 결과를 출력하는 판별단계(S2160)가 수행된다.
하드웨어적인 한계에 대응하여 배치사이즈가 결정되고(S2170), 상기 생성자 및 판별자가 상기 결정된 배치사이즈 크기로 학습한다(S2180).
이상에서 본 발명의 일 실시예에 따른 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법에 대하여 설명하였지만, 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 및 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 프로그램 역시 구현 가능함은 물론이다.
즉, 상술한 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 다시 말해, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.

Claims (10)

  1. 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에 있어서,
    영상획득수단 및 통신수단을 구비한 비행체(200);
    상기 비행체로부터 영상 데이터를 전달받아 인공지능 영상 처리를 수행하고 선박들의 위치 정보를 지속적으로 송출하는 자동식별장치와 연계함으로써, 해상의 상황을 인식 및 추적하기 위한 분석서버(100); 및
    상기 분석서버로부터 전달받은 데이터를 출력하여 실시간으로 상기 해상의 상황을 모니터링하도록 해주는 단말기(700, 800)
    를 포함하고,
    상기 분석서버(100)는,
    상기 영상 데이터 및 상기 선박들의 위치 정보를 수신하고, 인공지능 영상 분석에 따른 알람 데이터를 상기 단말기로 전달하기 위한 송수신부(101);
    상기 영상 데이터의 전처리를 수행하기 위한 영상 전처리부(103);
    상기 전달받은 영상 데이터에서 찾고자 하는 대상체를 정의하고, 상기 대상체와 배경을 분류하고, 인공지능 신경망을 이용하여 데이터를 처리하여 대상체 대상체 추적 가능 데이터 형태를 출력하기 위한 인공지능 영상처리부(105);
    대상체에 관한 데이터, 상기 전달받은 영상데이터, 위치 데이터, 전처리를 위한 데이터, 상기 인공지능 영상처리부에서 사용되는 알고리즘, 및 학습 데이터를 저장하고 있는 데이터베이스(104); 및
    상기 송수신부, 상기 영상 전처리부, 상기 인공지능 영상처리부, 및 상기 데이터베이스 간의 데이터 흐름을 제어하고, 상기 대상체의 위치 추적 및 모니터링을 수행하기 위한 제어부(102)
    를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템.
  2. 제1항에 있어서,
    상기 영상 전처리부(103)는,
    대비도를 이용하여 상기 영상 데이터의 품질을 개선하기 위한 대비 조정부(301);
    비선형 전달함수를 이용하여 상기 영상 데이터의 품질을 개선하기 위한 감마 보정부(302);
    보정된 영상 데이터의 잡음을 제거하기 위한 중간값 필터링부(303);
    기설정된 제1주파수보다 높은 주파수 성분을 제거하기 위한 저주파 통과 필터링부(304);
    기설정된 제2주파수보다 높은 주파수 성분을 통과시키는 고주파 통과 필터링부(305); 및
    상기 자동식별장치로부터 위치 데이터를 전달받아 상기 영상 데이터의 위치를 결정하여 위치 추적 가능 데이터로 출력하기 위한 위치 결정부(306)
    를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템.
  3. 제2항에 있어서,
    상기 인공지능 영상처리부(105)는,
    상기 전처리된 영상 데이터의 모든 픽셀을 해당하는 클래스로 분류하여 세그멘테이션 맵으로 출력하기 위한 시멘틱 세그멘테이션 처리부(601);
    입력 영상의 확률분포 및 분산을 계산하기 위한 확률분포 및 분산 계산부(602);
    랜덤 변수(노이즈)를 입력받아 상기 계산한 확률분포 및 분산을 이용하여 트레이닝 세트를 생성하기 위한 생성자(603);
    상기 생성자의 목적함수를 수정하기 위한 목적함수 수정부(604);
    상기 생성자가 생성한 트레이닝 세트에 대하여 참 또는 거짓을 판단하여 출력하기 위한 판별자(606);
    상기 생성자의 학습 이전에 상기 판별자를 임의의 횟수 번 학습을 제공하기 위한 사전 판별자 학습제공부(605);
    하드웨어적인 한계에 대응하여 인공지능 영상처리를 위한 배치 사이즈를 결정하기 위한 배치 사이즈 결정부(607); 및
    상기 결정된 배치 사이즈에 따라 인공지능 영상 처리를 위해 상기 생성자와 판별자에게 학습을 제공하기 위한 학습부(608)
    를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템.
  4. 제3 항에 있어서,
    상기 생성자는,
    유넷 인코더/디코더 모델을 사용한 것을 특징으로 하고,
    상기 판별자는,
    패치GAN 판별자를 사용한 것을 특징으로 하고,
    상기 목적함수 수정부는,
    상기 생성자의 목적함수에 표준값을 기설정된 변수만큼 영향을 더하는 방식으로 상기 목적함수를 수정하는 것을 특징으로 하고,
    상기 배치 사이즈 결정부는,
    배치 사이즈를 감소시키는 경우 그룹정규화를 사용하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템.
  5. 제3 항에 있어서,
    상기 생성자 및 상기 판별자는,
    픽스2픽스모델을 사용하여 구성하되,
    상기 픽스2픽스모델에서 상기 생성자는,
    7개의 다운샘플링층 및 7개의 업샘플링층을 포함하여 구성되며, 다운샘플링과 업셈플링의 공간 데이터 손실을 최소화하기 위한 6개의 스킵 커넥션 층을 추가로 포함하고,
    상기 픽스2픽스모델에서 상기 판별자는,
    입력이미지와 출력이미지를 입력받아 두 데이터를 연관시킨 값을 4개의 다운샘플링층을 이용하여 (30,30,1)의 결과로 출력하고, 상기 출력이미지를 (30x30) 사이즈로 나누어 각 부분의 진위 판별 결과를 출력하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템.
  6. 제3 항에 있어서,
    상기 분석서버(100)는,
    상기 비행체로부터 획득한 영상 데이터의 오차를 처리하기 위한 오차 처리부(106); 및
    대상체들의 이동경로를 파악하여 각 대상체의 위험도를 평가하기 위한 위험도 평가부(107)
    를 더 포함하고,
    상기 오차 처리부(106)는,
    상기 영상 데이터로부터 배경을 제거하여 대상체가 존재하는 영역으로 정의하기 위한 배경 제거부(1701);
    현재 시각에서 인식된 대상체가 그전에 일정한 시간의 범위 내에서 같은 대상체로 인식되는 정도를 평가하기 위한 유사도 평가부(1702);
    인식된 대상체가 시간에 따라 위치 및 변위량의 연속성을 유지하는지를 판단하기 위한 연속성 판단부(1703); 및
    상기 유사도 평가부의 평가 결과 및 상기 연속성 판단부의 판단 결과에 따라 오차를 보정하기 위한 오차 보정부(1704)
    를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템.
  7. 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템에서의 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법에 있어서,
    영상획득수단 및 통신수단을 구비한 비행체로부터 획득한 영상 데이터를 전달받는 영상데이터획득단계(S1910);
    상기 획득한 영상 데이터의 전처리를 수행하고, 위치 추적 가능 데이터를 생성하기 위한 영상전처리단계(S1920);
    상기 전처리된 영상 데이터에 대하여 인공지능 신경망을 이용한 분류, 학습 및 판단을 포함하는 인공지능 영상처리를 수행하는 인공지능영상처리단계(S1930);
    상기 위치 추적 가능 데이터 및 인공지능 영상처리에 따라 대상체를 인식하는 대상체인식단계(S1940); 및
    해상에 위치한 대상체들의 위치 및 상태를 모니터링하는 관리단계(S1970)
    를 포함하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법.
  8. 제 7항에 있어서,
    상기 영상전처리단계(S1920)는,
    대비도를 이용하여 상기 영상 데이터의 품질을 개선하는 대비조정단계(S2010);
    비선형 전달함수를 이용하여 상기 영상 데이터의 품질을 개선하는 감마보정단계(S2020);
    보정된 영상 데이터의 잡음을 제거하는 중간값필터링단계(S2030);
    기설정된 제1주파수보다 높은 주파수 성분을 제거하는 저주파통과필터링단계(S2040);
    기설정된 제2주파수보다 높은 주파수 성분을 통과시키는 고주파통과필터링단계(S2050); 및
    자동식별장치로부터 위치 데이터를 전달받아 상기 대상체의 위치를 결정하여 위치 추적 가능 데이터로 출력하는 대상체위치결정단계(S2060)
    를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법.
  9. 제 7항에 있어서,
    상기 인공지능영상처리단계(S1930)는,
    상기 전처리된 영상 데이터의 모든 픽셀을 해당하는 클래스로 분류하여 세그멘테이션 맵으로 출력하는 시멘틱세그멘테이션단계(S2110);
    입력 영상의 확률분포 및 분산을 계산하는 확률분포및분산계산단계(S2120);
    랜덤 변수(노이즈)를 입력받아 상기 계산한 확률분포 및 분산을 이용하여 트레이닝 세트를 생성하는 트레이닝세트생성단계(S2130);
    생성자의 목적함수를 수정하는 목적함수수정단계(S2140);
    상기 생성자의 학습 이전에 판별자에게 임의의 횟수 번 학습을 제공하는 사전 판별자 학습제공단계(S2150);
    상기 트레이닝세트생성단계에서 생성된 트레이니 세트에 대하여 참 또는 거짓을 판단한 판별 결과를 출력하는 판별단계(S2160);
    하드웨어적인 한계에 대응하여 배치사이즈를 결정하는 배치사이즈결정단계(S2170); 및
    상기 생성자 및 상기 판별자가 상기 결정된 배치사이즈 크기로 학습하는 학습단계(S2180)
    를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법.
  10. 제 7항에 있어서,
    상기 비행체로부터 획득한 영상 데이터의 오차를 처리하는 오차처리단계(S1950); 및
    대상체들의 이동경로를 파악하여 각 대상체의 위험도를 평가하는 위험도평가단계(S1960)
    를 더 포함하는 것을 특징으로 하고,
    상기 오차처리단계(S1960)는,
    상기 영상 데이터로부터 배경을 제거하여 대상체가 존재하는 영역으로 정의하는 배경제거단계;
    현재 시각에서 인식된 대상체가 그전에 일정한 시간의 범위 내에서 같은 물체로 인식되는 정도를 평가하는 유사도평가단계;
    인식된 대상체가 시간에 따라 위치 및 변위량의 연속성을 유지하는지를 판단하는 연속성판단단계; 및
    상기 유사도평가단계의 평가 결과 및 상기 연속성판단단계의 판단 결과에 따라 오차를 보정하는 오차보정단계
    를 포함하는 것을 특징으로 하는 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 제공 방법.
PCT/KR2020/018121 2020-10-06 2020-12-11 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법 WO2022075530A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0128794 2020-10-06
KR1020200128794A KR20220045762A (ko) 2020-10-06 2020-10-06 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법

Publications (1)

Publication Number Publication Date
WO2022075530A1 true WO2022075530A1 (ko) 2022-04-14

Family

ID=81126546

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/018121 WO2022075530A1 (ko) 2020-10-06 2020-12-11 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법

Country Status (2)

Country Link
KR (1) KR20220045762A (ko)
WO (1) WO2022075530A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883861A (zh) * 2023-07-17 2023-10-13 中国人民解放军战略支援部队航天工程大学 面向微小卫星在轨应用的港口大中型舰船活动识别方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310601B (zh) * 2023-05-19 2023-08-04 广州健新科技有限责任公司 基于ais轨迹图与相机图组的船只行为分类方法
CN117914953B (zh) * 2024-03-20 2024-06-07 中国船级社 一种船舶数据的处理方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020026119A (ko) * 2000-09-30 2002-04-06 구자홍 영상신호의 콘트라스트 향상 장치
JP2004362465A (ja) * 2003-06-06 2004-12-24 Matsushita Electric Ind Co Ltd 画像処理装置
KR20110125146A (ko) * 2010-05-12 2011-11-18 삼성전자주식회사 광원의 특성을 이용한 이미지 처리 장치 및 방법
KR20200017601A (ko) * 2018-08-01 2020-02-19 문영실 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법
KR20200027871A (ko) * 2018-09-04 2020-03-13 씨드로닉스(주) 장애물 지도를 이용한 경로 생성 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102066841B1 (ko) 2018-04-05 2020-01-16 주식회사 리안 Ais 내장 소형선박용 안전항해 시스템
WO2020071839A1 (ko) 2018-10-04 2020-04-09 씨드로닉스㈜ 선박 및 항만 모니터링 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020026119A (ko) * 2000-09-30 2002-04-06 구자홍 영상신호의 콘트라스트 향상 장치
JP2004362465A (ja) * 2003-06-06 2004-12-24 Matsushita Electric Ind Co Ltd 画像処理装置
KR20110125146A (ko) * 2010-05-12 2011-11-18 삼성전자주식회사 광원의 특성을 이용한 이미지 처리 장치 및 방법
KR20200017601A (ko) * 2018-08-01 2020-02-19 문영실 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법
KR20200027871A (ko) * 2018-09-04 2020-03-13 씨드로닉스(주) 장애물 지도를 이용한 경로 생성 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883861A (zh) * 2023-07-17 2023-10-13 中国人民解放军战略支援部队航天工程大学 面向微小卫星在轨应用的港口大中型舰船活动识别方法及系统
CN116883861B (zh) * 2023-07-17 2024-01-26 中国人民解放军战略支援部队航天工程大学 面向微小卫星在轨应用的港口大中型舰船活动识别方法及系统

Also Published As

Publication number Publication date
KR20220045762A (ko) 2022-04-13

Similar Documents

Publication Publication Date Title
WO2022075530A1 (ko) 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법
WO2020050498A1 (ko) 이미지 세그멘테이션을 이용한 주변 환경 감지 방법 및 장치
WO2020071839A1 (ko) 선박 및 항만 모니터링 장치 및 방법
WO2020138745A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
WO2019074195A1 (ko) 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램
WO2022139111A1 (ko) 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템
WO2020130747A1 (ko) 스타일 변환을 위한 영상 처리 장치 및 방법
WO2022065817A1 (en) Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same
WO2019027141A1 (en) ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE OPERATION OF A VEHICLE
WO2022139110A1 (ko) 해상객체 식별을 위한 초분광 데이터 처리방법 및 장치
EP3735662A1 (en) Method of performing learning of deep neural network and apparatus thereof
WO2019132131A1 (ko) 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법
WO2022114731A1 (ko) 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
WO2022240029A1 (ko) 반려동물 식별 시스템 및 그 방법
WO2021006482A1 (en) Apparatus and method for generating image
WO2023200028A1 (ko) 산불 위험 계절 예보 장치 및 방법
WO2024080791A1 (ko) 데이터셋을 생성하기 위한 방법
WO2023153812A1 (ko) 오브젝트를 검출하는 전자 장치 및 이의 제어 방법
Fadzil et al. Human face recognition using neural networks
CN114332682B (zh) 一种海上全景去雾目标识别方法
WO2021125521A1 (ko) 순차적 특징 데이터 이용한 행동 인식 방법 및 그를 위한 장치
WO2024096683A1 (ko) 가상 객체의 폐색을 구현하기 위한 방법
WO2020050500A1 (ko) 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
WO2024106929A1 (ko) 비주얼 로컬라이제이션을 이용하여 카메라 포즈의 유효성을 결정하기 위한 방법 및 장치
WO2024106928A1 (ko) 비주얼 로컬라이제이션을 이용하여 카메라 포즈의 유효성을 결정하기 위한 방법 및 장치

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20956845

Country of ref document: EP

Kind code of ref document: A1