WO2022139111A1 - 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템 - Google Patents

초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템 Download PDF

Info

Publication number
WO2022139111A1
WO2022139111A1 PCT/KR2021/011287 KR2021011287W WO2022139111A1 WO 2022139111 A1 WO2022139111 A1 WO 2022139111A1 KR 2021011287 W KR2021011287 W KR 2021011287W WO 2022139111 A1 WO2022139111 A1 WO 2022139111A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
hyperspectral data
subsystem
marine
recognizing
Prior art date
Application number
PCT/KR2021/011287
Other languages
English (en)
French (fr)
Inventor
서동민
오상우
김태성
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to US17/999,386 priority Critical patent/US11715286B2/en
Publication of WO2022139111A1 publication Critical patent/WO2022139111A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2889—Rapid scan spectrometers; Time resolved spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3581—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation
    • G01N21/3586—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation by Terahertz time domain spectroscopy [THz-TDS]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Definitions

  • the present invention relates to a method and system for recognizing a marine object based on hyperspectral data, and more particularly, to a method and system using the same for recognizing a marine object using artificial intelligence and based on hyperspectral data.
  • the prior art extracts observation information, location information and reflectivity values for each pixel of the detected accidental vessel and drowned person, and uses the library information that has already been built for this. Detecting efficiency may be lowered by analyzing similarity and extracting constituent materials and occupancy ratios for each pixel of the hyperspectral image. Therefore, it was not used for large-scale search and detection. In addition, it was not easy to expand the spectral library because it was only comparing the similarity with the actually measured spectral library.
  • One problem to be solved by the present invention is to provide a marine object detection and identification system capable of pre-processing and processing hyperspectral data collected in real time from the sky in real time.
  • One problem to be solved by the present invention is to provide a system capable of controlling how much throughput is allocated to which system based on a communication state and processing capability between a system in the sky and a system on the ground.
  • One problem to be solved by the present invention is to provide a method for recognizing a marine object included in target hyperspectral data collected in real time using artificial intelligence-based clustering and a system using the same.
  • a method for recognizing a marine object based on hyperspectral data includes: collecting target hyperspectral data; pre-processing the target hyperspectral data; and detecting and identifying the object included in the target hyperspectral data based on the marine object detection and identification model, trained through the learning of the detection and identification of the marine object.
  • the method for recognizing a marine object based on hyperspectral data is characterized in that as the target hyperspectral data is collected in real time, subsequent steps are performed in conjunction with this in real time.
  • the pre-processing of the target hyperspectral data may be configured to include at least one of radiation correction, atmospheric correction, and geometric correction of the target hyperspectral data.
  • the method for recognizing a marine object based on hyperspectral data includes: generating data for learning a marine object detection and identification model; and training the marine object detection and identification model through the learning using the training data.
  • the generating of the training data may include: constructing a training dataset for marine object identification using hyperspectral data; analyzing the dataset using an analysis algorithm; managing pixels constituting the object by using the analysis result; and constructing the training data using the pixel data.
  • analyzing the dataset may include pre-screening hyperspectral data using a machine learning algorithm; detecting a marine object based on the pre-screening result; and identifying the detected sea object.
  • the pre-screening may be configured to include analyzing the density of the community while changing the parameters related to the formation of the marine object community.
  • the detecting of the marine object may be configured to include removing data of the seawater region from the hyperspectral data based on the density of the marine object.
  • the step of identifying the marine object may be configured to further include the step of detecting noise formed by the object outside the cluster using a clustering algorithm.
  • the step of identifying the sea object may be configured to include the step of identifying the sea object based on the spectrum and coordinate values of pixels corresponding to noise.
  • the managing of the pixels may be configured to include labeling the pixels formed by the marine object.
  • the step of constructing the training data may include: classifying the pixel data formed by the labeled ocean object; and constructing an integrated library using the classified pixel data.
  • the data processing for pre-processing and object detection, detection, and identification is characterized in that it is performed by at least one of the first sub-unit in the air and the second sub-unit on the ground.
  • the method for recognizing a marine object based on hyperspectral data includes: detecting a communication state between a first sub-device and a second sub-device; and comparing the communication state with the processing speed of the first sub-device and the second sub-device, and according to the comparison result, the amount and subject of data to be processed among the first and second sub-devices are determined characterized by being
  • the method for recognizing a marine object based on hyperspectral data further includes changing a data processing subject or changing a data processing ratio between the first sub-device and the second sub-device according to a change in communication status can be configured to
  • a marine object recognition system based on hyperspectral data includes: an object identification unit for detecting and identifying an object using the collected hyperspectral data; and a preprocessor for correcting target hyperspectral data in common, a first subsystem and a second subsystem; and a control unit that detects a communication state between the first subsystem and the second subsystem, and compares the communication state with the processing speed of the first subsystem and the second subsystem.
  • control unit is characterized in that it determines the amount and subject of data to be processed among the first subsystem and the second subsystem according to the comparison result.
  • control unit may be included in at least one of the first subsystem and the second subsystem.
  • pre-processing and processing of hyperspectral data collected in real time according to a communication state may be performed in the air or on the ground.
  • the marine object detection model and identification model completed in the terrestrial system can be loaded into the system in the sky to be used for marine object detection and identification, and the performance can be upgraded through re-learning in the terrestrial system.
  • hyperspectral data-based marine object recognition model that recognizes marine objects that appear as noise in machine learning clustering.
  • FIG. 1 is an exemplary diagram for explaining hyperspectral data according to an embodiment of the present invention.
  • FIG. 2 is a network relationship diagram of a marine object recognition system according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of a first subsystem in a marine object recognition system according to an embodiment of the present invention.
  • FIG. 4 is a block diagram of a second subsystem in a marine object recognition system according to an embodiment of the present invention.
  • FIG. 5 is a block diagram of a first subsystem in a marine object recognition system according to an embodiment of the present invention.
  • FIG. 6 is a block diagram of a second subsystem in a marine object recognition system according to an embodiment of the present invention.
  • FIG. 7 is a block diagram of a hyperspectral analysis apparatus according to an embodiment of the present invention.
  • FIG. 8 is a flowchart of a method for recognizing a marine object according to an embodiment of the present invention.
  • FIG. 9 is a flowchart of a method for recognizing a marine object according to an embodiment of the present invention.
  • FIG. 10 is a flowchart of a method for recognizing a marine object according to an embodiment of the present invention.
  • 11 is an exemplary screen of an application UI in which a maritime object recognition method is implemented, according to an embodiment of the present invention.
  • FIG. 12 is an exemplary screen of an application UI in which a maritime object recognition method is implemented, according to an embodiment of the present invention.
  • FIG. 13 is an exemplary screen of an application UI related to a data set configuration in a method for recognizing a marine object according to an embodiment of the present invention.
  • FIG. 14 is an exemplary screen of an application UI related to data conversion in a method for recognizing a marine object according to an embodiment of the present invention.
  • 15 is an exemplary screen of an application UI related to data analysis in a method for recognizing a marine object according to an embodiment of the present invention.
  • 16 is an exemplary screen of an application UI related to a result of data analysis in a method for recognizing a marine object according to an embodiment of the present invention.
  • 17 is an exemplary screen of an application UI related to maritime object detection in a sea object recognition method according to an embodiment of the present invention.
  • 18 is an exemplary screen of an application UI related to a sea object detection rate in a sea object recognition method according to an embodiment of the present invention.
  • 19 is an exemplary screen of an application UI related to maritime object recognition in a maritime object recognition method according to an embodiment of the present invention.
  • the present invention provides a marine object detection and identification system capable of pre-processing and processing hyperspectral data collected in real time from the sky in real time.
  • a component when it is described that a component is "exists in or is connected to" of another component, this component may be directly connected to or installed in contact with another component, and a certain It may be installed spaced apart at a distance, and in the case of being installed spaced apart by a certain distance, a third component or means for fixing or connecting the corresponding component to another component may exist, and now It should be noted that the description of the components or means of 3 may be omitted.
  • FIG. 1 is an exemplary diagram for explaining hyperspectral data according to an embodiment of the present invention.
  • An image sensor included in a general camera depicts the appearance of a subject using RGB data based on visible light among various areas of light according to wavelength.
  • a near-infrared (NIR) sensor may additionally generate NIR data based on near-infrared rays in addition to RGB data.
  • NIR near-infrared
  • Hyperspectral data is characterized in that, for example, sensing data generated based on light having a wavelength in a continuous range of 450 nm to 1000 nm.
  • Hyperspectral data may be collected through a flying vehicle such as an airplane, a drone, or a helicopter using a camera equipped with a hyperspectral image sensor, but is not limited thereto, so more It is not excluded that it can be collected in the cosmic range by broadening its scope, that is, by satellites.
  • the land as well as the ocean may be included. Accordingly, various aspects of an embodiment of the present invention may be applied to object recognition based on an image captured from a subject and a remote location without distinguishing between the ocean and the land.
  • FIG. 2 is a network relationship diagram of a marine object recognition system according to an embodiment of the present invention.
  • FIG. 2 a maritime object recognition system for performing a sea object recognition method according to an embodiment of the present invention is illustrated.
  • the maritime object recognition system 10 includes a first subsystem 100 mounted on an aircraft and operated in the sky, a second subsystem 200 on the ground, and a hyperspectral data analysis device 700 . ), may be configured to include a desktop 310, a user terminal 320 and a network 400 corresponding to a client that can be communicatively connected to them.
  • the maritime object recognition system 10 (hereinafter, referred to as the maritime object recognition system) based on hyperspectral data may be divided into a first subsystem 100 and a second subsystem 100 .
  • the first subsystem 100 may be installed in an aircraft device such as an airplane, a drone, a helicopter, and the like, and the second subsystem 200 may be installed on the ground.
  • the first subsystem 100 and the second subsystem 200 may communicate with each other through the network 400 .
  • the first subsystem 100 functions to collect hyperspectral data in real time, and both the first subsystem 100 and the second subsystem 200 may perform a function of processing the collected hyperspectral data. .
  • the first subsystem 100 may be configured to include one or more devices, that is, a server.
  • the second subsystem 200 may be configured to include one or more devices, that is, a server.
  • the hyperspectral data analysis apparatus 700 may process hyperspectral data by executing a command including a code related to a hyperspectral data recognition method for recognizing a marine object.
  • the hyperspectral data analysis apparatus 700 functions to generate training data for the marine object detection model and the marine object identification model according to an embodiment of the present invention.
  • the first subsystem 100 and the second subsystem 200 may perform the same function as the hyperspectral data analysis apparatus 700 .
  • the desktop 310 may be connected to the hyperspectral data analysis apparatus 700 for recognizing a marine object through a wired network, and may control its operation.
  • the user terminal 320 may be connected to the hyperspectral data analysis apparatus 700 for recognizing a marine object through a wireless network, and may control its operation.
  • the network 400 is a wired and wireless network, for example, serial communication, a local area network (LAN), a wide area network (WAN), the Internet (internet) of TCP/IP, an intranet (intranet) and an extranet (extranet), and any suitable communication network, including mobile networks such as cellular, 3G, LTE, WiFi networks, ad hoc networks, and combinations thereof.
  • LAN local area network
  • WAN wide area network
  • Internet Internet
  • intranet intranet
  • extranet extranet
  • mobile networks such as cellular, 3G, LTE, WiFi networks, ad hoc networks, and combinations thereof.
  • Network 400 may include connections of network elements such as hubs, bridges, routers, switches, and gateways.
  • Network 400 may include one or more connected networks, eg, multiple network environments, including public networks such as the Internet and private networks such as secure enterprise private networks. Access to network 400 may be provided via one or more wired or wireless access networks.
  • FIG. 3 is a block diagram of a first subsystem in the maritime object recognition system.
  • the first subsystem 100 may be implemented using a plurality of servers.
  • the first subsystem 100 is a configuration server, and includes a processing server 100 and an operation server 120 , and may further include a hyperspectral sensor 130 and a storage device 140 .
  • the processing server 110 may be configured to include a preprocessor 111 , a detection model 112 , an identification model 113 , a data transmitter 114 , and a database 115 .
  • the operation server 120 may provide an operation service related to the cataloging status, the control status, the processing status, the detection result, and the identification result by using the monitoring information.
  • the hyperspectral sensor 130 functions to collect hyperspectral data with the ocean and land as subjects in the sky. After the collected hyperspectral raw data is stored in the storage device 140 , it may be transmitted to the second server system 200 by the data transmitter 1140 .
  • the database 115 may store raw data meta information and processing result information.
  • FIG. 4 is a block diagram of a first subsystem in the maritime object recognition system.
  • the second subsystem 200 may be implemented using a plurality of servers.
  • the second subsystem 200 is a configuration server, and includes an operation server 210 , a database 220 , a processing server 230 , an artificial intelligence server 250 , a GIS server 260 , and a storage device 270 . can be configured.
  • the operation server 210 may be configured to include a monitoring unit 211 , a model re-learning information generation unit 212 , a model re-learning request unit 213 , and a pre-processing request unit 215 .
  • the operation server 210 may monitor an overall process related to data processing, reception, and storage, and generate information for re-learning about the detection model and the identification model.
  • the model re-learning information generating unit 212 functions to generate information necessary for re-learning the model.
  • the data set configuration unit 762 and the data analysis unit 763 included in the data analysis apparatus 700 are included.
  • the pixel management unit 764 , and the learning data generation unit 765 or may perform their functions.
  • the re-learning request unit 213 may request the artificial intelligence server 250 to re-learn the detection model and the identification model.
  • the pre-processing request unit 215 may request the processing server 240 to pre-process the hyperspectral data.
  • the database 220 may store meta information, raw data, pre-processing data, model result data, and the like, and manage these data.
  • the cataloging server 230 provides a cataloging service and a processing control service to the user.
  • the process control service is a function of controlling the process server 240 .
  • the cataloging service is a service for identifying raw data, preprocessing data, and model result data, and retrieving data.
  • a user can search for data including a specific scene for each data type through the cataloging service.
  • the processing server 240 performs pre-processing and processing of hyperspectral data.
  • the processing server 240 may be configured to include a preprocessing unit 241 , a detection model result input processing unit 242 , an identification model result input processing unit 243 , and a GIS data registration unit 244 .
  • the artificial intelligence server 250 learns the detection model and the identification model and functions to drive the same.
  • the artificial intelligence server 250 may be configured to include a detection model learning unit 251 , an identification model learning unit 252 , a detection model driving unit 253 , and an identification model driving unit 254 .
  • the GIS server 260 is also called a geoserver, and provides various types of information such as maps, diagrams, and pictures to users by integrating and managing location data and attribute data for an object having a geographical location.
  • the first subsystem 100 and the second subsystem 200 configured to include a plurality of servers have been described above. However, the first subsystem 100 and the second subsystem 200 may be configured as a single server. Hereinafter, examples of the first subsystem 500 and the second subsystem 600 configured as a single server will be described for convenience of description.
  • FIG. 5 is a block diagram of a first subsystem in the maritime object recognition system.
  • the first subsystem 500 may be implemented as a single system.
  • the first subsystem 500 includes a control unit 510 , a hyperspectral sensor 520 , an input device 530 , an output device 540 , a storage device 550 , a communication device 560 , and a memory 170 .
  • the memory 170 may be configured to include a detection and identification unit 571 , a preprocessor 572 , a detection model 573 , an identification model 574 , a monitoring unit 575 , and a data management unit 576 . .
  • Components included in the first subsystem 500 correspond to the first subsystem 100 , the server, and components included therein.
  • FIG. 6 is a block diagram of a second subsystem in the maritime object recognition system.
  • the second subsystem 600 may be implemented as a single system.
  • the second subsystem 600 may be configured to include a controller 610 , an input device 630 , an output device 640 , a storage device 650 , a communication device 660 , and a memory 670 .
  • the memory 670 includes a detection and identification unit 671, a preprocessing unit 672, a detection model 673, an identification model 674, a monitoring unit 675, a data management unit 676, and a data operation unit 677. can be configured to include.
  • Components included in the second subsystem 600 correspond to the second subsystem 200 , the server, and components included therein.
  • the control unit 510 in FIG. 5 and the control unit 610 in FIG. 6 detect a communication state between the first subsystem 100 and the second subsystem 200, and the communication state and the first subsystem 100 and the second subsystem The processing speed of the two subsystems 200 can be compared.
  • controllers 510 and 610 determine the amount and subject of data to be processed among the first subsystem and the second subsystem according to the comparison result.
  • FIG. 7 is a block diagram of a hyperspectral data analysis apparatus for recognizing a marine object according to an embodiment of the present invention.
  • the hyperspectral data analysis device 700 for recognizing marine objects includes an input device 720 , an output device 730 , a storage device 740 , a communication device 750 and a memory 760 . can be configured to include.
  • the memory 760 may be configured to include a preprocessor 761 , a data set configuration unit 762 , a data analysis unit 763 , a pixel management unit 764 , and a training data generation unit 765 .
  • the pre-processing unit 761 has a pre-processing function of hyperspectral data through interactions such as data transmission, storage, reception, and interrupt call between the control unit 710 , for example, a processor and a memory 760 .
  • the data set configuration unit 762 is a data set using hyperspectral data through interactions such as data transmission, storage, reception and interrupt call between the control unit 710 , for example, a processor and a memory 760 . has the ability to configure
  • the data analysis unit 763 has a function of analyzing hyperspectral data through interactions such as data transmission, storage, reception and interrupt call between the control unit 710, for example, a processor and the memory 760. .
  • the pixel management unit 764 manages pixels extracted from hyperspectral data through interactions such as data transmission, storage, reception and interrupt call between the control unit 710, for example, the processor and the memory 760. have a function
  • the learning data generation unit 765 uses hyperspectral data through interactions such as data transmission, storage, reception, and interrupt call between the control unit 710, for example, a processor and the memory 760, It has the ability to generate training data for object detection and identification models.
  • the subject executing the method for recognizing a marine object may be at least one of the first subsystem 100 , the second subsystem 200 , and the data analysis apparatus 700 in FIG. 2 . That is, data for learning through pre-processing and processing of hyperspectral data may be generated by the first subsystem 100 , the second subsystem 200 , and the data analysis apparatus 700 .
  • data pre-processing and processing will be described using the data analysis apparatus 700 as a representative example.
  • FIG. 8 is a flowchart of a method for recognizing a marine object according to an embodiment of the present invention.
  • the maritime object recognition method ( S100 ) includes generating data for learning of the detection and identification model ( S110 ), training the detection and identification model using the training data ( S120 ), and collecting target hyperspectral data ( S130 ) , target hyperspectral data pre-processing (S140), and object detection and identification (S150) included in the target hyperspectral data may be configured to be included.
  • the hyperspectral data analysis apparatus 700 may generate data for training of a marine object detection and identification model.
  • the hyperspectral data analysis apparatus 700 may train a marine object detection and identification model through learning using the training data.
  • the hyperspectral data analysis apparatus 700 may collect target hyperspectral data.
  • the target hyperspectral data is hyperspectral data to be detected and identified.
  • the target hyperspectral data may be collected by the first subsystem 100 flying in the sky, and then transmitted to the second subsystem 200 or the data analysis device 700 .
  • the hyperspectral data analysis apparatus 700 may pre-process the target hyperspectral data.
  • the pre-processing may include correction of hyperspectral data, for example, radiation correction, atmospheric correction, and geometric correction.
  • step S150 the hyperspectral data analysis apparatus 700 detects and identifies the object included in the target hyperspectral data based on the marine object detection and identification model trained through the learning of the detection and identification of the marine object. have.
  • the pre-processing ( S140 ) and data processing for object detection and identification ( S150 ) may be performed by at least one of the first subsystem 500 in the sky and the second subsystem 600 on the ground.
  • controllers 510 and 610 detect the communication state between the first subsystem 500 and the second subsystem 600 , and the communication state between the first subsystem 500 and the second subsystem 600 . You can compare the processing speed.
  • the amount and subject of data to be processed among the first subsystem 500 and the second subsystem 600 may be determined. For example, when the communication state between the first subsystem 500 and the second subsystem 600 is good, for example, when the data rate is greater than or equal to a threshold value, the entire collected hyperspectral data is transferred to the second subsystem 600 . , and the second subsystem 600 may perform pre-processing and data processing.
  • the communication status is poor, that is, when the data transmission rate is less than or equal to the threshold value, only a part of the collected hyperspectral data is transmitted to the second subsystem 600, or pre-processing and data for the entire collected hyperspectral data without transmission
  • the processing may be performed by the first subsystem 500 .
  • control unit 510 or 610 may change the data processing subject or change the data processing ratio between the first subsystem 500 and the second subsystem 600 . have.
  • step (S110) of generating data for training of the marine object detection and identification model will be described in detail.
  • FIG. 9 is a flowchart of a method for recognizing a marine object according to an embodiment of the present invention.
  • the method for recognizing a marine object that is, the method for generating data for learning, includes collecting hyperspectral data (S210), preprocessing hyperspectral data (S220), and configuring a dataset using hyperspectral data (S230) , data set analysis using an analysis algorithm (S240), pixel data management based on the analysis result (S250), and learning data construction including pixel data (S260).
  • the hyperspectral data analysis apparatus 700 may collect hyperspectral data through ocean imaging in which various objects to be used for learning the object identification model are shown.
  • the concept of collection may include a “receiving” action.
  • the hyperspectral data analysis apparatus 700 may receive hyperspectral data from various hyperspectral data sources connected to the network 400 .
  • the hyperspectral data analysis apparatus 700 may pre-process the hyperspectral data.
  • the quality of hyperspectral data cannot always be collected in the presence of sufficient light because it is sensitive to the altitude of the sun at the time of collection, the presence and amount of clouds, and changes in the weather. Accordingly, the collected hyperspectral data may be subjected to various corrections, for example, radiation correction, atmospheric correction, and geometric correction through a pre-processing process.
  • the hyperspectral data analysis apparatus 700 may configure a dataset for learning of marine object recognition by using the hyperspectral data.
  • the hyperspectral data analysis apparatus 700 may select a data file, set an analysis range of the data file, and convert the data file.
  • the hyperspectral data analysis apparatus 700 may visualize the hyperspectral data as an image by using data of a visible ray region included in the hyperspectral data.
  • a rectangular range of two X-axis points and two Y-axis points may be set as an analysis area, and hyperspectral data of a selected area may be visualized.
  • the reason for the visualization includes to increase the user's work efficiency.
  • the hyperspectral data may be converted into a DMT image, an HIS image, a binary image, or the like for analysis.
  • the hyperspectral data may be converted into an HDR image form to increase the range of brightness.
  • the hyperspectral data analysis apparatus 700 may analyze the dataset using an analysis algorithm.
  • Data set analysis corresponds to the process for detection and identification of marine objects.
  • the detection of a sea object means detecting the existence of a sea object, and identification of a sea object means finding out the identity of the detected object.
  • the analysis of the data set will be described in detail with reference to FIG. 5 .
  • FIG. 10 is a flowchart of a method for recognizing a marine object based on hyperspectral data, according to an embodiment of the present invention.
  • the step of analyzing the dataset according to an embodiment of the present invention is a step of pre-screening hyperspectral data using a machine learning algorithm (S310), based on the pre-screening result It may be configured to include a step of detecting a sea object (S320) and a step of identifying the detected sea object (S330).
  • the data analysis apparatus 700 may pre-screen hyperspectral data using a machine learning algorithm.
  • a density-based clustering technique may be used for clustering of sea objects.
  • a Density-Based Spatial Clustering of Applications with Noise (DBSCAN) algorithm may be used.
  • the hyperspectral data analysis apparatus 700 may analyze the cluster density while changing the parameters related to the formation of the marine object cluster. For example, the hyperspectral data analysis apparatus 700 may analyze the density of clusters according to a change in eps parameter, which is a parameter of HDSCAN related to cluster formation. Depending on the density of the cluster, the sea object may or may not belong to the cluster and may be detected as noise. In addition, by adjusting the min_samples parameter value corresponding to the minimum value belonging to the cluster, an arbitrary sea object may be included in the cluster or may be treated as noise outside the cluster.
  • eps parameter which is a parameter of HDSCAN related to cluster formation.
  • the sea object may or may not belong to the cluster and may be detected as noise.
  • min_samples parameter value corresponding to the minimum value belonging to the cluster an arbitrary sea object may be included in the cluster or may be treated as noise outside the cluster.
  • Cores is a parameter related to machine learning analysis speed and controls the number of cores used by the CPU.
  • Scan Scale is a parameter that specifies the analysis size of hyperspectral data that can be analyzed at once.
  • the speed multiplies every time the number of pixels increases, whereas when the number of pixels is too low, an appropriate cluster cannot be formed.
  • this parameter is a parameter related to the speed of machine learning, it can be implemented in consideration of a situation in which the aerial image data is divided into real-time or semi-real-time in the future.
  • step S320 the hyperspectral data analysis apparatus 700 may detect a sea object based on the pre-screening result.
  • the hyperspectral data analysis apparatus 700 may remove data of the seawater region from the hyperspectral data based on the density of ocean objects.
  • Seawater can form one marine object in hyperspectral data. Accordingly, seawater corresponds to a cluster including the largest number of pixels as far as it is treated as a sea object. Therefore, hyperspectral data of the seawater region needs to be removed to identify the object. Data on the most densely distributed seawater from sea hyperspectral data can be removed through density analysis.
  • the hyperspectral data analysis apparatus 700 may identify the detected sea object.
  • the hyperspectral data analysis apparatus 700 may detect noise formed by an object outside the cluster by using a clustering algorithm.
  • pixels of an object included in the cluster may be displayed in white, and pixels of an object not included in the cluster may be displayed in black.
  • Noise formed outside the cluster may be an object.
  • the hyperspectral data analysis apparatus 700 may identify a sea object based on a spectrum and a coordinate value of a pixel corresponding to noise. If we analyze the spectrum of the pixels in the noise area corresponding to the marine object, the noise pixels show a unique spectrum depending on the type of the marine object, for example, a fishing boat, a lifeboat, a lifebuoy, or a liferaft. Accordingly, a marine object may be identified based on the coordinate value and spectrum of the pixel.
  • step S250 the hyperspectral data analysis apparatus 700 may manage the pixels constituting the object by using the analysis result.
  • the hyperspectral data analysis apparatus 700 may label pixels formed by the marine object.
  • the hyperspectral data processed through the hyperspectral recognition method S200 according to an embodiment of the present invention may be used for learning a detection and recognition model for detecting and identifying a marine object based on a machine learning algorithm. Therefore, in the process, the detection and identification result of the marine object may be stored in the pixel of the hyperspectral image through labeling.
  • the hyperspectral data analysis apparatus 700 may construct learning data using pixel data.
  • the step of constructing the learning data using the pixel data includes classifying the pixel data formed by the labeled marine object, and constructing an integrated library using the classified pixel data.
  • the hyperspectral data analysis apparatus 700 may store a pixel spectrum in an integrated library.
  • the integrated library may include coordinate value information of noise, identified resolution object information, and pixel spectrum information for hyperspectral data.
  • 11 is an exemplary screen of an application UI implementing a method for recognizing a marine object according to an embodiment of the present invention.
  • hyperspectral data converted into a form that can be seen through the user's eyes is depicted.
  • the image list represents a dataset according to an embodiment of the present invention.
  • the real-time reception information represents reception information regarding the hyperspectral data received by the hyperspectral analysis apparatus 700 .
  • FIG. 12 is an exemplary screen of an application UI in which a method for recognizing a marine object is implemented, according to an embodiment of the present invention.
  • hyperspectral data may include land as a subject.
  • the hyperspectral data required for the operation is linked to the created dataset.
  • the coordinate side of the region to be analyzed is set, for example, three bands are set in 127 bands from 400 nm to 900 nm, and a visualized image of the set region is displayed.
  • Machine learning analysis is performed on the corresponding area, and in this case, EPS, Cores, and Scan Scale parameters can be set.
  • the user may delete the dataset itself for further research using the UI, or remove only the training data analyzed by machine learning.
  • FIG. 13 is an exemplary screen of an application UI related to a data set configuration in a method for recognizing a marine object according to an embodiment of the present invention.
  • processes such as hyperspectral data registration and image conversion may be performed through the UI of the dataset configuration.
  • 8 depicts a dataset configuration using hyperspectral data collected in Jeongok Port.
  • FIG. 14 is an exemplary screen of an application UI related to data conversion in a method for recognizing a marine object based on hyperspectral data according to an embodiment of the present invention.
  • a UI related to an image conversion process of hyperspectral data is depicted.
  • a partial region may be used for analysis through a cropping operation.
  • the analysis area may be described with two-point X-axis coordinates and Y-axis coordinate values.
  • the UI's menu allows the user to display the RGB image in place of the HDR image.
  • 15 is an exemplary screen of an application UI related to data analysis in a method for recognizing a marine object according to an embodiment of the present invention.
  • EPS is set to 0.1
  • Cores is set to 40
  • Scan Scale is set to 100, respectively.
  • 16 is an exemplary screen of an application UI related to a result of data analysis in a method for recognizing a marine object according to an embodiment of the present invention.
  • FIG. 16 the analysis result of hyperspectral data collected in Jeongok Port is depicted. Coordinates related to noise are detected, and a user may perform labeling on the detected noise by referring to the spectrum information.
  • 17 is an exemplary screen of an application UI related to maritime object detection in a sea object recognition method according to an embodiment of the present invention.
  • the left image is an image in which seawater is expressed
  • the right image is an image in which seawater is removed.
  • 18 is an exemplary screen of an application UI related to a sea object detection rate in a sea object recognition method according to an embodiment of the present invention.
  • the pixel distribution of a resolution object appearing as noise on a binary image according to the hyperspectral data analysis result is shown.
  • the distribution of pixels appears differently depending on the specified EPS parameter value.
  • the number of pixels can be analyzed while changing the value of the EPS parameter of DBSCAN from 0.01 to 0.03. As EPS increases, the number of pixels detected through DBSCAN decreases.
  • 19 is an exemplary screen of an application UI related to maritime object identification in a maritime object recognition method according to an embodiment of the present invention.
  • FIG. 19 the spectrum distribution of pixels constituting the fishing boat, life ring, life buoy, and life raft classified as noise among marine objects is depicted. Since a marine object has its own spectrum according to its type, it is possible to identify a marine object based on this.
  • pre-processing and processing of hyperspectral data collected in real time according to a communication state may be performed in the air or on the ground.
  • the marine object detection model and identification model completed in the terrestrial system can be loaded into the system in the sky to be used for marine object detection and identification, and the performance can be upgraded through re-learning in the terrestrial system.
  • hyperspectral data-based marine object recognition model that recognizes marine objects that appear as noise in machine learning clustering.
  • pre-processing and processing of hyperspectral data collected in real time according to communication conditions may be performed in the air or on the ground.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Toxicology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 대상 초분광 데이터를 수집하는 단계; 대상 초분광 데이터를 전처리하는 단계; 및 해상객체의 탐지 및 식별의 학습을 통해 훈련된, 해상객체 탐지 및 식별 모델에 기반하여 상기 대상 초분광 데이터에 포함된 대상체를 탐지 및 식별하는 단계를 포함하는 초분광 데이터에 기반하는 해양객체 인식 방법을 개시한다. 본 발명에 따르면, 통신 상태에 따라 실시간으로 수집되는 초분광 데이터의 전처리 및 처리를 상공 또는 지상에서 수행될 수 있다.

Description

초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템
본 발명은 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템에 관한 것으로, 더욱 상세하게는 인공지능을 이용하고, 초분광 데이터에 기반하는 해상객체를 인식하는 방법 및 이를 이용하는 시스템에 관한 것이다.
다양한 수색 대상물에 따른 최적화된 식별 능력 향상을 위하여 초분광 영상을 이용하고, 대상물 별 반사광 스펙트럼 분석 실험 결과를 통해 분별도를 향상시켜 해양 사고로 인한 사고 선박 및 실종자의 신속한 수색 작업을 지원할 수 있는 항공 초분광 영상을 이용한 사고 선박 및 익수자 탐지 방법이 종래의 기술에 따라 제공되었다.
종래의 기술은 관측 정보와 탐지된 사고 선박 및 익수자의 각 화소별 위치 정보 및 반사도 값을 추출하고 이를 이미 구축된 라이브러리 정보를 이용하여 표적 물질의 분광 반사값과 관측된 반사값과의 분광 특성의 유사성을 분석하고, 상기 초분광 영상의 각 화소에 대한 구성 물질 및 점유 비율을 추출하여 탐지하기에 탐지 효율이 떨어질 수 있었다. 따라서 대규모 수색 탐지에 이용되지 않았다. 또한, 실측된 분광 라이브러리와 유사도를 비교하는데 그치기에 분광 라이브러리 확장이 수월하지 않았다.
종래 기술에 따르면 항공 초분광 영상을 이용하여 갯녹음을 탐지하는 기법이 공개된 바 있다. 대한민국 등록공고 제10-1672291호에 개시된 기술은, 항공 초분광 영상을 활용하여 갯녹음을 탐지하는 방법에 관한 것으로, 촬영된 초분광 영상과 비교될 갯녹음에 관한 영상 라이브러리를 미리 구비해야 하는데, 영상 라이브러리는 일단 생성되면, 확장이 어렵고, 방대한 양의 라이브러리를 구성하는데 있어 많은 시간이 걸리고 이를 구동하는 데도 많은 부하가 걸리는 것이 문제점으로 지적되었다.
본 발명이 해결하고자 하는 일 과제는, 상공에서 실시간으로 수집된 초분광 데이터를 실시간으로 전처리 및 처리할 수 있는 해양객체 탐지 및 식별 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 상공의 시스템과 지상의 시스템 간의 통신 상태와 처리 능력에 기반하여 어느 시스템에 얼마의 처리량을 할당할 것인지를 제어할 수 있는 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 인공지능 기반의 군집화를 이용하여 실시간으로 수집된 대상 초분광 데이터에 포함된 해양객체를 인식하는 방법 및 이를 이용하는 시스템을 제공하는 것이다.
본 발명의 일 실시 예에 따른 초분광 데이터에 기반하는 해양객체 인식 방법은, 대상 초분광 데이터를 수집하는 단계; 대상 초분광 데이터를 전처리하는 단계; 및 해상객체의 탐지 및 식별의 학습을 통해 훈련된, 해상객체 탐지 및 식별 모델에 기반하여 상기 대상 초분광 데이터에 포함된 대상체를 탐지 및 식별하는 단계를 포함하도록 구성될 수 있다.
또한, 초분광 데이터에 기반하는 해상객체 인식 방법은, 대상 초분광 데이터 수집이 실시간으로 이루어짐에 따라 그 뒤의 단계들이 이와 연동하여 실시간으로 이루어지는 것을 특징으로 한다.
또한, 대상 초분광 데이터를 전처리하는 단계는, 대상 초분광 데이터의 방사 보정, 대기 보정 및 기하 보정 중에서 적어도 하나를 포함하도록 구성될 수 있다.
또한, 초분광 데이터에 기반하는 해상객체 인식 방법은, 해상객체 탐지 및 식별 모델의 학습용 데이터를 생성하는 단계; 및 학습용 데이터를 이용하여 상기 학습을 통해 상기 해상객체 탐지 및 식별 모델을 훈련시키는 단계를 포함하도록 구성될 수 있다.
또한, 학습용 데이터를 생성하는 단계는, 초분광 데이터를 이용하여 해양 객체 식별의 학습용 데이터셋을 구성하는 단계; 분석 알고리즘을 이용하여 상기 데이터셋을 분석하는 단계; 분석 결과를 이용하여 상기 객체를 이루는 화소를 관리하는 단계; 및 화소 데이터를 이용하여 학습 데이터를 구축하는 단계를 포함하도록 구성될 수 있다.
또한, 데이터셋을 분석하는 단계는, 머신 러닝 알고리즘을 이용하여 초분광 데이터를 프리스크리닝 하는 단계; 프리스크리닝 결과에 기반하여 해상객체를 탐지하는 단계; 및 탐지된 상기 해상객체를 식별하는 단계를 포함하도록 구성될 수 있다.
또한, 프리스크리닝 하는 단계는, 해양 객체 군집 형성에 관한 파라미터를 변경하면서 군집의 밀집도를 분석하는 단계를 포함하도록 구성될 수 있다.
또한, 해상객체를 탐지하는 단계는, 해양 객체의 밀집도에 기반하여 초분광 데이터에서 해수 영역의 데이터를 제거하는 단계를 포함하도록 구성될 수 있다.
또한, 해상객체를 식별하는 단계는, 군집화 알고리즘을 이용하여 군집 외에서 객체가 형성하는 노이즈를 탐지하는 단계를 더 포함하도록 구성될 수 있다.
또한, 해상객체를 식별하는 단계는, 노이즈에 해당하는 화소의 좌표 값과 스펙트럼에 기반하여 해상객체를 식별하는 단계를 포함하도록 구성될 수 있다.
또한, 화소를 관리하는 단계는, 해양 객체가 형성하는 화소에 라벨링하는 단계를 포함하도록 구성될 수 있다.
또한, 학습 데이터를 구축하는 단계는, 라벨링된 해양 객체가 형성하는 화소 데이터를 분류하는 단계; 및 분류된 상기 화소 데이터를 이용하여 통합 라이브러리를 구축하는 단계를 포함하도록 구성될 수 있다.
또한, 전처리 및 대상체 탐지탐지 및 식별을 위한 데이터 처리는, 상공의 제1 서브 장치 및 지상의 제2 서브 장치 중에서 적어도 하나에 의해 수행되는 것을 특징으로 한다.
또한, 초분광 데이터에 기반하는 해상객체 인식 방법은, 제1 서브 장치와 제2 서브 장치 간의 통신 상태를 탐지하는 단계; 및 통신 상태와 상기 제1 서브 장치와 제2 서브 장치의 처리 속도를 비교하는 단계를 더 포함하고, 비교 결과에 따라, 제1 서브 장치와 제2 서브 장치 중에서 처리될 데이터의 양 및 주체가 결정되는 것을 특징으로 한다.
또한, 초분광 데이터에 기반하는 해상객체 인식 방법은, 통신 상태의 변동에 따라, 데이터 처리 주체를 변경하거나, 상기 제1 서브 장치와 제2 서브 장치 사이에 데이터 처리 비율을 변경하는 단계를 더 포함하도록 구성될 수 있다.
본 발명의 일 실시 예에 따른 초분광 데이터에 기반하는 해상객체 인식 시스템은, 수집된 대상 초분광 데이터를 이용하여 대상체를 탐지하고 식별탐지하는 객체 식별부; 및 대상 초분광 데이터를 보정하는 전처리부를 공통으로 포함하도록 구성되는, 제1 서브 시스템과 제2 서브 시스템; 및 제1 서브 시스템과 제2 서브 시스템 간의 통신 상태를 탐지하고, 통신 상태와 상기 제1 서브 시스템과 제2 서브 시스템치의 처리 속도를 비교하는 제어부를 포함하도록 구성될 수 있다.
또한, 제어부는, 비교 결과에 따라, 제1 서브 시스템과 제2 서브 시스템 중에서 처리될 데이터의 양 및 주체를 결정하는 것을 특징으로 한다. 여기서, 제어부는, 제1 서브 시스템 및 제2 서브 시스템 중에서 적어도 하나에 포함될 수 있다.
기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.
본 발명에 의하면, 통신 상태에 따라 실시간으로 수집되는 초분광 데이터의 전처리 및 처리를 상공 또는 지상에서 수행될 수 있다.
또한, 지상의 시스템에서 완성된 해양객체 탐지 모델과 식별 모델을 상공의 시스템에 탑재 시켜 해양객체 탐지 및 식별에 이용될 수 있고, 다시 지상의 시스템에서 재학습을 거쳐 성능이 업그레이드될 수 있다.
또한, 초분광 데이터를 이용하여 해수 대비 해양 객체의 식별에 소요되는 시간을 줄이고, 아울러 식별률을 높일 수 있다.
또한, 초분광 데이터의 축적에 따라, 머신 러닝 군집화에서 노이즈로 나타나는 해양 객체를 인식하는, 초분광 데이터 기반의 해양 객체 인식 모델의 학습 및 재학습이 가능하다.
도 1은 본 발명의 일 실시 예에 따른 초분광 데이터를 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템의 네트워크 관계도이다.
도 3은, 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템에서 제1 서브 시스템의 블록도이다.
도 4는, 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템에서 제2 서브 시스템의 블록도이다.
도 5는 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템에서 제1 서브 시스템의 블록도이다.
도 6은 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템에서 제2 서브 시스템의 블록도이다.
도 7은 본 발명의 일 실시 예에 따른, 초분광 분석 장치의 블록도이다.
도 8은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법의 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법의 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법의 흐름도이다.
도 11은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법이 구현된 애플리케이션 UI의 예시화면이다.
도 12는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법이 구현된 애플리케이션 UI의 예시화면이다.
도 13은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터셋 구성에 관한 애플리케이션 UI의 예시화면이다.
도 14는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터 변환에 관한 애플리케이션 UI의 예시화면이다.
도 15는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터 분석에 관한 애플리케이션 UI의 예시화면이다.
도 16은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터 분석의 결과에 관한 애플리케이션 UI의 예시화면이다.
도 17은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 탐지에 관한 애플리케이션 UI의 예시화면이다.
도 18은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 탐지율에 관한 애플리케이션 UI의 예시화면이다.
도 19는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 인식에 관한 애플리케이션 UI의 예시화면이다.
본 발명은 상공에서 실시간으로 수집된 초분광 데이터를 실시간으로 전처리 및 처리할 수 있는 해양객체 탐지 및 식별 시스템을 제공한다.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.
또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.
이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 초분광 데이터를 설명하기 위한 예시도이다.
도 1을 참조하면, 각종 이미지 센서를 이용하여 수집할 수 있는 데이터의 예가 나타나 있다. 일반적인 카메라에 포함된 이미지 센서는, 파장에 따른 빛의 여러 영역 중에서 가시광선에 기반하는 RGB 데이터를 이용하여 피사체의 모습을 묘사한다. 근적외선(near-infrared, NIR) 센서는, RGB 데이터 외에 근적외선에 기반하는 NIR 데이터를 추가적으로 생성할 수 있다. 그리고 다중 스펙트럼, 예를 들어 도 1에 도시된 바와 같이 450nm 내지 1000nm 범위 내에서 일정 범위대 파장의 빛에 기반하여 다중 데이터를 생성하는 이미지 센서가 있을 수 있다.
본 발명의 일 실시 예에 따른 초분광 데이터는, 예를 들어 450nm 내지 1000nm의 연속적인 범위의 파장의 빛에 기반하여 생성된 센싱 데이터인 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 초분광 데이터는, 초분광 이미지 센서가 탑재된 카메라를 이용하여 비행기, 드론, 또는 헬리콥터와 같은 비행체를 통해 수집될 수 있으며, 다만 이에만 한정되는 것은 아니므로, 더 범위를 넓혀 우주 범위에서 즉, 인공위성에 의해 수집될 수 있음이 배제되는 것은 아니다.
본 발명의 일 실시 예에 따른 초분광 데이터의 피사체의 범위에, 해양을 비롯하여 육지도 포함될 수 있다. 따라서, 본 발명의 실시 예의 여러 측면들은 해양과 육지를 구분하지 않고, 피사체와 원격지에서 촬영된 영상에 기반하는 객체 인식에 적용될 수 있다.
도 2는 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템의 네트워크 관계도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른, 해상객체 인식 방법을 수행하는, 해상객체 인식 시스템이 도시되어 있다.
본 발명의 일 실시 예에 따른 해상객체 인식 시스템(10)은, 항공기 등에 탑재되어 상공에서도 동작되는 제1 서브 시스템(100), 지상의 제2 서브 시스템(200), 초분광 데이터 분석 장치(700), 이들에 통신 연결될 수 있는 클라이언트에 해당하는 데스크탑(310), 사용자 단말(320) 및 네트워크(400)를 포함하도록 구성될 수 있다.
초분광 데이터에 기반하는 해상객체 인식 시스템(10)(이하, 해상객체 인식 시스템)은 제1 서브 시스템(100)과 제2 서브 시스템(100)으로 나뉘어 구성될 수 있다. 제1 서브 시스템(100)은 비행기, 드론, 헬리콥터 등과 같은 항공 장치에 설치될 수 있고, 제2 서브 시스템(200)은 지상에 설치될 수 있다. 제1 서브 시스템(100)과 제2 서브 시스템(200)은 네트워크(400)를 통해 서로 통신할 수 있다.
제1 서브 시스템(100)은 실시간으로 초분광 데이터를 수집하는 기능을 하고, 제1 서브 시스템(100) 및 제2 서브 시스템(200) 모두 수집된 초분광 데이터를 처리하는 기능을 수행할 수 있다.
제1 서브 시스템(100)은, 하나 이상의 장치, 즉 서버를 포함하도록 구성될 수 있다. 또한, 제2 서브 시스템(200)도, 하나 이상의 장치, 즉 서버를 포함하도록 구성될 수 있다.
초분광 데이터 분석 장치(700)는, 해상객체 인식을 위한 초분광 데이터 인식 방법에 관한 코드가 포함된 명령어를 실행함으로써 초분광 데이터를 처리할 수 있다. 초분광 데이터 분석 장치(700)는 본 발명의 일 실시 예에 따른 해양객체 탐지 모델 및 해양객체 식별 모델의 학습용 데이터를 생성하는 기능을 한다. 그리고 제1 서브 시스템(100) 및 제2 서브 시스템(200)도 초분광 데이터 분석 장치(700)와 동일 기능을 수행할 수 있다.
데스크탑(310)은, 유선의 네트워크를 통해 해상객체 인식을 위한 초분광 데이터 분석 장치(700)에 연결해서, 이의 동작을 제어할 수 있다.
사용자 단말(320)은, 무선의 네트워크를 통해 해상객체 인식을 위한 초분광 데이터 분석 장치(700)에 연결해서, 이의 동작을 제어할 수 있다.
네트워크(400)는 유선 및 무선 네트워크, 예를 들어 시리얼 통신, LAN(local area network), WAN(wide area network), TCP/IP의 인터넷(internet), 인트라넷(intranet) 및 엑스트라넷(extranet), 그리고 모바일 네트워크, 예를 들어 셀룰러, 3G, LTE, WiFi 네트워크, 애드혹 네트워크 및 이들의 조합을 비롯한 임의의 적절한 통신 네트워크 일 수 있다.
네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다.
도 3은 해상객체 인식 시스템에서 제1 서브 시스템의 블록도이다.
도 3을 참조하면, 제1 서브 시스템(100)은, 복수의 서버를 이용하여 구현될 수 있다. 제1 서브 시스템(100)은 구성 서버로, 처리 서버(100) 및 운영 서버(120)을 포함하고, 초분광 센서(130), 저장 장치(140)를 더 포함할 수 있다.
처리 서버(110)는 전처리부(111), 탐지 모델(112), 식별 모델(113), 데이터 전송부(114) 및 데이터베이스(115)를 포함하도록 구성될 수 있다.
운영 서버(120)는 모니터링 정보를 이용하여 카탈로깅 현황, 제어 현황, 처리 현황, 탐지 결과 및 식별 결과와 관련된 운영 서비스를 제공할 수 있다.
초분광 센서(130)는 상공에서 해양과 육지를 피사체로 하여 초분광 데이터를 수집하는 기능을 한다. 수집된 초분광 원시 데이터는 저장 장치(140)에 저장된 후, 데이터 전송부(1140)에 의해 제2 서버 시스템(200)으로 전송될 수 있다.
데이터베이스(115)는 원시 데이터 메타정보 및 처리 결과 정보를 저장할 수 있다.
도 4는 해상객체 인식 시스템에서 제1 서브 시스템의 블록도이다.
도 4를 참조하면, 제2 서브 시스템(200)은, 복수의 서버를 이용하여 구현될 수 있다. 제2 서브 시스템(200)은 구성 서버로, 운영 서버(210), 데이터베이스(220), 처리 서버(230), 인공 지능 서버(250), GIS 서버 (260), 저장 장치(270)를 포함하도록 구성될 수 있다.
운영 서버(210)는 모니터링부(211), 모델 재학습 정보 생성부(212), 모델 재학습 요청부(213), 및 전처리 요청부(215)를 포함하도록 구성될 수 있다. 운영 서버(210)는, 데이터의 처리, 수신, 및 저장과 관련된 전반적인 과정을 모니터링하고, 탐지 모델 및 식별 모델에 관한 재학습 용도의 정보를 생성할 수 있다.
모델 재학습 정보 생성부(212)는, 모델의 재학습에 필요한 정보를 생성하는 기능을 하는데, 이러한 의미에서 데이터 분석 장치(700)에 포함된 데이터셋 구성부(762), 데이터 분석부(763), 화소 관리부(764) 및 학습 데이터 생성부(765)를 포함하거나, 이들의 기능을 수행할 수 있다.
재학습 요청부(213)은 인공 지능 서버(250)에 탐지 모델 및 식별 모델의 재학습을 요청할 수 있다.
전처리 요청부(215)는 처리 서버(240)에 초분광 데이터의 전처리를 요청할 수 있다.
데이터베이스(220)는 메타정보, 원시 데이터, 전처리 데이터, 및 모델 결과 데이터 등을 저장하고, 이들 데이터를 관리할 수 있다.
카탈로깅 서버(230)는 사용자에게 카타로깅 서비스 및 처리제어 서비스를 제공한다. 처리제어 서비스는, 처리 서버(240)를 제어하는 기능이다.
카탈로깅 서비스는 원시 데이터, 전처리 데이터 및 모델 결과 데이터를 식별하고, 데이터를 검색하기 위한 서비스이다. 사용자는, 카탈로깅 서비스를 통해 데이터 종류 별로, 특정 장면이 포함된 데이터를 검색할 수 있다.
처리 서버(240)는 초분광 데이터의 전처리 및 처리를 수행한다. 처리 서버(240)는 전처리부(241), 탐지모델 결과 입력 처리부(242), 식별모델 결과 입력 처리부(243) 및 GIS 데이터 등록부(244)를 포함하도록 구성될 수 있다.
인공 지능 서버(250)는 탐지 모델 및 식별 모델을 학습시키고 이를 구동하는 기능을 한다. 인공 지능 서버(250)는 탐지 모델 학습부(251), 식별 모델 학습부(252), 탐지 모델 구동부(253), 식별 모델 구동부(254)를 포함하도록 구성될 수 있다.
GIS 서버(260)는 지오 서버로 불리기도 하는데, 지리적 위치를 갖고 있는 대상에 대한 위치자료와 속성자료를 통합하여 관리하여 지도, 도표 및 그림과 같은 여러 형태의 정보를 사용자에게 제공한다.
위에서 복수의 서버를 포함하도록 구성된 제1 서브 시스템(100)과 제2 서브 시스템(200)에 대한 설명이 있었다. 그러나 제1 서브 시스템(100)과 제2 서브 시스템(200)은 단일의 서버로 구성될 수도 있다. 이하, 설명의 편의를 위해 단일의 서버로 구성된 제1 서브 시스템(500) 및 제2 서브 시스템(600)의 예에 대해 설명하기로 한다.
도 5는 해상객체 인식 시스템에서 제1 서브 시스템의 블록도이다.
도 5를 참조하면, 제1 서브 시스템(500)는 단일 시스템으로 구현될 수 있다. 제1 서브 시스템(500)은 제어부(510), 초분광 센서(520), 입력 장치(530), 출력 장치(540), 저장 장치(550), 통신 장치(560) 및 메모리(170)를 포함하도록 구성될 수 있다. 그리고 메모리(170)는 탐지 및 식별부(571), 전처리부(572), 탐지 모델(573), 식별 모델(574), 모니터링부(575) 및 데이터 관리부(576)를 포함하도록 구성될 수 있다.
제1 서브 시스템(500)에 포함된 구성요소는 제1 서브시스템(100), 서버 및 이에 포함된 구성요소에 대응한다.
도 6은 해상객체 인식 시스템에서 제2 서브 시스템의 블록도이다.
도 6을 참조하면, 제2 서브 시스템(600)은 단일 시스템으로 구현될 수 있다. 제2 서브 시스템(600)은, 제어부(610), 입력 장치(630), 출력 장치(640), 저장 장치(650), 통신 장치(660) 및 메모리(670)를 포함하도록 구성될 수 있다. 그리고 메모리(670)는 탐지 및 식별부(671), 전처리부(672), 탐지 모델(673), 식별 모델(674), 모니터링부(675), 데이터 관리부(676) 및 데이터 운영부(677)를 포함하도록 구성될 수 있다.
제2 서브 시스템(600)에 포함된 구성요소는 제2 서브시스템(200), 서버 및 이에 포함된 구성요소에 대응한다.
도 5에서 제어부(510) 및 도 6에서 제어부(610)는 제1 서브 시스템(100)과 제2 서브 시스템(200) 간의 통신 상태를 탐지하고, 통신 상태와 제1 서브 시스템(100)과 제2 서브 시스템(200)의 처리 속도를 비교할 수 있다.
또한, 제어부(510, 610)는, 비교 결과에 따라, 제1 서브 시스템과 제2 서브 시스템 중에서 처리될 데이터의 양 및 주체를 결정하는 것을 특징한다.
도 7은 본 발명의 일 실시 예에 따른, 해상객체 인식을 위한 초분광 데이터 분석 장치의 블록도이다.
도 7을 참조하면, 해상객체 인식을 위한 초분광 데이터 분석 장치(700)는, 입력 장치(720), 출력 장치(730), 저장 장치(740), 통신 장치(750) 및 메모리(760)를 포함하도록 구성될 수 있다.
메모리(760)는 전처리부(761), 데이터셋 구성부(762), 데이터 분석부(763), 화소 관리부(764) 및 학습 데이터 생성부(765)를 포함하도록 구성될 수 있다.
전처리부(761)는, 제어부(710), 예를 들어 프로세서(processor)와 메모리(760) 간의 데이터 송신, 저장, 수신 및 인터럽트 호출 등의 상호작용을 통해 초분광 데이터의 전처리 기능을 갖는다.
데이터셋 구성부(762)는, 제어부(710), 예를 들어 프로세서(processor)와 메모리(760) 간의 데이터 송신, 저장, 수신 및 인터럽트 호출 등의 상호작용을 통해 초분광 데이터를 이용하여 데이터셋을 구성하는 기능을 갖는다.
데이터 분석부(763)는, 제어부(710), 예를 들어 프로세서(processor)와 메모리(760) 간의 데이터 송신, 저장, 수신 및 인터럽트 호출 등의 상호작용을 통해 초분광 데이터를 분석하는 기능을 갖는다.
화소 관리부(764)는, 제어부(710), 예를 들어 프로세서(processor)와 메모리(760) 간의 데이터 송신, 저장, 수신 및 인터럽트 호출 등의 상호작용을 통해 초분광 데이터에서 추출된 화소를 관리하는 기능을 갖는다.
학습 데이터 생성부(765)는, 제어부(710), 예를 들어 프로세서(processor)와 메모리(760) 간의 데이터 송신, 저장, 수신 및 인터럽트 호출 등의 상호작용을 통해 초분광 데이터를 이용하여, 해상객체 탐지 및 식별 모델의 학습 데이터를 생성하는 기능을 갖는다.
이하 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에 대해 설명하기로 한다. 해상객체 인식 방법을 실행하는 주체는, 도 2에서 제1 서브 시스템(100), 제2 서브 시스템(200) 및 데이터 분석 장치(700) 중에서 적어도 하나가 될 수 있다. 즉, 초분광 데이터의 전처리 및 처리를 통한 학습용 데이터는 제1 서브 시스템(100), 제2 서브시스템(200) 및 데이터 분석 장치(700)에 의해 생성될 수 있다. 이하 데이터 분석 장치(700)를 대표 예로 하여 데이터 전처리 및 처리에 대해 설명하기로 한다.
도 8은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법의 흐름도이다.
도 8을 참조하면, 해상객체 인식 방법(S100)은, 탐지 및 식별 모델의 학습용 데이터 생성(S110), 학습용 데이터를 이용하여 탐지 및 식별 모델을 훈련(S120), 대상 초분광 데이터 수집(S130), 대상 초분광 데이터 전처리 (S140) 및 대상 초분광 데이터에 포함된 대상체 탐지 및 식별(S150)를 포함하도록 구성될 수 있다.
S110 단계에서, 초분광 데이터 분석 장치(700)는, 해상객체 탐지 및 식별 모델의 학습용 데이터를 생성할 수 있다.
S120 단계에서, 초분광 데이터 분석 장치(700)는, 학습용 데이터를 이용하여 학습을 통해 해상객체 탐지 및 식별 모델을 훈련시킬 수 있다.
S130 단계에서, 초분광 데이터 분석 장치(700)는, 대상 초분광 데이터를 수집할 수 있다. 대상 초분광 데이터는, 탐지 및 식별의 대상이 되는 초분광 데이터이다. 대상 초분광 데이터는, 상공에서 비행하는 제1 서브 시스템(100)에 의해 수집된 후, 제2 서브 시스템(200) 또는 데이터 분석 장치(700)에 송신될 수 있다.
S140 단계에서, 초분광 데이터 분석 장치(700)는, 대상 초분광 데이터를 전처리할 수 있다. 전처리는 초분광 데이터의 보정, 예를 들어 방사 보정, 대기 보정 및 기하 보정 등을 포함할 수 있다.
S150 단계에서, 초분광 데이터 분석 장치(700)는, 해상객체의 탐지 및 식별의 학습을 통해 훈련된, 해상객체 탐지 및 식별 모델에 기반하여 대상 초분광 데이터에 포함된 대상체를 탐지 및 식별할 수 있다.
여기서, 전처리(S140) 및 대상체 탐지 및 식별을 위한 데이터 처리(S150)는, 상공의 제1 서브 시스템(500) 및 지상의 제2 서브 시스템(600) 중에서 적어도 하나에 의해 수행될 수 있다.
또한, 제어부(510, 610)는 제1 서브 시스템(500)과 제2 서브 시스템(600) 간의 통신 상태를 탐지하고, 통신 상태와 제1 서브 시스템(500)과 제2 서브 시스템(600)의 처리 속도를 비교할 수 있다.
그리고 비교 결과에 따라, 제1 서브 시스템(500)과 제2 서브 시스템(600) 중에서 처리될 데이터의 양 및 주체가 결정될 수 있다. 예를 들어, 제1 서브 시스템(500)과 제2 서브 시스템(600) 간의 통신 상태가 좋은 경우, 예를 데이터 전송률이 임계 값 이상인 경우, 수집된 초분광 데이터 전체가 제2 서브 시스템(600)에 전송되고, 제2 서브 시스템(600)이 전처리 및 데이터 처리를 수행할 수 있다.
반대로, 통신 상태가 좋지 않은 경우, 즉 데이터 전송률이 임계 값 이하인 경우, 수집된 초분광 데이터 중에서 일부만이 제2 서브 시스템(600)으로 전송되거나, 전송 없이 수집된 초분광 데이터 전체에 대한 전처리 및 데이터 처리가 제1 서브 시스템(500)에 의해 수행될 수 있다.
이후, 통신 상태의 변동, 즉 사정 변경에 따라, 제어부(510, 610)는 데이터 처리 주체를 변경하거나, 제1 서브 시스템(500)과 제2 서브 시스템(600) 사이에 데이터 처리 비율을 변경할 수 있다.
이하 해상객체 탐지 및 식별 모델의 학습용 데이터를 생성하는 단계(S110)에 대해 상세히 설명하기로 한다.
도 9는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법의 흐름도이다.
도 9를 참조하면, 해상객체 인식 방법(S200), 즉 학습용 데이터 생성 방법은, 초분광 데이터의 수집(S210), 초분광 데이터의 전처리(S220), 초분광 데이터를 이용하는 데이터셋 구성(S230), 분석 알고리즘을 이용하는 데이터셋 분석(S240), 분석 결과에 기반하는 화소 데이터 관리(S250) 및 화소 데이터가 포함된 학습 데이터 구축(S260)을 포함하도록 구성될 수 있다.
S210 단계에서, 초분광 데이터 분석 장치(700)(이하, 초분광 데이터 분석 장치)는, 객체 식별 모델을 학습시키는 데 사용될 각종 객체가 나타나 있는 해양 촬영을 통해 초분광 데이터를 수집할 수 있다. 여기서, 수집의 개념은 “수신” 작용을 포함할 수 있다. 따라서, 사용자 입력에 따라 초분광 데이터 분석 장치(700)는 네트워크(400)에 연결된 각종 초분광 데이터 소스로부터 초분광 데이터를 수신할 수 있다.
S220 단계에서, 초분광 데이터 분석 장치(700)는, 초분광 데이터를 전처리할 수 있다. 초분광 데이터의 품질은, 수집 당시의 태양의 고도, 구름의 유무와 양, 날씨 변화에 민감하기 때문에 항상 충분한 빛이 있는 상황에서 수집될 수 없다. 따라서, 수집된 초분광 데이터는, 전처리 과정을 통해, 각종 보정, 예를 들어 방사 보정, 대기 보정 및 기하 보정될 수 있다.
S230 단계에서, 초분광 데이터 분석 장치(700)는, 초분광 데이터를 이용하여 해양 객체 인식의 학습용 데이터셋을 구성할 수 있다.
초분광 데이터 분석 장치(700)는 데이터 파일을 선택하고, 데이터 파일의 분석 범위를 설정하고, 데이터 파일을 변환할 수 있다.
예를 들어, 초분광 데이터 분석 장치(700)는, 초분광 데이터에 포함된 가시광선의 영역의 데이터를 이용하여, 초분광 데이터를 영상으로 시각화할 수 있다. 예를 들어 초분광 데이터는, 분석 영역으로 X축 2점과 Y축 2점의 사각 범위가 설정될 수 있고, 선택된 영역의 초분광 데이터는 가시화될 수 있다. 가시화의 이유는 사용자의 작업 효율을 높이기 위함을 포함한다. 초분광 데이터는, 분석을 위해 DMT 이미지, HIS 이미지, Binary 영상 등으로 변환될 수 있다. 또한, 초분광 데이터는, 명도의 범위를 높이기 위해 HDR 이미지 형태로 변환될 수 있다.
S240 단계에서, 초분광 데이터 분석 장치(700)는, 분석 알고리즘을 이용하여 데이터셋을 분석할 수 있다. 데이터셋의 분석은, 해상객체의 탐지 및 식별을 위한 과정에 해당한다. 해상객체의 탐지란, 해상객체의 존재를 탐지하는 것을 의미하며, 해상객체의 식별이란, 탐지된 해당객체의 정체를 알아내는 것을 말한다. 데이터셋의 분석에 대해서는 도 5를 참조하여 상세히 설명하기로 한다.
도 10은 본 발명의 일 실시 예에 따른, 초분광 데이터에 기반하는 해상객체 인식 방법의 흐름도이다.
도 10을 참조하면, 본 발명의 일 실시 예에 따른 데이터셋을 분석하는 단계는(S300)는, 머신 러닝 알고리즘을 이용하여 초분광 데이터를 프리스크리닝 하는 단계(S310), 프리스크리닝 결과에 기반하여 해상객체를 탐지하는 단계(S320) 및 탐지된 해상객체를 식별하는 단계(S330)를 포함하도록 구성될 수 있다.
S310 단계에서, 데이터 분석 장치(700)는, 머신 러닝 알고리즘을 이용하여 초분광 데이터를 프리스크리닝 할 수 있다. 본 발명의 일 실시 예에서 해상객체의 군집화에 밀도 기반의 클러스터링(Density-based clustering) 기법이 이용될 수 있다. 특히 본 발명의 일 실시 예로서 디비스캔(Density-Based Spatial Clustering of Applications with Noise, DBSCAN) 알고리즘이 이용될 수 있다.
초분광 데이터 분석 장치(700)는, 해상객체 군집 형성에 관한 파라미터를 변경하면서 군집의 밀집도를 분석할 수 있다. 예를 들어 초분광 데이터 분석 장치(700)는, 군집 형성에 관한 HDSCAN의 파라미터인, eps 파라미터의 변경에 따라 군집의 밀집도가 분석될 수 있다. 군집의 밀집도에 따라서, 해상객체는 군집에 속하기도, 속하지 않고 노이즈로 탐지될 수 있다. 또한, 군집에 속하는 최소값에 해당하는 min_samples 파라미터 값의 조정을 통해, 임의의 해상객체는 군집 내에 포함되기도 하고, 아니면 군집 밖에서 노이즈로 취급될 수도 있다.
그 밖에 본 발명의 일 실시 예에서 사용되는 파라미터로 Cores와 Scan Scale이 있다. Cores는 머신 러닝 분석속도와 관련된 파라미터이며, CPU의 사용 코어수를 제어한다. Scan Scale은 한 번에 분석할 수 있는 초분광 데이터의 분석 크기를 지정하는 파라미터이다.
DBSCAN 방식은 화소가 늘어날 때 마다 속도가 곱절로 증가하는 반면, 화소가 너무 낮을 때는 적절한 군집을 형성할 수 없다. 이 파라미터는 머신 러닝의 속도에 관련된 파라미터면서도 추후 항공 영상 자료를 실시간 혹은 준실시간으로 신속히 나누어 연산하는 상황을 고려하여 구현될 수 있다.
S320 단계에서, 초분광 데이터 분석 장치(700)는, 프리스크리닝 결과에 기반하여 해상 객체를 탐지할 수 있다.
예를 들어, 초분광 데이터 분석 장치(700)는, 해양 객체의 밀집도에 기반하여 초분광 데이터에서 해수 영역의 데이터를 제거할 수 있다. 해수는 초분광 데이터 내에서 하나의 해상객체를 형성할 수 있다. 따라서, 해상객체로 취급되는 한에서 해수는 가장 많은 수의 화소를 포함하는 군집에 해당한다. 따라서, 대상체를 식별하기 위해 해수 영역의 초분광 데이터는 제거되어야 할 필요가 있다. 밀집도 분석을 통해 해상 초분광 데이터에서 가장 밀집하게 분포되는 해수에 관한 데이터가 제거될 수 있다.
S330 단계에서, 초분광 데이터 분석 장치(700)는, 탐지된 상기 해상 객체를 식별할 수 있다.
예를 들어, 초분광 데이터 분석 장치(700)는, 군집화 알고리즘을 이용하여 군집 외에서 객체가 형성하는 노이즈를 탐지할 수 있다. 본 발명의 일 실시 예에서 군집에 포함된 객체의 화소는 흰색으로, 군집에 포함되지 않은 객체의 화소는 검은색으로 표시될 수 있다. 군집 외에서 형성되는 노이즈는 대상체가 될 수 있다.
초분광 데이터 분석 장치(700)는, 노이즈에 해당하는 화소의 좌표 값과 스펙트럼에 기반하여 해상객체를 식별할 수 있다. 해상객체에 해당하는 노이즈 영역의 화소의 스펙트럼을 분석해 보면, 해상객체의 종류에 따라, 예를 들어 어선, 구명환, 구명부기, 구명뗏목에 따라 노이즈의 화소는 고유한 스펙트럼을 보인다. 따라서, 화소의 좌표 값과 스펙트럼에 기반하여 해상객체가 식별될 수 있다.
S250 단계에서, 초분광 데이터 분석 장치(700)는, 분석 결과를 이용하여 상기 객체를 이루는 화소를 관리할 수 있다.
초분광 데이터 분석 장치(700)는, 해양 객체가 형성하는 화소에 라벨링할 수 있다. 본 발명의 일 실시 예에 따른 초분광 인식 방법(S200)을 통해 처리된 초분광 데이터는 머신 러닝 알고리즘에 기반하여 해상객체를 탐지하고 식별하는 탐지 및 인식 모델의 학습에 이용될 수 있다. 따라서, 처리 과정에서 해상객체의 탐지 및 식별 결과가 해당 초분광 영상의 화소에 라벨링을 통해 저장될 수 있다.
S260 단계에서, 초분광 데이터 분석 장치(700)는, 화소 데이터를 이용하여 학습 데이터를 구축할 수 있다.
여기서, 화소 데이터를 이용한 학습 데이터를 구축하는 단계(S260)는, 라벨링된 해양 객체가 형성하는 화소 데이터를 분류하는 단계, 및 분류된 상기 화소 데이터를 이용하여 통합 라이브러리를 구축하는 단계를 포함하도록 구성될 수 있다.
또한, 초분광 데이터 분석 장치(700)는 통합 라이브러리에 화소 스펙트럼을 저장할 수 있다. 따라서, 통합 라이브러리는, 초분광 데이터에 대한, 노이즈의 좌표 값 정보, 식별된 해상객체 정보 및 화소 스펙트럼 정보를 포함할 수 있다.
이하 본 발명의 일 실시 예에 따른 초분광 데이터에 기반하는 해상객체 인식 방법(S200)에 관한 코드가 포함된 명령어를 수행하도록 작성된 애플리케이션의 UI의 예시화면에 대해 설명하기로 한다.
도 11은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법을 구현한 애플리케이션 UI의 예시화면이다.
도 11을 참조하면, 사용자의 시각을 통해 보여질 수 있는 형태로 변환된 초분광 데이터가 묘사되어 있다. 영상목록은 본 발명의 일 실시 예에 따른 데이터셋을 나타낸다. 그리고 실시간 수신정보는 초분광 분석 장치(700)가 수신한 초분광 데이터에 관한 수신정보를 나타낸다.
도 12는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법을 구현된 애플리케이션 UI의 예시화면이다.
도 12를 참조하면, 본 발명의 일 실시 예에 따른 초분광 데이터는, 그 피사체에 육지를 포함할 수 있다. 데이터셋이 구성되면(S230) 작업에 필요한 초분광 데이터가 만들어진 데이터셋에 연동된다. 분석하고자 하는 영역의 좌표측이 설정되고, 예를 들어 400nm 내지 900nm 중에서 127개 밴드 대역에서 3가지 밴드 대역이 설정되고, 설정된 영역의 가시화된 이미지가 표출된다. 해당 영역에 대해 머신 러닝 분석이 진행되며, 이 경우 EPS, Cores, Scan Scale 파라미터가 설정될 수 있다. 사용자는, UI를 이용하여 추가적인 연구 진행을 위해 데이터셋 자체를 삭제하거나, 또는 머신 러닝으로 분석된 학습 데이터만을 제거할 수 있다.
도 13은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터셋 구성에 관한 애플리케이션 UI의 예시화면이다.
도 13을 참조하면, 데이터셋 구성의 UI를 통해 초분광 데이터 등록, 이미지 변환 등의 과정이 수행될 수 있다. 도 8은 전곡항에서 수집된 초분광 데이터를 이용한 데이터셋 구성을 묘사하고 있다.
도 14는 본 발명의 일 실시 예에 따른, 초분광 데이터에 기반하는 해상객체 인식 방법에서 데이터 변환에 관한 애플리케이션 UI의 예시화면이다.
도 14를 참조하면, 초분광 데이터의 이미지 변환 과정에 관한 UI가 묘사되어 있다. 초분광 데이터는, 크롭 동작을 통해 일부 영역이 분석에 이용될 수 있다. 분석 영역은, 2점의 X축 좌표와 Y축 좌표 값으로 묘사될 수 있다. UI의 메뉴를 통해 사용자는 RGB 이미지를 HDR 이미지 위치에 표시할 수 있다.
도 15는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터 분석에 관한 애플리케이션 UI의 예시화면이다.
도 15를 참조하면, 본 발명의 일 실시 예에 따른, 초분광 데이터의 분석에 사용되는 머신 러닝 알고리즘의 파라미터 지정과 관련된 UI가 묘사되어 있다. EPS는 0.1로, Cores는 40으로 그리고 Scan Scale은 100으로 각각 지정되어 있음을 확인할 수 있다.
도 16은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터 분석의 결과에 관한 애플리케이션 UI의 예시화면이다.
도 16을 참조하면, 전곡항에서 수집된 초분광 데이터의 분석 결과가 묘사되어 있다. 노이즈에 관한 좌표가 검출되고, 사용자는 스펙트럼 정보를 참조하여, 검출된 노이즈에 대해 라벨링을 수행할 수 있다.
도 17은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 탐지에 관한 애플리케이션 UI의 예시화면이다.
도 17을 참조하면, 해상객체 탐지 과정에서 초분광 데이터를 이용한 해수 제거 과정이 묘사되어 있다. 좌측 이미지는 해수가 표현된 이미지이고, 우측 이미지는 해수가 제거된 이미지이다.
도 18은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 탐지율에 관한 애플리케이션 UI의 예시화면이다.
도 18을 참조하면, 초분광 데이터 분석 결과에 따라 바이너리 이미지 상에서 노이즈로 나타나는 해상객체의 화소 분포가 나타나 있다. 지정된 EPS 파라미터 값에 따라 화소의 분포가 다르게 나타난다. DBSCAN의 EPS 파라미터의 값을 0.01~0.03으로 변화시키면서 화소수가 분석될 수 있다. EPS가 증가할수록 DBSCAN을 통해 탐지되는 화소수가 감소된다.
도 19는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 식별에 관한 애플리케이션 UI의 예시화면이다.
도 19를 참조하면, 해상객체 중에서 노이즈로 분류된 어선, 구명환, 구명부기, 구명뗏목을 구성하는 화소의 스펙트럼 분포가 묘사되어 있다. 해상객체는 그 종류에 따라 고유의 스펙트럼을 가지므로, 이에 기반하여 해상객체 식별이 가능하다.
이와 같이 본 발명의 일 실시 예에 따르면, 통신 상태에 따라 실시간으로 수집되는 초분광 데이터의 전처리 및 처리를 상공 또는 지상에서 수행될 수 있다.
또한, 지상의 시스템에서 완성된 해양객체 탐지 모델과 식별 모델을 상공의 시스템에 탑재 시켜 해양객체 탐지 및 식별에 이용될 수 있고, 다시 지상의 시스템에서 재학습을 거쳐 성능이 업그레이드될 수 있다.
또한, 초분광 데이터를 이용하여 해수 대비 해양 객체의 식별에 소요되는 시간을 줄이고, 아울러 식별률을 높일 수 있다.
또한, 초분광 데이터의 축적에 따라, 머신 러닝 군집화에서 노이즈로 나타나는 해양 객체를 인식하는, 초분광 데이터 기반의 해양 객체 인식 모델의 학습 및 재학습이 가능하다.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.
본 발명은 통신 상태에 따라 실시간으로 수집되는 초분광 데이터의 전처리 및 처리를 상공 또는 지상에서 수행될 수 있다.

Claims (16)

  1. 대상 초분광 데이터를 수집하는 단계;
    상기 대상 초분광 데이터를 전처리하는 단계; 및
    해상객체의 탐지 및 식별의 학습을 통해 훈련된, 해상객체 탐지 및 식별 모델에 기반하여 상기 대상 초분광 데이터에 포함된 대상체를 탐지 및 식별하는 단계를 포함하도록 구성되는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  2. 제 1 항에 있어서,
    상기 대상 초분광 데이터 수집이 실시간으로 이루어짐에 따라 그 뒤의 단계들이 이와 연동하여 실시간으로 이루어지는 것을 특징으로 하는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  3. 제 1 항에 있어서,
    상기 대상 초분광 데이터를 전처리하는 단계는,
    상기 대상 초분광 데이터의 방사 보정, 대기 보정 및 기하 보정 중에서 적어도 하나를 포함하도록 구성되는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  4. 제 1 항에 있어서,
    상기 해상객체 탐지 및 식별 모델의 학습용 데이터를 생성하는 단계; 및
    상기 학습용 데이터를 이용하여 상기 학습을 통해 상기 해상객체 탐지 및 식별 모델을 훈련시키는 단계를 더 포함하도록 구성되는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  5. 제 4 항에 있어서,
    상기 학습용 데이터를 생성하는 단계는,
    초분광 데이터를 이용하여 해양 객체 식별의 학습용 데이터셋을 구성하는 단계;
    분석 알고리즘을 이용하여 상기 데이터셋을 분석하는 단계;
    분석 결과를 이용하여 상기 객체를 이루는 화소를 관리하는 단계; 및
    화소 데이터를 이용하여 학습 데이터를 구축하는 단계를 포함하도록 구성되는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  6. 제 5 항에 있어서,
    상기 데이터셋을 분석하는 단계는,
    머신 러닝 알고리즘을 이용하여 초분광 데이터를 프리스크리닝 하는 단계;
    상기 프리스크리닝 결과에 기반하여 해상객체를 탐지하는 단계; 및
    탐지된 상기 해상객체를 식별하는 단계를 포함하도록 구성되는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  7. 제 6 항에 있어서,
    상기 프리스크리닝 하는 단계는,
    해양 객체 군집 형성에 관한 파라미터를 변경하면서 군집의 밀집도를 분석하는 단계를 포함하도록 구성되는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  8. 제 6 항에 있어서,
    상기 해상객체를 탐지하는 단계는,
    해양 객체의 밀집도에 기반하여 초분광 데이터에서 해수 영역의 데이터를 제거하는 단계를 포함하도록 구성되는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  9. 제 6 항에 있어서,
    상기 해상객체를 식별하는 단계는,
    군집화 알고리즘을 이용하여 군집 외에서 객체가 형성하는 노이즈를 탐지하는 단계를 더 포함하도록 구성되는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  10. 제 9 항에 있어서,
    상기 해상객체를 식별하는 단계는,
    상기 노이즈에 해당하는 화소의 좌표 값과 스펙트럼에 기반하여 해상객체를 식별하는 단계를 포함하도록 구성되는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  11. 제 5 항에 있어서,
    상기 화소를 관리하는 단계는,
    상기 해양 객체가 형성하는 화소에 라벨링하는 단계를 포함하도록 구성되는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  12. 제 5 항에 있어서,
    상기 학습 데이터를 구축하는 단계는,
    라벨링된 해양 객체가 형성하는 화소 데이터를 분류하는 단계; 및
    분류된 상기 화소 데이터를 이용하여 통합 라이브러리를 구축하는 단계를 포함하도록 구성되는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  13. 제 1 항에 있어서,
    상기 전처리 및 대상체 탐지 및 식별을 위한 데이터 처리는,
    상공의 제1 서브 시스템 및 지상의 제2 서브 시스템 중에서 적어도 하나에 의해 수행되는 것을 특징으로 하는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  14. 제 13 항에 있어서,
    상기 제1 서브 시스템과 제2 서브 시스템 간의 통신 상태를 탐지하는 단계; 및
    상기 통신 상태와 상기 제1 서브 시스템과 제2 서브 시스템의 처리 속도를 비교하는 단계를 더 포함하고,
    상기 비교 결과에 따라, 상기 제1 서브 시스템과 제2 서브 시스템 중에서 처리될 데이터의 양 및 주체가 결정되는 것을 특징으로 하는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  15. 제 14 항에 있어서,
    상기 통신 상태의 변동에 따라, 데이터 처리 주체를 변경하거나, 상기 제1 서브 시스템과 제2 서브 시스템 사이에 데이터 처리 비율을 변경하는 단계를 더 포함하도록 구성되는,
    초분광 데이터에 기반하는 해상객체 인식 방법.
  16. 수집된 대상 초분광 데이터를 이용하여 대상체를 식별하고 탐지하는 객체 식별부; 및
    상기 대상 초분광 데이터를 보정하는 전처리부를 공통으로 포함하도록 구성되는, 제1 서브 시스템과 제2 서브 시스템; 및
    상기 제1 서브 시스템과 제2 서브 시스템 간의 통신 상태를 탐지하고, 상기 통신 상태와 상기 제1 서브 시스템과 제2 서브 시스템의 처리 속도를 비교하는 제어부를 포함하고,
    상기 제어부는,
    상기 비교 결과에 따라, 상기 제1 서브 시스템과 제2 서브 시스템 중에서 처리될 데이터의 양 및 주체를 결정하는 것을 특징으로 하는,
    초분광 데이터에 기반하는 해상객체 인식 시스템.
PCT/KR2021/011287 2020-12-24 2021-08-24 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템 WO2022139111A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/999,386 US11715286B2 (en) 2020-12-24 2021-08-24 Method and system for recognizing marine object using hyperspectral data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200183172A KR102270834B1 (ko) 2020-12-24 2020-12-24 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템
KR10-2020-0183172 2020-12-24

Publications (1)

Publication Number Publication Date
WO2022139111A1 true WO2022139111A1 (ko) 2022-06-30

Family

ID=76601928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/011287 WO2022139111A1 (ko) 2020-12-24 2021-08-24 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템

Country Status (3)

Country Link
US (1) US11715286B2 (ko)
KR (1) KR102270834B1 (ko)
WO (1) WO2022139111A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102258903B1 (ko) 2020-12-24 2021-06-02 한국해양과학기술원 해상객체 식별을 위한 초분광 데이터 처리방법 및 장치
KR102270834B1 (ko) * 2020-12-24 2021-06-30 한국해양과학기술원 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템
KR102495175B1 (ko) * 2022-04-27 2023-02-06 한국해양과학기술원 웹 기반의 사용자 연동을 통한 초분광 영상 기반 해상객체 인식에 사용되는 학습 데이터셋 구축 장치 및 방법
KR102529044B1 (ko) 2022-04-29 2023-05-03 한국해양과학기술원 초분광 데이터 관리 시스템 및 이를 이용한 사용 목적별 운영 서비스 제공 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101621354B1 (ko) * 2016-03-31 2016-05-20 주식회사 지오스토리 항공 초분광영상을 활용한 수심 보정 방법
US20160266246A1 (en) * 2013-10-23 2016-09-15 Ladar Limited A system for monitoring a maritime environment
KR20180065411A (ko) * 2016-12-07 2018-06-18 한국해양과학기술원 해상객체의 자동추적 시스템 및 방법
KR102270834B1 (ko) * 2020-12-24 2021-06-30 한국해양과학기술원 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101672291B1 (ko) 2016-03-31 2016-11-08 주식회사 지오스토리 항공 초분광영상을 활용한 갯녹음 탐지 기법
CN109544534B (zh) * 2018-11-26 2020-10-16 上海联影智能医疗科技有限公司 一种病灶图像检测装置、方法和计算机可读存储介质
KR102258903B1 (ko) 2020-12-24 2021-06-02 한국해양과학기술원 해상객체 식별을 위한 초분광 데이터 처리방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160266246A1 (en) * 2013-10-23 2016-09-15 Ladar Limited A system for monitoring a maritime environment
KR101621354B1 (ko) * 2016-03-31 2016-05-20 주식회사 지오스토리 항공 초분광영상을 활용한 수심 보정 방법
KR20180065411A (ko) * 2016-12-07 2018-06-18 한국해양과학기술원 해상객체의 자동추적 시스템 및 방법
KR102270834B1 (ko) * 2020-12-24 2021-06-30 한국해양과학기술원 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEE JEONGHWAN: "A Method of Color Image Segmentation Based on DBSCAN(Density Based Spatial Clustering of Applications with Noise) Using Compactness of Superpixels and Texture Information", JOURNAL OF THE KOREA SOCIETY OF DIGITAL INDUSTRY AND INFORMATION MANAGEMENT, vol. 11, no. 4, 30 December 2015 (2015-12-30), pages 89 - 97, XP055944836, ISSN: 1738-6667, DOI: 10.17662/ksdim.2015.11.4.089 *
NOH SI-HYEONG: "NOH, Si-Hyeong et al. A Study on Learning Medical Image Dataset and Analysis for Deep Learning", PROCEEDINGS OF ANNUAL SPRING CONFERENCE OF KIPS 2018 (ASK 2018), vol. 25, 1 May 2018 (2018-05-01), pages 350 - 351, XP055944799 *

Also Published As

Publication number Publication date
KR102270834B1 (ko) 2021-06-30
US11715286B2 (en) 2023-08-01
US20230196743A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
WO2022139111A1 (ko) 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템
WO2022139110A1 (ko) 해상객체 식별을 위한 초분광 데이터 처리방법 및 장치
WO2020071839A1 (ko) 선박 및 항만 모니터링 장치 및 방법
WO2018110964A1 (en) Electronic device and method for recognizing object by using plurality of sensors
WO2019151735A1 (en) Vision inspection management method and vision inspection system
WO2019132131A1 (ko) 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2019132587A1 (ko) 영상 분석 장치 및 방법
WO2020130747A1 (ko) 스타일 변환을 위한 영상 처리 장치 및 방법
WO2022114731A1 (ko) 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
WO2020138803A1 (ko) 영상 분석 장치 및 방법
WO2019027141A1 (en) ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE OPERATION OF A VEHICLE
WO2013165048A1 (ko) 영상 검색 시스템 및 영상 분석 서버
WO2021006482A1 (en) Apparatus and method for generating image
WO2019235776A1 (ko) 이상 개체 판단 장치 및 방법
WO2019009664A1 (en) APPARATUS FOR OPTIMIZING THE INSPECTION OF THE OUTSIDE OF A TARGET OBJECT AND ASSOCIATED METHOD
WO2019050297A1 (ko) 뉴럴 네트워크 학습 방법 및 장치
WO2023120831A1 (ko) 비식별 처리 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2020017814A1 (ko) 이상 개체 검출 시스템 및 방법
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
WO2020085653A1 (ko) 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템
WO2022075530A1 (ko) 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법
WO2020091337A1 (ko) 영상 분석 장치 및 방법
WO2020091253A1 (ko) 전자 장치 및 전자 장치의 제어 방법

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21911181

Country of ref document: EP

Kind code of ref document: A1