WO2019132131A1 - 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법 - Google Patents

사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법 Download PDF

Info

Publication number
WO2019132131A1
WO2019132131A1 PCT/KR2018/005628 KR2018005628W WO2019132131A1 WO 2019132131 A1 WO2019132131 A1 WO 2019132131A1 KR 2018005628 W KR2018005628 W KR 2018005628W WO 2019132131 A1 WO2019132131 A1 WO 2019132131A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wavelength
ship
unit
module
Prior art date
Application number
PCT/KR2018/005628
Other languages
English (en)
French (fr)
Inventor
오상우
김태성
강원수
이문진
전태병
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to US16/470,531 priority Critical patent/US10803590B2/en
Publication of WO2019132131A1 publication Critical patent/WO2019132131A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7635—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Definitions

  • the present invention relates to a multi-wavelength image analysis electro-optical system and an analysis method thereof. More particularly, the present invention relates to a multi-wavelength image analysis electro-optical system and an analysis method thereof, And more particularly, to a multi-wavelength image analysis-based detection system and method for visualizing a search object using image information of a selective wavelength band according to conditions or physical conditions of a detection object.
  • the search for missing persons and accident vessels carried out by the domestic search agencies is conducted using a search platform (ship, airplane) with visual search / visible camera (daytime) and an infrared camera .
  • the electro-optic equipment used in the search of marine accidents in Korea is limited to the color image in the daytime and to the function of obtaining the thermal image in the nighttime, and the functions such as fog, fine dust, In marine environmental conditions, which are difficult to detect, there is a disadvantage in that the detection probability is low because the utilization of the equipment is limited.
  • the visibility camera which is a daytime image camera
  • the infrared camera which is a night vision camera
  • the infrared camera is integrated and developed by introducing products from abroad.
  • electrooptical system using spectral image analysis which is a specialized method with high detection degree according to search object and search environment conditions, is utilized as search support equipment.
  • optimized search images can be obtained, enabling quick search and rescue compared with existing search devices (radar, daytime camera, night camera, etc.).
  • the US infrared-range electro-optical sensor is an item subject to import and export control regulations, and imports are limited for private development except for the public or research. Therefore, The international competitiveness of domestic companies in the development market is currently very low.
  • a search platform such as an aircraft or a ship is mobilized.
  • the detection resolution resolution
  • an active sensor such as a radar
  • An electro-optic sensor having a relatively high level is mainly used.
  • the currently used electro-optical sensors have a limitation in utilization in dark conditions without natural light or misty or rainy conditions, and when the size and color of the object to be detected do not differ from the surrounding environment, they are separated from each other.
  • U.S. Patent No. 8300108 relates to a multi-channel imaging device that uses a single focal plane array (FPA) to provide improved object identification methods and methods for identifying and identifying high resolution infrared images with polarization information, broadband fan color intensity levels, and multi- Lt; / RTI >
  • FPA focal plane array
  • certain embodiments increase the size of the filters used to filter image content and reduce complexity, thereby reducing manufacturing and production costs.
  • subpixel parallax is used to generate a high resolution image, to provide a range estimate of the target, and to distinguish moving objects from background disturbances.
  • a conventional technique such as US 8300108 must overcome the following two conditions.
  • the first is a detectable marine environmental condition.
  • conventional electro-optical sensors which are designed for daytime environments with good weather conditions and sufficient light intensity
  • nighttime environments with limited light intensity by using multi-wavelength band images acquired through ultra-low-light visible wide-band image sensors and additional infrared band sensors
  • the second is the separation of the detected object.
  • the detection is performed using only the difference between the observed values of the target object (ship, submerger) and the background (sea water) at the time of the sea detection, If the absolute value characteristics within the range are similar, detection is not performed or false detection is made.
  • the detection rate largely degrades because it is impossible to acquire most observation values in the image or the difference of the image observation values is not clear.
  • multi-wavelength image including observation values of the selected wavelength band using the ultra-low light intensity sensor and filter for converting and amplifying the limited optical signal, and additional three infrared bands (long wavelength, medium wave and short wavelength infrared) , It is necessary to be able to detect the target object which is optimized in a limited marine accident environment condition.
  • the present invention provides a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator capable of improving the detection rate of an accident vessel and a deceased person, and an analysis method thereof.
  • a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator, the multi-wavelength image analyzing electronic optical system for detecting a ship and a dehydrator,
  • An input unit having a medium-wave infrared image sensor and a long-wavelength infrared image sensor;
  • a signal processing unit for receiving and processing data of the input unit;
  • a display unit for receiving and displaying data of the signal processing unit;
  • a storage unit for storing data of the signal processing unit and the display unit;
  • a control unit having a camera control board and a drive control board and controlling the input unit, the signal processing unit, the display unit, and the storage unit.
  • the camera control board may include an EMCCD module, a VIS filter control module, and an EMCCD zoom lens module.
  • the camera control board may include an LWIR module, an MWIR module, and an SWIR module.
  • the drive control board may include a fan motor driver and a fan motor encoder.
  • the drive control board may include a tilt motor driver and a tilt motor encoder.
  • the camera control board and the drive control board may receive a control signal from the signal processing board.
  • the signal processing board can receive a control signal from a user UI.
  • the input unit may include an image receiving unit, and the image receiving unit may further include a visible light image receiving module, an infrared image receiving module, and an image conformity checking module.
  • the signal processing unit may include an image analysis unit, and the image analysis unit may further include a multispectral library module, a multispectral mixture analysis module, and a process result integration module.
  • the display unit may include an image visualization unit, and the image visualization unit may further include a multi-wavelength image visualization module, an infrared image visualization module, and an integrated image visualization module.
  • a method for analyzing a multi-wavelength image analyzing electronic optical system for detecting a ship and a dehydrator Receiving an airborne multi-wavelength image in which the image receiving unit observes; (b) generating an original image for each of the signal processing and wavelength by the image analysis unit; And (c) applying a marine object detection algorithm for image feature-based feature detection and optimal threshold-based detection; And (d) visualizing the detection object image by the image visualization unit 300; . ≪ / RTI >
  • the step (a) may include: (a-1) using a short-wave infrared sensor having a wavelength of 1 to 2.5 .mu.m, which is longer than particles of mist, fine dust, and smoke; And (a-2) using a long-wave infrared (LWIR) sensor with a wavelength of 8 to 14 um, which is longer than a short-wave infrared (SWIR) sensor, in a low illumination environment; As shown in FIG.
  • the step (c) includes the steps of: (c-1) detecting the feature detection based on the multi-wavelength image based on the feature detection based on the feature vector of each pixel for image segmentation,
  • the method may further include estimating parameters for determining the probability model using a statistical method, or performing a segmentation using a cluster algorithm based on the similarity between the feature vectors, assuming a probability model.
  • the algorithm for detecting a feature based feature based on the multi-wavelength image (c-1) detects the maximum likelihood for an unknown parameter in incomplete data, To obtain a maximum value of the maximum value.
  • the algorithm for detecting an object of optimal threshold-based detection based on the multi-wavelength image is performed by mixing histograms of a Gaussian function and an original image formed around all level values of an image And an optimized image segmentation technique that sets a threshold value through a new histogram of the image can be used.
  • the step (d) includes the steps of (d-1) displaying and storing the aviation visible light image inputted in a visible light image visualization module by selecting a specific band (for example, RGB) in an image form; And (d-2) displaying and storing an aerial infrared image in an image form in an infrared image visualization module; As shown in FIG.
  • the integrated visualization module may further include a step of visualizing the position of the detection object by visualizing the position of the detection object, have.
  • the aerial observation multi-wavelength image that has undergone the preprocessing process in the image reception unit and the object to be detected in the corresponding area are displayed as images in time, Displaying them together in a text form; As shown in FIG.
  • the integrated image visualization module divides the detection result according to classification, and displays and stores the detection result in a tabular form together with detailed information such as type, material, As shown in FIG.
  • a computer readable recording medium storing a program for implementing an analysis method of a multi-wavelength image analysis electro optical system for detecting a ship and a dehydrator.
  • the present invention by using the multi-wavelength band image acquired through the ultra-low-illuminance visible-light-range image sensor and the additional infrared-ray sensor, it is possible to reduce the amount of smoke due to fog, It is possible to operate under the conditions that occur.
  • multi-wavelength images including observation values of the selected wavelength band using the ultra-low light intensity sensor and filter for converting and amplifying the limited optical signal, and additional three infrared bands (long wavelength, medium wave and short wavelength infrared) , It is possible to detect an object to be optimized in a limited marine accident environment condition.
  • FIG. 1 (a) to 1 (c) illustrate a method of acquiring an airborne multi-wavelength image, a method of analyzing a video image of an airborne multi-wavelength image, Fig.
  • Fig. 2 is a photograph showing images taken by selecting sensors having high fog (a), fine dust (b), smoke (c), and high transmittance according to environmental conditions.
  • 3 is a graph showing SWIR, MWIR, and LWIR regions of multiple wavelengths.
  • Fig. 4 is a schematic diagram in which a search area of the sea is set according to the size (small, medium, large) of the ship and the flooded state of the missing person (state 1, state 2, state 3).
  • FIG. 5 is a photograph of a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator according to the present invention.
  • FIG. 6 is a block diagram illustrating a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator according to the present invention.
  • FIG. 7 is a circuit diagram showing the connection of circuits of a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator according to the present invention shown in FIG.
  • FIG. 8 is a block diagram illustrating a signal processing unit of a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator according to the present invention shown in FIG.
  • FIG. 9 is a flowchart illustrating an analysis method of a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator according to the present invention shown in FIG.
  • FIG. 10 is a view of an embodiment of the result of the accident vessel and dehydrator detection displayed through the image visualization unit 300 of the multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator according to the present invention.
  • the component may be directly connected or in contact with another component.
  • the terms "part”, “unit”, “module”, “apparatus” and the like mean units capable of handling one or more functions or operations, if used.
  • FIG. 1 (a) to 1 (c) illustrate a method of acquiring an airborne multi-wavelength image, a method of analyzing a video image of an airborne multi-wavelength image, Fig.
  • Fig. 2 is a photograph showing images taken by selecting sensors having high fog (a), fine dust (b), smoke (c), and high transmittance according to environmental conditions.
  • 3 is a graph showing SWIR, MWIR, and LWIR regions of multiple wavelengths.
  • Fig. 4 is a schematic diagram in which a search area of the sea is set according to the size (small, medium, large) of the ship and the flooded state of the missing person (state 1, state 2, state 3).
  • FIG. 5 is a photograph of a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator according to the present invention.
  • FIG. 6 is a block diagram illustrating a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator according to the present invention.
  • FIG. 7 is a circuit diagram showing the connection of circuits of a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator according to the present invention shown in FIG.
  • FIG. 8 is a block diagram illustrating a signal processing unit of a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator according to the present invention shown in FIG.
  • FIG. 9 is a flowchart illustrating an analysis method of a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator according to the present invention shown in FIG.
  • FIG. 10 is a view of an embodiment of the result of the accident vessel and dehydrator detection displayed through the image visualization unit 300 of the multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator according to the present invention.
  • the multi-wavelength image analyzing electro-optical system for detecting a ship and a dehydrator of the present invention is a multi-wavelength image analyzing electro-optical system for detecting a ship and a dehydrator, comprising an ultra low light camera (3)
  • An input unit 10 having a medium wavelength infrared image sensor 7 and a long wavelength infrared image sensor 9;
  • a signal processing unit 20 for receiving and processing data of the input unit 10;
  • a display unit (30) for receiving and displaying data of the signal processing unit (30);
  • a storage unit 40 for storing data of the signal processing unit 20 and the display unit 30;
  • a control unit 90 having a camera control board 50 and a drive control board 60 and controlling the input unit 10, the signal processing unit 20, the display unit 30, and the storage unit 40; .
  • the input unit 10 of the multi-wavelength image analysis electro-optical system 1 for detecting a ship and a dehydrator of the present invention includes an ultra low light camera 3, a short wavelength infrared image sensor 5, A long infrared ray image sensor 7, and a long wavelength infrared ray image sensor 9.
  • the multi-wavelength image analysis electro-optical system 1 for detecting a ship and a dehydrator of the present invention is a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator
  • An input unit 10 having a short wavelength infrared image sensor 5, a medium wavelength infrared image sensor 7, and a long wavelength infrared image sensor 9;
  • a signal processing unit 20 for receiving and processing data of the input unit 10;
  • a display unit (30) for receiving and displaying data of the signal processing unit (30);
  • a control unit 90 having a camera control board 50 and a drive control board 60 and controlling the input unit 10, the signal processing unit 20, the display unit 30, and the storage unit 40; .
  • the input unit 10 includes an image receiving unit 100 and the image receiving unit 100 includes a visible light image receiving module 110, an infrared image receiving module 120, and an image conformity checking module 130.
  • the signal processing unit 20 includes an image analysis unit 200 and the image analysis unit 200 includes a visible light image processing module 210, a multi-wavelength mixture analysis module 220, and a processing result integration module 230 .
  • the display unit 30 includes an image visualization unit 300 and the image visualization unit 300 includes a multi-wavelength image visualization module 310, an infrared image visualization module 320, and an integrated image visualization module 330.
  • the camera control board 50 includes an EMCCD module 51, a VIS filter control module 52 and an EMCCD zoom lens module 53 and includes an LWIR module 55, an MWIR module 56, and an SWIR module 57 do.
  • the drive control board 60 includes a fan motor driver 61 and a fan motor encoder 63 and the drive control board 60 includes a tilt motor driver 65 and a tilt motor encoder 67.
  • the camera control board 50 and the drive control board 60 receive a control signal from the signal processing board 70.
  • the signal processing board 70 receives a control signal from the user UI 80.
  • the multi-wavelength image analysis electro-optical system 1 for detecting a ship and a dehydrator includes an image receiving unit 100, an image analyzing unit 200, and an image visualizing unit 300 .
  • the image receiving unit 100 includes a visible light image receiving module 110, an infrared image receiving module 120 and an image conformity checking module 130.
  • the image analyzing unit 200 includes a visible light image processing module 210, Processing module 220 and a processing result integration module 230.
  • the image visualizer 300 includes a visible light image visualization module 310, an infrared image visualization module 320, and an integrated image visualization module 330 .
  • FIG. 9 a schematic operation of a multi-wavelength image analysis electro-optical system for detecting a ship and a dehydrator according to the present invention will be described.
  • the image receiving unit 100 receives the visible wideband and infrared band of the observed multi-wavelength signal and confirms that the image is suitable for detection analysis (S100).
  • the visible light image receiving module 110 receives the observed aerial visible light image (S110).
  • the infrared ray image receiving module 120 receives the observed infrared ray image (S120).
  • the image suitability confirmation module 130 receives the received aerial visible light image and the infrared image, and confirms whether the observation information and the image observation value are suitable for detection and analysis (S130).
  • the image analysis unit 200 processes the received visible light image and the infrared image, and generates a signal processing and a source image for each wavelength (S200).
  • the visible light image processing module 210 processes the received visible light image (S210).
  • the infrared image processing module 220 processes the received aerial infrared image (S220).
  • the processing result integration module 230 integrates the signal-processed images in the visible light image processing module 110 and the infrared image processing module 220 to generate a raw image for each wavelength (S230).
  • morphological feature based detection and optimal threshold based detection are applied to the object detection algorithm (S300).
  • the algorithm of the object detection based on the optimum threshold based detection based on the multi-wavelength image is applied (S320).
  • the image visualization unit 300 visualizes the received visible light image and the infrared image in an image form, displays and stores the detected visible light image and infrared image, and displays detailed information of the detected position and detection result of the accident ship and the deceased person (S400).
  • the visible light image visualization module 310 visualizes the aerial visible light image in the form of an image, displays it, and stores it (S410).
  • the infrared image visualization module 320 visualizes and displays the aerial infrared image in an image form and stores it (S420).
  • the integrated image visualization module 330 visualizes the position of the detection object in the form of an integrated image by classifying the detected ship and the dehydrator, and displays and displays the combined image in operation S430.
  • FIG. 1 The operation of the multi-wavelength image analyzing electro-optical system for detecting a ship and a dehydrator according to the present invention will be described in detail with reference to FIGS. 1 to 10.
  • FIG. 1 The operation of the multi-wavelength image analyzing electro-optical system for detecting a ship and a dehydrator according to the present invention will be described in detail with reference to FIGS. 1 to 10.
  • FIG. 1 The operation of the multi-wavelength image analyzing electro-optical system for detecting a ship and a dehydrator according to the present invention will be described in detail with reference to FIGS. 1 to 10.
  • the present invention provides an optical system capable of multi-wavelength image analysis, Acquires images of wavelengths, and detects objects to be searched through image analysis by wavelength.
  • detection conditions include a daytime environment such as fog, fine dust, and rain, and a nighttime environment.
  • the detection targets include a marine drift vessel and a marine disappearance person.
  • the wavelengths of the visible light region and the near infrared region which are the optimal wavelength bands of the multi-wavelength detection sensor, are derived in consideration of the search object and the search environment conditions. That is, in a marine environment having a particle diameter of 1 ⁇ m or less, such as fog, fine dust, smoke, etc., the wavelength of visible light is smaller than the particle size, so that light is scattered and does not reach visible visual equipment or the naked eye.
  • a short-wave infrared (SWIR) sensor having a wavelength of 1 to 2.5 .mu.m, which is longer than particles such as fog, fine dust, and smoke, is used in the present invention.
  • a long-wave infrared (LWIR) sensor with a wavelength of 8 to 14 ⁇ m, which is longer than a short-wave infrared (SWIR) sensor, is used.
  • the search object conditions in the search area of the sea are set as the size of the ship ), And the flooded state of the missing person (state 1, state 2, state 3).
  • a system requirement specification is derived for an optimal image acquisition according to search environment conditions.
  • the spectroscopic method are derived, and the optimum wavelength of the two wavelengths of the infrared band electronic optical sensor is selected.
  • spectral filter specifications for spectroscopic image spectroscopy with three wavelengths are selected and images are acquired to design the exhibition module.
  • the first prototype mechanical part of the integrated electronic optical sensor (visible light + spectral filter, infrared sensor) of the multi-wavelength image analysis system is modeled and the image is acquired to design the exhibition module in detail.
  • basic design of detection and analysis algorithm for each wavelength band image, individual image analysis for each wavelength band, and search object detection algorithm are used.
  • the image receiving unit 100 of the present invention receives a visible wide-band and infrared band of an observed airborne multi-wavelength signal and confirms whether it is suitable for detection analysis (S100).
  • the visible light image receiving module 110 receives the observed aerial visible light image (S110).
  • the infrared ray image receiving module 120 receives the observed infrared ray image (S120).
  • the image suitability confirmation module 130 receives the received aerial visible light image and the infrared image, and confirms whether the observation information and the image observation value are suitable for detection and analysis (S130).
  • the image analysis unit 200 processes the received visible light image and the infrared image, and generates a signal processing and a source image for each wavelength (S200).
  • the visible light image processing module 210 processes the received visible light image (S210).
  • the infrared image processing module 220 processes the received aerial infrared image (S220).
  • the processing result integration module 230 integrates the signal-processed images in the visible light image processing module 110 and the infrared image processing module 220 to generate a raw image for each wavelength (S230).
  • morphological feature based detection and optimal threshold based detection are applied to the object detection algorithm (S300).
  • the algorithm of the object detection based on the optimum threshold based detection based on the multi-wavelength image is applied (S320).
  • the image visualization unit 300 visualizes the received visible light image and the infrared image in an image form, displays and stores the detected visible light image and infrared image, and displays detailed information of the detected position and detection result of the accident ship and the deceased person (S400).
  • the visible light image visualization module 310 visualizes the aerial visible light image in the form of an image, displays it, and stores it (S410).
  • the infrared image visualization module 320 visualizes and displays the aerial infrared image in an image form and stores it (S420).
  • the integrated image visualization module 330 visualizes the position of the detection object in the form of an integrated image by classifying the detected ship and the dehydrator, and displays and displays the combined image in operation S430.
  • the present invention applies morphological feature based detection based on a multi-wavelength image and a marine object detection algorithm for optimal threshold based detection (S300). This is different from conventional multi-wavelength image-based marine target detection technology in which detection range is largely limited depending on spatial resolution and target size when multiple substances in a pixel are mixed by using simple reflectance or morphological characteristic, have.
  • a feature detection based on feature detection based on a multi-wavelength image is represented by a feature vector observed in each pixel for image segmentation, and an appropriate probability model is assumed for the feature detection.
  • a marine object detection algorithm is an application of the problem of calculating the maximum likelihood for an unknown parameter in the incomplete data or obtaining the maximum value of the posterior probability distribution. Since the performance of the estimator depends on the starting point, Converges to the local maximum value (S310).
  • the algorithm for detecting an optimal threshold based detection based on a multi-wavelength image mixes a histogram of an original image and a Gaussian function formed around all level values of an image, And uses an optimized image segmentation technique to set the threshold.
  • the edge portion is clearly displayed and can be divided into detailed and accurate images to detect the marine object (S320).
  • a morphological feature-based detection and a marginal object detection algorithm for optimal threshold-based detection are applied, and the result detected by the image receiving unit 100 is transmitted to the user via the image visualization unit 300 Is finally displayed in the form of a graphical user interface (GUI) (S400).
  • GUI graphical user interface
  • the image visualization unit 300 displays and stores the inputted aerial visible light image in the form of image in S410 and selects the specific band (for example, RGB) from the visible light image visualization module 310.
  • the infrared visualization module 320 The infrared infrared image is displayed in an image form and stored (S420).
  • the integrated image visualization module 330 visualizes and displays the position of the detection object in the form of an integrated image by classifying the detected accident vessel and the submerged person and classifies the information according to classification of the detection results, Size, and degree of detail, along with detailed information.
  • the airborne multi-wavelength image that has undergone the preprocessing process in the image receiving unit 100 and the detectors to be detected in the corresponding area are displayed in an image form in real time and the detailed information is expressed together in text form (S430).
  • the conventional search image equipment farnesoid, fine dust, As a result, it was confirmed that the peak signal-to-noise ratio (PSNR) of the image was improved by 10%.
  • the target detection performance can be confirmed that the search object is detected with an accuracy level of 90% or more in Probability of Detection (POD) and less than 10% in False Alarm Rate (FAR).
  • POD Probability of Detection
  • FAR False Alarm Rate
  • the multi-wavelength image analysis electro-optical system and its analysis method for detecting a ship and a dehydrator of the present invention overcome the marine target detection limit of the conventional technology by applying a multi-wavelength mixed analysis method for each pixel using multi- And provides more accurate and stable detection results immediately without further work.
  • multi-wavelength image is used and it is possible to improve search speed of the accident ship and missing person due to marine accidents by analyzing the reflection spectrum analysis results of each object. have. Through this, it is possible to reduce the detection time of accident ship and missing person due to marine accidents, increase the detection probability, and support quick search operation.
  • the detection probability can be improved to 90% or more and the accuracy of the false alarm rate of less than 10% can be realized.
  • it will be used as a core technology in defense surveillance scout and illegal fishing vessel surveillance, which is rapidly increasing in demand in recent years, and will establish a base for domesticization and advancement of the whole marine search equipment industry which is continuously demanded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Discrete Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템은 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템에 있어서, 초저조도 카메라(3)와, 단파장적외선 영상센서(5)와, 중파장적외선 영상센서(7)와, 장파장적외선 영상센서(9)를 구비한 입력부(10); 입력부(10)의 데이터를 수신하여 처리하는 신호처리부(20); 신호처리부(30)의 데이터를 수신하여 표시하는 표시부(30); 신호처리부(20) 및 표시부(30)의 데이터를 저장하는 저장부(40); 카메라 제어보드(50)와 구동제어보드(60)를 구비하고 입력부(10), 신호처리부(20), 표시부(30), 및 저장부(40)를 제어하는 제어부(90); 를 포함하여 구성된다.

Description

사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법
본 발명은 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법에 관한 것으로서, 특히 다중파장대역의 영상을 이용하여 해상에 존재하는 사고선박 및 익수자의 탐지확률을 향상하기 위한 것으로 보다 상세하게는 해양의 환경조건별 또는 탐지대상의 물리적 조건에 따라 선택적인 파장대역의 영상정보를 이용하여 수색대상물을 가시화하는 다중파장 영상분석기반의 탐지 시스템 장치 및 그 방법에 관한 것이다.
최근 국내에서 발생한 천안함 침몰 사건, 세월호 침몰 사고 등 인적 피해가 막대한 국가 재난적 해양사고가 늘어나고 있어, 국가 차원에서 해양 사고를 대응하고 해양 사고로 인한 피해를 최소화할 수 있는 기술 개발의 필요성이 증대되고 있다.
현재 국내의 수색 담당 기관(해양 경비 안전 본부, 해군)에서 수행하는 실종자 및 사고 선박의 수색 작업에는 수색 플랫폼(선박, 항공기)을 이용한 육안 수색/가시광 카메라(주간)와 적외선 카메라(야간)가 활용되고 있다.
하지만, 이러한 방법들로는 다양한 해양 환경 제약 조건(안개, 미세 먼지, 우천, 저조도)에서 활용도가 떨어지는 기술적 한계점을 갖고 있다.
즉, 현재 국내에서 해양사고 수색에 사용되는 전자 광학 장비는 주간의 경우 컬러 영상에 국한되어 있고, 야간의 경우 열영상을 취득하는 기능에 국한되어 있어, 안개, 미세먼지, 우천 등과 같이 해당 기능으로 탐지하기 어려운 해양 환경 조건의 경우, 장비의 활용이 제한되어 있어 탐지 확률이 떨어지는 단점이 있다.
또한, 주간 영상 카메라인 가시광 카메라는 국내의 기업에서 개발이 가능한 상태이나, 야간 영상 카메라인 적외선 카메라는 대부분 전량 국외의 제품을 도입하여 통합 개발되고 있는 실정이다.
해외의 선진 기관(미국 해안 경비대, 미국 해군 등)의 경우 수색 대상과 수색 환경 조건에 따라 탐지도가 높은 특화된 방법인 분광 영상 분석을 이용한 전자 광학 시스템이 수색 지원 장비로 활용되고 있는 실정이다.
이러한 전자 광학 시스템 장비를 적용하였을 경우 최적화된 수색 영상을 확보할 수 있어 기존의 수색 장비(레이더, 주간 카메라, 야간 카메라 등)와 비교하여 신속한 수색 및 구조가 가능하다.
국내에서도 해군에서 차기 호위함(FFX급)에 전자 광학 감시 장비(EOTS/IRS)가 탑재되어 주간 및 야간에서 감시 정찰 임무가 가능한 상황이지만, 이 역시 주야간 조건(조도)만을 고려한 탐지 방법이므로, 해양 환경 조건과 수색 대상물의 특징을 고려하지 못하여 제한적인 적용만 가능한 상태이다.
또한, 미국의 적외선 대역 전자 광학 센서는 수출입 통제 규약에 해당되는 품목으로서, 공공 또는 연구용을 제외하고는 민간 개발을 위한 용도로는 수입이 제한되어 있으므로, 해당 전자 광학 센서를 이용하는 수색용 전자 광학 시스템의 개발 시장에서 국내 기업의 국제 경쟁력이 현재 매우 낮은 상태이다.
전자광학 영상을 이용한 원격 탐지 기술 분야에서 현재 세계적으로 다중파장 영상을 활용한 영상 분석 방법이 점차적으로 제안되고 있는 추세로서, 국방용 감시 정찰, 지리 정보, 환경 감시 분야에 해당 방법으로의 접근이 활발히 시도되고 있는데 반해, 해양 수색 플랫폼(항공기, 선박) 기반의 영상 분석 분야에는 아직까지 제한적인 연구가 진행되고 있다.
해양에서의 선박사고나 인명사고의 상당 부분은 비가 오거나 안개가 심할 때와 같이 좋지 않은 해양환경에서 주로 발생한다. 해양사고로 인해 발생된 조난선박이나 익수자를 수색하기 위해서는 항공기나 선박과 같은 수색을 위한 플랫폼이 동원되는데, 수색 대상물의 크기가 작을수록 전자기파를 매개로 하는 레이더와 같은 능동형 센서 보다는 탐지 해상도(분해능)가 상대적으로 높은 전자광학센서가 주로 사용된다.
그러나 현재 주로 사용되는 전자광학센서는 자연광이 없는 어두운 조건이나 안개나 우천 조건에서는 활용에 제한이 있으며, 탐지대상의 크기와 색이 주변 환경과 차이가 없을 경우에는 분별도가 떨어지는 단점이 있다.
이러한 부분을 극복하기 위해서는 수색환경조건과 수색대상물의 분광학적 특징을 고려하여 최적의 분별도가 보이는 파장대역을 선택하여 해상의 탐지대상물을 탐지하고 이를 가시화하는 기술이 필요하다.
미국특허 US 8300108 는 다중 채널 영상 장치에 관한 것으로, 단일 초점 평면 어레이 (FPA)를 이용하여 향상된 물체 식별 방법 및 식별을 위한 범위와 편광 정보, 광대역 팬 색광 강도 레벨, 다중 스펙트럼 컨텐츠를 갖는 고해상도 적외선 이미지를 제공한다. 또한, 특정 실시예는 이미지 컨텐츠를 필터링하는데 사용되는 필터의 크기를 증가시키고 복잡성을 감소시켜 제조 및 생산 비용을 감소시킨다. 또한, 서브 픽셀 시차가 고해상도 이미지를 생성하고, 타겟의 범위 추정을 제공하고, 이동하는 오브젝트를 배경 혼란으로부터 구별하기 위해 이용된다. 그러나, 미국특허 US 8300108 와 같은 종래의 기술이 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법으로 활용되기 위해서는 다음과 같은 두 가지 조건을 극복해야 한다.
첫 번째는 탐지가능한 해상의 환경 조건이다. 기상상태가 양호하고 광량이 충분한 주간환경만을 대상으로 하는 기존 전자광학센서와 달리, 초저조도 가시광대역 영상센서와 추가적인 적외선대역 센서를 통해 획득한 다중파장대역 영상을 이용함으로써 광량이 제한적인 야간환경은 물론 안개, 해무와 같은 악기상이나 화재 등으로 인한 연기가 발생하는 조건에서도 운용이 가능해야 한다. 이를 통해 해상사고가 주로 발생하는 해상환경조건에서의 운용성이 크게 확대될 수 있으며, 기존 전자광학센서 대비 선박사고나 인명사고 구조확률이 향상될 수 있다.
두 번째는 탐지물체의 분별도이다. 기존 가시광대역 중심의 전자광학센서의 경우, 해상탐지시 대상물체(선박체, 익수자)와 배경(해수)의 영상 내 관측값 차이만을 이용해 탐지하므로 해상상태나 표적물질의 색상 등으로 인해 관측 밴드범위 내 절대값 특성이 유사할 경우 탐지가 되지 않거나 오탐지하게 된다. 특히, 앞서 언급한 바와 같이 해상사고가 주로 발생하는 야간 및 일부 악기상 환경에서는 영상 내 대부분의 관측값 획득이 불가능하거나 관측되더라도 영상관측값 차이가 뚜렷하지 않기 때문에 탐지율이 크게 저하된다. 따라서, 제한된 광신호를 변환, 증폭하는 초저조도센서 및 필터를 이용한 선택파장대역별 관측값과 가시광대역 외에 추가적인 3개의 적외선대역(장파장, 중파장, 단파장 적외선) 관측값이 포함된 다중파장 영상을 이용함으로써 제한적인 해상사고 환경조건에서 최적화된 대상 물체 탐지가 가능해야 한다. 또한, 다중파장 영상 획득을 통해 향상된 광학 대조 특성과 추가적인 열 대조 특성 활용이 가능하므로 주야간 모든 환경조건에서 기존 센서 대비 보다 정확하고 안정적인 해상물체 탐지 및 가시화가 가능해야 한다.
본 발명의 목적은 안개, 미세먼지, 연기 등의 다양한 해양 환경 조건하에서 다중파장 영상센서를 통해 획득한 다중파장 영상들을 통합하고, 수색 대상물의 크기, 종류 및 상태의 각 조건별로 선택적으로 센서 영상을 분석하고, 사고 선박 및 익수자의 탐지율을 향상시킬 수 있는 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템은 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템에 있어서, 초저조도 카메라와, 단파장적외선 영상센서와, 중파장적외선 영상센서와, 장파장적외선 영상센서를 구비한 입력부; 상기 입력부의 데이터를 수신하여 처리하는 신호처리부; 상기 신호처리부의 데이터를 수신하여 표시하는 표시부; 상기 신호처리부 및 표시부의 데이터를 저장하는 저장부; 카메라 제어보드와 구동제어보드를 구비하고 상기 입력부, 상기 신호처리부, 상기 표시부, 및 상기 저장부를 제어하는 제어부;를 포함하여 구성될 수 있다.
여기서, 상기 카메라제어보드는 EMCCD모듈, VIS필터제어모듈, EMCCD 줌렌즈모듈을 포함할 수 있다.
여기서, 상기 카메라제어보드는 LWIR 모듈, MWIR모듈, SWIR모듈을 포함할 수 있다.
여기서, 상기 구동제어보드는 팬모터 드라이버와 팬모터 엔코더를 포함할 수 있다.
여기서, 상기 구동제어보드는 틸트모터 드라이버와 틸트모터 엔코더를 포함할 수 있다.
여기서, 상기 카메라제어보드 및 구동제어보드는 신호처리보드로부터 제어신호를 인가받을 수 있다.
여기서, 상기 신호처리보드는 사용자 UI로부터 제어신호를 인가받을 수 있다.
여기서, 상기 입력부는 영상수신부를 구비하고, 상기 영상수신부는 가시광 영상 수신 모듈, 적외선 영상 수신 모듈, 영상 적합성 확인 모듈을 더 포함할 수 있다.
여기서, 상기 신호처리부는 영상분석부를 구비하고, 상기 영상분석부는 다중 분광 라이브러리 모듈, 다중 분광 혼합 분석 모듈, 처리 결과 통합 모듈을 더 포함할 수 있다.
여기서, 상기 표시부는 영상가시화부를 구비하고, 상기 영상가시화부는 다중 파장영상 가시화 모듈, 적외선 영상 가시화 모듈, 통합 영상 가시화 모듈을 더 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법은 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법에 있어서, (a) 영상 수신부가 관측된 항공 다중파장 영상을 수신하는 단계; (b) 영상 분석부가 신호처리 및 파장별 원시영상을 생성하는 단계; 및 (c) 영상 분석부가 형태적 특징 기반 탐지 및 최적임계값 기반 탐지의 해상물체탐지 알고리즘을 적용하는 단계; 및 (d) 영상 가시화부(300)가 해상물체 탐지영상을 가시화하는 단계; 를 포함할 수 있다.
여기서, 상기 (a) 단계는 (a-1) 안개, 미세 먼지, 연기 등의 입자보다 더 긴 1 ~ 2.5 um 의 파장을 가지는 단파 적외선(short-wave infrared) 센서를 이용하는 단계; 및 (a-2) 저조도 환경일 경우, 단파 적외선(short-wave infrared, SWIR) 센서보다 파장이 더 긴 8 ~ 14 um 파장의 장파 적외선(long-wave infrared, LWIR) 센서를 이용하는 단계; 를 더 포함할 수 있다.
여기서, 상기 (c) 단계는 (c-1) 상기 다중파장 영상을 기반으로 한 형태적 특징 기반 탐지의 해상물체탐지 알고리즘은 영상분할을 위해 각 화소에서 관측되는 특징벡터로 표현하며 이들에 대하여 적절한 확률모델을 가정하고, 상기 확률모델을 결정하는 파라미터들을 통계적 방법으로 추정하여 이용하거나 각 특징 벡터간의 유사도를 기반으로 하는 군집 알고리즘을 사용하여 분할을 수행하는 단계를 더 포함할 수 있다.
여기서, 상기 (c) 단계는 (c-1) 상기 다중파장 영상을 기반으로 한 형태적 특징 기반 탐지의 해상물체탐지 알고리즘은 불완전한 데이터에서 미지의 파라미터에 대한 최대 우도를 계산하는 경우나 사후 확률 분포의 최대값을 구하는 단계를 더 포함할 수 있다.
여기서, 상기 (c) 단계는 (c-2) 상기 다중파장 영상을 기반으로 한 최적임계값 기반 탐지의 해상물체탐지 알고리즘은 영상의 모든 레벨값을 중심으로 형성된 가우시안 함수와 원 영상의 히스토그램을 혼합하여 영상의 새로운 히스토그램을 통해 임계값을 설정하는 최적화된 영상분할 기법을 이용할 수 있다.
여기서, 상기 (d) 단계는 (d-1) 가시광 영상 가시화 모듈에서 특정 밴드(예를 들어, RGB)를 선택하여 입력된 항공 가시광 영상을 이미지 형태로 표출 및 저장하는 단계; 및 (d-2) 적외선 영상 가시화 모듈에서 항공 적외선 영상을 이미지 형태로 표출 및 저장하는 단계; 를 더 포함할 수 있다.
여기서, 상기 (d) 단계는 (d-3) 상기 통합 영상 가시화 모듈은 탐지된 사고 선박 및 익수자를 구분하여 탐지체의 위치를 통합영상 이미지 형태로 가시화하여 표출 및 저장하는 단계를 더 포함할 수 있다.
여기서, 상기 (d) 단계는 (d-4) 상기 통합 영상 가시화 모듈은 상기 영상 수신부에서 전처리 과정을 거친 항공관측 다중파장 영상과 해당 영역 내 탐지되는 탐지체가 이미지 형태로 시간으로 표출되며 상세 정보가 텍스트 형태로 함께 표출되는 단계; 를 더 포함할 수 있다.
여기서, 상기 (d) 단계는 (d-4) 상기 통합 영상 가시화 모듈은 상기 탐지 결과를 분류에 따라 구분하여 종류, 재질, 위경도 등 상세 정보와 함께 표 형식으로 표출하고 저장하는 단계; 를 더 포함할 수 있다.
상기 또 다른 목적을 달성하기 위한 본 발명의 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석 방법 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.
본 발명에 의할 경우, 초저조도 가시광대역 영상센서와 추가적인 적외선대역 센서를 통해 획득한 다중파장대역 영상을 이용함으로써 광량이 제한적인 야간환경은 물론 안개, 해무와 같은 악기상이나 화재 등으로 인한 연기가 발생하는 조건에서도 운용이 가능하다.
또한, 이를 통해 해상사고가 주로 발생하는 해상환경조건에서의 운용성이 크게 확대될 수 있으며, 따라서 기존 전자광학센서 대비 선박사고나 인명사고 구조확률을 효과적으로 향상시킬 수 있다.
또한, 제한된 광신호를 변환, 증폭하는 초저조도센서 및 필터를 이용한 선택파장대역별 관측값과 가시광대역 외에 추가적인 3개의 적외선대역(장파장, 중파장, 단파장 적외선) 관측값이 포함된 다중파장 영상을 이용함으로써 제한적인 해상사고 환경조건에서 최적화된 대상 물체 탐지가 가능하다.
또한, 다중파장 영상 획득을 통해 향상된 광학 대조 특성과 추가적인 열 대조 특성 활용이 가능하므로 주야간 모든 환경조건에서 기존 센서 대비 보다 정확하고 안정적인 해상물체 탐지 및 가시화가 가능하다.
도 1(a) 내지 도 1(c)는 항공 다중파장 영상을 취득하는 모습과, 항공 다중파장 영상이미지 데이터에서 모니터링 대상 구역의 영상이미지 모습과, 항공 다중파장 영상에서 영상이미지를 분석하는 방법을 도시한 모식도이다.
도 2는 안개(a), 미세 먼지(b), 연기(c)가 있는 탐지 조건과 환경조건별 높은 투과도의 센서를 선정하여 촬영한 이미지의 모습을 도시한 사진이다.
도 3은 다중파장의 SWIR, MWIR, LWIR 영역을 나타낸 그래프이다.
도 4는 수색 대상물 조건을 선박의 크기(소, 중, 대), 실종자의 침수 상태(상태 1, 상태 2, 상태 3)에 따라 해상의 수색 영역을 설정한 모식도이다.
도 5는 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 사진이다.
도 6은 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템을 도시한 구성도이다.
도 7은 도 5의 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 회로의 연결을 도시한 회로도이다.
도 8은 도 5의 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 신호처리부를 도시한 구성도이다.
도 9는 도 5의 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법을 도시한 흐름도이다.
도 10은 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 영상 가시화부(300)를 통해 디스플레이된 사고 선박 및 익수자 탐지 결과 실시예의 화면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하면 다음과 같다.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있다.
더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니다.
이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.
또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있다.
또한, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있다.
또한, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있다.
한편, 상기 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.
또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용된다.
하지만, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 한다.
또한, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.
더욱이, 본 발명의 명세서에서는, "부", "기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미한다.
이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.
도 1(a) 내지 도 1(c)는 항공 다중파장 영상을 취득하는 모습과, 항공 다중파장 영상이미지 데이터에서 모니터링 대상 구역의 영상이미지 모습과, 항공 다중파장 영상에서 영상이미지를 분석하는 방법을 도시한 모식도이다.
도 2는 안개(a), 미세 먼지(b), 연기(c)가 있는 탐지 조건과 환경조건별 높은 투과도의 센서를 선정하여 촬영한 이미지의 모습을 도시한 사진이다.
도 3은 다중파장의 SWIR, MWIR, LWIR 영역을 나타낸 그래프이다.
도 4는 수색 대상물 조건을 선박의 크기(소, 중, 대), 실종자의 침수 상태(상태 1, 상태 2, 상태 3)에 따라 해상의 수색 영역을 설정한 모식도이다.
도 5는 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 사진이다.
도 6은 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템을 도시한 구성도이다.
도 7은 도 5의 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 회로의 연결을 도시한 회로도이다.
도 8은 도 5의 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 신호처리부를 도시한 구성도이다.
도 9는 도 5의 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법을 도시한 흐름도이다.
도 10은 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 영상 가시화부(300)를 통해 디스플레이된 사고 선박 및 익수자 탐지 결과 실시예의 화면이다.
본 발명의 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템은 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템에 있어서, 초저조도 카메라(3)와, 단파장적외선 영상센서(5)와, 중파장적외선 영상센서(7)와, 장파장적외선 영상센서(9)를 구비한 입력부(10); 상기 입력부(10)의 데이터를 수신하여 처리하는 신호처리부(20); 상기 신호처리부(30)의 데이터를 수신하여 표시하는 표시부(30); 상기 신호처리부(20) 및 표시부(30)의 데이터를 저장하는 저장부(40); 카메라 제어보드(50)와 구동제어보드(60)를 구비하고 상기 입력부(10), 상기 신호처리부(20), 상기 표시부(30), 및 상기 저장부(40)를 제어하는 제어부(90); 를 포함하여 구성된다.
도 5를 참조하면, 본 발명의 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템(1)의 입력부(10)는 초저조도 카메라(3)와, 단파장적외선 영상센서(5)와, 중파장적외선 영상센서(7)와, 장파장적외선 영상센서(9)를 구비한다.
도 5 내지 도 8을 참조하면, 본 발명의 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템(1)은 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템에 있어서, 초저조도 카메라(3)와, 단파장적외선 영상센서(5)와, 중파장적외선 영상센서(7)와, 장파장적외선 영상센서(9)를 구비한 입력부(10); 상기 입력부(10)의 데이터를 수신하여 처리하는 신호처리부(20); 상기 신호처리부(30)의 데이터를 수신하여 표시하는 표시부(30); 상기 신호처리부(20) 및 표시부(30)의 데이터를 저장하는 저장부(40); 카메라 제어보드(50)와 구동제어보드(60)를 구비하고 상기 입력부(10), 상기 신호처리부(20), 상기 표시부(30), 및 상기 저장부(40)를 제어하는 제어부(90); 로 구성된다.
입력부(10)는 영상수신부(100)를 구비하고, 영상수신부(100)는 가시광 영상 수신 모듈(110), 적외선 영상 수신 모듈(120), 영상 적합성 확인 모듈(130)을 포함한다.
신호처리부(20)는 영상분석부(200)를 구비하고, 영상분석부(200)는 가시광 영상 처리 모듈(210), 다중 파장 혼합 분석 모듈(220), 처리 결과 통합 모듈(230)을 포함한다.
표시부(30)는 영상가시화부(300)를 구비하고, 영상가시화부(300)는 다중 파장영상 가시화 모듈(310), 적외선 영상 가시화 모듈(320), 통합 영상 가시화 모듈(330)을 포함한다.
카메라제어보드(50)는 EMCCD모듈(51), VIS필터제어모듈(52), EMCCD 줌렌즈모듈(53)을 포함하고, LWIR 모듈(55), MWIR모듈(56), SWIR모듈(57)을 포함한다.
구동제어보드(60)는 팬모터 드라이버(61)와 팬모터 엔코더(63)를 포함하고, 구동제어보드(60)는 틸트모터 드라이버(65)와 틸트모터 엔코더(67)를 포함한다.
카메라제어보드(50) 및 구동제어보드(60)는 신호처리보드(70)로부터 제어신호를 인가받는다.
신호처리보드(70)는 사용자 UI(80)로부터 제어신호를 인가받는다.
도 8을 참조하면, 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템(1)은 영상 수신부(100), 영상 분석부(200) 및 영상 가시화부(300)를 포함한다.
영상 수신부(100)는 가시광 영상 수신 모듈(110), 적외선 영상 수신 모듈(120) 및 영상 적합성 확인 모듈(130)을 포함하고, 영상 분석부(200)는 가시광 영상 처리 모듈(210), 적외선 영상 처리 모듈(220) 및 처리 결과 통합 모듈(230)을 포함하며, 영상 가시화부(300)는 가시광 영상 가시화 모듈(310), 적외선 영상 가시화 모듈(320), 통합 영상 가시화 모듈(330)을 포함한다.
도 9를 참조하여, 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 개략적인 동작을 설명하면 다음과 같다.
영상 수신부(100)가 관측된 항공 다중파장신호의 가시광대역과 적외선대역을 수신하고, 탐지 분석에 적합한지 확인한다 (S100).
가시광 영상 수신 모듈(110)이 관측된 항공 가시광 영상을 수신한다(S110).
적외선 영상 수신 모듈(120)이 관측된 항공 적외선 영상을 수신한다(S120).
영상 적합성 확인 모듈(130)이 수신된 항공 가시광 영상 및 적외선 영상을 전달받아 관측 정보 및 영상 관측값이 탐지 분석에 적합한지 확인한다 (S130).
영상 분석부(200)가 수신된 항공 가시광 영상과 적외선 영상을 신호처리하고, 신호처리 및 파장별 원시영상을 생성한다(S200).
가시광 영상 처리 모듈(210)이 수신된 항공 가시광 영상을 신호처리한다(S210).
적외선 영상 처리 모듈(220)이 수신된 항공 적외선 영상을 신호처리한다(S220).
처리 결과 통합 모듈(230)이 가시광 영상 처리 모듈(110)과 적외선 영상 처리 모듈(220)에서 신호처리된 영상을 통합하여 파장별원시영상을 생성한다(S230).
다중파장 영상을 기반으로 형태적 특징 기반 탐지 및 최적임계값 기반 탐지의 해상물체탐지 알고리즘을 적용한다(S300).
다중파장 영상을 기반으로 한 형태적 특징 기반 탐지의 해상물체탐지 알고리즘을 적용한다(S310).
다중파장 영상을 기반으로 한 최적임계값 기반 탐지의 해상물체탐지 알고리즘을 적용한다(S320).
영상 가시화부(300)가 상기 수신된 가시광영상과 적외선영상을 이미지 형태로 가시화하여 표출 및 저장하고 상기 탐지된 사고 선박 및 익수자의 위치, 탐지 결과의 상세 정보를 표출한다(S400).
가시광 영상 가시화 모듈(310)이 항공 가시광 영상을 이미지 형태로 가시화하여 표출하고 저장한다(S410).
적외선 영상 가시화 모듈(320)이 항공 적외선 영상을 이미지 형태로 가시화하여 표출하고 저장한다 (S420).
통합 영상 가시화 모듈(330)이 탐지된 사고 선박 및 익수자를 구분하여 탐지체의 위치를 통합영상 이미지 형태로 가시화하여 표출하고 저장한다 (S430).
도 1 내지 도 10을 참조하여 본 발명에 따른 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 동작을 상세하게 설명하면 다음과 같다.
도 1을 참조하면, 다양한 해양 환경에서 사고 선박 및 실종자의 탐지율을 향상시키기 위하여 본 발명은 다중파장의 영상 분석이 가능한 전자 광학 시스템을 구현하기 위하여 가시광 영역 3개 파장 및 적외선 영역 2개 파장의 다중파장의 영상을 획득하고, 파장별 영상 분석을 통해 수색 대상물을 탐지한다.
도 2를 참조하면, 탐지 조건으로는 안개, 미세 먼지, 우천 등의 주간 환경과 야간 환경을 포함하고, 탐지 대상으로는 해상 표류 선박 및 해상 실종자를 포함한다. 수색 대상물 및 수색 환경 조건을 고려하여 다중파장 탐지 센서의 최적 파장 대역인 가시광 영역 3개 파장 및 근적외선 영역 2개 파장을 도출한다. 즉, 안개, 미세 먼지, 연기 등 입자의 직경이 1 um 이하인 해양 환경에서는 입자의 크기보다 가시광 빛의 파장이 작기 때문에 빛이 산란되어 가시광 영상 장비 또는 육안까지 도달하지 않는다.
도 3을 참조하면, 본 발명에서는 안개, 미세 먼지, 연기 등의 입자보다 더 긴 1 ~ 2.5 um 의 파장을 가지는 단파 적외선(short-wave infrared, SWIR) 센서를 이용한다. 또한, 저조도 환경일 경우, 단파 적외선(short-wave infrared, SWIR) 센서보다 파장이 더 긴 8 ~ 14 um 파장의 장파 적외선(long-wave infrared, LWIR) 센서를 이용한다.
도 4를 참조하면, 수색용 플랫폼(선박, 항공기 등)별로 다중파장 탐지 센서의 요구 사항을 도출하고 적용 가능성을 분석하기 위하여 해상의 수색 영역에서 수색 대상물 조건을 선박의 크기(대, 중, 소), 실종자의 침수 상태(상태 1, 상태 2, 상태 3)에 따라 설정한다.
도 5 내지 도 8을 참조하면, 수색 환경 조건별 최적 영상 획득을 위해 시스템 요구 사양을 도출한다. 즉, 해양 사고 수색을 위한 전자 광학 센서 적용 사례를 분석하고, 수색 환경 조건(저조도, 해무, 우천, 야간)별 전자 광학 센서 탐지 사례를 분석하며, 가시광 대역 전자 광학 센서의 3개 파장의 파장 범위 및 분광 방법을 도출하고, 적외선 대역 전자 광학 센서의 2개 파장의 최적 파장을 선정한다.
또한, 다중파장 영상 분석 시스템의 가시광 대역 전자 광학 센서의 파장 범위 사양 및 3개 파장으로 영상을 분광하는 분광 필터의 사양을 선정하고, 영상을 취득하여 전시 모듈을 기본 설계한다. 또한, 다중파장 영상 분석 시스템의 통합 전자 광학 센서(가시광+분광 필터, 적외선 센서)의 1차 시제품 기구부를 모델링하고, 영상을 취득하여 전시 모듈을 상세 설계한다. 이때, 파장 대역 영상별 탐지 및 분석 알고리즘의 기초 설계와 파장 대역별 개별 영상 분석 및 수색 대상물 탐지 알고리즘을 이용한다.
도 9를 참조하면, 본 발명의 영상 수신부(100)가 관측된 항공 다중파장신호의 가시광대역과 적외선대역을 수신하고, 탐지 분석에 적합한지 확인한다 (S100).
가시광 영상 수신 모듈(110)이 관측된 항공 가시광 영상을 수신한다(S110).
적외선 영상 수신 모듈(120)이 관측된 항공 적외선 영상을 수신한다(S120).
영상 적합성 확인 모듈(130)이 수신된 항공 가시광 영상 및 적외선 영상을 전달받아 관측 정보 및 영상 관측값이 탐지 분석에 적합한지 확인한다 (S130).
영상 분석부(200)가 수신된 항공 가시광 영상과 적외선 영상을 신호처리하고, 신호처리 및 파장별 원시영상을 생성한다(S200).
가시광 영상 처리 모듈(210)이 수신된 항공 가시광 영상을 신호처리한다(S210).
적외선 영상 처리 모듈(220)이 수신된 항공 적외선 영상을 신호처리한다(S220).
처리 결과 통합 모듈(230)이 가시광 영상 처리 모듈(110)과 적외선 영상 처리 모듈(220)에서 신호처리된 영상을 통합하여 파장별원시영상을 생성한다(S230).
다중파장 영상을 기반으로 형태적 특징 기반 탐지 및 최적임계값 기반 탐지의 해상물체탐지 알고리즘을 적용한다(S300).
다중파장 영상을 기반으로 한 형태적 특징 기반 탐지의 해상물체탐지 알고리즘을 적용한다(S310).
다중파장 영상을 기반으로 한 최적임계값 기반 탐지의 해상물체탐지 알고리즘을 적용한다(S320).
영상 가시화부(300)가 상기 수신된 가시광영상과 적외선영상을 이미지 형태로 가시화하여 표출 및 저장하고 상기 탐지된 사고 선박 및 익수자의 위치, 탐지 결과의 상세 정보를 표출한다(S400).
가시광 영상 가시화 모듈(310)이 항공 가시광 영상을 이미지 형태로 가시화하여 표출하고 저장한다(S410).
적외선 영상 가시화 모듈(320)이 항공 적외선 영상을 이미지 형태로 가시화하여 표출하고 저장한다 (S420).
통합 영상 가시화 모듈(330)이 탐지된 사고 선박 및 익수자를 구분하여 탐지체의 위치를 통합영상 이미지 형태로 가시화하여 표출하고 저장한다 (S430).
도 10을 참조하면, 본 발명은 다중파장 영상을 기반으로 형태적 특징 기반 탐지 및 최적임계값 기반 탐지의 해상물체탐지 알고리즘을 적용한다(S300). 이는 단순 반사도 또는 형태적 특성을 이용함으로써 화소 내 다중 물질이 혼합된 경우, 공간 해상도와 대상 크기에 따라 탐지 가능 범위가 크게 제한 받는 종래의 다중파장 영상 기반 해상 표적 탐지 기술과는 다음과 같은 차이점이 있다.
본 발명의 일 실시예에서 다중파장 영상을 기반으로 한 형태적 특징 기반 탐지의 해상물체탐지 알고리즘은 영상분할을 위해 각 화소에서 관측되는 특징벡터로 표현하며 이들에 대하여 적절한 확률모델을 가정하게 된다. 이들 확률 모델을 결정하는 파라미터들을 통계적 방법으로 추정하여 이용하거나 각 특징 벡터간의 유사도를 기반으로 하는 군집 알고리즘을 사용하여 분할을 수행하는 방법들을 이용한다. 예를 들면, 해상물체탐지 알고리즘은 불완전한 데이터에서 미지의 파라미터에 대한 최대 우도를 계산하는 경우나 사후 확률 분포의 최대값을 구하는 문제의 응용 분야로서 추정량의 성능이 시작점에 크게 의존하고 있으므로 우도 함수가 국부적 최대값에 수렴한다(S310).
본 발명의 일 실시예에서 다중파장 영상을 기반으로 한 최적임계값 기반 탐지의 해상물체탐지 알고리즘은 영상의 모든 레벨값을 중심으로 형성된 가우시안 함수와 원 영상의 히스토그램을 혼합하여 영상의 새로운 히스토그램을 통해 임계값을 설정하는 최적화된 영상분할 기법을 이용한다. 이러한 알고리즘은 영상을 임계값의 개수에 따라 다양하게 나누어 보았을 때 에지부분이 선명하게 나타나며 세밀하고 정확한 영상으로 분할되어 해상물체를 탐지할 수 있다(S320).
본 발명의 다중파장 영상을 기반으로 형태적 특징 기반 탐지 및 최적임계값 기반 탐지의 해상물체탐지 알고리즘을 적용하여, 영상 수신부(100)에서 탐지된 결과는 영상 가시화부(300)를 통해 사용자 친화적인 그래픽 사용자 인터페이스(graphical user interface, GUI) 형태로 최종 표출된다(S400).
영상 가시화부(300)는 가시광 영상 가시화 모듈(310)에서 특정 밴드(예를 들어, RGB)를 선택하여 입력된 항공 가시광 영상을 이미지 형태로 표출하고 저장하고(S410), 적외선 영상 가시화 모듈(320)에서 항공 적외선 영상을 이미지 형태로 표출하고 저장한다(S420).
통합 영상 가시화 모듈(330)은 탐지된 사고 선박 및 익수자를 구분하여 탐지체의 위치를 통합영상 이미지 형태로 가시화하여 표출하고 저장하고, 탐지 결과들 분류에 따라 구분하여 종류(선박, 익수자), 크기, 위경도 등 상세 정보와 함께 표 형식으로 표출하고 저장한다. 또한, 영상 수신부(100)에서 전처리 과정을 거친 항공관측 다중파장 영상과 해당 영역 내 탐지되는 탐지체가 이미지 형태로 실시간으로 표출되며 상세 정보가 텍스트 형태로 함께 표출된다(S430).
본 발명의 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법의 일 실시예에 의한 테스트에서는 해상 환경 조건별(안개, 미세먼지, 우천) 기존 수색용 영상 장비(주간 영상 카메라)성능을 평가해 본 결과, 영상의 최대 신호대 잡음비(Peak Signal-to-Noise Ratio, PSNR)가 10 % 개선된 것을 확인할 수 있었다. 또한, 목표 탐지 성능은 탐지 확률(Probability Of Detection, POD)이 90 % 이상, 허 경보율(False Alarm Ratio, FAR)이 10 % 미만의 정확도 수준으로 수색 대상물이 탐지되는 것을 확인할 수 있었다.
이러한 본 발명의 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법은 다중 파장 정보를 이용한 화소별 다중파장 혼합 분석기법 적용을 통해 종래의 기술이 갖고 있는 해상 표적탐지 한계를 극복하고, 추가 작업 없이 즉각적으로 보다 정확하고 안정적인 탐지 결과를 제공하게 된다.
또한, 다양한 수색 대상물에 따른 최적화된 식별 능력 향상을 위하여 다중파장 영상을 이용하고, 대상물별 반사광 스펙트럼 분석 실험 결과를 통해 분별도를 향상시켜 해양 사고로 인한 사고 선박 및 실종자의 신속한 수색 작업을 지원할 수 있다. 이를 통하여, 해양 사고로 인한 사고 선박 및 실종자의 탐지 시간은 줄이고 탐지 확률은 높여 신속한 수색 작업을 지원할 수 있게 된다.
또한, 수색 대상물에 특화된 다중파장 영상 탐지 알고리즘 적용을 통하여 탐지 확률을 90 % 이상으로 향상시키고, 허 경보율 10 % 미만의 정확도를 구현할 수 있게 된다. 또한, 최근 급속히 수요가 증가하는 국방 감시정찰 및 불법 조업 어선 감시 분야의 핵심기술로 활용하여, 지속적으로 요구되는 해양 수색 장비 산업 전반에 국산화 및 선진화 기반을 구축하게 된다.
또한, 현재 주요 선진국의 일부 기업에서 독점적으로 개발하고 있는 다중파장 전자 광학 탐지 장비는 비싼 장비 비용으로 다양한 용도로의 보급, 적용에는 제한이 있으므로, 본 발명에 의할 경우, 국외 시장에 의존했던 장비의 단가를 상당 부분을 줄일 수 있으며, 기술적인 장벽으로 인해서 침체되어 있던 감시 정찰 장비 개발 분야에서 산업적으로 큰 파급 효과를 갖게 된다.
또한, 다양한 해양 환경 조건과 수색 대상물의 크기, 종류, 및 상태에 최적화된 탐지가 가능하고, 해양 사고 수색 구조를 임무로 하고 있는 해양 수산부, 해양 경비 안전 본부, 해군 등의 공공기관에 필요할 뿐 아니라, 국방 감시정찰 및 최근 사회적으로 이슈가 되고 있는 불법 조업 어선 감시에도 적용 가능하게 된다.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.

Claims (20)

  1. 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템에 있어서,
    초저조도 카메라(3)와, 단파장적외선 영상센서(5)와, 중파장적외선 영상센서(7)와, 장파장적외선 영상센서(9)를 구비한 입력부(10);
    상기 입력부(10)의 데이터를 수신하여 처리하는 신호처리부(20);
    상기 신호처리부(20)의 데이터를 수신하여 표시하는 표시부(30);
    상기 신호처리부(20) 및 표시부(30)의 데이터를 저장하는 저장부(40);
    카메라 제어보드(50)와 구동제어보드(60)를 구비하고 상기 입력부(10), 상기 신호처리부(20), 상기 표시부(30), 및 상기 저장부(40)를 제어하는 제어부(90);를 포함하여 구성되는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템.
  2. 제 1 항에 있어서,
    상기 카메라제어보드(50)는 EMCCD모듈(51), VIS필터제어모듈(52), EMCCD 줌렌즈모듈(53)을 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템.
  3. 제 2 항에 있어서,
    상기 카메라제어보드(50)는 LWIR 모듈(55), MWIR모듈(56), SWIR모듈(57)을 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템.
  4. 제 1 항에 있어서,
    상기 구동제어보드(60)는 팬모터 드라이버(61)와 팬모터 엔코더(63)를 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템.
  5. 제 4 항에 있어서,
    상기 구동제어보드(60)은 틸트모터 드라이버(65)와 틸트모터 엔코더(67)를 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템.
  6. 제 1 항에 있어서,
    상기 카메라제어보드(50) 및 구동제어보드(60)는 신호처리보드(70)로부터 제어신호를 인가받는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템.
  7. 제 6 항에 있어서,
    상기 신호처리보드(70)는 사용자 UI(80)로부터 제어신호를 인가받는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템.
  8. 제 1 항에 있어서,
    상기 입력부(10)는 영상수신부(100)를 구비하고,
    상기 영상수신부(100)는 가시광 영상 수신 모듈(110), 적외선 영상 수신 모듈(120), 영상 적합성 확인 모듈(130)을 더 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템.
  9. 제 1 항에 있어서,
    상기 신호처리부(20)는 영상분석부(200)를 구비하고,
    상기 영상분석부(200)는 다중파장 모듈(210), 적외선 영상 처리 모듈(220), 처리 결과 통합 모듈(230)을 더 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템.
  10. 제 1 항에 있어서,
    상기 표시부(30)는 영상가시화부(300)를 구비하고,
    상기 영상가시화부(300)는 가시광 영상 가시화 모듈(310), 적외선 영상 가시화 모듈(320), 통합 영상 가시화 모듈(330)을 더 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템.
  11. 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법에 있어서,
    (a) 영상 수신부(100)가 관측된 항공 다중파장 영상을 수신하는 단계;
    (b) 영상 분석부(200)가 신호처리 및 파장별 원시영상을 생성하는 단계;
    (c) 상기 영상 분석부(200)가 형태적 특징 기반 탐지 및 최적임계값 기반 탐지의 해상물체탐지 알고리즘을 적용하는 단계; 및
    (d) 영상 가시화부(300)가 해상물체 탐지영상을 가시화하는 단계;를 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법.
  12. 제11항에 있어서,
    상기 (a) 단계는
    (a-1) 안개, 미세 먼지, 연기 등의 입자보다 더 긴 1 ~ 2.5 um 의 파장을 가지는 단파 적외선(short-wave infrared) 센서를 이용하는 단계; 및
    (a-2) 저조도 환경일 경우, 단파 적외선(short-wave infrared, SWIR) 센서보다 파장이 더 긴 8 ~ 14 um 파장의 장파 적외선(long-wave infrared, LWIR) 센서를 이용하는 단계; 를 더 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법.
  13. 제11항에 있어서,
    상기 (c) 단계는
    (c-1) 상기 다중파장 영상을 기반으로 한 형태적 특징 기반 탐지의 해상물체탐지 알고리즘은
    영상분할을 위해 각 화소에서 관측되는 특징벡터로 표현하며 이들에 대하여 적절한 확률모델을 가정하고,
    상기 확률모델을 결정하는 파라미터들을 통계적 방법으로 추정하여 이용하거나 각 특징 벡터간의 유사도를 기반으로 하는 군집 알고리즘을 사용하여 분할을 수행하는 단계를 더 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법.
  14. 제 13항에 있어서,
    상기 (c) 단계는
    (c-1) 상기 다중파장 영상을 기반으로 한 형태적 특징 기반 탐지의 해상물체탐지 알고리즘은
    불완전한 데이터에서 미지의 파라미터에 대한 최대 우도를 계산하는 경우나 사후 확률 분포의 최대값을 구하는 단계를 더 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법.
  15. 제 11항에 있어서,
    상기 (c) 단계는
    (c-2) 상기 다중파장 영상을 기반으로 한 최적임계값 기반 탐지의 해상물체탐지 알고리즘은
    영상의 모든 레벨값을 중심으로 형성된 가우시안 함수와 원 영상의 히스토그램을 혼합하여 영상의 새로운 히스토그램을 통해 임계값을 설정하는 최적화된 영상분할 기법을 이용하는 단계를 더 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법.
  16. 제 11항에 있어서,
    상기 (d) 단계는
    (d-1) 상기 영상 가시화부(300)는 가시광 영상 가시화 모듈(310)에서 특정 밴드(RGB)를 선택하여 입력된 항공 가시광 영상을 이미지 형태로 표출 및 저장하는 단계; 및
    (d-2) 상기 영상 가시화부(300)는 적외선 영상 가시화 모듈(320)에서 항공 적외선 영상을 이미지 형태로 표출 및 저장하는 단계; 를 더 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법.
  17. 제 11항에 있어서,
    상기 (d) 단계는
    (d-3) 상기 영상가시화부(300)는 통합 영상 가시화 모듈(330)에서 탐지된 사고 선박 및 익수자를 구분하여 탐지체의 위치를 통합영상 이미지 형태로 가시화하여 표출 및 저장하는 단계를 더 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법.
  18. 제 11항에 있어서,
    상기 (d) 단계는
    (d-4) 상기 영상가시화부(300)는 통합 영상 가시화 모듈(330)에서 상기 영상 수신부(100)의 전처리 과정을 거친 항공관측 다중파장 영상과 해당 영역 내 탐지되는 탐지체가 이미지 형태로 실시간으로 표출되며 상세 정보가 텍스트 형태로 함께 표출되는 단계; 를 더 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법.
  19. 제 11항에 있어서,
    상기 (d) 단계는
    (d-4) 상기 영상가시화부(300)는 통합 영상 가시화 모듈(330)에서 상기 탐지 결과를 분류에 따라 구분하여 종류, 크기, 위경도 등 상세 정보와 함께 표 형식으로 표출하고 저장하는 단계; 를 더 포함하는,
    사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템의 분석방법.
  20. 제11항 내지 제19항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체.
PCT/KR2018/005628 2017-12-28 2018-05-16 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법 WO2019132131A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/470,531 US10803590B2 (en) 2017-12-28 2018-05-16 Multiple-wavelength images analysis electro optical system for detection of accident ship and submerged person and analysis method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170182494A KR101852476B1 (ko) 2017-12-28 2017-12-28 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법
KR10-2017-0182494 2017-12-28

Publications (1)

Publication Number Publication Date
WO2019132131A1 true WO2019132131A1 (ko) 2019-07-04

Family

ID=62628239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/005628 WO2019132131A1 (ko) 2017-12-28 2018-05-16 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법

Country Status (3)

Country Link
US (1) US10803590B2 (ko)
KR (1) KR101852476B1 (ko)
WO (1) WO2019132131A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695633A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 基于rpf-cam的低照度目标检测方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111924117B (zh) * 2020-08-14 2024-04-09 西安应用光学研究所 一种光电吊舱内置光学传感器波段自主切换方法
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
CN112198516A (zh) * 2020-11-10 2021-01-08 广东智芯光电科技有限公司 一种水下图像采集的方法和系统
CN113450413B (zh) * 2021-07-19 2022-09-27 哈尔滨工业大学 基于gf4单帧图像的舰船目标检测方法
CN116580313B (zh) * 2023-03-31 2023-11-14 数字太空(北京)科技股份公司 一种基于数字孪生和遥感的异常船只识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110089892A (ko) * 2010-02-02 2011-08-10 코스모스티이에스 (주) 3파종 물체감지 및 영상체계 시스템 및 그 방법
KR20130121202A (ko) * 2012-04-25 2013-11-06 한국전자통신연구원 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
KR20140043976A (ko) * 2012-10-04 2014-04-14 엘지이노텍 주식회사 감시 장치 및 방법
KR20150011098A (ko) * 2013-07-22 2015-01-30 현대모비스 주식회사 영상 처리 방법 및 이를 위한 위한 장치
KR20170087836A (ko) * 2016-01-21 2017-07-31 강릉원주대학교산학협력단 해상에서 다중 채널 영상을 이용한 대기 에어로졸 탐지, 광학두께, 입자크기, 유효 고도 측정, 유효성 검사 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300108B2 (en) 2009-02-02 2012-10-30 L-3 Communications Cincinnati Electronics Corporation Multi-channel imaging devices comprising unit cells
US20110164108A1 (en) * 2009-12-30 2011-07-07 Fivefocal Llc System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods
WO2012142049A1 (en) * 2011-04-11 2012-10-18 Flir Systems, Inc. Infrared camera systems and methods
EP2866052A1 (en) * 2013-10-23 2015-04-29 Ladar Limited A system for monitoring a maritime environment
US10931934B2 (en) * 2014-09-02 2021-02-23 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
IL237717A (en) * 2015-03-12 2017-04-30 Elbit Systems Ltd Identification, characterization and display of dangerous aerial phenomena
US10055648B1 (en) * 2015-04-16 2018-08-21 Bae Systems Information And Electronic Systems Integration Inc. Detection, classification, and tracking of surface contacts for maritime assets
US9944366B2 (en) * 2015-05-19 2018-04-17 Rujing Tang Unmanned aerial vehicle system and methods for use
US10181249B2 (en) * 2016-09-07 2019-01-15 Seal Innovation, Inc. Systems, methods and computer program products for detecting a presence of an object in a body of water

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110089892A (ko) * 2010-02-02 2011-08-10 코스모스티이에스 (주) 3파종 물체감지 및 영상체계 시스템 및 그 방법
KR20130121202A (ko) * 2012-04-25 2013-11-06 한국전자통신연구원 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
KR20140043976A (ko) * 2012-10-04 2014-04-14 엘지이노텍 주식회사 감시 장치 및 방법
KR20150011098A (ko) * 2013-07-22 2015-01-30 현대모비스 주식회사 영상 처리 방법 및 이를 위한 위한 장치
KR20170087836A (ko) * 2016-01-21 2017-07-31 강릉원주대학교산학협력단 해상에서 다중 채널 영상을 이용한 대기 에어로졸 탐지, 광학두께, 입자크기, 유효 고도 측정, 유효성 검사 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695633A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 基于rpf-cam的低照度目标检测方法

Also Published As

Publication number Publication date
KR101852476B1 (ko) 2018-06-04
US20200143543A1 (en) 2020-05-07
US10803590B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
WO2019132131A1 (ko) 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법
US7663507B2 (en) Foreign object detection system and method
WO2017039259A1 (ko) 열화상 카메라를 이용한 전력설비 진단 장치 및 방법
WO2019083109A1 (ko) 항공 초분광 영상을 이용한 사고 선박 및 익수자 탐지 방법
US9250135B2 (en) MWIR sensor for flame detection
WO2022139110A1 (ko) 해상객체 식별을 위한 초분광 데이터 처리방법 및 장치
US20070116328A1 (en) Nudity mask for use in displaying video camera images
WO2022139111A1 (ko) 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
EP3189328A1 (en) Wide-area real-time method for detecting foreign fluids on water surfaces
Sosnowski et al. Thermovision system for flying objects detection
KR20080031702A (ko) 원격탐사영상 구름식별 방법
WO2018165027A1 (en) Polarization-based detection and mapping method and system
WO2020091337A1 (ko) 영상 분석 장치 및 방법
CN115947066B (zh) 皮带撕裂检测方法、装置及系统
WO2020116988A1 (ko) 영상 분석 장치, 영상 분석 방법 및 기록 매체
Silva et al. UAV trials for multi-spectral imaging target detection and recognition in maritime environment
Markushin et al. Image fusion in a dual-band scanning optoelectronic system for the search and detection of poaching activity
KR102015620B1 (ko) 금속입자 검출 시스템 및 방법
Chenault et al. Infrared polarimetric sensing of oil on water
Al-Lashi et al. Toward omnidirectional and automated imaging system for measuring oceanic whitecap coverage
Ahmad et al. Image Processing Techniques-based fire detection
Sporrer et al. NIR camera based person detection in the working range of industrial robots
RU2758881C1 (ru) Тепловизионный способ обнаружения беспилотного летательного аппарата типа "мультикоптер"
Witherspoon et al. Video-based multispectral detection of land mines: a technology applicable for use in law enforcement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18897017

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18897017

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 22/01/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18897017

Country of ref document: EP

Kind code of ref document: A1