KR102513414B1 - In-ship lighting identification method and system in night maritime environment - Google Patents
In-ship lighting identification method and system in night maritime environment Download PDFInfo
- Publication number
- KR102513414B1 KR102513414B1 KR1020210064910A KR20210064910A KR102513414B1 KR 102513414 B1 KR102513414 B1 KR 102513414B1 KR 1020210064910 A KR1020210064910 A KR 1020210064910A KR 20210064910 A KR20210064910 A KR 20210064910A KR 102513414 B1 KR102513414 B1 KR 102513414B1
- Authority
- KR
- South Korea
- Prior art keywords
- area
- ship
- night
- lights
- maritime
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000005286 illumination Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Abstract
야간 해상 환경에서 선박 내 등화 식별 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 선박 내 등화 식별 방법은, 야간 해상 영상에 대해 조도를 개선하여 선박 영역을 검출하고, 검출된 선박 영역에서 등화 영역을 식별한다. 이에 의해, 보다 정확하게 선박 내 등화를 식별할 수 있게 된다. 또한, 본 발명의 실시예들에 따르면, 감마 보정, 영상 이진화, 잡음 제거, 영역 확장, 중복 영역 제거 등의 영상 처리 기법을 적용하여, 보다 정확하게 선박 내 등화를 식별할 수 있게 된다.A method and system for identifying lights in a ship in a nighttime maritime environment are provided. In a method for identifying lights on a ship according to an embodiment of the present invention, a ship area is detected by improving illumination of a night maritime image, and a light area is identified in the detected ship area. This makes it possible to more accurately identify lights in the ship. In addition, according to embodiments of the present invention, by applying image processing techniques such as gamma correction, image binarization, noise removal, region extension, and overlapping region removal, it is possible to more accurately identify lights on board.
Description
본 발명은 등화(燈火) 식별 기술에 관한 것으로, 더욱 상세하게는 야간 해상 환경에서 획득한 영상으로부터 선박에 설치되어 있는 등화를 식별하기 위한 방법 및 시스템에 관한 것이다.The present invention relates to a light identification technology, and more particularly, to a method and system for identifying a light installed on a ship from an image acquired in a maritime environment at night.
선박 항행 정보를 파악하고 해상 재해 방지를 위해, 해상에서 항해하고 있는 선박에 설치되어 있는 등화를 식별하는 것이 필요하다. 영상을 분석하여 선박 내 등화 식별을 시도할 수 있다.In order to grasp ship navigation information and prevent maritime disasters, it is necessary to identify lights installed on ships sailing on the sea. You can try to identify lights on board by analyzing the video.
하지만, 야간 해상 환경에서 영상으로부터 선박 내 등화를 검출하는 경우에는 많은 오류가 발생한다. 구체적으로, 도 1에 제시된 바와 같이, 등화가 바다에 비친 영역이 오검출되기도 하고, 등화가 선반에서 반사되거나 대기로 퍼져 있는 영역이 등화로 오검출되는 등의 문제가 있다.However, many errors occur when detecting lights in a ship from an image in a nighttime maritime environment. Specifically, as shown in FIG. 1, there are problems in that areas where lights are reflected in the sea are erroneously detected, and areas where lights are reflected from a shelf or spread into the air are erroneously detected as lights.
이에 따라, 야간 해상 환경에서 선박 내 등화를 보다 정확하게 식별하기 위한 방안이 필요하다.Accordingly, there is a need for a method for more accurately identifying lights in a ship in a nighttime maritime environment.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 야간 해상 환경에서 선박 내 등화를 보다 정확하게 식별하기 위한 방법 및 시스템을 제공함에 있다.The present invention has been made to solve the above problems, and an object of the present invention is to provide a method and system for more accurately identifying lights in a ship at night in a maritime environment.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 야간 해상 환경에서 선박 내 등화 식별 방법은, 야간 해상 영상에 대해 조도를 개선하는 단계; 조도가 개선된 야간 해상 영상에서 선박 영역을 검출하는 단계; 검출된 선박 영역에서 등화 영역을 식별하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, a method for identifying lights on a ship in a nighttime maritime environment includes improving illumination of a nighttime maritime image; Detecting a ship area in the night maritime image with improved illuminance; and identifying an equalization area in the detected vessel area.
검출 단계는, 야간 해상 영상을 입력받으면 선박 영역을 검출하여 출력하도록 학습된 인공지능 모델을 이용하여 수행될 수 있다.The detection step may be performed using an artificial intelligence model trained to detect and output a ship area when a nighttime maritime image is received.
식별 단계는, 검출된 선박 영역에 대해, 어두운 픽셀 값은 낮추고 밝은 픽셀 값은 높여서 보정하는 단계;를 더 포함할 수 있다.The identifying step may further include correcting the detected ship area by lowering a dark pixel value and increasing a bright pixel value.
본 발명의 실시예에 따른 야간 해상 환경에서 선박 내 등화 식별 방법은, 보정된 선박 영역을 밝은 영역과 어두운 영역으로 이진화하는 단계;를 더 포함할 수 있다.The method for identifying lights within a ship in a night maritime environment according to an embodiment of the present invention may further include binarizing the corrected ship area into a light area and a dark area.
본 발명의 실시예에 따른 야간 해상 환경에서 선박 내 등화 식별 방법은, 이진화된 선박 영역에서 일부 밝은 영역을 제거하는 단계;를 더 포함할 수 있다.The method for identifying lights within a ship in a night maritime environment according to an embodiment of the present invention may further include removing some bright areas from the binarized ship area.
그리고, 밝은 영역 제거 단계는, 크기가 기준 미만인 밝은 영역을 제거할 수 있다.In the bright area removing step, a bright area having a size smaller than a standard may be removed.
본 발명의 실시예에 따른 야간 해상 환경에서 선박 내 등화 식별 방법은, 영역 확장 기법으로 밝은 영역을 확장하고, BB(Bounding Box)를 계산하는 단계;를 더 포함할 수 있다.The method for identifying lights on a ship in a night maritime environment according to an embodiment of the present invention may further include expanding a bright area using an area expansion technique and calculating a bounding box (BB).
본 발명의 실시예에 따른 야간 해상 환경에서 선박 내 등화 식별 방법은, 계산된 BB들 중 일부 BB들을 제거하는 단계;를 더 포함할 수 있다.The method for identifying lights on a ship in a night maritime environment according to an embodiment of the present invention may further include removing some BBs from among the calculated BBs.
BB 제거 단계는, NMS(Non-maxima suppression)을 이용하여 중복된 BB들을 제거할 수 있다.In the BB removal step, duplicated BBs may be removed using non-maxima suppression (NMS).
한편, 본 발명의 다른 실시예에 따른, 야간 해상 환경에서 선박 내 등화 식별 시스템은, 야간 해상 영상을 입력하는 영상 입력부; 및 입력부로부터 입력되는 야간 해상 영상에 대해 조도를 개선하고, 조도가 개선된 야간 해상 영상에서 선박 영역을 검출하며, 검출된 선박 영역에서 등화 영역을 식별하는 프로세서;를 포함한다.On the other hand, according to another embodiment of the present invention, a system for identifying lights on a ship in a maritime environment at night includes an image input unit for inputting a maritime image at night; and a processor for improving illumination of the night maritime image input from the input unit, detecting a ship area in the night maritime image with improved illumination, and identifying an equalized area in the detected ship area.
한편, 본 발명의 다른 실시예에 따른, 야간 해상 환경에서 선박 내 등화 식별 방법은, 야간 해상 영상에서 선박 영역을 검출하는 단계; 검출된 선박 영역에서 등화 영역을 식별하는 단계;를 포함한다.Meanwhile, according to another embodiment of the present invention, a method for identifying lights on a ship in a nighttime maritime environment includes detecting a ship area from a nighttime maritime image; and identifying an equalization area in the detected vessel area.
한편, 본 발명의 다른 실시예에 따른, 야간 해상 환경에서 선박 내 등화 식별 시스템은, 야간 해상 영상을 입력하는 영상 입력부; 및 입력부로부터 입력되는 야간 해상 영상에서 선박 영역을 검출하고, 검출된 선박 영역에서 등화 영역을 식별하는 프로세서;를 포함한다.On the other hand, according to another embodiment of the present invention, a system for identifying lights on a ship in a maritime environment at night includes an image input unit for inputting a maritime image at night; and a processor for detecting a ship area in the night maritime image input from the input unit and identifying an equalized area in the detected ship area.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 야간 해상 영상에서 조도 개선 및 선박 검출 후에 등화 식별을 수행함으로써, 보다 정확하게 선박 내 등화를 식별할 수 있게 된다.As described above, according to embodiments of the present invention, lighting identification is performed after illumination improvement and vessel detection in a night maritime image, so that lights within a vessel can be more accurately identified.
또한, 본 발명의 실시예들에 따르면, 감마 보정, 영상 이진화, 잡음 제거, 영역 확장, 중복 영역 제거 등의 영상 처리 기법을 적용하여, 보다 정확하게 선박 내 등화를 식별할 수 있게 된다.In addition, according to embodiments of the present invention, by applying image processing techniques such as gamma correction, image binarization, noise removal, region extension, and overlapping region removal, it is possible to more accurately identify lights on board.
도 1은 선박 내 등화 오검출 결과를 예시한 도면,
도 2는 본 발명의 일 실시예에 따른 야간 해상 환경에서 선박 내 등화를 식별하는 방법의 설명에 제공되는 흐름도,
도 3과 도 4는, 야간 해상 영상에서 조도 개선 후에 선박 영역을 검출한 결과들을 예시한 도면들,
도 5는 선박 영역 검출 후의 등화 식별에 대한 개념 설명에 제공되는 도면,
도 6은 선박 영역의 감마 보정에 대한 부연 설명에 제공되는 도면,
도 7은 선박 영역의 임계 처리에 대한 부연 설명에 제공되는 도면,
도 8은 선박 영역의 잡음 영역 제거에 대한 부연 설명에 제공되는 도면,
도 9는 밝은 영역의 영역 확장에 대한 부연 설명에 제공되는 도면,
도 10은 중복 BB 제거 결과에 대한 부연 설명에 제공되는 도면,
도 11은 테스트 영상에서 선박 내 등화 식별 결과들을 예시한 도면, 그리고,
도 12는 본 발명의 다른 실시예에 따른 선박 내 등화 식별 시스템의 블럭도이다.1 is a diagram illustrating a result of detecting false lighting in a ship;
2 is a flowchart provided to explain a method for identifying lights on a ship in a night maritime environment according to an embodiment of the present invention;
3 and 4 are diagrams illustrating results of detecting a ship area after illuminance improvement in a night maritime image;
5 is a diagram provided for conceptual explanation of light identification after ship area detection;
6 is a diagram provided for further explanation of gamma correction of a ship area;
7 is a diagram provided for further explanation of the critical processing of the ship area;
8 is a diagram provided for further explanation of noise area removal in a ship area;
9 is a diagram provided for further explanation of area expansion of a bright area;
10 is a diagram provided for an amplification of a result of removing duplicate BBs;
11 is a diagram illustrating in-vessel lighting identification results in a test image, and
12 is a block diagram of an in-vessel lights identification system according to another embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
본 발명의 실시예에서는, 야간 해상 환경에서 선박 내 등화 식별 방법을 제시한다. 구체적으로, 본 발명의 실시예에서는 딥러닝 기반으로 선박 영역을 먼저 검출하고, 검출된 선박 영역에 대해 다양한 영상처리를 거쳐서 등화 후보 영역을 추출하고 최종 등화 영역을 선정한다.In an embodiment of the present invention, a method for identifying lights in a ship in a nighttime maritime environment is proposed. Specifically, in an embodiment of the present invention, a ship area is first detected based on deep learning, and a candidate area for equalization is extracted through various image processing for the detected vessel area, and a final equalization area is selected.
도 2는 본 발명의 일 실시예에 따른 야간 해상 환경에서 선박 내 등화를 식별하는 방법의 설명에 제공되는 흐름도이다.2 is a flowchart provided to explain a method for identifying lights on a ship in a night maritime environment according to an embodiment of the present invention.
야간 해상 환경에서 선박에 설치된 등화를 식별하기 위해, 도시된 바와 같이, 먼저 입력되는 야간 해상 영상에 대해 조도를 개선하여, 밝은 영상으로 변환한다(S110).In order to identify the lights installed on the ship in the night maritime environment, as shown in the figure, the illuminance of the night maritime image input is first improved and converted into a bright image (S110).
다음, S110단계에서 조도가 개선된 야간 해상 영상에서 선박 영역을 검출한다(S120). S120단계는 야간 해상 영상이 입력되면 선박 영역을 검출하여 출력하도록 학습된 딥 러닝 모델을 이용하여 수행될 수 있다.Next, in step S110, a ship area is detected in the night maritime image with improved illumination (S120). Step S120 may be performed using a deep learning model trained to detect and output a ship area when a nighttime maritime image is input.
도 3과 도 4에는 야간 해상 영상에서 조도 개선 후에 선박 영역을 검출한 결과들을 예시하였다. 좌측 영상은 조도 개선 전에 선박 영역을 검출한 결과이고, 우측 영상은 조도 개선 후에 선박 영역을 검출한 결과인데, 조도 개선에 의해 검출되는 선박 영역의 개수가 늘어난 것을 확인할 수 있다.3 and 4 illustrate the results of detecting the ship area after improving the illumination in the night maritime image. The image on the left is the result of detecting the ship area before the illumination improvement, and the image on the right is the result of detecting the ship area after the illumination improvement.
이후, S120단계에서 검출된 선박 영역에서 등화 영역을 식별한다(S130 내지 S170).Thereafter, a lighting area is identified in the ship area detected in step S120 (S130 to S170).
등화 영역 식별은 S120단계에서 검출된 선박 영역 내에서 이루어진다. 즉, 도 5에서 흰색 점선으로 표시된 선박 영역 내에서만 등화 영역 식별이 이루어지므로, 바닷물에 비친 등화가 식별되는 것을 방지할 수 있다.Identification of the lighting area is performed within the detected ship area in step S120. That is, since the light area is identified only within the ship area indicated by the white dotted line in FIG. 5, it is possible to prevent lights reflected in the seawater from being identified.
등화 영역 식별을 위해, 먼저 S120단계에서 검출된 선박 영역에 대해, 감마 보정(Gamma Correction)으로, 어두운 픽셀의 휘도 값은 낮추고 밝은 픽셀의 휘도 값은 높여서 보정한다(S130).To identify the equalized area, the ship area detected in step S120 is first corrected by lowering the luminance value of dark pixels and increasing the luminance value of bright pixels through gamma correction (S130).
S130단계에서의 보정에 의해 어두운 픽셀들은 더욱 어두워지고, 밝은 픽셀들은 더욱 밝아지게 된다.Due to the correction in step S130, dark pixels become darker and bright pixels become brighter.
도 6에는 선박 영역에 대해 S130단계에서의 보정이 수행된 결과를 예시하였다. 감마 보정에 의해 보정 전의 좌측 영상 보다 보정 후의 우측 영상이 휘도 대비가 분명해졌음을 확인할 수 있다.6 illustrates the result of performing the correction in step S130 for the ship area. It can be confirmed that the luminance contrast of the right image after correction is clearer than that of the left image before correction by gamma correction.
다음, S130단계에서 보정된 선박 영역을 임계 처리(Thresholding)하여, 밝은 영역과 어두운 영역으로 이진화한다(S140).Next, the ship area corrected in step S130 is thresholded and binarized into a bright area and a dark area (S140).
이를 테면, S140단계에서는 휘도 값이 임계 값 이상인 픽셀의 휘도 값을 최대(즉, 흰 색 픽셀)로 변경하고, 휘도 값이 임계 값 미만인 픽셀의 휘도 값을 최소(즉, 검정 색 픽셀)로 변경할 수 있다.For example, in step S140, the luminance value of a pixel whose luminance value is equal to or greater than the threshold value is changed to the maximum (ie, a white pixel), and the luminance value of a pixel whose luminance value is less than the threshold value is changed to a minimum value (ie, a black pixel). can
도 7에는 보정된 선박 영역에 대해 S150단계에서의 임계 처리에 의한 이진화가 수행된 결과를 예시하였다. 임계 처리 전인 좌측 영상에 있었던 그레이 픽셀들이 임계 처리 후인 우측 영상에서는 모두 사라진 것을 확인할 수 있다.7 illustrates the result of binarization by threshold processing in step S150 for the corrected ship area. It can be seen that all gray pixels in the left image before thresholding have disappeared in the right image after thresholding.
이후, S140단계에서 이진화된 선박 영역에서 크기가 작은 밝은 영역들을 제거한다(S150). 제거되는 영역들은 크기가 기준 미만인 밝은 영역들로, 이들의 제거는 Morphology 기법 중 Erode를 이용하여 수행할 수 있다.Thereafter, small-sized bright areas are removed from the ship area binarized in step S140 (S150). Areas to be removed are bright areas whose size is less than the standard, and their removal can be performed using Erode among Morphology techniques.
S150단계는 크기가 작은 밝은 영역들을 잡음으로 취급하여 제거하는 것이며, 여기서 제거된다 함은 이들을 어두운 영역으로 변환하는 것을 의미한다.Step S150 treats small-sized bright areas as noise and removes them. Here, removing means converting them into dark areas.
도 8에는 이진화된 선박 영역에 대해 S150단계에서의 잡음 영역 제거가 수행된 결과를 예시하였다. 도 8에 도시된 바에 따르면, 이진화된 선박 영역의 중앙에 있었던 작은 밝은 영역들이 잡음으로써 제거되었음을 확인할 수 있다.8 illustrates the result of performing noise area removal in step S150 for the binarized ship area. As shown in FIG. 8 , it can be confirmed that small bright areas in the center of the binarized ship area are removed as noise.
다음, S150단계에서 잡음 영역 제거가 이루어진 선박 영역들에 대해, 영역 확장 기법(Region Growing)으로 밝은 영역을 확장한 후, BB(Bounding Box)를 계산한다(S160).Next, for the ship regions where the noise region has been removed in step S150, the bright region is expanded by Region Growing, and then a BB (Bounding Box) is calculated (S160).
도 9에는 영역 확장 기법을 통해 밝은 영역들이 확장된 결과를 예시하였다. 영역 확장 전인 좌측 영상 보다 영역 확장 후인 우측 영상에서 밝은 영역들의 크기가 커진 것을 확인할 수 있다.9 illustrates a result of expanding bright areas through the area expansion technique. It can be seen that the size of the bright regions in the right image after region expansion has increased compared to the left image before region expansion.
이후, S170단계에서 계산된 BB들에 대해, NMS(Non-maxima suppression) 기법을 이용하여 중복된 BB들을 제거한다(S170).Thereafter, for the BBs calculated in step S170, duplicated BBs are removed using a non-maxima suppression (NMS) technique (S170).
도 10에는 NMS 기법을 통해 중복된 BB들을 제거한 결과를 예시하였다. 영역 제거 전인 좌측 영상에서 중복된 BB들이 영역 제거 후인 우측 영상에서는 모두 정리되어 있는 것을 확인할 수 있다.10 illustrates the result of removing overlapping BBs through the NMS technique. It can be seen that the duplicated BBs in the left image before region removal are all organized in the right image after region removal.
지금까지, 야간 해상 환경에서 선박 내 등화 식별 방법 및 시스템에 대해, 바람직한 실시예를 들어 상세히 설명하였다.So far, a method and system for identifying lights in a ship in a nighttime maritime environment have been described in detail with preferred embodiments.
위 실시예에서는, 조도가 낮은 야간 해상 영상에 대해 조도 개선을 하고 선박을 검출한 후에 등화를 식별함으로써, 바다물에 비친 등화를 식별하는 등의 잘못된 식별 결과를 배제함으로써, 보다 정확하게 선박 내 등화를 식별할 수 있도록 하였다.In the above embodiment, illumination is improved for a nighttime maritime image with low illumination, and lights are identified after a ship is detected, thereby excluding false identification results such as identifying lights reflected in the sea, thereby more accurately identifying lights within a ship. made it possible to identify.
또한, 위 실시예에서는, 검출된 선박 영역에 대해 감마 보정, 영상 이진화, 잡음 제거, 영역 확장, 중복 영역 제거 등의 영상 처리를 통해 진정한 선박 내 등화만을 식별할 수 있도록 하였다.In addition, in the above embodiment, only true in-vessel lights can be identified through image processing such as gamma correction, image binarization, noise removal, area expansion, and redundant area removal for the detected vessel area.
본 발명의 실시예에 따른 방법을 이용하여, 테스트 영상에서 선박 내 등화를 식별한 결과들을 도 11에 예시하였다. 도시된 바에 따르면, 선박 내에 설치된 등화들만 정확하게 식별되었음을 확인할 수 있다.11 illustrates the results of identifying in-vessel lights in the test image using the method according to the embodiment of the present invention. According to the drawing, it can be confirmed that only the lights installed in the ship are accurately identified.
도 12는 본 발명의 다른 실시예에 따른 선박 내 등화 식별 시스템의 블럭도이다. 본 발명의 실시예에 따른 선박 내 등화 식별 시스템은, 도 12에 도시된 바와 같이, 영상 입력부(210), 프로세서(220), 출력부(230) 및 저장부(240)를 포함하여 구성된다.12 is a block diagram of an in-vessel lights identification system according to another embodiment of the present invention. As shown in FIG. 12, the system for identifying lights on a ship according to an embodiment of the present invention includes an
영상 입력부(210)는 야간 해상 영상을 프로세서(220)로 입력하는 통신 수단이나 저장매체이다.The
프로세서(220)는 영상 입력부(210)를 통해 입력되는 야간 해상 영상에 대한 조도 개선 및 선박 영역 검출을 수행하고, 검출된 선박 영역에서 등화 영역을 식별한다.The
등화 영역 식별을 위해, 프로세서(220)는 검출된 선박 영역에 대해, 감마 보정, 임계 처리(Thresholding), 잡음 제거, 영역 확장, 중복 영역 제거 등의 신호처리를 수행한다.To identify the equalized region, the
출력부(230)는 프로세서(220)에 의한 식별 결과를 출력한다. 저장부(240)는 프로세서(220)가 기능하고 동작함에 있어 필요한 저장 공간을 제공한다.The
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.Meanwhile, it goes without saying that the technical spirit of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, technical ideas according to various embodiments of the present invention may be implemented in the form of computer readable codes recorded on a computer readable recording medium. The computer-readable recording medium may be any data storage device that can be read by a computer and store data. For example, the computer-readable recording medium may be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like. In addition, computer readable codes or programs stored on a computer readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. Of course, various modifications are possible by those skilled in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
210 : 영상 입력부
220 : 프로세서
230 : 출력부
240 : 저장부210: video input unit
220: processor
230: output unit
240: storage unit
Claims (12)
선박 내 등화 식별 시스템이, 조도가 개선된 야간 해상 영상에서 선박 영역을 검출하는 단계;
선박 내 등화 식별 시스템이, 검출된 선박 영역에서 등화 영역을 식별하는 단계;를 포함하고,
식별 단계는,
검출된 선박 영역 내에서만 등화 영역을 식별하는 것을 특징으로 하는 야간 해상 환경에서 선박 내 등화 식별 방법.
Improving the illuminance of the nighttime maritime image by the in-vessel light identification system;
detecting, by an in-vessel light identification system, a ship area in the night maritime image with improved illuminance;
Including, by the in-vessel lights identification system, identifying a light area in the detected vessel area,
The identification step is
A method for identifying lights on a ship in a night maritime environment, characterized in that a light area is identified only within the detected ship area.
검출 단계는,
야간 해상 영상을 입력받으면 선박 영역을 검출하여 출력하도록 학습된 인공지능 모델을 이용하여 수행되는 것을 특징으로 하는 야간 해상 환경에서 선박 내 등화 식별 방법.
The method of claim 1,
The detection step is
A method for identifying lights in a ship in a night maritime environment, characterized in that it is performed using an artificial intelligence model learned to detect and output a ship area when a night maritime image is input.
식별 단계는,
선박 내 등화 식별 시스템이, 검출된 선박 영역에 대해, 어두운 픽셀 값은 낮추고 밝은 픽셀 값은 높여서 보정하는 단계;를 더 포함하는 것을 특징으로 하는 야간 해상 환경에서 선박 내 등화 식별 방법.
The method of claim 1,
The identification step is
A method for identifying lights on a ship in a night maritime environment, further comprising the step of correcting, by the onboard lights identification system, the detected ship area by lowering the dark pixel value and increasing the bright pixel value.
식별 단계는,
선박 내 등화 식별 시스템이, 보정된 선박 영역을 밝은 영역과 어두운 영역으로 이진화하는 단계;를 더 포함하는 것을 특징으로 하는 야간 해상 환경에서 선박 내 등화 식별 방법.
The method of claim 3,
The identification step is
A method for identifying lights on a ship in a night maritime environment, further comprising the steps of, by the system for identifying lights on a ship, binarizing the corrected ship area into a bright area and a dark area.
식별 단계는,
선박 내 등화 식별 시스템이, 이진화된 선박 영역에서 일부 밝은 영역을 제거하는 단계;를 더 포함하는 것을 특징으로 하는 야간 해상 환경에서 선박 내 등화 식별 방법.
The method of claim 4,
The identification step is
A method for identifying lights on a ship in a night maritime environment, further comprising the step of removing, by the system for identifying lights on a ship, some bright areas from the binarized ship area.
밝은 영역 제거 단계는,
크기가 기준 미만인 밝은 영역을 제거하는 것을 특징으로 하는 야간 해상 환경에서 선박 내 등화 식별 방법.
The method of claim 4,
The bright area removal step is,
A method for identifying lights on a ship in a nighttime maritime environment, characterized by removing bright areas whose size is less than a criterion.
식별 단계는,
선박 내 등화 식별 시스템이, 영역 확장 기법으로 밝은 영역을 확장하고, BB(Bounding Box)를 계산하는 단계;를 더 포함하는 것을 특징으로 하는 야간 해상 환경에서 선박 내 등화 식별 방법.
The method of claim 5,
The identification step is
A method for identifying lights on a ship in a night maritime environment, further comprising: expanding a bright area by the on-vessel lights identification system using an area expansion technique and calculating a BB (Bounding Box).
식별 단계는,
선박 내 등화 식별 시스템이, 계산된 BB들 중 일부 BB들을 제거하는 단계;를 더 포함하는 것을 특징으로 하는 야간 해상 환경에서 선박 내 등화 식별 방법.
The method of claim 7,
The identification step is
A method for identifying lights on a ship in a night maritime environment, further comprising the step of removing some BBs among the calculated BBs by the onboard lights identification system.
BB 제거 단계는,
NMS(Non-maxima suppression)을 이용하여 중복된 BB들을 제거하는 것을 특징으로 하는 야간 해상 환경에서 선박 내 등화 식별 방법.
The method of claim 8,
BB removal step,
A method for identifying lights on a ship in a night maritime environment, characterized in that redundant BBs are removed using non-maxima suppression (NMS).
입력부로부터 입력되는 야간 해상 영상에 대해 조도를 개선하고, 조도가 개선된 야간 해상 영상에서 선박 영역을 검출하며, 검출된 선박 영역에서 등화 영역을 식별하는 프로세서;를 포함하고,
프로세서는,
검출된 선박 영역 내에서만 등화 영역을 식별하는 것을 특징으로 하는 야간 해상 환경에서 선박 내 등화 식별 시스템.
an image input unit for inputting a night maritime image; and
A processor for improving the illumination of the night maritime image input from the input unit, detecting a ship area in the night maritime image with improved illumination, and identifying an equalized area in the detected ship area;
the processor,
An in-vessel lighting identification system in a night maritime environment, characterized in that a light area is identified only within the detected vessel area.
선박 내 등화 식별 시스템이, 검출된 선박 영역에서 등화 영역을 식별하는 단계;를 포함하고,
식별 단계는,
검출된 선박 영역 내에서만 등화 영역을 식별하는 것을 특징으로 하는 야간 해상 환경에서 선박 내 등화 식별 방법.
Detecting, by an in-vessel light identification system, a ship area from the night maritime image;
Including, by the in-vessel lights identification system, identifying a light area in the detected vessel area,
The identification step is
A method for identifying lights on a ship in a night maritime environment, characterized in that a light area is identified only within the detected ship area.
입력부로부터 입력되는 야간 해상 영상에서 선박 영역을 검출하고, 검출된 선박 영역에서 등화 영역을 식별하는 프로세서;를 포함하고,
프로세서는,
검출된 선박 영역 내에서만 등화 영역을 식별하는 것을 특징으로 하는 야간 해상 환경에서 선박 내 등화 식별 시스템.
an image input unit for inputting a night maritime image; and
A processor detecting a ship area in the night maritime image input from the input unit and identifying an equalized area in the detected ship area;
the processor,
An in-vessel lighting identification system in a night maritime environment, characterized in that a light area is identified only within the detected vessel area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210064910A KR102513414B1 (en) | 2021-05-20 | 2021-05-20 | In-ship lighting identification method and system in night maritime environment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210064910A KR102513414B1 (en) | 2021-05-20 | 2021-05-20 | In-ship lighting identification method and system in night maritime environment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220157163A KR20220157163A (en) | 2022-11-29 |
| KR102513414B1 true KR102513414B1 (en) | 2023-03-23 |
Family
ID=84235147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210064910A KR102513414B1 (en) | 2021-05-20 | 2021-05-20 | In-ship lighting identification method and system in night maritime environment |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102513414B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101224164B1 (en) * | 2011-03-31 | 2013-01-21 | 하이테콤시스템(주) | Pre- processing method and apparatus for license plate recognition |
| KR101620989B1 (en) * | 2015-02-12 | 2016-05-16 | 계명대학교 산학협력단 | Method of detecting fire automatically from video including night images and system for performing the same |
| KR101917094B1 (en) * | 2017-08-29 | 2018-11-09 | 전남대학교산학협력단 | Fast smog and dark image improvement method and apparatus by using mapping table |
-
2021
- 2021-05-20 KR KR1020210064910A patent/KR102513414B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101224164B1 (en) * | 2011-03-31 | 2013-01-21 | 하이테콤시스템(주) | Pre- processing method and apparatus for license plate recognition |
| KR101620989B1 (en) * | 2015-02-12 | 2016-05-16 | 계명대학교 산학협력단 | Method of detecting fire automatically from video including night images and system for performing the same |
| KR101917094B1 (en) * | 2017-08-29 | 2018-11-09 | 전남대학교산학협력단 | Fast smog and dark image improvement method and apparatus by using mapping table |
Non-Patent Citations (1)
| Title |
|---|
| H. Li et al., ‘Enhanced YOLO v3 Tiny Network for Real-Time Ship Detection From Visual Image,’ IEEE Access v.9, 2021, pp.16692-16706 (2021.01.29.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220157163A (en) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4626886B2 (en) | Method and apparatus for locating and extracting captions in digital images | |
| CN111583223B (en) | Defect detection method, defect detection device, computer equipment and computer readable storage medium | |
| CN109738450B (en) | Method and device for detecting notebook keyboard | |
| CN111368771A (en) | Tunnel fire early warning method and device based on image processing, computer equipment and computer readable storage medium | |
| MXPA02008296A (en) | Improved method for image binarization. | |
| KR20210006276A (en) | Image processing method for flicker mitigation | |
| CN112116542A (en) | Image contrast enhancement method, device, electronic equipment and storage medium | |
| US8300927B2 (en) | Mouth removal method for red-eye detection and correction | |
| CN115937237A (en) | Local feature extraction method based on edge transform domain | |
| JPH07262374A (en) | Image processor | |
| CN111274896A (en) | Smoke and fire identification algorithm | |
| KR102513414B1 (en) | In-ship lighting identification method and system in night maritime environment | |
| Huang et al. | A back propagation based real-time license plate recognition system | |
| EP0505729B1 (en) | Image binarization system | |
| KR20030026983A (en) | Text discrimination method and related apparatus | |
| JP3906221B2 (en) | Image processing method and image processing apparatus | |
| Lin et al. | Locating license plate based on edge features of intensity and saturation subimages | |
| CN112801963B (en) | Video image occlusion detection method and system | |
| JP2710527B2 (en) | Inspection equipment for periodic patterns | |
| CN110211085B (en) | Image fusion quality evaluation method and system | |
| Abdusalomov et al. | Robust shadow removal technique for improving image enhancement based on segmentation method | |
| KR970004630A (en) | Apparatus and method for binarizing image in image processing apparatus | |
| CN108737814B (en) | Video shot detection method based on dynamic mode decomposition | |
| Santiago et al. | Efficient 2× 2 block-based connected components labeling algorithms | |
| KR20210119672A (en) | Method and apparatus for detecting objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |