KR102599330B1 - Image-based fog area detection and visibility calculation system - Google Patents

Image-based fog area detection and visibility calculation system Download PDF

Info

Publication number
KR102599330B1
KR102599330B1 KR1020230075404A KR20230075404A KR102599330B1 KR 102599330 B1 KR102599330 B1 KR 102599330B1 KR 1020230075404 A KR1020230075404 A KR 1020230075404A KR 20230075404 A KR20230075404 A KR 20230075404A KR 102599330 B1 KR102599330 B1 KR 102599330B1
Authority
KR
South Korea
Prior art keywords
fog
reference distance
area
fog area
visibility
Prior art date
Application number
KR1020230075404A
Other languages
Korean (ko)
Inventor
정희석
김정호
김영도
Original Assignee
컨트롤에프 주식회사
대한민국(기상청 부산지방기상청장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 컨트롤에프 주식회사, 대한민국(기상청 부산지방기상청장) filed Critical 컨트롤에프 주식회사
Priority to KR1020230075404A priority Critical patent/KR102599330B1/en
Application granted granted Critical
Publication of KR102599330B1 publication Critical patent/KR102599330B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

본 발명의 안개영역 검출 및 가시거리 산출 시스템은 영상수집부, 안개영역 검출부, 및 가시거리 산출부를 포함한다. 영상수집부는 고정된 장소에 설치되어 원본영상을 수집한다. 안개영역 검출부는 인공지능 알고리즘을 기초로 사전에 학습된 안개영역 검출모델을 이용하여, 원본영상에서 안개영역을 검출한다. 복수의 기준거리선들 각각은 영상수집부를 기준으로 기준거리만큼 떨어진 지점들을 원본영상 상에 표시한 선으로 정의된다. 가시거리 산출부는 복수의 기준거리선들 각각이 안개영역에 포함되는지 여부에 따라 가시거리를 산출한다. 제1 기준거리선 및 제2 기준거리선 각각은 복수의 기준거리선들 중 어느 하나이다. 제1 기준거리선에 대응되는 기준거리인 제1 기준거리는 제2 기준거리선에 대응되는 기준거리인 제2 기준거리 보다 길다.The fog area detection and visibility distance calculation system of the present invention includes an image collection unit, a fog area detection unit, and a visibility distance calculation unit. The video collection unit is installed in a fixed location and collects original video. The fog area detection unit detects the fog area in the original image using a fog area detection model learned in advance based on an artificial intelligence algorithm. Each of the plurality of reference distance lines is defined as a line marking points on the original image that are separated by the reference distance from the image collection unit. The visibility distance calculation unit calculates the visibility distance according to whether each of the plurality of reference distance lines is included in the fog area. Each of the first and second reference distance lines is one of a plurality of reference distance lines. The first reference distance, which is the reference distance corresponding to the first reference distance line, is longer than the second reference distance, which is the reference distance corresponding to the second reference distance line.

Description

영상 기반 안개영역 검출 및 가시거리 산출 시스템{IMAGE-BASED FOG AREA DETECTION AND VISIBILITY CALCULATION SYSTEM}Image-based fog area detection and visibility range calculation system {IMAGE-BASED FOG AREA DETECTION AND VISIBILITY CALCULATION SYSTEM}

본 발명은 영상을 분석하여 안개영역을 탐지하고 가시거리를 산출하는 시스템 및 방법에 관한 것이다. 구체적으로, 본 발명은 인공지능 알고리즘을 이용하여 안개영역을 탐지하고, 안개영역의 면적을 기초로 가시거리를 산출하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for detecting fog areas and calculating visibility distance by analyzing images. Specifically, the present invention relates to a system and method for detecting a fog area using an artificial intelligence algorithm and calculating a visibility distance based on the area of the fog area.

안개는 대기 중의 수증기나 먼지 등의 미세 입자들이 특정 조건(높은 습도와 낮은 온도)에서 일정 부피 이상으로 응축되어 형성되는 기상현상이다. 안개가 형성되면 시야가 가려지고 먼 거리를 볼 수 없어 자동차, 선박, 비행기 등의 운행 및 안전에 많은 영향을 준다. 안개로 시야가 가려진 상황에서는 급격한 변화에 대처하기가 어려워 사고 발생 위험이 크게 증가한다.Fog is a meteorological phenomenon that is formed when fine particles such as water vapor or dust in the atmosphere condense to more than a certain volume under specific conditions (high humidity and low temperature). When fog forms, visibility is obscured and it is impossible to see long distances, which greatly affects the operation and safety of cars, ships, airplanes, etc. In situations where visibility is obscured by fog, it is difficult to respond to rapid changes, greatly increasing the risk of accidents.

이러한 이유로 안개영역을 검출하고 가시거리를 산출하는 기술은 자동차, 선박, 비행기 등의 운행에 매우 중요하다. 그러나, 종래의 관련 기술들은 단순히 안개 발생여부 또는 안개의 농도만을 검출하는데 그치고 있어, 안개가 발생한 상황에서 가시거리를 검출할 수 있는 기술 개발이 시급한 상황이다.For this reason, technology to detect fog areas and calculate visibility is very important for the operation of cars, ships, and airplanes. However, conventional related technologies are limited to simply detecting whether fog has occurred or the concentration of fog, and there is an urgent need to develop technology that can detect visibility in foggy situations.

본 발명은 상기와 같은 종래의 기술적 한계를 해결하기 위한 것으로, 수집한 영상을 기초로 안개의 발생여부를 판단하고, 가시거리를 산출하여 제공하므로, 사용자의 의사결정에 활용될 수 있는 시스템을 제공하는 것을 목적으로 한다.The present invention is intended to solve the conventional technical limitations described above. It determines whether fog has occurred based on the collected images, calculates the visibility distance, and provides a system that can be used for user decision-making. The purpose is to

또한, 본 발명은 안개뿐만 아니라 다양한 저시정 상황(육상안개, 바다안개, 황사, 연기 등)에서 가시거리를 산출할 수 있어, 활용도가 높은 시스템을 제공하는 것을 목적으로 한다.In addition, the purpose of the present invention is to provide a highly usable system that can calculate the visibility distance not only in fog but also in various low-visibility situations (land fog, sea fog, yellow dust, smoke, etc.).

또한, 본 발명은 학습된 모델의 성능을 면적을 기준으로 정확하게 평가할 수 있는 시스템을 제공하는 것을 목적으로 한다.Additionally, the purpose of the present invention is to provide a system that can accurately evaluate the performance of a learned model based on area.

또한, 본 발명은 사용자가 가시거리 산출 과정을 이해하고 설명할 수 있으므로, 사용자 스스로 상황 및 환경에 따라 성능을 최적화하고, 가시거리 산출 결과를 사후적으로 분석할 수 있는 시스템을 제공하는 것을 목적으로 한다.In addition, the purpose of the present invention is to provide a system that allows users to understand and explain the visibility distance calculation process, so that users can optimize performance according to the situation and environment and analyze the visibility distance calculation results after the fact. do.

본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템은 영상수집부, 안개영역 검출부, 및 가시거리 산출부를 포함할 수 있다.The fog area detection and visibility distance calculation system according to an embodiment of the present invention may include an image collection unit, a fog area detection unit, and a visibility distance calculation unit.

영상수집부는 고정된 장소에 설치되어 원본영상을 수집할 수 있다.The video collection unit can be installed in a fixed location to collect original video.

안개영역 검출부는 인공지능 알고리즘을 기초로 사전에 학습된 안개영역 검출모델을 이용하여, 상기 원본영상에서 안개영역을 검출할 수 있다.The fog area detection unit can detect the fog area in the original image using a fog area detection model learned in advance based on an artificial intelligence algorithm.

가시거리 산출부는 복수의 기준거리선들 각각이 상기 안개영역에 포함되는지 여부에 따라 가시거리를 산출할 수 있다. 복수의 기준거리선들 각각은 상기 영상수집부를 기준으로 기준거리만큼 떨어진 지점들을 상기 원본영상 상에 표시한 선으로 정의된다.The visibility distance calculation unit may calculate the visibility distance depending on whether each of a plurality of reference distance lines is included in the fog area. Each of the plurality of reference distance lines is defined as a line marking points on the original image that are separated by a reference distance from the image collection unit.

제1 기준거리선 및 제2 기준거리선 각각은 상기 복수의 기준거리선들 중 어느 하나일 수 있다. 상기 제1 기준거리선에 대응되는 기준거리인 제1 기준거리는 상기 제2 기준거리선에 대응되는 기준거리인 제2 기준거리 보다 길 수 있다.Each of the first and second reference distance lines may be one of the plurality of reference distance lines. The first reference distance corresponding to the first reference distance line may be longer than the second reference distance corresponding to the second reference distance line.

상기 제1 기준거리선 및 상기 제2 기준거리선이 상기 안개영역에 포함되지 않는 경우, 상기 가시거리 산출부는 상기 가시거리가 상기 제1 기준거리 보다 긴 것으로 판단할 수 있다.When the first reference distance line and the second reference distance line are not included in the fog area, the visibility distance calculation unit may determine that the visibility distance is longer than the first reference distance.

상기 제1 기준거리선 및 상기 제2 기준거리선 중 상기 제1 기준거리선만이 상기 안개영역에 포함되는 경우, 상기 가시거리 산출부는 상기 가시거리가 상기 제2 기준거리보다 길고 상기 제1 기준거리 보다 짧은 것으로 판단할 수 있다.When only the first reference distance line among the first reference distance line and the second reference distance line is included in the fog area, the visibility distance calculation unit determines that the visibility distance is longer than the second reference distance and the first reference distance line is included in the fog area. It can be judged to be shorter than the distance.

상기 제1 기준거리선 및 상기 제2 기준거리선이 상기 안개영역에 포함되는 경우, 상기 가시거리 산출부는 상기 가시거리가 상기 제2 기준거리보다 짧은 것으로 판단할 수 있다.When the first reference distance line and the second reference distance line are included in the fog area, the visibility distance calculation unit may determine that the visibility distance is shorter than the second reference distance.

본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템의 상기 인공지능 알고리즘은 YOLO(You Only Look Once) 알고리즘, R-CNN 알고리즘, Mask R-CNN 알고리즘, 및 트랜스포머(Transformer) 알고리즘 중 적어도 어느 하나일 수 있다.The artificial intelligence algorithm of the fog area detection and visibility distance calculation system according to an embodiment of the present invention is at least one of the YOLO (You Only Look Once) algorithm, the R-CNN algorithm, the Mask R-CNN algorithm, and the Transformer algorithm. It could be any one.

본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템은 데이터셋 생성부를 더 포함할 수 있다. 데이터셋 생성부는 상기 안개영역 검출모델의 학습 및 평가를 위한 데이터셋을 생성할 수 있다.The fog area detection and visibility distance calculation system according to an embodiment of the present invention may further include a data set generator. The dataset generator may generate a dataset for learning and evaluating the fog area detection model.

상기 데이터셋 생성부는 사전에 수집된 복수의 제1 영상들 중 복수의 제2 영상들을 선별할 수 있다. 또한 상기 데이터셋 생성부는 상기 복수의 제2 영상들 각각에 대해 어노테이션(Annotation)을 수행하여 메타데이터를 생성할 수 있다.The dataset generator may select a plurality of second images from a plurality of first images collected in advance. Additionally, the dataset generator may generate metadata by performing annotation on each of the plurality of second images.

상기 데이터셋은 상기 복수의 제2 영상들 및 상기 복수의 제2 영상들 각각에 대응되는 메타데이터를 포함할 수 있다.The dataset may include the plurality of second images and metadata corresponding to each of the plurality of second images.

상기 데이터셋은 상기 안개영역 검출모델을 학습시키기 위한 학습-데이터셋 및 상기 안개영역 검출모델의 성능을 평가하기 위한 테스트-데이터셋으로 구분될 수 있다.The dataset can be divided into a learning-dataset for training the fog area detection model and a test-dataset for evaluating the performance of the fog area detection model.

본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템의 상기 데이터셋 생성부에서 생성되는 상기 메타데이터는 바운딩박스(Bounding Box), 폴리곤(Polygon), 시맨틱 세그멘테이션(Semantic Segmentation), 및 폴리라인(Polyline) 중 적어도 어느 하나일 수 있다.The metadata generated in the dataset generator of the fog area detection and visibility range calculation system according to an embodiment of the present invention includes bounding box, polygon, semantic segmentation, and poly It can be at least one of the lines (polyline).

본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템에서, 상기 복수의 제2영상들 각각에서 안개로 분류되는 객체의 면적이 전체면적의 50% 이상 99.9% 이하일 수 있다.In the fog area detection and visibility distance calculation system according to an embodiment of the present invention, the area of the object classified as fog in each of the plurality of second images may be 50% or more and 99.9% or less of the total area.

본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템의 상기 데이터셋 생성부는 상기 메타데이터를 생성하는 과정에서, 상기 복수의 제2 영상들 각각에서 안개에 대해서만 어노테이션을 수행할 수 있다.In the process of generating the metadata, the dataset generator of the fog area detection and visibility range calculation system according to an embodiment of the present invention may perform annotation only for fog in each of the plurality of second images.

본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템에서, 상기 인공지능 알고리즘은 YOLO(You Only Look Once) 알고리즘일 수 있다. 상기 데이터셋 생성부는 상기 메타데이터를 생성하는 과정에서 Label Smoothing 기법을 이용할 수 있다.In the fog area detection and visibility distance calculation system according to an embodiment of the present invention, the artificial intelligence algorithm may be the YOLO (You Only Look Once) algorithm. The dataset generator may use the Label Smoothing technique in the process of generating the metadata.

본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템에서, 상기 인공지능 알고리즘은 Mask R-CNN 알고리즘이고, 메타데이터는 폴리곤(Polygon) 일 수 있다.In the fog area detection and visibility distance calculation system according to an embodiment of the present invention, the artificial intelligence algorithm is the Mask R-CNN algorithm, and the metadata may be a polygon.

본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템은 검출모델 평가부를 더 포함할 수 있다. 검출모델 평가부는 상기 테스트-데이터셋을 기초로 안개영역 검출일치율을 산출할 수 있다. 또한, 검출모델 평가부는 상기 안개영역 검출일치율을 기초로 상기 안개영역 검출모델의 성능을 평가할 수 있다.The fog area detection and visibility distance calculation system according to an embodiment of the present invention may further include a detection model evaluation unit. The detection model evaluation unit may calculate the fog area detection agreement rate based on the test-data set. Additionally, the detection model evaluation unit may evaluate the performance of the fog area detection model based on the fog area detection agreement rate.

상기 테스트-데이터셋은 상기 복수의 제2 영상들 중 일부인 복수의 제3 영상들 및 상기 제3 영상들 각각에 대응되는 메타데이터를 포함할 수 있다.The test-dataset may include a plurality of third images that are part of the plurality of second images and metadata corresponding to each of the third images.

제1 영역은 상기 데이터셋 생성부가 상기 제3 영상에 대해 어노테이션을 수행하여 안개영역으로 분류한 영역으로 정의된다. 제1 면적은 제1 영역의 면적으로 정의된다.The first area is defined as an area that the dataset generator annotated on the third image and classified as a fog area. The first area is defined as the area of the first region.

제2 영역은 상기 안개영역 검출부의 상기 안개영역 검출모델이 상기 제3 영상에서 안개영역으로 검출한 영역으로 정의된다. 제2 면적은 제2 영역의 면적으로 정의된다.The second area is defined as an area detected by the fog area detection model of the fog area detection unit as a fog area in the third image. The second area is defined as the area of the second region.

제3 영역은 상기 제1 영역과 상기 제2 영역이 중첩되는 영역으로 정의된다. 제3 면적은 제3 영역의 면적으로 정의된다.The third area is defined as an area where the first area and the second area overlap. The third area is defined as the area of the third region.

상기 검출모델 평가부는 상기 제1 면적, 상기 제2 면적, 및 상기 제3 면적을 기초로 안개영역 검출일치율을 산출할 수 있다.The detection model evaluation unit may calculate a fog area detection agreement rate based on the first area, the second area, and the third area.

본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템의 상기 검출모델 평가부는 하기 수학식 1을 이용하여 상기 안개영역 검출일치율을 산출할 수 있다.The detection model evaluation unit of the fog area detection and visibility distance calculation system according to an embodiment of the present invention can calculate the fog area detection agreement rate using Equation 1 below.

[수학식 1][Equation 1]

본 발명의 일 실시예에 따르면, 수집한 영상을 기초로 안개의 발생여부를 판단하고, 가시거리를 산출하여 제공하므로, 사용자의 의사결정에 활용될 수 있는 시스템을 제공하는 것을 목적으로 한다.According to one embodiment of the present invention, the purpose is to provide a system that can be used for user decision-making by determining whether fog has occurred based on collected images and calculating and providing a visibility distance.

또한, 본 발명의 일 실시예에 따르면 안개뿐만 아니라 다양한 저시정 상황(육상안개, 바다안개, 황사, 연기 등)에서 가시거리를 산출할 수 있어, 활용도가 높은 시스템을 제공할 수 있다.In addition, according to an embodiment of the present invention, the visibility distance can be calculated not only in fog but also in various low visibility situations (land fog, sea fog, yellow dust, smoke, etc.), thereby providing a highly usable system.

또한, 본 발명의 일 실시예에 따르면 학습된 모델의 성능을 면적을 기준으로 정확하게 평가할 수 있는 시스템을 제공할 수 있다.Additionally, according to an embodiment of the present invention, it is possible to provide a system that can accurately evaluate the performance of a learned model based on area.

또한, 본 발명의 일 실시예에 따르면 사용자가 가시거리 산출 과정을 이해하고 설명할 수 있으므로, 사용자 스스로 상황 및 환경에 따라 성능을 최적화하고, 가시거리 산출 결과를 사후적으로 분석할 수 있는 시스템을 제공할 수 있다.In addition, according to an embodiment of the present invention, the user can understand and explain the visible distance calculation process, so the user can optimize performance according to the situation and environment and analyze the visible distance calculation results after the fact. can be provided.

도 1은 본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템의 블록도를 예시적으로 도시한 것이다.
도 2a 내지 도 2d는 본 발명의 분석모듈이 원본영상을 기초로 가시거리를 산출하는 과정을 설명하기 위해 도시한 것이다.
도 3은 검출모델 평가부가 안개영역 검출모델의 성능을 평가하는 과정을 설명하기 위해 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템을 이용하여 가시거리를 산출한 결과를 예시적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템의 동작 과정을 예시적으로 도시한 흐름도이다.
Figure 1 exemplarily shows a block diagram of a fog area detection and visibility distance calculation system according to an embodiment of the present invention.
Figures 2a to 2d are shown to explain the process by which the analysis module of the present invention calculates the viewing distance based on the original image.
Figure 3 is a diagram to explain the process by which the detection model evaluation unit evaluates the performance of the fog area detection model.
Figure 4 exemplarily shows the results of calculating the visibility distance using the fog area detection and visibility distance calculation system according to an embodiment of the present invention.
Figure 5 is a flowchart illustrating the operation process of the fog area detection and visibility distance calculation system according to an embodiment of the present invention.

이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명한다. 도면들에 있어서, 구성요소들의 비율 및 치수는 기술적 내용의 효과적인 설명을 위해 과장된 것일 수 있다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the attached drawings. In the drawings, the proportions and dimensions of components may be exaggerated for effective explanation of technical content.

"포함하다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms such as "include" are intended to designate the presence of features, numbers, steps, operations, components, parts, or a combination thereof described in the specification, but do not include one or more other features, numbers, steps, operations, or configurations. It should be understood that this does not exclude in advance the possibility of the presence or addition of elements, parts, or combinations thereof.

또한, 어떤 구성요소 "상"으로 기재된 경우, 해당 구성요소의 위 또는 아래를 의미하고, 반드시 중력 방향을 기준으로 상측에 위치하는 것을 의미하는 것은 아니다.Additionally, when a component is described as “above” it means above or below the component, and does not necessarily mean that it is located above the direction of gravity.

또한, 어떤 구성요소가 다른 구성요소에 "연결" 또는 "결합"된다고 기재된 경우, 해당 구성요소가 다른 구성요소에 직접적으로 연결 또는 결합되는 경우뿐만 아니라, 해당 구성요소가 또 다른 구성요소를 통해 간접적으로 연결 또는 결합되는 경우도 포함할 수 있다.Additionally, when a component is described as being “connected” or “coupled” to another component, it does not only mean that the component is directly connected or coupled to the other component, but also indirectly through another component. It may also include cases where it is connected or combined.

또한, 어떤 구성요소를 설명하는데 있어서 제1, 제2 등의 용어를 사용할 수 있지만, 이러한 용어는 해당 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등을 한정하고자 하는 것은 아니다.In addition, terms such as first and second may be used to describe a certain component, but these terms are only used to distinguish the component from other components, and the essence or order of the component is determined by the term. It is not intended to limit the order or the like.

도 1은 본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템의 블록도를 예시적으로 도시한 것이다. 도 2a 내지 도 2d는 본 발명의 분석모듈이 원본영상을 기초로 가시거리를 산출하는 과정을 설명하기 위해 도시한 것이다.Figure 1 exemplarily shows a block diagram of a fog area detection and visibility distance calculation system according to an embodiment of the present invention. Figures 2a to 2d are shown to explain the process by which the analysis module of the present invention calculates the viewing distance based on the original image.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템(FVS)은 분석모듈(DM), 데이터셋 생성부(DG), 및 검출모델 평가부(VL)를 포함할 수 있다.Referring to Figures 1 and 2, the fog area detection and visibility range calculation system (FVS) according to an embodiment of the present invention includes an analysis module (DM), a dataset generation unit (DG), and a detection model evaluation unit (VL). ) may include.

분석모듈(DM)은 영상수집부(VR), 안개영역 검출부(FD), 및 가시거리 산출부(VC)를 포함할 수 있다. 분석모듈(DM)은 원본영상(AA)을 수집하여 안개영역(FS)을 검출하고, 이를 기초로 가시거리를 산출할 수 있다.The analysis module (DM) may include a video collection unit (VR), a fog area detection unit (FD), and a visible distance calculation unit (VC). The analysis module (DM) can collect the original image (AA), detect the fog area (FS), and calculate the visibility distance based on this.

영상수집부(VR)는 고정된 장소에 설치되어 원본영상(AA)을 수집할 수 있다. 영상수집부(VR)는 안개가 빈번하게 발생하는 지역을 촬영할 수 있는 CCTV, 카메라, 블랙박스 중 적어도 어느 하나일 수 있다. 단, 본 발명의 영상수집부(VR)가 이에 제한되는 것은 아니며, 특정 지역을 촬영할 수 있는 장치이면 충분하다. 또한, 영상수집부(VR)는 특정 지역을 촬영할 수 있는 장치이면 충분하므로, 본 발명의 안개영역 검출 및 가시거리 산출 시스템(FVS)은 저렴한 비용으로 구축 가능하다는 장점이 있다.The video collection unit (VR) is installed in a fixed location and can collect original video (AA). The video collection unit (VR) may be at least one of CCTV, a camera, and a black box that can capture images of areas where fog frequently occurs. However, the video collection unit (VR) of the present invention is not limited to this, and any device capable of filming a specific area is sufficient. In addition, since the image collection unit (VR) is sufficient as a device capable of filming a specific area, the fog area detection and visibility range calculation system (FVS) of the present invention has the advantage of being able to be built at a low cost.

영상수집부(VR)에서 수집된 원본영상(AA)은 해당 지역의 안개발생여부 및 가시거리를 실시간으로 산출하는데 활용될 수 있다. 영상수집부(VR)는 수집된 원본영상(AA)을 안개영역 검출부(FD)에 전달(도 2a 및 도 2b 참조)할 수 있다.The original video (AA) collected from the video collection unit (VR) can be used to calculate the presence of eye development and visibility in the area in real time. The image collection unit (VR) can transmit the collected original image (AA) to the fog area detection unit (FD) (see FIGS. 2A and 2B).

안개영역 검출부(FD)는 원본영상(AA)에서 안개영역(FS)을 검출(도 2a 및 도 2c 참조)할 수 있다. 이 과정에서, 안개영역 검출부(FD)는 안개영역 검출모델을 이용할 수 있다. 안개영역 검출모델은 인공지능 알고리즘을 기초로 사전에 학습된 것일 수 있다. 안개영역 검출부(FD)는 원본영상(AA)에 안개영역(FS)을 표시한 제1 영상(BB)을 가시거리 산출부(VC)에 전달할 수 있다.The fog area detection unit (FD) can detect the fog area (FS) in the original image (AA) (see FIGS. 2A and 2C). In this process, the fog area detection unit (FD) can use a fog area detection model. The fog area detection model may be learned in advance based on an artificial intelligence algorithm. The fog area detection unit (FD) may transmit the first image (BB), which displays the fog area (FS) in the original image (AA), to the visible distance calculation unit (VC).

본 발명의 일 실시예에서, 상기 인공지능 알고리즘은 YOLO(You Only Look Once) 알고리즘, R-CNN 알고리즘, Mask R-CNN 알고리즘, 및 트랜스포머(Transformer) 알고리즘 중 적어도 어느 하나일 수 있다. YOLO(You Only Look Once) 알고리즘은 이미지나 비디오에서 객체를 분류하는데 사용되는 딥러닝 알고리즘이다. Mask R-CNN 알고리즘은 Faster R-CNN 알고리즘을 기반으로 하며, 객체 검출 및 세분화를 수행하는 딥러닝 알고리즘이다. 상술한 알고리즘들은 주지의 기술이므로, 자세한 설명은 생략한다.In one embodiment of the present invention, the artificial intelligence algorithm may be at least one of the You Only Look Once (YOLO) algorithm, the R-CNN algorithm, the Mask R-CNN algorithm, and the Transformer algorithm. The YOLO (You Only Look Once) algorithm is a deep learning algorithm used to classify objects in images or videos. The Mask R-CNN algorithm is based on the Faster R-CNN algorithm and is a deep learning algorithm that performs object detection and segmentation. Since the above-described algorithms are well-known techniques, detailed descriptions are omitted.

가시거리 산출부(VC)는 안개영역 검출부(FD)에서 전달받은 제1 영상(BB)에 복수의 기준거리선들(SL)을 표시하여, 제2 영상(CC)을 생성할 수 있다. 가시거리 산출부(VC)는 제2 영상(CC)을 기초로, 복수의 기준거리선들(SL) 각각이 안개영역(FS)에 포함되는지 여부에 따라, 가시거리를 산출(도 2a 및 도 2d 참조)할 수 있다.The visibility distance calculation unit (VC) may display a plurality of reference distance lines (SL) on the first image (BB) received from the fog area detection unit (FD) to generate the second image (CC). The visibility distance calculation unit (VC) calculates the visibility distance based on the second image (CC) depending on whether each of the plurality of reference distance lines (SL) is included in the fog area (FS) (FIGS. 2A and 2D reference) can be done.

복수의 기준거리선들(SL) 각각은, 영상수집부(VR)를 기준으로 기준거리만큼 떨어진 지점들을 원본영상(AA) 상에 표시한 선으로 정의된다. 복수의 기준거리선들(SL) 각각은 사전에 확보된 것일 수 있다. Each of the plurality of reference distance lines (SL) is defined as a line marking points on the original image (AA) that are separated by the reference distance from the image collection unit (VR). Each of the plurality of reference distance lines (SL) may be secured in advance.

본 발명에서 복수의 기준거리선들(SL) 각각은 원본영상(AA)과 기준거리 사이의 상관관계를 정의하는 비선형함수를 추정함으로써 사전에 확보될 수 있다. 이를 위해 영상수집부(VR)의 설치 위치, 높이, 및 방향 등이 사전에 조사될 수 있다.In the present invention, each of the plurality of reference distance lines (SL) can be secured in advance by estimating a non-linear function that defines the correlation between the original image (AA) and the reference distance. For this purpose, the installation location, height, and direction of the video collection unit (VR) can be investigated in advance.

이하, 본 발명의 이해를 위해 비선형함수를 추정하는 방법을 간단히 설명한다. 우선, 원본영상(AA)의 픽셀들 각각에 2차원 좌표(x, y) 부여한다. 이후, 레이저 거리 측정기를 이용하여 영상수집부(VR)에서 해당 좌표에 대응되는 지점까지의 이격거리를 수집한다. 수집한 이격거리를 기초로, 원본영상(AA)의 복수의 세로선(y축)들 각각에 대해, y좌표값과 상술한 이격거리의 상관관계를 정의하는 복수의 비선형 함수들을 추정한다. 상술한 복수의 비선형 함수들을 이용하여, 원본영상(AA)에 기준거리선을 표시할 수 있다.Hereinafter, a method for estimating a nonlinear function will be briefly described for understanding of the present invention. First, two-dimensional coordinates (x, y) are assigned to each pixel of the original image (AA). Afterwards, the distance from the video collection unit (VR) to the point corresponding to the coordinates is collected using a laser distance measuring device. Based on the collected separation distance, a plurality of non-linear functions defining the correlation between the y-coordinate value and the above-mentioned separation distance are estimated for each of the plurality of vertical lines (y-axis) of the original image (AA). A reference distance line can be displayed on the original image (AA) using the plurality of nonlinear functions described above.

이하, 가시거리 산출부(VC)가 기준거리선들(SL)을 이용하여, 가시거리를 산출하는 과정을 도 2d를 참조하여 설명한다.Hereinafter, the process by which the visibility distance calculation unit (VC) calculates the visibility distance using the reference distance lines (SL) will be described with reference to FIG. 2D.

가시거리 산출부(VC)는 안개영역(FS)이 제1 기준거리선(SL1), 제2 기준거리선(SL2), 및 제3 기준거리선(SL3) 각각을 포함하는지 여부에 따라, 가시거리를 판단할 수 있다. The visibility distance calculation unit (VC) determines the visibility according to whether the fog area (FS) includes each of the first reference distance line (SL1), the second reference distance line (SL2), and the third reference distance line (SL3). Distance can be judged.

제1 기준거리선(SL1), 제2 기준거리선(SL2), 및 제3 기준거리선(SL3) 각각은 상술한 복수의 기준거리선들(SL) 중 어느 하나일 수 있다. 제1 기준거리는 제1 기준거리선(SL1)에 대응되는 기준거리이다. 제2 기준거리는 제2 기준거리선(SL2)에 대응되는 기준거리이다. 제3 기준거리는 제3 기준거리선(SL3)에 대응되는 기준거리이다. 제1 기준거리는 제2 기준거리보다 길고, 제2 기준거리는 제3 기준거리보다 길 수 있다. 도 2d에서 제1 기준거리는 1000m, 제2 기준거리는 500m, 제3 기준거리는 200m일 수 있다. 단, 상술한 설명은 예시일 뿐 본 발명의 제1 기준거리선(SL1), 제2 기준거리선(SL2), 및 제3 기준거리선(SL3) 각각의 기준거리가 이에 제한되는 것은 아니다.Each of the first reference distance line SL1, the second reference distance line SL2, and the third reference distance line SL3 may be one of the plurality of reference distance lines SL described above. The first reference distance is a reference distance corresponding to the first reference distance line SL1. The second reference distance is a reference distance corresponding to the second reference distance line (SL2). The third reference distance is a reference distance corresponding to the third reference distance line SL3. The first reference distance may be longer than the second reference distance, and the second reference distance may be longer than the third reference distance. In FIG. 2D, the first reference distance may be 1000m, the second reference distance may be 500m, and the third reference distance may be 200m. However, the above description is only an example and the reference distances of each of the first reference distance line (SL1), the second reference distance line (SL2), and the third reference distance line (SL3) of the present invention are not limited thereto.

제1 기준거리선(SL1) 및 제2 기준거리선(SL2)이 안개영역(FS)에 포함되지 않는 경우, 가시거리 산출부(VC)는 가시거리가 제1 기준거리 보다 긴 것으로 판단할 수 있다.If the first reference distance line (SL1) and the second reference distance line (SL2) are not included in the fog area (FS), the visibility distance calculation unit (VC) may determine that the visibility distance is longer than the first reference distance. there is.

제1 기준거리선(SL1) 및 제2 기준거리선(SL2) 중 제1 기준거리선(SL1)만이 안개영역(FS)에 포함되는 경우, 가시거리 산출부(VC)는 가시거리가 제2 기준거리보다 길고 제1 기준거리 보다 짧은 것으로 판단할 수 있다.When only the first standard distance line (SL1) of the first standard distance line (SL1) and the second standard distance line (SL2) is included in the fog area (FS), the visibility distance calculation unit (VC) determines that the visibility distance is the second standard distance line (SL1). It can be judged to be longer than the reference distance and shorter than the first reference distance.

제1 기준거리선(SL1) 및 제2 기준거리선(SL2)이 안개영역(FS)에 포함되는 경우, 가시거리 산출부(VC)는 가시거리가 제2 기준거리보다 짧은 것으로 판단할 수 있다.When the first reference distance line (SL1) and the second reference distance line (SL2) are included in the fog area (FS), the visibility distance calculation unit (VC) may determine that the visibility distance is shorter than the second reference distance. .

도 2d를 참조하면, 제1 기준거리선(SL1), 제2 기준거리선(SL2), 및 제3 기준거리선(SL3) 중 제2 기준거리선(SL2) 및 제3 기준거리선(SL3)이 상술한 안개영역(FS)에 포함된다. 이에, 가시거리 산출부(VC)는 상술한 과정을 통해 가시거리가 제3 기준거리 보다 길고 제2 기준거리 보다 짧다고 판단할 수 있다. 본 발명의 일 실시예에서, 제1 기준거리선(SL1)의 기준거리는 1,000m이고, 제2 기준거리선(SL2)의 기준거리는 500m이며, 제3 기준거리선(SL3)의 기준거리는 200m일 수 있다. 따라서, 가시거리 산출부(VC)는 최종적으로 가시거리가 200m 이상 500m 이하라고 판단할 수 있다. 더 많은 수의 기준거리선들(SL)을 도입함으로써, 가시거리 산출부(VC)가 가시거리를 더욱 정확하게 산출할 수 있다.Referring to FIG. 2D, among the first standard distance line (SL1), the second standard distance line (SL2), and the third standard distance line (SL3), the second standard distance line (SL2) and the third standard distance line (SL3) ) is included in the above-mentioned fog area (FS). Accordingly, the visibility distance calculation unit (VC) may determine that the visibility distance is longer than the third reference distance and shorter than the second reference distance through the above-described process. In one embodiment of the present invention, the reference distance of the first reference distance line (SL1) is 1,000 m, the reference distance of the second reference distance line (SL2) is 500 m, and the reference distance of the third reference distance line (SL3) is 200 m. You can. Therefore, the visibility distance calculation unit (VC) can ultimately determine that the visibility distance is 200 m or more and 500 m or less. By introducing a greater number of reference distance lines (SL), the visibility distance calculation unit (VC) can calculate the visibility distance more accurately.

데이터셋 생성부(DG)는 안개영역 검출모델의 학습 및 평가를 위한 데이터셋을 생성할 수 있다. 데이터셋 생성부(DG)는 사전에 수집된 복수의 제1 영상들 중 복수의 제2 영상들을 선별할 수 있다. 제1 영상들은 본 발명의 안개영역 검출모델의 학습 및 평가를 목적으로 사전에 수집된 영상들일 수 있다. 구체적으로, 제1 영상들은 항구, 바닷가 등에서 수집한 영상들 중 시정(Visibility이 확보되지 않는 지점이 존재하는 데이터만을 선별한 것이다. The dataset generator (DG) can create a dataset for learning and evaluating the fog area detection model. The dataset generator DG may select a plurality of second images from a plurality of first images collected in advance. The first images may be images collected in advance for the purpose of learning and evaluating the fog area detection model of the present invention. Specifically, the first images are selected from images collected from ports, beaches, etc., only data where there are points where visibility is not secured.

이후, 데이터셋 생성부(DG)는 복수의 제2 영상들 각각에 대해 어노테이션(Annotation)을 수행하여 메타데이터를 생성할 수 있다. 본 발명의 일 실시예에서, 데이터셋 생성부(DG)는 생략될 수 있다.Thereafter, the dataset generator DG may generate metadata by performing annotation on each of the plurality of second images. In one embodiment of the present invention, the dataset generator (DG) may be omitted.

본 발명의 일 실시예에서, 복수의 제2영상들 각각에서 안개로 분류되는 객체의 면적이 전체면적의 50% 이상 99.9%이하일 수 있다. 즉, 데이터셋 생성부(DG)는 사전에 수집된 복수의 제1 영상들 중 안개로 분류되는 객체의 면적이 전체면적의 50% 이상 99.9%이하인 복수의 제2 영상들을 선별할 수 있다. 이를 통해, 안개영역 검출모델의 학습 및 평가를 위한 양질의 데이터셋을 생성할 수 있다. 또한, 데이터셋 생성부(DG)는 안개로 분류되는 객체의 면적이 전체면적의 50% 이상 99.9%이하인 영상들 만을 선별하여 데이터셋으로 활용하므로, 데이터셋이 빠르게 확보될 수 있다.In one embodiment of the present invention, the area of the object classified as fog in each of the plurality of second images may be 50% or more and 99.9% or less of the total area. That is, the dataset generator DG may select a plurality of second images in which the area of an object classified as fog is 50% to 99.9% of the total area from among the plurality of first images collected in advance. Through this, it is possible to create a high-quality dataset for learning and evaluating the fog area detection model. In addition, the dataset generator (DG) selects only images where the area of an object classified as fog is 50% to 99.9% of the total area and uses them as a dataset, so the dataset can be secured quickly.

본 발명의 일 실시예에서, 메타데이터는 바운딩박스(Bounding Box), 폴리곤(Polygon), 시맨틱 세그멘테이션(Semantic Segmentation), 및 폴리라인(Polyline) 중 적어도 어느 하나일 수 있다.In one embodiment of the present invention, metadata may be at least one of a bounding box, polygon, semantic segmentation, and polyline.

본 발명의 일 실시예에서, 데이터셋 생성부(DG)는 메타데이터를 생성하는 과정에서, 복수의 제2 영상들 각각에서 안개에 대해서만 어노테이션을 수행할 수 있다. 즉, 데이터셋 생성부(DG)는 안개 이외의 객체를 제외하고 안개에 대해서만 어노테이션을 수행하므로, 데이터셋이 빠르게 확보될 수 있다.In one embodiment of the present invention, the dataset generator (DG) may perform annotation only for fog in each of the plurality of second images in the process of generating metadata. In other words, the dataset generator (DG) performs annotation only on fog, excluding objects other than fog, so the dataset can be secured quickly.

데이터셋은 복수의 제2 영상들 및 복수의 제2 영상들 각각에 대응되는 메타데이터를 포함할 수 있다. 데이터셋은 학습-데이터셋 및 테스트-데이터셋으로 구분될 수 있다. 학습-데이터셋은 안개영역 검출모델을 학습시키기 위한 데이터셋일 수 있다. 테스트-데이터셋은 안개영역 검출모델의 성능을 평가하기 위한 데이터셋으로, 안개영역 검출모델을 학습에는 활용되지 않는다. 안개영역 검출모델의 성능을 평가하는 과정에 대해서는 후술한다.The dataset may include a plurality of second images and metadata corresponding to each of the plurality of second images. Datasets can be divided into training-datasets and test-datasets. The learning-dataset may be a dataset for training a fog area detection model. The test-dataset is a dataset to evaluate the performance of the fog area detection model, and is not used to learn the fog area detection model. The process of evaluating the performance of the fog area detection model will be described later.

본 발명의 일 실시에에 따른 안개영역 검출 및 가시거리 산출 시스템(FVS)에서, 안개영역 검출모델의 학습에 이용되는 인공지능 알고리즘은 YOLO(You Only Look Once) 알고리즘일 수 있다. 또한, 데이터셋 생성부(DG)는 메타데이터를 생성하는 과정에서, Label Smoothing 기법을 이용할 수 있다. In the fog area detection and visibility range calculation system (FVS) according to an embodiment of the present invention, the artificial intelligence algorithm used to learn the fog area detection model may be the YOLO (You Only Look Once) algorithm. Additionally, the dataset generator (DG) can use the Label Smoothing technique in the process of generating metadata.

YOLO 알고리즘은 영상에서 객체를 식별하고 그 결과로 바운딩 박스(Bounding Box)를 메타데이터로 생성하기 위한 인공지능 알고리즘이다. 본 발명의 식별 대상 객체는 안개, 즉 비정형 물체이므로 폴리곤(Polygon) 형태의 메타데이터를 생성하는 것이 바람직하다. 따라서, 본 발명의 일 실시에에 따른 안개영역 검출 및 가시거리 산출 시스템(FVS)에서 YOLO 알고리즘이 사용되는 경우, 데이터셋 생성부(DG)는 Label Smoothing 기법을 이용하여 폴리곤 형태의 메타데이터를 생성하는 것이 바람직하다.The YOLO algorithm is an artificial intelligence algorithm for identifying objects in images and generating bounding boxes as metadata as a result. Since the object to be identified in the present invention is fog, that is, an atypical object, it is desirable to generate metadata in the form of a polygon. Therefore, when the YOLO algorithm is used in the fog area detection and visibility range calculation system (FVS) according to an embodiment of the present invention, the dataset generator (DG) generates polygon-shaped metadata using the label smoothing technique. It is desirable to do so.

Label Smoothing이란, 인공지능 모델이 일반화되도록 하기 위한 기술 중 하나이다. 구체적으로, Label Smoothing은 모델의 손실 함수에 사용되는 클래스 레이블을 부드러운 확률값으로 변환하는 것을 말한다. Label Smoothing은 인공지능 모델이 과도하게 특정 클래스에 치우치는 현상을 줄이고, 모든 클래스를 동등하게 고려하도록 유도할 수 있다.Label Smoothing is one of the technologies for making artificial intelligence models general. Specifically, label smoothing refers to converting the class label used in the model's loss function into a smooth probability value. Label Smoothing can reduce the phenomenon of artificial intelligence models being excessively biased toward specific classes and encourage them to consider all classes equally.

본 발명의 일 실시에에 따른 안개영역 검출 및 가시거리 산출 시스템(FVS)에서, 안개영역 검출모델의 학습에 이용되는 인공지능 알고리즘은 Mask R-CNN 알고리즘이고, 메타데이터는 폴리곤(Polygon)일 수 있다. 예를 들어, MASK R-CNN의 backbone은 ResNet-101-FPN 또는 ResNeXt-101-FPN 중 적어도 어느 하나일 수 있다. 단, 본 발명에서 사용되는 MASK R-CNN의 backbone이 이에 제한되는 것은 아니다.In the fog area detection and visibility range calculation system (FVS) according to an embodiment of the present invention, the artificial intelligence algorithm used to learn the fog area detection model is the Mask R-CNN algorithm, and the metadata can be a polygon. there is. For example, the backbone of MASK R-CNN may be at least one of ResNet-101-FPN or ResNeXt-101-FPN. However, the backbone of MASK R-CNN used in the present invention is not limited to this.

도 3은 검출모델 평가부(VL)가 안개영역 검출모델의 성능을 평가하는 과정을 설명하기 위해 도시한 것이다. 이하, 도 3을 참조하여 설명한다.Figure 3 is a diagram to explain the process by which the detection model evaluation unit (VL) evaluates the performance of the fog area detection model. Hereinafter, it will be described with reference to FIG. 3.

검출모델 평가부(VL)는 테스트-데이터셋을 기초로 안개영역 검출일치율을 산출할 수 있다. 검출모델 평가부(VL)는 안개영역 검출일치율을 기초로 안개영역 검출모델의 성능을 평가할 수 있다. 안개영역 검출일치율의 단위는 %이며, 100%에 가까울수록 안개영역 검출모델의 성능이 높은 것으로 판단될 수 있다. 반면, 안개영역 검출일치율이 100%보다 작을수록 안개영역 검출모델의 성능이 낮은 것으로 판단될 수 있다. 본 발명의 일 실시예에서, 검출모델 평가부(VL)는 생략될 수 있다.The detection model evaluation unit (VL) can calculate the fog area detection agreement rate based on the test-data set. The detection model evaluation unit (VL) can evaluate the performance of the fog area detection model based on the fog area detection agreement rate. The unit of fog area detection agreement rate is %, and the closer it is to 100%, the higher the performance of the fog area detection model can be judged to be. On the other hand, as the fog area detection agreement rate is less than 100%, the performance of the fog area detection model may be judged to be lower. In one embodiment of the present invention, the detection model evaluation unit (VL) may be omitted.

본 발명의 안개영역 검출모델은 (객체의 종류를 분류하는 것을 목적으로 하는)종래의 기술들과 달리, 비정형 물체(안개)가 분포되어 있는 영역(안개영역(FS))을 검출하는 목적으로 한다. 따라서, 안개영역 검출모델의 성능을 평가하기 위해서는, 테스트-데이터셋에 대한 데이터셋 생성부(DG)의 어노테이션 결과와 안개영역 검출모델의 검출 결과를 비교해야 한다. 이하, 상술한 과정을 자세히 설명한다.Unlike conventional techniques (which aim to classify types of objects), the fog area detection model of the present invention aims to detect an area (fog area (FS)) where atypical objects (fog) are distributed. . Therefore, in order to evaluate the performance of the fog area detection model, the annotation results of the dataset generator (DG) for the test-dataset and the detection results of the fog area detection model must be compared. Hereinafter, the above-described process will be described in detail.

테스트-데이터셋은 복수의 제2 영상들 중 일부인 복수의 제3 영상들 및 제3 영상들 각각에 대응되는 메타데이터를 포함할 수 있다. 테스트-데이터셋은 안개영역 검출모델의 성능을 평가하기 위한 데이터셋일 수 있다.The test-dataset may include a plurality of third images that are part of the plurality of second images and metadata corresponding to each of the third images. The test-dataset may be a dataset for evaluating the performance of the fog area detection model.

제1 영역(AR1)은 데이터셋 생성부(DG)가 제3 영상에 대해 어노테이션을 수행하여 안개영역(FS)으로 분류한 영역으로 정의된다. 제1 면적은 제1 영역(AR1)의 면적으로 정의된다.The first area (AR1) is defined as an area that the dataset generator (DG) annotated on the third image and classified as a fog area (FS). The first area is defined as the area of the first area AR1.

제2 영역(AR2)은 안개영역 검출모델이 제3 영상에서 안개영역으로 검출한 영역으로 정의된다. 제2 면적은 제2 영역(AR2)의 면적으로 정의된다.The second area AR2 is defined as an area detected as a fog area in the third image by the fog area detection model. The second area is defined as the area of the second area AR2.

제3 영역은 제1 영역(AR1)과 제2 영역(AR2)이 중첩되는 영역으로 정의된다. 제3 면적은 제3 영역의 면적으로 정의된다.The third area is defined as an area where the first area AR1 and the second area AR2 overlap. The third area is defined as the area of the third region.

검출모델 평가부(VL)는 제1 면적, 제2 면적, 및 제3 면적을 기초로 안개영역 검출일치율을 산출할 수 있다.The detection model evaluation unit (VL) may calculate the fog area detection agreement rate based on the first area, second area, and third area.

본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템(FVS)에서, 검출모델 평가부(VL)는 하기 수학식 1을 이용하여 안개영역 검출일치율을 산출할 수 있다. 수학식 1을 이용하면, 제1 영역(AR1)이 제2 영역(AR2) 보다 큰 경우 뿐만 아니라, 작은 경우까지 반영하여 안개영역 검출모델의 성능을 평가할 수 있다.In the fog area detection and visibility range calculation system (FVS) according to an embodiment of the present invention, the detection model evaluation unit (VL) can calculate the fog area detection coincidence rate using Equation 1 below. Using Equation 1, the performance of the fog area detection model can be evaluated by reflecting not only the case where the first area AR1 is larger than the second area AR2 but also the case where the first area AR1 is smaller than the second area AR2.

[수학식 1][Equation 1]

도 4는 본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템(FVS)를 이용하여 가시거리를 산출한 결과를 예시적으로 도시한 것이다.Figure 4 exemplarily shows the results of calculating the visibility distance using a fog area detection and visibility distance calculation system (FVS) according to an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따른 안개영역 검출 및 가시거리 산출 시스템(FVS)의 동작 과정을 예시적으로 도시한 흐름도(Flow chart)이다.Figure 5 is a flow chart illustrating the operation process of the fog area detection and visibility range calculation system (FVS) according to an embodiment of the present invention.

도 5를 참조하여, 본 발명의 안개영역 검출 및 가시거리 산출 시스템(FVS)이 동작하는 과정을 간략하게 설명한다. 우선 안개영역 검출부(FD)는 원본영상(AA)에서 안개영역(FS)을 검출할 수 있다. 가시거리 산출부(VC)는 복수의 기준거리선들(SL1, SL2, SL3) 각각이 안개영역(FS)에 포함되는지 여부에 따라 가시거리를 판단할 수 있다. 구체적으로, 가시거리 산출부(VC)는 안개영역(FS)을 제1 기준거리선(SL1), 제2 기준거리선(SL2), 및 제3 기준거리선(SL3)과 순차적으로 비교하여 가시거리를 판단할 수 있다.Referring to FIG. 5, the operation process of the fog area detection and visibility range calculation system (FVS) of the present invention will be briefly described. First, the fog area detection unit (FD) can detect the fog area (FS) in the original image (AA). The visibility distance calculation unit VC may determine the visibility depending on whether each of the plurality of reference distance lines SL1, SL2, and SL3 is included in the fog area FS. Specifically, the visibility distance calculation unit (VC) sequentially compares the fog area (FS) with the first reference distance line (SL1), the second reference distance line (SL2), and the third reference distance line (SL3) to provide visibility. Distance can be judged.

예를 들어, 제1 기준거리선(SL1)이 안개영역(FS)에 포함되지 않는 경우, 가시거리 산출부(VC)는 가시거리가 1Km 보다 길다고 판단할 수 있다. 제1 기준거리선(SL1)은 안개영역(FS)에 포함되고, 제2 기준거리선(SL2)은 안개영역(FS)에 포함되지 않는 경우, 가시거리 산출부(VC)는 가시거리가 500m 보다 길고 1Km 보다 짧다고 판단할 수 있다. 제1 기준거리선(SL1) 및 제2 기준거리선(SL2)이 안개영역(FS)에 포함되고, 제3 기준거리선(SL3)이 안개영역(FS)에 포함되지 않는 경우, 가시거리 산출부(VC)는 가시거리가 100m 보다 길고 500m 보다 짧다고 판단할 수 있다. 제1 기준거리선(SL1), 제2 기준거리선(SL2), 및 제3 기준거리선(SL3)이 안개영역(FS)에 포함되는 경우, 가시거리 산출부(VC)는 가시거리가 100m 보다 짧다고 판단할 수 있다.For example, when the first reference distance line SL1 is not included in the fog area FS, the visibility distance calculation unit VC may determine that the visibility distance is longer than 1 km. When the first reference distance line (SL1) is included in the fog area (FS) and the second reference distance line (SL2) is not included in the fog area (FS), the visibility distance calculation unit (VC) determines that the visibility distance is 500m. It can be judged to be longer than 1Km and shorter than 1Km. When the first reference distance line (SL1) and the second reference distance line (SL2) are included in the fog area (FS), and the third reference distance line (SL3) is not included in the fog area (FS), the visibility distance is calculated. VC can be judged to have a visibility longer than 100m and shorter than 500m. When the first reference distance line (SL1), the second reference distance line (SL2), and the third reference distance line (SL3) are included in the fog area (FS), the visibility distance calculation unit (VC) determines that the visibility distance is 100 m. It can be judged to be shorter.

실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 또한 본 발명에 개시된 실시 예는 본 발명의 기술 사상을 한정하기 위한 것이 아니고, 하기의 특허 청구의 범위 및 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the description has been made with reference to examples, those skilled in the art will understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention as set forth in the following patent claims. There will be. In addition, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, and all technical ideas within the scope of the following patent claims and equivalents should be construed as being included in the scope of the present invention. .

FVS: 안개영역 검출 및 가시거리 산출 시스템
DM: 분석모듈 VR: 영상수집부
VR: 안개영역 검출부 VC: 가시거리 산출부
DG: 데이터셋 생성부 VL: 검출모델 평가부
FS: 안개영역 SL: 기준거리선
FVS: Fog area detection and visibility range calculation system
DM: Analysis module VR: Video collection department
VR: Fog area detection unit VC: Visible distance calculation unit
DG: Dataset creation unit VL: Detection model evaluation unit
FS: Fog area SL: Base distance line

Claims (10)

고정된 장소에 설치되어 원본영상을 수집하는 영상수집부;
인공지능 알고리즘을 기초로 사전에 학습된 안개영역 검출모델을 이용하여, 상기 원본영상에서 안개영역을 검출하는 안개영역 검출부; 및
복수의 기준거리선들 각각은 상기 영상수집부를 기준으로 기준거리만큼 떨어진 지점들을 상기 원본영상 상에 표시한 선으로 정의되고, 상기 복수의 기준거리선들 각각이 상기 안개영역에 포함되는지 여부에 따라 가시거리를 산출하는 가시거리 산출부를 포함하고,
제1 기준거리선 및 제2 기준거리선 각각은 상기 복수의 기준거리선들 중 어느 하나이고, 상기 제1 기준거리선에 대응되는 기준거리인 제1 기준거리는 상기 제2 기준거리선에 대응되는 기준거리인 제2 기준거리 보다 길며,
상기 가시거리 산출부는,
상기 제1 기준거리선 및 상기 제2 기준거리선이 상기 안개영역에 포함되지 않는 경우 상기 가시거리가 상기 제1 기준거리 보다 긴 것으로 판단하고,
상기 제1 기준거리선 및 상기 제2 기준거리선 중 상기 제1 기준거리선만이 상기 안개영역에 포함되는 경우 상기 가시거리가 상기 제2 기준거리보다 길고 상기 제1 기준거리 보다 짧은 것으로 판단하며,
상기 제1 기준거리선 및 상기 제2 기준거리선이 상기 안개영역에 포함되는 경우 상기 가시거리가 상기 제2 기준거리보다 짧은 것으로 판단하고,
상기 인공지능 알고리즘은 YOLO(You Only Look Once) 알고리즘, R-CNN 알고리즘, Mask R-CNN 알고리즘, 및 트랜스포머(Transformer) 알고리즘 중 적어도 어느 하나이며,
상기 안개영역 검출모델의 학습 및 평가를 위한 데이터셋을 생성하는 데이터셋 생성부를 더 포함하고,
상기 데이터셋 생성부는 사전에 수집된 복수의 제1 영상들 중 복수의 제2 영상들을 선별하며, 상기 복수의 제2 영상들 각각에 대해 어노테이션(Annotation)을 수행하여 메타데이터를 생성하고,
상기 데이터셋은 상기 복수의 제2 영상들 및 상기 복수의 제2 영상들 각각에 대응되는 메타데이터를 포함하며,
상기 데이터셋은 상기 안개영역 검출모델을 학습시키기 위한 학습-데이터셋 및 상기 안개영역 검출모델의 성능을 평가하기 위한 테스트-데이터셋으로 구분되고,
상기 테스트-데이터셋을 기초로 안개영역 검출일치율을 산출하고, 상기 안개영역 검출일치율을 기초로 상기 안개영역 검출모델의 성능을 평가하는 검출모델 평가부를 더 포함하고,
상기 테스트-데이터셋은 상기 복수의 제2 영상들 중 일부인 복수의 제3 영상들 및 상기 제3 영상들 각각에 대응되는 메타데이터를 포함하고,
상기 데이터셋 생성부가 상기 제3 영상에 대해 어노테이션을 수행하여 안개영역으로 분류한 제1 영역의 면적은 제1 면적으로 정의되며,
상기 안개영역 검출부의 상기 안개영역 검출모델이 상기 제3 영상에서 안개영역으로 검출한 제2 영역의 면적은 제2 면적으로 정의되고,
상기 제1 영역과 상기 제2 영역이 중첩되는 제3 영역의 면적이 제3 면적으로 정의되고,
상기 검출모델 평가부는 상기 제1 면적, 상기 제2 면적, 및 상기 제3 면적을 기초로 안개영역 검출일치율을 산출하는 안개영역 검출 및 가시거리 산출 시스템.
A video collection unit installed at a fixed location to collect original video;
a fog area detection unit that detects a fog area in the original image using a fog area detection model learned in advance based on an artificial intelligence algorithm; and
Each of the plurality of reference distance lines is defined as a line marking points on the original image that are separated by a reference distance from the image collection unit, and the visibility distance depends on whether each of the plurality of reference distance lines is included in the fog area. It includes a visible distance calculation unit that calculates,
Each of the first reference distance line and the second reference distance line is one of the plurality of reference distance lines, and the first reference distance, which is a reference distance corresponding to the first reference distance line, is a reference distance corresponding to the second reference distance line. It is longer than the second reference distance, which is the distance,
The visible distance calculation unit,
When the first reference distance line and the second reference distance line are not included in the fog area, it is determined that the visibility distance is longer than the first reference distance,
When only the first reference distance line among the first reference distance line and the second reference distance line is included in the fog area, the visibility distance is determined to be longer than the second reference distance and shorter than the first reference distance; ,
When the first reference distance line and the second reference distance line are included in the fog area, it is determined that the visibility distance is shorter than the second reference distance,
The artificial intelligence algorithm is at least one of the YOLO (You Only Look Once) algorithm, the R-CNN algorithm, the Mask R-CNN algorithm, and the Transformer algorithm,
It further includes a dataset generator that generates a dataset for learning and evaluating the fog area detection model,
The dataset generator selects a plurality of second images from a plurality of first images collected in advance, and generates metadata by performing annotation on each of the plurality of second images,
The dataset includes the plurality of second images and metadata corresponding to each of the plurality of second images,
The dataset is divided into a learning-dataset for training the fog area detection model and a test-dataset for evaluating the performance of the fog area detection model,
It further includes a detection model evaluation unit that calculates a fog area detection agreement rate based on the test-data set and evaluates the performance of the fog area detection model based on the fog area detection agreement rate,
The test-dataset includes a plurality of third images that are part of the plurality of second images and metadata corresponding to each of the third images,
The area of the first area classified as a fog area by the dataset generator annotating the third image is defined as the first area,
The area of the second area detected by the fog area detection model of the fog area detection unit as a fog area in the third image is defined as the second area,
The area of the third area where the first area and the second area overlap is defined as the third area,
A fog area detection and visibility distance calculation system wherein the detection model evaluation unit calculates a fog area detection agreement rate based on the first area, the second area, and the third area.
삭제delete 삭제delete 제1 항에 있어서,
상기 데이터셋 생성부에서 생성되는 상기 메타데이터는 바운딩박스(Bounding Box), 폴리곤(Polygon), 시맨틱 세그멘테이션(Semantic Segmentation), 및 폴리라인(Polyline) 중 적어도 어느 하나인 안개영역 검출 및 가시거리 산출 시스템.
According to claim 1,
The metadata generated by the dataset generator is at least one of a bounding box, polygon, semantic segmentation, and polyline. Fog area detection and visibility range calculation system .
제4 항에 있어서,
상기 복수의 제2영상들 각각에서 안개로 분류되는 객체의 면적이 전체면적의 50% 이상 99.9% 이하인 안개영역 검출 및 가시거리 산출 시스템.
According to clause 4,
A fog area detection and visibility distance calculation system in which the area of an object classified as fog in each of the plurality of second images is 50% to 99.9% of the total area.
제4 항에 있어서,
상기 데이터셋 생성부는 상기 메타데이터를 생성하는 과정에서, 상기 복수의 제2 영상들 각각에서 안개에 대해서만 어노테이션을 수행하는 안개영역 검출 및 가시거리 산출 시스템.
According to clause 4,
A fog area detection and visibility distance calculation system in which the dataset generator annotates only fog in each of the plurality of second images in the process of generating the metadata.
제4 항에 있어서,
상기 인공지능 알고리즘은 YOLO(You Only Look Once) 알고리즘이고,
상기 데이터셋 생성부는 상기 메타데이터를 생성하는 과정에서 Label Smoothing 기법을 이용하는 안개영역 검출 및 가시거리 산출 시스템.
According to clause 4,
The artificial intelligence algorithm is the YOLO (You Only Look Once) algorithm,
The dataset generator is a fog area detection and visibility distance calculation system that uses a label smoothing technique in the process of generating the metadata.
제4 항에 있어서,
상기 인공지능 알고리즘은 Mask R-CNN 알고리즘이고, 상기 메타데이터는 폴리곤(Polygon)인 안개영역 검출 및 가시거리 산출 시스템.
According to clause 4,
The artificial intelligence algorithm is the Mask R-CNN algorithm, and the metadata is a polygon. Fog area detection and visibility distance calculation system.
삭제delete 제1 항에 있어서,
상기 검출모델 평가부는 하기 수학식 1을 이용하여 상기 안개영역 검출일치율을 산출하는 안개영역 검출 및 가시거리 산출 시스템.
[수학식 1]
According to claim 1,
A fog area detection and visibility distance calculation system in which the detection model evaluation unit calculates the fog area detection agreement rate using Equation 1 below.
[Equation 1]
KR1020230075404A 2023-06-13 2023-06-13 Image-based fog area detection and visibility calculation system KR102599330B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230075404A KR102599330B1 (en) 2023-06-13 2023-06-13 Image-based fog area detection and visibility calculation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230075404A KR102599330B1 (en) 2023-06-13 2023-06-13 Image-based fog area detection and visibility calculation system

Publications (1)

Publication Number Publication Date
KR102599330B1 true KR102599330B1 (en) 2023-11-08

Family

ID=88746059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230075404A KR102599330B1 (en) 2023-06-13 2023-06-13 Image-based fog area detection and visibility calculation system

Country Status (1)

Country Link
KR (1) KR102599330B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748524B1 (en) * 2016-01-26 2017-06-27 (주)스마트테크놀로지 Apparatus and method for fog detection using visibility estimation
KR102267517B1 (en) * 2020-07-22 2021-06-22 재단법인 서울특별시 서울기술연구원 Road fog detecting appartus and method using thereof
KR20220155559A (en) * 2018-09-04 2022-11-23 씨드로닉스(주) Autonomous navigation method using image segmentation
KR102514531B1 (en) * 2022-07-19 2023-03-27 정재호 Apparatus and method for improving images in poor weather

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748524B1 (en) * 2016-01-26 2017-06-27 (주)스마트테크놀로지 Apparatus and method for fog detection using visibility estimation
KR20220155559A (en) * 2018-09-04 2022-11-23 씨드로닉스(주) Autonomous navigation method using image segmentation
KR102267517B1 (en) * 2020-07-22 2021-06-22 재단법인 서울특별시 서울기술연구원 Road fog detecting appartus and method using thereof
KR102514531B1 (en) * 2022-07-19 2023-03-27 정재호 Apparatus and method for improving images in poor weather

Similar Documents

Publication Publication Date Title
CN109977782B (en) Cross-store operation behavior detection method based on target position information reasoning
Bossu et al. Rain or snow detection in image sequences through use of a histogram of orientation of streaks
WO2018161037A1 (en) Systems and methods for quantitatively assessing collision risk and severity
CN109255350B (en) New energy license plate detection method based on video monitoring
CN106446150A (en) Method and device for precise vehicle retrieval
Shaghouri et al. Real-time pothole detection using deep learning
CN104951784A (en) Method of detecting absence and coverage of license plate in real time
CN112633231B (en) Fire disaster identification method and device
CN106951898B (en) Vehicle candidate area recommendation method and system and electronic equipment
JP6653361B2 (en) Road marking image processing apparatus, road marking image processing method, and road marking image processing program
CN111611861B (en) Image change detection method based on multi-scale feature association
CN113822247B (en) Method and system for identifying illegal building based on aerial image
Li Optimising detection of road furniture (pole-like objects) in mobile laser scanning data
CN112131951A (en) System for automatically identifying behaviors of illegal ladder use in construction
KR102579542B1 (en) Crowd density-based hazardous area automated alert system
CN115512387A (en) Construction site safety helmet wearing detection method based on improved YOLOV5 model
Hu Intelligent road sign inventory (IRSI) with image recognition and attribute computation from video log
JP6698191B1 (en) Road marking failure detection device, road marking failure detection method, and road marking failure detection program
Hermina et al. A Novel Approach to Detect Social Distancing Among People in College Campus
CN113657305B (en) Video-based intelligent detection method for black smoke vehicle and ringeman blackness level
CN113191204B (en) Multi-scale blocking pedestrian detection method and system
KR102602439B1 (en) Method for detecting rip current using CCTV image based on artificial intelligence and apparatus thereof
KR102599330B1 (en) Image-based fog area detection and visibility calculation system
CN114495421B (en) Intelligent open type road construction operation monitoring and early warning method and system
Ballinas-Hernández et al. Marked and unmarked speed bump detection for autonomous vehicles using stereo vision

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant