KR20190092869A

KR20190092869A - Dangerous substance detecting system and method and computer program based visual information

Info

Publication number: KR20190092869A
Application number: KR1020180012135A
Authority: KR
Inventors: 최지웅; 김정문; 권혁종; 오래근
Original assignee: 한양대학교 에리카산학협력단
Priority date: 2018-01-31
Filing date: 2018-01-31
Publication date: 2019-08-08
Also published as: KR102308974B1

Abstract

Provided is a system for detecting a dangerous substance based on image information. The system for detecting a dangerous substance based on image information comprises: a target image acquisition unit acquiring a learning target image through a side scan sonar; and a learning unit matching a region of interest related to the dangerous substance in the learning target image. The region of interest may be configured with a first region from a first region configured with only highlights for the dangerous substance and a second region configured with highlights and shadows.

Description

Dangerous substance detecting system and method and computer program based visual information

본 발명은 영상정보 기반 위험체 탐지 시스템, 방법, 및 컴퓨터프로그램에 관한 것으로서, 사이드 스캔 소나 및 컨벌루션 신경망 학습 방법을 이용한 영상정보 기반 위험체 탐지 시스템, 방법, 및 컴퓨터프로그램에 관련된 것이다. The present invention relates to an image information-based dangerous object detection system, method, and a computer program. The present invention relates to an image information-based dangerous object detection system, a method, and a computer program using a side scan sonar and a convolutional neural network learning method.

종래, 수중 환경에서의 위치 인식 및 항법에 필요한 정보를 얻기 위하여, 영상 정보를 활용한 물체 탐색 및 인식과 항법에 관한 다양한 연구가 수행되어 왔다. 더 상세하게는, 수중 환경에서의 위치 인식 및 항법에 필요한 정보를 얻기 위한 종래의 방법으로는, 먼저, 예를 들면, IMU(Inertial Measurement Unit), DVL(Doppler Velocity Logs), USBL(Ultra Short Base Line) 등과 같은 센서를 사용하여 정보를 얻는 방법이 있으나, IMU 및 DVL은 오차가 크거나 누적됨으로 인해 정확한 위치 정보를 얻기 어렵다는 단점이 있고, USBL은 오차가 누적되지는 않으나 매우 고가인데 더하여 사용방법이 매우 어렵고 제한적이라는 단점이 있었다.Conventionally, in order to obtain information necessary for location recognition and navigation in an underwater environment, various studies on object search and recognition and navigation using image information have been performed. More specifically, conventional methods for obtaining information necessary for position recognition and navigation in an underwater environment include, for example, Inertial Measurement Unit (IMU), Doppler Velocity Logs (DVL), and Ultra Short Base (USBL). There is a method of obtaining information by using a sensor such as a line, but IMU and DVL have a disadvantage in that it is difficult to obtain accurate position information due to a large or cumulative error. The disadvantage was that it was very difficult and limited.

또한, 최근에는, 수중 영상처리를 이용하여 직접 상대적인 위치를 계측하거나 다른 센서 결과에 대한 오차를 보정하는 연구가 진행되어 많은 연구에서 광학 카메라를 사용하여 영상을 획득하는 방법을 제시하고 있으나, 광학 영상은 탁도 및 빛의 영향으로 제한된 시계를 극복하기 어렵다는 문제가 있는 것이었다. 이에, 상기한 바와 같은 광학 카메라에 대한 대안으로, 수중 영상 소나(sonar)를 사용하여 얻어진 영상을 통해 수중의 상황을 판단하는 방법이 널리 사용되고 있다.In addition, recently, researches for directly measuring a relative position by using underwater image processing or correcting an error of other sensor results have been conducted. However, many studies have suggested a method of acquiring an image using an optical camera. The problem was that it was difficult to overcome the limited clock due to the effects of turbidity and light. Thus, as an alternative to the optical camera as described above, a method of judging the underwater situation through an image obtained by using an underwater image sonar is widely used.

그러나, 소나 영상 역시, 물체의 정보를 명확히 전달하지 못하는 한계가 있음으로 인해 소나 영상 자체만으로 물체의 탐색 및 인식에 어려움이 있는 데 더하여, 광학 카메라에 비해 낮은 화질과 노이즈가 많은 영상으로 인해 물체를 보다 용이하게 식별할 수 있도록 하기 위한 사후적인 영상처리에도 많은 어려움이 따르고 있어, 이를 해결하고 소냐 영상을 활용하기 위한 기술들이 지속적으로 연구 개발되고 있다. However, sonar images also have difficulty in detecting and recognizing objects only by sonar images themselves due to limitations in not being able to clearly convey object information. There are many difficulties in the post-processing of images to make it easier to identify them, and technologies for solving them and utilizing Sonya images are continuously researched and developed.

본 발명이 해결하고자 하는 일 기술적 과제는, 학습을 통해 수중물체의 분류 재현율이 향상된 영상정보 기반 위험체 탐지 시스템, 방법, 및 컴퓨터프로그램을 제공하는 데 있다. One technical problem to be solved by the present invention is to provide an image information-based dangerous object detection system, method, and computer program with improved classification reproduction rate of underwater objects through learning.

본 발명이 해결하고자 하는 다른 기술적 과제는, 수중물체를 용이하게 분류할 수 있는 영상정보 기반 위험체 탐지 시스템, 방법, 및 컴퓨터프로그램을 제공하는 데 있다. Another technical problem to be solved by the present invention is to provide an image information-based dangerous object detection system, method, and computer program that can easily classify underwater objects.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 학습을 통해 수중물체의 분류 정확성이 향상된 영상정보 기반 위험체 탐지 시스템, 방법, 및 컴퓨터프로그램을 제공하는 데 있다. Another technical problem to be solved by the present invention is to provide an image information-based dangerous object detection system, method, and computer program improved learning accuracy of underwater objects.

본 발명이 해결하고자 하는 기술적 과제는 상술된 것에 제한되지 않는다.The technical problem to be solved by the present invention is not limited to the above.

상술된 기술적 과제들을 해결하기 위해 본 발명은 영상정보 기반 위험체 탐지 시스템을 제공한다. In order to solve the above technical problem, the present invention provides an image information-based dangerous object detection system.

일 실시 예에 따르면, 상기 영상정보 기반 위험체 탐지 시스템은, 사이드 스캔 소나(Side Scan SONAR)을 통하여 학습 타겟 영상을 획득하는 타겟 영상 획득부, 및 상기 학습 타겟 영상 중 위험체와 관련된 관심 영역을 매칭하는 학습부를 포함하되, 상기 관심 영역은 상기 위험체에 대한 하이라이트만으로 이루어진 제1 영역 및 하이라이트와 그림자로 이루어진 제2 영역 중, 상기 제1 영역으로 이루어질 수 있다. According to an embodiment of the present disclosure, the image information-based dangerous object detection system may include a target image acquisition unit that acquires a learning target image through a side scan sonar, and a region of interest associated with a dangerous object among the learning target images. The learning area may include a matching unit, and the ROI may include the first area, the first area including only highlights of the dangerous objects, and the second area including highlights and shadows.

일 실시 예에 따르면, 상기 영상정보 기반 위험체 탐지 시스템은, 학습 평가부를 더 포함하고, 상기 학습 평가부는, 상기 학습부가 매칭한 결과를 기초로, 상기 학습부가 상기 학습 타겟 영상 중 상기 관심 영역인지 여부를 판단한 개체를 positive로 판단하고, 상기 학습 타겟 영상 중 상기 관심 영역인지 여부를 판단하지 않은 개체를 negative로 판단하고, 상기 positive로 판단된 개체 중, 상기 관심 영역으로 지정된 위험체가 맞는 경우 true로 판단하고, 상기 관심 영역으로 지정된 위험체가 아닌 경우 false로 판단하고, 상기 negative로 판단된 개체 중, 상기 관심 영역으로 지정된 위험체가 맞는 경우 false, 상기 관심 영역으로 지정된 위험체가 아닌 경우 true로 판단할 수 있다. According to an embodiment of the present disclosure, the image information-based dangerous object detection system further includes a learning evaluator, wherein the learning evaluator is based on a result of the matching of the learning unit to determine whether the learning unit is the ROI of the learning target image. The object is determined to be positive, the object not determined to be the region of interest in the learning target image is determined to be negative, and the object determined to be positive among the entities determined to be positive is true. If it is not the dangerous substance designated as the ROI, it is determined as false, and if the dangerous substance designated as the ROI is correct among the entities determined to be negative, it can be determined as false if it is not the dangerous substance designated as the ROI. have.

일 실시 예에 따르면, 상기 학습 평가부는, 상기 positive로 판단된 개체의 수 대비 상기 true로 판단된 개체의 수의 비를 정밀도(Precision)로 정의할 수 있다. According to an embodiment of the present disclosure, the learning evaluator may define, as a precision, a ratio of the number of objects determined to true to the number of objects determined to be positive.

일 실시 예에 따르면, 상기 학습 평가부는, 상기 positive로 판단된 개체 중 상기 true로 판단된 개체의 수와 상기 negative로 판단된 개체 중 상기 false로 판단된 개체의 수의 합 대비 상기 positive로 판단된 개체 중 상기 true로 판단된 개체의 수의 비를 재현율(Recall)로 정의할 수 있다. According to an embodiment of the present disclosure, the learning evaluator may determine the positive to the sum of the number of entities determined to be true among the entities determined to be positive and the number of entities determined to be false among the entities determined to be negative. The ratio of the number of individuals determined to be true among the entities may be defined as a recall.

일 실시 예에 따르면, 상기 학습 평가부는 상기 정밀도와 상기 재현율 중 상기 재현율에 가중치를 부여할 수 있다. According to an embodiment of the present disclosure, the learning evaluator may assign a weight to the reproduction rate among the precision and the reproduction rate.

일 실시 예에 따르면, 상기 학습 평가부는, X축을 상기 재현율로 두고, Y축을 상기 정밀도로 두었을 때 형성되는 면적의 평균을 평균 AP(Mean Average Precisioon)으로 정의할 수 있다. According to an embodiment of the present disclosure, the learning evaluator may define an average of areas formed when the X axis is the reproducibility and the Y axis is the precision, as an average AP (Mean Average Precisioon).

일 실시 예에 따르면, 상기 학습 평가부는 상기 재현율 또는 상기 평균 AP가 미리 정해진 값 이하인 경우, 상기 학습부에 추가 학습을 요청할 수 있다. According to an embodiment of the present disclosure, when the learning rate or the average AP is less than or equal to a predetermined value, the learning evaluator may request additional learning from the learning unit.

일 실시 예에 따르면, 상기 학습 평가부는, 상기 재현율 또는 상기 평균 AP가 미리 정해진 값 이하인 경우, 상기 관심 영역의 변경을 요청하고, 상기 학습부는 상기 타겟 영상 중 상기 변경된 관심 영역을 매칭할 수 있다. According to an embodiment of the present disclosure, when the reproducibility or the average AP is less than or equal to a predetermined value, the learning evaluator may request to change the ROI, and the learner may match the changed ROI of the target image.

일 실시 예에 따르면, 상기 영상정보 기반 위험체 탐지 시스템은, 탐색부를 더 포함하고, 상기 탐색부는 상기 학습 평가부에서, 상기 평균 AP 및 상기 재현율(Recall) 중 적어도 하나가 미리 정해진 기준 이상인 경우, 상기 타겟 영상 획득부를 통하여 획득된 실제 타겟 영상 내에서 상기 관심 영역을 매칭할 수 있다. According to an embodiment of the present disclosure, the image information-based dangerous object detection system further includes a searcher, and the searcher is configured in the learning evaluator, when at least one of the average AP and the recall is greater than or equal to a predetermined criterion. The ROI may be matched within an actual target image acquired through the target image acquisition unit.

상술된 기술적 과제들을 해결하기 위해 본 발명은 영상정보 기반 위험체 탐지 방법을 제공한다. In order to solve the above technical problem, the present invention provides a video information-based dangerous object detection method.

일 실시 예에 따르면, 상기 영상정보 기반 위험체 탐지 방법은, 사이드 스캔 소나(Side Scan SONAR)을 통하여 학습 타겟 영상을 획득하는 타겟 영상 획득 단계, 및 상기 학습 타겟 영상 중 위험체와 관련된 관심 영역을 매칭하는 학습 단계를 포함하되, 상기 관심 영역은 상기 위험체에 대한 하이라이트만으로 이루어진 제1 영역 및 하이라이트와 그림자로 이루어진 제2 영역 중, 상기 제1 영역으로 이루어질 수 있다. According to an embodiment of the present disclosure, the image information-based dangerous object detection method may further include obtaining a target image from a target scan image through a side scan sonar, and a region of interest associated with a dangerous object from the target image. Including a learning step of matching, the region of interest may comprise the first region of the first region consisting of only the highlights for the dangerous object and the second region consisting of highlights and shadows.

일 실시 예에 따르면, 상기 영상정보 기반 위험체 탐지 방법은, 학습 평가 단계를 더 포함하고, 상기 학습 평가 단계는, 상기 학습 단계가 매칭한 결과를 기초로, 상기 학습 단계가 상기 학습 타겟 영상 중 상기 관심 영역인지 여부를 판단한 개체를 positive로 판단하고, 상기 학습 타겟 영상 중 상기 관심 영역인지 여부를 판단하지 않은 개체를 negative로 판단하고, 상기 positive로 판단된 개체 중, 상기 관심 영역으로 지정된 위험체가 맞는 경우 true로 판단하고, 상기 관심 영역으로 지정된 위험체가 아닌 경우 false로 판단하고, 상기 negative로 판단된 개체 중, 상기 관심 영역으로 지정된 위험체가 맞는 경우 false, 상기 관심 영역으로 지정된 위험체가 아닌 경우 true로 판단할 수 있다. According to an embodiment of the present disclosure, the image information-based dangerous object detection method may further include a learning evaluation step, wherein the learning evaluation step is based on a result of the matching of the learning step, wherein the learning step includes the learning target image. The object determined as the region of interest is determined to be positive, the object not determined as the region of interest in the learning target image is determined as negative, and among the entities determined as the positive, a dangerous object designated as the region of interest If it is correct, it is determined to be true, if it is not a dangerous substance designated as the ROI, it is determined to be false, and if the dangerous substance designated as the ROI is correct among the entities determined to be negative, it is false if it is not designated as the ROI. Judging by

일 실시 예에 따르면, 상기 학습 평가 단계는, 상기 positive로 판단된 개체의 수 대비 상기 true로 판단된 개체의 수의 비를 정밀도(Precision)로 정의할 수 있다. According to an embodiment of the present disclosure, the learning evaluation step may define, as a precision, a ratio of the number of objects determined to true to the number of objects determined to be positive.

일 실시 예에 따르면, 상기 학습 평가 단계는, 상기 positive로 판단된 개체 중 상기 true로 판단된 개체의 수와 상기 negative로 판단된 개체 중 상기 false로 판단된 개체의 수의 합 대비 상기 positive로 판단된 개체 중 상기 true로 판단된 개체의 수의 비를 재현율(Recall)로 정의할 수 있다. According to an embodiment of the present disclosure, the learning evaluation step may be determined as the positive of the sum of the number of entities determined to be true among the entities determined to be positive and the number of entities determined to be false among the entities determined to be negative. The ratio of the number of individuals determined to be true among the determined entities may be defined as a recall.

일 실시 예에 따르면, 상기 학습 평가 단계는 상기 정밀도와 상기 재현율 중 상기 재현율에 가중치를 부여할 수 있다. According to an embodiment of the present disclosure, the learning evaluation step may assign a weight to the recall rate among the precision and the recall rate.

일 실시 예에 따르면, 상기 학습 평가 단계는, X축을 상기 재현율로 두고, Y축을 상기 정밀도로 두었을 때 형성되는 면적의 평균을 평균 AP(Mean Average Precisioon)으로 정의할 수 있다. According to an embodiment of the present disclosure, the learning evaluation step may be defined as an average AP (Mean Average Precisioon) of an area formed when the X axis is set as the refresh rate and the Y axis is set as the precision.

일 실시 예에 따르면, 상기 학습 평가 단계는 상기 재현율 또는 상기 평균 AP가 미리 정해진 값 이하인 경우, 상기 학습 단계에 추가 학습을 요청할 수 있다. According to an embodiment of the present disclosure, the learning evaluation step may request additional learning from the learning step when the recall or the average AP is less than or equal to a predetermined value.

일 실시 예에 따르면, 상기 학습 평가 단계는, 상기 재현율 또는 상기 평균 AP가 미리 정해진 값 이하인 경우, 상기 관심 영역의 변경을 요청하고, 상기 학습 단계는 상기 타겟 영상 중 상기 변경된 상기 관심 영역을 매칭할 수 있다. According to an embodiment of the present disclosure, the learning evaluation step may request a change of the ROI when the reproducibility or the average AP is less than or equal to a predetermined value, and the learning step may match the changed ROI in the target image. Can be.

일 실시 예에 따르면, 상기 영상정보 기반 위험체 탐지 방법은, 탐색 단계를 더 포함하고, 상기 탐색 단계는 상기 학습 평가 단계에서, 상기 평균 AP 및 상기 재현율(Recall) 중 적어도 하나가 미리 정해진 기준 이상인 경우, 상기 타겟 영상 획득 단계를 통하여 획득된 실제 타겟 영상 내에서 상기 관심 영역을 매칭할 수 있다. According to an embodiment of the present disclosure, the image information-based dangerous object detection method may further include a searching step, wherein the searching step includes at least one of the average AP and the recall in a learning evaluation step that is equal to or greater than a predetermined criterion. In this case, the ROI may be matched within the actual target image acquired through the target image acquisition step.

상술된 기술적 과제들을 해결하기 위해 본 발명은 영상정보 기반 위험체 탐지 컴퓨터프로그램을 제공한다. In order to solve the above technical problem, the present invention provides a video information-based dangerous object detection computer program.

일 실시 예에 따르면, 상기 영상정보 기반 위험체 탐지 컴퓨터프로그램은, 사이드 스캔 소나(Side Scan SONAR)을 통하여 학습 타겟 영상을 획득하는 타겟 영상 획득 단계, 및 상기 학습 타겟 영상 중 위험체와 관련된 관심 영역을 매칭하는 학습 단계를 실행시키기 위하여 매체에 저장되되, 상기 관심 영역은 상기 위험체에 대한 하이라이트만으로 이루어진 제1 영역 및 하이라이트와 그림자로 이루어진 제2 영역 중, 상기 제1 영역으로 이루어질 수 있다. According to an embodiment of the present disclosure, the image information-based dangerous object detection computer program may include obtaining a target target image through a side scan sonar, and a region of interest associated with a dangerous object among the target images. The ROI may be stored in a medium in order to execute a learning step of matching the target, and the ROI may include the first region, the first region including only highlights of the dangerous substances and the second region including highlights and shadows.

본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 시스템은, 사이드 스캔 소나를 통하여 학습 타겟 영상을 획득하는 타겟 영상 획득부, 상기 학습 타겟 영상 중 위험체와 관련된 관심 영역을 매칭하는 학습부, 상기 학습부가 매칭한 결과에 대해 평가하는 평가부, 및 상기 타겟 영상 획득부를 통하여 획득된 실제 타겟 영상 내에서 관심 영역을 매칭하는 탐색부 중 적어도 하나로 구성될 수 있다. An image information-based dangerous object detection system according to an embodiment of the present invention includes a target image acquisition unit obtaining a learning target image through a side scan sonar, a learning unit matching a region of interest associated with a dangerous object among the learning target images, The learning unit may be configured to include at least one of an evaluation unit evaluating a matching result and a search unit matching an ROI in an actual target image acquired through the target image acquisition unit.

또한, 상기 영상정보 기반 위험체 탐지 시스템은, 상기 관심 영역이 상기 위험체에 대한 하이라이트만으로 이루어진 제1 영역일 수 있다. 즉, 상기 영상정보 기반 위험체 탐지 시스템은, 사이드 스캔 소나를 통해 획득한 영상에서 위험체를 탐지할 경우, 상기 위험체에 대한 하이라이트만으로 이루어진 영역을 사용하여 탐지할 수 있다. 이에 따라, 음파를 통해 생성된 영상 내에서 위험체를 누락 없이 찾아낼 수 있다. The image information based dangerous object detection system may be a first region in which the region of interest includes only highlights of the dangerous object. In other words, when detecting a dangerous object in an image acquired through a side scan sonar, the image information based dangerous object detection system may detect the dangerous object using an area including only highlights of the dangerous object. Accordingly, the dangerous substance can be found without missing in the image generated through the sound wave.

도 1은 본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 시스템을 설명하는 도면이다.
도 2는 본 발명의 실시 예에 따른 타겟 영상 획득부를 통하여 획득된 위험체를 나타내는 사진이다.
도 3은 본 발명의 실시 예에 따른 학습 평가부가 정밀도, 재현율, 및 평균 AP를 측정하기 위한 판단 기준을 설명하는 도면이다.
도 4는 본 발명의 실시 예에 따른 학습 평가부가 정밀도 및 재현율을 평가하는 방법을 설명하는 도면이다.
도 5는 본 발명의 실시 예에 따른 학습 평가부가 평균 AP를 측정하는 방법을 설명하는 그래프이다.
도 6 및 도 7은 본 발명의 실시 예에 따른 학습부에서 위험체의 영역에 따른 매칭 결과를 AP 관점 및 평균 AP 관점에서 비교한 그래프이다.
도 8은 본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 방법을 설명하는 순서도이다.
도 9 내지 도 11은 본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 시스템을 통해 위험체를 촬영하여 분석한 사진들이다.1 is a diagram illustrating a video information-based dangerous object detection system according to an embodiment of the present invention.
2 is a photograph showing a dangerous object obtained through a target image acquisition unit according to an exemplary embodiment of the present invention.
3 is a diagram illustrating a criterion for measuring a precision, a recall, and an average AP by a learning evaluator according to an exemplary embodiment of the present invention.
4 is a view for explaining a method for evaluating the precision and recall rate by the learning evaluator according to an embodiment of the present invention.
5 is a graph illustrating a method of measuring an average AP by the learning evaluator according to an exemplary embodiment of the present invention.
6 and 7 are graphs comparing the matching result according to the area of the dangerous object in the learning unit according to an embodiment of the present invention from an AP perspective and an average AP perspective.
8 is a flowchart illustrating a video information-based dangerous object detection method according to an embodiment of the present invention.
9 to 11 are photographs analyzed by photographing a dangerous object through a video information based dangerous object detection system according to an exemplary embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명할 것이다. 그러나 본 발명의 기술적 사상은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 오히려, 여기서 소개되는 실시 예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the technical idea of the present invention is not limited to the exemplary embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided to ensure that the disclosed contents are thorough and complete, and that the spirit of the present invention can be fully conveyed to those skilled in the art.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 두께 및 크기는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. In the present specification, when a component is mentioned to be on another component, it means that it may be formed directly on the other component or a third component may be interposed therebetween. In addition, in the drawings, the thickness and size are exaggerated for the effective description of the technical content.

본 명세서의 다양한 실시 예 들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 따라서, 어느 한 실시 예에 제 1 구성요소로 언급된 것이 다른 실시 예에서는 제 2 구성요소로 언급될 수도 있다. 여기에 설명되고 예시되는 각 실시 예는 그것의 상보적인 실시 예도 포함한다. 또한, 본 명세서에서 '및/또는'은 전후에 나열한 구성요소들 중 적어도 하나를 포함하는 의미로 사용되었다.In various embodiments of the present disclosure, terms such as first, second, and third are used to describe various components, but these components should not be limited by the terms. These terms are only used to distinguish one component from another. Thus, what is referred to as a first component in one embodiment may be referred to as a second component in another embodiment. Each embodiment described and illustrated herein also includes its complementary embodiment. In addition, the term 'and / or' is used herein to include at least one of the components listed before and after.

명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 구성요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 구성요소 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하는 것으로 이해되어서는 안 된다. 또한, 본 명세서에서 "연결"은 복수의 구성 요소를 간접적으로 연결하는 것, 및 직접적으로 연결하는 것을 모두 포함하는 의미로 사용된다. In the specification, the singular encompasses the plural unless the context clearly indicates otherwise. In addition, the terms "comprise" or "having" are intended to indicate that there is a feature, number, step, element, or combination thereof described in the specification, and one or more other features or numbers, steps, configurations It should not be understood to exclude the possibility of the presence or the addition of elements or combinations thereof. In addition, the term "connection" is used herein to mean both indirectly connecting a plurality of components, and directly connecting.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 시스템을 설명하는 도면이다. 1 is a diagram illustrating a video information-based dangerous object detection system according to an embodiment of the present invention.

도 1을 참조하면, 상기 실시 예에 따른 영상정보 기반 위험체 탐지 시스템(100)은, 타겟 영상 획득부(110), 학습부(120), 학습 평가부(130), 및 탐색부(140) 중 적어도 어느 하나로 구성될 수 있다. 이하, 각 구성에 대하여 설명된다. Referring to FIG. 1, the image information based dangerous object detection system 100 according to the embodiment may include a target image acquisition unit 110, a learning unit 120, a learning evaluation unit 130, and a searcher 140. It may be composed of at least one of the. Hereinafter, each structure is demonstrated.

타겟target 영상 video 획득부Acquisition (110)(110)

상기 타겟 영상 획득부(110)는 타겟 영상을 획득할 수 있다. 일 실시 예에 따르면, 상기 타겟 영상은 음파를 이용하여 해저면을 2차원으로 영상화할 수 있는 장비를 통하여 획득될 수 있다. 예를 들어, 상기 타겟 영상은 사이드 스캔 소나(Side Scan SONAR)를 통하여 획득될 수 있다. The target image acquisition unit 110 may acquire a target image. According to an embodiment of the present disclosure, the target image may be obtained through a device capable of imaging the bottom of the sea in two dimensions using sound waves. For example, the target image may be acquired through a side scan sonar.

일 실시 예에 따르면, 상기 타겟 영상은 학습 타겟 영상 또는 실제 타겟 영상으로 사용될 수 있다. 상기 학습 타겟 영상은, 후술되는 학습부(120) 및 학습 평가부(130)를 통하여, 타겟 영상 중 위험체와 관련된 관심 영역을 매칭하고 매칭한 결과를 기초로 관심 영역인지 여부를 판단하는 용도로 사용될 수 있다. 상기 실제 타겟 영상은, 후술되는 탐색부(140)를 통하여, 타겟 영상 중 관심 영역을 매칭하고 매칭한 결과를 기초로 관심 영역인지 여부를 판단하는 용도로 사용될 수 있다. According to an embodiment of the present disclosure, the target image may be used as a learning target image or an actual target image. The learning target image is used to determine whether the region of interest is a region of interest based on a matched region of interest associated with a dangerous object in the target image through the learner 120 and the learning evaluator 130 to be described later. Can be used. The actual target image may be used for determining whether the region of interest is a region of interest based on a result of matching and matching a region of interest in the target image through the searcher 140 to be described later.

학습부Learning Department (120)(120)

상술된 바와 같이, 상기 학습부(120)는 상기 영상 획득부를 통하여 획득한 상기 학습 타겟 영상 중 위험체와 관련된 관심 영역을 매칭할 수 있다. 즉, 상기 학습부(120)는 상기 영상 획득부(110)를 통하여 획득한 상기 학습 타겟 영상 중, 상기 관심 영역을 매칭하여 위험체의 존재 여부를 판단할 수 있다. 예를 들어, 상기 위험체는 기뢰일 수 있다. As described above, the learner 120 may match a region of interest related to the dangerous object among the learning target images acquired through the image acquirer. That is, the learner 120 may determine whether a dangerous object exists by matching the ROI among the learning target images acquired through the image acquirer 110. For example, the hazard may be a mine.

상기 관심 영역은, 상기 위험체에 대응되는 이미지를 의미할 수 있다. 상기 관심 영역은 하이라이트만으로 이루어진 제1 관심 영역(이하 제1 영역으로 약칭)일 수도 있고 하이라이트와 하이라이트에 대한 그림자로 이루어진 제2 관심 영역(이하 제2 영역으로 약칭)으로 구분될 수 있다. 상기 위험체에 대한 하이라이트는, 음파에 의하여 형성된 상기 위험체 자체의 영상일 수 있다. 상기 그림자는, 음파에 의하여 형성된 상기 위험체의 그림자의 영상일 수 있다. The region of interest may mean an image corresponding to the dangerous object. The region of interest may be a first region of interest (hereinafter, abbreviated to the first region) consisting of only highlights, or may be divided into a second region of interest (hereinafter, abbreviated to a second region) consisting of highlights and shadows for the highlights. The highlight for the dangerous substance may be an image of the dangerous substance itself formed by sound waves. The shadow may be an image of the shadow of the dangerous object formed by sound waves.

즉, 상기 위험체는 사이드 스캔 소나로부터 발생된 음파에 의하여 영상을 형성하게 되는데, 상기 위험체는 입사되는 음파의 각도에 의하여 위험체 자체의 영상뿐만 아니라, 그림자에 대한 영상 또한 형성할 수 있다. 이 때, 상기 타겟 영상에서, 상기 위험체 자체의 영상이 형성된 부분은 상기 제1 영역일 수 있다. 또한, 상기 타겟 영상에서, 상기 위험체 자체의 영상 및 그림자에 대한 영상이 합쳐진 부분은 상기 제2 영역일 수 있다. That is, the dangerous substance forms an image by sound waves generated from the side scan sonar. The dangerous substance may form not only an image of the dangerous substance itself but also an image of a shadow by the angle of the incident sound wave. In this case, a portion in which the image of the dangerous substance itself is formed in the target image may be the first area. Also, in the target image, a portion where the image of the dangerous substance itself and the image of the shadow are combined may be the second area.

도 2는 본 발명의 실시 예에 따른 타겟 영상 획득부를 통하여 획득된 위험체를 나타내는 사진이다. 2 is a photograph showing a dangerous object obtained through a target image acquisition unit according to an exemplary embodiment of the present invention.

도 2의 (a) 및 (b)를 참조하면, 상기 위험체에 상기 사이드 스캔 소나로부터 발생되는 음파가 제공되는 경우, 상기 위험체 자체를 나타내는 하이라이트 부분 및 상기 위험체가 배치된 각도에 따른 그림자 부분이 발생될 수 있다. 예를 들어, 상기 위험체에 대한 하이라이트 부분은 타겟 영상에서 밝게 표시될 수 있고, 그림자 부분은 어둡게 표시될 수 있다. 이에 따라, 상기 제1 영역은 도 2의 (b)에 도시된 파란색 박스로 정의될 수 있고, 상기 제2 영역은 도 2의 (a)에 도시된 파란색 박스로 정의될 수 있다.Referring to FIGS. 2A and 2B, when a sound wave generated from the side scan sonar is provided to the dangerous substance, a highlight portion representing the dangerous substance itself and a shadow portion according to the angle at which the dangerous substance is disposed This may occur. For example, the highlight portion for the dangerous object may be displayed brightly in the target image, and the shadow portion may be displayed dark. Accordingly, the first region may be defined as the blue box illustrated in FIG. 2B, and the second region may be defined as the blue box illustrated in FIG. 2A.

계속해서, 상기 학습부(120)는 상기 영상 획득부(110)를 통하여 획득한 상기 학습 타겟 영상 중, 상기 위험체의 상기 제1 영역에 대한 영상만 매칭시켜 위험체의 존재 여부를 판단할 수 있다. 이에 따라, 상기 제2 영역에 대한 영상을 매칭시켜 위험체의 존재 여부를 판단한 경우와 비교하여, 평균 AP(Mean Average Precision) 및 재현율(Recall)이 향상될 수 있다. 상기 평균 AP 및 재현율에 관한 자세한 설명은 후술되는 학습 평가부(130)에서 계속된다. Subsequently, the learning unit 120 may determine whether a dangerous object is present by matching only an image of the first area of the dangerous object among the learning target images acquired through the image obtaining unit 110. have. Accordingly, the mean average precision (AP) and recall may be improved as compared with the case where the presence of the dangerous substance is determined by matching the image of the second area. A detailed description of the average AP and the recall is continued in the learning evaluator 130 described later.

학습 평가부(130)Learning evaluation unit 130

다시 도 1을 참조하면, 상기 학습 평가부(130)는 상기 학습부(120)가 매칭한 결과에 대해 평가할 수 있다. 구체적으로, 상기 학습 평가부(130)는 상기 학습부(120)를 통하여 상기 학습 타겟 영상 중 상기 관심 영역과 매칭된 결과를 기초로, 정밀도(Precision), 재현율(Recall), 및 평균 AP(Mean Average Precison)을 평가할 수 있다. Referring back to FIG. 1, the learning evaluator 130 may evaluate the matching result of the learner 120. In detail, the learning evaluator 130 may determine the precision, recall, and average AP based on a result matched with the ROI of the learning target image through the learner 120. Average Precison) can be evaluated.

상기 학습 평가부(130)는 상기 재현율 또는 상기 평균 AP가 미리 정해진 값 이하인 경우, 상기 학습부(120)에 추가 학습을 요청할 수 있다. 일 실시 예에 따르면, 상기 학습 평가부(130)는 상기 재현율 또는 상기 평균 AP가 미리 정해진 값 이하인 경우, 상기 학습부(120)에 상기 관심 영역의 변경을 요청하고, 상기 학습부(120)는 상기 학습 타겟 영상 중 상기 변경된 관심 영역을 매칭할 수 있다. 상기 추가 학습 요청은, 상기 재현율 및 상기 평균 AP 중 적어도 하나가 미리 정해진 기준 이상이 될 때까지 반복 수행될 수 있다. 이때, 변경된 관심 영역 또한 상술된 바와 같이, 위험체에 대한 하이라이트만으로 이루어진 영역일 수 있다.The learning evaluator 130 may request additional learning from the learner 120 when the reproduction rate or the average AP is less than or equal to a predetermined value. According to an embodiment of the present disclosure, when the reproducibility or the average AP is less than or equal to a predetermined value, the learning evaluator 130 requests the learner 120 to change the ROI, and the learner 120 The changed ROI of the learning target image may be matched. The additional learning request may be repeatedly performed until at least one of the recall and the average AP is equal to or greater than a predetermined criterion. In this case, as described above, the changed ROI may also be an area including highlights only for the dangerous object.

즉, 상기 학습 평가부(130)는 상기 학습부(120)가 매칭한 결과에 대해 재현율 또는 평균 AP를 통해 평가를 수행하고, 재현율 또는 평균 AP가 기준 값 이하인 경우, 재현율 및 평균 AP 중 적어도 하나가 미리 정해진 기준 이상이 될 때까지 상기 학습부(120)가 관심 영역을 변경하여 상기 학습 타겟 영상 중 변경된 관심 영역과 매칭하도록 반복 요청할 수 있다. 이에 따라, 상기 학습부(120)에서는, 상기 학습 타겟 영상과 변경된 관심 영역의 매칭이 반복 수행될 수 있다. That is, the learning evaluator 130 evaluates the result matched by the learner 120 through the recall or the average AP, and when the recall or the average AP is less than or equal to the reference value, at least one of the recall and the average AP. The learning unit 120 may repeatedly request to change the ROI and match the changed ROI of the learning target image until the value becomes equal to or greater than a predetermined criterion. Accordingly, in the learning unit 120, matching between the learning target image and the changed ROI may be repeatedly performed.

이하, 상기 학습 평가부(130)가 정밀도, 재현율, 및 평균 AP를 측정하는 방법이 도 3 내지 도 5를 참조하여 설명된다.Hereinafter, the method of measuring the precision, recall, and average AP by the learning evaluator 130 will be described with reference to FIGS. 3 to 5.

도 3은 본 발명의 실시 예에 따른 학습 평가부가 정밀도, 재현율, 및 평균 AP를 측정하기 위한 판단 기준을 설명하는 도면이다. 3 is a diagram illustrating a criterion for measuring a precision, a recall, and an average AP by a learning evaluator according to an exemplary embodiment of the present invention.

도 3을 참조하면, 상기 학습 평가부(130)는 상기 학습부(120)가 상기 학습 타겟 영상 중 상기 관심 영역인지 여부를 판단한 개체를 positive로 판단할 수 있다. 반면, 상기 학습 평가부(130)는 상기 학습부(120)가 상기 학습 타겟 영상 중 상기 관심 영역인지 여부를 판단하지 않은 개체를 negative로 판단할 수 있다. Referring to FIG. 3, the learning evaluator 130 may determine an object of which the learner 120 determines whether the learning region 120 is the ROI of the learning target image is positive. On the other hand, the learning evaluator 130 may determine that the object that the learner 120 does not determine whether the learning region 120 is the ROI is negative.

즉, 상기 학습 평가부(130)는 상기 학습부(120)에서 상기 학습 타겟 영상 중 상기 위험체인지 아니면 위험체가 아닌지 판단한 개체를 positive로 평가하고, 상기 학습부(120)에서 판단되지 않은 개체를 negative로 평가할 수 있다.That is, the learning evaluator 130 evaluates the object determined by the learning unit 120 as the dangerous object or the non-hazardous object in the learning target image as a positive value, and negatively identifies the object not determined by the learning unit 120. Can be evaluated as

일 실시 예에 따르면, 상기 학습 평가부(130)는 상기 positive로 판단된 개체 중, 상기 관심 영역으로 지정된 위험체가 맞는 경우 true로 평가하고, 상기 관심 영역으로 지정된 위험체가 아닌 경우 false로 평가할 수 있다. According to an embodiment of the present disclosure, the learning evaluator 130 may evaluate a true value when a dangerous object designated as the ROI is correct among the entities determined to be positive, and evaluate a false value when the dangerous object designated as the ROI is not specified. .

또한, 상기 학습 평가부(130)는 상기 negative로 판단된 개체 중, 상기 관심 영역으로 지정된 위험체가 맞는 경우 false로 평가하고, 상기 관심 영역으로 지정된 위험체가 아닌 경우 true로 평가할 수 있다. In addition, the learning evaluator 130 may evaluate as false when the risk object designated as the ROI is correct among the individuals determined as negative, and evaluate as true when the risk object designated as the ROI is not.

상기 학습 평가부(130)에서 True Positive로 판단된 경우, 상기 학습부(120)에서 상기 학습 타겟 영상 중 상기 위험체로 판단된 물체가 실제 위험체일 수 있다. 또한, 상기 학습 평가부(130)에서 True Negative로 판단된 경우, 상기 학습부(120)에서 상기 학습 타겟 영상 중 상기 위험체로 판단되지 않은 물체가, 실제로 위험체가 아닐 수 있다. When it is determined that the learning evaluator 130 is a true positive, the object determined as the dangerous object in the learning target image by the learning unit 120 may be a real dangerous material. In addition, when it is determined as true negative by the learning evaluator 130, an object which is not determined as the dangerous object among the learning target images by the learning unit 120 may not actually be a dangerous object.

반면, 상기 학습 평가부(130)에서 False Negative로 판단된 경우, 상기 학습부(120)에서 상기 학습 타겟 영상 중 상기 위험체로 판단되지 않은 물체가, 실제로 위험체일 수 있다. 또한, 상기 학습 평가부(130)에서 False Positive 로 판단된 경우, 상기 학습부(120)에서 상기 학습 타겟 영상 중 상기 위험체로 판단된 물체가, 실제로 위험체가 아닐 수 있다. On the other hand, when it is determined as False Negative by the learning evaluator 130, an object that is not determined as the dangerous object among the learning target images by the learning unit 120 may be a dangerous object. In addition, when it is determined as False Positive by the learning evaluator 130, the object determined as the dangerous object in the learning target image by the learning unit 120 may not actually be a dangerous object.

도 4는 본 발명의 실시 예에 따른 학습 평가부가 정밀도 및 재현율을 평가하는 방법을 설명하는 도면이다. 4 is a view for explaining a method for evaluating the precision and recall rate by the learning evaluator according to an embodiment of the present invention.

도 4의 (a)를 참조하면, 상기 정밀도(Precision)는 도 3을 참조하여 설명된 상기 positive로 판단된 개체의 수 대비 상기 true로 판단된 개체의 수의 비로 정의될 수 있다. 다시 말해, 상기 정밀도는 True Positive로 분류된 개체의 수를 True Positives 로 분류된 개체의 수와 False Positive로 분류된 개체의 수의 합으로 나눈 값일 수 있다. Referring to FIG. 4A, the precision may be defined as the ratio of the number of objects determined to true to the number of objects determined to be positive described with reference to FIG. 3. In other words, the precision may be a value obtained by dividing the number of entities classified as True Positives by the sum of the number of entities classified as True Positives and the number of entities classified as False Positives.

또한, 정밀도는 상기 학습 타겟 영상 내에서 위험체라고 판단된 개체들의 정확성을 의미할 수 있다. 다시 말해, 상기 정밀도는 상기 학습 타겟 영상 내에서 위험체라고 판단된 개체들이 실제로 위험체인 비율을 의미할 수 있다. 예를 들어, 상기 학습 타겟 영상 내에서 위험체라고 판단된 개체가 1개이고, 위험체라고 판단된 개체가 실제 위험체인 경우 정밀도는 100%가 된다. In addition, the precision may refer to the accuracy of the objects determined to be dangerous in the learning target image. In other words, the precision may refer to a ratio of entities determined to be dangerous in the learning target image. For example, in the learning target image, if there is one entity determined as a dangerous substance and the entity determined to be a dangerous substance is a real dangerous substance, the precision is 100%.

도 4의 (b)를 참조하면, 상기 재현율(Recall)은 도 3을 참조하여 설명된 상기 positive로 판단된 개체 중 상기 true로 판단된 개체의 수와 상기 negative로 판단된 개체 중 상기 false로 판단된 개체의 수의 합 대비 상기 positive로 판단된 개체 중 상기 true로 판단된 개체의 수의 비로 정의될 수 있다. 다시 말해, 상기 재현율은 True Positive로 분류된 개체의 수를 False Negative로 분류된 개체의 수와 True Positive로 분류된 개체의 수의 합으로 나눈 값일 수 있다. Referring to FIG. 4B, the recall rate is determined as the number of the entities determined to be true among the entities determined to be positive described with reference to FIG. 3 and the false among the entities determined to be negative. It may be defined as the ratio of the number of the entity determined to be true among the entities determined to be positive compared to the sum of the number of entities. In other words, the recall may be a value obtained by dividing the number of individuals classified as True Positives by the sum of the number of individuals classified as False Negatives and the number of individuals classified as True Positives.

또한, 상기 재현율은 상기 학습 타겟 영상 내에서 실제 위험체를 찾아내는 확률을 의미할 수 있다. 예를 들어, 상기 학습 타겟 영상 내에서 실제 위험체가 10개 있을 때, 상기 학습부(120)의 상기 관심 영역의 매칭을 통해 위험체를 10개를 찾고, 위험체가 아닌 물체를 10개를 찾은 경우 상기 정밀도는 50%이지만 상기 재현율은 100%가 된다. In addition, the recall may refer to the probability of finding a real dangerous substance in the learning target image. For example, when ten actual dangerous objects are found in the learning target image, ten dangerous objects are found by matching the ROI of the learning unit 120, and ten non-hazardous objects are found. The precision is 50% but the recall is 100%.

상기 학습 평가부(130)는 상기 정밀도와 상기 재현율 중 상기 재현율에 가중치를 부여할 수 있다. 이에 따라, 상술된 바와 같이 상기 학습 평가부(130)가 상기 학습부(120)에 추가 학습을 요청하는 기준으로 상기 재현율이 사용될 수 있다. 이는 기뢰가 같은 위험체의 경우, 정확하게 찾는 것 보다 누락 없이 찾는 것이 더 중요함을 고려한 것이다.The learning evaluator 130 may assign a weight to the reproduction rate among the precision and the reproduction rate. Accordingly, as described above, the reproducibility may be used as a criterion for the learning evaluator 130 to request additional learning from the learner 120. This takes into account that it is more important to find the missing threats than the exact ones for the same mines.

도 5는 본 발명의 실시 예에 따른 학습 평가부가 평균 AP를 측정하는 방법을 설명하는 그래프이다. 5 is a graph illustrating a method of measuring an average AP by the learning evaluator according to an exemplary embodiment of the present invention.

도 5를 참조하면, 상기 학습 평가부(130)는 X축을 재현율로 두고, Y축을 정밀도로 두었을 때 형성되는 면적의 평균을, 상기 평균 AP(Mean Average Precision)으로 정의할 수 있다. 즉, 상기 평균 AP는 재현율 및 정밀도를 함께 판단하는 용도로 사용될 수 있다. 이에 따라, 상기 학습 평가부(130)가 상기 학습부(120)에 추가 학습을 요청하는 기준으로 상기 평균 AP가 사용될 수 있다. Referring to FIG. 5, the learning evaluator 130 may define an average of an area formed when the X axis is a reproducibility rate and the Y axis is a precision, as the average mean precision (AP). That is, the average AP may be used to determine the recall and precision together. Accordingly, the average AP may be used as a reference for the learning evaluator 130 to request additional learning from the learner 120.

도 6 및 도 7은 본 발명의 실시 예에 따른 학습부에서 위험체의 영역에 따른 매칭 결과를 AP 관점 및 평균 AP 관점에서 비교한 그래프이다. 6 and 7 are graphs comparing the matching result according to the area of the dangerous object in the learning unit according to an embodiment of the present invention from an AP perspective and an average AP perspective.

도 6의 (a)를 참조하면, 획득된 상기 학습 타겟 영상 내에서 상기 관심 영역을 상기 제2 영역에 대한 영상만 매칭시켜 재현율(Recall)에 따른 정밀도(Precision)를 나타내었고, 도 6의 (b)를 참조하면, 획득된 상기 학습 타겟 영상 내에서 상기 관심 영역을 상기 제1 영역에 대한 영상만 매칭시켜 재현율에 따른 정밀도를 나타내었다. 또한, 도 7을 참조하면, 도 6의 (a) 및 (b)에서 측정된 재현율 및 정밀도를 통해 평균 AP를 나타내었다. Referring to (a) of FIG. 6, in the acquired learning target image, only the image of the second region is matched with the ROI to show precision according to recall. Referring to b), only the image of the first region is matched to the region of interest in the acquired learning target image, thereby representing the precision according to the reproduction rate. In addition, referring to Figure 7, the average AP is shown through the reproducibility and precision measured in (a) and (b) of FIG.

도 6 및 도 7을 통해 확인할 수 있듯이, 상기 학습부(120)는 상기 영상 획득부(110)를 통하여 획득한 상기 학습 타겟 영상 중, 상기 위험체의 상기 제1 영역에 대한 영상만 매칭시켜 위험체의 존재 여부를 판단 경우(도 6의 (b) 및 도 7의 Only object 참조), 상기 제2 영역에 대한 영상을 매칭시켜 위험체의 존재 여부를 판단한 경우(도 6의 (a) 및 도 7의 Object+Shadow 참조)와 비교하여, 평균 AP(Mean Average Precision)가 향상되는 것을 알 수 있다. As illustrated in FIGS. 6 and 7, the learning unit 120 may match only the image of the first area of the dangerous object among the learning target images acquired through the image obtaining unit 110, thereby causing a danger. When the presence of a body is determined (see FIG. 6B and Only Object of FIG. 7), when the image of the second area is matched to determine the presence of a dangerous body (FIG. 6A and FIG. 6). Compared to Object + Shadow of 7), it can be seen that Mean Average Precision (AP) is improved.

즉, 본 발명의 일 실시 예에 따른 학습부(120)가 제1 관심 영역으로 학습하는 것이 높은 평균 AP를 제공함을 알 수 있다.That is, it can be seen that learning by the learning unit 120 according to an embodiment of the present invention provides a high average AP.

탐색부Navigation (140)(140)

다시 도 1을 참조하면, 상기 탐색부(140)는 상기 학습 평가부(130)에서, 상기 평균 AP 및 상기 재현율 중 적어도 하나가 미리 정해진 기준 이상인 경우, 상기 타겟 영상 획득부를 통하여 획득된 실제 타겟 영상 내에서 관심 영역을 매칭할 수 있다. Referring back to FIG. 1, the searcher 140 determines, in the learning evaluator 130, when at least one of the average AP and the reproduction rate is greater than or equal to a predetermined criterion, the actual target image acquired through the target image acquisition unit. The region of interest can be matched within.

즉, 상기 학습부(120)에서 매칭된 결과를 기준으로, 상기 학습 평가부(130)에서 평가하고, 평가된 기준을 통해 상기 학습부(120)에서 추가 학습을 수행할 수 있다. 추가 학습에 따라 상기 학습부(120)에서 매칭된 결과가, 상기 평균 AP 및 상기 재현율 중 적어도 하나의 기준 이상인 경우, 상기 학습부(120)는 추가 학습을 중단할 수 있다. 이후, 상기 탐색부(140)는 실제 타겟 영상 내에서 관심 영역을 매칭시켜, 실제 타겟 영상 내에 존재하는 위험체를 탐색할 수 있다. That is, the learning evaluator 130 may evaluate based on the result matched by the learner 120, and perform additional learning in the learner 120 based on the evaluated criterion. When the result matched by the learner 120 according to the additional learning is greater than or equal to at least one criterion of the average AP and the recall, the learner 120 may stop the additional learning. Thereafter, the searcher 140 may match the ROI in the actual target image, and search for a dangerous substance present in the actual target image.

이상, 본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 시스템이 설명되었다. 이하, 도 8을 참조하여 본 발명의 실시 예에 다른 영상정보 기반 위험체 탐지 방법이 설명된다. In the above, the image information-based dangerous object detection system according to an embodiment of the present invention has been described. Hereinafter, a method for detecting dangerous goods based on image information according to an embodiment of the present invention will be described with reference to FIG. 8.

도 8은 본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 방법을 설명하는 순서도이다. 8 is a flowchart illustrating a video information-based dangerous object detection method according to an embodiment of the present invention.

도 8을 참조하면, 상기 실시 예에 따른 영상정보 기반 위험체 탐지 방법은, 타겟 영상 획득 단계(S110), 학습 단계(S120), 학습 평가 단계(S130). 및 탐색 탄계(S140)를 포함할 수 있다. 이하, 각 단계에 대해 설명된다. Referring to FIG. 8, in the image information-based dangerous object detection method according to the embodiment, a target image acquisition step (S110), a learning step (S120), and a learning evaluation step (S130). And a search step S140. Hereinafter, each step will be described.

상기 타겟 영상 획득 단계(S110)는, 타겟 영상을 획득할 수 있다. 일 실시 예에 따르면, 상기 타겟 영상은 사이드 스캔 소나(Side Scan SONAR)를 통하여 획득될 수 있다. In the target image acquisition step (S110), a target image may be acquired. According to an embodiment of the present disclosure, the target image may be obtained through a side scan sonar.

일 실시 예에 따르면, 상기 타겟 영상은 학습 타겟 영상 또는 실제 타겟 영상으로 사용될 수 있다. 상기 학습 타겟 영상은, 상기 학습 단계(S120) 및 상기 학습 평가 단계(S130)에서 사용되는 영상일 수 있다. 상기 실제 타겟 영상은, 상기 탐색 단계(S140)에서 사용되는 영상일 수 있다. According to an embodiment of the present disclosure, the target image may be used as a learning target image or an actual target image. The learning target image may be an image used in the learning step S120 and the learning evaluation step S130. The actual target image may be an image used in the searching step S140.

상기 학습 단계(S120)는, 상기 학습 타겟 영상 중 위험체와 관련된 관심 영역을 매칭할 수 있다. 일 실시 예에 따르면, 상기 위험체는 기뢰일 수 있다. 즉, 상기 학습 단계(S120)는 상기 타겟 영상 획득 단계(S110)에서 획득된 상기 학습 타겟 영상 내에서 상기 위험체를 찾아낼 수 있다. The learning step S120 may match a region of interest associated with a dangerous object in the learning target image. According to one embodiment, the dangerous agent may be a mine. That is, in the learning step S120, the dangerous object may be found in the learning target image acquired in the target image obtaining step S110.

상기 학습 단계(S120)에서, 상기 학습 타겟 영상 중 상기 위험체와 관련된 관심 영역을 매칭할 때, 상기 관심 영역은 상기 위험체를 나타내는 하이라이트 영역만으로 정의된 제1 영역일 수 있다. 상기 제1 영역에 관한 구체적인 설명은, 도 1을 참조하여 설명된 상기 제1 영역과 같음에 따라, 생략된다. In the learning step (S120), when matching a region of interest associated with the dangerous object among the learning target images, the region of interest may be a first region defined by only a highlight area representing the dangerous body. A detailed description of the first area is omitted as it is the same as the first area described with reference to FIG. 1.

상기 학습 평가 단계(S130)는, 상기 학습 단계(S120)에서 매칭한 결과에 대해 평가할 수 있다. 구체적으로, 상기 학습 평가 단계(S130)는 상기 학습 단계(S120)를 통하여 상기 학습 타겟 영상 중 상기 관심 영역과 매칭된 결과를 기초로, 정밀도(Precision), 재현율(Recall), 및 평균 AP(Mean Average Precison)을 측정할 수 있다. 상기 정밀도, 재현율, 및 평균 AP에 관한 설명은 도 3 내지 도 5를 참조하여 설명된 바와 같을 수 있다. The learning evaluation step S130 may evaluate the result matched in the learning step S120. In detail, the learning evaluation step S130 is based on a result matched with the ROI of the learning target image through the learning step S120, such as precision, recall, and average AP. Average Precison) can be measured. The description of the precision, recall, and average AP may be as described with reference to FIGS. 3 to 5.

상기 학습 평가 단계(S130)는, 상기 재현율 또는 상기 평균 AP가 미리 정해진 값 이하인 경우, 상기 학습 평가 단계(S130)에 추가 학습을 요청할 수 있다. 일 실시 예에 따르면, 상기 학습 평가 단계(S130)는 상기 재현율 또는 상기 평균 AP가 미리 정해진 값 이하인 경우, 상기 학습 단계(S120)에 상기 관심 영역의 변경을 요청하고, 상기 학습부(120)는 상기 학습 타겟 영상 중 상기 변경된 관심 영역을 매칭할 수 있다. 상기 추가 학습 요청은, 상기 재현율 및 상기 평균 AP 중 적어도 하나가 미리 정해진 기준 이상이 될 때까지 반복 수행될 수 있다. 이때, 변경된 관심 영역 또한 상술된 바와 같이, 위험체에 대한 하이라이트만으로 이루어진 영역일 수 있다.In the learning evaluation step S130, when the reproduction rate or the average AP is less than or equal to a predetermined value, the learning evaluation step S130 may request additional learning. According to an embodiment of the present disclosure, when the learning rate or the average AP is less than or equal to a predetermined value, the learning evaluation step S130 requests the learning step S120 to change the ROI, and the learning unit 120 The changed ROI of the learning target image may be matched. The additional learning request may be repeatedly performed until at least one of the recall and the average AP is equal to or greater than a predetermined criterion. In this case, as described above, the changed ROI may also be an area including highlights only for the dangerous object.

한편, 상기 학습 평가 단계(S130)에서 정밀도 보다 재현율에 가중치가 부여될 수 있다. 즉, 정밀도가 미리 정해진 기준 이상이나 재현율이 미리 정해진 기준 이하인 경우, 추가 학습이 요청될 수 있다. 이와 달리, 정밀도가 미리 정해진 기준 이하이나 재현율이 미리 정해진 기준 이상인 경우, 추가 학습은 생략될 수 있다.On the other hand, in the learning evaluation step (S130) may be weighted to the reproduction rate rather than precision. That is, if the precision is above a predetermined criterion or the reproducibility is below a predetermined criterion, additional learning may be requested. Alternatively, further learning may be omitted if the precision is below a predetermined criterion or the recall is above a predetermined criterion.

상기 탐색 단계(S140)는, 상기 학습 평가 단계(S130)에서, 상기 평균 AP 및 상기 재현율 중 적어도 하나가 미리 정해진 기준 이상인 경우, 상기 타겟 영상 획득부를 통하여 획득된 실제 타겟 영상 내에서 관심 영역을 매칭할 수 있다. 이에 따라, 본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 방법은, 사이드 스캔 소나를 통해 획득한 영상에서 위험체를 용이하게 탐지할 수 있다. The search step (S140), in the learning evaluation step (S130), if at least one of the average AP and the reproduction rate is more than a predetermined reference, matching the ROI in the actual target image obtained through the target image acquisition unit can do. Accordingly, in the image information-based dangerous object detection method according to an embodiment of the present invention, the dangerous object may be easily detected from an image acquired through the side scan sonar.

본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 방법은, 상기 학습 단계(S120)에서, 상기 학습 타겟 영상 중 위험체와 관련된 관심 영역을 매칭할 경우, 상기 위험체의 하이라이트만으로 이루어진 제1 관심 영역으로 매칭할 수 있다. 이에 따라, 상기 위험체의 하이라이트 및 그림자로 이루어진 제2 관심 영역으로 매칭하는 경우와 비교하여 상기 재현율 및 상기 평균 AP가 향상될 수 있다. In the image information-based dangerous object detection method according to an embodiment of the present disclosure, in the learning step (S120), when matching a region of interest associated with a dangerous object in the learning target image, the first interest includes only highlights of the dangerous material. Can match by region. Accordingly, the reproducibility and the average AP may be improved as compared with the case of matching the second ROI including highlights and shadows of the dangerous object.

구체적으로, 상기 위험체에 사이드 스캔 소나에 의한 음파가 제공되어 영상을 형성하는 경우, 상기 위험체와 상기 음파에 대한 각도에 따라 상기 위험체의 그림자 영역의 크기는 변화될 수 있다. 특히, 해저에서는 상기 위험체와 상기 음파에 대한 각도의 변화가 크게 때문에, 상기 위험체의 그림자 영역의 크기 변화량이 클 수 있다. 이에 따라, 상기 위험체의 하이라이트만으로 이루어진 1 관심 영역으로 매칭함에 따라, 제2 관심 영역으로 매칭하는 경우와 비교하여 상기 재현율 및 상기 평균 AP가 향상될 수 있다. Specifically, when the sound wave is provided to the dangerous object by the side scan sonar to form an image, the size of the shadow area of the dangerous object may be changed according to the angle between the dangerous object and the sound wave. In particular, since the change of the angle with respect to the dangerous object and the sound wave is large in the seabed, the size change amount of the shadow area of the dangerous object may be large. Accordingly, the matching rate and the average AP may be improved as compared to the case of matching the second region of interest, by matching the region of interest consisting of only the highlight of the dangerous substance.

이상, 본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 방법이 설명되었다. 이하, 본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 컴퓨터프로그램이 설명된다. In the above, the method for detecting dangerous substances based on image information according to an embodiment of the present invention has been described. Hereinafter, an image information based dangerous object detection computer program according to an embodiment of the present invention will be described.

본 발명의 실시 예에 다른 영상정보 기반 위험체 탐지 컴퓨터 프로그램은, 타겟 영상 획득 단계, 학습 단계, 학습 평가 단계, 및 탐색 단계를 실행시키기 위해 매체에 저장될 수 있다. An image information-based dangerous object detection computer program according to an embodiment of the present invention may be stored in a medium to execute a target image acquisition step, a learning step, a learning evaluation step, and a searching step.

상기 타겟 영상 획득 단계, 학습 단계, 학습 평간 단계, 및 탐색 단계는 도 6을 참조하여 설명된 상기 타겟 영상 획득 단계(S110), 상기 학습 단계(S120), 상기 학습 평가 단계(S130), 및 상기 탐색 단계(S140)과 같을 수 있다. 이에 따라, 각 단계에 대한 구체적인 설명은 생략된다. The target image acquiring step, the learning step, the learning intermediary step, and the searching step may include the target image acquiring step S110, the learning step S120, the learning evaluation step S130, and the operation described with reference to FIG. 6. It may be the same as the searching step S140. Accordingly, detailed description of each step is omitted.

이하, 본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 시스템의 실험 결과가 설명된다. Hereinafter, the experimental results of the image information-based dangerous object detection system according to an embodiment of the present invention.

도 9 내지 도 11은 본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 시스템을 통해 위험체를 촬영하여 분석한 사진들이다. 9 to 11 are photographs analyzed by photographing a dangerous object through a video information based dangerous object detection system according to an exemplary embodiment of the present invention.

도 9 내지 도 11을 참조하면, 상기 실시 예에 따른 영상정보 기반 위험체 탐지 시스템을 통해 위험체를 판단하되, 관심 영역이 하이라이트 및 그림자로 이루어진 제2 영역으로 매칭된 경우와, 관심 영역이 하이라이트만으로 이루어진 제1 영역으로 매칭된 경우를 각각 도 9(a)와 도 9(b)에 나타내었다. 제2 영역으로 촬영된 경우에 대해 도 9 내지 도 11의 (a)에서 나타내고, 제1 영역으로 촬영된 경우에 대해 도 9 내지 도 11의 (b)에서 나타내었다. 9 to 11, when the dangerous object is determined through the image information-based dangerous object detection system according to the embodiment, the ROI is matched with a second area including highlights and shadows, and the ROI is highlighted. 9 (a) and 9 (b) show a case where the first region is formed of only the first region. 9 to 11 (a) show the case where the image is captured to the second area, and 9 to 11 (b) show the case where the image is taken to the first region.

도 9의 (a) 및 (b)에서 확인할 수 있듯이, 상기 관심 영역이 제2 영역으로 설정되어 매칭된 결과 False Positive 및 True Positive가 발견되었지만, 상기 관심 영역이 제1 영역으로 설정되어 매칭된 결과 True Positive만 발견된 것을 알 수 있다. 즉, 상기 관심 영역이 제1 영역으로 설정되어 매칭된 경우 정밀도가 향상되는 것을 알 수 있다. As shown in FIGS. 9A and 9B, although the ROI is set as the second region and a matching result is found, a false positive and a true positive are found, but the ROI is set as the first region and the matching result is found. It can be seen that only true positives have been found. That is, it can be seen that the accuracy is improved when the region of interest is set as the first region and is matched.

도 10의 (a) 및 (b)에서 확인할 수 있듯이, 상기 관심 영역이 제2 영역으로 설정되어 매칭된 결과 False Positive 및 False Negative가 발견되었지만, 상기 관심 영역이 제1 영역으로 설정되어 매칭된 결과, False Positive는 발견되지 않고 False Negative는 True Positive로 발견된 것을 알 수 있다. 즉, 상기 관심 영역이 제1 영역으로 설정되어 매칭된 경우, False Negative 가 True Positive로 변경된 것으로 보아 재현율이 향상된 것을 알 수 있다. 즉, 관심 영역이 제2 영역으로 설정된 경우, 기뢰임에도 학습부가 어떤 객체도 판단하지 못하였기 때문에, False Negative로 판단된 부분이 있었으나, 관심 영역이 제1 영역으로 설정된 경우, 기뢰가 정확히 판단될 수 있었다. 이에 따라 정밀도 및 재현율 모두 향상될 수 있음을 알 수 있다. 특히 재현율이 향상되기 때문에 기뢰를 누락 없이 판단할 수 있다.As shown in (a) and (b) of FIG. 10, a false positive and a false negative are found as the ROI is set as the second area, but the ROI is set as the first area and matched. In this case, the false positive is not found and the false negative is found as the true positive. That is, when the region of interest is set as the first region and matched, it can be seen that the reproducibility is improved because False Negative is changed to True Positive. That is, when the region of interest is set as the second region, there was a portion determined as False Negative because the learning unit did not determine any object even though the mine was a mine, but when the region of interest is set as the first region, the mine may be correctly determined. there was. Accordingly, it can be seen that both precision and recall can be improved. In particular, since the recall is improved, mines can be determined without omission.

도 11의 (a) 및 (b)에서 확인할 수 있듯이, 상기 관심 영역이 제2 영역으로 설정되어 매칭된 결과, False Positive, True Positive, 및 False Negative가 발견되었지만, 상기 관심 영역이 제1 영역으로 설정되어 매칭된 결과 False Negative가 True Positive로 변경되어 발견되는 것을 알 수 있다. 즉, 상기 관심 영역이 제1 영역으로 설정되어 매칭된 경우, 재현율이 향상된 것을 알 수 있다. 특히, 관심 영역이 제2 영역으로 설정된 경우, 기뢰임에도 학습부가 어떤 객체도 판단하지 못하였기 때문에, False Negative로 판단된 부분이 있었으나, 관심 영역이 제1 영역으로 설정된 경우, 기뢰가 정확히 판단될 수 있었다. 이에 따라 재현율 이 향상될 수 있음을 알 수 있다. 특히 재현율이 향상되기 때문에 기뢰를 누락 없이 판단할 수 있다. 반면에 관심 영역이 제2 영역으로 설정된 경우, False negative가 추가되었으나, 기뢰를 누락없이 판단하는 것이 더 중요하기 때문에 수용할 수 있는 결과로 판단된다.As shown in FIGS. 11A and 11B, although the ROI is set as the second region and a match is found, False Positive, True Positive, and False Negative are found, but the ROI is the first region. As a result of setting and matching, it can be found that False Negative is changed to True Positive. That is, when the region of interest is set as the first region and matched, it can be seen that the recall is improved. In particular, when the region of interest is set as the second region, there was a portion determined as False Negative because the learning unit did not determine any object even though the mine was a mine, but when the region of interest is set as the first region, the mine may be correctly determined. there was. Accordingly, it can be seen that the recall can be improved. In particular, since the recall is improved, mines can be determined without omission. On the other hand, if the region of interest is set as the second region, False negative is added, but it is judged to be acceptable because it is more important to determine the mine without missing.

본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 시스템은, 사이드 스캔 소나를 통하여 학습 타겟 영상을 획득하는 상기 타겟 영상 획득부(110), 상기 학습 타겟 영상 중 위험체와 관련된 관심 영역을 매칭하는 상기 학습부(120), 상기 학습부(120)가 매칭한 결과에 대해 평가하는 상기 평가부(130), 및 상기 타겟 영상 획득부(110)를 통하여 획득된 실제 타겟 영상 내에서 관심 영역을 매칭하는 상기 탐색부(140) 중 적어도 하나로 구성될 수 있다. In the image information-based dangerous object detection system according to an embodiment of the present invention, the target image acquisition unit 110 for acquiring a learning target image through a side scan sonar, and matching a region of interest associated with the dangerous object among the learning target images. Matches the ROI within the actual target image acquired through the learner 120, the evaluator 130 evaluating the matching result of the learner 120, and the target image acquirer 110. At least one of the search unit 140 may be configured.

또한, 상기 영상정보 기반 위험체 탐지 시스템은, 상기 관심 영역이 상기 위험체에 대한 하이라이트만으로 이루어진 제1 영역일 수 있다. 즉, 상기 영상정보 기반 위험체 탐지 시스템은, 사이드 스캔 소나를 통해 획득한 영상에서 위험체를 탐지할 경우, 상기 위험체에 대한 하이라이트만으로 이루어진 영역을 사용하여 탐지할 수 있다. 이에 따라, 음파를 통해 생성된 영상 내에서 위험체를 정확히 찾아낼 수 있는 재현율(Recall)이 향상될 수 있다. The image information based dangerous object detection system may be a first region in which the region of interest includes only highlights of the dangerous object. In other words, when detecting a dangerous object in an image acquired through a side scan sonar, the image information based dangerous object detection system may detect the dangerous object using an area including only highlights of the dangerous object. As a result, a recall that accurately detects a dangerous substance in an image generated through sound waves may be improved.

또한, 상기 영상정보 기반 위험체 탐지 시스템은, 상기 학습 타겟 영상 중 위험체와 관련된 관심 영역을 매칭할 경우, 상기 위험체와 상기 사이드 스캔 소나에 의한 음파의 각도 변화에 대한 변화량이 작은, 상기 위험체의 하이라이트만으로 이루어진 상기 제1 영역으로 매칭함에 따라, 상기 재현율 및 상기 평균 AP가 향상될 수 있다. In addition, the image information-based dangerous object detection system, when matching the region of interest associated with the dangerous object in the learning target image, the change amount of the change in the angle of the sound wave caused by the dangerous object and the side scan sonar, the risk By matching to the first region consisting of only the highlights of the sieve, the recall and the average AP may be improved.

또한, 본 발명의 실시 예에 따른 영상정보 기반 위험체 탐지 방법은, 상기 타겟 영상 획득 단계, 상기 학습 단계, 상기 학습 평가 단계, 및 상기 탐색 단계를 포함하고, 상술된 각 단계들을 실행시키기 위해 매체에 저장되어 컴퓨터프로그램으로 사용될 수 있다. In addition, the image information-based dangerous object detection method according to an embodiment of the present invention, including the target image acquisition step, the learning step, the learning evaluation step, and the search step, the medium to execute the above-described steps It can be stored in and used as a computer program.

이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.As mentioned above, although this invention was demonstrated in detail using the preferable embodiment, the scope of the present invention is not limited to a specific embodiment, Comprising: It should be interpreted by the attached Claim. In addition, those skilled in the art should understand that many modifications and variations are possible without departing from the scope of the present invention.

100: 영상정보 기반 위험체 탐지 시스템
110: 타겟 영상 획득부
120; 학습부
130: 학습 평가부
140: 탐색부100: Video information based dangerous object detection system
110: target image acquisition unit
120; Learning Department
130: learning evaluation unit
140: search unit

Claims

A target image acquisition unit for acquiring a learning target image through a side scan sonar; And
Including the learning unit to match the ROI associated with the dangerous object of the learning target image,
The region of interest is an image information-based dangerous object detection system comprising the first region, the first region including only highlights for the dangerous substances and the second region including highlights and shadows.

According to claim 1,
Further includes a learning evaluation unit,
The learning evaluator is based on a result of the matching learning unit,
The learning unit determines that the object that determines whether the region of interest in the learning target image is positive, and determines that the object that does not determine whether the region of interest in the learning target image is negative,
Of the entities determined to be positive, if the dangerous substance designated as the ROI is correct, it is determined as true, and if it is not the dangerous substance designated as the ROI, it is determined as false,
The image information-based dangerous object detection system of the object determined to be negative, if the dangerous object designated as the region of interest is correct, and if not the dangerous object designated as the region of interest.

The method of claim 2,
The learning evaluation unit,
Image information-based dangerous object detection system that defines the ratio of the number of the object determined to the true to the number of the object determined to be positive.

The method of claim 3, wherein
The learning evaluation unit,
The sum of the number of entities determined to be true among the entities determined to be positive compared to the sum of the number of entities determined to be true among the entities determined to be positive and the number of entities determined to be false among the entities determined to be negative. Image information-based dangerous object detection system that defines the ratio as a recall.

The method of claim 4, wherein
The learning evaluation unit is a video information-based dangerous object detection system for weighting the reproduction rate of the precision and the reproduction rate.

The method of claim 4, wherein
And the learning evaluator defines an average of areas formed when the X axis is the reproducibility and the Y axis is the precision as an average AP (Mean Average Precisioon).

The method according to claim 5 or 6,
And the learning evaluator requests additional learning to the learning unit when the reproduction rate or the average AP is less than or equal to a predetermined value.

The method according to claim 5 or 6,
The learning evaluator, when the reproduction rate or the average AP is less than or equal to a predetermined value, requests the change of the ROI,
The learning unit matches the changed region of interest of the target image, image information based dangerous object detection system.

The method of claim 8,
Further comprising a searcher,
The search unit, in the learning evaluator, when at least one of the average AP and the recall rate is greater than or equal to a predetermined criterion, the image information matching the region of interest in the actual target image acquired through the target image acquisition unit. Based Hazard Detection System.

A target image acquisition step of acquiring a learning target image through a side scan sonar; And
A learning step of matching a region of interest associated with a dangerous object in the learning target image,
And the ROI is a first area including only highlights of the dangerous objects and a second area including highlights and shadows.

The method of claim 10,
Further includes a learning evaluation step,
The learning evaluation step, based on the matching result of the learning step,
Determine that the object determining whether the learning step is the region of interest in the learning target image is positive, determine the object that does not determine whether the region of interest in the learning target image is negative,
Of the entities determined to be positive, if the dangerous substance designated as the ROI is correct, it is determined as true, and if it is not the dangerous substance designated as the ROI, it is determined as false,
The image information-based dangerous object detection method of the object determined to be negative, if the dangerous object designated as the region of interest is correct, and if not the dangerous substance designated as the region of interest.

The method of claim 11, wherein
The learning evaluation step,
And a ratio of the number of the objects determined to true to the number of the objects determined to be positive as precision.

The method of claim 12,
The learning evaluation step,
The sum of the number of entities determined to be true among the entities determined to be positive compared to the sum of the number of entities determined to be true among the entities determined to be positive and the number of entities determined to be false among the entities determined to be negative. Image information-based dangerous object detection method that defines the ratio as recall.

The method of claim 13,
The learning evaluation step is a risk information detection method based on the image information to give a weight to the reproduction rate of the precision and the reproduction rate.

The method of claim 13,
The learning evaluation step, the image information-based dangerous object detection method for defining the average of the area formed when the X-axis is the reproducibility, and the Y-axis with the precision as the mean AP (Mean Average Precisioon).

The method according to claim 14 or 15,
The learning evaluation step, the image information-based dangerous object detection method for requesting further learning when the recall or the average AP is less than a predetermined value.

The method according to claim 14 or 15,
The learning evaluation step, if the recall or the average AP is less than a predetermined value, request to change the region of interest,
The learning step matches the changed region of interest of the target image, image information-based dangerous object detection method.

The method of claim 17,
Further includes a search step,
In the learning evaluation step, in the learning evaluation step, when at least one of the average AP and the recall rate is equal to or greater than a predetermined criterion, the ROI is matched within the actual target image acquired through the target image acquisition step. Video information based dangerous object detection method.

A target image acquisition step of acquiring a learning target image through a side scan sonar; And
Is stored in the medium to perform the learning step of matching the region of interest associated with the dangerous object of the learning target image,
And the region of interest comprises the first region, the first region comprising only highlights for the dangerous substances and the second region consisting of highlights and shadows.