KR102320142B1 - Method and system for monitoring marine safety accidents based on artificial intelligence - Google Patents
Method and system for monitoring marine safety accidents based on artificial intelligence Download PDFInfo
- Publication number
- KR102320142B1 KR102320142B1 KR1020200061799A KR20200061799A KR102320142B1 KR 102320142 B1 KR102320142 B1 KR 102320142B1 KR 1020200061799 A KR1020200061799 A KR 1020200061799A KR 20200061799 A KR20200061799 A KR 20200061799A KR 102320142 B1 KR102320142 B1 KR 102320142B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- safety accident
- marine
- learning
- artificial intelligence
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
Description
본 발명은 인공지능을 기반으로 해양안전사고의 발생을 모니터링하기 위한 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for monitoring the occurrence of maritime safety accidents based on artificial intelligence.
일반적으로 해역에서는 높은 어획강도, 활발한 해상교역과 여객수송, 다양한 레저활동, 각종 해양 및 항만시설 등 복잡한 해상교통 환경으로 인해 해양안전사고(또는 해양사고) 위험 가능성이 상존하고 있는 상황이다. In general, the risk of maritime safety accidents (or marine accidents) exists in the sea area due to the complex marine traffic environment such as high fishing intensity, active maritime trade and passenger transportation, various leisure activities, and various marine and port facilities.
여기서 해양안전사고는, 해상에서 일어나는 모든 사고로, 예를 들면 선박의 충돌, 화재, 침몰, 좌초, 표류, 기관의 고장 등이 있을 수 있다.Here, maritime safety accidents are all accidents occurring at sea, for example, collisions of ships, fires, sinkings, strandings, drifting, engine failures, and the like.
일반적으로 선박은 화물이나 승객을 해상에서 수송하거나 어업을 위해 사용되는 운송수단으로, 선체 내부에는 기관실 및 선원실 등을 포함한다.In general, a ship is a means of transport used for transporting cargo or passengers on the sea or for fishing, and includes an engine room and a crew room inside the hull.
이러한 선박은 수심이 낮은 연안의 경우 암초에 선체가 부딪히거나, 선박들 간의 충돌 발생 또는 기상상태의 원인으로 선박이 침몰하거나 또는 파손의 우려가 높다. 이러한 선박으로 인한 해양안전사고는, 재산적, 환경적 피해가 발생할 뿐만 아니라 대형 인명 사고로 이어질 수 있다.In the case of such a vessel, there is a high risk of sinking or damage due to a hull hitting a reef in the case of a low water depth, collision between vessels, or weather conditions. Maritime safety accidents caused by such ships can lead to not only property and environmental damage, but also large-scale human accidents.
따라서 본 발명은, 보다 정확도 높은 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템을 제안한다.Accordingly, the present invention proposes a method and system for monitoring maritime safety accidents based on artificial intelligence with higher accuracy.
본 발명의 일 목적은, 해양안전사고가 발생하는 경우 신속하게 대응하기 위한 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템을 제공하는 것이다.One object of the present invention is to provide an artificial intelligence-based maritime safety accident monitoring method and system for promptly responding to maritime safety accidents.
본 발명의 일 목적은, 다양한 조건의 해양안전사고와 관련된 영상을 수집하고, 이를 통해 해양안전사고를 모니터링할 수 있는 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템을 제공하는 것이다.An object of the present invention is to provide an artificial intelligence-based maritime safety accident monitoring method and system capable of collecting images related to marine safety accidents under various conditions and monitoring marine safety accidents through this.
본 발명은 인공지능 기반의 해양안전사고 모니터링 방법에 관한 것으로, 해양안전사고에 해당하는 이미지들을 포함하는 학습데이터를 수집하는 단계, 상기 학습데이터를 기반으로, 상기 해양안전사고에 해당하는 이상 패턴을 학습하여 학습 모델을 생성하는 단계, 카메라로부터 해양을 촬영한 해양 영상을 수신하는 단계, 상기 학습 모델을 기반으로, 상기 해양 영상에서 상기 이상 패턴의 발생을 모니터링하여, 해양안전사고의 발생 여부를 판단하는 단계 및 상기 해양안전사고의 발생이 판단되는 경우, 상기 해양안전사고의 알림 신호를 생성하고, 상기 해양 영상에서 상기 이상 패턴을 보이는 객체를 추적하는 단계를 포함하는 것을 특징으로 한다.The present invention relates to an artificial intelligence-based maritime safety accident monitoring method, comprising: collecting learning data including images corresponding to maritime safety accidents; based on the learning data, abnormal patterns corresponding to the maritime safety accidents Creating a learning model by learning, receiving an ocean image of the ocean from a camera, and monitoring the occurrence of the abnormal pattern in the ocean image based on the learning model to determine whether a marine safety accident occurs and generating a notification signal of the marine safety accident when the occurrence of the marine safety accident is determined, and tracking the object showing the abnormal pattern in the marine image.
일 예로서, 상기 학습데이터는, 개발 플랫폼을 이용하여, 가상의 해양환경 시뮬레이션으로 구현된 제1영상을 포함하는 것을 특징으로 한다.As an example, the learning data may include a first image implemented as a virtual marine environment simulation using a development platform.
일 예로서, 상기 학습데이터는, 개발 플랫폼은, 유니티 엔진(Unity Engine)인 것을 특징으로 한다.As an example, the learning data, the development platform, is characterized in that the Unity engine (Unity Engine).
이 예로서, 상기 학습데이터는, 외부 서버로부터 다운로드된 제2영상 및 상기 카메라를 통해 촬영된 제3영상을 더 포함하는 것을 특징으로 한다.As an example, the learning data may further include a second image downloaded from an external server and a third image captured by the camera.
일 예로서, 상기 학습 모델을 생성 단계에서는, 제1영상, 제2영상 및 제3영상 중 적어도 하나의 영상을 이용하여 상기 학습 모델을 생성하는 것을 특징으로 한다.As an example, in the generating of the learning model, the learning model is generated by using at least one of a first image, a second image, and a third image.
일 예로서, 상기 학습 모델 생성 단계에서는, 상기 학습데이터를 이용하여, 합성곱 신경망(CNN)을 구축하는 단계, 상기 합성곱 신경망을 기반으로 객체를 검출하고, 상기 객체의 이상 패턴의 발생 여부를 판단하는 단계, 상기 판단 결과를 피드백하여 상기 학습 모델을 생성하는 단계를 포함하는 것을 특징으로 한다.As an example, in the learning model creation step, using the learning data, constructing a convolutional neural network (CNN), detecting an object based on the convolutional neural network, and determining whether an abnormal pattern of the object occurs It characterized in that it comprises the step of determining, and generating the learning model by feeding back the determination result.
일 예로서, 상기 객체의 이상 패턴의 발생 여부를 판단하는 단계에서는, 상기 합성곱 신경망을 기반으로, R-CNN(Region of Convolutional Neural Network), YOLO(You Only Look Once) 및 AlexNet 중 적어도 하나를 이용하여 객체를 검출 및 분류하는 것을 특징으로 한다.As an example, in the step of determining whether the abnormal pattern of the object occurs, at least one of R-CNN (Region of Convolutional Neural Network), YOLO (You Only Look Once), and AlexNet based on the convolutional neural network It is characterized in that the object is detected and classified using
한편, 본 발명은 인공지능 기반의 해양안전사고 모니터링 시스템에 관한 것으로, 해양안전사고에 해당하는 이미지들을 포함하는 학습데이터를 수집하는 학습데이터 수신부, 상기 학습데이터로부터 상기 해양안전사고에 해당하는 이상 패턴을 학습하여 학습 모델을 생성하는 학습부, 카메라로부터 해양을 촬영한 해양 영상을 수신하는 해양 영상 수신부, 상기 학습 모델을 기반으로, 상기 해양 영상에서 상기 이상 패턴의 발생을 모니터링하여, 해양안전사고의 발생 여부를 판단하는 모니터링부 및 상기 해양안전사고의 발생이 판단되는 경우, 상기 해양안전사고의 알림 신호를 생성하고, 상기 해양 영상에서 상기 이상 패턴을 보이는 객체를 추적하는 제어부를 포함하는 것을 특징으로 한다.On the other hand, the present invention relates to an artificial intelligence-based maritime safety accident monitoring system, a learning data receiving unit that collects learning data including images corresponding to maritime safety accidents, and an abnormal pattern corresponding to the maritime safety accident from the learning data. A learning unit that generates a learning model by learning, a marine image receiving unit that receives a marine image of the ocean from a camera, and monitoring the occurrence of the abnormal pattern in the marine image based on the learning model, A monitoring unit that determines whether or not the occurrence of the marine safety accident occurs, and a control unit that generates a notification signal of the marine safety accident when the occurrence of the marine safety accident is determined, and tracks the object showing the abnormal pattern in the marine image do.
일 예로서, 상기 학습데이터는, 개발 플랫폼을 이용하여, 가상의 해양환경 시뮬레이션으로 구현된 제1영상을 포함하는 것을 특징으로 한다.As an example, the learning data may include a first image implemented as a virtual marine environment simulation using a development platform.
일 예로서, 상기 해양안전사고의 알림 신호를 사용자의 전자기기, 선박 시스템 및 관제 시스템 중 적어도 하나로 전송하는 출력부를 더 포함하는 것을 특징으로 한다.As an example, it characterized in that it further comprises an output unit for transmitting the notification signal of the marine safety accident to at least one of a user's electronic device, a ship system, and a control system.
본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 다양한 조건을 만족하는 해양안전사고와 관련된 영상을 수집하여 보다 정확하게 해양안전사고를 모니터링할 수 있다. 따라서 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 가상의 해양 환경 시뮬레이션을 이용함으로써, 사용자가 직접 실험을 통해 촬영할 수 없는 다양한 조건의 해양안전사고와 관련된 영상을 수집하고 이를 기반으로 학습 모델을 구축할 수 있다.The artificial intelligence-based maritime safety accident monitoring method and system according to the present invention can more accurately monitor maritime safety accidents by collecting images related to maritime safety accidents satisfying various conditions. Therefore, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention collects images related to maritime safety accidents in various conditions that the user cannot directly take through experiments by using a virtual marine environment simulation, and based on this to build a learning model.
또한 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 인공지능 기반의 학습 모델을 기반으로 해양안전사고에 해당하는 이상 패턴의 발생을 모니터링하여 해양안전사고의 발생을 신속하게 대응할 수 있다.In addition, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention can monitor the occurrence of an abnormal pattern corresponding to a maritime safety accident based on an artificial intelligence-based learning model to quickly respond to the occurrence of a maritime safety accident. have.
또한 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 랜덤한 유형의 해양안전 사고를 모니터링함으로써, 다양한 형태의 해양안전사고를 식별하는 학습법의 개발을 도모할 수 있다. 나아가 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 랜덤한 유형에 대응가능한 학습 데이터의 분류 체계를 정립할 수 있다.In addition, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention can promote the development of a learning method for identifying various types of maritime safety accidents by monitoring random types of maritime safety accidents. Furthermore, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention can establish a classification system of learning data that can respond to a random type.
또한 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 학습 데이터 및 학습 알고리즘의 고도화를 통하여 광범위하게 구현될 수 있다. In addition, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention can be widely implemented through the advancement of learning data and learning algorithms.
또한 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 수집이 어려운 학습 데이터를 시뮬레이션 이미지를 통하여 보완할 수 있다.In addition, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention can supplement difficult-to-collect learning data through a simulation image.
도 1은 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템의 전반적인 개념을 설명하기 위한 참조도면이다.
도 2는 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법의 흐름도이다.
도 3은 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법에서 학습 모델을 구축하는 방법을 도시한 흐름도이다.
도 4는 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법을 설명하기 위한 참조 도면이다. 다른 실시 예에 따른 선박 모니터링 방법의 흐름도이다.
도 5는 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 시스템의 구성도를 도시한 도면이다.1 is a reference view for explaining the overall concept of an artificial intelligence-based maritime safety accident monitoring method and system according to the present invention.
2 is a flowchart of an artificial intelligence-based maritime safety accident monitoring method according to the present invention.
3 is a flowchart illustrating a method of building a learning model in an artificial intelligence-based maritime safety accident monitoring method according to the present invention.
4 is a reference diagram for explaining an artificial intelligence-based maritime safety accident monitoring method according to the present invention. It is a flowchart of a ship monitoring method according to another embodiment.
5 is a diagram showing the configuration of an artificial intelligence-based maritime safety accident monitoring system according to the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, the embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar components will be given the same reference numbers regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "part" for the components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have a meaning or role distinct from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in the present specification, and the technical spirit disclosed herein is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention , should be understood to include equivalents or substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including an ordinal number, such as first, second, etc., may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be On the other hand, when it is mentioned that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The singular expression includes the plural expression unless the context clearly dictates otherwise.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, terms such as "comprises" or "have" are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.
본 발명은 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템에 관한 것이다. 다만, 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 해양에서 발생하는 해양안전사고뿐만 아니라, 육지에서 발생하는 안전사고를 모니터링하는데 활용될 수 있다.The present invention relates to an artificial intelligence-based maritime safety accident monitoring method and system. However, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention can be utilized to monitor not only maritime safety accidents occurring in the sea, but also safety accidents occurring on land.
이하에서 도면을 참조하여 본 발명을 보다 구체적으로 설명하도록 한다. Hereinafter, the present invention will be described in more detail with reference to the drawings.
도 1은 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템의 전반적인 개념을 설명하기 위한 참조도면이다. 도 2는 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법의 흐름도이다. 도 3은 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법에서 학습 모델을 구축하는 방법을 도시한 흐름도이다. 도 4는 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법을 설명하기 위한 참조 도면이다. 다른 실시 예에 따른 선박 모니터링 방법의 흐름도이다. 도 5는 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 시스템의 구성도를 도시한 도면이다.1 is a reference view for explaining the overall concept of an artificial intelligence-based maritime safety accident monitoring method and system according to the present invention. 2 is a flowchart of an artificial intelligence-based maritime safety accident monitoring method according to the present invention. 3 is a flowchart illustrating a method of building a learning model in an artificial intelligence-based maritime safety accident monitoring method according to the present invention. 4 is a reference diagram for explaining an artificial intelligence-based maritime safety accident monitoring method according to the present invention. It is a flowchart of a ship monitoring method according to another embodiment. 5 is a diagram showing the configuration of an artificial intelligence-based maritime safety accident monitoring system according to the present invention.
먼저 도 1을 참조하여, 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템의 전반적인 개념을 설명하도록 한다.First, with reference to FIG. 1, the overall concept of an artificial intelligence-based maritime safety accident monitoring method and system according to the present invention will be described.
해양안전사고를 모니터링하기위해서 먼저 본 발명은 영상을 수집할 필요가 있다. In order to monitor maritime safety accidents, the present invention first needs to collect images.
한편 수집된 영상은, 영상 처리를 위한 전처리 과정이 수행될 수 있다.Meanwhile, a pre-processing process for image processing may be performed on the collected image.
이때, 수집된 영상은, 정지영상 또는 동영상을 포함할 수 있다. 동영상의 경우, 학습데이터로 활용하기 위해 정지영상을 추출할 수 있다. 일 예로서, OpenCV를 이용해서 동영상으로부터 정지영상을 추출할 수 있다. OpenCV에서 제공하는 동영상 처리 함수(예를 들어, cvGrabFrame() 등의 함수)를 이용하여 정지영상 추출할 수 있다.In this case, the collected image may include a still image or a moving image. In the case of moving images, still images can be extracted to be used as learning data. As an example, a still image may be extracted from a video using OpenCV. A still image can be extracted using a video processing function (eg, a function such as cvGrabFrame()) provided by OpenCV.
한편, 수집된 원본 영상 또는 전처리 과정이 수행된 영상은, 학습 모델을 구축하기 위한 학습데이터로 활용될 수 있다.Meanwhile, the collected original image or the image on which the preprocessing process is performed may be used as learning data for building a learning model.
구축된 학습 모델을 통해, 실시간으로 촬영된 해양 영상(또는 녹화된 해양 영상)에서 객체를 검출하고, 검출된 객체의 종류를 분류하며, 분류된 객체를 추적함으로써, 해양안전사고로 인한 익수나 또는 사고가 발생한 선박 등을 모니터링할 수 있다.Through the built learning model, by detecting an object in a real-time captured marine image (or recorded marine image), classifying the detected object type, and tracking the classified object, drowning or It is possible to monitor ships, etc. where accidents have occurred.
이하에서는 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법을 도 2의 흐름도를 참조하여 구체적으로 설명하도록 한다.Hereinafter, an artificial intelligence-based maritime safety accident monitoring method according to the present invention will be described in detail with reference to the flowchart of FIG. 2 .
본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 시스템(이하, 해양안전사고 모니터링 시스템)은, 해양안전사고에 해당하는 이미지들을 포함하는 학습 데이터를 수집한다(S210). 그리고 해양안전사고 모니터링 시스템은, 수집된 학습데이터를 기반으로, 상기 해양안전사고에 해당하는 이상 패턴을 학습하여 학습 모델을 생성한다(S220).The artificial intelligence-based maritime safety accident monitoring system (hereinafter, maritime safety accident monitoring system) according to the present invention collects learning data including images corresponding to maritime safety accidents (S210). And the maritime safety accident monitoring system generates a learning model by learning the abnormal pattern corresponding to the maritime safety accident, based on the collected learning data (S220).
학습데이터를 수집하고(S210), 수집된 학습데이터를 이용하여 학습 모델을 구축하는 단계(S220)를, 도 3을 참조하여 보다 상세하게 설명하도록 한다.Collecting learning data (S210), and building a learning model using the collected learning data (S220) will be described in more detail with reference to FIG. 3 .
먼저 학습데이터를 수집하기 위해, 해양안전사고에 해당하는 이미지가 필요하다(S310).First, in order to collect learning data, an image corresponding to a maritime safety accident is required (S310).
여기서, 해양안전사고에 해당하는 이미지란, 해양안전사고와 관련된 이미지, 또는 해양안전사고가 발생되었음을 유추할 수 있는 이미지로써, 예를 들어, 바다에 빠진 익수자가 허우적거리는 이미지(도 4의 (a)), 바다에서 보트(또는 요트)가 이동하는 이미지(도 4의 (b)), 바다에서 이동하는 선박의 이미지(도 4의 (c)), 선박과 선박이 충돌할 위험이 있는 이미지, 태풍 등 기상상태로 인해 선박이 침몰하는 이미지, 또는 선박에 화재가 발생한 이미지 등을 포함할 수 있다. Here, the image corresponding to the marine safety accident is an image related to a marine safety accident or an image that can be inferred that a marine safety accident has occurred, for example, an image of a drowning person drowning in the sea (Fig. 4(a)). )), an image of a boat (or yacht) moving in the sea (Fig. 4 (b)), an image of a vessel moving in the sea (Fig. 4 (c)), an image with a risk of collision between the vessel and the vessel, It may include an image of a ship sinking due to a weather condition such as a typhoon, or an image of a fire occurring in a ship.
한편 학습데이터는, 해양안전사고에 해당하는 이미지와 해양안전사고에 해당하지 않는 이미지를 구분하기 위해 추가적으로 해양안전사고에 해당하지 않는 기준 이미지도 수집할 필요가 있다. Meanwhile, in the learning data, it is necessary to additionally collect reference images that do not correspond to marine safety accidents in order to distinguish between images corresponding to marine safety accidents and images not corresponding to marine safety accidents.
한편 본 발명에 따른 해양안전사고 모니터링 시스템은, 다양한 조건의 이미지를 학습데이터로 활용하기 위해, 다양한 방법으로 해양안전사고에 해당하는 이미지를 수집할 수 있다. 이하에서는, 학습데이터로 활용하기 위해 수집되는 복수의 이미지를 구분하기 위해, 제1영상, 제2영상 및 제3영상으로 기재하였다. 이는 설명의 편의를 위해 각각의 영상을 구분하기 위한 것이다.Meanwhile, the marine safety accident monitoring system according to the present invention may collect images corresponding to marine safety accidents in various ways in order to use images of various conditions as learning data. Hereinafter, in order to distinguish a plurality of images collected to be used as learning data, the first image, the second image, and the third image are described. This is to classify each image for convenience of explanation.
일 예로서, 해양안전사고 모니터링 시스템은, 외부 서버(예를 들어, 인터넷 서버, 또는 웹 서버, 또는 클라우드 서버)에서 해양안전사고에 해당하는 이미지를 포함하는 제2영상을 확보할 수 있다(S330). 이를 통해 기 촬영된 다양한 해양안전사고와 관련된 영상을 얻을 수 있는 장점이 있다.As an example, the marine safety accident monitoring system may secure the second image including the image corresponding to the marine safety accident from an external server (eg, an Internet server, a web server, or a cloud server) (S330) ). This has the advantage of being able to obtain previously recorded images related to various marine safety accidents.
다른 예로서, 해양안전사고 모니터링 시스템은, 운영자(또는 사용자)가 직접 재현한 상황에 대한 이미지 촬영을 진행할 수 있는 경우에는, 촬영된 해양안전사고에 해당하는 이미지를 포함하는 제3영상을 확보할 수 있다(S331). 예를 들어, 익수자가 허우적거리는 영상을 확보하기 위해, 안전이 보장된 상황에서 바다에 사람을 빠트려 직접 영상을 촬영할 수 있다. 또한 선박의 영상을 촬영하기 위해 선박을 임대하거나 실선시험을 통해 선박을 직접 촬영한 이미지를 확보할 수도 있다. As another example, the marine safety accident monitoring system may secure a third image including an image corresponding to the photographed marine safety accident when the operator (or user) can proceed with image shooting of the directly reproduced situation. can be (S331). For example, in order to secure a video of a drowning person struggling, it is possible to directly take a video by drowning a person in the sea in a safe situation. In addition, it is also possible to rent a ship to take an image of the ship or to obtain an image of the ship directly through a real ship test.
이를 통해, 외부 서버를 통해 다운로드 받을 수 없는 이미지, 즉, 운영자가 원하는 이미지를 사람 및 선박 등을 이용하여 그대로 재현함으로써 이미지를 얻을 수 있는 장점이 있다. 다만, 이러한 이미지는, 큰 비용과 시간이 요구되며, 해양안전사고를 재현하는 과정에서 안전상의 문제가 발생할 수 있는 문제점이 있다.Through this, there is an advantage in that an image that cannot be downloaded through an external server, that is, an image desired by an operator, can be reproduced as it is by using a person or a ship. However, these images require a large amount of money and time, and there is a problem in that safety problems may occur in the process of reproducing a marine safety accident.
또 다른 예로서, 해양안전사고 모니터링 시스템은, 외부 서버 또는 운영자의 직접 촬영으로도 얻기 어려운 영상은, 가상의 해양환경 시뮬레이션으로 구현된 해양안전사고 이미지를 포함하는 제1영상을 확보할 수 있다(S332). 이때 가상의 해양환경을 시뮬레이션한 이미지는, 개발 플랫폼을 통해 구현될 수 있다. 개발 플랫폼은, 가상의 시뮬레이션을 구현할 수 있는 플랫폼으로, 예를 들어, 유티니 엔진(Unity Engine)이 있다.As another example, the marine safety accident monitoring system may secure a first image including an image of a marine safety accident implemented by a virtual marine environment simulation for an image that is difficult to obtain even by direct shooting of an external server or an operator ( S332). In this case, the simulated image of the virtual marine environment may be implemented through the development platform. The development platform is a platform that can implement a virtual simulation, for example, there is a Unity Engine (Unity Engine).
따라서 해양안전사고 모니터링 시스템은, 유니티 엔진을 이용하여, 가상의 환경을 통해 파도, 날씨, 시간 등을 자유롭게 변경함으로써, 직접 촬영하기 어려운 환경의 해양안전사고 이미지를 다양한 각도에서 확보할 수 있다.Therefore, the marine safety accident monitoring system can secure marine safety accident images in environments that are difficult to directly photograph from various angles by freely changing waves, weather, time, etc. through a virtual environment using the Unity engine.
한편, 본 발명에 따른 해양안전사고 모니터링 시스템은, 상기 제1영상 내지 제3영상을 우선순위에 따라 수집할 수 있다.Meanwhile, the marine safety accident monitoring system according to the present invention may collect the first to third images according to priority.
도 3을 참조하면, 일 예로서, 해양안전사고에 해당하는 이미지가 필요한 경우, 외부 서버(예를 들어, 인터넷 서버)에서 사용자가 원하는 이미지를 확보할 수 있는지 여부를 판단한다(S320). 외부 서버(예를 들어, 인터넷 서버)에서 사용자가 원하는 이미지를 확보할 수 있는 경우에는, 외부 서버에서 제2영상을 확보할 수 있다(S330). Referring to FIG. 3 , as an example, when an image corresponding to a maritime safety accident is required, it is determined whether an image desired by the user can be obtained from an external server (eg, an Internet server) ( S320 ). When the user's desired image can be secured from an external server (eg, an Internet server), the second image can be secured from the external server (S330).
한편, 외부 서버에서 사용자가 원하는 이미지를 얻을 수 없는 경우에는, 사용자가 이미지 촬영을 진행할 수 있는지 여부를 판단한다(S321). 이 경우, 사용자가 원하는 이미지를 촬영할 수 있는 경우에는, 직접 재현한 상황을 촬영한 제3영상을 확보할 수 있다(S331). On the other hand, when the user cannot obtain the desired image from the external server, it is determined whether the user can proceed with image capturing (S321). In this case, if the user can take a desired image, the third image of the directly reproduced situation can be secured ( S331 ).
한편, 사용자가 원하는 이미지를 촬영할 수 없는 경우에는, 가상의 해상 시뮬레이션을 통해 구현된 제1영상을 확보할 수 있다(S332).Meanwhile, when the user cannot capture the desired image, the first image implemented through the virtual maritime simulation may be secured (S332).
이와 같이, 제2영상을 확보할 수 있는 경우에는 제2영상을 이용하여 학습을 수행할 수 있고, 제2영상을 확보할 수 없는 경우에는 제3영상을 이용하여 학습을 수행할 수 있으며, 제2영상 및 제3영상을 모두 확보할 수 없는 경우에는 제1영상을 이용하여 학습을 수행할 수 있다.In this way, when the second image can be secured, learning can be performed using the second image, and when the second image cannot be obtained, learning can be performed using the third image. If both the second image and the third image cannot be secured, learning may be performed using the first image.
한편, 상술한 우선 순위는 일 예로서 반드시 상기 순서에 구속되는 것은 아니며, 사용자 또는 관리 시스템의 설정에 따라 상기 순서는 변경될 수 있다.Meanwhile, the above-mentioned priority is not necessarily limited to the order as an example, and the order may be changed according to a setting of a user or a management system.
한편, 본 발명에 따른 해양안전사고 모니터링 시스템은, 상기 제1영상 내지 제3영상 중 적어도 하나의 영상을 이용하여 상기 학습 모델을 생성할 수 있다. 이 경우에는 반드시 우선순위에 따르는 것은 아니며, 수집되는 순서에 따라 순차적으로 적어도 하나의 영상에 대한 학습을 통해 학습 모델을 구축할 수 있다.Meanwhile, the marine safety accident monitoring system according to the present invention may generate the learning model by using at least one of the first to third images. In this case, the priority is not necessarily followed, and a learning model may be constructed by sequentially learning at least one image according to the order in which it is collected.
이상에서 살펴본 것과 같이, 다양한 방법으로 확보된 해양안전사고에 해당하는 이미지를 학습데이터로 활용할 수 있다(S340). 이와 같이 다양한 방법으로, 다양한 상황에 대한 이미지를 확보함으로써, 인공지능 기반의 기계 학습을 통해 보다 정확도 높은 해양안전사고 발생에 대한 모니터링이 가능하다.As described above, images corresponding to marine safety accidents secured in various ways can be used as learning data (S340). By securing images of various situations in such a variety of ways, it is possible to monitor the occurrence of maritime safety accidents with higher accuracy through artificial intelligence-based machine learning.
본 발명에 따른 해양안전사고 모니터링 시스템은, 수집된 학습데이터를 이용하여 해양안전사고에 해당하는 이상 패턴을 학습하기 위한 테스트를 수행할 수 있다(S350).The marine safety accident monitoring system according to the present invention may perform a test for learning an abnormal pattern corresponding to a marine safety accident by using the collected learning data (S350).
먼저 수집된 학습데이터를 이용하여, 합성곱 신경망(Convolutional Neural Network; CNN)을 구축한다.First, a convolutional neural network (CNN) is constructed using the collected learning data.
이때 본 발명에 따른 해양안전사고 모니터링 시스템은, 합성곱 신경망 기반으로, R-CNN(Region of Convolutional Neural Network), YOLO(You Only Look Once) 및 AlexNet 중 적어도 하나를 이용하여 객체를 검출하고, 검출된 객체를 분류할 수 있다. 상기 R-CNN(Region of Convolutional Neural Network), YOLO(You Only Look Once) 및 AlexNet 알고리즘을 구현하기 위해서는, 예를 들어, Python, TensorFlow 등을 사용하여 구현할 수 있다.At this time, the maritime safety accident monitoring system according to the present invention detects and detects an object using at least one of R-CNN (Region of Convolutional Neural Network), YOLO (You Only Look Once) and AlexNet based on a convolutional neural network. objects can be classified. In order to implement the Region of Convolutional Neural Network (R-CNN), You Only Look Once (YOLO), and AlexNet algorithms, for example, Python, TensorFlow, or the like may be used.
이때, R-CNN 알고리즘은, 물체를 인식하기 위한 기계 학습 알고리즘이다. 이미지가 입력되면, 관심 영역(ROI, Region of Interest)을 추출하기 위해 선택적 검색(Selective Search)이라는 메커니즘을 적용되고, 이를 통해 추출된 관심 영역에 다수의 경계박스(Bounding Box)를 이용하여 객체를 인식할 수 있다. R-CNN을 이용하여 객체를 인식하는 경우, 선택적 검색에 의해 생성된 2000개의 영역을 이용하여 식별함으로써 많은 추론이 필요하고, 시간이 오래 걸리는 단점이 있다.In this case, the R-CNN algorithm is a machine learning algorithm for recognizing an object. When an image is input, a mechanism called Selective Search is applied to extract a region of interest (ROI), and an object is identified using a plurality of bounding boxes in the extracted region of interest. can recognize In the case of recognizing an object using R-CNN, it requires a lot of inference and takes a long time by identifying it using 2000 areas generated by selective search.
한편, R-CNN의 단점을 보완한 YOLO 알고리즘은, 입력된 이미지를 S X S의 그리드(grid) 셀로 나누고 이를 통해 정답 경계박스를 추적하는 알고리즘이다. 이는 R-CNN보다 정확도는 다소 떨어지나, 추론 속도가 빠른 것이 가장 큰 장점이다.On the other hand, the YOLO algorithm that compensates for the shortcomings of R-CNN is an algorithm that divides the input image into grid cells of S X S and tracks the correct answer boundary box through this. This is somewhat less accurate than R-CNN, but the biggest advantage is that it has a fast inference speed.
한편, 본 발명에 따른 해양안전사고 모니터링 시스템은, CNN을 기반으로 검출 및 분류된 객체를 통해 해양안전사고에 해당하는 이상 패턴의 발생 여부를 판단할 수 있다.On the other hand, the marine safety accident monitoring system according to the present invention can determine whether an abnormal pattern corresponding to a marine safety accident occurs through an object detected and classified based on CNN.
여기서 '해양안전사고에 해당하는 이상 패턴'이란, 검출된 객체의 상태 정보(예를 들어, 움직임, 표정, 기울어짐 정도 등)가 정상적인 패턴(또는 정상 패턴)과 다른 패턴인 것을 의미한다.Here, the 'abnormal pattern corresponding to a maritime safety accident' means that the state information (eg, movement, expression, inclination, etc.) of the detected object is a pattern different from the normal pattern (or normal pattern).
예를 들어, 영상에서 검출된 객체가 사람인 경우, 검출된 사람이 보트 위에 있거나 수상 스키와 같은 레저 활동을 즐기고 있는 경우, 이는 해양안전사고와 관련 없는 정상 패턴에 해당한다고 볼 수 있다. 즉 영상에서 정상 패턴이 검출되는 경우에는, 해당 영상에서 해양안전사고가 발생되지 않은 것으로 판단한다.For example, when the detected object in the image is a person, when the detected person is on a boat or enjoying a leisure activity such as water skiing, it can be considered that this corresponds to a normal pattern not related to marine safety accidents. That is, when a normal pattern is detected in the image, it is determined that no maritime safety accident has occurred in the image.
한편 다른 예로써, 영상에서 검출된 사람이 익수자로 바다에서 허우적거리는 형태인 경우, 이는 해양안전사고에 해당하는 이상 패턴에 해당한다고 볼 수 있다. 즉 영상에서 이상 패턴이 검출되는 경우에는, 해당 영상에서 해양안전사고가 발생한 것으로 판단한다.On the other hand, as another example, when a person detected in the image is drowning and struggling in the sea, it can be seen that this corresponds to an abnormal pattern corresponding to a marine safety accident. That is, when an abnormal pattern is detected in the image, it is determined that a maritime safety accident has occurred in the image.
한편, 본 발명에 따른 해양안전사고 모니터링 시스템은, 도 3의 S350단계의 학습 테스트를 진행한 결과, 정확도가 기 설정된 값 이상에 해당하는지 여부를 판단할 수 있다(S360).On the other hand, the marine safety accident monitoring system according to the present invention, as a result of performing the learning test in step S350 of FIG. 3 , may determine whether the accuracy is equal to or greater than a preset value (S360).
여기서 정확도란, 학습 테스트 결과에 따른 정답율을 의미할 수 있다. 또한 기 설정된 값이란, 사용자, 관리자 또는 운영 시스템에 의해 설정된 값, 또는 디폴트 값으로 정확도의 요구 정도에 따라 변경될 수 있다.Here, the accuracy may mean a percentage of correct answers according to the learning test result. In addition, the preset value may be a value set by a user, an administrator, or an operating system, or a default value, which may be changed according to a required degree of accuracy.
예를 들어, 해양안전사고에 해당하는 이상패턴이 존재하는 학습데이터 영상에 대한 테스트를 반복 수행하는 결과, 이상패턴을 검출하는 정확도가 기 설정된 값 이상에 해당하는 경우에는 학습 모델 구축을 완성한다(S370). 한편, 해양안전사고에 해당하는 이상패턴이 존재하는 학습데이터 영상에 대한 테스트를 반복 수행하는 결과, 이상패턴을 검출하는 정확도가 기 설정된 값 미만에 해당하는 경우에는, 피드백 과정을 통해 다시 학습 과정을 수행함으로써 데이터를 보강하여 보다 정확도 높은 학습 모델을 구축할 수 있다.For example, if, as a result of repeatedly performing a test on the learning data image in which an abnormal pattern corresponding to a marine safety accident exists, the accuracy of detecting the abnormal pattern is equal to or greater than a preset value, the learning model construction is completed ( S370). On the other hand, if, as a result of repeatedly performing the test on the learning data image in which the abnormal pattern corresponding to the maritime safety accident exists, the accuracy of detecting the abnormal pattern is less than the preset value, the learning process is repeated through the feedback process. By performing it, it is possible to build a more accurate learning model by reinforcing the data.
한편, 이하에서는 앞서 설명한 바와 같이 구축된 학습 모델을 이용하여, 카메라를 통해 촬영된 해양 영상들의 해양안전사고에 해당하는 이상 패턴을 모니터링하는 방법을 설명하도록 한다.Meanwhile, in the following, a method of monitoring an abnormal pattern corresponding to a marine safety accident in marine images captured by a camera using the learning model constructed as described above will be described.
먼저 해양안전사고 모니터링 시스템은, 카메라로부터 해양을 촬영한 해양 영상을 수신한다(도 2의 S230). 이때 카메라는, IP 카메라(Internet Protocol camera), 웹 캠(Webcam), CCTV(Closed Circuit TeleVision), 야간의 촬영을 위한 적외선 카메라 또는 열 감지 카메라 등을 포함할 수 있다. 이러한 카메라는, 선박의 일 영역, 관제소, 해양 시설물 또는 무인 항공기(또는 드론)에 설치되어 해양 영상을 촬영할 수 있다.First, the maritime safety accident monitoring system receives a marine image of the sea from the camera (S230 in FIG. 2). In this case, the camera may include an IP camera (Internet Protocol camera), a web cam (Webcam), a Closed Circuit TeleVision (CCTV), an infrared camera or a heat sensing camera for photographing at night. Such a camera may be installed in an area of a ship, a control center, a marine facility, or an unmanned aerial vehicle (or drone) to capture marine images.
한편, 생성된 학습 모델을 기반으로, 카메라로부터 수신된 해양 영상에서 이상 패턴의 발생을 모니터링하여, 해양안전사고의 발생 여부를 판단한다(S240).On the other hand, based on the generated learning model, by monitoring the occurrence of an abnormal pattern in the marine image received from the camera, it is determined whether a marine safety accident has occurred (S240).
구체적으로, 상기 해양 영상에서 R-CNN 또는 YOLO 알고리즘을 이용하여, 객체를 검출한다. 그리고 검출된 객체를, 사람, 동물, 선박, 구조물 또는 그 외 기타 물체로 분류한다. 검출된 객체를 통해 해양안전사고에 해당하는 이상 패턴에 해당하는지 여부를 판단할 수 있다.Specifically, an object is detected in the ocean image by using R-CNN or YOLO algorithm. Then, the detected object is classified as a person, an animal, a ship, a structure, or other object. It can be determined whether the detected object corresponds to an abnormal pattern corresponding to a maritime safety accident.
해양 영상에서 정상 패턴이 검출되는 경우에는, 해당 해양 영상에서 해양안전사고가 발생되지 않은 것으로 판단할 수 있다.When a normal pattern is detected in the marine image, it may be determined that no maritime safety accident has occurred in the corresponding marine image.
또한, 해양 영상에서 이상 패턴이 검출되는 경우에는, 해당 해양 영상에서 해양안전사고가 발생한 것으로 판단할 수 있다.Also, when an abnormal pattern is detected in the marine image, it may be determined that a marine safety accident has occurred in the corresponding marine image.
이와 같이 본 발명에 따른 해양안전사고 모니터링 시스템은, 해양 영상에서 이상 패턴을 검출하고, 이를 통해 해양안전사고의 발생 여부를 판단할 수 있다.As described above, the marine safety accident monitoring system according to the present invention can detect an abnormal pattern in a marine image and determine whether a marine safety accident has occurred through this.
한편, 해양안전사고의 발생이 판단되는 경우, 해양안전사고의 알림 신호를 생성하고, 상기 해양 영상에서 이상 패턴을 보이는 객체를 추적한다(S250).On the other hand, when it is determined that the occurrence of a marine safety accident occurs, a notification signal of the marine safety accident is generated, and an object showing an abnormal pattern in the marine image is tracked (S250).
여기서 해양안전사고의 알림 신호는, 해양안전사고의 발생을 운영자 또는 제3자에게 알리기 위한 알림 신호로써, 출력부를 통해 유선 또는 무선 통신을 통해 연결된 사용자 기기나 선박 시스템, 해양안전사고를 관리하는 관리 시스템 등으로 상기 알림 신호를 송출할 수 있다.Here, the notification signal of the maritime safety accident is a notification signal for notifying the operator or a third party of the occurrence of the maritime safety accident, and a user device or ship system connected through wired or wireless communication through the output unit, a ship system, and management for managing maritime safety accidents The notification signal may be transmitted to a system or the like.
나아가 본 발명에 따른 해양안전사고 모니터링 시스템은, 해양안전사고의 발생이 판단되는 경우, 해당 해양 영상에서 이상 패턴을 보이는 객체를 계속적으로 추적할 수 있다. 이상 패턴을 보이는 객체를 계속적으로 추적함으로써, 발생한 해양안전사고를 대응 및 수습하는데 활용할 수 있다.Furthermore, the marine safety accident monitoring system according to the present invention may continuously track an object showing an abnormal pattern in the corresponding marine image when it is determined that the occurrence of a marine safety accident occurs. By continuously tracking objects showing abnormal patterns, it can be used to respond and manage marine safety accidents that have occurred.
이때 이상 패턴을 보이는 객체를 추적하기 위해서, 칼만 필터(Kalman Filter)를 활용할 수 있다.In this case, in order to track an object showing an abnormal pattern, a Kalman filter may be used.
예를 들어, 이상 패턴을 보이는 객체가, 바다에 빠진 익수자인 경우에는, 해양안전사고의 발생을 알리는 알림 신호를 유선 또는 무선 통신을 통해 연결된 사용자 기기나 해양안전사고 관리 시스템 등으로 송출하고, 계속적으로 익수자를 추적함으로써, 익수자의 구조활동을 보다 정확하고 신속하게 수행할 수 있다.For example, if the object showing an abnormal pattern is a drowning person who has fallen into the sea, a notification signal notifying the occurrence of a marine safety accident is transmitted to a user device or a marine safety accident management system connected through wired or wireless communication, and continuously By tracking the drowning person by using the
이상에서는 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법에 대하여 도면을 참조하여 설명하였다.In the above, the artificial intelligence-based maritime safety accident monitoring method according to the present invention has been described with reference to the drawings.
본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법은, 보다 다양한 상황의 해양안전사고에 해당하는 이미지를 학습데이터로 수집하여, 인공지능 기반의 학습 모델을 생성함으로써, 실시간으로 획득하는 해양 영상에서 보다 신속하고 정확하게 해양안전사고의 발생 여부를 판단할 수 있다.The artificial intelligence-based maritime safety accident monitoring method according to the present invention collects images corresponding to maritime safety accidents in more diverse situations as learning data, and creates an artificial intelligence-based learning model from marine images acquired in real time. It is possible to more quickly and accurately determine whether a maritime safety accident has occurred.
이하에서는 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 시스템(이하, 해양안전사고 모니터링 시스템)을 각각의 구성요소를 중심으로 설명하도록 한다.Hereinafter, an artificial intelligence-based maritime safety accident monitoring system (hereinafter, referred to as a maritime safety accident monitoring system) according to the present invention will be mainly described with respect to each component.
본 발명에 따른 해양안전사고 모니터링 시스템(10)은, 수신부(110), 학습부(120), 모니터링부(130) 및 제어부(140)를 포함할 수 있다.The maritime safety
한편 본 발명에 따른 해양안전사고 모니터링 시스템(10)은, 카메라(20), 외부 서버(30) 및 시뮬레이션 장치(40)와 데이터를 송수신할 수 있다. 일 예로서, 해양안전사고 모니터링 시스템(10)은, 카메라(20), 외부 서버(30) 및 시뮬레이션 장치(40)를 통해 학습데이터 및 해양안전사고를 판단하기위한 해양 영상을 수신할 수 있다. 다만, 카메라(20), 외부 서버(30) 및 시뮬레이션 장치(40)는 본 발명을 설명하기위한 용어로서, 이러한 용어로 한정되는 것은 아니며 동일한 기능 또는 역할을 수행하는 모듈 또는 장치를 더 포함할 수 있음은 자명하다. 예를 들어, 카메라(20)는 카메라에만 한정되지 않고, 카메라의 기능을 수행하는 캠코더, 웹 캠, CCTV 또는 카메라의 기능을 구비한 드론 등을 포함할 수 있다.Meanwhile, the marine safety
본 발명에 따른 해양안전사고 모니터링 시스템(10)을 구성하는 수신부(110)는, 학습데이터 수신부(111) 및 해양 영상 수신부(112)를 포함할 수 있다.The
먼저 학습데이터 수신부(111)는, 인공지능 기반의 학습 모델을 구축하기 위한 학습데이터를 수집한다. 본 발명에 따른 해양안전사고 모니터링 시스템(10)은, 다양한 상황의 해양안전사고의 발생을 학습하기 위해 카메라(20), 외부 서버(30) 및 시뮬레이션 장치(40)로부터 다양한 학습 데이터를 수집할 수 있다.First, the learning
일 예로서, 학습데이터 수신부(111)는, 외부 서버(예를 들어, 인터넷 서버, 또는 웹 서버, 또는 클라우드 서버)에서 해양안전사고에 해당하는 이미지를 포함하는 제2영상을 확보할 수 있다. As an example, the learning
다른 예로서, 해양안전사고 모니터링 시스템은, 운영자가 직접 이미지 촬영을 진행할 수 있는 경우에는, 촬영된 해양안전사고에 해당하는 이미지를 포함하는 제3영상을 확보할 수 있다. 예를 들어, 익수자가 허우적거리는 영상을 확보하기 위해 안전한 상황에서 바다에 사람을 빠트려 직접 영상을 촬영할 수 있다. 또한 선박의 영상을 촬영하기 위해 선박을 임대하거나 실선시험을 통해 선박을 직접 촬영한 이미지를 확보할 수도 있다.As another example, the marine safety accident monitoring system may secure a third image including an image corresponding to the photographed marine safety accident when the operator can directly photograph the image. For example, in order to secure a video of a drowning person struggling, it is possible to directly shoot a video by drowning a person in the sea in a safe situation. In addition, it is also possible to rent a ship to take an image of the ship or to obtain an image of the ship directly through a real ship test.
또 다른 예로서, 해양안전사고 모니터링 시스템은, 외부 서버 또는 운영자의 직접 촬영으로도 얻기 어려운 영상은, 가상의 해양환경 시뮬레이션을 통해 구현한 해양안전사고 이미지를 포함하는 제1영상을 확보할 수 있다. 이때 가상의 해양환경을 시뮬레이션한 이미지는, 개발 플랫폼을 통해 구현될 수 있다. 개발 플랫폼은, 가상의 시뮬레이션을 구현할 수 있는 플랫폼으로, 예를 들어, 유니티 엔진이 있다.As another example, the marine safety accident monitoring system may secure the first image including the image of the marine safety accident implemented through a virtual marine environment simulation for an image that is difficult to obtain even by direct shooting of an external server or an operator. . In this case, the simulated image of the virtual marine environment may be implemented through the development platform. The development platform is a platform that can implement a virtual simulation, for example, the Unity engine.
따라서 해양안전사고 모니터링 시스템은, 유니티 엔진을 이용하여, 가상의 환경으로 바다의 파도, 날씨, 시간을 자유롭게 변경함으로써, 직접 촬영하기 어려운 환경의 해양안전사고 이미지를 확보할 수 있다.Therefore, the marine safety accident monitoring system can secure an image of a marine safety accident in an environment that is difficult to directly photograph by freely changing the ocean waves, weather, and time in a virtual environment using the Unity engine.
한편, 해양 영상 수신부(112)는, 카메라로부터 해양을 촬영한 해양 영상을 수신할 수 있다. 이러한 카메라는, 선박의 일 영역, 관제소, 해양 시설물 또는 무인 항공기(또는 드론)에 설치되어 해양 영상을 촬영할 수 있다.Meanwhile, the marine
해양 영상 수신부(112)에서 수신한 해양 영상은, 학습 모델을 구축하기 위한 학습데이터가 아닌, 실제 해양에서의 해양안전사고의 발생여부를 판단하기 위한 영상이다. 이러한 해양 영상을 실시간으로 촬영된 영상일 수 있고, 또는 일정 시간의 딜레이를 가지는 녹화 영상일 수 있다.The marine image received by the marine
한편, 학습부(120)는, 학습데이터 수신부(111)를 통해 수집된 다양한 조건의 학습데이터를 기반으로, 해양안전사고에 해당하는 이상 패턴을 학습하여 학습 모델을 생성한다. Meanwhile, the
먼저 학습부(120)는, 수집된 학습데이터를 이용하여, 합성곱 신경망(Convolutional Neural Network; CNN)을 구축한다.First, the
이때 학습부(120)는, 합성곱 신경망기반으로, R-CNN(Region of Convolutional Neural Network), YOLO(You Only Look Once) 및 AlexNet 중 적어도 하나를 이용하여 객체를 검출하고, 검출된 객체를 분류할 수 있다.At this time, the
한편, 본 발명에 따른 해양안전사고 모니터링 시스템은, CNN을 기반으로 검출 및 분류된 객체를 통해 해양안전사고에 해당하는 이상 패턴의 발생 여부를 판단할 수 있다.On the other hand, the marine safety accident monitoring system according to the present invention can determine whether an abnormal pattern corresponding to a marine safety accident occurs through an object detected and classified based on CNN.
여기서 '해양안전사고에 해당하는 이상 패턴'이란, 검출된 객체의 상태 정보(예를 들어, 움직임, 표정, 기울어짐 정도 등)가 정상적인 패턴(또는 정상 패턴)과 다른 패턴인 것을 의미한다.Here, the 'abnormal pattern corresponding to a maritime safety accident' means that the state information (eg, movement, expression, inclination, etc.) of the detected object is a pattern different from the normal pattern (or normal pattern).
학습데이터 영상에서 정상 패턴이 검출되는 경우에는, 해당 영상에서 해양안전사고가 발생되지 않은 것으로 판단한다.When a normal pattern is detected in the learning data image, it is determined that no maritime safety accident has occurred in the corresponding image.
또한 학습데이터 영상에서 이상 패턴이 검출되는 경우에는, 해당 영상에서 해양안전사고가 발생한 것으로 판단한다.In addition, when an abnormal pattern is detected in the learning data image, it is determined that a maritime safety accident has occurred in the corresponding image.
한편, 학습부(120)는, 학습데이터 영상에서 이상패턴을 검출하기 위한 테스트를 진행한 결과, 정확도가 기 설정된 값 이상에 해당하는지 여부를 판단할 수 있다.Meanwhile, the
예를 들어, 해양안전사고에 해당하는 이상패턴이 존재하는 학습데이터 영상에 대한 테스트를 반복 수행하는 결과, 이상패턴을 검출하는 정확도가 기 설정된 값 이상에 해당하는 경우에는 학습 모델 구축을 완성한다. 한편, 해양안전사고에 해당하는 이상패턴이 존재하는 학습데이터 영상에 대한 테스트를 반복 수행하는 결과, 이상패턴을 검출하는 정확도가 기 설정된 값 미만에 해당하는 경우에는, 피드백 과정을 통해 다시 학습 과정을 수행함으로써 데이터를 보강하여 보다 정확도 높은 학습 모델을 구축할 수 있다.For example, as a result of repeatedly performing a test on a learning data image in which an abnormal pattern corresponding to a maritime safety accident exists, when the accuracy of detecting an abnormal pattern is greater than or equal to a preset value, the learning model construction is completed. On the other hand, if, as a result of repeatedly performing the test on the learning data image in which the abnormal pattern corresponding to the maritime safety accident exists, the accuracy of detecting the abnormal pattern is less than the preset value, the learning process is repeated through the feedback process. By performing it, it is possible to build a more accurate learning model by reinforcing the data.
한편, 모니터링부(130)는, 학습 모델을 기반으로, 해양 영상에서 상기 이상 패턴의 발생을 모니터링하여, 해양안전사고의 발생 여부를 판단한다. On the other hand, the
구체적으로, 학습 모델을 기반으로, 수신된 해양 영상에서 R-CNN 또는 YOLO 알고리즘을 이용하여, 객체를 검출된다. 그리고 검출된 객체는, 사람, 동물, 선박, 구조물 또는 그 외 기타 물체로 분류될 수 있다. 그리고 모니터링부(130)는, 검출된 객체를 통해 해양안전사고에 해당하는 이상 패턴에 해당하는지 여부를 판단할 수 있다.Specifically, based on the learning model, an object is detected from the received ocean image by using the R-CNN or YOLO algorithm. In addition, the detected object may be classified as a person, animal, ship, structure, or other object. In addition, the
해양 영상에서 정상 패턴이 검출되는 경우에는, 해당 해양 영상에서 해양안전사고가 발생되지 않은 것으로 판단한다.When a normal pattern is detected in the marine image, it is determined that no maritime safety accident has occurred in the corresponding marine image.
또한 해양 영상에서 이상 패턴이 검출되는 경우에는, 해당 해양 영상에서 해양안전사고가 발생한 것으로 판단한다.In addition, when an abnormal pattern is detected in the marine image, it is determined that a marine safety accident has occurred in the corresponding marine image.
이와 같이 모니터링부(130)는, 수신된 해양 영상에서 이상 패턴을 모니터링하고, 이를 통해 해양안전사고의 발생 여부를 판단할 수 있다.As described above, the
한편, 제어부(140)는, 해양안전사고의 발생이 판단되는 경우, 해양안전사고의 알림 신호를 생성하고, 상기 해양 영상에서 상기 이상 패턴을 보이는 객체를 추적한다.On the other hand, when it is determined that the occurrence of a marine safety accident occurs, the
여기서 해양안전사고의 알림 신호는, 해양안전사고의 발생을 알리는 알림 신호로써, 유선 또는 무선 통신을 통해 연결된 사용자의 전자기기나 선박 시스템, 해양안전사고를 관리하는 관리 시스템 등으로 알림 신호를 송출할 수 있다.Here, the notification signal of a maritime safety accident is a notification signal that notifies the occurrence of a maritime safety accident, and a notification signal is transmitted to a user's electronic device or a ship system connected through wired or wireless communication, a management system for managing marine safety accidents, etc. can
나아가 제어부(140)는, 해양안전사고의 발생이 판단되는 경우, 해당 해양 영상에서 이상 패턴을 보이는 객체를 계속적으로 추적할 수 있다. 이상 패턴을 보이는 객체를 계속적으로 추적함으로써, 발생한 해양안전사고를 수습하는데 활용할 수 있다.Furthermore, when it is determined that the occurrence of a marine safety accident is determined, the
전술한 바와 같이 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 다양한 조건을 만족하는 해양안전사고와 관련된 영상을 수집하여 보다 정확하고 해양안전사고를 모니터링할 수 있다. 따라서 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 가상의 해양 환경 시뮬레이션을 이용함으로써, 사용자가 직접 실험을 통해 촬영할 수 없는 다양한 조건의 해양안전사고와 관련된 영상을 수집하고 이를 기반으로 학습 모델을 구축할 수 있다.As described above, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention can monitor maritime safety accidents more accurately by collecting images related to maritime safety accidents satisfying various conditions. Therefore, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention collects images related to maritime safety accidents in various conditions that the user cannot directly take through experiments by using a virtual marine environment simulation, and based on this to build a learning model.
또한 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 인공지능 기반의 학습 모델을 기반으로 해양안전사고에 해당하는 이상 패턴의 발생을 모니터링하여 해양안전사고의 발생을 신속하게 대응할 수 있다.In addition, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention can monitor the occurrence of an abnormal pattern corresponding to a maritime safety accident based on an artificial intelligence-based learning model to quickly respond to the occurrence of a maritime safety accident. have.
또한 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 랜덤한 유형의 해양안전 사고를 모니터링함으로써, 다양한 형태의 해양안전사고를 식별하는 학습법의 개발을 도모할 수 있다. 나아가 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 랜덤한 유형에 대응가능한 학습 데이터의 분류 체계를 정립할 수 있다.In addition, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention can promote the development of a learning method for identifying various types of maritime safety accidents by monitoring random types of maritime safety accidents. Furthermore, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention can establish a classification system of learning data that can respond to a random type.
또한 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 학습 데이터 및 학습 알고리즘의 고도화를 통하여 광범위하게 구현될 수 있다. In addition, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention can be widely implemented through the advancement of learning data and learning algorithms.
또한 본 발명에 따른 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템은, 수집이 어려운 학습 데이터를 시뮬레이션 이미지를 통하여 보완할 수 있다.In addition, the artificial intelligence-based maritime safety accident monitoring method and system according to the present invention can supplement difficult-to-collect learning data through a simulation image.
10: 해양안전사고 모니터링 시스템
20: 카메라
30: 서버
40: 시뮬레이션 장치
110: 수신부
111: 학습데이터 수신부
112: 해양영상 수신부
120: 학습부
130: 모니터링부
140: 제어부10: Maritime safety accident monitoring system
20: camera
30: server
40: simulation device
110: receiver
111: learning data receiving unit
112: marine image receiving unit
120: study unit
130: monitoring unit
140: control unit
Claims (10)
학습부에 의하여 상기 학습데이터를 기반으로, 상기 해양안전사고에 해당하는 이상 패턴을 학습하여 학습 모델을 생성하는 단계;
해양 영상 수신부를 통하여 카메라로부터 해양을 촬영한 해양 영상을 수신하는 단계;
모니터링부에 의하여 상기 학습 모델을 기반으로, 상기 해양 영상에서 상기 이상 패턴의 발생을 모니터링하여, 해양안전사고의 발생 여부를 판단하는 단계; 및
제어부에 의하여, 상기 해양안전사고의 발생이 판단되는 경우, 상기 해양안전사고의 알림 신호를 생성하고, 상기 해양 영상에서 상기 이상 패턴을 보이는 객체를 추적하는 단계를 포함하며,
상기 해양안전사고에 해당하는 이미지는, 익수자(溺水者)를 포함하는 이미지이고,
상기 이상 패턴은, 상기 익수자의 표정, 움직임 및 기울어짐 정도 중 적어도 하나를 이용하여 검출되며,
상기 해양안전사고의 발생 여부는, 익수(溺水) 발생 여부를 판단하는 것을 특징으로 하는 인공지능 기반의 해양안전사고 모니터링 방법.collecting learning data including images corresponding to maritime safety accidents by the learning data receiving unit;
generating a learning model by learning an abnormal pattern corresponding to the maritime safety accident based on the learning data by the learning unit;
Receiving an ocean image of the ocean from a camera through the ocean image receiving unit;
determining whether a marine safety accident has occurred by monitoring the occurrence of the abnormal pattern in the marine image based on the learning model by a monitoring unit; and
When the occurrence of the marine safety accident is determined by the control unit, generating a notification signal of the marine safety accident, and tracking the object showing the abnormal pattern in the marine image,
The image corresponding to the maritime safety accident is an image including a drowning person,
The abnormal pattern is detected using at least one of the drowning person's expression, movement, and degree of inclination,
The occurrence of the maritime safety accident is an artificial intelligence-based maritime safety accident monitoring method, characterized in that it is determined whether drowning occurs.
상기 학습데이터는,
개발 플랫폼을 이용하여, 가상의 해양환경 시뮬레이션으로 구현된 제1영상을 포함하는 것을 특징으로 하는 인공지능 기반의 해양안전사고 모니터링 방법.According to claim 1,
The learning data is
Using a development platform, an artificial intelligence-based maritime safety accident monitoring method comprising a first image implemented as a virtual marine environment simulation.
상기 학습데이터는,
개발 플랫폼은,
유니티 엔진(Unity Engine)인 것을 특징으로 하는 인공지능 기반의 해양안전사고 모니터링 방법.3. The method of claim 2,
The learning data is
development platform,
An artificial intelligence-based maritime safety accident monitoring method, characterized in that it is a Unity Engine.
상기 학습데이터는,
외부 서버로부터 다운로드된 제2영상; 및
상기 카메라를 통해 촬영된 제3영상을 더 포함하는 것을 특징으로 하는 인공지능 기반의 해양안전사고 모니터링 방법.3. The method of claim 2,
The learning data is
a second image downloaded from an external server; and
Artificial intelligence-based maritime safety accident monitoring method, characterized in that it further comprises a third image taken through the camera.
상기 학습 모델을 생성하는 단계에서는,
제1영상, 제2영상 및 제3영상 중 적어도 하나의 영상을 이용하여 상기 학습 모델을 생성하는 것을 특징으로 하는 인공지능 기반의 해양안전사고 모니터링 방법.5. The method of claim 4,
In the step of generating the learning model,
An artificial intelligence-based maritime safety accident monitoring method, characterized in that the learning model is generated by using at least one of the first image, the second image, and the third image.
상기 학습 모델을 생성하는 단계에서는,
상기 학습데이터를 이용하여, 합성곱 신경망(CNN)을 구축하는 단계;
상기 합성곱 신경망을 기반으로 객체를 검출하고, 상기 객체의 이상 패턴의 발생 여부를 판단하는 단계;
상기 판단 결과를 피드백하여 상기 학습 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 인공지능 기반의 해양안전사고 모니터링 방법.According to claim 1,
In the step of generating the learning model,
constructing a convolutional neural network (CNN) using the learning data;
detecting an object based on the convolutional neural network and determining whether an abnormal pattern of the object occurs;
An artificial intelligence-based maritime safety accident monitoring method comprising the step of generating the learning model by feeding back the determination result.
상기 객체의 이상 패턴의 발생 여부를 판단하는 단계에서는,
상기 합성곱 신경망을 기반으로, R-CNN(Region of Convolutional Neural Network), YOLO(You Only Look Once) 및 AlexNet 중 적어도 하나를 이용하여 객체를 검출 및 분류하는 것을 특징으로 하는 인공지능 기반의 해양안전사고 모니터링 방법.7. The method of claim 6,
In the step of determining whether an abnormal pattern of the object occurs,
Based on the convolutional neural network, artificial intelligence-based maritime safety characterized in that it detects and classifies objects using at least one of R-CNN (Region of Convolutional Neural Network), YOLO (You Only Look Once), and AlexNet Incident monitoring methods.
상기 학습데이터로부터 상기 해양안전사고에 해당하는 이상 패턴을 학습하여 학습 모델을 생성하는 학습부;
카메라로부터 해양을 촬영한 해양 영상을 수신하는 해양 영상 수신부;
상기 학습 모델을 기반으로, 상기 해양 영상에서 상기 이상 패턴의 발생을 모니터링하여, 해양안전사고의 발생 여부를 판단하는 모니터링부; 및
상기 해양안전사고의 발생이 판단되는 경우, 상기 해양안전사고의 알림 신호를 생성하고, 상기 해양 영상에서 상기 이상 패턴을 보이는 객체를 추적하는 제어부를 포함하며,
상기 해양안전사고에 해당하는 이미지는, 익수자(溺水者)를 포함하는 이미지이고,
상기 이상 패턴은, 상기 익수자의 표정, 움직임 및 기울어짐 정도 중 적어도 하나를 이용하여 검출되며,
상기 해양안전사고의 발생 여부는, 익수(溺水) 발생 여부를 판단하는 것을 특징으로 하는 인공지능 기반의 해양안전사고 모니터링 시스템.a learning data receiver for collecting learning data including images corresponding to maritime safety accidents;
a learning unit for generating a learning model by learning an abnormal pattern corresponding to the maritime safety accident from the learning data;
a marine image receiver configured to receive an ocean image captured by the camera;
a monitoring unit configured to monitor the occurrence of the abnormal pattern in the marine image based on the learning model to determine whether a marine safety accident has occurred; and
When the occurrence of the marine safety accident is determined, a control unit for generating a notification signal of the marine safety accident and tracking the object showing the abnormal pattern in the marine image,
The image corresponding to the maritime safety accident is an image including a drowning person,
The abnormal pattern is detected using at least one of the drowning person's expression, movement, and degree of inclination,
The occurrence of the maritime safety accident is an artificial intelligence-based maritime safety accident monitoring system, characterized in that it is determined whether drowning occurs.
상기 학습데이터는,
개발 플랫폼을 이용하여, 가상의 해양환경 시뮬레이션으로 구현된 제1영상을 포함하는 것을 특징으로 하는 인공지능 기반의 해양안전사고 모니터링 시스템.9. The method of claim 8,
The learning data is
An artificial intelligence-based maritime safety accident monitoring system, characterized in that it includes a first image implemented as a virtual marine environment simulation using a development platform.
상기 해양안전사고의 알림 신호를 사용자의 전자기기, 선박 시스템 및 관제 시스템 중 적어도 하나로 전송하는 출력부를 더 포함하는 것을 특징으로 하는 인공지능 기반의 해양안전사고 모니터링 시스템.9. The method of claim 8,
An artificial intelligence-based maritime safety accident monitoring system, characterized in that it further comprises an output unit for transmitting the notification signal of the maritime safety accident to at least one of a user's electronic device, a ship system, and a control system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200061799A KR102320142B1 (en) | 2020-05-22 | 2020-05-22 | Method and system for monitoring marine safety accidents based on artificial intelligence |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200061799A KR102320142B1 (en) | 2020-05-22 | 2020-05-22 | Method and system for monitoring marine safety accidents based on artificial intelligence |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102320142B1 true KR102320142B1 (en) | 2021-11-02 |
Family
ID=78476122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200061799A KR102320142B1 (en) | 2020-05-22 | 2020-05-22 | Method and system for monitoring marine safety accidents based on artificial intelligence |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102320142B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102432673B1 (en) * | 2022-03-14 | 2022-08-16 | 케이원에코텍 주식회사 | Monitoring and safety alarm system that monitors people running in the swimming pool using CCTV images |
| KR102432675B1 (en) * | 2022-03-14 | 2022-08-16 | 케이원에코텍 주식회사 | Monitoring and safety alarm system for abnormal signs and drowning accidents of pool users using CCTV images |
| KR20230085452A (en) | 2021-12-07 | 2023-06-14 | 주식회사 앤씽크 | Marine leisure integrated safety management system |
| US20230401848A1 (en) * | 2021-02-12 | 2023-12-14 | ShipIn Systems Inc. | System and method for bandwidth reduction and communication of visual events |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101541808B1 (en) * | 2015-04-30 | 2015-08-04 | 한국해양과학기술원 | Vessel traffic service expert system for using deep learning algorithm and method thereof |
| KR20180040439A (en) * | 2016-10-12 | 2018-04-20 | 주식회사에스에이티 | A high performance large coverage surveillance system |
| KR20180065411A (en) * | 2016-12-07 | 2018-06-18 | 한국해양과학기술원 | System and method for automatic tracking of marine objects |
| KR101902997B1 (en) * | 2018-03-29 | 2018-10-01 | 한국해양과학기술원 | Automatic identification system for anomaly operation status of ship using unsupervised learning method and method thereof |
| KR20190063729A (en) * | 2017-11-30 | 2019-06-10 | 주식회사 넥토마이닝 | Life protection system for social disaster using convergence technology like camera, sensor network, and directional speaker system |
| KR20190072077A (en) * | 2017-12-15 | 2019-06-25 | 현대자동차주식회사 | System and method for predicting vehicle accidents |
| KR102005559B1 (en) * | 2018-09-04 | 2019-08-07 | 씨드로닉스(주) | Situation awareness method using image segmentation |
| KR20200030917A (en) * | 2018-09-13 | 2020-03-23 | 엑시텍 주식회사 | Lafesaving system on sea using geofence and artificial intelligence and method for processing thereof |
-
2020
- 2020-05-22 KR KR1020200061799A patent/KR102320142B1/en active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101541808B1 (en) * | 2015-04-30 | 2015-08-04 | 한국해양과학기술원 | Vessel traffic service expert system for using deep learning algorithm and method thereof |
| KR20180040439A (en) * | 2016-10-12 | 2018-04-20 | 주식회사에스에이티 | A high performance large coverage surveillance system |
| KR20180065411A (en) * | 2016-12-07 | 2018-06-18 | 한국해양과학기술원 | System and method for automatic tracking of marine objects |
| KR20190063729A (en) * | 2017-11-30 | 2019-06-10 | 주식회사 넥토마이닝 | Life protection system for social disaster using convergence technology like camera, sensor network, and directional speaker system |
| KR20190072077A (en) * | 2017-12-15 | 2019-06-25 | 현대자동차주식회사 | System and method for predicting vehicle accidents |
| KR101902997B1 (en) * | 2018-03-29 | 2018-10-01 | 한국해양과학기술원 | Automatic identification system for anomaly operation status of ship using unsupervised learning method and method thereof |
| KR102005559B1 (en) * | 2018-09-04 | 2019-08-07 | 씨드로닉스(주) | Situation awareness method using image segmentation |
| KR20200030917A (en) * | 2018-09-13 | 2020-03-23 | 엑시텍 주식회사 | Lafesaving system on sea using geofence and artificial intelligence and method for processing thereof |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230401848A1 (en) * | 2021-02-12 | 2023-12-14 | ShipIn Systems Inc. | System and method for bandwidth reduction and communication of visual events |
| US11908189B2 (en) * | 2021-02-12 | 2024-02-20 | ShipIn Systems Inc. | System and method for bandwidth reduction and communication of visual events |
| KR20230085452A (en) | 2021-12-07 | 2023-06-14 | 주식회사 앤씽크 | Marine leisure integrated safety management system |
| KR102432673B1 (en) * | 2022-03-14 | 2022-08-16 | 케이원에코텍 주식회사 | Monitoring and safety alarm system that monitors people running in the swimming pool using CCTV images |
| KR102432675B1 (en) * | 2022-03-14 | 2022-08-16 | 케이원에코텍 주식회사 | Monitoring and safety alarm system for abnormal signs and drowning accidents of pool users using CCTV images |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102320142B1 (en) | Method and system for monitoring marine safety accidents based on artificial intelligence | |
| Jiao et al. | A yolov3-based learning strategy for real-time uav-based forest fire detection | |
| EP3242248B1 (en) | Person detection in a marine environment | |
| KR102067875B1 (en) | Method for rescue using drone and computer readable record-medium on which program for executing method therefor | |
| KR102095555B1 (en) | Analysis of illegal activities and monitoring based on recognition using unmanned aerial vehicle and artificial intelligence deep running that can monitor illegal activities in the field farm | |
| CN108806334A (en) | A kind of intelligent ship personal identification method based on image | |
| US9896170B1 (en) | Man overboard detection system | |
| KR102155724B1 (en) | Method and system for risk detection of objects in ships using deep neural networks | |
| WO2023046191A1 (en) | Method and apparatus for performing monitoring and tracking by using unmanned aerial vehicle, and device and storage medium | |
| JP7123073B2 (en) | Line array camera for person overboard detection system | |
| CN110991385A (en) | Method and device for identifying ship driving track and electronic equipment | |
| KR102257006B1 (en) | Ship Collision Avoidance Autonomous Avoidance System using Deep Learning | |
| KR20190069649A (en) | Method for predicting water leisure safety and computer readable record-medium on which program for executing method therefor | |
| CN116740649B (en) | Deep learning-based real-time detection method for behavior of crewman falling into water beyond boundary | |
| CN114971595B (en) | Ship intelligent supervision system applying video data analysis processing technology | |
| KR20210094931A (en) | Image-based disaster detection method and apparatus | |
| CN116704688A (en) | Ocean buoy passive defense method and system | |
| KR20240021670A (en) | Method for monitoring unidentified object using an artificial intelligence model learned based on the type of unidentified objects | |
| TW202221660A (en) | Edge artificial intelligence-based autonomous water rescue device | |
| TWM603177U (en) | Deep-learning-based ship classification edge computing device | |
| CN111918032A (en) | Unmanned ship-based overwater supervision method, system, device and intelligent equipment | |
| Lin et al. | Automatic object detection and direction prediction of unmanned vessels based on multiple convolutional neural network technology | |
| CN117152689B (en) | River channel target detection method and system based on vision | |
| KR102561793B1 (en) | System and method for recognition of atypical obstacle system and computer-readable recording medium including the same | |
| Quan et al. | Identification of drone thermal signature by convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |