KR20220028607A - 딥러닝을 이용한 익수자 인식 시스템 - Google Patents

딥러닝을 이용한 익수자 인식 시스템 Download PDF

Info

Publication number
KR20220028607A
KR20220028607A KR1020200109803A KR20200109803A KR20220028607A KR 20220028607 A KR20220028607 A KR 20220028607A KR 1020200109803 A KR1020200109803 A KR 1020200109803A KR 20200109803 A KR20200109803 A KR 20200109803A KR 20220028607 A KR20220028607 A KR 20220028607A
Authority
KR
South Korea
Prior art keywords
person
module
drowning
ship
sea
Prior art date
Application number
KR1020200109803A
Other languages
English (en)
Inventor
최민주
이성욱
김형진
정연호
백승대
육일수
Original Assignee
한국해양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양대학교 산학협력단 filed Critical 한국해양대학교 산학협력단
Priority to KR1020200109803A priority Critical patent/KR20220028607A/ko
Publication of KR20220028607A publication Critical patent/KR20220028607A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝을 이용한 익수자 인식 시스템에 관한 것이다. 보다 상세하게는, 영상처리 분야에서 활용되고 있는 딥러닝 기술 중 하나인 컨볼루션 신경망(Convolution Neural Network(CNN))를 이용하여 선박 내에 위치하는 사람 또는 선박에서 바다로 추락하는 상황에 있는 사람 또는 바다에 빠져 익수 상황에 있는 사람을 식별하기 위한 학습을 하고, 열화상 영상 화면에 설정된 경계선을 통해 선박에 위치한 사람이 경계선을 넘어 바다로 추락할 경우, 학습된 딥러닝 네트워크 모델에서 익수 상황을 인지하고, 신속하게 다른 선원들에게 익수 발생 상황을 알려 바다에 빠진 익수자를 구조할 수 있는 딥러닝을 이용한 익수자 인식 시스템에 관한 것이다.
이를 위해 본 발명은 선박의 갑판을 포함하여 선박 내에 위치하고 있는 사람 또는 사람이 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상태에 있는 사람들을 포함하여 다수의 이미지에서 사람에 대해 경계박스를 설정하는 라벨링 과정을 통해 배경이 포함된 이미지에서 사람만을 식별할 수 있는 학습데이터를 생성하는 학습데이터생성모듈(100); 컨볼루션신경망이 포함된 딥러닝 네트워크 모델이 포함되며, 학습데이터생성모듈(100)에 의해 생성된 학습데이터를 딥러닝 네트워크 모델에 대한 입력데이터로 이용하여 입력데이터로 사용된 이미지 상에서 사람를 탐지하기 위한 학습을 진행하는 데이터학습모듈(200); 선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상황에 있는 사람을 촬영하기 위해 선박에 구비되는 다수의 열화상카메라모듈(300); 데이터학습모듈(200)에 의해 학습된 딥러닝 네트워크 모델을 이용하여 선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에서 익수 상황에 처한 사람을 탐지하는 모듈로서, 열화상카메라모듈(300)에서 획득한 영상 정보를 시간 단위로 캡쳐하고, 캡쳐된 영상 중에 포함된 사람을 탐지하며, 탐지된 사람에 대해 경계박스가 설정된 이미지를 출력하는 인명탐지모듈(400); 인명탐지모듈(400)에서 사람을 탐지한 경우, 열화상카메라모듈(300)에서 획득한 영상 정보에 있는 사람의 위치를 알아내고 저장하는 경계박스위치파악모듈(500)을 포함하는 딥러닝을 이용한 익수자 인식 시스템을 제공한다.

Description

딥러닝을 이용한 익수자 인식 시스템{Drowning perosn Recognition System Using Deep Learning}
본 발명은 딥러닝을 이용한 익수자 인식 시스템에 관한 것이다. 보다 상세하게는, 영상처리 분야에서 활용되고 있는 딥러닝 기술 중 하나인 컨볼루션 신경망(Convolution Neural Network(CNN))를 이용하여 선박 내에 위치하는 사람 또는 선박에서 바다로 추락하는 상황에 있는 사람 또는 바다에 빠져 익수 상황에 있는 사람을 식별하기 위한 학습을 하고, 열화상 영상 화면에 설정된 경계선을 통해 선박에 위치한 사람이 경계선을 넘어 바다로 추락할 경우, 학습된 딥러닝 네트워크 모델에서 익수 상황을 인지하고, 신속하게 다른 선원들에게 익수 발생 상황을 알려 바다에 빠진 익수자를 구조할 수 있는 딥러닝을 이용한 익수자 인식 시스템에 관한 것이다.
해상을 운항하는 대형 선박에서 선원이나 승무원이 바다로 빠지는 익수자가 발생할 경우, 익수자가 발생한 시간과 위치를 정확하게 파악하기가 어렵다.
대형선박의 경우 익수자가 발생하여 익수자를 구조하기 위해 선박을 급정거하는데도 어려움이 있을 뿐만아니라, 급정거를 하여도 선박 길이의 10배에 해당되는 거리를 지나서 정지하게 되고, 선박이 선회할 경우, 선박 길이의 5배 이상 되는 거리가 필요하다.
이렇게 익수자를 구조하기 위해 익수자의 위치를 파악하여 선박이 정지하거나 선회하여 익수자의 구조 위치로 가기 위해서는 많은 시간이 소모되는 문제점이 있다.
따라서, 고가의 특수장치 없이 영상처리 분야에서 활용되고 있는 딥러닝 기술 중 하나인 컨볼루션 신경망(Convolution Neural NetworK(CNN))를 이용하여 익수자의 발생을 신속하게 파악하여 익수 상황을 인지하고, 신속하게 다른 선원들에게 익수 발생 상황을 알려 바다에 빠진 익수자를 구조할 수 있는 기술이 필요하다.
선행기술문헌 : KR등록특허공보 제10-2126498호(2020년06월25일 공고)
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 영상처리 분야에서 활용되고 있는 딥러닝 기술 중 하나인 컨볼루션 신경망(Convolution Neural Network(CNN))를 이용하여 선박 내에 위치하는 사람 또는 선박에서 바다로 추락하는 상황에 있는 사람 또는 바다에 빠져 익수 상황에 있는 사람을 식별하기 위한 학습을 하고, 열화상 영상 화면에 설정된 경계선을 통해 선박에 위치한 사람이 경계선을 넘어 바다로 추락할 경우, 학습된 딥러닝 네트워크 모델에서 익수 상황을 인지하고, 신속하게 다른 선원들에게 익수 발생 상황을 알려 바다에 빠진 익수자를 구조할 수 있는 딥러닝을 이용한 익수자 인식 시스템을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위해 안출된 본 발명에 따른 딥러닝을 이용한 익수자 인식 시스템은 선박의 갑판을 포함하여 선박 내에 위치하고 있는 사람 또는 사람이 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상태에 있는 사람들을 포함하여 다수의 이미지에서 사람에 대해 경계박스를 설정하는 라벨링 과정을 통해 배경이 포함된 이미지에서 사람만을 식별할 수 있는 학습데이터를 생성하는 학습데이터생성모듈(100); 컨볼루션신경망이 포함된 딥러닝 네트워크 모델이 포함되며, 학습데이터생성모듈(100)에 의해 생성된 학습데이터를 딥러닝 네트워크 모델에 대한 입력데이터로 이용하여 입력데이터로 사용된 이미지 상에서 사람를 탐지하기 위한 학습을 진행하는 데이터학습모듈(200); 선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상황에 있는 사람을 촬영하기 위해 선박에 구비되는 다수의 열화상카메라모듈(300); 데이터학습모듈(200)에 의해 학습된 딥러닝 네트워크 모델을 이용하여 선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에서 익수 상황에 처한 사람을 탐지하는 모듈로서, 열화상카메라모듈(300)에서 획득한 영상 정보를 시간 단위로 캡쳐하고, 캡쳐된 영상 중에 포함된 사람을 탐지하며, 탐지된 사람에 대해 경계박스가 설정된 이미지를 출력하는 인명탐지모듈(400); 인명탐지모듈(400)에서 사람을 탐지한 경우, 열화상카메라모듈(300)에서 획득한 영상 정보에 있는 사람의 위치를 알아내고 저장하는 경계박스위치파악모듈(500); 열화상카메라모듈(300)이 촬영한 영상의 화면상에서 선박에 위치하고 있는 사람이 해상으로 추락하는 익수 사고가 발생할 수 있는 경계선을 지정하고 저장한 경계선지정모듈(600); 경계박스위치파악모듈(500)로 파악된 사람을 인식한 경계박스가 경계선지정모듈(600)에서 지정된 경계선을 지정된 방향으로 넘어갔을 때 익수 상황으로 인지하는 익수자발생인식모듈(700); 익수자발생인식모듈(700)에서 익수자가 발생을 인지 하였을 때 선박에 위치하는 선원들에게 익수상황을 알리는 익수자발생알림모듈(800); 선박에서 해상으로 추락한 익수자의 위치를 파악하여 저장하고, 선박이 익수자의 위치로 선회하여 구조하기 까지 선박에서 익수자의 위치까지 상대적인 거리를 파악하기 위한 익수자위치저장모듈(900); 선박이 항해를 할 때, 주변 해상의 기상상태와 파도의 세기를 파악하는 기후파악모듈(1000); 기후파악모듈(1100)에서 파악한 기상상태를 이용하여 선박이 선회할 때까지의 시간을 측정하고, 익수자의 위치를 예측하는 사고인명위치예측모듈(1100); 사고인명위치예측모듈(1100)과 익수자위치저장모듈(900)로 익수자와 선박의 상대적인 거리를 얻어 선박의 속도를 이용하여 구조 시간을 계산하고, 계산된 구조시간으로 익수 상황에 처한 인명의 신체적인 상황을 예측하여 위험 정도를 파악하는 익수자상태파악모듈(1200)을 포함할 수 있다.
본 발명에 의하면 고가의 장비를 사용하지 않고, 인공지능을 이용하여 선박에서 바다로 추락한 익수자를 신속하게 인지하고, 구조할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 딥러닝을 이용한 익수자 인식 시스템의 구성을 도시한 도면,
도 2는 학습데이터생성모듈에서 사람에 대한 라벨링과정을 도시한 도면,
도 3은 인명탐지모듈에서 출력되는 경계박스에 관한 정보를 도시한 도면,
도 4는 열화상카메라모듈에서 획득한 영상에 표시되는 경계선을 도시한 도면,
도 5는 경계박스가 설정된 사람이 선박과 바다 영역을 구분하는 경계선을 넘어 익수자가 발생하는 상황을 도시한 도면.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 딥러닝을 이용한 익수자 인식 시스템의 구성을 도시한 도면, 도 2는 학습데이터생성모듈에서 사람에 대한 라벨링과정을 도시한 도면, 도 3은 인명탐지모듈에서 출력되는 경계박스에 관한 정보를 도시한 도면, 도 4는 열화상카메라모듈에서 획득한 영상에 표시되는 경계선을 도시한 도면, 도 5는 경계박스가 설정된 사람이 선박과 바다 영역을 구분하는 경계선을 넘어 익수자가 발생하는 상황을 도시한 도면이다.
본 발명의 바람직한 실시예에 따른 딥러닝을 이용한 익수자 인식 시스템은, 도 1을 참조하면, 학습데이터생성모듈(100), 데이터학습모듈(200), 열화상카메라모듈(300), 인명탐지모듈(400), 경계박스위치파악모듈(500), 경계선지정모듈(600), 익수자발생인식모듈(700), 익수자발생알림모듈(800), 익수자위치저장모듈(900), 기후파악모듈(1000), 사고인명위치예측모듈(1100), 익수자상태파악모듈(1200)을 포함하여 이루어진다.
먼저, 본 발명에 따른 딥러닝을 이용한 익수자 인식 시스템은 영상처리 분야에서 활용되고 있는 딥러닝 기술 중 하나인 컨볼루션 신경망(Convolution Neural Network(CNN))를 이용하여 선박 내에 위치하는 사람, 선박에서 바다로 추락하는 상황에 있는 사람, 바다에 빠져 익수 상황에 있는 사람을 상황에 따라 식별하기 위한 학습을 진행하는 데 그 특징이 있다.
또한, 열화상 영상 화면에 선박과 해상의 영역을 구분할 수 있는 경계선을 설정하고, 설정된 경계선을 통해 선박에 위치한 사람이 경계선을 넘어 바다로 추락할 경우, 학습된 딥러닝 네트워크 모델을 이용하여 사람이 선박에서 바다로 추락한 익수 상황으로 인지하고, 신속하게 다른 선원들에게 익수 발생 상황을 알려 바다에 빠진 익수자를 구조할 수 있는데 그 특징이 있다.
이하, 본 발명의 바람직한 실시예에 따른 딥러닝을 이용한 익수자 인식 시스템의 구성 요소에 대해 상세하게 설명한다.
학습데이터생성모듈(100)은 도 1을 참조하면, 선박의 갑판을 포함하여 선박 내에 위치하고 있는 사람 또는 사람이 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상태에 있는 사람들을 포함한 다수의 이미지에서 사람을 식별하기 위해 사람에 대해 경계박스를 설정하는 라벨링 과정을 통해 배경이 포함된 이미지에서 사람만을 식별할 수 있는 학습데이터를 생성한다.
학습데이터생성모듈(100)은 아래에 서술된 데이터학습모듈(200)에서 특정 이미지에 사람이 있는지 여부를 판단하고, 선박내에 위치한 사람 또는 선박에서 해상으로 추락하는 사람 또는 바다에 빠진 익수자를 탐지하기 위한 학습자료를 생성한다.
학습데이터생성모듈(100)은 도 2에 도시한 바와 같이 배경과 선박, 바다에 빠진 익수자가 포함된 다수의 이미지에서 각 이미지에 대해 경계박스를 설정하는 라벨링(labeling) 과정을 통해 배경이 포함된 이미지에서 사람만을 식별할 수 있는 학습데이터를 생성한다.
학습데이터생성모듈(100)에서의 라벨링과정은 학습을 위한 이미지에 포함된 각각의 물체를 이미지상에서 구분하기 위해 각 물체들의 픽셀들이 서로 연결되어 있는지의 여부를 판단한다.
이때, 이미지의 배열 속에서 서로 연결되어 있는 픽셀들의 집합인 연결성분을 찾고, 같은 연결성분을 가지는 픽셀들에게 번호를 지정해주는 라벨링을 함으로써 이미지에 포함된 각각의 물체들을 서로 구분하게 된다.
데이터학습모듈(200)은 도 1을 참조하면, 콘볼루션 신경망(CNN; Convolutional Neural Network)이 포함된 R-CNN(Regions with CNN), Fast R-CNN, Faster R-CNN, YOLO(You Only Look Once)을 포함한 딥러닝 네트워크 모델을 포함하며, 학습데이터생성모듈(100)에 의해 생성된 학습데이터를 딥러닝 네트워크 모델에 대한 입력데이터로 이용하여 입력데이터로 사용된 이미지 상에서 사람을 탐지하기 위한 학습을 진행한다.
한편, 아래에 서술된 열화상카메라모듈(300)에서 획득한 이미지 정보는 열화상카메라모듈의 성능에 따라 규칙성이 없는 노이즈가 발생할 수 있다.
따라서, 학습데이터생성모듈(100)의 라벨링과정에서 라벨링이 되는 이미지의 픽셀에서 특정 픽셀수를 정하고, 특정된 픽셀수 보다 적은 영역을 제거하여 데이터학습모듈(200)에서 이미지에 포함된 선박객체의 식별력을 높일 수 있도록 하여 아래에 서술된 열화상카메라모듈(300)에서 획득한 이미지에 포함된 규칙성이 없는 노이즈를 제거할 수 있는 크기필터링모듈이 데이터학습모듈(200)에 포함될 수 있다.
열화상카메라모듈(300)은 도 1 및 도 4를 참조하면, 야간 또는 주간에 선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상황에 있는 사람을 촬영하기 위해 선박에 다수 개가 구비된다.
인명탐지모듈(400)은 도 1을 참조하면, 데이터학습모듈(200)에 의해 학습된 딥러닝 네트워크 모델을 이용하여 선박에 위치하는 사람, 선박에서 해상으로 추락하는 상황에 있는 사람, 해상에서 익수 상황에 처한 사람을 탐지하는 모듈로서, 열화상카메라모듈(300)에서 획득한 영상 정보를 시간 단위로 캡쳐하고, 캡쳐된 이미지 중에 포함된 사람을 탐지하며, 탐지된 사람에 대해 경계박스가 설정된 이미지를 출력한다.
인명탐지모듈(400)에서는 경계박스가 설정된 사람의 이미지와 함께 도 3에 도시된 바와 같이 경계박스의 가로축좌표(4), 경계박스의 세로축좌표(6), 경계박스의 폭(8), 경계박스의 높이(10)를 포함하여 경계박스에 관한 정보가 함께 출력된다.
인명탐지모듈(400)에서 출력되는 경계박스에 관한 정보는 도 3에 도시한 바와 같이 실수로 표현된 텍스트 파일 형태로 저장되며, 텍스트 파일에서 각 행의 구성은 각각 클래스번호(2), 사람이 포함된 경계박스의 중심점에 대한 가로축좌표(4), 경계박스의 중심점에 대한 세로축좌표(6), 경계박스의 폭(8), 경계박스의 높이(10)에 관한 정보를 포함한다.
여기서, 클래스번호(2)는 음이 아닌 정수로 표현. 현재 이미지에서 객체가 하나 밖에 없을 경우에는 0 으로 고정된 값을 가진다.
사람이 포함된 경계박스의 중심점에 대한 가로축좌표(4)는 경계박스의 좌상단 꼭지점 좌표가 전체 이미지에 비례해서 가로축 어느 지점에 있는지를 표현한다.
경계박의 중심점에 대한 세로축좌표(6)는 직사각형 박스의 좌상단 꼭지점 좌표가 전체 이미지 비례해서 세로축 어느 지점에 있는지를 표현한다.
경계박스의 폭(8)은 전체 이미지의 크기를 1이라고 했을 때, 경계박스의 너비를 전체 이미지에 비례해서 표현한다.
경계박스의 높이(10)는 전체 이미지의 크기를 1이라고 했을 때, 경계박스의 높이를 전체 이미지 비례해서 표현한다.
한편, 인명탐지모듈(400)에서는 열화상카메라모듈(300)에서 획득한 연속적인 이미지를 유한개의 픽셀로 분할하는 표준화과정을 거친다.
그리고, 표준화과정을 거친 이미지에 대해 연속적인 농담 값을 가지는 분할된 픽셀의 농담 값을 결정 하기 위해 이산적인 정수 값으로 표현하는 양자화과정을 진행한다.
또한, 양자화 과정에서 발생하거나 열화상카메라모듈(300)에서 획득한 영상신호를 증폭하는 과정에서 발생할 수 있는 노이즈를 제거하여 인명탐지모듈(400)에서 실제 사람을 탐지하기 위한 정확도를 높일 수 있도록 하기 위한 노이즈제거과정이 포함될 수 있다.
한편, 실제 열화상카메라모듈(300)에서 획득한 영상에서 사람과 배경으로 분리하여 배경을 추출하고, 추출된 배경을 제거하여 동적상태에 있는 사람에 대한 픽셀정보를 추출하기 위한 배경클러터제거모듈이 포함될 수 있으며, 배경클러터제거모듈은 인명탐지모듈(400)에 대한 전처리 과정으로 사용된다.
배경클러터제거모듈은 가우시안 모델을 이용하여 구현될 수 있으며, 움직임으로 인해 계속적으로 위치가 변하는 사람에 비해 영상 안에서 비교적 움직임이 없는 배경(background)을 구하고, 초기에 주어진 영상에서 배경으로 지정하거나 연속으로 입력되는 영상에서 적절한 배경을 생성한 후, 현재 열화상카메라모듈에서 획득한 영상과의 비교를 통해 배경을 제외한 사람만을 분리해 낸다.
경계박스위치파악모듈(500)은 도 1 및 도 4를 참조하면, 인명탐지모듈(400)에서 사람을 탐지한 경우, 열화상카메라모듈(300)에서 획득한 영상 정보에 있는 사람의 위치를 알아내고 저장한다.
구체적으로, 경계박스위치파악모듈(500)은 인명탐지모듈(400)에서 경계박스가 설정된 사람을 탐지할 경우, 도 3에 도시한 사람에 설정된 경계박스에 관한 정보 중 경계박스의 가로축좌표(4), 세로축좌표(6)를 추출하여 사람의 위치를 알아내고 저장한다.
또한, 경계박스의 폭(8)과 경계박스의 높이(10)에 관한 정보를 추출하고, 추출된 경계박스의 폭(8)과 경계박스의 높이(10)를 곱하여 경계박스의 크기를 연산한다.
여기서, 경계박스위치파악모듈(500)에서는 시간의 경과에 따라 경계박스의 크기가 변화하는 속도를 측정하여 연속적인 경계박스 크기에 대한 데이터를 연산하게 된다.
이후, 경계박스위치파악모듈(500)에서 연산된 경계박스의 크기를 탐지된 사람과의 선박과의 거리로 변환한다.
경계박스위치파악모듈(500)에서 사람에 설정된 경계박스의 크기를 거리로 변환할 때, 경계박스의 크기를 선박과 사람의 거리로 변환할 수 있는 임계값이 경계박스위치파악모듈(500)에 미리 설정되어 있다.
이 임계값은 경계박스의 크기에 대한 임계값이며, 경계박스의 크기에 따라 선박과 사람간의 거리가 달라지며, 이 임계값을 기준으로 선박과 사람과의 거리를 판단하게 된다.
만일, 경계박스위치파악모듈(500)에서 전송된 경계박스의 크기가 설정된 임계값보다 클 경우, 탐지된 사람과 선박과의 거리가 가까워 지게된다.
또한, 경계박스크기연산모듈(500)에서 전송된 경계박스의 크기가 설정된 임계값 보다 작을 경우, 탐지된 사람과의 거리가 멀어지게 된다.
경계선지정모듈(600)은 도 1 및 도 4를 참조하면, 열화상카메라모듈(300)이 촬영한 영상의 화면상에서 선박에 위치하고 있는 사람이 해상으로 추락하는 익수 사고가 발생할 수 있는 경계선을 지정하고 저장한다.
경계선지정모듈(600)에서 설정되는 경계선은 선박의 난간을 포함하여 선박에 위치한 사람이 해상으로 빠지는 익수 상황이 발생할 수 있는 영역을 경계로 지정하게 된다.
익수자발생인식모듈(700)은 도 1 및 도 5를 참조하면, 경계박스위치파악모듈(500)에서 선박에 위치하고 있던 사람을 인식한 경계박스가 경계선지정모듈(600)에서 지정된 경계선을 지정된 방향으로 넘어갔을 때 그 즉시 익수 상황을 인지한다.
익수자발생알림모듈(800)은 도 1을 참조하면, 익수자발생인식모듈(700)에서 익수자가 발생을 인지 하였을 때 그 즉시 선박에 위치하는 선원들에게 익수상황을 선원들이 소지한 스마트기기 등으로 알리거나 알람경보를 발생시킨다.
익수자위치저장모듈(900)은 도 1을 참조하면, 선박에서 해상으로 추락한 익수자의 위치를 선박에 설치된 GPS 등을 통해 파악하여 저장하고, 선박이 익수자의 위치로 선회하여 구조하기 까지 경계박스위치파악모듈(500)에서 연산된 선박과 사람과의 거리를 통해 선박에서 익수자의 위치까지 상대적인 거리를 파악한다.
기후파악모듈(1000)은 도 1을 참조하면, 선박이 항해를 할 때, 주변 해상의 기상상태와 파도의 세기를 파악한다.
사고인명위치예측모듈(1100)은 도 1을 참조하면, 기후파악모듈(1100)에서 파악한 기상상태를 이용하여 선박이 선회할 때까지의 시간을 측정하고, 익수자의 위치를 예측한다.
구체적으로, 사고인명위치예측모듈(1100)에서는 해상에서의 파도 세기와 기상상태를 파악하여 익수 상황에 있는 익수자를 선박이 선회하여 구조를 할 때까지 파도와 조류에 의해 얼마나 이동하였는지를 예측하게 된다.
익수자상태파악모듈(1200)은 도 1을 참조하면, 사고인명위치예측모듈(1100)과 익수자위치저장모듈(900)로 익수자와 선박의 상대적인 거리를 얻어 선박의 속도를 이용하여 구조 시간을 계산하고, 계산된 구조시간으로 익수 상황에 처한 인명의 신체적인 상황을 예측하여 위험 정도를 파악한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 - 학습데이터생성모듈 200 - 데이터학습모듈
300 - 열화상카메라모듈 400 - 인명탐지모듈
500 - 경계박스위치파악모듈 600 - 경계선지정모듈
700 - 익수자발생인식모듈 800 - 익수자발생알림모듈
900 - 익수자위치저장모듈 1000 - 기후파악모듈
1100 - 사고인명위치예측모듈 1200 - 익수자상태파악모듈

Claims (5)

  1. 선박의 갑판을 포함하여 선박 내에 위치하고 있는 사람 또는 사람이 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상태에 있는 사람들을 포함하여 다수의 이미지에서 사람에 대해 경계박스를 설정하는 라벨링 과정을 통해 배경이 포함된 이미지에서 사람만을 식별할 수 있는 학습데이터를 생성하는 학습데이터생성모듈(100);
    컨볼루션신경망이 포함된 딥러닝 네트워크 모델이 포함되며, 학습데이터생성모듈(100)에 의해 생성된 학습데이터를 딥러닝 네트워크 모델에 대한 입력데이터로 이용하여 입력데이터로 사용된 이미지 상에서 사람를 탐지하기 위한 학습을 진행하는 데이터학습모듈(200);
    선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상황에 있는 사람을 촬영하기 위해 선박에 구비되는 다수의 열화상카메라모듈(300);
    데이터학습모듈(200)에 의해 학습된 딥러닝 네트워크 모델을 이용하여 선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에서 익수 상황에 처한 사람을 탐지하는 모듈로서, 열화상카메라모듈(300)에서 획득한 영상 정보를 시간 단위로 캡쳐하고, 캡쳐된 영상 중에 포함된 사람을 탐지하며, 탐지된 사람에 대해 경계박스가 설정된 이미지를 출력하는 인명탐지모듈(400);
    인명탐지모듈(400)에서 사람을 탐지한 경우, 열화상카메라모듈(300)에서 획득한 영상 정보에 있는 사람의 위치를 알아내고 저장하는 경계박스위치파악모듈(500)
    을 포함하는, 딥러닝을 이용한 익수자 인식 시스템.
  2. 선박의 갑판을 포함하여 선박 내에 위치하고 있는 사람 또는 사람이 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상태에 있는 사람들을 포함하여 다수의 이미지에서 사람에 대해 경계박스를 설정하는 라벨링 과정을 통해 배경이 포함된 이미지에서 사람만을 식별할 수 있는 학습데이터를 생성하는 학습데이터생성모듈(100);
    컨볼루션신경망이 포함된 딥러닝 네트워크 모델이 포함되며, 학습데이터생성모듈(100)에 의해 생성된 학습데이터를 딥러닝 네트워크 모델에 대한 입력데이터로 이용하여 입력데이터로 사용된 이미지 상에서 사람를 탐지하기 위한 학습을 진행하는 데이터학습모듈(200);
    선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상황에 있는 사람을 촬영하기 위해 선박에 구비되는 다수의 열화상카메라모듈(300);
    데이터학습모듈(200)에 의해 학습된 딥러닝 네트워크 모델을 이용하여 선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에서 익수 상황에 처한 사람을 탐지하는 모듈로서, 열화상카메라모듈(300)에서 획득한 영상 정보를 시간 단위로 캡쳐하고, 캡쳐된 영상 중에 포함된 사람을 탐지하며, 탐지된 사람에 대해 경계박스가 설정된 이미지를 출력하는 인명탐지모듈(400);
    인명탐지모듈(400)에서 사람을 탐지한 경우, 열화상카메라모듈(300)에서 획득한 영상 정보에 있는 사람의 위치를 알아내고 저장하는 경계박스위치파악모듈(500);
    열화상카메라모듈(300)이 촬영한 영상의 화면상에서 선박에 위치하고 있는 사람이 해상으로 추락하는 익수 사고가 발생할 수 있는 경계선을 지정하고 저장한 경계선지정모듈(600);
    을 포함하는, 딥러닝을 이용한 익수자 인식 시스템.
  3. 선박의 갑판을 포함하여 선박 내에 위치하고 있는 사람 또는 사람이 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상태에 있는 사람들을 포함하여 다수의 이미지에서 사람에 대해 경계박스를 설정하는 라벨링 과정을 통해 배경이 포함된 이미지에서 사람만을 식별할 수 있는 학습데이터를 생성하는 학습데이터생성모듈(100);
    컨볼루션신경망이 포함된 딥러닝 네트워크 모델이 포함되며, 학습데이터생성모듈(100)에 의해 생성된 학습데이터를 딥러닝 네트워크 모델에 대한 입력데이터로 이용하여 입력데이터로 사용된 이미지 상에서 사람를 탐지하기 위한 학습을 진행하는 데이터학습모듈(200);
    선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상황에 있는 사람을 촬영하기 위해 선박에 구비되는 다수의 열화상카메라모듈(300);
    데이터학습모듈(200)에 의해 학습된 딥러닝 네트워크 모델을 이용하여 선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에서 익수 상황에 처한 사람을 탐지하는 모듈로서, 열화상카메라모듈(300)에서 획득한 영상 정보를 시간 단위로 캡쳐하고, 캡쳐된 영상 중에 포함된 사람을 탐지하며, 탐지된 사람에 대해 경계박스가 설정된 이미지를 출력하는 인명탐지모듈(400);
    인명탐지모듈(400)에서 사람을 탐지한 경우, 열화상카메라모듈(300)에서 획득한 영상 정보에 있는 사람의 위치를 알아내고 저장하는 경계박스위치파악모듈(500);
    열화상카메라모듈(300)이 촬영한 영상의 화면상에서 선박에 위치하고 있는 사람이 해상으로 추락하는 익수 사고가 발생할 수 있는 경계선을 지정하고 저장한 경계선지정모듈(600);
    경계박스위치파악모듈(500)로 파악된 사람을 인식한 경계박스가 경계선지정모듈(600)에서 지정된 경계선을 지정된 방향으로 넘어갔을 때 익수 상황으로 인지하는 익수자발생인식모듈(700);
    익수자발생인식모듈(700)에서 익수자가 발생을 인지 하였을 때 선박에 위치하는 선원들에게 익수상황을 알리는 익수자발생알림모듈(800);
    을 포함하는, 딥러닝을 이용한 익수자 인식 시스템.
  4. 선박의 갑판을 포함하여 선박 내에 위치하고 있는 사람 또는 사람이 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상태에 있는 사람들을 포함하여 다수의 이미지에서 사람에 대해 경계박스를 설정하는 라벨링 과정을 통해 배경이 포함된 이미지에서 사람만을 식별할 수 있는 학습데이터를 생성하는 학습데이터생성모듈(100);
    컨볼루션신경망이 포함된 딥러닝 네트워크 모델이 포함되며, 학습데이터생성모듈(100)에 의해 생성된 학습데이터를 딥러닝 네트워크 모델에 대한 입력데이터로 이용하여 입력데이터로 사용된 이미지 상에서 사람를 탐지하기 위한 학습을 진행하는 데이터학습모듈(200);
    선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상황에 있는 사람을 촬영하기 위해 선박에 구비되는 다수의 열화상카메라모듈(300);
    데이터학습모듈(200)에 의해 학습된 딥러닝 네트워크 모델을 이용하여 선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에서 익수 상황에 처한 사람을 탐지하는 모듈로서, 열화상카메라모듈(300)에서 획득한 영상 정보를 시간 단위로 캡쳐하고, 캡쳐된 영상 중에 포함된 사람을 탐지하며, 탐지된 사람에 대해 경계박스가 설정된 이미지를 출력하는 인명탐지모듈(400);
    인명탐지모듈(400)에서 사람을 탐지한 경우, 열화상카메라모듈(300)에서 획득한 영상 정보에 있는 사람의 위치를 알아내고 저장하는 경계박스위치파악모듈(500);
    열화상카메라모듈(300)이 촬영한 영상의 화면상에서 선박에 위치하고 있는 사람이 해상으로 추락하는 익수 사고가 발생할 수 있는 경계선을 지정하고 저장한 경계선지정모듈(600);
    경계박스위치파악모듈(500)로 파악된 사람을 인식한 경계박스가 경계선지정모듈(600)에서 지정된 경계선을 지정된 방향으로 넘어갔을 때 익수 상황으로 인지하는 익수자발생인식모듈(700);
    익수자발생인식모듈(700)에서 익수자가 발생을 인지 하였을 때 선박에 위치하는 선원들에게 익수상황을 알리는 익수자발생알림모듈(800);
    선박에서 해상으로 추락한 익수자의 위치를 파악하여 저장하고, 선박이 익수자의 위치로 선회하여 구조하기 까지 선박에서 익수자의 위치까지 상대적인 거리를 파악하기 위한 익수자위치저장모듈(900);
    선박이 항해를 할 때, 주변 해상의 기상상태와 파도의 세기를 파악하는 기후파악모듈(1000);
    기후파악모듈(1100)에서 파악한 기상상태를 이용하여 선박이 선회할 때까지의 시간을 측정하고, 익수자의 위치를 예측하는 사고인명위치예측모듈(1100)
    을 포함하는, 딥러닝을 이용한 익수자 인식 시스템.
  5. 선박의 갑판을 포함하여 선박 내에 위치하고 있는 사람 또는 사람이 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상태에 있는 사람들을 포함하여 다수의 이미지에서 사람에 대해 경계박스를 설정하는 라벨링 과정을 통해 배경이 포함된 이미지에서 사람만을 식별할 수 있는 학습데이터를 생성하는 학습데이터생성모듈(100);
    컨볼루션신경망이 포함된 딥러닝 네트워크 모델이 포함되며, 학습데이터생성모듈(100)에 의해 생성된 학습데이터를 딥러닝 네트워크 모델에 대한 입력데이터로 이용하여 입력데이터로 사용된 이미지 상에서 사람를 탐지하기 위한 학습을 진행하는 데이터학습모듈(200);
    선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에 추락하여 익수 상황에 있는 사람을 촬영하기 위해 선박에 구비되는 다수의 열화상카메라모듈(300);
    데이터학습모듈(200)에 의해 학습된 딥러닝 네트워크 모델을 이용하여 선박에 위치하는 사람 또는 선박에서 해상으로 추락하는 상황에 있는 사람 또는 해상에서 익수 상황에 처한 사람을 탐지하는 모듈로서, 열화상카메라모듈(300)에서 획득한 영상 정보를 시간 단위로 캡쳐하고, 캡쳐된 영상 중에 포함된 사람을 탐지하며, 탐지된 사람에 대해 경계박스가 설정된 이미지를 출력하는 인명탐지모듈(400);
    인명탐지모듈(400)에서 사람을 탐지한 경우, 열화상카메라모듈(300)에서 획득한 영상 정보에 있는 사람의 위치를 알아내고 저장하는 경계박스위치파악모듈(500);
    열화상카메라모듈(300)이 촬영한 영상의 화면상에서 선박에 위치하고 있는 사람이 해상으로 추락하는 익수 사고가 발생할 수 있는 경계선을 지정하고 저장한 경계선지정모듈(600);
    경계박스위치파악모듈(500)로 파악된 사람을 인식한 경계박스가 경계선지정모듈(600)에서 지정된 경계선을 지정된 방향으로 넘어갔을 때 익수 상황으로 인지하는 익수자발생인식모듈(700);
    익수자발생인식모듈(700)에서 익수자가 발생을 인지 하였을 때 선박에 위치하는 선원들에게 익수상황을 알리는 익수자발생알림모듈(800);
    선박에서 해상으로 추락한 익수자의 위치를 파악하여 저장하고, 선박이 익수자의 위치로 선회하여 구조하기 까지 선박에서 익수자의 위치까지 상대적인 거리를 파악하기 위한 익수자위치저장모듈(900);
    선박이 항해를 할 때, 주변 해상의 기상상태와 파도의 세기를 파악하는 기후파악모듈(1000);
    기후파악모듈(1100)에서 파악한 기상상태를 이용하여 선박이 선회할 때까지의 시간을 측정하고, 익수자의 위치를 예측하는 사고인명위치예측모듈(1100);
    사고인명위치예측모듈(1100)과 익수자위치저장모듈(900)로 익수자와 선박의 상대적인 거리를 얻어 선박의 속도를 이용하여 구조 시간을 계산하고, 계산된 구조시간으로 익수 상황에 처한 인명의 신체적인 상황을 예측하여 위험 정도를 파악하는 익수자상태파악모듈(1200)
    을 포함하는, 딥러닝을 이용한 익수자 인식 시스템.
KR1020200109803A 2020-08-31 2020-08-31 딥러닝을 이용한 익수자 인식 시스템 KR20220028607A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200109803A KR20220028607A (ko) 2020-08-31 2020-08-31 딥러닝을 이용한 익수자 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200109803A KR20220028607A (ko) 2020-08-31 2020-08-31 딥러닝을 이용한 익수자 인식 시스템

Publications (1)

Publication Number Publication Date
KR20220028607A true KR20220028607A (ko) 2022-03-08

Family

ID=80812808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200109803A KR20220028607A (ko) 2020-08-31 2020-08-31 딥러닝을 이용한 익수자 인식 시스템

Country Status (1)

Country Link
KR (1) KR20220028607A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102602439B1 (ko) * 2023-04-14 2023-11-15 (주)유에스티21 인공지능 기반 cctv 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102602439B1 (ko) * 2023-04-14 2023-11-15 (주)유에스티21 인공지능 기반 cctv 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치

Similar Documents

Publication Publication Date Title
KR102060567B1 (ko) 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템
KR101805564B1 (ko) 선박 충돌 방지용 경보 시스템 및 방법
KR102171122B1 (ko) 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템
KR102235787B1 (ko) 접안 모니터링 장치 및 방법
KR102095555B1 (ko) 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법
KR101589814B1 (ko) 연안에서의 객체 인식 장치 및 그 방법
KR102257006B1 (ko) 딥러닝을 이용한 선박 충돌 방지 자율회피 시스템
KR102155724B1 (ko) 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템
Bloisi et al. Camera based target recognition for maritime awareness
KR102265980B1 (ko) 선박 및 항만 모니터링 장치 및 방법
Bovcon et al. A water-obstacle separation and refinement network for unmanned surface vehicles
KR20240046463A (ko) 인공지능 기반 해상 인명 안전 및 운항 안전 지원 시스템 및 그에 의한 지원 방법
JP2017133901A (ja) 監視装置、および監視方法、並びにプログラム
KR102053906B1 (ko) 지리공간정보를 이용하는 실시간 감독 학습 방법 및 시스템
KR20220028607A (ko) 딥러닝을 이용한 익수자 인식 시스템
T'Jampens et al. Automatic detection, tracking and counting of birds in marine video content
Gupta et al. A GUI based application for low intensity object classification & count using SVM approach
Gupta et al. Automated object detection system in marine environment
CN116740649B (zh) 一种基于深度学习的船员越界落水行为实时检测方法
Bloisi et al. Integrated visual information for maritime surveillance
KR20230074438A (ko) 선박 및 항만 모니터링 장치 및 방법
JP4302801B2 (ja) 物体追跡方法及び物体追跡装置
Kim et al. Object detection algorithm for unmanned surface vehicle using faster R-CNN
KR102269384B1 (ko) 선박 운항 지원 시스템 및 이를 포함하는 선박
Chin et al. Intelligent fouling detection system using haar-like cascade classifier with neural networks

Legal Events

Date Code Title Description
E601 Decision to refuse application