KR102155724B1

KR102155724B1 - 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템

Info

Publication number: KR102155724B1
Application number: KR1020200048052A
Authority: KR
Inventors: 임태호; 정태건; 이효찬
Original assignee: 호서대학교 산학협력단
Priority date: 2020-04-21
Filing date: 2020-04-21
Publication date: 2020-09-14

Abstract

본 발명은 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 선박 내에서 선원의 쓰러짐을 인식하고 분석함으로, 선원의 위험 상태에 따른 위급 상황을 신속하게 알리고 위급 상황에 대처할 수 있도록 하는 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템에 관한 것이다.

Description

심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템{Method and system for risk detection of objects in ships using deep neural networks}

크루저, 어선, 화물선 등의 배가 흔들려 사람이 균형이 무너지면서 넘어지는 순간 다른 물체에 부딪혀 단순한 타박상부터 뼈가 부러지거나 머리에 손상을 입어 정신을 잃는 등의 큰 사고로 이어져 혼자서 몸을 가눌 수 없는 상황까지 이어질 수 있다. 이러한 상황을 개선하기 위해 선박 내 CCTV를 설치하여 사람이 직접 CCTV 상황을 확인한 후 상황을 판단하고 있지만, 매번 실시간으로 모니터링을 하는데 어려움이 있다. 또한 영상처리를 이용하여 검출한 사람의 객체 박스의 가로/세로 비율을 계산해 넘어짐을 파악하는 등의 연구가 진행되고 있지만, 잡음, 거리등의 문제로 사람의 객체 박스를 검출하기 어려우며 카메라가 흔들리거나 손과 발을 뻗는 상황 등 방향과 각도에 따라 객체 박스를 검출하지 못하거나 박스의 비율이 동일하기 때문에 정확성이 매우 떨어지는 문제가 있다.

KR

1016144120000

B1

본 발명은 이와 같은 문제점을 해결하기 위하여 창안된 것으로서, 해양 기후에 따른 파도 세기 또는 선박을 운항하며 순간적으로 좌우 방향으로 이동할 때 선박의 충격 또는 위험한 각도로 사람이 넘어졌을 상황을 검출하여, 위급 상황을 신속하게 알리고 위급 상황에 대처함으로 큰 사고를 방지할 수 있는 심층신경망을 이용한 선반 내 객체의 위험 검출 방법 및 시스템을 제공하는데 그 목적이 있다.

이와 같은 목적을 달성하기 위하여 본 발명에 따른 심층신경망을 이용하여 선박 내 객체의 위험을 검출하는 방법으로서, (a) 선박에 장착된 카메라로부터 영상을 수신하는 단계; (b) 상기 단계 (a)에서 수신된 영상에 대한 전처리를 수행하는 단계; (c) 상기 단계 (b)에서 수행된 전처리 영상 데이터를 딥러닝(deep learning) 기반 심층신경망 모델에 입력 데이터로 입력하고, 상기 심층신경망 모델에서 객체의 위험을 검출하는 단계; 및 (d) 상기 단계 (c)에서 검출된 객체의 위험 상태에 따른 조치를 수행하는 단계를 포함하되, 상기 (c)의 검출은 전처리한 영상 데이터를 YOLO 모델에 입력하고, YOLO 모델에서 멀티 객체를 인식하며, 인식된 멀티 객체의 영역 값을 이용하여 위험 여부를 검출하는데, 상기 멀티 객체는 사람의 머리 및 발이며, (c1) 상기 인식된 멀티 객체의, 각 객체 영역의 중앙 좌표를 계산하는 단계; (c2) 상기 단계 (c1)에서 계산된 머리의 중앙 좌표를 기준으로 가장 짧은 거리의 발 객체를 탐색하는 단계; 및 (c3) 상기 단계 (c2)에서 탐색된 발 객체의 중앙 좌표와 머리 객체의 중앙 좌표 간의 각도를 계산하여 각도가 0~30도 및 150~180도 일 경우 위험으로 판단하는 단계를 포함한다.

바람직하게는 상기 단계 (b)의 전처리 수행은, 상기 단계 (a)에서 획득된 영상에서 선박 영역을 제외한 다른 영역을 제거하기 위함인 것이다.

바람직하게는 상기 심층신경망 모델은, CNN(convolutional neural network)를 포함하는 것이다.

바람직하게는 상기 심층신경망 모델은, YOLO(You Only Look Once)를 포함하는 것이다.

바람직하게는 상기 심층신경망 모델은, CNN(convolutional neural network) 및 YOLO(You Only Look Once)를 포함하는 것이다.

바람직하게는 상기 단계 (c)는, (c1) 전처리한 영상 데이터를, YOLO 모델에 입력하는 단계; (c2) 상기 단계 (c1)의 멀티 객체를 인식하는 단계; 및 (c3) 상기 단계 (c2)에서 인식된 멀티 객체의 영역 값을 이용하여 위험 여부를 검출하는 단계를 포함하는 것이다.

바람직하게는 상기 멀티 객체는 사람 및 사람의 머리 및 발 인 것이다.

바람직하게는 상기 검출은, (c3_i) 상기 인식된 멀티 객체가 사람인 경우, 객체 영역의 좌표에 따른 가로/세로 축 길이를 계산하는 단계; 및 (c3_ii) 상기 단계 (c3_i)에서 계산된 가로/세로 축 비율에서 가로 길이가 세로 길이보다 길 경우 위험으로 판단하는 단계를 포함하는 것이다.

바람직하게는 상기 검출은, (c3_i) 상기 인식된 멀티 객체가 사람의 머리 및 발인 경우, 각 객체 영역의 중앙 좌표를 계산하는 단계; (c3_ii) 상기 단계 (c3_i)에서 계산된 머리의 중앙 좌표를 기준으로 가장 짧은 거리의 발 객체를 탐색하는 단계; 및 (c3_iii) 상기 탐색된 발 객체의 중앙 좌표와 머리 객체의 중앙 좌표 간의 각도를 계산하여 각도가 0~30도 및 150~180도 일 경우 위험으로 판단하는 단계를 포함하는 것이다.

바람직하게는 상기 단계 (d)는, (d1) 검출된 위험 상태가 10초 이상인지 확인하는 단계; 및 (d2) 10초 이상이면 선박 내 사이렌을 울리는 단계를 포함하는 것이다.

바람직하게는 상기 단계 (d)는, (d1) 검출된 위험 상태에 있는 영상 속 사람의 이미지를 캡쳐하는 단계; 및 (d2) 캡쳐된 이미지와 위치 정보를 책임자에게 전송하는 단계를 포함하는 것이다.

이와 같은 목적을 달성하기 위한 본 발명의 다른 측면은 심층신경망을 이용한 선박 내 객체의 위험을 검출하는 장치로서, 적어도 하나의 프로세서; 및 컴퓨터로 실행 가능한 명령을 저장하는 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행 가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 선박에 장착된 카메라로부터 영상을 수신하는 단계; (b) 상기 단계 (a)에서 수신된 영상에 대한 전처리를 수행하는 단계; (c) 상기 단계 (b)에서 수행된 전처리 영상 데이터를 딥러닝(deep learning) 기반 심층신경망 모델에 입력 데이터로 입력하고, 상기 심층신경망 모델에서 객체의 위험을 검출하는 단계; 및 (d) 상기 단계 (c)에서 검출된 객체의 위험 상태에 따른 조치를 수행하는 단계를 포함하되, 상기 (c)의 검출은 전처리한 영상 데이터를 YOLO 모델에 입력하고, YOLO 모델에서 멀티 객체를 인식하며, 인식된 멀티 객체의 영역 값을 이용하여 위험 여부를 검출하는데, 상기 멀티 객체는 사람의 머리 및 발이며, (c1) 상기 인식된 멀티 객체의, 각 객체 영역의 중앙 좌표를 계산하는 단계; (c2) 상기 단계 (c1)에서 계산된 머리의 중앙 좌표를 기준으로 가장 짧은 거리의 발 객체를 탐색하는 단계; 및 (c3) 상기 단계 (c2)에서 탐색된 발 객체의 중앙 좌표와 머리 객체의 중앙 좌표 간의 각도를 계산하여 각도가 0~30도 및 150~180도 일 경우 위험으로 판단하는 단계가 실행되도록 한다.

바람직하게는 상기 심층신경망을 이용한 선박 내 객체의 위험 검출 장치는 카메라 모듈이 부착되는 것이다.

바람직하게는 상기 심층신경망을 이용한 선박 내 객체의 위험 검출 장치는 알림 장치와 연결되는 것이다.

이와 같은 목적을 달성하기 위한 본 발명의 또 다른 측면은 심층신경망을 이용한 선박 내 객체의 위험을 검출하기 위한 컴퓨터 프로그램으로서, 비일시적 저장 매체에 저장되며, 프로세서에 의하여. (a) 선박에 장착된 카메라로부터 영상을 수신하는 단계; (b) 상기 단계 (a)에서 수신된 영상에 대한 전처리를 수행하는 단계; (c) 상기 단계 (b)에서 수행된 전처리 영상 데이터를 딥러닝(deep learning) 기반 심층신경망 모델에 입력 데이터로 입력하고, 상기 심층신경망 모델에서 객체의 위험을 검출하는 단계; 및 (d) 상기 단계 (c)에서 검출된 객체의 위험 상태에 따른 조치를 수행하는 단계를 포함하되, 상기 (c)의 검출은 전처리한 영상 데이터를 YOLO 모델에 입력하고, YOLO 모델에서 멀티 객체를 인식하며, 인식된 멀티 객체의 영역 값을 이용하여 위험 여부를 검출하는데, 상기 멀티 객체는 사람의 머리 및 발이며, (c1) 상기 인식된 멀티 객체의, 각 객체 영역의 중앙 좌표를 계산하는 단계; (c2) 상기 단계 (c1)에서 계산된 머리의 중앙 좌표를 기준으로 가장 짧은 거리의 발 객체를 탐색하는 단계; 및 (c3) 상기 단계 (c2)에서 탐색된 발 객체의 중앙 좌표와 머리 객체의 중앙 좌표 간의 각도를 계산하여 각도가 0~30도 및 150~180도 일 경우 위험으로 판단하는 단계가 실행되도록 하는 명령을 포함하는 컴퓨터 프로그램이다.

본 발명에 의하면, 해양 기후와 선박 운항에 따른 배의 흔들림으로 선박 내부에서 사람이 넘어지는 사고가 큰 사고로 이어지지 않도록 방지하는 효과가 있다.

그리고 임베디드 보드와 카메라 모듈을 사용하고 영상 기반의 소프트웨어 시스템을 이용하므로 막대한 비용이 소요되지 않고 설치 부담이 적어 접근성이 높은 효과가 있다

도 1은 본 발명에 따른 심층신경망을 이용한 선반 내 객체의 위험 검출 방법을 수행하는 순서도.
도 2는 도 1에 따른 본 발명의 심층신경망을 이용한 선박 내 객체의 위험 검출 방법에서 카메라로부터 입력된 영상의 전처리 과정(S200)을 보여주는 순서도.
도 3은 본 발명에 다른 심층신경망을 이용한 선박 내 객체의 위험 검출 방법에서 상태 구별 방법에서 전처리된 영상 데이터를 딥러닝(deep learning) 기반 심층신경망 모델에 입력 데이터로 입력하고, 심층신경망 모델에서 객체의 위험 상태 검출 과정(S300)을 보여주는 순서도.
도 4는 도 3에 따른 멀티 객체의 영역값을 이용하여 위험 상태를 검출하는 과정(S330)에서 객체가 사람인 경우를 보여주는 순서도.
도 5는 도 3에 따른 멀티 객체의 영역값을 이용하여 위험 상태를 검출하는 과정에서 객체가 사람의 머리 및 발인 경우를 보여주는 순서도.
도 6은 도 1에 따른 본 발명의 심층신경망을 이용한 선박 내 객체의 위험 검출 방법에서 검출된 객체에 따른 조치를 수행하는 과정(S400)을 보여주는 순서도.
도 7은 본 발명에 따른 심층신경망을 이용한 선박 내 객체의 위험 검출 시스템의 전체 하드웨어 구성을 나타낸 도면.
도 8은 본 발명에 따른 심층신경망을 이용한 선박 내 객체의 위험 검출 시스템(100)의 구성을 수행 모듈별로 나타낸 도면.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명에 따른 심층신경망을 이용한 선박 내 객체의 위험 검출 방법을 수행하는 순서도이다.

먼저 선박에 장착된 카메라로부터 촬영되고 있는 영상을 수신한다(S100).

여기서 카메라는 예를 들어 CCTV 카메라일 수 있으며, 또한 선박 내 돛대에 설치되어 선박의 위에서 선박 아래를 볼 수 있는 방향으로 영상을 획득하는 카메라일 수도 있다. 이때 전 방향 360도 카메라 또는 전 방향에 따른 다중 내부 카메라일 수 있다. 이러한 영상에 대하여 본 발명의 선박 내 객체의 위험 검출을 위한 심층신경망 모델에 입력으로 사용하기 위한 영상의 전처리 과정을 수행한다(S200). 이러한 전처리 과정(S200)에 대하여는 이하 도 2를 참조하여 더욱 상세히 후술하기로 한다.

전처리 영상은 본 발명의 선박 내 객체의 위험 검출을 위한 딥러닝(deep learning) 기반 심층신경망 모델에 입력 데이터로서 입력되어, 인식된 객체의 위험 상태를 출력하게 된다(S300). 이러한 심층신경망 모델은, CNN(convolution neural network) 또는 YOLO(You Only Look Once) 알고리즘을 수행하도록 구성될 수 있다.

CNN은 객체 인식의 정확도가 높으며, YOLO는 CNN과 비교하여 물체 인식의 정확도는 떨어질 수 있으나, 물체에 대한 빠른 인식 속도에 강점이 있다. 이러한 특징을 감안하여 CNN 만을 이용한 심층신경망 모델을 이용할 수도 있고, YOLO 만을 이용한 심층신경망 모델을 이용할 수도 있다.

YOLO와 CNN을 결합하여 사용하는 모델은 다음과 같은 방식으로 구성할 수 있다. 즉, 먼저 선박 내 촬영 영상을 전처리한 영상 데이터를 빠른 물체 인식이 가능한 YOLO 모델에 입력한다. 이러한 YOLO 모델의 출력에서 객체가 인식된 경우, 영상 데이터에서 인식된 객체 영역을 추출해내고, 추출된 객체 영역 이미지를 CNN 모델에 입력한다. CNN 모델은 이로부터 객체의 정보를 정확하게 인식해 내게 된다. 즉 YOLO 모델에 의한 빠른 처리에 의해 영상으로부터 객체를 인식해 내고, 이러한 객체의 정확한 정보는 객체가 감지된 영상에서 CNN 모델을 이용하여 위험 상태를 검출해 내는 것이다.

이와 같이 CNN만을 사용하는 모델, YOLO만을 사용하는 모델, 또는 YOLO와 CNN을 결합하여 사용하는 모델 등에서, 최종적으로 출력되는 객체 인식 정보에는 객체 영역의 가로/세로 비율, 객체의 머리 및 발의 크기, 머리를 기준으로 발의 거리와, 머리와 발 좌표의 각도 정보가 포함될 수 있다.

이후, 이와 같이 인식된 객체 인식 정보로부터 객체의 위험 상태를 검출하고, 검출된 상태에 따른 조치를 수행한다(S400).

도 2는 도 1에 따른 본 발명에 따른 심층신경망을 이용한 선박 내 객체의 위험 검출 방법에서 카메라로부터 입력된 영상의 전처리 과정(S200)을 보여주는 순서도이며, 왼쪽은 순서도와 관련된 영상 사진을 보여주고 있다.

도 2에 도시된 바와 같이 입력된 영상의 전처리 과정(S200)은 인공지능을 이용하여 객체의 위험(쓰러짐)을 검출하기 전에, 입력된 이미지 속 선박 영역을 제외한 하늘, 바다 영역을 영상처리를 통해 제거하는 것으로, 먼저 선박의 임베디드 보드에 연결된 카메라 모듈로부터 영상을 입력받는다(S210). 그리고 Blurring 알고리즘을 이용하여 입력받은 영상의 이미지를 흐리게 한다(S220). 이는 차후에 진행될 직선 검출을 위함이다. 이후 3개의 RGB 채널로 이루어진 이미지를 Grayscale을 통해 1개의 채널로 변환(S230)하고, Canny edge detection 알고리즘을 이용해 이미지 엣지를 검출한다(S240). 검출된 엣지를 이용하여 Hough Transform 알고리즘을 적용해 직선을 검출(S250)하며, 이미지 속 검출된 직선의 위로 모든 픽셀값에 이미지 속 검출된 직선의 위로 모든 픽셀값에 0을 입력해 이미지를 검은색으로 만들어 선박 영역만을 추출한다(S260).

도 3은 본 발명에 따른 심층신경망을 이용한 선박 내 객체의 위험 검출 방법에서 전처리된 영상 데이터를 딥러닝(deep learning) 기반 심층신경망 모델에 입력 데이터로 입력하고, 심층신경망 모델에서 객체의 위험 상태 검출 과정(S300)을 보여주는 순서도이다.

도 3에 도시된 바와 같이 앞서 도 2의 과정을 통하여 전처리된 영상 데이터를 심층학습 모델인 YOLO 모델에 입력(S310)하게 된다. 이때 심층학습 모델은 YOLO, CNN 등 다양한 모델을 사용할 수 있지만, 본 발명에서와 같이 YOLO 및 CNN은 막대한 비용이 소요되지 않고 설치 부담이 적다는 장점이 있으며, YOLO 대신 Open Pos나 Dense Pos 등도 사용할 수 있지만 이는 비용적인 측면에서 부담이 있다.

이후 단계 S310에서 입력된 전처리된 영상 데이터에서 멀티 객체를 인식(S320)하는데, 여기서 심층학습 모델인 YOLO를 이용하여 사람의 가중치(weights)를 불러와 사람 객체를 검출 및 인식하며, 동시에 사람의 머리 및 발의 가중치(weights)를 불러와 머리 및 발 객체를 검출 및 인식한다. 따라서 멀티 객체는 사람 및 사람의 머리 및 발을 의미한다.

그리고 인식된 멀티 객체의 영역값을 이용하여 위험 상태를 검출한다(S330).

여기서 단계 S330의 위험 상태 검출에 대하여는 이하 도 4 내지 도 5를 참조하여 더욱 상세히 후술하기로 하며, 한편 본 발명에서는 도 4의 방법뿐만 아니라 도 5의 방법을 포함하여 위험을 검출하므로 정확성을 높일 수 있다.

도 4는 도 3에 따른 멀티 객체의 영역값을 이용하여 위험 상태를 검출하는 과정(S330)에서 객체가 사람인 경우를 보여주는 순서도이고, 도 5는 도 3에 따른 멀티 객체의 영역값을 이용하여 위험 상태를 검출하는 과정에서 객체가 사람의 머리 및 발인 경우를 보여주는 순서도이다. 그리고 도 3 및 도 4의 순서도 좌측에는 설명의 이해를 돕기 위하여 순서도와 관련된 이미지 사진이 함께 도시되어 있다.

도 4를 참조하면, 카메라를 통하여 영상이 입력(S500)되면, 심층학습 모델을 통하여 사람의 가중치(weights)를 이용하여 사람을 검출 및 인식한다(S510). 이때 좌측의 영상 안에 빨간 선으로 영역이 표시되어 있고, 이 표시된 영역 안에 사람 객체가 검출되어 인식됨을 보여주고 있다. 이후 인식된 사람의 영역에서 각 꼭짓점에 해당하는 좌표를 추출하고, 이 추출된 사각형의 네 꼭짓점 좌표를 통해 사각형의 가로/세로 축 길이를 계산한다(S520). 그리고 가로/세로 비율에 따른 위험(쓰러짐) 상태를 검출한다(S530). 즉 가로의 길이가 세로의 길이보다 길면 위험(쓰러짐) 상태로 판단하고, 가로의 길이가 세로의 길이보다 짧으면 위험한 상태가 아닌 것으로 판단한다.

도 5는 도 4에서 검출된 위험의 정확도를 높이기 위한 방법으로, 도 4의 단계 S430에서와 같이 위험이라고 판단된 경우, 위험 상태에 있는 사람 영역의 이미지를 인식한다(S600). 그리고 사람의 머리 및 발을 인식할 수 있는 가중치(weights)를 이용하여 머리 및 발을 추출하고 인식한다(S610). 이때 좌측의 빨간 선 영역의 영상 안에, 머리는 초록 선을 이용하여 영역이 표시되어 있고, 발은 파랑 선을 이용하여 영역이 표시되어 있다. 이때 이 표시된 영역 안에 머리 객체와, 발 객체가 검출되어 인식됨을 보여주고 있다. 이후 인식된 각 객체 영역의 네 꼭지점을 통해 중앙 좌표를 계산한다(S620). 이후 머리의 좌표를 기준으로 가장 짧은 거리에 있는 발의 좌표를 탐색하여 찾아낸다(S630). 이때 거리에 대해서는 피타고라스 정리를 사용해 거리를 계산할 수 있다. 그리고 단계 S630에서 찾아낸 머리의 좌표를 기준으로 가장 짧은 거리에 있는 발의 좌표에 대하여 머리와 발 객체 좌표 간의 각도를 계산한다(S640). 이때 각도 계산은 머리의 좌표를 (a, b)로 놓고, 발의 좌표를 (c, d)라고 했을 때, 발의 좌표를 (0,0)로 맞추며, 머리의 좌표는 (c-a, d-b)이 된다. 이후 삼각함수 공식에 따라

,

공식을 통해 머리와 발의 각도를 계산하고, 계산된 각도에 따른 위험 상태를 검출한다(S650). 이때 각도의 크기가 0~30도, 150~180도이면, 위험 상태로 판단된다.

도 6은 도 1에 따른 본 발명의 심층신경망을 이용한 선박 내 객체의 위험 검출 방법에서 검출된 객체에 따른 조치를 수행하는 과정(S400)을 보여주는 순서도로, 위험 상태로 검출되면(S410), 영상 속 쓰러진 사람의 이미지를 캡쳐 한다(S411a). 그리고 캡쳐 한 이미지와 위치 정보를 책임자에게 전송한다(S412a). 한편 위험 상태로 검출되고(S410), 검출된 위험 상태가 10초 이상인지 확인(S411b)한 후, 10초 이상일 경우, 선박 내 사이렌을 울리도록 한다(S412b).

도 7은 본 발명에 따른 심층신경망을 이용한 선박 내 객체의 위험 검출 시스템의 전체 하드웨어 구성을 나타낸 도면이고, 도 8은 본 발명에 따른 심층신경망을 이용한 선박 내 객체의 위험 검출 시스템(100)의 구성을 수행 모듈별로 나타낸 도면이다.

도 1 내지 도 6을 참조하여, 본 발명에 따른 심층신경망을 이용한 선박 내 객체의 위험 검출 방법에 대하여는 이미 상세히 전술한 바 있으므로, 이하에서는 그와 같은 기능을 수행하는 심층신경망을 이용한 선박 내 객체의 위험 검출 시스템(100)을 그 구성 모듈의 기능을 중심으로 간략히 정리하여 설명하기로 한다.

도 7을 참조하면, 심층신경망을 이용한 선박 내 객체의 위험 상태 구별 시스템은(100)은 프로세서(110), 프로그램과 데이터를 저장하는 비휘발성 저장부(120), 실행 중인 프로그램을 저장하는 휘발성 메모리(130), 다른 기기와 통신을 수행하기 위한 통신부(140), 이들 장치 사이의 내부 통신 통로인 버스 등으로 이루어져 있다. 실행중인 프로그램으로는, 장치 드라이버, 운영체계(Operating System), 및 다향한 어플리케이션이 있을 수 있다. 도시되지는 않았지만 전력제공부를 포함한다.

심층신경망을 이용한 선박 내 객체 위험 상태 구별 시스템(100)은 선박에 장착된 카메라(300)로부터 촬영되고 있는 영상을 수신한다.

또한 후술하는 바와 같이 선박에서 인식된 객체가 위험한 상태일 경우에는 경보음, 모니터링 화면 등의 알림장치(20) 등을 통해 위험 알림을 수행한다.

선박 내 객체 위험 검출 어플리케이션(220)은, 도 1 내지 도 6을 참조하여 설명한 바와 같은, 심층신경망을 이용한 선박 내 객체의 위험 검출 방법을 수행하는데, 도 8을 참조하여 그러한 방법을 수행하는 모듈의 기능을 중심으로 설명하면 다음과 같다.

인공지능에 특화된 임베디드 보드를 선박 내에 설치하여 부착 및 연결 되어있는 카메라 모듈로부터 영상 데이터를 수신부(101)가 입력받는다. 입력받은 영상 데이터를 이용하여 전처리부(102)를 통해 이미지 전처리를 진행한 뒤 객체 검출 및 인식부(103)를 통해 인공지능 모델인 YOLO의 네트워크를 통해 영상 속 사람, 머리 그리고 발을 검출 및 인식한다. 그리고 발을 검출 및 인식하고 이에 따른 사람 Box 영역의 가로/세로 비율과 머리와 발의 각도 값에 따라 위험(쓰러짐)의 여부를 객체 위험 검출 분석부(104)가 분석한다. 분석을 통해 위험 상황으로 판단될 경우 제어부(106)를 통해 객체 위험 조치부(105)가 선박의 책임자에게 쓰러진 사람의 이미지와 위치 정보를 문자로 전송하고 일정 시간 동안 위험 상황이 지속되면 선박 내 설치된 부저를 동작시켜 위험 알림을 알린다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

100: 심층신경망을 이용한 선박 내 객체 위험 검출 시스템
101: 수신부
102: 전처리부
103: 객체 검출 및 인식부
104: 객체 위험 검출 분석부
105: 객체 위험 조치부
106: 제어부
110: 프로세서
120: 저장부
130: 메모리
140: 통신부
210: 위험 조치 드라이브
220: 선박 내 객체 위험 검출 어플리케이션
300: 카메라

Claims

심층신경망을 이용하여 선박 내 객체의 위험을 검출하는 방법으로서,
(a) 선박에 장착된 카메라로부터 영상을 수신하는 단계;
(b) 상기 단계 (a)에서 수신된 영상에 대한 전처리를 수행하는 단계;
(c) 상기 단계 (b)에서 수행된 전처리 영상 데이터를 딥러닝(deep learning) 기반 심층신경망 모델에 입력 데이터로 입력하고, 상기 심층신경망 모델에서 객체의 위험을 검출하는 단계; 및
(d) 상기 단계 (c)에서 검출된 객체의 위험 상태에 따른 조치를 수행하는 단계
를 포함하되,
상기 (c)의 검출은 전처리한 영상 데이터를 YOLO 모델에 입력하고, YOLO 모델에서 멀티 객체를 인식하며, 인식된 멀티 객체의 영역 값을 이용하여 위험 여부를 검출하는데,
상기 멀티 객체는 사람의 머리 및 발이며,
(c1) 상기 인식된 멀티 객체의, 각 객체 영역의 중앙 좌표를 계산하는 단계;
(c2) 상기 단계 (c1)에서 계산된 머리의 중앙 좌표를 기준으로 가장 짧은 거리의 발 객체를 탐색하는 단계; 및
(c3) 상기 단계 (c2)에서 탐색된 발 객체의 중앙 좌표와 머리 객체의 중앙 좌표 간의 각도를 계산하여 각도가 0~30도 및 150~180도 일 경우 위험으로 판단하는 단계
를 포함하는 심층신경망을 이용한 선박 내 객체의 위험 검출 방법.
청구항 1에 있어서,
상기 단계 (b)의 전처리 수행은,
상기 단계 (a)에서 획득된 영상에서 선박 영역을 제외한 다른 영역을 제거하기 위함인 것
을 특징으로 하는 심층신경망을 이용한 선박 내 객체의 위험 검출 방법.
청구항 1에 있어서,
상기 심층신경망 모델은,
CNN(convolutional neural network)를 포함하는 것
을 특징으로 하는 심층신경망을 이용한 선박 내 객체의 위험 검출 방법.
청구항 1에 있어서,
상기 심층신경망 모델은,
YOLO(You Only Look Once)를 포함하는 것
을 특징으로 하는 심층신경망을 이용한 선박 내 객체의 위험 검출 방법.
청구항 1에 있어서,
상기 심층신경망 모델은,
CNN(convolutional neural network) 및 YOLO(You Only Look Once)를 포함하는 것
을 특징으로 하는 심층신경망을 이용한 선박 내 객체의 위험 검출 방법.
삭제
삭제
삭제
삭제
청구항 1에 있어서,
상기 단계 (d)는,
(d1) 검출된 위험 상태가 10초 이상인지 확인하는 단계; 및
(d2) 10초 이상이면 선박 내 사이렌을 울리는 단계
를 포함하는 것을 특징으로 하는 심층신경망을 이용한 선박 내 객체의 위험 검출 방법.
청구항 1에 있어서,
상기 단계 (d)는,
(d1) 검출된 위험 상태에 있는 영상 속 사람의 이미지를 캡쳐하는 단계; 및
(d2) 캡쳐된 이미지와 위치 정보를 책임자에게 전송하는 단계
를 포함하는 것을 특징으로 하는 심층신경망을 이용한 선박 내 객체의 위험 검출 방법.
심층신경망을 이용한 선박 내 객체의 위험을 검출하는 장치로서,
적어도 하나의 프로세서; 및
컴퓨터로 실행 가능한 명령을 저장하는 하나의 메모리를 포함하되,
상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행 가능한 명령은, 상기 적어도 하나의 프로세서에 의하여,
(a) 선박에 장착된 카메라로부터 영상을 수신하는 단계;
(b) 상기 단계 (a)에서 수신된 영상에 대한 전처리를 수행하는 단계;
(c) 상기 단계 (b)에서 수행된 전처리 영상 데이터를 딥러닝(deep learning) 기반 심층신경망 모델에 입력 데이터로 입력하고, 상기 심층신경망 모델에서 객체의 위험을 검출하는 단계; 및
(d) 상기 단계 (c)에서 검출된 객체의 위험 상태에 따른 조치를 수행하는 단계
를 포함하되,
상기 (c)의 검출은 전처리한 영상 데이터를 YOLO 모델에 입력하고, YOLO 모델에서 멀티 객체를 인식하며, 인식된 멀티 객체의 영역 값을 이용하여 위험 여부를 검출하는데,
상기 멀티 객체는 사람의 머리 및 발이며,
(c1) 상기 인식된 멀티 객체의, 각 객체 영역의 중앙 좌표를 계산하는 단계;
(c2) 상기 단계 (c1)에서 계산된 머리의 중앙 좌표를 기준으로 가장 짧은 거리의 발 객체를 탐색하는 단계; 및
(c3) 상기 단계 (c2)에서 탐색된 발 객체의 중앙 좌표와 머리 객체의 중앙 좌표 간의 각도를 계산하여 각도가 0~30도 및 150~180도 일 경우 위험으로 판단하는 단계
가 실행되도록 하는 심층신경망을 이용한 선박 내 객체의 위험 검출 장치.
청구항 12에 있어서,
상기 심층신경망을 이용한 선박 내 객체의 위험 검출 장치는 카메라 모듈이 부착되는 것
을 특징으로 하는 심층신경망을 이용한 선박 내 객체의 위험 검출 장치.
청구항 12에 있어서,
상기 심층신경망을 이용한 선박 내 객체의 위험 검출 장치는 알림 장치와 연결되는 것
을 특징으로 하는 심층신경망을 이용한 선박 내 객체의 위험 검출 장치.
심층신경망을 이용한 선박 내 객체의 위험을 검출하기 위한 컴퓨터 프로그램으로서,
비일시적 저장 매체에 저장되며, 프로세서에 의하여.
(a) 선박에 장착된 카메라로부터 영상을 수신하는 단계;
(b) 상기 단계 (a)에서 수신된 영상에 대한 전처리를 수행하는 단계;
(c) 상기 단계 (b)에서 수행된 전처리 영상 데이터를 딥러닝(deep learning) 기반 심층신경망 모델에 입력 데이터로 입력하고, 상기 심층신경망 모델에서 객체의 위험을 검출하는 단계; 및
(d) 상기 단계 (c)에서 검출된 객체의 위험 상태에 따른 조치를 수행하는 단계
를 포함하되,
상기 (c)의 검출은 전처리한 영상 데이터를 YOLO 모델에 입력하고, YOLO 모델에서 멀티 객체를 인식하며, 인식된 멀티 객체의 영역 값을 이용하여 위험 여부를 검출하는데,
상기 멀티 객체는 사람의 머리 및 발이며,
(c1) 상기 인식된 멀티 객체의, 각 객체 영역의 중앙 좌표를 계산하는 단계;
(c2) 상기 단계 (c1)에서 계산된 머리의 중앙 좌표를 기준으로 가장 짧은 거리의 발 객체를 탐색하는 단계; 및
(c3) 상기 단계 (c2)에서 탐색된 발 객체의 중앙 좌표와 머리 객체의 중앙 좌표 간의 각도를 계산하여 각도가 0~30도 및 150~180도 일 경우 위험으로 판단하는 단계
가 실행되도록 하는 명령을 포함하는 심층신경망을 이용한 선박 내 객체의 위험 검출을 위한 컴퓨터 프로그램.