KR102432673B1 - Cctv 영상을 이용하여 수영장에서 뛰는 사람을 감시하는 모니터링 및 안전경보 시스템 - Google Patents

Abstract

본 발명은 수영장에서 이용객들이 뛰어다님으로 인해 발생하는 사고를 미연에 방지할 수 있도록 CCTV를 이용하여 모니터링하는 시스템에 관한 것으로, 수영장의 CCTV 영상을 활용하여 위험상황을 차영상 기법으로 감지/검출하고 이런 경우 CCTV 관제용 영상에 위험상황 영역을 표시하게 하여 딥러닝 영상처리 알고리즘을 통해 임계값을 정하여 위험도 수위를 정하여 반복적인 학습을 통해 보다 더 정교한 위험 영상을 스스로 판단하여 알람을 발생하도록 하여 관리자에게 관리주의를 하도록 하며, 또한 통신망을 이용하여 지정된 사용자의 스마트폰에 영상과 알람을 전달하여 위험상황에 빠르게 대응 조치를 할 수 있도록 하는 것을 특징으로 한다.

Description

CCTV 영상을 이용하여 수영장에서 뛰는 사람을 감시하는 모니터링 및 안전경보 시스템{Monitoring and safety alarm system that monitors people running in the swimming pool using CCTV images}

본 발명은 수영장에서 이용객들이 뛰어다님으로 인해 발생하는 여러 가지 사고들을 미연에 방지할 수 있도록 상시 촬영되는 CCTV 영상을 효율적인 영상처리 기법을 통해 모니터링하고 뛰는 사람임이 감지되면 이를 신속하게 경보할 수 있는 시스템에 관한 것이다.

통상 수영장에서 발생하는 안전사고는 수영장 내에서 뛰어다니다 물기에 미끄러져서 발생하는 낙상사고, 또는 충돌사고에 의해 부상을 당하거나 원치않게 입수하게 되는 사고, 그리고 작은 신장의 이용자나 수영 미숙자가 깊은 수심의 풀장에 입수하여 발생하는 익사사고 등이 있다.

이러한 문제를 예방하기 위하여 현재 수영장에서는 안전요원의 감시를 통해 예방하거나, 공고문을 이용하여 이용객들에게 당부하는 방식이 이용되고 있는 현실이다. 하지만, 수영장에 이용객이 많을 경우 몇 명의 안전요원만으로 모든 상황을 감시하기 어려우며, 또한, 안전요원이 잠시라도 자리를 비울 경우에는 감시가 불가능하므로 사고를 예방하기 어려우며, 이용객 수에 따라 안전요원을 더 배치하게 되면 비용문제가 발생하게 된다.

또한, 시각을 통해 다수의 CCTV를 동시에 확인하는 기존의 물리적인 모니터링 시스템은 감시자가 응급상황 혹은 위험상황을 판단하는데 오랜 시간이 걸리고, 모든 화면을 다 감시하고 상황을 파악하기 매우 어려운 문제점이 존재한다.

종래 뛰어다니는 사람을 감시하기 위하여는 감시대상자의 몸에 센서를 착용하게 하거나 GPS정보를 활용하는 방법이 시도되고는 있었지만, 모든 감시대상자에게 센서를 착용하게 하는 것이 불가능할 뿐 아니라, 시스템 구축에 따른 비용과 인력이 많이 소요되는 단점이 있어 실현되지 못한 현실이다.

대한민국 특허등록 제10-1675529(공고일자 2016년11월11일)

상기 문제점과 필요성에 의해 안출된 본 발명은 CCTV 영상을 이용한 영상처리 기법에 의해 사람들의 행동을 파악하고, 프로그램에 의해 사람이 이상행동을 하거나 이상징후가 있다고 판단될 경우 운용자가 긴급 대처하여, 즉시 확인 및 조치할 수 있는 모니터링 및 안전경보 시스템을 제공하고자 한다.

이러한 모니터링 및 안전경보 시스템 개발을 통해 수영장에서 뛰는 사람, 물속에서 이상징후 혹은 익사 위험이 있는 사람을 검출하여, 감시자에게 알람 또는 경보를 울려 사고를 예방하고자 한다.

본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로, 영상 입력부(101)를 통해 CCTV 영상을 수집하고 영상 처리부(102)에서 처리를 수행하되, 영상 처리부(102)에서는 차영상 기법을 이용한 차영상 처리부(103)와 객체 추적부(104)에 의한 객체 추적을 수행하고 추적된 사람의 속도를 계산하고 위험상황을 감지하는 처리과정을 수행하는 단계를 포함한다.

이후 딥러닝 영상처리 알고리즘을 수행하는 딥러닝부(105) AI를 통해 위험상황을 판단하고, 위험상황의 사람이 감지될 경우 통신모듈(106)과 네트워크(107)를 통해 관제서버(108)로 영상과 알람을 전송하고 서버에서 모니터링 프로그램(109)과 스마트폰(110)으로 전달하여 위험상황을 알려주는 단계를 포함하는 것을 제1발명의 특징으로 한다.

아울러 영상처리부의 처리과정은 수영장 내에 있는 영상장치(CCTV)를 통해 영상을 수신하는 단계(201)와 차영상 기법을 이용하여 고속으로 영상처리를 수행하여 사람을 추적하는 단계(202)를 가지며, 추적된 사람의 속도를 계산하고, 딥러닝 영상처리 알고리즘을 통해 위험도 임계값을 설정하여 위험상황 발생을 확인하는 단계(203)를 포함하며, 사람의 속도와 위험상황을 감지하여 속도가 뛰는 수준의 속도거나 위험한 상황이라 판단되는 경우에 모니터링 프로그램과 스마트폰 어플리케이션에 의한 CCTV 영상에 해당 사람을 표시하고 알람(204)을 울리는 단계로 이루어짐을 특징으로 한다.

상기와 같은 본 발명에 의하여 관리자는 모니터링 프로그램과 스마트폰을 통해 영상 처리된 CCTV 영상을 확인하고 마커가 표시된 영상이나 알람을 통해 확인함으로써 실시간으로 관리자가 수영장에서 발생하는 위험상황에 신속하고 빠르게 대처가 가능한 것으로, 수영장에서 뛰어다니는 이용객에 의해 발생하는 여러 가지 문제들을 효과적으로 방지할 수 있게 된다.

도 1은 본 발명의 시스템 구성도
도 2는 본 발명의 전체 처리 순서도
도 3은 도 2의 영상을 수신(201)한 후 이후 차영상 기법을 이용하여 고속으로 영상처리를 수행하여 사람을 추적(202)하는 단계의 세부처리 순서도
도 4는 도 3의 302단계 세부처리 과정 순서도
도 5는 본 발명의 식 (2)를 통하여 연산된 정규화 차영상 화소

의 출력결과 영상
도 6은 본 발명에 의해 접근 객체가 검출된 경우 QVGA 영상의 예시 사진
도 7은 본 발명에 의한 다중 영역 MBB 합병조건 설명도
도 8은 본 발명에 의한 딥러닝 구조도
도 9는 본 발명에 의한 처리 영상의 전송과정도

이하, 본 발명의 'CCTV 영상을 이용하여 수영장에서 뛰는 사람을 감시하는 모니터링 및 안전경보 시스템'에 대한 구체적인 구성을 설명하고자 하는바, 이러한 설명은 본 발명을 구현하기 위한 실시 예를 기준으로 한 것으로서, 본 발명이 추구하는 기술적 사상을 본 문서에 기재된 실시 예에 기재된 형태로 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modifications), 균등물(equivalents) 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 할 것이다.

아울러, 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

본 발명의 목적을 달성하기 위하여는 수영장 내에서 뛰어다니는 사람을 파악하고 뛰어다니는 행위를 방지하여 사고를 사전에 예방할 수 있어야 한다. 또한, 뛰어다니는 사람이 감지되면, 모니터링 및 안전경보 시스템에서 운용자가 쉽게 확인하기 위해 영상에서 검출된 뛰어다니는 사람에 사각형을 표시하고 경보를 울려 운용자가 바로 확인할 수 있도록 한다.

이를 해결하기 위해 차영상 기법을 통해 고속으로 처리하고, 사람을 검출하여 영상 프레임 간격과 영상 내에서 이동 거리를 계산하여 속도를 계산하고 이를 통해 뛰어다니는 사람을 판단하도록 한다.

추출된 영상을 고속으로 처리하기 위하여 차영상 기법을 통하여 이상 속도로 이동하는 객체 검출기법을 구현하였다.

시스템 구조는 도 1과 같이 구성된다. 영상 입력부(101)를 통해 CCTV 영상을 수집하고 영상 처리부(102)에서 처리를 수행한다. 영상 처리부(102)에서는 차영상 기법을 이용한 차영상 처리부(103)와 객체 추적부(104)에 의한 객체 추적을 수행하며, 도 2의 처리 순서도와 같이 처리를 수행한다. 이후 딥러닝 영상처리 알고리즘을 수행하는 딥러닝부(105)를 통해 위험상황을 판단한다. 위험상황의 사람이 감지될 경우 통신모듈(106)과 네트워크(107)를 통해 관제서버(108)로 영상과 알람을 전송하고 서버에서 모니터링 프로그램(109)과 스마트폰(110)에 전달하여 위험상황을 알려 빠르게 대처하도록 한다.

도 2의 처리 순서도를 살펴보면, 우선 수영장 내에 있는 영상 장치(CCTV)를 통해 영상을 수신(201)한다. 이후 차영상 기법을 이용하여 고속으로 영상처리를 수행하여 사람을 추적(202)하도록 한다. 추적된 사람의 속도를 계산하고, 딥러닝 영상처리 알고리즘을 통해 위험도 임계값을 설정하여 위험상황 발생을 확인(203)한다. 사람의 속도와 위험상황을 감지하여 속도가 뛰는 수준의 속도거나 위험상황인 경우 모니터링 프로그램과 스마트폰 어플리케이션 CCTV 영상에 해당 사람을 표시하고 알람(204)을 울려 관리자가 위험상황에 빠르게 상황대처(205)를 할 수 있도록 한다.

상기 도 2의 처리순서 중에서 수영장 내에 있는 영상 장치(CCTV)를 통해 영상을 수신(201)하고 이후 차영상 기법을 이용하여 고속으로 영상처리를 수행하여 사람을 추적(202)하는 단계의 세부처리순서는 도 3과 같은데, 영상을 획득(301)하는 단계(301), 저장된 배경 영상과 현재 입력된 영상을 차영상 기법을 통해 객체를 배경 영역으로부터 분리하는 단계(302), 차영상을 다중 영역으로 분할 후 수직과 수평방향으로 투형하는 단계(303), 다중 영역의 최소 경계영역 합병을 통해 이동물체인 사람을 추적하는 단계(304)로 이루어진다.

상기 저장된 배경 영상과 현재 입력된 영상을 차영상 기법을 통해 객체를 배경 영역으로부터 분리하는 단계(302)의 동작순서는 도 4와 같다.

먼저, 참조 영상을 생성(401)하기 위해서 배경 이미지의 화소값

를 저장한 후 비교(402)를 위해 현재 입력 이미지의 화소값

와 각 픽셀 단위로 차영상 화소값

를 식 (1)과 같이 계산한다.

저장된 배경 영상과 현재 입력 영상의 화소 값으로 정의된

와

의 차이는 RGB 각

이므로 표현될 수 있는 색 정보의 범위는 0∼255이다.

그러므로 차영상 화소

의 값은 최소 －255에서 최대 255까지 표현되기 때문에 하드웨어에서 처리하기 위해 차영상 화소의 정규화가 요구되는데, 정규화는 식 (2)와 같다.

식 (2)를 통해 연산된 정규화 차영상 화소

의 출력 결과는 도 5와 같다. 도 5의 (a)는 최초 저장된 배경 이미지, (b)는 현재 입력된 이미지이다.

도 5(c)는 도 5(a)와 (b)의 차영상으로서 화소 계산식 (2)에 의해 구해진 값이 ±5 이상 차이가 나는 경우를 흰색으로 표현하고 나머지를 검은색으로 표현한 그림이다.

구현을 통해서 결정된 임계값 ±5는 노이즈에 의한 픽셀의 화소값 변화 감지를 방지하기 위함이다. 따라서 사용된 ±5는 픽셀의 화소값의 변화 여부를 판단하는 임계값

로 정의할 수 있으며,

의 설정값 조절을 통해 픽셀 변화의 민감도를 조절할 수 있도록 한다.

이와 같은 방법으로 정규화된 픽셀 화소값 비교를 통해 배경 이미지와 입력 이미지의 픽셀 변화를 판단하며, 비교결과(403) 다른 픽셀이 존재하지 않을 경우 배경 이미지 카운팅 변수

를 1씩 증가(405)시키며, 다른 픽셀이 존재할 경우

를 0(406)으로 변경한다.

좀 더 구체적으로 현재 이미지와 저장된 참조 영상(배경 이미지)을 픽셀당 차이 계산을 시행한 비교결과(403), Ptv값 이하일 경우(동일한 이미지인 경우-객체가 감지 안됨) 카운팅 변수

를 1 증가(405), 이상일 경우(이미지가 다른 경우-객체가 감지됨)

를 0으로 설정(영상 비교 반복하면서 생긴

누적된 값을 초기화시켜 다음 반복시 처음부터 시작하도록 설정)(406)하며, 404에서는 동일한 이미지가 계속 감지되면서

값이 일정 수치 초과할 경우 배경을 갱신하여 시간에 따른 밝기차에 의한 오동작을 줄이는 역할을 한다.

즉, 배경 영상과 실시간 입력 영상의 차이가 없을 경우(404) 미리 설정된 상수보다

가 크거나 같으면 배경 이미지를 갱신하고, 배경 이미지와 실시간 입력 영상이 차이가 존재하는 경우는

를 0으로 초기화하여 배경 이미지를 갱신하지 않게 된다. 이를 통해 배경 영상을 현시점에 적용함으로써 접근 객체의 오검출을 예방한다.

객체 검출 유무에 대한 계산은 촬영된 이미지에서 선택된 검출 유효영역인

내에서 다르다고 판단되는 픽셀의 수

가 기설정된 수 이상이면 객체가 검출되었다고 판단(407)하여 입력 영상을 메모리에 저장(408)한다.

의 설정값 변경을 통해 동일한 거리를 기준으로 검출할 객체의 크기를 선택하도록 한다.

도 6은 차영상 기반 객체 검출 알고리즘에 의해 접근 객체가 검출된 경우 QVGA (Quater Video Graphic Array) 영상의 예시이다. 즉, 배경 이미지 안에 실선으로 표시한 240Х180 크기의 임의 영역 화소값과 현재 입력된 이미지의 화소값을 비교한 그림이다. 이때 다른 픽셀의 수

는 2000으로 설정하였고, 변화된 픽셀의 수가 2000 이상이 되면 객체가 검출되었다고 판단하였다. 마찬가지로

의 설정값 변경을 통해 동일한 거리를 기준으로 검출할 객체의 크기를 선택할 수 있다.

즉, 차영상기법 처리 후 403단계에서 영상이 다를 경우 407단계에 해당되며,

를 2000으로 설정하고, 검출영역 내에서 다르다는 픽셀수가 2000개를 넘을 경우 객체가 검출되었다고 판단하며, 객체가 검출되고, 정확한 영역을 찾기 위해 최소 경계영역(MMB)를 사용한다.

도 6의 이미지 가운에 '+'로 표시된 부분은 변화한 픽셀의 중간값을 나타낸 것으로 검출된 객체의 중심부를 나타낸 것이다.

움직임 영역의 정확한 위치를 찾기 위하여 차영상에 대하여 도 5와 같이 수평과 수직 방향으로 투영(Projection)하여 움직임 영역을 1차원 위치정보로 변환한 후 적당한 임계값 이상의 투영결과만을 최소 경계영역 (MBB)으로 결정하고 그 좌표를 추출한다.

그림의 수평 및 수직 방향으로의 투영은 움직임 영역에서 픽셀값이 255인 픽셀 수를 수평과 수직 방향으로 누산하여 구한 값에서 일정값 이상의 영역을 움직임 영역으로 판정한다.

차영상을 M X N개의 다중 영역으로 분할한 후, 각 다중 영역별로 수평/수직 방향으로 투영(303)한다. 따라서 투영결과로 움직임 영역 내에 위치한 다중 영역에서 한 개씩의 작은 MBB를 얻는다.

도 7에서 확인할 수 있듯이 투영결과로 얻은 작은 사각형들이 이동물체의 영역 위로 채워지게 되어 다중 영역의 MBB들이 분포된다. 이와 같이 다중 영역 분할을 이용하여 작은 MBB들을 얻고 이 MBB들을 합병하여 독립된 이동 객체를 얻게 되는데, 이를 통해 서로 다른 이동 객체로 인식한다.

이동물체의 경계영역을 추출하기 위해서는 다중 영역의 MBB를 인접한 것들로 서로 합병하는 과정이 필요(304)하다. 다중 영역의 MBB 합병은 도 7과 같이 세 가지 조건을 적용하였다. 도 7에서 점선으로 그려진 2개의 작은 사각형 들이 합병되어야 할 다중 영역의 Small MBB들이다. 다중 영역에서의 수평/수직 방향 투영을 통하여 얻은 Small MBB들의 좌표는 아래 식 (2)와 같이 표현된다.

다중 영역의 MBB 합병과정은 영상의 좌측 상단 MBB로부터 우측 하단에 위치한 MBB의 순으로 수행한다. 영상 크기가 320*240(픽셀)이고 다중 영역 분할이 M

N에서 다중 영역의 MBB가 x-축상에서 인접해 있는지를 우선 조사한다.

x-축상에서의 거리 측정은 도 7에서 확인할 수 있듯이 각 MBB의 X-축 최소점과 최대점을 사용하는데, x-축상에서 다중 영역의 MBB 합병 여부는 식 (3)에 따라서 판별한다.

일단 x-축상에서의 거리가 충분히 짧다면 y-축상에서의 거리를 측정하는데 y-축상의 거리 측정은 그림에서 각 MBB의 y-축상의 중심점을 사용하며, 합병 여부는 식 (5)의 조건으로 결정한다.

추적된 사람의 이동 속도와 딥러닝을 통한 위험상황(203) 확인을 위해 사람의 이동 거리를 계산하기 위해 다음과 같은 수식을 이용한다.

: 이전 영상 검출된 사람의 중심 좌표

: 현재 영상 추적된 사람의 중심 좌표

: xy축 영역에 따른 CCTV 거리 계수

이동 거리와 CCTV 프레임 속도를 나누어 사람의 속도를 계산한다.

수영장 내에서 사람 중에서 위험 행동을 하는 사람을 검출하기 위해서는 사람의 팔의 움직임이나 행동 특징을 반영해야 하므로, 단순히 하나의 영상에서 고려하는 것이 아닌 여러 장의 영상을 이용한 시계열 특징을 고려해야 한다.

정확한 행동 분류를 위해 사람의 신체 부위 정보를 이용하여 시계열 특징을 찾아내도록 한다.

따라서 도 8과 같이 딥러닝부는 LSTM(Long short-term memory networks) 신경망으로 구성되며, LSTM 신경망은 RNN(Recurrent Neural Network) 일종이며, 과거 데이터가 이용하는 방식의 구조를 가지고 있다. 따라서 LSTM 신경망은 사람의 행동을 검출하는데 있어 가장 적합한 모델이다.

기존의 RNN 신경망에서는 장기 의존성 문제점을 갖고 있지만, LSTM은 이를 해결하기 위해 제안된 방식이다.

LSTM의 영상 입력은 CCTV 영상에서 영상처리에서 검출된 사람의 영상을 이용한다. 입력층에 입력되는 영상 데이터들은 시퀀스 데이터로 구성되며, 검출된 사람의 행동을 예측 감지하는데 사용할 수 있다.

행동이라고 함은 팔의 위치 및 방향, 다리의 위치 및 방향을 나타낼 수 있다. 딥러닝부의 LSTM 신경망의 학습과 감지를 통해 사람의 행동을 판단하여 위험 행동 사람을 검출하고 반복 수행을 통해 시스템이 더 정확한 상황을 판단하도록 한다.

학습은 역전파(Backpropagation) 알고리즘을 이용하여 딥러닝을 학습하였다.

학습 수행과정은,

1. 달리는 사람의 모션을 동영상으로 찍어 다양한 케이스를 생성

2. 동영상에서 Frame 단위로 끊어 사진을 만든 다음 데이터 학습시 다수의 사진(영상)을 학습

3. 딥러닝 구조는 LSTM로 구성

4. 학습 방법은 역전파 알고리즘을 이용하며, 실제 결과와 계산 결과 간의 오차를 계산하여 최소한의 오차가 되도록 가중치 업데이트를 수행

5. 최적의 가중치(딥러닝 내부 값)로 최소한의 오차로 딥러닝이 달리는 사람의 모션을 감지

역전파 알고리즘 처리 과정을 아래와 같은 방법으로 동작한다.

1) 초기 학습 시 임의의 초기 가중치를 설정하고 은닉층을 거쳐 결과를 계산

2) 계산 결과와 실제 값 사이의 오차를 계산

3) 가중치를 업데이트(

: 해당 노드 오차의 합

: 가중치,

: 학습계수

4) 1) ~ 3) 반복을 통해 오차를 줄여 최적의 가중치를 결정

도 9와 같은 영상 처리과정을 통해 CCTV 영상에서 영상 처리와 딥러닝의 알고리즘에 따라 마커를 표시하고, 통신 모듈(106)을 통해 관제 서버의 통신 제어부(701)로 영상과 감지된 정보를 전송한다. 관제 서버(108)에서 관리자의 모니터링 (109)과 스마트폰(110)으로 영상 처리된 영상을 전송하여 영상 출력과 알람을 제공한다.

마커는 CCTV 영상에서 위험 행동이나 위험상황을 감지가 된 경우 영상 일부 영역에 표시될 수 있으며, 영상에서 사각형으로 표시가 된다.

알람은 스마트폰과 모니터링에 따라 다르게 동작한다.

스마트폰의 알람은 CCTV 영상에서 위험 행동이나 위험상황을 감지가 된 경우 푸시 알람을 앱을 실행시키지 않은 상황에서도 확인하도록 한다.

모니터링 프로그램 앞에서 항상 대기할 필요가 없이 알람을 통해 관리자가 바로 확인할 수 있으므로 효율적으로 수영장 관리를 수행할 수 있다.

모니터링 프로그램의 알람은 소리와 팝업 창을 이용한 알람을 제공한다.

팝업 창과 소리를 통해 관리자가 단순히 화면에 표시되는 것에 비해 관리자의 집중력 저하를 방지하므로 실시간 모니터링이 효과적으로 이루어지는 효과가 있다.

확인이 불가능한 상황을 대비하여 관제 서버에 데이터 저장소(702)를 두어 모니터링 프로그램과 스마트폰에서 이전 영상을 제공하도록 한다.

이를 통해 관리자는 모니터링 프로그램과 스마트폰을 통해 영상 처리된 CCTV 영상을 확인하고 마커가 표시된 영상이나 알람을 통해 확인함으로써 실시간으로 관리자가 수영장에서 발생하는 위험상황에 신속하고 빠르게 대처가 가능하다.

Claims (6)

1. 영상 입력부(101)를 통해 CCTV 영상을 수집하고 영상 처리부(102)에서 처리를 수행하되, 영상 처리부(102)에서는 차영상 기법을 이용한 차영상 처리부(103)와 객체 추적부(104)에 의한 객체 추적을 수행하고 추적된 사람의 속도를 계산하고 위험상항을 감지하는 처리과정을 수행하며, 이후 딥러닝 영상처리 알고리즘을 수행하는 딥러닝부(105)을 통해 위험상황을 판단하고, 위험상황의 사람이 감지될 경우 통신모듈(106)과 네트워크(107)를 통해 관제서버(108)로 영상과 알람을 전송하고 서버에서 모니터링 프로그램(109)과 스마트폰(110)에 전달하여 위험상황을 알려주며,
   영상 처리부의 처리과정은 수영장 내에 있는 영상 장치(CCTV)를 통해 영상을 수신하는 단계(201);
   이후 차영상 기법을 이용하여 고속으로 영상처리를 수행하여 사람을 추적하는 단계(202);
   추적된 사람의 속도를 계산하고, 딥러닝 영상처리 알고리즘을 통해 위험도 임계값을 설정하여 위험상황 발생을 확인하는 단계(203);
   사람의 속도와 위험상황을 감지하여 속도가 뛰는 수준의 속도거나 위험상황인 경우 모니터링 프로그램과 스마트폰 어플리케이션 CCTV 영상에 해당 사람을 표시하고 알람을 울리는 단계(204);
   로 이루어지며,
   딥러닝 영상처리 알고리즘을 수행하는 딥러닝부는 LSTM(Long short-term memory networks) 신경망으로 구성되며, LSTM의 영상 입력은 CCTV 영상에서 영상처리에서 검출된 사람의 영상을 이용하고, 입력층에 입력되는 영상 데이터들은 시퀀스 데이터로 구성되며, 딥러닝부의 LSTM 신경망의 학습과 감지를 통해 사람의 행동을 판단하여 위험 행동 사람을 검출하고 반복 수행을 통해 시스템이 더 정확한 상황을 판단하도록 하며,
   학습은 역전파(Backpropagation) 알고리즘을 이용하여 딥러닝을 학습하는 것을 특징으로 하는 CCTV 영상을 이용하여 수영장에서 뛰는 사람을 감시하는 모니터링 및 안전경보 시스템.
2. 삭제
3. 제1항에 있어서, 차영상 기법을 이용하여 고속으로 영상처리를 수행하여 사람을 추적하는 단계(202)는, 영상을 획득한 후 저장된 배경 영상과 현재 입력된 영상을 차영상 기법을 통해 객체를 배경영역으로부터 분리하고, 차영상을 다중 영역으로 분할 후 수직과 수평방향으로 투형하며, 다중 영역의 최소 경계영역 합병을 통해 이동물체인 사람을 추적하는 것을 특징으로 하는 CCTV 영상을 이용하여 수영장에서 뛰는 사람을 감시하는 모니터링 및 안전경보 시스템.
4. 삭제
5. 삭제
6. 제1항에 있어서, 역전파 알고리즘 처리 과정은,
   1) 초기 학습 시 임의의 초기 가중치를 설정하고 은닉층을 거쳐 결과를 계산,
   2) 계산 결과와 실제 값 사이의 오차를 계산,
   3) 가중치를 업데이트(

   

   

   : 해당 노드 오차의 합

   

   : 가중치,

   

   : 학습계수),
   4) 1) ~ 3) 반복을 통해 오차를 줄여 최적의 가중치를 결정,
   하는 순서로 이루어짐을 특징으로 하는 CCTV 영상을 이용하여 수영장에서 뛰는 사람을 감시하는 모니터링 및 안전경보 시스템.

Images