KR102432675B1 - Cctv 영상을 이용한 수영장 입수자의 이상징후 및 익사사고 모니터링 및 안전경보 시스템 - Google Patents

Abstract

본 발명은 수영장의 풀 내에서 익수사고를 방지하기 위한 모니터링 시스템에 관한 것으로, 풀장 내의 이전 영상과 현재 영상 비교에서 포착된 객체를 추적하여 이동속도가 있는지 없는지를 판단하고, 인체 비례정보를 통해 팔의 움직이나 주변 색을 이용하여 해당 사람의 위험 여부를 확인하고, 위험영역을 영상에서 최소 블록 사이즈로 정하여 딥러닝 영상처리 알고리즘으로 그 데이터를 전달하여 위험 비상상황을 사전에 학습된 범주에서 처리하게 하며, 위험상황이라 판단될 경우 운용자에게 영상과 알람을 발생하도록 하여 관리자에게 관리주의를 하도록 함과 아울러 통신망을 이용하여 지정된 사용자의 스마트폰에 영상과 알람을 전달하여 위험상황에 빠르게 대응 조치를 할 수 있도록 함을 특징으로 하는 것이다.

Description

CCTV 영상을 이용한 수영장 입수자의 이상징후 및 익사사고 모니터링 및 안전경보 시스템{Monitoring and safety alarm system for abnormal signs and drowning accidents of pool users using CCTV images}

본 발명은 수영장의 풀 내에서 입수자의 경련이나 이용객의 깊은 물 입수에 의한 위험상황을 상시 촬영되는 CCTV 영상을 효율적인 영상처리 기법을 통해 이용하여 모니터링하고 위험상황임이 판별되면 이를 경보 및 통신수단으로 전달하여 익수사고를 효율적으로 방지하기 위한 모니터링 시스템에 관한 것이다.

통상 수영장에서 발생하는 안전사고는 수영장 내에서 뛰어다니다 물기에 미끄러져서 발생하는 낙상사고, 또는 충돌사고가 있을 수 있고, 특히 중요한 문제는 풀 내에서 수영중 경련이 발생하거나 또는 깊은 물에서 키가 작은 이용객이나 수영미숙자 등이 정상적인 수영을 할 수 없어 발생하는 익사사고 등이 있다.

이러한 문제를 예방하기 위하여 현재 수영장에서는 안전요원의 감시를 통해 예방하거나, 공고문을 이용하여 이용객들에게 당부하는 방식이 이용되고 있는 현실이다. 하지만, 수영장에 이용객이 많을 경우 몇 명의 안전요원만으로 모든 상황을 감시하기 어려우며, 또한, 안전요원이 잠시라도 자리를 비울 경우에는 감시가 불가능하므로 사고를 예방하기 어려우며, 사람 수에 따라 안전요원을 더 배치하게 되면 비용문제가 발생하게 된다.

또한, 시각을 통해 다수의 CCTV를 동시에 확인하는 기존의 물리적인 모니터링 시스템은 감시자가 응급상황 혹은 위험상황을 판단하는데 오랜 시간이 걸리고, 모든 화면을 다 감시하고 상황을 파악하기 매우 어려운 문제점이 존재한다.

한편, 아래 선행기술 문헌과 같이 종래에도 수영장 내의 익사사고를 방지하기 위한 모니터링 시스템이 제안된 바 있으나, 이러한 선행기술은 수영장 풀의 벽면에 수직 및 수평방향 일정한 간격으로 레이져 송신부를 설치하고 반대편에 송신된 레이져 빔을 수신할 수 있는 수신부를 설치하는 것으로, 이러한 장치가 되어있는 수영장 풀에 어린이나 수영미숙자가 빠졌을 때 어린이나 수영미숙자로 인하여 레이져 빔이 단절되므로 수신부에 레이져 빔이 수신되지 않는다. 따라서 익사자를 감지하는 방법은 수면위와 수중에서 수신된 레이져 빔을 계측 및 신호처리 기기에서 분석하여 어떤 거리 및 높이에서 수신되지 않는 레이져 빔을 분석하여 물체가 수면아래에 있고 일정시간 동안 움직이지 않는다고 소프트웨어를 이용하여 분석되면 물에 빠진 사람이 있다고 판단하여 경보발생장치에서 경보를 발생시켜 구호조치를 할 수 있게 하는 것이다.

이러한 선행기술에 의하면 레이저 송수신부를 구비하기 위한 시설에 많은 비용이 소요되는 것은 물론이고, 그 효율성이 없어 실현되지 못한 방법인 것이다.

대한민국 실용신안 공개번호 10-2000-0024295(2000년05월06일)

본 발명은 풀장 내에서 다리에 근육 경련이 일어나 이동을 멈춘 경우나, 작은 신장의 이용자가 깊은 수심의 풀장에 입수하여 물에서 허우적대는 경우를 감지하여 사람이 익사 사고를 사전에 방지할 수 있도록 하며, 허우적거리는 사람이 감지되면, 안전경보 모니터링 시스템에서 운용자가 쉽게 확인하기 위해 영상에 허우적거리는 사람에 사각형을 표시하고 경보를 울려 운용자가 바로 확인할 수 있도록 함을 목적으로 한다.

이를 위해 풀장 내에서의 CCTV를 통해 사람을 추적하여 영상 프레임 간격과 영상 내에서 이동 거리를 계산하여 속도를 계산하고, 단순히 멈춰있는 사람을 검출하게 되면 풀장 내에서 제자리에서 수영하고 있는 사람을 감지하여 오동작할 수 있으므로, 이를 보완하기 위해 사람이 풀장 내에서 허우적대서 생기는 팔 동작을 딥러닝을 이용하여 처리하여 익사 사고와 같은 위험 사고를 사전에 방지할 수 있도록 한다.

상기 목적을 달성하기 위한 본 발명은 수영장 입수자의 이상징후 및 익사사고를 모니터링하기 위한 시스템으로서, 영상 입력부(101)를 통해 CCTV 영상을 수집하고 영상 처리부(102)에서 처리를 수행하되, 영상 처리부에서는 차영상 기법(103)과 피부색 검출(105)을 수행하고 인체 비례정보(106)를 이용하여 사람 검출과 비정상적인 행동을 검출하고 히스토그램을 이용한 추적(104)을 수행하며, 이후 딥러닝영상처리 알고리즘(107)을 통해 비정상적인 행동을 딥러닝 AI로 판단하여 비정상적인 행동의 사람이 감지될 경우 네트워크(109)를 통해 영상과 알람을 모니터링(111) 프로그램과 스마트폰(112)에 전달하여 위험상황을 알려 빠르게 대처하도록 함을 특징으로 한다.

또한, 상기 영상처리부의 처리과정은, 수영장 내에 있는 영상 장치(CCTV)를 통해 영상을 수신(201)하는 단계와, 이후 고속의 영상처리를 위한 차영상 기법을 통해 객체 영역 추출하고 피부색 검출, 인체 비례정보를 통해 사람 여부를 판단하며 히스토그램을 이용하여 사람을 추적(202)하는 단계와, 추적된 사람의 속도를 계산하고, 딥러닝 영상처리 알고리즘을 통해 비정상적인 행동 분류를 하여 위험상황 발생을 확인(203)하는 단계와, 비정상적인 행동을 감지(204)하였을 경우 모니터링 프로그램과 스마트폰 어플리케이션 CCTV 영상에 해당 사람을 표시하고 알람(205)을 울리는 단계를 포함하여 관리자가 위험상황에 빠르게 대응 조치할 수 있도록 함을 특징으로 한다.

상기와 같은 본 발명에 의하면, 풀장 내에서 다리에 근육 경련이 일어나 이동을 멈춘 경우나, 작은 신장의 이용자가 깊은 수심의 풀장에 입수하여 물에서 허우적대는 경우를 효과적으로 감지하며, 허우적거리는 사람이 감지되면, 안전경보 모니터링 시스템에서 운용자가 쉽게 확인할 수 있으며, 경보를 울려 운용자가 바로 확인할 수 있도록 함으로써 사람이 익사 사고를 사전에 방지할 수 있게 되는 것이다.

도 1은 본 발명의 전체 시스템 구조도
도 2는 본 발명 시스템에 의한 처리 순서도
도 3은 본 발명에 의한 영상처리 과정 순서도
도 4는 본 발명에 의한 사람 검출 알고리즘 구성도
도 5는 본 발명에 의한 RGB 공간에서의 피부색 후보영역을 나타낸 예시도
도 6은 본 발명에 의한 피부색 후보영역과 검출된 피부색 영역을 나타낸 예시도
도 7은 본 발명에 의한 사람 유무를 판별하기 위한 비트루비우스의 인체비례와 폴라 히스토그램 적용 예시도
도 8은 본 발명에 의한 폴라 히스토그램 도식화 설명도
도 9는 본 발명에 의한 사람 검출대상 예시도
도 10은 본 발명에 의한 개방된 실내에서의 폴라 히스토그램 예시도
도 11은 본 발명에 의한 폐쇄된 실내에서의 폴라 히스토그램 예시도
도 12는 본 발명에 의한 개방된 실내와 폐쇄된 실내에서 사람을 판별하기 위한 모델 예시도
도 13은 본 발명에 의한 정상적인 피부색 영역 검출 예시도
도 14는 본 발명에 의한 피부색 영역 검출에 실패한 경우의 예시도
도 15는 본 발명에 의한 조명이 일정한 경우 사람검출 예시도
도 16은 본 발명에 의한 측광조명의 경우 사람검출 예시도
도 17은 본 발명의 딥러닝을 위한 LSTM 구조도
도 18은 본 발명에 의한 경보시스템 구조도

이하, 본 발명의 'CCTV 영상을 이용한 수영장 입수자의 이상징후 및 익사사고 모니터링 시스템'에 대하여 구성을 상세히 설명하고자 하는바, 이러한 설명은 본 발명을 구현하기 위한 실시 예를 기준으로 한 것으로서, 본 발명이 추구하는 기술적 사상을 본 문서에 기재된 실시 예에 기재된 형태로 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modifications), 균등물(equivalents) 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 할 것이다.

아울러, 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

본 발명의 시스템 구조는 도 1과 같이 구성된다. 영상 입력부(101)를 통해 CCTV 영상을 수집하고 영상 처리부(102)에서 처리를 수행한다. 영상 처리부에서는 차영상 처리부(103)와 피부색 검출부(105)가 각 기능을 수행하고 인체 비례정보를 이용한 사람 검출부(106)를 이용하여 사람 검출과 비정상적인 행동을 검출하고 히스토그램을 이용한 추적을 객체 추적부(104)가 수행한다. 이후 딥러닝 영상처리 알고리즘을 수행하는 딥러닝부(107)를 통해 비정상적인 행동을 판단한다. 비정상적인 행동의 사람이 감지될 경우 네트워크(109)를 통해 영상과 알람을 모니터링(111)과 스마트폰(112)에 전달하여 위험상황을 알려 빠르게 대처하도록 한다.

본 발명 시스템의 동작은 도 2의 순서도에 따라 동작한다.

우선 수영장 내에 있는 영상 장치(CCTV)를 통해 영상을 수신(201)한다. 이후 고속의 영상처리를 위한 차영상 기법을 통해 객체 영역 추출하고 피부색 검출, 인체 비례정보를 통해 사람여부를 판단한다. 이후 히스토그램을 이용하여 사람을 추적(202)하도록 한다. 추적된 사람의 속도를 계산하고, 딥러닝 영상처리 알고리즘을 통해 비정상적인 행동 분류를 하여 비정상적인 행동을 확인(203)한다. 비정상적인 행동을 감지(204)하였을 경우 모니터링 프로그램과 스마트폰 어플리케이션 CCTV 영상에 해당 사람을 표시하고 알람(205)을 울려 관리자가 현장 출동 및 상황 대처(206)하고 위험상황에 빠르게 대응 조치를 할 수 있도록 한다.

도 2에서 202 단계의 영상처리 과정은 도 3과 같다.

사람검출을 위해 배경 제거와 피부색 분포로 객체를 추출하고 인체 비례 정보를 이용하여 사람과 비-사람을 분류할 수 있는 알고리즘을 제안한다. 제안된 사람검출 알고리즘 구성은 도 4와 같다.

일반적인 배경 제거 알고리즘은 참조 영상으로부터 현재의 영상을 차감함으로써 객체 영역을 추출(302)한다. 그러나 이 방법은 배경과 현재 영상 사이의 시간적 차이에서 오는 조명 등 환경의 변화를 포함하여 정확한 객체 추출을 보장하지 못한다.

본 발명에서는 수영장에서 발생할 수 있는 환경적인 요인들에 대응할 수 있는 배경 모델링 방법을 사용한다.

수영장 배경에 미치는 환경 요인으로는 자연광에 의한 전체적인 밝기 변화, 갑작스러운 광원에 의한 부분적 밝기 변화, 야간의 경우 조명에 의한 전체적인 밝기 변화와 사람이 없을 때 조명이 꺼져있는 경우이다.

배경 영상은 초기에 이동물체가 존재하지 않으므로 입력되는 현재 영상(401)을 사용한다. 이후의 배경 영상은 식 (1)과 같이 재귀적으로 일정 시간 간격으로 픽셀 단위로 영상을 갱신(403)한다.

여기서 ??

와 ??

는 시간

에서 입력과 배경 영상이며, 반영 비율인

는 각각 0.05와 0.95를 사용하였다.

이전 배경 영상과의 밝기값 차이가 크지 않으면 갱신하고 차이가 큰 경우 갑작스러운 광원으로 인식하여 갱신하지 않고 이전 배경 영상을 배경 영상(403)으로 사용한다.

입력 이미지에서 실험적으로 정해진 임계값을 사용하여 피부색 영역을 검출하는 방법들이 있다. YCbCr, RGB, HSV, YUV-YIQ 색상 공간에서 임계값을 사용하여 피부색을 분류하며 계산량이 적은 장점이 있다.

피부색을 판단할 때 YCbCr, RGB, HSV 색상 공간을 사용할 수 있으나, 본 발명에서는 RGB 색상 공간을 사용하였다. 사람 피부가 멜라닌 색소의 영향으로 인해 적색 성분이 많은 부분을 차지하고 있는 특징을 이용한 방법으로 실험을 통해 피부색 영역 임계치 설정을 식(2)와 같이 정의한다.

도 6은 RGB 공간에서 피부색 영역 검출결과(405)를 보여주고 있다. RGB 색상 공간에서 픽셀 임계값을 이용한 피부색 영역은 사람의 경우 백인, 흑인, 동양인의 조건 모두 충족하기 때문에 추출되는 영역의 색상 범위가 넓다.

또한, RGB 색상 공간의 특징상 채널 간에 연관 관계가 높아 피부가 아닌 영역도 검출될 수 있는데, 배경 영상에서 소화기, 바닥, 천장, 알림 표시, 창문 등 다양한 것이 추출된다.

이러한 검출 부분은 우선 피부색 검출(405)을 위한 피부색 후보영역으로 사용한다. 피부색 후보영역에서 사람의 피부색 검출(303)하기 위해서는 아래와 같은 식을 사용한다.

위 수식 (3)에서

은 피부색 후보영역,

는 움직임 영역,

은 영역 내의 움직임 합산 값이다.

식 (4)는 움직임 합산 값이 임계값보다 크면 피부색 영역으로 판단하는데,

는 검출된 피부색 영역이고, 임계값으로

를 사용하는데, 본 발명에서는

로 사용하였다.

검출된 피부색 영역은 클러스터링된 객체(406)들로 구성되며 가장 큰 분포를 갖는 부분을 얼굴 영역으로 판단한다. 도 6의 왼쪽 그림은 피부색 후보영역과 이동물체가 중첩된 영상이며, 오른쪽 그림은 원 영상과 검출된 피부색 영역과 중첩된 영상이다.

위와는 다른 방법으로 간단하게 피부색 후보영역과 움직임 영역의 AND 연산으로도 구현할 수 있으나 배경 갱신 성능이 떨어지는 경우 또는 움직임 영역의 클러스터링이 결과가 만족스럽지 못할 경우 원하지 않는 결과가 나타날 수 있다.

본 발명에서 제안하는 사람검출 방법은 두 단계로 구성된다. 인체 비례 정보를 이용해 사람 특징을 추출(304, 407)한 후 미리 정의된 사람 특징과 비교하여 사람 유무를 판별한다.

도 7은 “인체는 일정 비율을 가지고 있다"는 사람의 고유 특징을 이용하여 다빈치가 작성한 인체 비례도로서, 두 팔을 벌린 길이는 신장과 같고 두 다리를 신장의 1/4만큼 벌리고 팔을 뻗쳐 중지를 정수리 높이까지 올린 다음 원을 그리면 그 중심은 배꼽이 되며, 배꼽과 두 다리 사이의 공간은 정확한 이등변 삼각형이 된다.

인체 비례 특징추출에서 다빈치는 이를 증명하기 위해 인체의 외곽에 정사각형과 원을 그려 넣었다.

그러나 본 발명에서는 사람 특징 검출을 위하여 폴라 히스토그램을 적용한다. 도 7과 같이 인체 중심에서 인체의 외곽을 내접하는 원을 중첩하고, 식 (5)와 같이 계산식에 따라 중심으로부터 반경까지의 밝기 값들을 더한다.

여기서

는 회전각

에 따른 히스토그램 값이고,

는 이동물체 영역의 이진값이고,

은 중심으로부터 거리이다.

은 1부터

까지,

는 0도부터 360도까지 일정한 간격으로 나눌 수 있으며

과

에 따라 성능 및 속도가 결정된다.

적절한

과

를 정하여 폴라 히스토그램을 구하면 도 8과 같이 직교좌표계와 원형좌표계로 나타낼 수 있다. 원형좌표계를 살펴보면 사람의 모양과 유사함을 알 수 있다.

도 9와 같이 사람 검출의 대상이 되는 부분은 전신, 머리-어깨, 몸체, 다리, 얼굴이 있으며, 용도 및 성능에 따라서 하나 또는 하나 이상의 결합을 사용한다. 수영장에 CCTV가 설치된 경우 촬영 영상은 전신이 나오고 풀장 내에서는 대부분 상반신이 나타나므로 본 발명에서는 사람과 비-사람을 분류하기 위하여 사람의 머리-어깨를 포함하는 상반신을 검출 대상으로 한다. 상반신을 대상으로 할 경우 모든 상황에 대처할 수 있다.

피부색 영역을 찾은 후 인체 비례 특징값을 구하는 방법은 다음과 같다. 피부색 영역 검출을 통해 인식한 얼굴 영역의 중심을 구하고, 이를 기준으로 일정한 윈도우 크기를 갖는 값을 정한 후 폴라 히스토그램을 적용하여 히스토그램 값을 추출한다.

사람의 인체 전신이 CCTV에 잡힌 경우와 상반신만 잡힌 경우는 도 10과 도 11에서 확인할 수 있듯이 영상에 차이가 있음에도 폴라 히스토그램 값의 분포를 살펴보면 상반신의 머리, 어깨 부분이 구분되는 것을 된다.

따라서 사람과 비-사람을 판별하기 위하여 분포의 유사도를 구하면 된다. 상반신 사람의 형상을 가지는 데이터베이스를 미리 만들고 획득한 영상에서 구한 히스토그램과 비교하여 결정한다. 히스토그램 비교 방법을 위해 Correlation, Chi-Square, Intersection, Bhattacharyya distance 등이 있으며 본 발명에서는 식 (7)의 카이제곱 거리 방법을 사용하였다.

는 현 영상의 폴라 히스토그램 값이고

는 도 12와 같이 사람으로 정의한 폴라 히스토그램 값이다.

값이 임계값 이내이면 사람으로 판별한다.

사람검출 알고리즘에서 사람 특징을 찾기 위해 피부색을 검출하며 사람 인식을 위해 인체 비례 정보를 사용한다.

도 13은 정상적 검출을 보여주고 있는데, 붉은색 영역이 검출된 피부색 영역이며, 조명 위치에 따라 미세한 차이를 보이는데 조명이 정면 또는 뒤에 존재하는 경우 검출되는 양호한 결과(도 13의 (b),(d),(e))를 보여주었다.

피부색 검출 방법이 RGB 색상 값을 임계 기준으로 결정하므로 밝기 및 조명에 영향을 받는다.

도 14는 검출이 실패한 경우로서, (a)는 실내에 조명이 없고 외부에 광원이 있어 역광이 나타나 물체의 밝기값이 어두워진 경우, (b)는 피부색 알고리즘 임계기준에 적합하지 않은 얼굴색인 경우, (c)는 옷의 색상이 피부색과 유사한 경우, (d),(e)는 백열등 조명과 옷 색상이 혼합되어 피부와 유사한 경우, (f)는 실내조명이 없어 전체적인 영상 밝기가 어두운 경우이다.

도 15(a)는 조명이 일정한 경우 정상적인 사람검출과 폴라 히스토그램 분포를 보여주고 있는데, 히스토그램 분포가 사람 판별 모델과 매우 유사함을 확인할 수 있다.

그림 내의 붉은 사각형 영역은 히스토그램 적용을 위한 윈도우, 붉은 점들은 피부색 영역, 중앙의 파란색 점은 얼굴 중심을 각각 나타낸다.

사람검출을 위해 사용하는 사람 판별 모델은 정면의 사람을 기준으로 한다. 도 16은 조명이 측광인 경우로서 그림 (a), (b)와 같이 비스듬히 섰을 때 분포의 폭이 약간 변한 것을 확인할 수 있으며, 조명에 의해 이동물체 영역의 모양이 (c)와 같이 일그러지는 경우가 있다.

이러한 경우에도 분포의 모양이 유사하므로 판별하는데 문제가 없다.

사람 추적을 수행하기 위해서 다음과 같은 방법을 이용하여 추적(305)을 수행한다. 위의 방법을 통해 사람이 검출된 영역을 관심 영역(Region of Interest)으로 설정한 뒤, 영역 내에 픽셀들에 대해 색상별로 픽셀 개수와 전체 픽셀 수를 나누어 색상 히스토그램을 만들고, 새로운 CCTV 영상에서 주변 영역을 ROI로 재설정한 뒤 Bhattacharyya coefficient를 이용하여 비슷한 히스토그램을 찾아 추적을 수행한다.

: 검출된 사람의 히스토그램

: 비교하고자 하는 히스토그램

:

의 히스토그램 값

:

의 히스토그램 값

사람의 이동 거리를 계산하기 위해 다음과 같은 수식을 이용하였다.

: 이전 영상 검출된 사람의 중심 좌표

: 현재 영상 추적된 사람의 중심 좌표

: xy축 CCTV 거리 계수

이동 거리와 CCTV 영상 프레임 속도를 나누어 사람의 속도를 계산한다.

이상징후 및 익사 위험 감지를 위해 풀장 내에서 이동이 없는 사람 중에서 허우적대는 사람을 검출하기 위해서는 사람의 팔의 궤적이나 행동 특징을 반영해야 하므로, 단순히 하나의 영상에서 고려하는 것이 아닌 여러 장의 영상을 이용한 시계열 특징을 고려해야 한다. 따라서 정확한 행동 분류를 위해 사람의 신체 부위 정보를 이용하여 시계열 특징을 찾아내도록 한다. 이를 위해 딥러닝 학습을 통해 검출을 수행한다.

풀장 내에서 이동이 없는 사람 중에서 허우적대는 사람을 검출하기 위해서는 사람의 팔의 궤적이나 행동 특징을 반영해야 하므로, 단순히 하나의 영상에서 고려하는 것이 아닌 여러 장의 영상을 이용한 시계열 특징을 고려해야 한다.

정확한 행동 분류를 위해 사람의 신체 부위 정보를 이용하여 시계열 특징을 찾아내도록 한다.

따라서 딥러닝부(107)는 LSTM(Long short-term memory networks) 신경망으로 구성되며, LSTM 신경망은 RNN(Recurrent Neural Network) 일종이며, 과거 데이터가 이용하는 방식의 구조를 가지고 있다. 따라서 LSTM 신경망은 사람의 행동을 검출하는데 있어 가장 적합한 모델이다.

기존의 RNN 신경망에서는 장기 의존성 문제점을 갖고 있지만, LSTM은 이를 해결하기 위해 제안된 방식이다.

LSTM의 영상 입력은 CCTV 영상에서 검출된 사람의 ROI(Region of Interest)를 이용한다.

영상 입력 데이터들은 시퀀스 데이터로 구성되며, 검출된 사람의 행동을 예측 감지하는데 사용할 수 있다.

행동이라고 함은 팔의 위치 및 방향을 나타낼 수 있다. 또한, 풀장 내에서 행동으로 인해 발생하는 주변의 물 파장과 같이 행동에 의해 나타나는 것에 해당된다.

딥러닝부의 LSTM 신경망의 학습과 감지를 통해 사람의 행동을 판단하여 허우적대는 사람을 검출하고 반복 수행을 통해 시스템이 더 정확한 상황을 판단하도록 한다.

학습은 역전파(Backpropagation) 알고리즘을 이용하여 딥러닝을 학습하였다. 역전파 알고리즘 처리 과정을 아래와 같은 방법으로 동작한다.

1) 초기 학습 시 임의의 초기 가중치를 설정하고 은닉층을 거쳐 결과를 계산

2) 계산 결과와 실제 값 사이의 오차를 계산

3) 가중치를 업데이트(

: 해당 노드 오차의 합

: 가중치,

: 학습계수

4) 1) ~ 3) 반복을 통해 오차를 줄여 최적의 가중치를 결정

위와 같은 영상 처리과정을 통해 CCTV 영상에서 영상 처리와 딥러닝의 알고리즘에 따라 마커를 표시하고, 통신부(108)를 통해 관제 서버의 통신 제어부(110)로 영상과 감지된 정보를 전송한다. 서버에서 관리자의 모니터링(111)과 스마트폰(112)으로 영상 처리된 영상을 전송하여 영상 출력과 알람을 제공한다.

마커는 CCTV 영상에서 허우적대는 사람이나 익사 위험상황을 감지가 된 경우 영상 일부 영역에 표시될 수 있으며, 영상에서 사각형으로 표시가 된다.

알람은 스마트폰과 모니터링 프로그램에 따라 다르게 동작한다.

스마트폰의 알람은 CCTV 영상에서 위험 행동이나 위험상황을 감지가 된 경우 푸시 알람을 앱을 실행시키지 않은 상황에서도 확인하도록 한다.

모니터링 프로그램 앞에서 항상 대기할 필요가 없이 알람을 통해 관리자가 바로 확인할 수 있으므로 효율적으로 수영장 관리를 수행할 수 있다.

모니터링 프로그램의 알람은 소리와 팝업 창을 이용한 알람을 제공한다.

팝업 창과 소리를 통해 관리자가 단순히 화면에 표시되는 것에 비해 관리자의 집중력 저하를 방지하므로 실시간 모니터링이 효과적으로 이루어지는 효과가 있다.

확인이 불가능한 상황을 대비하여 관제 서버에 영상 데이터 저장소(1002)를 두어 모니터링 프로그램과 스마트폰에서 이전 영상을 제공하도록 한다.

이를 통해 관리자는 모니터링 프로그램과 스마트폰을 통해 영상 처리된 CCTV 영상을 확인하고 마커가 표시된 영상이나 알람을 통해 확인함으로써 실시간으로 관리자가 수영장에서 발생하는 위험상황에 신속하고 빠르게 대처가 가능하다.

Claims (5)

1. 수영장 입수자의 이상징후 및 익사사고를 모니터링하기 위한 시스템에 있어서,
   영상 입력부(101)를 통해 CCTV 영상을 수집하고 영상 처리부(102)에서 처리를 수행하되, 영상 처리부에서는 차영상 기법(103)과 피부색 검출부(105)에 의한 기능을 수행하고 사람 검출부(106)에서 인체 비례정보를 이용하여 사람 검출과 비정상적인 행동을 검출하고 히스토그램을 이용한 추적을 객체 추적부(104)에서 수행하며, 이후 딥러닝부(107)에서 딥러닝 영상처리 알고리즘을 통해 비정상적인 행동을 판단하여 비정상적인 행동이 사람이 감지될 경우 네트워크(109)를 통해 영상과 알람을 모니터링(111)과 스마트폰(112)에 전달하여 위험상황을 알려 빠르게 대처하도록 하며,
   영상처리부의 처리과정은, 수영장 내에 있는 영상 장치(CCTV)를 통해 영상을 수신(201)하는 단계;
   이후 고속의 영상처리를 위한 차영상 기법을 통해 객체 영역 추출하고 피부색 검출, 인체 비례정보를 통해 사람 여부를 판단하며 히스토그램을 이용하여 사람을 추적(202)하는 단계;
   추적된 사람의 속도를 계산하고, 딥러닝 영상처리 알고리즘을 통해 비정상적인 행동을 확인(203)하는 단계;
   비정상적인 행동을 감지(204)하였을 경우 모니터링 프로그램과 스마트폰 어플리케이션 CCTV 영상에 해당 사람을 표시하고 알람(205)을 울리는 단계;
   관리자가 위험상황에 빠르게 상황대처(206)를 하는 단계;
   로 이루어지며,
   딥러닝 영상처리 알고리즘을 수행하는 딥러닝부는 LSTM(Long short-term memory networks) 신경망으로 구성되며, LSTM의 영상 입력은 CCTV 영상에서 검출된 사람의 ROI(Region of Interest)를 이용하고, 영상 입력 데이터들은 시퀀스 데이터로 구성하여 검출된 사람의 행동을 예측 감지하는데 사용하며, 딥러닝부의 LSTM 신경망의 학습과 감지를 통해 사람의 행동을 판단하여 허우적대는 사람을 검출하고 반복 수행을 통해 시스템이 더 정확한 상황을 판단하도록 하며,
   학습은 역전파(Backpropagation) 알고리즘을 이용하여 딥러닝을 학습하도록 하는 것을 특징으로 하는 CCTV 영상을 이용한 수영장 입수자의 이상징후 및 익사사고 모니터링 및 안전경보 시스템
2. 삭제
3. 제1항에 있어서, 202 단계의 영상처리과정은 획득된 영상을 저장된 배경 영상과 현재 입력된 영상을 차영상 기법을 통하여 풀장 내에서 이동객체 영역을 추출하고, 객체 영역을 이용하여 피부색 후보 영역에서 피부색을 검출하며, 인체비례정보를 이용하여 사람을 검출하며, 검출된 사람의 이전 영상과 현재 영상에서 히스토그램을 이용하여 추적하는 것을 특징으로 하는 CCTV 영상을 이용한 수영장 입수자의 이상징후 및 익사사고 모니터링 및 안전경보 시스템.
4. 삭제
5. 삭제

Images