KR102544492B1 - 수영장 안전관리 장치 및 방법 - Google Patents

Abstract

수영장 안전관리 장치 및 방법이 개시된다. 이에 의한 수영장 안전관리 장치는, 수영장에 설치된 적어도 하나의 카메라로부터 제1영상을 수신하고, 상기 제1영상에 대해 전처리를 수행하여 제2영상을 획득하는 영상처리부; 와, 상기 제2영상으로부터 군집을 이루고 있지 않은 타겟 객체를 검출하고, 상기 타겟 객체의 상태를 추적하여 상기 타겟 객체가 정지 상태이면 상기 타겟 객체에 대해 이상상황이 발생한 것으로 인식하는 상황인식부; 및, 상기 이상상황이 발생한 상기 타겟 객체의 움직임을 분석하고, 익사 탐지 알고리즘에 기초하여 상기 타겟 객체의 익사 가능성을 예측하는 모니터링부; 를 포함할 수 있다.

Description

수영장 안전관리 장치 및 방법{APPARATUS AND METHOD OF MANAGING SAFETY OF SWIMMING POOL}

본 발명은 수영장 안전관리 장치 및 방법에 관한 것으로서, 보다 상세하게는 영상을 활용하여 딥러닝 기반으로 수영장 내의 위험 상황을 감지 및 예측할 수 있는 수영장 안전관리 장치 및 방법에 관한 것이다.

수영장에서 발생할 수 있는 인명사고를 예방하기 위하여, 일정 수준 이상의 규모를 가진 수영장에서는 안전 요원을 필수적으로 근무시키도록 법규로 강제한다. 그러나, 수영장의 특성상 공간이 넓고 움직이는 다수의 입수자의 행동을 일일이 파악하기가 어려워, 안전요원이 현장에 있더라도 사고는 계속적으로 발생한다.

기존에 영상에 기초하여 사용자의 움직임을 판별함으로써 수영장 내의 위험을 감지하는 다양한 방법들이 존재한다. 일반적으로, 이러한 방법들은 입수자의 구체적인 움직임을 상세하게 분석하고, 이에 기초하여 익사 여부를 판별한다. 예를 들어, 입수자의 팔 부분의 상하방향으로의 움직임을 분석하거나, 입수자의 신체 일부가 좌우 방향으로의 움직임이 미감지되는지 여부 등을 검출하고, 이에 기초하여 익사 여부를 판별한다. 이 경우, 판별해야 하는 입수자의 동작이나 움직임이 복잡하므로, 입수자의 동작이나 움직임을 상세하게 분석하기 위하여 영상처리 및 분석 작업이 증가되고, 이에 따라 분석 시간과 처리 부하는 늘어나게 된다.

수영장 내에서의 위험 상황은 시급을 다투는 경우가 대부분이다. 따라서, 보다 신속하고 효율적으로 입수자의 위험 상황을 인지할 수 있는 새로운 방법이 요구된다.

한국등록특허공보 제10-2185859호(2020.12.02.)

본 발명이 해결하고자 하는 과제는, 영상정보를 활용하여 딥러닝 기반으로 수영장 내의 위험 상황을 감지 및 예측할 수 있는 수영장 안전관리 장치 및 방법을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는, 복잡한 영상처리를 수행하지 않고도 보다 신속하고 효율적으로 입수자의 위험 상황을 인지할 수 있는 수영장 안전관리 장치 및 방법을 제공하는 것이다.

본 발명의 일 실시예에 의한 수영장 안전관리 장치는, 수영장에 설치된 적어도 하나의 카메라로부터 제1영상을 수신하고, 상기 제1영상에 대해 전처리를 수행하여 제2영상을 획득하는 영상처리부; 와, 상기 제2영상으로부터 군집을 이루고 있지 않은 타겟 객체를 검출하고, 상기 타겟 객체의 상태를 추적하여 상기 타겟 객체가 정지 상태이면 상기 타겟 객체에 대해 이상상황이 발생한 것으로 인식하는 상황인식부; 및, 상기 이상상황이 발생한 상기 타겟 객체의 움직임을 분석하고, 익사 탐지 알고리즘에 기초하여 상기 타겟 객체의 익사 가능성을 예측하는 모니터링부; 를 포함할 수 있다.

상기 수영장 안전관리 장치에 있어서, 상기 상황인식부는, 상기 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 상기 타겟 객체가 처음으로 등장한 시점부터 식별코드를 부여하고, 상기 식별코드에 대응하는 상기 타겟 객체를 추적하여 상기 타겟 객체가 상기 복수개의 프레임내에서 동일인을 유지하는지 판단할 수 있다.

상기 수영장 안전관리 장치에 있어서, 상기 상황인식부는, 상기 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 상기 타겟 객체를 포함하는 사각 영역을 설정하고, 상기 사각 영역의 중심점 좌표의 움직임 또는 위치 변화량에 기초하여 상기 타겟 객체가 정지 상태인지 여부를 판단할 수 있다.

상기 수영장 안전관리 장치에 있어서, 상기 상황인식부는, 상기 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 상기 타겟 객체가 겹쳐지는 중복 영역을 설정하고, 상기 중복 영역의 크기에 기초하여 상기 타겟 객체가 정지 상태인지 여부를 판단할 수 있다.

상기 수영장 안전관리 장치에 있어서, 상기 상황인식부는, 상기 타겟 객체와 다른 객체 간의 중심 거리가 제1기준값 이상이고, 상기 타겟 객체와 상기 다른 객체 간의 중복 영역의 크기가 제2기준값 미만이면, 상기 타겟 객체가 군집을 이루고 있지 않는 것으로 판단할 수 있다.

상기 수영장 안전관리 장치에 있어서, 상기 모니터링부는, 상기 타겟 객체의 얼굴이 물속에 존재하는지 여부, 상기 타겟 객체의 몸통이 수면으로부터 소정 깊이 이상의 물속에 존재하는지 여부, 팔의 방향 및 손바닥과 몸통 간의 거리 중 적어도 하나에 기초하여, 상기 타겟 객체의 익사 가능성을 예측할 수 있다.

본 발명의 다른 실시예에 의한 수영장 안전관리 방법은, 수영장에 설치된 적어도 하나의 카메라로부터 제1영상을 수신하고, 상기 제1영상에 대해 전처리를 수행하여 제2영상을 획득하는 단계; 와, 상기 제2영상으로부터 군집을 이루고 있지 않은 타겟 객체를 검출하고, 상기 타겟 객체의 상태를 추적하여 상기 타겟 객체가 정지 상태이면 상기 타겟 객체에 대해 이상상황이 발생한 것으로 인식하는 단계; 및, 상기 이상상황이 발생한 상기 타겟 객체의 움직임을 분석하고, 익사 탐지 알고리즘에 기초하여 상기 타겟 객체의 익사 가능성을 예측하는 단계; 를 포함할 수 있다.

상기 수영장 안전관리 방법에 있어서, 상기 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 상기 타겟 객체가 처음으로 등장한 시점부터 식별코드를 부여하고, 상기 식별코드에 대응하는 상기 타겟 객체를 추적하여 상기 타겟 객체가 상기 복수개의 프레임내에서 동일인을 유지하는지 판단할 수 있다.

상기 수영장 안전관리 방법에 있어서, 상기 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 상기 타겟 객체를 포함하는 사각 영역을 설정하고, 상기 사각 영역의 중심점 좌표의 움직임 또는 위치 변화량에 기초하여 상기 타겟 객체가 정지 상태인지 여부를 판단할 수 있다.

상기 수영장 안전관리 방법에 있어서, 상기 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 상기 타겟 객체가 겹쳐지는 중복 영역을 설정하고, 상기 중복 영역의 크기에 기초하여 상기 타겟 객체가 정지 상태인지 여부를 판단할 수 있다.

상기 수영장 안전관리 방법에 있어서, 상기 타겟 객체와 다른 객체 간의 중심 거리가 제1기준값 이상이고, 상기 타겟 객체와 상기 다른 객체 간의 중복 영역의 크기가 제2기준값 미만이면, 상기 타겟 객체가 군집을 이루고 있지 않는 것으로 판단할 수 있다.

상기 수영장 안전관리 방법에 있어서, 상기 타겟 객체의 얼굴이 물속에 존재하는지 여부, 상기 타겟 객체의 몸통이 수면으로부터 소정 깊이 이상의 물속에 존재하는지 여부, 팔의 방향 및 손바닥과 몸통 간의 거리 중 적어도 하나에 기초하여, 상기 타겟 객체의 익사 가능성을 예측할 수 있다.

본 발명의 실시예에 따르면, 입수자의 위험 상황을 신속하고 효율적으로 인식할 수 있고, 이를 안전요원에게 통지하여 신속한 대처를 할 수 있게 한다.

또한, 본 발명의 실시예에 따르면, 실시간으로 획득한 영상의 시간 정보 및 공간 정보에 기초하여 딥러닝 모델을 통해 객체 및 사고 유형을 인식하고, 이상상황에 대한 징후를 사전에 예측 및 판단할 수 있다.

도 1은 본 발명에 따른 수영장 안전관리 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 수영장 안전관리 과정을 도시한 도면이다.
도 3a 내지 도 3c는 본 발명에 따른 수영장 안전관리 장치가 획득한 영상으로부터 객체를 검출하는 방법을 설명하기 위한 도면이다.
도 4a 내지 도 4c는 객체의 이상 상황을 판별하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 수영장 안전관리 방법에서 위험 상황을 판단하기 위한 모델을 설명하기 위한 도면이다.
도 6a 내지 도 6c는 본 발명에 따른 수영장 안전관리 방법에서 위험 상황을 학습하기 위한 경우들이다.
도 7a 내지 도 7d는 본 발명에 따른 수영장 안전관리 방법에서 객체 추적 및 움직임을 인식하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 수영장 안전관리 방법에서 일정 구역에 객체들이 근접한 경우를 도시한 도면이다.
도 9는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.

또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.

도 1은 본 발명에 따른 수영장 안전관리 장치의 구성을 도시한 블록도이다.

본 발명에 따른 수영장 안전관리 장치(100)는 영상처리부(110), 상황인식부(120) 및 모니터링부(130)를 포함하여 구성될 수 있다.

영상처리부(110)는 수영장에 설치된 적어도 하나의 카메라로부터 제1영상을 수신하고, 상기 제1영상에 대해 전처리를 수행하여 제2영상을 획득할 수 있다.

이를 위해, 영상처리부(110)는 영상획득모듈(미도시)과 전처리 모듈(미도시)을 포함하여 구성될 수 있다. 영상획득모듈(미도시)은 수영장에 설치된 카메라에 의해 촬영된 수영장 이용객이 등장하는 고해상도 영상을, 카메라로부터 수신하여 획득할 수 있다. 전처리 모듈(미도시)은 영상획득모듈(미도시)이 획득한 고해상도 영상에 대해 전처리를 수행할 수 있다. 여기서, 전처리는 설치된 카메라의 왜곡 형태나 내부 환경에 의해 발생하는 습기 및 물보라를 제거하는 영상처리과정을 포함할 수 있다. 이 경우, 카메라의 왜곡 형태에 따라, barrel, pin cushion 왜곡 보정 방법 등을 사용할 수 있다.

영상처리부(110)는 카메라 별로 각각의 객체가 등장하는 관심영역을 나누는 영상 분할 작업을 수행할 수 있다. 예를 들어, 영상처리부(110)는 객체 각각에 대응하여 관심영역을 분할할 수 있다.

한편, 영상처리부(110)에 의해 전처리를 수행한 후 얻어지는 영상은 상황인식부(120)로 입력될 수 있다.

상황인식부(120)는 제2영상으로부터 군집을 이루고 있지 않은 타겟 객체를 검출하고, 타겟 객체의 상태를 추적하여 상기 타겟 객체가 정지 상태이면 상기 타겟 객체에 대해 이상상황이 발생한 것으로 인식할 수 있다.

본 발명에서는 군집을 이루는 객체와 군집을 이루고 있지 않은 객체를 다르게 취급한다. 즉, 군집을 이루는 객체의 경우, 위험 상황이 발생하더라도 군집내의 주위의 다른 사용자들에 의해 발견될 수 있다. 따라서, 군집을 이루는 객체에 대해서는, 이상상황의 발생여부 및 익사 탐지 알고리즘을 수행하지 않는다. 반면, 군집을 이루고 있지 않은 객체의 경우, 위험 상황이 발생하게 되면 이를 인지할 사용자가 주위에 존재하지 않으므로, 타겟 객체로 설정하고 이상상황의 발생여부와 익사 탐지 알고리즘을 수행하게 된다. 이에 의해, 본 발명에서는 간단한 기준에 의해 이상상황의 발생 여부를 판단하게 되는 타겟 객체의 범위를 좁힘으로써, 영상 분석을 위한 처리부하와 시간을 감소시키고 신속한 판단을 할 수 있게 한다.

구체적으로, 상황인식부(120)는 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 타겟 객체가 처음으로 등장한 시점부터 식별코드를 부여하고, 상기 식별코드에 대응하는 타겟 객체를 추적하여 상기 타겟 객체가 복수개의 프레임내에서 동일인을 유지하는지 판단할 수 있다.

상황인식부(120)는 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 타겟 객체를 포함하는 사각 영역을 설정하고, 사각 영역의 중심점 좌표의 움직임 또는 위치 변화량에 기초하여 타겟 객체가 정지 상태인지 여부를 판단할 수 있다.

상황인식부(120)는 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 타겟 객체가 겹쳐지는 중복 영역을 설정하고, 중복 영역의 크기에 기초하여 타겟 객체가 정지 상태인지 여부를 판단할 수 있다.

상황인식부(120)는 타겟 객체와 다른 객체 간의 중심 거리가 제1기준값 이상이고, 타겟 객체와 다른 객체 간의 중복 영역의 크기가 제2기준값 미만이면, 타겟 객체가 군집을 이루고 있지 않는 것으로 판단할 수 있다.

이를 위해, 상황인식부(120)는 객체검출모듈(미도시)과 객체추적모듈(미도시) 및 이상상황인식모듈(미도시)을 포함하여 구성될 수 있다.

객체검출모듈(미도시)은 사전 학습된 CNN 기반 딥러닝 모델에 기초하여 입력된 영상에서 등장 객체를 검출할 수 있다. 이를 위해, 딥러닝 모델을 통하여 객체가 사람인지 여부, 크기 및 좌표값 등의 객체정보를 획득하고, 검출 영역이 일반적인 사람의 크기에 비해 현저히 작은 경우 등의 사람 객체로 판별하기 어려운 검출 결과는 제거할 수 있다.

객체추적모듈(미도시)은 객체를 추적하고, 객체정보(좌표, 검출영역의 크기 등)에 기초하여 이상상황일 가능성이 높은 객체를 검출할 수 있다. 이를 위해, 객체추적모듈(미도시)은 객체별 움직임 판별기(미도시)를 포함할 수 있다. 객체별 움직임 판별기(미도시)는 영상의 시간 정보 및 공간 정보를 활용하여 이상상황일 가능성이 높은 객체 정보를 검출할 수 있다. 일 실시예에 의하면, 객체별 움직임 판별기(미도시)는 프레임별로 검출된 객체 중에서 동일 객체가 일정하게 검출되고, 해당 객체의 식별코드(ex: ID)가 일정시간 동안 유지되는지 여부를 확인하며, 해당 객체의 중심값 좌표 및 객체크기의 이동거리와 영역을 연산하여 움직임 변화에 따른 객체 영역의 중복도를 산출할 수 있다. 또한, 동일 프레임 내에서 주변 객체와의 겹침 영역을 연산하여 일정시간 동안 주변 객체와 군집을 이루고 있는지 판별하며, 이를 객체의 정지상태 여부 판별에 반영할 수 있다. 이와 같이, 프레임별 동일 객체의 움직임 정보와 동일 프레임내의 주변 객체와의 겹침 영역 등의 산출된 결과값에 기초하여 최종적으로 객체의 정지상태 여부를 판별할 수 있다.

이상상황인식모듈(미도시)은 객체별 시계열 영상 생성기(미도시)와 영상별 이상상황 판별기(미도시)를 포함할 수 있다. 객체별 시계열 영상 생성기(미도시)는 객체추적모듈(미도시)로부터 이상상황 가능성이 높은 객체에 대한 정보를 전달받고, 일정 시간 동안의 객체 정보를 시계열 데이터인 이미지 시퀀스(image sequence)로 생성할 수 있다. 영상별 이상상황 판별기(미도시)는 객체별 시계열 데이터를 입력 받고, 다중 객체에 대하여 3D CNN 모델로 상황인식을 수행한다. 이 경우, 인식 결과에 대하여 수 초 동안 높은 비율로 이상상황 결과가 얻어지면, 이상상황이라고 판별할 수 있다.

모니터링부(130)는 이상상황이 발생한 타겟 객체의 움직임을 분석하고, 익사 탐지 알고리즘에 기초하여 타겟 객체의 익사 가능성을 예측할 수 있다.

일 실시예에 의하면, 모니터링부(130)는 타겟 객체의 얼굴이 물속에 존재하는지 여부, 타겟 객체의 몸통이 수면으로부터 소정 깊이 이상의 물속에 존재하는지 여부, 팔의 방향 및 손바닥과 몸통 간의 거리 중 적어도 하나에 기초하여, 타겟 객체의 익사 가능성을 예측할 수 있다.

이를 위해, 모니터링부(130)는 데이터베이스(미도시)와 이상상황 표시부(미도시)를 포함할 수 있다. 데이터베이스(미도시)에는 이상상황인식모듈(미도시)에서 판단된 이상상황에 대한 판단결과가 저장된다. 이상상황 표시부(미도시)는 해당정보에 대한 이상상황 결과 영상을 표시할 수 있다.

한편, 본 발명에 따른 수영장 안전관리 방법은, 수영장에 설치된 적어도 하나의 카메라로부터 제1영상을 수신하고, 상기 제1영상에 대해 전처리를 수행하여 제2영상을 획득하는 단계; 와, 상기 제2영상으로부터 군집을 이루고 있지 않은 타겟 객체를 검출하고, 상기 타겟 객체의 상태를 추적하여 상기 타겟 객체가 정지 상태이면 상기 타겟 객체에 대해 이상상황이 발생한 것으로 인식하는 단계; 및, 상기 이상상황이 발생한 상기 타겟 객체의 움직임을 분석하고, 익사 탐지 알고리즘에 기초하여 상기 타겟 객체의 익사 가능성을 예측하는 단계; 를 포함할 수 있다.

이하, 도 2를 참조하여, 본 발명의 일 실시예에 따른 수영장 안전관리 과정을 상세하게 설명한다.

도 2는 본 발명의 일 실시예에 따른 수영장 안전관리 과정을 도시한 도면이다.

영상 획득 및 전처리를 수행한다(S201).

수영장 안전관리 장치(100)의 영상처리부(110)는 수영장에 대한 영상을 획득할 수 있다. 이 경우, 수영장 내에 설치된 적어도 하나의 카메라로부터 영상을 획득하게 되며, 카메라의 fps(frames per second)에 따라 실시간으로 영상을 획득할 수 있다.

영상처리부(110)는 획득한 영상에 대해 영상 처리 및 전처리를 수행할 수 있다. 구체적으로, 카메라의 왜곡, 촬영 또는 녹화 환경을 고려한 왜곡보정이나 습기제거, 관심영역(ex: 카메라 화각 내에서 객체를 탐지 가능한 영역)의 조절 등의 전처리 과정을 수행할 수 있다. 영상 처리 및 전처리는 영상의 획득과 동시에 수행될 수 있다.

객체를 검출한다(S202).

상황인식부(120)는 영상 처리 및 전처리를 수행한 영상으로부터, 딥러닝 모델 기반으로 객체 검출을 수행한다. 이 경우, 영상으로부터 객체가 사람인지 여부, 객체의 크기, 좌표값 등의 정보를 획득하고, 이에 기초하여 객체를 검출할 수 있다.

객체 움직임 변화량 및 중복영역을 산출한다(S203).

상황인식부(120)는 검출된 객체를 추적하기 위하여, 객체 움직임 변화량 및 중복영역을 산출한다. 이 경우, 영상의 시간 정보 및 공간 정보에 기초하여 객체 움직임 변화량 및 중복영역을 측정 및 산출할 수 있다. 객체 움직임 변화량 및 중복영역에 기초하여, 검출된 객체가 동일인인지 여부, 군집상태인지 여부, 정지상태인지 여부 등을 판별할 수 있다.

객체가 일정시간 ID를 유지하는지 판단한다(S204).

상황인식부(120)는 처음으로 등장한 객체에게 식별가능한 ID를 부여하고, 프레임의 시간상 흐름에 따라 해당 객체를 포함하는 박스의 이동, 중심 좌표의 변화량 등을 측정하여 동일인인지 여부 및 ID가 유지되는지 판단한다.

객체가 일정시간 ID를 유지하면(S204-YES), 객체가 주변객체와 군집을 이루고 있지 않는지 판단한다(S205). 일 실시예에 의하면, 객체와 주변객체 간의 중심점 좌표가 가깝고, 겹침 영역이 소정 면적 이상이면(즉, 공간적 거리가 가까움), 군집 상태라고 판단할 수 있다. 본 발명에서는, 객체가 군집상태를 이루고 있는 경우, 각 객체가 서로 육안으로 위험 상황을 식별할 수 있기 때문에, 이상상황 및 위험상황으로 판별하기 위한 조건에서 제외된다.

객체가 주변객체와 군집을 이루고 있지 않으면(S205-YES), 객체가 정지상태인지 판단한다(S206).

구체적으로, ID가 유지되며 군집상태가 아닌 객체에 대하여, 해당 객체의 움직임에 따른 객체의 중복영역을 산출하고, 객체 영역의 중심 좌표의 변화량이나 중복영역과 객체 영역의 크기를 통해 객체가 정지상태인지 움직임이 있는 상태인지 여부를 판단할 수 있다. 예를 들어, 정지되어 있는 개체의 경우 움직임이 크지 않으므로, 프레임별로 검출된 객체 영역이 다수 중복될 수 있고, 이로부터 해당 객체가 정지되어 있는 것으로 판별할 수 있다.

한편, 객체 ID가 일정시간 동안 유지되지 않거나(S204-NO), 객체가 주변객체와 군집을 이루고 있거나(S205-NO), 객체가 정지상태(즉, 사고 등이 발생하여 위험상황일 확률이 높은 상태)가 아닌 경우에는(S206-NO), 이상상황이 발생하지 않은 정상상태라고 판단하여 객체에 대해 익사 탐지 알고리즘을 수행하지 않으며, S201 단계로 되돌아가 영상 획득 및 전처리 단계를 계속 수행한다.

객체가 정지상태이면(S206-YES), 상황 인식을 수행한다(S207).

모니터링부(130)는 객체 ID가 일정시간 동안 유지되고 군집을 이루고 있지 않으며 정지상태로 존재하는 객체를 추출하고, 객체의 움직임을 분석하여 위험 상황을 인식한다. 예를 들어, 모니터링부(130)는 수 초(sec) 동안의 객체별 영상 프레임 데이터를 생성하고, 딥러닝 모델에 기반하여 위험 상황 인식을 수행할 수 있다.

일 실시예에 의하면, 위험 상황 인식을 수행하는 경우, 익사 탐지 알고리즘에 기초하여 객체의 익사 가능성을 예측할 수 있다. 익사 탐지 알고리즘은, 익사나 동등한 수준의 위험이 예상되는 조건을 판단할 수 있는 다양한 인자들을 통합하여 사용하며, 인자별로 가중치를 다르게 설정할 수 있다. 구체적으로, 다양한 인자들은, 얼굴이 물속에 가라앉았는지 여부, 몸통이 물속에 가라앉았는지, 팔과 몸통 간의 거리 등을 포함할 수 있다.

모니터링부(130)는 객체 머리가 가라앉았는지 여부(S208), 객체 몸통이 가라앉았는지 여부(S218), 팔과 몸통 간의 거리(S228) 등을 종합적으로 고려하는 익사 탐지 알고리즘에 기초하여 이상상황이 발생했다고 판단되는 객체의 익사 가능성을 예측한다.

예를 들어, 객체 머리가 가라앉았는지 여부를 판단하는 경우(S208), 객체의 얼굴이 물속에 존재하거나 안면이 보이지 않는 경우, 위험 상황에 해당하는 것으로 판단할 수 있다. 객체 몸통이 가라앉았는지 여부를 판단하는 경우(S218), 어깨 아래의 몸통이 물속에 있거나 몸통의 앞면이 보이지 않는 경우, 위험 상황에 해당하는 것으로 판단할 수 있다. 또한, 팔과 몸통 간의 거리를 판단하는 경우(S228), 팔이 몸통에 가려 보이지 않거나, 팔이 향하는 방향이 머리와 어깨 사이에 존재하며 손바닥이 몸통과 멀리 떨어져 있는 경우, 위험 상황에 해당하는 것으로 판단할 수 있다.

이상 상황이 수 초 동안 일정기준 이상으로 인식되었는지 판단한다(S209).

위험 상황이라고 판단된 결과에 대하여, 위험 상황의 일관성을 판단하여 최종적으로 이상 상황이라고 판단할 수 있다. 구체적으로, 상황 인식 결과에 대하여 일정 시간 동안 위험 상황 결과를 모니터링 하여, 해당 객체가 이상 상황 상태를 수 초 동안 일정 기준 이상으로 유지하는지 판별한다. 예를 들어, ID 3번에 해당하는 객체의 이상 상황 판단 결과를 10초 정도 수집하여, 이중 80% 이상의 확률로 이상 상황이라는 결과가 얻어지면 최종적으로 이상 상황이라고 결정할 수 있다.

이상 상황 정보를 적재 및 표현한다(S210).

모니터링부(130)는 이상 상황 결과에 대한 정보를 저장하며 다양한 방식으로 표시한다. 관리자는 이로부터 결과 영상을 확인할 수 있다.

도 3a 내지 도 3c는 본 발명에 따른 수영장 안전관리 장치가 획득한 영상으로부터 객체를 검출하는 방법을 설명하기 위한 도면이다.

구체적으로, 도 3a는 영상을 획득하는 경우이다. 수영장에 위치하는 카메라는 fps에 따라 실시간으로 고해상도 영상을 획득한다. 고해상도 영상은 시간순으로 배열되는 복수개의 영상프레임(310)으로 구성된다. 이 경우, 수영장 안전관리 장치(100)는 rtsp 프로토콜 등에 기초하여 카메라로부터 복수개의 영상프레임(310)을 수신한다.

도 3b는 획득한 영상에 대해 영상처리 및 전처리를 수행한 경우이다. 설치된 카메라에 의한 왜곡을 보정하고 내부 환경에 의해 발생하는 습기 및 물보라를 제거하기 위하여, 원래의 영상프레임(320)에 대하여 전처리를 수행함으로써 보정된 영상프레임(325)을 얻는다.

또한, 영상처리를 수행하여 관심영역을 분할할 수 있다.

도 3c는 객체를 인식하는 경우이다. 딥러닝 기반의 객체검출모델을 사용하여, 영상프레임(330)으로부터 객체(331, 332, 333, 334, 335)를 검출할 수 있다. 이 경우, 딥러닝 모델을 통하여 객체가 사람인지 여부, 크기 및 좌표값 등의 객체정보를 획득하고, 검출 영역이 일반적인 사람의 크기에 비해 현저히 작은 경우 등의 사람 객체로 판별하기 어려운 검출 결과는 제거할 수 있다.

도 4a 내지 도 4c는 객체의 이상 상황을 판별하는 방법을 설명하기 위한 도면이다.

구체적으로, 도 4a와 도 4b는 객체별로 시계열 영상을 생성한 경우이다. 정지 상태로 판단된 객체에 대하여, 객체의 시계열 영상(410, 420)을 생성할 수 있다. 도 4a 및 도 4b에서는, 예를 들어, 약 16개의 영상프레임을 생성할 수 있다.

실시예에 따라, 객체의 시계열 영상(410, 420)에 기초하여 객체가 정지상태인지 여부를 판단할 수도 있다.

객체별로 상황을 인식한다. 다중객체 인식, 병렬 처리 등의 방법을 사용하여, 정지상태로 판단된 객체의 위험 상황을 인식한다.

객체의 위험 상황이 일정시간 동안 인식될 시, 이상 상황으로 판별할 수 있다.

도 4c는 영상프레임 별로 인식된 상황을 매칭시킨 데이터셋이다. 16개의 영상프레임들로 구성되는 데이터셋이 필요한 인식 모델의 경우, (n, n+15)부터 (n+k, n+k+15)까지의 출력 결과들을 저장한다. 이후, 결과에 대한 클래스의 대분류가 위험 상황인지 정상 상황인지 변환한 다음, 더 많은 결과를 나타낸 상황이 최종 결과로 출력된다. 이에 의해, 비슷한 행태를 갖고 있는 위험 상황 또는 정상 상황에 대한 분류 정확도를 높이고 시스템의 성능을 향상시킬 수 있다. 또한, 초 단위보다 짧은 영상프레임의 데이터셋을 모아 상대적으로 긴 시간 정보를 추가함으로써 해당 상황을 정확하게 판단하게 된다. 도 4c를 참조하면, 데이터셋(430)의 영상프레임 들 중에서, 서있는 상황이 두 번 발생하고, 물에 빠진 상황이 한 번 발생한 것을 알 수 있다.

이하, 도 5를 참조하여 딥러닝 모델에 기초하여 위험 상황을 판단하는 방법을 보다 구체적으로 설명한다.

도 5는 본 발명에 따른 수영장 안전관리 방법에서 위험 상황을 판단하기 위한 모델을 설명하기 위한 도면이다.

딥러닝 모델은 실제 정답과 모델에서 예측한 값의 차이를 줄여가면서 입력으로 들어오는 상황을 판단하게 되는데, 이를 학습이라 한다. 또한, 2개 이상의 딥러닝 모델 결과를 조합하여 최종 결과를 도출하는 방법을 앙상블이라고 한다.

본 발명에서 사용하는 행동 인식 상황 판단 모델은, 얼굴이 물속에 가라앉았는지 여부, 몸통이 물속에 가라앉았는지 여부, 팔의 방향 및 손바닥과 몸통 간의 거리를 판단하는 모델들의 결과에 대하여 중요도를 선형 결합한 변형된 앙상블 기법을 적용하여 모델을 학습한다.

이를 위해, 위험상황 인식을 수행하는 경우, 상기의 상황들을 판단하는 각각의 모델을 구성하고, 각각의 모델은 해당 상황의 정답을 학습하고 그 결과값으로 실제 정답과 모델에서 예측한 값들의 차이값을 저장한다.

얼굴이 물속에 가라앉았는지 여부를 판단하는 경우, 사람의 얼굴이 물속에 있거나 안면이 보이지 않는 상황은 위험 상황으로 판단하고, 그렇지 않은 경우는 정상 상황으로 판단하여, 모델이 해당 상황을 맞췄을 시 차이값이 줄어든다.

몸통이 물속에 가라앉았는지 여부를 판단하는 경우, 어깨 밑의 몸통이 물속에 있거나 몸통의 앞면이 보이지 않는 상황은 위험 상황으로 판단하고, 그렇지 않은 경우는 정상 상황으로 판단하여, 모델이 해당 상황을 맞췄을 시 차이값이 줄어든다.

팔의 방향 및 손바닥과 몸통 간의 거리를 판단하는 경우, 팔이 몸통에 가려 보이지 않거나 팔의 방향이 머리와 어깨 사이에 존재하고 손바닥이 몸통과 멀리 떨어져 있는 상황은 위험 상황으로 판단하고, 그렇지 않은 경우는 정상 상황으로 판단하여, 모델이 해당 상황을 맞췄을 시 차이값이 줄어든다.

다음으로, 3개의 모델에서 저장한 차이값들에 대하여 모델별 중요도를 선형 결합한다. 이를 위해, 위험 상황 조건의 초기 중요도를 설정할 수 있다. 일 실시예에 의하면, 초기 중요도는, 팔의 방향 및 손바닥과 몸통 간의 거리를 판단하는 경우(0.2) < 몸통이 물속에 가라앉았는지 여부를 판단하는 경우(0.3) < 얼굴이 물속에 가라앉았는지 여부를 판단하는 경우(0.5) 순으로 설정할 수 있으나, 본 발명이 이에 한정되는 것은 아니다. 다양한 데이터에 기초하여 모델을 학습하는 경우, 다양한 데이터에 맞도록 초기 중요도를 수정하여 설정할 수 있다.

도 5에 도시된 바와 같이, 본 발명에서 사용하는 행동 인식 상황 판단 모델은, 머리 가라앉음 인식 모델과 몸 가라앉음 인식 모델 및 팔과 몸통 사이거리 계산모델을 통합하여 생성될 수 있다.

머리 가라앉음 인식 모델은, 객체에 대해 시계열적으로 생성된 복수개의 영상프레임에서 객체의 머리를 검출한 후, 가라앉음 여부를 학습할 수 있다.

몸 가라앉음 인식 모델은, 객체에 대해 시계열적으로 생성된 복수개의 영상프레임에서 객체의 몸통을 검출한 후, 가라앉음 여부를 학습할 수 있다.

팔과 몸통 사이거리 계산모델은, 객체의 팔모양으로부터 몸통과의 거리를 계산할 수 있다.

이 경우, 각 위험판단 조건에 대하여 별도의 모델 구조를 가지지만, 모델 학습 시 필요한 loss 함수를 각각의 loss 함수로부터 가중합(weighted sum)하여 하나의 통합

를 재구성한다. 각각 모델을 학습하지 않고 통합된 loss 함수를 학습한다.

통합된 loss 함수는 다음 [식 1]과 같다.

[식 1]

(여기서,

=머리 모델 가중치,

=몸 모델 가중치,

=팔 몸통거리 모델 가중치, 각 가중치의 합은 1임)

이 경우,

값이 최소가 되는 방향으로 학습되며, 각 모델은 각 모델이 가지는 가중치에 비례하여 모델 내 변수들이 업데이트 된다.

도 6a 내지 도 6c는 본 발명에 따른 수영장 안전관리 방법에서 위험 상황을 학습하기 위한 경우들이다.

상황인식부(120)는 도 6a 내지 도 6c에 도시된 예시들과 같이 수영장에서 발생할 수 있는 위험 상황과 정상 상황을 특정하는 기준을 정하여 세분화된 상황을 인식할 수 있다. 이에 기초하여, 이 경우, 수영장에서 발생할 수 있는 위험 상황과 비슷한 정상 상황, 정상 상황과 비슷한 위험 상황을 인식 모델에 학습시킴으로써, 높은 정확도로 상황을 분류할 수 있게 한다. 기존에는 익사 상태, 위험 상태 등 만을 인식하였지만, 본 발명에서는 위험 상황과 혼동될 수 있는 정상 상황, 정상 상황과 혼동될 수 있는 유사 상황 등을 포함하는 보다 상세한 경우에 대해서도 학습하여 판단의 신뢰도를 높인다.

한편, 상기에서 언급한 특정 기준은 객체의 움직임 유무, 얼굴이 수면안에 있는지 또는 수면 밖에 있는지 등을 포함할 수 있다.

구체적으로, 도 6a는 수영자가 물에 떠 있는 경우이다. 이는 수영자가 물에 떠 있는 상태에서, 물에 빠진 경우(익사)인지를 학습하기 위한 상황들이다.

Drowning A(610)는 바닥을 보며 떠 있는 상태이다. 수영자는 바닥을 보며 팔을 신체 옆쪽 또는 위쪽 방향으로 뻗은 상태로, 물위에 떠 있다.

Drowning B(612)는 바닥을 보며 떠 있는 상태이다. 수영자는 바닥을 보며 팔을 신체 앞쪽 방향으로 뻗은 상태로, 물위에 떠 있다.

도 6b는 수영자가 가라앉아 있는 경우이다. 이는 수영자가 가라앉아 있는 상태에서, 물에 빠진 경우인지를 학습하기 위한 상황들이다.

Sink A(620)는 천장을 향해 가라앉아 있는 상태이다. 수영자는 천장을 보면서, 물 안에 가라앉아 있다.

Sink B(622)는 바닥을 향해 가라앉아 있는 상태이다. 수영자는 바닥을 보면서, 물 안에 가라앉아 있다.

Sink C(624)는 옆으로 가라앉아 있는 상태이다. 수영자는 옆면을 보면서, 물 안에 가라앉아 있다.

도 6c는 수영자가 정지 상태인 경우이다. 이는 사용자가 정지 상태인 경우, 위험 상황에 해당하는지를 학습하기 위한 상황들이다.

Stand(630)는 서있는 상태이다. 수영자는 물 안에서 직립 보행으로 서 있다.

Walk(632)는 걷는 상태이다. 수영자는 물 안에서 걸으면서 이동중이다.

Leaning(634)은 기대는 상태이다. 수영자는 물 안에서 로프에 기대어 있다.

도 7a 내지 도 7d는 본 발명에 따른 수영장 안전관리 방법에서 객체 추적 및 움직임을 인식하는 방법을 설명하기 위한 도면이다.

도 7a는 객체를 추적하는 경우이다. 객체(710)를 추적하는 경우, 이전 프레임(700_pf)과 현재 프레임(700_cf) 각각에서의 객체(710)의 위치를 검출한다. 이 경우, 객체(710)의 좌표에 기초하여, 시계열적인 위치 변화를 인식할 수 있다.

구체적으로, 객체(710)를 둘러싸는 사각 영역을 설정하고, 사각 영역의 중심 좌표의 시계열적인 위치를 추적함으로써, 객체(710)를 추적할 수 있다.

도 7b는 객체 궤적에 기초하여 객체를 추적하는 경우이다. 객체(710, 720)의 궤적(715, 725)에 기초하여 객체를 추적할 수 있다. 프레임이 변화됨에 따라 객체 A를 포함하는 객체 영역(710)의 위치가 변화되고(710

710'로 변화), 이로부터 객체 A의 궤적(715)이 획득된다. 또한, 프레임이 변화됨에 따라 객체 B를 포함하는 객체 영역(720)의 위치가 변화되고(720

720'로 변화), 이로부터 객체 B의 궤적(725)이 획득된다. 각각의 궤적(715, 725)에 기초하여, 객체 A 및 객체 B를 추적할 수 있다.

도 7c는 프레임 변화에 따라 객체 중복 영역을 산출한 경우이다. 프레임의 변화에 따른 객체 영역(710, 710', 720, 720')의 위치 변화를 추적하고, 이에 기초하여 객체 영역이 겹치는 중복 영역(718, 728)을 산출할 수 있다. 이 경우, 객체 영역의 중심점 좌표 및 중복 영역을 산출하여 객체의 움직임을 판단한다. 예를 들어, 중심점 좌표 간의 거리가 임계값 미만이거나, 중복 영역의 크기가 기준값 이상이면 정지 상태인 것으로 판단할 수 있다.

도 7d는 객체 영역의 크기 변화에 기초하여 움직임 변화를 추정하는 경우이다. 객체를 포함하는 객체 영역을 설정하고, 이전 프레임과 현재 프레임에서의 객체 영역의 크기 변화에 기초하여 객체의 움직임을 판단할 수 있다.

도 7d에서, 이전 프레임(700_pf)과 현재 프레임(700_cf) 각각에서, 객체 A에 대한 객체 영역 A(730, 730')의 크기는 다르다. 따라서, 객체 A는 움직임이 존재한다고 판단할 수 있다. 또한, 객체 B에 대한 객체 영역 B(740, 740’)의 크기 변화는 임계값 미만이다. 따라서, 객체 B는 움직임이 없는 정지상태라고 판단할 수 있다.

도 8은 본 발명에 따른 수영장 안전관리 방법에서 일정 구역에 객체들이 근접한 경우를 도시한 도면이다.

실시예에 따라, 일정 구역을 위험 구역으로 설정하고, 상기 일정 구역에 존재하는 객체들을 타겟 객체로 설정할 수 있다. 도 8을 참조하면, 일정 구역(800)내에 객체들이 존재하므로, 이러한 객체들을 타겟 객체로 설정한다.

또한, 일정 구역 내에 존재하더라도 군집을 이루고 있지 않은 객체에 대해서만 모니터링을 수행할 수도 있다. 도 8에서, 일정 구역(800) 내의 객체들 중 좌측의 두 개의 객체들은 군집을 이루고 있으므로, 우측의 객체에 대해서만 모니터링을 수행할 수 있다.

한편, 도 3a 내지 도 8에 도시된 도면들은 본 발명의 검증을 위해 실제로 수집했던 영상들에 기반한 것으로서, 실제 인물들을 알아볼 수 없도록 영상이 블러처리 되었다. 그러나, 이는 당업자가 본 발명의 핵심 사상을 이해하는데 영향을 미치지 않는다.

도 9는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 9의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 수영장 안전관리 장치(100)일 수 있다.

도 9의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 수영장 안전관리 장치 110: 영상처리부
120: 상황인식부 130: 모니터링부

Claims (12)

1. 수영장 안전관리 장치에 있어서,
   수영장에 설치된 적어도 하나의 카메라로부터 제1영상을 수신하고, 상기 제1영상에 대해 전처리를 수행하여 제2영상을 획득하는 영상처리부;
   상기 제2영상으로부터 군집을 이루고 있지 않은 타겟 객체를 검출하고, 상기 타겟 객체의 상태를 추적하여 상기 타겟 객체가 정지 상태이면 상기 타겟 객체에 대해 이상상황이 발생한 것으로 인식하는 상황인식부; 및
   상기 이상상황이 발생한 상기 타겟 객체의 움직임을 분석하고, 익사 탐지 알고리즘에 기초하여 상기 타겟 객체의 익사 가능성을 예측하는 모니터링부; 를 포함하되,
   군집을 이루는 객체에 대해서는, 위험 상황이 발생하더라도 군집 내의 주위의 다른 사용자들에 의해 발견될 수 있다고 간주하여, 상기 이상상황이 발생한 것으로 인식하지 않고 상기 익사 탐지 알고리즘에 기초한 익사 가능성을 예측하지 않고,
   상기 전처리는, 수영장에 설치된 적어도 하나의 카메라의 왜곡 형태나 내부 환경에 의해 발생하는 습기 및 물보라를 제거하는 영상처리과정을 포함하며, 카메라의 왜곡 형태에 따라 barrel, pin cushion 왜곡 보정 방법 등을 사용하는,
   수영장 안전관리 장치.
2. 제1항에 있어서,
   상기 상황인식부는,
   상기 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 상기 타겟 객체가 처음으로 등장한 시점부터 식별코드를 부여하고, 상기 식별코드에 대응하는 상기 타겟 객체를 추적하여 상기 타겟 객체가 상기 복수개의 프레임내에서 동일인을 유지하는지 판단하는,
   수영장 안전관리 장치.
3. 제1항에 있어서,
   상기 상황인식부는,
   상기 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 상기 타겟 객체를 포함하는 사각 영역을 설정하고, 상기 사각 영역의 중심점 좌표의 움직임 또는 위치 변화량에 기초하여 상기 타겟 객체가 정지 상태인지 여부를 판단하는,
   수영장 안전관리 장치.
4. 제1항에 있어서,
   상기 상황인식부는,
   상기 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 상기 타겟 객체가 겹쳐지는 중복 영역을 설정하고, 상기 중복 영역의 크기에 기초하여 상기 타겟 객체가 정지 상태인지 여부를 판단하는,
   수영장 안전관리 장치.
5. 제1항에 있어서,
   상기 상황인식부는,
   상기 타겟 객체와 다른 객체 간의 중심 거리가 제1기준값 이상이고, 상기 타겟 객체와 상기 다른 객체 간의 중복 영역의 크기가 제2기준값 미만이면, 상기 타겟 객체가 군집을 이루고 있지 않는 것으로 판단하는,
   수영장 안전관리 장치.
6. 제1항에 있어서,
   상기 모니터링부는,
   상기 타겟 객체의 얼굴이 물속에 존재하는지 여부, 상기 타겟 객체의 몸통이 수면으로부터 소정 깊이 이상의 물속에 존재하는지 여부, 팔의 방향 및 손바닥과 몸통 간의 거리 중 적어도 하나에 기초하여, 상기 타겟 객체의 익사 가능성을 예측하는,
   수영장 안전관리 장치.
7. 수영장 안전관리 방법에 있어서,
   수영장에 설치된 적어도 하나의 카메라로부터 제1영상을 수신하고, 상기 제1영상에 대해 전처리를 수행하여 제2영상을 획득하는 단계;
   상기 제2영상으로부터 군집을 이루고 있지 않은 타겟 객체를 검출하고, 상기 타겟 객체의 상태를 추적하여 상기 타겟 객체가 정지 상태이면 상기 타겟 객체에 대해 이상상황이 발생한 것으로 인식하는 단계; 및
   상기 이상상황이 발생한 상기 타겟 객체의 움직임을 분석하고, 익사 탐지 알고리즘에 기초하여 상기 타겟 객체의 익사 가능성을 예측하는 단계; 를 포함하되,
   군집을 이루는 객체에 대해서는, 위험 상황이 발생하더라도 군집 내의 주위의 다른 사용자들에 의해 발견될 수 있다고 간주하여, 상기 이상상황이 발생한 것으로 인식하지 않고 상기 익사 탐지 알고리즘에 기초한 익사 가능성을 예측하지 않고,
   상기 전처리는, 수영장에 설치된 적어도 하나의 카메라의 왜곡 형태나 내부 환경에 의해 발생하는 습기 및 물보라를 제거하는 영상처리과정을 포함하며, 카메라의 왜곡 형태에 따라 barrel, pin cushion 왜곡 보정 방법 등을 사용하는,
   수영장 안전관리 방법.
8. 제7항에 있어서,
   상기 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 상기 타겟 객체가 처음으로 등장한 시점부터 식별코드를 부여하고, 상기 식별코드에 대응하는 상기 타겟 객체를 추적하여 상기 타겟 객체가 상기 복수개의 프레임내에서 동일인을 유지하는지 판단하는,
   수영장 안전관리 방법.
9. 제7항에 있어서,
   상기 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 상기 타겟 객체를 포함하는 사각 영역을 설정하고, 상기 사각 영역의 중심점 좌표의 움직임 또는 위치 변화량에 기초하여 상기 타겟 객체가 정지 상태인지 여부를 판단하는,
   수영장 안전관리 방법.
10. 제7항에 있어서,
    상기 제2영상에 포함되는 시간 변화에 따른 복수개의 프레임내에서 상기 타겟 객체가 겹쳐지는 중복 영역을 설정하고, 상기 중복 영역의 크기에 기초하여 상기 타겟 객체가 정지 상태인지 여부를 판단하는,
    수영장 안전관리 방법.
11. 제7항에 있어서,
    상기 타겟 객체와 다른 객체 간의 중심 거리가 제1기준값 이상이고, 상기 타겟 객체와 상기 다른 객체 간의 중복 영역의 크기가 제2기준값 미만이면, 상기 타겟 객체가 군집을 이루고 있지 않는 것으로 판단하는,
    수영장 안전관리 방법.
12. 제7항에 있어서,
    상기 타겟 객체의 얼굴이 물속에 존재하는지 여부, 상기 타겟 객체의 몸통이 수면으로부터 소정 깊이 이상의 물속에 존재하는지 여부, 팔의 방향 및 손바닥과 몸통 간의 거리 중 적어도 하나에 기초하여, 상기 타겟 객체의 익사 가능성을 예측하는,
    수영장 안전관리 방법.

Images