KR102521640B1

KR102521640B1 - Apparatus and method of managing safety of swimming pool

Info

Publication number: KR102521640B1
Application number: KR1020220100910A
Authority: KR
Inventors: 강민정
Original assignee: 롯데정보통신 주식회사
Priority date: 2022-08-11
Filing date: 2022-08-11
Publication date: 2023-04-12

Abstract

Disclosed are a device and a method for managing the safety of a swimming pool, wherein the photographed image of a swimming pool can be analyzed to discern an exceptional situation mistaken for a dangerous situation, thereby detecting an actually dangerous situation accurately. The device for managing the safety of a swimming pool according to an aspect comprises: an image receiving part for receiving the photographed image of a swimming pool; an object detection part for detecting a target object of a person in the swimming pool from the image; a positional danger determining part for calculating positional danger based on the size of the swimming pool and the position of the target object in the swimming pool, and comparing the positional danger with a positional threshold value to determining the danger probability of the target object; and a behavior recognizing part for recognizing the behavior of the target object with the positional danger greater than the positional threshold value to determine whether the situation is dangerous.

Description

Swimming pool safety management device and method {APPARATUS AND METHOD OF MANAGING SAFETY OF SWIMMING POOL}

본 발명은 수영장 안전 관리 장치 및 방법에 관한 것으로, 보다 구체적으로, 영상을 분석하여 수영장 내의 위험 상황을 감지할 수 있는 수영장 안전 관리 장치 및 방법에 관한 것이다.The present invention relates to a swimming pool safety management device and method, and more particularly, to a swimming pool safety management device and method capable of detecting a dangerous situation in a swimming pool by analyzing an image.

수영장에서 발생할 수 있는 인명사고를 예방하기 위하여, 일정 수준 이상의 규모를 가진 수영장에서는 안전 요원을 필수적으로 근무시키도록 법규로 강제한다. 그러나, 수영장의 특성상 공간이 넓고 움직이는 다수의 입수자의 행동을 일일이 파악하기 어려워, 안전 요원이 현장에 있더라도 사고는 계속적으로 발생한다. 이에 수영장 내에 카메라를 설치하고 카메라로 촬영된 영상을 분석하여 수영장 내 입수자의 위험 상황을 감지하는 다양한 시도가 전개되고 있다. 대부분 수영장 내 입수자의 움직임이 정지해 있는 경우 위험 상황으로 판단한다. 그러나 수영장 내 입수자의 움직임이 정지해 있다고 해서 모두 위험 상황인 것은 아니다. 따라서, 이러한 예외적인 상황을 분별하여 실제 위험 상황을 정확하고 효율적으로 감지할 수 있는 방안이 필요하다.In order to prevent life-threatening accidents that may occur in swimming pools, it is compulsory by law to have safety personnel on duty in swimming pools with a size above a certain level. However, due to the nature of the swimming pool, it is difficult to individually grasp the behavior of a large number of moving swimmers due to the large space, and accidents continue to occur even when safety personnel are present at the site. Accordingly, various attempts have been made to detect dangerous situations for swimmers in the swimming pool by installing cameras in the swimming pool and analyzing images captured by the cameras. In most cases, it is judged to be a dangerous situation when the swimmer's movement in the swimming pool is still. However, not all swimmers in a swimming pool are at risk. Therefore, there is a need for a method for accurately and efficiently detecting an actual dangerous situation by discriminating such an exceptional situation.

본 발명은, 수영장을 촬영한 영상을 분석하여 위험 상황으로 오인되는 예외적인 상황을 분별하여 실제 위험 상황을 정확하게 감지할 수 있는 수영장 안전 관리 장치 및 방법을 제공하는데 그 목적이 있다.An object of the present invention is to provide a swimming pool safety management device and method capable of accurately detecting an actual dangerous situation by analyzing an image taken of a swimming pool to discriminate an exceptional situation that is mistaken for a dangerous situation.

일 측면에 따른 수영장 안전 관리 장치는, 수영장을 촬영한 영상을 수신하는 영상 수신부; 상기 영상에서 입수자의 타겟 객체를 검출하는 객체 검출부; 상기 수영장의 크기와 상기 타겟 객체의 수영장 내 위치를 기초로 위치 위험도를 계산하고, 위치 위험도와 위치 임계값을 비교하여 상기 타겟 객체의 위험 가능성을 판단하는 위치 위험 판단부; 및 상기 위치 위험도가 상기 위치 임계값 보다 큰 타겟 객체의 행동을 인식하여 위험 상황 여부를 판단하는 행동 인식부를 포함한다.Swimming pool safety management device according to one aspect, the image receiving unit for receiving an image of the swimming pool; an object detection unit for detecting a target object of the acquirer in the image; a location risk determination unit calculating a location risk based on the size of the swimming pool and the location of the target object in the pool, and comparing the location risk and a location threshold to determine a possibility of danger of the target object; and a behavior recognition unit that recognizes a behavior of a target object whose location risk is greater than the location threshold and determines whether or not a dangerous situation exists.

상기 수영장 안전 관리 장치는, 상기 위치 위험도가 상기 위치 임계값 보다 큰 타겟 객체의 정지 상태 여부를 판단하는 정지 판단부를 더 포함하고, 상기 행동 인식부는, 상기 위치 위험도가 상기 위치 임계값 보다 크고 정지 상태인 타겟 객체의 행동을 인식할 수 있다.The swimming pool safety management device further includes a stop determination unit for determining whether or not the target object is in a stationary state, wherein the location risk is greater than the location threshold, and the action recognition unit is configured to determine whether the location risk is greater than the location threshold and is in a stationary state. Recognize the behavior of the target object.

상기 정지 판단부는, 타겟 객체에 대응하는 객체 영역의 시간당 위치 변화량에 기초하여 정지 상태 여부를 판단할 수 있다.The stop determining unit may determine whether or not the target object is in a stop state based on the amount of position change per time of the object area corresponding to the target object.

상기 수영장 안전 관리 장치는, 타겟 객체와 다른 객체 간의 거리를 기초로 타겟 객체의 군집 여부를 판단하는 군집 판단부를 더 포함하고, 상기 행동 인식부는, 상기 위치 위험도가 상기 위치 임계값 보다 크고 군집을 이루지 않은 타겟 객체의 행동을 인식할 수 있다.The swimming pool safety management device further includes a cluster determination unit for determining whether the target object is clustered based on the distance between the target object and other objects, and the action recognition unit has the location risk greater than the location threshold and does not form a cluster. Behavior of the target object can be recognized.

상기 군집 판단부는, 타겟 객체에 대응하는 객체 영역과, 다른 객체에 대응하는 객체 영역의 중심 간 거리 또는 객체 영역 간의 중첩 영역의 크기를 기초로 군집 여부를 판단할 수 있다.The cluster determining unit may determine whether to cluster based on a distance between centers of an object region corresponding to a target object and object regions corresponding to other objects or a size of an overlapping region between object regions.

상기 행동 인식부는, 미리 학습된 인공지능 신경망 모델을 이용하여 행위를 인식하고, 상기 미리 학습된 인공지능 신경망 모델은, 학습시, 학습 데이터를 구성하는 입수자 객체의 위치 위험도가 손실 함수에 가중치로 적용될 수 있다.The action recognition unit recognizes an action using a pre-learned artificial intelligence neural network model, and in the pre-learned artificial intelligence neural network model, the position risk of the acquirer object constituting the training data is weighted in a loss function during learning. can be applied

상기 수영장 안전 관리 장치는, 각각 상기 위치 위험도가 상기 위치 임계값 보다 큰 소정 개수 이상의 타겟 객체들 사이를 연결하는 최소 거리들의 표준편차와 편차 임계값을 비교하여 특수 상황 여부를 판단하는 특수 상황 판단부를 더 포함하고, 상기 행동 인식부는, 상기 최소 거리들의 표준편차가 상기 편차 임계값 보다 큰 경우, 상기 소정 개수 이상의 타겟 객체 각각의 행동을 인식할 수 있다.The swimming pool safety management device, respectively, a special situation determining unit for determining whether a special situation exists by comparing the standard deviation and deviation threshold of minimum distances connecting between target objects having a predetermined number or more that have a greater location risk than the location threshold. The behavior recognition unit may recognize a behavior of each target object of the predetermined number or more when a standard deviation of the minimum distances is greater than the deviation threshold.

상기 수영장 안전 관리 장치는, 상기 위치 위험도가 상기 위치 임계값 보다 큰 타겟 객체의 정지 상태 여부를 판단하는 정지 판단부를 더 포함하고, 상기 행동 인식부는, 상기 최소 거리들의 표준편차가 상기 편차 임계값 보다 크고 각각 정지 상태인 상기 소정 개수 이상의 타겟 객체 각각의 행동을 인식할 수 있다.The swimming pool safety management device further includes a stop determination unit for determining whether or not a target object in a stationary state in which the location risk is greater than the location threshold value, and wherein the action recognition unit determines that the standard deviation of the minimum distances is greater than the deviation threshold value. It is possible to recognize the behavior of each of the target objects of the predetermined number or more, each of which is large and in a stationary state.

상기 행동 인식부는, 미리 학습된 인공지능 신경망 모델을 이용하여 행위를 인식하고, 상기 미리 학습된 인공지능 신경망 모델은, 학습시, 학습 데이터를 구성하는 입수자 객체의 위치 위험도와, 소정 개수 이상의 입수자 객체들 사이를 연결하는 최소 거리들의 표준편차가 손실 함수에 가중치로 적용될 수 있다.The action recognition unit recognizes an action using a pre-learned artificial intelligence neural network model, and the pre-learned artificial intelligence neural network model determines, during learning, the location risk of the acquirer object constituting the learning data, and a predetermined number of acquisitions. Standard deviations of minimum distances connecting child objects may be applied as weights to the loss function.

다른 측면에 따른 수영장 안전 관리 장치의 수영장 안전 관리 방법은, 수영장을 촬영한 영상을 수신하는 단계; 상기 영상에서 입수자의 타겟 객체를 검출하는 단계; 상기 수영장의 크기와 상기 타겟 객체의 수영장 내 위치를 기초로 위치 위험도를 계산하고, 위치 위험도와 위치 임계값을 비교하여 상기 타겟 객체의 위험 가능성을 판단하는 단계; 및 상기 위치 위험도가 상기 위치 임계값 보다 큰 타겟 객체의 행동을 인식하여 위험 상황 여부를 판단하는 단계를 포함한다.Swimming pool safety management method of the swimming pool safety management device according to another aspect, the step of receiving an image taken by the swimming pool; detecting a target object of the acquirer in the image; calculating a location risk based on a size of the swimming pool and a location of the target object in the pool, and comparing the location risk and a location threshold to determine the possibility of danger of the target object; and recognizing a behavior of a target object whose location risk is greater than the location threshold and determining whether or not a dangerous situation exists.

상기 수영장 안전 관리 방법은, 상기 위치 위험도가 상기 위치 임계값 보다 큰 타겟 객체의 정지 상태 여부를 판단하는 단계를 더 포함하고, 상기 위험 상황 여부를 판단하는 단계는, 상기 위치 위험도가 상기 위치 임계값 보다 크고 정지 상태인 타겟 객체의 행동을 인식할 수 있다.The swimming pool safety management method further includes determining whether a target object in which the location risk is greater than the location threshold is in a stationary state, and the step of determining whether or not the risk situation is such that the location risk is greater than the location threshold. It can recognize the behavior of larger, stationary target objects.

상기 정지 상태 여부를 판단하는 단계는, 타겟 객체에 대응하는 객체 영역의 시간당 위치 변화량에 기초하여 정지 상태 여부를 판단할 수 있다.In the step of determining whether the target object is in a stationary state, whether or not the target object is in a stationary state may be determined based on a change in position per time of an object region corresponding to the target object.

상기 수영장 안전 관리 방법은, 타겟 객체와 다른 객체 간의 거리를 기초로 타겟 객체의 군집 여부를 판단하는 단계를 더 포함하고, 상기 정지 상태 여부를 판단하는 단계는, 상기 위치 위험도가 상기 위치 임계값 보다 크고 군집을 이루지 않은 타겟 객체의 행동을 인식할 수 있다.The swimming pool safety management method further includes determining whether the target objects are clustered based on the distance between the target object and other objects, and the step of determining whether the stationary state is such that the location risk is greater than the location threshold. Behavior of large, non-crowded target objects can be recognized.

상기 군집 여부를 판단하는 단계는, 타겟 객체에 대응하는 객체 영역과, 다른 객체에 대응하는 객체 영역의 중심 간 거리 또는 객체 영역 간의 중첩 영역의 크기를 기초로 군집 여부를 판단할 수 있다.In the determining whether to be clustered, clustering may be determined based on a distance between the center of an object region corresponding to the target object and an object region corresponding to another object or a size of an overlapping region between object regions.

상기 위험 상황 여부를 판단하는 단계는, 미리 학습된 인공지능 신경망 모델을 이용하여 행위를 인식하고, 상기 미리 학습된 인공지능 신경망 모델은, 학습시, 학습 데이터를 구성하는 입수자 객체의 위치 위험도가 손실 함수에 가중치로 적용될 수 있다.In the step of determining whether or not there is a dangerous situation, an action is recognized using a pre-learned artificial intelligence neural network model, and the pre-learned artificial intelligence neural network model determines the positional risk of the acquirer object constituting the learning data during learning. It can be applied as a weight to the loss function.

상기 수영장 안전 관리 방법은, 각각 상기 위치 위험도가 상기 위치 임계값 보다 큰 소정 개수 이상의 타겟 객체들 사이를 연결하는 최소 거리들의 표준편차와 편차 임계값을 비교하여 특수 상황 여부를 판단하는 단계를 더 포함하고, 상기 위험 상황 여부를 판단하는 단계는, 상기 최소 거리들의 표준편차가 상기 편차 임계값 보다 큰 경우, 상기 소정 개수 이상의 타겟 객체 각각의 행동을 인식할 수 잇다.The swimming pool safety management method further includes determining whether there is a special situation by comparing a standard deviation and a deviation threshold of minimum distances connecting between target objects of a predetermined number or more, each having a location risk greater than the location threshold. In the step of determining whether or not there is a dangerous situation, when the standard deviation of the minimum distances is greater than the deviation threshold, it is possible to recognize the behavior of each of the target objects of the predetermined number or more.

상기 수영장 안전 관리 방법은, 상기 위치 위험도가 상기 위치 임계값 보다 큰 타겟 객체의 정지 상태 여부를 판단하는 단계를 더 포함하고, 상기 위험 상황 여부를 판단하는 단계는, 상기 최소 거리들의 표준편차가 상기 편차 임계값 보다 크고 각각 정지 상태인 상기 소정 개수 이상의 타겟 객체 각각의 행동을 인식할 수 있다.The swimming pool safety management method further includes determining whether a target object in which the location risk is greater than the location threshold is in a stationary state, and the step of determining whether or not in a dangerous situation is such that the standard deviation of the minimum distances is It is possible to recognize a behavior of each of the target objects of the predetermined number or more that is greater than the deviation threshold and each of which is in a stationary state.

상기 위험 상황 여부를 판단하는 단계는, 미리 학습된 인공지능 신경망 모델을 이용하여 행위를 인식하고, 상기 미리 학습된 인공지능 신경망 모델은, 학습시, 학습 데이터를 구성하는 입수자 객체의 위치 위험도와, 소정 개수 이상의 입수자 객체들 사이를 연결하는 최소 거리들의 표준편차가 손실 함수에 가중치로 적용될 수 있다.In the step of determining whether or not there is a dangerous situation, the action is recognized using a pre-learned artificial intelligence neural network model, and the pre-learned artificial intelligence neural network model determines the location risk of the acquirer object constituting the learning data and the risk during learning. , the standard deviation of the minimum distances connecting a predetermined number or more of obtainer objects may be applied as a weight to the loss function.

본 발명은, 수영장 내 입수자의 위치에 따라 위치 위험도가 높은 입수자에 대해서만 행위 인식을 함으로써, 불필요한 행위 인식 과정을 없애, 수영장 안전 관리의 효율성을 높인다.According to the present invention, action recognition is performed only for an acquirer having a high risk of location according to the location of the acquirer in the swimming pool, thereby eliminating an unnecessary action recognition process and increasing the efficiency of swimming pool safety management.

본 발명은, 위치 위험도가 높은 입수자라고 해도 위험 상황이 아닌 특수 상황인지를 판단하여, 특수 상황이 아닌 경우에만 행위 인식을 함으로써, 수영장 안전 관리의 효율성을 높인다.The present invention increases the efficiency of swimming pool safety management by determining whether it is a special situation rather than a dangerous situation even for a acquirer with a high location risk and recognizing an action only in a non-special situation.

본 발명은, 인공지능 신경망 모델의 학습시, 위치 위험도와, 입수자들 간의 거리의 표준편차를 손실함수에 반영함으로써, 학습된 인공지능 신경망 모델로 행위 인식시 보다 정확하게 위험 상황을 분석할 수 있다.In the present invention, when learning an artificial intelligence neural network model, by reflecting the standard deviation of the location risk and the distance between the acquirers to the loss function, it is possible to analyze the risk situation more accurately when recognizing an action with the learned artificial intelligence neural network model. .

도 1은 본 발명의 일 실시예에 따른 수영장 안전 관리 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 수영장 내 타겟 객체의 위치를 나타낸 도면이다.
도 3은 도 2에 도시된 수영장에서 타겟 객체의 위치에 따른 위치 위험도 F를 계산하여 시각화한 예이다.
도 4는 본 발명의 일 실시예에 따른 수영장 안전 관리 방법을 설명하는 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 수영장 안전 관리 방법을 설명하는 흐름도이다.1 is a diagram showing the configuration of a swimming pool safety management device according to an embodiment of the present invention.
2 is a diagram showing the location of a target object in a swimming pool according to an embodiment of the present invention.
FIG. 3 is an example of calculating and visualizing the location risk F according to the location of the target object in the swimming pool shown in FIG. 2 .
4 is a flowchart illustrating a swimming pool safety management method according to an embodiment of the present invention.
5 is a flowchart illustrating a swimming pool safety management method according to another embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, the embodiments disclosed in this specification will be described in detail with reference to the accompanying drawings, but the same or similar components are given the same reference numerals regardless of reference numerals, and redundant description thereof will be omitted. The suffix "part" for components used in the following description is given or used interchangeably in consideration of ease of writing the specification, and does not itself have a meaning or role distinct from each other. In addition, in describing the embodiments disclosed in this specification, if it is determined that a detailed description of a related known technology may obscure the gist of the embodiment disclosed in this specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, the technical idea disclosed in this specification is not limited by the accompanying drawings, and all changes included in the spirit and technical scope of the present invention , it should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers, such as first and second, may be used to describe various components, but the components are not limited by the terms. These terms are only used for the purpose of distinguishing one component from another.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as "comprise" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.

본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.In implementing the present invention, components may be subdivided for convenience of description, but these components may be implemented in one device or module, or one component may be divided into multiple devices or modules may be implemented in

도 1은 본 발명의 일 실시예에 따른 수영장 안전 관리 장치의 구성을 나타낸 도면이다. 본 실시예에 따른 수영장 안전 관리 장치(100)는, 메모리, 메모리 제어기, 하나 이상의 프로세서(CPU), 주변 인터페이스, 입출력(I/O) 서브시스템, 카메라, 디스플레이 장치, 입력 장치 및 통신 모듈을 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리, 또는 다른 불휘발성 반도체 메모리 장치를 포함할 수 있다. 프로세서 및 주변 인터페이스와 같은 다른 구성요소에 의한 메모리로의 액세스는 메모리 제어기에 의하여 제어될 수 있다. 1 is a diagram showing the configuration of a swimming pool safety management device according to an embodiment of the present invention. The swimming pool safety management device 100 according to this embodiment includes a memory, a memory controller, one or more processors (CPUs), a peripheral interface, an input/output (I/O) subsystem, a camera, a display device, an input device, and a communication module. can do. The memory may include high-speed random access memory, and may also include one or more magnetic disk storage devices, non-volatile memory such as flash memory devices, or other non-volatile semiconductor memory devices. Access to memory by the processor and other components, such as peripheral interfaces, may be controlled by the memory controller.

도 1을 참조하면, 본 실시예에 따른 수영장 안전 관리 장치(100)는, 영상 수신부(110), 객체 검출부(120), 군집 판단부(130), 위치 위험 판단부(140), 정지 판단부(150), 특수 상황 판단부(160), 행동 인식부(170) 및 알람부(180)를 포함하고, 이들은 프로그램으로 구현되어 메모리에 저장되어 프로세서에 의해 실행될 수 있고, 또는 하드웨어와 소프트웨어의 조합으로 구현되어 동작할 수 있다.Referring to FIG. 1, the swimming pool safety management device 100 according to this embodiment includes an image receiving unit 110, an object detection unit 120, a cluster determination unit 130, a location risk determination unit 140, and a stop determination unit. 150, a special situation determination unit 160, an action recognition unit 170, and an alarm unit 180, which are implemented as programs and stored in memory to be executed by a processor, or a combination of hardware and software. can be implemented and run.

영상 수신부(110)는, 통신 모듈을 통해 수영장 내 설치된 카메라로부터 수영장을 촬영한 영상을 수신한다. 예를 들어, 수영장 내 천장에 수영장 전체를 촬영 영역으로 커버하는 복수의 카메라가 설치되고, 영상 수신부(110)는 그 복수의 카메라로부터 RTSP(Real Time Streaming Protocol)을 통해 영상을 수신할 수 있다. The image receiving unit 110 receives an image of a swimming pool from a camera installed in the swimming pool through a communication module. For example, a plurality of cameras covering the entire swimming pool as a shooting area are installed on the ceiling of a swimming pool, and the image receiving unit 110 may receive images from the plurality of cameras through Real Time Streaming Protocol (RTSP).

객체 검출부(120)는, 상기 영상 수신부(110)에서 수신된 영상에서 입수자의 객체를 검출한다. 상기 수신된 영상은 복수의 프레임으로 구성되고, 객체 검출부(120)는 각 프레임에서 입수자의 객체를 검출한다. 바람직하게, 객체 검출부(120)는, 각 프레임에서 입수자의 객체를 검출하고 해당 객체에 ID를 부여할 수 있다. 이하에서 입수자의 객체를 타겟 객체라 한다.The object detector 120 detects an object of the acquirer in the image received by the image receiver 110 . The received image is composed of a plurality of frames, and the object detection unit 120 detects the acquirer's object in each frame. Preferably, the object detection unit 120 may detect an acquirer's object in each frame and assign an ID to the object. Hereinafter, the object of the acquirer is referred to as the target object.

객체 검출부(120)는, 각 프레임에서 타겟 객체를 검출하는데 있어서, 각 프레임에서 객체 영역을 설정하고 해당 객체 영역을 타겟 객체로서 설정할 수 있다. 여기서 객체 영역은 사각형 박스 형태로서 사각형 박스의 좌측 상단 꼭지점의 좌표를 기준으로 폭(w) 및 높이(h)로 해당 객체 영역이 설정된다. 따라서, 영상이 m개의 프레임으로 구성되어 있고, 각 프레임에 동일 입수자의 객체가 존재하는 경우, m개의 객체 영역이 추출될 수 있다. 상기 사각형 박스의 좌측 상단 꼭지점의 좌표는, 수영장의 가로 및 세로를 각각 x축 및 y축으로 하고 수영장의 좌측 상단 꼭지점을 원점으로 하였을 때, 그 xy 좌표 평면 상에서의 좌표일 수 있다.In detecting a target object in each frame, the object detector 120 may set an object region in each frame and set the object region as the target object. Here, the object area is in the form of a rectangular box, and the corresponding object area is set to a width (w) and a height (h) based on the coordinates of the upper left vertex of the rectangular box. Accordingly, when an image is composed of m frames and an object of the same acquirer exists in each frame, m object regions may be extracted. The coordinates of the upper left vertex of the rectangular box may be coordinates on the xy coordinate plane when the horizontal and vertical sides of the swimming pool are x-axis and y-axis respectively and the upper left vertex of the swimming pool is the origin.

객체 검출부(120)는, 상기 수신된 영상에서 타겟 객체 검출을 위해 상기 수신된 영상에 대해 전처리를 수행할 수 있다. 여기서 전처리는 카메라 왜곡 보정, 카메라의 설치 환경에 의해 발생하는 습기 및 영상 내 물보라의 제거 등을 포함할 수 있다. 카메라 왜곡 보정의 경우, barrel, pin cushion 왜곡 보정 방법 등을 사용할 수 있으나 여기에 제한되는 것은 아니다.The object detection unit 120 may perform pre-processing on the received image in order to detect a target object in the received image. Here, the preprocessing may include camera distortion correction, removal of moisture generated by the installation environment of the camera and water spray in the image, and the like. In the case of camera distortion correction, barrel, pin cushion distortion correction methods, etc. may be used, but are not limited thereto.

군집 판단부(130)는, 상기 객체 검출부(120)에서 검출된 타겟 객체가 군집을 이루고 있는지 판단한다. 수영장 내에서 입수자들이 군집을 이루는 경우 일부 입수자에게 위험 상황이 발생하더라도 군집 내의 다른 입수자들에 의해 발견될 수 있다. 따라서, 본 실시예에서 객체들이 군집을 이루는 경우, 위험 상황이 아닌 것으로 판단된다. The cluster determination unit 130 determines whether the target objects detected by the object detection unit 120 form a cluster. When swimmers form a colony in a pool, even if some swimmers are in danger, other swimmers in the cluster can discover them. Therefore, in this embodiment, when objects form a cluster, it is determined that it is not a dangerous situation.

구체적으로, 군집 판단부(130)는, 상기 객체 검출부(120)에서 검출된 타겟 객체와 다른 객체 간의 거리가 소정의 임계 거리 이내인 경우, 타겟 객체는 다른 객체와 군집을 이루는 것으로 판단할 수 있다. 군집 판단부(130)는, 타겟 객체에 대응하는 객체 영역의 중심(예, 사각형 박스의 중심)과, 다른 객체에 대응하는 객체 영역의 중심(예, 사각형 박스의 중심) 간 거리를 두 객체 간 거리로 결정할 수 있다.Specifically, the cluster determination unit 130 may determine that the target object forms a cluster with other objects when the distance between the target object detected by the object detection unit 120 and another object is within a predetermined threshold distance. . The cluster determination unit 130 calculates the distance between the center of an object region corresponding to the target object (eg, the center of a rectangular box) and the center of an object region corresponding to another object (eg, the center of a rectangular box) between two objects. distance can be determined.

다른 실시예에서, 군집 판단부(130)는, 타겟 객체에 대응하는 객체 영역(예, 사각형 박스)과, 다른 객체에 대응하는 객체 영역(예, 사각형 박스) 간의 중첩 영역의 크기를 기초로, 타겟 객체의 군집 여부를 판단할 수 있다. 군집 판단부(130)는, 타겟 객체에 대응하는 객체 영역과, 다른 객체에 대응하는 객체 영역의 중첩 영역 간의 중첩 영역의 크기가 소정의 임계 크기 이상인 경우, 타겟 객체는 다른 객체와 군집을 이루는 것으로 판단할 수 있다. In another embodiment, the cluster determination unit 130 based on the size of an overlapping area between an object area (eg, a rectangular box) corresponding to a target object and an object area (eg, a rectangular box) corresponding to another object, It is possible to determine whether target objects are clustered. The cluster determination unit 130 determines that the target object forms a cluster with other objects when the size of the overlapping region between the object region corresponding to the target object and the overlapping region of the object region corresponding to the other object is equal to or greater than a predetermined threshold size. can judge

위치 위험 판단부(140)는, 상기 군집 판단부(130)에서 군집을 이루지 않는 것으로 판단된 타겟 객체에 대해 위치를 기준으로 위험 가능성을 판단한다. 일반적으로 수영장에서 가장자리 벽면에 위치하는 사람들은 위험 가능성이 낮고, 반면 수영장의 가장자리 벽면에서 멀리 떨어진 사람들은 위험 가능성이 높다. 위치 위험 판단부(140)는 수영장의 크기, 그리고 타겟 객체의 수영장 내 위치를 기초로 타겟 객체의 위치 위험도를 계산하고 위치 위험도가 위치 임계값 보다 큰 경우 위험 가능성이 높은 것으로 판단한다.The location risk determination unit 140 determines the possibility of danger based on the location of the target object determined to be non-clustered by the cluster determination unit 130 . In general, people located on the edge walls of a pool are less likely to be at risk, whereas people farther from the edge walls of a pool are more likely to be at risk. The location risk determination unit 140 calculates the location risk of the target object based on the size of the pool and the location of the target object in the pool, and determines that the location risk is high if the location risk is greater than the location threshold.

도 2는 본 발명의 일 실시예에 따른 수영장 내 타겟 객체의 위치를 나타낸 도면이다. 도 2는 수영장 내에 위치하는 하나의 타겟 객체(210)를 나타낸다. 도 2에서 가로 길이 W이고 세로 길이 H인 수영장의 좌측 상단 꼭지점을 원점 (0, 0)으로 하는 XY 좌표계에서 객체(210)의 위치 좌표를 (β₁, β₂)라 할 때, 본 실시예에 따른 위치 위험도 F는 다음 (수학식1)에 의해 계산될 수 있다.2 is a diagram showing the location of a target object in a swimming pool according to an embodiment of the present invention. 2 shows one target object 210 located in a swimming pool. In FIG. 2, when the location coordinates of the object 210 are (β ₁ , β ₂ ) in the XY coordinate system in which the upper left vertex of the swimming pool having a horizontal length W and a vertical length H is the origin (0, 0), this embodiment The position risk F according to can be calculated by the following (Equation 1).

(수학식1)(Equation 1)

여기서 ε은 위치 위험도 F의 최소값이 0이 되는 것을 방지하기 위한 파라미터이다.Here, ε is a parameter for preventing the minimum value of the position risk F from becoming zero.

도 3은 도 2에 도시된 수영장에서 타겟 객체의 위치에 따른 위치 위험도 F를 계산하여 시각화한 예이다. 도 3에 도시된 바와 같이, 타겟 객체가 수영장의 가장자리 벽면에서 멀어질수록 위치 위험도 F의 값은 커지는 것을 알 수 있다. 따라서, 위치 임계값 K를 적절히 설정하고, 타셋 객체의 위치 위험도 F를 계산하여 위치 위험도 F가 위치 임계값 K 보다 큰 경우, 타셋 객체는 수영장의 가장자리 벽면에서 멀어진 것이므로, 위험 가능성이 높은 것으로 판단될 수 있다. 이를 정리하면 다음 (수학식2)와 같다.FIG. 3 is an example of calculating and visualizing the location risk F according to the location of the target object in the swimming pool shown in FIG. 2 . As shown in FIG. 3 , it can be seen that the value of the location risk F increases as the target object moves away from the edge wall of the swimming pool. Therefore, by properly setting the location threshold K and calculating the location risk F of the target object, if the location risk F is greater than the location threshold value K, the target object is far from the edge wall of the swimming pool, so it is determined that the risk is high. can Summarizing this, the following (Equation 2) is obtained.

(수학식2)(Equation 2)

- F(β₁, β₂｜W, H) > K이면, 위험 가능성 높음- If F(β ₁ , β ₂ ｜ W, H) > K, then the risk is high

- F(β₁, β₂｜W, H) ≤ K이면, 위험 가능성 낮음- If F(β ₁ , β ₂ ｜W, H) ≤ K, the risk is low

정지 판단부(150)는, 상기 위치 위험 판단부(140)에서 위험 가능성이 높은 것으로 판단된 타겟 객체에 대해 정지 상태인지 여부를 판단한다. 정지 판단부(150)는, 타겟 객체의 시간당 위치 변화량에 기초하여 정지 상태인지 여부를 판단할 수 있다. 일 실시예에서, 정지 판단부(150)는, 타겟 객체에 대응하는 객체 영역의 시간당 위치 변화량에 기초하여 정지 상태인지 여부를 판단할 수 있다. 예를 들어, 정지 판단부(150)는, 각 프레임에서 검출된 객체 영역의 중심점의 위치를 참조하여 객체 영역의 시간당 위치 변화량이 소정 임계값 미만인 경우, 정지 상태로 판단할 수 있다. The stop determination unit 150 determines whether the target object determined to have a high possibility of danger by the location risk determination unit 140 is in a stationary state. The stop determination unit 150 may determine whether or not the target object is in a stationary state based on the amount of position change per time of the target object. In one embodiment, the stop determination unit 150 may determine whether the target object is in a stationary state based on the amount of position change per time of the object area corresponding to the target object. For example, the still determination unit 150 may determine a stationary state when the position change amount per time of the object region is less than a predetermined threshold by referring to the location of the center point of the object region detected in each frame.

정지 판단부(150)에서 정지 상태로 판단된 타겟 객체는 수영장의 가장자리 벽에서 떨어져 수영장 가운데 쪽에 위치하면서 정지 상태이기 때문에 통상적으로 위험 상황일 가능성이 높다고 볼 수 있으나, 항상 그런 것은 아니다. 예를 들어, 복수의 사람들이 아크로바틱과 같은 특수 단체 활동을 진행할 경우, 복수의 타겟 객체들은 수영장의 가장자리 벽에서 떨어져 수영장 가운데 쪽에 위치하면서 정지 상태일 수 있다. 이러한 특수 상황에서 타겟 객체들은 위험 상황이 아니라고 판단되어야 한다.Since the target object determined to be stationary by the stop determination unit 150 is in a stationary state while being located in the middle of the pool away from the edge wall of the pool, it can be seen that it is generally likely to be in a dangerous situation, but this is not always the case. For example, when a plurality of people perform a special group activity such as acrobatics, a plurality of target objects may be in a stationary state while being located in the center of the pool apart from an edge wall of the pool. In this special situation, it should be determined that the target objects are not in a dangerous situation.

특수 상황 판단부(160)는, 상기 정지 판단부(150)에서 정지 상태로 판단된 소정 개수 이상(예, T개 이상)의 타겟 객체들이 있을 때, 해당 소정 개수의 타겟 객체가 특수 상황인지 여부를 판단한다. 수영장 내에서 아크로바틱과 같은 단체 특수 활동을 진행할 경우, 정지한 객체들 간의 거리는 일정하게 유지된다. 따라서, 특수 상황 판단부(160)는, 소정 개수의 타겟 객체들 사이를 모두 연결하는 최소 거리들의 표준편차를 이용하여 특수 상황인지 여부를 판단한다. 그 표준편차는 다음 (수학식3)과 같이 계산할 수 있다.The special situation determination unit 160 determines whether the predetermined number of target objects are in a special situation when there are a predetermined number or more (eg, T or more) target objects determined to be in a stopped state by the stop determination unit 150. judge When a group special activity such as acrobatics is performed in a swimming pool, the distance between stationary objects is maintained constant. Accordingly, the special situation determination unit 160 determines whether or not it is a special situation by using standard deviations of minimum distances connecting all of a predetermined number of target objects. The standard deviation can be calculated as follows (Equation 3).

(수학식3)(Equation 3)

여기서 N은 정지 상태로 판단된 타겟 객체들 사이를 모두 연결하는 최소 거리의 수, α_i는 임의의 두 타겟 객체 사이의 최소 거리, m은 타겟 객체들 사이를 모두 연결하는 최소 거리들의 평균이다. 예를 들어, 타겟 객체의 수가 6인 경우, 이들을 모두 연결하는 최소 거리의 수 N은 5*4*3*2*1=120이다.Here, N is the number of minimum distances connecting all target objects determined to be stationary, α _i is the minimum distance between any two target objects, and m is the average of minimum distances connecting all target objects. For example, when the number of target objects is 6, the minimum number N of distances connecting them all is 5*4*3*2*1=120.

특수 상황 판단부(160)는, 상기 소정 개수 이상의 타겟 객체들 사이를 모두 연결하는 최소 거리들의 표준편차가 소정의 편차 임계값 보다 큰 경우, 위험 가능성이 높다고 판단하고, 반대로 상기 표준편차가 소정의 편차 임계값 이하인 경우, 특수 상황인 것으로 판단한다. 아크로바틱과 같은 단체 특수 활동의 경우 정지한 객체들 간의 거리는 일정하게 유지되어 상기 표준편차는 상기 편차 임계값 이하가 되는 반면, 아크로바틱과 같은 단체 특수 활동이 아닌 경우 상기 표준편차는 상기 편차 임계값 보다 커지게 되는 원리를 이용한 것이다.The special situation determination unit 160 determines that the risk is high when the standard deviation of the minimum distances connecting all of the target objects equal to or greater than the predetermined number is greater than a predetermined deviation threshold, and conversely, the standard deviation is If it is less than the deviation threshold, it is determined that it is a special situation. In the case of a group special activity such as acrobatics, the distance between stationary objects is kept constant so that the standard deviation is below the deviation threshold, whereas in the case of non-group special activities such as acrobatics, the standard deviation is equal to the deviation threshold It uses the principle of getting bigger.

행동 인식부(170)는, 상기 위치 위험 판단부(140)에서 위험 가능성이 높다고 판단된 타겟 객체(들), 또는 상기 특수 상황 판단부(160)에서 특수 상황이 아니라고 판단된 타겟 객체들에 대해 위험 상황 여부를 최종 판단한다. 행동 인식부(170)는, 미리 학습된 인공지능 신경망 모델로서, 타겟 객체에 대응하는 객체 영역의 이미지를 입력으로 하여 위험 상황 여부를 최종 판단한다. 바람직하게, 행동 인식부(170)는, 출력으로서 타겟 객체의 행동 분류 값을 출력할 수 있다. 행동 분류 값은, 정상, 익사, 조난, 잠수 각각의 확률값을 포함할 수 있고, 행동 인식부(170)는 소정 임계값 이상의 확률값에 해당하는 행위를 최종 상태로 분류할 수 있다.The action recognition unit 170 is configured for target object(s) determined to have a high possibility of danger by the location risk determination unit 140 or target objects determined not to be in a special situation by the special situation determination unit 160. Make a final judgment on whether or not there is a risk situation. The action recognition unit 170, as a pre-learned artificial intelligence neural network model, finally determines whether or not a dangerous situation exists by using an image of an object region corresponding to a target object as an input. Preferably, the behavior recognition unit 170 may output a behavior classification value of the target object as an output. The behavior classification value may include probability values of normal, drowning, distress, and diving, and the behavior recognition unit 170 may classify an action corresponding to a probability value equal to or greater than a predetermined threshold value as a final state.

일 실시예에서, 행동 인식부(170)는, 상기 정지 판단부(150)에서 정지 상태로 판단되고 상기 특수 상황 판단부(160)에서 특수 상황 여부를 판단하지 않은 소정 개수 미만(예, T개 미만)의 타겟 객체들 각각에 대해 위험 상황 여부를 최종 판단한다. 행동 인식부(170)는, 미리 학습된 인공지능 신경망 모델로서, 상기 소정 개수 미만의 타겟 객체들 각각의 객체 영역의 이미지를 입력으로 하여 각 타겟 객체들의 위험 상황 여부를 최종 판단한다. In one embodiment, the behavior recognition unit 170 is determined to be in a stopped state by the stop determination unit 150 and the special situation determination unit 160 is less than a predetermined number (eg, T For each of the target objects of less than), whether or not a dangerous situation is finally determined. The behavior recognition unit 170, as a pre-learned artificial intelligence neural network model, finally determines whether or not each target object is in a dangerous situation by using an image of an object area of each target object less than the predetermined number as an input.

일 실시예에서, 행동 인식부(170)는, 상기 정지 판단부(150)에서 정지 상태로 판단되고 상기 특수 상황 판단부(160)에서 특수 상황이 아니라고 판단된 상기 소정 개수 이상의 타겟 객체들 각각에 대해 위험 상황 여부를 최종 판단한다. 즉, 행동 인식부(170)는, 상기 특수 상황 판단부(160)에서 특수 상황이라고 판단된 타겟 객체들에 대해서는 별도로 위험 상황 여부를 판단하지 않고, 상기 특수 상황 판단부(160)에서 특수 상황이 아니라고 판단된 타겟 객체들에 대해 위험 상황 여부를 최종 판단한다. 행동 인식부(170)는, 해당 타겟 객체들 각각의 객체 영역의 이미지를 입력으로 하여 각 타겟 객체들의 위험 상황 여부를 최종 판단한다. In one embodiment, the action recognition unit 170 determines that the stop state is determined by the stop determination unit 150 and is not a special situation by the special situation determination unit 160. Make a final judgment on whether or not there is a risk situation. That is, the action recognition unit 170 does not separately determine whether or not a dangerous situation exists for the target objects determined to be special situations by the special situation determination unit 160, and the special situation determination unit 160 determines that the special situation is It is finally determined whether or not the target object is determined to be in a dangerous situation. The behavior recognition unit 170 finally determines whether or not each target object is in a dangerous situation by using an image of an object area of each target object as an input.

알람부(180)는, 상기 행동 인식부(170)로부터 위험 상황으로 판단된 객체에 대한 정보를 수신하고, 그 정보에 기초하여 알람 정보를 출력한다. 알람부(180)는 스피커를 통해 알람 정보를 출력할 수 있고, 또는 디스플레이 장치에 위험 상황으로 판단된 객체의 위치를 표시하며 알람 정보를 출력할 수 있으며, 또는 안전 요원의 단말로 객체의 위치 정보를 포함하는 알람 정보를 출력할 수 있다.The alarm unit 180 receives information about an object determined to be in a dangerous situation from the behavior recognition unit 170 and outputs alarm information based on the information. The alarm unit 180 may output alarm information through a speaker, or display the location of an object determined to be in a dangerous situation on a display device and output alarm information, or may output object location information to a safety officer's terminal. Alarm information including may be output.

이상의 도 1을 참조하여 설명한 실시예에 따르면, 위치 위험 판단부(140)에서 타겟 객체의 위치 위험도를 계산하고 위치 위험도가 위치 임계값 보다 큰 경우 해당 타겟 객체의 위험 가능성이 높은 것으로 판단하고, 이러한 위치 위험도에 따른 위험 가능성이 높은 타겟 객체들이 소정 개수(예, T개) 이상일 경우, 추가로 특수 상황 판단부(160)에서 특수 상황 여부를 판단한다. 그러나 여기에 제한되는 것은 아니며, 위치 위험 판단부(140)에서 위치 임계값 보다 큰 위치 위험도를 갖는 것으로 판단된 타겟 객체에 대해 특수 상황 판단부(160)에서 특수 상황 여부를 판단하지 않고 바로 행동 인식부(170)에서 최종 위험 상황 여부를 판단할 수도 있다.According to the embodiment described with reference to FIG. 1 above, the location risk determining unit 140 calculates the location risk of the target object and determines that the risk of the corresponding target object is high when the location risk is greater than the location threshold. When the number of target objects having a high possibility of danger according to the location risk level exceeds a predetermined number (eg, T number), the special situation determination unit 160 additionally determines whether or not there is a special situation. However, it is not limited thereto, and for the target object determined to have a location risk greater than the location threshold in the location risk determination unit 140, the special situation determination unit 160 does not determine whether or not there is a special situation and immediately recognizes the action. In unit 170, it may be determined whether or not the final dangerous situation exists.

행동 인식부(170)는, 앞서 설명한 바와 같이, 미리 학습된 인공지능 신경망 모델이다. 인공지능 신경망 모델은 일반적으로 입력층(input layer), 은닉층(hidden layer), 및 출력층(output layer)을 포함하여 구성되고, 신호가 각 층을 통과하면서 가중치가 곱해지거나 더해지는 등의 처리가 이루어진다. 인공지능 신경망은 출력층에서 출력된 결과와 정답을 비교하여 손실값을 계산한 후 이를 다시 신경망의 각 층에 피드백하여 손실값이 최소화되도록 최적화된다.As described above, the behavior recognition unit 170 is a pre-learned artificial intelligence neural network model. An artificial intelligence neural network model is generally composed of an input layer, a hidden layer, and an output layer, and as a signal passes through each layer, processing such as multiplication or addition of weights is performed. The artificial intelligence neural network calculates a loss value by comparing the result output from the output layer with the correct answer, and then feeds back this to each layer of the neural network to optimize the loss value to a minimum.

본 실시예의 행동 인식부(170)의 인공지능 신경망 모델은, 다량의 학습 데이터를 이용하여 학습된다. 학습 데이터는, 각 행동 분류별로 다량의 객체 영역의 이미지들과, 각 객체 영역에 대해 계산된 위치 위험도 F의 값, 한 장면에 존재하는 소정 개수(예, T개) 이상의 정지 상태의 타겟 객체들 사이를 모두 연결하는 최소 거리들의 표준편차, 그리고 정답(Label)을 포함한다. The artificial intelligence neural network model of the behavior recognition unit 170 of this embodiment is learned using a large amount of learning data. The learning data includes a large number of images of object regions for each action category, a value of positional risk F calculated for each object region, and a predetermined number (eg, T) or more stationary target objects existing in one scene. It includes the standard deviation of the minimum distances connecting all between, and the correct answer (Label).

본 실시예에 따른 인공지능 신경망 모델은, 각 행동 분류의 다량의 객체 영역의 이미지들을 입력받아 행동 분류 값을 출력하고 정답과 비교하여 손실값을 계산한 후, 손실값이 최소화되도록 신경망 모델을 최적화하는데, 이때 손실 함수에 상기 위치 위험도 F의 값과, 상기 표준편차를 가중치로서 적용한다. 예를 들어, 손실 함수가 L_cls라 할 때, 상기 위치 위험도 F의 값과, 상기 표준편차를 가중치로 적용한 손실 함수는 F(β₁, β₂)*G(α_i)*L_cls이 된다. 이때, 한 장면에 존재하는 정지 상태의 타겟 객체들이 상기 소정 개수(예, T개) 미만일 경우 표준편차를 1로 설정한다. The artificial intelligence neural network model according to the present embodiment receives images of a large number of object regions of each behavior classification, outputs a behavior classification value, calculates a loss value by comparing it with the correct answer, and optimizes the neural network model so that the loss value is minimized. At this time, the value of the location risk F and the standard deviation are applied as weights to the loss function. For example, when the loss function is L _cls , the loss function obtained by applying the value of the location risk F and the standard deviation as a weight is F(β ₁ , β ₂ )*G(α _i )*L _cls . At this time, if the number of still target objects existing in one scene is less than the predetermined number (eg, T number), the standard deviation is set to 1.

이와 같이 손실 함수에 상기 위치 위험도 F의 값과 상기 표준편차를 가중치로서 적용함으로써, 본 실시예에 따른 행동 인식부(170)의 인공지능 신경망 모델은, 위험 상황 가능성이 높은 객체들에 대해 오알람을 방지하고 보다 정확하게 최종 위험 상황 여부를 판단할 수 있다. In this way, by applying the value of the location risk F and the standard deviation to the loss function as weights, the artificial intelligence neural network model of the behavior recognition unit 170 according to the present embodiment generates false alarms for objects with high possibility of dangerous situations. can be prevented and more accurately determine whether or not the final dangerous situation exists.

도 4는 본 발명의 일 실시예에 따른 수영장 안전 관리 방법을 설명하는 흐름도이다.4 is a flowchart illustrating a swimming pool safety management method according to an embodiment of the present invention.

도 4를 참조하면, 단계 S401에서, 수영장 안전 관리 장치(100)는, 수영장 내 설치된 카메라로부터 수영장을 촬영한 영상을 수신한다. 예를 들어, 수영장 내 천장에 수영장 전체를 촬영 영역으로 커버하는 복수의 카메라가 설치되고, 수영장 안전 관리 장치(100)는 그 복수의 카메라로부터 RTSP(Real Time Streaming Protocol)을 통해 영상을 수신할 수 있다. Referring to FIG. 4 , in step S401, the swimming pool safety management device 100 receives an image of a swimming pool from a camera installed in the swimming pool. For example, a plurality of cameras covering the entire swimming pool as a shooting area are installed on the ceiling in the swimming pool, and the pool safety management device 100 may receive images from the plurality of cameras through Real Time Streaming Protocol (RTSP). there is.

단계 S402에서, 수영장 안전 관리 장치(100)는 수신된 영상에서 입수자의 타겟 객체를 검출한다. 상기 수신된 영상은 복수의 프레임으로 구성되고, 수영장 안전 관리 장치(100)는 각 프레임에서 입수자의 타겟 객체를 검출한다. 바람직하게, 수영장 안전 관리 장치(100)는 각 프레임에서 입수자의 타겟 객체를 검출하고 해당 타겟 객체에 ID를 부여할 수 있다.In step S402, the swimming pool safety management device 100 detects the target object of the acquirer from the received image. The received image is composed of a plurality of frames, and the pool safety management device 100 detects the target object of the acquirer in each frame. Preferably, the swimming pool safety management device 100 may detect a target object of an acquirer in each frame and assign an ID to the target object.

일 실시예에서, 수영장 안전 관리 장치(100)는, 각 프레임에서 타겟 객체를 검출하는데 있어서, 각 프레임에서 객체 영역을 설정하고 해당 객체 영역을 타겟 객체로서 설정할 수 있다. 여기서 객체 영역은 사각형 박스 형태로서, 사각형 박스의 좌측 상단 꼭지점의 좌표를 기준으로 폭(w) 및 높이(h)로 해당 객체 영역이 설정된다. 상기 사각형 박스의 좌측 상단 꼭지점의 좌표는, 수영장의 가로 및 세로를 각각 x축 및 y축으로 하고 수영장의 좌측 상단 꼭지점을 원점으로 하였을 때, 그 xy 좌표 평면 상에서의 좌표일 수 있다.In one embodiment, the swimming pool safety management device 100 may set an object area in each frame and set the object area as a target object in detecting a target object in each frame. Here, the object area is in the form of a rectangular box, and the corresponding object area is set to a width (w) and a height (h) based on the coordinates of the upper left vertex of the rectangular box. The coordinates of the upper left vertex of the rectangular box may be coordinates on the xy coordinate plane when the horizontal and vertical sides of the swimming pool are x-axis and y-axis respectively and the upper left vertex of the swimming pool is the origin.

일 실시예에서, 수영장 안전 관리 장치(100)는, 상기 수신된 영상에서 타겟 객체 검출을 위해 상기 수신된 영상에 대해 전처리를 수행할 수 있다. 여기서 전처리는 카메라 왜곡 보정, 카메라의 설치 환경에 의해 발생하는 습기 및 영상 내 물보라의 제거 등을 포함할 수 있다.In one embodiment, the swimming pool safety management device 100 may perform pre-processing on the received image in order to detect a target object in the received image. Here, the preprocessing may include camera distortion correction, removal of moisture generated by the installation environment of the camera and water spray in the image, and the like.

단계 S403에서, 수영장 안전 관리 장치(100)는 검출된 타겟 객체가 군집을 이루고 있는지 판단한다. 수영장 안전 관리 장치(100)는, 검출된 타겟 객체와 다른 객체 간의 거리가 소정의 임계 거리 이내인 경우, 타겟 객체는 다른 객체와 군집을 이루는 것으로 판단할 수 있다. 수영장 안전 관리 장치(100)는, 타겟 객체에 대응하는 객체 영역의 중심(예, 사각형 박스의 중심)과, 다른 객체에 대응하는 객체 영역의 중심(예, 사각형 박스의 중심) 간 거리를 두 객체 간 거리로 결정할 수 있다.In step S403, the swimming pool safety management device 100 determines whether the detected target objects form a cluster. The swimming pool safety management device 100 may determine that the target object forms a cluster with other objects when the distance between the detected target object and other objects is within a predetermined threshold distance. The swimming pool safety management device 100 measures the distance between the center of an object area corresponding to a target object (eg, the center of a rectangular box) and the center of an object area corresponding to another object (eg, the center of a rectangular box). distance can be determined.

다른 실시예에서, 수영장 안전 관리 장치(100)는, 타겟 객체에 대응하는 객체 영역(예, 사각형 박스)과, 다른 객체에 대응하는 객체 영역(예, 사각형 박스) 간의 중첩 영역의 크기를 기초로, 타겟 객체의 군집 여부를 판단할 수 있다. 수영장 안전 관리 장치(100)는, 타겟 객체에 대응하는 객체 영역과, 다른 객체에 대응하는 객체 영역의 간의 중첩 영역의 크기가 소정의 임계 크기 이상인 경우, 타겟 객체는 다른 객체와 군집을 이루는 것으로 판단할 수 있다. In another embodiment, the swimming pool safety management device 100, based on the size of the overlapping area between the object area (eg, rectangular box) corresponding to the target object and the object area (eg, rectangular box) corresponding to another object , it is possible to determine whether the target object is clustered. The swimming pool safety management device 100 determines that the target object is clustered with other objects when the size of the overlapping area between the object area corresponding to the target object and the object area corresponding to the other object is greater than or equal to a predetermined threshold size. can do.

타겟 객체가 군집을 이루지 않는 경우, 수영장 안전 관리 장치(100)는 단계 S404에서, 타겟 객체에 대해 위치를 기준으로 위험 상황 가능성을 판단한다. 즉, 수영장 안전 관리 장치(100)는 상기 (수학식1)에 따라 타겟 객체의 위치 위험도 F를 계산하고 위치 위험도 F가 위치 임계값 K 보다 큰지 확인한다. 수영장 안전 관리 장치(100)는 위치 위험도 F가 위치 임계값 K 보다 큰 경우 위험 가능성이 높은 것으로 판단한다.If the target object does not form a cluster, the swimming pool safety management device 100 determines the possibility of a dangerous situation based on the location of the target object in step S404. That is, the swimming pool safety management device 100 calculates the location risk F of the target object according to (Equation 1) and determines whether the location risk F is greater than the location threshold value K. Swimming pool safety management device 100 determines that the risk is high if the location risk F is greater than the location threshold value K.

위치 위험도 F가 위치 임계값 K 보다 큰 경우, 단계 S405에서, 수영장 안전 관리 장치(100)는 타겟 객체에 대해 정지 상태인지 여부를 판단한다. 수영장 안전 관리 장치(100)는 타겟 객체의 시간당 위치 변화량에 기초하여 정지 상태인지 여부를 판단할 수 있다. 일 실시예에서, 수영장 안전 관리 장치(100)는, 타겟 객체에 대응하는 객체 영역의 시간당 위치 변화량에 기초하여 정지 상태인지 여부를 판단할 수 있다. 예를 들어, 수영장 안전 관리 장치(100)는 각 프레임에서 검출된 객체 영역의 중심점의 위치를 참조하여 객체 영역의 시간당 위치 변화량이 소정 임계값 미만인 경우, 정지 상태로 판단할 수 있다. If the location risk F is greater than the location threshold value K, in step S405, the swimming pool safety management device 100 determines whether the target object is in a stationary state. The swimming pool safety management device 100 may determine whether the target object is in a stationary state based on the amount of position change per hour. In one embodiment, the swimming pool safety management device 100 may determine whether or not the target object is in a stationary state based on the amount of position change per hour of the object area corresponding to the target object. For example, the swimming pool safety management apparatus 100 may determine a stationary state when the location change amount per time of the object area is less than a predetermined threshold by referring to the location of the center point of the object area detected in each frame.

타겟 객체가 정지 상태인 경우, 단계 S406에서, 수영장 안전 관리 장치(100)는 미리 학습된 인공지능 신경망 모델을 이용하여 타겟 객체에 대해 행동을 인식한다. 미리 학습된 인공지능 신경망 모델은, 타겟 객체에 대응하는 객체 영역의 이미지를 입력으로 하여 타겟 객체의 행동 분류 값을 출력할 수 있다. 행동 분류 값은, 정상, 익사, 조난, 잠수 각각의 확률값을 포함할 수 있고, 미리 학습된 인공지능 신경망 모델은 소정 임계값 이상의 확률값에 해당하는 행위를 최종 상태로 분류할 수 있다.When the target object is in a stationary state, in step S406, the swimming pool safety management device 100 recognizes an action for the target object using a pre-learned artificial intelligence neural network model. The pre-learned artificial intelligence neural network model may output a behavior classification value of the target object by taking an image of an object region corresponding to the target object as an input. The behavior classification value may include each probability value of normal, drowning, distress, and diving, and the pre-learned artificial intelligence neural network model may classify an action corresponding to a probability value equal to or greater than a predetermined threshold value as a final state.

단계 S407에서, 수영장 안전 관리 장치(100)는, 단계 S406에서의 행동 인식 결과에 기초하여, 타겟 객체가 위험 상황인지 판단한다. 타겟 객체가 익사, 조난 등의 위험 상황인 경우, 단계 S408에서, 수영장 안전 관리 장치(100)는, 알람을 출력한다. 수영장 안전 관리 장치(100)는 스피커를 통해 알람 정보를 출력할 수 있고, 또는 디스플레이 장치에 위험 상황으로 판단된 객체의 위치를 표시하며 알람 정보를 출력할 수 있으며, 또는 안전 요원의 단말로 객체의 위치 정보를 포함하는 알람 정보를 출력할 수 있다.In step S407, the swimming pool safety management device 100 determines whether the target object is in danger based on the action recognition result in step S406. When the target object is in a dangerous situation such as drowning or distress, in step S408, the swimming pool safety management device 100 outputs an alarm. The pool safety management device 100 may output alarm information through a speaker, or may display the location of an object determined to be dangerous on a display device and output alarm information, or may display the object's location to a safety personnel terminal. Alarm information including location information may be output.

도 4를 참조한 실시예에 따르면, 수영장 내에서 가장자리 벽에 가깝게 위치한 입수자는 안전한 상황으로 판단하여 행위 인식을 하지 않고, 가장자리 벽에서 떨어진 위치에 있는 입수자는 위험 가능성이 높다고 보고 행위 인식을 함으로써, 가장자리 벽에 위치한 입수자의 행위를 인식하는 불필요한 동작을 방지하여 수영장 안전 관리의 효율성을 높일 수 있다. 한편, 미리 학습된 인공지능 신경망 모델은 학습시 객체들의 위치 위험도 F를 가중치로 적용하여 학습함으로써, 보다 정확하게 객체들의 위험 상황을 분석할 수 있다.According to the embodiment with reference to FIG. 4, an acquirer located close to the edge wall in the swimming pool is judged as a safe situation and does not recognize the action, and an acquirer located at a position away from the edge wall considers the possibility of danger to be high and recognizes the action. It is possible to increase the efficiency of swimming pool safety management by preventing unnecessary motion of recognizing the action of a person located on the wall. On the other hand, the pre-learned artificial intelligence neural network model can more accurately analyze the risk situation of objects by learning by applying the location risk F of objects as a weight during learning.

도 5는 본 발명의 다른 실시예에 따른 수영장 안전 관리 방법을 설명하는 흐름도이다.5 is a flowchart illustrating a swimming pool safety management method according to another embodiment of the present invention.

도 5를 참조하면, 단계 S501에서, 수영장 안전 관리 장치(100)는, 수영장 내 설치된 카메라로부터 수영장을 촬영한 영상을 수신한다. 예를 들어, 수영장 내 천장에 수영장 전체를 촬영 영역으로 커버하는 복수의 카메라가 설치되고, 수영장 안전 관리 장치(100)는 그 복수의 카메라로부터 RTSP(Real Time Streaming Protocol)을 통해 영상을 수신할 수 있다. Referring to FIG. 5 , in step S501, the swimming pool safety management device 100 receives an image of a swimming pool from a camera installed in the swimming pool. For example, a plurality of cameras covering the entire swimming pool as a shooting area are installed on the ceiling in the swimming pool, and the pool safety management device 100 may receive images from the plurality of cameras through Real Time Streaming Protocol (RTSP). there is.

단계 S502에서, 수영장 안전 관리 장치(100)는 수신된 영상에서 입수자의 타겟 객체를 검출한다. 상기 수신된 영상은 복수의 프레임으로 구성되고, 수영장 안전 관리 장치(100)는 각 프레임에서 입수자의 타겟 객체를 검출한다. 바람직하게, 수영장 안전 관리 장치(100)는 각 프레임에서 입수자의 타겟 객체를 검출하고 해당 타겟 객체에 ID를 부여할 수 있다.In step S502, the swimming pool safety management device 100 detects the target object of the acquirer in the received image. The received image is composed of a plurality of frames, and the pool safety management device 100 detects the target object of the acquirer in each frame. Preferably, the swimming pool safety management device 100 may detect a target object of an acquirer in each frame and assign an ID to the target object.

단계 S503에서, 수영장 안전 관리 장치(100)는 검출된 타겟 객체가 군집을 이루고 있는지 판단한다. 수영장 안전 관리 장치(100)는, 검출된 타겟 객체와 다른 객체 간의 거리가 소정의 임계 거리 이내인 경우, 타겟 객체는 다른 객체와 군집을 이루는 것으로 판단할 수 있다. 수영장 안전 관리 장치(100)는, 타겟 객체에 대응하는 객체 영역의 중심(예, 사각형 박스의 중심)과, 다른 객체에 대응하는 객체 영역의 중심(예, 사각형 박스의 중심) 간 거리를 두 객체 간 거리로 결정할 수 있다.In step S503, the swimming pool safety management device 100 determines whether the detected target objects form a cluster. The swimming pool safety management device 100 may determine that the target object forms a cluster with other objects when the distance between the detected target object and other objects is within a predetermined threshold distance. The swimming pool safety management device 100 measures the distance between the center of an object area corresponding to a target object (eg, the center of a rectangular box) and the center of an object area corresponding to another object (eg, the center of a rectangular box). distance can be determined.

다른 실시예에서, 수영장 안전 관리 장치(100)는, 타겟 객체에 대응하는 객체 영역(예, 사각형 박스)과, 다른 객체에 대응하는 객체 영역(예, 사각형 박스) 간의 중첩 영역의 크기를 기초로, 타겟 객체의 군집 여부를 판단할 수 있다. 수영장 안전 관리 장치(100)는, 타겟 객체에 대응하는 객체 영역과, 다른 객체에 대응하는 객체 영역의 간의 중첩 영역의 크기가 소정의 임계 크기 이상인 경우, 해당 타겟 객체는 다른 객체와 군집을 이루는 것으로 판단할 수 있다. In another embodiment, the swimming pool safety management device 100, based on the size of the overlapping area between the object area (eg, rectangular box) corresponding to the target object and the object area (eg, rectangular box) corresponding to another object , it is possible to determine whether the target object is clustered. The swimming pool safety management device 100, when the size of the overlapping area between the object area corresponding to the target object and the object area corresponding to the other object is greater than or equal to a predetermined threshold size, the target object is considered to be clustered with other objects. can judge

타겟 객체가 군집을 이루지 않는 경우, 수영장 안전 관리 장치(100)는 단계 S504에서, 타겟 객체에 대해 위치를 기준으로 위험 가능성을 판단한다. 즉, 수영장 안전 관리 장치(100)는 상기 (수학식1)에 따라 타겟 객체의 위치 위험도 F를 계산하고 위치 위험도 F가 위치 임계값 K 보다 큰지 확인한다. 수영장 안전 관리 장치(100)는 위치 위험도 F가 위치 임계값 K 보다 큰 경우 위험 가능성이 높은 것으로 판단한다.If the target object does not form a cluster, the swimming pool safety management device 100 determines the possibility of danger based on the location of the target object in step S504. That is, the swimming pool safety management device 100 calculates the location risk F of the target object according to (Equation 1) and determines whether the location risk F is greater than the location threshold value K. Swimming pool safety management device 100 determines that the risk is high if the location risk F is greater than the location threshold value K.

위치 위험도 F가 위치 임계값 K 보다 큰 경우, 단계 S505에서, 수영장 안전 관리 장치(100)는 타겟 객체에 대해 정지 상태인지 여부를 판단한다. 수영장 안전 관리 장치(100)는 타겟 객체의 시간당 위치 변화량에 기초하여 정지 상태인지 여부를 판단할 수 있다. 일 실시예에서, 수영장 안전 관리 장치(100)는, 타겟 객체에 대응하는 객체 영역의 시간당 위치 변화량에 기초하여 정지 상태인지 여부를 판단할 수 있다. 예를 들어, 수영장 안전 관리 장치(100)는 각 프레임에서 검출된 객체 영역의 중심점의 위치를 참조하여 객체 영역의 시간당 위치 변화량이 소정 임계값 미만인 경우, 정지 상태로 판단할 수 있다. If the location risk F is greater than the location threshold value K, in step S505, the swimming pool safety management device 100 determines whether the target object is in a stationary state. The swimming pool safety management device 100 may determine whether the target object is in a stationary state based on the amount of position change per hour. In one embodiment, the swimming pool safety management device 100 may determine whether or not the target object is in a stationary state based on the amount of position change per hour of the object area corresponding to the target object. For example, the swimming pool safety management apparatus 100 may determine a stationary state when the location change amount per time of the object area is less than a predetermined threshold by referring to the location of the center point of the object area detected in each frame.

타겟 객체가 정지 상태인 경우, 단계 S506에서, 수영장 안전 관리 장치(100)는, 정지 상태로 판단된 타겟 객체가 T개 이상인지 확인한다. 만약, 정지 상태로 판단된 타겟 객체가 T개 이상인 경우, 단계 S507에서, 수영장 안전 관리 장치(100)는, 해당 T개 이상의 타겟 객체들이 위험 가능성이 높은 상황이 아닌 특수 상황인지 여부를 판단한다. 즉, 수영장 안전 관리 장치(100)는, 해당 T개 이상의 타겟 객체들 사이를 모두 연결하는 최소 거리들의 표준편차가 소정의 편차 임계값 보다 큰지 확인한다.When the target object is in a stationary state, in step S506, the swimming pool safety management apparatus 100 checks whether the target object determined to be in a stationary state is T or more. If the number of target objects determined to be stationary is T or more, in step S507, the swimming pool safety management device 100 determines whether the T or more target objects are in a special situation other than a high risk situation. That is, the pool safety management device 100 checks whether the standard deviation of the minimum distances connecting all of the T or more target objects is greater than a predetermined deviation threshold.

표준편차가 소정의 편차 임계값 보다 큰 경우, 특수 상황이 아닌 위험 가능성이 높은 상황이라고 판단하고, 단계 S508에서, 수영장 안전 관리 장치(100)는 미리 학습된 인공지능 신경망 모델을 이용하여 T개 이상의 타겟 객체 각각의 행동을 인식한다. 미리 학습된 인공지능 신경망 모델은, 각 타겟 객체에 대응하는 객체 영역의 이미지를 입력으로 하여 타겟 객체의 행동 분류 값을 출력할 수 있다. 행동 분류 값은, 정상, 익사, 조난, 잠수 각각의 확률값을 포함할 수 있고, 미리 학습된 인공지능 신경망 모델은 소정 임계값 이상의 확률값에 해당하는 행위를 최종 상태로 분류할 수 있다.If the standard deviation is greater than the predetermined deviation threshold, it is determined that the risk is high rather than a special situation, and in step S508, the pool safety management device 100 uses a pre-learned artificial intelligence neural network model to T or more Recognize the behavior of each target object. The pre-learned artificial intelligence neural network model may output a behavior classification value of a target object by taking an image of an object region corresponding to each target object as an input. The behavior classification value may include each probability value of normal, drowning, distress, and diving, and the pre-learned artificial intelligence neural network model may classify an action corresponding to a probability value equal to or greater than a predetermined threshold value as a final state.

단계 S509에서, 수영장 안전 관리 장치(100)는, 단계 S508에서의 각 타겟 객체의 행동 인식 결과에 기초하여, 익사, 조난 등의 위험 상황의 객체가 존재하는지 확인한다. 위험 상황의 객체가 존재하는 경우, 단계 S510에서, 수영장 안전 관리 장치(100)는, 알람을 출력한다. 수영장 안전 관리 장치(100)는 스피커를 통해 알람 정보를 출력할 수 있고, 또는 디스플레이 장치에 위험 상황으로 판단된 객체의 위치를 표시하며 알람 정보를 출력할 수 있으며, 또는 안전 요원의 단말로 객체의 위치 정보를 포함하는 알람 정보를 출력할 수 있다.In step S509, the swimming pool safety management device 100, based on the action recognition result of each target object in step S508, confirms whether there is an object in a dangerous situation such as drowning or distress. When an object in a dangerous situation exists, in step S510, the swimming pool safety management device 100 outputs an alarm. The pool safety management device 100 may output alarm information through a speaker, or may display the location of an object determined to be dangerous on a display device and output alarm information, or may display the object's location to a safety personnel terminal. Alarm information including location information may be output.

한편, 상기 단계 S506에서 정지 상태로 판단된 타겟 객체가 T개 미만인 경우, 수영장 안전 관리 장치(100)는, 단계 S507의 특수 상황 여부를 판단하지 않고, 단계 S508 내지 단계 S510을 진행한다. 즉, 수영장 안전 관리 장치(100)는, 각 타겟 객체의 행동을 인식하고 위험 상황의 객체가 존재하는지 확인하며, 위험 상황의 객체가 존재할 경우 알람을 출력한다.On the other hand, if the number of target objects determined to be stationary in step S506 is less than T, the swimming pool safety management device 100 proceeds to steps S508 to S510 without determining whether or not there is a special situation in step S507. That is, the swimming pool safety management device 100 recognizes the behavior of each target object, checks whether an object in a dangerous situation exists, and outputs an alarm when an object in a dangerous situation exists.

도 5를 참조한 실시예에 따르면, 수영장 내에서 가장자리 벽에 가깝게 위치한 입수자는 안전한 상황으로 판단하여 행위 인식을 하지 않는다. 가장자리 벽에서 떨어진 위치에 있는 입수자는 위험 가능성이 높다고 보지만, 아크로바틱과 같은 단체 특수 활동을 하는 경우일 수도 있으므로, 이러한 특수 상황인지 여부를 판단하여, 특수 상황이 아닌 경우에 행위 인식을 한다. 따라서, 아크로바틱과 같은 단체 특수 활동을 하는 입수자들의 행위를 인식하는 불필요한 동작을 방지하여 수영장 안전 관리의 효율성을 높일 수 있다. 한편, 미리 학습된 인공지능 신경망 모델은 학습시 객체들의 위치 위험도 F와, 한 장면에 존재하는 객체들 간의 거리의 표준편차를 가중치로 적용하여 학습함으로써, 보다 정확하게 객체들의 위험 상황을 분석할 수 있다.According to the embodiment with reference to FIG. 5 , the swimmer located close to the edge wall in the swimming pool is determined to be in a safe situation and does not recognize the action. An inmate located away from the edge wall is considered to have a high risk, but since it may be a case of group special activity such as acrobatics, it is determined whether it is such a special situation and recognizes the action in a non-special situation. Therefore, it is possible to increase the efficiency of swimming pool safety management by preventing an unnecessary operation of recognizing the behavior of swimmers performing group special activities such as acrobatics. On the other hand, the pre-learned artificial intelligence neural network model can analyze the risk situation of objects more accurately by learning by applying the standard deviation of the distance between objects in a scene and the location risk F of objects during learning as a weight. .

본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.While this specification contains many features, such features should not be construed as limiting the scope of the invention or the claims. Also, features described in separate embodiments in this specification may be implemented in combination in a single embodiment. Conversely, various features that are described in this specification in a single embodiment may be implemented in various embodiments individually or in combination as appropriate.

도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.Although actions are described in a particular order in the figures, it should not be understood that such acts are performed in the particular order as shown, or that the acts are performed in a sequential order, or that all described acts are performed to achieve a desired result. . Multitasking and parallel processing can be advantageous in certain circumstances. In addition, it should be understood that the division of various system components in the above-described embodiments does not require such division in all embodiments. The program components and systems described above may generally be implemented as a package in a single software product or multiple software products.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.The method of the present invention as described above may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily performed by a person skilled in the art to which the present invention belongs, it will not be described in detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention to those skilled in the art to which the present invention belongs, and thus the above-described embodiments and It is not limited by drawings.

100 : 수영장 안전 관리 장치
110 : 영상 수신부
120 : 객체 검출부
130 : 군집 판단부
140 : 위치 위험 판단부
150 : 정지 판단부
160 : 특수 상황 판단부
170 : 행동 인식부
180 : 알람부100: swimming pool safety management device
110: video receiver
120: object detection unit
130: cluster judgment unit
140: location risk determination unit
150: stop judgment unit
160: special situation judgment unit
170: action recognition unit
180: alarm unit

Claims

In the swimming pool safety management device,
An image receiving unit for receiving an image of a swimming pool;
an object detection unit for detecting a target object of the acquirer in the image;
a location risk determining unit that calculates a location risk based on the size of the pool and the location of the target object in the pool, and compares the location risk and a location threshold to determine the possibility of danger of the target object; and
A behavior recognition unit configured to recognize a behavior of a target object in which the location risk is greater than the location threshold and determine whether or not a dangerous situation exists;
Further comprising a cluster determination unit for determining whether the target object is clustered based on the distance between the target object and other objects,
The behavior recognition unit,
Swimming pool safety management device for recognizing the behavior of the target object in which the location risk is greater than the location threshold and does not form a cluster.

According to claim 1,
Further comprising a stop determination unit for determining whether the target object in which the position risk is greater than the position threshold is in a stationary state,
The behavior recognition unit,
Swimming pool safety management device, characterized in that for recognizing the behavior of the target object in a stationary state where the location risk is greater than the location threshold.

According to claim 2,
The stop determination unit,
Swimming pool safety management device, characterized in that for determining whether or not the stationary state based on the amount of position change per hour of the object area corresponding to the target object.

delete

According to claim 1,
The cluster determination unit,
Swimming pool safety management device, characterized in that for determining whether clustering based on the distance between the object area corresponding to the target object and the center of the object area corresponding to another object or the size of the overlapping area between the object areas.

In the swimming pool safety management device,
An image receiving unit for receiving an image of a swimming pool;
an object detection unit for detecting a target object of the acquirer in the image;
a location risk determining unit that calculates a location risk based on the size of the pool and the location of the target object in the pool, and compares the location risk and a location threshold to determine the possibility of danger of the target object; and
A behavior recognition unit configured to recognize a behavior of a target object in which the location risk is greater than the location threshold and determine whether or not a dangerous situation exists;
The behavior recognition unit,
Recognize actions using a pre-learned artificial intelligence neural network model,
The pre-learned artificial intelligence neural network model,
During learning, the swimming pool safety management device, characterized in that the position risk of the acquirer object constituting the learning data is applied as a weight to the loss function.

In the swimming pool safety management device,
An image receiving unit for receiving an image of a swimming pool;
an object detection unit for detecting a target object of the acquirer in the image;
a location risk determining unit that calculates a location risk based on the size of the pool and the location of the target object in the pool, and compares the location risk and a location threshold to determine the possibility of danger of the target object;
a behavior recognition unit that recognizes a behavior of a target object whose location risk is greater than the location threshold and determines whether or not a dangerous situation exists; and
A special situation determination unit for determining whether there is a special situation by comparing a standard deviation and a deviation threshold of minimum distances connecting between a predetermined number or more target objects, each of which has a location risk greater than the location threshold,
The behavior recognition unit,
When the standard deviation of the minimum distances is greater than the deviation threshold, the swimming pool safety management device, characterized in that for recognizing the behavior of each target object of the predetermined number or more.

According to claim 7,
Further comprising a stop determination unit for determining whether the target object in which the position risk is greater than the position threshold is in a stationary state,
The behavior recognition unit,
Swimming pool safety management device, characterized in that the standard deviation of the minimum distances is greater than the deviation threshold and recognizes the behavior of each of the target objects of the predetermined number or more, each of which is in a stationary state.

According to claim 7,
The behavior recognition unit,
Recognize actions using a pre-learned artificial intelligence neural network model,
The pre-learned artificial intelligence neural network model,
During learning, the pool safety management device, characterized in that the position risk of the acquirer object constituting the learning data and the standard deviation of the minimum distances connecting between a predetermined number or more acquirer objects are applied as weights to the loss function.

In the swimming pool safety management method of the swimming pool safety management device,
Receiving an image of a swimming pool;
detecting a target object of the acquirer in the image;
calculating a location risk based on the size of the pool and a location of the target object in the pool, and comparing the location risk and a location threshold to determine the possibility of danger of the target object;
determining whether target objects are clustered based on distances between target objects and other objects; and
Swimming pool safety management method comprising the step of determining whether or not a dangerous situation by recognizing a behavior of a target object in which the location risk is greater than the location threshold and does not form a cluster.

According to claim 10,
Further comprising the step of determining whether the target object in which the location risk is greater than the location threshold is in a stationary state,
The step of determining whether the dangerous situation is,
Swimming pool safety management method, characterized in that the position risk is greater than the position threshold and recognizes the behavior of the target object in a stationary state.

According to claim 11,
The step of determining whether the stationary state is,
A swimming pool safety management method characterized in that it is determined whether or not the stationary state is based on the amount of position change per hour of the object area corresponding to the target object.

delete

According to claim 10,
In the step of determining whether the cluster is present,
Swimming pool safety management method, characterized in that determining whether to cluster based on the distance between the center of the object area corresponding to the target object and the center of the object area corresponding to another object or the size of the overlapping area between the object areas.

In the swimming pool safety management method of the swimming pool safety management device,
Receiving an image of a swimming pool;
detecting a target object of the acquirer in the image;
calculating a location risk based on the size of the pool and a location of the target object in the pool, and comparing the location risk and a location threshold to determine the possibility of danger of the target object; and
Recognizing a behavior of a target object in which the location risk is greater than the location threshold and determining whether or not there is a dangerous situation;
The step of determining whether the dangerous situation is,
Recognize actions using a pre-learned artificial intelligence neural network model,
The pre-learned artificial intelligence neural network model,
During learning, a swimming pool safety management method characterized in that the position risk of the acquirer object constituting the learning data is applied as a weight to the loss function.

In the swimming pool safety management method of the swimming pool safety management device,
Receiving an image of a swimming pool;
detecting a target object of the acquirer in the image;
calculating a location risk based on the size of the pool and a location of the target object in the pool, and comparing the location risk and a location threshold to determine the possibility of danger of the target object;
Determining whether there is a special situation by comparing a standard deviation and a deviation threshold of minimum distances connecting between target objects of a predetermined number or more, each having a location risk greater than the location threshold; and
When the standard deviation of the minimum distances is greater than the deviation threshold, recognizing the behavior of each target object of the predetermined number or more to determine whether or not a dangerous situation exists.

According to claim 16,
Further comprising the step of determining whether the target object in which the location risk is greater than the location threshold is in a stationary state,
The step of determining whether the dangerous situation is,
Swimming pool safety management method characterized in that the standard deviation of the minimum distances is greater than the deviation threshold and recognizes each behavior of each of the target objects of the predetermined number or more in a stationary state.

According to claim 16,
The step of determining whether the dangerous situation is,
Recognize actions using a pre-learned artificial intelligence neural network model,
The pre-learned artificial intelligence neural network model,
Swimming pool safety management method, characterized in that during learning, the position risk of the acquirer object constituting the learning data and the standard deviation of the minimum distances connecting between a predetermined number or more acquirer objects are applied as weights to the loss function.