KR102491521B1 - 지능형 모니터링 시스템 - Google Patents

Abstract

본 발명은 지능형 모니터링 시스템에 관한 것으로, 촬영수단; 제1 저장수단; 객체검토수단; 인덱스부여수단; 객체스켈레톤변환수단; 행동분류수단; 및 제2 저장수단; 을 포함하도록 구성되어, 사용자가 필요로 하는 특정 행동이벤트와 관련하여 보다 신속하고 정확하게 객체를 검색하여 추출 및 식별할 수 있으므로 오탐(False Positive)을 줄이고, 원하는 목적에 따라 효율적으로 모니터링을 수행할 수 있을 뿐만 아니라 일반적인 객체의 움직임데이터가 아니라 단순 스켈레톤화된 객체의 움직임데이터로 변환하여 사용하므로 전체적으로 사용되는 데이터 량을 획기적으로 줄여 안정적으로 시스템을 운용할 수 있으며, 인공지능(AI)의 경우 빠른 속도로 학습이 가능한데다가, 동영상데이터에 나타나는 객체를 단순 스켈레톤화하여 변환시키고, 변환된 객체의 움직임데이터를 활용하여 간략화된 영상으로 기본적인 모니터링을 수행하게 되므로 분석능력이 뛰어남과 동시에 개인정보와 관련된 법 규정을 준수할 수 있는 것을 특징으로 한다.

Description

지능형 모니터링 시스템{SYSTEM FOR MONITORING INTELLIGENTLY}

본 발명은 지능형 모니터링 시스템에 관한 것으로서, 더욱 상세하게는 사용자가 필요로 하는 특정 행동이벤트와 관련하여 보다 신속하고 정확하게 객체를 검색하여 추출 및 식별할 수 있으므로 오탐(False Positive)을 줄이고, 원하는 목적에 따라 효율적으로 모니터링을 수행할 수 있을 뿐만 아니라 일반적인 객체의 움직임데이터가 아니라 단순 스켈레톤화된 객체의 움직임데이터로 변환하여 사용하므로 전체적으로 사용되는 데이터 량을 획기적으로 줄여 안정적으로 시스템을 운용할 수 있으며, 인공지능(AI)의 경우 빠른 속도로 학습이 가능한데다가, 동영상데이터에 나타나는 객체를 단순 스켈레톤화하여 변환시키고, 변환된 객체의 움직임데이터를 활용하여 간략화된 영상으로 기본적인 모니터링을 수행하게 되므로 분석능력이 뛰어남과 동시에 개인정보와 관련된 법 규정을 준수할 수 있는 지능형 모니터링 시스템에 관한 것이다.

일반적으로 동영상보안 분야에서 CCTV(Closed-Circuit Television) 시스템 등과 같은 지능형 모니터링 시스템은 카메라에서 촬영된 동영상데이터를 소수의 특정 수신자, 예를 들어 관리자에게 전송하고, 그 전송된 동영상데이터를 통해서 관리자자 원하는 정보를 획득하도록 하며, 감시하고자 하는 지역을 관찰할 수 있도록 동영상으로 디스플레이하는 시스템을 말한다.

이러한 지능형 모니터링 시스템은 보안 감시용, 산업용, 차량의 화상감시용, 교통관리용 등 다양하고 광범위한 용도로 사용되는데 대부분 촬영장치, 예를 들어 CCTV 카메라와 함께 DVR(Digital Video Recorder) 등과 같은 저장장치, 그리고 RFID(Radio Frequency Identification) 등과 같은 각종 센서 등으로 구성된다.

그러나 전술한 지능형 모니터링 시스템은 관리자가 카메라를 통해 촬영된 동영상데이터를 디스플레이하는 모니터를 계속 주시해야하므로 장시간 주시할 경우 관리자의 집중력이 저하되고, 종종 사건이나 사고, 예를 들어 범죄나 도난, 침입 등과 같은 행동이벤트 발생시 적절하게 대처하지 못할 가능성이 있었다.

더군다나 소수의 카메라가 아닌 다수의 카메라가 지능형 모니터링 시스템에 적용, 사용되는 경우 이를 관리자가 모두 모니터링한다는 것은 거의 불가능에 가깝게 된다.

또한, 사건이나 사고 행동이벤트가 발생한 후 사후처리를 위해 많은 동영상데이터를 수동적으로 일일이 분석해야하므로 분석에 많은 시간 및 비용이 소요되는 문제점이 있었다.

상기한 여러가지 문제점을 해결하기 위해 지능형 모니터링 시스템이 점차 지능화되어왔으며 카메라로부터 입력되는 동영상데이터를 실시간으로 분석하여 움직임이 있는 객체를 감지하고 추적하는 등의 역할을 수행하는 지능형 모니터링 시스템이 나타나게 되었다.

지능형 모니터링 시스템은 카메라가 촬영한 동영상데이터에 나타나는 객체의 동작 인식에 기반하여 특정한 사건이나 사고 행동이벤트를 발생시켰는지의 여부를 판단하고, 관리자에게 실시간 정보를 제공해주며, 관련 데이터 및 행동이벤트 정보를 저장함으로써 사건이나 사고 행동이벤트의 실시간 탐지, 용의자 색출 및 추적 등 사후 관리 및 예방을 수행할 수 있도록 하게 된다.

하지만, 이러한 지능형 모니터링 시스템에 필수적으로 사용되는 촬영장치, 예를 들어 카메라의 경우 시장의 요구에 따라 시간이 지날수록 점차 해상도가 높아지고 있다.

즉, 지능형 모니터링 시스템의 운용시 동영상데이터의 양이 기하급수적으로 커지고 있고, 이를 저장하는 저장장치나 사건이나 사고 행동이벤트를 관리, 분석하기 위한 서버 등의 장치 또한 비대해질 수밖에 없으며, 이로 인한 유지 관리 비용이 막대하게 발생할 수밖에 없는 문제점이 발생하게 된다.

한편, 개인정보 보호에 관해 규정한 일반법인 '개인정보 보호법'이 시행되면서, 카메라를 통해 촬영된 동영상데이터가 공유되는 과정에서 특정한 사람의 모습이 그대로 노출된 상태로 제공될 경우 개인정보를 침해하게 된다.

이와 같은 개인정보 침해를 방지하기 위해서는 개인정보가 보호된 동영상데이터만 공유 또는 재생해야 하고, 지능형 모니터링 시스템 등에서 감시 카메라의 운용시 감시 카메라의 용도, 촬영 범위 등에 대한 동작 범위를 개인정보의 침해가 이루어지지 않는 범위 내에서만 운용해야 한다.

따라서, 개인정보와 관련한 법 규정을 준수하면서 기존 지능형 모니터링 시스템 자체의 문제점을 해결할 수 있는 기술이 필요한 시점이라고 할 수 있다.

대한민국 특허등록 제10-2183473호 대한민국 특허등록 제10-1626546호

따라서, 본 발명의 목적은 이와 같은 종래의 문제점을 해결하기 위한 것으로서 사용자가 필요로 하는 특정 행동이벤트와 관련하여 보다 신속하고 정확하게 객체를 검색하여 추출 및 식별할 수 있으므로 오탐(False Positive)을 줄이고, 원하는 목적에 따라 효율적으로 모니터링을 수행할 수 있는 지능형 모니터링 시스템을 제공함에 있다.

또, 일반적인 객체의 움직임데이터가 아니라 단순 스켈레톤화된 객체의 움직임데이터로 변환하여 사용하므로 전체적으로 사용되는 데이터 량을 획기적으로 줄여 안정적으로 시스템을 운용할 수 있으며, 인공지능(AI)의 경우 빠른 속도로 학습이 가능한 지능형 모니터링 시스템을 제공함에 있다.

또한, 동영상데이터에 나타나는 객체를 단순 스켈레톤화하여 변환시키고, 변환된 객체의 움직임데이터를 활용하여 간략화된 영상으로 기본적인 모니터링을 수행하게 되므로 분석능력이 뛰어남과 동시에 개인정보와 관련된 법 규정을 준수할 수 있는 지능형 모니터링 시스템을 제공함에 있다.

상기 목적은, 본 발명에 따라, 지능형 모니터링 시스템에 있어서, 촬영수단; 촬영수단을 통해 촬영된 동영상데이터가 저장되는 제1 저장수단; 동영상데이터에 기설정된 객체가 포함되어 있는지의 여부를 검토하는 객체검토수단; 기설정된 객체가 포함되어 있는 경우 동영상데이터에 인덱스를 부여하는 인덱스부여수단; 인덱스가 부여된 동영상데이터에 포함되어 있는 기설정된 객체를 단순 스켈레톤화되도록 하여 단순 스켈레톤화된 객체의 움직임데이터를 생성하는 객체스켈레톤변환수단; 단순 스켈레톤화된 객체의 움직임데이터를 수집하여 행동이벤트별로 분류하고, 행동이벤트별 분류로그를 생성하는 행동분류수단; 및 행동분류수단을 통해 행동이벤트별로 분류된 단순 스켈레톤화된 객체의 움직임데이터가 저장되는 제2 저장수단; 을 포함하는 지능형 모니터링 시스템에 의해 달성된다.

여기서, 행동이벤트별 분류로그에 따른 특정 행동이벤트의 검색 요청이 가능한 이벤트검색요청수단; 및 이벤트검색요청수단의 검색 요청에 따라 제2 저장수단으로부터 특정 행동이벤트와 관련된 단순 스켈레톤화된 객체의 움직임데이터를 검색하여 이벤트검색요청수단에 제공하는 제1 제공수단; 을 더 포함하는 것이 바람직하다.

여기서, 특정 행동이벤트와 관련된 단순 스켈레톤화된 객체의 움직임데이터가 포함되는 동영상데이터 검색 요청이 가능한 동영상검색요청수단; 및 동영상검색요청수단의 검색 요청에 따라 단순 스켈레톤화된 객체의 움직임데이터에 대응되는 인덱스를 참조하여 제1 저장수단으로부터 동영상데이터를 검색하여 동영상검색요청수단에 제공하는 제2 제공수단; 을 더 포함하는 것이 바람직하다.

여기서, 객체검토수단은, 제1 저장수단에 저장되는 동영상데이터의 크기를 설정된 시간마다 검출하는 검출부; 검출부를 통해 검출되는 시간별 동영상데이터의 크기를 특정한 기간동안 적산하여 동영상데이터의 평균 크기를 산출하는 산출부; 및 산출부를 통해 산출된 동영상데이터의 평균 크기와 검출부를 통해 검출되는 시간별 동영상데이터의 크기를 비교하여 설정된 크기 이상의 오차가 발생하는 경우 동영상데이터에 기설정된 객체가 포함되어 있는 것으로 판단하는 판단부; 를 포함하는 것이 바람직하다.

여기서, 촬영수단은, 촬영범위 내의 행동이벤트 발생을 검출하는 이벤트발생검출부를 포함하고, 객체검토수단은, 이벤트발생검출부로부터 행동이벤트 발생신호를 전달받는 경우 동영상데이터에 기설정된 객체가 포함되어 있는지의 여부를 검토하는 것이 바람직하다.

본 발명에 따르면, 사용자가 필요로 하는 특정 행동이벤트와 관련하여 보다 신속하고 정확하게 객체를 검색하여 추출 및 식별할 수 있으므로 오탐(False Positive)을 줄이고, 원하는 목적에 따라 효율적으로 모니터링을 수행할 수 있는 지능형 모니터링 시스템이 제공된다.

또, 일반적인 객체의 움직임데이터가 아니라 단순 스켈레톤화된 객체의 움직임데이터로 변환하여 사용하므로 전체적으로 사용되는 데이터 량을 획기적으로 줄여 안정적으로 시스템을 운용할 수 있으며, 인공지능(AI)의 경우 빠른 속도로 학습이 가능하다.

또한, 동영상데이터에 나타나는 객체를 단순 스켈레톤화하여 변환시키고, 변환된 객체의 움직임데이터를 활용하여 간략화된 영상으로 기본적인 모니터링을 수행하게 되므로 분석능력이 뛰어남과 동시에 개인정보와 관련된 법 규정을 준수할 수 있다.

도 1은 본 발명의 제1 실시예에 따른 지능형 모니터링 시스템의 개략적인 구성을 나타낸 구성도,
도 2는 본 발명의 제2 실시예에 따른 지능형 모니터링 시스템의 개략적인 구성을 나타낸 구성도,
도 3은 본 발명의 제3 실시예에 따른 지능형 모니터링 시스템의 개략적인 구성을 나타낸 구성도,
도 4는 본 발명의 제4 실시예에 따른 지능형 모니터링 시스템의 개략적인 구성을 나타낸 구성도,
도 5는 본 발명의 제5 실시예에 따른 지능형 모니터링 시스템의 개략적인 구성을 나타낸 구성도,
도 6은 본 발명의 제1 실시예에 따른 지능형 모니터링 시스템을 운용하기 전 셋팅하는 상태를 나타낸 흐름도,
도 7은 본 발명의 제2 실시예에 따른 지능형 모니터링 시스템의 운용 상태를 나타낸 흐름도,
도 8은 본 발명의 제3 실시예에 따른 지능형 모니터링 시스템의 운용 상태를 나타낸 흐름도이다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

이하의 실시예에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...수단", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

본 명세서에서 "시스템"은 하나 이상의 하드웨어, 소프트웨어, 하드웨어의 조합 및 소프트웨어 또는 펌웨어 구성요소를 포함할 수 있으며, 전자 컴퓨팅 장치 또는 장치들 또는 이들의 하나 이상의 서브 시스템들을 지칭하는데 사용될 수 있다.

이하, 첨부한 도면을 참조하여 본 발명에 따른 지능형 모니터링 시스템에 대하여 상세하게 설명한다.

도 1은 본 발명의 제1 실시예에 따른 지능형 모니터링 시스템의 개략적인 구성을 나타낸 구성도이다.

도 1을 참조하면, 본 발명의 제1 실시예에 따른 지능형 모니터링 시스템(100)은 크게 촬영수단(10), 제1 저장수단(20), 객체검토수단(30), 인덱스부여수단(40), 객체스켈레톤변환수단(50), 행동분류수단(60) 및 제2 저장수단(70)을 포함하여 구성된다.

촬영수단(10)은 지능형 모니터링 시스템(100)을 구축하는데 필수적으로 사용되는 구성요소로써, 카메라가 사용될 수 있다. 이러한 카메라로는 유선 또는 무선으로 인터넷에 연결이 되어 있어 PC(Personal Computer)나 모바일, 스마트폰 등의 기기로 즉시 동영상을 송출할 수 있는 네트워크 카메라(IP 카메라)를 이용할 수 있으며, 본 발명에서 지칭하는 동영상데이터는 촬영수단(10)이 촬영범위 내를 촬영하여 생성되는 데이터를 의미한다.

제1 저장수단(20)은 촬영수단(10)을 통해 촬영된 동영상데이터가 저장되는 구성요소이다. 제1 저장수단(20)으로는 디지털 녹화기, 예를 들어 디지털 비디오 레코더(DVR; Digital Video Recorder)나 네트워크 비디오 레코더(NVR; Network Video Recorder), 팬타브리드 레코더(Penta Bride Recorder), 모바일 비디오 레코더( Mobile Video Recorder), UTP 디지털 비디오 레코더(UTP Digital Video Recorder) 등이 사용될 수 있다.

객체검토수단(30)은 동영상데이터에 기설정된 객체가 포함되어 있는지의 여부를 검토하는 구성요소이다. 이때, 기설정되는 객체로는 본 발명에 따른 지능형 모니터링 시스템(100)이 설치되어 사용되는 환경에 따라 다양하게 설정이 가능한데, 예를 들어 사람이나 동물, 차량이나 이외에 사용자 지정 객체 등으로 설정할 수 있다. 여기서, 객체검토수단(30)은 촬영수단(10)을 통해 촬영된 동영상데이터를 실시간으로 수신받아 기설정된 객체의 포함 여부를 검토할 수도 있고, 시스템 자원이 충분하거나 부족하지 않을 경우에만 제1 저장수단(20)에 저장되어 있는 동영상데이터를 순차적으로 또는 일정 구간을 나누어 랜덤식으로 전송받아 기설정된 객체의 포함 여부를 검토할 수도 있다.

인덱스부여수단(40)은 동영상데이터에 기설정된 객체가 포함되어 있는 경우 하기의 본 발명의 제3 실시예에서 서술하는 것과 같이 실제 동영상데이터와의 대조를 위하여 인덱스(Index), 예를 들어 색인이나 식별부호를 부여하는 구성요소이다.

객체스켈레톤변환수단(50)은 인덱스가 부여된 동영상데이터에 포함되어 있는 기설정된 객체를 단순 스켈레톤화되도록 하여 단순 스켈레톤화된 객체의 움직임데이터를 생성하는 구성요소이다. 즉, 촬영수단(10)에 의해 촬영된 동영상데이터에서 나타나는 일반적인 사람의 모습을 객체라고 할 때, 객체스켈레톤변환수단(50)은 일반적인 사람의 모습이 아닌 인체의 단순골격 형태로 표현되도록 하게 된다. 이때, 객체를 단순 스켈레톤화되도록 변환하기 위해 C, C++, 파이썬(Python), 매트랩(MATLAB)과 같은 프로그래밍 언어 인터페이스를 제공하고, 윈도우즈(Windows), 리눅스(Linux), 안드로이드(Android), 맥(Mac) OS 등 다양한 운영체제를 지원하며 범용적으로 사용되는 컴퓨터 비전 관련 오픈 소스 라이브러리 중 하나인 OpenCV(Open Source Computer Vision)를 사용할 수 있다.

행동분류수단(60)은 단순 스켈레톤화된 객체의 움직임데이터를 수집하여 행동이벤트별로 분류하고, 행동이벤트별 분류로그를 생성하는 구성요소이다.

제2 저장수단(70)은 행동분류수단(60)을 통해 행동이벤트별로 분류된 움직임데이터, 즉 단순 스켈레톤화된 객체의 움직임데이터가 저장되는 구성요소이다. 이러한 제2 저장수단(70)은 전술한 제1 저장수단(20)과는 별도로 존재할 수도 있고, 하나의 저장장치에 2개의 공간을 구비하도록 하여 각각의 공간에 제1 및 제2 저장수단(70)이 배치되도록 구성될 수도 있다. 제2 저장수단(70)이 제1 저장수단(20)과는 별도로 존재하도록 구성하는 경우 제1 저장수단(20)과 동일한 디지털 녹화기를 사용하거나 서로 다른 디지털 녹화기를 사용할 수도 있다. 한편, 여기에서는 제2 저장수단(70)에 단순 스켈레톤화된 객체의 움직임데이터가 저장되는 것으로 설명하였으나 본 발명에 따른 지능형 모니터링 시스템(100)이 설치, 사용되는 환경에 따라 행동이벤트별 분류로그나 인덱스부여수단(40)에 의해 부여되는 인덱스 관련 데이터가 함께 저장될 수도 있다.

도 2는 본 발명의 제2 실시예에 따른 지능형 모니터링 시스템의 개략적인 구성을 나타낸 구성도이다.

도 2에 나타나는 것과 같이, 본 발명의 제2 실시예에 따른 지능형 모니터링 시스템(100)은 전술한 제1 실시예와 거의 유사하나, 특정 행동이벤트의 검색 요청과 함께 이와 관련된 단순 스켈레톤화된 객체의 움직임데이터를 제공받도록 하는 구성요소가 더 포함되어 구성된다는 점에서 차이가 있다.

이벤트검색요청수단(80)은 행동이벤트별 분류로그에 따른 특정 행동이벤트의 검색 요청이 가능한 구성요소이다. 행동이벤트는 본 발명에 따른 지능형 모니터링 시스템(100)이 설치되어 사용되는 환경에 따라 범죄나 도난, 침입, 화재발생 등이나 기타 사용자 지정 행동이벤트를 설정하여 사용할 수 있다.

제1 제공수단(85)은 이벤트검색요청수단(80)의 검색 요청에 따라 제2 저장수단(70)으로부터 특정 행동이벤트와 관련된 단순 스켈레톤화된 객체의 움직임데이터를 검색하여 이벤트검색요청수단(80)에 제공하는 구성요소이다.

도 3은 본 발명의 제3 실시예에 따른 지능형 모니터링 시스템의 개략적인 구성을 나타낸 구성도이다.

도 3을 살펴보면, 본 발명의 제3 실시예에 따른 지능형 모니터링 시스템(100)은 전술한 제2 실시예와 유사하나, 제2 실시예에서 개인정보와 관련된 법 규정을 준수하기 위해 단순 스켈레톤화된 객체의 움직임데이터를 제공받아 모니터링을 수행하는 것에 더하여 범죄 등의 행동이벤트 발생에 따라 실제 범죄용의자의 얼굴 확인이 수행되어야 하는 등의 경우 필요한 구성요소가 더 포함되어 구성된다는 점에서 서로 구분된다.

동영상검색요청수단(90)은 특정 행동이벤트와 관련된 단순 스켈레톤화된 객체의 움직임데이터가 포함되는 동영상데이터의 검색 요청이 가능한 구성요소이다.

제2 제공수단(95)은 동영상검색요청수단(90)의 검색 요청에 따라 단순 스켈레톤화된 객체의 움직임데이터에 대응되는 인덱스를 참조하여 제1 저장수단(20)으로부터 동영상데이터를 검색하여 동영상검색요청수단(90)에 제공하는 구성요소이다.

도 4는 본 발명의 제4 실시예에 따른 지능형 모니터링 시스템의 개략적인 구성을 나타낸 구성도이다.

도 4를 참조하면 제4 실시예는 객체검토수단(30)이 동영상데이터에 기설정된 객체가 포함되어 있는지의 여부를 검토하기 위해 필요한 구성의 예를 나타낸 것이다.

즉, 본 발명의 제4 실시예에서 사용되는 객체검토수단(30)은 크게 검출부(32)와 산출부(34) 및 판단부(36)를 포함하여 이루어진다.

검출부(32)는 제1 저장수단(20)에 저장되는 동영상데이터의 크기를 설정된 시간마다 검출하게 된다.

산출부(34)는 검출부(32)를 통해 검출되는 시간별 동영상데이터의 크기를 특정한 기간동안 적산하여 제1 저장수단(20)에 저장되는 동영상데이터의 평균 크기를 산출한다.

판단부(36)는 산출부(34)를 통해 산출된 동영상데이터의 평균 크기와 검출부(32)를 통해 검출되는 시간별 동영상데이터의 크기를 비교하여 오차, 즉 설정된 크기 이상의 오차 발생 여부에 따라 동영상데이터에 기설정된 객체의 포함 여부를 판단한다. 다시 말해서, 동영상데이터의 평균 크기와 시간별 동영상데이터의 크기를 비교했을 때 설정된 크기 미만의 오차 발생시 기설정된 객체가 동영상데이터에 포함되지 않았다고 판단하고, 반대로 설정된 크기 이상의 오차 발생시 기설정된 객체가 동영상데이터에 포함되어 있다고 판단하는 것이다.

도 5는 본 발명의 제5 실시예에 따른 지능형 모니터링 시스템의 개략적인 구성을 나타낸 구성도이다. 전술한 제4 실시예에서는 객체검토수단(30)의 구성을 통해 동영상데이터에 기설정된 객체가 포함되어 있는지의 여부를 검토하게 되나, 제5 실시예에서는 객체검토수단(30)이 아닌 별도의 구성을 통해 동영상데이터에 기설정된 객체가 포함되어 있는지의 여부를 체크하는 구성이 가능하다는 것을 설명하는 것이다.

즉, 도 5에 나타나는 것과 같이 제5 실시예의 경우 촬영수단(10)에 촬영범위 내의 행동이벤트 발생, 예를 들어 도난이나 침입과 같은 행동이벤트 발생시 이를 검출하는 이벤트발생검출부(12)가 더 포함되도록 구성된다.

따라서, 이벤트발생검출부(12)를 통해 행동이벤트 발생이 검출되는지의 여부에 따라 객체검토수단(30)은 동영상데이터에 기설정된 객체가 포함되어 있는지의 여부를 검토, 판단하게 되는 것이다.

다시 말해서, 이벤트발생검출부(12)를 통해 행동이벤트 발생이 검출되면, 객체검토수단(30)은 동영상데이터에 기설정된 객체가 포함되어 있는 것으로 검토 및 판단하는 것이다.

물론, 여기에서는 이벤트발생검출부(12)를 활용하여 행동이벤트가 발생했는지 검출 여부에 따라 객체검토수단(30)은 별다른 동작없이 동영상데이터에 기설정된 객체가 포함되어 있는지의 여부를 검토, 판단하는 것으로 기재하였으나, 이벤트발생검출부(12)의 존재여부와는 상관없이 제4 실시예에서처럼 객체검토수단(30)은 그 자체적으로 동영상데이터에 기설정된 객체가 포함되어 있는지의 여부를 검토하도록 구성될 수도 있다.

지금부터는 본 발명에 따른 지능형 모니터링 시스템의 운용시 흐름을 상세히 설명한다.

도 6 내지 도 8은 본 발명의 제1 내지 제3 실시예에 따른 지능형 모니터링 시스템의 운용시 흐름을 설명하는 것이다. 이때, 본 발명의 제4 및 제5 실시예에 따른 지능형 모니터링 시스템에 대한 내용은 제1 내지 제3 실시예에 대한 설명을 통해 이해될 수 있을 것으로 판단되므로 여기에서는 제4 및 제5 실시예에 대한 설명은 생략한다.

도 6은 본 발명의 제1 실시예에 따른 지능형 모니터링 시스템을 운용하기 전 셋팅하는 상태를 나타낸 흐름도이다.

도 6에 도시된 흐름도에 나타나는 바와 같이 먼저, 촬영수단(10)이 촬영범위 내에서 동영상데이터를 촬영하여 제1 저장수단(20)에 저장(S10)하게 된다.

그리고 동영상데이터, 즉 실시간으로 촬영되고 있는 동영상데이터 또는 제1 저장수단(20)에 저장된 동영상데이터에 기설정된 객체가 포함되어 있는지의 여부를 객체검토수단(30)을 통해 검토(S20)한다.

검토 결과, 동영상데이터에 기설정된 객체가 포함되어 있는 경우에는 동영상데이터에 인덱스부여수단(40)을 이용하여 인덱스를 부여(S30)한다.

다음, 인덱스가 부여된 동영상데이터에 포함되어 있는 기설정된 객체를 객체스켈레톤변환수단(50)을 통해 단순 스켈레톤화되도록 하여 단순 스켈레톤화된 객체의 움직임데이터를 생성(S40)한다.

이후 단순 스켈레톤화된 객체의 움직임데이터를 수집하여 행동분류수단(60)으로 하여금 행동이벤트별로 분류하고, 행동이벤트별 분류로그를 생성(S50)하게 된다.

마지막으로, 행동이벤트별로 분류된 단순 스켈레톤화된 객체의 움직임데이터를 제2 저장수단(70)에 저장(S60)한다.

한편, 본 발명에서는 동영상데이터에 포함되어 있는 기설정된 객체를 단순 스켈레톤화되도록 하여 단순 스켈레톤화된 객체의 움직임데이터를 생성하는데 있어서 OpenCV(Open Source Computer Vision)를 사용할 수 있다.

아래의 그림 1 및 그림 2는 OpenCV를 이용하여 객체를 단순 스켈레톤화하는 일 예를 나타낸 것으로, 그림 1은 OpenCV를 이용하여 객체인 사람을 단순 스켈레톤화하는 과정에서 포인트를 생성하는 상태를 나타낸 것이며, 그림 2는 그림 1에서 생성된 포인트를 선으로 이어서 스켈레톤화되기 직전의 상태가 나타나있다.

<그림 1> <그림 2>

결국 그림 2에서 객체인 사람을 삭제하고 포인트와 선을 남기게 되면 단순 스켈레톤화된 객체만 남게 되고, 이렇게 단순 스켈레톤화된 객체의 움직임을 통해 움직임데이터를 생성하게 된다.

상기한 바와 같이 OpenCV를 이용하여 객체를 단순 스켈레톤화하는 일 예에 대한 내용은 인터넷에 많은 자료들이 공개되어 있다.

상기 OpenCV 내용에 대한 출처는 아래와 같다.

- 아 래 -

01. "딥러닝 기반 포즈 인식(skeleton 탐지)", <https://wiserloner.tistory.com/1103>

02. Vikas Gupta, "Deep Learning based Human Pose Estimation using OpenCV", 2018.05.29, <https://learnopencv.com/deep-learning-based-human-pose-estimation-using-opencv-cpp-python/>

03. "[OpenPose] Python OpenPose 시작하기", 2019.05.07, <https://blog.naver.com/rhrkdfus/221531159811>

도 7은 본 발명의 제2 실시예에 따른 지능형 모니터링 시스템의 운용 상태를 나타낸 흐름도이다.

도 7을 살펴보면, 우선 이벤트검색요청수단(80)을 통해 행동이벤트별 분류로그에 따른 특정 행동이벤트의 검색을 요청(S110)한다.

다음, 제1 제공수단(85)은 제2 저장수단(70)으로부터 특정 행동이벤트와 관련된 단순 스켈레톤화된 객체의 움직임데이터를 검색하여 이벤트검색요청수단(80)에 제공(S120)하게 되며, 이벤트검색요청수단(80)에 제공된 특정 행동이벤트와 관련된 단순 스켈레톤화된 객체의 움직임데이터는 통상적으로 사용되는 모니터 등을 통해 디스플레이할 수 있다.

이처럼 사용자가 범죄나 도난, 침입, 화재발생 등과 같은 특정 행동이벤트 발생을 모니터링할 때 모니터링하는 대상이 촬영수단(10)을 통해 촬영된 동영상데이터에 나타나는 객체가 아닌 단순 스켈레톤화된 객체가 대상이 된다.

즉, 사람을 객체로 기설정했을 때 실제 사람이 행동함에 따라 나타나는 데이터를 제공받아 모니터링하는 것이 아니라 동영상데이터에 나타나는 객체를 단순 스켈레톤화하여 변환시키고, 변환된 단순 스켈레톤화된 객체의 움직임데이터를 제공받아 모니터링에 활용하게 되므로 개인정보와 관련된 법 규정을 위반하지 않을 수 있는 효과를 갖는다.

게다가, 단순 스켈레톤화된 객체의 움직임데이터는 일반적인 영상이 아니라 간략화된 영상으로 필요한 정보만 담고 있으므로 뛰어난 분석능력을 보여줄 수 있게 된다.

또한, 실제적인 객체의 움직임데이터가 아니라 단순 스켈레톤화된 객체의 움직임데이터를 사용하여 시스템 전체적으로 사용되는 데이터 량을 획기적으로 줄여 안정적으로 시스템을 운용할 수 있으며, 지능형 모니터링 시스템(100)에서 필요한 인공지능(AI)의 학습이 빠른 속도로 이루어질 수 있다.

한편, 긴급하게 특정 행동이벤트를 검색해야 하는 경우 보다 신속하고 정확하게 객체를 검색하여 추출및 식별할 수 있으므로 오탐(False Positive)을 줄이고, 효율적으로 모니터링을 수행할 수 있게 된다.

도 8은 본 발명의 제3 실시예에 따른 지능형 모니터링 시스템의 운용 상태를 나타낸 흐름도이다.

도 8을 참조하면, 동영상검색요청수단(90)을 통해 특정 행동이벤트와 관련되어 단순 스켈레톤화된 객체의 움직임데이터가 포함되는 동영상데이터의 검색 요청(S210)한다.

이에, 제2 제공수단(95)은 객체, 즉 단순 스켈레톤화된 객체의 움직임데이터에 대응되는 인덱스를 참조하여 제1 저장수단(20)에 저장되어 있는 동영상데이터를 검색하여 동영상검색요청수단(90)에 제공(S220)하며, 이렇게 제공된 동영상데이터는 모니터 등을 통해 디스플레이할 수 있다.

도 8에서 나타나는 내용은 전술한 도 7에서 단순 스켈레톤화된 객체의 움직임데이터를 통한 모니터링 수행 후 특정 행동이벤트, 예를 들어 범죄나 도난, 침입 등과 같은 상황 발생시 실질적으로 범인의 얼굴을 확인해야 하는 경우라던가 실제 범인의 행동을 분석해야 하는 경우 사용된다.

즉, 동영상데이터에서 실제로 객체를 확인하게 되므로 특별한 경우에 사용되는 상황이며, 이는 경찰 등과 같은 수사기관 같은 곳에서 활용된다고 할 수 있다.

본 발명의 실시예들은 예를 들면, 데이터 서버로서, 컴퓨팅 시스템 내에서 구현될 수 있고, 상기 컴퓨팅 시스템은 백-엔드(Back-End) 컴포넌트를 포함하거나 또는 예를 들면, 어플리케이션 서버와 같은, 미들웨어(Middleware) 컴포넌트를 포함하거나 또는 예를 들면, 그래픽 사용자 인터페이스 또는 사용자가 본 명세서에 기술된 주제의 구현들과 상호작용하는 것을 통한 웹 브라우저를 가지는 클라이언트 컴퓨터와 같은, 프론트-엔드(Front-End) 컴포넌트를 포함하거나 또는 이러한 하나 이상의 벡-엔드, 미들웨어, 또는 프론트-엔드 컴포넌트들의 임의의 조합을 포함한다. 상기 시스템의 컴포넌트들은 예를 들면, 통신 네트워크와 같은, 임의의 형태 또는 디지털 데이터 통신의 매체에 의해 상호연결 될 수 있다. 통신 네트워크들의 예시들은 LAN(Local Area Network), WAN(Wide Area Network), 인터-네트워크(예를 들어, 인터넷) 및 P2P(Peer-To-Peer Networks)를 포함한다.

하나 이상의 컴퓨터들의 시스템은, 야기된 동작에서 또는 시스템으로 하여금 액션들을 수행하게 하는 시스템 상에 설치된 소프트웨어, 펌웨어, 하드웨어 또는 그들의 결합을 구비함으로써, 특정 동작들 또는 액션들을 수행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램들은, 데이터 처리 장치들에 의해 실행될 때 상기 장치들로 하여금 상기 액션들을 수행하게 하는 명령들을 포함함으로써, 특정 동작들 또는 액션들을 수행하도록 구성될 수 있다.

이와 같은 본 발명의 권리범위는 상술한 실시예에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시예로 구현될 수 있다. 특히, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위 내에 있는 것으로 본다.

10: 촬영수단 12: 이벤트발생검출부
20: 제1 저장수단 30: 객체검토수단
32: 검출부 34: 산출부
36: 판단부 40: 인덱스부여수단
50: 객체스켈레톤변환수단 60: 행동분류수단
70: 제2 저장수단 80: 이벤트검색요청수단
85: 제1 제공수단 90: 동영상검색요청수단
95: 제2 제공수단 100: 지능형 모니터링 시스템

Claims (5)

1. 지능형 모니터링 시스템에 있어서,
   촬영수단;
   상기 촬영수단을 통해 촬영된 동영상데이터가 저장되는 제1 저장수단;
   상기 동영상데이터에 기설정된 객체가 포함되어 있는지의 여부를 검토하는 객체검토수단;
   기설정된 상기 객체가 포함되어 있는 경우 상기 동영상데이터에 인덱스를 부여하는 인덱스부여수단;
   상기 인덱스가 부여된 상기 동영상데이터에 포함되어 있는 기설정된 상기 객체를 단순 스켈레톤화되도록 하여 단순 스켈레톤화된 객체의 움직임데이터를 생성하는 객체스켈레톤변환수단;
   단순 스켈레톤화된 상기 객체의 움직임데이터를 수집하여 행동이벤트별로 분류하고, 행동이벤트별 분류로그를 생성하는 행동분류수단; 및
   상기 행동분류수단을 통해 행동이벤트별로 분류된 단순 스켈레톤화된 상기 객체의 움직임데이터가 저장되는 제2 저장수단;을 포함하며,
   상기 객체검토수단은,
   상기 제1 저장수단에 저장되는 상기 동영상데이터의 크기를 설정된 시간마다 검출하는 검출부;
   상기 검출부를 통해 검출되는 시간별 동영상데이터의 크기를 특정한 기간동안 적산하여 상기 동영상데이터의 평균 크기를 산출하는 산출부; 및
   상기 산출부를 통해 산출된 상기 동영상데이터의 평균 크기와 상기 검출부를 통해 검출되는 시간별 동영상데이터의 크기를 비교하여 설정된 크기 이상의 오차가 발생하는 경우 상기 동영상데이터에 기설정된 객체가 포함되어 있는 것으로 판단하는 판단부;
   를 포함하는 것을 특징으로 하는 지능형 모니터링 시스템.
   
2. 제1항에 있어서,
   상기 행동이벤트별 분류로그에 따른 특정 행동이벤트의 검색 요청이 가능한 이벤트검색요청수단; 및
   상기 이벤트검색요청수단의 검색 요청에 따라 상기 제2 저장수단으로부터 상기 특정 행동이벤트와 관련된 단순 스켈레톤화된 객체의 움직임데이터를 검색하여 상기 이벤트검색요청수단에 제공하는 제1 제공수단;
   을 더 포함하는 것을 특징으로 하는 지능형 모니터링 시스템.
3. 제2항에 있어서,
   상기 특정 행동이벤트와 관련된 단순 스켈레톤화된 객체의 움직임데이터가 포함되는 동영상데이터 검색 요청이 가능한 동영상검색요청수단; 및
   상기 동영상검색요청수단의 검색 요청에 따라 단순 스켈레톤화된 상기 객체의 움직임데이터에 대응되는 인덱스를 참조하여 상기 제1 저장수단으로부터 동영상데이터를 검색하여 상기 동영상검색요청수단에 제공하는 제2 제공수단;
   을 더 포함하는 것을 특징으로 하는 지능형 모니터링 시스템.
4. 삭제
5. 제1항에 있어서,
   상기 촬영수단은,
   촬영범위 내의 행동이벤트 발생을 검출하는 이벤트발생검출부를 포함하고,
   상기 객체검토수단은,
   상기 이벤트발생검출부로부터 행동이벤트 발생신호를 전달받는 경우 상기 동영상데이터에 기설정된 객체가 포함되어 있는지의 여부를 검토하는 것을 특징으로 하는 지능형 모니터링 시스템.

Images