KR20180010581A

KR20180010581A - 감시 데이터 제공 시스템 및 방법

Info

Publication number: KR20180010581A
Application number: KR1020160092889A
Authority: KR
Inventors: 노승인; 임정은; 전승선
Original assignee: 한화테크윈 주식회사
Priority date: 2016-07-21
Filing date: 2016-07-21
Publication date: 2018-01-31
Also published as: KR20240014569A; US20180025231A1; CN107644194B; KR102630227B1; CN107644194A; US10282620B2

Abstract

감시 데이터 제공 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 감시 데이터 제공 시스템은, 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 판단하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습부, 상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출부 및 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력부를 포함한다.

Description

감시 데이터 제공 시스템 및 방법{Surveillance Data Providing System and Method Thereof}

본 발명은 감시 데이터 제공 시스템 및 방법에 관한 것으로, 보다 구체적으로는 감시지역에서 획득되는 영상 데이터와 음성 데이터의 시간대별 패턴을 분석, 학습하고, 학습된 결과를 고려하여 사용자에게 제공될 이벤트 목록의 우선순위를 결정하는 감시 데이터 제공 시스템 및 방법에 관한 것이다.

감시 시스템은 특정 감시 지역을 촬영하는 장치로부터 영상과 음성을 수신하고, 수신된 영상과 음성을 분석하여 이상 상황이 발생하였는지 여부를 판단한다. 그리고, 이상 상황이 발생한 경우, 사용자에게 다양한 형태의 컨텐츠를 통해 제공할 수 있다.

이때, 이상 상황이 발생한 것으로 판단하기 위한 기준은 사용자로 하여금 결정하게 하는 시스템이 대다수이며, 사용자가 설정하지 않은 기준은 이상 상황 발생 여부를 판단하는데 적용되지 못한다.

사용자의 요구에 적합한 결과를 제공한다는 측면에서는 종래의 감시 시스템의 유용함을 인정하지 않을 수 없으나, 사용자가 미처 인식하지 못하는 이상 상황이 발생하는 경우에는 종래의 감시 시스템에 제 기능을 기대하지 못하는 문제가 발생할 수 있다.

본 발명은 감시 시스템 스스로 주변의 상황을 학습하고, 학습 결과에 대응하는 이상 상황 발생의 기준을 설정할 수 있는 감시 데이터 제공 시스템 및 방법을 제공하는 것을 목적으로 한다.

본 발명의 일 실시예에 따른 감시 데이터 제공 시스템은, 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 판단하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습부, 상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출부 및 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력부를 포함한다.

또한, 상기 패턴 학습부는, 상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하는 제1 학습 모듈 및 상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출하는 제2 학습 모듈을 포함하고, 상기 제1 및 제2 학습 모듈에서 산출되는 통계 값의 시간대별 변화에 대응하는 상기 데이터 패턴을 판단할 수 있다.

또한, 상기 패턴 학습부는 상기 제1 학습 모듈 및 상기 제2 학습 모듈에서 산출되는 평균값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 상기 이벤트 모델을 생성하며, 상기 이벤트 검출부는 상기 제1 영상 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되거나, 상기 제1 음성 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되는 경우 이벤트가 발생한 것으로 판단할 수 있다.

또한, 상기 이벤트 검출부는 상기 영상 데이터와 상기 음성 데이터의 하루 동안의 데이터 변화 패턴을 고려하여 상기 제1 영상 데이터 및 상기 제1 음성 데이터로부터 이벤트를 검출할 수 있으며, 상기 이벤트 검출부는 상기 제1 영상 데이터 및 상기 제1 음성 데이터가 상기 데이터 변화 패턴에 상응하지 않는 경우 이벤트가 발생한 것으로 판단할 수 있다.

또한, 상기 패턴 학습부는 상기 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별하고, 상기 이동 경로의 시간대별 데이터 패턴을 더 고려하여 상기 이벤트 모델을 생성할 수 있다.

한편, 본 발명의 다른 실시예에 따른 감시 데이터 제공 시스템은, 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습부, 상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출부 및 상기 제1 영상 데이터 및 상기 제1 음성 데이터를 저장하는 데이터베이스를 포함하고, 상기 패턴 학습부는 사용자의 검색 요청을 수신하여 상기 이벤트 모델을 업데이트한다.

또한, 상기 이벤트 검출부에서 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력부를 더 포함하고, 상기 이벤트 출력부는 상기 사용자의 검색 요청에 대응하는 데이터를 상기 데이터베이스에서 검색하여 이벤트 목록에 추가할 수 있다.

또한, 상기 패턴 학습부는 상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하는 영상 학습 모듈 및 상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출하는 음성 학습 모듈을 포함하고, 상기 영상 학습 모듈 및 상기 음성 학습 모듈에서 산출되는 통계 값의 시간대별 변화에 대응하는 상기 데이터 패턴을 판단할 수 있다.

또한, 상기 패턴 학습부는 상기 영상 학습 모듈 및 상기 음성 학습 모듈에서 산출되는 평균값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 상기 이벤트 모델을 생성하며, 상기 이벤트 검출부는 상기 제1 영상 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되거나, 상기 제1 음성 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되는 경우 이벤트가 발생한 것으로 판단할 수 있다.

본 발명의 일 실시예에 따른 감시 데이터 제공 방법은, 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 판단하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습 단계, 상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출 단계 및 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력 단계를 포함한다.

또한, 상기 패턴 학습 단계는, 상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하는 제1 학습 단계 및 상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출하는 제2 학습 단계를 포함하고, 상기 제1 및 제2 학습 단계에서 산출되는 통계 값의 시간대별 변화에 대응하는 상기 데이터 패턴을 판단할 수 있다.

또한, 상기 패턴 학습 단계에서는 상기 제1 학습 단계 및 상기 제2 학습 단계에서 산출되는 평균값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 상기 이벤트 모델을 생성하며, 상기 이벤트 검출 단계에서는 상기 제1 영상 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되거나, 상기 제1 음성 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되는 경우 이벤트가 발생한 것으로 판단할 수 있다.

또한, 상기 이벤트 검출 단계에서는 상기 영상 데이터와 상기 음성 데이터의 하루 동안의 데이터 변화 패턴을 고려하여 상기 제1 영상 데이터 및 상기 제1 음성 데이터로부터 이벤트를 검출하되, 상기 제1 영상 데이터 및 상기 제1 음성 데이터가 상기 데이터 변화 패턴에 상응하지 않는 경우 이벤트가 발생한 것으로 판단할 수 있다.

또한, 상기 패턴 학습 단계에서는 상기 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별하고, 상기 이동 경로의 시간대별 데이터 패턴을 더 고려하여 상기 이벤트 모델을 생성할 수 있다.

또한, 사용자의 검색 요청을 수신하여 상기 이벤트 모델을 업데이트 하는 단계를 더 포함할 수 있으며, 상기 제1 영상 데이터 및 상기 제1 음성 데이터는 데이터베이스에 저장되고, 상기 이벤트 출력 단계에서는 상기 사용자의 검색 요청에 대응하는 데이터를 상기 데이터베이스에서 검색하여 이벤트 목록에 추가할 수 있다.

본 발명은 감시 시스템 스스로 주변의 상황을 학습하고, 학습 결과에 대응하는 이상 상황 발생의 기준을 설정할 수 있는 감시 데이터 제공 시스템 및 방법을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 감시 데이터 제공 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 패턴 학습부의 구성을 개략적으로 나타내는 도면이다.
도 3은 데이터 패턴 변화에 따른 이벤트 모델을 예시적으로 나타내는 도면이다.
도 4는 복수 개의 카메라를 이용하여 영상 데이터 패턴을 분석하는 구성을 개략적으로 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 감시 데이터 제공 시스템의 구성을 개략적으로 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 8은 본 발명의 또 다른 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

도 1은 본 발명의 일 실시예에 따른 감시 데이터 제공 시스템의 구성을 개략적으로 나타내는 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 감시 데이터 제공 시스템(100)은 패턴 학습부(110), 이벤트 검출부(120) 및 이벤트 출력부(130)를 포함한다. 패턴 학습부(110) 및 이벤트 검출부(120)는 감시 지역에 설치되어 있는 감시 카메라로부터 상기 감시 지역에 대한 영상과 음성을 획득할 수 있다.

도 1에는 하나의 감시 카메라가 도시되어 있으나, 본 발명이 반드시 하나의 감시 카메라로 제한되는 것은 아니며, 본 발명의 일 실시예에 따른 감시 데이터 제공 시스템(100)은 복수의 카메라에서 영상과 음성을 획득할 수 있으며, 획득된 영상과 음성에 대하여 개별적으로 동시에 처리할 수도 있다.

패턴 학습부(110)는 상기 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성한다.

상기 시간대별 데이터 패턴은 해당 감시 지역에서 획득되는 영상 데이터와 음성 데이터의 시간대에 따른 특징을 의미한다. 상기 영상 데이터의 경우 시간대에 따라 검출되는 객체의 수 및/또는 상기 영상 데이터의 평균 색상이 상기 시간대별 데이터 패턴이 될 수 있다. 그리고, 상기 음성 데이터의 경우, 시간대에 따른 소리의 크기가 데이터 패턴이 될 수 있다.

패턴 학습부(110)는 상기 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 지속적으로 수신하고, 상기 데이터 패턴을 분석하고 학습하는 과정을 통하여 상기 감시 지역에서 발생하는 상황의 일반적인 패턴을 판단할 수 있다.

예를 들어, 상기 감시 지역에서 획득되는 한 달 동안의 영상 데이터를 통해 상기 감시 지역의 오전 10시부터 오전 11시까지 검출되는 객체 수에 대한 통계 값을 분석할 수 있으며, 상기 감시 지역에서 획득되는 한 달 동안의 음성 데이터를 통해 상기 감시 지역의 오전 10시부터 오전 11시까지 발생하는 소음의 크기에 대한 통계 값을 분석할 수 있다.

패턴 학습부(110)는 상기 통계 값을 통하여 상기 감시 지역의 시간대별 객체 검출 동향 및 상기 감시 지역의 시간대별 소음 발생 동향을 판단할 수 있으며, 상기 영상 데이터와 상기 음성 데이터의 평균 값을 이용하여 상기 감시 지역에 대한 시간대별 이벤트 모델을 생성할 수 있다.

상기 이벤트 모델은 상기 감시 지역에서 획득되는 상기 영상 데이터와 상기 음성 데이터의 평균 값을 이용하여 생성될 수 있으며, 예를 들어, 상기 이벤트 모델은 오전 10시부터 한 시간 동안 상기 감시 지역에서 검출되는 객체의 수, 상기 영상 데이터의 평균 생상 및/또는 검출되는 객체의 움직임 정도에 관한 평균 값으로 이루어질 수 있다. 마찬가지로, 상기 이벤트 모델은 상기 감시 지역에서 오전 10시부터 한 시간 동안 발생한 소음 크기의 평균 값을 포함할 수 있다.

따라서, 상기 이벤트 모델은 상기 감시 지역에서 획득되는 영상 데이터와 음성 데이터의 시간대별 평균 데이터 값으로 이루어지는 것으로 이해할 수 있다.

이벤트 검출부(120)는 상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음석 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여한다.

상기 우선순위가 높을수록 이에 해당하는 이벤트는 상기 이벤트 모델에 대응하는 영상 데이터 및/또는 음성 데이터의 평균적인 통계 값을 많이 벗어나는 제1 영상 데이터 및/또는 제1 음성 데이터를 포함하는 것으로 이해할 수 있다.

상기 이벤트 모델은 시간대별로 생성될 수 있으므로 복수 개가 생성될 수 있으며, 각각의 시간대에 대응하는 상기 제1 영상 데이터와 상기 제1 음성 데이터는 상기 이벤트 모델을 구성하는 영상 데이터 패턴 및 음성 데이터 패턴과 비교된다.

비교 결과, 상기 제1 영상 데이터의 패턴이 상기 이벤트 모델을 구성하는 영상 데이터의 패턴에서 일정 기준 이상 벗어나게 되면, 상기 제1 영상 데이터는 사용자에게 제공될 이벤트를 포함하는 것으로 판단될 수 있다. 그리고, 상기 기준에서 더 많이 벗어날수록 상기 우선순위는 높아지게 된다.

이와 마찬가지로, 상기 제1 음성 데이터의 패턴이 상기 이벤트 모델을 구성하는 음성 데이터의 패턴에서 일정 기준 이상 벗어나게 되면, 상기 제1 음성 데이터는 사용자에게 제공될 이벤트를 포함하는 것으로 판단될 수 있으며, 상기 기준에서 더 많이 벗어날수록 상기 우선순위는 높아지게 된다.

이벤트 출력부(130)는 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력한다. 우선순위가 가장 높은 이벤트는 상기 목록에서 가장 첫 번째에 표시될 수 있으며, 상기 목록을 제공받는 사용자는 상기 목록에 표시되는 순서에 따라 우선적으로 확인해야 하는 이벤트를 판단할 수 있다.

한편, 상기 목록에 포함되는 이벤트는 상기 우선순위에 대응하는 순서에 따라 표시되거나, 또는 상기 우선순위에 대응하는 크기를 갖는 아이콘 또는 썸네일로 표시될 수 있다.

도 2는 본 발명의 일 실시예에 따른 패턴 학습부의 구성을 개략적으로 나타내는 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 패턴 학습부(110)는 제1 학습 모듈(111)과 제2 학습 모듈(112)을 포함한다. 제1 학습 모듈(111)은 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출한다.

도 1을 참조로 하여 설명한 바와 같이, 패턴 학습부(110)는 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습한다.

제1 학습 모듈(111)은 상기 영상 데이터의 시간대별 데이터 패턴을 학습하는 모듈에 해당하며, 상기 영상 데이터의 평균 색상의 시간대별 변화 패턴, 시간대별 검출되는 객체 수, 검출되는 객체 수의 시간대별 변화 패턴 및/또는 검출되는 객체의 움직임 정도에 대한 시간대별 변화 패턴에 관한 통계 값을 산출한다.

예를 들어, 제1 학습 모듈(111)은 감시 지역에서 오전 3시부터 10분 동안 획득된 영상 데이터의 평균 색상을 산출하거나, 상기 10분 상기 영상 데이터에서 검출되는 객체의 수를 산출할 수 있다.

또한, 오전 3시부터 획득된 상기 영상 데이터를 10분 간격으로 구분하여, 각 10분 동안의 평균 색상, 검출 객체의 수, 객체의 움직임 정도에 대한 통계 값을 산출할 수 있다.

이때, 상기 오전 3시 및 상기 10분의 시간 간격은 발명의 설명을 위한 예시에 불과할 뿐, 이로써 본 발명이 제한되는 것은 아니다. 즉, 상기 영상 데이터는 24시간 동작하는 카메라로부터 획득될 수 있으며, 제1 학습 모듈(111)은 미리 설정된 시간 간격으로 상기 영상 데이터를 구분함으로써 시간대별 영상 데이터의 패턴을 분석하고, 분석된 결과를 학습할 수 있다.

한편, 제1 학습 모듈(111)은 앞서 설명한 상기 영상 데이터의 시간대별 평균 색상 및 검출되는 객체의 수를 비롯하여 상기 영상 데이터에서 추출 가능한 다양한 종류의 데이터 특성을 학습할 수 있다.

예를 들어, 제1 학습 모듈(111)은 상기 영상 데이터에서 검출되는 객체에 각각 고유한 ID를 부여할 수 있으며, 상기 ID를 이용하여 상기 객체의 이동 경로를 검출하는 것도 가능하다.

또한, 시간대별 또는 요일별로 검출되는 객체의 ID를 분석하고, 상시로 검출되는 객체 ID의 집합을 이벤트 모델로 생성할 수 있을 것이다.

제2 학습 모듈(112)은 상기 음성 데이터의 시간대별 데이터 패턴을 학습하는 모듈에 해당하며, 상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출한다. 그리고, 이때 상기 소리의 크기는 데시벨(dB) 단위로 산출될 수 있다.

예를 들어, 제2 학습 모듈(112)은 상기 감시 지역에서 오전 3시부터 10분 동안 획득된 음성 데이터에서 소리의 크기를 판단하고, 판단한 결과를 바탕으로 상기 10분 동안 상기 감시 지역에서 발생하는 소리의 크기의 통계 값을 산출할 수 있다. 또한, 오전 3시부터 획득된 상기 영상 데이터를 10분 간격으로 구분하여, 각 10분 동안 발생한 소리의 크기를 판단할 수 있다.

이때, 상기 오전 3시 및 상기 10분의 시간 간격은 발명의 설명을 위한 예시에 불과할 뿐, 이로써 본 발명이 제한되는 것은 아니다. 즉, 상기 음성 데이터는 24시간 동작하는 카메라로부터 획득될 수 있으며, 제2 학습 모듈(112)은 미리 설정된 시간 간격으로 상기 음성 데이터를 구분함으로써 시간대별 음성 데이터의 패턴을 분석하고, 분석된 결과를 학습할 수 있다.

한편, 제2 학습 모듈(112)은 앞서 설명한 소리의 크기를 비롯하여 상기 음성 데이터로부터 검출되는 다양한 소리의 특성을 학습할 수 있다. 예를 들어, 제2 학습 모듈(112)은 상기 음성 데이터에서 검출되는 소리의 주파수 특성 및 시간대별로 검출되는 소리의 종류를 학습할 수 있다.

그리고, 학습한 정보를 이용하여 이벤트 모델을 생성할 수 있을 것이다.

한편, 패턴 학습부(110)는 제1 학습 모듈(111) 및 제2 학습 모듈(112)에서 산출되는 평균 값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 이벤트 모델을 생성할 수 있다.

상기 이벤트 모델은 상기 감시 지역에서 획득되는 상기 영상 데이터와 상기 음성 데이터의 평균 값을 이용하여 생성될 수 있으며, 예를 들어, 상기 이벤트 모델은 상기 오전 3시부터 10분 동안 상기 감시 지역에서 검출되는 객체의 수, 상기 영상 데이터의 평균 생상 및/또는 검출되는 객체의 움직임 정도에 관한 평균 값으로 이루어질 수 있다. 마찬가지로, 상기 이벤트 모델은 상기 감시 지역에서 상기 오전 3시부터 한 시간 동안 발생한 소음 크기의 평균 값을 포함할 수 있다.

예컨대, 상기 감시 지역에서 오전 3시부터 한 시간 동안 획득되는 영상 데이터에서 검출되는 객체의 수가 평균 2개이고, 상기 감시 지역에서 상기 시간대에 획득되는 음성 데이터에서 검출되는 소리의 크기가 평균 40dB인 경우, 상기 감시 지역에 대한 오전 3시부터 한 시간 동안의 이벤트 모델은 2개의 객체와 40dB로 이루어지는 것으로 이해할 수 있다. 따라서, 상기 이벤트 모델은 시간대별로 복수 개가 생성될 수 있다.

한편, 도 1을 참조로 하여 설명한 바와 같이, 이벤트 검출부(120)는 상기 이벤트 모델과, 제1 영상 데이터 및 제1 음성 데이터를 비교한다. 상기 제1 영상 데이터 및 상기 제1 음성 데이터는 상기 이벤트 모델이 생성된 이후에 상기 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 의미한다.

상기 이벤트 모델이 생성된 후에도 상기 감시 지역에 설치된 카메라로부터 지속적으로 영상 데이터와 음성 데이터가 획득되며, 상기 이벤트 모델이 생성된 이후에 발생하는 상황에 대한 이상 여부를 판단하기 위하여, 이벤트 검출부(120)는 상기 이벤트 모델과 상기 제1 영상 데이터를 비교하고, 상기 이벤트 모델과 상기 제1 음성 데이터를 비교한다.

한편, 앞서 설명한 바와 같이, 상기 이벤트 모델은 시간대별로 복수 개가 생성될 수 있으므로, 이벤트 검출부(120)는 하나의 이벤트 모델과 상기 이벤트 모델에 대응하는 시간대에 획득된 상기 제1 영상 데이터 및 상기 제1 음성 데이터를 비교함으로써 이벤트 발생 여부를 판단할 수 있다.

예를 들어, 오전 3시부터 10분 동안의 영상 데이터와 음성 데이터를 기초로 하여 생성된 이벤트 모델은 상기 이벤트 모델이 생성된 이후 시점의 오전 3시부터 10분 동안 획득된 제1 영상 데이터와 제1 음성 데이터와 비교될 수 있다.

보다 구체적으로, 이벤트 검출부(120)는 상기 이벤트 모델의 기초가 되는 영상 데이터의 데이터 패턴과 상기 제1 영상 데이터의 데이터 패턴을 비교할 수 있으며, 상기 제1 영상 데이터의 데이터 패턴이 상기 영상 데이터의 데이터 패턴을 벗어나는 경우, 이벤트가 발생한 것으로 판단할 수 있다.

예를 들어, 상기 이벤트 모델의 기초가 되는 영상 데이터의 평균 색상이 120 gray level이고, 상기 제1 영상 데이터의 gray level이 150인 경우, 이벤트 검출부(120)는 상기 감시 지역에 이벤트가 발생한 것으로 판단할 수 있다. 이때, 이벤트 검출부(120)는 실시간으로 획득되는 상기 제1 영상 데이터를 상기 이벤트 모델과 비교함으로써 상기 감시 지역에서의 이벤트 발생 여부를 실시간으로 판단할 수 있다.

또한, 상기 이벤트 모델의 기초가 되는 음성 데이터의 평균 소리의 크기가 40dB이고, 상기 제1 음성 데이터의 평균 소리의 크기가 60dB인 경우, 이벤트 검출부(120)는 상기 감시 지역에 이벤트가 발생한 것으로 판단할 수 있다. 이때, 이벤트 검출부(120)는 실시간으로 획득되는 상기 제1 음성 데이터를 상기 이벤트 모델과 비교함으로써, 상기 감시 지역에서의 이벤트 발생 여부를 실시간으로 판단할 수 있다.

앞선 예시에서는 상기 제1 영상 데이터와 상기 제1 음성 데이터에서 검출되는 데이터 패턴이 상기 이벤트 모델 생성의 기초가 되는 영상 데이터와 음성 데이터의 통계 값을 초과하는 경우를 설명하였으나, 본 발명이 반드시 이러한 경우로 제한되는 것은 아니며, 상기 제1 영상 데이터와 상기 제1 음성 데이터에서 검출되는 데이터 패턴이 상기 이벤트 모델 생성의 기초가 되는 영상 데이터와 음성 데이터의 통계 값 미만인 경우에도 해당 감시 지역에 이벤트가 발생한 것으로 판단할 수 있다.

도 3은 데이터 패턴 변화에 따른 이벤트 모델을 예시적으로 나타내는 도면이다.

도 3(a)는 감시 지역에서 획득되는 영상 데이터에서 검출되는 객체의 수를 나타내며, 도 3(b)는 상기 감시 지역에서 획득되는 음성 데이터의 크기를 나타낸다. 도 3에 도시되는 그래프는 발명의 설명을 위한 예에 불과하므로, 상기 그래프에 의하여 본 발명이 제한되는 것은 아니다.

도 3(a) 및 도 3(b)의 그래프에서 가로축은 시간을 의미하며 자정부터 24시간 동안의 데이터 변화를 나타낸다. 또한, 상기 그래프들은 특정한 요일 또는 날짜에 대응하지 않으며, 도 3(a)의 그래프와 도 3(b)의 그래프는 서로 다른 날에 획득된 데이터를 의미할 수 있다.

한편, 상기 그래프들은 상기 감시 지역에서 일주일 동안 획득된 영상 데이터와 음성 데이터의 평균적인 데이터 변화 패턴을 의미할 수 있다. 따라서, 상기 감시 지역에서 상기 데이터 변화 패턴에 상응하지 않는 영상 데이터 또는 음성 데이터가 검출되는 경우, 상응하지 않는 시점에서 이벤트가 발생한 것으로 판단될 수 있다.

상기 데이터 변화 패턴을 획득하기 위한 시간은 이벤트 발생을 판단하기 위하여 충분한 시간이 되어야 하며, 앞서 설명한 바와 같이 일주일이 될 수 있으며, 1개월 또는 3개월이 될 수도 있다.

먼저 도 3(a)를 참조하면, 상기 감시 지역에서 검출되는 객체의 수는 자정부터 점차 증가하다가 오후 3시경에 가장 큰 값을 갖는다. 그리고, 도 3(b)를 참조하면, 상기 감시 지역에서의 발생하는 소리의 크기 변화 패턴을 확인할 수 있다.

도 3(a)와 도 3(b)의 그래프는 각각 독립적으로 이벤트 모델이 될 수 있다. 도 1 및 도 2를 참조로 하여 설명한 이벤트 검출부(120)는 도 3(a) 및 도 3(b)에 도시되는 그래프를 이벤트 모델로 하여, 상기 제1 영상 데이터 및 상기 제1 음성 데이터를 상기 이벤트 모델과 비교하고, 이벤트 발생 여부를 판단할 수 있다.

본 발명에 따른 감시 데이터 제공 시스템(100)은 시간대별 데이터 패턴을 고려하여 이벤트 발생 여부를 판단하고, 그 우선순위에 대응하여 이벤트 목록을 제공하는 것을 목적으로 한다.

시간대별 데이터 패턴을 분석함에 있어서, 시간을 최대한 작은 단위로 분할하여 각각의 단위 시간에 대한 이벤트 모델을 생성할 수 있지만, 개별 시간대에 대응하는 각각의 이벤트 모델은 인접하는 시간대에 대응하는 이벤트 모델과 연속성을 갖지 않을 수 있다.

반면, 상기 제1 영상 데이터와 상기 제1 음성 데이터는 연속적인 시간의 흐름에 따라 데이터 패턴이 변화할 수 있으며, 이러한 점을 고려하기 위해서는 상기 이벤트 모델 또한 연속적인 흐름을 갖는 데이터 패턴을 포함하도록 생성되는 것이 바람직하다.

상기 이벤트 모델을 도 3에 도시되는 바와 같은 그래프의 형태로 생성하고, 상기 제1 영상 데이터 및 상기 제1 음성 데이터의 데이터 변화 패턴 또한 상기 그래프의 형태로 생성함으로써, 전체적인 데이터의 변화 패턴을 비교하고, 상기 이벤트 모델의 데이터 변화 패턴에 상응하지 않는 지점이 검출되면, 해당 지점에서 이벤트가 발생한 것으로 판단할 수 있다.

이때, 상기 데이터 변화 패턴에 상응하는 여부는, 상기 이벤트 모델의 그래프와 상기 제1 영상 데이터 또는 상기 제1 음성 데이터가 정확히 일치하는 것을 의미하지 않는다.

따라서, 미리 정해진 오차 범위를 기준으로 하여, 상기 오차 범위를 벗어나는 데이터가 검출되는 지점에서 이벤트가 발생한 것으로 판단할 수 있다. 또한, 상기 오차 범위를 벗어나는 정도를 기준으로 해당 이벤트에 우선 순위를 부여할 수 있을 것이다.

도 4는 복수 개의 카메라를 이용하여 영상 데이터 패턴을 분석하는 구성을 개략적으로 나타내는 도면이다.

도 1을 참조로 하여 설명한 바와 같이, 본 발명의 일 실시예에 따른 감시 데이터 제공 시스템(100)은 복수의 카메라에서 영상과 음성을 획득할 수 있으며, 획득된 영상과 음성에 대하여 개별적으로 동시에 처리할 수도 있다.

이때, 패턴 학습부(110)는 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별할 수 있으며, 상기 이동 경로의 시간대별 데이터 패턴을 고려하여 이벤트 모델을 생성할 수 있다.

도 4에 도시되는 복수 개의 카메라는 상기 감시 지역 중 각각 다른 지점을 촬영하며, 각각의 카메라가 촬영하는 영상은 서로 중첩(overlap)되지 않는 것으로 이해할 수 있다.

패턴 학습부(110)는 상기 각각의 카메라로부터 영상 데이터를 획득하고, 각각의 영상 데이터에서 객체를 검출할 수 있다. 이때, 동일한 객체가 복수의 영상 데이터에서 검출되는 경우, 패턴 학습부(110)는 상기 객체의 이동 경로를 추적할 수 있다.

예를 들어, 제1 객체가 제1 영상 데이터 내지 제3 영상 데이터에서 모두 검출되는 경우, 상기 제1 객체는 시간 간격을 두고 상기 제1 내지 제3 영상 데이터에서 검출될 수 있다.

예를 들어, 패턴 학습부(110)는 상기 제1 객체의 이동 경로를 분석하여, 상기 제1 객체가 상기 제1 영상 데이터를 획득하는 제1 카메라의 촬영 지점에서, 상기 제2 영상 데이터를 획득하는 제2 카메라의 촬영 지점으로 이동하고, 상기 제3 영상 데이터를 획득하는 제3 카메라의 촬영 지점으로 순차적으로 이동하는 것을 판단할 수 있다.

이때, 상기 이동 경로는 상기 감시 지역에서의 상기 제1 객체의 평균적인(일반적인) 이동 경로로 이해할 수 있다. 패턴 학습부(110)는 상기 이동 경로를 상기 제1 객체에 대한 이벤트 모델로 생성할 수 있다.

이벤트 검출부(120)는 상기 감시 지역에서 상기 제1 객체가 다시 검출되고, 상기 이동 경로에 대응하는 상기 이벤트 모델과 상기 제1 객체의 이동 경로를 비교하여 이벤트 발생 여부를 판단할 수 있다.

도 5는 본 발명의 다른 실시예에 따른 감시 데이터 제공 시스템의 구성을 개략적으로 나타내는 도면이다.

도 5를 참조하면, 본 발명의 다른 실시예에 따른 감시 데이터 제공 시스템(200)은, 패턴 학습부(210), 이벤트 검출부(220), 이벤트 출력부(230) 및 데이터베이스(240)를 포함한다.

패턴 학습부(210), 이벤트 검출부(220) 및 이벤트 출력부(230)는 도 1 및 도 2를 참조로 하여 설명한 패턴 학습부(110), 이벤트 검출부(120) 및 이벤트 출력부(130)와 실질적으로 동일한 기능을 수행하므로, 중복되는 내용에 한하여 구체적인 설명은 생략하기로 한다.

데이터베이스(240)는 제1 영상 데이터 및 제1 음성 데이터를 저장한다. 도 2를 참조로 하여 설명한 바와 같이, 상기 제1 영상 데이터와 제1 음성 데이터는 패턴 학습부(210)에서 이벤트 모델이 생성된 이후에 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 의미한다.

패턴 학습부(210)는 사용자로부터 검색 요청을 수신하여 상기 이벤트 모델을 업데이트 한다. 패턴 학습부(210)는 상기 검색 요청에 포함된 시간과 데이터의 특징에 대응하여, 해당 시간대에 상기 데이터 특징을 갖는 이벤트 모델을 생성할 수 있다. 그리고, 새롭게 생성된 상기 이벤트 모델은 기존의 이벤트 모델과 함께 새로운 이벤트 모델에 포함될 수 있다.

도 1 및 도 2를 참조로 하여 설명한 바와 같이, 상기 이벤트 모델은 이벤트 발생 여부를 판단하는 기준이 된다. 도 1을 참조로 하여 설명한 감시 데이터 제공 시스템(100)은 감시 지역에서 획득되는 영상 데이터와 음성 데이터의 패턴을 기준으로 이벤트 발생 여부를 판단하는 것을 특징으로 한다.

도 5에 도시되는 감시 데이터 제공 시스템(200)은 사용자의 검색 요청을 반영하여, 상기 영상 데이터와 음성 데이터를 바탕으로 하여 생성된 이벤트 모델을 업데이트 하는 것을 특징으로 한다.

충분한 시간 동안 획득한 데이터를 분석하여 이벤트 모델을 생성하는 경우에도, 사용자가 원하는 상황이 이벤트로 검출되지 않을 수 있다. 그리고, 사용자는 확인하고자 하는 상황에 대한 데이터 특성 등을 입력하는 방법을 통해 특정 시간에 발생한 상황 또는 특정한 상황을 확인할 수 있다.

이때, 사용자의 검색 요청은 시간 또는 데이터 특성 등이 될 수 있으며, 패턴 학습부(210)는 상기 검색 요청을 고려하여 상기 이벤트 모델을 업데이트 할 수 있다.

예를 들어, 사용자가 오후 10시를 전후로 하여 10분 동안의 상황을 확인하고자 검색 요청을 입력하는 경우, 패턴 학습부(210)는 오후 10시를 기준으로 앞 뒤 10분 동안의 시간을 이벤트 모델에 추가할 수 있다.

다만, 상기 검색 요청을 반영하여 상기 이벤트 모델을 업데이트 하는 것은, 동일 또는 유사한 검색 요청이 일정 횟수 이상 입력된 경우에 한하여 이루어지는 것이 바람직할 것이다.

일회성 검색 요청에 대해 이벤트 모델 업데이트가 수행되면 중요도가 떨어지는 상황도 이벤트 상황으로 판단되고, 상대적으로 중요한 상황에 대한 데이터 제공이 원활하게 이루어지지 않을 수 있기 때문이다.

한편, 이벤트 출력부(230)는 상기 검색 요청에 대응하는 데이터를 데이터베이스(240)에서 검색한다. 데이터베이스(240)에 저장되는 데이터는 상기 제1 영상 데이터 및 상기 제1 음성 데이터이므로, 이벤트 출력부(230)는 데이터베이스(240)에 저장된 상기 제1 영상 데이터 및 상기 제1 음성 데이터 중 상기 검색 요청에 대응하는 데이터를 검색한다. 그리고, 이벤트 출력부(230)는 상기 검색 요청에 대응하여 검색된 데이터를 이벤트 목록에 추가한다.

상기 이벤트 목록은 패턴 학습부(210)에서 생성된 이벤트 모델에 대응하여 검출된 이벤트를 포함하는 목록으로, 도 1 및 도 2를 참조로 하여 설명한 바와 같이, 상기 이벤트 모델의 데이터 패턴과 상기 제1 영상 데이터를 비교한 결과, 그리고 상기 이벤트 모델의 데이터 패턴과 상기 제1 음성 데이터를 비교한 결과에 따라 검출되는 이벤트들의 목록일 수 있다.

또한, 도 5에 도시되는 감시 데이터 제공 시스템(200)에서는 상기 이벤트 모델과의 비교 결과 및 상기 검색 요청에 대응하는 데이터 검색 결과를 모두 포함하는 이벤트 목록이 제공될 수 있다.

즉, 감시 데이터 제공 시스템(200)을 사용하는 사용자는 확인하고자 하는 특정 상황에 대응하는 검색 요??을 입력할 수 있으며, 상기 검색 요청은 예를 들어, 검출된 객체의 수에 대응하거나, 소리의 크기에 대응할 수 있다.

따라서, 새벽 시간대에 큰 소리가 발생한 상황을 검색하고자 하는 경우, 검색하고자 하는 시간과 소리의 크기를 상기 검색 요청 신호로서 입력하면, 이벤트 출력부(230)는 상기 검색 요청에 대응하는 제1 영상 데이터와 제1 음성 데이터를 데이터베이스(240)에서 검색할 수 있다.

한편, 패턴 학습부(210)는 영상 학습 모듈(미도시) 및 음성 학습 모듈(미도시)을 포함할 수 있다. 상기 영상 학습 모듈은 상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하며, 상기 음성 학습 모듈은 상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출한다. 그리고, 패턴 학습부(210)는 상기 영상 학습 모듈 및 상기 음성 학습 모듈에서 산출되는 통계 값의 시간대별 변화에 대응하는 데이터 패턴을 판단할 수 있다.

도 6은 본 발명의 일 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 감시 데이터 제공 방법은, 패턴 학습 단계(S110), 이벤트 검출 단계(S120) 및 이벤트 출력 단계(S130)를 포함한다.

패턴 학습 단계(S110)에서는, 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성한다.

패턴 학습 단계(S110)에서는 상기 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 지속적으로 수신하고, 상기 데이터 패턴을 분석하고 학습하는 과정을 통하여 상기 감시 지역에서 발생하는 상황의 일반적인 패턴을 판단할 수 있다.

또한, 패턴 학습 단계(S110)에서는, 상기 통계 값을 통하여 상기 감시 지역의 시간대별 객체 검출 동향 및 상기 감시 지역의 시간대별 소음 발생 동향을 판단할 수 있으며, 상기 영상 데이터와 상기 음성 데이터의 평균 값을 이용하여 상기 감시 지역에 대한 시간대별 이벤트 모델을 생성할 수 있다.

이벤트 검출 단계(S120)에서는, 상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여한다.

이벤트 출력 단계(S130)에서는, 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력한다. 우선순위가 가장 높은 이벤트는 상기 목록에서 가장 첫 번째에 표시될 수 있으며, 상기 목록을 제공받는 사용자는 상기 목록에 표시되는 순서에 따라 우선적으로 확인해야 하는 이벤트를 판단할 수 있다.

한편, 이벤트 검출 단계(S120)에서는 상기 영상 데이터와 상기 음성 데이터의 하루 동안의 데이터 변화 패턴을 고려하여, 상기 제1 영상 데이터 및 상기 제1 음성 데이터로부터 이벤트를 검출할 수 있다.

패턴 학습 단계(S110)에서는 도 3을 참조로 하여 설명한 바와 같은 그래프의 형태로 영상 데이터와 음성 데이터의 변화 패턴을 검출할 수 있다. 상기 변화 패턴은 이벤트 모델이 될 수 있으며, 이벤트 검출 단계(S120)에서는 상기 제1 영상 데이터 및 상기 제1 음성 데이터가 상기 이벤트 모델, 즉 상기 데이터 변화 패턴에 상응하지 않는 경우 이벤트가 발생한 것으로 판단할 수 있다.

도 3의 그래프로 표현되는 데이터 변화 패턴은 데이터의 연속적인 변화 양상을 고려하여 이벤트를 검출하기 위한 목적으로 사용될 수 있다.

또한, 패턴 학습 단계(S110)에서는 도 4에 도시되는 바와 같은, 상기 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별하고, 상기 이동 경로의 시간대별 데이터 패턴을 고려하여 이벤트 모델을 생성할 수 있다.

예를 들어, 패턴 학습 단계(S110)에서는 상기 제1 객체의 이동 경로를 분석하여, 상기 제1 객체가 상기 제1 영상 데이터를 획득하는 제1 카메라의 촬영 지점에서, 상기 제2 영상 데이터를 획득하는 제2 카메라의 촬영 지점으로 이동하고, 상기 제3 영상 데이터를 획득하는 제3 카메라의 촬영 지점으로 순차적으로 이동하는 것을 판단할 수 있다.

이때, 상기 이동 경로는 상기 감시 지역에서의 상기 제1 객체의 평균적인(일반적인) 이동 경로로 이해할 수 있다. 패턴 학습 단계(S110)에서는 상기 이동 경로를 상기 제1 객체에 대한 이벤트 모델로 생성할 수 있다.

이벤트 검출 단계(S120)에서는 상기 감시 지역에서 상기 제1 객체가 다시 검출되고, 상기 이동 경로에 대응하는 상기 이벤트 모델과 상기 제1 객체의 이동 경로를 비교하여 이벤트 발생 여부를 판단할 수 있다.

도 7은 본 발명의 다른 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.

도 7을 참조하면, 본 발명의 다른 실시예에 따른 감시 데이터 제공 방법은, 제1 학습 단계(S111), 제2 학습 단계(S112), 이벤트 검출 단계(S120) 및 이벤트 출력 단계(S130)를 포함한다.

이벤트 검출 단계(S120) 및 이벤트 출력 단계(S130)에서는 도 4를 참조로 하여 설명한 이벤트 검출 단계(S120) 및 이벤트 출력 단계(S130)에서와 실질적으로 동일한 동작이 수행되므로, 중복되는 내용에 한하여 구체적인 설명은 생략하도록 한다.

제1 학습 단계(S111)에서는, 영상 데이터의 시간대별 데이터 패턴을 학습하며, 상기 영상 데이터의 평균 색상의 시간대별 변화 패턴, 시간대별 검출되는 객체 수, 검출되는 객체 수의 시간대별 변화 패턴 및/또는 검출되는 객체의 움직임 정도에 대한 시간대별 변화 패턴에 관한 통계 값을 산출한다.

예를 들어, 제1 학습 단계(S111)에서는, 감시 지역에서 오전 3시부터 10분 동안 획득된 영상 데이터의 평균 색상을 산출하거나, 상기 10분 상기 영상 데이터에서 검출되는 객체의 수를 산출할 수 있다.

제2 학습 단계(S112)에서는, 음성 데이터의 시간대별 데이터 패턴을 학습하며, 상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출한다. 그리고, 이때 상기 소리의 크기는 데시벨(dB) 단위로 산출될 수 있다.

예를 들어, 제2 학습 단계(S112)에서는, 상기 감시 지역에서 오전 3시부터 10분 동안 획득된 음성 데이터에서 소리의 크기를 판단하고, 판단한 결과를 바탕으로 상기 10분 동안 상기 감시 지역에서 발생하는 소리의 크기의 통계 값을 산출할 수 있다. 또한, 오전 3시부터 획득된 상기 영상 데이터를 10분 간격으로 구분하여, 각 10분 동안 발생한 소리의 크기를 판단할 수 있다.

이때, 상기 오전 3시 및 상기 10분의 시간 간격은 발명의 설명을 위한 예시에 불과할 뿐, 이로써 본 발명이 제한되는 것은 아니다. 즉, 상기 음성 데이터는 24시간 동작하는 카메라로부터 획득될 수 있으며, 제2 학습 단계(S112)에서는 미리 설정된 시간 간격으로 상기 음성 데이터를 구분함으로써 시간대별 음성 데이터의 패턴을 분석하고, 분석된 결과를 학습할 수 있다.

도 8은 본 발명의 또 다른 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.

도 8을 참조하면, 본 발명의 또 다른 실시예에 따른 감시 데이터 제공 방법은, 패턴 학습 단계(S310), 이벤트 모델 업데이트 단계(S320), 이벤트 검출 단계(S330) 및 이벤트 출력 단계(S340)를 포함한다. 패턴 학습 단계(S310), 이벤트 검출 단계(S330) 및 이벤트 출력 단계(S340)에서는 도 6을 참조로 하여 설명한, 패턴 학습 단계(S110), 이벤트 검출 단계(S120) 및 이벤트 출력 단계(S130)에서와 실질적으로 동일한 동작이 수행되므로, 중복되는 내용에 한하여 구체적인 설명은 생략하도록 한다.

이벤트 모델 업데이트 단계(S320)에서는 사용자의 검색 요청 수신에 대응하여 패턴 학습 단계(S310)에서 생성된 이벤트 모델을 업데이트 한다. 이벤트 모델 업데이트 단계(S320)에서는 상기 검색 요청에 포함된 시간과 데이터의 특징에 대응하여 해당 시간대에 상기 데이터 특징을 갖는 이벤트 모델을 생성할 수 있으며, 새롭게 생성된 상기 이벤트 모델은 기존의 이벤트 모델과 함께 새로운 이벤트 모델에 포함될 수 있다.

앞선 도면들을 참조로 하여 설명한 바와 같이, 상기 이벤트 모델은 이벤트 발생 여부를 판단하는 기분이 된다. 충분한 시간 동안 획득한 데이터를 분석하여 이벤트 모델을 생성하는 경우에도, 사용자가 원하는 상황이 이벤트로 검출되지 않을 수 있다. 그리고, 사용자는 확인하고자 하는 상황에 대한 데이터 특성 등을 입력하는 방법을 통해 특정 시간에 발생한 상황 또는 특정한 상황을 확인할 수 있다.

이때, 사용자의 검색 요청은 시간 또는 데이터 특성 등이 될 수 있으며, 이벤트 모델 업데이트 단계(S320)에서는 상기 검색 요청을 고려하여 상기 이벤트 모델을 업데이트 할 수 있다.

한편, 상기 제1 영상 데이터 및 상기 제1 음성 데이터는 데이터베이스 등의 저장장치에 저장될 수 있으며, 이벤트 출력 단계(S340)에서는 상기 사용자의 검색 요청에 대응하는 데이터를 상기 데이터베이스에서 검색하여 이벤트 목록에 추가할 수 있다.

지금까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100, 200: 감시 데이터 제공 시스템
110, 210: 패턴 학습부
120, 220: 이벤트 검출부
130, 230: 이벤트 출력부
240: 데이터베이스

Claims

감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습부;
상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출부; 및
검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력부;
를 포함하는 감시 데이터 제공 시스템.
제1항에 있어서,
상기 패턴 학습부는,
상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하는 제1 학습 모듈; 및
상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출하는 제2 학습 모듈을 포함하고,
상기 제1 및 제2 학습 모듈에서 산출되는 통계 값의 시간대별 변화에 대응하는 상기 데이터 패턴을 판단하는 감시 데이터 제공 시스템.
제2항에 있어서,
상기 패턴 학습부는 상기 제1 학습 모듈 및 상기 제2 학습 모듈에서 산출되는 평균값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 상기 이벤트 모델을 생성하며,
상기 이벤트 검출부는 상기 제1 영상 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되거나, 상기 제1 음성 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되는 경우 이벤트가 발생한 것으로 판단하는 감시 데이터 제공 시스템.
제1항에 있어서,
상기 이벤트 검출부는 상기 영상 데이터와 상기 음성 데이터의 하루 동안의 데이터 변화 패턴을 고려하여 상기 제1 영상 데이터 및 상기 제1 음성 데이터로부터 이벤트를 검출하는 감시 데이터 제공 시스템.
제4항에 있어서,
상기 이벤트 검출부는 상기 제1 영상 데이터 및 상기 제1 음성 데이터가 상기 데이터 변화 패턴에 상응하지 않는 경우 이벤트가 발생한 것으로 판단하는 감시 데이터 제공 시스템.
제1항에 있어서,
상기 패턴 학습부는 상기 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별하고,
상기 이동 경로의 시간대별 데이터 패턴을 더 고려하여 상기 이벤트 모델을 생성하는 감시 데이터 제공 시스템.
감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습부;
상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출부; 및
상기 제1 영상 데이터 및 상기 제1 음성 데이터를 저장하는 데이터베이스;
를 포함하고,
상기 패턴 학습부는 사용자의 검색 요청을 수신하여 상기 이벤트 모델을 업데이트 하는 감시 데이터 제공 시스템.
제7항에 있어서,
상기 이벤트 검출부에서 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력부를 더 포함하고,
상기 이벤트 출력부는 상기 사용자의 검색 요청에 대응하는 데이터를 상기 데이터베이스에서 검색하여 이벤트 목록에 추가하는 감시 데이터 제공 시스템.
제7항에 있어서,
상기 패턴 학습부는,
상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하는 영상 학습 모듈; 및
상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출하는 음성 학습 모듈을 포함하고,
상기 영상 학습 모듈 및 상기 음성 학습 모듈에서 산출되는 통계 값의 시간대별 변화에 대응하는 상기 데이터 패턴을 판단하는 감시 데이터 제공 시스템.
제9항에 있어서,
상기 패턴 학습부는 상기 영상 학습 모듈 및 상기 음성 학습 모듈에서 산출되는 평균값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 상기 이벤트 모델을 생성하며,
상기 이벤트 검출부는 상기 제1 영상 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되거나, 상기 제1 음성 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되는 경우 이벤트가 발생한 것으로 판단하는 감시 데이터 제공 시스템.
제7항에 있어서,
상기 이벤트 검출부는 상기 영상 데이터와 상기 음성 데이터의 하루 동안의 데이터 변화 패턴을 고려하여 상기 제1 영상 데이터 및 상기 제1 음성 데이터로부터 이벤트를 검출하는 감시 데이터 제공 시스템.
제11항에 있어서,
상기 이벤트 검출부는 상기 제1 영상 데이터 및 상기 제1 음성 데이터가 상기 데이터 변화 패턴에 상응하지 않는 경우 이벤트가 발생한 것으로 판단하는 감시 데이터 제공 시스템.
제7항에 있어서,
상기 패턴 학습부는 상기 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별하고,
상기 이동 경로의 시간대별 데이터 패턴을 더 고려하여 상기 이벤트 모델을 생성하는 감시 데이터 제공 시스템.
감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습 단계;
상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출 단계; 및
검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력 단계;
를 포함하는 감시 데이터 제공 방법.
제14항에 있어서,
상기 패턴 학습 단계는,
상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하는 제1 학습 단계; 및
상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출하는 제2 학습 단계;
를 포함하고,
상기 제1 및 제2 학습 단계에서 산출되는 통계 값의 시간대별 변화에 대응하는 상기 데이터 패턴을 판단하는 감시 데이터 제공 방법.
제15항에 있어서,
상기 패턴 학습 단계에서는 상기 제1 학습 단계 및 상기 제2 학습 단계에서 산출되는 평균값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 상기 이벤트 모델을 생성하며,
상기 이벤트 검출 단계에서는 상기 제1 영상 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되거나, 상기 제1 음성 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되는 경우 이벤트가 발생한 것으로 판단하는 감시 데이터 제공 방법.
제14항에 있어서,
상기 이벤트 검출 단계에서는 상기 영상 데이터와 상기 음성 데이터의 하루 동안의 데이터 변화 패턴을 고려하여 상기 제1 영상 데이터 및 상기 제1 음성 데이터로부터 이벤트를 검출하되,
상기 제1 영상 데이터 및 상기 제1 음성 데이터가 상기 데이터 변화 패턴에 상응하지 않는 경우 이벤트가 발생한 것으로 판단하는 감시 데이터 제공 방법.
제14항에 있어서,
상기 패턴 학습 단계에서는 상기 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별하고,
상기 이동 경로의 시간대별 데이터 패턴을 더 고려하여 상기 이벤트 모델을 생성하는 감시 데이터 제공 방법.
제13항에 있어서,
사용자의 검색 요청을 수신하여 상기 이벤트 모델을 업데이트 하는 단계를 더 포함하는 감시 데이터 제공 방법.
제19항에 있어서,
상기 제1 영상 데이터 및 상기 제1 음성 데이터는 데이터베이스에 저장되고,
상기 이벤트 출력 단계에서는 상기 사용자의 검색 요청에 대응하는 데이터를 상기 데이터베이스에서 검색하여 이벤트 목록에 추가하는 감시 데이터 제공 방법.