KR102015954B1 - 영상 처리 시스템 및 영상 처리 방법 - Google Patents

Abstract

본 발명은 영상 처리 시스템 및 영상 처리 방법을 개시한다.
본 발명의 일 실시 예에 따른 영상 처리 시스템은, 입력 영상을 분석하여 메타데이터를 생성하는 영상 분석 엔진; 메타데이터를 구조화 및 정리하여 검색하기 용이한 인덱스 데이터로 생성하는 인덱싱 엔진; 검색조건에 매칭하는 인덱스 데이터, 및 영상으로부터 인덱스 데이터에 대응하는 영상 데이터를 추출하는 검색 엔진; 및 추출된 인덱스 데이터 및 영상 데이터를 기초로 히트맵을 생성하고, 히트맵 및 검색조건에 매칭하는 영상을 화면에 디스플레이 하는 브라우징 엔진;을 포함할 수 있다.

Description

영상 처리 시스템 및 영상 처리 방법{SYSTEM AND METHOD FOR PROCESSING IMAGE}

본 발명은 영상 처리 시스템 및 영상 처리 방법에 관한 것이다.

히트맵은 매우 효과적인 브라우징 방식으로 다양한 영상 감시 시스템에서 사용되고 있다. 히트맵은 열을 뜻하는 히트(heat)와 지도를 뜻하는 맵(map)을 결합시킨 것으로, 색상으로 표현할 수 있는 다양한 정보를 일정한 이미지 위에 열분포 형태의 비주얼한 그래픽으로 출력한다. 히트맵은 카메라 영상이나 지도 상에서 고객들의 관심도 또는 복잡도를 색 단계로 표현할 수 있다. 히트맵은 가시성을 고려하여 움직임이 많이 검출된 영역은 붉은색 계열로 표현하고, 움직임이 상대적으로 적게 검출된 영역은 푸른색 계열로 표현한다.

결국 히트맵은 움직임 양에 대한 검색 결과를 표시하는 하나의 방법으로 사용자의 편의성을 최우선으로 해야 하지만, 가시성을 떨어뜨린다.

국내 공개특허공보 제2009-0046670호

본 발명이 해결하고자 하는 기술적인 과제는 사용자 검색조건에 대응하는 히트맵 생성 시에 가시성을 향상시킬 수 있는 영상 처리 시스템 및 영상 처리 방법을 제공하는데 있다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 처리 시스템은 입력 영상을 분석하여 메타데이터를 생성하는 영상 분석 엔진; 상기 메타데이터를 구조화 및 정리하여 검색하기 용이한 인덱스 데이터로 생성하는 인덱싱 엔진; 검색조건에 매칭하는 인덱스 데이터, 및 상기 영상으로부터 상기 인덱스 데이터에 대응하는 영상 데이터를 추출하는 검색 엔진; 및 상기 추출된 인덱스 데이터 및 영상 데이터를 기초로 히트맵을 생성하고, 상기 히트맵 및 상기 검색조건에 매칭하는 영상을 화면에 디스플레이 하는 브라우징 엔진;을 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 영상 분석 엔진은, 상기 영상으로부터 물체를 분류하고, 상기 물체의 움직임 및 동선을 분석하는 것을 특징으로 한다.

본 발명에 있어서, 상기 영상 분석 엔진은, 단위시간 당 상기 물체의 움직임 분석 결과를 누적 처리하는 것을 특징으로 한다.

본 발명에 있어서, 상기 브라우징 엔진은, 상기 검색조건에 매칭하는 상기 영상의 영역을 소정 단위로 분할하고, 상기 인덱스 데이터로부터 분할된 영역의 움직임량을 산출하여 순위를 설정하고, 설정된 순위에 따라 서로 다른 색상을 할당하여 히트맵을 생성하고, 상기 히트맵에 스무딩 필터링을 적용하여 재구성된 히트맵을 생성하는 것을 특징으로 한다.

본 발명에 있어서, 상기 브라우징 엔진은, 상기 히트맵 중 상기 동일한 색상을 갖는 영역끼리 연결하여 등고선 처리하여 재구성된 히트맵을 생성하는 것을 특징으로 한다.

본 발명에 있어서, 상기 브라우징 엔진은, 상기 검색조건에 매칭하는 영상 및 상기 재구성된 히트맵을 중첩하여 처리하는 것을 특징으로 한다.

본 발명에 있어서, 상기 브라우징 엔진은, 상기 재구성된 히트맵 상의 임의의 지점이 선택되면, 선택된 지점에 해당하는 요약 영상을 제공하는 것을 특징으로 한다.

본 발명에 있어서, 상기 브라우징 엔진은, 상기 재구성된 히트맵, 상기 검색조건에 매칭하는 영상 및 상기 요약 영상을 각각 화면의 다른 영역에 디스플레이 하는 것을 특징으로 한다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 다른 실시 예에 따른 영상 처리 시스템은 검색조건에 매칭하는 상기 영상의 영역을 소정 단위로 분할하고, 상기 인덱스 데이터로부터 분할된 영역의 움직임량을 산출하여 순위를 설정하고, 설정된 순위에 따라 서로 다른 색상을 할당하여 생성한 히트맵에 스무딩 필터링을 적용하여 재구성된 히트맵을 생성하는 히트맵 생성부; 및 상기 재구성된 히트맵 및 상기 검색조건에 매칭하는 영상을 디스플레이 하는 디스플레이부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 히트맵 생성부는, 상기 히트맵 중 상기 동일한 색상을 갖는 영역끼리 연결하여 등고선 처리하여 재구성된 히트맵을 생성하는 것을 특징으로 한다.

본 발명에 있어서, 상기 히트맵 생성부는, 상기 검색조건에 매칭하는 영상 및 상기 재구성된 히트맵을 중첩하는 중첩부;를 더 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 히트맵 생성부는, 상기 재구성된 히트맵 상의 임의의 지점이 선택되면, 선택된 지점에 해당하는 요약 영상을 생성하는 요약 영상 생성부;를 더 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 디스플레이부는, 상기 재구성된 히트맵, 상기 검색조건에 매칭하는 영상 및 상기 용약 영상을 각각 다른 영역에 디스플레이 하는 것을 특징으로 한다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 처리 방법은 입력 영상을 분석하여 메타데이터를 생성하는 영상 분석 단계; 상기 메타데이터를 구조화 및 정리하여 검색하기 용이한 인덱스 데이터로 생성하는 인덱싱 단계; 검색조건에 매칭하는 인덱스 데이터, 및 상기 영상으로부터 상기 인덱스 데이터에 대응하는 영상 데이터를 추출하는 검색 단계; 및 상기 추출된 인덱스 데이터 및 영상 데이터를 기초로 히트맵을 생성하고, 상기 히트맵 및 상기 검색조건에 매칭하는 영상을 화면에 디스플레이 하는 브라우징 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 영상 분석 단계는, 상기 영상으로부터 물체를 분류하고, 상기 물체의 움직임 및 동선을 분석하는 단계; 및 단위시간 당 상기 물체의 움직임 분석 결과를 누적 처리하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 브라우징 단계는, 상기 검색조건에 매칭하는 상기 영상의 영역을 소정 단위로 분할하는 단계; 상기 인덱스 데이터로부터 분할된 영역의 움직임량을 산출하는 단계; 상기 분할된 영역의 움직임량에 순위를 설정하고, 설정된 순위에 따라 서로 다른 색상을 할당하여 히트맵을 생성하는 단계; 및 상기 히트맵에 스무딩 필터링을 적용하여 재구성된 히트맵을 생성하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 히트맵 중 상기 동일한 색상을 갖는 영역끼리 연결하여 등고선 처리하여 재구성된 히트맵을 생성하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 검색조건에 매칭하는 영상 및 상기 재구성된 히트맵 생성결과를 중첩하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 재구성된 히트맵 상의 임의의 지점이 선택되면, 선택된 지점에 해당하는 요약 영상을 생성하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 처리 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체는 입력 영상을 분석하여 메타데이터를 생성하는 영상 분석 단계; 상기 메타데이터를 구조화 및 정리하여 검색하기 용이한 인덱스 데이터로 생성하는 인덱싱 단계; 검색조건에 매칭하는 인덱스 데이터, 및 상기 영상으로부터 상기 인덱스 데이터에 대응하는 영상 데이터를 추출하는 검색 단계; 및 상기 추출된 인덱스 데이터 및 영상 데이터를 기초로 히트맵을 생성하고, 상기 히트맵 및 상기 검색조건에 매칭하는 영상을 화면에 디스플레이 하는 브라우징 단계;를 포함하는 것을 특징으로 한다.

상술한 바와 같이 본 발명에 따르면, 사용자가 편리하게 검색조건에 따라 생성된 가시성이 향상된 히트맵으로부터 검색조건에 따른 결과를 쉽게 파악 할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 시스템의 구성을 보이는 블록도 이다.
도 2는 본 발명의 일 실시 예에 따른 영상 분석 엔진의 상세 블록도 이다.
도 3은 본 발명의 일 실시 예에 따른 브라우징 엔진의 상세 블록도 이다.
도 4는 본 발명의 일 실시 예에 따른 브라우징 엔진에서 생성하는 히트맵을 설명하는 도면이다.
도 5 내지 도 7은 본 발명의 일 실시 예에 따른 사용자 검색조건에 따른 히트맵 생성 결과를 표시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 영상 처리 시스템의 영상 분석 방법을 보이는 흐름도 이다.
도 9는 본 발명의 일 실시 예에 따른 영상 처리 시스템의 히트맵 생성 및 디스플레이 방법을 보이는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 시스템의 구성을 보이는 블록도 이다. 도 1을 참조하면, 영상 처리 시스템(1)은 분석부(100), 데이터베이스부(300) 및 검색부(500)를 포함한다.

분석부(100)는 입력되는 원본 영상을 온톨로지에 기반하여 분석하고, 분석결과를 메타데이터 형태로 저장한다. 분석부(100)는 영상 분석 엔진(110) 및 인덱싱 엔진(120)을 포함할 수 있다.

영상 분석 엔진(110)은 원본 영상을 분석하고, 기 정의된 카테고리에 따라 원본 영상을 분류하고, 원본 영상에서 검출되는 객체의 속성, 예를 들어, 종류, 색상, 크기, 형태, 움직임, 궤적(trajectory) 등을 추출한다. 여기서 카테고리라 함은, 사용자가 결과로 제공받고자 입력하는 검색조건일 수 있다. 즉, 본 발명의 실시 예에서는 영상 처리 시스템(1)에 정의된 카테고리와 검색조건이 상호 연동되며, 카테고리가 추가되면 검색조건 또한 추가 확장이 가능하다. 영상 처리 시스템(1)은 분석할 내용의 카테고리를 정확히 정의하기 위해, 카테고리의 의미 및 카테고리들 간의 관계 정의를 수행한다.

영상 분석 엔진(110)은 원본 영상 내에서 물체의 등장, 사라짐, 물체의 움직임 감지, 영상 꺼짐 등과 같은 영상 분석을 수행할 수 있다. 또한 영상 분석 엔진(101)은 배경 영역 검출, 전경 및 물체 검출, 물체 카운팅, 카메라 탬퍼링(camera tampering) 검출, 얼굴 검출 등을 수행할 수 있다. 또한 영상 분석 엔진(110)은 영상의 밝기(brightness), 색상(color), 질감(texture) 및 윤곽선(shape) 정보도 산출할 수 있다.

더 나아가 영상 분석 엔진(110)은 영상 분석을 수행하여 설정된 이벤트 발생 조건에 만족하는 경우 이벤트를 발생시킨다. 여기서 이벤트라 함은, 네트워크 에러가 발생한 경우, 새로운 카메라(미도시)가 설정된 경우 등과 같이 시스템 내부에 설정된 시스템 이벤트를 포함할 수 있다. 또한 입력 영상의 경우에 객체의 출현, 사용자가 특정한 이미지(예를 들어 얼굴 인식이 불가능한 얼굴 등장) 발생, 화면 색깔이 바뀌는 경우, 설정된 영역에서 움직임 발생한 경우, 음원의 경우에 비정상적인 음원(예를 들어, 자동차 타이어 마찰음(스키드), 유리 깨지는 소리, 경보음, 충돌음 등) 발생, 사용자가 특정한 음원(예를 들어, 고함, 비명, 울음 소리 등) 발생, 임계값 이상의 음성이 발생한 경우 등과 같이 사용자에 의해 설정된 사용자 이벤트를 포함할 수 있다.

도 2에는 영상 분석 엔진(110)의 상세 블록도가 도시되어 있다. 도 2를 참조하면, 영상 분석 엔진(110)은 물체 분류부(111), 움직임 분석부(112) 및 동선 분석부(113)를 포함할 수 있다.

물체 분류부(111)는 원본 영상 내에서 사람, 자동차, 동물 등의 물체를 분류한다.

움직임 분석부(112)는 분류된 물체의 움직임을 분석하며, 특히, 임의의 시간구간(예를 들어, 시간 별, 요일 별, 월 별 등) 내에 물체의 발생빈도 및 물체 발생빈도의 변화를 분석한다. 임의의 시간 구간에 대해 물체의 움직임 발생 빈도를 빠르게 알기 위해, 움직임 분석부(112)는 누적 해싱(cumulative hashing)을 수행한다. 이는 각 시간 단위에 입력되는 움직임의 발생빈도 즉, 움직임의 양이 그 전 시간까지의 움직임 양의 합을 포함한다는 것을 나타낸다. M_n을 시간 n의 움직임 발생빈도라고 정의하고, H_n을 실제로 입력되는 움직임 발생빈도라고 가정하면, 다음 수학식1이 성립한다.

수학식 1에 의하면, 임의의 시간 구간 사이의 움직임 발생빈도의 합은 두 시간 사이의 움직임 발생빈도 차이이다. 즉, 사용자가 t2 및 t1(t2>t1) 시간구간 사이의 움직임 발생빈도를 요청하면, 두 시간구간 사이의 움직임 발생빈도 M_d는 수학식 2와 같다.

이와 같은 누적 해싱 처리를 통해 사용자가 매우 긴 시간 구간에 대해 검색을 요청하더라도 움직임 발생 빈도 계산 시에는 항상 일정한 시간이 소요되는 장점이 있다.

동선 분석부(113)는 물체에 대한 움직임 검출 및 추적을 통하여 물체의 동선을 분석한다. 동선 분석부(113)는 입력되는 원본 영상으로부터 물체에 대한 움직임을 검출하고, 프레임간 유사성을 통해 궤적을 추적하여 동선정보를 생성하고, 생성된 동선정보의 패턴 분석을 위해 노이즈를 제거한다. 이어서 동선 분석부(113)는 노이즈가 제거된 유사한 동선정보끼리 군집화 한다. 유사한 동선정보끼리 군집화 하기 위해 주제 모델링(topic modeling) 알고리즘을 적용하고, 주제 모델링 알고리즘에 의해 동선의 공간 확률 모델(spatial probabilistic model)을 생성할 수 있다. 동선 분석부(113)는 군집화된 동선정보에 인공지능 신경망 학습을 수행하여 유사한 동선정보끼리 그룹화한 결과를 동선 분석 결과로 제공할 수 있다.

다른 실시 예로 동선 분석부(113)는 입력되는 원본 영상으로부터 물체에 대한 움직임을 검출하고, 영상 프레임간 유사성을 통해 궤적을 추적하여 동선정보를 생성하며, 생성된 동선정보의 패턴 분석을 위해 노이즈를 제거한다. 동선 분석부(113)는 노이즈가 제거된 동선정보에 포함되는 임의의 포인트들을 선택한다. 여기서 포인트 선택 조건은 변화가 많은 즉, 방향이 많이 변하는 포인트를 선택할 수 있다. 예를 들어, 포인트로써 동선정보에 포함되는 시작 포인트, 종료 포인트 및 방향이 많이 변하는 임의의 포인트를 선택할 수 있다. 동선 분석부(113)는 포인트들을 포함하는 유사한 동선정보끼리 군집화하여 동선 분석 결과로 제공할 수 있다.

이와 같은 영상 분석 엔진(110)의 영상 분석 결과는 메타데이터 형태로 메타데이터 데이터베이스(320)에 저장된다. 이때 텍스트 기반 메타데이터 외에 움직임 영역의 블랍 이미지, 배경 모델과 같은 이미지 기반 메타데이터가 함께 메타데이터 데이터베이스(320)에 저장될 수 있다.

인덱싱 엔진(120)은 검색하기 용이하도록 메타데이터 데이터베이스(320)에 저장된 메타데이터에 대해 구조화 및 정리처리를 수행하여 인덱스 데이터를 생성하고 인덱스 데이터베이스(330)에 저장한다.

검색부(500)는 사용자로부터 입력된 검색조건과 일치하는 정보를 생성하여 제공한다. 본 실시 예에서 검색부(500)는 쿼리 엔진(510), 검색 엔진(520), 및 브라우징 엔진(530)을 포함할 수 있다.

쿼리 엔진(510)은 사용자로부터 입력 장치(710)를 통해 검색조건을 입력받고, 검색조건으로부터 사용자의 요구 사항을 분석하여 기 정의된 형태로 재구성한다. 예를 들어, 사용자는 입력 장치(710)를 통해 시간 구간, 카메라 채널 수, 물체 분류 카테고리(사람, 차량 등) 등을 검색조건으로 입력할 수 있다.

검색 엔진(520)은 재구성된 검색조건에 매칭하는 인덱스 데이터를 인덱스 데이터베이스(330)로부터 추출하고, 영상 데이터베이스(310)로부터 추출된 인덱스 데이터에 대응하는 영상 데이터를 추출한다.

브라우징 엔진(530)은 추출된 인덱스 데이터 및 영상 데이터를 기초로 히트맵을 생성하여 디스플레이부(720)로 출력한다. 도 3 본 발명의 일 실시 예에 따른 브라우징 엔진(530)의 상세 블록도 이다. 도 3을 참조하면, 브라우징 엔진(530)은 영역 분할부(531), 움직임량 산출부(532), 색상 지정부(533) 및 스무딩부(534)를 포함하는 히트맵 생성부(535), 중첩부(537) 및 요약 영상 생성부(539)를 포함할 수 있다.

먼저, 히트맵 생성부(535)를 설명하면, 영역 분할부(531)는 검색조건에 매칭하는 영상을 소정 단위로 분할한다. 영역 분할부(531)는 설정에 따라 다양하게 영역을 분할을 수행할 수 있는데, 예를 들어, 5×5, 10×10, 20×20 등으로 분할할 수 있다. 도 4a에는 10×10으로 영역 분할된 예가 도시되어 있다.

움직임량 산출부(532)는 인덱스 데이터로부터 분할된 영역의 움직임량을 산출한다. 움직임량 산출부(532)는 검색조건으로 입력된 시간의 움직임 분석결과를, 검색 엔진(520)을 통해 인덱스 데이터로 추출하여, 분할된 영역에 대응시켜 움직임량을 산출할 수 있다. 여기서, 인덱스 데이터베이스(330)에는 누적 해싱을 적용한 움직임 분석 결과에 따른 인덱스 데이터가 저장되어 있다. 따라서 사용자가 쿼리 엔진(510)을 통해 입력한 t2 및 t1(t2>t1) 시간구간 사이의 움직임 발생빈도를 요청하면, 검색 엔진(520)이 두 시간구간 사이의 움직임 발생빈도의 차이를 인덱스 데이터베이스(310)로부터 추출하고, 움직임량 산출부(532)는 인덱스 데이터를 분할된 영역에 대응시켜 움직임량을 산출할 수 있다. 도 4a에는 10×10으로 분할된 각 영역에 일정 단위시간의 움직임량 즉, 움직임 발생 빈도가 누적되어 표시한 예가 도시되어 있다. 여기서, 각 영역에 기록된 수치는 움직임량을 나타내며, 수치가 높을수록 움직임 발생빈도가 더 높다는 것을 의미한다.

색상 지정부(533)는 움직임 발생빈도가 누적된 각 영역으로부터 순위를 설정한 후, 설정된 순위에 따라 서로 다른 색을 할당하여 표시함으로써 히트맵을 생성한다. 히트맵 생성을 좀 더 상세히 설명하면, 할당할 색상단위가 예를 들어 8가지라고 가정하면, 분할된 영역들의 움직임 발생 빈도에 제1 순위 내지 제8 순위를 설정하고, 제1 순위에 제1색 예를 들어, 붉은색을 제8 순위에 제2색 예를 들어, 푸른색을 할당하고, 제2 내지 제7 순위에는 붉은색에서 푸른색으로 변하는 색상을 할당할 수 있다. 다른 방법으로, 분할된 영역 내에서 움직임 발생 빈도가 가장 많은 최대값과 움직임 발생빈도가 가장 적은 최소값을 설정하고, 최대값에는 제1색을 할당하고, 최소값에는 제2색을 할당할 수 있다. 그리고 최대값 및 최소값 사이의 영역은 일정하게 분할하거나, 특정 빈도에 대해 가중치를 적용하여 최대값에 가까운 분할영역에는 제1색과 다른 붉은색 계열로 할당하고, 최소값에 가까운 분할영역에는 제2색과 다른 푸른색 계열로 할당할 수 있다. 도 4b에는 움직임량이 누적되어 표시된 도 4a에 대한 히트맵 생성결과가 도시되어 있다.

도 4b와 같은 히트맵 생성 결과는 가시성을 떨어뜨리므로, 스무딩부(534)는 히트맵 생성 결과에 스무딩 필터링을 적용하여 히트맵을 재구성한다. 여기서 스무딩 필터링이라 함은, 히트맵 생성결과에 가우시안 필터(Gaussian filter), 메디안 필터(median filter), 바이래터럴 필터(bilateral filter), 또는 평균 필터(mean filter) 등을 적용하여 보다 부드러운 히트맵으로 재구성 하는 것이다. 예를 들어, 히트맵에 가우시안 필터링을 적용하여 연속적인 값을 가지도록 히트맵을 재구성한다. 즉, 특정 블록에서 일어난 움직임은 그 영향이 주변으로 퍼져서 적용되는 원리이다. 도 4c에는 도 4b의 히트맵에 스무딩 필터링을 적용하여 부드럽게 표시된 히트맵으로 재구성된 예가 도시되어 있다.

다른 실시 예로, 히트맵 생성 결과에서 동일한 색상을 갖는 영역끼리 연결하여 등고선 처리하여 히트맵을 재구성할 수도 있다.

이와 같은 스무딩 필터링이 적용되거나, 등고선 처리되어 재구성된 히트맵은 사용자가 움직임 분포의 전체적인 경향을 좀 더 쉽게 파악할 수 있는 직관적인 결과를 제공할 수 있다.

중첩부(537)는 재구성된 히트맵 생성 결과와 해당 영상을 중첩하여 표시할 수 있다. 이와 같은 중첩 처리에 의해 영상 중 어느 영역에서 움직임이 자주 발생하는지 여부를 쉽게 파악할 수 있고, 공간적인 움직임 분석에도 활용될 수 있다. 도 4d에는 재구성된 히트맵 생성결과 및 해당 영상을 중첩 표시한 예가 도시되어 있다.

요약 영상 생성부(539)는 재구성된 히트맵 상의 임의의 지점이 선택되면, 선택된 지점에 해당하는 요약 영상을 생성하고, 재구성된 히트맵과 요약 영상을 함께 제공할 수 있다. 요약 영상 생성부(539)는 시간 구간을 기반으로 하여 요약 영상을 생성하거나, 물체를 기반으로 하여 요약 영상을 생성할 수 있다. 시간 구간을 기반으로 하는 경우, 움직이는 물체가 없는 구간을 제거한 후, 영상을 재구성하여 요약 영상을 생성할 수 있다. 물체를 기반으로 하는 경우 원본 영상의 객체가 요약 영상에서는 전혀 다른 구간에 나타날 수 있다. 즉, 물체 등장 구간을 요약 영상을 위해 계산하여 재구성하여 요약 영상을 생성할 수 있다.

데이터베이스부(300)는 원본 영상 및 영상 분석 결과 등을 저장한다. 데이터베이스부(300)는 영상 데이터베이스(310), 메타데이터 데이터베이스(320), 및 인덱스 데이터베이스(330)를 포함할 수 있다.

원본 영상은 영상 처리 시스템(1)에 연결된 영상 센서인 카메라(미도시)로부터 직접 전송된 영상일 수 있고, 영상 처리 시스템 시스템(1)에 연결된 디지털 비디오 레코더(DVR: digital video recorder) 또는 네트워크 비디오 레코더(NVR: network video recorder)에 저장된 영상일 수 있고, 또는 네트워크(미도시)를 통하여 다양한 경로로 입력되는 영상일 수 있다.

영상 처리시스템(1)으로 입력된 데이터 스트림 형태의 원본 영상은 영상 데이터베이스(310)에 저장된다.

원본 영상의 분석 결과는 텍스트(text) 기반의 메타데이터 형식으로 메타데이터 데이터베이스(320)에 저장된다. 또한 메타데이터 데이터베이스(320)에는 원본 영상의 일부인 이미지(image) 기반의 메타데이터, 예를 들어, 움직임이 감지된 객체의 블랍 이미지 및 배경 모델이 저장될 수 있다.

사용자 단말(700)은 영상 처리 시스템(1)을 관리하는 사용자 또는 보안 관계자가 사용하는 단말로서, PC 또는 이동 단말기일 수 있다. 사용자는 사용자 단말(700)을 통해 영상 처리 시스템(1)을 제어할 수 있다. 사용자 단말(700)은 영상 처리 시스템(1)에 쿼리(검색조건)를 입력할 수 있는 사용자 인터페이스인 입력 장치(710)를 구비한다.

입력 장치(710)는 영상 처리 시스템(1)과 유선 또는 무선으로 연결되어 사용자가 영상 처리 시스템(1)의 동작 제어를 위한 입력 데이터를 발생시킨다. 입력 장치(710)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 마우스, 리모컨, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 사용자 단말(700)은 입력 장치(710)를 사용하여 검색조건을 수정, 추가, 또는 삭제를 수행하여, 히트맵 생성의 표시 조건을 설정할 수 있다.

사용자 단말(700)은 검색조건에 매칭하는 히트맵을 디스플레이 장치(720)에 표시할 수 있다.

디스플레이 장치(720)는 브라우징 엔진(530)으로부터 출력되는 히트맵을 사용자에게 제공함으로써, 사용자가 표시되는 영상을 모니터링할 수 있도록 한다. 디스플레이 장치(720)는 히트맵 또는 히트맵 및 영상의 중첩 간의 전환, 히트맵을 생성하기 위한 물체의 분류 카테고리, 시간 구간, 카메라 채널 등의 검색조건을 사용자가 직접 또는 간접으로 선택하기 위한 메뉴 항목을 표시할 수 있다. 검색조건은 영상 분석 엔진(110)에 설정된 카테고리와 연동하여 확장이 가능하다.

도 5 내지 도 7은 본 발명의 일 실시 예에 따른 사용자 검색조건에 따른 히트맵 생성 결과를 표시한 도면이다.

도 5를 참조하면, 디스플레이부(720)는 히트맵을 생성하기 위한 시간구간 즉, 시작시간 및 종료시간과, 카메라 채널, 물체 분류 카테고리 등의 검색조건을 선택하는 검색조건 영역(721)과, 시작시간 및 종료시간 사이의 단위 시간 구간에서 움직임 검출에 따라 생성된 히트맵 리스트 영역(722)과, 시간을 나타내는 시간 축 표시 영역(723)과, 재구성된 히트맵 표시 영역(724-1) 및 사용자가 지정한 구간의 재생 영상 표시 영역(725)으로 구성될 수 있다.

도 6을 참조하면, 디스플레이부(720)는 히트맵을 생성하기 위한 시간구간 즉, 시작시간 및 종료시간과, 카메라 채널, 물체 분류 카테고리 등의 검색조건을 선택하는 검색조건 영역(721)과, 시작시간 및 종료시간 사이의 단위 시간 구간에서 움직임 검출에 따라 생성된 히트맵 리스트 영역(722)과, 시간을 나타내는 시간 축 표시 영역(723)과, 영상과 재구성된 히트맵이 중첩 표시되는 영역(724-1) 및 사용자가 지정한 구간의 재생 영상 표시 영역(725)으로 구성될 수 있다.

도 7을 참조하면, 디스플레이부(720)는 히트맵을 생성하기 위한 시간구간 즉, 시작시간 및 종료시간과, 카메라 채널, 물체 분류 카테고리 등의 검색조건을 선택하는 검색조건 영역(721)과, 시작시간 및 종료시간 사이의 단위 시간 구간에서 움직임 검출에 따라 생성된 히트맵 리스트 영역(722)과, 시간을 나타내는 시간 축 표시 영역(723)과, 재구성된 히트맵 표시 영역(724-1), 사용자가 지정한 구간의 재생 영상 표시 영역(725) 및 요약 영상 표시 영역(726)으로 구성될 수 있다.

디스플레이 장치(720)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 디스플레이 장치(720)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이 장치(720)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 입력 인터페이스로서 동작할 수 있다.

이어서, 도 8 및 도 9를 참조하여 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기로 한다. 본 발명에 따른 영상 처리 방법은 도 1에 도시된 바와 같이 주변 구성요소들의 도움을 받아 영상 처리 시스템(1)에서 수행될 수 있다. 이하의 설명에서 도 1 내지 도 7에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.

도 8은 본 발명의 일 실시 예에 따른 영상 처리 시스템의 영상 분석 방법을 보이는 흐름도 이다.

도 8을 참조하면, 영상 처리 시스템은 원본 영상이 입력되면(S110), 분류 및 분석 모듈을 이용하여 원본 영상을 분석한다(S120). 영상 처리 시스템은 기 정의된 카테고리에 따라 원본 영상을 분석할 수 있다. 카테고리는 검색조건과 연동할 수 있고, 정의되는 카테고리에 따라 검색조건이 설정 및 확장될 수 있다.

영상 처리 시스템은 원본 영상의 분석 결과인 메타데이터를 생성하여 저장한다(S130). 메타데이터는 텍스트 기반 메타데이터 외에 움직임 영역의 블랍 이미지, 배경 모델과 같은 이미지 기반 메타데이터를 포함할 수 있다.

영상 처리 시스템은 검색이 용이하도록 메타데이터를 구조화 및 정리한 인덱스 데이터를 생성하여 저장한다(S140).

도 9는 본 발명의 일 실시 예에 따른 영상 처리 시스템의 히트맵 생성 및 디스플레이 방법을 보이는 도면이다.

도 9를 참조하면, 사용자로부터 검색조건이 입력되면(S150), 영상 처리 시스템은 검색조건에 매칭하는 인덱스 데이터 및 입력 영상으로부터 인덱스 데이터에 대응하는 영상 데이터를 추출하여 소정 단위로 분할한다(S160).

영상 처리 시스템은 인덱스 데이터로부터 분할된 영역이 움직임량을 산출한다(S170). 영상 처리 시스템은 검색조건으로 입력된 시간의 움직임 분석결과를, 인덱스 데이터로 추출하여, 분할된 영역에 대응시켜 움직임량(움직임 발생빈도)을 산출할 수 있다. 여기서, 인덱스 데이터베이스에는 누적 해싱을 적용한 움직임 분석 결과에 따른 인덱스 데이터가 저장되어 있다. 따라서 사용자가 입력한 t2 및 t1(t2>t1) 시간구간에 대하여, 영상 처리 시스템이 두 시간구간 사이의 움직임량의 차이를 인덱스 데이터베이스로부터 추출하고, 인덱스 데이터를 분할된 영역에 대응시켜 움직임량을 산출할 수 있다.

영상 처리 시스템은 움직임량이 산출된 영역으로부터 순위를 설정하고, 설정된 순위에 따라 서로 다른 색을 할당하는 히트맵을 생성한다(S180).

영상 처리 시스템은 히트맵 생성 결과에 스무딩 필터링을 적용하여 재구성된 히트맵과 검색조건에 매칭하는 재생 영상을 각각 화면의 다른 영역에 디스플레이 하거나, 재구성된 히트맵 및 해당 영상을 중첩한 내용과 검색조건에 매칭하는 재생 영상을 각각 화면의 다른 영역에 디스플레이 한다(S190). 다른 실시 예로, 히트맵 생성 결과에서 동일한 색상을 갖는 영역끼리 연결하여 등고선 처리하여 재구성된 히트맵과 검색조건에 매칭하는 재생 영상을 각각 화면의 다른 영역에 디스플레이 하거나, 등고선 처리하여 재구성된 히트맵 및 해당 영상을 중첩한 내용과 검색조건에 매칭하는 재생 영상을 각각 화면의 다른 영역에 디스플레이 할 수도 있다. 이와 같은 스무딩 필터링이 적용되거나, 등고선 처리되어 재구성된 히트맵은 사용자가 움직임 분포의 전체적인 경향을 좀 더 쉽게 파악할 수 있는 직관적인 결과를 제공할 수 있다.

영상 처리 시스템은 사용자에 의해 재구성된 히트맵 상의 임의의 지점이 선택되었는지 판단하여(S200), 재구성된 히트맵 상의 임의의 지점이 선택된 경우, 선택된 지점에 해당하는 요약 영상을 생성한다(S210).

영상 처리 시스템은 재구성된 히트맵, 검색조건에 매칭하는 재생 영상 및 요약 영상을 각각 화면의 다른 영역에 디스플레이 한다(S220).

본 발명의 다양한 실시 예들은 어떠한 방법으로도 본 발명의 범위를 한정하지 않는다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것이며, 실제 장치에서는 대체 가능하거나 추가적인 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로 구현될 수 있다. 또한, "필수적인", "중요하게" 등과 같은 구체적인 언급이 없다면, 본 발명의 실시를 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 분석부 110: 영상 분석 엔진
111: 물체 분류부 112: 움직임 분석부
113: 동선 분석부 120: 인덱싱 엔진
300: 데이터베이스부 310: 영상 데이터베이스
320: 메타데이터 데이터베이스 330: 인덱스 데이터베이스
500: 검색부 510: 쿼리 엔진
520: 검색 엔진 530: 브라우징 엔진
531: 영역 분할부 532: 움직임량 산출부
533: 색상 지정부 534: 스무딩부
535: 히트맵 생성부 537: 중첩부
539: 요약 영상 생성부 700: 사용자 단말
710: 입력장치 720: 디스플레이부

Claims (20)

1. 입력 영상을 분석하여 메타데이터를 생성하는 영상 분석 엔진;
   상기 메타데이터를 구조화 및 정리하여 검색하기 용이한 인덱스 데이터로 생성하는 인덱싱 엔진;
   검색조건에 매칭하는 인덱스 데이터, 및 상기 영상으로부터 상기 인덱스 데이터에 대응하는 영상 데이터를 추출하는 검색 엔진; 및
   상기 추출된 인덱스 데이터 및 영상 데이터를 기초로 히트맵을 생성하고, 상기 히트맵 및 상기 검색조건에 매칭하는 영상을 화면에 디스플레이 하는 브라우징 엔진;을 포함하고,
   상기 영상 분석 엔진은 상기 영상으로부터 물체를 분류하고, 상기 물체의 움직임 및 동선을 분석하고, 단위시간 당 상기 물체의 움직임 분석 결과를 누적 처리하는 것을 특징으로 하는 영상 처리 시스템.
2. 삭제
3. 삭제
4. 제 1항에 있어서, 상기 브라우징 엔진은,
   상기 검색조건에 매칭하는 상기 영상의 영역을 소정 단위로 분할하고, 상기 인덱스 데이터로부터 분할된 영역의 움직임량을 산출하여 순위를 설정하고, 설정된 순위에 따라 서로 다른 색상을 할당하여 히트맵을 생성하고, 상기 히트맵에 스무딩 필터링을 적용하여 재구성된 히트맵을 생성하는 것을 특징으로 하는 영상 처리 시스템.
5. 제 4항에 있어서, 상기 브라우징 엔진은,
   상기 히트맵 중 동일한 색상을 갖는 영역끼리 연결하여 등고선 처리하여 재구성된 히트맵을 생성하는 것을 특징으로 하는 영상 처리 시스템.
6. 제 4항 또는 제 5항에 있어서, 상기 브라우징 엔진은,
   상기 검색조건에 매칭하는 영상 및 상기 재구성된 히트맵을 중첩하여 처리하는 것을 특징으로 하는 영상 처리 시스템.
7. 제 4항에 있어서, 상기 브라우징 엔진은,
   상기 재구성된 히트맵 상의 임의의 지점이 선택되면, 선택된 지점에 해당하는 요약 영상을 제공하는 것을 특징으로 하는 영상 처리 시스템.
8. 제 7항에 있어서, 상기 브라우징 엔진은,
   상기 재구성된 히트맵, 상기 검색조건에 매칭하는 영상 및 상기 요약 영상을 각각 화면의 다른 영역에 디스플레이 하는 것을 특징으로 하는 영상 처리 시스템.
9. 검색조건에 매칭하는 영상의 영역을 소정 단위로 분할하고, 상기 영상의 메타데이터를 구조화 및 정리한 인덱스 데이터로부터 분할된 영역의 움직임량을 산출하여 순위를 설정하고, 설정된 순위에 따라 서로 다른 색상을 할당하여 생성한 히트맵에 스무딩 필터링을 적용하여 재구성된 히트맵을 생성하는 히트맵 생성부; 및
   상기 재구성된 히트맵 및 상기 검색조건에 매칭하는 영상을 디스플레이 하는 디스플레이부;를 포함하고,
   상기 히트맵 생성부는 상기 영상으로부터 물체를 분류하고, 상기 물체의 움직임 및 동선을 분석하고, 단위시간 당 상기 물체의 움직임 분석 결과를 누적 처리하는 것을 특징으로 하는 것을 특징으로 하는 영상 처리 시스템.
10. 제 9항에 있어서, 상기 히트맵 생성부는,
    상기 히트맵 중 동일한 색상을 갖는 영역끼리 연결하여 등고선 처리하여 재구성된 히트맵을 생성하는 것을 특징으로 하는 영상 처리 시스템.
11. 제 9항에 있어서, 상기 히트맵 생성부는,
    상기 검색조건에 매칭하는 영상 및 상기 재구성된 히트맵을 중첩하는 중첩부;를 더 포함하는 것을 특징으로 하는 영상 처리 시스템.
12. 제 11항에 있어서, 상기 히트맵 생성부는,
    상기 재구성된 히트맵 상의 임의의 지점이 선택되면, 선택된 지점에 해당하는 요약 영상을 생성하는 요약 영상 생성부;를 더 포함하는 것을 특징으로 하는 영상 처리 시스템.
13. 제 12항에 있어서, 상기 디스플레이부는,
    상기 재구성된 히트맵, 상기 검색조건에 매칭하는 영상 및 상기 요약 영상을 각각 다른 영역에 디스플레이 하는 것을 특징으로 하는 영상 처리 시스템.
14. 입력 영상을 분석하여 메타데이터를 생성하는 영상 분석 단계;
    상기 메타데이터를 구조화 및 정리하여 검색하기 용이한 인덱스 데이터로 생성하는 인덱싱 단계;
    검색조건에 매칭하는 인덱스 데이터, 및 상기 영상으로부터 상기 인덱스 데이터에 대응하는 영상 데이터를 추출하는 검색 단계;
    상기 추출된 인덱스 데이터 및 영상 데이터를 기초로 히트맵을 생성하고, 상기 히트맵 및 상기 검색조건에 매칭하는 영상을 화면에 디스플레이 하는 브라우징 단계;
    상기 영상으로부터 물체를 분류하고, 상기 물체의 움직임 및 동선을 분석하는 단계; 및
    단위시간 당 상기 물체의 움직임 분석 결과를 누적 처리하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
15. 삭제
16. 제 14항에 있어서, 상기 브라우징 단계는,
    상기 검색조건에 매칭하는 상기 영상의 영역을 소정 단위로 분할하는 단계;
    상기 인덱스 데이터로부터 분할된 영역의 움직임량을 산출하는 단계;
    상기 분할된 영역의 움직임량에 순위를 설정하고, 설정된 순위에 따라 서로 다른 색상을 할당하여 히트맵을 생성하는 단계; 및
    상기 히트맵에 스무딩 필터링을 적용하여 재구성된 히트맵을 생성하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
17. 제 16항에 있어서,
    상기 히트맵 중 동일한 색상을 갖는 영역끼리 연결하여 등고선 처리하여 재구성된 히트맵을 생성하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
18. 제 16항에 있어서,
    상기 검색조건에 매칭하는 영상 및 상기 재구성된 히트맵 생성결과를 중첩하는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
19. 제 16항에 있어서,
    상기 재구성된 히트맵 상의 임의의 지점이 선택되면, 선택된 지점에 해당하는 요약 영상을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
20. 입력 영상을 분석하여 메타데이터를 생성하는 영상 분석 단계;
    상기 메타데이터를 구조화 및 정리하여 검색하기 용이한 인덱스 데이터로 생성하는 인덱싱 단계;
    검색조건에 매칭하는 인덱스 데이터, 및 상기 영상으로부터 상기 인덱스 데이터에 대응하는 영상 데이터를 추출하는 검색 단계;
    상기 추출된 인덱스 데이터 및 영상 데이터를 기초로 히트맵을 생성하고, 상기 히트맵 및 상기 검색조건에 매칭하는 영상을 화면에 디스플레이 하는 브라우징 단계;
    상기 영상으로부터 물체를 분류하고, 상기 물체의 움직임 및 동선을 분석하는 단계; 및
    단위시간 당 상기 물체의 움직임 분석 결과를 누적 처리하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.

Images