KR20150053162A - 검색 시스템 및 영상 검색 방법 - Google Patents

Abstract

본 발명은 검색 시스템 및 영상 검색 방법을 개시한다.
본 발명의 실시예에 따른 검색 시스템은, 검색 조건에 매칭하는 인덱스 데이터, 및 영상 센서로부터 획득한 원본 영상으로부터 상기 인덱스 데이터에 대응하는 영상 데이터를 추출하는 검색 엔진; 및 상기 추출된 인덱스 데이터 및 영상 데이터를 기초로 요약 영상을 생성하고, 상기 원본 영상에서의 객체 등장 순서에 대응하는 순서로 상기 요약 영상의 객체를 배경 모델과 중첩하여 렌더링하는 브라우징 엔진;을 포함할 수 있다.

Description

검색 시스템 및 영상 검색 방법{Search System and Video Search method}

본 발명은 검색 시스템 및 영상 검색 방법에 관한 것이다.

영상을 짧게 구성하여 축약하는 것을 영상 요약(Video summary)이라 한다. 즉, 영상 요약은 원본 영상의 재생 길이보다 짧게 구성하는 것이다. 검색 결과가 여러 개의 영상 구간으로 이루어져 있을 경우, 사용자는 각 영상을 재생하여야 원본 영상의 내용을 파악할 수 있다. 이러한 개별 재생은 사용자에게 불편하며, 시간이 많이 걸린다. 이에 반해 영상 요약은 검색 결과를 모두 하나의 영상으로 축약하여 재생토록 함으로써 사용자에게 편리한 내용 파악 기능을 제공한다.

KR 0547370 R

본 발명은 사용자가 편리하게 검색할 수 있는 검색 시스템 및 검색 방법을 제공하고자 한다.

본 발명의 실시예에 따른 검색 시스템은, 검색 조건에 매칭하는 인덱스 데이터, 및 원본 영상으로부터 상기 인덱스 데이터에 대응하는 영상 데이터를 추출하는 검색 엔진; 및 상기 추출된 인덱스 데이터 및 영상 데이터를 기초로 요약 영상을 생성하고, 상기 원본 영상에서의 객체 등장 순서에 대응하는 순서로 상기 요약 영상의 객체를 배경 모델과 중첩하여 렌더링하여 화면에 디스플레이하는 브라우징 엔진;을 할 수 있다.

상기 브라우징 엔진은, 상기 객체 등장 순서를 유지하면서 상기 요약 영상의 객체들 간의 시간적 중첩 정도를 변경하여 할 수 있다.

상기 브라우징 엔진은, 상기 요약 영상의 시작부터 일정 시간 동안에 표시되는 객체의 수를 제한할 수 있다.

상기 브라우징 엔진은, 영상 전환 요청에 대응하여 상기 요약 영상을 시간 또는 카테고리 단위의 복수의 레이어들로 3차원 렌더링할 수 있다.

상기 브라우징 엔진은, 상기 복수의 레이어들을 중첩하여 표시하고, 상기 복수의 레이어들 중 선택된 레이어를 재생할 수 있다.

상기 브라우징 엔진은, 상기 검색 조건에서 제외 조건이 선택되면, 상기 요약 영상에서 상기 제외 조건에 대응하는 객체를 제거할 수 있다.

상기 브라우징 엔진은, 상기 요약 영상에서 식별된 하나 이상의 객체를 검색 조건으로 표시하고, 상기 요약 영상에서 식별된 검색 조건 중 선택된 검색 조건을 제거할 수 있다.

상기 검색 시스템은, 상기 원본 영상으로부터 추출한 메타데이터를 구조화한 상기 인덱스 데이터를 생성하는 인덱싱 엔진;을 더 포함할 수 있다.

본 발명의 실시예에 따른 검색 시스템은, 검색 조건에 매칭하는 인덱스 데이터, 및 원본 영상으로부터 추출된 상기 인덱스 데이터에 대응하는 영상 데이터를 기초로 요약 영상을 생성하고, 상기 원본 영상에서의 객체 등장 순서에 대응하는 순서로 상기 요약 영상의 객체를 배경 모델과 중첩하여 렌더링하여 화면 상에 디스플레이하는 요약영상 생성부; 영상 전환 요청에 대응하여 상기 요약 영상을 시간 또는 카테고리 단위의 복수의 레이어들로 화면 상에 3차원 배열하는 3차원구성부; 및 상기 검색 조건에서 제외 조건이 선택되면, 상기 요약 영상에서 상기 제외 조건에 대응하는 객체를 제거한 요약 영상을 화면 상에 디스플레이하는 필터링부;를 포함할 수 있다.

상기 요약영상 생성부는, 상기 객체 등장 순서를 유지하면서 상기 요약 영상의 객체들 간의 시간적 중첩 정도를 변경하여 렌더링할 수 있다.

상기 요약영상 생성부는, 상기 요약 영상의 시작부터 일정 시간 동안에 표시되는 객체의 수를 제한할 수 있다.

상기 3차원 구성부는, 상기 복수의 레이어들을 중첩하여 표시하고, 상기 복수의 레이어들 중 선택된 레이어를 재생할 수 있다.

상기 필터링부는, 상기 요약 영상에서 식별된 하나 이상의 객체를 검색 조건으로 표시하고, 상기 요약 영상에서 식별된 검색 조건 중 선택된 검색 조건을 제거할 수 있다.

본 발명의 실시예에 따른 영상 검색 방법은, 검색 조건에 매칭하는 인덱스 데이터, 및 원본 영상으로부터 상기 인덱스 데이터에 대응하는 영상 데이터를 추출하는 단계; 및 상기 추출된 인덱스 데이터 및 영상 데이터를 기초로 요약 영상을 생성하고, 상기 원본 영상에서의 객체 등장 순서에 대응하는 순서로 상기 요약 영상의 객체를 배경 모델과 중첩하여 렌더링하여 화면 상에 디스플레이하는 단계;를 포함할 수 있다.

상기 렌더링 단계는, 상기 객체 등장 순서를 유지하면서 상기 요약 영상의 객체들 간의 시간적 중첩 정도를 변경하여 렌더링하는 단계;를 포함할 수 있다.

상기 렌더링 단계는, 상기 요약 영상의 시작부터 일정 시간 동안에 표시되는 객체의 수를 제한하여 렌더링하는 단계;를 포함할 수 있다.

상기 방법은, 영상 전환 요청에 대응하여 상기 요약 영상을 시간 또는 카테고리 단위의 복수의 레이어들로 3차원 렌더링하는 단계;를 더 포함할 수 있다.

상기 3차원 렌더링 단계는, 상기 복수의 레이어들을 중첩하여 표시하고, 상기 복수의 레이어들 중 선택된 레이어를 재생하는 단계;를 포함할 수 있다.

상기 방법은, 상기 검색 조건에서 제외 조건이 선택되면, 상기 요약 영상에서 상기 제외 조건에 대응하는 객체를 제거하는 단계;를 더 포함할 수 있다.

상기 방법은, 상기 요약 영상에서 식별된 하나 이상의 객체를 검색 조건으로 표시하고, 상기 요약 영상에서 식별된 검색 조건 중 선택된 검색 조건을 제거하는 단계;를 더 포함할 수 있다.

본 발명은 사용자가 편리하게 검색 조건을 입력하고, 검색 결과로부터 쉽게 내용파악을 할 수 있다.

도 1은 본 발명의 실시 예에 따른 검색 시스템의 구성을 보이는 블록도 이다.
도 2는 본 발명의 실시예에 따른 브라우징 엔진의 구성을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 요약 영상을 표시하는 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 요약 영상 전환을 위한 사용자 입력 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 복수의 요약 영상 레이어들을 렌더링한 예를 도시한다.
도 6 및 도 7은 본 발명의 실시예에 따른 요약 영상의 편집을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 검색 시스템의 영상 분석 방법을 설명하는 흐름도이다.
도 9 및 도 10은 본 발명의 실시예에 따른 검색 시스템의 영상 검색 방법을 설명하는 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

도 1은 본 발명의 실시 예에 따른 검색 시스템의 구성을 보이는 블록도 이다. 도 1을 참조하면, 검색 시스템(1)은 분석부(100), 데이터베이스부(300) 및 검색부(500)를 포함한다.

분석부(100)는 입력되는 원본 영상을 온톨로지에 기반하여 분석하고, 분석 결과를 메타데이터 형태로 저장한다. 분석부(100)는 영상 분석 엔진(101) 및 인덱싱 엔진(105)을 포함할 수 있다.

영상 분석 엔진(101)은 원본 영상을 분석하고, 기 정의된 카테고리에 따라 원본 영상을 분류하고, 원본 영상에서 검출되는 객체의 속성, 예를 들어, 종류, 색상, 크기, 형태, 움직임, 궤적(trajectory) 등을 추출한다. 여기서 카테고리라 함은, 사용자가 결과로 제공받고자 입력하는 검색 조건일 수 있다. 즉, 본 발명의 실시예에서는 검색 시스템(1)에 정의된 카테고리와 검색 조건이 상호 연동되며, 카테고리가 추가되면 검색 조건 또한 추가 확장이 가능하다. 검색 시스템(1)은 분석할 내용의 카테고리를 정확히 정의하기 위해, 카테고리의 의미 및 카테고리들 간의 관계 정의를 수행한다.

본 발명의 실시예는 검색 조건과 카테고리를 연동하여 요약 영상을 생성함으로써 검색 시스템(1)이 제공하는 검색 조건과 동일한 의미론적(Semantic)인 검색 조건을 사용자에게 제공할 수 있다. 또한 사용자가 요약 영상으로부터 용이하게 내용을 파악할 수 있다.

영상 분석 엔진(101)은 원본 영상 내에서 객체의 등장, 사라짐, 객체의 움직임 감지, 영상 꺼짐 등과 같은 영상 분석을 수행할 수 있다. 또한 영상 분석 엔진(101)은 배경 영역 검출, 전경 및 객체 검출, 객체 카운팅, 카메라 탬퍼링(camera tampering) 검출, 얼굴 검출 등을 수행할 수 있다. 또한 영상 분석 엔진(101)은 영상의 밝기(brightness), 색상(color), 질감(texture) 및 윤곽선(shape) 정보도 산출할 수 있다.

더 나아가 영상 분석 엔진(101)은 영상 분석을 수행하여 설정된 이벤트 발생 조건에 만족하는 경우 이벤트를 발생시킨다. 여기서 이벤트라 함은, 네트워크 에러가 발생한 경우, 새로운 카메라(미도시)가 설정된 경우 등과 같이 시스템 내부에 설정된 시스템 이벤트를 포함할 수 있다. 또한 입력 영상의 경우에 객체의 출현, 사용자가 특정한 이미지(예를 들어 얼굴 인식이 불가능한 얼굴 등장) 발생, 화면 색깔이 바뀌는 경우, 설정된 영역에서 움직임 발생한 경우, 음원의 경우에 비정상적인 음원(예를 들어, 자동차 타이어 마찰음(스키드), 유리 깨지는 소리, 경보음, 충돌음 등) 발생, 사용자가 특정한 음원(예를 들어, 고함, 비명, 울음 소리 등) 발생, 임계값 이상의 음성이 발생한 경우 등과 같이 사용자에 의해 설정된 사용자 이벤트를 포함할 수 있다.

영상 분석 결과는 메타데이터 형태로 메타데이터 데이터베이스(303)에 저장된다. 이때 텍스트 기반 메타데이터 외에 움직임 영역의 블랍 이미지, 배경 모델과 같은 이미지 기반 메타데이터가 함께 메타데이터 데이터베이스(303)에 저장될 수 있다.

인덱싱 엔진(105)은 검색이 용이하도록 메타데이터를 구조화 및 정리하여 인덱스 데이터베이스(305)에 저장한다.

검색부(500)는 사용자로부터 입력된 검색 조건과 일치하는 정보를 포함하는 요약 영상(summarized video)을 생성하여 제공한다. 검색부(500)는 쿼리 엔진(501), 검색 엔진(503), 및 브라우징 엔진(505)을 포함할 수 있다.

쿼리 엔진(501)은 사용자로부터 입력 장치(600)를 통해 검색 조건을 입력받고, 검색 조건으로부터 사용자의 요구 사항을 분석하여 기 정의된 형태로 재구성한다. 예를 들어, 사용자는 입력 장치(600)를 통해 시간 구간, 카메라 채널 수, 객체의 종류(사람, 차량 등), 색상, 화면 상의 특정 구역(관심 영역: ROI), 화면 상의 특정 라인 및 특정 방향 등을 검색 조건으로 입력할 수 있다.

검색 엔진(503)은 재구성된 검색 조건에 매칭하는 인덱스 데이터를 인덱스 데이터베이스(305)로부터 추출하고, 영상 데이터베이스(301)로부터 추출된 인덱스 데이터에 대응하는 영상 데이터를 추출한다.

브라우징 엔진(505)은 추출된 인덱스 데이터 및 영상 데이터를 기초로 요약 영상을 생성하여 실시간 렌더링한다. 브라우징 엔진(505)은 시간 정보(객체 등장 시간, 이벤트 발생 시간 등)를 요약 영상에 표시시킬 수 있다. 브라우징 엔진(505)은 배경 모델을 렌더링하고, 배경 모델에 중첩하여 하나 이상의 움직이는 객체를 렌더링한다.

도 2는 본 발명의 실시예에 따른 브라우징 엔진의 구성을 개략적으로 도시한 블록도이다.

도 2를 참조하면, 브라우징 엔진(505)은 요약영상 생성부(510), 요약영상 편집부(530)를 포함할 수 있다.

요약영상 생성부(510)는 검색 조건에 매칭하는 인덱스 데이터 및 영상 데이터를 기초로 요약 영상을 생성하여 실시간 렌더링한다.

영상 요약 방법 중 하나인 시간 구간 기반의 영상 요약은 움직이는 물체가 없는 구간을 제거한 후, 영상을 재 구성하는 방법이다. 물체 기반의 영상 요약은 원본 영상의 객체가 요약 영상에서는 전혀 다른 구간에 나타날 수 있다. 즉, 물체 등장 구간을 요약 영상을 위해 계산하여 재구성하는 방법이다. 시간 구간 기반 영상 요약 방법은 요약 영상의 시간 구간이 많이 축약될 수 없어, 원본 영상 전체 구간에서 움직임이 있을 경우, 요약 영상은 원본 영상과 같은 구성을 갖는다. 물체 기반의 영상 요약 방법은 등장 시간이 전혀 다른 구간에 위치함으로써 원본 영상에서 일어난 행동의 파악이 어려울 수 있다. 예를 들어, 하나의 물체의 동선은 여러 개의 개별 동선으로 분리되어 요약 영상에서 여러 번 나타날 수 있다. 또한, 등장 물체가 요약 영상에서 어느 시간에 등장하여야 하는지 지속적으로 계산하여야 하므로, 매우 장시간의 시간구간을 요약할 경우, 매우 많은 수의 물체가 메모리상에 상주하며 지속적으로 요약 영상에서의 등장 순서를 계산하여야 한다.

본 발명의 실시예에서, 요약영상 생성부(510)는 원본 영상에서 객체의 등장 순서에 대응하여 요약 영상에서 검색 조건에 따라 추출된 하나 이상의 객체를 렌더링한다. 즉, 요약 영상에서 객체의 등장 순서는 원본 영상에서 객체의 등장 순서를 유지한다. 예를 들어, 브라우징 엔진(505)은 원본 영상에서 객체 A에 이어 객체 B가 등장하는 경우, 요약 영상에서 객체 B는 객체 A 보다 늦게 또는 동시에 등장하도록 설정할 수 있으며, 적어도 객체 A에 앞서 객체 B가 등장하지 않도록 한다. 본 발명의 실시예는 객체 등장 순서를 유지함으로써 모든 객체의 정보(인덱스 데이터 및 해당 영상 데이터)를 동시에 메모리에 상주시킬 필요가 없이 시간 별로 메모리를 사용할 수 있다. 즉, 본 발명의 실시예는 제한적인 큐(Queue)를 구성하여 순차적으로 등장하는 객체의 정보를 메모리에 유지함으로써 효율적으로 메모리를 사용할 수 있으며, 요약 영상의 생성 속도를 향상시키고, 요약 영상의 선형적(Lenear)인 구성이 가능하다.

도 3은 본 발명의 실시예에 따른 요약 영상을 표시하는 예를 나타낸 도면이다.

도 3을 참조하면, 원본 영상(a)에서 시간 T1 동안 객체 A가 등장한 후 사라지고, 소정 시간 경과 후, 객체 B가 등장한다.

요약 영상 I(b)과 요약 영상 II(c)는 객체 A와 객체 B가 등장하는 영상 데이터만을 추출하여 각각 시간 T2와 시간 T3 동안으로 축약된 요약 영상이다. 요약 영상 I(b)과 요약 영상 II(c)는 객체 A와 객체 B가 중첩하는 정도가 상이하다. 시간 상으로 등장 순서가 늦은 객체 B가 객체 A보다 앞서 등장하지 않는 조건 하에서, 요약 영상에서 객체 A와 객체 B의 중첩 정도는 요약 영상의 혼잡도를 조절함으로써 조정이 가능하다.

또한 요약영상 생성부(510)는 등장하는 객체의 수를 제한하여 렌더링할 수 있다. 처음부터 너무 많은 객체가 동시에 등장하면 혼란스러울 수 있다. 따라서, 요약영상 생성부(510)는 원본 영상에서 복수의 객체가 동시에 등장하는 경우가 아니라면, 요약 영상의 시작부터 수 초간은, 예를 들어, 최대 2개의 객체로 한정하여 요약 영상을 구성하도록 설정될 수 있다.

요약영상 편집부(530)는 요약 영상을 2차원 구조에서 3차원 구조로 또는 3차원 구조에서 2차원 구조로 전환하거나, 요약 영상의 설정을 변경할 수 있다. 요약영상 편집부(530)는 3차원(3D) 구성부(550) 및 필터링부(570)를 포함할 수 있다.

3D 구성부(550)는 영상 전환 요청이 입력되면, 영상 전환 요청에 대응하여 재생 중인 2차원의 요약 영상을 시간 또는 카테고리 단위의 복수의 요약 영상 레이어들로 구성되는 3차원 구조로 전환할 수 있다. 영상 전환 요청은 터치 또는 마우스 등의 입력 장치(600)를 이용하여 도 4에 도시된 바와 같이 요약 영상이 재생 중인 화면(700a) 상에서 좌에서 우 방향으로 또는 우에서 좌 방향으로 곡선 형태로 드로잉하는 사용자의 입력일 수 있다.

도 5는 본 발명의 실시예에 따른 복수의 요약 영상 레이어들을 렌더링한 예를 도시한다.

도 5를 참조하면, 특정 구역에 차량이 등장하는 이벤트들에 대한 정보를 갖는 요약 영상은 영상 전환 요청에 따라 차량의 종류 또는 차량의 색상별로 복수의 요약 영상의 레이어들로 전환될 수 있다.

예를 들어, 일정 시간 동안 등장한 차량이 배경 모델 상에 렌더링되어 재생 중인 하나의 요약 영상은, 영상 전환 요청에 따라, 오전 1시 37분에 차량 등장에 대한 이벤트의 요약 영상인 제1레이어(a), 오전 6시 8분에 차량 등장에 대한 이벤트의 요약 영상인 제2레이어(b), 및 오후 1시 24분에 차량 등장에 대한 이벤트의 요약 영상인 제3레이어(c)와 같이 복수의 요약 영상 레이어 구조로 전환될 수 있다. 화면의 가장 하위 레이어는 배경 모델(BG)이고, 상위 레이어로 갈수록 앞선 시간의 이벤트를 나타내는 요약 영상이 배치된다. 사용자가 화면을 바라보는 경우, 4개의 레이어들이 중첩되어 재생된다.

3D 구성부(550)는 복수의 레이어들 중 사용자가 선택한 레이어의 요약 영상만을 화면 상에 재생할 수 있다. 예를 들어, 도 5에 도시된 복수의 레이어들 중 사용자가 제3레이어(c)를 선택한 경우, 화면에는 제3레이어(c)의 요약 영상이 배경 모델(BG) 상에서 재생될 수 있다. 사용자는 하나 또는 둘 이상의 레이어를 선택할 수 있다.

3D 구성부(550)는 다시 영상 전환 요청이 입력되면, 3차원 구조의 복수의 요약 영상 레이어들을 다시 2차원의 하나의 요약 영상으로 합성 전환하여 재생할 수 있다. 이때 영상 전환 요청은 3차원 구조로의 전환을 위한 드로잉 방향과 동일한 방향의 드로잉 또는 반대 방향의 드로잉 또는 달리 설정된 입력일 수 있다.

필터링부(570)는 사용자의 쿼리(검색 조건)에 매칭하는 결과인 요약 영상이 실시간 렌더링되어 재생 중에 특정 검색 조건을 제외하는 요청이 입력되면, 재생 중인 요약 영상에서 제외 조건에 해당하는 내용이 필터링된(제거된) 새로운 요약 영상을 렌더링할 수 있다. 예를 들어, 최초 검색 조건이 흰색 및 빨간색 자동차인 경우, 흰색 자동차와 빨간색 자동차를 모두 표시하는 요약 영상이 화면에 재생된다. 재생 중, 흰색 조건을 제외하라는 입력이 수신되면, 필터링부(570)는 재생 중인 요약 영상에서 흰색 자동차를 제거한다. 이에 따라 화면에는 빨간색 자동차만을 표시하는 요약 영상이 재생된다.

도 6 및 도 7은 본 발명의 실시예에 따른 요약 영상의 편집을 나타내는 도면이다.

도 6을 참조하면, 좌측에 도시된 바와 같이, 화면에는 재생되는 요약 영상의 위치(재생 시간)를 확인할 수 있는 타임라인이 제공되고, 영상 분석(Video Analytics, VA) 선택 메뉴와, 검색 조건으로서, 객체(Object), 색상(Color), 관심영역(ROI) 등의 상위 카테고리 메뉴가 제시된다. 사용자는 타임라인의 바(bar) 또는 타임라인에 표시된 시간 눈금을 선택하거나 터치에 의해 재생 시간을 이동시킬 수 있다.

제시된 상위 카테고리 메뉴 중 하나가 선택되면, 우측에 도시된 바와 같이 선택된 상위 카테고리를 구성하는 하위 카테고리 메뉴가 별도의 우측 창(Window) 또는 재생 중인 요약 영상 상에 제시될 수 있다. 예를 들어, 상위 카테고리인 색상(Color)에는 흰색(White), 검은색(Black), 빨간색(Red), 노란색(Yellow), 녹색(Green), 보라색(Purple) 등의 하위 카테고리가 포함될 수 있다. 사용자의 선택에 의해 카테고리가 선택되면, 선택된 카테고리에 매칭하는 정보가 포함된 요약 영상이 생성되어 재생될 수 있다.

사용자는 요약 영상의 재생 중에 기 선택되었던 색상들 중 적어도 하나를 제외(Cancel)시키는 선택을 할 수 있고, 이에 응답하여 필터링부(570)는 제외 요청된 색상에 해당하는 데이터를 제거한 요약 영상을 생성할 수 있다. 예를 들어, 모든 색상의 차량에 대한 정보가 포함된 요약 영상의 재생 중에 사용자로부터 노란색의 하위 카테고리를 제외(Cancle)하는 선택이 입력되면, 화면에는 노란색 차량이 제거된 요약 영상으로 업데이트되어 재생된다.

도 7을 참조하면, 좌측에 도시된 상위 카테고리 메뉴 중 객체(Object)가 선택되면, 우측에 도시된 바와 같이 선택된 객체 카테고리를 구성하는 하위 카테고리 메뉴가 별도의 우측 창(Window) 또는 재생 중인 요약 영상 상에 제시될 수 있다. 예를 들어, 상위 카테고리인 객체(Object)에는 유형(Type), 사람(Person), 자동차(Car), 모든 객체(Anything) 등의 하위 카테고리가 포함될 수 있다.

또한 필터링부(570)는 하위 카테고리로서 '검출된 객체(Detected Object)'를 제공하여, 요약 영상 생성시 식별된 객체들을 검색 조건으로 제시할 수 있다. 사용자는 요약 영상에 검색을 원하지 않는 객체가 식별된 경우, 식별된 객체들 중 적어도 하나를 제외(Cancel)시키는 선택을 할 수 있고, 이에 응답하여 필터링부(570)는 제외 요청된 객체에 해당하는 데이터를 제거한 요약 영상을 생성할 수 있다.

데이터베이스부(300)는 원본 영상 및 영상 분석 결과 등을 저장한다. 데이터베이스부(300)는 영상 데이터베이스(301), 메타데이터 데이터베이스(303), 및 인덱스 데이터베이스(305)를 포함할 수 있다.

원본 영상은 검색 시스템(1)에 연결된 영상 센서인 카메라(미도시)로부터 직접 전송된 영상일 수 있고, 검색 시스템(1)에 연결된 디지털 비디오 레코더(DVR: digital video recorder) 또는 네트워크 비디오 레코더(NVR: network video recorder)에 저장된 영상일 수 있고, 또는 네트워크(미도시)를 통하여 다양한 경로로 입력되는 영상일 수 있다.

검색 시스템(1)으로 입력된 데이터 스트림 형태의 원본 영상은 영상 데이터베이스(301)에 저장된다.

원본 영상의 분석 결과는 텍스트(text) 기반의 메타데이터 형식으로 메타데이터 데이터베이스(303)에 저장된다. 또한 메타데이터 데이터베이스(303)에는 원본 영상의 일부인 이미지(image) 기반의 메타데이터, 예를 들어, 움직임이 감지된 객체의 블랍 이미지 및 배경 모델이 저장될 수 있다.

사용자 단말(800)은 검색 시스템(1)을 관리하는 사용자 또는 보안 관계자가 사용하는 단말로서, PC 또는 이동 단말기일 수 있다. 사용자는 사용자 단말(800)을 통해 검색 시스템(1)을 제어할 수 있다. 사용자 단말(800)은 검색 시스템(1)에 쿼리(검색 조건)를 입력할 수 있는 사용자 인터페이스인 입력 장치(600)를 구비한다.

입력 장치(600)는 검색 시스템(1)과 유선 또는 무선으로 연결되어 사용자가 검색 시스템(1)의 동작 제어를 위한 입력 데이터를 발생시킨다. 입력 장치(600)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 마우스, 리모컨, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 사용자 단말(800)은 입력 장치(600)를 사용하여 검색 조건을 수정, 추가, 또는 삭제를 수행하여, 요약 영상의 표시 조건을 설정할 수 있다.

사용자 단말(800)은 검색 조건에 매칭하는 요약 영상을 디스플레이 장치(700)에 표시할 수 있다.

디스플레이 장치(700)는 브라우징 엔진(505)으로부터 출력되는 요약 영상을 사용자에게 제공함으로써, 사용자가 표시되는 영상을 모니터링할 수 있도록 한다. 디스플레이 장치(700)는 요약 영상의 2차원 구조와 3차원 구조 간의 전환, 요약 영상 내에 표시될 객체의 종류 및 위치, 특정 시간 등의 검색 조건을 사용자가 직접 또는 간접으로 선택하기 위한 메뉴 항목을 표시할 수 있다. 검색 조건은 영상 분석 엔진(101)에 설정된 카테고리와 연동하여 확장이 가능하다.

디스플레이 장치(700)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 디스플레이 장치(700)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이 장치(700)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 입력 인터페이스로서 동작할 수 있다.

도 8은 본 발명의 일 실시예에 따른 검색 시스템의 영상 분석 방법을 설명하는 흐름도이다.

도 8을 참조하면, 검색 시스템은 원본 영상이 입력되면(S11), 분류 및 분석 모듈을 이용하여 원본 영상을 분석한다(S13). 검색 시스템은 기 정의된 카테고리에 따라 원본 영상을 분석할 수 있다. 카테고리는 검색 조건과 연동할 수 있고, 정의되는 카테고리에 따라 검색 조건이 설정 및 확장될 수 있다.

검색 시스템은 원본 영상의 분석 결과인 메타데이터를 생성하여 저장한다(S15). 메타데이터는 텍스트 기반 메타데이터 외에 움직임 영역의 블랍 이미지, 배경 모델과 같은 이미지 기반 메타데이터를 포함할 수 있다.

검색 시스템은 검색이 용이하도록 메타데이터를 구조화 및 정리한 인덱스 데이터를 생성하여 저장한다(S17).

도 9는 본 발명의 일 실시예에 따른 검색 시스템의 영상 검색 방법을 설명하는 흐름도이다.

도 9를 참조하면, 사용자로부터 검색 조건이 입력되면(S31), 검색 시스템은 검색 조건에 매칭하는 요약 영상을 생성하여 재생한다(S33). 검색 시스템은 검색 조건에 매칭하는 인덱스 데이터를 추출하고, 원본 영상으로부터 인덱스 데이터에 대응하는 영상 데이터를 추출한다. 그리고, 검색 시스템은 추출된 영상 데이터를 기초로 요약 영상을 생성한다.

검색 시스템은 배경 모델을 렌더링하고, 배경 모델 상에 배경 모델과 중첩하여 움직이는 객체를 실시간 렌더링함으로써 요약 영상을 재생한다. 검색 시스템은 원본 영상에서의 객체 등장 순서에 대응하도록 요약 영상에서 객체 등장 순서를 결정하여 객체를 렌더링할 수 있다. 검색 시스템은 원본 영상에서 복수의 객체가 동시에 등장하는 경우가 아니라면, 요약 영상의 시작부터 수 초간은 등장하는 객체의 수를 제한하여 렌더링할 수 있다.

검색 시스템은 영상 전환 요청이 있는 경우(S35), 2차원의 요약 영상을 하나 이상의 요약 영상 레이어가 중첩하는 3차원 구조로 전환한다(S37). 검색 시스템은 영상 전환 요청에 대응하여 재생 중인 2차원의 요약 영상을 시간 또는 카테고리별로 배열된 복수의 요약 영상 레이어들로 전환할 수 있다.

검색 시스템은 복수의 레이어들 중 레이어 선택이 수신되면, 선택된 레이어의 요약 영상을 재생한다(S39). 사용자는 하나 이상의 레이어를 동시에 선택할 수 있다. 선택된 하나 이상의 레이어는 합성되어 하나의 요약 영상으로 재생될 수 있다.

검색 시스템은 복수의 요약 영상 레이어가 중첩하는 구조에서, 2차원의 요약 영상으로 복원 요청이 있는 경우, 복수의 레이어들의 정보를 모두 포함하는 원래의 2차원 요약 영상을 복원하여 재생한다.

도 10은 본 발명의 일 실시예에 따른 검색 시스템의 영상 검색 방법을 설명하는 흐름도이다.

도 10을 참조하면, 사용자로부터 검색 조건이 입력되면(S51), 검색 시스템은 검색 조건에 매칭하는 요약 영상을 생성하여 재생한다(S53). 검색 시스템은 검색 조건에 매칭하는 인덱스 데이터를 추출하고, 원본 영상으로부터 인덱스 데이터에 대응하는 영상 데이터를 추출한다. 그리고, 검색 시스템은 추출된 영상 데이터를 기초로 요약 영상을 생성한다.

검색 시스템은 배경 모델을 렌더링하고, 배경 모델 상에 배경 모델과 중첩하여 움직이는 객체를 실시간 렌더링함으로써 요약 영상을 재생한다. 검색 시스템은 원본 영상에서의 객체 등장 순서에 대응하도록 요약 영상에서 객체 등장 순서를 결정하여 객체를 렌더링할 수 있다. 검색 시스템은 원본 영상에서 복수의 객체가 동시에 등장하는 경우가 아니라면, 요약 영상의 시작부터 수 초간은 등장하는 객체의 수를 제한하여 렌더링할 수 있다.

검색 시스템은 검색 조건의 변경이 있는 경우(S55), 변경된 검색 조건에 따라 요약 영상을 업데이트하여 재생한다(S57). 사용자의 검색 조건에 매칭하는 요약 영상의 재생 중에, 검색 조건을 제외하는 요청이 입력되면, 검색 시스템은 재생 중인 요약 영상에서 제외 조건에 해당하는 내용이 필터링된(제거된) 새로운 요약 영상을 렌더링할 수 있다. 또한 검색 시스템은 요약 영상에서 식별된 하나 이상의 객체를 검색 조건으로 표시하고, 제외 요청이 입력되면, 제외 요청된 검색 조건에 해당하는 객체가 제거된 요약 영상으로 업데이트하여 재생할 수 있다.

본 발명의 실시예는 요약 영상에 대해 다수 필터링 동시 적용, 용이한 변경 및 실시간 적용 등을 통해 검색의 정확성 및 용이성을 높일 수 있다.

본 발명에 따른 영상 검색 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

Claims (20)

1. 검색 조건에 매칭하는 인덱스 데이터, 및 원본 영상으로부터 상기 인덱스 데이터에 대응하는 영상 데이터를 추출하는 검색 엔진; 및
   상기 추출된 인덱스 데이터 및 영상 데이터를 기초로 요약 영상을 생성하고, 상기 원본 영상에서의 객체 등장 순서에 대응하는 순서로 상기 요약 영상의 객체를 배경 모델과 중첩하여 렌더링하여 화면에 디스플레이하는 브라우징 엔진;을 포함하는 검색 시스템.
2. 제1항에 있어서, 상기 브라우징 엔진은,
   상기 객체 등장 순서를 유지하면서 상기 요약 영상의 객체들 간의 시간적 중첩 정도를 변경하여 렌더링하는, 검색 시스템.
3. 제1항에 있어서, 상기 브라우징 엔진은,
   상기 요약 영상의 시작부터 일정 시간 동안에 표시되는 객체의 수를 제한하는, 검색 시스템.
4. 제1항에 있어서, 상기 브라우징 엔진은,
   영상 전환 요청에 대응하여 상기 요약 영상을 시간 또는 카테고리 단위의 복수의 레이어들로 3차원 렌더링하는, 검색 시스템.
5. 제4항에 있어서, 상기 브라우징 엔진은,
   상기 복수의 레이어들을 중첩하여 표시하고, 상기 복수의 레이어들 중 선택된 레이어를 재생하는, 검색 시스템.
6. 제1항에 있어서, 상기 브라우징 엔진은,
   상기 검색 조건에서 제외 조건이 선택되면, 상기 요약 영상에서 상기 제외 조건에 대응하는 객체를 제거하는, 검색 시스템.
7. 제1항에 있어서, 상기 브라우징 엔진은,
   상기 요약 영상에서 식별된 하나 이상의 객체를 검색 조건으로 표시하고, 상기 요약 영상에서 식별된 검색 조건 중 선택된 검색 조건을 제거하는, 검색 시스템.
8. 제1항에 있어서,
   상기 원본 영상으로부터 추출한 메타데이터를 구조화한 상기 인덱스 데이터를 생성하는 인덱싱 엔진;을 더 포함하는, 검색 시스템.
9. 검색 조건에 매칭하는 인덱스 데이터, 및 원본 영상으로부터 추출된 상기 인덱스 데이터에 대응하는 영상 데이터를 기초로 요약 영상을 생성하고, 상기 원본 영상에서의 객체 등장 순서에 대응하는 순서로 상기 요약 영상의 객체를 배경 모델과 중첩하여 렌더링하여 화면 상에 디스플레이하는 요약영상 생성부; 및
   영상 전환 요청에 대응하여 상기 요약 영상을 시간 또는 카테고리 단위의 복수의 레이어들로 화면 상에 3차원 배열하는 3차원구성부; 및
   상기 검색 조건에서 제외 조건이 선택되면, 상기 요약 영상에서 상기 제외 조건에 대응하는 객체를 제거한 요약 영상을 화면 상에 디스플레이하는 필터링부;를 포함하는 검색 시스템.
10. 제9항에 있어서, 상기 요약영상 생성부는,
    상기 객체 등장 순서를 유지하면서 상기 요약 영상의 객체들 간의 시간적 중첩 정도를 변경하여 렌더링하는, 검색 시스템.
11. 제9항에 있어서, 상기 요약영상 생성부는,
    상기 요약 영상의 시작부터 일정 시간 동안에 표시되는 객체의 수를 제한하는, 검색 시스템.
12. 제9항에 있어서, 상기 3차원 구성부는,
    상기 복수의 레이어들을 중첩하여 표시하고, 상기 복수의 레이어들 중 선택된 레이어를 재생하는, 검색 시스템.
13. 제9항에 있어서, 상기 필터링부는,
    상기 요약 영상에서 식별된 하나 이상의 객체를 검색 조건으로 표시하고, 상기 요약 영상에서 식별된 검색 조건 중 선택된 검색 조건을 제거하는, 검색 시스템.
14. 검색 조건에 매칭하는 인덱스 데이터, 및 원본 영상으로부터 상기 인덱스 데이터에 대응하는 영상 데이터를 추출하는 단계; 및
    상기 추출된 인덱스 데이터 및 영상 데이터를 기초로 요약 영상을 생성하고, 상기 원본 영상에서의 객체 등장 순서에 대응하는 순서로 상기 요약 영상의 객체를 배경 모델과 중첩하여 렌더링하여 화면 상에 디스플레이하는 단계;를 포함하는 영상 검색 방법.
15. 제14항에 있어서, 상기 렌더링 단계는,
    상기 객체 등장 순서를 유지하면서 상기 요약 영상의 객체들 간의 시간적 중첩 정도를 변경하여 렌더링하는 단계;를 포함하는, 영상 검색 방법.
16. 제14항에 있어서, 상기 렌더링 단계는,
    상기 요약 영상의 시작부터 일정 시간 동안에 표시되는 객체의 수를 제한하여 렌더링하는 단계;를 포함하는, 영상 검색 방법.
17. 제14항에 있어서,
    영상 전환 요청에 대응하여 상기 요약 영상을 시간 또는 카테고리 단위의 복수의 레이어들로 3차원 렌더링하는 단계;를 더 포함하는, 영상 검색 방법.
18. 제17항에 있어서, 상기 3차원 렌더링 단계는,
    상기 복수의 레이어들을 중첩하여 표시하고, 상기 복수의 레이어들 중 선택된 레이어를 재생하는 단계;를 포함하는, 영상 검색 방법.
19. 제14항에 있어서,
    상기 검색 조건에서 제외 조건이 선택되면, 상기 요약 영상에서 상기 제외 조건에 대응하는 객체를 제거하는 단계;를 더 포함하는, 영상 검색 방법.
20. 제14항에 있어서,
    상기 요약 영상에서 식별된 하나 이상의 객체를 검색 조건으로 표시하고, 상기 요약 영상에서 식별된 검색 조건 중 선택된 검색 조건을 제거하는 단계;를 더 포함하는, 영상 검색 방법.

Images