KR20140040342A - 감시 영상 분석 방법 및 시스템 - Google Patents

감시 영상 분석 방법 및 시스템 Download PDF

Info

Publication number
KR20140040342A
KR20140040342A KR1020120106586A KR20120106586A KR20140040342A KR 20140040342 A KR20140040342 A KR 20140040342A KR 1020120106586 A KR1020120106586 A KR 1020120106586A KR 20120106586 A KR20120106586 A KR 20120106586A KR 20140040342 A KR20140040342 A KR 20140040342A
Authority
KR
South Korea
Prior art keywords
moving object
moving
image
information
reduced
Prior art date
Application number
KR1020120106586A
Other languages
English (en)
Other versions
KR101513414B1 (ko
Inventor
김수완
최진영
윤기민
윤상두
박주형
임정은
박동준
Original Assignee
삼성테크윈 주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 서울대학교산학협력단 filed Critical 삼성테크윈 주식회사
Priority to KR1020120106586A priority Critical patent/KR101513414B1/ko
Publication of KR20140040342A publication Critical patent/KR20140040342A/ko
Application granted granted Critical
Publication of KR101513414B1 publication Critical patent/KR101513414B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 감시 영상 분석 방법 및 시스템에 관한 것으로, 본 발명의 일 실시예에 따르면, 감시 영상에서 배경 영역을 추출하는 단계; 상기 감시 영상에서 위치 정보, 이동 궤적, 시간 정보, 외관 이미지 정보를 포함하는 적어도 하나 이상의 이동 물체의 움직임 정보를 추출하는 단계; 상기 움직임 정보에 기초하여 움직임 정보를 축약된 시간에 상기 배경 영역에 합성하여 표시할 수 있는 축약 동영상을 생성하는 단계; 를 포함하는 감시 영상 분석 방법이 제공된다.

Description

감시 영상 분석 방법 및 시스템 {METHOD AND SYSTEM FOR ANALYZING SURVEILLANCE IMAGE}
본 발명은 감시 영상 분석 방법 및 시스템에 관한 것으로, 보다 상세하게는 동영상 내의 관심 이벤트를 탐색하고 탐색된 이벤트들만 모아서 축약 동영상으로 제공하는 감시 영상 분석 방법 및 시스템을 제공한다. 또한, 본 발명은 가상 표시를 사용하여 움직임을 애니메이션하고 움직이는 물체의 국부 동작을 별도로 확인할 수 있는 감시 영상 분석 방법 및 시스템을 제공한다.
영상 감시 시스템은 감시가 필요한 여러 장소에 카메라를 설치하고 카메라로부터 획득된 영상들을 모니터로 전송하거나 저장장치에 저장하여 실시간 감시 및 사후 검색을 수행할 수 있도록 해주는 시스템이다.
최근 사회 전반적으로 영상 감시에 대한 요구가 증가하면서, 늘어나는 시스템에 비해 이를 관리하는 인력 부족 현상을 해소하기 위하여 사람을 대신해 움직임 감지 기술, 얼굴 인식 기술, 목표물 추적 기술 등을 사용하는 지능형 영상 분석 기술들이 개발되고 있다.
특히, 목표물 추적 기술을 사용하는 감시 시스템에서는 목표물을 추출해 내더라도, 마찬가지로 인력이 동원되어 목표물의 궤적을 모니터링하여야 하는 문제점이 있다. 이러한 문제점을 해결하기 위해 영상을 축약하는 기술들이 개발되고 있다.
한국 등록특허 제0512138호는 키프레임이나 키영역을 조합하여 하나의 이미지로서 합성 키프레임을 논리적/물리적으로 생성하는 발명을 개시하고 있다.
본 발명은 실시간 감시 시스템에서 움직임 탐지 및 추적의 결과로 얻어진 이벤트 정보를 활용하여 이벤트 요약 및 분석을 위한 데이터 베이스를 구축하고 이를 기반으로 과거의 장기간 동안 발생한 상황을 짧은 시간 안에 애니메이션 하여 보여줌으로써 감시 효율을 높이는 것을 일 목적으로 한다.
본 발명의 일 실시예에 따르면, 감시 영상에서 배경 영역을 추출하는 단계; 상기 감시 영상에서 위치 정보, 이동 궤적, 시간 정보, 외관 이미지 정보를 포함하는 적어도 하나 이상의 이동 물체의 움직임 정보를 추출하는 단계; 상기 움직임 정보에 기초하여 움직임 정보를 축약된 시간에 상기 배경 영역에 합성하여 표시할 수 있는 축약 동영상을 생성하는 단계; 를 포함하는 감시 영상 분석 방법이 제공된다.
본 발명에 있어서, 상기 축약 동영상을 디스플레이하는 단계는 특정 이동 물체와 타 이동 물체를 구별할 수 있도록 상기 축약 동영상 내의 상기 이동 물체를 가상 표시로 대체하여 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 축약 동영상 내에서 상기 가상 표시로 대체된 상기 이동 물체의 원본 영상을 상기 축약 동영상과 별도의 화면으로 표시하고, 상기 축약 동영상이 재생되는 경우 상기 별도의 화면을 동기화하여 재생하는 것을 특징으로 한다.
본 발명에 있어서, 상기 축약 동영상에서 상기 이동 물체의 움직임 정보를 표시할 때 상기 이동 궤적을 참조하여 상기 이동 물체가 과거에 지나간 영역은 흐리거나 작게 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 감시 영상에서 특정 이동 물체가 타 이동 물체보다 선행하여 출현하였고, 상기 축약 동영상에서 상기 특정 이동 물체의 영역이 타 이동 물체의 영역과 일부 중첩되는 경우, 상기 축약 동영상 상에서 상기 특정 이동 물체의 위치가 상기 타 이동 물체의 첫 출현 위치와 일정 거리 이상이 되는 경우, 상기 타 이동 물체를 상기 축약 동영상 상에 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 이동 물체의 이동 궤적을 스무딩 필터(smoothing filter) 혹은 커브피팅(curve-fitting) 기법을 사용하여 보정한 후, 보정된 이동 궤적에 기초한 상기 움직임 정보를 상기 축약 동영상에 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 위치 정보, 상기 이동 궤적, 상기 시간 정보, 상기 외관 이미지 정보, 상기 이동 물체의 종류 중 적어도 하나의 항목에 관련되는 검색 키워드를 입력 받아 상기 검색 키워드에 부합하는 정보를 추출한 후, 상기 축약 동영상을 생성하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 감시 영상에서 배경 영역을 추출하는 배경 생성부; 상기 감시 영상에서 위치 정보, 이동 궤적, 시간 정보, 외관 이미지 정보를 포함하는 적어도 하나 이상의 이동 물체의 움직임 정보를 추출하는 움직임 추출부; 상기 움직임 정보에 기초하여 움직임 정보를 축약된 시간에 상기 배경 영역에 합성하여 표시할 수 있는 축약 동영상을 생성하는 동영상 생성부; 를 포함하는 영상 분석 시스템이 제공된다.
본 발명에 있어서, 상기 축약 동영상을 디스플레이하는 단계는 특정 이동 물체와 타 이동 물체를 구별할 수 있도록 상기 축약 동영상 내의 상기 이동 물체를 가상 표시로 대체하는 가상 표시부;를 더 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 감시 카메라; 상기 감시 카메라로부터 얻은 감시 영상 및 상기 감시 영상을 분석하기 위한 메타데이터를 저장하는 데이터베이스; 상기 데이터베이스로부터 상기 감시 영상을 획득하여 축약 동영상을 생성하는 영상 분석 서버;를 포함하고, 상기 영상 분석 서버는 감시 영상에서 배경 영역을 추출하는 배경 생성부; 상기 감시 영상에서 위치 정보, 이동 궤적, 시간 정보, 외관 이미지 정보를 포함하는 적어도 하나 이상의 이동 물체의 움직임 정보를 추출하는 움직임 추출부; 상기 움직임 정보에 기초하여 움직임 정보를 축약된 시간에 상기 배경 영역에 합성하여 표시할 수 있는 축약 동영상을 생성하는 동영상 생성부; 상기 축약 동영상을 디스플레이하는 단계는 특정 이동 물체와 타 이동 물체를 구별할 수 있도록 상기 축약 동영상 내의 상기 이동 물체를 가상 표시로 대체하는 가상 표시부;를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 실시간 감시 시스템에서 움직임 탐지 및 추적의 결과로 얻어진 이벤트 정보를 활용하여 이벤트 요약 및 분석을 위한 데이터 베이스를 구축하고 이를 기반으로 과거의 장기간 동안 발생한 상황을 짧은 시간 안에 애니메이션 하여 보여줌으로써 감시 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 감시 영상 분석 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 분석 서버(300)의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 축약 동영상을 만드는 과정을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따라 각 이동 물체에 가상 표시가 씌워진 영상을 도시하고 있다.
도 5는 본 발명의 일 실시예에 따라 이동 궤적 정보를 추출한 결과를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 분석 시스템의 사용자 인터페이스환경을 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 감시 영상 분석 시스템을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 감시 영상 분석 시스템은 감시 카메라(100), 통신망(200), 데이터베이스(400) 및 영상 분석 서버(300)를 포함하고 있음을 알 수 있다.
도 1을 참조하면, 감시 카메라(100)가 통신망(200)를 통해 영상 분석 서버(300)와 데이터를 주고받고 있다. 구체적으로, 감시 카메라(100)는 통신 채널(DCOM)을 통하여 영상 분석 서버(300)와 통신하면서, 영상 데이터 채널(DIMA)을 통하여 라이브 뷰 동영상 데이터를 영상 분석 서버(300)에 전달한다. 물론 복수 개의 감시 카메라(100)가 아닌 한 개의 감시 카메라(100)만 영상 분석 서버(300)와 통신할 수도 있고, 한 개의 감시 카메라(100) 또는 복수 개의 감시 카메라(100)들이 복수 개의 영상 분석 서버(300)들과 통신할 수도 있는 등 다양한 변형이 가능함은 물론이다.
여기서 통신 채널(DCOM) 및 영상 데이터 채널(DIMA)을 형성하는 통신망(200)는 유선 또는 무선으로 데이터나 명령을 송수신할 수 있는 모든 수단이 될 수 있다.
영상 분석 서버(300)는 감시 카메라(100)가 획득한 동영상 내의 관심 이벤트를 탐색하고 탐색된 이벤트들만 모아서 축약 동영상으로 제공한다. 또한, 영상 분석 서버(300)는 가상 표시를 사용하여 움직임을 애니메이션하고 움직이는 물체의 국부 동작을 별도로 확인할 수 있도록 축약 동영상 및 보충 동영상을 생성한다. 영상 분석 서버(300)의 구체적 기능 및 구성에 대해서는 아래에서 후술하기로 한다.
데이터베이스(400)는 영상 분석 서버(300)가 분석한 물체의 시간에 따른 위치 정보와 입력 영상을 바탕으로 물체의 대표 색, 물체의 크기, 물체의 분류(차/사람) 등의 정보를 저장하는 역할을 한다. 데이터 베이스는 이러한 정보를 특정 이동 물체의 움직임 정보로 분류하여 메타데이터로 저장할 수 있다.
또한, 데이터베이스(400)와 영상 분석 서버(300)는 일정 시간마다 통신함으로써 현재까지의 메타데이터를 데이터베이스(400)에 실시간으로 업데이트 할 수 있으며, 실시간으로 업데이트된 정보에 기반하여 영상 분석 서버(300)의 요청이 있을 경우 움직임 정보에 대한 빠른 검색이 가능하다.
또한 데이터베이스(400)는 영상 분석 서버(300)가 분석한 전체 궤적 정보를 바탕으로 대표적인 6~8개 정도의 움직임을 분류하여 각각의 이동 물체마다 해당되는 대표 움직임 또한 데이터베이스(400)에 저장할 수 있다.
도 1에서는 비록 데이터베이스(400)가 영상 분석 서버(300)와 별도로 구비된 것으로 표현하였지만, 본 발명의 일 실시예에 따른 데이터베이스(400)는 영상 분석 서버(300) 내에 구현될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 영상 분석 서버(300)의 구성을 나타낸 도면이다.
도 2를 참조하면, 영상 분석 서버(300)는 배경 생성부(310), 움직임 추출부(320), 스케쥴링부(330), 가상 표시부(340), 경로 설정부(350), 검색부(360), 동영상 생성부(370), 사용자 인터페이스부(380) 및 제어부(390)를 포함한다.
배경 생성부(310)는 감시 카메라(100)가 획득한 영상에서 배경을 추출한다. 배경이란, 영상에서 움직임이 없는 영역을 뜻한다. 배경 생성부(310)는 기존의 배경 추출 기법을 제한없이 사용하여 배경을 추출할 수 있다.
다음으로, 움직임 추출부(320)는 전체 동영상에 존재하는 적어도 하나 이상의 이동 물체의 움직임 정보를 추출한다. 움직임 정보는 위치 정보, 이동 궤적, 시간 정보, 외관 이미지 정보 중 어느 하나 이상을 포함한다.
다음으로, 스케쥴링부(330)는 추출한 움직임 정보를 바탕으로 각 이동 물체의 움직임을 빠른 시간내에 파악할 수 있도록, 축약 동영상에 각 이동 물체가 출현하는 시간을 재조정한다. 즉, 스케쥴링부(330)는 이동 물체의 움직임이 영상에 나타나는 시간을 재조합하여 축약 동영상에서 재조합된 시간에 기반하여 이동 물체들이 출현하도록 한다. 또한, 서로 다른 시간에 등장하는 이동 물체이더라도 한꺼번에 관측할 수 있도록 이동 물체가 축약 동영상에 표시되는 시간을 조정한다.
도 3은 본 발명의 일 실시예에 따라 축약 동영상을 만드는 과정을 설명하는 도면이다.
도 3의 (a) 상단은 원본 영상으로, t1~t2 시간 동안 자동차(이하, 이동 물체 1)가 좌에서 우로 이동하였고, t3~t4 시간 동안 사람(이하, 이동 물체 2)이 횡단 보도를 건넜으며, t5~t6의 시간 동안 자동차(이하, 이동 물체 3)가 우측에서 위로 이동하였음을 알 수 있다. 스케쥴링부(330)는 움직임 추출부(320)의 움직임 추출 결과를 참조하여 (a) 하단과 같이 각 이동 물체의 시간에 대한 움직임을 리스케쥴링할 수 있다.
(a) 하단은 축약 동영상의 영상을 나타내며, (a-2)를 참조하면, 스케쥴링부(330)는 이동 물체 1 내지 이동 물체 3이 동시간대에 영상 내에 존재하였는가에 관계없이, 축약 동영상 상에서 동시에 이동 물체 1 내지 이동 물체 3을 확인할 수 있도록 각 이동 물체의 영상에서의 존재 시간을 조정할 수 있다.
도 3의 (b) 상단은은 원래의 t1~t6 의 타임 라인을 예시한 것이다. 도 3의 (b) 하단을 참조하면, (b) 상단의 전체 타임라인 길이가 줄어들고 t1~t6의 순서도 재조정된 것을 알 수 있다. 즉, 원래의 타임 라인을 참조하면 이동 물체 1이 지나가고 난 다음에 이동 물체 3이 등장해야 하지만, 스케쥴링부(330)의 조정으로 이동물체 1 내지 이동물체 3이 한꺼번에 동영상에 등장할 수 있다. 또한, 타임라인 자체가 훨씬 단축되어 짧은 시간 안에 이동 물체들의 움직임을 파악하게 해 준다.
또한, 스케쥴링부(330)는 너무 많은 이동 물체의 궤적을 동시에 보여주게 되면 궤적의 겹침 등으로 인해 식별이 어려우므로, 물체의 궤적들이 가능한 한 겹치지 않도록 하는 충돌 회피 알고리즘 등을 적용한다.
다음으로, 가상 표시부(340)는 특정 이동 물체와 타 이동 물체를 구별할 수 있도록 축약 동영상 내의 상기 이동 물체에 가상 표시를 씌워 표시하는 역할을 한다. 가상 표시부(340)는 이동 물체가 움직이는 영역의 중앙 위치를 계산 한 후, 영상에 이동 물체 대신 가상 표시가 움직이도록 할 수 잇다. 가상 표시는 각 이동 물체를 서로 구별할 수 있도록 색과 모양이 다른 도형을 사용할 수 있으며, 색과 도형의 종류 등은 구별되지 않는다. 바람직하게는, 이동 물체에 대응하는 가상 표시는 이동 물체를 덮을 수 있을 정도의 크기일 수 있다.
예를 들어, 차와 사람을 구별하여 차라고 판단된 물체는 진행방향으로 긴 타원이나 차량 모양 등으로 표시하여 식별감을 높일 수 있다. 또한 사람으로 판단된 물체는 진행방향과 수직으로 긴 타원으로 표시하거나 사람모양으로 표시하여 식별할 수 있다.
또한 본 발명의 다른 일 실시예에서 가상 표시부(340)는 축약 동영상에서 특정 프레임의 각 이동 물체에 대하여 가상 표시를 하였을 때, 이어지는 프레임에서 계속하여 가상 표시를 하고 바로 전 프레임의 가상 표시는 지나간 시간에 비례하여 흐리게 혹은 작게 표시할 수 있다.
도 4는 본 발명의 일 실시예에 따라 각 이동 물체에 가상 표시가 씌워진 영상을 도시하고 있다.
도 4의 (a)를 참조하면, 축약 동영상에서 각 이동 물체가 가상 표시로 대체된 것을 알 수 있다.
또한, 도 4의 (b)를 참조하면, 축약 동영상에서 가상 표시가 이미 지나간 경로에 대하여서는 이전 프레임의 가상 표시를 작게 표시하여 각 이동 물체의 과거의 움직임을 표시하고 있는 것을 알 수 있다.
가상 표시부(340)는 이와 같은 가상 표시 작업을 통해, 사용자가 축약 동영상을 보는 경우 보다 직관적으로 물체의 움직임을 이해할 수 있도록 한다. 축약 동영상에서는 복수개의 이동 물체가 비슷한 경로를 따라 한꺼번에 이동하는 경우가 많으므로, 단순화된 가상 표시를 참조하여 사용자는 보다 빠르고 정확하게 이동 물체의 움직임 정보를 파악할 수 있다.
다음으로, 경로 설정부(350)는 영상 내의 이동 물체들의 궤적 중 빈번하게 일어나는 대표 이동 궤적 정보를 추출하는 역할을 한다. 빈번하게 일어나는 이동 궤적이란, 특정 시간 내에 해당 이동 궤적을 따라 이동한 이동 물체의 개수가 기준치 이상인 이동 궤적을 지칭한다. 추출된 이동 궤적 정보는 축약 동영상을 생성 및 검색할 때 사용될 수 있다.
도 5는 본 발명의 일 실시예에 따라 이동 궤적 정보를 추출한 결과를 나타내는 도면이다.
도 5는 도 3의 실시예에서 지나가는 차량 및 사람의 이동 정보를 분석하여, 경로 설정부(350)가 이동 궤적을 데이터화한 결과이다. 도 5를 참조하면, 도 3의 실시예와 같은 화면에서는 총 8가지의 이동 궤적이 빈번하게 일어나는 것을 알 수 있다.
사용자는 추출된 이동 궤적 정보를 사용하여 해당 이동 궤적을 가지는 이동 물체만을 축약 동영상에 표시하도록 설정할 수 있다. 예를 들어, 사용자가 오른쪽에서 왼쪽으로 이동하는 이동 물체만을 보기를 원하는 경우, 경로 설정부(350)는 해당 이동 궤적을 가지는 이동 물체만을 추출하여 축약 동영상을 생성할 수 있다.
또한, 경로 설정부(350)는 각 이동 물체의 이동 궤적을 추출한 후, 움직임이 부드러운 궤적을 가지도록 스무딩 필터를 사용하거나 커브피팅 기법 등을 써서 해당 이동 물체의 이동 궤적을 보정할 수 있다. 즉, 실제 영상에서는 비슷한 이동 궤적을 가지는 물체라도 미세한 부분의 궤적은 달라질 수 있다.
예를 들어, 자동차는 한 차선을 따라 이동하는 경우라도 차체가 좌우로 움직이며 이동할 수 있다. 경로 설정부(350)는 이러한 경우에도 해당 차량이 차선을 따라 일정한 움직임을 가지는 것으로 이동 궤적을 부드럽게 보정할 수 있다.
다음으로, 검색부(360)는 사용자가 특정 조건을 입력하여 부합하는 이동 물체의 움직임 정보를 찾고자 하는 경우, 데이터베이스(400)에 저장된 이동 물체의 움직임 정보를 참조하여 부합하는 이동 물체의 움직임 정보를 포함하는 축약 동영상을 생성하도록 한다. 검색부(360)는 시간대, 이동 물체의 색상, 이동 물체의 크기, 이동 물체의 종류, 궤적 등을 검색 조건으로 제공할 수 있다.
다음으로, 동영상 생성부(370)는 배경 생성부(310), 움직임 추출부(320), 스케쥴링부(330), 가상 표시부(340), 경로 설정부(350), 검색부(360)의 처리 결과에 기반하여 축약 동영상을 생성하는 역할을 한다. 동영상 생성부(370)는 생성된 축약 동영상을 데이터베이스(400)에 저장할 수도 있고, 사용자의 명령이 있을 때 실시간으로 축약 동영상을 스트리밍(streaming)하여 사용자에게 제공할 수 있다.
마지막으로, 사용자 인터페이스부(380)는 상기 배경 생성부(310), 움직임 추출부(320), 스케쥴링부(330), 가상 표시부(340), 경로 설정부(350), 검색부(360) 및 동영상 생성부(370)가 생성한 축약 동영상 및 이동 물체의 움직임 정보를 사용자에게 제공할 수 있도록 인터페이스를 생성하는 역할을 한다.
도 6은 본 발명의 일 실시예에 따른 영상 분석 시스템의 사용자 인터페이스환경을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자 인터페이스 환경일 뿐, 상술한 영상 분석 서버(300)의 기능을 나타낼 수 있다면 자유롭게 본 발명의 사용자 인터페이스 환경으로 채택될 수 있다.
도 6을 참조하면, 본 발명의 영상 분석 서버(300)의 사용자 인터페이스는 (a) 상단의 동영상 정보 표시 부분과 (b) 중단의 동영상 결과 출력 부분, (c) 하단의 검색 결과 출력 및 검색 조건 설정 부분으로 나누어진다.
상단의 동영상 정보 표시 부분 좌측에는 동영상의 이름과 재생시간, 전체 물체 수를 표시하고 우측에는 처음 동영상을 선택 한 경우 데이터베이스(400) 분석 진행 상황을 보여준다.
중단의 동영상 결과 출력 부분에서는 좌측에 가상 표시부(340)가 가상 표시 처리를 한 축약 동영상을 출력하고, 우측에 가상 표시를 하지 않은 축약 동영상을 출력한다.
또한, 좌측의 가상 표시 처리를 한 축약 동영상의 아래에는 원래 이동 물체의 움직임을 표시하는 동영상을 이동 물체별로 개별적으로 표시할 수 있다. 사용자는 가상 표시된 동영상을 보고 전체적인 이동 물체의 움직임 정보를 획득하고, 하단의 실제 움직임 정보를 통해 상세한 움직임 정보를 획득할 수 있다. 각 이동 물체의 실제 영상 옆에는 어떤 색상의 가상 표시가 이루어져있는지 나타나 있다.
즉, 동영상 생성부(370)는 최종적으로 검색 조건에 부합하는 이동 물체들을 표시하는 축약 동영상을 생성하여 (b) 영역에 표시한다. 검색 된 이동 물체들은 색상을 가지는 가상 표시로 표현되어 (b)의 좌측에 표시되며, 가상 표시되지 않은 이동 물체들을 우측에 표시된다. 또한, 가상 표시된 이동 물체의 썸네일 이미지와 해당 색상과 출현 시간은 목록화하여 (b)의 아래 영역에 표시한다. 혹은, 사용자가 (b)의 아래 영역에 표시된 이동 물체 중 하나를 선택하는 경우, 목록에서 선택된 물체는 해당 물체가 나타나는 실제 영상이 (b)의 우측 영역에 동영상으로 보여질 수 있다.
하단의 검색 조건 설정 부분 (c) 에서는 이동 물체의 외형(Appearance)과 이동 물체의 궤적(Trajectory) 중 하나를 선택하여 검색을 수행할 수 있다.
외형(Appearance) 조건에는 이동 물체가 나타난 시간, 색상, 크기, 분류, 위치 등이 있고 ‘모든 물체 선택’ 옵션을 선택하여 해당 동영상의 모든 이동 물체를 검색할 수 있다.
물체의 궤적(Trajectory)을 선택하는 경우에는 선택한 대표 궤적에 대응하는 물체들을 검색할 수 있다. 상술한 바와 같이, 경로 설정부(350)는 복수의 이동 물체들의 빈번한 이동 궤적을 추출해 낼 수 있다. 사용자는 추출된 이동 궤적 중 하나를 선택하여 해당 이동 궤적을 가지는 이동 물체들만을 확인할 수 있다.
마지막으로, 제어부(390)는 배경 생성부(310), 움직임 추출부(320), 스케쥴링부(330), 가상 표시부(340), 경로 설정부(350), 검색부(360), 동영상 생성부(370) 및 사용자 인터페이스부(380) 사이의 통신 및 전체 프로세스를 제어하는 역할을 한다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 감시 카메라 200: 통신망
300: 영상 분석 서버 310: 배경 생성부
320: 움직임 추출부 330: 스케쥴링부
340: 가상 표시부 350: 경로 설정부
360: 검색부 370: 동영상 생성부
380: 사용자 인터페이스부 390: 제어부
400: 데이터베이스

Claims (10)

  1. 감시 영상에서 배경 영역을 추출하는 단계;
    상기 감시 영상에서 위치 정보, 이동 궤적 정보, 시간 정보, 외관 이미지 정보를 포함하는 적어도 하나 이상의 이동 물체의 움직임 정보를 추출하는 단계;
    상기 움직임 정보에 기초하여 상기 이동 물체의 움직임을 축약된 시간에 상기 배경 영역에 합성하여 표시할 수 있는 축약 동영상을 생성하는 단계;
    를 포함하는 감시 영상 분석 방법.
  2. 제1항에 있어서,
    상기 축약 동영상을 생성하는 단계는 특정 이동 물체와 타 이동 물체를 구별할 수 있도록 상기 축약 동영상 내의 상기 이동 물체를 가상 표시로 대체하여 표시하는 것을 특징으로 하는 감시 영상 분석 방법.
  3. 제2항에 있어서,
    상기 축약 동영상 내에서 상기 가상 표시로 대체된 상기 이동 물체의 원본 영상을 상기 축약 동영상과 별도의 화면으로 표시하고, 상기 축약 동영상이 재생되는 경우 상기 별도의 화면을 동기화하여 재생하는 것을 특징으로 하는 감시 영상 분석 방법.
  4. 제1항에 있어서,
    상기 축약 동영상에서 상기 이동 물체의 움직임을 표시할 때 상기 이동 궤적 정보를 참조하여 상기 이동 물체가 과거에 지나간 영역은 흐리거나 작게 표시하는 것을 특징으로 하는 감시 영상 분석 방법.
  5. 제1항 내지 제4항에 있어서,
    상기 감시 영상에서 특정 이동 물체가 타 이동 물체보다 선행하여 출현하였고, 상기 축약 동영상에서 상기 특정 이동 물체의 영역이 타 이동 물체의 영역과 일부 중첩되는 경우,
    상기 축약 동영상에서 상기 특정 이동 물체의 위치가 상기 타 이동 물체의 첫 출현 위치와 일정 거리 이상이 된 후에, 상기 타 이동 물체를 상기 축약 동영상 상에 표시하는 것을 특징으로 하는 감시 영상 분석 방법.
  6. 제1항에 있어서,
    상기 이동 물체의 이동 궤적을 스무딩 필터(smoothing filter) 혹은 커브피팅(curve-fitting) 기법을 사용하여 보정한 후, 보정된 이동 궤적 정보에 기초한 상기 이동 물체의 움직임을 상기 축약 동영상에 표시하는 것을 특징으로 하는 감시 영상 분석 방법.
  7. 제1항에 있어서,
    상기 위치 정보, 상기 이동 궤적 정, 상기 시간 정보, 상기 외관 이미지 정보, 상기 이동 물체의 종류 중 적어도 하나의 항목에 관련되는 검색 키워드를 입력 받아 상기 검색 키워드에 부합하는 정보를 추출한 후, 상기 축약 동영상을 생성하는 것을 특징으로 하는 감시 영상 분석 방법.
  8. 감시 영상에서 배경 영역을 추출하는 배경 생성부;
    상기 감시 영상에서 위치 정보, 이동 궤적 정보, 시간 정보, 외관 이미지 정보를 포함하는 적어도 하나 이상의 이동 물체의 움직임 정보를 추출하는 움직임 추출부;
    상기 움직임 정보에 기초하여, 상기 이동 물체의 움직임을 축약된 시간에 상기 배경 영역에 합성하여 표시하는 축약 동영상을 생성하는 동영상 생성부;
    를 포함하는 감시 영상 분석 시스템.
  9. 제8항에 있어서,
    특정 이동 물체와 타 이동 물체를 구별할 수 있도록 상기 축약 동영상 내의 상기 이동 물체를 가상 표시로 대체하는 가상 표시부;
    를 더 포함하는 것을 특징으로 하는 감시 영상 분석 시스템.
  10. 감시 카메라;
    상기 감시 카메라로부터 얻은 감시 영상 및 상기 감시 영상을 분석하기 위한 메타데이터를 저장하는 데이터베이스;
    상기 데이터베이스로부터 상기 감시 영상을 획득하여 축약 동영상을 생성하는 영상 분석 서버;를 포함하고,
    상기 영상 분석 서버는 감시 영상에서 배경 영역을 추출하는 배경 생성부; 상기 감시 영상에서 위치 정보, 이동 궤적 정보, 시간 정보, 외관 이미지 정보를 포함하는 적어도 하나 이상의 이동 물체의 움직임 정보를 추출하는 움직임 추출부; 상기 움직임 정보에 기초하여 상기 이동 물체의 움직임을 축약된 시간에 상기 배경 영역에 합성하여 표시할 수 있는 축약 동영상을 생성하는 동영상 생성부; 특정 이동 물체와 타 이동 물체를 구별할 수 있도록 상기 축약 동영상 내의 상기 이동 물체를 가상 표시로 대체하는 가상 표시부;를 포함하는 것을 특징으로 하는 감시 시스템.
KR1020120106586A 2012-09-25 2012-09-25 감시 영상 분석 방법 및 시스템 KR101513414B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120106586A KR101513414B1 (ko) 2012-09-25 2012-09-25 감시 영상 분석 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120106586A KR101513414B1 (ko) 2012-09-25 2012-09-25 감시 영상 분석 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20140040342A true KR20140040342A (ko) 2014-04-03
KR101513414B1 KR101513414B1 (ko) 2015-04-21

Family

ID=50650549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120106586A KR101513414B1 (ko) 2012-09-25 2012-09-25 감시 영상 분석 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101513414B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496287B1 (ko) * 2014-11-11 2015-02-26 (주) 강동미디어 비디오 시놉시스 시스템 및 이를 이용한 비디오 시놉시스 방법
KR20160064576A (ko) * 2014-11-28 2016-06-08 한화테크윈 주식회사 영상 검색 방법 및 장치
WO2018004299A1 (ko) * 2016-06-30 2018-01-04 주식회사 케이티 영상 축약 시스템 및 방법
WO2018004298A1 (ko) * 2016-06-30 2018-01-04 주식회사 케이티 영상 축약 시스템 및 방법
KR101878617B1 (ko) * 2017-12-19 2018-07-13 부산대학교 산학협력단 궤적 데이터 처리 방법 및 궤적 데이터 처리 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5469523B2 (ja) * 2010-04-19 2014-04-16 セコム株式会社 軌跡表示装置
JP5612457B2 (ja) * 2010-12-21 2014-10-22 日本電信電話株式会社 動画像表示装置と動画像オブジェクト探索システムと動画像表示方法とプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496287B1 (ko) * 2014-11-11 2015-02-26 (주) 강동미디어 비디오 시놉시스 시스템 및 이를 이용한 비디오 시놉시스 방법
KR20160064576A (ko) * 2014-11-28 2016-06-08 한화테크윈 주식회사 영상 검색 방법 및 장치
WO2018004299A1 (ko) * 2016-06-30 2018-01-04 주식회사 케이티 영상 축약 시스템 및 방법
WO2018004298A1 (ko) * 2016-06-30 2018-01-04 주식회사 케이티 영상 축약 시스템 및 방법
KR20180003304A (ko) * 2016-06-30 2018-01-09 주식회사 케이티 영상 축약 시스템 및 방법
KR20180003309A (ko) * 2016-06-30 2018-01-09 주식회사 케이티 영상 축약 시스템 및 방법
US10614314B2 (en) 2016-06-30 2020-04-07 Kt Corporation Image summarization system and method
US10949675B2 (en) 2016-06-30 2021-03-16 Kt Corporation Image summarization system and method
KR101878617B1 (ko) * 2017-12-19 2018-07-13 부산대학교 산학협력단 궤적 데이터 처리 방법 및 궤적 데이터 처리 시스템

Also Published As

Publication number Publication date
KR101513414B1 (ko) 2015-04-21

Similar Documents

Publication Publication Date Title
US20210142070A1 (en) Automatic extraction of secondary video streams
US8614741B2 (en) Method and apparatus for intelligent and automatic sensor control using multimedia database system
CN105830092B (zh) 用于数字合成及/或检索的系统、方法及设备
CN105830009B (zh) 用于视频处理的方法和设备
US10205889B2 (en) Method of replacing objects in a video stream and computer program
EP2954499B1 (en) Information processing apparatus, information processing method, program, and information processing system
D’Orazio et al. A review of vision-based systems for soccer video analysis
EP2596630B1 (en) Tracking apparatus, system and method
US10645344B2 (en) Video system with intelligent visual display
JP5035053B2 (ja) ノンリニアビデオ再生制御方法およびノンリニアビデオ再生制御プログラム
US8848053B2 (en) Automatic extraction of secondary video streams
KR101513414B1 (ko) 감시 영상 분석 방법 및 시스템
JP2011029737A (ja) 監視映像検索装置及び監視システム
JP2008538623A (ja) 運動行為中のイベントを検出及び分類するための方法及びシステム
JP2018005555A (ja) 画像処理装置、情報処理装置、および方法、並びにプログラム
EP3973446A1 (en) Forensic video exploitation and analysis tools
US20040249848A1 (en) Method and apparatus for intelligent and automatic alert management using multimedia database system
JP2005503731A (ja) 協働的な分散されたビジョンを通じたインテリジェントな４画面同時表示
JP5776471B2 (ja) 画像表示システム
KR102030736B1 (ko) 다중 분산 영상 데이터 분석 장치
JP7229698B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022022809A1 (en) Masking device
Martín et al. Automatic players detection and tracking in multi-camera tennis videos
Baklouti et al. Virtu4D: A dynamic audio-video virtual representation for surveillance systems
Bagheri GRADUATE SCHOOL

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180327

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 5