KR20160097870A - 요약 영상 브라우징 시스템 및 방법 - Google Patents

요약 영상 브라우징 시스템 및 방법 Download PDF

Info

Publication number
KR20160097870A
KR20160097870A KR1020150020291A KR20150020291A KR20160097870A KR 20160097870 A KR20160097870 A KR 20160097870A KR 1020150020291 A KR1020150020291 A KR 1020150020291A KR 20150020291 A KR20150020291 A KR 20150020291A KR 20160097870 A KR20160097870 A KR 20160097870A
Authority
KR
South Korea
Prior art keywords
image
still image
image frame
representative
summary still
Prior art date
Application number
KR1020150020291A
Other languages
English (en)
Other versions
KR102375864B1 (ko
Inventor
백영민
김대환
전승선
김지성
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020150020291A priority Critical patent/KR102375864B1/ko
Priority to US14/790,199 priority patent/US10073910B2/en
Priority to CN201510622680.5A priority patent/CN105872452B/zh
Publication of KR20160097870A publication Critical patent/KR20160097870A/ko
Priority to KR1020220026227A priority patent/KR102437839B1/ko
Application granted granted Critical
Publication of KR102375864B1 publication Critical patent/KR102375864B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G06F17/30719—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명의 실시예는 요약 영상 브라우징 시스템 및 방법을 개시한다.
본 발명의 실시예에 따른 요약 영상 브라우징 방법은, 입력 동영상으로부터 적어도 하나의 객체를 추적하는 단계; 상기 입력 동영상으로부터 상기 적어도 하나의 객체의 대표 영상 프레임을 선정하는 단계; 및 상기 적어도 하나의 객체의 대표 영상 프레임으로부터 추출된 객체 세그먼트를 합성한 요약 정지 영상을 생성하는 단계;를 포함한다.

Description

요약 영상 브라우징 시스템 및 방법{System and method for browsing summary image}
본 발명의 실시예는 요약 영상 브라우징 시스템 및 방법에 관한 것이다.
영상(이미지), 비디오 등 멀티미디어 서비스의 수요가 증가하고 휴대용 멀티미디어 기기가 보편적으로 보급되면서 방대한 양의 멀티미디어 데이터를 관리하고 소비자가 원하는 컨텐츠를 빠르고 정확하게 찾아내 제공하는 효율적인 멀티미디어 검색 및 브라우징 시스템의 필요성도 커지고 있다.
한국등록특허 10-0547370호
본 발명은 사용자가 편리하게 검색 결과를 파악할 수 있는 영상 브라우징 시스템 및 브라우징 방법을 제공하고자 한다.
본 발명의 실시예에 따른 요약 영상 브라우징 방법은, 입력 동영상으로부터 적어도 하나의 객체를 추적하는 단계; 상기 입력 동영상으로부터 상기 적어도 하나의 객체의 대표 영상 프레임을 선정하는 단계; 및 상기 적어도 하나의 객체의 대표 영상 프레임으로부터 추출된 객체 세그먼트를 합성한 요약 정지 영상을 생성하는 단계;를 포함한다.
상기 대표 영상 프레임 선정 단계는, 적어도 하나의 객체 선별 조건에 대해 가장 높은 스코어를 갖는 영상 프레임을 대표 영상 프레임으로 선정하는 단계;를 포함할 수 있다.
상기 요약 정지 영상 내의 객체 세그먼트의 크기 및 위치는 상기 대표 영상 프레임 내 객체 세그먼트의 크기 및 위치에 대응할 수 있다.
상기 요약 정지 영상 생성 단계는, 상기 요약 정지 영상에 설정된 최대 객체의 개수에 따라 상기 요약 정지 영상을 상기 객체의 출현 시간을 따르는 시간 순서로 적어도 하나 이상 생성하는 단계;를 포함할 수 있다.
상기 방법은, 상기 요약 정지 영상 내에서 객체의 선택 신호에 응답하여, 상기 선택된 객체의 움직임에 대한 프리뷰 영상을 제공하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 프리뷰 영상의 선택 신호에 응답하여, 상기 선택된 객체의 움직임을 시간 순서로 재생하는 단계;를 더 포함할 수 있다.
상기 방법은, 요약 정지 영상의 검색 조건을 수신하는 단계; 및 상기 대표 영상 프레임의 메타데이터를 생성하는 단계;를 더 포함할 수 있다.
상기 대표 영상 프레임 선정 단계는 상기 요약 정지 영상 요청 수신 단계에 선행하거나, 상기 메타데이터 생성 단계에 후행할 수 있다.
본 발명의 실시예에 따른 요약 영상 브라우징 시스템은, 입력 동영상으로부터 적어도 하나의 객체를 추적하고, 상기 적어도 하나의 객체의 대표 영상 프레임을 선정하는 영상 처리 엔진; 및 상기 적어도 하나의 객체의 대표 영상 프레임으로부터 추출된 객체 세그먼트를 합성한 요약 정지 영상을 출력하는 브라우징 엔진;을 포함한다.
상기 영상 처리 엔진은, 적어도 하나의 객체 선별 조건에 대해 가장 높은 스코어를 갖는 영상 프레임을 대표 영상 프레임으로 선정할 수 있다.
상기 요약 정지 영상 내의 객체 세그먼트의 크기 및 위치는 상기 대표 영상 프레임 내 객체 세그먼트의 크기 및 위치에 대응할 수 있다.
상기 브라우징 엔진은, 상기 요약 정지 영상에 설정된 최대 객체의 개수에 따라 상기 요약 정지 영상을 상기 객체의 출현 시간을 따르는 시간 순서로 적어도 하나 이상 생성할 수 있다.
상기 브라우징 엔진은, 상기 요약 정지 영상 내에서 객체의 선택 신호에 응답하여, 상기 선택된 객체의 움직임에 대한 프리뷰 영상을 제공할 수 있다.
상기 브라우징 엔진은, 상기 프리뷰 영상의 선택 신호에 응답하여, 상기 선택된 객체의 움직임을 시간 순서로 재생할 수 있다.
상기 시스템은, 요약 정지 영상의 검색 조건을 수신하는 쿼리엔진;을 더 포함할 수 있다.
상기 영상처리엔진은, 상기 요약 정지 영상의 검색 조건이 수신되기 전에 또는 수신된 후에 상기 대표 영상 프레임의 메타데이터를 생성할 수 있다.
본 발명의 실시예는 객체 기반 요약 정지 영상을 생성함으로써 다수의 객체를 한눈에 파악할 수 있고, 사용자 편의성을 도모할 수 있다.
도 1은 본 발명의 실시 예에 따른 영상 브라우징 시스템을 개략적으로 도시한 블록도이다.
도 2는 도 1의 영상처리엔진을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 영상 브라우징 방법을 개략적으로 도시한 흐름도이다.
도 4 및 도 5는 본 발명의 실시예에 따라 입력 동영상으로부터 생성된 요약 정지 영상의 예를 도시한다.
도 6은 본 발명의 실시예에 따른 요약 정지 영상이 표시된 화면을 도시한 예이다.
도 7은 본 발명의 다른 실시예에 따른 영상 브라우징 방법을 개략적으로 도시한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
도 1은 본 발명의 실시 예에 따른 영상 브라우징 시스템을 개략적으로 도시한 블록도이다. 도 2는 도 1의 영상처리엔진을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 영상 브라우징 시스템(1)은 검색 결과를 사용자에게 보여주고, 사용자가 검색 결과를 파악할 수 있도록 하는 일련의 과정을 수행할 수 있다. 영상 브라우징 시스템(1)은 영상처리엔진(10), 데이터베이스(20), 쿼리엔진(30), 검색엔진(40) 및 브라우징엔진(50)을 포함할 수 있다.
영상처리엔진(10)은 입력 동영상(video) 내에서 객체의 등장과 사라짐, 객체의 움직임 감지, 영상 꺼짐 등과 같은 영상 분석을 수행할 수 있다. 또한 영상처리엔진(10)은 배경 검출, 전경 및 객체 검출, 객체 카운팅, 카메라 탬퍼링(camera tampering) 검출, 얼굴 검출 등을 수행할 수 있다. 또한 영상처리엔진(10)은 영상의 밝기(brightness), 색상(color), 질감(texture) 및 윤곽선(shape) 정보도 산출할 수 있다.
입력 동영상은 영상 브라우징 시스템(1)에 연결된 영상 센서인 카메라(미도시)로부터 직접 전송된 동영상일 수 있고, 영상 브라우징 시스템(1)에 연결된 디지털 비디오 레코더(DVR: digital video recorder) 또는 네트워크 비디오 레코더(NVR: network video recorder)에 저장된 동영상일 수 있고, 또는 네트워크(미도시)를 통하여 다양한 경로로 입력되는 동영상일 수 있다.
영상처리엔진(10)은 객체 추적부(101) 및 대표 영상 선정부(103)를 포함할 수 있다.
객체 추적부(101)는 입력 동영상을 구성하는 복수의 영상 프레임(image frame)으로부터 움직임 영역을 관심 객체로 판단하고, 객체의 움직임 궤적을 추적할 수 있다. 객체 추적부(101)는 연속되는 영상 프레임 간의 객체 변화에 대한 정보를 수집해 나감으로써 동영상 내에서의 객체에 대한 추적 정보를 획득할 수 있다.
대표 영상 선정부(103)는 객체의 추적된 움직임 궤적을 따르는 영상 프레임들 중 기 설정된 선별 조건을 고려하여 대표 영상 프레임을 선정할 수 있다. 선별 조건은 사용자에 의해 다양하게 설정될 수 있다. 선별 조건은 객체의 외형 및 타 객체와의 위치 관계(객체 간 겹침 정도)를 포함할 수 있다. 예를 들어, 대표 영상 선정부(103)는 사람인지 차량인지를 판단하고, 사람인 경우 얼굴이 검출된 영상 프레임, 차량인 경우 번호판이 보이는 영상 프레임을 우선 선별할 수 있다. 대표 영상 선정부(103)는 객체의 크기가 큰 영상 프레임을 우선 선별할 수 있다. 대표 영상 선정부(103)는 블러(blur) 효과가 최소인 영상 프레임을 우선 선별할 수 있다. 대표 영상 선정부(103)는 타 객체와의 겹침(occlusion)이 없거나 겹침이 최소인 영상 프레임을 우선 선별할 수 있다. 대표 영상 선정부(103)는 사용자가 지정한 이벤트가 검출된 영상 프레임을 우선 선별할 수 있다. 이벤트는 특정 행동, 특정 음성 등을 포함할 수 있다. 객체 선별 조건은 객체의 식별력을 높여주므로, 대표 영상 프레임을 선별함으로써 사용자가 용이하게 객체를 식별하도록 할 수 있다. 선별 조건은 하나 또는 둘 이상 설정될 수 있다. 대표 영상 선정부(103)는 하나 또는 다수의 선별 조건들 각각에 대해 스코어를 설정하고, 객체별로 최종 스코어가 가장 높은 영상 프레임을 대표 영상 프레임으로 선정할 수 있다. 선별 조건에 대한 스코어는 사용자가 고려하는 우선순위에 따라 동일 또는 상이하게 설정될 수 있다. 예를 들어, 객체의 크기, 블러 효과, 겹침 정도를 선별 조건으로 하고, 각 선별 조건에 스코어가 설정된다. 객체별로 각 영상 프레임에 대해 만족하는 선별 조건의 스코어가 합산되고, 합산 결과 가장 높은 스코어를 갖는 영상 프레임이 대표 영상 프레임으로 선정될 수 있다.
대표 영상 선정부(103)는 객체별로 선정된 대표 영상 프레임으로부터 객체를 추출하여 객체 세그먼트를 생성할 수 있다. 객체 세그먼트는 객체를 둘러싸는 소정 사이즈의 블럭일 수 있다. 대표 영상 선정부(103)는 대표 영상 프레임의 시간정보(타임스탬프) 및 대표 영상 프레임 내 객체의 위치에 대한 메타데이터를 생성할 수 있다.
대표 영상 선정부(103)는 동영상이 입력되면 객체 추적 결과를 고려하여 선별 조건에 따라 객체별로 대표 영상 프레임을 선정하여 메타데이터를 생성 및 저장할 수 있다. 또는 대표 영상 선정부(103)는 동영상이 입력되고, 요약 정지 영상의 요청이 있으면, 입력 동영상 내의 객체들 간의 위치 관계를 추가 고려하여 선별 조건에 따라 객체별로 대표 영상 프레임을 선정하여 메타데이터를 생성 및 저장할 수 있다.
데이터베이스(20)는 입력 동영상 및 동영상 분석 결과 등을 저장한다. 동영상의 분석 결과는 텍스트(text) 기반의 메타데이터 또는 영상(image) 기반의 메타데이터 형식으로 저장될 수 있다. 영상처리엔진(10)은 검색이 용이하도록 메타데이터를 구조화 및 정리하여 데이터베이스(20)에 저장할 수 있다.
데이터베이스(20)는 영상 데이터베이스(201) 및 메타데이터 데이터베이스(203)를 포함할 수 있다. 입력 동영상 및 객체별 동영상(즉, 객체의 동선을 따르는 일련의 영상 프레임들)은 영상 데이터베이스(201)에 저장될 수 있다. 객체별 대표 영상 프레임의 시간정보 및 대표 영상 프레임 내 객체의 위치에 대한 메타데이터는 메타데이터 데이터베이스(203)에 저장될 수 있다. 또한 객체별 동영상에 대한 시간정보(타임스탬프)가 메타데이터 데이터베이스(203)에 저장될 수 있다. 또한 대표 영상 프레임으로부터 추출된 객체 세그먼트가 영상 기반의 메타데이터 형식으로 메타데이터 데이터베이스(203)에 저장될 수 있다.
또한, 영상처리엔진(10)은 복수의 영상 프레임에서 정지 영역을 배경으로 판단하고 배경 영상을 생성할 수 있다. 본 발명의 실시예에서 배경 영상 생성 방법은 특별히 제한되지 않으며, 다양한 공지의 방법을 적용할 수 있다.
또한, 영상처리엔진(10)은 영상 분석을 수행하여 설정된 이벤트 발생 조건에 만족하는 경우 이벤트를 발생시킬 수 있다. 여기서 이벤트라 함은, 네트워크 에러가 발생한 경우, 새로운 카메라가 설정된 경우 등과 같이 시스템 내부에 설정된 시스템 이벤트를 포함할 수 있다. 또한 객체의 출현, 사용자가 특정한 영상(예를 들어, 얼굴 인식이 불가능한 얼굴 등장) 발생, 화면 색깔이 바뀌는 경우, 설정된 영역에서 움직임 발생한 경우, 음원의 경우에 비정상적인 음원(예를 들어, 자동차 타이어 마찰음(스키드), 유리 깨지는 소리, 경보음, 충돌음 등) 발생, 사용자가 특정한 음원(예를 들어, 고함, 비명, 울음소리 등) 발생, 임계값 이상의 음성이 발생한 경우 등과 같이 사용자에 의해 설정된 사용자 이벤트를 포함할 수 있다.
쿼리 엔진(30)은 사용자로부터 입력 장치(60)를 통해 검색 조건을 입력받고, 검색 조건으로부터 사용자의 요구 사항을 분석하여 기 정의된 형태로 재구성한다. 예를 들어, 사용자는 입력 장치(60)를 통해 시간 구간, 객체 카테고리, 색상, 감시 영역 내의 관심 영역(ROI), 감시 영역 내의 특정 라인 및 특정 방향 등을 검색 조건으로 입력할 수 있다. 시간 구간은 예를 들어, 년월일시로 설정될 수 있다. 객체 카테고리는 객체 유형(사람, 차량, 동물 등), 특정 객체(홍길동, 흰색 차량, 고양이 등) 등으로 설정될 수 있다.
검색 엔진(40)은 재구성된 검색 조건을 수신하고, 검색 조건에 따라 데이터베이스(20)로 접근하여 필요한 정보를 찾을 수 있다. 검색 엔진(40)은 검색 조건에 대응하는 메타데이터 및 영상 프레임을 추출할 수 있다.
브라우징 엔진(50)은 검색 엔진(40)으로부터 객체별 대표 영상 프레임의 객체 세그먼트 및 배경 영상을 수신하고, 배경 영상에 객체 세그먼트를 합성하여 요약 정지 영상을 생성할 수 있다. 배경 영상은 입력 동영상으로부터 생성된 배경 영상 또는 임의의 정지 영상일 수 있다.
브라우징 엔진(50)은 배경과 전경(객체)의 뚜렷한 구별을 위해 시각화(visualization)를 수행할 수 있다. 시각화의 예로서, 객체를 특정 색상으로 표시하거나 특정 도형(사각형, 원형 등)으로 표시할 수 있다. 요약 정지 영상은 동영상 내 객체의 개수 및 객체 간의 겹침을 고려하여 하나 이상 생성될 수 있다. 둘 이상의 요약 정지 영상은 객체의 출현 시간(등장 시간)에 대응하는 시간 순서를 유지할 수 있다. 요약 정지 영상에는 객체의 정보를 나타내는 텍스트가 포함될 수 있다. 객체 정보는 객체의 카테고리(예를 들어, 사람, 차량, 동물 등)에 대한 정보, 출현 유지 시간, 객체 세그먼트의 색상 등을 포함할 수 있다.
브라우징 엔진(50)은 요약 정지 영상을 디스플레이(70)에 실시간 렌더링할 수 있다. 브라우징 엔진(50)은 검색 조건에 매칭하는 다수의 객체가 표시된 적어도 하나의 요약 정지 영상을 디스플레이할 수 있다. 브라우징 엔진(50)은 다수의 요약 정지 영상들을 객체의 출현 시간을 기초로 시간 순서로 정렬할 수 있다. 예를 들어, 시간상 앞선 요약 정지 영상을 시간상 뒤선 요약 정지 영상보다 앞 또는 뒤에 배치할 수 있다. 브라우징 엔진(50)은 요약 정지 영상의 한 화면이 꽉 찼다고 판단되면, 다음 요약 정지 영상을 생성한다. 브라우징 엔진(50)은 요청한 시간 구간 내의 모든 객체가 정지 영상으로 요약될 때까지 요약 정지 영상의 생성을 반복한다.
브라우징 엔진(50)은 다수의 객체 세그먼트들을 출현 시간 및 위치를 이용하여, 동일 배경 영상에 렌더링(Rendering)할 수 있다. 이에 따라, 상이한 객체들 간의 상호작용기반 요약 정지 영상을 제공할 수 있다.
브라우징 엔진(50)은 요약 정지 영상 내 특정 객체가 선택되면, 선택된 객체의 동영상을 프리뷰(preview) 영상으로 제공할 수 있다. 프리뷰 영상은 말풍선 도움말 형태로 선택된 객체의 주변에 제공될 수 있다. 브라우징 엔진(50)은 프리뷰 영상이 선택되면, 객체의 동영상이 재생되도록 할 수 있다. 이로써 사용자는 관심 있는 객체를 신속하게 검색함과 동시에 해당 시간 구간에 어떤 이벤트가 발생하였는지를 신속하게 확인할 수 있다.
사용자 단말(80)은 영상 브라우징 시스템(1)을 관리하는 사용자 또는 보안 관계자가 사용하는 단말로서, 컴퓨터 또는 이동 단말기일 수 있다. 사용자는 사용자 단말(80)을 통해 영상 브라우징 시스템(1)을 제어할 수 있다. 사용자 단말(80)은 영상 브라우징 시스템(1)에 질의(검색 조건)를 입력할 수 있는 사용자 인터페이스인 입력 장치(60)를 구비한다.
입력 장치(60)는 영상 브라우징 시스템(1)과 유선 또는 무선으로 연결되어 사용자가 영상 브라우징 시스템(1)의 동작 제어를 위한 입력 데이터를 발생시킨다. 입력 장치(60)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 마우스, 리모컨, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 사용자 단말(80)은 입력 장치(60)를 사용하여 검색 조건을 수정, 추가, 또는 삭제를 수행하여, 결과 영상의 표시 조건을 설정할 수 있다. 사용자 단말(80)은 입력 장치(60)를 사용하여 표시된 결과 영상의 정렬, 병합, 재생 등을 조절할 수 있다.
디스플레이(70)는 브라우징 엔진(50)으로부터 출력되는 결과 영상을 사용자에게 제공함으로써, 사용자가 표시되는 영상을 모니터링할 수 있도록 한다. 디스플레이(70)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 디스플레이(70)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이(70)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 입력 인터페이스로서 동작할 수 있다.
CCTV 영상보안 시스템은 카메라를 통하여 획득된 영상을 전송망을 통하여 전달받아 모니터를 이용하여 보안상황을 사람이 직접 감시하거나 DVR/NVR/VMS(Video management system) 등으로 저장한 후 사후에 저장된 영상을 검색하였다. 그러나 이러한 영상보안 시스템은 급속한 CCTV 카메라 수의 증가에 따라 사람에 의한 직접감시 및 분석의 한계가 존재하고, 또한 사후에 저장된 영상을 검색하는 시간도 카메라 수에 따라 기하급수적으로 증가하고 있다. 이로 인해 Video Synopsis/Summary 기술이 개발되었다. Video Summary는 장시간의 녹화 영상을 요약하여 압축된 영상을 제공하는 기술로 사용자가 효율적으로 녹화된 영상을 검색할 수 있도록 도와준다.
동영상 요약 기법은 움직이는 물체의 정보를 수집하여 새로운 결과 영상으로서 요약이 이루어진다. 따라서 사후 검색 목적으로 사용한다고 상정할 경우, 결과 화면에는 다수의 물체가 동시에 출현하여 움직이는 장면이 연출되고, 사용자가 해당 영상에서 원하는 물체가 존재하는 지를 판단해야 한다. 이때 영상의 요약 길이가 너무 짧으면, 화면의 복잡도가 높아서 감시하고자 하는 물체를 놓칠 수 있고, 영상의 요약 길이가 너무 길면, 일반 감시 영상을 재생하는 것보다 검색 효율이 떨어진다. 또한 감시 영상을 결과 영상으로 요약하기 위해서는 비교적 긴 시간이 요구되기 때문에 신속하게 사후 검색이 필요한 시점에서 검색 효율을 떨어트릴 수 있다.
본 발명의 실시예에서는 비디오 요약을 수행하되 움직이는 물체에 대해서 정지 영상으로 사용자에게 제공함으로써, 사용자가 감시 대상 물체를 놓치지 않고 찾을 수 있도록 도와준다. 본 발명의 실시예는 객체 간의 겹침이 최소이고, 객체간의 경로 상 겹침이 없는 영역이 최대가 되도록 출현한 객체를 배치하여 하나의 정지 영상으로 제공할 수 있다. 즉, 원본 동영상에서 존재하는 물체의 개수가 n개라고 했을 때, 해당 n개의 물체의 각각을 대표하는 주요한 하나의 장면(영상 프레임)을 선정해서 모든 n개의 물체가 정지 영상에 모두 표현될 수 있도록 비디오 요약을 수행한다. 만약 하나의 결과 요약 영상에 포함되는 물체의 겹침이 너무 많은 경우 복수의 정지 영상을 제공할 수도 있다. 정지 영상의 순서는 시간 순서를 유지함으로써 사용자가 관심 객체를 검색하는데 있어서 혼돈이 없도록 한다.
도 3은 본 발명의 실시예에 따른 영상 브라우징 방법을 개략적으로 도시한 흐름도이다.
영상 브라우징 시스템은 입력 동영상의 복수의 영상 프레임으로부터 객체를 검출하고 객체의 움직임을 추적할 수 있다(S31). 영상 브라우징 시스템은 모든 영상 프레임에서 인식(Recognition), 움직임 검출(Motion detection)과 추적(Tracking) 기술을 이용하여 하나 이상의 객체를 검출하고, 시간상 연속적으로 추적하여 객체의 움직임 궤적(motion trajectory)을 추출 및 복원(recovery)할 수 있다.
영상 브라우징 시스템은 객체별로 대표 영상 프레임을 선정할 수 있다(S32). 영상 브라우징 시스템은 얼굴 검출된 인물 영상, 번호판이 보이는 차량 영상, 객체의 사이즈가 큰 영상, 블러 효과가 적은 영상, 타 객체와의 겹침이 없거나 적은 영상, 특정 이벤트가 발생한 영상 등을 대표 영상 프레임의 선별 조건으로 설정할 수 있다. 선별 조건은 일부 객체들에 공통으로 설정될 수 있고, 또는 객체마다 다르게 설정될 수 있다. 선별 조건은 하나 또는 둘 이상 설정될 수 있다. 영상 브라우징 시스템은 하나 또는 다수의 선별 조건들 각각에 대해 스코어를 설정하고, 객체별로 최종 스코어가 가장 높은 영상 프레임을 대표 영상 프레임으로 선정할 수 있다. 선별 조건에 대한 스코어는 사용자가 고려하는 우선순위에 따라 동일 또는 상이하게 설정될 수 있다.
영상 브라우징 시스템은 객체별 대표 영상 프레임으로부터 메타데이터를 생성하여 저장할 수 있다(S33). 영상 브라우징 시스템은 객체별 대표 영상 프레임 및 대표 영상 프레임 내 객체의 위치 정보 및 시간 정보를 텍스트 기반 메타데이터 형식으로 데이터베이스화할 수 있다. 영상 브라우징 시스템은 각 객체의 전체 동선을 따르는 동영상을 제공할 수 있도록 각 객체가 출현한 시간 구간의 동영상에 대한 시간 정보를 텍스트 기반 메타데이터 형식으로 데이터베이스화할 수 있다. 영상 브라우징 시스템은 대표 영상 프레임으로부터 추출된 객체 세그먼트를 영상 기반 메타데이터 형식으로 데이터베이스화할 수 있다. 메타데이터는 객체별로 매칭되어 저장될 수 있다.
영상 브라우징 시스템은 사용자 단말로부터 요약 정지 영상 요청을 수신하면(S34), 요약 정지 영상을 렌더링하여 디스플레이한다(S35). 영상 브라우징 시스템은 사용자 단말로부터 검색 조건을 입력받고, 검색 조건에 대응하는 정보(메타데이터 및 영상 프레임)를 추출한다. 영상 브라우징 시스템은 검색 조건에 대응하는 객체들 각각의 객체 세그먼트를 배경 영상에 합성한 요약 정지 영상을 적어도 하나 생성할 수 있다. 객체 세그먼트는 객체별로 특정 색상 또는 특정 도형으로 시각화될 수 있다.
영상 브라우징 시스템은 요약 정지 영상으로부터 객체 재생 요청을 수신하면(S36), 선택된 객체의 동영상을 재생한다(S37). 영상 브라우징 시스템은 요약 정지 영상 내 객체 상으로 입력 수단(예를 들어, 마우스 커서, 디지털 펜, 손가락 등)이 위치함이 감지되면, 선택된 객체의 동영상을 프리뷰 형태로 제공할 수 있다. 영상 브라우징 시스템은 프리뷰 영상의 선택신호가 수신되면, 즉, 프리뷰 영상이 클릭되면, 선택된 객체가 출현한 시간 구간의 동영상을 재생할 수 있다. 객체 동영상은 타 객체는 제거되고 해당 객체만 움직이는 장면이 제공될 수 있다.
본 실시예에서는 동영상이 입력되면 객체 추적과 동시에 객체별로 선별 조건에 따라 대표 영상 프레임을 선정하여 메타데이터를 생성 및 저장한다. 이 경우 실시간으로 정지 요약 영상을 생성할 수 있다.
도 4 및 도 5는 본 발명의 실시예에 따라 입력 동영상으로부터 생성된 요약 정지 영상의 예를 도시한다. 도 4는 하나의 요약 정지 영상을 생성한 예이고, 도 5는 두 개의 요약 정지 영상을 생성한 예이다.
도 4(a)는 복수의 영상 프레임들로 구성된 입력 동영상을 도시한 예이다. 입력 동영상에서는 네 개의 객체가 각각 동시 또는 서로 다른 시간에 최초 출현하여 서로 다른 경로로 이동하고 있다고 가정한다. 각 객체가 출현한 시간 구간의 영상 프레임들, 즉 객체 동영상에 대한 시간 정보는 전술한 바와 같이 메타데이터로 저장될 수 있다. 하나의 영상 프레임에 서로 다른 객체가 동시에 출현할 수 있다. 따라서 하나의 영상 프레임이 서로 다른 객체에 매칭될 수 있다. 도 4(a)에서는 설명의 편의를 위해 배경 및 타 객체는 생략하고, 해당 객체만을 도시하였다.
도 4(a)의 객체별 영상 프레임들 중 대표 영상 프레임(RF1 내지 RF4)이 선정된다. 객체별로 설정된 선별 기준에 따라 객체별로 대표 영상 프레임(RF1 내지 RF4)이 선정될 수 있다. 객체별로 대표 영상 프레임(RF1 내지 RF4)에서 객체 세그먼트가 추출될 수 있다. 객체별 대표 영상 프레임 및 객체 세그먼트의 시간 정보 및 위치 정보가 메타데이터로 저장될 수 있다.
도 4(b)는 도 4(a)의 입력 동영상에서 네 개의 객체의 출현 순서 및 동선(화살표)을 설명하기 위한 도면이다. 도 4(a)의 입력 동영상에서 1번 내지 4번 객체(① 내지 ④)는 각각 도 4(b)에 표시된 위치에서 번호 순서대로 출현하여 각각 해당 실선으로 표시된 동선을 따라 이동하였다고 가정한다.
도 4(c)는 네 개의 객체(① 내지 ④)가 하나의 요약 정지 영상 내에 표시된 예이다. 각 대표 영상 프레임(RF1 내지 RF4)에서 추출된 네 개의 객체 세그먼트가 하나의 정지 영상에 모두 표시되었다. 객체들이 서로 겹치지 않도록 대표 영상 프레임이 선정되었음을 알 수 있다. 객체 세그먼트는 객체별로 상이한 색상 또는 상이한 도형으로 표시될 수 있다.
도 5(a)는 아홉 개의 객체가 출현하는 입력 동영상을 나타내고 있다. 아홉 개의 객체는 출현 순서 및 동선(화살표)이 각각 상이하다. 하나의 요약 정지 영상에 너무 많은 객체가 표시되면 사용자의 지정에 의해 객체 밀도 값을 변경할 수 있고, 이에 따라 요약 정지 영상의 개수가 증감할 수 있다.
도 5(b) 및 도 5(c)는 아홉 개의 객체를 두 개의 요약 정지 영상에 나누어 표시한 예이다. 도 5(b)는 시간 상으로 앞서 출현한 네 개의 객체를 표시한 제1 요약 정지 영상이다. 도 5(c)는 시간 상으로 뒤서 출현한 나머지 다섯 개의 객체를 표시한 제2 요약 정지 영상이다.
도 6은 본 발명의 실시예에 따른 요약 정지 영상이 표시된 화면을 도시한 예이다.
도 6(a)와 같이 화면에 요약 정지 영상이 표시된 상태에서, 도 6(b)에 도시된 바와 같이 마우스 커서와 같은 포인터를 특정 객체 위에 위치시키면 선택된 객체 주변에 풍선 도움말 형태의 레이어가 제공되고, 레이어 내에 객체의 프리뷰 영상이 표시될 수 있다. 프리뷰 영상이 클릭되면, 도 6(c)에 도시된 바와 같이, 선택된 객체가 동선을 따라 이동하는 객체 동영상이 전체 화면에 오버랩되어 재생될 수 있다. 재생이 완료되면, 다시 도 6(a)에 도시된 요약 정지 영상이 표시될 수 있다.
도 7은 본 발명의 다른 실시예에 따른 영상 브라우징 방법을 개략적으로 도시한 흐름도이다.
영상 브라우징 시스템은 입력 동영상의 복수의 영상 프레임으로부터 객체를 검출하고 객체의 움직임을 검출할 수 있다(S51). 영상 브라우징 시스템은 모든 영상 프레임에서 인식(Recognition), 움직임 검출(Motion detection)과 추적(Tracking) 기술을 이용하여 하나 이상의 객체를 검출하고, 시간상 연속적으로 추적하여 객체의 움직임 궤적(motion trajectory)을 추출 및 복원(recovery)할 수 있다.
영상 브라우징 시스템은 사용자 단말로부터 요약 정지 영상 요청을 수신하면(S52), 객체별로 대표 영상 프레임을 선정할 수 있다(S53). 영상 브라우징 시스템은 사용자 단말로부터 검색 조건을 입력받으면, 검색 조건에 대응하여 입력 동영상에서 객체별로 대표 영상 프레임을 선정할 수 있다. 객체별 대표 영상 프레임 선별 조건은 전술한 바와 같이 사용자에 의해 적어도 일부 객체들에 동일하게 또는 객체마다 다르게 설정될 수 있다. 선별 조건은 하나 또는 둘 이상 설정될 수 있다. 영상 브라우징 시스템은 하나 또는 다수의 선별 조건들 각각에 대해 스코어를 설정하고, 객체별로 최종 스코어가 가장 높은 영상 프레임을 대표 영상 프레임으로 선정할 수 있다. 선별 조건에 대한 스코어는 사용자가 고려하는 우선순위에 따라 동일 또는 상이하게 설정될 수 있다.
영상 브라우징 시스템은 객체별 대표 영상 프레임으로부터 메타데이터를 생성하여 저장할 수 있다(S54). 영상 브라우징 시스템은 객체별 대표 영상 프레임 및 대표 영상 프레임 내 객체의 위치 정보 및 시간 정보를 텍스트 기반 메타데이터 형식으로 데이터베이스화할 수 있다. 영상 브라우징 시스템은 각 객체의 전체 동선을 따르는 동영상을 제공할 수 있도록 각 객체의 동영상에 대한 시간정보를 메타데이터로 함께 저장할 수 있다. 영상 브라우징 시스템은 대표 영상 프레임으로부터 추출된 객체 세그먼트를 영상 기반 메타데이터 형식으로 데이터베이스화할 수 있다. 메타데이터는 객체별로 매칭되어 저장될 수 있다.
영상 브라우징 시스템은 검색 조건에 대응하는 요약 정지 영상을 렌더링하여 디스플레이한다(S55). 영상 브라우징 시스템은 검색 조건에 대응하는 객체들 각각의 대표 영상 프레임으로부터 추출된 객체 세그먼트를 합성한 요약 정지 영상을 적어도 하나 생성할 수 있다. 객체 세그먼트는 객체별로 특정 색상 또는 특정 도형으로 시각화될 수 있다.
영상 브라우징 시스템은 요약 정지 영상으로부터 객체 동영상의 재생 요청을 수신하면(S56), 선택된 객체의 동영상을 재생한다(S57). 영상 브라우징 시스템은 요약 정지 영상 내 객체 상으로 입력 수단(예를 들어, 마우스 커서, 디지털 펜, 손가락 등)이 위치함을 감지하면, 선택된 객체의 동영상을 프리뷰 형태로 제공할 수 있다. 영상 브라우징 시스템은 프리뷰 영상의 선택신호가 수신되면, 즉, 프리뷰 영상이 클릭되면, 선택된 객체가 출현한 시간 구간 동안의 전체 움직임 궤적을 보여주는 동영상을 재생할 수 있다. 객체 동영상은 타 객체는 제거되고 해당 객체만 움직이는 장면이 제공될 수 있다.
동영상이 입력되면 메타데이터를 미리 생성 및 저장하는 도 3의 실시예와 달리, 본 실시예에서는 요약 정지 영상 요청이 있으면, 메타데이터를 생성하여 저장한다. 이 경우 단순히 객체의 외형만으로 대표 영상 프레임을 선별하는 것이 아니라 타 객체와의 관계를 고려함으로써 하나의 요약 정지 영상에 객체 간의 겹침을 최소화하여 보다 많은 객체가 위치하도록 할 수 있다. 이로써 요약 정지 영상의 개수를 줄일 수 있다.
영상 브라우징 시스템은 사용자의 설정에 따라 도 3의 실시예와 도 7의 실시예가 선택적으로 수행되도록 할 수도 있다.
본 발명의 실시예들은 요약 영상이 축약된 동영상이 아니라 객체 기반의 영상이므로, 객체를 놓칠 가능성이 줄어들고 다수의 객체를 한눈에 파악할 수 있어 사용자 편의성을 도모할 수 있다. 특히 대표 영상 선별 점수를 통해 객체의 대표 영상이 선정되기 때문에 불필요한 재생시간 없이 객체의 유/무를 신속히 판단할 수 있다. 또한 본 발명의 실시예들은 적은 메모리 용량과 빠른 처리 속도를 제공할 수 있다. 본 발명의 실시예들은 모든 영상 프레임을 획득하여 데이터베이스화할 수도 있으나, 객체의 대표 영상만 보존할 수도 있기 때문에 요약 요청이 있는 즉시 사용자에게 요약 정보를 제공할 수 있다. 또한 본 발명의 실시예들은 사용자 검색의 편의성을 제공한다. 관심 있는 객체에 대해서 마우스 등의 포인트를 올려놓는 것으로 해당 객체가 출현하고 사라질 때까지의 영상이 재생됨으로써 찾고 있던 객체에 대한 정보를 신속히 획득할 수 있다.
본 발명에 따른 요약 영상 브라우징 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

Claims (16)

  1. 입력 동영상으로부터 적어도 하나의 객체를 추적하는 단계;
    상기 입력 동영상으로부터 상기 적어도 하나의 객체의 대표 영상 프레임을 선정하는 단계; 및
    상기 적어도 하나의 객체의 대표 영상 프레임으로부터 추출된 객체 세그먼트를 합성한 요약 정지 영상을 생성하는 단계;를 포함하는 요약 영상 브라우징 방법.
  2. 제1항에 있어서, 상기 대표 영상 프레임 선정 단계는,
    적어도 하나의 객체 선별 조건에 대해 가장 높은 스코어를 갖는 영상 프레임을 대표 영상 프레임으로 선정하는 단계;를 포함하는 요약 영상 브라우징 방법.
  3. 제1항에 있어서,
    상기 요약 정지 영상 내의 객체 세그먼트의 크기 및 위치는 상기 대표 영상 프레임 내 객체 세그먼트의 크기 및 위치에 대응하는, 요약 영상 브라우징 방법.
  4. 제1항에 있어서, 상기 요약 정지 영상 생성 단계는,
    상기 요약 정지 영상에 설정된 최대 객체의 개수에 따라 상기 요약 정지 영상을 상기 객체의 출현 시간을 따르는 시간 순서로 적어도 하나 이상 생성하는 단계;를 포함하는 요약 영상 브라우징 방법.
  5. 제1항에 있어서,
    상기 요약 정지 영상 내에서 객체의 선택 신호에 응답하여, 상기 선택된 객체의 움직임에 대한 프리뷰 영상을 제공하는 단계;를 더 포함하는 요약 영상 브라우징 방법.
  6. 제5항에 있어서,
    상기 프리뷰 영상의 선택 신호에 응답하여, 상기 선택된 객체의 움직임을 시간 순서로 재생하는 단계;를 더 포함하는 요약 영상 브라우징 방법.
  7. 제1항에 있어서,
    요약 정지 영상의 검색 조건을 수신하는 단계; 및
    상기 대표 영상 프레임의 메타데이터를 생성하는 단계;를 더 포함하는 요약 영상 브라우징 방법.
  8. 제7항에 있어서,
    상기 대표 영상 프레임 선정 단계는 상기 요약 정지 영상 요청 수신 단계에 선행하거나, 상기 메타데이터 생성 단계에 후행하는, 요약 영상 브라우징 방법.
  9. 입력 동영상으로부터 적어도 하나의 객체를 추적하고, 상기 적어도 하나의 객체의 대표 영상 프레임을 선정하는 영상 처리 엔진; 및
    상기 적어도 하나의 객체의 대표 영상 프레임으로부터 추출된 객체 세그먼트를 합성한 요약 정지 영상을 출력하는 브라우징 엔진;을 포함하는 요약 영상 브라우징 시스템.
  10. 제9항에 있어서, 상기 영상 처리 엔진은,
    적어도 하나의 객체 선별 조건에 대해 가장 높은 스코어를 갖는 영상 프레임을 대표 영상 프레임으로 선정하는, 요약 영상 브라우징 시스템.
  11. 제9항에 있어서,
    상기 요약 정지 영상 내의 객체 세그먼트의 크기 및 위치는 상기 대표 영상 프레임 내 객체 세그먼트의 크기 및 위치에 대응하는, 요약 영상 브라우징 시스템.
  12. 제9항에 있어서, 상기 브라우징 엔진은,
    상기 요약 정지 영상에 설정된 최대 객체의 개수에 따라 상기 요약 정지 영상을 상기 객체의 출현 시간을 따르는 시간 순서로 적어도 하나 이상 생성하는, 요약 영상 브라우징 시스템.
  13. 제9항에 있어서, 상기 브라우징 엔진은,
    상기 요약 정지 영상 내에서 객체의 선택 신호에 응답하여, 상기 선택된 객체의 움직임에 대한 프리뷰 영상을 제공하는, 요약 영상 브라우징 시스템.
  14. 제16항에 있어서, 상기 브라우징 엔진은,
    상기 프리뷰 영상의 선택 신호에 응답하여, 상기 선택된 객체의 움직임을 시간 순서로 재생하는, 요약 영상 브라우징 시스템.
  15. 제9항에 있어서,
    요약 정지 영상의 검색 조건을 수신하는 쿼리엔진;을 더 포함하는 요약 영상 브라우징 시스템.
  16. 제15항에 있어서, 상기 영상처리엔진은,
    상기 요약 정지 영상의 검색 조건이 수신되기 전에 또는 수신된 후에 상기 대표 영상 프레임의 메타데이터를 생성하는, 요약 영상 브라우징 시스템.
KR1020150020291A 2015-02-10 2015-02-10 요약 영상 브라우징 시스템 및 방법 KR102375864B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150020291A KR102375864B1 (ko) 2015-02-10 2015-02-10 요약 영상 브라우징 시스템 및 방법
US14/790,199 US10073910B2 (en) 2015-02-10 2015-07-02 System and method for browsing summary image
CN201510622680.5A CN105872452B (zh) 2015-02-10 2015-09-25 浏览摘要图像的系统及方法
KR1020220026227A KR102437839B1 (ko) 2015-02-10 2022-02-28 요약 영상 브라우징 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150020291A KR102375864B1 (ko) 2015-02-10 2015-02-10 요약 영상 브라우징 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220026227A Division KR102437839B1 (ko) 2015-02-10 2022-02-28 요약 영상 브라우징 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20160097870A true KR20160097870A (ko) 2016-08-18
KR102375864B1 KR102375864B1 (ko) 2022-03-18

Family

ID=56566863

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150020291A KR102375864B1 (ko) 2015-02-10 2015-02-10 요약 영상 브라우징 시스템 및 방법
KR1020220026227A KR102437839B1 (ko) 2015-02-10 2022-02-28 요약 영상 브라우징 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220026227A KR102437839B1 (ko) 2015-02-10 2022-02-28 요약 영상 브라우징 시스템 및 방법

Country Status (3)

Country Link
US (1) US10073910B2 (ko)
KR (2) KR102375864B1 (ko)
CN (1) CN105872452B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200059938A (ko) * 2018-11-22 2020-05-29 한국항공대학교산학협력단 영역 중심의 비디오 요약 장치 및 방법
KR20210062281A (ko) * 2019-11-21 2021-05-31 아이브스 주식회사 요약 영상 생성 장치 및 그 방법, 이를 이용한 요약 영상 검색 시스템
KR20230016394A (ko) * 2021-07-26 2023-02-02 세종대학교산학협력단 이상 객체 탐지 기반 영상 시놉시스 생성 방법 및 장치
US11908192B2 (en) 2018-05-29 2024-02-20 Samsung Electronics Co., Ltd. Electronic device and control method therefor

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6027070B2 (ja) * 2014-09-24 2016-11-16 富士フイルム株式会社 領域検出装置、領域検出方法、画像処理装置、画像処理方法、プログラムおよび記録媒体
KR102375864B1 (ko) * 2015-02-10 2022-03-18 한화테크윈 주식회사 요약 영상 브라우징 시스템 및 방법
US10708673B2 (en) * 2015-09-25 2020-07-07 Qualcomm Incorporated Systems and methods for video processing
US10606884B1 (en) * 2015-12-17 2020-03-31 Amazon Technologies, Inc. Techniques for generating representative images
KR102618404B1 (ko) * 2016-06-30 2023-12-26 주식회사 케이티 영상 축약 시스템 및 방법
US20200036909A1 (en) * 2018-07-27 2020-01-30 BriefCam Ltd. System and method allowing simultaneous viewing of live and recorded video content
JP2020154764A (ja) * 2019-03-20 2020-09-24 東芝テック株式会社 情報処理装置及び読取システム
US10999534B2 (en) * 2019-03-29 2021-05-04 Cisco Technology, Inc. Optimized video review using motion recap images
CN110536087A (zh) * 2019-05-06 2019-12-03 珠海全志科技股份有限公司 电子设备及其运动轨迹照片合成方法、装置和嵌入式装置
JP7451172B2 (ja) * 2019-12-24 2024-03-18 キヤノン株式会社 情報処理装置、映像の要約方法、およびプログラム
US11948276B2 (en) * 2020-01-16 2024-04-02 Samsung Electronics Co., Ltd. Apparatus and method for enhancing videos
CN111753642B (zh) * 2020-05-09 2024-02-20 三生万物(北京)人工智能技术有限公司 一种确定关键帧的方法及装置
CN113810587B (zh) * 2020-05-29 2023-04-18 华为技术有限公司 一种图像处理方法及装置
WO2022208772A1 (ja) * 2021-03-31 2022-10-06 株式会社Subaru キャプチャシステム
KR20240065446A (ko) * 2022-10-28 2024-05-14 주식회사 엠티이지 초음파 영상 처리 방법 및 디바이스
US12067755B1 (en) * 2023-05-19 2024-08-20 Verkada Inc. Methods and apparatus for detection-based object search using edge computing
US12033348B1 (en) 2023-08-15 2024-07-09 Verkada Inc. Methods and apparatus for generating images of objects detected in video camera data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040016906A (ko) * 2001-06-30 2004-02-25 주식회사 케이티 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템
US20070162873A1 (en) * 2006-01-10 2007-07-12 Nokia Corporation Apparatus, method and computer program product for generating a thumbnail representation of a video sequence

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100340030B1 (ko) 1999-10-14 2002-06-12 이계철 대표이미지를 이용한 요약비디오 생성 시스템 및 그 방법
JP2004320659A (ja) 2003-04-18 2004-11-11 Nippon Telegr & Teleph Corp <Ntt> 映像要約装置、映像要約方法およびプログラム
KR100590537B1 (ko) 2004-02-18 2006-06-15 삼성전자주식회사 복수 영상의 요약 방법 및 장치
KR101225062B1 (ko) * 2006-03-10 2013-01-23 삼성전자주식회사 이미지 프레임의 선택적 출력 장치 및 방법
US8311277B2 (en) 2007-02-01 2012-11-13 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for video indexing and video synopsis
US8355552B2 (en) * 2007-06-20 2013-01-15 The Trustees Of Columbia University In The City Of New York Automated determination of lymph nodes in scanned images
JP4973756B2 (ja) * 2010-03-30 2012-07-11 カシオ計算機株式会社 画像処理装置およびプログラム
CN102156707A (zh) * 2011-02-01 2011-08-17 刘中华 一种视频摘要形成和搜索的方法、系统
KR101341808B1 (ko) 2011-11-30 2013-12-17 고려대학교 산학협력단 영상 내 비주얼 특징을 이용한 영상 요약 방법 및 시스템
KR101990789B1 (ko) * 2012-10-29 2019-06-19 에스케이 텔레콤주식회사 관심객체의 선택에 의한 영상 탐색장치 및 방법
CN103020275A (zh) * 2012-12-28 2013-04-03 苏州千视通信科技有限公司 基于视频摘要、视频检索的视频分析方法
KR101527801B1 (ko) * 2013-05-22 2015-06-11 주식회사 아이싸이랩 동물들의 코무늬를 이용한 동물 개체 인식 장치 및 방법
US10037467B2 (en) * 2013-09-26 2018-07-31 Nec Corporation Information processing system
US20150104149A1 (en) * 2013-10-15 2015-04-16 Electronics And Telecommunications Research Institute Video summary apparatus and method
KR102375864B1 (ko) * 2015-02-10 2022-03-18 한화테크윈 주식회사 요약 영상 브라우징 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040016906A (ko) * 2001-06-30 2004-02-25 주식회사 케이티 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템
KR100547370B1 (ko) 2001-06-30 2006-01-26 주식회사 케이티 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템
US20070162873A1 (en) * 2006-01-10 2007-07-12 Nokia Corporation Apparatus, method and computer program product for generating a thumbnail representation of a video sequence

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11908192B2 (en) 2018-05-29 2024-02-20 Samsung Electronics Co., Ltd. Electronic device and control method therefor
KR20200059938A (ko) * 2018-11-22 2020-05-29 한국항공대학교산학협력단 영역 중심의 비디오 요약 장치 및 방법
KR20210062281A (ko) * 2019-11-21 2021-05-31 아이브스 주식회사 요약 영상 생성 장치 및 그 방법, 이를 이용한 요약 영상 검색 시스템
KR20230016394A (ko) * 2021-07-26 2023-02-02 세종대학교산학협력단 이상 객체 탐지 기반 영상 시놉시스 생성 방법 및 장치

Also Published As

Publication number Publication date
US10073910B2 (en) 2018-09-11
US20160232234A1 (en) 2016-08-11
KR20220031599A (ko) 2022-03-11
CN105872452A (zh) 2016-08-17
KR102375864B1 (ko) 2022-03-18
CN105872452B (zh) 2020-05-15
KR102437839B1 (ko) 2022-08-30

Similar Documents

Publication Publication Date Title
KR102437839B1 (ko) 요약 영상 브라우징 시스템 및 방법
KR101804383B1 (ko) 요약 영상 브라우징 시스템 및 방법
US11676389B2 (en) Forensic video exploitation and analysis tools
Fan et al. Heterogeneous information fusion and visualization for a large-scale intelligent video surveillance system
Ajmal et al. Video summarization: techniques and classification
KR102025362B1 (ko) 검색 시스템 및 영상 검색 방법
US10424341B2 (en) Dynamic video summarization
US6144375A (en) Multi-perspective viewer for content-based interactivity
KR100883066B1 (ko) 텍스트를 이용한 피사체 이동 경로 표시장치 및 방법
CN111882582B (zh) 一种图像跟踪关联方法、系统、设备及介质
CN105323656B (zh) 成像设备和提供成像信息的方法
CN111095939B (zh) 识别媒体项目的先前流传输部分以避免重复重放
WO2012033758A2 (en) Video system with intelligent visual display
TWI698117B (zh) 多媒體檔案的產生方法與播放方法、多媒體檔案產生裝置與多媒體檔案播放裝置
EP3627354A1 (en) Information processing system, method for controlling information processing system, and storage medium
KR20090093904A (ko) 장면 변화에 강인한 멀티미디어 영상 분석 장치 및 그 방법과, 그를 이용한 객체 기반 멀티미디어 편집 시스템
JP4678043B2 (ja) 画像記憶装置、監視システム、記憶媒体
JP3372096B2 (ja) 画像情報アクセス装置
JP2012242878A (ja) 類似画像検索システム
Babaguchi et al. A System for Visualization and Summarization of Omnidirectional Surveillance Video.
Lee et al. User-interface to a CCTV video search system
GB2570498A (en) A method and user device for displaying video data, a method and apparatus for streaming video data and a video surveillance system
Bolshakov et al. COMPARING OF VIDEO ANALYTICS SOFTWARE
Bouma et al. Video content analysis on body-worn cameras for retrospective investigation
Callemein et al. Show me where the action is! Automatic capturing and timeline generation for reality TV.

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant