KR20150069518A - 비디오 축약 방법 및 장치 - Google Patents

비디오 축약 방법 및 장치 Download PDF

Info

Publication number
KR20150069518A
KR20150069518A KR1020140168760A KR20140168760A KR20150069518A KR 20150069518 A KR20150069518 A KR 20150069518A KR 1020140168760 A KR1020140168760 A KR 1020140168760A KR 20140168760 A KR20140168760 A KR 20140168760A KR 20150069518 A KR20150069518 A KR 20150069518A
Authority
KR
South Korea
Prior art keywords
moving
frame
trajectory
time
reduction ratio
Prior art date
Application number
KR1020140168760A
Other languages
English (en)
Other versions
KR101606100B1 (ko
Inventor
양 리우
신우 두
동 왕
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20150069518A publication Critical patent/KR20150069518A/ko
Application granted granted Critical
Publication of KR101606100B1 publication Critical patent/KR101606100B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S358/00—Facsimile and static presentation processing
    • Y10S358/907—Track skippers, i.e. "groove skippers"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 실시예는 비디오 축약 방법 및 장치를 제공하며, 비디오 축약 분야에 관한 것이다. 상기 방법은 원래의 비디오로부터 적어도 2개의 움직이는 피사체 및 상기 적어도 2개의 움직이는 피사체의 움직이는 궤적을 추출하는 단계; 상기 적어도 2개의 움직이는 궤적 간의 공간-시간 중복성(spatio-temporal redundancy)을 계산하고, 상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율(synopsis ratio)을 결정하는 단계; 및 상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 비율을 계산하는 단계를 포함한다. 본 발명에서, 움직이는 궤적 간의 공간-시간 중복성을 분석하고, 분석 수단에 의해 획득된 공간-시간 중복성에 따라 대응하는 트랙에 대해 축약 및 비율 변경을 수행하여 상이한 궤적의 상이한 레프리젠테이션을 획득하며, 이에 의해 사용자 경험을 향상시킨다.

Description

비디오 축약 방법 및 장치{VIDEO SYNOPSIS METHOD AND APPARATUS}
본 발명은 비디오 필드에 관한 것이며, 특히 비디오 축약 방법 및 장치에 관한 것이다.
사회 공공 안전 분야에서, 비디오 감시 시스템은 사회 질서를 유지하고 공공 관리를 강화하는 중요한 부분이다. 현재, 감시 카메라는 은행, 쇼핑몰, 버스 정류장, 지하 주차장, 및 교차로와 같은 공공 장소에 폭넓게 사용되고 있다. 그럼에도, 실생활 감시 작업에서는 더 많은 수작업 지원이 필요하다. 감시 카메라는 하루 24시간 계속 감시할 때 대량의 비디오 데이터를 생성한다. 이 경우, 감시 비디오에서 증거를 검색해야만 때, 많은 노동, 시간, 그리고 자료를 불가피하게 소모해야 하고, 이로 인해 효율성이 극히 낮아지고 심지어 사건을 해결할 최상의 기회를 놓칠 우려도 있다. 그러므로 비디오 감시 카메라에서, 비디오를 축약함으로써 비디오 이벤트의 재생 시간이 짧아지고, 필터링을 위한 피사체를 분류함으로써 검색해야 할 피사체를 신속하게 브라우징하고 잠글 수 있으며, 이에 의해 감시 효율을 크게 향상시킬 수 있으며, 이는 경찰이 사건을 신속하게 해결하고 많은 주요의 중대한 사건들을 해결하는 효율을 향상시키는 데 매우 중요하다. 종래기술은 비디오 축약 방법을 제공한다. 입력 비디오 스트림의 장면 정보를 분석하고 이 장면 정보로부터 전경 정보를 추출하면, 그 장면 정보 내의 피사체 정보를 획득된 전경 정보의 클러스터 분석을 수행함으로써 획득하고 대응하는 축약 비디오를 추가로 획득한다. 생성된 축약 비디오에서는, 단일 프레임의 이미지가 입력 비디오 내의 상이한 프레임들에서 획득된 피사체 정보를 포함한다. 종래기술에서는 축약을 프레임 단위로 수행하고, 축약된 비디오가 단일 방식으로 표시되며, 상이한 궤적의 상이한 레프리젠테이션이 반영될 수 없게 된다.
축약된 비디오가 단일 방식으로 표시되는 문제를 해결하기 위해, 본 발명의 실시예에서는 비디오 축약 방법 및 장치가 제공된다.
기술적 솔루션은 이하와 같다:
제1 관점에 따르면, 본 발명은 비디오 축약 방법을 제공하며, 상기 방법은:
원래의 비디오로부터 적어도 2개의 움직이는 피사체 및 상기 적어도 2개의 움직이는 피사체의 움직이는 궤적을 추출하는 단계;
상기 적어도 2개의 움직이는 궤적 간의 공간-시간 중복성(spatio-temporal redundancy)을 계산하고, 상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율(synopsis ratio)을 결정하는 단계; 및
상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 피사체의 움직이는 궤적을 축약하는 단계
를 포함한다.
제1 관점을 참조하여, 제1 관점의 제1 가능한 실행 방식에서, 상기 원래의 비디오는 적어도 하나의 비디오 세그먼트를 포함하고, 상기 적어도 2개의 움직이는 궤적 간의 공간-시간 중복성을 계산하고, 상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율을 결정하는 단계 이전에, 상기 비디오 축약 방법은,
상기 적어도 하나의 비디오 세그먼트로부터, 상기 움직이는 피사체의 시작 프레임의 시점 및 종료 프레임의 시점에 대응하는 하나 이상의 시간 좌표값, 및 상기 움직이는 피사체의 움직이는 궤적이 지나가는 공간 좌표값을 획득하는 단계
를 더 포함하며,
상기 적어도 2개의 움직이는 궤적 간의 공간-시간 중복성을 계산하고, 상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율을 결정하는 단계는,
상기 움직이는 피사체의 시작 프레임 및 종료 프레임에 대응하는 시간 좌표값에 따라 상기 움직이는 피사체 간의 시간 충돌 확률을 계산하는 단계;
상기 움직이는 피사체의 움직이는 궤적이 지나가는 공간 좌표값에 따라 상기 움직이는 궤적 간의 공간 교차 확률을 계산하는 단계;
상기 시간 충돌 확률 및 상기 공간 교차 확률에 따라 상기 움직이는 궤적의 공간-시간 중복성을 획득하는 단계; 및
상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율을 결정하는 단계
를 포함한다.
제1 관점의 제1 가능한 실행 방식을 참조하여, 제1 관점의 제2 가능한 실행 방식에서, 상기 방법은:
다음의 공식:
Figure pat00001
(1)
을 사용함으로써 계산에 의해 상기 시간 충돌 확률을 획득하는 단계;
다음의 공식:
Figure pat00002
(2)
을 사용함으로써 계산에 의해 상기 공간 교차 확률을 획득하는 단계;
다음의 공식:
Figure pat00003
(3)
을 사용함으로써 계산에 의해 총 공간-시간 교차 및 충돌 확률을 획득하는 단계; 및
다음의 공식:
Figure pat00004
(4)
을 사용함으로써 계산에 의해 공간-시간 중복성을 획득하는 단계
를 포함하며,
f는 원래의 비디오를 시간 또는 프레임으로 구분한 후에 획득되는 f번째 비디오 세그먼트를 나타내고, ti ,n은 f번째 비디오 세그먼트 내의 i번째 움직이는 궤적 상에서 n번째 움직이는 피사체의 움직임 시간 주기를 나타내며;
ti ,n은 n번째 움직이는 피사체의 수명보다 작거나 같고, 상기 수명은 상기 움직이는 피사체의 시작 프레임의 시점과 종료 프레임의 시점 간의 시간 주기이며,
W(f)는 시간 충돌 확률과 공간 교차 확률의 감도 조정 함수를 나타낸다.
제1 관점 및 제1 관점의 제1 가능한 실행 방식 또는 제1 관점의 제2 가능한 실행 방식을 참조하여, 제1 관점의 제2 가능한 실행 방식에서,
상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 피사체의 움직이는 궤적을 축약하는 단계는,
상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 불변 유지하고 상기 움직이는 궤적의 원래의 프레임율을 변경하는 단계; 또는
상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 원래의 프레임율을 불변으로 유지하고 상기 움직이는 궤적의 프레임을 감소시키는 단계; 또는
상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 감소시키고 상기 움직이는 궤적의 원래의 프레임율을 변경하는 단계
를 포함한다.
제1 관점의 제3 가능한 실행 방식을 참조하여, 제1 관점의 제4 가능한 실행 방식에서, 상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 불변 유지하고 상기 움직이는 궤적의 원래의 프레임율을 변경하는 단계는,
상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임율의 변경 값을 획득하고, 상기 프레임율의 변경 값에 따라 상기 프레임율을 증가시킴으로써 상기 움직이는 궤적에 대해 가속을 수행하는 단계
를 포함한다.
제1 관점의 제4 가능한 실행 방식을 참조하여, 제1 관점의 제5 가능한 실행 방식에서, 상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 원래의 프레임율을 불변으로 유지하고 상기 움직이는 궤적의 프레임을 감소시키는 단계는,
상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임의 변경 값을 획득하고, 상기 프레임의 변경 값에 따라 상기 프레임을 감소시킴으로써 상기 움직이는 궤적에 대해 가속을 수행하는 단계
를 포함한다.
제1 관점의 제5 가능한 실행 방식을 참조하여, 제1 관점의 제6 가능한 실행 방식에서, 상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 감소시키고 상기 움직이는 궤적의 원래의 프레임율을 변경하는 단계는,
상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임율의 변경 값 및 프레임의 변경 값을 획득하고, 상기 프레임율의 변경 값 및 상기 프레임의 변경 값에 따라 상기 프레임율을 변경하고 상기 프레임을 감소시킴으로써 상기 움직이는 궤적에 대해 가속을 수행하는 단계
를 포함한다.
제1 관점, 또는 제1 관점의 제1 가능한 실행 방식 내지 제6 가능한 실행 방식을 참조하여, 제1 관점의 제7 가능한 실행 방식에서, 상기 방법은:
상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 피사체의 움직이는 궤적을 축약하는 단계는,
관심 영역을 설정하고, 상기 변경 비율의 값 범위 내에서, 상기 관심 영역 내의 움직이는 궤적에 대해 주문 비율 변경(customized rate changing)을 수행하는 단계; 또는
상기 축약 비율에 따라 상기 움직이는 피사체의 움직이는 궤적의 비율을 변경하는 단계
를 포함한다.
제2 관점에 따르면, 본 발명은 비디오 축약 장치를 제공하며, 상기 장치는:
원래의 비디오로부터 적어도 2개의 움직이는 피사체 및 상기 적어도 2개의 움직이는 피사체의 움직이는 궤적을 추출하도록 구성되어 있는 추출 유닛;
상기 추출 유닛에 의해 추출되는 상기 적어도 2개의 움직이는 궤적 간의 공간-시간 중복성을 계산하고, 상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율을 결정하도록 구성되어 있는 계산 유닛; 및
상기 계산 유닛에 의해 결정되는 상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 피사체의 움직이는 궤적을 축약하도록 구성되어 있는 축약 유닛
을 포함한다.
제2 관점을 참조하여, 제2 관점의 제1 가능한 실행 방식에서, 상기 원래의 비디오는 적어도 하나의 비디오 세그먼트를 포함하고, 상기 추출 유닛은 상기 움직이는 피사체의 시작 프레임 및 종료 프레임에 대응하는 하나 이상의 시간 좌표값, 및 상기 움직이는 피사체의 움직이는 궤적이 지나가는 공간 좌표값을 획득하도록 구성되어 있으며,
상기 계산 유닛은,
상기 움직이는 피사체의 시작 프레임 및 종료 프레임에 대응하는 시간 좌표값에 따라 상기 움직이는 피사체 간의 시간 충돌 확률을 계산하도록 구성되어 있는 시간 충돌 확률 계산 서브유닛;
상기 움직이는 피사체의 움직이는 궤적이 지나가는 공간 좌표값에 따라 상기 움직이는 궤적 간의 공간 교차 확률을 계산하도록 구성되어 있는 공간 교차 확률 계산 서브유닛;
상기 시간 충돌 확률 및 상기 공간 교차 확률에 따라 상기 움직이는 궤적의 공간-시간 중복성을 획득하도록 구성되어 있는 공간-시간 중복성 획득 서브유닛; 및
상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율을 결정하도록 구성되어 있는 축약 비율 획득 서브유닛
을 더 포함한다.
제2 관점의 제1 가능한 실행 방식을 참조하여, 제2 관점의 제2 가능한 실행 방식에서, 상기 시간 충돌 확률 계산 서브유닛은 다음의 공식:
Figure pat00005
(1)
을 사용함으로써 상기 움직이는 피사체 간의 시간 충돌 확률을 계산하고;
상기 공간 교차 확률 계산 서브유닛은 다음의 공식:
Figure pat00006
(2)
을 사용함으로써 상기 움직이는 피사체 간의 공간 교차 확률을 계산하고;
상기 공간-시간 중복성 획득 서브유닛은 다음의 공식:
Figure pat00007
(3)
을 사용함으로써 움직이는 궤적 간의 총 공간-시간 교차 및 충돌 확률을 계산하는 총 공간-시간 교차 및 충돌 확률 계산 세컨더리 서브유닛
을 포함하며;
상기 공간-시간 중복성 획득 세컨더리 서브유닛은 다음의 공식:
Figure pat00008
(4)
을 사용함으로써 움직이는 궤적 간의 공간-시간 중복성을 계산하며,
f는 원래의 비디오를 시간 또는 프레임으로 구분한 후에 획득되는 f번째 비디오 세그먼트를 나타내고, ti ,n은 f번째 비디오 세그먼트 내의 i번째 움직이는 궤적 상에서 n번째 움직이는 피사체의 움직임 시간 주기를 나타내며;
ti ,n은 n번째 움직이는 피사체의 수명보다 작거나 같고, 상기 수명은 상기 움직이는 피사체의 시작 프레임의 시점과 종료 프레임의 시점 간의 시간 주기이며,
W(f)는 시간 충돌 확률과 공간 교차 확률의 감도 조정 함수를 나타낸다.
제2 관점, 제2 관점의 제1 가능한 실행 방식, 및 제2 관점의 제2 가능한 실행 방식을 참조하여, 제2 관점의 제3 가능한 실행 방식에서,
상기 축약 유닛은,
상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 불변 유지하고 상기 움직이는 궤적의 원래의 프레임율을 변경하도록 구성되어 있는 제1 비율-변경 서브유닛; 또는
상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 원래의 프레임율을 불변으로 유지하고 상기 움직이는 궤적의 프레임을 감소시키도록 구성되어 있는 제2 비율-변경 서브유닛; 또는
상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 감소시키고 상기 움직이는 궤적의 원래의 프레임율을 변경하도록 구성되어 있는 제3 비율-변경 서브유닛
을 포함한다.
제2 관점의 제3 가능한 실행 방식을 참조하여, 제2 관점의 제4 가능한 실행 방식에서, 상기 제1 비율-변경 서브유닛은 구체적으로, 상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임율의 변경 값을 획득하고, 상기 프레임율의 변경 값에 따라 상기 프레임율을 증가시킴으로써 상기 움직이는 궤적에 대해 가속을 수행하도록 구성되어 있다.
제2 관점의 제4 가능한 실행 방식을 참조하여, 제2 관점의 제5 가능한 실행 방식에서, 상기 제2 비율-변경 서브유닛은 구체적으로, 상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임의 변경 값을 획득하고, 상기 프레임의 변경 값에 따라 상기 프레임을 감소시킴으로써 상기 움직이는 궤적에 대해 가속을 수행하도록 구성되어 있다.
제2 관점의 제5 가능한 실행 방식을 참조하여, 제2 관점의 제6 가능한 실행 방식에서, 상기 제3 비율-변경 서브유닛은 구체적으로, 상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임율의 변경 값 및 프레임의 변경 값을 획득하고, 상기 프레임율의 변경 값 및 상기 프레임의 변경 값에 따라 상기 프레임율을 변경하고 상기 프레임을 감소시킴으로써 상기 움직이는 궤적에 대해 가속을 수행하도록 구성되어 있다.
제2 관점의 제1 내지 제6 가능한 실행 방식 중 임의의 하나를 참조하여, 제2 관점의 제7 가능한 실행 방식에서, 상기 장치는:
관심 영역을 설정함으로써, 축약 비율의 값 범위 내에서, 상기 관심 영역의 움직이는 궤적에 대해 주문 비율 변경을 수행하도록 구성되어 있는 주문 비율-변경 서브유닛; 또는
상기 비율 변경에 따라 상기 움직이는 피사체의 움직이는 궤적의 비율을 변경하도록 구성되어 있는 자동 비율-변경 서브유닛
을 더 포함한다.
본 발명의 실시예에서 제공하는 비디오 축약 방법 및 장치에 따르면, 원래의 비디오에서 움직이는 피사체 및 움직이는 궤적을 추출하고, 궤적 간 공간-시간 중복성을 계산한다. 즉, 시공간에서 움직이는 궤적의 중첩 확률에 기초해서 움직이는 궤적 간의 공간-시간 중복성을 획득한다. 그러므로 상이한 움직이는 궤적의 축약 비율을 개별적으로 획득하고, 상이한 움직이는 궤적의 비율은 상이한 축약 비율에 따라 개별적으로 변하며, 이에 의해 상이한 궤적의 상이한 레프리젠테이션을 반영하고 축약 결과의 디스플레이 방식을 다양화한다. 또한, 선택적으로, 전술한 설명에 기초해서, 사용자의 관심 영역을 설정함으로써, 피사체의 비율 및 사용자가 관심을 두고 있는 영역이 감소할 수 있으며, 이에 의해 사용자가 완전한 관찰을 할 수 있게 하면서 피사체의 궤적의 정보 통합을 보장한다.
본 발명의 실시예의 기술적 솔루션을 더 명확하게 설명하기 위해, 이하에서는 본 발명의 실시예를 설명하는 데 필요한 첨부된 도면에 대해 간략하게 설명한다. 당연히, 이하의 실시예의 첨부된 도면은 본 발명의 일부의 실시예에 지나지 않으며, 당업자라면 창조적 노력 없이 첨부된 도면으로부터 다른 도면을 도출해낼 수 있을 것이다.
도 1은 본 발명의 실시예 1에 따른 비디오 축약 방법에 대한 흐름도이다.
도 2는 본 발명의 실시예 1에 따른 비디오 축약 방법에서의 세그먼트에 의해 원래의 비디오를 리-슈팅하는 실시도이다.
도 3은 본 발명의 실시예 2에 따른 비디오 축약 장치에 대한 개략적인 블록도이다.
도 4는 본 발명의 실시예 2에 따른 비디오 축약 장치 내의 계산 유닛에 대한 개략적인 블록도이다.
도 5는 본 발명의 실시예 2에 따른 비디오 축약 장치 내의 축약 유닛에 대한 개략적인 블록도이다.
이하에서는 본 발명의 실시예에 첨부된 도면을 참조하여 본 발명의 실시예의 기술적 솔루션에 대해 명확하고 완전하게 설명한다. 당연히, 설명된 실시예는 본 발명의 모든 실시예가 아닌 일부에 지나지 않는다. 당업자가 창조적 노력 없이 본 발명의 실시예에 기초하여 획득하는 모든 다른 실시예는 본 발명의 보호 범위 내에 있게 된다.
도 1에 도시된 바와 같이, 본 발명의 본 실시예는 비디오 축약 방법을 제공하며, 상기 방법은 이하의 단계를 포함한다:
S101: 원래의 비디오로부터 적어도 2개의 움직이는 피사체 및 상기 적어도 2개의 움직이는 피사체의 움직이는 궤적을 추출한다.
특정한 애플리케이션 시나리오에서, 원래의 비디오로부터 움직이는 피사체 및 상기 움직이는 피사체의 움직이는 궤적을 추출하는 단계는 움직이는 피사체 세그먼테이션 기술과 관련되어 있다. 즉, 비디오의 전경 및 배경은 구분된다. 비디오의 배경에서 전경을 분리하는 것은 전경 또는 배경의 독립적인 처리를 용이하게 한다. 여기서 전경이란 움직이는 피사체 및 움직이는 피사체의 궤적을 말하며, 여기서 배경이란 움직이는 피사체가 아닌 피사체 또는 움직이는 피사체의 궤적을 말한다. 전경을 배경으로부터 분리한 후, 그 획득된 배경을 배경 광 강화(background light strenthening) 및 배경 식별과 같은 다양한 방식으로 처리할 수 있다. 배경을 처리한 후, 전경, 즉 움직이는 피사체 및 움직이는 피사체의 궤적을 부가할 수 있는데, 이것이 배경의 독립적인 처리이다. 마찬가지로, 전경을 배경으로부터 분리한 후, 전경, 즉 움직이는 피사체 및 움직이는 피사체의 궤적을 독립적으로 처리한 다음, 배경을 부가할 수도 있다. 본 실시예에서 제공하는 기술적 솔루션에서, 세그먼테이션에 의해 획득된 전경, 움직이는 피사체 및 움직이는 피사체의 궤적을 독립적으로 처리한 후, 다른 움직이는 피사체 및 다른 움직이는 피사체의 궤적이 층 단위(lyaer by layer)로 중첩된다.
그렇지만, 움직이는 궤적 세그먼테이션이 실행되기 전에, 움직이는 피사체 검출 및 추적(tracking)을 먼저 수행하여 움직이는 피사체 및 움직이는 피사체의 궤적을 획득하여야 한다. 특정한 실행 프로세스에서, 움직이는 피사체 검출 및 추적을 실행하는 데 사용될 수 있는 많은 방법이 있다. 예를 들어, 움직이는 피사체 검출에서는 프레임 분간 방법(frame difference method) 및 배경 모델링 방법(background modeling method)을 사용할 수 있다. 움직이는 피사체 추적에서는 평균 이동(mean shift) 방법 및 장기간 추적(ling term tracking) 알고리즘과 같은 추적 기법을 사용할 수 있다. 원래의 비디오로부터 움직이는 피사체 및 움직이는 피사체의 움직이는 궤적을 추출함으로써, 움직이는 피사체의 시작 프레임의 시점 및 종료 프레임의 시점에 대응하는 시간 좌표, 및 움직이는 궤적이 지나가는 일련의 공간 좌표를 획득한다.
S102: 적어도 2개의 움직이는 궤적 간의 공간-시간 중복성(spatio-temporal redundancy)을 계산하고, 상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율(synopsis ratio)을 결정한다.
단계 S101에서 원래의 비디오로부터 획득되는 다른 움직이는 피사체 및 다른 움직이는 피사체의 궤적에 따라, 움직이는 궤적 중 한 궤적 상의 움직이는 피사체의 시작 프레임 시점 및 종료 프레임의 시점에 대응하는 시간 좌표가 다른 움직이는 피사체의 시작 프레임의 시점 및 종료 프레임의 시점에 대응하는 시간 좌표와 중첩할 확률에 따라 궤적의 시간 충돌 확률(time collision probability)을 획득한다. 시간 충돌 확률은 움직이는 궤적 상의 움직이는 피사의 수명이 움직이는 궤적 상의 다른 움직이는 피사체의 수명과 중첩할 확률이며, 여기서 움직이는 피사체의 수명은 움직이는 피사체의 시작 프레임의 시점 및 종료 프레임의 시점에 따라 획득된다.
단계 S101에서 원래의 비디오로부터 획득되는 다른 움직이는 피사체 및 다른 움직이는 피사체의 궤적에 따라, 궤적의 공간 교차 확률(spatial crossover probability)은 움직이는 피사체 중 한 피사체가 공간 중에서 지나가는 트랙 상에서 획득되는 일련의 공간 좌표가 다른 움직이는 피사체가 공간 중에서 지나가는 트랙 상에서 획득되는 일련의 공간 좌표와 중첩할 확률에 따라 획득된다. 공간 교차 확률은 움직이는 궤적 상의 움직이는 피사체가 다른 움직이는 궤적과 교차할 확률이다.
즉, 움직이는 궤적 상의 복수의 움직이는 피사체 간에 시간 충돌이 일어나는 경우에 시간 충돌 확률은 하나의 움직이는 궤적에 기초해서 분석된다. 움직이는 궤적 상에 단지 하나의 움직이는 피사체만이 존재할 때, 시간 충돌 확률은 제로이다. 다른 움직이는 궤적 간에 공간 교차가 일어난 경우에 공간 교차 확률은 다른 움직이는 궤적에 기초해서 분석된다. 모든 움직이는 피사체가 하나의 움직이는 궤적을 공유할 때는, 공간 교차 확률이 제로이다. 동일한 움직이는 피사체에 기초해서 획득되는 공간 교차 확률 및 시간 충돌 확률은 서로 독립적이다. 움직이는 궤적의 총 공간-시간 교차 및 충돌 확률은 2개의 독립적인 확률을 결합함으로써 획득될 수 있다. 총 공간-시간 교차 및 충돌 확률은 움직이는 궤적과 다른 움직이는 궤적 간에 존재하는 상대적 공간-시간 중복성, 즉 총 프레임으로 축약될 수 있는 프레임의 비율, 즉 움직이는 궤적의 상대적 축약 비율을 추정/획득하는 데 사용될 수 있다. 축약 비율은 원래의 비디오에 포함되어 있는 데이터량에 대한 축약된 비디오에 포함되어 있는 데이터량의 비율이다.
S103: 움직이는 궤적의 축약 비율에 따라 움직이는 피사체의 움직이는 궤적을 축약한다.
S102에서 획득되는 움직이는 궤적의 축약 비율, 총 프레임으로 축약될 수 있는 프레임의 비율에 따라, 움직이는 궤적의 비율이 변경된다.
구체적으로, 공간-시간 중복성이 클수록 궤적의 축약 비율도 커진다. 움직이는 피사체의 다른 움직이는 궤적을 개별적으로 분석하여 다른 움직이는 궤적의 다른 축약 비율을 획득함으로써, 다른 움직이는 궤적의 비율이 다른 움직이는 궤적의 축약 비율에 따라 개별적으로 실행될 수 있으며; 적어도 다른 움직이는 피사체와 관련된 하나의 움직이는 피사체의 움직임 비율이 변경되고; 비율-변경 가능한 움직이는 궤적의 공간 위치 및 비율-변경 속도가 획득된다.
본 발명의 본 실시예에서, 움직이는 궤적 간의 공간-시간 중복성은 움직이는 궤적의 시공간에서의 중첩 확률에 기초해서 획득된다. 그러므로 다른 움직이는 궤적의 축약 비율은 개별적으로 획득되고, 다른 움직이는 궤적의 비율은 다른 축약 비율에 따라 개별적으로 변경되며, 이에 의해 다른 궤적의 다른 레프리젠테이션을 반영하고 축약 결과의 디스플레이 방식을 다양화한다. 특정한 예를 사용함으로써, 이하에서는 본 발명에서 제공하는 궤적의 시간상 압축에 기초해서 비디오 축약 방법에 대해 설명한다.
본 발명의 트랙의 시간상 압축에 기초한 비디오 축약 방법에서 단계 S101의 특정한 실행 프로세스는 이하를 포함할 수 있다.
특정한 실행 프로세스에서, 전체 원래의 비디오로부터 움직이는 피사체 및 움직이는 궤적을 추출함으로써 많은 수의 움직이는 피사체 및 움직이는 궤적을 한 번에 획득할 수 있다. 이 문제는 특히 사람들과 차량이 많이 있는 도시에서의 감시 비디오에서 더 자명하다. 그러므로 선택적 실행 방식으로서, 전술한 원래의 비디오로부터 움직이는 피사체 및 움직이는 피사체의 궤적을 추출하는 단계는 이하의 단계를 포함할 수 있다.
a. 원래의 비디오에 대해 세그먼테이션을 수행하여 적어도 2개의 비디오 세그먼트를 획득한다.
선택적으로, 세그먼테이션은 시간에 기초할 수도 있고 다른 방식에 기초할 수도 있다. 또한, 다른 세그먼테이션 방식은 다른 환경에서 감시 비디오를 위해 선택될 수 있다. 예를 들어, 다양한 움직이는 피사체가 있는 도시에서의 감시 비디오에 있어서, 세그먼테이션 동안 선택되는 세그먼트 길이는 상대적으로 짧을 수 있다.
이 방식에서는, 한 번에 획득되는 움직이는 피사체 및 움직이는 피사체의 궤적은 상대적으로 적절한 범위 내에 있고, 이러한 시간 주기 내의 공간-시간 중복성의 분석은 더 정확하고 획득되는 효과는 더 선명하며, 이에 의해 관찰자가 용이하게 볼 수 있게 한다.
b. 적어도 2개의 비디오 세그먼트 중에서 임의의 비디오 세그먼트를 선택하고 이 비디오 세그먼트로부터 움직이는 피사체 및 움직이는 피사체의 움직이는 궤적을 추출한다.
본 발명에서의 트랙의 시간상 압축에 기초한 비디오 축약 방법에서 단계 S102의 특정한 실행 프로세스는 이하와 같다:
전술한 단계에서 원래의 비디오의 세그먼테이션과 다른 움직이는 피사체 그리고 하나의 비디오 세그먼트로부터 획득되는 움직이는 궤적에 따라, 비디오 세그먼트에서의 움직이는 궤적 상의 움직이는 피사체의 시작 프레임의 시점 및 종료 프레임의 시점에 대응하는 시간 좌표가 비디오 세그먼트에서의 다른 움직이는 피사체의 시작 프레임의 시점 및 종료 프레임의 시점에 대응하는 시간 좌표와 중첩할 확률에 따라 그 궤적의 시간 충돌 확률이 획득된다. 시간 충돌 확률은 움직이는 궤적 상의 움직이는 피사체의 수명이 움직이는 궤적 상의 다른 움직이는 피사체의 수명과 중첩할 확률이고, 여기서 움직이는 피사체의 수명은 이 움직이는 피사체의 시작 프레임의 시점 및 종료 프레임의 시점에 따라 획득된다.
전술한 단계에서 원래의 비디오의 세그먼테이션과 다른 움직이는 피사체 그리고 하나의 비디오 세그먼트로부터 획득되는 움직이는 궤적에 따라, 비디오 세그먼트에서의 움직이는 피사체가 공간 중에서 지나가는 궤적 상에서 획득되는 일련의 공간 좌표가 비디오 세그먼트에서의 다른 움직이는 피사체가 공간 중에서 지나가는 궤적 상에서 획득되는 일련의 공간 좌표와 중첩할 확률에 따라 그 궤적의 공간 교차 확률이 획득된다. 공간 교차 확률은 움직이는 궤적 상의 움직이는 궤적이 다른 움직이는 궤적과 교차하는 확률이다.
동일한 움직이는 피사체에 기초해서 획득되는 공간 교차 확률 및 시간 충돌 확률은 서로 독립적이다. 움직이는 궤적의 총 공간-시간 교차 및 충돌 확률은 2개의 독립적인 확률을 결합함으로써 획득될 수 있다. 총 공간-시간 교차 및 충돌 확률은 움직이는 궤적과 다른 움직이는 궤적 간에 존재하는 상대적 공간-시간 중복성, 즉 총 프레임으로 축약될 수 있는 프레임의 비율, 즉 움직이는 궤적의 상대적 축약 비율이다.
구체적으로, Track(ti ,n,i,n)은 비디오 세그먼트(f번째 비디오 세그먼트) 내의 움직이는 궤적, 즉 i번째 움직이는 궤적 상의 n번째 피사체가 ti ,n 주기에서 지나가는 궤적을 나타내는 데 사용되고; Pdi ,n(f)은 i번째 궤적을 제외한 다른 움직이는 궤적이 f번째 비디오 세그먼트 내의 i번째 궤적 상의 n번째 피사체와 교차하는 확률, 즉 공간 교차 확률을 나타내는 데 사용되며; Pti ,n(f)은 i번째 궤적을 포함하는 원래의 비디오 세그먼트에서의 ti ,n 주기를 제외한 주기 동안에 나타나는 움직이는 피사체가 ti ,n 주기 동안 i번째 궤적 상의 n번째 피사체와 충돌할 확률, 즉 시간 충돌 확률을 나타내는 데 사용된다.
구체적으로, 적어도 2개의 움직이는 궤적 간의 공간-시간 중복성을 계산하는 단계, 및 공간-시간 중복성에 따라 움직이는 궤적의 충돌 비율을 결정하는 단계는 이하를 포함한다.
도 2에 도시된 바와 같이, 임의의 비디오 세그먼트 내의 모든 피사체의 궤적(f번째 비디오 세그먼트를 예로 든다)은 원래의 비디오가 구분된 후 시작 시각에 서 정렬되고, 추출된 움직이는 궤적의 공간-시간 중복성은 이하의 공식을 사용함으로써 계산된다:
공간 교차는 상이한 움직이는 궤적들이 공간 중에서 서로 교차하는 경우이고, 공간 교차 확률은 구체적으로 다음과 같이 표현될 수 있다:
Figure pat00009
상이한 움직이는 궤적들은 공간 중에서 서로 교차할 뿐이지 시간상에서 서로 충돌하는 것은 아니므로, 시간상의 충돌은 동일한 움직이는 궤적 상의 다른 움직이는 피사체들이 서로 충돌하는 경우이며, 시간 충돌 확률은 구체적으로 다음과 같이 표현될 수 있다:
Figure pat00010
여기서 f는 원래의 비디오를 시간 또는 프레임으로 구분한 후에 획득되는 f번째 비디오 세그먼트를 나타내고, ti ,n은 f번째 비디오 세그먼트 내의 i번째 움직이는 궤적 상에서 n번째 움직이는 피사체의 움직임 시간 주기를 나타내며, 여기서 ti ,n은 n번째 움직이는 피사체의 수명보다 작거나 같고, f번째 비디오 세그먼트 내의 i번째 궤적 상의 모든 피사체의 수명이 f번째 비디오 세그먼트 내의 i번째 궤적 상의 모든 피사체의 수명의 합이며, 상기 수명은 움직이는 피사체의 시작 프레임의 시점과 종료 프레임의 시점 간의 시간 주기이다. 전술한 공식들에서의 항은 S101에서 원래의 비디오 내의 움직이는 궤적의 수명 내의 시간 좌표 및 공간 좌표로부터 획득될 수 있고, 전술한 2개의 확률은 서로 독립적이기 때문에, 궤적 Track(ti,n,i,n)에 있어서, 총 교차 및 충돌 확률은 다음과 같다:
Figure pat00011
결론적으로, 이하의 궤적 최적화 함수를 설정하여, 궤적 Track(ti ,n,i,n)의 공간-시간 중복성을 나타낼 수 있다:
Figure pat00012
여기서, W(f)는 시간 충돌 확률과 공간 교차 확률의 감도 조정 함수를 나타내고, 이 함수는 f번째 세그먼트 내의 궤적의 수의 비증가 함수에 설정될 수 있다. 예를 들어, W(f)의 값은 0.5일 수 있거나 1보다 크거나 작을 수 있으며, 이것은 경험 값이며, W(f)는 0보다 크고 1보다 작은 조정 가능한 범위에서 조정 가능하다. 당연히, Oi ,n(f)은 공간-시간 중복성이 클수록 궤적 Track(ti ,n,i,n)의 축약 범위가 크게 된다는 것을 나타내고, 즉 공간-시간 중복성의 값 Oi ,n(f)은 축약 비율의 값이므로, 축약 비율이 크게 된다는 것을 나타낸다.
그런 다음, 움직이는 궤적의 축약 비율이 공간-시간 중복성에 따라 결정된다.
전술한 단계에서 획득되는 움직이는 궤적의 축약 비율, 총 프레임으로 축약될 수 있는 프레임의 비율에 따라, 공간-시간 중복성이 클수록 궤적의 축약 비율이 크게 된다는 것을 나타낸다. 다른 움직이는 궤적들의 축약 비율에 따라, 다른 움직이는 궤적들의 비율이 개별적으로 변경되고; 다른 움직이는 피사체들과 관련된 움직이는 피사체의 적어도 움직임 비율이 변경되며; 그리고 비율-변경 가능한 움직이는 궤적의 공간 위치 및 비율-변경 속도가 획득된다. 특정한 실행 프로세스에서, 움직이는 궤적의 비율을 변경하는 단계는 적어도 이하의 방식을 사용해서 실행될 수 있다: 1) 원래의 디스플레이 프레임율을 변경한다. 즉, 디스플레이 프레임율은 원래의 비디오의 디스플레이 프레임율과 일치하지 않으며, 이것은 2가지 상황으로 분류될 수 있다: a. 프레임율을 증가시킨다. 즉, 디스플레이 프레임율이 원래의 비디오의 디스플레이 프레임율보다 높다는 전제 하에, 이 경우, 궤적의 프레임을 불변으로 유지하거나 지정된 궤적의 프레임을 감소시킴으로써 궤적의 디스플레이 속도가 더 증가하도록 가속을 수행할 수 있으며; 지정된 트랙의 프레임을 증가시킴으로써 감속을 수행할 수 있으며; b. 프레임율을 감소시킨다. 즉, 디스플레이 프레임율이 원래의 비디오의 디스플레이 프레임율보다 낮다는 전제 하에, 이 경우, 궤적의 프레임을 감소시킴으로써 가속을 수행할 수 있으며; 궤적의 프레임을 불변으로 유지하거나 지정된 궤적의 프레임을 감소시킴으로써 감속을 수행할 수 있으며; 2) 원래의 디스플레이 프레임율을 유지한다. 즉, 디스플레이 프레임율이 원래의 비디오의 디스플레이 프레임율과 일치한다는 전제 하에, 지정된 궤적의 프레임을 감소시킴으로써 지정된 궤적의 디스플레이 속도의 가속을 수행할 수 있거나; 그리고 궤적의 프레임을 증가시킴으로써 지정된 궤적의 디스플레이 속도의 감속을 수행할 수 있다.
선택적 실행 방식으로서, 움직이는 궤적의 비율을 변경하는 전술한 방식 1)에 기초해서, 움직이는 궤적의 프레임이 불변으로 유지되며; 움직이는 궤적의 원래의 프레임율이 변경되며; 움직이는 궤적의 프레임율의 변경 값은 움직이는 궤적의 축약 비율에 따라 획득될 수 있으며; 프레임율의 변경 값에 따라 프레임율을 증가시킴으로써 움직이는 궤적에 대해 가속을 수행한다. 구체적으로, 움직이는 궤적의 축약 비율은 움직이는 궤적의 프레임율의 변경에 정비례한다. 즉, 원래의 프레임율에 기초해서, 축약 비율이 클수록 프레임율의 변경도 크다는 것을 나타내며, 축약 비율이 작을수록 프레임율의 변경도 작다는 것을 나타낸다. 전제는 비율 변경은 가속 진폭의 차이만 있을 뿐, 원래의 프레임율에 기초한 모든 가속이다는 것이다.
다른 선택적 실행 방식으로서, 움직이는 궤적의 비율을 변경하는 전술한 방식 2)에 기초해서, 움직이는 궤적의 원래의 프레임율이 불변으로 유지되고; 움직이는 궤적의 프레임이 감소하며; 움직이는 궤적의 프레임의 변경 값은 움직이는 궤적의 축약 비율에 따라 획득되며; 그리고 프레임의 변경 값에 따라 프레임을 감소시킴으로써 움직이는 궤적에 대해 가속을 수행한다. 구체적으로, 움직이는 궤적의 축약 비율은 움직이는 궤적의 프레임의 변경 값에 정비례한다. 즉, 원래의 프레임에 기초해서, 축약 비율이 클수록 프레임의 변경도 크다는 것을 나타내며, 축약 비율이 작을수록 프레임의 변경도 작다는 것을 나타낸다. 전제는 비율 변경은 감속 진폭의 차이만 있을 뿐, 원래의 프레임에 기초한 모든 감속이다는 것이다.
또 다른 선택적 실행 방식으로서, 움직이는 궤적의 비율을 변경하는 전술한 방식 1)에 기초해서, 움직이는 궤적의 프레임이 감소하고 움직이는 궤적의 원래의 프레임율이 변경되며; 움직이는 궤적의 프레임율의 변경 값 및 프레임의 변경 값이 움직이는 궤적의 축약 비율에 따라 획득될 수 있고; 프레임율의 변경 값에 따라 프레임율을 변경함으로써 움직이는 궤적에 대해 가속을 수행하며, 프레임의 변경 값에 따라 프레임을 감소시킴으로써 움직이는 궤적에 대해 가속을 수행한다. 구체적으로, 움직이는 궤적의 축약 비율은 움직이는 궤적의 프레임율의 변경 값에 정비례하고, 움직이는 궤적의 축약 비율은 움직이는 궤적의 프레임의 변경 값에 정비례한다. 즉, 원래의 프레임율에 기초해서, 축약 비율이 클수록 프레임율의 변경도 크다는 것을 나타내며, 축약 비율이 작을수록 프레임율의 변경도 작다는 것을 나타낸다. 전제는 비율 변경은 가속 진폭 차이의 차이만 있을 뿐, 원래의 프레임율에 기초한 모든 가속이다는 것이다. 또한, 원래의 프레임율에 기초해서, 축약 비율이 클수록 프레임의 변경도 크다는 것을 나타내며, 축약 비율이 작을수록 프레임의 변경도 작다는 것을 나타낸다. 전제는 프레임 변경은 감속 진폭의 차이만 있을 뿐, 원래의 프레임에 기초한 모든 감속이다는 것이다.
전술한 실행 방식 중 임의의 하나에 기초해서, 사용자는 축약된 비디오에 관심 영역을 설정할 수 있다. 예를 들어, 실생활의 환경에서, 경찰이 축약된 비디오를 볼 때 하나 이상의 피사체에 관심을 둘 수 있다. 이 경우, 관심 영역의 재생 속도를 천천히 하기 위해, 관심을 두고 있는 이 하나 이상의 피사체의 움직이는 궤적에 대해 주문 비율 변경(customized rate changing)을 수행할 수 있다. 즉, 원래의 비디오의 디스플레이 속도와 축약된 비디오의 디스플레이 속도 사이에서 조정을 수행한다. 이 경우, 다른 움직이는 궤적의 축약 비율에 따라 다른 움직이는 궤적을 가장 큰 범위로 여전히 축약할 수 있다. 즉, 다른 움직이는 피사체는 상대적으로 고속으로 움직인다. 이러한 실행 방식에서, 관심 영역의 감속을 수행함으로써, 이에 의해 관심 영역은 더 나은 동적의 상세한 디스플레이 효과를 획득한다. 위에서 설명한 바와 같이, 디스플레이 프레임율을 감소시키거나 프레임을 증가시킴으로써 특정한 감속 솔루션을 수행할 수 있다.
선택적으로, 사용자는 관심 영역을 설정하지 않을 수도 있다. 이 경우, 모든 움직이는 궤적은 움직이는 궤적의 대응하는 공간-시간 중복성에 따라 획득되는 축약 비율에 따라 축약된다. 즉, 모든 움직이는 피사체는 상대적으로 고속으로 움직인다. 즉, 다른 궤적들의 디스플레이 속도는 다른 축약 비율에 따라 조정되고, 이에 따라 공간-시간 디스플레이의 균등 효과가 보장된다는 전제 하에, 비디오 축약 결과의 디스플레이 시간이 지능적이고 효과적으로 압축되는 것이 실행된다. 본 발명의 실시예에서 움직이는 궤적의 공간-시간 중복성은 시공간에서 움직이는 궤적의 중첩 확률에 기초해서 획득된다. 그러므로 다른 움직이는 궤적의 축약 비율은 개별적으로 획득되며, 다른 움직이는 궤적의 비율은 다른 축약 비율에 따라 개별적으로 변경되며, 이에 의해 다른 궤적들의 다른 레프리젠테이션을 반영하고 축약 결과의 디스플레이 방식을 다양화한다. 이에 의해, 피사체 또는 사용자가 관심을 두고 있는 영역에 대해 감속을 추가로 수행함으로써, 사용자는 완전하게 관찰할 수 있고, 이에 의해 피사체의 궤적의 정보 통합을 보장할 수 있다.
실시예 2
도 3에 도시된 바와 같이, 본 발명의 본 실시예는 비디오 축약 장치(200)를 제공하며, 상기 장치는:
원래의 비디오로부터 적어도 2개의 움직이는 피사체 및 상기 적어도 2개의 움직이는 피사체의 움직이는 궤적을 추출하도록 구성되어 있는 추출 유닛(201);
상기 추출 유닛에 의해 추출되는 상기 적어도 2개의 움직이는 궤적 간의 공간-시간 중복성을 계산하고, 상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율을 결정하도록 구성되어 있는 계산 유닛(202); 및
상기 계산 유닛(202)에 의해 결정되는 상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 피사체의 움직이는 궤적을 축약하도록 구성되어 있는 축약 유닛(203)
을 포함한다.
특정한 애플리케이션 시나리오에서, 추출 유닛(201)에 의해 원래의 비디오로부터 움직이는 피사체 및 상기 움직이는 피사체의 움직이는 궤적을 추출하는 단계는 움직이는 피사체 세그먼테이션 기술과 관련되어 있다. 즉, 비디오의 전경 및 배경은 구분된다. 비디오의 배경에서 전경을 분리하는 것은 전경 또는 배경의 독립적인 처리를 용이하게 한다. 여기서 전경이란 움직이는 피사체 및 움직이는 피사체의 궤적을 말하며, 여기서 배경이란 움직이는 피사체가 아닌 피사체 또는 움직이는 피사체의 궤적을 말한다. 전경을 배경으로부터 분리한 후, 그 획득된 배경을 배경 광 강화 및 배경 식별과 같은 다양한 방식으로 처리할 수 있다. 배경을 처리한 후, 전경, 즉 움직이는 피사체 및 움직이는 피사체의 궤적을 부가할 수 있는데, 이것이 배경의 독립적인 처리이다. 마찬가지로, 전경을 배경으로부터 분리한 후, 전경, 즉 움직이는 피사체 및 움직이는 피사체의 궤적을 독립적으로 처리한 다음, 배경을 부가할 수도 있다. 본 실시예에서 제공하는 기술적 솔루션에서, 세그먼테이션에 의해 획득된 전경, 움직이는 피사체 및 움직이는 피사체의 궤적을 독립적으로 처리한 후, 다른 움직이는 피사체 및 다른 움직이는 피사체의 궤적이 층 단위로 중첩된다.
그렇지만, 움직이는 궤적 세그먼테이션이 실행되기 전에, 움직이는 피사체 검출 및 추적을 먼저 수행하여 움직이는 피사체 및 움직이는 피사체의 궤적을 획득하여야 한다. 특정한 실행 프로세스에서, 움직이는 피사체 검출 및 추적을 실행하는 데 사용될 수 있는 많은 방법이 있으며, 움직이는 피사체 검출과 움직이는 피사체 추적의 기술은 움직이는 궤적을 결합하고, 이에 의해 움직이는 피사체 및 움직이는 피사체의 움직이는 궤적을 추출한다. 예를 들어, 움직이는 피사체 검출에서는 프레임 분간 방법 및 배경 모델링 방법을 사용할 수 있다. 움직이는 피사체 추적에서는 평균 이동 방법 및 장기간 추적 알고리즘과 같은 추적 기법을 사용할 수 있다. 원래의 비디오로부터 움직이는 피사체 및 움직이는 피사체의 움직이는 궤적을 추출함으로써, 움직이는 피사체의 시작 프레임의 시점 및 종료 프레임의 시점에 대응하는 시간 좌표, 및 움직이는 궤적이 지나가는 일련의 공간 좌표를 획득한다.
특정한 실행 프로세스에서, 전체 원래의 비디오로부터 움직이는 피사체 및 움직이는 궤적을 추출함으로써 많은 수의 움직이는 피사체 및 움직이는 궤적을 한 번에 획득할 수 있다. 이 문제는 특히 사람들과 차량이 많이 있는 도시에서의 감시 비디오에서 더 자명하다. 그러므로 선택적 실행 방식으로서, 추출 유닛(201)은 원래의 비디오를 시간 또는 프레임으로 구분한 후 적어도 2개의 비디오 세그먼트를 획득하도록 구성될 수 있다.
상기 추출 유닛(201)은 적어도 2개의 비디오 세그먼트 중에서 하나의 비디오 세그먼트를 선택하고 이 비디오 세그먼트로부터 움직이는 피사체 및 움직이는 피사체의 움직이는 궤적을 추출하도록 구성되어 있다.
구체적으로, 원래의 비디오는 시간 또는 다른 방식에 기초하여 구분될 수 있다. 또한, 다른 세그먼테이션 방식은 다른 환경에서 감시 비디오를 위해 선택될 수 있다. 예를 들어, 다양한 움직이는 피사체가 있는 도시에서의 감시 비디오에 있어서, 세그먼테이션 동안 선택되는 세그먼트 길이는 상대적으로 짧을 수 있다. 이 방식에서는, 한 번에 획득되는 움직이는 피사체 및 움직이는 피사체의 궤적은 상대적으로 적절한 범위 내에 있고, 이러한 시간 주기 내의 공간-시간 중복성의 분석은 더 정확하고 획득되는 효과는 더 선명하며, 이에 의해 관찰자가 용이하게 볼 수 있게 한다.
선택적으로, 추출 유닛(201)은 추출된 움직이는 피사체의 시작 프레임 및 종료 프레임에 대응하는 시간 좌표값 및 움직이는 피사체의 움직이는 궤적이 지나가는 공간 좌표값을 획득하도록 추가로 구성된다.
또한, 선택적으로, 도 4에 도시된 바와 같이, 계산 유닛(202)은:
움직이는 피사체의 시작 프레임 및 종료 프레임에 대응하는 시간 좌표값에 따라 상기 움직이는 피사체 간의 시간 충돌 확률을 계산하도록 구성되어 있는 시간 충돌 확률 계산 서브유닛(202a);
상기 움직이는 피사체의 움직이는 궤적이 지나가는 공간 좌표값에 따라 상기 움직이는 궤적 간의 공간 교차 확률을 계산하도록 구성되어 있는 공간 교차 확률 계산 서브유닛(202b);
상기 시간 충돌 확률 및 상기 공간 교차 확률에 따라 상기 움직이는 궤적의 공간-시간 중복성을 획득하도록 구성되어 있는 공간-시간 중복성 획득 서브유닛(202c); 및
상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율을 결정하도록 구성되어 있는 축약 비율 획득 서브유닛(202d)
을 더 포함한다.
시간 충돌 확률 계산 서브유닛(202a)은 다음의 공식:
Figure pat00013
을 사용함으로써 상기 움직이는 피사체 간의 시간 충돌 확률을 계산한다.
공간 교차 확률 계산 서브유닛(202b)은 다음의 공식:
Figure pat00014
을 사용함으로써 상기 움직이는 피사체 간의 공간 교차 확률을 계산한다.
공간-시간 중복성 획득 서브유닛은:
이하의 공식:
Figure pat00015
을 사용함으로써 움직이는 궤적 간의 총 공간-시간 교차 및 충돌 확률을 계산하는 총 공간-시간 교차 및 충돌 확률 계산 세컨더리 서브유닛; 및
이하의 공식:
Figure pat00016
을 사용함으로써 움직이는 궤적 간의 공간-시간 중복성을 계산하는 공간-시간 중복성 획득 세컨더리 서브유닛
을 포함하며,
여기서, f는 원래의 비디오를 시간 또는 프레임으로 구분한 후에 획득되는 f번째 비디오 세그먼트를 나타내고, ti ,n은 f번째 비디오 세그먼트 내의 i번째 움직이는 궤적 상에서 n번째 움직이는 피사체의 움직임 시간 주기를 나타내며, 여기서 ti ,n은 n번째 움직이는 피사체의 수명보다 작거나 같고, 상기 수명은 상기 움직이는 피사체의 시작 프레임의 시점과 종료 프레임의 시점 간의 시간 주기이며, W(f)는 시간 충돌 확률과 공간 교차 확률의 감도 조정 함수를 나타낸다.
추출 유닛(201)은 추출에 의해 원래의 비디오로부터 다른 움직이는 피사체 및 다른 움직이는 피사체의 움직이는 궤적을 획득하고, 추출 유닛(201)은 움직이는 궤적 중 한 궤적 상에서 움직이는 피사체의 시작 프레임의 시점 및 종료 프레임의 시점에 대응하는 시간 좌표를 추출한다. 계산 유닛(202)은, 움직이는 궤적 중 한 궤적 상에서 움직이는 피사체의 시작 프레임의 시점 및 종료 프레임의 시점에 대응하고 추출 유닛(201)에 의해 추출되는 시간 좌표가 다른 움직이는 피사체의 시작 프레임의 시점 및 종료 프레임의 시점에 대응하는 시간 좌표와 중첩할 확률에 따라 궤적의 시간 충돌 확률을 획득한다. 시간 충돌 확률은 움직이는 궤적 상에서 움직이는 피사체의 수명이 움직이는 궤적 상에서 다른 움직이는 피사체의 수명과 중첩할 확률이고, 여기서, 움직이는 피사체의 수명은 그 움직이는 피사체의 시작 프레임의 시점 및 종료 프레임의 시점에 따라 획득된다.
추출 유닛(201)은 추출에 의해 원래의 비디오로부터 다른 움직이는 피사체 및 다른 움직이는 피사체의 움직이는 궤적을 획득하고, 추출 유닛(201)은 움직이는 궤적 중 한 궤적이 공간 중에서 지나가는 궤적 상에서 획득되는 일련의 공간 좌표 및 다른 움직이는 피사체가 공간 중에서 지나가는 궤적 상에서 획득되는 일련의 공간 좌표를 추출한다. 계산 유닛(202)은, 계산 유닛(201)에 의해 추출되고 움직이는 피사체 중 하나의 피사체가 공간 중에서 지나가는 궤적 상에서 획득되는 일련의 공간 좌표가 다른 움직이는 피사체가 공간 중에서 지나가는 궤적 상에서 획득되는 일련의 공간 좌표와 중첩할 확률에 따라 궤적의 공간 교차 확률을 획득한다. 공간 교차 확률은 움직이는 궤적 상에서 움직이는 피사체가 다른 움직이는 궤적과 교차할 확률이다.
즉, 움직이는 궤적 상의 복수의 움직이는 피사체 간에 시간 충돌이 일어나는 경우에 시간 충돌 확률은 하나의 움직이는 궤적에 기초해서 분석된다. 움직이는 궤적 상에 단지 하나의 움직이는 피사체만이 존재할 때, 시간 충돌 확률은 제로이다. 다른 움직이는 궤적 간에 공간 교차가 일어난 경우에 공간 교차 확률은 다른 움직이는 궤적에 기초해서 분석된다. 모든 움직이는 피사체가 하나의 움직이는 궤적을 공유할 때는, 공간 교차 확률이 제로이다.
동일한 움직이는 피사체에 기초해서 획득되는 공간 교차 확률 및 시간 충돌 확률은 서로 독립적이다. 계산 유닛(202) 내의 공간-시간 중복성 획득 서브유닛은 2개의 독립적인 확률을 결합함으로써 움직이는 궤적의 총 공간-시간 교차 및 충돌 확률을 획득할 수 있고, 이러한 총 공간-시간 교차 및 충돌 확률을 사용하여 움직이는 궤적과 다른 움직이는 궤적 간에 존재하는 상대적 공간-시간 중복성, 즉 총 프레임으로 축약될 수 있는 프레임의 비율, 즉 움직이는 궤적의 상대적 축약 비율을 추정/획득할 수 있다.
계산 유닛(202)에 의한 계산에 의해 획득되는 움직이는 궤적의 축약 비율에 따라, 움직이는 궤적의 비율이 변경되고, 축약 비율은 총 프레임으로 축약될 수 있는 프레임의 비율이다. 구체적으로, 공간-시간 중복성이 클수록 궤적의 축약 비율이 크게 된다는 것을 나타낸다. 움직이는 피사체의 다른 움직이는 궤적을 개별적으로 분석하여 다른 움직이는 궤적의 다른 축약 비율을 획득함으로써, 다른 움직이는 궤적의 비율이 다른 움직이는 궤적의 축약 비율에 따라 개별적으로 실행될 수 있으며; 적어도 다른 움직이는 피사체와 관련된 하나의 움직이는 피사체의 움직임 비율이 변경되고; 비율-변경 가능한 움직이는 궤적의 공간 위치 및 비율-변경 속도가 획득된다.
특정한 실행 프로세스에서, 움직이는 궤적의 비율을 변경하는 단계는 적어도 이하의 방식을 사용해서 실행될 수 있다: 1) 원래의 디스플레이 프레임율을 변경한다. 즉, 디스플레이 프레임율은 원래의 비디오의 디스플레이 프레임율과 일치하지 않으며, 이것은 2가지 상황으로 분류될 수 있다: a. 프레임율을 증가시킨다. 즉, 디스플레이 프레임율이 원래의 비디오의 디스플레이 프레임율보다 높다는 전제 하에, 이 경우, 궤적의 프레임을 불변으로 유지하거나 지정된 궤적의 프레임을 감소시킴으로써 궤적의 디스플레이 속도가 더 증가하도록 가속을 수행할 수 있으며; 지정된 트랙의 프레임을 증가시킴으로써 감속을 수행할 수 있으며; b. 프레임율을 감소시킨다. 즉, 디스플레이 프레임율이 원래의 비디오의 디스플레이 프레임율보다 낮다는 전제 하에, 이 경우, 궤적의 프레임을 감소시킴으로써 가속을 수행할 수 있으며; 궤적의 프레임을 불변으로 유지하거나 지정된 궤적의 프레임을 감소시킴으로써 감속을 수행할 수 있으며; 2) 원래의 디스플레이 프레임율을 유지한다. 즉, 디스플레이 프레임율이 원래의 비디오의 디스플레이 프레임율과 일치한다는 전제 하에, 지정된 궤적의 프레임을 감소시킴으로써 지정된 궤적의 디스플레이 속도를 가속하도록 가속을 수행할 수 있으며; 그리고 궤적의 프레임을 증가시킴으로써 지정된 궤적의 디스플레이 속도가 감속하도록 감속을 수행할 수 있다.
구체적으로, 전술한 수개의 비율-변경 방식에 기초해서, 도 5에 도시된 축약 유닛(203)은:
움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 불변 유지하고 상기 움직이는 궤적의 원래의 프레임율을 변경하도록 구성되어 있는 제1 비율-변경 서브유닛; 또는
상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 원래의 프레임율을 불변으로 유지하고 상기 움직이는 궤적의 프레임을 감소시키도록 구성되어 있는 제2 비율-변경 서브유닛; 또는
상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 감소시키고 상기 움직이는 궤적의 원래의 프레임율을 변경하도록 구성되어 있는 제3 비율-변경 서브유닛
을 포함한다.
또한, 선택적으로, 상기 제1 비율-변경 서브유닛은 상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임율의 변경 값을 획득하고, 상기 프레임율의 변경 값에 따라 상기 프레임율을 증가시킴으로써 상기 움직이는 궤적에 대해 가속을 수행한다. 구체적으로, 움직이는 궤적의 축약 비율은 움직이는 궤적의 프레임율의 변경에 정비례한다. 즉, 원래의 프레임율에 기초해서, 축약 비율이 클수록 프레임율의 변경도 크다는 것을 나타내며, 축약 비율이 작을수록 프레임율의 변경도 작다는 것을 나타낸다. 전제는 비율 변경은 가속 진폭에서의 차이가 있을 뿐, 원래의 프레임율에 기초한 모든 가속이다는 것이다. 상기 제2 비율-변경 서브유닛은 상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임의 변경 값을 획득하고, 상기 프레임의 변경 값에 따라 상기 프레임을 감소시킴으로써 상기 움직이는 궤적에 대해 가속을 수행한다. 구체적으로, 움직이는 궤적의 축약 비율은 움직이는 궤적의 프레임의 변경 값에 정비례한다. 즉, 원래의 프레임에 기초해서, 축약 비율이 클수록 프레임의 변경도 크다는 것을 나타내며, 축약 비율이 작을수록 프레임의 변경도 작다는 것을 나타낸다. 전제는 비율 변경은 감속 진폭의 차이만 있을 뿐, 원래의 프레임에 기초한 모든 감속이다는 것이다. 상기 제3 비율-변경 서브유닛은 구체적으로, 상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임율의 변경 값 및 프레임의 변경 값을 획득하고, 상기 프레임율의 변경 값 및 상기 프레임의 변경 값에 따라 상기 프레임율을 변경하고 상기 프레임을 감소시킴으로써 상기 움직이는 궤적에 대해 가속을 수행한다. 구체적으로, 움직이는 궤적의 축약 비율은 움직이는 궤적의 프레임율의 변경 값에 정비례하고, 움직이는 궤적의 축약 비율은 움직이는 궤적의 프레임의 변경 값에 정비례한다. 즉, 원래의 프레임율에 기초해서, 축약 비율이 클수록 프레임율의 변경도 크다는 것을 나타내며, 축약 비율이 작을수록 프레임율의 변경도 작다는 것을 나타낸다. 전제는 비율 변경은 가속 진폭 차이의 차이만 있을 뿐, 원래의 프레임율에 기초한 모든 가속이다는 것이다. 또한, 원래의 프레임율에 기초해서, 축약 비율이 클수록 프레임의 변경도 크다는 것을 나타내며, 축약 비율이 작을수록 프레임의 변경도 작다는 것을 나타낸다. 전제는 프레임 변경은 감속 진폭의 차이만 있을 뿐, 원래의 프레임에 기초한 모든 감속이다는 것이다.
전술한 장치에서, 선택적으로, 축약 유닛(203)은:
관심 영역을 설정함으로써, 축약 비율의 값 범위 내에서, 상기 관심 영역의 움직이는 궤적에 대해 주문 비율 변경을 수행하도록 구성되어 있는 주문 비율-변경 서브유닛; 또는
상기 비율 변경에 따라 상기 움직이는 피사체의 움직이는 궤적의 비율을 변경하도록 구성되어 있는 자동 비율-변경 서브유닛
을 더 포함할 수 있다.
사용자는 주문 비율-변경 서브유닛을 사용함으로써 축약된 비디오에 관심 영역을 설정할 수 있다. 예를 들어, 실생활의 환경에서, 경찰이 축약된 비디오를 볼 때 하나 이상의 피사체에 관심을 둘 수 있다. 이 경우, 관심 영역의 재생 속도를 천천히 하기 위해, 관심을 두고 있는 이 하나 이상의 피사체의 움직이는 궤적에 대해 주문 비율 변경을 수행할 수 있다. 즉, 원래의 비디오의 디스플레이 속도와 축약된 비디오의 디스플레이 속도 사이에서 조정을 수행한다. 이 경우, 다른 움직이는 궤적의 축약 비율에 따라 다른 움직이는 궤적을 가장 큰 범위로 여전히 축약할 수 있다. 즉, 다른 움직이는 피사체는 상대적으로 고속으로 움직인다. 이러한 실행 방식에서, 관심 영역의 감속을 수행함으로써, 이에 의해 관심 영역은 더 나은 동적의 상세한 디스플레이 효과를 획득한다. 위에서 설명한 바와 같이, 디스플레이 프레임율을 감소시키거나 프레임을 증가시킴으로써 특정한 감속 솔루션을 수행할 수 있다.
선택적으로, 사용자가 자동 비율-변경 서브유닛을 사용함으로써 관심 영역을 설정하지 않을 때, 모든 움직이는 궤적은 움직이는 궤적의 대응하는 공간-시간 중복성에 따라 획득되는 축약 비율에 따라 축약된다. 즉, 모든 움직이는 피사체는 상대적으로 고속으로 움직인다. 즉, 다른 궤적들의 디스플레이 속도는 다른 축약 비율에 따라 조정되고, 이에 따라 공간-시간 디스플레이의 균등 효과가 보장된다는 전제 하에, 비디오 축약 결과의 디스플레이 시간이 지능적이고 효과적으로 압축되는 것이 실행된다.
본 발명의 실시예에서 움직이는 궤적의 공간-시간 중복성은 시공간에서 움직이는 궤적의 중첩 확률에 기초해서 획득된다. 그러므로 다른 움직이는 궤적의 축약 비율은 개별적으로 획득되며, 다른 움직이는 궤적의 비율은 다른 축약 비율에 따라 개별적으로 변경되며, 이에 의해 다른 궤적들의 다른 레프리젠테이션을 반영하고 축약 결과의 디스플레이 방식을 다양화한다. 이에 의해, 피사체 또는 사용자가 관심을 두고 있는 영역에 대해 감속을 추가로 수행함으로써, 사용자는 완전하게 관찰할 수 있고, 이에 의해 피사체의 궤적의 정보 통합을 보장할 수 있다.

Claims (15)

  1. 비디오 축약 방법으로서,
    원래의 비디오로부터 적어도 2개의 움직이는 피사체 및 상기 적어도 2개의 움직이는 피사체의 움직이는 궤적을 추출하는 단계;
    상기 적어도 2개의 움직이는 궤적 간의 공간-시간 중복성(spatio-temporal redundancy)을 계산하고, 상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율(synopsis ratio)을 결정하는 단계; 및
    상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 피사체의 움직이는 궤적을 축약하는 단계
    를 포함하는 비디오 축약 방법.
  2. 제1항에 있어서,
    상기 원래의 비디오는 적어도 하나의 비디오 세그먼트를 포함하고,
    상기 적어도 2개의 움직이는 궤적 간의 공간-시간 중복성을 계산하고, 상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율을 결정하는 단계 이전에, 상기 비디오 축약 방법은,
    상기 적어도 하나의 비디오 세그먼트로부터, 상기 움직이는 피사체의 시작 프레임의 시점 및 종료 프레임의 시점에 대응하는 하나 이상의 시간 좌표값, 및 상기 움직이는 피사체의 움직이는 궤적이 지나가는 공간 좌표값을 획득하는 단계
    를 더 포함하며,
    상기 적어도 2개의 움직이는 궤적 간의 공간-시간 중복성을 계산하고, 상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율을 결정하는 단계는,
    상기 움직이는 피사체의 시작 프레임 및 종료 프레임에 대응하는 시간 좌표값에 따라 상기 움직이는 피사체 간의 시간 충돌 확률을 계산하는 단계;
    상기 움직이는 피사체의 움직이는 궤적이 지나가는 공간 좌표값에 따라 상기 움직이는 궤적 간의 공간 교차 확률을 계산하는 단계;
    상기 시간 충돌 확률 및 상기 공간 교차 확률에 따라 상기 움직이는 궤적의 공간-시간 중복성을 획득하는 단계; 및
    상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율을 결정하는 단계
    를 포함하는, 비디오 축약 방법.
  3. 제2항에 있어서,
    다음의 공식:
    Figure pat00017
    (1)
    을 사용함으로써 계산에 의해 상기 시간 충돌 확률을 획득하는 단계;
    다음의 공식:
    Figure pat00018
    (2)
    을 사용함으로써 계산에 의해 상기 공간 교차 확률을 획득하는 단계;
    다음의 공식:
    Figure pat00019
    (3)
    을 사용함으로써 계산에 의해 총 공간-시간 교차 및 충돌 확률을 획득하는 단계; 및
    다음의 공식:
    Figure pat00020
    (4)
    을 사용함으로써 계산에 의해 공간-시간 중복성을 획득하는 단계
    를 포함하며,
    f는 원래의 비디오를 시간 또는 프레임으로 구분한 후에 획득되는 f번째 비디오 세그먼트를 나타내고, ti ,n은 f번째 비디오 세그먼트 내의 i번째 움직이는 궤적 상에서 n번째 움직이는 피사체의 움직임 시간 주기를 나타내며;
    ti ,n은 n번째 움직이는 피사체의 수명보다 작거나 같고, 상기 수명은 상기 움직이는 피사체의 시작 프레임의 시점과 종료 프레임의 시점 간의 시간 주기이며,
    W(f)는 시간 충돌 확률과 공간 교차 확률의 감도 조정 함수를 나타내는, 비디오 축약 방법.
  4. 제1항에 있어서,
    상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 피사체의 움직이는 궤적을 축약하는 단계는,
    상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 불변 유지하고 상기 움직이는 궤적의 원래의 프레임율을 변경하는 단계; 또는
    상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 원래의 프레임율을 불변으로 유지하고 상기 움직이는 궤적의 프레임을 감소시키는 단계; 또는
    상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 감소시키고 상기 움직이는 궤적의 원래의 프레임율을 변경하는 단계
    를 포함하는, 비디오 축약 방법.
  5. 제4항에 있어서,
    상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 불변 유지하고 상기 움직이는 궤적의 원래의 프레임율을 변경하는 단계는,
    상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임율의 변경 값을 획득하고, 상기 프레임율의 변경 값에 따라 상기 프레임율을 증가시킴으로써 상기 움직이는 궤적에 대해 가속을 수행하는 단계
    를 포함하는, 비디오 축약 방법.
  6. 제4항에 있어서,
    상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 원래의 프레임율을 불변으로 유지하고 상기 움직이는 궤적의 프레임을 감소시키는 단계는,
    상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임의 변경 값을 획득하고, 상기 프레임의 변경 값에 따라 상기 프레임을 감소시킴으로써 상기 움직이는 궤적에 대해 가속을 수행하는 단계
    를 포함하는, 비디오 축약 방법.
  7. 제6항에 있어서,
    상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 감소시키고 상기 움직이는 궤적의 원래의 프레임율을 변경하는 단계는,
    상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임율의 변경 값 및 프레임의 변경 값을 획득하고, 상기 프레임율의 변경 값 및 상기 프레임의 변경 값에 따라 상기 프레임율을 변경하고 상기 프레임을 감소시킴으로써 상기 움직이는 궤적에 대해 가속을 수행하는 단계
    를 포함하는, 비디오 축약 방법.
  8. 제1항에 있어서,
    상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 피사체의 움직이는 궤적을 축약하는 단계 이후에,
    관심 영역을 설정하고, 상기 축약 비율의 값 범위 내에서, 상기 관심 영역 내의 움직이는 궤적에 대해 주문 비율 변경(customized rate changing)을 수행하는 단계; 또는
    상기 축약 비율에 따라 상기 움직이는 피사체의 움직이는 궤적의 비율을 변경하는 단계
    를 더 포함하는, 비디오 축약 방법.
  9. 비디오 축약 장치로서,
    원래의 비디오로부터 적어도 2개의 움직이는 피사체 및 상기 적어도 2개의 움직이는 피사체의 움직이는 궤적을 추출하도록 구성되어 있는 추출 유닛;
    상기 추출 유닛에 의해 추출되는 상기 적어도 2개의 움직이는 궤적 간의 공간-시간 중복성을 계산하고, 상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율을 결정하도록 구성되어 있는 계산 유닛; 및
    상기 계산 유닛에 의해 결정되는 상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 피사체의 움직이는 궤적을 축약하도록 구성되어 있는 축약 유닛
    을 포함하는 비디오 축약 장치.
  10. 제9항에 있어서,
    상기 원래의 비디오는 적어도 하나의 비디오 세그먼트를 포함하고,
    상기 추출 유닛은 상기 움직이는 피사체의 시작 프레임 및 종료 프레임에 대응하는 하나 이상의 시간 좌표값, 및 상기 움직이는 피사체의 움직이는 궤적이 지나가는 공간 좌표값을 획득하도록 구성되어 있으며,
    상기 계산 유닛은,
    상기 움직이는 피사체의 시작 프레임 및 종료 프레임에 대응하는 시간 좌표값에 따라 상기 움직이는 피사체 간의 시간 충돌 확률을 계산하도록 구성되어 있는 시간 충돌 확률 계산 서브유닛;
    상기 움직이는 피사체의 움직이는 궤적이 지나가는 공간 좌표값에 따라 상기 움직이는 궤적 간의 공간 교차 확률을 계산하도록 구성되어 있는 공간 교차 확률 계산 서브유닛;
    상기 시간 충돌 확률 및 상기 공간 교차 확률에 따라 상기 움직이는 궤적의 공간-시간 중복성을 획득하도록 구성되어 있는 공간-시간 중복성 획득 서브유닛; 및
    상기 공간-시간 중복성에 따라 상기 움직이는 궤적의 축약 비율을 결정하도록 구성되어 있는 축약 비율 획득 서브유닛
    을 더 포함하는, 비디오 축약 장치.
  11. 제10항에 있어서,
    상기 시간 충돌 확률 계산 서브유닛은 다음의 공식:
    Figure pat00021
    (1)
    을 사용함으로써 상기 움직이는 피사체 간의 시간 충돌 확률을 계산하고;
    상기 공간 교차 확률 계산 서브유닛은 다음의 공식:
    Figure pat00022
    (2)
    을 사용함으로써 상기 움직이는 피사체 간의 공간 교차 확률을 계산하고;
    상기 공간-시간 중복성 획득 서브유닛은 다음의 공식:
    Figure pat00023
    (3)
    을 사용함으로써 움직이는 궤적 간의 총 공간-시간 교차 및 충돌 확률을 계산하는 총 공간-시간 교차 및 충돌 확률 계산 세컨더리 서브유닛
    을 포함하며;
    상기 공간-시간 중복성 획득 세컨더리 서브유닛은 다음의 공식:
    Figure pat00024
    (4)
    을 사용함으로써 움직이는 궤적 간의 공간-시간 중복성을 계산하며,
    f는 원래의 비디오를 시간 또는 프레임으로 구분한 후에 획득되는 f번째 비디오 세그먼트를 나타내고, ti ,n은 f번째 비디오 세그먼트 내의 i번째 움직이는 궤적 상에서 n번째 움직이는 피사체의 움직임 시간 주기를 나타내며;
    ti ,n은 n번째 움직이는 피사체의 수명보다 작거나 같고, 상기 수명은 상기 움직이는 피사체의 시작 프레임의 시점과 종료 프레임의 시점 간의 시간 주기이며,
    W(f)는 시간 충돌 확률과 공간 교차 확률의 감도 조정 함수를 나타내는, 비디오 축약 장치.
  12. 제9항에 있어서,
    상기 축약 유닛은,
    상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 불변 유지하고 상기 움직이는 궤적의 원래의 프레임율을 변경하도록 구성되어 있는 제1 비율-변경 서브유닛; 또는
    상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 원래의 프레임율을 불변으로 유지하고 상기 움직이는 궤적의 프레임을 감소시키도록 구성되어 있는 제2 비율-변경 서브유닛; 또는
    상기 움직이는 궤적의 축약 비율에 따라, 상기 움직이는 궤적의 프레임을 감소시키고 상기 움직이는 궤적의 원래의 프레임율을 변경하도록 구성되어 있는 제3 비율-변경 서브유닛
    을 포함하는, 비디오 축약 장치.
  13. 제12항에 있어서,
    상기 제1 비율-변경 서브유닛은 구체적으로, 상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임율의 변경 값을 획득하고, 상기 프레임율의 변경 값에 따라 상기 프레임율을 증가시킴으로써 상기 움직이는 궤적에 대해 가속을 수행하도록 구성되어 있는, 비디오 축약 장치.
  14. 제13항에 있어서,
    상기 제2 비율-변경 서브유닛은 구체적으로, 상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임의 변경 값을 획득하고, 상기 프레임의 변경 값에 따라 상기 프레임을 감소시킴으로써 상기 움직이는 궤적에 대해 가속을 수행하도록 구성되어 있는, 비디오 축약 장치.
  15. 제14항에 있어서,
    상기 제3 비율-변경 서브유닛은 구체적으로, 상기 움직이는 궤적의 축약 비율에 따라 상기 움직이는 궤적의 프레임율의 변경 값 및 프레임의 변경 값을 획득하고, 상기 프레임율의 변경 값 및 상기 프레임의 변경 값에 따라 상기 프레임율을 변경하고 상기 프레임을 감소시킴으로써 상기 움직이는 궤적에 대해 가속을 수행하도록 구성되어 있는, 비디오 축약 장치.
KR1020140168760A 2013-12-13 2014-11-28 비디오 축약 방법 및 장치 KR101606100B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310689129.3A CN104717457B (zh) 2013-12-13 2013-12-13 一种视频浓缩方法及装置
CN201310689129.3 2013-12-13

Publications (2)

Publication Number Publication Date
KR20150069518A true KR20150069518A (ko) 2015-06-23
KR101606100B1 KR101606100B1 (ko) 2016-03-24

Family

ID=51951592

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140168760A KR101606100B1 (ko) 2013-12-13 2014-11-28 비디오 축약 방법 및 장치

Country Status (5)

Country Link
US (1) US9454701B2 (ko)
EP (1) EP2884423A3 (ko)
JP (1) JP5919365B2 (ko)
KR (1) KR101606100B1 (ko)
CN (1) CN104717457B (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036943B1 (en) * 2013-03-14 2015-05-19 Amazon Technologies, Inc. Cloud-based image improvement
CN105554516A (zh) * 2015-12-31 2016-05-04 杭州华为数字技术有限公司 播放监控视频的方法和装置
EP3249651B1 (en) 2016-05-23 2018-08-29 Axis AB Generating a summary video sequence from a source video sequence
WO2018103042A1 (en) 2016-12-08 2018-06-14 Zhejiang Dahua Technology Co., Ltd. Methods and systems for video synopsis
CN107193905A (zh) * 2017-05-11 2017-09-22 江苏东大金智信息系统有限公司 一种在视频帧内合理组装待展示运动目标的方法
CN108881119B (zh) * 2017-05-12 2021-02-12 华为技术有限公司 一种视频浓缩的方法、装置和系统
CN109511019A (zh) * 2017-09-14 2019-03-22 中兴通讯股份有限公司 一种视频摘要方法、终端及计算机可读存储介质
JP6799523B2 (ja) * 2017-12-04 2020-12-16 株式会社トヨタマップマスター 走行現調支援装置
CN108073361A (zh) * 2017-12-08 2018-05-25 佛山市章扬科技有限公司 一种自动录制音视频的方法及装置
CN108446669B (zh) * 2018-04-10 2023-01-10 腾讯科技（深圳）有限公司 运动识别方法、装置及存储介质
CN108668096B (zh) * 2018-05-18 2021-08-20 京东方科技集团股份有限公司 视频数据的管理方法、装置及录像设备
US10958854B2 (en) * 2018-11-02 2021-03-23 BriefCam Ltd. Computer-implemented method for generating an output video from multiple video sources
CN109712255A (zh) * 2019-02-27 2019-05-03 北京猎户智芯科技有限公司 一种基于动态图片合成的停车收费取证系统和方法
JP7451172B2 (ja) 2019-12-24 2024-03-18 キヤノン株式会社 情報処理装置、映像の要約方法、およびプログラム
CN113438538B (zh) * 2021-06-28 2023-02-10 康键信息技术（深圳）有限公司 短视频预览方法、装置、设备及存储介质
CN115941997B (zh) * 2022-12-01 2023-06-30 石家庄铁道大学 片段-自适应的监控视频浓缩方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366027B (zh) * 2005-11-15 2013-03-20 耶路撒冷希伯来大学伊森姆研究发展公司 用于产生视频概要的方法和系统
JP2007237764A (ja) * 2006-03-06 2007-09-20 Denso Corp 車載状況記憶装置
US8311277B2 (en) 2007-02-01 2012-11-13 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for video indexing and video synopsis
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
US8786781B2 (en) * 2009-04-09 2014-07-22 Ati Technologies Ulc Detection and enhancement of in-video text
US8601024B2 (en) 2009-06-16 2013-12-03 Microsoft Corporation Synopsis of a search log that respects user privacy
JP5787485B2 (ja) * 2010-03-08 2015-09-30 Toa株式会社 監視装置、及びプログラム
TW201228376A (en) * 2010-12-28 2012-07-01 Altek Corp Electronic apparatus, image capturing apparatus and method thereof
CN102930061B (zh) 2012-11-28 2016-01-06 安徽水天信息科技有限公司 一种基于运动目标检测的视频摘要方法
CN103226586B (zh) * 2013-04-10 2016-06-22 中国科学院自动化研究所 基于能量分布最优策略的视频摘要方法
US9070023B2 (en) * 2013-09-23 2015-06-30 Toyota Motor Engineering & Manufacturing North America, Inc. System and method of alerting a driver that visual perception of pedestrian may be difficult

Also Published As

Publication number Publication date
US20150169962A1 (en) 2015-06-18
CN104717457A (zh) 2015-06-17
CN104717457B (zh) 2018-05-18
EP2884423A2 (en) 2015-06-17
JP2015115955A (ja) 2015-06-22
KR101606100B1 (ko) 2016-03-24
US9454701B2 (en) 2016-09-27
EP2884423A3 (en) 2015-08-19
JP5919365B2 (ja) 2016-05-18

Similar Documents

Publication Publication Date Title
KR101606100B1 (ko) 비디오 축약 방법 및 장치
EP3098755B1 (en) Local caching for object recognition
CN110049206B (zh) 图像处理方法、装置及计算机可读存储介质
US10178430B2 (en) Intelligent processing method and system for video data
CN105761500A (zh) 交通事故处理方法及交通事故处理装置
CN110032947B (zh) 一种监控事件发生的方法及装置
JP4493415B2 (ja) 通行人行動解析システム
KR101062225B1 (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
GB2443739A (en) Detecting image regions of salient motion
CN112507844A (zh) 基于视频分析的交通拥堵检测方法
CN102231820A (zh) 一种监控图像处理的方法、装置和系统
JP2015194915A (ja) 移動体追跡装置、移動体追跡方法、移動体追跡システムおよびカメラ
CN106845325A (zh) 一种信息检测方法及装置
CN103646254A (zh) 一种高密度行人检测方法
CN111380530A (zh) 导航方法及相关产品
CN102496024B (zh) 智能监控中以特征帧触发的事件检测方法
CN114078319A (zh) 一种检测交通事故隐患地点的方法及装置
JP2023036054A (ja) 目標カウント方法、装置、デバイス及び記憶媒体
CN115174889A (zh) 摄像机的位置偏移检测方法、电子设备和存储介质
CN109800685A (zh) 一种视频中对象的确定方法及装置
JP2005190142A (ja) 交差点交通量計測装置および交差点交通量計測方法
US20230336843A1 (en) Video summarization method for enabling easy identification of relevance between appearing objects in event
KR102642139B1 (ko) Cctv 영상의 이벤트 분할 감지 시스템
JP2012084078A (ja) 動体情報解析装置、動体情報解析システム、動体情報解析装置の制御方法、および動体情報解析装置の制御プログラム
CN110324661B (zh) 在移动拍摄下生成视频摘要方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190306

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200218

Year of fee payment: 5