KR102137516B1 - 공간 방향 객체 겹침 정도를 고려한 시간방향 비디오 요약 장치 및 방법 - Google Patents

공간 방향 객체 겹침 정도를 고려한 시간방향 비디오 요약 장치 및 방법 Download PDF

Info

Publication number
KR102137516B1
KR102137516B1 KR1020180145270A KR20180145270A KR102137516B1 KR 102137516 B1 KR102137516 B1 KR 102137516B1 KR 1020180145270 A KR1020180145270 A KR 1020180145270A KR 20180145270 A KR20180145270 A KR 20180145270A KR 102137516 B1 KR102137516 B1 KR 102137516B1
Authority
KR
South Korea
Prior art keywords
object track
change rate
video
track
life cycle
Prior art date
Application number
KR1020180145270A
Other languages
English (en)
Other versions
KR20200059922A (ko
Inventor
이명진
이민석
손종웅
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020180145270A priority Critical patent/KR102137516B1/ko
Publication of KR20200059922A publication Critical patent/KR20200059922A/ko
Application granted granted Critical
Publication of KR102137516B1 publication Critical patent/KR102137516B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G06K9/00751—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

시간 방향 비디오 요약 장치에 의해 수행되는 공간 방향 객체 겹침 정도를 고려한 시간 방향 비디오 요약 방법에 관한 것이며, 시간 방향 비디오 요약방법은, (a) 기준 시간 구간 에 대하여 입력 비디오를 시간축과 2차원 영상평면을 고려한 3차원 공간으로 형성하는 단계, (b) 상기 입력 비디오에 포함된 복수의 프레임별로 객체를 검출하여 객체 정보를 추출하는 단계, (c) 상기 객체 정보를 기초로 상기 객체에 대한 객체 트랙 정보를 추출하는 단계, (d) 상기 객체 트랙 정보에 기초하여 객체 트랙의 영역변화율을 계산하는 단계, (e) 상기 영역변화율이 미리 설정된 문턱치 이하이면 상기 객체 트랙을 시간 방향 서브샘플링하여 조정된 상기 객체 트랙을 생성하는 단계 및 (f) 상기 영역변화율을 고려하여 유지 또는 조정된 객체 트랙 및 상기 기준 시간 구간에 대하여 생성된 배경을 이용하여 요약 비디오를 생성하는 단계를 포함할 수 있다.

Description

공간 방향 객체 겹침 정도를 고려한 시간방향 비디오 요약 장치 및 방법{TEMPORAL VIDEO SUMMARIZATION METHOD AND DEVICE USING THE DEGREE OF SPATIAL OVERLAP OF VISUAL OBJECTS}
본원은 공간 방향 객체 겹침 정도를 고려한 시간방향 비디오 요약 장치 및 방법에 관한 것이다.
비디오 요약 기술은 비디오를 구성하는 이미지의 특징을 이용해서 프레임의 집합으로 이루어진 장면을 구분하고 장면 변화를 이용하거나, 뉴스의 헤드라인, 영화의 자막, 스포츠 경기에서 점수판과 같은 부가 정보를 추가로 이용해서 중요한 프레임, 샷 또는 장면을 위주로 비디오를 요약하는 기술이다.
최근 UCC, Youtube, Vimeo 등과 같이 디지털 방송 및 인터넷, 모바일을 중심으로 디지털 비디오의 활용이 급속히 확산되고 방대한 디지털 비디오 데이터가 급격히 증가하고 대중화됨에 따라 이를 활용하기 위한 효율적인 접근 기법이 절실히 요구되고 있으며 소셜 네트워크 서비스를 비롯한 클라우드 컴퓨터 환경을 통해 수많은 정보들이 사용자에게 제공되고 있지만, 많은 정보 중에서 사용자가 원하는 핵심적인 정보나 사용자의 의도에 맞는 정보를 제공받기에는 어려움이 있으며 현재 사용자의 의도에 맞춘 비디오 요약 기술은 미비한 실정이다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-0340030호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 비디오 내 존재하는 객체들을 중심으로 요약된 비디오를 생성 및 제공할 수 있는 시간방향 비디오 요약 장치 및 방법을 제공하는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 비디오 내 객체 검출 및 트랙 정보가 제공되는 영상보안시스템에서 2차원 영상과 시간 방향의 3차원 영상-시간 공간에서 객체 트랙 정보를 서브샘플링하거나 객체 트랙을 재배치하여 객체 트랙 중심의 비디오를 요약할 수 있는 시간방향 비디오 요약 장치 및 방법을 제공하는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 객체 트랙 중심의 요약 비디오에서 특정 객체 트랙의 선택시 해당 객체 단독 또는 동시간 대에 존재하는 모든 객체들을 포함하는 원본 영상을 제공할 수 있는 시간방향 비디오 요약 장치 및 방법을 제공하는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 시간 방향 비디오 요약 장치에 의해 수행되는 공간 방향 객체 겹침 정도를 고려한 시간 방향 비디오 요약 방법은, (a) 기준 시간 구간 에 대하여 입력 비디오를 시간축과 2차원 영상평면을 고려한 3차원 공간으로 형성하는 단계, (b) 상기 입력 비디오에 포함된 복수의 프레임별로 객체를 검출하여 객체 정보를 추출하는 단계, (c) 상기 객체 정보를 기초로 상기 객체에 대한 객체 트랙 정보를 추출하는 단계, (d) 상기 객체 트랙 정보에 기초하여 객체 트랙의 영역변화율을 계산하는 단계, (e) 상기 영역변화율이 미리 설정된 문턱치 이하이면 상기 객체 트랙을 시간 방향 서브샘플링하여 조정된 상기 객체 트랙을 생성하는 단계 및 (f) 상기 영역변화율을 고려하여 유지 또는 조정된 객체 트랙 및 상기 기준 시간 구간에 대하여 생성된 배경을 이용하여 요약 비디오를 생성하는 단계를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 (e) 단계는, (e1) 상기 영역변화율이 미리 설정된 최소 변화율 이상이면, 계산된 영역변화율 이상 미리 설정된 문턱치 이하의 사이값으로 영역변화율을 증가시킨 객체 트랙으로 서브샘플링하는 단계 및 (e2) 상기 영역변화율이 미리 설정된 최소 변화율 미만이면 상기 객체 트랙의 생애주기가 미리 설정된 대표 생애주기보다 큰 경우에 한하여 선택적으로 감소되도록 서브샘플링하는 단계를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 (e1) 단계에서, 상기 영역변화율은 하기 식 1을 만족하는 범위에서 증가되고, [식 1]
Figure 112018116636927-pat00001
여기서, T'RCR 은 증가된 영역변화율일 수 있다.
본원의 일 실시예에 따르면, 상기 (e2) 단계에서, 상기 객체 트랙의 생애주기는 미리 설정된 비율만큼 감소되고, 상기 미리 설정된 비율은 하기 식2를 만족하고, [식2]
Figure 112018116636927-pat00002
여기서
Figure 112018116636927-pat00003
는 객체 트랙의 생애주기이고,
Figure 112018116636927-pat00004
는 미리 설정된 대표 생애주기이고,
Figure 112018116636927-pat00005
는 감소된 객체 트랙의 생애주기이고,
Figure 112018116636927-pat00006
는 n번째 객체 트랙의 생애주기일 수 있다.
본원의 일 실시예에 따르면, 상기 (e) 단계와 상기 (f) 단계 사이에, 상기 (b) 단계에서 검출된 객체가 복수개인 경우, 그에 대응하는 객체 트랙들을 상기 3차원 공간에서 시간축의 앞단부터 배치하는 단계를 더 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 시간축의 앞단부터 배치하는 단계는, 상기 3차원 공간에서 상기 객체 트랙들간 겹침이 발생되는 경우, 겹침이 발생된 상기 객체 트랙들 중 생애주기가 큰 객체 트랙일수록 시간축의 앞단에 우선적으로 배치할 수 있다.
본원의 일 실시예에 따르면, 상기 겹침이 발생된 상기 객체 트랙들은 상기 3차원 공간에서 미리 설정된 겹침비율 이하로 겹쳐진 상태로 배치될 수 있다.
본원의 일 실시예에 따르면, 상기 (f) 단계에서, 상기 요약 비디오는, 상기 입력 비디오로부터 상기 기준 시간 구간에 대응하는 적어도 하나의 배경을 생성하고, 생성된 배경 위에 상기 유지 또는 조정된 객체 트랙의 이미지를 겹쳐 생성될 수 있다.
본원의 일 실시예에 따르면, 시간 방향 비디오 요약 장치는, 기준 시간 구간에 대하여 입력 비디오를 시간축과 2차원 영상평면을 고려한 3차원 공간으로 형상하는 3차원 공간 형성부, 상기 입력 비디오에 포함된 복수의 프레임별로 객체를 검출하여 객체 정보를 추출하고, 상기 객체 정보를 기초로 상기 객체에 대한 객체 트랙 정보를 추출하는 객체 트랙 정보 추출부, 상기 객체 트랙 정보에 기초하여 객체 트랙의 영역변화율을 계산하는 영역변화율 계산부, 상기 영역변화율이 미리 설정된 문턱치 이하이면 상기 객체 트랙을 시간 방향 서브샘플링하여 조정된 상기 객체 트랙을 생성하는 객체 트랙 조정부 및 상기 영역변화율을 고려하여 유지 또는 조정된 객체 트랙 및 상기 기준 시간 구간에 대하여 생성된 배경을 이용하여 요약 비디오를 생성하는 요약 비디오 생성부를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 객체 트랙 조정부는, 상기 영역변화율이 미리 설정된 최소 변화율 이상이면, 계산된 영역변화율 이상 미리 설정된 문턱치 이하의 사이값으로 영역변화율을 증가시킨 객체 트랙으로 서브샘플링하고, 상기 영역변화율이 미리 설정된 최소 변화율 미만이면, 상기 객체 트랙의 생애주기가 미리 설정된 대표 생애주기보다 큰 경우에 한하여 선택적으로 감소되도록 서브샘플링할 수 있다.
본원의 일 실시예에 따르면, 상기 영역변화율은 하기 식 1을 만족하는 범위에서 증가되고, [식 1]
Figure 112018116636927-pat00007
여기서, T'RCR 은 증가된 영역변화율일 수 있다.
본원의 일 실시예에 따르면, 상기 객체 트랙의 생애주기는 미리 설정된 비율만큼 감소되고, 상기 미리 설정된 비율은 하기 식2를 만족하고, [식2]
Figure 112018116636927-pat00008
여기서
Figure 112018116636927-pat00009
는 객체 트랙의 생애주기이고,
Figure 112018116636927-pat00010
는 미리 설정된 대표 생애주기이고,
Figure 112018116636927-pat00011
는 감소된 객체 트랙의 생애주기이고,
Figure 112018116636927-pat00012
는 n번째 객체 트랙의 생애주기일 수 있다.
본원의 일 실시예에 따르면, 상기 객체 트랙 조정부는, 상기 객체 정보 추출부에서 검출된 객체가 복수개인 경우, 그에 대응하는 객체 트랙들을 상기 3차원 공간에서 시간축의 앞단부터 배치할 수 있다.
본원의 일 실시예에 따르면, 상기 객체 트랙 조정부는, 상기 3차원 공간에서 상기 객체 트랙들간 겹침이 발생되는 경우, 겹침이 발생된 상기 객체 트랙들 중 생애주기가 큰 객체 트랙일수록 시간축의 앞단에 우선적으로 배치할 수 있다.
본원의 일 실시예에 따르면, 상기 겹침이 발생된 상기 객체 트랙들은 상기 3차원 공간에서 미리 설정된 겹침비율 이하로 겹쳐진 상태로 배치될 수 있다.
본원의 일 실시예에 따르면, 상기 요약 비디오는, 상기 입력 비디오로부터 상기 기준 시간 구간에 대응하는 적어도 하나의 배경을 생성하고, 생성된 배경 위에 상기 유지 또는 조정된 객체 트랙의 이미지를 겹쳐 생성될 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 비디오 내 객체 검출 및 트랙 정보 추출을 통해 3차원 영상-시간 공간에서 객체 트랙 중심의 비디오 요약을 가능하게 할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 요약된 비디오로부터 특정 객체를 선택하면 해당 객체를 포함한 원본 영상을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 공간 방향 객체 겹침 정도를 고려한 시간 방향 비디오 요약 장치 및 방법을 제공함으로써, 객체 검출 및 트랙 정보가 제공되는 영상보안 시스템 및 엔터테인먼트 영상 비이오 요약에 활용될 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 비디오 요약 장치의 개략적인 블록도이다.
도 2는 본원의 일 실시예에 따른 비디오 요약 장치에서 입력 비디오를 시간축과 2차원 영상평면을 고려하여 형성한 3차원 공간을 설명하기 위한 도면이다.
도 3은 본원의 일 실시예에 따른 비디오 요약 장치에서 객체 영역을 바운딩 박스(bounding box)의 형태로 나타낸 예를 개략적으로 도시한 도면이다.
도 4는 본원의 일 실시예에 따른 비디오 요약 장치에서 입력 비디오에 포함된 복수의 프레임별로 객체를 검출하여 객체 정보를 추출하는 예를 설명하기 위한 도면이다.
도 5는 본원의 일 실시예에 따른 비디오 요약 장치의 추출된 객체 트랙 정보를 이용하여 객체 별 매 시간 구간 별로 영역 변화율을 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 비디오 요약 장치에서 영역변화율이 낮은 객체를 시간(time) 방향 서브샘플링(subsampling)을 통해 영역변화율을 증가시킨 예를 개략적으로 나타낸 도면이다.
도7은 본원의 일 실시예에 따른 비디오 요약 장치에서 시간 압축 및 공간 압축을 통해 객체 트랙을 시간 방향 서브샘플링하여 조정된 객체 트랙을 생성하는 과정을 설명하기 위한 도면이다.
도8은 본원의 일 실시예에 따른 비디오 요약 장치의 특정 프레임(frame)에서 두 객체 또는 여러 객체의 겹침 정도를 나타낸 도면이다.
도 9는 본원의 일 실시예에 따른 비디오 요약 장치에서 빈 시간 구간 삭제를 통해 객체 트랙을 시간 방향 서브샘플링하여 조정된 객체 트랙을 생성하는 예를 나타낸 도면이다.
도10은 본원의 일 실시예에 따른 시간 방향 비디오 요약 장치에 의해 수행되는 공간 방향 객체 겹침 정도를 고려한 시간 방향 비디오 요약 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 비디오 시퀀스로부터 추출한 객체 트랙 정보를 이용하여 비디오를 요약하는 비디오 요약 장치 및 방법에 관한 것이다. 본원은 객체 트랙이 존재하지 않는 시간 구간과 영상 내 영역을 분석하여 객체 트랙의 가공 및 재배치를 통해 비디오를 요약할 수 있다.
또한, 본원은 비디오 내 객체 검출 및 트랙 정보가 제공되는 영상보안시스템에서 2차원 영상 및 시간 방향의 3차원 영상-시간 공간에서 객체 트랙 정보를 서브샘플링하거나 객체 트랙을 재배치하여 객체 트랙 중심의 비디오를 요약하는 것을 목표로 한다. 본원은 객체 트랙 중심의 요약 비디오에서 특정 객체 트랙의 선택시 해당 객체 단독 또는 동시간 대에 존재하는 모든 객체들을 포함하는 원본 영상을 제공하고자 한다.
도 1은 본원의 일 실시예에 따른 비디오 요약 장치의 개략적인 블록도이다.
도1을 참조하면, 비디오 요약 장치(1)는 3차원 공간 형성부(11), 객체 트랙 정보 추출부(12), 영역변화율 계산부(13), 객체 트랙 조정부(14) 및 요약 비디오 생성부(15)를 포함할 수 있다. 다만, 비디오 요약 장치(1)의 구성이 앞서 개시된 것들로 한정되는 것은 아니다. 예를 들어, 비디오 요약 장치(1)는 외부 서버로부터 비디오 입력을 수신하는 수신부 및 요약 비디오를 사용자 단말로 제공하는 송신부 등을 더 포함할 수 있다.
도 2는 본원의 일 실시예에 따른 비디오 요약 장치에서 입력 비디오를 시간축과 2차원 영상평면을 고려하여 형성한 3차원 공간을 설명하기 위한 도면이다.
도2를 참조하면, 3차원 공간 형성부(11)는 기준 시간 구간에 대하여 입력 비디오를 시간축과 2차원 영상평면을 고려한 3차원 공간으로 형성할 수 있다. 예시적으로, 기준 시간 구간은 신(scene) 별로 구분된 시간일 수 있다. 3차원 공간 형성부(11)는 시간에 따른 입력 영상(x, y) 평면을 3차원 공간으로 형성할 수 있다. 3차원 공간 형성부(11)가 입력 영상을 3차원 공간으로 형성함으로써, 이하에서 설명되는 객체 트랙 정보를 3차원 분할 공간(3D bin)을 이용하여 표현할 수 있다.
도 3은 본원의 일 실시예에 따른 비디오 요약 장치에서 객체 영역을 바운딩 박스(bounding box)의 형태로 나타낸 예를 개략적으로 도시한 도면이다.
도3을 참조하면, 객체 트랙 정보 추출부(12)는 입력 비디오에 포함된 복수의 프레임별로 객체를 검출하여 객체 정보를 추출할 수 있다. 또한, 객체 트랙 정보 추출부(12)는 입력 비디오에 포함된 하나 이상의 객체를 검출하여 객체 정보를 추출할 수 있다. 예시적으로, 객체 트랙 정보 추출부(12)는 바운딩 박스(bounding box) 또는 임의의 형태(컨투어)로 표시되는 객체 영역을 이용하여 객체 정보를 추출할 수 있다.
도3을 참조하면, 바운딩 박스는 객체의 경계를 사각형 형상로 2차원 정의한 것일 수 있다. 한편, 임의의 형태(컨투어)는 기 알려져 있거나 향후 개발될 다양한 기법에 의해 객체에 대응하는 형태로 설정될 수 있다.
객체 트랙 정보 추출부(12)는 입력 비디오에 포함된 매 프레임별로 객체를 검출하여 객체 정보를 추출할 수 있다. 이때, 객체는 사람, 자동차, 동물 등을 포함할 수 있다. 객체 트랙 정보 추출부(12)는 입력 비디오에서 비디오 프레임 별 속성(예를 들어, 객체의 종류, 위치 색상, 방향, 속도 등)을 객체 정보로 추출할 수 있다. 예시적으로, 객체 트랙 정보 추출부(12)는 객체의 색상 정보를 바운딩 박스 내의 픽셀 데이터를 활용하여 객체에 대한 색상 히스토그램을 생성하고, 높은 출현 횟수를 가지는 색상을 객체의 주 색상으로 설정할 수 있다.
도 4는 본원의 일 실시예에 따른 비디오 요약 장치에서 입력 비디오에 포함된 복수의 프레임별로 객체를 검출하여 객체 정보를 추출하는 예를 설명하기 위한 도면이다.
도4를 참조하면, 객체 트랙 정보 추출부(12)는 객체 정보를 기초로 객체에 대한 객체 트랙 정보를 추출할 수 있다. 또한, 객체 트랙 정보 추출부(12)는 객체마다 출현 시간 구간 및 출현 시간 구간 내 프레임별 속성을 포함하는 하나 이상의 객체 트랙 정보를 추출할 수 있다. 객체 트랙 정보는 시작 프레임 번호, 끝 프레임 번호, 트랙 내 프레임 별 객체 영역 표시 정보를 포함할 수 있다. 객체 영역 표시 정보의 기준은 왼쪽 상단 꼭지점 또는 무게 중심을 포함할 수 있다. 예시적으로, 객체 트랙 정보 추출부(12)는 검출된 객체에 대해서 추적이 이루어지며, 추적된 객체와 연계하여 객체 트랙 정보를 저장할 수 있다. 객체 트랙 정보 추출부(12)는 검출된 각 객체의 위치와 크기 및 픽셀 데이터를 활용하여 추적이 이루어진 객체의 ID, 이동 속도, 이동 방향 및 객체가 출현한 시점부터 사라지는 시점까지의 전체 체류 기간을 계산할 수 있다.
도 5는 본원의 일 실시예에 따른 비디오 요약 장치의 추출된 객체 트랙 정보를 이용하여 객체 별 매 시간 구간 별로 영역 변화율을 나타낸 도면이다.
영역변화율 계산부(13)는 객체 트랙 정보에 기초하여 객체 트랙의 영역변화율을 계산할 수 있다. 도5를 참조하면, 영역변화율 계산부(13)는 객체 트랙 정보를 이용하여 2차원 영상평면 및 시간축과 2차원 영상평면을 고려한 3차원 공간에서 객체의 y방향 변화율과 x방향 변화율을 활용하여 영역 변화율을 계산할 수 있다. 달리 말해, 영역변화율 계산부(13)는 객체 트랙 정보 추출부(12)에서 추출한 객체 트랙 정보를 기반으로 2차원 영상 및 시간 방향의 3차원 영상-시간 공간에서 객체의 y방향 변화율과 x방향 변화율을 활용하여 객체 트랙의 영역변화율을 계산할 수 있다.
예시적으로 도5의 (a)를 참조하면, 영역변화율 계산부(13)는 y축 및 t축을 고려하여 y방향 변화율을 계산할 수 있다. 영역변화율 계산부(13)는 일정 시간동안 객체가 y축 방향으로 이동한 거리(y축 방향 영역 변화량)를 이용하여 y방향 변화율을 계산할 수 있다. 또한, 도5의 (b)를 참조하면, 영역변화율 계산부(13)는 x축 및 t축을 고려하여 x방향 변화율을 계산할 수 있다. 영역변화율 계산부(13)는 일정 시간동안 객체가 x축 방향으로 이동한 거리(x축 방향 영역 변화량)를 이용하여 x방향 변화율을 계산할 수 있다. 도5의 (a) 및 (b)에 도시된 폭은 객체 트랙 정보 추출부(12)에서 지정한 바운딩 박스의 윤곽의 폭일 수 있다.
본원의 일 실시예에 따르면, 영역변화율 계산부(13)는 객체 트랙 생애주기 내의 프레임별 객체 위치의 평균 변화율로 객체 영역의 대표좌표의 변화 영역을 시작 프레임과 끝 프레임 구간 길이로 나누어 계산할 수 있다.
예를 들어 도 5를 참조하면, 영역변화율 계산부(13)는 y방향 변화율(도 5의 (a)) 및 x방향 변화율(도 5의 (b))을 함께 고려하여 도 5의 (c)에 나타난 바와 같이 영역 변화율을 계산할 수 있다. 여기서, Δy는 y방향 변화량(y방향 이동 거리)으로서 예를 들면 세로 화소의 픽셀수에 대응하는 값일 수 있고, Δx는 x방향 변화량(x방향 이동 거리)으로서 예를 들면 가로 화소의 픽셀수에 대응하는 값일 수 있다. 또한, Δt는 시간증분으로서 소정의 시간 간격에 대응하는 프레임수일 수 있다.
영역변화율 계산부(13)는 2차원 영상 평면 및 시간축을 고려한 3차원 영상-시간 공간에서 객체 각각에 대한 영역 변화율 계산을 수행함으로써, 모든 객체는 영역 변화율을 가질 수 있다.
도 6은 본원의 일 실시예에 따른 비디오 요약 장치에서 영역변화율이 낮은 객체를 시간(time) 방향 서브샘플링(subsampling)을 통해 영역변화율을 증가시킨 예를 개략적으로 나타낸 도면이다.
도6를 참조하면, 객체 트랙 조정부(14)는 영역변화율이 낮은 객체의 시간 방향 서브샘플링을 통해 영역변화율을 증가할 수 있다. 달리 말해, 객체 트랙 조정부(14)는 기준 시간 구간 내에서 객체 트랙의 영역 변화율이 문턱치보다 작은 경우 시간 방향 서브샘플링을 통해 시간을 감소시키는 방향으로 영역변화율을 증가시킬 수 있다.
객체 트랙 조정부(14)는 영역변화율이 미리 설정된 문턱치 이하이면 객체 트랙을 시간 방향 서브샘플링하여 조정된 객체 트랙을 생성할 수 있다. 일예로, 미리 설정된 문턱치는 사용자가 지정한 값일 수 있다. 또한, 미리 설정된 문턱치는, 씬 별로 구분된 입력 비디오에서의 최대 영역변화율일 수 있다. 객체 트랙 조정부(14)는 문턱치를 조절하여 시간방향 요약율을 조절할 수 있다.
본원의 일 실시예에 따르면, 객체 트랙 조정부(14)는 기준 시간 구간 내에서 객체 트랙의 영역변화율이 미리 설정된 문턱치 이하이면, 객체 트랙 생애주기를 영역변화율에 대한 단조감소 함수값의 비율로 감소시키는 서브샘플링을 통해 조정된 객체 트랙을 추출할 수 있다. 이때, 조정된 객체 트랙의 시작 또는 끝 시간은 조정된 객체 트랙의 시작 또는 끝 시간 사이의 값으로 설정할 수 있다.
도7은 본원의 일 실시예에 따른 비디오 요약 장치에서 시간 압축 및 공간 압축을 통해 객체 트랙을 시간 방향 서브샘플링하여 조정된 객체 트랙을 생성하는 과정을 설명하기 위한 도면이다.
도7을 참조하면, 객체 트랙 조정부(14)는 시간 압축을 통해 객체 트랙을 시간 방향 서브샘플링하여 조정된 객체 트랙을 생성할 수 있다. 달리 말해, 객체 트랙 조정부(14)는 기준 시간 구간 내 객체 트랙의 영역변화율이 영역변화율 대표값(생애주기) 이하인 경우 해당 객체 트랙의 영역변화율을 대표값과 현 영역변화율 사이의 값으로 조정할 수 있다. 객체 트랙 조정부(14)는 시간압축을 수행함으로써, 영역변화가 없는 객체들의 재생시간을 줄일 수 있다.
도7의 (a)는 입력 비디오에 포함된 특정 프레임에 복수개 검출된 객체 정보(객체1 내지 객체5)에 대하여 영역 변화량을 시간 축 기준으로 도시한 것이다. 참고로, 각각의 객체의 영역 변화량에 대하여 표시된 폭(도 7 기준 상하 방향 길이)은 해당 객체의 윤곽의 크기에 대응하는 값일 수 있다. 도7의 (a)는 조정된 객체 트랙을 생성하기 전의 객체 트랙정보일 수 있다.
도 7의 Case1을 참조하면, 객체 트랙 조정부(14)는 영역변화율(TRCR)이 미리 설정된 최소 변화율(∂RCR) 이상이면, 계산된 영역변화율 이상 미리 설정된 문턱치 이하의 사이값으로 영역변화율을 증기시킨 객체 트랙으로 서브샘플링할 수 있다. 미리 설정된 최소 변화율(∂RCR)은 요약 분량에 따라 설정되는 비율일 수 있다. 또한, 미리 설정된 최소 변화율(∂RCR)은 사용자가 지정한 설정에 의해 변경되는 설정값일 수 있다. 달리 말해, 객체 트랙 조정부(14)는 영역변화율 (TRCR)이 미리 설정된 최소 변화율(∂RCR) 이상이면, 영역변화율을 [식1]을 만족하는 범위에서 증가시킬 수 있다.
이때, 영역변화율은 [식1]을 만족하는 범위에서 증가될 수 있다.
[식1]
Figure 112018116636927-pat00013
여기서, TRCR은 계산된 영역변화율이고, T'RCR은 증가된 영역변화율이고, THRCR은 미리 설정된 문턱치일 수 있다.
예시적으로 도 7의 (a) 및 (b)를 참조하면, 도7의 (a)에서 객체3은 격자형태의 정사각형 영역에서 가로방향(시간축)으로 5칸을 차지하였으나, 이후 단계인 도7의(b)를 참조하면, 객체3은 격자형태의 정사각형 영역에서 가로방향(시간축)으로 3칸을 차지하는 것으로 변경된 것을 확인할 수 있다.
또한, 도 7의 (a) 및 (c)를 참조하면, 도7의 (a)에서 객체3은 격자형태의 정사각형 영역에서 객체의 영역 변화량에 대하여 표시된 폭이 가로방향으로 5칸을 차지하였으나, 이후 단계인 도7의(c)를 참조하면, 객체3은 격자형태의 정사각형 영역에서 객체의 영역 변화량에 대하여 표시된 폭이 가로방향으로 1칸을 차지하는 것으로 변경된 것을 확인할 수 있다.
달리 말해, 도7의 (b) 및 (c)는 객체 3의 영역변화율(TRCR)이 미리 설정된 최소 변화율(∂RCR) 이상인 경우를 만족하여, 객체 트랙 조정부(14)는 객체3의 영역변화율을 계산된 영역변화율 이상 미리 설정된 문턱치 이하의 사이값(식1)으로 증가시킬 수 있다.
도7를 참조하면, 도7의 (a)에서 도7의 (b)와 도7의 (c)로 나누어진 분기는 미리 설정된 문턱치(THRCR) 설정값의 차이 일 수 있다. 객체 트랙 조정부(14)는 미리 설정된 문턱치를 낮게(THRCR ↓) 설정하여 도7의 (b), 도7의 (d), 도7의(f) 순으로 객체 트랙을 시간 방향 서브샘플링하여 조정된 객체 트랙을 생성할 수 있다. 또한, 객체 트랙 조정부(14)는 미리 설정된 문턱치를 높게(THRCR ↑) 설정하여 도7의(c), 도7의 (e), 도7의 (g) 순으로 객체 트랙을 시간 방향 서브샘플링하여 조정된 객체 트랙을 생성할 수 있다.
예시적으로, 도7의 (b) 및 도7의 (c)의 객체3의 영역변화량의 변화를 살펴보면, 도7의 (b)는 미리 설정된 문턱치(THRCR)의 설정값이 도7의 (c)에 비해 낮게 설정되어, 도7의 (b) 의 객체3은 3칸으로 감소하였으나, 도7의 (c)는 1칸으로 감소한 것을 확인할 수 있다. 한편, 도7의 (b) 및 도7의 (c)를 참조하면, 객체 1, 객체2, 객체4, 객체5는 영역변화율(TRCR)이 미리 설정된 최소 변화율(∂RCR) 미만이기에, 초기 상태를 유지할 수 있다.
도 7의 Case2을 참조하면, 객체 트랙 조정부(14)는 영역변화율(TRCR)이 미리 설정된 최소 변화율(∂RCR) 미만이면 객체 트랙의 생애주기
Figure 112018116636927-pat00014
가 미리 설정된 대표 생애주기(THlife)보다 큰 경우에 한하여 선택적으로 감소되도록 서브샘플링할 수 있다.
이때, 객체 트랙의 생애주기는 미리 설정된 비율만큼 감소되고, 미리 설정된 비율은 [식2]를 만족할 수 있다.
[식2]
Figure 112018116636927-pat00015
여기서
Figure 112018116636927-pat00016
는 객체 트랙의 생애주기이고,
Figure 112018116636927-pat00017
는 미리 설정된 대표 생애주기이고,
Figure 112018116636927-pat00018
는 감소된 객체 트랙의 생애주기이고,
Figure 112018116636927-pat00019
는 n번째 객체 트랙의 생애주기일 수 있다.
도 7의 (d)를 참조하면, 격자로 구분된 영역을 1칸으로 보면, 미리 설정된 대표 생애주기(THlife)는 2칸일 수 있다. 객체 트랙 조정부(14)는 미리 설정된 대표 생애주기(THlife)이상인 객체의 영역변화율을 [식2]를 만족하도록 감소시킬 수 있다.
예시적으로, 도 7의 (b) 및 도7의 (d)를 참조하면, 객체5는 도 7의 (b)에서 가로축(생애주기)으로 5칸을 차지하고 있었으나, 이후 도7의 (d)를 참조하면, 객체5는 가로축(생애주기)으로 3칸으로 감소한 것을 확인할 수 있다. 객체 트랙 조정부(14)는 미리 설정된 비율만큼 객체 5 트랙의 생애주기를 감소할 수 있다. 달리 말해, 객체 트랙 조정부(14)는 객체5의 생애주기를 [식2]에 대입하여, 2/5*5 =2 와 같은 결과를 추출할 수 있다. 객체 트랙 조정부(14)는 5칸에 해당하는 객체 5의 생애주기를 미리 설정된 비율만큼인 2칸으로 감소시킬 수 있다. 또한, 도7의 (d)를 참조하면, 객체 4 역시, 영역변화율(TRCR)이 미리 설정된 최소 변화율(THlife) 미만이므로, 객체 트랙의 생애주기를 미리 설정된 비율만큼 감소된 것을 확인할 수 있다.
또한, 도 7의 (c) 및 도7의 (e)를 참조하면, 객체5는 도 7의 (c)에서 가로축(생애주기)으로 5칸을 차지하고 있었으나, 이후 도7의 (e)를 참조하면, 객체5는 가로축(생애주기)으로 3칸으로 감소한 것을 확인할 수 있다. 객체 트랙 조정부(14)는 미리 설정된 비율만큼 객체 5 트랙의 생애주기를 감소할 수 있다. 달리 말해, 객체 트랙 조정부(14)는 객체5의 생애주기를 [식2]에 대입하여, 2/5*5 =2 와 같은 결과를 추출할 수 있다. 객체 트랙 조정부(14)는 5칸에 해당하는 객체 5의 생애주기를 미리 설정된 비율만큼인 2칸으로 감소시킬 수 있다. 또한, 도7의 (e)를 참조하면, 객체 4 역시, 영역변화율(TRCR)이 미리 설정된 최소 변화율(THlife) 미만이므로, 객체 트랙의 생애주기를 미리 설정된 비율만큼 감소된 것을 확인할 수 있다. 한편, 도 7의 (c) 및 도7의 (e)를 참조하면, 객체 1 내지 객체3의영역변화율(TRCR)이 미리 설정된 최소 변화율(∂RCR) 이상이기에, 초기 상태를 유지할 수 있다.
도7을 참조하면, 객체 트랙 조정부(14)는 공간 압축을 통해 객체 트랙을 시간 방향 서브샘플링하여 조정된 객체 트랙을 생성할 수 있다. 달리 말해, 객체 트랙 조정부(14)는 기준 시간 구간 내 조정된 객체 트랙의 생애주기가 큰 순서에 따라 3차원 공간에서 시간 축의 앞에서부터 배치할 수 있다. 이때, 조정된 객체 트랙의 시간 정보는 변경되나, 공간정보는 변경되지 않는다. 객체 트랙 조정부(14)는 배치할 조정된 객체 트랙과 기 배치된 객체 트랙을 3차원 분할 영상(3차원 공간)에서 일정 문턱치 이하로 겹치는 경우에만 겹침을 허용할 수 있다.
도7의 (f) 및 도7의 (g)를 참조하면, 객체 트랙 조정부(14)는 객체 트랙 정보 추출부(12)에서 추출된 객체가 복수개인 경우, 그에 대응하는 객체 트랙을 3차원 공간에서 시간축의 앞단부터 배치할 수 있다.
객체 트랙 조정부(14)는 3차원 공간에서 객체 트랙들간 겹침이 발생되는 경우, 겹침이 발생된 객체 트랙 중 생애주기가 큰 객체 트랙일수록 시간축의 앞단에 우선적으로 배치할 수 있다.
예시적으로 도7의 (e) 및 도7의 (g) 를 참조하면, 도 7의 (e)에서 복수개의 추출 객체는 세로축(영역변화량)을 기준으로 1행에는 객체 5, 2행에는 객체3 및 객체 4, 3행에는 객체3, 4행에는 객체1 및 객체3, 5행에는 객체2가 위치하고 있는 것을 확인할 수 있다. 겹침은 2행에서의 객체3 및 객체 4와 4행에서의 객체 1 및 객체 3 에서 발생된 것일 수 있다.
도 7의 (g)를 참조하면, 객체 트랙 조정부(14)는 공간압축을 통해, 겹침이 발생된 2행의 객체 3 및 객체4와 4행에서의 객체 1 및 객체 3 의 배치 순서를 생애주기에 기초하여 변경할 수 있다. 달리 말해, 도7의 (e)에서 시간축(가로축)을 기준으로 객체4는 1칸 이상을 차지하고 있으나, 객체3은 1칸을 차지하고 있어, 객체3에 비해 객체4의 생애주기가 큰 것을 확인할 수 있다. 객체 트랙 조정부(14)는 2열에서의 객체4 및 객체3에 관하여, 생애주기가 큰 객체4를 객체3에 비해 우선적으로 시간축의 앞단에 배치할 수 있다. 반면, 객체 트랙 조정부(14)는 4열에서의 객체1 및 객체3에 관하여, 생애주기가 큰 객체1을 객체3에 비해 우선적으로 시간축의 앞단에 배치할 수 있다.
겹침이 발생된 객체 트랙들은 3차원 공간에서 미리 설정된 겹침 비율 이하로 겹쳐진 상태로 배치될 수 있다.
객체 트랙 조정부(14)는 3차원 공간에서 배치할 조정된 객체 트랙과 기 배치된 객체트랙을 일정 문턱치(threshold) 이하로 겹치는 경우에만 겹침을 허용할 수 있다. 달리 말해, 객체 트랙 조정부(14)는 중심객체와 인접 객체 트랙 사이의 겹침 비율을 이용하여 시간방향 요약율을 조절할 수 있다.
도8은 본원의 일 실시예에 따른 비디오 요약 장치의 특정 프레임(frame)에서 두 객체 또는 여러 객체의 겹침 정도를 나타낸 도면이다.
도8의 (a)를 참조하면, 특정 프레임에서 두 객체(A,B)가 존재하는 경우, 중심 객체(A)와 인접 객체(B)의 겹침 정도는, Overlap A=n(A∩B)/n(A)로 표현할 수 있다. 또한, 중심 객체(B)와 인접 객체(A)의 겹침 정도는, Overlap B=n(A∩B)/n(B)로 표현될 수 있다.
또한, 도 8의 (b)를 참조하면, 특정 프레임에서 매 프레임별 중심 객체(A)와 복수개의 인접 객체(B1, B2,…, Bn) 영역들간 겹침 정도는 Overlap A=n(A ∩ (B1 ∪ B2 ∪ … ∪ Bn))/n(A)로 표현될 수 있다.
도 9는 본원의 일 실시예에 따른 비디오 요약 장치에서 빈 시간 구간 삭제를 통해 객체 트랙을 시간 방향 서브샘플링하여 조정된 객체 트랙을 생성하는 예를 나타낸 도면이다.
도 9를 참조하면, 객체 트랙 조정부(14)는 기준 시간 구간 내 객체 트랙이 존재하지 않는 빈 시간 구간을 삭제할 수 있다. 객체 트랙 조정부(14)는 빈 시간 구간 삭제를 통해 3차원 영상 시간 공간(3차원 공간)에서의 객체를 효율적으로 재배치한 영상으로 생성할 수 있다. 객체 트랙 조정부(14)는 객체 트랙이 존재하지 않는 빈 시간 구간을 삭제함으로써, 객체 트랙이 존재하지 않는 빈 시간만큼 영상을 압축할 수 있다.
본원의 일 실시예에 따르면, 객체 트랙 조정부(14)는 앞서 설명된 시간 압축 및 공간 압축이 완료된 이후 기준 시간 구간 내 객체 트랙이 존재하지 않는 빈 시간 구간을 삭제할 수 있다. 또한, 객체 트랙 조정부(14)는 앞서 설명된 시간 압축 및 공간 압축 이전에 기준 시간 구간 내 객체 트랙이 존재하지 않는 빈 시간 구간을 삭제할 수 있다.
객체 트랙 조정부(14)는 조정된 객체 트랙 정보를 가지고 빈 시간 구간 삭제, 시간 압축, 공간 압축을 통해 3차원 영상 시간 공간(3차원 공간)에서의 객체를 효율적으로 재배치한 영상으로 변환할 수 있다.
본원의 일 실시예에 따르면, 요약 비디오 생성부(15)는 영역변화율을 고려하여 유지 또는 조정된 트랙 및 기준 시간 구간에 대하여 생성된 배경을 이용하여 요약 비디오를 생성할 수 있다. 달리 말해, 요약 비디오 생성부(15)는 조정된 객체 트랙 및 구간별로 생성된 배경을 이용하여 요약 영상을 생성할 수 있다.
또한, 요약 비디오 생성부(15)는 입력 비디오로부터 기준 시간 구간에 대응하는 적어도 하나의 배경을 생성하고, 생성된 배경 위에 유지 또는 조정된 객체 트랙의 이미지를 겹쳐 요약 비디오를 생성할 수 있다.
또한, 요약 비디오 생성부(15)는 생성된 요약 비디오를 압축할 수 있다. 요약 비디오 생성부(15)는 요약 비디오 프레임을 이용하여 압축된 영상의 비트열을 생성할 수 있다.
본원의 일 실시예에 따르면, 비디오 요약 장치(1)는 특정 객체 정보 검색 결과로 후보 객체 트랙 정보를 사용자 단말로 제공할 수 있다. 사용자 단말은 사용자가 선택한 입력 정보를 데이터화하여 제공하고, 비디오 요약 장치(1)는 사용자 선택에 의한 객체 트랙이 포함된 원본 비디오 프레임 구간을 제공할 수 있다. 사용자 단말에서는 비디오 요약 장치(1)에서 제공한 객체 트랙이 포함된 원본 비디오 프레임 구간이 재생될 수 있다.
달리 말해, 비디오 요약 장치(1)는 사용자 단말로 복수의 객체 트랙 정보를 제공하고, 사용자 단말은 사용자가 선택한 입력을 데이터화하여 비디오 요약 장치(1)로 제공할 수 있다. 비디오 요약 장치(1)는 선택된 객체 트랙 정보가 포함된 원본 비디오 프레임 구간을 제공하고, 사용자 단말에서는 해당 비디오를 표시할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도10은 본원의 일 실시예에 따른 시간 방향 비디오 요약 장치에 의해 수행되는 공간 방향 객체 겹침 정도를 고려한 시간 방향 비디오 요약 방법에 대한 동작 흐름도이다.
도 10에 도시된 시간 방향 비디오 요약 방법은 앞서 설명된 비디오 요약 장치(1)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 비디오 요약 장치(1)에 대하여 설명된 내용은 시간 방향 비디오 요약 방법에 대한 설명에도 동일하게 적용될 수 있다.
단계 S101에서, 비디오 요약 장치(1)는 기준 시간 구간에 대하여 입력 비디오를 시간축과 2차원 영상평면을 고려한 3차원 공간으로 형성할 수 있다.
단계 S102에서, 비디오 요약 장치(1)는 입력 비디오에 포함된 복수의 프레임별로 객체를 검출하여 객체 정보를 추출할 수 있다.
단계 S103에서, 비디오 요약 장치(1)는 객체 정보를 기초로 객체에 대한 객체 트랙 정보를 추출할 수 있다.
단계 S104에서, 비디오 요약 장치(1)는 객체 트랙 정보에 기초하여 객체 트랙의 영역변화율을 계산할 수 있다.
단계 S105에서, 비디오 요약 장치(1)는 영역변화율이 미리 설정된 문턱치 이하이면 객체 트랙을 시간 방향 서브샘플링하여 조정된 상기 객체 트랙을 생성할 수 있다. 비디오 요약 장치(1)는 계산된 영역변화율이 미리 설정된 최소 변화율 이상, 미리 설정된 문턱치 이하이면 영역변화율을 증가시킨 객체 트랙으로 서브샘플링할 수 있다. 또한, 비디오 요약 장치(1)는 영역변화율이 미리 설정된 최소 변화율 미만이면, 객체 트랙의 생애주기가 미리 설정된 대표 생애주기보다 큰 경우에 한하여 선택적으로 감소되도록 서브샘플링할 수 있다.
또한, 비디오 요약 장치(1)는 검출된 객체가 복수개인 경우, 그에 대응하는 객체 트랙들을 3차원 공간에서 시간축의 앞단부터 배치할 수 있다. 이때, 비디오 요약 장치(1)는 3차원 공간에서 객체 트랙들간 겹침이 발생되는 경우, 겹침이 발생된 객체 트랙들 중 생애주기가 큰 객체 트랙일수록 시간축의 앞단에 우선적으로 배치할 수 있다. 겹침이 발생된 객체 트랙들은 3차원 공간에서 미리 설정된 겹침비율 이하로 겹쳐진 상태로 배치될 수 있다.
단계 S106에서, 비디오 요약 장치(1)는 영역변화율을 고려하여 유지 또는 조정된 객체 트랙 및 기준 시간 구간에 대하여 생성된 배경을 이용하여 요약 비디오를 생성할 수 있다. 비디오 요약 장치(1)는 입력 비디오로부터 기준시간 구간에 대응하는 적어도 하나의 배경을 생성하고, 생성된 배경 위에 유지 또는 조정된 객체 트랙의 이미지를 겹쳐 요약 비디오를 생성할 수 있다.
상술한 설명에서, 단계 S101 내지 S106은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 시간 방향 비디오 요약 장치에 의해 수행되는 공간 방향 객체 겹침 정도를 고려한 시간 방향 비디오 요약 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 시간 방향 비디오 요약 장치에 의해 수행되는 공간 방향 객체 겹침 정도를 고려한 시간 방향 비디오 요약 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
1: 비디오 요약 장치
11: 3차원 공간 형성부
12: 객체 트랙 정보 추출부
13: 영역변화율 계산부
14: 객체 트랙 조정부
15: 요약 비디오 생성부

Claims (17)

  1. 시간 방향 비디오 요약 장치에 의해 수행되는 공간 방향 객체 겹침 정도를 고려한 시간 방향 비디오 요약 방법으로서,
    (a) 기준 시간 구간에 대하여 입력 비디오를 시간축과 2차원 영상평면을 고려한 3차원 공간으로 형성하는 단계;
    (b) 상기 입력 비디오에 포함된 복수의 프레임별로 객체를 검출하여 객체 정보를 추출하는 단계;
    (c) 상기 객체 정보를 기초로 상기 객체에 대한 객체 트랙 정보를 추출하는 단계;
    (d) 상기 객체 트랙 정보에 기초하여 객체 트랙의 영역변화율을 계산하는 단계;
    (e) 상기 영역변화율이 미리 설정된 문턱치 이하이면 상기 객체 트랙을 시간 방향 서브샘플링하여 조정된 상기 객체 트랙을 생성하는 단계; 및
    (f) 상기 영역변화율을 고려하여 유지 또는 조정된 객체 트랙 및 상기 기준 시간 구간에 대하여 생성된 배경을 이용하여 요약 비디오를 생성하는 단계를 포함하되,
    상기 (e) 단계는,
    (e1) 상기 영역변화율이 미리 설정된 최소 변화율 이상이면, 계산된 영역변화율 이상 미리 설정된 문턱치 이하의 사이값으로 영역변화율을 증가시킨 객체 트랙으로 서브샘플링하는 단계; 및
    (e2) 상기 영역변화율이 미리 설정된 최소 변화율 미만이면, 상기 객체 트랙의 생애주기가 미리 설정된 대표 생애주기보다 큰 경우에 한하여 선택적으로 감소되도록 서브샘플링하는 단계를 포함하는 것인, 비디오 요약 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 (e1) 단계에서, 상기 영역변화율은 하기 식 1을 만족하는 범위에서 증가되고,
    [식 1]
    Figure 112020041432415-pat00020

    여기서, T'RCR은 증가된 영역변화율인 것인, 비디오 요약 방법.
  4. 제1항에 있어서,
    상기 (e2) 단계에서, 상기 객체 트랙의 생애주기는 미리 설정된 비율만큼 감소되고,
    상기 미리 설정된 비율은 하기 식2를 만족하고,
    [식 2]
    Figure 112020041432415-pat00021

    여기서
    Figure 112020041432415-pat00022
    는 객체 트랙의 생애주기이고,
    Figure 112020041432415-pat00023
    는 미리 설정된 대표 생애주기이고,
    Figure 112020041432415-pat00024
    는 감소된 객체 트랙의 생애주기이고,
    Figure 112020041432415-pat00025
    는 n 번째 객체 트랙의 생애주기인 것인, 비디오 요약 방법.
  5. 제1항에 있어서,
    상기 (e) 단계와 상기 (f) 단계 사이에,
    상기 (b) 단계에서 검출된 객체가 복수개인 경우, 그에 대응하는 객체 트랙들을 상기 3차원 공간에서 시간축의 앞단부터 배치하는 단계를 더 포함하는 것인, 비디오 요약 방법.
  6. 제5항에 있어서,
    상기 시간축의 앞단부터 배치하는 단계는, 상기 3차원 공간에서 상기 객체 트랙들간 겹침이 발생되는 경우, 겹침이 발생된 상기 객체 트랙들 중 생애주기가 큰 객체 트랙일수록 시간축의 앞단에 우선적으로 배치하는 것인, 비디오 요약 방법.
  7. 제6항에 있어서,
    상기 겹침이 발생된 상기 객체 트랙들은 상기 3차원 공간에서 미리 설정된 겹침비율 이하로 겹쳐진 상태로 배치되는 것인, 비디오 요약 방법.
  8. 제1항에 있어서,
    상기 (f) 단계에서, 상기 요약 비디오는, 상기 입력 비디오로부터 상기 기준 시간 구간에 대응하는 적어도 하나의 배경을 생성하고, 생성된 배경 위에 상기 유지 또는 조정된 객체 트랙의 이미지를 겹쳐 생성되는 것인, 비디오 요약 방법.
  9. 시간 방향 비디오 요약 장치에 있어서,
    기준 시간 구간에 대하여 입력 비디오를 시간축과 2차원 영상평면을 고려한 3차원 공간으로 형상하는 3차원 공간 형성부;
    상기 입력 비디오에 포함된 복수의 프레임별로 객체를 검출하여 객체 정보를 추출하고, 상기 객체 정보를 기초로 상기 객체에 대한 객체 트랙 정보를 추출하는 객체 트랙 정보 추출부;
    상기 객체 트랙 정보에 기초하여 객체 트랙의 영역변화율을 계산하는 영역변화율 계산부;
    상기 영역변화율이 미리 설정된 문턱치 이하이면 상기 객체 트랙을 시간 방향 서브샘플링하여 조정된 상기 객체 트랙을 생성하는 객체 트랙 조정부; 및
    상기 영역변화율을 고려하여 유지 또는 조정된 객체 트랙 및 상기 기준 시간 구간에 대하여 생성된 배경을 이용하여 요약 비디오를 생성하는 요약 비디오 생성부를 포함하되,
    상기 객체 트랙 조정부는,
    상기 영역변화율이 미리 설정된 최소 변화율 이상이면, 계산된 영역변화율 이상 미리 설정된 문턱치 이하의 사이값으로 영역변화율을 증가시킨 객체 트랙으로 서브샘플링하고, 상기 영역변화율이 미리 설정된 최소 변화율 미만이면, 상기 객체 트랙의 생애주기가 미리 설정된 대표 생애주기보다 큰 경우에 한하여 선택적으로 감소되도록 서브샘플링하는 것인, 비디오 요약 장치.
  10. 삭제
  11. 제9항에 있어서,
    상기 영역변화율은 하기 식 1을 만족하는 범위에서 증가되고,
    [식 1]
    Figure 112020041432415-pat00026

    여기서, T'RCR 은 증가된 영역변화율인 것인, 비디오 요약 장치.
  12. 제9항에 있어서,
    상기 객체 트랙의 생애주기는 미리 설정된 비율만큼 감소되고,
    상기 미리 설정된 비율은 하기 식2를 만족하고,
    [식 2]
    Figure 112020041432415-pat00027

    여기서
    Figure 112020041432415-pat00028
    는 객체 트랙의 생애주기이고,
    Figure 112020041432415-pat00029
    는 미리 설정된 대표 생애주기이고,
    Figure 112020041432415-pat00030
    는 감소된 객체 트랙의 생애주기이고,
    Figure 112020041432415-pat00031
    는 n번째 객체 트랙의 생애주기인 것인, 비디오 요약 장치.
  13. 제9항에 있어서,
    상기 객체 트랙 조정부는,
    상기 객체 정보 추출부에서 검출된 객체가 복수개인 경우, 그에 대응하는 객체 트랙들을 상기 3차원 공간에서 시간축의 앞단부터 배치하는 것인, 비디오 요약 장치.
  14. 제13항에 있어서,
    상기 객체 트랙 조정부는,
    상기 3차원 공간에서 상기 객체 트랙들간 겹침이 발생되는 경우, 겹침이 발생된 상기 객체 트랙들 중 생애주기가 큰 객체 트랙일수록 시간축의 앞단에 우선적으로 배치하는 것인, 비디오 요약 장치.
  15. 제14항에 있어서,
    상기 겹침이 발생된 상기 객체 트랙들은 상기 3차원 공간에서 미리 설정된 겹침비율 이하로 겹쳐진 상태로 배치되는 것인, 비디오 요약 장치.
  16. 제9항에 있어서,
    상기 요약 비디오는, 상기 입력 비디오로부터 상기 기준 시간 구간에 대응하는 적어도 하나의 배경을 생성하고, 생성된 배경 위에 상기 유지 또는 조정된 객체 트랙의 이미지를 겹쳐 생성되는 것인, 비디오 요약 장치.
  17. 제1항 및 제3항 내지 제8항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020180145270A 2018-11-22 2018-11-22 공간 방향 객체 겹침 정도를 고려한 시간방향 비디오 요약 장치 및 방법 KR102137516B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180145270A KR102137516B1 (ko) 2018-11-22 2018-11-22 공간 방향 객체 겹침 정도를 고려한 시간방향 비디오 요약 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180145270A KR102137516B1 (ko) 2018-11-22 2018-11-22 공간 방향 객체 겹침 정도를 고려한 시간방향 비디오 요약 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200059922A KR20200059922A (ko) 2020-05-29
KR102137516B1 true KR102137516B1 (ko) 2020-07-24

Family

ID=70912509

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180145270A KR102137516B1 (ko) 2018-11-22 2018-11-22 공간 방향 객체 겹침 정도를 고려한 시간방향 비디오 요약 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102137516B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110105437A (ko) * 2010-03-19 2011-09-27 에스케이커뮤니케이션즈 주식회사 공간 변화를 이용한 비디오 요약 방법 및 시스템과 이를 위한 기록매체
KR101804383B1 (ko) * 2014-01-14 2017-12-04 한화테크윈 주식회사 요약 영상 브라우징 시스템 및 방법

Also Published As

Publication number Publication date
KR20200059922A (ko) 2020-05-29

Similar Documents

Publication Publication Date Title
Pritch et al. Webcam synopsis: Peeking around the world
US9959903B2 (en) Video playback method
CA2761187C (en) Systems and methods for the autonomous production of videos from multi-sensored data
Chen et al. An autonomous framework to produce and distribute personalized team-sport video summaries: A basketball case study
JP7034666B2 (ja) 仮想視点画像の生成装置、生成方法及びプログラム
US10958854B2 (en) Computer-implemented method for generating an output video from multiple video sources
US10861159B2 (en) Method, system and computer program product for automatically altering a video stream
Lai et al. Video summarization of surveillance cameras
Gandhi et al. Multi-clip video editing from a single viewpoint
CN102708182A (zh) 一种快速视频浓缩摘要方法
KR20080082963A (ko) 비디오 시놉시스 생성 방법 및 시스템
CN104123396A (zh) 一种基于云电视的足球视频摘要生成方法及装置
Sun et al. A tracking based fast online complete video synopsis approach
CN104301699B (zh) 一种图像处理方法及装置
Nishikawa et al. Multiple sports player tracking system based on graph optimization using low-cost cameras
Li et al. An effective video synopsis approach with seam carving
JP6031096B2 (ja) オブジェクトの位置を通じた映像ナビゲーション
KR102137516B1 (ko) 공간 방향 객체 겹침 정도를 고려한 시간방향 비디오 요약 장치 및 방법
KR101513414B1 (ko) 감시 영상 분석 방법 및 시스템
EP3070942A1 (en) Method and apparatus for displaying light field video data
Nieto et al. An automatic system for sports analytics in multi-camera tennis videos
KR102118988B1 (ko) 영역 중심의 비디오 요약 장치 및 방법
Yang et al. AT&T Research at TRECVID 2013: Surveillance Event Detection.
Wang et al. Personal multi-view viewpoint recommendation based on trajectory distribution of the viewing target
KR102276636B1 (ko) Ai 기반 영상 자동 추적 및 재생장치와 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant