KR101174176B1 - 동영상 샘플링 방법 및 시스템 - Google Patents

동영상 샘플링 방법 및 시스템 Download PDF

Info

Publication number
KR101174176B1
KR101174176B1 KR1020050086411A KR20050086411A KR101174176B1 KR 101174176 B1 KR101174176 B1 KR 101174176B1 KR 1020050086411 A KR1020050086411 A KR 1020050086411A KR 20050086411 A KR20050086411 A KR 20050086411A KR 101174176 B1 KR101174176 B1 KR 101174176B1
Authority
KR
South Korea
Prior art keywords
snapshot
snapshots
amount
information
extracted
Prior art date
Application number
KR1020050086411A
Other languages
English (en)
Other versions
KR20070031691A (ko
Inventor
곽용재
천세진
박태헌
김성원
서장원
서범석
Original Assignee
엔에이치엔(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔(주) filed Critical 엔에이치엔(주)
Priority to KR1020050086411A priority Critical patent/KR101174176B1/ko
Publication of KR20070031691A publication Critical patent/KR20070031691A/ko
Application granted granted Critical
Publication of KR101174176B1 publication Critical patent/KR101174176B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

본 발명은 동영상 파일의 전체 런닝타임에서 여러 지점의 스냅샷을 샘플링하여 선택함으로써 상기 동영상 파일의 전체적인 내용을 요약해서 제공하는 썸네일을 생성하는 동영상 샘플링 방법 및 시스템에 관한 것이다. 본 발명에 따른 동영상 샘플링 방법은 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 단계, 상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 단계, 상기 추출된 스냅샷을 각각 선행하는 스냅샷과 비교하여 중복된 스냅샷을 삭제하는 단계, 및 상기 스냅샷 중에서 상기 산출된 정보량이 높은 상위 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성하는 단계를 포함한다.
동영상, 스냅샷, 정보량, 픽셀값, 썸네일

Description

동영상 샘플링 방법 및 시스템{Method And System For Sampling Moving Picture}
도 1은 본 발명의 일실시예에 있어서, 동영상 샘플링 방법을 도시한 흐름도이다.
도 2는 본 발명의 일실시예에 있어서, 추출된 스냅샷의 위치를 도시한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 정보량을 산출하는 방법을 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 있어서, 추출된 스냅샷의 화면을 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 중복된 스냅샷을 삭제하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 있어서, 썸네일을 생성하는 화면을 도시한 도면이다.
도 7은 본 발명의 일실시예에 있어서, 동영상 샘플링 시스템의 구성을 도시한 블록도이다.
도 8은 본 발명에 따른 동영상 샘플링 방법을 수행하는 데 채용될 수 있는 범용 컴퓨터 장치의 내부 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
700: 동영상 샘플링 시스템
710: 스냅샷 추출부 720: 정보량 산출부
730: 중복 판단부 740: 썸네일 생성부
본 발명은 동영상 파일의 전체 런닝타임에서 여러 지점의 스냅샷을 샘플링하여 선택함으로써 상기 동영상 파일의 전체적인 내용을 요약해서 제공하는 썸네일을 생성하는 동영상 샘플링 방법 및 시스템에 관한 것이다.
종래기술에서는 드라마, 영화 등의 동영상 파일에 대한 내용을 요약해서 제공하는 경우, 상기 동영상 내의 특정 한 지점의 스냅샷만을 선택하였다. 상기 스냅샷은 상기 동영상 파일을 구성하는 장면을 컷으로 나눌 때의 최하위 단위를 의미할 수 있다. 예를 들어, 상기 스냅샷은 배우가 문을 열고 들어와서 상대 배우를 바라보는 장면을 중단하지 않고 촬영된 것일 수 있다.
상기 동영상 파일은 복수의 스냅샷을 내용의 흐름에 따라 조합한 것일 수 있는데, 하나의 스냅샷만으로 상기 동영상 파일의 전체적인 내용을 파악하기는 쉽지 않다. 예를 들어, 촬영 형태에 따라 10개의 스냅샷으로 구성된 동영상 파일에서 상기 동영상 파일에 대한 요약된 영상으로 특정한 1개의 스냅샷만을 선택하여 제공 하는 경우, 사용자가 상기 동영상 파일의 전체적인 내용을 파악하기 어렵다. 또한, 상기 동영상 파일의 주요 내용과 전혀 관계없는 스냅샷이 선택될 수도 있다.
즉, 하나의 스냅샷은 상기 동영상 파일의 특정 내용에 대한 단편적인 이해는 할 수 있지만, 상기 동영상에 대한 전체적인 이해를 구하기는 쉽지 않다.
따라서, 동영상 파일의 여러 지점에서 스냅샷을 추출하여 상기 동영상 파일에 대한 요약된 영상을 제작함으로써, 상기 동영상 파일의 전체적인 내용에 대한 이해를 돕는 방법이 요구되고 있다.
본 발명은 상술한 바와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 동영상 파일의 전체 런닝타임에서 여러 지점의 스냅샷을 샘플링하여 선택함으로써 상기 동영상 파일의 전체적인 내용을 요약해서 제공하는 썸네일을 생성하는 방법 및 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 동영상 파일에서 추출한 복수의 스냅샷에 대한 각각의 주파수를 산출하여, 상기 주파수를 이용하여 상기 동영상 파일을 요약한 썸네일에서 불필요한 스냅샷을 제거할 수 있는 방법 및 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 동영상 파일에서 추출한 복수의 스냅샷에 대한 각각의 픽셀값을 산출하여, 서로 인접한 두 개의 스냅샷의 픽셀값 차이를 비교하여 상기 픽셀값의 차이가 미미한 경우 하나의 스냅샷을 제거함으로써 상기 동영상 파일을 요약한 썸네일에서 중복된 스냅샷을 제거할 수 있는 방법 및 시스템을 제공하는 것을 목적으로 한다.
상기의 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명의 일실시예에 따른 동영상 샘플링 방법은 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 단계, 상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 단계, 상기 추출된 스냅샷을 각각 선행하는 스냅샷과 비교하여 중복된 스냅샷을 삭제하는 단계, 및 상기 스냅샷 중에서 상기 산출된 정보량이 높은 상위 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성하는 단계를 포함한다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 다양한 실시예를 상세히 설명한다.
도 1은 본 발명의 일실시예에 있어서, 동영상 샘플링 방법을 도시한 흐름도이다.
단계(101)에서, 동영상 샘플링 시스템은 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출할 수 있다. 본 발명의 일실시예에 따르면, 상기 복수의 스냅샷을 추출하는 것은 시간 간격이 동일하도록 상기 동영상 파일의 전체 시간을 균등하게 분할하여, 그 시간지점의 이미지를 샘플링하는 것이다.
이하, 도2를 참조하여, 설명한다. 도 2는 본 발명의 일실시예에 있어서, 추출된 스냅샷의 위치를 도시한 도면이다.
Figure 112005051756676-pat00001
상기 동영상 샘플링 시스템은 상기 수학식(이하, "수식"이라함) 1을 이용하여, 복수의 스냅샷을 추출할 수 있다. 상기 동영상 샘플링 시스템은 상기 동영상 파일의 전체 길이(TotalLength)에서 1보다 크거나 같으며 추출할 스냅샷의 배수(M)만큼 N개의 스냅샷을 추출할 수 있다. 상기
Figure 112005051756676-pat00002
은 상기 추출할 각각의 스냅샷 위치, 상기
Figure 112005051756676-pat00003
은 1부터 MN까지 범위를 가질 수 있다.
도시한 바와 같이,
Figure 112005051756676-pat00004
과
Figure 112005051756676-pat00005
는 동일한 시간 간격으로 분할한 것이고,
Figure 112005051756676-pat00006
은 상기 동영상 파일에서 추출한 첫번째 스냅샷의 위치일 수 있다. 본 발명의 일실시예에 따르면, 상기 동영상 샘플링 시스템은 동영상 파일의 맨 앞 부분과 맨 뒷 부분은 일반적으로 의미 없는 영상 (제작자 소개, 주제가, 앤딩 크레딧 등) 이 많으므로 N+1 로 전체 동영상 길이를 나누어서 그 부분을 샘플링 대상에서 제외시킬 수 있다.
또한, 상기 동영상 샘플링 시스템은 의미 없는 장면을 추출하거나, 인지할 수 없는 장면을 추출하거나, 또는 중복된 장면을 추출하는 문제점을 해결하기 위해, 추출할 스냅샷보다 M만큼 더 많은 스냅샷을 추출할 수 있다.
상기 의미 없는 장면은 장면 전환 시 또는 영화의 앞과 뒤에 존재하는 정보를 담고 있지 않은 검은 화면 이나 흰색화면일 수 있다. 또한, 상기 인지할 수 없는 장면은 어두운 조명아래 진행되는 장면이나 전체 화면 비율에 비해 오브젝트의 형태가 미미한 장면일 수 있다. 예컨대, 작은 크기의 썸네일(Thumb-Nail)에서는 사용자가 제대로 인지하기 힘들어, 이런 장면은 가능하면 제거해 주는 것이 좋다.
또한, 상기 중복된 장면을 추출하는 것은 짧은 길이의 동영상 안에 모션이 시간상으로 균일하게 분포되어 있지 않거나, 디코더 오류로 인해 특정 장면을 반복하여 샘플링하는 경우를 의미한다. 일반적으로 Windows System 에서의 Direct Show 에 의한 추출의 경우 사용자가 설치한 코덱을 사용하게 되는데, 그 중 많은 코덱들이 여러 곳에서 검증이 부족한 채로 만들어진 경우가 많아 디코딩시 오류가 존재하는 경우가 많다. 특히 연속적으로 진행되는 동영상 재생에 비해 특정 지점으로 이동 또는 특정 지점 샘플링은 그 문제가 도드라지게 된다. 이경우 연속적으로 샘플링 시 이전에 샘플링 한 화면과 동일한 화면이 출력되는 현상이 빈번하게 발생할 수 있다.
본 발명의 일실시예에 따르면, 상기 M이 1인 경우, 상기 동영상 파일을 균등하게 분할하는 것으로, 상기 열거한 문제점을 발생시킬 수 있다. 예컨대, 상기 M은 2-3정도가 바람직하다.
다시, 도 1을 참조하면, 단계(102)에서, 상기 동영상 샘플링 시스템은 상기 추출된 각각의 스냅샷에 대한 정보량을 산출할 수 있다. 본 발명의 일실시예에 따르면, 상기 동영상 샘플링 시스템은 상기 추출된 각각의 스냅샷의 명도, 색상 또는 주파수 중 하나를 이용하여 상기 정보량을 산출할 수 있다. 또한, 상기 동영상 샘플링 시스템은 상기 추출된 각각의 스냅샷을 이미지 데이터로 인코딩하여 비트량을 산출하고 상기 산출된 비트량을 정보량으로 이용할 수 있다. 일례로, 현재 System 은 Windows 를 기반하고 있고 Windows 에서는 이미지를 JPEG 으로 변환하는 API 를 제공하고 있다. JPEG 역시 주파수 분석에 기반하고 고주파 성분이 많을 수록 인코딩 된 비트량이 커지게 된다. 따라서, 이를 바탕으로 Snapshot 을 JPEG 인코딩 하여 그 비트량을 정보량으로 사용해도 무방할 것이다.
본 발명의 일실시예에 따르면, 상기 동영상 샘플링 시스템은 정보량을 산출함으로써, 의미 없는 장면이나 인지할 수 없는 장면을 제거할 수 있다. 이미지(스냅샷에 대한 이미지)에 대한 정보량을 얻어내는 방법은 많으므로, 적당한 방법을 선택하여 정보량을 산출할 수 있다.
이하, 도 3을 참조하여 주파수 분석을 통해 정보량을 산출하는 방법을 설명한다. 도 3은 본 발명의 일실시예에 있어서, 정보량을 산출하는 방법을 도시한 흐름도이다.
단계(301)에서, 상기 동영상 샘플링 시스템은 상기 추출된 각각의 스냅샷에 대한 주파수를 산출할 수 있다. 상기 동영상 샘플링 시스템은 상기 스냅샷에 너무 낮은 주파수들만이 분포할 경우 정보량이 적다고 판단할 수 있고, 일반적으로는 너무 높은 주파수들만이 분포할 경우 노이즈 라고 판단할 수 있다. 하지만 본 발명에서는 전송되어 온 영상이 아닌, 매체를 통해 기록된 영상이므로 노이즈 영상에 대한 고려는 필요하지 않다.
단계(302)에서, 상기 동영상 샘플링 시스템은 높은 주파수 영역을 가지는 스냅샷에 가중치를 두고 수치화하여 상기 정보량을 산출할 수 있다.
Figure 112005051756676-pat00007
상기 동영상 샘플링 시스템은 상기 수식 2를 이용하여 상기 스냅샷을 상기 주파수에 따라 오름차순으로 정렬하여 주파수 영역별 인덱스(i)를 부여하고, 해당 주파수 영역의 주파수 성분량(f)과 해당 주파수 영역의 가중치(w)를 곱하여 정보량(I)을 산출할 수 있다. 상기 가중치는 고주파에 가중치를 두어
Figure 112005051756676-pat00008
로 정렬한 것일 수 있다.
이하, 도 4를 참조하여 설명한다. 도 4는 본 발명의 일실시예에 있어서, 추출된 스냅샷의 화면을 도시한 도면이다.
도시한 바와 같이, 401의 스냅샷은 검은 화면으로 낮은 주파수 영역을 포함한다. 또한, 404의 스냅샷은 인지할 수 없는 화면으로 역시 낮은 주파수 영역을 포함한다. 따라서, 낮은 주파수 영역인 상기 401의 스냅샷과 상기 404의 스냅샷의 정보량은 낮을 수 밖에 없다. 이에, 상기 동영상 샘플링 시스템은 도 3에서와 같은 방법을 통해 상기 401과 상기 404의 스냅샷의 정보량을 산출할 수 있고, 상기 401과 상기 404의 스냅샷의 주파수가 낮으므로 상기 산출된 정보량이 매우 낮은 상기 401의 스냅샷과 상기 404의 스냅샷을 썸네일에서 제외시킬 수 있는 것이다.
다시, 도 1를 참조하면, 단계(103)에서, 상기 동영상 샘플링 시스템은 상기 추출된 스냅샷을 각각 선행하는 스냅샷과 비교하여 중복된 스냅샷을 삭제할 수 있다.
이하, 도 5를 참조하여 설명한다. 도 5는 본 발명의 일실시예에 있어서, 중복된 스냅샷을 삭제하는 방법을 도시한 흐름도이다.
단계(501)에서, 상기 동영상 샘플링 시스템은 제1 스냅샷의 픽셀값과 제2 스냅샷의 픽셀값의 차이를 산출할 수 있다. 상기 제1 스냅샷은 상기 제2 스냅샷보다 선행하는 것일 수 있다. 본 발명의 일실시예에 따르면, 상기 동영상 샘플링 시스템은 상기 스냅샷의 전체 픽셀에 대한 픽셀값의 차이를 산출하지 않고, 특정 픽셀에 대한 픽셀값의 차이를 산출할 수 있다. 예를 들어, 스냅샷을 구성하는 전체 픽셀수가 1000개인 경우, 상기 동영상 샘플링 시스템은 상기 제1 스냅샷의 1000개의 픽셀값과 제2 스냅샷의 1000개의 픽셀값의 차이를 산출하는 연산을 수행하는 것이 부담이 될 수 있다. 이럴 경우, 상기 스냅샷을 구성하는 전체 픽셀 중에서 100개 정도의 픽셀만 비교하면 연산 수행에 따른 부담을 줄일 수 있다.
본 발명의 일실시예에 따르면, 상기 동영상 샘플링 시스템은 수식 3을 이용하여, 픽셀값의 차이, 즉, 모션량(M)을 산출할 수 있다. 상기 동영상 샘플링 시스템은 스냅샷에서 각각의 픽셀에 대한 차이를 누적한 픽셀값을 전체 픽셀수로 나누어 모션량을 산출한 후, 상기 모션량과 상기 모션판단 문턱값을 비교하여 중복된 스냅샷을 삭제할 수 있다.
Figure 112005051756676-pat00009
상기 모션량(M)은 스냅샷의 픽셀값(I)에 각 픽셀의 인덱스(p)와 스냅샷 순 서 인덱스(t)를 곱한 수의 차이에 대한 절대값을 모두 누적한 후 전체 픽셀수(TP)로 나누어 산출할 수 있다. 즉, 상기 제1 스냅샷의 제1 픽셀과 상기 제2 스냅샷의 제1 픽셀의 차이를 산출하고, 상기 제1 스냅샷의 제2 픽셀과 상기 제2 스냅샷의 제2 픽셀의 차이를 산출한다. 이렇게, 상기 제1 스냅샷과 상기 제2 스냅샷에서 서로 대응하는 특정 픽셀에 대한 픽셀값의 차이를 산출하고, 상기 산출된 픽셀값을 누적하여 누적된 픽셀값을 전체 픽셀수로 나누어 모션량을 구할 수 있다.
단계(502)에서, 상기 동영상 샘플링 시스템은 상기 픽셀값의 차이(모션량)와 기설정된 모션판단 문턱값을 비교하여 상기 픽셀값의 차이와 상기 모션판단 문턱값보다 작은지 판단할 수 있다. 상기 모션판단 문턱값은 썸네일에서 중복된 스냅샷을 걸러내기 위하여, 미미한 차이를 보이는 두 개의 영상에 대한 픽셀값의 차이를 고려하여 설정될 수 있다. 본 발명의 일실시예에 따르면, 상기 모션판단 문턱값은 바람직하게 10으로 설정될 수 있다.
상기 픽셀값의 차이가 상기 모션판단 문턱값보다 작은 경우, 단계(503)에서, 상기 동영상 샘플링 시스템은 상기 단계(102)에서 산출된 상기 제2 스냅샷의 정보량을 0으로 변경할 수 있다. 도 4를 참조하면, 상기 동영상 샘플링 시스템은 402의 스냅샷과 403의 스냅샷의 픽셀값의 차이가 미미하여 상기 픽셀값의 차이가 상기 모션판단 문턱값보가 작다고 판단할 수 있다. 이에, 상기 동영상 샘플링 시스템은 상기 402의 스냅샷과 상기 403의 스냅샷을 중복된 스냅샷으로 판단하고, 상기 403의 스냅샷의 정보량을 0으로 변경할 수 있다. 정보량이 0인 경우, 썸네일 생성 시 자동적으로 선택되지 않는다. 왜냐하면, 상기 동영상 샘플링 시스템은 정 보량이 높은 상위 몇 개의 스냅샷만을 선택하여 썸네일을 생성하기 때문이다.
다시, 도 1를 참조하면, 단계(104)에서, 상기 동영상 샘플링 시스템은 상기 스냅샷 중에서 상기 산출된 정보량이 높은 상위 소정 수의 스냅샷을 선택하여 썸네일(Thump-Nail)을 생성할 수 있다. 상기 동영상 샘플링 시스템은 상기 정보량이 높은 상위 소정 수의 스냅샷을 나열하여 디스플레이되는 형태로 상기 썸네일을 생성하거나, 상기 정보량이 높은 상위 소정 수의 스냅샷을 묶어서 animated GIF, Flash 또는 동영상 파일의 형태로 상기 썸네일을 생성할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 썸네일을 생성하는 화면을 도시한 도면이다.
상기 수식 1에서 M을 2로 설정하고, N을 5로 설정하면, 상기 동영상 샘플링 시스템은 10개의 스냅샷을 추출하고, 상기 추출된 스냅샷에 대하여 상기 단계(102)를 수행하면, 상기 추출한 스냅샷에 대한 정보량(767, 2723, 0 등등)이 산출된다. 이에 따라, 상기 동영상 샘플링 시스템은 상기 10개의 스냅샷 중 정보량이 높은 상위 5개의 스냅샷(601, 602, 603, 604, 605)을 선택하여, 썸네일을 생성할 수 있다. 도시한 바와 같이, 상기 동영상 샘플링 시스템은 상기 단계(102)를 수행하여 검은 화면의 스냅샷(정보량:767)이나 인지할 수 없는 스냅샷(정보량:1561)을 상기 썸네일에서 제외시킬 수 잇다. 또한, 상기 동영상 샘플링 시스템은 상기 단계(103)를 수행하여 601의 스냅샷과 중복된 스냅샷(정보량:0)을 상기 썸네일에서 제외시킬 수 있다.
도 7은 본 발명의 일실시예에 있어서, 동영상 샘플링 시스템의 구성을 도시 한 블록도이다.
동영상 샘플링 시스템(700)은 스냅샷 추출부(710), 정보량 산출부(720), 중복 판단부(730), 썸네일 생성부(740)를 포함한다.
스냅샷 추출부(710)는 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출할 수 있다. 스냅샷 추출부(710)는 상기 수식 1을 이용하여 상기 동영상 파일에서 복수의 스냅샷을 추출할 수 있다.
정보량 산출부(720)는 상기 추출된 각각의 스냅샷에 대한 정보량을 산출할 수 있다. 본 발명의 일실시예에 따르면, 정보량 산출부(720)는 상기 추출된 각각의 스냅샷의 명도, 색상 또는 주파수 중 하나를 이용하여 상기 정보량을 산출하거나 상기 추출된 각각의 스냅샷을 이미지 데이터(예를 들면, JPEG 등)로 인코딩하여 비트량을 산출하고, 상기 산출된 비트량을 정보량으로 이용할 수도 있다. 정보량 산출부(720)는 주파수를 이용하여 정보량을 산출하는 것으로, 상기 수식 2를 이용하여 상기 추출된 각각의 스냅샷의 주파수를 산출하고, 높은 주파수 영역을 가지는 스냅샷에 가중치를 두고 수치화하여 상기 정보량을 산출할 수 있다.
중복 판단부(730)는 상기 추출된 스냅샷을 각각 선행하는 스냅샷과 비교하여 중복된 스냅샷을 삭제할 수 있다. 중복 판단부(730)는 제1 스냅샷의 픽셀값과 제2 스냅샷의 픽셀값의 차이를 산출하고, 상기 산출된 픽셀값의 차이가 기설정된 모션판단 문턱값보다 작은 경우, 상기 제2 스냅샷에 대한 정보량을 0으로 변경할 수 있다. 이때, 상기 제1 스냅샷은 상기 제2 스냅샷보다 선행하고, 상기 추출된 스냅샷에 대하여 픽셀값의 차이를 산출하여 상기 모션판단 문턱값과 비교하는 과정 을 반복적으로 수행하여 상기 정보량이 0인 스냅샷을 삭제할 수 있다. 또한, 상기 모션판단 문턱값은 10일 수 있다. 본 발명의 일실시예에 따르면, 중복 판단부(730)는 상기 수식 3을 이용하여 모션량(M)을 구하고, 상기 모션량을 상기 모션판단 문턱과 비교하여 상기 모션량이 상기 모션판단 문턱값보다 작은 경우, 상기 제2 스냅샷에 대한 정보량을 0으로 변경할 수 있다.
썸네일 생성부(740)는 상기 스냅샷 중에서 상기 산출된 정보량이 높은 상위 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성할 수 있다. 썸네일 생성부(740)는 상기 정보량이 높은 상위 소정 수의 스냅샷을 나열하여 디스플레이되는 형태로 상기 썸네일을 생성하거나, 상기 정보량이 높은 상위 소정 수의 스냅샷을 묶어서 animated GIF, Flash 또는 동영상 파일의 형태로 상기 썸네일을 생성할 수 있다.
본 발명에 따른 동영상 샘플링 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
도 8은 본 발명에 따른 동영상 샘플링 방법을 수행하는 데 채용될 수 있는 범용 컴퓨터 장치의 내부 블록도이다.
컴퓨터 장치(800)는 램(RAM: Random Access Memory)(820)과 롬(ROM: Read Only Memory)(830)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(810)를 포함한다. 프로세서(810)는 중앙처리장치(CPU)로 불리기도 한다. 본 기술분야에서 널리 알려져 있는 바와 같이, 롬(830)은 데이터(data)와 명령(instruction)을 단방향성으로 CPU에 전송하는 역할을 하며, 램(820)은 통상적으로 데이터와 명령을 양방향성으로 전송하는 데 사용된다. 램(820) 및 롬(830)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(Mass Storage)(840)는 양방향성으로 프로세서(810)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(840)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드 디스크와 같은 보조기억장치이다. CD 롬(860)과 같은 특정 대용량 기억장치가 사용될 수도 있다. 프로세서(810)는 비디오 모니터, 트랙볼, 마우스, 키보드, 마이크로폰, 터치스크린 형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱, 또는 기타 공지된 컴퓨터 입출력장치와 같은 하나 이상의 입출력 인터페이스(850)와 연결된다. 마지막으로, 프로세서(810)는 네트워크 인터페이스(870)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당업자에게 잘 알려져 있다. 한편, 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
본 발명에 따르면, 동영상 파일의 전체 런닝타임에서 여러 지점의 스냅샷을 샘플링하여 선택함으로써 상기 동영상 파일의 전체적인 내용을 요약해서 제공하는 썸네일을 생성할 수 있다.
또한, 본 발명에 따르면, 동영상 파일에서 추출한 복수의 스냅샷에 대한 각 각의 주파수를 산출하여, 상기 주파수를 이용하여 상기 동영상 파일을 요약한 썸네일에서 불필요한 스냅샷을 제거할 수 있다.
또한, 본 발명에 따르면, 동영상 파일에서 추출한 복수의 스냅샷에 대한 각각의 픽셀값을 산출하여, 서로 인접한 두 개의 스냅샷의 픽셀값 차이를 비교하여 상기 픽셀값의 차이가 미미한 경우 하나의 스냅샷을 제거함으로써 상기 동영상 파일을 요약한 썸네일에서 중복된 스냅샷을 제거할 수 있다.

Claims (21)

  1. 동영상 샘플링 방법에 있어서,
    동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 단계;
    상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 단계;
    상기 추출된 스냅샷을 각각 선행하는 스냅샷과 비교하여 중복된 스냅샷을 삭제하는 단계; 및
    상기 스냅샷 중에서 상기 산출된 정보량이 가장 높은 순서대로 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성하는 단계
    를 포함하는 것을 특징으로 하는 동영상 샘플링 방법.
  2. 제1항에 있어서,
    상기 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 상기 단계는,
    Figure 112005051756676-pat00010
    의 수식을 이용하여 상기 스냅샷을 추출하고,
    상기
    Figure 112005051756676-pat00011
    은 상기 추출할 각각의 스냅샷 위치, 상기 TotalLength는 상기 동영상 파일의 전체 길이, 상기 M은 1보다 크거나 같으며 추출할 스냅샷의 배수, 상기 N은 추출할 스냅샷의 개수, 상기
    Figure 112005051756676-pat00012
    은 1부터 MN까지 범위를 가지는 것을 특징으로 하는 동영상 샘플링 방법.
  3. 제1항에 있어서,
    상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 상기 단계는,
    상기 추출된 각각의 스냅샷의 명도, 색상 또는 주파수 중 하나를 이용하여 상기 정보량을 산출하는 것을 특징으로 하는 동영상 샘플링 방법.
  4. 제1항에 있어서,
    상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 상기 단계는,
    상기 추출된 각각의 스냅샷의 주파수를 산출하는 단계; 및
    상기 산출된 주파수에 따라 상기 추출된 각각의 스냅샷에 가중치를 두고 수치화하여 상기 정보량을 산출하는 단계
    를 포함하는 것을 특징으로 하는 것을 특징으로 하는 동영상 샘플링 방법.
  5. 제4항에 있어서,
    상기 산출된 주파수에 따라 상기 추출된 각각의 스냅샷에 가중치를 두고 수치화하여 상기 정보량을 산출하는 단계는,
    Figure 112012011379828-pat00013
    의 수식을 이용하여 정보량을 산출하고,
    상기 I는 정보량, 상기 i는 주파수 영역별 인덱스(i에 비례하는 주파수 영역), 상기 f는 해당 주파수 영역의 주파수 성분량, 상기 w는 해당 주파수 영역의 가중치(고주파에 가중치를 두기 위해
    Figure 112012011379828-pat00014
    )인 것을 특징으로 하는 동영상 샘플링 방법.
  6. 제1항에 있어서,
    상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 상기 단계는,
    상기 추출된 각각의 스냅샷을 이미지 데이터로 인코딩하여 비트량을 산출하고, 상기 산출된 비트량을 정보량으로 이용하는 것을 특징으로 하는 동영상 샘플링 방법.
  7. 제1항에 있어서,
    상기 추출된 스냅샷을 각각 선행하는 스냅샷과 비교하여 중복된 스냅샷을 삭제하는 상기 단계는,
    (1) 제1 스냅샷의 픽셀값과 제2 스냅샷의 픽셀값의 차이를 산출하는 단계 - 상기 제1 스냅샷은 상기 제2 스냅샷보다 선행함 -;
    (2) 상기 산출된 픽셀값의 차이가 기설정된 모션판단 문턱값보다 작은 경우, 상기 제2 스냅샷에 대한 정보량을 0으로 변경하는 단계; 및
    상기 추출된 스냅샷에 대하여 상기 (1) 단계 및 상기 (2) 단계를 반복적으로 수행하여 상기 정보량이 0인 스냅샷을 삭제하는 단계
    를 포함하는 것을 특징으로 하는 동영상 샘플링 방법.
  8. 제7항에 있어서,
    상기 제1 스냅샷의 픽셀값과 제2 스냅샷의 픽셀값의 차이를 산출하는 상기 단계는,
    상기 제1 스냅샷과 상기 제2 스냅샷의 각 픽셀 인덱스에 대한 픽셀값의 차이를 산출하는 단계;
    상기 산출된 픽셀값의 차이를 누적한 누적 픽셀값을 전체 픽셀수로 나누어 모션량을 구하는 단계;
    상기 모션량을 상기 모션판단 문턱값과 비교하는 단계; 및
    상기 모션량이 상기 모션판단 문턱값보다 작은 경우, 상기 제2 스냅샷에 대한 정보량을 0으로 변경하는 단계
    를 포함하는 것을 특징으로 하는 동영상 샘플링 방법.
  9. 제8항에 있어서,
    상기 모션량은
    Figure 112012011379828-pat00015
    의 수식을 이용하여 구하고,
    상기 M은 모션량, 상기 TP는 전체 픽셀수, 상기 p는 각 픽셀의 인덱스, 상기 t는 스냅샷 순서 인덱스, I는 스냅샷의 픽셀값인 것을 특징으로 하는 동영상 샘플링 방법.
  10. 제1항에 있어서,
    상기 스냅샷 중에서 상기 산출된 정보량이 가장 높은 순서대로 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성하는 상기 단계는,
    상기 정보량이 가장 높은 순서대로 상기 소정 수의 스냅샷을 나열하여 디스플레이되는 형태로 상기 썸네일을 생성하거나, 상기 정보량이 가장 높은 순서대로 상기 소정 수의 스냅샷을 묶어서 animated GIF, Flash 또는 동영상 파일의 형태로 상기 썸네일을 생성하는 것을 특징으로 하는 동영상 샘플링 방법.
  11. 제1항 내지 제10항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  12. 동영상 샘플링 시스템에 있어서,
    동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 스냅샷 추출부;
    상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 정보량 산출부;
    상기 추출된 스냅샷을 각각 선행하는 스냅샷과 비교하여 중복된 스냅샷을 삭제하는 중복 판단부; 및
    상기 스냅샷 중에서 상기 산출된 정보량이 가장 높은 순서대로 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성하는 썸네일 생성부
    를 포함하는 것을 특징으로 하는 동영상 샘플링 시스템.
  13. 제12항에 있어서,
    상기 스냅샷 추출부는
    Figure 112005051756676-pat00016
    의 수식을 이용하여 상기 스냅샷을 추출하고,
    상기
    Figure 112005051756676-pat00017
    은 상기 추출할 각각의 스냅샷 위치, 상기 TotalLength는 상기 동영상 파일의 전체 길이, 상기 M은 1보다 크거나 같으며 추출할 스냅샷의 배수, 상기 N은 추출할 스냅샷의 개수, 상기
    Figure 112005051756676-pat00018
    은 1부터 MN까지 범위를 가지는 것을 특징으로 하는 동영상 샘플링 시스템.
  14. 제12항에 있어서,
    상기 정보량 산출부는 상기 추출된 각각의 스냅샷의 명도, 색상 또는 주파수 중 하나를 이용하여 상기 정보량을 산출하는 것을 특징으로 하는 동영상 샘플링 시스템.
  15. 제12항에 있어서,
    상기 정보량 산출부는 상기 추출된 각각의 스냅샷의 주파수를 산출하고, 상기 산출된 주파수에 따라 상기 추출된 각각의 스냅샷에 가중치를 두고 수치화하여 상기 정보량을 산출하는 것을 특징으로 하는 것을 특징으로 하는 동영상 샘플링 시스템.
  16. 제15항에 있어서,
    상기 정보량 산출부는
    Figure 112012011379828-pat00019
    의 수식을 이용하여 정보량을 산출하고,
    상기 I는 정보량, 상기 i는 주파수 영역별 인덱스(i에 비례하는 주파수 영역), 상기 f는 해당 주파수 영역의 주파수 성분량, 상기 w는 해당 주파수 영역의 가중치(고주파에 가중치를 두기 위해
    Figure 112012011379828-pat00020
    )인 것을 특징으로 하는 동영상 샘플링 시스템.
  17. 제12항에 있어서,
    상기 정보량 산출부는 상기 추출된 각각의 스냅샷을 이미지 데이터로 인코딩하여 비트량을 산출하고, 상기 산출된 비트량을 정보량으로 이용하는 것을 특징으로 하는 동영상 샘플링 시스템.
  18. 제12항에 있어서,
    상기 중복 판단부는 (1) 제1 스냅샷의 픽셀값과 제2 스냅샷의 픽셀값의 차이를 산출하고 - 상기 제1 스냅샷은 상기 제2 스냅샷보다 선행함 -, (2) 상기 산출된 픽셀값의 차이가 기설정된 모션판단 문턱값보다 작은 경우, 상기 제2 스냅샷에 대한 정보량을 0으로 변경하고, 상기 추출된 스냅샷에 대하여 상기 (1) 및 상기 (2)를 반복적으로 수행하여 상기 정보량이 0인 스냅샷을 삭제하는 것을 특징으로 하는 동영상 샘플링 시스템.
  19. 제18항에 있어서,
    상기 중복 판단부는 상기 제1 스냅샷과 상기 제2 스냅샷의 각 픽셀 인덱스에 대한 픽셀값의 차이를 산출하고, 상기 산출된 픽셀값의 차이를 누적한 누적 픽셀값을 전체 픽셀수로 나누어 모션량을 구하고, 상기 모션량을 상기 모션판단 문턱과 비교하고, 상기 모션량이 상기 모션판단 문턱값보다 작은 경우, 상기 제2 스냅샷에 대한 정보량을 0으로 변경하는 것을 특징으로 하는 동영상 샘플링 시스템.
  20. 제19항에 있어서,
    상기 중복 판단부는 상기 모션량을
    Figure 112012011379828-pat00021
    의 수식을 이용하여 구하고, 상기 M은 모션량, 상기 TP는 전체 픽셀수, 상기 p는 각 픽셀의 인덱스, 상기 t는 스냅샷 순서 인덱스, I는 스냅샷의 픽셀값인 것을 특징으로 하는 동영상 샘플링 시스템.
  21. 제12항에 있어서,
    상기 썸네일 생성부는 상기 정보량이 가장 높은 순서대로 상기 소정 수의 스냅샷을 나열하여 디스플레이되는 형태로 상기 썸네일을 생성하거나, 상기 정보량이 가장 높은 순서대로 상기 소정 수의 스냅샷을 묶어서 animated GIF, Flash 또는 동영상 파일의 형태로 상기 썸네일을 생성하는 것을 특징으로 하는 동영상 샘플링 시스템.
KR1020050086411A 2005-09-15 2005-09-15 동영상 샘플링 방법 및 시스템 KR101174176B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050086411A KR101174176B1 (ko) 2005-09-15 2005-09-15 동영상 샘플링 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050086411A KR101174176B1 (ko) 2005-09-15 2005-09-15 동영상 샘플링 방법 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020120014304A Division KR101212845B1 (ko) 2012-02-13 2012-02-13 동영상 샘플링 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20070031691A KR20070031691A (ko) 2007-03-20
KR101174176B1 true KR101174176B1 (ko) 2012-08-14

Family

ID=43655912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050086411A KR101174176B1 (ko) 2005-09-15 2005-09-15 동영상 샘플링 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101174176B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101396409B1 (ko) 2009-10-08 2014-05-19 삼성전자주식회사 동영상 촬영장치 및 그 방법
CN112699176B (zh) * 2021-02-06 2023-06-30 北京拓普丰联信息科技股份有限公司 一种快速随机抽取方法、系统、终端以及存储介质

Also Published As

Publication number Publication date
KR20070031691A (ko) 2007-03-20

Similar Documents

Publication Publication Date Title
US10452919B2 (en) Detecting segments of a video program through image comparisons
US20220027634A1 (en) Video processing method, electronic device and storage medium
CN112990191B (zh) 一种基于字幕视频的镜头边界检测与关键帧提取方法
JP4580183B2 (ja) 視覚的に代表するビデオサムネイルの生成
KR101967086B1 (ko) 비디오 스트림들의 엔티티 기반 시간적 세그먼트화
EP1519343A2 (en) Method and apparatus for summarizing and indexing the contents of an audio-visual presentation
US20070101353A1 (en) Apparatus and method for blocking harmful multimedia contents in personal computer through intelligent screen monitoring
Yeo Efficient processing of compressed images and video
EP2034487A1 (en) Method and system for generating thumbnails for video files
WO2022143688A1 (zh) 视频抽帧处理方法、装置、设备及介质
US20060126942A1 (en) Method of and apparatus for retrieving movie image
KR100634671B1 (ko) 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법
Ali et al. A review of digital forensics methods for JPEG file carving
Xu et al. Detection of double MPEG-2 compression based on distributions of DCT coefficients
US20130113999A1 (en) Methods, systems, and computer-readable media for detecting scene changes in a video
US20040181545A1 (en) Generating and rendering annotated video files
US20020126203A1 (en) Method for generating synthetic key frame based upon video text
KR100442991B1 (ko) 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법
KR20100018070A (ko) 멀티미디어 파일의 개요들을 자동으로 생성하기 위한 방법 및 장치
WO2019047663A1 (zh) 一种基于视频格式的端到端自动驾驶数据的存储方法及装置
Zou et al. STA3D: Spatiotemporally attentive 3D network for video saliency prediction
US20240020332A1 (en) Sampling technique for data clustering
KR101212845B1 (ko) 동영상 샘플링 방법 및 시스템
KR101174176B1 (ko) 동영상 샘플링 방법 및 시스템
US9384780B2 (en) System and method for video summarization and navigation based on statistical models

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150722

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160725

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 8