KR101212845B1 - 동영상 샘플링 방법 및 시스템 - Google Patents

동영상 샘플링 방법 및 시스템 Download PDF

Info

Publication number
KR101212845B1
KR101212845B1 KR1020120014304A KR20120014304A KR101212845B1 KR 101212845 B1 KR101212845 B1 KR 101212845B1 KR 1020120014304 A KR1020120014304 A KR 1020120014304A KR 20120014304 A KR20120014304 A KR 20120014304A KR 101212845 B1 KR101212845 B1 KR 101212845B1
Authority
KR
South Korea
Prior art keywords
snapshots
amount
extracted
information
snapshot
Prior art date
Application number
KR1020120014304A
Other languages
English (en)
Other versions
KR20120027443A (ko
Inventor
곽용재
김성원
박태헌
서범석
천세진
서장원
Original Assignee
엔에이치엔(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔(주) filed Critical 엔에이치엔(주)
Priority to KR1020120014304A priority Critical patent/KR101212845B1/ko
Publication of KR20120027443A publication Critical patent/KR20120027443A/ko
Application granted granted Critical
Publication of KR101212845B1 publication Critical patent/KR101212845B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

본 발명은 동영상 파일의 전체 런닝타임에서 여러 지점의 스냅샷을 샘플링하여 선택함으로써 상기 동영상 파일의 전체적인 내용을 요약해서 제공하는 썸네일을 생성하는 동영상 샘플링 방법 및 시스템에 관한 것이다. 본 발명에 따른 동영상 샘플링 방법은 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 단계, 상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 단계, 및 상기 스냅샷 중에서 상기 산출된 정보량이 높은 상위 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성하는 단계를 포함한다.

Description

동영상 샘플링 방법 및 시스템{Method And System For Sampling Moving Picture}
본 발명의 실시예들은 동영상 파일의 전체 런닝타임에서 여러 지점의 스냅샷을 샘플링하여 선택함으로써 상기 동영상 파일의 전체적인 내용을 요약해서 제공하는 썸네일을 생성하는 동영상 샘플링 방법 및 시스템에 관한 것이다.
종래기술에서는 드라마, 영화 등의 동영상 파일에 대한 내용을 요약해서 제공하는 경우, 상기 동영상 내의 특정 한 지점의 스냅샷만을 선택하였다. 상기 스냅샷은 상기 동영상 파일을 구성하는 장면을 컷으로 나눌 때의 최하위 단위를 의미할 수 있다. 예를 들어, 상기 스냅샷은 배우가 문을 열고 들어와서 상대 배우를 바라보는 장면을 중단하지 않고 촬영된 것일 수 있다.
상기 동영상 파일은 복수의 스냅샷을 내용의 흐름에 따라 조합한 것일 수 있는데, 하나의 스냅샷만으로 상기 동영상 파일의 전체적인 내용을 파악하기는 쉽지 않다. 예를 들어, 촬영 형태에 따라 10개의 스냅샷으로 구성된 동영상 파일에서 상기 동영상 파일에 대한 요약된 영상으로 특정한 1개의 스냅샷만을 선택하여 제공하는 경우, 사용자가 상기 동영상 파일의 전체적인 내용을 파악하기 어렵다. 또한, 상기 동영상 파일의 주요 내용과 전혀 관계없는 스냅샷이 선택될 수도 있다.
즉, 하나의 스냅샷은 상기 동영상 파일의 특정 내용에 대한 단편적인 이해는 할 수 있지만, 상기 동영상에 대한 전체적인 이해를 구하기는 쉽지 않다.
따라서, 동영상 파일의 여러 지점에서 스냅샷을 추출하여 상기 동영상 파일에 대한 요약된 영상을 제작함으로써, 상기 동영상 파일의 전체적인 내용에 대한 이해를 돕는 방법이 요구되고 있다.
본 발명은 상술한 바와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 동영상 파일의 전체 런닝타임에서 여러 지점의 스냅샷을 샘플링하여 선택함으로써 상기 동영상 파일의 전체적인 내용을 요약해서 제공하는 썸네일을 생성하는 방법 및 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 동영상 파일에서 추출한 복수의 스냅샷에 대한 각각의 주파수를 산출하여, 상기 주파수를 이용하여 상기 동영상 파일을 요약한 썸네일에서 불필요한 스냅샷을 제거할 수 있는 방법 및 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 동영상 파일에서 추출한 복수의 스냅샷에 대한 각각의 픽셀값을 산출하여, 서로 인접한 두 개의 스냅샷의 픽셀값 차이를 비교하여 상기 픽셀값의 차이가 미미한 경우 하나의 스냅샷을 제거함으로써 상기 동영상 파일을 요약한 썸네일에서 중복된 스냅샷을 제거할 수 있는 방법 및 시스템을 제공하는 것을 목적으로 한다.
동영상 샘플링 방법은 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 단계; 상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 단계; 및 상기 스냅샷 중에서 상기 산출된 정보량이 가장 높은 순서대로 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 상기 단계는,
Figure 112012011379637-pat00001
의 수식을 이용하여 상기 스냅샷을 추출하고, 상기
Figure 112012011379637-pat00002
은 상기 추출할 각각의 스냅샷 위치, 상기 TotalLength는 상기 동영상 파일의 전체 길이, 상기 M은 1보다 크거나 같으며 추출할 스냅샷의 배수, 상기 N은 추출할 스냅샷의 개수, 상기
Figure 112012011379637-pat00003
은 1부터 MN까지 범위를 가질 수 있다.
다른 측면에 따르면, 상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 상기 단계는, 상기 추출된 각각의 스냅샷의 명도, 색상 또는 주파수 중 하나를 이용하여 상기 정보량을 산출할 수 있다.
또 다른 측면에 따르면, 상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 상기 단계는, 상기 추출된 각각의 스냅샷의 주파수를 산출하는 단계; 및 상기 산출된 주파수에 따라 상기 추출된 각각의 스냅샷에 가중치를 두고 수치화하여 상기 정보량을 산출하는 단계를 포함한다.
또 다른 측면에 따르면, 상기 산출된 주파수에 따라 상기 추출된 각각의 스냅샷에 가중치를 두고 수치화하여 상기 정보량을 산출하는 단계는,
Figure 112012011379637-pat00004
의 수식을 이용하여 정보량을 산출하고, 상기 I는 정보량, 상기 i는 주파수 영역별 인덱스(i에 비례하는 주파수 영역), 상기 f는 해당 주파수 영역의 주파수 성분량, 상기 w는 해당 주파수 영역의 가중치(고주파에 가중치를 두기 위해
Figure 112012011379637-pat00005
)일 수 있다.
또 다른 측면에 따르면, 상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 상기 단계는, 상기 추출된 각각의 스냅샷을 이미지 데이터로 인코딩하여 비트량을 산출하고, 상기 산출된 비트량을 정보량으로 이용할 수 있다.
또 다른 측면에 따르면, 상기 스냅샷 중에서 상기 산출된 정보량이 가장 높은 순서대로 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성하는 상기 단계는, 상기 정보량이 가장 높은 순서대로 상기 소정 수의 스냅샷을 나열하여 디스플레이되는 형태로 상기 썸네일을 생성하거나, 상기 정보량이 가장 높은 순서대로 상기 소정 수의 스냅샷을 묶어서 animated GIF, Flash 또는 동영상 파일의 형태로 상기 썸네일을 생성할 수 있다.
동영상 샘플링 시스템은 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 스냅샷 추출부; 상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 정보량 산출부; 및 상기 스냅샷 중에서 상기 산출된 정보량이 가장 높은 순서대로 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성하는 썸네일 생성부를 포함할 수 있다.
본 발명에 따르면, 동영상 파일의 전체 런닝타임에서 여러 지점의 스냅샷을 샘플링하여 선택함으로써 상기 동영상 파일의 전체적인 내용을 요약해서 제공하는 썸네일을 생성할 수 있다.
또한, 본 발명에 따르면, 동영상 파일에서 추출한 복수의 스냅샷에 대한 각각의 주파수를 산출하여, 상기 주파수를 이용하여 상기 동영상 파일을 요약한 썸네일에서 불필요한 스냅샷을 제거할 수 있다.
또한, 본 발명에 따르면, 동영상 파일에서 추출한 복수의 스냅샷에 대한 각각의 픽셀값을 산출하여, 서로 인접한 두 개의 스냅샷의 픽셀값 차이를 비교하여 상기 픽셀값의 차이가 미미한 경우 하나의 스냅샷을 제거함으로써 상기 동영상 파일을 요약한 썸네일에서 중복된 스냅샷을 제거할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 동영상 샘플링 방법을 도시한 흐름도이다.
도 2는 본 발명의 일실시예에 있어서, 추출된 스냅샷의 위치를 도시한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 정보량을 산출하는 방법을 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 있어서, 추출된 스냅샷의 화면을 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 중복된 스냅샷을 삭제하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 있어서, 썸네일을 생성하는 화면을 도시한 도면이다.
도 7은 본 발명의 일실시예에 있어서, 동영상 샘플링 시스템의 구성을 도시한 블록도이다.
도 8은 본 발명에 따른 동영상 샘플링 방법을 수행하는 데 채용될 수 있는 범용 컴퓨터 장치의 내부 블록도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
상기의 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명의 일실시예에 따른 동영상 샘플링 방법은 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 단계, 상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 단계, 상기 추출된 스냅샷을 각각 선행하는 스냅샷과 비교하여 중복된 스냅샷을 삭제하는 단계, 및 상기 스냅샷 중에서 상기 산출된 정보량이 높은 상위 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성하는 단계를 포함한다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 다양한 실시예를 상세히 설명한다.
도 1은 본 발명의 일실시예에 있어서, 동영상 샘플링 방법을 도시한 흐름도이다.
단계(101)에서, 동영상 샘플링 시스템은 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출할 수 있다. 본 발명의 일실시예에 따르면, 상기 복수의 스냅샷을 추출하는 것은 시간 간격이 동일하도록 상기 동영상 파일의 전체 시간을 균등하게 분할하여, 그 시간지점의 이미지를 샘플링하는 것이다.
이하, 도2를 참조하여, 설명한다. 도 2는 본 발명의 일실시예에 있어서, 추출된 스냅샷의 위치를 도시한 도면이다.
Figure 112012011379637-pat00006
상기 동영상 샘플링 시스템은 상기 수학식(이하, "수식"이라함) 1을 이용하여, 복수의 스냅샷을 추출할 수 있다. 상기 동영상 샘플링 시스템은 상기 동영상 파일의 전체 길이(TotalLength)에서 1보다 크거나 같으며 추출할 스냅샷의 배수(M)만큼 N개의 스냅샷을 추출할 수 있다. 상기
Figure 112012011379637-pat00007
은 상기 추출할 각각의 스냅샷 위치, 상기
Figure 112012011379637-pat00008
은 1부터 MN까지 범위를 가질 수 있다.
도시한 바와 같이,
Figure 112012011379637-pat00009
과
Figure 112012011379637-pat00010
는 동일한 시간 간격으로 분할한 것이고,
Figure 112012011379637-pat00011
은 상기 동영상 파일에서 추출한 첫번째 스냅샷의 위치일 수 있다. 본 발명의 일실시예에 따르면, 상기 동영상 샘플링 시스템은 동영상 파일의 맨 앞 부분과 맨 뒷 부분은 일반적으로 의미 없는 영상 (제작자 소개, 주제가, 앤딩 크레딧 등) 이 많으므로 N+1 로 전체 동영상 길이를 나누어서 그 부분을 샘플링 대상에서 제외시킬 수 있다.
또한, 상기 동영상 샘플링 시스템은 의미 없는 장면을 추출하거나, 인지할 수 없는 장면을 추출하거나, 또는 중복된 장면을 추출하는 문제점을 해결하기 위해, 추출할 스냅샷보다 M만큼 더 많은 스냅샷을 추출할 수 있다.
상기 의미 없는 장면은 장면 전환 시 또는 영화의 앞과 뒤에 존재하는 정보를 담고 있지 않은 검은 화면 이나 흰색화면일 수 있다. 또한, 상기 인지할 수 없는 장면은 어두운 조명아래 진행되는 장면이나 전체 화면 비율에 비해 오브젝트의 형태가 미미한 장면일 수 있다. 예컨대, 작은 크기의 썸네일(Thumb-Nail)에서는 사용자가 제대로 인지하기 힘들어, 이런 장면은 가능하면 제거해 주는 것이 좋다.
또한, 상기 중복된 장면을 추출하는 것은 짧은 길이의 동영상 안에 모션이 시간상으로 균일하게 분포되어 있지 않거나, 디코더 오류로 인해 특정 장면을 반복하여 샘플링하는 경우를 의미한다. 일반적으로 Windows System 에서의 Direct Show 에 의한 추출의 경우 사용자가 설치한 코덱을 사용하게 되는데, 그 중 많은 코덱들이 여러 곳에서 검증이 부족한 채로 만들어진 경우가 많아 디코딩시 오류가 존재하는 경우가 많다. 특히 연속적으로 진행되는 동영상 재생에 비해 특정 지점으로 이동 또는 특정 지점 샘플링은 그 문제가 도드라지게 된다. 이경우 연속적으로 샘플링 시 이전에 샘플링 한 화면과 동일한 화면이 출력되는 현상이 빈번하게 발생할 수 있다.
본 발명의 일실시예에 따르면, 상기 M이 1인 경우, 상기 동영상 파일을 균등하게 분할하는 것으로, 상기 열거한 문제점을 발생시킬 수 있다. 예컨대, 상기 M은 2-3정도가 바람직하다.
다시, 도 1을 참조하면, 단계(102)에서, 상기 동영상 샘플링 시스템은 상기 추출된 각각의 스냅샷에 대한 정보량을 산출할 수 있다. 본 발명의 일실시예에 따르면, 상기 동영상 샘플링 시스템은 상기 추출된 각각의 스냅샷의 명도, 색상 또는 주파수 중 하나를 이용하여 상기 정보량을 산출할 수 있다. 또한, 상기 동영상 샘플링 시스템은 상기 추출된 각각의 스냅샷을 이미지 데이터로 인코딩하여 비트량을 산출하고 상기 산출된 비트량을 정보량으로 이용할 수 있다. 일례로, 현재 System 은 Windows 를 기반하고 있고 Windows 에서는 이미지를 JPEG 으로 변환하는 API 를 제공하고 있다. JPEG 역시 주파수 분석에 기반하고 고주파 성분이 많을 수록 인코딩 된 비트량이 커지게 된다. 따라서, 이를 바탕으로 Snapshot 을 JPEG 인코딩 하여 그 비트량을 정보량으로 사용해도 무방할 것이다.
본 발명의 일실시예에 따르면, 상기 동영상 샘플링 시스템은 정보량을 산출함으로써, 의미 없는 장면이나 인지할 수 없는 장면을 제거할 수 있다. 이미지(스냅샷에 대한 이미지)에 대한 정보량을 얻어내는 방법은 많으므로, 적당한 방법을 선택하여 정보량을 산출할 수 있다.
이하, 도 3을 참조하여 주파수 분석을 통해 정보량을 산출하는 방법을 설명한다. 도 3은 본 발명의 일실시예에 있어서, 정보량을 산출하는 방법을 도시한 흐름도이다.
단계(301)에서, 상기 동영상 샘플링 시스템은 상기 추출된 각각의 스냅샷에 대한 주파수를 산출할 수 있다. 상기 동영상 샘플링 시스템은 상기 스냅샷에 너무 낮은 주파수들만이 분포할 경우 정보량이 적다고 판단할 수 있고, 일반적으로는 너무 높은 주파수들만이 분포할 경우 노이즈 라고 판단할 수 있다. 하지만 본 발명에서는 전송되어 온 영상이 아닌, 매체를 통해 기록된 영상이므로 노이즈 영상에 대한 고려는 필요하지 않다.
단계(302)에서, 상기 동영상 샘플링 시스템은 높은 주파수 영역을 가지는 스냅샷에 가중치를 두고 수치화하여 상기 정보량을 산출할 수 있다.
Figure 112012011379637-pat00012
상기 동영상 샘플링 시스템은 상기 수식 2를 이용하여 상기 스냅샷을 상기 주파수에 따라 오름차순으로 정렬하여 주파수 영역별 인덱스(i)를 부여하고, 해당 주파수 영역의 주파수 성분량(f)과 해당 주파수 영역의 가중치(w)를 곱하여 정보량(I)을 산출할 수 있다. 상기 가중치는 고주파에 가중치를 두어
Figure 112012011379637-pat00013
로 정렬한 것일 수 있다.
이하, 도 4를 참조하여 설명한다. 도 4는 본 발명의 일실시예에 있어서, 추출된 스냅샷의 화면을 도시한 도면이다.
도시한 바와 같이, 401의 스냅샷은 검은 화면으로 낮은 주파수 영역을 포함한다. 또한, 404의 스냅샷은 인지할 수 없는 화면으로 역시 낮은 주파수 영역을 포함한다. 따라서, 낮은 주파수 영역인 상기 401의 스냅샷과 상기 404의 스냅샷의 정보량은 낮을 수 밖에 없다. 이에, 상기 동영상 샘플링 시스템은 도 3에서와 같은 방법을 통해 상기 401과 상기 404의 스냅샷의 정보량을 산출할 수 있고, 상기 401과 상기 404의 스냅샷의 주파수가 낮으므로 상기 산출된 정보량이 매우 낮은 상기 401의 스냅샷과 상기 404의 스냅샷을 썸네일에서 제외시킬 수 있는 것이다.
다시, 도 1를 참조하면, 단계(103)에서, 상기 동영상 샘플링 시스템은 상기 추출된 스냅샷을 각각 선행하는 스냅샷과 비교하여 중복된 스냅샷을 삭제할 수 있다.
이하, 도 5를 참조하여 설명한다. 도 5는 본 발명의 일실시예에 있어서, 중복된 스냅샷을 삭제하는 방법을 도시한 흐름도이다.
단계(501)에서, 상기 동영상 샘플링 시스템은 제1 스냅샷의 픽셀값과 제2 스냅샷의 픽셀값의 차이를 산출할 수 있다. 상기 제1 스냅샷은 상기 제2 스냅샷보다 선행하는 것일 수 있다. 본 발명의 일실시예에 따르면, 상기 동영상 샘플링 시스템은 상기 스냅샷의 전체 픽셀에 대한 픽셀값의 차이를 산출하지 않고, 특정 픽셀에 대한 픽셀값의 차이를 산출할 수 있다. 예를 들어, 스냅샷을 구성하는 전체 픽셀수가 1000개인 경우, 상기 동영상 샘플링 시스템은 상기 제1 스냅샷의 1000개의 픽셀값과 제2 스냅샷의 1000개의 픽셀값의 차이를 산출하는 연산을 수행하는 것이 부담이 될 수 있다. 이럴 경우, 상기 스냅샷을 구성하는 전체 픽셀 중에서 100개 정도의 픽셀만 비교하면 연산 수행에 따른 부담을 줄일 수 있다.
본 발명의 일실시예에 따르면, 상기 동영상 샘플링 시스템은 수식 3을 이용하여, 픽셀값의 차이, 즉, 모션량(M)을 산출할 수 있다. 상기 동영상 샘플링 시스템은 스냅샷에서 각각의 픽셀에 대한 차이를 누적한 픽셀값을 전체 픽셀수로 나누어 모션량을 산출한 후, 상기 모션량과 상기 모션판단 문턱값을 비교하여 중복된 스냅샷을 삭제할 수 있다.
Figure 112012011379637-pat00014
상기 모션량(M)은 스냅샷의 픽셀값(I)에 각 픽셀의 인덱스(p)와 스냅샷 순서 인덱스(t)를 곱한 수의 차이에 대한 절대값을 모두 누적한 후 전체 픽셀수(TP)로 나누어 산출할 수 있다. 즉, 상기 제1 스냅샷의 제1 픽셀과 상기 제2 스냅샷의 제1 픽셀의 차이를 산출하고, 상기 제1 스냅샷의 제2 픽셀과 상기 제2 스냅샷의 제2 픽셀의 차이를 산출한다. 이렇게, 상기 제1 스냅샷과 상기 제2 스냅샷에서 서로 대응하는 특정 픽셀에 대한 픽셀값의 차이를 산출하고, 상기 산출된 픽셀값을 누적하여 누적된 픽셀값을 전체 픽셀수로 나누어 모션량을 구할 수 있다.
단계(502)에서, 상기 동영상 샘플링 시스템은 상기 픽셀값의 차이(모션량)와 기설정된 모션판단 문턱값을 비교하여 상기 픽셀값의 차이와 상기 모션판단 문턱값보다 작은지 판단할 수 있다. 상기 모션판단 문턱값은 썸네일에서 중복된 스냅샷을 걸러내기 위하여, 미미한 차이를 보이는 두 개의 영상에 대한 픽셀값의 차이를 고려하여 설정될 수 있다. 본 발명의 일실시예에 따르면, 상기 모션판단 문턱값은 바람직하게 10으로 설정될 수 있다.
상기 픽셀값의 차이가 상기 모션판단 문턱값보다 작은 경우, 단계(503)에서, 상기 동영상 샘플링 시스템은 상기 단계(102)에서 산출된 상기 제2 스냅샷의 정보량을 0으로 변경할 수 있다. 도 4를 참조하면, 상기 동영상 샘플링 시스템은 402의 스냅샷과 403의 스냅샷의 픽셀값의 차이가 미미하여 상기 픽셀값의 차이가 상기 모션판단 문턱값보가 작다고 판단할 수 있다. 이에, 상기 동영상 샘플링 시스템은 상기 402의 스냅샷과 상기 403의 스냅샷을 중복된 스냅샷으로 판단하고, 상기 403의 스냅샷의 정보량을 0으로 변경할 수 있다. 정보량이 0인 경우, 썸네일 생성 시 자동적으로 선택되지 않는다. 왜냐하면, 상기 동영상 샘플링 시스템은 정보량이 높은 상위 몇 개의 스냅샷만을 선택하여 썸네일을 생성하기 때문이다.
다시, 도 1를 참조하면, 단계(104)에서, 상기 동영상 샘플링 시스템은 상기 스냅샷 중에서 상기 산출된 정보량이 높은 상위 소정 수의 스냅샷을 선택하여 썸네일(Thump-Nail)을 생성할 수 있다. 상기 동영상 샘플링 시스템은 상기 정보량이 높은 상위 소정 수의 스냅샷을 나열하여 디스플레이되는 형태로 상기 썸네일을 생성하거나, 상기 정보량이 높은 상위 소정 수의 스냅샷을 묶어서 animated GIF, Flash 또는 동영상 파일의 형태로 상기 썸네일을 생성할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 썸네일을 생성하는 화면을 도시한 도면이다.
상기 수식 1에서 M을 2로 설정하고, N을 5로 설정하면, 상기 동영상 샘플링 시스템은 10개의 스냅샷을 추출하고, 상기 추출된 스냅샷에 대하여 상기 단계(102)를 수행하면, 상기 추출한 스냅샷에 대한 정보량(767, 2723, 0 등등)이 산출된다. 이에 따라, 상기 동영상 샘플링 시스템은 상기 10개의 스냅샷 중 정보량이 높은 상위 5개의 스냅샷(601, 602, 603, 604, 605)을 선택하여, 썸네일을 생성할 수 있다. 도시한 바와 같이, 상기 동영상 샘플링 시스템은 상기 단계(102)를 수행하여 검은 화면의 스냅샷(정보량:767)이나 인지할 수 없는 스냅샷(정보량:1561)을 상기 썸네일에서 제외시킬 수 잇다. 또한, 상기 동영상 샘플링 시스템은 상기 단계(103)를 수행하여 601의 스냅샷과 중복된 스냅샷(정보량:0)을 상기 썸네일에서 제외시킬 수 있다.
도 7은 본 발명의 일실시예에 있어서, 동영상 샘플링 시스템의 구성을 도시한 블록도이다.
동영상 샘플링 시스템(700)은 스냅샷 추출부(710), 정보량 산출부(720), 중복 판단부(730), 썸네일 생성부(740)를 포함한다.
스냅샷 추출부(710)는 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출할 수 있다. 스냅샷 추출부(710)는 상기 수식 1을 이용하여 상기 동영상 파일에서 복수의 스냅샷을 추출할 수 있다.
정보량 산출부(720)는 상기 추출된 각각의 스냅샷에 대한 정보량을 산출할 수 있다. 본 발명의 일실시예에 따르면, 정보량 산출부(720)는 상기 추출된 각각의 스냅샷의 명도, 색상 또는 주파수 중 하나를 이용하여 상기 정보량을 산출하거나 상기 추출된 각각의 스냅샷을 이미지 데이터(예를 들면, JPEG 등)로 인코딩하여 비트량을 산출하고, 상기 산출된 비트량을 정보량으로 이용할 수도 있다. 정보량 산출부(720)는 주파수를 이용하여 정보량을 산출하는 것으로, 상기 수식 2를 이용하여 상기 추출된 각각의 스냅샷의 주파수를 산출하고, 높은 주파수 영역을 가지는 스냅샷에 가중치를 두고 수치화하여 상기 정보량을 산출할 수 있다.
중복 판단부(730)는 상기 추출된 스냅샷을 각각 선행하는 스냅샷과 비교하여 중복된 스냅샷을 삭제할 수 있다. 중복 판단부(730)는 제1 스냅샷의 픽셀값과 제2 스냅샷의 픽셀값의 차이를 산출하고, 상기 산출된 픽셀값의 차이가 기설정된 모션판단 문턱값보다 작은 경우, 상기 제2 스냅샷에 대한 정보량을 0으로 변경할 수 있다. 이때, 상기 제1 스냅샷은 상기 제2 스냅샷보다 선행하고, 상기 추출된 스냅샷에 대하여 픽셀값의 차이를 산출하여 상기 모션판단 문턱값과 비교하는 과정을 반복적으로 수행하여 상기 정보량이 0인 스냅샷을 삭제할 수 있다. 또한, 상기 모션판단 문턱값은 10일 수 있다. 본 발명의 일실시예에 따르면, 중복 판단부(730)는 상기 수식 3을 이용하여 모션량(M)을 구하고, 상기 모션량을 상기 모션판단 문턱과 비교하여 상기 모션량이 상기 모션판단 문턱값보다 작은 경우, 상기 제2 스냅샷에 대한 정보량을 0으로 변경할 수 있다.
썸네일 생성부(740)는 상기 스냅샷 중에서 상기 산출된 정보량이 높은 상위 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성할 수 있다. 썸네일 생성부(740)는 상기 정보량이 높은 상위 소정 수의 스냅샷을 나열하여 디스플레이되는 형태로 상기 썸네일을 생성하거나, 상기 정보량이 높은 상위 소정 수의 스냅샷을 묶어서 animated GIF, Flash 또는 동영상 파일의 형태로 상기 썸네일을 생성할 수 있다.
본 발명에 따른 동영상 샘플링 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
도 8은 본 발명에 따른 동영상 샘플링 방법을 수행하는 데 채용될 수 있는 범용 컴퓨터 장치의 내부 블록도이다.
컴퓨터 장치(800)는 램(RAM: Random Access Memory)(820)과 롬(ROM: Read Only Memory)(830)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(810)를 포함한다. 프로세서(810)는 중앙처리장치(CPU)로 불리기도 한다. 본 기술분야에서 널리 알려져 있는 바와 같이, 롬(830)은 데이터(data)와 명령(instruction)을 단방향성으로 CPU에 전송하는 역할을 하며, 램(820)은 통상적으로 데이터와 명령을 양방향성으로 전송하는 데 사용된다. 램(820) 및 롬(830)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(Mass Storage)(840)는 양방향성으로 프로세서(810)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(840)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드 디스크와 같은 보조기억장치이다. CD 롬(860)과 같은 특정 대용량 기억장치가 사용될 수도 있다. 프로세서(810)는 비디오 모니터, 트랙볼, 마우스, 키보드, 마이크로폰, 터치스크린 형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱, 또는 기타 공지된 컴퓨터 입출력장치와 같은 하나 이상의 입출력 인터페이스(850)와 연결된다. 마지막으로, 프로세서(810)는 네트워크 인터페이스(870)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당업자에게 잘 알려져 있다. 한편, 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
700: 동영상 샘플링 시스템
710: 스냅샷 추출부
720: 정보량 산출부
730: 중복 판단부
740: 썸네일 생성부

Claims (15)

  1. 동영상 샘플링 방법에 있어서,
    동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 단계;
    상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 단계; 및
    상기 스냅샷 중에서 상기 산출된 정보량이 가장 높은 순서대로 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성하는 단계
    를 포함하고,
    상기 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 상기 단계는,
    상기 동영상 파일의 전체 길이를 상기 추출할 스냅샷의 소정의 배수만큼 분할하여 분할된 각 지점의 이미지를 샘플링 하며,
    상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 상기 단계는,
    상기 추출된 각각의 스냅샷의 주파수를 산출하는 단계; 및
    상기 산출된 주파수가 높은 주파수 영역일수록 상기 추출된 각각의 스냅샷에 높은 가중치를 두고 수치화하여 상기 정보량을 산출하는 단계
    를 포함하는 것을 특징으로 하는 동영상 샘플링 방법.
  2. 제1항에 있어서,
    상기 동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 상기 단계는,
    Figure 112012011379637-pat00015
    의 수식을 이용하여 상기 스냅샷을 추출하고,
    상기
    Figure 112012011379637-pat00016
    은 상기 추출할 각각의 스냅샷 위치, 상기 TotalLength는 상기 동영상 파일의 전체 길이, 상기 M은 1보다 크거나 같으며 추출할 스냅샷의 배수, 상기 N은 추출할 스냅샷의 개수, 상기
    Figure 112012011379637-pat00017
    은 1부터 MN까지 범위를 가지는 것을 특징으로 하는 동영상 샘플링 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 산출된 주파수가 높은 주파수 영역일수록 상기 추출된 각각의 스냅샷에 높은 가중치를 두고 수치화하여 상기 정보량을 산출하는 단계는,
    Figure 112012059572397-pat00018
    의 수식을 이용하여 정보량을 산출하고,
    상기 I는 정보량, 상기 i는 주파수 영역별 인덱스(i에 비례하는 주파수 영역), 상기 f는 해당 주파수 영역의 주파수 성분량, 상기 w는 해당 주파수 영역의 가중치(고주파에 가중치를 두기 위해
    Figure 112012059572397-pat00019
    )인 것을 특징으로 하는 동영상 샘플링 방법.
  6. 제1항에 있어서,
    상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 상기 단계는,
    상기 추출된 각각의 스냅샷을 이미지 데이터로 인코딩하여 비트량을 산출하고, 상기 산출된 비트량을 정보량으로 이용하는 것을 특징으로 하는 동영상 샘플링 방법.
  7. 제1항에 있어서,
    상기 스냅샷 중에서 상기 산출된 정보량이 가장 높은 순서대로 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성하는 상기 단계는,
    상기 정보량이 가장 높은 순서대로 상기 소정 수의 스냅샷을 나열하여 디스플레이되는 형태로 상기 썸네일을 생성하거나, 상기 정보량이 가장 높은 순서대로 상기 소정 수의 스냅샷을 묶어서 animated GIF, Flash 또는 동영상 파일의 형태로 상기 썸네일을 생성하는 것을 특징으로 하는 동영상 샘플링 방법.
  8. 제1, 제2항, 제5항 내지 제7항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  9. 동영상 샘플링 시스템에 있어서,
    동영상 파일에서 추출할 스냅샷의 소정의 배수만큼 복수의 스냅샷을 추출하는 스냅샷 추출부;
    상기 추출된 각각의 스냅샷에 대한 정보량을 산출하는 정보량 산출부; 및
    상기 스냅샷 중에서 상기 산출된 정보량이 가장 높은 순서대로 소정 수의 스냅샷을 선택하여 썸네일(Thumb-Nail)을 생성하는 썸네일 생성부
    를 포함하고,
    상기 스냅샷 추출부는,
    상기 동영상 파일의 전체 길이를 상기 추출할 스냅샷의 소정의 배수만큼 분할하여 분할된 각 지점의 이미지를 샘플링 하며,
    상기 정보량 산출부는,
    상기 추출된 각각의 스냅샷의 주파수를 산출한 후 상기 산출된 주파수가 높은 주파수 영역일수록 상기 추출된 각각의 스냅샷에 높은 가중치를 두고 수치화하여 상기 정보량을 산출하는 것
    을 특징으로 하는 동영상 샘플링 시스템.
  10. 제9항에 있어서,
    상기 스냅샷 추출부는
    Figure 112012011379637-pat00020
    의 수식을 이용하여 상기 스냅샷을 추출하고,
    상기
    Figure 112012011379637-pat00021
    은 상기 추출할 각각의 스냅샷 위치, 상기 TotalLength는 상기 동영상 파일의 전체 길이, 상기 M은 1보다 크거나 같으며 추출할 스냅샷의 배수, 상기 N은 추출할 스냅샷의 개수, 상기
    Figure 112012011379637-pat00022
    은 1부터 MN까지 범위를 가지는 것을 특징으로 하는 동영상 샘플링 시스템.
  11. 삭제
  12. 삭제
  13. 제9항에 있어서,
    상기 정보량 산출부는
    Figure 112012059572397-pat00023
    의 수식을 이용하여 정보량을 산출하고,
    상기 I는 정보량, 상기 i는 주파수 영역별 인덱스(i에 비례하는 주파수 영역), 상기 f는 해당 주파수 영역의 주파수 성분량, 상기 w는 해당 주파수 영역의 가중치(고주파에 가중치를 두기 위해
    Figure 112012059572397-pat00024
    )인 것을 특징으로 하는 동영상 샘플링 시스템.
  14. 제9항에 있어서,
    상기 정보량 산출부는 상기 추출된 각각의 스냅샷을 이미지 데이터로 인코딩하여 비트량을 산출하고, 상기 산출된 비트량을 정보량으로 이용하는 것을 특징으로 하는 동영상 샘플링 시스템.
  15. 제9항에 있어서,
    상기 썸네일 생성부는 상기 정보량이 가장 높은 순서대로 상기 소정 수의 스냅샷을 나열하여 디스플레이되는 형태로 상기 썸네일을 생성하거나, 상기 정보량이 가장 높은 순서대로 상기 소정 수의 스냅샷을 묶어서 animated GIF, Flash 또는 동영상 파일의 형태로 상기 썸네일을 생성하는 것을 특징으로 하는 동영상 샘플링 시스템.
KR1020120014304A 2012-02-13 2012-02-13 동영상 샘플링 방법 및 시스템 KR101212845B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120014304A KR101212845B1 (ko) 2012-02-13 2012-02-13 동영상 샘플링 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120014304A KR101212845B1 (ko) 2012-02-13 2012-02-13 동영상 샘플링 방법 및 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020050086411A Division KR101174176B1 (ko) 2005-09-15 2005-09-15 동영상 샘플링 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20120027443A KR20120027443A (ko) 2012-03-21
KR101212845B1 true KR101212845B1 (ko) 2012-12-14

Family

ID=46132670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120014304A KR101212845B1 (ko) 2012-02-13 2012-02-13 동영상 샘플링 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101212845B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10191964B2 (en) * 2013-05-30 2019-01-29 Microsoft Technology Licensing, Llc Automatic isolation and selection of screenshots from an electronic content repository
KR102487558B1 (ko) * 2020-09-14 2023-01-11 네이버 주식회사 재생 중인 라이브 영상의 탐색을 위한 썸네일을 요청하는 방법 및 시스템

Also Published As

Publication number Publication date
KR20120027443A (ko) 2012-03-21

Similar Documents

Publication Publication Date Title
US10452919B2 (en) Detecting segments of a video program through image comparisons
US20220027634A1 (en) Video processing method, electronic device and storage medium
KR101967086B1 (ko) 비디오 스트림들의 엔티티 기반 시간적 세그먼트화
KR101015365B1 (ko) 시각적으로 대표되는 비디오 썸네일을 생성하는 컴퓨터 구현 방법, 컴퓨팅 장치, 컴퓨터, 비디오 장치, 비디오 기록 장치 및 컴퓨터 판독가능 기록매체
CN112559800B (zh) 用于处理视频的方法、装置、电子设备、介质和产品
WO2022143688A1 (zh) 视频抽帧处理方法、装置、设备及介质
US11768597B2 (en) Method and system for editing video on basis of context obtained using artificial intelligence
JP6557592B2 (ja) 映像シーン分割装置及び映像シーン分割プログラム
CN110149529B (zh) 媒体信息的处理方法、服务器及存储介质
WO2019047663A1 (zh) 一种基于视频格式的端到端自动驾驶数据的存储方法及装置
CN114359775A (zh) 关键帧检测方法、装置、设备及存储介质、程序产品
KR20100018070A (ko) 멀티미디어 파일의 개요들을 자동으로 생성하기 위한 방법 및 장치
KR101212845B1 (ko) 동영상 샘플링 방법 및 시스템
US20240020332A1 (en) Sampling technique for data clustering
KR101174176B1 (ko) 동영상 샘플링 방법 및 시스템
CN114740975A (zh) 目标内容的获取方法及相关设备
RU2671304C1 (ru) Способ и система построения цифрового отпечатка видеоконтента
KR20200048413A (ko) 샷 단위 중요 객체 추출 방법 및 장치
EP2136314A1 (en) Method and system for generating multimedia descriptors
KR101573482B1 (ko) 프레임 클러스터링을 이용한 광고 삽입 장치 및 방법
CN112818914B (zh) 一种视频内容的分类方法及装置
KR100859396B1 (ko) 요약시간을 이용한 시간제한 경계값을 갖는 계층적 샷 클러스터링 방식의 비디오 요약방법 및 그 기록매체
CN117456413A (zh) 基于视频的目标内容识别方法及装置
Zhou Multimedia Data Mining and Analysis from Motion Contents: Effective Techniques for Managing Motional Multimedia Data

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161024

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 6